CN102252661A - 一种应用于机器视觉的球状体三维定位方法 - Google Patents
一种应用于机器视觉的球状体三维定位方法 Download PDFInfo
- Publication number
- CN102252661A CN102252661A CN2011100835214A CN201110083521A CN102252661A CN 102252661 A CN102252661 A CN 102252661A CN 2011100835214 A CN2011100835214 A CN 2011100835214A CN 201110083521 A CN201110083521 A CN 201110083521A CN 102252661 A CN102252661 A CN 102252661A
- Authority
- CN
- China
- Prior art keywords
- spheroidite
- coordinate system
- coordinate
- image
- acquiring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- BSYNRYMUTXBXSQ-UHFFFAOYSA-N Aspirin Chemical compound CC(=O)OC1=CC=CC=C1C(O)=O BSYNRYMUTXBXSQ-UHFFFAOYSA-N 0.000 title abstract 2
- 238000012545 processing Methods 0.000 claims abstract description 3
- 229910001561 spheroidite Inorganic materials 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 abstract description 6
- 238000002474 experimental method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Abstract
本发明提出了一种应用于机器视觉的球状体三维定位方法,在已知球体半径的前提下,首先通过圆识别近似得到球体的成像——椭圆,然后通过圆心和图像中心原点计算椭圆长轴端点,最后根据双射线定位出球心的三维坐标,与传统方法相比,该方法只需预先标定好一个摄像机内外参数,图像处理也仅需要识别圆,代入公式即可求解,实验表明,该算法鲁棒性强、速度快,且能达到较好的精度,具有良好的应用前景。
Description
技术领域
本发明涉及机器视觉的空间中物体三维定位方法,特别是涉及一种应用于机器视觉的球状体三维定位方法。
背景技术
空间中物体的三维位置估计,是机器视觉中的一个重要问题。通过二维图像信息来估计三维空间中物体的位置,通常需要多个摄像头来产生立体视觉。
为了描述实际空间中球体球心坐标与图像中坐标的转换关系,首先建立三种坐标系,即图像坐标系、摄像机坐标系以及世界坐标系。如图1所示,除图像坐标系O I -uv为二维坐标系外,摄像机坐标系O C -x c y c z c 及世界坐标系O W -x w y w z w 均为三维坐标系。
图像坐标系描述了每一个象素点在图像中的坐标,摄像机坐标系描述了空间物体相对于摄像机光心的位置,而摄像机又是处于空间中某一点,则可通过世界坐标系描述其位置。世界坐标系通过旋转与平移得到摄像机坐标系。而图像坐标系与世界坐标系的映射关系即为三维重建的关键。
根据坐标转换模型,世界坐标系到图像坐标系的映射可用式(1)表示,该式描述了世界坐标系中三维坐标(X w ,Y w ,Z w )与图像空间中二维坐标(u,v)的转换关系:
其中,为一个33的矩阵,其参数只与摄像机本身属性有关,称为摄像机内部矩阵。[R t]则为一个34的矩阵,它描述了摄像机坐标系与世界坐标系之间的旋转与平移关系,称为摄像机外部矩阵。摄像机的内部参数和外部参数可通过张氏标定法进行预先标定。
其中,摄像机坐标系与世界坐标系的转换关系如下:
将(2)代入(1)式,可得:
或者:
于是,得到了一个物点在摄像机坐标系下的方向向量计算公式:
通过摄像机对球体进行拍摄,球体的投影成像如图2所示。球体投影在成像面上形成图像,图像轮廓上的每一点与光心O c 形成射线,射线与球体表面有且仅有一个交点,所有交点与光心共同形成一个正圆锥。该成像模型具有以下重要几何特性:
Negahdaripour S. Epipolar geometry of opti-acoustic stereo imaging[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(10):1776-1778.一文中记载了利用双目摄像头来进行三维定位,需要专门的同步摄像机设备和庞大的计算量,成本昂贵,若已知待检测物体的几何特征,则可通过单目视觉来估计一些基本几何体的三维位置,如点、线和圆等。
Zhang Lei, Xu Kejun, et al. Improvement of position and orientation measurement algorithm of monocular vision based on circle features [J]. Journal of Hefei University of Technology, 2009, 32(11):1669-1673. [张磊, 徐科军等. 一种基于圆特征的单目视觉位姿测量算法的改进 [J]. 合肥工业大学学报(自然科学版), 2009, 32(11): 1669-1673.]一文中记载了利用激光测距仪加单幅图像测量空间圆的位姿。
Chen Jing, Tang Weihong. 3D model analysis of circular feature for machine vision [J]. Journal of Applied Optics, 2009, 30(6): 964-969. [陈静, 汤卫红. 机器视觉中圆形特征的三维模型分析研究 [J]. 应用光学, 2009, 30(6): 964-969.]一文中记载了利用拉格朗日乘子法求得椭圆的参数,从而求解已知半径的空间圆的位姿。
Zhang Yuanhui, Wei Wei, et al. Shadow Based Single Camera Vision System Calibration [J]. Journal of Image and Graphics, 2009, 14(9):1895-1899. [张远辉,韦巍等. 基于影子的乒乓球机器人单目视觉系统标定[J]. 中国图像图形学报, 2009, 14(9):1895-1899.]一文中记载了一种能够测量半径已知的空间球体的位置的方法,其中还记载了使用了影子来进行辅助定位,需要提供合适的的光照条件产生影子。
Safaee-Rad R, Tchoukanov I, et al. Three-dimensional location estimation of circular features for machine vision [J]. IEEE Transactions on Robotics and Automation, 1992, 8(5): 624-640一文中记载了的方法涉及坐标系的转换以及矩阵特征值的求解。
以上的方法其数学运算量的复杂程度大大超过本文提出的方法。
发明内容
本发明的目的是在于克服提出现有技术缺点,提出一种应用于机器视觉的球状体三维定位方法。
一种应用于机器视觉的球状体三维定位方法,包括以下步骤:通过图像获取装置获取球状体的图像,将图像输入到图像处理装置,通过圆识别算法,得出位于图像成像面上的待识别椭圆,并计算出待识别椭圆的中心及长轴半径,根据所述待识别椭圆的中心与图像中心,计算出待识别椭圆的中心与图像中心所在直线与待识别椭圆相交的两点a、b的坐标,并计算出a、b两点所对应的在图像获取装置坐标系下的方向向量,根据球状体的预知半径及所述计算出球状体在世界坐标系下的三维坐标。
所述图像获取装置为摄像机,摄像机通过预标定的内、外部参数进行图像拍摄,所述内、外部参数通过张氏标定法进行标定,摄像机内部几何和光学特性即内部参数, 以及摄像机在世界坐标系中的位置和方向, 即外部参数。
基于传统霍夫变换的圆识别算法的实时性和抗干扰性较差,因此所述圆识别算法采用边缘跟踪识别圆的算法。
2)、计算出球状体位于图像获取装置坐标系的坐标后,通过坐标系转换公式:
将所述图像获取装置坐标系的坐标转换为球状体在世界坐标系下的三维坐标,其中[R t]为一个34的矩阵,是图像获取装置坐标系与世界坐标系之间的旋转与平移关系,只跟图像获取装置的外参数相关,为球状物位于图像获取装置标系的坐标,为球状物在世界坐标下的坐标。
与现有技术相比,本发明具有以下优点:
与传统方法相比,该方法只需预先标定好一个摄像机内外参数,图像处理也仅需要识别圆,代入公式即可求解。实验表明,该算法鲁棒性强、速度快,且能达到较好的精度,具有良好的应用前景。
附图说明
图1为三种坐标系及其联系;
图2为立体球投影成像的原理图;
图3为双射线定位的示意图;
图4为本发明的方法流程图;
图5为本发明实施例的示意图;
图6为本发明实施例的误差分析空间图;
图7为本发明实施例的误差变化示意图。
具体实施方式
以下结合实施例及附图对本发明进行详细的描述。
根据摄像机成像模型具有的特性推导出以下:
(1)光心O c 发出并穿过椭圆长轴两端点的射线与球面交于A、B两点。A、B、C、O c 四点共面。
(2)A、B在成像面上投影点为a、b,即椭圆长轴的两端点。直线ab穿过成像面中心原点(u 0 ,v 0 )。
根据特性2,A、B、C、O c 四点共面,如图3所示。对于图像上的每一个像素,由公式 可求解出该点所唯一对应射线的方向向量。球体在图像中所成椭圆长轴端点分别对应一条射线,分别为这两条射线的单位方向向量,球心在两条射线构成的平面上并且到两条射线距离相等,都等于球体的已知半径d。射线穿过球心,由模型的几何特征可得,必然位于的角平分线上,记:
(7)
而:
由(9)、(10)最后可得:
根据上述内容,如图4所示,本发明公开了一种球状体三维定位的方法,其具体步骤为:
步骤1通过圆识别算法求得椭圆中心(u c ,v c )及长轴半径r。基于传统霍夫变换的圆识别算法的实时性和抗干扰性较差,因此本发明采用边缘跟踪识别圆的算法。
步骤2 连接椭圆中心(u c ,v c )和图像中心原点(0,0),连线与识别椭圆相交,求得椭圆长轴两个端点a、b。
步骤5利用通过公式:
将所述图像获取装置坐标系的坐标转换为球状体在世界坐标系下的三维坐标,其中[R t]为一个34的矩阵,是图像获取装置坐标系与世界坐标系之间的旋转与平移关系,只跟图像获取装置的外部参数相关,为球状物位于图像获取装置标系的坐标,为球状物在世界坐标下的坐标。
如图5所示,以机器视觉识别乒乓球的立体坐标作为实验场景。将乒乓球台的其中一角作为世界坐标系的原点,将球台台面作为Z w =0平面。
验证实验分两步进行:1)通过张氏标定法标定摄像机的内部参数及相对球台坐标系的外部参数。2)取5个坐标乒乓球置于球台上,调整伸缩支架高度,记录其实际坐标(Xi,Yi,Zi)(i=1-5);通过2.2计算的步骤得到估计坐标(Xi’,Yi’,Zi’)。记录数据及误差如表1。
实验结果及误差分析
如图6所示,由于图像噪声或者圆识别算法引入的误差,图像上面的点 p会偏移到,这样就会使得通过模型计算出来实际的偏移到。由于三角形O c pp’和三角形O c PP’是相似三角形,所以有pp’/PP’=O c p/O c P=相距/物距。由于对一个摄像机来说,像距是一定的,而物距是变化的,所以,算法的误差随着物距的增加而增加。
随着球体球心与摄像机光心欧氏距离以及球心偏离光轴角度α的增大,三维坐标计算误差受到摄像机畸变的及图像中球识别精确性的影响更加明显,误差有所加大,如图7所示。
表1 立体坐标计算测量误差
序号 | Xi | Yi | Zi | Xi ’ | Yi ’ | Zi ’ | 误差 |
1 | 21.1 | 30.2 | 100.7 | 18.31 | 31.18 | 103.91 | 4.364 |
2 | 1801.1 | 34.5 | 148.6 | 1801.45 | 33.74 | 150.1 | 1.717 |
3 | 950.3 | 980.0 | 197.2 | 953.89 | 980.21 | 198.11 | 3.709 |
4 | 30.5 | 2010.2 | 250.6 | 27.13 | 2012.97 | 249.3 | 4.551 |
5 | 1850.2 | 2009.4 | 301.2 | 1849.12 | 2008.3 | 303.21 | 2.533 |
经过标定好的相机参数可以直接代入射线公式及定位公式中进行计算。实验中的电脑使用AMD 2.40GHz CPU,在摄像机60fps的高速采集模式下均能快速并较精确地计算出球体立体坐标,可运用于实时球体的三维检测及轨迹追踪。
Claims (5)
2.根据权利要求1所述的应用于机器视觉的球状体三维定位方法,其特征在于,所述图像获取装置为摄像机,摄像机通过预标定的内、外部参数进行图像拍摄,所述内、外部参数通过张氏标定法进行标定。
3.根据权利要求1或2所述的应用于机器视觉的球状体三维定位方法,其特征在于,所述圆识别算法采用边缘跟踪识别圆的算法。
4.根据权利要求1所述的应用于机器视觉的球状体三维定位方法,其特征在于,所述根据球状体的预知半径及计算出球状体在世界坐标系下的三维坐标,包括以下步骤:
2)、计算出球状体位于图像获取装置标系下的坐标后,通过坐标系转换公式:
5.根据权利要求4所述的应用于机器视觉的球状体三维定位方法,其特征在于,所述步骤1)还包括先将所述方向向量进行归一化计算,转化为单位方向向量的预处理步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110083521 CN102252661B (zh) | 2011-04-02 | 2011-04-02 | 一种应用于机器视觉的球状体三维定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110083521 CN102252661B (zh) | 2011-04-02 | 2011-04-02 | 一种应用于机器视觉的球状体三维定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102252661A true CN102252661A (zh) | 2011-11-23 |
CN102252661B CN102252661B (zh) | 2013-04-10 |
Family
ID=44980078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110083521 Expired - Fee Related CN102252661B (zh) | 2011-04-02 | 2011-04-02 | 一种应用于机器视觉的球状体三维定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102252661B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105606025A (zh) * | 2016-02-01 | 2016-05-25 | 西安交通大学 | 一种使用激光器和单目相机测量球状目标几何参数的方法 |
CN106856003A (zh) * | 2016-12-31 | 2017-06-16 | 南京理工大学 | 轴类工件侧表面缺陷检测图像的展开校正方法 |
CN108090486A (zh) * | 2017-12-28 | 2018-05-29 | 深圳市超级视觉科技有限公司 | 一种台球比赛中的图像处理方法及装置 |
CN108079565A (zh) * | 2017-12-28 | 2018-05-29 | 深圳市超级视觉科技有限公司 | 一种台球比赛计分系统 |
CN109011490A (zh) * | 2018-10-24 | 2018-12-18 | 深圳市衡泰信科技有限公司 | 基于红外双目高速摄像的高尔夫运动地面感测装置及方法 |
CN109949367A (zh) * | 2019-03-11 | 2019-06-28 | 中山大学 | 一种基于圆形投影的可见光成像定位方法 |
CN111080715A (zh) * | 2019-12-18 | 2020-04-28 | 云南大学 | 三个球和无穷远点的极线性质标定摄像机内参数的方法 |
CN111652069A (zh) * | 2020-05-06 | 2020-09-11 | 天津博诺智创机器人技术有限公司 | 移动机器人的目标识别与定位方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030016218A1 (en) * | 2001-04-26 | 2003-01-23 | Mitsubishi Electric Research Laboratories, Inc. | Rendering discrete sample points projected to a screen space with a continuous resampling filter |
CN101334263A (zh) * | 2008-07-22 | 2008-12-31 | 东南大学 | 圆形目标的圆心定位方法 |
CN101458434A (zh) * | 2009-01-08 | 2009-06-17 | 浙江大学 | 精确测量和预测乒乓球轨迹系统与系统运行方法 |
CN101739547A (zh) * | 2008-11-21 | 2010-06-16 | 中国科学院沈阳自动化研究所 | 复杂背景下图像中鲁棒的编码点的精确识别与定位方法 |
CN101833232A (zh) * | 2010-04-20 | 2010-09-15 | 浙江大学 | 乒乓球比赛视觉支持和比赛分析系统与系统运行方法 |
-
2011
- 2011-04-02 CN CN 201110083521 patent/CN102252661B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030016218A1 (en) * | 2001-04-26 | 2003-01-23 | Mitsubishi Electric Research Laboratories, Inc. | Rendering discrete sample points projected to a screen space with a continuous resampling filter |
CN101334263A (zh) * | 2008-07-22 | 2008-12-31 | 东南大学 | 圆形目标的圆心定位方法 |
CN101739547A (zh) * | 2008-11-21 | 2010-06-16 | 中国科学院沈阳自动化研究所 | 复杂背景下图像中鲁棒的编码点的精确识别与定位方法 |
CN101458434A (zh) * | 2009-01-08 | 2009-06-17 | 浙江大学 | 精确测量和预测乒乓球轨迹系统与系统运行方法 |
CN101833232A (zh) * | 2010-04-20 | 2010-09-15 | 浙江大学 | 乒乓球比赛视觉支持和比赛分析系统与系统运行方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105606025A (zh) * | 2016-02-01 | 2016-05-25 | 西安交通大学 | 一种使用激光器和单目相机测量球状目标几何参数的方法 |
CN106856003B (zh) * | 2016-12-31 | 2019-06-25 | 南京理工大学 | 轴类工件侧表面缺陷检测图像的展开校正方法 |
CN106856003A (zh) * | 2016-12-31 | 2017-06-16 | 南京理工大学 | 轴类工件侧表面缺陷检测图像的展开校正方法 |
CN108090486A (zh) * | 2017-12-28 | 2018-05-29 | 深圳市超级视觉科技有限公司 | 一种台球比赛中的图像处理方法及装置 |
CN108079565A (zh) * | 2017-12-28 | 2018-05-29 | 深圳市超级视觉科技有限公司 | 一种台球比赛计分系统 |
CN109011490B (zh) * | 2018-10-24 | 2021-02-02 | 深圳市衡泰信科技有限公司 | 基于红外双目高速摄像的高尔夫运动地面感测装置及方法 |
CN109011490A (zh) * | 2018-10-24 | 2018-12-18 | 深圳市衡泰信科技有限公司 | 基于红外双目高速摄像的高尔夫运动地面感测装置及方法 |
CN109949367A (zh) * | 2019-03-11 | 2019-06-28 | 中山大学 | 一种基于圆形投影的可见光成像定位方法 |
CN109949367B (zh) * | 2019-03-11 | 2023-01-20 | 中山大学 | 一种基于圆形投影的可见光成像定位方法 |
CN111080715A (zh) * | 2019-12-18 | 2020-04-28 | 云南大学 | 三个球和无穷远点的极线性质标定摄像机内参数的方法 |
CN111080715B (zh) * | 2019-12-18 | 2022-04-12 | 云南大学 | 三个球和无穷远点的极线性质标定摄像机内参数的方法 |
CN111652069A (zh) * | 2020-05-06 | 2020-09-11 | 天津博诺智创机器人技术有限公司 | 移动机器人的目标识别与定位方法 |
CN111652069B (zh) * | 2020-05-06 | 2024-02-09 | 天津博诺智创机器人技术有限公司 | 移动机器人的目标识别与定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102252661B (zh) | 2013-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102252661B (zh) | 一种应用于机器视觉的球状体三维定位方法 | |
CN102128589B (zh) | 一种在轴孔装配中零件内孔方位误差的校正方法 | |
CN103714535B (zh) | 双目视觉测量系统中摄像机参数在线调整方法 | |
WO2015096509A1 (zh) | 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法 | |
Song et al. | Survey on camera calibration technique | |
CN103727927B (zh) | 基于结构光的高速运动物体位姿视觉测量方法 | |
CN106971408B (zh) | 一种基于时空转换思想的摄像机标定方法 | |
CN104880176A (zh) | 基于先验知识模型优化的运动物位姿测量方法 | |
CN106842178B (zh) | 一种光场距离估计方法与光场成像系统 | |
CN108022267A (zh) | 一种摄像机标定装置及标定方法 | |
CN101887585A (zh) | 基于非共面特征点的摄像机标定方法 | |
CN103106661A (zh) | 空间二条相交直线线性求解抛物折反射摄像机内参数 | |
CN102622744A (zh) | 一种基于多项式投影模型的长焦相机标定方法 | |
CN108180888A (zh) | 一种基于可转动摄像头的距离检测方法 | |
CN103697811A (zh) | 一种相机与结构光源结合获取物体轮廓三维坐标的方法 | |
Kim et al. | External vehicle positioning system using multiple fish-eye surveillance cameras for indoor parking lots | |
Zhang et al. | A survey of catadioptric omnidirectional camera calibration | |
CN116630423A (zh) | 一种基于orb特征的微小型机器人多目标双目定位方法及系统 | |
Zhou et al. | Three-dimensional measurement approach in small FOV and confined space using an electronic endoscope | |
Gao et al. | Analysis of ranging error of parallel binocular vision system | |
Gu et al. | Research on static vision-based target localization for astronaut assistant robots | |
Cai et al. | A target tracking and location robot system based on omnistereo vision | |
CN115797185B (zh) | 一种基于图像处理、复球面的坐标转换的方法 | |
Wang et al. | Research on panoramic image registration approach based on spherical model | |
Yang et al. | HydraView: A Synchronized 360◦-View of Multiple Sensors for Autonomous Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130410 |