CN104036541A - 一种视觉测量中的快速三维重建方法 - Google Patents
一种视觉测量中的快速三维重建方法 Download PDFInfo
- Publication number
- CN104036541A CN104036541A CN201410128774.2A CN201410128774A CN104036541A CN 104036541 A CN104036541 A CN 104036541A CN 201410128774 A CN201410128774 A CN 201410128774A CN 104036541 A CN104036541 A CN 104036541A
- Authority
- CN
- China
- Prior art keywords
- matching
- dimensional
- unique point
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视觉测量中的快速三维重建方法,首先进行摄像机内参和外参的标定,然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正,然后进行特征点检测与描述,接着进行特征点匹配,结束后,利用匹配结果计算出其在世界坐标系中的三维坐标,最后利用Delaunay三角剖分对左图像进行三角剖分,得到顶点编号,最后利用OpenGL将三角形逐个贴到计算出的三维坐标上,即可。
Description
技术领域
本发明属于双目立体视觉技术领域,具体涉及一种视觉测量中基于特征点匹配的快速三维重建技术。
背景技术
三维重建一直是计算机视觉的重要研究领域之一。近年来,三维重建技术的研究取得了巨大的进步,新技术新方法不断涌现。常用的三维重建方法主要有运动图像序列法、光度立体学方法、纹理恢复形状法和立体视觉方法等。各种三维重建方法的理论基础不同,在精度、尺寸以及系统价位等方面存在一定的差异,因此适用的应用领域也不尽相同。现有的三维获取系统通常使用特定的硬件设备,如X射线、激光测距仪等,系统投资巨大,所以需要研制一种使用方便、稳定性好、花费低的三维信息获取系统。随着数字影像技术的迅速发展,如何使用普通便携数码设备实现三维重建技术的应用逐渐成为研究的热点,对视觉精度、稳定性、操作过程简单化等方面也提出了更高的要求。
空间绳系机器人系统由“空间绳系机器人+空间系绳+空间平台”组成,具有安全、灵活、操作距离远等特点,可广泛应用于在轨维修、在轨加注、辅助变轨及在轨空间站辅助组装等在轨服务中,已经成为空间操控技术领域的研究热点之一。这种新型的微型智能机器人,在空间可以自主逼近目标。在其逼近的过程中利用自身携带的双目视觉测量系统对目标进行实时检测、跟踪与三维测量。因此由于立体视觉法功耗低,不需要人为的设置辐射源,只利用场景在自然光照条件下的二维图像来重建物体的三维信息,在这种应用环境下具有适应性强、实现手段灵活、造价低的优点,是目前研究最多、应用最广泛的技术之一。
双目立体视觉方法采用两台摄像机模拟人类双眼处理景物的方式,从两个视点观察同一场景,获得不同视角下的一对图像,然后通过左右图像间的匹配点,恢复出场景中目标物体的几何形状和位置等三维信息。该项技术在机器人视觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。
立体视觉虽然经过20多年的发展,但是无论从视觉生理角度,还是从实际应用角度来看,现有的立体视觉技术还处于不成熟的阶段。基于立体视觉的三维重建技术在一些核心算法上仍然存在有待解决的问题。立体匹配中如何选择合理的匹配特征,从而克服匹配准确性与恢复视差全面性间的矛盾;如何选择有效的匹配准则和算法结构,从而解决存在灰度失真、几何畸变、噪声干扰及遮挡景物的匹配问题;如何建立更加有效的图像表达形式和立体视觉模型,从而更充分地反映景物的本质属性,为匹配提供更多的约束信息,降低立体匹配的难度。
因此,目前三维重建研究工作还有待进一步的改进。
本专利基于FAST特征检测、SURF描述以及Delaunay三角剖分算法等,能够快速精确地对目标物体进行被动三维重建,具有较为广泛的应用范围和良好的应用前景。
发明内容
本发明的目的在于弥补现有图像拼接算法在速度、重建精度上、模型逼真度等方面的不足,提供一种视觉测量中的快速三维重建方法,能够快速自动对空间绳系机器人双目立体视觉系统采集到的左右图像进行三维重建。
为实现上述目的,本发明的技术方案为:
一种视觉测量中的快速三维重建方法,首先进行摄像机内参和外参的标定,然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正,然后进行特征点检测与描述,接着进行特征点匹配,结束后,利用匹配结果计算出其在世界坐标系中的三维坐标,最后利用Delaunay三角剖分对左图像进行三角剖分,得到顶点编号,最后利用OpenGL将三角形逐个贴到计算出的三维坐标上,即可。
对采集到的图像对进行对极线校正之前,首先对其进行中值滤波和维纳滤波。
特征点描述之后,采取特征点匀散化,所述特征点匀散化即分别计算特征点之间的欧式距离,如果两者距离小于10个像素,则删除其中任意一个,如果两者距离大于或等于10个像素,则全部保留。
特征点匹配的具体方法为:
(1)利用FLANN匹配算法对特征点集进行匹配,得到匹配特征点集{Plm1,Plm2,…,Plmc}和{Prm1,Prm2,…,Prmc};
(2)计算各个匹配点之间的欧式距离dlr1,dlr2,…,dlrc;
(3)对于匹配特征点集{Plm1,Plm2,…,Plmc}和{Prm1,Prm2,…,Prmc}中的每个特征点,如果dlri<2×dmin,其中,dlri为第i个欧式距离,dmin为欧式距离中的最小值,则该该特征点对视为正确匹配,保留该特征点对Plmi和Prmi;如果dlri≥2×dmin,该特征点对视为错误匹配,剔除该特征点对Plmi和Prmi。
与现有技术相比,本发明具有如下有益效果:本发明采用FAST算法进行特征点提取极大地提高了检测速度;通过设计的匀散化策略避免了特征点聚集,提高了重建精度;通过Delaunay三角剖分技术并结合OpenGL,使得三维重建结果能够逼真的显示。
此外,本发明还具有以下优点:
1、算法的耗时较少,重建速度显著提高;
2、三维重建精度与逼真度较高;
3、应用场景比较广泛。
本发明的方法易于实现和应用,主要可以应用于以下几个方面:
1、机器人应用场景的三维重建;
2、双目立体视觉测量系统。
附图说明
图1为本发明的算法总流程框图。
图2为双目立体视觉三维重建原理图。
图3为左右相机采集到的原始图像经校正变换后的图像对。
图4为得到的逼真三维图像效果。
具体实施方式
以下结合附图对本发明进行详细的描述。应当指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
如图1所示,本发明实施例提供的快速三维重建方法包括:
(1)图像采集
左右两台相机对目标图像同步进行采集,分别得到左图像Il(x,y),右图像Ir(x,y)。
(2)图像预处理
对采集到的图像Il(x,y)和Ir(x,y)分别进行中值滤波和维纳滤波,得到平滑的目标图像对Icl(x’,y’)和Icr(x’,y’)。
(3)摄像机标定
采用张定友标定法,利用左右相机多次采集到的图像对进行摄像机标定,得到各自的内参数矩阵Al,Ar以及外参数矩阵[Rltl],[Rrtr]。
其中关于步骤(3)如何具体操作,为本领域公知技术,可参考文献1“Bradski Gary Bradski,Kaebler Adrian Kaebler.学习OpenCV.于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:414-429.”,此处不再赘述。
(4)对极几何校正及图像变换
利用步骤(3)摄像机标定的结果,对步骤(2)得到的左图像Icl(x’,y’)和右图像Icr(x’,y’)进行极线校正变换,从而获得左右极线对齐后的图像对Icl(x’’,y’’)和Icr(x’’,y’’)。
其中关于步骤(4)如何具体操作,为本领域公知技术,可参考文献2“Bradski Gary Bradski,Kaebler Adrian Kaebler.学习OpenCV.于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:430-432.”,此处不再赘述。
(5)特征点检测与匹配
采用FAST算法,分别对步骤(4)得到的极线对齐后的图像对Icl(x’’,y’’)和Icr(x’’,y’’)进行特征点检测,利用SURF算法进行特征描述,同时采取特征点匀散化策略,得到特征点集{Plo1,Plo2,…,Plom}和{Pro1,Pro2,…,Pron}。
其中关于如何进行特征点检测以及如何进行特征点描述,为本领域公知技术,可参考文献3“Rosten E,Porter R,Drummond T.Faster andbetter:A machine learning approach to corner detection[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2010,32(1):105-119.”,文献4“Bay H,Tuytelaars T,Gool L V.SURF:uprobust features.The9th European Conference on Computer Vision,2006.”,此处不再赘述。
其中所述的特征点匀散化策略就是,分别计算特征点之间的欧氏距离,如果两者距离小于10个像素,则删除其中任意一个。如果两者距离大于等于10个像素,则全部保留。
然后利用FLANN匹配算法对特征点集{Plo1,Plo2,…,Plom}和{Pro1,Pro2,…,Pron}进行匹配,由此得到匹配特征点集{Plm1,Plm2,…,Plmc}和{Prm1,Prm2,…,Prmc}。
采用阈值法对上述匹配特征点集{Plm1,Plm2,…,Plmc}和{Prm1,Prm2,…,Prmc}进行错误匹配点的剔除。方法如下:分别计算各匹配点之间的欧式距离dlr1,dlr2,…,dlrc。计算得到其中的最小距离dmin。
对匹配特征点集{Plm1,Plm2,…,Plmc}和{Prm1,Prm2,…,Prmc}中每个特征点对进行如下判断,如果dlri<2×dmin,其中,dlri为第i个欧式距离,该特征点对视为正确匹配,则保留该特征点对Plmi和Prmi;如果dlri≥2×dmin,该特征点对视为错误匹配,则剔除该特征点对Plmi和Prmi。经过该步骤后得到正确匹配的特征点集{Plfm1,Plfm2,…,Plfmj}和{Prfm1,Prfm2,…,Prfmj}。
(6)计算3D坐标:
根据如图2所示的视差原理,利用步骤(5)得到的正确匹配点对可以相应的求出其在世界坐标系中的三维坐标。图中B表示左右相机之间的基线距离,f为左右相机镜头焦距。P(X,Y,Z)表示世界坐标系中的一个点坐标,其在左相机成像中投影为(xl,yl),其在右相机成像中投影为(xr,yr)。
(xl,yl)和(xr,yr)即为步骤(5)中正确的匹配点对。
(xl,yl)和(xr,yr)用各自图像上的像素坐标表示,B和P(X,Y,Z)用毫米表示,f用像素表示。根据相似三角形的知识就可以推出:
其中W和H是图像的宽高(像素数),y是yl和yr的均值,Z加负号是为了保持右手坐标系,而Y加负号是由于图像成像过程中上下发生了倒转。
经过计算可以得到三维点集{P1,P2,…,Pj}。
(7)Delaunay三角剖分:
根据三维点集{P1,P2,…,Pj},采用Delaunay算法对左图像进行三角剖分,得到对应的顶点编号集{(V11,V12,V13),(V21,V22,V23),…,(Vn1,Vn2,Vn3)}。
其中关于三角剖分的步骤如何具体操作,为本领域公知技术,可参考文献5“Bradski Gary Bradski,Kaebler Adrian Kaebler.学习OpenCV.于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:333-340.”,此处不再赘述。
(8)三维重构:
利用OpenGL中的纹理贴图功能,将平面图像中的三角形逐个贴到计算出的三维坐标上,得到逼真的三维图像。
其中关于上述步骤如何具体操作,为本领域公知技术,可参考文献6“OpenGL编程指南(第四版)[M].人民邮电出版社,2005.”,
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种视觉测量中的快速三维重建方法,其特征在于:首先进行摄像机内参和外参的标定,然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正,然后进行特征点检测与描述,接着进行特征点匹配,结束后,利用匹配结果计算出其在世界坐标系中的三维坐标,最后利用Delaunay三角剖分对左图像进行三角剖分,得到顶点编号,最后利用OpenGL将三角形逐个贴到计算出的三维坐标上,即可。
2.根据权利要求1所述的一种视觉测量中的快速三维重建方法,其特征在于:对采集到的图像对进行对极线校正之前,首先对其进行中值滤波和维纳滤波。
3.根据权利要求1所述的一种视觉测量中的快速三维重建方法,其特征在于:特征点描述之后,采取特征点匀散化,所述特征点匀散化即分别计算特征点之间的欧式距离,如果两者距离小于10个像素,则删除其中任意一个,如果两者距离大于或等于10个像素,则全部保留。
4.根据权利要求1所述的一种视觉测量中的快速三维重建方法,其特征在于:特征点匹配的具体方法为:
(1)利用FLANN匹配算法对特征点集进行匹配,得到匹配特征点集{Plm1,Plm2,…,Plmc}和{Prm1,Prm2,…,Prmc};
(2)计算各个匹配点之间的欧式距离dlr1,dlr2,…,dlrc;
(3)对于匹配特征点集{Plm1,Plm2,…,Plmc}和{Prm1,Prm2,…,Prmc}中的每个特征点,如果dlri<2×dmin,其中,dlri为第i个欧式距离,dmin为欧式距离中的最小值,则该该特征点对视为正确匹配,保留该特征点对Plmi和Prmi;如果dlri≥2×dmin,该特征点对视为错误匹配,剔除该特征点对Plmi和Prmi。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410128774.2A CN104036541A (zh) | 2014-04-01 | 2014-04-01 | 一种视觉测量中的快速三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410128774.2A CN104036541A (zh) | 2014-04-01 | 2014-04-01 | 一种视觉测量中的快速三维重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104036541A true CN104036541A (zh) | 2014-09-10 |
Family
ID=51467299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410128774.2A Pending CN104036541A (zh) | 2014-04-01 | 2014-04-01 | 一种视觉测量中的快速三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104036541A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109862262A (zh) * | 2019-01-02 | 2019-06-07 | 上海闻泰电子科技有限公司 | 图像虚化方法、装置、终端及存储介质 |
CN110009690A (zh) * | 2019-03-23 | 2019-07-12 | 西安电子科技大学 | 基于极线校正的双目立体视觉图像测量方法 |
CN111161408A (zh) * | 2019-12-27 | 2020-05-15 | 华南理工大学 | 一种实现增强现实的方法及其应用、计算设备 |
CN111815765A (zh) * | 2020-07-21 | 2020-10-23 | 西北工业大学 | 一种基于异构数据融合的图像三维重建方法 |
CN113048909A (zh) * | 2021-03-08 | 2021-06-29 | 武汉科技大学 | 基于激光扫描的粗集料三维形态特征采集方法及设备 |
CN114562957A (zh) * | 2022-02-28 | 2022-05-31 | 南京理工大学 | 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法 |
CN116912427A (zh) * | 2023-09-12 | 2023-10-20 | 武汉工程大学 | 基于标记点三角特征聚类的三维扫描重建方法及系统 |
CN117718985A (zh) * | 2024-02-07 | 2024-03-19 | 西安中科光电精密工程有限公司 | 一种基于智能三维视觉的搜排爆机器人 |
-
2014
- 2014-04-01 CN CN201410128774.2A patent/CN104036541A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109862262A (zh) * | 2019-01-02 | 2019-06-07 | 上海闻泰电子科技有限公司 | 图像虚化方法、装置、终端及存储介质 |
CN110009690A (zh) * | 2019-03-23 | 2019-07-12 | 西安电子科技大学 | 基于极线校正的双目立体视觉图像测量方法 |
CN111161408A (zh) * | 2019-12-27 | 2020-05-15 | 华南理工大学 | 一种实现增强现实的方法及其应用、计算设备 |
CN111161408B (zh) * | 2019-12-27 | 2021-12-21 | 华南理工大学 | 一种实现增强现实的方法及其应用、计算设备 |
CN111815765A (zh) * | 2020-07-21 | 2020-10-23 | 西北工业大学 | 一种基于异构数据融合的图像三维重建方法 |
CN111815765B (zh) * | 2020-07-21 | 2022-07-05 | 西北工业大学 | 一种基于异构数据融合的图像三维重建方法 |
CN113048909A (zh) * | 2021-03-08 | 2021-06-29 | 武汉科技大学 | 基于激光扫描的粗集料三维形态特征采集方法及设备 |
CN114562957A (zh) * | 2022-02-28 | 2022-05-31 | 南京理工大学 | 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法 |
CN114562957B (zh) * | 2022-02-28 | 2024-05-17 | 南京理工大学 | 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法 |
CN116912427A (zh) * | 2023-09-12 | 2023-10-20 | 武汉工程大学 | 基于标记点三角特征聚类的三维扫描重建方法及系统 |
CN116912427B (zh) * | 2023-09-12 | 2023-11-24 | 武汉工程大学 | 基于标记点三角特征聚类的三维扫描重建方法及系统 |
CN117718985A (zh) * | 2024-02-07 | 2024-03-19 | 西安中科光电精密工程有限公司 | 一种基于智能三维视觉的搜排爆机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104036541A (zh) | 一种视觉测量中的快速三维重建方法 | |
CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
CN104299261B (zh) | 人体三维成像方法及系统 | |
CN103971408B (zh) | 三维人脸模型生成系统及方法 | |
US10217293B2 (en) | Depth camera-based human-body model acquisition method and network virtual fitting system | |
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
CN111045017A (zh) | 一种激光和视觉融合的巡检机器人变电站地图构建方法 | |
CN107392964A (zh) | 基于室内特征点和结构线结合的室内slam方法 | |
CN107621226A (zh) | 多目立体视觉的三维扫描方法及系统 | |
CN102679959B (zh) | 基于主动全景视觉传感器的全方位三维建模系统 | |
CN105528785A (zh) | 一种双目视觉图像立体匹配方法 | |
CN106204544A (zh) | 一种自动提取图像中标志点位置及轮廓的方法和系统 | |
CN104346608A (zh) | 稀疏深度图稠密化方法和装置 | |
CN103868460A (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
CN105225269A (zh) | 基于运动机构的三维物体建模系统 | |
CN106228605A (zh) | 一种基于动态规划的立体匹配三维重建方法 | |
CN107680137B (zh) | 一种基于球体投影公切线的多相机标定及参数优化方法 | |
CN103231708A (zh) | 一种基于双目视觉的智能车辆避障方法 | |
CN106780573B (zh) | 一种全景图特征匹配精度优化的方法及系统 | |
CN107590825A (zh) | 一种基于sfm的点云孔洞修补方法 | |
CN108053373A (zh) | 一种基于深度学习模型鱼眼图像校正方法 | |
CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
CN105913444B (zh) | 基于软激光测距的牲畜体型轮廓重构方法及体况评分方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140910 |