CN103528571B - 单目立体视觉相对位姿测量方法 - Google Patents
单目立体视觉相对位姿测量方法 Download PDFInfo
- Publication number
- CN103528571B CN103528571B CN201310476482.3A CN201310476482A CN103528571B CN 103528571 B CN103528571 B CN 103528571B CN 201310476482 A CN201310476482 A CN 201310476482A CN 103528571 B CN103528571 B CN 103528571B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- target
- points
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 230000003068 static effect Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000005096 rolling process Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种单目立体视觉相对位姿测量方法,包括:步骤S1:把单目摄像机安装在可移动装置上,通过移动单目摄像机在不同位置对目标进行成像,获取含有目标的图像序列;步骤S2:对每幅图像进行目标检测和场景动态分析,若目标在世界坐标系中运动的,则把图像分割成静态背景和动态目标,对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配,否则,直接对相邻的两幅图像进行特征匹配;步骤S3:建立相邻图像之间的特征匹配和摄像机运动之间的约束关系,计算出摄像机的运动参数;步骤S4:在摄像机自运动估计的基础上,根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置,从而计算出目标的相对位姿信息。
Description
技术领域
本发明涉及视觉测量技术领域,具体是一种利用单目摄像机实现双目摄像机立体视觉效果的相对位置和姿态的单目立体视觉相对位姿测量方法。
背景技术
随着计算机视觉理论和图像采集设备的发展,基于计算机视觉的测量方法因其具有非接触、测量范围广、成本低、自动化程度高等优点而在越来越多的领域中得到了广泛的应用。
单目视觉系统是使用一个摄像机对目标进行测量,由于单目视觉系统在测量过程中丢失了目标在三维空间中的深度信息,因此,在用单目视觉测量目标的位置和姿态时,需要已知目标的物理尺寸等信息。双目视觉系统是使用两个摄像机对目标进行测量,由于双目视觉是根据同一三维空间点在两个摄像机中的投影位置不同即视差原理来获取空间点的三维坐标,因此,可以测量几何尺寸未知的目标的位置。但是,双目视觉系统存在标定工艺复杂、两幅图像之间的特征匹配难和成本高等缺点,同时,测量精度还受标定精度、匹配误差和摄像机安装相对误差等的影响。
本发明通过利用单目摄像机在不同位置对目标进行成像实现双目立体视觉的效果,解决了传统的单目视觉测量中不能准确测量目标景深的问题,同时也避免了双目立体视觉测量中标定复杂、成本高、体积大等难题。
移动机器人应用单目立体视觉测量技术可在未知环境中实现自主定位和环境地图绘制(SLAM)。移动机器人SLAM可以应用于室内、室外、空间和水下等各种不同的环境,如在自动化生产系统中,可以作为物料搬运装置;在海洋开发方面,可以完成资源调查、石油矿藏开采、沉船打捞等任务;服务行业方面,可以完成室内清洁、送餐、传递医疗记录等工作,可以把人类从大量条件恶劣、危险、繁重单调的作业中解放出来,同时也节省了大量时间和精力。
发明内容
本发明针对现有技术中存在的上述不足,提供了一种单目立体视觉相对位姿测量方法,该测量方法解决了传统单目视觉测量中不能准确测量目标景深和双目立体视觉测量中标定复杂、成本高、体积大等问题。
本发明是通过以下技术方案实现的。
一种单目立体视觉相对位姿测量方法,包括以下步骤:
步骤S1:把单目摄像机安装在可移动装置上,通过移动单目摄像机在不同位置对目标进行成像,获取含有目标的图像序列;
步骤S2:对每幅图像进行目标检测和场景动态分析,若目标在世界坐标系中运动的,则把图像分割成静态背景和动态目标,对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配,否则,直接对相邻的两幅图像进行特征匹配;
步骤S3:建立相邻图像之间的特征匹配和摄像机运动之间的约束关系,计算出摄像机的运动参数;
步骤S4:在摄像机自运动估计的基础上,根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置,从而计算出目标的相对位姿信息,实现目标三维重构。
所述步骤S1包括如下步骤:
步骤S1.1,移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来;
步骤S1.2,继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来,从而得到单目摄像机在不同位置拍摄的含有目标的图像序列。
所述步骤S2包括如下步骤:
步骤S2.1,采用维纳滤波进行模糊图像的恢复处理,去模糊后的图像可用以下公式计算得到:
其中,G(u,v)为模糊图像的傅里叶变换,H(u,v)为退化的传递函数,H*(u,v)表示H(u,v)的复共轭,|H(u,v)|2=H*(u,v)H(u,v),Sf(u,v)表示原始图像的功率谱,Sn(u,v)表示噪声的功率谱,Sn(u,v)/Sf(u,v)被称之为功率谱密度比,一般情况下近似为一个适当的常数;
步骤S2.2,对相邻两时刻的图像进行特征匹配:首先,通过坐标变换的方式统一两幅图像的坐标量,消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响;其次,利用极线约束关系建立初始候选匹配关系,并采用对称性测试的方法进行两次匹配;然后,将只有一个方向不满足或者两个方向都不满足约束关系的匹配,视为虚假匹配进行剔除;最后,将两个方向都满足约束关系的匹配作为正确的匹配坐标点。
所述步骤S3包括如下步骤:
步骤S3.1,对摄像机运动参数约束条件,从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件,并结合所建立的含约束非线性优化模型,将无约束非线性优化问题转化为一个带约束非线性优化问题,通过收缩优化目标函数最优解的搜索范围,从而提高摄像机位姿估计的精度;
步骤S3.2,采用滚动时域逼近最优解的方法,当选定时域窗口长度后,建立该时域窗口内的带约束非线性优化模型,采用优化算法求解出摄像机位姿的滚动时域估计结果。
所述步骤S4包括如下步骤:
步骤S4.1,在摄像机自运动估计的基础上,递推计算出摄像机在每个时刻的摄像机矩阵,当图像点坐标不存在误差时,则由简单的三角形法计算得到3D特征点的真实位置;
步骤S4.2,完成特征点重构之后,通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标之间的变换关系,求解出目标坐标系相对于摄像机坐标系的相对位姿。
所述三角形法包括以下步骤:
步骤S4.1.1,由点对应计算基本矩阵;
步骤S4.1.2,由基本矩阵计算摄像机矩阵;
步骤S4.1.3,针对每组对应点计算空间中映射到这两个图像点的3D世界真实点。
所述3D世界真实点的正确值在测量点附近的点且准确满足对极几何约束其中,和分别为点x和x′对应的齐次坐标,基本矩阵F表示将左图像中的点映射成它在右图像中极线的矩阵。
所述 通过如下最小化函数得到: 其中,和分别为点x和x′对应的齐次坐标,d为点x和x′之间的距离。
与现有技术相比,本发明提供的单目立体视觉相对位姿测量方法,能够准确测量目标景深的问题,同时,具有标定简单、成本低、体积小的特点。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明的测量原理示意图;
图2是本发明的测量步骤示意图。
具体实施方式
下面对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
请同时参阅图1和图2。
本实施例提供了一种单目立体视觉相对位姿测量方法,包括以下步骤:
步骤S1:把单目摄像机安装在可移动装置上,通过移动单目摄像机在不同位置对目标进行成像,获取含有目标的图像序列;
步骤S2:对每幅图像进行目标检测和场景动态分析,若目标在世界坐标系中运动的,则把图像分割成静态背景和动态目标,对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配,否则,直接对相邻的两幅图像进行特征匹配;
步骤S3:建立相邻图像之间的特征匹配和摄像机运动之间的约束关系,计算出摄像机的运动参数;
步骤S4:在摄像机自运动估计的基础上,根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置,从而计算出目标的相对位姿信息,实现目标三维重构。
进一步地,所述步骤S1包括如下步骤:
步骤S1.1,移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来;
步骤S1.2,继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来,从而得到单目摄像机在不同位置拍摄的含有目标的图像序列。
进一步地,所述步骤S2包括如下步骤:
步骤S2.1,采用维纳滤波进行模糊图像的恢复处理,去模糊后的图像可用以下公式计算得到:
其中,G(u,v)为模糊图像的傅里叶变换,H(u,v)为退化的传递函数,H*(u,v)表示H(u,v)的复共轭,|H(u,v)|2=H*(u,v)H(u,v),Sf(u,v)表示原始图像的功率谱,Sn(u,v)表示噪声的功率谱,Sn(u,v)/Sf(u,v)被称之为功率谱密度比,一般情况下近似为一个适当的常数;
步骤S2.2,对相邻两时刻的图像进行特征匹配:首先,通过坐标变换的方式统一两幅图像的坐标量,消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响;其次,利用极线约束关系建立初始候选匹配关系,并采用对称性测试的方法进行两次匹配;然后,将只有一个方向不满足或者两个方向都不满足约束关系的匹配,视为虚假匹配进行剔除;最后,将两个方向都满足约束关系的匹配作为正确的匹配坐标点。
进一步地,所述步骤S3包括如下步骤:
步骤S3.1,对摄像机运动参数约束条件,从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件,并结合所建立的含约束非线性优化模型,将无约束非线性优化问题转化为一个带约束非线性优化问题,通过收缩优化目标函数最优解的搜索范围,从而提高摄像机位姿估计的精度;
步骤S3.2,采用滚动时域逼近最优解的方法,当选定时域窗口长度后,建立该时域窗口内的带约束非线性优化模型,采用优化算法求解出摄像机位姿的滚动时域估计结果。
进一步地,所述步骤S4包括如下步骤:
步骤S4.1,在摄像机自运动估计的基础上,递推计算出摄像机在每个时刻的摄像机矩阵,当图像点坐标不存在误差时,则由简单的三角形法计算得到3D特征点的真实位置;
步骤S4.2,完成特征点重构之后,通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标之间的变换关系,求解出目标坐标系相对于摄像机坐标系的相对位姿。
进一步地,所述三角形法包括以下步骤:
步骤S4.1.1,由点对应计算基本矩阵;
步骤S4.1.2,由基本矩阵计算摄像机矩阵;
步骤S4.1.3,针对每组对应点计算空间中映射到这两个图像点的3D世界真实点。
进一步地,所述3D世界真实点的正确值在测量点附近的点且准确满足对极几何约束其中,和分别为点x和x′对应的齐次坐标,基本矩阵F表示将左图像中的点映射成它在右图像中极线的矩阵。
进一步地,所述 通过如下最小化函数得到: 其中,和分别为点x和x′对应的齐次坐标,d为点x和x′之间的距离。
具体为:
本实施例利用单目摄像机分别在k-1时刻和k时刻的两个不同的位置对目标进行成像并把获取的含有目标的图像序列存储起来,通过这种方式在不同时刻获得的两幅图像和利用双目摄像机在同一时刻获得的两幅图像在空间上是等价的,即通过时间域的延拓,实现了空间域的扩展,这样就赋予了单目视觉系统立体视觉的功能。
所述步骤S1具体为:把单目摄像机安装在可移动装置上,如机械臂末端,通过控制可移动装置移动来实现单目摄像机的移动。移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来,然后继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来,这样就得到了单目摄像机在不同位置拍摄的含有目标的图像序列。
所述步骤S2具体为:对每幅图像进行目标检测和场景动态分析,若目标在世界坐标系中运动的,则把图像分割成静态背景和动态目标,对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配,静态背景区域的特征匹配结果用来估计摄像机的运动参数,在此基础上,动态目标区域的特征匹配结果结合目标运动的相对性特征来计算目标的相对位姿。
在获取含有目标的图像序列后,执行步骤S2:
在摄像机成像过程中,由于目标与摄像机之间存在相对运动,从而导致成像图片中出现模糊与拖尾现象。为了尽量减少模糊与拖尾现象给图像质量造成的影响,实现高质量的图象恢复,这里采用维纳滤波进行模糊图像的恢复处理,去模糊后的图像可用式
计算得到。其中,G(u,v)为模糊图像的傅里叶变换,H(u,v)为退化的传递函数,H*(u,v)表示H(u,v)的复共轭,|H(u,v)|2=H*(u,v)H(u,v),Sf(u,v)表示原始图像的功率谱,Sn(u,v)表示噪声的功率谱,Sn(u,v)/Sf(u,v)被称之为功率谱密度比,一般情况下近似为一个适当的常数。
由于图像在产生、传输和存储过程中会引入噪声,其会对图像质量和特征提取精度产生影响,从而影响测量精度。因此,在对图像进行处理和分析之前需要进行图像滤波去噪处理。这里选用SUSAN滤波作为一种主要的降噪工具,它可以在滤除图像噪声的同时较好地保持图像的细小特征结构,并且能够改善图像的质量和锐化目标特征结构。
采用Harris角点、Sift特征点等作为匹配特征,并采用Harris或Sift特征提取算法把每幅图像的特征提取出来。相邻两时刻的图像通过以下方法进行特征匹配:首先,为了消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响,需要通过坐标变换的方式统一两幅图像的坐标量。然后,利用极线约束关系建立初始候选匹配关系,为了达到较高的匹配精确度,再采用对称性测试的方法进行两次匹配,即同样算法应用于从k-1时刻采集的图像到k时刻采集的图像,也应用于从k时刻采集的图像到k-1时刻采集的图像。将只有一个方向或者两个方向都不满足约束关系的匹配,视为虚假匹配进行剔除。最后,将两个方向都满足约束关系的匹配作为正确的匹配坐标点。
对相邻两幅图像成功匹配的特征点进行场景动态分析,根据运动的相对性,若目标在世界坐标系中运动的,则把图像分割成静态背景和动态目标。
所述步骤S3具体为:相邻两幅图像进行特征匹配之后,建立摄像机的先验运动模型和场景特征的参数化模型,根据摄像机在不同位置拍摄产生的视差,估计出场景特征点的位置,然后利用基于滚动时域优化思想的摄像机位姿估计方法,从空间和时间的角度建立摄像机位姿参数和图像特征之间的对应约束关系,实现摄像机的位姿估计。
完成去模糊、滤波降噪、特征匹配和动态目标分割之后,执行步骤S3:
通过建立相邻图像之间的特征匹配和摄像机运动之间的约束关系,计算出摄像机的运动参数。然而,在实际应用中,由于特征点匹配含有误匹配以及噪声。为了消除误匹配的影响,假设不同时刻图像噪声是相互独立的,通过对某个时间段内所有图像两两之间进行特征点提取和匹配,建立不同时刻摄像机位姿约束关系,通过冗余位姿约束关系削弱图像噪声的影响。
对摄像机运动参数约束条件,从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件,并结合所建立的含约束非线性优化模型,将无约束非线性优化问题转化为一个带约束非线性优化问题,通过收缩优化目标函数最优解的搜索范围,从而提高摄像机位姿估计的精度。然而,随着摄像机运动时间的积累,该优化函数将会变得越来越复杂,即此时的最优估计往往是不可获取的,为了解决这个问题,引入滚动时域逼近最优解的思想,当选定时域窗口长度后,可以建立该时域窗口内的带约束非线性优化模型,采用优化算法求解出摄像机位姿的滚动时域估计结果。
所述步骤S4具体为:在摄像机自运动的基础上,考虑到提取的特征点图像坐标存在误差,而实际上对应图像点的正确值准确满足对极几何约束,在线性三角法的基础上,利用对极几何约束可以得到优化函数,通过计算最小化优化函数实现目标三维重构。
估计出摄像机自运动参数之后,执行步骤S4:
在摄像机自运动估计的基础上,可以递推计算出摄像机在每个时刻的摄像机矩阵。理想情况下,如果图像点坐标不存在误差,那么很容易由简单的三角形法计算得到3D特征点的真实位置。它一般包括三个步骤:由点对应计算基本矩阵;由基本矩阵计算摄像机矩阵;针对每组对应点计算空间中映射到这两个图像点的3D世界真实点。
然而,由于测量图像坐标存在噪声:实际上对应图像点的正确值应该是在测量点附近的点且准确满足对极几何约束该正确值可以通过如下最小化函数得到: 使得 这样就重建出3D特征点在空间中的真实位置。
完成特征点重构之后,可以通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标间的变换关系求解出目标坐标系相对于摄像机坐标系的相对位姿。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (4)
1.一种单目立体视觉相对位姿测量方法,其特征在于,包括以下步骤:
步骤S1:把单目摄像机安装在可移动装置上,通过移动单目摄像机在不同位置对目标进行成像,获取含有目标的图像序列;
步骤S2:对每幅图像进行目标检测和场景动态分析,若目标在世界坐标系中运动的,则把图像分割成静态背景和动态目标,对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配,否则,直接对相邻的两幅图像进行特征匹配;
步骤S3:建立相邻图像之间的特征匹配和摄像机运动之间的约束关系,计算出摄像机的运动参数;
步骤S4:在摄像机自运动估计的基础上,根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置,从而计算出目标的相对位姿信息,实现目标三维重构;
步骤S1包括如下步骤:
步骤S1.1,移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来;
步骤S1.2,继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来,从而得到单目摄像机在不同位置拍摄的含有目标的图像序列;
所述步骤S2包括如下步骤:
步骤S2.1,采用维纳滤波进行模糊图像的恢复处理,去模糊后的图像用以下公式计算得到:
其中,G(u,v)为模糊图像的傅里叶变换,H(u,v)为退化的传递函数,H*(u,v)表示H(u,v)的复共轭,|H(u,v)|2=H*(u,v)H(u,v),Sf(u,v)表示原始图像的功率谱,Sn(u,v)表示噪声的功率谱,Sn(u,v)/Sf(u,v)被称之为功率谱密度比,为常数;
步骤S2.2,对相邻两时刻的图像进行特征匹配:首先,通过坐标变换的方式统一两幅图像的坐标量,消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响;其次,利用极线约束关系建立初始候选匹配关系,并采用对称性测试的方法进行两次匹配;然后,将只有一个方向不满足或者两个方向都不满足约束关系的匹配,视为虚假匹配进行剔除;最后,将两个方向都满足约束关系的匹配作为正确的匹配坐标点;
所述步骤S3包括如下步骤:
步骤S3.1,对摄像机运动参数约束条件,从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件,并结合所建立的含约束非线性优化模型,将无约束非线性优化问题转化为一个带约束非线性优化问题,通过收缩优化目标函数最优解的搜索范围,从而提高摄像机位姿估计的精度;
步骤S3.2,采用滚动时域逼近最优解的方法,当选定时域窗口长度后,建立该时域窗口内的带约束非线性优化模型,采用优化算法求解出摄像机位姿的滚动时域估计结果;
所述步骤S4包括如下步骤:
步骤S4.1,在摄像机自运动估计的基础上,递推计算出摄像机在每个时刻的摄像机矩阵,当图像点坐标不存在误差时,则由简单的三角形法计算得到3D特征点的真实位置;
步骤S4.2,完成特征点重构之后,通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标之间的变换关系,求解出目标坐标系相对于摄像机坐标系的相对位姿。
2.根据权利要求1所述的单目立体视觉相对位姿测量方法,其特征在于,所述三角形法包括以下步骤:
步骤S4.1.1,由点对应计算基本矩阵;
步骤S4.1.2,由基本矩阵计算摄像机矩阵;
步骤S4.1.3,针对每组对应点计算空间中映射到这两个图像点的3D世界真实点。
3.根据权利要求2所述的单目立体视觉相对位姿测量方法,其特征在于,所述3D世界真实点的正确值在测量点附近的点且准确满足对极几何约束其中,和分别为点x和x′对应的齐次坐标,基本矩阵F表示将左图像中的点映射成它在右图像中极线的矩阵。
4.根据权利要求3所述的单目立体视觉相对位姿测量方法,其特征在于,所述 通过如下最小化函数得到: 其中,和分别为点x和x′对应的齐次坐标,d为点x和x′之间的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310476482.3A CN103528571B (zh) | 2013-10-12 | 2013-10-12 | 单目立体视觉相对位姿测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310476482.3A CN103528571B (zh) | 2013-10-12 | 2013-10-12 | 单目立体视觉相对位姿测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103528571A CN103528571A (zh) | 2014-01-22 |
CN103528571B true CN103528571B (zh) | 2016-04-06 |
Family
ID=49930774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310476482.3A Active CN103528571B (zh) | 2013-10-12 | 2013-10-12 | 单目立体视觉相对位姿测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103528571B (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914855B (zh) * | 2014-03-25 | 2017-08-25 | 苏州大学 | 一种运动目标的定位方法及装置 |
CN104165750B (zh) * | 2014-09-03 | 2017-01-25 | 大连理工大学 | 立体视觉结合陀螺仪风洞模型位姿测量方法 |
CN106289181B (zh) * | 2015-05-22 | 2018-12-18 | 北京雷动云合智能技术有限公司 | 一种基于视觉测量的实时slam方法 |
CN105015419B (zh) * | 2015-07-17 | 2017-09-22 | 中山大学 | 基于立体视觉定位与建图的自动泊车方法 |
WO2017033991A1 (ja) | 2015-08-26 | 2017-03-02 | 住友建機株式会社 | ショベルの計測装置 |
CN105184784B (zh) * | 2015-08-28 | 2018-01-16 | 西交利物浦大学 | 基于运动信息的单目相机获取深度信息的方法 |
CN105303554B (zh) * | 2015-09-16 | 2017-11-28 | 东软集团股份有限公司 | 一种图像特征点的3d重建方法和装置 |
US10429272B2 (en) | 2015-09-30 | 2019-10-01 | Caterpillar Inc. | Command-driven automatic and semi-automatic mobile wear detection |
CN106803261A (zh) * | 2015-11-20 | 2017-06-06 | 沈阳新松机器人自动化股份有限公司 | 机器人相对位姿估计方法 |
CN105890589B (zh) * | 2016-04-05 | 2017-12-22 | 西北工业大学 | 一种水下机器人单目视觉定位方法 |
CN106446883B (zh) * | 2016-08-30 | 2019-06-18 | 西安小光子网络科技有限公司 | 基于光标签的场景重构方法 |
WO2018079789A1 (ja) | 2016-10-31 | 2018-05-03 | 株式会社小松製作所 | 計測システム、作業機械及び計測方法 |
CN108447090B (zh) * | 2016-12-09 | 2021-12-21 | 株式会社理光 | 对象姿态估计的方法、装置及电子设备 |
CN106970620A (zh) * | 2017-04-14 | 2017-07-21 | 安徽工程大学 | 一种基于单目视觉的机器人控制方法 |
US10282860B2 (en) * | 2017-05-22 | 2019-05-07 | Honda Motor Co., Ltd. | Monocular localization in urban environments using road markings |
CN107246865B (zh) * | 2017-05-26 | 2020-04-28 | 河南师范大学新联学院 | 一种基于智能终端定位识别建筑物的方法及装置 |
TWI699756B (zh) * | 2017-09-13 | 2020-07-21 | 國立清華大學 | 基於彈性特徵影像尺的定位量測系統 |
CN107883929B (zh) * | 2017-09-22 | 2020-01-31 | 中冶赛迪技术研究中心有限公司 | 基于多关节机械臂的单目视觉定位装置及方法 |
CN107655896A (zh) * | 2017-09-22 | 2018-02-02 | 义乌敦仁智能科技有限公司 | 一种基于机器视觉的低成本布匹检测方法 |
CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
CN108458710B (zh) * | 2018-04-27 | 2021-05-11 | 中国计量科学研究院 | 位姿测量方法 |
CN109029618B (zh) * | 2018-07-11 | 2020-02-07 | 苏州科技大学 | 单目视觉包装箱体积测量方法 |
CN109186554B (zh) * | 2018-09-07 | 2021-05-07 | 成都川江信息技术有限公司 | 一种将实时视频固定轨迹巡检中的场景自动定位坐标的方法 |
CN109766784A (zh) * | 2018-12-21 | 2019-05-17 | 北京理工大学 | 基于单目图像的胶囊机器人交互控制方法 |
CN109764858B (zh) * | 2018-12-24 | 2021-08-06 | 中公高科养护科技股份有限公司 | 一种基于单目相机的摄影测量方法及系统 |
CN110017817B (zh) * | 2019-01-24 | 2021-09-14 | 中国煤炭科工集团太原研究院有限公司 | 一种基于顶板特征的煤矿巷道导航定位方法和装置 |
CN110009682B (zh) * | 2019-03-29 | 2022-12-06 | 北京理工大学 | 一种基于单目视觉的目标识别定位方法 |
CN110349197B (zh) * | 2019-07-03 | 2021-01-01 | 中山大学 | 一种白内障手术显微镜下单目深度估计方法 |
CN110332930B (zh) * | 2019-07-31 | 2021-09-17 | 小狗电器互联网科技(北京)股份有限公司 | 一种位置确定方法、装置及设备 |
CN111047531B (zh) * | 2019-12-02 | 2023-03-28 | 长安大学 | 一种基于单目视觉的仓储机器人室内定位方法 |
CN113009878A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于单目视觉的运动工件姿态估计方法及装置 |
CN111402336B (zh) * | 2020-03-23 | 2024-03-12 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
CN111654687A (zh) * | 2020-04-30 | 2020-09-11 | 兰州大学 | 共轴一体化的三维照相机 |
CN111563933B (zh) * | 2020-05-26 | 2020-11-03 | 季华实验室 | 一种基于单目视觉的位姿测量方法 |
CN111595362B (zh) * | 2020-06-05 | 2022-07-26 | 联想(北京)有限公司 | 一种惯性测量单元的参数标定方法、装置及电子设备 |
CN112085787B (zh) * | 2020-07-20 | 2024-04-23 | 中国矿业大学 | 一种基于单目视觉的提升钢丝绳空间振动测量方法 |
CN112419409A (zh) * | 2020-11-18 | 2021-02-26 | 合肥湛达智能科技有限公司 | 一种基于实时视频的位姿估计方法 |
CN115060238B (zh) * | 2022-05-18 | 2023-11-10 | 深圳荔石创新科技有限公司 | 一种水下构件相对位姿测量方法及装置 |
CN114935316B (zh) * | 2022-05-20 | 2024-03-12 | 长春理工大学 | 基于光学跟踪与单目视觉的标准深度图像生成方法 |
CN115014398B (zh) * | 2022-07-27 | 2023-01-24 | 湖南科天健光电技术有限公司 | 单目立体视觉测量系统位置姿态校准方法、装置、系统 |
CN116563336A (zh) * | 2023-04-03 | 2023-08-08 | 国网江苏省电力有限公司南通供电分公司 | 面向数字孪生机房目标跟踪的自适应定位算法 |
CN116524030B (zh) * | 2023-07-03 | 2023-09-01 | 新乡学院 | 一种用于数字孪生的起重机摇摆情形下的重建方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101839692A (zh) * | 2010-05-27 | 2010-09-22 | 西安交通大学 | 单相机测量物体三维位置与姿态的方法 |
CN103049929A (zh) * | 2012-11-20 | 2013-04-17 | 浙江大学 | 基于联合优化的多摄像机动态场景3d重建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10267621A (ja) * | 1997-03-24 | 1998-10-09 | Komatsu Ltd | 物体の高さ測定装置及びその方法 |
JP4545093B2 (ja) * | 2003-10-29 | 2010-09-15 | 株式会社岩根研究所 | 3d自動測量装置 |
US8150574B2 (en) * | 2005-01-04 | 2012-04-03 | Deere & Company | Method and system for guiding a vehicle with vision-based adjustment |
-
2013
- 2013-10-12 CN CN201310476482.3A patent/CN103528571B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101839692A (zh) * | 2010-05-27 | 2010-09-22 | 西安交通大学 | 单相机测量物体三维位置与姿态的方法 |
CN103049929A (zh) * | 2012-11-20 | 2013-04-17 | 浙江大学 | 基于联合优化的多摄像机动态场景3d重建方法 |
Non-Patent Citations (1)
Title |
---|
《基于单目运动摄像机的三维物体运动参数估计》;孔令富等;《燕山大学学报》;20120731;第36卷(第4期);第310-315页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103528571A (zh) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103528571B (zh) | 单目立体视觉相对位姿测量方法 | |
CN109671115B (zh) | 使用深度值估计的图像处理方法和装置 | |
CN104933718B (zh) | 一种基于双目视觉的物理坐标定位方法 | |
CN109791696B (zh) | 用于场景的3d重建的方法、设备和定位事件摄像机的方法 | |
CN105976353B (zh) | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 | |
Concha et al. | DPPTAM: Dense piecewise planar tracking and mapping from a monocular sequence | |
CN108876836B (zh) | 一种深度估计方法、装置、系统及计算机可读存储介质 | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
Holzmann et al. | Measuring distance with mobile phones using single-camera stereo vision | |
CN104677330A (zh) | 一种小型双目立体视觉测距系统 | |
JP2017532695A (ja) | Rgb−dセンサを使用して物体を走査する方法とシステム | |
Bhowmick et al. | Mobiscan3D: A low cost framework for real time dense 3D reconstruction on mobile devices | |
CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位系统及方法 | |
CN116051658B (zh) | 基于双目视觉进行目标检测的相机手眼标定方法及装置 | |
Hyeon et al. | Automatic spatial template generation for realistic 3d modeling of large-scale indoor spaces | |
CN105931231A (zh) | 一种基于全连接随机场联合能量最小化的立体匹配方法 | |
Garro et al. | Fast Metric Acquisition with Mobile Devices. | |
Iqbal et al. | Real time 3D depth estimation and measurement of un-calibrated stereo and thermal images | |
KR20150119770A (ko) | 카메라를 사용한 3차원 좌표 측정 장치 및 방법 | |
Kuhl et al. | Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods | |
Munteanu et al. | Visual odometry with the ricoh theta | |
Sui et al. | A spatial-temporal multiplexing method for dense 3D surface reconstruction of moving objects | |
Du et al. | Optimization of stereo vision depth estimation using edge-based disparity map | |
Parvathi et al. | Refraction Corrected Pose Estimation for 3D reconstruction of underwater objects | |
Kim et al. | Confocal disparity estimation and recovery of pinhole image for real-aperture stereo camera systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |