CN107063228A - 基于双目视觉的目标姿态解算方法 - Google Patents
基于双目视觉的目标姿态解算方法 Download PDFInfo
- Publication number
- CN107063228A CN107063228A CN201611194020.2A CN201611194020A CN107063228A CN 107063228 A CN107063228 A CN 107063228A CN 201611194020 A CN201611194020 A CN 201611194020A CN 107063228 A CN107063228 A CN 107063228A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- camera
- picture
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
本发明提供了一种基于双目视觉的目标姿态解算方法，步骤1：通过左右两个相机采集多组图像，并完成左右两个相机的标定；步骤2：对左右两个相机采集到的图像进行校正和滤波处理；步骤3：从步骤2中的图像中提取目标，处理后得到目标轮廓以及目标在图像中的坐标位置；步骤4：从步骤2的图像中分割出包含目标的图片，并提取出分割图片中的特征点，通过步骤3中得到的目标在图像中的位置信息对特征点坐标进行修正；步骤5：根据特征点的分散程度选择最优特征点；步骤6：利用最优特征点解算目标的姿态。本发明的方法能够提高基于双目视觉的特征点坐标解算精度，提高特征点匹配精度，以及提高姿态解算算法的鲁棒性和稳定性。
Description
技术领域
本发明涉及视觉导航领域，具体地，涉及基于双目视觉的目标姿态解算方法。
背景技术
目前视觉求解目标姿态的方法有很多，大体可分为三类：1)单目；2)双目；3)多目。相比双目系统，单目获得的目标位置信息较少，而多目系统的建模方式较复杂。提取目标表面特征的方法包括提取几何特征，提取点特征等方法。而利用双目系统获取目标表面特征，对目标表面特征要求低，且获取周围信息较多，可以提高目标的解算精度。而在实际应用中，由于基于视觉的特征点坐标解算精度不高和特征点匹配精度并不高，所以目标的姿态解算精度不高。
经检索，申请(专利)号：CN201310656595.1，名称：一种飞机三维姿态解算方法，公开了一种飞机三维姿态解算算法，首先采用高斯平滑滤波对待处理图像进行预处理以去除噪声对后续算法的影响，其次采用模糊C均值聚类算法FCM对上述平滑后的图像进行分割，获得二值图像，然后对分割后获得的而至目标图像进行Hough变换，检测出目标上直线特征明显地部分，而对于目标上线特征不明显的部分采用骨架提取获得特征点，再对骨架上的特征点进行直线拟合，获得目标轴线，最后结合上述获得的轴线以及目标实际尺寸、相机参数等信息，利用投影几何知识最终结算处目标在相机坐标系下的三维姿态参数。基于能够反映物体结构的几何特征，利用整个目标图像进行Hough变换和骨架提取，获得轴线更加准确，获得三维姿态参数更加精确。
技术要点比较：
1、数据源对比：上述发明采用单目相机，本发明采用双目相机，双目相机可以获
取更多目标的位置信息和空间信息。
2、实现方法对比：上述发明采用提取目标表面能体现目标架构的几何线特征，通过数据拟合得出特征点坐标。
本发明与检索结果中的发明专利申请文件的相同点：
1)都采用图像处理方法，对输入图像的预处理方法相似；
2)都是通过提取目标特征的方法来解算姿态。
本发明与上述发明专利申请文件的不同点：
1)本发明对输入的图像进行增强、去噪、校正等操作；
2)为减少图像处理的计算量，对预处理后的图像进行目标提取，分割出目标所在的图像区域，对匹配成功的特征点坐标进行校正；
3)为提高匹配精度，本发明对相机的内外参数矩阵进行了数据融合，得出最优参数矩阵，提高特征点坐标点的解算精度；
4)本发明加入了误匹配点剔除算法，提高特征点匹配精度；本发明采用四元数向量表示目标的姿态；
5)本发明不仅可以应用于无人机、机器人及应用到航天领域的非合作目标姿态求解问题中。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于双目视觉的目标姿态解算方法。
根据本发明提供的基于双目视觉的目标姿态解算方法，包括如下步骤：
步骤1：通过左右两个相机采集多组图像，并通过所述多组图像完成左右两个相机的标定；
步骤2：对左右两个相机采集到的图像进行校正、增强和滤波处理；
步骤3：从步骤2中的图像中提取目标，处理后得到目标轮廓以及目标在图像中的位置信息；
步骤4：从步骤2的图像中分割出包含目标的图片，从分割出的图片中提取特征点，通过步骤3中得到的目标位置信息对特征点进行修正，获得匹配成功的特征点在图像像素坐标系下的坐标；
步骤5：获得下一时刻匹配成功的特征点；匹配相邻时刻左图的特征点，根据特征点的分散程度选择最优特征点；
步骤6：利用最优特征点解算目标姿态。
优选地，所述步骤1包括：
步骤1.1：采集N组图片，每组图片至少15对，即获取不同时刻不同角度左右两个相机所拍摄的图片至少各15张，N为正整数；
步骤1.2：对每组照片进行标定获得相机的内参数和外参数；具体如下：
第i组图片标定出的左相机内参数矩阵记为：Eli
第i组图片标定出的右相机的内参数矩阵记为：Eri
第i组图片标定出的旋转矩阵记为：Ri
第i组图片标定出的平移向量记为：Ti
第i组图片标定出的左相机畸变系数记为：Dli
第i组图片标定出的右相机畸变系数记为：Dri
其中，i＝1,2,...N；
步骤1.3：保持左右两个相机的相对位置不变，即不改变相机的焦距和相机间的基线长度，将左右两个相机和标定板间隔1.5米摆放，拍一组照片，依次每间隔10cm再采集一组照片，采集M组照片，在每组照片中选取相同的特征点，计算标定板和两个相机的距离l，计算公式如下：
式中：B表示左右两个相机的基线长，f表示左右两个相机的焦距，D表示视差；M为正整数；
步骤1.4：将测量数据与真实距离对比，构造目标函数，建立神经网络模型，寻找最优加权值；
步骤1.5：利用多组标定结果进行数据融合得出最优标定结果；定义第i组图像的标定结果的加权值为ωi，则最终的校正参数矩阵如下：
其中
式中：El表示左相机的内参数矩阵，Er表示右相机的内参数矩阵，R表示左右相机之间的旋转矩阵，T表示相机之间的平移向量，Dl表示左相机的畸变矩阵，Dr表示右相机的畸变矩阵。
优选地，所述步骤2包括：基于步骤1中得到的相机内外参数对左右两个相机采集的图像进行校正；对左右两个相机采集到的图像对进行增强和高斯滤波处理。
优选地，所述步骤3包括：
步骤3.1：利用SIFT、SURF或KEAN算法快速匹配获得左右图像的视差图；
步骤3.2：将视差图像对进行归一化处理；
步骤3.3：将视差图进行二值化处理；
步骤3.4：对视差图进行开运算或闭运算处理；
步骤3.5：通过查找连通域，获得目标所在图像中的矩形区域，进而得到目标在图像中所占矩形区域的位置(x,y)和长宽。
优选地，所述步骤4包括：
步骤4.1：利用步骤3中得到的目标所在图像中所占矩阵区域的位置和大小，将步骤2中经过高斯滤波处理后的图片中分割出包含目标的图片imgl和imgr；
步骤4.2：利用SIFT算法或SURF算法提取imgl和imgr的特征点；
步骤4.3：利用Ransac算法匹配特征点，删除误匹配点；
步骤4.4：利用步骤3得到的目标在原图中的相对位置，修正特征点在左图图像坐标系中的坐标；
步骤4.5：根据公式计算第i个特征点在图像像素坐标系下的坐标(Xi,Yi)转换为在左相机坐标系下的坐标(xi,yi,zi)，其中i＝1,2,...n，n表示匹配成功的特征点个数，其中u0，v0为左相机的像平面的主点在图像像素坐标系下的坐标值。
优选地，所述步骤5包括：
步骤5.1：通过执行步骤2至4获得下一相邻时刻的能够成功匹配的特征点，将上一时刻T1的特征点坐标记为：(x1i,y1i,z1i)，其中i＝1,2,...n1，n1为T1时刻得到的特征点数；将下一时刻T2的特征点坐标记为：(x2i,y2i,z2i)，i＝1,2,...n2，n2为T2时刻匹配成功的特征点数；
步骤5.2：将T1时刻和T2时刻获得的左图特征点重新匹配，删除误匹配特征点，得到匹配成功的特征点坐标，分别记为(x3i,y3i,z3i)，(x′3i,y′3i,z′3i)，i＝1,2,...n3，n3为T1和T2时刻左图中目标所在区域匹配成功的特征点个数；
步骤5.3：在步骤5.2已获得的相邻间隔两帧图像中，提取相同特征点在左相机坐标系下的坐标值，根据特征点的分散程度选择最优的三个特征点，分别记为Pi(Xi,Yi,Zi)，P′i(Z′i,Y′i,Z′i)，其中i＝1,2,3。
优选地，所述步骤6包括：
步骤6.1：根据T1时刻图像获得的三个特征点建立新的坐标系，定义Pi(Xi,Yi,Zi)和P′i(Z′i,Y′i,Z′i)在新坐标系下的坐标分别为pi(xi,yi,zi),p′i(x′i,y′i,z′i)，且分别定义P1(X1,Y1,Z1)和P′1(Z′1,Y′1,Z′1)为坐标原点，在新坐标系下坐标原点的坐标值为p1(0,0,0)p′1(0,0,0)；所述新坐标系是指：目标坐标系；
步骤6.2：确定最优特征点在新坐标系下的坐标；定义向量指向的方向为新坐标下X轴的方向，与X轴垂直的方向为Y轴方向，Z轴的方向由右手定则确定，则p2的坐标为根据确定p3的坐标，即p3(x3,y3,0)；
确定p′1，p′2和p′3的坐标值， 即p′1(0,0,0)，p′2(0,y′2,0)，p′3(x′3,y′3,0)；
步骤6.3：计算旋转矩阵R1，
定义得到r1，r2的值，且r3＝r1×r2；
同理计算R2，
通过上式可以求出r′1和r′2，且r′3＝r′1×r′2；
步骤6.4：计算旋转矩阵C，
式中：为R1的逆矩阵；
步骤6.5：根据步骤6.4求出的C矩阵确定四元数向量q＝[a b c d]；具体如下：
与现有技术相比，本发明具有如下的有益效果：
1、本发明中提供的基于双目视觉的目标姿态解算方法能够提高基于双目视觉的特征点坐标解算精度，提高特征点匹配精度，以及提高姿态解算算法的鲁棒性和稳定性。
2、本发明中提供的基于双目视觉的目标姿态解算方法硬件成本低，仅需要配备双目摄像机，无需其它工具辅助；增强平台对环境的适应能力。
3、本发明中提供的基于双目视觉的目标姿态解算方法逻辑易实现，目标姿态解算精度高；可实时解算目标的转速。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的基于双目视觉的目标姿态解算方法的原理框图；
图2为根据最优点建立新坐标系(目标坐标系)的坐标示意图；
图3为本发明提供的基于双目视觉的目标姿态解算方法的流程示意图；
图4为相机坐标系、载体坐标系和目标坐标系的相对示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的基于双目视觉的目标姿态解算方法，包括如下步骤：
步骤1：图像采集，相机标定；
步骤2：图像预处理；
步骤3：目标提取；
步骤4：特征提取与匹配；
步骤5：求解最优特征点坐标；
步骤6：姿态解算。
其中，步骤1包括如下步骤：
步骤1.1：采集N组图片，每组图片至少15对，即获取不同时刻不同角度左右相机图片至少各15张；
步骤1.2：对每组照片进行标定获得相机的内参数和外参数；
左相机外参数：Eli
右相机外参数：Eri
旋转矩阵：Ri
平移向量：Ti
左相机畸变：Dli
右相机畸变矩阵：Dri
其中，i＝1,2,...N；
步骤1.3：保持相机的相对位置不变，即不改变相机的焦距和位置，将相机和标定板间隔1.5米摆放，拍一组照片，每间隔10cm再采集一组照片，采集M组照片，在每组照片选取相同的特征点，利用公式计算标定板和相机的距离，B为左右相机的基线长，f为相机的焦距，D为视差,如表1所示。
表1
| 序号 | 视差 | 真实距离 | 测量距离 |
| i | Di | li | di |
步骤1.4：利用获得的标称数据与真实距离对比，构造目标函数，建立神经网络模型，寻找最优加权值。
步骤1.5：对多组标定结果进行数据融合得出最优标定结果。定义每组标定结果的加权值为ωi，则最终的校正参数矩阵为：
其中
步骤2包括如下步骤：
步骤2.1：将标定结果加载到程序中，利用Opencv库函数对采集的图像进行校正；
步骤2.2：对左右图像对进行增强；
步骤2.3：对左右图像对进行高斯滤波；
步骤3包括如下步骤：
步骤3.1：获取视差图；
步骤3.2：将视差图像对进行归一化处理；
步骤3.3：将视差图进行二值化处理，获取目标轮廓；
步骤3.4：对视差图进行开运算或闭运算处理，得到目标在图像中的位置(x,y)和目标长宽高l,h；
步骤4包括如下步骤：
步骤4.1：根据步骤3得到的目标所在区域参数，在步骤2中经过图像预处理后的图片中分割出包含目标的图片imgl和imgr。
步骤4.2：利用SIFT算法或SURF算法提取imgl和imgr的特征点；
步骤4.3：利用Ransac算法匹配特征点，删除误匹配点；
步骤4.4：利用步骤3得到的目标在原图中的相对位置，修正特征点在原图中的真实坐标。
步骤4.5：根据公式计算特征点在左相机坐标系下的坐标(xi,yi,zi)，其中i＝1,2,...n，n为匹配成功的特征点个数。
步骤5包括如下步骤：
步骤5.1重复步骤1～4，得到下一时刻左右图像匹配的结果，从而得到两组匹配成功的特征点，即在T1时刻获得的特征点坐标为(x1i,y1i,z1i)，其中i＝1,2,...n1，n1为T1时刻得到的特征点数。在T2时刻获得特征点三维坐标为(x2i,y2i,z2i)，i＝1,2,...n2，n2为T2时刻匹配成功的特征点数；
步骤5.2：将T1时刻和T2时刻获得的左图特征点重新匹配，删除误匹配特征点，得到匹配成功的特征点坐标为(x3i,y3i,z3i)，(x′3i,y′3i,z′3i)，i＝1,2,...n3，n3为T1和T2时刻左图中目标所在区域匹配成功的特征点个数；
步骤5.3：在步骤5.2已获得相邻间隔两帧图像中，相同特征点在左相机坐标系下的坐标值，根据特征点的分散程度选择最优的三个特征点,Pi(Xi,Yi,Zi)，P′i(Z′i,Y′i,Z′i)，其中i＝1,2,3；
步骤6包括以下步骤：
步骤6.1：根据T1时刻图像获得的三个特征点建立新的坐标系。定义Pi(Xi,Yi,Zi)和P′i(Z′i,Y′i,Z′i)在新坐标系下的坐标分别为pi(xi,yi,zi),p′i(x′i,y′i,z′i)，且分别定义P1(X1,Y1,Z1)和P′1(Z′1,Y′1,Z′1)为坐标原点，也即在新坐标系下的坐标值为p1(0,0,0)p′1(0,0,0)。
步骤6.2：确定最优特征点在不同坐标系下的坐标。定义向量指向的方向为新坐标下X轴的方向,与X轴垂直的方向为Y轴方向，Z轴的方向由右手定则确定，则p2的坐标为可以确定p3的坐标为， 即p3(x3,y3,0)。同理可以确定p′1，p′2和p′3的坐标值，即p′3(x′3,y′3,0)；
步骤6.3：计算旋转矩阵R1，
定义可以求出r1,r2，另外r3＝r1×r2,同理求出R2。
步骤6.4：计算姿态变换矩阵
步骤6.5：根据步骤6.4求出的矩阵C确定四元数向量q＝[a b c d]。
下面结合具体实施例对本发明中的技术方案做更加详细的说明。
实施举例1：以解算非合作目标为例解释该方法的实现过程。步骤如下：
步骤A1：搭建硬件平台，购买具有软触发或硬件自动触发的相机，以便能获取相邻帧图片的时间间隔；
步骤A2：基于VS2010编程环境和Opencv库，利用c++编程实现相关的流程和算法；
步骤A3：绘制标定板，采集若干组照片，每组照片至少15对图片，利用标定算法获得相机的内外参数，用于图像的校正。
步骤A4：选择某一待测试目标，放置在背景噪声相对简单的环境中，间隔一定时间采集两组照片，经过图像校正，图像处理，目标提取，特征提取、匹配，坐标纠正，姿态解算等步骤解算出目标的姿态。
实施举例2：以无人机搭载双目相机为例解释该方法的实现过程。步骤如下：
步骤B1：选择具有软触发或硬件触发功能的搭建硬件平台，选择相机间合适的基线长度，配置双目相机，将相机固定在无人机上，即相机坐标系与无人机的所选定的坐标系之间的关系已知；
步骤B2：基于无人机软件系统开发语言和Opencv库，编程实现相关的算法和流程；
在无人机运行过程中，间隔一定时间，拍摄若干帧图片，提取相机视野范围内的同一目标，解算相机在相邻时刻的运动姿态；根据装配时相机坐标系与无人机坐标系之间的相对位置，解算无人机的相对姿态。该方法对于在无GPS信号环境中的无人机姿态解算具有重要意义。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (7)
1.一种基于双目视觉的目标姿态解算方法，其特征在于，包括如下步骤：
步骤1：通过左右两个相机采集多组图像，并通过所述多组图像完成左右两个相机的标定；
步骤2：对左右两个相机采集到的图像进行校正、增强和滤波处理；
步骤3：从步骤2中的图像中提取目标，处理后得到目标轮廓以及目标在图像中的位置信息；
步骤4：从步骤2的图像中分割出包含目标的图片，从分割出的图片中提取特征点，通过步骤3中得到的目标位置信息对特征点进行修正，获得匹配成功的特征点在图像像素坐标系下的坐标；
步骤5：获得下一时刻匹配成功的特征点；匹配相邻时刻左图的特征点，根据特征点的分散程度选择最优特征点；
步骤6：利用最优特征点解算目标姿态。
2.根据权利要求1所述的基于双目视觉的目标姿态解算方法，其特征在于，所述步骤1包括：
步骤1.1：采集N组图片，每组图片至少15对，即获取不同时刻不同角度左右两个相机所拍摄的图片至少各15张，N为正整数；
步骤1.2：对每组照片进行标定获得相机的内参数和外参数；具体如下：
第i组图片标定出的左相机内参数矩阵记为：Eli
第i组图片标定出的右相机的内参数矩阵记为：Eri
第i组图片标定出的旋转矩阵记为：Ri
第i组图片标定出的平移向量记为：Ti
第i组图片标定出的左相机畸变系数记为：Dli
第i组图片标定出的右相机畸变系数记为：Dri
其中，i＝1,2,...N；
步骤1.3：保持左右两个相机的相对位置不变，即不改变相机的焦距和相机间的基线长度，将左右两个相机和标定板间隔1.5米摆放，拍一组照片，依次每间隔10cm再采集一组照片，采集M组照片，在每组照片中选取相同的特征点，计算标定板和两个相机的距离l，计算公式如下：
<mrow>
<mi>l</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mi>f</mi>
</mrow>
<mi>D</mi>
</mfrac>
<mo>,</mo>
</mrow>
式中：B表示左右两个相机的基线长，f表示左右两个相机的焦距，D表示视差；M为正整数；
步骤1.4：将测量数据与真实距离对比，构造目标函数，建立神经网络模型，寻找最优加权值；
步骤1.5：利用多组标定结果进行数据融合得出最优标定结果；定义第i组图像的标定结果的加权值为ωi，则最终的校正参数矩阵如下：
<mrow>
<msub>
<mi>E</mi>
<mi>l</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>E</mi>
<mrow>
<mi>l</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>E</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>E</mi>
<mrow>
<mi>r</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>R</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>T</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>T</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>l</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>D</mi>
<mrow>
<mi>l</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>i</mi>
</mrow>
</msub>
</mrow>
1
其中
式中：El表示左相机的内参数矩阵，Er表示右相机的内参数矩阵，R表示左右相机之间的旋转矩阵，T表示相机之间的平移向量，Dl表示左相机的畸变矩阵，Dr表示右相机的畸变矩阵。
3.根据权利要求1所述的基于双目视觉的目标姿态解算方法，其特征在于，所述步骤2包括：基于步骤1中得到的相机内外参数对左右两个相机采集的图像进行校正；对左右两个相机采集到的图像对进行增强和高斯滤波处理。
4.根据权利要求1所述的基于双目视觉的目标姿态解算方法，其特征在于，所述步骤3包括：
步骤3.1：利用SIFT、SURF或KEAN算法快速匹配获得左右图像的视差图；
步骤3.2：将视差图像对进行归一化处理；
步骤3.3：将视差图进行二值化处理；
步骤3.4：对视差图进行开运算或闭运算处理；
步骤3.5：通过查找连通域，获得目标所在图像中的矩形区域，进而得到目标在图像中所占矩形区域的位置(x,y)和长宽。
5.根据权利要求1所述的基于双目视觉的目标姿态解算方法，其特征在于，所述步骤4包括：
步骤4.1：利用步骤3中得到的目标所在图像中所占矩阵区域的位置和大小，将步骤2中经过高斯滤波处理后的图片中分割出包含目标的图片imgl和imgr；
步骤4.2：利用SIFT算法或SURF算法提取imgl和imgr的特征点；
步骤4.3：利用Ransac算法匹配特征点，删除误匹配点；
步骤4.4：利用步骤3得到的目标在原图中的相对位置，修正特征点在左图图像坐标系中的坐标；
步骤4.5：根据公式计算第i个特征点在图像像素坐标系下的坐标(Xi,Yi)转换为在左相机坐标系下的坐标(xi,yi,zi)，其中i＝1,2,...n，n表示匹配成功的特征点个数，其中u0，v0为左相机的像平面的主点在图像像素坐标系下的坐标值。
6.根据权利要求1所述的基于双目视觉的目标姿态解算方法，其特征在于，所述步骤5包括：
步骤5.1：通过执行步骤2至4获得下一相邻时刻的能够成功匹配的特征点，将上一时刻T1的特征点坐标记为：(x1i,y1i,z1i)，其中i＝1,2,...n1，n1为T1时刻得到的特征点数；将下一时刻T2的特征点坐标记为：(x2i,y2i,z2i)，i＝1,2,...n2，n2为T2时刻匹配成功的特征点数；
步骤5.2：将T1时刻和T2时刻获得的左图特征点重新匹配，删除误匹配特征点，得到匹配成功的特征点坐标，分别记为(x3i,y3i,z3i)，(x′3i,y′3i,z′3i)，i＝1,2,...n3，n3为T1和T2时刻左图中目标所在区域匹配成功的特征点个数；
步骤5.3：在步骤5.2已获得的相邻间隔两帧图像中，提取相同特征点在左相机坐标系下的坐标值，根据特征点的分散程度选择最优的三个特征点，分别记为Pi(Xi,Yi,Zi)，P′i(Z′i,Y′i,Z′i)，其中i＝1,2,3。
7.根据权利要求1至6中任一项所述的基于双目视觉的目标姿态解算方法，其特征在于，所述步骤6包括：
步骤6.1：根据T1时刻图像获得的三个特征点建立新的坐标系，定义Pi(Xi,Yi,Zi)和P′i(Z′i,Y′i,Z′i)在新坐标系下的坐标分别为pi(xi,yi,zi),p′i(x′i,y′i,z′i)，且分别定义P1(X1,Y1,Z1)和P′1(Z′1,Y′1,Z′1)为坐标原点，在新坐标系下坐标原点的坐标值为p1(0,0,0)p′1(0,0,0)；所述新坐标系是指：目标坐标系；
步骤6.2：确定最优特征点在新坐标系下的坐标；定义向量指向的方向为新坐标下X轴的方向，与X轴垂直的方向为Y轴方向，Z轴的方向由右手定则确定，则p2的坐标为根据确定p3的坐标，即p3(x3,y3,0)；
确定p′1，p′2和p′3的坐标值， 即p′1(0,0,0)，p′2(0,y′2,0)，p′3(x′3,y′3,0)；
步骤6.3：计算旋转矩阵R1，
定义得到r1，r2的值，且r3＝r1×r2；
同理计算R2，
通过上式可以求出r′1和r′2，且r′3＝r′1×r′2；
步骤6.4：计算旋转矩阵C，
式中：为R1的逆矩阵；
步骤6.5：根据步骤6.4求出的C矩阵确定四元数向量q＝[a b c d]；具体如下：
<mrow>
<mi>a</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>c</mi>
<mn>11</mn>
</msub>
<mo>+</mo>
<msub>
<mi>c</mi>
<mn>22</mn>
</msub>
<mo>+</mo>
<msub>
<mi>c</mi>
<mn>33</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mn>1</mn>
<mo>/</mo>
<mn>2</mn>
</mrow>
</msup>
</mrow>
3
<mrow>
<mi>b</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<mi>a</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mn>32</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mn>23</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>c</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<mi>a</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mn>13</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mn>31</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>d</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<mi>a</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mn>21</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mn>12</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
4
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611194020.2A CN107063228B (zh) | 2016-12-21 | 2016-12-21 | 基于双目视觉的目标姿态解算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611194020.2A CN107063228B (zh) | 2016-12-21 | 2016-12-21 | 基于双目视觉的目标姿态解算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107063228A true CN107063228A (zh) | 2017-08-18 |
| CN107063228B CN107063228B (zh) | 2020-09-04 |
Family
ID=59619295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611194020.2A Active CN107063228B (zh) | 2016-12-21 | 2016-12-21 | 基于双目视觉的目标姿态解算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107063228B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107677274A (zh) * | 2017-09-12 | 2018-02-09 | 西北工业大学 | 基于双目视觉的无人机自主着陆导航信息实时解算方法 |
| CN107843251A (zh) * | 2017-10-18 | 2018-03-27 | 广东宝乐机器人股份有限公司 | 移动机器人的位姿估计方法 |
| CN108376411A (zh) * | 2018-01-16 | 2018-08-07 | 上海交通大学 | 一种基于双目视觉的非合作目标相对状态解算方法 |
| CN108734744A (zh) * | 2018-04-28 | 2018-11-02 | 国网山西省电力公司电力科学研究院 | 一种基于全站仪的远距离大视场双目标定方法 |
| CN108871409A (zh) * | 2018-05-02 | 2018-11-23 | 北京畅东科技有限公司 | 一种故障检测方法和系统 |
| CN109343518A (zh) * | 2018-09-03 | 2019-02-15 | 浙江大丰实业股份有限公司 | 万向车台现场驱动平台 |
| CN109389630A (zh) * | 2018-09-30 | 2019-02-26 | 北京精密机电控制设备研究所 | 可见光图像与红外图像特征点集确定、配准方法及装置 |
| CN109581457A (zh) * | 2018-10-26 | 2019-04-05 | 武汉长天铁路技术有限公司 | 一种动态环境下轨道检测平台的三维定位定姿方法 |
| CN109612437A (zh) * | 2019-01-14 | 2019-04-12 | 华南农业大学 | 基于Bumblebee与全站仪相结合的双目定位检测方法 |
| CN109604096A (zh) * | 2018-12-29 | 2019-04-12 | 晋西车轴股份有限公司 | 一种车轴自动喷漆装置和方法 |
| CN109631850A (zh) * | 2019-01-03 | 2019-04-16 | 甘肃大禹九洲测绘地理信息有限公司 | 一种基于深度学习的倾斜摄像相对定位方法 |
| CN109785396A (zh) * | 2019-01-23 | 2019-05-21 | 中国科学院自动化研究所 | 基于双目相机的写字姿态监测方法、系统、装置 |
| CN110197510A (zh) * | 2019-06-05 | 2019-09-03 | 广州极飞科技有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
| CN111121722A (zh) * | 2019-12-13 | 2020-05-08 | 南京理工大学 | 结合激光点阵和偏振视觉的双目三维成像方法 |
| WO2020108668A1 (zh) * | 2018-11-27 | 2020-06-04 | 南京林业大学 | 基于双目视觉追踪果实空间姿态及果实空间运动的方法 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN111580500A (zh) * | 2020-05-11 | 2020-08-25 | 吉林大学 | 一种针对自动驾驶汽车安全性的评价方法 |
| CN112378383A (zh) * | 2020-10-22 | 2021-02-19 | 北京航空航天大学 | 基于圆和线特征非合作目标相对位姿双目视觉测量方法 |
| CN113298885A (zh) * | 2021-06-23 | 2021-08-24 | Oppo广东移动通信有限公司 | 双目标定方法及装置、设备和存储介质 |
| CN113447020A (zh) * | 2021-06-25 | 2021-09-28 | 中国电子科技集团公司第五十八研究所 | 一种基于多传感器融合的姿态解算方法 |
| CN115100365A (zh) * | 2022-08-25 | 2022-09-23 | 国网天津市电力公司高压分公司 | 一种基于粒子群算法的相机最优基线获取方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120162450A1 (en) * | 2010-12-23 | 2012-06-28 | Sungsoo Park | Digital image stabilization device and method |
| CN103927739A (zh) * | 2014-01-10 | 2014-07-16 | 北京航天飞行控制中心 | 一种基于拼接图像的巡视器定位方法 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN107529376B (zh) * | 2013-08-01 | 2015-12-30 | 上海新跃仪表厂 | 多模融合的微小卫星非合作目标相对导航的方法 |
| CN105425257A (zh) * | 2015-11-03 | 2016-03-23 | 上海交通大学 | 一种高动态gnss载波信号的跟踪方法及系统 |
| CN105993041A (zh) * | 2014-02-24 | 2016-10-05 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
-
2016
- 2016-12-21 CN CN201611194020.2A patent/CN107063228B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120162450A1 (en) * | 2010-12-23 | 2012-06-28 | Sungsoo Park | Digital image stabilization device and method |
| CN107529376B (zh) * | 2013-08-01 | 2015-12-30 | 上海新跃仪表厂 | 多模融合的微小卫星非合作目标相对导航的方法 |
| CN103927739A (zh) * | 2014-01-10 | 2014-07-16 | 北京航天飞行控制中心 | 一种基于拼接图像的巡视器定位方法 |
| CN105993041A (zh) * | 2014-02-24 | 2016-10-05 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105425257A (zh) * | 2015-11-03 | 2016-03-23 | 上海交通大学 | 一种高动态gnss载波信号的跟踪方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王玉倩: "基于图像处理的空间目标姿态测量", 《万方学术论文》 * |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107677274A (zh) * | 2017-09-12 | 2018-02-09 | 西北工业大学 | 基于双目视觉的无人机自主着陆导航信息实时解算方法 |
| CN107843251A (zh) * | 2017-10-18 | 2018-03-27 | 广东宝乐机器人股份有限公司 | 移动机器人的位姿估计方法 |
| CN107843251B (zh) * | 2017-10-18 | 2020-01-31 | 广东宝乐机器人股份有限公司 | 移动机器人的位姿估计方法 |
| CN108376411A (zh) * | 2018-01-16 | 2018-08-07 | 上海交通大学 | 一种基于双目视觉的非合作目标相对状态解算方法 |
| CN108376411B (zh) * | 2018-01-16 | 2021-09-21 | 上海交通大学 | 一种基于双目视觉的非合作目标相对状态解算方法 |
| CN108734744B (zh) * | 2018-04-28 | 2022-02-18 | 国网山西省电力公司电力科学研究院 | 一种基于全站仪的远距离大视场双目标定方法 |
| CN108734744A (zh) * | 2018-04-28 | 2018-11-02 | 国网山西省电力公司电力科学研究院 | 一种基于全站仪的远距离大视场双目标定方法 |
| CN108871409A (zh) * | 2018-05-02 | 2018-11-23 | 北京畅东科技有限公司 | 一种故障检测方法和系统 |
| CN109343518A (zh) * | 2018-09-03 | 2019-02-15 | 浙江大丰实业股份有限公司 | 万向车台现场驱动平台 |
| CN109343518B (zh) * | 2018-09-03 | 2021-07-02 | 浙江大丰实业股份有限公司 | 万向车台现场驱动平台 |
| CN109389630A (zh) * | 2018-09-30 | 2019-02-26 | 北京精密机电控制设备研究所 | 可见光图像与红外图像特征点集确定、配准方法及装置 |
| CN109389630B (zh) * | 2018-09-30 | 2020-10-23 | 北京精密机电控制设备研究所 | 可见光图像与红外图像特征点集确定、配准方法及装置 |
| CN109581457A (zh) * | 2018-10-26 | 2019-04-05 | 武汉长天铁路技术有限公司 | 一种动态环境下轨道检测平台的三维定位定姿方法 |
| US11694343B2 (en) | 2018-11-27 | 2023-07-04 | Nanjing Forestry University | Binocular-vision-based method for tracking fruit space attitude and fruit space motion |
| WO2020108668A1 (zh) * | 2018-11-27 | 2020-06-04 | 南京林业大学 | 基于双目视觉追踪果实空间姿态及果实空间运动的方法 |
| CN109604096A (zh) * | 2018-12-29 | 2019-04-12 | 晋西车轴股份有限公司 | 一种车轴自动喷漆装置和方法 |
| CN109631850A (zh) * | 2019-01-03 | 2019-04-16 | 甘肃大禹九洲测绘地理信息有限公司 | 一种基于深度学习的倾斜摄像相对定位方法 |
| CN109612437A (zh) * | 2019-01-14 | 2019-04-12 | 华南农业大学 | 基于Bumblebee与全站仪相结合的双目定位检测方法 |
| CN109612437B (zh) * | 2019-01-14 | 2020-07-31 | 华南农业大学 | 基于Bumblebee与全站仪相结合的双目定位检测方法 |
| CN109785396A (zh) * | 2019-01-23 | 2019-05-21 | 中国科学院自动化研究所 | 基于双目相机的写字姿态监测方法、系统、装置 |
| CN109785396B (zh) * | 2019-01-23 | 2021-09-28 | 中国科学院自动化研究所 | 基于双目相机的写字姿态监测方法、系统、装置 |
| CN110197510A (zh) * | 2019-06-05 | 2019-09-03 | 广州极飞科技有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
| CN110197510B (zh) * | 2019-06-05 | 2021-08-17 | 广州极飞科技股份有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
| CN111121722A (zh) * | 2019-12-13 | 2020-05-08 | 南京理工大学 | 结合激光点阵和偏振视觉的双目三维成像方法 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN111524115B (zh) * | 2020-04-17 | 2023-10-13 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN111580500A (zh) * | 2020-05-11 | 2020-08-25 | 吉林大学 | 一种针对自动驾驶汽车安全性的评价方法 |
| CN111580500B (zh) * | 2020-05-11 | 2022-04-12 | 吉林大学 | 一种针对自动驾驶汽车安全性的评价方法 |
| CN112378383A (zh) * | 2020-10-22 | 2021-02-19 | 北京航空航天大学 | 基于圆和线特征非合作目标相对位姿双目视觉测量方法 |
| CN112378383B (zh) * | 2020-10-22 | 2021-10-19 | 北京航空航天大学 | 基于圆和线特征非合作目标相对位姿双目视觉测量方法 |
| CN113298885A (zh) * | 2021-06-23 | 2021-08-24 | Oppo广东移动通信有限公司 | 双目标定方法及装置、设备和存储介质 |
| CN113447020A (zh) * | 2021-06-25 | 2021-09-28 | 中国电子科技集团公司第五十八研究所 | 一种基于多传感器融合的姿态解算方法 |
| CN113447020B (zh) * | 2021-06-25 | 2024-02-13 | 中国电子科技集团公司第五十八研究所 | 一种基于多传感器融合的姿态解算方法 |
| CN115100365B (zh) * | 2022-08-25 | 2023-01-20 | 国网天津市电力公司高压分公司 | 一种基于粒子群算法的相机最优基线获取方法 |
| CN115100365A (zh) * | 2022-08-25 | 2022-09-23 | 国网天津市电力公司高压分公司 | 一种基于粒子群算法的相机最优基线获取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107063228B (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107063228A (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
| CN106296693B (zh) | 基于3d点云fpfh特征实时三维空间定位方法 | |
| CN104484668B (zh) | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 | |
| CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
| CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
| CN107481315A (zh) | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 | |
| CN110966991A (zh) | 一种无控制点下的单幅无人机影像定位方法 | |
| CN108711166A (zh) | 一种基于四旋翼无人机的单目相机尺度估计方法 | |
| CN108596975B (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| CN106709950A (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN106919944A (zh) | 一种基于orb算法的大视角图像快速识别方法 | |
| CN107424181A (zh) | 一种改进的图像拼接关键帧快速提取方法 | |
| CN110223377A (zh) | 一种基于立体视觉系统高精度的三维重建方法 | |
| CN103886611A (zh) | 一种适合于航空摄影飞行质量自动检查的影像匹配方法 | |
| CN108921895A (zh) | 一种传感器相对位姿估计方法 | |
| CN106898019A (zh) | 基于尺度不变Harris特征的图像配准方法和装置 | |
| CN105004337B (zh) | 基于直线匹配的农用无人机自主导航方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN112712589A (zh) | 一种基于激光雷达和深度学习的植株3d建模的方法和系统 | |
| CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| Rubio et al. | Efficient monocular pose estimation for complex 3D models | |
| CN104751451B (zh) | 基于无人机低空高分辨率影像的密集点云提取方法 | |
| DE112017002156T5 (de) | Beweglicher roboter, system für mehrere bewegliche roboter, und kartenlernverfahren für bewegliche roboter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |