CN114565714A - 一种单目视觉传感器混合式高精度三维结构恢复方法 - Google Patents

Abstract

本发明公开了一种单目视觉传感器混合式高精度三维结构恢复方法。使用该单目视觉传感器多目视图方法对目标物体进行三维重构，可以保证重建过程和拼接过程一次完成，避免了局部重构后全局拼接带来额外误差的问题，同时避免了多目视觉传感器重建结果受标定误差影响严重的问题。发明中所使用物体结构重建方法计算量较小，重建精度高，可达到微米级别。所使用设备与测量设备相同，避免因设备参数不同导致的重构误差。

Description

一种单目视觉传感器混合式高精度三维结构恢复方法

技术领域

本发明涉及多目视图几何、视觉测量技术领域，具体为一种单目视觉传感器混合式高精度三维结构恢复方法，用于高精度摄影测量基准坐标系三维重建拼接。

背景技术

三维重建和拼接技术被广泛应用于场景建图、军事仿真、自动驾驶、工业测量和建筑测绘等诸多领域。三维重建技术为视觉测量认为带来了很多新的帮助，例如大型工件变形量可通过实时三维重建及拼接技术进行检测，在生产、加工和装配等各个环节保证精度，解决了从前精度提高困难的问题。对于视觉测量来说，现阶段的三维重建及拼接技术主要提供大型工件(尺寸超过10米)变形测量和建筑物测绘，所要求的精度最高仅达到毫米级别。本发明提供一种高精度目标三维重建及拼接技术，最终的重建精度可达到微米级别。

一般来说，三维重建及拼接技术主要有两种路径。

第一种是多目视觉传感器全局标定重建，这种方法需要使用至少三个图像视觉传感器同时对被测目标进行测量，获得目标特征点二维图像的同时对多个视觉传感器的外参数进行标定。该方法可将目标特征点一次性重建在同一个坐标系下，避免了多次重建和坐标转换带来的误差。但是全局标定受测量误差影响很大，且为了保证两视觉传感器之间的重叠区域足够大，就需要更多的视觉传感器，意味着巨大的系统投入。多目视觉传感器全局重建方法的不足有以下三点：1)标定设备与测量设备不同；每个视觉传感器虽然都会经过标定环节，但不同视觉传感器之间的细微差别将对测量结果产生不可忽视的影响。2)系统投入大；多目视觉传感器同时标定重建意味着更多的资金投入。3)鲁棒性差；全局标定受测量误差影响大，后续仍需进一步优化求解。

第二种是单目视觉传感器增量式三维重建，该方法不需要一次性输入全部图像，可任意添加图像迭代进行重建。但该方法在恢复视觉传感器外参数时误差较大，导致三维重建精度不够，其不足可概括为以下两点：1)计算量大；每增加一张图像都需要重新匹配并估计所有视觉传感器外参数。2)视觉传感器外参数估计受特征点图像定位误差影响严重；由于每添加一个视图都需要估计基本矩阵，基本矩阵的计算受图像噪声影响大，有可能导致重建失败。

发明内容

现有的三维重建和拼接技术存在如下缺点：

(1)多目视觉传感器三维重建需要大量的系统投入，并且重建结果受标定过程的测量误差影响严重。单目视觉传感器增量式重建计算量较大，且受噪声影响严重，重建精度不高。

(2)、现阶段的重建精度只能达到毫米级别，后续的拼接工作还会带来额外的误差，无法满足高精度测量的要求。

(3)、多目视觉传感器全局标定重建方法存在这标定设备与测量设备不同的问题，这对于高进度测量任务将会产生不可忽视的误差影响。

(4)、对于大型目标或立体目标的重建和拼接，为了保证拼接精度往往需要全局控制点，否则会出现拼接漂移的现象，这就为重建任务带来了额外的工作。

本发明针对上述技术的不足，提供了一种目标的高精度重建及拼接方法。

本发明是采用如下技术方案实现的：

一种单目视觉传感器混合式高精度三维结构恢复方法，包括如下步骤：

步骤一、定义如下四个互相关联的坐标系：

世界坐标系O_wX_wY_wZ_w，表示目标和相机在三维空间中的绝对姿态和坐标。

目标全局坐标系O_tX_tY_tZ_t，以目标上一点为原点，反应目标自身特征三维结构的坐标。

目标面坐标系O_fiX_fiY_fiZ_fi(fi＝1,...,M)，目标物体由M个面构成，每个面内特征点刚体链接，结构稳定，形成面坐标系。

相机坐标系O_cX_cY_cZ_c，坐标原点为相机光学中心，Z轴与光轴平行，X轴和Y轴分别与图像视觉传感器的X方向和Y方向平行。

步骤二、预先使用辅助靶标标定方法对目标的每个面分别进行标定，得到每个面内特征点三维坐标，记为

其中fi＝1,...,M表示不同的面，j＝1,...,N表示同一面内不同的特征点。

步骤三、架设主机，对目标360°环绕拍摄，共S个摄站，每个摄站分别以三个高度进行拍摄，共S×3个视图。

步骤四、使用灰度质心法得到视图p＝1,...,3S上特征点的二维坐标

步骤五、采用极线几何原理，当两个视图下存在5个及以上同名点时，可以估计两视图之间的坐标转换关系。同名点的判断可根据预先标定的坐标值得到。每两个相邻摄站之间都可以得到一组相对转换关系P_p,p+1＝[R_p,p+1|t_p,p+1],(p＝1,...,3S-1)。

步骤六、将步骤五中得到的P_p,p+1,(p＝1,...,3S-1)进行分组，图像上存在同一组同名点的关系矩阵P_p,p+1合并为一组，记作{pose_fi},fi＝1,...,M。各组之间的P_p,p+1可能存在重复，但各组满足关系{pose_f1}∪{pose_f2}∪...∪{pose_fM}＝{P_p,p+1,(p＝1,...,3S-1)}。

步骤七、对步骤六提取的各个关系矩阵组{pose_fi},fi＝1,...,M进行如下操作，更新关系矩阵P_p,p+1的初始值：

使用两摄站的关系矩阵P_p,p+1以及空间点在两视图上的图像坐标q＝(u,v)，可以重建该特征点Q'＝(X',Y',Z')。将重建点Q'重投影到两个视图中，可得到重投影点图像坐标q'＝(u',v')，求使得重投影图像点与原始图像点距离最小的P_p,p+1，对于多个摄站方位对同一组空间点采集图像的情况，设关系矩阵组{pose_fi}包含P_p,p+1,(p＝p1,...,pN)对视图组，每组视图包含j＝1,...,N个特征点，则目标函数可表示为：

其中，dist(Q',R_p,p+1,t_p,p+1)＝||q_p-q_p'||。

步骤八、步骤七得到的P_p,p+1为每两个摄站之间的转换矩阵，但若要得到目标物体在世界坐标系下的三维结构，则需要将所有摄站对齐在世界坐标系下，以获得各摄站的绝对位姿，这样三维重建出的目标特征点无需二次拼接即处于同一坐标系内。使用如下公式将P_p,p+1对齐到世界坐标系下，得到绝对位姿矩阵P_p＝[R_p|t_p],(p＝1,...,3S)：

式中，

||·||_F表示Frobenius范数。令式(2)取得最小值，可得世界坐标系下绝对位姿矩阵P_p＝[R_p|t_p]的最优解。

步骤九、步骤八计算得到了所有摄站在世界坐标系下的绝对位姿，使用步骤八计算的P_p＝[R_p|t_p]三维重建目标结构，可以得到目标物体上所有特征点在世界坐标系下的三维坐标初值Q_k。

步骤十、使用步骤二中预先标定好的各个面内特征点三维坐标

通过如下目标函数再次优化R_p和t_p：

其中，

步骤十一、根据步骤十得到的各摄站绝对空间位姿P_p＝[R_p|t_p],(p＝1,...,3S)，与目标特征点在世界坐标系下的三维坐标Q_k＝(X_k,Y_k,Z_k)其中k＝1,...,K，使用主成分分析法建立目标全局坐标系O_tX_tY_tZ_t，将特征点转换到O_tX_tY_tZ_t下，即可得到目标特征点三维结构

与现有技术相比，本发明具有如下优点：

1、单目视觉传感器三维重建不需要大量的系统投入，并且重构过程和拼接过程同时完成，受标定误差影响小，计算量较小，鲁棒性高。

2、针对使用预先标定、视觉传感器外参数均化和二次优化等技术手段，将目标特征点重建精度提升至微米级别。现有方法为了达到高精度结构重建，需分块局部重建，再将各个分块通过点云拼接的方法组成整体，但本发明重建后无后续的拼接过程，重建拼接一次性完成，不需要全局控制点，无拼接漂移的现象导致的累计误差，避免了二次误差的产生。

3、标定设备可使用测量设备，保证重构和拼接过程不受视觉传感器参数影响，提高了目标物体三维重建精度以及系统测量精度。

本发明设计合理，具有很好的实际应用价值。

附图说明

图1表示本发明与现有传统方法的重建结果对比示意图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明实施例的实施过程使用Basler A102f工业相机，镜头焦距为f＝12mm，使用MATLBA科学软件进行算法验证。具体步骤如下：

步骤一、定义如下四个互相关联的坐标系：

世界坐标系O_wX_wY_wZ_w，用于表示目标和相机在三维空间中的绝对姿态和坐标；

目标全局坐标系O_tX_tY_tZ_t，以目标上一点为原点，反应目标自身特征三维结构的坐标；

目标面坐标系O_fiX_fiY_fiZ_fi(fi＝1,...,M)，目标物体由M个面构成，每个面内特征点刚体链接，结构稳定，形成面坐标系；

相机坐标系O_cX_cY_cZ_c，坐标原点为相机光学中心，Z轴与光轴平行，X轴和Y轴分别与图像视觉传感器的X方向和Y方向平行。

步骤二、使用的辅助靶标标定方法(现有技术文献：杨博文.大型装备装配位姿视觉检测的关键技术研究[D].南京航空航天大学，2015)标定目标fi＝1,...,M个面内特征点的三维结构，记fi面内有N_fi个特征点，这些特征点在fi面坐标系O_fiX_fiY_fiZ_fi的三维坐标为

步骤三、架设主机，对目标360°环绕拍摄，共S个摄站，每个摄站分别以三个高度进行拍摄，共S×3个视图。

本实施例具体为：围绕目标采集特征图像，相邻两个面之间保证有13～17张图像可以同时拍到目标的两个面。每个拍摄位置都需要从3个不同高度拍摄目标的特征，所以对于有M个面的目标，至少需要拍摄13×3×M＝39M幅图像。

步骤四、对采集到的图像进行分组，分组原则为能同时拍摄到相同两个面的全部特征，由于某些位置可能同时拍摄到目标的三个面，所以图像组之间存在重复图像，对于有M个面的目标，图像可以分为39组。将组内图像按顺序排列并将绝对路径存放于数组中。

通过上述得到的图像，同一组内两幅之间存在2N个同名特征点。使用灰度质心法(现有技术文献：杨博文.大型装备装配位姿视觉检测的关键技术研究[D].南京航空航天大学，2015)定位这些点的图像坐标，对于第p幅图像拍摄到的第fi面上的特征点图像坐标记为

步骤五、采用极线几何原理，当两个视图下存在5个及以上同名点时，可以估计两视图之间的坐标转换关系。同名点的判断可根据预先标定的坐标值得到。每两个相邻摄站之间都可以得到一组相对转换关系P_p,p+1＝[R_p,p+1|t_p,p+1],(p＝1,...,3S-1)。

本实施例具体为：根据两幅图像间同名点的图像坐标

和

基于极线几何理论估计两视图对应的相机投影矩阵P_p,p+1＝[R_p,p+1|t_p,p+1]。相机投影矩阵为3×4矩阵，由3×3旋转矩阵和3×1位置向量组成。该旋转矩阵和位置向量反映了后一个相机位置相对于前一个相机位置的转换关系。

步骤六、依据步骤四的分组原则将步骤五中的关系矩阵P_p,p+1＝[R_p,p+1|t_p,p+1]进行分组，记为{pose_fi},fi＝1,...,39。同一组的关系矩阵反映了能拍摄到相同特征点集的相机摄站位置关系。

步骤七、针对步骤六中同一个组内的P_p,p+1＝[R_p,p+1|t_p,p+1],(p＝1,...,39)，根据步骤四得到的图像坐标和步骤五得到的相机投影矩阵重建fi面上的特征点，得到重建三维坐标

将重建的三维点重投影到图像上得到重投影图像点坐标

最小化

和

之间的距离可以求得相机投影矩阵P_p,p+1＝[R_p,p+1|t_p,p+1]的最优估计值，设优化目标函数为：

其中，dist(Q',R_p,p+1,t_p,p+1)＝||q_p-q_p'||，使用LM优化算法对式求解得到39-1个相对转换关系的初始值。对步骤六中的所有分组实施该步骤，可以得到所有相对转换关系的初始值。

步骤八、步骤七得到的P_p,p+1＝[R_p,p+1|t_p,p+1]为每两组视图间的相对旋转和平移矩阵，传统方法使用重建处的三维点进行点云对齐从而得到完整的目标物体三维结构，但这种方法会产生额外的拼接误差，现需将所有相机位姿统一到世界坐标系下，即求解世界坐标系下相机的绝对位姿。设目标函数为：

式中，

||·||_F表示Frobenius范数。P_p,p+1由步骤七求得，P_p的初始值可由经验设置。令式(2)取得最小值，可得世界坐标系下绝对位姿矩阵P_p＝[R_p|t_p]的最优解。

步骤九、使用步骤八计算的P_p＝[R_p|t_p]三维重建目标结构，可以得到特征点在世界坐标系下的三维坐标Q'＝(x^w',y^w',z^w')。

步骤十、使用步骤八得到的绝对位姿旋转矩阵R_p与真实相机旋转矩阵误差很小，但绝对位置向量t_p仍需进一步优化。步骤二得到的特征点在面坐标系O_fiX_fiY_fiZ_fi的三维坐标

可认为是特征点在该面坐标系内的近似真实值，将步骤九得到的重建坐标Q'＝(x^w',y^w',z^w')对齐到各面坐标系内，使

和Q'欧氏距离取得最小值，可以得到相机绝对位置的全局最优解。优化目标公式为：

其中，

步骤十一、使用步骤八得到的R_p和步骤十得到的t_p组成世界坐标系下的相机投影矩阵P_p＝[R_p|t_p]，根据三角测量原理重建目标特征点在世界坐标系下的三维结构，得到坐标值Q^w＝(x^w，y^w，z^w)，对各特征点坐标进行主成分分析法(Principle ComponentAnalysis，参考文献：Smith，L.I..(2002).A Tutorial on Principal ComponentsAnalysis.Cornell University，USA.51.52.)，可以得到各特征点在目标物体坐标系下的三维坐标Q^t＝(x^t，y^t，z^t)。

为了直观的展示该方法对目标物体三维结构的恢复效果，使用传统的三维重建结合点云拼接的方法作为对比，图1为本发明和传统方法的重建结果与真值的对比。验证实验所用目标物体为虚拟三维物体，人工设置各特征点真实三维坐标，使用本发明的方法和传统重建方法分别对虚拟三维物体进行三维结构恢复，与真实坐标对比得到重建误差，结果总结于表1。

	本发明	传统方法
			误差标准差(std)	0.0554mm	1.0077mm
误差均值(mean)	0.0332mm	0.1346mm
			误差最大值(max)	0.3010mm	5.1973mm
重建时间	3分28秒	2分44秒

从上表1中可以看出使用本发明的方法，虚拟目标物体的最终误差的均值、最大值和标准差均小于传统方法的误差。虽然计算时间略慢于传统方法，但由于三维结构恢复过程不需要现场实时进行，故不需要过多考虑时间复杂度。

总之，本发明使用单目视觉传感器多目视图方法对目标物体进行三维重构，可以保证重建过程和拼接过程一次完成，避免了局部重构后全局拼接带来额外误差的问题，同时避免了多目视觉传感器重建结果受标定误差影响严重的问题。本发明中所使用物体结构重建方法计算量较小，重建精度高，可达到微米级别。所使用设备与测量设备相同，避免因设备参数不同导致的重构误差。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照本发明实施例进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明的技术方案的精神和范围，其均应涵盖本发明的权利要求保护范围中。

Claims (1)

1.一种单目视觉传感器混合式高精度三维结构恢复方法，其特征在于：包括如下步骤：

步骤一、定义如下四个互相关联的坐标系：

世界坐标系O_wX_wY_wZ_w，用于表示目标和相机在三维空间中的绝对姿态和坐标；

目标全局坐标系O_tX_tY_tZ_t，以目标上一点为原点，反应目标自身特征三维结构的坐标；

目标面坐标系O_fiX_fiY_fiZ_fi(fi＝1,...,M)，目标物体由M个面构成，每个面内特征点刚体链接，结构稳定，形成面坐标系；

相机坐标系O_cX_cY_cZ_c，坐标原点为相机光学中心，Z轴与光轴平行，X轴和Y轴分别与图像视觉传感器的X方向和Y方向平行；

步骤二、使用辅助靶标标定方法对目标的每个面分别进行标定，得到每个面内特征点三维坐标，记为

其中fi＝1,...,M表示不同的面，j＝1,...,N表示同一面内不同的特征点；

步骤三、架设主机，对目标360°环绕拍摄，共S个摄站，每个摄站分别以三个高度进行拍摄，共S×3个视图；

步骤四、使用灰度质心法得到视图p＝1,...,3S上特征点的二维坐标

步骤五、采用极线几何原理，当两个视图下存在5个及以上同名点时，即可估计两视图之间的坐标转换关系；同名点的判断根据预先标定的坐标值得到；每两个相邻摄站之间都能够得到一组相对转换关系P_p,p+1＝[R_p,p+1|t_p,p+1],(p＝1,...,3S-1)；

步骤六、将步骤五中得到的P_p,p+1,(p＝1,...,3S-1)进行分组，图像上存在同一组同名点的关系矩阵P_p,p+1合并为一组，记作{pose_fi},fi＝1,...,M；各组满足关系{pose_f1}∪{pose_f2}∪...∪{pose_fM}＝{P_p,p+1,(p＝1,...,3S-1)}；

步骤七、对步骤六提取的各个关系矩阵组{pose_fi},fi＝1,...,M进行如下操作，更新关系矩阵P_p,p+1的初始值：

使用两摄站的关系矩阵P_p,p+1以及空间点在两视图上的图像坐标q＝(u,v)，重建该特征点Q'＝(X',Y',Z')；将重建点Q'重投影到两个视图中，得到重投影点图像坐标q'＝(u',v')，求使得重投影图像点与原始图像点距离最小的P_p,p+1，对于多个摄站方位对同一组空间点采集图像的情况，设关系矩阵组{pose_fi}包含P_p,p+1,(p＝p1,...,pN)对视图组，每组视图包含j＝1,...,N个特征点，则目标函数可表示为：

其中，dist(Q',R_p,p+1,t_p,p+1)＝||q_p-q_p'||；

步骤八、步骤七得到的P_p,p+1为每两个摄站之间的转换矩阵，但若要得到目标物体在世界坐标系下的三维结构，则需要将所有摄站对齐在世界坐标系下，以获得各摄站的绝对位姿，这样三维重建出的目标特征点无需二次拼接即处于同一坐标系内；使用如下公式将P_p,p+1对齐到世界坐标系下，得到绝对位姿矩阵P_p＝[R_p|t_p],(p＝1,...,3S)：

式中，

||·||_F表示Frobenius范数；令式(2)取得最小值，得世界坐标系下绝对位姿矩阵P_p＝[R_p|t_p]的最优解；

步骤九、步骤八计算得到了所有摄站在世界坐标系下的绝对位姿，使用步骤八计算的P_p＝[R_p|t_p]三维重建目标结构，得到目标物体上所有特征点在世界坐标系下的三维坐标初值Q_k；

步骤十、使用步骤二中预先标定好的各个面内特征点三维坐标

通过如下目标函数再次优化R_p和t_p：

其中，

步骤十一、根据步骤十得到的各摄站绝对空间位姿P_p＝[R_p|t_p],(p＝1,...,3S)，与目标特征点在世界坐标系下的三维坐标Q_k＝(X_k,Y_k,Z_k)其中k＝1,...,K，使用主成分分析法建立目标全局坐标系O_tX_tY_tZ_t，将特征点转换到O_tX_tY_tZ_t下，即可得到目标特征点三维结构

Images