CN111524174B

CN111524174B - 一种动平台动目标双目视觉三维构建方法

Info

Publication number: CN111524174B
Application number: CN202010300568.0A
Authority: CN
Inventors: 奚勇; 印剑飞; 朱婧文; 陈光山; 王兴
Original assignee: Shanghai Aerospace Control Technology Institute
Current assignee: Shanghai Aerospace Control Technology Institute
Priority date: 2020-04-16
Filing date: 2020-04-16
Publication date: 2023-08-29
Anticipated expiration: 2040-04-16
Also published as: CN111524174A

Abstract

本发明公开了一种动平台动目标双目视觉三维构建方法，所述方法包括如下步骤：S1：动平台双目测距系统获取待测目标在两个相机采集图像中的坐标以及采集图像时两个相机各自的位姿信息；S2：对同一时刻两个相机分别采集的图像进行极线校正；S3：采用ORB算法在极线校正后的两幅图像中提取待测目标的特征点并进行描述；S4：对特征点的brief算子进行双向暴力匹配得到匹配特征点对；S5：根据匹配特征点对，建立透射投影方程组，通过求解透射投影方程组得到特征点在世界坐标系下的三维坐标。本发明用被动的方式实现了对远距离动目标的三维稀疏构建，并满足实时性处理的要求。

Description

一种动平台动目标双目视觉三维构建方法

技术领域

本发明属于三维重构技术领域，尤其涉及一种动平台动目标双目视觉三维构建方法。

背景技术

传统的获取目标三维信息的方法主要分为两种，一种是采用激光雷达、RGB-D相机等主动方式传感器，通过主动向物体发射光并接受返回的光，来获得物体到相机的距离从而获得目标的三维信息，该方法通过物理的测量手段获得目标的三维信息，计算简单，但是对传感器设备本身的要求高；另一种是采用双目相机，双目相机由两个单目相机组成，它们之间的相对位姿通常保持固定，用双目视觉的方式被动解算出目标的三维信息，该方法对传感器设备要求不高。但是双目相机测量到的深度范围与基线(两个相机之间的距离)相关。基线越长，可以构建越远距离的目标三维信息，这也决定了传统的双目相机想要获取越远的目标的三维信息，其体积必然会越大，灵活性差。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种动平台动目标双目视觉三维构建方法，用动平台实时输出相机自身位姿的方式代替了传统的标定相机外参的方式来建立相机的透射投影关系，使得两个相机在采集目标过程中相对位姿可以不断变化从而保证了在延长基线的同时并不增加双目相机采集系统的体积，使得该系统更加灵活，可以适用于远距离动目标的三维稀疏构建。

本发明目的通过以下技术方案予以实现：一种动平台动目标双目视觉三维构建方法，所述方法包括如下步骤：S1：动平台双目测距系统获取待测目标在两个相机采集图像中的坐标以及采集图像时两个相机各自的位姿信息；S2：对同一时刻两个相机分别采集的图像进行极线校正，使得两幅图像对应的特征点在同一条扫面线上；S3：采用ORB算法在极线校正后的两幅图像中提取待测目标的特征点并进行描述；S4：根据极线校正后的两幅图像的特征点在同一扫面线上的特点对特征点的brief算子进行双向暴力匹配得到匹配特征点对；S5：根据匹配特征点对，建立透射投影方程组，通过求解透射投影方程组得到特征点在世界坐标系下的三维坐标，从而完成目标的三维点云构建。

上述动平台动目标双目视觉三维构建方法中，在步骤S2中，对同一时刻两个相机分别采集的图像进行极线校正，使得两幅图像对应的特征点在同一条扫面线上，并求得极线校正后的投射投影矩阵包括如下步骤：S21：两个相机的内参相同且已知，将两个相机各自的位姿信息同一转换到世界坐标系下，解算出两个相机的旋转矩阵和平移向量；S22：采用Fusiello极线校正方法对两幅图像进行校正得到极线校正后的图像。

上述动平台动目标双目视觉三维构建方法中，在步骤S3中，采用ORB算法在极线校正后的两幅图像中提取待测目标的特征点并进行描述包括如下步骤：S31：生成特征点在N×N区域内选取128个点对模板S；S32：分别提取两幅图像的FAST特征点，计算以特征点O为中心n×n区域的灰度质心坐标C，并计算向量的方向θ；S33：将步骤S31中的128个点对模板旋S转θ角度，得到每个区域内新的点对坐标S_θ；S34：比较以特征点为中心的N×N区域中S_θ位置点对的灰度值大小，生成特征点的BRIEF描述子。

上述动平台动目标双目视觉三维构建方法中，在步骤S4中，根据极线校正后的两幅图像的特征点在同一扫面线上的特点对特征点的brief算子进行双向暴力匹配得到匹配特征点对包括如下步骤：S41：先以第一相机极线校正后的图像为基准，遍历该图像上的特征点，假设其中一特征点的坐标为p(x,y)，其BRIEF描述子为(a₁,...,a_k...,a₁₂₈)，然后在第二相机极线校正后的图像上遍历(y-5,y+5)范围内的特征点，得到q_j(x_j,y_j)，其BRIEF描述子为(b_1j,...,b_kj...,b_128j)；其中，j＝1,2,...,m；S42：得到匹配距离最近的特征点，和第二近的特征点，当最近距离和次近距离的比值小于阈值，那么认为匹配成功，反之则失败；S43：以第二相机极线校正后的图像为基准，再重复步骤S41至步骤S42；S44：若两幅图像间的特征点相互匹配到彼此，那么则认为匹配成功，并保存匹配成功特征点的坐标。

上述动平台动目标双目视觉三维构建方法中，在步骤S32中，灰度质心坐标C通过以下公式得到：

其中，(x,y)分别表示图像坐标，I(x,y)表示图像在(x,y)处的灰度值。

上述动平台动目标双目视觉三维构建方法中，在步骤S32中，向量的方向θ通过以下公式得到：

上述动平台动目标双目视觉三维构建方法中，在步骤S33中，每个区域内新的点对坐标S_θ通过以下公式得到：

上述动平台动目标双目视觉三维构建方法中，在步骤S34中，特征点的BRIEF描述子通过以下公式得到：

其中，f_d为特征点的BRIEF描述子。

上述动平台动目标双目视觉三维构建方法中，在步骤S41中，利用特征点描述子之间的汉明距离比较它们的相似性通过以下公式得到：

其中，表示异或运算。

上述动平台动目标双目视觉三维构建方法中，在步骤S21中，两个相机位置参数为姿态参数为ξ_i(ψ_i,θ_i,γ_i)，其中λ_i表示经度，/>表示纬度，h_i表示高度，ψ_i表示方位角，θ_i表示俯仰角，γ_i表示滚转角；其中，i＝1,2；那么其世界坐标系下坐标t_i(X_i,Y_i,Z_i)可以通过以下公式计算得到：

其中，R_e为地球半径，R_f为地球扁率，i为相机的编号。

本发明与现有技术相比具有如下有益效果：

(1)本发明以纯被动的方式实时解算出待构建目标特征点的三维绝对坐标；

(2)本发明用动平台实时输出相机自身位姿的方式代替了传统的标定相机外参的方式来建立相机的透射投影关系，使得两个相机在采集目标过程中相对位姿可以不断变化从而保证了在延长基线的同时并不增加双目相机采集系统的体积，使得该系统更加灵活，可以适用于远距离动目标的三维稀疏构建。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为动平台动目标双目视觉三维构建技术算法流程图；

图2为相机成像模型示意图；

图3为极线校正前两幅图像特征点对应关系示意图；

图4为极线校正后两幅图像特征点对应关系示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明动平台动目标双目视觉三维构建技术，如附图1所示，具体步骤如下：

S1：动平台双目测距系统获取待测目标在两个相机采集图像中的坐标以及采集目标图像时两个相机各自的位姿信息；

S2：根据组合导航设备采集到的信息，解算出相机的外参矩阵。对同一时刻两个相机分别采集的图像对进行极线校正，使得两幅图像对应的特征点在同一条扫面线上(即y轴坐标一样)，如附图4所示，相机1上的特征点p对应于相机2上的一条红色直线，并求得极线校正后的投射投影矩阵；图3为极线校正前两幅图像特征点对应关系示意图；

S3：采用ORB算法在校正后的图像中提取待构建目标的特征点并进行描述；

S4：根据极线校正后两幅图像的特征点在同一扫面线上的特点对特征点的brief算子进行双向暴力匹配；

S5：根据匹配特征点对，建立透射投影方程组，通过求解方程组得到特征点在世界坐标系下的三维坐标，从而完成目标的三维点云构建。

上述S1中，首先将两个具有相同内参的单目相机分开放置，为了保证测量精度，两相机之间放置距离尽可能远一些。分别将单目相机和导航设备(卫导和惯组)通过工装固连，惯组的滚转轴和相机的光轴平行。通过分别调整两个相机的位置和姿态使得两个相机从不同角度同时获取目标的图像信息，并记录下此时惯组和卫导输出的相机的姿态和位置信息。

上述S2中，具体包括以下步骤：

S21：选取地心地固坐标系为世界坐标系，将采集得到的两个相机的位姿信息统一转换到世界坐标系下。假设导航设备采集得到的两个相机位置参数为姿态参数为ξ_i(ψ_i,θ_i,γ_i)(i＝1,2)，其中λ_i表示经度，/>表示纬度，h_i表示高度，ψ_i表示方位角，θ_i表示俯仰角，γ_i表示滚转角。那么其世界坐标系下坐标t_i(X_i,Y_i,Z_i)可以通过以下公式计算得到：

其中，R_e为地球半径，R_f为地球扁率。

S22：然后根据小孔成像模型，如附图2所示，建立以下两个相机关于目标的投射投影方程。

其中，为相机内参矩阵，R_i为旋转矩阵，只与相机的外参(位姿)有关。/>为尺度因子，f为相机的焦距，dx、dy为像元尺寸，u₀、v₀为相机光心的像素坐标，M_i为3×4的透视投影矩阵，P(x,y,z)为待测目标在地心地固坐标系下的三维坐标。

S23：采用Fusiello极线校正方法对两幅图像进行校正：

根据原始的投射投影矩阵求得原始两个相机的光心在世界坐标系中的位置：

C_i＝-(M_i(:,1:3))^-1M_i(:,4),(i＝1,2)

构造新的旋转矩阵R'：

v₁＝C₁-C₂

v₂＝(R₁(3,:))^T×v₁

v₃＝v₁×v₂

新的投射投影矩阵为：

M′_i＝A[R' -R'C_i],(i＝1,2)

计算图像空间变换矩阵：

T_i＝M′_i(:,1:3)(M_i(:,1:3))^-1

分别用对应的空间变换矩阵来校正两个相机得到的图像，得到极线校正后的图像。

上述S3中，具体包括以下步骤：

S31：生成特征点在N×N区域内选取128个点对的模板，X和Y都符合/>的独立高斯分布；

S32：分别提取两幅图像的FAST特征点，计算以特征点O为中心n×n区域的灰度质心坐标C：

其中，x,y分别表示图像坐标，I(x,y)表示图像在(x,y)处的灰度值。

计算向量的方向θ：

S33：将S31中的点对模板旋转θ角度，得到每个区域内新的点对坐标

S34：比较以特征点为中心的N×N区域中S_θ位置点对的灰度值大小，生成BRIEF描述子：

其中，f_d即为特征点的BRIEF描述子。

上述S4中，具体包括以下步骤：

S41：先以相机1极线校正后的图像为基准，遍历该图像上的特征点，假设其中一点的坐标为p(x,y)，其BRIEF描述子为(a₁,...,a_k...,a₁₂₈)，然后在相机2极线校正后的图像上遍历(y-5,y+5)范围内的特征点，得到q_j(x_j,y_j)(j＝1,2,...,m)，其BRIEF描述子为(b_1j,...,b_kj...,b_128j)并利用特征点描述子之间的汉明距离比较它们的相似性：

其中，表示异或运算；

S42：得到匹配距离最近的特征点，和第二近的特征点，当最近距离和次近距离的比值小于阈值，那么认为匹配成功，反之则失败；其中，阈值为2-10。

S43：以相机2极线校正后的图像为基准，再重复S41和S42；

S44：遍历双向匹配结果，若两幅图像间的特征点相互匹配到彼此，那么则认为匹配成功，并保存匹配成功特征点的坐标。

上述S5中，假设得到的匹配点对其中的一对为(u₁,v₁)和(u₂,v₂)，那么建立透射投影方程组为：

通过最小二乘算法可以求得超定方程组唯一解：

P＝(H^TH)^-1H^TB

其中，P即待测目标在地心地固坐标系下的坐标。

本实施例适用于远距离被动探测时对动目标进行三维构建。该方法主要应用在实时性较强的动平台双目测距系统中，该系统采用相机和组合导航设备(卫导和惯组)固连，通过分别调整两个相机的位置和姿态使得两个相机从不同角度同时获取待测目标的图像信息，并记录下此时惯组和卫导输出的相机的姿态和位置信息。对两个相机同一时刻获取的图像进行极线校正。采用ORB(Oriented FAST and Rotated BRIEF)算法在校正后的图像中提取待构建目标的特征点并进行描述。根据极线约束和特征点的BRIEF描述子，采用双向暴力匹配对特征点进行匹配。采用匹配得到的特征点对以及导航设备采集得到的相机的位姿建立两个相机与同一个待构建目标上的特征点间的透射投影方程组，通过解方程得到特征点在世界坐标系下的三维坐标，从而完成对目标的三维构建。该方法用被动的方式实现了对远距离动目标的三维稀疏构建，并满足实时性处理的要求。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims

1.一种动平台动目标双目视觉三维构建方法，其特征在于，所述方法包括如下步骤：

S1：获取待测目标在两个相机采集图像中的坐标以及采集图像时两个相机各自的位姿信息；

S2：对同一时刻两个相机分别采集的图像进行极线校正，使得两幅图像对应的特征点在同一条扫面线上；

S3：采用ORB算法在极线校正后的两幅图像中提取待测目标的特征点并进行描述；

S4：根据极线校正后的两幅图像的特征点在同一扫面线上的特点对特征点的brief算子进行双向暴力匹配得到匹配特征点对；

S5：根据匹配特征点对，建立透射投影方程组，通过求解透射投影方程组得到特征点在世界坐标系下的三维坐标，从而完成目标的三维点云构建；

在步骤S4中，根据极线校正后的两幅图像的特征点在同一扫面线上的特点对特征点的brief算子进行双向暴力匹配得到匹配特征点对包括如下步骤：

S41：先以第一相机极线校正后的图像为基准，遍历该图像上的特征点，假设其中一特征点的坐标为p(x,y)，其BRIEF描述子为(a₁,...,a_k...,a₁₂₈)，然后在第二相机极线校正后的图像上遍历(y-5,y+5)范围内的特征点，得到q_j(x_j,y_j)，其BRIEF描述子为(b_1j,...,b_kj...,b_128j)；其中，j＝1,2,...,m；

S42：得到匹配距离最近的特征点，和第二近的特征点，当最近距离和次近距离的比值小于阈值，那么认为匹配成功，反之则失败；

S43：以第二相机极线校正后的图像为基准，再重复步骤S41至步骤S42；

S44：若两幅图像间的特征点相互匹配到彼此，那么则认为匹配成功，并保存匹配成功特征点的坐标。

2.根据权利要求1所述的动平台动目标双目视觉三维构建方法，其特征在于：在步骤S2中，对同一时刻两个相机分别采集的图像进行极线校正，使得两幅图像对应的特征点在同一条扫面线上，并求得极线校正后的投射投影矩阵包括如下步骤：

S21：两个相机的内参相同且已知，将两个相机各自的位姿信息同一转换到世界坐标系下，解算出两个相机的旋转矩阵和平移向量；

S22：采用Fusiello极线校正方法对两幅图像进行校正得到极线校正后的图像。

3.根据权利要求1所述的动平台动目标双目视觉三维构建方法，其特征在于：在步骤S3中，采用ORB算法在极线校正后的两幅图像中提取待测目标的特征点并进行描述包括如下步骤：

S31：生成特征点在N×N区域内选取128个点对模板S；

S32：分别提取两幅图像的FAST特征点，计算以特征点O为中心n×n区域的灰度质心坐标C，并计算向量的方向θ；

S33：将步骤S31中的128个点对模板旋S转θ角度，得到每个区域内新的点对坐标S_θ；

S34：比较以特征点为中心的N×N区域中S_θ位置点对的灰度值大小，生成特征点的BRIEF描述子。

4.根据权利要求3所述的动平台动目标双目视觉三维构建方法，其特征在于：在步骤S32中，灰度质心坐标C通过以下公式得到：

5.根据权利要求4所述的动平台动目标双目视觉三维构建方法，其特征在于：在步骤S32中，向量的方向θ通过以下公式得到：

6.根据权利要求4所述的动平台动目标双目视觉三维构建方法，其特征在于：在步骤S33中，每个区域内新的点对坐标S_θ通过以下公式得到：

7.根据权利要求4所述的动平台动目标双目视觉三维构建方法，其特征在于：在步骤S34中，特征点的BRIEF描述子通过以下公式得到：

其中，f_d为特征点的BRIEF描述子。

8.根据权利要求1所述的动平台动目标双目视觉三维构建方法，其特征在于：在步骤S21中，两个相机位置参数为姿态参数为ξ_i(ψ_i,θ_i,γ_i)，其中λ_i表示经度，/>表示纬度，h_i表示高度，ψ_i表示方位角，θ_i表示俯仰角，γ_i表示滚转角；其中，i＝1,2；那么其世界坐标系下坐标t_i(X_i,Y_i,Z_i)可以通过以下公式计算得到：

其中，R_e为地球半径，R_f为地球扁率，i为相机的编号。