CN102313536A - 基于机载双目视觉的障碍物感知方法 - Google Patents

Abstract

本发明提出一种基于机载双目视觉的障碍物感知方法，包括以下步骤：设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及根据所述最终的匹配点对生成视差图，并根据所述视差图进行障碍物感知。本发明的基于机载双目视觉的障碍物感知方法的适应性强，实时性好，隐蔽性好。

Description

基于机载双目视觉的障碍物感知方法

技术领域

本发明涉及飞行器导航及计算机视觉技术领域，特别涉及一种基于机载双目视觉的障碍物感知方法。

背景技术

随着飞行器相关技术的不断发展及其应用场景的复杂化，对其环境感知能力提出了更高的要求。基于视觉的导航技术具有探测范围宽、信息容量大等优势，尤其是在进近飞行环境中对环境变化捕捉迅速、反应敏锐等特点，在飞行器导引/导航研究中得到了越来越多的关注。

基于视觉的飞行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉的应用较为广泛。单目视觉使用一台机载相机获取飞行图像，但在图像投影过程中丢失了飞行环境的三维信息。而双目视觉基于视差原理，其产生的立体视觉信息可以直接恢复被测量点的三维坐标，提供了用以估算飞行环境中障碍物距离的深度等信息，对于未知飞行环境中飞行器飞行过程中景物匹配、障碍物和潜在碰撞检测具有重要的实用意义，因而在移动机器人等研究领域被大量采用。另一方面，双目视觉采用被动方式进行环境感知及测距，与传统的激光、雷达和超声等主动环境感知方法相比，可以减少多个飞行器检测过程中的相互干扰，更为重要的是可降低战场环境中被发现的概率，隐蔽性强。

现有的基于视觉的障碍物感知方法存在的问题是，计算机视觉方法在飞行器中的应用主要集中于自主着陆、景象匹配与目标识别以及视觉惯性组合导航等。自主着陆中的视觉方法着眼于飞行器着陆阶段，且需要已知着陆场信息，无法应用于飞行器的任务执行阶段；景象匹配及目标识别，需要建立景象匹配的机载数据库以查找已知目标信息并采用视觉方法得到目标的相对位置，但在飞行器飞行过程中所处的自然环境却无能为力；而将计算机视觉技术与机载惯导数据结合在一起的导航方法计算量较大，当飞行环境复杂时无法满足实时导航的要求。因此，虽有将视觉方法应用于飞行器导航的研究，但这些方法一方面需要已知目标信息或人工设置参考信息，另一方面存在潜在的实时性缺陷，无法满足飞行器执行任务时所处自然环境中的导航应用需求。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为达到上述目的，本发明提出一种基于机载双目视觉的障碍物感知方法，包括以下步骤：S1：设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；S2：提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；S3：根据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及S4：根据所述最终的匹配点对生成视差图，并根据所述视差图进行障碍物感知。

根据本发明实施例的基于机载双目视觉的障碍物感知方法至少具有以下有益效果：

(1)适应性强，本发明的方法只需要采集飞行环境的图像信息而无需外部特定环境信息，因此可适应全天时全天侯情况下的飞行器视觉导航应用；

(2)实时性好，本发明的方法采用的图像角点检测、匹配及视差图像生成方法简单，可达到每秒15帧或更高的图像处理速度，更适于机载图像实时处理及导航；

(3)隐蔽性好，本发明的方法采用双目视觉的被动检测方法，不需要接收外部信息也不主动向外界发射信息，在特殊应用场景如战场环境下具有很好的隐蔽性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于机载双目视觉的障碍物感知方法的流程图；以及

图2为本发明一个实施例的机载双目视觉系统的成像模型图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，根据本发明实施例的基于机载双目视觉的障碍物感知方法，包括以下步骤：

步骤S101，设置机载双目视觉相机的坐标系，并根据所述坐标系计算机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式。

图像坐标系的建立及相机参数的测量是基于双目视觉的障碍物感知的基础，极大地影响着感知效果及测量准确性。

机载双目视觉包括左相机C1和右相机C2，两个相机的光轴相互平行。在本发明的一个实施例中，为便于后续的图像处理，以左相机C1作为相机参数标定过程中的世界坐标系，左相机C1的相机光心作为世界坐标系的原点，记为O。

参考图1，可计算得到左相机所成图像的世界坐标系坐标与计算机图像坐标的转换公式为：

$\left\{\begin{array}{c}{x}_w=\frac{-b\·(u_1-u_0)}{u_2-u_1}\\ y_w=\frac{-b\·d_y\·(v_1-v_0)}{d_x\·(u_2-u_1)}\\ z_w=\frac{-b\·f}{d_x\·(u_2-u_1)}\end{array}\right.,$

右相机成像与左相机(世界坐标系)成像的图像坐标转换公式为：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right],$

其中，b为左右两平行相机间的基距，f为相机焦距，(u，v)为以像素为单位的计算机图像坐标系坐标，(u₀，v₀)为成像坐标系原点在计算机图像坐标系中的坐标；(d_x，d_y)为成像平面坐标系在x方向和y方向相邻像素间的距离。R为旋转矩阵，在平行双目视觉系统中R为单位矩阵，t为平移向量，0^T为元素为0的横向量。

步骤S102，提取机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述。

在本发明的一个实施例中，利用Harris角点检测器检测左右相机所采集图像的角点(特征点)信息。Harris角点检测器是一个流行的图像角点检测器，它具有旋转、尺度变化、光照变化以及噪声不变的特性。Harris角点检测器基于信号局部自动互相关函数进行计算，将所处理的图像窗口W(一般为矩形区域)向任意方向移动微小位移(x，y)，则其灰度改变量可定义为

E_x，y＝∑w_u，v[I_x+u，y+v-I_u，v]＝∑w_u，v[xX+yY+O(x²，y²)]²

＝Ax²+2Cxy+By²＝(x，y)M(x，y)^T

其中，X和Y是一阶灰度梯度，可对图像求卷积得

$X=\frac{\∂I}{\∂x}=I\⊗(-\mathrm{1,0,1}),$ $Y=\frac{\∂I}{\∂y}=I\⊗(-\mathrm{1,0,1})$

选用如下高斯窗口对图像进行平滑以提高抗噪能力：

$w_{u,v}=e^{-(u^2+v^2)/2{\mathrm{\σ}}^2}$

令 $A=X^2\⊗w,$ $B=Y^2\⊗w,$ $C=\left(\mathrm{XY}\right)\⊗w$ 和矩阵 $M=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]$

Harris角点响应函数为R＝Det(M)-k·Tr²(M)，其中Tr(M)为矩阵M的迹，Det(M)为矩阵M的行列式值，k值Harris推荐为0.04。在计算中Tr(M)＝A+B，Det(M)＝AB-C²。

首先针对每一像素点计算相关矩阵M和A、B、C，然后计算每像素点的Harris角点响应R＝AB-C²-k(A+B)²，在窗口W范围内寻找极大值点，若Harris角点响应大于一定阀值，则视为角点。

针对左右相机图像内采集到的特征点，利用如下两个公式分别计算角点的梯度大小和梯度方向。

$\∂(x,y)=\sqrt{{(I(x+1,y)-I(x-1,y))}^2+{(I(x,y+1)-I(x,y-1))}^2}$

θ(x，y)＝tan^-1(I(x，y+1)-I(x，y-1))/(I(x+1，y)-I(x-1，y))

结合SIFT算法，Harris特征点(角点)的特征向量描述方法如下：

(1)以角点的特征方向为主方向建立坐标系，取角点周围16×16范围内的一个窗口区域，分别计算此矩阵内像素的梯度大小和方向，并将此16×16窗口区域分成16个4×4的小方块。

(2)将每个小方块中像素的特征向量投影到将360度平分为8个柱的直方图中。在投影的过程当中，考虑高斯加权的影响，越靠近中央特征点的像素梯度方向信息贡献越大，同时对同一个柱内的梯度投影进行累加，此时得到一个16×8＝128维的特征向量，此向量即为特征点的SIFT特征向量。对于有辅方向的特征点，可以进一步求得一个128维特征向量。对所求得的向量进行归一化处理，使其对旋转，亮度变化保持不变性。

步骤S103，根据特征点的特征向量进行立体匹配获得初步匹配点对，并剔除其中的错误匹配点对获得最终的匹配点对。

当得到双目视觉左右相机图像中特征点的特征向量后，采用特征向量欧式距离作为左右两幅图像中特征点的相似性判断度量。取左图像中的某个特征点，在右图像当中找出与其特征向量欧氏距离最近的特征点。欧氏距离的计算公式如下式所示：

$D=\sqrt{{({\mathrm{\λ}}_1-{\mathrm{\λ}}_1^{\′})}^2+{({\mathrm{\λ}}_2-{\mathrm{\λ}}_2^{\′})}^2+...+{({\mathrm{\λ}}_{128}-{\mathrm{\λ}}_{128}^{\′})}^2}$

其中，(λ₁，λ₂，…，λ₁₂₈)，

为待匹配的左右图像两个特征点的特征向量。D越小则匹配程度越高。在匹配过程中，为了加快速度，需要考虑外极线约束。

得到初步匹配结果后，需要剔除错误匹配点。在本发明的一个示例中，采用初步匹配点对的斜率排除错误匹配以降低匹配时间的复杂度。也就是说，双目视觉左右图像内正确匹配点两坐标的斜率会局限在某一范围内，而错误的匹配点对的斜率会超出这一个范围。据此，排除错误匹配的方法为：

(1)计算初步匹配得出的匹配点对的斜率，并计算平均值；

(2)设定阈值τ，删除匹配点对的斜率与平均值差的绝对值大于阈值τ的匹配点。

步骤S104，根据最终的匹配点对生成视差图，并根据所述视差图进行障碍物感知。

具体地，首先可以左相机图像为基准生成视差图像，并初始化视差图像为全黑。

然后，根据左右图像匹配点坐标关系计算相关系数，并根据相关系数所处范围对视差图进行着色。相关系数的计算方法如下：

(u，v)为匹配点左图像坐标，亦为生成视差图中的坐标，(u′，v′)为右图中相应匹配点坐标。根据d_相关对视差图相应像素进行着色处理，分为以下几种情况：

(1)d_相关＞255时，在视差图的匹配点坐标(x，y)处涂以颜色(255，0，0)；

(2)0＜d_相关＜255时，在视差图的匹配点坐标(x，y)处涂以(d_相关，0，255-d_相关)的颜色；

(3)当左图像(x，y)点处不存在匹配点时，则保留初始化时的黑色不变。

其中的颜色值是以三原色(r，g，b)的形式给出的。(r，g，b)中r为红色，g为绿色，b为蓝色，每种颜色取值范围为0-255，数值越高，表示此颜色所占的比重越大。

采用此种着色方法可以凸显视差图像中包含的三维信息。生成的视差图是由黑色的背景图像和由蓝色至红色过渡的匹配特征点组成。

得到视差图后，可根据匹配点所在的连通区域信息判定障碍物尺寸范围。采用320×240作为图像的基准大小，算法描述如下：

(1)分割视差图。将320×240的视差图进行分割，每一小块为30×30，边缘部分的剩余独立出来各成一小块；

(2)图像块内视差值计算。针对视差图中的每一小块进行计算，在进行特征点匹配时，左右图像中的匹配的特征点坐标已经保存在相应的数组中。根据匹配时得到的坐标，即可计算每个30×30小方块中特征点的视差值。

(3)识别障碍物区域。飞行器双目视觉视野范围内，当像素的视差值d大于一定阈值时将该30×30小方块标记为特定颜色(如绿色)。阈值信息与飞行器距离障碍物的距离成近似线性关系。

(4)判别障碍物尺寸。在获得的带有特定颜色标记的视差图中，有些地方由很多小方块组成，而有的地方存在零星或单独的小方块。选取一定数目的小方块组成的连通区域，将其判断为障碍物。

根据本发明实施例的基于机载双目视觉的障碍物感知方法至少具有以下有益效果：

(1)适应性强，本发明的方法只需要采集飞行环境的图像信息而无需外部特定环境信息，因此可适应全天时全天侯情况下的飞行器视觉导航应用；

(2)实时性好，本发明的方法采用的图像角点检测、匹配及视差图像生成方法简单，可达到每秒15帧或更高的图像处理速度，更适于机载图像实时处理及导航；

(3)隐蔽性好，本发明的方法采用双目视觉的被动检测方法，不需要接收外部信息也不主动向外界发射信息，在特殊应用场景如战场环境下具有很好的隐蔽性。

应理解，本发明的方法不仅适用于飞行器视觉导航，也可用于其他环境。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (8)

1.一种基于机载双目视觉的障碍物感知方法，其特征在于，包括以下步骤：

S1：设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；

S2：提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；

S3：根据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及

S4：根据所述最终的匹配点对生成视差图，并根据所述视差图和所述匹配点所在的连通区域信息进行障碍物感知。

2.根据权利要求1所述的基于机载双目视觉的障碍物感知方法，其特征在于，以所述左相机的光心作为所述坐标系的原点。

3.根据权利要求2所述的基于机载双目视觉的障碍物感知方法，其特征在于，所述左相机所成图像的计算机图像坐标与所述坐标系之间的转换公式为：

$\left\{\begin{array}{c}{x}_w=\frac{-b\·(u_1-u_0)}{u_2-u_1}\\ y_w=\frac{-b\·d_y\·(v_1-v_0)}{d_x\·(u_2-u_1)}\\ z_w=\frac{-b\·f}{d_x\·(u_2-u_1)}\end{array}\right.,$

所述右相机所拍摄的图像与所述左相机所成图像的图像坐标转换公式为：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，b为左右相机间的基距，f为相机焦距，(u，v)为以像素为单位的计算机图像坐标系坐标，(u₀，v₀)为成像坐标系原点在计算机图像坐标系中的坐标；(d_x，d_y)为成像平面坐标系在x方向和y方向相邻像素间的距离，R为旋转矩阵，在平行双目视觉系统中R为单位矩阵，t为平移向量，0^T为元素为0的横向量。

4.根据权利要求1所述的基于机载双目视觉的障碍物感知方法，其特征在于，采用Harris角点检测器检测所述左右相机所成图像的特征点信息，并使用SIFT算法用128维的高维度对所述特征点进行特征向量描述。

5.根据权利要求1所述的基于机载双目视觉的障碍物感知方法，其特征在于，所述步骤S3进一步包括：

S31：根据所述特征点的特征向量，通过以下的公式计算左右相机图像中两个待匹配的特征点的特征向量欧式距离，

$D=\sqrt{{({\mathrm{\λ}}_1-{\mathrm{\λ}}_1^{\′})}^2+{({\mathrm{\λ}}_2-{\mathrm{\λ}}_2^{\′})}^2+...+{({\mathrm{\λ}}_{128}-{\mathrm{\λ}}_{128}^{\′})}^2}$

其中，D为特征向量欧式距离，(λ₁，λ₂，…，λ₁₂₈)、

为待匹配的左右图像两个特征点的特征向量；

S32：对于所述左图像中的某个特征点，在所述右图像中选取与其特征向量欧式距离最小的特征点作为初步匹配点；

S33：计算每个初步匹配点对的斜率，并计算多个所述斜率的平均值；

S34：将每个所述匹配点对的斜率与平均值的差值的绝对值和预先设定的阈值进行比较，如果所述差值的绝对值大于所述预先设定的阈值，则剔除所述匹配点对。

6.根据权利要求1所述的基于机载双目视觉的障碍物感知方法，其特征在于，所述步骤S4进一步包括：

S41：以左相机图像为基准生成视差图，并初始化所述视差图为全黑；

S42：根据所述匹配点对，通过以下的公式计算相关系数，并根据所述相关系数对所述视差图进行着色，

其中，(u，v)为匹配点对左图像坐标，(u′，v′)为右图像中相应匹配点坐标，d_相关为所述相关系数；

S43：根据所述着色后的视差图和所述匹配点的连通区域信息进行障碍物感知。

7.根据权利要求6所述的基于双目视觉的障碍物感知方法，其特征在于，所述根据所述相关系数对所述视差图像进行着色进一步包括：

当d_相关＞255时，在所述视差图像的匹配点坐标处涂以颜色(255，0，0)；

当0＜d_相关＜255时，在所述视差图像的匹配点坐标处涂以(d_相关，0，255-d_相关)的颜色；以及

当左图像某点处不存在匹配点时，则保留初始化时的黑色不变，

其中，颜色值是以三原色(红，绿，蓝)的形式给出的。

8.根据权利要求6所述的基于双目视觉的障碍物感知方法，其特征在于，所述步骤S43进一步包括：

对所述视差图进行分割，获得多个图像块；

计算各个所述图像块内的特征点的视差值；

当当前图像块内的特征点的视差值大于预定的阈值时，将所述当前图像块标记为障碍物区域；

在所述视差图中，选取由多个所述障碍物区域组成的连通区域判断为障碍物。

Images