CN106384382A - 一种基于双目立体视觉的三维重建系统及其方法 - Google Patents

Abstract

一种基于双目立体视觉的三维重建系统和方法，包括：双目摄像头，布置于无人飞行器上，用于拍摄双目图像；飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成，本发明提供的基于双目立体视觉的三维重建系统和方法的有益效果为：解决目前应用于小型无人机上的视觉导航方案中障碍物检测方法存在计算量大实时性差的问题。

Description

一种基于双目立体视觉的三维重建系统及其方法

技术领域

本发明涉及一种基于双目立体视觉的三维重建系统，还涉及一种采用该系统构建地图的方法。

背景技术

无人机导航主要方法包括全球定位系统导航、惯性导航、超声波导航、激光测距导航以及视觉导航等。目前应用最为广泛的无人机自主导航系统是使用全球定位系统(GPS)导航定位和惯性导航系统(IMU)相结合，GPS估计精度受到信号和环境的影响，在遇到建筑物遮挡或者无线电干扰较强的环境时定位精度很低。而IMU位置误差也会随时间累积，需要其他传感器提供位置信息进行修正。因此该种方法更适合高空无人机导航，而对于环境更加复杂，障碍物更多的低空导航该方法无法有效完成避障任务。另一方面，针对消费类别的轻小型无人机对低负载，低功耗的要求，激光测距设备进行导航具有体积重量大的缺点，也不适合作为小型无人机低空避障的导航方法，也有采用超声波测距进行避障的应用，但是该种方法无法精确地得到障碍物所处的方位和角度，因而误差也较大，无法满足对定位精度要求较高的无人机飞行避障的要求。

目前基于视觉的障碍物深度检测方案主要有光流法、利用kinect等深度传感器进行环境三维重建、单目相机深度测距以及基于SURF特征点的双目立体视觉进行环境三维重建的障碍物检测方法。光流法是利用角点处提取光流信息并求解延伸焦点来估计障碍物的位置，存在较大的估计误差。而深度传感器受到红外测距范围的限制，不适合应用于室外环境的深度测量。单目相机进行深度测距需要借助飞机上的传感器返回准确的位姿信息或者通过对相邻帧进行单应性计算获得帧间投影矩阵，再进行立体匹配求取视差，从而精确定位障碍物。而传感器返回位姿精度低会导致投影矩阵误差大，最终影响障碍物定位的精度，单目相机测距方法也可以根据相邻帧特征点匹配求取单应性矩阵，但是该方法计算量大，无法满足避障算法的实时性要求。相对于前面几种方法基于SURF特征点的双目立体视觉的障碍物检测方法精度较高，但是由于全画面像素特征匹配的算法复杂度高，也无法满足高速小型无人机低空飞行过程中复杂频繁的障碍物规避要求。

发明内容

本发明所要解决的技术问题在于克服上述现有技术之不足，提供一种基于双目立体视觉的三维重建系统及其方法。

按照本发明提供的一种基于双目立体视觉的三维重建系统采用的主要技术方案为：包括：

双目摄像头，布置于无人飞行器上，用于拍摄双目图像；

飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；

相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块P_left与第二边缘像素集合中的每一边缘像素块P_right间的相似评价值S：

$S=\frac{{\Σ}_{i=0}^{5\×5}\left|p{\left(i\right)}_{left}-p{\left(i\right)}_{right}\right|}{{\Σ}_{i=0}^{5\×5}L\left(p{\left(i\right)}_{left}\right)+L\left(p{\left(i\right)}_{right}\right)}$

式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；

匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块P_left、从该边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的匹配像素块，所述候选像素块集合由与该边缘像素块P_left间的相似评价值S大于评价值阈值的所有边缘像素块P_right组成；

视图重建单元，用于基于匹配的边缘像素块P_left和P_right及匹配的边缘像素块P_left和P_right间的视差构建三维立体图像。

本发明提供的基于双目立体视觉的三维重建系统还可具有如下附属技术特征：

匹配确定单元在水平方向采用自相似滤波从边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的所述匹配像素块。

该系统还包括：

新障碍信息获取单元，用于在所述三维立体图像中在固定距离d所对应视差下进行障碍物检测，以得到新障碍物检测信息；

障碍物分布确定单元，用于基于所述新障碍物检测信息和在无人飞行器飞行里程内的历史障碍物检测信息得到障碍物分布信息。

该系统还包括：

图像预处理单元，用于对双目摄像头拍摄得到的双目图像进行预处理，并将预处理后的双目图像传送至所述边缘获取单元，其中，所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元；

进一步地，所述畸变校正子单元包括校正矩阵获取模块和校正模块，所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵，所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。

该系统包括多组双目摄像头，所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。

按照本发明提供的一种基于双目立体视觉的三维重建方法采用的主要技术方案为：该方法包括：

双目摄像头，布置于无人飞行器上，用于拍摄双目图像；

飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；

相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块P_left与第二边缘像素集合中的每一边缘像素块P_right间的相似评价值S：

$S=\frac{{\Σ}_{i=0}^{5\×5}\left|p{\left(i\right)}_{left}-p{\left(i\right)}_{right}\right|}{{\Σ}_{i=0}^{5\×5}L\left(p{\left(i\right)}_{left}\right)+L\left(p{\left(i\right)}_{right}\right)}$

式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；

匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块P_left、从该边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的匹配像素块，所述候选像素块集合由与该边缘像素块P_left间的相似评价值S大于评价值阈值的所有边缘像素块P_right组成；

视图重建单元，用于基于匹配的边缘像素块P_left和P_right及匹配的边缘像素块P_left和P_right间的视差构建三维立体图像。

本发明提供的基于双目立体视觉的三维重建方法还可具有如下附属技术特征：

每一所述边缘像素块的每一维的长度在3～8之间。

在得到边缘像素集合前，先对双目摄像头拍摄得到的双目图像进行预处理，所述预处理进一步包括对图像进行畸变校正和平行校正；

进一步地，所述畸变校正包括：

采用张正友标定法得到双目摄像头的标定参数；

基于所述标定参数得到畸变校正投影矩阵；

将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。

采用本发明提供的基于双目立体视觉的三维重建系统及其方法带来的有益效果为：解决目前应用于小型无人机上的视觉导航方案中障碍物检测方法存在计算量大实时性差的问题。本发明提供了一种基于双目立体视觉系统的深度递进障碍物检测和障碍物地图构建系统。通过立体匹配测距方法获得固定深度层面上的障碍物的分布信息，并利用前后帧障碍物信息的“短期记忆”，实时建立无人机周边障碍物地图用于指导飞行控制器进行飞行规划。基于双目立体视觉的深度递进障碍物检测系统具有轻便、体积小、低成本、高速率和抗干扰能力强等优点，对于负载能力较低的小型无人机是一种有效的实现障碍物检测的解决方案。

附图说明

图1是双目立体视觉的标定步骤流程图；

图2是双目立体视觉原理图；

图3是双目立体匹配流程图；

图4是基于双目立体视觉的递进式视差障碍物检测示意图；

图5是本发明基于双目立体视觉的三维重建系统的结构框图；

图6是本发明基于双目立体视觉的三维重建方法的结构框图。

具体实施方式

下面结合附图对本发明做进一步的详述。

本发明对于传统基于双目视觉的障碍物检测算法做了以下的改进：

(1)改进了传统的双目立体视觉中的双目立体匹配算法，在确保准确性的基础上，大幅度简化了算法的复杂度。本发明采用对边界进行检测和匹配，而不是传统算法中对区域进行匹配。降低复杂度而牺牲的准确度将通过自相似滤波算法剔除误差点来进行补偿。具体步骤为：首先对于双目立体视觉得到的采用简单高效的拉普拉斯边缘检测算法得到边缘检测图像，然后采用对差的绝对值求和(SAD评价算子)进行对边缘特征的相似性进行特征点匹配。

如图1至图5所示，本发明提供的一种基于双目立体视觉的三维重建系统包括：

双目摄像头，布置于无人飞行器上，用于拍摄双目图像；

飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；

相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块P_left与第二边缘像素集合中的每一边缘像素块P_right间的相似评价值S：

$S=\frac{{\Σ}_{i=0}^{5\×5}\left|p{\left(i\right)}_{left}-p{\left(i\right)}_{right}\right|}{{\Σ}_{i=0}^{5\×5}L\left(p{\left(i\right)}_{left}\right)+L\left(p{\left(i\right)}_{right}\right)}$

式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；

匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块P_left、从该边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的匹配像素块，所述候选像素块集合由与该边缘像素块P_left间的相似评价值S大于评价值阈值的所有边缘像素块P_right组成；

视图重建单元，用于基于匹配的边缘像素块P_left和P_right及匹配的边缘像素块P_left和P_right间的视差构建三维立体图像。

匹配确定单元在水平方向采用自相似滤波从边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的所述匹配像素块。

该系统还包括：

新障碍信息获取单元，用于在所述三维立体图像中在固定距离d所对应视差下进行障碍物检测，以得到新障碍物检测信息；

障碍物分布确定单元，用于基于所述新障碍物检测信息和在无人飞行器飞行里程内的历史障碍物检测信息得到障碍物分布信息。

该系统还包括：

图像预处理单元，用于对双目摄像头拍摄得到的双目图像进行预处理，并将预处理后的双目图像传送至所述边缘获取单元，其中，所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元；

进一步地，所述畸变校正子单元包括校正矩阵获取模块和校正模块，所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵，所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。

该系统包括多组双目摄像头，所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。

水平自相似现象出现在当一个物体存在自相似，就是它和它本身的一部分完全或是几乎相似。若说一个曲线自我相似，即每部分的曲线有一小块和它相似。自然界中有很多东西有自我相似性质，例如海岸线，建筑物的窗户等。

由于相似评价值算子的局部性，自相似情形的出现会导致匹配算法的准确度会降低。例如无法区分建筑物的格子窗户，物体的横梁类直线结构等这样的自相似的情形，这种情形会混淆视差的准确检测。另一方面由于双目相机是水平左右放置，因此我们只需要设计水平自相似滤波方法，对可能错误的水平自相似造成的错误候选点进行剔除即可。因此该算法对第一步得到的候选点在邻域范围内进行二次检测来剔除水平自相似候选点，进而提高了算法的准确性。

SAD评价算子当遇到环境中的水平连续出现的相似物体时会出现误匹配，水平方向的误匹配点将直接影响到物体三维坐标求取的准确度，因此本发明采取对前面得到的块匹配候选区域进一步进行自相似滤波筛选进而得到最终的匹配像素块。具体操作是在候选匹配点的邻域内进一步检测来剔除水平自相似，提高了匹配的精确度。

综上所述，如图1至图6所示，本发明提供的一种基于双目立体视觉的三维重建方法包括：

双目摄像头，布置于无人飞行器上，用于拍摄双目图像；

飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；

相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块P_left与第二边缘像素集合中的每一边缘像素块P_right间的相似评价值S：

$S=\frac{{\Σ}_{i=0}^{5\×5}\left|p{\left(i\right)}_{left}-p{\left(i\right)}_{right}\right|}{{\Σ}_{i=0}^{5\×5}L\left(p{\left(i\right)}_{left}\right)+L\left(p{\left(i\right)}_{right}\right)}$

式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；

匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块P_left、从该边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的匹配像素块，所述候选像素块集合由与该边缘像素块P_left间的相似评价值S大于评价值阈值的所有边缘像素块P_right组成；

视图重建单元，用于基于匹配的边缘像素块P_left和P_right及匹配的边缘像素块P_left和P_right间的视差构建三维立体图像。

每一所述边缘像素块的每一维的长度在3～8之间。该像素块可以是5*5的像素块，也可以是3*6的像素块。发明人经过深入研究和反复验证，将边缘像素块的大小设置在上述范围内，有利于在计算量和匹配准确度两方面取得良好平衡，有利于实现较高的匹配效率。

在得到边缘像素集合前，先对双目摄像头拍摄得到的双目图像进行预处理，所述预处理进一步包括对图像进行畸变校正和平行校正；

进一步地，所述畸变校正包括：

采用张正友标定法得到双目摄像头的标定参数；

基于所述标定参数得到畸变校正投影矩阵；

将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。

本发明提供的基于双目立体视觉的三维重建方法具体包括以下步骤步骤1、双目视觉系统立体标定；

步骤2、双目图像的畸变矫正和平行校正；

步骤3、双目立体匹配算法及优化；

步骤4、固定视差障碍物三维坐标信息的获得；

步骤5、累加无人机飞行记录中历史障碍物分布信息建立障碍物分布地图，并指导无人机的避障飞行任务。

在步骤1和2中通过对比双目标定普遍采用的几种方法得出基于张正友标定法的matlab工具箱进行人工辅助标定的结果最准确，在此基础上，离线完成对双目立体相机模块的内外参数标定，并由畸变系数参数计算得到相应的畸变矫正投影矩阵，这样避免了对每一帧的左右图像计算投影畸变矫正后的坐标，有效的提高了算法实时性。立体视觉系统标定流程如图1所示。

第二，在步骤3和4中，传统的基于特征点提取和匹配求取视差并进行三维重建的原理如下：摄像头成像模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换，双目立体视觉系统一般由左摄像机和右摄像机两个摄像机组成，其成像模型均采用所述的针孔模型。如图2所示，视差为两幅图像中，同一点p的投影的位置差，定义为d；b为左右相机光心的距离，即基线距离；f为两个摄像头的焦距大小；(u₁，v₁),(u₂,v₂)分别为p点在左右图像中的像素坐标。根据基于视差的三维重建原理，可以得到在坐标系下的三维坐标(x^c,y^c，z^c)与视差和摄像头焦距的关系如下式(选取世界坐标系与左摄像头坐标系重合)：

$\left\{\begin{array}{c}{x}^c=\frac{b*(u_2-u_1)}{d}\\ y^c=\frac{b*v}{d}\\ z^c=\frac{b*f}{d}\end{array}\right.$

基于算法原理可以看出求取对应点的视差是双目立体视觉三维重建的关键。传统算法中通常采用SURF等特征提取算法并进行特征点匹配进而得到视差值，一方面特征提取算法复杂度高耗时多，另一方面传统的深度立体视觉是对于由大视差递减到零视差之间的所有视差计算其对应的深度信息，因此要提高基于双目视觉的障碍物检测的实时性，可以从降低特征提取算子复杂度和减少每一帧进行匹配求视差的像素点的数目两方面提高算法的实时性。

本发明的飞行控制器采用基于嵌入式架构的飞行控制结构，所搭建的实验平台包括四旋翼无人机本体、机载飞行控制器、地面站、遥控器等。硬件控制系统由NVIDIA的Jetson TK1超级计算机来实现。双目立体视觉模块由两个消费级别的USB摄像头(分辨率为640*480像素)以及摄像头固定架组成，当确定好基线距离之后摄像头相对位置不再发生变化。地面站包括一台装有Linux操作系统的笔记本计算机，用于远程监控。该平台可通过遥控器进行手动起飞和降落，并在发生意外时紧急切换为手动模式。

以上所述的实施例，只是本发明较优选的具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (8)

1.一种基于双目立体视觉的三维重建系统，其特征在于，包括：

双目摄像头，布置于无人飞行器上，用于拍摄双目图像；

飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；

相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块P_left与第二边缘像素集合中的每一边缘像素块P_right间的相似评价值S：

$S=\frac{{\mathrm{\Σ}}_{i=0}^{5\×5}|p{\left(i\right)}_{left}-p{\left(i\right)}_{right}|}{{\mathrm{\Σ}}_{i=0}^{5\×5}L\left(p{\left(i\right)}_{left}\right)+L\left(p{\left(i\right)}_{right}\right)}$

式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；

匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块P_left、从该边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的匹配像素块，所述候选像素块集合由与该边缘像素块P_left间的相似评价值S大于评价值阈值的所有边缘像素块P_right组成；

视图重建单元，用于基于匹配的边缘像素块P_left和P_right及匹配的边缘像素块P_left和P_right间的视差构建三维立体图像。

2.根据权利要求1所述的基于双目立体视觉的三维重建系统，其特征在于：匹配确定单元在水平方向采用自相似滤波从边缘像素块P_left的候选像素块集合中确定该边缘像素块P_left的所述匹配像素块。

3.根据权利要求1所述的基于双目立体视觉的三维重建系统，其特征在于，该系统还包括：

新障碍信息获取单元，用于在所述三维立体图像中在固定距离d所对应视差下进行障碍物检测，以得到新障碍物检测信息；

障碍物分布确定单元，用于基于所述新障碍物检测信息和在无人飞行器飞行里程内的历史障碍物检测信息得到障碍物分布信息。

4.根据权利要求1所述的基于双目立体视觉的三维重建系统，其特征在于，该系统还包括：

图像预处理单元，用于对双目摄像头拍摄得到的双目图像进行预处理，并将预处理后的双目图像传送至所述边缘获取单元，其中，所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元；

所述畸变校正子单元包括校正矩阵获取模块和校正模块，所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵，所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。

5.根据权利要求1所述的基于双目立体视觉的三维重建系统，其特征在于：该系统包括多组双目摄像头，所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。

6.一种基于双目立体视觉的三维重建方法，其特征在于，该方法包括采用权利要求1-5任一项所述的基于双目立体视觉的三维重建系统构建而成的三维立体图像。

7.根据权利要求6所述的基于双目立体视觉的三维重建方法，其特征在于：每一所述边缘像素块的每一维的长度在3～8之间。

8.根据权利要求6所述的基于双目立体视觉的三维重建方法，其特征在于：在得到边缘像素集合前，先对双目摄像头拍摄得到的双目图像进行预处理，所述预处理进一步包括对图像进行畸变校正和平行校正；

所述畸变校正包括：

采用张正友标定法得到双目摄像头的标定参数；

基于所述标定参数得到畸变校正投影矩阵；

将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。