CN108764080B - 一种基于点云空间二值化的无人机视觉避障方法 - Google Patents

Abstract

本发明公开了一种基于点云空间二值化的无人机视觉避障方法，属于机器视觉技术领域。在基于双目视觉的无人机避障技术实施过程中，由于双目图像特征匹配存在大量误匹配点，重建的三维点云包含障碍物信息的同时，也包含大量由误匹配引起的噪声信息。该发明针对内部参数及结构参数已确定的双目视觉传感器，按照一定的空间坐标规则将其视场范围分割为边长一定的空间方格，根据双目图像三维点云重建后在各空间方格内的分布数量，通过给定的阈值确定空间方格是否有效，将有效的方格进行统计计算后进行无人机飞行路径规划。该方法在有效去除误匹配点的同时，可保留障碍物的距离及尺寸信息，提高了避障算法鲁棒性和准确度。

Description

一种基于点云空间二值化的无人机视觉避障方法

技术领域

本发明公开了一种基于点云空间二值化的无人机视觉避障方法，属于机器视觉技术领域。

技术背景

无人机是一种技术密集的机电一体化产品，结合了机械工程、传感器、计算机控制、电子信息处理、人工智能等技术，在军事察打、航拍监控、特殊任务、危险作业等领域，得到越来越广泛的应用，不断改变着现代战争方式、劳动生产方式以及人们的生活方式。随着无人机应用范围的不断扩大，为无人机配备精确快速的信息感知系统，准确规划自身运动，实现无碰撞地从起点绕过障碍物安全到达目标点，是实现无人机安全高效完成各类任务的重要保障。尤其对低空飞行的小型旋翼无人机，由于飞行环境的不确定性及突发障碍物较多，快速避障通常是体现无人机安全性能的重要指标。

然而，无人机的工作方式及使用环境使其在障碍物规避上存在诸多限制：1)环境的不确定性决定了必须采用自主避障方式；2)有限的载重量决定了障碍物感知设备重量不能太大；3)快速的飞行速率决定了数据处理必须具有很高的实时性。因此，小型旋翼无人机精确快速避障的实现较为困难，是无人机相关技术中的研究热点之一。

根据障碍物感知方式的不同，无人机避障技术主要分为两类：1)基于探测波的避障技术，如激光雷达、超声波等；2)基于视觉成像的避障技术，如双目视觉、结构光视觉等。宁夏大学的张西忱在文章“无人机的避障技术及其应用”(《集成电路应用》，2017，34(2)：66-68)中总结了几种常见的无人机避障技术及其发展趋势。总结起来，使用探测波的避障方式存在的主要问题包括容易受到干扰、探测范围较小、需要专用处理芯片、成本昂贵等；结构光视觉避障方法，即结合单摄像机和结构光发射器构成深度摄像头，由于其“见光死”特征，只适合在暗环境、室内应用；双目视觉避障方法，采用双摄像机结构，具有与结构光视觉避障方法相反的特征，即仅适合光线质量良好稳定的场景，难以实现全天候避障。

目前，由于没有全天候、高精度、无死角的无人机避障技术，通常会采取多种避障技术集成的手段来实现不同场景下的避障。而双目视觉避障技术，以其仿照人类双眼的工作机理，具有成本低廉、作用距离远、获取信息量丰富、抗电子干扰和温度变化等优势，逐渐成为无人机避障领域的主流及多方式融合避障技术中最常用的方法，引起了众多研究者的关注。双目视觉避障技术中最耗时也最重要的过程是双目图像的三维重构问题，即在两幅图像的特征点之间建立一一对应关系并根据双目视觉模型进行三维坐标重建的过程，它是双目视觉避障算法的核心。

目前，如何快速地、精确地实现三维重构，已成为双目视觉避障技术的研究热点之一。

发明内容

有鉴于此，本发明提出了一种基于点云空间二值化的无人机视觉避障方法，该方法能够快速地对双目图像进行三维重构，并精确地去除不正确的匹配点，提高避障算法鲁棒性和准确度。

为了实现上述目的，本发明采用的方案为：

一种基于点云空间二值化的无人机视觉避障方法，该方法应用于具有双目视觉系统的无人机，包括以下步骤：

(1)标定双目视觉系统的摄像机内部参数及结构参数，所述内部参数包括左右摄像机的主点、焦距和二级畸变系数，所述结构参数包括左右摄像机之间坐标系转换的旋转矩阵及平移向量；

(2)设定无人机的当前位置点以及目标点；

(3)通过双目视觉避障系统的左右摄像机同时采集一帧场景图像，分别检测两帧图像的SIFT特征点；

(4)采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到特征点共轭对；

(5)根据双目视觉测量模型，计算每一特征点共轭对所对应的空间点在世界坐标系下的三维坐标，所有这些三维坐标即构成当前场景的三维点云信息；

(6)设定步长s以及二值化阈值n₀，步长s＝v/φ，其中v为无人机的当前飞行速度，φ为摄像机的采集帧频，二值化阈值n₀的取值范围为3～5；

(7)以步长s为基准，将三维点云信息中的每一个三维坐标换算为整点坐标，统计每一个整点坐标的重复次数；

(8)统计所有重复次数≥n₀的整点坐标，分别计算这些整点坐标与世界坐标系原点之间的欧式距离，得到所有这些欧式距离中的最小距离；

(9)根据人工势场方法，定义无人机势函数和障碍物势函数，通过计算这两个势函数对当前位置点的导数，得到无人机势函数的负梯度和障碍物势函数的负梯度；

(10)以无人机势函数与障碍物势函数之和作为无人机在运动空间中的合势函数，以无人机势函数的负梯度与障碍物势函数的负梯度之和作为无人机在运动空间中的合力函数；将当前位置点坐标分别带入合势函数和合力函数，得到的合势函数的函数值表征从高势值位置指向低势值位置的方向，得到的合力函数的函数值表征合力方向；以无人机从高势值位置沿合力方向向低势值位置运动为依据，得到无人机的避障运动速度矢量；

(11)根据避障运动速度矢量控制无人机运动到下一位置，将下一位置设定为新的当前位置点，保持目标点不变；

(12)重复步骤(3)～(11)，直至无人机到达目标点，避障过程结束。

可选的，步骤(4)所述的采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到特征点共轭对，其具体方式为：

(401)采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到原始特征点共轭对；

(402)利用左侧摄像机的二级畸变系数(k_1l,k_2l)、右侧摄像机的二级畸变系数(k_1r,k_2r)、左侧摄像机的主点(u_0l,v_0l)、右侧摄像机的主点(u_0r,v_0r)，对原始特征点共轭对(u′_il,v′_il):(u′_ir,v′_ir)进行矫正处理，得到最终的特征点共轭对(u_il,v_il):(u_ir,v_ir)：

其中，

可选的，所述无人机势函数定义为：

所述障碍物势函数定义为：

所述无人机势函数的负梯度为：

所述障碍物势函数的负梯度为：

其中，P_A表示无人机的当前位置点，P_B表示无人机的目标点，k、r为增益系数，ρ是障碍物的影响距离，ρ＝s×l，s即为步骤(6)中设定的步长，l即为步骤(8)中得到的最小距离。

从上面的叙述可以看出，本发明技术方案的有益效果在于：

本方法按照一定的空间坐标规则将双目视场范围分割为无数边长一定的空间方格，根据双目图像三维点云重建后在各空间方格内的分布数量，通过给定的阈值确定空间方格是否有效，将有效的方格进行统计计算后进行无人机飞行路径规划。该方法与传统上将所有匹配点作为避障参考信息相比，降低了三维重构复杂度，消除了由误匹配引起的噪声信息，同时保留了障碍物本身关键的尺寸及位置信息，提高了避障算法鲁棒性和准确度，是对现有技术的一种重要改进。

附图说明

图1为双目视场范围的空间分割示意图，其中，O_r-X_rY_rZ_r为右摄像机坐标系，O_l-X_lY_lZ_l为左摄像机坐标系，同时设定为世界坐标系，O_r-X_rY_rZ_r坐标系下坐标转换到O_l-X_lY_lZ_l坐标系下坐标的旋转矩阵R和平移向量T表示为[R,T]，s为空间划分步长；

图2为双目场景图像特征点匹配示意图；

图3为三维点云空间二值化处理示意图；

图4为人工势场飞行路径规划示意图。

具体实施方式

为了便于本领域技术人员对本专利技术方案的理解，同时，为了使本专利的技术目的、技术方案和有益效果更加清楚，并使权利要求书的保护范围得到充分支持，下面以具体案例的形式对本专利的技术方案做出进一步的、更详细的说明。

一种基于点云空间二值化的无人机视觉避障方法，该方法应用于具有双目视觉系统的无人机，包括以下步骤：

(1)标定双目视觉系统的摄像机内部参数及结构参数，所述内部参数包括左右摄像机的主点、焦距和二级畸变系数，所述结构参数包括左右摄像机之间坐标系转换的旋转矩阵及平移向量；

(2)设定无人机的当前位置点以及目标点；

(3)通过双目视觉避障系统的左右摄像机同时采集一帧场景图像，分别检测两帧图像的SIFT特征点；

(4)采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到特征点共轭对；

(5)根据双目视觉测量模型，计算每一特征点共轭对所对应的空间点在世界坐标系下的三维坐标，所有这些三维坐标即构成当前场景的三维点云信息；

(6)设定步长s以及二值化阈值n₀，步长s＝v/φ，其中v为无人机的当前飞行速度，φ为摄像机的采集帧频，二值化阈值n₀的取值范围为3～5；

(7)以步长s为基准，将三维点云信息中的每一个三维坐标换算为整点坐标，统计每一个整点坐标的重复次数；

(8)统计所有重复次数≥n₀的整点坐标，分别计算这些整点坐标与世界坐标系原点之间的欧式距离，得到所有这些欧式距离中的最小距离；

(9)根据人工势场方法，定义无人机势函数和障碍物势函数，通过计算这两个势函数对当前位置点的导数，得到无人机势函数的负梯度和障碍物势函数的负梯度；

(10)以无人机势函数与障碍物势函数之和作为无人机在运动空间中的合势函数，以无人机势函数的负梯度与障碍物势函数的负梯度之和作为无人机在运动空间中的合力函数；将当前位置点坐标分别带入合势函数和合力函数，得到的合势函数的函数值表征从高势值位置指向低势值位置的方向，得到的合力函数的函数值表征合力方向；以无人机从高势值位置沿合力方向向低势值位置运动为依据，得到无人机的避障运动速度矢量；

(11)根据避障运动速度矢量控制无人机运动到下一位置，将下一位置设定为新的当前位置点，保持目标点不变；

(12)重复步骤(3)～(11)，直至无人机到达目标点，避障过程结束。

可选的，步骤(4)所述的采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到特征点共轭对，其具体方式为：

(401)采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到原始特征点共轭对；

(402)利用左侧摄像机的二级畸变系数(k_1l,k_2l)、右侧摄像机的二级畸变系数(k_1r,k_2r)、左侧摄像机的主点(u_0l,v_0l)、右侧摄像机的主点(u_0r,v_0r)，对原始特征点共轭对(u′_il,v′_il):(u′_ir,v′_ir)进行矫正处理，得到最终的特征点共轭对(u_il,v_il):(u_ir,v_ir)：

其中，

可选的，所述无人机势函数定义为：

所述障碍物势函数定义为：

所述无人机势函数的负梯度为：

所述障碍物势函数的负梯度为：

其中，P_A表示无人机的当前位置点，P_B表示无人机的目标点，k、r为增益系数，ρ是障碍物的影响距离，ρ＝s×l，s即为步骤(6)中设定的步长，l即为步骤(8)中得到的最小距离。

具体来说，本方法所需要的基本设备为载有双目视觉传感器的无人飞行平台，使用该方法之前的准备工作包括：

1)将传感器安装在无人机平台上，且整个执行过程确保传感器相对无人机的位置不发生任何变化；

2)以双目视觉传感器基线段的中垂线作为飞行的正前方对飞控指令进行校准；

3)确定无人机飞行时的最小步长、转弯半径、爬升率、安全高度等约束值；

4)确保图像信息传输效果及指令信息发送效果良好。

本方法包括以下几个部分：

一、双目视场空间分割

1.1标定双目视觉系统的摄像机内部参数及结构参数，具体标定方法可参见文献“双目视觉传感器的现场标定技术”(周富强等，仪器仪表学报，2000，21(2)：142-145)。内部参数包括左右摄像机的主点(u_0l，v_0l)及(u_0r，v_0r)、焦距(f_xl，f_yl)及(f_xr，f_yr)、二级畸变系数(k_1l,k_2l)及(k_1r,k_2r)，结构参数包括由右摄像机坐标系转换到左摄像机坐标系的旋转矩阵R及平移向量T。将上述获取到的双摄像机内部参数及结构参数存储以备调用。

1.2以左摄像机坐标系O_l-X_lY_lZ_l作为世界坐标系O-XYZ，以世界坐标系原点O为起点，以X、Y、Z轴为方向基准，将空间按照步长s划分为空间方格，每个方格都是边长为s的正方体，每个方格的顶点在世界坐标系下的坐标为(u×s,v×s,w×s)，其中，u,v,w均为自然数(非负整数)，左右摄像机坐标系之间的关系及空间方格分割规则如图1所示。

二、场景三维点云重构

2.1双目视觉避障系统的左右摄像机同时采集一帧场景图像，称为立体图像对，如图2所示，左摄像机采集到的图像标记为L，右摄像机采集到的图像标记为R。采用图像处理技术检测L及R图像的SIFT(Scale-invariant feature transform，尺度不变特征变换)特征点，具体处理算法可参见文献“3维物体SIFT特征的提取与应用”(熊英等，中国图像图形学报，2010，15(5)：814-819)。采用双目视觉系统的极线约束规则进行特征点匹配，匹配算法可参考文献“利用外极线约束的图像匹配新算法”(邓志艳等，工程图学学报，2009，5(5)：104-107)。将每对特征点的图像坐标记为(u′_il,v′_il):(u′_ir,v′_ir)，称为含畸变的特征点共轭对(即原始的特征点共轭对)，利用步骤1.1中的二级畸变系数(k_1l,k_2l)及(k_1r,k_2r)、左右摄像机的主点(u_0l,v_0l)及(u_0r,v_0r)，对其进行以下矫正处理：

则每对含畸变特征点的图像坐标分别被校正为(u_il,v_il)和(u_ir,v_ir)，称为校正的特征点共轭对(u_il,v_il):(u_ir,v_ir)，将所有校正的特征点图像坐标成对存储备用。

2.2根据双目视觉测量模型计算出每个特征点共轭对对应的空间点在世界坐标系下的三维坐标，过程如下：

构建左右摄像机的投影矩阵，

建立左右摄像机的透视投影方程，

其中，A_l、A_r、R、T为摄像机标定参数，可在步骤1.1直接获得。特征点共轭对图像坐标(u_il,v_il):(u_ir,v_ir)可在步骤2.1获得。联立左右摄像机的透视投影方程，可解得对应的空间点在世界坐标系下的三维坐标(x_i,y_i,z_i)。

2.3按照步骤2.2所述方法，将所有空间特征点坐标统一在世界坐标系下进行重构，并存储所有特征点在世界坐标系下的三维坐标以备调用，特征点在世界坐标系下的三维坐标记为P_i(x_i,y_i,z_i)，i为正整数，这些空间三维坐标点共同组成三维点云信息，如图3(a)所示。

三、点云空间二值化

3.1设定二值化阈值n₀及步骤1.2中的空间步长s，步长s＝v/φ，其中v为无人机的当前飞行速度，φ为摄像机的采集帧频，二值化阈值n₀一般设为3～5，若无人机飞行速度不定，可取过去一秒内无人机飞行速度所有采样值的平均值。

3.2对于世界坐标系下的特征点P_i(x_i,y_i,z_i)，以空间方格步长s对P_i(x_i,y_i,z_i)的三个分量x_i、y_i、z_i进行整除，得到的三个整数分别记为u_i、v_i、w_i，则(u_i,v_i,w_i)即该特征点所在的空间方格的位置坐标；对所有特征点遍历此操作，并存储结果备用。

3.3根据每个空间方格位置坐标的重复次数，统计所有空间方格内包含的点云个数信息，如果空间方格内没有任何点云，则不考虑该空间方格；将统计结果存储，存储格式为(u_i,v_i,w_i,m_i)，其中(u_i,v_i,w_i)表示方格在世界坐标系下位置，m_i表示该方格内的点云个数，显然，被存储的m_i均大于零。

3.4设定函数f(u_i,v_i,w_i,m_i)：

统计所有使f＝1的空间方格位置(u_i,v_i,w_i)，并计算所有值为1的方格离坐标原点的最近距离l，

i＝1,2,3…，将统计和计算结果存储备用，统计到的空间方格位置如图3(b)所示。

四、局部路径规划

4.1以步骤1.2中定义的世界坐标系为参考系，设无人机飞行路径的当前起点为A，A点坐标为P_A(0,0,0)，无人机要前往的目标点为B，B点坐标为P_B(x_B,y_B,z_B)。

4.2根据文献“逃逸人工势场法局部极小值策略的研究”(肖本贤等，系统仿真学报，2007，19(19)：4495-4498)公开的人工势场方法，定义无人机势函数和障碍物势函数：

通过计算两个函数对P_A的导数，确定无人机势函数和障碍物势函数的负梯度：

则无人机在运动空间中的合势函数和合力函数分别为：

F(P_A)＝F_k(P_A)+F_r(P_A) (8)

f(P_A)＝F′_k(P_A)+F′_r(P_A) (9)

这两个函数分别称为无人机力函数和障碍物力函数。其中，k、r为增益系数，ρ是障碍物的影响距离，可通过步骤3.4所得的l值计算，即ρ＝s×l。将步骤4.1设置的坐标值带入上述两个函数计算函数值，则无人机与目标点之间的引力场使得为无人机在合势值F(P_A)的作用下，从高势值位置沿合力方向逐步向低势值位置运动，即无人机在A点的飞行方向为f(P_A)，由此可得无人机的当前速度矢量。

4.3根据无人机的速度矢量得到下一时刻无人机的位置，以该位置为新的A点，B点保持不变，重复步骤4.2。由于目标点理论上为合势函数的全局极小值，因此，无人机最终将到达并止步于目标点B，此时结束避障过程。

本方法对于内部参数及结构参数已确定的双目视觉传感器，按照一定的空间坐标规则将其视场范围分割为无数边长一定的空间方格，根据双目图像三维点云重建后在各空间方格内的分布数量，通过给定的阈值确定空间方格是否有效，将有效的方格进行统计计算后进行无人机飞行路径规划。

在现有的基于双目视觉的无人机避障技术的实施过程中，由于双目图像特征匹配存在大量误匹配点，重建的三维点云包含障碍物信息的同时，也包含由误匹配引起的噪声信息，这给无人机的避障过程造成了严重干扰。本发明方法能够精确、快速地去除误匹配点，同时保留障碍物的距离及尺寸信息，提高避障算法鲁棒性和准确度，是对现有技术的一种重要改进。

需要理解的是，上述对于本专利具体实施方式的叙述仅仅是为了便于本领域普通技术人员理解本专利方案而列举的示例性描述，并非暗示本专利的保护范围仅仅被限制在这些个例中，本领域普通技术人员完全可以在对本专利技术方案做出充分理解的前提下，以不付出任何创造性劳动的形式，通过对本专利所列举的各个例采取组合技术特征、替换部分技术特征、加入更多技术特征等等方式，得到更多的具体实施方式，所有这些具体实施方式均在本专利权利要求书的涵盖范围之内，因此，这些新的具体实施方式也应在本专利的保护范围之内。

此外，出于简化叙述的目的，本专利也可能没有列举一些寻常的具体实施方案，这些方案是本领域普通技术人员在理解了本专利技术方案后能够自然而然想到的，显然，这些方案也应包含在本专利的保护范围之内。

出于简化叙述的目的，上述各具体实施方式对于技术细节的公开程度可能仅仅达到本领域技术人员可以自行决断的程度，即，对于上述具体实施方式没有公开的技术细节，本领域普通技术人员完全可以在不付出任何创造性劳动的情况下，在本专利技术方案的充分提示下，借助于教科书、工具书、论文、专利、音像制品等等已公开文献予以完成，或者，这些细节是在本领域普通技术人员的通常理解下，可以根据实际情况自行作出决定的内容。可见，即使不公开这些技术细节，也不会对本专利技术方案的公开充分性造成影响。

总之，在结合了本专利说明书对权利要求书保护范围的解释作用的基础上，任何落入本专利权利要求书涵盖范围的具体实施方案，均在本专利的保护范围之内。

Claims (3)

1.一种基于点云空间二值化的无人机视觉避障方法，其特征在于，应用于具有双目视觉系统的无人机，包括以下步骤：

(1)标定双目视觉系统的摄像机内部参数及结构参数，所述内部参数包括左右摄像机的主点、焦距和二级畸变系数，所述结构参数包括左右摄像机之间坐标系转换的旋转矩阵及平移向量；

(2)设定无人机的当前位置点以及目标点；

(3)通过双目视觉避障系统的左右摄像机同时采集一帧场景图像，分别检测两帧图像的SIFT特征点；

(4)采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到特征点共轭对；

(5)根据双目视觉测量模型，计算每一特征点共轭对所对应的空间点在世界坐标系下的三维坐标，所有这些三维坐标即构成当前场景的三维点云信息；

(6)设定步长s以及二值化阈值n₀，步长s＝v/φ，其中v为无人机的当前飞行速度，φ为摄像机的采集帧频，二值化阈值n₀的取值范围为3～5；

(7)以步长s为基准，将三维点云信息中的每一个三维坐标换算为整点坐标，统计每一个整点坐标的重复次数；

(8)统计所有重复次数≥n₀的整点坐标，分别计算这些整点坐标与世界坐标系原点之间的欧式距离，得到所有这些欧式距离中的最小距离；

(9)根据人工势场方法，定义无人机势函数和障碍物势函数，通过计算这两个势函数对当前位置点的导数，得到无人机势函数的负梯度和障碍物势函数的负梯度；

(10)以无人机势函数与障碍物势函数之和作为无人机在运动空间中的合势函数，以无人机势函数的负梯度与障碍物势函数的负梯度之和作为无人机在运动空间中的合力函数；将当前位置点坐标分别带入合势函数和合力函数，得到的合势函数的函数值表征从高势值位置指向低势值位置的方向，得到的合力函数的函数值表征合力方向；以无人机从高势值位置沿合力方向向低势值位置运动为依据，得到无人机的避障运动速度矢量；

(11)根据避障运动速度矢量控制无人机运动到下一位置，将下一位置设定为新的当前位置点，保持目标点不变；

(12)重复步骤(3)～(11)，直至无人机到达目标点，避障过程结束。

2.根据权利要求1所述的基于点云空间二值化的无人机视觉避障方法，其特征在于，步骤(4)所述的采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到特征点共轭对，其具体方式为：

(401)采用双目视觉系统的极线约束规则对两帧图像的SIFT特征点进行特征点匹配，得到原始特征点共轭对；

(402)利用左侧摄像机的二级畸变系数(k_1l,k_2l)、右侧摄像机的二级畸变系数(k_1r,k_2r)、左侧摄像机的主点(u_0l,v_0l)、右侧摄像机的主点(u_0r,v_0r)，对原始特征点共轭对(u′_il,v′_il):(u′_ir,v′_ir)进行矫正处理，得到最终的特征点共轭对(u_il,v_il):(u_ir,v_ir)：

其中，

3.根据权利要求1所述的基于点云空间二值化的无人机视觉避障方法，其特征在于，所述无人机势函数定义为：

所述障碍物势函数定义为：

所述无人机势函数的负梯度为：

所述障碍物势函数的负梯度为：

其中，P_A表示无人机的当前位置点，P_B表示无人机的目标点，k、r为增益系数，ρ是障碍物的影响距离，ρ＝s×l，s即为步骤(6)中设定的步长，l即为步骤(8)中得到的最小距离。

Images