CN110032211A - 多旋翼无人机自动避障方法 - Google Patents

Abstract

本发明属于无人机技术领域，尤指一种多旋翼无人机自动避障方法。本发明使用MATLAB双目相机标定工具箱对相机进行标定，采用SGM算法计算出相机左右视图的视差图，利用三角测距原理求取场景的三维点云信息，提出了基于二维轮廓图的三维轮廓提取方法。本发明实现了利用双目摄像头和MATLAB中的工具对环境进行感知，并在此基础上，利用遗传算法和伪谱法分别进行四旋翼无人机避障轨迹优化。

Description

多旋翼无人机自动避障方法

技术领域

本发明属于无人机技术领域，尤指一种多旋翼无人机自动避障方法。

背景技术

近年来，随着自动控制技术，计算机技术等现代技术飞速发展，智能化机器人的研究也在全世界范围内掀起了一番热潮，其中包括对无人机智能化及自动化的研究。在无人机中，多旋翼无人机因其灵活，能够垂直起降等特点，在军用，农业等领域中大放异彩。与此同时，人们对无人机的要求也在不断提高以满足多种多样的飞行任务和飞行环境，而自动避障功能是重点关注对象之一。

自动避障功能是无人机自动化和智能化的表现。完善的自动避障系统能够在很大程度上减小无人机的损坏率，并增加飞行环境的多样性和飞行范围，以及减少伤及建筑和人身的事故发生率。而实现自动避障功能的关键就是传感技术。

传感器相对于机器人，就如同眼鼻口等器官相对于人一样重要,它就是机器人的感官。利用双目立体视觉实现无人机自动避障，就是在在无人上装载双目摄像头，当作无人机的“眼”，将周围环境信号发送到控制中心，由控制中心建立环境立体图，规划出避障路线。

目前的无人机避障方法存在以下优缺点：

1.使用超声波测距。利用超声波检测障碍物，是无人机能够感知障碍物，进行躲避。

a)优点：技术成熟，成本低

b)缺点：作用距离近，对反射面有要求，应用场景有限。

2.使用红外/激光。传感器发射一定频率的红外/激光信号，根据反射信号与原信号的相位差计算信号飞行时间，得到本机与障碍物的距离。

a)优点：技术成熟，作用距离远，甚至可以获得障碍物的深度

b)缺点：成本高，抗干扰差。

3.电子地图：借助精密的数字地图和3d建筑地图，实现避障。

a)优点：精度高

b)缺点：技术要求高，主要应用在军事领域。

发明内容

本发明的目的是，针对上述现有技术存在的问题，提出一种旋翼无人机自动避障方法。本发明是基于双目摄像头作为传感器收集环境信号，并通过MATLAB等软件建立环境立体云图，从而实现无人机自动避障。本发明使用双目视觉，类似人眼不急距离的原理，同一个物体在两个镜头画面的坐标有不同，通过转换获得本机与障碍物的距离。同时，随着OpenCV的不断发展，机器视觉的难度也在不断降低。对于无人机避障，距离误差随着距离变大这一点可以忽略。同时，本发明的无人机避障实现了场景建模和路径搜索，获得场景模型后，使用机载计算机里的算法优化规避路径，使得本机能够应对复杂场景。

为便于理解，先对本发明采用的技术进行介绍。

本发明采用的双目测距是依据以下原理：

将两个相同焦距的摄像头放在同一水平位置，前方的物体P与两摄像头位置如图1所示，由相似三角形原理可得：

其中左边中轴到点P在左相机的成像点的距离为x^l，右边中轴到点P在右相机的成像点的距离为x^r，而相机的焦距等内部参数都可提前确定，通过上述原理可求得物体位置。由此通过标定双目相机的的内部参数，通过双目测距获得物体在三维空间的距离。

本发明中利用matlab双目标定工具箱进行双目标定，采用9×9黑白格，matlab根据选定不同的像素点获取双目摄像机的内部参数并对左右图像进行畸变矫正和对极线矫正等处理，如图2所示；相机标定是最基础也是最重要的一步，标定结果直接影响后续步骤的精度。如图3所示，通过标定黑白格确认摄像头处于合适的位置。

本发明的技术方案为

多旋翼无人机自动避障方法，包括以下步骤：

S1、采用标定好的双目相机，拍摄目标图；

S2、采用MATLAB工具箱，对S1拍摄的图片进行处理得到视差图，如图4所示；

S3、三维重建，具体包括：

S31、预处理：首先对图片进行预处理，将图片中残缺或模糊的部分通过滤波进行改善，并选择出图片中要进行后续处理的部分，去掉无关部分。通过非线性空间滤波可以很好的处理模糊问题，采用g＝confilt(f,[m,n],’sliding’,fun)函数实现滤波。

S32、提取特征点：通过Harris角点检测算法，获取经预处理后图像中的特征点，所述特征点用于判断物体的形状；Harris滑动前与滑动后对应的窗口中的像素点灰度变化描述如下：

设图像窗口平移量为(u，y)，产生的灰度变化为E(u，v)，其中w(x，y)为窗口函数，I(x+u,y+v)为平移后的灰度值，I(x，y)为平移前的灰度值。

使用一个固定窗口在图像上进行任意方向上的滑动，若滑动前后的灰度像素相差较大，即在矩阵R中，同时满足r(i,j)大于一定阈值threhold和R(i,j)是某领域的局部最大值，则认为存在角点；

S33、轮廓提取：通过im2bw函数将视差图转二值图像，再通过bwperim函数提取图像轮廓，获得图像中各物体的轮廓图；

S331、利用一维高斯函数对S31钟预处理过的图的行和列进行低通平滑滤波；

S332、计算平滑后图像的x、y方向的偏导数；

S333、利用二范数计算梯度幅值和梯度方向，设置边缘阈值thresh，为了突出三维轮廓的提取效果，可设置边缘阈值为[0.04,0.1]，获得二维轮廓图；

S334、根据二维轮廓图求得轮廓点的像素坐标并保存在S中，遍历S中的坐标，并提取相应点的三维坐标并保存，获得场景轮廓的三维坐标数组；

S335、在点云观察窗口显示出提取的三维轮廓，获得三维点图，如图5所示；

S34、空间复原：通过双目测距原理计算出步骤S32中提取的特征点的位置信息，采用如下公式计算出各特征点在三维坐标系中的具体位置：

式中，x_l,y_l为特征点在左图像中的坐标，f为摄像机焦距，T为两摄像机的基线距离，D为左右两幅图匹配点的视差；由

得到左右两幅图匹配点视差，同时将角点与轮廓图相结合，使得整个物体的外围轮廓的三维空间位置得到确定，从而生成三维空间图；

其中r,c为像素点位置参数；d₀为视差搜索范围常数；I_right I_left为左右视图中对应点灰度；i,j为角标常数；n为极限位置常数。

S4、通过已生成三维空间图，采用快速探索随机树RRT算法进行路径规划。如图6所示，RRT以一个根节点为出发点，不断向四周增加叶子节点，当叶子节点中包含最终节点时，算法可在随机树中找到两点中的路径。采用数值方法中的hp自适应Radau伪谱法(Radaupseudospectral method RPM)进行四旋翼无人机避障轨迹优化，具有全局优化、收敛速度快、对初值不敏感等优点。

本发明的有益效果为：不管是要进行导航规划还是避障，感知周边环境信息是第一步。就避障来说，移动机器人需要通过传感器实时获取自身周围障碍物信息，包括尺寸、形状和位置等信息。避障使用的传感器多种多样，各有不同的原理和特点，目前常见的主要有视觉传感器、激光传感器、红外传感器、超声波传感器等。

超声波传感器超声波测量周期长，而且不同材料对声波的反射或者吸引是不同的，还有多个超声传感器之间可能会互相干扰。常见的红外传感器，测量距离都比较近，小于超声波，同时远距离测量也有最小距离的限制常见的激光雷达类似超声波，也是基于飞行时间的，通过测量激光的飞行时间进行测距。由于结构的复杂、器件成本高，激光雷达的成本也很高。

本发明的避障技术双目视觉的测距本质上也是三角测距法，由于两个摄像头的位置不同，就像我们人的两只眼睛一样，看到的物体不一样。两个摄像头看到的同一个点P，在成像的时候会有不同的像素位置，此时通过三角测距就可以测出这个点的距离。与结构光方法不同的是，结构光计算的点是主动发出的、已知确定的，而双目算法计算的点一般是利用算法抓取到的图像特征，如SIFT或SURF特征等，这样通过特征计算出来的是稀疏图。

在实际应用的过程中，本发明是从摄像头读取到的是连续的视频帧流，还可以通过这些帧来估计场景中目标物体的运动，给它们建立运动模型，估计和预测它们的运动方向、运动速度，这对我们实际行走、避障规划是很有用的。

附图说明

图1为双目相机与目标P的几何关系示意图；

图2为利用matlab双目标定工具箱进行双目标定的示意图；

图3为通过标定黑白格确认摄像头处于合适位置的示意图；

图4为使用MATLAB工具箱根据得到的图片进行处理得到视差图；

图5为提取的三维点图示意图；

图6为空间路径生成示意图。

具体实施方式

本发明的方案，使用MATLAB双目相机标定工具箱对相机进行标定，采用SGM算法计算出相机左右视图的视差图，利用三角测距原理求取场景的三维点云信息，提出了基于二维轮廓图的三维轮廓提取方法，实现了利用双目摄像头和MATLAB中的工具对环境进行感知，并在此基础上，利用遗传算法和伪谱法分别进行四旋翼无人机避障轨迹优化。

本发明的方案还具有以下意义：双目摄像头的使用为无人机和机器人的环境感知提供了参考，双目视觉是仿生学中比较重要的研究对象，双目摄像头也是一个比较重要的传感设备，利用MATLAB工具提取出二维照片中的三位信息，虽然有所偏差，但是也在一定范围内解决了感知的问题。优化无人机的飞行轨迹在提取出三维空间的基础上，利用MATLAB求解出最优的“伪飞行轨迹”，也是避障上面的理论研究方法之一。

Claims (2)

1.多旋翼无人机自动避障方法，其特征在于，包括以下步骤：

S1、采用标定好的双目相机，拍摄目标图；

S2、采用MATLAB工具箱，对S1拍摄的图片进行处理得到视差图；

S3、三维重建，具体包括：

S31、预处理：通过非线性空间滤波对视差图进行预处理；

S32、提取特征点：通过Harris角点检测算法，获取经预处理后图像中的特征点，所述特征点用于判断物体的形状；Harris滑动前与滑动后对应的窗口中的像素点灰度变化描述如下，设图像窗口平移量为(u，y)：

其中，E(u,v)为产生的灰度变化，w(x,y)为窗口函数，I(x+u,y+v)为平移后的灰度值，I(x,y)为平移前的灰度值；

使用一个固定窗口在图像上进行任意方向上的滑动，若滑动前后的灰度像素相差较大，则认为存在角点；

S33、轮廓提取：通过im2bw函数将视差图转二值图像，再通过bwperim函数提取图像轮廓，获得图像中各物体的轮廓图；

S34、空间复原：通过双目测距原理计算出步骤S32中提取的特征点的位置信息，采用如下公式计算出各特征点在三维坐标系中的具体位置：

式中，x_l,y_l为特征点在左图像中的坐标，f为摄像机焦距，T为两摄像机的基线距离，D为左右两幅图匹配点的视差；由

其中r,c为像素点位置参数；d₀为视差搜索范围常数；I_right、I_left为左右视图中对应点灰度；i,j为角标常数；n为极限位置常数；

得到左右两幅图匹配点视差，同时将角点与轮廓图相结合，使得整个物体的外围轮廓的三维空间位置得到确定，从而生成三维空间图；

S4、通过已生成三维空间图，采用快速探索随机树RRT算法进行路径规划。

2.根据权利要求1所述的多旋翼无人机自动避障方法，其特征在于，所述步骤S33的具体方法为：

S331、利用一维高斯函数对S31中预处理过的图的行和列进行低通平滑滤波；

S332、计算平滑后图像的x、y方向的偏导数；

S333、利用二范数计算梯度幅值和梯度方向，设置边缘阈值为[0.04,0.1]，获得二维轮廓图；

S334、根据二维轮廓图求得轮廓点的像素坐标并保存在S中，遍历S中的坐标，并提取相应点的三维坐标并保存，获得场景轮廓的三维坐标数组；

S335、在点云观察窗口显示出提取的三维轮廓，获得三维点图。