CN112286230A - 无人机视觉图像算法、避障步骤及其信息融合处理系统 - Google Patents

Abstract

本发明涉及涉及无人机视觉图像算法、避障步骤及其信息融合处理系统，信息融合处理系统包括高精度定位模块、视觉跟踪模块、采集与计算模块、信息融合处理模块和控制模块；视觉图像算法包括开始、输入图像序列、图像预处理、检测图像中的角点、计算角点的光流向量、阈值分割和均值聚类光流向量及识别障碍物、输入障碍物大小和危险距离和完成；避障步骤包括开始、启动无人机、航线飞行、判断是否有障碍物、更新障碍物位置信息、判断距离是否小于设定值、视觉测角与信息融合、执行规避飞行和完成。本发明利用无人机信息融合处理模块对高精度定位模块与视觉跟踪模块输出的数字信息进行计算后，向控制模块输出控制数字信息，从而实现无人机自主避障。

Description

无人机视觉图像算法、避障步骤及其信息融合处理系统

技术领域

本发明涉及无人机领域，具体涉及无人机视觉图像算法、避障步骤及其信息融合处理系统。

背景技术

随着无人机成本的逐渐降低、智能化水平逐渐提升，其在电力领域也得到了快速的发展，目前在输电通道巡视、输电设备精细化巡检等方面，无人机已成为较为有力可靠的任务执行者；通常在无人机领域相关的诸多研究，多以无人机自身的设计为主，包括机体结构设计、无人机控制器设计等，基于复杂任务的研究仍十分有限。

当无人机在执行输电巡检任务时，由于输电设备较为复杂，飞行中的无人机是依靠飞手手动操作为主的，因此需要飞手具有丰富的经验和高度的注意力操作无人机；由于精细化巡检任务要求较高、巡检塔形较多、地理环境较为复杂，手动操作无人机执行任务容易发生碰塔、碰线、撞树等问题导致无人机损坏。

发明内容

针对上述技术问题，本发明第一提出的无人机信息融合处理系统包括高精度定位模块1、视觉跟踪模块2、采集与计算模块3、信息融合处理模块4和控制模块5；其中：

所述高精度定位模块1用于采集无人机在航行中的实时位置信息，其输出端与信息融合处理模块4的输入端连接，输出无人机在航行中实时位置的数字信息；

所述视觉跟踪模块2用于采集无人机在航行中正前方所拍摄的视觉图像，其输出端与采集与计算模块3的输入端连接，输出无人机在航行中的视觉图像；

所述采集与计算模块3采集视觉跟踪模块2所输出的视觉图像并进行计算，其输出端与信息融合处理模块4的输入端连接，输出经采集与计算模块3计算出的无人机在航行中正前方出现的障碍物的位置及距离的数字信息；

所述信息融合处理模块4的输出端与控制模块5连接，并将高精度定位模块1和采集与计算模块3所输出的视觉图像算法数字信息进行数据融合计算，从而向控制模块5输出飞行避障步骤的数字信息；

所述控制模块5接收信息融合处理模块4的数据，并向无人机发出相应的飞行动作控制指令。

进一步的，所述高精度定位模块1是无人机自带的功能模块，从而减少了无人机系统模块设计单元。

进一步的，所述控制模块是无人机自带的功能模块，从而减少了无人机系统模块设计单元。

本发明第二提出的无人机视觉图像算法为：

S201开始：采集视觉图像，采用机载相机进行图像拍摄，并将拍摄到图像通过SDK传输到内部处理模块；

S202输入图像序列：对视觉图像依次编码得到序列视觉图像，通过opencv算法，将多图像进行数组转换，则图像转换为[x,y,z]三维度的数组对象；

S203图像预处理：视觉图像预处理是障碍物检测的核心，在处理过程中，首先是对采集到的视觉图像进行预处理，其次是计算并提取视觉图像中的障碍物信息，最后是向信息融合处理模块4输出数字信息；为了使采集到的视觉图像信息满足后续的处理要求，采集与计算模块3的预处理主要包括灰度图转化、平滑和降噪，即：

S203-1灰度图转化：视频采集模块2通过CMOS相机采集无人机正前方视角的环境信息，由于彩色图像不能直接用于视觉图像的算法计算，因此需要对该视觉图像进行灰度化处理；其算法在于，通过RGB（R、G、B）色彩标准构建的彩色图，将像素点的颜色包含R、G、B三个分量进行灰度化计算，即将颜色中的三个分量R、G、B值替换为一个统一的灰度分量Gray-R、Gray-G、Gray-B，从而构建出新的灰度图像Gray（Gray-R、Gray-G、Gray-B），即：

平均值法：Gray=（R+G+B）/3；

此外，还可以采取的转化方法有以下四种：

1）浮点算法：Gray=R*0.3+G*0.59+B*0.11；

2）整数方法：Gray=(R*30+G*59+B*11)/100；

3）移位方法：Gray =(R*28+G*151+B*77)>>8；

4）仅取绿色：Gray=G；

S203-2图像平滑处理：通过线性平滑算法对灰度图像Gray进行平滑处理，剔除其像素出现的奇异点或者突变值，并平缓其亮度梯度，从而改善灰度图像Gray的质量，即：

采用邻域平均法对灰度图像Gray进行平滑处理；

此外，还可以采取的平滑处理方法为以下二种：

1）领域加权平均法，

2）选择式掩模法；

S203-3图像降噪处理：通过均值滤波对改善灰度图像Gray中出现的高斯噪声进行处理，从而得到满足障碍物提取需求的灰度图像Gray，所述均值滤波方法为均值滤波器（Median Filter）用其NxN邻域的中位数替换每个像素；

S204检测图像中的角点：灰度图像Gray中并非所有区域均反应避障危险区域，通过计算角点的光流向量，以此来完成对障碍物的检测；

S205计算角点的光流向量：障碍物检测，需要提取障碍物的大小和相对距离信息，无人机在飞行过程中首先要对障碍物进行识别，通过Lucas-Kanade方法算法计算目标场景的光流场，可推导两个等式未知向量的方式来进行求解来估测障碍物的信息，即：

；

S206阈值分割和均值聚类光流向量，识别障碍物：通过阈值分割和均值K-means聚类光流向量的计算，从而得到障碍物的数字信息；

S207输入障碍物大小和危险距离：将障碍物大小、距离的数字信息输入到无人机飞行数据中，并建立危险距离的逻辑数字信息；

S208完成：向信息融合处理模块4输出数字信息。

本发明第三提出的无人机避障步骤为：

S101开始：确定执行巡检的任务，准备无人机并做飞行前的常规性检查是否正常，包括机体、叶片、轴、随机电源的电量等，如正常执行下一步；

S102启动无人机：启动电源，无人机自动执行初始化系统并检查高精度定位模块1、视觉跟踪模块2、采集与计算模块3、信息融合处理模块4、控制模块5的工作状态是否正常，如正常执行下一步；

S103航线飞行：初始化完毕后，无人机依托高精度定位模块1进入自主飞行状态，同时依托视觉跟踪模块2实时检测障碍物信息，并向采集与计算模块3输出信息，经采集与计算模块3对障碍物的视觉图像处理后将数字信息输入到信息融合处理模块4，经信息融合处理模块4计算后向控制模块5输出信息；

S104判断是否有障碍物：当视觉跟踪模块2实时未检测到障碍物信息时，按照S103继续航线飞行；当视觉跟踪模块2实时检测到障碍物信息时，基于光流场计算结果对障碍物按下一步执行；

S105更新障碍物位置信息：障碍物最近距离大于安全距离时，不采取操作干预飞行；即当障碍物距离大于安全距离设定值时，控制模块5输出继续航线飞行的指令；

S106判断距离是否小于设定值：当障碍物距离小于安全距离设定值时，执行下一步；

S107视觉测角与信息融合：信息融合处理模块4向控制模块5发出避障指令，即当计算出无人机与障碍物之间的距离小于安全距离时，则根据高精度定位模块1规划出避障路线，在完成避障路线后，控制无人机对障碍物进行躲避，完成一次避障飞行任务后，无人机返回原始航线继续飞行，最终完成输电线路巡检任务；

S108执行规避飞行：无人机自动进行避障飞行动作并避开障碍物；

S109完成：巡检任务完成后返航。

本发明的有益之处在于：无人机在执行巡检任务过程的飞行路径上，通过高精度定位模块1与视觉跟踪模块2采集信息，对前方障碍物进行检测并提取相关物理信息，信息融合处理模块4对高精度定位模块1与视觉跟踪模块2输出的数字信息进行计算处理后，向控制模块5输出控制数字信息，从而实现无人机自主避障。

由于无人机具有高精度定位和视觉跟踪技术的功能，不仅可以在低空区域平稳的飞行，而且能够在人工无法干预的情况下有效的避开环境中的障碍物，这对减少无人机发生炸机事故具有十分重要的意义；相较于当前单纯的手动避障，通过融合处理技术对高精度定位与视觉跟踪技术的融合，大幅度提高了无人机的自动化、智能化水平，进一步提升了输电线路精细化巡检效率；并且无人机采用了先进的避障策略，根据高精度定位模块1和视觉跟踪模块2融合经信息融合处理模块4融合处理后确定的障碍物在空间中的分布情况，能够寻找障碍物之间的空隙进行障碍物的躲避，障碍物躲避后，能够自动返回规划路线，继续进行输电线路精细化巡检任务。

附图说明

图1：无人机信息融合处理系统结构示意图；

图2：无人机视觉图像算法示意图；

图3：无人机避障步骤示意图。

具体实施方式

实施例1本发明通过以下实施方式实现。

结合附图1：

无人机信息融合处理系统包括高精度定位模块1、视觉跟踪模块2、采集与计算模块3、信息融合处理模块4和控制模块5；其中：

所述高精度定位模块1用于采集无人机在航行中的实时位置信息，其输出端与信息融合处理模块4的输入端连接，输出无人机在航行中实时位置的数字信息；

所述视觉跟踪模块2用于采集无人机在航行中正前方所拍摄的视觉图像，其输出端与采集与计算模块3的输入端连接，输出无人机在航行中的视觉图像；

所述采集与计算模块3采集视觉跟踪模块2所输出的视觉图像并进行计算，其输出端与信息融合处理模块4的输入端连接，输出经采集与计算模块3计算出的无人机在航行中正前方出现的障碍物的位置及距离的数字信息；

所述信息融合处理模块4的输出端与控制模块5连接，并将高精度定位模块1和采集与计算模块3所输出的数字信息进行数据融合计算，从而向控制模块5输出控制数字信息；

所述控制模块5接收信息融合处理模块4的数据，并向无人机发出相应的飞行动作控制指令。

优选的，所述高精度定位模块1是无人机自带的功能模块，从而减少了无人机系统模块设计单元。

优选的，所述控制模块是无人机自带的功能模块，从而减少了无人机系统模块设计单元。

结合附图2：

无人机在进行避障时，需要获取无人机、障碍物和目标点的位置，其中，无人机的当前位置可以通过机载的高精度定位模块1获取，而目标点的位置则是人为设定的，因此，只需要检测障碍物的位置，或者获取可用于确定障碍物位置信息的物理量，并以此来规划无人机的避障路径；附图２中所述的采集与计算模块3的无人机视觉图像算法为：

S201开始：采集视觉图像，采用机载相机进行图像拍摄，并将拍摄到图像通过SDK传输到内部处理模块；

S202输入图像序列：对视觉图像依次编码得到序列视觉图像，通过opencv算法，将多图像进行数组转换，则图像转换为[x,y,z]三维度的数组对象；

S203图像预处理：视觉图像预处理是障碍物检测的核心，在处理过程中，首先是对采集到的视觉图像进行预处理，其次是计算并提取视觉图像中的障碍物信息，最后是向信息融合处理模块4输出数字信息；为了使采集到的视觉图像信息满足后续的处理要求，采集与计算模块3的预处理主要包括灰度图转化、平滑和降噪，具体如下：

S203-1灰度图转化：视频采集模块2通过CMOS相机采集无人机正前方视角的环境信息，由于彩色图像不能直接用于视觉图像的算法计算，因此需要对该视觉图像进行灰度化处理；其算法在于，通过RGB（R、G、B）色彩标准构建的彩色图，将像素点的颜色包含R、G、B三个分量进行灰度化计算，即将颜色中的三个分量R、G、B值替换为一个统一的灰度分量Gray-R、Gray-G、Gray-B，从而构建出新的灰度图像Gray（Gray-R、Gray-G、Gray-B），即：

平均值法：Gray=（R+G+B）/3；

此外，还可以采取的转化方法有以下四种：

1）浮点算法：Gray=R*0.3+G*0.59+B*0.11；

2）整数方法：Gray=(R*30+G*59+B*11)/100；

3）移位方法：Gray =(R*28+G*151+B*77)>>8；

4）仅取绿色：Gray=G；

S203-2图像平滑处理：通过线性平滑算法对灰度图像Gray进行平滑处理，剔除其像素出现的奇异点或者突变值，并平缓其亮度梯度，从而改善灰度图像Gray的质量，即：

采用邻域平均法对灰度图像Gray进行平滑处理；

此外，还可以采取的平滑处理方法为以下二种：

1）领域加权平均法，

2）选择式掩模法；

S203-3图像降噪处理：通过均值滤波方法对改善灰度图像Gray中出现的高斯噪声进行处理，从而得到满足障碍物提取需求的灰度图像Gray，所述均值滤波方法为均值滤波器（Median Filter）用其NxN邻域的中位数替换每个像素；

S204检测图像中的角点：灰度图像Gray中并非所有区域均反应避障危险区域，通过计算角点的光流向量，以此来完成对障碍物的检测；

S205计算角点的光流向量：障碍物检测，需要提取障碍物的大小和相对距离信息，无人机在飞行过程中首先要对障碍物进行识别，通过Lucas-Kanade方法算法计算目标场景的光流场，可推导两个等式未知向量的方式来进行求解来估测障碍物的信息，即

；

S206阈值分割和均值聚类光流向量，识别障碍物：通过阈值分割和均值K-means聚类光流向量的计算，从而得到障碍物的数字信息；

S207输入障碍物大小和危险距离：将障碍物大小、距离的数字信息输入到无人机飞行数据中，并建立危险距离的逻辑数字信息；

S208完成：向信息融合处理模块4输出数字信息。

结合附图3：

无人机在执行输电线路巡检任务时，一般是设定为在指定开始点和指定终止点之间的飞行，而无人机要从开始点飞向终止点并且能够自主避开飞行中的障碍物，是采取分解成有限次两点之间的定点飞行任务；为了实现无人机在输电巡检任务过程中自主识别并躲避障碍物的目的，从而顺利完成巡检任务；无人机避障步骤为：

S101开始：确定执行巡检的任务，准备无人机并做飞行前的常规性检查是否正常，包括机体、叶片、轴、随机电源的电量等，如正常执行下一步；

S102启动无人机：启动电源，无人机自动执行初始化系统并检查高精度定位模块1、视觉跟踪模块2、采集与计算模块3、信息融合处理模块4、控制模块5的工作状态是否正常，如正常执行下一步；

S103航线飞行：初始化完毕后，无人机依托高精度定位模块1进入自主飞行状态，同时依托视觉跟踪模块2实时检测障碍物信息，并向采集与计算模块3输出信息，经采集与计算模块3对障碍物的视觉图像处理后将数字信息输入到信息融合处理模块4，经信息融合处理模块4计算后向控制模块5输出信息；

S104判断是否有障碍物：当视觉跟踪模块2实时未检测到障碍物信息时，按照S103继续航线飞行；当视觉跟踪模块2实时检测到障碍物信息时，基于光流场计算结果对障碍物按下一步执行；

S105更新障碍物位置信息：障碍物最近距离大于安全距离时，不采取操作干预飞行；即当障碍物距离大于安全距离设定值时，控制模块5输出继续航线飞行的指令；

S106判断距离是否小于设定值：当障碍物距离小于安全距离设定值时，执行下一步；

S107视觉测角与信息融合：信息融合处理模块4向控制模块5发出避障指令，即当计算出无人机与障碍物之间的距离小于安全距离时，则根据高精度定位模块1规划出避障路线，在完成避障路线后，控制无人机对障碍物进行躲避，完成一次避障飞行任务后，无人机返回原始航线继续飞行，最终完成输电线路巡检任务；

S108执行规避飞行：无人机自动进行避障飞行动作并避开障碍物；

S109完成：巡检任务完成后返航。

Claims (5)

1.无人机信息融合处理系统包括高精度定位模块（1）、视觉跟踪模块（2）、采集与计算模块（3）、信息融合处理模块（4）和控制模块（5），其特征在于，其中：

所述高精度定位模块（1）用于采集无人机在航行中的实时位置信息，其输出端与信息融合处理模块（4）的输入端连接，输出无人机在航行中实时位置的数字信息；

所述视觉跟踪模块（2）用于采集无人机在航行中正前方所拍摄的视觉图像，其输出端与采集与计算模块（3）的输入端连接，输出无人机在航行中的视觉图像；

所述采集与计算模块（3）采集视觉跟踪模块（2）所输出的视觉图像并进行计算，其输出端与信息融合处理模块（4）的输入端连接，输出经采集与计算模块（3）计算出的无人机在航行中正前方出现的障碍物的位置及距离的数字信息；

所述信息融合处理模块（4）的输出端与控制模块（5）连接，其将高精度定位模块（1）和采集与计算模块（3）所输出的视觉图像算法数字信息进行数据融合计算，并向控制模块（5）输出飞行避障步骤的数字信息；

所述控制模块（5）接收信息融合处理模块（4）的数据，并向无人机发出相应的飞行动作控制指令。

2.根据权利要求1所述的无人机信息融合处理系统，其特征在于，所述高精度定位模块1是无人机自带的功能模块。

3.根据权利要求1所述的无人机信息融合处理系统，其特征在于，所述控制模块是无人机自带的功能模块。

4.无人机视觉图像算法，其特征在于：

S201开始：采集视觉图像，采用机载相机进行图像拍摄，并将拍摄到图像通过SDK传输到内部处理模块；

S202输入图像序列：对视觉图像依次编码得到序列视觉图像，通过opencv算法，将多图像进行数组转换，则图像转换为[x,y,z]三维度的数组对象；

S203图像预处理：视觉图像预处理是障碍物检测的核心，在处理过程中，首先是对采集到的视觉图像进行预处理，其次是计算并提取视觉图像中的障碍物信息，最后是向信息融合处理模块（4）输出数字信息；为了使采集到的视觉图像信息满足后续的处理要求，采集与计算模块（3）的预处理主要包括灰度图转化、平滑和降噪,即：

S203-1灰度图转化：视频采集模块（2）通过CMOS相机采集无人机正前方视角的环境信息，由于彩色图像不能直接用于视觉图像的算法计算，因此需要对该视觉图像进行灰度化处理；其算法在于，通过RGB（R、G、B）色彩标准构建的彩色图，将像素点的颜色包含R、G、B三个分量进行灰度化计算，即将颜色中的三个分量R、G、B值替换为一个统一的灰度分量Gray-R、Gray-G、Gray-B，从而构建出新的灰度图像Gray（Gray-R、Gray-G、Gray-B），即：

平均值法：Gray=（R+G+B）/3；

此外，还可以采取的转化方法有以下四种：

1）浮点算法：Gray=R*0.3+G*0.59+B*0.11；

2）整数方法：Gray=(R*30+G*59+B*11)/100；

3）移位方法：Gray =(R*28+G*151+B*77)>>8；

4）仅取绿色：Gray=G；

S203-2图像平滑处理：通过线性平滑算法对灰度图像Gray进行平滑处理，剔除其像素出现的奇异点或者突变值，并平缓其亮度梯度，从而改善灰度图像Gray的质量，即：

采用邻域平均法对灰度图像Gray进行平滑处理；

此外，还可以采取的平滑处理方法为以下二种：

1）领域加权平均法，

2）选择式掩模法；

S203-3图像降噪处理：通过均值滤波对改善灰度图像Gray中出现的高斯噪声进行处理，从而得到满足障碍物提取需求的灰度图像Gray，所述均值滤波方法为均值滤波器（Median Filter）用其NxN邻域的中位数替换每个像素；

S204检测图像中的角点：灰度图像Gray中并非所有区域均反应避障危险区域，通过计算角点的光流向量，以此来完成对障碍物的检测；

S205计算角点的光流向量：障碍物检测，需要提取障碍物的大小和相对距离信息，无人机在飞行过程中首先要对障碍物进行识别，通过Lucas-Kanade方法算法计算目标场景的光流场，可推导两个等式未知向量的方式来进行求解来估测障碍物的信息，即：

；

S206阈值分割和均值聚类光流向量，识别障碍物：通过阈值分割和均值K-means聚类光流向量的计算，从而得到障碍物的数字信息；

S207输入障碍物大小和危险距离：将障碍物大小、距离的数字信息输入到无人机飞行数据中，并建立危险距离的逻辑数字信息；

S208完成：向信息融合处理模块（4）输出数字信息。

5.无人机避障步骤，其特征在于：

S101开始：确定执行巡检的任务，准备无人机并做飞行前的常规性检查是否正常，包括机体、叶片、轴、随机电源的电量等，如正常执行下一步；

S102启动无人机：启动电源，无人机自动执行初始化系统并检查高精度定位模块（1）、视觉跟踪模块（2）、采集与计算模块（3）、信息融合处理模块（4）、控制模块（5）的工作状态是否正常，如正常执行下一步；

S103航线飞行：初始化完毕后，无人机依托高精度定位模块（1）进入自主飞行状态，同时依托视觉跟踪模块（2）实时检测障碍物信息，并向采集与计算模块（3）输出信息，经采集与计算模块（3）对障碍物的视觉图像处理后将数字信息输入到信息融合处理模块（4），经信息融合处理模块（4）计算后向控制模块（5）输出信息；

S104判断是否有障碍物：当视觉跟踪模块（2）实时未检测到障碍物信息时，按照S103继续航线飞行；当视觉跟踪模块（2）实时检测到障碍物信息时，基于光流场计算结果对障碍物按下一步执行；

S105更新障碍物位置信息：障碍物最近距离大于安全距离时，不采取操作干预飞行；即当障碍物距离大于安全距离设定值时，控制模块（5）输出继续航线飞行的指令；

S106判断距离是否小于设定值：当障碍物距离小于安全距离设定值时，执行下一步；

S107视觉测角与信息融合：信息融合处理模块（4）向控制模块（5）发出避障指令，即当计算出无人机与障碍物之间的距离小于安全距离时，则根据高精度定位模块（1）规划出避障路线，在完成避障路线后，控制无人机对障碍物进行躲避，完成一次避障飞行任务后，无人机返回原始航线继续飞行，最终完成输电线路巡检任务；

S108执行规避飞行：无人机自动进行避障飞行动作并避开障碍物；

S109完成：巡检任务完成后返航。

Images