CN106444849A

CN106444849A - 一种基于图像识别的无人机自主飞行系统

Info

Publication number: CN106444849A
Application number: CN201611100170.2A
Authority: CN
Inventors: 不公告发明人
Original assignee: Shanghai Xun Ye Computer Technology Co Ltd
Current assignee: Shanghai Xun Ye Computer Technology Co Ltd
Priority date: 2016-12-02
Filing date: 2016-12-02
Publication date: 2017-02-22

Abstract

本发明提供了一种基于图像识别的无人机自主飞行系统，包括图像采集子系统、图像识别子系统、视频显示器和指令生成子系统；所述图像采集子系统用于供无人机采集环境图像并将环境图像传送至图像识别子系统；所述图像识别子系统用于对接收的环境图像进行处理获得图像帧，再对所述图像帧进行图像识别处理，同时对所述图像帧进行组装形成视频流后发送给所述视频显示器用于实时显示；所述指令生成子系统用于根据识别处理结果生成指令，并将指令发送至无人机，以供无人机根据指令执行自主飞行任务。本发明使无人机具备更智能灵活的自主飞行控制能力，避免飞行受到影响；无人机具有的实时视频显示功也能方便操作人员充分了解具体任务环境信息。

Description

一种基于图像识别的无人机自主飞行系统

技术领域

本发明创造涉及无人机控制技术领域，具体涉及一种基于图像识别的无人机自主飞行系统。

背景技术

相关技术中的无人机自主飞行系统，所涉及的地面控制基站程序——无论是单纯的借助程序或者是基于智能Agent的分层递阶结构控制体系——底层的导航控制都是借由方向定位系统(主要包括GPS定位系统、罗盘系统以及高度传感器这三部分)来确定无人机实时位置，再通过预先设定的直角坐标系进行飞行路线的执行，从而完成对预设飞行路线的执行。

然而，面对现实中受到多因素影响的复杂环境，这种控制模式已经不能满足对非预见威胁的有效避免。同时在一些小范围复杂地形环境中，无人机躲避障碍物的成功率大幅下降。

发明内容

为解决上述问题，本发明提供一种基于图像识别的无人机自主飞行系统。

本发明创造的目的通过以下技术方案实现：

一种基于图像识别的无人机自主飞行系统，包括图像采集子系统、图像识别子系统、视频显示器和指令生成子系统；所述图像采集子系统用于供无人机采集环境图像并将环境图像传送至图像识别子系统；所述图像识别子系统用于对接收的环境图像进行处理获得图像帧，再对所述图像帧进行图像识别处理，同时对所述图像帧进行组装形成视频流后发送给所述视频显示器用于实时显示；所述指令生成子系统用于根据识别处理结果生成指令，并将指令发送至无人机，以供无人机根据指令执行自主飞行任务。

本发明创造的有益效果：采用了实时图像信息作为控制调整依据，通过图像识别技术让无人机更有效地了解复杂环境障碍物的情况，并根据实时信息作出飞行调整，使其能在复杂地形或多变环境中，具备更智能灵活的自主飞行控制能力，避免飞行受到影响；无人机具有的实时视频显示功也能方便操作人员充分了解具体任务环境信息。

附图说明

利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明结构示意图；

图2是图像采集子系统的结构示意图。

附图标记：

图像采集子系统1、图像识别子系统2、视频显示器3、指令生成子系统4、环境图像数据采集模块21、图像预处理及加密模块22、图像传送模块23。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1、图2，本实施例的一种基于图像识别的无人机自主飞行系统，包括图像采集子系统1、图像识别子系统2、视频显示器3和指令生成子系统4；所述图像采集子系统1用于供无人机采集环境图像并将环境图像传送至图像识别子系统2；所述图像识别子系统2用于对接收的环境图像进行处理获得图像帧，再对所述图像帧进行图像识别处理，同时对所述图像帧进行组装形成视频流后发送给所述视频显示器3用于实时显示；所述指令生成子系统4用于根据识别处理结果生成指令，并将指令发送至无人机，以供无人机根据指令执行自主飞行任务。

优选的，所述对所述图像帧进行图像识别处理，包括：对所接收的图像帧进行二值化处理，获得黑白图像；对所述黑白图像利用循环校正算法来获得识别目标；对所述识别目标采用质心比对算法获取目标的实际质心，并将所述实际质心与所设定的质心阈值进行求差，获得调整量。

优选的，所述根据识别处理结果生成指令，包括：利用监视器来接收所述调整量，并对所述调整量进行AT指令的转义。

本发明上述实施例采用了实时图像信息作为控制调整依据，通过图像识别技术让无人机更有效地了解复杂环境障碍物的情况，并根据实时信息作出飞行调整，使其能在复杂地形或多变环境中，具备更智能灵活的自主飞行控制能力，避免飞行受到影响；无人机具有的实时视频显示功也能方便操作人员充分了解具体任务环境信息。

优选的，所述图像采集子系统1包括环境图像数据采集模块21、图像预处理及加密模块22、图像传送模块23，图像识别子系统2还包括有图像解密模块；所述图像预处理及加密模块22与图像传送模块23的接收端连接，所述图像解密模块与图像传送模块23的传送端无线连接。

所述环境图像数据采集模块21用于通过已校准的摄像机对环境图像数据进行摄像采集，所述已校准的摄像机为已经进行标定处理的摄像机，摄像机的标定包括：(1)采用国际象棋棋盘作为摄像机标定的参考图；(2)采用摄像机对国际象棋棋盘进行图像采集，以得到棋盘图像，采集的时候尽量让棋盘占据尽可能多的画面，采集的棋盘图像的数量大于等于10；(3)输入棋盘方格尺寸大小，设定棋盘角点搜索窗口方格大小，窗口方格小于棋盘方格大小，提取棋盘图像中棋盘上所有方格的角点；(4)采用matlab标定工具箱对摄像机进行标定，根据取得的角点，运行程序得到摄像机的参数，完成标定。

本优选实施例通过已校准的摄像机对环境图像数据进行摄像采集，能够更准确地获取环境图像数据，从而进一步提高图像识别的效率和精度，提高无人机飞行的精确度。

优选地，所述图像预处理及加密模块22用于对需加密的环境图像进行图像预处理，并对图像预处理后的图像进行加密；

所述对需加密的环境图像进行图像预处理，包括：

(1)按照下列灰度化处理公式对需加密的环境图像进行灰度化处理：

日光条件下：

灯光条件下：

弱光条件下：

Q＝max(r，g，b)

上式中，日光条件是指拍摄条件为正常白天，灯光条件指拍摄条件为太阳落山后室内灯光条件，弱光条件指拍摄条件为晚上室内不开灯，Q为处理后图像的像素灰度值，r、g、b分别表示图像像素点的红色、绿色、蓝色分量；

(2)对图像进行增强处理，包括：

1)将经过灰度化处理的图像的灰度值按照下列公式进行增强处理：

Q′＝lnQ

2)计算任意像素点(x,y)和邻域内八个像素点的灰度关系W：

式中，μ、v不能同时为0；

通过该灰度关系对初始灰度值进行校正，得到校正后的灰度值ψ(x,y)为：

本优选实施例根据不同光照条件对图像进行灰度处理，减少了计算量，保证了在弱光条件下图像的亮度，对图像进行增强处理，提高了图像质量，从而进一步得到较为清晰的环境图像，有利于后续的图像识别处理，让无人机能更有效地了解复杂环境障碍物的情况。

所述对需加密的环境图像进行图像预处理，还包括：

(1)对灰度值校正后的图像按照图像要求度进行区分，确定图像要求高的图像和图像要求较低的图像，并做好标记；

(2)对灰度值校正后的图像进行图像预处理：首先进行三级小波分解，提取灰度值校正后的图像的三级小波分解低频近似分量，然后采用下列混沌映射公式对低频图像进行位置置乱处理：

式中，η1为低频图像信息，m₁、m₂、m₃为通过混沌映射生成的三个变量；

为适应数字图像所要求的数值范围，对m₁、m₂、m₃按照下式进行处理，从而将它们的值映射到0-255之间，生成混沌序列F、Z，并进一步映射为图像矩阵：

F＝[(m₁+m₂)*500]mod256，Z＝[(m₁+m₃)*500]mod256

(3)确定待加密图像：对于图像要求较低的图像，采用预处理后的图像作为待加密图像；对于图像要求较高的图像，对预处理后的图像利用小波逆变换进行图像重构，以重构后的图像作为待加密图像；

所述对图像预处理后的图像进行加密，包括：用O₁表示待加密图像，分别在有限域上与混沌序列F执行加法运算和乘法运算，得到新的图像O₂，再将图像O₂使用转置操作得到新的图像O₃，最后将将图像O₃与混沌序列Z执行有限域上的加和乘操作，得到最终的图像O，其中：

式中，表示有限域的加法，“·”表示有限域上的乘法。

本优选实施例利用小波变换对图像进行图像预处理，去除了图像本身的冗余性，实现快速置乱，能够减少所需的混沌序列，提高加密效率，满足实时通信的要求；按照图像要求的高低进行图像区分，对于图像要求高的图像先进行图像预处理再进行小波逆变换的图像重构处理，确保无损的同时提高了置乱的速率；加密时，将有限域的二进制算法与混沌加密技术进行结合，保障了图像加密的安全性的同时，相对于现有技术，提高了图像加密的速度，实现了环境图像的安全传送，提高了系统的安全性。

优选地，所述解密模块用于对加密图像进行解密，其使用与图像预处理相同的混沌映射公式以及相应的混沌序列，对加密过程进行逆转换，从而实现图像的解密。

本优选实施例实现了图像识别子系统2对加密的环境图像的读取，进一步提高了图像识别子系统2对环境图像数据处理的速度，从而进一步提高了无人机自主飞行的效率。

基于上述实施例，发明人进行了一系列测试，以下是进行测试得到的实验数据：

无人机自主飞行情况	指令生成平均耗时	飞行故障率
			飞行环境1：操场，行程500m	2s	0％
飞行环境2：国道路段，行程500m	2s	0％
			飞行环境3：农场，行程1000m	3s	0％
飞行环境4：沿电网飞行，行程1000m	2s	0％
			飞行环境5：企业工厂，行程500m	2s	0％

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims

1.一种基于图像识别的无人机自主飞行系统，其特征是，包括图像采集子系统、图像识别子系统、视频显示器和指令生成子系统；所述图像采集子系统用于供无人机采集环境图像并将环境图像传送至图像识别子系统；所述图像识别子系统用于对接收的环境图像进行处理获得图像帧，再对所述图像帧进行图像识别处理，同时对所述图像帧进行组装形成视频流后发送给所述视频显示器用于实时显示；所述指令生成子系统用于根据识别处理结果生成指令，并将指令发送至无人机，以供无人机根据指令执行自主飞行任务。

2.根据权利要求1所述的一种基于图像识别的无人机自主飞行系统，其特征是，所述对所述图像帧进行图像识别处理，包括：对所接收的图像帧进行二值化处理，获得黑白图像；对所述黑白图像利用循环校正算法来获得识别目标；对所述识别目标采用质心比对算法获取目标的实际质心，并将所述实际质心与所设定的质心阈值进行求差，获得调整量。

3.根据权利要求2所述的一种基于图像识别的无人机自主飞行系统，其特征是，所述根据识别处理结果生成指令，包括：利用监视器来接收所述调整量，并对所述调整量进行AT指令的转义。

4.根据权利要求3所述的一种基于图像识别的无人机自主飞行系统，其特征是，所述图像采集子系统包括环境图像数据采集模块、图像预处理及加密模块、图像传送模块，图像识别子系统还包括有图像解密模块；所述图像预处理及加密模块与图像传送模块的接收端连接，所述图像解密模块与图像传送模块的传送端无线连接。

5.根据权利要求4所述的一种基于图像识别的无人机自主飞行系统，其特征是，所述环境图像数据采集模块用于通过已校准的摄像机对环境图像数据进行摄像采集，所述已校准的摄像机为已经进行标定处理的摄像机，摄像机的标定包括：(1)采用国际象棋棋盘作为摄像机标定的参考图；(2)采用摄像机对国际象棋棋盘进行图像采集，以得到棋盘图像，采集的时候尽量让棋盘占据尽可能多的画面，采集的棋盘图像的数量大于等于10；(3)输入棋盘方格尺寸大小，设定棋盘角点搜索窗口方格大小，窗口方格小于棋盘方格大小，提取棋盘图像中棋盘上所有方格的角点；(4)采用matlab标定工具箱对摄像机进行标定，根据取得的角点，运行程序得到摄像机的参数，完成标定。