CN104765360A - 一种基于图像识别的无人机自主飞行系统 - Google Patents

Abstract

本发明公开了一种基于图像识别的无人机自主飞行系统，是应用于由n个无人机和一个地面指挥中心构成的自主飞行任务中；其特征是包括：飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；飞行通信模块和地面通信模块均包括UDP5556端口与TCP5555端口。本发明无人机在自主飞行时，能根据随机发生的环境变化做出更及时应答和调整，以确保无人机自主飞行的稳定与灵活。

Description

一种基于图像识别的无人机自主飞行系统

技术领域

本发明属于无人机控制与决策领域。具体地说是一种基于图像识别的无人机自主飞行系统。

背景技术

近年来，无人机因其在枯燥、恶劣的环境中出色的执行高危险任务，已被广泛运用到通信、气象、军事等领域。无人机技术在小型化、隐身化以及智能化方向得到了快速的发展。

但是，目前主流设计的无人机自主飞行系统，所涉及的地面控制基站程序——无论是单纯的借助程序或者是基于智能Agent的分层递阶结构控制体系——底层的导航控制都是借由方向定位系统(主要包括GPS定位系统、罗盘系统以及高度传感器这三部分)来确定无人机实时位置，再通过预先设定的直角坐标系进行飞行路线的执行，从而完成对预设飞行路线的执行。

然而，面对现实中受到多因素影响的复杂环境，这种控制模式已经不能满足对非预见威胁的有效避免。同时在一些小范围复杂地形环境中，无人机躲避障碍物的成功率大幅下降。

发明内容

本发明是为了克服现有技术存在的不足之处，提供一种基于图像识别的无人机自主飞行系统，以期无人机在自主飞行时，能根据随机发生的环境变化做出更及时应答和调整，以确保无人机自主飞行的稳定与灵活。

本发明为达到上述发明目的采用如下技术方案：

本发明一种基于图像识别的无人机自主飞行系统，是应用于由n个无人机和一个地面指挥中心构成的自主飞行任务中；其特点是包括：飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；所述飞行通信模块和地面通信模块均包括UDP5556端口与TCP5555端口；

所述n个无人机通过自带的前置摄像头各自获取环境图像，并通过各自的飞行通信模块进行编码和封装形成TCP包后利用自身的TCP5555端口发送给所述地面通信模块的TCP5555端口；

所述地面通信模块TCP5555端口接收所述TCP包并传递给所述输入模块进行预处理，获得H264基本图像，并将所述H264基本图像发送给FFMPEG模块；

所述FFMPEG模块通过调用FFMPEG解码包对所接收的H264基本图像进行解码处理获得图像帧，再将所述图像帧发送给图像识别模块，同时所述FFMPEG模块对所述图像帧进行组装形成视频流后发送给所述视频显示模块用于实时显示；

所述图像识别模块对所接收的图像帧进行二值化处理，获得黑白图像；对所述黑白图像利用循环校正算法来获得识别目标；对所述识别目标采用质心比对算法获取目标的实际质心，并将所述实际质心与所设定的质心阈值进行求差，获得调整量后发送给所述指令生成模块；

所述指令生成模块利用监视器来接收所述调整量并对所述调整量进行AT指令的转义后发送给所述输出模块；

所述输出模块对所接收到的转义后的AT指令进行封装，形成指令数据包后利用所述地面通信模块的UDP5556端口发送给所述飞行通信模块的UDP5556端口；

所述飞行通信模块的UDP5556端口从所接收的指令数据包中提取AT指令，并根据所述AT指令执行自主飞行任务。

本发明所述的基于图像识别的无人机自主飞行系统的特点也在于，所述n个飞行通信模块和一个地面通信模块按如下步骤建立通信连接：

步骤2.1、所述n个飞行通信模块各自创建一个SSID网络的名称，并设置所述SSID网络的IP地址；

步骤2.2、所述地面通信模块连接到所述IP地址中，从而获得所述飞行通信模分配的地面IP地址；

步骤2.3、所述n个飞行通信模块为所述地面通信模块分配相应的UDP5556端口与TCP5555端口，从而实现数据传输；并有，所述UDP5556端口负责发送包含AT指令的指令数据包；所述TCP5555端口负责传输包含环境图像的TCP包。

与已有技术相比，本发明的有益效果体现在：

1、本发明通过设置一个地面基站控制n台无人机的功能来及时了解多个任务区域实时环境，采用了实时图像信息作为控制调整依据，通过图像识别技术让飞行器能使其有效地了解复杂环境障碍物的情况，并根据实时信息作出飞行调整，使其能在复杂地形或多变环境中，具备更智能灵活的自主飞行控制能力，避免飞行受到影响；飞行器具有的实时视频显示功也能方便方便操作人员充分了解具体任务环境信息。

2、本发明通过循环校正算法对所获取实时图像信息来帮助无人机更快速辨识任务目标，方便后续自主飞行决策的调整，通过TCP协议来高速传输高清摄像头获取的图像信息，从而确保数据传输的高效稳定，达到飞行控制的稳定。

3本发明对整个系统的程序编写采用了面向对象的编程技术，在图像识别和指令生成两模块中使用到的Java代码具有高可移植性，适应于跨平台应用和推广；整个系统采用了多模块耦合结构，确保系统的鲁棒性和可扩充性。

附图说明

图1为本发明模块示意图；

图2为本发明网络建立流程图；

图3为本发明视频生成流程图；

图4为本发明图像识别流程图。

具体实施方式

本实施例中，一种基于图像识别的无人机自主飞行系统，是应用于由n个无人机和一个地面指挥中心构成的自主飞行任务中；n个无人机各自的飞行通信模块与地面通信模块共同连接到同一个通信网络，并进行数据的传输；系统的组成包括：飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；飞行通信模块和地面通信模块均使用了UDP5556端口与TCP5555端口；

FFMPEG模块与视频显示模块的组合实现了视频输出功能，而FFMPEG模块、图像识别模块以及指令生成模块一起完成了飞行器AT指令生成功能，这四个模块成为了组成了系统的核心处理模块；

飞行器与地面控制中心的通信功能全部由通信模块完成，包括使用TCP5555端口实现从飞行器到地面控制中心的图像信息的传输，以及使用UDP5556端口实现地面控制中心到飞行器的AT指令传输

输入模块、输出模块是与通信模块直接相关联的模块，此两模块作为桥梁完成了网络通信与处理中心两重要部分数据的过滤、转化与传输。PC通过调用输入模块，对无人机传输过来的原始图像信息进行基本的预处理：将TCP包去掉格式头，得到可以被FFMPEG模块直接处理的基本图像数据。输出模块主要接收来自指令模块生成的AT指令信息，对其完成网络传输协议要求的数据格式修改，并将其发送到通信网络进行传输，来实现控制指令的发送。

具体地，如图1所示，n个无人机通过自带的前置摄像头各自获取环境图像，飞行器带有两个摄像头，分别位于飞行器的头部与底部，本实施例中所涉及有关摄像头部分全部指飞行器头部摄像头；n个无人机通过各自的飞行通信模块将所获图像数据进行编码，再封装形成TCP包后利用自身的TCP5555端口发送给地面通信模块的TCP5555端口；

地面通信模块TCP5555端口接收TCP包，并将之传递给输入模块进行预处理，获得H264基本图像，并将H264基本图像发送给FFMPEG模块；H264基本图像以帧的形式存在，在这些图像发送之前已经由无人机按照FFMPEG协议对其进行编码；

如图3所示，FFMPEG模块通过调用FFMPEG解码包对对所接收的H264基本图像进行解码处理得到图像识别模块所需的图像帧；同时FFMPEG模块会对得到的图像帧进行读取并将之组装形成视频流后发送给视频显示模块用于实时显示；

图像识别模块对所接收的图像帧进行二值化处理，获得黑白图像；对黑白图像利用循环校正算法来获得识别目标；对识别目标采用质心比对算法获取目标的实际质心，并将实际质心与所设定的质心阈值进行求差，获得调整量将之发送给指令生成模块；具体实施中，整个图像识别主要包括三大过程。如图4所示，首先，是启动Matlab软件并初始化其相关的运行环境，包括进程设置、读取图片、重定图片大小；然后通过二值法对该图片进行处理，使其从彩色图片转化为黑白图片，并调用zeros函数创建初始零矩阵、调用graythresh函数使用最大类间方差法计算红绿蓝三色阈值进而利用阈值进行二值化、调用strel函数进行最终闭运算，由此过程确定出图像中目标物体，由最终二值化图像计算出目标质心，图像目标质心即为整个目标物体的中心；最后通过比对图像质心与程序所计算出的预设中心，一般默认为飞行器视野的正中心位置；地面控制站通过对比目标质心与预设中心来计算出每单位时间移动最佳位置，从而来确定飞行所需调整量。整个图像识别是一个周而复始，持续进行的一个循环校正过程。

指令生成模块利用监视器来接收调整量并对调整量进行AT指令的转义，并将之发送给输出模块；具体实施中，指令生成主要通过Java程序，进行调整量到AT指令的转化。首先通过端口监视器来监视调整量的输入，通过函数将调整量换算成实时移动速度与每次移动所需时间等重要参数再通过脚本写入AT指令。

输出模块对所接收到的转义后的AT指令进行封装，形成指令数据包后利用地面通信模块的UDP5556端口发送给飞行通信模块的UDP5556端口；具体实施中，输出模块会将AT指令包装在datagram数据包中，调用相关线程来进行指令数据包的发送。之后，这些数据包将由输出模块完成网络传输协议要求的数据格式修改。输出模块会将其发送到通信网络进行传输，来实现控制指令的发送。

飞行通信模块的UDP5556端口从所接收的指令数据包中提取AT指令，并根据AT指令执行飞行任务，实现自主飞行。

具体实施中，如图2所示，n个飞行通信模块和一个地面通信模块按如下步骤建立通信连接：

步骤2.1、n个飞行通信模块各自创建一个SSID网络的名称，并设置SSID网络的IP地址；例如，具体实施中，首先由飞行器作为长机创建名为ardrone2_xxx，IP为192.168.1.1的网络。

步骤2.2、地面通信模块连接到IP地址中，通过飞行器DHCP服务器，获得飞行通信模块分配的地面IP地址；

步骤2.3、其它飞行器作为僚机连接到长机所建网络后，长机为地面通信模块与各僚机分配传输端口用于相关数据的传输，即n个飞行通信模块为地面通信模块分配相应的UDP5556端口与TCP5555端口，从而实现数据传输；并有，UDP5556端口负责发送包含AT指令的指令数据包；TCP5555端口负责传输包含环境图像的TCP包。

Claims (2)

1.一种基于图像识别的无人机自主飞行系统，是应用于由n个无人机和一个地面指挥中心构成的自主飞行任务中；其特征是包括：飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；所述飞行通信模块和地面通信模块均包括UDP5556端口与TCP5555端口；

所述n个无人机通过自带的前置摄像头各自获取环境图像，并通过各自的飞行通信模块进行编码和封装形成TCP包后利用自身的TCP5555端口发送给所述地面通信模块的TCP5555端口；

所述地面通信模块TCP5555端口接收所述TCP包并传递给所述输入模块进行预处理，获得H264基本图像，并将所述H264基本图像发送给FFMPEG模块；

所述FFMPEG模块通过调用FFMPEG解码包对所接收的H264基本图像进行解码处理获得图像帧，再将所述图像帧发送给图像识别模块，同时所述FFMPEG模块对所述图像帧进行组装形成视频流后发送给所述视频显示模块用于实时显示；

所述图像识别模块对所接收的图像帧进行二值化处理，获得黑白图像；对所述黑白图像利用循环校正算法来获得识别目标；对所述识别目标采用质心比对算法获取目标的实际质心，并将所述实际质心与所设定的质心阈值进行求差，获得调整量后发送给所述指令生成模块；

所述指令生成模块利用监视器来接收所述调整量并对所述调整量进行AT指令的转义后发送给所述输出模块；

所述输出模块对所接收到的转义后的AT指令进行封装，形成指令数据包后利用所述地面通信模块的UDP5556端口发送给所述飞行通信模块的UDP5556端口；

所述飞行通信模块的UDP5556端口从所接收的指令数据包中提取AT指令，并根据所述AT指令执行自主飞行任务。

2.根据权利要求1所述的基于图像识别的无人机自主飞行系统，其特征是，所述n个飞行通信模块和一个地面通信模块按如下步骤建立通信连接：

步骤2.1、所述n个飞行通信模块各自创建一个SSID网络的名称，并设置所述SSID网络的IP地址；

步骤2.2、所述地面通信模块连接到所述IP地址中，从而获得所述飞行通信模分配的地面IP地址；

步骤2.3、所述n个飞行通信模块为所述地面通信模块分配相应的UDP5556端口与TCP5555端口，从而实现数据传输；并有，所述UDP5556端口负责发送包含AT指令的指令数据包；所述TCP5555端口负责传输包含环境图像的TCP包。