CN109760840A - 一种无人机自主抓取控制系统及其控制方法 - Google Patents

Abstract

一种无人机自主抓取控制系统及其控制方法，涉及一种无人机系统及其控制方法，本发明系统包括地面监控系统、飞机控制系统和自主抓取系统。所述地面监控系统，包括电脑手机、无线通信单元和数传单元，用于数据信息的传输和监测无人机的运行状态；飞行控制系统包括无人机飞行控制单元、无人机飞行动力单元、无人机悬停的定高单元，为无人机提供驱动力及控制无人机飞行状态；自主抓取系统包括双目视觉单元、图像处理单元、自主抓取控制单元、抓取动作单元，主要是获取物体信息实现自主抓取。通过无人机主动寻找目标，利用双目视觉的优点，自主研发算法，使飞行系统和抓取系统整合化，取得了无人机稳定飞行及自主精准抓取的良好效果。

Description

一种无人机自主抓取控制系统及其控制方法

技术领域

本发明涉及一种无人机系统及其控制方法，特别是涉及一种无人机自主抓取控制系统及其控制方法。

背景技术

随着无人机技术的成熟，无人机凭借其运动灵活和稳定可靠的特性在很多领域大展身手，但是，目前无人机不能和外部环境进行有效的互动，使得无人机的应用受到很大的限制。

如果无人机能够实现自主识别并抓取目标物体，那么无人机可以应用到物流运输、灾难救援等领域，大大拓展无人机的应用。目前无人机的抓取研究刚刚起步，很多研究者借助外部设备如运动捕捉系统来获取无人机及目标的位置和姿态信息，但运动捕捉系统极其昂贵且只能应用于室内；目前很多抓取无人机采用的是无人机悬停机械臂伸缩抓取目标的模式，该方法简单，但是抓取物体后的无人机容易出现重心不平衡的问题，载重量受限，如果可以将抓取物体放于无人机重心下方，设计一套无人机主动调整自身位置并寻找抓取目标的自主抓取控制系统，可以开拓更广阔的无人机应用市场。

发明内容

本发明的目的在于提供一种无人机自主抓取控制系统及其控制方法，本发明通过无人机主动调整自身位置，利用双目视觉的优点，自主研发算法，使飞行系统和抓取系统整合化，取得了无人机稳定飞行及自主精准抓取的良好效果，大大拓展了无人机的交互能力。

本发明的目的是通过以下技术方案实现的：

一种无人机自主抓取控制系统，包括地面监控系统、飞机控制系统和自主抓取系统。为获得数据信息的传输和监测无人机的运行状态，所述地面监控系统，包括数传单元、无线通信单元和电脑或手机客户端；为了给无人机提供驱动力及控制无人机飞行状态，飞行控制系统包括无人机悬停定高单元、无人机飞行控制单元、无人机飞行动力单元；为获取物体信息实现自主抓取，自主抓取系统包括双目视觉单元、图像处理单元、自主抓取控制单元、抓取动作单元。所述数传单元为摄像头模块，其与无线通信单元通过RTCP协议排线相连，将获取的视频信息以数据流的形式传递给无线通信单元，无线通信单元将其接收的数据通过无线网链路转发至电脑或手机客户端，用于监测无人机整个飞行路径及环境；所述无线通信单元与无人机飞行控制单元通过SBUS协议排线相连接，用于向无人机系统发送飞行控制命令和接受无人机系统传回的状态数据信息；所述定高单元通过IIC协议排线与无人机控制单元相连，用于读取和发布无人机飞行高度控制命令；所述飞行动力单元通过电子调速器ESC与无人机飞行控制单元相连，用于控制无人机的四个旋翼转速；所述双目视觉单元为双目摄像头，通过USB接口与图像处理单元相连，将获取的两幅物体平面图像信息传递给图像处理单元进行处理；所述图像处理单元相连通过USART排线与无人机飞行控制单元相连，图像处理单元进行图像处理及相应飞机自身调整信息的发送，无人机飞行控制单元则负责该数据的接收；所述自主抓取控制单元通过IO口与无人机飞行控制单元相连，用于控制抓取动作。

所述的一种无人机自主抓取控制系统，所述地面监控系统搭载手机或电脑客户端。地面监控系统搭载手机或电脑客户端，主要将无线通信单元发送的视频数据信息接收并显示出来，进而观测无人机在远端的飞行情况和抓取任务的完成度。

所述的一种无人机自主抓取控制系统，所述控制无人机飞行高度的定高单元包括超声波模块和光流模块。用于控制无人机飞行高度的定高单元包括超声波模块和光流模块，将所测的高度数据通过IIC总线发送至无人机飞行控制单元，实现无人机对高度的精确控制。

所述的一种无人机自主抓取控制系统，所述图像处理单元为图像处理模块。图像处理单元为图像处理模块，将双目视觉单元采集的视频信息实时发送到图像处理单元，图像处理单元进行复杂的图像处理，并发送处理完的数据至飞行控制单元，飞行控制单元则根据数据信息调整无人机飞行姿态。

所述的一种无人机自主抓取控制系统，所述无人机飞行控制单元为嵌入式架构。无人机飞行控制单元为嵌入式架构，接收各个单元的数据并进行融合处理，同时发布对飞行动力单元和抓取动作单元的控制命令，实现对无人机飞行状态的控制及自主抓取任务。

一种无人机自主抓取控制方法，包含以下步骤：

S1、无人机起飞，通过两轴云台摄像机回传图像，通过无人机监控系统人工操作使无人机飞向待抓取目标附近，若在回传图像中人工看到待抓取目标，便可以开启自主抓取系统，无人机开始自主飞行。

S2、自主抓取系统3中的双目视觉单元的左摄像机用于待抓取目标视频信息采集，图像处理单元接收视频信息，将视频信息转换成帧图片并与其内部存储的待匹配图片进行SURF特征匹配，检测是否为待抓取目标，若不是待抓取目标，则自动关闭自主抓取系统，切换至人工操作；若匹配成功，则进行抓取任务。

S3、若图像处理单元匹配识别成功则对待抓取目标进行Canny算法轮廓检测，基线距 为两摄像机镜头中心之距离；相机焦距为f，像素点个数为n，图像处理单元求解目标物边缘轮廓像素坐标，求解物体几何中心点坐标

整个图像像素点坐标中最大值，记记为偏移量，计算

偏移量主要是用于调整无人机飞行位置，让其在被抓取物体正上方悬停，实现小范围目标位置寻找。

S4、利用双目视觉可以获取物体深度信息的特点，进行视觉深度检测，图像处理单元求解目标物某点空间z坐标：

图像处理单元求解物体深度值的最大值和最小值，将其均值化主要是为了获取飞机悬停高度。

S5、将S1、S2计算的和发送至无人机飞行控制单元，无人机进行下述过程，式中a，b为微调系数

，

将和矢量化转换成，这可实现无人机在同一个平面内任意角度移动，当满足时，不再进行调整。

无人机依靠行任意角度的姿态微调，飞行控制单元检测超声波和光流定高单元的发送值，将其与目标深度值进行比较，发送比较结果至飞行控制单元，形成闭环控制，从而实现无人机的空间精确悬停。

S6、无人机完成抓取任务，终止自主抓取系统，无人机上升至安全距离，切换成人工操作控制模式，完成自主抓取任务。

本发明的优点与效果是：

1.本发明设计了一种无人机自主抓取控制系统，与传统无人机悬停、机械臂抓取目标不同，本发明的系统通过无人机主动寻找目标并实现抓取，充分利用无人机自身灵活的特点，实现自主精准抓取，大大拓展了无人机的功能。

2.本发明所设计的系统利用双目视觉技术具有深度信息的特点，实时传送真实环境的信息至无人机控制系统，实现无人机飞行姿态调整、主动性目标追踪、悬停高度计算，使得无人机抓取成功率较高。

3.本发明所设计算法与传统仿射变换抓取算法不同，无大量的数学矩阵运算，充分利用图像灰度信息，降低了算法复杂度且易实现，缩减了程序运行时间，提高了无人机和目标物之间的位置容差，保证了抓取的准确率和高效性。

附图说明

图1 本发明系统各功能连接图；

图2本发明方法应用原理图；

图3本发明应用实例图。

图中标记：1.地面监控系统（参考附图1），11.数传单元，12.无线通信单元，13.电脑手机，2.飞行控制系统（参考附图1），21.定高单元，22.无人机飞行控制单元，23.飞行动力单元，3.自主抓取系统（参考附图1），31.双目视觉单元，32.图像处理单元，33.自主抓取控制单元。

具体实施方式

下面结合附图和实施例子对本发明作进一步详细的说明。本申请此处所描述的具体的实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

参照附图中图1，该系统包括地面监控系统1、飞机控制系统2和自主抓取系统3。为获得数据信息的传输和监测无人机的运行状态，所述地面监控系统1，包括数传单元11、无线通信单元12和电脑或手机客户端13；为了给无人机提供驱动力及控制无人机飞行状态，飞行控制系统2包括无人机悬停定高单元21、无人机飞行控制单元22、无人机飞行动力单元23；为获取物体信息实现自主抓取，自主抓取系统3包括双目视觉单元31、图像处理单元32、自主抓取控制单元33、抓取动作单元34。所述数传单元11为摄像头模块，其与无线通信单元12通过RTCP协议排线相连，将获取的视频信息以数据流的形式传递给无线通信单元12，无线通信单元12将其接收的数据通过无线网链路转发至电脑或手机客户端13，用于监测无人机整个飞行路径及环境；所述无线通信单元12与无人机飞行控制单元22通过SBUS协议排线相连接，用于向无人机系统发送飞行控制命令和接受无人机系统传回的状态数据信息；所述定高单元21通过IIC协议排线与无人机控制单元22相连，用于读取和发布无人机飞行高度控制命令；所述飞行动力单元23通过电子调速器ESC与无人机飞行控制单元22相连，用于控制无人机的四个旋翼转速；所述双目视觉单元31为双目摄像头，通过USB接口与图像处理单元32相连，将获取的两幅物体平面图像信息传递给图像处理单元32进行处理；所述图像处理单元32相连通过USART排线与无人机飞行控制单元22相连，图像处理单元32进行图像处理及相应飞机自身调整信息的发送，无人机飞行控制单元22则负责该数据的接收；所述自主抓取控制单元33通过IO口与无人机飞行控制单元22相连，用于控制抓取动作。

地面监控系统1搭载手机或电脑客户端13，主要将无线通信单元12发送的视频数据信息接收并显示出来，进而观测无人机在远端的飞行情况和抓取任务的完成度。

用于控制无人机飞行高度的定高单元21包括超声波模块和光流模块，超声波模块为HC-SR04，光流模块为PIX，光流处理器为STM32F407型号，将所测的高度数据通过IIC总线发送至无人机飞行控制单元22，实现无人机对高度的精确控制。

无人机飞行控制单元22为Pixhack V3，处理器型号为STM32F427，飞行动力单元为盘式无刷电机Q6L，无人机飞行控制单元22接收各个单元的数据进行融合处理，同时发布对飞行动力单元23和抓取动作单元34的控制命令，实现对无人机飞行状态的控制及自主抓取任务。

图像处理单元32为DJI Manifold，将双目视觉单元31采集的视频信息实时发送图像处理单元12，图像处理单元12实时进行复杂的图像处理，并发送处理完的数据至飞行控制单元22，飞行控制单元22则根据数据信息调整无人机飞行姿态。

抓取动作单元23为直流电机控制方式，具体的为直流推杆电机控制抓手张开闭合。

在本实施例中，上述无人机自主抓取系统的实现方法如下：

操作者通过操纵遥控控制端，无人机向目标物飞行过程中，摄像头能够捕获无人机的飞行位置信息，并通过数传单元11传送到电脑手机13，操作者实时跟踪无人机的飞行情况，完成无人机起飞、空中飞行、接近目标物、悬停目标物上空的任务，之后在电脑手机13中发布抓取任务指令。

无人机悬停于目标物上方后，利用本发明方法进行以下步骤：

S1、无人机起飞，通过两轴云台摄像机回传图像，若在回传图像中人工看到待抓取目标，接着便可以开启自主抓取系统3，无人机开始自主飞行。

S2、自主抓取系统3中的双目视觉单元31的左摄像机用于待抓取目标视频信息采集，图像处理单元32接收视频信息，将视频信息转换成帧图片并与其内部存储的待匹配图片进行SURF特征匹配，检测是否为待抓取目标，若不是待抓取目标，则自动关闭自主抓取系统3，切换至人工操作；若匹配成功，则进行抓取任务。

S3、若图像处理单元32匹配识别成功则对待抓取目标进行Canny算法轮廓检测，如附图中图2所示，基线距为两摄像机镜头中心之距离；相机焦距为f，像素点个数为n，图像处理单元32求解目标物边缘轮廓像素坐标

整个图像像素点坐标中最大值，记记为偏移量，计算

偏移量主要是用于调整无人机飞行位置，让其在被抓取物体正上方悬停，实现小范围目标位置寻找。

S4、利用双目视觉可以获取物体深度信息的特点，进行视觉深度检测，图像处理单元32求解目标物某点空间z坐标：

图像处理单元32求解物体深度值的最大值和最小值，将其均值化主要是为了获取飞机悬停高度。

S5、将S1、S2计算的和发送至无人机飞行控制单元22，无人机进行下述过程，式中a，b为微调系数

，

将和矢量化转换成，这可实现无人机在同一个平面内任意角度移动，当满足时，不再进行调整。

无人机依靠进行任意角度的姿态微调，飞行控制单元22检测超声波和光流定高单元21的发送值，将其与目标深度值进行比较，发送比较结果至飞行控制单元22，形成闭环控制，从而实现无人机的空间精确悬停。

S6、无人机完成抓取任务，终止自主抓取系统3，无人机上升至安全距离，切换成人工操作控制模式，完成自主抓取任务。

以上描述仅为本申请的较佳实施范例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中涉及的实施范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本申请中公开的但不限于具有类似功能的技术特征进行互相替换而形成的技术。

Claims (6)

1.一种无人机自主抓取控制系统，其特征在于，所述系统包括地面监控系统（1）、飞机控制系统（2）和自主抓取系统（3）；所述地面监控系统（1），包括数传单元（11）、无线通信单元（12）和电脑或手机客户端（13）；飞行控制系统（2）包括无人机悬停定高单元（21）、无人机飞行控制单元（22）、无人机飞行动力单元（23）；自主抓取系统（3）包括双目视觉单元（31）、图像处理单元（32）、自主抓取控制单元（33）、抓取动作单元（34）；所述数传单元（11）为摄像头模块，其与无线通信单元（12）通过RTCP协议排线相连；所述无线通信单元（12）与无人机飞行控制单元（22）通过SBUS协议排线相连接；所述定高单元（21）通过IIC协议排线与无人机控制单元（22）相连，所述飞行动力单元（23）通过电子调速器ESC与无人机飞行控制单元（22）相连；所述双目视觉单元（31）为双目摄像头，通过USB接口与图像处理单元（32）相连，所述图像处理单元（32）通过USART排线与无人机飞行控制单元（22）相连；所述自主抓取控制单元（33）通过IO口与无人机飞行控制单元（22）相连。

2.根据权利要求1所述的一种无人机自主抓取控制系统，其特征在于，所述地面监控系统（1）搭载手机或电脑客户端（13）。

3.根据权利要求1所述的一种无人机自主抓取控制系统，其特征在于，所述控制无人机飞行高度的定高单元（21）包括超声波模块和光流模块。

4.根据权利要求1所述的一种无人机自主抓取控制系统，其特征在于，所述图像处理单元（32）为图像处理模块。

5.根据权利要求1所述的一种无人机自主抓取控制系统，其特征在于，所述无人机飞行控制单元（22）为嵌入式架构。

6.一种无人机自主抓取控制方法，其特征在于，所述方法包括以下步骤：

S1、无人机起飞，通过两轴云台摄像机回传图像，通过无人机监控系统（1）人工操作使无人机飞向待抓取目标附近，若在回传图像中人工看到待抓取目标，接着便可以开启自主抓取系统3，无人机开始自主飞行；

S2、自主抓取系统3中的双目视觉单元（31）的左摄像机用于待抓取目标视频信息采集，图像处理单元（32）接收视频信息，将视频信息转换成帧图片并与其内部存储的待匹配图片进行SURF特征匹配，检测是否为待抓取目标，若不是待抓取目标，则自动关闭自主抓取系统（3），切换至人工操作；若匹配成功，则进行抓取任务；

S3、若图像处理单元（32）匹配识别成功则对待抓取目标进行Canny算法轮廓检测，基线距为两摄像机镜头中心之距离；相机焦距为f，像素点个数为n，图像处理单元（32）求解目标物边缘轮廓像素坐标，求解物体几何中心点坐标

整个图像像素点坐标中最大值，记记为偏移量，计算偏移量主要是用于调整无人机飞行位置，让其在被抓取物体正上方悬停，实现小范围目标位置寻找；

S4、利用双目视觉可以获取物体深度信息的特点，进行视觉深度检测，图像处理单元（32）求解目标物某点空间z坐标：

图像处理单元（32）求解物体深度值的最大值和最小值，将其均值化主要是为了获取飞机悬停高度；

S5、将S1、S2计算的和送至无人机飞行控制单元（22），无人机进行下述过程，式中a，b为微调系数

，

将和矢量化转换成，这可实现无人机在同一个平面内任意角度移动，当满足时，不再进行调整；

无人机依靠进行任意角度的姿态微调，飞行控制单元（22）检测超声波和光流定高单元（21）的发送值，将其与目标深度值进行比较，发送比较结果至飞行控制单元22，形成闭环控制，从而实现无人机的空间精确悬停；

S6、无人机完成抓取任务，终止自主抓取系统（3），无人机上升至安全距离，切换成人工操作控制模式，完成自主抓取任务。