CN109298723A - 一种车载无人机精准降落方法和系统 - Google Patents

Abstract

本发明公开了一种车载无人机精准降落方法和系统，所述方法包括以下步骤：遥控终端接收返航指令发送至无人机，同时发送所述车辆当前的位置信息；无人机根据所述位置信息飞行到所述位置一定范围以内，拍摄包含停机坪的图像数据发送至遥控终端；所述停机坪上设有无人机定位标记；遥控终端接收图像数据，对所述定位标记进行识别，根据定位标记识别结果向无人机发送控制指令；无人机根据所述控制指令进行移动或降落。本发明将GPS定位信息和基于深度学习的目标识别相结合，能够有效提高无人机降落的精准度。

Description

一种车载无人机精准降落方法和系统

技术领域

本公开属于无人机控制技术领域，尤其涉及一种车载无人机精准降落的方法和系统。

背景技术

无人机是利用无线电遥控设备和自备的程序控制装置操纵的无人驾驶飞行器。现如今无人机被广泛应用到测绘、巡航、环境监测、快递投放等多个领域，提高无人机应用的智能化、可靠性以及便捷性意义重大。

无人机的精准降落是影响现阶段无人机在各行业应用发展的重要因素。针对无人机的自动降落，现有基于全球定位系统(GPS)导航的自动降落无人机，但是不做特殊处理的GPS定位精度仅能达到10m，误差较大，而且GPS信号在遮挡物较多的区域，比如建筑物密集或森林，会造成误差增大甚至信号丢失；甚至会受到恶意的卫星定位信号干扰而降落到错误地点；专业级高精度GPS设备成本昂贵，不具有经济实用性。另一种是基于电磁保持自动定位的车载无人机，可以使得车主在极端环境下可以不必下车评估周围环境；但电磁发射装置需要不断发射电磁信号功耗大，对供电系统要求高，而且跟踪和定位时受外界电磁干扰严重。

发明内容

为克服上述现有技术的不足，本公开提供了一种车载无人机精准降落方法和系统，所述方法通过GPS定位信息实现初步定位，然后结合机器学习目标检测从而实现无人机能够远距离作业并能够精准降落。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

一种车载无人机精准降落方法，包括以下步骤：

遥控终端接收返航指令发送至无人机，同时发送所述车辆当前的位置信息；

无人机根据所述位置信息飞行到所述位置一定范围以内，拍摄包含停机坪的图像数据发送至遥控终端；所述停机坪上设有无人机定位标记；

遥控终端接收图像数据，对所述定位标记进行识别，根据定位标记识别结果向无人机发送控制指令；无人机根据所述控制指令进行移动或降落。

进一步地，所述定位标记包括位置定位标记和方向定位标记；所述遥控终端根据位置定位标记判断所述无人机需水平移动的方位和距离，根据方向定位标记判断所述无人机水平旋转的角度，生成控制指令发送至无人机。

进一步地，所述无人机被配置为实时拍摄图像数据，或，进行每次移动后均拍摄新的图像数据发送至所述遥控终端。

进一步地，所述定位标记包括位置定位标记和方向定位标记；所述遥控终端根据定位标记识别结果向无人机发送控制指令包括：

(1)所述遥控终端识别所述图像中的位置定位标记和方向定位标记；

(2)判断所述位置定位标记是否在图像正中心，若在，执行步骤(4)；若不在，根据所述位置定位标记判断无人机水平移动的方位和距离，生成控制指令发送至无人机；

(3)接收下一幅图像重复步骤(1)-步骤(2)，直至所述位置定位标记位于图像正中心；

(4)判断无人机一端方向与所述方向定位标记是否一致，若一致，向无人机发送降落的控制指令；若不一致，根据所述方向定位标记判断无人机水平旋转的角度，并生成控制指令发送至无人机；

(5)接收下一幅图像重复步骤(4)，直至所述无人机一端方向与所述方向定位标记一致。

进一步地，采用基于神经网络的深度学习方法进行定位标记目标检测：

通过无人机从不同角度和高度采集包含停机坪的图像，并对停机坪位置进行标记，得到训练图像集；

选择神经网络深度学习框架，采用所述训练图像集进行学习，得到所述神经网络对应的权重文件；

将所述神经网络的配置文件及权重通过NCNN加速框架移植到遥控终端；

基于所述神经网络对无人机下降时采集的图像进行停机坪目标识别。

一个或多个实施例提供了一种车载无人机精准降落系统，包括：无人机、遥控终端和带有定位标记的停机坪的车载停机箱；

遥控终端，接收用户输入的返航指令发送至无人机，同时发送车辆当前的位置信息；接收无人机发送的图像数据，识别所述图像上的定位标记，根据所述定位标记生成控制指令并发送至无人机；

无人机，接收返航指令和车辆当前的位置信息，控制无人机飞行至所述位置一定范围以内，拍摄包含停机坪的图像数据发送至遥控终端；以及，接收遥控终端发送的控制指令，控制无人机移动和降落。

进一步地，所述无人机飞行至所述位置一定范围以内后执行降落，当所述无人机降落至距离地面一定高度时，调整摄像头方位角，使之垂直向下，控制摄像装置每隔设定时间间隔拍摄图像。

进一步地，所述车载停机箱包括滑动盖，所述遥控终端向无人机发送返航指令的同时，还向所述停机箱发送打开指令；无人机返航结束后，向停机箱装备发送关闭指令。

进一步地，所述无人机被配置为实时拍摄图像数据，或，进行每次移动后均拍摄新的图像数据发送至所述遥控终端。

进一步地，所述定位标记包括位置定位标记和方向定位标记；所述遥控终端根据定位标记识别结果向无人机发送控制指令包括：

(1)所述遥控终端识别所述图像中的位置定位标记和方向定位标记；

(2)判断所述位置定位标记是否在图像正中心，若在，执行步骤(4)；若不在，根据所述位置定位标记判断无人机水平移动的方位和距离，生成控制指令发送至无人机；

(3)接收下一幅图像重复步骤(1)-步骤(2)，直至所述位置定位标记位于图像正中心；

(4)判断无人机一端方向与所述方向定位标记是否一致，若一致，向无人机发送降落的控制指令；若不一致，根据所述方向定位标记判断无人机水平旋转的角度，并生成控制指令发送至无人机；

(5)接收下一幅图像重复步骤(4)，直至所述无人机一端方向与所述方向定位标记一致。

以上一个或多个技术方案存在以下有益效果：

1、对于车载无人机的精准降落，通过GPS定位信息结合机器学习目标检测从而实现无人机能够远距离作业并能够精准降落。相比单纯的图像识别能够扩大飞行任务执行的空间范围，相比单纯GPS定位技术自动降落的无人机能够更加精准降落，并且能够减少电磁信号干扰影响，避免炸机坠落。

2、由于机器学习的目标检测训练成本低，对硬件资源要求低，功耗小，因此将机器学习目标检测技术应用到无人机自动降落功能上，能够实现无人机远距离作业和精准降落更低成本、更高效率、更加智能化和更加可靠。

3、车载无人机在行车途中依靠GPS定位和目标检测技术实现自动降落，用户可以不用在极端环境下下车查看周围情况。

附图说明

构成本公开的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例一中无人机现场工作原理图；

图2为本公开实施例一中无人机返程降落过程工作原理流程图；

图3为本公开实施例一无人机降落过程中基于GPS定位和目标检测阶段示意图。

图4为无人机摄像器件下降过程中拍摄到的照片示例图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种车载无人机精准降落方法，应用于无人机控制系统，所述系统包括无人机1、遥控终端2和停机箱3，如图1所示。

无人机1，包括电动旋翼4、机身5、摄像装置6和飞行控制器。所述摄像装置位于机身底部，通过信号与飞行控制器连接，飞行控制器能够实时地向遥控终端传送照片和视频信息；

遥控终端2，包括遥控手柄9和无人机飞行状态控制APP10，控制无人机的飞行状态、摄像功能，以及停机箱3顶部的滑动盖7打开和关闭。

停机箱3装备位于车顶或车后，包括壳体，所述壳体顶端设有能够根据遥控终端发送的指令进行自动开关的自动滑动盖7，所述壳体内包括停机坪8。图1中所示的停机箱3为滑动盖7打开的状态。所述停机坪上设有无人机定位标记。其中，所述定位标记为“H”形，且“H”形开口一侧标有△符号。

如图2所示，所述车载无人机精准降落方法包括以下步骤：

步骤1：遥控终端接收用户输入的返航指令发送至无人机飞行控制器，同时发送所述车辆当前的位置信息；

步骤2：遥控终端向停机箱装备发送打开指令；

步骤3：停机箱设备控制滑动盖打开并向所述遥控终端执行反馈；

步骤4：无人机移动和降落；

步骤5：遥控终端向停机箱装备发送关闭指令；

步骤6：停机箱设备控制滑动盖关闭并向所述遥控终端执行反馈。

所述步骤4具体包括：

步骤4.1：所述飞行控制器接收所述位置信息，控制所述无人机飞行到所述位置一定范围以内(如图3所示)，并进行降落；

步骤4.2：当所述无人机降落至距离地面一定高度时，调整摄像头方位角，使之垂直向下，并控制摄像装置拍摄图像数据发送至遥控终端；

步骤4.3：所述遥控终端接收图像数据，对无人机定位标记进行识别；根据定位标记识别结果向无人机发送控制指令，控制无人机移动和降落；其中，所述无人机被配置为实时拍摄图像数据，或，进行每次移动后均拍摄新的图像数据发送至所述遥控终端，重复执行步骤4.3；其中，实时拍摄即不断的拍摄最新图像并进行目标识别，能够保证在车辆移动的情况下，无人机也能够跟随移动的车辆并降落。

所述定位标记包括位置定位标记和方向定位标记。无人机降落过程中不断获取新的包含停机坪的图像数据，进行停机坪识别，保证无人机的精准降落，所述步骤4.3进一步包括：

步骤4.3.1：所述遥控终端识别所述图像中的位置定位标记和方向定位标记；

步骤4.3.2：判断所述位置定位标记是否在图像正中心，若在，执行步骤4.3.4；若不在，根据所述位置定位标记判断无人机需移动的方位和距离，生成控制指令发送至无人机；具体地，根据检测到的停机坪得到目标框，根据所述目标框是否在画面正中间来判断无人机是否在目标位置正中间，并根据目标框距离画面上下(左右)的距离来确定移动的距离和方位。

步骤4.3.3：接收下一幅图像重复步骤4.3.1-步骤4.3.2，直至所述位置定位标记位于图像正中心；

步骤4.3.4：判断无人机一端方向与所述方向定位标记是否一致，若一致，向无人机发送降落的控制指令；若不一致，根据所述方向定位标记判断无人机水平旋转的角度，并生成控制指令发送至无人机；

步骤4.3.5：接收下一幅图像重复步骤4.3.4，直至所述无人机一端方向与所述方向定位标记一致。

所述步骤4中，对无人机定位标记进行识别采用基于深度学习的目标检测方法，具体原理如下：

步骤1：利用无人机采集带有停机坪的图像，并针对采集来的图像进行标记，框选出停机坪位置及其类别，作为深度学习的训练集与测试集；

步骤2：选择深度学习框架、构建神经网络并完成训练；比如使用Darknet框架下的Yolov2-tiny作为基础网络，考虑移动端的计算力，以及识别速度，需要对其层数及参数作出调整，不断优化训练过程，最终完成训练得到网络输出的若干权重，在测试集上对若干权重进行测试并选择表现最好的权重文件；

步骤3：最后将网络与权重移植到移动端，受移动端的计算力所限，选择NCNN作为移动端推理过程的加速框架，并将网络配置文件及权重转换为NCNN所需要的格式，将NCNN编译后形成动态链接库，并通过JNI将Android程序与NCNN API对接，从而实现在Android上控制识别过程，并通过训练得到的网络及权重完成对停机坪的目标检测任务。

当训练好的网络和权重移植到移动控制端后，由移动端来检测控制无人机下落过程中停机坪位置检测。

特别的，当车处于行驶状态：无人机拍摄照片传送到移动控制端，移动端通过植入的深度学习网络模型和权重来识别物体，并使用红色方框对目标物体进行框选；

根据方框来确定停机坪是否位于无人机正下方，若位于正下方则再判断方位是否正确，否则根据方框的四边距离画面的距离之差来确定无人机的移动方位和距离；

当车处于移动状态，不断检测方框中的内容是否为之前的目标物体，通过不断拍摄照片来实时确定目标位置，从而让无人机与行车保持相对静止。

本实施例中，所述位置定位标记为“H”形，方向定位标记为“△”形，结合图像识别结果，控制无人机水平移动，直至“H”标志位于图像正中心，控制无人机水平旋转，直至无人机的前方与“△”所在方向一致。即“H”字的两条边对应无人机的降落腿两条边，通过不断调整从而使无人机能够精准下降至停机箱的停机坪中。

图4为无人机在下降过程中拍摄的一张照片示例，可见目标检测到的停机坪位于拍摄照片的左下角，则无人机飞行状态控制APP针对如图的拍摄结果给出相应的指令控制无人机向后右方移动。以此类推，不断调整无人机的位置。

为了增强无人机在空中通过摄像器件对停机箱定位槽的检测辨识度，停机坪的颜色尽量选择对比度较强的颜色，比如停机坪采用亮黄色，“H”字标识和标识前后的△符号采用黑色。

本实施例将GPS定位与机器学习目标检测相结合，当无人机在一定范围之外时根据GPS定位信息进行返航，当无人机进入一定范围之内后主要依靠机器学习目标检测进行精准定位降落，既克服了GPS定位的不精确又解决了无人机飞行范围太小的问题。

关于信号选择，通常来说大部分的设备都是用2.4G的通信频率，比如手机等，为了减少干扰，应采用5.8G的频率信号进行传输数据相对来说对无人机的操控更好些。

采用本实施例的无人机精准降落方法，当无人机在一定范围之外的远处执行完任务后，由遥控器上的无人机飞行状态控制APP发出返航降落命令，并为无人机提供停机箱GPS定位信息，无人机接收到命令后根据GPS定位信息返航飞行，停机箱接收到命令后自动打开箱子顶部的滑动盖。当无人机飞到一定范围之内后，其摄像器件将不断拍摄照片传输到无人机飞行状态控制APP上，APP中的目标检测程序会根据拍摄到的照片的方向和角度不断控制无人机向目标降落点的正上空飞行，并在下降过程中不断拍摄照片传输到无人机飞行控制APP上，不断调整无人机的位置使无人机能够精准下落到停机坪上。

实施例二

本实施例的目的是提供一种车载无人机精准降落系统。

一种车载无人机精准降落系统，包括：无人机、遥控终端和带有定位标记的停机坪的车载停机箱；

遥控终端，接收用户输入的返航指令发送至无人机飞行控制器，同时发送车辆当前的位置信息；接收无人机发送的图像数据，识别所述图像上的定位标记，根据所述定位标记生成控制指令并发送至无人机飞行控制器；

无人机，包括摄像装置和飞行控制器，所述飞行控制器接收返航指令和车辆当前的位置信息，控制无人机飞行至所述位置一定范围以内，控制摄像装置拍摄包含停机坪的图像数据发送至遥控终端；以及，接收遥控终端发送的控制指令，控制无人机移动或降落，其中，所述无人机每次移动后均控制摄像装置拍摄新的图像数据。

以上一个或多个实施例具有以下技术效果：

1、对于车载无人机的精准降落，通过GPS定位信息结合机器学习目标检测从而实现无人机能够远距离作业并能够精准降落。相比单纯的图像识别能够扩大飞行任务执行的空间范围，相比单纯GPS定位技术自动降落的无人机能够更加精准降落，并且能够减少电磁信号干扰影响，避免炸机坠落。

2、由于机器学习的目标检测训练成本低，对硬件资源要求低，功耗小，因此将机器学习目标检测技术应用到无人机自动降落功能上，能够实现无人机远距离作业和精准降落更低成本、更高效率、更加智能化和更加可靠。

3、车载无人机在行车途中依靠GPS定位和目标检测技术实现自动降落，用户可以不用在极端环境下下车查看周围情况。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本申请的具体实施方式进行了描述，但并非对本申请保护范围的限制，所属领域技术人员应该明白，在本申请的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本申请的保护范围以内。

Claims (10)

1.一种车载无人机精准降落方法，其特征在于，包括以下步骤：

遥控终端接收返航指令发送至无人机，同时发送所述车辆当前的位置信息；

无人机根据所述位置信息飞行到所述位置一定范围以内，拍摄包含停机坪的图像数据发送至遥控终端；所述停机坪上设有无人机定位标记；

遥控终端接收图像数据，对所述定位标记进行识别，根据定位标记识别结果向无人机发送控制指令；无人机根据所述控制指令进行移动或降落。

2.如权利要求1所述的一种车载无人机精准降落方法，其特征在于，所述定位标记包括位置定位标记和方向定位标记；所述遥控终端根据位置定位标记判断所述无人机需水平移动的方位和距离，根据方向定位标记判断所述无人机水平旋转的角度，生成控制指令发送至无人机。

3.如权利要求1所述的一种车载无人机精准降落方法，其特征在于，所述无人机被配置为实时拍摄图像数据，或，进行每次移动后均拍摄新的图像数据发送至所述遥控终端。

4.如权利要求3所述的一种车载无人机精准降落方法，其特征在于，所述定位标记包括位置定位标记和方向定位标记；所述遥控终端根据定位标记识别结果向无人机发送控制指令包括：

(1)所述遥控终端识别所述图像中的位置定位标记和方向定位标记；

(2)判断所述位置定位标记是否在图像正中心，若在，执行步骤(4)；若不在，根据所述位置定位标记判断无人机水平移动的方位和距离，生成控制指令发送至无人机；

(3)接收下一幅图像重复步骤(1)-步骤(2)，直至所述位置定位标记位于图像正中心；

(4)判断无人机一端方向与所述方向定位标记是否一致，若一致，向无人机发送降落的控制指令；若不一致，根据所述方向定位标记判断无人机水平旋转的角度，并生成控制指令发送至无人机；

(5)接收下一幅图像重复步骤(4)，直至所述无人机一端方向与所述方向定位标记一致。

5.如权利要求1所述的一种车载无人机精准降落方法，其特征在于，采用基于神经网络的深度学习方法进行定位标记目标检测：

通过无人机从不同角度和高度采集包含停机坪的图像，并对停机坪位置进行标记，得到训练图像集；

选择神经网络深度学习框架，采用所述训练图像集进行学习，得到所述神经网络对应的权重文件；

将所述神经网络的配置文件及权重通过NCNN加速框架移植到遥控终端；

基于所述神经网络对无人机下降时采集的图像进行停机坪目标识别。

6.一种车载无人机精准降落系统，其特征在于，包括：无人机、遥控终端和带有定位标记的停机坪的车载停机箱；

遥控终端，接收用户输入的返航指令发送至无人机，同时发送车辆当前的位置信息；接收无人机发送的图像数据，识别所述图像上的定位标记，根据所述定位标记生成控制指令并发送至无人机；

无人机，接收返航指令和车辆当前的位置信息，控制无人机飞行至所述位置一定范围以内，拍摄包含停机坪的图像数据发送至遥控终端；以及，接收遥控终端发送的控制指令，控制无人机移动或降落。

7.如权利要求6所述的一种车载无人机精准降落系统，其特征在于，所述无人机飞行至所述位置一定范围以内后执行降落，当所述无人机降落至距离地面一定高度时，调整摄像头方位角，使之垂直向下，控制摄像装置每隔设定时间间隔拍摄图像。

8.如权利要求6所述的一种车载无人机精准降落系统，其特征在于，所述车载停机箱包括滑动盖，所述遥控终端向无人机发送返航指令的同时，还向所述停机箱发送打开指令；无人机返航结束后，向停机箱装备发送关闭指令。

9.如权利要求6所述的一种车载无人机精准降落系统，其特征在于，所述无人机被配置为实时拍摄图像数据，或，进行每次移动后均拍摄新的图像数据发送至所述遥控终端。

10.如权利要求9所述的一种车载无人机精准降落系统，其特征在于，所述定位标记包括位置定位标记和方向定位标记；所述遥控终端根据定位标记识别结果向无人机发送控制指令包括：

(1)所述遥控终端识别所述图像中的位置定位标记和方向定位标记；

(2)判断所述位置定位标记是否在图像正中心，若在，执行步骤(4)；若不在，根据所述位置定位标记判断无人机水平移动的方位和距离，生成控制指令发送至无人机；

(3)接收下一幅图像重复步骤(1)-步骤(2)，直至所述位置定位标记位于图像正中心；

(4)判断无人机一端方向与所述方向定位标记是否一致，若一致，向无人机发送降落的控制指令；若不一致，根据所述方向定位标记判断无人机水平旋转的角度，并生成控制指令发送至无人机；

(5)接收下一幅图像重复步骤(4)，直至所述无人机一端方向与所述方向定位标记一致。