CN110989661A - 一种基于多个定位二维码的无人机精准降落方法及系统 - Google Patents

Abstract

本公开公开了一种基于计算机视觉的无人机精准降落方法及系统，包括：制作目标识别图像，所述目标识别图像包括大中小三种尺寸的二维码标签，控制无人机处于在第一识别高度，识别其相对于大尺寸和中尺寸二维码标签的水平距离偏移值与正方向角度偏移值，并判断所述偏移值是否满足第一误差范围值，调整水平距离和正方向角度，执行降落至第二识别高度；无人机降落至第二识别高度，对中尺寸和小尺寸二维码标签进行识别，根据识别出的二维码位置以及偏移量，判断风的等级并且调整无人机的水平位置，执行降落至目标降落点。保证图像识别时的性能平衡，在降落时解决风扰的影响，保证了整个降落过程高精度、稳定性和可靠性。

Description

一种基于多个定位二维码的无人机精准降落方法及系统

技术领域

本公开涉及无人机精准降落技术领域，特别是涉及一种基于多个定位二维码的无人机精准降落方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

常规的无人机降落技术依靠GPS定位辅助降落，但是由于GPS定位误差较大，而且GPS信号在遮挡物较多的区域，穿透力较差，导致误差增大或信号丢失；而使用深度学习算法进行图像识别实现降落的方法，虽然避免了GPS定位精度的问题，但是对于无法搭载开发板的无人机，只能在移动设备上进行图像识别，那么必然造成一定的时间延迟，而且对移动设备的性能、负载压力有很大的要求。

其次，无人机在飞行时易受到风的影响，并且随着风级的增大，无人机偏移量越大，对无人机位置的调整也应随着风等级的变化，灵活选择不同的调整方案，而目前图像识别算法无法解决无人机受风扰的问题。

发明内容

为了解决上述问题，本公开提出了一种基于多个定位二维码的无人机精准降落方法及系统，采用二维码标签，在无人机不同降落高度上，通过对不同位置、不同尺寸的二维码标签进行识别，判断无人机偏移量以及风速的等级，采用不同的调整方案去无人机位置进行调整，减轻移动设备在实时处理图形时的负担，结合多个不同位置、不同尺寸的二维码标签提高降落的精度，解决无人机降落时的风扰问题来提高精准降落的稳定性和可靠性。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于多个定位二维码的无人机精准降落方法，包括：

制作目标识别图像，将其设置于目标降落点，所述目标识别图像包括大中小三种尺寸的二维码标签；

调整摄像头使得目标识别图像在拍摄范围内，控制无人机处于在第一识别高度，识别其相对于大尺寸和中尺寸二维码标签的水平距离偏移值与正方向角度偏移值，并判断所述偏移值是否满足第一误差范围值，调整水平距离和正方向角度，执行降落至第二识别高度；

无人机降落至第二识别高度，对中尺寸和小尺寸二维码标签进行识别，根据识别出的二维码位置以及偏移量，判断风的等级并且调整无人机的水平位置，执行降落至目标将降落点。

作为可能的一些实现方式，所述目标识别图像为矩形，包括4个小尺寸二维码标签设置于矩形图像的四角上，1个中尺寸二维码标签设置于矩形图像正中间，1个大尺寸二维码标签与中尺寸二维码标签依靠设置。

作为可能的一些实现方式，所述对中尺寸和小尺寸二维码标签进行识别包括：

识别到小尺寸二维码标签但中尺寸二维码标签的偏移量超出预设的第二误差范围值，则判断风等级为初级，并且扩大中尺寸二维码标签与无人机屏幕中心的X、Y方向的像素差值，采用PID算法调节无人机水平位置，执行降落操作。

作为可能的一些实现方式，所述对中尺寸和小尺寸二维码标签进行识别包括：

识别到中尺寸二维码标签但是小尺寸二维码标签未全部识别出，则判断风等级为中级，并且计算中尺寸二维码标签与无人机屏幕中心的X、Y方向的像素差值，以及计算小尺寸二维码标签中距离屏幕中心最远的二维码标签与屏幕中心的X、Y方向的像素差值，将两个像素差值相加并扩大，采用PID算法调节无人机水平位置，执行降落操作。

作为可能的一些实现方式，所述对中尺寸和小尺寸二维码标签进行识别包括：

未识别到中尺寸二维码标签，并且识别到四角上的某个小尺寸二维码标签，则判断风等级为高级，并且计算当前识别出的小尺寸二维码标签与屏幕中心的X、Y方向的像素差值，采用PID算法调节无人机水平位置，直至无人机移动到中尺寸二维码标签所在位置，执行降落操作。

作为可能的一些实现方式，无人机拍摄视野中完全失去目标识别图像时，重新计算PID的值，无人机向最后记录的位置移动，同时上升高度，重新找到目标识别图像；若未在规定时间内找到目标识别图像，借助GPS调整无人机到目标识别图像所在区域。

第二方面，本公开提供一种基于多个定位二维码的无人机精准降落系统，包括，

图像绘制模块，其用于制作目标识别图像，将其设置于目标降落点，所述目标识别图像包括大中小三种尺寸的二维码标签；

第一调整模块，其用于调整摄像头使得目标识别图像在拍摄范围内，控制无人机处于在第一识别高度，识别其相对于大尺寸和中尺寸二维码标签的水平距离偏移值与正方向角度偏移值，并判断所述偏移值是否满足第一误差范围值，调整水平距离和正方向角度，执行降落至第二识别高度；

第二调整模块，其用于无人机降落至第二识别高度，对中尺寸和小尺寸二维码标签进行识别，根据识别出的二维码位置以及偏移量，判断风的等级并且调整无人机的水平位置，执行降落至目标将降落点。

与现有技术相比，本公开的有益效果为：

本公开采用多个不同尺寸的二维码标签，一是解决风扰时提供无人机的水平偏移量，二是随着无人机高度的下降，摄像头视野范围缩小，小面积的二维码可以完整的出现在视野里；

根据高度的不同，把整个降落距离分为多个区间，并选择不同的垂直降落速度；并根据高度的不同，选择识别不同尺寸的二维标签，保证随着高度的下降，精度逐渐提高，保证图像识别的稳定性；

在无人机不同降落高度上，通过对不同位置、不同尺寸的二维码标签进行识别，判断无人机偏移量以及风速的等级，采用不同的调整方案去无人机位置进行调整，解决无人机降落时的风扰问题，减轻移动设备在实时处理图形时的负担，保证了整个降落过程高精度、稳定性和可靠性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为一种基于多个定位二维码的无人机精准降落方法流程图；

图2为停机坪目标识别图像示意图；

图3为精准降落的控制流程示意图；

图4为五个二维码都能识别时的控制流程图；

图5为除正中间二维码外部分二维码能识别时的控制流程图；

图6为仅四角部分二维码能识别时的控制流程图；

图7为丢失停机坪视野后的控制流程示意图；

图8为AprilTags二维码示意图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

AprilTags是一种视觉基准系统，适用于各种任务，包括增强现实，机器人和相机校准。可以从普通打印机创建目标，AprilTags检测软件计算标签相对于摄像机的精确3D位置、方向和标识。AprilTags库在C中实现，没有外部依赖项。它可以轻松地包含在其他应用程序中，也可以移植到嵌入式设备中。即使在移动设备级别的处理器上也可以实现实时性能。

实施例1

如图1所示，本公开提供一种基于多个定位二维码的无人机精准降落方法，包括：

步骤一：制作目标识别图像，将其设置于目标降落点，即停机坪内；所述目标识别图像包括多个二维码标签；

其中，所述二维码标签包括大中小三种尺寸的二维码，本实施例中二维码标签采用AprilTags标签，设有6个，4个小尺寸二维码设置于图像的四个角上，1个中尺寸二维码设置于图像正中间，1个大尺寸二维码与中尺寸二维码依靠设置。

如图2所示，四角的4个小尺寸二维码大小为4cm*4cm，中间大尺寸二维码为30cm*30cm，其边上的中尺寸二维码大小为8cm*8cm，图案是黑色，背景为亮黄色，又根据无人机所在高度，识别不同的二维码。大尺寸二维码的作用是引导无人机从10米以上空中降落到3米左右高度；中小尺寸二维码的作用是引导无人机从3米降落至停机坪上。

停机坪正中间的AprilTags标签是主要的识别标签，四角上的标签较中间的标签要小原因是：一是在解决风扰时提供无人机的水平偏移量，二是随着无人机高度的下降，摄像头视野范围缩小，小面积的标签可以完整的出现在视野里。

停机坪的颜色不唯一，尽量选择对比度较强的颜色，比如本实施中停机坪采用亮黄色，增强无人机在空中通过摄像器件对停机箱定位槽的检测辨识度，，在特殊情况下，无人机必须手动降落时，显眼的停机坪设计可以更好的辅助飞行。

步骤二：采用棋盘格法对摄像头参数进行校准，并调整摄像头使得目标识别图像出现在摄像头视野范围内；

在识别之前需要使用棋盘格法对高清相机进行校准，获取包括相机的焦距、畸变参数在内的内参，通过无人机云台获取视频流，利用图像处理算法检测识别图像中的AprilTags标签，利用校准好的相机参数，结合AprilTags标签进行停机坪的相对定位，根据返回的位姿结合Eigen库计算出相对于相机的旋转角度。

使用AprilTags标签是提高降落精准度的关键，主要过程为输入摄像头拍摄的含有二维码标签的彩色图像，对图像进行滤波、去噪、计算像素的梯度以聚类提取边缘、拟合边缘线，为边缘线添加从暗区指向明区的向量，对边缘线进行连接得到quad回路，判断quad回路并解码，获取相机参数，识别出二维码ID以及旋转角度，构建姿态数据的PnP方程，求解得到二维码坐标系在成像平面坐标系的位姿。

步骤三：控制无人机处于在第一识别高度，识别其相对于大尺寸和中尺寸二维码标签的水平距离偏移值与正方向角度偏移值，并判断所述偏移值是否满足第一误差范围值，调整水平距离和正方向角度，执行降落至第二识别高度；

本实施例中，当无人机至停机坪的上空时，将摄像头调整至向下方向，使得停机坪出现在摄像头视野范围内，把无人机降落高度分为10m-7m、7m-5m、5m-3m、3m-2m、2m-1m、1m-0.5m，对应的下降速度分别为1m/s、0.6m/s、0.4m/s、0.3m/s、0.2m/s、0.4m/s。

控制无人机处于在第一识别高度开始识别，第一识别高度设为，无人机垂直距离大于3m小于10m，无人机识别目标识别图形中的大尺寸二维码。当开始返回识别结果时，无人机悬停在当前高度，比较识别结果和预设误差值，通过PID算法进行水平方向的位置调整，比较当前图像识别获取的水平距离是否满足误差范围，若满足设定值，执行降落操作；若不满足，悬停在当前位置，调整水平距离，直到满足误差范围；

其中，在5m-3m这个区域时，无人机已经可以识别到停机坪目标识别图形中的大尺寸和中尺寸二维码，根据返回的坐标计算出角度，进行正方向角度的调整，正方向角度最小误差为10°-30°。

在该阶段，将无人机垂直距离分为多个区间范围，所述多个区间范围内随着高度的降低，无人机下降速度变小。

PID算法接收的值是无人机与基于屏幕像素坐标的二维码的水平像素差值，通过PID调节使之趋近于规定误差且保持稳定。

比例部分P：增加比例系数可加快系统的响应速度，减小稳态误差；但比例系数太大会影响系统的稳定性。

微分部分D：微分时间常数越大，微分作用越强。微分作用能够反映反映误差信号的变化速度。变化速度越大，微分作用越强，从而有助于减小震荡，增加系统的稳定性。但是。微分作用对高频误差信号(不管幅值大小)很敏感。如果系统存在高频小幅值的噪音，则它形成的微分作用可能会很大，这是不希望出现的。

积分部分I：积分时间常数越小，积分作用越强。积分控制作用可以消除系统的稳态误差；但积分作用太大，会使系统的稳定性下降。

步骤四：无人机降落至第二识别高度，根据识别出的中尺寸和小尺寸二维码的位置以及偏移量，判断风的等级并且调整无人机的水平位置，执行降落至目标降落点。

如果中尺寸和小尺寸二维码的位置以及偏移量，未超过预设的第二误差值，则根据五个二维码当前状态重新计算误差值；若超出，则调整无人机的水平位置。

无人机落到3m以下时，可以识别到正中间中尺寸和四角小尺寸的AprilTags二维码标签，在基本的降落操作基础上新增了抗风扰的能力。假设无人机是在适宜的条件下进行飞机微调，理论上无人机通过处理返回的识别结果从高空开始降落时，无人机相对于停机坪的偏差值是在一个可预测的一定范围内的，那么停机坪四角的二维码所返回的水平位移和位姿都是可接受范围内的，如果风影响了无人机微调，五个AprilTags在屏幕坐标中产生了超过预设的偏差值，则认为无人机受到了风等因素的干扰，根据识别到的二维码的位置和偏移量来判断风的等级并且调整无人机继续下降。

所述步骤四中，如图4所示，无人机拍摄的图像中，识别到小尺寸二维码但中尺寸二维码的偏移量超出预设的误差范围值，则判断风等级为初级，并且扩大中尺寸二维码与无人机屏幕中心的X、Y方向的像素差值，采用PID算法调节无人机水平位置，执行降落操作。

所述步骤四中，如图5所示，无人机拍摄的图像中，识别到中尺寸二维码但是小尺寸二维码未全部识别出，则判断风等级为中级，并且计算中尺寸二维码与无人机屏幕中心的X、Y方向的像素差值，以及计算小尺寸二维码中距离屏幕中心最远的二维码与屏幕中心的X、Y方向的像素差值，将两个像素差值相加并扩大，采用PID算法调节无人机水平位置，执行降落操作。

所述步骤四中，如图6所示，无人机拍摄的图像中，未识别到中尺寸二维码，并且识别到四角上的某个小尺寸二维码，则判断风等级为高级，并且计算当前识别出的小尺寸二维码与屏幕中心的X、Y方向的像素差值，采用PID算法调节无人机水平位置，直到把无人机移动到停机坪中间的AprilTags标签的附近，执行降落操作。

在无人机在降落过程中在会一直记录停机坪在屏幕中的位置，如果风速过大导致无人机视野中完全失去停机坪的位置时，如图7所示，重新计算PID的值，无人机向最后记录的位置移动，同时上升高度，重新找到停机坪；若未在规定时间内找到停机坪，借助GPS调整无人机到停机坪可能区域。

步骤五：通过上述步骤，不断调整水平位移和正方向角度，根据高度使用不同的垂直速度，实现无人机的精准降落。

实施例2

本公开提供一种基于多个定位二维码的无人机精准降落系统，包括，

图像绘制模块，其用于制作目标识别图像，将其设置于目标降落点，所述目标识别图像包括大中小三种尺寸的二维码标签；

第一调整模块，其用于调整摄像头使得目标识别图像在拍摄范围内，控制无人机处于在第一识别高度，识别其相对于大尺寸和中尺寸二维码标签的水平距离偏移值与正方向角度偏移值，并判断所述偏移值是否满足第一误差范围值，调整水平距离和正方向角度，执行降落至第二识别高度；

第二调整模块，其用于无人机降落至第二识别高度，对中尺寸和小尺寸二维码标签进行识别，根据识别出的二维码位置以及偏移量，判断风的等级并且调整无人机的水平位置，执行降落至目标将降落点。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于多个定位二维码的无人机精准降落方法，其特征在于，包括：

制作目标识别图像，将其设置于目标降落点，所述目标识别图像包括大中小三种尺寸的二维码标签；

调整摄像头使得目标识别图像在拍摄范围内，控制无人机处于在第一识别高度，识别其相对于大尺寸和中尺寸二维码标签的水平距离偏移值与正方向角度偏移值，并判断所述偏移值是否满足第一误差范围值，调整水平距离和正方向角度，执行降落至第二识别高度；

无人机降落至第二识别高度，对中尺寸和小尺寸二维码标签进行识别，根据识别出的二维码位置以及偏移量，判断风的等级并且调整无人机的水平位置，执行降落至目标将降落点。

2.如权利要求1所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，

所述目标识别图像为矩形，包括4个小尺寸二维码标签设置于矩形图像的四角上，1个中尺寸二维码标签设置于矩形图像正中间，1个大尺寸二维码标签与中尺寸二维码标签依靠设置。

3.如权利要求1所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，

将无人机降落的垂直距离分为多个区间范围，所述多个区间范围内随着高度的降低，无人机下降速度变小。

4.如权利要求1所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，所述对中尺寸和小尺寸二维码标签进行识别包括：

识别到小尺寸二维码标签但中尺寸二维码标签的偏移量超出预设的第二误差范围值，则判断风等级为初级，并且扩大中尺寸二维码标签与无人机屏幕中心的X、Y方向的像素差值，采用PID算法调节无人机水平位置，执行降落操作。

5.如权利要求1所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，所述对中尺寸和小尺寸二维码标签进行识别包括：

识别到中尺寸二维码标签但是小尺寸二维码标签未全部识别出，则判断风等级为中级，并且计算中尺寸二维码标签与无人机屏幕中心的X、Y方向的像素差值，以及计算小尺寸二维码标签中距离屏幕中心最远的二维码标签与屏幕中心的X、Y方向的像素差值，将两个像素差值相加并扩大，采用PID算法调节无人机水平位置，执行降落操作。

6.如权利要求1所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，所述对中尺寸和小尺寸二维码标签进行识别包括：

未识别到中尺寸二维码标签，并且识别到四角上的某个小尺寸二维码标签，则判断风等级为高级，并且计算当前识别出的小尺寸二维码标签与屏幕中心的X、Y方向的像素差值，采用PID算法调节无人机水平位置，直至无人机移动到中尺寸二维码标签所在位置，执行降落操作。

7.如权利要求1所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，

无人机拍摄视野中完全失去目标识别图像时，重新计算PID的值，无人机向最后记录的位置移动，同时上升高度，重新找到目标识别图像；若未在规定时间内找到目标识别图像，借助GPS调整无人机到目标识别图像所在区域。

8.如权利要求1所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，

调整摄像头还包括采用棋盘格法对摄像头参数进行校准，具体为：

对拍摄图像进行预处理；所述预处理包括对拍摄图像进行滤波、去噪的操作；

对预处理后的图像进行像素梯度的聚类操作，提取边缘和拟合边缘线；

对边缘线添加从暗区指向明区的向量，对边缘线进行连接得到回路，判断回路并解码，获取相机参数。

9.如权利要求8所述的一种基于多个定位二维码的无人机精准降落方法，其特征在于，

所述位姿为，识别二维码标签以及二维码标签的旋转角度，构建姿态数据方程，求解得到二维码坐标系在成像平面坐标系的位姿。

10.一种基于多个定位二维码的无人机精准降落系统，其特征在于，包括，

图像绘制模块，其用于制作目标识别图像，将其设置于目标降落点，所述目标识别图像包括大中小三种尺寸的二维码标签；

第一调整模块，其用于调整摄像头使得目标识别图像在拍摄范围内，控制无人机处于在第一识别高度，识别其相对于大尺寸和中尺寸二维码标签的水平距离偏移值与正方向角度偏移值，并判断所述偏移值是否满足第一误差范围值，调整水平距离和正方向角度，执行降落至第二识别高度；

第二调整模块，其用于无人机降落至第二识别高度，对中尺寸和小尺寸二维码标签进行识别，根据识别出的二维码位置以及偏移量，判断风的等级并且调整无人机的水平位置，执行降落至目标将降落点。

Images