CN113821047A - 一种基于单目视觉的无人机自主降落方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的无人机自主降落方法本发明先生成一大一小内外嵌套的ArucoMarker，将其固定在无人降落平台上；无人机通过GPS导航飞至无人降落平台附近并悬停至第一阶段降落高度，执行第一阶段视觉降落算法，直到无人机相对于降落标志中心偏移量小于通过VP‑CND控制方法设定的时变阈值函数后垂直降落至第二阶段指定高度；执行第二阶段视觉降落算法，直到无人机相对于降落标志中心偏移量小于通过VP‑CND控制方法设定的时变阈值函数后垂直下降至无人降落平台。本发明既保证了降落的速度，也保证了降落的精度，消除了飞行控制过程中惯性及风速的影响，在不同环境下均能较快的实现无人机的精准降落。

Description

一种基于单目视觉的无人机自主降落方法

技术领域

本发明涉及无人机机器视觉及运动控制算法领域，具体涉及一种基于单目视觉的无人机自主降落方法。

背景技术

大疆无人机因其价格低廉，体积小，可垂直降落等特点，在民用领域得以普及。伴随着人工智能的发展，无人机智能化，尤其是自主飞行受到越来越多的关注，而自主着陆则是其中的核心技术。传统的无人机自主着陆方法主要有惯性导航、GPS导航等方式。惯性导航需进行积分运算，随着运行时间的增加，其累积误差越来越大，民用GPS精度有限且高精度GPS成本较高，因此，传统导航方法很难实现无人机的精确降落。

在本发明的案例中，无人机通过视觉导航完成在指定地点的自主降落。无人机视觉导航技术，是指无人机通过机载摄像机获取周围环境与降落标志的图像信息，然后通过分析处理图像来获取降落标志的信息，最后将视觉反馈信息作为无人机控制回路的输入，从而实现无人机的自主飞行。相比以上两种导航方法，具有成本低廉、抗干扰能力强等优点。

由于处于动态对焦过程及不同对焦状态下的相机内参会不断变化，在本发明的案例中，无人机通过两段式的降落策略最终准确降落到无人降落平台，即固定两次降落高度保证了相机内参的不变。第一阶段接近无人降落平台正上方速度快，但精度较低，第二阶段接近无人降落平台正上方速度较慢，但精度高，保证了降落效果。

发明内容

本发明所要解决的技术问题是提供一种基于单目视觉的无人机自主降落方法，该方法具有降落误差小，速度快，可以运行在边缘端设备的特点。

为解决上述技术问题，本发明通过以下技术方案予以实现：

一种基于单目视觉的无人机自主降落方法，包括如下步骤：

1)生成一大一小内外嵌套的ArucoMarker，将其固定在无人机降落平台上；

2)无人机通过GPS导航飞至无人机降落平台附近并悬停至第一阶段降落高度；

3)执行第一阶段视觉降落算法，接收并解析视频流，采用基于BAS的图像匹配算法快速得到较大ArucoMarker的角点坐标，结合相机内参与位姿估计函数得到无人机相对于降落标志中心的偏移量，将偏移量传入基于BAS算法的PID控制器，PID控制器随之给出速度指令，当x，y方向偏移量小于通过VP-CND控制方法设定的时变阈值函数后垂直降落至第二阶段指定高度；

4)执行第二阶段视觉降落算法，接收并解析视频流，采用基于BAS的图像匹配算法快速得到较小ArucoMarker的角点坐标，结合相机内参与位姿估计函数得到无人机相对于降落标志中心的位置，将偏移量传入基于BAS算法的PID控制器，PID控制器随之给出速度指令，x，y方向偏移量小于通过VP-CND控制方法设定的时变阈值函数后垂直下降至无人机降落平台中心。

作为优选，所述步骤1)生成降落标志，两个ArucoMarker的编码位均为4x4，能够保证在中远距离时良好的识别率，同时保证了较多的编码位，具有较好的综合性能；一大一小嵌套的设计既保证了在第一阶段降落高度能快速检测到，又避免了在第二阶段降落高度无人机不能完全识别较大ArucoMarker。

作为优选，所述步骤2)无人机通过GPS导航飞至无人降落平台附近并悬停至第一阶段降落高度，GPS导航的精度较低，但可以保证在第一阶段降落高度无人机相机视野中有完整的降落平台；

作为优选，所述步骤3)执行第一阶段视觉降落算法，①将视频帧转换为灰度图像，然后将其进行二值化处理得到二值图像；②利用基于BAS的图像匹配算法将较大ArucoMarker的模板图像与得到的二值图像相匹配，该匹配算法利用BAS寻找作为相似性度量的归一化互相关函数的最优点，得到ArucoMarker的四个角点坐标；③调用Aruco库中的位姿估算函数，传入第一阶段降落高度离线标定获得的相机内参矩阵和畸变系数，得到旋转向量和平移向量；④根据旋转向量和平移向量解算出x，y方向的位移，⑤将x，y方向的位移传入基于BAS算法的PID控制器，给出x，y方向速度指令，该控制器利用BAS算法将k_P,k_i,k_d三个参数整定，即将BAS算法的维度设置成3，在这3个维度上分解天牛的位置信息，并分别赋值给PID的三个参数，最终达到更理想的控制效果；⑥x，y方向的位移小于通过VP-CND控制方法设定的时变函数阈值后垂直降落至第二阶段指定高度。第一阶段时变函数系数可以稍大，减少第一阶段降落所需时间。

作为优选，所述步骤4)执行第二阶段视觉降落算法，①将视频帧转换为灰度图像，然后对其进行二值化处理得到二值图像；②利用基于BAS的图像匹配算法将较小ArucoMarker的模板图像与得到的二值图像相匹配，得到ArucoMarker的四个角点坐标；③调用Aruco库中的位姿估算函数，传入第二阶段降落高度离线标定获得的相机内参矩阵和畸变系数，得到旋转向量和平移向量；④根据旋转向量和平移向量解算出x，y方向的位移；⑤将x，y方向的位移传入基于BAS算法的PID控制器，PID控制器据此给出x，y方向速度指令；

⑥x，y方向的位移小于通过VP-CND控制方法设定的时变函数阈值后垂直降落至第二阶段指定高度。第二阶段时变函数系数应较小，确保降落精度。

作为优选，所述的BAS的图像匹配算法，具体为：

其中P(x,y)表示相似性度量，i表示图像的横坐标，j表示图像的纵坐标，w表示横坐标的个数，h表示纵坐标的个数，A表示二值图像，B表示模板图像；

作为优选，所述的两个阶段的时变函数阈值设置如下：

其中变量t代表时间，C和p是正系数，第一阶段的正系数C大于第二阶段的正系数C；和传统的给定固定阈值作为临界条件相比，设定时变阈值函数可以更快的完成整个降落过程，同时最终误差也是在合理范围内的。

与现有技术相比，本发明有以下技术效果：本发明提供了一种基于单目视觉的无人机自主降落方法，可以很好地配合搭载降落平台的无人小车完成自主降落。本发明充分利用了ArucoMarker标签信息丰富，识别速度快的特点，通过无人机机载相机拍摄的图片，获取无人机相对于降落标志中心的位置信息，并根据得到的位置信息发送给无人机速度指令，控制无人机的飞行，最终准确降落至无人降落平台中心。本发明采取的两段式降落策略既保证了降落的速度，也保证了降落的精度，同时最大程度地减小了大疆无人机相机自动对焦造成的参数改变带来的影响。本发明采取的可变阈值设计极大程度上消除了飞行控制过程中惯性及风速的影响，在不同环境下均能较快的实现无人机的精准降落。

附图说明

图1是本发明的流程图；

图2是降落算法的流程图。

具体实施方式

下面结合附图与具体实施方式对本发明做进一步的描述：

图1所示的一种基于单目视觉的无人机自主降落方法：

1)生成一大一小内外嵌套的ArucoMarker，将其固定在无人降落平台上；此步骤需要分别测量大ArucoMarker和小ArucoMarker的边长，并保存作为参数供自主降落算法读取。

2)无人机通过GPS导航飞至无人降落平台附近并悬停至第一阶段降落高度；此步骤保证了在自主降落算法执行前无人机拍摄画面中有降落标志，且对GPS精度的要求不高。

3)执行第一阶段视觉降落算法，视觉降落算法流程如图二所示；

①Android端应用程序调用大疆AndroidSDK提供的接口获取YUV格式的视频流，再将其转换为灰度图像，利用大津OTSU算法将其二值化为二值图像；

②利用基BAS的图像匹配算法将较大ArucoMarker的模板图像与得到的二值图像相匹配，该匹配算法利用BAS寻找作为相似性度量的归一化互相关函数的最优点，快速得到ArucoMarker的四个角点坐标；

③调用Aruco库中的位姿估算函数，传入第一阶段降落高度离线标定获得的相机内参矩阵和畸变系数，读取较大的ArucoMarker的边长信息，最终得到旋转向量和平移向量；

④根据③中的旋转向量和平移向量，利用罗德里格斯公式解算出x，y方向的位移

⑤将x，y方向的位移传入基于BAS算法的PID控制器，给出x，y方向速度指令，该控制器利用BAS算法将k_P，k_i，k_d三个参数整定，即将BAS算法的维度设置成3，在这3个维度上分解天牛的位置信息，并分别赋值给PID的三个参数，最终达到更理想的控制效果；

⑥x，y方向的位移小于通过VP-CND控制方法设定的时变阈值函数后垂直降落至第二阶段指定高度，第一阶段给定的时变函数系数可以稍大，减少第一阶段调整至降落标志中心正上方所需时间。

4)执行第二阶段视觉降落算法，视觉降落算法流程如图2所示；

①Android端应用程序调用大疆AndroidSDK提供的接口获取YUV格式的视频流，再将其转换为灰度图像，利用大津OTSU算法将其二值化为二值图像；

②采用基于BAS的图像匹配算法快速得到较小ArucoMarker的角点坐标；

③调用Aruco库中的位姿估算函数，传入第二阶段降落高度离线标定获得的相机内参矩阵和畸变系数，读取较小的ArucoMarker的边长信息，最终得到旋转向量和平移向量；

④根据③中的旋转向量和平移向量，利用罗德里格斯公式解算出x，y方向的位移，并根据位移给出x，y方向的速度指令，并保持z方向的高度不变；

⑤将偏移量传入基于BAS算法的PID控制器，PID控制器随之给出x，y方向速度指令，且保持z方向的高度不变；

⑥x，y方向的位移小于通过VP-CND控制方法设定的时变阈值函数后垂直下降至无人降落平台中心，第二阶段给定时变函数系数应较小，确保降落精度。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和等，均应包含在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于单目视觉的无人机自主降落方法，其特征在于：包括如下步骤：

1)生成一大一小内外嵌套的ArucoMarker，将其固定在无人机降落平台上；

2)无人机通过GPS导航飞至无人机降落平台附近并悬停至第一阶段降落高度；

3)执行第一阶段视觉降落算法，接收并解析视频流，采用基于BAS的图像匹配算法快速得到较大ArucoMarker的角点坐标，结合相机内参与位姿估计函数得到无人机相对于降落标志中心的偏移量，将偏移量传入基于BAS算法的PID控制器，PID控制器随之给出速度指令，当x，y方向偏移量小于通过VP-CND控制方法设定的时变阈值函数后垂直降落至第二阶段指定高度；

4)执行第二阶段视觉降落算法，接收并解析视频流，采用基于BAS的图像匹配算法快速得到较小ArucoMarker的角点坐标，结合相机内参与位姿估计函数得到无人机相对于降落标志中心的位置，将偏移量传入基于BAS算法的PID控制器，PID控制器随之给出速度指令，x，y方向偏移量小于通过VP-CND控制方法设定的时变阈值函数后垂直下降至无人机降落平台中心。

2.根据权利要求1所述的一种基于单目视觉的无人机自主降落方法，其特征在于：所述步骤1)生成降落标志，两个ArucoMarker的编码位均为4x4。

3.根据权利要求1所述的一种基于单目视觉的无人机自主降落方法，其特征是，所述步骤3)执行第一阶段视觉降落算法，①将视频帧转换为灰度图像，然后将其进行二值化处理得到二值图像；②利用基于BAS的图像匹配算法将较大ArucoMarker的模板图像与得到的二值图像相匹配，该匹配算法利用BAS寻找作为相似性度量的归一化互相关函数的最优点，得到ArucoMarker的四个角点坐标；③调用Aruco库中的位姿估算函数，传入第一阶段降落高度离线标定获得的相机内参矩阵和畸变系数，得到旋转向量和平移向量；④根据旋转向量和平移向量解算出x，y方向的位移，⑤将x，y方向的位移传入基于BAS算法的PID控制器，给出x，y方向速度指令，该控制器利用BAS算法将k_P,k_i,k_d三个参数整定，即将BAS算法的维度设置成3，在这3个维度上分解天牛的位置信息，并分别赋值给PID的三个参数，最终达到更理想的控制效果；⑥x，y方向的位移小于通过VP-CND控制方法设定的时变函数阈值后垂直降落至第二阶段指定高度。

4.根据权利要求1所述的一种基于单目视觉的无人机自主降落方法，其特征是，所述步骤4)执行第二阶段视觉降落算法，①将视频帧转换为灰度图像，然后对其进行二值化处理得到二值图像；②利用基于BAS的图像匹配算法将较小ArucoMarker的模板图像与得到的二值图像相匹配，得到ArucoMarker的四个角点坐标；③调用Aruco库中的位姿估算函数，传入第二阶段降落高度离线标定获得的相机内参矩阵和畸变系数，得到旋转向量和平移向量；④根据旋转向量和平移向量解算出x，y方向的位移；⑤将x，y方向的位移传入基于BAS算法的PID控制器，PID控制器据此给出x，y方向速度指令；⑥x，y方向的位移小于通过VP-CND控制方法设定的时变函数阈值后垂直降落至第二阶段指定高度。

5.根据权利要求3或4所述的一种基于单目视觉的无人机自主降落方法，其特征在于：所述的BAS的图像匹配算法，具体为：

其中P(x,y)表示相似性度量，i表示图像的横坐标，j表示图像的纵坐标，w表示横坐标的个数，h表示纵坐标的个数，A表示二值图像，B表示模板图像。

6.根据权利要求3或4所述的一种基于单目视觉的无人机自主降落方法，其特征在于：所述的两个阶段的时变函数阈值设置如下：

其中变量t代表时间，C和p是正系数，第一阶段的正系数C大于第二阶段的正系数C；和传统的给定固定阈值作为临界条件相比，设定时变阈值函数可以更快的完成整个降落过程，同时最终误差也是在合理范围内的。

Images