CN112947526B - 一种无人机自主降落方法和系统 - Google Patents
一种无人机自主降落方法和系统 Download PDFInfo
- Publication number
- CN112947526B CN112947526B CN202110273448.0A CN202110273448A CN112947526B CN 112947526 B CN112947526 B CN 112947526B CN 202110273448 A CN202110273448 A CN 202110273448A CN 112947526 B CN112947526 B CN 112947526B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- image
- offset
- binary image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 101100030351 Schizosaccharomyces pombe (strain 972 / ATCC 24843) dis2 gene Proteins 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 30
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无人机自主降落方法和系统，属于计算机视觉领域，方法包括：利用无人机数据采集设备实时采集图像传递给后端服务器；当无人机高度较高时，后端服务器利用深度学习检测算法对停机标志进行检测，得到无人机位置偏移量，完成对无人机位置粗调，粗调完成后无人机下降一定高度，反复多次粗调；当无人机高度较低时，后端服务器利用位姿精调算法对无人机进行精调，位姿精调完成后下降一定高度，反复多次精调；当无人机高度小于阈值后，停止位姿调节，直接降落，完成无人机自主精准降落。本发明解决了传统无人机自主降落精度低，鲁棒性差的问题，满足无人机自主精准降落的实际需求，具有较高的实用价值。
Description
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种无人机自主降落方法和系统。
背景技术
近年来，无人机控制技术日渐成熟，四旋翼无人机因为成本低廉、飞行能力稳定灵活、控制技术成熟等特点，被广泛应用于公共安全、智能测绘、电力巡检等领域。但是在实际应用过程中，无人机的飞行工作受电量制约，导致不能完成长时间的自主飞行。当无人机遇到电量不足、天气突变、硬件故障等情况时，需要人为操作无人机的返航降落，大大降低了无人机的工作效率，增加了人力成本。无人机自主降落系统可在无人机电量过低、出现故障、完成任务后智能返航，精准的降落在停机标志上，同时无人机的机头与停机标志的正方向重合，即完成无人机位置和角度的调整。该系统应该具备较高的准确性，同时兼顾无人机位置和角度信息，保证无人机能够正确的降落在停机标志上。
目前有很多优秀的无人机自主降落算法，例如基于GPS的无人机自主降落算法、基于深度学习的无人机自主降落算法等。有些算法存在较大的偏差，无法保证无人机能准确降落在停机标志上；且研究者往往不关注无人机角度的自主调节，只调节无人机的位置，即不能使无人机的机头与停机标志的正方向重合，无法满足无人机自主降落系统实际使用需求。
由此可见，现有的无人机自主降落算法存在精度低、不能自主调节无人机角度的技术问题。
发明内容
针对相关技术的缺陷，本发明的目的在于提供一种无人机自主精准降落方法和系统，旨在解决现有无人机降落算法精度低、不能自主调节角度的技术问题。
为实现上述目的，本发明的一个方面提供了一种无人机自主降落方法，包括以下步骤：
S1、采集包含停机标志的原始图像；
S2、利用深度学习目标检测算法Yolov4对原始图像进行检测，获取停机标志中心点的像素坐标值(X1，Y1)，并计算无人机相对于停机标志的水平位置偏移量(Xdis1，Ydis1)，无人机据此调整水平位置并下降h1米；
S3、判断此时无人机的高度是否小于第一高度阈值t1：若是，继续执行步骤S4，否则返回步骤S2；
S4、生成原始图像对应的二值图，中值滤波后找到二值图面积最大的图像轮廓，并确定其中心坐标(X2，Y2)和倾斜角度θ，根据所述中心坐标(X2，Y2)获取无人机相对停机标志的位置偏移量(Xdis2，Ydis2)；
S5、将二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，然后二值图中心搜索确定停机标志的正方向角度，从而计算角度偏移量a；
S6、无人机分别根据位置偏移量(Xdis2，Ydis2)和角度偏移量a调整水平位置和方位角，并下降h2米；其中h1、h2均为预设高度值；
S7、判断此时无人机的高度是否小于第二高度阈值t2：若是，停止位置调节直接降落，否则返回步骤S4。
进一步地，所述步骤S2具体包括：
对原始图像中的停机标志进行标注，将标注好的数据集分为训练集和测试集；
利用所述训练集训练Yolov4的网络模型参数；在一个训练周期中，每次将一个批次的数据输入到目标检测网络Yolov4中，先按照网络的初始设定参数进行运算，求解得到对应的损失函数值，通过误差反向传播，进而对网络的初始设定参数进行迭代调整，并作为下一次训练的初始参数；通过多个训练周期的迭代训练，得到最终的网络参数文件作为网络模型；
将原始图像输入到训练好的网络模型，得到检测结果，取其中置信度最高的检测框为最终结果，该框中心点像素坐标值(X1，Y1)；
计算水平位置偏移量。
进一步地，所述水平位置偏移量(Xdis1，Ydis1)的具体计算公式为：
停机标志的像素偏移量为
无人机精准起降移动的偏移量为：Xdis1＝X′*m，Ydis1＝Y′*n；
其中w和h分别为无人机采集图像的宽和高，m为每个横像素对应的位置偏移量，n为每个高像素对应的位置偏移量。
进一步地，所述步骤S4具体包括：
S401.将采集的RGB原始图像转换为HSV，再根据停机标志的颜色设置颜色阈值，用所述颜色阈值过滤图像得到停机标志的mask二值图，再将所述mask二值图进行中值滤波得到二值图img1；
S402.计算二值图img1的图像轮廓，找到面积最大的图像轮廓，其坐标为(X2，Y2)，倾斜角度为θ，根据所述中心坐标计算无人机水平位置偏移量，得到无人机位置偏移量(Xdis2，Ydis2)。
进一步地，所述步骤S5具体包括：
S501.将中值滤波后的二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，得旋转后的二值图img2；
S502.以中心坐标(X2，Y2)为起点，向二值图img2上下左右四个方向遍历像素点，像素点的灰度值由0变为255或者由255变为0都记为一次灰度值变化，记录灰度值的变化次数，找出变化次数最多的那个方向的id值，右上左下的id值分别为：0，1，2，3；
角度偏移量a的计算方式为：a＝450+θ+90*id，如果a＞180，则a＝a-360。
进一步地，所述步骤S501具体包括：
根据中心坐标(X2，Y2)和倾斜角度θ获得二值图img1的仿射变换矩阵rot_mat；
根据仿射变换矩阵rot_mat对img1进行仿射变换；
用128为阈值对仿射变换后的图像进行二值化，即得旋转后的二值图img2。
本发明的另一方面还提供了一种无人机自主降落系统，包括：
采集单元，用于采集包含停机标志的原始图像；
位置粗调单元，利用深度学习目标检测算法Yolov4对原始图像进行检测，获取停机标志中心点的像素坐标值(X1，Y1)，并计算无人机相对于停机标志的水平位置偏移量(Xdis，Ydis)，无人机据此调整水平位置并下降h1米；重复多次粗调直至无人机的高度小于第一高度阈值t1；
位姿精调单元，生成原始图像对应的二值图，中值滤波后找到二值图面积最大的图像轮廓，并确定其中心坐标(X2，Y2)和倾斜角度θ，根据所述中心坐标(X2，Y2)获取无人机相对停机标志的位置偏移量(Xdis2，Ydis2)；将二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，然后二值图中心搜索确定停机标志的正方向角度，从而计算角度偏移量a；无人机分别根据位置偏移量(Xdis，Ydis2)和角度偏移量a调整水平位置和方位角，并下降h2米直至无人机的高度小于第二高度阈值t2；其中h1、h2均为预设高度值；
着陆单元，停止位置调节，直接降落直至无人机着地。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得下列有益效果：
(1)本发明采用两级调节的方式，先对无人机位姿进行粗调，当无人机高度较低时再进行精调，解决了传统无人机自主降落精度低，鲁棒性差的问题，满足无人机自主精准降落的实际需求。
(2)在精调位姿部分，提出了精调算法，从停机标志的中心坐标出发，向上下左右四个方向搜索遍历，较为简单的解决了停机标志方向的确定，使无人机能够快速确定角度偏移量，完成角度调节。该方法速度快，准确性高，适用性强。
附图说明
图1是本发明实施例提供的整体框架示意图；
图2是本发明实施例提供的总体流程图；
图3是本发明实施例提供的停机标志的示例图；
图4是本发明实施例提供的无人机采集图像的示例图；
图5是本发明实施例提供的由无人机采集的示例图生成的二值图；
图6是本发明实施例提供的由二值图的旋转后的效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例首先提供了一种无人机自主降落方法，包括以下步骤：
S1、采集包含停机标志的原始图像；
S2、利用深度学习目标检测算法Yolov4对原始图像进行检测，获取停机标志中心点的像素坐标值(X1，Y1)，并计算无人机相对于停机标志的水平位置偏移量(Xdis1，Ydis1)，无人机据此调整水平位置并下降h1米；
S3、判断此时无人机的高度是否小于第一高度阈值t1：若是，继续执行步骤S4，否则返回步骤S2；
S4、生成原始图像对应的二值图，中值滤波后找到二值图面积最大的图像轮廓，并确定其中心坐标(X2，Y2)和倾斜角度θ，根据所述中心坐标(X2，Y2)获取无人机相对停机标志的位置偏移量(Xdis2，Ydis2)；
S5、将二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，然后二值图中心搜索确定停机标志的正方向角度，从而计算角度偏移量a；
S6、无人机分别根据位置偏移量(Xdis，Ydis2)和角度偏移量a调整水平位置和方位角，并下降h2米；其中h1、h2均为预设高度值；
S7、判断此时无人机的高度是否小于第二高度阈值t2：若是，停止位置调节直接降落，否则返回步骤S4。
进一步地，所述步骤S2具体包括：
对原始图像中的停机标志进行标注，将标注好的数据集分为训练集和测试集；
利用所述训练集训练Yolov4的网络模型参数；在一个训练周期中，每次将一个批次的数据输入到目标检测网络Yolov4中，先按照网络的初始设定参数进行运算，求解得到对应的损失函数值，通过误差反向传播，进而对网络的初始设定参数进行迭代调整，并作为下一次训练的初始参数；通过多个训练周期的迭代训练，得到最终的网络参数文件作为网络模型；
将原始图像输入到训练好的网络模型，得到检测结果，取其中置信度最高的检测框为最终结果，该框中心点像素坐标值(X1，Y1)；
计算水平位置偏移量。
进一步地，所述水平位置偏移量(Xdis1，Ydis1)的具体计算公式为：
停机标志的像素偏移量为
无人机精准起降移动的偏移量为：Xdis1＝X′*m，Ydis1＝Y′*n；
其中w和h分别为无人机采集图像的宽和高，m为每个横像素对应的位置偏移量，n为每个高像素对应的位置偏移量。
进一步地，所述步骤S4具体包括：
S401.将采集的RGB原始图像转换为HSV，再根据停机标志的颜色设置颜色阈值，用所述颜色阈值过滤图像得到停机标志的mask二值图，再将所述mask二值图进行中值滤波得到二值图img1；
S402.计算二值图img1的图像轮廓，找到面积最大的图像轮廓，其坐标为(X2，Y2)，倾斜角度为θ，根据所述中心坐标计算无人机水平位置偏移量，得到无人机位置偏移量(Xdis2，Ydis2)。
进一步地，所述步骤S5具体包括：
S501.将中值滤波后的二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，得旋转后的二值图img2；
S502.以中心坐标(X2，Y2)为起点，向二值图img2上下左右四个方向遍历像素点，像素点的灰度值由0变为255或者由255变为0都记为一次灰度值变化，记录灰度值的变化次数，找出变化次数最多的那个方向的id值，右上左下的id值分别为：0，1，2，3；
角度偏移量a的计算方式为：a＝450+θ+90*id，如果a＞180，则a＝a-360。
进一步地，所述步骤S501具体包括：
根据中心坐标(X2，Y2)和倾斜角度θ获得二值图img1的仿射变换矩阵rot_mat；
根据仿射变换矩阵rot_mat对img1进行仿射变换；
用128为阈值对仿射变换后的图像进行二值化，即得旋转后的二值图img2。
本发明实施例还提供了一种无人机自主降落系统，包括：
采集单元，用于采集包含停机标志的原始图像；
位置粗调单元，利用深度学习目标检测算法Yolov4对原始图像进行检测，获取停机标志中心点的像素坐标值(X1，Y1)，并计算无人机相对于停机标志的水平位置偏移量(Xdis1，Ydis1)，无人机据此调整水平位置并下降h1米；重复多次粗调直至无人机的高度小于第一高度阈值t1；
位姿精调单元，生成原始图像对应的二值图，中值滤波后找到二值图面积最大的图像轮廓，并确定其中心坐标(X2，Y2)和倾斜角度θ，根据所述中心坐标(X2，Y2)获取无人机相对停机标志的位置偏移量(Xdis2，Ydis2)；将二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，然后二值图中心搜索确定停机标志的正方向角度，从而计算角度偏移量a；无人机分别根据位置偏移量(Xdi，Ydis2)和角度偏移量a调整水平位置和方位角，并下降h2米直至无人机的高度小于第二高度阈值t2；其中h1、h2均为预设高度值；
着陆单元，停止位置调节，直接降落直至无人机着地。
具体每个单元的功能可参见前述方法实施例中的介绍，在此不再赘述。
下面结合一个优选实施例，对上述实施例中涉及的内容进行说明。
如图1-2所示，展示了本发明的整体框架示意图和流程图，从图1可以看出，整个自主精准降落系统分为四个模块：数据采集模块实时采集图像传给后端服务器，后端服务器根据实时图像进行无人机位姿粗调并初步降落，无人机高度较低时进行无人机位姿角度精调，完成精调后直接降落。至此实现无人机自主精准降落。
在正式实施本发明的方法之前，需要进行一些准备工作。包括提前规定停机标志的样式，本次使用的停机标志如图3所示，其外轮廓为正方形。无人机方向调节需要规定正方向，实例中规定图像H为法向，沿着法向向上为0度，法向顺时针旋转的角度为正角度，法向逆时针旋转的角度为负角度，所以无人机角度偏移量为(-180，180)。无人机位置调节也需要规定正方向，向右为正位移，向左为负位移，向下为正位移，向上为负位移。
下面，结合附图对本发明的无人机自主精准降落的方法进行说明，其包括以下步骤：
步骤1、数据采集：调整无人机云台俯仰角为-90，使无人机摄像头朝下。利用无人机图像采集设备采集图像，并将采集到的图像依次传输到后端处理服务器。这里的图像传输方法应该兼顾速度和清晰度，即无人机拍摄到的画面和服务器收到的画面之间延时不能太高，并且不能对画面过度压缩，保证能够进行后面步骤的图像处理，无人机采集的图像如图4所示；
步骤2、粗调无人机位姿：后端服务器利用深度学习目标检测算法Yolov4对步骤1传来的图像进行检测，得到停机标志中心点的像素坐标值(X1，Y1)。进而计算无人机相对于停机标志的水平位置偏移量(Xdis1，Ydis1)，将水平位置偏移量传输给无人机，无人机根据水平位置偏移量(Xdis1，Ydis1)调整水平位置使得|Xdis1|＜阈值m1，|Ydis1|＜阈值n1，然后无人机下降h1米。重复多次粗调直到无人机高度h＜阈值t1。
步骤3、精调无人机位姿：后端服务器利用停机标志精调算法对无人机传来的图像进行检测，得到无人机相对停机标志的位置偏移量(Xdis2，Ydis2)和角度偏移量a，将偏移量(Xdis2，Ydis2，a)传输给无人机，无人机根据偏移量(Xdis2，Ydis2，a)调整水平位置和方位角使得|Xdis2|＜阈值m2，|Ydis2|＜阈值n2，|a|＜阈值b，下降h2米。反复进行无人机位置与方位角的精调，当无人机高度h＜阈值t2，停止精调。
步骤4、完成降落：当无人机的高度h＜阈值t2，则停止位置调节，直接降落，直至无人机着地，完成无人机自主精准降落。
具体的，步骤2又分为以下几个步骤：
2.1数据集制作：对无人机采集的图像中的停机标志进行标注，这里如果停机标志为倾斜的则只标注停机标志的最小包围框，将标注好的数据集分为训练集、测试集，其中训练集和测试集的比例为3∶1。
2.2训练过程：利用(2.1)过程得到的训练集，训练Yolov4的网络模型参数，在一个训练周期中，每次将一个批次的数据输入到目标检测网络Yolov4中，最开始按照网络的初始设定参数进行运算，求解得到对应的损失函数值，通过误差反向传播，进而对网络的初始设定参数进行迭代调整，并作为下一次训练的初始参数。通过多个训练周期的迭代训练，使得模型在测试集上达到很好的效果后，得到最终的网络参数文件，作为网络模型。
2.3测试过程：测试过程即为对输入的无人机采集图像进行检测的过程，在后端处理服务器上将无人机传回的图像输入到经过(2.2)过程训练好的网络模型，得到检测结果，取其中置信度最高的检测框为最终结果，该框中心点像素坐标值(X1，Y1)。
2.4水平位置偏移量计算：利用(2.3)得到的停机标志中心点像素坐标值(X1，Y1)计算无人机相对于停机标志的水平位置偏移量，设定无人机采集图像的宽为w，高为h，每个横像素对应的位置偏移量为m，每个高像素对应的位置偏移量为n。这里的m，n受无人机高度和相机焦距影响，无人机说明文档有具体的计算公式。水平位置偏移量具体计算公式为：
停机标志的像素偏移量为
无人机精准起降移动的偏移量为：Xdis1＝X′*m，Ydis1＝Y′*n。
2.5无人机位姿调节：将2.4计算的偏移量传给无人机进行调节，使得|Xdis1|＜阈值m1，|Ydis|＜阈值n1，然后无人机下降h1米。
具体的步骤3的精调算法分为以下几个步骤：
3.1生成二值图：后端服务器将无人机传来的RGB图像转换为HSV，再根据停机标志的颜色设置颜色阈值，用该阈值过滤图像得到停机标志的mask二值图，再将该二值图做中值滤波得到img1，img1如图5所示。
3.2计算水平位置偏移量：计算二值图img1的图像轮廓，找到面积最大的图像轮廓，该轮廓即为停机标志的轮廓，其中心坐标为(X2，Y2)，倾斜角度θ，根据该坐标计算无人机水平位置偏移量，计算方式如(2.4)所示，得到无人机位置偏移量(Xdis2，Ydis2)。
3.3旋转二值图：将(3.1)的二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，具体操作为：根据(3.2)得到的中心坐标(X2，Y2)和倾斜角度θ获得img1的仿射变换矩阵rot_mat，再根据仿射变换矩阵rot_mat对img1进行仿射变换，再用128为阈值对仿射变换后的图像进行二值化，即得旋转后的二值图img2，旋转后的二值图结果如图6所示。
3.4计算角度偏移量：二值图中心搜索确定停机标志的正方向角度，具体操作为：以(X2，Y2)为起点，向img2上下左右四个方向遍历像素点，像素点的灰度值由0变为255或者由255变为0都记为一次灰度值变化，记录灰度值的变化次数，找出变化次数最多的那个方向的id值，右上左下的id值分别为：0，1，2，3。则无人机角度偏移量a的计算方式为：a＝450+θ+90*id，如果a＞180，则a＝a-360。
3.5无人机位姿调节：将(3.2)计算的位置偏移量(Xdis2，Ydis2)和(3.4)计算的角度偏移量a传给无人机进行调节，使得|Xdis2|＜阈值m2，|Ydis2|＜阈值n1，|a|＜阈值b，然后无人机下降h2米。
实例中涉及到具体参数与无人机的型号有关。本实施例中使用的无人机型号为大疆phantom-4-pro-v2，各个参数分别为：t1＝15米，m1＝0.5米，n1＝0.5米，h1＝3米，t2＝2米，m2＝0.05米，n1＝0.05米，h2＝1米，b＝2度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种无人机自主降落方法，其特征在于，包括以下步骤：
S1、采集包含停机标志的原始图像；
S2、利用深度学习目标检测算法Yolov4对原始图像进行检测，获取停机标志中心点的像素坐标值(X1，Y1)，并计算无人机相对于停机标志的水平位置偏移量(Xdis1，Ydis1)，无人机据此调整水平位置并下降h1米；
S3、判断此时无人机的高度是否小于第一高度阈值t1：若是，继续执行步骤S4，否则返回步骤S2；
S4、生成原始图像对应的二值图，中值滤波后找到二值图面积最大的图像轮廓，并确定其中心坐标(X2，Y2)和倾斜角度θ，根据所述中心坐标(X2，Y2)获取无人机相对停机标志的位置偏移量(Xdis2，Ydis2)；
S5、将二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，然后二值图中心搜索确定停机标志的正方向角度，从而计算角度偏移量a；
S6、无人机分别根据位置偏移量(Xdis2，Ydis2)和角度偏移量a调整水平位置和方位角，并下降h2米；其中h1、h2均为预设高度值；
S7、判断此时无人机的高度是否小于第二高度阈值t2：若是，停止位置调节直接降落，否则返回步骤S4；
所述步骤S5具体包括：
S501.将中值滤波后的二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，得旋转后的二值图img2，包括：
根据中心坐标(X2，Y2)和倾斜角度θ获得二值图img1的仿射变换矩阵rot_mat；
根据仿射变换矩阵rot_mat对img1进行仿射变换；
用128为阈值对仿射变换后的图像进行二值化，即得旋转后的二值图img2；
S502.以中心坐标(X2，Y2)为起点，向二值图img2上下左右四个方向遍历像素点，像素点的灰度值由0变为255或者由255变为0都记为一次灰度值变化，记录灰度值的变化次数，找出变化次数最多的那个方向的id值，右上左下的id值分别为：0，1，2，3；角度偏移量a的计算方式为：a＝450+θ+90*id，如果a>180，则角度偏移量需要减去360。
2.如权利要求1所述的无人机自主降落方法，其特征在于，所述步骤S2具体包括：
对原始图像中的停机标志进行标注，将标注好的数据集分为训练集和测试集；
利用所述训练集训练Yolov4的网络模型参数；在一个训练周期中，每次将一个批次的数据输入到目标检测网络Yolov4中，先按照网络的初始设定参数进行运算，求解得到对应的损失函数值，通过误差反向传播，进而对网络的初始设定参数进行迭代调整，并作为下一次训练的初始参数；通过多个训练周期的迭代训练，得到最终的网络参数文件作为网络模型；
将原始图像输入到训练好的网络模型，得到检测结果，取其中置信度最高的检测框为最终结果，该框中心点像素坐标值(X1，Y1)；
计算水平位置偏移量。
3.如权利要求2所述的无人机自主降落方法，其特征在于，所述水平位置偏移量(Xdis1，Ydis1)的具体计算公式为：
停机标志的像素偏移量为
Y′＝Y1-h/2
无人机精准起降移动的偏移量为：Xdis1＝X′*m，Ydis1＝Y′*n；
其中w和h分别为无人机采集图像的宽和高，m为每个横像素对应的位置偏移量，n为每个高像素对应的位置偏移量。
4.如权利要求1所述的无人机自主降落方法，其特征在于，所述步骤S4具体包括：
S401.将采集的RGB原始图像转换为HSV，再根据停机标志的颜色设置颜色阈值，用所述颜色阈值过滤图像得到停机标志的mask二值图，再将所述mask二值图进行中值滤波得到二值图img1；
S402.计算二值图img1的图像轮廓，找到面积最大的图像轮廓，其坐标为(X2，Y2)，倾斜角度为θ，根据所述中心坐标计算无人机水平位置偏移量，得到无人机位置偏移量(Xdis2，Ydis2)。
5.一种无人机自主降落系统，其特征在于，包括：
采集单元，用于采集包含停机标志的原始图像；
位置粗调单元，利用深度学习目标检测算法Yolov4对原始图像进行检测，获取停机标志中心点的像素坐标值(X1，Y1)，并计算无人机相对于停机标志的水平位置偏移量(Xdis1，Ydis1)，无人机据此调整水平位置并下降h1米；重复多次粗调直至无人机的高度小于第一高度阈值t1；
位姿精调单元，生成原始图像对应的二值图，中值滤波后找到二值图面积最大的图像轮廓，并确定其中心坐标(X2，Y2)和倾斜角度θ，根据所述中心坐标(X2，Y2)获取无人机相对停机标志的位置偏移量(Xdis2，Ydis2)；将二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，然后二值图中心搜索确定停机标志的正方向角度，从而计算角度偏移量a；无人机分别根据位置偏移量(Xdis2，Ydis2)和角度偏移量a调整水平位置和方位角，并下降h2米直至无人机的高度小于第二高度阈值t2；其中h1、h2均为预设高度值；
着陆单元，停止位置调节，直接降落直至无人机着地；
所述将二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，然后二值图中心搜索确定停机标志的正方向角度，从而计算角度偏移量a，包括：
1)将中值滤波后的二值图以中心坐标(X2，Y2)为轴逆时针旋转θ，使二值图中的停机标志的轮廓为水平无倾斜角度，得旋转后的二值图img2，包括：
根据中心坐标(X2，Y2)和倾斜角度θ获得二值图img1的仿射变换矩阵rot_mat；
根据仿射变换矩阵rot_mat对img1进行仿射变换；
用128为阈值对仿射变换后的图像进行二值化，即得旋转后的二值图img2；
2)以中心坐标(X2，Y2)为起点，向二值图img2上下左右四个方向遍历像素点，像素点的灰度值由0变为255或者由255变为0都记为一次灰度值变化，记录灰度值的变化次数，找出变化次数最多的那个方向的id值，右上左下的id值分别为：0，1，2，3；角度偏移量a的计算方式为：a＝450+θ+90*id，如果a>180，则角度偏移量需要减去360。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273448.0A CN112947526B (zh) | 2021-03-12 | 2021-03-12 | 一种无人机自主降落方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273448.0A CN112947526B (zh) | 2021-03-12 | 2021-03-12 | 一种无人机自主降落方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112947526A CN112947526A (zh) | 2021-06-11 |
| CN112947526B true CN112947526B (zh) | 2022-09-27 |
Family
ID=76229705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110273448.0A Active CN112947526B (zh) | 2021-03-12 | 2021-03-12 | 一种无人机自主降落方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112947526B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113655806B (zh) * | 2021-07-01 | 2023-08-08 | 中国人民解放军战略支援部队信息工程大学 | 一种无人机群辅助降落方法 |
| CN113821047A (zh) * | 2021-08-18 | 2021-12-21 | 杭州电子科技大学 | 一种基于单目视觉的无人机自主降落方法 |
| CN114355982A (zh) * | 2022-01-24 | 2022-04-15 | 四川通信科研规划设计有限责任公司 | 无人机自动增程巡航系统的无人机自动着陆方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569838A (zh) * | 2019-04-25 | 2019-12-13 | 内蒙古工业大学 | 一种基于视觉定位的四旋翼无人机自主降落方法 |
| CN110825101A (zh) * | 2019-12-26 | 2020-02-21 | 电子科技大学 | 一种基于深度卷积神经网络的无人机自主降落方法 |
| CN110991207A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 综合H图案识别和AprilTag二维码识别的无人机精准降落方法 |
| CN110989687A (zh) * | 2019-11-08 | 2020-04-10 | 上海交通大学 | 一种基于嵌套正方形视觉信息的无人机降落方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273929A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种基于深度协同神经网络的无人机自主降落方法 |
-
2021
- 2021-03-12 CN CN202110273448.0A patent/CN112947526B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569838A (zh) * | 2019-04-25 | 2019-12-13 | 内蒙古工业大学 | 一种基于视觉定位的四旋翼无人机自主降落方法 |
| CN110989687A (zh) * | 2019-11-08 | 2020-04-10 | 上海交通大学 | 一种基于嵌套正方形视觉信息的无人机降落方法 |
| CN110991207A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 综合H图案识别和AprilTag二维码识别的无人机精准降落方法 |
| CN110825101A (zh) * | 2019-12-26 | 2020-02-21 | 电子科技大学 | 一种基于深度卷积神经网络的无人机自主降落方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112947526A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112947526B (zh) | 一种无人机自主降落方法和系统 | |
| CN107729808B (zh) | 一种用于输电线路无人机巡检的图像智能采集系统及方法 | |
| CN106326892B (zh) | 一种旋翼式无人机的视觉着陆位姿估计方法 | |
| WO2020135446A1 (zh) | 一种目标定位方法和装置、无人机 | |
| CN110244766B (zh) | 一种光伏电站无人机巡检航线的规划方法及系统 | |
| CN106197422A (zh) | 一种基于二维标签的无人机定位及目标跟踪方法 | |
| CN106548173A (zh) | 一种基于分级匹配策略的改进无人机三维信息获取方法 | |
| CN110618691B (zh) | 基于机器视觉的无人机同心圆靶精准降落方法 | |
| CN113409459B (zh) | 高精地图的生产方法、装置、设备和计算机存储介质 | |
| CN112484746B (zh) | 一种基于地平面的单目视觉辅助激光雷达里程计方法 | |
| CN106973221B (zh) | 基于美学评价的无人机摄像方法和系统 | |
| CN112215860A (zh) | 一种基于图像处理的无人机定位方法 | |
| CN111383333A (zh) | 一种分段式sfm三维重建方法 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及系统 | |
| CN111123962A (zh) | 一种用于电力杆塔巡检的旋翼无人机重定位拍照方法 | |
| CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
| CN109459759B (zh) | 基于四旋翼无人机激光雷达系统的城市地形三维重建方法 | |
| CN105606123A (zh) | 一种低空航空摄影测量自动纠正数字地面高程模型的方法 | |
| CN112197766A (zh) | 一种针对系留旋翼平台的视觉测姿装置 | |
| CN114372992A (zh) | 一种基于动平台的边缘角点检测四目视觉算法 | |
| CN110322462B (zh) | 基于5g网络的无人机视觉着陆方法及系统 | |
| CN109764864B (zh) | 一种基于颜色识别的室内无人机位姿获取方法及系统 | |
| CN113781524B (zh) | 一种基于二维标签的目标追踪系统及方法 | |
| CN115144879A (zh) | 一种多机多目标动态定位系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |