CN110825101B - 一种基于深度卷积神经网络的无人机自主降落方法 - Google Patents

一种基于深度卷积神经网络的无人机自主降落方法 Download PDF

Info

Publication number
CN110825101B
CN110825101B CN201911362522.5A CN201911362522A CN110825101B CN 110825101 B CN110825101 B CN 110825101B CN 201911362522 A CN201911362522 A CN 201911362522A CN 110825101 B CN110825101 B CN 110825101B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
landmark pattern
landmark
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911362522.5A
Other languages
English (en)
Other versions
CN110825101A (zh
Inventor
孟继成
邓弘志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911362522.5A priority Critical patent/CN110825101B/zh
Publication of CN110825101A publication Critical patent/CN110825101A/zh
Application granted granted Critical
Publication of CN110825101B publication Critical patent/CN110825101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的无人机自主降落方法，将传统自主降落中图像处理及地标检测部分替换为深度卷积神经网络，通过求解PnP问题估计无人机与地标之间的相对位姿，以精确调整无人机的姿态和位置，同时为减轻无人机的计算负担，在高度较高的情况下采用基于图像的方法调整无人机水平位置，保证无人机处于地标的正上空，并能在下降过程中同时检测到微小障碍物并避开障碍物，克服了无人机自主降落传统方法降落地标检测的低可靠性问题，提升了在多种光照和背景下无人机自主降落的可靠性。

Description

一种基于深度卷积神经网络的无人机自主降落方法
技术领域
本发明属于无人机降落方法技术领域，具体涉及一种基于深度卷积神经网络的无人机自主降落方法。
背景技术
近年来，无人机已经广泛应用在军事民用领域，如实时监控、资源勘探、民用监视、货物运输及农业规划等方面，而安全应用无人机的关键问题之一便是准确控制无人机的运动，特别是在降落环节。据统计，80％的无人机事故发生在无人机降落阶段，因此，如何构建自主降落系统成为无人机研究的重要课题和挑战。
现有的无人机自主降落方法主要分为电磁引导降落系统和基于视觉的降落系统，其中，前者依赖于惯性导航系统和全球定位系统，定位误差比较大，并且在建筑物遮挡情况下无法定位，无法适用于小型无人机降落所要求的准确定位的场景。基于视觉的降落系统使用机载相机抓取周围环境信息用于引导降落。基于视觉的降落系统关键问题在于准确的检测降落地标。现有的基于视觉的降落系统大多通过匹配低层特征，比如形状或色彩的方式来检测特定设计的地标。这类方法存在以下问题：一、由于手工选取特征，导致这一类方法无法有效地检测不同形状的地标；二、不同光照和背景以及拍摄角度下会影响所提取的特征，影响对地标的检测；三、未能考虑降落过程中可能存在的较小障碍物物如输电线对无人机飞行安全的影响。
发明内容
针对现有技术中的上述不足，本发明提供的基于深度卷积神经网络的无人机自主降落方法克服了无人机自主降落传统方法地标检测的低可靠性问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于深度卷积神经网络的无人机自主降落方法，包括以下步骤：
S1、在GPS导航下，使无人机飞行至降落区域，并通过无人机机载相机实时采集地面图像；
S2、通过训练好的深度卷积网络对采集的地面图像进行地标图案检测；
S3、根据采集的地面图像中心点与检测到的地标图案中心点的重合度，控制无人机水平移动，直到移动到地标图案的正上空；
S4、控制无人机下降并避障，直到其下降到设定高度；
S5、通过确定无人机与地标图案的相对位姿，控制无人机向地标图案降落直到着陆，实现无人机的自主降落。
进一步地，所述步骤S1中无人机机载相机垂直向下，其采集的地面图像区域为无人机的正下方区域。
进一步地，所述步骤S2中的深度卷积神经网络通过YOLO目标检测方法对采集的地面图像进行地标图案检测；
所述深度卷积神经网络包括级联的四个卷积层、池化层、全连接层和回归检测层，每个所述卷积层中的激活函数均为leaky ReLU激活函数；
所述深度神经网络的输入为224×224大小的RGB图像，输出为地标图案的位置和类别标签。
进一步地，所述步骤S2中训练深度卷积神经网络时的损失函数为：
Figure BDA0002337571380000031
式中，
Figure BDA0002337571380000032
为边框损失，lcoord为控制边框损失的超参数，
Figure BDA0002337571380000033
为在第i个网格的第j个边框负责预测该目标的控制变量，xi为预测边框中心的横坐标，
Figure BDA0002337571380000034
为真实边框中心的横坐标，yi为预测边框中心的纵坐标，
Figure BDA0002337571380000035
为真实边框中心的纵坐标，wi为预测边框的宽度，
Figure BDA0002337571380000036
为真实边框的宽度，hi为预测边框的高度，
Figure BDA0002337571380000037
为真实边框的高度，S为图片中横向或纵向切分的网格数，B为每个网格预测的边框数；
Figure BDA0002337571380000038
为网格中有目标的置信度损失，Ci为边框置信度，
Figure BDA0002337571380000039
为真实边框的置信度；
Figure BDA00023375713800000310
为网格中无目标的置信度损失，lnoobj为控制该置信度损失的超参数，
Figure BDA00023375713800000311
为在第i个网格第j个边框中负责预测无任何目标的控制变量；
Figure BDA00023375713800000312
为分类损失，
Figure BDA00023375713800000313
为目标出现在第i个网格的控制变量，pi(c)为预测的类别条件概率，
Figure BDA00023375713800000314
为该类别的真实条件概率，classes为所有目标的类别，c为每个目标的类别。
进一步地，所述步骤S2中，对地面图像进行地标图案检测的方法具体为：
A1、将地面图像分割为7×7个网格，使每个网格生成两个预测边框；
A2、通过回归检测层输出一个7×7×15的张量，即49个15维的预测向量；
其中，在每个预测向量中，第1～5维为对应网格的第一个预测边框及其置信度，第6～10维为对应网格的第二个预测边框及其置信度，第11～15维对应网格中检测到的目标所属对应类别的概率；
A3、通过设置置信度阈值，将低于置信度阈值的预测边框删除，并通过非极大值抑制算法去除检测到同一目标的多余边框，进而得到地标图案的检测结果。
进一步地，所述步骤S2中地标图案为由若干相同形状的闭合线条构成环状结构，且每个闭合线条内一对对角处绘制有形状相同且大小不同的标识。
进一步地，所述步骤S3具体为：
B1、根据当前地面图像中的地标图案的中心像素点T，该地面图像的中心像素点I，无人机机载相机的分辨率R，无人机的平移常量L，得到控制无人机水平移动时的下一位置坐标(Px+1,Py+1)为：
Figure BDA0002337571380000041
Figure BDA0002337571380000042
式中，(Tx,Ty)为当前地面图像中的地标图案的中心像素点的坐标；
(Ix,Iy)为地面图像的中心像素点的坐标；
(Px,Py)为无人机水平移动前的位置坐标；
B2、判断无人机水平移动后，采集的地面图像中的地标图案中心像素点与地面图像中心像素点之间的距离是否小于阈值g；
若是，则无人机移动到地标图案的正上空，进入步骤S4；
若否，则返回步骤B1。
进一步地，所述步骤S4具体为：
C1、根据无人机的下降步长Hs，控制无人机下降到下一高度Hy+1；
其中，无人机下降时的下一高度Hy+1为：
Hy+1＝Hy-Hs
式中，Hy为无人机当前高度；
C2、判断当前地面图像中是否检测到地标图案，并判断当前地面图像中是否存在障碍物；
若检测到地标图案且不存在障碍物，则进入步骤C3；
若检测到地标图案且存在障碍物，则进入步骤C4；
若未检测到地标图案且不存在障碍物，则返回步骤S3；
若未检测到地标图案且存在障碍物，则进入步骤C4；
C3、判断当前高度Hy+1是否小于等于设定高度为H1；
若是，则进入步骤S5；
若否，则返回步骤C1；
C4、控制无人机水平移动，并根据障碍物中心点像素O，确定无人机下一水平位置坐标，进入步骤C5；
其中，无人机下一水平位置坐标
Figure BDA0002337571380000051
为：
Figure BDA0002337571380000052
Figure BDA0002337571380000053
式中，
Figure BDA0002337571380000054
为无人机水平移动前的位置坐标；
(Ox,Oy)为障碍物的中心像素坐标；
(Ix0,Iy0)为当前地面图像的中心像素点的坐标；
C5、使无人机重复执行步骤C4中的无人机水平移动，直到没有检测到障碍物，并下降高度Hs，返回步骤C2。
进一步地，所述步骤S5中，使用针孔相机模型对无人机与地标图案的相对位姿进行确定，所述针孔相机模型为：
Figure BDA0002337571380000061
式中，
Figure BDA0002337571380000062
为地标图案中的任意一点在世界坐标系中的位置的齐次坐标；
A为相机的内参数矩阵；
Figure BDA0002337571380000063
为地标图案中的任意一点在在相机图像中的对应像素点的齐次坐标；
Figure BDA0002337571380000064
Mw为世界坐标系与相机坐标系之间的变换矩阵，即无人机与地标图案的相对位姿；
确定无人机与地标图案的相对位姿的方法具体为：
D1、通过无人机机载相机在挂载到无人机之前拍摄若干黑白棋盘格照片，并将其尺寸统一为224×224；
D2、基于拍摄的黑白棋盘格照片，使用张正友算法对相机进行标定，获取无人机机载相机的内参数矩阵A；
D3、选取地标图案上的任意一点作为世界坐标系的原点建立三维坐标系，并根据建立的三维坐标系测量地标图案中各图案中心及边角点在该坐标系中的坐标；
D4、将深度卷积神经网络检测得到的边框中心及边框边角作为2D投影点，将地标图案中心和边角点作为3D参考点，并基于内参数矩阵A使用IPPE算法对PnP问题进行求解，得到世界坐标系与相机坐标系之间的变换矩阵Mw，即无人机与地标图案的相对位姿。
进一步地，所述步骤S5中，控制无人机向地标图案降落的方法具体为：
E1、确定用于挂载无人机机载相机的云台的偏转角度，进而确定相机坐标系到无人机坐标系的变换矩阵Mc；
E2、根据地标图案在的任意一点在世界坐标系上的坐标M、变换矩阵Mc和相对位姿Mw，得到该点在无人机坐标系中的位置坐标m为：
m＝MMM
cw
E3、将该点在无人机坐标系中的位置坐标m输入到无人机飞行控制系统中，控制无人机进行相应的机动，进而使无人机向地标图案降落。
本发明的有益效果为：
本发明提供的基于深度卷积神经网络的无人机自主降落方法将传统自主降落中图像处理及地标检测部分替换为深度卷积神经网络，通过求解PnP问题估计无人机与地标之间的相对位姿，以精确调整无人机的姿态和位置，同时为减轻无人机的计算负担，在高度较高的情况下采用基于图像的方法调整无人机水平位置，保证无人机处于地标的正上空，，在降落过程中能检测到微小障碍物并避开障碍物，克服了无人机自主降落传统方法降落地标检测的低可靠性问题，提升了在多种光照和背景下无人机自主降落的可靠性。
附图说明
图1为本发明提供的基于深度卷积神经网络的无人机自主降落方法流程图。
图2为本发明提供的深度卷积神经网络结构图。
图3为本发明提供的地标图案示意图。
图4为本发明提供的无人机下降并避障方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于深度卷积神经网络的无人机自主降落方法，包括以下步骤：
S1、在GPS导航下，使无人机飞行至降落区域，并通过无人机机载相机实时采集地面图像；
S2、通过训练好的深度卷积网络对采集的地面图像进行地标图案检测；
S3、根据采集的地面图像中心点与检测到的地标图案中心点的重合度，控制无人机水平移动，直到移动到地标图案的正上空；
S4、控制无人机下降并避障，直到其下降到设定高度；
S5、通过确定无人机与地标图案的相对位姿，控制无人机向地标图案降落直到着陆，实现无人机的自主降落。
上述步骤S1中，为了获得准确的地面图像，无人机机载相机垂直向下，其采集的地面图像区域为无人机的正下方区域。
上述步骤S2中的深度卷积神经网络通过YOLO目标检测方法对采集的地面图像进行地标图案检测；YOLO(You Only Look Once)是一种基于回归的目标检测方法，YOLO使用单个神经网络，直接将图像像素映射到边框坐标和类别标签，只需要看一眼(Look Once)图片就能检测出各个目标及其在图片中的位置，YOLO具有检测速度极快的特点，其标准模型能达到实时每秒45帧，简化版能在检测精度上与其他检测方法持平的情况下，达到每秒145帧的检测速度。
YOLO将输入图像分为S×S的网格，如果目标中心处于一个网格中，这个网格就负责检测该目标，每个网格预测B个边框及其置信度，置信度得分反映模型中边框包含目标以及边框本身的准确度，定义为：
Figure BDA0002337571380000091
式中，
Figure BDA0002337571380000092
表示边框与真实边框重叠面积相对于两者总覆盖面积的比例，Pr(Object)为目标在该边框中的控制变量，若是则为0，否则为1。每个边框由边框中心(x,y)、边框长宽(w,h)和置信度组成，每个网格预测C个条件类别概率Pr(Classi|Object)，测试时，将条件概率与边框置信度相乘，得到类别得分为：
Figure BDA0002337571380000093
本发明中的深度卷积神经网络结构如图2所示，深度卷积神经网络包括级联的四个卷积层(C1,C2,C3,C4)、池化层、全连接层(FC1)和回归检测层(D1)，每个卷积层中的激活函数均为leaky ReLU激活函数；
Figure BDA0002337571380000094
本发明中的网络输入为由无人机机载相机采集到的224×224大小的RGB图像，输出为地标图案的位置和类别标签。
训练深度卷积神经网络时的损失函数为：
Figure BDA0002337571380000101
式中，
Figure BDA0002337571380000102
为边框损失，lcoord为控制边框损失的超参数，
Figure BDA0002337571380000103
为在第i个网格的第j个边框负责预测该目标的控制变量，xi为预测边框中心的横坐标，
Figure BDA0002337571380000104
为真实边框中心的横坐标，yi为预测边框中心的纵坐标，
Figure BDA0002337571380000105
为真实边框中心的纵坐标，wi为预测边框的宽度，
Figure BDA0002337571380000106
为真实边框的宽度，hi为预测边框的高度，
Figure BDA0002337571380000107
为真实边框的高度，S为图片中横向或纵向切分的网格数，B为每个网格预测的边框数；
Figure BDA0002337571380000108
为网格中有目标的置信度损失，Ci为边框置信度，
Figure BDA0002337571380000109
为真实边框的置信度；
Figure BDA00023375713800001010
为网格中无目标的置信度损失，lnoobj为控制该置信度损失的超参数，
Figure BDA00023375713800001011
为在第i个网格第j个边框中负责预测无任何目标的控制变量；
Figure BDA00023375713800001012
为分类损失，
Figure BDA00023375713800001013
为目标出现在第i个网格的控制变量，pi(c)为预测的类别条件概率，
Figure BDA00023375713800001014
为该类别的真实条件概率，classes为所有目标的类别，c为每个目标的类别。
上述步骤S2中，对地面图像进行地标图案检测的方法具体为：
A1、设置深度卷积神经网络的参数S＝7，B＝2，即将地面图像分割为7×7个网格，使每个网格生成两个预测边框；
A2、通过回归检测层输出一个7×7×N的张量，即49个N维的预测向量；
其中，N为自然数(这里取N＝15，即有5种待分类的目标)，在每个预测向量中，第1～5维为对应网格的第一个预测边框及其置信度(x0,y0,w0,h0,c0)，第6～10维为对应网格的第二个预测边框及其置信度(x1,y1,w1,h1,c1)，第11～15维Pr(Classi|Obight),i＝1,...,5对应网格中检测到的目标所属对应5种类别的概率；
A3、通过设置置信度阈值，将低于置信度阈值的预测边框删除，并通过非极大值抑制算法去除检测到同一目标的多余边框，进而得到地标图案的检测结果；
具体地，非极大值抑制算法为：
(1)从所有边框中选出置信度最高的一个作为参考边框，并加入输出边框集；
(2)计算该边框与其他所有边框的IOU，即参考边框与其他边框重叠面积与两者总覆盖面积的比例；
(3)从输入边框中移除IOU高于选定阈值的边框，由于降落地标图案中包含大小不一的重叠的相同图案，若边框的IOU高于阈值但置信度高于选定值，则将该边框直接加入输出边界集中；
(4)重复以上(1)～(3)，直到输入边框集为空，得到输出边框即滤过后不重叠的边框。
为了执行自主降落，需要特定降落地标图案用以引导无人机降落到指定位置，考虑到环境中存在的其他物体，降落地标的设计应有一定区别，以保证无人机不会将周围物体识别为地表图案，由于距离不同以及相机镜头引起的变形失真，地标图案在无人机降落过程中在相机采集到的图像中呈现不同形状，在较近的情况下甚至无法显示出完整形状，为保证无人机在不同距离上都能识别到相似图像，如图3所示，本发明中提供的地标图案为由若干相同形状的闭合线条构成环状结构，且每个闭合线条内一对对角处绘制有形状相同且大小不同的标识。
上述步骤S3具体为：
B1、根据当前地面图像中的地标图案的中心像素点T，该地面图像的中心像素点I，无人机机载相机的分辨率R，无人机的平移常量L，得到控制无人机水平移动时的下一位置坐标(Px+1,Py+1)为：
Figure BDA0002337571380000121
Figure BDA0002337571380000122
式中，(Tx,Ty)为当前地面图像中的地标图案的中心像素点的坐标；
(Ix,Iy)为地面图像的中心像素点的坐标；
(Px,Py)为无人机水平移动前的位置坐标；
B2、判断无人机水平移动后，采集的地面图像中的地标图案中心像素点与地面图像中心像素点之间的距离是否小于阈值g；
若是，则无人机移动到地标图案的正上空，进入步骤S4；
若否，则返回步骤B1。
如图4所示，上述步骤S4具体为：
C1、根据无人机的下降步长Hs，控制无人机下降到下一高度Hy+1；
其中，无人机下降时的下一高度Hy+1为：
Hy+1＝Hy-Hs
式中，Hy为无人机当前高度；
C2、判断当前地面图像中是否检测到地标图案，并判断当前地面图像中是否存在障碍物；
若检测到地标图案且不存在障碍物，则进入步骤C3；
若检测到地标图案且存在障碍物，则进入步骤C4；
若未检测到地标图案且不存在障碍物，则返回步骤B1；
若未检测到地标图案且存在障碍物，则进入步骤C4；
C3、判断当前高度Hy+1是否小于等于设定高度为H1；
若是，则进入步骤S5；
若否，则返回步骤C1；
C4、控制无人机水平移动，并根据障碍物中心点像素O，确定无人机下一水平位置坐标，进入步骤C5；
其中，无人机下一水平位置坐标
Figure BDA0002337571380000131
为：
Figure BDA0002337571380000132
Figure BDA0002337571380000133
式中，
Figure BDA0002337571380000134
为无人机水平移动前的位置坐标；
(Ox,Oy)为障碍物的中心像素坐标；
(Ix0,Iy0)为当前地面图像的中心像素点的坐标；
C5、使无人机重复执行步骤C4中的无人机水平移动，直到没有检测到障碍物，并下降高度Hs，返回步骤C2。
上述步骤S5中，使用针孔相机模型对无人机与地标图案的相对位姿进行确定，针孔相机模型为：
Figure BDA0002337571380000135
即
Figure BDA0002337571380000141
式中，
Figure BDA0002337571380000142
为地标图案中的任意一点在世界坐标系中的位置的齐次坐标，以地标图案上某点作为世界坐标系原点，可通过测量获得该坐标；
A为相机的内参数矩阵，可通过相机标定获得；
Figure BDA0002337571380000143
为地标图案中的任意一点在在相机图像中的对应像素点的齐次坐标；
Figure BDA0002337571380000144
Mw为世界坐标系与相机坐标系之间的变换矩阵，由旋转矩阵和平移向量组成，即无人机与地标图案的相对位姿；
(fx,fy)为相机缩放参数；
(cx,cy)为相机坐标系原点平移参数；
rpq为旋转参数，p＝1,2,3，q＝1,2,3；
tx,ty,tz为平移参数。
上述针孔相机模型将三维世界中的一点投影到相机图像的像素点上，给定3D世界的参考点及2D图像上的投影的对应关系，求解一个以标定的相机相对与已知参考点的位置和朝向，即位姿估计，也被称为PnP(Perspective-n-Point)问题，求解PnP问题有很多种算法，本发明中所涉及的所有参考点均处于同一平面，即地标图案上，因此采用IPPE(Infinitesimal Plane-Based Pose Estimation)，因此
上述步骤S5中确定无人机与地标图案的相对位姿的方法具体为：
D1、通过无人机机载相机在挂载到无人机之前拍摄若干黑白棋盘格照片，并将其尺寸统一为224×224；
D2、基于拍摄的黑白棋盘格照片，使用张正友算法对相机进行标标定，获取无人机机载相机的内参数矩阵A；
D3、选取地标图案上的任意一点作为世界坐标系的原点建立三维坐标系，并根据建立的三维坐标系测量地标图案中各图案中心及边角点在该坐标系中的坐标；
D4、将深度卷积神经网络检测得到的边框中心及边框边角作为2D投影点，将地标图案中心和边角点作为3D参考点，并基于内参数矩阵A使用IPPE算法对PnP问题进行求解，得到世界坐标系与相机坐标系之间的变换矩阵Mw，即无人机与地标图案的相对位姿。
需要说明的是，无人机在下降过程中，利用深度卷积网络对相机采集的图像进行检测时，由于地标图案中存在多个相似的图案，在检测中可能检测到多个边框，当得到多个边框时，将多余边框的中心点也作为2D投影点，加上对应的3D参考点，一并作为IPPE算法的输出，进行相对位姿的求解。
基于求解得到的相对位姿Mw，控制无人机向地标图案降落的方法具体为：
E1、确定用于挂载无人机机载相机的云台的偏转角度，进而确定相机坐标系到无人机坐标系的变换矩阵Mc；
E2、根据地标图案在的任意一点在世界坐标系上的坐标M、变换矩阵Mc和相对位姿Mw，得到该点在无人机坐标系中的位置坐标m为：
m＝McMwM
E3、将该点在无人机坐标系中的位置坐标m输入到无人机飞行控制系统中，控制无人机进行相应的机动，进而使无人机向地标图案降落。
本发明的有益效果为：
本发明提供的基于深度卷积神经网络的无人机自主降落方法将传统自主降落中图像处理及地标检测部分替换为深度卷积神经网络，通过求解PnP问题估计无人机与地标之间的相对位姿，以精确调整无人机的姿态和位置，同时为减轻无人机的计算负担，在高度较高的情况下采用基于图像的方法调整无人机水平位置，保证无人机处于地标的正上空，并能够在下降过程中检测微小障碍物并避开障碍物，克服了无人机自主降落传统方法降落地标检测的低可靠性问题，提升了在多种光照和背景下无人机自主降落的可靠性。

Claims (3)

1.一种基于深度卷积神经网络的无人机自主降落方法，其特征在于，包括以下步骤：
S1、在GPS导航下，使无人机飞行至降落区域，并通过无人机机载相机实时采集地面图像；
S2、通过训练好的深度卷积网络对采集的地面图像进行地标图案检测；
S3、根据采集的地面图像中心点与检测到的地标图案中心点的重合度，控制无人机水平移动，直到移动到地标图案的正上空；
S4、控制无人机下降并避障，直到其下降到设定高度；
S5、通过确定无人机与地标图案的相对位姿，控制无人机向地标图案降落直到着陆，实现无人机的自主降落；
所述步骤S1中无人机机载相机垂直向下，其采集的地面图像区域为无人机的正下方区域；
所述步骤S2中的深度卷积神经网络通过YOLO目标检测方法对采集的地面图像进行地标图案检测；
所述深度卷积神经网络包括级联的四个卷积层、池化层、全连接层和回归检测层，每个所述卷积层中的激活函数均为leaky ReLU激活函数；
所述深度神经网络的输入为224×224大小的RGB图像，输出为地标图案的位置和类别标签；
所述步骤S2中训练深度卷积神经网络时的损失函数为：
Figure FDA0003214582940000021
式中，
Figure FDA0003214582940000022
为边框损失，lcoord为控制边框损失的超参数，
Figure FDA0003214582940000023
为在第i个网格的第j个边框负责预测该目标的控制变量，xi为预测边框中心的横坐标，
Figure FDA0003214582940000024
为真实边框中心的横坐标，yi为预测边框中心的纵坐标，
Figure FDA0003214582940000025
为真实边框中心的纵坐标，wi为预测边框的宽度，
Figure FDA0003214582940000026
为真实边框的宽度，hi为预测边框的高度，
Figure FDA0003214582940000027
为真实边框的高度，S为图片中横向或纵向切分的网格数，B为每个网格预测的边框数；
Figure FDA0003214582940000028
为网格中有目标的置信度损失，Ci为边框置信度，
Figure FDA0003214582940000029
为真实边框的置信度；
Figure FDA00032145829400000210
为网格中无目标的置信度损失，lnoobj为控制该置信度损失的超参数，
Figure FDA00032145829400000211
为在第i个网格第j个边框中负责预测无任何目标的控制变量；
Figure FDA00032145829400000212
为分类损失，
Figure FDA00032145829400000213
为目标出现在第i个网格的控制变量，pi(c)为预测的类别条件概率，
Figure FDA00032145829400000214
为该类别的真实条件概率，classes为所有目标的类别，c为每个目标的类别；
所述步骤S2中地标图案为由若干相同形状的闭合线条构成环状结构，且每个闭合线条内一对对角处绘制有形状相同且大小不同的标识；
所述步骤S2中，对地面图像进行地标图案检测的方法具体为：
A1、将地面图像分割为7×7个网格，使每个网格生成两个预测边框；
A2、通过回归检测层输出一个7×7×15的张量，即49个15维的预测向量；
其中，在每个预测向量中，第1～5维为对应网格的第一个预测边框及其置信度，第6～10维为对应网格的第二个预测边框及其置信度，第11～15维对应网格中检测到的目标所属对应类别的概率；
A3、通过设置置信度阈值，将低于置信度阈值的预测边框删除，并通过非极大值抑制算法去除检测到同一目标的多余边框，进而得到地标图案的检测结果；
所述步骤S3具体为：
B1、根据当前地面图像中的地标图案的中心像素点T，该地面图像的中心像素点I，无人机机载相机的分辨率R，无人机的平移常量L，得到控制无人机水平移动时的下一位置坐标(Px+1,Py+1)为：
Figure FDA0003214582940000031
Figure FDA0003214582940000032
式中，(Tx,Ty)为当前地面图像中的地标图案的中心像素点的坐标；
(Ix,Iy)为地面图像的中心像素点的坐标；
(Px,Py)为无人机水平移动前的位置坐标；
B2、判断无人机水平移动后，采集的地面图像中的地标图案中心像素点与地面图像中心像素点之间的距离是否小于阈值g；
若是，则无人机移动到地标图案的正上空，进入步骤S4；
若否，则返回步骤B1；
所述步骤S4具体为：
C1、根据无人机的下降步长Hs，控制无人机下降到下一高度Hy+1；
其中，无人机下降时的下一高度Hy+1为：
Hy+1＝Hy-Hs
式中，Hy为无人机当前高度；
C2、判断当前地面图像中是否检测到地标图案，并判断当前地面图像中是否存在障碍物；
若检测到地标图案且不存在障碍物，则进入步骤C3；
若检测到地标图案且存在障碍物，则进入步骤C4；
若未检测到地标图案且不存在障碍物，则返回步骤S3；
若未检测到地标图案且存在障碍物，则进入步骤C4；
C3、判断当前高度Hy+1是否小于等于设定高度为H1；
若是，则进入步骤S5；
若否，则返回步骤C1；
C4、控制无人机水平移动，并根据障碍物中心点像素O，确定无人机下一水平位置坐标，进入步骤C5；
其中，无人机下一水平位置坐标
Figure FDA0003214582940000041
为：
Figure FDA0003214582940000042
Figure FDA0003214582940000043
式中，
Figure FDA0003214582940000044
为无人机水平移动前的位置坐标；
(Ox,Oy)为障碍物的中心像素坐标；
(Ix0,Iy0)为当前地面图像的中心像素点的坐标；
C5、使无人机重复执行步骤C4中的无人机水平移动，直到没有检测到障碍物，并下降高度Hs，返回步骤C2。
2.根据权利要求1所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S5中，使用针孔相机模型对无人机与地标图案的相对位姿进行确定，所述针孔相机模型为：
Figure FDA0003214582940000051
式中，
Figure FDA0003214582940000052
为地标图案中的任意一点在世界坐标系中的位置的齐次坐标；
A为相机的内参数矩阵；
Figure FDA0003214582940000053
为地标图案中的任意一点在在相机图像中的对应像素点的齐次坐标；
Figure FDA0003214582940000054
Mw为世界坐标系与相机坐标系之间的变换矩阵，即无人机与地标图案的相对位姿；
确定无人机与地标图案的相对位姿的方法具体为：
D1、通过无人机机载相机在挂载到无人机之前拍摄若干黑白棋盘格照片，并将其尺寸统一为224×224；
D2、基于拍摄的黑白棋盘格照片，使用张正友算法对相机进行标定，获取无人机机载相机的内参数矩阵A；
D3、选取地标图案上的任意一点作为世界坐标系的原点建立三维坐标系，并根据建立的三维坐标系测量地标图案中各图案中心及边角点在该坐标系中的坐标；
D4、将深度卷积神经网络检测得到的边框中心及边框边角作为2D投影点，将地标图案中心和边角点作为3D参考点，并基于内参数矩阵A使用IPPE算法对PnP问题进行求解，得到世界坐标系与相机坐标系之间的变换矩阵Mw，即无人机与地标图案的相对位姿。
3.根据权利要求2所述的基于深度卷积神经网络的无人机自主降落方法，其特征在于，所述步骤S5中，控制无人机向地标图案降落的方法具体为：
E1、确定用于挂载无人机机载相机的云台的偏转角度，进而确定相机坐标系到无人机坐标系的变换矩阵Mc；
E2、根据地标图案在的任意一点在世界坐标系上的坐标M、变换矩阵Mc和相对位姿Mw，得到该点在无人机坐标系中的位置坐标m为：
m＝McMwM
E3、将该点在无人机坐标系中的位置坐标m输入到无人机飞行控制系统中，控制无人机进行相应的机动，进而使无人机向地标图案降落。
CN201911362522.5A 2019-12-26 2019-12-26 一种基于深度卷积神经网络的无人机自主降落方法 Active CN110825101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911362522.5A CN110825101B (zh) 2019-12-26 2019-12-26 一种基于深度卷积神经网络的无人机自主降落方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911362522.5A CN110825101B (zh) 2019-12-26 2019-12-26 一种基于深度卷积神经网络的无人机自主降落方法

Publications (2)

Publication Number Publication Date
CN110825101A CN110825101A (zh) 2020-02-21
CN110825101B true CN110825101B (zh) 2021-10-22

Family

ID=69546374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911362522.5A Active CN110825101B (zh) 2019-12-26 2019-12-26 一种基于深度卷积神经网络的无人机自主降落方法

Country Status (1)

Country Link
CN (1) CN110825101B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474953B (zh) * 2020-03-30 2021-09-17 清华大学 多动态视角协同的空中目标识别方法及系统
CN111627062B (zh) * 2020-06-08 2021-02-05 星逻人工智能技术(上海)有限公司 飞行器停机状态控制方法、装置及装置使用方法
CN111783597B (zh) * 2020-06-24 2022-12-13 中国第一汽车股份有限公司 行车轨迹线的标定方法、装置、计算机设备和存储介质
CN111831010A (zh) * 2020-07-15 2020-10-27 武汉大学 一种基于数字空间切片的无人机避障飞行方法
CN112329551A (zh) * 2020-10-16 2021-02-05 深圳中科保泰科技有限公司 无人机自主降落方法及模型训练方法
CN112241180B (zh) * 2020-10-22 2021-08-17 北京航空航天大学 一种无人机移动平台降落引导的视觉处理方法
WO2022104746A1 (zh) * 2020-11-20 2022-05-27 深圳市大疆创新科技有限公司 返航控制方法、装置、无人机及计算机可读存储介质
CN112906479B (zh) * 2021-01-22 2024-01-26 成都纵横自动化技术股份有限公司 一种无人机辅助降落方法及其系统
CN112947526B (zh) * 2021-03-12 2022-09-27 华中科技大学 一种无人机自主降落方法和系统
CN113899367B (zh) * 2021-08-25 2022-07-08 广州优飞智能设备有限公司 无人机降落的定位方法、装置、计算机设备及存储介质
WO2023178476A1 (zh) * 2022-03-21 2023-09-28 深圳市大疆创新科技有限公司 无人机降落的控制方法和装置、无人机
US12087063B2 (en) 2022-04-28 2024-09-10 Toyota Research Institute, Inc. Systems and methods for detecting traffic lights corresponding to a driving lane
CN114973780A (zh) * 2022-07-27 2022-08-30 中国铁塔股份有限公司湖北省分公司 无人机停机数据通讯方法、装置、设备及存储介质
CN115857519B (zh) * 2023-02-14 2023-07-14 复亚智能科技(太仓)有限公司 一种基于视觉定位的无人机曲面平台自主降落方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700551A (zh) * 2016-01-27 2016-06-22 浙江大华技术股份有限公司 无人机降落区域确定方法、无人机降落方法及相关装置
CN106023605A (zh) * 2016-07-15 2016-10-12 姹ゅ钩 一种基于深度卷积神经网络的交通信号灯控制方法
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
CN108052946A (zh) * 2017-12-11 2018-05-18 国网上海市电力公司 一种基于卷积神经网络的高压机柜开关自动识别方法
CN108827316A (zh) * 2018-08-20 2018-11-16 南京理工大学 基于改进的Apriltag标签的移动机器人视觉定位方法
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN109573029A (zh) * 2018-12-17 2019-04-05 江苏蒲公英无人机有限公司 一种植保无人机返航降落避障的方法
CN109785392A (zh) * 2018-12-17 2019-05-21 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法
CN110174092A (zh) * 2019-04-26 2019-08-27 北京航空航天大学 一种基于红外编码靶标的密集集群相对定位方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166854B (zh) * 2014-08-03 2016-06-01 浙江大学 针对小型无人机自主降落的视觉分级地标定位识别方法
US10049307B2 (en) * 2016-04-04 2018-08-14 International Business Machines Corporation Visual object recognition
CN110989687B (zh) * 2019-11-08 2021-08-10 上海交通大学 一种基于嵌套正方形视觉信息的无人机降落方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700551A (zh) * 2016-01-27 2016-06-22 浙江大华技术股份有限公司 无人机降落区域确定方法、无人机降落方法及相关装置
CN106023605A (zh) * 2016-07-15 2016-10-12 姹ゅ钩 一种基于深度卷积神经网络的交通信号灯控制方法
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
CN108052946A (zh) * 2017-12-11 2018-05-18 国网上海市电力公司 一种基于卷积神经网络的高压机柜开关自动识别方法
CN108827316A (zh) * 2018-08-20 2018-11-16 南京理工大学 基于改进的Apriltag标签的移动机器人视觉定位方法
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN109573029A (zh) * 2018-12-17 2019-04-05 江苏蒲公英无人机有限公司 一种植保无人机返航降落避障的方法
CN109785392A (zh) * 2018-12-17 2019-05-21 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法
CN110174092A (zh) * 2019-04-26 2019-08-27 北京航空航天大学 一种基于红外编码靶标的密集集群相对定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉引导的旋翼无人机移动平台自主着陆技术研究;任毅;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20191015;第2-4章 *

Also Published As

Publication number Publication date
CN110825101A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110825101B (zh) 一种基于深度卷积神经网络的无人机自主降落方法
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
Mondragón et al. 3D pose estimation based on planar object tracking for UAVs control
US9542600B2 (en) Cloud feature detection
CN111241988B (zh) 一种结合定位信息的大场景内运动目标检测识别方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN106444837A (zh) 一种无人机避障方法及系统
CN109934131A (zh) 一种基于无人机的小目标检测方法
CN107742276A (zh) 一种基于无人机遥感图像机载一体化快速处理系统和方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
Kim et al. As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV
CN116619358A (zh) 一种矿山自主探测机器人自适应定位优化与建图方法
Wang et al. Autonomous landing of multi-rotors UAV with monocular gimbaled camera on moving vehicle
Rosero et al. Calibration and multi-sensor fusion for on-road obstacle detection
CN116466586A (zh) 一种基于Transformer网络的遮挡目标空地协同追踪方法
Omar et al. Detection and localization of traffic lights using YOLOv3 and Stereo Vision
CN113971697A (zh) 一种空地协同车辆定位定向方法
Cigla et al. Image-based visual perception and representation for collision avoidance
CN115683109B (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
Dubey et al. Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance
CN114353779B (zh) 一种采用点云投影快速更新机器人局部代价地图的方法
CN112102412B (zh) 一种无人机降落过程中视觉锚点的检测方法及系统
US20230045287A1 (en) A method and system for generating a colored tridimensional map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant