CN113052151B - 基于计算机视觉的无人机自动降落引导方法 - Google Patents

基于计算机视觉的无人机自动降落引导方法 Download PDF

Info

Publication number
CN113052151B
CN113052151B CN202110606126.3A CN202110606126A CN113052151B CN 113052151 B CN113052151 B CN 113052151B CN 202110606126 A CN202110606126 A CN 202110606126A CN 113052151 B CN113052151 B CN 113052151B
Authority
CN
China
Prior art keywords
image
aerial vehicle
unmanned aerial
deep learning
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110606126.3A
Other languages
English (en)
Other versions
CN113052151A (zh
Inventor
刘云川
郑侃
郑光胜
殷姣
叶明�
黄进凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baolong Hongrui Technology Co.,Ltd.
Chongqing Hongbao Technology Co.,Ltd.
Sichuan hongbaorunye Engineering Technology Co.,Ltd.
Original Assignee
Beijing Baolong Hongrui Technology Co ltd
Chongqing Qingyun Petroleum Engineering Technology Co ltd
Sichuan Hongbaorunye Engineering Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baolong Hongrui Technology Co ltd, Chongqing Qingyun Petroleum Engineering Technology Co ltd, Sichuan Hongbaorunye Engineering Technology Co ltd filed Critical Beijing Baolong Hongrui Technology Co ltd
Priority to CN202110606126.3A priority Critical patent/CN113052151B/zh
Publication of CN113052151A publication Critical patent/CN113052151A/zh
Application granted granted Critical
Publication of CN113052151B publication Critical patent/CN113052151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于计算机视觉和神经网络技术，本发明创新性的公开了一种基于计算机视觉的无人机自动降落引导方法，所述方法包括以下步骤：第一步骤中，判断无人机是否到达预定位置，所述预定位置包括高度信息；第二步骤中，确定到达预定位置后，利用无人机上的摄像机获取的图像生成图像热度图；第三步骤中，基于级联深度卷积模型识别无人机停机坪的位置信息，并基于图像热度图生成姿态信息；第四步骤中，基于所述位置信息和姿态信息引导无人机自动降落。本发明还创新性的引入了辅助神经网络用于训练有关深度神经网络。

Description

基于计算机视觉的无人机自动降落引导方法
技术领域
本发明属于计算机视觉领域，特别是一种基于计算机视觉的无人机自动降落引导方法。
背景技术
现有技术中，无人机降落一般是基于飞手的人为操控或者是固设程序减速降落。现有技术的自动降落存在的缺陷为地形适用性差，降落位置偏差大且降落姿态不匹配导致降落冲击大且不安全。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
针对现有技术中存在的问题，本发明提出一种基于计算机视觉的无人机自动降落引导方法，耗费时间少，具有更高的降落精度和效率。
本发明的目的是通过以下技术方案予以实现，一种基于计算机视觉的无人机自动降落引导方法，其特征在于，所述方法包括以下步骤：
第一步骤，判断无人机是否到达预定位置，所述预定位置包括高度信息；
第二步骤，确定到达预定位置后，利用无人机上的摄像机获取的图像生成图像热度图；
第三步骤，基于级联深度学习网络识别无人机停机坪的位置信息，并基于图像热度图生成姿态信息，其中，所述级联深度学习网络包括依次级联的PNet深度学习网络、RNet深度学习网络和ONet深度学习网络，所述无人机停机坪上预先设置有停机坪的M个关键点；
第四步骤，基于所述位置信息和姿态信息引导无人机自动降落。
优选的，所述第三步骤通过如下方式识别无人机停机坪的位置信息：
PNet深度学习网络通过识别所述关键点从图像热度图中筛选出第一复数个包括停机坪的候选框；
RNet深度学习网络从PNet深度学习网络的输出中排除掉错误的候选框，并进一步的筛选以得到相比第一复数个候选框更少的第二复数个候选框，并调整所述第二复数个候选框中每一个候选框的位置和大小；
ONet深度学习网络从RNet深度学习网络的输出中进一步筛选以得到最终确定的1个停机坪的候选框。
优选的，当PNet为深度神经网络时，对其训练时，还包括如下步骤：
S301：对于每一张用于训练该深度神经网络的图像进行手工标注，标注关键点的位置，得到标注后的每张图像；
S302：构造一种辅助神经网络，以辅助深度神经网络对图像的学习和训练。
优选的，所述步骤S302具体包括如下步骤：
S3021：将标注后的每张图像作为深度神经网络的输入，并从所述深度神经网络选择适当的中间层，获取该中间层的输出；
S3022：建立一个由卷积函数构成的辅助神经网络；
S3023：将所述中间层的输出及对应的标注前的每张图像的姿态估计矩阵，均输入到辅助神经网络；
S3024：将辅助神经网络与所述深度神经网络的输出进行合并，共同输入到所述深度神经网络的损失函数以优化所述深度神经网络的学习。
优选的，步骤S3023中的姿态估计矩阵通过如下步骤获得：
S30231：对摄像头的相机进行标定，求解出相机的内参数，所述内参数包括：图像光轴主点、X和Y方向焦距、切向畸变系数、径向畸变系数；
S30232：进一步按如下方式求解姿态估计矩阵：
根据式x = M*[R|t]*X，求解姿态估计矩阵[R|t]，
其中，M为相机的内参数，X为世界坐标系，x为已知被拍摄物体的图像像素坐标；R为姿态估计矩阵的旋转向量，t为姿态估计矩阵的平移向量。
优选的，通过拍摄在不同方向、不同位置、尺寸已知的棋盘格在图像坐标系中的像素坐标，求解出相机的内参数。
优选的，棋盘格取10cm*10cm。
优选的，所述深度神经网络选择ResNet50。
优选的，所述辅助神经网络选择ResNet18。
本发明相比于传统标记方法的优点在于自动快速降落且显著提高降落精度和效率。本方法实现了从离地约100米的空中引导无人机精确降落到专用的无人机停机坪上。本方法在无人机到达预置GPS或北斗定位点坐标后开启视觉引导算法。在视觉引导过程中，首先从搭载于无人机上的摄像机云台上获取图像，识别地面上的无人机专用停机坪，识别到停机坪后，启动关键点识别算法，识别停机坪上预先设置好的关键点，根据关键点引导无人机调整姿态并降落。
此外，本发明相比传统的训练，也创新性的引入了辅助神经网络，以提高鲁棒性。考虑到图像识别的最终结果是输出各个关键点在图像上的坐标。然而，如果按照现有技术的做法：深度神经网络对图像进行学习，直接输出二维坐标来进行优化学习，则是一个极其非线性的过程，而且在优化学习时，用以优化的损失函数对神经网络内的权重的约束也会比较弱。因此，我们根据训练的图像及手工标注的关键点的位置，通过构造一种辅助神经网络，最终构造了一种中间状态，用以辅助深度神经网络的训练及学习。
上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
在附图中：
图1为本发明的一个实施例中步骤流程示意图；
图2为本发明一个实施例的示意图；
图3为本发明一个实施例的丝印示意图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
下面将参照附图1至图3更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
结合图1，本发明揭示了一种基于计算机视觉的无人机自动降落引导方法，所述方法包括以下步骤：
第一步骤，判断无人机是否到达预定位置，所述预定位置包括高度信息；
能够理解，无人机在降落前，预定位置的目标值是降落地例如无人机停机坪，例如表现为作为目标的GPS或北斗的坐标。在整个飞行过程中，都要获取其GPS信息直至达到预定位置，通过GPS信息判断已经到达预定位置且解析其中高度信息。从该预定位置处，开始执行本方法。
第二步骤，确定到达预定位置后，利用无人机上的摄像机获取的图像生成图像热度图；
能够理解，在预定位置处，准备降落时，既然本发明是基于计算机视觉的引导降落方法，因此，开始通过摄像机获取图片。热度图往往利用近红外摄像机或者包括其他热敏传感器的摄像机来获得，这也是为了无人机适应白天和夜间的飞行以及降落。
第三步骤，基于级联深度学习网络识别无人机停机坪的位置信息，并基于图像热度图生成姿态信息，其中，所述级联深度学习网络包括依次级联的PNet深度学习网络、RNet深度学习网络和ONet深度学习网络，所述无人机停机坪上预先设置有停机坪的M个关键点；
需要示例性说明的是，本发明可以通过如下方式完成所述级联深度学习网络中参数的确定：
采集图像热度图的图像样本，根据停机坪的关键点截取出图像中的停机坪区域，组成训练集{x1,x2,…,xn}；
标记出训练集中的xi对应的M个关键点，i从1取值到n；
根据如下方式生成包括所有M个关键点热度信息的关键点热度图，其中，对于M中的每个关键点：
hmn=exp(D(coli,rowi)/(2σ2))，
其中，hmn代表热度图的因变量，exp函数代表高斯分布，σ代表标准差，D(coli,rowi)代表图像中的第i个点与关键点之间的距离，D(coli,rowi)=(coli-col)2+(rowi-row) 2，其中，coli、rowi分别为热度图中第i个点的横纵坐标，col,row则为关键点的坐标，coli、rowi中的i从1取值到所述热度图的所有点的总数；
对级联深度学习网络中PNet深度学习网络、RNet深度学习网络和ONet深度学习网络的所有参数进行随机初始化；
将训练集与对应的图像热度图输入到级联深度学习网络中进行训练，计算级联深度学习网络输出的停机坪的位置信息与实际热度图上标记的停机坪的位置信息的MSE误差，通过误差的反向传播修正级联深度学习网络中的参数。
第四步骤，基于所述位置信息和姿态信息引导无人机自动降落。
能够发现，本申请通过计算机视觉和深度学习技术自动引导无人机降落，其中，PNet、RNet、ONet网络（本领域也称模型）的网络参数通过上述方式得以确定。自然的，如上所述，误差本身参与网络的参数的确定。
在另一个实施例中，所述第三步骤通过如下方式识别无人机停机坪的位置信息：
PNet深度学习网络通过识别所述关键点从图像热度图中筛选出第一复数个包括停机坪的候选框；
RNet深度学习网络从PNet深度学习网络的输出中排除掉错误的候选框，并进一步的筛选以得到相比第一复数个候选框更少的第二复数个候选框，并调整所述第二复数个候选框中每一个候选框的位置和大小；
ONet深度学习网络从RNet深度学习网络的输出中进一步筛选以得到最终确定的1个停机坪的候选框。
如图2所示，其示例性的说明了本申请在应用过程中，如何从起始的3个候选框直至最后2个候选框完成位置的确定。能够理解，当误差满足条件时，引导无人机降落。
就图2而言，该图通过4个方框示意，沿箭头方向阐述了本发明的构思：
图2中的方框a1示意无人机停机坪的原始图像，图中类似三角形的图案代表无人机停机坪上覆盖的丝印；
图2中的方框a2示意将原始图像输入到级联网络的PNet处理后，生成多个（例如3个）候选框，分别是候选框b1，b2，b3；
图2中的方框a3示意RNet对PNet的结果进行筛选以得到更少数量（例如2个，即b1和b2）的候选框，并调整相关候选框的位置，大小，使得更好的聚焦停机坪；
图2中的方框a4示意ONet对RNet的结果进行进一步的调整，以输出停机坪的最终位置，并以最终的1个候选框较为精确的框选该最终位置，例如最终将b1候选框调整为候选框b1’。
按照前文所述的实施例，本发明中公开的算法包含两部分，其一是基于级联深度卷积模型的无人机停机坪识别，其二是基于图像热度图的关键点识别。在基于级联深度卷积模型的无人机停机坪识别由3个深度学习卷积模型级联而成，分别为PNet，RNet，ONet。
进一步的，参见图3，其接收到前面步骤识别到的停机坪图像后，从停机坪图像中提取有序关键点（例如图3中的3个关键点）以便于无人机进行姿态调整。为便于区分各个关键点，在一个实施例中，本方法特示例性的设计停机坪上的丝印图片如图3所示。
需要说明的是，三个深度学习卷积模型的级联，仅识别关键点和位置，相较于可直接端到端输出结果的常规通过二维码，ARUCO等单个算法模型，可以在同等的精度下，极大的减小算法模型中的参数数量，并提高算法运行的实时性。也就是说：本方法首次公开了一种利用目标检测结合关键点检测实现引导无人机自动降落的算法，实现了一种基于计算机视觉的无人机自动降落引导方法。该算法具有实时性高，检测精度的优点。相较于常见的通过二维码，ARUCO等算法，本方法可在无人机离地15米至20米的情况下开启停机坪检测，引导无人机飞向停机坪附近；同时可在离地10米至15米的情况下开启停机坪关键点检测，引导无人机调整自身姿态准确降落在停机坪上。而目前的ARUCO等算法需要精确的看到停机坪上的二维码才能正确引导无人机调整自身姿态，对离地高度，摄像头的成像质量都有一定的要求，同时存在需要多个二维码辅助的情况。而本方法中公开的算法通过普通的摄像头在10米至15米，通过识别单个停机坪标识即可完成姿态引导。最高，本方法可以在距离地面约100米处开始实时、高效、精准的引导降落，高度主要取决于摄像头的拍照能力。
然而，需要说明的是，通过级联对无人机精准、高效引导其降落不是本发明的所有技术贡献。本发明的另一技术贡献在于训练深度神经网络时采取的辅助神经网络及其具体手段，见下文实施例。
在另一个实施例中，第三步骤还包括：训练PNet。当PNet为深度神经网络时，对其训练时，还包括如下步骤：
S301：对于每一张用于训练该深度神经网络的图像进行手工标注，标注关键点的位置，得到标注后的每张图像；
S302：构造一种辅助神经网络，以辅助深度神经网络对图像的学习和训练。
关于该实施例，除了前述的候选框，考虑到图像识别的最终也还要输出各个关键点在图像上的坐标，就这一点而言，如果按照现有技术的做法：深度神经网络对图像进行学习，直接输出二维坐标来进行优化学习，则是一个极其非线性的过程，而且在优化学习时，用以优化的损失函数对神经网络内的权重的约束也会比较弱。因此，在本实施例中，我们根据训练的图像及手工标注的关键点的位置，通过构造一种辅助神经网络，最终构造了一种中间状态，用以辅助深度神经网络的训练及学习。能够理解，当级联的其他模型也为深度神经网络时，同样可以采用上述辅助神经网络的方式，辅助相应的神经网络对图像进一步筛选进行学习和训练。
在另一个实施例中，步骤S302，包括：
S3021：将标注后的每张图像作为深度神经网络的输入，并从所述深度神经网络选择适当的中间层，获取该中间层的输出；
需要说明的是，所述适当的中间层，是指：网络中靠后的层。能够理解，一般将网络的输入一侧看作前侧，网络的输出一侧看作后侧，那么，网络中靠后的层也就是靠近输出的层。示例性的，网络总层数超过8层时，中间层优选靠后的层，例如第8层。
S3022：建立一个由卷积函数构成的辅助神经网络；
S3023：将所述中间层的输出及对应的标注前的每张图像的姿态估计矩阵，均输入到辅助神经网络；
S3024：将辅助神经网络与所述深度神经网络的输出进行合并，共同输入到所述深度神经网络的损失函数以优化所述深度神经网络的学习。
在另一个实施例中，
步骤S3023中的姿态估计矩阵通过如下步骤获得：
S30231：对摄像机的相机进行标定，求解出相机的内参数，所述内参数包括：图像光轴主点、X和Y方向焦距、切向畸变系数、径向畸变系数；
S30232：进一步按如下方式求解姿态估计矩阵：
根据式x = M*[R|t]*X，求解姿态估计矩阵[R|t]，
其中，M为相机的内参数，X为世界坐标系，x为已知被拍摄物体的图像像素坐标；R为姿态估计矩阵的旋转向量，t为姿态估计矩阵的平移向量。
在另一个实施例中，
通过拍摄在不同方向、不同位置、尺寸已知的棋盘格在图像坐标系中的像素坐标，求解出相机的内参数。
在另一个实施例中，
棋盘格取10cm*10cm。
在另一个实施例中，
所述深度神经网络选择ResNet50。典型的，通过Python来实现本方法。
在另一个实施例中，
所述辅助神经网络选择ResNet18。
在另一个实施例中，
所述卷积函数为Conv(input,w)，其中，input表示输入，w表示权重。
在另一个实施例中，损失函数选择均方误差函数。
对于前文所述的有关实施例，本公开有效降低了相关模型训练时拟合的难度，同时提高了模型的鲁棒性。在同样的测试集中，采用上述图像作为训练集及采用上述训练、优化方法后，模型的map@0.5精度高于未采用的模型2.76%。进一步需要指出的是，通过基于Ranssac算法的PNP求解姿态估计矩阵时，即使在实际场景验证中，发现PNP求解的平均误差在5%左右，但由于本公开有效降低了相关模型训练时拟合的难度，同时提高了模型的鲁棒性，这使得姿态估计矩阵的误差并不影响后续的实际场景验证。
在另一个实施例中，
对级联的相应模型参数进行随机初始化，
将训练集与对应的热度图输入到级联深度学习网络，例如从级联的第一个网络PNet输入，以进行训练，计算级联深度学习网络的输出与实际热度图的MSE误差，即均方误差，并通过误差的反向传播修正级联深度学习网络中的参数。
所述的方法的优选实施方式中，每张图片对应N个关键点，每张图片产生N张热度图。此N张热度图用于整个第三步骤。如果一个停机坪的关键点总数为M，则N应当小于等于M，最佳的，N等于M。
为了进一步理解本发明，在一个实施例，本方法中公开的算法实际上可以分离为两部分的识别，其一是基于级联深度卷积模型的无人机停机坪识别，其二是基于图像热度图的关键点识别。在基于级联深度卷积模型的无人机停机坪识别由3个深度学习卷积模型级联而成，分别为PNet，RNet，ONet，其中，PNet从图像中筛选出停机坪的候选位置，RNet从PNet的输出中进行进一步的筛选，排除部分错误结果，ONet对RNet的结果进行进一步的微调。而筛选停机坪的候选位置，则通过分离出的另一部分，即上述基于图像热度图的关键点识别。
在本方法中公开的基于图像热度图的关键点识别算法中，其接收到上一步算法识别到停机坪图像后，即基于上述第二步骤的热度图，在第三步骤中先识别到停机坪图像（备注：通过识别停机坪的位置信息识别到停机坪，特别需要说明的是，位置信息不仅仅可以是关键点，也可以是停机坪的地理信息，包括经纬度信息，还可以是二者的结合以便更加高效的识别停机坪），第三步骤的在后部分实现：从停机坪图像中提取关键点以便于无人机进行姿态调整。该第三步骤的算法优选由全卷积深度学习神经网络构成。
在训练完成后，将算法模型部署到无人机上；能够理解，算法模型被部署时，其必然部署到相关的、具有处理器的平台；
本发明部署后，获取无人机摄像头的输入，以此作为部署后的模型的输入，部署后的模型输出无人机停机坪的关键点坐标到无人机（例如将关键点坐标发送到飞控模块），指引无人机降落。
能够理解，本方法公开了一种基于计算机视觉的无人机自动降落引导方法。从实际应用效果来看，本方法实现了从离地约100米的空中引导无人机精确降落到专用的无人机停机坪上，相比现有技术提高了效率和精度。
在运行过程中，本方法在无人机到达预置GPS或北斗定位的坐标后开启视觉引导算法，在视觉引导过程中，无人机系统首先从搭载于无人机上的摄像机云台上获取图像，识别地面上的无人机专用停机坪；识别到停机坪的同时启动关键点识别算法，识别停机坪上预先设置好的关键点，根据关键点引导无人机调整姿态并降落。
尽管以上对本发明的实施方案进行了描述，但本发明不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，均属于本发明保护之列。

Claims (9)

1.一种基于计算机视觉的无人机自动降落引导方法，其特征在于，所述方法包括以下步骤：
第一步骤，判断无人机是否到达预定位置，所述预定位置包括高度信息；
第二步骤，确定到达预定位置后，利用无人机上的摄像机获取的图像生成图像热度图；
第三步骤，基于级联深度学习网络识别无人机停机坪的位置信息，并基于图像热度图生成姿态信息，其中，所述级联深度学习网络包括依次级联的PNet深度学习网络、RNet深度学习网络和ONet深度学习网络，所述无人机停机坪上预先设置有停机坪的M个关键点；
第四步骤，基于所述位置信息和姿态信息引导无人机自动降落；
其中，第三步骤中，通过如下方式完成所述级联深度学习网络中参数的确定：
采集图像热度图的图像样本，根据停机坪的关键点截取出图像中的停机坪区域，组成训练集{x1,x2,…,xn}；
标记出训练集中的xi对应的M个关键点，i从1取值到n；
根据如下方式生成包括所有M个关键点热度信息的关键点热度图，其中，对于M中的每个关键点：
hmn=exp(D(coli,rowi)/(2σ2))，
其中，hmn代表热度图的因变量，exp函数代表高斯分布，σ代表标准差，D(coli,rowi)代表图像中的第i个点与关键点之间的距离，D(coli,rowi)=(coli-col)2+(rowi-row) 2，其中，coli、rowi分别为热度图中第i个点的横纵坐标，col,row则为关键点的坐标，coli、rowi中的i从1取值到所述热度图的所有点的总数；
对级联深度学习网络中PNet深度学习网络、RNet深度学习网络和ONet深度学习网络的所有参数进行随机初始化；
将训练集与对应的图像热度图输入到级联深度学习网络中进行训练，计算级联深度学习网络输出的停机坪的位置信息与实际热度图上标记的停机坪的位置信息的MSE误差，通过误差的反向传播修正级联深度学习网络中的参数。
2.根据权利要求1所述的方法，其特征在于，所述第三步骤通过如下方式识别无人机停机坪的位置信息：
PNet深度学习网络通过识别所述关键点从图像热度图中筛选出第一复数个包括停机坪的候选框；
RNet深度学习网络从PNet深度学习网络的输出中排除掉错误的候选框，并进一步的筛选以得到相比第一复数个候选框更少的第二复数个候选框，并调整所述第二复数个候选框中每一个候选框的位置和大小；
ONet深度学习网络从RNet深度学习网络的输出中进一步筛选以得到最终确定的1个停机坪的候选框。
3.根据权利要求1所述的方法，其特征在于，当PNet为深度神经网络时，对其训练时，还包括如下步骤：
S301：对于每一张用于训练该深度神经网络的图像进行手工标注，标注关键点的位置，得到标注后的每张图像；
S302：构造一种辅助神经网络，以辅助深度神经网络对图像的学习和训练。
4.根据权利要求3所述的方法，其特征在于，所述步骤S302具体包括如下步骤：
S3021：将标注后的每张图像作为深度神经网络的输入，并从所述深度神经网络选择适当的中间层，获取该中间层的输出；
S3022：建立一个由卷积函数构成的辅助神经网络；
S3023：将所述中间层的输出及对应的标注前的每张图像的姿态估计矩阵，均输入到辅助神经网络；
S3024：将辅助神经网络与所述深度神经网络的输出进行合并，共同输入到所述深度神经网络的损失函数以优化所述深度神经网络的学习。
5.根据权利要求4所述的方法，其特征在于，步骤S3023中的姿态估计矩阵通过如下步骤获得：
S30231：对摄像头的相机进行标定，求解出相机的内参数，所述内参数包括：图像光轴主点、X和Y方向焦距、切向畸变系数、径向畸变系数；
S30232：进一步按如下方式求解姿态估计矩阵：
根据式x = M*[R|t]*X，求解姿态估计矩阵[R|t]，
其中，M为相机的内参数，X为世界坐标系，x为已知被拍摄物体的图像像素坐标；R为姿态估计矩阵的旋转向量，t为姿态估计矩阵的平移向量。
6.根据权利要求5所述的方法，其特征在于，通过拍摄在不同方向、不同位置、尺寸已知的棋盘格在图像坐标系中的像素坐标，求解出相机的内参数。
7.根据权利要求6所述的方法，其特征在于，棋盘格取10cm*10cm。
8.根据权利要求6所述的方法，其特征在于，所述深度神经网络选择ResNet50。
9.根据权利要求6所述的方法，其特征在于，所述辅助神经网络选择ResNet18。
CN202110606126.3A 2021-06-01 2021-06-01 基于计算机视觉的无人机自动降落引导方法 Active CN113052151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110606126.3A CN113052151B (zh) 2021-06-01 2021-06-01 基于计算机视觉的无人机自动降落引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110606126.3A CN113052151B (zh) 2021-06-01 2021-06-01 基于计算机视觉的无人机自动降落引导方法

Publications (2)

Publication Number Publication Date
CN113052151A CN113052151A (zh) 2021-06-29
CN113052151B true CN113052151B (zh) 2021-08-06

Family

ID=76518631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110606126.3A Active CN113052151B (zh) 2021-06-01 2021-06-01 基于计算机视觉的无人机自动降落引导方法

Country Status (1)

Country Link
CN (1) CN113052151B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283429B (zh) * 2021-07-21 2021-09-21 四川泓宝润业工程技术有限公司 基于深度卷积神经网络的液位式表计读数方法
CN113867373B (zh) * 2021-09-30 2024-09-06 广州极飞科技股份有限公司 无人机降落方法、装置、停机坪以及电子设备
CN114296534A (zh) * 2021-12-28 2022-04-08 广东电网有限责任公司 一种具有深度学习功能且低温可用的无人机停机坪系统
CN114627560A (zh) * 2022-05-13 2022-06-14 浙江大华技术股份有限公司 一种动作识别方法、动作识别模型训练方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288718A (zh) * 2019-06-24 2019-09-27 火石信科(广州)科技有限公司 一种读写场景坐标认定方法
CN112486207A (zh) * 2020-12-10 2021-03-12 山东力聚机器人科技股份有限公司 一种基于视觉识别的无人机自主降落方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423167B2 (en) * 2016-04-25 2019-09-24 Uvionix Aerospace Corporation System and method for automated landing of an unmanned aerial vehicle
JP7143444B2 (ja) * 2018-02-09 2022-09-28 スカイディオ，インコーポレイテッド 航空機のスマート着陸
CN110135375B (zh) * 2019-05-20 2021-06-01 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN112215860B (zh) * 2020-09-23 2024-05-10 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288718A (zh) * 2019-06-24 2019-09-27 火石信科(广州)科技有限公司 一种读写场景坐标认定方法
CN112486207A (zh) * 2020-12-10 2021-03-12 山东力聚机器人科技股份有限公司 一种基于视觉识别的无人机自主降落方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TRANSLATING AERIAL IMAGES INTO STREET-MAP-LIKE REPRESENTATIONS FOR VISUAL SELF-LOCALIZATION OF UAVS;Michael Schleiss;《The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences》;20190614;第XLII-2/W13卷;575-580 *
高精度轻量级的人脸关键点检测算法;徐礼淮 等;《激光与光电子学进展》;20201231;241026-1-241026-7 *

Also Published As

Publication number Publication date
CN113052151A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113052151B (zh) 基于计算机视觉的无人机自动降落引导方法
CN111551167B (zh) 一种基于无人机拍摄和语义分割的全局导航辅助方法
KR101558467B1 (ko) 지피에스 수신기의 동선에 따라 수치지도에 링크된 수치좌표를 보정하는 수치정보 시스템
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
CN111765974B (zh) 一种基于微型制冷红外热像仪的野生动物观测系统及方法
CN109863547A (zh) 用于使用机器学习和图像处理来构建地图的设备
CN113378754B (zh) 一种工地裸土监测方法
CN115578662A (zh) 无人机前端图像处理方法、系统、存储介质及设备
CN117765420B (zh) 基于遥感数据的地形勘测方法及系统
CN116185065A (zh) 无人机巡检方法、装置及非易失性存储介质
CN114693528A (zh) 无人机低空遥感图像拼接质量评估与降冗方法及系统
CN114998769A (zh) 基于cbam和改进yolox的无人机航拍小物体快速检测方法与装置
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN114020039A (zh) 无人机巡检杆塔自动对焦系统及方法
KR102592988B1 (ko) 항공영상에서의 객체 탐지방법 및 장치
WO2021168707A1 (zh) 对焦方法、装置及设备
CN116665077A (zh) 基于ai识别技术的输电线路检测拍摄方法及其系统
CN107577246B (zh) 一种图像拍摄方法、系统以及电子云台和飞行器
CN115482374A (zh) 一种单发炮弹报靶方法、系统及计算机存储介质
CN111476304B (zh) 一种影像数据处理方法及装置
CN113472998B (zh) 图像处理方法、装置、电子设备和存储介质
CN115188316A (zh) 一种无人机校正led显示屏亮暗线系统、装置及其方法
WO2021189429A1 (zh) 图像拍摄方法、装置、可移动平台和存储介质
CN113225484A (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 610056 No.05, 11th floor, building 1, 99 mengzhuiwan Hengjie, Chenghua District, Chengdu City, Sichuan Province

Patentee after: Sichuan hongbaorunye Engineering Technology Co.,Ltd.

Patentee after: Chongqing Hongbao Technology Co.,Ltd.

Patentee after: Beijing Baolong Hongrui Technology Co.,Ltd.

Address before: 610056 No.05, 11th floor, building 1, 99 mengzhuiwan Hengjie, Chenghua District, Chengdu City, Sichuan Province

Patentee before: Sichuan hongbaorunye Engineering Technology Co.,Ltd.

Patentee before: Chongqing Qingyun Petroleum Engineering Technology Co.,Ltd.

Patentee before: Beijing Baolong Hongrui Technology Co.,Ltd.