CN109712185B - 基于深度学习的直升机降落过程中位姿估计方法 - Google Patents

基于深度学习的直升机降落过程中位姿估计方法 Download PDF

Info

Publication number
CN109712185B
CN109712185B CN201811491565.9A CN201811491565A CN109712185B CN 109712185 B CN109712185 B CN 109712185B CN 201811491565 A CN201811491565 A CN 201811491565A CN 109712185 B CN109712185 B CN 109712185B
Authority
CN
China
Prior art keywords
helicopter
landing
pose
sample
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811491565.9A
Other languages
English (en)
Other versions
CN109712185A (zh
Inventor
潘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Computing Technology Research Institute
Original Assignee
Tianjin Jinhang Computing Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Computing Technology Research Institute filed Critical Tianjin Jinhang Computing Technology Research Institute
Priority to CN201811491565.9A priority Critical patent/CN109712185B/zh
Publication of CN109712185A publication Critical patent/CN109712185A/zh
Application granted granted Critical
Publication of CN109712185B publication Critical patent/CN109712185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于学习算法的直升机降落过程中位姿估计方法，其中，利用深度学习算法实现相对位姿估计用于直升机或低速无人机着陆或者着舰时辅助降落，配合相应的控制算法可以实现自主着陆/着舰，在直升机降落过程中通过机载摄像机获取降落区域图像信息，通过机器学习算法对图像特征进行识别分类，进而估计出当前状态下直升机的位置和姿态参数。本发明能够同时识别物体并输出相对位姿参数。目标物体识别率能够达到98％,并且受环境光照影响小。

Description

基于深度学习的直升机降落过程中位姿估计方法
技术领域
本发明涉及一种视觉位姿估计是机器视觉领域，特别是一种基于学习算法的直升机降落过程中位姿估计方法。
背景技术
视觉位姿估计是机器视觉领域中的一项重要技术，通过视觉传感器获取外界环境信息，识别目标并通过相应的算法实现目标与摄像机的相对位置和姿态等参数的估计，这种非接触式的测量方法具有更高的灵活性而且使用方便。视觉位姿估计方法按照所使用摄像机的数量一般分为单目、双目和多目。单目位姿估计方法仅需一台摄像机，使用更加方便灵活，但算法稍微复杂一些，基于双目的方法是使用较多，但是需要标定两个摄像机之间的坐标系转换关系而且还需要在两幅图像中进行特征匹配。基于多目的方法由于数据量更大，使用更加复杂。
直升机降落过程中，飞机位置和姿态信息的实时获取和协同控制是飞机自主降落技术的核心。为了使直升机能够按照计划顺利降落。需要在飞机进场时实时感知着陆区域，获取飞机的姿态和位置参数，不断调整飞机，确保飞机各飞行参数满足降落条件，因此实时获取飞机姿态和位置参数是实现该技术的关键。当前直升机辅助降落过程中所采用的视觉辅助装置通常是通过机载摄像机获取标准H型地标，然后提取相应特征参数(多为角点或者轮廓)，利用位姿估计算法计算出直升机的位置和姿态参数。该方法主要有以下两个缺陷：一是对摄像机参数标定要求比较高，理论与试验证明相机参数标定结果对位姿估计结果的准确性有较大影响；二是由于标准H型地标是一个二维标志物，如果要计算直升机高度信息要么利用其他传感器如高度表或者激光测距仪来实现，要么需要增加其他特征与H型地标构成一个三维标志物。
发明内容
本发明的目的在于提供一种基于学习算法的直升机降落过程中位姿估计方法，用于解决上述现有技术的问题。
本发明一种基于学习算法的直升机降落过程中位姿估计方法，其中，包括：从每个物体里随机选取一个训练样本s＝(x,c,p)训练卷积神经网络，其中x为输入图像，c为物体ID，p为目标物体相对于摄像机的位姿参数；定义代价函数
Figure BDA0001895817380000021
其中ω为卷积神经网络各节点连接权重组成的向量，Ltriplets为三元样本集T中的样
Figure BDA0001895817380000022
为样本对代价，样本对集P中的样本为在不同光照条件下获得的同一个物体在不同位姿下图像组成的样本对，代价函数定义完成。
根据本发明的基于学习算法的直升机降落过程中位姿估计方法的一实施例，其中，利用链式求导计算损失函数对每个权重的偏导数，根据梯度下降公式更新权重。
根据本发明的基于学习算法的直升机降落过程中位姿估计方法的一实施例，其中，si、sj以及sk为不同物体，
根据本发明的基于学习算法的直升机降落过程中位姿估计方法的一实施例，其中，si、sj以及sk为同一个物体。
根据本发明的基于学习算法的直升机降落过程中位姿估计方法的一实施例，其中，pi以及pj相同，与pk不同，构成三元组。
根据本发明的基于学习算法的直升机降落过程中位姿估计方法的一实施例，其中，还包括：建立数据库，数据库包含直升机在各种位置和姿态下获取的图像和飞机位姿参数作为样本保存到数据库。
根据本发明的基于学习算法的直升机降落过程中位姿估计方法的一实施例，其中，添加与训练样本同一个物体且位姿最接近的模板构建模板库Lparis。
本发明是利用当前比较热门的学习算法来实现直升机降落过程中的位置和姿态参数估计，该方法无需对摄像机进行标定，避免了摄像机参数标定不准确对位姿参数估计准确性的影响，而且无需增加额外的标志物，仅仅需要维护一个数据库就可以实现直升机位姿参数的估计。
附图说明
图1所示为基于学习算法的直升机降落过程的训练过程示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1所示为基于学习算法的直升机降落(CNN)过程的训练过程示意图，如图1所示，
为了实现同时进行目标识别和位姿测量，想要训练出来的描述子需要有两个重要特性：1)不同物体的描述子间的距离较大，相同物体的描述子的距离较小；2)相同物体不同位姿时描述子间距离较大。训练过程如下：
首先从每个物体里随机选取一个训练样本s＝(x,c,p)训练卷积神经网络，其中x为输入图像，c为物体ID，代表是哪类物体，p为目标物体相对于摄像机的位姿参数。
定义代价函数
Figure BDA0001895817380000041
其中ω为卷积神经网络各节点连接权重组成的向量。Ltriplets为三元样本集T中的样本(si,sj,sk) 的代价
Figure BDA0001895817380000042
其中si和sj为相同物体，sk为不同物体，或者三者为同一个物体，但是pi和pj接近，而pk与其他两个相差较多构成的三元组。代价函数c(si,sj,sk)的定义为
Figure BDA0001895817380000043
fw(xi)为CNN输出的描述子， m为学习率。
Figure BDA0001895817380000044
为样本对代价，该样本对集P 中的样本为在不同光照条件下获得的同一个物体在不同位姿下图像组成的样本对。至此，代价函数就定义完成了。和全连接神经网络相比，CNN的训练要复杂一些，但训练的原理是一样的：利用链式求导计算损失函数对每个权重的偏导数(梯度)，然后根据梯度下降公式更新权重，训练算法依然是反响传播算法。
学习模型训练好以后就可以对输入图像进行物体识别和位姿估计了。
基于深度学习的位姿估计方法采用的网络主体是一个卷积神经网络，网络的结构比较简单，两个卷积层，一个池化层，两个全连接层。该方案采用以下三个步骤来实现：
1)建立数据库。该数据库包含直升机在各种位置和姿态下获取的图像和飞机位姿参数作为样本保存到数据库，需要说明的是后面训练好的模型需要能够从众多图像中识别出哪个是H型地标并估计出相对位姿。
2)模型训练。数据库建好后从这个数据库里随机选取一个训练样本，为了使训练出来的模型能够更加具有鲁棒性，能够在不同光照条件下更好地识别图像，添加与训练样本同一个物体且位姿最接近的模板构建模板库Lparis。取完之后，在每个训练样本中再添加另外的 Ltriplets量，这是来自位姿相似但目标物体不同或者物体相同但位姿差异较大的模板。训练样本取好之后，就可以进行训练了。
3)识别目标与估计位姿。给上一步训练好的模型输入图像x，该模型输出目标分类和位姿参数。
本发明一种利用深度学习算法实现相对位姿估计用于直升机或低速无人机着陆或者着舰时辅助降落，配合相应的控制算法可以实现自主着陆/着舰，也可以在飞行员操纵飞机降落时为飞行员提供飞机的姿态参数，帮助飞行员更稳更精确地降落。
本发明在直升机降落过程中通过机载摄像机获取降落区域图像信息，通过机器学习算法对图像特征进行识别分类，进而估计出当前状态下直升机的位置和姿态参数，本发明的特点在于能够同时识别物体并输出相对位姿参数。
本模型的目标物体识别率能够达到98％,并且受环境光照影响小。
本发明提出了一种基于学习方法的直升机降落过程中H型地标识别和相对位姿估计方法，该方法能够在直升机降落时不断从机载摄像机获取目标图像从图像中识别出地标并给出相对位姿参数，辅助直升机进行降落。本发明适用范围广泛，适合于多种场合的目标识别和位姿估计。
综上所述，本发明利用深度学习方法实现目标物体识别和位姿参数估计，能够在直升机降落过程中从机载摄像机图像中实时识别出H 型地标并给出相对位姿参数，能够为飞行员提供帮助，或者用于无人机自主降落。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于深度学习的直升机降落过程中位姿估计方法，其特征在于，包括：
从每个物体里随机选取一个训练样本s＝(x,q,p)训练卷积神经网络CNN，其中x为输入图像，q为物体ID，p为目标物体相对于摄像机的位姿参数；
定义代价函数
Figure FDA0003848893140000011
其中ω为卷积神经网络各节点连接权重组成的向量，Ltriplets为三元样本集T中的样本(si,sj,sk)的代价
Figure FDA0003848893140000012
其中si和sj为相同物体，sk为不同物体，或者三者为同一个物体，但是pi以及pj相同，与pk不同，构成三元组；代价函数c(si,sj,sk)的定义为
Figure FDA0003848893140000013
fw(xi)为CNN输出的描述子，m为学习率，
Figure FDA0003848893140000014
为样本对代价，样本对集P中的样本为在不同光照条件下获得的同一个物体在不同位姿下图像组成的样本对。
2.如权利要求1所述的基于深度学习的直升机降落过程中位姿估计方法，其特征在于，利用链式求导计算损失函数对每个权重的偏导数，根据梯度下降公式更新权重。
3.如权利要求1所述的基于深度学习的直升机降落过程中位姿估计方法，其特征在于，还包括：建立数据库，数据库包含直升机在各种位置和姿态下获取的图像和飞机位姿参数作为样本保存到数据库。
4.如权利要求3所述的基于深度学习的直升机降落过程中位姿估计方法，其特征在于，添加与训练样本同一个物体且位姿最接近的模板构建模板库Lparis。
CN201811491565.9A 2018-12-07 2018-12-07 基于深度学习的直升机降落过程中位姿估计方法 Active CN109712185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811491565.9A CN109712185B (zh) 2018-12-07 2018-12-07 基于深度学习的直升机降落过程中位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811491565.9A CN109712185B (zh) 2018-12-07 2018-12-07 基于深度学习的直升机降落过程中位姿估计方法

Publications (2)

Publication Number Publication Date
CN109712185A CN109712185A (zh) 2019-05-03
CN109712185B true CN109712185B (zh) 2022-11-08

Family

ID=66254019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811491565.9A Active CN109712185B (zh) 2018-12-07 2018-12-07 基于深度学习的直升机降落过程中位姿估计方法

Country Status (1)

Country Link
CN (1) CN109712185B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
CN108198216A (zh) * 2017-12-12 2018-06-22 深圳市神州云海智能科技有限公司 一种机器人及其基于标识物的位姿估计方法和装置
CN108820233A (zh) * 2018-07-05 2018-11-16 西京学院 一种固定翼无人机视觉着陆引导方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
CN108198216A (zh) * 2017-12-12 2018-06-22 深圳市神州云海智能科技有限公司 一种机器人及其基于标识物的位姿估计方法和装置
CN108820233A (zh) * 2018-07-05 2018-11-16 西京学院 一种固定翼无人机视觉着陆引导方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Using Inertial Sensors for Position and Orientation Estimation;Manon Kok，et al.;《arXiv》;20180610;全文 *
无人飞行器双目视觉位姿估计算法改进与验证;张梁等;《上海交通大学学报》;20150928(第09期);全文 *

Also Published As

Publication number Publication date
CN109712185A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN106679648B (zh) 一种基于遗传算法的视觉惯性组合的slam方法
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
Kong et al. Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system
EP3158293B1 (en) Sensor fusion using inertial and image sensors
Loianno et al. Cooperative localization and mapping of MAVs using RGB-D sensors
CN108827306A (zh) 一种基于多传感器融合的无人机slam导航方法及系统
CN111288989B (zh) 一种小型无人机视觉定位方法
WO2018045538A1 (zh) 无人机及其避障方法和避障系统
CN105847684A (zh) 无人机
CN110570463B (zh) 一种目标状态估计方法、装置和无人机
Wilson et al. A vision based relative navigation framework for formation flight
CN114719848B (zh) 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
Magree et al. Monocular visual mapping for obstacle avoidance on UAVs
Sjanic et al. EM-SLAM with inertial/visual applications
Ivanovas et al. Block matching based obstacle avoidance for unmanned aerial vehicle
Deng et al. Visual–inertial estimation of velocity for multicopters based on vision motion constraint
CN105389819B (zh) 一种鲁棒的半标定下视图像极线校正方法及系统
KR20220086479A (ko) 항공기 센서 시스템 동기화
CN109712185B (zh) 基于深度学习的直升机降落过程中位姿估计方法
Kothari et al. Pose estimation for an autonomous vehicle using monocular vision
Dubey et al. Droan—disparity-space representation for obstacle avoidance
Dergachov et al. The Algorithm of UAV Automatic Landing System Using Computer Vision
Wang et al. Multi-UAV collaborative system with a feature fast matching algorithm
Din et al. Embedded low power controller for autonomous landing of UAV using artificial neural network
Ammann et al. Undelayed initialization of inverse depth parameterized landmarks in UKF-SLAM with error state formulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant