CN115451920A - 一种面向无人自主着降的相对位姿测量方法 - Google Patents

一种面向无人自主着降的相对位姿测量方法 Download PDF

Info

Publication number
CN115451920A
CN115451920A CN202211321758.6A CN202211321758A CN115451920A CN 115451920 A CN115451920 A CN 115451920A CN 202211321758 A CN202211321758 A CN 202211321758A CN 115451920 A CN115451920 A CN 115451920A
Authority
CN
China
Prior art keywords
led
image
pose
target
leds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211321758.6A
Other languages
English (en)
Other versions
CN115451920B (zh
Inventor
徐诚
孔繁锵
殷奇缘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202211321758.6A priority Critical patent/CN115451920B/zh
Publication of CN115451920A publication Critical patent/CN115451920A/zh
Application granted granted Critical
Publication of CN115451920B publication Critical patent/CN115451920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种面向无人自主着降的相对位姿测量方法，它的步骤：（1）在无人机上安装垂直下视的日盲区紫外波段摄像机并采集合作靶标图像；（2）检测当前时刻摄像机采集合作靶标图像中的LED的像素坐标；使用前一时刻无人机位姿，进行基于位姿预测的LED的2D‑3D匹配；如果匹配失败，则用组合遍历法重新确定图像中LED与合作靶标中LED的2D‑3D匹配关系；（3）使用匹配后的多组LED点对，以P3P算法的一个解作为位姿初值，迭代计算LED的重投影误差最小值，求解输出位姿优化估计值。本发明能够大幅度提升无人机相对位姿测量系统在多种环境下的适应性和稳定性。

Description

一种面向无人自主着降的相对位姿测量方法
技术领域
本发明涉及位姿测量领域，具体涉及一种面向无人自主着降的相对位姿测量方法。
背景技术
无人机自主着降是实现无人机自主飞行的关键技术之一。
在该研究领域中，基于视觉的无人机自主着降引导技术是一个新兴的研究方向。传统有人机着降时，飞行员依靠视觉所提供信息定位飞机空间位置和飞机相对着陆平台的旋转关系。而无人机视觉自主着降引导主要依赖于预设的地面合作目标，通过对地面合作目标的检测、识别、跟踪和相对位姿测量实现无人机的定位与自主导航，并根据合作目标在实时图像中的尺度、形状等信息估计无人机降落过程中的飞行姿态。
国内外学者针对无人机视觉自主着降引导开展了一系列研究。南加州大学设计了“H”形标识着陆目标，采用透视投影不变特征技术提取“H”形特征，依据“H”不变矩特性对大量目标图像上“H”形的区域矩进行统计，得到一个统计量作为该“H”形目标正确的区域矩。加利福尼亚大学设计的视觉辅助着陆目标采用已知的正方形着陆目标图识，视觉算法是用机载摄像机采集目标视频图像，然后对其目标图像进行分割和提取目标角点，继而得到基于视觉状态估计运动信息引导无人机着陆化。
斯坦福大学航空机器人实验室设计的视觉着陆目标为多个圆环形着陆目标图识。
南京航空航天大学设计了一种新型着陆目标图识进行辅助视觉着陆，该图识包含两个同心彩色圆。
上述相对位姿测量基于可见光成像，成像过程受气候条件、环境照度、自然光背景等条件影响较大，信标图案的识别以及特征信息提取算法复杂、稳健性差，严重影响算法的稳定性，从而导致无人机自主着降失败。另外，高分辨率的可见光图像带来巨大的运算量，尤其是在算力有限的机载平台上，容易导致实时性不足。本发明设计了一种基于“日盲区”波段的无人机相对位姿测量方法，通过对光谱的过滤，从物理层面上大幅度削除了无效信息，凸显出合作靶标上感兴趣目标点，从而提升系统在复杂环境下的适应性、稳定性以及实时性。
Perspective-n-Points (PnP)是一种常见的3D-2D的位姿求解方法，该类算法需要已知匹配的3D点和图像2D点。
此发明可应用于无人机灾情救援、物流运输、智能巡线等领域，可带来较大社会效益和经济效益。
发明内容
本发明设计一种基于“日盲区”波段的无人机相对位姿测量方法，能够大幅度提升系统在多种环境下的适应性和稳定性；本发明旨在提供一种基于视觉的无人机与地面靶标相对位姿测量方法，适用于无人机自主着降领域。
在“日盲区”波段图像中，合作靶标上的多个LED均体现为亮度较高的光斑，具有较大的相似性，难以辨识不同的LED像点，导致无法直接使用PnP位姿求解方法。
本发明提出了一种基于组合遍历思想的LED的 2D像点和3D物点匹配方法，遍历LED像点和物点所有的匹配组合的候选位姿，使用LED重投影的方法验证匹配组合的可能性；考虑到系统实施的实时性，进一步提出一种基于位姿预测的LED 2D-3D匹配方法，采用线性预测的方法推导下一时刻LED 2D像点的坐标，通过与真实像点坐标比对，判断2D-3D匹配是否有效。
本发明通过组合遍历法实现匹配初始化和重匹配，通过位姿预测法实现匹配关系持续跟踪，两种方法的切换使用，既保证了2D-3D匹配的精度，也提升了匹配速度。稳定、高速的LED 2D-3D匹配方法，为下一步基于P3P的无人机相对位姿优化求解提供了技术基础。
一种面向无人自主着降的相对位姿测量方法，其特征在于，包括以下步骤：
步骤（1）在无人机上安装固定垂直下视摄像机，以当前时刻采集合作靶标的图像、无人机前一时刻与靶标的相对位姿、当前时刻合作靶标中多个LED的物理坐标作为测量系统的输入；
步骤（2）当输入为当前时刻摄像机采集的合作靶标图像时，检测出图像中多个LED的像素坐标；
使用无人机前一时刻相对位姿，进行基于位姿预测的LED灯2D-3D匹配；如果匹配失败，则用组合遍历法重新确定图像中LED与合作靶标中LED的2D-3D匹配关系；
步骤（3）使用匹配后的多组LED点对，以P3P算法的一个解作为位姿初值，迭代计算LED的重投影误差最小值，求解输出位姿优化估计值。
其中，所述步骤（1）中的在无人机上安装固定垂直下视摄像机为：
无人机搭载垂直朝下的摄像机，为了避免到日光干扰，成像器件配合窄带滤光片，将工作谱段限制在日盲区紫外波段，以消除自然背景光的干扰。
其中，所述步骤（1）中的合作靶标中多个LED的工作波段限制在200nm-280nm。
其中，所述步骤（2）中包括以下步骤：
步骤①当前时刻图像中多个LED的检测；
步骤②基于组合遍历法进行当前时刻图像中多个LED的匹配。
其中，在所述步骤①之前，还包括一个定义的过程：
定义LED在靶标上的三维坐标为
Figure 384502DEST_PATH_IMAGE001
，单位为米；
LED的数量为
Figure 922800DEST_PATH_IMAGE002
，则LED的坐标为
Figure 806442DEST_PATH_IMAGE003
；
LED在图像中的检测出的二维坐标为
Figure 155515DEST_PATH_IMAGE004
，单位为像素；
检测的数量为
Figure 124608DEST_PATH_IMAGE005
，则检测的集合为
Figure 810804DEST_PATH_IMAGE006
；
一个LED的坐标
Figure 703280DEST_PATH_IMAGE001
和其对应检测图像坐标
Figure 816730DEST_PATH_IMAGE004
的对应关系表示为
Figure 148485DEST_PATH_IMAGE007
，位姿表示为
Figure 903952DEST_PATH_IMAGE008
；
定义灰度图像
Figure 886820DEST_PATH_IMAGE009
，其中u和v分别为图像的像素坐标。
其中，所述步骤①具体为：
LED为紫外LED，其波长与摄像机中的滤镜相匹配；因此，LED在图像中显得非常明亮，通过下述阈值函数检测出LED灯；
Figure 436750DEST_PATH_IMAGE010
(1)
其中阈值参数threshold根据经验设置为125；
使用图像一阶矩来计算LED光斑中心，其定义为
Figure 255801DEST_PATH_IMAGE011
(2)
其中，p、q分别取0或1；
图像中的LED检测的坐标为
Figure 549380DEST_PATH_IMAGE012
(3)
Figure 888219DEST_PATH_IMAGE013
(4)
其中，
Figure 874630DEST_PATH_IMAGE014
和
Figure 40032DEST_PATH_IMAGE015
分别为LED质心的X轴坐标和Y轴坐标；
Figure 278246DEST_PATH_IMAGE016
和
Figure 579915DEST_PATH_IMAGE017
分别为图像关于X轴和Y轴的矩，
Figure 861860DEST_PATH_IMAGE018
表征LED区域的面积。
其中，所述步骤②具体为：
由于图像的LED均体现为亮度较高的光斑，具有较大的相似性，因此无法直接区分不同的LED；
首先，在图像中选取3个检测到的LED像点，然后在靶标上选取3个LED物点，这样会有多种组合方式；
然后，利用P3P算法来计算每种组合；根据P3P算法的特点，每种组合会产生的四个候选位姿；对于每个候选位姿，将靶标上未参与P3P计算的LED再投影到摄像机图像中；如果该LED重投影像点与检测到的像点距离小于阈值，则认为此组LED匹配成功；
对于重投影距离阈值，通常使用
Figure 780138DEST_PATH_IMAGE019
像素；为了对异常值具有鲁棒性，为每个组合的LED配对生成一个计数直方图；当一个配对被认为是正确匹配，直方图就会加1；从直方图中可以找到最终对应关系；
靶标上的LED和图像中检测到的LED配对组合，用P3P算法来计算每种组合，将获得N个候选位姿，
Figure 290885DEST_PATH_IMAGE020
(5)
其中，C、P分别表示组合、排列；
上式中，对于较大的
Figure 978218DEST_PATH_IMAGE021
或
Figure 929600DEST_PATH_IMAGE022
，
Figure 804015DEST_PATH_IMAGE023
增长很快；然而，一般靶标中只使用了几个LED，所以
Figure 384032DEST_PATH_IMAGE023
并不是很大；
匹配关系直方图中的数字表示靶标中LED的
Figure 925872DEST_PATH_IMAGE024
的重投影与检测到的LED的
Figure 549620DEST_PATH_IMAGE025
的距离小于阈值
Figure 176911DEST_PATH_IMAGE026
的频数；
在实际工程中，迭代搜索直方图中最大的数字，并取对应的靶标LED和图像检测LED作为配对，然后在后续的迭代中忽略这一列。
其中，所述步骤（2）中的基于位姿预测的LED 2D-3D匹配，具体为：
首先，假设靶标的位姿是从固定参考坐标系出发，以一个恒定的速度twist积分指定的时间得到，这种运动类似于螺旋运动；因此可以采用线性预测来估计下一时刻靶标的位姿，
Figure 29460DEST_PATH_IMAGE027
(6)
Figure 691386DEST_PATH_IMAGE028
(7)
其中系数k=1,2,3,...，
Figure 95822DEST_PATH_IMAGE029
代表第k步靶标的位姿，
Figure 836507DEST_PATH_IMAGE030
是相邻两步之间的时间间隔，
Figure 617382DEST_PATH_IMAGE031
是第k步的时刻，
Figure 743601DEST_PATH_IMAGE032
是先前估计的位姿的数量；
然后，使用预测出位姿将所有的LED重投影到摄像机图像中；如果某个LED重投影坐标与其最接近的检测出的LED坐标的距离阈值小于
Figure 584518DEST_PATH_IMAGE033
，通常使用5像素作为阈值，则将二者进行匹配；
最后检查基于位姿预测的LED匹配关系是否正确；选取3个匹配好的点对，使用P3P算法计算出4个候选位姿；分别利用这4个候选位姿，计算剩余LED的重投影，检查它们中是否至少有75%低于重投影阈值
Figure 311034DEST_PATH_IMAGE034
；如果是，则认为基于位姿预测的LED匹配结果是正确的；如果不是，则使用基于组合遍历法的LED匹配重新初始化。
其中，所述步骤（3）具体为：
使用匹配后的多组LED点对，以P3P算法的一个解作为位姿初值
Figure 895599DEST_PATH_IMAGE035
，迭代计算LED的重投影误差最小值，求解输出位姿优化估计值
Figure 141904DEST_PATH_IMAGE036
，即
Figure 153722DEST_PATH_IMAGE037
(8)
其中，
Figure 711742DEST_PATH_IMAGE038
是将一个LED重投影到图像中，l为LED在靶标上的三维物理坐标，
Figure 988747DEST_PATH_IMAGE039
为实际检测出的LED像素坐标。
本发明的技术效果：
本发明设计一种基于“日盲区”波段的无人机相对位姿测量方法，能够有效克服气候条件、环境照度、自然光背景等条件影响，大幅度提升系统在多种环境下的适应性和稳定性，为无人机在复杂环境下的自主着降提供了一种新技术方案。
附图说明
附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出了本发明的系统工作模式示意图；
图2示出了本发明的相对位姿测量流程示意图。
具体实施方式
本发明提供的一种面向无人自主着降的相对位姿测量方法，包括以下步骤：
步骤（1）在无人机上安装固定垂直下视摄像机，以当前时刻采集合作靶标的图像、无人机前一时刻与靶标的相对位姿、当前时刻合作靶标中多个LED的物理坐标作为测量系统的输入；
步骤（2）当输入为当前时刻摄像机采集的合作靶标图像时，检测出图像中多个LED的像素坐标；
使用无人机前一时刻相对位姿，进行基于位姿预测的LED灯2D-3D匹配；如果匹配失败，则用组合遍历法重新确定图像中LED与合作靶标中LED的2D-3D匹配关系；
当输入为当前时刻合作靶标中多个LED的物理坐标时，直接进入下一步的处理；
步骤（3）使用匹配后的多组LED点对，以P3P算法的一个解作为位姿初值，迭代计算LED的重投影误差最小值，求解输出位姿优化估计值。
其中，所述步骤（1）中的在无人机上安装固定垂直下视摄像机为：
无人机搭载垂直朝下的摄像机，为了避免到日光干扰，成像器件配合窄带滤光片，将工作谱段限制在日盲区紫外波段，以消除自然背景光的干扰。
其中，所述步骤（1）中的合作靶标中多个LED的工作波段限制在200nm-280nm。
其中，所述步骤（2）中包括以下步骤：
步骤①当前时刻图像中多个LED的检测；
步骤②基于组合遍历法进行当前时刻图像中多个LED的匹配。
其中，在所述步骤①之前，还包括一个定义的过程：
定义LED在靶标上的三维坐标为
Figure 948612DEST_PATH_IMAGE040
，单位为米；
LED的数量为
Figure 6698DEST_PATH_IMAGE041
，则LED的坐标为
Figure 583173DEST_PATH_IMAGE042
；
LED在图像中的检测出的二维坐标为
Figure 634175DEST_PATH_IMAGE043
，单位为像素；
检测的数量为
Figure 714126DEST_PATH_IMAGE044
，则检测的集合为
Figure 208692DEST_PATH_IMAGE045
；
一个LED的坐标
Figure 6884DEST_PATH_IMAGE046
和其对应检测图像坐标
Figure 831883DEST_PATH_IMAGE047
的对应关系表示为
Figure 31920DEST_PATH_IMAGE048
，位姿表示为
Figure 697388DEST_PATH_IMAGE049
；
定义灰度图像
Figure 717296DEST_PATH_IMAGE050
，其中u和v分别为图像的像素坐标。
其中，所述步骤①具体为：
LED为紫外LED，其波长与摄像机中的滤镜相匹配；因此，LED在图像中显得非常明亮，通过下述阈值函数检测出LED灯；
Figure 375680DEST_PATH_IMAGE051
(1)
其中阈值参数threshold根据经验设置为125；
使用图像一阶矩来计算LED光斑中心，其定义为
Figure 164644DEST_PATH_IMAGE052
(2)
其中，p、q分别取0或1；
图像中的LED检测的坐标为
Figure 1013DEST_PATH_IMAGE053
(3)
Figure 773797DEST_PATH_IMAGE054
(4)
其中，
Figure 468827DEST_PATH_IMAGE055
和
Figure 377877DEST_PATH_IMAGE056
分别为LED质心的X轴坐标和y轴坐标；
Figure 385148DEST_PATH_IMAGE057
和
Figure 114069DEST_PATH_IMAGE058
分别为图像关于X轴和Y轴的矩，
Figure 989621DEST_PATH_IMAGE059
表征LED区域的面积。
其中，所述步骤②具体为：
由于图像的LED均体现为亮度较高的光斑，具有较大的相似性，因此无法直接区分不同的LED；
首先，在图像中选取3个检测到的LED像点，然后在靶标上选取3个LED物点，这样会有多种组合方式；
然后，利用P3P算法来计算每种组合；根据P3P算法的特点，每种组合会产生的四个候选位姿；对于每个候选位姿，将靶标上未参与P3P计算的LED再投影到摄像机图像中；如果该LED重投影像点与检测到的像点距离小于阈值，则认为此组LED匹配成功；
对于重投影距离阈值，通常使用
Figure 143391DEST_PATH_IMAGE060
像素；为了对异常值具有鲁棒性，为每个组合的LED配对生成一个计数直方图；当一个配对被认为是正确匹配，直方图就会加1；从直方图中可以找到最终对应关系，如表1的匹配关系直方图统计表格所示；
表1 匹配关系直方图统计表格
Figure 915038DEST_PATH_IMAGE061
靶标上的LED和图像中检测到的LED配对组合，用P3P算法来计算每种组合，将获得N个候选位姿，
Figure 537780DEST_PATH_IMAGE062
(5)
其中，C、P分别表示组合、排列；
上式中，对于较大的
Figure 951444DEST_PATH_IMAGE063
或
Figure 461185DEST_PATH_IMAGE064
，
Figure 403733DEST_PATH_IMAGE065
增长很快；然而，一般靶标中只使用了几个LED，所以
Figure 372826DEST_PATH_IMAGE065
并不很大；
匹配关系直方图中的数字表示靶标中LED的
Figure 465547DEST_PATH_IMAGE066
的重投影与检测到的LED的
Figure 203696DEST_PATH_IMAGE067
的距离小于阈值
Figure 972938DEST_PATH_IMAGE068
的频数；
在实际工程中，迭代搜索直方图中最大的数字，并取对应的靶标LED和图像检测LED作为配对，然后在后续的迭代中忽略这一列。
其中，所述步骤（2）中的基于位姿预测的LED灯2D-3D匹配，具体为：
首先，假设靶标的位姿是从固定参考坐标系出发，以一个恒定的速度twist积分指定的时间得到，这种运动类似于螺旋运动；因此可以采用线性预测来估计下一时刻靶标的位姿，
Figure 163748DEST_PATH_IMAGE069
(6)
Figure 794580DEST_PATH_IMAGE070
(7)
其中系数k=1,2,3,...，
Figure 652815DEST_PATH_IMAGE071
代表第k步靶标的位姿，
Figure 202745DEST_PATH_IMAGE072
是相邻两步之间的时间间隔，
Figure 504020DEST_PATH_IMAGE073
是第k步的时刻，
Figure 63177DEST_PATH_IMAGE074
是先前估计的位姿的数量；
然后，使用预测出位姿将所有的LED重投影到摄像机图像中；如果某个LED重投影坐标与其最接近的检测出的LED坐标的距离阈值小于
Figure 651285DEST_PATH_IMAGE075
，通常使用5像素作为阈值，则将二者进行匹配；
最后检查基于位姿预测的LED匹配关系是否正确；选取3个匹配好的点对，使用P3P算法计算出4个候选位姿；分别利用这4个候选位姿，计算剩余LED的重投影，检查它们中是否至少有75%低于重投影阈值
Figure 637695DEST_PATH_IMAGE076
；如果是，则认为基于位姿预测的LED匹配结果是正确的；如果不是，则使用基于组合遍历法的LED匹配重新初始化。
其中，所述步骤（3）具体为：
使用匹配后的多组LED点对，以P3P算法的一个解作为位姿初值
Figure 927731DEST_PATH_IMAGE077
，迭代计算LED的重投影误差最小值，求解输出位姿优化估计值
Figure 25000DEST_PATH_IMAGE078
，即
Figure 467614DEST_PATH_IMAGE079
(8)
其中，
Figure 624926DEST_PATH_IMAGE080
是将一个LED重投影到图像中，l为LED在靶标上的三维物理坐标，
Figure 903723DEST_PATH_IMAGE081
为实际检测出的LED像素坐标。
请参阅图1、图2。
以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种面向无人自主着降的相对位姿测量方法，其特征在于，包括以下步骤：
步骤（1）在无人机上安装固定垂直下视摄像机，以当前时刻采集合作靶标的图像、无人机前一时刻与靶标的相对位姿、当前时刻合作靶标中多个LED的物理坐标作为测量系统的输入；
步骤（2）当输入为当前时刻摄像机采集的合作靶标图像时，检测出图像中多个LED的像素坐标；
使用无人机前一时刻相对位姿，进行基于位姿预测的LED灯2D-3D匹配；如果匹配失败，则用组合遍历法重新确定图像中LED与合作靶标中LED的2D-3D匹配关系；
步骤（3）使用匹配后的多组LED点对，以P3P算法的一个解作为位姿初值，迭代计算LED的重投影误差最小值，求解输出位姿优化估计值。
2.根据权利要求1所述的方法，其特征在于，所述步骤（1）中的在无人机上安装固定垂直下视摄像机为：
无人机搭载垂直朝下的摄像机，为了避免到日光干扰，成像器件配合窄带滤光片，将工作谱段限制在日盲区紫外波段，以消除自然背景光的干扰。
3.根据权利要求1所述的方法，其特征在于，所述步骤（1）中的合作靶标中多个LED的工作波段限制在200nm-280nm。
4.根据权利要求1所述的方法，其特征在于，所述步骤（2）中包括以下步骤：
步骤①当前时刻图像中多个LED的检测；
步骤②基于组合遍历法进行当前时刻图像中多个LED的匹配。
5.根据权利要求4所述的方法，其特征在于，在所述步骤①之前，还包括一个定义的过程：
定义LED在靶标上的三维坐标为
Figure 214701DEST_PATH_IMAGE001
，单位为米；
LED的数量为
Figure 105297DEST_PATH_IMAGE002
，则LED的坐标为
Figure 853417DEST_PATH_IMAGE003
；
LED在图像中的检测出的二维坐标为
Figure 993411DEST_PATH_IMAGE004
，单位为像素；
检测的数量为
Figure 307849DEST_PATH_IMAGE005
，则检测的集合为
Figure 52951DEST_PATH_IMAGE006
；
一个LED的坐标
Figure 552065DEST_PATH_IMAGE001
和其对应检测图像坐标
Figure 303990DEST_PATH_IMAGE004
的对应关系表示为
Figure 546752DEST_PATH_IMAGE007
，位姿表示为
Figure 84044DEST_PATH_IMAGE008
；
定义灰度图像
Figure 19639DEST_PATH_IMAGE009
，其中u和v分别为图像的像素坐标。
6.根据权利要求4所述的方法，其特征在于，所述步骤①具体为：
LED为紫外LED，其波长与摄像机中的滤镜相匹配；因此，LED在图像中显得非常明亮，通过下述阈值函数检测出LED灯；
Figure 494745DEST_PATH_IMAGE010
(1)
其中阈值参数threshold根据经验设置为125；
使用图像一阶矩来计算LED光斑中心，其定义为
Figure 541198DEST_PATH_IMAGE011
(2)
其中，p、q分别取0或1；
图像中的LED检测的坐标为
Figure 932996DEST_PATH_IMAGE012
(3)
Figure 773914DEST_PATH_IMAGE013
(4)
其中，
Figure 234851DEST_PATH_IMAGE014
和
Figure 819416DEST_PATH_IMAGE015
分别为LED质心的X轴坐标和Y轴坐标；
Figure 393617DEST_PATH_IMAGE016
和
Figure 280801DEST_PATH_IMAGE017
分别为图像关于X轴和Y轴的矩，
Figure 369980DEST_PATH_IMAGE018
表征LED区域的面积。
7.根据权利要求4所述的方法，其特征在于，所述步骤②具体为：
由于图像的LED均体现为亮度较高的光斑，具有较大的相似性，因此无法直接区分不同的LED；
首先，在图像中选取3个检测到的LED像点，然后在靶标上选取3个LED物点，这样会有多种组合方式；
然后，利用P3P算法来计算每种组合；根据P3P算法的特点，每种组合会产生的四个候选位姿；对于每个候选位姿，将靶标上未参与P3P计算的LED再投影到摄像机图像中；如果该LED重投影像点与检测到的像点距离小于阈值
Figure 951763DEST_PATH_IMAGE019
，则认为此组LED匹配成功；
对于重投影距离阈值，通常使用
Figure 442787DEST_PATH_IMAGE020
像素；为了对异常值具有鲁棒性，为每个组合的LED配对生成一个计数直方图；当一个配对被认为是正确匹配，直方图就会加1；从直方图中可以找到最终对应关系；
靶标上的LED和图像中检测到的LED配对组合，用P3P算法来计算每种组合，将获得N个候选位姿，
Figure 500873DEST_PATH_IMAGE021
(5)
其中，C、P分别表示组合、排列计算；
上式中，对于较大的
Figure 77348DEST_PATH_IMAGE022
或
Figure 128350DEST_PATH_IMAGE023
，
Figure 473880DEST_PATH_IMAGE024
增长很快；然而，一般靶标中只使用了几个LED，所以
Figure 702867DEST_PATH_IMAGE024
并不是很大；
匹配关系直方图中的数字表示靶标中LED的
Figure 501059DEST_PATH_IMAGE025
的重投影与检测到的LED的
Figure 434380DEST_PATH_IMAGE026
的距离小于阈值
Figure 260516DEST_PATH_IMAGE027
的频数；
在实际工程中，迭代搜索直方图中最大的数字，并取对应的靶标LED和图像检测LED作为配对，然后在后续的迭代中忽略这一列。
8.根据权利要求1所述的方法，其特征在于，所述步骤（2）中的基于位姿预测的LED灯2D-3D匹配，具体为：
首先，假设靶标的位姿是从固定参考坐标系出发，以一个恒定的速度twist积分指定的时间得到，这种运动类似于螺旋运动；因此可以采用线性预测来估计下一时刻靶标的位姿，
Figure 785038DEST_PATH_IMAGE028
(6)
Figure 945892DEST_PATH_IMAGE029
(7)
其中系数k=1,2,3,...，
Figure 479642DEST_PATH_IMAGE030
代表第k步靶标的位姿，
Figure 658819DEST_PATH_IMAGE031
是相邻两步之间的时间间隔，
Figure 619822DEST_PATH_IMAGE032
是第k步的时刻，
Figure 267972DEST_PATH_IMAGE033
是先前估计的位姿的数量；
然后，使用预测出位姿将所有的LED重投影到摄像机图像中；如果某个LED重投影坐标与其最接近的检测出的LED坐标的距离阈值小于
Figure 339833DEST_PATH_IMAGE034
，通常使用5像素作为阈值，则将二者进行匹配；
最后检查基于位姿预测的LED匹配关系是否正确；选取3个匹配好的点对，使用P3P算法计算出4个候选位姿；分别利用这4个候选位姿，计算剩余LED的重投影，检查它们中是否至少有75%低于重投影阈值
Figure 872052DEST_PATH_IMAGE035
；如果是，则认为基于位姿预测的LED匹配结果是正确的；如果不是，则使用基于组合遍历法的LED匹配重新初始化。
9.根据权利要求1所述的方法，其特征在于，所述步骤（3）具体为：
使用匹配后的多组LED点对，以P3P算法的一个解作为位姿初值，迭代计算LED的重投影误差最小值，求解输出位姿优化估计值
Figure 207219DEST_PATH_IMAGE036
，即
Figure 201720DEST_PATH_IMAGE037
(8)
其中，
Figure 952638DEST_PATH_IMAGE038
是将一个LED重投影到图像中，l为LED在靶标上的三维物理坐标，为实际检测出的LED像素坐标。
CN202211321758.6A 2022-10-27 2022-10-27 一种面向无人自主着降的相对位姿测量方法 Active CN115451920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211321758.6A CN115451920B (zh) 2022-10-27 2022-10-27 一种面向无人自主着降的相对位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211321758.6A CN115451920B (zh) 2022-10-27 2022-10-27 一种面向无人自主着降的相对位姿测量方法

Publications (2)

Publication Number Publication Date
CN115451920A true CN115451920A (zh) 2022-12-09
CN115451920B CN115451920B (zh) 2023-03-14

Family

ID=84310612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211321758.6A Active CN115451920B (zh) 2022-10-27 2022-10-27 一种面向无人自主着降的相对位姿测量方法

Country Status (1)

Country Link
CN (1) CN115451920B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732518A (zh) * 2015-01-19 2015-06-24 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN110799921A (zh) * 2018-07-18 2020-02-14 深圳市大疆创新科技有限公司 拍摄方法、装置和无人机
CN113808152A (zh) * 2021-09-14 2021-12-17 南京信息工程大学 一种基于orb_slam2的无人机自主导航方法
WO2022070184A1 (en) * 2020-10-01 2022-04-07 Rafael Advanced Defense Systems Ltd. System and method for visual localization
CN114812513A (zh) * 2022-05-10 2022-07-29 北京理工大学 一种基于红外信标的无人机定位系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732518A (zh) * 2015-01-19 2015-06-24 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN110799921A (zh) * 2018-07-18 2020-02-14 深圳市大疆创新科技有限公司 拍摄方法、装置和无人机
WO2022070184A1 (en) * 2020-10-01 2022-04-07 Rafael Advanced Defense Systems Ltd. System and method for visual localization
CN113808152A (zh) * 2021-09-14 2021-12-17 南京信息工程大学 一种基于orb_slam2的无人机自主导航方法
CN114812513A (zh) * 2022-05-10 2022-07-29 北京理工大学 一种基于红外信标的无人机定位系统及方法

Also Published As

Publication number Publication date
CN115451920B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN110426046B (zh) 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
CN106092090B (zh) 一种用于室内移动机器人定位的红外路标及其使用方法
He et al. Color-based road detection in urban traffic scenes
CN106097304B (zh) 一种无人机实时在线地图生成方法
CN110458161B (zh) 一种结合深度学习的移动机器人门牌定位方法
CN111598952B (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
CN110874100A (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
Lebedev et al. Accurate autonomous uav landing using vision-based detection of aruco-marker
CN101359400A (zh) 一种基于视觉的管口空间位置定位方法
CN107886541B (zh) 基于反向投影法的单目运动目标位姿实时测量方法
CN110174092B (zh) 一种基于红外编码靶标的密集集群相对定位方法
Tsalatsanis et al. Vision based target tracking and collision avoidance for mobile robots
CN109697428B (zh) 基于rgb_d和深度卷积网络的无人机识别定位系统
CN109949229A (zh) 一种多平台多视角下的目标协同检测方法
CN107097256B (zh) 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
Fan et al. Vision algorithms for fixed-wing unmanned aerial vehicle landing system
CN108106617A (zh) 一种无人机自动避障方法
CN114721001A (zh) 一种基于多传感器融合的移动机器人定位方法
Xiao-Hong et al. UAV's automatic landing in all weather based on the cooperative object and computer vision
CN115451920B (zh) 一种面向无人自主着降的相对位姿测量方法
Bian et al. A robust vanishing point detection method for UAV autonomous power line inspection
CN116185049A (zh) 基于视觉引导的无人直升机自主着舰方法
Li et al. Visual localization and object tracking for the NAO robot in dynamic environment
Jiaxin et al. Vision-based autonomous landing of unmanned aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant