CN110174092B - 一种基于红外编码靶标的密集集群相对定位方法 - Google Patents

一种基于红外编码靶标的密集集群相对定位方法 Download PDF

Info

Publication number
CN110174092B
CN110174092B CN201910342622.5A CN201910342622A CN110174092B CN 110174092 B CN110174092 B CN 110174092B CN 201910342622 A CN201910342622 A CN 201910342622A CN 110174092 B CN110174092 B CN 110174092B
Authority
CN
China
Prior art keywords
target
coding
infrared
camera
lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910342622.5A
Other languages
English (en)
Other versions
CN110174092A (zh
Inventor
全权
燕旭东
邓恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910342622.5A priority Critical patent/CN110174092B/zh
Publication of CN110174092A publication Critical patent/CN110174092A/zh
Application granted granted Critical
Publication of CN110174092B publication Critical patent/CN110174092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明公开一种基于红外编码靶标的密集集群相对定位方法，该方法步骤如下：步骤1：红外编码靶标设计；步骤2：靶标解码算法设计；步骤3：集群相对位姿估计。本发明提出一种基于红外编码靶标的密集集群相对定位方法，该方法的优点是：解决了密集集群在复杂环境中无法准确获取个体间相对位姿的问题，同时能够获取个体ID。由于靶标尺寸较小，可用于微小型无人机集群相对定位。

Description

一种基于红外编码靶标的密集集群相对定位方法
技术领域
本发明提出了一种基于红外编码靶标的密集集群相对定位方法，该方法首先利用红外相机获取编码靶标图像，进而通过解码算法获取靶标ID，最后根据不同靶标计算密集集群相对位姿，属于视觉测量领域。
背景技术
近年来，人们对研究无人机集群系统的兴趣日益浓厚。与单目标相比，集群系统具有更快完成任务，对传感器故障更加鲁棒以及通过传感器融合获得更高精度的位姿估计的优点。集群系统具有许多应用，例如监视、搜索和救援任务。对于上述应用，准确获取集群之间的相对位姿是成功完成合作任务的先决条件。虽然全球定位系统(例如GPS)可用于整个无人机集群的粗略定位，但这些系统的精度不足以实现密集集群各智能体之间的相对定位。并且密集集群有时会在无GPS信号的环境中工作，例如室内或GPS信号被大型障碍物遮挡。因此，基于视觉的相对位姿估计方法已经成为密集集群工作最流行的解决方案之一。现如今，基于模型的人工标记点相对定位方法，已经成为一种非常流行的多智能体系统方法。ARTags和AprilTags通常用于相对定位，它们不仅提供位姿估计，还可以为每个智能体提供唯一标识符。但是这些人工标志需要大而平坦的区域，这使得它们并不适用于微型飞行器。在一些研究中使用彩色斑点或圆形作为被动靶标来估计位姿。然而，被动靶标对于光照条件有更高的依赖性，无法在黑暗或强光干扰下工作，同时，对于圆形的形状测量也可能导致精度下降。比较流行的位姿估计方法还有运动捕捉系统，例如OptiTrack和Vicon。这些系统具有高帧率、高精度的优势，但是，设备非常昂贵，同时需要将相机固定使用。
本发明提出了一种可用于微小型无人机集群的红外光空间编码靶标，能够识别无人机集群的不同个体同时估计相对位姿，并且对于强光、遮挡等复杂环境具有很强的鲁棒性。
发明内容
本发明的目的在于，针对现有技术中存在的问题，提出了一种基于红外编码靶标的密集集群相对定位方法，以能够识别无人机集群的不同个体同时估计相对位姿，并且对于强光、遮挡等复杂环境具有很强的鲁棒性。该方法基于自主设计的红外编码靶标，通过解码算法识别密集集群每个个体ID，并获取相对位姿，最后通过大量仿真和实验数据验证靶标的可靠性以及位姿估计系统的鲁棒性。具体步骤如下：
步骤1：红外编码靶标设计
所述的红外编码靶标如图1所示，靶标由一个91mm×22mm的矩形组成，共包含18个红外LED灯，靶标中的红外LED灯根据功能分为两组：靶标左右两端各4个红外灯作为定位符(L)，如图1a所示，定位符常亮。由于红外灯分布密集，故其发光区域可以重叠在一起，构成一个定位符整体，通过其发光区域形状的特殊性来区分点光源；靶标中间的红外灯作为编码灯，由于其相距较远，故可以看作点光源，通过灯的亮灭来设计不同的ID编码，形成不同的编码符。
其中，靶标ID识别主要通过两个约束来获取：1、个数约束：通过控制编码灯亮灭的个数来辨别ID，如图1b中间发光编码灯个数为3，图1d中间发光编码灯个数为4；2、距离约束：获取每个靶标相邻编码灯之间的距离，如图1b与图1c中对应线段长度的区别。在进行靶标ID识别前，会生成一个靶标ID库，所述的靶标ID库，是按照差异最大的规则生成ID库，库里面存储着靶标编码灯个数以及对应线段的距离。通过公式(1)计算检测到的靶标对应线段与靶标库中对应线段的距离误差来决定靶标ID：
Figure GDA0002470767360000031
其中m为线段个数，xi，yi分别代表检测到靶标与ID库中靶标的对应线段。找到误差p最小的作为靶标ID的预测值。
步骤2：靶标解码算法设计
步骤2具体通过一套高效准确的解码算法识别靶标ID。首先根据图像灰度检测出发光区域，接着根据发光区域所围成的矩形长宽比来辨别定位符(L)和编码符，如图1a所示，定位符长宽比接近3：1，而编码符的长宽比接近1：1。每一个相机视场中可能存在多个靶标，故首先需要将每个靶标分割出来，本发明利用靶标的几何特性来分割每一个靶标，如公式(2)所示：
Figure GDA0002470767360000032
其中，L1，L2分别表示两个定位符，a，b，c，d是由两个定位符组成的四边形的四条边，a，b和c，d为对边，v1，v2表示邻边向量，T1，T2为阈值。当两个定位符组成的四边形满足对边偏差小于T1，四个夹角向量积小于T2，则判断为一个靶标。接着确定编码灯是否位于靶标上下边界上，从而确定完整靶标。最后，利用公式(1)来识别靶标ID。
步骤3：集群相对位姿估计
根据步骤2可以获得每一个相机视场中的靶标ID，根据编码灯的几何位置，可以获得相机图像中发光区域与靶标中编码灯的对应关系，即得到了编码灯在图像坐标系和靶标坐标系中的对应坐标。利用MATLAB标定工具箱标定好相机内参以及靶标实际尺寸后，可以利用PnP(Opencv中自带的solvePnP函数)算法求解相机视场中每一个靶标到相机的相对位姿。最后，利用卡尔曼滤波算法对相对位姿进行优化估计，来提高位姿估计的准确性和鲁棒性。
本发明提出一种基于红外编码靶标的密集集群相对定位方法，该方法的优点是：解决了密集集群在复杂环境中无法准确获取个体间相对位姿的问题，同时能够获取个体ID。由于靶标尺寸较小，可用于微小型无人机集群相对定位。
附图说明
图1a、1b、1c、1d：靶标设计细节图；其中，图中靶标大小为91mm×22mm，由18个红外LED灯组成，图1a中斜线圆圈部分为定位符(Locators)，白色圆圈为检测符(Detectors)，图1b、1c、1d代表不同靶标ID，横线圆圈表示红外LED灯工作，黑色线条为不同靶标工作状态的LED灯间的线段。
图2a、2b、2c：单相机单靶标实验结果图；
图3：相机靶标距离实验结果图；
图4a、4b、4c：单相机多靶标实验结果图；
图5：本发明算法流程图。
具体实施方式
以下结合附图及具体实施例，对本发明的技术方案做进一步的说明。
步骤1：红外编码靶标设计
为了获取密集集群中每一个个体的相对位姿，首先需要辨别不同个体，故需要设计一款易于安装在微小型无人机上的可编码靶标来区分不同个体。本发明设计的可编码靶标如图1所示，靶标由一个91mm×22mm的矩形组成，共包含18个红外LED灯，靶标中的红外LED灯根据功能分为两组：靶标左右两端的红外灯作为定位符(L)，如图1a所示，定位符常亮。由于红外灯分布密集，故其发光区域可以重叠在一起，构成一个定位符整体，通过其发光区域形状的特殊性来区分点光源；靶标中间的红外灯作为编码符，由于其相距较远，故可以看作点光源，通过灯的亮灭来设计不同的ID编码。靶标ID识别主要通过两个约束来获取：1、个数约束：通过控制编码灯亮灭的个数来辨别ID，如图1b中间发光编码灯个数为3，图1d中间发光编码灯个数为4；2、距离约束：获取每个靶标相邻编码灯之间的距离，如图1b与图1c中对应线段长度的区别。在进行靶标ID识别前，会生成一个靶标ID库，存放靶标编码灯个数以及对应线段的距离。通过公式(1)计算检测到的靶标对应线段与靶标库中对应线段的距离误差来决定靶标ID：
Figure GDA0002470767360000051
其中m为线段个数，xi，yi分别代表检测到的靶标与ID库中靶标的对应线段。找到误差p最小的ID作为靶标的预测值。
步骤2：靶标解码算法设计
在步骤1设计好红外编码靶标后，本发明设计了一套高效准确的解码算法用于识别靶标ID。首先根据图像灰度检测出发光区域，接着根据发光区域所围成的矩形长宽比来辨别定位符(L)和编码符，如图1a所示，定位符长宽比接近3：1，而编码符的长宽比接近1：1。每一个相机视场中可能存在多个靶标，故首先需要将每个靶标分割出来，本发明利用靶标的几何特性来分割每一个靶标，如公式(2)所示：
Figure GDA0002470767360000061
其中，L1，L2分别表示两个定位符，a，b，c，d是由两个定位符组成的四边形的四条边，a，b和c，d为对边，v1，v2表示邻边向量，T1，T2为阈值。当两个定位符组成的四边形满足对边偏差小于T1，四个夹角向量积小于T2，则判断为一个靶标。接着确定编码灯是否位于靶标上下边界上，从而确定完整靶标。最后，利用公式(1)来识别靶标ID。
步骤3：根据步骤2可以获得每一个相机视场中的靶标ID，即获得了每一个发光编码灯在图像中的几何位置；每一个发光编码灯在靶标中的真实坐标可以根据ID获得，故可以获得相机图像中发光区域与靶标中编码灯的对应关系，即得到了编码灯在图像坐标系和靶标坐标系中的对应坐标。利用MATLAB标定工具箱(http://www.vision.caltech.edu/bouguetj/calib_doc/)标定好相机内参以及靶标实际尺寸后，在已知多组图像坐标与世界坐标的对应关系后，可以利用PnP(https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html#solvepnp)算法求解相机视场中每一个靶标到相机的相对位姿。最后，通过大量实验证明本发明提出的算法的鲁棒性。
为了验证本发明相对定位算法的鲁棒性和准确性，我们利用室内定位系统OptiTrack提供集群位姿真值，通过以下几组实验来证明密集集群相对定位系统的准确性、鲁棒性和高效性：
(1)单相机单靶标实验
单相机单靶标实验：固定相机，在相机视场内移动靶标，通过分析位姿估计算法与相对定位系统OptiTrack得到的真值间的误差来证明相对定位系统的准确性，进一步改变靶标到相机的距离，分析目标距离对于相对定位系统准确性的影响。具体如下：
实验在具有OptiTrack定位系统的室内进行，相机采用分辨率为752×480，视场角为90°的红外相机。在第一个实验中，相机用脚架固定，移动靶标，记录OptiTrack获取的位姿真值以及相机图像，利用本发明提出的相对定位方法对视频图像进行处理得到靶标位姿信息，实验结果如图2所示，图2a为靶标利用OptiTrack系统与本发明相对定位算法获得的位置对比图；图2b为利用OptiTrack系统与本发明相对定位算法测得的位置误差图；图2c为利用OptiTrack系统与本发明相对定位算法测得的姿态角误差图。
本发明提出的相对定位方法精度如下：视频图像共包含3978张图片，其中3张(0.075％)图像中的靶标未被检测到，其余图片(99.925％)均检测到靶标；位置误差介于0.05cm到17.98cm之间，误差均值为2.42cm，标准差为1.91cm；姿态误差介于0.05°到2.09°之间，误差均值为0.3°，标准差为0.21°。
靶标与相机的距离实验如图3所示，图3为改变相机到靶标的距离，获得本发明相对定位算法测得的位置与真值的误差图。相机固定，移动靶标，记录真值位置与相机图像，利用本发明提出的相对定位方法得到靶标位置信息，与真值进行误差分析。实验结果表明，随着靶标到相机的距离增加，误差变化不显著，在距离超过2.4m后，由于相机分辨率过低，靶标成像模糊，无法进行位姿估计。
(2)单相机多靶标实验
单相机多靶标实验：固定相机，在相机视场内移动多个靶标，并产生靶标遮挡等复杂情况，分析相对定位系统的平均误差，以及在遮挡条件下靶标的检测率，进而分析相对定位系统的鲁棒性。具体如下：
与第一个实验类似，相机保持固定，将靶标个数增加至3个，实验结果如图4所示。图4a为多靶标实验中某一靶标利用OptiTrack系统与本发明相对定位算法获得的位置对比图；图4b为利用OptiTrack系统与本发明相对定位算法测得的位置误差图；图4c为利用OptiTrack系统与本发明相对定位算法测得的姿态角误差图。本发明提出的相对定位方法在多靶标条件下的精度如下：位置误差介于0.09cm到19.86cm之间，误差均值为3.01cm，标准差为2.10cm；姿态误差介于0.08°到12.74°之间，误差均值为1.43°，标准差为1.08°。
(3)算法执行时间实验
算法执行时间实验：在靶标个数分别为1、2、4、8的情况下，移动相机录制1分钟视频，算出算法每一步的执行时间并进行算法时间复杂度分析。具体如下：
为测试本发明提出的相对定位算法效率，算法每一步骤执行时间如表1所示，测试图像共2600张，结果表明，执行时间没有随靶标个数的增加而线性增长，位姿估计占据了总时间的43.5％，靶标ID检测所执行的时间仅占总时间的7.72％。
Figure GDA0002470767360000091
表1。

Claims (2)

1.一种基于红外编码靶标的密集集群相对定位方法，其特征在于：该方法步骤如下：
步骤1：红外编码靶标设计
所述的红外编码靶标由一个91mm×22mm的矩形组成，共包含18个红外LED灯，靶标中的红外LED灯根据功能分为两组：靶标左右两端各4个红外灯作为定位符L，定位符常亮；靶标中间的红外灯作为编码灯，通过灯的亮灭来设计不同的ID编码，形成不同的编码符；
其中，靶标ID识别主要通过两个约束来获取：1、个数约束：通过控制编码灯亮灭的个数来辨别ID；2、距离约束：获取每个靶标相邻编码灯之间的距离；在进行靶标ID识别前，会生成一个靶标ID库，通过公式(1)计算检测到的靶标对应线段与靶标库中对应线段的距离误差来决定靶标ID：
Figure FDA0002470767350000011
其中m为线段个数，xi，yi分别代表检测到靶标与ID库中靶标的对应线段；找到误差p最小的作为靶标ID的预测值；
步骤2：靶标解码算法设计
首先根据图像灰度检测出发光区域，接着根据发光区域所围成的矩形长宽比来辨别定位符L和编码符；每一个相机视场中可能存在多个靶标，故首先需要将每个靶标分割出来，利用靶标的几何特性来分割每一个靶标，如公式(2)所示：
Figure FDA0002470767350000021
其中，L1，L2分别表示两个定位符，a，b，c，d是由两个定位符组成的四边形的四条边，a，b和c，d为对边，v1，v2表示邻边向量，T1，T2为阈值；当两个定位符组成的四边形满足对边偏差小于T1，四个夹角向量积小于T2，则判断为一个靶标；接着确定编码灯是否位于靶标上下边界上，从而确定完整靶标；最后，利用公式(1)来识别靶标ID；
步骤3：集群相对位姿估计
根据步骤2可以获得每一个相机视场中的靶标ID，根据编码灯的几何位置，可以获得相机图像中发光区域与靶标中编码灯的对应关系，即得到了编码灯在图像坐标系和靶标坐标系中的对应坐标；利用MATLAB标定工具箱标定好相机内参以及靶标实际尺寸后，可以利用PnP算法求解相机视场中每一个靶标到相机的相对位姿；最后，利用卡尔曼滤波算法对相对位姿进行优化估计，来提高位姿估计的准确性和鲁棒性。
2.根据权利要求1所述的一种基于红外编码靶标的密集集群相对定位方法，其特征在于：所述的靶标ID库，是按照差异最大的规则生成ID库，库里面存储着靶标编码灯个数以及对应线段的距离。
CN201910342622.5A 2019-04-26 2019-04-26 一种基于红外编码靶标的密集集群相对定位方法 Active CN110174092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910342622.5A CN110174092B (zh) 2019-04-26 2019-04-26 一种基于红外编码靶标的密集集群相对定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910342622.5A CN110174092B (zh) 2019-04-26 2019-04-26 一种基于红外编码靶标的密集集群相对定位方法

Publications (2)

Publication Number Publication Date
CN110174092A CN110174092A (zh) 2019-08-27
CN110174092B true CN110174092B (zh) 2020-09-08

Family

ID=67690170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910342622.5A Active CN110174092B (zh) 2019-04-26 2019-04-26 一种基于红外编码靶标的密集集群相对定位方法

Country Status (1)

Country Link
CN (1) CN110174092B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825101B (zh) * 2019-12-26 2021-10-22 电子科技大学 一种基于深度卷积神经网络的无人机自主降落方法
CN111397581B (zh) * 2020-02-27 2022-01-18 清华大学 基于红外led点阵的视觉定位靶标及靶标测量场
CN111354018B (zh) * 2020-03-06 2023-07-21 合肥维尔慧渤科技有限公司 一种基于图像的物体识别方法、装置及系统
CN113739803B (zh) * 2021-08-30 2023-11-21 中国电子科技集团公司第五十四研究所 一种基于红外基准点的室内与地下空间定位方法
CN116592899B (zh) * 2023-04-28 2024-03-29 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292927B (zh) * 2017-06-13 2020-09-04 厦门大学 一种基于双目视觉的对称运动平台位姿测量方法

Also Published As

Publication number Publication date
CN110174092A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110174092B (zh) 一种基于红外编码靶标的密集集群相对定位方法
CN111989544B (zh) 基于光学目标的室内车辆导航的系统和方法
Krajník et al. A practical multirobot localization system
Faessler et al. A monocular pose estimation system based on infrared leds
CN108022264B (zh) 相机位姿确定方法及设备
Breitenmoser et al. A monocular vision-based system for 6D relative robot localization
Merino et al. Vision-based multi-UAV position estimation
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
KR100698534B1 (ko) 이동로봇의 위치 인식용 랜드마크와 이를 이용한 위치 인식장치 및 방법
Khazetdinov et al. Embedded ArUco: a novel approach for high precision UAV landing
CN109902592B (zh) 一种基于深度学习的盲人辅助行路方法
Huang et al. Mobile robot localization using ceiling landmarks and images captured from an rgb-d camera
Yan et al. Active infrared coded target design and pose estimation for multiple objects
Mutka et al. A low cost vision based localization system using fiducial markers
Debski et al. Open-source localization device for indoor mobile robots
Davis et al. Reflective fiducials for localization with 3D light detection and ranging scanners
CN110703773B (zh) 一种使用圆和编码光源作为标识物进行agv定位的方法
US20210209791A1 (en) Estimating a pose of a spatially movable platform
Araar et al. Towards Low-Cost Indoor Localisation Using a Multi-camera System
Gupta et al. Robust pose estimation and tracking system for a mobile robot using a panoramic camera
CN110490192A (zh) 一种商品生产日期标签检测方法及系统
Yang et al. Characterization of Feature Matching Errors for Consistent Estimation in Vision-Aided Navigation
CN115451920B (zh) 一种面向无人自主着降的相对位姿测量方法
Parappat et al. Obstacle avoidance by unmanned aerial vehicles using image recognition techniques
US20240062412A1 (en) Improving feature extraction using motion blur

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant