CN116704388B - 一种基于视觉的多无人机协同目标定位方法 - Google Patents

一种基于视觉的多无人机协同目标定位方法 Download PDF

Info

Publication number
CN116704388B
CN116704388B CN202310993284.8A CN202310993284A CN116704388B CN 116704388 B CN116704388 B CN 116704388B CN 202310993284 A CN202310993284 A CN 202310993284A CN 116704388 B CN116704388 B CN 116704388B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
load
target point
absolute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310993284.8A
Other languages
English (en)
Other versions
CN116704388A (zh
Inventor
殷奇缘
黄大庆
徐诚
周鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310993284.8A priority Critical patent/CN116704388B/zh
Publication of CN116704388A publication Critical patent/CN116704388A/zh
Application granted granted Critical
Publication of CN116704388B publication Critical patent/CN116704388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于视觉的多无人机协同目标定位方法。该方法包括采用多个无人机同时对某一区域的多个目标进行观测，以采集载荷图像数据；接收载荷图像数据，通过最小化多载荷图像间的光度误差计算出多机载荷间的相对位姿；在载荷图像中检测目标的特征点，并利用特征匹配技术将各个载荷图像中的目标同名特征点进行匹配，以获得参考目标点集合和待定位目标点集合；结合多机载荷间的相对位姿、参考目标点的绝对空间位置坐标信息和同名点的像点信息计算多机载荷的绝对位姿；结合待定位目标点的同名点像点信息和多机载荷的绝对位姿计算待定位目标点的绝对空间位置坐标。本发明有效地解决了现有技术在多无人机协同目标定位方面存在的不足之处。

Description

一种基于视觉的多无人机协同目标定位方法
技术领域
本发明涉及目标定位技术领域，具体涉及一种基于视觉的多无人机协同目标定位方法。
背景技术
在当前的无人机目标定位技术中存在一些主要的不足之处，这些不足限制了目标定位的准确性和可靠性。以下是其中的几个关键问题：
（1）单一无人机的定位精度有限：由于单一无人机的自身位姿测量误差和传感器精度限制，单个无人机的目标定位精度有限。这会导致定位结果的误差积累，尤其在复杂环境或高速运动目标的情况下。
（2）观测数据不充分：传统的多无人机协同目标定位方法往往依赖于每个无人机的观测数据来估计目标位置。然而，单一无人机的观测数据可能不足以提供充分的信息来实现高精度的目标定位。缺乏冗余观测数据会导致定位结果对噪声和误差更为敏感。
（3）传感器间的一致性问题：在多无人机系统中，不同无人机的传感器可能存在精度和校准差异。这些差异会对传感器数据的一致性产生负面影响，导致定位结果存在偏差。
（4）实时性和计算复杂性：某些现有方法在追踪多个目标和处理大量传感器数据时面临实时性和计算复杂性的挑战。处理大规模的观测数据和执行复杂的定位算法可能会导致系统响应时间延迟，限制了其实时性和可操作性。
发明内容
本发明的目的是针对现有技术存在的不足，提供一种基于视觉的多无人机协同目标定位方法。
为实现上述目的，本发明提供了一种基于视觉的多无人机协同目标定位方法，包括：
步骤1、采用多个无人机同时对某一区域的多个目标进行观测，以采集包含所述目标的载荷图像数据；
步骤2、接收所述载荷图像数据，并对所述载荷图像数据通过最小化多载荷图像间的光度误差计算出多机载荷间的相对位姿；
步骤3、在所述载荷图像中检测目标的特征点，并利用特征匹配技术将各个载荷图像中的目标同名特征点进行匹配，以获得参考目标点集合和待定位目标点集合，其中，所述参考目标点集合包含了绝对空间位置坐标信息和同名点像点信息，待定位目标点集合仅包含同名点像点信息；
步骤4、结合多机载荷间的相对位姿、参考目标点的绝对空间位置坐标信息和同名点的像点信息计算多机载荷的绝对位姿；
步骤5、结合待定位目标点的同名点像点信息和多机载荷的绝对位姿计算待定位目标点的绝对空间位置坐标。
进一步的，所述步骤4具体包括：
步骤4.1、初始化无人机载荷绝对位姿和观测权值；
步骤4.2、根据参考目标点集合的同名点的像点信息、绝对空间位置坐标信息、无人机载荷绝对位姿和载荷内参矩阵建立如下观测方程：
；
其中，为参考目标点集合的同名点的像点信息，/>为参考目标点位置在估计的无人机绝对位姿下的重映射像点坐标，/>为载荷内参矩阵，/>为无人机载荷绝对位姿，为参考目标点集合中绝对空间位置坐标信息，/>为向量/>的最后一项元素；
并根据多机载荷间的相对位姿建立待优化绝对位姿的条件方程，具体如下：
；
其中，所述多机载荷间的相对位姿表示为，/>为无人机相对位姿旋转矩阵，/>为无人机无尺度相对平移向量，/>为无人机载荷i绝对位姿估计值中的旋转矩阵，为无人机载荷j绝对位姿估计值中的旋转矩阵，/>为无人机载荷i绝对位姿估计值中的平移向量，/>为无人机载荷j绝对位姿估计值中的平移向量，/>为无尺度平移向量的归一化参数，/>和/>分别为利用估计的无人机绝对位姿计算出的相对位姿旋转矩阵和无尺度相对平移向量；
步骤4.3、在当前载荷绝对位姿处线性化观测方程与条件方程，得到用载荷位姿修正变量表达的观测方程与条件方程，并得到带条件的目标函数，具体如下：
；
其中，为目标函数，/>为参考目标点K对于无人机载荷U的观测权值，/>为/>对的一阶偏导向量，/>为/>对/>的一阶偏导向量，/>为/>对/>的一阶偏导向量，/>为/>对/>的一阶偏导向量，修正变量/>由绝对位姿旋转矩阵修正变量/>和绝对位姿平移向量修正变量/>组成，/>为无人机载荷i绝对位姿旋转矩阵修正变量，且满足特殊正交群性质，即/>，/>为李代数集合，/>为无人机载荷j绝对位姿旋转矩阵修正变量，/>为无人机载荷i绝对位姿平移向量修正变量，/>为无人机载荷j绝对位姿平移向量修正变量；
步骤4.4、对所述目标函数用Gauss-Newton法求解修正变量的最优解，并利用修正变量/>的最优解修改多机载荷的绝对位姿，若修正变量/>的最优解小于设定的阈值，则进入步骤4.5，否则，返回步骤4.2；
步骤4.5、计算当前无人机总体重投影误差，并根据无人机总体重投影误差更新参考目标点的观测权值，若观测权值的变化小于设定的权值阈值，则将利用修正变量的最优解修改后多机载荷的绝对位姿作为优化后的绝对位姿/>，优化后的绝对位姿由优化后的绝对位姿旋转矩阵/>和优化后的绝对位姿平移向量/>组成；否则，返回步骤4.1。
进一步的，所述步骤4.4中利用修正变量的最优解修改多机载荷绝对位姿的方式具体如下：
其中，为修改后的无人机载荷i绝对位姿估计值中的旋转矩阵，/>为矩阵乘法，/>为修改前的无人机载荷i绝对位姿估计值中的旋转矩阵，/>为修改后的无人机载荷i绝对位姿估计值中的平移向量，/>为修改前的无人机载荷i绝对位姿估计值中的平移向量。
进一步的，所述步骤4.5中计算无人机总体重投影误差的方式具体如下：
其中，为参考目标点K的重投影误差，/>为无人机总体重投影误差。
进一步的，所述步骤4.5中根据无人机总体重投影误差更新参考目标点的观测权值的方式如下：
计算无人机总体重投影误差的标准差/>：
其中，为参考目标点的总数；
计算参考目标点K的更新参数：
其中，
和/>分别为置信阈值和淘汰阈值；
更新参考目标点K的观测权值为：
。
进一步的，所述步骤5具体包括：
步骤5.1、对于单个待定位目标点，根据其在多机载荷图像上的齐次像点坐标、载荷内参矩阵/>以及优化后的绝对位姿旋转矩阵/>计算多机载荷相对于待定位目标点的测向向量/>：
步骤5.2、初始化观测权值；
步骤5.3、利用总体最小二乘算法和迭代重加权策略结合，在当前待定位目标点的观测权值下寻找空间中的一个点，使其到所有测向向量/>所在直线的距离的加权和最小，则/>表示为：
其中，为待定位目标点的观测权值，I为单位矩阵，T为矩阵转置符号；
步骤5.4计算点到多机载荷测向向量所在直线距离的总体误差，并根据点/>到多机载荷测向向量所在直线距离的总体误差更新待定位目标点的观测权值，若待定位目标点的观测权值变化小于设定的权值阈值，则将此时的最优估计值/>作为待定位目标点的绝对空间位置坐标输出，否则，返回步骤5.3重新计算。
进一步的，所述步骤5.4中计算点到多机载荷测向向量所在直线距离的总体误差的方式如下：
其中，为点/>到多机载荷测向向量所在直线距离的总体误差，/>为点/>到每个单机载荷测向向量所在直线距离的误差。
进一步的，所述步骤5.4中根据点到多机载荷测向向量所在直线距离的总体误差更新待定位目标点的观测权值的方式如下：
计算点到多机载荷测向向量所在直线距离的总体误差/>：
为无人机的个数；
计算待定位目标点的更新参数：
其中，
更新待定位目标点的观测权值为：
。
有益效果：（1）本发明通过利用多个无人机进行协同观测和数据融合，该方法能够大幅增加定位过程中的冗余信息，相较于单一无人机定位，多无人机协同观测能够提供更多角度和视野的观测数据，从而提高定位精度，并克服了单一无人机定位精度有限的问题；
（2）本发明通过引入多个无人机对目标进行观测，该方法减少了单个无人机观测数据的不足之处，多视角的数据融合和分析可以减小噪声和误差的影响，提高定位结果的可靠性和稳定性，同时，通过选取已知位置的参考目标点，进一步增加了目标点定位可靠性；
（3）本发明注重实时性和计算效率，通过优化算法和迭代重加权策略的引入，降低了较大的单项误差对全局误差的影响，使得误差抵达上限阈值所需的迭代次数减少，从而加快优化的收敛速率，进而能够快速准确地估计无人机的位姿和目标的位置，提高系统的实时性，并减少计算复杂性，这使得该方法能够适应复杂环境下的实际应用需求；
（4）本发明适用于多种类型的无人机和视觉设备，不论是固定翼无人机、四旋翼无人机还是其他类型的无人机，以及不同类型的视觉设备，该方法都具有灵活性和可扩展性，这使得该方法在不同场景和应用领域中具有广泛的适用性。
附图说明
图1是本发明实施例的基于视觉的多无人机协同目标定位的示意图；
图2是本发明实施例的基于视觉的多无人机协同目标定位方法的流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1和图2所示，本发明实施例提供了一种基于视觉的多无人机协同目标定位方法，包括：
步骤1、采用多个无人机同时对某一区域的多个目标进行观测，以采集包含所述目标的载荷图像数据。
步骤2、接收载荷图像数据，并对载荷图像数据通过最小化多载荷图像间的光度误差（Photometric error）计算出多机载荷间的相对位姿，进而可以确定各个无人机之间的相对位置关系。多机载荷间的相对位姿表示为，/>为无人机相对位姿旋转矩阵，/>为无人机无尺度相对平移向量。另外，本发明实施例接收载荷图像数据的为与多个无人机进行通信的地面设备。
步骤3、在载荷图像中检测目标的特征点，并利用特征匹配技术将各个载荷图像中的目标同名特征点进行匹配，以获得参考目标点集合和待定位目标点集合，其中，参考目标点集合包含了绝对空间位置坐标信息和同名点像点信息，待定位目标点集合仅包含同名点像点信息。
步骤4、结合多机载荷间的相对位姿、参考目标点的绝对空间位置坐标信息和同名点的像点信息计算多机载荷的绝对位姿。步骤4具体包括：
步骤4.1、初始化无人机载荷绝对位姿和观测权值；
步骤4.2、根据参考目标点集合的同名点的像点信息、绝对空间位置坐标信息、无人机载荷绝对位姿和载荷内参矩阵建立如下观测方程：
；
其中，为参考目标点集合的同名点的像点信息，/>为参考目标点位置在估计的无人机绝对位姿下的重映射像点坐标，/>为载荷内参矩阵，/>为无人机载荷绝对位姿，/>为参考目标点集合中绝对空间位置坐标信息，/>为向量/>的最后一项元素；
并根据多机载荷间的相对位姿建立待优化绝对位姿的条件方程，具体如下：
其中，所述多机载荷间的相对位姿表示为，/>为无人机相对位姿旋转矩阵，/>为无人机无尺度相对平移向量，/>为无人机载荷i绝对位姿估计值中的旋转矩阵，/>为无人机载荷j绝对位姿估计值中的旋转矩阵，/>为无人机载荷i绝对位姿估计值中的平移向量，/>为无人机载荷j绝对位姿估计值中的平移向量，/>为无尺度平移向量的归一化参数，/>和/>分别为利用估计的无人机绝对位姿计算出的相对位姿旋转矩阵和无尺度相对平移向量；
步骤4.3、在当前载荷绝对位姿处线性化观测方程与条件方程，得到用载荷位姿修正变量表达的观测方程与条件方程，并得到带条件的目标函数，具体如下：
其中，为目标函数，/>为参考目标点K对于无人机载荷U的观测权值，/>为对/>的一阶偏导向量，/>为/>对/>的一阶偏导向量，/>为/>对/>的一阶偏导向量，/>为/>对/>的一阶偏导向量，修正变量/>由绝对位姿旋转矩阵修正变量/>和绝对位姿平移向量修正变量/>组成，/>为无人机载荷i绝对位姿旋转矩阵修正变量，且满足特殊正交群性质，即/>，/>为李代数集合，/>为无人机载荷j绝对位姿旋转矩阵修正变量，/>为无人机载荷i绝对位姿平移向量修正变量，/>为无人机载荷j绝对位姿平移向量修正变量；
步骤4.4、对所述目标函数用Gauss-Newton法求解修正变量的最优解，并利用修正变量/>的最优解修改多机载荷的绝对位姿，若修正变量/>的最优解小于设定的阈值，则进入步骤4.5，否则，返回步骤4.2。
具体的，利用修正变量的最优解修改多机载荷绝对位姿的方式具体如下：
其中，为修改后的无人机载荷i绝对位姿估计值中的旋转矩阵，/>为矩阵乘法，/>为修改前的无人机载荷i绝对位姿估计值中的旋转矩阵，/>为修改后的无人机载荷i绝对位姿估计值中的平移向量，/>为修改前的无人机载荷i绝对位姿估计值中的平移向量。
步骤4.5、计算当前无人机总体重投影误差，并根据无人机总体重投影误差更新参考目标点的观测权值，若观测权值的变化小于设定的权值阈值，则将利用修正变量的最优解修改后多机载荷的绝对位姿作为优化后的绝对位姿/>，优化后的绝对位姿由优化后的绝对位姿旋转矩阵/>和优化后的绝对位姿平移向量/>组成；否则，返回步骤4.1。
具体的，计算无人机总体重投影误差的方式具体如下：
其中，为参考目标点K的重投影误差，/>为无人机总体重投影误差。
根据无人机总体重投影误差更新参考目标点的观测权值的方式如下：
计算无人机总体重投影误差的标准差/>：
其中，为参考目标点的总数；
计算参考目标点K的更新参数：
其中，
和/>分别为置信阈值和淘汰阈值；
更新参考目标点K的观测权值为：
。
通过以上步骤能够充分利用多个无人机之间的观测数据和相对位姿信息，并通IRBA的迭代优化过程，得到更准确的无人机绝对位姿，从而提高了整体目标定位系统的性能。
步骤5、结合待定位目标点的同名点像点信息和多机载荷的绝对位姿计算待定位目标点的绝对空间位置坐标。
步骤5具体包括：
步骤5.1、对于单个待定位目标点，根据其在多机载荷图像上的齐次像点坐标、载荷内参矩阵/>以及优化后的绝对位姿旋转矩阵/>计算多机载荷相对于待定位目标点的测向向量/>：
步骤5.2、初始化观测权值；
步骤5.3、利用总体最小二乘算法和迭代重加权策略结合，在当前待定位目标点的观测权值下寻找空间中的一个点，使其到所有测向向量/>所在直线的距离的加权和最小，则/>表示为：
其中，为待定位目标点的观测权值，I为单位矩阵，T为矩阵转置符号；
步骤5.4计算点到多机载荷测向向量所在直线距离的总体误差，并根据点/>到多机载荷测向向量所在直线距离的总体误差更新待定位目标点的观测权值，若待定位目标点的观测权值变化小于设定的权值阈值，则将此时的最优估计值/>作为待定位目标点的绝对空间位置坐标输出，否则，返回步骤5.3重新计算。
具体的，计算点到多机载荷测向向量所在直线距离的总体误差的方式如下：
其中，为点/>到多机载荷测向向量所在直线距离的总体误差，/>为点/>到每个单机载荷测向向量所在直线距离的误差。
根据点到多机载荷测向向量所在直线距离的总体误差更新待定位目标点的观测权值的方式如下：
计算点到多机载荷测向向量所在直线距离的总体误差/>：
；
为无人机的个数；
计算待定位目标点的更新参数：
；
其中，
；
更新待定位目标点的观测权值为：
。
以上步骤综合考虑了多机载荷图像的测向信息以及重投影误差，通过不断优化目标点的位置估计和观测权值，得到更准确的目标位置估计结果。这种联合定位方法可以提高定位精度，并具有较好的鲁棒性和稳定性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，其它未具体描述的部分，属于现有技术或公知常识。在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于视觉的多无人机协同目标定位方法，其特征在于，包括：
步骤1、采用多个无人机同时对某一区域的多个目标进行观测，以采集包含所述目标的载荷图像数据；
步骤2、接收所述载荷图像数据，并对所述载荷图像数据通过最小化多载荷图像间的光度误差计算出多机载荷间的相对位姿；
步骤3、在所述载荷图像中检测目标的特征点，并利用特征匹配技术将各个载荷图像中的目标同名特征点进行匹配，以获得参考目标点集合和待定位目标点集合，其中，所述参考目标点集合包含了绝对空间位置坐标信息和同名点像点信息，待定位目标点集合仅包含同名点像点信息；
步骤4、结合多机载荷间的相对位姿、参考目标点的绝对空间位置坐标信息和同名点的像点信息计算多机载荷的绝对位姿；
步骤5、结合待定位目标点的同名点像点信息和多机载荷的绝对位姿计算待定位目标点的绝对空间位置坐标；
所述步骤4具体包括：
步骤4.1、初始化无人机载荷绝对位姿和观测权值；
步骤4.2、根据参考目标点集合的同名点的像点信息、绝对空间位置坐标信息、无人机载荷绝对位姿和载荷内参矩阵建立如下观测方程：
;
其中，为参考目标点集合的同名点的像点信息，/>为参考目标点位置在估计的无人机绝对位姿下的重映射像点坐标，/>为载荷内参矩阵，/>为无人机载荷绝对位姿，为参考目标点集合中绝对空间位置坐标信息，/>为向量/>的最后一项元素；
并根据多机载荷间的相对位姿建立待优化绝对位姿的条件方程，具体如下：
;
其中，所述多机载荷间的相对位姿表示为，/>为无人机相对位姿旋转矩阵，/>为无人机无尺度相对平移向量，/>为无人机载荷i绝对位姿估计值中的旋转矩阵，/>为无人机载荷j绝对位姿估计值中的旋转矩阵，/>为无人机载荷i绝对位姿估计值中的平移向量，/>为无人机载荷j绝对位姿估计值中的平移向量，/>为无尺度平移向量的归一化参数，/>和/>分别为利用估计的无人机绝对位姿计算出的相对位姿旋转矩阵和无尺度相对平移向量；
步骤4.3、在当前载荷绝对位姿处线性化观测方程与条件方程，得到用载荷位姿修正变量表达的观测方程与条件方程，并得到带条件的目标函数，具体如下：
;
其中，为目标函数，/>为参考目标点K对于无人机载荷U的观测权值，/>为/>对的一阶偏导向量，/>为/>对/>的一阶偏导向量，/>为/>对/>的一阶偏导向量，/>为/>对/>的一阶偏导向量，修正变量/>由绝对位姿旋转矩阵修正变量和绝对位姿平移向量修正变量/>组成，/>为无人机载荷i绝对位姿旋转矩阵修正变量，且满足特殊正交群性质，即/>，/>为李代数集合，/>为无人机载荷j绝对位姿旋转矩阵修正变量，/>为无人机载荷i绝对位姿平移向量修正变量，/>为无人机载荷j绝对位姿平移向量修正变量；
步骤4.4、对所述目标函数用Gauss-Newton法求解修正变量的最优解，并利用修正变量/>的最优解修改多机载荷的绝对位姿，若修正变量/>的最优解小于设定的阈值，则进入步骤4.5，否则，返回步骤4.2；
步骤4.5、计算当前无人机总体重投影误差，并根据无人机总体重投影误差更新参考目标点的观测权值，若观测权值的变化小于设定的权值阈值，则将利用修正变量/>的最优解修改后多机载荷的绝对位姿作为优化后的绝对位姿/>，优化后的绝对位姿/>由优化后的绝对位姿旋转矩阵/>和优化后的绝对位姿平移向量/>组成；否则，返回步骤4.1。
2.根据权利要求1所述的一种基于视觉的多无人机协同目标定位方法，其特征在于，所述步骤4.4中利用修正变量的最优解修改多机载荷绝对位姿的方式具体如下：
;
;
其中，为修改后的无人机载荷i绝对位姿估计值中的旋转矩阵，/>为矩阵乘法，为修改前的无人机载荷i绝对位姿估计值中的旋转矩阵，/>为修改后的无人机载荷i绝对位姿估计值中的平移向量，/>为修改前的无人机载荷i绝对位姿估计值中的平移向量。
3.权利要求1所述的一种基于视觉的多无人机协同目标定位方法，其特征在于，所述步骤4.5中计算无人机总体重投影误差的方式具体如下：
;
;
其中，为参考目标点K的重投影误差，/>为无人机总体重投影误差。
4.根据权利要求3所述的一种基于视觉的多无人机协同目标定位方法，其特征在于，所述步骤4.5中根据无人机总体重投影误差更新参考目标点的观测权值的方式如下：
计算无人机总体重投影误差的标准差/>：
;
其中，为参考目标点的总数；
计算参考目标点K的更新参数：
;
其中，
;
和/>分别为置信阈值和淘汰阈值；
更新参考目标点K的观测权值为：
。
5.据权利要求4所述的一种基于视觉的多无人机协同目标定位方法，其特征在于，所述步骤5具体包括：
步骤5.1、对于单个待定位目标点，根据其在多机载荷图像上的齐次像点坐标、载荷内参矩阵/>以及优化后的绝对位姿旋转矩阵/>计算多机载荷相对于待定位目标点的测向向量/>：
;
步骤5.2、初始化观测权值；
步骤5.3、利用总体最小二乘算法和迭代重加权策略结合，在当前待定位目标点的观测权值下寻找空间中的一个点，使其到所有测向向量/>所在直线的距离的加权和最小，则表示为：
;
其中，为待定位目标点的观测权值，I为单位矩阵，T为矩阵转置符号；
步骤5.4计算点到多机载荷测向向量所在直线距离的总体误差，并根据点/>到多机载荷测向向量所在直线距离的总体误差更新待定位目标点的观测权值，若待定位目标点的观测权值变化小于设定的权值阈值，则将此时的最优估计值/>作为待定位目标点的绝对空间位置坐标输出，否则，返回步骤5.3重新计算。
6.根据权利要求5所述的一种基于视觉的多无人机协同目标定位方法，其特征在于，所述步骤5.4中计算点到多机载荷测向向量所在直线距离的总体误差的方式如下：
;
;
其中，为点/>到多机载荷测向向量所在直线距离的总体误差，/>为点/>到每个单机载荷测向向量所在直线距离的误差。
7.根据权利要求6所述的一种基于视觉的多无人机协同目标定位方法，其特征在于，所述步骤5.4中根据点到多机载荷测向向量所在直线距离的总体误差更新待定位目标点的观测权值的方式如下：
计算点到多机载荷测向向量所在直线距离的总体误差/>：
;
为无人机的个数；
计算待定位目标点的更新参数：
;
其中，
;
更新待定位目标点的观测权值为：
。
CN202310993284.8A 2023-08-09 2023-08-09 一种基于视觉的多无人机协同目标定位方法 Active CN116704388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310993284.8A CN116704388B (zh) 2023-08-09 2023-08-09 一种基于视觉的多无人机协同目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310993284.8A CN116704388B (zh) 2023-08-09 2023-08-09 一种基于视觉的多无人机协同目标定位方法

Publications (2)

Publication Number Publication Date
CN116704388A CN116704388A (zh) 2023-09-05
CN116704388B true CN116704388B (zh) 2023-11-03

Family

ID=87831604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310993284.8A Active CN116704388B (zh) 2023-08-09 2023-08-09 一种基于视觉的多无人机协同目标定位方法

Country Status (1)

Country Link
CN (1) CN116704388B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN110933597A (zh) * 2019-12-06 2020-03-27 北京壹氢科技有限公司 一种基于蓝牙的多无人车协同容错导航定位方法及系统
CN113625774A (zh) * 2021-09-10 2021-11-09 天津大学 局部地图匹配与端到端测距多无人机协同定位系统和方法
CN114821372A (zh) * 2022-05-12 2022-07-29 中山大学 基于单目视觉的无人机编队中个体相对位姿测量方法
CN114964212A (zh) * 2022-06-02 2022-08-30 广东工业大学 面向未知空间探索的多机协同融合定位与建图方法
CN115760975A (zh) * 2022-11-02 2023-03-07 湖南航天有限责任公司 一种图像导引头对目标位姿估计方法
CN116012422A (zh) * 2023-03-23 2023-04-25 西湖大学 基于单目视觉的无人机6d位姿估计跟踪方法及其应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869365B2 (en) * 2019-09-23 2024-01-09 Electronics And Telecommunications Research Institute Apparatus and method for detecting unmanned aerial vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN110933597A (zh) * 2019-12-06 2020-03-27 北京壹氢科技有限公司 一种基于蓝牙的多无人车协同容错导航定位方法及系统
CN113625774A (zh) * 2021-09-10 2021-11-09 天津大学 局部地图匹配与端到端测距多无人机协同定位系统和方法
CN114821372A (zh) * 2022-05-12 2022-07-29 中山大学 基于单目视觉的无人机编队中个体相对位姿测量方法
CN114964212A (zh) * 2022-06-02 2022-08-30 广东工业大学 面向未知空间探索的多机协同融合定位与建图方法
CN115760975A (zh) * 2022-11-02 2023-03-07 湖南航天有限责任公司 一种图像导引头对目标位姿估计方法
CN116012422A (zh) * 2023-03-23 2023-04-25 西湖大学 基于单目视觉的无人机6d位姿估计跟踪方法及其应用

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
3D target localization based on multi–unmanned aerial vehicle cooperation;cheng Xu 等;《measurement and control》;1-13 *
A Revised Monte Carlo Method for Target Location with UAV;Dongzhen Wang 等;《Journal of Intelligent & Robotic Systems》;1-14 *
Target location of unmanned aerial vehicles based on the electro-optical stabilization and tracking platform;cheng Xu 等;《Measurement》;1-13 *
基于协同无人机的感兴趣目标定位;马俊杰 等;《计算机测量与控制》;第28卷(第4期);176-180 *
多无人机协同区域搜索系统设计;刘琨 等;《电子设计工程》;第30卷(第3期);98-103 *
多无人机协同视觉感知与自主定位关键技术;段胜青;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;C031-959 *

Also Published As

Publication number Publication date
CN116704388A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
Lu A review of solutions for perspective-n-point problem in camera pose estimation
CN107301654B (zh) 一种多传感器的高精度即时定位与建图方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
Nieto et al. Recursive scan-matching SLAM
CN109633664B (zh) 基于rgb-d与激光里程计的联合定位方法
CN115731268A (zh) 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法
CN110187337B (zh) 一种基于ls和neu-ecef时空配准的高机动目标跟踪方法及系统
Zheng et al. Robust and accurate monocular visual navigation combining IMU for a quadrotor
Chen et al. Stereo visual inertial pose estimation based on feedforward-feedback loops
CN111812978A (zh) 一种多无人机协作slam方法与系统
CN111487612A (zh) 基于cpd的异地配置雷达/esm航迹抗差关联方法
Li et al. Kfs-lio: Key-feature selection for lightweight lidar inertial odometry
Comport et al. Robust real-time visual tracking: Comparison, theoretical analysis and performance evaluation
Aranda et al. Omnidirectional visual homing using the 1D trifocal tensor
Yin et al. Stereo visual odometry with automatic brightness adjustment and feature tracking prediction
CN116704388B (zh) 一种基于视觉的多无人机协同目标定位方法
CN112697158A (zh) 一种用于室内外场景的人为回环即时定位和建图方法及系统
Sabatta et al. Vision-based path following using the 1D trifocal tensor
Leishman et al. Robust Motion Estimation with RBG-D Cameras
Yao et al. Mobile Robot Localization Based on Vision and Multisensor
Eudes et al. Weighted local bundle adjustment and application to odometry and visual slam fusion
Comport et al. Efficient model-based tracking for robot vision
Jaekel et al. Robust multi-stereo visual-inertial odometry
Aizono et al. Efficient Outlier Removal Combining REPPnP and the Levenberg-Marquardt Method
Gong et al. Scene-aware Online Calibration of LiDAR and Cameras for Driving Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant