CN117519256B - 一种无人机平台单目轨迹重构方法 - Google Patents

一种无人机平台单目轨迹重构方法 Download PDF

Info

Publication number
CN117519256B
CN117519256B CN202311785770.7A CN202311785770A CN117519256B CN 117519256 B CN117519256 B CN 117519256B CN 202311785770 A CN202311785770 A CN 202311785770A CN 117519256 B CN117519256 B CN 117519256B
Authority
CN
China
Prior art keywords
image
data
target object
camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311785770.7A
Other languages
English (en)
Other versions
CN117519256A (zh
Inventor
隋修宝
姚成喆
郭伟兰
陈钱
李宁
姚哲毅
王一红
刘源
周圣航
高航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202311785770.7A priority Critical patent/CN117519256B/zh
Publication of CN117519256A publication Critical patent/CN117519256A/zh
Application granted granted Critical
Publication of CN117519256B publication Critical patent/CN117519256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明的无人机平台单目轨迹重构方法，通过基于飞行轨迹的轨迹重构理论，使用轨迹约束与视线约束相结合的方法来实现距离测量，并结合场景特点，对被动轨迹重构系统架构进行设计，建立包含数据转换、数据传输、参数获取、图像处理、数据计算等功能的信号处理流程与方法，通过一系列处理后，可以实现一定距离的高精度移动目标物轨迹重构。本发明所采用的基于飞行轨迹的单目被动轨迹重构是对运动目标物进行定位和轨迹重建的有效方法。

Description

一种无人机平台单目轨迹重构方法
技术领域
本发明属于计算机视觉领域，具体是一种无人机平台单目轨迹重构方法。
背景技术
运动目标物轨迹重构技术广泛运用于航天探测、自动驾驶、人机交互等领域。目前主流的轨迹重构算法主要依靠激光雷达、深度相机、毫米波雷达等方式获取图像或深度信息，在使用场景与轨迹重构距离方面具有一定的局限性。
目前，利用激光雷达、激光测距、毫米波雷达等主动式定位系统的轨迹重构技术已经得到了一定的应用，但在小型无人机平台上，可能没有能力搭载相关设备；部分作业场景下，目标物的表面条件对反射波不利，且探测者可能不宜暴露自己的位置信息，该场景下为了满足探测及轨迹重构的需求，更适合采用被动测距与轨迹重构的方式。
利用深度相机、双目或多目相机等构建的基于视觉的运动目标物跟踪与被动式轨迹重建系统由多个精确同步的标定相机构成,多相机同时获取运动目标物不同视角下的多个观测,利用前期相机标定信息和多视角观测信息，根据三角原理重建运动目标物每一时间点的三维位置,运动目标物的三维轨迹则由目标物位置的序列估计组合得到；在这一多相机运动目标物跟踪与轨迹重建框架中,运动目标物跟踪与轨迹重建精度依赖于多相机系统的精确时钟同步与标定,同时多相机系统成本高且观测视角固定,对系统的实用性提出挑战。另外这一框架无法应用于空间非合作目标物远距离监测等情形，主要使用在小空间短距离的动态捕获场景下，对于数百米甚至数千米以上的目标物则无法实现较高精度的轨迹重建。
高分辨率、高变焦倍率、高帧率与高稳相精度的光电吊舱的出现以及高精度定位导航系统的普及给运动平台下运动目标物的轨迹重构提供了一种新的解决方案。将基于高动态与高精度无人机平台的单目宽动态视觉技术引入运动目标物三维轨迹重构中将有效地提高轨迹重构的适用性，拓宽使用场景与探测范围，且可有效降低无人机平台载荷设备的复杂度。此外，相较于定基线双目摄像头视差法轨迹重构，结合自身运动信息的移动式单目摄像头可以拥有灵活的视角及实时可变的等效基线，可以通过平滑轨迹视线约束算法实现远距离运动目标物的轨迹重构。
目前，国内外公开的关于动态平台下的红外高动态目标物轨迹重构的相关研究还相对较少，主流仍是采用激光轨迹重构、毫米波雷达轨迹重构等方式实现主动轨迹重构；由于部分场景下采用主动轨迹重构方式会提前暴露己方位置，以及部分机载平台受限于自身载荷能力无法搭载光电吊舱外的其他设备，基于红外热像仪的高动态目标物轨迹重构技术成为此类场景下的一个比较理想的选择。此外，该技术也有望在自动驾驶、对地侦察、动态捕获、野外追踪等场景下发挥一定的价值。
发明内容
为了实现对远距离移动目标物的被动式单目轨迹重构，本发明提供了一种用于无人机平台上对空间中目标物进行轨迹重构的方法，既能拓宽移动目标物轨迹重构的范围，同时在同等精度的条件下尽可能降低对设备的性能要求。
实现本发明的技术解决方案为：一种无人机平台单目轨迹重构方法，包括以下步骤：
步骤1、将摄像机固定在无人机平台上，对摄像机进行标定，得到摄像机的内参数和畸变系数，用于进行后续的图像校正和目标物追踪。
步骤2、利用标定后的摄像机获取包含目标物信息的图像，对上述图像进行校正、阈值化处理，去除无关信息的干扰，获得目标物的图像像素坐标，并记录摄像机坐标系下的视线角度。
步骤3、获取100帧以上带数据标签的图像信息，所述带数据标签的图像信息包括数据标签与步骤二中获取的包含目标物信息的图像，所述数据标签包括无人机平台位置姿态、无人机组合导航信息以及摄像机相对地理坐标系的位置姿态信息，对包含目标物信息的图像进行坐标变换，获得世界坐标系下摄像机至目标物的视线角数据，同时对数据进行缓存，结合无人机组合导航信息数据对带数据标签的图像信息进行置信度判断，保留有效的带数据标签的图像信息。
步骤4、利用轨迹重构算法对100帧以上的有效的带数据标签的图像信息进行处理，得到轨迹重构结果，同时依据无人机平台在空间中的运动方式以及步骤2中目标物在图像中的位置闭环执行目标物追踪。
本发明与现有技术相比，其显著特点有：
(1)利用单目视觉被动探测技术，无需主动对外发射脉冲信号，隐蔽性好，探测距离远，抗干扰能力。
(2)基于无人机平台动基线轨迹重构，不受限于平台的位置与运动方式。
(3)对获取的数据进行置信度判断，并进行动态缓存与时间同步，有效抑制了测量噪声的影响。
附图说明
图1是本发明提出的一种无人机平台单目轨迹重构方法的流程图。
图2是本发明提出的一种无人机平台单目轨迹重构方法中的成像模型。
图3是本发明提出的一种无人机平台单目轨迹方法的测试结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，一种无人机平台单目轨迹重构方法，包括以下步骤：
步骤1、将摄像机固定在无人机平台上，对摄像机进行标定，得到摄像机的内参数和畸变系数，用于后续的图像校正和目标物追踪中；其中，所用摄像头可以输出的图像为1920x1080分辨率或更高分辨率的30FPS及以上帧率的图像；此外，摄像机的内参数标定与畸变系数标定采用张正友平面标定方法，仅使用单个平面棋盘格标定板来进行标定，且标定过程中只需要摄像机拍摄多个不同视角的棋盘格标定板图像，即可获得较高精度的相关参数。
步骤2、利用步骤1标定后的摄像机获取包含目标物信息的图像，对上述图像进行校正、阈值化处理，去除无关信息的干扰，获得目标物的图像像素坐标，并记录摄像机坐标系下的视线角度；其中，图像校正部分主要执行畸变校正与滤波处理，去除大部分干扰信息；图像阈值化处理是将校正后的图像进行灰度处理以及线性映射处理，便于提取目标物像素坐标信息。
步骤3、获取100帧以上带数据标签的图像信息，所述带数据标签的图像信息包括数据标签与步骤二中获取的包含目标物信息的图像，所述数据标签包括无人机平台位置姿态、无人机组合导航信息以及摄像机相对地理坐标系的位置姿态信息，对包含目标物信息的图像进行坐标变换，获得世界坐标系下摄像机至目标物的视线角数据，同时对数据进行缓存，结合无人机组合导航信息数据对带数据标签的图像信息进行置信度判断，保留有效的带数据标签的图像信息。其中，目标物在图像中，且已获得获取100帧以上带数据标签的图像信息，数据健康度检测算法会根据无人机平台位置姿态、无人机组合导航信息以及摄像机相对地理坐标系的位置姿态信息对数据的可信度进行评估，舍去异常的数据序列，降低传感器噪声、通讯延时、飞行平台抖动等对轨迹重构带来的干扰。
步骤4、用轨迹重构算法对100帧以上的有效的带数据标签的图像信息进行处理，得到轨迹重构结果，同时依据无人机平台在空间中的运动方式以及步骤2中目标物在图像中的位置闭环执行目标物追踪。其中，轨迹重构的算法如下：
机载控制器在获取100帧以上的有效数据后，结合成像模型，对成像模型进行松弛模型约束，即在松弛模型约束的基础上寻求重建误差最小的目标物运动轨迹：
当获取F帧的有效数据后，F≥100，结合成像模型
令
令
得到针孔成像模型下各点的坐标关系QiXi＝si。
积累100帧以上的有效数据后，记F帧有效数据下运动目标物三维轨迹X＝记F帧有效数据下运动目标物三维轨迹/>记F次有效数据下/>构成的矩阵为/>得到QX＝s；计算代价函数关于运动目标物三维轨迹X的梯度，并令其等于0，得到目标物三维轨迹的解进而求得目标物的运行轨迹，同时依据目标物在图像中的位置以及无人机平台在空间中的运动方式闭环执行目标物追踪。
其中，mi为第i帧有效数据中目标物在图像坐标系下的横坐标，ni为第i帧有效数据中目标物在图像坐标系中的纵坐标，δi为目标物相对于摄像机镜头的待求深度，Xi为第i帧有效数据中目标物的NED坐标系下的三维坐标，为第i帧有效数据中目标物的NED坐标系下的三维齐次坐标，Qi为已知量，/> si为已知量Xi为目标物三维轨迹，矩阵/>0≤i≤F，δ为平滑参数，H为平滑矩阵，Pi为第i帧摄像机的投影矩阵，/>为第i帧图像数据中投影矩阵的第一行的前三列，/>为第i帧图像数据投影矩阵的第三行的前三列，/>为第i帧图像数据投影矩阵的第三行的第四列，/>为矩阵(QTQ+δHTH)的伪逆。
F次观测数据下，平滑矩阵
其中，i表示矩阵的第i列，j表示矩阵的第i列。
其中，当目标物在图像中，且已占据一定数量的像素点时，机载电脑会结合当前的目标物像素尺寸动态调节变焦倍率，使得目标物在图像中占据合理的大小，便于目标物跟踪与目标物中心点计算。
结合图2，本发明提出的一种无人机平台单目轨迹重构装置中光电吊舱模块的成像模型为：
设物点P在世界坐标系中的坐标为[Xw Yw Zw]T，在摄像机坐标系中的坐标为[Xc YcZc]T，设摄像机在世界坐标系中的位姿为{R,t}，其中R为相机的姿态矩阵，t为平移矢量，则
设像点p的图像坐标为[x y]T，则根据共线关系，其与世界点[Xc Yc Zc]T之间的关系为：
其中，[u0 v0]T为主点，fx、fy分别是横向和纵向等效焦距，表示实际光学焦距与像元的横纵长度之比。
结合上两式，得到：
其中，为了避免用欧拉角表示姿态时可能出现的自锁现象，姿态矩阵将采用四元数q＝{q0、q1、q2、q3}来构造，在定位导航系统中获取的姿态四元数为满足||q||＝1的单位四元数，单位四元数与旋转矩阵的转换关系为
根据上述坐标关系，有成像模型：
U(X-XC)＝0
其中，X为目标物的三维坐标，Xc为测量无人机的三维坐标，矩阵U为测量无人机与目标无人机之前的旋转矩阵。
结合图3，利用本无人机平台单目轨迹重构方法，在600米至3000米范围内对目标物进行轨迹重构，轨迹重构最大偏差2.55％，平均偏差1.66％，具备较高的精度与可用性。

Claims (5)

1.一种无人机平台单目轨迹重构方法，其特征在于，包括以下步骤：
步骤1、将摄像机固定在无人机平台上，对摄像机进行标定，得到摄像机的内参数和畸变系数，用于进行后续的图像校正和目标物追踪；
步骤2、利用标定后的摄像机获取包含目标物信息的图像，对上述图像进行校正、阈值化处理，去除无关信息的干扰，获得目标物的图像像素坐标，并记录摄像机坐标系下的视线角度；
步骤3、获取100帧以上带数据标签的图像信息，所述带数据标签的图像信息包括数据标签与步骤二中获取的包含目标物信息的图像，所述数据标签包括无人机平台位置姿态、无人机组合导航信息以及摄像机相对地理坐标系的位置姿态信息，对包含目标物信息的图像进行坐标变换，获得世界坐标系下摄像机至目标物的视线角数据，同时对数据进行缓存，结合无人机组合导航信息数据对带数据标签的图像信息进行置信度判断，保留有效的带数据标签的图像信息；具体如下：
当目标物在图像中，且已获得100帧以上的带数据标签的图像信息时，利用数据健康度检测算法根据目标物所在图像位置、信息刷新间隔、组合导航信息对步骤二中提取到的目标物的图像像素坐标信息的置信度进行评估，得到单帧数据的置信度结果，舍去置信度较低的数据保留剩余数据作为有效数据，且有效数据大于100帧，降低传感器噪声、通讯延时、飞行平台抖动对轨迹重构带来的干扰；
步骤4、利用轨迹重构算法对100帧以上的有效的带数据标签的图像信息进行处理，得到轨迹重构结果，同时依据无人机平台在空间中的运动方式以及步骤2中目标物在图像中的位置闭环执行目标物追踪，具体如下：
当目标物在图像中，且已占据大于八个像素点时，机载控制器结合当前的目标物像素尺寸动态调节变焦倍率，使得目标物在图像中占据合理的大小，进行目标物跟踪，并计算得到目标物中心点；
依据无人机平台在空间中的运动方式以及步骤2中目标物在图像中的位置闭环执行目标物追踪，具体如下：当获取F帧的有效数据后，F≥100，结合成像模型
令
令
得到针孔成像模型下各点的坐标关系QiXi＝si；
积累100帧以上的有效数据后，记F帧有效数据下运动目标物三维轨迹
记F次有效数据下构成的矩阵为s,/>得到QX＝s，其中1<i<F，计算代价函数关于运动目标物三维轨迹X的梯度，并令其等于0，得到目标物三维轨迹的解/>进而求得目标物的运行轨迹，同时依据目标物在图像中的位置以及无人机平台在空间中的运动方式闭环执行目标物追踪；
其中，mi为第i帧有效数据中目标物在图像坐标系下的横坐标，ni为第i帧有效数据中目标物在图像坐标系中的纵坐标，δi为目标物相对于摄像机镜头的待求深度，Xi为第i帧有效数据中目标物的NED坐标系下的三维坐标，为第i帧有效数据中目标物的NED坐标系下的三维齐次坐标，Qi为已知量，/> si为已知量，/>Xi为目标物三维轨迹，矩阵Q为/>δ为平滑参数，H为平滑矩阵，Pi为第i帧摄像机的投影矩阵，/>为第i帧图像数据中投影矩阵的第一行的前三列，/>为第i帧图像数据投影矩阵的第三行的前三列，/>为第i帧图像数据投影矩阵的第三行的第四列，/>为矩阵(QTQ+δHTH)的伪逆；
F次观测数据下，平滑矩阵
其中，i表示矩阵的第i列，j表示矩阵的第j列。
2.根据权利要求1所述的无人机平台单目轨迹重构方法，其特征在于：步骤1中，摄像机的分辨率为1920×1080，且帧率大于等于30FPS。
3.根据权利要求1所述的无人机平台单目轨迹重构方法，其特征在于：步骤1中，摄像机的内参数标定与畸变系数标定均采用张正友平面标定方法，仅使用单个平面棋盘格标定板来进行标定，且标定过程中只需要摄像机拍摄多个不同视角的棋盘格标定板图像，即获得相关参数。
4.根据权利要求1所述的无人机平台单目轨迹重构方法，其特征在于：步骤2中，图像校正包括畸变校正与滤波处理，得到校正后的图像，去除70％以上的干扰信息，再进行阈值化处理。
5.根据权利要求4所述的无人机平台单目轨迹重构方法，其特征在于：阈值化处理是将校正后的图像进行灰度处理以及线性映射处理，以提取目标物的图像像素坐标。
CN202311785770.7A 2023-12-25 2023-12-25 一种无人机平台单目轨迹重构方法 Active CN117519256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311785770.7A CN117519256B (zh) 2023-12-25 2023-12-25 一种无人机平台单目轨迹重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311785770.7A CN117519256B (zh) 2023-12-25 2023-12-25 一种无人机平台单目轨迹重构方法

Publications (2)

Publication Number Publication Date
CN117519256A CN117519256A (zh) 2024-02-06
CN117519256B true CN117519256B (zh) 2024-06-07

Family

ID=89742260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311785770.7A Active CN117519256B (zh) 2023-12-25 2023-12-25 一种无人机平台单目轨迹重构方法

Country Status (1)

Country Link
CN (1) CN117519256B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN110362098A (zh) * 2018-03-26 2019-10-22 北京京东尚科信息技术有限公司 无人机视觉伺服控制方法、装置以及无人机
CN113420488A (zh) * 2021-05-18 2021-09-21 东南大学 一种基于轨迹重构的城市路网od估计方法
CN113867393A (zh) * 2021-10-19 2021-12-31 中国人民解放军军事科学院国防科技创新研究院 一种航迹可控的无人机编队队形重构方法
CN115291219A (zh) * 2022-06-15 2022-11-04 广西电网有限责任公司崇左供电局 利用单目摄像头实现无人机动态避障方法、装置及无人机
CN116796119A (zh) * 2023-06-16 2023-09-22 南京理工大学 一种基于无人机运动平台的单目测距精度计算方法
CN117078717A (zh) * 2023-07-28 2023-11-17 天津大学 基于无人机单目相机的道路车辆轨迹提取方法
CN117252933A (zh) * 2023-09-27 2023-12-19 重庆大学 基于无人机的相机内参自动标定方法、系统及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN110362098A (zh) * 2018-03-26 2019-10-22 北京京东尚科信息技术有限公司 无人机视觉伺服控制方法、装置以及无人机
CN113420488A (zh) * 2021-05-18 2021-09-21 东南大学 一种基于轨迹重构的城市路网od估计方法
CN113867393A (zh) * 2021-10-19 2021-12-31 中国人民解放军军事科学院国防科技创新研究院 一种航迹可控的无人机编队队形重构方法
CN115291219A (zh) * 2022-06-15 2022-11-04 广西电网有限责任公司崇左供电局 利用单目摄像头实现无人机动态避障方法、装置及无人机
CN116796119A (zh) * 2023-06-16 2023-09-22 南京理工大学 一种基于无人机运动平台的单目测距精度计算方法
CN117078717A (zh) * 2023-07-28 2023-11-17 天津大学 基于无人机单目相机的道路车辆轨迹提取方法
CN117252933A (zh) * 2023-09-27 2023-12-19 重庆大学 基于无人机的相机内参自动标定方法、系统及电子设备

Also Published As

Publication number Publication date
CN117519256A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
CN104501779A (zh) 基于多站测量的无人机高精度目标定位方法
Leininger et al. Autonomous real-time ground ubiquitous surveillance-imaging system (ARGUS-IS)
CN108257161A (zh) 基于多相机的车辆环境三维重构和运动估计系统及方法
WO2017024673A1 (zh) 一种基于射频和双目视觉的目标定位系统及方法
CN109269525B (zh) 一种空间探测器起飞或着陆过程光学测量系统及方法
CN108496201A (zh) 图像处理方法和设备
TWI444593B (zh) 地面目標定位系統與方法
US9794483B1 (en) Video geolocation
CN106871900A (zh) 船舶磁场动态检测中图像匹配定位方法
CN108090935B (zh) 混合相机系统及其时间标定方法及装置
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN111402324A (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN117519256B (zh) 一种无人机平台单目轨迹重构方法
CN108305290A (zh) 一种动目标的精确测谱方法
CN116026323A (zh) 一种用于发动机油加注机定位与区域防错方法
CN112985388B (zh) 基于大位移光流法的组合导航方法及系统
CN113091740B (zh) 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法
EP3590008A1 (en) Multi-camera system for tracking one or more objects through a scene
KR101996168B1 (ko) Cmos 센서의 롤링 셔터 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치
CN114913224A (zh) 基于视觉slam的用于移动机器人的构图方法
CN109323766A (zh) 基于场景的两点非均匀性校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant