CN117523461A - 一种基于机载单目相机的运动目标跟踪与定位方法 - Google Patents
一种基于机载单目相机的运动目标跟踪与定位方法 Download PDFInfo
- Publication number
- CN117523461A CN117523461A CN202410022936.8A CN202410022936A CN117523461A CN 117523461 A CN117523461 A CN 117523461A CN 202410022936 A CN202410022936 A CN 202410022936A CN 117523461 A CN117523461 A CN 117523461A
- Authority
- CN
- China
- Prior art keywords
- frame
- coordinate system
- point
- points
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 230000009466 transformation Effects 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 230000003068 static effect Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 49
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 claims description 3
- 108010050014 systemin Proteins 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机载单目相机的运动目标跟踪与定位方法，对机载单目相机进行内参的标定；对图像序列进行处理，得到深度图像、目标检测框数据和光流；利用目标检测框，将类别属于刚性可移动物体的区域排除；在ORB‑SLAM2算法单目初始化的过程中，对静态区域进行ORB特征的提取与匹配，进而得到机载单目相机的坐标变换矩阵；使用RANSAC方法对静态区域进行平面拟合恢复真实尺度；运行ORB‑SLAM2算法的跟踪、局部建图和闭环检测线程，实现ORB‑SLAM2原有的功能，得到机载单目相机的坐标变换矩阵和稀疏的静态地图点；并生成动态目标的地图点；构造一个基于重投影误差的代价函数来求解动态目标的定位参数。本发明使机载平台在定位的同时能够感知周围环境的动态目标。
Description
技术领域
本发明属于视觉导航领域，具体涉及一种基于机载单目相机的运动目标跟踪与定位方法。
背景技术
图像摄像机能够提供丰富的环境纹理信息，并且其重量轻、成本低，适合作为机载传感器进行空对地的动态环境感知。基于机载单目相机的运动目标跟踪与定位需求，是指利用摄像机视觉处理方法，对机载单目图像传感器，航拍得到的图像数据进行处理和分析，根据目标跟踪算法、视觉定位与制图算法，获得动态目标的跟踪与定位信息。
传统的视觉定位方法，例如同步定位与制图（Simultaneous Localization andMapping，SLAM）算法，往往只提供机载平台的位置信息与周围的静态地图，忽视了环境中的动态目标，这限制了机载平台在复杂场景中的应用。
为了解决上述存在的问题，如公开号为CN110378997B的中国专利公开了一种基于ORB-SLAM2的动态场景建图与定位方法，包括局部地图跟踪过程、动态像素剔除过程、稀疏映射过程、闭环检测过程以及构建八叉树地图过程。该方法具有动态像素剔除的功能，通过目标检测方法，结合深度图像，在相机采集的图像中快速检测移动对象，并在复杂的动态环境中构建一个干净的静态背景八叉树地图。但该方法无法感知环境中动态目标的位置，不利于机载平台后续的路径规划、避障等操作。又如公开号为CN 112116651 A的中国专利公开了一种基于无人机单目视觉的地面目标定位方法和系统，包括：获取地面目标在每帧无人机单目视觉图像中的位置；基于图像中的位置，采用视场角计算地面目标的真实坐标；将地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息。但该方法和系统没有对目标进行制图操作，也无法确定目标的动静态。当机载平台在动态环境中飞行时，移动的物体会影响视觉定位方法的准确度，同时机载平台的路径规划和避障任务，需要利用环境中动态目标的位置信息。目前，国内外尚无一种基于机载单目相机的运动目标跟踪与定位方法，能够同时进行机载平台定位、环境三维制图与动态目标跟踪任务。为此，本发明设计了一种基于机载单目相机的运动目标跟踪与定位方法，该方法能够利用机载单目相机捕获的图像，和机载气压计获得的高度值，恢复出环境中的真实尺度，并得到机载平台和动态目标的定位参数，以及包含动态目标和静态区域的三维地图。
发明内容
发明目的：发明提供了一种基于机载单目相机的运动目标跟踪与定位方法，将多目标跟踪方法集成到ORB-SLAM2的框架下，利用机载气压计测量的高度值恢复单目图像缺失的真实尺度，使机载平台在定位的同时能够感知周围环境的动态目标。
技术方案：本发明所述的一种基于机载单目相机的运动目标跟踪与定位方法，包括以下步骤：
（1）基于棋盘格标定法，对机载单目相机进行标定，获得相机的内参数；
（2）将机载单目相机，设置为俯视向下的拍摄方向，在机载平台的飞行过程中，实时采集地面场景的图像序列；
（3）对机载单目相机采集的图像序列进行处理，得到深度图数据、目标检测框数据和图像中每一个像素点的光流参数；
（4）根据步骤（3）得到的目标检测框数据中的检测框类别，将类别属于刚性可移动物体的区域排除，剩余的区域划分为静态区域；
（5）对静态区域提取图像特征点，选择两张连续图像进行特征点的匹配，计算初始化的三维地图点；
（6）使用随机采样一致算法，对步骤（5）中得到的三维地图点拟合地平面；利用相机的定位参数和拟合的地平面，计算出相机距离拟合地平面的高度，使用机载气压计测量的真实高度值与拟合高度值的比值，恢复真实物理尺度参数；
（7）初始化成功后，运行ORB-SLAM2算法的跟踪、局部建图和闭环检测线程，实现ORB-SLAM2原有的功能，计算相机的坐标变换矩阵，进而得到相机的定位参数，并生成稀疏的静态地图点；
（8）在类别属于刚性可移动物体的区域，利用基于多目标跟踪和光流法的联合关联方法，跟踪动态物体，并生成动态地图点；
（9）构造基于重投影误差的代价函数，求解动态物体的定位参数。
进一步地，步骤（1）所述的相机的内参数包括主距长度、主点坐标/>、径向畸变参数/>和切向畸变参数/>，其中/>表示主点相对像素坐标系原点在/>轴方向的偏移，/>表示主点相对像素坐标系原点在/>轴方向的偏移，像素坐标系以图像左上角为原点，/>轴向右，/>轴向下。
进一步地，步骤（3）所述深度图数据为深度图像每一个像素值，代表机载单目相机采集到的场景中各点到相机平面的距离，即深度值。
进一步地，步骤（3）所述目标检测框数据包括检测框左上角和右下角在图像中的像素坐标、检测框类别和检测框置信度数据。
进一步地，步骤（3）所述的光流参数包括相邻两帧图像中每个像素点的运动速度和运动方向参数。
进一步地，所述步骤（5）实现过程如下：
（51）在图像中对静态区域提取ORB特征点；
（52）选择ORB特征点数目满足预先设置个数的两张连续图像，进行特征点的匹配，并使用ORB-SLAM2算法进行地图初始化；
（53）根据序列图像之间的ORB特征点匹配的关系，计算出相机的坐标变换矩阵，通过三角化算法计算特征点的深度值，计算初始化的三维地图点；
（54）将初始化的第一帧图像的相机坐标系，作为初始化的三维地图点的世界坐标系，世界坐标系的原点为相机采集第一帧图像时光心的位置，Z轴与光轴重合指向相机的前方，X轴平行于像素坐标系轴方向，Y轴平行于像素坐标系/>轴方向。
进一步地，所述步骤（6）实现过程如下：
（61）对三维地图点按照坐标中的z值进行升序排序，选择一个高度作为高度阈值，从排序后的点中选择大于该高度阈值的三维地图点，作为拟合平面点集；
（62）从拟合平面点集中，随机选择三个不共线的点，在世界坐标系下的坐标分别为，/>表示该点相对于世界坐标系原点在X轴方向的偏移，/>表示该点相对于世界坐标系原点在Y轴方向的偏移，/>表示该点相对于世界坐标系原点在Z轴方向的偏移，拟合平面方程：
其中，A、B、C、D为平面方程的系数，计算公式如下：
（63）计算拟合平面点集中的点，到拟合平面的距离/>：
若距离小于距离阈值，则将该点记为内点；
（64）如果内点个数占拟合平面点集中所有点个数的比例大于预先设定的比例阈值，则判断平面拟合完成，否则重复步骤（62）、（63），直到满足阈值要求；
（65）计算机载单目相机到拟合地平面的距离作为拟合高度，通过机载气压计，测量机载单目相机距离地面的真实高度，计算真实高度与拟合高度的比值，作为恢复的真实尺度。
进一步地，所述步骤（8）实现过程如下：
（81）选出类别为刚性可移动物体的目标检测框，根据检测框数据中的置信度，将检测框划分为高置信度框和低置信度框；
（82）根据跟踪了两帧以上的目标检测框的轨迹，利用卡尔曼滤波算法，预测它们在当前帧的检测框，包括检测框的位置和大小；将预测检测框与高置信度框计算交并比，即计算预测检测框和高置信度框之间面积的交集和并集的比值，获取一个两两之间IoU的关系损失矩阵；
（83）使用匈牙利算法，将高置信度框与预测检测框进行匹配，得到匹配成功的预测检测框和高置信度框的对应关系，和未匹配成功的预测检测框和高置信度框；
（84）将未匹配成功的预测检测框，和低置信度框计算IoU，获得关系损失矩阵，使用匈牙利算法对其进行匹配，得到匹配成功的预测检测框和低置信度框的对应关系，删除未匹配成功的低置信度框；
（85）对于两次匹配均未成功的预测检测框，将其中框住的物体视为暂时跟踪丢失的目标，如果该目标超过预设帧数都未被跟踪到，则将其轨迹删除，否则继续保存；
（86）对于未匹配成功的高置信度框，如果连续两帧都被检测到，则将其中的物体设置为新出现的目标进行跟踪；
（87） 在步骤（83）和（84）得到的匹配成功的目标检测框区域中，每隔一定数目的点进行一次采样；
（88）使用步骤（3）得到的光流参数，对步骤（87）中得到的采样点进行预测，得到采样点在下一帧即第帧中的像素坐标/>，坐标中的/>表示采样点相对像素坐标系原点在/>轴方向的偏移，/>表示采样点相对像素坐标系原点在/>轴方向的偏移：
其中，为采样点在当前帧的像素坐标，/>和/>分别表示该像素位置的光流中的水平方向的运动速度和垂直方向的运动速度；
（89）根据采样点的像素位置，使用步骤（3）得到的深度图像，获取采样点的深度值，利用步骤（7）得到的相机坐标变换矩阵/>，其中世界坐标系用/>表示，相机坐标系用/>表示，生成动态目标的地图点/>：
计算采样点的场景流：
其中，是使用光流结果预测第/>帧图像中采样的第/>个点/>，对应第帧图像下的像素坐标；/>是相机内参矩阵；/>是第/>个采样点，在第/>帧时的相机坐标系下的齐次坐标；/>表示第/>帧时，从世界坐标系到相机坐标系的齐次变换；/>和/>分别表示第/>个采样点，在第/>帧和第/>帧时的世界坐标系下的齐次坐标；如果采样点的场景流大于预设阈值，则该点为动态点；如果该目标检测框区域中的动态点数目，占所有采样点数目的比值，大于预设数目阈值，则将该区域框住的物体设置为动态目标。
进一步地，所述步骤（9）实现过程如下：
（91）推导世界坐标系下的动态目标的运动变换；令描述从第帧时的物体坐标系到第/>帧时的物体坐标系的齐次变换，物体坐标系用/>表示：
其中，分别表示第/>帧和第/>帧时，从世界坐标系到物体坐标系的齐次变换；
物体坐标系中一个点的坐标表示为，将式（12）式带入得到：
其中，为第/>个三维点，在世界坐标系中的齐次坐标；
若动态目标属于刚性物体，则有：
.
将式（14）带入式（13）得到：
.
令 ，表示刚性物体上一点在世界坐标系中的运动变换；最终物体上一点在世界坐标系中的运动表示为：
.
（92）动态目标的采样三维点，与对应二维像素点/>的重投影误差项为：
其中，；
使用李代数表示/>：
.
设采样三维点与二维像素点/>点对的个数为/>，物体的变换能够通过优化下式得到：
其中，是Huber函数，/>是与重投影误差相关的协方差矩阵。
进一步地，步骤（8）所述刚性可移动物体为汽车和船舶。
有益效果：与现有技术相比，本发明的有益效果：本发明利用机载气压计测量的高度，恢复单目图像缺失的尺度，输出机载平台和动态目标的定位参数，以及包含动态目标和静态区域的三维地图，使得机载平台在定位的同时能够跟踪环境中的动态目标，为机载平台在动态环境中的导航与目标跟踪提供了重要支持。
附图说明
图1为本发明流程图；
图2为基于RANSAC方法的地平面拟合示意图；
图3为坐标系关系示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
如图1所示，本发明提出一种基于机载单目相机的运动目标跟踪与定位方法，具体包括以下步骤：
步骤1：对机载单目相机的内参进行标定。
选择一个由黑白方块间隔组成的棋盘格标定板，使用机载单目相机采集一系列图像。确保图像涵盖了不同的拍摄角度和距离，并尽量覆盖整个标定板平面；对每个图像提取其中标定板上的角点；通过已知的棋盘格尺寸与检测到的角点位置之间的对应关系，利用张正友标定法计算机载单目相机的内参数，包括主距长度、主点坐标/>、径向畸变参数/>和切向畸变参数/>，其中/>表示主点相对像素坐标系原点在/>轴方向的偏移，/>表示主点相对像素坐标系原点在/>轴方向的偏移，像素坐标系以图像左上角为原点，/>轴向右，/>轴向下。
步骤2：将机载单目相机，设置为俯视向下的拍摄方向，在机载平台的飞行过程中，实时采集地面场景的图像序列。
步骤3：使用深度学习方法对机载单目相机采集的图像进行处理。
对机载单目相机采集的图像序列进行深度图计算处理，得到深度图数据。
使用重建深度图的神经网络模型，对每一帧图像进行深度图计算；深度图的每一个像素值，代表了机载单目相机采集到的场景中各点到相机平面的距离，即深度值
使用目标检测的神经网络模型，对每一帧图像进行目标检测；目标检测框数据，包含了检测框左上角和右下角在图像中的像素坐标、检测框类别和检测框置信度数据。
使用预测光流的神经网络模型，对每一帧图像进行光流估计计算；光流参数包括了相邻两帧图像中，每个像素点的运动速度和运动方向参数。
步骤4：利用目标检测框，将类别属于刚性可移动物体的区域排除，剩余的区域划分为静态区域。
根据YOLOv5网络提供的语义信息，将车辆、船舶设置为刚性可移动物体，将其所在的区域排除，剩余的区域划分为静态区域。
步骤5：通过ORB-SLAM2单目初始化过程，生成机载单目相机的坐标变换矩阵和三维地图点。
在ORB-SLAM2算法单目初始化的过程中，仅对静态区域提取ORB（Oriented FASTand Rotated BRIEF）特征点，选择ORB特征点数目大于100的两张连续图像进行特征点的匹配。根据匹配的点对关系，计算出相机的坐标变换矩阵，通过三角化算法计算出特征点的深度信息，生成三维地图点。将初始化的第一帧图像的相机坐标系，作为初始化的三维地图点的世界坐标系，世界坐标系的原点为相机采集第一帧图像时光心的位置，Z轴与光轴重合指向相机的前方，X轴平行于像素坐标系轴方向，Y轴平行于像素坐标系/>轴方向。
步骤6：利用随机采样一致（Random Sample Consensus，RANSAC）算法对地平面进行拟合，恢复真实尺度。
对三维地图点按照坐标中的z值进行升序排序，选择一个高度作为高度阈值，使z值大于该高度的三维地图点的个数，占所有三维地图点个数的40%，选择大于该高度阈值的三维地图点，作为拟合平面点集。
从拟合平面点集中，随机选择三个不共线的点，在世界坐标系下的坐标分别为，/>表示该点相对于世界坐标系原点在X轴方向的偏移，表示该点相对于世界坐标系原点在Y轴方向的偏移，/>表示该点相对于世界坐标系原点在Z轴方向的偏移，拟合平面方程：
其中，A、B、C、D为平面方程的系数，计算公式如下：
计算拟合平面点集中的点，到拟合平面的距离/>：
若距离小于0.2，则将该点记为内点。
如果内点个数占拟合平面点集中所有点个数的比例大于75%，则判断平面拟合完成，否则重新从拟合平面点集中，选择点来拟合平面，直到满足内点个数占拟合平面点集中所有点个数的比例大于75%的要求。
图2为基于RANSAC方法的地平面拟合示意图，展示了拟合地平面和机载单目相机的位置关系；其中拟合地平面中的黑色圆点代表落在拟合地平面中的三维地图点，将机载单目相机到拟合地平面的距离作为拟合高度，使用机载气压计测量机载单目相机距离地面的真实高度，计算真实高度与拟合高度的比值作为恢复的真实尺度。
步骤7：运行ORB-SLAM2算法的跟踪、局部建图和闭环检测线程，实现ORB-SLAM2原有的功能，得到机载单目相机的定位参数和三维地图点。
在静态区域中进行ORB特征提取与匹配，利用匹配的特征点对，通过PnP（Perspective-n-Point）算法求解相机的坐标变换矩阵，从而得到机载单目相机的定位参数。
选择和局部地图中的其他关键帧有一定共视关系，且重复度不高的帧作为关键帧，将其插入局部地图中，局部地图包括关键帧和由这些关键帧检测到的特征点。
通过多个关键帧检测到的特征点匹配关系，使用三角化算法计算特征点的深度值，得到三维地图点。
三角化后的地图点对应的特征点，若能够在跟踪线程里超过四分之一的图像中被检测到，并且被三个关键帧观测到，则保留该地图点。
在新的关键帧插入后，利用词袋模型，与之前的关键帧进行环路检测，找到可能的闭环关键帧。
根据闭环检测得到的闭环关键帧，进行闭环校正，来优化相机的定位参数和三维地图点坐标。
步骤8：在类别属于刚性可移动物体的区域，利用基于多目标跟踪和光流法的联合关联方法，跟踪动态目标，并生成动态地图点。
选出类别为车辆、船舶的目标检测框，将置信度大于0.6的检测框划分为高置信度框，将置信度小于0.6的检测框划分为低置信度框。
根据所有跟踪了两帧以上的检测框的轨迹，利用卡尔曼滤波算法预测它们在当前帧的检测框，包括位置和大小。将预测检测框与高置信度框计算IoU，即计算预测的检测框和高置信度框之间面积的交集和并集的比值，获取一个两两之间IoU的关系损失矩阵。
根据关系损失矩阵，使用匈牙利算法将高置信度框与预测检测框进行匹配，得到匹配成功的预测检测框和高置信度框的对应关系，和未匹配成功的预测检测框和高置信度框。
将未匹配成功的预测检测框和低置信度框计算IoU，获得关系损失矩阵，使用匈牙利算法对其进行匹配，得到匹配成功的预测检测框和低置信度框的对应关系，删除未匹配成功的低置信度框。
对于两次匹配均未成功的预测检测框，将其中框住的物体视为暂时跟踪丢失的目标，如果该物体超过30帧都未被跟踪到，则将其轨迹删除，否则继续保存。
对于未匹配成功的高置信度框，如果其连续2帧都被检测到，则将其设置为新出现的目标进行跟踪。
在匹配成功的当前帧的目标检测框区域中，每隔2个像素位置进行一次采样。
使用光流结果对当前帧的采样点进行预测，得到采样点在下一帧（即第帧）中的像素坐标坐标/>，坐标中的/>表示采样点相对像素坐标系原点在/>轴方向的偏移，/>表示采样点相对像素坐标系原点在/>轴方向的偏移：
其中，为采样点在当前帧的像素坐标，/>和/>分别表示该像素位置的光流中的水平方向的运动速度和垂直方向的运动速度。
根据采样点的像素位置，使用深度图像，获取采样点的深度值，利用机载单目相机的坐标变换矩阵/>，其中世界坐标系用/>表示，相机坐标系用/>表示，生成动态目标的地图点/>：
计算采样点的场景流：
其中，是使用光流结果预测第/>帧图像中采样的第/>个点/>，对应第帧图像下的像素坐标；/>是相机内参矩阵；/>是第/>个采样点，在第/>帧时的相机坐标系下的齐次坐标；/>表示第/>帧时，从世界坐标系到相机坐标系的齐次变换；/>和/>分别表示第/>个采样点，在第/>帧和第/>帧时的世界坐标系下的齐次坐标；如果场景流大于0.12，则该点为动态点，如果该目标检测框区域中的动态点数目占所有采样点数目的比值大于30%，则将该区域框住的物体设置为动态目标。
是一个由变换矩阵组成的特殊欧氏群，代表刚体变换运动：
其中，表示变换矩阵，/>表示旋转矩阵，/>表示平移向量，/>是一个由旋转矩阵构成的特殊正交群：
其中，表示一个3×3维的单位矩阵，/>表示求矩阵/>的行列式。
步骤9：构造一个基于重投影误差的代价函数来求解动态目标的定位参数。
推导世界坐标系下的动态目标的运动变换，如图3所示，其中，分别表示第/>帧和第/>帧时，从世界坐标系到相机坐标系的齐次变换；/>分别表示第/>帧和第/>帧时，从世界坐标系到物体坐标系的齐次变换；/>表示从第帧时的物体坐标系，到第/>帧时的物体坐标系的齐次变换；/>和/>分别表示第/>个采样点，在第/>帧和第/>帧时的世界坐标系下的齐次坐标；/>表示第个采样点，在第/>帧和第/>帧时的相机坐标系下的坐标；/>表示第/>个采样点，在第/>帧和第/>帧时的物体坐标系下的坐标。
令描述从第/>帧时的物体坐标系到第/>帧时的物体坐标系的齐次变换，物体坐标系用/>表示：
其中，分别表示第/>帧和第/>帧时，从世界坐标系到物体坐标系的齐次变换；
表示第/>个采样点，在第/>帧时的物体坐标系下的坐标，，将式（12）式带入得到：
其中，为第/>个采样点，在第/>帧时的世界坐标系中的齐次坐标；
若动态目标属于刚性物体，则有：
.
将式（14）带入式（13）得到：
.
令 ，表示刚性物体上一点在世界坐标系中的运动变换；最终物体上一点在世界坐标系中的运动表示为：
.
动态目标的采样三维点，与对应二维像素点/>的重投影误差项为：
其中，；
使用李代数表示/>，其中/>是/>对应的李代数：
.
设采样三维点与二维像素点/>点对的个数为/>，物体的变换能够通过优化下式得到：
其中，是Huber函数，/>是与重投影误差相关的协方差矩阵。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，包括以下步骤：
（1）基于棋盘格标定法，对机载单目相机进行标定，获得相机的内参数；
（2）将机载单目相机，设置为俯视向下的拍摄方向，在机载平台的飞行过程中，实时采集地面场景的图像序列；
（3）对机载单目相机采集的图像序列进行处理，得到深度图数据、目标检测框数据和图像中每一个像素点的光流参数；
（4）根据步骤（3）得到的目标检测框数据中的检测框类别，将类别属于刚性可移动物体的区域排除，剩余的区域划分为静态区域；
（5）对静态区域提取图像特征点，选择两张连续图像进行特征点的匹配，计算初始化的三维地图点；
（6）使用随机采样一致算法，对步骤（5）中得到的三维地图点拟合地平面；利用相机的定位参数和拟合的地平面，计算出相机距离拟合地平面的高度，使用机载气压计测量的真实高度值与拟合高度值的比值，恢复真实物理尺度参数；
（7）初始化成功后，运行ORB-SLAM2算法的跟踪、局部建图和闭环检测线程，实现ORB-SLAM2原有的功能，计算相机的坐标变换矩阵，进而得到相机的定位参数，并生成稀疏的静态地图点；
（8）在类别属于刚性可移动物体的区域，利用基于多目标跟踪和光流法的联合关联方法，跟踪动态物体，并生成动态地图点；
（9）构造基于重投影误差的代价函数，求解动态物体的定位参数。
2.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，步骤（1）所述的相机的内参数包括主距长度、主点坐标/>、径向畸变参数和切向畸变参数/>，其中/>表示主点相对像素坐标系原点在/>轴方向的偏移，/>表示主点相对像素坐标系原点在/>轴方向的偏移，像素坐标系以图像左上角为原点，轴向右，/>轴向下。
3.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，步骤（3）所述深度图数据为深度图像每一个像素值，代表机载单目相机采集到的场景中各点到相机平面的距离，即深度值。
4.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，步骤（3）所述目标检测框数据包括检测框左上角和右下角在图像中的像素坐标、检测框类别和检测框置信度数据。
5.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，步骤（3）所述的光流参数包括相邻两帧图像中每个像素点的运动速度和运动方向参数。
6.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，所述步骤（5）实现过程如下：
（51）在图像中对静态区域提取ORB特征点；
（52）选择ORB特征点数目满足预先设置个数的两张连续图像，进行特征点的匹配，并使用ORB-SLAM2算法进行地图初始化；
（53）根据序列图像之间的ORB特征点匹配的关系，计算出相机的坐标变换矩阵，通过三角化算法计算特征点的深度值，计算初始化的三维地图点；
（54）将初始化的第一帧图像的相机坐标系，作为初始化的三维地图点的世界坐标系，世界坐标系的原点为相机采集第一帧图像时光心的位置，Z轴与光轴重合指向相机的前方，X轴平行于像素坐标系轴方向，Y轴平行于像素坐标系/>轴方向。
7.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，所述步骤（6）实现过程如下：
（61）对三维地图点按照坐标中的z值进行升序排序，选择一个高度作为高度阈值，从排序后的点中选择大于该高度阈值的三维地图点，作为拟合平面点集；
（62）从拟合平面点集中，随机选择三个不共线的点，在世界坐标系下的坐标分别为，/>表示该点相对于世界坐标系原点在X轴方向的偏移，表示该点相对于世界坐标系原点在Y轴方向的偏移，/>表示该点相对于世界坐标系原点在Z轴方向的偏移，拟合平面方程：
；
其中，A、B、C、D为平面方程的系数，计算公式如下：
；
（63）计算拟合平面点集中的点，到拟合平面的距离/>：
；
若距离小于距离阈值，则将该点记为内点；
（64）如果内点个数占拟合平面点集中所有点个数的比例大于预先设定的比例阈值，则判断平面拟合完成，否则重复步骤（62）、（63），直到满足阈值要求；
（65）计算机载单目相机到拟合地平面的距离作为拟合高度，通过机载气压计，测量机载单目相机距离地面的真实高度，计算真实高度与拟合高度的比值，作为恢复的真实尺度。
8.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，所述步骤（8）实现过程如下：
（81）选出类别为刚性可移动物体的目标检测框，根据检测框数据中的置信度，将检测框划分为高置信度框和低置信度框；
（82）根据跟踪了两帧以上的目标检测框的轨迹，利用卡尔曼滤波算法，预测它们在当前帧的检测框，包括检测框的位置和大小；将预测检测框与高置信度框计算交并比，即计算预测检测框和高置信度框之间面积的交集和并集的比值，获取一个两两之间IoU的关系损失矩阵；
（83）使用匈牙利算法，将高置信度框与预测检测框进行匹配，得到匹配成功的预测检测框和高置信度框的对应关系，和未匹配成功的预测检测框和高置信度框；
（84）将未匹配成功的预测检测框，和低置信度框计算IoU，获得关系损失矩阵，使用匈牙利算法对其进行匹配，得到匹配成功的预测检测框和低置信度框的对应关系，删除未匹配成功的低置信度框；
（85）对于两次匹配均未成功的预测检测框，将其中框住的物体视为暂时跟踪丢失的目标，如果该目标超过预设帧数都未被跟踪到，则将其轨迹删除，否则继续保存；
（86）对于未匹配成功的高置信度框，如果连续两帧都被检测到，则将其中的物体设置为新出现的目标进行跟踪；
（87） 在步骤（83）和（84）得到的匹配成功的目标检测框区域中，每隔一定数目的点进行一次采样；
（88）使用步骤（3）得到的光流参数，对步骤（87）中得到的采样点进行预测，得到采样点在下一帧即第帧中的像素坐标/>，坐标中的/>表示采样点相对像素坐标系原点在/>轴方向的偏移，/>表示采样点相对像素坐标系原点在/>轴方向的偏移：
；
其中，为采样点在当前帧的像素坐标，/>和/>分别表示该像素位置的光流中的水平方向的运动速度和垂直方向的运动速度；
（89）根据采样点的像素位置，使用步骤（3）得到的深度图像，获取采样点的深度值，利用步骤（7）得到的相机坐标变换矩阵/>，其中世界坐标系用/>表示，相机坐标系用/>表示，生成动态目标的地图点/>：
；
计算采样点的场景流：
；
其中，是使用光流结果预测第/>帧图像中采样的第/>个点/>，对应第/>帧图像下的像素坐标；/>是相机内参矩阵；/>是第/>个采样点，在第/>帧时的相机坐标系下的齐次坐标；/>表示第/>帧时，从世界坐标系到相机坐标系的齐次变换；/>和/>分别表示第/>个采样点，在第/>帧和第/>帧时的世界坐标系下的齐次坐标；如果采样点的场景流大于预设阈值，则该点为动态点；如果该目标检测框区域中的动态点数目，占所有采样点数目的比值，大于预设数目阈值，则将该区域框住的物体设置为动态目标。
9.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，所述步骤（9）实现过程如下：
（91）推导世界坐标系下的动态目标的运动变换；令描述从第/>帧时的物体坐标系到第/>帧时的物体坐标系的齐次变换，物体坐标系用/>表示：
；
其中，分别表示第/>帧和第/>帧时，从世界坐标系到物体坐标系的齐次变换；
物体坐标系中一个点的坐标表示为，将式（12）式带入得到：
；
其中，为第/>个三维点，在世界坐标系中的齐次坐标；
若动态目标属于刚性物体，则有：
.；
将式（14）带入式（13）得到：
.；
令 ，表示刚性物体上一点在世界坐标系中的运动变换；最终物体上一点在世界坐标系中的运动表示为：
.；
（92）动态目标的采样三维点，与对应二维像素点/>的重投影误差项为：
；
其中，；
使用李代数表示/>：
.；
设采样三维点与二维像素点/>点对的个数为/>，物体的变换/>能够通过优化下式得到：
；
其中，是Huber函数，/>是与重投影误差相关的协方差矩阵。
10.根据权利要求1所述的一种基于机载单目相机的运动目标跟踪与定位方法，其特征在于，步骤（8）所述刚性可移动物体为汽车和船舶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022936.8A CN117523461B (zh) | 2024-01-08 | 2024-01-08 | 一种基于机载单目相机的运动目标跟踪与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022936.8A CN117523461B (zh) | 2024-01-08 | 2024-01-08 | 一种基于机载单目相机的运动目标跟踪与定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523461A true CN117523461A (zh) | 2024-02-06 |
| CN117523461B CN117523461B (zh) | 2024-03-08 |
Family
ID=89744315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410022936.8A Active CN117523461B (zh) | 2024-01-08 | 2024-01-08 | 一种基于机载单目相机的运动目标跟踪与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523461B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117854011A (zh) * | 2024-03-07 | 2024-04-09 | 福建南亿智能科技有限公司 | 一种智能ai摄像头识别对比方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741368A (zh) * | 2018-12-26 | 2019-05-10 | 南京邮电大学 | 基于结构化数据模型的分布式目标跟踪方法 |
| CN110766721A (zh) * | 2019-09-30 | 2020-02-07 | 南京航空航天大学 | 一种基于机载视觉的着舰合作目标检测方法 |
| CN112363167A (zh) * | 2020-11-02 | 2021-02-12 | 重庆邮电大学 | 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法 |
| CN113808203A (zh) * | 2021-08-20 | 2021-12-17 | 北京工业大学 | 一种基于lk光流法与orb-slam2的导航定位方法 |
| CN117173655A (zh) * | 2023-08-28 | 2023-12-05 | 南京航空航天大学 | 基于语义传播和跨注意力机制的多模态3d目标检测方法 |
-
2024
- 2024-01-08 CN CN202410022936.8A patent/CN117523461B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741368A (zh) * | 2018-12-26 | 2019-05-10 | 南京邮电大学 | 基于结构化数据模型的分布式目标跟踪方法 |
| CN110766721A (zh) * | 2019-09-30 | 2020-02-07 | 南京航空航天大学 | 一种基于机载视觉的着舰合作目标检测方法 |
| CN112363167A (zh) * | 2020-11-02 | 2021-02-12 | 重庆邮电大学 | 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法 |
| CN113808203A (zh) * | 2021-08-20 | 2021-12-17 | 北京工业大学 | 一种基于lk光流法与orb-slam2的导航定位方法 |
| CN117173655A (zh) * | 2023-08-28 | 2023-12-05 | 南京航空航天大学 | 基于语义传播和跨注意力机制的多模态3d目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张阳;李海森;马礼;王健;郭企嘉;祁晶;闫铭;: "基于ORB-SLAM2算法的水下机器人实时定位研究", 测绘通报, no. 12, 25 December 2019 (2019-12-25) * |
| 陕硕;周越;: "基于实例分割的多目标跟踪", 中国体视学与图像分析, no. 02, 25 June 2020 (2020-06-25) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117854011A (zh) * | 2024-03-07 | 2024-04-09 | 福建南亿智能科技有限公司 | 一种智能ai摄像头识别对比方法及系统 |
| CN117854011B (zh) * | 2024-03-07 | 2024-05-03 | 福建南亿智能科技有限公司 | 一种智能ai摄像头识别对比方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523461B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
| CN111429514B (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
| CN111882612B (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
| US10546387B2 (en) | Pose determination with semantic segmentation | |
| CN111462135A (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN110458161B (zh) | 一种结合深度学习的移动机器人门牌定位方法 | |
| CN112634451A (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
| CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和系统 | |
| CN117523461B (zh) | 一种基于机载单目相机的运动目标跟踪与定位方法 | |
| CN111046776A (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
| CN107677274A (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
| CN112101160B (zh) | 一种面向自动驾驶场景的双目语义slam方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
| CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
| CN110998241A (zh) | 用于校准可移动对象的光学系统的系统和方法 | |
| CN113744315A (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| CN115936029A (zh) | 一种基于二维码的slam定位方法及装置 | |
| CN113740864B (zh) | 基于激光三维点云的探测器软着陆末段自主位姿估计方法 | |
| Fucen et al. | The object recognition and adaptive threshold selection in the vision system for landing an unmanned aerial vehicle | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| Wang et al. | Research on UAV Obstacle Detection based on Data Fusion of Millimeter Wave Radar and Monocular Camera | |
| Yuan et al. | A method of vision-based state estimation of an unmanned helicopter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |