CN114049382B - 一种智能网联环境下目标融合跟踪方法、系统和介质 - Google Patents

一种智能网联环境下目标融合跟踪方法、系统和介质 Download PDF

Info

Publication number
CN114049382B
CN114049382B CN202210029216.5A CN202210029216A CN114049382B CN 114049382 B CN114049382 B CN 114049382B CN 202210029216 A CN202210029216 A CN 202210029216A CN 114049382 B CN114049382 B CN 114049382B
Authority
CN
China
Prior art keywords
target
tracking
matching
detected
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210029216.5A
Other languages
English (en)
Other versions
CN114049382A (zh
Inventor
何书贤
杨哲
施丘岭
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ismartways Wuhan Technology Co ltd
Original Assignee
Ismartways Wuhan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ismartways Wuhan Technology Co ltd filed Critical Ismartways Wuhan Technology Co ltd
Priority to CN202210029216.5A priority Critical patent/CN114049382B/zh
Publication of CN114049382A publication Critical patent/CN114049382A/zh
Application granted granted Critical
Publication of CN114049382B publication Critical patent/CN114049382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能网联环境下目标融合跟踪方法、系统和介质，属于深度学习技术领域。包括以下步骤：获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；对跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。本发明在远距离、多目标重叠或遮挡场景下，能够减少多目标跟踪时轨迹丢失的情况发生，提升多目标跟踪性能，提升轨迹数据精度。

Description

一种智能网联环境下目标融合跟踪方法、系统和介质
技术领域
本发明涉及多边缘接入计算、深度学习技术领域，具体涉及一种智能网联环境下分布式目标融合跟踪方法、系统和介质。
背景技术
高级别辅助驾驶汽车、自动驾驶汽车对驾驶安全性有着极高要求，通过实时获取道路上所有目标及连续运动轨迹，帮助实现安全驾驶辅助决策。另外，基于交通参与者连续轨迹数据可以实现信号灯自适应控制、交通流状态估计，车辆全天候监管等智能网联交通应用。因此，实现目标检测与跟踪从而获取交通参与者连续轨迹数据意义重大。
目标检测与跟踪手段多种多样，包括基于视频图像数据、毫米波雷达点云数据、激光雷达点云数据等等。毫米波雷达点云由于其稀疏的特性，难以通过监督/无监督方法实现目标准确分类识别，检测与跟踪结果误差较大。相对而言，激光雷达点云数据更为密集，对行人、汽车等交通参与者分类识别准确度更高，然而由于其高昂建设成本，现阶段无法大量应用于实际环境中。随着基于深度学习的图像处理技术、多边缘接入的分布式计算技术日益成熟，依靠城市内广泛布设的电警、卡口等视频安防设备，通过在分布式系统上部署基于视频的目标检测与跟踪算法软件，可实现快速、低成本广泛应用。
基于深度学习神经网络技术的目标检测方法众多。卷积神经网络由于大大提升了递归神经网络、受限玻尔兹曼机等方法在目标分类检测准确率性能，解决了困扰传统视觉方法无法解决的难题，实现了巨大飞跃，然而由于其检测时延问题，无法满足实时性需求。为了提升实时性能，Fast CNN，Faster CNN、Faster R-CNN、YOLO等纷纷出现，通过优化神经网络结构，优化检测步骤，时延性能得到大大改善。以YOLO为例，该网络通过大小三个尺度检测框特征匹配实现待检测目标物坐标提取，进而用于目标跟踪实现。现有具有代表性的深度在线实时跟踪方法，通过卡尔曼滤波状态预测特征向量及检测状态更新，并结合运动及外观匹配的关联度量实现待检测目标跟踪。然而基于城市现有的低分辨率相机目标检测有效范围有限，在远距离场景下，目标物像素坐标变化极小，当存在多目标时，极易引起误匹配问题，导致检测精度难以满足要求。
发明内容
本发明的目的在于克服上述技术不足，提出一种智能网联环境下分布式目标融合跟踪方法、系统和介质，解决现有技术中基于城市现有的低分辨率相机目标检测有效范围有限，在远距离检测与跟踪场景下，目标物像素坐标变化极小，当存在多目标时，极易引起误匹配问题，导致检测精度难以满足要求的技术问题。
为达到上述技术目的，第一方面，本发明的技术方案提供一种智能网联环境下分布式目标融合跟踪方法，包括以下步骤：
获取视频图像数据，对所述视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据所述跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据所述连续轨迹数据对所述跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据所述运动匹配、所述外观匹配和所述GPS轨迹匹配的结果综合计算得到关联度量，当所述关联度量大于预设阈值，所述跟踪目标和所述待检测目标的匹配完成。
与现有技术相比，本发明的有益效果包括：
本发明基于多边缘接入计算和V2X通信技术，获取视频图像数据和智能网联汽车轨迹数据，通过多目标检测实现分类识别，目标运动状态估计卡尔曼滤波建模，感知轨迹处理提取连续轨迹数据，运动匹配、外观匹配及GPS轨迹匹配实现关联度量。本发明在远距离、多目标重叠或遮挡场景下，能够减少多目标跟踪时轨迹丢失的情况发生，提升多目标跟踪性能，提升轨迹数据精度。
在状态估计阶段，当由于遮挡导致无法实现状态检测时，可基于待检测目标轨迹数据替换观测变量，从而支持状态及卡尔曼滤波协方差矩阵更新，有效避免了因为引起卡尔曼预测误差放大的问题。基于智能网联环境，在轨迹处理过程中，由于融合了待检测目标轨迹数据，因此无需确认该轨迹是噪声轨迹，提升了轨迹跟踪效率。本发明融合了待检测目标轨迹数据，在关联度量过程中加入GPS轨迹匹配，避免了仅仅依靠运动匹配和外观匹配在远距离场景下的准确度问题，增加了网络对遗失和障碍的鲁棒性。
根据本发明的一些实施例，所述根据所述跟踪目标的检测结果进行目标运动状态估计，包括步骤：
根据所述跟踪目标的检测结果构建状态变量和观测变量。
根据本发明的一些实施例，所述根据所述跟踪目标的检测结果构建状态变量，包括步骤：
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度，构建状态向量：
Figure 423064DEST_PATH_IMAGE001
其中，
Figure 195848DEST_PATH_IMAGE002
表示t时刻目标框像素中心点横坐标，
Figure DEST_PATH_IMAGE003
表示t时刻目标框像素中心点纵坐标，
Figure 533288DEST_PATH_IMAGE004
表示目标框宽度，
Figure DEST_PATH_IMAGE005
表示目标框高度；
Figure 525163DEST_PATH_IMAGE006
表示目标框像素中心点横坐标变化率，
Figure DEST_PATH_IMAGE007
表示目标框像素中心点纵坐标变化率，
Figure 922646DEST_PATH_IMAGE008
表示目标框宽度变化率，
Figure DEST_PATH_IMAGE009
表示目标框高度变化率。
根据本发明的一些实施例，所述根据所述跟踪目标的检测结果构建状态变量和观测变量，包括步骤：
观测器包括图像传感器和所述待检测目标的GPS传感器，通过所述GPS传感器获取所述待检测目标的经度、纬度、速度和航向角，通过几何变换及标定转换成对应的像素坐标；
所述图像传感器通过目标检测直接观测得到所述待检测目标的像素坐标，以构建所述观测变量。
根据本发明的一些实施例，所述对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据，包括步骤：
对初始观测的每个所述跟踪目标初始化一个跟踪向量，所述跟踪向量用于存储所述跟踪目标的连续轨迹信息；
当所述待检测目标和所述连续轨迹信息匹配完成，将所述待检测目标添加到匹配的所述连续轨迹信息。
根据本发明的一些实施例，所述运动匹配，包括步骤：
使用马氏距离计算目标检测框像素坐标和目标跟踪框像素坐标之间的距离；
Figure 713885DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
为目标检测框像素坐标，
Figure 120595DEST_PATH_IMAGE012
为目标跟踪框像素坐标，
Figure DEST_PATH_IMAGE013
表示第i个目标跟踪框像素坐标协方差矩阵的逆矩阵。
根据本发明的一些实施例，所述外观匹配包括步骤：
获取第i个成功跟踪的目标像素框特征向量与第j个待检测目标信息；
当第i个成功跟踪的目标像素框特征向量与第j个待检测目标之间的最小余弦距离小于或等于距离阈值，所述跟踪目标和所述待检测目标的外观匹配完成。
根据本发明的一些实施例，所述GPS轨迹匹配包括步骤：
获取第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据；
当第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据之间的欧式距离小于或等于GPS轨迹数据欧式距离阈值，所述跟踪目标和所述待检测目标的GPS轨迹匹配完成。
第二方面，本发明的一些实施例提供了一种智能网联环境下目标融合跟踪系统，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的智能网联环境下目标融合跟踪方法。
与现有技术相比，本发明的有益效果包括：智能网联环境下目标融合跟踪系统应用了如第一方面所述的智能网联环境下目标融合跟踪方法，能够用于远距离、多目标重叠或遮挡场景下，减少多目标跟踪时轨迹丢失的情况发生，提升多目标跟踪性能，提升轨迹数据精度。
第三方面，本发明的一些实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的智能网联环境下目标融合跟踪方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的智能网联环境下目标融合跟踪方法的流程图；
图2是本发明另一个实施例的智能网联环境下目标融合跟踪方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本发明提供了一种智能网联环境下目标融合跟踪方法，基于多边缘接入计算和V2X通信技术，获取视频图像数据和智能网联汽车轨迹数据，通过多目标检测实现分类识别，目标运动状态估计卡尔曼滤波建模，感知轨迹处理提取连续轨迹数据，运动匹配、外观匹配及GPS轨迹匹配实现关联度量。本发明在远距离、多目标重叠或遮挡场景下，能够减少多目标跟踪时轨迹丢失的情况发生，提升多目标跟踪性能，提升轨迹数据精度。为了提升有效检测范围，本发明充分利用智能网联环境下待检测目标GPS轨迹数据，分别优化状态估计建模中观测变量组成及目标跟踪过程中关联度量过程，在远距离、多目标重叠场景下，提升目标跟踪准确性，减少目标ID切换情况的发生，提升目标检测及跟踪的性能。
下面结合附图，对本发明实施例作进一步阐述。
参照图1和图2，图1是本发明一个实施例的智能网联环境下目标融合跟踪方法的流程图；图2是本发明另一个实施例的智能网联环境下目标融合跟踪方法的流程图。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
步骤S110，获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
步骤S120，根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
步骤S130，对跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
步骤S140，根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
步骤S150，计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
首先，获取包含待检测目标的视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，车辆在路面行驶的过程中，摄像头拍摄的视频图像数据的内容通常是包括：车辆、行人、建筑、树木、路面障碍和动物等信息，YOLO将一幅图像分成 SxS 个网格，如果某个对象的中心落在这个网格中，则这个网格就负责预测这个对象。在初步处理后得到跟踪目标的检测结果，在对跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理。容易想到的是，在对图像数据处理的过程中会存在一些测量噪声向量的干扰，卡尔曼滤波建模处理能够提升数据处理的准确性。
然后对跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据，根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。本发明的智能网联环境下目标融合跟踪方法融合了待检测目标轨迹数据，在关联度量过程中加入GPS轨迹匹配，避免了仅仅依靠运动匹配和外观匹配在远距离场景下的准确度问题，增加了网络对遗失和障碍的鲁棒性。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，构建状态变量和观测变量，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，构建状态变量和观测变量，并进行卡尔曼滤波建模处理；
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度，构建状态向量：
Figure 680890DEST_PATH_IMAGE001
其中，
Figure 983695DEST_PATH_IMAGE002
表示t时刻目标框像素中心点横坐标，
Figure 465492DEST_PATH_IMAGE003
表示t时刻目标框像素中心点纵坐标，
Figure 144735DEST_PATH_IMAGE004
表示目标框宽度，
Figure 762798DEST_PATH_IMAGE005
表示目标框高度；
Figure 505014DEST_PATH_IMAGE006
表示目标框像素中心点横坐标变化率，
Figure 474107DEST_PATH_IMAGE007
表示目标框像素中心点纵坐标变化率，
Figure 425882DEST_PATH_IMAGE008
表示目标框宽度变化率，
Figure 429610DEST_PATH_IMAGE009
表示目标框高度变化率；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，构建状态变量和观测变量，并进行卡尔曼滤波建模处理；
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度，构建状态向量：
Figure 74218DEST_PATH_IMAGE001
其中，
Figure 530607DEST_PATH_IMAGE002
表示t时刻目标框像素中心点横坐标，
Figure 551653DEST_PATH_IMAGE003
表示t时刻目标框像素中心点纵坐标，
Figure 144308DEST_PATH_IMAGE004
表示目标框宽度，
Figure 959818DEST_PATH_IMAGE005
表示目标框高度；
Figure 903503DEST_PATH_IMAGE006
表示目标框像素中心点横坐标变化率，
Figure 462660DEST_PATH_IMAGE007
表示目标框像素中心点纵坐标变化率，
Figure 175401DEST_PATH_IMAGE008
表示目标框宽度变化率，
Figure 161812DEST_PATH_IMAGE009
表示目标框高度变化率；
观测器包括图像传感器和待检测目标的GPS传感器，通过GPS传感器获取待检测目标的经度、纬度、速度和航向角，通过几何变换及标定转换成对应的像素坐标；
图像传感器通过目标检测直接观测得到待检测目标的像素坐标，以构建观测变量；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
对初始观测的每个跟踪目标初始化一个跟踪向量，跟踪向量用于存储跟踪目标的连续轨迹信息；
当待检测目标和连续轨迹信息匹配完成，将待检测目标添加到匹配的连续轨迹信息；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成；
运动匹配，包括步骤：
使用马氏距离计算目标检测框像素坐标和目标跟踪框像素坐标之间的距离；
Figure 592793DEST_PATH_IMAGE010
其中，
Figure 690062DEST_PATH_IMAGE011
为目标检测框像素坐标，
Figure 519959DEST_PATH_IMAGE012
为目标跟踪框像素坐标，
Figure 411692DEST_PATH_IMAGE013
表示第i个目标跟踪框像素坐标协方差矩阵的逆矩阵。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
外观匹配包括步骤：
获取第i个成功跟踪的目标像素框特征向量与第j个待检测目标信息；
当第i个成功跟踪的目标像素框特征向量与第j个待检测目标之间的最小余弦距离小于或等于距离阈值，跟踪目标和待检测目标的外观匹配完成。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；
根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
GPS轨迹匹配包括步骤：
获取第i个跟踪目标的GPS轨迹数据和第j个待检测目标GPS轨迹数据；
当第i个跟踪目标的GPS轨迹数据和第j个待检测目标GPS轨迹数据之间的欧式距离小于或等于GPS轨迹数据欧式距离阈值，跟踪目标和待检测目标的GPS轨迹匹配完成。
在一实施例中，一种智能网联环境下目标融合跟踪方法包括以下步骤：
获取视频图像数据，对视频图像数据进行YOLO多目标检测并分类识别，得到跟踪目标的检测结果；根据跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量，当关联度量大于预设阈值，跟踪目标和待检测目标的匹配完成。
1.基于目标检测结果的状态估计
（a）构建状态变量。基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度，构建状态向量：
Figure 595548DEST_PATH_IMAGE001
其中，
Figure 496508DEST_PATH_IMAGE002
表示t时刻目标框像素中心点横坐标，
Figure 918262DEST_PATH_IMAGE003
表示t时刻目标框像素中心点纵坐标，
Figure 246476DEST_PATH_IMAGE004
表示目标框宽度，
Figure 386470DEST_PATH_IMAGE005
表示目标框高度；
Figure 91121DEST_PATH_IMAGE006
表示目标框像素中心点横坐标变化率，
Figure 632960DEST_PATH_IMAGE007
表示目标框像素中心点纵坐标变化率，
Figure 397654DEST_PATH_IMAGE008
表示目标框宽度变化率，
Figure 24945DEST_PATH_IMAGE009
表示目标框高度变化率。
（b）构建观测变量。观测器分为图像传感器和待检测目标GPS传感器。其中视频图像传感器通过目标检测可以直接观测得到待检测目标像素坐标，进而构建观测变量。GPS传感器可以获取待检测目标就经纬度，速度及航向角数据，通过几何变换及标定可以转换成对应的像素坐标。综上，观测变量可以表示为：
Figure 267707DEST_PATH_IMAGE014
（1）
其中，m表示图像传感器观测结果所占比重，为了得到更为准确的观测结果，具体取值与待检测目标在图像中所占像素范围相关，特别的，当存在遮挡导致无法通过图像传感器观测时
Figure 664053DEST_PATH_IMAGE015
。
Figure 334069DEST_PATH_IMAGE016
表示GPS经度（
Figure 714235DEST_PATH_IMAGE017
）、纬度（
Figure 498039DEST_PATH_IMAGE018
）、速度（
Figure 14471DEST_PATH_IMAGE019
）、航向（
Figure 120967DEST_PATH_IMAGE020
）数据与像素坐标数据的转换关系函数，对于任意固定位置的图像传感器，可以通过几何关系标定获得。
（c）建立卡尔曼滤波模型
考虑待检测目标线性运动，建立线性卡尔曼状态转移方程。
Figure 722850DEST_PATH_IMAGE021
(2)
其中
Figure 307415DEST_PATH_IMAGE022
表示理论预测噪声向量，满足
Figure 678353DEST_PATH_IMAGE023
，且
Figure 690172DEST_PATH_IMAGE024
。
相应的，卡尔曼测量方程可以表示为：
Figure 779350DEST_PATH_IMAGE025
(3)
其中，
Figure 167606DEST_PATH_IMAGE026
表示测量噪声向量，满足
Figure 658631DEST_PATH_IMAGE027
，且
Figure 841350DEST_PATH_IMAGE028
。
那么t-1时刻预测值与t时刻真实值之间的状态预测协方差矩阵
Figure 417825DEST_PATH_IMAGE029
可以表示为：
Figure 344193DEST_PATH_IMAGE030
(4)
其中，
Figure 689723DEST_PATH_IMAGE031
表示t-1时刻得最优估计值与t-1时刻得真实值之间的状态预测协方差矩阵。
相应的，t时刻的测量值与t-1时刻预测值之间的状态观测协方差矩阵
Figure 305994DEST_PATH_IMAGE032
可以表示为：
Figure 104186DEST_PATH_IMAGE033
（5）
计算t时刻卡尔曼增益
Figure 99823DEST_PATH_IMAGE034
，满足
Figure 34281DEST_PATH_IMAGE035
通过变换，求解t时刻最优状态估计值
Figure 824383DEST_PATH_IMAGE036
，满足：
Figure 109871DEST_PATH_IMAGE037
（6）
状态预测协方差矩阵更新为
Figure 643620DEST_PATH_IMAGE031
：
Figure 698164DEST_PATH_IMAGE038
（7）
2.目标跟踪轨迹处理
(a) 目标跟踪轨迹初始化。对初始观测到每个目标初始化一个跟踪向量
Figure 659167DEST_PATH_IMAGE039
，用于存储每个目标的连续轨迹信息。相对于现有方法，由于每个目标可被观测，不会因为远距离场景下目标重叠、遮挡等原因造成观测结果丢失，因此不需要考虑观测过程中产生的新轨迹及判断轨迹有限性的问题。
(b) 轨迹匹配：当待检测目标和轨迹完成匹配，则将该目标添加到匹配的轨迹。
(c) 轨迹消失：任意第i条轨迹采用变量
Figure 166371DEST_PATH_IMAGE040
来记录上一次成功匹配到当前的时间,如果
Figure 503812DEST_PATH_IMAGE041
阈值，则认为轨迹终止，后续的跟踪取消该条轨迹。
3.关联度量
（1）为了实现待检测目标与跟踪预测目标之间的匹配，进而用于更新目标轨迹，达到目标跟踪的目的。与现有方法不同，本发明在运动匹配和外观匹配的基础上增加GPS轨迹数据匹配，以解决在远距离场景下，存在目标重叠遮挡时的匹配不成功造成目标跟踪丢失的问题。
（a）运动匹配
运动匹配使用马氏距离计算目标检测框像素坐标
Figure 678441DEST_PATH_IMAGE042
和目标跟踪框像素坐标
Figure 544766DEST_PATH_IMAGE043
之间的距离
Figure 804846DEST_PATH_IMAGE044
，满足：
Figure 683328DEST_PATH_IMAGE045
（8）
其中，
Figure 712464DEST_PATH_IMAGE013
表示第i个目标跟踪框像素坐标协方差矩阵的逆矩阵。
（b）外观匹配
为跟踪向量
Figure 749690DEST_PATH_IMAGE046
过去n次成功跟踪的目标像素框特征向量创建一个特征向量集合
Figure 497066DEST_PATH_IMAGE047
。当第i个成功跟踪的目标像素框特征向量与第j个待检测目标之间的最小余弦距离
Figure 910730DEST_PATH_IMAGE048
满足距离阈值条件
Figure 59951DEST_PATH_IMAGE049
时，则两者满足外观匹配条件。
最小余弦距离
Figure 533658DEST_PATH_IMAGE050
可以表示为：
Figure 502751DEST_PATH_IMAGE051
（9）
其中
Figure 454527DEST_PATH_IMAGE052
表示第i个成功跟踪目标的第k个像素框特征向量。对于每个待检测目标像素框内的目标j，其128维度的特征向量为
Figure 458255DEST_PATH_IMAGE053
，满足
Figure 102863DEST_PATH_IMAGE054
。
外观匹配成功判定条件可以表示为：
Figure 559252DEST_PATH_IMAGE055
（10）
Figure 314718DEST_PATH_IMAGE056
表示余弦距离阈值。
(c) GPS轨迹匹配
为了尽可能避免目标跟踪丢失情况发生，引入GPS轨迹数据开展GPS轨迹匹配。根据第i个跟踪目标的GPS轨迹数据
Figure 172953DEST_PATH_IMAGE057
和当前第j个待检测目标GPS轨迹数据
Figure 251112DEST_PATH_IMAGE058
之间的欧式距离判定，当满足阈值条件：
Figure 194797DEST_PATH_IMAGE059
（11）
Figure 753954DEST_PATH_IMAGE060
表示GPS轨迹数据欧式距离阈值，满足
Figure 466695DEST_PATH_IMAGE061
，
Figure 453106DEST_PATH_IMAGE062
表示相邻两次GPS轨迹数据更新周期。
Figure 149666DEST_PATH_IMAGE063
表示根据经纬度求解欧式距离函数。
（d）综合匹配
根据运动匹配、外观匹配和GPS轨迹匹配得到关联度量公式，用于表示第i个跟踪目标与第j个待检测目标的关联度，进而实现持续跟踪。综合匹配公式为：
Figure 246935DEST_PATH_IMAGE064
（12）
其中，
Figure 814183DEST_PATH_IMAGE065
分别表示运动匹配、外观匹配和GPS轨迹匹配的超参数，
Figure 237074DEST_PATH_IMAGE066
表示多个尺度匹配的加权综合匹配度。
本发明还提供了一种智能网联环境下目标融合跟踪系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的智能网联环境下目标融合跟踪方法。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述终端实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的智能网联环境下目标融合跟踪方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种智能网联环境下目标融合跟踪方法，其特征在于，包括以下步骤：
获取视频图像数据，对所述视频图像数据进行YOLO不同类型的多目标检测并分类识别，得到跟踪目标的检测结果；
根据所述跟踪目标的检测结果进行目标运动状态估计，并进行卡尔曼滤波建模处理；
对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据；
根据所述连续轨迹数据对所述跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配；
根据所述运动匹配、所述外观匹配和所述GPS轨迹匹配的结果综合计算得到关联度量，当所述关联度量大于预设阈值，所述跟踪目标和所述待检测目标的匹配完成；
所述根据所述跟踪目标的检测结果进行目标运动状态估计，包括步骤：
根据所述跟踪目标的检测结果构建状态变量和观测变量；
所述根据所述跟踪目标的检测结果构建状态变量，包括步骤：
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度，构建状态向量：
Figure QLYQS_1
其中，at表示t时刻目标框像素中心点横坐标，bt表示t时刻目标框像素中心点纵坐标，wt表示目标框宽度，ht表示目标框高度；
Figure QLYQS_2
表示目标框像素中心点横坐标变化率，
Figure QLYQS_3
表示目标框像素中心点纵坐标变化率，
Figure QLYQS_4
表示目标框宽度变化率，
Figure QLYQS_5
表示目标框高度变化率；
所述根据所述跟踪目标的检测结果构建状态变量和观测变量，包括步骤：
观测器包括图像传感器和所述待检测目标的GPS传感器，通过所述GPS传感器获取所述待检测目标的经度、纬度、速度和航向角，通过几何变换及标定转换成对应的像素坐标；
所述图像传感器通过目标检测直接观测得到所述待检测目标的像素坐标，以构建所述观测变量；观测变量表示为：
zt＝m*(at，bt，wt，ht)+(l-m)*f(lat，lon，speed，head)
其中，m表示图像传感器观测结果所占比重；
所述GPS轨迹匹配包括步骤：
获取第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据；
当第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据之间的欧式距离小于或等于GPS轨迹数据欧式距离阈值，所述跟踪目标和所述待检测目标的GPS轨迹匹配完成。
2.根据权利要求1所述的一种智能网联环境下目标融合跟踪方法，其特征在于，所述对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理，提取连续轨迹数据，包括步骤：
对初始观测的每个所述跟踪目标初始化一个跟踪向量，所述跟踪向量用于存储所述跟踪目标的连续轨迹信息；
当所述待检测目标和所述连续轨迹信息匹配完成，将所述待检测目标添加到匹配的所述连续轨迹信息。
3.根据权利要求1所述的一种智能网联环境下目标融合跟踪方法，其特征在于，所述运动匹配，包括步骤：
使用马氏距离计算目标检测框像素坐标和目标跟踪框像素坐标之间的距离；
d1(i，j)＝(dj+yi)∑i -1(dj-yi)
其中，dj为目标检测框像素坐标，yi为目标跟踪框像素坐标，∑i -1表示第i个目标跟踪框像素坐标协方差矩阵的逆矩阵。
4.根据权利要求2所述的一种智能网联环境下目标融合跟踪方法，其特征在于，所述外观匹配包括步骤：
获取第i个成功跟踪的目标像素框特征向量与第j个待检测目标信息；
当第i个成功跟踪的目标像素框特征向量与第j个待检测目标之间的最小余弦距离小于或等于距离阈值，所述跟踪目标和所述待检测目标的外观匹配完成。
5.一种智能网联环境下目标融合跟踪系统，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的智能网联环境下目标融合跟踪方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至4任意一项所述的智能网联环境下目标融合跟踪方法。
CN202210029216.5A 2022-01-12 2022-01-12 一种智能网联环境下目标融合跟踪方法、系统和介质 Active CN114049382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210029216.5A CN114049382B (zh) 2022-01-12 2022-01-12 一种智能网联环境下目标融合跟踪方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210029216.5A CN114049382B (zh) 2022-01-12 2022-01-12 一种智能网联环境下目标融合跟踪方法、系统和介质

Publications (2)

Publication Number Publication Date
CN114049382A CN114049382A (zh) 2022-02-15
CN114049382B true CN114049382B (zh) 2023-04-18

Family

ID=80196233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210029216.5A Active CN114049382B (zh) 2022-01-12 2022-01-12 一种智能网联环境下目标融合跟踪方法、系统和介质

Country Status (1)

Country Link
CN (1) CN114049382B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594770B (zh) * 2022-03-04 2024-04-26 深圳市千乘机器人有限公司 一种巡检机器人不停车的巡检方法
CN114943943B (zh) * 2022-05-16 2023-10-03 中国电信股份有限公司 目标轨迹获得方法、装置、设备及存储介质
CN115623336B (zh) * 2022-11-07 2023-06-30 北京拙河科技有限公司 一种亿级摄像设备的图像跟踪方法及装置
CN116012949B (zh) * 2023-02-06 2023-11-17 南京智蓝芯联信息科技有限公司 一种复杂场景下的人流量统计识别方法及系统
CN116192690B (zh) * 2023-05-04 2023-07-14 华砺智行(武汉)科技有限公司 面向量产的c-v2x设备快速测试方法、系统、设备及介质
CN117541625B (zh) * 2024-01-05 2024-03-29 大连理工大学 一种基于域适应特征融合的视频多目标跟踪方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
WO2019140699A1 (en) * 2018-01-22 2019-07-25 SZ DJI Technology Co., Ltd. Methods and system for multi-target tracking
CN111488795B (zh) * 2020-03-09 2022-12-02 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN112017431A (zh) * 2020-07-29 2020-12-01 河北德冠隆电子科技有限公司 基于多数据融合的主动式车辆持续跟踪定位系统及方法
CN112268577A (zh) * 2020-10-09 2021-01-26 广州市物联万方电子科技有限公司 集装箱监控终端及集装箱监控系统
CN112308881B (zh) * 2020-11-02 2023-08-15 西安电子科技大学 一种基于遥感图像的舰船多目标跟踪方法

Also Published As

Publication number Publication date
CN114049382A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
CN111932580B (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
CN113269098B (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
CN110415277B (zh) 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
CN103259962B (zh) 一种目标追踪方法和相关装置
CN111488795A (zh) 应用于无人驾驶车辆的实时行人跟踪方法
CN110738690A (zh) 一种基于多目标追踪框架的无人机视频中车速校正方法
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
CN113409361A (zh) 一种多目标跟踪方法、装置、计算机及存储介质
CN113281718B (zh) 一种基于激光雷达场景流估计的3d多目标跟踪系统及方法
CN116681730A (zh) 一种目标物追踪方法、装置、计算机设备和存储介质
CN111062971A (zh) 一种基于深度学习多模态的跨摄像头泥头车追踪方法
CN114763136A (zh) 一种基于深度学习的引导车驾驶辅助系统
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN116630376A (zh) 基于ByteTrack的无人机多目标跟踪方法
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
CN116012421A (zh) 目标跟踪方法及装置
CN114612999A (zh) 一种目标行为分类方法、存储介质及终端
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method, System, and Medium for Target Fusion Tracking in an Intelligent Connected Environment

Effective date of registration: 20231010

Granted publication date: 20230418

Pledgee: Bank of China Limited Wuhan Economic and Technological Development Zone sub branch

Pledgor: ISMARTWAYS (WUHAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2023980060478