CN114049382B - 一种智能网联环境下目标融合跟踪方法、系统和介质 - Google Patents
一种智能网联环境下目标融合跟踪方法、系统和介质 Download PDFInfo
- Publication number
- CN114049382B CN114049382B CN202210029216.5A CN202210029216A CN114049382B CN 114049382 B CN114049382 B CN 114049382B CN 202210029216 A CN202210029216 A CN 202210029216A CN 114049382 B CN114049382 B CN 114049382B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- matching
- detected
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 230000006855 networking Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种智能网联环境下目标融合跟踪方法、系统和介质,属于深度学习技术领域。包括以下步骤:获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;对跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。本发明在远距离、多目标重叠或遮挡场景下,能够减少多目标跟踪时轨迹丢失的情况发生,提升多目标跟踪性能,提升轨迹数据精度。
Description
技术领域
本发明涉及多边缘接入计算、深度学习技术领域,具体涉及一种智能网联环境下分布式目标融合跟踪方法、系统和介质。
背景技术
高级别辅助驾驶汽车、自动驾驶汽车对驾驶安全性有着极高要求,通过实时获取道路上所有目标及连续运动轨迹,帮助实现安全驾驶辅助决策。另外,基于交通参与者连续轨迹数据可以实现信号灯自适应控制、交通流状态估计,车辆全天候监管等智能网联交通应用。因此,实现目标检测与跟踪从而获取交通参与者连续轨迹数据意义重大。
目标检测与跟踪手段多种多样,包括基于视频图像数据、毫米波雷达点云数据、激光雷达点云数据等等。毫米波雷达点云由于其稀疏的特性,难以通过监督/无监督方法实现目标准确分类识别,检测与跟踪结果误差较大。相对而言,激光雷达点云数据更为密集,对行人、汽车等交通参与者分类识别准确度更高,然而由于其高昂建设成本,现阶段无法大量应用于实际环境中。随着基于深度学习的图像处理技术、多边缘接入的分布式计算技术日益成熟,依靠城市内广泛布设的电警、卡口等视频安防设备,通过在分布式系统上部署基于视频的目标检测与跟踪算法软件,可实现快速、低成本广泛应用。
基于深度学习神经网络技术的目标检测方法众多。卷积神经网络由于大大提升了递归神经网络、受限玻尔兹曼机等方法在目标分类检测准确率性能,解决了困扰传统视觉方法无法解决的难题,实现了巨大飞跃,然而由于其检测时延问题,无法满足实时性需求。为了提升实时性能,Fast CNN,Faster CNN、Faster R-CNN、YOLO等纷纷出现,通过优化神经网络结构,优化检测步骤,时延性能得到大大改善。以YOLO为例,该网络通过大小三个尺度检测框特征匹配实现待检测目标物坐标提取,进而用于目标跟踪实现。现有具有代表性的深度在线实时跟踪方法,通过卡尔曼滤波状态预测特征向量及检测状态更新,并结合运动及外观匹配的关联度量实现待检测目标跟踪。然而基于城市现有的低分辨率相机目标检测有效范围有限,在远距离场景下,目标物像素坐标变化极小,当存在多目标时,极易引起误匹配问题,导致检测精度难以满足要求。
发明内容
本发明的目的在于克服上述技术不足,提出一种智能网联环境下分布式目标融合跟踪方法、系统和介质,解决现有技术中基于城市现有的低分辨率相机目标检测有效范围有限,在远距离检测与跟踪场景下,目标物像素坐标变化极小,当存在多目标时,极易引起误匹配问题,导致检测精度难以满足要求的技术问题。
为达到上述技术目的,第一方面,本发明的技术方案提供一种智能网联环境下分布式目标融合跟踪方法,包括以下步骤:
获取视频图像数据,对所述视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据所述跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据所述连续轨迹数据对所述跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据所述运动匹配、所述外观匹配和所述GPS轨迹匹配的结果综合计算得到关联度量,当所述关联度量大于预设阈值,所述跟踪目标和所述待检测目标的匹配完成。
与现有技术相比,本发明的有益效果包括:
本发明基于多边缘接入计算和V2X通信技术,获取视频图像数据和智能网联汽车轨迹数据,通过多目标检测实现分类识别,目标运动状态估计卡尔曼滤波建模,感知轨迹处理提取连续轨迹数据,运动匹配、外观匹配及GPS轨迹匹配实现关联度量。本发明在远距离、多目标重叠或遮挡场景下,能够减少多目标跟踪时轨迹丢失的情况发生,提升多目标跟踪性能,提升轨迹数据精度。
在状态估计阶段,当由于遮挡导致无法实现状态检测时,可基于待检测目标轨迹数据替换观测变量,从而支持状态及卡尔曼滤波协方差矩阵更新,有效避免了因为引起卡尔曼预测误差放大的问题。基于智能网联环境,在轨迹处理过程中,由于融合了待检测目标轨迹数据,因此无需确认该轨迹是噪声轨迹,提升了轨迹跟踪效率。本发明融合了待检测目标轨迹数据,在关联度量过程中加入GPS轨迹匹配,避免了仅仅依靠运动匹配和外观匹配在远距离场景下的准确度问题,增加了网络对遗失和障碍的鲁棒性。
根据本发明的一些实施例,所述根据所述跟踪目标的检测结果进行目标运动状态估计,包括步骤:
根据所述跟踪目标的检测结果构建状态变量和观测变量。
根据本发明的一些实施例,所述根据所述跟踪目标的检测结果构建状态变量,包括步骤:
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度,构建状态向量:
根据本发明的一些实施例,所述根据所述跟踪目标的检测结果构建状态变量和观测变量,包括步骤:
观测器包括图像传感器和所述待检测目标的GPS传感器,通过所述GPS传感器获取所述待检测目标的经度、纬度、速度和航向角,通过几何变换及标定转换成对应的像素坐标;
所述图像传感器通过目标检测直接观测得到所述待检测目标的像素坐标,以构建所述观测变量。
根据本发明的一些实施例,所述对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据,包括步骤:
对初始观测的每个所述跟踪目标初始化一个跟踪向量,所述跟踪向量用于存储所述跟踪目标的连续轨迹信息;
当所述待检测目标和所述连续轨迹信息匹配完成,将所述待检测目标添加到匹配的所述连续轨迹信息。
根据本发明的一些实施例,所述运动匹配,包括步骤:
使用马氏距离计算目标检测框像素坐标和目标跟踪框像素坐标之间的距离;
根据本发明的一些实施例,所述外观匹配包括步骤:
获取第i个成功跟踪的目标像素框特征向量与第j个待检测目标信息;
当第i个成功跟踪的目标像素框特征向量与第j个待检测目标之间的最小余弦距离小于或等于距离阈值,所述跟踪目标和所述待检测目标的外观匹配完成。
根据本发明的一些实施例,所述GPS轨迹匹配包括步骤:
获取第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据;
当第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据之间的欧式距离小于或等于GPS轨迹数据欧式距离阈值,所述跟踪目标和所述待检测目标的GPS轨迹匹配完成。
第二方面,本发明的一些实施例提供了一种智能网联环境下目标融合跟踪系统,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的智能网联环境下目标融合跟踪方法。
与现有技术相比,本发明的有益效果包括:智能网联环境下目标融合跟踪系统应用了如第一方面所述的智能网联环境下目标融合跟踪方法,能够用于远距离、多目标重叠或遮挡场景下,减少多目标跟踪时轨迹丢失的情况发生,提升多目标跟踪性能,提升轨迹数据精度。
第三方面,本发明的一些实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的智能网联环境下目标融合跟踪方法。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的智能网联环境下目标融合跟踪方法的流程图;
图2是本发明另一个实施例的智能网联环境下目标融合跟踪方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,虽然在系统示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于系统中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明提供了一种智能网联环境下目标融合跟踪方法,基于多边缘接入计算和V2X通信技术,获取视频图像数据和智能网联汽车轨迹数据,通过多目标检测实现分类识别,目标运动状态估计卡尔曼滤波建模,感知轨迹处理提取连续轨迹数据,运动匹配、外观匹配及GPS轨迹匹配实现关联度量。本发明在远距离、多目标重叠或遮挡场景下,能够减少多目标跟踪时轨迹丢失的情况发生,提升多目标跟踪性能,提升轨迹数据精度。为了提升有效检测范围,本发明充分利用智能网联环境下待检测目标GPS轨迹数据,分别优化状态估计建模中观测变量组成及目标跟踪过程中关联度量过程,在远距离、多目标重叠场景下,提升目标跟踪准确性,减少目标ID切换情况的发生,提升目标检测及跟踪的性能。
下面结合附图,对本发明实施例作进一步阐述。
参照图1和图2,图1是本发明一个实施例的智能网联环境下目标融合跟踪方法的流程图;图2是本发明另一个实施例的智能网联环境下目标融合跟踪方法的流程图。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
步骤S110,获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
步骤S120,根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
步骤S130,对跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
步骤S140,根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
步骤S150,计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
首先,获取包含待检测目标的视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,车辆在路面行驶的过程中,摄像头拍摄的视频图像数据的内容通常是包括:车辆、行人、建筑、树木、路面障碍和动物等信息,YOLO将一幅图像分成 SxS 个网格,如果某个对象的中心落在这个网格中,则这个网格就负责预测这个对象。在初步处理后得到跟踪目标的检测结果,在对跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理。容易想到的是,在对图像数据处理的过程中会存在一些测量噪声向量的干扰,卡尔曼滤波建模处理能够提升数据处理的准确性。
然后对跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据,根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。本发明的智能网联环境下目标融合跟踪方法融合了待检测目标轨迹数据,在关联度量过程中加入GPS轨迹匹配,避免了仅仅依靠运动匹配和外观匹配在远距离场景下的准确度问题,增加了网络对遗失和障碍的鲁棒性。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,构建状态变量和观测变量,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,构建状态变量和观测变量,并进行卡尔曼滤波建模处理;
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度,构建状态向量:
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,构建状态变量和观测变量,并进行卡尔曼滤波建模处理;
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度,构建状态向量:
观测器包括图像传感器和待检测目标的GPS传感器,通过GPS传感器获取待检测目标的经度、纬度、速度和航向角,通过几何变换及标定转换成对应的像素坐标;
图像传感器通过目标检测直接观测得到待检测目标的像素坐标,以构建观测变量;
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
对初始观测的每个跟踪目标初始化一个跟踪向量,跟踪向量用于存储跟踪目标的连续轨迹信息;
当待检测目标和连续轨迹信息匹配完成,将待检测目标添加到匹配的连续轨迹信息;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成;
运动匹配,包括步骤:
使用马氏距离计算目标检测框像素坐标和目标跟踪框像素坐标之间的距离;
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
外观匹配包括步骤:
获取第i个成功跟踪的目标像素框特征向量与第j个待检测目标信息;
当第i个成功跟踪的目标像素框特征向量与第j个待检测目标之间的最小余弦距离小于或等于距离阈值,跟踪目标和待检测目标的外观匹配完成。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;
根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
GPS轨迹匹配包括步骤:
获取第i个跟踪目标的GPS轨迹数据和第j个待检测目标GPS轨迹数据;
当第i个跟踪目标的GPS轨迹数据和第j个待检测目标GPS轨迹数据之间的欧式距离小于或等于GPS轨迹数据欧式距离阈值,跟踪目标和待检测目标的GPS轨迹匹配完成。
在一实施例中,一种智能网联环境下目标融合跟踪方法包括以下步骤:
获取视频图像数据,对视频图像数据进行YOLO多目标检测并分类识别,得到跟踪目标的检测结果;根据跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;对进行卡尔曼滤波建模处理后的跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;根据连续轨迹数据对跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;根据运动匹配、外观匹配和GPS轨迹匹配的结果综合计算得到关联度量,当关联度量大于预设阈值,跟踪目标和待检测目标的匹配完成。
1.基于目标检测结果的状态估计
(a)构建状态变量。基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度,构建状态向量:
(b)构建观测变量。观测器分为图像传感器和待检测目标GPS传感器。其中视频图像传感器通过目标检测可以直接观测得到待检测目标像素坐标,进而构建观测变量。GPS传感器可以获取待检测目标就经纬度,速度及航向角数据,通过几何变换及标定可以转换成对应的像素坐标。综上,观测变量可以表示为:
其中,m表示图像传感器观测结果所占比重,为了得到更为准确的观测结果,具体取值与待检测目标在图像中所占像素范围相关,特别的,当存在遮挡导致无法通过图像传感器观测时。表示GPS经度()、纬度()、速度()、航向()数据与像素坐标数据的转换关系函数,对于任意固定位置的图像传感器,可以通过几何关系标定获得。
(c)建立卡尔曼滤波模型
考虑待检测目标线性运动,建立线性卡尔曼状态转移方程。
相应的,卡尔曼测量方程可以表示为:
2.目标跟踪轨迹处理
(a) 目标跟踪轨迹初始化。对初始观测到每个目标初始化一个跟踪向量,用于存储每个目标的连续轨迹信息。相对于现有方法,由于每个目标可被观测,不会因为远距离场景下目标重叠、遮挡等原因造成观测结果丢失,因此不需要考虑观测过程中产生的新轨迹及判断轨迹有限性的问题。
(b) 轨迹匹配:当待检测目标和轨迹完成匹配,则将该目标添加到匹配的轨迹。
3.关联度量
(1)为了实现待检测目标与跟踪预测目标之间的匹配,进而用于更新目标轨迹,达到目标跟踪的目的。与现有方法不同,本发明在运动匹配和外观匹配的基础上增加GPS轨迹数据匹配,以解决在远距离场景下,存在目标重叠遮挡时的匹配不成功造成目标跟踪丢失的问题。
(a)运动匹配
(b)外观匹配
外观匹配成功判定条件可以表示为:
(c) GPS轨迹匹配
(d)综合匹配
根据运动匹配、外观匹配和GPS轨迹匹配得到关联度量公式,用于表示第i个跟踪目标与第j个待检测目标的关联度,进而实现持续跟踪。综合匹配公式为:
本发明还提供了一种智能网联环境下目标融合跟踪系统,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述的智能网联环境下目标融合跟踪方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外,本发明的一个实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个处理器或控制器执行,例如,被上述终端实施例中的一个处理器执行,可使得上述处理器执行上述实施例中的智能网联环境下目标融合跟踪方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
Claims (6)
1.一种智能网联环境下目标融合跟踪方法,其特征在于,包括以下步骤:
获取视频图像数据,对所述视频图像数据进行YOLO不同类型的多目标检测并分类识别,得到跟踪目标的检测结果;
根据所述跟踪目标的检测结果进行目标运动状态估计,并进行卡尔曼滤波建模处理;
对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据;
根据所述连续轨迹数据对所述跟踪目标和待检测目标进行运动匹配、外观匹配和GPS轨迹匹配;
根据所述运动匹配、所述外观匹配和所述GPS轨迹匹配的结果综合计算得到关联度量,当所述关联度量大于预设阈值,所述跟踪目标和所述待检测目标的匹配完成;
所述根据所述跟踪目标的检测结果进行目标运动状态估计,包括步骤:
根据所述跟踪目标的检测结果构建状态变量和观测变量;
所述根据所述跟踪目标的检测结果构建状态变量,包括步骤:
基于所述跟踪目标的检测结果得到目标框像素坐标、及所述跟踪目标在图像中的像素变化速度,构建状态向量:
其中,at表示t时刻目标框像素中心点横坐标,bt表示t时刻目标框像素中心点纵坐标,wt表示目标框宽度,ht表示目标框高度;
所述根据所述跟踪目标的检测结果构建状态变量和观测变量,包括步骤:
观测器包括图像传感器和所述待检测目标的GPS传感器,通过所述GPS传感器获取所述待检测目标的经度、纬度、速度和航向角,通过几何变换及标定转换成对应的像素坐标;
所述图像传感器通过目标检测直接观测得到所述待检测目标的像素坐标,以构建所述观测变量;观测变量表示为:
zt=m*(at,bt,wt,ht)+(l-m)*f(lat,lon,speed,head)
其中,m表示图像传感器观测结果所占比重;
所述GPS轨迹匹配包括步骤:
获取第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据;
当第i个所述跟踪目标的GPS轨迹数据和第j个所述待检测目标GPS轨迹数据之间的欧式距离小于或等于GPS轨迹数据欧式距离阈值,所述跟踪目标和所述待检测目标的GPS轨迹匹配完成。
2.根据权利要求1所述的一种智能网联环境下目标融合跟踪方法,其特征在于,所述对进行卡尔曼滤波建模处理后的所述跟踪目标的检测结果进行感知轨迹处理,提取连续轨迹数据,包括步骤:
对初始观测的每个所述跟踪目标初始化一个跟踪向量,所述跟踪向量用于存储所述跟踪目标的连续轨迹信息;
当所述待检测目标和所述连续轨迹信息匹配完成,将所述待检测目标添加到匹配的所述连续轨迹信息。
3.根据权利要求1所述的一种智能网联环境下目标融合跟踪方法,其特征在于,所述运动匹配,包括步骤:
使用马氏距离计算目标检测框像素坐标和目标跟踪框像素坐标之间的距离;
d1(i,j)=(dj+yi)∑i -1(dj-yi)
其中,dj为目标检测框像素坐标,yi为目标跟踪框像素坐标,∑i -1表示第i个目标跟踪框像素坐标协方差矩阵的逆矩阵。
4.根据权利要求2所述的一种智能网联环境下目标融合跟踪方法,其特征在于,所述外观匹配包括步骤:
获取第i个成功跟踪的目标像素框特征向量与第j个待检测目标信息;
当第i个成功跟踪的目标像素框特征向量与第j个待检测目标之间的最小余弦距离小于或等于距离阈值,所述跟踪目标和所述待检测目标的外观匹配完成。
5.一种智能网联环境下目标融合跟踪系统,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的智能网联环境下目标融合跟踪方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至4任意一项所述的智能网联环境下目标融合跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210029216.5A CN114049382B (zh) | 2022-01-12 | 2022-01-12 | 一种智能网联环境下目标融合跟踪方法、系统和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210029216.5A CN114049382B (zh) | 2022-01-12 | 2022-01-12 | 一种智能网联环境下目标融合跟踪方法、系统和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114049382A CN114049382A (zh) | 2022-02-15 |
CN114049382B true CN114049382B (zh) | 2023-04-18 |
Family
ID=80196233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210029216.5A Active CN114049382B (zh) | 2022-01-12 | 2022-01-12 | 一种智能网联环境下目标融合跟踪方法、系统和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049382B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114594770B (zh) * | 2022-03-04 | 2024-04-26 | 深圳市千乘机器人有限公司 | 一种巡检机器人不停车的巡检方法 |
CN114943943B (zh) * | 2022-05-16 | 2023-10-03 | 中国电信股份有限公司 | 目标轨迹获得方法、装置、设备及存储介质 |
CN115623336B (zh) * | 2022-11-07 | 2023-06-30 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
CN116012949B (zh) * | 2023-02-06 | 2023-11-17 | 南京智蓝芯联信息科技有限公司 | 一种复杂场景下的人流量统计识别方法及系统 |
CN116192690B (zh) * | 2023-05-04 | 2023-07-14 | 华砺智行(武汉)科技有限公司 | 面向量产的c-v2x设备快速测试方法、系统、设备及介质 |
CN117541625B (zh) * | 2024-01-05 | 2024-03-29 | 大连理工大学 | 一种基于域适应特征融合的视频多目标跟踪方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7460951B2 (en) * | 2005-09-26 | 2008-12-02 | Gm Global Technology Operations, Inc. | System and method of target tracking using sensor fusion |
WO2019140699A1 (en) * | 2018-01-22 | 2019-07-25 | SZ DJI Technology Co., Ltd. | Methods and system for multi-target tracking |
CN111488795B (zh) * | 2020-03-09 | 2022-12-02 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
CN112017431A (zh) * | 2020-07-29 | 2020-12-01 | 河北德冠隆电子科技有限公司 | 基于多数据融合的主动式车辆持续跟踪定位系统及方法 |
CN112268577A (zh) * | 2020-10-09 | 2021-01-26 | 广州市物联万方电子科技有限公司 | 集装箱监控终端及集装箱监控系统 |
CN112308881B (zh) * | 2020-11-02 | 2023-08-15 | 西安电子科技大学 | 一种基于遥感图像的舰船多目标跟踪方法 |
-
2022
- 2022-01-12 CN CN202210029216.5A patent/CN114049382B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114049382A (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114049382B (zh) | 一种智能网联环境下目标融合跟踪方法、系统和介质 | |
CN111932580B (zh) | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统 | |
CN113269098B (zh) | 一种基于无人机的多目标跟踪定位与运动状态估计方法 | |
CN111693972B (zh) | 一种基于双目序列图像的车辆位置与速度估计方法 | |
CN110415277B (zh) | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 | |
CN103259962B (zh) | 一种目标追踪方法和相关装置 | |
CN111488795A (zh) | 应用于无人驾驶车辆的实时行人跟踪方法 | |
CN110738690A (zh) | 一种基于多目标追踪框架的无人机视频中车速校正方法 | |
CN112991391A (zh) | 一种基于雷达信号和视觉融合的车辆检测与跟踪方法 | |
CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
CN115546705B (zh) | 目标识别方法、终端设备及存储介质 | |
CN114119659A (zh) | 一种多传感器融合的目标跟踪方法 | |
CN113409361A (zh) | 一种多目标跟踪方法、装置、计算机及存储介质 | |
CN113281718B (zh) | 一种基于激光雷达场景流估计的3d多目标跟踪系统及方法 | |
CN116681730A (zh) | 一种目标物追踪方法、装置、计算机设备和存储介质 | |
CN111062971A (zh) | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 | |
CN114763136A (zh) | 一种基于深度学习的引导车驾驶辅助系统 | |
CN114998276A (zh) | 一种基于三维点云的机器人动态障碍物实时检测方法 | |
CN116630376A (zh) | 基于ByteTrack的无人机多目标跟踪方法 | |
CN115100565B (zh) | 一种基于空间相关性与光流配准的多目标跟踪方法 | |
CN117037085A (zh) | 基于改进YOLOv5的车辆识别及数量统计的监控方法 | |
CN116012421A (zh) | 目标跟踪方法及装置 | |
CN114612999A (zh) | 一种目标行为分类方法、存储介质及终端 | |
CN111815667B (zh) | 一种相机移动条件下高精度检测运动目标的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method, System, and Medium for Target Fusion Tracking in an Intelligent Connected Environment Effective date of registration: 20231010 Granted publication date: 20230418 Pledgee: Bank of China Limited Wuhan Economic and Technological Development Zone sub branch Pledgor: ISMARTWAYS (WUHAN) TECHNOLOGY Co.,Ltd. Registration number: Y2023980060478 |