CN109658442A - 多目标跟踪方法、装置、设备及计算机可读存储介质 - Google Patents

多目标跟踪方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109658442A
CN109658442A CN201811572486.0A CN201811572486A CN109658442A CN 109658442 A CN109658442 A CN 109658442A CN 201811572486 A CN201811572486 A CN 201811572486A CN 109658442 A CN109658442 A CN 109658442A
Authority
CN
China
Prior art keywords
vehicle
target
image
tracked
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811572486.0A
Other languages
English (en)
Other versions
CN109658442B (zh
Inventor
黄国恒
张挥谦
黄斯彤
胡可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201811572486.0A priority Critical patent/CN109658442B/zh
Publication of CN109658442A publication Critical patent/CN109658442A/zh
Application granted granted Critical
Publication of CN109658442B publication Critical patent/CN109658442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明实施例公开了一种多目标跟踪方法、装置、设备及计算机可读存储介质。其中，方法包括预先基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练得到目标分割模型，用于从输入图像中分割得到车辆并计算各车辆的位置坐标。将待跟踪车辆图像输入目标分割模型中，得到该图像中各目标车辆的位置坐标信息；依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；若目标车辆的最小差值不大于预设阈值，则目标车辆为最小差值对应源车辆在待跟踪车辆图像中的跟踪目标；反之，将目标车辆作为新出现的源车辆。本申请实现了视频序列中对多目标车辆的快速、准确跟踪，提升了多目标跟踪的实时性。

Description

多目标跟踪方法、装置、设备及计算机可读存储介质
技术领域
本发明实施例涉及计算机视觉技术领域，特别是涉及一种多目标跟踪方法、装置、设备及计算机可读存储介质。
背景技术
近几十年，随着计算机视觉技术突飞猛进，计算速度的大幅提升，雷达、红外线和视频等领域的目标跟踪技术已突破了大部分限制并得到了不断的发展和完善。视频跟踪问题一般可以分为单目标跟踪问题和多目标跟踪问题。多目标跟踪因其在实际应用中的需求越来越多，也得到了相应的发展，与单目标跟踪问题相比多目标跟踪问题面临的情况更复杂包括目标之间的遮挡、合并和分离等情形。
多目标跟踪技术为一种对给定一个图像序列，找到图像序列中运动的目标物体，并将不同帧中的运动目标物体一一对应，然后给出不同目标物体的运动轨迹的技术。运动的目标物体可以是任意的，如行人、车辆、运动员、各种动物等等。
卷积神经网络为一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(conv-layer)和池化层(pooling layer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
目前的多目标跟踪技术，目标检测跟踪耗时较长，实时性较差，不适用于实时性要求高的应用场景。
发明内容
本公开实施例提供了一种多目标跟踪方法、装置、设备及计算机可读存储介质，提高了多目标跟踪效率，实时性好。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种多目标跟踪方法，包括：
将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；
依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；
判断每个目标车辆的最小差值是否不大于预设阈值；
若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；
若否，则目标车辆作为在所述待跟踪车辆图像新出现的源车辆；
其中，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；所述目标分割模型为基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练所得；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差。
可选的，所述目标车辆作为在所述待跟踪车辆图像出现的新源车辆之后，还包括：
若当前目标车辆的最小差值大于预设阈值，则将所述当前目标车辆的位置坐标信息和所述待跟踪车辆图像输入至预先构建的车型识别模型中，得到所述当前目标车辆的车型信息；
其中，所述车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。
可选的，所述得到所述当前目标车辆的车型信息之后，还包括：
将所述车型信息输入预先构建质量估算模型中，得到所述当前目标车辆的重量值；
所述质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。
可选的，所述判断每个目标车辆的最小差值是否不大于预设阈值，若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；若否，则目标车辆作为在所述待跟踪车辆图像出现的新源车辆包括：
所述待跟踪车辆图像中的目标车辆的个数为N个，所述待跟踪车辆图像的前一帧车辆图像中的源车辆的个数为n个，且N≥n；
判断所述待跟踪车辆图像中是否存在n个目标车辆的最小差值均不大于所述阈值；
若是，则将这n个目标车辆分别为相对应最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标，其余N-n个目标车辆作为在所述待跟踪车辆图像新出现的源车辆；
若否，将最小差值不大于预设阈值的目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；将最小差值大于预设阈值的目标车辆作为在所述待跟踪车辆图像新出现的源车辆。
可选的，所述目标分割模型的各张样本图像中的车辆位置预先涂覆相同颜色，各样本图像的颜色中心位置信息作为车辆位置坐标信息。
本发明实施例另一方面提供了一种多目标跟踪装置，包括：
目标分割模型训练模块，用于基于FCN算法、训练多张预先标注车型信息和车辆位置的样本图像得到目标分割模型，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；
位置坐标计算模块，用于将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；
最小差值确定模块，用于依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；
判断模块，用于判断每个目标车辆的最小差值是否不大于预设阈值；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差；
目标跟踪模块，用于若目标车辆的最小差值不大于预设阈值，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；
新目标定位模块，用于若目标车辆的最小差值不大于预设阈值，则将目标车辆作为在所述待跟踪车辆图像新出现的源车辆。
可选的，还包括车型检测识别模块，用于若当前目标车辆的最小差值大于预设阈值，则将所述当前目标车辆的位置坐标信息和所述待跟踪车辆图像输入至预先构建的车型识别模型中，得到所述当前目标车辆的车型信息；其中，所述车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。
可选的，还包括重量估计模块，用于将所述车型信息输入预先构建质量估算模型中，得到所述当前目标车辆的重量值；所述质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。
本发明实施例还提供了一种多目标跟踪设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述多目标跟踪方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有多目标跟踪程序，所述多目标跟踪程序被处理器执行时实现如前任一项所述多目标跟踪方法的步骤。
本申请提供的技术方案的优点在于，利用全卷积神经网络对每一帧图像进行粗略的语义分割得到车辆与背景的区分，然后计算车辆位置信息，通过前后两帧图像位置对比以及运动物体在视频中的连续性可得出是否有新车辆出现以及跟踪车辆在视频中的轨迹，从而映射出真实世界中的路径，实现了视频序列中对多目标车辆的快速、准确跟踪；利用全卷积神经网络构建的目标分割模型可快速、准确的分割图像中的车辆，缩短了图像中目标的检测时间，从而大幅提升了目标跟踪效率，提升了多目标跟踪的实时性。
此外，本发明实施例还针对多目标跟踪方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多目标跟踪方法的流程示意图；
图2为本发明实施例提供的另一种多目标跟踪方法的流程示意图；
图3为本发明实施例提供的多目标跟踪装置的一种具体实施方式结构图；
图4为本发明实施例提供的多目标跟踪装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种多目标跟踪方法的流程示意图，本发明实施例可包括以下内容：
S101：基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练得到目标分割模型。
利用FCN(Fully Convolutional Networks，全卷积网络)实现语义分割，在语义分割中需要将视觉输入分为不同的语义可解释类别，语义的可解释性即分类类别在真实世界中是有意义的。
FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。
获取训练样本集，训练样本集中包含多张不同车型的样本图像，每张样本图像预先标注车型信息和车辆位置，可选的，车辆位置的标注可通过将样本图像中的车辆涂覆颜色来进行标注，也即是说通过将每张样本中车辆涂覆颜色，非车辆部分作为背景没有涂覆颜色来区分目标和背景。
利用预先构建FCN网络结构对训练样本集进行学习得到目标分割模型，目标分割模型可用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在待跟踪车辆图像的位置坐标，对输入FCN网络结构为车辆位置预先涂覆相同颜色的各张样本图像时，各样本图像的颜色中心位置信息作为车辆位置坐标信息。
可向预先构建的FCN网络结构输入一系列样本图像帧后，得到多个粗糙的outputmap(输出映射图)，之后对得到的输出映射图反卷积得到分割结果。FCN网络结构的总8层卷积层卷积核的大小(通道数，宽，高)可分别为(55，55，96)、(27，27，96)(13，13，256)、(13，13，384)、(13，13，256)、(4096，1，1)、(4096，1，1)、(1000，1，1)。
S102：将待跟踪车辆图像输入目标分割模型中，得到待跟踪车辆图像中各目标车辆的位置坐标信息。
将当前帧图像(也即待跟踪车辆图像)输入目标分割模型后，目标分割模型将待跟踪车辆图像中车辆与背景进行分割，计算得到待跟踪图像中包含的所有车辆的位置坐标信息。
如果当前帧图像为视频序列的第一帧图像，则不做后续操作，S103-S106中的待跟踪车辆图像必定不为视频序列的第一帧图像，否则无法实现视频序列的目标跟踪。
S103：依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值。
前一帧车辆图像为与待跟踪车辆图像相邻的最近的一帧图像，且该帧图像的采集时间早于待跟踪车辆图像的采集时间，举例来说，每个1s采集一帧图像，对于t时刻的待跟踪车辆图像，其前一帧车辆图像为t-1时刻的车辆图像。
每个目标车辆与各源车辆的位置坐标差值为N＝1,2，3，…，为目标车辆的个数；n＝1,2，3，…，为源车辆的个数。
S104：判断每个目标车辆的最小差值是否不大于预设阈值，若是，则执行S105，若否，则执行S106。
S105：目标车辆为最小差值对应源车辆在待跟踪车辆图像中的跟踪目标。
S106：目标车辆作为在待跟踪车辆图像新出现的源车辆。
阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差。本领域技术人员可根据视频序列的采集时间和待跟踪目标类型进行确定阈值，本申请对此不作任何限定。
对同一个运动目标物体来说，在相邻两帧图像中，其位置坐标的差值不可能大于阈值，否则，不为同一个运动目标物体。
举例来说，t时刻的待跟踪车辆图像的目标车辆包括D、E、F三辆，各自位置坐标为t-1时刻的车辆图像的源车辆包括A、B、C三辆，各自位置坐标为 对目标车辆D来说，其与各源车辆的位置坐标的差值依次为 比较Δ11、Δ12、Δ13，从中选择最小值，例如Δ11＜Δ12＜Δ13，则将Δ13作为目标车辆D的最小差值。
若Δ13＜R(阈值)，则目标车辆D与源车辆C为同一辆车，目标车辆D为源车辆C在待跟踪车辆图像中的跟踪目标，根据t-1时刻的车辆图像中源车辆C的坐标位置和待跟踪车辆图像中目标车辆D的坐标位置生成车辆运行轨迹，根据车辆运行轨迹映射出车辆在真实世界的路径。
若Δ13＞R(阈值)，则目标车辆D为新出现的车辆，该车辆可在t+1时刻的车辆图像中进行目标跟踪。
此外，还有另外一种情况，对于t-1时刻的车辆图像中的车辆在待跟踪图像中没有找到相对应的目标，那么该车辆可结束目标跟踪，其最终位置为t-1时刻的车辆图像中相应位置。
对于另外一种情况，t-1时刻的车辆图像均在待跟踪车辆图像中出现，假设待跟踪车辆图像中的目标车辆的个数为N个，待跟踪车辆图像的前一帧车辆图像中的源车辆的个数为n个，且N≥n。可先判断待跟踪车辆图像中是否存在n个目标车辆的最小差值均不大于阈值；若是，则将这n个目标车辆分别为相对应最小差值对应源车辆在待跟踪车辆图像中的跟踪目标，其余N-n个目标车辆作为在待跟踪车辆图像新出现的源车辆。
也就是说，如果待跟踪车辆图像的前一帧图像的各源车辆均在待跟踪车辆图像中确定相应的跟踪目标，那么待跟踪车辆图像中剩余的其他各车辆均为新出现的车辆，作为下一帧车辆图像的源车辆。
如果待跟踪车辆图像中不存在n个目标车辆的最小差值均不大于阈值，那么可继续根据S104-S106进行判断。
在本发明实施例提供的技术方案中，利用全卷积神经网络对每一帧图像进行粗略的语义分割得到车辆与背景的区分，然后计算车辆位置信息，通过前后两帧图像位置对比以及运动物体在视频中的连续性可得出是否有新车辆出现以及跟踪车辆在视频中的轨迹，从而映射出真实世界中的路径，实现了视频序列中对多目标车辆的快速、准确跟踪；利用全卷积神经网络构建的目标分割模型可快速、准确的分割图像中的车辆，缩短了图像中目标的检测时间，从而大幅提升了目标跟踪效率，提升了多目标跟踪的实时性。
基于上述实施例，本申请还提供了另外一个实施例，请参见图2，图2为本发明实施例提供的另一种多目标跟踪方法的流程示意图，在S105之后，还可包括以下内容：
S106：将当前目标车辆的位置坐标信息和待跟踪车辆图像输入至预先构建的车型识别模型中，得到当前目标车辆的车型信息。
车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，可利用任何一种相关机器学习算法训练多张预先标记车型信息的样本图像训练所得。
在进行车辆跟踪之前，可首先对每一帧图像中的车辆进行车型检测，确定每帧车辆图像中包含的各车辆的车型信息。在出现新的车辆时，可将当前帧车辆图像和新车辆在当前帧车辆图像中的位置坐标信息输入至车型识别模型，便可得到新车辆的车型信息。
可选的，在一种实施方式中，车型识别模型的训练过程可如下所述：
当检测到新目标出现时，将图像帧以及车辆位置坐标传入车型识别模型，将图像帧分成7x7个网格(grid cell)，某个物体的中心落在这个网格中，此网格就负责预测这个物体。并在最后通过判断是否在bounding box(bbox，预测框)内进行车辆轨迹与信息匹配。最后一层输出为(7*7)*30的维度。每个1*1*30的维度对应原图7*7个cell中的一个，1*1*30中含有类别预测和bbox坐标预测。总得来讲就是让网格负责类别信息，bounding box主要负责坐标信息。
每个网格(1*1*(k+10)维度对应原图中的cell，为车型类别标签总数)要预测2个bounding box的坐标(xi，yi，w，h)，其中，中心坐标的(xi，yi)相对于对应的网格归一化到0-1之间，w，h用图像的宽度和高度归一化到0-1之间。每个bounding box除了要回归自身的位置之外，还要附带预测一个confidence(自信度值)值。Confidence值用于表征预测框中是否含有目标的置信度，以及预测框的位置预测准确程度，可利用下述公式计算得到自信度值：
其中，如果有ground true box(人工标记的物体)落在一个网格里，第一项取1，否则取0。第二项是预测的bounding box和实际的ground truth box之间的IOU值(交并比值)。即，每个bounding box要预测(xi，yi，w，h，confidence)共5个值，2个bounding box共10个值，对应1*1*(k+10)维度特征中的前10个。每个网格还要预测类别信息，一共有k类。7x7的网格，每个网格要预测2个bounding box和k个车型类别概率，输出就是7x7x(5x2+k)。
可利用下述公式计算当前车辆属于各类别标签的概率：
式中，Pr(Classi|Object)为贝叶斯估计的当前车辆为第i类标签的概率，Pr(object)为贝叶斯估计的当前车辆的概率，Pr(Classi)为贝叶斯估计的第i类标签的概率，为预测框和实际框之间的交并比值。
就得到每个bounding box的特定类别信心评分。对每一个网格的每一个预测框执行同样操作。然后设置阈值，滤掉得分低的框，对保留的预测框进行非极大值抑制处理，就得到最终的检测结果。
S107：将车型信息输入预先构建质量估算模型中，得到当前目标车辆的重量值。
质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。每类车型的车载重量和车总质量均可在该车出厂时的规格参数信息处获取，对每类车型，还可获取不同应用场景中重量信息，(例如载满乘客、不载乘客、后备箱装满等)将这些信息输入至预先构建的任何一种机器学习框架中，通过学习这些样本信息便可得到质量估算模型。
质量估算模型输出的重量值可为一个范围，也可为一个具体的值，该值可为车净重+100kg～车最大承载质量+车净重范围内的任何一个值。
由上可知，本发明实施例在对视频序列中对各目标车辆进行快速、准确跟踪基础上，还可识别各车辆的车型和质量，适用于行驶路段要特殊要求(如限高、限重或限车型)的应用场景。
本发明实施例还针对多目标跟踪方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的多目标跟踪装置进行介绍，下文描述的多目标跟踪装置与上文描述的多目标跟踪方法可相互对应参照。
参见图3，图3为本发明实施例提供的多目标跟踪装置在一种具体实施方式下的结构图，该装置可包括：
目标分割模型训练模块301，用于基于FCN算法、训练多张预先标注车型信息和车辆位置的样本图像得到目标分割模型，目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在待跟踪车辆图像的位置坐标。
位置坐标计算模块302，用于将待跟踪车辆图像输入预先构建的目标分割模型中，得到待跟踪车辆图像中各目标车辆的位置坐标信息。
最小差值确定模块303，用于依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值。
判断模块304，用于判断每个目标车辆的最小差值是否不大于预设阈值；阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差。
目标跟踪模块305，用于若目标车辆的最小差值不大于预设阈值，则目标车辆为最小差值对应源车辆在待跟踪车辆图像中的跟踪目标。
新目标定位模块306，用于若目标车辆的最小差值不大于预设阈值，则将目标车辆作为在待跟踪车辆图像新出现的源车辆。
可选的，在本实施例的一些实施方式中，请参阅图4，所述装置还可以包括车型检测识别模块307，用于若当前目标车辆的最小差值大于预设阈值，则将当前目标车辆的位置坐标信息和待跟踪车辆图像输入至预先构建的车型识别模型中，得到当前目标车辆的车型信息；其中，车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。
此外，所述装置例如还可包括重量估计模块308，用于将车型信息输入预先构建质量估算模型中，得到当前目标车辆的重量值；质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。
可选的，在本实施例的另一些实施方式中，所述目标分割模型训练模块301例如还可为目标分割模型的各张样本图像中的车辆位置预先涂覆相同颜色，各样本图像的颜色中心位置信息作为车辆位置坐标信息的模块。
本发明实施例所述多目标跟踪装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例实现了视频序列中对多目标车辆的快速、准确跟踪，提升了多目标跟踪的实时性。
本发明实施例还提供了一种多目标跟踪设备，具体可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上任意一实施例所述多目标跟踪方法的步骤。
本发明实施例所述多目标跟踪设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例实现了视频序列中对多目标车辆的快速、准确跟踪，提升了多目标跟踪的实时性。
本发明实施例还提供了一种计算机可读存储介质，存储有多目标跟踪程序，所述多目标跟踪程序被处理器执行时如上任意一实施例所述多目标跟踪方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例实现了视频序列中对多目标车辆的快速、准确跟踪，提升了多目标跟踪的实时性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种多目标跟踪方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：
将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；
依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；
判断每个目标车辆的最小差值是否不大于预设阈值；
若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；
若否，则目标车辆作为在所述待跟踪车辆图像新出现的源车辆；
其中，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；所述目标分割模型为基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练所得；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差。
2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述目标车辆作为在所述待跟踪车辆图像出现的新源车辆之后，还包括：
若当前目标车辆的最小差值大于预设阈值，则将所述当前目标车辆的位置坐标信息和所述待跟踪车辆图像输入至预先构建的车型识别模型中，得到所述当前目标车辆的车型信息；
其中，所述车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。
3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述得到所述当前目标车辆的车型信息之后，还包括：
将所述车型信息输入预先构建质量估算模型中，得到所述当前目标车辆的重量值；
所述质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。
4.根据权利要求1至3任意一项所述的多目标跟踪方法，其特征在于，所述判断每个目标车辆的最小差值是否不大于预设阈值，若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；若否，则目标车辆作为在所述待跟踪车辆图像出现的新源车辆包括：
所述待跟踪车辆图像中的目标车辆的个数为N个，所述待跟踪车辆图像的前一帧车辆图像中的源车辆的个数为n个，且N≥n；
判断所述待跟踪车辆图像中是否存在n个目标车辆的最小差值均不大于所述阈值；
若是，则将这n个目标车辆分别为相对应最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标，其余N-n个目标车辆作为在所述待跟踪车辆图像新出现的源车辆；
若否，将最小差值不大于预设阈值的目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；将最小差值大于预设阈值的目标车辆作为在所述待跟踪车辆图像新出现的源车辆。
5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述目标分割模型的各张样本图像中的车辆位置预先涂覆相同颜色，各样本图像的颜色中心位置信息作为车辆位置坐标信息。
6.一种多目标跟踪装置，其特征在于，包括：
目标分割模型训练模块，用于基于FCN算法、训练多张预先标注车型信息和车辆位置的样本图像得到目标分割模型，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；
位置坐标计算模块，用于将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；
最小差值确定模块，用于依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；
判断模块，用于判断每个目标车辆的最小差值是否不大于预设阈值；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差；
目标跟踪模块，用于若目标车辆的最小差值不大于预设阈值，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；
新目标定位模块，用于若目标车辆的最小差值不大于预设阈值，则将目标车辆作为在所述待跟踪车辆图像新出现的源车辆。
7.根据权利要求6所述的多目标跟踪装置，其特征在于，还包括车型检测识别模块，用于若当前目标车辆的最小差值大于预设阈值，则将所述当前目标车辆的位置坐标信息和所述待跟踪车辆图像输入至预先构建的车型识别模型中，得到所述当前目标车辆的车型信息；其中，所述车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。
8.根据权利要求7所述的多目标跟踪装置，其特征在于，还包括重量估计模块，用于将所述车型信息输入预先构建质量估算模型中，得到所述当前目标车辆的重量值；所述质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。
9.一种多目标跟踪设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述多目标跟踪方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多目标跟踪程序，所述多目标跟踪程序被处理器执行时实现如权利要求1至5任一项所述多目标跟踪方法的步骤。
CN201811572486.0A 2018-12-21 2018-12-21 多目标跟踪方法、装置、设备及计算机可读存储介质 Active CN109658442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811572486.0A CN109658442B (zh) 2018-12-21 2018-12-21 多目标跟踪方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811572486.0A CN109658442B (zh) 2018-12-21 2018-12-21 多目标跟踪方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109658442A true CN109658442A (zh) 2019-04-19
CN109658442B CN109658442B (zh) 2023-09-12

Family

ID=66116284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811572486.0A Active CN109658442B (zh) 2018-12-21 2018-12-21 多目标跟踪方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109658442B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556362A (zh) * 2020-03-19 2020-08-18 上海万面智能科技有限公司 一种车身广告植入方法、装置、电子设备及存储介质
CN111640300A (zh) * 2020-04-28 2020-09-08 武汉万集信息技术有限公司 一种车辆检测处理方法及装置
CN112101207A (zh) * 2020-09-15 2020-12-18 精英数智科技股份有限公司 一种目标跟踪方法、装置、电子设备及可读存储介质
CN112330743A (zh) * 2020-11-06 2021-02-05 安徽清新互联信息科技有限公司 一种基于深度学习的高空抛物检测方法
CN113066107A (zh) * 2021-04-28 2021-07-02 电子科技大学 基于id向量时序一致性的防漏检一体化多目标跟踪系统
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
CN117111019A (zh) * 2023-10-25 2023-11-24 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074368A (ja) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd 移動物体認識追跡装置
CN101751675A (zh) * 2010-02-24 2010-06-23 中兴通讯股份有限公司 一种检测待测目标的装置及方法
CN103258213A (zh) * 2013-04-22 2013-08-21 中国石油大学(华东) 一种用于智能交通系统中的动态车辆车型识别方法
CN105069472A (zh) * 2015-08-03 2015-11-18 电子科技大学 一种基于卷积神经网络自适应的车辆检测方法
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
CN107506753A (zh) * 2017-09-19 2017-12-22 北京工业大学 一种面向动态视频监控的多车辆跟踪方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074368A (ja) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd 移動物体認識追跡装置
CN101751675A (zh) * 2010-02-24 2010-06-23 中兴通讯股份有限公司 一种检测待测目标的装置及方法
CN103258213A (zh) * 2013-04-22 2013-08-21 中国石油大学(华东) 一种用于智能交通系统中的动态车辆车型识别方法
CN105069472A (zh) * 2015-08-03 2015-11-18 电子科技大学 一种基于卷积神经网络自适应的车辆检测方法
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
CN107506753A (zh) * 2017-09-19 2017-12-22 北京工业大学 一种面向动态视频监控的多车辆跟踪方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEERT DECONINCK, KLAAS DE CRAEMER, BERT CLAESSENS: "Combining Market-Based Control with Distribution Grid Constraints when Coordinating Electric Vehicle Charging", 《ENGINEERING》, pages 453 - 465 *
孙春梅, 谢明, 王婷: "基于HSV-HOG 的改进TLD 目标跟踪方法", 《科技通报》, pages 87 - 91 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556362A (zh) * 2020-03-19 2020-08-18 上海万面智能科技有限公司 一种车身广告植入方法、装置、电子设备及存储介质
CN111640300A (zh) * 2020-04-28 2020-09-08 武汉万集信息技术有限公司 一种车辆检测处理方法及装置
CN112101207A (zh) * 2020-09-15 2020-12-18 精英数智科技股份有限公司 一种目标跟踪方法、装置、电子设备及可读存储介质
CN112101207B (zh) * 2020-09-15 2023-12-22 精英数智科技股份有限公司 一种目标跟踪方法、装置、电子设备及可读存储介质
CN112330743A (zh) * 2020-11-06 2021-02-05 安徽清新互联信息科技有限公司 一种基于深度学习的高空抛物检测方法
CN112330743B (zh) * 2020-11-06 2023-03-10 安徽清新互联信息科技有限公司 一种基于深度学习的高空抛物检测方法
CN113066107A (zh) * 2021-04-28 2021-07-02 电子科技大学 基于id向量时序一致性的防漏检一体化多目标跟踪系统
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
CN117111019A (zh) * 2023-10-25 2023-11-24 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统
CN117111019B (zh) * 2023-10-25 2024-01-09 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统

Also Published As

Publication number Publication date
CN109658442B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN109658442A (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
Casas et al. Intentnet: Learning to predict intention from raw sensor data
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
Aeschliman et al. A probabilistic framework for joint segmentation and tracking
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
Doulamis Coupled multi-object tracking and labeling for vehicle trajectory estimation and matching
CN114663502A (zh) 物体姿态估计、图像处理方法及相关设备
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
Tourani et al. A robust vehicle detection approach based on faster R-CNN algorithm
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN114170570A (zh) 一种适用于拥挤场景下的行人检测方法及系统
Tao et al. Indoor 3D semantic robot VSLAM based on mask regional convolutional neural network
Gad et al. Real-time lane instance segmentation using segnet and image processing
CN114742112A (zh) 一种对象关联方法、装置及电子设备
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法
Alajlan et al. Automatic lane marking prediction using convolutional neural network and S-Shaped Binary Butterfly Optimization
Krajewski et al. VeGAN: Using GANs for augmentation in latent space to improve the semantic segmentation of vehicles in images from an aerial perspective
CN115393379A (zh) 一种数据标注方法及相关产品
CN114067240A (zh) 一种融合行人特性的在线更新策略行人单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant