CN114937248A - 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质 - Google Patents

用于跨相机的车辆跟踪方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114937248A
CN114937248A CN202210485142.6A CN202210485142A CN114937248A CN 114937248 A CN114937248 A CN 114937248A CN 202210485142 A CN202210485142 A CN 202210485142A CN 114937248 A CN114937248 A CN 114937248A
Authority
CN
China
Prior art keywords
vehicle
camera
track
cameras
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210485142.6A
Other languages
English (en)
Inventor
范清
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202210485142.6A priority Critical patent/CN114937248A/zh
Publication of CN114937248A publication Critical patent/CN114937248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能交通技术领域，公开一种用于跨相机的车辆跟踪方法，包括：接收多个单相机采集的车辆视频；对每个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹；将多个单相机的车辆轨迹输入预训练的道路分割模型，得到跨相机的车辆轨迹。本申请采用应用于深度学习技术领域的技术手段，在这一过程中，通过道路分割模型减少搜索空间，并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高跨相机车辆跟踪的准确性。本申请还公开一种用于跨相机的车辆跟踪装置、电子设备、存储介质。

Description

用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
技术领域
本申请涉及智能交通技术领域，例如涉及一种用于跨相机的车辆跟踪方法、装置、电子设备、存储介质。
背景技术
新基建对交通运输行业而言，本质是利用数字化、智能化技术改变传统的交通基础设施建设，通过互联网和物联网等数字信息技术，将智能的交通智慧化。随着经济的发展，人工智能、大数据等新兴技术与交通运输行业的深度融合，给行业带来新的发展机遇。在交通场景中，车辆轨迹可以提供运动车辆几乎所有的动态信息。分析监控场景中的车辆轨迹能够掌握动态道路交通信息，跨相机关联多个相机中的目标轨迹，能够打破单个相机间的目标信息孤立，获得大范围视频监控区域中的整体道路运行情况，有助于道路交通管理者进行交通分析、预测和控制。
目前，为实现跨相机关联多个相机中的目标轨迹，相关技术中提出了一种跨相机道路空间融合及车辆目标检测跟踪方法，包括：使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪。具体包括：步骤1，输入场景1和场景2交通场景背景图像p1和p2，视频帧图像序列组s1和s2；步骤2，构建坐标系和模型，完成相机标定；步骤3，设置控制点标识道路区域范围；步骤4，生成带空间信息的道路空间融合图像Mp；步骤5，跨相机目标检测；步骤6，跨相机目标跟踪。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
在相关技术中，为实现跨相机的车辆轨迹检测是通过构建坐标系，需要生成带空间信息的道路空间融合图像，在生成融合图像的过程中通常需要逐步减小特征图的空间分辨率，进而解码特征图编码信息，一次性或逐步地放大特征图分辨率至原始输入分辨率。在特征图分辨率改变过程中，不可避免的将造成信息的流失，无法保证跨相机车辆跟踪的准确性。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于跨相机的车辆跟踪方法、装置、电子设备、存储介质，以提高跨相机车辆跟踪的准确性。
在一些实施例中，所述用于跨相机的车辆跟踪方法，包括：
接收多个单相机采集的同一主干道中的车辆视频；
对每个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹；
将多个单相机的车辆轨迹输入预训练的道路分割模型，得到跨相机的车辆轨迹。
可选地，将多个单相机的车辆轨迹输入预训练的道路分割模型，得到跨相机的车辆轨迹，包括：
将多个单相机的车辆轨迹输入预训练的道路分割模型，获得道路分割结果；
根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹；
根据过滤后的车辆轨迹，得到跨相机的车辆轨迹。
可选地，根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹，包括：
根据道路分割结果进行交叉路口轨迹过滤，获得行驶在主干道中的车辆的轨迹；和/或，
根据道路分割结果进行时间阈值轨迹过滤，获得满足时间阈值的车辆的轨迹；
将进行轨迹过滤后的车辆的轨迹作为过滤后的车辆轨迹。
可选地，根据过滤后的车辆轨迹，得到跨相机的车辆轨迹，包括：
计算过滤后的车辆轨迹间的相似度；
根据计算结果进行聚类，得到跨相机的车辆轨迹。
可选地，对每个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹，包括：
将采集的车辆视频输入预训练的本地车辆检测模型，得到每个车辆的目标检测框；
将每个车辆的目标检测框输入预训练的本地车辆标识模型，得到每个车辆的标识特征；
根据目标检测框与标识特征，获得与目标检测框相匹配的单相机的车辆轨迹。
可选地，本地车辆检测模型的训练过程，包括：
建立本地数据集；
利用本地数据集调整车辆目标检测模型，得到本地车辆检测模型。
可选地，根据目标检测框与标识特征，获得与目标检测框相匹配的单相机的车辆轨迹，包括：
利用目标检测框与标识特征，确定运动匹配程度和表现匹配程度；
通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的单相机的车辆轨迹。
在一些实施例中，所述用于跨相机的车辆跟踪装置，包括：
处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行如上述用于跨相机的车辆跟踪方法。
在一些实施例中，所述电子设备包括：
如上述的用于跨相机的车辆跟踪装置。
在一些实施例中，所述存储介质，包括：
存储有程序指令，所述程序指令在运行时，执行如上述用于跨相机的车辆跟踪方法。
本公开实施例提供的用于跨相机的车辆跟踪方法、装置、电子设备、存储介质，可以实现以下技术效果：
本申请采用应用于深度学习技术领域的技术手段，通过对多个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹，并利用道路分割模型确定道路分割结果，进而完成轨迹间的相互关联。在这一过程中，通过道路分割模型减少搜索空间，并且在特征提取的过程采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高跨相机车辆跟踪的准确性。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于跨相机的车辆跟踪系统环境示意图；
图2是本公开实施例提供的一个用于跨相机的车辆跟踪方法的示意图；
图3是本公开实施例提供的另一个用于跨相机的车辆跟踪方法的示意图；
图4是本公开实施例的另一个用于跨相机的车辆跟踪系统环境示意图；
图5是本公开实施例提供的另一个用于跨相机的车辆跟踪方法的示意图；
图6是本公开实施例提供的一个调整车辆目标检测模型的示意图；
图7是本公开实施例提供的一个用于跨相机的车辆跟踪装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
CBS为Conv、BN与Silu，其中Conv为卷积，BN(批规范化，BatchNorm)是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，是目前深度网络必不可少的一部分，Silu(Sigmoid Weighted Liner Unit)是一种激活函数。
结合图1所示，本公开实施例提供的一个用于跨相机的车辆跟踪系统环境示意图，图中所示位置01、位置02、位置03、位置04、位置05均设置有监控相机，通过各监控相机采集车辆视频图像信号。在实际应用中，监控相机的分布可如图1所示，沿主干道采集车辆视频图像，也可以是根据需要进行调整，其中主干道是指由位置01、位置02、位置03、位置04、位置05所组成的道路。应该理解的是监控相机的分布与监控相机的数量包括但不限于图1所示方式，可根据实际工况进行设定，只要可用于反映通过多个相机采集车辆视频图像信号即可，对应的主干道的所代表的相应路段也随机发生变化。
结合图2所示，本公开实施例提供一种用于跨相机的车辆跟踪方法，包括：
S21，跨相机的车辆跟踪系统接收多个单相机采集的同一主干道中的车辆视频。
在本公开实施例中，接收多个单相机采集的车辆视频可以是由多个如图1所示的监控相机采集的车辆视频，采集的车辆视频为道路交通场景下的真实监控视频。
S22，跨相机的车辆跟踪系统对每个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹。
在本公开实施例中，对每个单相机采集的车辆视频进行分析包括使用ffmpeg库对车辆视频进行解码，提取视频图像关键帧。并通过对图像的人工标注结合预先训练的检测模型，获得与每个监控相机相对应的单相机车辆轨迹。对于采集的车辆视频进行解码并提取视频图像关键帧可以是以固定时间间隔输入到预先训练的检测模型。固定时间间隔可以是每两秒采样一帧、每五秒采样一帧或其他时间间隔，本申请对此不作具体限定。
S23，跨相机的车辆跟踪系统将多个单相机的车辆轨迹输入预训练的道路分割模型，得到跨相机的车辆轨迹。
在本公开实施例中，通过将单相机的车辆轨迹输入预训练的道路分割模型，确定道路分割结果并通过计算完成轨迹的匹配，从而得到跨相机的车辆轨迹。
采用本公开实施例提供的用于跨相机的车辆跟踪方法，通过对多个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹，并利用道路分割模型确定道路分割结果，进而完成轨迹间的相互关联。在这一过程中，通过道路分割模型减少搜索空间，并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高跨相机车辆跟踪的准确性。
结合图3所示，本公开实施例提供的一个用于跨相机的车辆跟踪方法，包括：
S31，接收多个单相机采集的同一主干道中的车辆视频。
S32，对每个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹。
S33，将多个单相机的车辆轨迹输入预训练的道路分割模型，获得道路分割结果。
在本公开实施例中，通过预训练的道路分割模型所获得的道路分割结果是指通过预训练的道路分割模型判断输入的图像是否属于道路。其中，判断输入的图像是否属于道路是指通过道路分割模型对输入图像进行语义分割判断，判断输入的图像是是否为主干道道路。在实际应用中，如图1所示包含位置01至位置05的道路为主干道，其余路段为次干道。
可选地，道路分割模型的训练过程，包括：
建立本地道路分割数据集。
在开源数据集中预训练道路分割模型。
将训练后的道路分割模型在本地道路分割数据集上进行调整。
在本公开实施例中，建立本地道路分割数据集的过程包括，接收多个单相机采集的道路场景视频。提取视频关键帧。对关键帧中的道路进行标注，从而得到本地道路分割数据集。
在实际应用中，视频关键帧的提取可以是使用ffmpeg库进行视频关键帧的提取，也可以是通过其他记录、转换视频的工具，本申请对此不做具体限定，可根据实际工况具体选用。关于利用记录、转换视频的工具进行视频关键帧的提取属于较为成熟的技术，本申请对此不再进行赘述。
在实际应用中，对关键帧中的道路进行标注的标注形式为紧密包含道路的多边形检测框。通过人工标注多边形检测框实现对道路的划分，为后续确定道路分割结果提供数据基础。
在本公开实施例中，在开源数据集中预训练道路分割模型是指通过使用数据量多的开源数据集对道路分割模型进行训练，从而保证模型训练的效果及模型结果的准确性。
在实际应用中，开源数据集可以是开源CamVid及Cityscape数据集，道路分割模型可以使用HRNet道路分割模型或基于vgg16的道路分割模型。从而通过数据量庞大的开源数据集对道路分割模型进行预训练。应该理解的是，对于使用的开源数据集和道路分割模型可根据实际工况进行选择，本申请对此不做具体限定。
在本公开实施例中，将训练后的道路分割模型在本地道路分割数据集上进行调整，从而得到更适合本地场景的道路分割模型。这一调整过程具体是指调整预训练道路分割模型的输出类别，从而判断输入的多个单相机的车辆轨迹对应路段是否为主干道。
在实际应用中，对于预训练的道路分割模型输出类别的调整可以是将原HRNet模型的输出类别调整为2，即输出对输入图像的每个像素判断是否为主干道。
S34，根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹。
可选地，根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹，包括：
根据道路分割结果进行交叉路口轨迹过滤，获得行驶在主干道中的车辆的轨迹；和/或，
根据道路分割结果进行时间阈值轨迹过滤，获得满足时间阈值的车辆的轨迹；
将进行轨迹过滤后的车辆的轨迹作为过滤后的车辆轨迹。
在本公开实施例中，根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹，包括：根据道路分割结果进行交叉路口轨迹过滤，获得行驶在主干道中的车辆的轨迹；将进行轨迹过滤后的车辆的轨迹作为过滤后的车辆轨迹。其中，交叉路口轨迹过滤用于对驶离主干道的车辆轨迹进行剔除。
在实际应用中，如图4所示，本公开实施例的一个用于跨相机的车辆跟踪系统环境示意图，根据道路分割结果确定a1与a3对应路段为主干道，a2与a4对应路段为次干道。在车辆的行驶路段或行驶方向发生改变，如车辆由a1或a3驶向a2或a4，基于交叉路口轨迹过滤，删除车辆由a1驶向a2或a4对应的轨迹，并将进行轨迹过滤后的车辆的轨迹作为过滤后的车辆轨迹。
在本公开实施例中，根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹，包括：根据道路分割结果进行时间阈值轨迹过滤，获得满足时间阈值的车辆的轨迹。其中，时间阈值轨迹过滤用于对时间长度过短的轨迹进行剔除。在本公开实施例中，时间阈值轨迹过滤是在车辆轨迹未达到时间阈值的情况下，对相应轨迹进行剔除。时间阈值可以是用于衡量轨迹时间长度的阈值，也可以是用于衡量轨迹帧数的阈值。在以固定时间间隔采集视频图像关键帧并输入到预先训练的检测模型时，时间阈值表示为用于衡量轨迹帧数的阈值，即通过视频帧数与固定时间间隔确定轨迹时间长度，从而判断车辆轨迹是否达到时间阈值，并将进行轨迹过滤后的车辆的轨迹作为过滤后的车辆轨迹。应该理解的是，时间阈值可以是6分钟、8分钟或其他时间长度单位，也可以是180帧、200帧或其他帧数单位，本申请对此不作具体限定。
在本公开实施例中，根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹，包括：
根据道路分割结果进行交叉路口轨迹过滤，获得行驶在主干道中的车辆的轨迹；和，
根据道路分割结果进行时间阈值轨迹过滤，获得满足时间阈值的车辆的轨迹；
将进行轨迹过滤后的车辆的轨迹作为过滤后的车辆轨迹。
在实际应用中，对单相机车辆轨迹的过滤可以进行交叉口轨迹过滤和时间阈值轨迹过滤。执行方式与上述实施例相同，本申请不对此不在进行赘述。
这样，通过道路分割结果对单相机车辆轨迹采用交叉口轨迹过滤和/或时间阈值轨迹过滤，进一步对车辆轨迹进行剔除，从而通过道路分割模型减少搜索空间，提升轨迹跟踪效率，提高跨相机车辆跟踪的准确性。
S35，根据过滤后的车辆轨迹，得到跨相机的车辆轨迹。
可选地，根据过滤后的车辆轨迹，得到跨相机的车辆轨迹，包括：
计算过滤后的车辆轨迹间的相似度；
根据计算结果进行聚类，得到跨相机的车辆轨迹。
可选地，计算过滤后的车辆轨迹间的相似度包括根据过滤后的车辆轨迹中的所有车辆标识特征，确定每条过滤后的车辆轨迹的特征。根据每条过滤后的车辆轨迹的特征，计算过滤后的车辆轨迹间的相似度。
在本公开实施例中，根据过滤后的车辆轨迹中的所有车辆标识特征，确定每条过滤后的车辆轨迹的特征是指过滤后的车辆轨迹中已包含了所有车辆的标识特征，将对应车辆轨迹中所有车辆的标识特征求均值所得到的结果作为对应车辆轨迹的特征。
在本公开实施例中，根据每条过滤后的车辆轨迹的特征，计算过滤后的车辆轨迹间的相似度可以按照如下算式表达：
Figure BDA0003629535890000091
其中，T1与T2为不同的车辆轨迹，f(T1)表示车辆轨迹T1的特征，f(T2)表示车辆轨迹T2的特征，cos(T1,T2)表示车辆轨迹T1与车辆轨迹T2间的相似度。
可选地，根据计算结果进行聚类，得到跨相机的车辆轨迹，包括：
根据相似度计算结果，获得各轨迹间的相似度矩阵；
对各轨迹间的相似度矩阵进行聚类，得到跨相机的车辆轨迹。
在本公开实施例中，各轨迹间的相似度矩阵可以按照如下算式表达：
Figure BDA0003629535890000101
其中，M表示n条车辆轨迹的相似度矩阵，n为正整数。
在本公开实施例中，对各轨迹间的相似度矩阵进行聚类，得到跨相机的车辆轨迹，是指将每一个轨迹作为一个簇，在两个簇之间的距离小于第一聚类阈值的情况下，则将两个簇合并，直至完成所有簇的合并，得到第一融合结果。并根据第一融合结果，在两个簇之间的距离小于第二聚类阈值的情况下，则将两个簇合并，直至完成所有簇的合并，得到第二融合结果，即得到跨相机的车辆轨迹。其中，第一聚类阈值小于第二聚类阈值。第一聚类阈值可以是0.4、0.5、0.6或其他数值，第二聚类阈值可以是0.7、0.8、0.9或其他数值。
在实际应用中，根据第一聚类阈值的轨迹融合是指初步轨迹融合，可以是使用层级聚类或k-均值聚类或其他聚类方式，用于将相似度高的目标轨迹进行合并，即得到第一融合结果。根据第二聚类阈值的轨迹融合是指跨相机的轨迹融合，可以是使用层级聚类或k-均值聚类或其他聚类方式，用于将初步融合后的多个单相机轨迹融合为多相机轨迹，即得到第二融合结果。
这样，通过计算各车辆轨迹的相似度，并根据计算结果进行聚类，从而完成单相机车辆轨迹至跨相机车辆轨迹的融合，提高跨相机车辆跟踪的准确性。此外，由于车辆的标识特征的提取属于全局操作，由车辆的标识特征得到的轨迹特征也具备全局操作的特性，即无需对图像降维，从而减小细节的损失与特征关联的欠缺，进一步提高跨相机车辆跟踪的准确性。
结合图5所示，本公开实施例提供的一个用于跨相机的车辆跟踪方法，包括：
S51，接收多个单相机采集的同一主干道中的车辆视频。
S52，将视频流输入预训练的本地车辆检测模型，得到每个车辆的目标检测框。
在本公开实施例中，输入预训练的本地车辆检测模型的视频流是指将采集的车辆视频输入预训练的本地车辆检测模型。
可选地，本地车辆检测模型的训练过程，包括：
建立本地数据集；
利用本地数据集调整车辆目标检测模型，得到本地车辆检测模型。
在本公开实施例中，建立本地数据集的过程包括，接收多个单相机采集的道路车辆视频。提取视频关键帧。对关键帧中的图像进行标注，生成跟踪轨迹标注。
在实际应用中，视频关键帧的提取可以是使用ffmpeg库进行视频关键帧的提取，也可以是通过其他记录、转换视频的工具，本申请对此不做具体限定，可根据实际工况具体选用。关于利用记录、转换视频的工具进行视频关键帧的提取属于较为成熟的技术，本申请对此不再进行赘述。
在实际应用中，跟踪轨迹标注的标注形式为目标检测框，目标检测框可以是矩形框，标注内容包括当前帧id、车辆目标id、目标检测框左上角坐标、检测框宽、检测框高。跟踪轨迹标注为后续确定车辆的目标检测框、车辆的标识特征以及通过单相机的车辆轨迹得到跨相机的车辆轨迹提供数据基础。
可选地，标注内容还包括标志位。
在实际应用中，标志位的取值范围为两个数值，可以是0或1，也可以是a或b，或其他类型。标志位的取值用于表示目标是否为有效目标，在标志位的取值为0或1的情况下，取0可以表示对应目标模糊或太小或其他原因导致目标为无效目标，取1可以表示对应目标为有效目标。应该理解的是，标志位的取值可以根据实际工况设定，本申请对此不做具体限定，只要可用于反映通过标志表示目标是否为有效目标即可。这样，通过标注标志位可以对多个单相机采集的道路车辆视频进行筛选，将无效目标剔除，从而减少后续搜索空间，提高跨相机车辆跟踪的准确性。
在本公开实施例中，利用本地数据集调整车辆目标检测模型，得到本地车辆检测模型，包括在开源数据集中预训练车辆目标检测模型。将训练后的车辆目标检测模型在本地数据集上进行调整，以得到本地车辆检测模型。
在实际应用中，开源数据集可以是开源目标检测数据集，如MS-COCO目标检测数据集，或其他开源目标检测数据集。车辆目标检测模型可以是基于YOLOX算法的车辆目标检测模型，或其他车辆目标检测模型。应该理解的是，开源目标检测数据集与车辆目标检测模型的选用可根据实际工况选择，本申请对此不做具体限定。
在实际应用中，结合图6所示，本公开实施例提供的一个调整车辆目标检测模型的示意图，示例性给出利用本地数据集调整基于YOLOX算法的车辆目标检测模型，得到本地车辆检测模型的过程。调整过程涉及修改原YOLOX网络head部分，修改后的结构如图6所示，将Cls分支的卷积核修改为一个大小为1*1的卷积核，Conv经激活函数激活后输出目标是车辆的概率。Obj分支输出目标是前景的概率，Loc分支输出目标检测框。
在实际应用中，通过Cls分支输出的目标是车辆的概率可以通过设置概率阈值对每个车辆的目标检测框进行过滤。概率阈值的取值可以是0.4、0.5或其他数值，可根据实际工况进行设定。通过Obj分支输出的前景的概率是指输出结果不是车辆的目标检测框的概率，即干扰因素的概率。通过Loc分支输出目标检测框是指每个车辆的目标检测框，其中输出的目标检测框包括检测框、检测框左上角坐标、检测框宽和检测框高。
这样，通过将视频流输入预训练的本地车辆检测模型，并根据本地数据集对车辆检测模型进行调整，从而得到每个车辆的目标检测框。在调整过程中可以根据车辆目标检测框的概率与阈值对车辆目标检测框进行筛选，减小数据干扰，从而提高跨相机车辆跟踪的准确性。
S53，将每个车辆的目标检测框输入预训练的本地车辆标识模型，得到每个车辆的标识特征。
在本公开实施例中，本地车辆标识模型的训练过程包括，在开源数据集中预训练车辆标识模型。将训练后的车辆标识模型在本地数据集上进行调整，以得到本地车辆标识模型。
在实际应用中，开源数据集可以是开源车辆重识别数据集，如VeRi数据集，或其他数据集。车辆标识模型可以是基于transReID的车辆重识别模型，或其他车辆重识别模型。应该理解的是，开源数据集与车辆重识别模型的选用可根据实际工况选择，本申请对此不做具体限定。
在实际应用中，车辆重识别模型用于提取车辆的标识特征，车辆的标识特征的提取是实现目标正确关联的关键因素。基于transReID的车辆重识别模型通过给定的固定图像块，即每个车辆的目标检测框作为输入，输出图像的全局特征。在这一过程中，由于均为全局的操作，不需要进行图像降维，从而减小细节的损失与特征关联的欠缺，提高跨相机车辆跟踪的准确性。
S54，根据目标检测框与标识特征，获得与目标检测框相匹配的单相机的车辆轨迹。
可选地，根据目标检测框与标识特征，获得与目标检测框相匹配的单相机的车辆轨迹，包括：
利用目标检测框与标识特征，确定运动匹配程度和表现匹配程度；
通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的单相机的车辆轨迹。
在本公开实施例中，利用目标检测框与标识特征，确定运动匹配程度和表现匹配程度是指根据目标检测框与标识特征，采用马氏距离体现运动匹配程度，采用最小余弦距离体现表现匹配程度。
在实际应用中，结合马氏距离和目标成功跟踪的最近k个深度特征集与检测结果特征向量间的最小余弦距离计算前后帧目标之间的匹配程度，其中，马氏距离用于进行方差归一化，马氏距离是作为距离度量的方式，余弦距离是作为一种相似度度量的方式。马氏距离针对于位置进行区分，余弦距离是针对于方向。使用余弦距离，可以衡量不同个体在维度之间的差异，而每个个体中，维度与维度的差异可以使用马氏距离进行弥补，从而在整体上可以达到一个相对于全面的差异性衡量。从而优化度量方式，更好地完成匹配。应该理解的是采用马氏距离体现运动匹配程度，采用最小余弦距离体现表现匹配程度属于较为成熟的现有技术，本申请对此不进行赘述。
在本公开实施例中，通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的单相机的车辆轨迹是指通过级联匹配的方式进行不同优先级的匹配。在级联匹配中，是给上一帧最先匹配的目标最高优先权，给几帧均未匹配成功的目标逐渐降低优先权，直至慢慢放弃。
在实际应用中，根据目标检测框与标识特征，获得与目标检测框相匹配的单相机的车辆轨迹可以是将目标检测框与标识特征输入到基于Deep-Sort目标跟踪算法或基于Sort目标跟踪算法的单相机车辆跟踪模型，得到与目标检测框相匹配的单相机的车辆轨迹。单相机的车辆轨迹包括车辆ID、帧id、车辆的目标检测框、车辆的标识特征。
S55，将多个单相机的车辆轨迹输入预训练的道路分割模型，得到跨相机的车辆轨迹。
这样，过对多个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹，并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高跨相机车辆跟踪的准确性。
结合图7所示，本公开实施例提供一种用于跨相机的车辆跟踪装置，包括处理器(processor)700和存储器(memory)701。可选地，该装置还可以包括通信接口(Communication Interface)702和总线703。其中，处理器700、通信接口702、存储器701可以通过总线703完成相互间的通信。通信接口702可以用于信息传输。处理器700可以调用存储器701中的逻辑指令，以执行上述实施例的用于跨相机的车辆跟踪方法。
此外，上述的存储器701中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器701作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器700通过运行存储在存储器701中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于跨相机的车辆跟踪方法。
存储器701可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种电子设备，包含上述的用于跨相机的车辆跟踪装置。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于跨相机的车辆跟踪方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于跨相机的车辆跟踪方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于跨相机的车辆跟踪方法，其特征在于，包括：
接收多个单相机采集的同一主干道中的车辆视频；
对每个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹；
将多个单相机的车辆轨迹输入预训练的道路分割模型，得到跨相机的车辆轨迹。
2.根据权利要求1所述的方法，其特征在于，将多个单相机的车辆轨迹输入预训练的道路分割模型，得到跨相机的车辆轨迹，包括：
将多个单相机的车辆轨迹输入预训练的道路分割模型，获得道路分割结果；
根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹；
根据过滤后的车辆轨迹，得到跨相机的车辆轨迹。
3.根据权利要求2所述的方法，其特征在于，所述根据道路分割结果进行单相机车辆轨迹过滤，获得过滤后的车辆轨迹，包括：
根据道路分割结果进行交叉路口轨迹过滤，获得行驶在主干道中的车辆的轨迹；和/或，
根据道路分割结果进行时间阈值轨迹过滤，获得满足时间阈值的车辆的轨迹；
将进行轨迹过滤后的车辆的轨迹作为过滤后的车辆轨迹。
4.根据权利要求2所述的方法，其特征在于，所述根据过滤后的车辆轨迹，得到跨相机的车辆轨迹，包括：
计算过滤后的车辆轨迹间的相似度；
根据计算结果进行聚类，得到跨相机的车辆轨迹。
5.根据权利要求1至4任一项所述的方法，其特征在于，对每个单相机采集的车辆视频进行分析，获得多个单相机的车辆轨迹，包括：
将采集的车辆视频输入预训练的本地车辆检测模型，得到每个车辆的目标检测框；
将每个车辆的目标检测框输入预训练的本地车辆标识模型，得到每个车辆的标识特征；
根据目标检测框与标识特征，获得与目标检测框相匹配的单相机的车辆轨迹。
6.根据权利要求5所述的方法，其特征在于，所述本地车辆检测模型的训练过程，包括：
建立本地数据集；
利用本地数据集调整车辆目标检测模型，得到本地车辆检测模型。
7.根据权利要求5所述的方法，其特征在于，所述根据目标检测框与标识特征，获得与目标检测框相匹配的单相机的车辆轨迹，包括：
利用目标检测框与标识特征，确定运动匹配程度和表现匹配程度；
通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的单相机的车辆轨迹。
8.一种用于跨相机的车辆跟踪装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至7任一项所述的用于跨相机的车辆跟踪方法。
9.一种电子设备，其特征在于，包括如权利要求8所述的用于跨相机的车辆跟踪装置。
10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至7任一项所述的用于跨相机的车辆跟踪方法。
CN202210485142.6A 2022-05-06 2022-05-06 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质 Pending CN114937248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210485142.6A CN114937248A (zh) 2022-05-06 2022-05-06 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210485142.6A CN114937248A (zh) 2022-05-06 2022-05-06 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114937248A true CN114937248A (zh) 2022-08-23

Family

ID=82864649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485142.6A Pending CN114937248A (zh) 2022-05-06 2022-05-06 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114937248A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740660A (zh) * 2023-08-11 2023-09-12 深圳市明世弘生电子科技有限公司 一种基于ai技术的车辆数据处理方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740660A (zh) * 2023-08-11 2023-09-12 深圳市明世弘生电子科技有限公司 一种基于ai技术的车辆数据处理方法和系统
CN116740660B (zh) * 2023-08-11 2023-11-21 深圳市明世弘生电子科技有限公司 一种基于ai技术的车辆数据处理方法和系统

Similar Documents

Publication Publication Date Title
Garg et al. Don't look back: Robustifying place categorization for viewpoint-and condition-invariant place recognition
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN106354816B (zh) 一种视频图像处理方法及装置
Min et al. A new approach to track multiple vehicles with the combination of robust detection and two classifiers
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
CN109558823B (zh) 一种以图搜图的车辆识别方法及系统
Buch et al. A review of computer vision techniques for the analysis of urban traffic
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
Ghahremannezhad et al. A new adaptive bidirectional region-of-interest detection method for intelligent traffic video analysis
Phan et al. Occlusion vehicle detection algorithm in crowded scene for traffic surveillance system
CN115035159A (zh) 一种基于深度学习和时序特征增强的视频多目标跟踪方法
Isa et al. Real-time traffic sign detection and recognition using Raspberry Pi
Sun et al. Exploiting deeply supervised inception networks for automatically detecting traffic congestion on freeway in China using ultra-low frame rate videos
CN114937248A (zh) 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
Zhang et al. Spatial-temporal map vehicle trajectory detection using dynamic mode decomposition and Res-UNet+ neural networks
Pudasaini et al. Scalable pattern recognition and real time tracking of moving objects
Gao et al. Anomaly detection of trackside equipment based on GPS and image matching
Fratama et al. Improved accuracy of vehicle counter for real-time traffic monitoring system
Vrtagić et al. Video Data Extraction and Processing for Investigation of Vehicles' Impact on the Asphalt Deformation Through the Prism of Computational Algorithms.
Muller-Schneiders et al. Performance evaluation of a real time traffic sign recognition system
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
CN114511740A (zh) 车辆图像分类方法、车辆轨迹还原方法、装置及设备
Chen et al. Real-time license plate recognition and vehicle tracking system based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination