CN116453012A - 一种面向高速公路交通监控场景的车辆检测与跟踪方法 - Google Patents

一种面向高速公路交通监控场景的车辆检测与跟踪方法 Download PDF

Info

Publication number
CN116453012A
CN116453012A CN202310275491.XA CN202310275491A CN116453012A CN 116453012 A CN116453012 A CN 116453012A CN 202310275491 A CN202310275491 A CN 202310275491A CN 116453012 A CN116453012 A CN 116453012A
Authority
CN
China
Prior art keywords
vehicle
detection
tracking
module
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310275491.XA
Other languages
English (en)
Inventor
孟琦翔
李冬生
李沛锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Communications Huakong Tianjin Construction Group Co ltd
Original Assignee
China Communications Huakong Tianjin Construction Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Communications Huakong Tianjin Construction Group Co ltd filed Critical China Communications Huakong Tianjin Construction Group Co ltd
Priority to CN202310275491.XA priority Critical patent/CN116453012A/zh
Publication of CN116453012A publication Critical patent/CN116453012A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种面向高速公路交通监控场景的车辆检测与跟踪方法，具体操作为：数据获取模块将来自高速公路交通监控视频帧的数据转化为图像序列输入至车辆检测模块，输出若干关于车辆的检测结果；检测结果输入至深度特征提取模块，在深度特征提取模块中，单个车辆目标被提取出来并调整成统一大小，继而输入融合后的车辆重识别网络模型进行深度特征提取；最后，将车辆检测模块和深度特征提取模块中得到的车辆检测信息和车辆外观特征信息输入至车辆跟踪模块进行车辆轨迹跟踪。本发明将高置信度框与车辆外观特征相关联，然后将未匹配的跟踪轨迹通过IOU距离与边界框相关联，最后，只将低置信度框以IOU距离进行匹配，以增强跟踪的稳定性。

Description

一种面向高速公路交通监控场景的车辆检测与跟踪方法
技术领域
本发明涉及计算机视觉、视频图像处理的技术领域，尤其涉及一种面向高速公路交通监控场景的车辆检测与跟踪方法。
背景技术
在国家新基建及智慧高速的政策背景下，全国高速公路发展迅猛，为推进国家高速公路基础设施智慧升级，大力发展“新基建”，推动国家高速公路基础设施与信息网融合发展，需要不断提高其数字化、网联化、智能化水平。
随着数字化管理平台及高速公路智能化的快速发展，多车辆检测与跟踪技术在其中发挥着极其重要的作用。在高速公路交通监控场景下，基于多车辆检测与跟踪技术的应用将为交通流量分析、嫌疑车辆跟踪及交通违规判定提供强有力的技术支持，并扩展出更多的下游任务。然而，在复杂的高速公路交通环境中，会存在如遮挡，模糊，阴影，车辆形变等情况，这将对实现多车辆的检测与跟踪形成巨大挑战。
发明内容
本发明旨在解决现有技术的不足，而提供一种面向高速公路交通监控场景的车辆检测与跟踪方法。
本发明为实现上述目的，采用以下技术方案：
一种面向高速公路交通监控场景的车辆检测与跟踪方法，车辆检测和跟踪采用四个模块共同实现，四个模块分别为数据获取模块、车辆检测模块、深度特征提取模块和车辆跟踪模块；
具体操作为：数据获取模块将来自高速公路交通监控视频帧的数据转化为图像序列输入至车辆检测模块，输出若干关于车辆的检测结果；检测结果输入至深度特征提取模块，在深度特征提取模块中，单个车辆目标被提取出来并调整成统一大小，继而输入融合后的车辆重识别网络模型进行深度特征提取；最后，将车辆检测模块和深度特征提取模块中得到的车辆检测信息和车辆外观特征信息输入至车辆跟踪模块进行车辆轨迹跟踪。
数据获取模块用于获取图像序列，通过高速公路交通监控实时获取视频帧进而转化为所需的图像序列。
车辆检测模块用于获取图像中车辆目标信息，通过任意目标检测算法对数据获取模块中获取的图像序列进行处理，获取若干图像序列中车辆目标的位置信息、置信度信息和类别信息。
深度特征提取模块用于获取车辆目标的外观特征信息，深度特征提取模块融合了两个车辆重识别网络，具体为HRNet48网络模型和ResNet50网络模型，用以加强后续的数据关联匹配部分，提取遮挡、光照条件变化和视点变化情况下的车辆外观特征，使跟踪方法更具鲁棒性和泛化性；每个车辆重识别网络模型输出一个2048维的特征向量，每辆检测到的汽车的最终特征向量是两个网络模型的平均输出。
两个网络模型需要单独训练，在车辆检测模块输出车辆检测结果后，使用图像大小重调算法将单个车辆图像序列调整为相同大小，分别训练HRNet48网络模型和ResNet50网络模型，在骨干网络中添加了一个全连接的分类层，这个分类层的输出神经元数量与训练数据集中的实例数量相同，在推理过程中特征提取时，省略分类层，最后一个池化层的步幅参数设置为1，以保持细粒度的细节。
在损失函数设置方面，使用交叉熵分类损失函数和度量学习三元组损失函数的组合；交叉熵分类损失函数旨在识别车辆，度量学习三元组损失函数有助于学习相同类别样本在嵌入空间中接近而来自不同类别的相似车辆在嵌入空间中较远的特征；车辆检测模块提取的每个车辆位置信息提取两个2048维的外观特征向量，并将这两个向量进行串联拼接融合，车辆位置信息和相应的外观特征信息作为后续车辆跟踪模块的输入；
损失函数具体为：
给定一张图片x和标签y，表示为对应图片x的预测值，则交叉熵分类损失函数可表示如下：
其中N代表每一批次的样本数，C代表车辆ID的数量，当第i张图片xi可以对应ID-j时，yij＝1，否则yij＝0；
三元组损失函数聚焦于优化三个元组之间的距离，这三个元组分别为一个锚点样本xa、一个正样本xp和一个负样本xn；给定一个预定义的边界m，三元组损失函数的目标是使正对之间的距离比负对之间的距离小，公式表示如下：
其中fa、fp和fn分别为锚点样本、正样本和负样本的特征表示，d(·)表示两个特征之间的距离；
损失函数设置方面，使用交叉熵分类损失函数和三元组损失函数的组合，总损失函数设置如下：
L＝Lc+αLt
其中Lc、Lt分别表示交叉熵分类损失函数和度量学习三元组损失函数，α为一个平衡权重，为0.9。
车辆跟踪模块的处理步骤分别为：
S101、数据预处理与计算；
S102、数据关联匹配；
S103、车辆轨迹管理。
步骤S101中，数据预处理与计算主要用以处理获取到的车辆运动信息及外观信息，并利用自适应卡尔曼滤波器生成数据关联匹配过程中所需的下一时刻的车辆目标预测车辆目标信息；
车辆跟踪模块需要在起始时设定轨迹序列组tracklets向量，用以存储各个时刻的车辆轨迹序列；
首先需要对车辆检测模块输出的车辆检测结果进行一定的筛选，根据设定的高低置信度两个阈值分两路输出目标检测结果，高低置信度的一路接下来输入深度特征提取模块，并联合其检测结果及自适应卡尔曼滤波器的预测边框值进行下一步的第一次数据关联匹配；低置信度的一路将参与第二次的数据关联匹配；
根据自适应卡尔曼滤波器的需要，需要传入相应时刻的高置信度检测结果的检测置信度，自适应卡尔曼滤波器将检测的置信度纳入到协方差计算中，进一步提高非线性运动的鲁棒性；
自适应卡尔曼滤波器基于检测置信度针对测量噪声矩阵另行建模，使用离散时间卡尔曼滤波器对图像中的车辆目标的运动进行建模，卡尔曼滤波器的目标是在给定初始状态值x0且k∈N+的情况下，根据测量向量z∈Rm估计状态向量x∈Rn；
状态向量被定义为一个八元素向量，其中(u,v)是图像平面中边界框的中心位置坐标，γ是边界框的长宽比，h是边界框的高，/>是前四个元素在坐标系中的变化速度；
在车辆多目标跟踪任务下，离散时间卡尔曼滤波器由下列线性随机差分方程给出：
xk＝Fkxk-1+nk-1
zk＝Hkxk+vk
其中，Fk是由k-1步到k步的转移矩阵，Hk是观测矩阵，随机变量nk和vk分别表示过程噪声和测量噪声，并假设噪声向量独立且都服从正态分布；
过程噪声协方差矩阵Qk和测量噪声协方差矩阵Rk随每个时间步长而变化，卡尔曼滤波算法由预测步骤和更新步骤组成，整个卡尔曼滤波算法可以总结为以下递归方程:
Pk∣k＝(I-KkHk)Pk∣k-1
自适应噪声协方差采用与检测置信度关联的形式，代替原卡尔曼滤波器中测量噪声协方差矩阵Rk的值，用以计算卡尔曼增益，其值取决于当前时刻的检测置信度分数及预设的常数测量噪声协方差，计算方式如下：
其中Rk是预设的常数测量噪声协方差，ck是k时刻的检测置信度分数，
在每一步k,KF预测步骤预测的是状态向量的先验估计以及协方差矩阵Pk∣k-1，KF更新步骤更新的是在给定观测值zk和估计协方差值Pk∣k之下的后验状态估计/>同时还要考虑最优卡尔曼增益Kk，
对应于状态向量和测量向量的恒速模型矩阵如下
步骤S102中，数据关联匹配主要是利用步骤S101数据预处理生成的车辆目标状态信息进行车辆轨迹的数据关联匹配；
第一次数据关联匹配时，高置信度检测结果被送入到深度特征提取模型进行外观特征提取；将检测置信度较低的车辆检测目标与第一次匹配关联之后的剩余轨迹序列进行数据关联匹配，第二次数据关联匹配的标准是仅基于IOU距离；两路数据关联匹配策略生成两组匹配轨迹，一同用于步骤S103车辆轨迹管理处理中；
阈值参数设置，高置信度设置为0.4，低置信度设置为0.1；高置信度框关联的IOU成本置信度设置为0.8，低置信度框关联的IOU成本置信度设置为0.5；
在第一次数据关联匹配中，为了降低因遮挡、拥塞及模糊画面对外观特征信息的影响，提升数据关联性能，采用联合外观特征信息和运动信息的方式，联合IOU距离矩阵和余弦距离矩阵，首先，根据IOU的分数，将低余弦相似度或距离较远的候选对象剔除；然后，使用矩阵中每个元素的最小值作为成本矩阵C的最终值；
交并比是目标检测算法中的一个重要函数，函数值等于“预测的边框”和“真实的边框”的交集和并集的比值；
融合信息表达如下：
其中，
Ci,j代表成本矩阵C的第(i,j)个元素；
代表运动成本信息，也就是轨迹序列组中第i个预测框和第j个检测框之间的IOU距离；
代表轨迹序列组中第i平均外观特征和新的检测结果j的外观特征之间的的余弦距离；
是新的外观特征成本余弦距离；
θiou是一个IOU距离阈值，为0.5，用以拒绝不太可能的轨迹序列组中的轨迹和检测框之间的配对；
θemb是一个外观特征距离阈值，需要根据具体数据情况进行设置，为0.35，用于分离轨迹序列组外观特征向量和检测结果外观特征向量的正相关性和负相关性；
高置信度检测结果的线性分配问题采用匈牙利算法来解决，使用匈牙利算法来解决高置信度检测结果与轨迹序列组中的数据关联匹配问题，主要解决的是卡尔曼滤波器预测的边界框和新的检测框之间的关联问题，其是基于成本矩阵C的，构造方式如下：
步骤S103中，车辆轨迹管理用于管理每时每刻都在产生的轨迹，主要用于步骤S102中生成的两组轨迹，并根据相关数据的更新情况执行如下任务：更新自适应卡尔曼滤波器、更新深度特征提取模块、更新轨迹，其中，更新轨迹包括创建新的轨迹、删除未激活轨迹。
本发明的有益效果是：本发明将高置信度框与车辆外观特征相关联，然后将未匹配的跟踪轨迹通过IOU距离与边界框相关联，最后，只将低置信度框以IOU距离进行匹配，以增强跟踪的稳定性；还设计了一种基于检测置信度的自适应卡尔曼滤波器，以提高卡尔曼滤波器的估计预测性能，进行轨迹更新。
附图说明
图1为本发明的步骤流程图；
图2为本发明中跟踪模块处理流程图；
以下将结合本发明的实施例参照附图进行详细叙述。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图和实施例对本发明作进一步说明：
多目标跟踪(Multiple Object Tracking，MOT)是对连续视频画面中多个目标进行跟踪，跟踪的本质是关联视频前后帧中同一物体(目标)，并赋予唯一跟踪ID。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应，然后给出不同物体的运动轨迹。这些物体可以是任意的，如行人、车辆、各种动物等等。在高速公路交通监控场景下，目标跟踪属于中间任务，基于多车辆检测与跟踪技术的应用将为交通流量分析、嫌疑车辆跟踪及交通违规判定提供强有力的技术支持，并扩展出更多的下游任务。
近些年来，基于深度学习的目标检测与跟踪技术对计算机视觉多目标跟踪领域产生了深刻的影响，在跟踪性能方面提升显著。参考现有的基于深度学习的多目标跟踪主流技术，按照目标检测、目标特征提取及数据关联方法的不同，又分为联合检测跟踪(Joint-Detection-Tracking，JDT)和基于检测跟踪(Detection-Based-Tracking，DBT)两个流派。
其中，联合检测跟踪框架是将目标检测模块和目标重识别模块集成到同一个神经网络之中，依托同一个主干网络进行物体检测与特征提取，使网络同时输出物体的位置信息及外观特征向量。虽然联合检测跟踪框架可以达到更快的推理速度，有较高的学术价值，但其在泛化性、鲁棒性等方面存在较大问题，不适合工程方面的应用。
基于检测跟踪框架首先根据单独的目标检测算法模块获取检测框，然后基于目标的外观特征和运动特征进行数据关联，随着目标检测技术的持续进步，基于检测跟踪框架的多目标跟踪算法极大的提高了目标跟踪精度，并在多目标跟踪领域一直占据主导地位。同时，基于检测跟踪框架的多阶段设计结构清晰，容易按不同模块分别优化。SORT(SimpleOnlineAnd Realtime Tracking，Sort)算法作为基于检测跟踪框架的经典算法，采用卡尔曼滤波算法进行基于目标运动的多目标跟踪，基于SORT算法演进的一系列跟踪算法是目前基于检测跟踪框架的一脉重要分支。Deep SORT算法在SORT框架下将深度视觉特征引入到数据关联中，将基于卡尔曼滤波的跟踪和匈牙利算法相结合。
本发明采用基于检测跟踪框架，以经典的基于检测跟踪算法Deep SORT为基础进行改进。
在多目标跟踪问题中，除了单目标跟踪会遇到的光照、形变、遮挡等问题外，还需要目标之间的关联匹配。另外，在多目标跟踪任务中经常会碰到目标的频繁遮挡、轨迹开始和终止时刻未知、目标尺度变化较大、表观相似、目标间交互、低帧率等等问题。
同时，目前的多目标跟踪技术主要聚焦于行人跟踪和多类别跟踪，将对应的跟踪算法迁移至车辆多目标跟踪领域往往差强人意，与通常意义下以人或多类别物体为跟踪主体的研究方法相比，车辆跟踪还存在着以下两种问题。
第一种问题表现在车辆的外观模型方面，主要挑战可以概括为车辆大类的类内部高变化性和类之间的高相似性，类内部高变化性具体表现为不同视角的车辆变化通常比人大，类之间的高相似性具体表现为不同汽车厂商生产的车辆模型外观很相近，同时需要注意的是，为了保护驾驶员的隐私，无论是训练用的数据集还是实际中的部署应用，对车辆外观模型非常有用的车牌信息通常是不可用的，这就更加加大了关于车辆的多目标跟踪技术研发的难度，总体而言，在车辆外观建模与特征提取方面，对车辆的多目标跟踪会比人体多目标跟踪更具有难度。
第二种问题表现在数据关联匹配及车辆运动建模上，因光照、形变、频繁遮挡等问题，需要考虑在这些情况下的目标之间的关联匹配问题。比如车流密集的交通拥堵路段，存在不同程度的车辆相互遮挡，对车辆跟踪提出巨大挑战。
针对第一种问题，由车辆重新识别带来的额外挑战，为了更好的处理车辆大类的类内部高变化性和类之间的高相似性。本发明针对车辆重新设计车辆重识别模型用以提取高质量的车辆外观特征，为后续的数据关联匹配做准备，已达到提高跟踪性能精度的目的。本发明拟学习一个全局特征向量，而不是为车辆的不同部分提取多个嵌入，同时能够很好的根据小尺度的视觉特征(如划痕、污垢或特殊设备)来区分车辆。这样的方法是轻量级的，不倾向于过拟合，并提供鲁棒的结果。
针对第二种问题，为了不遗漏检测置信度低的潜在车辆目标，本发明重新设计了数据关联匹配策略。为了使检测置信度高的车辆目标更好的匹配，本发明提出一种新的联合IOU距离和外观特征的成本矩阵用于该类车辆目标的数据关联匹配。同时，为了更好的对车辆目标的运动情况进行估计预测，本发明设计了一种基于检测置信度的自适应卡尔曼滤波器，以提高卡尔曼滤波器的估计预测性能。
具体来说，本发明首先将高置信度框与车辆外观特征相关联，然后将未匹配的跟踪轨迹通过IOU距离与边界框相关联。最后，只将低置信度框以IOU距离进行匹配，以增强跟踪的稳定性，其中还设计了一种基于检测置信度的自适应卡尔曼滤波器，以提高卡尔曼滤波器的估计预测性能，进行轨迹更新。
针对现有技术存在的问题，本发明采用基于检测的跟踪框架，对Deep SORT跟踪算法进行改进，提出一种面向高速公路交通监控场景的车辆检测与跟踪方法。如图1所示，该方法包含四个主要模块，分别为：M101，数据获取模块；M102，车辆检测模块；M103，深度特征提取模块；M104，车辆跟踪模块。首先，M101数据获取模块将来自高速公路交通监控视频帧的数据转化为图像序列输入至M102车辆检测模块，输出若干关于车辆的检测结果；接下来将检测结果输入至M103深度特征提取模块，在该模块中，单个车辆目标被提取出来并调整成统一大小，继而输入融合后的车辆重识别网络模型进行深度特征提取；最后，将M102车辆检测模块和M103深度特征提取模块中得到的车辆检测信息和车辆外观特征信息输入至M104车辆跟踪模块进行车辆轨迹跟踪。
M101，数据获取模块，该模块用于获取图像序列。
具体实施时，通过高速公路交通监控实时获取视频帧进而转化为所需的图像序列。
M102，车辆检测模块，该模块用于获取图像中车辆目标信息。
具体实施时，通过任意目标检测算法对模块M101中获取的图像序列进行处理，获取若干图像序列中车辆目标的位置信息(边界框)、置信度信息、类别信息。
需要说明的是，本发明采用基于检测的跟踪框架，目标检测模块可以替换为任意目标检测算法，其输出符合相应的输出格式即可，即含检测物体的位置信息、置信度信息、类别信息。
M103，深度特征提取模块，该模块用于获取车辆目标的外观特征信息。
需要说明的是，车辆重识别(re-identification，reid)是利用图像处理技术判断图像或者视频序列中是否存在特定车辆的技术。
该模块融合了两个车辆重识别网络，本发明设置为HRNet48网络模型和ResNet50网络模型，用以加强后续的数据关联匹配部分，提取遮挡、光照条件变化和视点变化情况下的车辆外观特征，使该跟踪方法更具鲁棒性和泛化性。每个车辆重识别网络模型输出一个2048维的特征向量，每辆检测到的汽车的最终特征向量是两个网络模型的平均输出。
需要说明的是，该模块的网络模型需要单独训练，在M102模块输出车辆检测结果后，使用图像大小重调算法将单个车辆图像序列调整为相同大小，分别训练HRNet48网络模型和ResNet50网络模型，在这些骨干网络中添加了一个全连接的分类层，其输出神经元数量与训练数据集中的实例数量相同。在推理过程中，即特征提取时，省略分类层。最后一个池化层的步幅参数设置为1，以保持细粒度的细节。
需要说明的是，在损失函数设置方面，使用交叉熵分类损失函数和度量学习三元组损失函数的组合。前者旨在识别车辆，后者有助于学习相同类别样本在嵌入空间中接近而来自不同类别的相似车辆在嵌入空间中较远的特征。本发明为车辆检测模块M102提取的每个边界框提取两个2048维的外观特征向量，并将这两个向量进行串联拼接融合。边界框(车辆位置信息)和相应的外观特征信息作为后续车辆跟踪模块M104的输入。
损失函数具体为：
给定一张图片x和标签y，表示为对应图片x的预测值，则交叉熵分类损失函数可表示如下：
其中N代表每一批次的样本数，C代表车辆ID的数量，当第i张图片xi可以对应ID-j时，yij＝1，否则yij＝0；
三元组损失函数聚焦于优化三个元组之间的距离，这三个元组分别为一个锚点样本(anchor sample)xa、一个正样本(positive sample)xp和一个负样本(negative sample)xn；给定一个预定义的边界m，三元组损失函数的目标是使正对之间的距离比负对之间的距离小，公式表示如下：
其中fa、fp和fn分别为锚点样本、正样本和负样本的特征表示，d(·)表示两个特征之间的距离；
损失函数设置方面，使用交叉熵分类损失函数和三元组损失函数的组合，总损失函数设置如下：
L＝Lc+αLt
其中Lc、Lt分别表示交叉熵分类损失函数和度量学习三元组损失函数，α为一个平衡权重，默认设置为0.9。
在获取前面两个模块(M102车辆检测模块，M103深度特征提取模块)的输出信息之后，车辆位置信息(边界框)和相应的外观特征信息(特征向量)作为后续M104车辆跟踪模块的输入。
M104车辆跟踪模块大致可分为三个处理步骤，如图2所示，分别为：步骤S101数据预处理与计算，步骤S102数据关联匹配，步骤S103车辆轨迹管理。
步骤S101，数据预处理，该步主要用以处理获取到的车辆运动信息及外观信息，并利用自适应卡尔曼滤波器生成步骤S102中数据关联匹配所需的下一时刻的车辆目标预测边界框。
跟踪模块需要在起始时设定轨迹序列组tracklets向量，用以存储各个时刻的车辆轨迹序列。
此步，首先需要对M102车辆检测模块输出的车辆检测结果进行一定的筛选，根据设定的高低置信度两个阈值分两路输出目标检测结果，高低置信度的一路接下来输入M103深度特征提取模块，并联合其检测结果及自适应卡尔曼滤波器的预测边框值进行下一步的第一次数据关联匹配；低置信度的一路将参与第二次的数据关联匹配。
需要说明的是，根据自适应卡尔曼滤波器的需要，需要传入相应时刻的高置信度检测结果的检测置信度。具体来说，相较于k-1时刻，k时刻时，图像序列中车辆目标的位置已发生变化，因此需要对k-1时刻相应位置的车辆目标进行一定的位置预测，以便于接下来能更好的关联k时刻和k-1时刻同一车辆目标的轨迹。同时，传统的卡尔曼滤波器是基于匀速运动和线性观测模型的，并不适用于现实中的所有情况。为了减少检测噪声的影响，本发明设计了一种测量噪声自适应卡尔曼滤波器，将检测的置信度纳入到协方差计算中，进一步提高非线性运动的鲁棒性。进一步说明，众所周知，噪声参数矩阵设置的准确性对卡尔曼滤波器性能的影响极大，特别是过程噪声协方差矩阵Q和测量噪声协方差矩阵R。在实际工程应用中，Q和R的选择也对卡尔曼滤波器的评价起着重要的作用。由于测量噪声通常是依赖于设备的，因此不同的硬件平台具有不同的噪声特征。因此本发明基于检测置信度针对测量噪声矩阵另行建模对卡尔曼滤波器整体性能的提升是非常有必要的。
本发明使用离散时间卡尔曼滤波器对图像中的车辆目标的运动进行建模，卡尔曼滤波器的目标是在给定初始状态值x0且k∈N+的情况下，根据测量向量z∈Rm估计状态向量x∈Rn；
状态向量被定义为一个八元素向量，其中(u,v)是图像平面中边界框的中心位置坐标，γ是边界框的长宽比，h是边界框的高，/>是前四个元素在坐标系中的变化速度；
在车辆多目标跟踪任务下，离散时间卡尔曼滤波器由下列线性随机差分方程给出：
xk＝Fkxk-1+nk-1
zk＝Hkxk+vk
其中，Fk是由k-1步到k步的转移矩阵，Hk是观测矩阵，随机变量nk和vk分别表示过程噪声和测量噪声，并假设噪声向量独立且都服从正态分布；
过程噪声协方差矩阵Qk和测量噪声协方差矩阵Rk随每个时间步长而变化，卡尔曼滤波算法由预测步骤和更新步骤组成，整个卡尔曼滤波算法可以总结为以下递归方程：
Pk|k＝(I-KkHk)Pk|k-1
本发明提出自适应噪声协方差采用与检测置信度关联的形式，代替原卡尔曼滤波器中测量噪声协方差矩阵Rk的值，用以计算卡尔曼增益，其值取决于当前时刻的检测置信度分数及预设的常数测量噪声协方差，计算方式如下：
其中Rk是预设的常数测量噪声协方差，ck是k时刻的检测置信度分数，
在每一步k，KF预测步骤预测的是状态向量的先验估计以及协方差矩阵Pk|k-1，KF更新步骤更新的是在给定观测值zk和估计协方差值Pk|k之下的后验状态估计/>同时还要考虑最优卡尔曼增益Kk，
对应于状态向量和测量向量的恒速模型矩阵如下
步骤S102，数据关联匹配，该步的任务主要是利用步骤S101中数据预处理生成的车辆运动信息、车辆外观信息等车辆目标状态信息进行车辆轨迹的数据关联匹配。
需要说明的是，前面所指高低两路置信度检测结果，高置信度检测结果被送入到前文设计好的深度特征提取模型进行外观特征提取，此特征亦有助于高置信度车辆检测目标与轨迹序列组中的轨迹进行数据关联匹配，此次为第一次数据关联匹配，高置信度车辆检测目标优先进行。同时，为了降低遮挡和小目标的影响，尽可能的不遗漏检测置信度低的潜在目标，将检测置信度较低的车辆检测目标与第一次匹配关联之后的剩余轨迹序列进行数据关联匹配，第二次数据关联匹配的标准是仅基于IOU距离。如此两路数据关联匹配策略生成两组匹配轨迹，一同用于步骤S103车辆轨迹管理处理中。
关于阈值参数设置，高置信度设置为0.4，低置信度设置为0.1。高置信度框关联的IOU成本置信度设置为0.8，低置信度框关联的IOU成本置信度设置为0.5。
在第一次数据关联匹配中，为了降低因遮挡、拥塞及模糊画面对外观特征信息的影响，提升数据关联性能，本发明采用联合外观特征信息和运动信息的方式，即联合IOU距离矩阵和余弦距离矩阵，首先，根据IOU的分数，将低余弦相似度或距离较远的候选对象剔除。然后，使用矩阵中每个元素的最小值作为成本矩阵C的最终值。
需要说明的是，交并比(IntersecTIon over Union，IOU)是目标检测算法中的一个重要函数，函数值等于“预测的边框”和“真实的边框”的交集和并集的比值。
融合信息表达如下：
其中，
Ci,j代表成本矩阵(costmatrix)C的第(i,j)个元素；
代表运动成本信息(motion cost)，也就是轨迹序列组中第i个预测框和第j个检测框之间的IOU距离；/>
代表轨迹序列组(tracklet)中第i平均外观特征和新的检测结果j的外观特征之间的的余弦距离(appearance cost)；
是新的外观特征成本余弦距离(appearance cost)；
θiou是一个IOU距离阈值，为0.5，用以拒绝不太可能的轨迹序列组(tracklets)中的轨迹和检测框之间的配对；
θemb是一个外观特征距离阈值，需要根据具体数据情况进行设置，为0.35，用于分离轨迹序列组(tracklets)外观特征向量和检测结果外观特征向量的正相关性和负相关性；
高置信度检测结果的线性分配问题采用匈牙利算法来解决，使用匈牙利算法来解决高置信度检测结果与轨迹序列组(tracklets)中的数据关联匹配问题，主要解决的是卡尔曼滤波器预测的边界框和新的检测框之间的关联问题，其是基于成本矩阵C的，构造方式如下：
步骤S103，车辆轨迹管理，该步主要用于管理每时每刻都在产生的轨迹。
该管理步骤主要用于前一步骤中生成的两组轨迹，并根据相关数据的更新情况执行如下任务：更新自适应卡尔曼滤波器、更新深度特征提取模块、更新轨迹，其中，更新轨迹包括创建新的轨迹、删除未激活轨迹。
综上，本发明的关键点为：
本发明提供一套面向高速公路监控场景的车辆检测与跟踪方案。
该方案由四个模块组成，分别为，M101，数据获取模块；M102，车辆检测模块；M103，深度特征提取模块；M104，车辆跟踪模块。总体流程可以总结如下：首先，M101数据获取模块获取高速公路车辆视频帧，接下来M102车辆检测模块在视频帧中输出车辆位置、类别和检测置信度等信息，然后通过M103深度特征提取模块提取高质量车辆外观特征，为后续数据关联匹配做准备，最后，基于前两个模块学习到的车辆运动信息和车辆外观特征信息，输入至M104车辆跟踪模块进行车辆轨迹跟踪，生成最终的车辆轨迹。
针对由车辆重新识别带来的额外挑战，为了更好的处理车辆大类的类内部高变化性和类之间的高相似性，本发明重新设计了车辆重识别模型用以提取高质量的车辆外观特征，为后续的数据关联匹配做准备，已达到提高跟踪性能精度的目的。
本发明设置为HRNet48网络模型和ResNet50网络模型，用以加强后续的数据关联匹配部分，提取遮挡、光照条件变化和视点变化情况下的车辆外观特征，使该跟踪方法更具鲁棒性和泛化性。每个车辆重识别网络模型输出一个2048维的特征向量，每辆检测到的汽车的最终特征向量是两个网络模型的平均输出。
为了不遗漏检测置信度低的潜在车辆目标，本发明重新设计了数据关联匹配策略。为了使检测置信度高的车辆目标更好的匹配，本发明提出一种新的联合IOU距离和外观特征的成本矩阵用于该类车辆目标的数据关联匹配。同时，为了更好的对车辆目标的运动情况进行估计预测，本发明设计了一种基于检测置信度的自适应卡尔曼滤波器，以提高卡尔曼滤波器的估计预测性能。
具体来说，本发明首先将高置信度框与车辆外观特征相关联，然后将未匹配的跟踪轨迹通过IOU距离与边界框相关联。最后，只将低置信度框以IOU距离进行匹配，以增强跟踪的稳定性。其中还设计了一种基于检测置信度的自适应卡尔曼滤波器，以提高卡尔曼滤波器的估计预测性能，进行轨迹更新。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，车辆检测和跟踪采用四个模块共同实现，四个模块分别为数据获取模块、车辆检测模块、深度特征提取模块和车辆跟踪模块；
具体操作为：数据获取模块将来自高速公路交通监控视频帧的数据转化为图像序列输入至车辆检测模块，输出若干关于车辆的检测结果；检测结果输入至深度特征提取模块，在深度特征提取模块中，单个车辆目标被提取出来并调整成统一大小，继而输入融合后的车辆重识别网络模型进行深度特征提取；最后，将车辆检测模块和深度特征提取模块中得到的车辆检测信息和车辆外观特征信息输入至车辆跟踪模块进行车辆轨迹跟踪。
2.根据权利要求1所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，数据获取模块用于获取图像序列，通过高速公路交通监控实时获取视频帧进而转化为所需的图像序列。
3.根据权利要求2所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，车辆检测模块用于获取图像中车辆目标信息，通过任意目标检测算法对数据获取模块中获取的图像序列进行处理，获取若干图像序列中车辆目标的位置信息、置信度信息和类别信息。
4.根据权利要求3所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，深度特征提取模块用于获取车辆目标的外观特征信息，深度特征提取模块融合了两个车辆重识别网络，具体为HRNet48网络模型和ResNet50网络模型，用以加强后续的数据关联匹配部分，提取遮挡、光照条件变化和视点变化情况下的车辆外观特征，使跟踪方法更具鲁棒性和泛化性；每个车辆重识别网络模型输出一个2048维的特征向量，每辆检测到的汽车的最终特征向量是两个网络模型的平均输出。
5.根据权利要求4所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，两个网络模型需要单独训练，在车辆检测模块输出车辆检测结果后，使用图像大小重调算法将单个车辆图像序列调整为相同大小，分别训练HRNet48网络模型和ResNet50网络模型，在骨干网络中添加了一个全连接的分类层，这个分类层的输出神经元数量与训练数据集中的实例数量相同，在推理过程中特征提取时，省略分类层，最后一个池化层的步幅参数设置为1，以保持细粒度的细节。
6.根据权利要求5所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，在损失函数设置方面，使用交叉熵分类损失函数和度量学习三元组损失函数的组合；交叉熵分类损失函数旨在识别车辆，度量学习三元组损失函数有助于学习相同类别样本在嵌入空间中接近而来自不同类别的相似车辆在嵌入空间中较远的特征；车辆检测模块提取的每个车辆位置信息提取两个2048维的外观特征向量，并将这两个向量进行串联拼接融合，车辆位置信息和相应的外观特征信息作为后续车辆跟踪模块的输入；
损失函数具体为：
给定一张图片x和标签y，表示为对应图片x的预测值，则交叉熵分类损失函数可表示如下：
其中N代表每一批次的样本数，C代表车辆ID的数量，当第i张图片xi可以对应ID-j时，yij＝1，否则yij＝0；
三元组损失函数聚焦于优化三个元组之间的距离，这三个元组分别为一个锚点样本xa、一个正样本xp和一个负样本xn；给定一个预定义的边界m，三元组损失函数的目标是使正对之间的距离比负对之间的距离小，公式表示如下：
其中fa、fp和fn分别为锚点样本、正样本和负样本的特征表示，d(·)表示两个特征之间的距离；
损失函数设置方面，使用交叉熵分类损失函数和三元组损失函数的组合，总损失函数设置如下：
L＝Lc+αLt
其中Lc、Lt分别表示交叉熵分类损失函数和度量学习三元组损失函数，α为一个平衡权重，为0.9。
7.根据权利要求6所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，车辆跟踪模块的处理步骤分别为：
S101、数据预处理与计算；
S102、数据关联匹配；
S103、车辆轨迹管理。
8.根据权利要求7所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，
步骤S101中，数据预处理与计算主要用以处理获取到的车辆运动信息及外观信息，并利用自适应卡尔曼滤波器生成数据关联匹配过程中所需的下一时刻的车辆目标预测车辆目标信息；
车辆跟踪模块需要在起始时设定轨迹序列组tracklets向量，用以存储各个时刻的车辆轨迹序列；
首先需要对车辆检测模块输出的车辆检测结果进行一定的筛选，根据设定的高低置信度两个阈值分两路输出目标检测结果，高低置信度的一路接下来输入深度特征提取模块，并联合其检测结果及自适应卡尔曼滤波器的预测边框值进行下一步的第一次数据关联匹配；低置信度的一路将参与第二次的数据关联匹配；
根据自适应卡尔曼滤波器的需要，需要传入相应时刻的高置信度检测结果的检测置信度，自适应卡尔曼滤波器将检测的置信度纳入到协方差计算中，进一步提高非线性运动的鲁棒性；
自适应卡尔曼滤波器基于检测置信度针对测量噪声矩阵另行建模，使用离散时间卡尔曼滤波器对图像中的车辆目标的运动进行建模，卡尔曼滤波器的目标是在给定初始状态值x0且k∈N+的情况下，根据测量向量z∈Rm估计状态向量x∈Rn；
状态向量被定义为一个八元素向量，其中(u,v)是图像平面中边界框的中心位置坐标，γ是边界框的长宽比，h是边界框的高，/>是前四个元素在坐标系中的变化速度；
在车辆多目标跟踪任务下，离散时间卡尔曼滤波器由下列线性随机差分方程给出：
xk＝Fkxk-1+nk-1
zk＝Hkxk+vk
其中，Fk是由k-1步到k步的转移矩阵，Hk是观测矩阵，随机变量nk和vk分别表示过程噪声和测量噪声，并假设噪声向量独立且都服从正态分布；
过程噪声协方差矩阵Qk和测量噪声协方差矩阵Rk随每个时间步长而变化，卡尔曼滤波算法由预测步骤和更新步骤组成，整个卡尔曼滤波算法可以总结为以下递归方程:
Pk∣k＝(I-KkHk)Pk∣k-1
自适应噪声协方差采用与检测置信度关联的形式，代替原卡尔曼滤波器中测量噪声协方差矩阵Rk的值，用以计算卡尔曼增益，其值取决于当前时刻的检测置信度分数及预设的常数测量噪声协方差，计算方式如下：
其中Rk是预设的常数测量噪声协方差，ck是k时刻的检测置信度分数，
在每一步k,KF预测步骤预测的是状态向量的先验估计以及协方差矩阵Pk∣k-1，KF更新步骤更新的是在给定观测值zk和估计协方差值Pk∣k之下的后验状态估计/>同时还要考虑最优卡尔曼增益Kk，
对应于状态向量和测量向量的恒速模型矩阵如下
9.根据权利要求8所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，
步骤S102中，数据关联匹配主要是利用步骤S101数据预处理生成的车辆目标状态信息进行车辆轨迹的数据关联匹配；
第一次数据关联匹配时，高置信度检测结果被送入到深度特征提取模型进行外观特征提取；将检测置信度较低的车辆检测目标与第一次匹配关联之后的剩余轨迹序列进行数据关联匹配，第二次数据关联匹配的标准是仅基于IOU距离；两路数据关联匹配策略生成两组匹配轨迹，一同用于步骤S103车辆轨迹管理处理中；
阈值参数设置，高置信度设置为0.4，低置信度设置为0.1；高置信度框关联的IOU成本置信度设置为0.8，低置信度框关联的IOU成本置信度设置为0.5；
在第一次数据关联匹配中，为了降低因遮挡、拥塞及模糊画面对外观特征信息的影响，提升数据关联性能，采用联合外观特征信息和运动信息的方式，联合IOU距离矩阵和余弦距离矩阵，首先，根据IOU的分数，将低余弦相似度或距离较远的候选对象剔除；然后，使用矩阵中每个元素的最小值作为成本矩阵C的最终值；
交并比是目标检测算法中的一个重要函数，函数值等于“预测的边框”和“真实的边框”的交集和并集的比值；
融合信息表达如下：
其中，
Ci,j代表成本矩阵C的第(i,j)个元素；
代表运动成本信息，也就是轨迹序列组中第i个预测框和第j个检测框之间的IOU距离；
代表轨迹序列组中第i平均外观特征和新的检测结果j的外观特征之间的的余弦距离；
是新的外观特征成本余弦距离；
θiou是一个IOU距离阈值，为0.5，用以拒绝不太可能的轨迹序列组中的轨迹和检测框之间的配对；
θemb是一个外观特征距离阈值，需要根据具体数据情况进行设置，为0.35，用于分离轨迹序列组外观特征向量和检测结果外观特征向量的正相关性和负相关性；
高置信度检测结果的线性分配问题采用匈牙利算法来解决，使用匈牙利算法来解决高置信度检测结果与轨迹序列组中的数据关联匹配问题，主要解决的是卡尔曼滤波器预测的边界框和新的检测框之间的关联问题，其是基于成本矩阵C的，构造方式如下：
10.根据权利要求9所述的一种面向高速公路交通监控场景的车辆检测与跟踪方法，其特征在于，
步骤S103中，车辆轨迹管理用于管理每时每刻都在产生的轨迹，主要用于步骤S102中生成的两组轨迹，并根据相关数据的更新情况执行如下任务：更新自适应卡尔曼滤波器、更新深度特征提取模块、更新轨迹，其中，更新轨迹包括创建新的轨迹、删除未激活轨迹。
CN202310275491.XA 2023-03-21 2023-03-21 一种面向高速公路交通监控场景的车辆检测与跟踪方法 Pending CN116453012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310275491.XA CN116453012A (zh) 2023-03-21 2023-03-21 一种面向高速公路交通监控场景的车辆检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310275491.XA CN116453012A (zh) 2023-03-21 2023-03-21 一种面向高速公路交通监控场景的车辆检测与跟踪方法

Publications (1)

Publication Number Publication Date
CN116453012A true CN116453012A (zh) 2023-07-18

Family

ID=87122997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310275491.XA Pending CN116453012A (zh) 2023-03-21 2023-03-21 一种面向高速公路交通监控场景的车辆检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN116453012A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135248A (zh) * 2024-05-08 2024-06-04 山东建筑大学 复杂场景下多目标跟踪方法、系统、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135248A (zh) * 2024-05-08 2024-06-04 山东建筑大学 复杂场景下多目标跟踪方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN111488795B (zh) 应用于无人驾驶车辆的实时行人跟踪方法
Zheng et al. A novel background subtraction algorithm based on parallel vision and Bayesian GANs
Ke et al. Multi-dimensional traffic congestion detection based on fusion of visual features and convolutional neural network
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
Kim Multiple vehicle tracking and classification system with a convolutional neural network
CN112651995A (zh) 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法
CN114627437B (zh) 一种交通目标识别方法及系统
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN114240997A (zh) 一种智慧楼宇在线跨摄像头多目标追踪方法
CN109165602A (zh) 一种基于视频分析的黑烟车检测方法
CN110929670A (zh) 基于yolo3技术的渣土车洁净度视频识别分析方法
Kim et al. Foreground objects detection using a fully convolutional network with a background model image and multiple original images
CN113052184A (zh) 一种基于两阶段局部特征对齐的目标检测方法
CN111462173B (zh) 基于孪生网络判别特征学习的视觉跟踪方法
CN116453012A (zh) 一种面向高速公路交通监控场景的车辆检测与跟踪方法
CN107844739B (zh) 基于自适应同时稀疏表示的鲁棒性目标追踪方法
CN115359407A (zh) 一种视频中的多车辆跟踪方法
Tarchoun et al. Hand-Crafted Features vs Deep Learning for Pedestrian Detection in Moving Camera.
CN117036397A (zh) 一种基于融合信息关联和相机运动补偿的多目标跟踪方法
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
CN109636834A (zh) 基于tld改进算法的视频车辆目标跟踪算法
Dorrani Traffic Scene Analysis and Classification using Deep Learning
CN116580333A (zh) 基于YOLOv5和改进StrongSORT的粮库车辆追踪方法
CN113691747B (zh) 无人驾驶中红外视频转换为可见光视频的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination