CN110991272B - 一种基于视频跟踪的多目标车辆轨迹识别方法 - Google Patents

一种基于视频跟踪的多目标车辆轨迹识别方法 Download PDF

Info

Publication number
CN110991272B
CN110991272B CN201911125301.6A CN201911125301A CN110991272B CN 110991272 B CN110991272 B CN 110991272B CN 201911125301 A CN201911125301 A CN 201911125301A CN 110991272 B CN110991272 B CN 110991272B
Authority
CN
China
Prior art keywords
target
frame
vehicle
vehicles
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911125301.6A
Other languages
English (en)
Other versions
CN110991272A (zh
Inventor
宫俊
刘聪
王陈浩
郭栋
任航
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN201911125301.6A priority Critical patent/CN110991272B/zh
Publication of CN110991272A publication Critical patent/CN110991272A/zh
Application granted granted Critical
Publication of CN110991272B publication Critical patent/CN110991272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种基于视频跟踪的多目标车辆轨迹识别方法，涉及视频监控技术领域。本发明步骤如下：步骤1：采集监控视频图像，设置相关参数；步骤2：根据视频图像采用YOLOv3算法获取图像中要跟踪的所有车辆目标，将检测到的N个车辆作为跟踪目标，得到N个车辆的第Q帧目标框集合SQ,并以目标车辆的中心点作为轨迹记录点，建立轨迹集L＝{L1,L2,L3，…，LN}；步骤3：采用改进的YOLO v3算法进行车辆目标检测得到Q+1帧的目标框集合SQ+1，重复本步骤，直至将采集的监控视频图像全部检测完毕，输出最终的轨迹集L′。该方法不仅解决了多目标的车辆轨迹提取精度问题，而且具备很好的实时性，也解决了现有基于深度学习方法的车辆轨迹提取精度和速度有限问题。

Description

一种基于视频跟踪的多目标车辆轨迹识别方法
技术领域
本发明涉及视频监控技术领域，尤其涉及一种基于视频跟踪的多目标车辆轨迹识别方法。
背景技术
随着交通设施的不断完善和人民生活水平的提高，道路上的车辆越来越多，交通安全问题也随之而来。在众多交通信息来源中，基于监控摄像头的视频数据具有不间断性、直观性、可靠性高等特点，因此基于监控视频进行车辆轨迹识别的方法是判断车辆行驶的动态过程中是否规范的重要手段之一。此外，车辆轨迹识别在当今已被应用在其他领域和行业中，例如汽车辅助驾驶系统中，在能见度低等恶劣环境下，通过车辆轨迹识别可以对驾驶人员进行提醒，保障行车安全。
目前，对于多目标车辆轨迹的识别技术主要可以分为两类，一是传统方法，即采用背景差分法、帧间差分法、光流法等方法提取运动目标，然后通过匹配算法和分类算法实现车辆的连续跟踪；二是基于卷积神经网络的深度学习方法。传统方法部署方便，消耗资源少，但是受限于先验知识，跟踪的稳定性差而且准确率不高；深度学习方法具有极高的准确性，但是计算量及其庞大，实时性不高。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于视频跟踪的多目标车辆轨迹识别方法，该方法不仅解决了多目标的车辆轨迹提取精度问题，而且具备很好的实时性，解决了现有基于深度学习方法的车辆轨迹提取精度和速度有限问题。
为解决上述技术问题，本发明所采取的技术方案是：
本发明提供一种基于视频跟踪的多目标车辆轨迹识别方法，包括如下步骤：
步骤1：采集监控视频图像，设置相关参数,所述相关参数包括改进的YOLO v3算法参数初始化、置信度阈值设定；
步骤2：根据视频图像采用YOLO v3算法获取图像中要跟踪的所有车辆目标，将检测到的N个车辆作为跟踪目标，得到N个车辆的第Q帧目标框集合SQ,并以目标车辆的中心点作为轨迹记录点，建立N个车辆的轨迹集L＝{L1,L2,L3，…，LN}，其中LN代表目标车辆N的轨迹集合；
步骤3：启动跟踪；根据目标框集合SQ和Q+1帧的视频图像采用改进的YOLO v3算法进行车辆目标检测得到N个车辆Q+1帧的目标框集合SQ+1，重复本步骤，直至将采集的监控视频图像全部检测完毕，输出最终的轨迹集L′；
所述改进的YOLO v3算法为将输入图像划分为网格，利用KCF跟踪算法对当前帧进行处理，预测下一帧中车辆的位置，在下一帧中对预测位置中的网格进行检测，不再对所有网格进行检测；设定设计车辆检测专属的anchor的窗口尺寸和YOLO v3算法损失函数，然后采用YOLO v3算法获取目标框集合，得到目标车辆的轨迹集。
所述步骤2还包括如下步骤:
步骤2.1：网格划分；根据YOLO v3算法将输入图像进行网格划分，划分成S×S个网格；
步骤2.2：确定搜索区域；对帧数Q的视频图像进行全帧检测，搜索区域为视频图像中划分的所有网格；
步骤2.3：候选框预测：结合视频监控下的车辆特征设计一套车辆检测专属的anchor的窗口尺寸，即采用定制的五种长宽比和三种缩放比例的anchor，对步骤2.2中的搜索区域采用多尺度特征图方法进行候选框预测，每个网格会产生15个候选框，得到N个车辆的候选框集合PQ；
步骤2.4：多目标车辆区分,得到N个车辆的目标框集合SQ；采用非极大值抑制的方法对候选框集合内的所有候选框进行处理，从所有候选框中得到当前帧图像中所有车辆的唯一边界框；
步骤2.5：输出目标框集合SQ,SQ中每个车辆用唯一的边界框表示；该边界框由具有6维的向量表示，即(tx,ty,tw,th,tcon,ttra),其中tx、ty为边界框的左上点坐标、tw为边界框的长，th为边界框的宽，tcon为该边界框对应的置信度，ttra为边界框在跟踪区域中的置信度,且ttra＝0，其中tcon的计算公式为其中，BBpre表示各个车辆对应目标框集合SQ中的边界框，BBtru表示各个车辆的真实边界框，area是对面积的求值；
步骤2.6：根据目标框集合SQ得到所有目标车辆的中心点，并以中心点作为轨迹记录点，建立N个车辆的轨迹集L＝{L1,L2,L3，…，LN}。
所述步骤3的具体步骤如下:
步骤3.1：基于第Q帧图像中N个车辆的目标框集合SQ，利用KCF跟踪方法计算在Q+1帧中原Q帧中N个车辆的响应值，并将Q+1帧中每个车辆对应的响应值大的前五名保存到样本序列CQ+1＝{c1,c2，…，ca，…，cN}中，其中代表第a辆车的响应值集合,并将各车辆的最大响应值对应的图像区域添加到预测区域集合KQ+1；
步骤3.2：置信度判断：分别计算当前帧中预测区域集合KQ+1与前一帧中目标框集合SQ各车辆预测框的IOU值，并将其作为置信度，得出置信度集合M＝[m1,m2…mN]，计算公式为ma的值范围为[0，1],其中，area表示各预测框的面积，sa代表第a辆车在Q帧时的目标框，ka代表第a辆车在Q+1帧时的预测区域，对置信度集合M中的元素分别判断其是否大于置信度阈值，若是，则认为是有效跟踪，则将预测区域储存至预测框集合K′Q+1中，执行步骤3.4；若否，则认为是无效跟踪，则获取所有无效跟踪的目标车辆以及目标车辆相对应的响应值集合，分别将响应值集合内的响应值依次作为当前帧的最大响应值，即预测区域，再进行置信度判断，若为有效跟踪，则将该预测区域储存至预测框集合K′Q+1中，执行步骤3.3；若目标车辆均为无效检测则认为车辆消失在监控视频中，则执行步骤3.4；
步骤3.3：判断预测框集合K′Q+1内的预测框数量是否为N个，若否，则删除预测框集合K′Q+1，执行步骤3.4，若是，则执行步骤3.5；
步骤3.4：根据Q+1帧的视频图像采用YOLO v3算法获取图像中要跟踪的N个目标车辆，得到N个车辆的第Q+1帧目标框集合SQ+1，执行步骤3.6；
步骤3.5：将预测框集合K′Q+1作为搜索区域，采用YOLO v3算法进行目标车辆检测，得到第Q+1帧的目标框集合SQ+1；
步骤3.6：轨迹获取与记录：计算得到的当前帧中所有车辆的中心点，并将各车辆的最新位置更新到轨迹集L＝{L1,L2,L3，…，LN}中；
步骤3.7：令Q＝Q+1,执行步骤3.1；直至将采集的监控视频图像全部检测完毕，输出最终的轨迹集L′。
所述步骤3.1还包括如下步骤：
步骤3.1.1：获取候选样本集合：每次跟踪的基样本图像均由步骤2中检测出的多目标车辆的初始化状态确定，通过循环移位矩阵X完成密集采样以获得候选样本集合，然后通过余弦窗来减少由于循环移位造成的边缘噪声，形成的循环矩阵如下：
其中，第一行是经过余弦窗处理的基样本向量转置；
步骤3.1.2：跟踪问题的时域-空域转化：决策函数公式表示为f(z)＝wTz，其中z是候选样本，即下一帧图像中车辆所有的可能位置，w是相关滤波器，将方便求解的岭回归函数应用到滤波器的训练过程中，故w的计算公式为其中λ为控制过度拟合的正则化因子,N为训练样本数量，xi为训练样本，yi为训练样本类别值，对于循环样本中xi赋予满足高斯分布的样本标签yi，根据目标对象距离的远近来赋值[0-1]，越接近目标对象则标签值yi越接近于1，否则接近于0，公式表示为/>其中，μ、σ分别为距离目标对象距离的均值和方差；
步骤3.1.3：在时域下的w求解设计到线性方程的高维求解，计算复杂度，将其转换到空域内计算，其计算公式为其中/>为xi的傅里叶变换向量，/>为向量/>的复共轭，/>为yi的傅里叶变换值，⊙表示代表向量对应元素相乘，在求解w的频域解后通过傅里叶的逆变换重新得到时域解w；
步骤3.1.4：跟踪目标位置预测；引入核技巧将低维空间的X候选样本映射到高维空间进行分类，故在空域下决策函数的公式表示为其中kxz是目标样本X和候选样本Z的核相关性，/>为优化变量矩阵，/>为kxz的傅里叶变换值；将频域计算的f(z)进行傅里叶逆变换，得到时域置信度，在置信度图像中最大置信度即最大响应值，即可得到Q帧中N个车辆在第Q+1帧中的响应值，将前五名响应值保存到样本序列CQ+1＝{c1,c2，…，ca，…，cN}中，并将各车辆的最大响应值对应的图像区域添加到预测区域集合KQ+1。
所述步骤3.5还包括如下步骤：
步骤3.5.1：候选框预测：结合视频监控下的车辆特征设计一套车辆检测专属的anchor的窗口尺寸，即采用定制的五种长宽比和三种缩放比例的anchor，对预测框集合K′Q+1作为搜索区域，采用多尺度特征图方法进行候选框预测，得到N个车辆的候选框集合PQ+1；
步骤3.5.2：多目标车辆区分,得到帧数Q+1的N个车辆的目标框集合SQ+1；采用非极大值抑制的方法对候选框集合内的所有候选框进行处理，从所有候选框中得到当前帧图像中所有车辆的唯一边界框；
步骤3.5.3：输出目标框集合SQ+1,SQ+1中每个车辆用唯一的边界框表示；该边界框由具有6维的向量表示，即(tx,ty,tw,th,tcon,ttra),其中ttra的计算公式为BBtra表示各车辆通过KCF跟踪算法得到的预测区域集合KQ+1对应的各边界框；
步骤3.5.4：改进的YOLO v3算法中的损失函数计算：损失函数的公式为losstra＝ttra·(lossxy+lossnw+losscon+lossncon)，其中，lossxy为边界框左上角坐标的损失量，lossnw为边界框宽和高的损失量，losscon为边界框包含车辆目标的置信度损失量，lossncon为边界框不包含车辆目标的置信度损失量。
采用上述技术方案所产生的有益效果在于：本发明提供的一种基于视频跟踪的多目标车辆轨迹识别方法，本发明提供的一种基于视频跟踪的多目标车辆轨迹识别方法，本发明采用改进的YOLO v3算法，在连续跟踪过程中缩减了原YOLO v3算法中搜索区域的大小，将全帧检测和局部检测联合使用进一步加快了车辆检测的速度，克服了深度学习模型检测速度慢的缺点，因此本发明具有很好的实时性；在KCF跟踪算法中每一帧的基样本图像均是经过改进的YOLO v3算法检测的精确图像，使模板在视频序列随时间变化的过程中始终与动态目标保持高度的一致性，克服模板更新后模板不准确的问题，保证了在长期跟踪过程中模板不失真，因此本发明在长期跟踪过程中具有很好的稳定性；本发明利用改进的YOLO v3算法具有多尺度下特征检测的特点，克服了车辆目标在动态运动过程中与摄像头距离不同而产生尺寸变化造成的检测不准确和跟踪不稳定问题，实现了车辆目标的准确动态跟踪；本发明提供的轨迹跟踪方法实现了多目标车辆的跟踪，为每个车辆目标配置一个轨迹集，与实际场景应用更加吻合，对跟踪目标的识别、理解和分析具有重要意义。
附图说明
图1为本发明实施例提供的基于视频跟踪的多目标车辆轨迹识别方法流程图；
图2为本发明实施例提供的YOLO v3算法流程图；
图3为本发明实施例提供的改进的YOLO v3算法流程图；
图4为本发明实施例提供的确定搜索区域的前后帧比较示意图，其中，(a)为全帧检测确定搜索区域时的示意图，(b)为跟踪算法确定搜索区域时的示意图；
图5为本发明实施例提供的多目标车辆轨迹识别效果图；
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例的方法如下所述。
本发明提供一种基于视频跟踪的多目标车辆轨迹识别方法，包括如下步骤：
步骤1：采集监控视频图像，进行跟踪前的准备工作，设置相关参数,所述相关参数包括改进的YOLO v3算法参数初始化、置信度阈值设定；
步骤2：如图2所示，根据视频图像采用YOLO v3算法获取图像中要跟踪的所有车辆目标，将检测到的N个车辆作为跟踪目标，得到N个车辆的第Q帧目标框集合SQ,并以目标车辆的中心点作为轨迹记录点，建立N个车辆的轨迹集L＝{L1,L2,L3，…，LN}，其中LN代表目标车辆N的轨迹集合；如图4(a)所示；
步骤2.1：网格划分；根据YOLO v3算法将输入图像进行网格划分，划分成S×S个网格；
步骤2.2：确定搜索区域；对帧数Q的视频图像进行全帧检测，搜索区域为视频图像中划分的所有网格；
步骤2.3：候选框预测：结合视频监控下的车辆特征设计一套车辆检测专属的anchor的窗口尺寸，即采用定制的五种长宽比(两个横向框、两个纵向框、一个正方形框)和三种缩放比例的anchor，对步骤2.2中的搜索区域采用多尺度特征图方法进行候选框预测，每个网格会产生15个候选框，改进的YOLO v3算法沿用原YOLO v3算法中的多尺度特征图方法，可以有效识别不同尺寸大小的车辆；得到N个车辆的候选框集合PQ；
步骤2.4：多目标车辆区分,得到N个车辆的目标框集合SQ；采用非极大值抑制的方法对候选框集合内的所有候选框进行处理，从所有候选框中得到当前帧图像中所有车辆的唯一边界框；
步骤2.5：输出目标框集合SQ,SQ中每个车辆用唯一的边界框表示；该边界框由具有6维的向量表示，即(tx,ty,tw,th,tcon,ttra),其中tx、ty为边界框的左上点坐标、tw为边界框的长，th为边界框的宽，tcon为该边界框对应的置信度，ttra为边界框在跟踪区域中的置信度,且ttra＝0，其中tcon的计算公式为其中，BBpre表示各个车辆对应目标框集合SQ中的边界框，BBtru表示各个车辆的真实边界框，area是对面积的求值；
步骤2.6：根据目标框集合SQ得到所有目标车辆的中心点，并以中心点作为轨迹记录点，建立N个车辆的轨迹集L＝{L1,L2,L3，…，LN}；
步骤3：启动跟踪；根据目标框集合SQ和Q+1帧的视频图像采用改进的YOLO v3算法进行车辆目标检测得到N个车辆Q+1帧的目标框集合SQ+1，重复本步骤，直至将采集的监控视频图像全部检测完毕，输出最终的轨迹集L′；如图3所示；
所述改进的YOLO v3算法为将输入图像划分为网格，利用KCF跟踪算法对当前帧进行处理，预测下一帧中车辆的位置，在下一帧中对预测位置中的网格进行检测，不再对所有网格进行检测；设定设计车辆检测专-属的anchor的窗口尺寸和损失函数，然后采用YOLOv3算法获取目标框集合，得到目标车辆的轨迹集；具体步骤如下:
步骤3.1：基于第Q帧图像中N个车辆的目标框集合SQ，利用KCF跟踪方法计算在Q+1帧中原Q帧中N个车辆的响应值，并将Q+1帧中每个车辆对应的响应值大的前五名保存到样本序列CQ+1＝{c1,c2，…，ca，…，cN}中，其中代表第a辆车的响应值集合,并将各车辆的最大响应值对应的图像区域添加到预测区域集合KQ+1；如图4(b)所示；
在实施本方法时对KCF跟踪模型中的相关参数进行了更新；
步骤3.1.1：获取候选样本集合：每次跟踪的基样本图像均由步骤2中检测出的多目标车辆的初始化状态确定，所述多目标车辆的初始化状态即指图像中车辆的位置，通过循环移位矩阵X完成密集采样以获得候选样本集合，然后通过余弦窗来减少由于循环移位造成的边缘噪声，形成的循环矩阵如下：
其中，第一行是经过余弦窗处理的基样本向量转置；
步骤3.1.2：跟踪问题的时域-空域转化：决策函数公式表示为f(z)＝wTz，其中z是候选样本，即下一帧图像中车辆所有的可能位置，w是相关滤波器，将方便求解的岭回归函数应用到滤波器的训练过程中，故w的计算公式为其中λ为控制过度拟合的正则化因子,N为训练样本数量，xi为训练样本，yi为训练样本类别值，对于循环样本中xi赋予满足高斯分布的样本标签yi，根据目标对象距离的远近来赋值[0-1]，越接近目标对象则标签值yi越接近于1，否则接近于0，公式表示为/>其中，μ、σ分别为距离目标对象距离的均值和方差；
步骤3.1.3：在时域下的w求解设计到线性方程的高维求解，计算复杂度，将其转换到空域内计算，其计算公式为其中/>为xi的傅里叶变换向量，/>为向量/>的复共轭，/>为yi的傅里叶变换值，⊙表示代表向量对应元素相乘，在求解w的频域解后通过傅里叶的逆变换重新得到时域解w；
步骤3.1.4：跟踪目标位置预测；引入核技巧将低维空间的X候选样本映射到高维空间进行分类，故在空域下决策函数的公式表示为其中kxz是目标样本X和候选样本Z的核相关性，/>为优化变量矩阵，/>为kxz的傅里叶变换值；将频域计算的f(z)进行傅里叶逆变换，得到时域置信度，在置信度图像中最大置信度即最大响应值，即可得到Q帧中N个车辆在第Q+1帧中的响应值，将前五名响应值保存到样本序列CQ+1＝{c1,c2，…，ca，…，cN}中，并将各车辆的最大响应值对应的图像区域添加到预测区域集合KQ+1；
步骤3.2：置信度判断：分别计算当前帧中预测区域集合KQ+1与前一帧中目标框集合SQ各车辆预测框的IOU值，并将其作为置信度，可得置信度集合M＝[m1,m2…mN]，计算公式为ma的值范围为[0，1],其中，area表示各预测框的面积，sa代表第a辆车在Q帧时的目标框，ka代表第a辆车在Q+1帧时的预测区域，分子为两个预测框的交集，分母为两个预测框的并集；对置信度集合M中的元素分别判断其是否大于置信度阈值，若是，则认为是有效跟踪，则将预测区域储存至预测框集合K′Q+1中，执行步骤3.4；若否，则认为是无效跟踪，则获取所有无效跟踪的目标车辆以及目标车辆相对应的响应值集合，分别将响应值集合内的响应值依次作为当前帧的最大响应值，即预测区域，求出预测区域与前一帧中目标框集合中对应车辆目标框的IOU值，再进行置信度判断，若为有效跟踪，则将该预测区域储存至预测框集合K′Q+1中，执行步骤3.3；若目标车辆均为无效检测则认为车辆消失在监控视频中，则执行步骤3.4；
步骤3.3：判断预测框集合K′Q+1内的预测框数量是否为N个，若否，则删除预测框集合K′Q+1，执行步骤3.4，若是，则执行步骤3.5；
步骤3.4：根据Q+1帧的视频图像采用YOLO v3算法获取图像中要跟踪的N个目标车辆，得到N个车辆的第Q+1帧目标框集合SQ+1，执行步骤3.6；
步骤3.5：将预测框集合K′Q+1作为搜索区域，采用YOLO v3算法进行目标车辆检测，得到第Q+1帧的目标框集合SQ+1；
步骤3.5.1：候选框预测：结合视频监控下的车辆特征设计一套车辆检测专属的anchor的窗口尺寸，即采用定制的五种长宽比(两个横向框、两个纵向框、一个正方形框)和三种缩放比例的anchor，对预测框集合K′Q+1作为搜索区域，采用多尺度特征图方法进行候选框预测，得到N个车辆的候选框集合PQ+1；改进的YOLO v3算法沿用原YOLO v3算法中的多尺度特征图方法，可以有效识别不同尺寸大小的车辆；
步骤3.5.2：多目标车辆区分,得到帧数Q+1的N个车辆的目标框集合SQ+1；采用非极大值抑制的方法对候选框集合内的所有候选框进行处理，从所有候选框中得到当前帧图像中所有车辆的唯一边界框；
步骤3.5.3：输出目标框集合SQ+1,SQ+1中每个车辆用唯一的边界框表示；该边界框由具有6维的向量表示，即(tx,ty,tw,th,tcon,ttra),其中ttra的计算公式为BBtra表示各车辆通过KCF跟踪算法得到的预测区域集合KQ+1对应的各边界框；
步骤3.5.4：YOLO v3算法中的损失函数计算：在计算损失函数时本发明忽略首帧检测时的损失量，只考虑由跟踪算法得到搜索区域计算而来的损失量，故改进的YOLO v3算法中YOLO v3算法中的损失函数的公式为losstra＝ttra·(lossxy+lossnw+losscon+lossncon)，其中，lossxy为边界框左上角坐标的损失量，lossnw为边界框宽和高的损失量，losscon为边界框包含车辆目标的置信度损失量，lossncon为边界框不包含车辆目标的置信度损失量；
步骤3.6：轨迹获取与记录：计算得到的当前帧中所有车辆的中心点，并将各车辆的最新位置更新到轨迹集L＝{L1,L2,L3，…，LN}中；
步骤3.7：令Q＝Q+1,执行步骤3.1；直至将采集的监控视频图像全部检测完毕，输出最终的轨迹集L′；如图5所示；
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (4)

1.一种基于视频跟踪的多目标车辆轨迹识别方法，其特征在于：包括如下步骤：
步骤1：采集监控视频图像，设置相关参数,所述相关参数包括改进的YOLO v3算法参数初始化、置信度阈值设定；
步骤2：根据视频图像采用YOLO v3算法获取图像中要跟踪的所有车辆目标，将检测到的N个车辆作为跟踪目标，得到N个车辆的第Q帧目标框集合SQ,并以目标车辆的中心点作为轨迹记录点，建立N个车辆的轨迹集L＝{L1,L2,L3，…，LN}，其中LN代表目标车辆N的轨迹集合；
步骤3：启动跟踪；根据目标框集合SQ和Q+1帧的视频图像采用改进的YOLO v3算法进行车辆目标检测得到N个车辆Q+1帧的目标框集合SQ+1，重复本步骤，直至将采集的监控视频图像全部检测完毕，输出最终的轨迹集L′；
所述步骤3的具体步骤如下:
步骤3.1：基于第Q帧图像中N个车辆的目标框集合SQ，利用KCF跟踪方法计算在Q+1帧中原Q帧中N个车辆的响应值，并将Q+1帧中每个车辆对应的响应值大的前五名保存到样本序列CQ+1＝{c1,c2，…，ca，…，cN}中，其中代表第a辆车的响应值集合,并将各车辆的最大响应值对应的图像区域添加到预测区域集合KQ+1；
步骤3.2：置信度判断：分别计算当前帧中预测区域集合KQ+1与前一帧中目标框集合SQ各车辆预测框的IOU值，并将其作为置信度，得出置信度集合M＝[m1,m2…mN]，计算公式为ma的值范围为[0，1],其中，area表示各预测框的面积，sa代表第a辆车在Q帧时的目标框，ka代表第a辆车在Q+1帧时的预测区域，对置信度集合M中的元素分别判断其是否大于置信度阈值，若是，则认为是有效跟踪，则将预测区域储存至预测框集合K′Q+1中，执行步骤3.4；若否，则认为是无效跟踪，则获取所有无效跟踪的目标车辆以及目标车辆相对应的响应值集合，分别将响应值集合内的响应值依次作为当前帧的最大响应值，即预测区域，再进行置信度判断，若为有效跟踪，则将该预测区域储存至预测框集合K′Q+1中，执行步骤3.3；若目标车辆均为无效检测则认为车辆消失在监控视频中，则执行步骤3.4；
步骤3.3：判断预测框集合K′Q+1内的预测框数量是否为N个，若否，则删除预测框集合K′Q+1，执行步骤3.4，若是，则执行步骤3.5；
步骤3.4：根据Q+1帧的视频图像采用YOLO v3算法获取图像中要跟踪的N个目标车辆，得到N个车辆的第Q+1帧目标框集合SQ+1，执行步骤3.6；
步骤3.5：将预测框集合K′Q+1作为搜索区域，采用YOLO v3算法进行目标车辆检测，得到第Q+1帧的目标框集合SQ+1；
步骤3.6：轨迹获取与记录：计算得到的当前帧中所有车辆的中心点，并将各车辆的最新位置更新到轨迹集L＝{L1,L2,L3，…，LN}中；
步骤3.7：令Q＝Q+1,执行步骤3.1；直至将采集的监控视频图像全部检测完毕，输出最终的轨迹集L′；
所述改进的YOLO v3算法为将输入图像划分为网格，利用KCF跟踪算法对当前帧进行处理，预测下一帧中车辆的位置，在下一帧中对预测位置中的网格进行检测，不再对所有网格进行检测；设定设计车辆检测专属的anchor的窗口尺寸和YOLO v3算法损失函数，然后采用YOLO v3算法获取目标框集合，得到目标车辆的轨迹集。
2.根据权利要求1所述的一种基于视频跟踪的多目标车辆轨迹识别方法，其特征在于：所述步骤2还包括如下步骤:
步骤2.1：网格划分；根据YOLO v3算法将输入图像进行网格划分，划分成S×S个网格；
步骤2.2：确定搜索区域；对帧数Q的视频图像进行全帧检测，搜索区域为视频图像中划分的所有网格；
步骤2.3：候选框预测：结合视频监控下的车辆特征设计一套车辆检测专属的anchor的窗口尺寸，即采用定制的五种长宽比和三种缩放比例的anchor，对步骤2.2中的搜索区域采用多尺度特征图方法进行候选框预测，每个网格会产生15个候选框，得到N个车辆的候选框集合PQ；
步骤2.4：多目标车辆区分,得到N个车辆的目标框集合SQ；采用非极大值抑制的方法对候选框集合内的所有候选框进行处理，从所有候选框中得到当前帧图像中所有车辆的唯一边界框；
步骤2.5：输出目标框集合SQ,SQ中每个车辆用唯一的边界框表示；该边界框由具有6维的向量表示，即(tx,ty,tw,th,tcon,ttra),其中tx、ty为边界框的左上点坐标、tw为边界框的长，th为边界框的宽，tcon为该边界框对应的置信度，ttra为边界框在跟踪区域中的置信度,且ttra＝0，其中tcon的计算公式为其中，BBpre表示各个车辆对应目标框集合SQ中的边界框，BBtru表示各个车辆的真实边界框，area是对面积的求值；
步骤2.6：根据目标框集合SQ得到所有目标车辆的中心点，并以中心点作为轨迹记录点，建立N个车辆的轨迹集L＝{L1,L2,L3，…，LN}。
3.根据权利要求1所述的一种基于视频跟踪的多目标车辆轨迹识别方法，其特征在于：所述步骤3.1还包括如下步骤：
步骤3.1.1：获取候选样本集合：每次跟踪的基样本图像均由步骤2中检测出的多目标车辆的初始化状态确定，通过循环移位矩阵X完成密集采样以获得候选样本集合，然后通过余弦窗来减少由于循环移位造成的边缘噪声，形成的循环矩阵如下：
其中，第一行是经过余弦窗处理的基样本向量转置；
步骤3.1.2：跟踪问题的时域-空域转化：决策函数公式表示为f(z)＝wTz，其中z是候选样本，即下一帧图像中车辆所有的可能位置，w是相关滤波器，将方便求解的岭回归函数应用到滤波器的训练过程中，故w的计算公式为其中λ为控制过度拟合的正则化因子,N为训练样本数量，xi为训练样本，yi为训练样本类别值，对于循环样本中xi赋予满足高斯分布的样本标签yi，根据目标对象距离的远近来赋值[0-1]，越接近目标对象则标签值yi越接近于1，否则接近于0，公式表示为/>其中，μ、σ分别为距离目标对象距离的均值和方差；
步骤3.1.3：在时域下的w求解设计到线性方程的高维求解，计算复杂度，将其转换到空域内计算，其计算公式为其中/>为xi的傅里叶变换向量，/>为向量/>的复共轭，/>为yi的傅里叶变换值，⊙表示代表向量对应元素相乘，在求解w的频域解后通过傅里叶的逆变换重新得到时域解w；
步骤3.1.4：跟踪目标位置预测；引入核技巧将低维空间的X候选样本映射到高维空间进行分类，故在空域下决策函数的公式表示为其中kxz是目标样本X和候选样本Z的核相关性，/>为优化变量矩阵，/>为kxz的傅里叶变换值；将频域计算的f(z)进行傅里叶逆变换，得到时域置信度，在置信度图像中最大置信度即最大响应值，即得到Q帧中N个车辆在第Q+1帧中的响应值，将前五名响应值保存到样本序列CQ+1＝{c1,c2，…，ca，…，cN}中，并将各车辆的最大响应值对应的图像区域添加到预测区域集合KQ+1。
4.根据权利要求1所述的一种基于视频跟踪的多目标车辆轨迹识别方法，其特征在于：所述步骤3.5还包括如下步骤：
步骤3.5.1：候选框预测：结合视频监控下的车辆特征设计一套车辆检测专属的anchor的窗口尺寸，即采用定制的五种长宽比和三种缩放比例的anchor，对预测框集合K′Q+1作为搜索区域，采用多尺度特征图方法进行候选框预测，得到N个车辆的候选框集合PQ+1；
步骤3.5.2：多目标车辆区分,得到帧数Q+1的N个车辆的目标框集合SQ+1；采用非极大值抑制的方法对候选框集合内的所有候选框进行处理，从所有候选框中得到当前帧图像中所有车辆的唯一边界框；
步骤3.5.3：输出目标框集合SQ+1,SQ+1中每个车辆用唯一的边界框表示；该边界框由具有6维的向量表示，即(tx,ty,tw,th,tcon,ttra),其中ttra的计算公式为BBtra表示各车辆通过KCF跟踪算法得到的预测区域集合KQ+1对应的各边界框；
步骤3.5.4：改进的YOLO v3算法中的损失函数计算：损失函数的公式为losstra＝ttra·(lossxy+lossnw+losscon+lossncon)，其中，lossxy为边界框左上角坐标的损失量，lossnw为边界框宽和高的损失量，losscon为边界框包含车辆目标的置信度损失量，lossncon为边界框不包含车辆目标的置信度损失量。
CN201911125301.6A 2019-11-18 2019-11-18 一种基于视频跟踪的多目标车辆轨迹识别方法 Active CN110991272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911125301.6A CN110991272B (zh) 2019-11-18 2019-11-18 一种基于视频跟踪的多目标车辆轨迹识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911125301.6A CN110991272B (zh) 2019-11-18 2019-11-18 一种基于视频跟踪的多目标车辆轨迹识别方法

Publications (2)

Publication Number Publication Date
CN110991272A CN110991272A (zh) 2020-04-10
CN110991272B true CN110991272B (zh) 2023-07-18

Family

ID=70084705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911125301.6A Active CN110991272B (zh) 2019-11-18 2019-11-18 一种基于视频跟踪的多目标车辆轨迹识别方法

Country Status (1)

Country Link
CN (1) CN110991272B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746521B (zh) * 2020-06-29 2022-09-20 芜湖雄狮汽车科技有限公司 泊车路线的规划方法、装置、设备及存储介质
CN111898438A (zh) * 2020-06-29 2020-11-06 北京大学 一种监控场景多目标跟踪方法及系统
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112053556B (zh) * 2020-08-17 2021-09-21 青岛海信网络科技股份有限公司 一种交通监控复眼动态识别交通事故自我进化系统
CN112052802B (zh) * 2020-09-09 2024-02-20 上海工程技术大学 一种基于机器视觉的前方车辆行为识别方法
CN112200101B (zh) * 2020-10-15 2022-10-14 河南省交通规划设计研究院股份有限公司 基于人工智能的面向海事业务的视频监控与分析方法
CN112507906A (zh) * 2020-12-14 2021-03-16 北京澎思科技有限公司 目标跟踪的方法、装置以及计算机可读存储介质
CN112508016B (zh) * 2020-12-15 2024-04-16 深圳万兴软件有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN112734800A (zh) * 2020-12-18 2021-04-30 上海交通大学 一种基于联合检测与表征提取的多目标跟踪系统和方法
CN112929605B (zh) * 2021-01-28 2022-06-24 信阳师范学院 一种顾及语义的ptz摄像机智能巡航方法
CN112784926A (zh) * 2021-02-07 2021-05-11 四川长虹电器股份有限公司 一种手势交互的方法和系统
CN113569702B (zh) * 2021-07-23 2023-10-27 闽江学院 基于深度学习的货车单双胎识别方法
CN113674321B (zh) * 2021-08-25 2024-05-17 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN114299456B (zh) * 2021-12-24 2024-05-31 北京航空航天大学 一种基于实时轨迹检测的交叉口行人过街风险评估方法
CN114596335B (zh) * 2022-03-01 2023-10-31 广东工业大学 一种无人艇目标检测追踪方法及系统
CN115359423A (zh) * 2022-08-18 2022-11-18 中国人民公安大学 基于遥感图像的区域识别方法、装置、设备及存储介质
CN115471773B (zh) * 2022-09-16 2023-09-15 北京联合大学 一种面向智慧教室的学生跟踪方法及系统
CN116993779B (zh) * 2023-08-03 2024-05-14 重庆大学 一种适于监控视频下的车辆目标跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vehicle tracking fusing the prior information of Kalman filter under occlusion conditions;Zhe Li 等;《Springer Nature Switzerland AG 2019》;第1-11页 *
自然环境下柑橘采摘机器人识别定位系统研究;杨长辉;刘艳平;王毅;熊龙烨;许洪斌;赵万华;;农业机械学报(第12期);全文 *

Also Published As

Publication number Publication date
CN110991272A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991272B (zh) 一种基于视频跟踪的多目标车辆轨迹识别方法
CN107481264B (zh) 一种自适应尺度的视频目标跟踪方法
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108647694B (zh) 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN107169994B (zh) 基于多特征融合的相关滤波跟踪方法
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN109035300B (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN111091101B (zh) 基于一步法的高精度行人检测方法、系统、装置
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN108986142A (zh) 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法
CN103985143A (zh) 基于字典学习的视频中判别性在线目标跟踪方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN109255799B (zh) 一种基于空间自适应相关滤波器的目标跟踪方法及系统
CN112784757A (zh) 海上sar舰船目标显著性检测与识别方法
Gad et al. Real-time lane instance segmentation using SegNet and image processing
CN111367901A (zh) 一种船舶数据去噪方法
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法
CN110689559B (zh) 一种基于密集卷积网络特征的视觉目标跟踪方法
CN111161323B (zh) 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant