CN111008997B - 一种车辆检测与跟踪一体化方法 - Google Patents

一种车辆检测与跟踪一体化方法 Download PDF

Info

Publication number
CN111008997B
CN111008997B CN201911308122.6A CN201911308122A CN111008997B CN 111008997 B CN111008997 B CN 111008997B CN 201911308122 A CN201911308122 A CN 201911308122A CN 111008997 B CN111008997 B CN 111008997B
Authority
CN
China
Prior art keywords
tracking
target
window
detection
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911308122.6A
Other languages
English (en)
Other versions
CN111008997A (zh
Inventor
董小舒
朱伟
贺超
王寿峰
章孝承
颜世博
胡金晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart City Research Institute Of China Electronics Technology Group Corp
Nanjing Laisi Electronic Equipment Co ltd
Original Assignee
Smart City Research Institute Of China Electronics Technology Group Corp
Nanjing Laisi Electronic Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart City Research Institute Of China Electronics Technology Group Corp, Nanjing Laisi Electronic Equipment Co ltd filed Critical Smart City Research Institute Of China Electronics Technology Group Corp
Priority to CN201911308122.6A priority Critical patent/CN111008997B/zh
Publication of CN111008997A publication Critical patent/CN111008997A/zh
Application granted granted Critical
Publication of CN111008997B publication Critical patent/CN111008997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种车辆检测与跟踪一体化方法，包括：获取图像并选取图像中的感兴趣区域后，采用支持向量回归方法对感兴趣区域中的车辆目标进行多尺度滑窗检测，获得初始检测结果；依次采用空间位置特征方法、支持向量分类方法和多帧热度方法对初始检测结果进行筛选，获得进一步检测结果，并采用改进的可变尺度核相关滤波算法进行跟踪，获得跟踪结果；在步骤2持续的处理过程中，根据检测结果对已起批的车辆目标进行加权投票，将检测结果与跟踪结果进行融合处理后得到最终检测结果。达到了降低虚警率、提升检测结果稳定性并降低计算量的效果，相对于现有技术，大大提升了车辆检测与跟踪的效率。

Description

一种车辆检测与跟踪一体化方法
技术领域
本发明涉及视频检测领域，尤其涉及一种车辆检测与跟踪一体化方法。
背景技术
人类进入汽车时代时，科学技术就对人类的“出行”进行了新的定义，而随着技术的不断发展与进步，人类对于智能驾驶这一梦想有了新的期待与希冀。对于智能驾驶而言，环境感知技术成为重中之重。车辆是视频环境感知场景中最关键的对象之一，是视频检测永恒的话题。车辆检测与跟踪算法是智能辅助驾驶系统的重点，是也是当前智能驾驶领域的研究热点。实时、准确、鲁棒的检测与跟踪算法能够使智能驾驶车实现有效的防偏、防撞、预警和控制。
目前，车辆检测算法主要分为传统机器学习方法及深度学习方法两类。第一方面，传统机器学习车辆检测方法主要有结合方向梯度直方图(Histogram of OrientedGradient，HOG)算法和支持向量机(Support Vector Machine，SVM)方法、结合类哈尔特征(Haar-like)和级联分类器方法等方法，这些传统机器学习方法各有优点，但总体上具有虚警率较高，检测鲁棒性不足等缺点。第二方面，深度学习车辆检测方法主要有YOLO(YouOnly Look Once)，即一种一步走(one-stage)深度学习目标检测算法系列、SSD(SingleShot MultiBox Detector)，即一种使用单个深层神经网络目标检测算法系列等，其检测准确性较高，但算法实时性较低，且算法所需大量计算资源，对硬件要求较高，使得应用成本大幅增加。
发明内容
本发明提供了一种车辆检测与跟踪一体化方法，以解决现有的车辆检测算法中通过传统机器学习方法或者深度学习方法进行车辆检测时，产生车辆检测的虚警率较高以及检测鲁棒性不足，或者实时性较差且应用成本较高的问题。
一种车辆检测与跟踪一体化方法，包括以下步骤：
步骤1，获取图像并选取所述图像中的感兴趣区域后，采用支持向量回归方法对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，获得初始检测结果；
步骤2，依次采用空间位置特征方法、支持向量分类方法和多帧热度方法对所述初始检测结果进行筛选，获得进一步检测结果；
步骤3，对所述进一步检测结果采用改进的可变尺度核相关滤波算法进行跟踪，获得跟踪结果；
步骤4，在所述步骤2持续的处理过程中，根据检测结果对已起批的车辆目标进行加权投票，所述检测结果通过空间位置特征方法和支持向量分类方法获得，将所述检测结果与跟踪结果进行融合处理，得到最终检测结果。
进一步地，在一种实现方式中，所述步骤1包括：
获取图像并根据场景及应用需要选取感兴趣区域后，采用支持向量回归方法对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，所述支持向量回归方法中的支持向量回归器由预先训练获得；
所述支持向量回归器的预先训练包括：
预先采集大量多种类型车辆目标的正视图和后视图作为正样本，预先采集大量多种道路环境的非车辆场景作为负样本，分别对所述正样本和负样本采用方向梯度直方图算法提取特征向量；
对于尺度为640×480像素的感兴趣区域，取样本大小为32×32像素，即样本边长L＝32像素的正方形，所述样本包括正样本和负样本，取方向梯度直方图参数中block值为8像素，cell值为2像素，采用bin值为9，进行特征计算，获得特征向量；
按照1:3的比例配置正样本和负样本，采用线性支持向量机方法训练回归器和分类器；其中，采用线性支持向量回归方法训练回归器，获得支持向量回归器，采用线性支持向量分类方法训练分类器，获得支持向量分类器；
对于宽度w为640像素，高度h为480像素，大小640×480像素的感兴趣区域，采用预先训练好的所述支持向量回归器，按步长8为像素对感兴趣区域进行滑窗检测；采用多尺度滑窗检测，尺度迭代倍率为s＝1.2；每次滑窗检测完成后，按照所述尺度迭代倍率将感兴趣区域整体缩小，再次进行滑窗检测，多次迭代直到所述感兴趣区域的高度h小于样本边长L。
进一步地，在一种实现方式中，所述步骤2包括：
步骤2.1，进行位置特征筛选：所述感兴趣区域包括下部的地面部分和上部的天空部分，将完全处于下部或完全处于上部的车辆目标认定为虚警并滤除，得到第一筛选结果R1；
步骤2.2，进行支持向量分类方法筛选：采用训练得到的所述支持向量分类器对第一筛选结果R1进行目标筛选，得到第二筛选结果R2，所述第二筛选结果R2中每个目标窗口均包含窗口位置和支持向量分类得分；
步骤2.3，采用非极大值抑制方法进行候选区域合并：若两个目标窗口交并比大于0.2，认为所述两个目标窗口相交；选取局部相交窗口最多的目标窗口作为局部非极大值抑制的基准窗口，若有两个相交的目标窗口拥有相同的相交窗口数量，取其中支持向量分类得分高的一个目标窗口作为非极大值抑制的基准窗口；计算所述基准窗口及与之相交窗口的平均尺寸，所述平均尺寸即平均边长La，在边长L’与平均边长La接近，即L’≥0.7*La且L’≤1.3*La的目标窗口中，选取置支持向量分类得分最高的目标窗口记作合并结果R3；
步骤2.4，进行多帧热度方法进行筛选：若连续5帧中，有3帧在近似位置检测到近似尺寸大小的目标，则通过热度筛选，其中，采用交并比作为位置或尺寸大小近似的依据，当作为比较的2帧中，目标窗口交并比大于0.5，则确认所述2帧的位置或尺寸近似，即确认所述目标窗口在前后帧中关联；若通过多帧热度筛选，则取所述连续5帧中的最后一帧窗口位置，作为第三筛选结果R4。
进一步地，在一种实现方式中，所述步骤3包括：
将所述第三检测结果R4进行跟踪：跟踪起批后，采用可变尺度核相关滤波算法计算所述第三筛选结果R4中各个目标跟踪窗口的跟踪得分，其中，跟踪特征选择fHOG特征；
分别对各个跟踪窗口的原始尺寸、1.05倍尺寸及0.95倍尺寸计算跟踪得分s0、s1、s2，取每个目标得分最高值的跟踪窗口用于下一帧跟踪，可变尺度目标跟踪窗口记作R5。
进一步地，在一种实现方式中，所述步骤4，包括：
建立投票历史资源池，用于投票记录；
自起批后第一帧开始，由第二筛选结果R2对任一个目标跟踪窗口T0进行投票；若所述第二筛选结果R2中有一个目标检测窗口D0中心位置落在任一个目标跟踪窗口T0范围内，则计所述目标跟踪窗口T0得1票；若所述第二筛选结果R2中有m个目标检测窗口D0中心位置落在任一个目标跟踪窗口T0范围内，则计所述目标跟踪窗口T0得m票；所述投票资源池上限为50帧，即最多考虑由当前目标跟踪窗口向前50帧的投票历史；
若当前目标跟踪窗口已持续n帧，n≤50，则所述当前目标跟踪窗口的投票得分
Figure BDA0002323720160000041
其中，mj为当前目标跟踪窗口向前第j帧的投票得票数，通过所述投票历史资源池，将所述检测结果与跟踪结果进行融合处理；
其中，设置跟踪得分的高阈值Nhigh＝0.6、跟踪得分的低阈值Nlow＝0.4，
若任一所述目标跟踪窗口在起批后第i帧跟踪得分si>0.6，确认所述目标跟踪窗口的跟踪得分较高，则通过所述投票历史资源池进行如下负融合处理：
设置负融合阈值
Figure BDA0002323720160000042
若所述目标跟踪窗口在起批后第i帧投票得分
Figure BDA0002323720160000043
则保持跟踪；若所述目标跟踪窗口在起批后第i帧投票得分
Figure BDA0002323720160000044
则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
若任一所述目标跟踪窗口在起批后第i帧跟踪得分0.4<si≤0.6，确认所述目标跟踪窗口的跟踪得分较低，则通过所述投票历史资源池进行如下正融合处理：
设置正融合阈值Npos＝i，若所述目标跟踪窗口在起批后第i帧投票得分scorei≥i，则认为所述目标跟踪窗口内的车辆目标为真实目标，仍持续进行跟踪；若所述目标跟踪窗口在起批后第i帧投票得分scorei<i，则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
若某目标跟踪窗口在起批后第i帧跟踪得分si<0.4，跟踪得分过低，则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
经过融合处理后仍保持跟踪的目标则为最终处理结果，输出所述最终处理结果，进入下一帧的运算。
由以上技术方案可知，本发明实施例提供一种车辆检测与跟踪一体化方法，包括：步骤1，获取图像并选取所述图像中的感兴趣区域后，采用支持向量回归方法对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，获得初始检测结果；步骤2，依次采用空间位置特征方法、支持向量分类方法和多帧热度方法对所述初始检测结果进行筛选，获得进一步检测结果；步骤3，对所述进一步检测结果采用改进的可变尺度核相关滤波算法进行跟踪，获得跟踪结果；步骤4，在所述步骤2持续的处理过程中，根据检测结果对已起批的车辆目标进行加权投票，所述检测结果通过空间位置特征方法和支持向量分类方法获得，将所述检测结果与跟踪结果进行融合处理，得到最终检测结果。
现有技术中，车辆目标检测算法虚警率高、检测结果不稳定，且基于深度学习检测方法有计算量大，对硬件要求高的缺点。而采用前述方法，解决了现有技术中虚警率高、检测结果不稳定，且计算量大的问题，达到了降低虚警率、提升检测结果稳定性并降低计算量的效果，因此相对于现有技术，大大提升了车辆检测与跟踪的效率。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的一种车辆检测与跟踪一体化方法的工作流程示意图；
图2是本发明实施例部分提供的一种车辆检测与跟踪一体化方法中检测与跟踪融合处理的工作流程示意图；
图3是本发明实施例部分提供的一种车辆检测与跟踪一体化方法的检测结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开一种车辆检测与跟踪一体化方法，本方法应用于车载辅助驾驶系统。本方法可基于嵌入式平台运行，能够实现快速的车辆目标检测与跟踪，能够为前向防碰撞预警功能提供技术支撑。
如图1所示，本实施例所述的一种车辆检测与跟踪一体化方法，包括以下步骤：
步骤1，获取图像并选取所述图像中的感兴趣区域后，采用支持向量回归方法(Support Vector Regression，SVR)对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，获得初始检测结果；
步骤2，依次采用空间位置特征方法、支持向量分类(Support VectorClassification，SVC)方法和多帧热度方法对所述初始检测结果进行筛选，获得进一步检测结果；
步骤3，对所述进一步检测结果采用改进的可变尺度核相关滤波(KernelCorrelation Filter，KCF)算法进行跟踪，获得跟踪结果；
步骤4，在所述步骤2持续的处理过程中，根据检测结果对已起批的车辆目标进行加权投票，所述检测结果通过空间位置特征方法和支持向量分类方法获得，将所述检测结果与跟踪结果进行融合处理，得到最终检测结果。
本实施例所述的一种车辆检测与跟踪一体化方法中，所述步骤1包括：
获取图像并根据场景及应用需要选取感兴趣区域后，采用支持向量回归方法对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，所述支持向量回归方法中的支持向量回归器由预先训练获得；
所述支持向量回归器的预先训练包括：
预先采集大量多种类型车辆目标的正视图和后视图作为正样本，预先采集大量多种道路环境的非车辆场景作为负样本，分别对所述正样本和负样本采用方向梯度直方图算法提取特征向量；
对于尺度为640×480像素的感兴趣区域，取样本大小为32×32像素，即样本边长L＝32像素的正方形，所述样本包括正样本和负样本，取方向梯度直方图参数中block值为8像素，cell值为2像素，采用bin值为9，进行特征计算，获得特征向量；
按照1:3的比例配置正样本和负样本，采用线性支持向量机方法训练回归器和分类器；其中，采用线性支持向量回归方法训练回归器，获得支持向量回归器，采用线性支持向量分类方法训练分类器，获得支持向量分类器；
对于宽度w为640像素，高度h为480像素，大小640×480像素的感兴趣区域，采用预先训练好的所述支持向量回归器，按步长8为像素对感兴趣区域进行滑窗检测；采用多尺度滑窗检测，尺度迭代倍率为s＝1.2；每次滑窗检测完成后，按照所述尺度迭代倍率将感兴趣区域整体缩小，再次进行滑窗检测，多次迭代直到所述感兴趣区域的高度h小于样本边长L。
本实施例所述的一种车辆检测与跟踪一体化方法中，所述步骤2包括：
步骤2.1，进行位置特征筛选：所述感兴趣区域包括下部的地面部分和上部的天空部分，将完全处于下部或完全处于上部的车辆目标认定为虚警并滤除，得到第一筛选结果R1；
步骤2.2，进行支持向量分类方法筛选：采用训练得到的所述支持向量分类器对第一筛选结果R1进行目标筛选，得到第二筛选结果R2，所述第二筛选结果R2中每个目标窗口均包含窗口位置和支持向量分类得分；
步骤2.3，采用非极大值抑制(Non-Maximum Suppression，NMS)方法进行候选区域合并：若两个目标窗口交并比大于0.2，认为所述两个目标窗口相交；选取局部相交窗口最多的目标窗口作为局部非极大值抑制的基准窗口，若有两个相交的目标窗口拥有相同的相交窗口数量，取其中支持向量分类得分高的一个目标窗口作为非极大值抑制的基准窗口；计算所述基准窗口及与之相交窗口的平均尺寸，所述平均尺寸即平均边长La，在边长L’与平均边长La接近，即L’≥0.7*La且L’≤1.3*La的目标窗口中，选取置支持向量分类得分最高的目标窗口记作合并结果R3；
步骤2.4，进行多帧热度方法进行筛选：若连续5帧中，有3帧在近似位置检测到近似尺寸大小的目标，则通过热度筛选，其中，采用交并比(Intersection over Union，IoU)作为位置或尺寸大小近似的依据，当作为比较的2帧中，目标窗口交并比大于0.5，则确认所述2帧的位置或尺寸近似，即确认所述目标窗口在前后帧中关联；若通过多帧热度筛选，则取所述连续5帧中的最后一帧窗口位置，作为第三筛选结果R4。
本实施例所述的一种车辆检测与跟踪一体化方法中，所述步骤3包括：将所述第三检测结果R4进行跟踪：跟踪起批后，采用可变尺度核相关滤波算法计算所述第三筛选结果R4中各个目标跟踪窗口的跟踪得分，其中，跟踪特征选择fHOG特征(Felzenszwalb Histogramof Oriented Gradient)，是一种降维的方向梯度直方图算法；
分别对各个跟踪窗口的原始尺寸、1.05倍尺寸及0.95倍尺寸计算跟踪得分s0、s1、s2，取每个目标得分最高值的跟踪窗口用于下一帧跟踪，可变尺度目标跟踪窗口记作R5。
本实施例所述的一种车辆检测与跟踪一体化方法中，所述步骤4包括：
如图2所示，建立投票历史资源池，用于投票记录；
自起批后第一帧开始，由第二筛选结果R2对任一个目标跟踪窗口T0进行投票；若所述第二筛选结果R2中有一个目标检测窗口D0中心位置落在任一个目标跟踪窗口T0范围内，则计所述目标跟踪窗口T0得1票；若所述第二筛选结果R2中有m个目标检测窗口D0中心位置落在任一个目标跟踪窗口T0范围内，则计所述目标跟踪窗口T0得m票；所述投票资源池上限为50帧，即最多考虑由当前目标跟踪窗口向前50帧的投票历史；
若当前目标跟踪窗口已持续n帧，n≤50，则所述当前目标跟踪窗口的投票得分
Figure BDA0002323720160000081
其中，mj为当前目标跟踪窗口向前第j帧的投票得票数，通过所述投票历史资源池，将所述检测结果与跟踪结果进行融合处理；
其中，设置跟踪得分的高阈值Nhigh＝0.6、跟踪得分的低阈值Nlow＝0.4，
若任一所述目标跟踪窗口在起批后第i帧跟踪得分si>0.6，确认所述目标跟踪窗口的跟踪得分较高，则通过所述投票历史资源池进行如下负融合处理：
设置负融合阈值
Figure BDA0002323720160000082
若所述目标跟踪窗口在起批后第i帧投票得分
Figure BDA0002323720160000083
则保持跟踪；若所述目标跟踪窗口在起批后第i帧投票得分
Figure BDA0002323720160000084
则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
若任一所述目标跟踪窗口在起批后第i帧跟踪得分0.4<si≤0.6，确认所述目标跟踪窗口的跟踪得分较低，则通过所述投票历史资源池进行如下正融合处理：
设置正融合阈值Npos＝i，若所述目标跟踪窗口在起批后第i帧投票得分scorei≥i，则认为所述目标跟踪窗口内的车辆目标为真实目标，仍持续进行跟踪；若所述目标跟踪窗口在起批后第i帧投票得分scorei<i，则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
若某目标跟踪窗口在起批后第i帧跟踪得分si<0.4，跟踪得分过低，则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
经过融合处理后仍保持跟踪的目标则为最终处理结果，输出所述最终处理结果，进入下一帧的运算。
具体的，本实施例中，仿真试验的硬件环境为NVIDIATX2，配置ARMv8架构处理器，8GB内存。软件环境为Qt5。
在仿真试验中，采用行车环境前向拍摄视频。视频分辨率为1920×1080像素，格式为avi。采用本发明方法对视频进行处理，车辆目标检测正确率≥90％，视频处理帧率≥25fps。车辆目标检测性能与速度都很好。
在仿真试验中，根据道路场景，选取中心位置的640×480像素大小区域作为感兴趣区域。采用预先训练好的SVR回归器对感兴趣区域进行多尺度滑窗检测，然后采用空间位置特征方法、SVC方法以及多帧热度方法对滑窗检测结果进行筛选。对于满足所有筛选的目标窗口，采用多尺度KCF算法进行跟踪起批。起批以后，依然执行滑窗检测及多特征筛选的计算，并用空间位置特征方法、SVC方法筛选的检测结果对跟踪窗口进行投票。如图3所示，已形成投票验证后的稳定检测跟踪结果。
由以上技术方案可知，本发明实施例提供一种车辆检测与跟踪一体化方法，包括：步骤1，获取图像并选取所述图像中的感兴趣区域后，采用支持向量回归方法对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，获得初始检测结果；步骤2，依次采用空间位置特征方法、支持向量分类方法和多帧热度方法对所述初始检测结果进行筛选，获得进一步检测结果；步骤3，对所述进一步检测结果采用改进的可变尺度核相关滤波算法进行跟踪，获得跟踪结果；步骤4，在所述步骤2持续的处理过程中，根据检测结果对已起批的车辆目标进行加权投票，所述检测结果通过空间位置特征方法和支持向量分类方法获得，将所述检测结果与跟踪结果进行融合处理，得到最终检测结果。
现有技术中，车辆目标检测算法虚警率高、检测结果不稳定，且基于深度学习检测方法计算量大，对硬件要求高的缺点。而采用前述方法，解决了现有技术中虚警率高、检测结果不稳定，且计算量大的问题，达到了降低虚警率、提升检测结果稳定性并降低计算量的效果，因此相对于现有技术，大大提升了车辆检测与跟踪的效率。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种车辆检测与跟踪一体化方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (1)

1.一种车辆检测与跟踪一体化方法，其特征在于，包括以下步骤：
步骤1，获取图像并选取所述图像中的感兴趣区域后，采用支持向量回归方法对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，获得初始检测结果；
步骤2，依次采用空间位置特征方法、支持向量分类方法和多帧热度方法对所述初始检测结果进行筛选，获得进一步检测结果；
步骤3，对所述进一步检测结果采用改进的可变尺度核相关滤波算法进行跟踪，获得跟踪结果；
步骤4，在所述步骤2持续的处理过程中，根据检测结果对已起批的车辆目标进行加权投票，所述检测结果通过空间位置特征方法和支持向量分类方法获得，将所述检测结果与跟踪结果进行融合处理，得到最终检测结果；
所述步骤1包括：
获取图像并根据场景及应用需要选取感兴趣区域后，采用支持向量回归方法对所述感兴趣区域中的车辆目标进行多尺度滑窗检测，所述支持向量回归方法中的支持向量回归器由预先训练获得；
所述支持向量回归器的预先训练包括：
预先采集大量多种类型车辆目标的正视图和后视图作为正样本，预先采集大量多种道路环境的非车辆场景作为负样本，分别对所述正样本和负样本采用方向梯度直方图算法提取特征向量；
对于尺度为640×480像素的感兴趣区域，取样本大小为32×32像素，即样本边长L＝32像素的正方形，所述样本包括正样本和负样本，取方向梯度直方图参数中block值为8像素，cell值为2像素，采用bin值为9，进行特征计算，获得特征向量；
按照1:3的比例配置正样本和负样本，采用线性支持向量机方法训练回归器和分类器；其中，采用线性支持向量回归方法训练回归器，获得支持向量回归器，采用线性支持向量分类方法训练分类器，获得支持向量分类器；
对于宽度w为640像素，高度h为480像素，大小640×480像素的感兴趣区域，采用预先训练好的所述支持向量回归器，按步长8为像素对感兴趣区域进行滑窗检测；采用多尺度滑窗检测，尺度迭代倍率为s＝1.2；每次滑窗检测完成后，按照所述尺度迭代倍率将感兴趣区域整体缩小，再次进行滑窗检测，多次迭代直到所述感兴趣区域的高度h小于样本边长L；
所述步骤2包括：
步骤2.1，进行位置特征筛选：所述感兴趣区域包括下部的地面部分和上部的天空部分，将完全处于下部或完全处于上部的车辆目标认定为虚警并滤除，得到第一筛选结果R1；
步骤2.2，进行支持向量分类方法筛选：采用训练得到的所述支持向量分类器对第一筛选结果R1进行目标筛选，得到第二筛选结果R2，所述第二筛选结果R2中每个目标窗口均包含窗口位置和支持向量分类得分；
步骤2.3，采用非极大值抑制方法进行候选区域合并：若两个目标窗口交并比大于0.2，认为所述两个目标窗口相交；选取局部相交窗口最多的目标窗口作为局部非极大值抑制的基准窗口，若有两个相交的目标窗口拥有相同的相交窗口数量，取其中支持向量分类得分高的一个目标窗口作为非极大值抑制的基准窗口；计算所述基准窗口及与之相交窗口的平均尺寸，所述平均尺寸即平均边长La，在边长L’与平均边长La接近，即L’≥0.7*La且L’≤1.3*La的目标窗口中，选取置支持向量分类得分最高的目标窗口记作合并结果R3；
步骤2.4，进行多帧热度方法进行筛选：若连续5帧中，有3帧在近似位置检测到近似尺寸大小的目标，则通过热度筛选，其中，采用交并比作为位置或尺寸大小近似的依据，当作为比较的2帧中，目标窗口交并比大于0.5，则确认所述2帧的位置或尺寸近似，即确认所述目标窗口在前后帧中关联；若通过多帧热度筛选，则取所述连续5帧中的最后一帧窗口位置，作为第三筛选结果R4；
所述步骤3包括：
将所述第三筛选结果R4进行跟踪：跟踪起批后，采用可变尺度核相关滤波算法计算所述第三筛选结果R4中各个目标跟踪窗口的跟踪得分，其中，跟踪特征选择fHOG特征；
分别对各个跟踪窗口的原始尺寸、1.05倍尺寸及0.95倍尺寸计算跟踪得分s0、s1、s2，取每个目标得分最高值的跟踪窗口用于下一帧跟踪，可变尺度目标跟踪窗口记作R5；
所述步骤4包括：
建立投票历史资源池，用于投票记录；
自起批后第一帧开始，由第二筛选结果R2对任一个目标跟踪窗口T0进行投票；若所述第二筛选结果R2中有一个目标检测窗口D0中心位置落在任一个目标跟踪窗口T0范围内，则计所述目标跟踪窗口T0得1票；若所述第二筛选结果R2中有m个目标检测窗口D0中心位置落在任一个目标跟踪窗口T0范围内，则计所述目标跟踪窗口T0得m票；所述投票资源池上限为50帧，即最多考虑由当前目标跟踪窗口向前50帧的投票历史；
若当前目标跟踪窗口已持续n帧，n≤50，则所述当前目标跟踪窗口的投票得分
Figure FDA0004056146520000031
其中，mj为当前目标跟踪窗口向前第j帧的投票得票数，通过所述投票历史资源池，将所述检测结果与跟踪结果进行融合处理；
其中，设置跟踪得分的高阈值Nhigh＝0.6、跟踪得分的低阈值Nlow＝0.4，
若任一所述目标跟踪窗口在起批后第i帧跟踪得分si>0.6，确认所述目标跟踪窗口的跟踪得分较高，则通过所述投票历史资源池进行如下负融合处理：
设置负融合阈值
Figure FDA0004056146520000032
若所述目标跟踪窗口在起批后第i帧投票得分
Figure FDA0004056146520000033
则保持跟踪；若所述目标跟踪窗口在起批后第i帧投票得分
Figure FDA0004056146520000034
则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
若任一所述目标跟踪窗口在起批后第i帧跟踪得分0.4<si≤0.6，确认所述目标跟踪窗口的跟踪得分较低，则通过所述投票历史资源池进行如下正融合处理：
设置正融合阈值Npos＝i，若所述目标跟踪窗口在起批后第i帧投票得分scorei≥i，则认为所述目标跟踪窗口内的车辆目标为真实目标，仍持续进行跟踪；若所述目标跟踪窗口在起批后第i帧投票得分scorei<i，则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
若某目标跟踪窗口在起批后第i帧跟踪得分si<0.4，跟踪得分过低，则放弃跟踪，并清空所述目标跟踪窗口及对应的投票历史资源池；
经过融合处理后仍保持跟踪的目标则为最终处理结果，输出所述最终处理结果，进入下一帧的运算。
CN201911308122.6A 2019-12-18 2019-12-18 一种车辆检测与跟踪一体化方法 Active CN111008997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911308122.6A CN111008997B (zh) 2019-12-18 2019-12-18 一种车辆检测与跟踪一体化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911308122.6A CN111008997B (zh) 2019-12-18 2019-12-18 一种车辆检测与跟踪一体化方法

Publications (2)

Publication Number Publication Date
CN111008997A CN111008997A (zh) 2020-04-14
CN111008997B true CN111008997B (zh) 2023-04-07

Family

ID=70115871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911308122.6A Active CN111008997B (zh) 2019-12-18 2019-12-18 一种车辆检测与跟踪一体化方法

Country Status (1)

Country Link
CN (1) CN111008997B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012203B (zh) * 2021-04-15 2023-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
CN107463890B (zh) * 2017-07-20 2019-11-29 浙江零跑科技有限公司 一种基于单目前视相机的前车检测与跟踪方法
CN107704833A (zh) * 2017-10-13 2018-02-16 杭州电子科技大学 一种基于机器学习的前方车辆检测与跟踪方法
CN109376572B (zh) * 2018-08-09 2022-05-03 同济大学 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法

Also Published As

Publication number Publication date
CN111008997A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
Dong et al. A lightweight vehicles detection network model based on YOLOv5
Molina-Cabello et al. Vehicle type detection by ensembles of convolutional neural networks operating on super resolved images
CN109146921B (zh) 一种基于深度学习的行人目标跟踪方法
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112132156A (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN111695514B (zh) 一种基于深度学习的雾天下车辆检测方法
US20080025568A1 (en) System and method for detecting still objects in images
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
WO2023207742A1 (zh) 一种交通异常行为检测方法与系统
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
Xing et al. Traffic sign recognition using guided image filtering
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN117152414A (zh) 一种基于尺度注意力辅助学习方法的目标检测方法及系统
Peng et al. Vehicle classification using sparse coding and spatial pyramid matching
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN111008997B (zh) 一种车辆检测与跟踪一体化方法
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
Lee et al. An intelligent driving assistance system based on lightweight deep learning models
Haselhoff et al. Radar-vision fusion for vehicle detection by means of improved haar-like feature and adaboost approach
Geng et al. Multiple vehicle detection with different scales in urban surveillance video
Li et al. SKRWM based descriptor for pedestrian detection in thermal images
CN113706580B (zh) 一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质
Lin et al. Stop line detection and distance measurement for road intersection based on deep learning neural network
CN106909936B (zh) 一种基于双车辆可变形部件模型的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant