CN107506753B - 一种面向动态视频监控的多车辆跟踪方法 - Google Patents

一种面向动态视频监控的多车辆跟踪方法 Download PDF

Info

Publication number
CN107506753B
CN107506753B CN201710845857.7A CN201710845857A CN107506753B CN 107506753 B CN107506753 B CN 107506753B CN 201710845857 A CN201710845857 A CN 201710845857A CN 107506753 B CN107506753 B CN 107506753B
Authority
CN
China
Prior art keywords
tracking
target
image
result
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710845857.7A
Other languages
English (en)
Other versions
CN107506753A (zh
Inventor
任柯燕
陈鑫
张淳
侯义斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201710845857.7A priority Critical patent/CN107506753B/zh
Publication of CN107506753A publication Critical patent/CN107506753A/zh
Application granted granted Critical
Publication of CN107506753B publication Critical patent/CN107506753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种面向动态视频监控多车辆跟踪方法，对于车辆的跟踪基于检测结果，并同时对检测出的多个目标车辆进行跟踪。包括：加载一段视频的图像序列；根据图像序列的第一张图像进行车辆识别；根据识别结果，保存所有目标在图像中的位置信息；根据保存的目标位置信息，对所有目标在视频中进行跟踪；接着通过识别对在跟踪过程中对跟踪结果进行调整。本发明的方法不仅在正常环境下可以实现理想的跟踪结果，在视频信息模糊，光照不足等恶劣的环境下，例如夜间拍环境下摄出的视频像素低，图像模糊、不清晰的情况，依然可以得到理想的跟踪结果。主要解决了目前车辆跟踪领域速度与准确率无法同时达到的问题。

Description

一种面向动态视频监控的多车辆跟踪方法
技术领域：
本发明属于车辆识别与跟踪领域，尤其涉及一种面向动态视频监控的多个车辆跟踪方法。
背景技术：
近年来随着计算机视觉和图像处理技术的飞速发展，并在智能交通、无人驾驶、侦察巡检、搜索营救、战场目标识别与拦截、…等民用、警用、军用领域发挥着重要作用，为人类的生活带来了巨大的改变。车辆识别与跟踪技术，对车辆识别、车辆行驶监控、车辆行驶路线监控与预测、车辆行驶速度监控等方面，有着重大的实用价值与意义。尤其是在发生交通事故后，监视影像是还原现场的一个重要的工具。
但就目前车辆跟踪系统来说，一方面大多数的跟踪方法是由人工在第一帧确定跟踪目标进行标记，采用一定的跟踪模型进行滤波计算，从而对该目标进行跟踪，并且一次只能对一个目标进行跟踪。另一方面，以检测为基础的跟踪由于检测算法的速度很难提升，导致跟踪无法做到实时处理，而不以检测为基础的跟踪只能根据对第一帧画面的目标标记来进行跟踪，对跟踪过程中的目标处理不够灵活。并且目前的大多跟踪方法在复杂环境下的检测与跟踪并不是十分理想，但在这些场景中，由于视点变化、场景变化、旧的目标不断离开视野新的目标进入视野，动态监控系统面临诸多挑战。由于视频采集平台稳定性不确定采集设备晃动造成的图像模糊、目标姿态多样、严重的遮挡、不同的光线条件目标表征差异、很小的类内类差、严重的形变、图像噪声严重等等，现有的目标检测与跟踪算法在动态视频监控多目标实时检测与跟踪方面，仅能做到目标稀少、目标相隔一定距离时较稳定的检测与跟踪。而在上述复杂环境中，往往会导致视频画面不清晰，在这种模糊的情况下对目标的跟踪来说比较困难，会导致跟踪结果出现错误。
发明内容：
本发明的目的在于提供一种面向动态视频监控的多个车辆跟踪方法，其旨在解决目前多车辆跟踪方面存在的准确率，灵活性与实时跟踪无法共同实现的问题，并同时解决了夜间模糊环境下跟踪结果不准确的问题。
本发明的特征在于对于车辆的跟踪基于检测结果，并同时对检测出的多个车辆进行跟踪。
本发明意在实现根据检测结果进行跟踪，而不是手动从视频第一帧的图像中选取需要跟踪的目标，将视频第一帧图像进行车辆识别，对识别出的所有目标车辆进行下一步跟踪操作。跟踪的方法不仅在正常环境下可以实现理想的跟踪结果，在视频信息模糊，光照不足等恶劣的环境下，例如夜间拍环境下摄出的视频像素低，图像模糊、不清晰的情况，依然可以得到理想的跟踪结果。
为了达到上述目的，本发明采用的技术方案如下：
一种面向动态视频监控的多个车辆跟踪方法的多个车辆的跟踪方法，分为两个部分，其中第一部分包括以下步骤：
步骤(1)加载一段视频的图像序列；
步骤(2)根据图像序列的第一张图像进行车辆识别检测；
本发明的车辆识别方法采用深度神经网络。使用神经网络训练出来对车辆识别的正确率高，并可应用与多种复杂环境，解决了夜间模糊等状态下对车辆的识别问题。由于神经网络的检测速度慢，为了解决该问题并将其应用到实时跟踪中，本发明提出了一种面向动态视频监控的多个车辆跟踪方法。
运用深度神经网络用于车辆检测，类比多种检测方法，最后选定使用tiny-YOLO作为检测算法，其优点在于提高了检测速度的同时，检测准确率相比更耗时的算法没有太大的差距。在训练数据上，我们选择符合应用场景的图片进行训练，以提高检测准确率。即不同路上行驶中的车辆的图片。选取训练样本的20％的数据作为测试样本，以测试网络的准确性。检测网络训练结束既可应用于跟踪中。
步骤(3)对检测结果进行筛选：
由于视频场景中可能存在目标很小、大部分车体不在视野范围等情况，本发明在车辆识别算法中增加了对初步检测结果进行筛选。面积过小、距离过远的目标认为该目标可忽略，不对其做跟踪操作。
步骤(4)根据检测结果，保存所有检测出的目标在图像中的位置信息(x,y,w,h)；
x为该目标的标记框左上角的坐标x值；y为该目标编辑框左上角的坐标y值；w为该目标标记框的宽度值；h为该目标标记框的高度值。
根据这四个值可以唯一的确定一个矩形，即为检测结果的标记框位置信息。
步骤(5)根据保存的目标位置信息，进行目标跟踪；
本发明的车辆跟踪方法采用基于相关滤波的物体跟踪算法，其优点在于速度快，可用于实时跟踪。
第二部分包括以下步骤：
步骤(1)重复第一部分中的步骤(2)对图像序列的第i张进行车辆识别检测；
步骤(2)重复第一部分中的步骤(3)对当前帧图像的检测结果进行筛选；
步骤(3)对比当前帧筛选后的目标位置信息与当前帧跟踪结果的目标位置信息，更新跟踪目标与样本集：
只根据第一帧图像进行跟踪，一方面由于跟踪过程中会有新的目标出现在视野范围内，将会忽略出现在视野范围内的新的车辆目标。另一方面，随着视频图像序列的推进，由于各种原因，跟踪结果可能会出现预料外的误差。为了解决上述问题，本发明在跟踪的过程中间断的插入车辆识别。实时将跟踪结果与检测结果进行对比，加入新的跟踪目标、并对跟踪结果进行矫正。
步骤(4)重复步骤(1)--步骤(3)直到对视频图像序列分析结束。
本发明提供的一种基于检测的适用于夜间模糊情况下车辆跟踪的方法，通过加载视频图像序列；对第一帧图像进行车辆识别并筛选识别结果；根据识别结果对多个车辆目标进行跟踪；对第i帧图像进行识别并筛选结果；根据识别结果加入新的跟踪目标，并纠正跟踪结果，比现有技术中的跟踪方法速度更快，跟踪结果更准确，在夜间模糊状态下也可以得到很好的跟踪结果，适用于更多复杂的环境。
附图说明：
图1为基于检测的车辆跟踪方法的流程图；
图2为对比检测结果与跟踪结果流程图；
图3为跟踪结果示意图。
具体实施方式：
如图1所示，本发明提供一种基于检测的车辆跟踪方法，具体为加载视频图像序列；对第一帧图像进行车辆识别并筛选识别结果；根据识别结果对多个车辆目标进行跟踪；对第i帧图像进行识别并筛选结果；根据识别结果加入新的跟踪目标，并纠正跟踪结果，直到视频序列分析完毕。
对于识别结果的筛选：由于视频环境的多样性，背景环境中可能存在与目标为同类，但不是跟踪目标的物体，例如：对路上行驶的车辆进行跟踪时，视频可见范围内，远处可能存在正在行驶但不是跟踪范围的车辆。为了解决这种问题，本发明在对图像检测得到初步目标结果后，对检测结果进行筛选，将目标标记框大小小于图像大小1％的目标，视为可忽略的目标，认为该目标距离摄像设备过远，不对其做跟踪处理。该筛选锁设定的阈值可根据不同的应用情况而设定不同的值。如图3所示，图像边缘有停靠在路边的静止车辆，可以看出有体积过于小的车辆在检测的时候被忽视。
检测结果得到的目标信息为(x,y,w,h)，分别为该目标标记框的左上角坐标x，y值以及标记框的宽度和高度。根据这四个信息可以唯一的确定一个矩形，即为该目标的标记框位置信息。该位置信息用于跟踪与误差判断。
由于基于检测算法的跟踪，需要大量的模型用来将相邻的两帧图像中相同的目标关联，这是目前基于检测的跟踪算法在速度性能上无法达到实时跟踪要求的原因所在。因此在本发明中为了满足实时跟踪的要求，在跟踪的部分使用的是相关滤波。在当前帧，用检测算法得出的识别结果与跟踪算法得出的结果做对比，大大减少了为了解决上述问题所花费的时间。以此类推，直到视频序列分析完毕。
对比检测结果与跟踪结果的流程图如图2所示。
对于在跟踪过程中新出现的目标来说，我们认为，目标无法凭空出现在图像中间，当出现新的目标，该目标一定是从图像的四周边缘开始逐渐进入画面，因此，在对比跟踪结果与检测结果时，根据目标标记框进行对比，将检测结果中的标记框与当前跟踪结果中的所有标记框的位置信息做对比，当x,y的数值与跟踪结果中某个目标的位置信息x,y误差在±10内，且这两个目标的标记框面积误差在±100内，认为这两个标记框为同一个物体，即不是新进入视野的目标。反之，当该数值在误差范围外，并且x,y的值靠近画面边缘部分，认为该目标为应加入跟踪的新目标。如图3所示，ID为005的车辆在图中没有显示出来，是因为该车辆已经行驶出监控范围，无法继续跟踪，而新加入的目标的ID号则将继续累加。
上述x,y的值靠近画面边缘部分是指：若图像大小为M*N，该标记框信息x,y的值满足：x≤0.25M或x≥0.75M，且y≤0.25N或y≥0.75N。
在对比检测结果与跟踪结果时，如上诉所描述的，当认为检测结果中的目标标记框A与跟踪结果中的目标标记框B为同一个物体时，即当x,y的数值与跟踪结果中某个目标的位置信息x,y误差在±10内，且这两个目标的标记框面积误差在±100内，并且当x,y的误差大于±5，标记框面积误差大于±50时，认为跟踪结果存在误差，并对跟踪结果进行纠正，更新当前目标的位置信息，更新跟踪样本。该过程意在减少跟踪误差，提前对跟踪结果进行检验及修正。

Claims (1)

1.一种面向动态视频监控的多个车辆跟踪方法的多个车辆的跟踪方法，其特征在于，包括以下步骤：
步骤(1)加载一段视频的图像序列；
步骤(2)根据图像序列的第一张图像进行车辆识别检测；
步骤(3)中对检测结果进行筛选具体为：在对图像检测得到初步目标结果后，对检测结果进行筛选，将目标标记框大小小于图像大小1％的目标，视为可忽略的目标，认为该目标距离摄像设备过远，不对其做跟踪处理；
步骤(4)根据检测结果，保存所有检测出的目标在图像中的位置信息(x,y,w,h)，其中，x为该目标的标记框左上角的坐标x值；y为该目标编辑框左上角的坐标y值；w为该目标标记框的宽度值；h为该目标标记框的高度值；
步骤(5)根据保存的目标位置信息，进行目标跟踪；
步骤(5)具体为：当对第1帧图像检测结束后，根据检测结果对视频序列进行跟踪，同时，对第2帧图像进行目标检测；接着对比第2帧图像的检测结果与跟踪结果，对跟踪进行调整；以此类推，直到视频序列分析完毕；
步骤(6)对比当前帧筛选后的目标位置信息与当前帧跟踪结果的目标位置信息，更新跟踪目标与样本集；其中，步骤(6)具体为：将检测结果中的标记框与当前跟踪结果中的所有标记框的位置信息做对比，当x,y的数值与跟踪结果中某个目标的位置信息x,y误差在±10内，且这两个目标的标记框面积误差在±100内，认为这两个标记框为同一个物体，即不是新进入视野的目标；反之，当该数值在误差范围外，并且x,y的值靠近画面边缘部分，认为该目标为应加入跟踪的新目标。
CN201710845857.7A 2017-09-19 2017-09-19 一种面向动态视频监控的多车辆跟踪方法 Active CN107506753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710845857.7A CN107506753B (zh) 2017-09-19 2017-09-19 一种面向动态视频监控的多车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710845857.7A CN107506753B (zh) 2017-09-19 2017-09-19 一种面向动态视频监控的多车辆跟踪方法

Publications (2)

Publication Number Publication Date
CN107506753A CN107506753A (zh) 2017-12-22
CN107506753B true CN107506753B (zh) 2021-01-05

Family

ID=60697834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710845857.7A Active CN107506753B (zh) 2017-09-19 2017-09-19 一种面向动态视频监控的多车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN107506753B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658442B (zh) * 2018-12-21 2023-09-12 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109871763B (zh) * 2019-01-16 2020-11-06 清华大学 一种基于yolo的特定目标跟踪方法
CN109859468A (zh) * 2019-01-30 2019-06-07 淮阴工学院 基于YOLOv3的多车道车流量计数及车辆跟踪方法
CN110334688B (zh) * 2019-07-16 2021-09-07 重庆紫光华山智安科技有限公司 基于人脸照片库的图像识别方法、装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809437A (zh) * 2015-04-28 2015-07-29 无锡赛睿科技有限公司 一种基于实时视频的车辆检测与跟踪方法
CN106228805A (zh) * 2016-06-30 2016-12-14 北京航空航天大学 一种交互式多车辆跟踪方法及装置
CN106570488A (zh) * 2016-11-10 2017-04-19 江苏信息职业技术学院 基于小波算法的车辆追踪识别方法
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809437A (zh) * 2015-04-28 2015-07-29 无锡赛睿科技有限公司 一种基于实时视频的车辆检测与跟踪方法
CN106228805A (zh) * 2016-06-30 2016-12-14 北京航空航天大学 一种交互式多车辆跟踪方法及装置
CN106570488A (zh) * 2016-11-10 2017-04-19 江苏信息职业技术学院 基于小波算法的车辆追踪识别方法
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卡尔曼滤波器的运动目标检测与跟踪;万琴等;《湖南大学学报》;20070331;第36-40页 *

Also Published As

Publication number Publication date
CN107506753A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
KR19980701568A (ko) 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및 장치(method and apparatus for detecting object movement within an image sequence)
CN104463903A (zh) 一种基于目标行为分析的行人图像实时检测方法
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN111062971B (zh) 一种基于深度学习多模态的跨摄像头泥头车追踪方法
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Huang et al. A hybrid moving object detection method for aerial images
CN115909241A (zh) 一种车道线检测方法、系统、电子设备和存储介质
CN118015377A (zh) 一种基于多无人机图像的道路车辆轨迹提取方法
CN110472508A (zh) 基于深度学习和双目视觉的车道线测距方法
CN110969135B (zh) 自然场景中的车标识别方法
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
CN117334040A (zh) 一种跨域路侧感知多车辆关联方法及系统
WO2020194570A1 (ja) 標識位置特定システム及びプログラム
CN113824880B (zh) 一种基于目标检测和uwb定位的车辆跟踪方法
CN113160299B (zh) 基于卡尔曼滤波的车辆视频测速方法和计算机可读存储介质
CN115482483A (zh) 一种交通视频目标跟踪装置、方法及存储介质
Lookingbill et al. Learning activity-based ground models from a moving helicopter platform
CN113569663A (zh) 车辆车道偏移的测量方法
CN114612999A (zh) 一种目标行为分类方法、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ren Keyan

Inventor after: Chen Xin

Inventor after: Zhang Chun

Inventor after: Hou Yibin

Inventor before: Ren Keyan

Inventor before: Chen Xin

Inventor before: Hou Yibin

GR01 Patent grant
GR01 Patent grant