CN109684986B - 一种基于车辆检测跟踪的车辆分析方法及系统 - Google Patents

一种基于车辆检测跟踪的车辆分析方法及系统 Download PDF

Info

Publication number
CN109684986B
CN109684986B CN201811559204.3A CN201811559204A CN109684986B CN 109684986 B CN109684986 B CN 109684986B CN 201811559204 A CN201811559204 A CN 201811559204A CN 109684986 B CN109684986 B CN 109684986B
Authority
CN
China
Prior art keywords
frame
vehicle
scale
template
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811559204.3A
Other languages
English (en)
Other versions
CN109684986A (zh
Inventor
刘小扬
王心莹
何学智
林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newland Digital Technology Co ltd
Original Assignee
Newland Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newland Digital Technology Co ltd filed Critical Newland Digital Technology Co ltd
Priority to CN201811559204.3A priority Critical patent/CN109684986B/zh
Publication of CN109684986A publication Critical patent/CN109684986A/zh
Application granted granted Critical
Publication of CN109684986B publication Critical patent/CN109684986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Abstract

一种基于车辆检测跟踪的车辆分析方法，包括以下步骤，(1)获取视频帧图像，对视频帧图像进行车辆检测，标定初始帧图像上的车辆框；(2)建立模板特征：对初始帧图像车辆框进行扩大得到背景框，对背景框提取图像特征，建立位置模板特征；以及对车辆框进行多个尺度缩放，对每个尺度提取图像特征，建立尺度模板特征；(3)输入下一帧图像，建立实时特征并将实时特征与模板特征建立相关，得出目标框位置，完成车辆跟踪；(4)重复步骤(3)进行跟踪；当跟踪踪的帧数到达预设的数值时，则从步骤(1)开始重复检测再跟踪；(5)获取该车辆的所有车辆框，分析车辆的运动轨迹。

Description

一种基于车辆检测跟踪的车辆分析方法及系统
技术领域
本发明涉及交通管理技术领域，特别涉及一种基于车辆检测跟踪的车辆分析方法。
背景技术
当前使用的交通流量分析系统，通常采用人工进行统计、调度，这种方法一方面效率较为低下，无法满足实时调控的需求，另一方面，此种方法需耗费很大的人力成本。
目前，已经采用的基于车辆检测和跟踪的技术可以克服以上人工检测的缺陷，目前有联合传感技术、视频技术、无线通信技术构建的自动车辆检测系统，其通过高清红外摄像机抓拍车牌信息、车内违法驾驶行为的监控等，通过地感线圈对路段的车流量进行统计监测，以及车辆测速仪对所经过的车辆进行测速等。在实际上，通过地感线圈对路段的车流量进行统计监测和超声波检测车辆，因前进中的车辆速度、种类始终变化，普遍存在反射信号不稳定，测量误差大的问题；另外，地感线圈施工麻烦，容易破坏，使得其在实际应用中有很大的局限性。
发明内容
本发明的目的在于，提出一种可以实时监测车辆并进行分析车辆行为，且分析效率高、准确率高的基于车辆检测跟踪的车辆分析方法。
为了实现上述目的，本发明所采用的技术方案为：
一种基于车辆检测跟踪的车辆分析方法，包括以下步骤，
(1)获取视频帧图像，对视频帧图像进行车辆检测，标定初始帧图像上的车辆框；
(2)建立模板特征：对初始帧图像车辆框进行扩大得到背景框，对背景框提取图像特征，建立位置模板特征；以及对车辆框进行多个尺度缩放，对每个尺度提取图像特征，建立尺度模板特征；
(3)输入下一帧图像，建立实时特征并将实时特征与模板特征建立相关，得出目标框位置，完成车辆跟踪；
具体步骤如下：在图像中选取与背景框同等位置以及大小的候选框，对候选框提取图像特征，建立位置实时特征；该位置实时特征与位置模板特征建立相关匹配得到中心位置响应图，中心位置响应图中最大响应值所在位置即为目标框中心位置；
基于目标框的中心位置，按车辆框大小选取候选框，按步骤(2)的方法对候选框进行多个尺度缩放后提取图像特征，建立尺度实时特征；将该尺度实时特征与尺度模板特征建立相关匹配获取响应图，响应图中最大响应值所在尺度即为目标框的尺度；
根据目标框中心位置以及目标框的尺度，得出目标框位置；
(4)重复步骤(3)进行跟踪；当跟踪踪的帧数到达预设的数值时，则从步骤(1)开始重复检测再跟踪；
(5)获取该车辆的所有车辆框，分析车辆的运动轨迹。
其中，上述步骤(4)之前还包括，对模板特征进行更新：将模板特征与实时特征进行线性融合，形成新的模板特征。
其中，上述步骤(2)中位置模板特征的获取具体步骤为：
(2.1)提取梯度特征，包括将背景框分成小的连通区域，采集每个连通区域中各像素点的方向直方图，将所有的方向直方图组合后构成梯度特征直方图；将该特度特征直方图进行汉宁窗口加权，并进行二维傅里叶变换，构建成梯度模板特征xtf；
提取颜色特征，包括获取车辆框的前景区域和背景区域，分别对目标框的前景区域和背景区域建立前景颜色模板特征fg_hist和背景颜色模板特征bg hist。
其中，上述步骤(2)中尺度模板特征的获取具体步骤为：
(2.2)将背景框进行多个尺度的缩放，分别提取每个尺度下的梯度特征直方图，将该梯度特征直方图进行汉宁窗口加权，并进行二维傅里叶变换，构建成尺度模板特征xsf。
其中，上述步骤(3)中获取目标框中心位置的具体步骤为：
(3.1)输入候选框，按步骤(2.1)的方法构建梯度实时特征new_xtf；
(3.2)梯度实时特征new_xtf与梯度模板特征xtf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xtf*h1，计算结果进行逆傅里叶变换，得到响应图g1；
其中，h1＝min||∑h1*xtf-g||2+λ∑||h1||2，其中，g为服从高斯分布的期望响应，λ为常数；
(3.3)获取候选框的前景区域和背景区域，将该背景区域的每个像素点RGB 值在第一帧的背景颜色模板特征bg_hist内进行查找，计算出背景颜色概率；将该前景区域的每个像素点RGB值在第一帧的前景颜色模板特征fg_hist内进行查找，计算出前景颜色概率，并根据公式计算出像素概率pwp；
(3.4)将响应图g1和像素概率pwp进行线性融合，计算出中心位置响应图，该中心位置响应图中最大响应值所在位置为目标框的中心位置。
像素概率的计算公式为：pwp＝P_fg/(P_fg+P_bg)，其中，P_fg为前景颜色概率，P_bg为背景颜色概率。
其中，上述步骤(3)中获取目标框的尺度的方法包括以下具体步骤：
(3.5)对步骤(3.4)中获得的目标中心位置进行基于车辆框大小的缩放，作为候选框；
(3.6)对候选框，按照步骤(2.2)的方法分别提取每个尺度下的梯度特征直方图，将该梯度特征直方图构建成梯度实时特征new_xsf；
(3.7)梯度实时特征new_xsf与梯度模板特征xsf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xsf*h2，计算后输出响应图记为g2，响应图g2最大值所对应的尺度为目标框的尺度；
其中，h2＝min||∑h2*xsf-g||2+λ∑||h2||2，其中，g为服从高斯分布的期望响应，λ为常数；
其中，上述步骤中，
前景颜色概率计算公式为：P_fg＝fg_hist[像素R值/bin_width][像素G 值/bin_width][像素B值/bin_width]，
背景颜色概率计算公式为：P_bg＝bg_hist[像素R值/bin_width][像素G 值/bin_width][像素B值/bin_width]，
其中，像素R值、像素G值和像素B值分别为候选框内像素点的对应RGB 值；bin_width为颜色直方图的间隔。
其中，上述步骤(3.2)中还包括，根据响应图g1，计算出跟踪置信度，并输出，所述置信度为响应图中的最大值。
其中，上述步骤(1)中车辆检测方法具体为：
获取视频帧图像，对图像中的目标人工进行标注，并制作标注数据库；
将SSD网络结构的VGGNet替换为MobileNet，并进行裁剪；
将标注完成的视频帧图像输入SSD网络进行训练，完成检测器的制作；
利用检测器在图像帧中检测目标物体。
一种基于车辆检测跟踪的车辆分析系统，包括：车辆检测单元，用于对输入视频帧进行车辆检测，并标定图像上的车辆框；
模板特征提取单元：用于对图像车辆框进行扩大得到背景框，对背景框提取图像特征，建立位置模板特征；以及对车辆框进行多个尺度缩放，对每个尺度提取图像特征，建立尺度模板特征；
实时特征提取单元：用于在图像中选取与背景框同等位置以及大小的候选框，对候选框提取图像特征，建立位置实时特征；以及，基于目标框的中心位置，按车辆框大小选取候选框，对候选框进行多个尺度缩放后提取图像特征，建立尺度实时特征；
特征匹配单元：用于将位置实时特征与位置模板特征建立相关匹配得到响应图，从响应图中选出最大响应值所在位置作为为目标框中心位置；以及，将尺度实时特征与尺度模板特征建立相关匹配获取响应图，从响应图中选出最大响应值所在尺度作为目标框的尺度；
计数单元：用于对跟踪的帧数进行计数，当跟踪踪的帧数到达预设的数值时，重新开始检测；
轨迹分析单元：用于获取该车辆的所有车辆框，分析车辆的运动轨迹。区别于现有技术，本发明具有以下有益效果：
可以实时快速处理交通视频信息，通过对视频中的车辆检测以及追踪的方法，获取车辆的运动轨迹，可用于车流统计、车辆实时行为记录、车辆违法分析记录，便于交通执法部门实施最佳的管理调度，记录违法车辆，提高车流监管、交通监管的效率；
本发明的车辆检测跟踪方法，对视频帧图像采用第一帧检测，再进行跟踪，再重新检测，如此反复循环的方式，设定一定帧数的第一帧进行检测，而后进行跟踪，保证车辆被追踪到的前提下，提高对同一辆车的追踪效率以及减少对计算机资源的消耗；
本发明的车辆检测跟踪方法，采用的对车辆框的中心位置先行确定后，再对确定后的车辆框进行33个维度的缩放计算，获取车辆 框的维度，与两个步骤同时进行计算的方法，极大减少了计算步骤，提高了运算效率。
本发明的车辆检测跟踪方法，能够在复杂场景下准确的识别出目标车辆，并实现车辆类别的归类，准确率达到95％以上，且可以准确的确定车辆的轨迹。
附图说明
图1为本发明车辆检测跟踪方法的流程示意图；
图2为本发明中车辆跟踪方法的具体流程示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
参见图1以及图2，一种基于车辆检测跟踪的车辆分析方法，包括以下步骤，
步骤一：获取视频帧图像，对视频帧图像进行车辆检测，标定初始帧图像上的车辆框；
上述步骤中车辆检测方法具体为：
获取视频帧图像，对图像中的目标人工进行标注，并制作标注数据库；
将SSD网络结构的VGGNet替换为MobileNet，并进行裁剪；
将标注完成的视频帧图像输入SSD网络进行训练，完成检测器的制作；
利用检测器在图像帧中检测目标物体。
步骤二：建立模板特征：对初始帧图像车辆框进行扩大2倍得到背景框，对背景框提取图像特征，建立位置模板特征；以及对车辆框进行多个尺度缩放，对每个尺度提取图像特征，建立尺度模板特征；
具体步骤如下：
位置模板特征的获取，(2.1)提取HOG梯度特征，包括将背景框分成小的连通区域，采集每个连通区域中各像素点的方向直方图，将所有的方向直方图组合后构成梯度特征直方图；将该梯度特征直方图进行汉宁窗口加权，并进行二维傅里叶变换，构建成梯度模板特征xtf；
提取颜色特征，包括获取车辆框的前景区域，分别对目标框的前景区域提取颜色直方图，构建成前景颜色模板特征fg_hist，对目标框的背景区域提取颜色直方图，构建成背景颜色模板特征bg_hist。
尺度模板特征的获取，将背景框进行多个尺度的缩放，分别提取每个尺度下的梯度特征直方图，将该梯度特征直方图进行汉宁窗口加权，并进行二维傅里叶变换，构建成尺度模板特征xsf。
步骤三：输入下一帧图像，建立位置实时特征并将实时特征与模板特征建立相关，预测目标框中心位置，以及根据目标框中心位置，建立尺度实时特征，标定目标框，完成车辆跟踪；
具体步骤如下：在图像中选取与背景框同等位置以及大小的候选框，对候选框提取HOG梯度特征，建立位置实时特征；该位置实时特征与位置模板特征建立相关匹配得到响应图，响应图中最大响应值所在位置即为目标框中心位置；
上述获取响应图具体步骤为：
(3.1)输入候选框，按步骤(2.1)的方法构建梯度实时特征new_xtf；
(3.2)梯度实时特征new_xtf与梯度模板特征xtf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xtf*h1，计算结果进行逆傅里叶变换，得到响应图g1；
其中，h1＝min||∑h1*xtf-g||2+λ∑||h1||2，其中，g为服从高斯分布的期望响应，λ为常数；
上述步骤中还包括，根据响应图，计算出跟踪置信度，并输出，所述置信度为响应图g1中的最大值。
(3.3)获取候选框的前景区域和背景区域，将该背景区域的每个像素点RGB 值在第一帧的背景颜色模板特征bg_hist内进行查找，计算出背景颜色概率；将该前景区域的每个像素点RGB值在第一帧的前景颜色模板特征fg_hist内进行查找，计算出前景颜色概率，并根据公式计算出像素概率pwp；
像素概率的计算公式为：pwp＝P_fg/(P_fg+P_bg)，其中，P_fg为前景颜色概率，P_bg为背景颜色概率；
上述步骤中，
前景颜色概率计算公式为：P_fg＝fg_hist[像素R值/bin_width][像素G 值/bin_width][像素B值/bin_width]，表示RGB值在前景颜色直方图fg_hist 中处在哪个bin中；
背景颜色概率计算公式为：P_bg＝bg_hist[像素R值/bin_width][像素G 值/bin_width][像素B值/bin_width]，
其中，像素R值、像素G值和像素B值分别为候选框内像素点的对应RGB 值；bin_width为颜色直方图的间隔；
(3.4)将响应图g1和像素概率pwp进行线性融合，计算出中心位置响应图，该中心位置响应图中最大响应值所在位置为目标框的中心位置；
其中，线性融合的计算公式为：α*g1+(1-α)*pwp，α为梯度特征在中心位置结果所占的比重，0<α<1。
在得到目标框的中心位置，按车辆框大小选取候选框，按步骤(2)的方法对候选框进行多个尺度缩放后提取图像特征，建立尺度实时特征；将该尺度实时特征与尺度模板特征建立相关匹配获取响应图，响应图中最大响应值所在尺度即为目标框的尺度；
具体步骤为：
(3.5)对步骤(3.4)中获得的目标中心位置进行基于车辆框大小的扩大，作为候选框；
(3.6)对候选框，按照步骤(2.2)的方法对候选框进行33个尺度的缩放，分别提取每个尺度下的梯度特征直方图，将该33个尺度下的梯度特征直方图构建成梯度实时特征new_xsf，该梯度实时特征表示为33行梯度向量构成的矩阵；
(3.7)梯度实时特征new_xsf与模板特征xsf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xsf*h2，计算结果进行逆傅里叶变换，得到响应图g2，响应图g2最大值所对应的尺度为目标框的尺度；
其中，h2＝min||∑h2*xsf-g||2+λ∑||h2||2，其中，g为服从高斯分布的期望响应，λ取值0.001；
步骤四：重复步骤(3)进行跟踪；当跟踪的帧数到达预设的数值时，则从步骤(1)开始重复检测再跟踪；
本申请的一种实施例中，第一帧检测到车辆框后，第二帧与第一帧进行匹配追踪车辆框，由于检测所花费的时间以及资源较多，考虑到车辆的速度等因素，在几帧画面中出现新车的概率较低，为了节约计算资源以及提高运算速度，直至第五帧追踪完成后，第六帧重新进行检测车辆框，如此循环执行。
上述步骤之前还包括，对模板特征进行更新：将模板特征与实时特征进行线性融合，形成新的模板特征。
步骤五：获取该车辆的所有车辆框，分析车辆的运动轨迹。
本申请的一个具体实施例中，对每辆新出现在画面中的车辆都赋予一个新的ID，做法为：新检测出的车辆赋予新的ID，并按照预定规则持续跟踪和检测，直至车辆消失在视频帧图像中，将该车辆的每个车辆框进行连线得出运动轨迹；
通过车辆轨迹，可以统计某个路段的总车流情况；
通过车辆轨迹，可以获知车辆是否通过了设定的路口，分析各个路口的车流；
通过车辆轨迹，可以判断车辆在通过路口时候是否有违规行为，例如，处于直行车道的车辆进行右转或左转等，若有违规车辆，记录该车辆信息。
一种基于车辆检测跟踪的车辆分析系统，其特征在于，包括：车辆检测单元，用于对输入视频帧进行车辆检测，并标定图像上的车辆框；
模板特征提取单元：用于对图像车辆框进行扩大得到背景框，对背景框提取图像特征，建立位置模板特征；以及对车辆框进行多个尺度缩放，对每个尺度提取图像特征，建立尺度模板特征；
实时特征提取单元：用于在图像中选取与背景框同等位置以及大小的候选框，对候选框提取图像特征，建立位置实时特征；以及，基于目标框的中心位置，按车辆框大小选取候选框，对候选框进行多个尺度缩放后提取图像特征，建立尺度实时特征；
特征匹配单元：用于将位置实时特征与位置模板特征建立相关匹配得到响应图，从响应图中选出最大响应值所在位置作为目标框中心位置；以及，将尺度实时特征与尺度模板特征建立相关匹配获取响应图，从响应图中选出最大响应值所在尺度作为目标框的尺度；
计数单元：用于对跟踪的帧数进行计数，当跟踪的帧数到达预设的数值时，重新开始检测；
轨迹分析单元：用于获取该车辆的所有车辆框，分析车辆的运动轨迹。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于车辆检测跟踪的车辆分析方法，其特征在于：包括以下步骤，
(1)获取视频帧图像，对视频帧图像进行车辆检测，标定初始帧图像上的车辆框；
(2)建立模板特征：对初始帧图像车辆框进行扩大得到背景框，对背景框提取图像特征，建立位置模板特征；以及对车辆框进行多个尺度缩放，对每个尺度提取图像特征，建立尺度模板特征；
(3)输入下一帧图像，建立实时特征并将实时特征与模板特征建立相关，得出目标框位置，完成车辆跟踪；
具体步骤如下：在图像中选取与背景框同等位置以及大小的候选框，对候选框提取图像特征，建立位置实时特征；该位置实时特征与位置模板特征建立相关匹配得到中心位置响应图，中心位置响应图中最大响应值所在位置即为目标框中心位置；
基于目标框的中心位置，按车辆框大小选取候选框，按步骤(2)的方法对候选框进行多个尺度缩放后提取图像特征，建立尺度实时特征；将该尺度实时特征与尺度模板特征建立相关匹配获取响应图，响应图中最大响应值所在尺度即为目标框的尺度；
根据目标框中心位置以及目标框的尺度，得出目标框位置；
(4)重复步骤(3)进行跟踪；当跟踪踪的帧数到达预设的数值时，则从步骤(1)开始重复检测再跟踪；
(5)获取该车辆的所有车辆框，分析车辆的运动轨迹；
其中，上述步骤(3)中获取目标框中心位置的具体步骤为：
(3.1)输入候选框，按步骤(2.1)的方法构建梯度实时特征new_xtf；
(3.2)梯度实时特征new_xtf与梯度模板特征xtf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xtf＊h1，计算结果进行逆傅里叶变换，得到响应图g1；
其中，h1＝min||∑h1*xtf-g||2+λ∑||h1||2，其中，g为服从高斯分布的期望响应，λ为常数；
(3.3)获取候选框的前景区域和背景区域，将该背景区域的每个像素点RGB值在第一帧的背景颜色模板特征bg_hist内进行查找，计算出背景颜色概率；将该前景区域的每个像素点RGB值在第一帧的前景颜色模板特征fg_hist内进行查找，计算出前景颜色概率，并根据公式计算出像素概率pwp；
(3.4)将响应图g1和像素概率pwp进行线性融合，计算出中心位置响应图，该中心位置响应图中最大响应值所在位置为目标框的中心位置；
像素概率的计算公式为：pwp＝P_fg/(P_fg+P_bg)，其中，P_fg为前景颜色概率，P_bg为背景颜色概率；
上述步骤(3)中获取目标框的尺度的方法包括以下具体步骤：
(3.5)对步骤(3.4)中获得的目标中心位置进行基于车辆框大小的缩放，作为候选框；
(3.6)对候选框，按照步骤(2.2)的方法分别提取每个尺度下的梯度特征直方图，将该梯度特征直方图构建成梯度实时特征new_xsf；
(3.7)梯度实时特征new_xsf与梯度模板特征xsf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xsf＊h2，计算后输出响应图记为g2，响应图g2最大值所对应的尺度为目标框的尺度；
其中，h2＝min||∑h2*xsf-g||2+λ∑||h2||2，其中，g为服从高斯分布的期望响应，λ为常数。
2.如权利要求1所述的一种基于车辆检测跟踪的车辆分析方法，其特征在于：上述步骤(4)之前还包括，对模板特征进行更新：将模板特征与实时特征进行线性融合，形成新的模板特征。
3.如权利要求1所述的一种基于车辆检测跟踪的车辆分析方法，其特征在于：上述步骤(2)中位置模板特征的获取具体步骤为：
(2.1)提取梯度特征，包括将背景框分成小的连通区域，采集每个连通区域中各像素点的方向直方图，将所有的方向直方图组合后构成梯度特征直方图；将该梯度特征直方图进行汉宁窗口加权，并进行二维傅里叶变换，构建成梯度模板特征xtf；
提取颜色特征，包括获取车辆框的前景区域和背景区域，分别对目标框的前景区域和背景区域建立前景颜色模板特征fg_hist和背景颜色模板特征bg hist。
4.如权利要求3所述的一种基于车辆检测跟踪的车辆分析方法，其特征在于：上述步骤(2)中尺度模板特征的获取具体步骤为：
(2.2)将背景框进行多个尺度的缩放，分别提取每个尺度下的梯度特征直方图，将该梯度特征直方图进行汉宁窗口加权，并进行二维傅里叶变换，构建成尺度模板特征xsf。
5.如权利要求1所述的一种基于车辆检测跟踪的车辆分析方法，其特征在于：上述步骤中，
前景颜色概率计算公式为：P_fg＝fg_hist[像素R值/bin_width][像素G值/bin_width][像素B值/bin_width]，
背景颜色概率计算公式为：P_bg＝bg_hist[像素R值/bin_width][像素G值/bin_width][像素B值/bin_width]，
其中，像素R值、像素G值和像素B值分别为候选框内像素点的对应RGB值；bin_width为颜色直方图的间隔。
6.如权利要求5所述的一种基于车辆检测跟踪的车辆分析方法，其特征在于：上述步骤(3.2)中还包括，根据响应图g1，计算出跟踪置信度，并输出，所述置信度为响应图中的最大值。
7.如权利要求1至6任意一条所述的一种基于车辆检测跟踪的车辆分析方法，其特征在于：上述步骤(1)中车辆检测方法具体为：
获取视频帧图像，对图像中的目标人工进行标注，并制作标注数据库；
将SSD网络结构的VGGNet替换为MobileNet，并进行裁剪；
将标注完成的视频帧图像输入SSD网络进行训练，完成检测器的制作；
利用检测器在图像帧中检测目标物体。
8.一种基于车辆检测跟踪的车辆分析系统，其特征在于，包括：
车辆检测单元，用于对输入视频帧进行车辆检测，并标定图像上的车辆框；
模板特征提取单元：用于对图像车辆框进行扩大得到背景框，对背景框提取图像特征，建立位置模板特征；以及对车辆框进行多个尺度缩放，对每个尺度提取图像特征，建立尺度模板特征；
实时特征提取单元：用于在图像中选取与背景框同等位置以及大小的候选框，对候选框提取图像特征，建立位置实时特征；以及，基于目标框的中心位置，按车辆框大小选取候选框，对候选框进行多个尺度缩放后提取图像特征，建立尺度实时特征；
特征匹配单元：用于将位置实时特征与位置模板特征建立相关匹配得到响应图，从响应图中选出最大响应值所在位置作为目标框中心位置；以及，将尺度实时特征与尺度模板特征建立相关匹配获取响应图，从响应图中选出最大响应值所在尺度作为目标框的尺度；
计数单元：用于对跟踪的帧数进行计数，当跟踪的帧数到达预设的数值时，重新开始检测；
轨迹分析单元：用于获取该车辆的所有车辆框，分析车辆的运动轨迹；
其中，所述实时特征提取单元的具体工作步骤为：
(1)输入候选框，构建梯度实时特征new_xtf；
(2)梯度实时特征new_xtf与梯度模板特征xtf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xtf*h1，计算结果进行逆傅里叶变换，得到响应图g1；
其中，h1＝min||∑h1*xtf-g||2+λ∑||h1||2，其中，g为服从高斯分布的期望响应，λ为常数；
(3)获取候选框的前景区域和背景区域，将该背景区域的每个像素点RGB值在第一帧的背景颜色模板特征bg_hist内进行查找，计算出背景颜色概率；将该前景区域的每个像素点RGB值在第一帧的前景颜色模板特征fg_hist内进行查找，计算出前景颜色概率，并根据公式计算出像素概率pwp；
(4)将响应图g1和像素概率pwp进行线性融合，计算出中心位置响应图，该中心位置响应图中最大响应值所在位置为目标框的中心位置；
像素概率的计算公式为：pwp＝P_fg/(P_fg+P_bg)，其中，P_fg为前景颜色概率，P_bg为背景颜色概率；
(5)对步骤(4)中获得的目标中心位置进行基于车辆框大小的缩放，作为候选框；
(6)对候选框，分别提取每个尺度下的梯度特征直方图，将该梯度特征直方图构建成梯度实时特征new_xsf；
(7)梯度实时特征new_xsf与梯度模板特征xsf建立相关关系并输出响应图，该相关关系建立公式表示为：new_xsf＊h2，计算后输出响应图记为g2，响应图g2最大值所对应的尺度为目标框的尺度；
其中，h2＝min||∑h2*xsf-g||2+λ∑||h2||2，其中，g为服从高斯分布的期望响应，λ为常数。
CN201811559204.3A 2018-12-19 2018-12-19 一种基于车辆检测跟踪的车辆分析方法及系统 Active CN109684986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811559204.3A CN109684986B (zh) 2018-12-19 2018-12-19 一种基于车辆检测跟踪的车辆分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811559204.3A CN109684986B (zh) 2018-12-19 2018-12-19 一种基于车辆检测跟踪的车辆分析方法及系统

Publications (2)

Publication Number Publication Date
CN109684986A CN109684986A (zh) 2019-04-26
CN109684986B true CN109684986B (zh) 2022-11-08

Family

ID=66186985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811559204.3A Active CN109684986B (zh) 2018-12-19 2018-12-19 一种基于车辆检测跟踪的车辆分析方法及系统

Country Status (1)

Country Link
CN (1) CN109684986B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414535B (zh) * 2019-07-02 2023-04-28 绵阳慧视光电技术有限责任公司 一种基于背景区分的手工初始框修正方法及系统
CN110533925B (zh) * 2019-09-04 2020-08-25 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN117092713A (zh) * 2020-05-28 2023-11-21 同方威视技术股份有限公司 建立车辆模板库的方法和系统
CN112382104B (zh) * 2020-11-13 2021-11-02 重庆盘古美天物联网科技有限公司 基于车辆轨迹分析的路侧停车管理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971573B2 (en) * 2012-09-12 2015-03-03 Xerox Corporation Video-tracking for video-based speed enforcement
CN108596129B (zh) * 2018-04-28 2022-05-06 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN108846854B (zh) * 2018-05-07 2021-03-16 中国科学院声学研究所 一种基于运动预测与多特征融合的车辆跟踪方法

Also Published As

Publication number Publication date
CN109684986A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109684986B (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN108986064B (zh) 一种人流量统计方法、设备及系统
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN109615862A (zh) 道路车辆交通运动状态参数动态获取方法及装置
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN105469105A (zh) 一种基于视频监控的香烟烟雾检测方法
CN106933816A (zh) 基于全局特征和局部特征的跨镜头目标检索系统及方法
CN115620212B (zh) 一种基于监控视频的行为识别方法及系统
CN112232237B (zh) 车辆流量的监控方法、系统、计算机设备和存储介质
CN103985130B (zh) 一种针对复杂纹理图像的图像显著性分析方法
CN108711172B (zh) 基于细粒度分类的无人机识别与定位方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN112966665A (zh) 路面病害检测模型训练方法、装置和计算机设备
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN112784724A (zh) 一种车辆变道检测方法、装置、设备及存储介质
CN102314591B (zh) 静止前景物体的检测方法和设备
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN107247967B (zh) 一种基于r-cnn的车窗年检标检测方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN109934170B (zh) 一种基于计算机视觉的矿山资源统计方法
CN111753610A (zh) 天气识别方法及装置
CN112232236B (zh) 行人流量的监测方法、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant