CN103996028B - 一种车辆行为识别方法 - Google Patents
一种车辆行为识别方法 Download PDFInfo
- Publication number
- CN103996028B CN103996028B CN201410216944.2A CN201410216944A CN103996028B CN 103996028 B CN103996028 B CN 103996028B CN 201410216944 A CN201410216944 A CN 201410216944A CN 103996028 B CN103996028 B CN 103996028B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- line section
- horizontal line
- image
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种车辆行为识别方法，特别是提取匹配差分图像特征以识别车辆行为的方法，属于智能交通的技术领域。本发明对预处理后的图像进行差分处理，提取差分图像的水平边缘生成车辆特征描述子，由相邻两帧匹配成功的车辆特征描述子确定车辆运动轨迹，再由车辆运动轨迹分析车辆行为，对复杂场景下的各种干扰，有很好的抑制作用，同时计算量小且可靠性高，有效避免了运动目标检测中的背景干扰问题和单幅图像中特征提取的计算量大问题。
Description
技术领域
本发明公开了一种车辆行为识别方法，特别是提取匹配差分图像特征以识别车辆行为的方法，属于智能交通的技术领域。
背景技术
在众多的智能交通系统应用中，基于视频的车辆行为识别与分析系统由于其安装和维护方便、可靠性高等优点越来越受到交通管理部门的青睐，相应地，基于视频的车辆行为识别技术的产品市场需求正在日益扩大，应用也越来越广泛。
车辆行为识别是通过对视频序列的实时分析来判别车辆的运动行为和轨迹的过程。车辆行为识别技术主要涉及车辆图像采集、车辆图像处理、特征提取、特征匹配、行为分析等步骤。其中车辆图像的特征提取和匹配是车辆行为识别领域的两个关键问题。
目前车辆行为识别的方法主要有两种：基于运动目标检测的方法和基于车辆特征的方法。基于运动目标检测的方法，是指利用当前图像跟背景图像相减的方法，得到图像中的运动目标，然后来实现车辆运动的帧间关联和行为分析(1.Ouessai Asmaa,KecheMokhtar,Ouamri Abdelaziz.Road traffic density estimation using microscopicand macroscopic parameters,Image and Vision Computing,2013,vol.31,pp.887-894.2.JiuYue Hao,Chao Li,Zuwhan Kim,Zhang Xiong,Spatio-temporal traffic scenemodeling for object motion detection,IEEE Trans.on Intelligent TransportationSystems,2013,vol.14,no.1,pp.295-302.)。该类方法主要依赖于背景图像的生成和更新模型，这一过程计算量大、耗时长，另外易受复杂场景中的非机动车、行人、行道树阴影等影响。基于车辆特征的方法，是指利用车辆目标特征，例如SIFT等，在单个图像中直接检测车辆，然后再进行帧间关联实现车辆行为分析。该类方法首先要收集并建立足够的车辆特征库，通过对当前图像中的特征提取，然后进行特征匹配以检测车辆目标，再通过帧间关联实现车辆行为分析(3.Rui Zhao,Xiaogang Wang,Counting Vehicles from SematicRegions,IEEE Trans.on Intelligent Transportation Systems,2013,vol.14,no.2,pp.1016-1022.4.B.F.Lin,Y.M.Chan,L.C.Fu,et al.,Integrating appearance and edgefeatures for sedan vehicle detection in the blind-spot area,IEEETrans.onIntelligent Transportation Systems,2012,vol.13,no.2,pp.737-747.)。该类方法对特征库建立过程要求高，需收集不同姿态、不同车型、不同场景下的各种车辆图像，扩展性弱，另外，每帧图像中特征提取的计算量大。
发明内容
本发明所要解决的技术问题是针对上述背景技术的不足，提供了一种车辆行为识别方法。
本发明为实现上述发明目的采用如下技术方案：
一种车辆行为识别方法，包括如下步骤：
步骤1，对路面拍摄图像进行预处理得到检测区域的规范化图像；
步骤2，提取差分图像的水平边缘，对水平边缘进行二值化处理和筛选，生成车辆特征描述子；
步骤3，匹配上一帧图像的车辆特征描述子、当前帧图像的车辆特征描述子，找到同一辆车在连续两帧图像中的关联信息；
步骤4，根据车辆特征描述子的更新信息生成车辆运动轨迹，再由车辆运动轨迹分析车辆行为。
进一步的，步骤2按照如下方法实现：
步骤2-1，由当前帧图像与上一帧图像做差得到差分图像，求取差分图像水平方向的梯度图像作为水平边缘；
步骤2-2，求取水平边缘的直方图，利用至少两个阈值分别对水平边缘二值化处理；
步骤2-3，对每个二值化图像进行形态学膨胀运算得到水平线段，再自上而下扫描水平线段，将长度在车道宽度检测范围内的水平线段记录到水平线段集合中，滤除不在检测区域内的水平线段，排序检测区域内的水平线段：
步骤2-4，对水平线段集合自上而下自左向右扫描；
在扫描到第一个水平线段时，初始化水平线段集合外接矩形的顶点坐标、宽度、高度；
继续扫描水平线段，在当前水平线段与上一条水平线段在x方向重叠度超过线段长度的2/3，且当前水平线段在y方向上跟上一条水平线段的间隔小于外接矩形宽度的1/3时，将当前水平线段加入到水平线段集合中，更新水平线段集合外接矩形的顶点坐标、宽度、高度，直至外接矩形高度大于宽度2倍时停止更新水平线段集合。
进一步的，步骤2中在水平线段集合停止更新后，舍去水平线段数目小于20的水平线段集合，舍去外接矩形高度小于宽度1/3且外接矩形宽度小于车道宽度1/2的水平线段集合，以最后更新的水平线段集合作为当前帧图像的车辆特征描述子。
进一步的，步骤3中，相邻两帧图像车辆特征描述子满足如下条件时判定为同一车辆的特征描述子：外接矩形区域重合度在2/3以上，或者外接矩形形心距离最短的同时水平线段平均宽度变化小于10％，将上一帧图像中未能匹配的车辆特征描述子从车辆特征描述子记录中删除，将当前帧图像中未能匹配的车辆特征描述子加入到车辆特征描述子记录中。
进一步的，步骤4按如下方法确定车辆运动轨迹：计算匹配成功的车辆描述子在连续两帧中外接矩形形心坐标分别在x和y方向上的距离变化，对连续n帧中车辆特征描述子中外接矩形形心坐标变化值进行中值滤波得到车辆运行方向和幅度，再由车辆运动方向和幅度确定车辆运动轨迹，n为大于2的整数。
进一步的，步骤1中的图像预处理：将输入图像灰度化，对灰度化后的图像进行旋转、缩放、兴趣区域拓取变换处理，将旋转、缩放、兴趣区域抠取的级联运算集成到一个查找表中，对变换处理后的图像进行中值滤波，得到检测区域的规范化图像。
本发明采用上述技术方案，具有以下有益效果：对复杂场景下的各种干扰，有很好的抑制作用，同时计算量小且可靠性高，有效避免了运动目标检测中的背景干扰问题和单幅图像中特征提取的计算量大问题。
附图说明
图1是本发明基于差分图像的特征提取与匹配的快速车辆行为分析方法的流程图。
图2(a)、图2(b)是图像缩放、旋转、兴趣区域抠取示意图。
图3(a)、图3(b)是差分图像水平边缘检测和二值化结果示意图。
图4是车辆特征描述子生成的示意图。
图5是车辆特征描述子匹配和车辆行为分析的示意图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明：本发明提取差分图像水平边缘作为的图像特征，对水平边缘进行二值化处理以及筛选得到车辆特征描述子，匹配车辆特征描述子以识别车辆行为，流程如图1所示。
步骤1，对路面拍摄图像进行预处理得到规范化图像，图像预处理包括：图像灰度化、图像旋转缩放和有效区域提取、中值滤波：
(1)图像灰度化根据视频格式来定：若输入为YUV格式，则直接提取Y分量；若输入为RGB格式，则按公式GrayValue＝(306×R+601×G+117×B)>>10计算各像素的灰度值；
(2)如图2(a)所示的检测区域，将输入图像以检测区域中心为中心，以底边倾斜角度为旋转角度，进行图像旋转使检测底边水平；再将原始图像按照比例缩放至待处理图像尺寸，实际计算时，待处理图像尺寸为352×288(4:3情况)或480×270(16:9情况)；最后将检测区域顶边以下和底边以上的区域抠取作为待处理的规范化图像，如图2(b)所示，将(1)、(2)这两步处理中的图像旋转、缩放、兴趣区域抠取等涉及像素坐标变换的级联运算集成到一个查找表中，表中的值为结果图像中像素在原始图像中的坐标位置，这样可通过查找表一步实现原始图像到待处理规范化图像的变换；
(3)对变换后的图像进行快速中值滤波，保持边缘并滤除噪声干扰。
步骤2，提取差分图像的水平边缘，对水平边缘进行二值化处理和筛选，生成车辆特征描述子：
步骤2-1，由当前帧图像curImg与上一帧图像preImg做差得到差分图像diffImg，求取差分图像水平方向的梯度图像作为水平边缘，水平边缘是对差图像diffImg进行水平方向Sobel算子滤波求取得到的梯度图像gradImg，如图3(a)所示；
步骤2-2，求取梯度图像gradImg的直方图，计算均值μ和方差σ，利用至少两个阈值分别对水平边缘二值化处理：分别使用阈值Ti＝μ，μ+σ，μ+2σ，μ+3σ对梯度图像进行二值化，得到4幅二值化图像binImgi(i＝1,2,3,4)，如图3(b)所示；
步骤2-3，对步骤2-1得到的每个二值化图像进行形态学膨胀运算得到水平线段，再自上而下扫描水平线段，将长度在车道宽度检测范围[minHLLen,maxHLLen]内的水平线段记录到水平线段集合中，滤除不在检测区域内的水平线段，排序检测区域内的水平线段(将有效的水平线段按照行序排序，每行内再按照x坐标从小到大排序)，实际计算时，minHLLen取为当前行车道宽度的一半，maxHLLen取为当前行车道宽度的两倍：
步骤2-4，如图4所示，对水平线段集合自上而下自左向右扫描，在y方向向下寻找属于同一集合的水平线段；
在扫描到第一个水平线段时，初始化水平线段集合外接矩形的顶点坐标、宽度、高度，赋予新的水平线段集合标号；
继续扫描水平线段，在当前水平线段与上一条水平线段在x方向重叠度超过线段长度的2/3，且当前水平线段在y方向上跟上一条水平线段的间隔小于外接矩形宽度的1/3时，将当前水平线段加入到水平线段集合中，并更新水平线段集合外接矩形的顶点坐标、宽度、高度，直至外接矩形高度大于宽度2倍时停止更新水平线段集合，舍去水平线段数目小于20的水平线段集合，舍去外接矩形高度小于宽度1/3且外接矩形宽度小于车道宽度1/2的水平线段集合，以最后更新的水平线段集合作为当前帧图像的车辆特征描述子，车辆特征描述子包括水平线段集合外接矩形的顶点坐标、宽度、高度以及水平线段平均宽度。
步骤3，匹配上一帧图像的车辆特征描述子、当前帧图像的车辆特征描述子，找到同一辆车在连续两帧图像中的关联信息，当特征描述子满足以下两个条件之一时判定匹配成功：
(1)外接矩形区域重合度在2/3以上，
(2)外接矩形形心距离最短的同时水平线段平均宽度变化小于10％，
将上一帧图像中未能匹配的车辆特征描述子(视为驶离场景的车辆)从车辆特征描述子记录中删除，将当前帧图像中未能匹配的车辆特征描述子(视为刚进入场景的车辆)加入到车辆特征描述子记录中。
步骤4，如图5所示，根据车辆特征描述子的更新信息生成车辆运动轨迹，再由车辆运动轨迹分析车辆行为：
(1)逐个分析已成功匹配的车辆特征描述子，计算其在上一帧和当前帧中外接矩形形心的坐标分别在x和y方向上的距离变化，
(2)根据车辆特征描述子中外接矩形形心坐标在连续5帧中的变化值分析，并对变化值进行中值滤波，得到车辆的运动方向和幅度，实现车辆行为识别。
综上所述，本发明结合差分图像特征提取以及特征描述子匹配实现车辆行为识别的方案：
(1)选取差分图像水平边缘作为差分图像特征，充分表达了运动车辆的显著特征，对复杂场景下的各种干扰，例如行道树的摆动、阴影干扰、夜间车灯晃动等，有很好的抑制作用，同时计算量小且可靠性高；
(2)采用水平边缘数目、外接矩形宽度约束、外接矩形的宽高比约束实现水平边缘的筛选，以车辆显著特征作为特征描述子，有效去除非机动车、行人等伪目标，并且水平边缘的搜索和组合所需计算量小、速度快；
(3)结合帧间运动信息和提取的车辆显著性特征，有效避免了运动目标检测中的背景干扰问题和单幅图像中特征提取的计算量大问题；
(4)差分图像二值化时采用多阈值穷举的方法，可以解决一次阈值的不可靠问题。通过多次阈值分割累积，显著增加车辆目标检测的稳定性和可靠性；
(5)将图像旋转、缩放、兴趣区域抠取等涉及像素坐标变换的级联运算集成到一个查找表中，可通过查找表一步实现原始图像的旋转缩放和有效区域提取。
Claims (5)
1.一种车辆行为识别方法，其特征在于包括如下步骤：
步骤1，对路面拍摄图像进行预处理得到检测区域的规范化图像；
步骤2，提取差分图像的水平边缘，对水平边缘进行二值化处理和筛选，生成车辆特征描述子，具体为：
步骤2-1，由当前帧图像与上一帧图像做差得到差分图像，求取差分图像水平方向的梯度图像作为水平边缘，
步骤2-2，求取水平边缘的直方图，利用至少两个阈值分别对水平边缘二值化处理，
步骤2-3，对每个二值化图像进行形态学膨胀运算得到水平线段，再自上而下扫描水平线段，将长度在车道宽度检测范围内的水平线段记录到水平线段集合中，滤除不在检测区域内的水平线段，排序检测区域内的水平线段，
步骤2-4，对水平线段集合自上而下自左向右扫描，
在扫描到第一个水平线段时，初始化水平线段集合外接矩形的顶点坐标、宽度、高度，
继续扫描水平线段，在当前水平线段与上一条水平线段在x方向重叠度超过线段长度的2/3，且当前水平线段在y方向上跟上一条水平线段的间隔小于外接矩形宽度的1/3时，将当前水平线段加入到水平线段集合中，更新水平线段集合外接矩形的顶点坐标、宽度、高度，直至外接矩形高度大于宽度2倍时停止更新水平线段集合；
步骤3，匹配上一帧图像的车辆特征描述子、当前帧图像的车辆特征描述子，找到同一辆车在连续两帧图像中的关联信息；
步骤4，根据车辆特征描述子的更新信息生成车辆运动轨迹，再由车辆运动轨迹分析车辆行为。
2.根据权利要求1所述的车辆行为识别方法，其特征在于：步骤2中在水平线段集合停止更新后，舍去水平线段数目小于20的水平线段集合，舍去外接矩形高度小于宽度1/3且外接矩形宽度小于车道宽度1/2的水平线段集合，以最后更新的水平线段集合作为当前帧图像的车辆特征描述子。
3.根据权利要求1或2所述的车辆行为识别方法，其特征在于步骤3中，相邻两帧图像车辆特征描述子满足如下条件时判定为同一车辆的特征描述子：外接矩形区域重合度在2/3以上，或者外接矩形形心距离最短的同时水平线段平均宽度变化小于10％，将上一帧图像中未能匹配的车辆特征描述子从车辆特征描述子记录中删除，将当前帧图像中未能匹配的车辆特征描述子加入到车辆特征描述子记录中。
4.根据权利要求3所述的车辆行为识别方法，其特征在于：步骤4按如下方法确定车辆运动轨迹：计算匹配成功的车辆描述子在连续两帧中外接矩形形心坐标分别在x和y方向上的距离变化，对连续n帧中车辆特征描述子中外接矩形形心坐标变化值进行中值滤波得到车辆运行方向和幅度，再由车辆运动方向和幅度确定车辆运动轨迹，n为大于2的整数。
5.根据权利要求1或4所述的车辆行为识别方法，其特征在于：步骤1中的图像预处理：将输入图像灰度化，对灰度化后的图像进行旋转、缩放、兴趣区域拓取变换处理，将旋转、缩放、兴趣区域拓取的级联运算集成到一个查找表中，对变换处理后的图像进行中值滤波，得到检测区域的规范化图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410216944.2A CN103996028B (zh) | 2014-05-21 | 2014-05-21 | 一种车辆行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410216944.2A CN103996028B (zh) | 2014-05-21 | 2014-05-21 | 一种车辆行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103996028A CN103996028A (zh) | 2014-08-20 |
| CN103996028B true CN103996028B (zh) | 2017-04-05 |
Family
ID=51310189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410216944.2A Active CN103996028B (zh) | 2014-05-21 | 2014-05-21 | 一种车辆行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103996028B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616321B (zh) * | 2015-02-09 | 2019-02-12 | 公安部第一研究所 | 一种基于尺度不变特征变换的行李图像运动行为描述方法 |
| CN109086740B (zh) * | 2018-08-25 | 2019-08-23 | 上海首安工程技术有限公司 | 分级式渡口安检机构 |
| CN108985282B (zh) * | 2018-09-21 | 2021-04-02 | 中国铁道科学研究院集团有限公司铁道科学技术研究发展中心 | 一种识别高速动车组低锥度蛇行晃车特征的信号处理方法 |
| CN110188631A (zh) * | 2019-05-14 | 2019-08-30 | 重庆大学 | 一种高速公路隧道车灯分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101800890A (zh) * | 2010-04-08 | 2010-08-11 | 北京航空航天大学 | 一种高速公路监控场景下多车辆视频跟踪方法 |
| JP2011028589A (ja) * | 2009-07-27 | 2011-02-10 | Seiko Precision Inc | 移動体の追跡装置、移動体の追跡方法及びプログラム |
| CN102456225A (zh) * | 2010-10-22 | 2012-05-16 | 深圳中兴力维技术有限公司 | 一种视频监控系统及其运动目标检测与跟踪方法 |
| CN102496276A (zh) * | 2011-12-01 | 2012-06-13 | 青岛海信网络科技股份有限公司 | 一种高效车辆检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7650030B2 (en) * | 2004-12-03 | 2010-01-19 | Sarnoff Corporation | Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras |
-
2014
- 2014-05-21 CN CN201410216944.2A patent/CN103996028B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011028589A (ja) * | 2009-07-27 | 2011-02-10 | Seiko Precision Inc | 移動体の追跡装置、移動体の追跡方法及びプログラム |
| CN101800890A (zh) * | 2010-04-08 | 2010-08-11 | 北京航空航天大学 | 一种高速公路监控场景下多车辆视频跟踪方法 |
| CN102456225A (zh) * | 2010-10-22 | 2012-05-16 | 深圳中兴力维技术有限公司 | 一种视频监控系统及其运动目标检测与跟踪方法 |
| CN102496276A (zh) * | 2011-12-01 | 2012-06-13 | 青岛海信网络科技股份有限公司 | 一种高效车辆检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于视频的车辆检测与跟踪研究进展;钱志明等;《中南大学学报》;20130731;第222-227页 * |
| 用于智能交通的运动车辆跟踪算法;高韬等;《中国公路学报》;20100531;第89-94页 * |
| 红外序列图像中行人检测与跟踪算法研究;胡瑞光;《中国优秀硕士学位论文全文数据库》;20091215;第I138-805页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103996028A (zh) | 2014-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mandellos et al. | A background subtraction algorithm for detecting and tracking vehicles | |
| Lai et al. | Image-based vehicle tracking and classification on the highway | |
| Chen et al. | An enhanced segmentation on vision-based shadow removal for vehicle detection | |
| CN103996028B (zh) | 一种车辆行为识别方法 | |
| Toropov et al. | Traffic flow from a low frame rate city camera | |
| CN107256633B (zh) | 一种基于单目摄像头三维估计的车型分类方法 | |
| Siogkas et al. | Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection | |
| CN104952256A (zh) | 一种基于视频信息的交叉口处车辆的检测方法 | |
| Zang et al. | Object classification and tracking in video surveillance | |
| Huang et al. | Reliable moving vehicle detection based on the filtering of swinging tree leaves and raindrops | |
| Huang et al. | Real-time multi-vehicle tracking based on feature detection and color probability model | |
| Ghahremannezhad et al. | A new adaptive bidirectional region-of-interest detection method for intelligent traffic video analysis | |
| Rashid et al. | Detection and classification of vehicles from a video using time-spatial image | |
| CN113763427A (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| Yao et al. | An improved mixture-of-Gaussians background model with frame difference and blob tracking in video stream | |
| CN113516853B (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
| CN107169439A (zh) | 一种行人车辆检测与分类方法 | |
| Sharma et al. | Automatic vehicle detection using spatial time frame and object based classification | |
| Russell et al. | Vehicle detection based on color analysis | |
| Khoshki et al. | Improved Automatic License Plate Recognition (ALPR) system based on single pass Connected Component Labeling (CCL) and reign property function | |
| Liu et al. | Vehicle capturing and counting using a new edge extraction approach | |
| Sridevi et al. | Automatic generation of traffic signal based on traffic volume | |
| Mishra et al. | Human motion detection and video surveillance using MATLAB | |
| Sri Jamiya et al. | A survey on vehicle detection and tracking algorithms in real time video surveillance | |
| Li et al. | Effective moving objects detection based on clustering background model for video surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |