CN103680145B - 一种基于局部图像特征的人车自动识别方法 - Google Patents
一种基于局部图像特征的人车自动识别方法 Download PDFInfo
- Publication number
- CN103680145B CN103680145B CN201310658936.9A CN201310658936A CN103680145B CN 103680145 B CN103680145 B CN 103680145B CN 201310658936 A CN201310658936 A CN 201310658936A CN 103680145 B CN103680145 B CN 103680145B
- Authority
- CN
- China
- Prior art keywords
- people
- local
- moving target
- image
- local image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012706 support-vector machine Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000008034 disappearance Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于局部图像特征的人车自动识别方法,所述方法通过帧间差分的运动目标检测方法检测视频中运动的人和车;对视频中的每帧源图像进行预处理和定位分割后对其进行局部图像特征的提取;用支持向量机对人车进行学习和分类,最终达到人车识别的目的。该方法用具有唯一性和不变性的局部图像特征来表征目标,对于光照、旋转视点等具有很好的鲁棒性,对于遮挡时候极值点的缺失依然能够实现识别。对我国城市混合交通环境的适应性强,可有效区分道路上的行人和车辆,对整顿交通秩序,缓解道路拥挤,减少事故伤亡等均可起到积极作用。
Description
技术领域
本发明属于图像处理、视频监控和交通安全技术领域,具体指的是一种基于局部图像特征的人车自动识别方法。
背景技术
目标的识别与分类方法主要包括两个主要步骤:一是目标的表达即目标的建模过程,二是识别方法与分类器设计。目标的表达方法包括基于全局特征建模和基于局部特征建模或者混合建模三种。具体的对象包括目标的形状、边界或者是反映区域的灰度、颜色、纹理和角点特征等。近年来,局部图像特征快速发展,在很多领域取得了广泛成功的应用,这方面的研究也成为机器视觉领域中的新兴课题。与线特征、纹理特征、结构特征等全局特征相比而言有很多优势。局部图像特征在图像中数量多,特征之间的相关度小,即使在遮挡的情况下依然不会消失或者影响到其他特征的检测和匹配。
帧间差分法通过对视频数据中相邻图像帧做差分或“相减”运算,利用视频数据中相邻图像帧的强相关性进行变化检测,从而检测出运动目标。它通过直接比较相邻图像帧对应象素点的灰度值的不同,然后通过选取阈值来提取视频数据中的运动目标区域。
HSV(Hue,Saturation,Value色调、饱和度、明度)色彩空间是一种常用的视觉颜色模型。HSV模型反映了较强的感知特征,更准确地表示视觉颜色之间的关系,在颜色处理和识别上具有较大的优势。
支持向量机将特征向量映射到一个更高维的空间里,在这个空间里建立一个最大间隔超平面。它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。
发明内容
本发明所要解决的技术问题是为了克服现有技术的不足,提出一种对车辆和行人的自动检测和识别方法。所述方法充分发挥监控的实时性和主动性,在异常情况发生时及时发出警报或提供有用信息。
为了解决上述技术问题,本发明所采用的技术方案是:
一种基于局部图像特征的人车自动识别方法,包括如下步骤:
步骤A,采集道路视频数据;
步骤B,对步骤A得到的视频数据中的每相邻两帧源图像,采用帧间差分法进行运动目标检测,得到运动目标图像区域;
步骤C,对步骤B获得的运动目标图像区域进行灰度化,用二值阈值分割方法将运动目标图像区域分割成目标和背景,将步骤B获得的运动目标图像区域转换成运动目标HSV空间图像区域,并对运动目标HSV空间图像区域中与目标对应的局部HSV空间图像做归一化,得到归一化局部HSV空间图像;
步骤D,对步骤C获得的归一化局部HSV空间图像提取运动目标特征描述符;所述运动目标特征描述符为局部图像特征描述符;
步骤E,对步骤D中获得的运动目标特征描述符进行运动目标特征描述符聚类,构建特征分布直方图,将直方图作为输入向量,利用支持向量机完成对人车的识别和分类。
步骤D中,所述提取运动目标特征描述符的过程如下:
步骤D-1,根据步骤C获得的归一化局部HSV空间图像构建高斯金字塔;
步骤D-2,将步骤D-1获得的高斯金字塔中分辨率相同且相邻两层的图像相减得到DoG(DifferenceofGaussian)金字塔;
步骤D-3,将步骤D-2获得的DoG金字塔中每一层的每个像素点与其同层的八个像素点,以及相邻的上下两层分别九个像素点,一共是26个像素点进行比较;如果该像素点为最大点或者最小点,则判定该像素点为极值点,存储该极值点的位置和尺度信息;
步骤D-4,以步骤D-3获得的极值点为中心,取w×w的采样窗口,以这个采样窗口的每个像素点计算特征值向量,用所有特征值向量的协方差矩阵生成一个描述符;w为自然数。
步骤D-4中,w的取值为3.
步骤E中,所述运动目标特征描述符聚类采用k-means方法。
步骤E中,构建特征分布直方图的方法是BOW(BagofWords)方法。
本发明的有益效果是:本发明提出了一种基于局部图像特征的人车自动识别方法,所述方法通过帧间差分的运动目标检测方法检测视频中运动的人和车;对视频中的每帧源图像进行预处理和定位分割后对其进行局部图像特征的提取;用支持向量机对人车进行学习和分类,最终达到人车识别的目的。该方法用具有唯一性和不变性的局部图像特征来表征目标,对于光照、旋转视点等具有很好的鲁棒性,对于遮挡时候极值点的缺失依然能够实现识别。对我国城市混合交通环境的适应性强,可有效区分道路上的行人和车辆,对整顿交通秩序,缓解道路拥挤,减少事故伤亡等均可起到积极作用。
附图说明
图1是本发明的一种基于局部图像特征的人车自动识别方法的流程图。
具体实施方式
下面结合附图,对本发明提出的一种基于局部图像特征的人车自动识别方法进行详细说明:
如图1所示,本发明的一种基于局部图像特征的人车自动识别方法,其步骤如下
步骤101,采集道路视频数据;
步骤102,对步骤101得到的视频数据中的运动目标进行检测;
步骤103,对步骤102得到的各个运动目标图像区域分别进行预处理;
步骤104,对步骤103获得的归一化局部HSV空间图像提取颜色、梯度模值和梯度方向等不同类型的运动目标的局部图像特征;
步骤105,将步骤104获得的运动目标的特征向量作为输入向量,运用支持向量机达到人车分类识别的目的。
下面结合图1详细说明本发明的基于局部图像特征的人车自动识别方法。
1.基于帧间差分法的运动目标检测
帧间差分方法通过对视频数据中相邻两帧做差分或“相减”运算,利用视频数据中相邻帧的强相关性进行变化检测,从而检测出运动目标。它通过直接比较相邻帧对应象素点的灰度值的不同,然后通过选取阈值来提取视频数据中的运动目标区域。在视频数据中,第k帧图像fk(x,y)和第k+1帧图像fk+1(x,y)之间的变化可用二值差分图像D(x,y)表示如下:
式中T为差分图像二值化的阈值。二值差分图像中为1的部分由前后两帧对应象素灰度值发生变化的部分组成,通常包括运动目标和噪声;为0的部分由前后两帧对应象素灰度值不发生变化的部分组成。
2.运动目标图像区域的预处理
由于原始视频图像一般为彩色的,所以首先需要根据如下公式对运动目标图像区域进行灰度化:Y=0.299*R+0.587*G+0.114*B;其中Y是像素灰度值、R、G、B分别是红、绿、蓝三基色。
接着用二值阈值分割方法对上述灰度图像进行二值分割,将运动目标图像区域转换成HSV空间图像区域,采用线性标准化方法对运动目标HSV空间图像区域中与目标对应的局部HSV空间图像做归一化,得到归一化局部HSV空间图像。
3.运动目标的局部图像特征提取
这一环节主要有两个关键的实现步骤:极值点检测和极值点描述。极值点是在不同尺度空间的图像上检测出的具有方向信息的局部极值点,包括尺度、方向和大小三个特征信息。借助尺度空间理论,我们可以通过对原始图像进行尺度变换,获得不同尺度下图像的主轮廓,实现边缘检测、角点检测和特征提取。
一幅图像的尺度空间定义为:L(x,y,σ)=G(x,y,σ)*I(x,y)(2)高斯函数梯度算子定义为: 其中,表示拉普拉斯算子;是尺度可变的高斯函数,(x,y)是空间坐标;σ是尺度坐标,是该高斯函数的标准差;I(x,y)表示初始图像。尺度越大的图像越模糊,尺度越小的图像越精细,这样可以模拟人类视觉系统由远及近的看目标图像的过程。
我们通过对图像做高斯平滑和降采样来构建高斯金字塔,由尺度规范化LoG算子推导出DoG算子。建立的DoG金字塔具有尺度不变性,有助于精确定位极值点。
LoG算子定义为: 推导出LoG与GoG的差之间的关系:
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=L(x,y,kσ)-L(x,y,σ)(6)
DoG只需计算相邻尺度高斯平滑后的图像相减。利用尺度不变性找到极值点。将DoG金字塔中每一层的每个像素点与其同层的八个像素点,以及相邻的上下两层分别九个像素点,一共是26个像素点进行比较。如果该像素点为最大点或者最小点,就得到了一个极值点。具体的,对空间尺度函数进行泰勒展开:
求解极值点的精确位置:
以极值点I(x,y)为中心,取w×w的采样窗口,以这个采样窗口的每个像素点计算特征值h(x,y),s(x,y),v(x,y),h(x,y),s(x,y),v(x,y)分别代表的是HSV颜色空间的色度、饱和度和亮度。
分别代表x和y方向的梯度模值。
计算梯度方向,在0到180度的范围内,如下式:
最后生成每个像素的特征向量:
生成特征点描述符: 其中 为特征向量的平均值,n为极值点个数。
该描述符是一个6×6的协方差矩阵,它融合了特征点周围像素的3大类6种可能相关的图像特征,将这些附加的图像信息赋予特征点,增强了对其的描述。由于协方差矩阵的计算与向量的输入顺序以及数量无关,也就是说与采样像素的顺序与数量无关,这一特性直接赋予了描述符尺度及旋转的不变性。用HSV颜色,而不是RGB颜色,进一步降低了光照变化对特征点描述符的影响,这些确保了该描述符在不变性方面的性能。
常用的特征点描述符多为数值向量。数值向量的距离计算采用简单的欧氏距离的方法就能够处理。该描述符是一个6×6的协方差矩阵,因此不能采用计算欧氏距离的方法进行评价,可以利用协方差矩阵距离评价方法。两个描述符的距离采用以下公式计算:
其中D1和D2为两个协方差矩阵,ρ(D1,D2)表示它们的距离,λ1(D1,D2)表示D1和D2的广义本征值,由下式计算:
λ1D1xi-D2xi=0,i=1,L,dim
其中,xi≠0为D1和D2广义本征向量,dim为广义本征向量的维数,对于该描述符而言,dim=6。距离ρ(D1,D2)满足以下公式:
ρ(D1,D2)≥0andρ(D1,D2)=0onlyifD1=D2
ρ(D1,D2)=ρ(D2,D1)
根据上述公式,我们可以用ρ(D1,D2)评价两个描述符的不相似程度。
4.分类与识别
对前一步获得的运动目标特征描述符聚类,采用BoW方法形成特征分布直方图,将直方图作为输入向量,利用支持向量机完成对人车的识别和分类(人用+1表示,车用-1表示)。
通过上述实施方式,可见本发明具有如下优点:
(1)本方法设计了全新框架下的局部图像描述符。这种描述符与现有的流行方法不同,利用颜色、梯度模值和梯度方向来构成特征向量。这种全新的描述符不仅在性能上和行业标准SIFT算法相近,而且适用于一般的图像点,维数也大大的降低了,提高了生成和匹配的速度。
(2)本发明考虑了道路中行人、自行车等的影响,可有效区分道路上的行人和车辆,对我国城市混合交通环境的适应性强,对整顿交通秩序,缓解道路拥挤,减少事故伤亡等均可起到积极作用。
Claims (4)
1.一种基于局部图像特征的人车自动识别方法,其特征在于,包括如下步骤:
步骤A,采集道路视频数据;
步骤B,对步骤A得到的视频数据中的每相邻两帧源图像,采用帧间差分法进行运动目标检测,得到运动目标图像区域;
步骤C,对步骤B获得的运动目标图像区域进行灰度化,用二值阈值分割方法将运动目标图像区域分割成目标和背景;将步骤B获得的运动目标图像区域转换成运动目标HSV空间图像区域,并对运动目标HSV空间图像区域中与目标对应的局部HSV空间图像做归一化,得到归一化局部HSV空间图像;
步骤D,对步骤C获得的归一化局部HSV空间图像提取运动目标特征描述符;所述运动目标特征描述符为局部图像特征描述符;所述提取运动目标特征描述符的过程如下:
步骤D-1,根据步骤C获得的归一化局部HSV空间图像构建高斯金字塔;
步骤D-2,将步骤D-1获得的高斯金字塔中分辨率相同且相邻两层的图像相减得到DoG金字塔;
步骤D-3,将步骤D-2获得的DoG金字塔中每一层的每个像素点与其同层的八个像素点,以及相邻的上下两层分别九个像素点,一共是26个像素点进行比较;如果该像素点为最大点或者最小点,则判定该像素点为极值点,存储该极值点的位置和尺度信息;
步骤D-4,以步骤D-3获得的极值点为中心,取w×w的采样窗口,以这个采样窗口的每个像素点计算特征值向量,用所有特征值向量的协方差矩阵生成一个描述符;w为自然数;
步骤E,对步骤D中获得的运动目标特征描述符进行运动目标特征描述符聚类,构建特征分布直方图,将直方图作为输入向量,利用支持向量机完成对人车的识别和分类。
2.根据权利要求1所述的一种基于局部图像特征的人车自动识别方法,其特征在于,步骤D-4中,w的取值为3。
3.根据权利要求1所述的一种基于局部图像特征的人车自动识别方法,其特征在于,步骤E中,所述运动目标特征描述符聚类采用k-means方法。
4.根据权利要求1所述的一种基于局部图像特征的人车自动识别方法,其特征在于,步骤E中,构建特征分布直方图的方法是BOW方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310658936.9A CN103680145B (zh) | 2013-12-06 | 2013-12-06 | 一种基于局部图像特征的人车自动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310658936.9A CN103680145B (zh) | 2013-12-06 | 2013-12-06 | 一种基于局部图像特征的人车自动识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103680145A CN103680145A (zh) | 2014-03-26 |
CN103680145B true CN103680145B (zh) | 2016-01-20 |
Family
ID=50317558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310658936.9A Expired - Fee Related CN103680145B (zh) | 2013-12-06 | 2013-12-06 | 一种基于局部图像特征的人车自动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103680145B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914844A (zh) * | 2014-04-10 | 2014-07-09 | 南京国安光电科技有限公司 | 一种智能化交通视频图像分割芯片及其实现方法 |
CN104134200B (zh) * | 2014-06-27 | 2017-02-22 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
CN105354547A (zh) * | 2015-10-30 | 2016-02-24 | 河海大学 | 一种结合纹理和彩色特征的行人检测方法 |
CN108241849B (zh) * | 2017-08-28 | 2021-09-07 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
CN109543691A (zh) * | 2018-12-27 | 2019-03-29 | 斑马网络技术有限公司 | 积水识别方法、装置以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101295405A (zh) * | 2008-06-13 | 2008-10-29 | 西北工业大学 | 人像与车辆识别报警跟踪方法 |
CN101807256A (zh) * | 2010-03-29 | 2010-08-18 | 天津大学 | 一种基于多分辨率框架的物体识别检测方法 |
CN101937562A (zh) * | 2010-08-27 | 2011-01-05 | 天津大学 | 灰度级信息量直方图构造方法 |
US8150104B2 (en) * | 2007-12-14 | 2012-04-03 | Fujitsu Limited | Moving object detection apparatus and computer readable storage medium storing moving object detection program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130097868A (ko) * | 2012-02-27 | 2013-09-04 | 주식회사 레이스전자 | 카메라 기반 지능형 주차관제 방법 및 시스템 |
-
2013
- 2013-12-06 CN CN201310658936.9A patent/CN103680145B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8150104B2 (en) * | 2007-12-14 | 2012-04-03 | Fujitsu Limited | Moving object detection apparatus and computer readable storage medium storing moving object detection program |
CN101295405A (zh) * | 2008-06-13 | 2008-10-29 | 西北工业大学 | 人像与车辆识别报警跟踪方法 |
CN101807256A (zh) * | 2010-03-29 | 2010-08-18 | 天津大学 | 一种基于多分辨率框架的物体识别检测方法 |
CN101937562A (zh) * | 2010-08-27 | 2011-01-05 | 天津大学 | 灰度级信息量直方图构造方法 |
Non-Patent Citations (2)
Title |
---|
基于局部图像特征的目标识别和分类方法研究;雷兰一菲;《中国优秀硕士论文全文数据库 信息科技辑》;20120415(第5期);正文第六章 * |
空间金字塔颜色直方图在图像分类中的应用;张鑫等;《计算机工程与应用》;20100621;第46卷(第18期);正文第2节 * |
Also Published As
Publication number | Publication date |
---|---|
CN103680145A (zh) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Abolghasemi et al. | An edge-based color-aided method for license plate detection | |
CN103559507B (zh) | 基于颜色与形状特征相结合的交通标志检测方法 | |
CN105809138B (zh) | 一种基于分块识别的道路警告标志检测与识别方法 | |
CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
CN107330376B (zh) | 一种车道线识别方法及系统 | |
CN101408942B (zh) | 一种复杂背景下的车牌定位方法 | |
TWI384408B (zh) | 影像辨識以及輸出方法與其系統 | |
EP2575077B1 (en) | Road sign detecting method and road sign detecting apparatus | |
CN101859382B (zh) | 一种基于最大稳定极值区域的车牌检测与识别的方法 | |
CN102509098B (zh) | 一种鱼眼图像车辆识别方法 | |
CN107301405A (zh) | 自然场景下的交通标志检测方法 | |
CN103680145B (zh) | 一种基于局部图像特征的人车自动识别方法 | |
CN108009518A (zh) | 一种基于快速二分卷积神经网络的层次化交通标识识别方法 | |
CN105023008A (zh) | 基于视觉显著性及多特征的行人再识别方法 | |
Zang et al. | Traffic sign detection based on cascaded convolutional neural networks | |
Tsai et al. | Road sign detection using eigen colour | |
CN104091157A (zh) | 一种基于特征融合的行人检测方法 | |
CN110008932A (zh) | 一种基于计算机视觉的车辆违章压线检测方法 | |
CN107315990B (zh) | 一种基于xcs-lbp特征的行人检测算法 | |
Wu et al. | Strong shadow removal via patch-based shadow edge detection | |
CN105139011A (zh) | 一种基于标识物图像的车辆识别方法及装置 | |
CN103679196A (zh) | 视频监控中的人车自动分类方法 | |
Hua et al. | Pedestrian-and vehicle-detection algorithm based on improved aggregated channel features | |
CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
CN106407951A (zh) | 一种基于单目视觉的夜间前方车辆检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 Termination date: 20181206 |