CN103680145A - 一种基于局部图像特征的人车自动识别方法 - Google Patents

Abstract

本发明提出了一种基于局部图像特征的人车自动识别方法，所述方法通过帧间差分的运动目标检测方法检测视频中运动的人和车；对视频中的每帧源图像进行预处理和定位分割后对其进行局部图像特征的提取；用支持向量机对人车进行学习和分类，最终达到人车识别的目的。该方法用具有唯一性和不变性的局部图像特征来表征目标，对于光照、旋转视点等具有很好的鲁棒性，对于遮挡时候极值点的缺失依然能够实现识别。对我国城市混合交通环境的适应性强，可有效区分道路上的行人和车辆，对整顿交通秩序，缓解道路拥挤，减少事故伤亡等均可起到积极作用。

Description

一种基于局部图像特征的人车自动识别方法

技术领域

本发明属于图像处理、视频监控和交通安全技术领域，具体指的是一种基于局部图像特征的人车自动识别方法。

背景技术

目标的识别与分类方法主要包括两个主要步骤：一是目标的表达即目标的建模过程，二是识别方法与分类器设计。目标的表达方法包括基于全局特征建模和基于局部特征建模或者混合建模三种。具体的对象包括目标的形状、边界或者是反映区域的灰度、颜色、纹理和角点特征等。近年来，局部图像特征快速发展，在很多领域取得了广泛成功的应用，这方面的研究也成为机器视觉领域中的新兴课题。与线特征、纹理特征、结构特征等全局特征相比而言有很多优势。局部图像特征在图像中数量多，特征之间的相关度小，即使在遮挡的情况下依然不会消失或者影响到其他特征的检测和匹配。

帧间差分法通过对视频数据中相邻图像帧做差分或“相减”运算，利用视频数据中相邻图像帧的强相关性进行变化检测，从而检测出运动目标。它通过直接比较相邻图像帧对应象素点的灰度值的不同，然后通过选取阈值来提取视频数据中的运动目标区域。

HSV（Hue，Saturation，Value色调、饱和度、明度）色彩空间是一种常用的视觉颜色模型。HSV模型反映了较强的感知特征，更准确地表示视觉颜色之间的关系，在颜色处理和识别上具有较大的优势。

支持向量机将特征向量映射到一个更高维的空间里，在这个空间里建立一个最大间隔超平面。它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。

发明内容

本发明所要解决的技术问题是为了克服现有技术的不足，提出一种对车辆和行人的自动检测和识别方法。所述方法充分发挥监控的实时性和主动性，在异常情况发生时及时发出警报或提供有用信息。

为了解决上述技术问题，本发明所采用的技术方案是：

一种基于局部图像特征的人车自动识别方法，包括如下步骤：

步骤A，采集道路视频数据；

步骤B，对步骤A得到的视频数据中的每相邻两帧源图像，采用帧间差分法进行运动目标检测，得到运动目标图像区域；

步骤C，对步骤B获得的运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，将步骤B获得的运动目标图像区域转换成运动目标HSV空间图像区域，并对运动目标HSV空间图像区域中与目标对应的局部HSV空间图像做归一化，得到归一化局部HSV空间图像；

步骤D，对步骤C获得的归一化局部HSV空间图像提取运动目标特征描述符；所述运动目标特征描述符为局部图像特征描述符；

步骤E，对步骤D中获得的运动目标特征描述符进行运动目标特征描述符聚类，构建特征分布直方图，将直方图作为输入向量，利用支持向量机完成对人车的识别和分类。

步骤D中，所述提取运动目标特征描述符的过程如下：

步骤D-1，根据步骤C获得的归一化局部HSV空间图像构建高斯金字塔；

步骤D-2，将步骤D-1获得的高斯金字塔中分辨率相同且相邻两层的图像相减得到DoG（Difference of Gaussian）金字塔；

步骤D-3，将步骤D-2获得的DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较；如果该像素点为最大点或者最小点，则判定该像素点为极值点，存储该极值点的位置和尺度信息；

步骤D-4，以步骤D-3获得的极值点为中心，取w×w的采样窗口，以这个采样窗口的每个像素点计算特征值向量，用所有特征值向量的协方差矩阵生成一个描述符；w为自然数。

步骤D-4中，w的取值为3.

步骤E中，所述运动目标特征描述符聚类采用k-means方法。

步骤E中，构建特征分布直方图的方法是BOW（Bag of Words）方法。

本发明的有益效果是：本发明提出了一种基于局部图像特征的人车自动识别方法，所述方法通过帧间差分的运动目标检测方法检测视频中运动的人和车；对视频中的每帧源图像进行预处理和定位分割后对其进行局部图像特征的提取；用支持向量机对人车进行学习和分类，最终达到人车识别的目的。该方法用具有唯一性和不变性的局部图像特征来表征目标，对于光照、旋转视点等具有很好的鲁棒性，对于遮挡时候极值点的缺失依然能够实现识别。对我国城市混合交通环境的适应性强，可有效区分道路上的行人和车辆，对整顿交通秩序，缓解道路拥挤，减少事故伤亡等均可起到积极作用。

附图说明

图1是本发明的一种基于局部图像特征的人车自动识别方法的流程图。

具体实施方式

下面结合附图，对本发明提出的一种基于局部图像特征的人车自动识别方法进行详细说明：

如图1所示，本发明的一种基于局部图像特征的人车自动识别方法，其步骤如下

步骤101，采集道路视频数据；

步骤102，对步骤101得到的视频数据中的运动目标进行检测；

步骤103，对步骤102得到的各个运动目标图像区域分别进行预处理；

步骤104，对步骤103获得的归一化局部HSV空间图像提取颜色、梯度模值和梯度方向等不同类型的运动目标的局部图像特征；

步骤105，将步骤104获得的运动目标的特征向量作为输入向量，运用支持向量机达到人车分类识别的目的。

下面结合图1详细说明本发明的基于局部图像特征的人车自动识别方法。

1.基于帧间差分法的运动目标检测

帧间差分方法通过对视频数据中相邻两帧做差分或“相减”运算，利用视频数据中相邻帧的强相关性进行变化检测，从而检测出运动目标。它通过直接比较相邻帧对应象素点的灰度值的不同，然后通过选取阈值来提取视频数据中的运动目标区域。在视频数据中，第k帧图像f_k(x,y)和第k+1帧图像f_k+1(x,y)之间的变化可用二值差分图像D(x,y)表示如下：

式中T为差分图像二值化的阈值。二值差分图像中为1的部分由前后两帧对应象素灰度值发生变化的部分组成，通常包括运动目标和噪声；为0的部分由前后两帧对应象素灰度值不发生变化的部分组成。

2.运动目标图像区域的预处理

由于原始视频图像一般为彩色的，所以首先需要根据如下公式对运动目标图像区域进行灰度化：Y=0.299*R+0.587*G+0.114*B；其中Y是像素灰度值、R、G、B分别是红、绿、蓝三基色。

接着用二值阈值分割方法对上述灰度图像进行二值分割，将运动目标图像区域转换成HSV空间图像区域，采用线性标准化方法对运动目标HSV空间图像区域中与目标对应的局部HSV空间图像做归一化，得到归一化局部HSV空间图像。

3.运动目标的局部图像特征提取

这一环节主要有两个关键的实现步骤：极值点检测和极值点描述。极值点是在不同尺度空间的图像上检测出的具有方向信息的局部极值点，包括尺度、方向和大小三个特征信息。借助尺度空间理论，我们可以通过对原始图像进行尺度变换，获得不同尺度下图像的主轮廓，实现边缘检测、角点检测和特征提取。

一幅图像的尺度空间定义为：L(x,y,σ)=G(x,y,σ)*I(x,y)    （2）高斯函数梯度算子定义为： ${\▿}^{2}G=\frac{{\∂}^{2}G}{{\∂x}^2}+\frac{{\∂}^{2}G}{{\∂y}^2}---\left(3\right)$ 其中，

表示拉普拉斯算子；

是尺度可变的高斯函数，(x,y)是空间坐标；σ是尺度坐标，是该高斯函数的标准差；I(x,y)表示初始图像。尺度越大的图像越模糊，尺度越小的图像越精细，这样可以模拟人类视觉系统由远及近的看目标图像的过程。

我们通过对图像做高斯平滑和降采样来构建高斯金字塔，由尺度规范化LoG算子推导出DoG算子。建立的DoG金字塔具有尺度不变性，有助于精确定位极值点。

LoG算子定义为： ${\mathrm{\σ}}^2{\▿}^{2}G={\∂}^2(\frac{{\∂}^{2}G}{{\∂x}^2}+\frac{{\∂}^{2}G}{{\∂y}^2})---\left(4\right)$ 推导出LoG与GoG的差之间的关系：

$G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})\≈(k-1){\mathrm{\σ}}^2{\▿}^{2}G---\left(5\right)$ 构造高斯差分尺度空间如下：

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=L(x,y,kσ)-L(x,y,σ)    （6）

DoG只需计算相邻尺度高斯平滑后的图像相减。利用尺度不变性找到极值点。将DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较。如果该像素点为最大点或者最小点，就得到了一个极值点。具体的，对空间尺度函数进行泰勒展开：

$D(x,y,\mathrm{\σ})=D(x,y,\mathrm{\σ})+\frac{{\∂D}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^2{D}^T}{{\∂x}^2}x---\left(7\right)$

求解极值点的精确位置： $\hat{x}=-\frac{{\∂D}^T}{\∂x}(\frac{{\∂}^{2}D}{{\∂x}^2}{)}^{-1}---\left(8\right)$

以极值点I(x,y)为中心，取w×w的采样窗口，以这个采样窗口的每个像素点计算特征值h(x,y),s(x,y),v(x,y)，h(x,y),s(x,y),v(x,y)分别代表的是HSV颜色空间的色度、饱和度和亮度。

分别代表x和y方向的梯度模值。

计算梯度方向，在0到180度的范围内，如下式：

${\mathrm{\θ}(x,y)}_G=G(x,y)\×{\tan }^{-1}\left(\frac{\∂I(x,y)}{\∂y}\frac{\∂I(x,y)}{\∂x}\right)$

最后生成每个像素的特征向量：

$z_k={({\left|\frac{\∂I(x,y)}{\∂x}\right|}_G,{\left|\frac{\∂I(x,y)}{\∂y}\right|}_G,{\mathrm{\θ}(x,y)}_G,h(x,y),s(x,y),v(x,y))}^T,$ 其中G(x,y)为高斯加权函数。

生成特征点描述符： $D=\frac{1}{n-1}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}(z_k-u){(z_k-u)}^T,$ 其中 $u=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{z}_k$ 为特征向量的平均值，n为极值点个数。

该描述符是一个6×6的协方差矩阵，它融合了特征点周围像素的3大类6种可能相关的图像特征，将这些附加的图像信息赋予特征点，增强了对其的描述。由于协方差矩阵的计算与向量的输入顺序以及数量无关，也就是说与采样像素的顺序与数量无关，这一特性直接赋予了描述符尺度及旋转的不变性。用HSV颜色，而不是RGB颜色，进一步降低了光照变化对特征点描述符的影响，这些确保了该描述符在不变性方面的性能。

常用的特征点描述符多为数值向量。数值向量的距离计算采用简单的欧氏距离的方法就能够处理。该描述符是一个6×6的协方差矩阵，因此不能采用计算欧氏距离的方法进行评价，可以利用协方差矩阵距离评价方法。两个描述符的距离采用以下公式计算：

$\mathrm{\ρ}(D_1,D_2)=\sqrt{\underset{i=1}{\overset{\dim }{\mathrm{\Σ}}}{\ln }^2{\mathrm{\λ}}_1(D_1,D_2)}$

其中D₁和D₂为两个协方差矩阵，ρ(D₁,D₂)表示它们的距离，λ₁(D₁,D₂)表示D₁和D₂的广义本征值，由下式计算：

λ₁D₁x_i-D₂x_i=0,i=1,L,dim

其中，xi≠0为D₁和D₂广义本征向量，dim为广义本征向量的维数，对于该描述符而言，dim=6。距离ρ(D₁,D₂)满足以下公式：

ρ(D₁,D₂)≥0andρ(D₁,D₂)=0onlyif D₁=D₂

ρ(D₁,D₂)=ρ(D₂,D₁)

根据上述公式，我们可以用ρ(D₁,D₂)评价两个描述符的不相似程度。

4.分类与识别

对前一步获得的运动目标特征描述符聚类，采用BoW方法形成特征分布直方图，将直方图作为输入向量，利用支持向量机完成对人车的识别和分类（人用+1表示，车用-1表示）。

通过上述实施方式，可见本发明具有如下优点：

（1）本方法设计了全新框架下的局部图像描述符。这种描述符与现有的流行方法不同，利用颜色、梯度模值和梯度方向来构成特征向量。这种全新的描述符不仅在性能上和行业标准SIFT算法相近，而且适用于一般的图像点，维数也大大的降低了，提高了生成和匹配的速度。

（2）本发明考虑了道路中行人、自行车等的影响，可有效区分道路上的行人和车辆，对我国城市混合交通环境的适应性强，对整顿交通秩序，缓解道路拥挤，减少事故伤亡等均可起到积极作用。

Claims (5)

1.一种基于局部图像特征的人车自动识别方法，其特征在于，包括如下步骤：

步骤A，采集道路视频数据；

步骤B，对步骤A得到的视频数据中的每相邻两帧源图像，采用帧间差分法进行运动目标检测，得到运动目标图像区域；

步骤C，对步骤B获得的运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景；将步骤B获得的运动目标图像区域转换成运动目标HSV空间图像区域，并对运动目标HSV空间图像区域中与目标对应的局部HSV空间图像做归一化，得到归一化局部HSV空间图像；

步骤D，对步骤C获得的归一化局部HSV空间图像提取运动目标特征描述符；所述运动目标特征描述符为局部图像特征描述符；

步骤E，对步骤D中获得的运动目标特征描述符进行运动目标特征描述符聚类，构建特征分布直方图，将直方图作为输入向量，利用支持向量机完成对人车的识别和分类。

2.根据权利要求1所述的一种基于局部图像特征的人车自动识别方法，其特征在于，步骤D中，所述提取运动目标特征描述符的过程如下：

步骤D-1，根据步骤C获得的归一化局部HSV空间图像构建高斯金字塔；

步骤D-2，将步骤D-1获得的高斯金字塔中分辨率相同且相邻两层的图像相减得到DoG金字塔；

步骤D-3，将步骤D-2获得的DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较；如果该像素点为最大点或者最小点，则判定该像素点为极值点，存储该极值点的位置和尺度信息；

步骤D-4，以步骤D-3获得的极值点为中心，取w×w的采样窗口，以这个采样窗口的每个像素点计算特征值向量，用所有特征值向量的协方差矩阵生成一个描述符；w为自然数。

3.根据权利要求2所述的一种基于局部图像特征的人车自动识别方法，其特征在于，步骤D-4中，w的取值为3。

4.根据权利要求1所述的一种基于局部图像特征的人车自动识别方法，其特征在于，步骤E中，所述运动目标特征描述符聚类采用k-means方法。

5.根据权利要求1所述的一种基于局部图像特征的人车自动识别方法，其特征在于，步骤E中，构建特征分布直方图的方法是BOW方法。