CN103679196A - 视频监控中的人车自动分类方法 - Google Patents

Abstract

本发明提出了视频监控中的人车自动分类方法，所述方法通过三帧差分法和背景消减法相结合的运动目标检测方法检测视频中运动的人和车；对视频中的每帧源图像进行预处理和定位分割后对其进行特征提取；用支持向量机对人车进行学习和分类，最终达到人车分类的目的。本发明方法既避免了采用三帧差分法造成运动对象的空洞现象,又可以解决背景消减法中的动态背景更新问题,减少背景噪声的干扰,可有效区别通道上的行人和车辆，减轻交通视频监控人员的工作负担，同时也提高了工作效率；对道路监控，交警派遣等工作都有着重要意义。

Description

视频监控中的人车自动分类方法

技术领域

本发明属于图像处理、视频监控和交通安全技术领域，具体指的是视频监控中的人车自动分类方法。

背景技术

目前的智能化交通视频监控系统主要针对车辆的检测，如车辆的类别、大小、速度等，往往不考虑行人问题，也就是假设视频中不会出现行人，或对行人目标不加考虑，仅仅检测和提取行驶的车辆目标，并加以处理。然而在越来越多的城市快速交通中，隧道、大桥等通道往往只允许机动车辆通过，禁止行人进入。上述交通视频监控系统无法处理这种情形。如果通过人来完成，费时又费力。通过视频监控对入侵的行人自动报警将大大提高工作效率，同时减轻交通视频监控人员的工作负担。

三帧差分算法能够去除因为运动而显露的背景的影响，准确得到运动目标的轮廓。它计算简单，对动态环境有很好的适应性，但不能提取出目标的所有相关点，容易在目标内部形成空洞，而且要求背景绝对静止或基本无变化、噪声小，因而适用场合有限。

背景消减法是在背景静止情况下常用的运动目标检测方法，很适合用来在背景图像随时间改变不大的情况下检测运动目标。它操作简单，能够提供完全的特征数据，但对目标的检测能力较低，尤其对天气、光照等噪声干扰特别敏感。

支持向量机将特征向量映射到一个更高维的空间里，在这个空间里建立一个最大间隔超平面。它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。

发明内容

本发明所要解决的技术问题是为了克服现有技术的不足，提出视频监控中的人车自动分类方法。所述方法充分发挥监控的实时性和主动性，在异常情况发生时及时发出警报或提供有用信息。

为了解决上述技术问题，本发明所采用的技术方案是：

视频监控中的人车自动分类方法，包括如下步骤：

步骤A，采集道路视频数据；

步骤B，对步骤A得到的视频数据中的每相邻三帧源图像，依次采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域；

步骤C，对步骤B获得的各个运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，并对步骤B获得的运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像；

步骤D，对步骤C获得的归一化局部图像提取运动目标特征向量；所述运动目标特征向量为基于尺度空间的图像局部特征向量；

步骤E，将步骤D中获得的运动目标特征向量作为输入向量，利用支持向量机完成对人车的识别和分类。

步骤B中，所述运动目标检测的过程如下：

步骤B-1，对所述步骤A中得到的视频数据中的相邻三帧图像使用三帧差分法，得到中间图像S；

步骤B-2，对所述相邻三帧源图像中的最后一帧使用背景消减法，得到中间图像T；

步骤B-3，分别对中间图像S和T二值化，得到二值化图像Ss和Tt；

步骤B-4，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P；

步骤B-5，对中间图像P进行后处理，以去除小的噪声区域，并平滑分割出运动目标的边界。

步骤B-5中，所述后处理包括连通区域分析和形态学滤波。

步骤D中，所述提取运动目标特征向量，其过程如下：

步骤D-1，根据步骤C获得的归一化局部图像构建高斯金字塔；

步骤D-2，将高斯金字塔中分辨率相同且尺度相邻的图像相减得到DoG（Difference of Gaussian）金字塔；

步骤D-3，将DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较；如果该像素点为最大点或者最小点，就得到了一个极值点，并记下其位置和尺度；

步骤D-4，在每个极值点所在的尺度上，计算极值点的方向；对每个极值点进行特征描述时，将极值点周围16×16的矩形邻域进行坐标变换旋转到该极值点的主方向，按照8个方向对每个4×4网格中的采样点进行梯度强度求和生成一个8维的向量，按序将16个网格生成的向量组合生成128维的特征向量，并对该128维特征向量进行归一化处理。

本发明的有益效果是：本发明提出了视频监控中的人车自动分类方法，所述方法通过三帧差分法和背景消减法相结合的运动目标检测方法检测视频中运动的人和车；对视频中的每帧源图像进行预处理和定位分割后对其进行特征提取；用支持向量机对人车进行学习和分类，最终达到人车分类的目的。本发明方法既避免了采用三帧差分法造成运动对象的空洞现象,又可以解决背景消减法中的动态背景更新问题,减少背景噪声的干扰,可有效区别通道上的行人和车辆，减轻交通视频监控人员的工作负担，同时也提高了工作效率；对道路监控，交警派遣等工作都有着重要意义。

附图说明

图1是本发明的视频监控中的人车自动分类方法的流程图。

图2是根据本发明的结合三帧差分法和背景消减法的运动目标检测方法的流程图。

具体实施方式

下面结合附图，对本发明提出的视频监控中的人车自动分类方法进行详细说明：

如图1所示，本发明的视频监控中的人车自动分类方法，其步骤如下

步骤101，采集道路视频数据；

步骤102，对步骤101得到的视频数据中的运动目标进行检测；

步骤103，对步骤102得到的各个运动目标图像区域分别进行预处理；

步骤104，对步骤103获得的归一化局部图像提取具有缩放、旋转、平移甚至对仿射变换、光照变化及投影变换不变性的运动目标特征向量；

步骤105，将步骤104获得的运动目标特征向量作为输入向量，运用支持向量机达到人车分类识别的目的。

下面结合图1详细说明本发明的视频监控中的人车自动分类方法。

1.运动目标检测方法

如图2所示，该方法主要由三帧差分法、背景消减法、背景更新、运动检测、连通区域分析、形态学滤波等部分组成。首先对视频数据中的每相邻三帧源图像依次采用三帧差分法和背景消减法进行运动目标检测，得到中间图像S和T，分别对中间图像S和T二值化，得到二值化图像Ss和Tt，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P，对中间图像P进行必要的后处理，包括连通区域分析和形态学滤波（如腐蚀、膨胀等）以去除小的噪声区域，并平滑分割出运动目标的边界。

背景消减法是在背景静止情况下常用的运动目标检测方法。其基本思想是将当前图像与事先存储或者实时得到的背景图像相减，差值大于一定阈值的象素点就被认为是运动目标上的点，否则就认为该点为背景点，很适合用来在背景图像随时间改变不大的情况下检测运动目标。通过比较当前源图像fk（x，y）和背景图像Bk（x，y）灰度值的差异，可以得到差分图像D_bk（x，y），计算公式如下：

$D_{\mathrm{bk}}(x,y)=\left\{\begin{array}{c}1,\mathrm{if}|w*B_k(x,y)-w*f_k(x,y)|>T\\ 0,\mathrm{otherwise}\end{array}\right.$

其中，T为阈值，可以采用自适应阈值分割方法获得；ｗ为抑制噪声的窗口函数，这里采用中值滤波。

三帧差分法能够去除因为运动而显露的背景的影响，准确得到运动目标的轮廓。其基本算法如下：

视频数据中连续三帧源图像为f(k-1),f(k+1)和f(k)，分别计算相邻两帧源图像的灰度差图像，计算公式如下

D_k-1,k(x,y)=|w*f_k-1(x,y)-w*f_k(x,y)|

$D_{\mathrm{bk}}(x,y)=\left\{\begin{array}{c}1,\mathrm{if}|w*B_k(x,y)-w*f_k(x,y)|>T\\ 0,\mathrm{otherwise}\end{array}\right.$

其中，ｗ是一个抑制噪声的窗口函数。由于均值滤波会使图像模糊化，从而失去边缘信息，我们选用窗口为3×3的中值滤波函数来抑制噪声。

对D_k-1,_k(x,y)和D_k+1,k(x,y)分别取阈值以进行二值化，得到两个二值化图像B_k-1,k(x,y)和B_k+1,k(x,y)。将B_k-1,k(x,y)和B_k+1,k(x,y)在每一个对应像素位置进行逻辑与操作，得到三帧差分法的结果—二值图像D_sk（x，y），计算公式如下

D_sk(x,y)=B_k-1,k(x,y)∩B_k,k+1(x,y)

从三帧差分到二值图像D_sk（x，y）能检测到比较准确的运动目标轮廓，但是只包含了部分信息。由于目标物体上的部分灰度可能与背景灰度相近，用背景消减法得到的前景图像D_bk（x，y）未能将运动信息完整的检测出来，而背景消减法漏检的这一部分在三帧差分法中正好被检测出来，因此在每一个象素位置将D_sk（x，y）和D_bk（x，y）逻辑“或”操作后可以得到比较完整的前景图像F_k（x，y）：

$F_k(x,y)=D_s^k(x,y)\∪D_b^k(x,y)$

2.运动目标图像区域的预处理

由于原始视频图像一般为彩色的，所以首先需要根据如下公式对运动目标图像区域进行灰度化：Y=0.299*R+0.587*G+0.114*B。

接着用二值阈值分割方法对上述灰度图像进行二值分割，采用线性标准化方法将运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像。

3.运动目标特征向量的提取

这一环节主要有两个关键的实现步骤：极值点检测和极值点描述。极值点是在不同尺度空间的图像上检测出的具有方向信息的局部极值点，包括尺度、方向和大小三个特征信息。借助尺度空间理论，我们可以通过对原始图像进行尺度变换，获得不同尺度下图像的主轮廓，实现边缘检测、角点检测和特征提取。

一幅图像的尺度空间定义为：L(x,y,σ)=G(x,y,σ)*I(x,y)（22）高斯函数梯度算子定义为： ${\▿}^{2}G=\frac{{\∂}^{2}G}{{\∂x}^2}+\frac{{\∂}^{2}G}{{\∂y}^2}---\left(23\right)$ 其中，

是尺度可变的高斯函数，(x,y)是空间坐标，σ是尺度坐标。尺度越大的图像越模糊，尺度越小的图像越精细，这样可以模拟人类视觉系统由远及近的看目标图像的过程。

我们通过对图像做高斯平滑和降采样来构建高斯金字塔，由尺度规范化LoG算子推导出DoG算子。建立的DoG金字塔具有尺度不变性，有助于精确定位极值点。

LoG算子定义为： ${\mathrm{\σ}}^2{\▿}^{2}G={\mathrm{\σ}}^2(\frac{{\∂}^{2}G}{{\∂x}^2}+\frac{{\∂}^{2}G}{{\∂y}^2})---\left(24\right)$

$\mathrm{LoG}(x,y,\mathrm{\σ})={\mathrm{\σ}}^2{\▿}^{2}G\≈\frac{\mathrm{Gauss}(x,y,\mathrm{k\σ})-\mathrm{Gauss}(x,y,\mathrm{\σ})}{{\mathrm{\σ}}^2(k-1)}---\left(25\right)$

推导出LoG与GoG的差之间的关系：

$G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})\≈(k-1){\mathrm{\σ}}^2{\▿}^{2}G---\left(26\right)$

构造高斯差分尺度空间如下：

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=L(x,y,kσ)-L(x,y,σ)（27）

DoG只需计算相邻尺度高斯平滑后的图像相减。利用尺度不变性找到极值点。将DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较。如果该像素点为最大点或者最小点，就得到了一个极值点，并记下其位置和尺度，这样保证了检测到的点是极值点。

首先对空间尺度函数进行泰勒展开：

$D(x,y,\mathrm{\σ})=D(x,y,\mathrm{\σ})+\frac{{\∂D}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^2{D}^T}{{\∂x}^2}x---\left(28\right)$

求解极值点的精确位置：

$\hat{x}=-\frac{{\∂D}^T}{\∂x}{\left(\frac{{\∂}^{2}D}{{\∂x}^2}\right)}^{-1}---\left(29\right)$

将公式（29）带入公式（28）得：

$D\left(\hat{x}\right)=D(x,y,\mathrm{\σ})+\frac{1}{2}\frac{\∂D^T}{\∂x}x---\left(30\right)$

然后计算极值点的梯度，即幅值参数和方向参数。

像素点的梯度表示：

$\mathrm{grad}I(x,y)=(\frac{\∂I}{\∂x},\frac{\∂I}{\∂y})---\left(31\right)$

幅值为:

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(32\right)$

方向为:

$\mathrm{\θ}(x,y)={\tan }^{-1}\left[\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right]---\left(33\right)$

为了保证特征向量具有旋转不变性，对每个极值点进行特征描述时，需要将坐标移动到极值点的主方向。接着利用梯度直方图，统计以极值点为原点的一定范围内的像素点对极值点方向所做的贡献。我们发现采用128维特征向量表示时特征向量的独特性与不变性最好。最后对特征向量进行归一化处理。

4.分类与识别

利用支持向量机进行定量分析，将前一步获得的128维特征向量作为输入向量，对视频中的人车做出类型判断（人用+1表示，车用-1表示）。

通过上述实施方式，可见本发明具有如下优点：

（1）本方法采用三帧差分法和背景消减法相结合的运动目标检测方法。首先利用视频图像相邻帧的三帧差分获得初步的运动对象与背景的分割,接着利用分割出的背景建立动态的背景模型,最后采用背景消减的方法提取运动目标。这种方法既避免了采用三帧差分法造成运动对象的空洞现象,又可以解决背景消减法中的动态背景更新问题,减少背景噪声的干扰，为后续采用支持向量机方法对车辆和行人进行分类识别奠定坚实的基础。

（2）本发明抽取的是基于尺度空间的图像局部特征，能够从一幅图像中提取出很多个特征向量，这些特征向量对图像缩放、旋转、平移保持一定的不变性，甚至对仿射变换、光照变化及投影变换也有一定的不变性。

（3）本发明可有效区别通道上的行人和车辆，减轻交通视频监控人员的工作负担，同时也提高了工作效率；对道路监控，交警派遣等工作都有着重要意义。

Claims (4)

1.视频监控中的人车自动分类方法，其特征在于，包括如下步骤：

步骤A，采集道路视频数据；

步骤B，对步骤A得到的视频数据中的每相邻三帧源图像，依次采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域；

步骤C，对步骤B获得的各个运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，并对步骤B获得的运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像；

步骤D，对步骤C获得的归一化局部图像提取运动目标特征向量；所述运动目标特征向量为基于尺度空间的图像局部特征向量；

步骤E，将步骤D中获得的运动目标特征向量作为输入向量，利用支持向量机完成对人车的识别和分类。

2.根据权利要求1所述的视频监控中的人车自动分类方法，其特征在于，步骤B中，所述运动目标检测的过程如下：

步骤B-1，对所述步骤A中得到的视频数据中的相邻三帧源图像使用三帧差分法，得到中间图像S；

步骤B-2，对所述相邻三帧源图像中的最后一帧使用背景消减法，得到中间图像T；

步骤B-3，分别对中间图像S和T二值化，得到二值化图像Ss和Tt；

步骤B-4，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P；

步骤B-5，对中间图像P进行后处理，去除噪声，并平滑分割出运动目标的边界。

3.根据权利要求2所述的视频监控中的人车自动分类方法，其特征在于，步骤B-5中，所述后处理包括连通区域分析和形态学滤波。

4.根据权利要求1所述的视频监控中的人车自动分类方法，其特征在于，步骤D中，所述提取运动目标特征向量，其过程如下：

步骤D-1，根据步骤C获得的归一化局部图像构建高斯金字塔；

步骤D-2，将高斯金字塔中分辨率相同且尺度相邻的图像相减得到DoG金字塔；

步骤D-3，将DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较；如果该像素点为最大点或者最小点，则判定为极值点，存储该极值点的位置和尺度信息；

步骤D-4，在每个极值点所在的尺度上，计算极值点的方向；将极值点周围16×16的矩形邻域进行坐标变换旋转到该极值点的主方向，按照8个方向对每个4×4网格中的采样点进行梯度强度求和生成一个8维的向量，按序将16个网格生成的向量组合生成128维的特征向量，并对该128维特征向量进行归一化处理。

Images