CN107862291A - 一种基于深度学习的人车自动分类方法 - Google Patents

Abstract

本发明公开一种基于深度学习的人车自动分类方法，包括以下步骤：首先采集道路视频数据，接着采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域，然后用二值阈值分割方法将运动目标图像区域分割成目标和背景，并归一化局部图像，接下来将归一化局部图像及其标签输入到深度学习神经网络中进行训练，得到人车分类模型，最后将待识别图像输入到训练好的人车分类模型中，完成对人车的识别和分类。本发明摒弃传统的人工提取人车图像特征的方法，利用深度学习神经网络自动提取特征，将特征提取和分类识别合为一体，有利于整体优化。

Description

一种基于深度学习的人车自动分类方法

技术领域

本发明属于图像处理、视频监控和交通安全技术领域，具体指的是一种基于深度学习的人车自动分类方法。

背景技术

目前的智能化交通视频监控系统主要针对车辆的检测，如车辆的类别、大小、速度等，往往不考虑行人问题，也就是假设视频中不会出现行人，或对行人目标不加考虑，仅仅检测和提取行驶的车辆目标，并加以处理。

然而在越来越多的城市快速交通中，隧道、大桥等通道往往只允许机动车辆通过，禁止行人进入。上述交通视频监控系统无法处理这种情形。如果通过人来完成，费时又费力。通过视频监控对入侵的行人自动报警将大大提高工作效率，同时减轻交通视频监控人员的工作负担。

三帧差分算法能够去除因为运动而显露的背景的影响，准确得到运动目标的轮廓。它计算简单，对动态环境有很好的适应性，但不能提取出目标的所有相关点，容易在目标内部形成空洞，而且要求背景绝对静止或基本无变化、噪声小，因而适用场合有限。

背景消减法是在背景静止情况下常用的运动目标检测方法，很适合用来在背景图像随时间改变不大的情况下检测运动目标。它操作简单，能够提供完全的特征数据，但对目标的检测能力较低，尤其对天气、光照等噪声干扰特别敏感。

长期以来，在图像处理和模式识别领域，由手动人工特征所获取的特征来进行分类和识别。在复杂环境条件下，这些特征对识别来说是不够的。深度学习神经网络应运而生，已被大量应用到图像和模式识别领域。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于深度学习的人车自动分类方法。

技术方案：本发明的一种基于深度学习的人车自动分类方法，其特征在于：依次包括以下步骤：

步骤A，采集道路视频数据；

步骤B，对步骤A得到的视频数据中的每相邻三帧源图像，依次采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域；

步骤C，对步骤B获得的各个运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，并对步骤B获得的运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像；

步骤D，将步骤C获得的归一化局部图像及其标签输入到深度学习神经网络中，结合回归模型对所述深度学习神经网络进行训练，获得深度学习网络模型；

步骤E，将待识别局部图像输入到步骤D中训练好的深度学习网络模型中，完成对人车的识别和分类。

所述步骤B中运动目标检测的过程如下：

步骤B-1，对所述步骤A中得到的视频数据中的每相邻三帧源图像使用三帧差分法，得到中间图像S；

步骤B-2，对所述相邻三帧源图像中的最后一帧使用背景消减法，得到中间图像T；

步骤B-3，分别对中间图像S和T二值化，得到二值化图像Ss和Tt；

步骤B-4，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P；

步骤B-5，对中间图像P进行后处理(包括连通区域分析和形态学滤波)，去除噪声，并平滑分割出运动目标的边界。

所述步骤D中，所述深度学习神经网络模型包括依次连接的图像输入层、编码层、全连接层和softmax层，其中：

编码层包括五个子编码层，且每相邻两个子编码层之间均设有池化层；

所述五个子编码层中靠近所述图像输入层的第一子编码层和第二子编码层中均设有两个子卷积层、两个子批量归一化层和两个子ReLU层；

所述五个子编码层中其余三个编码层，即第三子编码层、第四子编码层和第五子编码层中均设有三个子卷积层、三个子批量归一化层和三个子ReLU层。

所述步骤E的详细过程为：

(1)利用深度学习神经网络中的编码层对所述归一化局部图像进行卷积和池化处理，获得特征图像；具体地，

(a)通过子卷积层对图像提取局部特征，通过N个卷积核对图像同时卷积，得到N组特征图像，将这N组特征图像输入下一层子批量归一化层；其中，在不同的编码层中，N取不同的值，且随着层数的增加，N值也会增加；

(b)通过子批量归一化层，对所述初始特征图像进行归一化处理，使特征的均值为0、方差为1；

(c)通过子ReLU层激活归一化后的初始特征图像中的部分特征；

(d)根据网络中不同的编码层，重复步骤(a)到(c)多次，且一般重复次数不超过6次，提取出图像特征；

(e)通过池化层对激活后的初始特征图像进行下采样处理；其中，滑动窗口大小设为3X3，窗口每次移动步长设为2个像素，通过下采样之后，获得的特征图像大小变成输入的初始特征图像大小的1/3；

(e)重复步骤(a)到(e)，使得特征越来越抽象；

(2)在经过多轮卷积层和池化层的处理之后，进入全连接层，通过全连接层来完成分类任务；

(3)通过Softmax层得到当前样本属于不同类的后验概率，完成最终的分类。

有益效果：本发明通过三帧差分法和背景消减法相结合的运动目标检测方法检测视频中运动的人和车；对视频中的每帧源图像进行预处理和定位分割后输入深度学习神经网络对人车进行学习，最终达到人车分类的目的。

本发明既能够避免采用三帧差分法造成运动对象的空洞现象,又可以解决背景消减法中的动态背景更新问题，减少背景噪声的干扰，用深度学习神经网络自动提取人车图像特征，可有效区别通道上的行人和车辆，减轻交通视频监控人员的工作负担，同时也提高工作效率；对道路监控，交警派遣等工作都有着重要意义。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明的一种基于深度学习的人车自动分类方法，其步骤如下：

步骤A，采集道路视频数据；

步骤B，对步骤A得到的视频数据中的每相邻三帧源图像，依次采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域；

步骤C，对步骤B获得的各个运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，并对步骤B获得的运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像；

步骤D，将步骤C获得的归一化局部图像及其标签输入到深度学习神经网络中，结合回归模型对所述深度学习神经网络进行训练，获得深度学习网络模型；

步骤E，将待识别局部图像输入到步骤D中训练好的深度学习网络模型中，完成对人车的识别和分类。

实施例1：

本实施例中的基于深度学习的人车自动分类方法，具体流程如下：

1.运动目标检测：

本阶段主要需用到三帧差分法、背景消减法、背景更新、运动检测、连通区域分析和形态学滤波等。

首先对视频数据中的每相邻三帧源图像依次采用三帧差分法和背景消减法进行运动目标检测，得到中间图像S和T，分别对中间图像S和T二值化，得到二值化图像Ss和Tt，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P，对中间图像P进行必要的后处理，包括连通区域分析和形态学滤波(如腐蚀、膨胀等)以去除小的噪声区域，并平滑分割出运动目标的边界。

背景消减法是在背景静止情况下常用的运动目标检测方法。其基本思想是将当前图像与事先存储或者实时得到的背景图像相减，差值大于一定阈值的象素点就被认为是运动目标上的点，否则就认为该点为背景点，很适合用来在背景图像随时间改变不大的情况下检测运动目标。通过比较当前源图像f_k(x，y)和背景图像B_k(x，y)灰度值的差异，可以得到差分图像D_bk(x，y)，计算公式如下：

其中，T为阈值，可以采用自适应阈值分割方法获得；w为抑制噪声的窗口函数，这里采用中值滤波。

三帧差分法能够去除因为运动而显露的背景的影响，准确得到运动目标的轮廓。其基本算法如下：

设定视频数据中连续三帧源图像为f_k-1,f_k和f_k+1，分别计算相邻两帧源图像的灰度差图像，计算公式如下

D_k-1,k(x,y)＝|w*f_k-1(x,y)-w*f_k(x,y)|

其中，w是一个抑制噪声的窗口函数。由于均值滤波会使图像模糊化，从而失去边缘信息，本实施例选用窗口为3×3的中值滤波函数来抑制噪声。

对D_k-1,k(x,y)和D_k+1,k(x,y)分别取阈值以进行二值化，得到两个二值化图像B_k-1,k(x,y)和B_k,k+1(x,y)。将B_k-1,k(x,y)和B_k,k+1(x,y)在每一个对应像素位置进行逻辑与操作，得到三帧差分法的结果—二值图像D_sk(x，y)，计算公式如下

D_sk(x,y)＝B_k-1,k(x,y)∩B_k,k+1(x,y)

从三帧差分到二值图像D_sk(x，y)能检测到比较准确的运动目标轮廓，但是只包含了部分信息。由于目标物体上的部分灰度可能与背景灰度相近，用背景消减法得到的前景图像D_bk(x，y)未能将运动信息完整的检测出来，而背景消减法漏检的这一部分在三帧差分法中正好被检测出来，因此在每一个象素位置将D_sk(x，y)和D_bk(x，y)逻辑“或”操作后可以得到比较完整的前景图像F_k(x，y)：

F_k(x,y)＝D_sk(x,y)∪D_bk(x,y)

2.运动目标图像区域的预处理

由于原始视频图像一般为彩色的，所以首先需要根据如下公式对运动目标图像区域进行灰度化：Y＝0.299*R+0.587*G+0.114*B。

接着用二值阈值分割方法对上述灰度图像进行二值分割，采用线性标准化方法将运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像。

3.人车分类模型的训练

本阶段使用深度学习神经网络模型，该模型包括依次连接的图像输入层、编码层、全连接层和Softmax层。进一步的，编码层包括五个子编码层、且相邻的子编码层之间设有池化层。所述五个子编码层中靠近所述图像输入层的第一子编码层和第二子编码层中均设有两个子卷积层、两个子批量归一化层和两个子ReLU层；所述五个子编码层中其余三个，即第三子编码层、第四子编码层和第五子编码层中均设有三个子卷积层、三个子批量归一化层和三个子ReLU层。

确定神经网络的结构以后，需要对编码层中的子卷积层和子批量归一化层进行参数初始化。本实施例中使用满足均值为0，方差为0.01的正态分布的随机数对子卷积层的参数进行初始化，同时将子批量归一化层的scale参数设置为1、shift参数设置为0。

完成深度学习神经网络的初始化之后，就需要用步骤C中获得的归一化局部图像及其标签对神经网络进行训练，具体包括如下步骤：

(1)利用深度学习神经网络中的编码层对所述归一化局部图像进行卷积和池化处理，获得特征图像。具体地，

a)通过子卷积层对图像提取局部特征，通过N个卷积核对图像同时卷积，得到N组特征图像，将这N组特征图像输入下一层子批量归一化层。其中，在不同的编码层中，N取不同的值，且随着层数的增加，N值也会增加。比如，在第一编码层中N＝32，在第二编码层中N＝64，依次翻倍，在第五编码层中N＝512。

b)通过子批量归一化层，对所述初始特征图像进行归一化处理，使特征的均值为0、方差为1。本实施例在卷积层之后设置子批量归一化层的目的是防止梯度弥散，同时加快网络的收敛速度。

c)通过子ReLU层激活归一化后的初始特征图像中的部分特征。ReLU层模拟了生物神经元的兴奋状态，利用函数f(x)＝max(0,x)可以将初始特征图像中值小于0的部分置零，从而使网络只对部分特征信号产生响应，提高网络学习精度，更快更好的提取稀疏特征。

d)根据网络中不同的编码层，重复步骤a)到c)多次(一般不超过6次)，提取出图像特征。

e)通过池化层对激活后的初始特征图像进行下采样处理。由于特征在图像的局部区域内具有不变性，因此通过池化层对特征进行聚合，不但可以减少特征向量的维数，也使得特征不容易过拟合。其中，滑动窗口大小设为3X3，窗口每次移动步长设为2个像素。通过下采样之后，获得的特征图像大小变成输入的初始特征图像大小的1/3。

f)重复步骤a)到e)，使得特征越来越抽象。

(2)在经过多轮卷积层和池化层的处理之后，进入全连接层。这里用2层全连接层来完成分类任务。

(3)通过Softmax层可以得到当前样本属于不同类的后验概率，完成最终的分类。

4.分类测试

将待识别图像输入到前一步训练好的人车分类模型中，对视频中的人车做出类型判断。

通过上述实施方式，可见本发明具有如下优点：

(1)本方法采用三帧差分法和背景消减法相结合的运动目标检测方法。首先利用视频图像相邻帧的三帧差分获得初步的运动对象与背景的分割,接着利用分割出的背景建立动态的背景模型,最后采用背景消减的方法提取运动目标。这种方法既避免采用三帧差分法造成运动对象的空洞现象,又可以解决背景消减法中的动态背景更新问题,减少背景噪声的干扰。

(2)本发明经过几轮卷积层和池化层的处理之后，图像中的信息已经被抽象成了信息含量更高的特征，实现了自动图像特征提取。抽取出的特征向量对图像缩放、旋转、平移保持了良好的不变性，甚至对仿射变换、光照变化及投影变换也有一定的不变性。

(3)本发明可有效区别通道上的行人和车辆，减轻交通视频监控人员的工作负担，同时也提高了工作效率；对道路监控，交警派遣等工作都有着重要意义。

Claims (5)

1.一种基于深度学习的人车自动分类方法，其特征在于：依次包括以下步骤：

步骤A，采集道路视频数据；

步骤B，对步骤A得到的视频数据中的每相邻三帧源图像，依次采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域；

步骤C，对步骤B获得的各个运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，并对步骤B获得的运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像；

步骤D，将步骤C获得的归一化局部图像及其标签输入到深度学习神经网络中，结合回归模型对所述深度学习神经网络进行训练，获得深度学习网络模型，所述标签包括车辆和行人；

步骤E，将步骤C所得的待识别局部图像输入到步骤D中训练好的深度学习网络模型中，完成对人车的识别和分类。

2.根据权利要求1所述的基于深度学习的人车自动分类方法，其特征在于：所述步骤B中运动目标检测的过程如下：

步骤B-1，对所述步骤A中得到的视频数据中的每相邻三帧源图像使用三帧差分法，得到中间图像S；

步骤B-2，对所述相邻三帧源图像中的最后一帧使用背景消减法，得到中间图像T；

步骤B-3，分别对中间图像S和T二值化，得到二值化图像Ss和Tt；

步骤B-4，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P；

步骤B-5，对中间图像P进行后处理，去除噪声，并平滑分割出运动目标的边界。

3.根据权利要求2所述的基于深度学习的人车自动分类方法，其特征在于：所述步骤B-5中，所述后处理的过程包括连通区域分析和形态学滤波。

4.根据权利要求1所述的基于深度学习的人车自动分类方法，其特征在于：所述步骤D中，所述深度学习神经网络模型包括依次连接的图像输入层、编码层、全连接层和softmax层，其中：

编码层包括五个子编码层，且每相邻两个子编码层之间均设有池化层；

所述五个子编码层中靠近所述图像输入层的第一子编码层和第二子编码层中均设有两个子卷积层、两个子批量归一化层和两个子ReLU层；

所述五个子编码层中其余三个编码层，即第三子编码层、第四子编码层和第五子编码层中均设有三个子卷积层、三个子批量归一化层和三个子ReLU层。

5.根据权利要求1所述的基于深度学习的人车自动分类方法，其特征在于：所述步骤E的详细过程为：

(1)利用深度学习神经网络中的编码层对所述归一化局部图像进行卷积和池化处理，获得特征图像；具体地，

(a)通过子卷积层对图像提取局部特征，通过N个卷积核对图像同时卷积，得到N组特征图像，将这N组特征图像输入下一层子批量归一化层；其中，在不同的编码层中，N取不同的值，且随着层数的增加，N值也会增加；

(b)通过子批量归一化层，对所述初始特征图像进行归一化处理，使特征的均值为0、方差为1；

(c)通过子ReLU层激活归一化后的初始特征图像中的部分特征；

(d)根据网络中不同的编码层，重复步骤(a)到(c)多次，且一般重复次数不超过6次，提取出图像特征；

(e)通过池化层对激活后的初始特征图像进行下采样处理；其中，滑动窗口大小设为3X3，窗口每次移动步长设为2个像素，通过下采样之后，获得的特征图像大小变成输入的初始特征图像大小的1/3；

(e)重复步骤(a)到(e)，使得特征越来越抽象；

(2)在经过多轮卷积层和池化层的处理之后，进入全连接层，通过全连接层来完成分类任务；

(3)通过Softmax层得到当前样本属于不同类的后验概率，完成最终的分类。