CN107133974B - 高斯背景建模与循环神经网络相结合的车型分类方法 - Google Patents

Abstract

高斯背景建模与循环神经网络相结合的视频车型分类方法，通过使用混合高斯模型提取运动目标，并将运动目标送循环神经网络提取特征，根据循环神经网络输出的向量判断目标是否为车辆以及车辆类型.本发明提出了将RNN作为高斯混合模型的后续运算，以达到车型分类的目的，首先利用高斯混合模型对视频序列进行背景建模，检测出运动目标区域，利用CNN对检测出的目标区域进行分类,将分类结果输入至RNN网络中得到最后的分类来判别是客车、货车或者非车。本发明创造性的使用了高斯背景建模与循环神经网络结合的方法，该方法有较强鲁棒性，两者结合能够大大提高了车辆检测和车型识别精度。

Description

高斯背景建模与循环神经网络相结合的车型分类方法

技术领域

本发明涉及计算机机器视觉分类技术，特别涉及利用高斯背景建模结合循环神经网络实现车型分类的方法。

背景技术

随着社会和经济的快速发展，智能交通系统(ITS)在交通管理中起到越来越重要的作用。通过ITS系统采集到的车流量、车均速等交通参数数据能够为交通管理部门分析和管理提供可靠的依据。传统的车辆检测方法是使用感应线圈来采集交通参数，这种方法容易破坏路面，安装维护比较麻烦。而基于视觉的视频检测技术除了能够采集到交通参数，还能进行车型分类。而且监控视频的车辆检测技术是ITS领域的重要研究内容之一，多年来一直得到国内外研究人员的重视，并且取得了很大的进展。

在实际场景中，复杂背景，光照变化，车辆的形状，颜色，尺度和外观差异较大，目前运动车辆视频检测的鲁棒性存在问题。检测算法按基本原理可划分为帧间差分法、光流法、背景差法等，这些方法均存在一些不足：利用帧间像素值的差异变化来检测运动目标，但检测处理后的目标轮廓往往不完整，尤对目标运动速度过慢，效果不好；利用光流计算出各像素点的运动状态矢量，但易受噪声、光照等干扰；通过当前帧与背景模型差分提取前景运动目标，其中广泛使用的高斯混合模型，通过不断更新来适应背景扰动，但对光照、阴影，树叶扰动也还不够理想。

发明内容

本发明要解决的技术问题是：现有技术无法克服高斯混合模型在光照变化和树枝的晃动下造成的误检，识别精度有待提高。

本发明的技术方案为：高斯背景建模与循环神经网络相结合的视频车型分类方法，通过使用混合高斯模型提取运动目标，并将运动目标送循环神经网络提取特征，根据循环神经网络输出的向量判断目标是否为车辆以及车辆类型，步骤如下：

步骤1：混合高斯背景建模，提取运动目标区域：

1.1)初始化高速公路背景，首先利用视频的前n帧连续视频流图像来构建高速公路背景；

1.2)对前n帧的每一帧图像的每个像素点的灰度值用K个高斯分布来近似逼近，设像素点在与当前帧最近的t帧图中灰度值为{X1,X2……，Xt}＝{I(X0,i)|1≤i≤t}，其中变量Xt表示像素点在t时刻对应的像素灰度值，表示第k个高斯分布在t时刻的状态，I_t表示当前像素点的像素值，μ_k,t表示当前像素点的像素值的均值，∑_k,t表示当前像素点的像素值的协方差矩阵，则像素点I(X,Y)的概率分布为ω_k,t表示第k个高斯分布的权重；

1.3)当视频的第n+1帧图像出现的时候，利用这帧图像来更新高斯模型参数，以适应动态场景的改变，符合公式|I_t-μ_k,t-1|≤τσ_k,t-1，k＝1,2,...K就更新高斯模型，式中τ是一个关于匹配程度的阈值，取2.5，如果像素值在某个高斯分布的2.5倍标准差之内，就认为该像素点与这个高斯分布匹配，

根据公式：

μ_k,t＝(1-α)μ_k,t-1+αI_t，

更新高斯模型的对应的均值和方差，式中α为参数更新率，如果当前帧中的像素值I_t和当前的混合高斯背景模型中的一个或者多个分布匹配时，增加其权重，权重更新如下：

ω_k,t＝(1-β)ω_k,t-1+βθ，k＝1,2,…K

其中β为学习速率，且更新速率α满足α＝βη(I_t|μ_k,t-1,σ_k,t-1)。

1.4)对当前时刻所有完成参数更新的模型的权重进行归一化处理：

将K个高斯分布按照权值ω_k,t从大到小排序，取前B个来建立背景模型：

式中T是选择前B个背景分布的阈值；

1.5)得到背景的高斯分布之后，通过像素点是否能够与高斯分布所选择的前B个高斯分布匹配，来判断像素点是否为运动区域目标即前景；

步骤2：对运动区域目标提取轮廓，利用循环神经网络进行车型分类。

步骤2中，混合高斯背景建模提取的运动区域目标首先输入到卷积神经网络CNN中，CNN网络使用Alex-Net网络结构，然后将Alex-Net网络层中最后一层softmax分类器结果送入到循环卷积网络中，循环卷积网络使用LSTM模型，最后输出分类结果。

进一步的，对于得到的运动区域目标，首先根据数学形态学滤波，查找所有运动目标点的集合，提取所有目标区域的轮廓，然后在目标区域轮廓上取最小旋转矩形轮廓，根据最小旋转矩形轮廓滤噪，得到有效轮廓，对有效轮廓进行再次过滤，过滤有效面积小于s的轮廓，用来去掉虚假运动目标，得到最终的检测目标轮廓，遍历所有检测目标轮廓位置，并在原图像上的位置标记；将所有检测目标区域和背景区域归一化后送到卷积神经网络中进行训练即可以得到车型的可能性，训练使用Alex-Net网络结构，再将Alex-Net网络结构softmax层结果σ输入到到RNN类型中的LSTM网络中。

循环神经网络RNN模型为目标的分类、检测、识别、跟踪，提供了一种新的工具，本发明提出了将RNN作为高斯混合模型的后续运算，以达到车型分类的目的。本发明运动车辆检测分类流程如下：首先利用高斯混合模型对视频序列进行背景建模，检测出运动目标区域，利用CNN对检测出的目标区域进行分类,将分类结果输入至RNN网络中得到最后的分类来判别是客车、货车或者非车。由于RNN对输入有记忆能力，时间序列中前一帧视频图像对后一帧有影响，所以RNN在基于视频的车型分类任务中有更好的效果。本发明创造性的使用了高斯背景建模与循环神经网络结合的方法，该方法有较强鲁棒性，两者结合能够大大提高了车辆检测和车型识别精度。

附图说明

图1为本发明高斯背景建模与循环神经网络相结合的视频车型分类方法的整体流程图。

图2为本发明混合高斯背景建模和更新流程。

图3为本发明中循环神经网络车型分类过程。

图4为本发明中LSTM网络模型结构。

具体实施方式

本发明提供利用一种高斯背景建模与循环神经网络相结合的车型分类方法和系统，针对在高速公路的复杂场景下，对车型进行有效精确的分类，提高分类的准确性。本发明可以应用于高速公路监控系统等场合，具有良好的实用性。以下将结合附图及实例，对本发明进行更详细且具体的说明。

第一步，混合高斯背景建模，提取运动目标。如图1，具体步骤如下：

1.初始化高速公路背景，首先利用视频的前n帧连续视频流图像来构建高速公路背景。

2.对每一帧图像的每个像素点的灰度值用K个高斯分布来近似逼近(K值一般取3-5)，对应每个图像的像素点在最近的t帧灰度值为{X1,X2……，Xt}＝{I(X0,i)|1≤i≤t},其中随机变量Xt表示样本点在t时刻对应的像素灰度值。表示第k个高斯分布在t时刻的状态，μ_k,t表示当前像素点的像素值的均值，∑_k,t表示当前像素点的像素值的协方差矩阵。任一像素点I(X,Y)的概率分布为ω_k,t表示第k个高斯分布的权重。

3.当第n+1帧图像出现的时候，需要利用这帧图像来更新模型的参数，以适应动态场景的改变。利用公式|I_t-μ_k,t-1|≤τσ_k,t-1，k＝1,2,...K判断是否更新模型，式中τ是一个关于匹配程度的阈值，一般取2.5。如果该像素值在某个高斯分布的2.5倍标准差之内，就认为该像素点与这个高斯分布匹配。

根据公式：

μ_k,t＝(1-α)μ_k,t-1+αI_t，

更新高斯模型的对应的均值和方差，式中α为参数更新率。如果当前帧中的像素值I_t和当前的混合高斯背景模型中的一个或者多个分布匹配时，说明相应的分布比较符合真实的背景，应该适当增加其权值，权值更新如下：

ω_k,t＝(1-β)ω_k,t-1+βθ，k＝1,2,…K

其中β为学习速率，且更新速率α满足α＝βη(I_t|μ_k,t-1,σ_k,t-1)。I_t符合第k个高斯分布时θ取1，否则取0；

4.在高斯混合模型中，一个像素点中的所有高斯混合模型未必都表示为背景，为了确定真正代表背景的模型，对当前时刻所有完成参数更新的模型的权重进行归一化处理：

将K个高斯分布按照权值ω_k,t从大到小排序，取前B个来建立背景模型：

式中T是选择前B个背景分布的阈值，如果T的取值太小，则背景往往不能适应背景的变化，导致出现检测错误，如果T取值太大，就会增加计算量，影响效率。因此T的取值一般按经验取0.8。

5.得到背景的高斯分布之后，通过像素点是否能够与高斯分布所选择的前B个高斯分布匹配，来判断像素点是否为运动区域目标即前景。

6.运动目标区域检测流程如图2所示，对于前面得到的运动前景，即运动目标，根据数学形态学滤波，具体包括依次进行均值滤波、先膨胀后腐蚀的闭操作。查找所有运动目标点的集合，提取所有目标区域的轮廓。

7.在目标区域轮廓上取最小旋转矩形轮廓，根据最小旋转矩形轮廓滤噪，过滤过小或过大的轮廓。对有效轮廓进行再次过滤，过滤有效面积过小的轮廓，用来去掉虚假运动目标。

8.得到有效的轮廓，遍历所有目标的轮廓位置并在原图像上的位置标记。

第二步，循环神经网络进行车型分类，如图3所示，具体列出一个实施例，包括以下步骤：

1、我们使用2012年Image-Net竞赛中取得冠军的网络结构Alex-Net对120万图像数据进行预训练，得到了预训练模型。

2、在上一步检测出的运动目标和误检区域以及视频背景中选取了200个视频序列，每个视频序列等间隔截取5000张图片,其中正样本3000张，2000张作为训练集，1000张用来作为测试集。负样本2000张，1500张作为训练集，500张作为测试集。3000张正样本包括1000张轿车、1000张客车和1000张货车。用其中的训练集对得到的预训练模型进行微调，得到训练模型。

3、把收集的样本归一化到同样大小256×256。

4、送到卷积神经网络中进行训练，使用Alex-Net网络结构，训练时采取的是批量梯度下降的方法，因为样本数据量比较小，所以修改了批尺寸参数batch_size设置为50，学习率设置为0.0001。

4.1、将256×256的样本随机剪裁为224×224像素大小的图片作为输入层输入到卷积层conv1中，用96个11×11的卷积核，步长为4的像素进行滤波，得到96个55×55的特征图。用relu函数作为激活函数，用3×3的卷积核，步长为2进行最大池化，得到96个27×27的特征图，大小为原先的一半。

4.2、将卷积层conv1输出的96个特征图输入到卷积层conv2，卷积层conv2使用256个大小为5×5的卷积核，对特征图的高度和宽度都填充2像素，得到256个27×27的特征图。特征图用relu函数激活，用3×3的卷积核，步长为2进行最大池化，得到256个13×13的特征图。

4.3、将卷积层conv2输出的特征图输入到卷积层conv3，使用384个大小为3×3的卷积核，对特征图的高度和宽度填充1像素，得到384个13×13的特征图。用relu函数激活。卷积层conv3没有使用下采样层。

4.4、卷积层conv3的输出作为卷积层conv4的输入，过程同卷积层conv3，得到384个13×13的新特征图。

4.5、将卷积层conv4得到的特征图输入到卷积层conv5，卷积层conv5使用256个大小为3×3的卷积核，步长为2，对特征图的高度和宽度填充1像素，得到256个13×13的特征图。用relu函数激活，用3×3的卷积核，步长为2进行最大池化，得到256个6×6的特征图。

4.6、卷积层conv5得到特征图输入到全连接层fc6中。全连接层fc6使用4096个神经元，对256个大小为6×6特征图，进行一个全连接，也就是将6×6大小的特征图，进行卷积变为一个特征向量,然后对于4096个神经元中的一个向量，是由256个特征图中某些个特征图卷积之后得到的特征向量乘以相应的权重之后，再加上一个偏置得到。用relu函数激活，用dropout随机从4096个向量中丢掉一些信息，得到新的4096维向量。

4.7、将全连接层fc6得到的4096维向量送入全连接层fc7中，过程与全连接层fc6的过程相似。

4.8、全连接层fc7输出的4096维向量送入全连接层fc8中。全连接层fc8层采用1000个神经元，然后对全连接层fc7中4096个神经元进行全连接，然后通过高斯过滤器，得到1000个float型的值，也就是我们所看到的预测的车辆类别的可能性。得到的可能性结果会通过标签进行对比误差，然后求解出残差，再通过链式求导法则，将残差通过求解偏导数逐步向上传递，并将权重进行更改，类似与BP网络，然后会逐层的调整权重以及偏置。

5、完成上述步骤后，如图4所示，将上一帧图片通过Alex-Net网络结构，最后一层softmax层车辆分类结果输出为h_t-1，下一帧车辆图片作为输入x_t，σ是sigmoid函数。

5.1、LSTM中的第一步是决定会从上一时刻的车辆特征信息状态即t-1时刻LSTM的网络状态h_t-1中丢弃什么车辆特征信息。这个决定通过一个称为忘记门层完成。该门会读取h_t-1和x_t，经过σ输出一个在0到1之间的数值。1表示“完全保留”，0表示“完全舍弃”。由于视频图像是连续的序列，上一帧图像与下一帧图像有时序上的联系，基于已经得到车辆特征信息的车辆预测下一个车辆特征可以提高准确度。

f_t＝σ(W_f.[h_t-1,x_t]+b_f)，其中W_f是该网络的学习参数，b_f是当前网络已设定好的偏置，f_t是遗忘程度。

5.2、第二步是确定什么样的新车辆特征信息被存放在当前状态中，当有新的信息传入时，更新包括两部分：第一，sigmoid层(输入门层)决定将要更新的程度(σ函数输出为0-1之间，1是“完全保留”，0是“完全舍弃”)；第二，正弦函数tanh层创建一个新的候选值向量c_t'。

i_t＝σ(W_i.[h_t-1,x_t]+b_i)

c_t'＝tanh(w_c.[h_t-1,x_t]+b_c)

W_i、w_c为当前网络的学习参数，b_i、b_c为当前网络已设定好的偏置，i_t是现有信息的遗忘程度，c_t'是现有信息的状态。

5.3、更新旧的车辆特征c_t-1，旧的状态乘上f_t，遗忘掉之前计划遗忘的车辆特征信息，f_t为遗忘程度。将i_t乘上c_t'，得到新的局部变量，用来表示更新车辆特征信息的程度。再加上前一时刻部分遗忘的车辆特征信息，得到新的车辆特征c_t：

c_t＝f_t*c_t-1+i_t*c_t'

5.4、最后通过一个sigmoid层来决定车辆特征信息的哪些部分是需要输出的，即表示一个遗忘程度。将5.3中车辆特征信息状态通过tanh函数乘上当前遗忘程度o_t，输出表示不同车型的可能性，即最终车辆分类结果。

o_t＝σ(w_o[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(c_t)

w_o为当前网络的学习参数，b_o为网络已设定好的偏置。

Claims (3)

1.高斯背景建模与循环神经网络相结合的视频车型分类方法，其特征是通过使用混合高斯模型提取运动目标，并将运动目标送循环神经网络提取特征，根据循环神经网络输出的向量判断目标是否为车辆以及车辆类型，步骤如下：

步骤1：混合高斯背景建模，提取运动目标区域：

1.1)初始化高速公路背景，首先利用视频的前n帧连续视频流图像来构建高速公路背景；

1.2)对前n帧的每一帧图像的每个像素点的灰度值用K个高斯分布来近似逼近，设像素点在与当前帧最近的t帧图中灰度值为{X1,X2……，Xt}＝{I(X0,i)|1≤i≤t}，其中变量Xt表示像素点在t时刻对应的像素灰度值，表示第k个高斯分布在t时刻的状态，I_t表示当前像素点的像素值，μ_k,t表示当前像素点的像素值的均值，∑_k,t表示当前像素点的像素值的协方差矩阵，则像素点I(X,Y)的概率分布为ω_k,t表示第k个高斯分布的权重；

1.3)当视频的第n+1帧图像出现的时候，利用这帧图像来更新高斯模型参数，以适应动态场景的改变，符合公式|I_t-μ_k,t-1|≤τσ_k,t-1，k＝1,2,...K就更新高斯模型，式中τ是一个关于匹配程度的阈值，取2.5，如果像素值在某个高斯分布的2.5倍标准差之内，就认为该像素点与这个高斯分布匹配，

根据公式：

μ_k,t＝(1-α)μ_k,t-1+αI_t，

更新高斯模型的对应的均值和方差，式中α为参数更新率，如果当前帧中的像素值I_t和当前的混合高斯背景模型中的一个或者多个分布匹配时，增加其权重，权重更新如下：

ω_k,t＝(1-β)ω_k,t-1+βθ，k＝1,2,…K

其中β为学习速率，且更新速率α满足α＝βη(I_t|μ_k,t-1,σ_k,t-1)；

1.4)对当前时刻所有完成参数更新的模型的权重进行归一化处理：

将K个高斯分布按照权值ω_k,t从大到小排序，取前B个来建立背景模型：

式中T是选择前B个背景分布的阈值；

1.5)得到背景的高斯分布之后，通过像素点是否能够与高斯分布所选择的前B个高斯分布匹配，来判断像素点是否为运动区域目标即前景；

步骤2：对运动区域目标提取轮廓，利用循环神经网络进行车型分类。

2.根据权利要求1所述的高斯背景建模与循环神经网络相结合的视频车型分类方法，其特征是步骤2中，混合高斯背景建模提取的运动区域目标首先输入到卷积神经网络CNN中，CNN网络使用Alex-Net网络结构，然后将Alex-Net网络层中最后一层softmax分类器结果送入到循环卷积网络中，循环卷积网络使用LSTM模型，最后输出分类结果。

3.根据权利要求2所述的高斯背景建模与循环神经网络相结合的视频车型分类方法，其特征是对于得到的运动区域目标，首先根据数学形态学滤波，查找所有运动目标点的集合，提取所有目标区域的轮廓，然后在目标区域轮廓上取最小旋转矩形轮廓，根据最小旋转矩形轮廓滤噪，得到有效轮廓，对有效轮廓进行再次过滤，过滤有效面积小于s的轮廓，用来去掉虚假运动目标，得到最终的检测目标轮廓，遍历所有检测目标轮廓位置，并在原图像上的位置标记；将所有检测目标区域和背景区域归一化后送到卷积神经网络中进行训练即可以得到车型的可能性，训练使用Alex-Net网络结构，再将Alex-Net网络结构softmax层结果σ输入到到RNN类型中的LSTM网络中。