CN107705560A - 一种融合视觉特征和卷积神经网络的道路拥堵检测方法 - Google Patents

Abstract

本发明公开了一种融合视觉特征和卷积神经网络的道路拥堵检测方法，包括步骤：1）对输入的影像视频序列进行移动前景检测与背景建模，得到原始影像的背景和初步移动前景；2）将初步移动前景集合输入卷积神经网络，进行移动车辆识别，排除其他非移动车辆的移动前景；3）利用最终移动前景集合计算反映交通状态的图像视觉特征，图像视觉特征包括交通密度、交通速度、交通占有率和交通流量；4）计算图像光流直方图的信息熵；5）利用交通密度、交通速度、交通占有率、交通流量和光流直方图的信息熵，判断交通道路拥堵状态。本发明融合多维度的视觉特征与卷积神经网络，可以更加准确的判断道路的拥堵程度。

Description

一种融合视觉特征和卷积神经网络的道路拥堵检测方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种融合视觉特征和卷积神经网络的道路拥堵检测方法。

背景技术

随着城镇化进程的加速，交通问题不断加剧，造成一定的经济损失，导致城市功能的瘫痪，而且道路拥堵问题造成了交通能耗与环境污染的加剧。因此不少文献致力于智能交通上的研究。道路拥堵问题也成为人们共同关注的焦点。道路拥堵检测是智能交通上的关键步骤。道路拥堵的检测可以及时了解道路交通情况，进行有效的交通信号调度，进一步避免和降低交通事故的产生。

传统的道路拥堵检测，均依赖于对道路的先验知识的收集以及道路参数的估计，例如道路分布网，道路长度，道路数量，交通灯信号循环与实时车辆信息等。不仅如此，这类传统智能交通系统信息的采集均依赖于地感线圈与GPS等硬件设施。而地感线圈的建设需要对路面造成破坏且施工复杂，易损坏，难修复；基于GPS的智慧交通系统又依赖于对车辆对GPS使用，当使用GPS人数较少，则大大会影响交通道路状态的检测精准度。

因此，随着近来影像处理技术的不断发展，且基于视频监控的交通拥堵检测技术由于具有无需对路面造成破坏且能实时反映和采集大量交通信息的优点，基于视频监控的智慧交通逐渐成为热门的研究领域。总的来说，基于监控视频的交通道路拥堵检测技术以上的优势，其具有很强的研究价值和潜在的商业应用。

近来基于视频监控的交通拥堵检测技术大都基于选取合适的视觉特征来进行检测，但是选取的特征都无法全面评估整个道路拥堵状态。再者，这些方法在运动前景检测的精准度也有一定的限制，并未能考虑阴影等其他运动前景。对道路的状态也具有局限性，近来基于视频监控的交通拥堵检测技术可以应用在道路畅通的情况下，但是在交通拥堵或复杂的情况下则效果一般。

发明内容

针对现有技术的不足，本发明提出一种融合视觉特征和卷积神经网络的道路拥堵检测方法，用深度卷积神经网络CNN特征来进一步精确检测运动前景，并且融合多维度的视觉特征，来全面准确地刻画道路拥堵的状态。

为实现上述目的，本发明的技术方案是：

一种融合视觉特征和卷积神经网络的道路拥堵检测方法，包括：

步骤1：对输入的影像视频序列进行移动前景检测与背景建模，得到原始影像的背景和初步移动前景；

步骤2：将初步移动前景集合输入卷积神经网络，进行移动车辆识别，排除其他非移动车辆的移动前景，得到最终移动前景集合；

步骤3：利用最终移动前景集合计算反映交通状态的图像视觉特征，所述图像视觉特征包括交通密度、交通速度、交通占有率和交通流量；

步骤4：计算图像光流直方图的信息熵；

步骤5：利用交通密度、交通速度、交通占有率、交通流量和光流直方图的信息熵，判断交通道路拥堵状态。

进一步地，所述步骤2中，移动车辆识别的方法包括：

步骤21：对输入的初步移动前景进行缩放，使图像满足输入图像的要求，图像I缩放后为图像I'；

步骤22：用卷积核执行前馈卷积运算，输出卷积特征图；设第a层神经元的输入为I'^(a)，K^(a+1)为第a层与第a+1层神经元之间的卷积核，则第a+1层神经元的输入即第a层的输出为:

其中，为卷积运算，b^(a)为第a层与第a+1层神经元之间的偏置，激励函数f(·)为ReLu激活函数：f(x)＝max(0,x)，x为该函数自变量；

步骤23：对卷积特征图执行以下采样运算：将第a层采样层的输入I'^(a)划分为区域R_k，

k＝1,2,...,m，采样过程表述为：

f_i为Relu激活函数；

步骤24：执行全连接运算，假设第l层是全连接层，W_l是第l层的全连接权重，则第l层输出为

F＝f(W_l·I'^(l)+b^(l))，

其中，I'^(l)是该全连接层的输入，b^(l)是该全连接层的偏置；

步骤25：在最后一层SoftMax层中，设置该层神经元个数为3用于分类，按照下式进行前景目标判别：

其中C(I,s)表示图像I属于第C_s类，C₁表示车辆，C₂表示行人，C₃表示其他，Score_s为经过SoftMax层计算得出的第s类的得分，取Score_s最高的类别作为归属类,以此进行车辆检测。

进一步地，所述步骤3中，图像视觉特征的计算方法如下：

对待检测的大小为M×N的图像I计算灰度共生矩阵M_glcm，i,j表示0～255之间的灰度值，则灰度共生矩阵M_glcm第i行第j列的值M_glcm(i,j)为：

M_glcm(i,j)＝#{(x₁,y₁),(x₂,y₂)∈M×N|I(x₁,y₁)＝i,I(x₂,y₂)＝j}，

其中，#{·}表示集合元素的个数，I(x₁,y₁)表示图像I在位置(x₁,y₁)的灰度值，且位置和θ分别表示(x₁,y₁)与(x₂,y₂)的偏离步长和方向；当取水平方向时，θ＝±(1,0)；取垂直方向时，θ＝±(0,1)；取45°方向时，θ＝±(1,-1)；取135°方向时，θ＝±(1,1)；取灰度共生矩阵M_glcm的反差特征值Con作为交通密度，

Con＝E(Con')

其中，N_g为图像灰度级，E(·)为数学期望；

计算待检测图像的金字塔Lucas-Kanade光流场，计算光流的期望值v^*作为交通速度，

其中，v'_m为在金字塔图像上对第m个跟踪角点计算出光流速度，n是光流场中跟踪的角点个数；

对最终移动前景集合，计算交通占有率σ，

其中，d_p表示最终移动前景集合的第p个元素即第p个前景块目标，S'(d_p)表示该前景的连通区域的最小外接矩面积之和，q表示前景块目标个数，S为图像道路面积；

统计最终移动前景集合中运动目标前景数量，计算交通流量γ，

γ＝#{d_p|d_p∈D}

其中，D为最终移动前景集合，#{·}表示集合元素的个数。

进一步地，所述步骤4具体包括：

步骤41：针对每一个光流点统计其光流速度v'_m＝(v'_m,x,v'_m,y)，v'_m,x，v'_m,y分别为水平x轴，垂直y轴的分速度，构建HOF直方图，根据速度夹角判断每个速度v'_m所属的分组，其中θ'＝tan^-1(v'_m,y/v'_m,x)为v'_m的夹角大小，bins为HOF直方图的分组数，1≤b≤bins为归属的第b个分组，统计属于每个分组的量；

步骤42：计算HOF直方图信息熵

其中，p_b表示HOF直方图中属于第b个分组的量。

进一步地，所述步骤5具体包括：

步骤51：利用交通密度Con、交通速度v*、交通占有率σ、交通流量γ和光流直方图信息熵Ent计算拥堵系数

其中，w_Con、w_σ、w_γ，w_Ent分别为交通密度Con、交通占有率σ、交通流量γ和光流直方图信息熵Ent的权值系数，ε为误差调节因子；

步骤52：利用道路拥堵系数来判断交通道路所处的交通状态，当时，道路拥挤；当时，道路缓行；当时，道路通畅，其中，与分别为预设的最大和最小判别阈值。

与现有技术相比，本发明具有有益效果：本发明通过构建通用效的深度CNN特征提取框架，对非目标感兴趣前景进行筛选，通过刻画道路的交通密度、交通速度、道路占有率及交通流量来检测拥堵状态，同时，利用光流直方图的信息熵来提高检测的准确性和可靠性。本发明融合多维度的视觉特征与深度的卷积神经网络，可以精确地判断道路的拥堵程度。本发明简单，实现灵活，实用性较强。

附图说明

图1是本发明一种融合视觉特征和卷积神经网络的道路拥堵检测方法的流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，一种融合视觉特征和卷积神经网络的道路拥堵检测方法，包括：

步骤1：采用高斯混合模型对输入的影像视频序列进行移动前景检测与背景建模，得到原始影像的背景和初步移动前景；

步骤2：将初步移动前景集合输入卷积神经网络，进行移动车辆识别，排除其他非移动车辆的移动前景，得到最终移动前景集合；

步骤3：利用最终移动前景集合计算反映交通状态的图像视觉特征，所述图像视觉特征包括交通密度、交通速度、交通占有率和交通流量；

步骤4：计算图像光流直方图的信息熵；

步骤5：利用交通密度、交通速度、交通占有率、交通流量和光流直方图的信息熵，判断交通道路拥堵状态。

在本发明一实施例中，步骤2中，移动车辆识别的方法包括：

步骤21：对输入的初步移动前景进行缩放，使图像满足输入图像的要求，图像I缩放后为图像I'；

步骤22：用卷积核执行前馈卷积运算，输出卷积特征图；设第a层神经元的输入为I'^(a)，K^(a+1)为第a层与第a+1层神经元之间的卷积核，则第a+1层神经元的输入即第a层的输出为:

其中，为卷积运算，b^(a)为第a层与第a+1层神经元之间的偏置，激励函数f(·)为ReLu(Rectified Linear Units)激活函数：f(x)＝max(0,x)，x为该函数自变量；

步骤23：对卷积特征图执行以下采样运算：将第a层采样层的输入I'^(a)划分为区域R_k，

k＝1,2,...,m，采样过程表述为：

f_i为ReLu激活函数；

步骤24：执行全连接运算，假设第l层是全连接层，W_l是第l层的全连接权重，则第l层输出为

F＝f(W_l·I'^(l)+b^(l))，

其中，I'^(l)是该全连接层的输入，b^(l)是该全连接层的偏置；

步骤25：在最后一层SoftMax层中，设置该层神经元个数为3用于分类，按照下式进行前景目标判别：

其中C(I,s)表示图像I属于第C_s类，C₁表示车辆，C₂表示行人，C₃表示其他，Score_s为经过SoftMax层计算得出的第s类的得分，取Score_s最高的类别作为归属类,以此进行车辆检测。

在本发明一实施例中，步骤3中，图像视觉特征的计算方法如下：

对待检测的大小为M×N的图像I计算灰度共生矩阵M_glcm，i,j表示0～255之间的灰度值，则灰度共生矩阵M_glcm第i行第j列的值M_glcm(i,j)为：

M_glcm(i,j)＝#{(x₁,y₁),(x₂,y₂)∈M×N|I(x₁,y₁)＝i,I(x₂,y₂)＝j}，

其中，#{·}表示集合元素的个数，I(x₁,y₁)表示图像I在位置(x₁,y₁)的灰度值，且位置和θ分别表示(x₁,y₁)与(x₂,y₂)的偏离步长和方向；当取水平方向时，θ＝±(1,0)；取垂直方向时，θ＝±(0,1)；取45°方向时，θ＝±(1,-1)；取135°方向时，θ＝±(1,1)；取灰度共生矩阵M_glcm的反差特征值Con作为交通密度，

Con＝E(Con')

其中，N_g为图像灰度级，E(·)为数学期望；

计算待检测图像的金字塔Lucas-Kanade光流场，计算光流的期望值v^*作为交通速度，

其中，v'_m为在金字塔图像上对第m个跟踪角点计算出光流速度，n是光流场中跟踪的角点个数；

对最终移动前景集合，计算交通占有率σ，

其中，d_p表示最终移动前景集合的第p个元素即第p个前景块目标，S'(d_p)表示该前景的连通区域的最小外接矩面积之和，q表示前景块目标个数，S为图像道路面积；

统计最终移动前景集合中运动目标前景数量，计算交通流量γ，

γ＝#{d_p|d_p∈D}

其中，D为最终移动前景集合，#{·}表示集合元素的个数。

在本发明一实施例中，步骤4具体包括：

步骤41：针对每一个光流点统计其光流速度v'_m＝(v'_m,x,v'_m,y)，v'_m,x，v'_m,y分别为水平x轴，垂直y轴的分速度，构建HOF直方图，根据速度夹角判断每个速度v'_m所属的分组，其中θ'＝tan^-1(v'_m,y/v'_m,x)为v'_m的夹角大小，bins为HOF直方图的分组数，1≤b≤bins为归属的第b个分组，统计属于每个分组的量；

步骤42：计算HOF直方图信息熵

其中，p_b表示HOF直方图中属于第b个分组的量。

在本发明一实施例中，步骤5具体包括：

步骤51：利用交通密度Con、交通速度v^*、交通占有率σ、交通流量γ和光流直方图信息熵Ent计算拥堵系数

其中，w_Con、w_σ、w_γ，w_Ent分别为交通密度Con、交通占有率σ、交通流量γ和光流直方图信息熵Ent的权值系数，ε为误差调节因子；

步骤52：利用道路拥堵系数来判断交通道路所处的交通状态，当时，道路拥挤；当时，道路缓行；当时，道路通畅，其中，与分别为预设的最大和最小判别阈值。

本发明首先对输入的视频序列进行初步前景检测；其次，为精确检测运动前景目标，通过构建CNN对候选前景目标进行精确检测；再次，基于CNN精确检测，进行基于灰度共生矩阵(GLCM)的前景密度检测，金字塔Lucas-Kanade光流场进行运动目标的速度检测，以及计算出道路占有率特征与交通流量特征；最后，提出的方法融合交通密度，交通速度，道路交通占有率，交通流量以及光流直方图信息熵等多个维度的视觉特征来检测道路拥堵状态，方法简单，判断准确。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种融合视觉特征和卷积神经网络的道路拥堵检测方法，其特征在于，包括：

步骤1：对输入的影像视频序列进行移动前景检测与背景建模，得到原始影像的背景和初步移动前景；

步骤2：将初步移动前景集合输入卷积神经网络，进行移动车辆识别，排除其他非移动车辆的移动前景，得到最终移动前景集合；

步骤3：利用最终移动前景集合计算反映交通状态的图像视觉特征，所述图像视觉特征包括交通密度、交通速度、交通占有率和交通流量；

步骤4：计算图像光流直方图的信息熵；

步骤5：利用交通密度、交通速度、交通占有率、交通流量和光流直方图的信息熵，判断交通道路拥堵状态。

2.根据权利要求1所述的一种融合视觉特征和卷积神经网络的道路拥堵检测方法，其特征在于，所述步骤2中，移动车辆识别的方法包括：

步骤21：对输入的初步移动前景进行缩放，使图像满足输入图像的要求，图像I缩放后为图像I'；

步骤22：用卷积核执行前馈卷积运算，输出卷积特征图；设第a层神经元的输入为I'^(a)，K^(a+1)为第a层与第a+1层神经元之间的卷积核，则第a+1层神经元的输入即第a层的输出为:

<mrow> <msup> <mi>I</mi> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>a</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msup> <mi>K</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>&amp;CircleTimes;</mo> <msup> <mi>I</mi> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </mrow> </msup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>

其中，为卷积运算，b^(a)为第a层与第a+1层神经元之间的偏置，激励函数f(·)为ReLu激活函数：f(x)＝max(0,x)，x为该函数自变量；

步骤23：对卷积特征图执行以下采样运算：将第a层采样层的输入I'^(a)划分为区域R_k，k＝1,2,...,m，采样过程表述为：

<mrow> <mi>p</mi> <mi>o</mi> <mi>o</mi> <mi>l</mi> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mi>k</mi> </msub> </mrow> </munder> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>,</mo> </mrow>

f_i为ReLu激活函数；

步骤24：执行全连接运算，假设第l层是全连接层，W_l是第l层的全连接权重，则第l层输出为

F＝f(W_l·I'^(l)+b^(l))，

其中，I'^(l)是该全连接层的输入，b^(l)是该全连接层的偏置；

步骤25：在最后一层SoftMax层中，设置该层神经元个数为3用于分类，按照下式进行前景目标判别：

<mrow> <mi>C</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>,</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>argmax</mi> <mrow> <mi>s</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> </mrow> </munder> <msub> <mi>Score</mi> <mi>s</mi> </msub> <mo>,</mo> </mrow>

其中C(I,s)表示图像I属于第C_s类，C₁表示车辆，C₂表示行人，C₃表示其他，Score_s为经过SoftMax层计算得出的第s类的得分，取Score_s最高的类别作为归属类,以此进行车辆检测。

3.根据权利要求1所述的一种融合视觉特征和卷积神经网络的道路拥堵检测方法，其特征在于，所述步骤3中，图像视觉特征的计算方法如下：

对待检测的大小为M×N的图像I计算灰度共生矩阵M_glcm，i,j表示0～255之间的灰度值，则灰度共生矩阵M_glcm第i行第j列的值M_glcm(i,j)为：

M_glcm(i,j)＝#{(x₁,y₁),(x₂,y₂)∈M×N|I(x₁,y₁)＝i,I(x₂,y₂)＝j}，

其中，#{·}表示集合元素的个数，I(x₁,y₁)表示图像I在位置(x₁,y₁)的灰度值，且位置 和θ分别表示(x₁,y₁)与(x₂,y₂)的偏离步长和方向；当取水平方向时，θ＝±(1,0)；取垂直方向时，θ＝±(0,1)；取45°方向时，θ＝±(1,-1)；取135°方向时，θ＝±(1,1)；取灰度共生矩阵M_glcm的反差特征值Con作为交通密度，

Con＝E(Con')

<mrow> <msup> <mi>Con</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>g</mi> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>g</mi> </msub> </munderover> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mi>j</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msub> <mi>M</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>c</mi> <mi>m</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>

其中，N_g为图像灰度级，E(·)为数学期望；

计算待检测图像的金字塔Lucas-Kanade光流场，计算光流的期望值v^*作为交通速度，

<mrow> <msup> <mi>v</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>E</mi> <mrow> <mo>(</mo> <msubsup> <mi>v</mi> <mi>m</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msubsup> <mi>v</mi> <mi>m</mi> <mo>&amp;prime;</mo> </msubsup> <mo>,</mo> </mrow>

其中，v'_m为在金字塔图像上对第m个跟踪角点计算出光流速度，n是光流场中跟踪的角点个数；

对最终移动前景集合，计算交通占有率σ，

<mrow> <mi>&amp;sigma;</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>q</mi> </munderover> <msup> <mi>S</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mi>p</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>S</mi> </mrow>

其中，d_p表示最终移动前景集合的第p个元素即第p个前景块目标，S'(d_p)表示该前景的连通区域的最小外接矩面积之和，q表示前景块目标个数，S为图像道路面积；

统计最终移动前景集合中运动目标前景数量，计算交通流量γ，

γ＝#{d_p|d_p∈D}

其中，D为最终移动前景集合，#{·}表示集合元素的个数。

4.根据权利要求1所述的一种融合视觉特征和卷积神经网络的道路拥堵检测方法，其特征在于，所述步骤4具体包括：

步骤41：针对每一个光流点统计其光流速度v'_m＝(v'_m,x,v'_m,y)，v'_m,x，v'_m,y分别为水平x轴，垂直y轴的分速度，构建HOF直方图，根据速度夹角判断每个速度v'_m所属的分组，其中θ'＝tan^-1(v'_m,y/v'_m,x)为v'_m的夹角大小，bins为HOF直方图的分组数，1≤b≤bins为归属的第b个分组，统计属于每个分组的量；

步骤42：计算HOF直方图信息熵

<mrow> <mi>E</mi> <mi>n</mi> <mi>t</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>b</mi> <mi>i</mi> <mi>n</mi> <mi>s</mi> </mrow> </munderover> <mo>-</mo> <msub> <mi>p</mi> <mi>b</mi> </msub> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mi> </mi> <msub> <mi>p</mi> <mi>b</mi> </msub> </mrow>

其中，p_b表示HOF直方图中属于第b个分组的量。

5.根据权利要求1所述的一种融合视觉特征和卷积神经网络的道路拥堵检测方法，其特征在于，所述步骤5具体包括：

步骤51：利用交通密度Con、交通速度v^*、交通占有率σ、交通流量γ和光流直方图信息熵Ent计算拥堵系数

其中，w_Con、w_σ、w_γ，w_Ent分别为交通密度Con、交通占有率σ、交通流量γ和光流直方图信息熵Ent的权值系数，ε为误差调节因子；

步骤52：利用道路拥堵系数来判断交通道路所处的交通状态，当时，道路拥挤；当时，道路缓行；当时，道路通畅，其中，与分别为预设的最大和最小判别阈值。