CN101639983B - 一种基于图像信息熵的多车道车流量检测方法 - Google Patents

Abstract

一种基于图像信息熵的多车道车流量检测方法，利用图像信息熵来统计多车道车流数量，其步骤为：(1)视频采集，获取多车道的交通状况图像信息；(2)自动获取检测框，图像预处理后，通过图像分割和Hough变换，并结合消失点，获得符合透视关系的检测框；(3)实时地统计每个梯形车道检测框的图像信息熵值；(4)通过对车道检测框的图像信息熵值与该车道的自适应阈值大小的比较，确定该车道是否有车辆通过；(5)统计所有车道的车辆通过信息从而得到整条道路的车流量。本发明方法具有良好的实时性和准确性，同时可以有效地排除光照和天气对检测结果的不利影响，即在光照及天气环境变化的情况下具有良好的鲁棒性。

Description

一种基于图像信息熵的多车道车流量检测方法

技术领域

本发明涉及智能交通中利用视频的车流量检测，特别涉及基于图像信息熵的多车道车流量检测方法。

背景技术

基于视频技术的交通信息采集与检测作为智能交通系统中重要组成部分，已经成为计算机视觉技术应用的一项重要课题。基于视频的道路交通监测系统具备直接与现有交通监控系统结合、检测范围大、安装使用灵活、维护费用低等特点，具有广阔的应用前景。

目前常用的基于视频的车流检测方法主要有：

1.背景差检测法

背景差检测法是最常用的运动目标检测的方法之一。检测时，用实时采集的现场图像与预先准备的背景图像进行差分运算。在理想背景情况下，若无车辆进入检测区域，则差分值为0；若有车辆进入，则车辆所在处的图像差分值将不为0。由于实际的背景图像存在干扰和光照变化，通常设置一个阈值以减少噪声和光线的影响。将差分值低于阈值的看作背景，差分值高于阈值时，认为有车辆通过。背景差分法要求运动物体的灰度值和背景像素的灰度值存在一定的差别，算法的准确性在很大程度上依赖于背景图像的可靠性。若在光照或天气发生变化时，会造成严重的误检现象。

2.帧差法

车辆运动会使前后两帧图像发生变化，如能检测这种变化，就可以分析其运动特性。根据这个原理将时间连续的两帧图像(帧间图像)作差分，即用当前图像的像素灰度值减去前一帧图像对应像素的灰度值，可以判断是否有运动车辆出现。理想情况下，图像的背景(即路面等静止景物)和运动车辆重叠的区域差分值为零，若图像差分后的灰度值不为零则表明该处图像的像素发生了变化，即图像像素变化的所处区域有运动车辆通过。由于运动车辆的纹理比较复杂，且路面光照不断变化或天气因素变化，实际所采集的交通图像差分值将不为0，为此，实际应用中也需要设置一个阈值。目前的帧差法存在几个缺陷：

1)当运动车辆纹理复杂时，帧间图像的差分结果很复杂，由于一个运动目标可能形成很多细小的区域，给识别带来很大困难。

2)检测效果受车辆速度的影响。速度很慢的车辆无法检测到，而当车辆运动速度很大时，容易产生虚影，即检测到的运动车辆比实际要大，甚至会出现一辆车变成两辆的情况。

3)帧差法仅适合于运动车辆的检测，静止车辆则无法检测。

4)在实际的检测系统中，由于摄像机安装在室外，所处环境比较恶劣，这种直接差分的算法，无法有效地将背景去除，从而影响车辆检测的准确性。

3.光流场法

其基本原理是：对图像中的每一个像素点赋予一个速度矢量，从而形成一个图像运动场，在每一特定时刻，由投影关系得到所采集图像上的像素点与三维物体上的像素点之间的一一对应关系，根据各个像素点的速度矢量特征，对所采集的图像进行动态分析。光流法的优点是能够检测独立运动的目标，但由于其需要进行迭代运算，运算量较大，无法满足实时性的要求，成为制约光流场法在实际应用中的瓶颈。

综合以上的各种方法可知，现有的车流检测方法仅利用图像中的细节信息判断车辆的通过，这使得这些方法对细节的变化比较敏感，特别是当光照或天气条件变化时，容易造成车流量的误检测。

发明内容

本发明提供一种车流量检测算法用于解决现有方法对光照或天气条件变化敏感的缺陷，并实现了多车道车流量检测。

为实现上述目的，本发明提供了一种基于图像信息熵的多车道车流量检测方法，其主要包括以下几个步骤：

(1)自动生成检测框

首先，获取交通图像后，通过灰度变换将彩色图像变成灰度图像。然后利用Sobel算子求取边缘并二值化，再通过Hough变换求得图像中所有的直线，其中包括车道线以及无关直线。将所有得到的直线的斜率和截距看作斜率-截距空间中的一个点集，再利用Hough变化求得图像中的消失点，通过消失点以及斜率的约束去除第一次Hough变换求得的无关直线，从而得到图像中的车道线。再根据消失点到图像底边的距离确定检测框的高度进而绘制出各个车道检测框。

(2)图像信息熵检测

首先，对图像进行高斯滤波，然后统计每个车道检测框内图像信息熵，图像信息熵E按下式计算

$E=E_r+E_g+E_b$

$=-\underset{r=0}{\overset{N}{\mathrm{\Σ}}}{p}_r{\log }_2\left(p_r\right)-\underset{g=0}{\overset{N}{\mathrm{\Σ}}}{p}_g{\log }_2\left(p_g\right)-\underset{b=0}{\overset{N}{\mathrm{\Σ}}}{p}_b{\log }_2\left(p_b\right)$

其中E——图像信息熵，图像信息熵作为某种特定信息(这里为图像灰度)的出现概率，表示方法如下： $E=-\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{p}_i{\log }_2\left(p_i\right),$ 其中p_i为第i个灰度的出现概率；

E_r，E_g，E_b——分别为红色分量的信息熵，绿色分量的信息熵，蓝色分量的信息熵；

p_r，p_g，p_b——分别为红色分量值为r的像素点出现的概率，绿色分量值为g的像素点出现的概率，蓝色分量值为b的像素点出现的概率；

N——图像分量的最大值，对于24位图像，N取255。

(3)车流检测

利用(2)中得到图像信息熵，根据以下两种对应情况获得检测车道的车流量。

1、当车辆较完整地从相应车道的检测框经过(即运动车辆遵守交通规则，沿各自车行道行驶)时，检测框内的图像纹理改变，图像信息熵值会发生较大的变化，并考虑环境等客观因素，提高所提方法的泛化能力(普遍适应性)，设置该检测框的自适应阈值，通过图像信息熵与相应检测框的自适应阈值进行比较，判断是否有车辆通过。

2、当运动车辆行驶至检测框时发生从第n条车道向第n+1条车道并线(即调换车道)情况时，也就是说，当车辆从相邻两个检测框(第n和n+1个检测框)经过时，相邻两检测框内的图像信息熵均发生较小的改变，此时，若相邻两检测框内的图像信息熵均小于其各自阈值，则将两个信息熵相加，并将其和与两个检测框的信息熵阈值的均值进行比较，若两信息熵之和大于该均值则认定有车辆通过，且第n条车道的车流量加1。

综合以上两种情况，车流量分配的具体判断方法如下式所示：

其中n为车道的序号，n+1为第n条车道的相邻车道的序号；

V_n——第n条车道的车流量；

E_n，E_n+1——第n条车道检测框内的图像信息熵值以及第n+1条车道检测框内的图像信息熵值；

TH_n，TH_n+1——第n条车道的自适应阈值以及第n+1条车道的自适应阈值。最后更新自适应阈值用于下一帧图像的车流检测。

本方法的主要优点在于：

(1)图像信息熵对光照、天气环境变化不敏感，故光照发生变化或天气条件变化时对车流检测的影响很小；

(2)由于图像信息熵是统计信息，受噪声的干扰小，故车流检测的鲁棒性强，准确性高；

(3)考虑到车辆并线时通过检测框的情况，杜绝了当车辆部分通过检测框时发生的车辆漏检现象；

(4)使用符合透视关系的检测框，可以获得完整车道内的图像信息。

附图说明

图1是本发明示例的结构示意图；

图2是基于图像信息熵的多车道车流量检测方法流程图；

图3是基于图像信息熵的多车道车流量检测示例软件中自适应阈值算法流程图；

图4是基于图像信息熵的多车道车流量检测示例软件中车辆通过判定算法流程图；

图5是由于车辆通过反映出的彩色图像信息熵值的变化曲线；

图6是车流检测框的示意图；

图7是算法实际应用实现图。

具体实施方式

基于图像信息熵的多车道车流量检测示例系统如图1所示，该系统包括摄像机，图像采集卡，检测算法处理器和车流量结果显示等。将摄像机架设在需要进行车流量统计的道路区域上方，并调整摄像机使摄像机视野能覆盖整个检测路面。通过同轴电缆将安装在检测算法处理器内的图像采集卡与摄像机输出连接起来，利用安装在检测算法处理器中的基于图像信息熵的多车道车流量检测软件实时的对多车道进行车流量检测并显示车流量的结果。

下面结合示例系统说明实施过程：

(1)图像的采集

首先，将摄像机采集到的模拟图像信号传输给图像采集卡，经过图像采集卡的A/D转换获得彩色数字图像，这样就获得了一帧图像。

(2)检测框的自动生成

首先，通过灰度变换将彩色图像变成灰度图像，转换公式如下：

f(i，j)＝0.299r(i，j)+0.587g(i，j)+0.114b(i，j)

其中f(i，j)表示像素(i，j)点的灰度值，r(i，j)、g(i，j)和b(i，j)分别代表像素(i，j)点的红色分量、绿色分量和蓝色分量。

然后通过Sobel算子求取边缘并二值化，其中对于像素(i，j)，Sobel算子的输出为：

S(i，j)＝|[f(i-1，j-1)+2f(i-1，j)+f(i-1，j+1)]

-[f(i+1，j-1)+2f(i+1，j)+f(i+1，j+1)]|

+|[f(i-1，j-1)+2f(i，j-1)+f(i+1，j-1)]

-[f(i-1，j+1)+2f(i，j+1)+f(i+1，j+1)]|

其中f(i，j)表示相应像素(i，j)点的灰度值，|·|代表取绝对值。

再通过Hough变换求得图像中所有的直线，其中包括车道线以及无关直线。将所有得到的直线的斜率和截距看作斜率-截距空间中的一个点集，再次利用Hough变化求得图像中的消失点，通过消失点以及斜率的约束去除第一次Hough变换求得的无关直线，从而得到图像中的车道线。再根据消失点到图像底边的距离确定检测框的高度进而绘制出各个车道检测框。

具体的方法如下：

设检测出的第n条车道在图像坐标系中的车道线方程为

y＝k₁x+b₁，y＝k₂x+b₂

其中k₁，b₁，k₂，b₂分别表示第n条车道的两条车道线的斜率和截距。

在图像坐标中，设定检测框上下底边所在的直线为 $y=\frac{1}{2}h,$ $y=\frac{3}{4}h,$ 其中h为消失点到图像下边沿的距离。将 $y=\frac{1}{2}h,$ $y=\frac{3}{4}h,$ 代入到车道线方程可得出检测框的4个顶点。对于第n个检测框可表示为：

$S_n=\left\{(x,y)\right|\frac{1}{2}h\≤y\≤\frac{3}{4}h,\frac{y-b_1}{k_1}\≤x\frac{y-b_2}{k_2}\}$

示例中的自动生成的检测框如图6所示。

(3)信息熵检测

首先，对图像进行高斯滤波，统计每个车道检测框内的图像信息熵，图像信息熵E按下式计算

$E=E_r+E_g+E_b$

$=-\underset{r=0}{\overset{N}{\mathrm{\Σ}}}{p}_r{\log }_2\left(p_r\right)-\underset{g=0}{\overset{N}{\mathrm{\Σ}}}{p}_g{\log }_2\left(p_g\right)-\underset{b=0}{\overset{N}{\mathrm{\Σ}}}{p}_b{\log }_2\left(p_b\right)$

其中E——图像信息熵；

E_r，E_g，E_b——分别为红色分量的信息熵，绿色分量的信息熵，蓝色分量的信息熵；

p_r，p_g，p_b——分别为红色分量值为r的像素点出现的概率，绿色分量值为g的像素点出现的概率，蓝色分量值为b的像素点出现的概率；

N——图像分量的最大值，对于24位图像，N取255。

(4)车流检测

车辆从一个检测框经过时，检测框内图像信息熵值发生变化，利用所提方法会产生一个脉冲，其图像信息熵变化曲线如图5所示。通过图像信息熵值与自适应阈值的大小关系并综合相邻检测框图像信息熵间的关系，便可以判定是否有车辆通过。车辆是否车道的判断流程如图4所示。

考虑车辆正常行驶的两种可能，具体的车辆通过的判定方法分以下两种情况进行说明：

1)、在运动车辆遵守交通规则前提下，各行驶车辆沿各自车行道行驶时，此时相应的各车道的检测框可以完整地捕获行驶车辆，当行驶车辆经过检测框时，相应的检测框内的图像纹理会发生改变，图像信息熵值会发生较大的变化，并考虑环境等客观因素，提高所提方法的泛化能力(普遍适应性)，所提方法设置检测框的自适应图像信息熵阈值(简称：自适应阈值)，通过图像信息熵与相应检测框的自适应阈值进行比较，便可以判断是否有车辆通过车道。

2)、当行驶车辆行驶至检测框对应的路面位置时发生从第n条车道向第n+1条车道并线(即调换车道)情况时，也就是说，当行驶车辆从相邻两个检测框(第n和n+1个检测框)中经过时，相邻两检测框内的图像信息熵均会发生较小的改变。此时，若检测到的相邻两检测框内的图像信息熵均小于其各自阈值，则将两个图像信息熵相加，并将他们和与两个检测框的图像信息熵阈值的均值进行比较，若两图像信息熵之和大于该均值则认定有车辆通过，且第n条车道的车流量加1。

车辆经过车道的具体判断方法如下式所示：

其中n为车道的序号，n+1为第n条车道的相邻车道的序号；

V_n——第n条车道的车流量；

E_n，E_n+1——第n条车道检测框内的图像信息熵值以及第n+1条车道检测框内的图像信息熵值；

TH_n，TH_n+1——第n条车道的自适应阈值以及第n+1条车道的自适应阈值。

下面对检测框的自适应图像信息熵阈值求取算法作如下说明，其算法流程如图3所示。

获取图像检测框内的图像信息熵值，并求其导数，在所提方法中导数用前向差分来表示，其表达式为：

$\frac{\mathrm{dE}\left(t\right)}{\mathrm{dt}}=E\left(t\right)-E(t-1)$

在导数大于一定阈值的时间段内，求取导数的最大值，并记录该时刻。此时刻所对应的图像信息熵值就是修正阈值，其表达式为：

${{\mathrm{TH}}_n}^{\′}=\{E_n\left(t_M\right){\left|\frac{{\mathrm{dE}}_n\left(t\right)}{\mathrm{dt}}\right|}_{t=t_M}\≥\frac{{\mathrm{dE}}_n\left(t\right)}{\mathrm{dt}}{|}_t,\∀t\∈(t_1,t_2)\}$

其中TH′_n——第n条车道的修正阈值；

t_M——图像信息熵导数

取最大值时的时刻；

E_n(t_M)——图像信息熵导数

取最大值时对应的图像信息熵值；

(t₁，t₂)——图像信息熵导数大于一定阈值的时间段，即 $\frac{{\mathrm{dE}}_n\left(t\right)}{\mathrm{dt}}{|}_t>C,\∀t\∈(t_1,t_2),$ 在本示例中阈值C取0.035。

设当前阈值与修正阈值的加权均值便是更新后的自适应阈值，更新的自适应阈值用于下一帧图像的车流检测比较。更新后的自适应阈值的表达式为：

$\mathrm{TH}_n^{\mathrm{New}}=\frac{{{\mathrm{aTH}}_n}^{\′}+b{\mathrm{TH}}_n}{2},$ a+b＝1

其中^NewTH_n——更新后第n条车道的自适应阈值；

TH′_n——第n条车道的修正阈值；

TH_n——当前时刻第n条车道的阈值；

a，b——分别为修正阈值和当前时刻阈值的权值，示例中a＝0.4，b＝0.6。

完成本车道的车流检测，用上述同样的方法处理相邻的下一条车道的车流检测。但若出现第n条车道以及相邻的第n+1条车道的两检测框内的图像信息熵均小于其对应阈值，并通过所提方法判定有车辆通过的情况时，则跳过下一条车道，即跳过第n+1条车道，直接处理第n+2条车道的车流通过情况，也就是说，此类情况属于行驶车辆下从第n条车道并并线到第n+1条车道的情况，由于按驾驶员行驶常理，此时第n和n+1不可能出现第二辆行驶车辆，因此无需考虑第n+1条车道的情况。

完成所有车道的流量检测后，合并所有车道上的流量就得到了当前时刻整条道路的交通流量V_s，其计算公式如下：

$V_s=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{V}_n$

其中，V_s——整条道路的车流量；

V_n——第n条车道的车流量；

N——道路的车道数。

重复上述检测过程，计算下一时刻的车流量。

以上对基于图像信息熵的多车道车流量检测方法进行说明，该方法的实际应用实现示意图如图7所示。本方法充分利用图像信息熵对光照、天气环境变化不敏感且受噪声干扰影响小的优势，并利用符合透视关系的检测框，获得完整车道内的图像信息，从而得到图像信息熵，再利用所提的自适应图像信息熵阈值算法，提高车流检测的鲁棒性和精准性，同时综合分析运动车辆的实际行驶情况，弥补了以往方法对车辆行驶于两相邻车道间(即并线)时的漏检问题，从而实现对多车道车流量的实时和准确检测。

Claims (5)

1.一种基于图像信息熵的多车道车流量检测方法，其包括以下几个步骤：

从视频采集获取的交通图像中自动获取符合透视关系的检测框；

实时统计每个检测框内图像信息熵；

车道车流检测判断：若车辆完整地从检测框内通过，利用本车道检测框内图像信息熵与本车道对应的自适应图像信息熵阈值相比较来确定该车道是否有车辆通过，若车辆从相邻两检测框中间通过，即行使车辆在检测框对应的路面区域进行并线行使，则通过对本车道检测框的图像信息熵、相邻车道检测框的图像信息熵与两检测框自适应图像信息熵阈值的均值的比较，以确定该车道是否有车辆通过；

最后统计所有车道的车辆通过信息得到整条道路的车流量。

2.对于权利要求1所述的基于图像信息熵的多车道车辆检测方法，其特征在于对于检测框的自动生成，采用如下方法：

首先通过灰度变换将彩色图像变成灰度图像，然后通过Sobel算子求取边缘并二值化，再通过Hough变换求得图像中所有的直线，其中包括车道线以及无关直线；将所有得到的直线的斜率和截距看作斜率-截距空间中的一个点集，再次利用Hough变化求得图像中的消失点，通过消失点和斜率的约束去除第一次Hough变换求得的无关直线，得到图像中的车道线，这时再根据消失点到图像底边的距离确定检测框的高度，绘制出车道检测框，设检测出的第n条车道在图像坐标系中的车道线方程为

y＝k₁x+b₁，y＝k₂x+b₂

其中k₁，b₁，k₂，b₂分别表示第n条车道的两条车道线的斜率和截距，在图像坐标中设定检测框上下底边所在的直线为

其中h为消失点到图像下边沿的距离，将

分别代入到所述车道线方程可得出梯形的4个顶点，检测框可表示为：

$S_n=\left\{(x,y)\right|\frac{1}{2}h\≤y\≤\frac{3}{4}h,\frac{{y-b}_1}{k_1}\≤x\≤\frac{{y-b}_2}{k_2}\}$

3.对于权利要求1所述的基于图像信息熵的多车道车辆检测方法，其特征在于图像信息熵E按下式计算：

$E=E_r+E_g+E_b$

$=-\underset{r=0}{\overset{N}{\mathrm{\Σ}}}{p}_r{\log }_2\left(p_r\right)-\underset{g=0}{\overset{N}{\mathrm{\Σ}}}{p}_g{\log }_2\left(p_g\right)-\underset{b=0}{\overset{N}{\mathrm{\Σ}}}{p}_b{\log }_2\left(p_b\right)$

其中E——图像信息熵；

E_r，E_g，E_b——分别为红色分量的信息熵，绿色分量的信息熵，蓝色分量的信息熵；

p_r，p_g，p_b——分别为红色分量值为r的像素点出现的频率，绿色分量值为g的像素点出现的频率，蓝色分量值为b的像素点出现的频率；

N——图像分量的最大值，对于24位图像，N取255。

4.对于权利要求1所述的基于图像信息熵的多车道车辆检测方法，其特征在于采用如下的车流检测判断方法：

当检测框内的图像信息熵值超过其对应的图像信息熵阈值时，判定车辆由该车道通过；当检测框内的图像信息熵值小于其对应的图像信息熵阈值时，同时其相邻的检测框内的图像信息熵也小于其对应的图像信息熵阈值，则将该检测框与其相邻检测框内的图像信息熵值相加，并求这两个检测框的图像信息熵阈值的均值，用两图像信息信息熵之和与对应的两图像信息熵阈值的均值进行比较，若大于该均值则认定有车辆通过本检测框；其他情况则认定没有车辆通过，车流检测具体判断的方法如下式所示：

1).当满足条件1：E_n＞TH_n或Vn的值加1；

2).当满足除条件1以外的情况时，Vn保持原值，

其中n为车道的序号，n+1为第n条车道的相邻车道的序号，“←”等号表示赋值运算；

V_n——第n条车道的车流量；

E_n，E_n+1——第n条车道检测框内的图像信息熵值以及第n+1条车道检测框内的图像信息熵值；

TH_n，TH_n+1——第n条车道的自适应图像信息熵阈值以及第n+1条车道的自适应图像信息熵阈值。

5.对于权利要求4所述的基于图像信息熵的多车道车辆检测方法，其特征在于所采用的自适应阈值算法如下：

获取图像中检测框内的图像信息熵值，求其导数，并求取当导数大于固定图像信息熵阈值时间段内导数的最大值，最大值所对应的图像信息熵值就是修正图像信息熵阈值，其表达式为：

${{\mathrm{TH}}_n}^{\′}=\left\{E_n\left(t_M\right)\right|\frac{{\mathrm{dE}}_n\left(t\right)}{\mathrm{dt}}{|}_{t=t_M}\≥\frac{{\mathrm{dE}}_n\left(t\right)}{\mathrm{dt}}{|}_t,\∀t\∈(t_1,t_2)\}$

其中TH_n′——第n条车道的修正图像信息熵阈值；

t_M——图像信息熵导数

取最大值时的时刻；

E_n(t_M)——图像信息熵导数取最大值时对应的图像信息熵值；

(t₁，t₂)——图像信息熵导数大于固定图像信息熵阈值的时间段，即

当前图像信息熵阈值与修正图像信息熵阈值的加权均值便是更新后的自适应图像信息熵阈值，其表达式为：

$\mathrm{TH}_n^{\mathrm{New}}=\frac{{{\mathrm{aTH}}_n}^{\′}+b{\mathrm{TH}}_n}{2},a+b=1$

其中^NewTH_n——更新后第n条车道的的自适应图像信息熵阈值；

TH_n′——第n条车道的修正图像信息熵阈值；

TH_n——当前时刻第n条车道的图像信息熵阈值；

a，b——分别为修正图像信息熵阈值和当前时刻图像信息熵阈值的权值。

Images