CN106408575A - 一种城市交通场景中基于时间空间图像的车辆计数方法 - Google Patents

Abstract

本发明公开了一种城市交通场景中基于时间空间图像的车辆计数方法，首先提出了一种背景模型的初始化方法；对当前场景像素点交通状态进行判别；计算背景模型中像素点的置信度，并判断是否更新；然后根据当前交通状态用阈值自适应更新方法更新背景模型，运用基于像素的自适应分割方法检测前景；将虚拟检测直线上前景背景检测的结果累计保持形成时间空间图像；对时间空间图像进行形态学滤波处理，得到连通区域，统计连通区域的数量得到车辆的数量。本发明解决了复杂场景下对车辆计数的问题，使得计数更加准确，方法简单且检测速度快。

Description

一种城市交通场景中基于时间空间图像的车辆计数方法

技术领域

本发明专利涉及智能交通研究领域，尤其是复杂城市交通场景中的车辆计数方法研究。

背景技术

近年来，作为智能交通系统和智慧城市的重要部分，城市交通的智能化得到了更多的关注，目前，在城市的很多交通卡口都安装了视频传感器，每天都会产生成千上万的视频数据，而城市交通中交通密度大，交通拥堵严重，各道路使用者呈现多样性，从城市交通复杂的背景中得到运动的前景中车辆的数量对城市交通拥堵的缓解有着重要意义，然而找到统计车辆数量的方法依然是一个挑战。

目前，统计车辆的办法主要是传感线圈，然而传感线圈安装复杂，维护困难，近来提出了基于视频的检测方法，而基于视频的方法关键是车辆目标的检测，而视频监控系统的目标检测算法有帧差法、背景差分法、光流法等。帧差法主要比较视频序列中连续帧之间的差异，方法简单且检测速度快，但当光线变化或者车辆停止不动的时候检测效果较差，光流法是基于投影到图像表面上的运动，但是这种方法对噪声比较敏感而且计算量较大，不适用于实时的车辆检测，背景差法针对固定安装的摄像机拍摄的视频目标检测非常有效，该方法通过构建背景模型，并将输入视频帧与当前的背景模型比较，当差值较大的区域被标注为前景。背景差法运用的比较多，关键问题是背景模型的构建，而在城市交通场景中，背景一般比较复杂，构成因素主要有移动车辆和行人，而车辆的运行速度各不相同而且在不确定的时刻会临时停车或者突然移动，在构建背景模型时，背景经常会受到这些因素的污染，所以需要选择合适的学习率来自适应地更新背景。

发明内容

发明目的：为了解决现有技术存在的问题，在背景复杂的交通场景中对车辆进行计数，本发明提供一种城市交通场景中基于时间空间图像的车辆计数方法。

技术方案：一种城市交通场景中基于时间空间图像的车辆计数方法，包括以下步骤：

(1)视频传感器实时采集城市交通场景视频，在视频中标注一条虚拟检测直线；

(2)在所述虚拟检测直线上，对于位置为(x,y)的像素点，使用最近N个被采集到的每个图像的值b′_M(x,y),M∈[1,N]序列作为背景模型B′(x,y)，对背景模型进行初始化；N为大于1的整数；

(3)在初始化背景模型后，引入图像前景检测计数器、背景置信度图像计数器、图像各点像素所处的交通状态，并设置图像各点像素所处的交通状态的初始值；

(4)将交通状态分别定义为“非常畅通”、“畅通”、“一般”、“拥堵”和“非常拥堵”，根据置信区间内前景的次数与当前帧的数量，对当前场景像素点交通状态进行判别；

(5)计算背景模型中像素点的置信度，判定是否更新，若需要更新，则根据当前交通状态用阈值自适应更新方法更新背景模型；若不需更新，进行下一步骤；

(6)运用基于像素的自适应分割方法检测前景，将前景像素记为1；

(7)将虚拟检测直线上的背景模型和前景检测的结果累计保持形成时间空间图像；

(8)对所述时间空间图像进行形态学滤波处理，得到连通区域，统计连通区域的数量得到车辆的数量。

有益效果：相比较现有技术，本发明提供一种城市交通场景中基于时间空间图像的车辆计数方法，通过在视频中人工标注一条虚拟检测直线，并在虚拟检测直线上进行前景背景的检测，形成时间空间图像，对时间空间图像进行形态学滤波处理，通过计算连通区域得到车辆的数量，解决了复杂场景下对车辆计数的困难，可以自适应更新背景，排除背景受移动车辆和行人的影响，使得计数更加准确；利用此方法计数简单且检测速度快，适用于对车辆的实时检测。

具体实施方式

下面结合具体实施方式对本技术方案作进一步说明：

第一步：视频传感器实时采集城市交通场景视频，在视频中标注一条虚拟检测直线。

第二步：在所述虚拟检测直线上，对于位置为(x,y)的像素点，使用最近N个被采集到的每个图像的值b′_M(x,y),M∈[1,N]序列作为背景模型B′(x,y)，对背景模型进行初始化；N为大于1的整数；

而这些值可以用在指定间隔时间内最近图像间隔帧的像素值进行背景模型的初始化，定义如下：

式中，N是背景模型中观测的图像像素点个数，K是具体的时间间隔，I₁是第一帧，I_1+(N-1)×K是第1+(N-1)×K帧(该交通场景中K＝10，N＝25)。为了避免产生不正确的初始化模型，我们使用基于根据公式(1)的间隔帧初始化背景模型，这将减少缓慢移动或者临时停车的车辆融入到背景模型中的可能性。

第三步：在初始化背景模型后，引入图像前景检测计数器、背景置信度图像计数器、图像各点像素所处的交通状态并设置交通状态的初始值。

在初始化背景模型后，为了避免比如缓慢行驶或临时停车的车辆和拥挤状态等复杂交通场景污染背景模型，利用置信区间基于复杂城市交通场景的背景模型的像素级更新机制被提出。置信区间c(x,y)被称之为置信度，设置在位于(x,y)的背景模型中，置信度c(x,y)的值变大时，就不需要更新相应像素的背景模型。相应位置的稳定性和可靠性是由参数h(x,y)确定，参数h(x,y)表示该像素点从背景转变为前景或者从前景转变为背景的次数，当参数h(x,y)很低时表明背景模型是稳定的，而当值很高时表明背景模型需要更新以获得更稳定的模型，在模型中使用类似的方案来评估交通流的状态。

第四步：将交通状态定义为“非常畅通”、“畅通”、“一般”、“拥堵”和“非常拥堵”，根据置信区间内前景的次数与当前帧的数量，对当前场景像素点交通状态进行判别；

检测比率d(x,y)/f(x,y)∈[0,1]将交通状态分为“非常畅通”、“畅通”、“一般”、“拥堵”和“非常拥堵”，检测比率中d(x,y)是置信区间内前景的次数，f(x,y)是当前帧的数量。这种划分方法可以有效地区分定性不同而具有模糊边界的交通状态。复杂交通状态划分的定义如下：

式中p(x,y)复杂城市交通场景的状态。在每一个置信周期结束时，c(x,y)的值必须根据当前城市交通状态和像素点(x,y)处的稳定性进行更新。如果h(x,y)/f(x,y)＜τ_d(τ_d为设定的阈值且τ_d＝0.3)时，表明当前的背景模型是可靠的，应当保留。

第五步：计算背景模型中像素点的置信度，判定是否更新，若需要更新，则根据当前交通状态用阈值自适应更新方法更新背景模型；若不需更新，进行下一步骤；

c(x,y)的更新定义如下：

否则，若h(x,y)/f(x,y)≥τ_d说明背景模型并不稳定需要更新来适应动态的场景，这时c(x,y)的更新定义如下：

式中c(x,y)初始化为30，minc(x,y)为25，maxc(x,y)为30，在置信区间更新时，h(x,y)，d(x,y)和f(x,y)被重置为0。在每一置信区间的末端，R′(x,y)必须根据(x,y)处像素的评估背景稳定性进行更新。如果h(x,y)/f(x,y)＜τ_r就意味着背景是稳定且可靠的，接着R′(x,y)在下一个置信区间必须减少。然而，对于动态背景，这将会增加没有整合到前景的背景像素，背景的动态性越强，则合适的阈值应该越大。在输入的像素被分好类以后，背景模型需要根据背景光线、阴影和包括树木和缓慢行驶或临时停车的车辆等运动物体的变化进行更新。当交通状态被认为是合适的时候，很有必要选择能够准确处理背景变化的方式更新背景模型。当置信度减少到最小值就认为当前像素位置的交通状态被认为是合适的并且相应位置可能处于前景中时需要更新背景模型，否则不要进行更新。

根据当前交通状态用阈值自适应更新方案更新背景模型的具体方法如下：

1)当f(x,y)＜c(x,y)，当前帧的像素处于置信区间，背景更新发生在刷新周期结束时(在本实施例中也就是共P帧，且P＝10),F_t(x,y)＝0并且交通状态p(x,y)＝0。

2)当f(x,y)＝c(x,y)，当前帧处于置信区间的尾部，但是当h(x,y)/f(x,y)＜τ_d，F_t(x,y)＝0并且p(x,y)等于0，1或2，此时背景模型可以更新。因此，当置信周期结束时，h(x,y)是在最后c(x,y)帧的状态变化的数目。如果h(x,y)/f(x,y)＜τ_d并且p(x,y)＝0，意味着此时在(x,y)位置的像素点状态是可靠的，接着利用当前场景更新背景模型是有意义的。如果h(x,y)/f(x,y)＜τ_d并且p(x,y)等于1或2，污染背景模型的风险很低可以更新背景。相比之下，如果h(x,y)/f(x,y)≥τ_d并且p(x,y)为0，不管F_t(x,y)＝0或者F_t(x,y)＝1，此时该像素的状态是不稳定的，此时的交通状态很难被可靠地评价，所以背景模型仅仅在p(x,y)＝0的情况下更新。如果p(x,y)的值大于2，不管h(x,y)/f(x,y)值的大小，由于背景模型很有可能被污染所以此时不应该更新。但是，在置信区间减少到最小值时，背景将被强制更新，这一机制非常必要因为可以阻止被锁定在过时的背景模型中。

如果背景模型在时刻t更新，当前帧的像素值I_t(x,y)用来更新模型B(x,y)，背景样本值b_M(x,y)(M∈1,…,N)随机选择并被当前像素值It(x,y)取代。这就使得当前像素值被融合到背景模型B(x,y)中。同时，我们还更新了随机选择点的邻域像素且像素点的更新策略与基于像素的自适应分割类似，也就是对应背景模型B(x′,y′)的像素值b_M(x′,y′)被当前像素值I_t(x′,y′)取代。

第六步：运用基于像素的自适应分割方法检测前景：像素点(x,y)的值I(x,y)比N个背景点确定的最小值#min更接近决策阈值R(x,y)则被判定为背景像素，因此，前景的分割就被定义为：

上式中，F(x,y)＝1代表前景，#min是一个固定的全局参数，R(x,y)是决策阈值并且可以按照下式动态调整：

式中的R_inc/dec和R_scale是固定参数，是背景动态更新测度。背景模型只对检测为前景的像素点进行更新。在更新过程中，对于一个确定的索引M∈[1,N](均匀随机选择某一个数)，相应的背景模型值b_M(x,y)被当前的像素值I(x,y)取代。

第七步：将虚拟检测直线上前景背景检测的结果累计保持形成时间空间图像。设定一个阈值；将虚拟直线上像素点检测的结果保存到一副图像中，作为图像的列，视频图像的每一帧都将得到一条虚拟检测直线的结果，通过对列的累加，当某一个时刻虚拟检测直线上前景检测的像素点少于所述阈值时，此时认为虚拟检测直线上没有车辆，则停止虚拟直线的累加，时间空间图像的每一列对应于一帧，得到一张时间空间图像。

第八步：对时间空间图像进行形态学滤波处理，得到连通区域，统计连通区域的数量得到车辆的数量。

1)首先建立一个结构元素，该结构元素的大小为n×n，本实施例中n取3；

2)通过用结构元素(3×3的大小)扫描时间空间图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。然后，用所述结构元素(3×3的大小)扫描时间空间图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。

3)从仅0和1组成的一幅点阵时间空间图像中，将相互邻接的“1”值像素组合成区域，并用边界信息来通过执行两次扫描得到每个连通区域。其中，第一次扫描通过逐行逐列扫描像素。判断像素之间的相邻关系，对属于同一连通区域的像素赋予相同的连通标号，实现连通标识。这种逐行逐列的次序扫描的结果，通常会产生同一像素点被重复标记的现象，同一连通区域的不同子区域被赋予了不同的标记号。因此，需要执行第二次扫描来消除重复的标记，合并属于同一连通区域但是具有不同标记号的子区域。设定一个连通区域阈值，将所述连通区域的大小与连通区域阈值相比较，去除小于连通区域阈值的连通区域，统计图像中大于连通区域阈值的连通区域的数量，所述连通区域的数量即为车辆的数量。

Claims (10)

1.一种城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，包括以下步骤：

(1)视频传感器实时采集城市交通场景视频，在视频中标注一条虚拟检测直线；

(2)在所述虚拟检测直线上，对于位置为(x,y)的像素点，使用最近N个被采集到的每个图像的值b′_M(x,y),M∈[1,N]序列作为背景模型B′(x,y)，对背景模型进行初始化；N为大于1的整数；

(3)在初始化背景模型后，引入图像前景检测计数器、背景置信度图像计数器、图像各点像素所处的交通状态，并设置图像各点像素所处的交通状态的初始值；

(4)将交通状态分别定义为“非常畅通”、“畅通”、“一般”、“拥堵”和“非常拥堵”，根据置信区间内前景的次数与当前帧的数量，对当前场景像素点交通状态进行判别；

(5)计算背景模型中像素点的置信度，判定是否更新，若需要更新，则根据当前交通状态用阈值自适应更新方法更新背景模型；若不需更新，进行下一步骤；

(6)运用基于像素的自适应分割方法检测前景，将前景像素记为1；

(7)将虚拟检测直线上的背景模型和前景检测的结果累计保持形成时间空间图像；

(8)对所述时间空间图像进行形态学滤波处理，得到连通区域，统计连通区域的数量得到车辆的数量。

2.根据权利要求1所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(8)中形成时间空间图像的方法为：设定一个阈值；将虚拟检测直线上像素点检测的结果保存到一副图像中，作为图像的列；视频图像的每一帧都将得到一条虚拟检测直线的结果，通过对列的累加，当某一个时刻虚拟检测直线上前景检测的像素点少于阈值时，认为虚拟检测直线上没有车辆，则停止虚拟检测直线的累加，时间空间图像的每一列对应于一帧，得到一张时间空间图像。

3.根据权利要求1或2所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(9)包括：

(91)首先建立一个结构元素，该结构元素的大小为n×n；

(92)通过用结构元素扫描时间空间图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0；然后，用结构元素扫描时间空间图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1；

(93)从仅0和1组成的一幅点阵时间空间图像中，将相互邻接的1值像素组合成区域，并用边界信息通过执行两次扫描得到每个连通区域。

4.根据权利要求3所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(93)中的两次扫描包括：第一次扫描通过逐行逐列扫描像素，判断像素之间的相邻关系，对属于同一连通区域的像素赋予相同的连通标号，实现连通标识；第二次扫描用于消除重复的标记，合并属于同一连通区域但是具有不同标记号的子区域。

5.根据权利要求3所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，设定一个连通区域阈值，将所述连通区域的大小与连通区域阈值相比较，去除小于连通区域阈值的连通区域，统计图像中大于连通区域阈值的连通区域的数量，所述连通区域的数量即为车辆的数量。

6.根据权利要求1所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(2)中，采用间隔帧初始化背景模型，定义公式为：

B′(x,y)＝{b′₁(x,y),b′₂(x,y),…,b′_M(x,y),…,b′_N(x,y)}

＝{I₁(x,y),I_1+K(x,y),…,I_1+(M-1)×K(x,y),…,I_1+(N-1)×K(x,y)}

式中，K为所述指定间隔时间，I₁为第一帧，I_1+(N-1)×K为第1+(N-1)×K帧。

7.根据权利要求1所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(4)的交通状态划分的定义如下：

式中，d(x,y)为置信区间内前景的次数，f(x,y)为当前帧的数量，p(x,y)为当前场景像素点交通状态。

8.根据权利要求7所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(5)判断是否更新的步骤包括：

(51)设定阈值τ_d；

(52)设置信区间为c(x,y)，计算c(x,y)：

$c(x,y)=\left\{\begin{array}{cc}\min \left(c\right(x,y)+10,\max c(x,y\left)\right)& if\left(p\right(x,y)=0)\\ \min \left(c\right(x,y)+0,\max c(x,y\left)\right)& if\left(p\right(x,y)=1orp(x,y)=2)\\ \max \left(c\right(x,y)-1,\min c(x,y\left)\right)& if\left(p\right(x,y)=3orp(x,y)=4)\end{array}\right.;$

(53)定义像素点从背景转变为前景或从前景转变为背景的次数为h(x,y)，判断h(x,y)/f(x,y)与τ_d的大小：若h(x,y)/f(x,y)＜τ_d，则当前的背景模型稳定，应当保留；若h(x,y)/f(x,y)≥τ_d，则当前的背景模型不稳定，需要更新，c(x,y)的更新定义为：

$c(x,y)=\left\{\begin{array}{cc}max\left(c\right(x,y)-10,\min c(x,y\left)\right)& if\left(p\right(x,y)=0orp(x,y)=4)\\ \max \left(c\right(x,y)-5,\min c(x,y\left)\right)& if\left(p\right(x,y)=1orp(x,y)=2orp(x,y)=3)\end{array}\right.$

在置信区间更新时，h(x,y)，d(x,y)和f(x,y)被重置为0。

9.根据权利要求7所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(5)中用阈值自适应更新方法更新背景模型的步骤包括：

(54)设前景的分割为F(x,y)，若f(x,y)＜c(x,y)，当前帧的像素处于置信区间，背景更新发生在刷新周期结束时，F(x,y)＝0且交通状态p(x,y)＝0；

(55)若f(x,y)＝c(x,y)，当前帧处于置信区间的尾部，若h(x,y)/f(x,y)＜τ_d，F_t(x,y)＝0并且p(x,y)等于0，1或2，此时背景模型可以更新；若h(x,y)/f(x,y)≥τ_d仅在p(x,y)＝0时更新背景模型；若p(x,y)＞2，不管h(x,y)/f(x,y)大小均不更新；当置信区间减小到最小值时，背景被强制更新。

10.根据权利要求9所述的城市交通场景中基于时间空间图像的车辆计数方法，其特征在于，所述步骤(6)中自适应分割方法检测前景的步骤包括：

设定决策阈值R(x,y)；像素点的值I(x,y)比N个像素点确定的最小值#min更接近决策阈值R(x,y)则被判定为背景像素，前景的分割定义为：

$F(x,y)=\left\{\begin{array}{cc}1& \#\{dist\left(I\right(x,y),B(x,y\left)\right)<R(x,y)\}<\#\min \\ 0& else\end{array}\right.$

上式中，F(x,y)＝1代表前景，#min是一个固定的全局参数，R(x,y)可以按照下式动态调整：

$R(x,y)=\left\{\begin{array}{cc}R(x,y)\&times;(1-R_{inc/dec})& R(x,y)>{\stackrel{\&OverBar;}{d}}_{\min }(x,y)\&times;R_{scale}\\ R(x,y)\&times;(1+R_{inc/dec})& else\end{array}\right.$

式中的R_inc/dec和R_scale是固定参数，是背景动态更新测度。