CN108038865A - 一种公交视频客流统计方法 - Google Patents

Abstract

本发明公开了一种公交视频客流统计方法，其涉及计算机视觉领域。为了解决复杂背景及运动状态下城市公交客流量准确检测、识别与统计问题，提出了基于多次区域生长算法检测人头部，采用动态生长阈值，并且通过过阈值的区域生长算法将头部尽可能提取出来，和类圆形处理的运动矢量跟踪算法有效提取目标圆形特征轮廓区域并区分多目标的连通域。采用连通域内的特征点(圆心)跟踪统计，降低了计算量，使运行效率得到提高。

Description

一种公交视频客流统计方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种公交视频客流统计方法。

背景技术

机器视觉系统在公共场所的人流统计中的应用越来越广泛，其可以提供丰富的人流信息，如各个时刻的人流密集程度以及各个站点的人流分布情况。机器视觉系统主要包括图像分割和目标跟踪两个部分，其中图像分割用来用于检测运动目标，主要是人体或其他可以代表人体的部分，比如人头。当前视频检测算法主要有光流法、帧差法、背景差分法、边缘检测法、运动矢量法、基于彩色图像的色彩跳变检测法等。其中帧差法对环境光线的变化十分敏感，背景差分法检测精度很大程度上依赖于背景图像的可靠性，这对背景建模及背景更新的要求比较高；光流法检测及边缘检测算法比较复杂，不太合适实时性要求比较高的场合；运动矢量检测法计算量非常大；色彩跳变法尽管在白天也受强光影响，局限性太大。

发明内容

本发明的目的在于提出一种公交视频客流统计方法，该方法将目标区域作类似圆形处理判断，并将处理出的圆心作为目标特征点进行运动矢量跟踪，最后统计人数。

为实现上述发明目的，本发明方法具体包括以下步骤：

一种公交视频客流统计方法，包括如下步骤：

1)获得图像序列，得到当前帧图像f_i(x,y)；

2)采用区域生长算法提取当前帧图像f_i(x,y)中的头部目标，将所述头部目标抽象为圆形f_c(x,y)；3)求取当前帧的运动矢量，若当前帧i中第一次出现目标的圆形f_c(x,y)，将该帧记录为该头部目标的跟踪起始帧，并初始化该头部目标的运动矢量集F₀；

4)当目标的有效帧大于2时，将圆形f_c(x,y)的圆心作为跟踪的目标特征点，通过前进方向预测和动态搜索策略初步确定当前帧i相对于其参考帧i-1的运动矢量集F^A，即头部目标A的运动矢量集：

其中，A1为参考帧i-1中目标A的位置，A2为当前帧i目标A的位置；

5)以矢量加权的方法不断更新目标A、B的运动矢量集，达到跟踪目标A、B运动轨迹的目的；

6)当目标消失后，通过其运动矢量集判断目标的运动方向，并统计出消失的目标数，清除运动矢量集，准备跟踪下一个目标。

作为本发明的优选技术方案，所述步骤2)包括：

2.1)采用两次区域生长实现头部区域的提取；

2.2)提取所述头部区域的灰度特征和几何特征。

作为本发明的优选技术方案，所述步骤2.1)包括：

2.1.1)从图像的左上角开始，用一个3×3的模板将图像左上角的9个点覆盖，定义该模板初始覆盖的区域为R1和一个阈值T，计算区域R1的灰度平均值g1；

2.1.2)将该模板向右移动3个像素，计算移动后该模板覆盖区域R2的灰度平均值g2，若|g1-g2|＜T，则将R1和R2域合并，否则不合并；

2.1.3)继续移动模板到图像的最右边，计算该模板覆盖区域R2’的灰度平均值g2’，若|g1-g2’|＜T，则将R1和R2域合并，否则不合并；

2.1.4)将模板移回到图像的最左边，同时向下移动3个像素；

2.1.5)重复步骤2.1.2)至2.1.4)，如此循环，直到模板的移动面积覆盖完整个图像。

作为本发明的优选技术方案，第一次区域生长时，选取较大阈值TM；若第一次区域生长之后无法分割出人头，则第二次区域生长就取较小的阈值TN。

作为本发明的优选技术方案，所述步骤2.2)具体包括：

2.2.1)基于平均灰度以及灰度方差来提取灰度特征；

灰度特征提取的计算公式分布如下：

其中f(i,j)为像素点，M、N分别表示图像的行列数，为平均灰度，其反映了图像的亮度大小，var灰度方差反映图像的灰度离散情况；

2.2.2)提取头部的几何特征；

采用类圆形处理进行头部定位，通过平均灰度阈值将灰度图像二值化得到二值图，通过二值图可以得到图像中各个区域形态，一般情况下主要分为1和0两种像素的值，1表示目标，0表示背景；

定义二值图中每一个方格表示图像中的一个像素点，黑色区域表示目标区域，得到：

其中，(X,Y)表示类圆形的圆心，R表示圆形的半径，k表示黑色方格总个数；

根据头部特征设定两个条件以判别是否为头部区域，条件设定如下：

条件一：当前目标区域的面积S₀与其对应的圆面积S₁非常接近，即0.7＜S₀/S₁≤1，连通域近似为圆形，则可认为是人的头部；

定义0.7＜S₀/S₁≤1时为接近；反之，则不判定为头部；

条件二：通过设置一个阈值r，如果小于一定阈值范围r＝100，则认为是头部，即：其中R、G、B分别为红、绿、蓝三个颜色通道值；

当同时满足两个条件时则认为目标区域是头部区域，从而继续跟踪，反之丢弃且不进行统计。

作为本发明的优选技术方案，所述步骤3)中当前帧的运动矢量求取过程具体为：

设t时刻的帧图像为当前帧f(x,y)，t'时刻的帧图像为参考帧f'(x,y)，参考帧在时间上可以超前或滞后于当前帧；当t'＜t时称之为后向运动，当t'＞t时称之为前向运动；当在参考帧中搜索到帧t'中当前块的匹配块时可以得到相应的运动场d(x:t,t+Δt)，即可得到当前帧的运动矢量。

作为本发明的优选技术方案，所述步骤4)中，运动目标的前进方向预测是指通过观察目标之前帧的运动趋势和运动方向预测目标接下来的运动方向的过程，设置当前帧之前的运动矢量方向作为目标的预测运动方向，并依此为既定的搜索策略在目标预测运动方向及其左右一定扇形角度内优先搜索目标在下一帧中的匹配块。

作为本发明的优选技术方案，所述步骤5)具体包括：在一定的预测范围内，通过一定搜索策略寻找当前帧与参考帧之间的运动矢量集，再根据运动矢量的相似度判断准则得出当前运动矢量集的唯一矢量解，并将该唯一矢量解与之前跟踪目标的运动矢量进行加权，进而通过运动矢量来跟踪描述目标运动情况的过程；

所述运动矢量间的相似度通过相似度函数描述，定义F(i-1,i)与F(i,i+1)为运动矢量，两者之间的相似度采用余弦相似度函数表示，即：

其中，F(i-1,i)＝(x,y)，F(i,i+1)＝(x',y')。

与现有技术相比，本发明具有以下有益效果：

针对当前视频检测算法所存在的一些不足，本发明提出了基于多次区域生长算法检测人头部，采用动态生长阈值，并且通过过阈值的区域生长算法将头部尽可能提取出来，和类圆形处理的运动矢量跟踪算法有效提取目标圆形特征区域并区分多目标的连通域。采用连通域内的特征点(圆心)跟踪统计，降低了计算量，使运行效率得到提高。

附图说明

图1是本发明中的一种公交视频客流统计方法的流程图。

图2是本发明中的类圆形处理示意图。

图3是本发明中的头型定位示意图。

图4是本发明中的运动矢量示意图。

图5是本发明中的特征点运动矢量跟踪示意图。

具体实施方式

本发明提供了一种公交视频客流统计方法，提出了基于多次区域生长算法检测人头部，采用动态生长阈值，并且通过过阈值的区域生长算法将头部尽可能提取出来，和类圆形处理的运动矢量跟踪算法有效提取目标圆形特征区域并区分多目标的连通域。采用连通域内的特征点(圆心)跟踪统计，降低了计算量，使运行效率得到提高。

下面将结合本申请说明书附图，对本发明的一种公交视频客流统计方法的具体实施例做进一步详细说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本具体实施例的方法具体包括以下步骤：

1)获得图像序列，得到当前帧图像f_i(x,y)；

2)采用区域生长算法提取当前帧图像f_i(x,y)中的头部目标，将所述头部，将目标抽象为圆形；

由于公交车内背景不均匀，头部与背景的灰度差异在图像的不同位置各有不同，对此本实施例采用两次区域生长实现头部的提取。

经过第一次区域生长后，一些和背景较容易区分的头部可以首先提取出来；对于未被提取出来的头部，对这些区域再做一次区域分割，减小区域生长阈值，从而将头部和背景彻底分开。

2.1)采用两次区域生长实现头部的提取：

区域生长是根据预先定义的生长准则来把像素或子区域集合成较大区域的处理方法，其基本原理是以一组“种子”点开始来形成生长区域，即将那些预定义属性类似于种子的邻域像素附加到每个种子上。使用区域生长算法，必定要考虑连通信息，即邻接信息。本实施例采用的区域生长算法如下：

2.1.1)从图像的左上角开始，用一个3×3的模板将图像左上角的9个点覆盖，定义该模板初始覆盖的区域为R1和一个阈值T，计算区域R1的灰度平均值g1；

2.1.2)将该模板向右移动3个像素，计算移动后该模板覆盖区域R2的灰度平均值g2，若|g1-g2|＜T，则将R1和R2域合并，否则不合并；

2.1.3)继续移动模板到图像的最右边，计算该模板覆盖区域R2’的灰度平均值g2’，若|g1-g2’|＜T，则将R1和R2域合并，否则不合并。

2.1.4)将模板移回到图像的最左边，同时向下移动3个像素；

2.1.5)重复步骤2.1.2)至2.1.4)，如此循环，直到模板的移动面积覆盖完整个图像。

由于头像和背景灰度值差异事先并不知道，所以第一次区域生长的时候，可以选取较大阈值TM；若第一次区域生长之后无法分割出人头，则第二次区域生长就取较小的阈值TN。

TM与TN的选择取决于图像的灰度方差，图像灰度方差越大，说明图像的灰度起伏较大，每个物体本身的灰度分布不是很均匀，则应选用较大的生长阈值，反之则取较小值。TM与TN的值一般取在2-8之间。阈值为TM的图像与阈值为TN的图像的灰度方差S是一个分段函数关系，这可以通过对大量图像统计分析得到函数的表达式。

2.2)头部特征的提取

头部特征分为灰度特征和几何特征，本具体实施例基于平均灰度以及灰度方差来提取灰度特征和几何特征，头部灰度特征提取的计算公式分布如下：

其中f(i,j)为像素点，M、N分别表示图像的行列数，为平均灰度，其反映了图像的亮度大小，var灰度方差反映图像的灰度离散情况，由于头部灰度变化不大，所以方差较小，借此可以滤除部分非目标区域，虽然头部灰度值一般较小，但是根据光照条件的不同，还是有比较大的波动，因此本具体实施例结合灰度特征，采用最大类间差法(Otsu)确定平均灰度阈值。

头部的几何特征主要是头部的面积和头部的圆形度，头部定位用类圆形处理，通过平均灰度阈值将灰度图像二值化得到二值图，从二值图可以得到图像中各个区域形态。一般情况下主要分为1和0两种像素的值，1表示目标，0表示背景。类圆形处理如图2所示，在图2中每一个方格表示图像中的一个像素点，黑色区域表示目标区域。

式中，(X,Y)表示类圆形的圆心，R表示圆形的半径，K表示黑色方格总个数。Column_start为行开始位置，Column_end为行结束位置，Row_start为列开始位置，Row_end为列结束位置，x_i为黑色像素点的横坐标，y_i为黑色像素点的纵坐标。

本发明根据头部特征设定两个条件以判别是否为头部区域，条件设定如下：

条件一：如图3(a)，当前目标区域的面积S₀(图3(a)圆内曲线包围部分面积)和对应的圆面积S₁非常接近，即0.7＜S₀/S₁≤1，连通域近似为圆形，则可认为是人的头部。经多次实验定义0.7＜S₀/S₁≤1时为接近；反之，当前区域的面积S₀(图3(b)圆内曲线包围部分面积)和对应的圆面积S₁差异较大，即S₀/S₁＜0.7，连通域近似不为圆形，则不判定为头部。

条件二：为得到更好的检测效果考虑了头发的颜色问题，通过设置一个阈值r，如果小于一定阈值范围r＝100，则认为是头部。表示为其中R、G、B分别为红、绿、蓝三个颜色通道值；

当同时满足上述两个条件时则认为当前目标区域是头部区域，提取目标并继续跟踪；反之丢弃且不进行统计。

3)求取当前帧的运动矢量，若当前帧i中第一次出现目标的圆形f_c(x,y)，将该帧记录为该目标的跟踪起始帧，并初始化该目标的运动矢量集F₀；

运动矢量是指将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有像素的位移量都相同，然后对每个宏块到参考帧在某一给定搜索范围内根据一定的匹配准则找出与当前宏块最相似的块，即匹配块。匹配块与当前宏块的相对位移即运动矢量，运动矢量原理详见图4。

设t时刻的帧图像为当前帧f(x,y)，t'时刻的帧图像为参考帧f'(x,y)，参考帧在时间上可以超前或滞后于当前帧。当t'＜t时称之为后向运动，当t'＞t时称之为前向运动。当在参考帧中搜索到t'时刻的帧中当前块的匹配块时可以得到相应的运动场d(x:t,t+Δt)，即可得到当前帧的运动矢量。

4)当目标的有效帧大于2时，将圆形f_c(x,y)的圆心作为跟踪的目标特征点，通过前进方向预测和动态搜索策略初步确定当前帧i相对于其参考帧i-1的运动矢量集F^A，即目标A的运动矢量集：

其中，所述前进方向预测和动态搜索为：

运动目标的前进方向预测是指通过观察目标当前帧的运动趋势和运动方向预测目标接下来的运动方向的过程。本发明研究公交车前后门乘客上下车问题，把当前帧之前的运动矢量方向作为目标的预测运动方向，并依此为既定的搜索策略在目标预测运动方向及其左右一定扇形角度内优先搜索目标在下一帧中的匹配块。

5)以矢量加权的方法不断更新目标A的运动矢量集，达到跟踪目标A运动轨迹的目的；

本发明所指的运动矢量跟踪是在一定的预测范围内，通过一定搜索策略寻找当前帧与参考帧之间的运动矢量集，再根据运动矢量间的相似度判断准则得出当前运动矢量集的唯一矢量解，并将该唯一矢量解与之前跟踪目标的运动矢量进行加权，进而通过运动矢量来跟踪描述目标运动情况的过程。

其中，运动矢量间的相似度通过一定的相似度函数描述。例如运动矢量F(i-1,i)与F(i,i+1)间的相似度可用余弦相似度函数表示，即：

式中，F(i-1,i)＝(x,y)，F(i,i+1)＝(x',y')。

6)当目标消失后，通过其运动矢量集判断目标的运动方向，并统计出消失的目标数；清除运动矢量集，准备跟踪下一个目标。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有公交视频客流统计的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (8)

1.一种公交视频客流统计方法，其特征是，包括如下步骤：

1)获得图像序列，得到当前帧图像f_i(x,y)；

2)采用区域生长算法提取当前帧图像f_i(x,y)中的头部目标，将所述头部目标抽象为圆形f_c(x,y)；

3)求取当前帧的运动矢量，若当前帧i中第一次出现目标的圆形f_c(x,y)，将该帧记录为该头部目标的跟踪起始帧，并初始化该头部目标的运动矢量集F₀；

4)当目标的有效帧大于2时，将圆形f_c(x,y)的圆心作为跟踪的目标特征点，通过前进方向预测和动态搜索策略初步确定当前帧i相对于其参考帧i-1的运动矢量集F^A，即目标A的运动矢量集：

其中，A1为参考帧i-1中目标A的位置，A2为当前帧i目标A的位置；

5)以矢量加权的方法不断更新目标A、B的运动矢量集，达到跟踪目标A、B运动轨迹的目的；

6)当目标消失后，通过其运动矢量集判断目标的运动方向，并统计出消失的目标数，清除运动矢量集，准备跟踪下一个目标。

2.根据权利要求1所述的一种公交视频客流统计方法，其特征在于，所述步骤2)包括：

2.1)采用两次区域生长实现头部区域的提取；

2.2)提取所述头部区域的灰度特征和几何特征。

3.根据权利要求1所述的一种公交视频客流统计方法，其特征在于，所述步骤2.1)包括：

2.1.1)从图像的左上角开始，用一个3×3的模板将图像左上角的9个点覆盖，定义该模板初始覆盖的区域为R1和一个阈值T，计算区域R1的灰度平均值g1；

2.1.2)将该模板向右移动3个像素，计算移动后该模板覆盖区域R2的灰度平均值g2，若|g1-g2|＜T，则将R1和R2域合并，否则不合并；

2.1.3)继续移动模板到图像的最右边，计算该模板覆盖区域R2’的灰度平均值g2’，若|g1-g2’|＜T，则将R1和R2域合并，否则不合并；

2.1.4)将模板移回到图像的最左边，同时向下移动3个像素；

2.1.5)重复步骤2.1.2)至2.1.4)，如此循环，直到模板的移动面积覆盖完整个图像。

4.根据权利要求3所述的一种公交视频客流统计方法，其特征在于，第一次区域生长时，选取较大阈值TM；若第一次区域生长之后无法分割出人头，则第二次区域生长就取较小的阈值TN。

5.根据权利要求4所述的一种公交视频客流统计方法，其特征在于，所述步骤2.2)具体包括：

2.2.1)基于平均灰度以及灰度方差来提取灰度特征；

灰度特征提取的计算公式分布如下：

其中f(i,j)为像素点，M、N分别表示图像的行列数，为平均灰度，其反映了图像的亮度大小，var灰度方差反映图像的灰度离散情况；

2.2.2)提取头部的几何特征；

采用类圆形处理进行头部定位，通过平均灰度阈值将灰度图像二值化得到二值图，通过二值图可以得到图像中各个区域形态，一般情况下主要分为1和0两种像素的值，1表示目标，0表示背景；

定义二值图中每一个方格表示图像中的一个像素点，黑色区域表示目标区域，得到：

其中，(X,Y)表示类圆形的圆心，R表示圆形的半径，k表示黑色方格总个数；

根据头部特征设定两个条件以判别是否为头部区域，条件设定如下：

条件一：当前目标区域的面积S₀与其对应的圆面积S₁非常接近，即0.7＜S₀/S₁≤1，连通域近似为圆形，则可认为是人的头部；

定义0.7＜S₀/S₁≤1时为接近；反之，则不判定为头部；

条件二：通过设置一个阈值r，如果小于一定阈值范围r＝100，则认为是头部，即：其中R、G、B分别为红、绿、蓝三个颜色通道值；

当同时满足两个条件时则认为目标区域是头部区域，从而继续跟踪，反之丢弃且不进行统计。

6.根据权利要求1所述的一种公交视频客流统计方法，其特征在于，所述步骤3)中当前帧的运动矢量求取过程具体为：

设t时刻的帧图像为当前帧f(x,y)，t'时刻的帧图像为参考帧f'(x,y)，参考帧在时间上可以超前或滞后于当前帧；当t'＜t时称之为后向运动，当t'＞t时称之为前向运动；当在参考帧中搜索到帧t'中当前块的匹配块时可以得到相应的运动场d(x:t,t+Δt)，即可得到当前帧的运动矢量。

7.根据权利要求1所述的一种公交视频客流统计方法，其特征在于，所述步骤4)中，运动目标的前进方向预测是指通过观察目标之前帧的运动趋势和运动方向预测目标接下来的运动方向的过程，设置当前帧之前的运动矢量方向作为目标的预测运动方向，并依此为既定的搜索策略在目标预测运动方向及其左右一定扇形角度内优先搜索目标在下一帧中的匹配块。

8.根据权利要求1所述的一种公交视频客流统计方法，其特征在于，所述步骤5)具体包括：在一定的预测范围内，通过一定搜索策略寻找当前帧与参考帧之间的运动矢量集，再根据运动矢量的相似度判断准则得出当前运动矢量集的唯一矢量解，并将该唯一矢量解与之前跟踪目标的运动矢量进行加权，进而通过运动矢量来跟踪描述目标运动情况的过程；

所述运动矢量间的相似度通过相似度函数描述，定义F(i-1,i)与F(i,i+1)为运动矢量，两者之间的相似度采用余弦相似度函数表示，即：

其中，F(i-1,i)＝(x,y)，F(i,i+1)＝(x',y')。