CN101777188A - 一种实时公交车客流量统计方法 - Google Patents

Abstract

本发明提供了一种基于目标先验分布的实时公交车客流量统计的方法，采用了目标检测、目标跟踪、目标行为分析等方法，属于模式识别技术领域。具体为：利用目标先验灰度统计直方图对输入视频图像进行反向投影运算，再对反向投影图像进行差分、二值化、滤波、连通域标记等处理实现目标检测。采用灰度互相关联匹配跟踪和均值平移算法搜索跟踪实现对目标的准确定位。最后分析目标的运动轨迹判断乘客的上下车行为，实现客流量统计。本发明可以为公交公司实现公交车智能调度、公交车移动传媒广告受众分析等提供细粒度的可靠依据。

Description

一种实时公交车客流量统计方法

技术领域

本发明属于模式识别技术领域，具体涉及一种实时公交车客流量统计的方法。

背景技术

随着全球经济的快速发展，对交通运输的各种需求明显增长，交通运输与社会经济生活的联系越来越紧密，因此，研究如何对公共交通设施实施有效监测、如何为公共交通调度提供有效数据，从而减少公交车的使用，提高道路交通的安全性，因此开发能够改善当前行车环境的车载移动增值业务成为我国经济社会和谐发展的迫切需求，公交车客流统计就是其中之一。公交公司通过实时的获得该路段在此段时间内的客流量的多少可以更加合理的进行公交车的合理调度，另一方面公交广告投资商也可以据此对投放的公交广告受众进行详细分析，进而调整广告投资策略以期将其广告收益最大化。

人体目标的检测识别以及跟踪、统计等问题是计算机视觉领域的一个研究热点，它具体涉及到了运动目标检测和运动目标跟踪。

在计算机视觉领域中，经典的运动目标检测方法包括：

(1)帧间差分法：该方法是一种对连续的相邻两帧图像采用基于像素的时间差分并且阈值化来提取图像中的运动区域的方法(参考：J.B.Kim，H.J.Kim.Efficient region-based motion segmentation for video monitoringsystem[J].Pattern Recognition Letters，2003，24：113～128)。该方法对动态环境有一定的适应性，但一般不能提取出所有相关的特征像素点，运动时目标体内部容易产生空洞，并且对于光线强烈变化的场景该方法容易产生很多噪声；

(2)背景建模：该方法能够自适应的建立输入场景背景图像的模型，利用当前输入图像与背景模型做差分和阈值化运算即可检测出输入图像中的前景目标(参考：Stauffer C，Grimson W.E.L.Adaptive background mixturemodels for real-time tracking.in Proceedings.1999 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition(Cat.No PR00149).IEEE Comput.Soc.Part Vol.2，1999.)。该方法可以获得较完整的目标特征数据，对于无光照变化或光线变化缓慢的场景有较好的适用性。但是对于动态场景或者存在剧烈的光照变化的场景，该方法则比较敏感，同时该算法运算量较大，难以保证检测的实时性；

(3)光流法：该方法利用运动估计进行分割和跟踪运动目标，采用运动目标随时间变化的光流特性，从而有效地提取和跟踪运动目标。光流场的计算一直以来都是计算机视觉领域的一个研究重点，其中最为经典的算法是L-K(Lucas&Kanade)法和H-S(Horm&Schunck)法。(参考：B.K.P.Hornand B.G.Schunck.Determining optical flow.AI Memo 572.MassachusettsInstitue of Technology，1980.和Lucas B and Kanade T.An Iterative ImageRegistration Technique with an Application to Stereo Vision.Proc.Of 7thInternational Joint Conference on Artificial Intelligence(IJCAI)，pp.674-679.)。光流法的优点是能检测出独立运动的对象，而且不需要预先知道场景的任何信息。但是由于噪声、多光源、阴影、透明性和遮挡性等原因，使得计算出的光流场分布不是十分可靠和精确。同时光流场的计算也十分耗时。

同时，计算机视觉领域中经典的运动目标跟踪算法包括：卡尔曼滤波(参考：Kalman，R.E.1960.“A New Approach to Linear Filtering andPrediction Problems，”Transaction of the ASME-Journal of BasicEngineering，pp.35-45(March 1960).)、粒子滤波跟踪(参考：Vo B.，Singh S.，and Doucet A.，Sequential Monte Carlo Implementation of the PHD Filter forMulti-target Tracking，In Proceedings of International Conference onInformation Fusion，2003，792-799.)以及均值平移算法跟踪(参考：Comaniciu，D.，Ramesh，V.，and Meer，P.，Real-Time Tracking of Non-Rigid Objects usingMean Shift.In IEEE Conference on Computer Vision and PatternRecognition，2000，Vol.2，142-149.)。

基于此，本发明提供了一种实时公交车客流量统计的方法，该方法具有算法复杂度低，对嵌入式硬件设备要求低，产业化成本低的特点。

发明内容

本发明提供了一种实时公交车客流量统计方法，通过利用乘客头部灰度统计信息的先验分布实现在输入视频图像中乘客目标的检测，并对目标实施精确的跟踪，最后分析目标的运动轨迹，判断乘客的上下车行为，实现客流统计计数。

一种实时公交车客流量统计方法，包括目标检测、目标跟踪、目标行为分析及客流统计计数三个步骤，其特征在于：

所述的目标检测步骤中，包括以下过程：

(1)提取目标先验灰度统计直方图

先人工手动的从预先捕获的客流视频图像中提取多幅只包含乘客人头区域信息的图像，形成目标样本集；再分别提取目标样本集中每个样本的灰度统计直方图Hist_aa，则样本集的平均灰度统计直方图为

其中aa是样本在样本集中的索引值，total为样本集的大小，表示样本的数量，这个目标样本集的平均灰度统计直方图就作为本发明的目标先验灰度统计直方图；

(2)基于上述目标先验灰度统计直方图对输入视频图像的任一帧I_t进行反向投影运算，即将I_t的每个像素点的灰度值映射为该灰度值在目标先验灰度统计直方图中的统计次数或概率，得到I_t对应的反向投影图像P_t，然后再将P_t的像素值量化到[0，255]范围内，其中t表示输入视频图像中的任一帧索引值；

(3)对所述反向投影图像P_t和与该帧t之前相隔τ帧的图像P_t-τ进行差分和二值化运算，得到结果图像S_t，其中τ≥1；

(4)对所述结果图像S_t滤波，以消除图像中存在的孤立噪声点和连接断开的目标区域；

(5)连通域标记：所述结果图像S_t经过滤波处理之后，将其中像素值为255且彼此位于对方的8邻域中的像素用同一数值标记出来，标记后的图像中具有相同数值的所有像素则隶属于同一个连通域，将所有连通域作为I_t中待检测的目标压入检测目标队列head_list中；

在所述目标跟踪步骤中，包括以下过程：

(6)记跟踪目标队列为people_list，判断其是否为空，如果为空，则将上述检测目标队列head_list中的所有目标作为新进入场景中的目标压入跟踪目标队列people_list中，并直接跳转到步骤(10)，如果不为空，则转入步骤(7)；

(7)虚警删除：根据虚警删除机制，删除跟踪目标队列people_list中的虚警目标，其中，所述虚警删除机制包括：(A)目标的位置位于图像的边缘，(B)目标的滞留时间达到预设值的上限，(C)目标允许的消失时间达到预设值的上限，D)目标已用于了客流统计计数，

若跟踪目标队列people_list中的目标满足所述虚警删除机制中任何之一，则该目标为虚警目标，删除该虚警目标，更新跟踪目标队列people_list；

(8)灰度互相关关联匹配跟踪：将检测目标队列head_list与虚警删除后的跟踪目标队列people_list按照一定的关联规则进行数据关联匹配，

其中，所述的关联规则为两级级联准则，即在只有满足第一级准则的条件下才可进入第二级处理，所述第一级准则为只有当两个目标的中心点分别位于彼此的邻域之内才认为它们可能有关联；第二级准则为在上一级中可能相互关联的目标，若其相似度满足预设条件则认为它们已经正确的匹配上，具体关联匹配过程为：

假设people_list中存在m个目标，head_list中存在n个目标，用a_kl表示people_list中的任一目标k和head_list中的任一目标l之间的相似度，用d_kl表示people_list中的该任一目标k和head_list中的该任一目标l的中心点之间的欧式距离，将该任一目标k或任一目标l所属图像区域即目标区域的二维点集R＝{I_t(a，b)：a₁≤a≤a₂，b₁≤b≤b₂}转换为按行顺序存储的一维向量X，其中a，b为I_t中任一像素点I_t(a，b)的位置，a代表列的位置，b代表行的位置，a₁，a₂分别为I_t中的目标区域的最左边列和最右边列的位置坐标，b₁，b₂分别为I_t中的目标区域的最下边行和最上边行的位置坐标，记向量X的均值为

x_c为向量X中任一元素，N为向量X的长度，也就是目标区域的总像素数，N＝(a₂-a₁+1)×(b₂-b₁+1)；

定义相似度函数如下：

$a_{\mathrm{kl}}=\left\{\begin{array}{cc}\underset{r=1}{\overset{M}{\mathrm{\Σ}}}|(X_{\mathrm{kr}}-E[X_k\left]\right)-(X_{\mathrm{lr}}-E[X_l\left]\right)|,& \mathrm{if}(d_{\mathrm{kl}}\≤{\mathrm{th}}_3)\\ +\∞,& \mathrm{else}\end{array}\right.$

其中M为向量X_k和X_l的有效长度，M＝min(N_k，N_l)，表示取N_k，N_l中的较小者，N_k，N_l分别为people_list中的任一目标k和head_list中的任一目标l所属目标区域转换后得到的向量X_k和X_l的长度，th₃是预设的目标邻域大小，X_kr和X_lr分别为向量X_k和X_l中任一元素，据此得到people_list和head_list队列间的相似度关联矩阵：

$A=\left[\begin{array}{ccccc}{a}_{11}& a_{12}& L& a_{1(n-1)}& a_{1n}\\ a_{21}& a_{22}& L& a_{2(n-1)}& a_{2n}\\ M& M& a_{\mathrm{kl}}& M& M\\ a_{(m-1)1}& a_{(m-1)2}& L& a_{(m-1)(n-1)}& a_{(m-1)n}\\ a_{m1}& a_{m2}& L& a_{m(n-1)}& a_{\mathrm{mn}}\end{array}\right]$

当a_kl同时满足如下两个预设条件：

a_kl＝min{a_k1 a_k2 L a_k(n-1) a_kn}，a_kl＝min{a_1l a_2l L a_(m-1)l a_ml}，则认为head_list中的目标l与people_list中的目标k相匹配，更新people_list中目标k的相应信息；若a_kl不满足上述两个预设条件，则分如下两种情况分别处理：(A)head_list中目标l与people_list中的目标k不匹配，则people_list中的目标k进一步转入步骤(9)进行搜索跟踪；(B)people_list中的目标k与head_list中的目标l不匹配，则head_list中的目标l作为新进入场景中的目标压入跟踪队列people_list中；

(9)对people_list中没有检测目标与之相匹配的目标采用均值平移算法进行搜索跟踪，将people_list中的目标在上一帧图像I_t-1中的位置作为在当前帧I_t中进行均值平移搜索的初始位置，通过迭代搜索确定目标在I_t中的可能位置，完成对people_list中没有检测目标与之相匹配的目标的搜索跟踪，并清空head_list；

在所述的目标行为分析和客流量统计计数步骤中，包括以下过程：

(10)目标行为分析和客流量统计计数：判断跟踪目标队列people_list中是否有满足计数规则的目标，若有则更新客流量统计数据，

其中，所述的计数规则为：目标在进入场景时的图像中的初始位置和其在当前帧图像I_t中的位置之间的距离大于预设值，则为下车；目标在当前帧图像I_t中的位置与其在进入场景时的图像中的初始位置之间的距离大于预设值，则为上车。

本发明在所述的目标检测步骤中，对所得到的经差分和二值化运算后的结果图像S_t先进行目标重影消除处理，得到处理后的图像S′_t，再对所述处理后的图像S′_t进行滤波和连通域标记处理，其中，具体的目标重影消除处理过程如下：

在对P_t和在该帧之前相隔τ帧的图像P_t-τ进行差分和二值化运算的同时，单独再对P_t进行二值化处理，即

$P_t^{\′}(i,j)=\left\{\begin{array}{cc}255& \mathrm{if}(P_t(i,j)>{\mathrm{th}}_2)\\ 0& \mathrm{else}\end{array}\right.,$

其中P′_t表示P_t二值化后的图像，P_t(i，j)、P′_t(i，j)分别表示P_t和P′_t中的任一像素点，i、j分别表示图像的第i行和第j列，th₂为二值化阈值，用S_t和P′_t进行“与”操作，即

其中S′_t为处理后的结果图像，S′_t(i，j)表示S′_t中的任一像素点。

本发明在所述的目标检测步骤中，所述的滤波为中值滤波或形态学滤波。

本发明计算出符合上述计数规则的目标灰度统计直方图Hist′和目标先验灰度统计直方图Hist的相关系数，若相关系数大于预定值，则按照如下的方式更新目标先验灰度统计直方图：

Hist＝(1-α)Hist+α·Hist′

以用于后续输入视频图像的目标检测，增强对场景发生变化时的适应性。

本发明可以为公交公司实现公交车智能调度、公交车移动传媒广告受众分析等提供细粒度的可靠依据。

附图说明

图1为本发明整体流程图；

图2中，(a)形态学平移算子示意图；(b)形态学腐蚀算子示意图；(c)形态学膨胀算子示意图；

图3上车门客流统计示意图；

图4下车门客流统计示意图。

具体实施方式

下面结合附图和具体实施例对本发明作详细描述。

图1为本实施例的实施流程图，包括目标检测、目标跟踪和目标行为分析及客流统计计数几个步骤，本实施例在分析图像时，只利用了图像的亮度信息(即灰度图像)。

在目标检测步骤中，包括以下过程：

1，提取目标先验灰度统计直方图。

直方图是图像各灰度值统计特性与图像灰度值的函数，它统计一幅图像中各个灰度级出现的次数或概率。先人工手动的从预先捕获的客流视频图像中提取多幅只包含乘客人头区域信息的图像，形成目标样本集；再分别提取目标样本集中每个样本的灰度统计直方图Hist_aa，则样本集的平均灰度统计直方图为其中aa是样本在样本集中的索引值，total为样本集的大小，表示样本的数量。这个目标样本集的平均灰度统计直方图就作为本发明的目标先验灰度统计直方图。

2，基于上述目标先验灰度统计直方图对输入视频图像进行反向投影运算。

直方图反向投影是对待处理图像的每个像素进行重新编码的一种运算，反向投影所依赖的直方图称之为基准直方图，具体投影方法为，将待处理的图像每个像素点的灰度值映射为该灰度值在基准直方图中的统计次数或概率即可。因为目标先验灰度统计直方图反应的是目标区域中所有像素点在各个灰度值上的概率统计分布信息，因此，在对输入视频图像进行基于目标先验灰度统计直方图的反向投影运算后，产生的反向投影图像本质是一个概率图像，这个概率图像反映了输入视频图像中的各个像素点隶属于目标的概率。反向投影图像中像素值越大的点表明其隶属于目标区域的概率也就越大。然后再将反向投影图像的像素值重新量化到[0，255]范围内。具体量化方法如下：记反向投影图像中像素值最大的值为v_max，像素值最小的值为v_min，v(i，j)表示反向投影图像中第i行、第j列的像素值，则重新量化后该点的像素值其中运算符号

表示不大于a的最大整数。

3，对输入视频图像I进行上述反向投影运算后，记重新量化后的反向投影图像为P，对所述反向投影图像P中的第t帧图像P_t和邻近的第t-τ帧图像P_t-τ进行差分、二值化运算，

S_t表示差分、二值化运算的结果图像，S_t(i，j)、P_t(i，j)、P_t-τ(i，j)分别表示图像S_t，P_t，P_t-τ中的任意点，i、j分别表示图像的第i行和第j列，th₁为二值化的阈值(一般设为30-100之间的数值即可)，τ表示差分运算时相隔的图像帧数，τ≥1，通常τ＝1时，图像S_t中目标区域的会产生比较明显的空洞效应，τ＞1时又会造成图像S_t中目标出现明显的重影。

本实施例通过如下的方式解决了目标重影。在进行上述差分、二值化处理的同时，单独再对P_t进行二值化处理，即

其中th₂为二值化阈值(一般设为30-100之间的数值即可)，P′_t表示反向投影图像P_t二值化后的图像中的第t帧图像，P′_t(i，j)为P′_t中的任意点。用S_t和P′_t进行“与”操作，即

S′_t表示“与”操作后的结果图像，S′_t(i，j)为S′_t中的任意点，i、j分别表示图像的第i行和第j列，这样处理后就有效的消除了差分运算产生的目标重影。

4，滤波：为了消除上述得到的图像S′_t中存在的孤立噪声点和连接断开的目标区域，本实施例中选用中值滤波器和形态学滤波器对S′_t进行滤波处理。

中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把图像中某像素点的颜色值用该像素点的一个邻域中各像素点颜色值排序后的中间值代替，让周围像素的颜色值更接近真实值，从而消除孤立的噪声点，本实施例中对S′_t进行中值滤波时选用的邻域为该像素的8邻域，即选取8邻域中的所有像素的灰度值的中间值作为该像素点滤波后的结果。所谓像素点(i，j)的邻域是指该像素具有4个水平和垂直的相邻像素，其坐标为(i+1，j)，(i-1，j)，(i，j+1)，(i，j-1)，这四个点称之为(i，j)的4邻域，同时(i，j)的4个对角的相邻像素具有如下坐标：(i+1，j+1)，(i+1，j-1)，(i-1，j+1)，(i-1，j-1)。所有的这8个点称之为(i，j)的8邻域，若(i，j)位于图像的边界，则它的8邻域中的某些点落入图像的外边，其中i、j分别表示图像的第i行和第j列。

形态学滤波的原理是，形态学将二值图像看成是集合，并用结构元素进行“探测”，结构元素是一个可以在图像上平移、且尺寸比图像小的集合。基本的数学形态学运算是将结构元素在图像范围内平移，同时施加交、并等基本集合运算。本实施例中对S′_t进行形态学滤波选用了形态学运算中的腐蚀算子和膨胀算子。

形态学最基本的运算为平移算子，设有一幅图像A和一个点b(x，y)，用A[b]表示图像A以向量b进行平移运算的结果，则平移算子可以表示为A[b]＝{a+b|a∈A}。平移计算结果如图2中(a)所示。

腐蚀算子：对一个给定的图像集合A以及结构元素集合B，如果将B在A上移动，那么在每一个当前位置a，结构元素B经过a平移之后的结果B[a]只可能有以下3种状态：

A表示集合A的补集；(3)(B[a]∩A)∩(B[a]∩A)≠Φ。在状态(1)下，B[a]与A的相关性最大；在状态(2)下，B[a]与A不相关；在状态(3)下，B[a]与A部分相关。我们把满足状态(1)的所有点a构成的集合称为结构元素B对A的腐蚀，记为表示对图像A中各点经B做平移运算所得结果取交集。腐蚀计算结果如图2中(b)所示。

膨胀算子：与腐蚀算子对应，形态学膨胀算子是将A中各点经B做平移运算所得结果取并集，膨胀运算表示为：

膨胀计算结果如图2中(c)所示。

本实施例中对图像S′_t进行膨胀和腐蚀运算时，采用的结果元素集合B为3×3的矩形结构，坐标原点位于B的中心点，将B按照上述原理对图像S′_t进行腐蚀和膨胀运算即可有效的将二值图像中某些断开的像素值为255的像素点连接起来。

5，连通域标记：二值图像S′_t经过滤波处理之后，将图像中像素值为255且彼此位于对方的8邻域(邻域的概念在“滤波”那一小节已经给出)中的像素用同一数值标记出来。标记后的图像中具有相同数值的所有像素则隶属于同一个连通域，将所有连通域作为当前帧图像中检测的目标压入检测目标队列head_list。

在目标跟踪步骤中，包括以下过程：

6，记跟踪目标队列为people_list，判断其是否为空，如果为空，则将上述检测目标队列head_list中的所有目标作为新进入场景中的目标压入跟踪目标队列people_list中，直接跳转到第10步。如果不为空，则转入第7步。

7，虚警删除：根据虚警删除机制，删除当前跟踪队列people_list中的虚警目标。本发明定义的虚警删除机制包括：(1)目标的位置已位于图像的边缘；(2)目标的滞留时间已达到预设值的上限；(3)目标的消失时间已达到预设值的上限；(4)目标已经用于了客流统计计数。若目标满足这其中任何条件之一，则删除该目标，再更新跟踪目标队列people_list。

8，灰度互相关关联匹配跟踪：将检测目标队列head_list与虚警删除后的跟踪目标队列people_list进行灰度互相关关联匹配跟踪。

本发明定义的关联规则包含了两级级联准则(所谓两级级联是指只有满足第一级准则的条件下才可进入第二级处理)，第一级为目标间的距离，规定只有当两个目标的中心点分别位于彼此的邻域之内(以目标中心点为圆心，一定预设值为半径的圆形图像区域称之为该目标的邻域，该预设值称为邻域大小)才认为它们可能有关联；第二级为可能相互关联的目标间的相似度，若其相似度满足预设条件则认为它们已经正确的匹配上了。

具体关联匹配过程如下：

假设people_list中存在m个目标，head_list中存在n个目标，用a_kl表示people_list中的目标k和head_list中的目标l之间的相似度，用d_kl表示people_list中的目标k和head_list中的目标l的中心点之间的欧式距离，其中k和l分别表示队列people_list和head_list中目标的索引值。为描述方便将目标所属图像区域(即目标区域)的二维点集R＝{I_t(a，b)：a₁≤a≤a₂，b₁≤b≤b₂}转换为按行顺序存储的一维向量X，其中a，b为I_t中任一像素点I_t(a，b)的位置，a代表列的位置，b代表行的位置，a₁，a₂分别为I_t中的目标区域的最左边列和最右边列的位置坐标，b₁，b₂分别为I_t中的目标区域的最下边行和最上边行的位置坐标，记向量X的均值为

x_c为向量X中任一元素，N为向量X的长度，也就是目标区域的总像素数，N＝(a₂-a₁+1)×(b₂-b₁+1)。

根据上述关联规则的两级级联准则，本实施例定义了如下的相似度函数：

$a_{\mathrm{kl}}=\left\{\begin{array}{cc}\underset{r=1}{\overset{M}{\mathrm{\Σ}}}|(X_{\mathrm{kr}}-E[X_k\left]\right)-(X_{\mathrm{lr}}-E[X_l\left]\right)|,& \mathrm{if}(d_{\mathrm{kl}}\≤{\mathrm{th}}_3)\\ +\∞,& \mathrm{else}\end{array}\right.$

其中M为向量X_k和X_l的有效长度，M＝min(N_k，N_l)，表示取N_k，N_l中的较小者，N_k，N_l分别为people_list中的目标k和head_list中的目标l所属目标区域转换后得到的向量X_k和X_l的长度，th₃是预设的目标邻域大小，X_kr和X_lr分别为向量X_k和X_l中任一元素。a_kl的定义说明当people_list中的目标k和head_list中的目标l彼此位于对方的邻域之内时，其相似度为向量X_k和X_l除去均值后在有效长度上的绝对值距离，否则其相似度设为无穷大。显然a_kl值越小说明两个目标越相关。据此得到people_list和head_list队列间的相似度关联矩阵：

$A=\left[\begin{array}{ccccc}{a}_{11}& a_{12}& L& a_{1(n-1)}& a_{1n}\\ a_{21}& a_{22}& L& a_{2(n-1)}& a_{2n}\\ M& M& a_{\mathrm{kl}}& M& M\\ a_{(m-1)1}& a_{(m-1)2}& L& a_{(m-1)(n-1)}& a_{(m-1)n}\\ a_{m1}& a_{m2}& L& a_{m(n-1)}& a_{\mathrm{mn}}\end{array}\right]$

当people_list中的目标k和head_list中的目标l之间的相似度a_kl同时满足如下两个预设条件：

a_kl＝min{a_k1 a_k2 L a_k(n-1) a_kn}和a_kl＝min{a_1l a_2l L a_(m-1)l a_ml}，

则认为head_list中的目标l与people_list中的目标k相匹配，更新people_list中目标k的相应信息；若a_kl不满足上述两个预设条件，则分如下两种情况分别处理：(A)head_list中的目标l与people_list中的目标k不匹配，则people_list中的目标k进一步转入步骤9进行搜索跟踪；(B)在people_list中的目标k与head_list中的目标l不匹配，则head_list中的目标l作为新进入场景中的目标压入跟踪队列people_list中；至此完成了people_list中目标的灰度互相关关联匹配跟踪。

9，对people_list中没有检测目标与之相匹配的目标进行搜索跟踪。本领域中现有常规跟踪技术包括：卡尔曼滤波、粒子滤波跟踪以及均值平移算法。本实施例选用了均值平移算法进行搜索跟踪，将people_list中的目标在I_t-1帧中的位置作为在I_t中进行均值平移搜索的初始位置，通过迭代搜索确定该目标在I_t中的位置，完成对people_list中没有检测目标与之相匹配的目标的跟踪。这样people_list中所有目标都实现了跟踪定位，并清空head_list。

在目标行为分析和客流量统计计数步骤中，包括以下过程：

10，目标行为分析和客流量统计计数：判断跟踪目标队列people_list中是否有满足计数规则的目标，若有则更新客流量统计数据。计数规则具体为：目标进入场景时在图像中的初始位置和其当前时刻在图像中的位置之间的距离大于预设值，则为下车；目标当前时刻在图像中的位置与其进入场景时在图像中的初始位置之间的距离大于预设值，则为上车。

从图3和图4可以看出，本实施例中由于公交车门位于图像的上部分，且图像坐标系中垂直方向上坐标值从上往下递增，而乘客的上下车行为基本约束在垂直方向上，所以最简单的分析方式就是仅计算目标进入场景时刻的初始位置和目标当前时刻的位置在垂直方向上的距离，若初始位置垂直方向坐标小于当前时刻的位置垂直方向坐标，且二者间的距离大于设定阈值(具体可根据图像大小来设定，本发明采用的图像大小为352*288，一般设定阈值为20-50即可)，则认为乘客的行为为上车，更新上车人数；若初始位置垂直方向坐标大于当前时刻的位置垂直方向坐标，且二者间的距离大于设定阈值，则认为乘客的行为为下车，更新下车人数。即实现了公交车客流量的统计，如图3和图4所示，图3为上车门客流统计情况，图4为下车门客流统计情况。

当然，完成客流量统计计数步骤后，为了提高本方法针对场景发生变化时的适应性，可以再计算出符合上述客流统计计数规则的目标灰度统计直方图分布Hist′和目标先验灰度统计直方图Hist的相关系数，若相关系数大于设定的阈值，则按照如下的方式更新目标先验灰度统计直方图Hist＝(1-α)Hist+α·Hist′，其中α为学习速率，α越大，则Hist更新也越快，反之Hist更新越慢；更新后的目标先验灰度统计直方图继续用于后续输入视频图像的目标检测。

Claims (4)

1.一种实时公交车客流量统计方法，包括目标检测、目标跟踪、目标行为分析及客流统计计数三个步骤，其特征在于：

所述的目标检测步骤中，包括以下过程：

(1)提取目标先验灰度统计直方图

先人工手动的从预先捕获的客流视频图像中提取多幅只包含乘客人头区域信息的图像，形成目标样本集；再分别提取目标样本集中每个样本的灰度统计直方图Hist_aa，则样本集的平均灰度统计直方图为

其中aa是样本在样本集中的索引值，total为样本集的大小，表示样本的数量，这个目标样本集的平均灰度统计直方图就作为本发明的目标先验灰度统计直方图；

(2)基于上述目标先验灰度统计直方图对输入视频图像的任一帧I_t进行反向投影运算，即将I_t的每个像素点的灰度值映射为该灰度值在目标先验灰度统计直方图中的统计次数或概率，得到I_t对应的反向投影图像P_t，然后再将P_t的像素值量化到[0，255]范围内，其中t表示输入视频图像中的任一帧索引值；

(3)对所述反向投影图像P_t和与该帧t之前相隔τ帧的图像P_t-τ进行差分和二值化运算，得到结果图像S_t，其中τ≥1；

(4)对所述结果图像S_t滤波，以消除图像中存在的孤立噪声点和连接断开的目标区域；

(5)连通域标记：所述结果图像S_t经过滤波处理之后，将其中像素值为255且彼此位于对方的8邻域中的像素用同一数值标记出来，标记后的图像中具有相同数值的所有像素则隶属于同一个连通域，将所有连通域作为I_t中待检测的目标压入检测目标队列head_list中；

在所述目标跟踪步骤中，包括以下过程：

(6)记跟踪目标队列为people_list，判断其是否为空，如果为空，则将上述检测目标队列head_list中的所有目标作为新进入场景中的目标压入跟踪目标队列people_list中，并直接跳转到步骤(10)，如果不为空，则转入步骤(7)；

(7)虚警删除：根据虚警删除机制，删除跟踪目标队列people_list中的虚警目标，其中，所述虚警删除机制包括：(A)目标的位置位于图像的边缘，(B)目标的滞留时间达到预设值的上限，(C)目标允许的消失时间达到预设值的上限，D)目标已用于了客流统计计数，

若跟踪目标队列people_list中的目标满足所述虚警删除机制中任何之一，则该目标为虚警目标，删除该虚警目标，更新跟踪目标队列people_list；

(8)灰度互相关关联匹配跟踪：将检测目标队列headl_list与虚警删除后的跟踪目标队列people_list按照一定的关联规则进行数据关联匹配，

其中，所述的关联规则为两级级联准则，即在只有满足第一级准则的条件下才可进入第二级处理，所述第一级准则为只有当两个目标的中心点分别位于彼此的邻域之内才认为它们可能有关联；第二级准则为在上一级中可能相互关联的目标，若其相似度满足预设条件则认为它们已经正确的匹配上，具体关联匹配过程为：

假设people_list中存在m个目标，head_list中存在n个目标，用a_kl表示people_list中的任一目标k和head_list中的任一目标l之间的相似度，用d_kl表示people_list中的该任一目标k和head_list中的该任一目标l的中心点之间的欧式距离，将该任一目标k或任一目标l所属图像区域即目标区域的二维点集R＝{I_t(a，b)：a₁≤a≤a₂，b₁≤b≤b₂}转换为按行顺序存储的一维向量X，其中a，b为I_t中任一像素点I_t(a，b)的位置，a代表列的位置，b代表行的位置，a₁，a₂分别为I_t中的目标区域的最左边列和最右边列的位置坐标，b₁，b₂分别为I_t中的目标区域的最下边行和最上边行的位置坐标，记向量X的均值为

x_c为向量X中任一元素，N为向量X的长度，也就是目标区域的总像素数，N＝(a₂-a₁+1)×(b₂-b₁+1)；

定义相似度函数如下：

$a_{\mathrm{kl}}=\left\{\begin{array}{cc}\underset{r=1}{\overset{M}{\mathrm{\Σ}}}|(X_{\mathrm{kr}}-E[X_k\left]\right)-(X_{\mathrm{lr}}-E[X_l\left]\right)|,& \mathrm{if}(d_{\mathrm{kl}}\≤{\mathrm{th}}_3)\\ +\∞,& \mathrm{else}\end{array}\right.$

其中M为向量X_k和X_l的有效长度，M＝min(N_k，N_l)，表示取N_k，N_l中的较小者，N_k，N_l分别为people_list中的任一目标k和head_list中的任一目标l所属目标区域转换后得到的向量X_k和X_l的长度，th₃是预设的目标邻域大小，X_kr和X_lr分别为向量X_k和X_l中任一元素，据此得到people_list和head_list队列间的相似度关联矩阵：

$A=\left[\begin{array}{ccccc}{a}_{11}& a_{12}& L& a_{1(n-1)}& a_{1n}\\ a_{21}& a_{22}& L& a_{2(n-1)}& a_{2n}\\ M& M& a_{\mathrm{kl}}& M& M\\ a_{(m-1)1}& a_{(m-1)2}& L& a_{(m-1)(n-1)}& a_{(m-1)n}\\ a_{m1}& a_{m2}& L& a_{m(n-1)}& a_{\mathrm{mn}}\end{array}\right]$

当a_kl同时满足如下两个预设条件：

a_kl＝min{a_k1 a_k2 L a_k(n-1) a_kn}，a_kl＝min{a_1l a_2l L a_(m-1)l a_ml}，则认为head_list中的目标l与people_list中的目标k相匹配，更新people_list中目标k的相应信息；若a_kl不满足上述两个预设条件，则分如下两种情况分别处理：(A)head_list中目标l与people_list中的目标k不匹配，则people_list中的目标k进一步转入步骤(9)进行搜索跟踪；(B)people_list中的目标k与head_list中的目标l不匹配，则head_list中的目标l作为新进入场景中的目标压入跟踪队列people_list中；

(9)对people_list中没有检测目标与之相匹配的目标采用均值平移算法进行搜索跟踪，将people_list中的目标在上一帧图像I_t-1中的位置作为在当前帧I_t中进行均值平移搜索的初始位置，通过迭代搜索确定目标在I_t中的可能位置，完成对people_list中没有检测目标与之相匹配的目标的搜索跟踪，并清空head_list；

在所述的目标行为分析和客流量统计计数步骤中，包括以下过程：

(10)目标行为分析和客流量统计计数：判断跟踪目标队列people_list中是否有满足计数规则的目标，若有则更新客流量统计数据，

其中，所述的计数规则为：目标在进入场景时的图像中的初始位置和其在当前帧图像I_t中的位置之间的距离大于预设值，则为下车；目标在当前帧图像I_t中的位置与其在进入场景时的图像中的初始位置之间的距离大于预设值，则为上车。

2.根据权利要求1所述的一种实时公交车客流量统计方法，其特征在于，在所述的目标检测步骤中，对所得到的经差分和二值化运算后的结果图像S_t先进行目标重影消除处理，得到处理后的图像S′_t，再对所述处理后的图像S′_t进行滤波和连通域标记处理，其中，具体的目标重影消除处理过程如下：

在对P_t和在该帧之前相隔τ帧的图像P_t-τ进行差分和二值化运算的同时，单独再对P_t进行二值化处理，即

$P_t^{\′}(i,j)=\left\{\begin{array}{cc}255& \mathrm{if}(P_t(i,j)>{\mathrm{th}}_2)\\ 0& \mathrm{else}\end{array},,\right.$

其中P′_t表示P_t二值化后的图像，P_t(i，j)、P′_t(i，j)分别表示P_t和P′_t中的任一像素点，i、j分别表示图像的第i行和第j列，th₂为二值化阈值，用S_t和P′_t进行“与”操作，即

其中S′_t为处理后的结果图像，S′_t(i，j)表示S′_t中的任一像素点。

3.根据权利要求1或2所述的一种实时公交车客流量统计方法，其特征在于，在所述的目标检测步骤中，所述的滤波为中值滤波或形态学滤波。

4.根据权利要求1-3之一所述的一种实时公交车客流量统计方法，其特征在于，计算出符合上述计数规则的目标灰度统计直方图Hist′和目标先验灰度统计直方图Hist的相关系数，若相关系数大于预定值，则按照如下的方式更新目标先验灰度统计直方图：

Hist＝(1-α)Hist+α·Hist′

以用于后续输入视频图像的目标检测，增强对场景发生变化时的适应性。

Images