CN101794382A - 一种实时公交车客流量统计的方法 - Google Patents

Abstract

本发明提供了一种实时公交车客流量统计的方法，该方法采用了机器学习，多目标检测与跟踪以及目标行为分析等方法，属于模式识别技术领域。具体为：通过分析视频图像中乘客人头的形状、纹理信息实现乘客目标的检测(采用梯度方向直方图表征其形状信息、局部二值模式直方图表征纹理信息)，然后采用灰度互相关关联匹配跟踪和均值平移算法搜索跟踪相结合的目标跟踪策略实现对乘客的精确定位，最后通过分析客的运动轨迹，判断乘客的行为特征实现公交车客流量的精确统计。实践表明，本发明提供的方法可以为公交公司实现公交车智能调度、公交车移动传媒广告受众分析等提供细粒度的可靠依据，具有很高的实用价值。

Description

一种实时公交车客流量统计的方法

技术领域

本发明属于模式识别技术领域，具体涉及一种实时公交车客流量统计的方法。

背景技术

随着我国经济的快速发展，对交通运输的各种需求明显增长，交通运输与社会经济生活的联系越来越紧密，因此，研究如何对公共交通设施实施有效监测、如何为公共交通调度提供有效数据，从而减少公交车的使用，提高道路交通的安全性，因此开发能够改善当前行车环境的车载移动增值业务成为我国经济社会和谐发展的迫切需求，公交车客流量统计就是其中之一。公交公司通过实时的获得该路段在此段时间内的客流量的多少可以更加合理的进行公交车的合理调度，另一方面公交广告投资商也可以据此对投放的公交广告的受众进行详细分析，进而调整广告投资策略以期将其广告收益最大化。

人体目标的检测识别、跟踪以及流量统计等问题是计算机视觉领域的一个研究热点，它具体涉及到了运动目标检测和运动目标跟踪。

在计算机视觉领域中，经典的运动目标检测方法包括：

(1)帧间差分法：该方法是一种对连续的相邻两帧图像采用基于像素的时间差分并且阈值化来提取图像中的运动区域的方法(参考：J.B.Kim，H.J.Kim.Efficient region-based motion segmentation for video monitoringsystem[J].Pattern Recognition Letters，2003，24：113～128)。该方法对动态环境有一定的适应性，但一般不能提取出所有相关的特征像素点，运动时目标体内部容易产生空洞，并且对于光线强烈变化的场景该方法容易产生很多噪声；

(2)背景建模：该方法能够自适应的建立输入场景背景图像的模型，利用当前输入图像与背景模型做差分和阈值化运算即可检测出输入图像中的前景目标(参考：Stauffer C，Grimson W.E.L.Adaptive background mixturemodels for real-time tracking.in Proceedings.1999 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition(Cat.No PR00149).IEEE Comput.Soc.Part Vol.2，1999.)。该方法可以获得较完整的目标特征数据，对于无光照变化或光线变化缓慢的场景有较好的适用性。但是对于动态场景或者存在剧烈的光照变化的场景，该方法则比较敏感，同时该算法运算量较大，难以保证检测的实时性；

(3)光流法：该方法利用运动估计进行分割和跟踪运动目标，采用运动目标随时间变化的光流特性，从而有效地提取和跟踪运动目标。光流场的计算一直以来都是计算机视觉领域的一个研究重点，其中最为经典的算法是L-K(Lucas&Kanade)法和H-S(Horm&Schunck)法。(参考：B.K.P.Hornand B.G.Schunck.Determining optical flow.AI Memo 572.MassachusettsInstitue of Technology，1980.和Lucas B and Kanade T.An Iterative ImageRegistration Technique with an Application to Stereo Vision.Proc.Of 7thInternational Joint Conference on Artificial Intelligence(IJCAI)，pp.674-679.)。光流法的优点是能检测出独立运动的对象，而且不需要预先知道场景的任何信息。但是由于噪声、多光源、阴影、透明性和遮挡性等原因，使得计算出的光流场分布不是十分可靠和精确。同时光流场的计算也十分耗时。

近年来，又有学者提出了基于某些高级图像特征的人体目标检测方法，其中以Navneet Dalal和Bill Triggs提出的采用图像的梯度方向直方图(Histograms of Oriented Gradient：HOG)特征进行人体检测最引人注目(参考：N.Dalal and B.Triggs.Histograms of oriented gradients for humandetection.Coference on Computer Vision and Pattern Recognition(CVPR)，2005.)，利用HOG特征进行人体检测具有极强的鲁棒性。很快就有学者对此方法进行了改进，他们采用梯度方向直方图和局部二值模式(Local BinaryPatterns：LBP，参考：T.Ojala，M.Pietik¨ainen，and T.M¨aenp¨a¨a，“Multiresolution Gray-Scale and Rotation Invariant Texture Classification withLocal Binary Patterns，”IEEE Trans.Pattern Analysis and Machine Intelligence，vol.24，no.7，pp.971-987，2002.)有效的解决了人体部分被遮挡时的检测问题(参考：X.Wang，T.X.Han，and S.Yan.An HOG-LBP human detector withpartial occlusion handling.In IEEE International Conference on ComputerVision，2009.)。

另一方面，计算机视觉领域中经典的运动目标跟踪算法包括：卡尔曼滤波(参考：Kalman，R.E.1960.“A New Approach to Linear Filtering andPrediction Problems，”Transaction of the ASME-Journal of BasicEngineering，pp.35-45(March 1960).)、粒子滤波跟踪(参考：Vo B.，Singh S.，and Doucet A.，Sequential Monte Carlo Implementation of the PHD Filter forMulti-target Tracking，In Proceedings of International Conference onInformation Fusion，2003，792-799.)以及均值平移算法跟踪(参考：Comaniciu，D.，Ramesh，V.，and Meer，P.，Real-Time Tracking of Non-Rigid Objects usingMean Shift.In IEEE Conference on Computer Vision and PatternRecognition，2000，Vol.2，142-149.)。

基于此，本发明提供了一种实时公交车客流量统计的方法，属于实时多目标检测与跟踪及运动目标行为分析的算法，具有统计精度高，鲁棒性好，对算法处理平台要求低等特点。

发明内容

本发明提供了一种实时公交车客流量统计的方法，通过对训练样本集进行训练学习得到二类目标线性分类器，并采用了多尺度分析的技术检测视频图像中存在的乘客目标，再综合相关目标跟踪算法实现对乘客目标的精确定位跟踪。最后分析乘客目标的运动轨迹来判断乘客的上、下车行为，实现精确的客流统计计数。

采用的具体技术方案为：

一种实时公交车客流量统计方法，包括目标检测、目标跟踪和目标行为分析及客流统计计数三个步骤，其特征在于。

在所述的目标检测步骤中，包括以下过程：

(1)训练二类目标线性分类器：预先从捕获的公交车客流视频图像数据中人工采集多种不同尺度的只包括乘客人头信息的图像作为正样本集合，采集对应尺度的不包括人头信息的图像作为负样本集合，正样本集合和负样本集合构成训练样本集，分别提取训练样本集中任一个训练样本的梯度方向直方图(HOG)和局部二值模式(LBP)直方图，二者组成该训练样本的特征向量f，训练样本集中所有训练样本的特征向量组成样本特征集，采用线性支撑向量机(SVM)对样本特征集进行训练学习，得到二类目标线性分类函数即二类目标线性分类器；

(2)目标检测：采用具有所述多个不同尺度的搜索窗口在输入视频图像任一帧I_t中进行遍历搜索，即提取当前搜索位置在每种尺度下对应的搜索窗口所覆盖图像区域的由梯度方向直方图和局部二值模式直方图组成的特征向量，将所述特征向量分别输入上述二类目标线性分类器得到分类分值，不同尺度的搜索窗口对应的分类分值中最大的分类分值如果大于目标分类阈值，则判定当前搜索位置为目标区域，其尺度为最大分类分值对应的搜索窗口的尺度，将该目标区域信息存入检测目标队列head_list中，遍历所有搜索位置即得到I_t中所有新检测到的目标；

在所述目标跟踪步骤中，包括以下过程：

(3)记跟踪目标队列为people_list，判断其是否为空，如果为空，则将上述检测目标队列head_list中的所有目标作为新进入场景中的目标压入跟踪目标队列people_list中，并直接跳转到步骤(8)，如果不为空，则转入步骤(4)；

(4)虚警删除：根据虚警删除机制，删除跟踪目标队列people_list中的虚警目标，其中，所述虚警删除机制包括：(A)目标的位置位于图像的边缘，(B)目标的滞留时间达到预设值的上限，(C)目标允许的消失时间达到预设值的上限，(D)目标已用于了客流统计计数，

若跟踪目标队列people_list中的目标满足所述虚警删除机制中任何之一，则该目标为虚警目标，删除该虚警目标，更新跟踪目标队列people_list；

(5)灰度互相关关联匹配跟踪：将检测目标队列head_list与虚警删除后的跟踪目标队列people_list按照一定的关联规则进行灰度互相关关联匹配跟踪，

其中，所述的关联规则为两级级联准则，即在只有满足第一级准则的条件下才可进入第二级处理，第一级准则为只有当两个目标分别位于彼此的邻域内才认为它们可能有关联；第二级准则为第一级中可能相互关联的目标间的相似度满足预设条件则认为它们已经正确的匹配上了，具体关联匹配过程为：

假设people_list中存在m个目标，head_list中存在n个目标，用a_kl表示people_list中的任一目标k和head_list中的任一目标l之间的相似度，用d_kl表示people_list中的该任一目标k和head_list中的该任一目标l的中心点之间的欧式距离，将该任一目标k或任一目标l所属图像区域即目标区域的二维点集R＝{I_t(a，b)：a₁≤a≤a₂，b₁≤b≤b₂}转换为按行顺序存储的一维向量X，其中a，b为I_t中任一像素点I_t(a，b)的位置，a代表列的位置，b代表行的位置，a₁，a₂分别为I_t中的目标区域的最左边列和最右边列的位置坐标，b₁，b₂分别为I_t中的目标区域的最下边行和最上边行的位置坐标，记向量X的均值为

x_c为向量X中任一元素，N为向量X的长度，也就是目标区域的总像素数，N＝(a₂-a₁+1)×(b₂-b₁+1)；

定义相似度函数如下：

$a_{\mathrm{kl}}=\left\{\begin{array}{cc}\underset{r=1}{\overset{M}{\mathrm{\Σ}}}|(X_{\mathrm{kr}}-E[X_k\left]\right)-(X_{\mathrm{lr}}-E[X_l\left]\right)|,& \mathrm{if}(d_{\mathrm{kl}}\≤{\mathrm{th}}_3)\\ +\∞,& \mathrm{else}\end{array}\right.$

其中M为向量X_k和X_l的有效长度，M＝min(N_k，N_l)，表示取N_k，N_l中的较小者，N_k，N_l分别为people_list中的目标k和head_list中的目标l所属目标区域转换后得到的向量X_k和X_l的长度，th₃是预设的目标邻域范围，X_kr和X_lr分别为向量X_k和X_l中任一元素，据此得到people_list和head_list队列间的相似度关联矩阵：

$A=\left[\begin{array}{ccccc}{a}_{11}& a_{12}& L& a_{1(n-1)}& a_{1n}\\ a_{21}& a_{22}& L& a_{2(n-1)}& a_{2n}\\ M& M& a_{\mathrm{kl}}& M& M\\ a_{(m-1)1}& a_{(m-1)2}& L& a_{(m-1)(n-1)}& a_{(m-1)n}\\ a_{m1}& a_{m2}& L& a_{m(n-1)}& a_{\mathrm{mn}}\end{array}\right]$

当people_list中的目标k和head_list中的目标l之间的相似度a_kl同时满足如下两个预设条件：

a_kl＝min{a_k1 a_k2 L a_k(n-1) a_kn}，a_kl＝min{a_1l a_2l L a_(m-1)l a_ml}，

则认为head_list中的目标l与people_list中的目标k相匹配，更新people_list中目标k的相应信息；若a_kl不满足上述两个预设条件，则分如下两种情况分别处理：(A)head_list中的目标l与people_list中的目标k不匹配，则people_list中的目标k进一步转入步骤(6)进行搜索跟踪；(B)在people_list中的目标k与head_list中的目标l不匹配，则head_list中的目标l作为新进入场景中的目标压入跟踪队列people_list中；

(6)对people_list中不是新进入场景中的目标采用均值平移算法进行搜索跟踪，将people_list中的目标在I_t-1帧中的位置作为在I_t中进行均值平移搜索的初始位置，通过迭代搜索确定该目标在I_t中的可能位置，I_t-1为I_t的前一帧图像；

(7)经过步骤(6)之后，针对people_list中不是新进入场景中的目标，分如下两种情况分别确定该目标的最终跟踪结果：

(A)该目标在head_list中没有检测目标与之相匹配，那么均值平移算法搜索跟踪的位置信息即作为该目标在输入视频图像I_t中的最终跟踪结果；

(B)该目标在head_list中有检测目标与之相匹配，那么现在它就存在两个可能的位置：一个是灰度互相关关联匹配跟踪的得到的位置，一个是均值平移算法搜索跟踪的位置，通过如下的准则从二者中确定最佳的跟踪结果：

(B1)该目标在head_list中与之相匹配的检测目标的分类分值大于预设值，则直接将这个检测目标的相关信息作为该目标在I_t中的最终跟踪结果，而抛弃均值平移算法搜索跟踪的结果；

(B2)该目标在head_list中与之相匹配的检测目标的分类分值小于上述预设值，则需要按照步骤(5)所述的相似度计算方法，分别计算该目标与灰度互相关关联匹配跟踪结果和均值平移算法搜索跟踪结果的相似度，把对应相似度较小者的跟踪结果作为该目标在I_t中的最终搜索跟踪结果；

这样people_list中所有目标都实现了跟踪定位，并清空head_list。

在目标行为分析和客流量统计计数步骤中，包括以下过程：

(8)目标行为分析和客流量统计计数：判断跟踪目标队列people_list中是否有满足计数规则的目标，若有则更新客流量统计数据。。

其中，所述的计数规则为：目标在进入场景时的图像中的初始位置和其在I_t中的位置之间的距离大于预设值，则为下车；目标在I_t中的位置与其在进入场景时的图像中的初始位置之间的距离大于预设值，则为上车。

本发明提供的方法可以为公交公司实现公交车智能调度、公交车移动传媒广告受众分析等提供细粒度的可靠依据，具有很高的实用价值。

附图说明

图1为本发明整体流程图；

图2白天客流统计示意图；

图3夜晚客流统计示意图；

具体实施方式

下面结合附图和具体实施例对本发明作详细描述。

图1为本实施例的实施流程图，包括目标检测、目标跟踪和目标行为分析及客流统计计数三个步骤，本实施例在分析输入视频图像I_t时，只利用了图像的亮度信息(即灰度图像)。

在目标检测步骤中，包括以下过程：

1，训练二类目标线性分类器：预先从捕获的公交车客流视频图像数据中人工采集多种不同尺度的只包括乘客人头信息的图像作为正样本集合，采集对应尺度的不包括人头信息的图像作为负样本集合，正样本集合和负样本集合共同构成了训练样本集。分别计算训练样本集中任一个训练样本的梯度方向直方图(Histograms of Oriented Gradient：HOG)和局部二值模式(Local Binary Patterns：LBP)直方图，二者联合起来作为描述该单个样本的形状及纹理信息的特征向量f，训练样本集中所有训练样本的特征向量组成样本特征集，采用线性支撑向量机(Support Vector Machine：SVM)对样本特征集进行训练学习，得到二类目标(人头/非人头)线性分类函数(也称作线性分类器)。二类目标线性分类器的判别函数形式为：

其中w_i和b为训练学习结果，w_i为每一维特征向量f_i对应的权重系数，n为f的维数，g(f)为分类器输出的分类分值，通常g(f)＞0表示与特征向量f相对应的样本为正样本，g(f)＜0表示与特征向量f相对应的样本为负样本。下面来说明本实施例中是如何计算样本的特征向量的(目标检测时按同样的方法提取搜索区域的特征向量)：

1)梯度方向直方图(HOG)

所谓描述图像区域形状信息的梯度方向直方图就是统计该图像区域中所有点的梯度幅值在梯度方向上的统计分布情况，该统计的主要思想是先分别计算图像区域中每个像素点的梯度幅值和梯度方向，再把整个图像区域分割成很多连续的小区域(把它称之为cell)，每个cell的梯度方向直方图汇集了位于cell内的所有像素的梯度幅值在梯度方向上的分布情况，通常再将相邻的多个cell汇聚成一个大块(称之为block，block之间可以有重叠)，把该block中所包含cell的梯度方向直方图顺次拼接起来，再作归一化处理即可得到该block的梯度方向直方图。最后将整个图像区域中包含的所有block的梯度方向直方图依次连接起来即得到了该图像区域的梯度方向直方图。

本领域中现有的计算图像梯度的梯度算子有多种，本实施例中计算图像梯度采用的梯度算子水平方向为[-1，0，1]，垂直方向为[-1，0，1]^T，实验证明选用该算子计算图像梯度时目标检测的性能最佳。据此，输入视频图像I_t中点(i，j)的水平方向上梯度值为grad(i)＝I_t(i+1，j)-I_t(i-1，j)，垂直方向上梯度值为grad(j)＝I_t(i，j+1)-I_t(i，j-1)，则该点的梯度幅值为

或者grad(i，j)＝|grad(i)|+|grad(j)|。同时该点的梯度方向计算方法为orien(i，j)＝tan^-1(grad(j)/grad(i))/π×180，再将orien(i，j)换算到区间[0，180°]，即可得到像素点(i，j)在本实施例中所采用的梯度方向θ(i，j)，具体换算方法为：其中，orien(i，j)为计算梯度方向时的中间结果，i，j表示图像的第i行和第j列。

2)局部二值模式(LBP)

局部二值模式算子是一种非参数的灰度范围内的纹理度量，其纹理分布F可假设为是局部区域内像素点灰度的联合分布密度F＝f(g_c，g₀，...，g_P-1)，其中g_c对应图像局部邻域中心像素点的灰度值，g_i(i＝0，P-1)对应于P个等距离分布于以中心像素为圆心、半径为R的圆周上的像素点的灰度值，P为LBP编码的码长。一般定义F＝f(s(g₀-g_c)，...，s(g_P-1-g_c))，其中f(x)为分布函数，

再为每个s(g_i-g_c)分配一个权值2ⁱ，则可以得到一个唯一的LBP编码

LBP_P，R表示半径为R，码长为P位的LBP码值。分别以输入视频图像I_t中每个像素点为圆心，进行上述操作后即可得到I_t重新编码后的LBP图像，计算LBP图像的直方图即为I_t的LBP直方图。

本实施例中设定的半径R≥1，P≥8，并将图像区域分为了若干个小区域，分别计算每个子区域经LBP编码后的LBP直方图，再将它们顺次连接起来即得到了描述图像区域纹理分布信息的LBP直方图。

3)线性支撑向量机(SVM)

SVM学习算法是利用结构风险最小化的原则来寻找把两类物体分开的最优分类线。最优分类线就是使得两类样本无错误地分开且使得两类的分类间隔最大的分类线。设线性可分样本集为(x_i，y_i)，i＝1，L，n，x∈R^d，y∈{-1，+1}是类别标号，n为样本个数，R^d表示d维实数空间。则在d维空间中SVM学习得到的线性判别函数的一般形式为

最优分类面方程为：g(x)＞0表示样本x属于一类，g(x)＜0表示样本x属于另一类，其中，w_i为训练学习得到的权重系数，b为训练学习得到的一个常数项。

2，目标检测：采用具有所述多个不同尺度的搜索窗口在输入视频图像任一帧I_t中进行遍历搜索，按照步骤1中所述的方法提取当前搜索位置分别在每种尺度下对应的搜索窗口所覆盖图像区域的梯度方向直方图和局部二值模式直方图，得到描述该图像区域的形状和纹理分布信息的特征向量将对应的特征向量分别输入分类器得到相应的分类分值，不同尺度搜索窗口对应的分类分值中最大的分类分值如果大于目标分类阈值(一般设为0到5之间)，则判定当前搜索位置为目标区域，其尺度为最大分类分值对应的搜索窗口的尺度，将该目标区域信息存入检测目标队列head_list中，然后改变搜索位置，继续搜索。全图搜索完毕之后，即可得到I_t中所有新检测到的目标。

在目标跟踪步骤中，包括以下过程：

3，记跟踪目标队列为people_list，判断其是否为空，如果为空，则将上述检测目标队列head_list中的所有目标作为新进入场景中的目标压入跟踪目标队列people_list中，直接跳转到第8步。如果不为空，则转入第4步。

4，虚警删除：根据虚警删除机制，删除当前跟踪队列people_list中的虚警目标。本发明定义的虚警删除机制包括：(1)目标的位置已位于图像的边缘；(2)目标的滞留时间已达到预设值的上限；(3)目标的消失时间已达到预设值的上限；(4)目标已经用于了客流统计计数。若目标满足这其中任何条件之一，则删除该目标，再更新跟踪目标队列people_list。

5，灰度互相关关联匹配跟踪：将检测目标队列head_list与虚警删除后的跟踪目标队列people_list进行灰度互相关关联匹配跟踪。

本发明定义的关联规则包含了两级级联准则(所谓两级级联是指只有满足第一级准则的条件下才可进入第二级处理)，第一级为目标间的距离，规定只有当两个目标的中心点分别位于彼此的邻域之内(以目标中心点为圆心，一定预设值为半径的圆形图像区域称之为该目标的邻域，该预设值称为邻域大小)才认为它们可能有关联；第二级为可能相互关联的目标间的相似度，若其相似度满足预设条件则认为它们已经正确的匹配上了。

具体关联匹配过程如下：

假设people_list中存在m个目标，head_list中存在n个目标，用a_kl表示people_list中的任一目标k和head_list中的任一目标l之间的相似度，用d_kl表示people_list中的目标k和head_list中的目标l的中心点之间的欧式距离，其中k和l分别表示队列people_list和head_list中目标的索引值。为描述方便将目标所属图像区域(即目标区域)的二维点集R＝{I_t(a，b)：a₁≤a≤a₂，b₁≤b≤b₂}转换为按行顺序存储的一维向量X，其中a，b为I_t中任一像素点I_t(a，b)的位置，a代表列的位置，b代表行的位置，a₁，a₂分别为I_t中的目标区域的最左边列和最右边列的位置坐标，b₁，b₂分别为I_t中的目标区域的最下边行和最上边行的位置坐标，记向量X的均值为

x_e为向量X中任一元素，N为向量X的长度，也就是目标区域的总像素数，N＝(a₂-a₁+1)×(b₂-b₁+1)。

根据上述关联规则的两级级联准则，本实施例定义了如下的相似度函数：

$a_{\mathrm{kl}}=\left\{\begin{array}{cc}\underset{r=1}{\overset{M}{\mathrm{\Σ}}}|(X_{\mathrm{kr}}-E[X_k\left]\right)-(X_{\mathrm{lr}}-E[X_l\left]\right)|,& \mathrm{if}(d_{\mathrm{kl}}\≤{\mathrm{th}}_3)\\ +\∞,& \mathrm{else}\end{array}\right.$

其中M为向量X_k和X_l的有效长度，M＝min(N_k，N_l)，表示取N_k，N_l中的较小者，N_k，N_l分别为people_list中的目标k和head_list中的目标l所属目标区域转换后得到的向量X_k和X_l的长度，th₃是预设的目标邻域大小，X_kr和X_lr分别为向量X_k和X_l中任一元素。a_kl的定义说明当people_list中的目标k和head_list中的目标l彼此位于对方的邻域之内时，其相似度为向量X_k和X_l除去均值后在有效长度上的绝对值距离，否则其相似度设为无穷大。显然a_kl值越小说明两个目标越相关。据此得到people_list和head_list队列间的相似度关联矩阵：

$A=\left[\begin{array}{ccccc}{a}_{11}& a_{12}& L& a_{1(n-1)}& a_{1n}\\ a_{21}& a_{22}& L& a_{2(n-1)}& a_{2n}\\ M& M& a_{\mathrm{kl}}& M& M\\ a_{(m-1)1}& a_{(m-1)2}& L& a_{(m-1)(n-1)}& a_{(m-1)n}\\ a_{m1}& a_{m2}& L& a_{m(n-1)}& a_{\mathrm{mn}}\end{array}\right]$

当people_list中的目标k和head_list中的目标l之间的相似度a_kl同时满足如下两个预设条件：

a_kl＝min{a_k1 a_k2 L a_k(n-1) a_kn}，a_kl＝min{a_1l a_2l L a_(m-1)l a_ml}，

则认为head_list中的目标l与people_list中的目标k相匹配，更新people_list中目标k的相应信息；若a_kl不满足上述两个预设条件，则分如下两种情况分别处理：(A)head_list中的目标l与people_list中的目标k不匹配，则people_list中的目标k进一步转入步骤6进行搜索跟踪；(B)在people_list中的目标k与head_list中的目标l不匹配，则head_list中的目标l作为新进入场景中的目标压入跟踪队列people_list中；至此完成了people_list中目标的灰度互相关关联匹配跟踪。

6，对people_list中不是新进入场景中的目标进行搜索跟踪。本领域中现有常规跟踪技术包括：卡尔曼滤波、粒子滤波以及均值平移算法。本实施例选用了均值平移算法进行搜索跟踪，将people_list中的目标在I_t-1帧中的位置作为在I_t中进行均值平移算法搜索的初始位置，通过迭代搜索确定该目标在I_t中的可能位置。

7，经过步骤6之后，针对people_list中不是新进入场景中的目标，本实施例分如下两种情况分别确定该目标的最终跟踪结果：

(A)该目标在head_list中没有检测目标与之相匹配，那么均值平移算法搜索跟踪的位置信息即作为该目标在输入视频图像I_t中的最终跟踪结果；

(B)该目标在head_list中有检测目标与之相匹配，那么现在它就存在两个可能的位置：一个是灰度互相关关联匹配跟踪的得到的位置，一个是均值平移算法搜索跟踪的位置，本发明定义了如下的准则从二者中确定最佳的跟踪结果：(B1)该目标在head_list中与之相匹配的检测目标的分类分值大于预设值(一般要高于目标检测的分类分值，比如目标分类分值取3，那么该预设值可取4)，则直接将这个检测目标的相关信息作为该目标在I_t帧中的最终跟踪结果，而抛弃均值平移算法搜索跟踪的结果；(B2)该目标在head_list中与之相匹配的检测目标的分类分值小于上述预设值，则需要按照步骤5所述的相似度计算方法，分别计算该目标与灰度互相关关联匹配跟踪结果和均值平移算法搜索跟踪结果的相似度，把对应相似度较小者的跟踪结果信息作为该目标在I_t帧中的最终搜索跟踪结果。这样people_list中所有目标都实现了跟踪定位，并清空head_list。

在目标行为分析和客流量统计计数步骤中，包括以下过程：

8，目标行为分析和客流量统计计数：判断跟踪目标队列people_list中是否有满足计数规则的目标，若有则更新客流量统计数据。计数规则具体为：目标在进入场景时的图像中的初始位置和其在I_t中的位置之间的距离大于预设值，则为下车；目标在I_t中的位置与其在进入场景时的图像中的初始位置之间的距离大于预设值，则为上车。

从图2和图3可以看出，本实施例中由于公交车门位于图像的上部分，且图像坐标系中垂直方向上坐标值从上往下递增，而乘客的上下车行为基本约束在垂直方向上，所以最简单的分析方式就是仅计算目标进入场景时刻的初始位置和目标当前时刻的位置在垂直方向上的距离，若初始位置垂直方向坐标小于当前时刻的位置垂直方向坐标，且二者间的距离大于设定阈值(具体可根据图像大小来设定，本发明采用的图像大小为352*288，一般设定阈值为20-50即可)，则认为乘客的行为为上车，更新上车人数；若初始位置垂直方向坐标大于当前时刻的位置垂直方向坐标，且二者间的距离大于设定阈值，则认为乘客的行为为下车，更新下车人数。即实现了公交车客流量的统计，如图2和图3所示，其中图2所示的为白天上车门客流统计情况，图3所示的为夜间上车门客流统计情况。

Claims (1)

1.一种实时公交车客流量统计方法，包括目标检测、目标跟踪和目标行为分析及客流统计计数三个步骤，其特征在于。

在所述的目标检测步骤中，包括以下过程：

(1)训练二类目标线性分类器：预先从捕获的公交车客流视频图像数据中人工采集多种不同尺度的只包括乘客人头信息的图像作为正样本集合，采集对应尺度的不包括人头信息的图像作为负样本集合，正样本集合和负样本集合构成训练样本集，分别提取训练样本集中任一个训练样本的梯度方向直方图(HOG)和局部二值模式(LBP)直方图，二者组成该训练样本的特征向量f，训练样本集中所有训练样本的特征向量组成样本特征集，采用线性支撑向量机(SVM)对样本特征集进行训练学习，得到二类目标线性分类函数即二类目标线性分类器；

(2)目标检测：采用具有所述多个不同尺度的搜索窗口在输入视频图像任一帧I_t中进行遍历搜索，即提取当前搜索位置在每种尺度下对应的搜索窗口所覆盖图像区域的由梯度方向直方图和局部二值模式直方图组成的特征向量，将所述特征向量分别输入上述二类目标线性分类器得到分类分值，不同尺度的搜索窗口对应的分类分值中最大的分类分值如果大于目标分类阈值，则判定当前搜索位置为目标区域，其尺度为最大分类分值对应的搜索窗口的尺度，将该目标区域信息存入检测目标队列head_list中，遍历所有搜索位置即得到I_t中所有新检测到的目标；

在所述目标跟踪步骤中，包括以下过程：

(3)记跟踪目标队列为people_list，判断其是否为空，如果为空，则将上述检测目标队列head_list中的所有目标作为新进入场景中的目标压入跟踪目标队列people_list中，并直接跳转到步骤(8)，如果不为空，则转入步骤(4)；

(4)虚警删除：根据虚警删除机制，删除跟踪目标队列people_list中的虚警目标，其中，所述虚警删除机制包括：(A)目标的位置位于图像的边缘，(B)目标的滞留时间达到预设值的上限，(C)目标允许的消失时间达到预设值的上限，(D)目标已用于了客流统计计数，

若跟踪目标队列people_list中的目标满足所述虚警删除机制中任何之一，则该目标为虚警目标，删除该虚警目标，更新跟踪目标队列people_list；

(5)灰度互相关关联匹配跟踪：将检测目标队列head_list与虚警删除后的跟踪目标队列people_list按照一定的关联规则进行灰度互相关关联匹配跟踪，

其中，所述的关联规则为两级级联准则，即在只有满足第一级准则的条件下才可进入第二级处理，第一级准则为只有当两个目标分别位于彼此的邻域内才认为它们可能有关联；第二级准则为第一级中可能相互关联的目标间的相似度满足预设条件则认为它们已经正确的匹配上了，具体关联匹配过程为：

假设people_list中存在m个目标，head_list中存在n个目标，用a_kl表示people_list中的任一目标k和head_list中的任一目标l之间的相似度，用d_kl表示people_list中的该任一目标k和head_list中的该任一目标l的中心点之间的欧式距离，将该任一目标k或任一目标l所属图像区域即目标区域的二维点集R＝{I_t(a，b)：a₁≤a≤a₂，b₁≤b≤b₂}转换为按行顺序存储的一维向量X，其中a，b为I_t中任一像素点I_t(a，b)的位置，a代表列的位置，b代表行的位置，a₁，a₂分别为I_t中的目标区域的最左边列和最右边列的位置坐标，b₁，b₂分别为I_t中的目标区域的最下边行和最上边行的位置坐标，记向量X的均值为

x_c为向量X中任一元素，N为向量X的长度，也就是目标区域的总像素数，N＝(a₂-a₁+1)×(b₂-b₁+1)；

定义相似度函数如下：

其中M为向量X_k和X_l的有效长度，M＝min(N_k，N_l)，表示取N_k，N_l中的较小者，N_k，N_l分别为people_list中的目标k和head_list中的目标l所属目标区域转换后得到的向量X_k和X_l的长度，th₃是预设的目标邻域范围，X_kr和X_lr分别为向量X_k和X_l中任一元素，据此得到people_list和head_list队列间的相似度关联矩阵：

当people_list中的目标k和head_list中的目标l之间的相似度a_kl同时满足如下两个预设条件：

a_kl＝min{a_k1 a_k2 L a_k(n-1) a_kn}，a_kl＝min{a_1l a_2l L a_(m-1)l a_ml}，则认为head_list中的目标l与people_list中的目标k相匹配，更新people_list中目标k的相应信息；若a_kl不满足上述两个预设条件，则分如下两种情况分别处理：(A)head_list中的目标l与people_list中的目标k不匹配，则people_list中的目标k进一步转入步骤(6)进行搜索跟踪；(B)在people_list中的目标k与head_list中的目标l不匹配，则head_list中的目标l作为新进入场景中的目标压入跟踪队列people_list中；

(6)对people_list中不是新进入场景中的目标采用均值平移算法进行搜索跟踪，将people_list中的目标在I_t-1帧中的位置作为在I_t中进行均值平移搜索的初始位置，通过迭代搜索确定该目标在I_t中的可能位置，I_t-1为I_t的前一帧图像；

(7)经过步骤(6)之后，针对people_list中不是新进入场景中的目标，分如下两种情况分别确定该目标的最终跟踪结果：

(A)该目标在head_list中没有检测目标与之相匹配，那么均值平移算法搜索跟踪的位置信息即作为该目标在输入视频图像I_t中的最终跟踪结果；

(B)该目标在head_list中有检测目标与之相匹配，那么现在它就存在两个可能的位置：一个是灰度互相关关联匹配跟踪的得到的位置，一个是均值平移算法搜索跟踪的位置，通过如下的准则从二者中确定最佳的跟踪结果：

(B1)该目标在head_list中与之相匹配的检测目标的分类分值大于预设值，则直接将这个检测目标的相关信息作为该目标在I_t中的最终跟踪结果，而抛弃均值平移算法搜索跟踪的结果；

(B2)该目标在head_list中与之相匹配的检测目标的分类分值小于上述预设值，则需要按照步骤(5)所述的相似度计算方法，分别计算该目标与灰度互相关关联匹配跟踪结果和均值平移算法搜索跟踪结果的相似度，把对应相似度较小者的跟踪结果作为该目标在I_t中的最终搜索跟踪结果；

这样people_list中所有目标都实现了跟踪定位，并清空head_list。

在目标行为分析和客流量统计计数步骤中，包括以下过程：

(8)目标行为分析和客流量统计计数：判断跟踪目标队列people_list中是否有满足计数规则的目标，若有则更新客流量统计数据。

其中，所述的计数规则为：目标在进入场景时的图像中的初始位置和其在I_t中的位置之间的距离大于预设值，则为下车；目标在I_t中的位置与其在进入场景时的图像中的初始位置之间的距离大于预设值，则为上车。

Images