CN106600643B - 一种基于轨迹分析的人数统计方法 - Google Patents

Abstract

本发明为一种基于轨迹分析的人数统计方法，通过双目相机或RGBD相机获得场景的深度图，对相机进行标定，使用标定后的相机参数将深度图转化为三维点云，将三维点云投影至X‑Y平面，得到场景的俯视图，利用本发明提出的人头锁定方法对俯视图内的人头目标进行锁定，通过训练的分类器(Adaboost、SVM、Bayies等)对轨迹进行进入和出去的判断。本发明用于统计场景内(公交车、扶梯、通道口等)的来往行人，精确的得到进入和出去的人数。

Description

一种基于轨迹分析的人数统计方法

技术领域

本发明涉及一种基于轨迹分析的人数统计方法。

背景技术

人数统计一直是监控系统中的热门话题，也存在着许多方法，比如，使用激光射线的方法，如果射线被遮挡，则有人通过，此外还有使用超声波的方法，通过超声波测量出距离，从而检测行人，但是，这些方法不能够辨识出行人的方向，所以，不能广泛的应用于人数统计。使用单目相机对场景内的行人的人数进行统计有很多的技术难点，在简单场景下可以很好统计出人数，而在十分复杂场景下，由于遮挡和伪目标的影响，并不能很精确地统计出场景的人数，同时，在单目相机下并没有非常稳定的行人特征可以利用，光线的变化等诸多原因，也造成人数统计的精确度偏低；基于单目的缺陷，可以使用双目或者RGB-D相机对人数进行统计，在拥挤的环境下，行人有非常明显的特征，即行人的头部一定要比肩部要高，基于这个特征，很容易锁定人头，经过匹配阶段，形成轨迹，这些轨迹有一定的模式，通过机器学习的方法提取出轨迹的模式，从而对行人的行为进行判断，最终对通道的人数进行统计。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于轨迹分析的人数统计方法，实现了在双目相机或者RGB-D相机下通过3D轨迹对行人的行为判断，能够精确的统计人数。

为了实现上述目的，本发明采用如下技术方案：

一种基于轨迹分析的人数统计方法，包括以下步骤：

步骤一：在包含人体目标的通道中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；

步骤二：利用相机对通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图I_b；

步骤三：利用相机对通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合S_Fm；

步骤四：若步骤三得到的为初始时刻的矩形框集合S_F1，则利用初始时刻的矩形框集合S_F1生成多条轨迹，多条轨迹形成一个轨迹集合T₁；若步骤三得到的为非初始时刻m的矩形框集合S_Fm，则利用该非初始时刻的矩形框集合S_Fm对前一时刻m-1已经形成的轨迹集合进行更新，得到更新后的轨迹集合T1_m；

步骤五：若轨迹集合T_m或者更新后的轨迹集合T1_m中的某条轨迹连续多次未被更新，则对该轨迹进行标记，并将该轨迹由轨迹集合T_m或者更新后的轨迹集合T1_m内删除，得到新的轨迹集合T2_m；

步骤六：在步骤五得到的轨迹集合T2_m中选择轨迹作为样本，形成集合T_sm，若样本数达到设定值，则执行步骤七，否则，执行步骤三；

步骤七：针对集合T_sm中的每条轨迹，提取轨迹的属性，并记录每条轨迹对应的标记值L和该轨迹对应的多个属性，每条轨迹对应的标记值L和该轨迹对应的多个属性形成一个集合D_l；

步骤八：利用步骤七得到的集合D_l训练得到分类器；

步骤九：重复步骤三至步骤五的过程，在此过程中，将由于连续多次未更新而从轨迹集合T_m中删除的每条轨迹，提取该条轨迹的属性，该条轨迹的属性包括轨迹的起点的Y值F₉和轨迹的终点的Y值F₁₀；将该条轨迹的属性输入到步骤八得到的分类器中，分类器自动输出该条轨迹对应的标记值L，如果L＝1,则该轨迹为正样本，若满足F₉-F₁₀>0则通道在A方向上的人数加1，若满足F₉-F₁₀<0则通道在B方向的人数加1；若L＝-1，则此轨迹不作为人数统计的轨迹。

步骤十：重复步骤九，直至相机停止拍摄，获得通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。

具体地，步骤二中的求取每幅深度图的俯视图和针对该幅深度图获取其对应的俯视图，采用的公式均如下：

len＝m*r

其中，为相机的外参矩阵，p₁₁,p₁₂,p₁₃,p₁₄,p₂₁,p₂₂,p₂₃,p₂₄,p₃₁,p₃₂,p₃₃,p₃₄对应相机外参矩阵中的元素,θ为深度图上经过P(x_p,y_p,z_p)点的对应射线与地平面的夹角；G(x_G,y_G,0)为过P点的斜线与地平面的交点；H_C为相机高度；m为P点在深度图中的深度值，且0<m<D，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；

利用以下公式得到俯视图I：

其中，(r_x,r_y)为对点(x_p,y_p)的缩放系数，(d_x,d_y)为对点(x_p,y_p)平移系数,(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值；

针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素值形成俯视图I。

具体地，所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：

其中，δ_F为用户设定的用于提取前景的阈值，I_F(u,v)表示前景图片I_F中像素点(u,v)处的像素值，I_b(u,v)为背景图I_b在像素点(u,v)位置处的像素值，

I(u,v)表示俯视图I像素点(u,v)处的像素值。

具体地，所述步骤三中的针对前景图片进行分块操作得到分块后的图片，采用的公式如下：

其中，I_B为针对前景图片进行分块后的图片，I_F(u,v)为前景图片I_F坐标为(u,v)的像素值，I_B(x,y)为图片I_B在像素点(x,y)位置处的像素值，划定的块的大小为w_b×w_b。

具体地，所述步骤三中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，具体包括以下步骤：

针对图片I_B上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合S_L中，利用S_L ⁽ⁱ⁾表示S_L的成员，且S_L ⁽ⁱ⁾＝(u_i,v_i,d_i)，(u_i,v_i)表示该像素点，d_i为像素点(u_i,v_i)在图片I_B中的像素值。

具体地，所述步骤三中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，具体包括以下步骤：

针对局部最大区域集合S_L的每个元素S_L ⁽ⁱ⁾，寻找S_L ⁽ⁱ⁾在前景图片I_F中对应的像素位置，采用的公式为：

其中，(x_i,y_i)是S_L ⁽ⁱ⁾对应于前景图片I_F中的位置；令S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，得到集合S_S，S_S ⁽ⁱ⁾为集合S_S的元素；

针对S_S中的每个成员S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，以S_S ⁽ⁱ⁾为种子，利用种子填充法，向外扩展，扩展的条件为：若|I_F(x_i,y_i)-z_i|≤δ_E，则使用一个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)框选中所有满足条件的像素点，其中(u_i,v_i)为矩形框左上角点，(H_i,W_i)为矩形框的高和宽，z_i为原始像素值，δ_E为规定的阈值，形成一个扩展后区域的集合S_E，S_E ⁽ⁱ⁾为集合S_E的元素。

具体地，所述步骤三中的针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的矩形框集合，包括以下步骤：

采用两个过滤条件对集合S_E中的元素进行过滤：

(1)若元素S_E ⁽ⁱ⁾符合以下条件：则将该元素删除，其中δ_H为最小长度阈值，δ_W为最小宽度阈值；

(2)若两个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)和S_E ^(j)＝(u_j,v_j,H_j,W_j,z_j)，满足则判定S_E ⁽ⁱ⁾和S_E ^(j)重合，如果重合，则保留z_i和z_j中较大的矩形框；

将保留下的矩形框形成矩形框集合S_Fm，矩形框集合S_Fm中的元素为S_Fm ⁽ⁱ⁾，其中，m表示时刻。

具体地，所述步骤四中的步骤三得到的为初始时刻的矩形框集合，则利用初始时刻的矩形框集合生成多条轨迹，多条轨迹形成一个轨迹集合；若步骤三得到的为非初始时刻的矩形框集合，则利用该非初始时刻的矩形框集合对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合；具体包括以下步骤：

若步骤三得到的矩形框集合S_Fm中的m等于1，则以矩形框集合S_Fm中的每个矩形框S_Fm ⁽ⁱ⁾为起点，分别创建新轨迹T_m ⁽ⁱ⁾，即T_m ⁽ⁱ⁾＝{S_Fm ⁽ⁱ⁾}，轨迹T_m ⁽ⁱ⁾作为轨迹集合T_m中的一个元素，即T_m＝{T_m ⁽ⁱ⁾|i＝1,…,N_Tm}，其中，N_Tm为m时刻的矩形框集合S_Fm形成的轨迹的个数；

若步骤三得到的矩形框集合S_Fm的m不等于1，则将矩形框集合S_Fm中的每一个元素S_Fm ⁽ⁱ⁾与m-1时刻的矩形框集合S_F(m-1)已经形成的轨迹集合T_m-1＝{T_m-1 ⁽ⁱ⁾}中的每一个轨迹分别进行匹配，具体匹配方法如下：

记元素S_Fm ⁽ⁱ⁾中心点为其中分别为中心点的横坐标和纵坐标坐标，为中心点的高度方向的坐标；轨迹T_m-1 ⁽ⁱ⁾的最后一个矩形框的中心点为(x_m-1,y_m-1,I_F(x_m-1,y_m-1))；

若

其中，δ_match为两个匹配矩形框的最大阈值，则矩形框S_Fm ⁽ⁱ⁾与轨迹T_m-1 ⁽ⁱ⁾匹配，若轨迹T_m-1 ⁽ⁱ⁾未与矩形框集合S_Fm中的其他矩形框匹配，则将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中，若轨迹T_m-1 ⁽ⁱ⁾已经与矩形框集合S_Fm中的另外一个矩形框S_Fm ^(j)相匹配，S_Fm ^(j)的中心点为则进行如下判断：

若

则将矩形框S_Fm ^(j)由轨迹T_m-1 ⁽ⁱ⁾移除，将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中；若不满足上述条件，则矩形框S_Fm ^(j)保留在轨迹T_m-1 ⁽ⁱ⁾中。

上述过程中，矩形框集合S_Fm中的所有元素S_Fm ⁽ⁱ⁾在经过上述匹配后，若存在未与任意一条轨迹匹配的矩形框，则生成一条新的轨迹，将该矩形框作为新轨迹的第一个点，并将生成的轨迹加入至已经形成的轨迹集合中，得到m时刻更新后的轨迹集合T1_m。

具体地，所述步骤七中的轨迹的属性包括轨迹点数记为特征变量F₁，轨迹在Y方向上的跨度记为特征变量F₂，轨迹在Z方向上的跨度记为特征变量F₃，轨迹的平均人头大小记为特征变量F₄，轨迹与拟合标准轨迹之间的欧式距离记为特征向量F₅，轨迹的斜率记为特征变量F₆，轨迹上锁定区域的平均宽度记为记为特征向量F₇，轨迹上锁定区域的平均长度记为特征向量F₈，轨迹的起点Y值记为特征向量F₉，轨迹的终点Y值记为特征向量F₁₀。

与现有技术相比，本发明具有以下技术效果：本发明通过双目相机或RGBD相机获得场景的深度图，对相机进行标定，使用标定后的相机参数将深度图转化为三维点云，将三维点云投影至X-Y平面，得到场景的俯视图，利用本发明提出的人头锁定方法对俯视图内的人头目标进行锁定，通过检测面来对轨迹进行判断，或者通过训练的分类器(Adaboost、SVM、Bayies等)对轨迹进行进入和出去的判断。本发明用于统计场景内(公交车、扶梯、通道口等)的来往行人，精确的得到进入和出去的人数。

附图说明

图1是相机安装示意图；

图2是世界坐标系建立示意图；

下面结合附图和具体实施方式对本发明的方案做进一步详细地解释和说明。

具体实施方式

本发明的基于轨迹分析的人数统计方法，包括以下步骤：

步骤一：在通道场景中架设相机，对相机进行标定，计算相机的参数矩阵P；具体包括以下步骤：

步骤1.1：选取某一通道作为人数统计的场景，参见图1，将相机安装在通道的正上方，多个人体目标在通道上沿A方向或者B方向行走，A方向和B方向相反；

步骤1.2：建立世界坐标系。参见图2，相机位于世界坐标系的Z轴上，沿通道的方向是世界坐标系的Y轴方向，垂直于通道的方向为世界坐标系的X轴方向，相机在世界坐标系的位置坐标为(0,0,H)，其中H是相机距离世界坐标系原点的距离。

步骤1.3：对相机进行标定。在相机标定过程中，选定N(N≥6)组图像坐标和与之对应的世界坐标：

使用下述公式计算相机的参数矩阵P：

其中，

步骤二：利用相机对包含人体目标的通道进行连续拍摄，获取N(N≥50)幅深度图；求取每幅深度图的俯视图；利用俯视图求取背景图I_b。

其中，求取每幅深度图的俯视图，包括以下步骤：

深度图中的深度值代表的是世界坐标空间中的点，如点如点P到摄像机的距离len，即图中小直角三角形斜边的长度，我们根据世界坐标系下物体的几何关系可得如下公式：

len＝m*r (4)

其中，θ为深度图上经过P点的对应射线与地平面的夹角；G(x_G,y_G,0)为过P点的斜线与地平面的交点；H_C为相机高度；m(0<m<D)为P点在深度图中的深度值，其中D用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离。

得到P点的坐标以后，对P点进行缩放和平移，使其位于俯视图I的中央，则：

其中，(u,v)表示点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值，其中(r_x,r_y)为对点P的(x_p,y_p)的缩放系数，(d_x,d_y)为对点P的(x_p,y_p)平移系数。

针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点的像素值，所有的像素值形成俯视图I。针对N幅深度图采用上述方法可获得N幅俯视图I_i(i＝1,...N)。

其中，利用俯视图求取背景图I_b，采用的公式如下；

其中，H为俯视图的长度，W为俯视图的宽度，I_b(x,y)为背景图I_b在像素点(x,y)位置处的像素值，即可求得背景图I_b。

步骤三：利用相机对包含人体目标的通道进行拍摄，获取某一时刻的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框处理，得到一个矩形框集合S_Fm；具体包括以下步骤：

步骤3.1：利用相机对通道进行拍摄，若采用RGB-D相机，相机拍摄可直接获得一幅深度图，即某一时刻m(m＝1,2,....)的深度图；若采用双目相机拍摄，可以根据相机拍摄的左图和右图，经过图片矫正、立体匹配、可以得到一帧深度图，即某一时刻m(m＝1,2,....)的深度图。

步骤3.2，针对拍摄到的该幅深度图获取其对应的俯视图I_m，所采用的方法与步骤二中获取俯视图的方法相同。

步骤3.3，针对步骤3.2得到的俯视图I，进行去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框处理，得到一个矩形框集合S_Fm，具体处理过程如下：

去背景：针对俯视图I_m，采用公式(8)得到前景图片I_F：

其中，δ_F为用户设定的用于提取前景的阈值，I_F(u,v)表示前景图片I_F中像素点(u,v)处的像素值。

分块操作：采用大小为w_b×w_b的块对前景图片I_F进行块化，得到图片I_B，采用的公式为：

其中，I_F(u,v)为前景图片I_F坐标为(u,v)的像素值，I_B(x,y)为图片I_B在像素点(x,y)位置处的像素值。

寻找局部最大区域：针对图片I_B上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合S_L中，采用S_L ⁽ⁱ⁾表示S_L的元素，且S_L ⁽ⁱ⁾＝(u_i,v_i,d_i)，(u_i,v_i)表示该像素点，d_i为像素点(u_i,v_i)在图片I_B中的像素值。

扩展局部最大区域：针对局部最大区域集合S_L的每个元素S_L ⁽ⁱ⁾，寻找S_L ⁽ⁱ⁾在前景图片I_F中对应的像素位置，采用的公式为：

其中，(x_i,y_i)是S_L ⁽ⁱ⁾对应于前景图片I_F中的位置。令S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，(x_i,y_i)表示S_L ⁽ⁱ⁾对应于前景图片I_F的像素点，可得到集合S_S，S_S ⁽ⁱ⁾为集合S_S的元素。

针对S_S中的每个成员S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，以S_S ⁽ⁱ⁾为种子，利用种子填充法，向外扩展，扩展的条件为：若|I_F(x_i,y_i)-z_i|≤δ_E，δ_E为规定的阈值＝10，则使用一个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)框选中所有满足条件的像素点，其中(u_i,v_i)为矩形框左上角点，(H_i,W_i)为矩形框的高和宽，z_i为原始像素值(即矩形框的空间高度)，最后形成一个扩展后区域的集合S_E，S_E ⁽ⁱ⁾为集合S_E的元素。

过滤矩形框处理：得到扩展区域后，需要过滤重叠区域和非正常区域，使用两个过滤条件，1.若矩形框S_E ⁽ⁱ⁾符合以下条件：则不予保留；2.若两个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)和S_E ^(j)＝(u_j,v_j,H_j,W_j,z_j)，满足则判定S_E ⁽ⁱ⁾和S_E ^(j)重合，如果重合，则保留z_i和z_j较大的矩形框。

保留下的矩形框形成矩形框集合S_Fm，矩形框集合S_Fm中的元素为S_Fm ⁽ⁱ⁾，至此完成目标锁定任务。

步骤四：若步骤三得到的为初始时刻的矩形框集合，则利用初始时刻的矩形框集合生成多条轨迹，多条轨迹形成一个轨迹集合；若步骤三得到的为非初始时刻的矩形框集合，则利用该非初始时刻的矩形框集合对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合；具体包括以下步骤：

若步骤三得到的矩形框集合S_Fm中的m等于1，则针对矩形框集合S_Fm中的每个元素S_Fm ⁽ⁱ⁾，创建一条轨迹T_m ⁽ⁱ⁾，并将S_Fm ⁽ⁱ⁾作为轨迹T_m ⁽ⁱ⁾的第一个点，即T_m ⁽ⁱ⁾＝{S_Fm ⁽ⁱ⁾}，轨迹T_m ⁽ⁱ⁾作为轨迹集合T_m中的一个元素，即T_m＝{T_m ⁽ⁱ⁾|i＝1,…,N_Tm}，其中，N_Tm为m时刻的矩形框集合S_Fm形成的轨迹的个数；

若步骤三得到的矩形框集合S_Fm的m不等于1，则将矩形框集合S_Fm中的每一个元素S_Fm ⁽ⁱ⁾与m-1时刻的矩形框集合S_F(m-1)已经形成的轨迹集合T_m-1＝{T_m-1 ⁽ⁱ⁾}中的每一个轨迹分别进行匹配，具体匹配方法如下：

记，元素S_Fm ⁽ⁱ⁾中心点为 为中心点的坐标，为坐标处的像素值；轨迹T_m-1 ⁽ⁱ⁾的最后一个矩形框的中心点为(x_m-1,y_m-1,I_F(x_m-1,y_m-1))；

若

则矩形框S_Fm ⁽ⁱ⁾与轨迹T_m-1 ⁽ⁱ⁾匹配，若轨迹T_m-1 ⁽ⁱ⁾未与矩形框集合S_Fm中的其他矩形框匹配，则将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中，若轨迹T_m-1 ⁽ⁱ⁾已经与矩形框集合S_Fm中的另外一个矩形框S_Fm ^(j)相匹配，S_Fm ^(j)的中心点为 则进行如下判断：

若

则将矩形框S_Fm ^(j)由轨迹T_m-1 ⁽ⁱ⁾移除，将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中；若不满足上述条件，则矩形框S_Fm ^(j)保留在轨迹T_m-1 ⁽ⁱ⁾中。

上述过程中，矩形框集合S_Fm中的所有元素S_Fm ⁽ⁱ⁾在经过上述匹配后，若存在未与任意一条轨迹匹配的矩形框，则生成一条新的轨迹，将该矩形框作为新轨迹的第一个点，并将生成的轨迹加入至目前已经形成的轨迹集合中，得到m时刻更新后的轨迹集合T1_m。

步骤五：若步骤四得到轨迹集合T_m或者更新后的轨迹集合T1_m中的某条轨迹连续δ_dis次未有新的矩形框加入，即没有更新，δ_dis＝5，并将该轨迹由轨迹集合T_m或者更新后的轨迹集合T1_m内删除，得到新的轨迹集合T2_m；

步骤六：人工观察步骤五处理后的的轨迹集合T2_m中的每个轨迹，若观察到某条轨迹确定是人头轨迹，则将该条轨迹标记为正样本，若观察到某条轨迹确定不是人头轨迹(比如：人手、人肩或背包的轨迹)，则将该条轨迹标记为负样本，若某条轨迹无法确定是否为人头轨迹，则不标记。将标记为正样本和负样本的轨迹放入到集合T_sm＝{<L，T2_m ⁽ⁱ⁾>|T2_m ⁽ⁱ⁾为标记的轨迹}中,L∈{-1,1}，其中-1为负样本，1为正样本。若标记样本足够，即样本数M>1000，执行步骤七，否则执行步骤三。

步骤七，针对集合T_sm中的每条轨迹，提取轨迹的属性，并记录每条轨迹对应的标记值L和该轨迹对应的属性。

其中轨迹的属性包括：

轨迹点数：轨迹包括的矩形框的个数，记为特征变量F₁；

轨迹在Y方向上的跨度：轨迹的起点和终点Y值之差，记为特征变量F₂；

轨迹在Z方向上的跨度：轨迹的Z方向最高点与Z方向最低点的Z值之差，记为特征变量F₃；

轨迹的平均人头大小：轨迹上锁定区域面积的平均值，即轨迹上所有矩形框内的面积，记为特征变量F₄；

轨迹与拟合标准轨迹之间的欧式距离，计算方法如下：

首先用均值法计算得到拟合标准轨迹中的每个矩形框的中心点

其中，为拟合标准轨迹上的第j个矩形框的中心点，S_F ^(i)(j)为集合T_sm中第i条轨迹上的第j个矩形框的中心点，N_T ^(j)为在j处存在矩形框的所有轨迹的条数。拟合标准轨迹可表示为

将标准轨迹投影到Y-Z平面上，在实现的过程中，对投影后的轨迹进行线性插值，得到线性插值后的标准轨迹线性插值指的是对于Y轴上的某个无对应的的点，利用该点两侧的的平均值对该点进行赋值。将集合T_sm中的某条轨T⁽ⁱ⁾＝{S_F ⁽¹⁾,S_F ⁽²⁾,…S_F ^(j)…,S_F ^(N(i))}投影到Y-Z平面上，其中，S_F ^(j)＝(u_j,v_j,H_j,W_j,d_j)表示轨迹T⁽ⁱ⁾上的第j个矩形框的中心点，N(i)为轨迹T⁽ⁱ⁾上的矩形框的个数。轨迹T⁽ⁱ⁾为集合T_sm中的第i条轨迹。

计算轨迹T⁽ⁱ⁾与拟合标准轨迹之间的欧氏距离：

欧氏距离作为特征向量F₅。

轨迹的斜率：通过最小二乘拟合的方法将当前轨迹拟合成一条直线，并计算该直线的斜率，记为特征变量F₆。

轨迹上锁定区域的平均宽度：计算轨迹上的锁定区域的平均宽度记为特征向量F₇，即所有矩形框的平均宽度。

轨迹上锁定区域的平均长度：计算轨迹上的锁定区域的平均长度记为特征向量F₈，即所有矩形框的平均长度。

轨迹的起点Y值记为特征向量F₉，轨迹的终点Y值记为特征向量F₁₀。

记录轨迹对应的标记值L和该轨迹对应的属性：<L,F₁,F₂,F₃,F₄,F₅,F₆,F₇,F₈,F₉,F₁₀>。

每条轨迹对应的标记值L和该轨迹对应的属性，形成一个集合D_l＝{D_l ⁽ⁱ⁾，i＝1…N_l}{<L⁽ⁱ⁾,F₁ ⁽ⁱ⁾,F₂ ⁽ⁱ⁾,F₃ ⁽ⁱ⁾,F₄ ⁽ⁱ⁾,F₅ ⁽ⁱ⁾,F₆ ⁽ⁱ⁾,F₇ ⁽ⁱ⁾,F₈ ⁽ⁱ⁾,F₉ ⁽ⁱ⁾,F₁₀ ⁽ⁱ⁾>|i＝1…N_l}，其中D_l ⁽ⁱ⁾表示集合D_l中的第i个元素，N_l为集合D_l的元素个数。

步骤八：利用步骤七得到的集合训练得到分类器。对于SVM、Adaboost等分类器的训练，经过样本进行归一化、属性选取、N-折叠交叉验证、网格搜索，最终得到训练好的SVM或者Adaboost分类器。

步骤九：重复步骤三至步骤五的过程，在此过程中，将由于连续δ_dis次未更新而从轨迹集合T1_m中移除的每条轨迹，利用步骤七中所述的方法提取该条轨迹的属性，将该条轨迹的属性输入到步骤八得到的分类器中，分类器自动输出该条轨迹对应的标记值L，如果L＝1,则该轨迹为正样本，若满足F₉-F₁₀>0则通道在A方向上的人数加1，若满足F₉-F₁₀<0则通道在B方向的人数加1。若L＝-1，则此轨迹不作为人数统计的轨迹。

步骤十：重复步骤九，直至相机停止拍摄，获得通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。

Claims (9)

1.一种基于轨迹分析的人数统计方法，其特征在于，包括以下步骤：

步骤一：在包含人体目标的通道中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；

步骤二：利用相机对通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图I_b；

步骤三：利用相机对通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合S_Fm；

步骤四：若步骤三得到的为初始时刻的矩形框集合S_F1，则利用初始时刻的矩形框集合S_F1生成多条轨迹，多条轨迹形成一个轨迹集合T₁；若步骤三得到的为非初始时刻m的矩形框集合S_Fm，则利用该非初始时刻的矩形框集合S_Fm对前一时刻m-1已经形成的轨迹集合进行更新，得到更新后的轨迹集合T1_m；

步骤五：若轨迹集合T_m或者更新后的轨迹集合T1_m中的某条轨迹连续多次未被更新，则对该轨迹进行标记，并将该轨迹由轨迹集合T_m或者更新后的轨迹集合T1_m内删除，得到新的轨迹集合T2_m；

步骤六：在步骤五得到的轨迹集合T2_m中选择轨迹作为样本，形成集合T_sm，若样本数达到设定值，则执行步骤七，否则，执行步骤三；

步骤七：针对集合T_sm中的每条轨迹，提取轨迹的属性，并记录每条轨迹对应的标记值L和该轨迹对应的多个属性，每条轨迹对应的标记值L和该轨迹对应的多个属性形成一个集合D_l；

步骤八：利用步骤七得到的集合D_l训练得到分类器；

步骤九：重复步骤三至步骤五的过程，在此过程中，将由于连续多次未更新而从轨迹集合T_m中删除的每条轨迹，提取该条轨迹的属性，该条轨迹的属性包括轨迹的起点的Y值F₉和轨迹的终点的Y值F₁₀；将该条轨迹的属性输入到步骤八得到的分类器中，分类器自动输出该条轨迹对应的标记值L，如果L＝1,则该轨迹为正样本，若满足F₉-F₁₀>0则通道在A方向上的人数加1，若满足F₉-F₁₀<0则通道在B方向的人数加1；若L＝-1，则此轨迹不作为人数统计的轨迹；

步骤十：重复步骤九，直至相机停止拍摄，获得通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。

2.如权利要求1所述的基于轨迹分析的人数统计方法，其特征在于，步骤二中的求取每幅深度图的俯视图，采用的公式均如下：

len＝m*r

其中，为相机的外参矩阵，p₁₁,p₁₂,p₁₃,p₁₄,p₂₁,p₂₂,p₂₃,p₂₄,p₃₁,p₃₂,p₃₃,p₃₄对应相机外参矩阵中的元素,θ为深度图上经过P(x_p,y_p,z_p)点的对应射线与地平面的夹角；G(x_G,y_G,0)为过P点的斜线与地平面的交点；H_C为相机高度；m为P点在深度图中的深度值，且0<m<D，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；

利用以下公式得到俯视图I：

其中，(r_x,r_y)为对点(x_p,y_p)的缩放系数，(d_x,d_y)为对点(x_p,y_p)的平移系数,(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示俯视图I像素点(u,v)处的像素值；

针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素点形成俯视图I。

3.如权利要求2所述的基于轨迹分析的人数统计方法，其特征在于，所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：

其中，δ_F为用户设定的用于提取前景的阈值，I_F(u,v)表示前景图片I_F中像素点(u,v)处的像素值，I_b(u,v)为背景图I_b在像素点(u,v)位置处的像素值，I(u,v)表示俯视图I像素点(u,v)处的像素值。

4.如权利要求3所述的基于轨迹分析的人数统计方法，其特征在于，所述步骤三中的针对前景图片进行分块操作得到分块后的图片，采用的公式如下：

其中，I_B为针对前景图片进行分块后的图片，I_F(u,v)为前景图片I_F坐标为(u,v)的像素值，I_B(x,y)为图片I_B在像素点(x,y)位置处的像素值，划定的块的大小为w_b×w_b。

5.如权利要求4所述的基于轨迹分析的人数统计方法，其特征在于，所述步骤三中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，具体包括以下步骤：

针对图片I_B上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合S_L中，利用S_L ⁽ⁱ⁾表示S_L的成员，且S_L ⁽ⁱ⁾＝(u_i,v_i,d_i)，(u_i,v_i)表示该像素点，d_i为像素点(u_i,v_i)在图片I_B中的像素值。

6.如权利要求5所述的基于轨迹分析的人数统计方法，其特征在于，所述步骤三中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，具体包括以下步骤：

针对局部最大区域集合S_L的每个元素S_L ⁽ⁱ⁾，寻找S_L ⁽ⁱ⁾在前景图片I_F中对应的像素位置，采用的公式为：

其中，(x_i,y_i)是S_L ⁽ⁱ⁾对应于前景图片I_F中的位置；令S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，得到集合S_S，S_S ⁽ⁱ⁾为集合S_S的元素；

针对S_S中的每个成员S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，以S_S ⁽ⁱ⁾为种子，利用种子填充法，向外扩展，扩展的条件为：若|I_F(x_i,y_i)-z_i|≤δ_E，I_F(x_i,y_i)表示在前景图片I_F中坐标(x_i,y_i)对应的像素值，则使用一个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)框选中所有满足条件的像素点，其中(u_i,v_i)为矩形框左上角点，(H_i,W_i)为矩形框的高和宽，z_i为矩形框的空间高度，δ_E为规定的阈值，形成一个扩展后区域的集合S_E，S_E ⁽ⁱ⁾为集合S_E的元素。

7.如权利要求6所述的基于轨迹分析的人数统计方法，其特征在于，所述步骤三中的针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的矩形框集合，包括以下步骤：

采用两个过滤条件对集合S_E中的元素进行过滤：

(1)若元素S_E ⁽ⁱ⁾符合以下条件：则将该元素删除，其中δ_H为最小高度阈值，δ_W为最小宽度阈值；

(2)若两个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)和S_E ^(j)＝(u_j,v_j,H_j,W_j,z_j)，满足则判定S_E ⁽ⁱ⁾和S_E ^(j)重合，如果重合，则保留z_i和z_j中较大的矩形框；

将保留下的矩形框形成矩形框集合S_Fm，矩形框集合S_Fm中的元素为S_Fm ⁽ⁱ⁾，其中，m表示时刻。

8.如权利要求1所述的基于轨迹分析的人数统计方法，其特征在于，所述步骤四中的步骤三得到的为初始时刻的矩形框集合，则利用初始时刻的矩形框集合生成多条轨迹，多条轨迹形成一个轨迹集合；若步骤三得到的为非初始时刻的矩形框集合，则利用该非初始时刻的矩形框集合对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合；具体包括以下步骤：

若步骤三得到的矩形框集合S_Fm中的m等于1，则以矩形框集合S_Fm中的每个矩形框S_Fm ⁽ⁱ⁾为起点，分别创建新轨迹T_m ⁽ⁱ⁾，即T_m ⁽ⁱ⁾＝{S_Fm ⁽ⁱ⁾}，轨迹T_m ⁽ⁱ⁾作为轨迹集合T_m中的一个元素，即T_m＝{T_m ⁽ⁱ⁾|i＝1,…,N_Tm}，其中，N_Tm为m时刻的矩形框集合S_Fm形成的轨迹的个数；

若步骤三得到的矩形框集合S_Fm的m不等于1，则将矩形框集合S_Fm中的每一个元素S_Fm ⁽ⁱ⁾与m-1时刻的矩形框集合S_F(m-1)已经形成的轨迹集合T_m-1＝{T_m-1 ⁽ⁱ⁾}中的每一个轨迹分别进行匹配，具体匹配方法如下：

记元素S_Fm ⁽ⁱ⁾中心点为其中分别为中心点的横坐标和纵坐标，为坐标处的像素值；轨迹T_m-1 ⁽ⁱ⁾的最后一个矩形框的中心点为(x_m-1,y_m-1,I_F(x_m-1,y_m-1))；

若

其中，δ_match为两个匹配矩形框的最大阈值，则矩形框S_Fm ⁽ⁱ⁾与轨迹T_m-1 ⁽ⁱ⁾匹配，若轨迹T_m-1 ⁽ⁱ⁾未与矩形框集合S_Fm中的其他矩形框匹配，则将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中，若轨迹T_m-1 ⁽ⁱ⁾已经与矩形框集合S_Fm中的另外一个矩形框S_Fm ^(j)相匹配，S_Fm ^(j)的中心点为则进行如下判断：

若

则将矩形框S_Fm ^(j)由轨迹T_m-1 ⁽ⁱ⁾移除，将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中；若不满足上述条件，则矩形框S_Fm ^(j)保留在轨迹T_m-1 ⁽ⁱ⁾中；

上述过程中，矩形框集合S_Fm中的所有元素S_Fm ⁽ⁱ⁾在经过上述匹配后，若存在未与任意一条轨迹匹配的矩形框，则生成一条新的轨迹，将该矩形框作为新轨迹的第一个点，并将生成的轨迹加入至已经形成的轨迹集合中，得到m时刻更新后的轨迹集合T1_m。

9.如权利要求1所述的基于轨迹分析的人数统计方法，其特征在于，所述步骤七中的轨迹的属性包括轨迹点数记为特征变量F₁，轨迹在Y方向上的跨度记为特征变量F₂，轨迹在Z方向上的跨度记为特征变量F₃，轨迹的平均人头大小记为特征变量F₄，轨迹与拟合标准轨迹之间的欧式距离记为特征向量F₅，轨迹的斜率记为特征变量F₆，轨迹上锁定区域的平均宽度记为记为特征向量F₇，轨迹上锁定区域的平均长度记为特征向量F₈，轨迹的起点Y值记为特征向量F₉，轨迹的终点Y值记为特征向量F₁₀。