CN106570883A - 一种基于rgb‑d相机的人数统计方法 - Google Patents

Abstract

本发明通过在通道中架设RGB‑D相机，用相机对包含人体目标的通道进行拍摄，获取多幅深度图，并得到深度图对应的俯视图，根据俯视图形成矩形框集合，利用矩形框集合形成轨迹，通过对轨迹的跟踪以及判断，统计通道内的人数。本发明的方法能够精确的锁定人头及统计人数。

Description

一种基于RGB-D相机的人数统计方法

技术领域

本发明涉及一种基于RGB-D相机的人数统计方法。

背景技术

随着相机技术的发展，RGB-D相机作为一种新的技术出现，最近几年，随着RGB-D相机价格的降低，其得到了广泛的应用。目前，RGB-D相机有许多实现原理，比如散斑、TOF等，RGB-D相机逐渐广泛应用到各个领域,比如,在三维重建,图像理解,视频监控领域。RGB-D相机的优势在于可以直接获得场景到相机的距离，然后以图像(被称为深度图像或景深图像)的形式呈现给使用者，这比传统的使用双目获得的景深图像更精确。RGB-D相机的优势可以为在复杂环境下的人数统计带来极大的便利。

人数统计一直以来是视频监控的核心内容之一，长期以来并没有得到很好的解决，究其主要原因，场景内不仅存在着人的目标，还存在着其他目标，在一些拥挤场景下，比如公交场景，这些目标并没有明显的颜色或者边缘特征，因此我们往往很难利用传统的RGB相机设计算法去分割这些目标，比如在超市通道，除了人之外，还有包、推车、购买的物品等，伪目标(比如包、携带物品)与人头并没有明显的特征可以区分，所以传统的RGB相机很难精确地锁定到人。除了使用单目相机以外，还有一些传统的人数统计，如红外射线的人数统计、基于压力踏板的人数统计，前者无法适用于拥挤、遮挡环境，后者则由于其容易耗损，在大量行人通过的情况下，无法判断其方向，所以不适合复杂环境的人数统计。因此，传统的人数统计，往往不能实现精确、实时的统计人数信息。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于，提供一种基于RGB-D相机的人数统计方法，能够精确地锁定人头及统计人数。

为了实现上述目的，本发明采用如下技术方案予以实现：

一种基于RGB-D相机的人数统计方法，包括以下步骤：

步骤一：在包含人体目标的通道中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；

步骤二：利用相机对通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图I_b；

步骤三：利用相机对通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合S_Fm；

步骤四：若步骤三得到的为初始时刻的矩形框集合S_Fm，则利用初始时刻的矩形框集合S_Fm生成多条轨迹，多条轨迹形成一个轨迹集合T_m；若步骤三得到的为非初始时刻的矩形框集合S_Fm，则利用该非初始时刻的矩形框集合S_Fm对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合T1_m；

步骤五：若轨迹集合T_m或者更新后的轨迹集合T1_m中的某条轨迹连续多次未被更新，则对该轨迹进行标记，并将该轨迹由轨迹集合T_m或者轨迹集合T1_m内删除；

步骤六：判断步骤五中的被标记的轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个被标记的轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个被标记的轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1；

步骤七：重复步骤三至步骤六，直到相机拍摄结束，得到通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。

具体地，步骤二中的求取每幅深度图的俯视图以及步骤三中的针对该幅深度图获取其对应的俯视图，采用的公式均如下：

len＝m*r

其中，θ为深度图上经过P(x_p,y_p,z_p)点的对应射线与地平面的夹角；G(x_G,y_G,0)为过P点的斜线与地平面的交点；H_C为相机高度；m(0＜m＜D)为P点在深度图中的深度值，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；

利用以下公式得到俯视图I：

其中，(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值；

针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素值形成俯视图I。

具体地，所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：

其中，δ_F为用户设定的用于提取前景的阈值，I_F(u,v)表示前景图片I_F中像素点(u,v)处的像素值，I_b(u,v)为背景图I_b在像素点(u,v)位置处的像素值，I_m(u,v)表示俯视图I_m像素点(u,v)处的像素值。

具体地，所述步骤三中的针对前景图片进行分块操作得到分块后的图片，采用的公式如下：

其中，I_F(u,v)为前景图片I_F坐标为(u,v)的像素值，I_B(x,y)为图片I_B在像素点(x,y)位置处的像素值，划定的块的大小为w_b×w_b。

具体地，所述步骤三中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，具体包括以下步骤：

针对图片I_B上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合S_L中，利用S_L ⁽ⁱ⁾表示S_L的成员，且S_L ⁽ⁱ⁾＝(u_i,v_i,d_i)，(u_i,v_i)表示该像素点，d_i为像素点(u_i,v_i)在图片I_B中的像素值。

具体地，所述步骤三中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，具体包括以下步骤：

针对局部最大区域集合S_L的每个元素S_L ⁽ⁱ⁾，寻找S_L ⁽ⁱ⁾在前景图片I_F中对应的像素位置，采用的公式为：

其中，(x_i,y_i)是S_L ⁽ⁱ⁾对应于前景图片I_F中的位置；令S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，(x_i,y_i)表示S_L ⁽ⁱ⁾对应于前景图片I_F的像素点，得到集合S_S，S_S ⁽ⁱ⁾为集合S_S的元素；

针对S_S中的每个成员S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，以S_S ⁽ⁱ⁾为种子，利用种子填充法，向外扩展，扩展的条件为：若|I_F(x_i,y_i)-z_i|≤δ_E，则使用一个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)框选中所有满足条件的像素点，其中(u_i,v_i)为矩形框左上角点，(H_i,W_i)为矩形框的高和宽，z_i为原始像素值，δ_E为规定的阈值，形成一个扩展后区域的集合S_E，S_E ⁽ⁱ⁾为集合S_E的元素。

具体地，所述步骤三中的针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的矩形框集合，包括以下步骤：

采用两个过滤条件对集合S_E中的元素进行过滤：

(1)若元素S_E ⁽ⁱ⁾符合以下条件：则将该元素删除；

(2)若两个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)和S_E ^(j)＝(u_j,v_j,H_j,W_j,z_j)，满足则判定S_E ⁽ⁱ⁾和S_E ^(j)重合，如果重合，则保留z_i和z_j较大的矩形框；

将保留下的矩形框形成矩形框集合S_Fm，矩形框集合S_Fm中的元素为S_Fm ⁽ⁱ⁾，其中，m表示时刻。

具体地，所述步骤四中的步骤三得到的为初始时刻的矩形框集合，则利用初始时刻的矩形框集合生成多条轨迹，多条轨迹形成一个轨迹集合；若步骤三得到的为非初始时刻的矩形框集合，则利用该非初始时刻的矩形框集合对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合；具体包括以下步骤：

若步骤三得到的矩形框集合S_Fm中的m等于1，则针对矩形框集合S_Fm中的每个元素S_Fm ⁽ⁱ⁾，创建一条轨迹T_m ⁽ⁱ⁾，并将S_Fm ⁽ⁱ⁾作为轨迹T_m ⁽ⁱ⁾的第一个点，即T_m ⁽ⁱ⁾＝{S_Fm ⁽ⁱ⁾}，轨迹T_m ⁽ⁱ⁾作为轨迹集合T_m中的一个元素，即T_m＝{T_m ⁽ⁱ⁾|i＝1,…,N_Tm}，其中，N_Tm为m时刻的矩形框集合S_Fm形成的轨迹的个数；

若步骤三得到的矩形框集合S_Fm的m不等于1，则将矩形框集合S_Fm中的每一个元素S_Fm ⁽ⁱ⁾与m-1时刻的矩形框集合S_F(m-1)已经形成的轨迹集合T_m-1＝{T_m-1 ⁽ⁱ⁾}中的每一个轨迹分别进行匹配，具体匹配方法如下：

记，元素S_Fm ⁽ⁱ⁾中心点为为中心点的坐标，为坐标处的像素值；轨迹T_m-1 ⁽ⁱ⁾的最后一个矩形框的中心点为(x_m-1,y_m-1,I_F(x_m-1,y_m-1))；

若

则矩形框S_Fm ⁽ⁱ⁾与轨迹T_m-1 ⁽ⁱ⁾匹配，若轨迹T_m-1 ⁽ⁱ⁾未与矩形框集合S_Fm中的其他矩形框匹配，则将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中，若轨迹T_m-1 ⁽ⁱ⁾已经与矩形框集合S_Fm中的另外一个矩形框S_Fm ^(j)相匹配，S_Fm ^(j)的中心点为 则进行如下判断：

若

则将矩形框S_Fm ^(j)由轨迹T_m-1 ⁽ⁱ⁾移除，将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中；若不满足上述条件，则矩形框S_Fm ^(j)保留在轨迹T_m-1 ⁽ⁱ⁾中。

上述过程中，矩形框集合S_Fm中的所有元素S_Fm ⁽ⁱ⁾在经过上述匹配后，若存在未与任意一条轨迹匹配的矩形框，则生成一条新的轨迹，将该矩形框作为新轨迹的第一个点，并将生成的轨迹加入至已经形成的轨迹集合中，得到m时刻更新后的轨迹集合T1_m。

具体地，所述步骤六中的根据被标记的轨迹的起点和终点判断该轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1，具体包括以下步骤：

通道的方向A的上检测方程为：

y＝δ_u

下检测线方程为：

y＝δ_d

通道的方向B的上检测线方程为：

y＝δ′_u

下检测线方程为：

y＝δ′_d

针对被标记的轨迹T_m ⁽ⁱ⁾，轨迹T_m ⁽ⁱ⁾的起点矩形框的中心记为(x_0m，y_0m，I_F(x_0m，y_0m))，轨迹T_m ⁽ⁱ⁾的终点矩形框的中心记为(x_em,y_em,I_F(x_em,y_em))，判断轨迹的方向，如果x_0m-x_em＞0则为通道的A方向，否则为通道的B方向。

如果是A方向，则判断是否满足x_0m＞δ_d且x_em＜δ_u，如果满足，则当前轨迹按照A方向通过通道，A方向上的人数增加1；否则，A方向上的人数不增加；

如果是B方向，则判断是否满足x_0m＜δ′_u且x_em＞δ′_d，如果满足，则当前轨迹按照B方向通过通道，B方向上的人数增加1；否则，B方向上的人数不增加。

与现有技术相比，本发明具有以下技术效果：本发明通过在通道中架设RGB-D相机，用相机对包含人体目标的通道进行拍摄，获取多幅深度图，并得到深度图对应的俯视图，根据俯视图形成矩形框集合，利用矩形框集合形成轨迹，通过对轨迹的跟踪以及判断，统计通道内的人数。本发明的方法能够精确的锁定人头及统计人数。

下面结合附图和具体实施方式对本发明的方案做进一步详细地解释和说明。

附图说明

图1是无坐标系的场景模型；

图2是世界坐标系的通道模型；

图3是俯视图图像分块操作的示意图；

图4是寻找局部最大值的示意图；其中，(a)表示要寻找最大值的图片区域，(b)表示寻找局部最大值的过程，(c)表示最终寻找到局部最大值；

图5是相机安装位置示意图；

图6是选取六组世界坐标与其对应的图像坐标；

图7是由深度图得到俯视图的示意图；其中，(a)通道场景的背景图，(b)为深度图，(c)为去背景操作得到的前景图片，(d)为俯视图；

图8是由俯视图得到过滤后的矩形框集合的示意图；其中，(a)表示分块操作结果图，(b)表示局部最大区域集合，(c)扩展局部最大区域后的矩形框集合，(d)过滤矩形框处理后的矩形框集合；

图9是跟踪结果和判断结果图；其中，(a)轨迹跟踪的结果，(b)为使用检测线进行的判定结果。

具体实施方式

本发明的基于RGB相机的人数统计方法，包括以下步骤：

步骤一，对相机进行标定，计算相机的参数矩阵P；

步骤1.1：选取某一通道作为人数统计的场景，参见图1，将相机安装在通道的正上方，多个人体目标在通道上沿A方向或者B方向行走，A方向和B方向相反；

步骤1.2：建立世界坐标系。参见图2，相机位于世界坐标系的Z轴上，沿通道的方向是世界坐标系的Y轴方向，垂直于通道的方向为世界坐标系的X轴方向，相机在世界坐标系的位置坐标为(0,0,H)，其中H是相机距离世界坐标系原点的距离。

步骤1.3：对相机进行标定。使用标定支架，选定N(N≥6)组图像坐标和与之对应的世界坐标：

使用下述公式计算相机的参数矩阵P：

其中，

步骤二：利用相机对包含人体目标的通道进行连续拍摄，获取N(N≥50)幅深度图；求取每幅深度图的俯视图；利用俯视图求取背景图I_b。

其中，求取每幅深度图的俯视图，包括以下步骤：

深度图中的深度值代表的是世界坐标空间中的点，如点如点P到摄像机的距离len，即图中小直角三角形斜边的长度，我们根据世界坐标系下物体的几何关系可得如下公式：

len＝m*r (4)

其中，θ为深度图上经过P点的对应射线与地平面的夹角；G(x_G,y_G,0)为过P点的斜线与地平面的交点；H_C为相机高度；m(0＜m＜D)为P点在深度图中的深度值，其中D用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离。

得到P点的坐标以后，对P点进行缩放和平移，使其位于俯视图I的中央，则：

其中，(u,v)表示点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值，其中(r_x,r_y)为对点P的(x_p,y_p)的缩放系数，(d_x,d_y)为对点P的(x_p,y_p)平移系数。

针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点的像素值，所有的像素值形成俯视图I。针对N幅深度图采用上述方法可获得N幅俯视图I_i(i＝1,...N)。

其中，利用俯视图求取背景图I_b，采用的公式如下；

其中，H为俯视图的长度，W为俯视图的宽度，I_b(x,y)为背景图I_b在像素点(x,y)位置处的像素值，即可求得背景图I_b。

步骤三：利用相机对包含人体目标的通道进行拍摄，获取某一时刻的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框处理，得到一个矩形框集合S_Fm；具体包括以下步骤：

步骤3.1：利用相机对包含人体目标的通道进行拍摄，本发明采用RGB-D相机，相机拍摄得到某一时刻m(m＝1,2,....)的深度图；

步骤3.2，针对拍摄到的该幅深度图获取其对应的俯视图I_m，所采用的方法与步骤二中获取俯视图的方法相同。

步骤3.3，针对步骤3.2得到的俯视图I_m，进行去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框处理，得到一个矩形框集合S_Fm，具体处理过程如下：

去背景：针对俯视图I_m，采用公式(8)得到前景图片I_F：

其中，δ_F为用户设定的用于提取前景的阈值，I_F(u,v)表示前景图片I_F中像素点(u,v)处的像素值。

分块操作：采用大小为w_b×w_b的块对前景图片I_F进行块化，得到图片I_B，采用的公式为：

其中，I_F(u,v)为前景图片I_F坐标为(u,v)的像素值，I_B(x,y)为图片I_B在像素点(x,y)位置处的像素值。

寻找局部最大区域：针对图片I_B上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合S_L中，采用S_L ⁽ⁱ⁾表示S_L的元素，且S_L ⁽ⁱ⁾＝(u_i,v_i,d_i)，(u_i,v_i)表示该像素点，d_i为像素点(u_i,v_i)在图片I_B中的像素值。

扩展局部最大区域：针对局部最大区域集合S_L的每个元素S_L ⁽ⁱ⁾，寻找S_L ⁽ⁱ⁾在前景图片I_F中对应的像素位置，采用的公式为：

其中，(x_i,y_i)是S_L ⁽ⁱ⁾对应于前景图片I_F中的位置。令S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，(x_i,y_i)表示S_L ⁽ⁱ⁾对应于前景图片I_F的像素点，可得到集合S_S，S_S ⁽ⁱ⁾为集合S_S的元素。

针对S_S中的每个成员S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，以S_S ⁽ⁱ⁾为种子，利用种子填充法，向外扩展，扩展的条件为：若|I_F(x_i,y_i)-z_i|≤δ_E，δ_E为规定的阈值＝10，则使用一个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)框选中所有满足条件的像素点，其中(u_i,v_i)为矩形框左上角点，(H_i,W_i)为矩形框的高和宽，z_i为原始像素值(即矩形框的空间高度)，最后形成一个扩展后区域的集合S_E，S_E ⁽ⁱ⁾为集合S_E的元素。

过滤矩形框处理：得到扩展区域后，需要过滤重叠区域和非正常区域，使用两个过滤条件，1.若矩形框S_E ⁽ⁱ⁾符合以下条件：则不予保留；2.若两个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)和S_E ^(j)＝(u_j,v_j,H_j,W_j,z_j)，满足则判定S_E ⁽ⁱ⁾和S_E ^(j)重合，如果重合，则保留z_i和z_j较大的矩形框。

保留下的矩形框形成矩形框集合S_Fm，矩形框集合S_Fm中的元素为S_Fm ⁽ⁱ⁾，至此完成目标锁定任务。

步骤四：若步骤三得到的为初始时刻的矩形框集合，则利用初始时刻的矩形框集合生成多条轨迹，多条轨迹形成一个轨迹集合；若步骤三得到的为非初始时刻的矩形框集合，则利用该非初始时刻的矩形框集合对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合；具体包括以下步骤：

若步骤三得到的矩形框集合S_Fm中的m等于1,即初始时刻的矩形框集合，为摄像机拍摄得到的第一幅深度图，则针对矩形框集合S_Fm中的每个元素S_Fm ⁽ⁱ⁾，创建一条轨迹T_m ⁽ⁱ⁾，并将S_Fm ⁽ⁱ⁾作为轨迹T_m ⁽ⁱ⁾的第一个点，即T_m ⁽ⁱ⁾＝{S_Fm ⁽ⁱ⁾}，轨迹T_m ⁽ⁱ⁾作为轨迹集合T_m中的一个元素，即T_m＝{T_m ⁽ⁱ⁾|i＝1,…,N_Tm}，其中，N_Tm为m时刻的矩形框集合S_Fm形成的轨迹的个数；

若步骤三得到的矩形框集合S_Fm的m不等于1，则将矩形框集合S_Fm中的每一个元素S_Fm ⁽ⁱ⁾与m-1时刻的矩形框集合S_F(m-1)已经形成的轨迹集合T_m-1＝{T_m-1 ⁽ⁱ⁾}中的每一个轨迹分别进行匹配，具体匹配方法如下：

记，元素S_Fm ⁽ⁱ⁾中心点为为中心点的坐标，为坐标处的像素值；轨迹T_m-1 ⁽ⁱ⁾的最后一个矩形框的中心点为(x_m-1,y_m-1,I_F(x_m-1,y_m-1))；

若

则矩形框S_Fm ⁽ⁱ⁾与轨迹T_m-1 ⁽ⁱ⁾匹配，若轨迹T_m-1 ⁽ⁱ⁾未与矩形框集合S_Fm中的其他矩形框匹配，则将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中，若轨迹T_m-1 ⁽ⁱ⁾已经与矩形框集合S_Fm中的另外一个矩形框S_Fm ^(j)相匹配，S_Fm ^(j)的中心点为 则进行如下判断：

若

则将矩形框S_Fm ^(j)由轨迹T_m-1 ⁽ⁱ⁾移除，将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中；若不满足上述条件，则矩形框S_Fm ^(j)保留在轨迹T_m-1 ⁽ⁱ⁾中。

上述过程中，矩形框集合S_Fm中的所有元素S_Fm ⁽ⁱ⁾在经过上述匹配后，若存在未与任意一条轨迹匹配的矩形框，并将生成的轨迹加入至已经形成的轨迹集合中，得到m时刻更新后的轨迹集合T1_m。

步骤五：若轨迹集合T_m或者更新后的轨迹集合T1_m中的某条轨迹连续δ_dis次未有新的矩形框加入，即没有更新，δ_dis＝5，并将该轨迹由轨迹集合T_m或者轨迹集合T1_m内删除。

步骤六：根据步骤五中的被标记的轨迹的起点和终点判断该轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1。具体包括以下步骤：

针对通道的两个方向(记为方向A和方向B)都会有一组检测线；

通道的方向A的上检测方程为：

y＝δ_u

下检测线方程为：

y＝δ_d

通道的方向B的上检测线方程为：

y＝δ′_u

下检测线方程为：

y＝δ′_d

其中，各个方向上的检测线δ_u、δ_d、δ′_u和δ′_d通过人工的方法设定。

针对被标记的轨迹T_m ⁽ⁱ⁾，轨迹T_m ⁽ⁱ⁾的起点矩形框的中心记为(x_0m：y_0m：I_F(x_0m：y_0m))，轨迹T_m ⁽ⁱ⁾的终点矩形框的中心记为(x_em,y_em,I_F(x_em,y_em))，判断轨迹的方向，如果x_0m-x_em＞0则为通道的A方向，否则为通道的B方向。

如果是A方向，则判断是否满足x_0m＞δ_d且x_em＜δ_u，如果满足，则当前轨迹按照A方向通过通道，A方向上的人数增加1；否则，A方向上的人数不增加；

如果是B方向，则判断是否满足x_0m＜δ′_u且x_em＞δ′_d，如果满足，则当前轨迹按照B方向通过通道，B方向上的人数增加1；否则，B方向上的人数不增加。

步骤七：重复步骤三至步骤六，直到相机拍摄结束，得到通道A方向上的人数统计结果和通道B方向上的人数统计结果。

实施例

在实施例处理过程中，采样频率为25帧/秒，帧图像的大小为320×240，场景为公交前门场景。

相机安装在公交车上，如图5所示的位置，并建立世界坐标系，相机的高度H＝254(cm)。利用标定架选取世界坐标与图像对应的6组点，如图6，计算相机的参数P。

这里选取δ_b＝10，如图7，(a)为通道场景的背景图，(b)为获取的深度图，(c)为去背景操作得到的前景图片，(d)为俯视图。

如图8，选取B_S×B_S＝5×5，δ_h＝10(a)分块操作结果图，(b)中白色矩形框为局部最大区域集合，(c)中的白色矩形框为扩展局部最大区域，(d)白色矩形框中为过滤矩形框处理后的集合。

轨迹跟踪与判定。选取δ_d＝10，图9，其中，(a)轨迹跟踪的结果，(b)为使用检测线进行的判定结果。

Claims (9)

1.一种基于RGB-D相机的人数统计方法，其特征在于，包括以下步骤：

步骤一：在包含人体目标的通道中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；

步骤二：利用相机对通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图I_b；

步骤三：利用相机对通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合S_Fm；

步骤四：若步骤三得到的为初始时刻的矩形框集合S_Fm，则利用初始时刻的矩形框集合S_Fm生成多条轨迹，多条轨迹形成一个轨迹集合T_m；若步骤三得到的为非初始时刻的矩形框集合S_Fm，则利用该非初始时刻的矩形框集合S_Fm对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合T1_m；

步骤五：若轨迹集合T_m或者更新后的轨迹集合T1_m中的某条轨迹连续多次未被更新，则对该轨迹进行标记，并将该轨迹由轨迹集合T_m或者轨迹集合T1_m内删除；

步骤六：判断步骤五中的被标记的轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个被标记的轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个被标记的轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1；

步骤七：重复步骤三至步骤六，直到相机拍摄结束，得到通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。

2.如权利要求1所述的基于RGB-D相机的人数统计方法，其特征在于，步骤二中的求取每幅深度图的俯视图以及步骤三中的针对该幅深度图获取其对应的俯视图，采用的公式均如下：

$\left[\begin{array}{c}{x}_G\\ y_G\end{array}\right]={\left[\begin{array}{cc}{p}_{11}-p_{31}x& p_{12}-p_{32}x\\ p_{21}-p_{31}y& p_{22}-p_{32}y\end{array}\right]}^{-1}\left[\begin{array}{c}{p}_{34}x-p_{14}\\ p_{34}y-p_{24}\end{array}\right]$

$\sin \left(\mathrm{\θ}\right)=H_c/\sqrt{{x_G}^2+{y_G}^2+{H_c}^2}$

len＝m*r

$\left\{\begin{array}{c}{z}_P=H_c-len*sin\left(\mathrm{\θ}\right)\\ x_p=x_G(1-\frac{z_p}{H_C})\\ y_p=y_G(1-\frac{z_p}{H_C})\end{array}\right.$

其中，θ为深度图上经过P(x_p，y_p，z_p)点的对应射线与地平面的夹角；G(x_G,y_G,0)为过P点的斜线与地平面的交点；H_C为相机高度；m(0＜m＜D)为P点在深度图中的深度值，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；

利用以下公式得到俯视图I：

$\left\{\begin{array}{c}u=r_x{x}_p+d_x\\ v=r_y{y}_p+d_y\\ I(u,v)=z_p\end{array}\right.$

其中，(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值；

针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素值形成俯视图I。

3.如权利要求2所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：

其中，δ_F为用户设定的用于提取前景的阈值，I_F(u,v)表示前景图片I_F中像素点(u,v)处的像素值，I_b(u,v)为背景图I_b在像素点(u,v)位置处的像素值，I_m(u,v)表示俯视图I_m像素点(u,v)处的像素值。

4.如权利要求3所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对前景图片进行分块操作得到分块后的图片，采用的公式如下：

$I_B(x,y)=\frac{\underset{u=w_{b}x}{\overset{w_{b}x+w_b}{\Σ}}\underset{v=w_{b}y}{\overset{w_{b}y+w_b}{\Σ}}{I}_F(u,v)}{{w_b}^2}$

其中，I_F(u,v)为前景图片I_F坐标为(u,v)的像素值，I_B(x,y)为图片I_B在像素点(x,y)位置处的像素值，划定的块的大小为w_b×w_b。

5.如权利要求4所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，具体包括以下步骤：

针对图片I_B上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合S_L中，利用S_L ⁽ⁱ⁾表示S_L的成员，且S_L ⁽ⁱ⁾＝(u_i,v_i,d_i)，(u_i,v_i)表示该像素点，d_i为像素点(u_i,v_i)在图片I_B中的像素值。

6.如权利要求5所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，具体包括以下步骤：

针对局部最大区域集合S_L的每个元素S_L ⁽ⁱ⁾，寻找S_L ⁽ⁱ⁾在前景图片I_F中对应的像素位置，采用的公式为：

$\left\{\begin{array}{c}{x}_i=u_i{w}_b+\frac{w_b}{2}\\ y_i=v_i{w}_b+\frac{w_b}{2}\\ z_i=d_i\end{array}\right.$

其中，(x_i,y_i)是S_L ⁽ⁱ⁾对应于前景图片I_F中的位置；令S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，(x_i,y_i)表示S_L ⁽ⁱ⁾对应于前景图片I_F的像素点，得到集合S_S，S_S ⁽ⁱ⁾为集合S_S的元素；

针对S_S中的每个成员S_S ⁽ⁱ⁾＝(x_i,y_i,z_i)，以S_S ⁽ⁱ⁾为种子，利用种子填充法，向外扩展，扩展的条件为：若|I_F(x_i,y_i)-z_i|≤δ_E，则使用一个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)框选中所有满足条件的像素点，其中(u_i,v_i)为矩形框左上角点，(H_i,W_i)为矩形框的高和宽，z_i为原始像素值，δ_E为规定的阈值，形成一个扩展后区域的集合S_E，S_E ⁽ⁱ⁾为集合S_E的元素。

7.如权利要求6所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的矩形框集合，包括以下步骤：

采用两个过滤条件对集合S_E中的元素进行过滤：

(1)若元素S_E ⁽ⁱ⁾符合以下条件：则将该元素删除；

(2)若两个矩形框S_E ⁽ⁱ⁾＝(u_i,v_i,H_i,W_i,z_i)和S_E ^(j)＝(u_j,v_j,H_j,W_j,z_j)，满足则判定S_E ⁽ⁱ⁾和S_E ^(j)重合，如果重合，则保留z_i和z_j较大的矩形框；

将保留下的矩形框形成矩形框集合S_Fm，矩形框集合S_Fm中的元素为S_Fm ⁽ⁱ⁾，其中，m表示时刻。

8.如权利要求1所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤四中的步骤三得到的为初始时刻的矩形框集合，则利用初始时刻的矩形框集合生成多条轨迹，多条轨迹形成一个轨迹集合；若步骤三得到的为非初始时刻的矩形框集合，则利用该非初始时刻的矩形框集合对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合；具体包括以下步骤：

若步骤三得到的矩形框集合S_Fm中的m等于1，则针对矩形框集合S_Fm中的每个元素S_Fm ⁽ⁱ⁾，创建一条轨迹T_m ⁽ⁱ⁾，并将S_Fm ⁽ⁱ⁾作为轨迹T_m ⁽ⁱ⁾的第一个点，即T_m ⁽ⁱ⁾＝{S_Fm ⁽ⁱ⁾}，轨迹T_m ⁽ⁱ⁾作为轨迹集合T_m中的一个元素，即

T_m＝{T_m ⁽ⁱ⁾|i＝1,…,N_Tm}，其中，N_Tm为m时刻的矩形框集合S_Fm形成的轨迹的个数；

若步骤三得到的矩形框集合S_Fm的m不等于1，则将矩形框集合S_Fm中的每一个元素S_Fm ⁽ⁱ⁾与m-1时刻的矩形框集合S_F(m-1)已经形成的轨迹集合T_m-1＝{T_m-1 ⁽ⁱ⁾}中的每一个轨迹分别进行匹配，具体匹配方法如下：

记，元素S_Fm ⁽ⁱ⁾中心点为为中心点的坐标，为坐标处的像素值；轨迹T_m-1 ⁽ⁱ⁾的最后一个矩形框的中心点为(x_m-1,y_m-1,I_F(x_m-1,y_m-1))；

若

则矩形框S_Fm ⁽ⁱ⁾与轨迹T_m-1 ⁽ⁱ⁾匹配，若轨迹T_m-1 ⁽ⁱ⁾未与矩形框集合S_Fm中的其他矩形框匹配，则将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中，若轨迹T_m-1 ⁽ⁱ⁾已经与矩形框集合S_Fm中的另外一个矩形框S_Fm ^(j)相匹配，S_Fm ^(j)的中心点为 则进行如下判断：

若

则将矩形框S_Fm ^(j)由轨迹T_m-1 ⁽ⁱ⁾移除，将矩形框S_Fm ⁽ⁱ⁾加入到轨迹T_m-1 ⁽ⁱ⁾中；若不满足上述条件，则矩形框S_Fm ^(j)保留在轨迹T_m-1 ⁽ⁱ⁾中。

上述过程中，矩形框集合S_Fm中的所有元素S_Fm ⁽ⁱ⁾在经过上述匹配后，若存在未与任意一条轨迹匹配的矩形框，则生成一条新的轨迹，将该矩形框作为新轨迹的第一个点，并将生成的轨迹加入至已经形成的轨迹集合中，得到m时刻更新后的轨迹集合T1_m。

9.如权利要求1所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤六中的根据被标记的轨迹的起点和终点判断该轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1，具体包括以下步骤：

通道的方向A的上检测方程为：

y＝δ_u

下检测线方程为：

y＝δ_d

通道的方向B的上检测线方程为：

y＝δ′_u

下检测线方程为：

y＝δ′_d

针对被标记的轨迹T_m ⁽ⁱ⁾，轨迹T_m ⁽ⁱ⁾的起点矩形框的中心记为(x_0m，y_0m，I_F(x_0m，y_0m))，轨迹T_m ⁽ⁱ⁾的终点矩形框的中心记为(x_em,y_em,I_F(x_em,y_em))，判断轨迹的方向，如果x_0m-x_em＞0则为通道的A方向，否则为通道的B方向。

如果是A方向，则判断是否满足x_0m＞δ_d且x_em＜δ_u，如果满足，则当前轨迹按照A方向通过通道，A方向上的人数增加1；否则，A方向上的人数不增加；

如果是B方向，则判断是否满足x_0m＜δ′_u且x_em＞δ′_d，如果满足，则当前轨迹按照B方向通过通道，B方向上的人数增加1；否则，B方向上的人数不增加。