CN104751491A - 一种人群跟踪及人流量统计方法及装置 - Google Patents

Abstract

本发明提供一种人群跟踪及人流量统计方法及装置，所述方法包括：获取场景实时彩色图与深度图；图像预处理；对深度图背景进行差分运算获得运动前景深度图；从前景深度图中检测并分割出行人头部区域；对头部区域进行判定，去除非人头区域；根据联合匹配概率函数进行人头匹配跟踪；构建人头状态空间转换关系图进行人头计数。本发明方法及装置能够跟踪记录每个行人的位置，可计算行人行走过程中的速度大小和方向，进行各种条件下的人群跟踪及人流量统计；不受光照条件及光照变化影响；能够滤除虚假目标造成的误报；性能稳定、速度快、效率高且正确率高。

Description

一种人群跟踪及人流量统计方法及装置

技术领域

本发明属于计算机视觉与模式识别技术领域，尤其涉及一种人群跟踪及人流量统计的方法及装置。

背景技术

准确、稳定的人群跟踪及流量统计技术，一直是公共安全和智能监控等领域中急需的一项技术。例如在校园、博物馆、地铁站、火车站等等人群密集场景下，对人群的有效跟踪和计数会极大地方便日常管理及保障人们的安全；而在超市、商场等环境对不同货架区域进行不同方向的人群计数，也能更好的调整营销策略，带来更高的经济效益。除了人工清点方式外，目前常见的自动人流统计方法主要有以下几种：

接触式传感器方式：这种方式在地面安装感应踩踏的传感器，当行走在其上时，传感器将信号传递到处理器端进行分析统计获得人流信息。CN201410298577.5、CN201210396201.9等均采用这种类似方法，但是这种方法受人流密度及步伐影响。

感应式传感器方式：这种方式一般在通道两侧安装红外等传感器，通过检测行人通过时接近或遮挡情况分析统计行人数量。CN200910153676.3、CN201420115932.6、CN201310275878.1等均采用这种类似方法，但这种方法只是用于人流稀疏情况，对于并行或密集通过等情况时会出现较大误差。

视觉图像传感器方式：这种方式一般是采用摄像头获取场景实时图像，通过计算机视觉技术对图像画面的行人进行跟踪或计数。CN201210208666.7、CN201110407262.6、CN201010607822.8等均采用此方法，这种方法能够有效解决人群并行等遮挡不严重情况，但在场景密集、附近复杂情况下准确性受具体跟踪计数算法限制。

发明内容

有鉴于此，本发明提供了一种人群跟踪及人流量统计方法及装置，其能够有效解决现有方法在人群密集的复杂场景中的不足，对密集场景下人群的跟踪与计数具有很高的准确性与稳定性。

本发明提供的人群跟踪及人流量统计方法，包括：

获取场景实时彩色图与深度图；

对所述彩色图与深度图进行图像预处理；

对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；

对所述运动前景深度图进行检测并分割出行人头部区域；

对所述行人头部区域进行判定，去除非人头区域；

根据联合匹配概率函数进行人头匹配跟踪；以及

构建人头状态空间转换关系图进行人头计数。

优选地，所述彩色图为普通RGB三通道图像，所述深度图中每个像素点的值为所述像素点所表示的物体距离所述场景中地面的高度。

优选地，对所述彩色图与深度图进行图像预处理具体包括：

对所述彩色图仿射变换矫正，使得矫正后的彩色图与所述深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对所述深度图进行修补和中值滤波。

优选地，对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图具体包括：

根据所述预处理后的深度图学习背景模型，其中，获取N帧无运动目标时的场景纯背景深度图像序列B_n(n＝1,2…N)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；

根据公式D_t(i，j)＝|I_t(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，得差分深度图D_t(i，j)；以及

对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图D_t(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。

优选地，对所述运动前景深度图进行检测并分割出行人头部区域具体包括：

搜索局部区域极大值点检测人头位置；其中，人头是每个人的最高部分，表现在所述运动前景深度图中即每个人深度值最大点在人头上，因此，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定，所述局部区域半径为所述行人头部区域半径的1/2～2倍；

计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定，所述邻域半径为所述行人头部区域半径的1.1～4倍；以及

搜索人头分割深度分界点分割人头获得人头分割图；其中，人在行走时的深度图中，从头部至肩膀部分有一个深度骤降过程，在人头点邻域的所述深度直方图表现为，深度值从高向低方向，经过第一个波峰，骤降至第一个波谷后，又逐渐上升趋势，从第一个波峰至第一个波谷区域即为人头区域，深度值更低的区域为身体区域，所述波谷点为人头与身体深度分界点；因此通过在行人区域深度直方图中搜索所述波谷点，以所述波谷点的深度值为分界点，即能把行人分成人头和身体两部分，从而分割出该行人的人头区域；其计算公式为：

$H_k(i,j)=\left\{\begin{array}{cc}{D}_t(i,j),& D_t(i,j)\&GreaterEqual;d_k\\ 0,& D_t(i,j)<d_k\end{array}\right.$

其中，D_t表示为第t帧运动前景深度图，H_k为人头分割图的第k个人头区域，d_k为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。

优选地，对所述行人头部区域进行判定，去除非人头区域具体包括：

对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀再膨胀各N(1≤N≤5)次，以消除离散噪声点，同时保持人头面积和形状不变；

根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像(即前景像素值为1，背景像素值为0)，将所述二值图像矩阵的所有元素和定义为所述人头区域面积；所述面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；其中，进行人头判定的面积阈值范围经过离线对大量当前场景的人头面积进行训练得到；

根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除；以及

根据头肩模型删除不匹配的非人头的检测。

优选地，根据头肩模型删除不匹配的非人头的检测具体包括：

计算人头区域中心；其中，用人头区域的质心作为所述人头区域中心，计算公式为： $\left\{\begin{array}{c}x=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{x_i}{N}\\ y=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{y_i}{N}\end{array}\right.,$ 其中，x，y分别为所述人头区域中心的横坐标和纵坐标，x_i，y_i分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量；

以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；

计算所述头肩图块的梯度方向直方图特征向量；

与预先获得的头肩模型进行匹配计算；所述头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得；离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征；负样本，采用其他图块的梯度方向直方图特征；以及

删除不匹配的检测人头。

优选地，根据联合匹配概率函数进行人头匹配跟踪具体包括：

基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪；所述人头各种特征包括但不限于行人的表观、形状、距离、身高特征；所述联合匹配概率函数公式如下：

$P=\arg \underset{x\&Element;\mathrm{\&Omega;}\left(x_i\right)}{\max }{P}_a\left(x\right)\&times;P_s\left(x\right)\&times;P_d\left(x\right)\&times;P_h\left(x\right)$

其中，Ω(x₀)是在预测位置x₀的邻域内所有检测人头的集合；P_a(x)是跟踪目标和候选点之间表观匹配概率；P_s(x)是跟踪目标和候选点之间形状匹配概率；P_d(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率；P_h(x)是跟踪目标和候选点之间身高匹配概，其中，将人头区域的平均深度值定义为行人的身高。

优选地，构建人头状态空间转换关系图进行人头计数具体包括：

所述状态空间包括怀疑状态、正常状态、丢失状态、走出状态；

当前帧中，所有经过所述联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态；

人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头；

人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头；

当某丢失状态人头跟踪目标已经持续1<＝N3<＝20帧(即：连续1<＝N3<＝20帧都未找到与之匹配的人头)，定义为走出状态；

所述状态转换关系为：

1)当前帧中，所有经过所述联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；

2)怀疑状态人头跟踪目标连续1<＝N1<＝10帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；

3)怀疑状态人头跟踪目标连续1<＝N2<＝10帧未能找到与之匹配的检测人头，删除跟踪目标；

4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；

5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；以及

6)丢失状态人头跟踪目标连续1<＝N3<＝20帧找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。

一种人群跟踪及人流量统计装置，所述装置包括：

图像获取模块，所述图像获取模块用于获取场景实时彩色图及深度图；

图像预处理模块，所述图像预处理模块用于对所述彩色图和深度图进行图像预处理；

背景差分模块，所述背景差分模块用于对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；

行人头部区域检测及分割模块，所述行人头部区域检测及分割模块用于对所述运动前景深度图进行检测并分割出所述行人头部区域；

非人头区域删除模块，所述非人头区域删除模块用于对所述行人头部区域进行判定，去除非人头区域；

人头匹配跟踪模块，所述人头匹配跟踪模块用于根据联合匹配概率函数进行人头匹配跟踪；以及

人头计数模块，所述人头计数模块用于构建人头状态空间转换关系图进行人头计数。

优选地，所述图像获取模块包括彩色图像传感器及深度图像传感器；所述图像获取模块用于从彩色图像传感器及深度图像传感器分别获取场景的彩色图和深度图。

优选地，所述背景差分模块包括学习背景模型子模块、差分子模块及去噪子模块：

所述学习背景模型子模块用于获取N帧无运动目标时的场景纯背景深度图像序列B_n(n＝1,2…N)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；

所述差分子模块用于根据公式D_t(i，j)＝|I_t(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，获得差分深度图D_t(i，j)；

所述去噪子模块用于对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图D_t(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。

优选地，所述行人头部区域检测及分割模块包括人头位置检测子模块、邻域深度直方图计算子模块、及人头分割图获取子模块：

所述人头位置检测子模块用于搜索局部区域极大值点检测人头位置；其中，人头是每个人的最高部分，表现在所述运动前景深度图中即每个人深度值最大点在人头上，因此，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定，所述局部区域半径为所述行人头部区域半径的1/2～2倍；

所述邻域深度直方图计算子模块用于计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定，所述邻域半径为所述行人头部区域半径的1.1～4倍；以及

所述人头分割图获取子模块用于搜索人头分割深度分界点分割人头获得人头分割图；其中，先对所述邻域深度直方图计算子模块得到的局部极大值点的邻域深度直方图进行滑动平均滤波滤除噪声干扰，然后在深度直方图中搜索人头分割深度界限，即搜索直方图从深度下降方向的第一个波谷点深度值d_k；然后利用人头分割深度界限d_k进行人头分割；其计算公式为：

$H_k(i,j)=\left\{\begin{array}{cc}{D}_t(i,j),& D_t(i,j)\&GreaterEqual;d_k\\ 0,& D_t(i,j)<d_k\end{array}\right.$

其中d_t表示为第t帧运动前景深度图，H_k为人头分割图的第k个人头区域，d_k为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。

优选地，所述非人头区域删除模块包括形态学处理子模块、第一非人头删除子模块、第二非人头删除子模块及第三非人头删除子模块：

所述形态学处理子模块用于对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀N次再膨胀N(1≤N≤5)次，以消除离散噪声点，同时保持人头面积和形状不变；

所述第一非人头删除子模块用于根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像(即前景像素值为1，背景像素值为0)，将所述二值图像矩阵的所有元素和定义为所述人头区域面积；进行人头判定的面积阈值范围经过离线对大量当前场景的人头面积进行训练得到，所述人头区域面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；

所述第二非人头删除子模块用于根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除；

所述第三非人头删除子模块用于根据头肩模型删除不匹配的非人头的检测。

优选地，所述第三非人头删除子模块包括人头区域中心计算子模块、头肩图块选取子模块、梯度方向直方图(HOG)特征向量计算子模块、匹配子模块及删除子模块：

所述人头区域中心计算子模块用于计算人头区域中心；其中，用人头区域的质心作为人头区域中心，计算公式为： $\left\{\begin{array}{c}x=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{x_i}{N}\\ y=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{y_i}{N}\end{array}\right.,$ 其中，x，y分别为人头区域中心的横坐标和纵坐标，x_i，y_i分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量；

所述头肩图块选取子模块用于以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；

所述梯度方向直方图特征向量计算子模块用于计算头肩图块的梯度方向直方图特征向量；

所述匹配子模块用于与头肩模型进行匹配计算；所述头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得；离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征；负样本，采用其他图块的梯度方向直方图特征；

所述删除子模块用于删除不匹配的检测人头。

本发明提供的方法及装置，包括：获取场景实时彩色图与深度图；对所述彩色图与深度图进行图像预处理；对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；对所述运动前景深度图进行检测并分割出行人头部区域；对所述行人头部区域进行判定，去除非人头区域；根据联合匹配概率函数进行人头匹配跟踪；以及构建人头状态空间转换关系图进行人头计数。因此，本发明能达到如下技术效果：

1)能够跟踪记录每个行人的位置，可计算行人行走过程中的速度大小和方向，进行各种条件下的人群跟踪及人流量统计。

2)本发明的人群跟踪及人流量计算方法，基于场景的深度图进行背景差分、行人头部区域检测及分割，不受光照条件及光照变化影响，有效避免了现有的基于彩色图进行人流量统计的方法的易受光照条件及光照变化影响的缺陷。

3)本发明通过多种方式有效滤除虚假目标，避免影响后续跟踪过程，从而造成的误报。

4)性能稳定、速度快、效率高且正确率高。

附图说明

图1为本发明一实施例中人群跟踪及人流量统计方法的流程示意图。

图2为本发明一实施例中获得运动前景深度图的流程示意图。

图3为本发明一实施例中获取人头分割图的流程示意图。

图4为本发明一实施例中进行头部区域进行判定，并去除非人头区域的流程示意图。

图5为本发明一实施例中通过头肩模型进行非人头检测并删除的流程示意图。

图6为本发明一实施例中人头状态空间转换关系图。

图7为本发明一实施例中人群跟踪及人流量统计装置的内部结构示意图。

图8为本发明一实施例中背景差分模块的结构示意图。

图9为本发明一实施例中行人头部区域检测及分割模块的结构示意图。

图10为本发明一实施例中非人头区域删除模块的结构示意图。

图11为本发明一实施例中第三非人头删除子模块的结构示意图。

具体实施方式

下面结合具体实施例对本发明作进一步具体详细描述，但本发明的实施方式不限于此，对于未特别注明的工艺参数，可参照常规技术进行。

请参见图1，本发明一实施例的人群跟踪及人流量统计方法包括以下步骤：

S101、获取场景实时彩色图与深度图；

S102、对彩色图和深度图进行图像预处理；

S103、对经过图像预处理后的深度图进行背景差分以获得运动前景深度图；

S104、对运动前景深度图进行检测并分割出行人头部区域；

S105、对行人头部区域进行判定，去除非人头区域；这样可以有效滤除虚假目标，避免影响后续跟踪过程，从而造成的误报；

S106、根据联合匹配概率函数进行人头匹配跟踪；以及

S107、构建人头状态空间转换关系图进行人头计数。

在本发明的一实施例中，在步骤S101中，通过彩色图像传感器和深度图像传感器同步采集同一场景的实时画面，分别采集场景的彩色图(RGB图)和深度图；彩色图为普通RGB三通道图像，深度图中每个像素点的值为该像素点所表示的场景中的物体距离场景中地面的高度。

在本发明的一实施例中，在步骤S102中，对彩色图进行仿射变换矫正，使得矫正后的彩色图与深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对深度图进行修补和中值滤波。

请参见图2，在本发明的一实施例中，在步骤S103中，运动前景深度图通过以下步骤获得：

S1031、根据预处理后的深度图学习背景模型；具体地，获取100帧无运动目标时的场景纯背景深度图像序列B_n(n＝1,2…100)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这100帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值。

S1032、根据公式D_t(i，j)＝|I_t(i，j)-B(i，j)|，对当前帧深度图与背景深度图进行背景差分，获得差分深度图D_t(i，j)。

S1033、对差分深度图去噪获得运动前景深度图。具体地，对所述差分深度图D_t(i，j)依次进行中值滤波、形态学处理，去除差分深度图中的细小独立噪点和空洞，获得运动前景深度图。

请参见图3，在本发明的一实施例中，在步骤S104中，通过以下步骤获取人头分割图：

S1041、搜索局部区域极大值点检测人头位置。具体地，根据场景中行人头部区域变化范围确定，局部区域半径一般选择头部区域半径的1倍，并使用非极大值抑制进行局部极大值搜索，非极大值抑制具体可参考文献“Neubeck A,Van Gool L.Efficient non-maximum suppression[C]//Pattern Recognition,2006.ICPR 2006.18th International Conference on.IEEE,2006,3:850-855”，在此不再赘述。

S1042、计算人头位置的邻域深度直方图。具体地，计算步骤S1041检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中行人头部区域变化范围确定为头部区域半径的1.5倍。

S1043、搜索人头分割深度分界点分割人头获得人头分割图。具体地，先对步骤S1042得到的局部极大值点的邻域深度直方图进行滑动平均滤波滤除噪声干扰，然后在深度直方图中搜索人头分割深度界限，即搜索直方图从深度下降方向的第一个波谷点深度值d_k；然后利用人头分割深度界限d_k进行人头分割。其计算公式为：

$H_k(i,j)=\left\{\begin{array}{cc}{D}_t(i,j),& D_t(i,j)\&GreaterEqual;d_k\\ 0,& D_t(i,j)<d_k\end{array}\right.$

其中D_t表示为第t帧运动前景深度图，H_k为人头分割图的第k个人头区域，d_k为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。

请参见图4，在本发明的一实施例中，在步骤S105中，通过以下步骤去除非人头区域：

S1051、对行人头部区域形态学处理。具体地，对行人头部区域先腐蚀两次再膨胀两次，以消除离散噪声点，同时保持人头面积和形状不变。

S1052、根据人头区域面积删除不可能为人头的检测。具体地，经过离线对大量当前场景的人头面积进行训练得到进行人头判定的面积阈值范围(2000，4000)，所述人头区域面积小于或超过该阈值范围的则为不可能的人头检测，并将其删除。

S1053、根据拟合椭圆的长轴短轴比值删除不可能为人头的检测。具体地，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值。若拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除。经过离线对大量当前场景的人头区域进行训练得到所述阈值范围为[1，1.5]。

S1054、根据头肩模型删除不匹配的非人头的检测，具体如图5所示：

S10541、计算人头区域中心。具体地，用人头区域的质心作为人头区域中心，计算公式为：其中，x，y分别为人头区域中心的横坐标和纵坐标，x_i，y_i分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量。

S10542、以人头中心为图块中心在深度前景图中取头肩图块。头肩图块大小为d*d，d取人头半径的2倍。

S10543、计算头肩图块的梯度方向直方图(HOG)特征向量。具体地，计算梯度方向直方图(HOG)特征向量的方法详细参考文献“Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Computer Vision andPattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,20-5,1:886-893”，在此不再赘述。

S10544、与头肩模型进行匹配计算。头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得。离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征(HOG)；负样本，采用其他图块的梯度方向直方图特征(HOG)。

S10545、删除不匹配的检测人头。

在本发明的一实施例中，在步骤S106中，具体地，基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪。人头各种特征包括但不限于行人的表观、形状、距离、身高特征。联合匹配概率函数公式如下：

$P=\arg \underset{x\&Element;\mathrm{\&Omega;}\left(x_i\right)}{\max }{P}_a\left(x\right)\&times;P_s\left(x\right)\&times;P_d\left(x\right)\&times;P_h\left(x\right)$

其中，Ω(x₀)是在预测位置x₀的邻域内所有检测人头的集合。P_a(x)是跟踪目标和候选点之间表观匹配概率。优选地，计算两者颜色直方图的巴氏距离(Bhattacharyya distance)的值来作为匹配概率值。P_s(x)是跟踪目标和候选点之间形状匹配概率。优选地，使用人头区域面积差计算形状匹配概率值。P_d(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率。P_h(x)是跟踪目标和候选点之间身高匹配概，优选地，将人头区域的平均深度值定义为行人的身高。

参见图6，在本发明的一实施例中，在步骤S107中，状态空间包括怀疑状态、正常状态、丢失状态、走出状态。

当前帧中，所有经过所述联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态。

人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头。

人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头。

当某丢失状态人头跟踪目标已经持续3帧(即：连续三帧都未找到与之匹配的人头)，定义为走出状态。

具体地，所述状态转换关系为：

1)当前帧中，所有经过联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；

2)怀疑状态人头跟踪目标连续1<＝N1<＝10帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；

3)怀疑状态人头跟踪目标连续1<＝N2<＝10帧未能找到与之匹配的检测人头，删除该人头跟踪目标；

4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；

5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；

6)丢失状态人头跟踪目标连续1<＝N3<＝20帧找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。

图7为本发明一实施例的一种人群跟踪及人流量统计装置100，至少包括图像获取模块10、图像预处理模块20、背景差分模块30、行人头部区域检测及分割模块40、非人头区域删除模块50、人头匹配跟踪模块60及人头计数模块70，其中：

图像获取模块10，用于获取场景实时彩色图及深度图；

图像预处理模块20，用于对彩色图和深度图进行图像预处理；

背景差分模块30，用于对经过图像预处理后的深度图进行背景差分以获得运动前景深度图；

行人头部区域检测及分割模块40，用于对运动前景深度图进行检测并分割出行人头部区域；

非人头区域删除模块50，用于对行人头部区域进行判定，去除非人头区域；

人头匹配跟踪模块60，用于根据联合匹配概率函数进行人头匹配跟踪；以及

人头计数模块70，用于构建人头状态空间转换关系图进行人头计数。

在本发明的一实施例中，图像获取模块10从彩色图像传感器及深度图像传感器分别获取场景的彩色图(RGB图)和深度图。彩色图像传感器和深度图像传感器用于同步采集同一场景的实时画面，分别采集场景的彩色图(RGB图)和深度图；彩色图为普通RGB三通道图像，深度图中每个像素点的值为该像素点所表示的场景中的物体距离场景中地面的高度。

在本发明的一实施例中，图像预处理模块20用于对所述彩色图进行仿射变换矫正，使得矫正后的彩色图与深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对深度图进行修补和中值滤波。

请参考图8，在本发明的一实施例中，背景差分模块30包括学习背景模型子模块31、差分子模块32及去噪子模块33，其中：

学习背景模型子模块31用于获取100帧无运动目标时的场景纯背景深度图像序列B_n(n＝1,2…100)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这100帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值。

差分子模块32用于根据公式D_t(i，j)＝|I_t(i，j)-B(i，j)|，对当前帧深度图与背景深度图进行背景差分，获得差分深度图D_t(i，j)。

去噪子模块用于对差分深度图去噪获得运动前景深度图。具体地，对差分深度图D_t(i，j)依次进行中值滤波、形态学处理，去除差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。

请参考图9，在本发明的一实施例中，行人头部区域检测及分割模块40包括人头位置检测子模块41、邻域深度直方图计算子模块42及人头分割图获取子模块43，其中：

人头位置检测子模块41用于搜索局部区域极大值点检测人头位置。具体地，根据场景中行人头部区域变化范围确定，局部区域半径一般选择头部区域半径的1倍，并使用非极大值抑制进行局部极大值搜索，非极大值抑制具体可参考文献“Neubeck A,Van Gool L.Efficient non-maximum suppression[C]//PatternRecognition,2006.ICPR 2006.18th International Conference on.IEEE,2006,3:850-855”，在此不再赘述。

邻域深度直方图计算子模块42用于计算人头位置的邻域深度直方图。具体地，计算人头位置检测子模块41检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中行人头部区域变化范围确定为头部区域半径的1.5倍。

人头分割图获取子模块43用于搜索人头分割深度分界点分割人头获得人头分割图。具体地，先对邻域深度直方图计算子模块42得到的局部极大值点的邻域深度直方图进行滑动平均滤波滤除噪声干扰，然后在深度直方图中搜索人头分割深度界限，即搜索直方图从深度下降方向的第一个波谷点深度值d_k；然后利用人头分割深度界限d_k进行人头分割。其计算公式为：

$H_k(i,j)=\left\{\begin{array}{cc}{D}_t(i,j),& D_t(i,j)\&GreaterEqual;d_k\\ 0,& D_t(i,j)<d_k\end{array}\right.$

其中D_t表示为第t帧运动前景深度图，H_k为人头分割图的第k个人头区域，d_k为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。

请参考图10，在本发明的一实施例中，非人头区域删除模块50包括形态学处理子模块51、第一非人头删除子模块52、第二非人头删除子模块53及第三非人头删除子模块54：

形态学处理子模块51用于对行人头部区域形态学处理。具体地，对行人头部区域先腐蚀两次再膨胀两次，以消除离散噪声点，同时保持人头面积和形状不变。

第一非人头删除子模块52用于根据人头区域面积删除不可能为人头的检测。具体地，经过离线对大量当前场景的人头面积进行训练得到进行人头判定的面积阈值范围(2000，4000)，人头区域面积小于或超过该阈值范围的则为不可能的人头检测，并将其删除。

第二非人头删除子模块53用于根据拟合椭圆的长轴短轴比值删除不可能为人头的检测。具体地，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值。拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除。经过离线对大量当前场景的人头区域进行训练得到所述阈值范围为[1，1.5]。

第三非人头删除子模块54用于根据头肩模型删除不匹配的非人头的检测。

请参考图11，在本发明的一实施例中，第三非人头删除子模块53包括人头区域中心计算子模块531、头肩图块选取子模块532、梯度方向直方图(HOG)特征向量计算子模块533、匹配子模块534及删除子模块535，其中：

人头区域中心计算子模块531用于计算人头区域中心。具体地，用人头区域的质心作为人头区域中心，计算公式为： $\left\{\begin{array}{c}x=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{x_i}{N}\\ y=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{y_i}{N}\end{array}\right.,$ 其中，x，y分别为人头区域中心的横坐标和纵坐标，x_i，y_i分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量。

头肩图块选取子模块532用于以人头中心为图块中心在深度前景图中取头肩图块。头肩图块大小为d*d，d取人头半径的2倍。

梯度方向直方图(HOG)特征向量计算子模块533用于计算头肩图块的梯度方向直方图(HOG)特征向量。具体地，计算梯度方向直方图(HOG)特征向量的方法详细参考文献“Dalal N,Triggs B.Histograms of oriented gradients forhuman detection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005,1:886-893”，在此不再赘述。

匹配子模块534用于与头肩模型进行匹配计算。头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得。离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征(HOG)；负样本，采用其他图块的梯度方向直方图特征(HOG)。

删除子模块535用于删除不匹配的检测人头。

在本发明的一实施例中，基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪。人头各种特征包括但不限于行人的表观、形状、距离、身高特征。联合匹配概率函数公式如下：

$P=\arg \underset{x\&Element;\mathrm{\&Omega;}\left(x_i\right)}{\max }{P}_a\left(x\right)\&times;P_s\left(x\right)\&times;P_d\left(x\right)\&times;P_h\left(x\right)$

其中，Ω(x₀)是在预测位置x₀的邻域内所有检测人头的集合。P_a(x)是跟踪目标和候选点之间表观匹配概率。优选地，计算两者颜色直方图的巴氏距离(Bhattacharyya distance)的值来作为匹配概率值。P_s(x)是跟踪目标和候选点之间形状匹配概率。优选地，使用人头区域面积差计算形状匹配概率值。P_d(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率。P_h(x)是跟踪目标和候选点之间身高匹配概，优选地，将人头区域的平均深度值定义为行人的身高。

在本发明的一实施例中，状态空间包括怀疑状态、正常状态、丢失状态、走出状态。

当前帧中，所有经过联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态。

人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头。

人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头。

当某丢失状态人头跟踪目标已经持续3帧(即：连续三帧都未找到与之匹配的人头)，定义为走出状态。

具体地，所述状态转换关系为：

1)当前帧中，所有经过所述联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；

2)怀疑状态人头跟踪目标连续3帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；

3)怀疑状态人头跟踪目标连续3帧未能找到与之匹配的检测人头，删除该人头跟踪目标；

4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；

5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；

6)丢失状态人头跟踪目标连续5帧未能找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。

本发明的方法及装置，具有如下技术效果：

1)可计算行人行走过程中的速度大小和方向，进行各种条件下的人群跟踪及人流量统计。

2)本发明的人群跟踪及人流量计算方法，基于场景的深度图进行背景差分、行人头部区域检测及分割，不受光照条件及光照变化影响，有效避免了现有的基于彩色图进行人流量统计的方法的易受光照条件及光照变化影响的缺陷。

3)本发明通过多种方式有效滤除虚假目标，避免影响后续跟踪过程，从而造成的误报；

4)性能稳定、速度快、效率高且正确率高。

本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求或等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (15)

1.一种人群跟踪及人流量统计方法，其特征在于，所述方法包括：

获取场景实时彩色图与深度图；

对所述彩色图与深度图进行图像预处理；

对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；

对所述运动前景深度图进行检测并分割出行人头部区域；

对所述行人头部区域进行判定，去除非人头区域；

根据联合匹配概率函数进行人头匹配跟踪；以及

构建人头状态空间转换关系图进行人头计数。

2.根据权利要求1所述的人群跟踪及人流量统计方法，其特征在于，所述彩色图为普通RGB三通道图像，所述深度图中每个像素点的值为该像素点所表示的场景中的物体距离所述场景中地面的高度。

3.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述彩色图与深度图进行图像预处理具体包括：

对所述彩色图仿射变换矫正，使得矫正后的彩色图与所述深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对所述深度图进行修补和中值滤波。

4.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图具体包括：

根据所述预处理后的深度图学习背景模型，其中，获取N帧无运动目标时的场景纯背景深度图像序列B_n(n＝1,2…N)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；

根据公式D_t(i，j)＝|I_t(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，得差分深度图D_t(i，j)；以及

对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图D_t(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。

5.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述运动前景深度图进行检测并分割出行人头部区域具体包括：

搜索局部区域极大值点检测人头位置；其中，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定；

计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定；以及

搜索人头分割深度分界点分割人头获得人头分割图；其中，通过在行人区域深度直方图中搜索波谷点，以所述波谷点的深度值为分界点，分割出该行人的人头区域；其计算公式为：

$H_k(i,j)=\left\{\begin{array}{cc}{D}_t(i,j),& D_t(i,j)\&GreaterEqual;d_k\\ 0,& D_t(i,j)<d_k\end{array}\right.$

其中，D_t表示为第t帧运动前景深度图，H_k为人头分割图的第k个人头区域，d_k为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。

6.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述行人头部区域进行判定，去除非人头区域具体包括：

对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀再膨胀各N(1≤N≤5)次，以消除离散噪声点，同时保持人头面积和形状不变；

根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像，将所述二值图像矩阵的所有元素和定义为所述人头区域面积；所述人头区域面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；

根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除；以及

根据头肩模型删除不匹配的非人头的检测。

7.根据权利要求6所述的人群跟踪及人流量统计方法，其特征在于，根据头肩模型删除不匹配的非人头的检测具体包括：

计算人头区域中心；其中，用人头区域的质心作为所述人头区域中心，计算公式为： $\left\{\begin{array}{c}x=\underset{i=1}{\overset{x}{\mathrm{\&Sigma;}}}\frac{x_i}{N}\\ y=\underset{i=1}{\overset{x}{\mathrm{\&Sigma;}}}\frac{y_i}{N}\end{array}\right.,$ 其中，x，y分别为所述人头区域中心的横坐标和纵坐标，x_i，y_i分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量；

以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；

计算所述头肩图块的梯度方向直方图特征向量；

与预先获得的头肩模型进行匹配计算；以及

删除不匹配的检测人头。

8.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，根据联合匹配概率函数进行人头匹配跟踪具体包括：

基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪，所述联合匹配概率函数公式如下：

$P=\arg \underset{x\&Element;\mathrm{\&Omega;}\left(x_0\right)}{\max }{P}_a\left(x\right)\&times;P_s\left(x\right)\&times;P_d\left(x\right)\&times;P_h\left(x\right)$

其中，Ω(x₀)是在预测位置x₀的邻域内所有检测人头的集合；P_a(x)是跟踪目标和候选点之间表观匹配概率；P_s(x)是跟踪目标和候选点之间形状匹配概率；P_d(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率；P_h(x)是跟踪目标和候选点之间身高匹配概，其中，将人头区域的平均深度值定义为行人的身高。

9.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，构建人头状态空间转换关系图进行人头计数具体包括：

所述状态空间包括怀疑状态、正常状态、丢失状态、走出状态；

当前帧中，所有经过所述联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态；

人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头；

人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头；

当某丢失状态人头跟踪目标已经持续1<＝N3<＝20帧(即：连续1<＝N3<＝20帧都未找到与之匹配的人头)，定义为走出状态；

所述状态转换关系为：

1)当前帧中，所有经过所述联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；

2)怀疑状态人头跟踪目标连续1<＝N1<＝10帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；

3)怀疑状态人头跟踪目标连续1<＝N2<＝10帧未能找到与之匹配的检测人头，删除跟踪目标；

4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；

5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；以及

6)丢失状态人头跟踪目标连续1<＝N3<＝20帧找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。

10.一种人群跟踪及人流量统计装置，其特征在于，所述装置包括：

图像获取模块，所述图像获取模块用于获取场景实时彩色图及深度图；

图像预处理模块，所述图像预处理模块用于对所述彩色图和深度图进行图像预处理；

背景差分模块，所述背景差分模块用于对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；

行人头部区域检测及分割模块，所述行人头部区域检测及分割模块用于对所述运动前景深度图进行检测并分割出所述行人头部区域；

非人头区域删除模块，所述非人头区域删除模块用于对所述行人头部区域进行判定，去除非人头区域；

人头匹配跟踪模块，所述人头匹配跟踪模块用于根据联合匹配概率函数进行人头匹配跟踪；以及

人头计数模块，所述人头计数模块用于构建人头状态空间转换关系图进行人头计数。

11.根据权利要求10所述的人群跟踪及人流量统计装置，其特征在于，所述图像获取模块用于从彩色图像传感器及深度图像传感器分别获取场景的彩色图和深度图。

12.根据权利要求10或11所述的人群跟踪及人流量统计装置，其特征在于，所述背景差分模块包括学习背景模型子模块、差分子模块及去噪子模块：

所述学习背景子模型模块用于获取N帧无运动目标时的场景纯背景深度图像序列B_n(n＝1,2…N)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；

所述差分子模块用于根据公式D_t(i，j)＝|i_t(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，获得差分深度图D_t(i，j)；

所述去噪子模块用于对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图D_t(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。

13.根据权利要求10所述的人群跟踪及人流量统计装置，其特征在于，所述行人头部区域检测及分割模块包括人头位置检测子模块、邻域深度直方图计算子模块、及人头分割图获取子模块：

所述人头位置检测子模块用于搜索局部区域极大值点检测人头位置；其中，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定；

所述邻域深度直方图计算子模块用于计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定；以及

所述人头分割图获取子模块用于搜索人头分割深度分界点分割人头获得人头分割图；其中，通过在行人区域深度直方图中搜索波谷点，以所述波谷点的深度值为分界点，分割出该行人的人头区域；其计算公式为：

$H_k(i,j)=\left\{\begin{array}{cc}{D}_t(i,j),& D_t(i,j)\&GreaterEqual;d_k\\ 0,& D_t(i,j)<d_k\end{array}\right.$

其中D_t表示为第t帧运动前景深度图，H_k为人头分割图的第k个人头区域，d_k为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。

14.根据权利要求10所述的人群跟踪及人流量统计装置，其特征在于，所述非人头区域删除模块包括形态学处理子模块、第一非人头删除子模块、第二非人头删除子模块及第三非人头删除子模块：

所述形态学处理子模块用于对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀N次再膨胀N(1≤N≤5)次，以消除离散噪声点，同时保持人头面积和形状不变；

所述第一非人头删除子模块用于根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像，将所述二值图像矩阵的所有元素和定义为为所述人头区域面积；所述人头区域面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；

所述第二非人头删除子模块用于根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除；

所述第三非人头删除子模块用于根据头肩模型删除不匹配的非人头的检测。

15.根据权利要求14所述的人群跟踪及人流量统计装置，其特征在于，所述第三非人头删除子模块包括人头区域中心计算子模块、头肩图块选取子模块、梯度方向直方图特征向量计算子模块、匹配子模块及删除子模块：

所述人头区域中心计算子模块用于计算人头区域中心；其中，用人头区域的质心作为人头区域中心，计算公式为： $\left\{\begin{array}{c}x=\underset{i=1}{\overset{x}{\mathrm{\&Sigma;}}}\frac{x_i}{N}\\ y=\underset{i=1}{\overset{x}{\mathrm{\&Sigma;}}}\frac{y_i}{N}\end{array}\right.,$ 其中，x，y分别为人头区域中心的横坐标和纵坐标，x_i，y_i分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量；

所述头肩图块选取子模块用于以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；

所述梯度方向直方图特征向量计算子模块用于计算头肩图块的梯度方向直方图特征向量；

所述匹配子模块用于与预先获得的头肩模型进行匹配计算；

所述删除子模块用于删除不匹配的检测人头。