CN104751491B - 一种人群跟踪及人流量统计方法及装置 - Google Patents
一种人群跟踪及人流量统计方法及装置 Download PDFInfo
- Publication number
- CN104751491B CN104751491B CN201510170467.5A CN201510170467A CN104751491B CN 104751491 B CN104751491 B CN 104751491B CN 201510170467 A CN201510170467 A CN 201510170467A CN 104751491 B CN104751491 B CN 104751491B
- Authority
- CN
- China
- Prior art keywords
- head
- human head
- area
- image
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种人群跟踪及人流量统计方法及装置，所述方法包括：获取场景实时彩色图与深度图；图像预处理；对深度图背景进行差分运算获得运动前景深度图；从前景深度图中检测并分割出行人头部区域；对头部区域进行判定，去除非人头区域；根据联合匹配概率函数进行人头匹配跟踪；构建人头状态空间转换关系图进行人头计数。本发明方法及装置能够跟踪记录每个行人的位置，可计算行人行走过程中的速度大小和方向，进行各种条件下的人群跟踪及人流量统计；不受光照条件及光照变化影响；能够滤除虚假目标造成的误报；性能稳定、速度快、效率高且正确率高。
Description
技术领域
本发明属于计算机视觉与模式识别技术领域，尤其涉及一种人群跟踪及人流量统计的方法及装置。
背景技术
准确、稳定的人群跟踪及流量统计技术，一直是公共安全和智能监控等领域中急需的一项技术。例如在校园、博物馆、地铁站、火车站等等人群密集场景下，对人群的有效跟踪和计数会极大地方便日常管理及保障人们的安全；而在超市、商场等环境对不同货架区域进行不同方向的人群计数，也能更好的调整营销策略，带来更高的经济效益。除了人工清点方式外，目前常见的自动人流统计方法主要有以下几种：
接触式传感器方式：这种方式在地面安装感应踩踏的传感器，当行走在其上时，传感器将信号传递到处理器端进行分析统计获得人流信息。CN201410298577.5、CN201210396201.9等均采用这种类似方法，但是这种方法受人流密度及步伐影响。
感应式传感器方式：这种方式一般在通道两侧安装红外等传感器，通过检测行人通过时接近或遮挡情况分析统计行人数量。CN200910153676.3、CN201420115932.6、CN201310275878.1等均采用这种类似方法，但这种方法只是用于人流稀疏情况，对于并行或密集通过等情况时会出现较大误差。
视觉图像传感器方式：这种方式一般是采用摄像头获取场景实时图像，通过计算机视觉技术对图像画面的行人进行跟踪或计数。CN201210208666.7、CN201110407262.6、CN201010607822.8等均采用此方法，这种方法能够有效解决人群并行等遮挡不严重情况，但在场景密集、附近复杂情况下准确性受具体跟踪计数算法限制。
发明内容
有鉴于此，本发明提供了一种人群跟踪及人流量统计方法及装置，其能够有效解决现有方法在人群密集的复杂场景中的不足，对密集场景下人群的跟踪与计数具有很高的准确性与稳定性。
本发明提供的人群跟踪及人流量统计方法，包括：
获取场景实时彩色图与深度图；
对所述彩色图与深度图进行图像预处理；
对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；
对所述运动前景深度图进行检测并分割出行人头部区域；
对所述行人头部区域进行判定，去除非人头区域；
根据联合匹配概率函数进行人头匹配跟踪；以及
构建人头状态空间转换关系图进行人头计数。
优选地，所述彩色图为普通RGB三通道图像，所述深度图中每个像素点的值为所述像素点所表示的物体距离所述场景中地面的高度。
优选地，对所述彩色图与深度图进行图像预处理具体包括：
对所述彩色图仿射变换矫正，使得矫正后的彩色图与所述深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对所述深度图进行修补和中值滤波。
优选地，对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图具体包括：
根据所述预处理后的深度图学习背景模型，其中，获取N帧无运动目标时的场景纯背景深度图像序列Bn(n＝1,2…N)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；
根据公式Dt(i，j)＝|It(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，得差分深度图Dt(i，j)；以及
对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图Dt(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。
优选地，对所述运动前景深度图进行检测并分割出行人头部区域具体包括：
搜索局部区域极大值点检测人头位置；其中，人头是每个人的最高部分，表现在所述运动前景深度图中即每个人深度值最大点在人头上，因此，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定，所述局部区域半径为所述行人头部区域半径的1/2～2倍；
计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定，所述邻域半径为所述行人头部区域半径的1.1～4倍；以及
搜索人头分割深度分界点分割人头获得人头分割图；其中，人在行走时的深度图中，从头部至肩膀部分有一个深度骤降过程，在人头点邻域的所述深度直方图表现为，深度值从高向低方向，经过第一个波峰，骤降至第一个波谷后，又逐渐上升趋势，从第一个波峰至第一个波谷区域即为人头区域，深度值更低的区域为身体区域，所述波谷点为人头与身体深度分界点；因此通过在行人区域深度直方图中搜索所述波谷点，以所述波谷点的深度值为分界点，即能把行人分成人头和身体两部分，从而分割出该行人的人头区域；其计算公式为：
其中，Dt表示为第t帧运动前景深度图，Hk为人头分割图的第k个人头区域，dk为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。
优选地，对所述行人头部区域进行判定，去除非人头区域具体包括：
对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀再膨胀各N(1≤N≤5)次，以消除离散噪声点，同时保持人头面积和形状不变；
根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像(即前景像素值为1，背景像素值为0)，将所述二值图像矩阵的所有元素和定义为所述人头区域面积；所述面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；其中，进行人头判定的面积阈值范围经过离线对大量当前场景的人头面积进行训练得到；
根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除；以及
根据头肩模型删除不匹配的非人头的检测。
优选地，根据头肩模型删除不匹配的非人头的检测具体包括：
计算人头区域中心；其中，用人头区域的质心作为所述人头区域中心，计算公式为：其中，x，y分别为所述人头区域中心的横坐标和纵坐标，xi，yi分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量；
以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；
计算所述头肩图块的梯度方向直方图特征向量；
与预先获得的头肩模型进行匹配计算；所述头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得；离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征；负样本，采用其他图块的梯度方向直方图特征；以及
删除不匹配的检测人头。
优选地，根据联合匹配概率函数进行人头匹配跟踪具体包括：
基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪；所述人头各种特征包括但不限于行人的表观、形状、距离、身高特征；所述联合匹配概率函数公式如下：
其中，Ω(x0)是在预测位置x0的邻域内所有检测人头的集合；Pa(x)是跟踪目标和候选点之间表观匹配概率；Ps(x)是跟踪目标和候选点之间形状匹配概率；Pd(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率；Ph(x)是跟踪目标和候选点之间身高匹配概，其中，将人头区域的平均深度值定义为行人的身高。
优选地，构建人头状态空间转换关系图进行人头计数具体包括：
所述状态空间包括怀疑状态、正常状态、丢失状态、走出状态；
当前帧中，所有经过所述联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态；
人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头；
人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头；
当某丢失状态人头跟踪目标已经持续1<＝N3<＝20帧(即：连续1<＝N3<＝20帧都未找到与之匹配的人头)，定义为走出状态；
所述状态转换关系为：
1)当前帧中，所有经过所述联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；
2)怀疑状态人头跟踪目标连续1<＝N1<＝10帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；
3)怀疑状态人头跟踪目标连续1<＝N2<＝10帧未能找到与之匹配的检测人头，删除跟踪目标；
4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；
5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；以及
6)丢失状态人头跟踪目标连续1<＝N3<＝20帧找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。
一种人群跟踪及人流量统计装置，所述装置包括：
图像获取模块，所述图像获取模块用于获取场景实时彩色图及深度图；
图像预处理模块，所述图像预处理模块用于对所述彩色图和深度图进行图像预处理；
背景差分模块，所述背景差分模块用于对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；
行人头部区域检测及分割模块，所述行人头部区域检测及分割模块用于对所述运动前景深度图进行检测并分割出所述行人头部区域；
非人头区域删除模块，所述非人头区域删除模块用于对所述行人头部区域进行判定，去除非人头区域；
人头匹配跟踪模块，所述人头匹配跟踪模块用于根据联合匹配概率函数进行人头匹配跟踪；以及
人头计数模块，所述人头计数模块用于构建人头状态空间转换关系图进行人头计数。
优选地，所述图像获取模块包括彩色图像传感器及深度图像传感器；所述图像获取模块用于从彩色图像传感器及深度图像传感器分别获取场景的彩色图和深度图。
优选地，所述背景差分模块包括学习背景模型子模块、差分子模块及去噪子模块：
所述学习背景模型子模块用于获取N帧无运动目标时的场景纯背景深度图像序列Bn(n＝1,2…N)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；
所述差分子模块用于根据公式Dt(i，j)＝|It(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，获得差分深度图Dt(i，j)；
所述去噪子模块用于对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图Dt(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。
优选地，所述行人头部区域检测及分割模块包括人头位置检测子模块、邻域深度直方图计算子模块、及人头分割图获取子模块：
所述人头位置检测子模块用于搜索局部区域极大值点检测人头位置；其中，人头是每个人的最高部分，表现在所述运动前景深度图中即每个人深度值最大点在人头上，因此，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定，所述局部区域半径为所述行人头部区域半径的1/2～2倍；
所述邻域深度直方图计算子模块用于计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定，所述邻域半径为所述行人头部区域半径的1.1～4倍；以及
所述人头分割图获取子模块用于搜索人头分割深度分界点分割人头获得人头分割图；其中，先对所述邻域深度直方图计算子模块得到的局部极大值点的邻域深度直方图进行滑动平均滤波滤除噪声干扰，然后在深度直方图中搜索人头分割深度界限，即搜索直方图从深度下降方向的第一个波谷点深度值dk；然后利用人头分割深度界限dk进行人头分割；其计算公式为：
其中dt表示为第t帧运动前景深度图，Hk为人头分割图的第k个人头区域，dk为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。
优选地，所述非人头区域删除模块包括形态学处理子模块、第一非人头删除子模块、第二非人头删除子模块及第三非人头删除子模块：
所述形态学处理子模块用于对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀N次再膨胀N(1≤N≤5)次，以消除离散噪声点，同时保持人头面积和形状不变；
所述第一非人头删除子模块用于根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像(即前景像素值为1，背景像素值为0)，将所述二值图像矩阵的所有元素和定义为所述人头区域面积；进行人头判定的面积阈值范围经过离线对大量当前场景的人头面积进行训练得到，所述人头区域面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；
所述第二非人头删除子模块用于根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除；
所述第三非人头删除子模块用于根据头肩模型删除不匹配的非人头的检测。
优选地，所述第三非人头删除子模块包括人头区域中心计算子模块、头肩图块选取子模块、梯度方向直方图(HOG)特征向量计算子模块、匹配子模块及删除子模块：
所述人头区域中心计算子模块用于计算人头区域中心；其中，用人头区域的质心作为人头区域中心，计算公式为：其中，x，y分别为人头区域中心的横坐标和纵坐标，xi，yi分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量；
所述头肩图块选取子模块用于以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；
所述梯度方向直方图特征向量计算子模块用于计算头肩图块的梯度方向直方图特征向量；
所述匹配子模块用于与头肩模型进行匹配计算；所述头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得；离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征；负样本，采用其他图块的梯度方向直方图特征；
所述删除子模块用于删除不匹配的检测人头。
本发明提供的方法及装置，包括：获取场景实时彩色图与深度图；对所述彩色图与深度图进行图像预处理；对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；对所述运动前景深度图进行检测并分割出行人头部区域；对所述行人头部区域进行判定，去除非人头区域；根据联合匹配概率函数进行人头匹配跟踪；以及构建人头状态空间转换关系图进行人头计数。因此，本发明能达到如下技术效果：
1)能够跟踪记录每个行人的位置，可计算行人行走过程中的速度大小和方向，进行各种条件下的人群跟踪及人流量统计。
2)本发明的人群跟踪及人流量计算方法，基于场景的深度图进行背景差分、行人头部区域检测及分割，不受光照条件及光照变化影响，有效避免了现有的基于彩色图进行人流量统计的方法的易受光照条件及光照变化影响的缺陷。
3)本发明通过多种方式有效滤除虚假目标，避免影响后续跟踪过程，从而造成的误报。
4)性能稳定、速度快、效率高且正确率高。
附图说明
图1为本发明一实施例中人群跟踪及人流量统计方法的流程示意图。
图2为本发明一实施例中获得运动前景深度图的流程示意图。
图3为本发明一实施例中获取人头分割图的流程示意图。
图4为本发明一实施例中进行头部区域进行判定，并去除非人头区域的流程示意图。
图5为本发明一实施例中通过头肩模型进行非人头检测并删除的流程示意图。
图6为本发明一实施例中人头状态空间转换关系图。
图7为本发明一实施例中人群跟踪及人流量统计装置的内部结构示意图。
图8为本发明一实施例中背景差分模块的结构示意图。
图9为本发明一实施例中行人头部区域检测及分割模块的结构示意图。
图10为本发明一实施例中非人头区域删除模块的结构示意图。
图11为本发明一实施例中第三非人头删除子模块的结构示意图。
具体实施方式
下面结合具体实施例对本发明作进一步具体详细描述，但本发明的实施方式不限于此，对于未特别注明的工艺参数，可参照常规技术进行。
请参见图1，本发明一实施例的人群跟踪及人流量统计方法包括以下步骤：
S101、获取场景实时彩色图与深度图；
S102、对彩色图和深度图进行图像预处理；
S103、对经过图像预处理后的深度图进行背景差分以获得运动前景深度图；
S104、对运动前景深度图进行检测并分割出行人头部区域；
S105、对行人头部区域进行判定，去除非人头区域；这样可以有效滤除虚假目标，避免影响后续跟踪过程，从而造成的误报；
S106、根据联合匹配概率函数进行人头匹配跟踪；以及
S107、构建人头状态空间转换关系图进行人头计数。
在本发明的一实施例中，在步骤S101中，通过彩色图像传感器和深度图像传感器同步采集同一场景的实时画面，分别采集场景的彩色图(RGB图)和深度图；彩色图为普通RGB三通道图像，深度图中每个像素点的值为该像素点所表示的场景中的物体距离场景中地面的高度。
在本发明的一实施例中，在步骤S102中，对彩色图进行仿射变换矫正，使得矫正后的彩色图与深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对深度图进行修补和中值滤波。
请参见图2，在本发明的一实施例中，在步骤S103中，运动前景深度图通过以下步骤获得：
S1031、根据预处理后的深度图学习背景模型；具体地，获取100帧无运动目标时的场景纯背景深度图像序列Bn(n＝1,2…100)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这100帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值。
S1032、根据公式Dt(i，j)＝|It(i，j)-B(i，j)|，对当前帧深度图与背景深度图进行背景差分，获得差分深度图Dt(i，j)。
S1033、对差分深度图去噪获得运动前景深度图。具体地，对所述差分深度图Dt(i，j)依次进行中值滤波、形态学处理，去除差分深度图中的细小独立噪点和空洞，获得运动前景深度图。
请参见图3，在本发明的一实施例中，在步骤S104中，通过以下步骤获取人头分割图：
S1041、搜索局部区域极大值点检测人头位置。具体地，根据场景中行人头部区域变化范围确定，局部区域半径一般选择头部区域半径的1倍，并使用非极大值抑制进行局部极大值搜索，非极大值抑制具体可参考文献“Neubeck A,Van Gool L.Efficient non-maximum suppression[C]//Pattern Recognition,2006.ICPR 2006.18th InternationalConference on.IEEE,2006,3:850-855”，在此不再赘述。
S1042、计算人头位置的邻域深度直方图。具体地，计算步骤S1041检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中行人头部区域变化范围确定为头部区域半径的1.5倍。
S1043、搜索人头分割深度分界点分割人头获得人头分割图。具体地，先对步骤S1042得到的局部极大值点的邻域深度直方图进行滑动平均滤波滤除噪声干扰，然后在深度直方图中搜索人头分割深度界限，即搜索直方图从深度下降方向的第一个波谷点深度值dk；然后利用人头分割深度界限dk进行人头分割。其计算公式为：
其中Dt表示为第t帧运动前景深度图，Hk为人头分割图的第k个人头区域，dk为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。
请参见图4，在本发明的一实施例中，在步骤S105中，通过以下步骤去除非人头区域：
S1051、对行人头部区域形态学处理。具体地，对行人头部区域先腐蚀两次再膨胀两次，以消除离散噪声点，同时保持人头面积和形状不变。
S1052、根据人头区域面积删除不可能为人头的检测。具体地，经过离线对大量当前场景的人头面积进行训练得到进行人头判定的面积阈值范围(2000，4000)，所述人头区域面积小于或超过该阈值范围的则为不可能的人头检测，并将其删除。
S1053、根据拟合椭圆的长轴短轴比值删除不可能为人头的检测。具体地，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值。若拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除。经过离线对大量当前场景的人头区域进行训练得到所述阈值范围为[1，1.5]。
S1054、根据头肩模型删除不匹配的非人头的检测，具体如图5所示：
S10541、计算人头区域中心。具体地，用人头区域的质心作为人头区域中心，计算公式为：其中，x，y分别为人头区域中心的横坐标和纵坐标，xi，yi分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量。
S10542、以人头中心为图块中心在深度前景图中取头肩图块。头肩图块大小为d*d，d取人头半径的2倍。
S10543、计算头肩图块的梯度方向直方图(HOG)特征向量。具体地，计算梯度方向直方图(HOG)特征向量的方法详细参考文献“Dalal N,Triggs B.Histograms of orientedgradients for human detection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,20-5,1:886-893”，在此不再赘述。
S10544、与头肩模型进行匹配计算。头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得。离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征(HOG)；负样本，采用其他图块的梯度方向直方图特征(HOG)。
S10545、删除不匹配的检测人头。
在本发明的一实施例中，在步骤S106中，具体地，基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪。人头各种特征包括但不限于行人的表观、形状、距离、身高特征。联合匹配概率函数公式如下：
其中，Ω(x0)是在预测位置x0的邻域内所有检测人头的集合。Pa(x)是跟踪目标和候选点之间表观匹配概率。优选地，计算两者颜色直方图的巴氏距离(Bhattacharyyadistance)的值来作为匹配概率值。Ps(x)是跟踪目标和候选点之间形状匹配概率。优选地，使用人头区域面积差计算形状匹配概率值。Pd(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率。Ph(x)是跟踪目标和候选点之间身高匹配概，优选地，将人头区域的平均深度值定义为行人的身高。
参见图6，在本发明的一实施例中，在步骤S107中，状态空间包括怀疑状态、正常状态、丢失状态、走出状态。
当前帧中，所有经过所述联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态。
人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头。
人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头。
当某丢失状态人头跟踪目标已经持续3帧(即：连续三帧都未找到与之匹配的人头)，定义为走出状态。
具体地，所述状态转换关系为：
1)当前帧中，所有经过联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；
2)怀疑状态人头跟踪目标连续1<＝N1<＝10帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；
3)怀疑状态人头跟踪目标连续1<＝N2<＝10帧未能找到与之匹配的检测人头，删除该人头跟踪目标；
4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；
5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；
6)丢失状态人头跟踪目标连续1<＝N3<＝20帧找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。
图7为本发明一实施例的一种人群跟踪及人流量统计装置100，至少包括图像获取模块10、图像预处理模块20、背景差分模块30、行人头部区域检测及分割模块40、非人头区域删除模块50、人头匹配跟踪模块60及人头计数模块70，其中：
图像获取模块10，用于获取场景实时彩色图及深度图；
图像预处理模块20，用于对彩色图和深度图进行图像预处理；
背景差分模块30，用于对经过图像预处理后的深度图进行背景差分以获得运动前景深度图；
行人头部区域检测及分割模块40，用于对运动前景深度图进行检测并分割出行人头部区域；
非人头区域删除模块50，用于对行人头部区域进行判定，去除非人头区域；
人头匹配跟踪模块60，用于根据联合匹配概率函数进行人头匹配跟踪；以及
人头计数模块70，用于构建人头状态空间转换关系图进行人头计数。
在本发明的一实施例中，图像获取模块10从彩色图像传感器及深度图像传感器分别获取场景的彩色图(RGB图)和深度图。彩色图像传感器和深度图像传感器用于同步采集同一场景的实时画面，分别采集场景的彩色图(RGB图)和深度图；彩色图为普通RGB三通道图像，深度图中每个像素点的值为该像素点所表示的场景中的物体距离场景中地面的高度。
在本发明的一实施例中，图像预处理模块20用于对所述彩色图进行仿射变换矫正，使得矫正后的彩色图与深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对深度图进行修补和中值滤波。
请参考图8，在本发明的一实施例中，背景差分模块30包括学习背景模型子模块31、差分子模块32及去噪子模块33，其中：
学习背景模型子模块31用于获取100帧无运动目标时的场景纯背景深度图像序列Bn(n＝1,2…100)，根据公式(其中i，j分别表示图像矩阵的行和列)，计算这100帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值。
差分子模块32用于根据公式Dt(i，j)＝|It(i，j)-B(i，j)|，对当前帧深度图与背景深度图进行背景差分，获得差分深度图Dt(i，j)。
去噪子模块用于对差分深度图去噪获得运动前景深度图。具体地，对差分深度图Dt(i，j)依次进行中值滤波、形态学处理，去除差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。
请参考图9，在本发明的一实施例中，行人头部区域检测及分割模块40包括人头位置检测子模块41、邻域深度直方图计算子模块42及人头分割图获取子模块43，其中：
人头位置检测子模块41用于搜索局部区域极大值点检测人头位置。具体地，根据场景中行人头部区域变化范围确定，局部区域半径一般选择头部区域半径的1倍，并使用非极大值抑制进行局部极大值搜索，非极大值抑制具体可参考文献“Neubeck A,Van GoolL.Efficient non-maximum suppression[C]//Pattern Recognition,2006.ICPR2006.18th International Conference on.IEEE,2006,3:850-855”，在此不再赘述。
邻域深度直方图计算子模块42用于计算人头位置的邻域深度直方图。具体地，计算人头位置检测子模块41检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中行人头部区域变化范围确定为头部区域半径的1.5倍。
人头分割图获取子模块43用于搜索人头分割深度分界点分割人头获得人头分割图。具体地，先对邻域深度直方图计算子模块42得到的局部极大值点的邻域深度直方图进行滑动平均滤波滤除噪声干扰，然后在深度直方图中搜索人头分割深度界限，即搜索直方图从深度下降方向的第一个波谷点深度值dk；然后利用人头分割深度界限dk进行人头分割。其计算公式为：
其中Dt表示为第t帧运动前景深度图，Hk为人头分割图的第k个人头区域，dk为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。
请参考图10，在本发明的一实施例中，非人头区域删除模块50包括形态学处理子模块51、第一非人头删除子模块52、第二非人头删除子模块53及第三非人头删除子模块54：
形态学处理子模块51用于对行人头部区域形态学处理。具体地，对行人头部区域先腐蚀两次再膨胀两次，以消除离散噪声点，同时保持人头面积和形状不变。
第一非人头删除子模块52用于根据人头区域面积删除不可能为人头的检测。具体地，经过离线对大量当前场景的人头面积进行训练得到进行人头判定的面积阈值范围(2000，4000)，人头区域面积小于或超过该阈值范围的则为不可能的人头检测，并将其删除。
第二非人头删除子模块53用于根据拟合椭圆的长轴短轴比值删除不可能为人头的检测。具体地，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值。拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除。经过离线对大量当前场景的人头区域进行训练得到所述阈值范围为[1，1.5]。
第三非人头删除子模块54用于根据头肩模型删除不匹配的非人头的检测。
请参考图11，在本发明的一实施例中，第三非人头删除子模块53包括人头区域中心计算子模块531、头肩图块选取子模块532、梯度方向直方图(HOG)特征向量计算子模块533、匹配子模块534及删除子模块535，其中：
人头区域中心计算子模块531用于计算人头区域中心。具体地，用人头区域的质心作为人头区域中心，计算公式为：其中，x，y分别为人头区域中心的横坐标和纵坐标，xi，yi分别为人头区域内点的横坐标和纵坐标，N为区域内点的总数量。
头肩图块选取子模块532用于以人头中心为图块中心在深度前景图中取头肩图块。头肩图块大小为d*d，d取人头半径的2倍。
梯度方向直方图(HOG)特征向量计算子模块533用于计算头肩图块的梯度方向直方图(HOG)特征向量。具体地，计算梯度方向直方图(HOG)特征向量的方法详细参考文献“Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer SocietyConference on.IEEE,2005,1:886-893”，在此不再赘述。
匹配子模块534用于与头肩模型进行匹配计算。头肩模型为根据场景信息，事先离线使用线性SVM分类器训练获得。离线训练正样本采用深度图中，行人人头肩图块梯度方向直方图特征(HOG)；负样本，采用其他图块的梯度方向直方图特征(HOG)。
删除子模块535用于删除不匹配的检测人头。
在本发明的一实施例中，基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪。人头各种特征包括但不限于行人的表观、形状、距离、身高特征。联合匹配概率函数公式如下：
其中，Ω(x0)是在预测位置x0的邻域内所有检测人头的集合。Pa(x)是跟踪目标和候选点之间表观匹配概率。优选地，计算两者颜色直方图的巴氏距离(Bhattacharyyadistance)的值来作为匹配概率值。Ps(x)是跟踪目标和候选点之间形状匹配概率。优选地，使用人头区域面积差计算形状匹配概率值。Pd(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率。Ph(x)是跟踪目标和候选点之间身高匹配概，优选地，将人头区域的平均深度值定义为行人的身高。
在本发明的一实施例中，状态空间包括怀疑状态、正常状态、丢失状态、走出状态。
当前帧中，所有经过联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态。
人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头。
人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头。
当某丢失状态人头跟踪目标已经持续3帧(即：连续三帧都未找到与之匹配的人头)，定义为走出状态。
具体地，所述状态转换关系为：
1)当前帧中，所有经过所述联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；
2)怀疑状态人头跟踪目标连续3帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；
3)怀疑状态人头跟踪目标连续3帧未能找到与之匹配的检测人头，删除该人头跟踪目标；
4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；
5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；
6)丢失状态人头跟踪目标连续5帧未能找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。
本发明的方法及装置，具有如下技术效果：
1)可计算行人行走过程中的速度大小和方向，进行各种条件下的人群跟踪及人流量统计。
2)本发明的人群跟踪及人流量计算方法，基于场景的深度图进行背景差分、行人头部区域检测及分割，不受光照条件及光照变化影响，有效避免了现有的基于彩色图进行人流量统计的方法的易受光照条件及光照变化影响的缺陷。
3)本发明通过多种方式有效滤除虚假目标，避免影响后续跟踪过程，从而造成的误报；
4)性能稳定、速度快、效率高且正确率高。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求或等同技术范围之内，则本发明也意图包含这些改动和变形。
Claims (15)
1.一种人群跟踪及人流量统计方法，其特征在于，所述方法包括：
获取场景实时彩色图与深度图；
对所述彩色图与深度图进行图像预处理；
对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；
对所述运动前景深度图进行检测并分割出行人头部区域；
对所述行人头部区域进行判定，去除非人头区域；
根据联合匹配概率函数进行人头匹配跟踪；以及构建人头状态空间转换关系图进行人头计数；
对所述行人头部区域进行判定，去除非人头区域具体包括：对所述行人头部区域形态学处理；根据人头区域面积删除不可能为人头的检测；根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；根据头肩模型删除不匹配的非人头的检测；
根据头肩模型删除不匹配的非人头的检测具体包括：计算人头区域中心；以人头中心为图块中心在深度前景图中取头肩图块；计算所述头肩图块的梯度方向直方图特征向量；与预先获得的头肩模型进行匹配计算；删除不匹配的检测人头。
2.根据权利要求1所述的人群跟踪及人流量统计方法，其特征在于，所述彩色图为普通RGB三通道图像，所述深度图中每个像素点的值为该像素点所表示的场景中的物体距离所述场景中地面的高度。
3.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述彩色图与深度图进行图像预处理具体包括：
对所述彩色图仿射变换矫正，使得矫正后的彩色图与所述深度图中相对应的每个像素点所代表的画面中的具体位置能够完全匹配；以及对所述深度图进行修补和中值滤波。
4.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图具体包括：
根据所述预处理后的深度图学习背景模型，其中，获取N帧无运动目标时的场景纯背景深度图像序列Bn，其中n＝1，2...N，根据公式其中i，j分别表示图像矩阵的行和列，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；
根据公式Dt(i，j)＝|It(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，得差分深度图Dt(i，j)；以及对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图Dt(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。
5.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述运动前景深度图进行检测并分割出行人头部区域具体包括：
搜索局部区域极大值点检测人头位置；其中，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定；
计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定；以及搜索人头分割深度分界点分割人头获得人头分割图；其中，通过在行人区域深度直方图中搜索波谷点，以所述波谷点的深度值为分界点，分割出该行人的人头区域；其计算公式为：
<mrow>
<msub>
<mi>H</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open='{' close=''>
<mtable>
<mtr>
<mtd>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mtd>
<mtd>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
<mo>,</mo>
</mtd>
<mtd>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<msub>
<mrow>
<mo><</mo>
<mi>d</mi>
</mrow>
<mi>k</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，Ft表示为第t帧运动前景深度图，Hk为人头分割图的第k个人头区域，dk为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。
6.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，对所述行人头部区域进行判定，去除非人头区域具体包括：
对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀再膨胀各Q次，其中Q的取值范围为：1≤Q≤5，以消除离散噪声点，同时保持人头面积和形状不变；
根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像，将所述二值图像矩阵的所有元素和定义为所述人头区域面积；所述人头区域面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；
根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除；以及根据头肩模型删除不匹配的非人头的检测。
7.根据权利要求6所述的人群跟踪及人流量统计方法，其特征在于，根据头肩模型删除不匹配的非人头的检测具体包括：
计算人头区域中心；其中，用人头区域的质心作为所述人头区域中心，计算公式为：其中，x，y分别为所述人头区域中心的横坐标和纵坐标，xi，yi分别为人头区域内点的横坐标和纵坐标，R为区域内点的总数量；
以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；
计算所述头肩图块的梯度方向直方图特征向量；
与预先获得的头肩模型进行匹配计算；以及删除不匹配的检测人头。
8.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，根据联合匹配概率函数进行人头匹配跟踪具体包括：
基于人头各种特征的匹配关系建立联合匹配概率函数，将当前帧人头与跟踪目标进行全局匹配跟踪，所述联合匹配概率函数公式如下：
<mrow>
<mi>P</mi>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>max</mi>
<mrow>
<mi>x</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<msub>
<mi>P</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msub>
<mi>P</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msub>
<mi>P</mi>
<mi>d</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msub>
<mi>P</mi>
<mi>h</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，Ω(x0)是在预测位置x0的邻域内所有检测人头的集合；Pa(x)是跟踪目标和候选点之间表观匹配概率；Ps(x)是跟踪目标和候选点之间形状匹配概率；Pd(x)是跟踪目标质心预测位置和候选点质心位置之间距离匹配概率；Ph(x)是跟踪目标和候选点之间身高匹配概，其中，将人头区域的平均深度值定义为行人的身高。
9.根据权利要求1或2所述的人群跟踪及人流量统计方法，其特征在于，构建人头状态空间转换关系图进行人头计数具体包括：
所述状态空间包括怀疑状态、正常状态、丢失状态、走出状态；
当前帧中，所有经过所述联合匹配概率函数匹配后剩余的未能进行匹配的检测人头作为新的跟踪目标，定为怀疑状态；
人头跟踪目标本身已经为正常状态，且在当前帧中能找到检测人头进行匹配定义为正常状态人头；
人头跟踪目标本身已经为正常状态，但在当前帧中未能找到检测人头进行匹配定义为丢失状态人头；
当某丢失状态人头跟踪目标已经持续1＜＝N3＜＝20帧，即：连续1＜＝N3＜＝20帧都未找到与之匹配的人头，定义为走出状态；
所述状态转换关系为：
1)当前帧中，所有经过所述联合匹配概率函数匹配后剩余的检测人头作为新的跟踪目标开始跟踪，跟踪目标定为怀疑状态；
2)怀疑状态人头跟踪目标连续1＜＝N1＜＝10帧都有能与之匹配的检测人头，状态转化为正常状态，进入人数加1；
3)怀疑状态人头跟踪目标连续1＜＝N2＜＝10帧未能找到与之匹配的检测人头，删除跟踪目标；
4)正常状态人头跟踪目标未能在当前帧找到与之匹配的检测人头，状态转化为丢失状态；
5)丢失状态人头跟踪目标在当前帧找到与之匹配的检测人头，状态转化为正常状态；以及丢失状态人头跟踪目标连续1＜＝N3＜＝20帧找到与之匹配的检测人头，状态转化为走出状态，走出人数加1，并删除该跟踪目标。
10.一种人群跟踪及人流量统计装置，其特征在于，所述装置包括：
图像获取模块，所述图像获取模块用于获取场景实时彩色图及深度图；
图像预处理模块，所述图像预处理模块用于对所述彩色图和深度图进行图像预处理；
背景差分模块，所述背景差分模块用于对所述经过图像预处理后的深度图进行背景差分以获得运动前景深度图；
行人头部区域检测及分割模块，所述行人头部区域检测及分割模块用于对所述运动前景深度图进行检测并分割出所述行人头部区域；
非人头区域删除模块，所述非人头区域删除模块用于对所述行人头部区域进行判定，去除非人头区域；
人头匹配跟踪模块，所述人头匹配跟踪模块用于根据联合匹配概率函数进行人头匹配跟踪；以及人头计数模块，所述人头计数模块用于构建人头状态空间转换关系图进行人头计数；
所述非人头区域删除模块包括形态学处理子模块、第一非人头删除子模块、第二非人头删除子模块及第三非人头删除子模块；所述形态学处理子模块用于对所述行人头部区域形态学处理；所述第一非人头删除子模块用于根据人头区域面积删除不可能为人头的检测；所述第二非人头删除子模块用于根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；所述第三非人头删除子模块用于根据头肩模型删除不匹配的非人头的检测；
所述第三非人头删除子模块包括人头区域中心计算子模块、头肩图块选取子模块、梯度方向直方图特征向量计算子模块、匹配子模块及删除子模块；
所述人头区域中心计算子模块用于计算人头区域中心；
所述头肩图块选取子模块用于以人头中心为图块中心在深度前景图中取头肩图块；
所述梯度方向直方图特征向量计算子模块用于计算头肩图块的梯度方向直方图特征向量；
所述匹配子模块用于与预先获得的头肩模型进行匹配计算；
所述删除子模块用于删除不匹配的检测人头。
11.根据权利要求10所述的人群跟踪及人流量统计装置，其特征在于，所述图像获取模块用于从彩色图像传感器及深度图像传感器分别获取场景的彩色图和深度图。
12.根据权利要求10或11所述的人群跟踪及人流量统计装置，其特征在于，所述背景差分模块包括学习背景模型子模块、差分子模块及去噪子模块：
所述学习背景子模型模块用于获取N帧无运动目标时的场景纯背景深度图像序列Bn，其中n＝1，2...N；根据公式其中i，j分别表示图像矩阵的行和列，计算这N帧图像中每个像素点像素值的平均值，所述平均值即为背景图像B对应像素点的像素值；
所述差分子模块用于根据公式Dt(i，j)＝|It(i，j)-B(i，j)|，对当前帧深度图与所述背景深度图进行背景差分，获得差分深度图Dt(i，j)；
所述去噪子模块用于对所述差分深度图去噪获得运动前景深度图；其中，对所述差分深度图Dt(i，j)依次进行中值滤波、形态学处理，去除所述差分深度图中的细小独立噪点和空洞，获得所述运动前景深度图。
13.根据权利要求10所述的人群跟踪及人流量统计装置，其特征在于，所述行人头部区域检测及分割模块包括人头位置检测子模块、邻域深度直方图计算子模块、及人头分割图获取子模块：
所述人头位置检测子模块用于搜索局部区域极大值点检测人头位置；其中，通过搜索所述运动前景深度图中所有的局部区域最大值点来检测所有人头的位置；所述局部区域半径的选取范围根据场景中所述行人头部区域变化范围确定；
所述邻域深度直方图计算子模块用于计算所述人头位置的邻域深度直方图；其中，计算上述检测得到的所有局部区域极大值点的邻域深度直方图，邻域半径选取范围根据场景中所述行人头部区域变化范围确定；以及
所述人头分割图获取子模块用于搜索人头分割深度分界点分割人头获得人头分割图；其中，通过在行人区域深度直方图中搜索波谷点，以所述波谷点的深度值为分界点，分割出该行人的人头区域；其计算公式为：
<mrow>
<msub>
<mi>H</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open='{' close=''>
<mtable>
<mtr>
<mtd>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mtd>
<mtd>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
<mo>,</mo>
</mtd>
<mtd>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<msub>
<mrow>
<mo><</mo>
<mi>d</mi>
</mrow>
<mi>k</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中Ft表示为第t帧运动前景深度图，Hk为人头分割图的第k个人头区域，dk为该人头区域搜索到的人头与身体深度分界点深度值，i，j分别表示图像矩阵的行和列。
14.根据权利要求10所述的人群跟踪及人流量统计装置，其特征在于：
所述形态学处理子模块用于对所述行人头部区域形态学处理；其中，对所述行人头部区域先腐蚀Q次再膨胀Q次，其中Q的取值范围为：1≤Q≤5，以消除离散噪声点，同时保持人头面积和形状不变；
所述第一非人头删除子模块用于根据人头区域面积删除不可能为人头的检测；将每个人头图像转为二值图像，将所述二值图像矩阵的所有元素和定义为为所述人头区域面积；所述人头区域面积小于或超过所述面积阈值范围的则为不可能的人头检测，并将其删除；
所述第二非人头删除子模块用于根据拟合椭圆的长轴短轴比值删除不可能为人头的检测；其中，进一步对局部人头检测区域的边缘轮廓进行椭圆拟合，计算拟合椭圆的长轴和短轴的比值；拟合椭圆长轴短轴比值超过阈值范围的则为不可能的人头检测，并将其删除。
15.根据权利要求10所述的人群跟踪及人流量统计装置，其特征在于：
所述人头区域中心计算子模块用于计算人头区域中心；其中，用人头区域的质心作为人头区域中心，计算公式为：其中，x，y分别为人头区域中心的横坐标和纵坐标，xi，yi分别为人头区域内点的横坐标和纵坐标，R为区域内点的总数量；
所述头肩图块选取子模块用于以人头中心为图块中心在深度前景图中取头肩图块；所述头肩图块大小为d*d，d取人头半径的2～6倍；
所述梯度方向直方图特征向量计算子模块用于计算头肩图块的梯度方向直方图特征向量；
所述匹配子模块用于与预先获得的头肩模型进行匹配计算；
所述删除子模块用于删除不匹配的检测人头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510170467.5A CN104751491B (zh) | 2015-04-10 | 2015-04-10 | 一种人群跟踪及人流量统计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510170467.5A CN104751491B (zh) | 2015-04-10 | 2015-04-10 | 一种人群跟踪及人流量统计方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104751491A CN104751491A (zh) | 2015-07-01 |
| CN104751491B true CN104751491B (zh) | 2018-01-23 |
Family
ID=53591110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510170467.5A Active CN104751491B (zh) | 2015-04-10 | 2015-04-10 | 一种人群跟踪及人流量统计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104751491B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679502A (zh) * | 2017-10-12 | 2018-02-09 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像语义分割的人数估计方法 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118073A (zh) * | 2015-08-19 | 2015-12-02 | 南京理工大学 | 基于Xtion摄像机的人体头部目标识别方法 |
| CN105139425B (zh) * | 2015-08-28 | 2018-12-07 | 浙江宇视科技有限公司 | 一种人数统计方法及装置 |
| CN105184258B (zh) * | 2015-09-09 | 2019-04-30 | 苏州科达科技股份有限公司 | 目标跟踪方法及系统、人员行为分析方法及系统 |
| CN106096512B (zh) * | 2016-05-31 | 2020-08-25 | 上海美迪索科电子科技有限公司 | 利用深度摄像头对车辆或行人进行识别的检测装置及方法 |
| CN105856243A (zh) * | 2016-06-28 | 2016-08-17 | 湖南科瑞特科技股份有限公司 | 一种移动智能机器人 |
| WO2018053763A1 (zh) * | 2016-09-22 | 2018-03-29 | 深圳大学 | 一种图像识别方法和装置 |
| CN106570883B (zh) * | 2016-10-25 | 2019-10-22 | 长安大学 | 一种基于rgb-d相机的人数统计方法 |
| CN106530310B (zh) * | 2016-10-25 | 2018-02-23 | 深圳大学 | 一种基于人体头顶部识别的行人统计方法及装置 |
| US10650249B2 (en) * | 2016-10-25 | 2020-05-12 | Shenzhen University | Method and device for counting pedestrians based on identification of head top of human body |
| CN106504289B (zh) * | 2016-11-02 | 2019-12-17 | 深圳乐动机器人有限公司 | 一种室内目标检测方法及装置 |
| CN107016349B (zh) * | 2017-03-10 | 2020-11-06 | 中科唯实科技（北京）有限公司 | 一种基于深度相机的人群流量分析方法 |
| CN107239762A (zh) * | 2017-06-06 | 2017-10-10 | 电子科技大学 | 一种基于视觉的公交车内乘客人数统计方法 |
| CN108932464A (zh) * | 2017-06-09 | 2018-12-04 | 北京猎户星空科技有限公司 | 客流量统计方法及装置 |
| CN109215150A (zh) * | 2017-06-30 | 2019-01-15 | 上海弘视通信技术有限公司 | 人脸点名与计数方法及其系统 |
| CN109242782B (zh) * | 2017-07-11 | 2022-09-09 | 深圳市道通智能航空技术股份有限公司 | 噪点处理方法及装置 |
| CN108222749B (zh) * | 2017-12-29 | 2020-10-02 | 安徽慧视金瞳科技有限公司 | 一种基于图像分析的智能自动门控制方法 |
| CN108197579B (zh) * | 2018-01-09 | 2022-05-20 | 杭州智诺科技股份有限公司 | 防护舱中人数的检测方法 |
| CN108596938A (zh) * | 2018-04-25 | 2018-09-28 | 杭州光珀智能科技有限公司 | 一种客流统计方法及装置 |
| CN110291771B (zh) * | 2018-07-23 | 2021-11-16 | 深圳市大疆创新科技有限公司 | 一种目标对象的深度信息获取方法及可移动平台 |
| CN109344690B (zh) * | 2018-08-09 | 2022-09-23 | 上海青识智能科技有限公司 | 一种基于深度相机的人数统计方法 |
| CN109250616B (zh) * | 2018-09-28 | 2020-05-19 | 绍兴市特种设备检测院 | 一种扶梯出入口拥堵检测系统与方法 |
| CN109740486B (zh) * | 2018-12-27 | 2021-07-27 | 北京铁路信号有限公司 | 一种对图像包含的人类数量进行识别的方法及系统 |
| CN110400035A (zh) * | 2019-04-09 | 2019-11-01 | 刘建 | 基于参数采集的网络通信系统、方法及存储介质 |
| CN110717400A (zh) * | 2019-09-12 | 2020-01-21 | 北京华捷艾米科技有限公司 | 一种客流统计方法、装置及系统 |
| CN111126357A (zh) * | 2020-02-25 | 2020-05-08 | 佛山科学技术学院 | 一种基于图像处理的人流量检测装置 |
| CN111709974B (zh) * | 2020-06-22 | 2022-08-02 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
| CN112507872B (zh) * | 2020-12-09 | 2021-12-28 | 中科视语(北京)科技有限公司 | 人体头肩区域的定位方法、定位装置和电子设备 |
| CN112686173B (zh) * | 2020-12-31 | 2024-05-03 | 深圳云天励飞技术股份有限公司 | 一种客流计数方法、装置、电子设备及存储介质 |
| WO2022151507A1 (zh) * | 2021-01-18 | 2022-07-21 | 深圳市大疆创新科技有限公司 | 可移动平台及其控制方法、控制装置及机器可读存储介质 |
| CN113239743B (zh) * | 2021-04-23 | 2024-07-26 | 普联国际有限公司 | 一种人群密度检测方法、装置、设备及存储介质 |
| CN113392726B (zh) * | 2021-05-26 | 2023-06-02 | 上海飞乐音响股份有限公司 | 室外监控场景下人头识别检测方法、系统、终端及介质 |
| CN113538401B (zh) * | 2021-07-29 | 2022-04-05 | 燕山大学 | 一种复杂场景下结合跨模态信息的人群计数方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150559A (zh) * | 2013-03-01 | 2013-06-12 | 南京理工大学 | 基于Kinect三维深度图像的头部识别与跟踪方法 |
| CN103455792A (zh) * | 2013-08-20 | 2013-12-18 | 深圳市飞瑞斯科技有限公司 | 一种客流量统计方法及系统 |
| CN103971380A (zh) * | 2014-05-05 | 2014-08-06 | 中国民航大学 | 基于rgb-d的行人尾随检测方法 |
-
2015
- 2015-04-10 CN CN201510170467.5A patent/CN104751491B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150559A (zh) * | 2013-03-01 | 2013-06-12 | 南京理工大学 | 基于Kinect三维深度图像的头部识别与跟踪方法 |
| CN103455792A (zh) * | 2013-08-20 | 2013-12-18 | 深圳市飞瑞斯科技有限公司 | 一种客流量统计方法及系统 |
| CN103971380A (zh) * | 2014-05-05 | 2014-08-06 | 中国民航大学 | 基于rgb-d的行人尾随检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Real-Time Depth Map Based People Counting;Frantisek Galcik and Radoslav Gargalik;《ACIVS 2013》;20131231;第3部分，图1 * |
| 基于Kinect的人流量统计系统研究;郭秀杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;正文第10-14页，第16-17页，第22-23页，第37-39页，图4.3 * |
| 监控视频中运动目标跟踪算法的研究;田志刚;《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》;20061115;正文第18-24页 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679502A (zh) * | 2017-10-12 | 2018-02-09 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像语义分割的人数估计方法 |
| CN107679502B (zh) * | 2017-10-12 | 2019-10-08 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像语义分割的人数估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104751491A (zh) | 2015-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104751491B (zh) | 一种人群跟踪及人流量统计方法及装置 | |
| CN101739551B (zh) | 运动目标识别方法及系统 | |
| EP2919189B1 (en) | Pedestrian tracking and counting method and device for near-front top-view monitoring video | |
| CN103164858B (zh) | 基于超像素和图模型的粘连人群分割与跟踪方法 | |
| CN102663452B (zh) | 基于视频分析的可疑行为检测方法 | |
| CN109064484B (zh) | 基于子群组划分与动量特征融合的人群运动行为识别方法 | |
| Zhao et al. | A people counting system based on face detection and tracking in a video | |
| WO2015131734A1 (zh) | 一种前视监视场景下的行人计数方法、装置和存储介质 | |
| Mukherjee et al. | Anovel framework for automatic passenger counting | |
| CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
| WO2014092552A2 (en) | Method for non-static foreground feature extraction and classification | |
| CN102542289A (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN103824070A (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| Hu et al. | A novel approach for crowd video monitoring of subway platforms | |
| Shirazi et al. | Vision-based vehicle queue analysis at junctions | |
| Li et al. | Automatic passenger counting system for bus based on RGB-D video | |
| Li et al. | Foreground detection based on optical flow and background subtract | |
| Kiratiratanapruk et al. | Vehicle detection and tracking for traffic monitoring system | |
| Almomani et al. | Segtrack: A novel tracking system with improved object segmentation | |
| KR101711328B1 (ko) | 영상 촬영 장치를 통하여 획득한 영상 이미지에서 신장 대비 머리 높이의 비를 이용하여 어린이와 성인을 구분하는 방법 | |
| Unno et al. | Vehicle motion tracking using symmetry of vehicle and background subtraction | |
| CN106845361B (zh) | 一种行人头部识别方法及系统 | |
| Tsai et al. | Multi-lane detection and road traffic congestion classification for intelligent transportation system | |
| Kapileswar et al. | Automatic traffic monitoring system using lane centre edges | |
| Ali et al. | A framework for human tracking using kalman filter and fast mean shift algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |