CN106548163B - 基于tof深度相机客流计数的方法 - Google Patents

Abstract

本发明公开了一种基于TOF深度相机客流计数的方法，包括以下步骤；S1：获取TOF深度相机返回的深度图像；S2：提取热点区域，并对热点区域数据进行筛选和修正；S3：去噪声处理；S4：提取特征区域点集；S5：对特征区域点集进行预处理；S6：进行人头区域的匹配和计数；S7：进行人头区域位置的预测和跟踪；S8：将数据控制处理单元显示或发送人流数据。本发明有效解决统计过程中场景震动、拍摄距离近、出入频繁、光线变化、拥挤、遮挡的问题，并且针对乘客头戴遮阳帽、鸭舌帽、乘客怀抱婴儿、乘客身高小于一米二、同一乘客反复处于识别区的问题提出了有效的解决方案，该计数方法准确、有效，可行性强。

Description

基于TOF深度相机客流计数的方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于TOF深度相机客流计数的方法。

背景技术

随着计算机硬件技术、计算机视觉技术的不断发展，利用计算机或专用硬件设备实现对人流量实时可靠的统计已成为可能，其技术在最近几年快速发展，已经开始进入准确、高效运用阶段。另外，近年来人们的消费水平大幅提高，同时对日常出行的舒适度，安全度的要求也在快速提升，因此客流信息的重要性也日益表现出来。公交系统、长途客运系统、铁路系统，航空客运系统需要根据人流量数据对运力进行合理配置，因此对于实时人流量数据的掌握，调度能力有待进一步提高。公交系统作为客运系统中一个重要组成部分，在客流统计方面面临众多挑战，一方面公交车数量众多，车型、配置不统一，不利于统一升级改造；另一方面车内情况复杂，乘客拥挤，上下频繁，现有技术难于识别与计数。

现在比较有效的客流统计技术有：红外感应客流统计、重力感应和单目客流统计。

红外感应客流统计由于红外光极易受到外界因素干扰，其统计数据产生的误差较大；对于比较宽的门口，多人同时经过的时候也易产生漏数现象；而且红外感应无法准确的判断乘客是否进出，只能统计到是否有人经过，因此数据采集的单一性影响客流分析的结果。

重力感应主要是在地板上安装重力感应装置，计算当人体踩踏过去的时候，计算客流人数。但由于安装相对要求较高、成本高、而且其稳定性较差。

单目客流统计的准确度不高，仅达到80％左右，当光线变暗时，其准确度低至60％或更低。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于TOF深度相机客流计数的方法。

基于TOF深度相机客流计数的方法，包括以下步骤；

S1：获取TOF深度相机返回的深度图像，将TOF深度相机安装在公交车的入口处上方，拍摄方向垂直于公交车厢底面，电源接通后，由数据控制处理单元发出开启指令，深度相机开启，将深度数据流传送到数据控制与处理单元，数据控制与处理单元将深度流转换成深度图像；

S2：提取热点区域，并对热点区域数据进行筛选和修正，将深度图像中的非热点区域去除，保留矩形热点区域；

S3：去噪声处理，将深度图像进行形态学处理，通过图像开操作和滤波对热点区域进行去噪声处理；

S4：提取特征区域点集，利用保留灰度值的MSER算法提取特征区域点集；

S5：对特征区域点集进行预处理，包括对特征区域点集建模、识别，保留人头区域，根据保留灰度值的点集对区域建模，并筛选出人头区域，去除非人头点集；

S6：进行人头区域的匹配和计数，利用形心法进行区域匹配，同时利用计数线检测法进行计数；

S7：进行人头区域位置的预测和跟踪，利用惯性预测法对人进行预测与跟踪；

S8：将数据控制处理单元显示或发送人流数据，编写显示图像窗口，把记录的人头总数显示在该图像窗口上，并对记录数据进行保存，或者发送至服务器。

优选的，所述图像开操作的具体处理方法为：首先创建创建3*3 大小的结构元E₁，再按公式对DP开操作，公式为： 其中°为开操作符号，为腐蚀符号，为膨胀符号。

优选的，所述滤波的具体处理方法为：首先创建5*5大小的滤波结构元E₂，对DP进行中值滤波操作： g(x,y)＝med{f(x-l,y-m),(l,m∈E₂,f(x,y)∈DP)}，其中g(x，y) 为处理后的图像单元，E₂为二维模板。

优选的，所述特征区域点集预处理的过程包括以下步骤：

(1)设有区域点集A∈V，遍历A，对A做过滤处理，具体步骤如下：首先获取A的外接矩形R，且计算出R的宽w、高h，然后A 的外接圆C，使且计算出C的圆心P(x,y)、半径r，然后获取图像在P处的像素值d，最后设立人头判定标准，设过滤后的区域点集容器为V₁，按如下公式填充V₁： 其中矩形与圆形面积的比例系数ρ＝0.7，ε＝1.2，矩形的面积阈值s＝6000，像素值的阈值)；

(2)对V₁中的区域按照区域外接圆大小排序，以在(3)步骤中保留适合描述真实人头大小、面积稳定的区域；

(3)对V₁中的嵌套区域进行去重复处理，具体处理方法如下：每次获取区域Q₁，Q₂，Q₁∈V₁，Q₂∈V₂，设P₁(x₁,y₁)是Q₁的中心， r₁是Q₁的外接圆半径，P₂(x₂,y₂)是Q₂的中心，r₂是Q₂的外接圆半径，其中：

半径R＝max(|V₁V₂|)/2，其中V₁，V₂∈Q，

中心点x坐标，

中心点y坐标，

若

则将Q₁从V₁中清除；

(4)任取Q₁∈V₁，获取Q₁的平均深度值D₁、D₂，若D₁<D₂，则将Q₁从V₁删除，D₁、D₂的计算公式如下：

其中，d_i是以P为圆心，以R/2为半径的区域点中的深度值，n+1为该区域中点的个数，

其中，d_i是以P为环心，从R/2到R区域内点中的深度值，n+1为该区域中点的个数。

优选的，所述人头区域的匹配和计数包括以下步骤：

(1)设人头区域容器为V₂，按公式进行填充V₂，公式为 V₂＝{P|P_x>0，且P_y>0，(P∈V₁)}，其中(P_x,P_y)为容器V₁中特征区域的中心点坐标；

(2)对P_y的大小进行排序，具体步骤如下：首先设人头区域容器V₂中有N个元素，在V₂[0]到V₂[N-1]的范围内，依次比较两个相邻元素的值，若V₂[J]>V₂[J+1]，则交换V₂[J]与V₂[J+1]，J的取值0， 1，2……，N-2；将该范围内的最大值放到V₂[N-1]，再在V₂[0]到V₂[N-2]的范围内依次比较两个相邻元素的值，又将该范围内的最大值放到 V₂[N-2]，依次进行，经过N-1次比较后排序完成；

(3)对两帧之间的人头进行匹配，使用人头区域容器V₂中元素进行计算，首先计算两帧之间人头区域中心坐标的距离其中(P_x，P_y)为当前帧人头区域的中心坐标，(FP_x，FP_y)为前一帧人头区域的中心坐标，然后求出所有的H，取所有H中的最小数值且H<K，其中K是由帧率大小得出的一个值，一般取20，最后记录此H对应的当前帧人头区域中心坐标(P_x，P_y)和前一帧人头区域中心坐标(FP_x，FP_y)，记下对应的当前帧人头区域V₂[i]，并视为两帧匹配成功；

(4)对已经成功匹配的人头进行计数，判断是否满足下面公式： FP_y-P_y>K， FP_y>＝B且P_y<B，其中，人为划定的计数线坐标值B＝40， C(i)＝0，其中C(i)为已记录标记，人头未记录时为0，已记录为1，

若同时满足上面的公式，记为上车人数加1，并标记V₂[i]为已记录，即C(i)＝1，其它情况不予处理。

优选的，所述惯性预测法包括以下步骤：

(1)获取上一帧图像中未匹配成功的人头区域；

(2)检查根据该区域是否已经生成速度矢量，若并未生成，则跳至步骤(1)；

(3)检查已经对该区域的预测帧数，若已经超出设定帧数，则从删除该区域，返回步骤(1)；

(4)利用速度矢量预测该区域在下一帧的大概位置，若上一帧图像中仍有未匹配成功的人头区域，返回步骤(1)。

本发明提出的基于TOF深度相机客流计数的方法能够有效解决统计过程中场景震动、拍摄距离近、出入频繁、光线变化、拥挤、遮挡的问题，并且针对乘客头戴遮阳帽、鸭舌帽、乘客怀抱婴儿、乘客身高小于一米、同一乘客反复处于识别区的问题提出了有效的解决方案，该计数方法准确、有效，可行性强。

附图说明

图1为本发明提出的基于TOF深度相机客流计数的方法的流程图；

图2为黑暗拥挤条件下公交客流量彩色图；

图3为深度设备的原始深度图；

图4为应用本发明方法中筛选处理后的深度图；

图5为应用本发明方法提取到的热点区域图；

图6为应用本发明方法中开操作处理后的图像；

图7为应用本发明方法中滤波处理后的图像；

图8为应用本发明方法提取特征区域后的图像；

图9为应用本发明方法根据人头特征筛选后的图像；

图10为应用本发明方法中去除重复区域并进一步筛选人头后的头像。

具体实施方式

下面结合具体实施例对本发明作进一步解说。

本发明提出的基于TOF深度相机客流计数的方法，包括以下步骤；

S1：获取TOF深度相机返回的深度图像，将TOF深度相机安装在公交车的入口处上方，拍摄方向垂直于公交车厢底面，电源接通后，由数据控制处理单元发出开启指令，深度相机开启，将深度数据流传送到深度控制与处理单元，数据控制与处理单元将深度流转换成深度图像；

S2：提取热点区域，并对热点区域数据进行筛选和修正，将深度图像中的非热点区域去除，保留矩形热点区域；

S3：去噪声处理，将深度图像进行形态学处理，通过图像开操作和滤波对热点区域进行去噪声处理；

S4：提取特征区域点集，利用保留灰度值的MSER算法提取特征区域点集；

S5：对特征区域点集进行预处理，包括对特征区域点集建模、识别，保留人头区域，根据保留灰度值的点集对区域建模，并筛选出人头区域，去除非人头点集；

S6：进行人头区域的匹配和计数，利用形心法进行区域匹配，同时利用计数线检测法进行计数；

S7：进行人头区域位置的预测和跟踪，利用惯性预测法对人进行预测与跟踪；

S8：将数据控制处理单元显示或发送人流数据，编写显示图像窗口，把记录的人头总数显示在该图像窗口上，并对记录数据进行保存，或者发送至服务器。

本发明中，所述图像开操作的具体处理方法为：首先创建创建 3*3大小的结构元E₁，再按公式对DP开操作，公式为： 其中°为开操作符号，为腐蚀符号，为膨胀符号。

本发明中，所述滤波的具体处理方法为：首先创建5*5大小的滤波结构元E₂，对DP进行中值滤波操作： g(x,y)＝med{f(x-l,y-m),(l,m∈E₂,f(x,y)∈DP)}，其中g(x，y) 为处理后的图像单元，E₂为二维模板。

本发明中，所述特征区域点集预处理的过程包括以下步骤：

(1)设有区域点集A∈V，遍历A，对A做过滤处理，具体步骤如下：首先获取A的外接矩形R，且计算出R的宽w、高h，然后A 的外接圆C，使且计算出C的圆心P(x,y)、半径r，然后获取图像在P处的像素值d，最后设立人头判定标准，设过滤后的区域点集容器为V₁，按如下公式填充V₁： 其中矩形与圆形面积的比例系数ρ＝0.7，ε＝1.2，矩形的面积阈值s＝6000，像素值的阈值)；

(2)对V₁中的区域按照区域外接圆大小排序，以在(3)步骤中保留适合描述真实人头大小、面积稳定的区域；

(3)对V₁中的嵌套区域进行去重复处理，具体处理方法如下：每次获取区域Q₁，Q₂，Q₁∈V₁，Q₂∈V₂，设P₁(x₁,y₁)是Q₁的中心， r₁是Q₁的外接圆半径，P₂(x₂,y₂)是Q₂的中心，r₂是Q₂的外接圆半径，其中：

半径R＝max(|V₁V₂|)/2，其中V₁，V₂∈Q，

中心点x坐标，

中心点y坐标，

若

则将Q₁从V₁中清除；

(4)任取Q₁∈V₁，获取Q₁的平均深度值D₁、D₂，若D₁<D₂，则将Q₁从V₁删除，D₁、D₂的计算公式如下：

其中，d_i是以P为圆心，以R/2为半径的区域点中的深度值，n+1为该区域中点的个数，

其中，d_i是以P为环心，从R/2到R区域内点中的深度值，n+1为该区域中点的个数。

本发明中，所述人头区域的匹配和计数包括以下步骤：

(1)设人头区域容器为V₂，按公式进行填充V₂，公式为 V₂＝{P|P_x>0，且P_y>0，(P∈V₁)}，其中(P_x，P_y)为容器V₁中特征区域的中心点坐标；

(2)对P_y的大小进行排序，具体步骤如下：首先设人头区域容器V₂中有N个元素，在V₂[0]到V₂[N-1]的范围内，依次比较两个相邻元素的值，若V₂[J]>V₂[J+1]，则交换V₂[J]与V₂[J+1]，J的取值0， 1，2……，N-2；将该范围内的最大值放到V₂[N-1]，再在V₂[0]到V₂[N-2]的范围内依次比较两个相邻元素的值，又将该范围内的最大值放到 V₂[N-2]，依次进行，经过N-1次比较后排序完成；

(3)对两帧之间的人头进行匹配，使用人头区域容器V₂中元素进行计算，首先计算两帧之间人头区域中心坐标的距离其中(P_x，P_y)为当前帧人头区域的中心坐标，(FP_x，FP_y)为前一帧人头区域的中心坐标，然后求出所有的H，取所有H中的最小数值且H<K，其中K是由帧率大小得出的一个值，一般取20，最后记录此H对应的当前帧人头区域中心坐标(P_x，P_y)和前一帧人头区域中心坐标(FP_x，FP_y)，记下对应的当前帧人头区域V₂[i]，并视为两帧匹配成功；

(4)对已经成功匹配的人头进行计数，判断是否满足下面公式： FP_y-P_y>K， FP_y>＝B且P_y<B，其中，人为划定的计数线坐标值B＝40， C(i)＝0，其中C(i)为已记录标记，人头未记录时为0，已记录为1，

若同时满足上面的公式，记为上车人数加1，并标记V₂[i]为已记录，即C(i)＝1，其它情况不予处理。

本发明中，所述惯性预测法包括以下步骤：

(1)获取上一帧图像中未匹配成功的人头区域；

(2)检查根据该区域是否已经生成速度矢量，若并未生成，则跳至步骤(1)；

(3)检查已经对该区域的预测帧数，若已经超出设定帧数，则从删除该区域，返回步骤(1)；

(4)利用速度矢量预测该区域在下一帧的大概位置，若上一帧图像中仍有未匹配成功的人头区域，返回步骤(1)。

本发明提出的基于TOF深度相机客流计数的方法能够有效解决统计过程中场景震动、拍摄距离近、出入频繁、光线变化、拥挤、遮挡的问题，并且针对乘客头戴遮阳帽、鸭舌帽、乘客怀抱婴儿、乘客身高小于一米、同一乘客反复处于识别区的问题提出了有效的解决方案，该计数方法准确、有效，可行性强。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.基于TOF深度相机客流计数的方法，其特征在于，包括以下步骤；

S1：获取TOF深度相机返回的深度图像，将TOF深度相机安装在公交车的入口处上方，拍摄方向垂直于公交车厢底面，电源接通后，由数据控制处理单元发出开启指令，深度相机开启，将深度数据流传送到深度控制与处理单元，数据控制与处理单元将深度流转换成深度图像；

S2：提取热点区域，并对热点区域数据进行筛选和修正，将深度图像中的非热点区域去除，保留矩形热点区域；

S3：去噪声处理，将深度图像进行形态学处理，通过图像开操作和滤波对热点区域进行去噪声处理；

S4：提取特征区域点集，利用保留灰度值的MSER算法提取特征区域点集；

S5：对特征区域点集进行预处理，包括对特征区域点集建模、识别，保留人头区域，根据保留灰度值的点集对区域建模，并筛选出人头区域，去除非人头点集；

S6：进行人头区域的匹配和计数：

(1)设人头区域容器为V₂，按公式进行填充V₂，公式为V₂＝{P|P_x>0，且P_y>0，(P∈V₁)}，其中(P_x,P_y)为容器V₁中特征区域的中心点坐标；

(2)对P_y的大小进行排序，具体步骤如下：首先设人头区域容器V₂中有N个元素，在V₂[0]到V₂[N-1]的范围内，依次比较两个相邻元素的值，若V₂[J]>V₂[J+1]，则交换V₂[J]与V₂[J+1]，J的取值0，1，2……，N-2；将该范围内的最大值放到V₂[N-1]，再在V₂[0]到V₂[N-2]的范围内依次比较两个相邻元素的值，又将该范围内的最大值放到V₂[N-2]，依次进行，经过N-1次比较后排序完成；

(3)对两帧之间的人头进行匹配，使用人头区域容器V₂中元素进行计算，首先计算两帧之间人头区域中心坐标的距离其中(P_x，P_y)为当前帧人头区域的中心坐标，(FP_x，FP_y)为前一帧人头区域的中心坐标，然后求出所有的H，取所有H中的最小数值且H<K，其中K是由帧率大小得出的一个值，一般取20，最后记录此H对应的当前帧人头区域中心坐标(P_x，P_y)和前一帧人头区域中心坐标(FP_x，FP_y)，记下对应的当前帧人头区域V₂[i]，并视为两帧匹配成功；

(4)对已经成功匹配的人头进行计数，判断是否满足下面公式：FP_y-P_y>K，FP_y>＝B且P_y<B，其中，人为划定的计数线坐标值B＝40，C(i)＝0，其中C(i)为已记录标记，人头未记录时为0，已记录为1，

若同时满足上面的公式，记为上车人数加1，并标记V₂[i]为已记录，即C(i)＝1，其它情况不予处理；

S7：进行人头区域位置的预测和跟踪，利用惯性预测法对人进行预测与跟踪；

惯性预测法包括以下步骤：

(1)获取上一帧图像中未匹配成功的人头区域；

(2)检查根据该区域是否已经生成速度矢量，若并未生成，则跳至步骤(1)；

(3)检查已经对该区域的预测帧数，若已经超出设定帧数，则从删除该区域，返回步骤(1)；

(4)利用速度矢量预测该区域在下一帧的大概位置，若上一帧图像中仍有未匹配成功的人头区域，返回步骤(1)；

S8：将数据控制处理单元显示或发送人流数据，编写显示图像窗口，把记录的人头总数显示在该图像窗口上，并对记录数据进行保存，或者发送至服务器。