CN107016349B - 一种基于深度相机的人群流量分析方法 - Google Patents

Abstract

本发明提供了一种基于深度相机的人群流量分析方法，包括步骤：多元二项式回归拟合虚拟地面的深度图D；获取目标前景图F；计算前景图像对应的高度图H；深度图像的目标区域的过分割；分割区域的聚合，得到行人检测结果；目标跟踪与流量统计；该方法与现有方法相比，不需要对数据库中大量的数据进行训练；数学模型简单有效，能准确分析出区域内人群的流量大小，直观性强；计算量小，适合实时视觉监控；本发明能广泛地应用于公交、地铁和广场等人群流量大的公共场所的监控和管理。

Description

一种基于深度相机的人群流量分析方法

技术领域

本发明涉及模式识别，特别涉及基于深度相机的人群流量分析方法。

背景技术

随着计算机技术以及数码电子技术的迅速发展，视觉监控技术得到了越来越广泛的应用。传统的视觉监控系统往往只能提供视频采集和存储的功能，需要监控人员在监控室观看显示屏来发现异常情况，不但增加了监控成本，而且长时间观看显示屏导致的视觉疲劳会使监控人员的警惕性降低，使得监控系统在某些关键时刻不能发挥应有的作用。目前，智能视觉监控技术正在兴起，并且越来越受到媒体的关注。智能视觉监控技术就是要让计算机代替人的大脑，让摄像头代替人的眼睛，由计算机智能地分析从摄像头中获取的图像序列，对被监控场景中的内容进行理解，与传统视觉监控系统相比有明显的优势：一方面，能大大减少监控人员的数量降低成本；另一方面，可以通过联网建设大型分布式智能监控系统来实时获取大面积区域的所关心的信息(异常事件、交通违章、客流等)，方便资源(保安、警力、公共交通工具等)调度，尽快消除公共场合下即将发生或已发生的安全隐患。基于深度相机的人群流量分析方法是一种非常具有应用价值的智能视觉监控技术，它可以应用于地铁、公交站台、广场等监控场景，实时获取人群流量信息，对于人群流量过大的场景进行报警。

基于深度相机的人群流量分析方法的主要难点在于如何简单快速地识别出画面中人群的流量大小。现在其它已有的人群流量分析方法一般是基于机器学习方法的，该方法是需要使用巨大的数据库中的数据进行训练，且需要利用多个模型对多个数据进行分析。

发明内容

本发明的目的在于提供了一种基于深度相机的人群流量分析方法,包括步骤：步骤a)多元二项式回归拟合虚拟地面的深度图D；步骤b)获取目标前景图F；步骤c)计算前景图像对应的高度图H；步骤d)深度图像的目标区域的过分割；步骤e)分割区域的聚合，得到行人检测结果；步骤f)目标跟踪与流量统计。

优选地，所述步骤a的获取多元二项式回归拟合虚拟地面的深度图D方法为：

多元二项式回归分析的模型为:

式中β₀，β₁，β₂，β₃，β₄，β₅，σ²都是与x₁，x₂无关的未知参数，其中β₀，β₁，β₂，β₃，β₄，β₅，σ²称为回归系数。

已知当前深度图为P，局部地面深度图为R，虚拟地面的深度图为D，对于虚拟地面的深度图D中像素i，估计值D_i的计算方式如下：

现得到n²组数据(P_ij，x_i，y_j)，i，j＝1，...，n，P_ij为局部地面深度图R中某一像素点深度值，(x_i，y_j)为局部地面深度图R中某一像素点坐标，由(1)得:

参数估计：

模型(1)中的参数β₀，β₁，β₂，β₃，β₄，β₅使用最小二乘法估计，应选取虚拟地面的深度图估计值D_ij，使得当

时，误差平方和

达到最小。

优选地，所述步骤b的获取目标前景图F的方法为：将当前背景深度图D和当前深度图P作差，求取差值图像，即目标前景图F。

优选地，所述步骤c的方法为：针对当前深度图P中目标区域的像素i，该像素反应的物体实际高度H_i的计算方式为：

优选地，所述步骤d的方法为：首先制作模板，在一个空白的灰度图中每隔一定间距作一个种子点，以此布满目标区域，利用分水岭算法将制作好的模板与需要分割的图片一起进行处理，得到处理后的有过分割情况的图像。

本发明与目前发表的最新的方法相比具有几个明显优点：1)利用深度相机实时获取监控画面，灵敏度高，并且能适应光照的缓慢变化，比较鲁棒。2)数学模型简单，深度图背景的拟合及行人检测的处理过程直观3)计算量小，可以满足实时视频处理的要求。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了本发明的基于深度相机的人群流量分析方法的流程图；

图2示出了本发明的工作时情况；

图3示出了本发明的某个室内场景的背景图；

图4示出了本发明的某个室内场景的当前图；

图5示出了本发明的某个室内场景的前景图；

图6示出了本发明的深度图像中计算物体实际高度示意图；

图7示出了本发明的对图像利用分水岭算法处理后的情况；

图8示出了本发明的新的前景图；

图9示出了本发明的处理后得到的结果。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述。

本发明的思想要点是：1)前景区域可以通过与背景图作差而去除掉；2)每个种子点所在的区域的灰度值可以近似的由一个值替代；3)由于一个人的体形处于一定的范围之内且在每一帧中同属于同一个人的分割区域灰度值差距很小，所以可以通过这些先验信息来进行分割区域的聚合。本发明的整个技术方案流程图如附图1所示。下面对发明中所涉及到的技术细节予以说明，最后给出实验结果。

图1示出了本发明的基于深度相机的人群流量分析方法的流程图；

步骤101：多元二项式回归拟合虚拟地面的深度图D；

由于实际场景中往往存在家具等物体，实际图像中的地面区域往往是局部区域，为了利用深度图得到图像中像素点的实际高度，我们需要拟合出一幅图像中所有像素点都是实际地面的深度图，称之为虚拟地面的深度图D。

多元二项式回归分析可以准确地计量各个因素之间的相关程度与回归拟合程度的高低，对于深度图，使用回归分析就可以利用局部区域拟合出整张图像的虚拟地面深度图，从而计算目标像素的实际高度。

多元二项式回归分析的模型为:

式中β₀，β₁，β₂，β₃，β₄，β₅，σ²都是与x₁，x₂无关的未知参数，其中β₀，β₁，β₂，β₃，β₄，β₅，σ²称为回归系数。

已知当前深度图为P，局部地面深度图为R，虚拟地面的深度图为D，对于虚拟地面的深度图D中像素i，估计值D_i的计算方式如下：

现得到n²组数据(P_ij，x_i，y_j)，i，j＝1，...，n，P_ij为局部地面深度图R中某一像素点深度值，(x_i，y_j)为局部地面深度图R中某一像素点坐标，由(1)得:

参数估计：

模型(1)中的参数β₀，β₁，β₂，β₃，β₄，β₅使用最小二乘法估计，应选取虚拟地面的深度图估计值D_ij，使得当

时，误差平方和达到最小。

步骤102：获取目标前景图F；

将当前背景深度图D，如图3所示，和当前深度图P作差，如图4所示，求取差值图像，即目标前景图F，如图5所示。在目标前景图中，地面深度信息为0，目标深度信息为1。对于目标前景图F中像素i，F_i的计算方式为：

步骤103：计算前景图像对应的高度图H；

如图6所示，H_C表示深度相机的安装高度，H_i表示当前深度图P中目标区域的实际高度，D_i表示虚拟地面的深度图估计值，P_i表示当前深度图P中目标区域的深度图值。

针对当前深度图P中目标区域的像素i，该像素反应的物体实际高度H_i的计算方式为：

步骤104：深度图像的目标区域的过分割；

首先制作mask，在一个空白的灰度图中每隔一定间距(例如30)作一个种子点，以此布满目标区域，利用分水岭算法将制作好的mask与需要分割的图片一起进行处理，得到处理后的有过分割情况的图像，如图7所示。

步骤105：分割区域的聚合，得到行人检测结果；

首先取前景图中高度值大于1米的部分(可以理解为图中所有行人的上半身)作为一个新的前景图，如图8所示，将此前景图与分割过后的图像进行与处理。得到各个行人的上半身区域的分割图。接下来将对过分割的区域进行聚合。

由于每个种子点所在的区域的灰度值(G)可以近似的由一个值替代，因此在目标图像中由每个种子点出出发向上下左右四个方向分别找分水岭边界，将边界点与种子点之间的所有像素点的灰度值的平均值作为这个分割区域的灰度值。

公式如下(某一帧中的某一个种子点P(i,j))：

j_down：下边界点 j_up：上边界点 J：纵向上的点数

i_right：右边界点 i_left：左边界点 I：横向上的点数

G_P(i,j)：P(i,j)点处的灰度值 G_a：这个种子点所在区域的平均灰度值

J＝j_down-j_up+1 (6)

I＝i_right-i_left+1 (7)

又因为一个人的体形处于一定的范围之内且在每一帧中同属于同一个人的分割区域灰度值差距很小，所以可以根据相邻上下两个区域的灰度值差值小于一个阈值(T₁)时，将两个区域合并(两个框合并，注：框由上下左右四个边界点决定)，左右两个区域合并时则取决于合并后的宽度w与上下方向上的框的长度l的比值是否在阈值内(T₂)。

公式如下：

if|G_P(i,j)-G_P(i,j+30)|＜T₁，则(i,j)与(i,j+30)两个外框合并； (9)

if

则(i,j)与(i+30,j)两个外框合并； (10)

步骤106：目标跟踪与流量统计。

根据第105步的检测结果，通过最近邻方法进行目标跟踪。轨迹通过图像中设置的虚拟线的目标，计入统计流量。

以上就是本发明实施步骤的详细说明，下面以某室内场景为例，进行说明。图2是工作时的情况，红线右侧为统计区域，只有处于红线右侧的人才会被统计；图3是深度相机拍摄的某个室内活动的场景背景图。图4是某时刻采样的图像，此时有人在室内行走；图5由背景图与当前图作差得到的前景图；图7是进行分水岭算法得到的分割后的图像；图8是新的前景图(有高度大于1米得到)；图9是得到的结果图。

本发明所提出的基于深度相机的人群流量分析方法能够准确迅速地识别出一个区域内的行人，并且通过目标跟踪与流量统计得出这个区域内的人群流量的大小；与其它已有的人群流量分析方法相比，该方法直观性强，设备简单，受限制少，计算量小，适合公交、地铁和广场等公共场所的人群流量分析方法。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (5)

1.一种基于深度相机的人群流量分析方法,包括步骤：

步骤a)多元二项式回归拟合虚拟地面的深度图D；

步骤b)获取目标前景图F；

步骤c)计算所述目标前景图F对应的高度图H；

步骤d)利用分水岭算法进行深度图像的目标区域的过分割；

步骤e)分割区域的聚合，得到行人检测结果，其中，

取前景图中高度值大于1米的部分作为一个新的前景图，将此前景图与分割过后的图像进行与处理，得到各个行人的上半身区域的分割图；

在目标图像中由每个种子点出发向上下左右四个方向分别找分水岭边界，将边界点与种子点之间的所有像素点的灰度值的平均值作为分割区域的灰度值；

如果相邻上下两个区域的灰度值差值小于一个阈值T1，则上下两个区域合并，如果左右两个区域合并后的宽度w与上下方向上的框的长度l的比值小于阈值T2，则左右两个区域合并，框由上下左右四个边界点决定；

步骤f)目标跟踪与流量统计。

2.根据权利要求1所述的方法，其特征在于：所述步骤a的获取多元二项式回归拟合虚拟地面的深度图D方法为：

多元二项式回归分析的模型为:

其中β₀，β₁，β₂，β₃，β₄，β₅，σ²称为回归系数，ε表示误差；

拟定当前深度图为P，局部地面深度图为R，虚拟地面的深度图为D，对于虚拟地面的深度图D的计算方法为：

其中，(R_ij，x_i，y_j)，i，j＝1，...，n为n²组数据，R_ij为局部地面深度图R中坐标值为(x_i，y_j)的像素点的深度值；

对模型(1)中的参数β₀，β₁，β₂，β₃，β₄，β₅使用最小二乘法估计，使得误差平方和

达到最小。

3.根据权利要求1所述的方法，其特征在于：所述步骤b的获取所述目标前景图F的方法为：将当前背景深度图D和当前深度图P作差，求取差值图像，即所述目标前景图F。

4.根据权利要求1所述的方法，其特征在于：所述步骤c的方法为：

在目标前景图中，地面深度信息为0，目标深度信息为1，对于目标前景图F中像素i，F_i的计算方式为：

针对当前深度图P中目标区域的像素i，该像素反应的物体实际高度H_i的计算方式为：

其中，H_C表示深度相机的安装高度。

5.根据权利要求1所述的方法，其特征在于：所述步骤d的方法为：首先制作模板，在一个空白的灰度图中每隔一定间距作一个种子点，以此布满目标区域，利用分水岭算法将制作好的模板与需要分割的图片一起进行处理，得到处理后的有过分割情况的图像。

Images