CN108596938A - 一种客流统计方法及装置 - Google Patents

Abstract

本发明公开了一种客流统计方法，包括：获取当前帧的深度数据；对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区；依据临近搜索的方式获取每一个头部候选区的运行轨迹；当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。上述的方法，依据预设的处理规则对所述当前帧的深度数据进行处理得到所述当前帧的各个头部候选区，不需要进行阈值分割，避免了通过阈值分割的方式获取头部区域连通域的过程非常耗时，对于时性要求较高的客流统计场合不是很理想的问题。

Description

一种客流统计方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种客流统计方法及装置。

背景技术

如今，为了统计某一区域在任意时间段的客流情况，在该区域安装结构光相机Kinect，通过结构光相机获取深度图像，依据深度图像得到阈值分割图，然后基于阈值分割图得到跟踪对象图，再基于跟踪对象图得到跟踪对象投影图，再对跟踪对象投影图获取头部区域的连通域，依据该头部区域连通域对该时间段的客流进行统计，精准的统计出每个入口实时客流进出人数，根据数据分析达到科学管理的目的。

发明人对现有的客流统计方法进行研究发现，上述通过阈值分割的方式获取头部区域连通域的过程非常耗时，对于时性要求较高的客流统计场合不是很理想。

发明内容

有鉴于此，本发明提供了一种客流统计方法及装置，用以解决现有技术中通过阈值分割的方式获取头部区域连通域的过程非常耗时，对于时性要求较高的客流统计场合不是很理想的问题。具体方案如下：

一种客流统计方法，包括：

获取当前帧的深度数据；

对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区；

依据临近搜索的方式获取每一个头部候选区的运行轨迹；

当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。

上述的方法，可选的，对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区包括：

依据当前帧的深度数据，确定所述当前帧的前景图；

对所述前景图中的每个像素点进行模拟降雨，得到所述当前帧的响应图；

对所述响应图进行二值化处理，得到所述当前帧的二值图；

提取所述二值图中的各个目标连通域，将每一个目标连通域的外接矩形作为头部候选区。

上述的方法，可选的，依据当前帧的深度数据，确定所述当前帧的前景图包括：

预先提取预设数量帧的深度数据；

对所述预设数量帧的深度数据进行取平均处理，得到平均深度数据；

获取所述当前帧的深度数据，将所述当前帧的深度数据与所述平均深度数据进行相减，得到所述当前帧的前景图。

上述的方法，可选的，还包括：对所述前景图进行腐蚀处理和膨胀处理。

上述的方法，可选的，当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一包括：

检测所述运行轨迹的穿越方式；

当所述运行轨迹的穿越方式为从上到下先后穿越上行截止线和下行截止线时，则进入客流人数加一；

当所述运行轨迹的穿越方式为从下到上先后穿越下行截止线和上行截止线时，则离开客流人数加一。

一种客流统计装置，包括：

第一获取模块，用于获取当前帧的深度数据；

处理模块，用于对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区；

第二获取模块，用于依据临近搜索的方式获取每一个头部候选区的运行轨迹；

统计模块，用于当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。

上述的装置，可选的，所述处理模块包括：

确定单元，用于依据当前帧的深度数据，确定所述当前帧的前景图；

模拟降雨单元，用于对所述前景图中的每个像素点进行模拟降雨，得到所述当前帧的响应图；

二值化单元，用于对所述响应图进行二值化处理，得到所述当前帧的二值图；

提取单元，用于提取所述二值图中的各个目标连通域，将每一个目标连通域的外接矩形作为头部候选区。

上述的装置，可选的，所述确定单元包括：

提取子单元，用于预先提取预设数量帧的深度数据；

平均子单元，用于对所述预设数量帧的深度数据进行取平均处理，得到平均深度数据；

确定子单元，用于获取所述当前帧的深度数据，将所述当前帧的深度数据与所述平均深度数据进行相减，得到所述当前帧的前景图。

上述的装置，可选的，所述确定单元还包括：

处理子单元，用于对所述前景图进行腐蚀处理和膨胀处理。

上述的装置，可选的，所述统计模块包括：

检测单元，用于检测所述运行轨迹的穿越方式；

第一统计单元，用于当所述运行轨迹的穿越方式为从上到下先后穿越上行截止线和下行截止线时，则进入客流人数加一；

第二统计单元，用于当所述运行轨迹的穿越方式为从下到上先后穿越下行截止线和上行截止线时，则离开客流人数加一。

与现有技术相比，本发明包括以下优点：

本发明公开了一种客流统计方法，包括：获取当前帧的深度数据，对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区，依据临近搜索的方式获取每一个头部候选区的运行轨迹，当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。上述的方法，不需要进行阈值分割，避免了通过阈值分割的方式获取头部区域连通域的过程非常耗时，对于时性要求较高的客流统计场合不是很理想的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种客流的统计方法流程图；

图2为本申请实施例公开的一种客流的统计方法又一方法流程图；

图3为本申请实施例公开的一种客流的统计装置结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明公开了一种客流统计方法及装置，所述客流统计方法应用在对公共场所的客流统计过程中，所述客流统计方法采用深度相机进行客流的统计，优选的，本发明实施例中，选取TOF(Time of Flight)深度相机获取深度数据，所述客流统计方法的执行流程如图1所示，包括步骤：

S101、获取当前帧的深度数据；

本发明实施例中，依据所述TOF深度相机获取当前帧的深度信息，其中所述TOF深度相机可以采用顶装和侧装两种安装方式，依据具体情况选择对应的安装方式。

S102、对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区；

本发明实施例中，依据深度数据获取所述当前帧的前景图，对所述前景图进行模拟降雨，得到响应图，对所述响应图进行二值化处理，得到二值化图，获取所述二值化中的各个目标连通域，其中，每一个目标连通域的外接矩形均为一个头部候选区。

S103、依据临近搜索的方式获取每一个头部候选区的运行轨迹；

本发明实施例中，所述临近搜索方式的处理过程如下：

(1)计算每个T时刻的候选头部区域同每个T+1时刻的头部区域的交叠率值(IOU，Intersection over Union)。计算的公式如下：

公式(1)中，表示T时刻第i个区域，表示T+1时刻第j个区域。

(2)判断如果IOU的值大于0.5，则和表示的是同一个头部区域分别在T和T+1时刻的位置。

(3)重复步骤(1)和步骤(2)完成所有头部区域在所有时刻的位置即得到了每一个头部区域的运动轨迹。

S104、当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。

本发明实施例中，监测所述运行轨迹的穿越方式，其中，所述穿越方式包含两种情况：当所述运行轨迹的穿越方式为从上到下先后穿越上行截止线和下行截止线时，则进入客流人数加一；当所述运行轨迹的穿越方式为从下到上先后穿越下行截止线和上行截止线时，则离开客流人数加一。

其中，在图像坐标系中1/4高度处设置上行截止线，在3/4高度处设置下行截止线。

本发明公开了一种客流统计方法，包括：获取当前帧的深度数据，对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区，依据临近搜索的方式获取每一个头部候选区的运行轨迹，当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。上述的方法，不需要进行阈值分割，避免了通过阈值分割的方式获取头部区域连通域的过程非常耗时，对于时性要求较高的客流统计场合不是很理想的问题。

本发明实施例中，对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区的方法流程如图2所示，包括步骤：

S201、依据当前帧的深度数据，确定所述当前帧的前景图；

本发明实施例中，预先提取预设数量帧的深度数据，对所述预设数量帧的深度数据进行取平均处理，得到平均深度数据，将所述平均深度数据作为背景模型，获取所述当前帧的深度数据，将所述当前帧的深度数据与所述平均深度数据进行相减，得到所述当前帧的前景图。

具体的计算公式如下：

式中，i，j是图像坐标系下的横坐标和纵坐标。bg(i，j)是背景模型在图像坐标系下i，j处的深度值，pc¹(i，j)为第l帧深度图在图像坐标系下i，j处的深度值。

本发明实施例中，优选的，在确定了所述当前帧的前景图以后，还可以对所述前景图进行腐蚀处理和膨胀处理，首先确定前景图中的每一个深度值在图像坐标系下的值，依据如下公式：

式中，fg(i，j)是前景图在图像坐标系下i，j处的值，τ是一个距离的阈值，优选的，τ＝10cm。

其中，对获取的前景图进行形态学的处理，具体包括先对前景图进行核大小为3的腐蚀处理，然后再对处理的结果进行核大小为3的膨胀处理。

其中，膨胀处理是此操作将图像A与任意形状的内核B，通常为正方形或圆形,进行卷积。内核B有一个可定义的锚点,通常定义为内核中心点。进行膨胀操作时，将内核B划过图像，将内核B覆盖区域的最大相素值提取，并代替锚点位置的相素。核为3指内核B是3*3的大小。

腐蚀处理是将内核B划过图像,将内核B覆盖区域的最小相素值提取，并代替锚点位置的相素。进行先腐蚀后膨胀的目的是为了消除细小物体，在纤细处分离物体和平滑较大物体边界的作用

对进行形态学处理后的前景图提取连通域，将连通域外接矩形面积小于预设的面积阈值Ta的连通域内的每个坐标点的值设置为零。其中，所述预设的面积阈值优选的取图像高度的十分之一。所述连通域：直观的来讲是没有洞的区域，严格的来讲拓扑空间X称为是连通的。当且仅当以下叙述之一成立：

X不能表示为两个不相交的非空开集的并集且或 其中，对进行形态学处理后的前景图提取的连通域指图像中非零像素值且位置相邻的前景像素点组成的图像区域。

所述连通域的外接矩形面积外指的是某个连通区域里的图像点的最大横坐标，最小横坐标，最大纵坐标，最小纵坐标定下边界的矩形。

S202、对所述前景图中的每个像素点进行模拟降雨，得到所述当前帧的响应图；

本发明实施例中，所述模拟降雨处理的过程为：首先，对响应图进行初始化，将所有像素点的值均作置零处理，初始化的目的是为了避免响应图中存在不为零的像素点，影响结果的准确性。

然后，针对前景图中值不为0的点，迭代计算得到响应图中每个像素点的值，计算的公式如下：

rain(i，j)＝rain(i，j)+2； (4)

if rain(i，j)+depth(i，j)＜rain(i+l，j+k)+depth(i+l，j+k)

式中，l，k的范围为[-2-2]，rain(i，j)为模拟降雨图中在图像坐标系下i，j处的值，depth(i，j)为深度图中在图像坐标系i，j处的值。

依据上述的处理，得到所述当前帧的响应图。

本发明实施例中，模拟降雨处理是指针对前景图中每个非零坐标点，在对应的深度图坐标点处有一滴雨滴，然后遵循从高往低处留的原则，最后汇聚到深度图中最低的地方从而得到响应图。模拟降雨处理充分利用了每个点的深度信息求取响应图故而鲁棒性核稳定性都很好。响应图是模拟降雨处理的结果。

S203、对所述响应图进行二值化处理，得到所述当前帧的二值图；

本发明实施例中，对所述响应图进行二值化处理采用如下的计算公式：

式中，b(i，j)是二值图中在图像坐标系下i，j处的值，T是一个雨量的阈值，优选的，T＝170。

本发明实施例中，基于公式(5)处理将经过降雨处理的响应图，转化为二值化图。

S204、提取所述二值图中的各个目标连通域，将每一个目标连通域的外接矩形作为头部候选区。

本发明实施例中，提取所述二值图中各个目标连通域，确定每一个目标连通域的外接矩形，每一个目标连通域的外接矩形为一个头部候选区。

基于以上的客流统计方法，本发明的优势在于：中基于TOF的深度相机，适用的场景高度范围非常宽，典型的安装高度范围在2m-8m之间。采用TOF深度相机作为原始数据来源，在室内和室外均可以适用。采用基于模拟降雨的方式，因此，该方法的稳定性和鲁棒性均非常好。由于本发明不采用阈值分割的方式，故而相机的安装角度变化不会对客流统计的效果产生明显影响，故而本方案通用性非常好，顶装和侧装的场合都可以适用。本发明基于原始深度数据进行模拟降雨处理得到响应图，基于响应图即可实现对于人体头部区域的检测和跟踪。步骤非常的简单，方案的实时性非常的强。

本发明实施例中，与上述的一种客流统计方法相对应的，本发明还提供了一种客流统计装置，所述客流统计装置的结构框图如图3所示，包括：

第一获取模块301，处理模块302，第二获取模块303和统计模块304。

其中，

所述第一获取模块301，用于获取当前帧的深度数据；

所述处理模块302，用于对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区；

所述第二获取模块303，用于依据临近搜索的方式获取每一个头部候选区的运行轨迹；

所述统计模块304，用于当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。

本发明公开了一种客流统计系统，包括：获取当前帧的深度数据，对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区，依据临近搜索的方式获取每一个头部候选区的运行轨迹，当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。上述的系统，不需要进行阈值分割，避免了通过阈值分割的方式获取头部区域连通域的过程非常耗时，对于时性要求较高的客流统计场合不是很理想的问题。

本发明实施例中，所述处理模块302包括：

确定单元305，模拟降雨单元306，二值化单元307和提取单元308。

其中，

所述确定单元305，用于依据当前帧的深度数据，确定所述当前帧的前景图；

所述模拟降雨单元306，用于对所述前景图中的每个像素点进行模拟降雨，得到所述当前帧的响应图；

所述二值化单元307，用于对所述响应图进行二值化处理，得到所述当前帧的二值图；

所述提取单元308，用于提取所述二值图中的各个目标连通域，将每一个目标连通域的外接矩形作为头部候选区。

本发明实施例中，所述确定单元305包括：

提取子单元309，平均子单元310和确定子单元311。

其中，

所述提取子单元309，用于预先提取预设数量帧的深度数据；

所述平均子单元310，用于对所述预设数量帧的深度数据进行取平均处理，得到平均深度数据；

所述确定子单元311，用于获取所述当前帧的深度数据，将所述当前帧的深度数据与所述平均深度数据进行相减，得到所述当前帧的前景图。

本发明实施例中，所述确定单元305还包括：处理子单元312。

其中，

所述处理子单元312，用于对所述前景图进行腐蚀处理和膨胀处理。

本发明实施例中，所述统计模块304包括：

检测单元313，第一统计单元314和第二统计单元315。

其中，

所述检测单元313，用于检测所述运行轨迹的穿越方式；

所述第一统计单元314，用于当所述运行轨迹的穿越方式为从上到下先后穿越上行截止线和下行截止线时，则进入客流人数加一；

所述第二统计单元315，用于当所述运行轨迹的穿越方式为从下到上先后穿越下行截止线和上行截止线时，则离开客流人数加一。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种客流统计的方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种客流统计方法，其特征在于，包括：

获取当前帧的深度数据；

对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区；

依据临近搜索的方式获取每一个头部候选区的运行轨迹；

当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。

2.根据权利要求1所述的方法，其特征在于，对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区包括：

依据当前帧的深度数据，确定所述当前帧的前景图；

对所述前景图中的每个像素点进行模拟降雨，得到所述当前帧的响应图；

对所述响应图进行二值化处理，得到所述当前帧的二值图；

提取所述二值图中的各个目标连通域，将每一个目标连通域的外接矩形作为头部候选区。

3.根据权利要求2所述的方法，其特征在于，依据当前帧的深度数据，确定所述当前帧的前景图包括：

预先提取预设数量帧的深度数据；

对所述预设数量帧的深度数据进行取平均处理，得到平均深度数据；

获取所述当前帧的深度数据，将所述当前帧的深度数据与所述平均深度数据进行相减，得到所述当前帧的前景图。

4.根据权利要求3所述的方法，其特征在于，还包括：对所述前景图进行腐蚀处理和膨胀处理。

5.根据权利要求1所述的方法，其特征在于，当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一包括：

检测所述运行轨迹的穿越方式；

当所述运行轨迹的穿越方式为从上到下先后穿越上行截止线和下行截止线时，则进入客流人数加一；

当所述运行轨迹的穿越方式为从下到上先后穿越下行截止线和上行截止线时，则离开客流人数加一。

6.一种客流统计装置，其特征在于，包括：

第一获取模块，用于获取当前帧的深度数据；

处理模块，用于对所述深度数据依据预设的处理规则进行处理，得到所述当前帧的各个头部候选区；

第二获取模块，用于依据临近搜索的方式获取每一个头部候选区的运行轨迹；

统计模块，用于当任意一个运行轨迹穿越预设的上行截止线和预设的下行截止线时，客流人数加一。

7.根据权利要求6所述的装置，其特征在于，所述处理模块包括：

确定单元，用于依据当前帧的深度数据，确定所述当前帧的前景图；

模拟降雨单元，用于对所述前景图中的每个像素点进行模拟降雨，得到所述当前帧的响应图；

二值化单元，用于对所述响应图进行二值化处理，得到所述当前帧的二值图；

提取单元，用于提取所述二值图中的各个目标连通域，将每一个目标连通域的外接矩形作为头部候选区。

8.根据权利要求6所述的装置，其特征在于，所述确定单元包括：

提取子单元，用于预先提取预设数量帧的深度数据；

平均子单元，用于对所述预设数量帧的深度数据进行取平均处理，得到平均深度数据；

确定子单元，用于获取所述当前帧的深度数据，将所述当前帧的深度数据与所述平均深度数据进行相减，得到所述当前帧的前景图。

9.根据权利要求8所述的装置，其特征在于，所述确定单元还包括：

处理子单元，用于对所述前景图进行腐蚀处理和膨胀处理。

10.根据权利要求6所述的装置，其特征在于，所述统计模块包括：

检测单元，用于检测所述运行轨迹的穿越方式；

第一统计单元，用于当所述运行轨迹的穿越方式为从上到下先后穿越上行截止线和下行截止线时，则进入客流人数加一；

第二统计单元，用于当所述运行轨迹的穿越方式为从下到上先后穿越下行截止线和上行截止线时，则离开客流人数加一。