CN106295557A - 一种人群密度估计的方法及装置 - Google Patents

Abstract

本发明公开了一种人群密度估计的方法及装置，用于解决当人群遮挡严重时，不能准确对人群密度进行估计，检测精度低的问题。包括：对获取到的图像对进行前景图像提取，确定出前景图像对；根据所述前景图像对，确定出所述前景图像对的深度图，并确定出深度图中每个像素点的三维坐标；根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；将所述人群信息相对于所述脚底平面进行投影，确定出投影面积；根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。由于对深度图中的人群信息相对于脚底平面进行了投影，并根据确定出的投影面积确定出图像中的实际人数，提高了对人群密度进行估计时的检测精度。

Description

一种人群密度估计的方法及装置

技术领域

本发明涉及图像处理和模式识别技术领域，尤其涉及一种人群密度估计的方法及装置。

背景技术

随着社会的发展，出现了越来越多的人流聚集场所，对大型城市的公共基础设施造成了巨大压力，例如飞机场、火车站、地铁口以及体育馆等，经常会迎来短期的人流高峰。人群高度拥挤容易发生踩踏事故，存在很大的安全隐患，因此，对人群密度进行估计，当人群密度达到危及人民生命安全级别时，进行前期预警，对保证人民的生命安全具有重要的意义。

现有技术中，基于像素统计的人群密度估计方法和基于参考场景的人群密度估计方法对人群密度进行估计，当人群遮挡严重时，不能准确对人群密度进行估计，检测精度低。

综上所述，通过上述方式对人群密度进行估计，难以保证检测精度。

发明内容

本发明的目的是提供一种人群密度估计的方法及装置，以解决当人群遮挡严重时，不能准确对人群密度进行估计，检测精度低的问题。

本发明实施例提供了一种人群密度估计的方法，包括：

对获取到的图像对进行前景图像提取，确定出前景图像对；

根据所述前景图像对，确定出所述前景图像对的深度图，并确定出所述深度图中每个像素点的三维坐标；

根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；

将所述人群信息相对于所述脚底平面进行投影，确定出投影面积，其中，所述投影面积为所述人群信息相对于所述脚底平面投影得到的像素点的集合；

根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。

可选的，该方法还包括：

当所述实际人数大于或等于设定阈值时，生成报警信号。

可选的，根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数，包括：

根据所述投影面积与所述预设的单人投影面积，确定出所述投影面积与所述预设的单人投影面积的第一比值；

根据预设的所述第一比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

可选的，根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数，包括：

根据预设的单一像素点与实际面积的关系，以及所述投影面积中包括的单一像素点数量，确定出所述投影面积对应的实际投影面积；

根据所述实际投影面积与所述预设的单人实际投影面积，确定出所述实际投影面积与所述单人实际投影面积的第二比值；

根据预设的所述第二比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

可选的，采用双目设备获取所述图像对。

可选的，所述对获取到的图像对进行前景图像提取，确定出前景图像对，包括：

对获取到的所述图像对进行背景生成与背景剪除操作，提取到所述前景图像，确定出所述前景图像对。

基于与方法同样的发明构思，本发明实施例提供了一种人群密度估计的装置，包括：

图像确定模块，用于对获取到的图像对进行前景图像提取，确定出前景图像对；

坐标确定模块，用于根据所述前景图像对，确定出所述前景图像对的深度图，并确定出所述深度图中每个像素点的三维坐标；

平面确定模块，用于根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；

投影确定模块，用于将所述人群信息相对于所述脚底平面进行投影，确定出投影面积，其中，所述投影面积为所述人群信息相对于所述脚底平面投影得到的像素点的集合；

人数确定模块，用于根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。

可选的，该装置还包括：

报警模块，用于当所述实际人数大于或等于设定阈值时，生成报警信号。

可选的，所述人数确定模块具体用于：

根据所述投影面积与所述预设的单人投影面积，确定出所述投影面积与所述预设的单人投影面积的第一比值；

根据预设的所述第一比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

可选的，所述人数确定模块具体用于：

根据预设的单一像素点与实际面积的关系，以及所述投影面积中包括的单一像素点数量，确定出所述投影面积对应的实际投影面积；

根据所述实际投影面积与所述预设的单人实际投影面积，确定出所述实际投影面积与所述单人实际投影面积的第二比值；

根据预设的所述第二比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

可选的，采用双目设备获取所述图像对。

可选的，所述图像确定模块具体用于：

对获取到的所述图像对进行背景生成与背景剪除操作，提取到所述前景图像，确定出所述前景图像对。

本发明实施例提供的一种人群密度估计的方法及装置中，对获取到的图像对进行前景图像提取，确定出前景图像对；根据所述前景图像对，确定出所述前景图像对的深度图，并确定出深度图中每个像素点的三维坐标；根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；将所述人群信息相对于所述脚底平面进行投影，确定出投影面积；根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。由于对深度图中的人群信息相对于脚底平面进行了投影，并根据确定出的投影面积确定出图像中的实际人数，提高了对人群密度进行估计时的检测精度。

附图说明

图1为本发明实施例提供的一种人群密度估计的方法流程图；

图2为本发明实施例提供的又一种人群密度估计的方法流程图；

图3为本发明实施例提供的一种人群密度估计的装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种人群密度估计的方法，如图1所示，包括如下操作：

步骤100、对获取到的图像对进行前景图像提取，确定出前景图像对；

可选的，在步骤100之前，采用双目设备获取所述图像对。

步骤110、根据所述前景图像对，确定出所述前景图像对的深度图，并确定出所述深度图中每个像素点的三维坐标；

步骤120、根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；

具体的，根据所述人群信息的三维坐标对所述人群信息的脚底进行标定，确定出所述脚底平面。

步骤130、将所述人群信息相对于所述脚底平面进行投影，确定出投影面积，其中，所述投影面积为所述人群信息相对于所述脚底平面投影得到的像素点的集合；

本发明实施例中，所述投影的投影线垂直于所述人群信息的脚底平面。

步骤140、根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。

可选的，所述预设单人投影面积为单人相对于所述脚底平面投影得到的像素点的集合。

本发明实施例提供的一种人群密度估计的方法中，对获取到的图像对进行前景图像提取，确定出前景图像对；根据所述前景图像对，确定出所述前景图像对的深度图，并确定出深度图中每个像素点的三维坐标；根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；将所述人群信息相对于所述脚底平面进行投影，确定出投影面积；根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。由于对深度图中的人群信息相对于脚底平面进行了投影，并根据确定出的投影面积确定出图像中的实际人数，提高了对人群密度进行估计时的检测精度。

本发明实施例中，在步骤140中确定出所述深度图中的实际人数后，当所述实际人数大于或等于设定阈值时，生成报警信号；

其中，所述设定阈值可以根据经验或实际需要确定，本发明对其不做限定。

本发明实施例中，所述对获取到的图像对进行前景图像提取，确定出前景图像对，包括：

对获取到的所述图像对进行背景生成与背景剪除操作，提取到所述前景图像，确定出所述前景图像对。

其中，所述背景生成可以采用多帧图像平均法和帧差法，也可以采用混合高斯模型进行背景生成，还可以采用其他方法，本发明实施例中背景生成的方法不做限定；所述背景剪除可以采用帧间差分法和背景减法，还可以采用其他方法，本发明实施例中背景剪除的方法不做限定。

本发明实施例中，根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数，具有以下两种方式：

方式一、根据所述投影面积与所述预设的单人投影面积，确定出所述投影面积与所述预设的单人投影面积的第一比值；

根据预设的所述第一比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

其中，所述第一比值与所述实际人数间的关系可以为卡尔曼滤波的线性函数，也可以采用其他方法，本发明对其不做限定；

所述卡尔曼滤波函数可以根据模型训练确定，所述模型训练的过程为：确定出至少两个所述深度图中的第一比值，并人工统计出所述深度图中的实际人数，假设卡尔曼滤波的线性函数的公式为y＝mx+n，其中，y为人工统计的所述深度图中的实际人数，x为第一比值，根据y与x的值确定出待定常数m和n的值，确定出所述卡尔曼滤波的线性函数。

举例说明：假设所述投影面积为10平方米，所述预设的单人投影面积为0.5平方米，出所述投影面积与所述预设的单人投影面积的第一比值为20；

假设预设的所述第一比值与所述实际人数间的关系为卡尔曼滤波的线性函数，该函数为y＝0.5x+11，确定出所述深度图中的实际人数为21。

方式二、根据预设的单一像素点与实际面积的关系，以及所述投影面积中包括的单一像素点数量，确定出所述投影面积对应的实际投影面积；

根据所述实际投影面积与所述预设的单人实际投影面积，确定出所述实际投影面积与所述单人实际投影面积的第二比值；

根据预设的所述第二比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

举例说明：假设预设的单一像素点与实际面积的关系为每个单一像素点对应的实际面积为0.1平方米，投影面积中包括的100个单一像素点数量，确定出所述投影面积对应的实际投影面积为10平方米；所述预设的单人投影面积为0.5平方米，出所述投影面积与所述预设的单人投影面积的第二比值为20；假设预设的所述第二比值与所述实际人数间的关系为卡尔曼滤波的线性函数，该函数为y＝0.5x+11，确定出所述深度图中的实际人数为21。

下面通过一个具体实施例对本发明实施例提供的一种人群密度估计的方法进行详细说明，如图2所示，包括：

步骤200、采用双目设备获取所述图像对。

步骤210、对获取到的图像对进行背景生成与背景剪除操作，确定出前景图像对。

步骤220、根据所述前景图像对，确定出所述前景图像对的深度图，并确定出所述深度图中每个像素点的三维坐标。

步骤230、根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面。

步骤240、将所述人群信息相对于所述脚底平面进行投影，确定出投影面积。

步骤250、根据所述投影面积与所述预设的单人投影面积，确定出所述投影面积与所述预设的单人投影面积的第一比值。

步骤260、根据预设的所述第一比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

步骤270、当确定出所述实际人数大于设定阈值时，生成报警信号。

基于与方法同样的发明构思，本发明实施例还提供了一种人群密度估计的装置，如图3所示，包括：

图像确定模块301，用于对获取到的图像对进行前景图像提取，确定出前景图像对；

坐标确定模块302，用于根据所述前景图像对，确定出所述前景图像对的深度图，并确定出所述深度图中每个像素点的三维坐标；

平面确定模块303，用于根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；

投影确定模块304，用于将所述人群信息相对于所述脚底平面进行投影，确定出投影面积，其中，所述投影面积为所述人群信息相对于所述脚底平面投影得到的像素点的集合；

人数确定模块305，用于根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。

本发明实施例提供的一种人群密度估计的装置中，对获取到的图像对进行前景图像提取，确定出前景图像对；根据所述前景图像对，确定出所述前景图像对的深度图，并确定出深度图中每个像素点的三维坐标；根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；将所述人群信息相对于所述脚底平面进行投影，确定出投影面积；根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。由于对深度图中的人群信息相对于脚底平面进行了投影，并根据确定出的投影面积确定出图像中的实际人数，提高了对人群密度进行估计时的检测精度。

可选的，该装置还包括：

报警模块，用于当所述实际人数大于或等于设定阈值时，生成报警信号。

可选的，所述人数确定模块具体用于：

根据所述投影面积与所述预设的单人投影面积，确定出所述投影面积与所述预设的单人投影面积的第一比值；

根据预设的所述第一比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

可选的，所述人数确定模块具体用于：

根据预设的单一像素点与实际面积的关系，以及所述投影面积中包括的单一像素点数量，确定出所述投影面积对应的实际投影面积；

根据所述实际投影面积与所述预设的单人实际投影面积，确定出所述实际投影面积与所述单人实际投影面积的第二比值；

根据预设的所述第二比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

可选的，采用双目设备获取所述图像对。

可选的，所述图像确定模块具体用于：

对获取到的所述图像对进行背景生成与背景剪除操作，提取到所述前景图像，确定出所述前景图像对。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种人群密度估计的方法，其特征在于，该方法包括：

对获取到的图像对进行前景图像提取，确定出前景图像对；

根据所述前景图像对，确定出所述前景图像对的深度图，并确定出所述深度图中每个像素点的三维坐标；

根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；

将所述人群信息相对于所述脚底平面进行投影，确定出投影面积，其中，所述投影面积为所述人群信息相对于所述脚底平面投影得到的像素点的集合；

根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

当所述实际人数大于或等于设定阈值时，生成报警信号。

3.根据权利要求1所述的方法，其特征在于，根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数，包括：

根据所述投影面积与所述预设的单人投影面积，确定出所述投影面积与所述预设的单人投影面积的第一比值；

根据预设的所述第一比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

4.根据权利要求1所述的方法，其特征在于，根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数，包括：

根据预设的单一像素点与实际面积的关系，以及所述投影面积中包括的单一像素点数量，确定出所述投影面积对应的实际投影面积；

根据所述实际投影面积与所述预设的单人实际投影面积，确定出所述实际投影面积与所述单人实际投影面积的第二比值；

根据预设的所述第二比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

5.根据权利要求1所述的方法，其特征在于，采用双目设备获取所述图像对。

6.根据权利要求1所述的方法，其特征在于，所述对获取到的图像对进行前景图像提取，确定出前景图像对，包括：

对获取到的所述图像对进行背景生成与背景剪除操作，提取到所述前景图像，确定出所述前景图像对。

7.一种人群密度估计的装置，其特征在于，该装置包括：

图像确定模块，用于对获取到的图像对进行前景图像提取，确定出前景图像对；

坐标确定模块，用于根据所述前景图像对，确定出所述前景图像对的深度图，并确定出所述深度图中每个像素点的三维坐标；

平面确定模块，用于根据所述三维坐标对所述深度图中的人群信息进行标定，确定出所述人群信息的脚底平面；

投影确定模块，用于将所述人群信息相对于所述脚底平面进行投影，确定出投影面积，其中，所述投影面积为所述人群信息相对于所述脚底平面投影得到的像素点的集合；

人数确定模块，用于根据所述投影面积与预设的单人投影面积，确定出所述深度图中的实际人数。

8.根据权利要求7所述的装置，其特征在于，该装置还包括：

报警模块，用于当所述实际人数大于或等于设定阈值时，生成报警信号。

9.根据权利要求7所述的装置，其特征在于，所述人数确定模块具体用于：

根据所述投影面积与所述预设的单人投影面积，确定出所述投影面积与所述预设的单人投影面积的第一比值；

根据预设的所述第一比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

10.根据权利要求7所述的装置，其特征在于，所述人数确定模块具体用于：

根据预设的单一像素点与实际面积的关系，以及所述投影面积中包括的单一像素点数量，确定出所述投影面积对应的实际投影面积；

根据所述实际投影面积与所述预设的单人实际投影面积，确定出所述实际投影面积与所述单人实际投影面积的第二比值；

根据预设的所述第二比值与所述实际人数间的关系，确定出所述深度图中的实际人数。

11.根据权利要求7所述的装置，其特征在于，采用双目设备获取所述图像对。

12.根据权利要求7所述的装置，其特征在于，所述图像确定模块具体用于：

对获取到的所述图像对进行背景生成与背景剪除操作，提取到所述前景图像，确定出所述前景图像对。