CN114120372A - 基于人体检测识别的空间客流热力分布方法及系统 - Google Patents

Abstract

本发明公开了一种基于人体检测识别的空间客流热力分布方法及系统，涉及客流统计分析技术领域，解决了现有客流统计方法存在的显示不直观、精准度低的技术问题。该发明的步骤为：S11、对实体店内的多个摄像头进行标定；S12、采用人体检测识别方法对进入实体店内的人体进行实时检测与识别，得到每个人体的矩形框；S13、根据每个人体的矩形框，估计已识别的人体的实时位置；S14、删除重复识别的人体的ID及其对应的实时位置；S15、根据实时位置，为每个非重复识别的人体配置热力分布图，并实时更新与输出。本发明统计的客流量显示直观、精准度高，能够有效改善实体店的运营。

Description

基于人体检测识别的空间客流热力分布方法及系统

技术领域

本发明涉及客流统计分析技术领域，尤其涉及一种基于人体检测识别的空间客流热力分布方法及系统。

背景技术

随着电子商务的普及，实体零售门店受到了剧烈的冲击，尤其是在店面运营效率方面，缺乏真实有效的客流量数据去支撑经营者快速有效的制定销售策略。因此，门店客流量统计系统逐渐被越来越多的实体零售门店所接纳采用。在零售实体门店场景，统计各个区域的客流热力分布，有助于洞察消费行为，基于数据分析发掘规律，从而改善门店运营，起到提高销售额的正向作用。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有方法只能计算单个摄像头内的客流分布，而且结果叠加在原始图像上，效果不够直观。

发明内容

本发明的目的在于提供一种基于人体检测识别的空间客流热力分布方法及系统，以解决现有技术中存在的上述技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明提供的一种基于人体检测识别的空间客流热力分布方法，包括如下步骤：

S11、对实体店内的多个摄像头进行标定；

S12、采用人体检测识别方法对进入实体店内的人体进行实时检测与识别，得到每个所述人体的矩形框；

S13、根据每个所述人体的矩形框，估计已识别的所述人体的实时位置；

S14、删除重复识别的所述人体的ID及其对应的实时位置；

S15、根据实时位置，为每个非重复识别的所述人体配置热力分布图，并实时更新与输出。

进一步地，步骤S13中，估计每个所述人体的实时位置的方法如下；

S131、分别获取当前所述人体矩形框的左上角像素坐标（x1，y1）、右下角像素坐标（x2，y2）；

S132、获取当前所述人体矩形框下边的中点坐标值，设置其在世界坐标系的高度为0cm，将其反投影至世界坐标系得到世界坐标值（X_foot，Y_foot，0）；

S133、获取当前所述人体矩形框上边的中点坐标值，设置其在世界坐标系的高度为165cm，将其反投影至世界坐标系得到世界坐标值（X_head，Y_head，165），将世界坐标值（X_head，Y_head，0）投影至像素坐标得到像素坐标值（x3，y3）；

S134、根据所述像素坐标值（x1，y1）、(x2, y2)、（x3，y3）计算当前所述人体的遮挡系数R；

S135、所述遮挡系数是否大于遮挡阈值；如是，执行步骤S136；否则，执行步骤S137；

S136、将（X_head，Y_head，0）作为当前所述人体的世界坐标值，并且变换为平面图坐标值作为当前所述人体的实时位置；

S137、将（X_foot，Y_foot，0）作为当前所述人体的世界坐标值，并且变换为平面图坐标值作为当前所述人体的实时位置。

进一步地，步骤S134中，所述遮挡系数R的计算公式为：

R=（y3-y2）/（y3-y1）。

进一步地，步骤S131中，世界坐标投影到像素坐标的变换公式为：

；

其中，（u，v）为像素坐标，（X_C，Y_C，Z_C）为世界坐标，f为摄像机焦距，dx、dy分别为像素坐标x轴、y轴方向上的长和高；c_x、c_y分别为像素坐标在x轴、y轴方向上平移距离，R为3*3为摄像机的旋转矩阵，0^T为1*3零矩阵，t是摄像机的平移向量。

进一步地，步骤S14中，在步骤S13获取的实时位置中，如存在任意两个所述人体之间的x坐标值之间的距离或y坐标值之间的距离小于距离阈值，则删除其中一个人体的ID及其对应的所述实时位置。

进一步地，步骤S15包括如下步骤：

S151、初始化所述热力分布图；

S152、根据非重复识别的所述人体的实时位置累加热力值；

S153、根据所述热力值的强弱配置不同深浅的颜色，并进行显示；

S154、返回步骤S12，绘制下一时刻的所述热力分布图。

进一步地，步骤S152中，以非重复识别的所述人体的位置为圆心，按固定半径且中心向外衰减的方式累加热力值。

进一步地，步骤S12中，所述人体检测识别方法为深度学习目标检测方法。

根据本发明的另一方面，还提供了一种基于人体检测识别的空间客流热力分布系统，应用于上文所述的基于人体检测识别的空间客流热力分布方法，包括：处理模块、存储模块以及显示模块；所述存储模块、显示模块均与所述处理模块连接；所述处理模块，用于存储一个或多个计算机程序，一个或多个所述处理模块用于执行所述存储模块存储的一个或多个计算机程序，以使一个或多个所述处理模块执行如上文所述的基于人体检测识别的空间客流热力分布方法；所述存储模块还用于存储所述处理模块调取的图像数据；所述显示模块用于显示所述处理模块的处理结果。

进一步地，基于人体检测识别的空间客流热力分布系统，其特征在于，还包括多个拍摄模块；所述拍摄模块与所述处理模块连接，用于实时拍摄实体店内的人体图像；所述处理模块从所述拍摄模块实时获取所述人体图像并进行处理。

实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

本发明通过采集多个摄像头的人体图像，并将采集的图像变换至像素坐标系，进而实现在平面图上对人体进行去重，最后使用采用头、脚联合的抗遮挡位置估计方法确定人体位置，并对客流热力图进行更新和绘制。本方法及系统统计的客流量显示直观、精准度高，能够有效改善实体店的运营。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是本发明实施例的一种基于人体检测识别的空间客流热力分布方法的流程图；

图2是本发明实施例的一种基于人体检测识别的空间客流热力分布方法中步骤S13的流程图；

图3是本发明实施例的一种基于人体检测识别的空间客流热力分布方法中步骤S15流程图；

图4是本发明实施例的一种基于人体检测识别的空间客流热力分布方法中实体店的三维平面变换成平面图的示意图；

图5是本发明实施例的一种基于人体检测识别的空间客流热力分布方法中实体店的客流热力分布图；

图6是本实施例的一种基于人体检测识别的空间客流热力分布系统图。

图中：1、处理模块；2、存储模块；3、显示模块；4、拍摄模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。

实施例一：

如图1所示，本发明提供了一种基于人体检测识别的空间客流热力分布方法，包括如下步骤：

S11、对实体店内的多个摄像头进行标定。具体地，本发明需要安装多个摄像头，视野覆盖场景内所有区域，摄像头之间可以有重合区域，另外需要提供场景的平面图，用于叠加显示空间客流热力分布。首先对每个摄像头进行标定。标定是为了建立摄像头拍摄的图像上每个像素到世界坐标的对应关系。然后在图像上进行人体检测，基于人体框和标定的对应关系估计人体在平面图上的位置。但由于多个摄像头有可能同时检测到同一个人，因此要对平面图上所有摄像头映射的人体进行去重，最后使用人体位置对客流热力图进行更新和绘制。

进一步地，摄像头的内部参数（如摄像机的像素单位像素长度高度，摄像机的焦距）的标定通过棋盘格进行标定，即像素点阵列。摄像头的外部参数（如摄像机的旋转矩阵、平移量）的标定具体为：所有摄像头共用同一个世界坐标系（x-y平面即地面，z轴垂直地面），针对每个摄像头，在地面上选取4个点，测量其世界坐标（z=0，x、y轴使用尺子进行测量）以及在图像上的像素坐标，通过solvePnP求解摄像机的外参；

S12、采用人体检测识别方法对进入实体店内的人体进行实时检测与识别，得到每个人体的矩形框。具体地，采用深度学习的目标检测方法对摄像头图像中的人体进行检测，得到每个人体的矩形框，矩形框将人体包围其中，只包含人体可见部分。深度学习的目标检测方法为现有技术，在此不赘述；

S13、根据每个人体的矩形框，估计已识别的人体的实时位置。在步骤S11的前提下，只要在摄像头图像上指定人体在地面上的像素坐标以及世界坐标系下实际高度为z=0，即可求解人体在平面图上的位置。但是，在现实场景中，不管是人员密集的相互遮挡还是其它物体造成的遮挡，都会导致人体下半身是不可见的。因此，无法指定人体在地面上的像素坐标。尽管如此，因为摄像头一般安装在高处，所以人体头部是不存在遮挡的，又基于人体高度差异不会太大的假设。因此，也可以通过头部像素坐标和固定的人体高度大致估计人体位置。具体而言，同时使用头、脚像素坐标估计人体位置，头的像素坐标为人体框上边的中心点，人体高度设置为165cm，脚的像素坐标为人体框下边的中心点，在地面上高度设置为0。二者结果根据有无遮挡判断择优作为最终的人体位置，无遮挡时选择用脚估计的位置，有遮挡时选择用头估计的位置。具体步骤如下：

S131、分别获取当前人体矩形框的左上角像素坐标（x1，y1）、右下角像素坐标（x2，y2）。需说明的是，根据平面性质，当前人体的遮挡体为一个，在矩形框形成的平面上是距当前人体的矩形框上边最近的一个矩形框，如有遮挡体，右下角像素坐标（x2，y2）便是遮挡体矩形与当前人体矩形框的在当前人体矩形框右边的交点，此步骤就是获取该矩形框对应的遮挡体。该遮挡体可以是其他人体或实体店内的柜台、展示物等；

S132、获取当前人体矩形框下边的中点坐标值，设置其在世界坐标系的高度为0cm，将其反投影至世界坐标系得到世界坐标值（X_foot，Y_foot，0）。本实施例中，0cm为人体脚离地面的距离。进一步地，世界坐标投影到像素坐标的变换公式为：

（1）；

其中，（u，v）为像素坐标，也即摄像机成像平面对应的坐标；（X_C，Y_C，Z_C）为世界坐标，也即根据上述公式（1）变换的人体在实际场景（实体店）中的位置坐标；f为摄像机焦距，dx、dy分别为像素坐标的x轴、y轴方向上的长和高；c_x、c_y分别为像素坐标在x轴、y轴方向上平移距离，R为3*3为摄像机的旋转矩阵，0^T为1*3零矩阵，t是摄像机的平移向量。上述参数在步骤S11中已进行了标定。需说明的是，像素坐标系反投射成世界坐标系按照上述公式（1）进行逆变换，由世界坐标系变换成像素坐标系按照上述公式（1）进行变换；

S133、获取当前人体矩形框上边的中点坐标值，设置其在世界坐标系的高度为165cm，将其反投影至世界坐标系得到世界坐标值（X_head，Y_head，165），将世界坐标值（X_head，Y_head，0）投影至像素坐标得到像素坐标值（x3，y3）。165cm为人的平均高度；

S134、根据像素坐标值（x1，y1）、(x2, y2)、（x3，y3）计算当前人体的遮挡系数。遮挡系数R的计算公式为：

R=（y3-y2）/（y3-y1） （2）；

S135、遮挡系数是否大于遮挡阈值；如是，执行步骤S136；否则，执行步骤S137。本实施例的遮挡阈值为0.2；

S136、将（X_head，Y_head，0）作为当前人体的世界坐标值，并且变换为平面图坐标值作为当前人体的实时位置。需说明的是，在将世界坐标值变换成平面坐标值时，只需将世界坐标系X-Y对应的（X，Y）坐标值按照固定比例的缩放就可以得出平面的坐标值，固定比例即为实体门店的长、宽与实体店的平面图（如下文绘制的热力分布图，该图可以为计算机或显示终端的显示平面）的长、宽的比例，如实体门店的长、宽分别为20m、10m，实体店的平面图长、宽分别为20cm、10cm，则缩放的固定比例为20m/20cm=100；

S137、将（X_foot，Y_foot，0）作为当前人体的世界坐标值，并且变换为平面图坐标值作为当前人体的实时位置。坐标变换参见上文步骤S136所述，在此不再赘述。当按照步骤S131-S137完成当前每个人体的实时位置时，便执行步骤S14；

S14、删除重复识别的人体的ID及其对应的实时位置。在将所有摄像头中的人体位置都映射到平面图之后，还需要对人体进行去重。尽管经过了不同摄像头的位置映射，但同一个人在平面图上的位置应该是比较接近的，而不同的人相互之间至少会保持一定的距离，因此可以通过设定距离阈值为50cm进行人体去重。即如存在任意两个人体之间的x坐标值之间的距离或y坐标值之间的距离小于距离阈值，则删除其中一个人体的ID及其对应的实时位置；

S15、根据实时位置，为每个非重复识别的人体配置热力分布图，并实时更新与输出。更为进一步地步骤为：

S151、初始化热力分布图。将热力图初始化值为0，大小与获取的整个采集的实体店的平面图保持一致；

S152、根据非重复识别的人体的实时位置累加热力值。进一步地，以非重复识别的所述人体的位置为圆心，按固定半径且中心向外衰减的方式累加热力值。固定半径可根据具体的实体店的平面图大小或实际需求而定；

S153、根据热力值的强弱配置不同深浅的颜色，并进行显示。一般情况下，人越多，则热力值越强，可以配置更鲜艳的颜色，如深红色，热力值小的地方配置淡黄色，没有热力值的地方可配置蓝色；

S154、返回步骤S12，绘制下一时刻的热力分布图。

本实施例通过采集多个摄像头的人体图像，并将采集的图像变换至像素坐标系，进而实现在平面图上对人体进行去重，最后使用采用头、脚联合的抗遮挡位置估计方法确定人体位置，并对客流热力图进行更新和绘制。本方法统计的客流量显示直观、精准度高，能够有效改善实体店的运营。

实施例二：

本发明还提供一种基于人体检测识别的空间客流热力分布系统，应用于实施例一所述的基于人体检测识别的空间客流热力分布方法，包括：处理模块1、存储模块2以及显示模块3。存储模块2、显示模块3均与处理模块1连接。

进一步地，处理模块1，用于存储一个或多个计算机程序，一个或多个处理模块1用于执行存储模块2存储的一个或多个计算机程序，以使一个或多个处理模块1执行如实施例一所述的基于人体检测识别的空间客流热力分布方法；存储模块2还用于存储处理模块1调取的图像数据，显示模块3用于显示处理模块1的处理结果。

本实施例的基于人体检测识别的空间客流热力分布系统还包括多个拍摄模块4，拍摄模块4与处理模块1连接，用于实时拍摄实体店内的人体图像。处理模块1从拍摄模块4实时获取人体图像并进行处理。

前述的处理模块1可以是MCU或CPU，拍摄模块4为摄像头。前述的存储模块2包括：静硬态盘、固态硬盘、随机存取存储模块（SRAM）、电可擦除可编程只读存储模块（EEPROM）、可擦除可编程只读存储模块（EPROM）、可编程只读存储模块（PROM）、只读存储模块（ROM）、光存储设备、磁存储设备、快闪存储模块、磁盘或光盘和/或上述设备的组合，即可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。

本领域普通技术人员可以理解，实现上述各方法实施例的全部或部分特征/步骤可以通过方法、数据处理系统或计算机程序来实现，这些特征可不采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来实现。前述的计算机程序可以存储于一种或多种计算机可读的存储介质中，存储介质上存储有计算机程序，计算机程序被执行时，执行包括上述的基于人体检测识别的空间客流热力分布方法实施例的步骤。

以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (10)

1.一种基于人体检测识别的空间客流热力分布方法，其特征在于，包括如下步骤：

S11、对实体店内的多个摄像头进行标定；

S12、采用人体检测识别方法对进入实体店内的人体进行实时检测与识别，得到每个所述人体的矩形框；

S13、根据每个所述人体的矩形框，估计已识别的所述人体的实时位置；

S14、删除重复识别的所述人体的ID及其对应的实时位置；

S15、根据实时位置，为每个非重复识别的所述人体配置热力分布图，并实时更新与输出。

2.根据权利要求1所述的基于人体检测识别的空间客流热力分布方法，其特征在于，步骤S13中，估计每个所述人体的实时位置的方法如下；

S131、分别获取当前所述人体矩形框的左上角像素坐标（x1，y1）、右下角像素坐标（x2，y2）；

S132、获取当前所述人体矩形框下边的中点坐标值，设置其在世界坐标系的高度为0cm，将其反投影至世界坐标系得到世界坐标值（X_foot，Y_foot，0）；

S133、获取当前所述人体矩形框上边的中点坐标值，设置其在世界坐标系的高度为165cm，将其反投影至世界坐标系得到世界坐标值（X_head，Y_head，165），将世界坐标值（X_head，Y_head，0）投影至像素坐标得到像素坐标值（x3，y3）；

S134、根据所述像素坐标值（x1，y1）、(x2, y2)、（x3，y3）计算当前所述人体的遮挡系数R；

S135、所述遮挡系数是否大于遮挡阈值；如是，执行步骤S136；否则，执行步骤S137；

S136、将（X_head，Y_head，0）作为当前所述人体的世界坐标值，并且变换为平面图坐标值作为当前所述人体的实时位置；

S137、将（X_foot，Y_foot，0）作为当前所述人体的世界坐标值，并且变换为平面图坐标值作为当前所述人体的实时位置。

3.根据权利要求2所述的基于人体检测识别的空间客流热力分布方法，其特征在于，步骤S134中，所述遮挡系数R的计算公式为：

R=（y3-y2）/（y3-y1）。

4.根据权利要求2所述的基于人体检测识别的空间客流热力分布方法，其特征在于，步骤S131中，世界坐标投影到像素坐标的变换公式为：

；

其中，（u，v）为像素坐标，（X_C，Y_C，Z_C）为世界坐标，f为摄像机焦距，dx、dy分别为像素坐标的x轴、y轴方向上的长和高，c_x、c_y分别为像素坐标在x轴、y轴方向上平移距离，R为3*3为摄像机的旋转矩阵，0^T为1*3零矩阵，t是摄像机的平移向量。

5.根据权利要求1所述的基于人体检测识别的空间客流热力分布方法，其特征在于，步骤S14中，在步骤S13获取的实时位置中，如存在任意两个所述人体之间的x坐标值之间的距离或y坐标值之间的距离小于距离阈值，则删除其中一个人体的ID及其对应的所述实时位置。

6.根据权利要求1所述的基于人体检测识别的空间客流热力分布方法，其特征在于，步骤S15包括如下步骤：

S151、初始化所述热力分布图；

S152、根据非重复识别的所述人体的实时位置累加热力值；

S153、根据所述热力值的强弱配置不同深浅的颜色，并进行显示；

S154、返回步骤S12，绘制下一时刻的所述热力分布图。

7.根据权利要求6所述的基于人体检测识别的空间客流热力分布方法，其特征在于，步骤S152中，以非重复识别的所述人体的位置为圆心，按固定半径且中心向外衰减的方式累加热力值。

8.根据权利要求1所述的基于人体检测识别的空间客流热力分布方法，其特征在于，步骤S12中，所述人体检测识别方法为深度学习目标检测方法。

9.一种基于人体检测识别的空间客流热力分布系统，应用于权利要求1-8任一项所述的基于人体检测识别的空间客流热力分布方法，其特征在于，包括：处理模块、存储模块以及显示模块；

所述存储模块、显示模块均与所述处理模块连接；

所述处理模块，用于存储一个或多个计算机程序，一个或多个所述处理模块用于执行所述存储模块存储的一个或多个计算机程序，以使一个或多个所述处理模块执行如权利要求1-8任一项所述的基于人体检测识别的空间客流热力分布方法；

所述存储模块还用于存储所述处理模块调取的图像数据；

所述显示模块用于显示所述处理模块的处理结果。

10.根据权利要求9所述的基于人体检测识别的空间客流热力分布系统，其特征在于，还包括多个拍摄模块；

所述拍摄模块与所述处理模块连接，用于实时拍摄实体店内的人体图像；所述处理模块从所述拍摄模块实时获取所述人体图像并进行处理。

Images