CN110222673A - 一种基于头部检测的客流统计方法 - Google Patents

Abstract

本发明公开了一种基于头部检测的客流统计方法，包括：步骤1.基于One‑Stage的目标检测算法，结合Tiny‑yolo的网络结构与SSH中的SSH语境模块对输入的初始帧图片进行检测，得到一个或多个人头框坐标；为每一个人头框创建一条路径，用来保存该人头框中心点在后续帧中的位置信息，每一条路径分配一个id号；步骤2.输入当前帧图片进行人头检测得到当前帧人头框坐标；步骤3.以oks距离作为度量方式，以欧氏距离作为补充度量方式，用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵；步骤4.关联存活的所有路径与当前帧检测出的人头框；步骤5.进出客流量统计。

Description

一种基于头部检测的客流统计方法

技术领域

本发明属于客流统计领域，具体是一种基于头部检测的客流统计方法。

背景技术

现阶段国内外客流统计技术主要包括以下四种：

红外线客流统计：依据人体的经过阻断红外线之间的对射从而统计客流，使用方便，数据传输量小，成本较低，安装方便，对于光线要求不高。但这种方法对于比较宽的门口，多人同时经过时易产生漏统计现象。

视频客流统计：主要依据人头计数，其精度较高，还可以根据图像分析追踪消费者在店内行动轨迹，同时可以和人脸识别系统相结合，进行CRM管理，成本不算高。但是这种算法较复杂，数据传输任务较重，共包括检测、跟踪和统计三个算法，人头检出率、多目标跟踪的精度以及统计过程的技巧都对客流统计准确率有重要的影响；

WIFI客流统计：采取智能手机mac地址进行人数统计，可以根据手机对店内的消费者的数量进行统计，且根据手机的IP进行消费者在店内行动轨迹的追踪以及判断新老顾客。但是，由于借助手机，存在一个人带多个手机、手机关闭无线信号或者关机等因素的影响，这种方法的统计数据会存在不准确的情况。

3D 传感客流计数器：图像识别与前两种相比要显得较为高端一些，同样是通过传感器检测，不同的是扫描人体轮廓进而得出立体的人体数据，再参照立体反射面的驼峰形状，进而用单片机计算，从而判断出人数。技术较为精确，但过高的成本限制了该方法的发展。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了一种基于头部检测的客流统计方法，包括如下步骤：

步骤1.基于One-Stage的目标检测算法，结合Tiny-yolo的网络结构与SSH中的SSH 语境模块对输入的初始帧图片进行检测，得到一个或多个人头框坐标；为每一个人头框创建一条路径，用来保存该人头框中心点在后续帧中的位置信息，每一条路径分配一个id号；

步骤2.输入当前帧图片进行人头检测得到当前帧人头框坐标；

步骤3.以oks距离作为度量方式，以欧氏距离作为补充度量方式，用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵；

步骤4.关联存活的所有路径与当前帧检测出的人头框；

步骤5. 进出客流量统计。

进一步的，步骤4具体包括如下步骤：

（1）关联操作：向融合匹配法输入距离矩阵，将当前帧检测出的人头框与路径进行匹配；

（2）对匹配上人头框的路径进行更新：存入被匹配上的人头框中心点坐标；每条路径最多匹配上一个人头框，假设第n条路径匹配上了第m个人头框，向第n条路径存入第m个人头框的中心点坐标；

（3）对当前帧中没有被匹配上的人头框进行初始化，创建新路径，并分配id号；假设当前帧中第k个与第q个人头框没有被任何一条路径匹配上，那么，初始化两条路径，分别用来存放这两个人头框中心点在后续帧中的坐标，并分配两个不同的id号，此时，总路径中新增了两条路径；

（4）删除连续n帧没有匹配上人头框的路径，未被删除的路径即为存活的路径。

进一步的，步骤4中所用融合匹配方法具体为：

（1）按照连续断帧的帧数对人头轨迹进行分类，优先考虑连续断帧次数少的路径与检测目标的关联关系；

（2）采用贪婪法分别在oks距离矩阵横向、纵向方向上得到系列匹配对，对于剩余的没有建立匹配关系的路径与检测目标，用欧氏距离作为补充，在欧氏距离矩阵横向、纵向方向上得到补充匹配对；

（3）分别选出产生交集的系列匹配对与补充匹配对，每次排除一个可能性相对低的匹配对；

（4）重新执行步骤（2）与（3），直到不再产生有交集的匹配对为止；

（5）输出最终的匹配对。

进一步的，所述步骤5具体为：

（1）进出人员计数：在路径连续s帧没有匹配上检测出的人头框时，s＜100，分析该路径的历史运动轨迹，根据该路径人头框中心点运动距离长度、运动轨迹是否覆盖活跃区域来判断其是否满足计数要求，达到计数要求时根据其运动方向判断人员进或出的状态；

（2）判断活跃区域内同一路径是否因为断裂而被计数2次：查找路径是否在活跃区内消失了而另一条路径在满足一定的帧差范围条件下在活跃区域内进行了初始化步骤，并且两条路径运动方向的差异满足一定范围，在计数上也同为进或同为负；如果同时满足上述条件，便减去多余的一次计数；

（3）对已经计数过的路径进行标记，标记结束时重新初始化路径，并将该路径的起始坐标更新为标记结束时的坐标，id保持不变；每隔m帧分析一次该路径运动方向，当该条路径运动方向与被标记之前的运动方向相反时，重复步骤（1）和（2）。

本发明有益效果如下：

1.改进了Tiny-yolo的网络结构，检测速度快；利用PyramidBox中的数据增强策略以及SSH(Single Stage Headless Face Detector)中的SSH context module提高人头检测的检出率；

2.联合采用oks距离矩阵与欧氏距离矩阵互补法，通过融合匹配方法实现人头跟踪，相比以单独的直线距离或oks距离作为度量方式的方法结果更为准确；

3.匈牙利匹配法是基于全局最优的策略，贪心匹配法是基于局部最优的策略，本发明使用融合级联、贪心、循环排除法的匹配法，是基于局部综合性最优的策略，其跟踪效果优于匈牙利匹配法与贪心匹配法；

4.基于人头运动轨迹分析的客流统计方法能够还原出人的运动位置与方向信息，多种测试场景下统计结果的准确率能达95%以上。

附图说明

图1是本发明的基于头部检测的客流统计方法流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明的基于头部检测的客流统计方法，包括如下步骤：

1.基于One-Stage的目标检测算法，结合Tiny-yolo的网络结构与SSH(Single StageHeadless Face Detector)中的SSH 语境模块对输入的初始帧图片进行检测，得到一个或多个人头框坐标；为每一个人头框创建一条路径，用来保存该人头框中心点在后续帧中的位置信息，每一条路径分配一个id号；

2.输入当前帧图片进行人头检测得到当前帧人头框坐标；

3.以oks距离作为度量方式，以欧氏距离作为补充度量方式，用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵；

4.存活的所有路径与当前帧检测出的人头框之间的关联，具体包括如下步骤：

（1）关联操作：向融合匹配法输入距离矩阵，将当前帧检测出的人头框与路径进行匹配；（2）对匹配上人头框的路径进行更新：存入被匹配上的人头框中心点坐标。每条路径最多匹配上一个人头框，假设第n条路径匹配上了第m个人头框，向第n条路径存入第m个人头框的中心点坐标；（3）对当前帧中没有被匹配上的人头框进行初始化，创建新路径，并分配id号。假设当前帧中第k个与第q个人头框没有被任何一条路径匹配上，那么，初始化两条路径，分别用来存放这两个人头框中心点在后续帧中的坐标，并分配两个不同的id号。此时，总路径中新增了两条路径；（4）删除连续n帧没有匹配上人头框的路径，未被删除的路径即为存活的路径；

所用匹配方法是基于级联、贪心、循环排除法的多融合方法，是一种局部综合性最优的策略。融合匹配方法具体为：（1）按照连续断帧的帧数对人头轨迹进行分类，优先考虑连续断帧次数少的路径与检测目标的关联关系；（2）采用贪婪法分别在oks距离矩阵横向、纵向方向上得到系列匹配对，对于剩余的没有建立匹配关系的路径与检测目标，用欧氏距离作为补充，在欧氏距离矩阵横向、纵向方向上得到补充匹配对；（3）分别选出产生交集的系列匹配对与补充匹配对，每次排除一个可能性相对低的匹配对；（4）重新执行（2）与（3）步骤，直到不再产生有交集的匹配对为止；（5）输出最终的匹配对。

5.进出客流量统计：（1）进出人员计数：在路径连续s（s＜100）帧没有匹配上检测出的人头框时，分析该路径的历史运动轨迹，根据该路径人头框中心点运动距离长度、运动轨迹是否覆盖活跃区域来判断其是否满足计数要求，达到计数要求时根据其运动方向判断人员进或出的状态；（2）判断活跃区域内同一路径是否因为断裂而被计数2次：查找路径是否在活跃区内消失了而另一条路径在满足一定的帧差范围条件下在活跃区域内进行了初始化步骤，并且两条路径运动方向的差异满足一定范围，在计数上也同为进或同为负。如果同时满足上述条件，便减去多余的一次计数；（3）对已经计数过的路径进行标记，标记结束时重新初始化路径，并将该路径的起始坐标更新为标记结束时的坐标，id保持不变。每隔m帧分析一次该路径运动方向，当该条路径运动方向与被标记之前的运动方向相反时，重复步骤（1）和步骤（2）实现客流进出统计功能。

以上所述及图中所示的仅是本发明的优选实施方式。应当指出，对于本领域的普通技术人员来说，在不脱离本发明的原理的前提下，还可以作出若干变型和改进，这些也应视为属于本发明的保护范围。

Claims (4)

1.一种基于头部检测的客流统计方法，包括如下步骤：

步骤1.基于One-Stage的目标检测算法，结合Tiny-yolo的网络结构与SSH中的SSH 语境模块对输入的初始帧图片进行检测，得到一个或多个人头框坐标；为每一个人头框创建一条路径，用来保存该人头框中心点在后续帧中的位置信息，每一条路径分配一个id号；

步骤2.输入当前帧图片进行人头检测得到当前帧人头框坐标；

步骤3.以oks距离作为度量方式，以欧氏距离作为补充度量方式，用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵；

步骤4.关联存活的所有路径与当前帧检测出的人头框；

步骤5. 进出客流量统计。

2.如权利要求1所述的基于头部检测的客流统计方法，其特征在于：

步骤4具体包括如下步骤：

（1）关联操作：向融合匹配法输入距离矩阵，将当前帧检测出的人头框与路径进行匹配；

（2）对匹配上人头框的路径进行更新：存入被匹配上的人头框中心点坐标；每条路径最多匹配上一个人头框，假设第n条路径匹配上了第m个人头框，向第n条路径存入第m个人头框的中心点坐标；

（3）对当前帧中没有被匹配上的人头框进行初始化，创建新路径，并分配id号；假设当前帧中第k个与第q个人头框没有被任何一条路径匹配上，那么，初始化两条路径，分别用来存放这两个人头框中心点在后续帧中的坐标，并分配两个不同的id号，此时，总路径中新增了两条路径；

（4）删除连续n帧没有匹配上人头框的路径，未被删除的路径即为存活的路径。

3.如权利要求2所述的基于头部检测的客流统计方法，其特征在于：步骤4中所用融合匹配方法具体为：

（1）按照连续断帧的帧数对人头轨迹进行分类，优先考虑连续断帧次数少的路径与检测目标的关联关系；

（2）采用贪婪法分别在oks距离矩阵横向、纵向方向上得到系列匹配对，对于剩余的没有建立匹配关系的路径与检测目标，用欧氏距离作为补充，在欧氏距离矩阵横向、纵向方向上得到补充匹配对；

（3）分别选出产生交集的系列匹配对与补充匹配对，每次排除一个可能性相对低的匹配对；

（4）重新执行步骤（2）与（3），直到不再产生有交集的匹配对为止；

（5）输出最终的匹配对。

4.如权利要求1所述的基于头部检测的客流统计方法，其特征在于：所述步骤5具体为：

（1）进出人员计数：在路径连续s帧没有匹配上检测出的人头框时，s＜100，分析该路径的历史运动轨迹，根据该路径人头框中心点运动距离长度、运动轨迹是否覆盖活跃区域来判断其是否满足计数要求，达到计数要求时根据其运动方向判断人员进或出的状态；

（2）判断活跃区域内同一路径是否因为断裂而被计数2次：查找路径是否在活跃区内消失了而另一条路径在满足一定的帧差范围条件下在活跃区域内进行了初始化步骤，并且两条路径运动方向的差异满足一定范围，在计数上也同为进或同为负；如果同时满足上述条件，便减去多余的一次计数；

（3）对已经计数过的路径进行标记，标记结束时重新初始化路径，并将该路径的起始坐标更新为标记结束时的坐标，id保持不变；每隔m帧分析一次该路径运动方向，当该条路径运动方向与被标记之前的运动方向相反时，重复步骤（1）和（2）。