CN111160243A - 客流量统计方法及相关产品 - Google Patents

Abstract

本申请实施例提供了一种客流量统计方法及相关产品，其中，方法包括：获取预设时段内针对预设区域的视频片段，对视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像，根据多组人头关键点集，确定多个目标对象，确定多个目标对象对应的多个运动轨迹，每一目标对象对应一个运动轨迹，根据多个运动轨迹，确定预设区域内的客流量，如此，可检测预设区域内多组人头关键点集，根据人头关键点集除去重复的对象，以确定多个目标对象，并根据上述多个目标对象的运动轨迹，确定预设区域内的客流量，有利于提高统计客流量的准确率。

Description

客流量统计方法及相关产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种客流量统计方法及相关产品。

背景技术

行人计数是用于评价人防安全的重要指标之一，在商场，机场，地铁和火车站有对客流量统计的需求。目前，主要基于传统图像处理的方法如使用adaboost(迭代算法)方式或者基于人脸检测的方法，但是，传统图像及处理方式鲁棒性较差，而基于人脸检测的方法对于人流量大、人脸密集或者人脸遮挡严重的场景的检测不准确，从而导致客流量的统计不够准确。

发明内容

本申请实施例提供了一种客流量统计方法及相关产品，可以提高统计客流量的准确率。

第一方面，本申请实施例提供了一种客流量统计方法，包括：

获取预设时段内针对预设区域的视频片段；

对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像；

根据所述多组人头关键点集，确定多个目标对象；

确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹；

根据所述多个运动轨迹，确定所述预设区域内的客流量。

第二方面，本申请实施例提供了一种客流量统计装置，包括：

获取单元，用于获取预设时段内针对预设区域的视频片段；

检测单元，用于对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像；

确定单元，用于根据所述多组人头关键点集，确定多个目标对象；

所述确定单元，还用于确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹；

所述确定单元，还用于根据所述多个运动轨迹，确定所述预设区域内的客流量。

第三方面，本申请提供了一种服务器，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。

第五方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具有如下有益效果：

可以看出，通过本申请实施例所描述的客流量统计方法及相关产品，应用于服务器，获取预设时段内针对预设区域的视频片段，对视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像，根据多组人头关键点集，确定多个目标对象，确定多个目标对象对应的多个运动轨迹，每一目标对象对应一个运动轨迹，根据多个运动轨迹，确定预设区域内的客流量，如此，可检测预设区域内多组人头关键点集，根据人头关键点集除去重复的对象，以确定多个目标对象，并根据上述多个目标对象的运动轨迹，确定预设区域内的客流量，有利于提高统计客流量的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种客流量统计方法的实施例流程示意图；

图1B是本申请实施例提供的一种图像处理的结构示意图；

图2是本申请实施例提供的一种客流量统计方法的实施例流程示意图；

图3是本申请实施例提供的一种客流量统计装置的实施例结构示意图；

图4是本申请实施例提供的一种服务器的实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所描述服务器可以包括但不限于后台服务器、组件服务器、客流量统计系统服务器或客流量统计软件服务器等，上述仅是举例，而非穷举，包含但不限于上述装置。

需要说明的是，上述服务器可与多个摄像头连接，每一摄像头均可用于抓拍视频图像，每一摄像头均可有一个与之对应的位置标记，或者，可有一个与之对应的编号。通常情况下，摄像头可设置在公共场所，例如，学校、博物馆、十字路口、步行街、写字楼、车库、机场、医院、地铁站、车站、公交站台、超市、酒店、娱乐场所等等。摄像头在拍摄到视频图像后，可将该视频图像保存到服务器的存储器中。存储器中可存储有多个图像库，每一图像库可包含不同区域的不同视频图像，当然，每一图像库还可以用于存储一个区域的视频图像或者某个指定摄像头拍摄的视频图像。

请参阅图1A，为本申请实施例提供的一种客流量统计方法的实施例的流程示意图。本实施例中所描述的客流量统计方法，应用于服务器，包括以下步骤：

101、服务器获取预设时段内针对预设区域的视频片段。

其中，上述预设时段和预设区域可由用户自行设置或者系统默认，上述预设时段可为1小时、1天、5天、30天等等，在此不作限定，预设区域可包括以下至少一种：学校、博物馆、十字路口、步行街、写字楼、车库、机场、医院等等，在此不作限定；上述预设区域内可包括至少一个摄像头，服务器可获取至少一个摄像头中的任意一个指定摄像头在预设时段内拍摄的视频片段。

102、对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像。

其中，由于视频片段中并不是每一帧视频图像都包括人头或者人脸图像，为了精确的统计预设区域对应的人流量，可对视频片段中的每一帧视频图像进行人头关键点检测，以得到多组人头关键点集，每组人头关键点可对应一帧视频图像。

具体实现中，可通过对每帧视频图像进行特征提取，以得到多组人头关键点集，其中，上述特征提取的方法可包括以下至少一种：加速稳健特征(Speeded Up RobustFeature,SURF)、尺度不变特征转换(Scale Invariant Feature Transform,SIFT)、加速分割测试获得特征(Features from Accelerated Segment Test,FAST)、Harris角点法等等，在此不作限定。

可选地，上述步骤102，对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，可包括以下步骤：

21、对多帧视频图像进行预处理，得到多帧灰度图像，每一视频图像对应一帧灰度图像；

22、对所述多帧灰度图像中每一帧灰度图像进行目标提取，得到多组人头区域图像，每一组人头区域图像中包括至少一个人头图像，每组人头区域图像对应一帧灰度图像；

23、对所述多组人头区域图像中每一组人头区域图像进行关键点提取，得到多组人头关键点集，每组人头关键点集对应一组人头区域图像。

其中，由于在进行视频拍摄时，人来人往，不可能每一次采集的图像均为人脸图像，可能会是人脸遮挡情况或者行人是背对摄像头，因此，可进行人头关键点的检测。为了提高检测人头关键点的效率，可对上述多帧视频图像进行预处理，得到与原视频图像相同大小的多帧灰度图像，也就是说，输入的是原始的rgb视频图像，输出的与输入相同大小的灰度图像，例如，如输入时256*256的rgb视频图像，输出则是256*256的灰度图像。

此外，可将上述多帧灰度图像中每一帧灰度图像切分为多个大小相同的九宫格或者四宫格等等形状的区域图像，得到多组图像区域，再对上述多组图像区域进行目标提取，以得到多组人头区域图像，每一区域中可能存在至少一个人头区域图像，最后，可将上述多组人头区域图像输入预设神经网络，通过预设神经网络对多组人头区域图像中的每一人头区域图像进行关键点提取，以得到多组人头关键点集，每一组人头关键点集对应一帧灰度图像，每组人头关键点对应一组人头区域图像，如此，可得到多组人头关键点集。

其中，上述目标提取方法可包括以下至少一种：物体检测(Single Shot Multi-Box Detector,SSD)算法、基于多任务卷积神经网络(Multi-task Convolutional NeuralNetwork,MTCNN)的算法等等，在此不作限定；关键点提取的方法可包括以下至少一种：加速稳健特征(Speeded Up Robust Feature,SURF)、尺度不变特征转换(Scale InvariantFeature Transform,SIFT)、加速分割测试获得特征(Features from AcceleratedSegment Test,FAST)、Harris角点法等等，在此不作限定。

举例来说，如图1B所示，为一种图像处理的网络结构图，可输入视频图像，得到灰度图像，具体地，在输入视频图像以后，可对视频图像进行特征提取，得到包含人头特征信息的特征图，另外，在特征提取的过程中，可采用resnet(残差网络)的卷积神经网络针对特征图中的多个人头特征进行拼接，例如，可将两个特征器分别为256*256*128和256*256*512进行拼接之后，得到256*256*(128+512)的分类器，然后，采用该分类器对上述多个人头特征进行拼接处理得到包含人头特征信息的特征图；同时，在对上述特征图进行在采样时，由于会丢失一些未知的图像信息，因此，可在采样的过程中，可再次采用resnet(残差网络)的卷积神经网络对上述特征图中的人头特征进行拼接，以得到一些未知的图像的特征信息，最后，得到上述包含人头特征信息以及一些未知图像特征信息的的灰度图像，如此，可以最大化的保留视频图像中的特征信息。

此外，图1B中的两次采样均可为上采样，可在resnet对应的维度与上采样的特征图维度相同的层进行拼接操作，两次拼接时，采用的特征图维度可不相同，在得到包含有人头信息的灰度图像以后，该灰度图像中的峰值点即为上述视频图像中人头关键点的位置，可对上述灰度图像进行目标提取，以得到一组人头区域图像，对人头区域图像进行人头关键点提取，得到人头关键点集，如此，可提高关键点提取的效率，以得到更为丰富的关键点特征。

103、根据所述多组人头关键点集，确定多个目标对象。

其中，上述多组人头关键点集对应于上述视频图像中的每一帧图像，由于在视频拍摄时，每一帧图像中可能包括至少一个人头图像，因此，可根据上述多组人头关键点集，确定上述多组人头关键点集对应的多个目标对象，该目标对象为预设区域内的任意一个人。

可选地，上述步骤103，根据所述多组人头关键点集，确定多个目标对象，可包括以下步骤：

31、将人头区域图像i对应的人头关键点集i与人头区域图像j对应的人头关键点集j进行匹配，得到多个匹配值，其中，每一匹配值对应一个人头区域，所述人头区域图像i和所述人头区域图像j分别对应灰度图像i和灰度图像j，所述灰度图像i和所述灰度图像j为所述多帧灰度图像中任意两帧灰度图像；

32、计算所述多个匹配值的均值；

33、若所述均值超过预设阈值，则确定所述人头关键点集i和所述人头关键点集j对应同一个目标对象。

其中，由于在上述多帧视频图像中，可能同一个目标对象会出现于多帧视频图像中，因此，可对上述多帧图像进行去重，得到多个目标对象；上述预设阈值可为用户自行设置或者系统默认，可将每两帧灰度图像分别对应的多个人头区域图像中每一人头区域图像对应的人头关键点集进行相互匹配，可得到多组匹配值，根据多组匹配值，得到多个目标对象。

具体实现中，可将人头区域图像i对应的人头关键点集i与人头区域图像j对应的人头关键点集j进行匹配，得到多个匹配值，然后，由于每个人头区域图像中的特征点的数目是不同的，为了提高匹配的准确率，因此，可计算上述多个匹配值的均值，若该均值超过预设阈值，则表明其对应的两个人头区域图像中的人头为同一人，也就是同一目标对象，如此，将每两帧灰度图像分别对应的多个人头区域图像中每一人头区域图像对应的人头关键点集进行相互匹配，可筛除重复的人头特征点，以得到多个目标对象。

104、确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹。

其中，由于上述目标对象在上述预设区域移动时，每一目标对象的移动路径不同，每一目标对象的移动路径可能存在交叉或重复的情况，因此，可确定每一目标对象的运动轨迹，得到多个目标对象对应的多个运动路径，具体地，可在预设区域内，对每一目标对象进行目标跟踪，以得到每一目标对象的运动路径。

可选地，上述步骤104，确定所述多个目标对象对应的多个运动轨迹，可包括如下步骤：

41、确定所述多组人头关键点中每一人头关键点集的第一坐标，得到多组第一坐标，每组第一坐标中包括至少一个第一坐标，每组第一坐标对应一帧视频图像；

42、将所述多帧视频图像中每连续两帧所述视频图像对应的两组第一坐标进行一一对比，得到所述每一目标对象对应的运动轨迹，得到多个运动轨迹。

其中，可根据上述多帧视频图像，对上述多个目标对象进行目标定位，得到每一帧视频图像中每一目标对象的运动轨迹，由于每一目标对象可能在视频图像中均对应至少一个人头关键点，因此，可根据多组人头关键点，得到多个目标对象对应的多个运动轨迹，具体实现中，可确定上述每帧视频图像中每一人头关键点对应的第一坐标，得到多组第一坐标，每一组第一坐标对应一帧视频图像。

此外，由于上述多帧视屏图像是在预设时段内的预设区域采集的，上述多帧视频是连续时段内采集的，则可基于不同的时刻得到每一目标对象的运动轨迹，因此，可将目标对象m对应的多帧视频图像中每连续两帧视频图像对应的多个第一坐标进行连接，得到目标对象m对应的运动轨迹，该目标对象m可为上述多个目标对象中任意一个，因此，可在同一二维坐标系中，将多帧视频图像中每连续两帧多个目标对象对应的第一坐标进行一一对比，并连接起来，可得到多个运动轨迹，每一运动轨迹对应一个目标对象，如此，可更为精确的确定每一目标对象对应的运动轨迹，更有利于后续的客流量的确定。

105、根据所述多个运动轨迹，确定所述预设区域内的客流量。

其中，由于每一目标对象可对应一个运动轨迹，在确定预设区域内的客流量时，需要根据该运动轨迹确定其对应的目标对象是进入预设区域还是离开预设区域，因此，可根据多个运动管理经，确定预设区域内的客流量。

可选地，上述步骤105，根据所述多个运动轨迹，确定所述预设区域内的客流量，可包括以下步骤：

51、获取所述多个目标对象的空间位置，得到多个空间位置，每一空间位置对应一个所述目标对象；

52、根据所述多个运动轨迹确定所述多个目标对象中每一目标对象的位置区域，得到多个位置区域，每一位置区域对应一个所述目标对象；

53、根据所述多个空间位置和所述多个位置区域，确定所述多个目标对象与目标参照物之间的位置关系；

54、根据所述多个位置关系，确定所述预设区域内的客流量。

其中，上述目标参照物可为预设区域内的一个门或者窗户等等，根据该目标参照物判断预设区域内的人流量变化，因此，可根据目标对象与该目标参照物的位置关系，确定预设区域内的客流量，具体实现中，在该预设区域对应的三维空间中，确定每一目标对象的多个空间位置以及上述目标对象对应的空间位置，每一空间位置可对应一个目标对象，每一目标对象可至少对应一个空间位置，并根据每一目标对象对应的运动轨迹，确定每一目标对象在预设区域内运动的位置区域，得到多个位置区域，如此，可确定每一目标对象在预设区域内的运动范围。

此外，为了确定每一目标对象与目标参照物之间的位置关系，可根据上述多个空间位置、上述目标参照物对应的空间位置以及多个位置区域，确定每一目标对象与目标参照物之间的位置关系，最后，可根据每一目标对象对应的位置关系，确定每一目标对象是远离该目标参照物或者靠近该目标参照物，确定多个目标参照物是进入该预设区域还是远离该目标区域，从而，确定该预设区域内的客流量。

可选地，上述步骤54，根据所述多个位置关系，确定所述预设区域内的客流量，可包括以下步骤：

541、按照预设标识分配方法，对所述每一目标对象进行标识分配，得到每一目标对象对应一个标识信息；

542、根据所述多个位置关系，确定满足第一预设条件的至少一个位置关系对应的至少一个目标标识信息；

543、确定在所述预设时段内所述至少一个目标标识信息对应的至少一个出现次数，其中，每一目标标识信息对应一个出现次数；

544、若所述目标标识信息对应的出现次数满足第二预设条件，则确定所述目标标识信息对应的目标对象处于离开状态，否则，所述目标对象处于进入状态；

545、确定所述进入状态的第一人数和所述离开状态的第二人数；

546、根据所述第一人数和第二人数，确定所述预设区域内的客流量。

其中，上述多个位置关系反映了目标对象与目标参照物之间的空间位置，也反映出了上述多个目标对象进入或者离开预设区域，上述第一预设条件可为用户自行设置或者系统默认，例如，可计算目标对象与目标参照物之间的空间距离，若该空间距离小于或等于预设距离阈值，则可认为该目标对象与目标参照物之间的位置关系满足第一预设条件，反之，不满足第一预设条件，上述预设距离阈值可为用户自行设置或者系统默认，在此不作限定，因此，可通过确定进出该目标参照物的目标对象的人数，来确定预设区域内的客流量。

此外，上述预设标识分配方法可为用户自行设定或者系统默认，由于出入该预设区域内的目标对象可能是背对或者侧对上述指定摄像头，因此，为了区分每一目标对象，可对每一目标对象进行标识信息分配，得到多个标识信息，如表1所述，为一种标识分配方法。

表1一种标识分配方法

目标对象	标识
		目标对象1	00001
目标对象2	00002
		目标对象3	00003

进一步地，为了得到预设时段内预设区域内的客流量，因此，可根据上述多个位置关系，并确定上述至少一个目标对象对应的目标标识信息，得到至少一个目标标识信息，并通过多帧视频图像，确定上述至少一个标识信息的出现次数，根据至少一个出现次数，确定至少一个目标对象的场景状态，该场景状态包括进入状态和离开状态，上述进入状态表示进入预设区域，离开状态表示离开预设区域。

举例来说，上述第二预设条件可为用户自行设置或者系统默认，当目标对象处于以目标参照物为中心，预设长度为半径的区域内时，可定义此时该用户处于靠近目标参照物的状态，反之，为远离该目标参数物的状态；若目标对象m的出现次数为k，选取出现次数k，靠近目标参照物的次数为k1，远离该目标参照物的次数为k2，若k1-k2>0或者k1-k2＝0，则表示该目标对象m的场景状态为进入状态，若k1-k2<0，则表示该目标对象m的场景状态为离开状态。

最后，可确定上述至少一个目标标识信息对应的场景状态为进入状态对应的第一人数以及场景状态为离开状态对应的第二人数，则上述预设区域内的客流量为|第一人数-第二人数|，如此，若目标对象的人脸为遮挡或者背对指定摄像头情况下时，仍然可以通过目标对象对应的标识信息，确定预设区域内的客流量。

可以看出，通过本申请实施例所提供的客流量统计方法，应用于服务器，获取预设时段内针对预设区域的视频片段，对视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像，根据多组人头关键点集，确定多个目标对象，确定多个目标对象对应的多个运动轨迹，每一目标对象对应一个运动轨迹，根据多个运动轨迹，确定预设区域内的客流量，如此，可检测预设区域内多组人头关键点集，根据人头关键点集除去重复的对象，以确定多个目标对象，并根据上述多个目标对象的运动轨迹，确定预设区域内的客流量，有利于提高统计客流量的准确率。

与上述一致地，请参阅图2，为本申请实施例提供的一种客流量统计方法的实施例流程示意图。本实施例中所描述的客流量统计方法，包括以下步骤：

201、获取预设时段内针对预设区域的视频片段。

202、对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像。

203、根据所述多组人头关键点集，确定多个目标对象。

204、确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹。

205、获取所述多个目标对象的空间位置，得到多个空间位置，每一空间位置对应一个所述目标对象。

206、根据所述多个运动轨迹确定所述多个目标对象中每一目标对象的位置区域，得到多个位置区域，每一位置区域对应一个所述目标对象。

207、根据所述多个空间位置和所述多个位置区域，确定所述多个目标对象与目标参照物之间的位置关系，得到多个位置关系，所述位置关系包括靠近或者远离。

208、按照预设标识分配方法，对所述每一目标对象进行标识分配，得到每一目标对象对应一个标识信息。

209、根据所述多个位置关系，确定满足第一预设条件的至少一个位置关系对应的至少一个目标标识信息。

210、确定在所述预设时段内所述至少一个目标标识信息对应的至少一个出现次数，其中，每一目标标识信息对应一个出现次数。

211、若所述目标标识信息对应的出现次数满足第二预设条件，则确定所述目标标识信息对应的目标对象处于离开状态；否则，所述目标对象处于进入状态。

212、确定所述进入状态的第一人数和所述离开状态的第二人数。

213、根据所述第一人数和第二人数，确定所述预设区域内的客流量。

可选地，上述步骤201-步骤213的具体描述可参照图1A所描述的客流量统计方法的步骤101-步骤105的对应步骤，在此不再赘述。

可以看出，通过本申请实施例所提供的客流量统计方法，应用于服务器，获取预设时段内针对预设区域的视频片段，对视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像，根据多组人头关键点集，确定多个目标对象，确定多个目标对象对应的多个运动轨迹，每一目标对象对应一个运动轨迹，获取多个目标对象的空间位置，得到多个空间位置，每一空间位置对应一个目标对象，根据多个运动轨迹确定多个目标对象中每一目标对象的位置区域，得到多个位置区域，每一位置区域对应一个目标对象，根据多个空间位置和多个位置区域，确定多个目标对象与目标参照物之间的位置关系，得到多个位置关系，位置关系包括靠近或者远离，按照预设标识分配方法，对每一目标对象进行标识分配，得到每一目标对象对应一个标识信息，根据多个位置关系，确定满足第一预设条件的至少一个位置关系对应的至少一个目标标识信息，确定在预设时段内至少一个目标标识信息对应的至少一个出现次数，其中，每一目标标识信息对应一个出现次数，若目标标识信息对应的出现次数满足第二预设条件，则确定目标标识信息对应的目标对象处于离开状态，否则，目标对象处于进入状态，确定进入状态的第一人数和离开状态的第二人数如此，可通过对每一目标对象进行ID分配，通过ID实现对不同的目标对象的识别，以避免上述多个目标对象的人脸图像或者头部在被遮挡的情况下，不利于客流量的统计，以提高客流量统计的准确性。

与上述一致地，以下为实施上述客流量统计方法的装置，具体如下：

请参阅图3，为本申请实施例提供的一种客流量统计装置的实施例结构示意图。本实施例中所描述的客流量统计装置，包括：获取单元301、检测单元302和确定单元303，具体如下：

所述获取单元301，用于获取预设时段内针对预设区域的视频片段；

所述检测单元302，用于对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像；

所述确定单元303，用于根据所述多组人头关键点集，确定多个目标对象；

所述确定单元303，还用于确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹；

所述确定单元303，还用于根据所述多个运动轨迹，确定所述预设区域内的客流量。

其中，上述获取单元301可用于实现上述步骤101所描述的方法，检测单元302可用于实现上述步骤102所描述的方法，确定单元303可用于实现上述步骤103、104以及105所描述的方法，以下如此类推。

可以看出，通过本申请实施例所描述的客流量统计装置，可获取预设时段内针对预设区域的视频片段，对视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像，根据多组人头关键点集，确定多个目标对象，确定多个目标对象对应的多个运动轨迹，每一目标对象对应一个运动轨迹，根据多个运动轨迹，确定预设区域内的客流量，如此，可检测预设区域内多组人头关键点集，根据人头关键点集除去重复的对象，以确定多个目标对象，并根据上述多个目标对象的运动轨迹，确定预设区域内的客流量，有利于提高统计客流量的准确率。

可以理解的是，本实施例的客流量统计装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

在一个可能的示例中，在对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集方面，上述检测单元302具体用于：

对多帧视频图像进行预处理，得到多帧灰度图像，每一视频图像对应一帧灰度图像；

对所述多帧灰度图像中每一帧灰度图像进行目标提取，得到多组人头区域图像，每一组人头区域图像中包括至少一个人头图像，每组人头区域图像对应一帧灰度图像；

对所述多组人头区域图像中每一组人头区域图像进行关键点提取，得到多组人头关键点集，每组人头关键点集对应一组人头区域图像。

在一个可能的示例中，在根据多组人头关键点集，确定多个目标对象方面，上述确定单元303具体用于：

将人头区域图像i对应的人头关键点集i与人头区域图像j对应的人头关键点集j进行匹配，得到多个匹配值，其中，每一匹配值对应一个人头区域，所述人头区域图像i和所述人头区域图像j分别对应灰度图像i和灰度图像j，所述灰度图像i和所述灰度图像j为所述多帧灰度图像中任意两帧灰度图像；

计算所述多个匹配值的均值；

若所述均值超过预设阈值，则确定所述人头关键点集i和所述人头关键点集j对应同一个目标对象。

在一个可能的示例中，在确定所述多个目标对象对应的多个运动轨迹方面，上述确定单元303具体还用于：

确定所述多组人头关键点集中每一人头关键点集的第一坐标，得到多组第一坐标，每组第一坐标中包括至少一个第一坐标，每组第一坐标对应一帧视频图像；

将所述多帧视频图像中每连续两帧所述视频图像对应的两组第一坐标进行一一对比，得到所述每一目标对象对应的运动轨迹，得到多个运动轨迹。

在一个可能的示例中，在根据所述多个运动轨迹，确定所述预设区域内的客流量方面，上述确定单元303具体还用于：

获取所述多个目标对象的空间位置，得到多个空间位置，每一空间位置对应一个所述目标对象；

根据所述多个运动轨迹确定所述多个目标对象中每一目标对象的位置区域，得到多个位置区域，每一位置区域对应一个所述目标对象；

根据所述多个空间位置和所述多个位置区域，确定所述多个目标对象与目标参照物之间的位置关系，得到多个位置关系，所述位置关系包括靠近或者远离；

根据所述多个位置关系，确定所述预设区域内的客流量。

与上述一致地，请参阅图4，为本申请实施例提供的一种服务器的实施例结构示意图。本实施例中所描述的服务器，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。

其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。

上述输出设备2000具体可为显示屏。

上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：

上述处理器3000，用于：

获取预设时段内针对预设区域的视频片段；

对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像；

根据所述多组人头关键点集，确定多个目标对象；

确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹；

根据所述多个运动轨迹，确定所述预设区域内的客流量。

可以看出，通过本申请实施例所描述的服务器，可获取预设时段内针对预设区域的视频片段，对视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像，根据多组人头关键点集，确定多个目标对象，确定多个目标对象对应的多个运动轨迹，每一目标对象对应一个运动轨迹，根据多个运动轨迹，确定预设区域内的客流量，如此，可检测预设区域内多组人头关键点集，根据人头关键点集除去重复的对象，以确定多个目标对象，并根据上述多个目标对象的运动轨迹，确定预设区域内的客流量，有利于提高统计客流量的准确率。

在一种可能的示例中，在对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集方面，上述处理器3000还可用于：

对多帧视频图像进行预处理，得到多帧灰度图像，每一视频图像对应一帧灰度图像；

对所述多帧灰度图像中每一帧灰度图像进行目标提取，得到多组人头区域图像，每一组人头区域图像中包括至少一个人头图像，每组人头区域图像对应一帧灰度图像；

对所述多组人头区域图像中每一组人头区域图像进行关键点提取，得到多组人头关键点集，每组人头关键点集对应一组人头区域图像。

在一个可能的示例中，在根据多组人头关键点集，确定多个目标对象方面，上述处理器3000可用于：

将人头区域图像i对应的人头关键点集i与人头区域图像j对应的人头关键点集j进行匹配，得到多个匹配值，其中，每一匹配值对应一个人头区域，所述人头区域图像i和所述人头区域图像j分别对应灰度图像i和灰度图像j，所述灰度图像i和所述灰度图像j为所述多帧灰度图像中任意两帧灰度图像；

计算所述多个匹配值的均值；

若所述均值超过预设阈值，则确定所述人头关键点集i和所述人头关键点集j对应同一个目标对象。

在一个可能的示例中，在确定所述多个目标对象对应的多个运动轨迹方面，上述处理器3000可用于：

确定所述多组人头关键点集中每一人头关键点集的第一坐标，得到多组第一坐标，每组第一坐标中包括至少一个第一坐标，每组第一坐标对应一帧视频图像；

将所述多帧视频图像中每连续两帧所述视频图像对应的两组第一坐标进行一一对比，得到所述每一目标对象对应的运动轨迹，得到多个运动轨迹。

在一个可能的示例中，在根据所述多个运动轨迹，确定所述预设区域内的客流量方面，上述处理器3000可用于：

获取所述多个目标对象的空间位置，得到多个空间位置，每一空间位置对应一个所述目标对象；

根据所述多个运动轨迹确定所述多个目标对象中每一目标对象的位置区域，得到多个位置区域，每一位置区域对应一个所述目标对象；

根据所述多个空间位置和所述多个位置区域，确定所述多个目标对象与目标参照物之间的位置关系，得到多个位置关系，所述位置关系包括靠近或者远离；

根据所述多个位置关系，确定所述预设区域内的客流量。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种客流量统计方法的部分或全部步骤。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程客流量统计设备的处理器以产生一个机器，使得通过计算机或其他可编程客流量统计设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程客流量统计设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程客流量统计设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种客流量统计方法，其特征在于，包括：

获取预设时段内针对预设区域的视频片段；

对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像；

根据所述多组人头关键点集，确定多个目标对象；

确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹；

根据所述多个运动轨迹，确定所述预设区域内的客流量。

2.根据权利要求1所述的方法，其特征在于，所述确定所述多个目标对象对应的多个运动轨迹，包括：

确定所述多组人头关键点集中每一人头关键点集的第一坐标，得到多组第一坐标，每组第一坐标中包括至少一个第一坐标，每组第一坐标对应一帧视频图像；

将所述多帧视频图像中每连续两帧所述视频图像对应的两组第一坐标进行一一对比，得到所述多个目标对象对应的多个运动轨迹，其中，每一目标对象对应一个运动轨迹。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个运动轨迹，确定所述预设区域内的客流量，包括：

获取所述多个目标对象的空间位置，得到多个空间位置，每一空间位置对应一个所述目标对象；

根据所述多个运动轨迹确定多个位置区域，所述多个位置区域与所述多个运动轨迹一一对应，所述多个位置区域与所述多个目标对象一一对应；

根据所述多个空间位置和所述多个位置区域，确定所述多个目标对象与目标参照物之间的位置关系，得到多个位置关系；

根据所述多个位置关系，确定所述预设区域内的客流量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个位置关系，确定所述预设区域内的客流量，包括：

按照预设标识分配方法，对所述每一目标对象进行标识分配，得到每一目标对象对应一个标识信息；

根据所述多个位置关系，确定满足第一预设条件的至少一个位置关系对应的至少一个目标标识信息；

确定在所述预设时段内所述至少一个目标标识信息对应的至少一个出现次数，其中，每一目标标识信息对应一个出现次数；

若所述目标标识信息对应的出现次数满足第二预设条件，则确定所述目标标识信息对应的目标对象处于离开状态，否则，所述目标对象处于进入状态；

确定所述进入状态的第一人数和所述离开状态的第二人数；

根据所述第一人数和第二人数，确定所述预设区域内的客流量。

5.根据权利要求1所述的方法，其特征在于，所述对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，包括：

对多帧视频图像进行预处理，得到多帧灰度图像，每一视频图像对应一帧灰度图像；

对所述多帧灰度图像中每一帧灰度图像进行目标提取，得到多组人头区域图像，每一组人头区域图像中包括至少一个人头图像，每组人头区域图像对应一帧灰度图像；

对所述多组人头区域图像中每一组人头区域图像进行关键点提取，得到多组人头关键点集，每组人头关键点集对应一组人头区域图像。

6.根据权利要求5所述的方法，其特征在于，所述根据多组人头关键点集，确定多个目标对象，包括：

将人头区域图像i对应的人头关键点集i与人头区域图像j对应的人头关键点集j进行匹配，得到多个匹配值，其中，每一匹配值对应一个人头区域，所述人头区域图像i和所述人头区域图像j分别对应灰度图像i和灰度图像j，所述灰度图像i和所述灰度图像j为所述多帧灰度图像中任意两帧灰度图像；

计算所述多个匹配值的均值；

若所述均值超过预设阈值，则确定所述人头关键点集i和所述人头关键点集j对应同一个目标对象。

7.一种客流量统计装置，其特征在于，包括：

获取单元，用于获取预设时段内针对预设区域的视频片段；

检测单元，用于对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集，每一组人头关键点集对应一帧视频图像；

确定单元，用于根据所述多组人头关键点集，确定多个目标对象；

所述确定单元，还用于确定所述多个目标对象对应的多个运动轨迹，每一所述目标对象对应一个运动轨迹；

所述确定单元，还用于根据所述多个运动轨迹，确定所述预设区域内的客流量。

8.根据权利要求7所述的装置，其特征在于，在所述对所述视频片段中每一帧视频图像进行人头关键点检测，得到多组人头关键点集方面，所述获取单元具体用于：

对所述多帧视频图像进行预处理，得到多帧灰度图像，每一视频图像对应一帧灰度图像；

对所述多帧灰度图像中每一帧灰度图像进行目标提取，得到多组人头区域图像，每一组人头区域图像中包括至少一个人头图像，每组人头区域图像对应一帧灰度图像；

对所述多组人头区域图像中每一组人头区域图像进行关键点提取，得到多组人头关键点集，每组人头关键点集对应一组人头区域图像。

9.一种服务器，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。

Images