CN113705470A - 获取客流信息的方法、装置、计算机设备以及存储介质 - Google Patents

Abstract

本公开提供了获取客流信息的方法、装置、计算机设备以及存储介质，其中，该方法包括：获取至少一个目标设备对预设区域进行拍摄得到的视频流；所述预设区域与目标区域的出入口相邻，并且不在所述目标区域内；确定与所述目标区域对应的客流判定标志；识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹；基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息。

Description

获取客流信息的方法、装置、计算机设备以及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种获取客流信息的方法、装置、计算机设备以及存储介质。

背景技术

客流统计可以给出某一特定的场所在一定时间内的客流量等信息。现今，客流的识别和统计是计算机视觉领域的重要问题，但传统方案中基于计算机视觉的客流统计多为正向客流统计，即需要摄像头能够直接拍摄到需要进行客流统计的场所，难以满足一些不能在内部安装摄像头区域的需求，比如，高端商场无法将摄像头装入品牌店铺内。

因此，如何针对不能在内部安装摄像头的场所进行客流信息的识别和统计，是亟待解决的问题。

发明内容

本公开实施例至少提供一种获取客流信息的方法、装置、计算机设备以及存储介质。

第一方面，本公开实施例提供了一种获取客流信息的方法，包括：

获取至少一个目标设备对预设区域进行拍摄得到的视频流；所述预设区域与目标区域的出入口相邻，并且不在所述目标区域内；

确定与所述目标区域对应的客流判定标志；

识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹；

基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息。

该方面，通过与目标区域的出入口相邻，且不在目标区域内的预设区域中产生的目标对象的运行轨迹、以及与目标区域对应的客流判定标志，能够较为准确地预测出目标对象相对于目标区域的具体的行为，比如预测目标对象进入或离开目标区域，进而能够在目标设备未对目标区域进行拍摄的情况下，获得目标区域内的客流信息。

一种可选的实施方式中，所述基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息，包括：

在确定所述运行轨迹与所述客流判定标志相交的情况下，确定所述运行轨迹相对于所述客流判定标志的移动方向；

基于所述移动方向，确定所述目标区域内的客流信息。

该实施方式，在运行轨迹与客流判定标志相交的情况下，说明目标对象有进入或离开目标区域的行为，之后，通过目标对象的运行轨迹相对于客流判定标志的移动方向，能够进一步的预测出目标对象的具体行为，比如进入目标区域或离开目标区域，进而能够较为准确地获取到目标设备无法拍摄到的目标区域内的客流信息，实现对该目标区域的客流统计。

一种可选的实施方式中，所述客流信息包括所述目标区域内的有效客流量；

所述基于所述移动方向，确定所述目标区域内的客流信息，包括：

在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向和指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的有效客流对象；

将所述有效客流对象的数量，作为所述目标区域内的有效客流量。

该实施方式，如果移动方向包括第一方向，则确定目标对象进入目标区域，如果移动方向包括第二方向，则确定该目标对象离开目标区域，在某一个目标对象既存在进入目标区域的行为，也存在离开目标区域的行为时，则该目标对象为目标区域的一个有效客流对象，因此，上述实施方式通过判断移动方向是否包括第一方向和第二方向，能够精确地统计出目标区域的有效客流量，进而具有针对性的管理目标区域，示例性的，在高端商场应用场景，可以统计品牌店铺的有效客流量，辅助商场运营人员对该店铺客流的评估；或者，为该店铺提供业务参考数据，比如进店顾客人数多但销售额低，则一种可能的原因是货品不符合顾客需求，此时，管理人员可以根据该业务参考数据，及时对货品做出调整。

一种可选的实施方式中，所述客流信息还包括所述有效客流对象在所述目标区域内的停留时长；

所述基于所述移动方向，确定所述目标区域内的客流信息，还包括：

基于所述有效客流对象的运行轨迹和所述客流判定标志，分别确定所述有效客流对象的运行轨迹在所述第一方向上与所述客流判定标志相交的第一时间，以及确定所述有效客流对象的运行轨迹在所述第二方向上与所述客流判定标志相交的第二时间；

基于所述第一时间和所述第二时间，确定所述有效客流对象在所述目标区域内的停留时长。

该实施方式，由于第一方向为进入目标区域的方向，第二方向为离开目标区域的方向，因此，通过第一时间与第二时间的时间差，就能够确定出有效客流对象在目标区域内的停留时长，进而能够实现有针对性的管理目标区域。示例性的，在高端商场应用场景，可以统计每个顾客在店铺内的停留时长，如果停留时长较短，则说明该店铺货品不满足该顾客需求，此时，该店铺可以具有针对性的为停留时长较短的顾客设计满足其要求的货品。

一种可选的实施方式中，所述客流信息还包括所述有效客流对象在所述目标区域内的平均停留时长；

所述基于所述移动方向，确定所述目标区域内的客流信息，还包括：

基于各个所述有效客流对象在所述目标区域的停留时长和所述有效客流对象的数量，确定所述有效客流对象在所述目标区域内的平均停留时长。

该实施方式，利用每个目标对象在目标区域内的停留时长，能够准确地确定有效客流对象在目标区域内的平均停留时长。进而，通过确定出的有效客流对象在目标区域内的平均停留时长，能够有针对性的管理目标区域。示例性的，在高端商场应用场景，可以统计一天内光顾店铺的顾客的平均停留时长，如果平均停留时长较长，则说明该店铺货品比较符合顾客需求，可以将该时期的货品作为重点推广货品。

一种可选的实施方式中，所述客流信息还包括所述目标区域的进入客流量和离开客流量中的至少一项；

所述基于所述移动方向，确定所述目标区域内的客流信息，包括如下至少一项：

在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向的情况下，将对应的所述目标对象作为所述目标区域的进入客流对象；将所述进入客流对象的数量，作为所述目标区域内的进入客流量；

在所述移动方向包括指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的离开客流对象；将所述离开客流对象的数量，作为所述目标区域内的离开客流量。

该实施方式，通过判断移动方向是否包括第一方向，能够精确地统计出进入目标区域的进入客流对象的数量，通过判断移动方向是否包括第二方向，能够精确地统计出离开目标区域的离开客流对象的数量。

一种可选的实施方式中，所述识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹，包括：

识别所述视频流中的目标对象，确定所述目标对象的轨迹点以及所述轨迹点的时序信息；

基于所述目标对象的轨迹点以及所述轨迹点的时序信息，确定所述目标对象的运行轨迹。

该实施方式，通过轨迹点与每一轨迹点的时序信息，能够准确地还原目标对象的运行轨迹，为预测目标对象的行为做准备。

一种可选的实施方式中，所述确定与所述目标区域对应的客流判定标志，包括：

确定所述预设区域与所述目标区域的出入口的相对位置信息；

基于所述相对位置信息和所述预设区域的位置信息，确定与所述目标区域对应的所述客流判定标志。

该实施方式，通过上述相对位置信息和预设区域的位置信息，能够确定出客流判定标志的准确位置，利用该位置的客流判定标志预测目标对象的行为，能够提高预测目标对象的行为的准确率。

一种可选的实施方式中，在基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息之后，还包括：

基于所述客流信息，生成并上传客流统计报告；

所述客流统计报告包括所述客流信息，或者，包括所述客流信息以及以下至少一项：报告标识信息、视频流展示设备身份标识ID、目标设备身份标识ID、目标区域身份标识ID。

该实施方式，利用客流统计报告能够较为准确和全面的反应目标区域内的客流的相关信息，进而，利用该客流统计报告，能够实现有针对性地对目标区域进行管理。

第二方面，本公开实施例还提供一种获取客流信息的装置，包括：

视频流获取模块，用于获取至少一个目标设备对预设区域进行拍摄得到的视频流；所述预设区域与目标区域的出入口相邻，并且不在所述目标区域内；

标志确定模块，用于确定与所述目标区域对应的客流判定标志；

运行轨迹确定模块，用于识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹；

客流信息确定模块，用于基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息。

一种可选的实施方式中，所述客流信息确定模块，用于在确定所述运行轨迹与所述客流判定标志相交的情况下，确定所述运行轨迹相对于所述客流判定标志的移动方向；基于所述移动方向，确定所述目标区域内的客流信息。

一种可选的实施方式中，所述客流信息包括所述目标区域内的有效客流量；

所述客流信息确定模块，用于在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向和指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的有效客流对象；将所述有效客流对象的数量，作为所述目标区域内的有效客流量。

一种可选的实施方式中，所述客流信息还包括所述有效客流对象在所述目标区域内的停留时长；

所述客流信息确定模块，还用于基于所述有效客流对象的运行轨迹和所述客流判定标志，分别确定所述有效客流对象的运行轨迹在所述第一方向上与所述客流判定标志相交的第一时间，以及确定所述有效客流对象的运行轨迹在所述第二方向上与所述客流判定标志相交的第二时间；基于所述第一时间和所述第二时间，确定所述有效客流对象在所述目标区域内的停留时长。

一种可选的实施方式中，所述客流信息还包括所述有效客流对象在所述目标区域内的平均停留时长；

所述客流信息确定模块，还用于基于各个所述有效客流对象在所述目标区域的停留时长和所述有效客流对象的数量，确定所述有效客流对象在所述目标区域内的平均停留时长。

一种可选的实施方式中，所述客流信息还包括所述目标区域的进入客流量和离开客流量中的至少一项；

所述客流信息确定模块，还用于在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向的情况下，将对应的所述目标对象作为所述目标区域的进入客流对象；将所述进入客流对象的数量，作为所述目标区域内的进入客流量；在所述移动方向包括指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的离开客流对象；将所述离开客流对象的数量，作为所述目标区域内的离开客流量。

一种可选的实施方式中，所述运行轨迹确定模块，用于识别所述视频流中的目标对象，确定所述目标对象的轨迹点以及所述轨迹点的时序信息；基于所述目标对象的轨迹点以及所述轨迹点的时序信息，确定所述目标对象的运行轨迹。

一种可选的实施方式中，所述标志确定模块，用于确定所述预设区域与所述目标区域的出入口的相对位置信息；基于所述相对位置信息和所述预设区域的位置信息，确定与所述目标区域对应的所述客流判定标志。

一种可选的实施方式中，所述获取客流信息的装置还包括报告生成模块，用于在基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息之后，基于所述客流信息，生成并上传客流统计报告；

所述客流统计报告包括所述客流信息，或者，包括所述客流信息以及以下至少一项：报告标识信息、视频流展示设备身份标识ID、目标设备身份标识ID、目标区域身份标识ID。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

关于上述获取客流信息的装置、计算机设备、及计算机可读存储介质的效果描述参见上述获取客流信息的方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种获取客流信息的方法的流程图；

图2示出了本公开实施例所提供的一种预设区域与目标区域的布局示意图；

图3a示出了本公开实施例所提供的预设区域与目标区域出入口规则相邻场景下的展示示意图；

图3b示出了本公开实施例所提供的预设区域与目标区域出入口不规则相邻场景下的展示示意图；

图4示出了本公开实施例所提供的确定目标区域内的客流信息的流程图；

图5示出了本公开实施例所提供的目标对象在预设区域内的运行轨迹的示意图；

图6示出了本公开实施例所提供的一种获取客流信息的装置的示意图；

图7示出了本公开实施例所提供的一种计算机设备结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

经研究发现，客流统计是一种基于计算机视觉技术，来统计相关任务数据的方法。现今，客流的识别和统计是计算机视觉领域的重要问题，但传统方案中基于计算机视觉的客流统计多为正向客流统计，即需要摄像头能够照射到需要进行客流统计的场所，难以满足一些不能在内部安装摄像头区域的需求，比如，高端商场无法将摄像头装入品牌店铺内。

基于上述研究，本公开提供了一种获取客流信息的方法，通过与目标区域的出入口相邻，且不在目标区域内的预设区域中产生的目标对象的运行轨迹、以及与目标区域对应的客流判定标志，能够较为准确地预测出目标对象相对于目标区域的具体的行为，比如预测目标对象进入或离开目标区域，进而能够在目标设备未对目标区域进行拍摄的情况下，获得目标区域内的客流信息。

针对传统方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种获取客流信息的方法进行详细介绍，本公开实施例所提供的获取客流信息的方法的执行主体一般为具有一定计算能力的计算机设备，在一些可能的实现方式中，该获取客流信息的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为计算机设备为例对本公开实施例提供的获取客流信息的方法加以说明。

参见图1所示，其为本公开实施例提供的一种获取客流信息的方法的流程图，所述方法包括步骤S101～S104，其中：

S101：获取至少一个目标设备对预设区域进行拍摄得到的视频流；预设区域与目标区域的出入口相邻，并且不在目标区域内。

本步骤中，目标设备可以为摄像头等用于图像/视频采集的拍摄设备。目标设备的拍摄范围可以为预设区域，或预设区域内的部分区域。预设区域可以为至少一个目标设备拍摄的区域；或者，可以为预先设置的至少一个目标设备拍摄的区域中的感兴趣区域(Region Of Interest，ROI)。其中，预设区域都与目标区域的出入口相邻。目标区域可以为需要统计客流的区域，具体地，用户可以将需要统计客流的区域的计算机辅助设计(Computer Aided Design，CAD)图上传至系统，并在CAD图上画出目标区域，这里，目标区域为目标设备不能拍摄到的区域或是难以拍摄完整的区域，比如品牌店铺等一些不能安装摄像头的区域。

示例性的，可以将目标区域与目标设备关联。一个目标区域外可以对应安装有一个或是多个目标设备，安装位置可以根据实际应用场景进行设定，本公开实施例不具体限定。

这里，预设区域的位置的选择可以根据目标区域的出入口进行设置，示例性的，预设区域所在区域能够覆盖所有进入或离开目标区域的目标对象。设置预设区域与目标区域的出入口相邻，目的是为了利用目标设备拍摄到在预设区域内目标对象即将进入或已经离开目标区域的运行轨迹。可以参见图2所示，其为一种预设区域与目标区域的布局示意图。其中，虚线条部分表示目标区域的出入口。

示例性的，在预设区域面积较大的情况下，可以设置多个目标设备拍摄预设区域，以获取完整的对预设区域进行拍摄得到的视频流。

需要说明的是，图2中以目标区域包括两个出入口为例进行说明，在实际应用中目标区域所包括的出入口数量可以为一个或是多个，在此不予限定。在一种可能的实现方式中，单个出入口可允许人员进出，或是只允许人员进入或离开，具体可结合目标区域包括的出入口数量以及预先设置的规则来确定，在此不予限定。对于出入口具备单一职能的情况下，即出入口仅支持进入或离开，那么多个出入口中必然存在两个出入口具备不同的职能，即分别供人员进入和离开，那么可将两个出入口分别对应的预设区域的数据进行汇总处理，比如，结合两个出入口对应预设区域分别得到的进入客流量和离开客流量来确定有效客流量等，在此不予限定。

具体实施时，在确定要获取目标区域的客流信息的情况下，先查询与目标区域相关联的至少一个目标设备，并确定目标设备的标识信息，比如摄像头的身份标识号(Identity Document，ID)，之后，利用至少一个目标设备，可以直接获取到对预设区域进行拍摄得到的视频流，这里，目标设备拍摄的视频流可以包括但不仅限于通过实时流传输协议(Real Time Streaming Protocol，RTSP)传送的视频流。之后，将RTSP传送的视频流输入到深度神经网络模型进行解码处理，以获取解码后的每一帧的图像，每一帧图像中记录有该预设区域出现的目标对象。

在一些实施例中，通过设置预设区域为至少一个目标设备拍摄的区域中的ROI，能够减少对不相关区域内目标对象的检测，有利于提高检测效率，节约计算资源。

S102：确定与目标区域对应的客流判定标志。

本步骤中，客流判定标志可包括但不仅限于标线或区域。其中，标线或区域可以包括多种形态，具体的，标线可以包括规则标线(比如直线等)，或者，不规则标线(比如曲线等)；区域可以包括规则区域(比如矩形区域、圆形区域和椭圆形区域等)，或者，不规则区域(比如不规则多边形等)。

客流判定标志可以是基于目标区域的位置和预设区域的位置，在预设区域对应的图像上绘制的标线和/或区域(可手动绘制，自动绘制，或是基于自动绘制的内容进行手动/自动校正而得到)，客流判定标志的位置可以在预设区域与目标区域出入口相邻的位置，具体地，可以参见图3a所示，其为预设区域与目标区域出入口规则相邻场景下的展示示意图，其中，客流判定标志为直线。或者，可以参见图3b所示，其为预设区域与目标区域出入口不规则相邻场景下的展示示意图，其中，客流判定标志为曲线。本公开实施例中客流判定标志的绘制情况不仅限于上述两种应用场景，客流判定标志的形状可以任意绘制，本公开实施例不进行限定。

在绘制完客流判定标志之后，可以根据预设区域与目标区域的相对位置信息，设置客流判定标志的判定方向。具体地，客流判定标志的判定方向可以包括从预设区域指向目标区域的第一方向和从目标区域指向预设区域的第二方向。这里，第一方向和第二方向的展示示意图可以参见图3a或图3b所示，示例性的，第一方向31可以用于指示目标对象从预设区域进入目标区域的方向；第二方向32可以用于指示目标对象从目标区域离开的方向。

需要说明的是，在不同应用场景中客流判定标志的绘制和判定方向的设置可以根据实际应用场景进行设定，本公开实施例不进行具体限定。

在一些实施例中，系统还可以自动绘制客流判定标志，具体地确定预设区域与目标区域的出入口的相对位置信息；基于相对位置信息和预设区域的位置信息，确定客流判定标志。这里，利用预设区域与目标区域的出入口的相对位置信息，比如，相对位置信息为预设区域与目标区域的出入口相邻，那么按照需求，在预设区域与目标区域相邻的出入口的位置处绘制客流判定标志(可以参见图3a或图3b所示)。

S103：识别视频流中的目标对象，并确定目标对象的运行轨迹。

本步骤中，目标对象的运行轨迹为目标对象的轨迹点按照每个轨迹点生成的时间节点的先后顺序连接而成。

具体实施时，可以按照下述步骤识别视频流中的目标对象：

S1031、对视频流解码后的图像进行特征点提取，得到预设区域图像的多个特征点。

S1032、将多个特征点与实时存储的目标对象包含的多个特征点分别进行比对和关联，确定视频流中的目标对象。

具体实施时，可以获取目标对象的至少一个预设部位的特征点；基于至少一个预设部位的特征点，确定视频流中的目标对象。需要说明的是，这些特征点可以在基于视频流得到后进行实时存储，这里实时存储过程可以为，将视频流中提取的每一个目标对象的至少一个预设部位的特征点实时存储到系统中，以利用存储信息匹配不同时刻在预设区域不同位置的同一目标对象。这里，预设部位可以包括人脸、人体正面和人体背面(比如背影)等。至少一个预设部位的特征点，可以包括人脸特征点、人体正面特征点和人体背面特征点等。

示例性的，基于S101中解码后的每一帧图像，可以先提取图像中目标对象的人脸特征、人体正面特征和人体背面特征，并将人脸特征与人体正面特征和背面特征相关联，之后，系统无论识别到的人体正面特征还是人体背面特征，都可以和其相关联的人脸特征进行匹配，确定目标对象。

之后，确定目标对象的运行轨迹，具体实施时，首先，可以确定目标对象的轨迹点以及轨迹点的时序信息；之后，基于目标对象的轨迹点以及轨迹点的时序信息，确定目标对象的运行轨迹。

这里，目标对象的轨迹点可以包括当前目标对象所在位置的坐标信息。轨迹点的时序信息可以包括采集到轨迹点的时间节点，以及多个轨迹点之间的先后顺序信息。基于轨迹点对应的坐标信息和时序信息，可以确定目标对象的运行轨迹。

延续上例，在确定目标对象之后，系统实时跟踪该目标对象，定位目标对象，以确定目标对象在预设区域内的轨迹点(包括坐标信息)，这里，每一轨迹点的生成都对应一个时间节点，将该目标对象的若干个轨迹点按照时间节点顺序连接，可以生成目标对象的运行轨迹。

S104：基于目标对象的运行轨迹和客流判定标志，确定目标区域内的客流信息。

本步骤中，客流信息可以包括但不限于以下至少一种：有效客流量、有效客流对象在目标区域内的停留时长、有效客流对象在目标区域内的平均停留时长、目标区域的进入客流量和目标区域的离开客流量等。这里，有效客流对象为具有进入和离开目标区域行为的目标对象。有效客流量为有效客流对象的数量。

上述S101～S104通过与目标区域的出入口相邻，且不在目标区域内的预设区域中产生的目标对象的运行轨迹、以及与目标区域对应的客流判定标志，能够较为准确地预测出目标对象相对于目标区域的具体的行为，比如预测目标对象进入或离开目标区域，进而能够在目标设备未对目标区域进行拍摄的情况下，获得目标区域内的客流信息。

参见图4所示，其为确定目标区域内的客流信息的流程图，包括步骤S401～S403，具体地：

S401：基于运行轨迹和客流判定标志，判断运行轨迹与客流判定标志是否相交。

由于目标对象的运行轨迹是目标对象的若干个轨迹点按照时间节点顺序连接而成的，因此目标对象的运行轨迹是有方向的，即从前一时刻的轨迹点指向后一时刻的轨迹点。可以参见图5所示，其为目标对象在预设区域内的运行轨迹的示意图。

在已知运行轨迹和客流判定标志的情况下，可以通过判断运行轨迹与客流判定标志是否相交来预测出目标对象的行为。

S402：在确定运行轨迹与客流判定标志相交的情况下，确定运行轨迹相对于客流判定标志的移动方向。

本步骤中，在确定运行轨迹与客流判定标志相交的情况下，能够预测出目标对象有进入或离开目标区域的行为。

移动方向可以包括指示目标对象进入目标区域的第一方向和/或指示目标对象离开目标区域的第二方向，这里，第一方向和第二方向的展示效果可以参见图3a或图3b所示，重复部分不再赘述。

S403：基于移动方向，确定目标区域内的客流信息。

示例性的，如图5所示，圆圈虚线框指示目标对象的运行轨迹与客流判定标志相交，其中，运行轨迹1与客流判定标志相交，可以确定运行轨迹1相对于客流判定标志的移动方向为第一方向，进而可以预测目标对象具有进入目标区域的行为；运行轨迹2与客流判定标志相交，可以确定运行轨迹2相对于客流判定标志的移动方向为第二方向，进而可以预测目标对象具有离开目标区域的行为。

上述S401～S403，在运行轨迹与客流判定标志相交的情况下，说明目标对象有进入或离开目标区域的行为，之后，通过目标对象的运行轨迹相对于客流判定标志的移动方向，能够进一步的预测出目标对象的具体行为，比如进入目标区域或离开目标区域，进而能够较为准确地获取到目标设备无法拍摄到的目标区域内的客流信息，实现对该目标区域的客流统计。

在一个实施例中，在已知客流统计任务为统计进入目标区域的客流量的情况下，先判断目标对象的运行轨迹是否与客流判定标志相交，并在确定相交的情况下，进一步判断运行轨迹相对于客流判定标志的移动方向。具体地，首先，可以筛选出目标对象的运行轨迹相对于客流判定标志的移动方向中指示目标对象进入目标区域的第一方向，能够预测出目标对象有进入目标区域的行为，此时，可以将对应的目标对象作为目标区域的进入客流对象；之后，将进入客流对象的数量，作为目标区域内的进入客流量。示例性的，可以在一个周期内统计出进入目标区域的客流量。

在另一个实施例中，在已知客流统计任务为统计离开目标区域的客流量的情况下，先判断目标对象的运行轨迹是否与客流判定标志相交，并在确定相交的情况下，进一步判断运行轨迹相对于客流判定标志的移动方向。具体地，首先，可以从目标对象的运行轨迹与客流判定标志的移动方向中筛选出指示目标对象离开目标区域的第二方向，能够预测出目标对象有离开目标区域的行为，此时，可以将对应的目标对象作为目标区域的离开客流对象；之后，将离开客流对象的数量，作为目标区域内的离开客流量。示例性的，可以在一个周期内统计出离开目标区域的客流量。

在一些实施例中，客流信息包括目标区域内的有效客流量。在已知客流统计任务为统计目标区域内的有效客流量的情况下，先判断目标对象的运行轨迹是否与客流判定标志相交，并在确定相交的情况下，进一步判断运行轨迹相对于客流判定标志的移动方向。具体地，在移动方向包括指示目标对象进入目标区域的第一方向和指示目标对象离开目标区域的第二方向的情况下，将对应的目标对象作为目标区域的有效客流对象，即可以包括进入客流对象和离开客流对象；将有效客流对象的数量，作为目标区域内的有效客流量。

示例性的，在高端商场应用场景，可以统计品牌店铺的有效客流量，已知品牌店铺不能安装摄像头，商场管理人员要想统计该品牌店铺的有效客流量，只能将摄像头安装在店铺门口的通道中，获取进入和离开品牌店铺的顾客信息，以辅助商场运营人员对该品牌店铺的客流做出评估，具体评估内容，比如判断商场引进的商品是否符合顾客需求、到访顾客的年龄段信息、以及到访顾客的性别信息等。在已知顾客的运行轨迹相对于客流判定标志的移动方向既有进入品牌店铺的第一方向，又有离开品牌店铺的第二方向，则可以确定该顾客为该品牌店铺的有效客流对象，按照上述统计方法，能够在一定的周期内，统计出所有有效客流对象的数量，进而确定出该店铺的有效客流量。

在一些实施例中，在确定完目标区域内的客流信息之后，还可以基于客流信息，生成并上传客流统计报告，这里，客流统计报告可以包括客流信息。延续上例，在客流统计报告中的客流信息包括有效客流量时，可以利用该客流统计报告为品牌店铺提供业务参考数据，比如进店顾客人数多但销售额低，则一种可能的原因是货品不符合顾客需求，此时，管理人员可以根据该业务参考数据，及时对货品做出调整。

在一些实施例中，客流信息还包括有效客流对象在目标区域内的停留时长。在已知客流统计任务为统计有效客流对象在目标区域内的停留时长的情况下，先确定有效客流对象的运行轨迹与客流判定标志相交的相交时间(即下述的第一时间和第二时间)，进一步根据时间差确定停留时长。具体地，基于有效客流对象的运行轨迹和客流判定标志，确定有效客流对象的运行轨迹在第一方向上与客流判定标志相交的第一时间；基于有效客流对象的运行轨迹和客流判定标志，确定有效客流对象的运行轨迹在第二方向上与客流判定标志相交的第二时间；基于第一时间和第二时间，确定有效客流对象在目标区域内的停留时长。具体实施时，由于有效客流对象的运行轨迹是由若干个轨迹点组成的，首先确定在第一方向上与客流判定标志相交的轨迹点A，并确定该轨迹点A与客流判定标志相交的相交时间，即第一时间t₁；之后，确定该有效客流对象的运行轨迹在第二方向上与客流判定标志相交的轨迹点B，并确定该轨迹点B与客流判定标志相交的相交时间，即第二时间t₂；之后，基于第一时间和第二时间的，可以确定出有效客流对象在目标区域的停留时长T，即T＝t₂-t₁。

上述，由于第一方向为进入目标区域的方向，第二方向为离开目标区域的方向，因此，通过第一时间与第二时间的时间差，就能够确定出有效客流对象在目标区域内的停留时长，进而有针对性的管理目标区域。示例性的，在高端商场应用场景，客流统计报告中的客流信息包括每个顾客在店铺内的停留时长，如果停留时长较短，则说明该店铺货品不满足该顾客需求，此时，该店铺可以具有针对性的为停留时长较短的顾客设计满足其要求的货品。

在一些实施例中，客流信息还包括有效客流对象在目标区域内的平均停留时长。在已知客流统计任务为统计有效客流对象在目标区域内的平均停留时长的情况下，具体地，先确定有效客流对象的运行轨迹与客流判定标志相交的相交时间，即为第一时间和第二时间，进一步根据时间差确定停留时长，之后，基于各个有效客流对象在目标区域的停留时长和有效客流对象的数量，确定有效客流对象在目标区域内的平均停留时长

即

其中，T_i表示第i个有效客流对象的停留时长，i小于N，且i与N均为正整数。N表示周期范围内统计的有效客流对象的数量，N取正整数，其中，周期可以根据统计任务需要进行设定，比如一天或者一周等，在此不进行具体限定。

上述，通过确定出的有效客流对象在目标区域内的平均停留时长，能够有针对性的管理目标区域。示例性的，在高端商场应用场景，客流统计报告中的客流信息包括一天内光顾店铺的顾客的平均停留时长，如果平均停留时长较长，则说明该店铺货品比较符合顾客需求，可以将该时期的货品作为重点推广货品。

上述客流统计报告中除了包括为用户提供的客流信息之外，还可以包括但不仅限于以下至少一项：报告标识信息、视频流展示设备身份标识ID、目标设备身份标识ID、目标区域身份标识ID。这里，报告标识信息可以包括客流统计报告的名称、编号等信息。视频流展示设备比如发光二极管(Light-Emitting Diode，LED)显示屏、电脑的显示屏或手机等移动设备的屏幕等。

在一些实施例中，在启动客流统计任务之前，用户需要先配置参数，比如，在边缘硬件(比如电脑、手机等移动设备)的本地页面新建用于存储摄像头拍摄到的视频以及该客流统计任务的相关信息的文件，配置摄像头名称、视频流地址，添加视频任务等。之后，用户将需要进行监测的场地CAD图上传到系统，并在CAD图上画出目标区域，并配置目标区域的名称，比如身份标识ID。上述信息可以对应生成在客流统计报告中。

在参数配置成功后，系统可以实时追踪目标对象的运行轨迹，输出完成的轨迹报文，该轨迹报文包括不同目标设备对预设区域进行拍摄得到的各个目标对象在不同时间点产生的进入目标区域的行为和离开目标区域的行为对应的报文，并在业务层将轨迹还原，还原过程为对各个目标对象在目标区域外产生的轨迹点进行整合，确定目标对象的运行轨迹。之后，判断运行轨迹是否与客流判定标志相交，以及运行轨迹相对于客流判定标志的移动方向，完成对进入或离开目标区域的行为的判定。当一个目标对象ID(personid)同时有进入和离开目标区域的行为时，则该目标对象计为该目标区域的有效客流对象。

这里，进入目标区域的行为或离开目标区域的行为的报文包括：报文产生时间戳(timestamp)，边缘硬件ID(deviceID)，摄像头ID(cameraID)，进入目标区域的行为(in)，离开目标区域的行为(out)，目标区域ID(areaID)等。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与获取客流信息的方法对应的获取客流信息的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述获取客流信息的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参见图6所示，为本公开实施例提供的一种获取客流信息的装置的示意图，所述装置包括：视频流获取模块601、标志确定模块602，运行轨迹确定模块603和客流信息确定模块604；其中，

视频流获取模块601，用于获取至少一个目标设备对预设区域进行拍摄得到的视频流；所述预设区域与目标区域的出入口相邻，并且不在所述目标区域内；

标志确定模块602，用于确定与所述目标区域对应的客流判定标志；

运行轨迹确定模块603，用于识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹；

客流信息确定模块604，用于基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息。

一种可选的实施方式中，所述客流信息确定模块604，用于在确定所述运行轨迹与所述客流判定标志相交的情况下，确定所述运行轨迹相对于所述客流判定标志的移动方向；基于所述移动方向，确定所述目标区域内的客流信息。

一种可选的实施方式中，所述客流信息包括所述目标区域内的有效客流量；

所述客流信息确定模块604，用于在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向和指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的有效客流对象；将所述有效客流对象的数量，作为所述目标区域内的有效客流量。

一种可选的实施方式中，所述客流信息还包括所述有效客流对象在所述目标区域内的停留时长；

所述客流信息确定模块604，还用于基于所述有效客流对象的运行轨迹和所述客流判定标志，分别确定所述有效客流对象的运行轨迹在所述第一方向上与所述客流判定标志相交的第一时间，以及确定所述有效客流对象的运行轨迹在所述第二方向上与所述客流判定标志相交的第二时间；基于所述第一时间和所述第二时间，确定所述有效客流对象在所述目标区域内的停留时长。

一种可选的实施方式中，所述客流信息还包括所述有效客流对象在所述目标区域内的平均停留时长；

所述客流信息确定模块604，还用于基于各个所述有效客流对象在所述目标区域的停留时长和所述有效客流对象的数量，确定所述有效客流对象在所述目标区域内的平均停留时长。

一种可选的实施方式中，所述客流信息还包括所述目标区域的进入客流量和离开客流量中的至少一项；

所述客流信息确定模块604，还用于在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向的情况下，将对应的所述目标对象作为所述目标区域的进入客流对象；将所述进入客流对象的数量，作为所述目标区域内的进入客流量；在所述移动方向包括指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的离开客流对象；将所述离开客流对象的数量，作为所述目标区域内的离开客流量。

一种可选的实施方式中，所述运行轨迹确定模块603，用于识别所述视频流中的目标对象，确定所述目标对象的轨迹点以及所述轨迹点的时序信息；基于所述目标对象的轨迹点以及所述轨迹点的时序信息，确定所述目标对象的运行轨迹。

一种可选的实施方式中，所述标志确定模块602，用于确定所述预设区域与所述目标区域的出入口的相对位置信息；基于所述相对位置信息和所述预设区域的位置信息，确定与所述目标区域对应的所述客流判定标志。

一种可选的实施方式中，所述获取客流信息的装置还包括报告生成模块605，用于在基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息之后，基于所述客流信息，生成并上传客流统计报告；

所述客流统计报告包括所述客流信息，或者，包括所述客流信息以及以下至少一项：报告标识信息、视频流展示设备身份标识ID、目标设备身份标识ID、目标区域身份标识ID。

关于获取客流信息的装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述获取客流信息的方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图7所示，为本公开实施例提供的一种计算机设备结构示意图，包括：

处理器71和存储器72；所述存储器72存储有处理器71可执行的机器可读指令，处理器71用于执行存储器72中存储的机器可读指令，所述机器可读指令被处理器71执行时，处理器71执行下述步骤：

获取至少一个目标设备对预设区域进行拍摄得到的视频流；预设区域与目标区域的出入口相邻，并且不在目标区域内；

确定与目标区域对应的客流判定标志；

识别视频流中的目标对象，并确定目标对象的运行轨迹；

基于目标对象的运行轨迹和客流判定标志，确定目标区域内的客流信息。

上述存储器72包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换。

上述指令的具体执行过程可以参考本公开实施例中所述的获取客流信息的方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的获取客流信息的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的获取客流信息的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的获取客流信息的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种获取客流信息的方法，其特征在于，包括：

获取至少一个目标设备对预设区域进行拍摄得到的视频流；所述预设区域与目标区域的出入口相邻，并且不在所述目标区域内；

确定与所述目标区域对应的客流判定标志；

识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹；

基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息，包括：

在确定所述运行轨迹与所述客流判定标志相交的情况下，确定所述运行轨迹相对于所述客流判定标志的移动方向；

基于所述移动方向，确定所述目标区域内的客流信息。

3.根据权利要求2所述的方法，其特征在于，所述客流信息包括所述目标区域内的有效客流量；

所述基于所述移动方向，确定所述目标区域内的客流信息，包括：

在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向和指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的有效客流对象；

将所述有效客流对象的数量，作为所述目标区域内的有效客流量。

4.根据权利要求3所述的方法，其特征在于，所述客流信息还包括所述有效客流对象在所述目标区域内的停留时长；

所述基于所述移动方向，确定所述目标区域内的客流信息，还包括：

基于所述有效客流对象的运行轨迹和所述客流判定标志，分别确定所述有效客流对象的运行轨迹在所述第一方向上与所述客流判定标志相交的第一时间，以及确定所述有效客流对象的运行轨迹在所述第二方向上与所述客流判定标志相交的第二时间；

基于所述第一时间和所述第二时间，确定所述有效客流对象在所述目标区域内的停留时长。

5.根据权利要求4所述的方法，其特征在于，所述客流信息还包括所述有效客流对象在所述目标区域内的平均停留时长；

所述基于所述移动方向，确定所述目标区域内的客流信息，还包括：

基于各个所述有效客流对象在所述目标区域的停留时长和所述有效客流对象的数量，确定所述有效客流对象在所述目标区域内的平均停留时长。

6.根据权利要求3所述的方法，其特征在于，所述客流信息还包括所述目标区域的进入客流量和离开客流量中的至少一项；

所述基于所述移动方向，确定所述目标区域内的客流信息，包括如下至少一项：

在所述移动方向包括指示所述目标对象进入所述目标区域的第一方向的情况下，将对应的所述目标对象作为所述目标区域的进入客流对象；将所述进入客流对象的数量，作为所述目标区域内的进入客流量；

在所述移动方向包括指示所述目标对象离开所述目标区域的第二方向的情况下，将对应的所述目标对象作为所述目标区域的离开客流对象；将所述离开客流对象的数量，作为所述目标区域内的离开客流量。

7.根据权利要求1所述的方法，其特征在于，所述识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹，包括：

识别所述视频流中的目标对象，确定所述目标对象的轨迹点以及所述轨迹点的时序信息；

基于所述目标对象的轨迹点以及所述轨迹点的时序信息，确定所述目标对象的运行轨迹。

8.根据权利要求1所述的方法，其特征在于，所述确定与所述目标区域对应的客流判定标志，包括：

确定所述预设区域与所述目标区域的出入口的相对位置信息；

基于所述相对位置信息和所述预设区域的位置信息，确定与所述目标区域对应的所述客流判定标志。

9.根据权利要求1至8任一项所述的方法，其特征在于，在基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息之后，还包括：

基于所述客流信息，生成并上传客流统计报告；

所述客流统计报告包括所述客流信息，或者，包括所述客流信息以及以下至少一项：报告标识信息、视频流展示设备身份标识ID、目标设备身份标识ID、目标区域身份标识ID。

10.一种获取客流信息的装置，其特征在于，包括：

视频流获取模块，用于获取至少一个目标设备对预设区域进行拍摄得到的视频流；所述预设区域与目标区域的出入口相邻，并且不在所述目标区域内；

标志确定模块，用于确定与所述目标区域对应的客流判定标志；

运行轨迹确定模块，用于识别所述视频流中的目标对象，并确定所述目标对象的运行轨迹；

客流信息确定模块，用于基于所述目标对象的运行轨迹和所述客流判定标志，确定所述目标区域内的客流信息。

11.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至9任意一项所述的获取客流信息的方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至9任意一项所述的获取客流信息的方法的步骤。

Images