CN110276298A - 用户行为的判定方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种用户行为的判定方法、装置、存储介质和计算机设备，所述方法包括：获取对目标环境拍摄所得的至少两张图像；分别在所述至少两张图像中确定相应的人体特征；根据所述人体特征分别确定至少一个用户的人体运动轨迹和运动方向；在所述人体运动轨迹中筛选目标人体运动轨迹；所述目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；根据筛选所得的目标人体运动轨迹判定相应用户的行为。本申请提供的方案可以提高用户行为判断的准确性。

Description

用户行为的判定方法、装置、存储介质和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种用户行为的判定方法、装置、存储介质和计算机设备。

背景技术

随着互联网技术的不断发展，越来越多的传统行业开始与互联网技术进行深度融合，从而建构出一种新的发展生态，如传统零售业与互联网技术融合可以构建出创新的智慧零售，可以分析出对应智慧零售区(如智慧零售商场或店铺)的客流信息、驻留时间和转化率等等。零售服务商为了向广大用户提供优质服务和更好的运维智慧零售，需要采集智慧零售区的相关数据并进行分析，以判断用户进出入智慧零售区的行为以及在智慧零售区的其它行为。

传统的数据采集和分析方案中，主要是通过安装在智慧零售区的摄像头采集视频或图像，然后进行人脸捕捉，通过人脸捕捉的方式来进行用户行为的分析和判断。然而，通过人脸捕捉的方式来分析和判断用户行为，可能会因不确定性因素(如用户扭头或低头)而影响用户行为判断的准确性。

发明内容

基于此，有必要针对避免人脸捕捉过程中因不确定因素而影响用户行为判断的准确性的技术问题，提供一种用户行为的判定方法、装置、存储介质和计算机设备。

一种用户行为的判定方法，包括：

获取对目标环境拍摄所得的至少两张图像；

分别在所述至少两张图像中确定相应的人体特征；

根据所述人体特征分别确定至少一个用户的人体运动轨迹和运动方向；

在所述人体运动轨迹中筛选目标人体运动轨迹；所述目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；

根据筛选所得的目标人体运动轨迹判定相应用户的行为。

一种用户行为的判定装置，所述装置包括：

图像获取模块，用于获取对目标环境拍摄所得的至少两张图像；

人体特征确定模块，用于分别在所述至少两张图像中确定相应的人体特征；

运动信息确定模块，用于根据所述人体特征分别确定至少一个用户的人体运动轨迹和运动方向；

运动轨迹筛选模块，用于在所述人体运动轨迹中筛选目标人体运动轨迹；所述目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；

行为判定模块，用于根据筛选所得的目标人体运动轨迹判定相应用户的行为。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述用户行为的判定方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述用户行为的判定方法的步骤。

上述用户行为的判定方法、装置、存储介质和计算机设备，通过对拍摄目标环境所得到的两张或多张图像进行人体特征检测，根据人体特征在对应图像中的位置来估计人体运动轨迹和运动方向，从人体运动轨迹筛选目标人体运动轨迹，从而无需捕捉到用户人脸特征，也即在无法捕捉到用户特征的情况下，能准确地根据目标人体运动轨迹便判定出用户的行为。此外，通过运动方向以及与感兴趣区域的位置关系来过滤掉不满足条件的人体运动轨迹，筛选出满足条件的目标人体运动轨迹，可以进一步地提高用户行为的判断准确性。

附图说明

图1为一个实施例中用户行为的判定方法的应用环境图；

图2为一个实施例中用户行为的判定方法的流程示意图；

图3为一个实施例中人体关键点的示意图；

图4为一个实施例中人体运动轨迹的示意图；

图5为一个实施例中滤除侧面人体运动轨迹和根据证明人体运动轨迹判断用户行为的步骤的流程示意图；

图6为一个实施例中人脸特征的示意图；

图7为一个实施例中确定感兴趣区域的步骤的流程示意图；

图8为一个实施例中标定感兴趣区域的示意图；

图9为另一个实施例中用户行为的判定方法的流程示意图；

图10为一个实施例中基于多特征的用户行为判断的示意图；

图11为一个实施例中行为判定模块的结构框图；

图12为一个实施例中用户行为的判定装置的结构框图；

图13为另一个实施例中用户行为的判定装置的结构框图；

图14为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中用户行为的判定方法的应用环境图。参照图1，该用户行为的判定方法应用于用户行为的判定系统。该用户行为的判定系统可以包括终端110、服务器120和摄像头130。终端110、服务器120和摄像头130之间通过网络连接。摄像头130拍摄目标环境得到对应的视频或图像(图像的数量为至少两张)，然后将视频或图像传输给终端110，若终端110获取到的是视频，终端110则对视频进行解码抽帧，得到至少两张图像；若终端110获取到的是图像，终端110则直接分别在至少两张图像中确定相应的人体特征；根据人体特征分别确定至少一个用户的人体运动轨迹和运动方向；在人体运动轨迹中筛选目标人体运动轨迹；该目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；根据筛选所得的目标人体运动轨迹判定相应用户的行为。

或者，摄像头130将视频或图像传输给服务器120，若服务器120获取到的是视频，服务器120则对视频进行解码抽帧，得到至少两张图像；若服务器120获取到的是图像，服务器120则直接分别在至少两张图像中确定相应的人体特征；根据人体特征分别确定至少一个用户的人体运动轨迹和运动方向；在人体运动轨迹中筛选目标人体运动轨迹；该目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；根据筛选所得的目标人体运动轨迹判定相应用户的行为。服务器120可以将判定的发送给终端110进行显示。

其中，终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种用户行为的判定方法。该方法可以应用于图1中的终端110或服务器120。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该用户行为的判定方法具体包括如下步骤：

S202，获取对目标环境拍摄所得的至少两张图像。

其中，目标环境可以是智慧零售区中的某个特定环境或场景，如智慧零售区的门口。智慧零售区可以是融合了互联网技术的零售场所，如智慧零售商场、智慧零售店铺和智慧超市等等。在实际应用场景中，目标环境可以是智慧零售店铺门口的周围环境，或者是智慧零售店铺试衣间的周围环境，又或者是智慧超市收银台的周围环境。

在一个实施例中，当摄像头拍摄目标环境得到至少两张图像时，终端接收由该摄像头拍摄的至少两张图像。或者，摄像头将该至少两张图像进行存储，终端从存储区中获取最新拍摄的至少两张图像。其中，摄像头安装在目标环境附近的墙壁、或天花板、或支架上，用于实时拍摄目标环境中的人流。

在一个实施例中，当摄像头拍摄目标环境得到对应的视频时，S202具体可以包括：终端接收由摄像头拍摄目标环境所得的视频；对视频进行解码，获得连续的多帧视频图像；从多帧视频图像中，按照预设间隔帧数提取至少两张图像。其中，预设间隔帧数的取值范围可以是1至n帧，n为大于或等于1的正整数。预设间隔帧数的具体大小可以由摄像头每秒所拍摄的帧数决定，例如，若摄像头每秒拍摄24帧，那么预设间隔帧数可以是1至12中的某个值。若摄像头每秒拍摄36帧，那么预设间隔帧数可以是1至18中的某个值。在本发明实施例中，预设间隔帧数并不做具体限定。

在一个实施例中，终端在获取到图像时，可以对所获取的图像进行伪影识别，以便确定图像中是否存在因运动而形成的伪影。若存在伪影时，终端则删除包含伪影的图像。在删除包含有伪影的图像之后，若经过删除后所得到的图像数量较少，终端则继续获取图像。若经过删除后所得到的图像数量较多，终端则可以执行S204。其中，将包含伪影的图像进行删除，可以避免因伪影而影响人体特征的提取，提高人体特征提取的准确性，而且可以避免无效的计算。

S204，分别在至少两张图像中确定相应的人体特征。

其中，人体特征可以是人体形态特征，通过该人体形态特征可以确定用户的姿态，也可以初步判断用户处于运动或静止状态。人体特征中包含但不限于：头部特征、颈部特征、肩部特征、肘部特征、手部特征、臀部特征、膝部特征和脚部特征等。

在一个实施例中，终端对所获取的至少两张图像进行去噪处理，去噪方式可以是基于空间域的中值滤波处理，或基于小波域的小波阈值去噪，或全变分图像去噪。然后，终端将去噪后的图像转换为灰度图，即将RGB三通道的彩色图像转换为灰度图。终端从灰度图中提取相应的人体特征。其中，对图像进行去噪处理，可以消除图像中的噪声点，可提高人体特征提取的准确性。

在一个实施例中，终端对所采集的图像进行图像增强处理，然后采用以下图像分割方法：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法中的任一种，对图像增强处理后的图像进行人体图像分割，从而可以得到人体特征。或者，终端可以对所采集的图像进行图像增强处理，然后将图像增强处理后的图像输入机器学习模型，通过机器学习模型对图像增强处理后的图像进行人体图像分割，从而可以得到人体特征。例如，利用基于深度学习的全卷积神经网络对图像进行人体图像分割。

S206，根据人体特征分别确定至少一个用户的人体运动轨迹和运动方向。

其中，人体运动轨迹可以是用户在运动过程中，将各时间点的人体位置进行连接所形成的轨迹，该轨迹的呈现形式为曲线。

用户在运动过程中，用于检测人体特征的人体框也随用户的运动而发生位置变化。在一个实施例中，S206具体可以包括：终端获取图像中用于检测人体特征的人体框；确定人体框在相应图像中的位置；根据人体框在相应图像中的位置确定至少一个用户的人体运动轨迹；获取至少一个用户在历史时段的历史人体运动轨迹；依据人体运动轨迹和历史人体运动轨迹确定运动方向。其中，人体框也可称为人体检测框或人体包围盒。拍摄的图像中，当用户距离摄像头较远时，图像中的人体尺寸较小，可以使用较小的人体框对运动中的人体进行框定。

在一个实施例中，终端检测到人体轮廓或人体特征时，确定用户与摄像头之间的距离，若距离较大，对应的人体轮廓或人体特征的尺寸较小，则可以不计算人体框在相应图像中的位置，以降低计算量。若距离较小，对应的人体轮廓或人体特征的尺寸较大，则可以计算人体框在相应图像中的位置，进而得到各用户的人体运动轨迹。

例如，智慧超市门口的摄像头拍摄图像时，距离门口较远距离的用户在图像中的尺寸较小，当距离较远时，根据人体运动轨迹判断该用户是否进入超市的行为，其准确性相对较低。距离门口较近距离的用户在图像中的尺寸较大，当距离较近，根据人体运动轨迹判断该用户是否进入超市的行为，其准确性相对较高，因此可以通过检测用户与摄像头之间的距离，当距离小于某个值时，开始计算人体框在各相应图像中的位置，然后将属于同一用户的各位置进行连接，从而得到用户的人体运动轨迹。

在一个实施例中，根据人体框在相应图像中的位置确定至少一个用户的人体运动轨迹的步骤，具体可以包括：终端确定人体框在相应图像中的位置之后，将属于同一用户的人体框在各相应图像中的位置进行连接，连接而成的曲线即为用户的人体运动轨迹，重复上述步骤，即可得到各用户的人体运动轨迹。

在一个实施例中，在依据人体运动轨迹和历史人体运动轨迹确定运动方向之前，该方法还包括：终端从人体框中的人体特征提取人体关键点；根据人体关键点对所估计出的人体运动轨迹进行平滑处理；依据人体运动轨迹和历史人体运动轨迹确定运动方向的步骤，具体可以包括：终端依据经过平滑处理后的人体运动轨迹和历史平滑处理后的历史人体运动轨迹确定运动方向。

其中，人体关键点可以是头部、颈部、肩部、肘部、手部、臀部、膝部和脚部等特征点。

在一个实施例中，当用户运动过程中，人体框的位置可能会发生抖动时，因此会造成人体框的位置发生偏移，此时，终端可以提取人体框中人体特征的人体关键点，通过人体关键点的位置来对人体运动轨迹进行平滑处理，使人体运动轨迹变平滑。需要说明的是，人体框在抖动过程中，人体特征至少有一部分在人体框中。

例如，如图3所示，终端可以从人体框中的人体特征中提取脚部(双脚)关键点，每个脚可以只提取一个关键点，终端确定该脚部关键点在对应图像中的位置(如像素坐标)，计算双脚的中间点位置，按照各对应图像中双脚的中间点位置对人体运动轨迹进行平滑处理。当人体框的位置会发生抖动时，可以通过双脚的中间点位置来实现人体运动轨迹的平滑处理，避免因人体框的抖动而影响人体运动轨迹的准确性。

S208，在人体运动轨迹中筛选目标人体运动轨迹；该目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件。

其中，候选轨迹筛选条件包括方向上的筛选条件，以及人体运动轨迹与感兴趣区域之间的位置关系的筛选条件。如目标人体运动轨迹的运动方向是否符合预设方向。又如，人体运动轨迹的轨迹终点是否落入感兴趣区域。

对于S208，可以按照运动方向进行筛选，可以按照轨迹点(包括轨迹终点和轨迹起点)的方式进行筛选，也可以结合运动方向与轨迹点的方式进行筛选，因此，可以将S208以下三种筛选方式：

筛选方式1，按照运动方向筛选人体运动轨迹。

在一个实施例中，S208具体可以包括；终端在人体运动轨迹中筛选运动方向符合预设方向的目标人体运动轨迹。或者，终端在人体运动轨迹中，滤除运动方向不符合预设方向的人体运动轨迹，得到目标人体运动轨迹。

作为一个示例，如图4所示，若应用场景为检测用户经入智慧超市的场景，那么，终端判断各人体运动轨迹对应的运动方向是否指向智慧超市门口的方向。当人体运动轨迹对应的运动方向是指向智慧超市门口的方向，如方向a2、a3、a4、a6和a7均是指向智慧超市门口，则表示用户是往智慧超市方向运动，可能是进入智慧超市，则将这一类方向的人体运动轨迹选取出来。当人体运动轨迹对应的运动方向是未指向智慧超市门口的方向，如方向a1、a5和a8未指向智慧超市门口，则表示用户不是往智慧超市方向运动，其中，a1和a5是路过智慧超市门口，a8是走出智慧超市门口，则可以将这一类方向的人体运动轨迹滤除掉。

其中，线段EF和线段HI表示智慧超市门口的过道。梯形区域ABIH可以表示智慧超市门口处某个摄像头所覆盖的拍摄范围。矩形区域ABCD表示感兴趣区域。

筛选方式2，按照轨迹点的方式筛选人体运动轨迹。

在一个实施例中，S208具体可以包括；终端在人体运动轨迹中选取筛选轨迹起点和轨迹终点中的至少一种落入感兴趣区域的目标人体运动轨迹。此种筛选方式适用于智慧零售区进出入门口只设有一种方位摄像头的场景。

如图4所示，只有a2、a4、a7和a8所对应的人体运动轨迹至少一部分落入感兴趣区域，其中，a2、a4和a7所对应的人体运动轨迹，在当前检测时段内的轨迹终点落入感兴趣区域。a8所对应的人体运动轨迹，在当前检测时段内的轨迹起点落入感兴趣区域。因此，终端可以将a2、a4、a7和a8所对应的人体运动轨迹筛选出来。

筛选方式3，结合运动方向与轨迹点的方式筛选人体运动轨迹。

在一个实施例中，S208具体可以包括；终端在人体运动轨迹中选取运动方向符合预设方向的人体运动轨迹，并在所选取的人体轨迹中筛选轨迹起点和轨迹终点中的至少一种落入感兴趣区域的目标人体运动轨迹。

在另一个实施例中，在人体运动轨迹中，终端可以将不符合预设方向的人体运动轨迹滤除掉，并在滤除后所得的人体运动轨迹中，将轨迹起点和轨迹终点中均未落入感兴趣区域的人体运动轨迹滤除掉，从而得到上述的目标人体运动轨迹。

作为一个示例，如图4所示，若应用场景为检测用户经入智慧超市的场景，那么，终端判断各人体运动轨迹对应的运动方向是否指向智慧超市门口的方向。当人体运动轨迹对应的运动方向是指向智慧超市门口的方向，如方向a2、a3、a4、a6和a7均是指向智慧超市门口，但在当前检测时间段内，方向a2、a3、a4、a6和a7中只有a2、a4和a7的运动轨迹终点落入感兴趣区域，因此，将方向a2、a4和a7所对应的运动轨迹筛选出来，而将a2和a6所对应的人体运动轨迹滤除掉。当人体运动轨迹对应的运动方向是未指向智慧超市门口的方向，如方向a1、a5和a8未指向智慧超市门口，则表示用户不是往智慧超市方向运动，其中，a1和a5是路过智慧超市门口，a8是走出智慧超市门口，则可以将方向a1、a5和a8所对应的人体运动轨迹滤除掉。

S210，根据筛选所得的目标人体运动轨迹判定相应用户的行为。

其中，不同的应用场景中，用户的行为具有一定的差异。在检测用户是否进出入智慧零售区的场景中，用户的行为即为进入、或走出、或经过智慧零售区，如用户进入智慧超市、走出智慧超市和只是路过智慧超市。在检测用户是否购买产品的场景中，用户的行为可以是是否进入收银区进行支付。在检测用户是否试衣的场景中，用户的行为可以是是否进入试衣间。上述智慧零售区可以是智慧零售商场或智慧店铺。需要指出的是，上述用户的行为仅仅是举例，包括但不限于上述用户的行为。

在一个实施例中，当目标人体运动轨迹的轨迹终端落入感兴趣区域时，终端则可以根据该目标人体运动轨迹判断出用户的行为。如图4所示，方向a4的用户，其人体运动轨迹在当前检测时间段内的轨迹终点落入感兴趣区域，则可以认为该用户是想要进入智慧超市。

上述实施例中，通过对拍摄目标环境所得到的两张或多张图像进行人体特征检测，根据人体特征在对应图像中的位置来估计人体运动轨迹和运动方向，从人体运动轨迹筛选目标人体运动轨迹，从而无需捕捉到用户人脸特征，也即在无法捕捉到用户特征的情况下，能准确地根据目标人体运动轨迹便判定出用户的行为。此外，通过运动方向以及与感兴趣区域的位置关系来过滤掉不满足条件的人体运动轨迹，筛选出满足条件的目标人体运动轨迹，可以进一步地提高用户行为的判断准确性。

在一个实施例中，如图5所示，在S210之前，该方法还可以包括：

S502，分别在至少两张图像中确定相应的人脸特征。

其中，人脸特征如图6所示，总共包含两部分特征点，第一部分为人脸外轮廓(共17个特征点)，如图中所示的1～17表示脸部边缘特征点；第二部分为五官特征点(共51个特征点)，其中，18～22以及23～27对应表示用户的左眉部特征点和右眉部特征点，28～36表示用户的鼻子特征点，37～42表示用户的左眼特征点，43～48表示用户的右眼特征点，49～68表示用户的嘴唇特征点。以上仅为正面人脸的示例，在可选实施例中可以在以上脸部特征点中仅识别部分或更多的特征点，或采用其他方式标记各个特征点。

在一个实施例中，终端可以通过DCNN(Deep Convolution Neural Network，深度卷积神经网络)模型对所获取的至少两张图像中进行检测，从而确定出相应的人脸特征。其中，DCNN模型中级联了多个卷积神经网络：第一级(level用于定位出包含眼部(左右双眼)、嘴部(两边嘴角)和鼻子中5个特征点的最小包围盒；第二级(level 2)用于初步定位出51个五官特征点；第三级(level 3)用于对level 2定位出的51个五官特征点进行精定位，以提高特征点的精准度；第四级(level 4)为可选的，用于更精准定位。

具体地，终端将所获取的图像输入level 1卷积神经网络，通过level 1确定最小包围盒。终端将最小包围盒中的图像裁剪出来，将其作为level 2的输入，得到五官特征点预测位置。终端将level 2所得的五官特征点输入level 3，利用这五官特征点对五官图片裁剪，然后进行预测得到各个脸部器官的特征点。可选的，终端将level 3的输出作为level4进行更进一步地精确检测，得到精准的人脸特征。

S504，当至少两张图像中属于同一用户的人脸特征为侧面人脸特征时，将侧面人脸特征对应的目标人体运动轨迹进行滤除，得到正面人脸特征所对应的目标人体运动轨迹。

在一个实施例中，终端对所得的人脸特征进行判断，即判断该人脸特征是否为正面人脸特征，若是正面人脸特征，则将正面人脸特征对应的人体运动轨迹保留下来；若是侧面人脸特征，则将侧面人脸特征对应的人体运动轨迹滤除。

例如，用户在路过智慧零售区时，若未检测到用户的正面人脸，只是检测到用户的侧面人脸，可以表明用户的目标不是该智慧零售区，可能只是路过智慧零售区。

S210具体可以包括：S506，根据正面人脸特征所对应的目标人体运动轨迹判定相应用户的行为。

在一个实施例中，该方法还可以包括：终端在判定出相应用户的行为、且用户的行为是消费行为时，确定用户的行为所对应的产品类型；将用户的行为与对应人脸特征建立关联关系；关联关系用于在下一次检测到用户出现在感兴趣区域时，调用推荐资源以向用户推荐与产品对应的产品。

其中，推荐资源可以是用于引导用户的智能机器人，通过该智能机器人，可以向用户推荐相应的产品。此外，推荐资源还可以是智慧零售区的服务人员。

在一个实施例中，在购买产品的场景，当判定出用户的行为为消费行为时，可以通过图像检测的方式确定所购买的产品以及对应的产品类型，或者通过交易系统查询对应用户所购买的产品以及对应的产品类型，从而在该用户下一次关顾时，可以推荐类型的产品给该用户。

例如，当某个用户购买的产品金额或数量较多时，可以将其列为VIP(VeryImportant Person，贵宾)，当该用户下一次过来时，可以调用相应的推荐资源为其做个性化服务，可以提高顾客的回头率。

上述实施例中，结合了人脸特征对用户的行为进行判断，即将非正面人脸特征所对应的人体运动轨迹滤除，可以提高用户行为判断的准确性。此外，调用推荐资源来对用户进行服务，可以提高用户的体验，有助于提高召回率。

在一个实施例中，如图7所示，该方法还可以包括：

S702，在至少两张图像中标注至少两个第一判断参考点；第一判断参考点，用于绘制用户行为的判断参考线。

其中，判断参考线可以用于判断用户是否发生相应的行为。不同的应用场景中，判断参考线的作用也存在差异。例如，如图8所示，在检测用户是否进出入智慧零售区的场景中，判断参考线(即图中的0号线)的位置与智慧零售区的门口对应，其作用是判断用户是否进入或走出智慧零售区。在检测用户是否购买产品的场景中，判断参考线的位置与收银区分界线对应，其作用是判断用户是否进入收银区进行支付。在检测用户是否试衣的场景中，判断参考线的位置与试衣间分界线对应，其作用是判断用户是否进入试衣间进行试衣。

一般地，第一判断参考点的数量为两个，当智慧零售区的大门呈L形(即拐角出有两个门，如一大一小的两个门)或其它非一字形时，可以考虑两个以上的第一判断参考点。

在一个实施例中，终端根据摄像头的方位确定判断参考线在对应图像的位置。如图4所示，图中的摄像头方位是正朝外的，拍摄出的画面可以是梯形ABIH，其中，AB线段即为判断参考线，当用户轨迹与AB线段相交时，表示用户进入了智慧超市。

S704，在判断参考线的中位线上的预设距离处标注第二判断参考点。

其中，判断参考点用于确定感兴趣区域的宽度大小。该判断参考点与判断参考线之间的距离可以根据实际应用场景设定，一般不大于摄像头的最大视野范围，同时也不大于用户行走区域的宽度。

S706，基于判断参考线和第二判断参考点确定感兴趣区域。

在一个实施例中，终端以判断参考线为感兴趣区域的一边，在判断参考点与判断参考线之间的距离处绘制一条平行于判断参考线的线段，然后将判断参考线的端点与所绘制的线段的端点进行连接，得到感兴趣区域，如图4的矩形区域ABCD。

S708，在人体运动轨迹中筛选目标人体运动轨迹；该目标人体运动轨迹的运动方向符合候选轨迹筛选条件，和/或，目标人体运动轨迹与感兴趣区域的位置关系符合候选轨迹筛选条件。

对于S708，可以参考上述S208。

S710，根据筛选所得的目标人体运动轨迹判定相应用户的行为。

在一个实施例中，S710具体可以包括：终端获取判断参考线所对应的用途类型；当筛选所得的目标人体运动轨迹与判断参考线相交时，根据目标人体运动轨迹和用途类型判定相应用户的行为。

其中，判断参考线所对应的用途类型与实际的应用场景相对应。例如，如图8所示，在检测用户是否进出入智慧零售区的场景中，当目标人体运动轨迹与判断参考线相交时，判定用户进入或走出智慧零售区。在检测用户是否购买产品的场景中，当目标人体运动轨迹与判断参考线相交时，判定用户进入收银区进行支付。在检测用户是否试衣的场景中，当目标人体运动轨迹与判断参考线相交时，判定用户进入试衣间进行试衣。

上述实施例中，在图像上标注用于判断用户行为的判断参考线，并在判断参考线的中位线上的预设距离处标注判断参考点，根据判断参考线和判断参考点可以确定出感兴趣区域，以便对人体运动轨迹进行筛选，有利于提高用户行为判断的准确性。此外，通过目标人体运动轨迹与判断参考线是否相交来最终确定用户行为，从而提升了用户行为判断的准确性。

作为一个示例，在智慧零售区中检测用户的行为时，由于用户在路过检测点时，由于扭头而被摄像头捕捉到，采用传统方案可能会误判用户进入了智慧零售区(如智慧商场或智慧门店)，而采用本方案可以有效避免误判的发生，方案的内容如下：

S902，获取由摄像头拍摄智慧零售区内或附近目标环境的视频，然后对该视频进行解码抽帧，得到多个视频帧图像。

S904，对视频帧图像进行人脸检测和人体检测，获取对应的人脸框和人体框对用户的人脸和人体进行框定。

S906，对人体框进行追踪，得到人体运动轨迹。

S908，对人体运动轨迹中每个时间点的人体框进行人体关键点的提取。

如图10所示，当摄像头拍摄到目标环境的视频时，将该视频传输到终端，终端对该视频进行解码抽帧，可以是每隔n帧抽取一个视频帧，得到多个视频帧图像，其中n为正整数，具体大小根据摄像头每秒拍摄的帧数来确定。终端在得到多个视频帧图像时，进行人体检测，选取对应大小的人体框对用户的人体进行框定，然后对人体框进行人体追踪，得到人体运动轨迹。对人体运动轨迹中每个时间点的人体框进行人体关键点的提取，得到各视频帧图像中的人体关键点。此外，根据实际场景选择性地开启人脸检测功能，主要针对用户进出智慧超市或智慧商场的场景，以便将非正面的人体运动轨迹进行滤除，提高判断的准确性和提高客户的召回率。

S910，通过人体运动轨迹和人体关键点进行人体轨迹回归处理和运动方向估计，从而得到平滑的人体运动轨迹和对应的运动方向。

例如，如图11所示，运动估计模块利用人体运动轨迹和人体关键点进行人体轨迹回归，得到平滑的人体运动轨迹；此外，根据平滑的人体运动轨迹和对应的历史人体运动轨迹进行运动方向估计，得到对应的运动方向。

S912，将不符合条件的运动方向所对应的人体运动轨迹进行滤除，并将轨迹终点和/或轨迹起点不在感兴趣区域的人体运动轨迹滤除，得到符合条件的目标人体运动轨迹。

例如，如图11所示，ROI(Region Of Interest，感兴趣区域)过滤模块将S910所得的人体运动轨迹和运动方向，与ROI作为输入一起作为输入，以运动方向、轨迹起点和轨迹终点是否落入感兴趣区域为依据进行过滤，将不满足条件的人体运动轨迹进行滤除。

S914，在目标人体运动轨迹中，将非正面的人体运动轨迹进行过滤，得到最终的目标人体运动轨迹。

如图11所示，人脸过滤模块作为可选模块，根据实际场景选择是否启用。人脸过滤模块主要针对特定场景(如进出智慧商场或智慧超市等)下，将非正面的人体运动轨迹进行滤除，从而提高用户行为判断的准确，以及提高顾客的和召回率。

S916，根据目标人体运动轨迹进行行为判定。

参见图11，行为判定模块根据上述步骤所得的目标人体运动轨迹，进行综合判断顾客的进/出/过智慧店铺、进/出智慧商场、购买产品和试穿等行为，最终输出行为判断的结果。

对于ROI的标定，如图8所示，ROI标注方案由3个标注点组成，点A和点B构成了0号线，点C确定了ROI的大小，用于判断用户行为是否为经过智慧零售区，其中点C和0号线的中点连线与0号线垂直。0号线在不同场景下的含义不同，分别如下：

1)在进出智慧门店的场景下，点A和点B构成的0号线用于判断顾客的人体运动轨迹是否发生了进出店的行为，该0号线与店门口的店内店外分界线紧密贴合；

2)在进出智慧商场或智慧超市的场景下，点A和点B构成的0号线用于判断顾客的进出商场或超市行为；

3)在收银区场景(也即判断是否购买产品的场景)下，点A和点B构成的0号线用于判断顾客是否进入收银区，发生购买产品行为，该0号线为收银区的分界线；

4)在试衣的场景下，点A和点B构成的0号线用于判断顾客是否进入试衣区，发生试衣行为，该0号线为试衣区入口的分界线。

其中，点A和点B构成的0号线与摄像头下区域的分界线贴合，点C与0号线的中点连线与0号线垂直，点C距离0号线的距离根据实际场景确定，通常不大于摄像头的视野区域与顾客行走区域。

通过实施上述实施例的方案，可以具有以下技术效果：

(1)在智慧零售的线上和线下部署实施过程中具有非常高的部署效率，能够以极低的成本进行规模化的部署和ROI标定。此外，在不同智慧零售区场景中可以高效快速的移植，具有很高的通用性。

(2)结合了多种特征进行行为判断，提高了行为判断的准确率和召回率；

(3)将顾客行为和顾客身份进行绑定，便于商场在后期的运营数据分析和个性化推荐；

(4)基于三个关键点的标注方案提高了标注效率，同时也提升了行为判断的准确率。

图2、5、7和9为一个实施例中用户行为的判定方法的流程示意图。应该理解的是，虽然图2、5、7和9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5、7和9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图12所示，在一个实施例中，提供了一种用户行为的判定装置，该用户行为的判定装置具体包括：图像获取模块1202、人体特征确定模块1204、运动信息确定模块1206、运动轨迹筛选模块1208和行为判定模块1210；其中：

图像获取模块1202，用于获取对目标环境拍摄所得的至少两张图像；

人体特征确定模块1204，用于分别在至少两张图像中确定相应的人体特征；

运动信息确定模块1206，用于根据人体特征分别确定至少一个用户的人体运动轨迹和运动方向；

运动轨迹筛选模块1208，用于在人体运动轨迹中筛选目标人体运动轨迹；目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；

行为判定模块1210，用于根据筛选所得的目标人体运动轨迹判定相应用户的行为。

在一个实施例中，图像获取模块1202还用于接收由摄像头拍摄目标环境所得的视频；对视频进行解码，获得连续的多帧视频图像；从多帧视频图像中，按照预设间隔帧数提取至少两张图像。

在一个实施例中，运动信息确定模块1206，还用于：获取图像中用于检测人体特征的人体框；确定人体框在相应图像中的位置；根据人体框在相应图像中的位置确定至少一个用户的人体运动轨迹；获取至少一个用户在历史时段的历史人体运动轨迹；依据人体运动轨迹和历史人体运动轨迹确定运动方向。

在一个实施例中，如图13所示，该装置还包括：关键点提取模块1212、平滑处理模块1214和运动信息确定模块1216；其中：

关键点提取模块1212，用于从人体框中的人体特征提取人体关键点；

平滑处理模块1214，用于根据人体关键点对所估计出的人体运动轨迹进行平滑处理；

运动信息确定模块1216，还用于依据经过平滑处理后的人体运动轨迹和历史平滑处理后的历史人体运动轨迹确定运动方向。

在一个实施例中，该运动轨迹筛选模块1208，还用于：在人体运动轨迹中筛选运动方向符合预设方向的目标人体运动轨迹；或者，在人体运动轨迹中筛选轨迹起点和轨迹终点中的至少一种落入感兴趣区域的目标人体运动轨迹；或者，在人体运动轨迹中选取运动方向符合预设方向的人体运动轨迹，并在所选取的人体轨迹中筛选轨迹起点和轨迹终点中的至少一种落入感兴趣区域的目标人体运动轨迹。

上述实施例中，通过对拍摄目标环境所得到的两张或多张图像进行人体特征检测，根据人体特征在对应图像中的位置来估计人体运动轨迹和运动方向，从人体运动轨迹筛选目标人体运动轨迹，从而无需捕捉到用户人脸特征，也即在无法捕捉到用户特征的情况下，能准确地根据目标人体运动轨迹便判定出用户的行为。此外，通过运动方向以及与感兴趣区域的位置关系来过滤掉不满足条件的人体运动轨迹，筛选出满足条件的目标人体运动轨迹，可以进一步地提高用户行为的判断准确性。

在一个实施例中，如图13所示，该装置还包括：轨迹滤除模块1218；其中：

轨迹滤除模块1218，用于在根据筛选所得的目标人体运动轨迹判定相应用户的行为之前，分别在至少两张图像中确定相应的人脸特征；当至少两张图像中属于同一用户的人脸特征为侧面人脸特征时，将侧面人脸特征对应的目标人体运动轨迹进行滤除，得到正面人脸特征所对应的目标人体运动轨迹；

行为判定模块1210还用于根据正面人脸特征所对应的目标人体运动轨迹判定相应用户的行为。

上述实施例中，结合了人脸特征对用户的行为进行判断，即将非正面人脸特征所对应的人体运动轨迹滤除，可以提高用户行为判断的准确性。此外，调用推荐资源来对用户进行服务，可以提高用户的体验，有助于提高召回率。

在一个实施例中，如图13所示，该装置还包括：关联关系建立模块1220；其中：

关联关系建立模块1220，用于在判定出相应用户的行为、且用户的行为是消费行为时，确定用户的行为所对应的产品类型；将用户的行为与对应人脸特征建立关联关系；关联关系用于在下一次检测到用户出现在感兴趣区域时，调用推荐资源以向用户推荐与产品对应的产品。

在一个实施例中，如图13所示，该装置还包括：区域确定模块1222；其中：

区域确定模块1222，用于在至少两张图像中标注至少两个第一判断参考点；第一判断参考点，用于绘制用户行为的判断参考线；在判断参考线的中位线上的预设距离处标注第二判断参考点；基于判断参考线和第二判断参考点确定感兴趣区域。

在一个实施例中，行为判定模块1210还用于获取判断参考线所对应的用途类型；当筛选所得的目标人体运动轨迹与判断参考线相交时，根据目标人体运动轨迹和用途类型判定相应用户的行为。

上述实施例中，在图像上标注用于判断用户行为的判断参考线，并在判断参考线的中位线上的预设距离处标注判断参考点，根据判断参考线和判断参考点可以确定出感兴趣区域，以便对人体运动轨迹进行筛选，有利于提高用户行为判断的准确性。此外，通过目标人体运动轨迹与判断参考线是否相交来最终确定用户行为，从而提升了用户行为判断的准确性。

图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现XX方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行用户行为的判定方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的用户行为的判定装置可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该用户行为的判定装置的各个程序模块，比如，图12所示的图像获取模块1202、人体特征确定模块1204、运动信息确定模块1206、运动轨迹筛选模块1208和行为判定模块1210。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的用户行为的判定方法中的步骤。

例如，图14所示的计算机设备可以通过如图12所示的用户行为的判定装置中的图像获取模块1202执行S202。计算机设备可通过人体特征确定模块1204执行S204。计算机设备可通过运动信息确定模块1206执行S206。计算机设备可通过运动轨迹筛选模块1208执行S208。计算机设备可通过行为判定模块1210执行S210。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述用户行为的判定方法的步骤。此处用户行为的判定方法的步骤可以是上述各个实施例的用户行为的判定方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述用户行为的判定方法的步骤。此处用户行为的判定方法的步骤可以是上述各个实施例的用户行为的判定方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种用户行为的判定方法，包括：

获取对目标环境拍摄所得的至少两张图像；

分别在所述至少两张图像中确定相应的人体特征；

根据所述人体特征分别确定至少一个用户的人体运动轨迹和运动方向；

在所述人体运动轨迹中筛选目标人体运动轨迹；所述目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；

根据筛选所得的目标人体运动轨迹判定相应用户的行为。

2.根据权利要求1所述的方法，其特征在于，所述根据所述人体特征分别确定至少一个用户的人体运动轨迹和运动方向包括：

获取所述图像中用于检测所述人体特征的人体框；

确定所述人体框在相应图像中的位置；

根据所述人体框在相应图像中的位置确定至少一个用户的人体运动轨迹；

获取所述至少一个用户在历史时段的历史人体运动轨迹；

依据所述人体运动轨迹和历史人体运动轨迹确定运动方向。

3.根据权利要求2所述的方法，其特征在于，所述依据所述人体运动轨迹和历史人体运动轨迹确定运动方向之前，所述方法还包括：

从所述人体框中的人体特征提取人体关键点；

根据所述人体关键点对所估计出的人体运动轨迹进行平滑处理；

所述依据所述人体运动轨迹和历史人体运动轨迹确定运动方向包括：

依据经过平滑处理后的人体运动轨迹和历史平滑处理后的历史人体运动轨迹确定运动方向。

4.根据权利要求1所述的方法，其特征在于，所述在所述人体运动轨迹中筛选目标人体运动轨迹包括：

在所述人体运动轨迹中筛选运动方向符合预设方向的目标人体运动轨迹；或者，在所述人体运动轨迹中筛选轨迹起点和轨迹终点中的至少一种落入感兴趣区域的目标人体运动轨迹；或者，在所述人体运动轨迹中选取运动方向符合预设方向的人体运动轨迹，并在所选取的人体轨迹中筛选轨迹起点和轨迹终点中的至少一种落入感兴趣区域的目标人体运动轨迹。

5.根据权利要求1所述的方法，其特征在于，所述根据筛选所得的目标人体运动轨迹判定相应用户的行为之前，所述方法还包括：

分别在所述至少两张图像中确定相应的人脸特征；

当所述至少两张图像中属于同一用户的人脸特征为侧面人脸特征时，将所述侧面人脸特征对应的目标人体运动轨迹进行滤除，得到正面人脸特征所对应的目标人体运动轨迹；

所述根据筛选所得的目标人体运动轨迹判定相应用户的行为包括：

根据正面人脸特征所对应的目标人体运动轨迹判定相应用户的行为。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在判定出相应用户的行为、且所述用户的行为是消费行为时，确定所述用户的行为所对应的产品类型；

将所述用户的行为与对应人脸特征建立关联关系；所述关联关系用于在下一次检测到所述用户出现在感兴趣区域时，调用推荐资源以向所述用户推荐与所述产品对应的产品。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

在所述至少两张图像中标注至少两个第一判断参考点；所述第一判断参考点，用于绘制用户行为的判断参考线；

在所述判断参考线的中位线上的预设距离处标注第二判断参考点；

基于所述判断参考线和所述第二判断参考点确定感兴趣区域。

8.根据权利要求7所述的方法，其特征在于，所述根据筛选所得的目标人体运动轨迹判定相应用户的行为包括：

获取所述判断参考线所对应的用途类型；

当筛选所得的目标人体运动轨迹与所述判断参考线相交时，根据所述目标人体运动轨迹和所述用途类型判定相应用户的行为。

9.根据权利要求1至6任一项所述的方法，其特征在于，所述获取对目标环境拍摄所得的至少两张图像包括：

接收由摄像头拍摄目标环境所得的视频；

对所述视频进行解码，获得连续的多帧视频图像；

从所述多帧视频图像中，按照预设间隔帧数提取至少两张图像。

10.一种用户行为的判定装置，其特征在于，所述装置包括：

图像获取模块，用于获取对目标环境拍摄所得的至少两张图像；

人体特征确定模块，用于分别在所述至少两张图像中确定相应的人体特征；

运动信息确定模块，用于根据所述人体特征分别确定至少一个用户的人体运动轨迹和运动方向；

运动轨迹筛选模块，用于在所述人体运动轨迹中筛选目标人体运动轨迹；所述目标人体运动轨迹的运动方向以及与感兴趣区域的位置关系中至少一种符合候选轨迹筛选条件；

行为判定模块，用于根据筛选所得的目标人体运动轨迹判定相应用户的行为。

11.根据权利要求10所述的装置，其特征在于，所述运动信息确定模块，还用于：获取所述图像中用于检测所述人体特征的人体框；确定所述人体框在相应图像中的位置；根据所述人体框在相应图像中的位置确定至少一个用户的人体运动轨迹；获取所述至少一个用户在历史时段的历史人体运动轨迹；依据所述人体运动轨迹和历史人体运动轨迹确定运动方向。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

关键点提取模块，用于从所述人体框中的人体特征提取人体关键点；

平滑处理模块，用于根据所述人体关键点对所估计出的人体运动轨迹进行平滑处理；

所述运动信息确定模块，还用于依据经过平滑处理后的人体运动轨迹和历史平滑处理后的历史人体运动轨迹确定运动方向。

13.根据权利要求10所述的装置，其特征在于，所述运动轨迹筛选模块，还用于：在所述人体运动轨迹中，选取运动方向符合预设方向的人体运动轨迹；从所选取的人体运动轨迹中，筛选轨迹起点和轨迹终点中的至少一种落入感兴趣区域的目标人体运动轨迹。

14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。