CN111680654B - 一种基于物品取放事件的人员信息获取方法、装置及设备 - Google Patents

Abstract

本发明实施例提供了一种基于物品取放事件的人员信息获取方法、装置及设备，方法包括：检测到物品取放事件后，在包含物品取放事件的图像中，识别与物品取放事件相关联的手部区域，并且在该图像中，确定与手部区域属于同一人体的人脸区域；基于人脸区域，获取触发物品取放事件的人员信息；可见，本方案中，基于图像中的人脸区域获取人员信息，不需要对人员的轨迹进行跟踪，即使人员在不同监控场景中移动，仍然能够准确地获取到触发物品取放事件的人员信息。

Description

一种基于物品取放事件的人员信息获取方法、装置及设备

技术领域

本发明涉及零售技术领域，特别是涉及一种基于物品取放事件的人员信息获取方法、装置及设备。

背景技术

传统的零售行业中，一般需要配备专门的销售人员和收款人员，人力成本较高。随着技术的发展，出现了一些无人超市、无人商场等不需要配备销售人员和收款人员的购物场所。

这些购物场所中，需要检测货架上的物品取放事件、并确定取放物品的人员，换句话说，也就是检测货架上的物品是否被顾客取走或者放回，以及确定是哪位顾客取走或放加了物品。

相关方案中，当人员进入购物场所后，获取人员信息，并通过相机采集的视频图像，对人员的移动轨迹进行跟踪；在检测到物品取放事件的情况下，根据跟踪得到的每个人员的移动轨迹，获取触发该物品取放事件的人员信息。

购物场所空间较大，一般包括多个监控场景，人员通常会在不同的监控场景中移动。这样，对人员的移动轨迹进行跟踪的过程中，通常涉及到切换监控场景。比如，人员A位于监控场景1时，在监控场景1的相机采集的视频图像中对人员A进行跟踪，当人员A由监控场景1移动到监控场景2后，需要切换到监控场景2的相机采集的视频图像中，继续对人员A进行跟踪。切换过程容易导致跟踪中断，如果跟踪中断，便不能准确地获取到触发物品取放事件的人员信息。

发明内容

本发明实施例的目的在于提供一种基于物品取放事件的人员信息获取方法、装置及设备，以准确地获取到触发物品取放事件的人员信息。

为达到上述目的，本发明实施例提供了一种基于物品取放事件的人员信息获取方法，包括：

检测到物品取放事件后，在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域；

在所述图像中，确定与所述手部区域属于同一人体的人脸区域；

基于所述人脸区域，获取触发所述物品取放事件的人员信息。

可选的，所述方法还包括：

基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；

如果是，确定货架中发生所述物品取放事件的位置，作为目标位置，并获取包含所述物品取放事件的图像；

在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域；

所述在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域，包括：

识别位于所述目标图像区域中的手部区域，作为与所述物品取放事件相关联的手部区域。

可选的，所述货架包括多个货格，每个货格分别对应一个重力传感器；所述确定货架中发生所述物品取放事件的位置，作为目标位置，包括：

确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格；

所述在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域，包括：

在所述图像中确定所述目标货格对应的预设区域，作为目标图像区域。

可选的，所述获取包含所述物品取放事件的图像之后，还包括：

识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，所述连接关系表示手部关键点与头部关键点属于同一人体；

所述识别位于所述目标图像区域中的手部区域，包括：

识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；

所述在所述图像中，确定与所述手部区域属于同一人体的人脸区域，包括：

基于所述连接关系，确定与所述目标手部关键点属于同一人体的头部关键点，作为目标头部关键点；

在所述图像中，识别所述目标头部关键点所在的人脸区域。

可选的，所述图像包括：二维图像和深度图像；所述识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，包括：

识别所述二维图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；

基于所述二维图像与所述深度图像之间的映射关系，得到所述手部关键点的三维坐标；

所述识别位于所述目标图像区域中的手部关键点，作为目标手部关键点，包括：

将所述目标图像区域的三维坐标与所述手部关键点的三维坐标进行匹配，基于匹配结果识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；所述目标图像区域的三维坐标为预先标定得到的。

可选的，所述确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格之后，还包括：

判断发生变化的重力数值变大还是变小；如果变大，则确定所述物品取放事件的类型为放回事件；如果变小，则确定所述物品取放事件的类型为取走事件；

确定所述目标货格上放置物品的类别，作为取放物品的类别；

基于重力传感器的重力变化值、以及所述目标货格上放置的物品的单位重量，计算取放物品的数量；

所述基于所述人脸区域，获取触发所述物品取放事件的人员信息之后，还包括：

基于所述人员信息、所述物品取放事件的类型、所述取放物品的类别、所述取放物品的数量，记录人员的行为信息。

可选的，所述方法还包括：

获取预设场景中的图像；

检测所述图像中是否发生物品取放事件，如果是，将所述图像确定为待处理图像；

所述在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域，包括：

在所述待处理图像中，识别与所述物品取放事件相关联的手部区域。

可选的，所述基于所述人脸区域，获取触发所述物品取放事件的人员信息，包括：

提取所述人脸区域的人脸特征，作为待查找人脸特征；

在预先存储的人脸特征与人员信息的对应关系中，查找所述待查找人脸特征对应的人员信息，作为触发所述物品取放事件的人员信息。

为达到上述目的，本发明实施例还提供了一种基于物品取放事件的人员信息获取装置，包括：

第一识别模块，用于检测到物品取放事件后，在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域；

第一确定模块，用于在所述图像中，确定与所述手部区域属于同一人体的人脸区域；

第一获取模块，用于基于所述人脸区域，获取触发所述物品取放事件的人员信息。

可选的，所述装置还包括：

第一检测模块，用于基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；如果是，触发第二确定模块和第二获取模块；

第二确定模块，用于确定货架中发生所述物品取放事件的位置，作为目标位置；

第二获取模块，用于获取包含所述物品取放事件的图像；

第三确定模块，用于在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域；

所述第一识别模块，具体用于：识别位于所述目标图像区域中的手部区域，作为与所述物品取放事件相关联的手部区域。

可选的，所述货架包括多个货格，每个货格分别对应一个重力传感器；所述第二确定模块，具体用于：

确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格；

所述第三确定模块，具体用于：

在所述图像中确定所述目标货格对应的预设区域，作为目标图像区域。

可选的，所述装置还包括：

第二识别模块，用于识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，所述连接关系表示手部关键点与头部关键点属于同一人体；

所述第一识别模块，具体用于：识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；

所述第一确定模块，具体用于：

基于所述连接关系，确定与所述目标手部关键点属于同一人体的头部关键点，作为目标头部关键点；在所述图像中，识别所述目标头部关键点所在的人脸区域。

可选的，所述图像包括：二维图像和深度图像；所述第二识别模块，具体用于：

识别所述二维图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；

基于所述二维图像与所述深度图像之间的映射关系，得到所述手部关键点的三维坐标；

所述第一识别模块，具体用于：

将所述目标图像区域的三维坐标与所述手部关键点的三维坐标进行匹配，基于匹配结果识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；所述目标图像区域的三维坐标为预先标定得到的。

可选的，所述装置还包括：

第四确定模块，用于判断发生变化的重力数值变大还是变小；如果变大，则确定所述物品取放事件的类型为放回事件；如果变小，则确定所述物品取放事件的类型为取走事件；

第五确定模块，用于确定所述目标货格上放置物品的类别，作为取放物品的类别；

计算模块，用于基于重力传感器的重力变化值、以及所述目标货格上放置的物品的单位重量，计算取放物品的数量；

记录模块，用于基于所述第一获取模块获取的人员信息、所述第四确定模块确定的物品取放事件的类型、所述第五确定模块确定的取放物品的类别、所述计算模块计算得到的取放物品的数量，记录人员的行为信息。

可选的，所述装置还包括：

第三获取模块，用于获取预设场景中的图像；

第二检测模块，用于检测所述图像中是否发生物品取放事件，如果是，触发第六确定模块；

第六确定模块，用于将所述图像确定为待处理图像；

所述第一识别模块，具体用于：

在所述待处理图像中，识别与所述物品取放事件相关联的手部区域。

可选的，所述第一获取模块，具体用于：

提取所述人脸区域的人脸特征，作为待查找人脸特征；

在预先存储的人脸特征与人员信息的对应关系中，查找所述待查找人脸特征对应的人员信息，作为触发所述物品取放事件的人员信息。

为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任意一种基于物品取放事件的人员信息获取方法。

应用本发明所示实施例，检测到物品取放事件后，在包含物品取放事件的图像中，识别与物品取放事件相关联的手部区域，并且在该图像中，确定与手部区域属于同一人体的人脸区域；基于人脸区域，获取触发物品取放事件的人员信息；可见，本方案中，基于图像中的人脸区域获取人员信息，不需要对人员的轨迹进行跟踪，即使人员在不同监控场景中移动，仍然能够准确地获取到触发物品取放事件的人员信息。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于物品取放事件的人员信息获取方法的第一种流程示意图；

图2为本发明实施例提供的一种相机架设示意图；

图3为本发明实施例提供的另一种相机架设示意图；

图4为本发明实施例提供的基于物品取放事件的人员信息获取方法的第二种流程示意图；

图5为本发明实施例提供的一种基于物品取放事件的人员信息获取装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了达到上述目的，本发明实施例提供了一种基于物品取放事件的人员信息获取方法、装置及设备，该方法及装置可以应用于各种电子设备，具体不做限定。

图1为本发明实施例提供的基于物品取放事件的人员信息获取方法的第一种流程示意图，包括：

S101：检测到物品取放事件后，在包含该物品取放事件的图像中，识别与该物品取放事件相关联的手部区域。

检测物品取放事件的方式有多种，比如，可以通过重力传感器检测是否发生物品取放事件，再比如，可以通过图像检测是否发生物品取放事件。

举例来说，可以在检测到物品取放事件后，采集得到包含该物品取放事件的图像。或者，也可以持续进行图像采集，检测到物品取放事件后，在包含该物品取放事件的图像中，识别与该物品取放事件相关联的手部区域。

一种实施方式中，可以基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；如果是，确定货架中发生所述物品取放事件的位置，作为目标位置，并获取包含所述物品取放事件的图像；在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域。这样，S101可以包括：识别位于所述目标图像区域中的手部区域，作为与所述物品取放事件相关联的手部区域。

举例来说，可以在货架的不同位置处设置重力传感器，以感知发生物品取放事件的具体位置。为了方便描述，将货架中发生物品取放事件的位置称为目标位置。可以预先在图像中标定货架各位置对应的图像区域，本实施方式中，在确定出目标位置后，可以根据标定结果确定出目标位置对应的图像区域。然后将位于该图像区域中的手部区域作为与物品取放事件相关联的手部区域。

或者，一种实施方式中，货架包括多个货格，每个货格分别对应一个重力传感器，这样，可以感知哪个货格发生了物品取放事件。为了方便描述，将发生物品取放事件的货格称为目标货格。

本实施方式中，可以确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格；在包含所述物品取放事件的图像中，确定所述目标货格对应的预设区域(上述目标图像区域)，然后识别位于所述目标货格对应的预设区域中的手部区域。

举例来说，可以预先在图像中标定每个货格对应的预设区域。一种情况下，参考图2所示，可以将货格上下左右各外扩10厘米，将货格面向顾客的方向外扩30厘米，得到一个立方体区域，将该立方体区域作为该货格对应的预设区域。

这样，货格对应的预设区域大于货格本身所在区域，可以提高识别灵敏度。或者，其他情况下，也可以不对货格进行外扩，将货格本身所在区域作为货格对应的预设区域。具体的货格区域设定不做限定。

一种实施方式中，可以识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，所述连接关系表示手部关键点与头部关键点属于同一人体；识别位于所述目标图像区域(目标货格对应的预设区域)中的手部关键点，作为目标手部关键点。

举例来说，可以采用基于卷积神经网络的bottom-up(自下而上的，从点到面的)关键点检测算法，检测图像中的手部关键点和头部关键点，并对同一人体的手部关键点和头部关键点建立连接关系。一种情况下，对于图像中的每个人员来说，可以检测该人员的三个关键点：左手关键点、右手关键点和头部关键点，具体的关键点数量不做限定。或者，也可以采用其他目标检测算法，检测图像中的人员手部区域、人脸区域，具体检测方式不做限定。

S102：在该图像中，确定与该手部区域属于同一人体的人脸区域。

举例来说，参考图2所示，可以在货架面向顾客一侧设置相机，相机针对顾客进行图像采集，这样，采集到的图像可以包含顾客取放物品的事件、以及顾客的人脸，并且遮挡人脸的情况较少，可以在图像中确定与手部区域属于同一人体的人脸区域。

上述一种实施方式中，识别图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；在所述图像中，识别位于目标货格对应的预设区域中的手部关键点，作为目标手部关键点；这种实施方式中，S102可以包括：基于所述连接关系，确定与所述目标手部关键点属于同一人体的头部关键点，作为目标头部关键点；在所述图像中，识别所述目标头部关键点所在的人脸区域。

举例来说，可以由目标头部关键点向四周扩展，得到一个目标框，该目标框中即为人脸区域。该目标框的形状、尺寸不做限定。

举例来说，可以使用基于卷积神经网络的人脸位置检测方法，获取人脸的目标框。后续可以再使用基于卷积神经网络的特征提取方法，对该目标框中的人脸区域进行特征提取，得到该人脸区域的特征向量。

一种实施方式中，上述手部关键点可以为三维坐标，这样可以更准确地识别位于目标货格中的手部关键点。

本实施方式中，图像包括二维图像和深度图像；可以识别所述二维图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；基于所述二维图像与所述深度图像之间的映射关系，得到所述手部关键点的三维坐标。

本实施方式中，可以将所述目标图像区域的三维坐标与所述手部关键点的三维坐标进行匹配，基于匹配结果识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；所述目标图像区域的三维坐标为预先标定得到的。如上所述，可以预先在图像中标定每个货格对应的预设区域，本实施方式中，还可以标定该预设区域的三维坐标，也就是该目标图像区域的三维坐标。可以理解，通过匹配目标图像区域的三维坐标和手部关键点的三维坐标，可以判断手部关键点是否位于目标货格对应的区域中，也就识别出了目标手部关键点。

举例来说，可以获取包含货架的二维图像和深度图像。比如，参考图2所示，可以在货架面向顾客一侧设置相机，相机针对顾客进行图像采集。一种情况下，该相机可以为多目相机，如双目相机、三目相机等等，具体不做限定。该多目相机采集的多目图像即为二维图像，基于该多目图像可以计算得到深度图像。

假设该相机为双目相机，则可以选择该双目相机中的一目相机采集的图像，比如，选择左目相机采集的图像，或者也可以选择右目相机采集的图像，然后在选择的图像中识别手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系。

或者，另一种情况下，该相机可以为深度相机，该深度相机针对顾客进行图像采集，得到二维图像和深度图像。

S103：基于该人脸区域，获取触发该物品取放事件的人员信息。

举例来说，人员信息可以为人脸图像区域、人脸特征、或者也可以为人员的身份信息等等，具体不做限定。可以直接将S102中确定的人脸区域作为触发该物品取放事件的人员信息；或者，也可以在该人脸区域中提取人脸特征，作为触发该物品取放事件的人员信息；或者，也可以基于该人脸区域，获取人员的身份信息，作为触发该物品取放事件的人员信息。

一种实施方式中，S103可以包括：提取所述人脸区域的人脸特征，作为待查找人脸特征；在预先存储的人脸特征与人员信息的对应关系中，查找所述待查找人脸特征对应的人员信息，作为触发所述物品取放事件的人员信息。

举例来说，一种情况下，可以在购物场所入口处，设置具有人脸抓拍功能的购物终端机；人员进入购物场所时，该购物终端机抓拍人脸图像，在人脸图像中提取人脸特征；此外，人员在该购物终端机中提交人员信息；将人脸特征与人员信息一并存储。这样，购物终端机中便存储了进入购物场所的各人员的人脸特征与人员信息。

或者，另一种情况下，人员也可以在移动终端中安装购物APP(Application，应用程序)，在该APP进行注册时，该APP采集人脸图像并获取人员信息，该APP在人脸图像中提取人脸特征，将人脸特征与人员信息一并存储至服务器端。这样，服务器端便存储了使用该APP的各人员的人脸特征与人员信息。

举例来说，S102确定出人脸区域后，可以提取该人脸区域的特征向量，作为待查找特征向量。相对应的，购物终端机或服务器端存储有人脸图像的特征向量及其对应的人员信息，可以通过对比特征向量的余弦相似度，在预先存储的特征向量与人员信息中，查找与该待查找特征向量相匹配的特征向量对应的人员信息，作为触发该物品取放事件的人员信息。

一种实施方式中，记录物品取放事件、以及触发该物品取放事件的人员信息，这样，后续可以利用所记录的内容，分析顾客的购物习惯。或者，顾客进行结算时，也可以利用所记录的内容进行信息复核。该记录内容的具体应用情况不做限定。

一种实施方式中，确定目标货格之后，可以判断发生变化的重力数值变大还是变小；如果变大，则确定所述物品取放事件的类型为放回事件；如果变小，则确定所述物品取放事件的类型为取走事件；确定所述目标货格上放置物品的类别，作为取放物品的类别；基于重力传感器的重力变化值、以及所述目标货格上放置的物品的单位重量，计算取放物品的数量。

这种实施方式中，S103之后，可以基于所述人员信息、所述物品取放事件的类型、所述取放物品的类别、所述取放物品的数量，记录人员的行为信息。举例来说，可以利用该人员的行为信息，分析该人员的购物习惯。或者，该人员的进行结算时，也可以利用该人员的行为信息进行复核。该行为信息的具体应用情况不做限定。

一种情况下，可以基于所述人员信息、所述物品取放事件的类型、所述取放物品的类别、所述取放物品的数量，更新人员的虚拟购物车中的商品。

举例来说，假设货格1中放置的物品为巧克力，每个巧克力的重力为m，假设货格1对应的重力传感器采集的重力数值减少了M，则确定货格1对应的事件类型为取走事件，计算M/m，即为人员取走的巧克力的数量。

假设应用本发明所示实施例，确定出触发物品取放事件的人员为人员A，获取到人员A的信息。举例来说，人员信息可以包括人员的身份信息、支付信息等等。比如，可以为人员建立虚拟购物车，并与人员的支付方式进行绑定。上述例子中，可以在人员A的虚拟购物车中添加M/m个巧克力。

假设后续又确定出货格1对应的重力传感器采集的重力数值增加了N，则确定货格1对应的事件类型为放回事件，计算N/m，即为人员放回的巧克力的数量。假设应用本发明所示实施例，确定出触发物品取放事件的人员仍为人员A，可以在人员A的虚拟购物车中减少N/m个巧克力。

如上所述，可以通过图像检测是否发生物品取放事件。一种实施方式中，可以获取预设场景中的图像；检测所述图像中是否发生物品取放事件，如果是，将所述图像确定为待处理图像。这种实施方式中，在待处理图像中，识别与所述物品取放事件相关联的手部区域。具体识别方式，上面内容中已详细介绍，这里不再赘述。

举例来说，一种情况下，参考图2所示，可以在货架面向顾客一侧设置相机，相机针对顾客进行图像采集，这样，采集到的图像可以包含顾客取放物品的事件、以及顾客的人脸。

或者，另一种情况下，可以设置两台相机：第一相机和第二相机。第一相机如图2所示，设置于货架面向顾客一侧，第一相机针对顾客进行图像采集，第一相机采集的图像用于识别与物品取放事件相关联的手部区域、以及与手部区域属于同一人体的人脸区域。

第二相机可以设置于货架的上方，参考图3所示，可以在货架正前方(面向顾客一侧)距地面约3.5米高的位置，架设垂直向下拍摄的相机。第二相机针对货架进行图像采集，第二相机采集的图像用于检测是否发生物品取放事件，以及发生物品取放事件的具体位置。

这种情况下，可以分别在这两台相机采集的图像中进行标定，标定货架中各货格的位置。这样，在第二相机采集的图像中，确定发生物品取放事件的目标货格后，可以在第一相机采集的图像中，确定目标货格对应的预设区域，然后识别位于该预设区域中的手部区域，确定与该手部区域属于同一人体的人脸区域。

应用本发明所示实施例，检测到物品取放事件后，在包含物品取放事件的图像中，识别与物品取放事件相关联的手部区域，并且在该图像中，确定与手部区域属于同一人体的人脸区域；基于人脸区域，获取触发物品取放事件的人员信息；可见，本方案中，基于图像中的人脸区域获取人员信息，不需要对人员的轨迹进行跟踪，即使人员在不同监控场景中移动，仍然能够准确地获取到触发物品取放事件的人员信息。

一些相关方案中，通过红外相机采集红外图像，通过骨骼识别算法识别红外图像中的人体动作，如果该动作为取放物品的动作，则继续确定取放物品的人员身份。这种方案中，第一方面，红外相机的成本较高；第二方面，如果货架前存在多名顾客，则该多名顾客之间互相遮挡，并且货架前的立柱也会对顾客形成遮挡，这样，利用骨骼识别算法不能准确识别红外图像中的人体动作，不能准确地检测物品取放事件。

而本方案的一些实施方式中，通过货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；第一方面，使用重力传感器的成本比使用红外相机的成本低；第二方面，人员及立柱的遮挡也不会影响物品取放事件的检测准确性；第三方面，预先标定各货格中放置的物品的类别及重量，通过重力传感器采集的重力数值的变化，还可以确定物品取放事件的类型、取放物品的类别、以及取放物品数量。

一些相关方案中，在每个物品上粘贴RFID(Radio Frequency Identification，射频识别)标签，顾客离开购物场所时，通过仪器自动检测RFID标签，确定哪位顾客取走了哪些物品，以便结算扣款。但这种方案中，需要在每个物品上都粘贴RFID标签，成本较高，并且造成了资源浪费。而应用本发明所示实施例，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。

图4为本发明实施例提供的基于物品取放事件的人员信息获取方法的第二种流程示意图，包括：

S401：基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；如果是，执行S402。

S402：确定货架中发生该物品取放事件的货格，作为目标货格；并获取包含该物品取放事件的图像。

本实施例中，货架包括多个货格，每个货格分别对应一个重力传感器。如果哪个重力传感器采集的重力数值发生了变化，则确定这个重力传感器对应的货格发生了物品取放事件。为了方便描述，将发生物品取放事件的货格称为目标货格。

本实施例中，在检测到物品取放事件后，采集得到包含该物品取放事件的图像。举例来说，参考图2所示，在货架面向顾客一侧设置相机，可以在检测到物品取放事件的情况下，控制相机进行图像采集，这样，采集到的图像可以包含顾客取放物品的事件。

S403：在该图像中确定目标货格对应的预设区域。

举例来说，可以预先在图像中标定每个货格对应的预设区域。一种情况下，参考图2所示，可以将货格上下左右各外扩10厘米，将货格面向顾客的方向外扩30厘米，得到一个立方体区域，将该立方体区域作为该货格对应的预设区域。

这样，货格对应的预设区域大于货格本身所在区域，可以提高识别灵敏度。或者，其他情况下，也可以不对货格进行外扩，将货格本身所在区域作为货格对应的预设区域。具体的货格区域设定不做限定。

S404：识别该图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系。所述连接关系表示手部关键点与头部关键点属于同一人体。

S403与S404的先后顺序不做限定。

一种实施方式中，可以通过多目相机得到二维图像和深度图像，或者也可以通过深度相机得到二维图像和深度图像。识别该二维图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；基于所述二维图像与所述深度图像之间的映射关系，得到所述手部关键点的三维坐标。

这种实施方式中，基于手部关键点的三维坐标，可以更准确地识别位于目标货格中的手部关键点。

举例来说，可以采用基于卷积神经网络的bottom-up(自下而上的，从点到面的)关键点检测算法，检测图像中的手部关键点和头部关键点，并对同一人体的手部关键点和头部关键点建立连接关系。一种情况下，对于图像中的每个人员来说，可以检测该人员的三个关键点：左手关键点、右手关键点和头部关键点，具体的关键点数量不做限定。具体检测方式不做限定。

S405：在该图像中，识别位于目标货格对应的预设区域中的手部关键点，作为目标手部关键点。

上述一种实施方式中，得到了手部关键点的三维坐标，这种实施方式中，可以将目标货格对应的预设区域的三维坐标与手部关键点的三维坐标进行匹配，基于匹配结果识别位于目标货格对应的预设区域中的手部关键点，作为目标手部关键点。目标货格对应的预设区域的三维坐标为预先标定得到的。如上所述，可以预先在图像中标定每个货格对应的预设区域，本实施方式中，还可以标定该预设区域的三维坐标。

S406：基于该连接关系，确定与目标手部关键点属于同一人体的头部关键点，作为目标头部关键点。

S407：在该图像中，识别目标头部关键点所在的人脸区域。

举例来说，参考图2所示，可以在货架面向顾客一侧设置相机，相机针对顾客进行图像采集，这样，采集到的图像可以包含顾客取放物品的事件、以及顾客的人脸，并且遮挡人脸的情况较少，可以在图像中识别目标头部关键点所在的人脸区域。

举例来说，可以由目标头部关键点向四周扩展，得到一个目标框，该目标框中即为人脸区域。该目标框的形状、尺寸不做限定。

S408：提取该人脸区域的人脸特征，作为待查找人脸特征。

举例来说，可以使用基于卷积神经网络的人脸位置检测方法，获取人脸的目标框。然后再使用基于卷积神经网络的特征提取方法，对该目标框中的人脸区域进行特征提取，得到该人脸区域的特征向量。

S409：在预先存储的人脸特征与人员信息的对应关系中，查找该待查找人脸特征对应的人员信息，作为触发该物品取放事件的人员信息。

举例来说，一种情况下，可以在购物场所入口处，设置具有人脸抓拍功能的购物终端机；人员进入购物场所时，该购物终端机抓拍人脸图像，在人脸图像中提取人脸特征；此外，人员在该购物终端机中提交人员信息；将人脸特征与人员信息一并存储。这样，购物终端机中便存储了进入购物场所的各人员的人脸特征与人员信息。

或者，另一种情况下，人员也可以在移动终端中安装购物APP，在该APP进行注册时，该APP采集人脸图像并获取人员信息，该APP在人脸图像中提取人脸特征，将人脸特征与人员信息一并存储至服务器端。这样，服务器端便存储了使用该APP的各人员的人脸特征与人员信息。

举例来说，S407识别得到人脸区域后，可以提取该人脸区域的特征向量，作为待查找特征向量。相对应的，购物终端机或服务器端存储有人脸图像的特征向量及其对应的人员信息，可以通过对比特征向量的余弦相似度，在预先存储的特征向量与人员信息中，查找与该待查找特征向量相匹配的特征向量对应的人员信息，作为触发该物品取放事件的人员信息。

一种实施方式中，基于所述人员信息、所述物品取放事件的类型、所述取放物品的类别、所述取放物品的数量，记录人员的行为信息。这样，后续可以利用记录的行为信息，分析顾客的购物习惯。或者，顾客进行结算时，也可以利用记录的行为信息进行信息复核。该行为信息的具体应用情况不做限定。

应用本发明图4所示实施例，第一方面，基于图像中的人脸区域获取人员信息，不需要对人员的轨迹进行跟踪，即使人员在不同监控场景中移动，仍然能够准确地获取到触发物品取放事件的人员信息。第二方面，通过货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；使用重力传感器的成本比使用红外相机的成本低；而且人员及立柱的遮挡也不会影响物品取放事件的检测准确性。第三方面，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。

与上述方法实施例相对应，本发明实施例还提供了一种基于物品取放事件的人员信息获取装置，如图5所示，包括：

第一识别模块501，用于检测到物品取放事件后，在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域；

第一确定模块502，用于在所述图像中，确定与所述手部区域属于同一人体的人脸区域；

第一获取模块503，用于基于所述人脸区域，获取触发所述物品取放事件的人员信息。

一种实施方式中，所述装置还包括：第一检测模块、第二确定模块、第二获取模块、第三确定模块(图中未示出)，其中，

第一检测模块，用于基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；如果是，触发第二确定模块和第二获取模块；

第二确定模块，用于确定货架中发生所述物品取放事件的位置，作为目标位置；

第二获取模块，用于获取包含所述物品取放事件的图像；

第三确定模块，用于在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域；

第一识别模块501具体用于：识别位于所述目标图像区域中的手部区域，作为与所述物品取放事件相关联的手部区域。

一种实施方式中，所述货架包括多个货格，每个货格分别对应一个重力传感器；所述第二确定模块，具体用于：

确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格；

所述第三确定模块，具体用于：

在所述图像中确定所述目标货格对应的预设区域，作为目标图像区域。

一种实施方式中，所述装置还包括：

第二识别模块(图中未示出)，用于识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，所述连接关系表示手部关键点与头部关键点属于同一人体；

第一识别模块501具体用于：识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；

第一确定模块502具体用于：

基于所述连接关系，确定与所述目标手部关键点属于同一人体的头部关键点，作为目标头部关键点；在所述图像中，识别所述目标头部关键点所在的人脸区域。

一种实施方式中，所述图像包括：二维图像和深度图像；第二识别模块具体用于：

识别所述二维图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；

基于所述二维图像与所述深度图像之间的映射关系，得到所述手部关键点的三维坐标；

第一识别模块501具体用于：

将所述目标图像区域的三维坐标与所述手部关键点的三维坐标进行匹配，基于匹配结果识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；所述目标图像区域的三维坐标为预先标定得到的。

一种实施方式中，所述装置还包括：第四确定模块、第五确定模块、计算模块和记录模块(图中未示出)，其中，

第四确定模块，用于判断发生变化的重力数值变大还是变小；如果变大，则确定所述物品取放事件的类型为放回事件；如果变小，则确定所述物品取放事件的类型为取走事件；

第五确定模块，用于确定所述目标货格上放置物品的类别，作为取放物品的类别；

计算模块，用于基于重力传感器的重力变化值、以及所述目标货格上放置的物品的单位重量，计算取放物品的数量；

记录模块，用于基于所述第一获取模块获取的人员信息、所述第四确定模块确定的物品取放事件的类型、所述第五确定模块确定的取放物品的类别、所述计算模块计算得到的取放物品的数量，记录人员的行为信息。

一种实施方式中，所述装置还包括：第三获取模块、第二检测模块和第六确定模块(图中未示出)，其中，

第三获取模块，用于获取预设场景中的图像；

第二检测模块，用于检测所述图像中是否发生物品取放事件，如果是，触发第六确定模块；

第六确定模块，用于将所述图像确定为待处理图像；

第一识别模块501具体用于：

在所述待处理图像中，识别与所述物品取放事件相关联的手部区域。

一种实施方式中，第一获取模块503具体用于：

提取所述人脸区域的人脸特征，作为待查找人脸特征；

在预先存储的人脸特征与人员信息的对应关系中，查找所述待查找人脸特征对应的人员信息，作为触发所述物品取放事件的人员信息。

应用本发明所示实施例，检测到物品取放事件后，在包含物品取放事件的图像中，识别与物品取放事件相关联的手部区域，并且在该图像中，确定与手部区域属于同一人体的人脸区域；基于人脸区域，获取触发物品取放事件的人员信息；可见，本方案中，基于图像中的人脸区域获取人员信息，不需要对人员的轨迹进行跟踪，即使人员在不同监控场景中移动，仍然能够准确地获取到触发物品取放事件的人员信息。而且，本方案不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。

一些实施方式中，通过货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；第一方面，使用重力传感器的成本比使用红外相机的成本低；第二方面，人员及立柱的遮挡也不会影响物品取放事件的检测准确性；第三方面，预先标定各货格中放置的物品的类别及重量，通过重力传感器采集的重力数值的变化，还可以确定物品取放事件的类型、取放物品的类别、以及取放物品数量。

本发明实施例还提供了一种电子设备，如图6所示，包括处理器601和存储器602，

存储器602，用于存放计算机程序；

处理器601，用于执行存储器602上所存放的程序时，实现上述任意一种基于物品取放事件的人员信息获取方法。

上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种基于物品取放事件的人员信息获取方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任意一种基于物品取放事件的人员信息获取方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种基于物品取放事件的人员信息获取方法，其特征在于，包括：

检测到物品取放事件后，在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域；

在所述图像中，确定与所述手部区域属于同一人体的人脸区域；

基于所述人脸区域，获取触发所述物品取放事件的人员信息；

所述方法还包括：

基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；

如果是，确定货架中发生所述物品取放事件的位置，作为目标位置，并获取包含所述物品取放事件的图像；

在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域；

所述在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域，包括：

识别位于所述目标图像区域中的手部区域，作为与所述物品取放事件相关联的手部区域。

2.根据权利要求1所述的方法，其特征在于，所述货架包括多个货格，每个货格分别对应一个重力传感器；所述确定货架中发生所述物品取放事件的位置，作为目标位置，包括：

确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格；

所述在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域，包括：

在所述图像中确定所述目标货格对应的预设区域，作为目标图像区域。

3.根据权利要求2所述的方法，其特征在于，所述获取包含所述物品取放事件的图像之后，还包括：

识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，所述连接关系表示手部关键点与头部关键点属于同一人体；

所述识别位于所述目标图像区域中的手部区域，包括：

识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；

所述在所述图像中，确定与所述手部区域属于同一人体的人脸区域，包括：

基于所述连接关系，确定与所述目标手部关键点属于同一人体的头部关键点，作为目标头部关键点；

在所述图像中，识别所述目标头部关键点所在的人脸区域。

4.根据权利要求3所述的方法，其特征在于，所述图像包括：二维图像和深度图像；所述识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，包括：

识别所述二维图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；

基于所述二维图像与所述深度图像之间的映射关系，得到所述手部关键点的三维坐标；

所述识别位于所述目标图像区域中的手部关键点，作为目标手部关键点，包括：

将所述目标图像区域的三维坐标与所述手部关键点的三维坐标进行匹配，基于匹配结果识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；所述目标图像区域的三维坐标为预先标定得到的。

5.根据权利要求2所述的方法，其特征在于，所述确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格之后，还包括：

判断发生变化的重力数值变大还是变小；如果变大，则确定所述物品取放事件的类型为放回事件；如果变小，则确定所述物品取放事件的类型为取走事件；

确定所述目标货格上放置物品的类别，作为取放物品的类别；

基于重力传感器的重力变化值、以及所述目标货格上放置的物品的单位重量，计算取放物品的数量；

所述基于所述人脸区域，获取触发所述物品取放事件的人员信息之后，还包括：

基于所述人员信息、所述物品取放事件的类型、所述取放物品的类别、所述取放物品的数量，记录人员的行为信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预设场景中的图像；

检测所述图像中是否发生物品取放事件，如果是，将所述图像确定为待处理图像；

所述在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域，包括：

在所述待处理图像中，识别与所述物品取放事件相关联的手部区域。

7.根据权利要求1所述的方法，其特征在于，所述基于所述人脸区域，获取触发所述物品取放事件的人员信息，包括：

提取所述人脸区域的人脸特征，作为待查找人脸特征；

在预先存储的人脸特征与人员信息的对应关系中，查找所述待查找人脸特征对应的人员信息，作为触发所述物品取放事件的人员信息。

8.一种基于物品取放事件的人员信息获取装置，其特征在于，包括：

第一识别模块，用于检测到物品取放事件后，在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域；

第一确定模块，用于在所述图像中，确定与所述手部区域属于同一人体的人脸区域；

第一获取模块，用于基于所述人脸区域，获取触发所述物品取放事件的人员信息；

所述装置还包括：

第一检测模块，用于基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；如果是，触发第二确定模块和第二获取模块；

第二确定模块，用于确定货架中发生所述物品取放事件的位置，作为目标位置；

第二获取模块，用于获取包含所述物品取放事件的图像；

第三确定模块，用于在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域；

所述第一识别模块，具体用于：识别位于所述目标图像区域中的手部区域，作为与所述物品取放事件相关联的手部区域。

9.一种电子设备，其特征在于，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。