CN111680657A - 一种物品取放事件的触发人员确定方法、装置及设备 - Google Patents

Abstract

本发明实施例提供了一种物品取放事件的触发人员确定方法、装置及设备，方法包括：如果有多个人员与物品取放事件相关联，则获取到货架信息和多个人员的位置信息，一个人员的位置信息包括：在包含物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；针对与物品取放事件相关联的每个人员，统计该人员的位置信息中与货架信息满足预设关联条件的位置信息的份数；基于该份数，在与物品取放事件相关联的每个人员中，确定触发物品取放事件的人员，这样便可以区分出具体是哪个人员触发了该物品取放事件，提高了确定触发人员的准确性。

Description

一种物品取放事件的触发人员确定方法、装置及设备

技术领域

本发明涉及零售技术领域，特别是涉及一种物品取放事件的触发人员确定方法、装置及设备。

背景技术

传统的零售行业中，一般需要配备专门的销售人员和收款人员，人力成本较高。随着技术的发展，出现了一些无人超市、无人商场等不需要配备销售人员和收款人员的购物场所。

这些购物场所中，需要检测货架上的物品取放事件、并确定该物品取放事件的触发人员，换句话说，也就是检测货架上的物品是否被顾客取走或者放回，以及确定是哪位顾客取走或放回了物品。

确定物品取放事件的触发人员，一般包括：检测到物品取放事件后，根据人员在购物场所中的实时位置，确定位于发生该物品取放事件的货架附近的人员，作为触发该物品取放事件的触发人员。

但是购物场所中人员较密集，同一货架附近通常存在多位顾客，利用上述方案不能区分具体是该多位顾客中的哪位顾客触发了物品取放事件。可见，上述方案的准确性较低。

发明内容

本发明实施例的目的在于提供一种物品取放事件的触发人员确定方法、装置及设备，以提高方案的准确性。

为达到上述目的，本发明实施例提供了一种物品取放事件的触发人员确定方法，包括：

获取发生物品取放事件的货架信息、以及与所述物品取放事件相关联的每个人员的位置信息，一个人员的位置信息包括：在包含所述物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；

针对与所述物品取放事件相关联的每个人员，统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数；

基于所述份数，在与所述物品取放事件相关联的每个人员中，确定触发所述物品取放事件的人员。

可选的，所述货架包括多个货格；获取与所述物品取放事件相关联的每个人员的位置信息，包括：

对每帧视频图像中的人员进行检测并跟踪，得到人员的位置信息，作为候选位置信息；所述视频图像为针对货架采集的视频图像；

在检测到货格中发生物品取放事件的情况下，确定检测到所述物品取放事件的时段，作为目标时段；

在所述候选位置信息中，确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像中检测得到的人员的位置信息，作为与所述物品取放事件相关联的每个人员的位置信息。

可选的，所述货架包括多个货格；所述统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数，包括：

针对该人员的每份位置信息，判断该份位置信息指向的位置是否位于发生物品取放事件的货格对应的预设区域内，如果是，将该份位置信息确定为关联位置信息；

统计该人员的位置信息中的关联位置信息的份数，作为该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数。

可选的，每份位置信息包括人员的头部位置信息和手部位置信息；所述预设区域包括：货格面向顾客一侧的预设范围和货格对应的预设立方体区域；

所述判断该份位置信息指向的位置是否位于发生物品取放事件的货格对应的预设区域内，包括：

判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内。

可选的，获取与所述物品取放事件相关联的每个人员的位置信息之后，还包括：

判断与所述物品取放事件相关联的每个人员的位置信息中，位于发生物品取放事件的货格面向顾客一侧的预设范围内的头部位置信息是否属于同一人员；

如果属于同一人员，则将所述同一人员确定为触发所述物品取放事件的人员；

如果不属于同一人员，则执行针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内的步骤。

可选的，所述基于所述份数，在与所述物品取放事件相关联的每个人员中，确定触发所述物品取放事件的人员，包括：

确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像的数量，作为待对比数量；

针对与所述物品取放事件相关联的每个人员，计算该人员对应的所述份数与所述待对比数量的比值，判断所述比值是否满足预设占比条件，如果满足，将该人员确定为触发所述物品取放事件的人员。

为达到上述目的，本发明实施例还提供了一种物品取放事件的触发人员确定装置，包括：

第一获取模块，用于获取发生物品取放事件的货架信息；

第二获取模块，用于获取与所述物品取放事件相关联的每个人员的位置信息，一个人员的位置信息包括：在包含所述物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；

统计模块，用于针对与所述物品取放事件相关联的每个人员，统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数；

第一确定模块，用于基于所述份数，在与所述物品取放事件相关联的每个人员中，确定触发所述物品取放事件的人员。

可选的，所述货架包括多个货格；所述第二获取模块，包括：

跟踪子模块，用于对每帧视频图像中的人员进行检测并跟踪，得到人员的位置信息，作为候选位置信息；所述视频图像为针对货架采集的视频图像；

第一确定子模块，用于在检测到货格中发生物品取放事件的情况下，确定检测到所述物品取放事件的时段，作为目标时段；

第二确定子模块，用于在所述候选位置信息中，确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像中检测得到的人员的位置信息，作为与所述物品取放事件相关联的每个人员的位置信息。

可选的，所述货架包括多个货格；所述统计模块，包括：

判断子模块，用于针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息指向的位置是否位于发生物品取放事件的货格对应的预设区域内；如果是，触发第三确定子模块；

第三确定子模块，用于将该份位置信息确定为关联位置信息；

统计子模块，用于统计该人员的位置信息中的关联位置信息的份数，作为该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数。

可选的，每份位置信息包括人员的头部位置信息和手部位置信息；所述预设区域包括：货格面向顾客一侧的预设范围和货格对应的预设立方体区域；

所述判断子模块，具体用于：针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内。

可选的，所述装置还包括：

判断模块，用于判断与所述物品取放事件相关联的每个人员的位置信息中，位于发生物品取放事件的货格面向顾客一侧的预设范围内的头部位置信息是否属于同一人员；如果属于同一人员，则触发第二确定模块；如果不属于同一人员，则触发所述判断子模块；

第二确定模块，用于将所述同一人员确定为触发所述物品取放事件的人员。

可选的，所述第一确定模块，具体用于：

确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像的数量，作为待对比数量；

针对与所述物品取放事件相关联的每个人员，计算该人员对应的所述份数与所述待对比数量的比值，判断所述比值是否满足预设占比条件，如果满足，将该人员确定为触发所述物品取放事件的人员。

为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任意一种物品取放事件的触发人员确定方法。

应用本发明所示实施例，如果有多个人员与物品取放事件相关联，则获取到货架信息和多个人员的位置信息，一个人员的位置信息包括：在包含物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；针对与物品取放事件相关联的每个人员，统计该人员的位置信息中与货架信息满足预设关联条件的位置信息的份数；基于该份数，在与物品取放事件相关联的每个人员中，确定触发物品取放事件的人员，这样便可以区分出具体是哪个人员触发了该物品取放事件，提高了确定触发人员的准确性。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的物品取放事件的触发人员确定方法的第一种流程示意图；

图2为本发明实施例提供的一种货格对应的预设区域示意图；

图3为本发明实施例提供的物品取放事件的触发人员确定方法的第二种流程示意图；

图4为本发明实施例提供的一种物品取放事件的触发人员确定装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了达到上述目的，本发明实施例提供了一种物品取放事件的触发人员确定方法、装置及设备，该方法及装置可以应用于各种电子设备，具体不做限定。

图1为本发明实施例提供的物品取放事件的触发人员确定方法的第一种流程示意图，包括：

S101：获取发生物品取放事件的货架信息、以及与该物品取放事件相关联的每个人员的位置信息，一个人员的位置信息包括：在包含该物品取放事件的多帧视频图像中跟踪得到的同一人员的多份位置信息。

举例来说，可以在货架中设置重力传感器，以感知物品取放事件。或者，也可以在货架中设置光线发射器和光线接收器，当有人手伸入货架取放物品时，会遮挡光线发射器发射的光线，这样也可以感知物品取放事件。

关于货架信息：

一种实施方式中，货架信息可以包括发生物品取放事件的货架位置信息。这种实施方式中，可以在货架的不同位置处设置重力传感器，以感知发生物品取放事件的具体位置。或者，也可以通过货架上设置的多对光线发射器和光线接收器，感知发生物品取放事件的具体位置。

或者，另一种实施方式中，货架包括多个货格，货架信息可以包括发生物品取放事件的货格信息，比如，货格的标识、货格的行列信息、货格的位置坐标等等，具体不做限定。

这种实施方式中，每个货格可以分别对应一个重力传感器，通过重力传感器采集的货格重力数值，检测货格中是否发生物品取放事件。

或者，每个货格可以分别设置一对光线发射器和光线接收器，当有人手伸入该货格取放物品时，会遮挡光线发射器发射的光线。这样，便可以通过光线发射器和光线接收器，检测货格中是否发生物品取放事件。

关于人员的位置信息：

这里所说的“与物品取放事件相关联的每个人员”是指在包含物品取放事件的多帧视频图像中检测并跟踪的人员。比如，相机针对货架进行视频采集，货架中发生物品取放事件时，货架前有三位顾客，在相机采集的视频图像中对这三位顾客进行检测跟踪，这三位顾客即为“与物品取放事件相关联的人员”，后续在这三位顾客中，确定具体是谁触发了该物品取放事件。

一种实施方式中，可以对每帧视频图像中的人员进行检测并跟踪，得到人员的位置信息，作为候选位置信息；所述视频图像为针对货架采集的视频图像；在检测到货格中发生物品取放事件的情况下，确定检测到所述物品取放事件的时段，作为目标时段；在所述候选位置信息中，确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像中检测得到的人员的位置信息，作为与所述物品取放事件相关联的每个人员的位置信息。

本实施方式中，可以对相机采集的每帧视频图像都进行人员检测及跟踪，并对得到的位置信息进行缓存。然后在检测到物品取放事件后，再在缓存的位置信息中选择与物品取放事件相关联的每个人员的位置信息。举例来说，假设目标时段为t，则可以选择t之前和/或之后一段时间内，比如选择t之前1秒至t之后1秒采集的视频图像中检测得到的人员的位置信息，作为与物品取放事件相关联的每个人员的位置信息。“t之前和/或之后一段时间”可以根据实际情况进行选择，具体不做限定。

举例来说，假设在相机采集的第N帧—第N+25帧视频图像中，检测并跟踪得到人员A和人员B的位置信息，在相机采集的第N+26帧—第N+40帧视频图像中，检测并跟踪得到人员A和人员C的位置信息。假设通过重力传感器，或者通过光线发射器和光线接收器，检测到t时段货格1中发生物品取放事件，假设第N帧—第N+40帧视频图像的采集时刻与t时段的时间间隔满足预设间隔条件，则将人员A、人员B和人员C的位置信息作为与所述物品取放事件相关联的每个人员的位置信息。获取到人员A的41份位置信息(一帧视频图像对应一份位置信息)，获取到人员B的26份位置信息，获取到人员C的15份位置信息。

或者，另一种实施方式中，也可以在检测到物品取放事件后，再对相机采集的视频图像进行人员检测及跟踪，得到与所述物品取放事件相关联的每个人员的位置信息。

S102：针对与该物品取放事件相关联的每个人员，统计该人员的位置信息中与货架信息满足预设关联条件的位置信息的份数。

一个人员的位置信息中包括多份位置信息，对于一个人员来说，可以分别判断该人员的每份位置信息与货架信息是否满足预设关联条件。

如上所述，一种实施方式中，货架信息可以为发生物品取放事件的货架位置信息，这种实施方式中，判断是否满足预设关联条件，可以理解为，判断两种位置信息是否相匹配。

或者，另一种实施方式中，货架信息可以为发生物品取放事件的货格的信息，可以预先在视频图像中标定各货格对应的图像区域，这种实施方式中，判断是否满足预设关联条件，可以理解为，判断人员的位置信息是否位于发生物品取放事件的货格对应的预设区域。

这种实施方式中，统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数，可以包括：

针对该人员的每份位置信息，判断该份位置信息指向的位置是否位于发生物品取放事件的对应的预设区域内，如果是，将该份位置信息确定为关联位置信息；统计该人员的位置信息中的关联位置信息的份数，作为该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数。

举例来说，可以预先设定每个货格对应的区域。一种情况下，人员的位置信息可以包括人员手部的位置信息，这种情况下，货格对应的预设区域可以为对货格进行外扩形成的立方体区域。比如，参考图2所示，可以将货格上下左右各外扩10厘米，将货格面向顾客的方向外扩30厘米，得到一个立方体区域，将该立方体区域作为该货格对应的预设区域。

这样，货格对应的预设区域大于货格本身所在区域，可以提高判断灵敏度。或者，其他情况下，也可以不对货格进行外扩，将货格本身所在区域作为货格对应的预设区域。具体的货格区域设定不做限定。

另一种情况下，每份位置信息包括人员的头部位置信息和手部位置信息；所述预设区域包括：货格面向顾客一侧的预设范围和货格对应的预设立方体区域。这种情况下，可以判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内；如果两种判断均为是，则判定该份位置信息与所述货架信息满足预设关联条件。

举例来说，这种情况下，货格对应的预设区域可以包括两部分区域：

第一部分区域为货格面向顾客一侧的预设范围，比如图2所示，该预设范围为：货格面向顾客一侧半径1.5米的半圆形区域。或者，该预设范围也可以为矩形区域、椭圆形区域等等，具体区域形状及面积不做限定。第一部分用于匹配头部位置信息。

第二部分区域为货格对应的预设立方体区域，该立方体区域可以为上述货格外扩形成的立方体区域，也可以为货格本身所在的区域。第二部分用于匹配手部位置信息。

对于一份位置信息来说，其包括人员的头部位置信息和手部位置信息，如果该头部位置信息与第一部分区域相匹配，并且该手部位置信息与第二部分区域相匹配，或者说，该头部位置信息位于预设范围，并且该手部位置信息位于预设立方体区域内，则表示该份位置信息与货架信息满足预设关联条件。

延续上述内容，每份位置信息包括人员的头部位置信息和手部位置信息；货格对应的预设区域包括：货格面向顾客一侧的预设范围和货格对应的预设立方体区域。一种实施方式中，在获取与物品取放事件相关联的每个人员的位置信息之后，可以先判断与所述物品取放事件相关联的每个人员的位置信息中，位于发生物品取放事件的货格面向顾客一侧的预设范围内的头部位置信息是否属于同一人员；如果属于同一人员，则可以直接将所述同一人员确定为触发所述物品取放事件的人员。可以不再执行后续步骤。

如果不属于同一人员，再执行上述内容中的步骤：针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内。

可见，本实施方式中，如果只有一个人员的头部位置信息位于发生物品取放事件的货格面向顾客一侧的预设范围内，则直接确定出触发物品取放事件的人员，简化了确定流程。

一种实施方式中，上述人员的头部位置信息和手部位置信息可以均为三维坐标，这样可以更准确地判断头部位置信息是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断手部位置信息是否位于发生物品取放事件的货格对应的预设立方体区域内。

举例来说，可以获取针对货架采集的二维图像和深度图像。比如，参考图2所示，可以在货架的上方设置相机，比如，可以在货架正前方(面向顾客一侧)距地面约3.5米高的位置，架设垂直向下拍摄的相机。一种情况下，该相机可以为多目相机，如双目相机、三目相机等等，具体不做限定。该多目相机针对货架采集的多目图像即为二维图像，基于该多目图像可以计算得到深度图像。或者，另一种情况下，也可以在货架上方设置深度相机，该深度相机针对货架进行图像采集，得到二维图像和深度图像。

然后可以在所述二维图像中检测人员的手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员的手部的三维坐标；可以在所述二维图像中检测人员的头部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员的头部的三维坐标。

举例来说，可以采用基于卷积神经网络的bottom-up(自下而上的，从点到面的)关键点检测算法，检测视频图像中的手部关键点和头部关键点，并对同一人员的手部关键点和头部关键点进行关联。一种情况下，对于视频图像中的每个人员来说，可以检测该人员的三个关键点：左手关键点、右手关键点和头部关键点，具体的关键点数量不做限定。或者，也可以采用其他目标检测算法，检测视频图像中的人员手部和头部。具体检测方式不做限定。

或者，另一种实施方式中，上述手部位置信息为三维坐标，上述人员的头部位置信息可以为二维坐标，该二维坐标可以为头部投影到地面上的坐标，仅基于头部投影到地面上的坐标，便可以判断头部位置信息是否位于该预设范围内。

S103：基于该份数，在与该物品取放事件相关联的每个人员中，确定触发该物品取放事件的人员。

S102中统计得到与物品取放事件相关联的每个人员对应的份数。一种情况下，可以将对应份数最多的人员确定为触发该物品取放事件的人员。

或者，另一种情况下，可以将对应份数大于预设阈值的人员确定为触发该物品取放事件的人员，该阈值可以根据实际情况设定，具体数值不做限定。

或者，再一种情况下，也可以将各人员对应的份数进行对比，如果某人员对应的份数比其他人员对应的份数多预设阈值以上，则将该人员确定为触发该物品取放事件的人员，比如，该阈值可以为80％，具体数值不做限定。

一种实施方式中，S103可以包括：确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像的数量，作为待对比数量；针对与所述物品取放事件相关联的每个人员，计算该人员对应的所述份数与所述待对比数量的比值，判断所述比值是否满足预设占比条件，如果满足，将该人员确定为触发所述物品取放事件的人员。

延续上述例子，假设检测到t时段货格1中发生物品取放事件，假设第N帧—第N+40帧视频图像的采集时刻与t时段的时间间隔满足预设间隔条件，则将第N帧—第N+40帧视频图像的数量41作为待对比数量。与所述物品取放事件相关联的人员包括：人员A、人员B和人员C。

假设在相机采集的第N帧—第N+25帧视频图像中，检测并跟踪得到人员A和人员B的位置信息，在相机采集的第N+26帧—第N+40帧视频图像中，检测并跟踪得到人员A和人员C的位置信息；则人员A对应的份数为41，人员B对应的份数为26，人员C对应的份数为15。计算人员A对应的比值为41/41＝1，人员B对应的比值为26/41，人员C对应的比值为15/41。

一种情况下，可以将对应比值最大的人员确定为触发该物品取放事件的人员。或者，另一种情况下，可以将对应比值大于预设阈值的人员确定为触发该物品取放事件的人员，该阈值可以根据实际情况设定，比如为具体数值不做限定。或者，再一种情况下，也可以将各人员对应的比值进行对比，如果某人员对应的比值比其他人员对应的比值多预设阈值以上，则将该人员确定为触发该物品取放事件的人员，比如，该阈值可以为80％，具体数值不做限定。

上述例子中，可以将人员A确定为触发该物品取放事件的人员。

一种实施方式中，如果确定出多个触发所述物品取放事件的人员，则输出所述采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像。

本实施方式中，如果确定出多个触发物品取放事件的人员，则可以截取发生该物品取放事件前后一段时间的视频图像展示给相关人员，以进行人工核对，准确地确定出触发该物品取放事件的人员。举例来说，假设检测到物品取放事件的时段为t，则可以截取t之前和/或之后一段时间内采集的视频图像进行展示。“t之前和/或之后一段时间”可以实际情况设定，具体不做限定，比如，可以为t之前1秒至t之后1秒。

一种实施方式中，如果S101中获取到一个人员的位置信息，则可以直接将该人员确定为触发物品取放事件的人员。

一种实施方式中，在确定触发所述物品取放事件的人员之后，可以更新所述触发所述物品取放事件的人员的购物信息。

举例来说，如果通过重力传感器检测物品取放事件，可以获取事件类型、该事件涉及的物品数量、物品种类等信息，事件类型可以包括：是取走物品事件还是放回物品事件。可以根据重力传感器采集的重力数值，确定是取走物品(重力减少)还是放回物品(重力增加)，基于重力的变化数值，可以确定取走或放回的物品数量。此外，可以预先标定货架中放置的物品种类，基于标定结果，确定取走或放回的物品种类。然后根据所确定的事件类型、物品数量、物品种类等信息，更新触发所述物品取放事件的人员的购物信息。

如果通过光线发射器、接收器检测物品取放事件，则可以根据光线被遮挡情况，确定是取走物品(先只有手遮挡光线，后手和物品遮挡光线)还是放回物品(先手和物品遮挡光线，后只有手遮挡光线)。可以预先标定货架中放置的物品种类，基于标定结果，确定取走或放回的物品种类。此外，可以展示交互界面，使用户选择物品数量。然后根据该事件类型、物品数量、物品种类等信息，更新触发所述物品取放事件的人员的购物信息。

举例来说，在一些购物场景中，可以自人员进入购物场所时起，为人员建立购物信息，并对人员进行跟踪，当确定该人员触发物品取放事件后，基于上述事件类型、物品数量、物品种类等信息，更新该人员的购物信息。

例如，在无人超市或者无人商场等购物场所的入口处，设置门禁设备，顾客A在该门禁设备上进行认证，门禁设备为顾客A建立虚拟购物车。购物场所中各处设置有相机，基于相机采集的视频图像，对顾客A进行轨迹跟踪。假设应用本方案，确定出顾客A触发了货格1中的物品取放事件，并获取到该事件的类型为：取走事件、取走的物品数量为2、取走的物品种类为巧克力，则可以在顾客A的虚拟购物车中增加2个巧克力。

假设应用本方案，确定出顾客A触发了货格1中的物品取放事件，并获取到该事件的类型为：放回事件、放回的物品数量为2、取走的物品种类为薯片，则可以在顾客A的虚拟购物车中减少2个薯片。

应用本发明所示实施例，第一方面，如果有多个人员与物品取放事件相关联，则获取到货架信息和多个人员的位置信息，一个人员的位置信息包括：在包含物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；针对与物品取放事件相关联的每个人员，统计该人员的位置信息中与货架信息满足预设关联条件的位置信息的份数；基于该份数，在与物品取放事件相关联的每个人员中，确定触发物品取放事件的人员，这样便可以区分出具体是哪个人员触发了该物品取放事件，提高了确定触发人员的准确性。

第二方面，一些相关方案中，在每个物品上粘贴RFID(Radio FrequencyIdentification，射频识别)标签，顾客离开购物场所时，通过仪器自动检测RFID标签，确定哪位顾客取走了哪些物品，以便结算扣款。但这种方案中，需要在每个物品上都粘贴RFID标签，成本较高，并且造成了资源浪费。而应用本发明所示实施例，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。

第三方面，一些相关方案中，采用三维影像确定人员三维坐标。但采用三维影像会存在很多干扰，例如立柱、货架等都可能被误认为是一个人。而且一些材质因素、环境因素等会导致三维影像呈像不准确，基于三维影像确定的三维坐标准确度也较差。

上述一种实施方式中，获取二维图像和深度图像；在二维图像中进行人员检测跟踪，再基于二维图像与深度图像之间的映射关系，得到人员的三维坐标。这种实施方式中，干扰较少，而且受材质因素、环境因素影响较小，相比于上述采用三维影像确定人员三维坐标的方案，确定的三维坐标准确度较高。

第四方面，一种实施方式中，如果确定出多个触发物品取放事件的人员，则输出发生物品取放事件前后的视频图像，以进行人工核对，这样，进一步提高了方案的准确性。

图3为本发明实施例提供的物品取放事件的触发人员确定方法的第二种流程示意图，包括：

S301：获取针对货架采集的视频图像。

S302：对每帧视频图像中的人员进行检测并跟踪，得到人员的位置信息，作为候选位置信息。每份位置信息包括人员的头部位置信息和手部位置信息。

S303：通过重力传感器采集的货格重力数值，检测货格中是否发生物品取放事件；如果是，执行S304。

S301-S302与S303可以一直在执行，且可以同时执行。换句话说，相机持续采集视频图像，对相机采集的每帧视频图像都进行人员检测及跟踪，并对得到的位置信息进行缓存。此外，货架包括多个货格，每个货格可以分别对应一个重力传感器，货架重力传感器持续检测货格的重力数值。如果检测到某货格的重力数值发生变化，则执行后续步骤。

S304：将发生物品取放事件的货格确定为目标货格，获取目标货格的信息；并确定检测到该物品取放事件的时段，作为目标时段。

S305：在候选位置信息中，确定采集时刻与目标时段的时间间隔满足预设间隔条件的视频图像中检测得到的人员的位置信息，作为与该物品取放事件相关联的每个人员的位置信息。

S306：判断与该物品取放事件相关联的每个人员的位置信息中，位于目标货格面向顾客一侧的预设范围内的头部位置信息是否属于同一人员；如果属于同一人员，执行S307；如果不属于同一人员，执行S308。目标货格面向顾客一侧的预设范围基于S304中所获取的目标货格的信息确定。

S307：将该同一人员确定为触发该物品取放事件的人员。

S308：针对与该物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息中的头部位置信息指向的位置是否位于目标货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于目标货格对应的预设立方体区域内。如果两种判断结果均为是，执行S309。

目标货格面向顾客一侧的预设范围、以及目标货格对应的预设立方体区域基于S304中所获取的目标货格的信息确定。

S309：将该份位置信息确定为关联位置信息。

图3所示实施例中，每份位置信息包括人员的头部位置信息和手部位置信息；相应的，货格对应的预设区域也包括两部分区域：

第一部分区域为货格面向顾客一侧的预设范围，比如图2所示，该预设范围为：货格面向顾客一侧半径1.5米的半圆形区域。或者，该预设范围也可以为矩形区域、椭圆形区域等等，具体区域形状及面积不做限定。第一部分用于匹配头部位置信息。

第二部分区域为货格对应的预设立方体区域，该立方体区域可以为上述货格外扩形成的立方体区域，也可以为货格本身所在的区域。第二部分用于匹配手部位置信息。

S310：统计该人员的位置信息中的关联位置信息的份数。

S311：基于该份数，在与该物品取放事件相关联的每个人员中，确定触发该物品取放事件的人员。

上述内容中统计得到与物品取放事件相关联的每个人员对应的份数。一种情况下，可以将对应份数最多的人员确定为触发该物品取放事件的人员。

或者，另一种情况下，可以将对应份数大于预设阈值的人员确定为触发该物品取放事件的人员，该阈值可以根据实际情况设定，具体数值不做限定。

或者，再一种情况下，也可以将各人员对应的份数进行对比，如果某人员对应的份数比其他人员对应的份数多预设阈值以上，则将该人员确定为触发该物品取放事件的人员，比如，该阈值可以为80％，具体数值不做限定。

一种实施方式中，可以确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像的数量，作为待对比数量；针对与所述物品取放事件相关联的每个人员，计算该人员对应的所述份数与所述待对比数量的比值，判断所述比值是否满足预设占比条件，如果满足，将该人员确定为触发所述物品取放事件的人员。

延续上述例子，假设检测到t时段货格1中发生物品取放事件，假设第N帧—第N+40帧视频图像的采集时刻与t时段的时间间隔满足预设间隔条件，则将第N帧—第N+40帧视频图像的数量41作为待对比数量。与所述物品取放事件相关联的人员包括：人员A、人员B和人员C。

假设在相机采集的第N帧—第N+25帧视频图像中，检测并跟踪得到人员A和人员B的位置信息，在相机采集的第N+26帧—第N+40帧视频图像中，检测并跟踪得到人员A和人员C的位置信息；则人员A对应的份数为41，人员B对应的份数为26，人员C对应的份数为15。计算人员A对应的比值为41/41＝1，人员B对应的比值为26/41，人员C对应的比值为15/41。

一种情况下，可以将对应比值最大的人员确定为触发该物品取放事件的人员。或者，另一种情况下，可以将对应比值大于预设阈值的人员确定为触发该物品取放事件的人员，该阈值可以根据实际情况设定，比如为具体数值不做限定。或者，再一种情况下，也可以将各人员对应的比值进行对比，如果某人员对应的比值比其他人员对应的比值多预设阈值以上，则将该人员确定为触发该物品取放事件的人员，比如，该阈值可以为80％，具体数值不做限定。

一种实施方式中，如果确定出多个触发所述物品取放事件的人员，则输出所述采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像。

本实施方式中，如果确定出多个触发物品取放事件的人员，则可以截取发生该物品取放事件前后一段时间的视频图像展示给相关人员，以进行人工核对，准确地确定出触发该物品取放事件的人员。举例来说，假设检测到物品取放事件的时段为t，则可以截取t之前和/或之后一段时间内采集的视频图像进行展示。“t之前和/或之后一段时间”可以实际情况设定，具体不做限定，比如，可以为t之前1秒至t之后1秒。

应用本发明所示实施例，第一方面，可以区分出具体是哪个人员触发了该物品取放事件，提高了确定触发人员的准确性。

第二方面，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。

第三方面，一种实施方式中，获取二维图像和深度图像；在二维图像中进行人员检测跟踪，再基于二维图像与深度图像之间的映射关系，得到人员的三维坐标。这种实施方式中，干扰较少，而且受材质因素、环境因素影响较小，相比于采用三维影像确定人员三维坐标的方案，确定的三维坐标准确度较高。

第四方面，一种实施方式中，如果确定出多个触发物品取放事件的人员，则输出发生物品取放事件前后的视频图像，以进行人工核对，这样，进一步提高了方案的准确性。

与上述方法实施例相对应，本发明实施例还提供了一种物品取放事件的触发人员确定装置，如图4所示，包括：

第一获取模块401，用于获取发生物品取放事件的货架信息；

第二获取模块402，用于获取与所述物品取放事件相关联的每个人员的位置信息，一个人员的位置信息包括：在包含所述物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；

统计模块403，用于针对与所述物品取放事件相关联的每个人员，统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数；

第一确定模块404，用于基于所述份数，在与所述物品取放事件相关联的每个人员中，确定触发所述物品取放事件的人员。

一种实施方式中，所述货架包括多个货格；第二获取模块402，包括：跟踪子模块、第一确定子模块和第二确定子模块(图中未示出)，其中，

跟踪子模块，用于对每帧视频图像中的人员进行检测并跟踪，得到人员的位置信息，作为候选位置信息；所述视频图像为针对货架采集的视频图像；

第一确定子模块，用于在检测到货格中发生物品取放事件的情况下，确定检测到所述物品取放事件的时段，作为目标时段；

第二确定子模块，用于在所述候选位置信息中，确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像中检测得到的人员的位置信息，作为与所述物品取放事件相关联的每个人员的位置信息。

一种实施方式中，所述货架包括多个货格；统计模块403包括：判断子模块、第三确定子模块和统计子模块(图中未示出)，其中，

判断子模块，用于针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息指向的位置是否位于发生物品取放事件的货格对应的预设区域内，如果是，触发第三确定子模块；

第三确定子模块，用于将该份位置信息确定为关联位置信息；

统计子模块，用于统计该人员的位置信息中的关联位置信息的份数，作为该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数。

一种实施方式中，每份位置信息包括人员的头部位置信息和手部位置信息；所述预设区域包括：货格面向顾客一侧的预设范围和货格对应的预设立方体区域；

所述判断子模块，具体用于：针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内。

一种实施方式中，所述手部位置信息为视频图像中的三维坐标；

第二获取模块402还用于：获取针对货架采集的二维图像和深度图像；在所述二维图像中检测人员的手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员的手部的三维坐标。

一种实施方式中，所述装置还包括：判断模块和第二确定模块(图中未示出)其中，

判断模块，用于判断与所述物品取放事件相关联的每个人员的位置信息中，位于发生物品取放事件的货格面向顾客一侧的预设范围内的头部位置信息是否属于同一人员；如果属于同一人员，则触发第二确定模块；如果不属于同一人员，则触发所述判断子模块；

第二确定模块，用于将所述同一人员确定为触发所述物品取放事件的人员。

一种实施方式中，第一确定模块404具体用于：

确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像的数量，作为待对比数量；

针对与所述物品取放事件相关联的每个人员，计算该人员对应的所述份数与所述待对比数量的比值，判断所述比值是否满足预设占比条件，如果满足，将该人员确定为触发所述物品取放事件的人员。

一种实施方式中，所述装置还包括：

输出模块(图中未示出)，用于在确定出多个触发所述物品取放事件的人员的情况下，输出所述采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像。

一种实施方式中，所述装置还包括：

更新模块(图中未示出)，用于更新所述触发所述物品取放事件的人员的购物信息。

应用本发明所示实施例，第一方面，可以区分出具体是哪个人员触发了该物品取放事件，提高了确定触发人员的准确性。第二方面，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。第三方面，一种实施方式中，获取二维图像和深度图像；在二维图像中进行人员检测跟踪，再基于二维图像与深度图像之间的映射关系，得到人员的三维坐标。这种实施方式中，干扰较少，而且受材质因素、环境因素影响较小，相比于采用三维影像确定人员三维坐标的方案，确定的三维坐标准确度较高。第四方面，一种实施方式中，如果确定出多个触发物品取放事件的人员，则输出发生物品取放事件前后的视频图像，以进行人工核对，这样，进一步提高了方案的准确性。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501和存储器502，

存储器502，用于存放计算机程序；

处理器501，用于执行存储器502上所存放的程序时，实现上述任意一种物品取放事件的触发人员确定方法。

上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种物品取放事件的触发人员确定方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任意一种物品取放事件的触发人员确定方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者触发与另一个实体或触发区分开来，而不一定要求或者暗示这些实体或触发之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种物品取放事件的触发人员确定方法，其特征在于，包括：

获取发生物品取放事件的货架信息、以及与所述物品取放事件相关联的每个人员的位置信息，一个人员的位置信息包括：在包含所述物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；

针对与所述物品取放事件相关联的每个人员，统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数；

基于所述份数，在与所述物品取放事件相关联的每个人员中，确定触发所述物品取放事件的人员。

2.根据权利要求1所述的方法，其特征在于，所述货架包括多个货格；获取与所述物品取放事件相关联的每个人员的位置信息，包括：

对每帧视频图像中的人员进行检测并跟踪，得到人员的位置信息，作为候选位置信息；所述视频图像为针对货架采集的视频图像；

在检测到货格中发生物品取放事件的情况下，确定检测到所述物品取放事件的时段，作为目标时段；

在所述候选位置信息中，确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像中检测得到的人员的位置信息，作为与所述物品取放事件相关联的每个人员的位置信息。

3.根据权利要求1所述的方法，其特征在于，所述货架包括多个货格；所述统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数，包括：

针对该人员的每份位置信息，判断该份位置信息指向的位置是否位于发生物品取放事件的货格对应的预设区域内，如果是，将该份位置信息确定为关联位置信息；

统计该人员的位置信息中的关联位置信息的份数，作为该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数。

4.根据权利要求3所述的方法，其特征在于，每份位置信息包括人员的头部位置信息和手部位置信息；所述预设区域包括：货格面向顾客一侧的预设范围和货格对应的预设立方体区域；

所述判断该份位置信息指向的位置是否位于发生物品取放事件的货格对应的预设区域内，包括：

判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内。

5.根据权利要求4所述的方法，其特征在于，获取与所述物品取放事件相关联的每个人员的位置信息之后，还包括：

判断与所述物品取放事件相关联的每个人员的位置信息中，位于发生物品取放事件的货格面向顾客一侧的预设范围内的头部位置信息是否属于同一人员；

如果属于同一人员，则将所述同一人员确定为触发所述物品取放事件的人员；

如果不属于同一人员，则执行针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内的步骤。

6.根据权利要求2所述的方法，其特征在于，所述基于所述份数，在与所述物品取放事件相关联的每个人员中，确定触发所述物品取放事件的人员，包括：

确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像的数量，作为待对比数量；

针对与所述物品取放事件相关联的每个人员，计算该人员对应的所述份数与所述待对比数量的比值，判断所述比值是否满足预设占比条件，如果满足，将该人员确定为触发所述物品取放事件的人员。

7.一种物品取放事件的触发人员确定装置，其特征在于，包括：

第一获取模块，用于获取发生物品取放事件的货架信息；

第二获取模块，用于获取与所述物品取放事件相关联的每个人员的位置信息，一个人员的位置信息包括：在包含所述物品取放事件的多帧视频图像中，跟踪得到的同一人员的多份位置信息；

统计模块，用于针对与所述物品取放事件相关联的每个人员，统计该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数；

第一确定模块，用于基于所述份数，在与所述物品取放事件相关联的每个人员中，确定触发所述物品取放事件的人员。

8.根据权利要求7所述的装置，其特征在于，所述货架包括多个货格；所述第二获取模块，包括：

跟踪子模块，用于对每帧视频图像中的人员进行检测并跟踪，得到人员的位置信息，作为候选位置信息；所述视频图像为针对货架采集的视频图像；

第一确定子模块，用于在检测到货格中发生物品取放事件的情况下，确定检测到所述物品取放事件的时段，作为目标时段；

第二确定子模块，用于在所述候选位置信息中，确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像中检测得到的人员的位置信息，作为与所述物品取放事件相关联的每个人员的位置信息。

9.根据权利要求7所述的装置，其特征在于，所述货架包括多个货格；所述统计模块，包括：

判断子模块，用于针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息指向的位置是否位于发生物品取放事件的货格对应的预设区域内；如果是，触发第三确定子模块；

第三确定子模块，用于将该份位置信息确定为关联位置信息；

统计子模块，用于统计该人员的位置信息中的关联位置信息的份数，作为该人员的位置信息中与所述货架信息满足预设关联条件的位置信息的份数。

10.根据权利要求9所述的装置，其特征在于，每份位置信息包括人员的头部位置信息和手部位置信息；所述预设区域包括：货格面向顾客一侧的预设范围和货格对应的预设立方体区域；

所述判断子模块，具体用于：针对与所述物品取放事件相关联的每个人员的每份位置信息，判断该份位置信息中的头部位置信息指向的位置是否位于发生物品取放事件的货格面向顾客一侧的预设范围内，以及判断该份位置信息中的手部位置信息指向的位置是否位于所述发生物品取放事件的货格对应的预设立方体区域内。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断与所述物品取放事件相关联的每个人员的位置信息中，位于发生物品取放事件的货格面向顾客一侧的预设范围内的头部位置信息是否属于同一人员；如果属于同一人员，则触发第二确定模块；如果不属于同一人员，则触发所述判断子模块；

第二确定模块，用于将所述同一人员确定为触发所述物品取放事件的人员。

12.根据权利要求8所述的装置，其特征在于，所述第一确定模块，具体用于：

确定采集时刻与所述目标时段的时间间隔满足预设间隔条件的视频图像的数量，作为待对比数量；

针对与所述物品取放事件相关联的每个人员，计算该人员对应的所述份数与所述待对比数量的比值，判断所述比值是否满足预设占比条件，如果满足，将该人员确定为触发所述物品取放事件的人员。

13.一种电子设备，其特征在于，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。

Images