CN113901955A - 一种自助交易方法、装置、电子设备及储存介质 - Google Patents

Abstract

本公开提供了一种自助交易方法、装置、电子设备及储存介质，其中，该方法包括：获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。本公开实施例，可以提高用户交易信息生成的准确率。

Description

一种自助交易方法、装置、电子设备及储存介质

技术领域

本公开涉及智能零售技术领域，具体而言，涉及一种自助交易方法、装置、电子设备及储存介质。

背景技术

随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些自助售卖机(如智能冰箱或者智能货架)应运而生。现有的自助售卖机，通常采用射频识别(Radio Frequency Identification，RFID)技术或者静态拍照识别技术来识别商品信息，进而根据商品的信息来生成用户交易信息。

然而，射频识别技术需要使用RFID标签，存在成本高和效率低的问题；静态拍照的识别方式仅能识别交易结果，无法反映商品的移动状态，且若相机发生污染，则会导致识别结果不准，进而导致用户交易信息出现误差，影响用户的自助购买体验。

发明内容

本公开实施例至少提供一种自助交易方法、装置、电子设备及储存介质。

第一方面，本公开实施例提供了一种自助交易方法，包括：

获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；

对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；

基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；

基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。

本公开实施例中，由于分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频，使得即使在其中某一个摄像装置发生污染时，仍可以通过其他摄像装置所采集的视频确定用户的交易信息，进而可以提升用户交易信息生成的准确率；此外，由于基于每个视频的至少一个目标商品的移动状态，生成用户的交易信息，使得所生成的用户交易信息能够反映出目标商品的移动轨迹，可以进一步提升用户交易信息生成的准确率。

根据第一方面，在一种可能的实施方式中，所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息以及所述目标商品的检测结果的置信度中的至少一种。

根据第一方面，在一种可能的实施方式中，所述基于每个视频的至少一个目标商品的检测结果，确定所述每视频的至少一个目标商品的移动状态，包括：

基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹；

基于所述每个视频内的至少一个目标商品的移动轨迹，确定所述每个视频的至少一个目标商品的移动状态。

本公开实施例中，通过目标商品的检测结果确定所述目标商品的移动轨迹，然后基于移动轨迹确定该目标商品的移动状态，可以更加清楚、准确地确定目标商品的移动状态，提升了确定目标商品的移动状态的准确率。

根据第一方面，在一种可能的实施方式中，所述每个视频包括多帧图像，所述基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹，包括：

基于所述每个视频的至少一个目标商品的检测结果，确定所述多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间的相似度；

基于所述相似度，确定所述每个视频的至少一个目标商品的移动轨迹。

本公开实施例中，基于目标商品的相似度确定移动轨迹，可以更加准确地确定用户拿取目标商品的移动轨迹，避免误判的情况发生。

根据第一方面，在一种可能的实施方式中，所述基于每个视频的至少一个目标商品的移动轨迹，确定所述每视频的至少一个目标商品的移动状态，包括：

确定所述每个视频的每帧图像中的检测线的位置，所述检测线位于所述自助售货装置的一侧，且与所述自助售货装置的距离在预设范围内；

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态。

本公开实施例中，通过检测线以及目标商品的移动轨迹确定目标商品的移动状态，可以更加准确地判断用户将商品拿走还是放回，进而提高了目标商品的轨迹确认精度，提升了用户的自助购买体验。

根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态，包括：

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的位移变化状态；

统计所述每个视频的至少一个目标商品的位移变化状态符合预设变化状态的次数；

基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态。

本公开实施例中，通过对目标商品的位移变化状态符合预设变化状态的次数进行统计来确定目标商品的移动状态，可以使得目标商品的移动状态确定更加准确。

根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态，包括：

在所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数为奇数的情况下，确定所述每个视频的至少一个目标商品的移动状态为离开所述自助售卖装置的移动状态。

本公开实施例中，若目标商品的位移变化状态的次数为奇数则目标商品的移动状态为离开所述自助售卖装置的移动状态，可以确定所述目标商品被拿走，有效地避免遗漏交易物品的情况发生。

根据第一方面，在一种可能的实施方式中，所述预设变化状态是指所述目标商品从第一状态变化至第二状态，或者所述目标商品从所述第二状态变化至所述第一状态；所述第一状态是指所述目标商品与所述自助售货装置位于所述检测线的同侧的状态，所述第二状态是指所述目标商品与所述自助售货装置分别位于所述检测线两侧的状态。

根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息，包括：

基于所述每个视频内的至少一个目标商品的移动状态，生成所述每个视频的交易信息；

基于所述每个视频的交易信息，生成所述用户的交易信息。

本公开实施例中，先确定每个视频的交易信息，然后将每个视频的交易信息进行融合，生成用户交易信息，如此，可以得到用户完整的交易信息。

根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的交易信息，生成所述用户的交易信息，包括：

在同一目标商品存在多个视频的交易信息的情况下，将所述同一目标商品的重复的交易信息删除，生成所述用户的交易信息；和/或，

在不同的视频的交易信息中包含不同的目标商品的情况下，将所述不同的目标商品的交易信息合并，生成所述用户的交易信息。

本公开实施例中，通过将重复的交易信息进行删除，并将不重复的交易信息进行合并，可以使得最终生成的用户交易信息更加准确，提升了用户的自助购买体验。

第二方面，本公开实施例还提供一种自助交易装置，包括：

获取模块，用于获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；

检测模块，用于对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；

确定模块，用于基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；

生成模块，用于基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。

根据第二方面，在一种可能的实施方式中，所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息以及所述目标商品的检测结果的置信度中的至少一种。

根据第二方面，在一种可能的实施方式中，所述确定模块具体用于：

基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹；

基于所述每个视频内的至少一个目标商品的移动轨迹，确定所述每个视频的至少一个目标商品的移动状态。

根据第二方面，在一种可能的实施方式中，所述确定模块具体用于：

基于所述每个视频的至少一个目标商品的检测结果，确定所述多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间的相似度；

基于所述相似度，确定所述每个视频的至少一个目标商品的移动轨迹。

根据第二方面，在一种可能的实施方式中，所述确定模块具体用于：

确定所述每个视频的每帧图像中的检测线的位置，所述检测线位于所述自助售货装置的一侧，且与所述自助售货装置的距离在预设范围内；

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态。

根据第二方面，在一种可能的实施方式中，所述确定模块具体用于：

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的位移变化状态；

统计所述每个视频的至少一个目标商品的位移变化状态符合预设变化状态的次数；

基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态。

根据第二方面，在一种可能的实施方式中，所述确定模块具体用于：

在所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数为奇数的情况下，确定所述每个视频的至少一个目标商品的移动状态为离开所述自助售卖装置的移动状态。

根据第二方面，在一种可能的实施方式中，所述生成模块具体用于：

基于所述每个视频内的至少一个目标商品的移动状态，生成所述每个视频的交易信息；

基于所述每个视频的交易信息，生成所述用户的交易信息。

根据第二方面，在一种可能的实施方式中，所述生成模块具体用于：

在同一目标商品存在多个视频的交易信息的情况下，将所述同一目标商品的重复的交易信息删除，生成所述用户的交易信息；和/或，

在不同的视频的交易信息中包含不同的目标商品的情况下，将所述不同的目标商品的交易信息合并，生成所述用户的交易信息。

第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中所述的自助交易方法。

第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中所述的自助交易方法。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种自助交易方法的流程图；

图2示出了本公开实施例所提供的一种自助交易装置的结构示意图；

图3示出了本公开实施例所提供的一种目标商品的检测结果的示意图；

图4示出了本公开实施例所提供的一种基于移动轨迹确定移动状态的方法流程图；

图5示出了本公开实施例所提供的一种基于相似度确定移动轨迹的方法流程图；

图6示出了本公开实施例所提供的一种基于检测线确定移动状态的方法流程图；

图7示出了本公开实施例所提供的一种基于位移状态变化确定移动状态的方法流程图；

图8为本公开实施例所提供的一种目标商品的位移状态变化的示意图；

图9为本公开实施例所提供的一种生成交易信息的方法流程图；

图10为本公开实施例所提供的一种自助交易装置的结构示意图；

图11为本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些自助售卖机(如智能冰箱或者智能货架)应运而生。现有的自助售卖机，通常采用射频识别(Radio Frequency Identification，RFID)技术或者静态拍照识别技术来识别商品信息，进而根据商品的信息来生成用户交易信息。

然而，射频识别技术需要使用RFID标签，存在成本高和效率低的问题；静态拍照的识别方式仅能识别交易结果，无法反映商品的移动状态，且若相机发生污染，则会导致识别结果不准，进而导致用户交易信息出现误差，影响用户的自助购买体验。

基于上述研究，本公开提供了一种自助交易方法，该方法包括：获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。本公开实施例中，由于分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频，使得即使在其中某一个摄像装置发生污染时，仍可以通过其他摄像装置所采集的视频确定用户的交易信息，进而可以提升用户交易信息生成的准确率，此外，由于基于每个视频的至少一个目标商品的移动状态，生成用户的交易信息，使得所生成的用户交易信息能够反映出目标商品的移动轨迹，可以进一步提升用户交易信息生成的准确率。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种自助交易方法进行详细介绍，本公开实施例所提供的自助交易方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为移动设备、用户终端、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实现方式中，该自助交易方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例所提供的一种自助交易方法的流程图，其中，该方法可以应用于上述电子设备中，或应用于本地或云端的服务器中。图1所示的自助交易方法包括以下S101～S104：

S101，获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频。

示例性地，摄像装置是指能够实时对当下场景进行录制的装置。自助售货装置是指能够根据用户拿取商品的行为进行自动扣费的装置。

参见图2所示，为本公开实施例所提供的一种自助交易装置的结构示意图，如图2所示，该自助交易装置100包括多个层叠且间隔设置置物板10以及两个摄像装置20。其中，每个置物板10用于放置待售卖的商品200。其中，待售卖的商品200可以是零食类商品，比如巧克力、各种瓶装或者罐装饮料、方便面等，还可以是日用品，比如梳子、镜子、勺子等，此处不做限定。当用户在自助售卖装置100购买商品的过程中，两个摄像装置20会分别从不同的角度采集用户拿取商品200的视频。因此，通过上述摄像装置20可以获取到用户从自助售卖装置100拿取商品的视频。

需要说明的是，摄像装置20的数量可以根据实际需求进行设置，且多个摄像装置20之间需要具有较多的共同拍摄视野，以从不同角度拍摄用户拿取商品的视频。具体的，可以根据摄像装置的拍摄视角、拍摄范围，或者根据成本等因素进行设置，比如，摄像装置20还可以是其他数量，三个或者五个等，在此不做限定。

视频是指连续的图像序列，其实质是由一组组连续的图像构成的，其中，图像帧(Frame)是组成视频的最小视觉单位，是一幅静态的图像。将时间上连续的图像帧序列合成到一起便形成动态视频。因此，为了方便后续的检测，需要提取所述视频中的图像帧。

S102，对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果。

其中，所述图像可以是从每个视频中逐帧提取出的，也可以是间隔抽取或者选取出的，在此不做限定。

示例性地，在一幅图像中，区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如，可以利用已经训练好的目标检测模型(或者目标检测网络)，检测在当前帧图像里的目标商品。

所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息以及所述目标商品的检测结果的置信度中的至少一种。其中，目标商品的检测结果的置信度是指该输出结果的一个置信分数，比如，用户在拿取目标商品的过程中，获取的视频可能不清晰，导致检测和输出的结果不准，此时生成的置信度分数会较低。

示例性地，如图3所示，为本公开实施例所提供的一种目标商品的检测结果的示意图，该检测结果1000包括检测框500，以文字形式输出目标商品的种类信息“A商品250ml”以及目标商品的检测结果的置信度信息“置信度为0.88”。其中，检测框信息500的大小指示了目标商品的大小。

S103，基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态。

在得到目标商品的检测结果后，可以根据目标商品的检测结果确定目标商品的移动状态。其中，移动状态可以包括目标商品离开所述自助售卖装置的移动状态以及目标商品放回所述自助售卖装置的移动状态中的至少一种。

S104，基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。

在确定目标商品的移动状态后，即可基于目标商品的移动状态生成用户的交易信息。其中，交易信息可以包括目标商品的种类信息、拿取目标商品的时间、目标商品的数量以及目标商品的金额中的至少一种。比如，用户的交易信息可以为“您已于15时18分购买A商品一件，金额为2.5元”。

本公开实施例中，由于分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频，使得即使在其中某一个摄像装置发生污染时，仍可以通过其他摄像装置所采集的视频确定用户的交易信息，进而可以提升用户交易信息生成的准确率；此外，由于基于每个视频的至少一个目标商品的移动状态，生成用户的交易信息，使得所生成的用户交易信息能够反映出目标商品的移动轨迹，可以进一步提升用户交易信息生成的准确率。

在一些实施方式中，针对上述步骤S103，在基于每个视频的至少一个目标商品的检测结果时，如图4所示，包括以下S1031～S1032：

S1031，基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹。

可以理解，所述目标商品的移动轨迹即为用户在购买目标商品的过程中，由于目标商品的移动所形成的轨迹。

可以理解，目标商品在每个视频下的移动轨迹是由目标商品在多帧图像中的检测结果，按照时间轴拼接所形成，而不同的图像中可能存在多个目标商品，进而需要确定同一目标商品在多帧图像中的检测结果，因此，在一些实施方式中，为了实现不同帧图像之间的同一商品的检测结果的匹配，参见图5所示，针对上述步骤S1031，具体可以包括以下S10311～S10312：

S10311，基于所述每个视频的至少一个目标商品的检测结果，确定所述多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间的相似度。

S10312，基于所述相似度，确定所述每个视频的至少一个目标商品的移动轨迹。

可以理解的是，在确定同一摄像装置下的目标商品的移动轨迹时，可以根据同一摄像装置下的目标商品的检测结果进行相似度匹配，具体的，可以根据检测结果中的检测框大小和种类信息进行相似度匹配，得到相似度的计算结果。

示例性地，可以将多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间进行相似度匹配，例如，以两帧图像为例，分别称为前帧图像和后帧图像，若前帧图像中存在三个目标商品，而在后帧图像两个目标商品，经相似度计算后，发现前帧图像中的A目标商品与后帧图像中的B目标商品的相似度最高，且大于预设阈值(比如90％)，因此，可以确定前帧图像中的A目标商品与后帧图像中的B目标商品为同一目标商品，以此类推，可以得到同一目标商品在多帧图像中的移动轨迹。

在本公开实施例中，通过对每帧图像中的所有目标商品进行相似度判断，并基于相似度，确定每个目标商品的移动轨迹，如此可以更加准确地确定用户拿取目标商品的移动轨迹，避免误判的情况发生。

S1032，基于所述每个视频内的至少一个目标商品的移动轨迹，确定所述每个视频的至少一个目标商品的移动状态。

示例性地，在每个视频包括多个目标商品的情况下，可以分别对每个目标商品的移动轨迹进行追踪，得到每个目标商品的移动状态，如此可以更加清楚、准确地确定目标商品的移动状态，提升了目标商品的移动状态的确定的准确率。

具体的，在一些实施方式中，将不同摄像装置下的同一时间段的目标商品的移动轨迹进行融合，即可确定完整的移动轨迹，进而确定目标商品的移动状态。

在一些实施方式中，针对上述步骤S1032，在基于每个视频的至少一个目标商品的移动轨迹时，如图6所示，包括以下S10321～S10322：

S10321，确定所述每个视频的每帧图像中的检测线的位置，所述检测线位于所述自助售货装置的一侧，且与所述自助售货装置的距离在预设范围内。

S10322，基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态。

具体的，在一些实施方式中，在确定目标商品的移动状态时，可以首先确定所述每个视频中每帧图像的检测线的位置。然后，可以基于所述目标商品的移动轨迹以及所述检测线，确定所述目标商品的移动状态，其中，对于不同图像帧，其检测线均为同一检测线，若检测到目标商品跨过检测线，即可确定目标商品离开自助售卖装置，如此，可以更加准确地判断用户将商品拿走还是放回，进而提高了目标商品的轨迹确认精度，提升了用户的自助购买体验。

在一些实施方式中，针对上述步骤S10322，在基于每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线时，如图7所示，包括以下S103221～S103223：

S103221，基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的位移变化状态。

具体的，在一些可能的实施方式中，可以基于所述目标商品的移动轨迹以及所述检测线，确定所述目标商品的位移变化状态。

示例性地，在用户拿取目标商品的过程中，目标商品的位置会发生变化，也即，目标商品的位移会发生改变，例如，可以是用户在拿取目标商品后放回，也可以是用户在拿取目标商品后无放回，上述两种情况均属于目标商品的位移变化状态。

S103222，统计所述每个视频的至少一个目标商品的位移变化状态符合预设变化状态的次数。

其中，所述预设变化状态是指所述目标商品从第一状态变化至第二状态，或者所述目标商品从所述第二状态变化至所述第一状态；所述第一状态是指所述目标商品与所述自助售卖装置位于所述检测线的同侧的状态，所述第二状态是指所述目标商品与所述自助售卖装置分别位于所述检测线两侧的状态。

示例性地，参见图8所示，图8为本公开实施例所提供的一种目标商品的位移状态变化的示意图，如图8中所示，在用户购买目标商品200的过程中，目标商品200从位置a移动至位置b，处于位置b的目标商品200与自助售卖装置位于检测线300的同侧，即此时目标商品200处于第一状态；然后，目标商品继续移动至c位置，处于c位置的目标商品200与自助售卖装置分别位于检测线300的两侧，也即此时的目标商品200处于第二状态。若其中一个摄像装置20拍摄到用户将目标商品200从a位置移动到c位置，也即目标商品200的位移变化状态满足预设变化状态；而另一个摄像装置20拍摄到用户将目标商品200从c位置放回至a位置，也即目标商品200的位移变化状态仍满足预设变化状态。

可以理解的是，位移变化状态符合预设变化状态，即为目标商品发生跨线动作。

S103223，基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态。

在一些可能的实施方式中，若目标商品的位移变化状态符合预设变化状态的次数为奇数，则确定目标商品的移动状态为离开所述自助售卖装置的移动状态。若目标商品的位移变化状态符合预设变化状态的次数为偶数，则确定所述每个视频的至少一个目标商品的移动状态为离开又返回所述自助售卖装置的移动状态。

在一些实施方式中，针对上述步骤S104，在基于所述每个视频的至少一个目标商品的移动状态时，如图9所示，可以包括以下S1041～S1042：

S1041，基于所述每个视频内的至少一个目标商品的移动状态，生成所述每个视频的交易信息。

S1042，基于所述每个视频的交易信息，生成所述用户的交易信息。

示例性地，请再次参阅图8，若根据目标商品200的移动状态，确定目标商品200最终与自助售卖装置100分别位于检测线300的两侧，则确定用户最终拿取了目标商品200，进而可以将该目标商品200添加至用户的购买记录中，并生成用户的交易信息；而若根据目标商品200的移动状态，确定目标商品200虽然发生了移动，但最终与自助售卖装置100位于检测线300的同侧，则确定用户最终没有购买该目标商品200，则不会将目标商品200添加至用户的购买记录中，因此，可以提升生成的用户的交易信息的准确度，进而提升用户的自助交易体验。

在一些可能的实施方式中，若同一目标商品存在多个视频的交易信息，则将同一目标商品的重复的交易信息删除，然后再生成用户的交易信息，如此，可以有效地防止多扣费的情况发生，提高用户的体验效果。

在一些可能的实施方式中，若由于不同摄像装置采集视频的视角不同，导致视频中出现不同的目标商品，则将不同的目标商品的交易信息合并，然后再生成用户的交易信息，如此，可以有效地防止扣错费的情况发生，提高用户的体验效果。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与自助交易方法对应的自助交易装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述自助交易方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。

参见图10所示，为本公开实施例所提供的一种自助交易装置的结构示意图，所述装置500包括：

获取模块501，用于获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；

检测模块502，用于对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；

确定模块503，用于基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；

生成模块504，用于基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。

在一种可能的实施方式中，所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息以及所述目标商品的检测结果的置信度中的至少一种。

在一种可能的实施方式中，所述确定模块503具体用于：

基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹；

基于所述每个视频内的至少一个目标商品的移动轨迹，确定所述每个视频的至少一个目标商品的移动状态。

在一种可能的实施方式中，所述确定模块503具体用于：

基于所述每个视频的至少一个目标商品的检测结果，确定所述多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间的相似度；

基于所述相似度，确定所述每个视频的至少一个目标商品的移动轨迹。

在一种可能的实施方式中，所述确定模块503具体用于：

确定所述每个视频的每帧图像中的检测线的位置，所述检测线位于所述自助售货装置的一侧，且与所述自助售货装置的距离在预设范围内；

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态。

在一种可能的实施方式中，所述确定模块503具体用于：

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的位移变化状态；

统计所述每个视频的至少一个目标商品的位移变化状态符合预设变化状态的次数；

基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态。

在一种可能的实施方式中，所述确定模块503具体用于：

在所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数为奇数的情况下，确定所述每个视频的至少一个目标商品的移动状态为离开所述自助售卖装置的移动状态。

在一种可能的实施方式中，所述生成模块504具体用于：

基于所述每个视频内的至少一个目标商品的移动状态，生成所述每个视频的交易信息；

基于所述每个视频的交易信息，生成所述用户的交易信息。

在一种可能的实施方式中，所述生成模块504具体用于：

在同一目标商品存在多个视频的交易信息的情况下，将所述同一目标商品的重复的交易信息删除，生成所述用户的交易信息；和/或，

在不同的视频的交易信息中包含不同的目标商品的情况下，将所述不同的目标商品的交易信息合并，生成所述用户的交易信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本申请实施例还提供了一种电子设备。参照图11所示，为本申请实施例所提供的电子设备700的结构示意图，包括处理器701、存储器702和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。

本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所揭示的方法。

其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的自助交易方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的自助交易方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种自助交易方法，其特征在于，包括：

获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；

对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；

基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；

基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。

2.根据权利要求1所述的方法，其特征在于，所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息以及所述目标商品的检测结果的置信度中的至少一种。

3.根据权利要求1或2所述的方法，其特征在于，所述基于每个视频的至少一个目标商品的检测结果，确定所述每视频的至少一个目标商品的移动状态，包括：

基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹；

基于所述每个视频内的至少一个目标商品的移动轨迹，确定所述每个视频的至少一个目标商品的移动状态。

4.根据权利要求3所述的方法，其特征在于，所述每个视频包括多帧图像，所述基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹，包括：

基于所述每个视频的至少一个目标商品的检测结果，确定所述多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间的相似度；

基于所述相似度，确定所述每个视频的至少一个目标商品的移动轨迹。

5.根据权利要求3或4所述的方法，其特征在于，所述基于每个视频的至少一个目标商品的移动轨迹，确定所述每视频的至少一个目标商品的移动状态，包括：

确定所述每个视频的每帧图像中的检测线的位置，所述检测线位于所述自助售货装置的一侧，且与所述自助售货装置的距离在预设范围内；

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态。

6.根据权利要求5所述的方法，其特征在于，所述基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态，包括：

基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的位移变化状态；

统计所述每个视频的至少一个目标商品的位移变化状态符合预设变化状态的次数；

基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态。

7.根据权利要求6所述的方法，其特征在于，所述基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态，包括：

在所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数为奇数的情况下，确定所述每个视频的至少一个目标商品的移动状态为离开所述自助售卖装置的移动状态。

8.根据权利要求6所述的方法，其特征在于，所述预设变化状态是指所述目标商品从第一状态变化至第二状态，或者所述目标商品从所述第二状态变化至所述第一状态；所述第一状态是指所述目标商品与所述自助售货装置位于所述检测线的同侧的状态，所述第二状态是指所述目标商品与所述自助售货装置分别位于所述检测线两侧的状态。

9.根据权利要求1-8任一所述的方法，其特征在于，所述基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息，包括：

基于所述每个视频内的至少一个目标商品的移动状态，生成所述每个视频的交易信息；

基于所述每个视频的交易信息，生成所述用户的交易信息。

10.根据权利要求9所述的方法，其特征在于，所述基于所述每个视频的交易信息，生成所述用户的交易信息，包括：

在同一目标商品存在多个视频的交易信息的情况下，将所述同一目标商品的重复的交易信息删除，生成所述用户的交易信息；和/或，

在不同的视频的交易信息中包含不同的目标商品的情况下，将所述不同的目标商品的交易信息合并，生成所述用户的交易信息。

11.一种自助交易装置，其特征在于，包括：

获取模块，用于获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；

检测模块，用于对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；

确定模块，用于基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；

生成模块，用于基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的自助交易方法。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任意一项所述的自助交易方法。

Images