CN108985199A

CN108985199A - 商品取放操作的检测方法、装置及存储介质

Info

Publication number: CN108985199A
Application number: CN201810710543.0A
Authority: CN
Inventors: 王青泽
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd; Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2018-07-02
Filing date: 2018-07-02
Publication date: 2018-12-11
Anticipated expiration: 2038-07-02
Also published as: CN108985199B

Abstract

本发明提供一种商品取放操作的检测方法、装置及存储介质，该方法包括：获取待处理的视频流；识别所述视频流的各帧图像中的商品，并确定各所述商品对应的检测框在每帧图像中的位置信息，其中，每个所述检测框中包括有一个商品；根据所述位置信息，确定用户是否取放了所述商品。本发明提供的商品取放操作的检测方法、装置及存储介质能够提高商品取放操作检测的准确性。

Description

商品取放操作的检测方法、装置及存储介质

技术领域

本发明涉及计算机应用技术，尤其涉及一种商品取放操作的检测方法、装置及存储介质。

背景技术

目前，无人零售在日常生活中的应用越来越广泛，不仅给人们的生活带来了极大的便利，而且可以节约大量的人力资源。

现有技术中，在无人零售的方案中，在判断用户是否取放商品时，通过是在判断出用户的手臂伸进货架时，将采集货架附近的图像，并在用户的手臂离开货架时，再一次采集货架附近的图像，并将两帧图像进行比较，以判断商品是否发生变化，当前后两次商品未发生变化时，确定用户没有取放商品，若前后两次对比多了n件商品，则确定用户将商品放入到货架中，若前后两次对比少了n件商品，则确定用户取走了商品。

然而，现有判断用户是否取放了商品的方案中，需要前后两次图像中商品的检测结果必须是100％准确，若由于商品遮挡或者其他原因，造成图像中商品的检测结果错误，就会造成商品取放的判断结果不准确。

发明内容

为解决现有技术中存在的问题，本发明提供一种商品取放操作的检测方法、装置及存储介质，可以提高商品取放操作的准确性。

第一方面，本发明实施例提供一种商品取放操作的检测方法，包括：

获取待处理的视频流；

识别所述视频流的各帧图像中的商品，并确定各所述商品对应的检测框在每帧图像中的位置信息，其中，每个所述检测框中包括有一个商品；

根据所述位置信息，确定用户是否取放了所述商品。

可选的，所述根据所述位置信息，确定用户是否取放了所述商品，包括：

根据各所述商品对应的检测框在每帧图像中的位置信息，确定各所述检测框在每帧图像中的中心点；

根据各所述检测框在每帧图像中的中心点，确定各所述商品的运动轨迹；

根据所述运动轨迹，确定用户是否取放了所述商品。

可选的，所述根据所述运动轨迹，确定用户是否取放了所述商品，包括：

判断所述商品的运动轨迹对应的路程是否为零；

若所述商品的运动轨迹对应的路程不为零，则确定用户取放了所述商品。

可选的，所述方法还包括：

在所述视频流的至少一帧图像中，截取各所述商品对应的检测框；

对各所述检测框内的商品进行识别，得到各所述商品的种类。

可选的，所述方法还包括：

识别所述视频流的各帧图像中用户的手臂，并确定所述用户的手臂的运动轨迹；

将所述用户的手臂的运动轨迹与各所述商品的运动轨迹进行匹配；

若匹配成功，则建立所述商品与所述用户之间的对应关系。

可选的，所述将所述用户的手臂的运动轨迹与各所述商品的运动轨迹进行匹配，包括：

确定各所述商品和所述用户的手臂在图像中的坐标信息；

根据预先存储的图像坐标信息与世界坐标之间的对应关系，分别确定各所述商品和所述用户的手臂的世界坐标；其中，所述图像坐标信息为所述商品和所述手臂在图像中的坐标；

根据各所述商品和所述用户的手臂的世界坐标，将各所述商品的运动轨迹和用户的手臂的运动轨迹进行匹配。

可选的，所述方法还包括：

对摄像头进行标定，建立图像坐标信息与世界坐标之间的对应关系。

第二方面，本发明实施例提供一种商品取放操作的检测装置，包括：

获取模块，用于获取待处理的视频流；

识别模块，用于识别所述视频流的各帧图像中的商品；

确定模块，用于确定各所述商品对应的检测框在每帧图像中的位置信息，其中，每个所述检测框中包括有一个商品；

所述确定模块，还用于根据所述位置信息，确定用户是否取放了所述商品。

可选的，所述确定模块，具体用于：

根据所述运动轨迹，确定用户是否取放了所述商品。

可选的，所述确定模块，具体用于：

判断所述商品的运动轨迹对应的路程是否为零；

可选的，所述装置还包括：截取模块；

所述截取模块，用于在所述视频流的至少一帧图像中，截取各所述商品对应的检测框；

所述识别模块，还用于对各所述检测框内的商品进行识别，得到各所述商品的种类。

可选的，所述装置还包括：匹配模块和建立模块；

所述识别模块，还用于识别所述视频流的各帧图像中用户的手臂；

所述确定模块，还用于确定所述用户的手臂的运动轨迹；

所述匹配模块，用于将所述用户的手臂的运动轨迹与各所述商品的运动轨迹进行匹配；

所述建立模块，用于在所述匹配模块匹配成功时，建立所述商品与所述用户之间的对应关系。

可选的，所述匹配模块，具体用于：

确定各所述商品和所述用户的手臂在图像中的坐标信息；

可选的，所述建立模块，还用于对摄像头进行标定，建立图像坐标信息与世界坐标之间的对应关系。

第三方面，本发明实施例提供一种电子设备，包括：

处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得电子设备执行第一方面所述的方法。

本发明提供的商品取放操作的检测方法、装置及存储介质，通过获取待处理的视频流，并识别视频流的各帧图像中的商品，并确定各商品对应的检测框在每帧图像中的位置信息，其中，每个检测框中包括有一个商品，根据该位置信息，确定用户是否取放了该商品。由于通过确定各商品对应的检测框在每帧图像中的位置信息，以通过该位置信息确定每个商品的运动轨迹，从而可以判断商品是否被用户进行了取放操作，由此可以提高商品取放检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的商品取放操作的检测方法的一种可选的应用场景示意图；

图2为本发明实施例提供的商品取放操作的检测方法实施例一的流程示意图；

图3为本发明实施例提供的商品取放操作的检测装置实施例一的结构示意图；

图4为本发明实施例提供的商品取放操作的检测装置实施例二的结构示意图；

图5为本发明实施例提供的商品取放操作的检测装置实施例三的结构示意图；

图6A示出了本发明电子设备的一种可能的结构示意图；

图6B示出了本发明电子设备的另一种可能的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的商品取放操作的检测方法，应用于无人零售的场景中，尤其应用于检测用户是否取放了某个商品的场景中。图1为本发明实施例提供的商品取放操作的检测方法的一种可选的应用场景示意图，如图1所示，该系统中可以包括摄像头11、12以及商品13，在本实施例中，摄像头 11可以为深度摄像头，摄像头12可以为普通摄像头，通过摄像头11、12可以采集视频流，其中，该视频流中包括有多帧图像，各帧图像中均包括有至少一个商品13。

商品13初始时被放置在货架上，在用户从货架上取放商品13时，商品 13在图像中的位置信息将会发生变化，这样，根据商品13在各帧图像中的位置信息，即可确定出用户是否取放了商品。

进一步地，本发明中的执行主体可以为摄像头，也可以为服务器，当执行主体为摄像头时，其在采集到待处理的视频流后，将直接对该视频流进行处理，以确定商品对应的检测框在每帧图像中的位置信息，从而判断出用户是否取放了商品。

当执行主体为服务器时，服务器需要先从摄像头获取待处理的视频流，再对该待处理的视频流进行处理，其处理的过程与摄像头处理的过程类似。

另外，值得注意的是，上述图1中所示的摄像头和商品的数量和类型仅作为示意，在实际应用中，根据实现的需要，可以具有任意数量和类型的摄像头和商品。

下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本发明实施例提供的商品取放操作的检测方法实施例一的流程示意图，本发明实施例提供了一种商品取放操作的检测方法，该方法可以由任意执行商品取放操作的检测方法的装置来执行，该装置可以通过软件和/或硬件实现。本实施例中，该装置可以集成在电子设备中，例如服务器或摄像头中。如图2所示，在图1所示应用场景的基础上，本发明实施例提供的商品取放操作的检测方法包括如下步骤：

步骤201：获取待处理的视频流。

在本实施例中，可以通过设置在货架周边的摄像头采集待处理的摄像头，在实际应用中，为了提高商品检测的准确性，通过可以设置至少两个摄像头，以从不同角度采集视频流。另外，为了获取各商品的深度信息，即各商品与摄像头之间的距离信息，通过可以采用深度摄像头采集待处理的视频流。

进一步地，上述视频流中包括有用户拿取商品和/或放回商品的事件，即可以仅包括有用户拿取商品的事件，或者仅包括放回商品的事件，也可以同时包括用户拿取商品的事件和放回商品的事件。

步骤202：识别视频流的各帧图像中的商品，并确定各商品对应的检测框在每帧图像中的位置信息，其中，每个检测框中包括有一个商品。

在本实施例中，获取到的视频流中包括有多帧图像，电子设备可以识别上述多帧图像中包括的商品，在识别出各商品之后，会采用检测框标识各商品，即每个检测框中包括有一个商品。在确定出各商品对应的检测框后，将确定各检测框在每帧图像中的位置信息。

本领域技术人员可以理解，可以根据视频检测跟踪算法，对每帧图像中的商品对应的检测框进行检测跟踪，在具体的实现过程中，可以将该视频流转换成一系列按照时间排序的图像，在每帧图像中都有当前时刻检测到的某个商品对应的检测框的位置信息。

其中，在一种可能的实现方式中，该位置信息可以以每帧图像的左上角为原点，用4元组(x,y,w,h)表示,，其中，x和y为检测框左上角点的坐标， w和h分别为检测框的宽和高。当然，该位置信息也可以以其他参考点作为原点，如以图像的中心点作为原点，或者以图像的右上角作为原点等，对于位置信息的具体表示形式，本发明实施例对此不做限制，只要能表示出每个商品对应的检测框在每帧图像中的位置即可。

步骤203：根据位置信息，确定用户是否取放了商品。

在本实施例中，在确定出每个商品对应的检测框在每帧图像中的位置信息之后，将根据该位置信息，确定各个商品的运动轨迹，从而根据该运动轨迹，即可确定出用户是否取放了商品。

在一种可能的实现方式中，在根据位置信息，确定用户是否取放了商品，可以通过如下方式进行：根据各商品对应的检测框在每帧图像中的位置信息，确定各检测框在每帧图像中的中心点，根据各检测框在每帧图像中的中心点，确定各商品的运动轨迹，根据运动轨迹，确定用户是否取放了商品。

具体的，在确定出每个商品对应的检测框在每帧图像中的位置信息之后，可以根据上述的4元组(x,y,w,h)，确定出每个检测框在各帧图像中的中心点。针对每一个商品，其在每帧图像中都会确定出一个中心点，这样，按照时间的先后顺序，将这多个时刻的中心点进行关联，即可确定出商品的运动轨迹。

在确定出运动轨迹后，将可以确定用户是否取放了该运动轨迹对应的商品。例如：可以通过判断商品的运动轨迹对应的路程是否为零，若商品的运动轨迹对应的路程不为零，则确定用户取放了商品。

具体的，若用户取放了某个商品，则该商品对应的检测框在每帧图像中的位置信息都将不同，这样，确定出的该商品的运动轨迹对应的路程将不为零。当某个商品没有被用户取放时，即该视频流的每帧图像中该商品都处于同一个位置，如货架上，此时，确定出的该商品的运动轨迹对应的路程将为零。

例如：假设商品A的检测框在第一帧图像中的中心点坐标为(3,4)，在第二帧图像中的中心点坐标为(5,6)，在第三帧图像中的中心点坐标为(6,8)，在第四帧图像中的中心点坐标为(9,10)，这样，确定出的商品A的运动轨迹对应的路程将不为零，此时即可确定用户取放了商品A。

又如：假设商品B的检测框在第一帧图像中的中心点坐标为(7,6)，在第二帧图像中的中心点坐标为(7,6)，在第三帧图像中的中心点坐标为(7,6)，在第四帧图像中的中心点坐标为(7,6)，这样，确定出的商品A的运动轨迹对应的路程将为零，即商品可能一直处于货架中，此时即可确定用户没有取放商品B。

进一步地，在确定出某个商品被用户取放之后，还会确定该商品的种类，在具体的实现过程中，可以在视频流的至少一帧图像中，截取各商品对应的检测框，并对各检测框内的商品进行识别，得到各商品的种类。

具体的，可以在采集的视频流中随机采样至少一帧图像，如可以选择运动起点处的图像，也可以选择运动过程中的图像，按照各商品的检测框的位置信息(x,y,w,h)，截取各商品对应的检测框，并采用物体识别算法，识别每个检测框内的商品的种类。其中，物体识别算法例如可以是尺度不变特征转换(Scale-invariantfeaturetransform；SIFT)、haar特征和广义hough变换等，当然，也可以通过其他的物体识别算法，识别每个检测框内的商品。

可选的，在对多帧图像中的检测框进行识别时，若针对同一个检测框中的商品，多帧图像中的识别结果不同时，可以采用投票的方式，确定最后的识别结果。例如：若针对某个检测框中的商品，有5帧图像中的识别结果是“可乐”，有2帧图像中的识别结果为“啤酒”，则采用投票的方式，可以确定最后的识别结果为“可乐”。

由于可以通过截取多帧图像中各商品对应的检测框，而且通过物体识别算法，只对检测框内的商品进行识别，从而得到各商品的种类，由此可以提高商品识别的正确率。

可选的，在识别出商品被进行了取放操作之后，通常还需要确定该商品被哪个用户进行了取放操作，即需要将商品和用户进行关联。在一种可能的实现方式中，可以通过识别视频流的各帧图像中用户的手臂，并确定用户的手臂的运动轨迹，将用户的手臂的运动轨迹与各商品的运动轨迹进行匹配，若匹配成功，则建立商品与用户之间的对应关系。

具体的，通过物体识别算法，可以识别出视频流的每帧图像中用户的手臂，其中，每个手臂均对应有检测框，根据每个检测框的位置信息，即可确定出手臂的运动轨迹。其中，手臂的运动轨迹的确定方法，与商品的运动轨迹的确定方法类似，此处不再赘述。

在确定出用户的手臂的运动轨迹之后，可以将该用户的手臂的运动轨迹和商品的运动轨迹进行匹配，如匹配成功，则说明该商品和该用户的手臂的运动轨迹部分或者全部一致，从而可以确定出该商品是被该用户取放的，即可以建立该商品和该用户之间的对应关系。

在一种可能的实现方式中，在将用户的手臂的运动轨迹与各商品的运动轨迹进行匹配时，可以先确定各商品和用户的手臂在图像中的坐标信息，根据预先存储的图像坐标信息与世界坐标之间的对应关系，分别确定各商品和用户的手臂的世界坐标，然后根据各商品和用户的手臂的世界坐标，将各商品的运动轨迹和用户的手臂的运动轨迹进行匹配，其中，图像坐标信息为商品和手臂在图像中的坐标。

具体的，为了保证匹配结果的正确，通常需要将商品和用户的手臂转换到同一个坐标系，即世界坐标下进行匹配。可选的，首先需要对摄像头进行标定，以建立图像坐标信息和世界坐标之间的对应关系并进行保存，其中，图像坐标信息为商品和手臂分别在每帧图像中的坐标。

另外，电子设备还需要根据商品和手臂对应的检测框的位置信息，确定各商品和用户的手臂在每帧图像中的坐标信息。其中，可以在商品或者手臂上选取某一个点，这样可以根据检测框的位置信息，确定出该点的坐标信息，并将该点的坐标信息确定为商品和手臂的在图像中的坐标信息。例如：可以按照某种规则从商品或者手臂中选择一个点，如选择某个商品的中心点，或者选择手臂的手肘处的点等，当然，还可以在从商品或者手臂上随机选择一个点。

在分别确定出商品和用户的手臂在图像中的坐标信息之后，将根据存储的图像坐标信息和世界坐标之间的对应关系，确定商品和用户的手臂在图像中的坐标信息对应的世界坐标，以根据该世界坐标，将各商品的运动轨迹和用户的手臂的运动轨迹进行匹配。示例性的，针对每个商品和用户的手臂，可以在该世界坐标下，将商品的运动轨迹和用户的手臂的运动轨迹进行匹配，若某个商品的运动轨迹和用户的手臂的运动轨迹部分或者全部一致，则说明匹配成功，此时，将可以说明该商品是被该用户取放的，因此，可以建立该商品和该用户之间的对应关系。

由于可以将用户的手臂的运动轨迹和各商品的运动轨迹进行匹配，以判断出每个商品是被哪个用户取放的，从而可以快速且准备的建立取放的商品和用户之间的对应关系。

本发明实施例提供的商品取放操作的检测方法，通过获取待处理的视频流，并识别视频流的各帧图像中的商品，并确定各商品对应的检测框在每帧图像中的位置信息，其中，每个检测框中包括有一个商品，根据该位置信息，确定用户是否取放了该商品。由于通过确定各商品对应的检测框在每帧图像中的位置信息，以通过该位置信息确定每个商品的运动轨迹，从而可以判断商品是否被用户进行了取放操作，由此可以提高商品取放检测的准确性。

图3为本发明实施例提供的商品取放操作的检测装置实施例一的结构示意图。该商品取放操作的检测装置可以为独立的电子设备，也可以为集成在电子设备中的装置，该装置可以通过软件、硬件或者软硬件结合的方式实现，该电子设备可以为摄像头或者服务器。如图3所示，该装置包括：

获取模块11用于获取待处理的视频流；

识别模块12用于识别所述视频流的各帧图像中的商品；

确定模块13用于确定各所述商品对应的检测框在每帧图像中的位置信息，其中，每个所述检测框中包括有一个商品；

所述确定模块13还用于根据所述位置信息，确定用户是否取放了所述商品。

本发明实施例提供的商品取放操作的检测装置，可以执行上述对应方法实施例，其实现原理和技术效果类似，在此不再赘述。

可选的，所述确定模块13具体用于：

根据所述运动轨迹，确定用户是否取放了所述商品。

可选的，所述确定模块13具体用于：

判断所述商品的运动轨迹对应的路程是否为零；

图4为本发明实施例提供的商品取放操作的检测装置实施例二的结构示意图。在图3所示装置的基础上，该装置还包括截取模块14。

所述截取模块14用于在所述视频流的至少一帧图像中，截取各所述商品对应的检测框；

所述识别模块12还用于对各所述检测框内的商品进行识别，得到各所述商品的种类。

图5为本发明实施例提供的商品取放操作的检测装置实施例三的结构示意图。在图3所示装置的基础上，该装置还包括匹配模块15和建立模块16。

所述识别模块12还用于识别所述视频流的各帧图像中用户的手臂；

所述确定模块13还用于确定所述用户的手臂的运动轨迹；

所述匹配模块15用于将所述用户的手臂的运动轨迹与各所述商品的运动轨迹进行匹配；

所述建立模块16用于在所述匹配模块匹配成功时，建立所述商品与所述用户之间的对应关系。

可选的，所述匹配模块15具体用于：

确定各所述商品和所述用户的手臂在图像中的坐标信息；

可选的，所述建立模块16还用于对摄像头进行标定，建立图像坐标信息与世界坐标之间的对应关系。

图6A示出了本发明电子设备的一种可能的结构示意图。电子设备100 包括：处理单元102和通信单元103。处理单元102用于对电子设备100的动作进行控制管理，例如，处理单元102用于支持电子设备100执行图2的步骤202和203，和/或用于本发明所描述的技术的其它过程。通信单元103 用于支持电子设备100与其它网络实体的通信。电子设备100还可以包括存储单元101，用于存储电子设备100的计算机程序代码和数据。

其中，处理单元102可以是处理器或控制器，例如可以是CPU，通用处理器，数字信号处理器(DigitalSignalProcessor，DSP)，专用集成电路 (Application-SpecificIntegrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信单元103可以是通信接口、收发器、收发电路等，其中，通信接口是统称，可以包括一个或多个接口。存储单元101可以是存储器。

当处理单元102为处理器，通信单元103为通信接口，存储单元101为存储器时，本发明所涉及的电子设备可以为图6B所示的电子设备。

参阅图6B所示，该电子设备110包括：处理器112、通信接口113、存储器111。可选的，电子设备110还可以包括总线114。其中，通信接口113、处理器112以及存储器111可以通过总线114相互连接；总线114可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。所述总线114可以分为地址总线、数据总线、控制总线等。为便于表示，图6B中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

另外，存储器111中存储有计算机程序，并且被配置为由处理器112 执行，该计算机程序包括用于执行如上图2所示实施例所述的方法的指令。

本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机程序，所述计算机程序使得电子设备执行前述图2所示实施例提供的商品取放操作的检测方法。其中，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种商品取放操作的检测方法，其特征在于，包括：

获取待处理的视频流；

根据所述位置信息，确定用户是否取放了所述商品。

2.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息，确定用户是否取放了所述商品，包括：

根据所述运动轨迹，确定用户是否取放了所述商品。

3.根据权利要求2所述的方法，其特征在于，所述根据所述运动轨迹，确定用户是否取放了所述商品，包括：

判断所述商品的运动轨迹对应的路程是否为零；

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若匹配成功，则建立所述商品与所述用户之间的对应关系。

6.根据权利要求5所述的方法，其特征在于，所述将所述用户的手臂的运动轨迹与各所述商品的运动轨迹进行匹配，包括：

确定各所述商品和所述用户的手臂在图像中的坐标信息；

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种商品取放操作的检测装置，其特征在于，包括：

获取模块，用于获取待处理的视频流；

识别模块，用于识别所述视频流的各帧图像中的商品；

9.根据权利要求8所述的装置，其特征在于，所述确定模块，具体用于：

根据所述运动轨迹，确定用户是否取放了所述商品。

10.根据权利要求9所述的装置，其特征在于，所述确定模块，具体用于：

判断所述商品的运动轨迹对应的路程是否为零；

11.根据权利要求8-10任一项所述的装置，其特征在于，所述装置还包括：截取模块；

12.根据权利要求9所述的装置，其特征在于，所述装置还包括：匹配模块和建立模块；

所述确定模块，还用于确定所述用户的手臂的运动轨迹；

13.根据权利要求12所述的装置，其特征在于，所述匹配模块，具体用于：

确定各所述商品和所述用户的手臂在图像中的坐标信息；

14.根据权利要求13所述的装置，其特征在于，所述建立模块，还用于对摄像头进行标定，建立图像坐标信息与世界坐标之间的对应关系。

15.一种电子设备，其特征在于，包括：

处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-7任一项所述的方法的指令。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得电子设备执行权利要求1-7任一项所述的方法。