CN109409291B - 智能货柜的商品识别方法和系统及购物订单的生成方法 - Google Patents

Abstract

本发明涉及智能货柜的商品识别方法和系统及购物订单的生成方法，属于智能货柜技术领域。其中，所述商品识别方法包括：基于图像识别用户拿取或放回商品的动作；获取来自重量传感器的商品重量变化及位置；匹配用户拿取或放回商品的动作和商品重量变化的位置；以及在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。本发明提高了对用户拿取或放回商品识别的准确率，并通过对用户购物行为的识别，提高了购物订单生成的准确率。

Description

智能货柜的商品识别方法和系统及购物订单的生成方法

技术领域

本发明涉及一种智能货柜，特别地涉及一种智能货柜的商品识别方法和系统及购物订单的生成方法。

背景技术

智能货柜提供了新型的商品零售模式，给人们带来了一种新型的购物方式，受到越来越多的欢迎，因而智能货柜的应用也越来越广泛。相比较于传统的购物柜来说，智能货柜具备各种传感器，可以给为用户提供完全不同于以往的购物体验。现有的智能货柜大部分采用RFID系统，即为每个柜内商品配备RFID标签，采用RFID技术识别柜内商品。但是这种RFID货柜会由于RFID标签的问题而出现商品识别不准确的问题，因而容易出现购物订单错误的情况。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种智能货柜的商品识别方法和系统及购物订单的生成方法，用于提高商品识别的准确率，从而提高购物订单生成的准确率。

为解决上述技术问题，根据本发明的一个方面，本发明提供了一种智能货柜的商品识别方法，其中，包括：

基于图像识别用户拿取或放回商品的动作；

获取来自重量传感器的商品重量变化及位置；

匹配用户拿取或放回商品的动作和商品重量变化的位置；以及

在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。

优选地，在所述的商品识别方法中，进一步地，基于图像识别用户的手掌来获得用户拿取或放回商品的动作。

优选地，在所述的商品识别方法中，基于图像识别用户的手掌的步骤进一步包括：

采集从智能货柜的柜门打开到关闭之间的视频；

从智能货柜的柜门打开到关闭之间的视频中截取商品重量变化时刻之前的多个图像；和

从所述多个图像中识别用户的手掌。

优选地，在所述的商品识别方法中，在多个图像中识别用户手掌的同时，识别手掌在货柜中的位置。

优选地，在所述的商品识别方法中，匹配用户拿取或放回商品的动作和商品重量变化的位置时，匹配用户手掌的位置与商品重量变化的位置。

优选地，在所述的商品识别方法中，在截取商品重量变化时刻之前的多个图像时，按照预定的时间间隔截取多个图像。

优选地，在所述的商品识别方法中，利用商品重量变化和商品重量变化的位置识别用户拿取或放回的商品，从而得到商品清单A的步骤进一步包括：

根据商品重量变化的位置，查询商品分布数据，获取商品标识及其重量信息；

根据商品的重量变化和获取到的商品重量信息，获得商品的数量；以及

根据商品标识及商品数量得到商品清单A。

优选地，在所述的商品识别方法中，进一步包括：基于图像识别用户拿取或放回的商品，获得商品清单B。

优选地，在所述的商品识别方法中，进一步包括：基于商品清单B验证商品清单A，在商品清单A与商品清单B一致时，确认识别到用户拿取或放回的商品。

优选地，在所述的商品识别方法中，基于图像识别用户拿取或放回的商品，获得商品清单B的步骤进一步包括：采集智能货柜的柜门打开和关闭时刻的商品图像，获取商品位置的差异；

根据所述商品位置差异查询商品分布数据；以及

根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。

为解决上述技术问题，根据本发明的另一个方面，本发明提供了一种智能货柜商品识别系统，其中，包括：

图像探测器，其经配置用于获取用户拿取或放回商品的动作的图像；

多个重量传感器，其经配置用于获取商品的重量变化及位置；以及

处理器，其经配置用于基于所述图像探测器获取的图像识别用户拿取或放回商品的动作；匹配用户拿取或放回商品的动作和商品重量变化的位置；在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A。

优选地，所述处理器包括：

图像识别模块，用于基于所述图像探测器采集到的图像识别用户拿取或放回商品的动作；

匹配模块，用于匹配用户拿取或放回商品的动作和智能货柜中发生商品重量变化的位置；以及

计算模块，用于在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置得到用户拿取或放回商品，从而得到商品清单A。

优选地，所述图像识别模块基于图像识别用户的手掌来获得用户拿取或放回商品的动作；所述图像识别模块基于图像识别手掌在货柜中的位置；所述匹配模块匹配用户手掌的位置和智能货柜中发生商品重量变化的位置。

优选地，所述图像探测器采集从智能货柜的柜门打开到关闭之间的视频；对应地，所述图像识别模块从智能货柜的柜门打开到关闭之间的视频中截取重量传感器感测到商品重量变化时刻之前的多个图像；在多个图像中识别用户的手掌和手掌在货柜中的位置重量传感器。

优选地，所述处理器进一步包括：商品识别模块，用于基于所述图像探测器采集的图像识别用户拿取或放回的商品，获得商品清单B。

优选地，所述处理器进一步包括：验证模块，用于基于商品清单B验证商品清单A，在商品清单A与商品清单B一致时，确认识别到用户拿取或放回的商品。

优选地，所述商品识别模块包括：

图像获取单元，用于从所述图像探测器获取智能货柜的柜门打开和关闭时刻的货架图像；

图像对比单元，用于对比柜门打开时刻的货架图像和柜门关闭时刻的货架图像，获取商品位置的差异；以及

查询单元，根据所述商品位置的差异查询商品分布数据，根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。

为解决上述技术问题，根据本发明的另一个方面，本发明提供了一种智能货柜购物订单的生成方法，其中，包括：

获取柜门解锁的信息；

基于前述方法识别到用户拿取或放回的商品；

识别用户拿取商品或放回商品的行为；

在识别到用户拿取商品时，将拿取的商品加入到购物清单中；在识别到用户放回商品时，将放回的商品从购物清单中删除；以及

在获取到柜门锁闭的信息时，根据购物清单中的商品生成购物订单。

优选地，所述识别用户拿取商品或放回商品的行为具体包括：

判断所述商品重量变化，在所述商品重量变化为重量增加时，识别为用户放回商品；在在所述商品重量变化为重量减少时，识别为用户拿取商品。

重量传感器本发明通过重量传感器和图像识别的配合，提高了对用户拿取或放回商品的识别准确率，并通过对用户购物行为的识别，提高了购物订单生成的准确率。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1是根据本发明一个实施例的智能货柜的商品识别方法的流程图；

图2是根据本发明另一个实施例的智能货柜的商品识别方法的流程图；

图3是根据本发明另一个实施例中的采用图像识别商品的流程图；

图4是根据本发明一个实施例的智能货柜的商品识别系统的原理图；

图5是根据本发明一个实施例的商品识别系统中处理器的原理图；

图6是根据本发明另一个实施例的商品识别系统中处理器的原理图；

图7是根据本发明另一个实施例的处理器中的商品识别模块的原理图；以及

图8是根据本发明另一个实施例的智能货柜与远端服务器相连接的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

本发明基于视频图像识别用户的购物动作，通过购物动作与商品货架的发生重量变化的位置来识别商品。

在本发明中，在智能货柜或远端的服务器中存储有用于商品识别的基础数据。一类基础数据为商品的特征信息，如商品包装的色彩、形状、图案等。这类基础数据可由工作人员根据销售的商品进行特征采集得来。另一类基础数据为商品分布数据，即商品在货柜内的位置分布。关于商品分布数据的获得，在一个具体实施例中，当理货员向智能货柜的货架上摆放商品时，由柜内的图像探测器，如摄像头，采集柜内图像，利用这个时候采集到的图像进行图像识别，从而分辨出哪种商品位于哪个位置，例如：可乐位于第一层第1、2列，雪碧位于第一层第3、4列，薯片位于第一层第5列。商品分布数据除了包括商品的位置外，还可以包括每种商品的数量，如第一层第1、2列的可乐分别为每列5瓶。在理货员刚刚理好柜内的商品时，此时得到原始的商品分布数据，并记录在货柜或者是远端的服务器中。为了保证数据的准确性，需要更新所述的商品分布数据，例如，在每次用户购物完成后重新采集柜内图像，经过图像识别后得到新的商品分布数据，并更新智能货柜或远端服务器中的商品分布数据，从而使得商品分布数据与当前智能货柜中的商品真实分布情况相符合。

为了得到商品货架的重量变化信息，本发明在智能货柜内的商品货架上设置有重量传感器。在货架面积不大的情况下，每个货架设置一个重量传感器。如果货架面积很大，一个重量传感器不能准确地识别出重量的变化，在这种情况下，可将一个货架进行分区，在每一个称重分区设置一个重量传感器，从而可以保证重量传感器对重量变化的灵敏度。重量传感器可以一直处于激活状态，或者在柜门打开时处于激活状态，或者在得到激活指令时再激活。为了获得重量变化信息的发生位置，在一个实施例中，可对智能货柜内的重量传感器进行编号，并将其编号与位置对应起来，当得知了传送重量变化信息的重量传感器的编号时，便可以得知重量变化信息发生的位置。

如图1所示，为本发明实施例一的智能货柜的商品识别方法的流程图。当用户扫码打开柜门后，智能货柜获知了用户的ID，并为用户建立一个购物车，其为一个购物清单，记录了用户拿取的商品，用于后续的订单生成流程。同时激活柜内的图像探测器，如摄像头，用于捕获视频或图像。

步骤S1a,基于图像识别法，识别用户取/放商品的动作。例如，当用户扫码打开柜门后，智能货柜内的图像探测器开始采集智能货柜内的视频，并按照预定的时间间隔，如0.1s的时间间隔，截取重量传感器感测到商品发生变化时刻之前的多个图像。分析当前的多个图像，如果从图像中识别得到用户的手掌，说明识别到了用户拿取或放回商品的动作，此时从图像中识别到智能货柜的货架，得到与用户手掌最为接近的货架位置，并将与用户手掌最为接近的货架位置作为用户手掌的位置。在一些实施例中，也可以通过识别用户的手臂，来判断用户拿取或放回商品的动作及其在货柜内的位置。

步骤S2a,获取来自重量传感器的商品重量变化。当用户从货架上拿取商品时，货架变轻；当用户将商品放回货架时，货架变重。货架上的重量传感器会感测到货架的重量变化。根据传送商品重量变化信息的重量传感器的编号，查询重量传感器的编号与重量传感器在货柜内的位置对应关系，可以得到商品重量变化的位置。

步骤S3a,匹配用户拿取或放回商品的动作和商品重量变化的位置。例如，判断用户手掌的位置与智能货柜中发生商品重量变化的位置是否相同，如果不同，在步骤S5a进行其他处理，如发出报警信息，或提示信息等。如果相同，则转到步骤S4a。

步骤S4a,利用商品的重量变化和商品重量变化的位置识别商品。例如，根据发生商品重量变化的位置，查询商品分布数据，获取该位置的商品标识，如商品名称或种类，并同时可以获得与所述商品相关的其他信息，在本发明中需要获取该商品的重量信息。根据商品的重量变化信息和获取到的商品重量信息，获得商品的数量。例如，采用重量变化信息除以获取到的每个商品的重量信息，则可以得到商品的数量，从而可以得到用户拿取或放回的商品或商品清单A。

本发明通过上述方法，结合图像和重量传感器感测的重量变化信息，可以识别出当前用户拿取或放回的商品，包括商品的名称、种类和数量。

如图2所示，为本发明实施例二的智能货柜的商品识别方法的流程图。在本实施例中，当用户扫码打开柜门后，柜内的图像探测器，如摄像头启动，采集柜内的视频或图像。在采用实施例一的方法识别得到商品清单A时，还基于图像识别该商品，在此标记为商品清单B。采用商品清单B来验证商品清单A，从而来进一步提高识别的准确率。具体过程如下：

步骤S1b，基于图1所示的流程得到用户拿取或放回的商品，标记为商品清单A。

步骤S2b，基于图像探测器获取柜内的视频或图像，采用图像识别法得到当前用户正在拿取或放回的商品，标记为商品清单B。其中，所述的图像识别法可以采用目前基于图像的任何一种识别方法。例如，采用特征对比法。本发明可提供商品的特征数据，通过特征对比，可以准确识别用户拿取的商品，包括商品名称、种类和数量。在本发明的另一个具体实施例中，采用图3所示的方法基于图像来识别用户拿取或放回的商品。具体地，在步骤步1c,采集柜门打开和关闭时刻的货架图像。当用户扫码打开柜门后，智能货柜内的图像探测器开始采集智能货柜内的视频，从视频中截取柜门打开时刻和关闭时刻的货架图像。

步骤S2c,对比柜门打开时刻的货架图像和柜门关闭时刻的货架图像，获取商品位置的差异。当用户从货架上拿取了商品后，与柜门打开时刻的货架相比，柜门关闭时刻的货架会出现商品位置空缺。用户向货架上放回了商品后，与柜门打开时刻的货架相比，柜门关闭时刻的货架上空缺的商品位置被补全。如果用户既没有拿取商品，也没有放回商品，则货架上的商品位置没有变化。因而，在对比柜门打开时刻的货架图像和柜门关闭时刻的货架图像时，可以获取商品位置的差异情况。

步骤S3c,查询商品分布数据。本发明提供了商品分布数据，其记载了商品在货架上的分布情况。

步骤S4c,通过查询所述商品分布数据，确定当前两幅图像中的商品位置差异对应的商品及其数量，从而得到用户拿取或放回的商品，包括商品标识和数量，即得到了商品清单B。

步骤S3b，采用商品清单B验证商品清单A，即对比商品清单B和商品清单A，判断商品清单B是否与商品清单A一致，即商品标识是否一致，数量是否一致。如果商品清单B与商品清单A一致，则转到步骤S4b，将商品清单A确认为用户拿取或放回的商品。如果商品清单B与商品清单A不一致，则在步骤S5b进行其他处理。例如，以商品清单A或商品清单B确定为用户拿取或放回的商品，或者识别失败，向用户发送提示信息，要求其重复刚才的拿取或放回的操作。

在本实施例中，通过图像识别法得到的商品来验证采用图1所示方法得到的商品，当然也可以反过来，即采用图1所示方法得到的商品来验证图2所示方法得到的商品，通过验证来进一步提高商品识别的准确率。

其中，对于一次拿取多个商品的情况下，商品清单A所代表的就不是一个单一的商品，而是一个商品组合列表，该列表中所有的商品组合都是根据重量传感器感测到的重量变化值，以及柜内商品单品重量做出的所有的可能组合，例如，重量传感器感测到的重量减少值为455g，则根据柜内所有商品的重量值做组合，可以得到可能的商品组合如下：1瓶可乐；1袋袋装梅干+1袋袋装瓜子；2袋袋装瓜子+1袋口香糖。

而商品清单B所代表的，也可以是一个商品组合列表，图像中的商品和模型中经训练的商品进行匹配，并根据匹配度的大小，将匹配度大于预定的阈值的商品组合，认为匹配成功，并将所有匹配成功的商品生成一个商品列表，即商品清单B。

将商品清单B与商品清单A比对，二者相同的部分即确认为用户拿取或放回的商品。

根据本发明的另一个方面，本发明提供了一种智能货柜的商品识别系统，如图4所示，为智能货柜的商品识别系统原理图。所述智能货柜的商品识别系统包括：图像探测器100、多个重量传感器200和处理器300，通常还可以包括通信接口400和存储器500。通信接口400用于与远端服务器相连接，存储器500用于存储数据及供处理器执行的程序代码。

其中，所述图像探测器100设置在智能货柜内部，用于采集从智能货柜的柜门打开到关闭之间货柜内的视频。智能货柜内部包括多层货，架图像探测器100的采集范围可覆盖智能货柜内部的所有商品。根据智能货柜的内部空间的大小和图像探测器100的采集范围，可设置1个或多个，如果为多个时，多个图像探测器100的采集范围拼接起来要覆盖智能货柜内部的所有商品。在一个实施例中，所述图像探测器100可以为摄像头。当柜门打开时，图像探测器100开始采集视频，直到柜门关闭。

所述多个重量传感器200用于获取所述商品所在位置的重量变化信息，并将重量变化信息发送给处理器300。其中，重量传感器可以在柜门打开时全部激活以感测重量的变化，或者是在处理器捕获到用户取/放商品的动作，即用户的手掌时，只将与手掌对应货架位置的重量传感器激活。其中，作为一个实施例，一层货架可以设置一个重量传感器200。如果货架较大，则将货架分成多个重力分区，在每一个重力分区设置一个重量传感器200，用于保证感测重量的灵敏度。

处理器300利用图像探测器100采集的视频，从视频中截取多个图像，用于识别商品、用户拿取或放回商品的动作，并接收重量传感器200发送来的商品重量变化信息，处理后识别得到用户拿取或放回的商品。

具体地，如图5所示，处理器300包括：图像识别模块301、匹配模块302和计算模块303，其中，图像识别模块301基于所述图像探测器100从智能货柜的柜门打开到收到重量传感器200发送商品重量发生变化时刻之前的视频中截取多个图像，可以以固定时间间隔，如0.1s的时间间隔截取图像。从多个图像中识别用户的手掌和智能货柜的货架，并将与用户手掌最为接近的货架位置确定为用户手掌的位置。

匹配模块302根据发送商品重量变化信息的重量传感器200的编号确定商品重量发生变化的位置，对用户手掌的位置和智能货柜中发生商品重量变化的位置进行匹配。在用户手掌的位置和智能货柜中发生商品重量变化的位置相匹配时，把匹配结果发送给计算模块303。

计算模块303利用商品重量变化的位置，从商品分布数据中获得该位置处理的商品种类及对应的重量信息，根据商品的重量变化和获取到的商品重量信息，获得商品的数量。例如，采用商品的重量变化的数据除以每一个商品的重量数据，则可以得以商品的数量，从而得到商品清单A。

在另一个实施例中，处理器300还包括商品识别模块304和验证模块305。如图6所示，其中，商品识别模块304基于所述图像探测器100采集的图像识别用户拿取或放回的商品种类和数量，得到商品清单B。如前所述，在智能货柜或远端的服务器中存储有用于商品识别的商品特征信息，如商品包装的色彩、形状、图案等。本实施例利用这些基础数据，通过特征的匹配来识别用户取/放的商品。例如，通过图像探测器100采集的视频监控用户的手掌，在用户的手掌拿取或放下商品时，捕获用户取/放商品的动作的图像。从所述图像中得到出用户取/放的商品的图像。如果用户拿取多个商品，此时可以得到多个商品的图像。分析所述一个或多个商品图像，分别得到对应的特征信息，如色彩、形状、图案等。查询商品特征基础数据，将当前商品的特征信息与已知商品的特征进行匹配，将与所述特征信息相匹配的已知商品确定为用户取/放的商品。也可以利用商品的位置分布来识别商品，具体如图3所示的流程，通过用户打开柜门时刻和关闭柜门时刻的两幅图像来得到用户取/放的商品。当采用图3所示的流程获取商品时，如图7所示，商品识别模块304包括：图像获取单元3041、图像对比单元3042和查询单元3043。其中，图像获取单元3041从所述图像探测器100采集的视频中获取智能货柜的柜门打开和关闭时刻的货架图像。图像对比单元3042对比柜门打开时刻的货架图像和柜门关闭时刻的货架图像，获取商品位置的差异。查询单元3043根据所述商品位置的差异查询商品分布数据，根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。

验证模块305对比商品清单A和商品清单B，如果二者一致，即商品标识相同、数量相同，则商品清单A和商品清单B一致，将商品清单A确定为用户拿取或放回的商品。如果不一致，则进行其他处理。例如，以商品清单A或商品清单B确定为用户拿取或放回的商品，或者向用户发送提示信息，要求其重复刚才的拿取或放回的操作，进而重新识别。

处理器300根据重量变化信息的具体情况来确定用户拿取或放回商品的动作。例如，当重量变化信息为原货架商品的重量减小时，确定用户拿取商品；在重量变化信息为货架商品的重量增加时，确定用户放回商品，从而可以判断出用户的购物行为。

如图8所示，为本发明一个实施例的智能货柜与远端服务器相连接的示意图。本实施例中的智能货柜1通过通信接口400连接到网络3中，与远端的服务器2进行交互。

用户使用移动终端扫描智能货柜1上的识别码，然后利用移动终端登录远端服务器2。登录成功后，如果用户符合条件，服务器2向智能货柜1发送用户的ID及解锁柜门的指示。本领域技术人员应当理解，以上仅是解锁柜门的一种方式。其他的方式，例如扫描用户移动终端的识别码、扫描用户的指纹、扫描用户的掌纹、扫描用户的虹膜、扫描用户的面部等其他方式也可以用户解锁智能货柜的柜门。

在用户符合条件时，移动终端上的应用为该用户建立一个购物车。在用户购物过程中，通过前述方法可识别出用户拿取的商品及数量，并将该商品放入购物车中。所述购物车为视觉形式的商品购物清单，用于记录用户在购物过程中拿取的商品。

基于本发明提供的商品识别方法，智能货柜购物订单的生成方法包括：获取柜门解锁的信息。在得到柜门已解锁的信息时，用户购物开始，图像探测器开始采集视频。采用前述方法识别用户拿取的商品及其数量。根据重量变化信息来识别用户的购物行为，当货架的重量变化信息为重量减小时，确定用户拿取商品，将用户拿取的商品填加到购物车中；当货架的重量变化信息为重量增加时，确定用户放回商品到货架上，识别出该商品后，将该商品从购物车中删除。在获取到柜门锁闭的信息时，根据购物车中用户最终拿取的商品及数量生成购物订单。最后将购物订单提交给付款系统，完成付款操作。

本发明通过识别用户的动作，并结合重量传感器感测到的商品重量变化，不但可以准确地判断用户是否真的从货架上拿取了商品，还能够判断出用户在购买的过程中拿出商品，经思考后又放回去的情况，可以准确地识别用户的购物行为，进而准确地生成购物订单，解决了现有技术中由于用户在购买的过程中在拿出商品、又放回去时产生错误订单的问题。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims (11)

1.一种智能货柜的商品识别方法，其中，包括：

基于图像识别用户拿取或放回商品的动作；

获取来自重量传感器的商品重量变化及位置；

匹配用户拿取或放回商品的动作和商品重量变化的位置；以及

在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A；

其中，进一步地，基于图像识别用户的手掌来获得用户拿取或放回商品的动作；基于图像识别用户的手掌的步骤进一步包括：采集从智能货柜的柜门打开到关闭之间的视频；从智能货柜的柜门打开到关闭之间的视频中截取商品重量变化时刻之前的多个图像；和从所述多个图像中识别用户的手掌；

其中，在多个图像中识别用户手掌的同时，识别手掌在货柜中的位置；

其中，前述匹配用户拿取或放回商品的动作和商品重量变化的位置时，判断用户手掌的位置与商品重量变化的位置是否相同。

2.根据权利要求1所述的商品识别方法，其中，在截取商品重量变化时刻之前的多个图像时，按照预定的时间间隔截取多个图像。

3.根据权利要求1所述的商品识别方法，其中，利用商品重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A的步骤进一步包括：

根据商品重量变化的位置，查询商品分布数据，获取商品标识及其重量信息；

根据商品的重量变化和获取到的商品重量信息，获得商品的数量；以及

根据商品标识及商品数量得到商品清单A。

4.根据权利要求1所述的商品识别方法，其中，进一步包括：基于图像识别用户拿取或放回的商品，获得商品清单B。

5.根据权利要求4所述的商品识别方法，其中，进一步包括：基于商品清单B验证商品清单A，在商品清单A与商品清单B一致时，确认商品清单A为用户拿取或放回的商品。

6.根据权利要求4所述的商品识别方法，其中，基于图像识别用户拿取或放回的商品，获得商品清单B的步骤进一步包括：采集智能货柜的柜门打开和关闭时刻的商品图像，获取商品位置的差异；

根据所述商品位置差异查询商品分布数据；以及

根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。

7.一种智能货柜商品识别系统，其中，包括：

图像探测器，其经配置用于获取用户拿取或放回商品的动作的图像；

多个重量传感器，其经配置用于获取商品的重量变化及位置；以及

处理器，其经配置用于基于所述图像探测器获取的图像识别用户拿取或放回商品的动作；匹配用户拿取或放回商品的动作和商品重量变化的位置；在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品的重量变化和商品重量变化的位置识别用户拿取或放回的商品，得到商品清单A；

其中，所述处理器包括：图像识别模块，用于基于所述图像探测器采集到的图像识别用户拿取或放回商品的动作；匹配模块，用于匹配用户拿取或放回商品的动作和商品重量变化的位置；以及计算模块，用于在用户拿取或放回商品的动作和商品重量变化的位置匹配时，利用商品重量变化和商品重量变化的位置得到用户拿取或放回的 商品，从而得到商品清单A；

其中，进一步地，所述图像识别模块基于图像识别用户的手掌来获得用户拿取或放回商品的动作；所述图像识别模块基于图像识别手掌在货柜中的位置；所述匹配模块判断用户手掌的位置和智能货柜中发生商品重量变化的位置是否相同；

其中，所述图像探测器采集从智能货柜的柜门打开到关闭之间的视频；对应地，所述图像识别模块从智能货柜的柜门打开到关闭之间的视频中截取重量传感器感测到商品重量变化时刻之前的多个图像；在多个图像中识别用户的手掌和手掌在货柜中的位置。

8.根据权利要求7所述的系统，其中，所述处理器进一步包括：商品识别模块，用于基于所述图像探测器采集的图像识别用户拿取或放回的商品，获得商品清单B。

9.根据权利要求8所述的系统，其中，所述处理器进一步包括：验证模块，用于基于商品清单B验证商品清单A，在商品清单A与商品清单B一致时，确认识别到用户拿取或放回的商品。

10.根据权利要求8所述的系统，其中，所述商品识别模块包括：

图像获取单元，用于从所述图像探测器获取智能货柜的柜门打开和关闭时刻的货架图像；

图像对比单元，用于对比柜门打开时刻的货架图像和柜门关闭时刻的货架图像，获取商品位置的差异；以及

查询单元，根据所述商品位置的差异查询商品分布数据，根据所述商品分布数据确定引起商品位置差异的商品，从而得到商品清单B。

11.一种智能货柜购物订单的生成方法，其中，包括：

获取柜门解锁的信息；

基于权利要求1-6任一所述方法识别到用户拿取或放回的商品；

识别用户拿取商品或放回商品的行为；

在识别到用户拿取商品时，将拿取的商品加入到购物清单中；在识别到用户放回商品时，将放回的商品从购物清单中删除；以及

在获取到柜门锁闭的信息时，根据购物清单中的商品生成购物订单。

Images