CN109243096A - 一种智能货柜及确定拿取商品的方法 - Google Patents

Abstract

本发明涉及一种智能货柜及确定拿取商品的方法。该方法，包括：基于来自图像识别装置的数据生成商品清单；基于来自重力传感器的重量变化生成商品组合；以及将商品清单与商品组合进行匹配，获得用户拿取商品的种类和数量。本发明将重力传感器与图像识别装置结合起来识别用户拿取的商品，可以更加准确、快速完成购物流程，减少客户等待时间，提高效率。

Description

一种智能货柜及确定拿取商品的方法

技术领域

本发明涉及零售行业，特别地涉及一种智能货柜及确定拿取商品的方法。

背景技术

智能货柜是一种利用大数据、智能技术和算法来完成的无人售货机。智能货柜利用大数据将货柜上动销排名靠后的商品淘汰，并根据不同区域喜好，分配不同商品。智能货柜改变可购物体验，提高了用户满意度。虽然智能货柜丰富了购物功能，但是难以避免产生错误订单，导致产生货损。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种智能货柜中确定拿取商品的方法，包括：基于来自图像识别装置的数据生成商品清单；基于来自重力传感器的重量变化生成商品组合；以及将商品清单与商品组合进行匹配，获得用户拿取商品的种类和数量。

如上所述的方法，其中图像识别装置在货柜门打开时启动。

如上所述的方法，其中图像识别装置摄取柜门开启和关闭之间的图像。

如上所述的方法，进一步包括获得在重力传感器所探测的重量发生变化时刻之前和/或之后的图像。

如上所述的方法，其中生成商品清单步骤包括：

根据图像识别装置摄取的图像确定一种或多种商品种类及其相似度；

筛选出相似度超过设定阈值的商品种类。

如上所述的方法，来自重力传感器的重量变化为智能货柜柜门打开前的重量与柜门关闭后的重量之间的变化。

如上所述的方法，其中基于来自重力传感器的重量变化生成商品组合，商品组合是根据已知或估计的各种商品的单个重量，获得一种或多种商品及其数量的组合。

如上所述的方法，基于商品清单与商品组合匹配获取用户拿取商品的种类和数量并生成订单。

根据本发明的另一个方面，提出一种智能货柜，包括：处理器；图像识别装置，其与处理器连接经配置以获取用户拿取或放回商品的图像；重力传感器，其与处理器连接经配置以获取智能货柜内商品的重量变化；其中，基于来自图像识别装置用户拿取或放回商品的图像能够生成商品清单；基于来自重力传感器的重量变化能够生成商品组合；根据商品清单与商品组合的匹配能够获取用户拿取商品的种类和数量。

如上所述的智能货柜，进一步包括：通信接口，其经配置以发送在重力传感器所探测的重量发生变化时来自图像识别装置的图像。

如上所述的智能货柜，进一步包括：通信接口，其经配置以来自图像识别装置的智能货柜柜门开启和关闭之间的视频中在重力传感器所探测的重量发生变化时刻之前和/或之后的图像。

如上所述的智能货柜，进一步包括：通信接口，其经配置以来自图像识别装置的智能货柜柜门开启和关闭之间的视频中以预定的时间间隔截取的图像。

如上所述的智能货柜，其中智能货柜包括多层，图像识别装置包括多个摄像头，智能货柜的多层中至少一层包括一个或多个摄像头。

如上所述的智能货柜，其中智能货柜的多层包括顶层、底层和至少一个中间层；其中顶层的左上角和右上角分别设置摄像头俯视拍摄；中间层的左下角和右下角分别设置摄像头，其中一个摄像头俯视拍摄而另一个摄像头仰视拍摄；以及底层的左下角和右下角分别设置摄像头仰视拍摄。

如上所述的智能货柜，其中智能货柜的多层包括多个中间层，其中，相邻中间层的摄像头的拍摄角度交替设置。

如上所述的智能货柜，其中包括所述顶层与中间层、多个中间层之间、或者中间层和底层之间包括未设置摄像头的中间层。

如上所述的智能货柜，其中多个摄像头设置在靠近智能货柜柜门的一侧。

如上所述的智能货柜，包括一个或多个重力感应托盘，其中重力传感器包括在重力感应托盘中。

如上所述的智能货柜，其中重力感应托盘还包括托盘、重力传感器支架、重力传感器底座、和托盘底座；其中托盘设置在重力传感器支架上，重力传感器支架固定在重力传感器上，重力传感器安装在重力传感器底座上，重力传感器底座固定在托盘底座上。

本发明将重力传感器与图像识别装置结合起来识别用户拿取的商品，可以更加准确、快速完成购物流程，减少客户等待时间，提高效率。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1是根据本发明一个实施例的使用智能货柜的状态示意图；

图2是根据本发明一个实施例的智能货柜的结构示意图；

图3是根据本发明一个实施例的无人购物系统服务器的示意图；

图4是根据本发明一个实施例应用重力感应和图像识别商品的流程图；

图5是根据本发明一个实施例的装有重力传感器和图像识别装置智能货柜的结构示意图；以及

图6是根据本发明一个实施例的重力感应托盘结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

本发明提供一种利用重力传感器设备和图像识别设备来识别商品，通过两种设备盘点商品进行匹配并生成订单，提高了订单的准确率。下面将通过实施例对本发明进行详细解释说明。

图1是根据本发明一个实施例的使用智能货柜的状态示意图。如图1所示，智能货柜110包括柜体和柜门。智能货柜110一般是封闭式的，例如具有带锁的门。智能货柜110中存放一种或多种待销售的商品。智能货柜110与服务器120通过通信连接130连接。

当用户希望购买智能货柜中的商品时，解锁智能货柜的柜门。例如，用户可以使用移动终端140扫描智能货柜上的识别码，然后利用移动终端登录服务器120。登录成功后，如果用户符合条件，服务器120指示智能货柜解锁柜门。本领域技术人员应当理解，以上仅是解锁柜门的一种方式。其他的方式，例如扫描用户移动终端的识别码、扫描用户的指纹、扫描用户的掌纹、扫描用户的虹膜、扫描用户的面部等其他方式也可以用户解锁智能货柜的柜门。

智能货柜的柜门解锁后，用户可以打开柜门，拿取智能货柜的商品。当用户结束购物后，例如关闭柜门后，根据用户拿取的商品生成订单。用户支付了订单的金额后，完成一次利用智能货柜的购物。

参考图1，智能货柜110周围环境中的其他设备也可能与智能货柜的应用有关。举例而言，智能货柜110周围环境中摄像设备可以用于采集智能货柜110周围的图像或视频。这些图像或视频可以用于用户识别、拿取商品的识别、开启柜门或者关闭柜门的动作识别等方面。或者，智能货柜110周围环境中的重力传感设备可以用于识别是否有用户接近智能货柜110。本领域技术人员应当理解，以上仅是应用智能货柜110周围环境中的其他设备的一些例子。其他种类或者功能的设备也可能在智能货柜相关的应用中使用。

图2是根据本发明一个实施例的智能货柜的结构示意图。如图所示，智能货柜包括处理器201、通信接口202、传感器203、探测器204以及存储器205。

处理器201能够包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或它们的组合。处理器201能够执行存储在存储器205中的软件或计算机可读指令以执行本文描述的方法或操作。处理器201能够以若干不同的方式来实施。例如，处理器201能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。

通信接口202能够包括一个或多个有线或无线通信接口。例如，通信接口网络接口卡、无线调制解调器或有线调制解调器。在一种应用中，通信接口202能够是WiFi调制解调器。在另一些应用中，通信接口202能够是3G调制解调器、4G调制解调器、LTE调制解调器、蓝牙组件、射频接收器、天线或它们的组合。

传感器203能够检测智能货柜中的商品。在一种应用中，传感器203能够是RFID天线，其能够检测智能货柜中商品上的RFID标签。在另一种应用中，传感器203能够是重力传感设备，其能够检测处于其探测区域上商品的重量。在另一种应用中，传感器203能够是图像识别装置，其能够获得其关注区域中商品的图像。在另一些应用中，传感器203能够是红外传感器、光电触感器、微动开关在一些应用中，传感器203能够是上述提到的传感器的组合。本领域技术人员应当理解，以上仅仅是示例性说明传感器203可能的实例。本领域中能够实现同样目的的其他实例也可以应用于此。

探测器204能够检测智能货柜或者智能货柜内外的情况。在一种应用中，探测器204能够是门锁状态探测器，其能够检测智能货柜的柜门是否锁闭。在另一种应用中，探测器204能够是摄像设备，其能够监视柜内用户手的动作。在另一种应用中，探测器204能够是摄像设备，其能够监视柜外用户的图像。在一些应用中，探测器204能够是上述提到的探测器的组合。本领域技术人员应当理解，以上仅仅是示例性说明探测器204可能的一些实例。本领域中能够实现同样目的的其他实例也可以应用于此。

存储器205能够存储软件、数据、日志或它们的组合。存储器205能够是内部存储器或者外部存储器。例如，存储器能够是易失性存储器或非易失性存储器,诸如非易失性随机存取存储器(NVRAM)、闪存、磁盘存储器的非易失性存储器，或者是诸如静态随机存取存储器(SRAM)的易失性存储器。

图3是根据本发明一个实施例的无人购物系统服务器的示意图。如图所示，服务器包括一个或多个处理器301、通信接口302以及存储器303。

处理器301能够包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或它们的组合。处理器301能够执行存储在存储器303中的软件或计算机可读指令以执行本文描述的方法或操作。处理器301能够以若干不同的方式来实施。例如，处理器301能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。

通信接口302能够包括一个或多个有线或无线通信接口。例如，通信接口网络接口卡、无线调制解调器或有线调制解调器。在一种应用中，通信接口302能够是WiFi调制解调器。在另一些应用中，通信接口302能够是3G调制解调器、4G调制解调器、LTE调制解调器、蓝牙组件、射频接收器、天线或它们的组合。

存储器302能够存储软件、数据、日志或它们的组合。存储器302能够是内部存储器或者外部存储器。例如，存储器能够是易失性存储器或非易失性存储器,诸如非易失性随机存取存储器(NVRAM)、闪存、磁盘存储器的非易失性存储器，或者是诸如静态随机存取存储器(SRAM)的易失性存储器。

图4是根据本发明一个实施例应用重力感应和图像识别商品的流程图。如图所示，应用重力感应和图像识别商品的方法400包括如下步骤：

在步骤410，基于来自图像识别装置的数据生成识别商品清单。在一些实施例中，图像识别装置可以是摄像头。摄像头可以是360°全景摄像头或广角摄像头，也可以是普通摄像头。本发明的智能货柜可以包括一个或多个摄像头，可以识别智能货柜内的所有商品。摄像头可以分布在智能货柜箱的内胆中或柜箱周围。

根据本发明的一个实施例，图像识别装置可以在重力传感器发生变化时启动。当重力传感器发生变化时，用户正在拿取和放回商品。这时可以启动图像识别装置以识别用户拿取或放回的商品。

根据本发明的另一个实施例，为了保证识别的准确性，在用户打开智能货柜的柜门后即启动图像识别装置，开始录制视频。例如，在用户打开柜门后，门锁状态探测器识别出柜门处于开启状态，发送信号到处理器。处理器启动摄像头，开始录制视频。当用户关闭柜门后，门锁状态探测器识别出柜门处于关闭状态，发送信号到处理器。处理器关闭摄像头，结束视频的录制。这样就得到一段智能货柜的柜门开启和关闭时间段的视频。通过截取视频中的图像即可以获得用于商品识别的图像。在一些实施例中，可以以固定的时间间隔截取图像，以获得完整的用户动作。在识别出用户拿取或放回商品后，识别用户拿取或者放回的商品。在一些实施例中，可以截取重力传感器发生变化的时前后预定时间的图像，从而识别用户所拿取或放回的商品。在本实施例中，截取图像可以在智能货柜本地进行，也可以在服务器上进行。

根据本发明的一个实施例，为了简化算法、提高准确度，可以不考虑拿取或者放回动作而仅识别商品的种类。即只要图像中用户手中有商品，就将含有此商品的图像作为待识别的图像。这样可以大大简化整个逻辑和识别过程。

在一些实施例中，利用人工智能模型针对来自图像识别装置的图像进行识别，即将图像中的商品和模型中经训练的商品进行匹配，并根据匹配度将可能的商品进行排序。在一些实例中，如果匹配度大于预定的阈值，则认为匹配成功，根据所有匹配成功的商品生成一个商品清单。在另一些实例中，按照匹配度从大到小排序后，预定的前几位被认为匹配成功，然后再根据所有匹配成功的商品生成一个商品清单。在一些实施例中，允许一次识别出多种商品。

在一些实施例中，如果用户多次拿取商品，则识别的商品清单中可以包括每次拿取的商品种类；或者商品清单为各次拿取商品种类的合并识别结果。再或者，商品清单中可以不分拿取的次数，而将所有拿取的商品种类合并作为识别结果。

在步骤420，基于来自重力传感器的重量变化生成商品组合。重力传感器安装在盛放商品的托盘内。重力传感器可以一直处于工作状态。当用户拿取或放回商品后，重力传感器可以获得重量的变化。在一些实施例中，如果同一托盘有多种商品，用户可能一次就拿了多种商品，因此重量的变化可能是多种商品重量的组合。在一些实施例中，即使同一托盘中仅有一种商品，用户也可能一次拿了多件商品，因此重量的变化可能是多件商品的组合。当然，重量的变化也可能是多件多种商品的组合。由于每件商品的重量是已知的或者可估计的，那么根据重量的变化就可能得出一种或多种商品组合。本领域技术人员应当理解，这里的商品组合包括一件一种商品的情况。

根据本发明的一个实施例，为了简化算法，重力传感器仅获得智能货柜柜门打开前的重量与柜门关闭后的重量之间的重量变化。根据这一重量变化生成商品组合。这样可以大大简化算法和识别过程。

在步骤430，将商品清单与商品组合进行匹配，获得用户拿取商品的种类和数量。举例而言，在步骤410中识别出的商品种类及其相似度如下：

可乐80％、薯片60％，矿泉水40％。

若相似度设定阈值为50％，则生成商品清单如下：

可乐、薯片；

在步骤420中的商品重量变化如下：

开门前后重量变化：455克；商品组合如下：

1瓶可乐；

1袋袋装梅干+1袋袋装瓜子；

2袋袋装瓜子+1袋口香糖。

将商品清单与商品组合中的种类逐一匹配，获取用户拿取商品的种类和数量，即用户拿取的商品为1瓶可乐。

在步骤440，根据用户拿取商品的种类和数量生成订单。在一些实施例中，如果用户再次打开柜门将商品放回或再次拿取商品时，再次获得用户拿取的商品。然后根据两次拿取的商品调整订单，或者取消订单。

根据本发明的一个实施例，本实施例的方法既可以在服务器进行也可以在智能货柜本地进行。

图5是根据本发明一个实施例的装有重力传感器和图像识别装置智能货柜的结构示意图。如图所示，智能货柜500包括内胆501、多个摄像头502-507、重力感应托盘508-511。在智能货柜处理器的控制下，多个摄像头502-507和重力感应托盘505-511协同工作，相互结合来盘点商品，以更加精确和快速生成订单。

为了增加图像识别的准确率，摄像头502-507安装在内胆内而朝向重力感应托盘上的商品。在一些实施例中，摄像头502-507安装在靠近智能货柜柜门的一侧。摄像头502-507不但可以监视重力感应托盘上方被拿起或放下的商品，还可以监视用户智能货柜柜门附近用户握持的商品。

在一些实施例中，内胆501包括多层。根据本发明的一个实施例，内胆501的每一层可以包括1-2个摄像头，以从多个角度摄取拿起或放下的商品。多个摄像头并不是均匀分布，每一个摄像头负责一定范围，保证货柜内商品全部在摄像范围之内。如图所示，对于顶层，在左上角和右上角分别设置摄像头俯视拍摄；对于中间层，在左下角和右下角分别设置摄像头，其中一个摄像头俯视拍摄而另一个摄像头仰视拍摄；以及对于底层，在左下角和右下角分别设置摄像头仰视拍摄。其中，相邻中间层的摄像头的拍摄角度交替设置，以覆盖更多角度，防止被人或者其他物品遮挡。在一些实施例中，并不一定每一层都设置摄像头。在设置了摄像头的两层之间可以包括未设置任何摄像头的一层或二层，而并不会引起图像识别困难的问题。

在一些实施例中，内胆501的每层包括一个重力感应托盘。如图所示，4层的内胆中包括4个重力感应托盘508-511。重力感应托盘508-511中每者包括一个或多个重力传感器。一个或多个重力传感器协同工作，探测上方托盘内商品的重量变化。

图6是根据本发明一个实施例的重力感应托盘结构示意图。如图所示，重力感应托盘600包括：托盘602、重力传感器支架603、重力传感器604、重力传感器底座605、和托盘底座606。托盘602可以是一块矩形板，边缘向下弯曲。托盘602的尺寸略小于托盘底座606。托盘602可以分为多个区域，各个区域放置不同的商品。

重力传感器支架603是连接在托盘602和重力传感器604之间。重力传感器支架603大体成水平状，其上部与托盘602固定，下部与重力传感器604固定，扩大了重力传感器604与托盘602的接触面积，以使得重量测量更为准确。重力传感器支架603与重力传感器604的固定点位于重力传感器支架603的中心。

重力传感器606大体成Z字型以使得结构更加稳定。重力传感器底座605设置在重力传感器604下方并与之固定，由此可以增加重力传感器604与托盘底座606之间的接触面积，能够承受压力并且不变形，保证重力传感器604能够正常工作。重力传感器底座605固定在托盘底座606上。托盘底座606大体成U形，从而将重力传感器支架603、重力传感器604和重力传感器底座605容纳与其中。

在本发明的一些实施例中，重力感应托盘600可以包括多个以类似方式设置的重力传感器604，分别设置在托盘602的不同区域之下，共同探测托盘602上商品重量的变化，提高重量探测的准确性。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims (19)

1.一种智能货柜中确定拿取商品的方法，包括：

基于来自图像识别装置的数据生成商品清单；

基于来自重力传感器的重量变化生成商品组合；以及

将商品清单与商品组合进行匹配，获得用户拿取商品的种类和数量。

2.根据权利要求1所述的方法，其中图像识别装置在货柜柜门打开时启动。

3.根据权利要求1所述的方法，其中图像识别装置摄取智能货柜柜门开启和关闭之间的图像。

4.根据权利要求3所述的方法，进一步包括获得在重力传感器所探测的重量发生变化时刻之前和/或之后的图像。

5.根据权利要求1所述的方法，其中生成商品清单步骤包括：

根据图像识别装置摄取的图像确定一种或多种商品种类及其相似度；

筛选出相似度超过设定阈值的商品种类。

6.根据权利要求1所述的方法，来自重力传感器的重量变化为智能货柜柜门打开前的重量与柜门关闭后的重量之间的变化。

7.根据权利要求1所述的方法，其中基于来自重力传感器的重量变化生成商品组合，商品组合是根据已知或估计的各种商品的单个重量，获得一种或多种商品及其数量的组合。

8.根据权利要求1所述的方法，基于商品清单与商品组合匹配获得用户拿取商品的种类和数量并生成订单。

9.一种智能货柜，包括：

处理器；

图像识别装置，其与处理器连接经配置以获取用户拿取或放回商品的图像；

重力传感器，其与处理器连接经配置以获取智能货柜内商品的重量变化；

其中，基于来自图像识别装置用户拿取或放回商品的图像能够生成商品清单；基于来自重力传感器的重量变化能够生成商品组合；根据商品清单与商品组合的匹配能够获得用户拿取商品的种类和数量。

10.根据权利要求9所述的智能货柜，进一步包括：通信接口，其经配置以发送在重力传感器所探测的重量发生变化时来自图像识别装置的图像。

11.根据权利要求9所述的智能货柜，进一步包括：通信接口，其经配置以来自图像识别装置的智能货柜柜门开启和关闭之间的视频中在重力传感器所探测的重量发生变化时刻之前和/或之后的图像。

12.根据权利要求9所述的智能货柜，进一步包括：通信接口，其经配置以来自图像识别装置的智能货柜柜门开启和关闭之间的视频中以预定的时间间隔截取的图像。

13.根据权利要求9所述的智能货柜，其中智能货柜包括多层，图像识别装置包括多个摄像头，智能货柜的多层中至少一层包括一个或多个摄像头。

14.根据权利要求13所述的智能货柜，其中智能货柜的多层包括顶层、底层和至少一个中间层；其中顶层的左上角和右上角分别设置摄像头俯视拍摄；中间层的左下角和右下角分别设置摄像头，其中一个摄像头俯视拍摄而另一个摄像头仰视拍摄；以及底层的左下角和右下角分别设置摄像头仰视拍摄。

15.根据权利要求14所述的智能货柜，其中智能货柜的多层包括多个中间层，其中，相邻中间层的摄像头的拍摄角度交替设置。

16.根据权利要求15所述的智能货柜，其中所述顶层与中间层、多个中间层之间、或者中间层和底层之间包括未设置摄像头的中间层。

17.根据权利要求13所述的智能货柜，其中多个摄像头设置在靠近智能货柜柜门的一侧。

18.根据权利要求9所述的智能货柜，包括一个或多个重力感应托盘，其中重力传感器包括在重力感应托盘中。

19.根据权利要求18所述的智能货柜，其中重力感应托盘还包括托盘、重力传感器支架、重力传感器底座、和托盘底座；其中托盘设置在重力传感器支架上，重力传感器支架固定在重力传感器上，重力传感器安装在重力传感器底座上，重力传感器底座固定在托盘底座上。