CN108460908A - 自动售货方法和系统以及自动售货装置和自动贩售机 - Google Patents

Abstract

本公开提出一种自动售货方法和系统以及自动售货装置和自动贩售机，涉及自动贩售机领域。其中的方法包括：检测到用户打开自动贩售机的柜门的操作；判断货架上摆放的是否为预设货品；如果是，根据货架的重量变化信息确定用户欲购买的货品信息；如果否，根据自动贩售机内的视频监控图像确定用户欲购买的货品信息；检测到柜门关闭后，自动对用户欲购买的货品信息进行结算。本公开允许用户先拿到货品再付款，用户在购买前可接触并充分了解货品，且自动结算，结算更加简单，提升自动售货场景下的购物体验。此外，不论自动贩售机内货品是否乱放，均能够准确识别用户欲购买的货品信息，同时还可以兼顾货品信息识别的准确性和效率，具有较强的实用性。

Description

自动售货方法和系统以及自动售货装置和自动贩售机

技术领域

本公开涉及自动贩售机领域，特别涉及一种自动售货方法和系统以及自动售货装置和自动贩售机。

背景技术

随着技术的发展，无人超市、无人便利店成为颠覆传统零售的变革形态，各种自动售货机也应运而生。

现有技术中，自动售货机的购买流程是，首先用户透过自动售货机的玻璃来辨别商品，然后通过触屏或按键选定商品，接着通过投币或支付应用等方式支付货款，最后商品从自动售货机的出货口滑出。

发明内容

发明人发现，用户购买之前所能接触到的商品信息有限，并且是先付款再拿到商品，如果购买错误，将无法退回，购物体验有待提升。

本公开实施例所要解决的一个技术问题是：提升自动售货场景下的购物体验。

根据本公开的一个方面，提出一种自动售货方法，包括：

检测到用户打开自动贩售机的柜门的操作；

判断所述自动贩售机的货架上摆放的是否为预设货品；

在所述自动贩售机的货架上摆放的是预设货品的情况下，根据货架的重量变化信息确定所述用户欲购买的货品信息；

在所述自动贩售机的货架上摆放有非预设货品的情况下，根据所述自动贩售机内的视频监控图像确定所述用户欲购买的货品信息；

检测到所述自动贩售机的柜门关闭后，自动对所述用户欲购买的货品信息进行结算。

在一些实施例中，判断所述自动贩售机的货架上摆放的是否为预设货品包括：

将所述自动贩售机内当前摆放的货品图像与所述自动贩售机内补货完成时初始摆放的货品图像进行比较，如果当前摆放的货架上的货品与初始摆放的该货架上的货品的种类不一致，则判定所述自动贩售机的该货架上摆放有非预设货品。

在一些实施例中，判断所述自动贩售机的货架上摆放的是否为预设货品包括：

将所述自动贩售机内当前摆放的货架上的单个货品的重量与所述自动贩售机内补货完成时初始摆放的该货架上的单个货品的重量进行比较，如果重量不一致，则判定所述自动贩售机的该货架上摆放有非预设货品。

在一些实施例中，根据货架的重量变化信息确定所述用户欲购买的货品信息包括：

根据重力传感器感知的重量变化信息以及所述重力传感器对应的货架信息，确定发生重量变化的货架及其重量变化信息；

根据发生重量变化的货架的重量变化信息，结合发生重量变化的货架承载的货品和单个货品的重量，确定所述用户购买的货品以及货品的数量。

在一些实施例中，根据所述自动贩售机内的视频监控图像确定所述用户欲购买的货品信息包括：

从所述自动贩售机内的视频监控图像中定位所述用户欲购买的货品的图像；

根据预先建立的货品特征库，识别所述用户欲购买的货品的图像对应的货品信息。

在一些实施例中，定位所述用户欲购买的货品的图像包括：将所述自动贩售机内的视频监控图像输入货品定位模型，所述货品定位模型输出所述用户欲购买的货品的图像，所述货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。

在一些实施例中，识别所述用户欲购买的货品的图像对应的货品信息包括：将所述用户欲购买的货品的图像输入货品识别模型，所述货品识别模型输出所述用户欲购买的货品的图像对应的货品特征，所述货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到，将所述货品识别模型输出的货品特征与所述货品特征库中的货品特征进行匹配，并将匹配到的所述货品特征库中的货品特征对应的货品分类的标注信息作为所述用户欲购买的货品的图像对应的货品信息。

在一些实施例中，该方法还包括：在检测到所述自动贩售机的柜门关闭前，根据重力传感器感知的货架减少的重量信息和增加的重量信息以及货架在补货完成时初始摆放的单个货品的重量，确定所述用户是否将欲购买的货品放回原始货架，在未放回原始货架时发出提示，在已放回原始货架后，对该放回的货品不进行结算。

在一些实施例中，该方法还包括：根据所述自动贩售机内的视频监控图像，检测所述自动贩售机的货架上的货品摆放是否规则，在不规则时发出提示。

在一些实施例中，该方法还包括：

检测到补货员打开自动贩售机的柜门的操作；

根据重力传感器感知的货架的重量变化信息以及货架对应摆放的单个货品的重量，确定补充货品的数量；

检测到所述自动贩售机的柜门关闭后，自动记录或上报补充货品的数量。

在一些实施例中，该方法还包括：

如果识别到所述用户的身份信息，根据所述用户的身份信息对应的购物行为信息为所述用户进行信息推荐；

如果未识别到所述用户的身份信息，根据人脸识别技术识别所述用户的性别和年龄中的至少一项，根据识别的所述用户的性别和年龄中的至少一项为所述用户进行信息推荐。

根据本公开的另一个方面，提出一种自动售货装置，包括：执行前述任一个实施例中的自动售货方法的模块。

根据本公开的另一个方面，提出一种自动售货装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任一个实施例中的自动售货方法。

根据本公开的另一个方面，提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一个实施例中的自动售货方法。

根据本公开的另一个方面，提出一种自动贩售机，包括：

工控机；

重力传感器，设置于所述自动贩售机的每层货架的下表面；

内置摄像头，设置于每层货架对应的所述自动贩售机的侧面内壁，拍摄方向对准货架区域；

电磁锁，设置于所述自动贩售机的柜门处，能够打开或关闭所述柜门；

其中，所述工控机与所述重力传感器、所述内置摄像头、所述电磁锁分别电连接，所述工控机在用户身份被有效识别的情况下，向所述电磁锁发出指令打开所述柜门，并将所述重力传感器感知的货架的重量变化信息和所述内置摄像头拍摄的视频监控图像传送至后台的自动售货装置，以供所述自动售货装置确定所述用户欲购买的货品信息，并将所述柜门关闭的信息传送至所述自动售货装置，以触发所述自动售货装置自动对所述用户欲购买的货品信息进行结算。

在一些实施例中，所述内置摄像头在相邻两层货架对应的所述自动贩售机的两侧面内壁交错设置。

在一些实施例中，所述重力传感器包括重力敏感元件；或者，所述重力传感器包括重力敏感元件和数字变换元件，所述重力敏感元件与所述数字变换元件电连接；

所述重力敏感元件用于感知货架承载货品的重量信息；

所述数字变换元件用于将货品的重量信息变换为货品的数量信息。

在一些实施例中，自动贩售机还包括：外置摄像头，用于拍摄用户的面部图像，并传送至所述自动售货装置，以供所述自动售货装置识别所述用户的身份。

在一些实施例中，自动贩售机还包括：触摸屏，用于展示所述自动售货装置定义的内容。

在一些实施例中，自动贩售机还包括：触摸屏，用于展示所述自动售货装置定义的内容，其中，所述触摸屏展示的内容包括所述自动售货装置根据识别的所述用户的身份信息对应的购物行为信息推荐的信息，或者，所述自动售货装置根据识别的所述用户的性别和年龄中的至少一项推荐的信息。

根据本公开的另一个方面，提出一种自动售货系统，包括：前述任一个实施例中的自动贩售机和前述任一个实施例中的自动售货装置。

本公开实施例的售货方案，允许用户先拿到货品再付款，使得用户在购买前可以接触并充分了解货品，并且自动结算，结算更加简单，无需排队或扫描二维码等额外的结算操作，提升自动售货场景下的购物体验。此外，不论自动贩售机内货品是否乱放，均能够准确识别用户欲购买的货品信息，同时还可以兼顾货品信息识别的准确性和效率，具有较强的实用性。

附图说明

下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开，

显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开自动售货系统一些实施例的示意图。

图2～4为本公开自动售货机一些实施例的结构示意图。

图5为本公开自动售货方法一些实施例的流程示意图。

图6为本公开自动售货方法一些实施例的流程示意图。

图7为本公开自动售货方法一些实施例的流程示意图。

图8为本公开自动售货方法一些实施例的流程示意图。

图9为本公开自动售货方法一些实施例的流程示意图。

图10为本公开自动售货装置一些实施例的结构示意图。

图11为本公开自动售货装置一些实施例的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

图1为本公开自动售货系统一些实施例的示意图。

如图1所示，自动售货系统包括自动贩售机10和自动售货装置20。自动贩售机10与自动售货装置20之间信号连通。在一些实施例中，自动售货装置20例如可以服务器或云服务器。服务器或云服务器为若干个自动贩售机10提供服务。在一些实施例中，自动售货装置20例如还可以是自动贩售机10中的一个部件。

在自动售货应用场景中，自动贩售机10允许用户打开自动贩售机10的柜门，在开放环境中选购自动贩售机10内的货品，使得用户在购买前可以接触并充分了解货品。然后自动售货装置20根据自动贩售机10传送的重力传感器感知的货架的重量变化信息和内置摄像头拍摄的视频监控图像确定用户欲购买的货品信息，并在接收到自动贩售机10传送的柜门关闭的信息后，对用户欲购买的货品信息进行自动结算，使得结算更加简单，无需排队或扫描二维码等额外的结算操作，提升自动售货场景下的购物体验。

图2～4为本公开自动售货机一些实施例的结构示意图。

如图2～4所示，自动贩售机10通常具有多层货架11，货架11上可以摆放货品。自动贩售机10内设置了工控机12、重力传感器13、内置摄像头14、电磁锁15等部件。自动贩售机10外设置了外置摄像头16、触摸屏17等部件。工控机12与重力传感器13、内置摄像头14、电磁锁15、外置摄像头16、触摸屏17分别电连接。

在一些实施例中，工控机12作为控制部件，通常可以隐藏设置于自动贩售机10的内部。在一些实施例中，工控机12用来控制自动贩售机10的例如电磁锁15等部件，并可以与后台的自动售货装置20进行信息交互。例如，工控机12可以接收自动售货装置20在用户身份被有效识别的情况下发出的开锁指令，然后向电磁锁15发出指令打开柜门；工控机12还可以将重力传感器13感知的货架的重量变化信息和内置摄像头14拍摄的视频监控图像传送至自动售货装置20，以供自动售货装置20确定用户欲购买的货品信息；工控机12还可以将柜门关闭的信息传送至自动售货装置20，以触发自动售货装置20自动对用户欲购买的货品信息进行结算。

在一些实施例中，重力传感器13可以设置于自动贩售机的每层货架11的下表面，能够感应货架11上摆放货品的重量。在一些实施例中，重力传感器13可以包括重力敏感元件和数字变换元件，重力敏感元件与数字变换元件电连接。重力敏感元件用于感知货架承载货品的重量信息。数字变换元件用于将货品的重量信息变换为货品的数量信息，实现计数功能。在一些实施例中，重力传感器13还可以仅包括重力敏感元件。

在一些实施例中，内置摄像头14可以设置于每层货架11对应的自动贩售机的侧面内壁，拍摄方向对准货架区域，从而能够拍摄到货架11上的货品以及货品的拿取和放回的情况。为了更全面地拍摄货品以及货品取放的情况，内置摄像头14可以在相邻两层货架11对应的自动贩售机10的两侧面内壁交错设置。例如，从上往下，在第一层货架对应的自动贩售机10的右侧内壁上设置内置摄像头14，在第二层货架对应的自动贩售机10的左侧内壁上设置内置摄像头14，在第三层货架对应的自动贩售机10的右侧内壁上设置内置摄像头14，在第四层货架对应的自动贩售机10的左侧内壁上设置内置摄像头14。

在一些实施例中，电磁锁15可以设置于自动贩售机10的柜门处，能够打开或关闭柜门。

在一些实施例中，外置摄像头16，例如可以设置在自动贩售机10的柜门的外侧表面，用于拍摄用户的面部图像，并传送至自动售货装置20，以供自动售货装置20识别用户的身份。

在一些实施例中，触摸屏17，例如可以设置在自动贩售机10的柜门的外侧表面，用于展示自动售货装置20定义的内容。其中，触摸屏展示的内容包括：预先定义的推荐信息，例如广告等，还可以包括：自动售货装置20根据识别的用户的身份信息对应的购物行为信息推荐的信息，或者，自动售货装置20根据识别的用户的性别和年龄中的至少一项推荐的信息，从而实现信息的精准投放。

下面描述自动售货过程。

图5为本公开自动售货方法一些实施例的流程示意图。

如图5所示，该实施例的自动售货方法包括：步骤510-540。

在步骤510，用户选择通过扫描二维码或人脸识别的方式打开自动贩售机的柜门，自动售货装置20检测用户打开自动贩售机10的柜门的操作，并在柜门打开过程中获取用户的身份信息。

在一些实施例中，自动贩售机10的外置摄像头16会检测人脸，在检测到人脸后，可以在触摸屏17中展示购物流程。购物流程中提示用户选择开门方式，二维码扫描开门或人脸识别开门。若用户选择二维码扫描开门，触摸屏17中展示二维码，二维码中带有自动贩售机10的设备信息，用户扫描二维码，自动售货装置20尝试获取代表用户身份的个人识别密码(Personal Identification Number，PIN)，如果未获取到个人识别密码，开锁失败，如果获取到个人识别密码，自动售货装置20下发开锁指令给工控机12，工控机12向电磁锁15发出指令打开柜门。若用户选择人脸识别开门，外置摄像头16拍摄用户的面部图像，并传送至自动售货装置20，自动售货装置20从面部图像特征库查找与传送的面部图像特征匹配的面部图像特征，如果未查找到匹配的面部图像特征，开锁失败，如果查找到匹配的面部图像特征，自动售货装置20获取特征库中记录的匹配的面部图像特征对应的用户身份信息，并下发开锁指令给工控机12，工控机12向电磁锁15发出指令打开柜门。

在步骤520，自动售货装置20判断自动贩售机的货架上摆放的是否为预设货品，以确定是否出现货品乱放的情况。

在一些实施例中，自动售货装置20获取内置摄像头14拍摄的自动贩售机内当前摆放的货品图像，将自动贩售机内当前摆放的货品图像与自动贩售机内补货完成时初始摆放的货品图像进行比较，如果当前摆放的货架上的货品与初始摆放的该货架上的货品的种类不一致，则判定自动贩售机的该货架上摆放有非预设货品，说明出现货品乱放的情况。反之，如果二者一致，则说明货架上摆放的是预设货品，未出现货品乱放的情况。

在一些实施例中，自动售货装置20获取重力传感器13感知的货品重量信息，该货品重量信息可以是货架上所有货品的总重量或总数量，将自动贩售机内当前摆放的货架上的单个货品的重量与自动贩售机内补货完成时初始摆放的该货架上的单个货品的重量进行比较，如果重量不一致，则判定自动贩售机的该货架上摆放有非预设货品，说明出现货品乱放的情况。反之，如果二者一致，则说明货架上摆放的是预设货品，未出现货品乱放的情况。

在步骤530a，在自动贩售机的货架上摆放的是预设货品的情况下，自动售货装置20根据货架的重量变化信息确定用户欲购买的货品信息。这种方式货品信息识别效率较高。

在一些实施例中，根据重力传感器感知的重量变化信息以及重力传感器对应的货架信息，确定发生重量变化的货架及其重量变化信息，根据发生重量变化的货架的重量变化信息，结合发生重量变化的货架承载的货品和单个货品的重量，确定用户购买的货品以及货品的数量。

例如，重力传感器S001放置在货架J001下，货架J001承载货品W001。重力传感器S001感知到货架J001的承重发生变化时，上报感应到的货架J001当前承载的重量信息，若重力传感器S001具有数字变换功能，则直接上报货架J001当前承载的货品的数量，若重力传感器S001不具有数字变换功能，则上报货架J001当前承载的重量。假设重力传感器S001上报货品数量为4，自动售货装置20知道重力传感器S001放置在货架J001下，货架J001承载货品W001，因此，自动售货装置20可以确定用户欲购买的是货品W001，并且货架J001的承重发生变化之前的数量假设为5，承重发生变化之后的数量为4，则可以确定用户欲购买货品W001的数量是1。

在步骤530b，在自动贩售机的货架上摆放有非预设货品的情况下，自动售货装置20根据自动贩售机内的视频监控图像确定用户欲购买的货品信息。这种方式货品信息识别的准确率较高。

在一些实施例中，自动售货装置20从自动贩售机内的视频监控图像中定位用户欲购买的货品的图像，根据预先建立的货品特征库，识别用户欲购买的货品的图像对应的货品信息。

定位用户欲购买的货品的图像包括：将自动贩售机内的视频监控图像输入货品定位模型，货品定位模型输出用户欲购买的货品的图像，货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。货品定位模型例如可以是卷积神经网络模型。此外，货品定位模型在使用之前可以先进行训练。货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。具体地说，对多个货品的图像，例如采用人工标注的方法，标注图像中的货品位置，然后，将多个货品的图像及其货品位置的标注信息输入至货品定位模型中，货品定位模型通过训练得到图像中是否存在货品以及货品的大致位置，将模型识别的货品的大致位置与标注的货品位置进行比较，判断比较结果是否满足构建的货品位置的损失函数的要求，反复迭代，优化和调整货品定位模型的参数，使得比较结果最终满足构建的货品位置的损失函数的要求，保存该货品定位模型。

识别用户欲购买的货品的图像对应的货品信息包括：将用户欲购买的货品的图像输入货品识别模型，货品识别模型输出用户欲购买的货品的图像对应的货品特征，货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到，将货品识别模型输出的货品特征与货品特征库中的货品特征进行匹配，并将匹配到的货品特征库中的货品特征对应的货品分类的标注信息作为用户欲购买的货品的图像对应的货品信息。货品识别模型例如可以是卷积神经网络模型。此外，货品识别模型在使用之前可以先进行训练。货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到。具体地说，对多个货品的图像，例如采用人工标注的方法，标注图像中的货品分类，该货品分类可以具体到货品的SKU(Stock Keeping Unit，库存量单位)级别，而不仅是货品所属的类别；然后，将多个货品的图像及其货品分类的标注信息输入至货品识别模型中，货品识别模型通过训练得到图像中货品分类的概率信息，可以将概率最大的货品分类确定为货品识别结果；然后，将模型识别的货品分类与标注的货品分类进行比较，判断比较结果是否满足构建的货品分类的损失函数的要求，反复迭代，优化和调整货品识别模型的参数，使得比较结果最终满足构建的货品分类的损失函数的要求，保存该货品识别模型。货品特征库可以采用以下方法建立：将已有货品的图像输入到货品识别模型，货品识别模型输出货品的图像对应的货品特征，其中，已有货品的图像具有货品分类的标注信息，然后，将货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到货品特征库。

在步骤540，自动售货装置20在柜门打开过程中已经获取到用户的身份信息，在检测到自动贩售机的柜门关闭后，可以自动对该用户欲购买的货品信息进行结算。

在一些实施例中，用户在购买完成后通常会关闭柜门，电磁锁15会关闭柜门，工控机12检测到电磁锁15关闭柜门后，会将柜门关闭的信息传送至自动售货装置20，触发结算流程。在一些实施例中，若用户在购买完成后忘记关闭柜门，工控机12若检测到超过预设时间后用户仍没有任何的例如拿取、放回、关门等操作，则可以自动向电磁锁15发出关闭柜门的指令，然后将柜门关闭的信息传送至自动售货装置20，触发结算流程。

上述实施例的售货方案，允许用户先拿到货品再付款，使得用户在购买前可以接触并充分了解货品，并且自动结算，结算更加简单，无需排队或扫描二维码等额外的结算操作，提升自动售货场景下的购物体验。此外，不论自动贩售机内货品是否乱放，均能够准确识别用户欲购买的货品信息，同时还可以兼顾货品信息识别的准确性和效率，具有较强的实用性。

图6为本公开自动售货方法一些实施例的流程示意图。

如图6所示，该实施例的自动售货方法包括：步骤610-650。

在步骤610，用户打开自动贩售机的柜门，开始自助购物流程。例如，经过步骤510-530a/530b。

在步骤620，自动售货装置20在检测到自动贩售机的柜门关闭前，根据重力传感器感知的货架减少的重量信息和增加的重量信息以及货架在补货完成时初始摆放的单个货品的重量，确定用户是否将欲购买的货品放回原始货架。在未放回原始货架时发出提示，提醒用户将货品放回原始货架，对于放回货架但未放回原始货架的货品也不进行结算(步骤630)，在已放回原始货架后，对该放回原始货架的货品不进行结算(步骤640)。

其中的重量信息可以是重量或能够反映重量的货品数量。

在一些实施例中，在一个用户的一次购物过程中：如果一个货架发生重量增加的情况，则判定用户有放回货品的行为；如果一个货架仅发生重量增加的情况，而没有重量减少的情况，判定用户未将拿取的货品放回原始货架，例如货架J001仅发生重量增加的情况，而没有重量减少的情况，判定用户将其他货架的货品放到了货架J001上；如果同一个货架发生重量减少和重量增加的两种情况，且该货架减少的重量信息和增加的重量信息相同，判定用户将拿取的货品全部放回原始货架，例如货架J002减少的重量信息和增加的重量信息相同，判定用户将从货架J002拿取的货品全部放回到货架J002上；如果同一个货架发生重量减少和重量增加的两种情况，且该货架减少的重量信息和增加的重量信息均是该货架在补货完成时初始摆放的单个货品的重量的整数倍，判定用户将拿取的货品放回原始货架，例如货架J003在补货完成时初始摆放的单个货品的重量是100克，该货架减少的重量是200克，增加的重量是100克，判定用户可能先从货架J003拿取了2件货品，后来又放回了1件货品到货架J003。

在步骤650，自动售货装置20在检测到自动贩售机的柜门关闭后，可以自动对该用户的未放回货架的货品进行结算。

上述实施例的售货方案，在图5所示实施例的优点的基础上，还能够允许和识别用户放回货品的行为，并仅对未放回货架的货品进行自动结算，提升了自动结算的准确性，提升了用户的购物体验。

图7为本公开自动售货方法一些实施例的流程示意图。

如图7所示，该实施例的自动售货方法包括：步骤710-730。

在步骤710，内置摄像头14拍摄自动贩售机内的视频监控图像，通过工控机12传送至自动售货装置20。

在步骤720，自动售货装置20根据自动贩售机内的视频监控图像，检测自动贩售机的货架上的货品摆放是否规则，在不规则时发出提示，提醒理货员将货品摆放规则(步骤730)。

在一些实施例中，自动售货装置20将自动贩售机内当前摆放的货品图像与自动贩售机内补货完成时初始摆放的货品图像进行比较，如果当前摆放的货架上的单个货品图像与初始摆放的该货架上的单个货品图像的差距超过预设范围，则判定该货架上的货品摆放不规则，例如，可能出现了货品正面未外露，货品倾斜或倾倒，甚至是货品未摆放在规定货架上等情况。

上述实施例提出了一种具有自动理货功能的自助售货方案。

图8为本公开自动售货方法一些实施例的流程示意图。

如图8所示，该实施例的自动售货方法包括：步骤810-830。

在步骤810，检测到补货员打开自动贩售机10的柜门的操作。

在一些实施例中，可以通过不同的身份信息，区分补货员与普通用户。

在步骤820，根据重力传感器13感知的货架的重量变化信息以及货架对应摆放的单个货品的重量，自动确定补充货品的数量。

在直接补货的应用场景中，货架对应摆放的货品没有发生变化，补货员将货品放置在原货架上，根据之前记录的货架对应摆放的单个货品的重量，可以自动确定补充货品的数量。

在更换货品的应用场景中，货架对应摆放的货品发了变化，补货员将货架上的原货品取出，并放置其他货品，根据单个的该其他货品的重量，可以自动确定补充货品的数量。

在步骤830，检测到自动贩售机10的柜门关闭后，自动记录或上报补充货品的数量。

在一些实施例中，如果重力传感器13具有数字变换功能，可以由重力传感器13自动确定补充货品的数量，并上报给自动售货装置20。如果重力传感器13不具有数字变换功能，重力传感器13可以将感知的货架的重量变化信息上报给自动售货装置20，自动售货装置20根据货架的重量变化信息以及货架对应摆放的单个货品的重量，自动确定补充货品的数量。两种方式均不需要补货员人工上报补货数量。

上述实施例提出了一种具有自助补货功能的自助售货方案，可以自动获取补货数量信息。

图9为本公开自动售货方法一些实施例的流程示意图。

如图9所示，该实施例的自动售货方法包括：步骤910-940。

在步骤910，在没有用户靠近自动贩售机10时，自动贩售机10通过触摸屏17播放自动售货装置20预先定义的推荐信息，例如广告。

在步骤920，用户选择通过扫描二维码或人脸识别的方式打开自动贩售机的柜门，自动售货装置20检测用户打开自动贩售机10的柜门的操作，并在柜门打开过程中获取用户的身份信息。

在步骤930，如果识别到用户的身份信息，根据用户的身份信息对应的购物行为信息为用户进行信息推荐，推荐信息通过触摸屏17播放。

在步骤940，如果未识别到用户的身份信息，根据人脸识别技术识别用户的性别和年龄中的至少一项，对用户进行画像，根据识别的用户的性别和年龄中的至少一项为用户进行信息推荐，推荐信息通过触摸屏17播放。

上述实施例提出了一种具有信息精准推送功能的自助售货方案，可以根据用户的购物行为、性别和年龄等信息相应的推送用户可能关注的信息，使得信息投放地更加精准。

本公开的一些实施例还提出一种自动售货装置，包括：执行前述任一个实施例的自动售货方法的模块。图10为本公开自动售货装置一些实施例的结构示意图。

如图10所示，自动售货装置，包括：

检测模块1010，用于检测到用户打开自动贩售机的柜门的操作；

判断模块1020，用于判断自动贩售机的货架上摆放的是否为预设货品；

确定模块1030，用于在自动贩售机的货架上摆放的是预设货品的情况下，根据货架的重量变化信息确定用户欲购买的货品信息；在自动贩售机的货架上摆放有非预设货品的情况下，根据自动贩售机内的视频监控图像确定用户欲购买的货品信息；

结算模块1040，用于检测到自动贩售机的柜门关闭后，自动对用户欲购买的货品信息进行结算。

在一些实施例中，判断模块1020，用于将自动贩售机内当前摆放的货品图像与自动贩售机内补货完成时初始摆放的货品图像进行比较，如果当前摆放的货架上的货品与初始摆放的该货架上的货品的种类不一致，则判定自动贩售机的该货架上摆放有非预设货品。

在一些实施例中，判断模块1020，用于将自动贩售机内当前摆放的货架上的单个货品的重量与自动贩售机内补货完成时初始摆放的该货架上的单个货品的重量进行比较，如果重量不一致，则判定自动贩售机的该货架上摆放有非预设货品。

在一些实施例中，确定模块1030，包括第一确定单元，用于根据货架的重量变化信息确定用户欲购买的货品信息包括：

根据重力传感器感知的重量变化信息以及重力传感器对应的货架信息，确定发生重量变化的货架及其重量变化信息；

根据发生重量变化的货架的重量变化信息，结合发生重量变化的货架承载的货品和单个货品的重量，确定用户购买的货品以及货品的数量。

在一些实施例中，确定模块1030，包括第二确定单元，用于根据自动贩售机内的视频监控图像确定用户欲购买的货品信息包括：

从自动贩售机内的视频监控图像中定位用户欲购买的货品的图像；

根据预先建立的货品特征库，识别用户欲购买的货品的图像对应的货品信息。

在一些实施例中，定位用户欲购买的货品的图像包括：将自动贩售机内的视频监控图像输入货品定位模型，货品定位模型输出用户欲购买的货品的图像，货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。

在一些实施例中，识别用户欲购买的货品的图像对应的货品信息包括：将用户欲购买的货品的图像输入货品识别模型，货品识别模型输出用户欲购买的货品的图像对应的货品特征，货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到，将货品识别模型输出的货品特征与货品特征库中的货品特征进行匹配，并将匹配到的货品特征库中的货品特征对应的货品分类的标注信息作为用户欲购买的货品的图像对应的货品信息。

在一些实施例中，判断模块1020，还用于在检测到自动贩售机的柜门关闭前，根据重力传感器感知的货架减少的重量信息和增加的重量信息以及货架在补货完成时初始摆放的单个货品的重量，确定用户是否将欲购买的货品放回原始货架，在未放回原始货架时发出提示，在已放回原始货架后，对该放回的货品不进行结算。

在一些实施例中，还包括：理货模块1050，用于根据自动贩售机内的视频监控图像，检测自动贩售机的货架上的货品摆放是否规则，在不规则时发出提示。

在一些实施例中，还包括：补货模块1060，用于检测到补货员打开自动贩售机的柜门的操作；根据重力传感器感知的货架的重量变化信息以及货架对应摆放的单个货品的重量，确定补充货品的数量；检测到自动贩售机的柜门关闭后，自动记录或上报补充货品的数量。

在一些实施例中，还包括：信息推荐模块1070，用于如果识别到用户的身份信息，根据用户的身份信息对应的购物行为信息为用户进行信息推荐；如果未识别到用户的身份信息，根据人脸识别技术识别用户的性别和年龄中的至少一项，根据识别的用户的性别和年龄中的至少一项为用户进行信息推荐。

图11为本公开自动售货装置一些实施例的结构示意图。

如图11所示，该实施例的装置1100包括：存储器1110以及耦接至该存储器1110的处理器1120，处理器1120被配置为基于存储在存储器1110中的指令，执行前述任意一个实施例中的自动售货方法。

其中，存储器1110例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

装置1100还可以包括输入输出接口1130、网络接口1140、存储接口1150等。这些接口1130，1140，1150以及存储器1110和处理器1120之间例如可以通过总线1160连接。其中，输入输出接口1130为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口1140为各种联网设备提供连接接口。存储接口1150为SD卡、U盘等外置存储设备提供连接接口。

本公开还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一个实施例中的自动售货方法。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (17)

1.一种自动售货方法，包括：

检测到用户打开自动贩售机的柜门的操作；

判断所述自动贩售机的货架上摆放的是否为预设货品；

在所述自动贩售机的货架上摆放的是预设货品的情况下，根据货架的重量变化信息确定所述用户欲购买的货品信息；

在所述自动贩售机的货架上摆放有非预设货品的情况下，根据所述自动贩售机内的视频监控图像确定所述用户欲购买的货品信息；

检测到所述自动贩售机的柜门关闭后，自动对所述用户欲购买的货品信息进行结算。

2.如权利要求1所述的方法，其中，判断所述自动贩售机的货架上摆放的是否为预设货品包括：

将所述自动贩售机内当前摆放的货品图像与所述自动贩售机内补货完成时初始摆放的货品图像进行比较，如果当前摆放的货架上的货品与初始摆放的该货架上的货品的种类不一致，则判定所述自动贩售机的该货架上摆放有非预设货品。

3.如权利要求1所述的方法，其中，判断所述自动贩售机的货架上摆放的是否为预设货品包括：

将所述自动贩售机内当前摆放的货架上的单个货品的重量与所述自动贩售机内补货完成时初始摆放的该货架上的单个货品的重量进行比较，如果重量不一致，则判定所述自动贩售机的该货架上摆放有非预设货品。

4.如权利要求1-3任一项所述的方法，其中，根据货架的重量变化信息确定所述用户欲购买的货品信息包括：

根据重力传感器感知的重量变化信息以及所述重力传感器对应的货架信息，确定发生重量变化的货架及其重量变化信息；

根据发生重量变化的货架的重量变化信息，结合发生重量变化的货架承载的货品和单个货品的重量，确定所述用户购买的货品以及货品的数量。

5.如权利要求1-3任一项所述的方法，其中，根据所述自动贩售机内的视频监控图像确定所述用户欲购买的货品信息包括：

从所述自动贩售机内的视频监控图像中定位所述用户欲购买的货品的图像；

根据预先建立的货品特征库，识别所述用户欲购买的货品的图像对应的货品信息。

6.如权利要求5所述的方法，其中，

定位所述用户欲购买的货品的图像包括：将所述自动贩售机内的视频监控图像输入货品定位模型，所述货品定位模型输出所述用户欲购买的货品的图像，所述货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到；

或者，

识别所述用户欲购买的货品的图像对应的货品信息包括：将所述用户欲购买的货品的图像输入货品识别模型，所述货品识别模型输出所述用户欲购买的货品的图像对应的货品特征，所述货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到，将所述货品识别模型输出的货品特征与所述货品特征库中的货品特征进行匹配，并将匹配到的所述货品特征库中的货品特征对应的货品分类的标注信息作为所述用户欲购买的货品的图像对应的货品信息。

7.如权利要求1所述的方法，还包括：

在检测到所述自动贩售机的柜门关闭前，根据重力传感器感知的货架减少的重量信息和增加的重量信息以及货架在补货完成时初始摆放的单个货品的重量，确定所述用户是否将欲购买的货品放回原始货架，在未放回原始货架时发出提示，在已放回原始货架后，对该放回的货品不进行结算。

8.如权利要求1所述的方法，还包括：

根据所述自动贩售机内的视频监控图像，检测所述自动贩售机的货架上的货品摆放是否规则，在不规则时发出提示。

9.如权利要求1所述的方法，还包括：

检测到补货员打开自动贩售机的柜门的操作；

根据重力传感器感知的货架的重量变化信息以及货架对应摆放的单个货品的重量，确定补充货品的数量；

检测到所述自动贩售机的柜门关闭后，自动记录或上报补充货品的数量。

10.如权利要求1所述的方法，还包括：

如果识别到所述用户的身份信息，根据所述用户的身份信息对应的购物行为信息为所述用户进行信息推荐；

如果未识别到所述用户的身份信息，根据人脸识别技术识别所述用户的性别和年龄中的至少一项，根据识别的所述用户的性别和年龄中的至少一项为所述用户进行信息推荐。

11.一种自动售货装置，包括：

执行权利要求1-10中任一项所述的自动售货方法的模块。

12.一种自动售货装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-10中任一项所述的自动售货方法。

13.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-10中任一项所述的自动售货方法。

14.一种自动贩售机，包括：

工控机；

重力传感器，设置于所述自动贩售机的每层货架的下表面；

内置摄像头，设置于每层货架对应的所述自动贩售机的侧面内壁，拍摄方向对准货架区域；

电磁锁，设置于所述自动贩售机的柜门处，能够打开或关闭所述柜门；

其中，所述工控机与所述重力传感器、所述内置摄像头、所述电磁锁分别电连接，所述工控机在用户身份被有效识别的情况下，向所述电磁锁发出指令打开所述柜门，并将所述重力传感器感知的货架的重量变化信息和所述内置摄像头拍摄的视频监控图像传送至后台的自动售货装置，以供所述自动售货装置确定所述用户欲购买的货品信息，并将所述柜门关闭的信息传送至所述自动售货装置，以触发所述自动售货装置自动对所述用户欲购买的货品信息进行结算。

15.如权利要求14所述的自动贩售机，其中，

所述内置摄像头在相邻两层货架对应的所述自动贩售机的两侧面内壁交错设置；

或者，所述重力传感器包括重力敏感元件；或者，所述重力传感器包括重力敏感元件和数字变换元件，所述重力敏感元件与所述数字变换元件电连接；所述重力敏感元件用于感知货架承载货品的重量信息；所述数字变换元件用于将货品的重量信息变换为货品的数量信息。

16.如权利要求14所述的自动贩售机，还包括：

外置摄像头和触摸屏中的至少一个；

所述外置摄像头，用于拍摄用户的面部图像，并传送至所述自动售货装置，以供所述自动售货装置识别所述用户的身份；

所述触摸屏，用于展示所述自动售货装置定义的内容。

17.一种自动售货系统，包括：权利要求14-16任一项所述的自动贩售机和权利要求11-12任一项所述的自动售货装置。