CN107730168A - 一种基于图像识别的自动售货机自动库存管理系统及方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的自动售货机自动库存管理系统及方法。该系统包括分布在不同售卖位置的多台自动售货机，每个自动售货机的前方设有能拍到所有货道最外端货位上商品的摄像装置；每个售卖位置的自动售货机和摄像装置设有一本地控制系统，各本地控制系统通过因特网连接云端服务系统；自动售货机上设有红外人体感应器，该红外人体感应器与本地控制系统相连；当红外人体感应器检测到补货员或者消费者不在指定区域时，摄像装置抓拍一自动售货机的前外端货品的有效图像。该有效图像被识别后作为自动售货机的最新库存。本发明可大大增加可售商品的种类，且实现了面向消费者的全自动库存智能识别与感知。

Description

一种基于图像识别的自动售货机自动库存管理系统及方法

技术领域

本发明涉及自动售货机，特别是一种基于图像识别的自动售货机自动库存管理系统及方法。

背景技术

自动售货机购物已成为新零售的一种发展趋势。当前，自动售货机货柜大都使用正面可视玻璃贮存方式，用户所见即所得，已广为消费者接受。

自动售货机货柜由多个货架组成，每个货架又由多个货道组成，货道常见的货物传递方式有弹簧旋转传送方式和传送带传送方式。因此，无论哪种方式，货道最外侧货物绝大部分可被清晰可见，可进行有效的图像识别。

现有自动售货机的售卖方式主要有：

(1)传统的自动售货机购买方式是：顾客在自动售货机的键盘上选择某个特定货道(如A1，即第一个货架的第一个货道)，再选择现金或非现金方式进行支付，特定货道出货，即所谓的货道驱动的商品购买方式.

(2)另一种是所谓的商品驱动购买方式，即在自动售货机控制柜上有一个触摸屏，触摸屏上展示了可选商品的图片，顾客点击图片选择支付方式，售货机售出特定图片所对应的商品。

(3)一种新颖的方式是：消费者在自己手机上运行与自动售货机运营商相关的售货APP，售货APP展示特定位置的自动售货机，因此点击对应位置的自动售货机图片，即可显示指定售货机里可售出商品图片或货道选择，消费者可以按(1)货道驱动的方式选货，也可点击商品图片按(2)商品驱动的方式选货。选完货之后。即可选择支付方式，支付成功即可出货。

由上可知，上述三种购买方法综合得到两种购买方式(货道驱动型和商品驱动型)，无论是货道驱动购买方式，还是商品驱动购买方式，都需要事先知道自动售货机里面的库存信息：即哪个货道有哪种商品可以销售。否则，用户就会遭受损失。比如在货道驱动购买方式中，如果用户不小心选择了一个空货道，则用户会支付了款项但得不到商品。但是，如何确定自动售货机里有可购买的商品呢？如何确定哪些可用商品分别在哪些货道上呢？

传统补货时，补货员须严格按照同一货道摆放同一种商品的固定方式，因为同一货道商品的价格必须保持一致，并且只有同一货道摆放同一商品才有可能进行库存统计。

传统库存统计的办法是：用人工通过自动售货机键盘或自动售货机触摸屏依次输入的方式来确定自动售货机特定货架特定货道特定商品的个数。以一台自动售货柜60个货道计算，为准确录入，补货员需要通过键盘或触摸屏和机器进行近200次的交互。而且，补货员补完货之后，需要凭记忆记住哪个货道补了几个货，一旦记错了，补货信息就不对了。当然，补货员也可以补完一个货道就录入一次，但这样虽然减少了录入错误，却会导致更低的补货效率，更长的单机补货时间，并且，由于大部分货柜都是冷柜，长时间开门补货会大大导致制冷量的损失，能耗很大。另外，由于每位补货员要管理分散在不同地点的多台自动售货机的运营和补货，首先人工补货人工录入库存的方式占去大量时间，并且容易出错，此外，传统的补货与录入方式，要求同一商品摆放在同一货道，这一方面减少了可售商品的种类，另一方面，要求补货员不能混补，增加了人工分类的难度，因而延长了补货时间。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种能提高可售商品种类，且库存录入简单的基于图像识别的自动售货机自动库存管理系统及方法。

为解决上述技术问题，本发明提供了一种基于图像识别的自动售货机自动库存管理系统，包括分布在不同售卖位置的多台自动售货机，各自动售货机采用透明面板储物柜，且透明面板储物柜内有多个货架，每个货架有多个货道，每个货道有多个货位，每个货道采用弹簧螺旋出货或者传送带出货，其中：

每个自动售货机的前方设有能拍到所有货道最外端货位上商品的摄像装置；

每个售卖位置的自动售货机和摄像装置设有一本地控制系统，各自动售货机的本地控制系统通过有线或无线网络连接到带有云端服务器的云端服务系统；

每个自动售货机的门体上设有红外人体感应器，该红外人体感应器与本地控制系统相连，用于检测是否有人体在自动售货机的指定区域；

每当补货员补完货后，或者每当消费者购物后，自动售货机的本地控制系统读取红外人体传感器的信息，当红外人体感应器检测到指定区域没有人体时，本地控制系统或云端服务系统指挥摄像装置抓拍一幅对应自动售货机的所有货道最外端货位上商品未被遮挡的有效图像；该有效图像经本地控制系统或云端服务系统进行图像识别后作为对应自动售货机的最新库存。

上述方案中，所述货道的多个货位上可摆放多个相同或不相同的商品，使补货时更为简单、快速，同时，可增加可售商品种类。

为解决上述技术问题，本发明还提供了一种基于图像识别的自动售货机自动库存管理方法，其包括下列步骤：

(1)当自动售货机上电启动后，或当自动售货机补货完毕，或自动售货机进行一次售卖后，本地控制系统通过红外人体感应器感知在指定区域内是否有人存在，如果没有人，本地控制系统或云端服务系统指挥摄像装置拍摄一张能用于识别自动售货机所有货道最外端所有商品的有效图像；

(2)摄像装置拍摄一张有效图像后，该有效图像被传送到本地控制系统或云端服务系统进行图像识别；

(3)按货架以及货道将有效图像分割为多个货道图片；

(4)将分割出的多个货道图片分别与存储在本地控制系统或云端服务系统中的样品数据库进行相似度识别，每幅货道图片的识别结果用二维数组表示，二维数组的行代表货架编号，列代表货道编号，元素值代表货道无货或具体的商品名对应的商品编号，该二维数组被储存在云端服务系统中与该有效图像对应自动售货机相对应的数据库里面，同时该二维数组被传送且存储到与有效图像对应自动售货机的本地控制系统的本地数据库中，作为自动售货机的最新库存被保存在本地，并作为下一次消费者购买的依据。

上述基于图像识别的自动售货机自动库存管理方法中，所述样品数据库中存储自动售货机内预定摆放的商品图集、商品编号和商品价格。所述样品数据库中的商品图集为每种商品按垂直方向拍摄的多个方位照片集。所述多个方位照片集至少包括垂直方向的商品正面和反面图片各一张。

上述基于图像识别的自动售货机自动库存管理方法中，所述自动售货机中的商品按垂直方向摆放，且每一货道可摆放同一种和不同种类的多个商品。

上述基于图像识别的自动售货机自动库存管理方法中，所述图像识别方法的步骤为：

将预定销售商品的商品图集、商品编号及商品价格关联存储在本地控制系统或云端服务系统的样品数据库中；

将预定销售商品垂直摆放在自动售货机中；

摄像装置拍摄自动售货机的一幅有效图像后，该有效图像传送到本地控制系统或云端服务系统；

该有效图像被按货架进行分割并被标注；

每个被分割出的货架图片按自左至右的顺序按货道被分割识别为多个货道图片并被标注，使每一货道图片具有一货架编号和一货道编号；

每个被分割出的货道图片与样品数据库里面的商品图集进行相似度分析，相似度最高的那个商品图集对应的商品编号被识别并被标注为货道图片的商品编号。

本发明基于图像识别的自动售货机自动库存管理系统及方法受国家自然科学基金项目61272147支持，其只需运营员把预定销售商品按垂直方向摆放到货道上，摆放时可以把同一种商品摆在同一个货道，也可以混摆(同一货道摆放不同的货物)，补货完成之后无需手工输入库存信息，而是由本地控制系统或云端服务系统指令摄像装置拍摄一幅自动售货机货道最外端商品的有效图像，并由本地控制系统或云端服务系统与样品数据库中的商品图集进行比较进行图像识别，进而识别出自动售货机的最外端各货位上的商品编号及该商品编号在样品数据库里对应的商品价格，并作为该自动售货机的最新库存信息。这样，既保证了顾客在购买货物之前所选的货物是确实存在的，又大大减少了运营员单机补货时间，提高了效率，也改善了顾客服务质量，同时，也增加了可能销售货物的种类(因为同一货道可以摆放不仅一种商品了)。

本发明的优点在于：

1：从补货的角度看，运营商可以随意摆放商品的种类，也无须设置对应货道商品的价格，因为样品数据库中每个商品编号与其对应商品的商品价格是相关联的，故每个货道的每个货位的商品价格会在商品被识别后自动更新，而不必象传统补货方法那样，同一货道必须摆放同一种商品；

2：从销售商品的种类来看，本发明可大大增加可售商品的种类，因为同一货道没有必要如传统自动售货机一样摆放同一种商品，而可以摆放多种不同的商品。

3：从补货录入方式看，彻底把运营商从繁重、费时、容易出错的传统的手工补货录入方式中解脱出来，实现了面向消费者的全自动库存智能识别与感知。运营商只需补完货物，关上大门，即可离开，无需任何操作。

附图说明

图1为本发明基于图像识别的自动售货机自动库存管理系统硬件架构图。

图2是本发明基于图像识别的自动售货机自动库存管理系统的一应用实例图。

具体实施方式

如图1、图2所示，本发明基于图像识别的自动售货机自动库存管理系统包括以下五个部分：

1、分布在不同售卖位置的多台自动售货机

各自动售货机采用透明面板储物柜，且透明面板储物柜内自上至下有多个货架，每个货架自左至右有多个货道，每个货道自里至外有多个货位，每个货道有多个相同的或不相同的货物，且每个货道采用弹簧螺旋出货或者传送带出货方式或者其他任何出货方式，该种出货方式使得货道最外端商品的图像可被识别。。

2：摄像装置(摄像头或照相机)

安装于每个自动售货机前方的合适位置，使得摄像装置的镜头可以拍到所有货道最外端货位上的商品。

3：本地控制系统

每个售卖位置的自动售货机和摄像装置设有一本地控制系统，并通过该本地控制系统进行控制联动。该本地控制系统可单独设置，也可设在自动售货机内(摄像装置直接连到自动售货机的本地控制系统，也可以通过网络在云端服务系统与对应的自动售货机相关联)。

4：云端服务系统

各自动售货机的本地控制系统通过有线或无线网络连接到有云端服务器的云端服务系统，或者各自动售货机和摄像装置分别通过网络连接至云端服务系统，云端服务系统事前把两者关联起来作为一个有机整体)。

5：红外人体感应器

安装在各自动售货机的门体合适位置，该红外人体感应器与本地控制系统相连，用于检测是否有消费者或补货员在自动售货机的指定区域；

当红外人体感应器检测到人体不在指定区域时，本地控制系统或云端服务系统指挥摄像装置抓拍一幅对应自动售货机的所有货道最外端货位上商品未被遮挡的有效图像。

本发明基于图像识别的自动售货机自动库存管理方法包括下列步骤：

(1)将预定销售商品的商品图集、商品编码及商品价格关联存储在本地控制系统或云端服务系统的样品数据库中，并将预定销售商品垂直摆放在自动售货机的货位中。各商品的商品图集为该商品按垂直方向拍摄的多个方位(姿态)照片集。多个方位(姿态)照片集至少包括按垂直方向拍摄的该商品正面图片和反面图片各一张，以便运营商在给自动售货机补货时，只需按垂直方向摆放而不必严格按照某个固定方位摆货。另外，鉴于同一自动售货机摆放商品的种类有限且数量不太大(一般最多为几十种)，所以样品数据库是已知的且数量有限的，这样避免了海量商品图片的比较识别，从而可以提高识别率与缩短识别时间。

本实施例中，自动售货柜自上而下有6个货架，每个货架有10个货道，每个货道可放8个商品，商品可以混摆，则一个售货柜存放货物的最大数量为6*10*8＝480个，存放货物的最大种类也为480种(每种一个)，消费者每次可售商品的最大种类为60种，即自动售货柜每单次售卖可用库存(货道总数)的最大种类为从60种单品(如果每种都不一样，每个都为单品)，到最小种类为1种单品(各货道放同一种单品)，该种单品数有60个(一种单品)。不失一般性，基于6货架、10货道、8货道容量的配置，在此以存放商品总数480个商品，总品种数为120种，每种商品数量为4个，每个货道可以任意摆最少一种商品(单品8个)到最多8种商品(每种一个)为实例进行阐述。一自动售货机的所有货架自顶向下依次编号为A,B,C,D.E，F，每个货架的货道自左至右依次编号为1，2，3，4，5，6，……，10。

(2)当自动售货机上电启动后，或当自动售货机补货完毕，或自动售货机每进行一次售卖后，本地控制系统通过红外人体感应器感知在指定区域内是否有人存在，如果没有人，本地控制系统或云端服务系统指挥摄像装置拍摄一张能用于识别自动售货机所有货道最外端所有商品的有效图像(所谓有效图像，是指该图像拍到的货道图片，没有被自动售货机外其他物体遮挡，可以用于识别摆在自动售货机所有货道最外端的商品)。

(3)摄像装置拍摄一张有效图像后，该有效图像被传送到本地控制系统或云端服务系统准备进行图像识别，优选传送到云端服务系统准备进行图像识别。

(4)按货架以及货道将有效图像分割为多个货道图片：先将有效图像按货架分割为货架图片并分别标注为A,B,C,D.E，F；然后将每幅被分割出的货架图片按自左至右的顺序分别按货道分割识别为多个货道图片并标注为A1，A2,...,A10；至F1，F2，...，F10，使每一货道图片具有一货架编号和一货道编号。

(4)将分割出的多个货道图片分别与存储在本地控制系统或云端服务系统中的样品数据库比较进行相似度识别，并将样品数据库中相似度最高的那个商品图集所代表的商品名所对应的的商品编号及其关联的商品价格作为货道图片所示商品的商品编号及商品价格。每幅货道图片的识别结果用二维数组表示，二维数组的行代表货架编号，列代表货道编号，元素值代表货道无货或具体的商品编号，有货时是商品对应的商品编号，无货则标记为0，该二维数组被储存在云端服务系统中与该有效图像对应自动售货机相对应的数据库里面，同时该二维数组被传送且存储到与有效图像对应自动售货机的本地控制系统的本地数据库中，作为自动售货机的最新库存被保存在本地，并作为下一次消费者购买的依据。

本实施例中，每张货道图片最多需要与样品数据库中的商品图集总数120*2＝240张图片(120种商品，各商品正面和反面各一张图片)进行相似度分析，120种商品被依次编号为001,002,003，。。。120(该商品编号与商品名关联，如商品编号001为可乐，002为牛奶等等，商品编号也与该商品的销售价格相关联)，240张图片中相似度最高的那个商品编号(或相似度高于某个阀值的那个商品编号)被识别并被标注。每次最多60张待识别货道图片，所以每幅货道图片相似度识别数量最大次数为60*240＝1440副。

每次补货完毕后，需要识别所有的货架上所有货道最外端的商品，但每次消费者购物后，可以根据需要，只需要识别特定货架特定货道最外端的商品，(当然也可以全部重新都识别一遍)，因为自动售货机控制系统知道刚刚进行完毕的那次销售是哪个货架的哪个货道，这样就可以大大减少每次售卖后的识别时间。

每幅货道图片的相似度识别可以采用目前成熟的任何一种静态图像相似度识别的方法(如深度学习DP，支持向量机SVM，主成分分析法PCA等等，识别前图像需要经过传统的预处理)，且图像识别优先在云端服务系统进行。由于是在云端服务系统识别，如果计算量大，或者由于同时有多台自动售货机都往云端服务系统传送请求识别时，可以采用多台云端服务器，分布式多线程并行计算，1440副图像可同时并行识别，以最大限度满足实时计算的需要。

每幅货道图片的识别结果用一个6行*10列的二维数组表示，行自上至下代表货架编号(A,B,C,...)，列自左至右代表货道编号(1，2，3，...，10)，元素可选的值为000,001,002，...，120，其中000表示该货道无货，001代表该货道有一个库存为可乐，002表示该货道有一个库存为牛奶等等。该二维数组被储存在云端服务系统中与该自动售货机相对应的库存数据库里面，同时该二维数组被远程传送到实际被拍照的自动售货机本地控制系统，作为该自动售货机的最新库存被保存在本地，另外，该二维数组对应商品的销售价格也可动态由云端服务系统下载到自动售货机终端，或者在自动售货机终端里面事先根据商品编码被设定。

(1)每一次消费者购买完毕之后，自动售货机把该售货事件汇报给本地控制系统或云端服务系统，本地控制系统或云端服务系统通过红外人体感应器检测到消费者离开之后(以便消费者没有遮挡拍照区域)，即命令摄像装置抓拍下一幅有效图像，再把该有效图像传送到本地控制系统或云端服务系统，以供识别后决定下一次可供消费者选择的新的库存(包括更新对应商品的商品编码、商品图集以及商品价格，以便在自动售货机显示屏上显示，或者在消费者移动终端如手机app上显示)。

Claims (8)

1.一种基于图像识别的自动售货机自动库存管理系统，包括分布在不同售卖位置的多台自动售货机，各自动售货机采用透明面板储物柜，且透明面板储物柜内有多个货架，每个货架有多个货道，每个货道有多个货位，每个货道采用弹簧螺旋出货或者传送带出货，其特征在于，

每个自动售货机的前方设有能拍到所有货道最外端货位上商品的摄像装置；

每个售卖位置的自动售货机和摄像装置设有一本地控制系统，各自动售货机的本地控制系统通过有线或无线网络连接到带有云端服务器的云端服务系统；

每个自动售货机的门体上设有红外人体感应器，该红外人体感应器与本地控制系统，用于检测是否有人体在自动售货机的指定区域；

当红外人体感应器检测到人体不在指定区域时，本地控制系统或云端服务系统指挥摄像装置抓拍一幅对应自动售货机的所有货道最外端货位上商品未被遮挡的有效图像；该有效图像经本地控制系统或云端服务系统进行图像识别后作为对应自动售货机的最新库存。

2.根据权利要求1所述的一种基于图像识别的自动售货机自动库存管理系统，其特征在于，同一所述货道的多个货位上摆放多个相同商品或多个不相同的商品。

3.一种权利要求1－2中任一项所述基于图像识别的自动售货机自动库存管理系统的自动库存管理方法，其特征在于包括下列步骤：

(1)当自动售货机上电启动后，或当自动售货机被补货完毕，或自动售货机每进行一次售卖后，本地控制系统通过红外人体感应器感知在指定区域内是否有人存在，如果没有人，本地控制系统或云端服务系统指挥摄像装置拍摄一张能用于识别自动售货机所有货道最外端所有商品的有效图像；

(2)摄像装置拍摄一张有效图像后，该有效图像被传送到本地控制系统或云端服务系统进行图像识别；

(3)按货架以及货道将有效图像分割为多个货道图片；

(4)将分割出的多个货道图片分别与存储在本地控制系统或云端服务系统中的样品数据库进行相似度识别，每幅货道图片的识别结果用二维数组表示，二维数组的行代表货架编号，列代表货道编号，元素值代表货道无货或具体的商品名对应的商品编号，该二维数组被储存在云端服务系统中与该有效图像对应自动售货机相对应的数据库里面，同时该二维数组被传送且存储到与有效图像对应自动售货机的本地控制系统的本地数据库中，作为自动售货机的最新库存被保存在本地，并作为下一次消费者购买的依据。

4.根据权利要求3所述的一种基于图像识别的自动售货机自动库存管理方法，其特征在于，所述样品数据库中存储自动售货机内预定摆放的商品图集，且同一种商品的图集对应着同一个所述商品编号，所述商品编号对应的商品价格。

5.根据权利要求4所述的一种基于图像识别的自动售货机自动库存管理方法，其特征在于，所述样品数据库中的商品图集为每种商品按垂直方向拍摄的多个方位照片集。

6.根据权利要求5所述的一种基于图像识别的自动售货机自动库存管理方法，其特征在于，所述多个方位照片集包括垂直方向摆放的商品正面和反面图片各一张。

7.根据权利要求3所述的一种基于图像识别的自动售货机自动库存管理方法，其特征在于，所述自动售货机中的商品按垂直方向摆放，且每一货道摆放一种或多种商品。

8.根据权利要求3所述的一种基于图像识别的自动售货机自动库存管理方法，其特征在于，所述图像识别方法的步骤为：

将预定销售商品的商品图集、商品编号及商品价格关联存储在本地控制系统或云端服务系统的样品数据库中；

将预定销售商品垂直摆放在自动售货机中；

摄像装置拍摄自动售货机的一幅有效图像后，该有效图像传送到本地控制系统或云端服务系统；

该有效图像被按货架进行分割并被标注；

每个被分割出的货架图片按自左至右的顺序按货道被分割识别为多个货道图片并被标注，使每一货道图片具有一货架编号和一货道编号；

每个被分割出的货道图片与样品数据库里面的商品图集进行相似度分析，相似度最高的那个商品图集被识别并被标注为货道图片的商品编号。