CN109712324A - 一种自动售货机图像识别方法、售货方法及自动售货设备 - Google Patents

Abstract

本发明公开了一种自动售货机图像识别方法、售货方法及自动售货设备，包括以下步骤：通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测；根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别；从初步判别后的图片中识别出每个物品的位置信息以及物品信息；对每个已经识别出存放物品的位置信息进行物品信息重新识别操作；确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作，通过机器学习算法将把准确率大幅度提升而不过度依赖更多的数据，提高识别准确率以及效率。

Description

一种自动售货机图像识别方法、售货方法及自动售货设备

技术领域

本发明涉及售货机领域，特别是一种自动售货机图像识别方法、售货方法及自动售货设备。

背景技术

在新零售浪潮下，各种各样无人售卖的新兴业态纷至沓来，以自助购物、即时享用、移动支付等为特征的无人售货机正越来越多地出现在人们身边，智能零售风口已至，无人售货机正迎来快速发展期。

“即拿即走”无人售货机作为一种新型商业零售形式，不受时间、地点限制，节省人力且方便交易，被称为24小时营业的微型超市。同时，“即拿即走”无人售货机具有技术含量高、销售方式新、市场潜力大、商品货真价实等特点，蕴含着广阔的发展前景。消费者的购物流程不再需要传统的售货员，消费者只需操作相应的智能零售终端，即拿即走，很快即可方便快捷地享用到所选物品，但是目前的图像识别技术不成熟，存在误检、漏检、错检等问题，使用户在购物体验上存在不好感知。

发明内容

为解决上述问题，本发明的目的在于提供一种自动售货机图像识别方法、售货方法及自动售货设备，已达到物品销售流程便捷准确的目的。

本发明解决其问题所采用的技术方案是：

第一方面，本发明提供了一种自动售货机图像识别的方法，包括以下步骤：

通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测，不同的摄像头安装角度，不同的安装位置，与玻璃框的位置也会有区别，为了适应这种区别，需要对玻璃框位置进行确认，使用位置筛选法，对处于玻璃门外的框直接判别无效，实时检测玻璃框分界线，判别出物品真实的存放区；

根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别，根据已录入的物品的尺寸信息对真实存放区中的图像进行物品与区域识别，得出不同位置信息的物品为同一物品的判定并消除无法放置物品的位置信息；

从初步判别后的图片中识别出每个物品的位置信息以及物品信息，对已识别出的物品进行深度学习，识别每个物品的位置信息，并对物品信息进行识别确认；

对每个已经识别出存放物品的位置信息进行物品信息重新识别操作，对已经提取的位置信息进行重识别，将识别操作从“图中哪里有个什么物品”变成“图中的这个区域中是什么物品”，将繁杂的识别步骤简化，大幅度提升物品的识别准确率；

确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作，在深度学习过程中，当识别结果的置信度低于设置的阈值，识别结果会被过滤，则会出现图片中存在的未识别的物品的情况，对该无法识别物品的位置信息根据已录入物品的尺寸信息选出最合适的位置信息，然后对该位置信息重新进行物品识别操作，确认该区域中的物品信息。

进一步，所述步骤通过摄像头对自动售货机中的玻璃框分界线进行实时检测表现为，使用随机森林算法和机器学习方式对玻璃框分界线进行实时检测，利用随机森林算法分类效果好，能处理高维特征，不容易产生过拟合，模型训练速度比较快，既能处理离散型数据，也能处理连续型数据，数据集无需规范化等优点，同时通过机器学习方式提高对玻璃框分界线的划分准确率以及判断效率，实现又快又好地判别出物品真实的存放区。

进一步，所述步骤根据物品的尺寸信息对图片中的物品以及区域进行初步判别表现为，使用模拟人类识别原理根据物品的尺寸信息对图片中的物品以及区域进行初步判别，使用模拟人类识别原理将图片像素看成是大脑神经元，在外界输入的刺激下，通过循环迭代的方式发放脉冲，模拟人脑视觉皮层的工作方式，对图片中的图像信息进行分割的过程中，引入了最大方差比准则对分割过程进行判定，寻找最佳分割点，有效根据物品的尺寸信息与图片进行比对，准确消除同一尺寸判定同一重复物品的情况以及消除无法放置物品的位置信息。

进一步，所述步骤从初步判别后的图片中识别出每个物品的位置信息以及物品信息表现为，使用目标识别技术的深度学习方法从初步判别后的图片中识别出每个物品的位置信息以及物品信息。

进一步，所述步骤确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，根据该位置信息重新识别分类操作表现为，利用背景建模算法直接确认图片中存在的未识别的物品位置信息。

第二方面，一种基于自动售货机图像识别方法的售货方法，包括以下步骤：

识别确认用户注册信息，在开门售货前，自动售货机确认购物用户的信息，确认是否为已注册登记的用户；

摄像头拍照获取开门前的所述自动售货机内的图片，通过所述的自动售货机图像识别方法确认开门前的物品情况，并发送开门信号；即确认用户信息已注册后，通过一种自动售货机图像识别的方法对开门前的物品库存情况进行快速准确的识别确认，然后打开门。

接收关门信号后，摄像头拍照获取关门后的所述自动售货机内的图片，通过所述的自动售货机图像识别方法确认关门后的物品情况；

接收关门信号后，摄像头自动拍摄获取关门后的自动售货机内的图片，通过一种自动售货机图像识别的方法对关门后自动售货机内的物品库存情况进行快速准确的识别确认。

上述两步骤中的一种自动售货机图像识别的方法包括以下步骤：通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测；根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别；从初步判别后的图片中识别出每个物品的位置信息以及物品信息；对每个已经识别出存放物品的位置信息进行物品信息重新识别操作；确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作。

将开门前的物品情况与关门后的物品情况进行对比，得出已售的物品；即将开门前通过一种自动售货机图像识别的方法确认后的售货机的物品库存情况以及关门后通过一种自动售货机图像识别的方法确认后的售货机的物品库存情况进行对比，物品在开门前以及关门后的差异则为已售的物品。

根据已售的物品的价格信息计算出待支付金额并显示。即根据上述步骤得出的已售的物品情况以及物品对应的价格信息，计算出待支付的金额，并向用户端进行显示。

进一步，所述步骤识别确认用户注册信息表现为：

检查扫描二维码的用户是否注册；

对于扫描的用户信息确认二维码的用户进行判断是否已经注册。

对于未注册用户，发送注册登记界面，注册或者绑定登记用户身份信息并签订自动结算扣款条款；

判断为未注册的用户，则发送用户注册登记界面到用户端，注册或者绑定需要购买物品的用户身份信息，同时要求客户同意签订自动结算扣款的条款。

对于已注册用户，直接读取已注册或者绑定登记用户身份信息，并自动登录。

判断为已注册的用户，直接读取已注册或者绑定登记用户身份信息并根据用户信息自动为用户进行登录。

第三方面，一种自动售货设备，包括以下模块:

物品存储模块，用于存储售货的物品以及开关门；所述物品存储模块包括智能锁模块、设备二维码、存物库以及用于开关的玻璃门，主要实现二维码展示、用户信息情况确认、存放售货的物品以及根据用户信息情况开闭锁等功能。

信息收集模块，用于拍摄物品存储模块中的物品的图片；所述信息收集模块包括摄像头以及传输网络模块，主要实现使用摄像头对货柜信息采集、货柜内货品图像采集以及相关数据上传等功能。

信息存储模块，用于实现用户数据存储、物品图像信息存储；所述信息存储模块包括存储器或云端服务器，主要实现用户数据存储与管理、货柜终端信息存储与管理、货柜终端内货品图像信息存储与管理等功能；

信息处理模块，用于对信息收集模块拍摄的图片进行分析、比较，准确计算已出售货物品的种类、数量以及对应的金额；所述信息处理模块包括后台处理机，主要实现算法模型的训练与优化、货柜终端内货品的识别与分析，具备对信息收集模块拍摄的图片进行分析、比较，准确计算已出售货物品的种类、数量以及对应的金额的功能。

支付模块，用于销售货品的支付结算，主要根据所述信息处理模块计算出的待支付金额向用户收取相应的金额。

第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的一种自动售货机图像识别的方法。

第五方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的一种自动售货机图像识别的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：

根据本发明提供的一种自动售货机图像识别的方法，包括以下步骤：通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测；根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别；从初步判别后的图片中识别出每个物品的位置信息以及物品信息；对每个已经识别出存放物品的位置信息进行物品信息重新识别操作；确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作，有效解决识别过程中出现误检、漏检、错检等问题，通过机器学习算法将把准确率大幅度提升而不过度依赖更多的数据，提高识别准确率以及效率。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1为本发明一个实施例所提供的一种自动售货机图像识别的方法的流程图；

图2为本发明一个实施例所提供的一种基于自动售货机图像识别方法的售货方法的流程图。

具体实施方式

目前，在新零售浪潮下，各种各样无人售卖的新兴业态纷至沓来，以自助购物、即时享用、移动支付等为特征的无人售货机正越来越多地出现在人们身边，智能零售风口已至，无人售货机正迎来快速发展期。

消费升级背景下，“新零售”成为了互联网行业，乃至整个社会中的热词。消费者对便利和快捷的追求也越来越强烈，从高成本超市到无人零售，零售业的变革和转型是历史性的必然。由此，也相应的带动了智能货柜行业的发展，市场上传统的自动售货机未来也预计将逐步被越来越“智慧”和“便利”的智能售货柜替代。

“即拿即走”无人售货机作为一种新型商业零售形式，不受时间、地点限制，节省人力且方便交易，被称为24小时营业的微型超市。同时，“即拿即走”无人售货机具有技术含量高、销售方式新、市场潜力大、商品货真价实等特点，蕴含着广阔的发展前景。消费者的购物流程不再需要传统的售货员，消费者只需操作相应的智能零售终端，即拿即走，很快即可方便快捷地享用到所选物品，但是目前的图像识别技术不成熟，存在误检、漏检、错检等问题，使用户在购物品验上存在不好感知。

基于上述情况，本发明公开提供了一种自动售货机图像识别的方法，包括以下步骤：通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测；根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别；从初步判别后的图片中识别出每个物品的位置信息以及物品信息；对每个已经识别出存放物品的位置信息进行物品信息重新识别操作；确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作，有效解决识别过程中出现误检、漏检、错检等问题，通过机器学习算法将把准确率大幅度提升而不过度依赖更多的数据，提高识别准确率以及效率。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

参照图1，本发明的一个实施例，提供了一种自动售货机图像识别的方法，包括以下步骤：

通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测，不同的摄像头安装角度，不同的安装位置，与玻璃框的位置也会有区别，为了适应这种区别，需要对玻璃框位置进行确认，使用位置筛选法，对处于玻璃门外的框直接判别无效，实时检测玻璃框分界线，判别出物品真实的存放区；

根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别，将物品的尺寸信息录入到信息存储模块中，然后根据已录入的物品的尺寸信息对真实存放区中的图像进行物品与区域识别，排除同一物品的重复识别，同时通过尺寸信息排除无法放置物品的位置信息；

从初步判别后的图片中识别出每个物品的位置信息以及物品信息，即对已识别出的物品进行深度学习，识别每个物品的位置信息，并对物品信息进行识别确认；

对每个已经识别出存放物品的位置信息进行物品信息重新识别操作，对已经提取的位置信息进行重识别，将识别操作从“图中哪里有个什么物品”变成“图中的这个区域中是什么物品”，将繁杂的识别步骤简化，大幅度提升物品的识别准确率；

确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作，在深度学习过程中，当识别结果的置信度低于设置的阈值，识别结果会被过滤，则会出现图片中存在的未识别的物品的情况，对该无法识别物品的位置信息根据已录入物品的尺寸信息选出最合适的位置信息，然后对该位置信息重新进行物品识别操作，确认该区域中的物品信息。

进一步地，基于上述实施例，本发明的另一实施例还提供一种自动售货机图像识别的方法，所述步骤通过摄像头对自动售货机中的玻璃框分界线进行实时检测表现为，使用随机森林算法和机器学习方式对玻璃框分界线进行实时检测，利用随机森林算法分类能力，将玻璃框外的区域与玻璃框内的区域进行区分，不容易产生过拟合，模型训练速度比较快，既能处理离散型数据，也能处理连续型数据，数据集无需规范化等优点，同时通过机器学习方式提高对玻璃框分界线的划分准确率以及判断效率，实现又快又好地判别出物品真实的玻璃框内的存放区。

所述随机森林算法的原理是一种有监督学习算法，创建了一个森林，并使它拥有某种方式随机性。所述森林是决策树的集成，主要用“bagging”方法训练，bagging方法，即bootstrap aggregating，采用的是随机有放回的选择训练数据然后构造分类器，最后组合学习到的模型来增加整体的效果。

随机森林建立了多个决策树，并将多个决策树合并在一起以获得更准确和稳定的预测。随机森林的优势在于既可用于分类，也可用于回归问题，这两类问题恰好构成了当前的机器学习系统所需要面对的。

随机森林分类器使用所有的决策树分类器以及bagging分类器的超参数来控制整体结构。与其先构建bagging分类器，并将其传递给决策树分类器，可以直接使用随机森林分类器类，对于决策树而言，更加方便和优化。

随机森林算法中树的增长会给模型带来额外的随机性，在随机森林中选择随机选择的特征来构建最佳分割。因此，在随机森林中，仅考虑用于分割节点的随机子集，甚至可以通过在每个特征上使用随机阈值来使树更加随机。

进一步地，基于上述实施例，本发明的另一实施例还提供一种自动售货机图像识别的方法，所述步骤根据物品的尺寸信息对图片中的物品以及区域进行初步判别表现为，使用模拟人类识别原理根据物品的尺寸信息对图片中的物品以及区域进行初步判别，使用模拟人类识别原理对物品的尺寸信息加入到判别依据中重新训练，使用模拟人类识别原理将图片像素看成是大脑神经元，在外界输入的刺激下，通过循环迭代的方式发放脉冲，模拟人脑视觉皮层的工作方式，对图片中的图像信息进行分割的过程中，引入了最大方差比准则对分割过程进行判定，寻找最佳分割点，有效根据物品的尺寸信息与图片进行比对，得出不同位置信息的物品为同一物品的判定并消除无法放置物品的位置信息。

模拟人类识别原理优选以脉冲耦合神经网络模型(PCNN)为代表的基于人类视觉机理的图像分割方法。该方法是模拟人类视觉机理的一种图像分割的方法，方法将图像像素看成是大脑神经元，在外界输入的刺激下，通过循环迭代的方式发放脉冲，模拟人脑视觉皮层的工作方式，在对图像进行分割的过程中，引入了最大方差比准则对分割过程进行判定，寻找最佳分割点，通过对直方图分别为单峰、双峰和多峰的图像进行分析处理得出不同位置信息的物品为同一物品的判定并消除无法放置物品的位置信息。

进一步地，基于上述实施例，本发明的另一实施例还提供一种自动售货机图像识别的方法，所述步骤从初步判别后的图片中识别出每个物品的位置信息以及物品信息表现为，使用目标识别技术的深度学习方法从初步判别后的图片中识别出每个物品的位置信息以及物品信息。

目标识别技术的深度学习方法的核心技术为卷积神经网络，所述卷积神经网络是人工神经网络的一种，卷积神经网络的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量，此优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程，卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

进一步地，基于上述实施例，本发明的另一实施例还提供一种自动售货机图像识别的方法，所述步骤确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，根据该位置信息重新识别分类操作表现为，利用背景建模算法直接确认图片中存在的未识别的物品位置信息，背景建模算法能够解决相机自动调整、光照变化、自举现象、前景与背景图像像素值相近似等问题，高效准确确认图片中存在的未识别的物品位置信息。

进一步地，基于上述实施例，本发明的另一实施例还提供一种自动售货机图像识别的方法，包括以下步骤：

通过摄像头拍摄的图片中使用随机森林算法和机器学习方式对自动售货机中的玻璃框分界线进行实时检测，不同的摄像头安装角度，不同的安装位置，与玻璃框的位置也会有区别，为了适应这种区别，需要对玻璃框位置进行确认，利用随机森林算法分类效果好，能处理高维特征，不容易产生过拟合，模型训练速度比较快，既能处理离散型数据，也能处理连续型数据，数据集无需规范化等优点，同时通过机器学习方式及使用位置筛选法，对处于玻璃门外的框直接判别无效，实时检测玻璃框分界线，判别出物品真实的存放区，减少误判问题出现；

使用模拟人类识别原理根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别，将物品的尺寸信息录入到信息存储模块中，然后根据已录入的物品的尺寸信息对真实存放区中的图像进行物品与区域识别，排除同一物品的重复识别，同时通过尺寸信息排除无法放置物品的区域；

从初步判别后的图片中识别出每个物品的位置信息以及物品信息，对已识别出的物品进行使用目标识别技术的深度学习方法，识别每个物品的位置信息，并对物品信息进行识别确认；

对每个已经识别出存放物品的位置信息进行物品信息重新识别操作，对已经提取的位置信息进行重识别，将识别操作从“图中哪里有个什么物品”变成“图中的这个区域中是什么物品”，将繁杂的识别步骤简化，大幅度提升物品的识别准确率；

利用背景建模算法确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作，背景建模算法能够解决相机自动调整、光照变化、自举现象、前景与背景图像像素值相近似等问题，高效准确确认图片中存在的未识别的物品位置信息，同时在深度学习过程中，当识别结果的置信度低于设置的阈值，识别结果会被过滤，则会出现图片中存在的未识别的物品的情况，对该无法识别物品的位置信息根据已录入物品的尺寸信息选出最合适的位置信息，然后对该位置信息重新进行物品识别操作，确认该区域中的物品信息。

所述实施例有效解决识别过程中出现误检、漏检、错检等问题，通过机器学习算法将把准确率大幅度提升而不过度依赖更多的数据，提高识别准确率以及效率。

参照图2，本发明的一个实施例，提供了一种基于自动售货机图像识别方法的售货方法，包括以下步骤：

S110识别确认用户注册信息，在开门售货前，自动售货机确认购物用户的信息，确认是否为已注册登记的用户。

S120摄像头拍照获取开门前的所述自动售货机内的图片，通过所述的自动售货机图像识别方法确认开门前的物品情况，并发送开门信号；即确认用户信息已注册后，通过一种自动售货机图像识别的方法对开门前的物品库存情况进行快速准确的识别确认，然后发送开门信号打开门。

S130接收关门信号后，摄像头拍照获取关门后的所述自动售货机内的图片，通过所述的自动售货机图像识别方法确认关门后的物品情况；即接收关门信号后，摄像头自动拍摄获取关门后的自动售货机内的图片，通过一种自动售货机图像识别的方法对关门后自动售货机内的物品库存情况进行快速准确的识别确认。

S120、S130两步骤中的一种自动售货机图像识别的方法包括以下步骤：通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测；根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别；从初步判别后的图片中识别出每个物品的位置信息以及物品信息；对每个已经识别出存放物品的位置信息进行物品信息重新识别操作；确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作。

S140将开门前的物品情况与关门后的物品情况进行对比，得出已售的物品；即在开门前通过一种自动售货机图像识别的方法确认后的售货机的物品库存情况以及关门后通过一种自动售货机图像识别的方法确认后的售货机的物品库存情况进行对比，物品在开门前以及关门后的差异则为已售的物品。

S150根据已售的物品的价格信息计算出待支付金额并显示。

根据S140步骤得出的已售的物品情况以及物品对应的价格信息，计算出待支付的金额，并对用户进行金额显示。

进一步地，基于上述实施例，本发明的另一实施例还提供一种基于自动售货机图像识别方法的售货方法，所述步骤识别确认用户注册信息表现为：

检查扫描二维码的用户是否注册；

对于扫描的用户信息确认二维码的用户进行判断是否已经注册。

对于未注册用户，发送注册登记界面，注册或者绑定登记用户身份信息并签订自动结算扣款条款；

判断为未注册的用户，则发送用户注册登记界面到用户端，注册或者绑定需要购买物品的用户身份信息，同时要求客户同意签订自动结算扣款的条款，所述自动结算扣款方式优选应用支付宝或微信免密支付方式。

对于已注册用户，直接读取已注册或者绑定登记用户身份信息，并自动登录。

判断为已注册的用户，直接读取已注册或者绑定登记用户身份信息并根据用户信息自动为用户进行登录。

本发明的一个实施例，提供了一种自动售货设备，包括以下模块:

物品存储模块，用于存储售货的物品以及开关门；所述物品存储模块包括智能锁模块、设备二维码、存物库以及用于开关的玻璃门，主要实现二维码展示、用户信息情况确认、存放售货的物品以及根据用户信息情况开闭锁等功能。

信息收集模块，用于拍摄物品存储模块中的物品的图片；所述信息收集模块包括摄像头以及传输网络模块，主要实现使用摄像头对货柜信息采集、货柜内货品图像采集以及相关数据上传等功能。

信息存储模块，用于实现用户数据存储、物品图像信息存储；所述信息存储模块包括存储器或云端服务器，主要实现用户数据存储与管理、货柜终端信息存储与管理、货柜终端内货品图像信息存储与管理等功能；

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的一种自动售货机图像识别方法对应的程序指令/模块。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据自动售货设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该自动售货设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的一种自动售货机图像识别方法。

信息处理模块，用于对信息收集模块拍摄的图片进行分析、比较，准确计算已出售货物品的种类、数量以及对应的金额；所述信息处理模块包括后台处理机，主要实现算法模型的训练与优化、货柜终端内货品的识别与分析，具备对信息收集模块拍摄的图片进行分析、比较，准确计算已出售货物品的种类、数量以及对应的金额的功能。

支付模块，用于销售货品的支付结算，主要根据所述信息处理模块计算出的待支付金额向用户收取相应的金额。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.一种自动售货机图像识别的方法，其特征在于，包括以下步骤：

通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测；

根据物品的尺寸信息对图片中的物品信息以及区域信息进行初步判别；

从初步判别后的图片中识别出每个物品的位置信息以及物品信息；

对每个已经识别出存放物品的位置信息进行物品信息重新识别操作；

确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，对所述位置信息进行重新识别物品信息操作。

2.根据权利要求1所述的一种自动售货机图像识别的方法，其特征在于:所述步骤通过摄像头拍摄的图片中对自动售货机中的玻璃框分界线进行实时检测表现为，使用随机森林算法和机器学习方式对玻璃框分界线进行实时检测。

3.根据权利要求1所述的一种自动售货机图像识别的方法，其特征在于:所述步骤根据物品的尺寸信息对图片中的物品以及区域进行初步判别表现为，使用模拟人类识别原理根据物品的尺寸信息对图片中的物品以及区域进行初步判别。

4.根据权利要求1所述的一种自动售货机图像识别的方法，其特征在于:所述步骤从初步判别后的图片中识别出每个物品的位置信息以及物品信息表现为，使用目标识别技术的深度学习方法从初步判别后的图片中识别出每个物品的位置信息以及物品信息。

5.根据权利要求1所述的一种自动售货机图像识别的方法，其特征在于:确认图片中存在的未识别的物品位置信息，再结合物品尺寸信息选出最合适的位置信息，根据该位置信息重新识别分类操作表现为，利用背景建模算法直接确认图片中存在的未识别的物品位置信息。

6.一种基于权利要求1-5任一所述的一种自动售货机图像识别方法的售货方法，其特征在于，包括以下步骤：

识别确认用户注册信息；

摄像头拍照获取开门前的所述自动售货机内的图片，通过所述的自动售货机图像识别方法确认开门前的物品情况，并发送开门信号；

接收关门信号后，摄像头拍照获取关门后的所述自动售货机内的图片，通过所述的自动售货机图像识别方法确认关门后的物品情况；

将开门前的物品情况与关门后的物品情况进行对比，得出已售的物品；

根据已售的物品的价格信息计算出待支付金额并显示。

7.根据权利要求6所述的一种售货方法，其特征在于:

所述步骤识别确认用户注册信息表现为：

检查扫描二维码的用户是否注册；

对于未注册用户，发送注册登记界面，注册或者绑定登记用户身份信息并签订自动结算扣款条款；

对于已注册用户，直接读取已注册或者绑定登记用户身份信息，并自动登录。

8.一种自动售货设备，其特征在于，包括以下模块:

物品存储模块，用于存储售货的物品以及开关门；

信息收集模块，用于拍摄物品存储模块中的物品的图片；

信息存储模块，用于实现用户数据存储、物品图像信息存储；

信息处理模块，用于对信息收集模块拍摄的图片进行分析、比较，准确计算已出售货物品的种类、数量以及对应的金额；

支付模块，用于销售货品的支付结算。

9.一种自动售货机图像识别的设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1－5任一项所述的一种自动售货机图像识别的方法。