CN109635705B - 一种基于二维码和深度学习的商品识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于二维码和深度学习的商品识别方法及装置，该方法包括：编码制作二维码标签，并给部分商品贴上二维码标签；对未贴二维码标签的特定商品进行拍摄，得到特定商品的图片，利用深度神经网络对特定商品的图片进行训练得到神经网络模型；利用训练得到的神经网络模型对商品进行检测，识别出特定商品信息；利用二维码标签识别出贴有二维码标签的商品信息。该装置包括：摄像机、神经网络识别装置以及二维码识别装置。本发明的基于二维码和深度学习的商品识别方法及装置，通过二维码和深度学习相组合的方案，提高了商品识别效率、降低了成本。

Description

一种基于二维码和深度学习的商品识别方法及装置

技术领域

本发明涉及商品识别领域，特别涉及一种基于二维码和深度学习的商品识别方法及装置。

背景技术

现有的无人售货柜主要有三种技术路线。一种是基于称重路线，该方案通过顾客取走商品前后售货柜重量的差异来判断取走的商品信息。该方案的缺点是无法准确应对重量差异小的商品，精度有限。第二种是基于RFID的物联网路线，。该方案要求售货柜安装RFID扫描系统，通过扫描RFID芯片来识别商品信息。例如，公告号为CN108510024A的中国发明专利，公开了“基于RFID技术的无人零售智能货柜及其售货方法”，其通过识别粘贴在商品上的RFID电子标签来实现商品的识别。这种方案的缺陷是RFID技术受液体和金属影响较大，并且对于饮料等低利润商品而言，RFID芯片成本较高，需要专门定制，不方便。第三种是深度学习路线，通过训练模型和图像识别来实现商品的识别。这种方案的缺陷是训练耗时长，对于商品种类更新快的售货柜，时间成本太高，另外每次有新的商品都要重新部署代码，部署不方便。

另一方面，单个二维码的识别技术已经非常成熟，识别速度快，同时识别准确度高，但是多二维码场景下的识别效果却不如人意，识别准确度不高、处理时间长的问题仍有待解决。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于二维码和深度学习的商品识别方法及装置，采用二维码和深度学习组合的方案提高了商品识别效率，克服了现有技术中识别准确度不高、成本高、定制芯片麻烦、芯片受商品种类影响、深度学习训练费时等缺陷。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种基于二维码和深度学习的商品识别方法，其包括：

S11：编码制作二维码标签，并给部分商品贴上所述二维码标签；对未贴二维码标签的特定商品进行拍摄，得到特定商品的图片，利用深度神经网络对所述特定商品的图片进行训练得到神经网络模型；

S12：利用训练得到的神经网络模型对商品进行目标检测，识别出特定商品信息；

S13：利用二维码标签识别出贴有二维码标签的商品信息；

所述S12和S13不分先后顺序。

较佳地，所述S11中的二维码标签为Micro QR Code类型的二维码标签，采用MicroQR Code类型的二维码作为商品标签，在保证基本商品库存量单位(SKU)信息所需数据量的同时，最大化了图像尺寸，降低了定位和识别的难度，提升了多二维码场景下的二维码识别效率。

较佳地，所述S11中的对未贴二维码标签的特定商品进行拍摄，得到特定商品的图片具体为：对未贴二维码标签的特定商品进行旋转拍摄，得到多个角度的特定商品的图片。

较佳地，所述S13具体包括：先直接识别全图的二维码标签，然后对未识别出的二维码标签定位，将这些二维码标签从图片中切割出来，再单独识别二维码标签，对于单独识别仍然无法识别出来的二维码标签，进行处理，再次识别。分割单二维码和对分割后仍无法识别的二维码进行处理，使得多二维码的识别准确度极大地提升，达到商用效果。

较佳地，所述S13中的对于单独识别仍然无法识别出来的二维码标签，进行处理的方法包括：仿射变换矫正畸变、图像增强以及图像锐化中的一种或多种。

较佳地，所述S13之后还包括：

S14：对S12和S13中得到的商品信息进行整合。

本发明还提供一种基于二维码和深度学习的商品识别装置，其包括：摄像头、神经网络识别装置以及二维码识别装置；其中，

所述摄像头用于对未贴二维码标签的商品特征进行拍摄以及对贴有二维码标签的商品上的二维码标签进行拍摄；

所述神经网络识别装置用于根据拍摄的未贴二维码标签的商品特征图片进行识别，得到未贴二维码标签的商品种类和数量；

所述二维码识别装置用于根据拍摄的贴有二维码标签的商品的二维码照片进行识别，得到贴有二维码标签的商品种类和数量。

较佳地，还包括：挡物板；

所述挡物板用于对所述摄像头拍摄的边缘部分进行限位，以防止所述摄像头拍摄的边缘部分的商品上的二维码无法对焦而模糊。

较佳地，还包括：照明灯；

所述照明灯用于对商品进行照明。

相较于现有技术，本发明具有以下优点：

(1)本发明的基于二维码和深度学习的商品识别方法及装置，通过二维码和深度学习方案的组合提高了识别效率；深度学习部分只对销量大的几种商品采用，而不必对每一种商品都训练，因而训练模型的时间成本得到降低，而其他的销量小的各种商品，采用二维码识别，组合的技术方案更加高效；

(2)本发明的基于二维码和深度学习的商品识别方法及装置，通过二维码的使用，降低了标签生产的成本，无需专门定制，更加方便，同时对各种商品种类都适用；

(3)本发明的基于二维码和深度学习的商品识别方法及装置，采用micro qr code类型的二维码作为商品标签，在保证基本商品库存量单位(SKU)信息所需数据量的同时，最大化了图像尺寸，降低了定位和识别的难度，提升了多二维码场景下的二维码识别效率。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1为本发明的实施例的基于二维码和深度学习的商品识别方法的流程图；

图2为本发明的较佳实施例的基于二维码和深度学习的商品识别方法的对二维码分割的示意图；

图3为本发明的较佳实施例的基于二维码和深度学习的商品识别方法的流程图；

图4为本发明的实施例的基于二维码和深度学习的商品识别方法的应用实例流程图；

图5为本发明的实施例的基于二维码和深度学习的商品识别装置的应用实例结构图。

标号说明：1-商品柜，2-摄像头，3-挡物板，4-照明灯，5-货物。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

图1为本发明一实施例的基于二维码和深度学习的商品识别方法的流程图。

请参考图1，该方法包括以下步骤：

S11：编码制作二维码标签，并给部分商品贴上二维码标签；对未贴二维码标签的特定商品进行拍摄，得到特定商品的图片，利用深度神经网络对特定商品的图片进行训练得到神经网络模型；上述特定商品指销量大库存多的商品，如：矿泉水、可乐等商品。

S12：利用训练得到的神经网络模型对商品进行目标检测，识别出特定商品信息；

S13：利用二维码标签识别出贴有二维码标签的商品信息；

S14：对步骤S12和步骤S13中得到的商品信息进行整合。

具体地，步骤S11中的神经网络模型采用Faster-R-CNN深度神经网络对商品图片进行训练得到。步骤S13包括：先直接识别全图的二维码标签，然后对未识别出的二维码标签定位，将这些二维码标签从图片中切割出来，再单独识别二维码标签，如图2所示为部分分割出的二维码标签图；对于单独识别仍然无法识别出来的二维码标签，进行处理，再次识别，流程图如图3所示。分割单二维码和对分割后仍无法识别的二维码进行处理，使得多二维码的识别准确度极大地提升，达到商用效果。其中，对分割后仍无法识别的二维码进行处理的方式可以为：仿射变换矫正畸变、图像增强以及图像锐化中的一种或者其中两种，或者三种都包括。

下面结合一具体实例对上述识别方法进行详细描述，如图4所示为该实例的流程图。

请参考图4，具体工作流程如下：

一、训练模型：

利用相机从360°对这些商品进行采样，将得到的图片输入深度神经网络Faster-R-CNN进行训练。

二、图像采集：

在本实例中，用于做识别的图片来源为：摄像头2对货物5进行拍摄，传输回计算机内的数据为视频，本实例中为每秒1帧，当商品柜1的柜门被打开，触发视频截图功能，对传回计算机的视频进行截图得到要进行识别的图片。

三、图像处理：

(1)神经网络识别：

经过微调参数后，将训练得到的模型用于商品检测。

(2)二维码识别：

对于贴有二维码的商品，使用二维码进行识别，识别过程如下：

第一步:根据要处理的图像中的Micro QR Code中的定位符，对图像中的所有的二维码进行定位。

第二步：对定位过的图像进行分割，将图像中的所有二维码分割出来形成独立的文件，如图2所示。

第三步：分别对第二步产生的文件进行二维码识别，得到数据。

第四步：若由于桶形畸变过于严重、噪声过大以及对比度太低等情况，导致部分二维码无法识别。将这些无法识别的二维码进行转畸变、图像增强以及图像锐化等操作。得到一个清晰、畸变不严重的二维码，对处理后的二维码进行识别，得到数据。整合第三、四步所有的数据，得到粘贴二维码的商品的种类和数量。

第五步：将神经网络识别和二维码识别的商品进行整合，得到商品柜中的商品的种类和数量。

四、商品清点：

当商品柜的门关闭，再进行一次图像采集。得到关门后商品柜中商品的种类和数量，与第一次识别的图像对比，二者的差值即为顾客从商品柜中拿出的商品，由此可得到被拿走的商品种类和数量，再到数据库中查找对应商品的单价，计算出消费金额。

本发明的基于二维码和深度学习的商品识别装置包括：摄像头、神经网络识别装置以及二维码识别装置；其中，摄像头用于对未贴二维码标签的商品特征进行拍摄以及对贴有二维码标签的商品上的二维码标签进行拍摄；神经网络识别装置用于根据拍摄的未贴二维码标签的商品特征图片进行识别，得到未贴二维码标签的商品种类和数量；二维码识别装置用于根据拍摄的贴有二维码标签的商品的二维码照片进行识别，得到贴有二维码标签的商品种类和数量。

图5为本发明一实施例的基于二维码和深度学习的商品识别装置的应用实例结构图。

请参开图5，该实例为识别装置应用于商品柜，商品柜1中设置有摄像头2、挡物板3、照明灯4以及货物5。摄像头2设置在货物5(矿泉水，可乐等物品)的上方，对货物的特征以及部分商品上面的二维码进行拍摄。由于摄像头5的焦距、广角以及距离货物距离的影响，在边缘的部分货物上面的二维码会无法对焦而模糊，或者产生的桶形畸变过于严重。导致该二维码无法定位或者无法正确识别该二维码代表的数据(比如字符串111代表百事可乐，222代表康师傅红茶)，使得识别失败。因此，设置有挡物板3，挡物板3的主要作用是限位，防止出现以上导致二维码无法识别的情况，挡物板3具体的放置位置与摄像头2的参数应该结合具体情况进行设定。

本实例中选用的摄像头2焦距为2.8mm，广角为120°，镜头距离货物瓶盖的距离大约是24cm。在这种基本设定下，可以清晰地拍到28-32个货物的二维码。

上述实施例只给出了一层结构，实际也可以是多层结构。

上述实施例中，对于部分销量大的商品(如：矿泉水)，不需要在瓶盖上粘贴二维码，使用神经网络识别；其余商品由于销量小且种类多而导致神经网络模型训练时间成本高的原因，使用二维码识别。采用二维码和深度学习组合的方案，提高了识别效率，且降低了成本。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (7)

1.一种基于二维码和深度学习的商品识别方法，其特征在于，包括：

S11：编码制作二维码标签，并给部分商品贴上所述二维码标签；对未贴二维码标签的特定商品进行拍摄，得到特定商品的图片，利用深度神经网络对所述特定商品的图片进行训练得到神经网络模型；其中，所述二维码标签为Micro QR Code类型的二维码标签；

S12：利用训练得到的神经网络模型对商品进行目标检测，识别出特定商品信息；

S13：利用二维码标签识别出贴有二维码标签的商品信息，包括：先直接识别全图的二维码标签，然后对未识别出的二维码标签定位，将这些二维码标签从图片中切割出来，再单独识别二维码标签，对于单独识别仍然无法识别出来的二维码标签，进行处理，再次识别；

所述S12和S13不分先后顺序。

2.根据权利要求1所述的基于二维码和深度学习的商品识别方法，其特征在于，所述S11中的对未贴二维码标签的特定商品进行拍摄，得到特定商品的图片具体为：对未贴二维码标签的特定商品进行旋转拍摄，得到多个角度的特定商品的图片。

3.根据权利要求1所述的基于二维码和深度学习的商品识别方法，其特征在于，所述S13中的对于单独识别仍然无法识别出来的二维码标签，进行处理的方法包括：仿射变换矫正畸变、图像增强以及图像锐化中的一种或多种。

4.根据权利要求1所述的基于二维码和深度学习的商品识别方法，其特征在于，所述S13之后还包括：

S14：对S12和S13中得到的商品信息进行整合。

5.一种用于执行权利要求1-4任一项所述方法的基于二维码和深度学习的商品识别装置，其特征在于，包括：摄像头、神经网络识别装置以及二维码识别装置；其中，

所述摄像头用于对未贴二维码标签的商品特征进行拍摄以及对贴有二维码标签的商品上的二维码标签进行拍摄；

所述神经网络识别装置用于根据拍摄的未贴二维码标签的商品特征图片进行识别，得到未贴二维码标签的商品种类和数量；

所述二维码识别装置用于根据拍摄的贴有二维码标签的商品的二维码照片进行识别，得到贴有二维码标签的商品种类和数量。

6.根据权利要求5所述的基于二维码和深度学习的商品识别装置，其特征在于，还包括：挡物板；

所述挡物板用于对所述摄像头拍摄的边缘部分进行限位，以防止所述摄像头拍摄的边缘部分的商品上的二维码无法对焦而模糊。

7.根据权利要求5所述的基于二维码和深度学习的商品识别装置，其特征在于，还包括：照明灯；

所述照明灯用于对商品进行照明。

Images