CN108875669A - 一种基于可见光与红外图像融合的商品识别技术 - Google Patents

Abstract

本发明公开一种基于可见光与红外图像融合的商品识别技术，包括训练过程和识别过程；所述训练的过程为：采集一定数量的可见光图像和红外图像；对所述可见光图像与红外图像进行标注；对标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；将训练好的模型导入后台服务器待用；所述识别的过程为：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量。本发明巧妙的结合了见光图像和红外图像作为识别依据，很好地增加了识别的准确率。

Description

一种基于可见光与红外图像融合的商品识别技术

技术领域

本发明涉及到基于深度学习的商品识别方法，具体涉及到智能售货柜方面的商品识别方法。

背景技术

自动售货柜是零售业一个不可分割的部分，随着消费模式和销售环境的变化，而且随着人工费用不断的上升，对新的商品流通渠道的需求越来越强烈，进入21世纪时，全自动售货柜也将进一步向节省资源和能源以及高功能化的方向发展。

目前的自动售货柜采用投币式或者无线支付方式，用户支付完成后，商品会从自动售货柜的出货口掉落。例如中国(CN201721215948.4)公开了一种基于物联网通信的自动售货架，包括售货架主体，售货架主体的上端设置有若干均匀分布的自动售货柜，售货架主体的一端安装有控制柜，自动售货柜的出口处安装有柜门，柜门的顶部通过铰链与自动售货柜活动连接，柜门的底部通过电子锁与自动售货柜固定连接，柜门上安装有商品介绍牌，商品介绍牌上设置有售货柜编号和货物基本信息；控制柜的内部安装有POS机、自动投币机和单片微处理器，控制柜的表面设置有触控屏、投币口和刷卡口。该装置可实现无人自动售货，使用方便，降低了人工成本；且该自动售货架可对大部分商品进行自动售卖，突破了传统自动售货机的局限，进一步推进了无人化超市的进程，但装置结构较复杂，成本较高；

现有智能售货柜有的通过借助RFID、电子标签等技术以达到识别商品的目的，例如中国专利(CN201721327672.9)公开了一种自动售货机，用于出售粘贴有RFID标签的商品，其特征在于，包括箱体、设置在箱体上的机顶盒和与机顶盒电连接的电插锁，该自动售货机还包括与箱体连接可通过电插锁开启和/或关闭的开关门，该开关门上设置有可扫码开门的标识；机顶盒包括主控制器、RFID多通道读头和路由器，主控制器分别与电插锁、RFID多通道读头电连接，主控制器通过路由器与后台云服务器电连接；箱体内设置有RFID三维天线货架，RFID三维天线货架与RFID多通道读头电连接。本实用新型先扫码开门再关门结算，改善了消费者的购物体验；但是FRID会增加运行成本且有容易毁坏的问题。

在现有技术中，红外图像一般较暗，信噪比低，无彩色信息，缺少层次感，但却常有比较明显的目标信息，可见光图像光谱信息丰富，动态范围大，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此可以将红外图像与可见光图像进行融合，该种技术可以应用在自动售货柜上，不仅成本低，而且识别商品的精度高。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于可见光与红外图像融合的商品识别技术，所述一种基于可见光和红外图像融合的商品识别技术是将可见光图像与红外图像巧妙的结合，增加了商品识别的准确率。

为实现上述目的，本发明采用的技术方案是：

一种基于可见光与红外图像融合的商品识别技术，包括训练过程和识别过程；所述训练的过程为：

步骤一：采集一定数量的可见光图像和红外图像；

步骤二：对所述可见光图像与红外图像进行标注；

步骤三：对标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；

步骤四：将训练好的模型导入后台服务器待用；

所述识别的过程为：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量。

进一步地，所述步骤一中采集可见光与红外图像是通过安装在智能售货柜的每层顶部的可见光摄像头和红外摄像头实现的。

进一步地，所述步骤二中通过制作样本标注软件实现对可见光图像及红外图像的标注，所述制作样本标注软件的实现功能是：为采集的图片命名、图片中商品的种类和数量以及图片中每个商品的坐标信息等生成，标注后的图片通过人工二次审核，保证图片标注的质量。

进一步地，所述步骤三中可见光图像与红外图像融合的具体方法是：将可见光图像和红外图像经过一段相同的网络结构得到相应的可见光图像特征和红外图像特征，将所述可见光图像特征和红外图像特征分别送入可见光网络和红外网络中，分别经过卷积、全池化的过程，再对所述可见光图像网络输出使用可见光图像的损失函数h₁为：

其中a_i表示可见光图像网络的实际输出值，y_i表示可见光图像网络的期望值，n表示可见光图像样本组数；

所述红外图像网络输出使用红外图像的损失函数h₂为：

其中a_j表示红外图像网络的实际输出值，y_j表示红外图像网络的期望值，n表示红外图像样本组数；

融合得到最终的总损失函数H＝α*h1+(1-α)*h2，其中α表示可见光图像信息的权重；其中α/(1-α)的值在2-4之间效果较好；根据所述的总损失函数对数据进行训练；

模型训练的方法为：在深度学习框架上使用Yolov2算法来进行模型训练的；所述Yolov2是监督式学习，将标注好的可见光图像和红外图像(包括商品种类和位置等信息)送入预先写好的网络结构中进行训练；预训练模型则是采用ImageNet上训练好的模型；

具体的所述深度学习框架可以使用包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon，等等；

本发明采用的是mini-batch梯度下降法，Batch size是64，初始学习率是0.001，权重衰减为0.0005，动量为0.9。训练时候用到的数据扩充方法有水平翻转，图片的宽度和高度按照一个比例进行水平偏移和竖直偏移，以及图像按照一定的角度随机转动。

本发明是将检测和分类整合在一个网络结构，所述检测是通过卷积和anchorboxes来预测边界框，从而达到检测商品数量的目的；所述分类部分则对Googlenet的网络结构进行改进，主要包括卷积层和池化层，网络结构的总层数为16。根据该条件和网络结构进行训练，最终的输出是可见光图像和红外图像上商品的分类、预选框以及所对应的置信度，在进行所述目标检测和所述分类时，可见光图像和红外图像会出现同一目标可能有多个窗口的状况，此时根据置信度对其采用非极大值抑制(NMS)来删除冗余的窗口得到最优框，即商品的种类和数量。

进一步地，根据所述的一种基于可见光与红外图像融合的商品识别技术所对应的装置，在智能售货柜的每一层的顶部都安装可见光摄像头和红外摄像头，且为了捕获更多的视野，将可见光摄像头和红外摄像头分布在每层智能售货柜的正中间，所述可见光摄像头与红外摄像头分别与智能柜顶端的处理器相连接，处理器通过网络将拍摄的可见光图像与红外图像发送至后台服务器，后台服务器在进行一系列的处理。

进一步地，所述可见光摄像头与所述红外摄像头左右侧放置，由于货柜在水平方向更长，为了捕获更多的视野，可见光摄像头与红外摄像头只能左右侧放置，不可前后侧放置。

与现有技术相比，本发明的有益效果是：(1)通过可见光摄像头和红外摄像头同时拍摄图片进行融合，提高了识别商品的准确率；在一定程度上避免了在强烈太阳光照时，可见光图像严重白化甚至曝光情况，同时弥补红外图像信噪比低，无彩色信息，缺少层次感；(2)在对商品进行识别时，将可见光图像和红外图像的融合放在同一个网络结构中，更加提高了识别商品的准确率，同时使得识别的过程速度更快；(3)该智能自动售货柜设备简单，智能化程度高。

附图说明

图1为本发明的智能售货柜的模块单元；

图2为本发明的网络结构示意图；

图3为本发明的智能售货柜基于可见光图像和红外图像的进行训练和识别的流程图。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于可见光和红外图像融合的商品识别技术；

如图1所示，在智能售货柜的每一层的顶部都安装可见光摄像头和红外摄像头，且为了捕获更多的视野，将可见光摄像头和红外摄像头分布在每层智能售货柜的正中间，所述可见光摄像头与所述红外摄像头左右侧放置，由于货柜在水平方向更长，为了捕获更多的视野，可见光摄像头在红外摄像头的左侧；所述可见光摄像头与红外摄像头分别与智能柜顶端的处理器相连接，处理器通过网络将拍摄的可见光图像与红外图像发送至后台服务器，后台服务器再进行一系列的处理，同时所述处理器与智能售货柜的电磁锁相连接，用于控制智能售货柜门的开关。

具体地，所述可见光和红外图像融合的商品识别技术包括训练过程和识别过程；所述训练的过程为：

步骤一：通过设置在智能售货柜每层的可见光摄像头和红外摄像头对售货架的商品进行拍照，直到采集能够满足训练的可见光图像和红外图像为止；

步骤二：通过制作样本标注软件所采集的可见光图像与红外图像进行一一标注，所述制作样本标注软件的实现功能是：为采集的图片命名、图片中商品的种类和数量以及图片中每个商品的坐标信息等生成，标注后的图片通过人工二次审核，保证图片标注的质量；

步骤三：将标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；

如图2所示，可见光图像与红外图像融合的具体方法是：将可见光图像和红外图像经过一段相同的网络结构得到相应的可见光图像特征和红外图像特征，将所述可见光图像特征和红外图像特征分别送入可见光网络和红外网络中，分别经过卷积、全池化的过程，再对所述可见光图像网络输出使用可见光图像的损失函数h₁为：

其中a_i表示可见光图像网络的实际输出值，y_i表示可见光图像网络的期望值，n表示可见光图像样本组数；

所述红外图像网络输出使用红外图像的损失函数h₂如为：

其中a_j表示红外图像网络的实际输出值，y_j表示红外图像网络的期望值，n表示红外图像样本组数；

融合得到最终的总损失函数H＝α*h1+(1-α)*h2，其中α表示可见光图像信息的权重；其中α/(1-α)的值在2-4之间效果较好；根据所述的总损失函数对数据进行训练；

模型训练的方法为：本实施例在TensorFlow深度学习框架上使用Yolov2算法来进行模型训练的；所述Yolov2是监督式学习，将标注好的可见光图像和红外图像(包括商品种类和位置等信息)送入预先写好的网络结构中进行训练；预训练模型则是采用ImageNet上训练好的模型；

本发明采用的是mini-batch梯度下降法，Batch size是64，初始学习率是0.001，权重衰减为0.0005，动量为0.9。训练时候用到的数据扩充方法有水平翻转，图片的宽度和高度按照一个比例进行水平偏移和竖直偏移，以及图像按照一定的角度随机转动。本发明是将检测和分类整合在一个网络结构，所述检测是通过卷积和anchor boxes来预测边界框，从而达到检测商品数量的目的；所述分类部分则对Googlenet的网络结构进行改进，主要包括卷积层和池化层，网络结构的总层数为16；而且输入的照片的数量由原来的只有可见光拍摄的单个图像改为由可见光和红外同时拍摄的双个图像，可见光图像和红外图像按照3:1的权重对输出结果进行映射，最终模型的输出是图像中商品的种类和该商品所对应的数量；根据该条件和网络结构进行训练，最终的输出是可见光图像和红外图像上商品的分类、预选框以及所对应的置信度，在进行所述目标检测和所述分类时，可见光图像和红外图像会出现同一目标可能有多个窗口的状况，此时根据置信度对其采用非极大值抑制(NMS)来删除冗余的窗口得到最优框，即商品的种类和数量。

步骤四：将训练好的模型导入后台服务器待用；

如图3所示，所述识别的过程为：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量；

具体的过程为：用户通过手机的支付宝或微信扫描智能售货柜上的二维码，扫码后支付平台将指令传给智能售货柜，智能售货柜顶部的处理器控制智能售货柜上的电磁锁打开，用户打开智能售货柜的门以后，设置在售货柜顶端的可见光摄像头与红外摄像头开始连续的拍照，直到用户挑选完自己想要的商品并关闭智能售货柜，将拍摄的图像通过网络传输到后台服务器，在后台服务器有上述训练好的模型，所述模型对所传输的图像进行识别，得到可见光图像和红外图像上商品的分类、预选框以及所对应的置信度，通过非极大值抑制这样的后处理对预选框进行筛选得到最终商品的种类和数量；找到最开始拍摄的图像和最终的图像进行对比，得到用户购买的商品种类及数量，将最终的识别结果传输至支付平台，支付平台根据商品的种类和数量对用户实施扣费，交易完成。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于可见光与红外图像融合的商品识别技术，其特征在于，包括训练过程和识别过程；具体步骤为：

步骤一：采集一定数量的可见光图像和红外图像；

步骤二：对所述可见光图像与红外图像进行标注；

步骤三：对标注好的图像送入训练机进行训练，实现可见光图像与红外图像的融合，所述训练是在深度学习的框架上使用Yolov2算法来进行模型训练；

步骤四：将训练好的模型导入后台服务器待用；

步骤五：可见光摄像头和红外摄像头按照一定的帧率将图像输送到云端服务器中，利用训练好的模型识别出图像中商品的种类及其数量。

2.根据权利要求1所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述步骤一中采集可见光与红外图像是通过安装在智能售货柜的每层顶部的可见光摄像头和红外摄像头实现的。

3.根据权利要求1所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述步骤二中通过制作样本标注软件实现对可见光图像及红外图像的标注。

4.根据权利要求3所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述制作样本标注软件标注的信息包括商品种类、数量及位置信息。

5.根据权利要求1所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述步骤三中可见光图像与红外图像融合的具体方法是：将可见光图像和红外图像经过一段相同的网络结构得到相应的可见光图像特征和红外图像特征，将所述可见光图像特征和红外图像特征分别送入可见光网络和红外网络中，分别经过卷积、全池化的过程，再对所述可见光图像网络输出使用可见光图像的损失函数h₁为：

其中a_i表示可见光图像网络的实际输出值，y_i表示可见光图像网络的期望值，n表示可见光图像样本组数；

所述红外图像网络输出使用红外图像的损失函数h₂为：

其中a_j表示红外图像网络的实际输出值，y_j表示红外图像网络的期望值，n表示红外图像样本组数；

融合得到最终的总损失函数H＝α*h1+(1-α)*h2，其中α表示可见光图像信息的权重。

6.根据权利要求5所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，α/(1-α)的值在2-4之间效果较好；根据所述的总损失函数H＝α*h1+(1-α)*h2对数据进行训练。

7.根据权利要求6所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，训练结束时，将目标检测与分类整合在一个网络结构中，所述的目标检测是通过卷积和anchor boxes预测边界框；所述的分类网络是对Googlenet的网络结构进行改进，主要包括卷积层和池化层，网络结构的总层数为16。

8.根据权利要求6所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，在进行目标检测和分类时，可见光图像和红外图像会出现同一目标可能有多个窗口的状况，此时根据置信度对其采用非极大值抑制(NMS)来删除冗余的窗口得到最优框。

9.根据权利要求1所述的一种基于可见光与红外图像融合的商品识别技术，其特征在于，所述步骤三中所述Yolov2是监督式学习，将标注好的可见光图像和红外图像送入预先写好的网络结构中进行训练。