CN113627393B - 基于双重神经网络的商品识别方法及智能售货系统 - Google Patents

Abstract

本发明为一种基于双重神经网络的商品识别方法及智能售货系统，该方法包括步骤S1、采集商品图像和手势图像，得到手势图像数据集和商品图像数据集；步骤S2、设计双重神经网络，得到商品识别模型；商品识别模型包含两个并行的神经网络，一个神经网络用于识别手和遮挡摄像头的物体，另一个神经网络用于识别商品和遮挡摄像头的物体；每个神经网络均包含目标检测分支和防遮挡检测分支；将两个神经网络的防遮挡检测分支和目标检测分支的输出特征进行相加，从而得到商品识别模型的输出层；步骤S3、对商品识别模型进行训练与测试，将测试后的商品识别模型用于商品识别。该方法利用两个并行的神经网络识别手和商品，提高了识别速度和准确性。

Description

基于双重神经网络的商品识别方法及智能售货系统

技术领域

本发明属于自动售货机技术领域，具体是一种基于双重神经网络的商品识别方法及智能售货系统。

背景技术

无人售货机是一种自动化的售货设备，具有不受时间、地点的限制，节省人力、方便交易等诸多优点，被广泛应该在医院、学校、商场等公共场合。现有的售货机在每个隔层上设有多个放置架，每个放置架上均摆放有一个商品，当用户在售货机的显示屏上选择商品，则商品对应放置架上的弹簧机械结构将商品送入取物窗口，用户从取物窗口取走购买的商品。这种模式决定了传统售货机销售的商品单一和数量有限，只能在固定位置摆放特定商品，导致无人售货机的空间利用率较低。当工作人员将商品位置摆放错误时，则会出现吐货错误的情况，因此售货机的智能化程度低。一次购买商品的数量有限，购买的效率较低。

随着机器学习的发展，基于机器学习的识别技术在生活中的应用实例越来越多，由于用户在无人售货机中抓取商品的过程是一个动态过程，因此将机器学习等相关技术应用在无人售货机上，能够快速精准的实现商品识别和手部追踪。目前，基于神经网络的无人售货机的网络模型均是采用单个神经网络搭建的，单个神经网络只能识别特征相近的同一类物品，无法同时对用户抓取商品过程的商品和手进行识别。若要同时识别手和商品，则只能利用两个控制模块，一个控制模块中烧结商品识别模型，另一个控制模块中烧结手部识别模型；通过两个控制模块分别识别商品和手，再将两个控制模块的结果进行综合，不仅速度慢、识别效率低，而且对硬件设备要求较高，识别的准确率较低。

公布号为CN110298965A的中国专利公开了一种基于动态计算机视觉识别的智能售卖柜系统及其方法，采用基于深度学习的动态计算机视觉的识别算法，自动识别消费者从货柜中拿取商品的动作及拿取的商品，并进行相应的支付扣款。该方法利用单个网络将手部与商品识别分成人体动作识别和消费者手部关联物品的颜色图像特征识别，并且算法是基于two-stage的Mask R-CNN算法，需要分别进行手部与商品的识别再综合，处理过程复杂且速度较慢，无法识别突发情况，如恶意遮挡摄像头等情况。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于双重神经网络的商品识别方法及智能售货系统。

本发明解决所述技术问题采用的技术方案是：

一种基于双重神经网络的商品识别方法，其特征在于，该方法的具体步骤为：

步骤S1、采集商品图像和手势图像，得到手势图像数据集和商品图像数据集；

步骤S2、设计双重神经网络，得到商品识别模型；商品识别模型包含两个并行的神经网络，一个神经网络用于识别手和遮挡摄像头的物体，另一个神经网络用于识别商品和遮挡摄像头的物体；每个神经网络均包含目标检测分支和防遮挡检测分支，目标检测分支用于检测待识别图像中的商品或者手，防遮挡检测分支用于检测待识别图像中遮挡摄像头的物体；将两个神经网络的防遮挡检测分支和目标检测分支的输出特征进行相加，从而得到商品识别模型的输出层；计算检测出的手对应的目标检测框与商品对应的目标检测框的面积重合率，若某一商品对应的目标检测框与手对应的目标检测框的面积重合率大于等于20％，则认为人手在抓握此商品，此商品即为用户所购商品；

步骤S3、对商品识别模型进行训练与测试，将测试后的商品识别模型用于商品识别。

防遮挡检测分支的具体结构为：待识别图像依次经过一个CBM模块、一个CSP1模块、一个CSP2模块、两个CSP8模块、一个CSP4模块、三个CBL模块、一个SPP模块和四个CBL模块，然后经过上采样后，再与第二个CSP8模块的输出特征经过一个CBL模块后的输出特征进行第一次拼接，第一次拼接后的特征依次经过两个CBL模块后进行上采样，上采样后的特征再与第一个CSP8模块的输出特征经过一个CBL模块的输出特征进行第二次拼接，第二次拼接得到的特征依次经过六个CBL模块和一个Conv层，得到防遮挡检测分支的输出特征；

目标检测分支以防遮挡检测分支为基础，防遮挡检测分支第一次拼接后的特征再经过一个CBL模块后的输出特征与防遮挡检测分支第二次拼接后的特征经过六个CBL模块后的输出特征进行第三次拼接，第三次拼接后的特征依次经过六个CBL模块和一个Conv层，得到目标检测分支的输出特征。

对于检测手的目标检测分支，将置信度大于等于0.8且置信度最高的目标检测框作为手的检测结果；对于检测商品的目标检测分支，将置信度大于等于0.6的目标检测框作为商品的检测结果。

一种使用上述方法进行商品识别的智能售货系统，其特征在于，包括售货机、移动终端、第一摄像头、第二摄像头、一号控制单元、二号控制单元、总控制单元和重力传感器；

所述售货机上设有蓝牙磁力锁，售货机的柜门上粘贴有开锁二维码；售货机沿高度方向设有多个隔板，将售货机的内部空间分为多个隔层，其中一个隔层作为退换货隔层，其余所有隔层均作为商品放置隔层；每个隔层的顶部均安装有感应照明灯；

每个商品放置隔层上均安装有第一摄像头和一号控制单元；第一摄像头与一号控制单元连接；一号控制单元通过物联网与云端服务器中的总控制单元连接，总控制单元同时通过物联网与移动终端连接；

退换货隔层的底部安装有重力传感器、第二摄像头和二号控制单元；重力传感器和第二摄像头均与二号控制单元连接，二号控制单元通过物联网与总控制单元连接。

与现有技术相比，本发明的有益效果是：

1.本发明的商品识别模型包含两个并行的神经网络，分别用于识别待识别图像中的人手和商品，因此待识别图像经过商品识别模型后即可输出完整的识别结果，过程简单，速度更加快，实时性好；两个神经网络的输出结果相互配合，即当商品对应的目标检测框与人手对应的目标检测框的面积重合率大于等于20％，则认为人手在抓握此商品，相较于现有的单网络识别进一步提高了识别速度和准确性；每个神经网络都具有防遮挡检测分支，以防止有手或者物体距离摄像头太近出现遮挡摄像头的情况，避免恶意遮挡摄像头的情形出现。当出现遮挡摄像头的情况则控制单元发出警告，因此防遮挡检测分支可以使得商品识别结果更加精准可信，为将该方法应用在无人售货机或超市提供了保障。

2.该系统在售货机的每个商品放置隔层均设置有第一摄像头、第二摄像头、一号控制单元和二号控制单元，用于采集商品图像和手部图像，并对图像进行处理，实现了商品的智能识别，可以有效避免售货机吐货错误的缺陷，减少了因人为失误造成的经济损失，也减轻了管理人员的负担；此外，这种智能识别方式不需要在售货机的隔层上设置商品放置架，商品放置位置不需要固定，提高了售货机内部空间的利用率。

3.该系统在售货机上设有退换货隔层，用于满足用户的退换货需求，使用更加便利。

附图说明

图1为本发明的整体流程图；

图2为本发明的双重检验神经网络的结构示意图；

图3为本发明的CBM模块的网络结构图；

图4为本发明的CBL模块的网络结构图；

图5为本发明的SPP模块的网络结构图；

图6为本发明的CSP1模块的网络结构示意图；

图7为本发明的Res_unit模块的网络结构图；

图8为本发明的售货机在一个角度下的结构示意图；

图9为本发明的各元器件的控制流程图；

图10为本发明的商品放置隔层的结构示意图；

图11为本发明的售货机在另一个角度下的结构示意图；

图12为本发明的售货机的纵向剖视图；

图中，1-售货机；2-移动终端；3-感应照明灯；4-第一摄像头；5-第二摄像头；6-一号控制单元；7-二号控制单元；8-总控制单元；9-重力传感器；

101-蓝牙磁力锁；102-隔板。

具体实施方式

下面结合具体实施例和附图对本发明的技术方案作进一步详细描述，但并不以此作为对本申请保护范围的限定。

本发明提供一种基于双重神经网络的商品识别方法(简称方法，参见图1～7)，具体步骤为：

步骤S1、采集商品图像和手势图像，得到手势图像数据集和商品图像数据集；

采集测试者抓取商品的手势图像，摄像头与测试者之间的距离为15-20mm，保证整个取过程测试者的手部均位于摄像头的视野内；选取50名测试者，每个测试者重复10次随机取商品的动作，每次采集2帧手势图像，故一共获得1000帧手势图像；然后采用图像亮度增强、对比度增强、色彩饱和度增强等方法将1000帧手势图像扩充4倍，即手势图像数据集共包括4000帧手势图像，其中70％作为训练样本，30％作为测试样本；

随机选取20种如可乐、面包等常见商品，每种商品分别在不同光线条件和角度下采集100张图像，则商品图像数据集总共包括2000张商品图像，其中70％作为训练样本，30％作为测试样本；

步骤S2、设计双重神经网络，得到商品识别模型；

如图2所示，商品识别模型包含两个并行的神经网络，一个神经网络用于识别人手和遮挡摄像头的物体，另一个神经网络用于识别商品和遮挡摄像头的物体；每个神经网络均包含目标检测分支和防遮挡检测分支，目标检测分支用于检测待识别图像中的商品或者人手，防遮挡检测分支用于检测待识别图像中遮挡摄像头的物体，用于控制系统发出警告与提示，避免由于摄像头被遮挡影响目标的识别；

神经网络以YOLOV4网络为基础，防遮挡检测分支的具体结构为：待识别图像依次经过一个CBM(Conv BN Mish)模块、一个CSP1(Cross-Stage-Partial-connections)模块、一个CSP2模块、两个CSP8模块、一个CSP4模块、三个CBL(Conv BN Leaky relu)模块、一个SPP(Spatial Pyramid Pooling)模块和四个CBL模块，然后经过上采样后，再与第二个CSP8模块的输出特征经过一个CBL模块后的输出特征进行第一次拼接(Concat)，第一次拼接后的特征依次经过两个CBL模块后进行上采样，上采样后的特征再与第一个CSP8模块的输出特征经过一个CBL模块的输出特征进行第二次拼接，第二次拼接得到的特征依次经过六个CBL模块和一个Conv层，得到防遮挡检测分支的输出特征；由于摄像头拍摄的图像尺寸大小相同，商品或手部所占图像的比例为1/16，本实施例规定其他物体所占图像的比例大于等于1/8，则认为是遮挡摄像头的物体；

目标检测分支以防遮挡检测分支的网络结构为基础，即防遮挡检测分支第一次拼接后的特征再经过一个CBL模块后的输出特征与防遮挡检测分支第二次拼接后的特征经过六个CBL模块后的输出特征进行第三次拼接，第三次拼接后的特征依次经过六个CBL模块和一个Conv层，得到目标检测分支的输出特征；

最后将两个神经网络的防遮挡检测分支和目标检测分支的输出特征进行相加，从而得到商品识别模型的输出层，输出层包含商品、手和两个遮挡摄像头的物体的检测框；本实施例中由于神经网络以YOLOV4网络为基础，因此同一个神经网络的两个分支只能检测同类别不同尺寸大小的物体，故其中一个遮挡摄像头的物体为比待识别图像中的商品尺寸大的商品，另一个遮挡摄像头的物体为比待识别图像中的手尺寸大的手。

目标检测分支的输出特征包含每个目标检测框的置信度、目标种类、尺寸和位置信息，对于检测手的目标检测分支，将置信度大于等于0.8且置信度最高的目标检测框的结果作为手的检测结果；对于检测商品的目标检测分支，将置信度大于等于0.6的目标检测框的结果作为商品的检测结果；根据目标检测框的尺寸和位置信息计算检测出的手对应的目标检测框与商品对应的目标检测框的面积重合率，若某一商品对应的目标检测框与手对应的目标检测框的面积重合率大于等于20％，则认为人手在抓握此商品，此商品即为用户所购商品。

如图3所示，每个CBM模块均包括一个Conv层、一个BN层和一个Mish激活函数。

如图4所示，每个CBL模块均包括一个conv层、一个BN层和一个Leaky relu激活函数。

如图5所示，SPP模块包含三个Maxpool层，SPP模块的输入与三个Maxpool层的输出经过拼接后得到SPP模块的输出。

如图6所示，CSP1模块、CSP2模块、CSP8模块和CSP4模块均包含CBM模块和Res_unit模块，CSP1模块、CSP2模块、CSP8模块和CSP4模块包含的Res_unit模块的数量依次为1、2、8、4；用CSPn模块统一描述CSP1模块、CSP2模块、CSP8模块和CSP4模块，n的取值为1、2、8和4；CSPn模块是将输入依次经过两个CBM模块、n个Res_unit模块和一个CBM模块的输出特征，再与输入经过第一个CBM模块后的输出特征进行拼接，拼接后的特征再经过一个CBM模块，得到CSPn模块的输出。

如图7所示，Res_unit模块是将输入依次经过两个CBM模块后得到的输出特征再与输入通过add层进行相加，从而得到Res_unit模块的输出；add层表示特征相加，不会扩充维度；Concat表示拼接，维度会扩充。

步骤S3、商品识别模型的训练与测试；

将步骤S1得到的手势图像数据集的训练样本和商品图像数据集的训练样本分别输入到商品识别模型中进行训练，得到训练后的商品识别模型；设置模型训练的学习率为0.001，采用交叉熵损失函数计算训练损失；

将步骤S1得到的手势图像数据集的测试样本和商品图像数据集的测试样本分别输入到训练后的商品识别模型中进行测试，通过人为拓展数据集等方式不断提高模型的泛化能力，得到测试后的商品识别模型，将测试后的商品识别模型用于商品识别。

本实施例商品识别模型的训练和测试都属于常规操作，在此不再赘述。

本发明还提供一种使用上述方法进行商品识别的智能售货系统(简称系统，参见图8～12)，包括售货机1、移动终端2、第一摄像头4、第二摄像头5、一号控制单元6、二号控制单元7、总控制单元8和重力传感器9；

所述售货机1上设有蓝牙磁力锁101，售货机1的柜门上粘贴有开锁二维码，通过移动终端2扫码打开蓝牙磁力锁101；售货机1沿高度方向设有多个隔板102，将售货机1的内部空间分为多个隔层，其中一个隔层作为退换货隔层，其余所有隔层均作为商品放置隔层；每个隔层的顶部均安装有感应照明灯3；

每个商品放置隔层上均安装有第一摄像头4和一号控制单元6；第一摄像头4与一号控制单元6连接，实现两者之间的数据传输；一号控制单元6通过物联网与云端服务器中的总控制单元8连接，总控制单元8同时通过物联网与移动终端2连接；第一摄像头4实时采集待识别图像，并将待识别图像实时传输至一号控制单元6，一号控制单元6中存储的商品识别模型识别待识别图像中的手和商品，判断用户购买的商品，并将分析结果通过物联网传输至位于云端服务器内的总控制单元8，总控制单元8进行计费，并将计费结果传输至移动终端2，用户在移动终端2上进行支付；

退换货隔层的底部安装有重力传感器9、第二摄像头5和二号控制单元7；重力传感器9和第二摄像头5均与二号控制单元7连接，二号控制单元7通过物联网与总控制单元8连接，实现数据交换；重力传感器9用于检测退换商品的重量，第二摄像头5用于采集退换商品图像，二号控制单元7将采集退换商品图像和重量传输至总控制单元8。

智能售货系统的工作原理和工作流程是：

用户通过移动终端2扫描售货机1柜门上的开锁二维码进入总控制单元8请求开锁，总控制单元8读取用户信息，移动终端2通过蓝牙发送指令使蓝牙磁力锁101打开，用户则可以用手抓取需要购买的商品。

售货机1的柜门打开后，第一摄像头4实时采集待识别图像并传输至一号控制单元6，一号控制单元6中烧结的商品识别模型实时获取待识别图像中的各个商品和手，若手的检测框与商品的检测框的重合面积大于20％，则认为手在抓取该商品，一号控制单元6将识别结果传输至总控制单元8，总控制单元8计算商品费用，用户通过移动终端2进行支付；

购物后的24h内用户可通过移动终端2进入总控制单元8申请退换货，扫描开锁二维码使售货机1的柜门打开，用户将要退换的商品放置在退换货隔层上；第三摄像头10和重力传感器9分别采集退换商品的图像和测量退换商品的重量并传输至二号控制单元7，二号控制单元7将图像和重量一起传输至总控制单元8，总控制单元8进行处理和分析，当退换商品的种类和重量均符合用户申请的退换商品信息时，则总控制单元8向移动终端2发送符合退换货条件的提示，此时用户可以选择关闭售货机1柜门或者购买其他商品。

本发明未述及之处适用于现有技术。

Claims (3)

1.一种基于双重神经网络的商品识别方法，其特征在于，该方法的具体步骤为：

步骤S1、采集商品图像和手势图像，得到手势图像数据集和商品图像数据集；

步骤S2、设计双重神经网络，得到商品识别模型；商品识别模型包含两个并行的神经网络，一个神经网络用于识别手和遮挡摄像头的物体，另一个神经网络用于识别商品和遮挡摄像头的物体；每个神经网络均包含目标检测分支和防遮挡检测分支，目标检测分支用于检测待识别图像中的商品或者手，防遮挡检测分支用于检测待识别图像中遮挡摄像头的物体；将两个神经网络的防遮挡检测分支和目标检测分支的输出特征进行相加，从而得到商品识别模型的输出层；计算检测出的手对应的目标检测框与商品对应的目标检测框的面积重合率，若某一商品对应的目标检测框与手对应的目标检测框的面积重合率大于等于20％，则认为人手在抓握此商品，此商品即为用户所购商品；

防遮挡检测分支的具体结构为：待识别图像依次经过一个CBM模块、一个CSP1模块、一个CSP2模块、两个CSP8模块、一个CSP4模块、三个CBL模块、一个SPP模块和四个CBL模块，然后经过上采样后，再与第二个CSP8模块的输出特征经过一个CBL模块后的输出特征进行第一次拼接，第一次拼接后的特征依次经过两个CBL模块后进行上采样，上采样后的特征再与第一个CSP8模块的输出特征经过一个CBL模块的输出特征进行第二次拼接，第二次拼接得到的特征依次经过六个CBL模块和一个Conv层，得到防遮挡检测分支的输出特征；

目标检测分支以防遮挡检测分支为基础，防遮挡检测分支第一次拼接后的特征再经过一个CBL模块后的输出特征与防遮挡检测分支第二次拼接后的特征经过六个CBL模块后的输出特征进行第三次拼接，第三次拼接后的特征依次经过六个CBL模块和一个Conv层，得到目标检测分支的输出特征；

步骤S3、对商品识别模型进行训练与测试，将测试后的商品识别模型用于商品识别。

2.根据权利要求1所述的基于双重神经网络的商品识别方法，其特征在于，对于检测手的目标检测分支，将置信度大于等于0.8且置信度最高的目标检测框作为手的检测结果；对于检测商品的目标检测分支，将置信度大于等于0.6的目标检测框作为商品的检测结果。

3.一种使用权利要求1～2任一所述的方法进行商品识别的智能售货系统，其特征在于，包括售货机、移动终端、第一摄像头、第二摄像头、一号控制单元、二号控制单元、总控制单元和重力传感器；

所述售货机上设有蓝牙磁力锁，售货机的柜门上粘贴有开锁二维码；售货机沿高度方向设有多个隔板，将售货机的内部空间分为多个隔层，其中一个隔层作为退换货隔层，其余所有隔层均作为商品放置隔层；每个隔层的顶部均安装有感应照明灯；

每个商品放置隔层上均安装有第一摄像头和一号控制单元；第一摄像头与一号控制单元连接；一号控制单元通过物联网与云端服务器中的总控制单元连接，总控制单元同时通过物联网与移动终端连接；

退换货隔层的底部安装有重力传感器、第二摄像头和二号控制单元；重力传感器和第二摄像头均与二号控制单元连接，二号控制单元通过物联网与总控制单元连接。