CN111444973B

CN111444973B - 一种无人零售购物台商品检测方法

Info

Publication number: CN111444973B
Application number: CN202010246931.5A
Authority: CN
Inventors: 田智强; 杨洋; 李�根; 王丛
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2022-05-20
Anticipated expiration: 2040-03-31
Also published as: CN111444973A

Abstract

本发明公开一种无人零售购物台商品检测方法，解决现有技术在真实的无人零售场景中自助结算商品检测率低的问题。本发明基于实例分割框架Mask RCNN进行改进，在提取商品特征的主干网络中加入SE模块强化提取商品重要特征，使用Balance‑FPN进行特征融合，输出强化语义信息特征图；筛选IoU均匀分布的正样本训练边界框回归，并增加IoU预测分支为边界框打分，将边界框IoU分数作为边界框排序的标准，用边界框IoU分数乘以分类分数作为非极大值抑制的衡量标准。针对购物台商品数据集摆放密集紧凑，互相遮挡，且朝向和视角随机多样的特点和难点，完成了对商品的检测任务，提升了商品检测的准确率。

Description

一种无人零售购物台商品检测方法

技术领域

本发明属于图像处理领域，具体涉及一种无人零售购物台商品检测的方法，可应用于无人零售购物台商品自助结算。

背景技术

近几年，无人超市快速兴起且发展迅速，像Amazon go、淘咖啡这样的自动化零售商店在国内外纷纷涌现，无人零售形式的快速发展已经成为无法忽视的现象，是一个有着巨大潜力的新型应用场景。人工智能算法在计算机视觉领域蓬勃发展，在设定的特定场景和任务中，通过算法处理信息可以达到非常高的认知水平。将人工智能技术应用于无人超市商品识别中，给人们的生活购物方式带来了巨大的改变。

目前对于超市的商品识别，主要有单阶段和双阶段目标检测算法，单阶段目标检测算法对主干卷积网络提取的特征图直接进行目标定位和分类，双阶段目标检测算法先进行一次目标区域的筛选，再对目标进行定位和分类，这样的方法可以过滤掉大量的背景候选框，使得目标检测的精度更高。实例分割算法的目标是检测定位图像中的特定对象，并将对象分割出来，Mask RCNN是两阶段多任务网络模型的典型代表，同时进行图像分类，目标检测和图像分割，并且在三种任务中都达到了比较好的效果。

自动识别商品进行结算是无人超市发展的重要一环。经过调研，商品识别过程中主要有两个挑战，一是光照条件对于商品识别的影响，二是结算过程中，商品摆放紧凑，互相遮挡，且出现的朝向和视角随机多样，增加了商品检测的难度。现有的单阶段和两阶段目标检测算法都是在公开的数据集上有较好的检测效果，当前缺少一种针对无人零售购物台商品数据集检测的方法。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了一种无人零售购物台商品检测方法。

本发明的技术方案是这样解决的：

一种无人零售购物台商品检测方法，所述方法包括如下步骤：

步骤1，制作购物台商品数据集；

步骤2，采用两阶段实例分割框架mask rcnn构建网络模型；

步骤3，训练购物台商品检测模型，将划分好的训练集对基于mask rcnn构建的网络模型进行训练，训练过程中结合验证集的精度和召回率指标，调整网络模型参数，最终停止训练网络模型，保存参数权重；

进一步，所述步骤1具体描述如下：

步骤1-1，根据顾客自助结算购物台商品摆放特点，设计商品摆放角度和朝向，并采用黑色背景降低光照对商品识别的影响，通过拍照设备制作收集4214张购物台商品数据集，包含80类不同的商品；

步骤1-2，使用labelme软件，手动标注数据集，标注完成后，为每张图片生成一个json文件，记录标记的信息；

步骤1-3，从购物台商品数据集中随机抽取2951张图片作为训练集，842张图片作为验证集，421张图片作为测试集，将划分好的数据集的json文件转换为coco数据集格式；

进一步，所述步骤2具体描述如下：

步骤2-1，主干网络提取原始图片的特征区域，生成共享特征图；

进一步，步骤2-1按照如下方法完成特征区域提取，主干网络采用SE-ResNet101+Balance-FPN的卷积网络结构，在ResNet101网络中的每个残差模块后加入SE模块，为特征通道增加权重，增强有效特征通道，抑制无效和效果微弱的特征通道，强化提取商品重要特征，将FPN的4个阶段得到的特征图调整为相同尺寸，将各个阶段的输出的特征图进行特征融合，再按照比例还原回每个阶段的原来大小的特征图，输出每个阶段的强化语义信息特征图；

步骤2-2，候选区域生成网络RPN生成候选区域，对候选区域进行分类和边框回归修正；

进一步，步骤2-2按照如下方法生成候选区域，RPN网络使用anchor机制生成候选框，对候选框进行前景和背景的分类打分和边框的第一次回归修修正，采用非极大值抑制算法筛选候选框；

步骤2-3，池化层从步骤2-2中生成的候选框中筛选出IoU均匀分布的正样本候选区域，为RPN候选区域和IoU正样本候选区域从共享特征图中提取对应的特征，并将特征维度转换为定值；

进一步，步骤2-3按照如下方法筛选IoU均匀分布正样本候选区域和提取定值特征图，划定IoU值域区间，为不同的真值框从相同的IoU区间筛选出相同个数的候选框，作为训练的IoU均匀分布正样本，RoIAlign层使用双线性插值的方法从步骤2-1生成的共享特征图中提取对应特征图；

步骤2-4，将步骤2-3中转换后得到的特征图进行分类和生成掩膜，同时进行边框的第二次回归修正和IoU预测打分；

进一步，步骤2-4按照如下方法完成最终的边框回归和IoU预测，采用IoU-UniformRCNN对采集的IoU均匀分布的正样本进行训练，对边框进行第二次修订和IoU预测打分，将IoU预测分支的得分作为对边界框排序的度量，IoU预测分支得分乘以分类得分作为非极大值抑制的衡量准则；

步骤3，训练购物台商品检测模型，将划分好的训练集对基于mask rcnn构建的网络模型进行训练，训练过程中结合验证集的精度和召回率指标，调整网络模型参数，最终停止训练网络模型，保存参数权重。

进一步，步骤3按照如下方法完成购物台商品检测模型的训练，训练购物台商品检测模型采用resnet101在公开数据集coco上的分类训练模型作为预训练模型，

与现有技术相比，本发明的所能达成的积极技术效果如下：

建立了针对无人零售场景下的购物台商品数据集；

设计商品检测模型框架，提取出强语义信息的特征图，筛选出均匀IoU值的候选框进行训练，提升了商品检测的准确率，边框回归精度和掩膜精度。

附图说明

图1是购物台商品检测方法流程图。

图2是残差网络单元特征通道加权结构图

图3是平衡金字塔特征网络结构图。

图4是平衡IoU网络结构图。

具体实施方式

下面，下面结合附图对发明的技术方案进行详细说明：

本发明提供一种无人零售购物台商品检测的方法，首先构建购物台商品数据集，再根据数据集的特点和难点构建商品检测网络框架，在提取图像特征区域的主干网络中加入SE模块，建立特征通道的权重关系，强化重要特征提取，平衡融合特征金字塔网络输出的特征图，强化了特征语义和空间信息的融合，在生成候选区域的过程中，通过设置IoU区间筛选出IoU分布均匀的训练样本，增加IoU预测分支为候选框打分，作为为候选框进行排序的标准，将IoU预测分数和分类分数相乘作为非极大值抑制算法的衡量标准，最终完成了对购物台商品数据集的检测和识别，流程如图1所示。

具体通过以下步骤实现：

步骤1，制作购物台商品数据集。

步骤1-1，根据顾客自助结算购物台商品摆放特点，设计商品摆放角度和朝向，并采用黑色背景降低光照对商品识别的影响，通过拍照设备制作收集4214张购物台商品数据集，包含80类不同的商品。

步骤1-2，使用labelme软件，手动标注数据集，标注完成后，为每张图片生成一个json文件，记录标记的信息。

步骤1-3，从购物台商品数据集中随机抽取3020张图片作为训练集，822张图片作为验证集，361张图片作为测试集，将划分好的数据集的json文件转换为coco数据集格式。

步骤2，采用两阶段实例分割框架mask rcnn构建网络模型：

步骤2-1，主干网络提取原始图片的特征区域，生成共享特征图。主干网络采用SE-ResNet101+Balance-FPN的卷积网络结构，SE-Net首先进行Squeeze操作，对特征图进行全局平均池化操作，将每个二维特征通道进行压缩，获取全局特征信息，然后进行Excitation操作，为特征通道增加权重，学习特征通道间的关系，如图2所示，将SE模块加入到ResNet101每个残差模块后，增强有效特征通道，抑制无效和效果微弱的特征通道，强化提取商品重要特征。如图3所示，FPN输出的各阶段的特征图分别为C2,C3,C4,C5，将各个阶段特征图通过插值和最大池化的方法统一调整为C4的尺寸，然后进行特征融合平均，再将得到的特征图以相同的过程反向还原为原来各个阶段的尺寸，输出每个阶段的强化语义信息特征图。

步骤2-2，候选区域生成网络RPN生成候选区域。对候选区域进行分类和边框回归修正，RPN网络使用anchor机制按照0.5，1，2的比例为每个像素点生成9个候选框，对候选框进行前景和背景的分类打分和边框的第一次回归修正，采用非极大值抑制算法筛选候选框，RPN网络为检测网络过滤掉了大量的背景候选框，使得正负样本均衡。

步骤2-3，池化层从步骤2-2中生成的候选框中筛选出IoU均匀分布的正样本候选区域，为RPN候选区域和IoU正样本候选区域从共享特征图中提取对应的特征，并将特征维度转换为定值。如图4所示，将IoU区间划分为[0.5,0.6),[0.6,0.7),[0.7,0.8),[0.8,1.0)，各个区间的loss权重分别为1.0，1.5，3.0，3.0，为每个真值框从各个IoU区间选取出64个样本框，构成正样本候选区域，RoIAlign层使用双线性插值的方法从共享特征图中提取对应特征图。

步骤2-4，将步骤2-3中转换后得到的特征图进行分类和生成掩膜，同时进行边框的第二次回归修正和IoU预测打分。采用IoU-Uniform RCNN对采集的IoU均匀分布的正样本进行训练，训练过程中，将对边框的进行回归修正后得到的边界框作为新的候选区域，再次由RoIAlign从共享特征图上提取对应的特征图，送入IoU进行预测打分，将IoU预测分支的得分作为对编辑框排序的度量，IoU预测得分乘以分类得分，作为非极大值抑制的衡量准则。

步骤3，训练购物台商品检测模型，将划分好的训练集对基于mask rcnn构建的网络模型进行训练，训练过程中结合验证集的精度和召回率指标，调整网络模型参数，最终停止训练网络模型，保存参数权重。采用resnet101在公开数据集coco上的训练得到的分类训练模型作为预训练模型。

Claims

1.一种无人零售购物台商品检测方法，其特征在于，其基于实例分割网络模型maskrcnn，所述方法包括如下步骤：

步骤1，制作购物台商品数据集：

步骤1-3，从购物台商品数据集中随机抽取3020张图片作为训练集，822张图片作为验证集，361张图片作为测试集，将划分好的数据集的json文件转换为coco数据集格式；

步骤2，基于两阶段实例分割框架mask rcnn构建网络模型：

主干网络采用SE-ResNet101+Balance-FPN的卷积网络结构，在ResNet101网络中的每个残差模块后加入SE模块，为特征通道增加权重，增强有效特征通道，抑制无效和效果微弱的特征通道，强化提取商品重要特征，将FPN的4个阶段得到的特征图调整为相同尺寸，将各个阶段的输出的特征图进行特征融合，再按照比例还原回每个阶段的原来大小的特征图，输出每个阶段的强化语义信息特征图；

2.根据权利要求1所述的方法，其特征在于，在所述步骤2-2中，RPN网络使用anchor机制生成候选框，对候选框进行前景和背景的分类打分和边框的第一次回归修正，采用非极大值抑制算法筛选候选框。

3.根据权利要求1所述的方法，其特征在于，在所述步骤2-3中，划定IoU值域区间，为不同的真值框从相同的IoU区间筛选出相同个数的候选框，作为训练的IoU均匀分布正样本，RoIAlign层使用双线性插值的方法从步骤2-1生成的共享特征图中提取对应特征图。

4.根据权利要求1所述的方法，其特征在于，在所述步骤2-4中，采用IoUnet对采集的IoU均匀分布的正样本进行训练，对边框进行第二次修订和IoU预测打分，将IoU预测分支的得分取代分类得分，作为非极大值抑制的衡量准则。

5.根据权利要求1所述的方法，其特征在于，在所述步骤3中，训练购物台商品检测模型采用resnet101在公开数据集coco上的分类训练模型作为预训练模型。