CN114048789A - 基于改进Cascade R-CNN的酒瓶瑕疵检测 - Google Patents

Abstract

这种基于改进Cascade R‑CNN的酒瓶瑕疵检测模型，主要应用在厂家瓶装酒酒瓶瑕疵领域。该发明以它的网络结构和模型算法大大提高了瓶装酒的出厂质量和效率。本文的创新思想在于采用了基于聚类算法的Anchor生成策略，将多尺度预测的骨干网络用作特征提取，使用感兴趣对齐层取代原先的感兴趣池化层。由数据分析实验结果表明，通过对Anchor的优化，使得该算法模型能够快速的更好的收敛，更加适合于酒瓶瑕疵的目标检测。本文提出的改进模型相比于其他基于Faster R‑CNN和Cascade R‑CNN的酒瓶瑕疵检测模型，能够更加准确的识别和定位出多类酒瓶瑕疵情况，在检测速度方面虽然略逊其他模型，但模型检测的准确度达到了79.6％，远高于其他模型。主要用途是给瓶装酒厂家提供可靠有效的瑕疵检测方法。

Description

基于改进Cascade R-CNN的酒瓶瑕疵检测

技术领域

本发明采用一种基于改进的Cascade R-CNN的酒瓶瑕疵检测装置，应用在厂家瓶装酒酒瓶瑕疵识别中。

背景技术

我国是生产消费大国，特别是酒业生产已经成为国民经济的重要组成部分。而在瓶装酒的生产过程中，受到原材料质量(酒瓶)以及加工工艺(灌装)等因素的影响，产品中可能存在各类瑕疵影响产品质量。一条生产线需要有三到五个质检环节分别检测不同类型的瑕疵。由于瑕疵种类多样、有的瑕疵体积小不易察觉，瓶装酒厂家往往需要投入大量人力成本用于产品质检。但人力观察往往存在以下缺点：

(1)人眼长期观察容易疲劳，难免产生漏检

(2)人眼感觉难以量化，标准难以掌握

(3)人的反应速度有限，随着灌装速度的不断提高，传统人眼检测难以满足生产的实时性要求

在瓶装酒酒瓶瑕疵检测中，能够准确无误地识别出各类瑕疵的精确位置是最为重要的一项，这种改进的Cascade R-CNN酒瓶瑕疵检测方法，有助于瓶装酒厂家管理者采取积极、有效的针对性措施，这大大提高了瓶装酒的出厂质量和效率。所以在瓶装酒酒瓶瑕疵检测中，精准地把瑕疵位置识别出来一直是重点和热点之一。经过多年研究、发展，机器视觉方面的目标检测理论研究不断深入，R-CNN系列的各种网络不断改进，尤其是像在酒瓶瑕疵这种小目标的检测上，应用效果明显突出并占据了一定的优势。

在瓶装酒酒瓶瑕疵检测中，目前主要是围绕基于卷积神经网络的目标检测算法展开，但仍然停留在精确度效果相对较好上。而针对检测精度问题，这里选用两阶段的目标检测算法。该类算法分为两个主要步骤：首先利用RPN(Regional proposal network)网络提取出可能的候选区域，然后经过一个分类和回归网络进行分类和定位。此类方法精确度效果好，只是速度稍慢。

针对上述情况，本发明应用Cascade R-CNN为基本框架，结合目标检测的最新技术，提出了一种改进的Cascade R-CNN算法，并结合聚类算法优化Anchor框生成策略。在检测速度基本持平的情况下，对酒瓶的瑕疵检测精度有了明显的提升。

发明内容

(1)使用聚类算法生成Anchor框，使算法模型更好的收敛，更适用于酒瓶瑕疵的目标检测。

(2)将多尺度预测的骨干网络用作特征提取，能够同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到预测的效果。

(3)使用感兴趣对齐层取代原先的感兴趣池化层。

(4)提出的改进的Cascade R-CNN模型，能够更加准确的识别和定位出多类酒瓶瑕疵情况。

附图说明

图1为ResNet-FPN网络结构图

图2为ROI Pooling过程图

图3为ROI Align示意图

图4酒瓶瑕疵示意图

图5：Faster R-CNN+ResNet-FPN+ROI Align网络结构图

图6Cascade R-CNN+ROI Align网络结构图

具体实施方式

1.算法描述

本文提出的算法检测框架主要基于改进的Cascade R-CNN模型的，具体的：(1)提出基于聚类算法的Anchor生成策略；(2)使用多尺度融合检测的骨干网络(ResNet-FPN网络)代替原先的VGG网络；(3)感兴趣对齐层(ROI Align)代替感兴趣池化层(ROI Pooling)。1.1级联区域卷积神经网络(Cascade R-CNN)

经典的算法模型Faster R-CNN在区域提案网络生成区域提案的过程中，需要通过锚框(anchors)与真实框(ground truth)的交并比IOU(Intersection over Union)来判定锚框为前景或背景。通常设置IOU＝0.5时选出的前景框中含有较多的背景会造成很多的误检，而直接提高IOU的阈值会导致可用的前景框呈指数下降，训练正样本不足。后来在Faster R-CNN基础上提出的Cascade R-CNN使得检测效果有了较大的提高，弥补了FasterR-CNN的IOU阈值设置困难的问题。

Cascade R-CNN通过级联三个回归器作为一种重采样的机制，逐阶段提高区域提案的IOU阈值，从而使得前一个阶段重新采样过的区域提案能够适应下一个有更高阈值的阶段，最终产生更高质量的区域提案，使得模型在检测速度损失较少的情况下，检测精度有了明显的提高。

1.2基于聚类算法的Anchor生成策略

在Cascade R-CNN和Faster R-CNN中的Anchor都是固定的，锚框的基础边长设置较为固定，通用性较好，但由于初始生成的锚框与实际标注框差距较大，尺寸设计不合理会造成前期训练区域提案较少、训练速度较慢、训练困难等问题。

本文提出一种基于聚类算法的Anchor生成策略，对特定标注文件的选出合适Anchor尺寸，加快模型收敛速度。具体的对标注数据进行如下处理：

统计标注数据的长宽数据分布，使用聚类的方法选取anchor的基础边长(scales)。

对标注数据的长宽比进行统计分析，选取合适的Anchor长宽比尺寸(ratios)。

聚类生成Anchor scales流程

1.3多尺度检测网络(ResNet-FPN)

对于深度卷积神经网络，高层网络的感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱(空间几何特征细节缺乏)；低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱。Tsung-Yi Lin等提出的基于特征金字塔结构(FPN)目标检测网络，能够在多个不同特征图上分别提取区域提案，实现在多尺度预测。

如图1所示，基于ResNet的FPN骨干网络，主要包括自下而上、自上而下和横向连接三个部分，可以将各个层级的特征进行融合，使其同时具有语义信息和强空间信息。

自下而上：将ResNet作为骨干网络，根据特征图的大小分为五个阶段。其中stage2，stage3，stage4，stage5每个阶段最后一层的卷积核输出分别定义为C₂,C₃,C₄,C₅，他们各自相对于原始图片的步长分别为{4,8,16,32}。

自上而下与横向连接：对C₂,C₃,C₄,C₅中的每一层经过一个1x1的卷积操作用以降低通道数，将输出通道全部设置为相同的256，将从最高层开始进行最近邻上采样，将卷积后的特征图与执行上采样后的特征图进行加和操作。在融合之后再次使用3x3的卷积核对融合后的卷积图进行处理以消除上采样的混叠效应。最终得到的特征图为[P2,P3,P4,P5]作为后续RPN网络的输入和R-CNN网络的输入。

1.4感兴趣对齐层(ROI Align)

Cascade R-CNN的感兴趣池化层(ROI Pooling)就是将感兴趣的区域从特征图上划分出来，然后缩放成固定大小区域提案。但是在处理过程中会存在两次取整操作：(1)候选区域的位置信息{x,y,w,h}通常是小数，但为了方便操作会把他整数化；(2)整数化后的候选区域平均分割成k×k个单元，会对每一个单元的边界进行整数化。

从图2中可以明显看出，经过两次整数化后可能会出现“不匹配问题(misalignment)”：候选区域与最开始回归选出来的区域会有一定的位置偏差，这个偏差会影响检测或者分割的准确度。

为了解决ROI Pooling的不匹配问题，使用He等人提出了ROI Align算法消除了不匹配的问题。具体的：取消整数化操作，保留浮点数坐标，并用双线性插值法获得坐标为浮点数的像素点上的图像数值，然后将这些坐标点进行池化得到最终结果。

由图3可以看到ROI Align的算法步骤如下：

·遍历每一个候选区域，保持浮点数边界不做量化；

·将候选区域分割成k×k个单元，每个单元的边界也不做量化处理；

·在每个单元中计算固定四个坐标位置，用双线性内插值的方法计算四个位置的值，然后进行最大池化操作。

2实验结果与分析

本次实验采用的数据来自真实生产中采集的酒瓶瑕疵数据集，数据集共包含三个大类：瓶盖瑕疵、贴标瑕疵、喷码瑕疵。三个大类里面又包含共十个小类：{瓶盖部分：瓶盖破损、瓶盖变形、瓶盖坏边、瓶盖打旋、瓶盖断点；标贴部分：标贴歪斜、标贴起皱、标贴气泡；喷码部分：正常喷码、异常喷码}。如图4所示将酒瓶瑕疵准确的框出来。

2.1实验细节

首先根据上一节的聚类结果设置anchor的长宽比(ratio)和基础边长(scales)，对比模型训练的收敛速度。其次，为了证明本文设计算法的优越性，将本文设计的算法与几种目前最常用的基线检测器进行实验：Faster R-CNN和Cascade R-CNN检测模型。骨干网络是否使用ResNet-FPN，是否使用ROI Align取代ROI Pooling的感兴趣池化层。

Faster R-CNN：基础Faster R-CNN模型，骨干网络为VGG16[20]网络，输入图像经过骨干网络生成特征图，特征图经过区域提案网络生成感兴趣的区域，这些区域经过一个ROI池化层，得到128个ROI，后接两个全连接层，每个全连接层保留2048个单元，然后分别经过softmax分类和bbox回归网络。其中带ResNet-FPN和ROI Align的网络模型图5所示。

Cascade R-CNN：级联R-CNN共有四个阶段，一个RPN和三个用于U＝{0.5,0.6,0.7}的检测阶段，所有级联检测阶段都具有相同的架构。其中u＝0.6和u＝0.7分别使用了第二阶段和第三阶段的建议。带ROI Align的Cascade R-CNN结构图如图6所示。

2.2实验结果

由以上算法模型和实验步骤可得出根据k-means聚类出的anchor尺寸参数，能够有效的加快模型训练的速度，加快模型收敛。

Claims (4)

1.一种基于改进Cascade R-CNN的酒瓶瑕疵检测模型，包括基于聚类算法的Anchor生成策略、使用多尺度融合检测的骨干网络(ResNet-FPN网络)代替原先的VGG网络、感兴趣对齐层(ROIAlign)代替感兴趣池化层(ROI Pooling)。其特征在于，Anchor生成策略应用在锚框尺寸设计上，使模型区域提案网络生成特定尺寸的Anchors；将多尺度预测的骨干网络用在特征提取上；感兴趣对齐层应用在ROI Pooling的不匹配问题上。

2.这种所述的基于改进Cascade R-CNN的酒瓶瑕疵检测模型，其特征在于：通过对Anchor的优化，使得该算法模型能够快速的更好的收敛，更加适合于酒瓶瑕疵的目标检测；统计标注数据的长宽数据分布，使用聚类的方法选取anchor的基础边长，对标注数据的长宽比进行统计分析，选取合适的Anchor长宽比尺寸。

3.这种所述的基于改进Cascade R-CNN的酒瓶瑕疵检测模型，其特征在于：ResNet的FPN骨干网络，主要包括自下而上、自上而下和横向连接三个部分，可以将各个层级的特征进行融合，使其同时具有语义信息和强空间信息；将骨干网络从VGG16网络替换为ResNet50-FPN网络，对小目标的检测具有较大的提升，能够使得模型具有更好的检测效果，大约达到60％的mAP；通过融合这些不同层的特征达到预测的效果，实验结果表明在FasterR-CNN网络和Cascade R-CNN网络上面均能有3％的精度提升。

4.这种所述的基于改进Cascade R-CNN的酒瓶瑕疵检测模型，其特征在于：ROIAlign算法消除了不匹配的问题；ROIAlign层的使用取消了原来生成区域提案时的两次取整操作，消除了特征图与原始图像的不对准问题，有效的提升了缺陷定位的精准度；ROIAlign层替换ROI Pooling层能够带来大约4％的检测精度的提升；ROIAlign层对检测速度的影响较小，多尺度融合的特征提取网络会带来检测精度的提升，但同时会造成检测速度略有下降。

保护范围

模型给出厂家瓶装酒酒瓶瑕疵精准识别方法，使得酒瓶厂家高速高质量发展。

Images