CN111598861B

CN111598861B - 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法

Info

Publication number: CN111598861B
Application number: CN202010402886.8A
Authority: CN
Inventors: 陈海永; 刘聪; 刘卫朋; 张建华; 王霜
Original assignee: Hebei University of Technology
Current assignee: Hebei University of Technology
Priority date: 2020-05-13
Filing date: 2020-05-13
Publication date: 2022-05-03
Anticipated expiration: 2040-05-13
Also published as: CN111598861A

Abstract

本发明公开了一种基于改进的Faster R‑CNN模型的非均匀纹理小缺陷的检测方法，该方法包括获取含有待检测缺陷的待检测对象的图像，并采用改进的Faster R‑CNN模型对待检测对象的图像进行特征提取；所述改进的Faster R‑CNN模型具体是，在VGG16网络结构的最后三个阶段通过嵌入残差互补注意力门模块的特征金字塔多尺度融合结构提取特征。改进后的Faster R‑CNN模型以特征金字塔的方式从上到下整合各阶段的不同尺度和感受野的特征图信息，增强对不同类型缺陷的判别能力，尤其是对不同程度褶皱的判别能力显著提高，且显著提高整体的召回率，满足工业精度要求。残差互补注意力门模块能指导多尺度特征融合，以抑制复杂的背景信息，进而从全局捕获上下文信息以更准确的定位小缺陷。

Description

基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法

技术领域

本发明涉及计算机视觉领域、深度学习、目标检测等技术领域，特别涉及一种基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法。

背景技术

锂电池作为现代工业中重要的材料之一，在新能源汽车、建筑、工业制造等领域被广泛使用，在锂电池投入使用之前需要对锂电池的质量进行检测。锂电池缺陷种类繁多，主要包括封边褶皱，极片划痕、露箔、颗粒、穿孔、暗斑、异物，以及表面凹痕、污迹、鼓包、喷码变形等，且缺陷形状随机、大小不一，而且锂电池表面具有非均匀纹理复杂背景，这些给锂电池质量检测带来巨大挑战。

现有锂电池质量检测的方法是通过人工肉眼比对、手触摸感觉对产品抽样检测，人工存在易疲劳的问题，面对长时间的检测容易出错；人为的判断标准存在主观性，不同时段对相似样本会出现不同判断；由于锂电池部分缺陷尺寸较小，导致许多细节人眼无法准确地识别；人工检测效率很低，且无法进行实时检测。

文献《锂电池表面缺陷检测研究》提出了一套锂电池表面检测系统，能实现手机锂电池外观尺寸缺陷、顶峰封印异物缺陷以及喷码不良的自动检测；但是由于锂电池表面每种缺陷形态各异，且大小不一，因此很难找到一套可以表征所有缺陷特征的算法，尤其是部分缺陷看起来非常小，且受复杂背景的影响严重，缺陷识别的效果将会显著下降。

何凯明等人提出一种二阶段目标检测框架Faster R-CNN(Ren S,He K,GirshickR,et al.Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.)，但是其主要针对的是公共数据集，目标像素较大(例如VOC2007数据集中目标像素为500*366)，难以适用于工业缺陷检测。大图像、小缺陷是工业缺陷检测的一大特点，例如一张100万分辨率大小的锂电池图像上存在的缺陷只有几十个像素甚至十几个像素，很容易造成小缺陷的定位不准确，不能满足工业检测精度要求，因此现有的Faster R-CNN不能直接应用到锂电池的表面缺陷检测当中。

注意力模块同样在计算机视觉中扮演着重要角色，主要用于学习图像中物体的上下文信息、或是不同物体的相对位置信息、亦或是远距离物体的相关性；本发明在FasterR-CNN模型中嵌入残差互补注意力门模块来捕获丰富的上下文信息，以增强小目标缺陷特征的表达能力。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于改进的FasterR-CNN模型的非均匀纹理小缺陷的检测方法。

本发明解决所述技术问题采用的技术方案是，提供一种基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法，其特征在于，该方法包括获取含有待检测缺陷的待检测对象的图像，并采用改进的FasterR-CNN模型对待检测对象的图像进行特征提取；

所述改进的FasterR-CNN模型具体是，在VGG16网络结构的最后三个阶段通过嵌入残差互补注意力门模块的特征金字塔多尺度融合结构提取特征；

所述残差互补注意力门模块具体是：

将特征y1经过卷积后生成新的特征h(y1)，特征h(y1)经过依次经过全局平均池化和多层感知器后，再通过sigmoid激活函数后得到通道注意力映射图A，最后将通道注意力映射图A与特征y1进行相乘得到经通道注意力模块输出的特征B；其中，

A＝sigmoid(MLP(GAP(h(y1)))) (1)

A∈R^C×1 (2)

B∈R^C×H×W (3)

式中，R表示特征空间，C、W和H分别表示特征图的通道数量、宽度和高度；

然后，将特征B分别经过三个卷积后生成特征E、F和G，将特征E、F和G分别进行重组得到特征E’、F’和G’；其中，

{E,F,G}∈R^C×H×W (4)

E'∈R^C×N，F'∈R^C×N，G'∈R^C×N (5)

式中，N＝H×W；

将特征E’的转置和特征F’进行矩阵乘积运算并经过softmax激活函数后成空间注意图S，将空间注意图S与特征G’相乘，得到经空间注意力改进的特征Q；最后将特征y1与特征Q进行逐元素相加求和，获得经残差互补注意力门模块后的精细特征y2。

所述嵌入残差互补注意力门模块的特征金字塔多尺度融合结构具体为：

将VGG16网络的第三阶段、第四阶段和第五阶段中每个卷积层分别横向进行卷积，每一层对应输出一个横向的卷积特征；将每个阶段的三个横向的卷积特征进行逐元素相加求和，得到该阶段的混合卷积特征，第三、四、五阶段分别对应混合卷积特征x、混合卷积特征y和混合卷积特征z；

其中，混合卷积特征z经过卷积后得到特征z1，特征z1经过下采样后得到特征Z；

特征z1同时经过上采样后得到特征z2，特征z2与混合卷积特征y按照通道拼接在一起，形成特征y1；特征y1再经过残差互补注意力门模块得到精细特征y2，精细特征y2经过下采样后得到特征Y；

精细特征y2同时经过上采样得到特征x1，特征x1与混合卷积特征x按照通道拼接在一起，形成拼接后的特征x2；特征x2经过残差互补注意力门模块得到精细特征x3，精细特征x3经过下采样后得到特征X；

最后将上述的特征X、Y、Z按照通道拼接在一起后，再经过卷积后即为改进的Faster R-CNN模型的最终输出特征。

所述VGG16网络所有卷积层的卷积核大小为3×3、步长为1；池化窗口大小为2×2、步长为2。

一种基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法的具体步骤是：

S1、图像获取，包括无缺陷的图像和含有待检测缺陷的图像，将图像归一化调整至1024x1024像素；

S2、制作数据集；对步骤S1中含有待检测缺陷的图像中的缺陷进行标注形成标签，并将所有的标签按照比例分为不同的数据集；

S3、改进Faster R-CNN模型；以VGG16网络为基础，在VGG16网络的最后三个阶段通过嵌入残差互补注意力门模块的特征金字塔多尺度融合结构提取特征；

S4、模型训练

S4-1、根据数据集中待检测缺陷的种类数和待检测缺陷名称修改改进的FasterR-CNN模型的类别总数与类别标签；

S4-2、设置改进的Faster R-CNN模型的初始权重；

S4-3、筛选预测框；读取训练图像，RPN网络对训练图像自动生成多个预测框，通过softmax激活函数判断每个预测框属于前景或者背景，再对每个预测框利用边框回归函数修正锚框，再使用非极大值抑制法进行筛选，生成精简预测框；

S4-4、对精简预测框内的目标通过全连接层进行分类与定位，得到缺陷的类别和位置，并通过损失函数计算训练损失；

S4-5、训练阶段；根据训练损失的变化来自适应调整学习率以更新整个网络的参数，直到验证集的准确度不再发生变化时迭代终止，并将保存训练得到的模型；

S5、模型测试

输入测试用的尺寸为1024x1024像素的待检测对象的图像，单张图像检测时间为0.1s；每次训练迭代图像的有效批量大小为2；精简预测框的推荐数量设定为300；分类得分阈值和非最大抑制阈值均为0.5；感兴趣区域被视为背景的重叠阈值为[0.0，0.3]。

所述待检测对象为锂离子电池、光伏电池表面、光伏电池EL或光伏组件。

所述缺陷种类为褶皱、划痕、黑点或白斑。

与现有技术相比，本发明的有益效果为：

由于工业生产过程的不确定性，锂电池缺陷的形状是不规则的，同一类缺陷的大小也不同，一些不同种类的锂电池缺陷几乎没有区别，例如锂电池表面褶皱和黑点，它们在纹理和灰度信息上非常相似，针对锂电池的表面这种复杂缺陷的存在，本发明提出一种嵌入残差互补注意力门模块的特征金字塔多尺度融合结构的设计；改进后的Faster R-CNN模型以特征金字塔的方式从上到下整合各阶段的不同尺度和感受野的特征图信息，增强对不同类型缺陷的判别能力，尤其是对不同程度褶皱的判别能力显著提高，且显著提高整体的召回率，满足工业精度要求。

如果直接使用VGG16网络的低级特征(前四个阶段)与高级特征(第五个阶段)叠加，则会过度引入低级特征的冗余背景信息，因此提出一种新颖的多尺度注意力模型(残差互补注意力门模块)以指导多尺度特征融合，以抑制复杂的背景信息；针对锂电池缺陷的细小特点，残差互补注意力门模块能从全局捕获上下文信息以更准确的定位小缺陷，残差互补注意力门模块包括通道注意力模块和空间注意力模块，可以自适应地分别在通道和空间维度自适应捕获远程相似的上下文信息以指导多尺度特征融合(即在通道注意力中采用通道注意力映射图A和初始特征与初始输入的特征y1通过相乘形式融合、在空间注意力中采用空间注意图S与特征G’相乘融合，实现自适应调整)，经通道注意力模块来告诉网络“看什么”以实现复杂背景和缺陷的解耦，保留缺陷信息，抑制背景信息，增强不同缺陷的语义识别性；通过空间注意力模块来告诉网络“看哪里”以增强网络的特征分辨能力，减弱随机纹理特征的干扰，突出显示缺陷区域，得到精细化特征；精细后的特征(特征X、Y)将与融合后的特征(特征Z)叠加，这是一个残差连接，可以在模型开始训练时帮助网络轻松地学习注意力权重，且通道注意力模块和空间注意力模块的关系是互补的。

与传统手动提取特征的方法和利用简单神经网络的方法相比，本方法对大小不一、形式各异的缺陷有着良好的适用性与鲁棒性；与传统人工检测方法相比，本方法有着明显的效率提升，节省了检测时间并且提高了准确率。

本发明具有良好的移植性，能够在模型训练完成后嵌入到系统中，可以与缺陷检测系统结合在一起，将检测到的缺陷情况与PLC或者机械臂进行通讯，完成实时分拣的操作；同时可以被移植应用到相似缺陷，比如非均匀纹理背景下的小缺陷的检测中，例如光伏电池表面缺陷、光伏电池EL缺陷、光伏组件缺陷等，具有一定的借鉴意义。

本发明具有在线训练与模型更新的优势，针对新的缺陷类型，可以即时完成新模型的训练，可以灵活应对不同的缺陷类型，适应性强。

附图说明

图1为本发明的整体流程图；

图2为本发明的改进的Faster R-CNN模型的网络结构图；

图3为本发明的残差互补注意力门模块的网络结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面以应用于锂电池中进行锂电池表面缺陷检测为例，对本申请方法进行详细叙述。

本发明提供一种基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法(简称方法)，具体包括以下步骤：

S1、图像获取

利用高精度彩色工业相机采集锂电池图像，将采集的图像经过微调至1024x1024，作为缺陷检测的原始图像，本申请中不需要对原始图像进行复杂的预处理过程，保证尺寸归一化后能用于模型输入即可；该图像尺寸的设置几乎保持与原始相机采集的图像尺寸相当，能够更好地保留图像缺陷信息，且没有复杂的处理过程，提高了算法处理速度，满足了生产线检测的实时性要求；原始图像包括无缺陷的图像和含有待检测缺陷的图像；含有待检测缺陷的图像既可以是包含单一缺陷的图像也可以是包含多种缺陷的图像，必须包含所有待检测缺陷种类；

S2、制作数据集

制作数据集，具体以Pascal Voc2007的标准格式为模板，包括以下步骤：

S2-1、建立数据集存放文件夹

新建VOCdevkit文件夹，在VOCdevkit文件夹下VOC2007文件夹；在VOC2007文件夹下分别建立Annotations文件夹、JPEGImages文件夹以及ImageSets文件夹三个文件夹，在ImageSets文件夹下建立Main文件夹；在Main文件夹下建立train.txt、val.txt、test.txt以及trainval.txt四个文件，分别用于存放训练集、验证集、测试集和训练验证集；Annotations文件夹用于存放所有标注后的图像的xml文件；JPEGImages文件夹用于存放含有待检测缺陷的原始图像；

S2-2、标注图像

使用Labelimg软件对步骤S1中所有含有待检测缺陷的原始图像进行人工标注，将其中的缺陷部分标注出来；标注后的每张图像都对应生成一个包含图像名称、缺陷类别和缺陷位置坐标信息的xml文件，一个xml文件即为一个标签，将所有的xml文件保存到Annotations文件夹中；

S2-3、对数据集进行分组

将所有的xml文件按照比例分成VOC2007数据集中的训练集train.txt、验证集val.txt、训练验证集trainval.txt和测试集test.txt；首先提取Annotations文件夹中的所有xml文件，然后将所有xml文件按照7:1:2的比例(此种比例检测效果最好)随机分为3组，分别作为训练集、验证集和测试集，训练验证集为训练集和验证集的总和，并将各个数据集对应的xml文件的文件名保存至相应的txt文件中；例如，将分到训练集的所有xml文件的文件名保存至train.txt文件中；

S3、改进Faster R-CNN模型

本发明的网络模型是基于Faster R-CNN模型的VGG16网络结构的改进，即在Faster R-CNN模型的VGG16网络结构的最后三个阶段通过嵌入残差互补注意力门模块(Residual ComplementaryAttention Gate，简写为RCAG)的特征金字塔多尺度融合结构提取特征；

其中，嵌入残差互补注意力门模块的特征金字塔多尺度融合结构具体为：

原始VGG16网络分为五个阶段(Stage)，由13个卷积层和4个池化层堆叠(stack)而成，每个阶段包含不同数量的卷积层(Conv)和池化层(pool)；其中，Stage1和Stage2分别包含两个卷积层和一个位于所有卷积层之后的池化层，Stage3和Stage4分别包含三个卷积层和一个位于所有卷积层之后的池化层，Stage5包含三个卷积层，同一阶段内的每个卷积层的通道数和卷积核大小均相同；卷积层所有的卷积核大小为3×3、步长为1；池化窗口大小为2×2、步长为2；

将Stage3、Stage4和Stage5中每个卷积层分别横向进行卷积核大小为1×1、步长为1的卷积，每一层对应输出一个横向的卷积特征；然后将同一阶段的三个横向的卷积特征进行逐元素相加求和，得到该阶段的混合卷积特征；例如，Stage3的每个卷积层分别横向进行卷积核大小为1×1、步长为1的卷积，每一层对应输出一个横向的卷积特征；将Stage3的三个横向的卷积特征逐元素相加求和，得到混合卷积特征x；Stage4和Stage5同理，分别得到混合卷积特征y和混合卷积特征z；

将Stage5的混合卷积特征z通过卷积核大小为3×3、步长为1的卷积，进一步提取特征，得到特征z1；特征z1经过卷积核大小为3×3、步长为1的下采样(Stride)，得到下采样后的特征Z；

特征z1同时通过卷积核大小为2×2、步长为1的上采样(upsample)放大到与Stage4的混合卷积特征y尺寸相同，得到上采样后的特征z2；特征z2与stage4的混合卷积特征y按照通道拼接(Concat)在一起，形成拼接后的特征y1；特征y1再经过残差互补注意力门模块得到精细特征y2，以增强细小缺陷特征的表达能力；精细特征y2经过一个卷积核大小为3×3、步长为2的下采样，得到特征Y；

精细特征y2同时通过卷积核大小为2×2、步长为1的上采样(upsample)放大到与stage3的混合卷积特征x尺寸相同，得到上采样后的特征x1；特征x1与stage3的混合卷积特征x按照通道拼接在一起，形成拼接后的特征x2；特征x2经过残差互补注意力门模块得到精细特征x3，精细特征x3经过一个卷积核大小为3×3、步长为4的下采样，得到特征X；

最后将上述的特征X、Y、Z按照通道拼接在一起，再经过卷积核大小为1×1、步长为1的卷积后得到表达能力增强的特征W；

其中，以特征y1经过残差互补注意力门模块得到精细特征y2为例说明残差互补注意力门模块的具体实施过程；残差互补注意力门模块包括两部分(Part1和Part2)，分别为通道注意力模块(ChannelAttenion)和空间注意力模块(PositionAttention)；

Part1 ChannelAttention：首先将特征y1经过一个卷积核大小为1×1、步长为1的卷积后生成新的特征h(y1)，特征h(y1)经过全局平均池化(GAP)以降低特征的维数，并得到GAP输出特征；然后使用多层感知器(MLP)来精细GAP输出特征，精细后的GAP输出特征通过sigmoid激活函数后得到通道注意力映射图A，最后将通道注意力映射图A与特征y1进行相乘得到经通道注意力模块输出的特征B；其中，

A＝sigmoid(MLP(GAP(h(y1)))) (1)

A∈R^C×1 (2)

B∈R^C×H×W (3)

Part2 PositionAttention：首先将特征B分别通过三个卷积核大小为1x1、步长为1的卷积后生成三个新的特征E、F和G，分别将特征E、F和G重组(reshape)，得到重组后的特征E’、F’和G’；其中，

{E,F,G}∈R^C×H×W (4)

E'∈R^C×N，F'∈R^C×N，G'∈R^C×N (5)

式中N＝H×W；

将特征E’的转置(transpose)和特征F’进行矩阵乘积运算并经过softmax激活函数后成空间注意图S，将空间注意图S与特征G’相乘，得到经空间注意力改进的特征Q；最后将特征y1与特征Q进行逐元素相加求和，获得经残差互补注意力门模块最终输出的精细特征y2；其中，

S∈R^N×N (6)

例如输入锂电池图像的大小为1024x1024x3，其中宽和高都为1024，通道数为3；stage3、stage4和stage5各自的输出特征分别经残差互补注意力门模块后得到的精细特征x3、y2和z1的大小分别为为256x256x256、128x128x256和64x64x256；然后精细特征x3、y2和z1分别通过各自的下采样后至同样大小，即特征X、Y、Z的大小均为64x64x256，特征X、Y、Z通过通道拼接后特征大小为64x64x768；为了加快训练速度，拼接后的特征最后通过1x1的卷积改变通道数，输出特征表达能力增强的特征W，其大小为64x64x512；

S4、模型训练

S4-1、设置模型参数

根据数据集中待检测缺陷的种类数和待检测缺陷名称修改改进的FasterR-CNN模型的类别总数与类别标签，若数据集中一共4种待检测缺陷，改进的FasterR-CNN模型中的类别总数为5，包含背景和4种待检测缺陷类别；根据待检测缺陷名称对应修改改进的FasterR-CNN模型中的类别标签；

S4-2、设置改进的FasterR-CNN模型的初始权重

为了加快收敛速度，防止过拟合，将ImageNet数据集中预先训练得到的VGG16模型参数，作为改进的Faster R-CNN模型中VGG16网络的初始权重，同时初始化改进的FasterR-CNN模型中的RPN网络(区域生成网络)；

S4-3、筛选预测框

计算机读取训练图像，读入图像数据，包括图像名称、缺陷类别和缺陷位置坐标信息；通过RPN网络对训练图像自动生成多个预测框，通过softmax激活函数判断每个预测框属于前景(缺陷)或者背景，再对每个预测框利用边框回归函数修正锚框(anchor)，获得比较精确的预测框；使用非极大值抑制法(NMS)对获得的比较精确的预测框进行筛选，生成精简预测框；

S4-4、计算训练损失

对精简预测框内的目标通过全连接层进行分类与定位，得到缺陷的类别和位置，并通过损失函数计算训练损失；其中训练损失包括分类损失和回归损失，损失函数如下：

上述公式中，k为整数，表示每一个样本的下标；p_k表示锚框预测为目标的概率；

表示第k个锚框预测为目标的概率；λ表示权重平衡参数；t_k＝{t_x,t_y,t_w,t_h}表示预测框的四个参数坐标的向量；

是标定框的四个坐标向量；N_cls表示分类项的归一化的大小；N_reg表示回归项归一化为anchor位置的数量；

表示分类损失；

表示回归损失，定义为Smooth_L1(t-t^*)，Smooth_L1函数为

S4-5、训练阶段

根据训练损失的变化来自适应调整学习率以更新整个网络的参数，直到验证集的准确度不再发生变化时迭代终止，并将保存训练得到的模型；模型的初始学习率为0.01；在迭代15000次学习率降为0.001，迭代30000次后学习率迭代后降为0.0001，并最终以迭代40000次终止；

S5、模型测试

基于tensorflow1.13实现本申请的方法，其中模型在2个NVIDIA GeForce GTX2080ti GPUs上进行端到端训练，并通过同步SGD进行了优化，其权重衰减为0.0005，动量为0.9；输入测试用的锂电池图像，并将图像缩放调整到1024x1024像素；单张图像检测时间为0.1s，以满足生产效率的要求；每次训练迭代都有1张锂电池缺陷图像，因此有效批量大小为2；精简预测框的推荐数量设定为300；分类得分阈值和非最大抑制阈值均为0.5；值得注意的是，将感兴趣区域(RoI)被视为背景的重叠阈值设置为[0.0，0.3]。

为了验证本方法的有效性，使用该方法对锂电池表面褶皱、划痕、黑点和白斑一共4种缺陷图像进行了实验，改进Faster R-CNN模型前后的实验结果如表1所示；采用准确性(Precision，简写为P)、召回率(Recall，简写为R)和F测度(F-measure，简写为F)三种指标来评估缺陷分类性能，采用平均精度(AP)、平均精度均值(mAP)和平均联合交叉熵(MIOU)来评估缺陷检测性能；

表1改进Faster R-CNN模型前后的实验结果对比

表中，VGG16表示背景文献中提到的VGG16网络结构；c表示褶皱(包含不同程度褶皱)；h表示划痕(包含不同大小深度划痕)；d表示黑点(肉眼可见的不同大小的黑点)；b表示白斑(肉眼可见的不同大小的白斑)；IoU表示交并比；MIOU＝(IoU_c+IoU_h+IoU_d+IoU_b)/4；mAP＝(AP_c+AP_h+AP_d+AP_b)/4；

从表1中可知在缺陷图像分类效果方面，改进后的Faster R-CNN模型的F-测度为96.06％，性能优于VGG16网络结构；改进后的Faster R-CNN模型的召回率为94.08％，缺陷的识别率显著提高，表明在此过程中不易丢失缺陷特征，不会对缺陷漏检，满足工业上锂电池召回率控制在6％以内的精度要求。在缺陷图像定位中的性能，改进后的Faster R-CNN的平均精度均值mAP结果为73.19％，说明各类缺陷检测的精度整体都较高；其中褶皱、划痕、黑点和白斑缺陷的平均精度较原始Faster R-CNN模型分别提升了23.32％、4.86％、5.24％和6.89％，说明本申请方法对于各类缺陷的检测效果均较好，尤其是对褶皱的效果提升显著，缺陷定位更加准确。在位置预测方面，计算了真实标签和预测框之间的平均联合交叉熵(MIOU)，以评估缺陷位置预测的性能，改进的Faster R-CNN模型的平均联合交叉熵较原始的Faster R-CNN模型提高了11.9％，说明改进的Faster R-CNN模型在复杂随机纹理背景干扰下，对于小缺陷的位置预测更加准确；单张缺陷检测耗时165ms，能够适应锂电池自动化检测。本申请中四类缺陷中均包含不同尺度的相同种类缺陷，本申请对于不同种缺陷、同种不同尺度的缺陷均能识别，达到较好的识别效果。

在卷积神经网络大规模应用之前，人工提取特征进行缺陷检测的方法在机器视觉中应用较为广泛，为了进一步说明本申请的有效性，将本申请的缺陷检测方法与采用传统机器视觉方法(支持向量机，SVM)进行缺陷检测作了对比，对比结果如表2所示；

表2不同检测方法下的实验结果对比

表中，AE-CLBP+SVM表示完整局部二值模式与支持向量机结合；LBP+SVM表示局部二值模式与支持向量机结合；CPICS-LBP+SVM表示中心像素中心对称二值模式和支持向量机结合；HOG+SVM表示方向梯度直方图与支持向量机结合；Ours表示本方法的改进的FasterR-CNN模型；

从表2中可知，采用改进的Faster R-CNN模型提取特征后，其准确性与召回率都有大幅提高，这是因为锂电池表面纹理特征较多，包括大量非缺陷背景纹理特征，会对训练造成干扰，对于人工提取特征的机器学习方法而言，试图利用某种高级特征表达锂电池所有的表面缺陷特征太过困难，而且锂电池电池表面缺陷具有尺度不一、背景复杂等特征，这就使得采用人工提取特征的机器学习方法适应性较差，识别的准确性较低。

本发明未述及之处适用于现有技术。

Claims

1.一种基于改进的FasterR-CNN模型的非均匀纹理小缺陷的检测方法，其特征在于，该方法包括获取含有待检测缺陷的待检测对象的图像，并采用改进的FasterR-CNN模型对待检测对象的图像进行特征提取；

所述残差互补注意力门模块具体是：

A＝sigmoid(MLP(GAP(h(y1)))) (1)

A∈R^C×1 (2)

B∈R^C×H×W (3)

{E,F,G}∈R^C×H×W (4)

E'∈R^C×N，F'∈R^C×N，G'∈R^C×N (5)

式中，N＝H×W；

将特征E’的转置和特征F’进行矩阵乘积运算并经过softmax激活函数后成空间注意图S，将空间注意图S与特征G’相乘，得到经空间注意力改进的特征Q；最后将特征y1与特征Q进行逐元素相加求和，获得经残差互补注意力门模块后的精细特征y2；

嵌入残差互补注意力门模块的特征金字塔多尺度融合结构具体为：

2.根据权利要求1所述的检测方法，其特征在于，所述VGG16网络所有卷积层的卷积核大小为3×3、步长为1；池化窗口大小为2×2、步长为2。

3.根据权利要求1-2任一所述的检测方法，其特征在于，该方法的具体步骤是：

S4、模型训练

S4-1、根据数据集中待检测缺陷的种类数和待检测缺陷名称修改改进的Faster R-CNN模型的类别总数与类别标签；

S4-2、设置改进的Faster R-CNN模型的初始权重；

S5、模型测试

4.根据权利要求1所述的检测方法，其特征在于，所述待检测对象为锂离子电池、光伏电池表面、光伏电池EL或光伏组件。

5.根据权利要求1所述的检测方法，其特征在于，所述缺陷种类为褶皱、划痕、黑点或白斑。