CN114663380A - 一种铝材表面缺陷检测方法、存储介质及计算机系统 - Google Patents

Abstract

本发明公开了一种铝材表面缺陷检测方法、存储介质及计算机系统，其中方法包括以下步骤：S1，使用深度残差网络获取缺陷特征图；S2，特征提取网络FDA提取深层次特征；S3，针对缺陷特征图的每个位置生成多个预设的定位框，将区域建议网络RPN应用于缺陷特征图，并返回一个细化的区域建议框以及其中包含感兴趣对象的分数；S4，保留最接近真实框的区域建议框集合；S5，目标检测网络R‑CNN Predictor对区域建议框集合中的对象进行分类，并对区域建议框进行回归；S6，对步骤5得到的FDA‑FRCNN模型进行训练后得到最终的FDA‑FRCNN模型。FDA‑FRCNN模型实现了对各种尺度缺陷的高效检测。

Description

一种铝材表面缺陷检测方法、存储介质及计算机系统

技术领域

本发明涉及缺陷检测领域，特别涉及一种铝材表面缺陷检测方法、存储介质及计算机系统。

背景技术

随着我国制造行业水平和人民消费水平的不断提升，制造业对工业产品的质量的要求越来越高，同时产品表面质量对产品的直接使用和再加工都有重要影响，表面缺陷检测已成为工业生产过程中不可或缺的组成部分。目前，铝材行业已实现了生产环节的自动化，但对产品表面的缺陷检测一般采用人工视觉检测的方法。该方法不仅检测效率低、误检率及漏检率高、劳动强度大，而且人工检测成本高，易受工人经验和主观因素的影响。

随着图像处理技术的发展，机器视觉的缺陷检测方法已经逐渐取代了人工检测方法并在实际工业生产检测环境中得验证了可行性。机器视觉检测技术是一种非接触式的自动检测技术，具有安全性、可靠性、检测精度高以及能够长时间运行在复杂的生产环境中等优点，是实现金属材料以及钢铁行业生产自动化和智能化的有效方法，在实际应用场景中有着一定的优势。

在过去的几年中，许多传统的计算机视觉方法已经被应用到缺陷检测任务中。典型的基于机器视觉的缺陷检测方法包括光源、电荷耦合器件摄像机和图像处理算法。提出了阈值法和边缘检测法,它通过一些过滤算子提取边缘，然后使用阈值进行判断,但该方法不能清楚地识别缺陷和伪缺陷。一些学者使用基于小波的检测技术进行缺陷检测，可以使用选定的小波基和多分辨率级别检测多个典型缺陷，但对于每个类别的缺陷检测的精度并不高。尽管传统机器视觉方法实现了表面缺陷的自动检测，在某些情况下取得了很好的效果，但它们仍然存在一些问题。图像光线、明暗程度和图像质量的改变都会对结果产生巨大影响且缺陷检测中使用的手工设计功能需要由熟悉任务领域的程序员仔细设计，缺乏鲁棒性，不利于表面缺陷的识别、分类和检测。

卷积神经网络(Convolutional Neural Networks,CNN)是近年发展起来的一种高效识别方法，它是由动物视觉电生理启发而提出，模拟了生物大脑皮层的局部敏感特性和方向选择特性。与传统的计算机视觉方法相比，深度学习网络通过一系列卷积操作能够学习到更丰富、更具代表性的特征。一般来说，基于深度学习的工业生产缺陷检测任务通常包括分割、分类和检测多种形式，检测是对图像中的缺陷进行定位和分类，通常难度较大。基于目标检测框架Faster RCNN(Faster Region with Convolutional Neural Network)实现了工业CT(Computed Tomography)图像的缺陷检测。现有技术还研究了基于CNN的铁路表面缺陷检测，将轨道图像放入经过微调的CNN模型中，并提取关键特征对缺陷目标进行分类和定位。现有技术还使用AdamOptimizer算法对经典的Lenet-5卷积神经网络模型进行了改进，实现了对工业生产中点胶的缺陷检测。上述现有的研究虽然实现了较高准确率的缺陷检测算法，但关于铝材表面缺陷检测的研究相对较少。工业铝材表面缺陷检测任务中存在由微小目标占比大、样本稀疏和样本型变大带来的训练过拟合、精度差等问题，因而铝材表面缺陷检测是一项具有挑战性的工作。

发明内容

为了解决现有问题，本发明提供了一种铝材表面缺陷检测方法、存储介质及计算机系统，具体方案如下：

一种铝材表面缺陷检测方法，包括以下步骤：

S1，使用深度残差学习策略从嘈杂的图像中获取缺陷特征图；

S2，特征提取网络FDA从所述缺陷特征图中提取深层次特征；

S3，针对所述缺陷特征图的每个位置生成多个预设的定位框，对于每个所述定位框，将区域建议网络RPN应用于缺陷特征图中的相应区域，并返回一个细化的区域建议框以及其中包含感兴趣对象的分数；

S4，根据步骤3中的分数保留最接近真实框的所述区域建议框集合；

S5，目标检测网络R-CNN Predictor根据步骤2中所述特征提取网络FDA提取的缺陷特征图，对步骤4中的中保留的所述区域建议框集合中的对象进行分类，并对所述区域建议框进行回归。

S6，对步骤5得到的FDA-FRCNN模型进行训练后得到最终的FDA-FRCNN模型。

优选的，在所述步骤1中的所述深度残差网络ResNet50的layer1、layer2、layer3、layer4中添加金字塔切分注意力机制，并使用PSA——Pyramid Split Attention模块替代原始深度残差网络中的3×3的卷积，从而得到一个新的block。

优选的，所述步骤2中采用特征金字塔网络FPN进行深层次特征提取，步骤包括：

S21，将DCN输出的最深特征层的特征图依次进行8倍，4倍，2倍和1倍的上采样；

S22，将步骤21中采样的结果分别与block1、block2、block3和DCN层进行拼接融合，得到多个尺度的特征图，分别记为FDA1，FDA2，FDA 3和FDA4。

优选的，在所述特征提取网络FDA中的最后一层使用可变性卷积的卷积技术，改变普通卷积固有的几何形状得到DCN层。

优选的，所述步骤5中的所述目标检测网络R-CNN Predictor根据所述区域建议网络RPN生成的候选区域的位置和所述特征提取网络FDA的特征映射使用RoI Align提取对象候选区域的特征和上下文信息，通过融合这些特征，检测网络可以执行对象分类以及区域建议框回归。

优选的，所述步骤6中的所述训练步骤包括：

S61，采集数据，并对采集的数据进行数据增强，以形成数据集；

S62，根据所述数据集，通过损失函数的计算进行所述区域建议网络RPN的训练，以得到最终的FDA-FRCNN模型。

优选的，所述步骤61中所述数据集的采集和对采集的所述数据集的处理步骤包括：

S611，采集数据集，所述数据集为铝型材表面缺陷图像；

S612，采用标注软件Labelimg对缺陷图像进行标注；

S613，将所述缺陷图像增加高斯模糊、改变背景颜色、增加明暗变化，以达到对数据集进行增强的目的；

S614，将所述缺陷图像统一缩放到相同尺寸；

S615，将统一缩放的缺陷图像按照不同的角度随机翻转；

S616，对处理过的数据集进行平衡处理，将包含缺陷图像数量少的类别进行扩增，扩增的方式要是按比例随机裁剪，得到更多相同类别的图像，增加数据的丰富性。

优选的，所述步骤62中所述损失函数的计算步骤包括：

S621，为每个所述定位框分配一个二进制类标签；

S622，当预设锚框与真实框具有最高的IoU或者IoU超过0.7判定为正样本；当预设锚框与真实框的IoU小于0.3判定为负样本，其余的丢弃，其中，所述预设锚框为选定的一个所述定制框；

S623，根据征服样本定义，在模型中最小化多任务损失目标函数，RPN部分的损失函数定义如下：

其中，L_cls是我们用于分类的二值交叉熵损失，定义如下：

L_cls(P_i，P_i ^*)＝-P_i ^*log(P_i)-(1-P_i ^*)log(1-P_i)

对于边框回归我们采用

来计算损失，定义如下：

在上面三个式子中，i代表训练批次中预设锚框的索引，P_i表示第i个预设锚框是目标的预测概率，当预设锚框为正样本时，P_i ^*值为1，反之为0；对于每个样本i需要预测四个位置值(x，y，w，h)，其中(x，y)是中心点的坐标，(w，h)是区域建议框的宽度和高度；t_i是预测位置和锚点(x_a，y_a，h_a，w_a)之间的偏移向量，

是真实框和锚点之间的偏移向量。

本发明还揭示了一种计算机可读存储介质，介质上存有计算机程序，计算机程序运行后，执行上述的铝材表面缺陷检测方法。

本发明还揭示了一种计算机系统，包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行上述的铝材表面缺陷检测方法。

本发明的有益效果在于：

铝材表面缺陷检测模型FDA-FRCNN模型对Faster R-CNN网络进行改进，针对小目标特征提取困难、信息易丢失的问题融合了金字塔切分注意力机制和特征金字塔网络，改进普通卷积以解决缺陷目标的形变大、不规则的问题，实现了对各种尺度缺陷的高效检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为不同主干网络在铝材表面缺陷数据集上的性能对比表格；

图2为主流的目标检测模型在缺陷数据集上的性能对比表格；

图3为本发明的方法流程图；

图4为本发明FDA-FRCNN整体框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

缺陷图像目标检测的相关工作可分为基于机器学习的方法和基于深度学习的方法。

随着基于机器学习的分类和图像特征提取的发展，目标检测现在通常被表述为一个分类问题。基于机器学习的缺陷图像目标检测的方法步骤包括：一、区域建议，指从缺陷图像中产生存在目标的候选区域，方法有滑动窗口搜索和感兴趣区域ROI；二、从生成的候选区域中提取特征；三、对象分类，指所有候选区域的特征信息输入分类器进行分类，常用的分类器包括K近邻KNN、Adaboost以及支持向量机SVM。

基于机器学习的方法的缺陷：滑动窗口搜索采用步长和大小都固定的滑动窗口对输入图像进行滑动遍历，这种方法可以完全遍历整个图像。然而，铝材表面缺陷图像通常尺寸差异较大，包含多种类型的物体，背景复杂，采用固定大小的滑动窗口遍历不够灵活，效率很低。RoI选择旨可以生成不覆盖整个图像的区域建议，大大减少了生成建议区域的时间消耗。然而，这种方法对目标对象类型本身的显著特征的设计过于依赖，泛化能力差。虽然这些方法取得了一定的成功，但它们本质上只关注图像的低级特征，无法对目标进行精确检测。该特征提取方法只能获得低层特征，不具备高层语义信息，难以用其准确表达目标对象特征。

近年来，计算机视觉领域得到了飞速发展，卷积神经网络凭借其强大的特征学习和特征表达能力，在许多应用场中取得了比传统方法更好的效果。基于区域的卷积神经网络Region-based Convolutional Networks,R-CNN，首先使用选择性搜索产生候选区域，然后用R-CNN提取区域建议，最后用SVM分类，在目标检测性能上实现了质的飞跃。这项工作开创了使用深度学习处理目标检测任务的先河并且准确性远远超过传统方法。从此，基于深度学习的检测模型大量涌现，按照实现步骤，目前主流的模型可以分为一阶段方法和两阶段方法。

两阶段目标检测算法继承了R-CNN的思想，但从实际应用场景来看R-CNN的思想存在很多问题。一方面，选择性搜索算法复杂度很高，提取特征建议阶段CNN会对每个候选区域进行特征提取，重叠区域多次被重复计算，大大增加了计算开销，导致在候选区域上要消耗大量时间。另一方面，R-CNN通过选择性搜索算法产生的候选边界框不能进行调整，这导致对物体的定位不够准确，影响检测精度。

Fast R-CNN首先将整个图像嵌入CNN模型，然后通过RoI池操作将生成的候选区域映射到特征图的相应区域。它解决了候选边界框定位不准确和重复特征提取的问题，并且减少了时间的消耗。

Faster R-CNN引入了区域建议网络Region Proposal Network,RPN替代选择性搜索算法，不仅得到了比R-CNN和Fast R-CNN更高的准确性，而且大大缩减了运算时间。

YOLO是单阶段目标检测的代表性算法，移除了生成区域候选框的步骤，该算法的步骤为：一、将目标检测定义为一个回归问题，YOLO利用单个神经网络将输入图像划分为指定数量的区域块；二、对每个区域块设置相应不同尺度的锚框；三、根据目标尺度选择合适的锚框进行边界框回归和类别预测。其优点在于：单阶段目标检测算法在不产生候选区域的情况下，比两阶段算法快得多，其缺点在于：对图片的盲目网格化也导致检测精度较低，尤其是小目标的检测精度与两阶段算法差距较大。

随着深度学习算法的发展，基于深度学习的方法在许多自然场景中取得了成功。

与一般自然场景图像中的物体不同，表面缺陷图像中的缺陷目标容易被遮挡，并且相对于整体图像尺寸来说也很小，不容易精确定位。在CNN网络——传统的卷积神经网络提取特征的过程中，输入图像会经过多个层结构，特征图的分辨率随着网络的深度逐渐降低。分辨率的下降导致较小缺陷目标难以得到足够告的响应，因而无法进行分类和边界坐标回归，难以识别。

缺陷图像中存在不同尺寸的目标，而不同的目标具有不同的特征，利用浅层的特征可以将简单的目标的区分开来；利用深层的特征可以将复杂的目标区分开来。此外，特征图在深层网络中语义丢失，因此，我们提出了FDA-FRCNN模型。采用特征金字塔网络FPN对基础特征提取网络进行改进。特征金字塔网络采用多尺度特征融合的方式，将高层和低层语义信息进行融合，在速度和准确率之间进行权衡，获得更加鲁棒的语义信息。同时，为了增强特征提取网络对小目标的提取能力，我们在特征提取阶段采用了金字塔切分注意力机制，有助于减少背景中不必要的浅层特征信息。

FDA-FRCNN模型由三部分组成:特征提取网络FDA、区域建议网络RPN和目标检测网络R-CNN Predictor。整个过程如下:FDA从缺陷图像中提取深层特征。对于每个定位框，将RPN应用于特征图中的相应区域，并返回一个细化的边界框即细化了的区域建议框以及该细化的框包含感兴趣对象的可能性分数。这些分数用于保留最有接近真实框的边框集合。最后，R-CNN Predictor应用到由RPN保留的区域建议框和由FDA提取的特征图，对区域中的对象进行分类，并返回进一步细化的区域建议框。

具体实施例为：一种铝材表面缺陷检测方法，包括以下步骤：

S1，使用深度残差网络的学习策略从嘈杂的图像中获取缺陷特征图。

其中，所述深度残差网络ResNet50的layer1、layer2、layer3、layer4中添加金字塔切分注意力机制，并使用PSA——Pyramid Split Attention模块替代原始深度残差网络中的3×3的卷积，从而得到一个新的block，提高网络的特征提取能力。PSA模块可以将多尺度空间信息和跨通道注意力整合到每个分割的特征组的块中，因此PSA模块可以更好地实现局部和全局通道注意力之间的信息交互。

S2，特征提取网络FDA从所述缺陷特征图中提取深层次特征。

针对铝材缺陷图像经过深度网络提取特征容易丢失的问题，我们在特征提取阶段采用特征金字塔网络FPN进行深层次特征的提取，步骤包括：

S21，将DCN输出的最深特征层的特征图依次进行8倍，4倍，2倍和1倍的上采样；

S22，将步骤21中采样的结果分别与block1、block2、block3和DCN层进行拼接融合，得到多个尺度的特征图，分别记为FDA1，FDA2，FDA 3和FDA4。

由于融合了不同采样率的特征层，每个尺度下的特征图既能保留卷积得到的底层特征信息，又能融合高层特征信息，实现了多个尺度的特征融合，丰富了特征层的信息，能够有效避免由下采样引起的特征信息丢失问题。

普通卷积神经网络模型主要依赖数据本身的多样性克服特征图的几何形状变化。模型本身不具有适应几何变化的机制，对复杂未知转换进行建模存在局限性，限制来源于CNN模型的固定几何结构，卷积单元在固定位置对输入特征图进行采样，池化层以固定比率降低空间分辨率。根据对铝型材表面缺陷的分析，各类缺陷大多数都是呈横向且细长状的缺陷，并且长度不一致，严重的如擦花缺陷长度较长，轻微的如喷流长度较短。基础的卷积层都是固定的正方形形状，对这种条状的缺陷特征提取能力不够强。

为了增强缺陷目标的定位能力，我们在模型体征提取网络的最后一层使用可变形卷积的卷积技术，改变普通卷积固有的几何形状得到DCN层。

从公式层面来说：一般的卷积可以定义如下式：

可变形卷积在标准卷积基础上对每个方格采样点增加了一个2D偏移，从而允许采样网格自由变形。定义如下：

其中偏移量是网络结构的一部分，通过另外一个平行的标准卷积单元计算得到，进而也可以通过梯度反向传播进行端到端的学习。加上该偏移量的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同物体的形状、大小等几何形变。使用双线性插值将任何一个位置的输出，转换成对于特征图的插值操作解决需要对不连续的位置变量求导的问题。

S3，针对所述缺陷特征图的每个位置生成多个预设的定位框，对于每个所述定位框，将区域建议网络RPN应用于缺陷特征图，并返回一个细化的区域建议框以及其中包含感兴趣对象的分数。

S4，根据每个目标的真实标签，对缺陷特征图上的所有候选的区域建议框进行筛选，也就是进行交并比IOU操作，舍弃得分低的，留下得分高的作为区域建议框，即根据步骤3中的分数保留最接近真实框的所述区域建议框集合；

S5，目标检测网络R-CNN Predictor根据步骤2中所述特征提取网络FDA提取的缺陷特征图，对步骤4中的中保留的所述区域建议框集合中的对象进行分类，并对所述区域建议框进行回归。

其中的所述目标检测网络R-CNN Predictor根据所述区域建议网络RPN生成的候选区域的位置和所述特征提取网络FDA的特征映射使用RoI Align提取对象候选区域的特征和上下文信息，通过融合这些特征，检测网络可以执行对象分类以及区域建议框回归。采用RoI Align替换原本的RoI pooling，目的是增强网络对小目标的检测能力。RoI Align在将region proposal映射到特征图的操作中，舍弃RoI pooling的取整操作，保留了原始浮点数。确定采样点数后，将每个小区域平分，每一份取其中心点位置，而中心点位置的像素，采用双线性插值法进行计算。

S6，对步骤5得到的FDA-FRCNN模型进行训练后得到最终的FDA-FRCNN模型。其中，所述训练步骤包括：

S61，采集数据，并对采集的数据进行数据增强，以形成数据集；

其中，所述数据集的采集和对采集的所述数据集的处理步骤包括：

S611，采集数据集，所述数据集为铝型材表面缺陷图像；

S612，采用标注软件Labelimg对缺陷图像进行标注；

S613，将所述缺陷图像增加高斯模糊、改变背景颜色、增加明暗变化，以达到对数据集进行增强的目的；

S614，将所述缺陷图像统一缩放到相同尺寸；

S615，将统一缩放的缺陷图像按照不同的角度随机翻转；

S616，对处理过的数据集进行平衡处理，将包含缺陷图像数量少的类别进行扩增，扩增的方式要是按比例随机裁剪，得到更多相同类别的图像，增加数据的丰富性。

S62，根据所述数据集，通过损失函数的计算进行所述区域建议网络RPN的训练，以得到最终的FDA-FRCNN模型。

其中，所述损失函数的计算步骤包括：

S621，为每个所述定位框分配一个二进制类标签；

S622，当预设锚框与真实框具有最高的IoU或者IoU超过0.7判定为正样本；当预设锚框与真实框的IoU小于0.3判定为负样本，其余的丢弃，其中，所述预设锚框为选定的一个所述定制框；

S623，根据征服样本定义，在模型中最小化多任务损失目标函数，RPN部分的损失函数定义如下：

其中，L_cls是我们用于分类的二值交叉熵损失，定义如下：

L_cls(P_i，P_i ^*)＝-P_i ^*log(P_i)-(1-P_i ^*)log(1-P_i)

对于边框回归我们采用

来计算损失，定义如下：

在上面三个式子中，i代表训练批次中预设锚框的索引，P_i表示第i个预设锚框是目标的预测概率，当预设锚框为正样本时，P_i ^*值为1，反之为0；对于每个样本i需要预测四个位置值(x，y，w，h)，其中(x，y)是中心点的坐标，(w，h)是区域建议框的宽度和高度；t_i是预测位置和锚点(x_a，y_a，h_a，w_a)之间的偏移向量，

是真实框和锚点之间的偏移向量。

在目标检测中，模型为每幅图像预先设置了大量的先验框。在训练过程中，网络将根据预测区域和实际区域之间的重叠程度，即两个区域的交并比IOU的大小，更新权重参数。为了评估预测结果并与其他方法进行比较，我们采用了交并比IOU定量评估检测模型的性能。IOU定义为：

其中，G_T是标注的真实框，P_M是预测结果。作为评估指标，IOU的值可以设置为不同的大小，本文将其设置为0.5。当预测区域和真实区域之间的IOU大于0.5时，预测框被认为是真实预测，称为正样本，否则为负样本。

在本研究的评估阶段，精度定义为正样本和已识别样本之间的数量比。召回是针对某一类的所有对象，它定义为正确识别的对象与测试数据集中此类对象总数的比例。它们的定义如下：

其中真实正样本TP表示正样本检测正确。虚假负样本FN表示负样本检测错误，虚假正样本FP表示正样本检测错误。

引入AP用于直观地表示预测器的性能，它表示模型在特定类别对象上的性能，该值等于精确性-召回率PR曲线和坐标轴所包围的面积。具体来说AP代表某一类别精度，不能衡量整个模型的综合性能。各类别的平均值(mAP)代表了数据集中模型各类别的平均精度，能够很好地反映模型的综合性能。上述定义公式如下：

本文测试了不同IOU(0.5、0.5：0.95)标准下的mAP，对比了不同模型的参数量并将模型对大、中、小三种尺度目标的检测能力作为评价指标。

不同主干网络在铝材表面缺陷数据集上的性能对比如图1表格。

为了验证FDA网络的特征提取能力，我们对不同主干网络的Faster R-CNN模型在铝材缺陷数据集上的性能进行了测试。测试的特征提取网络主要有VGG16，MobileNetV2、MobileNetV3、EfficientNetV2、ResNet50+FPN和FDA，可以看到同样是结合Faster R-CNN模型，不管评价指标IOU为0.5还是0.75，FDA-FRCNN模型都取得了最佳结果。在评价标准为IOU＝0.5时FDA取得了89.6％的最佳mAP值，比ResNet50+FPN提升了4.3％。对于更加严苛的IOU＝0.75的标准，FDA更是遥遥领先其它模型，这表明相比其它特征提取网络FDA拥有巨大优势。通过对比模型的参数量可以看出轻量级网络MobileNetV2和MobileNetV3虽然参数量较小，但是检测精度太低，主要原因是特征提取能力较差，针对缺陷目标提取不到关键信息。EfficientV2作为主干网络的表现优于MobileNet和VGG但mAP相比FDA还有很大差距，由此表明权衡网络深度、宽度和输入尺寸的搜索方法能够在一定程度上提升性能，但使用深度可分离卷积造成显存大量消耗，对于精确度的提升并不明显。此外，从ResNet50+FPN的表现可以推断融合特征金字塔网络FPN的模型能够提取不同尺度的特征信息，在缺陷数据集检测中具有一定优势。FDA增加了切分空间注意力机制和可变形卷积，使网络能够提取到更多全局信息，相比于其他特征提取网络性能更强，不但减少了参数数量还提升了检测精度，在铝材缺陷检测领域实现了一定的突破。

将FDA-FRCNN与包括YOLOV3+SPP、SSD、YOLOV4、YOLOV5在内的主流的目标检测模型在缺陷数据集上的性能进行了对比，实验结果如图2所示。从结果可以看到FDA-FRCNN精度上表现最好，在IOU＝0.5的标准下89.6％的mAP值比第二的YOLOV4提高了10.5％，参数量减少了41％。虽然推理速度相比YOLOV4较慢，但相比精度的大幅提升，推理速度的降低在可以接受的范围之内。YOLOV5整体表现体现了一阶段模型速度快、参数少的优点，针对缺陷目标具有很快的检测速度但是牺牲了一定的准确性，精度相对FDA-RCNN差距均在10％以上。值得注意的是，同样是一阶段检测模型，SSD在精度不低于YOLOV3+SPP的基础上速度比之更快，性能表现优于YOLOV3但精确度相比FDA-FRCNN相差了14％。在IOU＝0.5:0.95的标准下，FDA-FRCNN的mAP值相比YOLOV3+SPP、YOLOV5s和SSD三个模型高了20％，这反映了模型回归得到的边框更加接近真实边框，大大降低了漏检和错检的概率。

综合实验表明FDA-FRCNN在不增加参数数量的前提下大幅提升了检测精度，尤其针对小目标的检测相对其它模型取得了突出的成绩，综合性能在铝材缺陷检测领域相比其它模型具有较大优势。

铝材表面缺陷检测模型FDA-FRCNN模型对Faster R-CNN网络进行改进，针对小目标特征提取困难、信息易丢失的问题融合了金字塔切分注意力机制和特征金字塔网络，改进普通卷积以解决缺陷目标的形变大、不规则的问题，实现了对各种尺度缺陷的高效检测。

本发明还揭示了一种计算机可读存储介质，介质上存有计算机程序，计算机程序运行后，执行上述的铝材表面缺陷检测方法。

本发明还揭示了一种计算机系统，包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行上述的铝材表面缺陷检测方法。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种铝材表面缺陷检测方法，其特征在于，包括以下步骤：

S1，使用深度残差网络的学习策略从嘈杂的图像中获取缺陷特征图；

S2，特征提取网络FDA从所述缺陷特征图中提取深层次特征；

S3，针对所述缺陷特征图的每个位置生成多个预设的定位框，对于每个所述定位框，将区域建议网络RPN应用于缺陷特征图，并返回一个细化的区域建议框以及其中包含感兴趣对象的分数；

S4，根据步骤3中的分数保留最接近真实框的所述区域建议框集合；

S5，目标检测网络R-CNN Predictor根据步骤2中所述特征提取网络FDA提取的缺陷特征图，对步骤4中的中保留的所述区域建议框集合中的对象进行分类，并对所述区域建议框进行回归；

S6，对步骤5得到的FDA-FRCNN模型进行训练后得到最终的FDA-FRCNN模型。

2.根据权利要求1所述的方法，其特征在于：在所述步骤1中的所述深度残差网络ResNet50的layer1、layer2、layer3、layer4中添加金字塔切分注意力机制，并使用PSA——Pyramid Split Attention模块替代原始深度残差网络中的3×3的卷积，从而得到一个新的block。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中采用特征金字塔网络FPN进行深层次特征提取，步骤包括：

S21，将DCN输出的最深特征层的特征图依次进行8倍，4倍，2倍和1倍的上采样；

S22，将步骤21中采样的结果分别与block1、block2、block3和DCN层进行拼接融合，得到多个尺度的特征图，分别记为FDA1，FDA2，FDA 3和FDA4。

4.根据权利要求1所述的方法，其特征在于：在所述特征提取网络FDA中的最后一层使用可变性卷积的卷积技术，改变普通卷积固有的几何形状得到DCN层。

5.根据权利要求1所述的方法，其特征在于：所述步骤5中的所述目标检测网络R-CNNPredictor根据所述区域建议网络RPN生成的候选区域的位置和所述特征提取网络FDA的特征映射使用RoI Align提取对象候选区域的特征和上下文信息，通过融合这些特征，检测网络可以执行对象分类以及区域建议框回归。

6.根据权利要求1所述的方法，其特征在于，所述步骤6中的所述训练步骤包括：

S61，采集数据，并对采集的数据进行数据增强，以形成数据集；

S62，根据所述数据集，通过损失函数的计算进行所述区域建议网络RPN的训练，以得到最终的FDA-FRCNN模型。

7.根据权利要求6所述的方法，其特征在于，所述步骤61中所述数据集的采集和对采集的所述数据集的处理步骤包括：

S611，采集数据集，所述数据集为铝型材表面缺陷图像；

S612，采用标注软件Labelimg对缺陷图像进行标注；

S613，将所述缺陷图像增加高斯模糊、改变背景颜色、增加明暗变化，以达到对数据集进行增强的目的；

S614，将所述缺陷图像统一缩放到相同尺寸；

S615，将统一缩放的缺陷图像按照不同的角度随机翻转；

S616，对处理过的数据集进行平衡处理，将包含缺陷图像数量少的类别进行扩增，扩增的方式要是按比例随机裁剪，得到更多相同类别的图像，增加数据的丰富性。

8.根据权利要求6所述的方法，其特征在于，所述步骤62中所述损失函数的计算步骤包括：

S621，为每个所述定位框分配一个二进制类标签；

S622，当预设锚框与真实框具有最高的IoU或者IoU超过0.7判定为正样本；当预设锚框与真实框的IoU小于0.3判定为负样本，其余的丢弃，其中，所述预设锚框为选定的一个所述定制框；

S623，根据征服样本定义，在模型中最小化多任务损失目标函数，RPN部分的损失函数定义如下：

其中，L_cls是我们用于分类的二值交叉熵损失，定义如下：

L_cls(P_i,P_i ^*)＝-P_i ^*log(P_i)-(1-P_i ^*)log(1-P_i)

对于边框回归我们采用

来计算损失，定义如下：

在上面三个式子中，i代表训练批次中预设锚框的索引，P_i表示第i个预设锚框是目标的预测概率，当预设锚框为正样本时，P_i ^*值为1，反之为0；对于每个样本i需要预测四个位置值(x，y，w，h)，其中(x，y)是中心点的坐标，(w，h)是区域建议框的宽度和高度；t_i是预测位置和锚点(x_a,y_a,h_a,w_a)之间的偏移向量，

是真实框和锚点之间的偏移向量。

9.一种计算机可读存储介质，其特征在于：介质上存有计算机程序，计算机程序运行后，执行如权利要求1至8中任一项所述的铝材表面缺陷检测方法。

10.一种计算机系统，其特征在于：包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行如权利要求1至8中任一项所述的铝材表面缺陷检测方法。

Images