CN112508857A - 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于改进型Cascade R‑CNN的铝材表面缺陷检测方法，包括步骤：1)对铝材表面图片进行尺寸标准化，切割并分类；2)对图片集进行归一化和在线数据增强，并划分批次；3)将所有批次的图片使用改进型Cascade R‑CNN算法进行迭代训练；4)重复步骤2)至步骤3)，迭代训练得到铝材表面缺陷检测模型；5)将待检测的铝材表面图片输入铝材表面缺陷检测模型，得到检测结果。本发明可有效降低光照、曝光和位移等条件对缺陷检测的影响，提高了检测稳定性，同时大幅提高了极端长宽比缺陷的检出率，降低了误检率。

Description

基于改进型Cascade R-CNN的铝材表面缺陷检测方法

技术领域

本发明涉及铝材表面缺陷检测的技术领域，尤其是指一种基于改进型 CascadeR-CNN的铝材表面缺陷检测方法。

背景技术

缺陷检测是生产流程中的重要一环，它保障了工业产品的可靠性。铝材的表面缺陷检测需要对表面上是否存在缺陷进行二分类，再对存在的缺陷位置进行精确定位，并对定位后的缺陷进行精准分类，是一个分类问题和目标检测问题的结合。在此之前，铝材的表面缺陷检测技术通常使用传统机器视觉技术，进行图片灰度二值化、边缘轮廓提取以及模板匹配等操作，此类的缺点是对图片的光照、位移等变化十分敏感，鲁棒性较差。此外，之前的一些基于深度学习的铝材表面缺陷检测方法没有专门为缺陷检测的特点进行设计，其漏检率和误检率都比较高，效果不佳。

深度学习中的目标检测由卷积神经网络作为特征提取器，其提取出来的特征图对光照、位移等变化不敏感，鲁棒性较好。由区域提议网络(Region Proposal Network)和分类回归网络组成了一个两阶段目标检测器，区域提议网络负责生成目标可能所在区域的建议，分类回归网络对建议的区域进行分类，并对标注框进行微调。网络的函数由分类损失和回归损失加权组成，并采用随机梯度下降法进行反向传播迭代。

现有的两阶段深度学习目标检测器精度较高，通用性也较好，但在铝材表面缺陷检测中仍然存在难以检测极端长宽比缺陷，不带缺陷的正常图片无法参与模型训练使得误检率较高等问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于改进型CascadeR-CNN的铝材表面缺陷检测方法，可有效降低光照、曝光和位移等条件对缺陷检测的影响，提高了检测稳定性。同时，设计的网络能对正常图像和缺陷图像进行训练，同时完成二分类和目标检测任务，极大地降低了误检率。此外，还加入了候选生成网络，提高了极端长宽比缺陷的检出率。在铝材表面缺陷检测上具有效率高、泛化性强、精度高、稳定性好等优点。

为实现上述目的，本发明所提供的技术方案为：基于改进型Cascade R-CNN 的铝材表面缺陷检测方法，包括以下步骤：

1)对铝材表面图片集进行尺寸标准化操作，其中含有缺陷的图片有对应的缺陷标注文件，根据图片是否含有缺陷标注文件将图片集划分为正常图片集和缺陷图片集；

2)将步骤1)得到的图片集进行归一化和在线随机数据增强，包括上下左右随机翻转，并划分批次；

3)将步骤2)得到的每个批次的图片和标注，使用改进型Cascade R-CNN 算法进行迭代训练，训练完所有批次后完成一个轮次的训练；

4)完成一个轮次的训练后，重复进行步骤2)至步骤3)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到铝材表面缺陷检测模型；

5)将待检测的铝材表面图片输入铝材表面缺陷检测模型，即可输出待检测的铝材表面图片的缺陷位置和类别信息。

在步骤1)中，铝材表面图片集包括含缺陷的缺陷图片集X、不含缺陷的正常图片集Y及由每种纹理模板的样式示例图片组成的模板图片集Z；其中，缺陷图片集X含有标注，每一条缺陷的标注为一个矩形标注框，其格式为 (name,category,x_min,y_min,x_max,y_max)，name表示图片名称，category表示缺陷的种类，(x_min,y_min)表示矩形标注框左上角的横纵坐标，(x_max,y_max)表示矩形标注框右下角的横纵坐标，正常图片集Y和模板图片集Z都没有标注信息；对缺陷图片集 X、正常图片集Y和模板图片集Z进行尺寸标准化，使所有图片均为H*W的RGB图片，H和W为图片的高和宽。

在步骤2)中，对图片集划分批次的规则为，每个批次包含n张图片，且同一批次的所有图片均来自缺陷图片集X或正常图片集Y，缺陷图片和正常图片在一个批次内不同时出现，并将分好的每个批次根据图片来源标记为缺陷批次和正常批次。

在步骤3)中，所述改进型Cascade-RCNN算法包括主干网络、候选生成网络、区域提议网络、分类回归网络四个部分，分别用来提取特征、生成候选框、候选框的前后景分类和微调以及候选框的最终分类和微调；其中，使用卷积神经网络ResNet-101和特征金字塔FPN作为主干网络，候选生成网络使用Light Guided Anchoring，区域提议网络使用稀疏目标区域提议网络，分类回归网络使用稀疏目标级联分类回归网络；

候选生成网络Light Guided Anchoring是Guided Anchoring上的改进，GuidedAnchoring由三个子模块构成，分别为形状预测模块、位置预测模块和特征调整模块，其中，形状预测模块和位置预测模块由两个并联的1*1卷积构成，输入为特征图F_I，输出为分别是特征图上每个点的候选框形状I_shape和候选框出现概率I_loc；特征调整模块串联在形状预测模块之后，输入为特征图上每个点的候选框形状I_shape和原始特征图F_I，它首先将I_shape输入一个1*1卷积，得到一个特征调整偏移量offset，再将特征调整偏移量offset和特征图F_I输入一个3*3可形变卷积进行特征调整，得到输出特征图F_o；Light Guided Anchoring为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道；当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了形状预测模块、位置预测模块和特征调整模块；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了位置预测模块，输出为候选框形状 I_shape，候选框出现概率I_loc＝0，输出特征图F_o＝F_I，且两个通道的位置预测模块共享所有参数；

稀疏目标区域提议网络是区域提议网络上的改进，区域提议网络包括一个 3*3卷积串联着2个并联的1*1卷积，分别为区域提议网络的分类层和回归层，输入为候选生成网络的输出特征图F_o、候选框形状I_shape和候选框出现概率I_loc；稀疏目标区域提议网络为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道；输入的特征图首先经过3*3卷积，在此之后，当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了分类层和回归层；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了分类层，且两个通道的位置预测模块共享所有参数；稀疏目标区域提议网络的输出为产生的所有候选框B₀；

稀疏目标级联分类回归网络是级联分类回归网络上的改进，级联分类回归网络是由三个相同结构的分类归回归网络N₁、N₂、N₃串联而成；每个分类回归网络由RoIAlign、全连接层、分类层和回归层组成；三个分类归回归网络 N₁、N₂、N₃的区别在于，每个网络设定的区分前景和背景的阈值不同，该阈值表示候选框与矩形标注框的交并比IoU，计算公式为：

其中，bbox为候选框，gt为矩形标注框；分类回归网络N₁的输入为特征图 F_o和候选框B₀，输出为候选框B₁和它的分类结果与置信度；分类回归网络N₂的输入为特征图F_o和候选框B₁，输出为候选框B₂和它的分类结果与置信度；分类回归网络N₃的输入为特征图F_o和候选框B₂，输出为预测框B₃和它的分类结果与置信度；稀疏目标级联分类回归网络调整了级联分类网络的训练方式，当输入为缺陷批次时，网络正常训练；当输入为正常批次时，分类归回归网络 N₁、N₂、N₃的回归层参数固定，不进行更新，且分类归回归网络N₁、N₂、N₃的训练速率乘以系数r，r＜1；稀疏目标级联分类归回网络的输出为预测框B₃和它的分类结果cls与置信度score；

所述步骤3)包括以下步骤：

3.1)将步骤2)中得到的一个批次输入主干网络，即卷积神经网络ResNet-101 和特征金字塔FPN，提取特征，输出特征图F_I；

3.2)将步骤3.1)中得到的特征图F_I输入候选生成网络Light Guided Anchoring，根据批次选择对应的通道进行训练，输出特征图F_o、候选框形状I_shape和候选框出现概率I_loc；

3.3)将步骤3.2)得到的特征图F_o、候选框形状I_shape和候选框出现概率I_loc输入稀疏目标区域提议网络，根据批次选择对应的通道进行训练，得到候选框B₀；

3.4)将步骤3.3)中得到的候选框B₀和步骤3.2)中得到的特征图F_o输入稀疏目标级联分类回归网络，根据批次选择对应的训练方法，输出预测框B₃和它的分类结果cls与置信度score。

在步骤5)，进行如下检测过程：

5.1)对于一张待检测的铝材表面图片，使用步骤4)得到的铝材表面缺陷检测模型在待检测图片上进行检测，再将结果映射回原图的区域上，得到每一条缺陷的标注格式为(B₃,cls,score)，cls表示预测的缺陷类别，B₃表示缺陷的预测框，score表示缺陷判断的置信度，置信度取值为(0,1)之间；

5.2)对步骤5.1)中得到的缺陷进行过滤，对于每一条缺陷，若它的置信度 score大于设定阈值t，则予以保留，否则删除；

5.3)对5.2)中得到的待检测的铝材表面图片上的结果，若不存在缺陷，则判断铝材表面图片没有缺陷；若存在缺陷，则输出铝材表面图片的缺陷位置和类别信息。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明方法采用深度学习目标检测作为整体检测框架，降低了环境光照、相机曝光以及位移导致的算法质量下降问题，提高了算法对于铝材表面缺陷检测的稳定性。

2、本发明方法提出了一种改进的候选生成网络Light Guided Anchoring，通过自东学习的方法对候选框的尺寸进行了预设，相比于传统的固定候选框的方法，该方法能极大提高极端长宽比缺陷的检出率；同时通过双通道的设计，避免了正常图片训练时对候选生成网络产生负面的影响，提高了算法的总体缺陷检出率。

3、本发明方法提出了稀疏目标区域提议网络，使得正常图片和缺陷图片可以同时参与模型的训练过程，通过削减正常图片的训练步骤提高了训练效率，同时也使得算法的稳定性更好，大幅降低了正常图片的误检率。

4、稀疏目标级联分类回归网络，使得正常图片在训练过程不影响回归层的参数，且由于图片集中的不平衡性普遍存在，通过增加权重可以保正正常图片的训练不过度干扰缺陷图片的训练过程，缓解因图片样本不平衡产生的精度损失，增加模型的稳定性。

附图说明

图1是本发明方法的训练流程图。

图2是本发明方法的缺陷检测流程图。

图3是本发明方法中候选生成网络Light Guided Anchoring的结构示意图。

图4是本发明方法中稀疏目标区域提议网络的结构示意图。

图5是本发明方法中稀疏目标级联分类回归网络的结构示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

实例采用真实采集的铝材表面图片数据，其中包括不导电、擦花、桔皮、脏点等10种缺陷，若干的正常图片和带标注的缺陷图片，图片尺寸为2560*1920。

如图1和图2所示，本实施例所提供的基于改进型Cascade R-CNN的铝材表面缺陷检测方法，包括以下步骤：

1)对铝材表面图片集进行尺寸标准化操作，对所有图片尺寸统一缩放到 1280*960。其中含有缺陷的图片有对应的缺陷标注文件，根据图片是否含有缺陷标注文件将图片集划分为正常图片集和缺陷图片集。

铝材表面图片集包括含缺陷的缺陷图片集X、不含缺陷的正常图片集Y和每种纹理模板的样式示例图片组成的模板图片集Z，其中，缺陷图片集X含有标注，每一条缺陷的标注为一个矩形标注框，其格式为 (name,category,x_min,y_min,x_max,y_max)，其中name表示图片名称，category表示缺陷的种类，(x_min,y_min)表示矩形标注框左上角的横纵坐标，(x_max,y_max)表示矩形标注框右下角的横纵坐标，图片集Y和Z都没有标注信息；对三个图片集进行尺寸标准化，使所有图片均为1280*960的RGB图片；

2)将步骤1)得到的图片集进行归一化和在线随机数据增强，包括上下左右随机翻转，并划分批次。对图片集划分批次的规则为，每个批次包含n张图片，且同一批次的所有图片均来自缺陷图片集X或正常图片集Y，缺陷图片和正常图片在一个批次内不同时出现，并将分好的每个批次根据图片来源标记为缺陷批次和正常批次，本案例中设置单批次数目n＝2。

3)将步骤2)得到的每个批次的图片和标注，使用改进型Cascade-RCNN 算法进行迭代训练，训练完所有批次后完成一个轮次的训练。

所述改进型Cascade-RCNN算法包括主干网络、候选生成网络、区域提议网络、分类回归网络四个部分，分别用来提取特征，生成候选框，候选框的前后景分类和微调以及候选框的最终分类和微调；其中，使用卷积神经网络 ResNet-101和特征金字塔FPN作为主干网络，候选生成网络使用Light Guided Anchoring，区域提议网络使用稀疏目标区域提议网络，分类回归网络使用稀疏目标级联分类回归网络。

候选生成网络Light Guided Anchoring是Guided Anchoring上的改进，其结构如图3所示。Guided Anchoring由三个子模块构成，分别为形状预测模块、位置预测模块和特征调整模块，其中形状预测模块和位置预测模块由两个并联的 1*1卷积构成，输入为特征图F_I，输出为分别为特征图上每个点的候选框形状 I_shape和候选框出现概率I_loc；特征调整模块串联在形状预测模块之后，输入为特征图上每个点的候选框形状I_shape和原始特征图F_I，它首先将I_shape输入一个1*1 卷积，得到一个特征调整偏移量offset，再将特征调整偏移量offset和特征图F_I输入一个3*3可形变卷积进行特征调整，得到输出特征图F_o。LightGuided Anchoring算法为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道。当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了形状预测模块、位置预测模块和特征调整模块；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了位置预测模块，输出为候选框形状I_shape，候选框出现概率I_loc＝0，输出特征图F_o＝F_I，且两个通道的位置预测模块共享所有参数。

稀疏目标区域提议网络是区域提议网络上的改进，其结构如图4所示，区域提议网络包括一个3*3卷积串联着2个并联的1*1卷积，分别为区域提议网络的分类层和回归层，输入为候选生成网络的输出特征图F_o，候选框形状I_shape和候选框出现概率I_loc。稀疏目标区域提议网络算法为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道。输入的特征图首先经过3*3卷积，在此之后，当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了分类层和回归层；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了分类层，且两个通道的位置预测模块共享所有参数。稀疏目标区域提议网络的输出为产生的所有候选框B₀。

稀疏目标级联分类回归网络是级联分类回归网络上的改进，其结构如图5 所示，级联分类回归网络的由三个相同结构的分类归回归网络N₁,N₂,N₃串联而成，每个分类回归网络由RoIAlign、全连接层、分类层和回归层组成。分类归回归网络N₁,N₂,N₃的区别在于，每个网络设定的区分前景和背景的阈值不同，该阈值表示候选框与矩形标注框的交并比IoU，计算公式为：

其中，bbox为候选框，gt为矩形标注框，本案例中N₁,N₂,N₃的阈值分别为 0.5、0.6、0.7。分类回归网络N₁的输入为特征图F_o和候选框B₀，输出为候选框 B₁和它的分类结果与置信度；分类回归网络N₂的输入为特征图F_o和候选框B₁，输出为候选框B₂和它的分类结果与置信度；分类回归网络N₃的输入为特征图F_o和候选框B₂，输出为预测框B₃和它的分类结果与置信度。稀疏目标级联分类回归网络调整了级联分类网络的训练方式，当输入为缺陷批次时，网络正常训练；当输入为正常批次时，N₁,N₂,N₃的回归层参数固定，不进行更新，且N₁,N₂,N₃的训练速率乘以系数r(r＜1)。稀疏目标级联分类归回网络的输出为预测框B₃和它的分类结果cls与置信度score。

3.1)将步骤2)中得到的一个批次输入主干网络ResNet-101+FPN提取特征，输出特征图F_I。

3.2)将步骤3.1)中得到的特征图输入候选生成网络Light Guided Anchoring，根据批次选择对应的通道进行训练，输出特征图F_o，候选框形状I_shape和候选框出现概率I_loc。

3.3)将步骤3.2)得到的特征图F_o，候选框形状I_shape和候选框出现概率I_loc输入稀疏目标区域提议网络，根据批次选择对应的通道进行训练，得到候选框B₀。

3.4)将步骤3.3)中得到的候选框B₀和步骤3.2)中得到的特征图F_o输入稀疏目标级联分类回归网络，根据批次选择对应的训练方法，输出预测框B₃和它的分类结果cls与置信度score。

4)完成一个轮次的训练后，重复进行步骤2)至步骤3)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到铝材表面缺陷检测模型，本案例中设定迭代轮次为15。

5)将待检测的铝材表面图片输入步骤4)中得到的铝材表面缺陷检测模型，即可输出待检测铝材图片的缺陷位置和类别信息。

5.1)对于一张待检测的铝材表面图片，使用步骤4)得到的铝材表面缺陷检测模型在待检测图片上进行检测，再将结果映射回原图的区域上，得到每一条缺陷的标注格式为(B₃,cls,score)，cls表示预测的缺陷类别，B₃表示缺陷的预测框，score表示缺陷判断的置信度，置信度取值为(0,1)之间；

5.2)对步骤5.1)中得到的缺陷进行过滤，对于每一条缺陷，若它的置信度 score大于设定阈值t，则予以保留，否则删除，本案例中使用的置信度阈值 t＝0.05。

5.3)对5.2)中得到的待检测的铝材表面图片上的结果，若不存在缺陷，则判断铝材表面图片没有缺陷；若存在缺陷，则输出铝材表面图片的缺陷位置和类别信息。

将本发明提出的改进型Cascade R-CNN算法与原Cascade R-CNN算法的实施结果进行比较，得到两种算法的分类准确率和平均定位精准度如下表所示。

算法	分类准确率	平均定位精准度
			Cascade R-CNN	79.63％	69.64％
改进型Cascade R-CNN	98.40％	82.16％

可以看出在分类准确率和平均定位精度上，本发明提出的改进型Cascade R-CNN算法更有显著的提升，值得推广。

上述实施例为本发明效果较好的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于改进型Cascade R-CNN的铝材表面缺陷检测方法，其特征在于，包括以下步骤：

1)对铝材表面图片集进行尺寸标准化操作，其中含有缺陷的图片有对应的缺陷标注文件，根据图片是否含有缺陷标注文件将图片集划分为正常图片集和缺陷图片集；

2)将步骤1)得到的图片集进行归一化和在线随机数据增强，包括上下左右随机翻转，并划分批次；

3)将步骤2)得到的每个批次的图片和标注，使用改进型Cascade R-CNN算法进行迭代训练，训练完所有批次后完成一个轮次的训练；

4)完成一个轮次的训练后，重复进行步骤2)至步骤3)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到铝材表面缺陷检测模型；

5)将待检测的铝材表面图片输入铝材表面缺陷检测模型，即可输出待检测的铝材表面图片的缺陷位置和类别信息。

2.根据权利要求1所述的基于改进型Cascade R-CNN的铝材表面缺陷检测方法，其特征在于：在步骤1)中，铝材表面图片集包括含缺陷的缺陷图片集X、不含缺陷的正常图片集Y及由每种纹理模板的样式示例图片组成的模板图片集Z；其中，缺陷图片集X含有标注，每一条缺陷的标注为一个矩形标注框，其格式为(name,category,x_min,y_min,x_max,y_max)，name表示图片名称，category表示缺陷的种类，(x_min,y_min)表示矩形标注框左上角的横纵坐标，(x_max,y_max)表示矩形标注框右下角的横纵坐标，正常图片集Y和模板图片集Z都没有标注信息；对缺陷图片集X、正常图片集Y和模板图片集Z进行尺寸标准化，使所有图片均为H*W的RGB图片，H和W为图片的高和宽。

3.根据权利要求1所述的基于改进型Cascade R-CNN的铝材表面缺陷检测方法，其特征在于：在步骤2)中，对图片集划分批次的规则为，每个批次包含n张图片，且同一批次的所有图片均来自缺陷图片集X或正常图片集Y，缺陷图片和正常图片在一个批次内不同时出现，并将分好的每个批次根据图片来源标记为缺陷批次和正常批次。

4.根据权利要求1所述的基于改进型Cascade R-CNN的铝材表面缺陷检测方法，其特征在于：在步骤3)中，所述改进型Cascade-RCNN算法包括主干网络、候选生成网络、区域提议网络、分类回归网络四个部分，分别用来提取特征、生成候选框、候选框的前后景分类和微调以及候选框的最终分类和微调；其中，使用卷积神经网络ResNet-101和特征金字塔FPN作为主干网络，候选生成网络使用Light Guided Anchoring，区域提议网络使用稀疏目标区域提议网络，分类回归网络使用稀疏目标级联分类回归网络；

候选生成网络Light Guided Anchoring是Guided Anchoring上的改进，GuidedAnchoring由三个子模块构成，分别为形状预测模块、位置预测模块和特征调整模块，其中，形状预测模块和位置预测模块由两个并联的1*1卷积构成，输入为特征图F_I，输出为分别是特征图上每个点的候选框形状I_shape和候选框出现概率I_loc；特征调整模块串联在形状预测模块之后，输入为特征图上每个点的候选框形状I_shape和原始特征图F_I，它首先将I_shape输入一个1*1卷积，得到一个特征调整偏移量offset，再将特征调整偏移量offset和特征图F_I输入一个3*3可形变卷积进行特征调整，得到输出特征图F_o；Light Guided Anchoring为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道；当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了形状预测模块、位置预测模块和特征调整模块；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了位置预测模块，输出为候选框形状I_shape，候选框出现概率I_loc＝0，输出特征图F_o＝F_I，且两个通道的位置预测模块共享所有参数；

稀疏目标区域提议网络是区域提议网络上的改进，区域提议网络包括一个3*3卷积串联着2个并联的1*1卷积，分别为区域提议网络的分类层和回归层，输入为候选生成网络的输出特征图F_o、候选框形状I_shape和候选框出现概率I_loc；稀疏目标区域提议网络为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道；输入的特征图首先经过3*3卷积，在此之后，当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了分类层和回归层；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了分类层，且两个通道的位置预测模块共享所有参数；稀疏目标区域提议网络的输出为产生的所有候选框B₀；

稀疏目标级联分类回归网络是级联分类回归网络上的改进，级联分类回归网络是由三个相同结构的分类归回归网络N₁、N₂、N₃串联而成；每个分类回归网络由RoIAlign、全连接层、分类层和回归层组成；三个分类归回归网络N₁、N₂、N₃的区别在于，每个网络设定的区分前景和背景的阈值不同，该阈值表示候选框与矩形标注框的交并比IoU，计算公式为：

其中，bbox为候选框，gt为矩形标注框；分类回归网络N₁的输入为特征图F_o和候选框B₀，输出为候选框B₁和它的分类结果与置信度；分类回归网络N₂的输入为特征图F_o和候选框B₁，输出为候选框B₂和它的分类结果与置信度；分类回归网络N₃的输入为特征图F_o和候选框B₂，输出为预测框B₃和它的分类结果与置信度；稀疏目标级联分类回归网络调整了级联分类网络的训练方式，当输入为缺陷批次时，网络正常训练；当输入为正常批次时，分类归回归网络N₁、N₂、N₃的回归层参数固定，不进行更新，且分类归回归网络N₁、N₂、N₃的训练速率乘以系数r，r＜1；稀疏目标级联分类归回网络的输出为预测框B₃和它的分类结果cls与置信度score；

所述步骤3)包括以下步骤：

3.1)将步骤2)中得到的一个批次输入主干网络，即卷积神经网络ResNet-101和特征金字塔FPN，提取特征，输出特征图F_I；

3.2)将步骤3.1)中得到的特征图F_I输入候选生成网络Light Guided Anchoring，根据批次选择对应的通道进行训练，输出特征图F_o、候选框形状I_shape和候选框出现概率I_loc；

3.3)将步骤3.2)得到的特征图F_o、候选框形状I_shape和候选框出现概率I_loc输入稀疏目标区域提议网络，根据批次选择对应的通道进行训练，得到候选框B₀；

3.4)将步骤3.3)中得到的候选框B₀和步骤3.2)中得到的特征图F_o输入稀疏目标级联分类回归网络，根据批次选择对应的训练方法，输出预测框B₃和它的分类结果cls与置信度score。

5.根据权利要求1所述的基于改进型Cascade R-CNN的铝材表面缺陷检测方法，其特征在于：在步骤5)，进行如下检测过程：

5.1)对于一张待检测的铝材表面图片，使用步骤4)得到的铝材表面缺陷检测模型在待检测图片上进行检测，再将结果映射回原图的区域上，得到每一条缺陷的标注格式为(B₃,cls,score)，cls表示预测的缺陷类别，B₃表示缺陷的预测框，score表示缺陷判断的置信度，置信度取值为(0,1)之间；

5.2)对步骤5.1)中得到的缺陷进行过滤，对于每一条缺陷，若它的置信度score大于设定阈值t，则予以保留，否则删除；

5.3)对5.2)中得到的待检测的铝材表面图片上的结果，若不存在缺陷，则判断铝材表面图片没有缺陷；若存在缺陷，则输出铝材表面图片的缺陷位置和类别信息。

Images