CN114387213A - 一种基于深度迁移学习的汽车钣金件表面缺陷检测方法 - Google Patents

Abstract

本发明公开一种基于深度迁移学习的汽车钣金件表面缺陷检测方法，包括以下步骤：1、图像获取；2、图像前处理，特征提取；3、第一阶网络训练；4、第一阶网络输出，性能分析；5、调整样本，第二阶网络训练；6、输入待检测图像；7、网络决策；8、重构切片图像，定位缺陷；9、检测结果输出。本发明中通过上述步骤，基于图像处理、机器视觉、深度学习，有效的对汽车钣金表面缺陷进行检测。

Description

一种基于深度迁移学习的汽车钣金件表面缺陷检测方法

技术领域

本发明缺陷检测领域，具体涉及一种基于深度迁移学习的汽车钣金表面缺陷检测方法。

背景技术

随着信息技术的发展，基于模式识别算法的视觉检测系统越来越多地取代人工目检被应用在各类工业生产活动当中。汽车行业是一个国家高端制造业的标杆，其对产品质量和稳定性的要求较高，车身钣金件当中任何一个微小的缺陷，例如划痕、擦伤、凹凸伤、裂缝等，都可能会对最终的产品质量产生巨大的影响。因此，对车身钣金件表面的缺陷进行自动识别检测，是汽车生产制造过程当中最重要的工序之一。

传统的机器视觉检测方法，主要有基于底层像素信息的检测技术和基于机器学习算法的检测技术。基于底层像素信息的检测技术主要针对缺陷区域与周围区域在像素灰度值层面存在的差异，识别边缘、形状、面积、HOG(Histogram of Oriented Gradient，方向梯度直方图)等特征。但是，生产环境当中客观因素的改变很容易导致像素灰度值发生巨大变化，因此这类方法只适用于小范围的检测。基于机器学习算法的检测技术主要利用SVM(Support Vector Machine，支持向量机)、RBF(Radical Basis Function，径向基函数)、MLP(Multilayer Perceptron，多层感知器)等算法，但是这类方法难以捕获图像全局、高阶语义特征，因此只适用于场景较为简单的检测任务，且效率有限。

近年来，随着深度学习的快速发展，研究人员开始致力于利用卷积神经网络(Convolutional Neural Network，CNN)解决缺陷检测问题。但是现阶段基于卷积网络的缺陷检测方法主要存在以下几点问题：第一，现有算法所面向的对象，通常是反映独立场景的独立图像，而无论是采用AlexNet的滑窗检测策略，还是采用Faster R-CNN的目标检测策略，网络一旦出现误判和漏判，都会直接影响检测结果。即在一次计算当中，单阶网络对于单幅图像的容错率较低。第二，现有算法对输入图像进行预处理的方式，主要为随机裁剪、翻转、镜像、对比度和直方图调整等，不能自适应地权衡检测主体与背景区域之间的关系，导致网络有时会占用过多资源学习不相关内容，影响检测效率。第三，现有算法的滤波去噪方式，会同时作用于检测主体和噪声，这会导致检测主体的部分细节信息被滤除，而这些信息会影响网络是否能够习得有效特征。此外，汽车行业对钣金件表面缺陷的检测准确率要求，较一般行业更高，现有算法很难达到。同时，深度学习属于大数据驱动技术，而工业场景下所能提供的数据样本较少，利用小样本直接进行网络训练，则极易造成过拟合。

发明内容

本发明的目的在于提供一种基于深度迁移学习的汽车钣金表面缺陷检测方法，能够有效的解决背景技术所提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度迁移学习的汽车钣金表面缺陷检测方法，包括如下步骤：

S1：利用红外热像仪对钣金件进行断层扫描，对于一件产品，一次扫描可获得数百张切片图像，经验丰富的检测人员根据切片图像中有无存在缺陷，对采集图像进行标注，构建整体数据集，一处可辨缺陷通常会存在于五张以上的切片中，因此即使后序有一张图像被误判，本发明的数据采集方式也会使得误判对于整体检测结果的影响较低。

S2：根据检测主体，自适应地对图像进行ROI(Region of Interest，感兴趣区域)选取，分割，滤波，得到滤波图像。将滤波图像与ROI图像进行融合，得到既滤除了高频噪声又保留了钣金件主体细节内容的样本图像。调整样本图像的尺寸以及样本规模，制作第一阶网络所需的数据集。

S3：构建第一阶网络模型，包含两个子网络，利用第一阶训练集和第一阶验证集对第一阶模型进行训练和验证。

S4：保存第一阶网络的训练模型，并利用第一阶测试集对各子网络进行性能分析。

S5：将第一阶两个子网络测试输出的全部FN(False Negative，假负例)样本标注为第二阶正样本，将第一阶两个网络测试输出的全部FP(False Positive，假正例)样本标注为第二阶负样本，重新对其进行镜像、随机翻转等操作，扩充样本量，使正负样本量相等，均为10,000张图像，并构建第二阶训练集。利用第二阶训练集和前述的第二阶验证集对第二阶网络进行训练和验证。

S6：在实际工业检测过程中，所输入数据为红外热像仪直接采集的、未经处理的钣金件切片图像。算法首先对其进行ROI区域选取、裁剪、分割、滤波，之后将其尺寸调整为512×512，并将其按顺序送入网络进行计算。

S7：网络对输入样本进行计算，输出判别值，设置判别阈值，若判别值大于等于0.5，则将切片标记为正，反之，则将切片标记为负。

S8：对红外热像仪直接采集的、未经处理的钣金件切片按顺序进行重构，得到能反映钣金件真实样貌的二维重构图像，并将缺陷位置在重构图像上标出。

S9：输出标记有缺陷位置且能反映钣金件真实样貌的图像，即完成最终的缺陷检测。

进一步的，在步骤S1中，将FLIR-A615工业相机安装在图像采集模组上，进行图像采集；调整相机焦距以及各参数，使其能够清晰地捕获图像表面信息，采集图像分辨率为640×480，同时在步骤S1中，将采集到的切片图像以bmp格式按顺序进行命名，专业检测人员根据切图像中有无缺陷，对图像进行标注，存在缺陷的图像标注为正样本，不存在缺陷的图像标注为负样本。将正负样本保存入不同的文件夹中。

进一步的，在步骤S2中，利用密度质心算法计算输入图像的全局灰度值，求得一锚点。以图像长度为长，以该锚点对应上下各100像素为宽，对输入图像进行640×200的裁剪，得到裁剪图像。因钣金件主体在红外成像中反应的像素值高，而背景区域反应的像素值低，所以该步骤可以得到针对钣金件表面的ROI区域，而裁除了图像中与计算不相关的区域，从而提升了后序效率。质心计算公式为：

其中，x₀为图像坐标系中锚点对应横坐标，y₀为锚点对应纵坐标，f_ij为像素在(x_i，y_j)处的灰度值，

在步骤S2中，对获取的ROI区域进行阈值分割，图像中灰度值低于75的像素点设置为0，其余像素点灰度值保持不变，以进一步降低背景区域对后序计算的影响，得到分割图像，

在步骤S2中，对得到的分割图像进行核尺寸为49的高斯滤波，以滤除图像中的高频噪声和不相关细节，得到滤波图像。

在步骤S2中，将滤波图像与ROI图像进行融合，得到融合图像，融合图像既保留了原始输入图像中检测主体的细节内容，又滤除了不相关的背景区域和高频噪声。融合公式为：

I_SPL＝I_ROI⊙I_GS

其中，I_SPL表示融合图像，I_ROI为ROI图像，I_GS为高斯滤波图像，⊙为哈达玛矩阵乘积。

在步骤S2中，利用双线性插值算法对融合图像进行尺寸调整，由640×200调整为525×525尺寸。之后，以512×512尺寸对调整后的图像进行随机裁剪，同时结合镜像、旋转操作，对样本规模进行扩充，使正样本数量和负样本数量保持相等，均为24,000图像。之后，将正负样本中各10,000张图像作为第一阶网络的训练集，各2,000张图像作为第一阶网络的验证集，各10,000张图像作为第一阶网络的测试集，各2,000张图像作为第二阶网络的验证集，并构建数据集。

进一步的，在步骤S3中，第一阶模型由两个独立的网络并行构成，两个网络分别以VGG19结构和ResNet50结构为骨干，并分别对样本进行训练和验证。VGG19网络包含16 个卷积层和3个全连接层，由输入至输出均使用3×3的卷积核和2×2的最大池化层。对于给定的感受野，相较于AlexNet等采用大卷积核的网络，VGG19这种堆叠小卷积核的策略使得其可以利用更多的非线性层来学习更复杂的模式，且代价更小，参数更少。ResNet50 网络包含4个残差块，50个卷积层，残差块内设置快捷连接，可将靠前若干层的某一层特征映射直接跳过多层之后，级联到后面的卷积层，以期使网络克服因深度加深而产生的梯度消失明显、学习率变低等问题，并提升准确率。本发明采用迁移学习策略，所基于的VGG19 和ResNet50的骨干均已在ImageNet大规模数据集上完成过参数初始化和预训练。此外，为了使网络更适用于图像分类任务，本发明对两个网络的原始输出层进行冻结，并定义了新的全连接层替代。全连接层输入层映射尺寸为512×512，以适应大尺寸输入，激活函数选取ReLU(Rectified Linear Unit，线性整流函数)，DropOut设置为0.5，输出层激活函数选取Sigmoid函数，输出为值在0至1区间内的实数。

在步骤S3中，网络采用随机梯度下降策略进行训练，输入样本尺寸为512×512，BatchSize设置为1，初始学习率设置为1×10-4，动量设置为0.9，遍历数据为一轮，训练轮次设置为20，每轮训练结束后根据验证结果是否提升来保存训练模型，以抑制过拟合。损失函数Loss计算公式为：

其中，img表示输入样本；f(·)表示网络运算过程；lab表示样本标签，样本为正时， lab＝1，样本为负时，lab＝0；m表示样本数量。

进一步的，在步骤S4中，利用第一阶测试集分别对完成训练的VGG19网络和ResNet50 网络进行测试。对于每一张输入图像，网络会反馈一个预测值，若值大于等于0.5，则认为输入为正样本，反正，则认为其为负样本。对第一阶模型的测试结果可分为四类：TP(True Positive，真正例)，即正样本预测为正样本的情况；TN(True Negative，真负例)，即负样本预测为负样本的情况；FP(False Positive，假正例)，即负样本预测为正样本的情况；FN(False Negative，假负例)，即正样本预测为负样本的情况。基于这四种结果，本发明利用精准率和召回率指标对这两个网络进行评价，评价值越高，表示网络性能越好。评价公式F为：

F＝2PR/(P+R)

其中，P为精准率，其计算公式为：

P＝TP/(TP+FP)

R为召回率，其计算公式为：

P＝TP/(TP+FN)

在步骤S4中，选择两个网络中性能高的一个，将其模型作为第二阶网络的骨干。本发明基于迁移学习策略，以第一阶网络的训练权值作为第二阶网络的初始参数。

进一步的，在步骤S5中，网络采用随机梯度下降策略进行训练，正负样本数均为10,000 张图像，输入样本尺寸为512×512，BatchSize设置为1，初始学习率设置为1×10-4，动量设置为0.9，遍历数据为一轮，训练轮次设置为10，每轮训练结束后根据验证结果是否提升来保存训练模型，以抑制过拟合。损失函数形式与第一阶相同。

在步骤S5中，在第二阶网络的训练完成后，对算法进行封装，模型权值采用第二阶网络的训练权值。

进一步的，在步骤S7中，对于存在于实际钣金件当中的真实缺陷，结合相机分辨率、缺陷认定尺寸等因素，一个缺陷通常会存在于连续五张及以上的切片当中。因此，如果某一切片在网络判别过程中被标记为正，若其顺序内上下各连续两张均为被标记为负的切片，则算法认定其为假正，并将其重新标记为负；对于在网络判别过程中被标记为负的切片，也对其进行同理的重标记。这样可以进一步降低算法的误判和漏判率。因为算法的误判和漏判通常为独立偶发，连续多张同时被错判的概率较低。

在步骤S7中，在对切片进行重新标记后，算法将连续的正切片进一步标记为有缺陷区域，将负连续的切片进一步标记为无缺陷区域，即完成检测环节。

进一步的，在步骤S8中，对一批次输入的多张切片的首张进行ROI区域选取，以该区域所对应的范围对后续切片进行裁剪。之后，对切片逐张进行计算。对于一张切片，对其像素进行逐行的加权平均，一张640×200的ROI切片在此操作后将变为一个640×1的数组，此即为重构图像的一行。加权平均公式为：

其中，fi_ij表示一张切片第j行、第i列像素的原始灰度值，f_i′是该列加权平均后的值，ro 表示该张切片的总行数。遍历输入切片即可得到重构图像，之后将缺陷位置在重构图像上标出。

本发明提供了一种基于深度迁移学习的汽车钣金表面缺陷检测方法，具备以下有益效果：

1、为了克服深度网络训练所需样本量不足的问题，本发明采用红外热像断层扫描而非传统工业面阵相机拍摄的方式采集钣金件表面的系列切片图像。该方式可以为足够深度的卷积神经网络提供足以进行多阶、深层次非线性复杂映射关系学习的多样性样本，使模型可以更加充分地拟合数据特征，降低过拟合发生率。

2、为了避免样本中存在过多的与待检测钣金件主体不相关的区域，导致深度网络进行过多的不必要的特征拟合，占用算力资源，本发明设计了一套针对钣金件主体的图像处理流程，通过质心计算、自适应的主体区域选取、图像裁剪、阈值分割等操作，尽可能地去除无关区域，提高算法检测效率。

3、传统深度网络采用的卷积滤波和采样方式，会同时作用于检测主体和高频噪声，为了保护钣金件主体特征，特别是保护其细节信息不被全局滤波所破坏，本发明设计了一个新颖的特征融合样本代替传统的原始图像样本输入网络进行训练、验证、测试，该样本可同时兼顾突出检测主体特征和消除高频噪声两方面要素，使网络更专注于对钣金件主体的特征展开学习。

4、为了提升深度网络的特征拟合能力，本发明采用迁徙学习策略。第一阶网络所使用的权值参数来自于ImageNet大规模数据集。虽然本发明所面向的钣金件检测任务与ImageNet所面向的场景不甚相同，但是深度网络在不同问题之间所学到的有效视觉特征空间层次结构是可移植的。更进一步地，第二阶网络所使用的权值则迁移自第一阶网络的训练模型，逐阶次提高网络的学习能力。

5、为了提升算法的准确率，本发明采用Boosting思想和强化学习策略，级联弱分类器构建强分类器，在基于第一阶网络检测结果对网络进行性能分析和评估的基础上，主动地、有针对性地对第二阶网络的训练样本进行调整，校正导致深度网络误检的权值参数，进一步提高网络的鲁棒性。

6、为了提高算法的容错率，本发明根据所面向汽车钣金件的缺陷特点和检测要求，基于深度网络判别值，在切片层面对最终判别结果进行二次标注。由于本发明特殊的数据采集方式，所以一个缺陷会同时、连续地存在于多张切片当中，然而误检和漏检则通常为单独偶发情况，因此这种对偶发情况的二次标注，可提高算法的容错率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：

图1为本发明所述方法的流程图；

图2为发明所述方法的网络结构图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种基于深度迁移学习的汽车钣金表面缺陷检测方法，包括如下步骤：

S1：利用红外热像仪对钣金件进行断层扫描，对于一件产品，一次扫描可获得数百张切片图像，经验丰富的检测人员根据切片图像中有无存在缺陷，对采集图像进行标注，构建整体数据集，一处可辨缺陷通常会存在于五张以上的切片中，因此即使后序有一张图像被误判，本发明的数据采集方式也会使得误判对于整体检测结果的影响较低。

S2：根据检测主体，自适应地对图像进行ROI(Region of Interest，感兴趣区域)选取，分割，滤波，得到滤波图像。将滤波图像与ROI图像进行融合，得到既滤除了高频噪声又保留了钣金件主体细节内容的样本图像。调整样本图像的尺寸以及样本规模，制作第一阶网络所需的数据集。

S3：构建第一阶网络模型，包含两个子网络，利用第一阶训练集和第一阶验证集对第一阶模型进行训练和验证。

S4：保存第一阶网络的训练模型，并利用第一阶测试集对各子网络进行性能分析。

S5：将第一阶两个子网络测试输出的全部FN(False Negative，假负例)样样本标注为第二阶正样本，将第一阶两个网络测试输出的全部FP(False Positive，假正例)样本标注为第二阶负样本，重新对其进行镜像、随机翻转等操作，扩充样本量，使正负样本量相等，均为10,000张图像，并构建第二阶训练集。利用第二阶训练集和前述的第二阶验证集对第二阶网络进行训练和验证。

S6：在实际工业检测过程中，所输入数据为红外热像仪直接采集的、未经处理的钣金件切片图像。算法首先对其进行ROI区域选取、裁剪、分割、滤波，之后将其尺寸调整为512×512，并将其按顺序送入网络进行计算。

S7：网络对输入样本进行计算，输出判别值，设置判别阈值，若判别值大于等于0.5，则将切片标记为正，反之，则将切片标记为负。

S8：对红外热像仪直接采集的、未经处理的钣金件切片按顺序进行重构，得到能反映钣金件真实样貌的二维重构图像，并将缺陷位置在重构图像上标出。

S9：输出标记有缺陷位置且能反映钣金件真实样貌的图像，即完成最终的缺陷检测。

在本实施例中在步骤S1中，将FLIR-A615工业相机安装在图像采集模组上，进行图像采集；调整相机焦距以及各参数，使其能够清晰地捕获图像表面信息，采集图像分辨率为640×480，同时在步骤S1中，将采集到的切片图像以bmp格式按顺序进行命名，专业检测人员根据切图像中有无缺陷，对图像进行标注，存在缺陷的图像标注为正样本，不存在缺陷的图像标注为负样本。将正负样本保存入不同的文件夹中。

在本实施例中在步骤S2中，利用密度质心算法计算输入图像的全局灰度值，求得一锚点。以图像长度为长，以该锚点对应上下各100像素为宽，对输入图像进行640×200 的裁剪，得到裁剪图像。因钣金件主体在红外成像中反应的像素值高，而背景区域反应的像素值低，所以该步骤可以得到针对钣金件表面的ROI区域，而裁除了图像中与计算不相关的区域，从而提升了后序效率。质心计算公式为：

其中，x₀为图像坐标系中锚点对应横坐标，y₀为锚点对应纵坐标，f_ij为像素在(x_i，y_j)处的灰度值，

在步骤S2中，对获取的ROI区域进行阈值分割，图像中灰度值低于75的像素点设置为0，其余像素点灰度值保持不变，以进一步降低背景区域对后序计算的影响，得到分割图像，

在步骤S2中，对得到的分割图像进行核尺寸为49的高斯滤波，以滤除图像中的高频噪声和不相关细节，得到滤波图像。

在步骤S2中，将滤波图像与ROI图像进行融合，得到融合图像，融合图像既保留了原始输入图像中检测主体的细节内容，又滤除了不相关的背景区域和高频噪声。融合公式为：

I_SPL＝I_ROI⊙I_GS

其中，I_SPL表示融合图像，I_ROI为ROI图像，I_GS为高斯滤波图像，⊙为哈达玛矩阵乘积。

在步骤S2中，利用双线性插值算法对融合图像进行尺寸调整，由640×200调整为525×525尺寸。之后，以512×512尺寸对调整后的图像进行随机裁剪，同时结合镜像、旋转操作，对样本规模进行扩充，使正样本数量和负样本数量保持相等，均为24,000图像。之后，将正负样本中各10,000张图像作为第一阶网络的训练集，各2,000张图像作为第一阶网络的验证集，各10,000张图像作为第一阶网络的测试集，各2,000张图像作为第二阶网络的验证集，并构建数据集。

在本实施例中在步骤S3中，第一阶模型由两个独立的网络并行构成，两个网络分别以VGG19结构和ResNet50结构为骨干，并分别对样本进行训练和验证。VGG19网络包含 16个卷积层和3个全连接层，由输入至输出均使用3×3的卷积核和2×2的最大池化层。对于给定的感受野，相较于AlexNet等采用大卷积核的网络，VGG19这种堆叠小卷积核的策略使得其可以利用更多的非线性层来学习更复杂的模式，且代价更小，参数更少。 ResNet50网络包含4个残差块，50个卷积层，残差块内设置快捷连接，可将靠前若干层的某一层特征映射直接跳过多层之后，级联到后面的卷积层，以期使网络克服因深度加深而产生的梯度消失明显、学习率变低等问题，并提升准确率。本发明采用迁移学习策略，所基于的VGG19和ResNet50的骨干均已在ImageNet大规模数据集上完成过参数初始化和预训练。此外，为了使网络更适用于图像分类任务，本发明对两个网络的原始输出层进行冻结，并定义了新的全连接层替代。全连接层输入层映射尺寸为512×512，以适应大尺寸输入，激活函数选取ReLU(Rectified Linear Unit，线性整流函数)，DropOut设置为 0.5，输出层激活函数选取Sigmoid函数，输出为值在0至1区间内的实数。

在步骤S3中，网络采用随机梯度下降策略进行训练，输入样本尺寸为512×512，BatchSize设置为1，初始学习率设置为1×10-4，动量设置为0.9，遍历数据为一轮，训练轮次设置为20，每轮训练结束后根据验证结果是否提升来保存训练模型，以抑制过拟合。损失函数Loss计算公式为：

其中，img表示输入样本；f(·)表示网络运算过程；lab表示样本标签，样本为正时， lab＝1，样本为负时，lab＝0；m表示样本数量。

在本实施例中在步骤S4中，利用第一阶测试集分别对完成训练的VGG19网络和ResNet50网络进行测试。对于每一张输入图像，网络会反馈一个预测值，若值大于等于0.5，则认为输入为正样本，反正，则认为其为负样本。对第一阶模型的测试结果可分为四类：TP(True Positive，真正例)，即正样本预测为正样本的情况；TN(True Negative，真负例)，即负样本预测为负样本的情况；FP(False Positive，假正例)，即负样本预测为正样本的情况；FN(False Negative，假负例)，即正样本预测为负样本的情况。基于这四种结果，本发明利用精准率和召回率指标对这两个网络进行评价，评价值越高，表示网络性能越好。评价公式F为：

F＝2PR/(P+R)

其中，P为精准率，其计算公式为：

P＝TP/(TP+FP)

R为召回率，其计算公式为：

P＝TP/(TP+FN)

在步骤S4中，选择两个网络中性能高的一个，将其模型作为第二阶网络的骨干。本发明基于迁移学习策略，以第一阶网络的训练权值作为第二阶网络的初始参数。

在本实施例中在步骤S5中，网络采用随机梯度下降策略进行训练，正负样本数均为 10,000张图像，输入样本尺寸为512×512，BatchSize设置为1，初始学习率设置为 1×10-4，动量设置为0.9，遍历数据为一轮，训练轮次设置为10，每轮训练结束后根据验证结果是否提升来保存训练模型，以抑制过拟合。损失函数形式与第一阶相同。

在步骤S5中，在第二阶网络的训练完成后，对算法进行封装，模型权值采用第二阶网络的训练权值。

在本实施例中在步骤S7中，对于存在于实际钣金件当中的真实缺陷，结合相机分辨率、缺陷认定尺寸等因素，一个缺陷通常会存在于连续五张及以上的切片当中。因此，如果某一切片在网络判别过程中被标记为正，若其顺序内上下各连续两张均为被标记为负的切片，则算法认定其为假正，并将其重新标记为负；对于在网络判别过程中被标记为负的切片，也对其进行同理的重标记。这样可以进一步降低算法的误判和漏判率。因为算法的误判和漏判通常为独立偶发，连续多张同时被错判的概率较低。

在步骤S7中，在对切片进行重新标记后，算法将连续的正切片进一步标记为有缺陷区域，将负连续的切片进一步标记为无缺陷区域，即完成检测环节。

在本实施例中在步骤S8中，对一批次输入的多张切片的首张进行ROI区域选取，以该区域所对应的范围对后续切片进行裁剪。之后，对切片逐张进行计算。对于一张切片，对其像素进行逐行的加权平均，一张640×200的ROI切片在此操作后将变为一个640×1 的数组，此即为重构图像的一行。加权平均公式为：

其中，f_ij表示一张切片第j行、第i列像素的原始灰度值，f_i′是该列加权平均后的值，row表示该张切片的总行数。遍历输入切片即可得到重构图像，之后将缺陷位置在重构图像上标出。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于深度迁移学习的汽车钣金表面缺陷检测方法，其特征在于：包括如下步骤：

S1：利用红外热像仪对钣金件进行断层扫描，对于一件产品，一次扫描可获得数百张切片图像，经验丰富的检测人员根据切片图像中有无存在缺陷，对采集图像进行标注，构建整体数据集，一处可辨缺陷通常会存在于五张以上的切片中，因此即使后序有一张图像被误判，本发明的数据采集方式也会使得误判对于整体检测结果的影响较低；

S2：根据检测主体，自适应地对图像进行ROI(Region of Interest，感兴趣区域)选取，分割，滤波，得到滤波图像，将滤波图像与ROI图像进行融合，得到既滤除了高频噪声又保留了钣金件主体细节内容的样本图像，调整样本图像的尺寸以及样本规模，制作第一阶网络所需的数据集；

S3：构建第一阶网络模型，包含两个子网络，利用第一阶训练集和第一阶验证集对第一阶模型进行训练和验证；

S4：保存第一阶网络的训练模型，并利用第一阶测试集对各子网络进行性能分析；

S5：将第一阶两个子网络测试输出的全部FN(False Negative，假负例)样本标注为第二阶正样本，将第一阶两个网络测试输出的全部FP(False Positive，假正例)样本标注为第二阶负样本，重新对其进行镜像、随机翻转等操作，扩充样本量，使正负样本量相等，均为10,000张图像，并构建第二阶训练集，利用第二阶训练集和前述的第二阶验证集对第二阶网络进行训练和验证；

S6：在实际工业检测过程中，所输入数据为红外热像仪直接采集的、未经处理的钣金件切片图像，算法首先对其进行ROI区域选取、裁剪、分割、滤波，之后将其尺寸调整为512×512，并将其按顺序送入网络进行计算；

S7：网络对输入样本进行计算，输出判别值，设置判别阈值，若判别值大于等于0.5，则将切片标记为正，反之，则将切片标记为负；

S8：对红外热像仪直接采集的、未经处理的钣金件切片按顺序进行重构，得到能反映钣金件真实样貌的二维重构图像，并将缺陷位置在重构图像上标出；

S9：输出标记有缺陷位置且能反映钣金件真实样貌的图像，即完成最终的缺陷检测。

Images