CN114612415A - 基于深度残差网络与多通道图像融合的表面缺陷分类方法 - Google Patents

Abstract

本发明涉及工业产品表面缺陷检测识别技术领域，具体地说，涉及一种基于深度残差网络与多通道图像融合的表面缺陷分类方法。其包括如下步骤：步骤S1、构建深度残差网络；步骤S2、对深度残差网络进行训练；步骤S3、构建待分类产品的多通道图像序列；步骤S4、采用预处理模块对多通道图像序列进行自归一化；步骤S5、通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进行处理，获取表面缺陷类别。本发明能够较佳地适用于对不同产品和表面缺陷检测的快速移植。

Description

基于深度残差网络与多通道图像融合的表面缺陷分类方法

技术领域

本发明涉及工业产品表面缺陷检测识别技术领域，具体地说，涉及一种基于深度残差网络与多通道图像融合的表面缺陷分类方法。

背景技术

工业产品的生产过程中，如点胶、封装、表面处理等工艺造成的微小缺陷不仅严重影响产品的表观质量，甚至会破坏其功能特性，故产品部件表面质量好坏是判定能否满足质量要求的重要依据之一。传统工业产线对产品部件表面缺陷的识别与监测主要通过人工抽检方式完成，人工检测方法耗费大量人力，存在效率低、精度低且识别不稳定等问题，无法满足高效、可靠且高精度实时检测需求。

随着基于人工特征的机器视觉检测技术在工业生产上的广泛应用，一定程度上实现了缺陷自动检测，降低了次品率，但该类方法仍存在以下不足：

1、利用人工特征的方法严重依赖专业人员对采集图像中的缺陷区域进行特征提取和分析，提取过程复杂且无法包含所有特征；在不确定或者较多变化检测环境下，依赖人工特征的视觉算法准确度变差；

2、不同产品和缺陷的特征差异大，单一方法的泛化能力差；当被检测对象发生变化后，算法和参数需要重新设计和开发，难以应对快速的产线升级和产品迭代。

发明内容

本发明提供了一种基于深度残差网络与多通道图像融合的表面缺陷分类方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其包括如下步骤：

步骤S1、构建深度残差网络；

步骤S2、对深度残差网络进行训练；

步骤S3、构建待分类产品的多通道图像序列；

步骤S4、采用预处理模块对多通道图像序列进行自归一化；

步骤S5、通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进行处理，获取表面缺陷类别。

通过上述步骤S1-S5，能够较佳地用于工业产品的表面缺陷的快速识别分类，由于采用非人工特征的方法进行建模，故而能够较佳地保证对检测环境的适应性；由于以多通道图像序列作为输入，故能够较佳地适用于对不同产品和表面缺陷检测的快速移植。

作为优选，步骤S1中，所建立的深度残差网络为ResNet-18的网络模型；

深度残差网络包括依次连接的首层卷积层、第一残差区块、第二残差区块、第三残差区块、第四残差区块和全连接层；

首层卷积层的卷积核数为64、卷积核宽为7、卷积核高为7、步长为2、填充为1，激活函数为LeakyRelu函数；

第一残差区块具有2个卷积层，每个卷积层的卷积核数为64、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第二残差区块具有2个卷积层，每个卷积层的卷积核数为128、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第三残差区块具有2个卷积层，每个卷积层的卷积核数为256、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第四残差区块具有2个卷积层，每个卷积层的卷积核数为512、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

全连接层具有720个卷积核。

本发明中，由于Resnet-18网络模型的运用，使得能够搭建更深的网络层数，从而使得深度残差网络的稳定及性能能够更加优越。

作为优选，步骤S2包括如下步骤，

步骤S21、构建样本集；

步骤S22、将样本集分别为训练集和测试集；

步骤S23、采用训练集对深度残差网络进行训练，采用测试集对深度残差网络进行测试，直至深度残差网络收敛。

通过上述步骤S21-S23，能够较佳地实现样本集的构建以及深度残差网络的训练。

作为优选，步骤S21包括如下步骤，

步骤S21a、保持拍摄角度不变，采集不同光照角度下的产品表面图像P，P＝{P_uv|u∈N⁺，v∈N⁺}；P_uv表示在第u个产品在第v种光照角度下的表面图像；

步骤S21b、对产品表面图像P进行切分，获取单颗产品在不同光照角度下的单颗产品表面图像I，I＝{I_uwv|u∈N⁺，v∈N⁺，w∈N⁺}；I_uwv表示第u个产品中的第w个单颗产品在第v种光照角度下的表面图像，进而构建单颗产品的多通道图像序列I_uw，I_uw＝{I_uwv|v∈N⁺}；

步骤S21c、获取每个单颗产品的缺陷类型m_r，之后构建初步样本集Q，Q＝{Q_uw|u∈N⁺，w∈N⁺}；其中，Q_uw＝(m_r，I_uw)，m_r表示第r种缺陷类型，r∈N；且r＝0时，m₀＝0，表示缺陷类型为无缺陷；

步骤S21d、采用预处理模块对初步初步样本集Q进行自归一化处理，获取样本集Q^*。

通过上述步骤S21a-S21d，能够较佳地实现最终样本集的构建。尤其是通过步骤S21d，能够较佳地实现对不同光照角度的图片的自归一化处理，由于不同角度下的表面图像是作为单独一个通道(维度)输入给深度残差网络进行处理，故通过自归一化，能够较佳地降低图像明暗差异对表面缺陷特征提取的影响。

作为优选，步骤S21d中，

其中，

表示经自归一化处理后的表面图像I_uwv的第i行、第j列的像素值，I_uwv(i，j)表示表面图像I_uwv的第i行、第j列的像素值，μ_v表示表面图像I_uwv的像素值的均值，σ_v表示表面图像I_uwv的像素值的标准差，k_v表示表面图像I_uwv的特征显著性系数。

通过上述，能够较佳地实现对原始表面图像的自归一化处理。

作为优选，

其中，I_dv表示表面图像I_uwv的特征区域的平均灰度值。通过特征显著性系数k_v的引入，能够较佳地将含有更多特征区域的图像赋予更多的权重，故而能够较佳地提升检测的精度。

作为优选，步骤S23中，基于损失函数或检测精度完成深度残差网络的迭代收敛。故而能够较佳地完成深度残差网络的训练。

作为优选，基于损失函数进行深度残差网络的迭代收敛时，设置迭代的停止条件为当次迭代完成时的损失值与前次迭代完成时的损失值的变化低于设定阈值。故而能够较佳地完成深度残差网络的训练。

作为优选，基于检测精度进行深度残差网络的迭代收敛时，设置迭代的停止条件为当次迭代完成时的检测精度与前次迭代完成时的检测精度的变化低于设定阈值。故而能够较佳地完成深度残差网络的训练。

附图说明

图1为实施例1中的多通道图像序列的采集原理图；

图2为实施例1中的大规模阵列产品的宽幅图像示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例1

本实施例提供了一种基于深度残差网络与多通道图像融合的表面缺陷分类方法，其包括如下步骤：

步骤S1、构建深度残差网络；

步骤S2、对深度残差网络进行训练；

步骤S3、构建待分类产品的多通道图像序列；

步骤S4、采用预处理模块对多通道图像序列进行自归一化；

步骤S5、通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进行处理，获取表面缺陷类别。

通过上述步骤S1-S5，能够较佳地用于工业产品的表面缺陷的快速识别分类，由于采用非人工特征的方法进行建模，故而能够较佳地保证对检测环境的适应性；由于以多通道图像序列作为输入，故能够较佳地适用于对不同产品和表面缺陷检测的快速移植。

本实施例的方法对微弱、细小及观察角度敏感的产品缺陷具有较高的检测精度，对不同类型、不同尺度的产品缺陷分类有较好的泛化能力。相较于现有方法中单一角度下成像、特征检测识别的方法，多角度光照成像能获取更加精细、全面的缺陷特征，获得更高的检测精度。

本实施例的步骤S3中，待分类产品的多通道图像序列的构建方法与下文中的步骤S21a和步骤S21b相同，所区别仅在于一个针对待分类产品，一个针对样品。

本实施例中的多通道图像序列，是指单颗产品在不同光照角度下所采集的产品表面图像序列。

结合图1所示，本实施例中所述的不同光照角度是指与相机成对设置的光源以不同的角度打光至产品表面；不同光照角度包括同轴光打光、高角度打光、中角度打光、低角度打光、背光打光，设定相机正对产品表面，同轴光打光表示光源位于相机侧且照射光线与产品表面的照射角度为90°，高角度打光表示光源位于相机侧且照射光线与产品表面的照射角度为如60°-90°等角度，中角度打光表示光源位于相机侧且照射光线与产品表面的照射角度为如30°-60°等角度，低角度打光表示光源位于相机侧且照射光线与产品表面的照射角度为如0°-30°等角度，背光打光表示光源背对产品表面且照射光线与产品表面的照射角度为90°等。

本实施例中，能够通过保持相机的拍摄角度不变仅改变光源的照射角度，实现多通道图像序列的建立。这使得，通过不同的光照角度，能够实现表面缺陷在图像上不同表观特征的体现，例如，高角度打光能获得更好的图像亮度和对比度，低角度打光虽然图像较暗但对浅层划伤能更好地凸显效果，同轴光打光使得划伤的图像效果更明显，中等角度打光则兼顾图像质量和缺陷显著性。

本实施例中，考虑到产品表面缺陷的多样性和方向随机性，通过采集不同光照角度下的产品图像构建多通道图像序列，故而能够较佳地便于深度残差网络对表面缺陷的特征的自动提取。

结合图2所示，在实际工业生产中，通常采用高分辨率宽幅成像，也即将多个单颗产品阵列后进行拍照。本实施例中的方法，每条样本数据以及待分类产品均是针对单颗产品的样本或缺陷分类。故在相机采集到产品图像后，通过对切分对宽幅图像进行切分，进而实现单颗产品的产品图像的获取。

本实施例中，能够多个单颗产品的阵列规则，建立切分的规则，进而实现单颗产品的产品图像的自动切分。

本实施例的步骤S1中，所建立的深度残差网络为ResNet-18的网络模型；

深度残差网络包括依次连接的首层卷积层、第一残差区块、第二残差区块、第三残差区块、第四残差区块和全连接层；

首层卷积层的卷积核数为64、卷积核宽为7、卷积核高为7、步长为2、填充为1，激活函数为LeakyRelu函数；

第一残差区块具有2个卷积层，每个卷积层的卷积核数为64、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第二残差区块具有2个卷积层，每个卷积层的卷积核数为128、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第三残差区块具有2个卷积层，每个卷积层的卷积核数为256、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第四残差区块具有2个卷积层，每个卷积层的卷积核数为512、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

全连接层具有720个卷积核。

本实施例中，由于Resnet-18网络模型的运用，使得能够搭建更深的网络层数，从而使得深度残差网络的稳定及性能能够更加优越。

本实施例中，经过全连接层，能够得到不同缺陷类型的可能得分，得分最高的即为最可能的缺陷类型。

相较于现有的如Opencv、halcon等软件中的边缘检测算法，本实施例中的方法，不需要进行大量的人工特征提取和参数调整，且也能较佳地适用于出现新的缺陷类型或工艺改善变化的情形，且通过多角度光源下的多通道图像序列的构建，不需要借助多种算法的联合使用，故能够取得较好的检测结果且实时检测速度较佳。

本实施例的步骤S2包括如下步骤，

步骤S21、构建样本集；

步骤S22、将样本集分别为训练集和测试集；

步骤S23、采用训练集对深度残差网络进行训练，采用测试集对深度残差网络进行测试，直至深度残差网络收敛。

通过上述步骤S21-S23，能够较佳地实现样本集的构建以及深度残差网络的训练。

其中，训练集和测试集的比例能够为7:3。

本实施例的步骤S21包括如下步骤，

步骤S21a、保持拍摄角度不变，采集不同光照角度下的产品表面图像P，P＝{P_uv|u∈N⁺，v∈N⁺}；P_uv表示在第u个产品在第v种光照角度下的表面图像；

步骤S21b、对产品表面图像P进行切分，获取单颗产品在不同光照角度下的单颗产品表面图像I，I＝{I_uwv|u∈N⁺，v∈N⁺，w∈N⁺}；I_uwv表示第u个产品中的第w个单颗产品在第v种光照角度下的表面图像，进而构建单颗产品的多通道图像序列I_uw，I_uw＝{I_uwv|v∈N⁺}；

步骤S21c、获取每个单颗产品的缺陷类型m_r，之后构建初步样本集Q，Q＝{Q_uw|u∈N⁺，w∈N⁺}；其中，Q_uw＝(m_r，I_uw)，m_r表示第r种缺陷类型，r∈N；且r＝0时，m₀＝0，表示缺陷类型为无缺陷；

步骤S21d、采用预处理模块对初步初步样本集Q进行自归一化处理，获取样本集Q^*。

通过上述步骤S21a-S21d，能够较佳地实现最终样本集的构建。尤其是通过步骤S21d，能够较佳地实现对不同光照角度的图片的自归一化处理，由于不同角度下的表面图像是作为单独一个通道(维度)输入给深度残差网络进行处理，故通过自归一化，能够较佳地降低图像明暗差异对表面缺陷特征提取的影响。

本实施例中的缺陷类型m_r能够包括如多胶、少胶、空杯、杂质等类型。

本实施例的步骤S21d中，

其中，

表示经自归一化处理后的表面图像I_uwv的第i行、第j列的像素值，I_uwv(i，j)表示表面图像I_uwv的第i行、第j列的像素值，μ_v表示表面图像I_uwv的像素值的均值，σ_v表示表面图像I_uwv的像素值的标准差，k_v表示表面图像I_uwv的特征显著性系数。

通过上述，能够较佳地实现对原始表面图像的自归一化处理。

本实施例中，

其中，I_dv表示表面图像I_uwv的特征区域的平均灰度值。通过特征显著性系数k_v的引入，能够较佳地将含有更多特征区域的图像赋予更多的权重，故而能够较佳地提升检测的精度。

其中，特征区域能够通过如人工初步计算等手段获取。

本实施例中，步骤S23中，基于损失函数或检测精度完成深度残差网络的迭代收敛。故而能够较佳地完成深度残差网络的训练。其中损失函数及检测精度为现有概念，本实施例中不予赘述。

本实施例中，基于损失函数进行深度残差网络的迭代收敛时，设置迭代的停止条件为当次迭代完成时的损失值与前次迭代完成时的损失值的变化低于设定阈值。故而能够较佳地完成深度残差网络的训练。

本实施例中，基于检测精度进行深度残差网络的迭代收敛时，设置迭代的停止条件为当次迭代完成时的检测精度与前次迭代完成时的检测精度的变化低于设定阈值。故而能够较佳地完成深度残差网络的训练。

本实施例中，设置停止迭代的条件为损失值的变化值和检测精度变化值同时低于0.3％，即

其中，L_n+1和L_n分别表示第n+1次和第n次迭代完成时，通过损失函数计算获取的损失值；P_n+1和P_n分别表示第n+1次和第n次迭代完成时的检测精度。

通过兼顾损失值的变化值和检测精度变化值，使得所训练的模型能够更佳的精度和性能。

本实施例的方法在实际运用时，考虑到缺陷产品的数量一般较少，故能够构建如平移矩阵、旋转矩阵、缩放矩阵等转换矩阵，通过转换矩阵对单条样本进行处理，能够较佳地实现样本集的增广。同时，还能够采用诸如裁剪等方法对单条样本进行处理，也能够较佳地实现样本集的增广。故而能够基于少量的样本，快速准确地对多种产品缺陷进行分类。

本实施例中，在训练完成后能够，对训练获取的模型参数进行保存。在需要对深度残差网络进行重新训练时，能够较佳地以前次训练获取的模型参数作为训练的初始参数，然后迭代训练至新的收敛水平，故而能够具备较佳的泛化能力。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.基于深度残差网络与多通道图像融合的表面缺陷分类方法，其包括如下步骤：

步骤S1、构建深度残差网络；

步骤S2、对深度残差网络进行训练；

步骤S3、构建待分类产品的多通道图像序列；

步骤S4、采用预处理模块对多通道图像序列进行自归一化；

步骤S5、通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进行处理，获取表面缺陷类别。

2.根据权利要求1所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S1中，所建立的深度残差网络为ResNet-18的网络模型；

深度残差网络包括依次连接的首层卷积层、第一残差区块、第二残差区块、第三残差区块、第四残差区块和全连接层；

首层卷积层的卷积核数为64、卷积核宽为7、卷积核高为7、步长为2、填充为1，激活函数为LeakyRelu函数；

第一残差区块具有2个卷积层，每个卷积层的卷积核数为64、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第二残差区块具有2个卷积层，每个卷积层的卷积核数为128、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第三残差区块具有2个卷积层，每个卷积层的卷积核数为256、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

第四残差区块具有2个卷积层，每个卷积层的卷积核数为512、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；

全连接层具有720个卷积核。

3.根据权利要求2所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S2包括如下步骤，

步骤S21、构建样本集；

步骤S22、将样本集分别为训练集和测试集；

步骤S23、采用训练集对深度残差网络进行训练，采用测试集对深度残差网络进行测试，直至深度残差网络收敛。

4.根据权利要求3所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S21包括如下步骤，

步骤S21a、保持拍摄角度不变，采集不同光照角度下的产品表面图像P，P＝{P_uv|u∈N⁺，v∈N⁺}；P_uv表示在第u个产品在第v种光照角度下的表面图像；

步骤S21b、对产品表面图像P进行切分，获取单颗产品在不同光照角度下的单颗产品表面图像I，I＝{I_uwv|u∈N⁺，v∈N⁺，w∈N⁺}；I_uwv表示第u个产品中的第w个单颗产品在第v种光照角度下的表面图像，进而构建单颗产品的多通道图像序列I_uw，I_uw＝{I_uwv|v∈N⁺}；

步骤S21c、获取每个单颗产品的缺陷类型m_r，之后构建初步样本集Q，Q＝{Q_uw|u∈N⁺，w∈N⁺}；其中，Q_uw＝(m_r，I_uw)，m_r表示第r种缺陷类型，r∈N；且r＝0时，m₀＝0，表示缺陷类型为无缺陷；

步骤S21d、采用预处理模块对初步初步样本集Q进行自归一化处理，获取样本集Q^*。

5.根据权利要求4所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S21d中，

其中，

表示经自归一化处理后的表面图像I_uwv的第i行、第j列的像素值，I_uwv(i，j)表示表面图像I_uwv的第i行、第j列的像素值，μ_v表示表面图像I_uwv的像素值的均值，σ_v表示表面图像I_uwv的像素值的标准差，k_v表示表面图像I_uwv的特征显著性系数。

6.根据权利要求5所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：

其中，I_dv表示表面图像I_uwv的特征区域的平均灰度值。

7.根据权利要求6所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S23中，基于损失函数或检测精度完成深度残差网络的迭代收敛。

8.根据权利要求7所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：基于损失函数进行深度残差网络的迭代收敛时，设置迭代的停止条件为当次迭代完成时的损失值与前次迭代完成时的损失值的变化低于设定阈值。

9.根据权利要求7所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：基于检测精度进行深度残差网络的迭代收敛时，设置迭代的停止条件为当次迭代完成时的检测精度与前次迭代完成时的检测精度的变化低于设定阈值。

Images