CN115775236A - 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 - Google Patents

Abstract

本申请公开了基于多尺度特征融合的表面微小缺陷视觉检测方法及系统，其中方法包括以下步骤：采集被测目标物图像集，并基于被测目标物图像集构建工业品微小缺陷的图像训练数据集；基于图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；将待测目标物图像输入至优化后深度神经网络进行处理，得到目标物缺陷图像。本申请通过采用注意力机制以及多尺度特征融合网络结构，可以有效抑制下采样导致的信息丢失，提高工业品微小缺陷检测的识别率，另外，增加小目标检测层，能够更加准确检测出工业品的微小缺陷，有利于机器视觉缺陷检测技术的应用研究。

Description

基于多尺度特征融合的表面微小缺陷视觉检测方法及系统

技术领域

本发明涉及机器视觉缺陷检测领域，具体涉及基于多尺度特征融合的表面微小缺陷视觉检测方法及系统。

背景技术

缺陷检测是工业检测领域的一种常用技术，缺陷检测的任务来从图像中检测物体缺陷的位置、大小以及分类，缺陷检测算法通过大量样本数据的训练和学习可以实现自动完成检测任务。相比于传统的缺陷检测算法，基于多尺度特征融合的缺陷检测方法能够更好适用于不同大小的物体检测以及定位物体缺陷的位置。因此基于多尺度特征融合的缺陷检测算法在人脸识别、自动驾驶、微小缺陷检测等方面得到广泛的应用。

现代工业生产对于质量要求与日俱增，尤其以高端电器铝型材加工、高端包装印刷、食品级注塑生产等行业，对于外观缺陷要求极高，缺陷最小尺寸小于0.1mm，这对于自动化视觉检测提出了很高的要求。传统的缺陷检测系统由于无法准确识别微小缺陷、检测精度低的限制，导致系统存在检测准确率低、效率低等问题。因此，开发能够更精确识别微小缺陷、检测准确率高的缺陷检测算法非常有助于视觉缺陷检测技术的应用和发展。

发明内容

针对传统微小缺陷视觉检测算法检测准确率及微小缺陷识别率低的问题，本申请提供了一种基于多尺度特征融合的表面微小缺陷视觉检测方法及系统。结合深度学习缺陷检测算法以及网络结构优化方法，提高了工业微小缺陷检测的识别率和准确率。

为达到上述目的，本申请提供了以下方案：

基于多尺度特征融合的表面微小缺陷视觉检测方法，包括以下步骤：

采集被测目标物图像集，并基于所述被测目标物图像集构建工业品微小缺陷的图像训练数据集；

基于所述图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；

将待测目标物图像输入至所述优化后深度神经网络进行处理，得到目标物缺陷图像。

优选的，所述被测目标物图像的采集方法包括：

拍摄X张被测目标物图像；

将X张所述被测目标物图像进行预处理，得到图像集B，所述图像集B作为所述被测目标物图像集。

优选的，获得所述预处理的方法包括：

将每张所述被测目标物进行亮度调整、旋转和翻转处理，得到Y张处理后子图像；

基于所述处理后子图像，构建包含K＝X×(Y+1)张处理后图像的图像集A；

将K张所述处理后图像进行缺陷标注，得到预处理后的所述图像集B。

优选的，所述多尺度特征融合深度神经网络训练的方法包括：

设计特征提取过程中的注意力机制CA；

引入小目标检测层；

采用ADAM函数对所述多尺度特征融合深度神经网络进行损失函数Loss(Π)训练优化。

优选的，所述注意力机制CA的设计方法包括：

给定一个C×H×W的特征图f，将所述特征图f在x和y方向进行平均池化，得到C×H×1大小的第一特征图和C×1×W大小的第二特征图；

将所述第一特征图和所述第二特征图在空间通道进行连接和卷积激活操作得到定位特征向量D∈R^{C/r×1×(H+W)}；

利用两个卷积分别将x和y方向的特征图通道数变换为与输入通道数相同，将所述两个卷积的输出特征值相乘后输出一个C×H×W的特征图J；

将所述特征图f进行全局平均池化和最大池化，得到1×H×W大小的第三特征图和1×H×W大小的第四特征图；

将所述第三特征图和所述第四特征图在所述空间通道中连接并进行卷积，得到特征图F；

将特征图J和特征图F输入SKFF模块对感受野进行动态调整后与输入特征图f相乘输出一个C×H×W的特征图G。

优选的，所述小目标检测层的工作方法包括：

给定一个输入特征图I∈R^C×H×W；

将所述特征图I∈R^C×H×W经过卷积和上采样后得到特征图I′；

将所述特征图I′与另一张相同尺寸的特征图I″连接，输出融合后的特征图

优选的，所述损失函数Loss(П)的优化过程如下式所示：

式中，N为检测层个数，α为损失函数的权重，L_b为边界框损失函数，L_o为目标物损失函数，L_c为分类损失函数，IoU为交并比，I为最小外接矩形的对角线距离，W为预测框与真实框中心点距离，v为衡量长宽比一致的参数，n为标签数，B_i为目标值，S_i为模型输出值。

优选的，所述处理过程包括：

将所述被测目标物图像集经过多尺度特征提取和特征融合网络处理后得到图像组；

将所述图像组输入至所述小目标检测层后得到缺陷检测结果。

本申请还提供了基于多尺度特征融合的表面微小缺陷视觉检测系统，包括：图像采集模块、网络训练模块和检测模块；

所述图像采集模块用于采集被测目标物图像集，并基于所述被测目标物图像集构建工业品微小缺陷的图像训练数据集；

所述网络训练模块用于基于所述图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；

所述检测模块用于将所述被测目标物图像集输入至所述优化后深度神经网络进行处理，得到目标物缺陷图像。

本申请的有益效果为：

本申请设计出一种基于多尺度特征融合的工业微小缺陷视觉检测方法。通过采用注意力机制以及多尺度特征融合网络结构，可以有效抑制下采样导致的信息丢失，提高工业品微小缺陷检测的识别率。另外，增加小目标检测层，能够更加准确检测出工业品的微小缺陷。本申请有利于机器视觉缺陷检测技术的应用研究。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一的方法流程示意图；

图2为本申请实施例一的CA坐标注意力机制架构示意图；

图3为本申请实施例一的小目标检测层架构示意图；

图4为本申请实施例一的C3_1模块和C3_2模块组成示意图；

图5为本申请实施例一的多尺度特征融合深度神经网络架构示意图；

图6为本申请实施例二的系统结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

在本实施例一种，如图1所示，基于多尺度特征融合的表面微小缺陷视觉检测方法，包括以下步骤：

S1.采集被测目标物图像集，并基于被测目标物图像集构建工业品微小缺陷的图像训练数据集。

被测目标物图像的采集方法包括：拍摄X张被测目标物图像，将X张被测目标物图像进行预处理，得到图像集B；其中，预处理的方法包括：将每张被测目标物进行亮度调整、旋转和翻转处理，得到Y张处理后子图像；基于处理后子图像，构建包含K＝X×(Y+1)张处理后图像的图像集A；将K张所述处理后图像进行缺陷标注，得到预处理后的图像集B。

在本实施例一中，利用工业相机拍摄X＝430张被测目标物图像，每个被测目标物图像记为n_i，i＝1,2,…,430；把被测目标物图像经过亮度调整、旋转、翻转等预处理后，得到Y＝10张预处理后的子图像；将X＝430张被测目标物图像采用相同方式预处理后，可得到包含K＝430×(10+1)＝4730张图像的输入图像集A；用矩形框将K＝4730张被测物图像中的缺陷圈出后，可得到包含K＝4730张图像的目标图像集B。

S2.基于图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络。

多尺度特征融合深度神经网络训练的方法包括：设计特征提取过程中的注意力机制CA，引入小目标检测层，采用ADAM函数对所述多尺度特征融合深度神经网络进行损失函数Loss(П)训练优化。

在多尺度特征提取网络中，浅层特征提取部分通过卷积操作得到不同尺寸大小的特征图，深层特征通过不同池化核大小的最大池化进行多尺度特征提取。在网络中上层、中间层、中下层以及底层提取四个特征层，利用这四个不同尺寸大小的特征层进行多尺度特征融合，有利于提取出更好的特征，提高对微小缺陷的识别率。

其中，注意力机制CA的设计方法包括：给定一个C×H×W的特征图f，将所述特征图f在x和y方向进行平均池化，得到C×H×1大小的第一特征图和C×1×W大小的第二特征图；将第一特征图和第二特征图在空间通道进行连接和卷积激活操作得到定位特征向量D∈R^{C /r×1×(H+W)}；利用两个卷积分别将x和y方向的特征图通道数变换为与输入通道数相同，将两个卷积的输出特征值相乘后输出一个C×H×W的特征图J；将特征图f进行全局平均池化和最大池化，得到1×H×W大小的第三特征图和1×H×W大小的第四特征图；将第三特征图和第四特征图在所述空间通道中连接并进行卷积，得到特征图F；将特征图J和特征图F输入SKFF模块对感受野进行动态调整后与输入特征图f相乘输出一个C×H×W的特征图G。

在本实施例一中，如图2所示，给定一个C×H×W＝180×80×80的特征图f，首先将特征图在x和y方向进行平均池化，得到C×H×1＝128×80×1和C×1×W＝128×1×80大小的特征图，将特征图在空间通道进行连接和卷积激活操作得到定位特征向量D∈R^{128 /32/1×(80+80)}，利用两个卷积分别将x和y方向的特征图的通道数变换为与输入通道数相同，将两个卷积输出特征值相乘后输出一个C×H×W＝128×80×80的特征图J。其次，将特征图f进行全局平均池化和最大池化，得到两个1×H×W＝1×80×80大小的特征图，在空间通道连接后采用卷积输出一张与特征图f相同尺寸的特征图F。最后将特征图J和特征图F输入SKFF模块对感受野进行动态调整后与输入特征图f相乘输出一个C×H×W＝128×80×80的特征图G。其数学模型可以表示如下：

D＝[D_h，D_w]＝σ(Q_a[A_x(f)，A_y(f)])

J＝σ(Q_bD_h)·σ(Q_cD_w)

F＝σ(Q_d[A_a(f)，A_m(f)])

其中，

表示特征提取函数，A_x(·)表示在x方向平均池化，A_y(·)表示在y方向平均池化，A_a(·)表示在全局平均池化，A_m(·)表示全局最大池化，σ(·)是sigmod函数，Q_a、Q_b、Q_c和Q_d表示卷积权重，S(·)是表示SKFF模块的隐函数。

为了提高工业微小缺陷检测的准确率，在特征融合网络中引入了如图3所示的小目标检测层，小目标检测层的工作方法包括：给定一个输入特征图I∈R^C×H×W；将特征图I∈R^C×H×W经过卷积和上采样后得到特征图I′；将特征图I′与另一张相同尺寸的特征图I″连接，输出融合后的特征图

在本实施例一中，给定一个输入特征图I∈R^256×80×80，将特征图I∈R^256×80×80经过卷积和上采样操作后得到特征图I′∈R^{128×160×160}；将特征图I′与另一张相同尺寸的特征图I″∈R^{128×160×160}连接；由C3_2模块输出融合后的特征图

C3_1模块和C3_2模块如图4所示。

在本实施例一中，损失函数Loss(∏)的优化过程如下式所示：

式中，N为检测层个数，α为损失函数的权重，L_b为边界框损失函数，L_o为目标物损失函数，L_c为分类损失函数，IoU为交并比，I为最小外接矩形的对角线距离，W为预测框与真实框中心点距离，v为衡量长宽比一致的参数，n为标签数，B_i为目标值，S_i为模型输出值。经过M次训练后，可以得到优化参数

S3.将待测目标物图像输入至优化后深度神经网络进行处理，得到目标物缺陷图像。

处理过程包括：将被测目标物图像集经过多尺度特征提取和特征融合网络处理后得到图像组；将图像组输入至所述小目标检测层后得到缺陷检测结果。

被测目标物图像经过多尺度特征提取网络提取特征以及多尺度特征融合后，得到z＝4个尺寸依次减半的特征图

由Detect模块对特征图Z′＝[Z′₁，Z′₂，...，Z′₄]进行预测，输出预测结果图Z，其数学模型可以表示如下：

Z＝Z(x，y)＝D(Z′)

其中，D(·)表示目标检测函数，Z′为包含z张输入特征图的数组，Z表示输出的检测特征图。

对于一个由工业相机拍摄的待测目标物图像S，经过多尺度特征提取和特征融合网络处理后得到图像组S′，最后将图像组输入小目标特征检测网络后可得到缺陷检测结果，即通过

得到目标物缺陷检测结果图像。

在本实施例一中，如图5所示，将被测目标物图像S∈R^3×640×640输入到深度神经网络中，之后输出即为目标物缺陷图像Ot∈R^3×640×640,其数学模型可以表示如下：

Ot＝Ot(x，y)＝Ψ(S，Π)

其中，Ot(x，y)表示目标物缺陷图像，Ψ(·)是表示神经网络的隐函数，Π是神经网络的参数，(x，y)表示像素坐标。

实施例二

在本实施例二中，如图6所示，基于多尺度特征融合的表面微小缺陷视觉检测系统，包括：图像采集模块、网络训练模块和检测模块；

图像采集模块用于采集被测目标物图像集，并基于被测目标物图像集构建工业品微小缺陷的图像训练数据集；被测目标物图像的采集方法包括：拍摄X张被测目标物图像，将X张被测目标物图像进行预处理，得到图像集B；其中，预处理的方法包括：将每张被测目标物进行亮度调整、旋转和翻转处理，得到Y张处理后子图像；基于处理后子图像，构建包含K＝X×(Y+1)张处理后图像的图像集A；将K张所述处理后图像进行缺陷标注，得到预处理后的图像集B。

网络训练模块用于基于图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；尺度特征融合深度神经网络训练的方法包括：设计特征提取过程中的注意力机制CA，引入小目标检测层，采用ADAM函数对所述多尺度特征融合深度神经网络进行损失函数Loss(Π)训练优化。

检测模块用于将待测目标物图像输入至优化后深度神经网络进行处理，得到目标物缺陷图像；将被测目标物图像集经过多尺度特征提取和特征融合网络处理后得到图像组；将图像组输入至所述小目标检测层后得到缺陷检测结果。对于一个由工业相机拍摄的待测目标物图像S，经过多尺度特征提取和特征融合网络处理后得到图像组S′，最后将图像组输入小目标特征检测网络后可得到缺陷检测结果，即通过

得到目标物缺陷检测结果图像。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (9)

1.基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，包括以下步骤：

采集被测目标物图像集，并基于所述被测目标物图像集构建工业品微小缺陷的图像训练数据集；

基于所述图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；

将待测目标物图像输入至所述优化后深度神经网络进行处理，得到目标物缺陷图像。

2.根据权利要求1所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述被测目标物图像的采集方法包括：

拍摄X张被测目标物图像；

将X张所述被测目标物图像进行预处理，得到图像集B，所述图像集B作为所述被测目标物图像集。

3.根据权利要求2所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，获得所述预处理的方法包括：

将每张所述被测目标物进行亮度调整、旋转和翻转处理，得到Y张处理后子图像；

基于所述处理后子图像，构建包含K＝X×(Y+1)张处理后图像的图像集A；

将所述图像集A中的K张所述处理后图像进行缺陷标注，得到预处理后的所述图像集B。

4.根据权利要求1所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述多尺度特征融合深度神经网络训练的方法包括：

设计特征提取过程中的注意力机制CA；

引入小目标检测层；

采用ADAM函数对所述多尺度特征融合深度神经网络进行损失函数Loss(Π)训练优化。

5.根据权利要求4所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述注意力机制CA的设计方法包括：

给定一个C×H×W的特征图f，将所述特征图f在x和y方向进行平均池化，得到C×H×1大小的第一特征图和C×1×W大小的第二特征图；

将所述第一特征图和所述第二特征图在空间通道进行连接和卷积激活操作得到定位特征向量D∈R^{C/r×l×(H+W)}；

利用两个卷积分别将x和y方向的特征图通道数变换为与输入通道数相同，将所述两个卷积的输出特征值相乘后输出一个C×H×W的特征图J；

将所述特征图f进行全局平均池化和最大池化，得到1×H×W大小的第三特征图和1×H×W大小的第四特征图；

将所述第三特征图和所述第四特征图在所述空间通道中连接并进行卷积，得到特征图F；

将特征图J和特征图F输入SKFF模块对感受野进行动态调整后与输入特征图f相乘输出一个C×H×W的特征图G。

6.根据权利要求4所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述小目标检测层的工作方法包括：

给定一个输入特征图D∈R^C×H×W；

将所述特征图D∈R^C×H×W经过卷积和上采样后得到特征图I′；

将所述特征图I′与另一张相同尺寸的特征图I″连接，输出融合后的特征图

7.根据权利要求4所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述损失函数Loss(Π)的优化过程如下式所示：

式中，N为检测层个数，α为损失函数的权重，L_b为边界框损失函数，L_o为目标物损失函数，L_c为分类损失函数，IoU为交并比，I为最小外接矩形的对角线距离，W为预测框与真实框中心点距离，v为衡量长宽比一致的参数，n为标签数，B_i为目标值，S_i为模型输出值。

8.根据权利要求4所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述处理过程包括：

将所述被测目标物图像集经过多尺度特征提取和特征融合网络处理后得到图像组；

将所述图像组输入至所述小目标检测层后得到缺陷检测结果。

9.基于多尺度特征融合的表面微小缺陷视觉检测系统，其特征在于，包括：图像采集模块、网络训练模块和检测模块；

所述图像采集模块用于采集被测目标物图像集，并基于所述被测目标物图像集构建工业品微小缺陷的图像训练数据集；

所述网络训练模块用于基于所述图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；

所述检测模块用于将所述被测目标物图像集输入至所述优化后深度神经网络进行处理，得到目标物缺陷图像。

Images