CN113658180B - 一种基于空间上下文引导的表面缺陷区域分割方法和装置 - Google Patents

Abstract

本发明涉及一种基于空间上下文引导的表面缺陷区域分割方法和装置，该方法包括：采集目标图像，并利用编码器从目标图像中提取第一特征；利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，并利用空间上下文关系的特征生成空间上下文引导的特征；基于空间上下文引导的特征，利用解码器预测目标图像中的缺陷区域。本申请提供的技术方案，可以有效地提取空间上下文信息，并利用空间上下文信息预测目标图像中的缺陷区域，从而得到更高精确度的缺陷区域分割结果。

Description

一种基于空间上下文引导的表面缺陷区域分割方法和装置

技术领域

本发明属于缺陷检测技术领域，具体涉及一种基于空间上下文引导的表面缺陷区域分割方法和装置。

背景技术

当前工业应用环境下，表面缺陷区域分割多采用基于深度神经网络的深度学习方法。当前代表性方法采用类似U-Net的编码器-解码器网络结构，编码器提取多层级的不同类型特征，解码器融合多层级的多尺度特征，从而定位并分割出缺陷区域。

由于当前工业应用场景下，背景噪声干扰严重，缺陷区域形状等外观特征多样，造成待测试图像的缺陷类内差异大且类间差异小的问题。当前代表性方法采用的传统卷积模块只能提取局部感受野内信息，无法建模全局像素之间空间位置、语义类别等关系，使得现有方法无法利用全局的空间位置、语义类别关系，导致难以获得高精度的缺陷区域分割结果。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于空间上下文引导的表面缺陷区域分割方法和装置，以解决现有技术中无法获得高精度的缺陷区域分割结果的问题。

根据本申请实施例的第一方面，提供一种基于空间上下文引导的表面缺陷区域分割方法，所述方法包括：

采集目标图像，并利用编码器从所述目标图像中提取第一特征；

利用预设的空间上下文关系建模模块从所述第一特征中提取空间上下文关系的特征，并利用所述空间上下文关系的特征生成空间上下文引导的特征；

基于所述空间上下文引导的特征，利用解码器预测所述目标图像中的缺陷区域。

进一步的，所述利用编码器从所述目标图像中提取第一特征，包括：

利用编码器对所述目标图像进行第一预设层级的卷积和下采样，得到所述第一特征；

其中，所述第一特征的尺度为H×W×C，H为高，W为宽，C为通道数。

进一步的，所述利用预设的空间上下文关系建模模块从所述第一特征中提取空间上下文关系的特征，包括：

通过通道注意力机制对每个通道的第一特征分配权重，得到第二特征；

利用

的卷积核和C的卷积核分别对所述第二特征进行特征变换，得到第三特征和第四特征，其中，所述第三特征的尺度为H×W×(k×k)，所述第四特征的尺度为H×W×C，H为高，W为宽，C为通道数，k为正整数；

通过Reshape方法将所述第三特征和第四特征分别从三维特征变换成二维特征，得到第五特征和第六特征，其中，所述第五特征的尺度为(k×k)×(H×W)，所述第六特征的尺度为(H×W)×C；

将所述第五特征和第六特征以矩阵方式相乘，得到第七特征，所述第七特征为所述空间上下文关系的特征，其中，所述第七特征的尺度为(k×k)×C。

进一步的，所述利用所述空间上下文关系的特征生成空间上下文引导的特征，包括：

通过Reshape方法将将所述空间上下文关系的特征从二维特征变换成三维特征，得到空间上下文可感知的卷积核，其中，所述空间上下文可感知的卷积核的尺度为k×k×C；

将所述空间上下文可感知的卷积核进行深度可分离卷积处理，沿通道维度，作用于所述第一特征，得到权重核，其中，所述权重核的尺度为H×W×C；

令所述权重核与所述第一特征进行Element-wise乘积，得到所述空间上下文引导的特征，其中所述空间上下文引导的特征的尺度为H×W×C。

进一步的，所述基于所述空间上下文引导的特征，利用解码器预测所述目标图像中的缺陷区域，包括：

所述解码器对所述空间上下文引导的特征进行第二预设层级的卷积和上采样，得到预测的所述目标图像中的缺陷区域。

进一步的，所述方法还包括：

训练所述解码器，以使所述解码器预测所述目标图像中的缺陷区域。

进一步的，所述训练所述解码器，包括：

利用历史的空间上下文引导的特征和历史的目标图像中的缺陷区域构建训练样本集；

将所述训练样本集分为训练集和验证集；

利用所述训练集对所述编码器进行训练，直至当利用验证集对所述编码器进行验证时，验证结果的准确率大于等于准确率阈值，训练结束，得到训练后的编码器。

根据本申请实施例的第二方面，提供一种基于空间上下文引导的表面缺陷区域分割装置，所述装置包括：

采集模块，用于采集目标图像，并利用编码器从所述目标图像中提取第一特征；

生成模块，用于利用预设的空间上下文关系建模模块从所述第一特征中提取空间上下文关系的特征，并利用所述空间上下文关系的特征生成空间上下文引导的特征；

预测模块，用于基于所述空间上下文引导的特征，利用解码器预测所述目标图像中的缺陷区域。

进一步的，所述采集模块，具体用于：

利用编码器对所述目标图像进行第一预设层级的卷积和下采样，得到所述第一特征；

其中，所述第一特征的尺度为H×W×C，H为高，W为宽，C为通道数。

进一步的，所述生成模块，具体用于：

通过通道注意力机制对每个通道的第一特征分配权重，得到第二特征；

利用

的卷积核和C的卷积核分别对所述第二特征进行特征变换，得到第三特征和第四特征，其中，所述第三特征的尺度为H×W×(k×k)，所述第四特征的尺度为H×W×C，H为高，W为宽，C为通道数，k为正整数；

通过Reshape方法将所述第三特征和第四特征分别从三维特征变换成二维特征，得到第五特征和第六特征，其中，所述第五特征的尺度为(k×k)×(H×W)，所述第六特征的尺度为(H×W)×C；

将所述第五特征和第六特征以矩阵方式相乘，得到第七特征，所述第七特征为所述空间上下文关系的特征，其中，所述第七特征的尺度为(k×k)×C。

进一步的，所述生成模块，还具体用于：

通过Reshape方法将将所述空间上下文关系的特征从二维特征变换成三维特征，得到空间上下文可感知的卷积核，其中，所述空间上下文可感知的卷积核的尺度为k×k×C；

将所述空间上下文可感知的卷积核进行深度可分离卷积处理，沿通道维度，作用于所述第一特征，得到权重核，其中，所述权重核的尺度为H×W×C；

令所述权重核与所述第一特征进行Element-wise乘积，得到所述空间上下文引导的特征，其中所述空间上下文引导的特征的尺度为H×W×C。

进一步的，所述预测模块，具体用于：

所述解码器对所述空间上下文引导的特征进行第二预设层级的卷积和上采样，得到预测的所述目标图像中的缺陷区域。

进一步的，所述装置还包括：

训练模块，用于训练所述解码器，以使所述解码器预测所述目标图像中的缺陷区域。

进一步的，所述训练模块，具体用于：

利用历史的空间上下文引导的特征和历史的目标图像中的缺陷区域构建训练样本集；

将所述训练样本集分为训练集和验证集；

利用所述训练集对所述编码器进行训练，直至当利用验证集对所述编码器进行验证时，验证结果的准确率大于等于准确率阈值，训练结束，得到训练后的编码器。

本发明采用以上技术方案，能够达到的有益效果包括：通过采集目标图像，并利用编码器从目标图像中提取第一特征，利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，并利用空间上下文关系的特征生成空间上下文引导的特征，基于空间上下文引导的特征，利用解码器预测目标图像中的缺陷区域，可以有效地提取空间上下文信息，并利用空间上下文信息预测目标图像中的缺陷区域，从而得到更高精确度的缺陷区域分割结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种基于空间上下文引导的表面缺陷区域分割方法的流程图；

图2是根据一示例性实施例示出的一种基于空间上下文引导的表面缺陷区域分割方法中获取空间上下文引导的特征的示意图；

图3是根据一示例性实施例示出的是一种基于空间上下文引导的表面缺陷区域分割装置的结构框图；

图2中，CAM-通道注意力机制。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1是根据一示例性实施例示出的一种基于空间上下文引导的表面缺陷区域分割方法的流程图，如图1所示，该方法可以但不限于用于终端中，包括以下步骤：

步骤101：采集目标图像，并利用编码器从目标图像中提取第一特征；

步骤102：利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，并利用空间上下文关系的特征生成空间上下文引导的特征；

步骤103：基于空间上下文引导的特征，利用解码器预测目标图像中的缺陷区域。

可以理解的是，本发明实施例采集的目标图像，一般为工业背景下，利用金属材料制成的工件的表面图像，例如，钢板的表面图像等，从而可以用本实施例提供的方法检测出钢板表面的缺陷区域。

需要说明的是，本发明实施例涉及的编码器-解码器，可以但不限于为U-Net的编码器-解码器。

本发明实施例提供的一种基于空间上下文引导的表面缺陷区域分割方法，通过采集目标图像，并利用编码器从目标图像中提取第一特征，利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，并利用空间上下文关系的特征生成空间上下文引导的特征，基于空间上下文引导的特征，利用解码器预测目标图像中的缺陷区域，可以有效地提取空间上下文信息，并利用空间上下文信息预测目标图像中的缺陷区域，从而得到更高精确度的缺陷区域分割结果。

进一步的，步骤101中利用编码器从目标图像中提取第一特征，包括：

利用编码器对目标图像进行第一预设层级的卷积和下采样，得到第一特征；

其中，第一特征的尺度为H×W×C，H为高，W为宽，C为通道数。

需要说明的是，本发明实施例对“第一预设层级”不做限定，可以由本领域技术人员根据实验数据等进行选择，一些实施例中，第一预设层级可以但不限于为5层或50层等，例如，利用编码器对目标图像进行50层级的卷积。

可以理解的是，利用编码器对目标图像进行第一预设层级的卷积和下采样的本质是，要对目标图像进行逐层级的特征变换，从而在编码器的最深层输出第一特征。

需要说明的是，本发明实施例中涉及的编码器内置有深度神经网络，本发明实施例涉及的“利用编码器对目标图像进行第一预设层级的卷积和下采样，得到第一特征”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。

进一步的，如图2所示，步骤102中利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，包括：

步骤1021：通过通道注意力机制对每个通道的第一特征分配权重，得到第二特征，有助于在通道维度关注更有效的特征；

可以理解的是，通道注意力机制的作用是分配每个通道不同的权重，让网络关注重要的特征，抑制不重要的特征。基本思想就是，让通道注意力机制中内置的神经网络自动判断哪个通道重要或不重要，然后分配合适的权重。一些实施例中，也不仅限于特征加权，也可以进行特征的软阈值化，例如，如果特征不重要，可以把阈值τ训练得很大，那么所有输出特征就变成了0。

步骤1022：利用

的卷积核和C的卷积核分别对第二特征进行特征变换，得到第三特征和第四特征，其中，第三特征的尺度为H×W×(k×k)，第四特征的尺度为H×W×C，H为高，W为宽，C为通道数，k为正整数；

需要说明的是，本发明实施例对“k”不做限定，可以由本领域技术人员根据实验数据等进行选择，一些实施例中，

的卷积核可以但不限于为3×3的卷积核或5×5的卷积核。

步骤1023：通过Reshape方法将第三特征和第四特征分别从三维特征变换成二维特征，得到第五特征和第六特征，其中，第五特征的尺度为(k×k)×(H×W)，第六特征的尺度为(H×W)×C；

步骤1024：将第五特征和第六特征以矩阵方式相乘，得到第七特征，第七特征为空间上下文关系的特征，其中，第七特征的尺度为(k×k)×C。

需要说明的是，通过将第五特征和第六特征以矩阵方式相乘，得到空间上下文关系的特征后，从而将特征的每一个位置，能和其他的每一个位置“相互作用”，从而显示特征中任意像素之间的关系，有效地提取空间上下文关系。所以，空间上下文关系即目标图像中像素和像素之间的关系。

进一步的，如图2所示，步骤102中利用空间上下文关系的特征生成空间上下文引导的特征，包括：

步骤1025：通过Reshape方法将将空间上下文关系的特征从二维特征变换成三维特征，得到空间上下文可感知的卷积核，其中，空间上下文可感知的卷积核的尺度为k×k×C；

步骤1026：将空间上下文可感知的卷积核进行深度可分离卷积处理，沿通道维度，作用于第一特征，得到权重核，其中，权重核的尺度为H×W×C；

步骤1027：令权重核与第一特征进行Element-wise乘积，得到空间上下文引导的特征，其中空间上下文引导的特征的尺度为H×W×C；

可以理解的是，Element-wise乘积即逐像素乘积，可以强化每个像素之间的关系。

需要说明的是，本发明实施例中涉及的“利用Reshape方法对特征的维度进行变换”、“深度可分离卷积处理”和“Element-wise乘积”的方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。

可以理解的是，通过上述方法可以显示目标图像中任意像素间的空间位置、语义类别之间的关系，可以有效地提取空间上下文信息。

进一步的，步骤103，包括：

解码器对空间上下文引导的特征进行第二预设层级的卷积和上采样，得到预测的目标图像中的缺陷区域。

需要说明的是，本发明实施例对“第二预设层级”不做限定，可以由本领域技术人员根据实验数据等进行选择，一些实施例中，第二预设层级可以但不限于为5层或50层等，例如，利用解码器对空间上下文引导的特征进行50层级的卷积。

可以理解的是，解码器对空间上下文引导的特征进行第二预设层级的卷积和上采样时，融合编码器的多层级、多尺度特征，从而得到和第一特征同样尺度的融合后特征，然后便可以对缺陷区域进行更精细化的预测。

需要说明的是，本发明实施例中涉及的“解码器”的方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。

例如，步骤a：采集钢板表面的图像为目标图像，利用编码器对目标图像进行第一预设层级的卷积和下采样，得到第一特征；

步骤 b：通过通道注意力机制对每个通道的第一特征分配权重，得到第二特征；

步骤c：利用3×3的卷积核和C的卷积核分别对第二特征进行特征变换，得到第三特征和第四特征，其中，第三特征的尺度为H×W×(3×3)，第四特征的尺度为H×W×C，H为高，W为宽，C为通道数；

步骤d：通过Reshape方法将第三特征和第四特征分别从三维特征变换成二维特征，得到第五特征和第六特征，其中，第五特征的尺度为(3×3)×(H×W)，第六特征的尺度为(H×W)×C；

步骤e：将第五特征和第六特征以矩阵方式相乘，得到第七特征，第七特征为空间上下文关系的特征，其中，第七特征的尺度为(3×3)×C。

步骤f：通过Reshape方法将将空间上下文关系的特征从二维特征变换成三维特征，得到空间上下文可感知的卷积核，其中，空间上下文可感知的卷积核的尺度为3×3×C；

步骤g：将空间上下文可感知的卷积核进行深度可分离卷积处理，沿通道维度，作用于第一特征，得到权重核，其中，权重核的尺度为H×W×C；

步骤h：令权重核与第一特征进行Element-wise乘积，得到空间上下文引导的特征，其中空间上下文引导的特征的尺度为H×W×C；

步骤i：解码器对空间上下文引导的特征进行第二预设层级的卷积和上采样，并融合编码器的多层级、多尺度特征，得到和第一特征同样尺度的融合后特征，利用该融合后的特征得到预测的目标图像中的缺陷区域。

进一步的，该方法还包括：

训练解码器，以使解码器预测目标图像中的缺陷区域。

具体的，训练解码器，包括：

利用历史的空间上下文引导的特征和历史的目标图像中的缺陷区域构建训练样本集；

将训练样本集分为训练集和验证集；

利用训练集对编码器进行训练，直至当利用验证集对编码器进行验证时，验证结果的准确率大于等于准确率阈值，训练结束，得到训练后的编码器。

本发明实施例提供的一种基于空间上下文引导的表面缺陷区域分割方法，通过采集目标图像，并利用编码器从目标图像中提取第一特征，利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，并利用空间上下文关系的特征生成空间上下文引导的特征，基于空间上下文引导的特征，利用解码器预测目标图像中的缺陷区域，可以有效地提取空间上下文信息，并利用空间上下文信息预测目标图像中的缺陷区域，从而得到更高精确度的缺陷区域分割结果。

为配合实现上述的一种基于空间上下文引导的表面缺陷区域分割方法，本发明实施例提供一种基于空间上下文引导的表面缺陷区域分割装置，参照图3，该装置包括：

采集模块，用于采集目标图像，并利用编码器从目标图像中提取第一特征；

生成模块，用于利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，并利用空间上下文关系的特征生成空间上下文引导的特征；

预测模块，用于基于空间上下文引导的特征，利用解码器预测目标图像中的缺陷区域。

进一步的，采集模块，具体用于：

利用编码器对目标图像进行第一预设层级的卷积和下采样，得到第一特征；

其中，第一特征的尺度为H×W×C，H为高，W为宽，C为通道数。

进一步的，生成模块，具体用于：

通过通道注意力机制对每个通道的第一特征分配权重，得到第二特征；

利用

的卷积核和C的卷积核分别对第二特征进行特征变换，得到第三特征和第四特征，其中，第三特征的尺度为H×W×(k×k)，第四特征的尺度为H×W×C，H为高，W为宽，C为通道数，k为正整数；

通过Reshape方法将第三特征和第四特征分别从三维特征变换成二维特征，得到第五特征和第六特征，其中，第五特征的尺度为(k×k)×(H×W)，第六特征的尺度为(H×W)×C；

将第五特征和第六特征以矩阵方式相乘，得到第七特征，第七特征为空间上下文关系的特征，其中，第七特征的尺度为(k×k)×C。

进一步的，生成模块，还具体用于：

通过Reshape方法将将空间上下文关系的特征从二维特征变换成三维特征，得到空间上下文可感知的卷积核，其中，空间上下文可感知的卷积核的尺度为k×k×C；

将空间上下文可感知的卷积核进行深度可分离卷积处理，沿通道维度，作用于第一特征，得到权重核，其中，权重核的尺度为H×W×C；

令权重核与第一特征进行Element-wise乘积，得到空间上下文引导的特征，其中空间上下文引导的特征的尺度为H×W×C。

进一步的，预测模块，具体用于：

解码器对空间上下文引导的特征进行第二预设层级的卷积和上采样，得到预测的目标图像中的缺陷区域。

进一步的，该装置还包括：

训练模块，用于训练解码器，以使解码器预测目标图像中的缺陷区域。

进一步的，训练模块，具体用于：

利用历史的空间上下文引导的特征和历史的目标图像中的缺陷区域构建训练样本集；

将训练样本集分为训练集和验证集；

利用训练集对编码器进行训练，直至当利用验证集对编码器进行验证时，验证结果的准确率大于等于准确率阈值，训练结束，得到训练后的编码器。

本发明实施例提供的一种基于空间上下文引导的表面缺陷区域分割装置，通过采集模块采集目标图像，并利用编码器从目标图像中提取第一特征，生成模块利用预设的空间上下文关系建模模块从第一特征中提取空间上下文关系的特征，并利用空间上下文关系的特征生成空间上下文引导的特征，预测模块基于空间上下文引导的特征，利用解码器预测目标图像中的缺陷区域，可以有效地提取空间上下文信息，并利用空间上下文信息预测目标图像中的缺陷区域，从而得到更高精确度的缺陷区域分割结果。

可以理解的是，上述提供的装置实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本发明实施例还提供一种基于空间上下文引导的表面缺陷区域分割设备，包括：

存储器，其上存储有可执行程序；

处理器，用于执行所述存储器中的可执行程序，以实现上述实施例提供的一种基于空间上下文引导的表面缺陷区域分割方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于空间上下文引导的表面缺陷区域分割方法，其特征在于，所述方法包括：

采集目标图像，并利用编码器从所述目标图像中提取第一特征；

利用预设的空间上下文关系建模模块从所述第一特征中提取空间上下文关系的特征，并利用所述空间上下文关系的特征生成空间上下文引导的特征；

基于所述空间上下文引导的特征，利用解码器预测所述目标图像中的缺陷区域；

所述利用预设的空间上下文关系建模模块从所述第一特征中提取空间上下文关系的特征，包括：

通过通道注意力机制对每个通道的第一特征分配权重，得到第二特征；

利用

的卷积核和C的卷积核分别对所述第二特征进行特征变换，得到第三特征和第四特征，其中，所述第三特征的尺度为H×W×(k×k)，所述第四特征的尺度为H×W×C，H为高，W为宽，C为通道数，k为正整数；

通过Reshape方法将所述第三特征和第四特征分别从三维特征变换成二维特征，得到第五特征和第六特征，其中，所述第五特征的尺度为(k×k)×(H×W)，所述第六特征的尺度为(H×W)×C；

将所述第五特征和第六特征以矩阵方式相乘，得到第七特征，所述第七特征为所述空间上下文关系的特征，其中，所述第七特征的尺度为(k×k)×C。

2.根据权利要求1所述的方法，其特征在于，所述利用编码器从所述目标图像中提取第一特征，包括：

利用编码器对所述目标图像进行第一预设层级的卷积和下采样，得到所述第一特征；

其中，所述第一特征的尺度为H×W×C，H为高，W为宽，C为通道数。

3.根据权利要求1所述的方法，其特征在于，所述利用所述空间上下文关系的特征生成空间上下文引导的特征，包括：

通过Reshape方法将所述空间上下文关系的特征从二维特征变换成三维特征，得到空间上下文可感知的卷积核，其中，所述空间上下文可感知的卷积核的尺度为k×k×C；

将所述空间上下文可感知的卷积核进行深度可分离卷积处理，沿通道维度，作用于所述第一特征，得到权重核，其中，所述权重核的尺度为H×W×C；

令所述权重核与所述第一特征进行Element-wise乘积，得到所述空间上下文引导的特征，其中所述空间上下文引导的特征的尺度为H×W×C。

4.根据权利要求1所述的方法，其特征在于，所述基于所述空间上下文引导的特征，利用解码器预测所述目标图像中的缺陷区域，包括：

所述解码器对所述空间上下文引导的特征进行第二预设层级的卷积和上采样，得到预测的所述目标图像中的缺陷区域。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

训练所述解码器，以使所述解码器预测所述目标图像中的缺陷区域。

6.根据权利要求5所述的方法，其特征在于，所述训练所述解码器，包括：

利用历史的空间上下文引导的特征和历史的目标图像中的缺陷区域构建训练样本集；

将所述训练样本集分为训练集和验证集；

利用所述训练集对所述编码器进行训练，直至当利用验证集对所述编码器进行验证时，验证结果的准确率大于等于准确率阈值，训练结束，得到训练后的编码器。

7.一种基于空间上下文引导的表面缺陷区域分割装置，其特征在于，所述装置包括：

采集模块，用于采集目标图像，并利用编码器从所述目标图像中提取第一特征；

生成模块，用于利用预设的空间上下文关系建模模块从所述第一特征中提取空间上下文关系的特征，并利用所述空间上下文关系的特征生成空间上下文引导的特征；

预测模块，用于基于所述空间上下文引导的特征，利用解码器预测所述目标图像中的缺陷区域；

所述生成模块，具体用于：

通过通道注意力机制对每个通道的第一特征分配权重，得到第二特征；

利用

的卷积核和C的卷积核分别对所述第二特征进行特征变换，得到第三特征和第四特征，其中，所述第三特征的尺度为H×W×(k×k)，所述第四特征的尺度为H×W×C，H为高，W为宽，C为通道数，k为正整数；

通过Reshape方法将所述第三特征和第四特征分别从三维特征变换成二维特征，得到第五特征和第六特征，其中，所述第五特征的尺度为(k×k)×(H×W)，所述第六特征的尺度为(H×W)×C；

将所述第五特征和第六特征以矩阵方式相乘，得到第七特征，所述第七特征为所述空间上下文关系的特征，其中，所述第七特征的尺度为(k×k)×C。

Images