CN112906707A - 一种表面缺陷图像的语义分割方法、装置及计算机设备 - Google Patents

Abstract

本申请涉及图像处理技术领域，以及提供一种表面缺陷图像的语义分割方法、装置及计算机设备；该方法在获取待分割图像后，将待分割图像输入至语义分割模型中，得到待分割图像的分割结果，其中该语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。由于本申请的语义分割模型是采用空间路径模型、上下文路径模型以及语义图路径模型组成的多并行路径语义分割模型，从而能够确保分割结果的准确性。

Description

一种表面缺陷图像的语义分割方法、装置及计算机设备

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种表面缺陷图像的语义分割方法、装置及计算机设备。

背景技术

在图像处理领域，在一些应用场景下，需要对图像中的某些图像区域进行目标识别、或者需要对图像中存在的文本进行文本识别，或者需要对图像中的一些内容进行替换等。在很多情况下需要对图像中的一些目标内容进行语义分割，图像的语义分割是对图像在像素级别上的分类，通过语义分割模型将图像中的属于同类的目标内容分为一类，例如钢板图像中存在一表面缺陷，判断属于该表面缺陷的像素并将全部属于该表面缺陷的像素分割出来，确定该表面缺陷在像素级别的边界分割框。目标内容可以是特定的任务、物体或文字等，将目标内容在图像确定像素级别的边界并进行分割。

但是分割结果的准确性不高，需要改进。

发明内容

本申请实施例提供了一种表面缺陷图像的语义分割方法、装置及计算机设备，能够缓解分割结果的准确性不高的问题。

第一方面中，本申请实施例提供一种表面缺陷图像的语义分割方法，包括：

获取待分割图像；

将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果，所述语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。

第二方面中，本申请实施例提供一种表面缺陷图像的语义分割装置，所述表面缺陷图像的语义分割装置包括：

获取单元，用于获取待分割图像；

处理单元，用于将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果，所述语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。

本申请实施例又一方面提供了一种计算机设备，其包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面所述的表面缺陷图像的语义分割方法。

本申请实施例又一方面提供了一种存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的表面缺陷图像的语义分割方法。

相较于现有技术，本申请实施例提供的方案中，通过将待分割图像输入至语义分割模型中，得到待分割图像的分割结果，由于语义分割模型是采用空间路径模型、上下文路径模型以及语义图路径模型组成的多并行路径语义分割模型，从而能够确保分割结果的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种语义分割模型训练方法的系统示意图。

图2为本申请实施例提供的一种语义分割模型训练方法的流程图。

图3为本申请实施例提供的一种获取第三特征数据以及第三语义分割信息的示意图。

图4为本申请实施例提供的一种获取第一语义分割信息的示意图。

图5为本申请实施例提供的一种表面缺陷图像的语义分割方法的流程图。

图6为本申请实施例提供的一种语义分割模型训练装置的结构示意图。

图7为本申请实施例提供的一种表面缺陷图像的语义分割装置的结构示意图。

图8为本申请实施例提供的一种计算机设备的实体结构示意图。

具体实施方式

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

本申请实施例提供一种语义分割模型训练方法，主要应用于模型训练、图像识别、表面缺陷检测等场景，通过语义分割模型训练装置执行。以表面缺陷检测场景为例，在表面缺陷检测场景下，对缺陷的分割是缺陷定位、特征提取、缺陷分类等检测任务的必要预处理部分。传统的分割技术有基于颜色空间的阈值化分割、利用灰度直方图与灰度共生矩阵的分割、基于频域分析的分割等技术。传统的分割技术采用的传统分割算法的优势在于基于单一特征的分析，十分简单快速，在工业应用中能够达到较好的实时性。与之相对应的，传统分割算法缺乏泛化的特征提取分析能力以及缺乏对噪音信号的鲁棒性等。卷积神经网络的出现则解决了上述问题，通过多层卷积运算提取特征张量，卷积神经网络提供了更加全面和自动化的特征提取与分析能力。因此，基于卷积神经网络的语义分割技术正得到越来越多的研究。语义分割任务的目标是为图像的每个像素分配一个语义类别，也即是像素级别的分类任务。

在表面缺陷检测领域，语义分割技术尚未得到广泛的研究与应用，其原因在于目前的语义分割模型的计算耗时长，训练出的语义分割模型准确率不高。

本申请通过设计一种多并行路径语义分割模型，对表面缺陷图像提取不同尺度与语义层级的特征，在保证较高语义分割准确率的同时，结合注意力机制、图卷积、多尺度信息、高层次语义信息以及全局上下文信息提升计算效率。

请参阅图1，图1为本申请实施例提供的一种语义分割模型训练方法的系统示意图，如图1所示，将表面缺陷图像输入至语义分割模型，语义分割模型中的空间路径模型、上下文路径模型以及语义图路径模型对表面缺陷图像进行特征提取处理，得到第一特征数据、第二特征数据、第三特征数据；再通过语义分割模型中的特征融合模块以及语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息；再基于表面缺陷图像的语义标注确定第一语义分割信息对应的第一损失值，第二语义分割信息对应的第二损失值，第三语义分割信息对应的第三损失值，以及根据第一损失值、第二损失值、第三损失值以及预设损失系数计算得到目标损失值；最后根据目标损失值，调整语义分割模型的模型参数。迭代执行上述流程，直至语义分割模型的训练结果满足预定收敛条件。

下面将对本申请中语义分割模型训练方法进行介绍，请参阅图2，图2为本申请实施例提供的一种语义分割模型训练方法的流程图，该语义分割模型训练方法采用多个具有语义标注的表面缺陷图像对语义分割模型进行训练，针对于每个表面缺陷图像，训练步骤包括：

201、将表面缺陷图像输入至语义分割模型，以通过所述语义分割模型中的空间路径模型、上下文路径模型以及语义图路径模型对所述表面缺陷图像进行特征提取处理，得到特征数据。

表面缺陷图像指的是物体表面存在缺陷的图像，以钢板为例，在钢板的生产和加工过程中会出现各种类型的缺陷，比如：裂纹、结疤、孔洞、卷边和擦伤等，对钢板进行图像采集，得到的钢板图像也即是一种类型的表面缺陷图像。

在一种实施例中，将表面缺陷图像输入至语义分割模型的步骤，包括：采集表面缺陷图像和表面无缺陷图像，并对所述表面缺陷图像和所述表面无缺陷图像进行语义标注，以得到第一数据集；按照预设划分比例将所述第一数据集划分成训练集、验证集以及测试集；对划分后的所述第一数据集进行图像增广处理，得到第二数据集；将所述第二数据集中的所述表面缺陷图像输入至语义分割模型。另外，通过在第一数据集或第二数据集中加入明暗场标注信息，引导语义分割模型分辨明场或暗场下同一缺陷。

在一种场景下，使用工业相机采集钢板表面缺陷图像（正样本），尽量使得每一种缺陷类型的钢板表面缺陷图像的个数在一个数据级内。同时，使用工业相机采集同等数量的钢板表面无缺陷图像（负样本），使用语义分割标注软件手动按照缺陷类型分割钢板表面缺陷图像，将正样本和负样本组成的数据集手动划分为训练集、验证集和测试集（比例为：6:3:1），在划分时确保训练集和验证集中缺陷类型与比例一致。在得到数据集后，使用图像增广方法扩展数据集中图像的数量。

在一种实施例中，针对如何使用图像增广方法扩展数据集中图像的数量，可以采用如下方式：采用添加图像高斯白噪声方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集；或，采用图像局部分割与放大方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集；或，采用图像仿射变换方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集。

在一种实施例中，通过所述语义分割模型中的空间路径模型、上下文路径模型以及语义图路径模型对所述表面缺陷图像进行特征提取处理，得到特征数据的步骤，包括：将所述表面缺陷图像输入至所述语义分割模型中的空间路径模型，以按照预设缩放比例对所述表面缺陷图像进行缩放，得到高斯金字塔图像，将所述高斯金字塔图像进行卷积运算后，得到特征金字塔层，确定所述特征金字塔层对应的特征张量，对所述特征张量进行调整，得到第一特征数据；将所述表面缺陷图像输入至所述语义分割模型中的上下文路径模型，以对所述表面缺陷图像进行卷积运算后，得到感受野，输出所述感受野的上下文特征张量，得到第二特征数据；将所述感受野输入至所述语义分割模型中的语义图路径模型，以对所述感受野进行图卷积运算后，得到第三特征数据。

具体地，将获取的表面缺陷图像进行特征提取，可以通过本实施例所提供的语义分割模型对表面缺陷图像进行卷积等处理，从而提取表面缺陷图像中的特征信息或特征数据，在本实施例提供的语义分割模型中，包括（金字塔）空间路径模型、上下文路径模型、语义图路径模型以及特征融合模块。将表面缺陷图像输入至语义分割模型后，分别使用金字塔空间路径模型、上下文路径模型、语义图路径模型进行特征提取，得到第一特征数据、第二特征数据以及第三特征数据。

在一种场景下，首先将表面缺陷图像分别输入至两条支路路径：金字塔空间路径与上下文路径。

在金字塔空间路径中，首先将输入的表面缺陷图像按照预设的一系列尺寸比例缩放成一个高斯金字塔图像（可以理解为不同尺寸的表面缺陷图像按照金字塔样式叠加而成的，也可以理解为表面缺陷图像被高斯滤波后形成的一系列图像集合）。经过浅层卷积运算后形成特征金字塔层。用插值或者采样算法调整特征金字塔层的特征尺寸，将经过特征尺寸调整后的特征按照通道进行连接，以组成一个包含多尺度信息的特征张量。特征张量经过注意力模块微调后输出金字塔空间路径，得到第一特征数据。

在上下文路径中，输入的表面缺陷图像经过快速下采样卷积运算，空间尺寸大幅度减少，从而获得较大的感受野。然后经过U型残差结构，将感受野的上下文特征张量输出上下文路径，得到第二特征数据。其中，感受野指的是神经网络中神经元“看到的”输入区域，在卷积神经网络中，特征图上某个元素的计算受输入图像上某个区域的影响，这个区域即该元素的感受野。

然后，如图3所示，语义图路径将上下文路径最后一层输出的上下文特征（感受野）作为输入，通过以图结构数据的形式表达特征，从而能从更高的语义层级提取特征数据。经过图卷积层的计算，得到高层次的语义特征，即得到第三特征数据。

202、基于所述特征数据，通过所述语义分割模型中的特征融合模块以及所述语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息。

在一种实施例中，基于所述特征数据，通过所述语义分割模型中的特征融合模块以及所述语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息的步骤，包括：通过所述语义分割模型中的特征融合模块对所述第一特征数据和所述第二特征数据进行融合，得到第一语义层级的第一语义分割信息；通过所述语义图路径模型对所述第三特征数据进行解析，得到第二语义层级的第二语义分割信息；通过所述特征融合模块输出的初始分割结果和所述第二语义分割信息，得到第三语义层级的第三语义分割信息。

具体地，在得到特征数据后，首先使用特征融合模块，基于第一特征数据和第二特征数据得到第一语义分割信息。具体地，如图4所示，在特征融合模块的处理过程中，将金字塔空间路径和上下文路径进行连接后，将来自金字塔空间路径的第一特征数据以及来自上下文路径的第二特征数据进行特征混合后，使用通道注意力模块，经过元素乘法运算以及重加权，得到重加权特征张量。然后经过1x1卷积层、批次归一化、线性整流函数处理，以调整通道注意力模块的通道数量，得到初步语义分割结果，即得到第一语义分割信息。

同时，由语义图路径得到第二语义分割信息，如图3所示，在由逆卷积构成的解码器对高层次的语义特征进行分析，得到补充的语义分割信息，即得到第三语义分割信息。

第一语义分割信息结合了金字塔空间路径以及上下文路径的特征数据，其中金字塔空间路径保留较多的空间信息，使得分割结果位置精度更高。同时，金字塔结构的特征输入使得网络对缺陷尺度变化具有了更好的鲁棒性，在识别细微缺陷和大体积缺陷时具有更高的辨别能力。

上下文路径有丰富的上下文信息以及大的感受野，对结构复杂的特征具有较高的辨别能力。

第二语义分割信息由语义图路径得到，语义图路径经由深度卷积运算以及图结构分析，能提取更为抽象的语义特征，对形状相似、类别相近的缺陷具有更高的辨别能力。

203、根据所述语义标注确定所述第一语义分割信息、所述第二语义分割信息、所述第三语义分割信息分别对应的第一损失值、第二损失值以及第三损失值。

在一种实施例中，可以先确定语义标注下的表面缺陷图像和第一语义分割信息下的表面缺陷图像的第一相似度，然后基于第一相似度得到第一语义分割信息对应的第一损失值。同理，确定语义标注下的表面缺陷图像和第二语义分割信息下的表面缺陷图像的第二相似度，基于第二相似度得到第二语义分割信息对应的第二损失值。以及，确定语义标注下的表面缺陷图像和第三语义分割信息下的表面缺陷图像的第三相似度，基于第三相似度得到第三语义分割信息对应的第三损失值。

例如，采用如下公式1计算得到损失值DiceLoss:

其中，X表示语义标注下的表面缺陷图像，Y表示语义分割信息下的表面缺陷图像。

204、根据所述第一损失值、所述第二损失值、所述第三损失值以及预设损失系数计算得到目标损失值。

在一种实施例中，采用如下公式2计算得到目标损失值Loss：

其中，L1表示第一语义分割信息对应的第一损失值，L2表示第二语义分割信息对应的第二损失值，L3表示第三语义分割信息对应的第三损失值，α表示第一损失系数，β表示第二损失系数，γ表示第三损失系数，且α+β+γ=1，损失系数代表着对应损失值占最终损失值的比例。由于第三语义分割信息由第一语义分割信息与第二语义分割信息耦合而成，代表着语义分割模型最终的输出效果，因此第三损失系数应当设定较大点，故在本实施例中可以设定如下损失系数初始值：α=0.25，β=0.25，γ=0.5，损失系数将随着训练迭代不断优化，最终得到合适的损失系数，使得语义分割模型的训练更加高效，结果更加可靠。

205、根据所述目标损失值，对所述语义分割模型的模型参数进行调整。

206、迭代执行步骤201至步骤205，直至所述语义分割模型的训练结果满足预定收敛条件。

在一种实施例中，根据目标损失值，调整语义分割模型的参数，通过多轮次的迭代执行训练步骤，使得损失值逐渐变小，当损失值小于一阈值时，停止语义分割模型的训练。

在一种实施例中，上述迭代执行训练步骤，包括：采用预设缩放比例对所述表面缺陷图像进行缩放，得到缩放后的表面缺陷图像，其中，每个所述表面缺陷图像具有不同的缩放比例；通过所述缩放后的表面缺陷图像迭代执行所述训练步骤。

具体地，在一种场景下，为了增加语义分割模型对表面缺陷图像的缺陷尺度大小变化的鲁棒性，采用多缩放尺度输入的方式进行训练，也即是每一次训练迭代结束后逐渐增大输入图像的缩放比例，缩放比例依次为：0.85、0.9、0.95、1.0、1.05、1.1、1.15、1.2、1.25、1.3、1.35、1.4、1.45、1.5。

在一种实施例中，迭代执行训练步骤，直至所述语义分割模型的训练结果满足预定收敛条件的步骤，包括：在迭代执行所述训练步骤时，若迭代执行次数达到预设迭代次数，则确定所述语义分割模型的训练结果满足预定收敛条件；或，在迭代执行所述训练步骤时，若确定所述目标损失值的变化差异小于预设差异值，则确定所述语义分割模型的训练结果满足预定收敛条件。

可见，当迭代执行次数达到预设迭代次数时，或者当目标损失值的变化差异小于预设差异值（说明目标损失值保持基本不变），则确定语义分割模型的训练结果满足预定收敛条件，此时终止语义分割模型的训练，得到最终的语义分割模型。

在一种实施例中，语义分割模型一般采用批次训练，也即是一次性输入多张表面缺陷图像到语义分割模型中，以减少一次训练迭代过程所需的事件。

本申请实施例提供的语义分割模型训练方法，训练过程是用的训练图像，一次训练完成后用验证图像计算验证损失，然后一直循环迭代，直到网络收敛就用测试图像计算测试损失。三种图像损失公式都是一样的，只是数据集划分不同，例如设定网络训练1000次迭代，每一次迭代又包括训练集数量除以并行批次数量的调整阶段，那么每一次调整过程中，网络首先利用训练图像学习特征，并计算训练损失，网络根据训练损失调整网络模型的参数，网络完成所有的调整次数后，这一次的训练迭代就完成了，就输入验证图像进入网络，计算损失，所有的验证图像都计算完成后，对验证损失取平均，就能衡量网络在这一次迭代过程中是否性能得到提升。然后直到迭代次数达到1000次或者网络损失值变化小于阈值，停止训练，利用测试集图像计算损失值，衡量网络实际效果。

综上，本申请实施例提供的方案中，采用空间路径模型、上下文路径模型以及语义图路径模型组成的多并行路径语义分割模型，以得到不同语义层级的语义分割信息，从而提高了训练出的语义分割模型的准确性，另外采用并行路径方式减少了语义分割模型的训练时间。

在图2所示实施例的基础上，请参阅图5，图5为本申请实施例提供的一种表面缺陷图像的语义分割方法的流程图，本申请实施例至少包括如下步骤：

501、获取待分割图像。

待分割图像可以是实时获取的图像，例如通过摄像头、照相设备等实时采集图像，也可以获取需要进行语义分割的图像，例如在一些情况下需要对图像进行目标识别或需要对图像中的目标进行图像处理，需要先将图像进行语义分割，也可以是批量的获取需要进行语义分割的图像，用于对图像进行标注或者其他用途，其中，图像可以是照片，也可以是视频中的一帧或多帧。

502、将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果。

语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的，语义分割模型的训练可以参照前述实施例，此处不再赘述。

将待分割图像输入至语义分割模型中，进行特征提取以及语义分割，得到待分割图像的分割结果，从而可以根据分割结果对待分割图像进行分析。

本实施例中，通过将待分割图像输入至语义分割模型中，得到待分割图像的分割结果，由于语义分割模型是采用空间路径模型、上下文路径模型以及语义图路径模型组成的多并行路径语义分割模型，从而能够确保分割结果的准确性。

为了更好地实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置，请参阅图6，图6为本申请实施例提供的一种语义分割模型训练装置的结构示意图，语义分割模型训练装置采用多个具有语义标注的表面缺陷图像对语义分割模型进行训练，所述语义分割模型训练装置包括：

特征提取单元601，用于将所述表面缺陷图像输入至所述语义分割模型，以通过所述语义分割模型中的空间路径模型、上下文路径模型以及语义图路径模型对所述表面缺陷图像进行特征提取处理，得到特征数据。

语义分割单元602，用于基于所述特征数据，通过所述语义分割模型中的特征融合模块以及所述语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息。

确定单元603，用于根据所述语义标注确定所述第一语义分割信息、所述第二语义分割信息、所述第三语义分割信息分别对应的第一损失值、第二损失值以及第三损失值；以及用于根据所述第一损失值、所述第二损失值、所述第三损失值以及预设损失系数计算得到目标损失值。

参数调整单元604，用于根据所述目标损失值，对所述语义分割模型的模型参数进行调整。

所述语义分割模型训练装置迭代执行，直至所述语义分割模型的训练结果满足预定收敛条件。

在一种实施例中，特征提取单元601，具体用于将所述表面缺陷图像输入至所述语义分割模型中的空间路径模型，以按照预设缩放比例对所述表面缺陷图像进行缩放，得到高斯金字塔图像，将所述高斯金字塔图像进行卷积运算后，得到特征金字塔层，确定所述特征金字塔层对应的特征张量，对所述特征张量进行调整，得到第一特征数据；将所述表面缺陷图像输入至所述语义分割模型中的上下文路径模型，以对所述表面缺陷图像进行卷积运算后，得到感受野，输出所述感受野的上下文特征张量，得到第二特征数据；将所述感受野输入至所述语义分割模型中的语义图路径模型，以对所述感受野进行图卷积运算后，得到第三特征数据。

在一种实施例中，语义分割单元602，具体用于通过所述语义分割模型中的特征融合模块对所述第一特征数据和所述第二特征数据进行融合，得到第一语义层级的第一语义分割信息；通过所述语义图路径模型对所述第三特征数据进行解析，得到第二语义层级的第二语义分割信息；通过所述特征融合模块输出的初始分割结果和所述第二语义分割信息，得到第三语义层级的第三语义分割信息。

在一种实施例中，所述特征提取单元601，在执行所述将所述表面缺陷图像输入至所述语义分割模型的步骤时，具体执行：采集表面缺陷图像和表面无缺陷图像，并对所述表面缺陷图像和所述表面无缺陷图像进行语义标注，以得到第一数据集；按照预设划分比例将所述第一数据集划分成训练集、验证集以及测试集；对划分后的所述第一数据集进行图像增广处理，得到第二数据集；将所述第二数据集中的所述表面缺陷图像输入至所述语义分割模型。

进一步地，所述特征提取单元601，在执行对划分后的所述第一数据集进行图像增广处理，得到第二数据集的步骤时，具体执行：采用添加图像高斯白噪声方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集；或，采用图像局部分割与放大方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集；或，采用图像仿射变换方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集。

所述语义分割模型训练装置，在迭代执行时，具体执行：采用预设缩放比例对所述表面缺陷图像进行缩放，得到缩放后的表面缺陷图像，其中，每个所述表面缺陷图像具有不同的缩放比例；通过所述缩放后的表面缺陷图像迭代执行。

在一种实施例中，在所述语义分割模型训练装置迭代执行，直至所述语义分割模型的训练结果满足预定收敛条件时，具体执行：在迭代执行所述训练步骤时，若迭代执行次数达到预设迭代次数，则确定所述语义分割模型的训练结果满足预定收敛条件；或，在迭代执行所述训练步骤时，若确定所述目标损失值的变化差异小于预设差异值，则确定所述语义分割模型的训练结果满足预定收敛条件。

本申请实施例提供的方案中，采用空间路径模型、上下文路径模型以及语义图路径模型组成的多并行路径语义分割模型，以得到不同语义层级的语义分割信息，从而提高了训练出的语义分割模型的准确性，另外采用并行路径方式减少了语义分割模型的训练时间。

请参阅图7，图7为本申请实施例提供的一种表面缺陷图像的语义分割装置的结构示意图，所述表面缺陷图像的语义分割装置包括：

获取单元701，用于获取待分割图像。

处理单元702，用于将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果，所述语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。

本实施例中，通过将待分割图像输入至语义分割模型中，得到待分割图像的分割结果，由于语义分割模型是采用空间路径模型、上下文路径模型以及语义图路径模型组成的多并行路径语义分割模型，从而能够确保分割结果的准确性。

图8示例了一种计算机设备的实体结构示意图，如图8所示，该计算机设备可以包括：处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行语义分割模型训练方法，所述语义分割模型训练方法采用多个具有语义标注的表面缺陷图像对语义分割模型进行训练，针对于每个表面缺陷图像，训练步骤包括：将所述表面缺陷图像输入至所述语义分割模型，以通过所述语义分割模型中的空间路径模型、上下文路径模型以及语义图路径模型对所述表面缺陷图像进行特征提取处理，得到特征数据；基于所述特征数据，通过所述语义分割模型中的特征融合模块以及所述语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息；根据所述语义标注确定所述第一语义分割信息、所述第二语义分割信息、所述第三语义分割信息分别对应的第一损失值、第二损失值以及第三损失值；根据所述第一损失值、所述第二损失值、所述第三损失值以及预设损失系数计算得到目标损失值；根据所述目标损失值，对所述语义分割模型的模型参数进行调整；迭代执行所述训练步骤，直至所述语义分割模型的训练结果满足预定收敛条件。处理器801还可以调用存储器803中的逻辑指令，以执行表面缺陷图像的语义分割方法，例如包括：获取待分割图像；将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果，所述语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。

此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请实施例还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如执行语义分割模型训练方法，所述语义分割模型训练方法采用多个具有语义标注的表面缺陷图像对语义分割模型进行训练，针对于每个表面缺陷图像，训练步骤包括：将所述表面缺陷图像输入至所述语义分割模型，以通过所述语义分割模型中的空间路径模型、上下文路径模型以及语义图路径模型对所述表面缺陷图像进行特征提取处理，得到特征数据；基于所述特征数据，通过所述语义分割模型中的特征融合模块以及所述语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息；根据所述语义标注确定所述第一语义分割信息、所述第二语义分割信息、所述第三语义分割信息分别对应的第一损失值、第二损失值以及第三损失值；根据所述第一损失值、所述第二损失值、所述第三损失值以及预设损失系数计算得到目标损失值；根据所述目标损失值，对所述语义分割模型的模型参数进行调整；迭代执行所述训练步骤，直至所述语义分割模型的训练结果满足预定收敛条件。又例如执行表面缺陷图像的语义分割方法，包括：获取待分割图像；将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果，所述语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种表面缺陷图像的语义分割方法，其特征在于，包括：

获取待分割图像；

将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果，所述语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。

2.根据权利要求1所述的表面缺陷图像的语义分割方法，其特征在于，在所述获取待分割图像的步骤之前，还包括：

将所述表面缺陷图像输入至所述语义分割模型，以通过所述语义分割模型中的所述空间路径模型、所述上下文路径模型以及所述语义图路径模型对所述表面缺陷图像进行特征提取处理，得到特征数据；

基于所述特征数据，通过所述语义分割模型中的特征融合模块以及所述语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息；

根据所述语义标注确定所述第一语义分割信息、所述第二语义分割信息、所述第三语义分割信息分别对应的第一损失值、第二损失值以及第三损失值；

根据所述第一损失值、所述第二损失值、所述第三损失值以及预设损失系数计算得到目标损失值；

根据所述目标损失值，对所述语义分割模型的模型参数进行调整；

迭代执行上述五个步骤，直至所述语义分割模型的训练结果满足预定收敛条件。

3.根据权利要求2所述的表面缺陷图像的语义分割方法，其特征在于，所述通过所述语义分割模型中的所述空间路径模型、所述上下文路径模型以及所述语义图路径模型对所述表面缺陷图像进行特征提取处理，得到特征数据的步骤，包括：

将所述表面缺陷图像输入至所述语义分割模型中的所述空间路径模型，以按照预设缩放比例对所述表面缺陷图像进行缩放，得到高斯金字塔图像，将所述高斯金字塔图像进行卷积运算后，得到特征金字塔层，确定所述特征金字塔层对应的特征张量，对所述特征张量进行调整，得到第一特征数据；

将所述表面缺陷图像输入至所述语义分割模型中的所述上下文路径模型，以对所述表面缺陷图像进行卷积运算后，得到感受野，输出所述感受野的上下文特征张量，得到第二特征数据；

将所述感受野输入至所述语义分割模型中的所述语义图路径模型，以对所述感受野进行图卷积运算后，得到第三特征数据。

4.根据权利要求3所述的表面缺陷图像的语义分割方法，其特征在于，所述基于所述特征数据，通过所述语义分割模型中的特征融合模块以及所述语义图路径模型进行语义分割处理，得到不同语义层级的第一语义分割信息、第二语义分割信息以及第三语义分割信息的步骤，包括：

通过所述语义分割模型中的特征融合模块对所述第一特征数据和所述第二特征数据进行融合，得到第一语义层级的第一语义分割信息；

通过所述语义图路径模型对所述第三特征数据进行解析，得到第二语义层级的第二语义分割信息；

通过所述特征融合模块输出的初始分割结果和所述第二语义分割信息，得到第三语义层级的第三语义分割信息。

5.根据权利要求2所述的表面缺陷图像的语义分割方法，其特征在于，所述将所述表面缺陷图像输入至所述语义分割模型的步骤，包括：

采集表面缺陷图像和表面无缺陷图像，并对所述表面缺陷图像和所述表面无缺陷图像进行语义标注，以得到第一数据集；

按照预设划分比例将所述第一数据集划分成训练集、验证集以及测试集；

对划分后的所述第一数据集进行图像增广处理，得到第二数据集；

将所述第二数据集中的所述表面缺陷图像输入至所述语义分割模型。

6.根据权利要求5所述的表面缺陷图像的语义分割方法，其特征在于，所述对划分后的所述第一数据集进行图像增广处理，得到第二数据集的步骤，包括：

采用添加图像高斯白噪声方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集；或，

采用图像局部分割与放大方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集；或，

采用图像仿射变换方式对划分后的所述第一数据集进行图像增广处理，得到第二数据集。

7.根据权利要求2-6任一项所述的表面缺陷图像的语义分割方法，其特征在于，所述迭代执行所述训练步骤，包括：

采用预设缩放比例对所述表面缺陷图像进行缩放，得到缩放后的表面缺陷图像，其中，每个所述表面缺陷图像具有不同的缩放比例；

通过所述缩放后的表面缺陷图像迭代执行所述训练步骤。

8.根据权利要求2-6任一项所述的表面缺陷图像的语义分割方法，其特征在于，所述迭代执行所述训练步骤，直至所述语义分割模型的训练结果满足预定收敛条件的步骤，包括：

在迭代执行所述训练步骤时，若迭代执行次数达到预设迭代次数，则确定所述语义分割模型的训练结果满足预定收敛条件；或，

在迭代执行所述训练步骤时，若确定所述目标损失值的变化差异小于预设差异值，则确定所述语义分割模型的训练结果满足预定收敛条件。

9.一种表面缺陷图像的语义分割装置，其特征在于，所述表面缺陷图像的语义分割装置包括：

获取单元，用于获取待分割图像；

处理单元，用于将所述待分割图像输入至语义分割模型中，得到所述待分割图像的分割结果，所述语义分割模型为预先采用多个具有语义标注的表面缺陷图像对模型中的空间路径模型、上下文路径模型以及语义图路径模型进行训练得到的。

10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-8任一项所述的表面缺陷图像的语义分割方法的步骤。

Images