CN112926697B - 一种基于语义分割的磨粒图像分类方法及装置 - Google Patents

Abstract

本发明公开了一种基于语义分割的磨粒图像分类方法及装置，该方法包括：利用链式通道注意力网络提取待分类的磨粒图像的图像特征；利用基于类注意力的语义分割网络对提取到的图像特征进行语义分割；基于语义分割网络输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。本发明利用语义分割标签引导模型关注目标区域，更加有益于分类图像中的小目标。

Description

一种基于语义分割的磨粒图像分类方法及装置

技术领域

本发明涉及图像分类技术领域，特别涉及一种基于语义分割的磨粒图像分类方法及装置。

背景技术

目前，对于图像进行分类已经有大量的研究成果，现有的图像分类方法包括传统的图像分类方法和基于深度学习的图像分类方法(网络自动提取特征)。尤其是基于深度学习的图像分类技术已经非常成熟。

但是，在一些特定的图像分析领域(如磨粒图像分析)，图像中的目标通常是很小的，即目标占据的像素少、背景占据的像素多，从而增加了分类的难度。把目前这些成熟的图像分类技术应用到如上所述的特定领域时，分类效果却不尽人意。因此，设计更好的小目标、大背景图像分类方法是非常有必要的。

发明内容

本发明提供了一种基于语义分割的磨粒图像分类方法及装置，以解决现有的图像分类方法对磨粒图像的分类效果不够理想的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于语义分割的磨粒图像分类方法，包括：

利用链式通道注意力网络提取待分类的磨粒图像的图像特征；

利用基于类注意力的语义分割网络对提取到的图像特征进行语义分割；

基于语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。

进一步地，所述语义分割网络使用的分割损失函数的表达式如下：

其中，Loss_seg表示分割损失函数，α表示每类的权重，f_nijc表示第n个磨粒图像的语义分割标签，seg_nijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小；

所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。

进一步地，当计算背景损失时，α的值为0.001，当计算磨粒损失时，α的值为1。

进一步地，所述分类网络使用的分类损失函数Loss_cla的表达式如下：

其中，Loss_cla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，y_nc表示第n个磨粒图像的类标签，cla_nc表示第n个磨粒图像的分类结果。

另一方面，本发明还提供了一种基于语义分割的磨粒图像分类装置，包括：

图像特征提取模块，用于利用链式通道注意力网络提取待分类的磨粒图像的图像特征；

语义分割模块，用于利用基于类注意力的语义分割网络对所述图像特征提取模块提取到的图像特征进行语义分割；

图像分类模块，用于基于所述语义分割模块输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果；

所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。

进一步地，所述语义分割模块中的语义分割网络使用的分割损失函数的表达式如下：

其中，Loss_seg表示分割损失函数，α表示每类的权重，f_nijc表示第n个磨粒图像的语义分割标签，seg_nijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小。

进一步地，所述语义分割模块还用于：当计算背景损失时，将α的值设置为0.001，当计算磨粒损失时，将α的值设置为1。

进一步地，所述图像分类模块中的分类网络使用的分类损失函数Loss_cla的表达式如下：

其中，Loss_cla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，y_nc表示第n个磨粒图像的类标签，cla_nc表示第n个磨粒图像的分类结果。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明的图像分类方法利用链式通道注意力网络提取图像特征，能够提取出更具代表性的退昂特征；利用基于类注意力的语义分割网络获取图像分割结果，利用语义分割标签引导模型关注目标区域，有利于后面的分类网络分类出图像中的小目标；利用类注意单元引导模型关注图像中包含的类型，有利于后面的分类网络更加准确地分类。基于分割结果，利用分类网络获取图像分类结果。本发明提供的方法有利于分类出图像中的小目标，从而有效解决当前一些特定领域“由于目标占据的像素少，背景占据的像素多而难以分类”的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于语义分割的磨粒图像分类方法的流程示意图；

图2为本发明实施例提供的基于语义分割的磨粒图像分类模型的结构图；

图3为磨粒原始图像；

图4为切割后的磨粒图像；

图5为本发明实施例提供的磨粒图像分类模型的分割结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种基于语义分割的磨粒图像分类方法，能够通过链式通道注意力网络和基于类注意力的语义分割网络引导模型关注图像中的目标区域，使用语义分割标签引导模型训练，一定程度上增大了小目标的正样本数量，更有利于模型分类出图像中的小目标，从而有效解决当前一些特定领域“由于目标占据的像素少，背景占据的像素多而难以分类”的问题。

本实施例的基于语义分割的磨粒图像分类方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：

S101，利用链式通道注意力网络提取待分类的磨粒图像的图像特征；

需要说明的是，链式通道注意力网络使模型在提取图像特征的过程中，总是关注更重要的通道，提取出更具代表性的特征。基于此，本实施例的方法利用链式通道注意力网络提取图像特征，能够提取出更具代表性的退昂特征。

其中，如图2所示，所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。

S102，利用基于类注意力的语义分割网络对提取的图像特征进行语义分割；

需要说明的是，当前随着深度学习的发展，语义分割技术也得到了快速的发展。语义分割技术能够分类图像中的每一个像素，主要作用是对图像进行分割。语义分割的优势是训练过程中使用的标签是基于像素的，因此在分割小目标时，语义分割技术在一定程度上增大了小目标的正样本数量，更有利于小目标的分割和分类。因此，本实施例为了解决小目标难以分割的问题，将语义分割应用到图像分类，从而提高小目标图像分类的准确率。本实施例的基于类注意力的语义分割网络利用语义分割标签引导模型关注目标区域，有利于后面的分类网络分类出图像中的小目标；基于类注意力的语义分割网络利用类注意单元引导模型关注图像中包含的类型，有利于后面的分类网络更加准确地分类。

S103，基于语义分割网络输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。

需要说明的是，对于图像的分类，本实施例是基于语义分割网络输出的语义分割结果，使用全局平均池化和Sigmoid函数输出图像分类结果。

基于上述，本实施例构建出了基于语义分割的磨粒图像分类模型，该磨粒图像分类模型的结构如图2所示，其实现过程如下：

采用光学方法对发动机润滑油进行在线监测，获取磨粒原始图像，如图3所示。数据集中有4种磨粒：滑动磨粒、疲劳磨粒、切削磨粒和球形磨粒。为了更直观地展示不同类型的磨粒，将四种磨粒从磨粒原始图像中分割出，得到这4种磨粒，如图4所示。网络参数随机初始化，使用如下损失函数Loss和Adam优化器在GPU(GeForce RTX 2080Ti)迭代更新网络参数，迭代次数为17040次，批量大小为4，初始学习率为0.0001。采用两种损失函数优化网络，即分割损失(Loss_seg)和分类损失(Loss_cla)。分割损失采用逐像素计算交叉熵损失；分类损失使用二元交叉熵损失。在计算分割损失时，降低了背景损失的权重。这是因为与整个磨粒图像中的背景相比，磨粒所占据的区域非常小。磨粒平均像素尺寸不大于40*40，背景图像尺寸为480*640。因此，为了平衡正样本和负样本，背景像素损失的权重被设置为0.001。损失函数Loss的计算公式如下所示：

Loss＝Loss_seg+Loss_cla

其中，Loss_seg表示分割损失函数，Loss_cla表示分类损失函数，α表示每类的权重，当计算背景损失时，α的值为0.001，当计算磨粒损失时，α的值为1。F_n＝{f_nijc|1≤n≤N，1≤i≤W，1≤j≤H，1≤c≤C}表示第n个磨粒图像的语义分割标签。如果第n个磨粒图像的位置(i，j)的像素属于c类，则f_nijc＝1，否则，f_nijc＝0。Seg_n＝{seg_nijc|1≤n≤N，1≤i≤W，1≤j≤H，1≤c≤C}表示网络输出的第n个磨粒图像的分割结果。Y_n＝{y_nc，|1≤n≤N，1≤c≤C}为第n个磨粒图像的类标签。如果第n个磨粒图像中包含第c类，则y_nc＝1，否则，y_nc＝0。Cla_n＝{cla_nc，|1≤n≤N，1≤c≤C}表示第n个磨粒图像的分类结果。N表示磨粒图像的个数，C表示磨粒数，W和H表示网络语义分割结果的大小。

采用下列方法对上述基于语义分割的磨粒图像分类模型进行训练：

(1)获取磨粒图像数据集，将磨粒图像数据集划分为训练集和测试集；磨粒图像数据集包含4类磨粒，4379幅磨粒图像，包括3408张训练图像、480张验证图像和491张测试图像。每张磨粒图像包含一个或多个磨粒，共对10000多个磨粒进行了标记。

(2)通过链式通道注意力网络提取磨粒图像的特征。

(3)将提取到的图像特征送入到基于类注意力的语义分割网络中，输出语义分割结果，如图5所示。

(4)将语义分割结果送入到分类网络中，经分类网络中的全局平均池化和Sigmoid函数，输出分类结果。

(5)重复进行步骤(2)(3)(4)，对模型进行迭代更新，当训练集和验证集的损失趋向于收敛时，表示磨粒分类模型稳定，得到训练好的分类模型。

(6)将测试集中的磨粒图像输入到训练好的分类模型中，得到输入磨粒图像的类型。

进一步地，为了验证本实施例提出的基于语义分割的磨粒图像分类方法在提升分类准确率上的有效性，将本实施例的基于语义分割的图像分类方法记为磨粒分类新方法(WPC-SS)。分别以相同的实验条件和相同的数据集对ResNet50、VGG16和WPC-SS进行训练和测试，对实验结果进行对比。因为本实施例中每张磨粒图像包含多个磨粒，所以本实施例的分类任务属于多标签分类任务，故使用mAP(mean average precision)评估了每种磨粒分类方法的分类效果。

如表1展示了ResNet50、VGG16和WPC-SS这三种方法在测试集上的分类结果，可以看出，和WPC-SS的mAP是96.9％，当单独从每一类的AP来看，WPC-SS在滑动磨粒、疲劳磨粒、切削磨粒、球形磨粒这4类磨粒上的AP分别是94.44％，97.81％，95.41％，100.00％，无论是总体的mAP还是每一类AP，都优于现有的分类模型ResNet50和VGG16。因为与图像背景相比，磨粒的尺寸非常小。如果直接使用标准的图像分类网络(ResNet50、VGG16等)进行分类，提取的特征信息可能不足，导致分类不准确。本实施例中的基于语义分割的磨粒图像分类算法(WPC-SS)，利用语义分割标签训练网络。由于损失是逐像素计算的，在一定程度上增加了正样本数，使模型更加关注有磨粒的区域，减少了大量背景信息的干扰，因此更有利于尺寸非常小的磨粒的分类。

表1 ResNet50、VGG16和WPC-SS对四种磨粒分类的AP和mAP

综上，本实施例的方法利用链式通道注意力网络提取图像特征，能够提取出更具代表性的退昂特征；利用基于类注意力的语义分割网络获取图像分割结果，利用语义分割标签引导模型关注目标区域，有利于后面的分类网络分类出图像中的小目标；利用类注意单元引导模型关注图像中包含的类型，有利于后面的分类网络更加准确地分类。基于分割结果，利用分类网络获取图像分类结果。本实施例提供的方法有利于分类出图像中的小目标，从而有效解决当前一些特定领域“由于目标占据的像素少，背景占据的像素多而难以分类”的问题。

第二实施例

本实施例提供了一种基于语义分割的磨粒图像分类装置，该装置包括：

图像特征提取模块，用于利用链式通道注意力网络提取待分类的磨粒图像的图像特征；

语义分割模块，用于利用基于类注意力的语义分割网络对所述图像特征提取模块提取到的图像特征进行语义分割；

图像分类模块，用于基于所述语义分割模块输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。

本实施例的基于语义分割的磨粒图像分类装置与上述第一实施例的基于语义分割的磨粒图像分类方法相对应；其中，本实施例的基于语义分割的磨粒图像分类装置中的各功能模块所实现的功能与上述第一实施例的基于语义分割的磨粒图像分类方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (4)

1.一种基于语义分割的磨粒图像分类方法，其特征在于，包括：

利用链式通道注意力网络提取待分类的磨粒图像的图像特征；

利用基于类注意力的语义分割网络对提取到的图像特征进行语义分割；

基于语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果；

所述基于类注意力的语义分割网络使用的分割损失函数的表达式如下：

其中，Loss_seg表示分割损失函数，α表示每类的权重，f_nijc表示第n个磨粒图像的语义分割标签，seg_nijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小；

当计算背景损失时，α的值为0.001，当计算磨粒损失时，α的值为1；

所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。

2.如权利要求1所述的基于语义分割的磨粒图像分类方法，其特征在于，所述分类网络使用的分类损失函数Loss_cla的表达式如下：

其中，Loss_cla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，y_nc表示第n个磨粒图像的类标签，cla_nc表示第n个磨粒图像的分类结果。

3.一种基于语义分割的磨粒图像分类装置，其特征在于，包括：

图像特征提取模块，用于利用链式通道注意力网络提取待分类的磨粒图像的图像特征；

语义分割模块，用于利用基于类注意力的语义分割网络对所述图像特征提取模块提取到的图像特征进行语义分割；

图像分类模块，用于基于所述语义分割模块输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果；

所述语义分割模块中的语义分割网络使用的分割损失函数的表达式如下：

其中，Loss_seg表示分割损失函数，α表示每类的权重，f_nijc表示第n个磨粒图像的语义分割标签，seg_nijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小；

所述语义分割模块还用于：当计算背景损失时，将α的值设置为0.001，当计算磨粒损失时，将α的值设置为1；

所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。

4.如权利要求3所述的基于语义分割的磨粒图像分类装置，其特征在于，所述图像分类模块中的分类网络使用的分类损失函数Loss_cla的表达式如下：

其中，Loss_cla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，y_nc表示第n个磨粒图像的类标签，cla_nc表示第n个磨粒图像的分类结果。

Images