CN112767361B - 基于轻量级残差U-net的反射光铁谱图像分割方法 - Google Patents

Abstract

本发明涉及铁谱图像分割技术领域，具体涉及一种基于轻量级残差U‑net的反射光铁谱图像分割方法，包括：融合深度残差网络与U‑net，构建轻量级残差U‑net；采集铁谱图像，对采集的铁谱图像进行筛选；采用自动标记方法对反射光铁谱图像进行标记，得到轻量级残差U‑net的训练数据集；用训练数据集训练轻量级残差U‑net，得到训练好的轻量级残差U‑net；用训练好的网络分割任意的反射光铁谱图像。受过训练的网络能够实现反射光铁谱图像的准确分割，同时具备良好的抗干扰性能。本发明解决了在有气泡干扰、光照不均匀情况下反射光铁谱图像分割问题，表面颜色特征复杂的磨粒也能准确分割。

Description

基于轻量级残差U-net的反射光铁谱图像分割方法

技术领域

本发明涉及铁谱图像分割技术领域，具体涉及一种基于轻量级残差U-net的反射光铁谱图像分割方法。

背景技术

在现代化的工业生产中，需要对机械装备的运行状态进行检测维护，以此保证机械装备的可靠性。常用的诊断检测技术包括振动分析、油液检测、红外影像、声发射测量等，在油液检测中通过分析机械装备的润滑油的状态变化来进行机械故障的预测和诊断。铁谱分析技术是油液检测中一种新的磨损检测和故障诊断技术，对磨损颗粒的形态学特征进行提取来表征机械的磨损状态，通过油液监测就能获得设备的运行状态趋势，能更好的预测故障发生。

在线图像可视铁谱技术是一种典型的图像型磨粒传感器，通过铁谱图像中的磨粒特征信息来分析机械设备的运行状态，将铁谱分析技术与图像处理技术结合，使得磨粒的分割识别、特征参数的提取更加准确。但是，在当前的在线可视铁谱(OLVF)磨损监测中，完全依赖于透射光铁谱图像提取磨粒浓度指标IPCA，而信息更加丰富的反射光铁谱图像仍未得到应用。透射光铁谱图像的磨粒与背景对比度高，抗干扰性较强，磨粒易于分割处理，但是无法获取磨粒表面色彩信息，沉积在气隙区之外的磨粒无法有效地在透射光铁谱图像中显现。相对地，反射光铁谱图像包含磨粒表面颜色和形态特征，成像区域更广，能够提供更为丰富的磨损信息。但遗憾的是，由于磨粒表面颜色分布复杂，以及气泡干扰，导致反射光铁谱图像分割太困难，使得反射图像在磨损监测中仍未发挥作用，导致磨粒形态和颜色等视觉特征缺失。

在油液磨粒识别的故障诊断中，铁谱图像通过显微成像方式获得，成像区域除了磨粒外，还可能带有其他的干扰源，比如油液气泡，光照不均匀等。在分割时，气泡干扰会导致气泡被误认为磨粒将其分割，光照不均匀会导致铁谱图像中磨粒与背景的差异很小，在分割时出现磨粒与背景融为一体的情况。将磨粒从背景区域中分割出来存在很大的困难。

发明内容

为了解决上述反射光铁谱图像的分割问题，本发明提供一种基于轻量级残差U-net的反射光铁谱图像分割方法，该方法构建了一种轻量级残差U-net，同时采用一种反射光铁谱图像的自动标记方法制作训练数据集，完成了轻量级残差U-net网络训练，训练好的轻量级残差U-net可以实现反射光铁谱图像的精确分割。

一种基于轻量级残差U-net的反射光铁谱图像分割方法，括：采集反射光铁谱图像，输入训练好的轻量级残差U-net，网络输出磨粒分割结果；

其中，轻量级残差U-net先训练后使用，轻量级残差U-net的训练过程包括：

S1、融合深度残差网络与U-net，构建轻量级残差U-net；

S2、采集铁谱图像，对采集的铁谱图像进行筛选，剔除包含气泡的透射光铁谱图像和反射光铁谱图像，保留成像质量好、干扰少的透射光铁谱图像和反射光铁谱图像；

S3、采用自动标记方法对保留的反射光铁谱图像进行标记，得到训练数据集；

S4、用训练数据集训练轻量级残差U-net，训练样本数量≥200，网络卷积层层数≥18层，采用ADMA优化算法最小化输入图像与实际输出之间的损失值，通过优化参数不断减小输入的图像的标记和网络的实际输出之间的差异，得到训练好的轻量级残差U-net。

在一种优选实施方式中，步骤S1中轻量级残差U-net包括：

1)轻量级残差U-net包括编码模块-解码模块的网络结构，编码模块和解码模块都有4个子块，编码模块的子块由连续4个卷积层组成，前3个卷积层用于提取图像特征，后1个卷积层用于下采样；解码模块的子块由一个反卷积层和连续3个卷积层组成，反卷积层用于上采样，后3个卷积层用于恢复图像信息；

2)在网络结构中嵌入批归一化batch normalization层以防止过拟合，同时使用shortcut connection以缓解模型退化，加速网络收敛；

3)网络层通道数量由输入到底层逐步递增，由底层向后逐步递减；最小通道数量为64，最大通道数量为512；

4)构建的轻量级残差U-net共包含33个卷积层，4个反卷积层。

在一种优选实施方式中，步骤S3中，“采用自动标记方法对保留的反射光铁谱图像进行标记，得到训练数据集”具体包括：

S31、用均值漂移算法分别对保留的透射光铁谱图像和反射光铁谱图像进行平滑滤波，以滤除噪声、平滑色彩细节；

S32、分别对透射光铁谱图像和反射光铁谱图像进行灰度化，得到透射光铁谱灰度图像和反射光铁谱灰度图像；

S33、用自适应阈值方法分别对透射光铁谱灰度图像和反射光铁谱灰度图像进行分割，得到透射光铁谱灰度图像的分割结果和反射光铁谱灰度图像的分割结果；

S34、将透射光铁谱灰度图像的分割结果和反射光铁谱灰度图像的分割结果两两相加，得到融合后的二值化图像数据集；将保留的反射光铁谱图像以及融合后的二值化图像数据集作为轻量级残差U-net网络的训练数据集。

在一种优选实施方式中，步骤S4中，用训练数据集训练轻量级残差U-net，得到训练好的轻量级残差U-net，具体包括：

S41、将训练集中的反射光图像输入到轻量级残差U-net中，轻量级残差U-net输出二值化图像；

S42、根据交叉熵损失函数计算得到轻量级残差U-net的输入和实际输出之间的损失值，利用ADMA优化算法最小化损失值，在损失值逐渐减小的过程中，网络参数不断更新；

S43、重复执行上述步骤S41-S42，当损失值接近于0时，网络的最优参数得以保存，网络训练完成。

本发明具有以下有益效果：

1.本发明基于反射光铁谱图像的磨粒特征，融合透射光铁谱图像，提出一种自动标记方法对反射光铁谱图像进行标记，制作训练数据集，大大节省了为准备训练数据集而耗费的劳力和时间。

2.本发明采用训练数据集对轻量级残差U-net网络进行训练，实现了反射光铁谱图像的自动分割，分割精度高。

3.本发明解决了在有气泡干扰、光照不均匀情况下反射光铁谱图像分割问题，表面颜色特征复杂的磨粒也能准确分割，为其他图像型磨粒监测方法中的图像处理提供可选方案。

4.本发明方法中，透射光铁谱图像不再被需要，OLVF磨损监测系统的软硬件可以进一步简化。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细的说明。

图1是本发明实施例的一种基于轻量级残差U-net的反射光铁谱图像分割方法流程图；

图2是本发明实施例提供的一种轻量级的残差U-net结构图；

图3是本发明实施例的一种自动标记方法的自动标记过程；

图4是采集的反射光铁谱图像；

图5是采集的透射光铁谱图像；

图6是反射光铁谱图像的自适应阈值法分割图；

图7是透射光铁谱图像的自适应阈值法分割图；

图8是两种分割结果相加后的结果；

图9是包含小气泡的反射光铁谱图像；

图10是包含大气泡的反射光铁谱图像；

图11是小气泡的分割结果；

图12是大气泡的分割效果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供一种基于轻量级残差U-net的反射光铁谱图像分割方法，图1是本发明方法的实施流程图，在一种优选实施方式中，包括以下步骤：

S1、融合深度残差网络与U-net，构建轻量级残差U-net。

轻量级残差U-net结构图如图2所示，包括编码模块-解码模块的网络结构，编码模块和解码模块都有4个子块，编码模块的每个子块由连续4个卷积层组成，前3个卷积层用于提取图像特征，后1个卷积层用于下采样；解码模块的每个子块由一个反卷积层和连续3个卷积层组成，反卷积层用于上采样，后3个卷积层用于恢复图像信息。网络结构中嵌入批归一化batch normalization层以防止过拟合。网络层通道数量由输入到底层逐步递增，由底层向后逐步递减，最小通道数量为64，最大通道数量为512。将shortcut connection应用到U-net中，shortcut connection可缓解模型退化，也可加速收敛，提高训练精度。

在一种优选实施方式中，构建的轻量级残差U-net使用33个卷积层，4个反卷积层，18个batch normalization层。

在一种优选实施方式中，轻量级残差U-net网络框架用Tensorflow的上层APIKeras搭建，编译语言为Python。

S2、用在线可视铁谱仪采集大量铁谱图像，采集的铁谱图像包括反射光铁谱图像的数量和透射光铁谱图像，其中反射光铁谱图像的数量和透射光铁谱图像的数量相同或相仿。在一个具体的实施例中，用在线可视铁谱仪采集640px×480px的反射光铁谱图像和透射光铁谱图像各1725张。

对采集的铁谱图像进行筛选，剔除包含气泡的透射光铁谱图像和反射光铁谱图像，保留成像质量好、干扰少的透射光铁谱图像和反射光铁谱图像。在一个具体的实施例中，保留成像质量好、干扰少的反射光铁谱图像和透射光铁谱图像各750张，以提升训练数据集的标记精度，如图4、5所示。

S3、采用自动标记方法对保留的反射光铁谱图像进行标记，得到训练数据集。此步骤用opencv在python语言编译下实现，该步骤的具体实施过程包括但不限于：

S31、用均值漂移算法分别对保留的透射光铁谱图像和反射光铁谱图像进行平滑滤波，以滤除噪声、平滑色彩细节；

S32、分别对透射光铁谱图像和反射光铁谱图像进行灰度化，得到透射光铁谱灰度图像和反射光铁谱灰度图像；

S33、用自适应阈值方法分别对透射光铁谱灰度图像和反射光铁谱灰度图像进行分割，得到透射光铁谱灰度图像的分割结果和反射光铁谱灰度图像的分割结果，如图6、7所示；

S34、将一个透射光铁谱灰度图像的分割结果和一个反射光铁谱灰度图像的分割结果进行相加，得到一个融合后的二值化图像，完成一个反射光铁谱灰度图像的自动标记，该融合后的二值化图像即为自动标记的标记结果，将该反射光铁谱灰度图像以及融合后的二值化图像作为轻量级残差U-net网络的一个训练数据，如图8所示。

如图3所示，用上述自动标记步骤对所有保留的反射光铁谱图像(750张)进行自动标记，得到融合后的二值化图像数据集，将所有保留的反射光铁谱图像以及融合后的二值化图像数据集作为轻量级残差U-net网络的训练数据集，训练数据集包括750个反射光铁谱图像和对应7580个反射光铁谱灰度图像与透射光铁谱灰度图像融合后的二值化图像。为了增强训练数据集的数量和多样性，提升网络泛化能力，通过对训练数据集中的训练图像进行旋转和翻转进行数据增强，得到超过3750个训练样本，其中80％作为训练集，训练集用于训练网络，20％作为测试集，测试集用于在训练过程中周期性地测试网络性能。

在一种优选实施方式中，反射光铁谱灰度图像的分割结果与透射光铁谱灰度图像的分割结果相加后得到的融合结果应尽可能与反射光铁谱图像对应，保证标记的精度，获得高质量的训练数据集。

S4、用训练数据集训练轻量级残差U-net，训练样本数量≥200，网络卷积层层数≥18层，最终得到训练好的轻量级残差U-net。

在一种优选实施方式中，轻量级残差U-net的训练设备为NVIDIA RTX2060GPU(6G)。网络训练的本质网络参数的优化过程，需要优化的参数主要包括网络中卷积核矩元素和偏置值，通过优化参数不断减小输入的图像的标记和网络的实际输出之间的差异，用加权交叉熵函数作为损失函数，在训练过程中记录输入图像的标记与实际输出之间差值，即损失值，用ADMA优化算法最小化损失值，随着损失值逐渐减小，网络参数不断被优化。具体地，轻量级残差U-net的训练过程包括但不限于如下步骤：

S41将训练集中的反射光图像输入到轻量级残差U-net中，轻量级残差U-net输出二值化图像；

S42、在正向传播过程中，输入的反射光图像通过网络，得到网络实际输出的二值化图像，根据交叉熵损失函数计算得到网络实际输出的二值化图像和标记的二值化图像之间的损失值。然后进行反向传播，用ADMA优化算法优化损失值。在这个过程中，损失值减小，网络参数更新；

S43、重复执行上述步骤S41-S42，随着迭代次数的增加，损失值逐渐减小，网络参数不断更新，经过75000次迭代，训练集准确率为99.7％，测试集准确率为98.7％，损失值收敛接近于0，轻量级残差U-net训练完成，网络的最优参数得以保存，网络所保存的最优参数便可从输入的反射光铁谱图像映射出对应的二值化图像。

经实验验证，能成功训练网络的训练样本数量不得低于200，能表现较好分割性能的网络卷积层层数不得低于18层。因此，为了更好的网络训练，本实施例中训练样本数量≥200，网络卷积层层数≥18层。

本实施例用训练集训练轻量级残差U-net，用测试集周期性地测试网络性能。然后确定影响网络训练性能的因素，网络的性能与训练数据集和网络结构密切相关，本发明中轻量级残差U-net的训练准确率超过99.7％，测试准确率超过98.7％。

训练好的轻量级残差U-net网络能够去除气泡，实现反射光铁谱图像中磨粒的准确分割，同时具备良好的抗干扰性能。

运用训练好的轻量级残差U-net进行网络分割。如图9、10所示，将任意含有气泡或表面颜色特征复杂的反射光铁谱图像输入到训练好的轻量级残差U-net网络中，输出磨粒分割结果，如图11、12所示。

本发明的一种轻量级残差U-net的反射光铁谱图像分割方法为基于反射光铁谱图像的磨粒特征提取奠定了基础，也为其他图像型磨粒传感器提供了一种可选的图像分割方法。

当介绍本申请的各种实施例时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个步骤或元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的步骤或元件之外，还可以有其它步骤或元件。

需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于轻量级残差U-net的反射光铁谱图像分割方法，其特征在于，包括：采集反射光铁谱图像，输入训练好的轻量级残差U-net，网络输出磨粒分割结果；

其中，轻量级残差U-net先训练后使用，轻量级残差U-net的训练过程包括：

S1、融合深度残差网络与U-net，构建轻量级残差U-net；

步骤S1中轻量级残差U-net包括：

1)轻量级残差U-net包括编码模块-解码模块的网络结构，编码模块和解码模块都有4个子块，编码模块的子块由连续4个卷积层组成，前3个卷积层用于提取图像特征，后1个卷积层用于下采样；解码模块的子块由一个反卷积层和连续3个卷积层组成，反卷积层用于上采样，后3个卷积层用于恢复图像信息；

2)在网络结构中嵌入批归一化batch normalization层以防止过拟合，同时使用shortcutconnection以缓解模型退化，加速网络收敛；

3)网络层通道数量由输入到底层逐步递增，由底层向后逐步递减；最小通道数量为64，最大通道数量为512；

4)构建的轻量级残差U-net共包含33个卷积层，4个反卷积层；

S2、采集铁谱图像，对采集的铁谱图像进行筛选，剔除包含气泡的透射光铁谱图像和反射光铁谱图像，保留成像质量好、干扰少的透射光铁谱图像和反射光铁谱图像；

S3、采用自动标记方法对保留的反射光铁谱图像进行标记，得到训练数据集；

步骤S3中，采用自动标记方法对保留的反射光铁谱图像进行标记，得到训练数据集具体包括：

S31、用均值漂移算法分别对保留的透射光铁谱图像和反射光铁谱图像进行平滑滤波，以滤除噪声、平滑色彩细节；

S32、分别对透射光铁谱图像和反射光铁谱图像进行灰度化，得到透射光铁谱灰度图像和反射光铁谱灰度图像；

S33、用自适应阈值方法分别对透射光铁谱灰度图像和反射光铁谱灰度图像进行分割，得到透射光铁谱灰度图像的分割结果和反射光铁谱灰度图像的分割结果；

S34、将透射光铁谱灰度图像的分割结果和反射光铁谱灰度图像的分割结果两两相加，得到融合后的二值化图像数据集；将保留的反射光铁谱图像以及融合后的二值化图像数据集作为轻量级残差U-net网络的训练数据集；

S4、用训练数据集训练轻量级残差U-net，训练样本数量^≥200，网络卷积层层数^≥18层，采用ADMA优化算法最小化输入图像与实际输出之间的损失值，通过优化参数不断减小输入的图像的标记和网络的实际输出之间的差异，得到训练好的轻量级残差U-net。

2.根据权利要求1所述的一种基于轻量级残差U-net的反射光铁谱图像分割方法，其特征在于，步骤S4中，用训练数据集训练轻量级残差U-net，得到训练好的轻量级残差U-net，具体包括：

S41、将训练集中的反射光图像输入到轻量级残差U-net中，轻量级残差U-net输出二值化图像；

S42、根据交叉熵损失函数计算得到轻量级残差U-net的输入和实际输出之间的损失值，利用ADMA优化算法最小化损失值，在损失值逐渐减小的过程中，网络参数不断更新；

S43、重复执行上述步骤S41-S42，当损失值接近于0时，网络的最优参数得以保存，网络训练完成。