CN115546127A - 一种发动机滑油磨粒图像分析方法及装置、介质、设备 - Google Patents

一种发动机滑油磨粒图像分析方法及装置、介质、设备 Download PDF

Info

Publication number
CN115546127A
CN115546127A CN202211154000.8A CN202211154000A CN115546127A CN 115546127 A CN115546127 A CN 115546127A CN 202211154000 A CN202211154000 A CN 202211154000A CN 115546127 A CN115546127 A CN 115546127A
Authority
CN
China
Prior art keywords
image
abrasive particle
pixel
training
lubricating oil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211154000.8A
Other languages
English (en)
Inventor
王奕首
肖翔文
尤延铖
汪青
陈毅
陈国顺
卿新林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Xiamen Airlines Co Ltd
Original Assignee
Xiamen University
Xiamen Airlines Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University, Xiamen Airlines Co Ltd filed Critical Xiamen University
Priority to CN202211154000.8A priority Critical patent/CN115546127A/zh
Publication of CN115546127A publication Critical patent/CN115546127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及滑油磨粒检测技术领域，特别涉及一种发动机滑油磨粒图像分析方法及装置、介质、设备，其方法包括获取铁谱图像并构建数据集，再将数据集划分为训练集和验证集；构建U‑net网络模型，再通过数据集的训练和验证以得到训练好的滑油磨粒检测模型；将待分析的铁谱图像输入至滑油磨粒检测模型中以获取识别到的磨粒图像；再使用Canny算子对铁谱图像的边缘进行检测，并结合识别到的磨粒图像进行分割；最后对分割后的磨粒图像进行轮廓检测，以获取磨粒的轮廓信息。本发明提供的分析方法采用U‑net网络模型和Canny算子对图像进行处理，能够有效识别并提取图像中的磨粒信息，不仅简化了铁谱分析流程，还大大提高磨粒分析的精准度。

Description

一种发动机滑油磨粒图像分析方法及装置、介质、设备
技术领域
本发明涉及滑油磨粒检测技术领域，特别涉及一种发动机滑油磨粒图像分析方法及装置、介质、设备。
背景技术
滑油系统是发动机的重要组成系统之一，滑油中的磨粒若没有及时过滤和收集，有可能导致旋转部件与滑油系统产生二次损耗。因此，及时收集和分析滑油中的磨粒，有利于对发动机旋转部件进行及时有效维护，避免二次损耗产生的不利影响，同时能够得知发动机的磨损情况。
目前常用的发动机滑油磨粒检测方法主要分为在线监测和离线检测两大类。其中离线检测方法可采用光谱和铁谱技术对磨粒的形态、大小、类型进行分析。近年来，铁谱技术已被证明是一种有效的通过对磨损颗粒(简称磨粒或磨屑)进行定性和定量分析来实现磨损工况监测和故障诊断的技术手段。
但目前的铁谱分析结果图像存在磨粒堆积、图像采集效果差等问题,其极大限制了应用范围。具体如图1和图2所示分别为离散型磨粒图像和重叠型磨粒图像，部分研究人员以提出离散型磨粒图像的切割方法，但对于重叠型磨粒图像的堆积问题，传统的计算机图像处理方法还难以分割重叠的磨粒，这将限制磨粒形态、大小、类型的自动化分析，导致磨粒分析的精准度大大降低。
发明内容
为解决上述现有技术中滑油磨粒检测不精确的不足，本发明提供一种发动机滑油磨粒图像分析方法，包括以下步骤：
步骤S100，获取铁谱图像并进行裁剪以构建数据集，再将所述数据集划分为训练集和验证集；
步骤S200，构建U-net网络模型，并将所述训练集输入至U-net网络模型中进行训练，以得到训练好的滑油磨粒检测模型；再将所述验证集输入至所述滑油磨粒检测模型进行测试，并评估训练效果；
步骤S300，对待分析的铁谱图像进行预处理，再将预处理后的铁谱图像输入至所述滑油磨粒检测模型中以获取识别到的磨粒图像轮廓；
步骤S400，使用Canny算子对预处理后的铁谱图像的边缘进行检测以获得边缘像素，若检测到的所述边缘像素位于所述滑油磨粒检测模型识别到的磨粒图像轮廓内则视为重叠的磨粒，使用Canny算子对重叠的磨粒进行分割；若检测到的边缘像素位于滑油磨粒检测模型识别到的磨粒图像轮廓外，则视为误检，将其去除；
步骤S500，对分割后的所述磨粒图像进行轮廓检测，以获取图像上磨粒的轮廓信息。
在一实施例中，将待分析的铁谱图像进行预处理包括去噪、增强、锐化、复原以及滤波中的一种或多种。
在一实施例中，将所述训练集输入至U-net网络模型中进行训练，包括以下步骤：将所述训练集的图像输入至卷积块、CBAM注意力模块中以得到特征层，再进行多次的卷积、CBAM注意力模块训练及池化以得到一次训练特征图；对所述一次训练特征图进行多次的上采样、融合初步有效特征层以及卷积以得到二次训练特征图；根据特征图检测目标种类的个数对所述二次训练特征图进行通道调整，并利用特征得到预测结果；其中，利用交叉熵损失函数和DiceLoss损失函数来获取损失。
在一实施例中，所述CBAM注意力模块包括通道注意力机制模块和空间注意力机制模块，将图像输入至CBAM注意力模块包括以下步骤：
将图像输入至所述通道注意力机制模块中进行全局最大池化和全局平均池化以得到两组第一特征图，再分别输入至共享的两层神经网络中，再基于element-wise加和操作和sigmoid函数的激活操作生成通道注意力特征，最后将所述通道注意力特征和图像进行乘法操作以生成输入特征图；
将所述输入特征图输入至所述空间注意力模块中，再进行基于通道的全局最大池化和全局平均池化以得到两组第二特征图，再将两组所述第二特征图基于通道做通道拼接操作和卷积以降维至单通道，再经过sigmoid函数生成空间注意力特征，最后将所述空间注意力特征和输入特征图进行乘法操作以得到特征层。
在一实施例中，所述图像检测目标种类分为背景部分和磨粒部分。
在一实施例中，评估训练效果的步骤为分别计算背景部分的交并比IOU、磨粒部分的交并比IOU以及平均交并比mIOU，其公式如下：
Figure BDA0003857634140000031
Figure BDA0003857634140000032
其中A1、B1分别为磨粒部分的预测结果和真实结果，A2、B2分别为背景部分的预测结果和真实结果。
在一实施例中，使用Canny算子对磨粒图像的边缘进行检测包括以下步骤：
图像降噪步骤，对磨粒图像进行高斯滤波处理；
计算图像梯度步骤，通过Sobel算子计算磨粒图像中每个像素的边缘梯度幅值和梯度方向；
非极大值抑制步骤，对磨粒图像进行全面扫描以去除不构成边缘的无关像素点，再检测每个像素是否为梯度方向的临近像素点中的局部最大值，若是，则保留下来，反之，则去除；
双阈值筛选步骤，选取一个预设高阈值和一个预设低阈值，并判定每个像素的边缘梯度幅值与预设高阈值、预设低阈值的大小关系；
若边缘梯度幅值大于预设高阈值，则判定该像素为边缘像素；若边缘梯度幅值低于预设低阈值，则判定该像素为非边缘像素，并进行丢弃；若边缘梯度幅值介于预设低阈值和预设高阈值之间，则判定该像素为待确定像素，再对待确定像素进行连续性判断，若其与边缘像素相连，则判定为边缘像素，否则进行丢弃。
本发明还提供一种发动机滑油磨粒图像分析装置，包括：
数据集构建模块，获取铁谱图像并进行裁剪以构建数据集，再将所述数据集划分为训练集和验证集；
训练模块，构建U-net网络模型，并将所述训练集输入至U-net网络模型中进行训练，以得到训练好的滑油磨粒检测模型；再将所述验证集输入至所述滑油磨粒检测模型进行测试，并评估训练效果；
分割模块，对待分析的铁谱图像进行预处理，再将预处理后的铁谱图像输入至所述滑油磨粒检测模型中以获取识别到的磨粒图像轮廓；使用Canny算子对预处理后的铁谱图像的边缘进行检测以获得边缘像素，若检测到的所述边缘像素位于所述滑油磨粒检测模型识别到的磨粒图像轮廓内则视为重叠的磨粒，使用Canny算子对重叠的磨粒进行分割；若检测到的边缘像素位于滑油磨粒检测模型识别到的磨粒图像轮廓外，则视为误检，将其去除；
分析模块，对分割后的所述磨粒图像进行轮廓检测，以获取图像上磨粒的轮廓信息。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如上述任一实施例所述的发动机滑油磨粒图像分析方法。
本发明还提供一种电子设备，包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如上述任一实施例所述的发动机滑油磨粒图像分析方法。
基于上述，与现有技术相比，本发明提供的发动机滑油磨粒图像分析方法采用U-net网络模型和Canny算子对图像进行处理，能够有效识别并提取图像中的磨粒信息，不仅简化了铁谱分析流程，还大大提高磨粒分析的精准度。
本发明的其它特征和有益效果将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他有益效果可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；在下面描述中附图所述的位置关系，若无特别指明，皆是图示中组件绘示的方向为基准。
图1为离散型磨粒的铁谱图像的示意图；
图2为重叠型磨粒的铁谱图像的示意图；
图3为本发明提供的发动机滑油磨粒图像分析方法的流程图；
图4为基于注意力机制改进的U-net网络结构图；
图5为待分析的发动机滑油磨粒的铁谱图像示意图；
图6为预处理和裁剪后的铁谱图像示意图；
图7为滑油磨粒检测模型中获取识别到的磨粒图像轮廓示意图；
图8为使用Canny算子进行边缘检测获得的具有边缘像素的图像示意图；
图9为分割后的磨粒图像结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；下面所描述的本发明不同实施方式中所设计的技术特征只要彼此之间未构成冲突就可以相互结合；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本发明所使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义，不能理解为对本发明的限制；应进一步理解，本发明所使用的术语应被理解为具有与这些术语在本说明书的上下文和相关领域中的含义一致的含义，并且不应以理想化或过于正式的意义来理解，除本发明中明确如此定义之外。
目前的铁谱分析结果图像存在磨粒堆积、图像采集效果差等问题,限制了其应用范围，特别是磨粒堆积问题，传统的计算机图像处理方法难以分割重叠的磨粒，限制了磨粒形态、大小、类型的自动化分析。因此，为解决上述问题之一，请参阅图3，本发明提供一种发动机滑油磨粒图像分析方法，包括以下步骤：
步骤S100，获取铁谱图像，对铁谱图像并进行裁剪以构建数据集，再将所述数据集划分为训练集和验证集；较佳地，为了保证数据集的图像效果，需要裁剪中间区域的磨粒图像来作为数据集。
步骤S200，构建U-net网络模型，并将所述训练集输入至U-net网络模型中进行训练，以得到训练好的滑油磨粒检测模型；再将所述验证集输入至所述滑油磨粒检测模型进行测试，并评估训练效果。
具体实施时，本实施例提供的U-net网络模型的结构分为下采样和上采样两个部分，其中下采样分为4层，每层包括3次卷积和一次降采样，以用于进行特征的提取，提取图像的位置、语义等信息；上采样则进行反卷积，将抽象的特征再还原解码到原图的尺寸，最终得到分割结果。本实施例有效利用了U-net网络提取浅层特征和网络结构小的优势，能够通过少量的数据集训练就能获得不变性和鲁棒性，得到更高的图像像素准确率，为后续的图像分割提供较好的识别基础。
通过上述方式获得的滑油磨粒检测模型经过评估训练效果能够直观获知模型的训练状况，其有效解决了滑油磨粒的铁谱图像样本原本就稀缺，且识别的磨粒灰度值与背景接近而难以识别、分割的问题。
步骤S300，对待分析的铁谱图像进行预处理，再将预处理后的铁谱图像输入至所述滑油磨粒检测模型中以获取识别到的磨粒图像轮廓。
具体实施时，对待分析的铁谱图像进行预处理的目的在于增强图像对比度，提高图像质量，减少分割的难度。具体可包括去噪、增强、锐化、复原以及滤波中的一种或多种。上述方式均为常用的图像处理方式，在此不多加赘述。当然，本领域技术人员还可采用其他提高图像质量的预处理方式来替代本实施例提供的方式。
步骤S400，使用Canny算子对预处理后的铁谱图像的边缘进行检测以获得边缘像素，若检测到的所述边缘像素位于所述滑油磨粒检测模型识别到的磨粒图像轮廓内则视为重叠的磨粒，使用Canny算子对重叠的磨粒进行分割；若检测到的边缘像素位于滑油磨粒检测模型识别到的磨粒图像轮廓外，则视为误检，将其去除；
具体实施时，本实施例使用Canny算子对图像进行边缘检测，其具有误检率低、定位精度高和检测出的边缘像素细的特点。其中，使用Canny算子的边缘检测能够获得边缘像素，再结合使用滑油磨粒检测模型识别出的磨粒图像轮廓，通过二者的图像融合能够识别出重叠的磨粒图像区域。以U-net网络检测到的磨粒图像轮廓为基准，对于重叠的磨粒图像区域进行切割能够得到精准度更高的磨粒轮廓，继而有效提取到图像上所有磨粒的形态、大小和类型。
通过上述融合U-net网络模型和Canny算子来得到的发动机滑油磨粒图像切割方法能够避免现有技术对铁谱图像进行分割时存在难以分割重叠磨粒、检测出的边缘形态差、背景与磨粒之间误分、磨粒出现虚假边缘以及定位精度不高等问题。
步骤S400，对分割后的所述磨粒图像进行轮廓检测，以获取图像上磨粒的轮廓信息。
具体实施时，可根据原图的比例尺计算磨粒轮廓的面积、最大外接长方形的长、宽等参数信息，继而便于技术人员对发动机滑油磨粒形态、大小、类型的自动化分析。
通过上述对发动机滑油磨粒图像分析的方法能够有效自动化地从铁谱图像中提取需要的信息，简化了铁谱分析流程，降低了对技术人员的要求。
优选地，将所述训练集输入至U-net网络模型中进行训练，包括以下步骤：
将所述训练集的图像输入至卷积块、CBAM注意力模块中以得到特征层，再进行多次的卷积、CBAM注意力模块训练及池化以得到一次训练特征图；对所述一次训练特征图进行多次的上采样、融合初步有效特征层以及卷积以得到二次训练特征图；根据特征图检测目标种类的个数对所述二次训练特征图进行通道调整，并利用特征得到预测结果；其中，利用交叉熵损失函数和DiceLoss损失函数来获取损失。
较佳地，所述图像检测目标种类分为背景部分和磨粒部分，即特征图检测目标种类的个数为2个，对图像只区分背景和磨粒两部分，从而方便识别。
优选地，所述CBAM注意力模块包括通道注意力机制模块和空间注意力机制模块，将图像输入至CBAM注意力模块包括以下步骤：
将图像输入至所述通道注意力机制模块中进行全局最大池化和全局平均池化以得到两组第一特征图，再分别输入至共享的两层神经网络中，再基于element-wise加和操作和sigmoid函数的激活操作生成通道注意力特征，最后将所述通道注意力特征和图像进行乘法操作以生成输入特征图；
将所述输入特征图输入至所述空间注意力模块中，再进行基于通道的全局最大池化和全局平均池化以得到两组第二特征图，再将两组所述第二特征图基于通道做通道拼接操作和卷积以降维至单通道，再经过sigmoid函数生成空间注意力特征，最后将所述空间注意力特征和输入特征图进行乘法操作以得到特征层。
通过上述基于注意力机制改进的U-net网络模型能够获得更为优越的训练效果。具体在相同的训练条件下，以使用74张图片和100批次的训练对铁谱图像进行训练和验证为例，研究人员经过测试原始U-net网络模型和本实施例改进的U-net网络模型得到其训练效果的性能指标如下表所示：
方法 平均像素准确率 目标交并比 平均交并比
原始U-net网络模型 95.94 0.9028 0.9182
改进U-net网络模型 96.35 0.9088 0.9227
从表中可知，本实施例基于注意力机制所改进的U-net网络模型比原始U-net网络模型具有更高的图像像素准确率、目标交并比和平均交并比，这些指数进一步表明本实施例提出的U-net网络模型在后续对磨粒图像进行分割时具有更好的图像分割精度。
优选地，评估训练效果的步骤为分别计算背景部分的交并比IOU、磨粒部分的交并比IOU以及平均交并比mIOU，其公式如下：
Figure BDA0003857634140000101
Figure BDA0003857634140000102
其中A1、B1分别为磨粒部分的预测结果和真实结果，A2、B2分别为背景部分的预测结果和真实结果。
优选地，使用Canny算子对磨粒图像的边缘进行检测包括以下步骤：
图像降噪步骤，对磨粒图像进行高斯滤波处理，以使得图像降噪并变得平滑。
计算图像梯度步骤，通过Sobel算子计算磨粒图像中每个像素的边缘梯度幅值和梯度方向；具体为在水平和垂直方向采用Sobel算子计算得到水平方向Gx和垂直方向Gy，再计算每个像素的边缘梯度幅值和梯度方向，其公式如下所示：
Figure BDA0003857634140000111
Gx＝f(x,y)*Sobelx,Gy＝f(x,y)*Sobely；
Figure BDA0003857634140000112
非极大值抑制步骤，对磨粒图像进行全面扫描以去除不构成边缘的无关像素点，再检测每个像素是否为梯度方向的临近像素点中的局部最大值；具体为使用模板，例如3*3模板，在模板内比较器中心点与其梯度方向上的相邻点来完成。如果中心点的梯度幅值不大于沿梯度方向的相邻点的梯度幅值，就将其设置为零，否则，该像素点为局部最大，将其保留下来。
双阈值筛选步骤，选取一个预设高阈值和一个预设低阈值，并判定每个像素的边缘梯度幅值与预设高阈值、预设低阈值的大小关系；
若边缘梯度幅值大于预设高阈值，则判定该像素为边缘像素；若边缘梯度幅值低于预设低阈值，则判定该像素为非边缘像素，并进行丢弃；若边缘梯度幅值介于预设低阈值和预设高阈值之间，则判定该像素为待确定像素，再对待确定像素进行连续性判断，若其与边缘像素相连，则判定为边缘像素，否则进行丢弃。
通过上述采用Canny算子进行边缘判定的方式能够准确地检测出图像中磨粒的边缘像素，并保证检测过程中的误检率低、定位精度高。
下面以一具体的发动机滑油磨粒的铁谱图像分析过程为例，对本发明的磨粒图像分析方法做进一步阐述。
(1)首先，如图5所示，对采集到的24张发动机滑油磨粒的铁谱图像进行预处理，并如图6所示，裁剪中间区域的滑油磨粒图像，以构建数据集，再划分为训练集和验证集，其中训练集20张，验证集4张。
(2)将训练集输入到U-net模型中进行训练，如图4所示，具体训练过程如下：
1)输入[512,512,3](宽，高，通道)的原图到卷积块1中，卷积块中包含2次3×3的64通道卷积，得到[512,512,64]的初步有效特征层，再进行2×2的最大池化得到[256,256,64]的特征层，将特征层输入到CBAM注意力模块中，得到[256,256,64]的特征层。
其中，CBAM注意力机制由一个通道注意力机制模块(Channel Attention Module，CAM)和一个空间注意力机制模块(Spartial Attention Module，SAM)串联得到：
其通道注意力机制的训练流程为：将输入的特征图(尺寸为H(高)×W(宽)×C(通道))分别经过基于宽和高的全局最大池化和全局平均池化，得到两个1×1×C(通道)的第一特征图，接着，再将它们分别送入一个两层的神经网络(MLP)，第一层神经元个数为C/r(r为减少率)，其中采用Relu函数作为激活函数，第二层神经元个数为C，这个两层的神经网络是共享的。再将MLP输出的特征进行基于element-wise的加和操作，再经过sigmoid函数的激活操作，生成最终的通道注意力特征。最后，将其和输入的特征图做element-wise乘法操作，生成空间注意力模块需要的输入特征图。
其空间注意力机制的训练流程为：将经过通道注意力模块生成的输入特征图输入至本机制中。首先做一个基于通道的全局最大池化和全局平均池化，得到两个H×W×1的第二特征图，再将这两个第二特征图基于通道做通道拼接操作。然后经过一个7×7卷积操作，降维为1个通道，即H×W×1。再经过sigmoid函数生成空间注意力特征。最后将该空间注意力特征和该机制的输入特征图做乘法，得到最终生成的特征层。
2)将[256,256,64]的特征层输入到卷积块2，卷积块中包含2次3×3的128通道卷积，将得到的结果输入CBAM注意力模块，得到[256,256,128]进的特征图，进行一次2×2的池化的步骤，得到[128,128,128]进的特征图。
3)将[128,128,128]的特征层输入到卷积块3，卷积块中包含3次3×3的256通道卷积，将得到的结果输入CBAM注意力模块，得到[128,128,256]进的特征图，进行一次2×2的池化的步骤，得到[64,64,256]进的特征图。
4)将[64,64,256]的特征层输入到卷积块4，卷积块中包含3次3×3的512通道卷积，将得到的结果输入CBAM注意力模块，得到[64,64,512]进的特征图，进行一次2×2的池化的步骤，得到[32,32,512]进的特征图。
5)将[32,32,512]的特征层输入到卷积块5，卷积块中包含3次3×3的512通道卷积，获得一个[32,32,512]的初步有效特征层，对其进行上采样得到[64,64,512]的图像，并和对应的注意力模块提取的特征层进行融合，得到[64,64,1024]的图像，再输入卷积块6进行2次3×3的512通道卷积，得到[64,64,512]的图像。
6)对[64,64,512]的图像进行上采样得到[128,128,512]的图像，并和对应的注意力模块提取的特征层进行跳跃连接，得到[128,128,768]的图像，再输入卷积块7进行2次3×3的256通道卷积，得到[128,128,256]的图像。
7)对[128,128,256]的图像进行上采样得到[256,256,256]的图像，并和对应的注意力模块提取的特征层进行融合，得到[256,256,384]的图像，再输入卷积块8进行2次3×3的128通道卷积，得到[256,256,128]的图像。
8)对[256,256,128]的图像进行上采样得到[512,512,128]的图像，并和对应的注意力模块提取的特征层进行融合，得到[512,512,192]的图像，再输入卷积块9进行2次3×3的64通道卷积，得到[512,512,64]的图像。
9)进行1×1的卷积进行通道调整，通道数为检测目标种类的个数(本方法中只区分背景和磨粒，故为2)，利用特征得到预测结果。
其中，在整个训练过程中，可通过交叉熵损失函数和Dice Loss损失函数获取损失，交叉熵损失函数的公式为：
Figure BDA0003857634140000141
其中，Loss为损失值，y为实际结果，
Figure BDA0003857634140000142
为预测结果；
Dice Loss损失函数的公式为：
Figure BDA0003857634140000143
其中，Loss为损失值，X为预测结果，Y为真实结果；
(3)基于迁移学习的思想，对U-net网络进行冻结训练50批次，不改变特征提取网络，防止破坏骨干网络的权值，节省训练模型的时间和计算力，再进行50次的解冻训练，对所有参数进行调整。
(4)得到训练完毕的滑油磨粒检测模型，并在验证集上进行测试，分别计算背景部分的交并比IOU、磨粒部分的交并比IOU以及平均交并比mIOU，以评估训练效果。
其具体的公式如下：
Figure BDA0003857634140000144
Figure BDA0003857634140000145
其中A1、B1分别为磨粒部分的预测结果和真实结果，A2、B2分别为背景部分的预测结果和真实结果。
(5)对待分析的铁谱图像进行预处理，再将预处理后的铁谱图像输入至所述滑油磨粒检测模型中以获取识别到的磨粒图像轮廓，具体如图7所示。
(6)再对预处理后的铁谱图像使用Canny算子进行边缘检测，其获得的图像如图8所示,其中，使用Canny算子进行边缘检测包括:图像降噪步骤、计算图像梯度步骤、非极大值抑制步骤、双阈值筛选步骤，具体可参照前述步骤，在此不多加赘述。
(7)若检测到的所述边缘像素位于所述滑油磨粒检测模型识别到的磨粒图像轮廓内则视为重叠的磨粒，使用Canny算子对重叠的磨粒进行分割；若检测到的边缘像素位于滑油磨粒检测模型识别到的磨粒图像轮廓外，则视为误检，将其去除。具体的识别公式如下：
Figure BDA0003857634140000151
其中，X1(i,j),X2(i,j),x3(i,j)分别为U-net分割结果图像、Canny边缘检测结果图像以及最终分割结果图像且坐标为(i，j)的像素值(其中1表示为磨粒部分，0为背景部分)，i∈[0,w],j∈[0,h]。
(8)分割后的磨粒图像如图9所示，再对其进行轮廓检测，根据原图的比例尺计算轮廓的面积、最大外接长方形的长、宽等参数。
本发明还提供一种发动机滑油磨粒图像分析装置，包括：
数据集构建模块，获取铁谱图像并进行裁剪以构建数据集，再将所述数据集划分为训练集和验证集；
训练模块，构建U-net网络模型，并将所述训练集输入至U-net网络模型中进行训练，以得到训练好的滑油磨粒检测模型；再将所述验证集输入至所述滑油磨粒检测模型进行测试，并评估训练效果；
分割模块，对待分析的铁谱图像进行预处理，再将预处理后的铁谱图像输入至所述滑油磨粒检测模型中以获取识别到的磨粒图像轮廓；使用Canny算子对预处理后的铁谱图像的边缘进行检测以获得边缘像素，若检测到的所述边缘像素位于所述滑油磨粒检测模型识别到的磨粒图像轮廓内则视为重叠的磨粒，使用Canny算子对重叠的磨粒进行分割；若检测到的边缘像素位于滑油磨粒检测模型识别到的磨粒图像轮廓外，则视为误检，将其去除；
分析模块，对分割后的所述磨粒图像进行轮廓检测，以获取图像上磨粒的轮廓信息。
通过采用上述发动机滑油磨粒图像分析装置能够有效识别重叠磨粒的边缘，提高检测和分析的准确率，对分析发动机运行状态具有重要意义。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如上述任一实施例所述的发动机滑油磨粒图像分析方法。
具体实施时，计算机可读存储介质为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；计算机可读存储介质还可以包括上述种类的存储器的组合。
本发明还提供一种电子设备，包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如上述任一实施例所述的发动机滑油磨粒图像分析方法。
具体实施时，处理器的数量可以是一个或多个，处理器可以为中央处理器，(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器与处理器可以通过总线或其他方式通信连接，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使处理器执行如上任一实施例中所述的发动机滑油磨粒图像分析方法。
综上所述，与现有技术相比，本发明提供的发动机滑油磨粒图像分析方法及装置、介质、设备具有如下优点：
(1)有效利用了U-net网络提取浅层特征和网络结构小的优势对滑油磨粒检测模型进行训练，并对U-net网络模型做进一步改进，以得到更好的训练效果，使得滑油磨粒检测模型能够提取更好的图像精度。
(2)使用Canny算子对图像进行边缘检测，从而便于分割磨粒的重叠区域，继而提取到图像上所有磨粒的形态、大小和类型。
(3)融合U-net网络模型和Canny算子来得到的发动机滑油磨粒图像切割方法能够避免现有技术对铁谱图像进行分割时存在难以分割重叠磨粒、检测出的边缘形态差、背景与磨粒之间误分、磨粒出现虚假边缘以及定位精度不高等问题。
(4)基于神经网络技术开发的本方法，能够自动化地从铁谱图像中提取需要的信息，简化了铁谱分析流程，降低了对技术人员的要求。
另外，本领域技术人员应当理解，尽管现有技术中存在许多问题，但是，本发明的每个实施例或技术方案可以仅在一个或几个方面进行改进，而不必同时解决现有技术中或者背景技术中列出的全部技术问题。本领域技术人员应当理解，对于一个权利要求中没有提到的内容不应当作为对于该权利要求的限制。
尽管本文中较多的使用了诸如铁谱图像、数据集、U-net网络模型、滑油磨粒检测模型、Canny算子、边缘像素、CBAM注意力模块、交并比等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的；本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种发动机滑油磨粒图像分析方法，其特征在于，包括以下步骤：
步骤S100，获取铁谱图像并进行裁剪以构建数据集，再将所述数据集划分为训练集和验证集；
步骤S200，构建U-net网络模型，并将所述训练集输入至U-net网络模型中进行训练，以得到训练好的滑油磨粒检测模型；再将所述验证集输入至所述滑油磨粒检测模型进行测试，并评估训练效果；
步骤S300，对待分析的铁谱图像进行预处理，再将预处理后的铁谱图像输入至所述滑油磨粒检测模型中以获取识别到的磨粒图像轮廓；
步骤S400，使用Canny算子对预处理后的铁谱图像的边缘进行检测以获得边缘像素，若检测到的所述边缘像素位于所述滑油磨粒检测模型识别到的磨粒图像轮廓内则视为重叠的磨粒，使用Canny算子对重叠的磨粒进行分割；若检测到的边缘像素位于滑油磨粒检测模型识别到的磨粒图像轮廓外，则视为误检，将其去除；
步骤S500，对分割后的所述磨粒图像进行轮廓检测，以获取图像上磨粒的轮廓信息。
2.根据权利要求1所述的发动机滑油磨粒图像分析方法，其特征在于：将待分析的铁谱图像进行预处理包括去噪、增强、锐化、复原以及滤波中的一种或多种。
3.根据权利要求1所述的发动机滑油磨粒图像分析方法，其特征在于：将所述训练集输入至U-net网络模型中进行训练，包括以下步骤：
将所述训练集的图像输入至卷积块、CBAM注意力模块中以得到特征层，再进行多次的卷积、CBAM注意力模块训练及池化以得到一次训练特征图；
对所述一次训练特征图进行多次的上采样、融合初步有效特征层以及卷积以得到二次训练特征图；根据特征图检测目标种类的个数对所述二次训练特征图进行通道调整，并利用特征得到预测结果；
其中，利用交叉熵损失函数和DiceLoss损失函数来获取损失。
4.根据权利要求3所述的发动机滑油磨粒图像分析方法，其特征在于：所述CBAM注意力模块包括通道注意力机制模块和空间注意力机制模块，将图像输入至CBAM注意力模块包括以下步骤：
将图像输入至所述通道注意力机制模块中进行全局最大池化和全局平均池化以得到两组第一特征图，再分别输入至共享的两层神经网络中，再基于element-wise加和操作和sigmoid函数的激活操作生成通道注意力特征，最后将所述通道注意力特征和图像进行乘法操作以生成输入特征图；
将所述输入特征图输入至所述空间注意力模块中，再进行基于通道的全局最大池化和全局平均池化以得到两组第二特征图，再将两组所述第二特征图基于通道做通道拼接操作和卷积以降维至单通道，再经过sigmoid函数生成空间注意力特征，最后将所述空间注意力特征和输入特征图进行乘法操作以得到特征层。
5.根据权利要求3所述的发动机滑油磨粒图像分析方法，其特征在于：所述图像检测目标种类分为背景部分和磨粒部分。
6.根据权利要求5所述的发动机滑油磨粒图像分析方法，其特征在于：评估训练效果的步骤为分别计算背景部分的交并比IOU、磨粒部分的交并比IOU以及平均交并比mIOU，其公式如下：
Figure FDA0003857634130000021
Figure FDA0003857634130000022
其中A1、B1分别为磨粒部分的预测结果和真实结果，A2、B2分别为背景部分的预测结果和真实结果。
7.根据权利要求1所述的发动机滑油磨粒图像分析方法，其特征在于,使用Canny算子对磨粒图像的边缘进行检测包括以下步骤：
图像降噪步骤，对磨粒图像进行高斯滤波处理；
计算图像梯度步骤，通过Sobel算子计算磨粒图像中每个像素的边缘梯度幅值和梯度方向；
非极大值抑制步骤，对磨粒图像进行全面扫描以去除不构成边缘的无关像素点，再检测每个像素是否为梯度方向的临近像素点中的局部最大值，若是，则保留下来，反之，则去除；
双阈值筛选步骤，选取一个预设高阈值和一个预设低阈值，并判定每个像素的边缘梯度幅值与预设高阈值、预设低阈值的大小关系；
若边缘梯度幅值大于预设高阈值，则判定该像素为边缘像素；若边缘梯度幅值低于预设低阈值，则判定该像素为非边缘像素，并进行丢弃；若边缘梯度幅值介于预设低阈值和预设高阈值之间，则判定该像素为待确定像素，再对待确定像素进行连续性判断，若其与边缘像素相连，则判定为边缘像素，否则进行丢弃。
8.一种发动机滑油磨粒图像分析装置，其特征在于，包括：
数据集构建模块，获取铁谱图像并进行裁剪以构建数据集，再将所述数据集划分为训练集和验证集；
训练模块，构建U-net网络模型，并将所述训练集输入至U-net网络模型中进行训练，以得到训练好的滑油磨粒检测模型；再将所述验证集输入至所述滑油磨粒检测模型进行测试，并评估训练效果；
分割模块，对待分析的铁谱图像进行预处理，再将预处理后的铁谱图像输入至所述滑油磨粒检测模型中以获取识别到的磨粒图像轮廓；使用Canny算子对预处理后的铁谱图像的边缘进行检测以获得边缘像素，若检测到的所述边缘像素位于所述滑油磨粒检测模型识别到的磨粒图像轮廓内则视为重叠的磨粒，使用Canny算子对重叠的磨粒进行分割；若检测到的边缘像素位于滑油磨粒检测模型识别到的磨粒图像轮廓外，则视为误检，将其去除；
分析模块，对分割后的所述磨粒图像进行轮廓检测，以获取图像上磨粒的轮廓信息。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如权利要求1-7任一项所述的发动机滑油磨粒图像分析方法。
10.一种电子设备，其特征在于：包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如权利要求1-7任一项所述的发动机滑油磨粒图像分析方法。
CN202211154000.8A 2022-09-21 2022-09-21 一种发动机滑油磨粒图像分析方法及装置、介质、设备 Pending CN115546127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211154000.8A CN115546127A (zh) 2022-09-21 2022-09-21 一种发动机滑油磨粒图像分析方法及装置、介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211154000.8A CN115546127A (zh) 2022-09-21 2022-09-21 一种发动机滑油磨粒图像分析方法及装置、介质、设备

Publications (1)

Publication Number Publication Date
CN115546127A true CN115546127A (zh) 2022-12-30

Family

ID=84727608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211154000.8A Pending CN115546127A (zh) 2022-09-21 2022-09-21 一种发动机滑油磨粒图像分析方法及装置、介质、设备

Country Status (1)

Country Link
CN (1) CN115546127A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965624A (zh) * 2023-03-16 2023-04-14 山东宇驰新材料科技有限公司 一种抗磨液压油污染颗粒检测方法
CN117763976A (zh) * 2024-02-22 2024-03-26 华南师范大学 航空发动机润滑油量预测方法、装置以及计算机设备
CN117808808A (zh) * 2024-03-01 2024-04-02 山东师范大学 一种矿石粒度检测方法、系统、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965624A (zh) * 2023-03-16 2023-04-14 山东宇驰新材料科技有限公司 一种抗磨液压油污染颗粒检测方法
CN117763976A (zh) * 2024-02-22 2024-03-26 华南师范大学 航空发动机润滑油量预测方法、装置以及计算机设备
CN117763976B (zh) * 2024-02-22 2024-05-14 华南师范大学 航空发动机润滑油量预测方法、装置以及计算机设备
CN117808808A (zh) * 2024-03-01 2024-04-02 山东师范大学 一种矿石粒度检测方法、系统、电子设备及存储介质
CN117808808B (zh) * 2024-03-01 2024-05-14 山东师范大学 一种矿石粒度检测方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111310558B (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN115546127A (zh) 一种发动机滑油磨粒图像分析方法及装置、介质、设备
Bu et al. Crack detection using a texture analysis-based technique for visual bridge inspection
CN106683075B (zh) 一种输电线杆塔横担处螺栓缺陷检测方法
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
CN101877127B (zh) 基于梯度剖面的图像无参考质量评价方法及系统
WO2021004205A1 (zh) 一种车辆部件的定损方法、装置、计算机设备及存储介质
JP2011527055A (ja) 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
CN110766689A (zh) 基于卷积神经网络进行物品图像缺陷检测的方法及装置
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN109444169A (zh) 一种轴承缺陷检测方法及系统
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
CN113240623B (zh) 一种路面病害检测方法及装置
Daniel et al. Automatic road distress detection and analysis
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
JP2020085546A (ja) 構造物の点検・補修支援システム
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN114332026A (zh) 一种铭牌表面划痕缺陷的视觉检测方法及装置
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN117197700A (zh) 智能化无人巡检接触网缺陷识别系统
CN115631197B (zh) 一种图像处理方法、装置、介质、设备及系统
CN115984186A (zh) 基于多分辨率知识提取的精细产品图像异常检测方法
CN114067186B (zh) 一种行人检测方法、装置、电子设备及存储介质
CN112507327B (zh) 一种基于机器学习的晴雨检测与处理方法
CN110929757B (zh) 一种沥青路面裂缝类型快速分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination