CN115100451A - 一种用于液压泵漏油监控的数据扩充方法 - Google Patents

一种用于液压泵漏油监控的数据扩充方法 Download PDF

Info

Publication number
CN115100451A
CN115100451A CN202211036758.1A CN202211036758A CN115100451A CN 115100451 A CN115100451 A CN 115100451A CN 202211036758 A CN202211036758 A CN 202211036758A CN 115100451 A CN115100451 A CN 115100451A
Authority
CN
China
Prior art keywords
oil leakage
image
gray
sample
oil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211036758.1A
Other languages
English (en)
Other versions
CN115100451B (zh
Inventor
余增强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qidong Wanhui Machinery Manufacturing Co ltd
Original Assignee
Qidong Wanhui Machinery Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qidong Wanhui Machinery Manufacturing Co ltd filed Critical Qidong Wanhui Machinery Manufacturing Co ltd
Priority to CN202211036758.1A priority Critical patent/CN115100451B/zh
Publication of CN115100451A publication Critical patent/CN115100451A/zh
Application granted granted Critical
Publication of CN115100451B publication Critical patent/CN115100451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种用于液压泵漏油监控的数据扩充方法。该方法包括：获取液压泵的漏油样本灰度图像，对漏油样本灰度图像的非漏油区域和漏油区域进行初步拆分得到非漏油缺陷图像和漏油差异图像；设计拆分损失函数利用其监督图像拆分DNN网络训练，将漏油样本灰度图像进行拆分得到最优非漏油缺陷图像和最优漏油差异图像；将最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中生成新漏油样本灰度图像；将新漏油样本灰度图像与漏油样本灰度图像合并得到扩充后漏油样本灰度图像数据集；本发明实现了对漏油样本灰度图像数据集的扩充，解决了漏油样本灰度图像不够的问题。

Description

一种用于液压泵漏油监控的数据扩充方法
技术领域
本发明涉及神经网络数据扩充技术领域，具体涉及一种用于液压泵漏油监控的数据扩充方法。
背景技术
随着社会经济的发展、工业化水平的提高，对液压系统的应用也越发广泛。液压泵作为能量转换的重要部件，其质量的好坏直接影响整个液压系统的工作效率。特别是液压泵存在漏油问题时，会大幅降低能量的转换效率，同时还会造成液压油的浪费，为了解决该问题，在液压泵出厂前都会对其进行漏油检测。
随着人工智能领域的快速发展，可以利用DNN网络来进行漏油检测，但是这种漏油检测方式在检测前需要训练网络模型，而训练网络模型需要大量的漏油样本灰度图像。而漏油事件毕竟是少发事件，会存在漏油样本灰度图像不够的情况，由于漏油样本不够很可能会出现样本质量差的问题，导致训练出的网络检测精度不能保证。同时训练漏油缺陷检测网络还需要大量的标签样本，而对于漏油样本灰度图像这种漏油区域与非漏油区域的差异度较小的情况，打标签的工作更为困难，费事费力。
发明内容
本发明提供一种用于液压泵漏油监控的数据扩充方法，旨在解决漏油样本灰度图像不够的问题，通过学习的方式在非漏油样本灰度图像上进行生成漏油区域，进而将非漏油样本灰度图像变成漏油样本灰度图像，这样既可以有效避免漏油样本灰度图像数量不够的问题，同时还不需要对漏油样本灰度图像的漏油区域和非漏油区域手动打标签。
本发明的一种用于液压泵漏油监控的数据扩充方法采用如下技术方案：该方法包括：
获取液压泵的漏油样本灰度图像，对所述漏油样本灰度图像的非漏油区域进行初步拆分得到非漏油缺陷图像，对所述漏油样本灰度图像的漏油区域进行初步拆分得到漏油差异图像；
根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征、根据所述非漏油缺陷图像和所述漏油样本灰度图像灰度分布特征以及所述漏油差异图像之间的灰度分布特征、根据所述非漏油缺陷图像与所述漏油样本灰度图像的频率信息特征设计拆分损失函数，包括：
根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征确定损失函数一；
获取所述漏油样本灰度图像在漏油区域的灰度值的第一n维阶距向量，获取所述非漏油缺陷图像在漏油区域灰度值的第二n维阶距向量，获取所述漏油差异图像在漏油区域灰度值的第三n维阶距向量；
根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二；
根据所述非漏油缺陷图像相比较所述漏油样本灰度图像在非漏油区域的频率损失和所述非漏油缺陷图像相比较所述漏油样本灰度图像在漏油区域的高频信息损失确定损失函数三；
将所述损失函数一、所述损失函数二以及所述损失函数三相加即为所述拆分损失函数；
利用所述拆分损失函数监督图像拆分DNN网络训练，将所述漏油样本灰度图像输入到图像拆分DNN网络中输出最优非漏油缺陷图像和最优漏油差异图像；
将所述最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中生成新漏油样本灰度图像；
将所述新漏油样本灰度图像与所述漏油样本灰度图像合并得到扩充后漏油样本灰度图像数据集，利用扩充后的所述数据集训练漏油缺陷检测网络实现漏油缺陷检测。
上述根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征确定损失函数一，包括：
将所述漏油样本灰度图像拆分为非漏油缺陷图像和漏油差异图像，因此确定损失函数一如下式（1）所示：
Figure DEST_PATH_IMAGE001
（1）
其中，
Figure 969849DEST_PATH_IMAGE002
表示第i张漏油样本灰度图像；
Figure DEST_PATH_IMAGE003
表示漏油差异图像；
Figure 703319DEST_PATH_IMAGE004
表示非漏油缺陷图像。
上述获取所述漏油样本灰度图像在漏油区域的灰度值的第一n维阶距向量，获取所述非漏油缺陷图像在漏油区域灰度值的第二n维阶距向量，获取所述漏油差异图像在漏油区域灰度值的第三n维阶距向量，包括：
获取所述漏油样本灰度图像在漏油区域的灰度值，确定所述漏油样本灰度图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第一n维阶距向量；
获取所述非漏油缺陷图像在漏油区域的灰度值，确定所述非漏油缺陷图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第二n维阶距向量；
获取所述漏油差异图像在漏油区域的灰度值，确定所述漏油差异图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第三n维阶距向量。
上述根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二，包括：
根据所述第二n维阶距向量和所述第一n维阶距向量计算出所述非漏油缺陷图像和与其对应的所述漏油样本灰度图像在漏油区域的相似度
Figure DEST_PATH_IMAGE005
；
根据所述第三n维阶距向量计算出所述漏油差异图像两两组合在漏油区域的相似度
Figure 499980DEST_PATH_IMAGE006
；
根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二如下式（2）所示：
Figure DEST_PATH_IMAGE007
（2）
其中，
Figure 900874DEST_PATH_IMAGE006
表示第j组所述漏油差异图像两两组合在漏油区域的相似度；
Figure 432612DEST_PATH_IMAGE008
表示所有所述漏油差异图像两两组合得到组合的组数；
Figure 591061DEST_PATH_IMAGE005
表示第i张所述非漏油缺陷图像和与其对应的所述漏油样本灰度图像在漏油区域的灰度分布相似度；
Figure DEST_PATH_IMAGE009
表示所述漏油样本灰度图像的个数。
上述根据所述非漏油缺陷图像相比较所述漏油样本灰度图像在非漏油区域的频率损失和所述非漏油缺陷图像相比较所述漏油样本灰度图像在漏油区域的高频信息损失确定损失函数三，包括：
将所述漏油样本灰度图像的非漏油区域图像进行傅里叶变换得到频率信息
Figure 427299DEST_PATH_IMAGE010
将所述非漏油缺陷图像的非漏油区域图像进行傅里叶变换得到频率信息
Figure DEST_PATH_IMAGE011
；
计算出所述非漏油缺陷图像在非漏油区域的频率损失；
将所述漏油样本灰度图像的漏油区域图像进行傅里叶变换得到频率信息，同时对得到的频率信息进行滤波处理得到高频信息
Figure 915656DEST_PATH_IMAGE012
；
将所述非漏油缺陷图像的漏油区域图像进行傅里叶变换得到频率信息，同时对得到的频率信息进行滤波处理得到高频信息
Figure DEST_PATH_IMAGE013
；
计算出所述非漏油缺陷图像在漏油区域的高频信息损失；
根据所述非漏油缺陷图像在非漏油区域的频率损失和所述非漏油缺陷图像在漏油区域的高频信息损失确定损失函数三如下式（3）所示：
Figure 946191DEST_PATH_IMAGE014
（3）
其中，
Figure DEST_PATH_IMAGE015
表示第i个所述漏油样本灰度图像非漏油区域的频率信息；
Figure 450990DEST_PATH_IMAGE011
表示第i个由所述漏油样本灰度图像拆分得到的所述非漏油缺陷图像非漏油区域的频率信息；
Figure 763023DEST_PATH_IMAGE016
表示非漏油缺陷图像在非漏油区域的频率损失；
Figure DEST_PATH_IMAGE017
表示所述漏油样本灰度图像的个数；
Figure 105886DEST_PATH_IMAGE012
表示第i 个所述漏油样本灰度图像漏油区域的高频信息；
Figure 274699DEST_PATH_IMAGE013
表示第i 个由所述漏油样本灰度图像拆分得到的所述非漏油缺陷图像漏油区域的高频信息；
Figure 643626DEST_PATH_IMAGE018
表示所述非漏油缺陷图像在漏油区域的高频信息损失。
上述图像生成DNN网络的生成损失函数由损失函数四、损失函数五以及损失函数六相加得到；
所述损失函数四如下式（4）所示：
Figure DEST_PATH_IMAGE019
（4）
其中，C表示任意选取的所述最优漏油差异图像；
Figure 149563DEST_PATH_IMAGE020
表示第i张所述非漏油样本灰度图像；
Figure DEST_PATH_IMAGE021
表示由任意选取的所述最优漏油差异图像和第i张所述非漏油样本灰度图像直接生成的第i张生成漏油样本灰度图像；
所述损失函数五如下式（5）所示：
Figure 143670DEST_PATH_IMAGE022
（5）
其中，
Figure DEST_PATH_IMAGE023
表示第m张所述非漏油样本灰度图像与第m张生成漏油样本灰度图像在漏油区域的相似度；
Figure 483384DEST_PATH_IMAGE024
表示所述非漏油样本灰度图像的个数；
Figure DEST_PATH_IMAGE025
表示由第n张生成漏油样本灰度图像与第n张所述非漏油样本灰度图像做差得到的生成漏油差异图像与输入的所述最优漏油差异图像之间的相似度；
所述损失函数六如下式（6）所示：
Figure 933083DEST_PATH_IMAGE026
（6）
其中，
Figure DEST_PATH_IMAGE027
表示第i张所述非漏油样本灰度图像在非漏油区域的频率信息；
Figure 741245DEST_PATH_IMAGE028
表示生成的第i张所述生成漏油样本灰度图像在非漏油区域的频率信息；
Figure DEST_PATH_IMAGE029
表示第i张非漏油样本灰度图像在漏油区域的高频频率信息；
Figure 825745DEST_PATH_IMAGE030
表示生成的第i张所述生成漏油样本灰度图像在漏油区域的高频频率信息。
上述将所述最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中生成新漏油样本灰度图像，包括：
利用所述生成损失函数监督图像生成DNN网络训练，该网络为Encoder-Decoder结构；
将所述最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中，输出为最终生成漏油样本灰度图像，最终生成漏油样本灰度图像作为所述新漏油样本灰度图像。
上述获取液压泵的漏油样本灰度图像，包括：
获取质检过程中拍摄的RGB液压泵漏油样本图像；
将所述RGB液压泵漏油样本图像进行灰度化处理得到液压泵的漏油样本灰度图像。
本发明的有益效果是：
目前随着人工智能领域的快速发展，可以利用DNN网络来进行漏油检测。但是这种漏油检测方式在检测前需要训练网络模型，而训练网络模型需要大量的漏油样本灰度图像。而漏油事件毕竟是少发事件，会存在漏油样本灰度图像不够的情况，由于漏油样本不够很可能会出现样本质量差的问题，导致训练出的网络检测精度不能保证。同时训练漏油缺陷检测网络还需要大量的标签样本，而对于漏油样本灰度图像这种漏油区域与非漏油区域的差异度较小的情况，打标签的工作更为困难，费事费力。
而为了解决上述问题。本发明通过学习的方式在非漏油样本灰度图像上进行生成漏油区域，进而将非漏油样本灰度图像变成漏油样本灰度图像，这样既可以有效避免漏油样本灰度图像数量不够的问题，同时还需要对漏油样本灰度图像的漏油区域与非漏油区域手动打标签。本发明设计一种拆分损失函数监督图像拆分DNN网络训练，将漏油样本灰度图像进行拆分得到最优非漏油缺陷图像和最优漏油差异图像；将最优漏油差异图像和所述非漏油样本灰度图像输入到图像生成DNN网络中生成新漏油样本灰度图像；将新漏油样本灰度图像与漏油样本灰度图像合并得到扩充后漏油样本灰度图像数据集，实现对液压泵漏油监控的神经网络数据扩充，进而训练出准确的漏油缺陷识别网络，准确的识别出漏油缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种用于液压泵漏油监控的数据扩充方法的实施例总体步骤的流程示意图；
图2为本发明的一种用于液压泵漏油监控的数据扩充方法的实施例S2步骤的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种用于液压泵漏油监控的数据扩充方法的实施例，该方法包括：
S1、获取液压泵的漏油样本灰度图像，对所述漏油样本灰度图像的非漏油区域进行初步拆分得到非漏油缺陷图像，对所述漏油样本灰度图像的漏油区域进行初步拆分得到漏油差异图像。
其中，获取液压泵的漏油样本灰度图像，包括：获取质检过程中拍摄的RGB液压泵漏油样本图像；将所述RGB液压泵漏油样本图像进行灰度化处理得到液压泵的漏油样本灰度图像。
本发明在获取样本时获取过去质检过程中拍摄的一些液压泵漏油样本图像和液压泵非漏油样本图像。由于液压泵漏油会造成的灰度改变，因而利用灰度进行分析较为准确，将液压泵漏油样本图像和液压泵非漏油样本图像进行灰度化处理，得到液压泵的漏油样本灰度图像和液压泵的非漏油样本灰度图像。
本发明对漏油样本灰度图像进行打标签工作，即人为根据漏油区域和非漏油区域的亮度存在差异，将漏油样本灰度图像的漏油区域像素点和非漏油区域像素点进行区分标注，可将漏油区域像素点标注为0，将非漏油区域像素点标注为1，将区分标注后的漏油样本灰度图像进行初步拆分得到非漏油缺陷图像和漏油差异图像。例如如果有M张漏油样本灰度图像，那么将M张漏油样本灰度图像进行初步拆分就能得到M张非漏油缺陷图像和M张漏油差异图像。
S2、根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征、根据所述非漏油缺陷图像和所述漏油样本灰度图像灰度分布特征以及所述漏油差异图像之间的灰度分布特征、根据所述非漏油缺陷图像与所述漏油样本灰度图像的频率信息特征设计拆分损失函数。
S21、根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征确定损失函数一。
将所述漏油样本灰度图像拆分为非漏油缺陷图像和漏油差异图像，因此确定损失函数一如下式（1）所示：
Figure 41088DEST_PATH_IMAGE001
（1）
其中，
Figure 945459DEST_PATH_IMAGE002
表示第i张漏油样本灰度图像；
Figure 402985DEST_PATH_IMAGE003
表示漏油差异图像；
Figure 512630DEST_PATH_IMAGE004
表示非漏油缺陷图像。
S22、获取所述漏油样本灰度图像在漏油区域的灰度值的第一n维阶距向量，获取所述非漏油缺陷图像在漏油区域灰度值的第二n维阶距向量，获取所述漏油差异图像在漏油区域灰度值的第三n维阶距向量。
获取所述漏油样本灰度图像在漏油区域的灰度值，确定所述漏油样本灰度图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第一n维阶距向量；
获取所述非漏油缺陷图像在漏油区域的灰度值，确定所述非漏油缺陷图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第二n维阶距向量；
获取所述漏油差异图像在漏油区域的灰度值，确定所述漏油差异图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第三n维阶距向量。
S23、根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二。
根据所述第二n维阶距向量和所述第一n维阶距向量计算出所述非漏油缺陷图像和与其对应的所述漏油样本灰度图像在漏油区域的相似度
Figure 397409DEST_PATH_IMAGE005
；
根据所述第三n维阶距向量计算出所述漏油差异图像两两组合在漏油区域的相似度
Figure 523497DEST_PATH_IMAGE006
；
根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二如下式（2）所示：
Figure 519135DEST_PATH_IMAGE007
（2）
其中，
Figure 486216DEST_PATH_IMAGE006
表示第j组所述漏油差异图像两两组合在漏油区域的相似度；
Figure 807476DEST_PATH_IMAGE008
表示所有所述漏油差异图像两两组合得到组合的组数；
Figure 624122DEST_PATH_IMAGE005
表示第i张所述非漏油缺陷图像和与其对应的所述漏油样本灰度图像在漏油区域的灰度分布相似度；
Figure 718724DEST_PATH_IMAGE009
表示所述漏油样本灰度图像的个数。
该损失函数二应满足，由于漏油区域的风格与非漏油区域的风格存在差异，因而拆分出的非漏油缺陷图像漏油区域与对应的漏油样本灰度图像在漏油区域之间相似度尽可能小（一种包含漏油风格一种不包含漏油风格，因而风格相似性小）。而一张漏油差异图像漏油区域与另一张漏油差异图像漏油区域之间的相似度尽可能大（均描述漏油的风格特征，因而风格相似性大）。
S24、根据所述非漏油缺陷图像相比较所述漏油样本灰度图像在非漏油区域的频率损失和所述非漏油缺陷图像相比较所述漏油样本灰度图像在漏油区域的高频信息损失确定损失函数三。
将所述漏油样本灰度图像的非漏油区域图像进行傅里叶变换得到频率信息
Figure 304426DEST_PATH_IMAGE010
将所述非漏油缺陷图像的非漏油区域图像进行傅里叶变换得到频率信息
Figure 531008DEST_PATH_IMAGE011
；
计算出所述非漏油缺陷图像在非漏油区域的频率损失；
将所述漏油样本灰度图像的漏油区域图像进行傅里叶变换得到频率信息，同时对得到的频率信息进行滤波处理得到高频信息
Figure 569371DEST_PATH_IMAGE012
；
将所述非漏油缺陷图像的漏油区域图像进行傅里叶变换得到频率信息，同时对得到的频率信息进行滤波处理得到高频信息
Figure 470593DEST_PATH_IMAGE013
；
计算出所述非漏油缺陷图像在漏油区域的高频信息损失；
根据所述非漏油缺陷图像在非漏油区域的频率损失和所述非漏油缺陷图像在漏油区域的高频信息损失确定损失函数三如下式（3）所示：
Figure 910802DEST_PATH_IMAGE014
（3）
其中，
Figure 308285DEST_PATH_IMAGE015
表示第i个所述漏油样本灰度图像非漏油区域的频率信息；
Figure 418234DEST_PATH_IMAGE011
表示第i个由所述漏油样本灰度图像拆分得到的所述非漏油缺陷图像非漏油区域的频率信息；
Figure 559366DEST_PATH_IMAGE016
表示非漏油缺陷图像在非漏油区域的频率损失；
Figure 854081DEST_PATH_IMAGE017
表示所述漏油样本灰度图像的个数；
Figure 422465DEST_PATH_IMAGE012
表示第i 个所述漏油样本灰度图像漏油区域的高频信息；
Figure 999202DEST_PATH_IMAGE013
表示第i 个由所述漏油样本灰度图像拆分得到的所述非漏油缺陷图像漏油区域的高频信息；
Figure 678445DEST_PATH_IMAGE018
表示所述非漏油缺陷图像在漏油区域的高频信息损失。
该损失函数三应满足，拆分出的非漏油缺陷图像的非漏油区域与漏油样本灰度图像的非漏油区域的频率信息尽可能相同。且非漏油图像漏油区域与漏油样本灰度图像漏油区域的高频信息尽可能相同，高频信息尽可能相同能避免漏油区域的泵体纹理丢失。
S25、将所述损失函数一、所述损失函数二以及所述损失函数三相加即为所述拆分损失函数。
S3、利用所述拆分损失函数监督图像拆分DNN网络训练，将所述漏油样本灰度图像输入到图像拆分DNN网络中输出最优非漏油缺陷图像和最优漏油差异图像。
本发明利用上述步骤设计的拆分损失函数监督图像拆分DNN网络训练，该网络为Encoder-Decoder结构，该网络的输入为漏油样本灰度图像，该网络的输出为拆分后得到的经过训练的最优非漏油缺陷图像和经过训练的最优漏油差异图像。
S4、将所述最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中生成新漏油样本灰度图像。
本发明中图像生成DNN网络的生成损失函数由损失函数四、损失函数五以及损失函数六相加得到。
所述损失函数四如下式（4）所示：
Figure 93246DEST_PATH_IMAGE019
（4）
其中，C表示任意选取的所述最优漏油差异图像；
Figure 393384DEST_PATH_IMAGE020
表示第i张所述非漏油样本灰度图像；
Figure 628056DEST_PATH_IMAGE021
表示由任意选取的所述最优漏油差异图像和第i张所述非漏油样本灰度图像直接生成的第i张生成漏油样本灰度图像；
所述损失函数五如下式（5）所示：
Figure 907728DEST_PATH_IMAGE022
（5）
其中，
Figure 475238DEST_PATH_IMAGE023
表示第m张所述非漏油样本灰度图像与第m张生成漏油样本灰度图像在漏油区域的相似度；
Figure 916583DEST_PATH_IMAGE024
表示所述非漏油样本灰度图像的个数；
Figure 638552DEST_PATH_IMAGE025
表示由第n张生成漏油样本灰度图像与第n张所述非漏油样本灰度图像做差得到的生成漏油差异图像与输入的所述最优漏油差异图像之间的相似度；
Figure 220449DEST_PATH_IMAGE023
和
Figure 609842DEST_PATH_IMAGE025
相似度的计算方法和拆分损失函数的
Figure 956510DEST_PATH_IMAGE005
的计算方法相似。
获取所述非漏油样本灰度图像在漏油区域的灰度值，确定非漏油样本灰度图像漏油区灰度值的一阶距、二阶距、...,n阶距，构成第四n维阶距向量；m张非漏油样本灰度图像就会得到m个第四n维阶距向量。
获取所述生成漏油样本灰度图像在漏油区域的灰度值，确定生成漏油样本灰度图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第五n维阶距向量；m张生成漏油样本灰度图像就会得到m个第五n维阶距向量。
将第n张生成漏油样本灰度图像与第n张所述非漏油样本灰度图像做差得到的生成漏油差异图像。
获取所述生成漏油差异图像在漏油区域的灰度值，确定生成漏油差异图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第六n维阶距向量；m张生成漏油样本灰度图像就会得到m个第六n维阶距向量。
根据第四n维阶距向量、第五n维阶距向量和第六n维阶距向量确定损失函数五。
所述损失函数六如下式（6）所示：
Figure 165775DEST_PATH_IMAGE026
（6）
其中，
Figure 491976DEST_PATH_IMAGE027
表示第i张所述非漏油样本灰度图像在非漏油区域的频率信息；
Figure 532613DEST_PATH_IMAGE028
表示生成的第i张所述生成漏油样本灰度图像在非漏油区域的频率信息；
Figure 50182DEST_PATH_IMAGE029
表示第i张非漏油样本灰度图像在漏油区域的高频频率信息；
Figure 12322DEST_PATH_IMAGE030
表示生成的第i张所述生成漏油样本灰度图像在漏油区域的高频频率信息。
利用上述生成损失函数来监督网络训练。该网络为Encoder-Decoder结构。网络的输入为非漏油样本灰度图像
Figure 139285DEST_PATH_IMAGE020
和前面随机抽取的最优漏油差异图像，输出为生成新漏油样本灰度图像
Figure 237691DEST_PATH_IMAGE021
。
S5、将所述新漏油样本灰度图像与所述漏油样本灰度图像合并得到扩充后漏油样本灰度图像数据集，利用扩充后的所述数据集训练漏油缺陷检测网络实现漏油缺陷检测。
本发明中利用最优的漏油差异图像将液压泵的非漏油样本灰度图像生成新漏油样本灰度图像。将生成的新漏油样本灰度图像与原来的漏油样本灰度图像合并得到扩充后漏油样本灰度图像数据集，实现对液压泵漏油监控的神经网络数据扩充。
本发明利用扩充后漏油样本灰度图像数据集和最开始得到的非漏油样本灰度图像训练漏油缺陷检测网络，实现液压泵漏油监控。
漏油缺陷检测网络结构为Encoder-Decoder结构。训练网络的数据集为上述扩充后的数据集，扩充后的数据集包括获取液压泵的漏油样本灰度图像和生成的新漏油样本灰度图像。扩充后的数据集中80%的样本用于网络学习，20%的样本用于网络验证。网络使用的损失函数为交叉熵损失函数。
综上所述，本发明提供一种用于液压泵漏油监控的数据扩充方法，能解决漏油样本灰度图像不够的问题，通过学习的方式在非漏油样本灰度图像上进行生成漏油区域，进而将非漏油样本灰度图像变成漏油样本灰度图像，这样既可以有效避免漏油样本灰度图像数量不够的问题，同时还不需要对漏油样本灰度图像的漏油区域与非漏油区域手动打标签。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于液压泵漏油监控的数据扩充方法，其特征在于，该方法包括：
获取液压泵的漏油样本灰度图像，对所述漏油样本灰度图像的非漏油区域进行初步拆分得到非漏油缺陷图像，对所述漏油样本灰度图像的漏油区域进行初步拆分得到漏油差异图像；
根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征、根据所述非漏油缺陷图像和所述漏油样本灰度图像灰度分布特征以及所述漏油差异图像之间的灰度分布特征、根据所述非漏油缺陷图像与所述漏油样本灰度图像的频率信息特征设计拆分损失函数，包括：
根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征确定损失函数一；
获取所述漏油样本灰度图像在漏油区域的灰度值的第一n维阶距向量，获取所述非漏油缺陷图像在漏油区域灰度值的第二n维阶距向量，获取所述漏油差异图像在漏油区域灰度值的第三n维阶距向量；
根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二；
根据所述非漏油缺陷图像相比较所述漏油样本灰度图像在非漏油区域的频率损失和所述非漏油缺陷图像相比较所述漏油样本灰度图像在漏油区域的高频信息损失确定损失函数三；
将所述损失函数一、所述损失函数二以及所述损失函数三相加即为所述拆分损失函数；
利用所述拆分损失函数监督图像拆分DNN网络训练，将所述漏油样本灰度图像输入到图像拆分DNN网络中输出最优非漏油缺陷图像和最优漏油差异图像；
将所述最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中生成新漏油样本灰度图像；
将所述新漏油样本灰度图像与所述漏油样本灰度图像合并得到扩充后漏油样本灰度图像数据集，利用扩充后的所述数据集训练漏油缺陷检测网络实现漏油缺陷检测。
2.根据权利要求1所述的一种用于液压泵漏油监控的数据扩充方法，其特征在于，所述根据所述非漏油缺陷图像内像素点的灰度值与所述漏油差异图像内像素点的灰度值之间的和，等于所述漏油样本灰度图像内像素点的灰度值的特征确定损失函数一，包括：
将所述漏油样本灰度图像拆分为非漏油缺陷图像和漏油差异图像，因此确定损失函数一如下式（1）所示：
Figure DEST_PATH_IMAGE002
（1）
其中，
Figure DEST_PATH_IMAGE004
表示第i张漏油样本灰度图像；
Figure DEST_PATH_IMAGE006
表示漏油差异图像；
Figure DEST_PATH_IMAGE008
表示非漏油缺陷图像。
3.根据权利要求1所述的一种用于液压泵漏油监控的数据扩充方法，其特征在于，所述获取所述漏油样本灰度图像在漏油区域的灰度值的第一n维阶距向量，获取所述非漏油缺陷图像在漏油区域灰度值的第二n维阶距向量，获取所述漏油差异图像在漏油区域灰度值的第三n维阶距向量，包括：
获取所述漏油样本灰度图像在漏油区域的灰度值，确定所述漏油样本灰度图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第一n维阶距向量；
获取所述非漏油缺陷图像在漏油区域的灰度值，确定所述非漏油缺陷图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第二n维阶距向量；
获取所述漏油差异图像在漏油区域的灰度值，确定所述漏油差异图像漏油区域灰度值的一阶距、二阶距、...,n阶距，构成第三n维阶距向量。
4.根据权利要求3所述的一种用于液压泵漏油监控的数据扩充方法，其特征在于，所述根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二，包括：
根据所述第二n维阶距向量和所述第一n维阶距向量计算出所述非漏油缺陷图像和与其对应的所述漏油样本灰度图像在漏油区域的相似度
Figure DEST_PATH_IMAGE010
；
根据所述第三n维阶距向量计算出所述漏油差异图像两两组合在漏油区域的相似度
Figure DEST_PATH_IMAGE012
；
根据所述第一n维阶距向量、所述第二n维阶距向量以及所述第三n维阶距向量确定损失函数二如下式（2）所示：
Figure DEST_PATH_IMAGE014
（2）
其中，
Figure 854582DEST_PATH_IMAGE012
表示第j组所述漏油差异图像两两组合在漏油区域的相似度；
Figure DEST_PATH_IMAGE016
表示所有所述漏油差异图像两两组合得到组合的组数；
Figure 685045DEST_PATH_IMAGE010
表示第i张所述非漏油缺陷图像和与其对应的所述漏油样本灰度图像在漏油区域的灰度分布相似度；
Figure DEST_PATH_IMAGE018
表示所述漏油样本灰度图像的个数。
5.根据权利要求1所述的一种用于液压泵漏油监控的数据扩充方法，其特征在于，所述根据所述非漏油缺陷图像相比较所述漏油样本灰度图像在非漏油区域的频率损失，和所述非漏油缺陷图像相比较所述漏油样本灰度图像在漏油区域的高频信息损失确定损失函数三，包括：
将所述漏油样本灰度图像的非漏油区域图像进行傅里叶变换得到频率信息
Figure DEST_PATH_IMAGE020
将所述非漏油缺陷图像的非漏油区域图像进行傅里叶变换得到频率信息
Figure DEST_PATH_IMAGE022
；
计算出所述非漏油缺陷图像在非漏油区域的频率损失；
将所述漏油样本灰度图像的漏油区域图像进行傅里叶变换得到频率信息，同时对得到的频率信息进行滤波处理得到高频信息
Figure DEST_PATH_IMAGE024
；
将所述非漏油缺陷图像的漏油区域图像进行傅里叶变换得到频率信息，同时对得到的频率信息进行滤波处理得到高频信息
Figure DEST_PATH_IMAGE026
；
计算出所述非漏油缺陷图像在漏油区域的高频信息损失；
根据所述非漏油缺陷图像在非漏油区域的频率损失和所述非漏油缺陷图像在漏油区域的高频信息损失确定损失函数三如下式（3）所示：
Figure DEST_PATH_IMAGE028
（3）
其中，
Figure DEST_PATH_IMAGE030
表示第i个所述漏油样本灰度图像非漏油区域的频率信息；
Figure 225486DEST_PATH_IMAGE022
表示第i个由所述漏油样本灰度图像拆分得到的所述非漏油缺陷图像非漏油区域的频率信息；
Figure DEST_PATH_IMAGE032
表示非漏油缺陷图像在非漏油区域的频率损失；
Figure DEST_PATH_IMAGE034
表示所述漏油样本灰度图像的个数；
Figure 303032DEST_PATH_IMAGE024
表示第i 个所述漏油样本灰度图像漏油区域的高频信息；
Figure 834507DEST_PATH_IMAGE026
表示第i 个由所述漏油样本灰度图像拆分得到的所述非漏油缺陷图像漏油区域的高频信息；
Figure DEST_PATH_IMAGE036
表示所述非漏油缺陷图像在漏油区域的高频信息损失。
6.根据权利要求1所述的一种用于液压泵漏油监控的数据扩充方法，其特征在于，所述图像生成DNN网络的生成损失函数由损失函数四、损失函数五以及损失函数六相加得到；
所述损失函数四如下式（4）所示：
Figure DEST_PATH_IMAGE038
（4）
其中，C表示任意选取的所述最优漏油差异图像；
Figure DEST_PATH_IMAGE040
表示第i张所述非漏油样本灰度图像；
Figure DEST_PATH_IMAGE042
表示由任意选取的所述最优漏油差异图像和第i张所述非漏油样本灰度图像直接生成的第i张生成漏油样本灰度图像；
所述损失函数五如下式（5）所示：
Figure DEST_PATH_IMAGE044
（5）
其中，
Figure DEST_PATH_IMAGE046
表示第m张所述非漏油样本灰度图像与第m张生成漏油样本灰度图像在漏油区域的相似度；
Figure DEST_PATH_IMAGE048
表示所述非漏油样本灰度图像的个数；
Figure DEST_PATH_IMAGE050
表示由第n张生成漏油样本灰度图像与第n张所述非漏油样本灰度图像做差得到的生成漏油差异图像与输入的所述最优漏油差异图像之间的相似度；
所述损失函数六如下式（6）所示：
Figure DEST_PATH_IMAGE052
（6）
其中，
Figure DEST_PATH_IMAGE054
表示第i张所述非漏油样本灰度图像在非漏油区域的频率信息；
Figure DEST_PATH_IMAGE056
表示生成的第i张所述生成漏油样本灰度图像在非漏油区域的频率信息；
Figure DEST_PATH_IMAGE058
表示第i张非漏油样本灰度图像在漏油区域的高频频率信息；
Figure DEST_PATH_IMAGE060
表示生成的第i张所述生成漏油样本灰度图像在漏油区域的高频频率信息。
7.根据权利要求6所述的一种用于液压泵漏油监控的数据扩充方法，其特征在于，所述将所述最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中生成新漏油样本灰度图像，包括：
利用所述生成损失函数监督图像生成DNN网络训练，该网络为Encoder-Decoder结构；
将所述最优漏油差异图像和获取的液压泵的非漏油样本灰度图像输入到图像生成DNN网络中，输出为最终生成漏油样本灰度图像，最终生成漏油样本灰度图像作为所述新漏油样本灰度图像。
8.根据权利要求1所述的一种用于液压泵漏油监控的数据扩充方法，其特征在于，所述获取液压泵的漏油样本灰度图像，包括：
获取质检过程中拍摄的RGB液压泵漏油样本图像；
将所述RGB液压泵漏油样本图像进行灰度化处理得到液压泵的漏油样本灰度图像。
CN202211036758.1A 2022-08-29 2022-08-29 一种用于液压泵漏油监控的数据扩充方法 Active CN115100451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211036758.1A CN115100451B (zh) 2022-08-29 2022-08-29 一种用于液压泵漏油监控的数据扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211036758.1A CN115100451B (zh) 2022-08-29 2022-08-29 一种用于液压泵漏油监控的数据扩充方法

Publications (2)

Publication Number Publication Date
CN115100451A true CN115100451A (zh) 2022-09-23
CN115100451B CN115100451B (zh) 2023-11-28

Family

ID=83301140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211036758.1A Active CN115100451B (zh) 2022-08-29 2022-08-29 一种用于液压泵漏油监控的数据扩充方法

Country Status (1)

Country Link
CN (1) CN115100451B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311443A (zh) * 2022-10-12 2022-11-08 江苏高晟机械有限公司 一种液压泵漏油识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209876A (zh) * 2020-01-10 2020-05-29 汕头大学 一种漏油缺陷检测方法及系统
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
CN113506333A (zh) * 2021-09-09 2021-10-15 之江实验室 基于可变形图谱的医学影像配准网络训练数据集扩充方法
CN114842005A (zh) * 2022-07-04 2022-08-02 海门市芳华纺织有限公司 一种基于半监督网络的纺织物表面疵点检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
CN111209876A (zh) * 2020-01-10 2020-05-29 汕头大学 一种漏油缺陷检测方法及系统
CN113506333A (zh) * 2021-09-09 2021-10-15 之江实验室 基于可变形图谱的医学影像配准网络训练数据集扩充方法
CN114842005A (zh) * 2022-07-04 2022-08-02 海门市芳华纺织有限公司 一种基于半监督网络的纺织物表面疵点检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李智敏等: "基于深度学习的灰度图像实际颜色预测", 《计算机应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311443A (zh) * 2022-10-12 2022-11-08 江苏高晟机械有限公司 一种液压泵漏油识别方法

Also Published As

Publication number Publication date
CN115100451B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111222434A (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN110533086B (zh) 图像数据半自动标注方法
CN112966684A (zh) 一种注意力机制下的协同学习文字识别方法
CN109948692B (zh) 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN109522831B (zh) 一种基于微卷积神经网络的车辆实时检测方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN113869208A (zh) 基于sa-acwgan-gp的滚动轴承故障诊断方法
CN113808180B (zh) 一种异源图像配准方法、系统及装置
CN111275108A (zh) 基于生成对抗网络对局部放电数据进行样本扩展的方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN115240201B (zh) 利用汉字骨架信息减缓网络模式崩溃问题的汉字生成方法
CN112861931A (zh) 一种基于差异注意力神经网络的多级别变化检测方法
CN114581646A (zh) 文本识别方法、装置、电子设备及存储介质
CN115100451A (zh) 一种用于液压泵漏油监控的数据扩充方法
CN116186587A (zh) 一种基于深度迁移的边缘端故障诊断方法及系统
CN114299305A (zh) 聚合密集和注意力多尺度特征的显著性目标检测算法
CN117079099A (zh) 一种基于改进YOLOv8n的违规行为检测方法
CN113744205B (zh) 一种端到端的道路裂缝检测系统
CN115829983A (zh) 一种基于知识蒸馏的高速工业场景视觉质量检测方法
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统
CN115761235A (zh) 基于知识蒸馏的零样本语义分割方法、系统、设备及介质
CN114708434A (zh) 基于迭代域内适应和自训练的跨域遥感图像语义分割方法
CN114708591A (zh) 基于单字连接的文档图像中文字符检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant