CN114913092A - 一种在线铁谱反射光图像增强方法及系统 - Google Patents

一种在线铁谱反射光图像增强方法及系统 Download PDF

Info

Publication number
CN114913092A
CN114913092A CN202210550282.7A CN202210550282A CN114913092A CN 114913092 A CN114913092 A CN 114913092A CN 202210550282 A CN202210550282 A CN 202210550282A CN 114913092 A CN114913092 A CN 114913092A
Authority
CN
China
Prior art keywords
reflected light
image
ferrographic
light image
online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210550282.7A
Other languages
English (en)
Other versions
CN114913092B (zh
Inventor
王硕
刘京
武通海
万淼
雷亚国
曹军义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210550282.7A priority Critical patent/CN114913092B/zh
Publication of CN114913092A publication Critical patent/CN114913092A/zh
Priority to US18/154,760 priority patent/US20230154158A1/en
Application granted granted Critical
Publication of CN114913092B publication Critical patent/CN114913092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Vascular Medicine (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种在线铁谱反射光图像增强方法及系统，以在线铁谱反射光图像中磨粒的轮廓标记为基础，串联融合基于SqueezeNet‑Unet磨粒位置预测网络和ResNeXt‑CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；确定基于SqueezeNet‑Unet的磨粒位置预测网络的损失函数，结合SSIM损失和L1损失优化ResNeXt‑CycleGAN图像转换网络的循环一致性损失函数，通过加权融合方式设计在线铁谱反射光图像增强模型的整体损失函数；以图像增强模型的整体损失函数作为优化目标，依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，优化在线铁谱反射光图像增强模型，实现在线铁谱反射光图像中磨粒特征的增强。

Description

一种在线铁谱反射光图像增强方法及系统
技术领域
本发明属于机械状态监测和故障诊断技术领域，具体涉及一种在线铁谱反射光图像增强方法及系统。
背景技术
在机械设备运行过程中，摩擦副的相对运动引起的磨损已经成为设备发生故障的重要诱因之一。据统计，磨损直接导致了近40％的齿轮失效和约50％的轴承失效，成为发动机等关键机械设备故障的主要原因。因此，研究机械设备关键摩擦副磨损状态监测技术，可以指导设备的视情维护，对提高机械装备的服役性能具有重要意义。
磨粒作为设备摩擦副磨损的直接产物，解释了设备磨损状态的完备过程，成为磨损机理分析和磨损状态监测的重要依据。磨粒分析技术以磨粒的综合分析为基础，不仅能够利用磨粒数量、尺寸分布等信息辨识设备的磨损状态，还可以通过磨粒颜色、形貌等特征探究摩擦副的磨损机理。因此磨粒分析技术成为机械设备磨损状态监测领域的重要技术。相较于其他磨粒分析方法，在线铁谱技术以磨粒透射光和反射光图像为研究对象，采取磨粒图像可视的方式分析设备的磨损状态，具有磨粒特征表征全、分析准确率高的显著优势，已成为目前应用最广泛的磨粒分析技术。然而，由于杂质导致光线散射、污染油液透射率低以及光照不均匀等因素，在线铁谱反射光图像对比度低并伴随色偏，严重影响了磨粒特征提取的准确性。为此，研究者们建立了各类图像增强方法以提高在线铁谱反射光图像的对比度、轮廓和色彩等特征。其中，线性、对数变换等灰度变化法以及直方图均衡化、直方图匹配等直方图调整法可以增强图像对比度，但难以改善图像的色偏。Retinex、AWB和ACE算法可以提高图像的色彩度，但无法增强图像的对比度和轮廓特征信息。现有的色彩恢复算法，是通过分析在线铁谱反射光图像的成像过程，建立反射光图像复原模型优化了图像的对比度和色彩，但依旧无法改善磨粒轮廓模糊的难题，且该方法所需调节的参数较多，泛化能力差。基于Sobel、Canny、Prewitt等边缘算子的锐化技术以及高频提升滤波技术可以增强图像轮廓特征，但不能改善在线铁谱图像的对比度和色彩特征。
综上所述，在线铁谱反射光图像能够提取磨粒的颜色、纹理、轮廓等多重特征，是在线铁谱分析技术表征机械装备磨损状态的重要基础。然而，受油液污染、不均匀光照等因素的干扰，在线铁谱反射光图像存在磨粒色彩、轮廓等多种信息退化的难题。传统图像增强算法主要增强在线铁谱图像的单一特征，无法优化图像的多重特征，限制了磨粒特征提取的准确性。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种在线铁谱反射光图像增强方法及系统，融合SqueezeNet-Unet和ResNeXt-CycleGAN实现了对在线铁谱反射光图像中磨粒多重特征的快速、准确增强，适用于在线铁谱磨粒分析领域所有在线铁谱反射光图像的增强。
本发明采用以下技术方案：
本发明一种在线铁谱反射光图像增强方法，包括以下步骤：
S1、以在线铁谱反射光图像中磨粒的轮廓标记为基础，融合Unet架构和SqueezeNet网络构建基于SqueezeNet-Unet的磨粒位置预测网络；
S2、基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合步骤S1构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
S3、确定步骤S1构建的基于SqueezeNet-Unet的磨粒位置预测网络的损失函数，结合SSIM损失和L1损失优化步骤S2构建的ResNeXt-CycleGAN图像转换网络的循环一致性损失函数，通过加权融合方式设计在线铁谱反射光图像增强模型的整体损失函数；
S4、以步骤S3得到的图像增强模型的整体损失函数作为优化目标，依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，优化步骤S2构建的在线铁谱反射光图像增强模型，实现在线铁谱反射光图像中磨粒特征的增强。
具体的，步骤S1具体为：
S101、标记在线铁谱反射光图像中的磨粒轮廓，构建磨粒位置标记图；
S102、以Unet网络架构为基础，采用结合short-cut的SqueezeNet网络构建SqueezeNet-Unet磨粒位置预测网络的编码器；
S103、采用双三次插值对特征图进行上采样，构建步骤S102得到的SqueezeNet-Unet磨粒位置预测网络的解码器；
S104、采用Sigmoid激活函数作为步骤S102得到的SqueezeNet-Unet磨粒位置预测网络输出层，将输出层的输入图像转化为磨粒位置的概率图，实现反射光图像中磨粒的自动定位。
具体的，步骤S2中，在线铁谱反射光图像增强模型具体为：
基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合步骤S1构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
串联方式为加权融合基于SqueezeNet-Unet磨粒位置预测网络的输出以及在线铁谱反射光原始图像作为ResNeXt-CycleGAN图像转换网络的输入；
ResNeXt-CycleGAN图像转换网络的生成器输入层采用一个Conv-GN-ReLU块，输入层将输入图像的通道数调整为特征提取部分的输入通道数，使用两个Conv-GN-ReLU块构建编码器；采用ResNeXt构建特征转换层；采用两个Deconv-GN-ReLU块构建解码器，使用一个Conv-GN-TanH块作为网络输出层；
采用Pix2pix网络中的PatchGAN结构作为ResNeXt-CycleGAN图像转换网络的判别器；加入dropout层，使用FC-Sigmoid作为判别器输出层，输出图像的判别概率。
进一步的，ResNeXt-CycleGAN输入Input_Image为：
Figure BDA0003654735580000041
其中，A为反射光原始图像，B是SqueezeNet-Unet输出的磨粒分布概率图，m和n分别代表图像的长度和宽度。
进一步的，生成器网络输出层的图像像素输出值为0～255。
具体的，步骤S3中，通过通过加权融合方式设计图像增强模型的整体损失函数具体为：
采用Focal loss损失作为基于SqueezeNet-Unet的磨粒位置预测网络的损失函数；
采用交叉熵损失作为ResNeXt-CycleGAN图像转换网络的对抗损失函数；
使用SSIM损失以匹配基于ResNeXt-CycleGAN的在线铁谱反射光图像增强模型的循环一致重建图像和原始图像的亮度、对比度信息，结合SSIM损失LSSIM和L1损失LL1作为ResNeXt-CycleGAN图像转换网络的循环一致性损失函数；
基于SqueezeNet-Unet的磨粒位置预测网络的Focal loss损失LFocal_loss和基于ResNeXt-CycleGAN图像转换网络的对抗损失LGAN和循环一致性损失函数，通过加权求和方式获得在线铁谱反射光图像增强模型的整体损失函数。
进一步的，图像增强模型的整体损失函数LModel_Loss具体为：
Figure BDA0003654735580000042
其中，λFocal_loss、λGAN、λSSIM和
Figure BDA0003654735580000043
分别为Focal loss损失、对抗损失、SSIM损失和L1损失函数的加权系数。
更进一步的，λFocal_loss、λGAN、λSSIM和
Figure BDA0003654735580000051
分别为0.2、0.2、0.4、0.2。
具体的，步骤S4具体为：
S401，获取透射光图像和反射光图像，利用色彩恢复法增强反射光图像，叠加透射光图像和反射光增强图像以获得图像增强模型训练所需的初步样本；
S402，将采用离线铁谱获取的高质量图像作为最终样本；
S403，将基于SqueezeNet-Unet的磨粒位置预测网络在ImageNet数据集上进行训练以获取网络参数，迁移所获参数作为SqueezeNet-Unet编码器的预训练参数；
S404，以反射光原始图像和步骤S401获得的初步样本为训练样本，使用Adam算法对在线铁谱反射光图像增强模型进行训练；
S405，在步骤S404初步训练的在线铁谱反射光图像增强模型基础上，以反射光原始图像和步骤S402得到的最终样本为训练样本，采用SGD算法对在线铁谱反射光图像增强模型进行优化训练，实现在线铁谱反射光图像增强模型的训练，实现在线铁谱反射光图像增强模型的构建，对在线铁谱反射光图像进行增强。
第二方面，本发明实施例提供了一种在线铁谱反射光图像增强系统，包括：
融合模块，以在线铁谱反射光图像中磨粒的轮廓标记为基础，融合Unet架构和SqueezeNet网络构建基于SqueezeNet-Unet的磨粒位置预测网络；
加权模块，基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合融合模块构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
函数模块，确定融合模块构建的基于SqueezeNet-Unet的磨粒位置预测网络的损失函数，结合SSIM损失和L1损失优化加权模块构建的ResNeXt-CycleGAN图像转换网络的循环一致性损失函数，通过加权融合方式设计在线铁谱反射光图像增强模型的整体损失函数；
增强模块，以函数模块得到的图像增强模型的整体损失函数作为优化目标，依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，通过Adam、SGD方法优化加权模块构建的在线铁谱反射光图像增强模型，实现在线铁谱反射光图像中磨粒特征的增强。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种在线铁谱反射光图像增强方法，采用磨粒位置标记图构建基于SqueezeNet和Unet的SqueezeNet-Unet模型，实现了反射光图像中磨粒的自动定位，为磨粒特征迁移提供有效的指导信息；依次使用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为训练样本进行网络训练，防止因在线铁谱反射光原始图像和离线铁谱图像特征差异大导致网络训练不稳定，通过构建融合基于SqueezeNet-Unet的磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络的在线铁谱反射光图像增强模型，优化在线铁谱反射光图像增强模型的损失函数和训练方法，实现了在线铁谱反射光图像增强模型的稳定训练和在线铁谱反射光图像中磨粒多重特征的快速、准确增强。
进一步的，步骤S1构建基于SqueezeNet和Unet的SqueezeNet-Unet磨粒位置预测网络，实现了反射光图像中磨粒的自动定位，为磨粒特征迁移提供有效的指导信息。
进一步的，步骤S2在线铁谱反射光图像增强模型通过融合基于SqueezeNet-Unet的磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络实现了对在线铁谱反射光图像中磨粒多重特征的快速、准确增强。
进一步的，ResNeXt-CycleGAN输入Input_Image通过融合基于SqueezeNet-Unet的磨粒位置预测网络输出的磨粒分布概率图和在线铁谱反射光图像实现了在线铁谱反射光图像增强模型中基于SqueezeNet-Unet的磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络的串联融合。
进一步的，ResNeXt-CycleGAN图像转换网络生成器输出层的图像像素输出值为0～255，与ResNeXt-CycleGAN图像转换网络判别器输入图像灰度值范围一致，便于ResNeXt-CycleGAN图像转换网络判别器进行图像对比。
进一步的，通过加权融合方式设计在线铁谱反射光图像增强模型的整体损失函数可以实现在线铁谱反射光图像增强模型中基于SqueezeNet-Unet的磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络的同时训练。
进一步的，在线铁谱反射光图像增强模型加权融合Focal loss损失、对抗损失、SSIM损失和L1损失函数为整体损失函数；其中，Focal loss损失可以平衡反射光图像中比例不均的磨粒和背景；SSIM损失可以增强反射光图像中磨粒的色彩度和对比度；对抗损失和L1损失函数为ResNeXt-CycleGAN图像转换网络中主干CycleGAN网络的损失函数。
进一步的，由于SSIM-CycleGAN的循环一致性损失函数与反射光图像增强直接相关，因此设置λFocal_loss、λGAN、λSSIM和
Figure BDA0003654735580000071
分别为0.2、0.2、0.4、0.2。。
进一步的，本发明依次使用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为训练样本进行网络训练，防止因在线铁谱反射光原始图像和离线铁谱图像特征差异大导致网络训练不稳定。
可以理解的是，上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
综上所述，本发明实现了对在线铁谱反射光图像中磨粒多重特征的快速、准确增强，适用于在线铁谱磨粒分析领域所有在线铁谱反射光图像的增强。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明总体结构图；
图2为磨粒位置的概率图；
图3为本发明增强结果图，其中，(a)为原图1，(b)为本方法处理的原图1，(c)为原图2，(d)为本方法处理的原图2，(e)为原图3，(f)为本方法处理的原图3。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种在线铁谱反射光图像增强方法，以在线铁谱反射光图像为研究对象，基于SqueezeNet和Unet构建SqueezeNet-Unet网络以自动定位磨粒在在线铁谱反射光图像中的精确位置；通过加权方式将SqueezeNet-Unet网络输出与在线铁谱反射光图像融合作为输入，基于CycleGAN架构构建基于ResNeXt-CycleGAN的在线铁谱反射光图像增强模型；加权融合Focal loss损失、对抗损失、改进的循环一致性损失作为在线铁谱反射光图像增强的优化目标；依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，通过Adam、SGD算法优化增强模型参数，逐步实现在线铁谱反射光图像中磨粒特征的全面增强，为机械设备状态监测提供更准确的多重信息。
请参阅图1，本发明一种在线铁谱反射光图像增强方法，包括以下步骤：
S1、以在线铁谱反射光图像中磨粒的轮廓标记为基础，融合Unet架构和SqueezeNet网络构建基于SqueezeNet-Unet的磨粒位置预测网络，自动实现磨粒在反射光图像中的精确定位；
S101、标记在线铁谱反射光图像中的磨粒轮廓，构建磨粒位置标记图；
S102、以Unet网络架构为基础，采用结合short-cut的SqueezeNet网络构建SqueezeNet-Unet磨粒位置预测网络的编码器；
S103、采用双三次插值对特征图进行上采样构建SqueezeNet-Unet磨粒位置预测网络的解码器，采用“跳跃连接”连接上采样获得的高维特征和同尺度编码器输出的低维特征；
S104、SqueezeNet-Unet磨粒位置预测网络输出层采用Sigmoid激活函数，将输出转化为磨粒位置的概率图，实现反射光图像中磨粒的自动定位，如图2所示。
S2、基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合步骤S1构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
串联方式为加权融合步骤S1构建的基于SqueezeNet-Unet磨粒位置预测网络的输出和在线铁谱反射光图像，将其作为ResNeXt-CycleGAN输入构建；
S201、加权融合SqueezeNet-Unet输出和在线铁谱反射光原始图像作为ResNeXt-CycleGAN输入，突出反射光图像中的磨粒目标区域，降低反射光图像背景对磨粒图像增强的影响，如公式(1)所示；
Figure BDA0003654735580000101
其中，A为反射光原始图像，B是SqueezeNet-Unet输出的磨粒分布概率图，m和n分别代表图像的长度和宽度；
S202、ResNeXt-CycleGAN生成器采用一个Conv-GN-ReLU块将输入图像的通道数调整为特征提取部分的输入通道数，使用两个Conv-GN-ReLU块构建编码器；采用ResNeXt构建特征转换层，在加深网络层的同时可以降低训练时间；采用两个Deconv-GN-ReLU块构建解码器，为了使输出图像的通道数与输入图像相同，使用一个Conv-GN-TanH块作为网络输出层，同时将图像像素输出值控制在[0，255]；
S203、ResNeXt-CycleGAN的判别器采用Pix2pix网络中的PatchGAN结构；加入dropout层，防止反射光图像样本少时训练出现过拟合；使用FC-Sigmoid作为判别器输出层，输出图像的判别概率。
S3、采用Focal loss损失作为步骤S1构建的基于SqueezeNet-Unet的磨粒位置预测网络的损失函数，结合SSIM损失和L1损失优化步骤S2构建的基于ResNeXt-CycleGAN的在线铁谱反射光图像增强模型的循环一致性损失函数，通过加权融合方式设计图像增强模型的整体损失函数；
S301、Focal loss中的平衡因子可以用来平衡反射光图像中磨粒和背景的比例不均，故采用Focal loss损失作为SqueezeNet-Unet的损失函数；
S302、为提高ResNeXt-CycleGAN网络生成器和判别器相互对抗的能力，采用交叉熵损失作为ResNeXt-CycleGAN网络的对抗损失函数；
S303、SSIM基于人类视觉系统(HVS)的感知来计算图像的相似性。为增强在线铁谱反射光图像的色彩度和对比度，使用SSIM损失以匹配ResNeXt-CycleGAN网络的循环一致重建图像和原始图像的亮度、对比度信息，结合SSIM损失和L1损失作为ResNeXt-CycleGAN的循环一致性损失函数；
S304、基于SqueezeNet-Unet的Focal loss损失和ResNeXt-CycleGAN的对抗损失和循环一致性损失函数，通过加权求和方式获得整个模型的损失函数，如公式(2)所示；
Figure BDA0003654735580000111
其中，λFocal_loss、λGAN、λSSIM和
Figure BDA0003654735580000112
分别为Focal loss损失、对抗损失、SSIM损失和L1损失函数的加权系数。
由于SSIM-CycleGAN的循环一致性损失函数与反射光图像增强直接相关，因此设置λFocal_loss、λGAN、λSSIM和
Figure BDA0003654735580000113
分别为0.2、0.2、0.4、0.2。
S4、以步骤S3得到的图像增强模型的整体损失函数作为优化目标，依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，通过Adam、SGD方法优化步骤S2构建的SqueezeNet-Unet和ResNeXt-CycleGAN融合模型参数，逐步实现在线铁谱反射光图像中磨粒特征的全面增强。
S401，利用在线铁谱装置获取透射光图像和反射光图像，利用色彩恢复法增强反射光图像，叠加透射光图像和反射光增强图像以获得图像增强模型训练所需的初步样本；
S402，采用离线铁谱获取的高质量图像作为最终样本，构建图像增强模型训练所需的最终样本；
S403，将SqueezeNet在ImageNet数据集上进行训练以获取网络参数，迁移所获参数作为SqueezeNet-Unet编码器的预训练参数；
S404，以反射光原始图像和传统算法增强图像为训练样本，使用Adam算法对整体模型进行训练；
S405，在初步训练的模型基础上，以反射光原始图像和最终样本为训练样本，采用SGD算法对模型进行优化训练，从而实现在线铁谱反射光图像增强模型的训练。
本发明再一个实施例中，提供一种在线铁谱反射光图像增强系统，该系统能够用于实现上述融合SqueezeNet-Unet和ResNeXt-CycleGAN的在线铁谱反射光图像增强方法，具体的，该融合SqueezeNet-Unet和ResNeXt-CycleGAN的在线铁谱反射光图像增强系统包括融合模块、加权模块、函数模块以及增强模块。
其中，融合模块，以在线铁谱反射光图像中磨粒的轮廓标记为基础，融合Unet架构和SqueezeNet网络构建基于SqueezeNet-Unet的磨粒位置预测网络；
加权模块，基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合融合模块构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
函数模块，确定融合模块构建的基于SqueezeNet-Unet的磨粒位置预测网络的损失函数，结合SSIM损失和L1损失优化加权模块构建的ResNeXt-CycleGAN图像转换网络的循环一致性损失函数，通过加权融合方式设计在线铁谱反射光图像增强模型的整体损失函数；
增强模块，以函数模块得到的图像增强模型的整体损失函数作为优化目标，依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，通过Adam、SGD方法优化加权模块构建的在线铁谱反射光图像增强模型，实现在线铁谱反射光图像中磨粒特征的增强。
请参阅图3，第一组图像来自实验室基础润滑油样，第二、三组数据来自某车桥实验中严重变质的润滑油。图3(a)所示的原始反射光图像，由于光散射等原因，其对比度低且轮廓模糊，细节信息表现不清晰。本文方法下获取的磨粒图像如图3(b)所示。其中，磨粒色彩对比度鲜明，细节信息清晰，可明显区分不同颜色的磨粒；磨粒链轮廓得到锐化，光散射造成的边缘模糊现象得到了抑制；强光区域的伪影消失，背景颜色呈现为单一黑色，有利于后期磨粒特征的提取。第二、三组样本同样在本文方法增强下，具有鲜明色彩和清晰轮廓特征，背景伪影得到了消除。
综上所述，本发明一种在线铁谱反射光图像增强方法及系统，基于SqueezeNet和Unet构建SqueezeNet-Unet以自动定位磨粒在在线铁谱反射光图像中的精确位置；基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；加权融合Focal loss损失、对抗损失、改进的循环一致性损失作为在线铁谱反射光图像增强的优化目标；依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为训练样本，通过Adam、SGD算法优化增强模型参数；融合SqueezeNet-Unet和ResNeXt-CycleGAN实现了对在线铁谱反射光图像中磨粒多重特征的快速、准确增强，解决了目前在线铁谱磨粒分析领域反射光图像增强方法无法同时增强多重特征的问题，适用于在线铁谱磨粒分析领域所有在线铁谱反射光图像的增强。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种在线铁谱反射光图像增强方法，其特征在于，包括以下步骤：
S1、以在线铁谱反射光图像中磨粒的轮廓标记为基础，融合Unet架构和SqueezeNet网络构建基于SqueezeNet-Unet的磨粒位置预测网络；
S2、基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合步骤S1构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
S3、确定步骤S1构建的基于SqueezeNet-Unet的磨粒位置预测网络的损失函数，结合SSIM损失和L1损失优化步骤S2构建的ResNeXt-CycleGAN图像转换网络的循环一致性损失函数，通过加权融合方式设计在线铁谱反射光图像增强模型的整体损失函数；
S4、以步骤S3得到的图像增强模型的整体损失函数作为优化目标，依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，优化步骤S2构建的在线铁谱反射光图像增强模型，实现在线铁谱反射光图像中磨粒特征的增强。
2.根据权利要求1所述的在线铁谱反射光图像增强方法，其特征在于，步骤S1具体为：
S101、标记在线铁谱反射光图像中的磨粒轮廓，构建磨粒位置标记图；
S102、以Unet网络架构为基础，采用结合short-cut的SqueezeNet网络构建SqueezeNet-Unet磨粒位置预测网络的编码器；
S103、采用双三次插值对特征图进行上采样，构建步骤S102得到的SqueezeNet-Unet磨粒位置预测网络的解码器；
S104、采用Sigmoid激活函数作为步骤S102得到的SqueezeNet-Unet磨粒位置预测网络输出层，将输出层的输入图像转化为磨粒位置的概率图，实现反射光图像中磨粒的自动定位。
3.根据权利要求1所述的在线铁谱反射光图像增强方法，其特征在于，步骤S2中，在线铁谱反射光图像增强模型具体为：
基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合步骤S1构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
串联方式为加权融合基于SqueezeNet-Unet磨粒位置预测网络的输出以及在线铁谱反射光原始图像作为ResNeXt-CycleGAN图像转换网络的输入；
ResNeXt-CycleGAN图像转换网络的生成器输入层采用一个Conv-GN-ReLU块，输入层将输入图像的通道数调整为特征提取部分的输入通道数，使用两个Conv-GN-ReLU块构建编码器；采用ResNeXt构建特征转换层；采用两个Deconv-GN-ReLU块构建解码器，使用一个Conv-GN-TanH块作为网络输出层；
采用Pix2pix网络中的PatchGAN结构作为ResNeXt-CycleGAN图像转换网络的判别器；加入dropout层，使用FC-Sigmoid作为判别器输出层，输出图像的判别概率。
4.根据权利要求3所述的在线铁谱反射光图像增强方法，其特征在于，ResNeXt-CycleGAN输入Input_Image为：
Figure FDA0003654735570000021
其中，A为反射光原始图像，B是SqueezeNet-Unet输出的磨粒分布概率图，m和n分别代表图像的长度和宽度。
5.根据权利要求3所述的在线铁谱反射光图像增强方法，其特征在于，生成器网络输出层的图像像素输出值为0～255。
6.根据权利要求1所述的在线铁谱反射光图像增强方法，其特征在于，步骤S3中，通过通过加权融合方式设计图像增强模型的整体损失函数具体为：
采用Focal loss损失作为基于SqueezeNet-Unet的磨粒位置预测网络的损失函数；
采用交叉熵损失作为ResNeXt-CycleGAN图像转换网络的对抗损失函数；
使用SSIM损失以匹配基于ResNeXt-CycleGAN的在线铁谱反射光图像增强模型的循环一致重建图像和原始图像的亮度、对比度信息，结合SSIM损失LSSIM和L1损失
Figure FDA0003654735570000031
作为ResNeXt-CycleGAN图像转换网络的循环一致性损失函数；
基于SqueezeNet-Unet的磨粒位置预测网络的Focal loss损失LFocal_loss和基于ResNeXt-CycleGAN图像转换网络的对抗损失LGAN和循环一致性损失函数，通过加权求和方式获得在线铁谱反射光图像增强模型的整体损失函数。
7.根据权利要求6所述的在线铁谱反射光图像增强方法，其特征在于，图像增强模型的整体损失函数LModel_Loss具体为：
Figure FDA0003654735570000032
其中，λFocal_loss、λGAN、λSSIM和
Figure FDA0003654735570000033
分别为Focal loss损失、对抗损失、SSIM损失和L1损失函数的加权系数。
8.根据权利要求7所述的在线铁谱反射光图像增强方法，其特征在于，λFocal_loss、λGAN、λSSIM和
Figure FDA0003654735570000034
分别为0.2、0.2、0.4、0.2。
9.根据权利要求1所述的在线铁谱反射光图像增强方法，其特征在于，步骤S4具体为：
S401，获取透射光图像和反射光图像，利用色彩恢复法增强反射光图像，叠加透射光图像和反射光增强图像以获得图像增强模型训练所需的初步样本；
S402，将采用离线铁谱获取的高质量图像作为最终样本；
S403，将基于SqueezeNet-Unet的磨粒位置预测网络在ImageNet数据集上进行训练以获取网络参数，迁移所获参数作为SqueezeNet-Unet编码器的预训练参数；
S404，以反射光原始图像和步骤S401获得的初步样本为训练样本，使用Adam算法对在线铁谱反射光图像增强模型进行训练；
S405，在步骤S404初步训练的在线铁谱反射光图像增强模型基础上，以反射光原始图像和步骤S402得到的最终样本为训练样本，采用SGD算法对在线铁谱反射光图像增强模型进行优化训练，实现在线铁谱反射光图像增强模型的训练，实现在线铁谱反射光图像增强模型的构建，对在线铁谱反射光图像进行增强。
10.一种在线铁谱反射光图像增强系统，其特征在于，包括：
融合模块，以在线铁谱反射光图像中磨粒的轮廓标记为基础，融合Unet架构和SqueezeNet网络构建基于SqueezeNet-Unet的磨粒位置预测网络；
加权模块，基于CycleGAN架构构建ResNeXt-CycleGAN图像转换网络，串联融合融合模块构建的基于SqueezeNet-Unet磨粒位置预测网络和ResNeXt-CycleGAN图像转换网络构建在线铁谱反射光图像增强模型；
函数模块，确定融合模块构建的基于SqueezeNet-Unet的磨粒位置预测网络的损失函数，结合SSIM损失和L1损失优化加权模块构建的ResNeXt-CycleGAN图像转换网络的循环一致性损失函数，通过加权融合方式设计在线铁谱反射光图像增强模型的整体损失函数；
增强模块，以函数模块得到的图像增强模型的整体损失函数作为优化目标，依次采用在线铁谱反射光原始图像和传统算法增强图像、原始图像和离线铁谱图像作为图像增强模型训练样本集，优化加权模块构建的在线铁谱反射光图像增强模型，实现在线铁谱反射光图像中磨粒特征的增强。
CN202210550282.7A 2022-05-20 2022-05-20 一种在线铁谱反射光图像增强方法及系统 Active CN114913092B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210550282.7A CN114913092B (zh) 2022-05-20 2022-05-20 一种在线铁谱反射光图像增强方法及系统
US18/154,760 US20230154158A1 (en) 2022-05-20 2023-01-13 Method and system for enhancing online reflected light ferrograph image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550282.7A CN114913092B (zh) 2022-05-20 2022-05-20 一种在线铁谱反射光图像增强方法及系统

Publications (2)

Publication Number Publication Date
CN114913092A true CN114913092A (zh) 2022-08-16
CN114913092B CN114913092B (zh) 2024-06-28

Family

ID=82768922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210550282.7A Active CN114913092B (zh) 2022-05-20 2022-05-20 一种在线铁谱反射光图像增强方法及系统

Country Status (2)

Country Link
US (1) US20230154158A1 (zh)
CN (1) CN114913092B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252936A (zh) * 2023-10-04 2023-12-19 长春理工大学 一种适配多种训练策略的红外图像彩色化方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886579A (zh) * 2013-12-11 2014-06-25 西安交通大学 面向在线铁谱图像自动识别的磨粒链自适应分割方法
US20190073029A1 (en) * 2017-08-18 2019-03-07 Neuraland Llc System and method for receiving user commands via contactless user interface
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
US20200321188A1 (en) * 2017-10-25 2020-10-08 Northwestern University High speed/low dose multi-objective autonomous scanning materials imaging
CN111832608A (zh) * 2020-05-29 2020-10-27 上海海事大学 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN111931805A (zh) * 2020-06-23 2020-11-13 西安交通大学 一种基于知识引导cnn的小样本相似磨粒辨识方法
CN112364899A (zh) * 2020-10-27 2021-02-12 西安科技大学 一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法
CN112767361A (zh) * 2021-01-22 2021-05-07 重庆邮电大学 基于轻量级残差U-net的反射光铁谱图像分割方法
US20220044374A1 (en) * 2019-12-17 2022-02-10 Dalian University Of Technology Infrared and visible light fusion method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886579A (zh) * 2013-12-11 2014-06-25 西安交通大学 面向在线铁谱图像自动识别的磨粒链自适应分割方法
US20190073029A1 (en) * 2017-08-18 2019-03-07 Neuraland Llc System and method for receiving user commands via contactless user interface
US20200321188A1 (en) * 2017-10-25 2020-10-08 Northwestern University High speed/low dose multi-objective autonomous scanning materials imaging
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
US20220044374A1 (en) * 2019-12-17 2022-02-10 Dalian University Of Technology Infrared and visible light fusion method
CN111832608A (zh) * 2020-05-29 2020-10-27 上海海事大学 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN111931805A (zh) * 2020-06-23 2020-11-13 西安交通大学 一种基于知识引导cnn的小样本相似磨粒辨识方法
CN112364899A (zh) * 2020-10-27 2021-02-12 西安科技大学 一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法
CN112767361A (zh) * 2021-01-22 2021-05-07 重庆邮电大学 基于轻量级残差U-net的反射光铁谱图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陶辉;冯伟;贺石中;陈闽杰;: "一种融合在线铁谱图像特征信息的磨损状态诊断方法", 哈尔滨理工大学学报, no. 04, 15 August 2012 (2012-08-15) *

Also Published As

Publication number Publication date
CN114913092B (zh) 2024-06-28
US20230154158A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
Wang et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging
Bui et al. Single image dehazing using color ellipsoid prior
CN109544555B (zh) 基于生成式对抗网络的细小裂缝分割方法
Liu et al. Underwater image enhancement method based on adaptive attenuation-curve prior
KR20080016847A (ko) 크로모겐 분리에 기초한 영상 분석 방법
CN108389216A (zh) 面向在线铁谱图像磨粒识别的局部自适应阈值分割方法
CN113962878B (zh) 一种低能见度图像去雾模型方法
CN111476739B (zh) 水下图像增强方法、系统及存储介质
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN109272475B (zh) 一种快速有效修复与强化水下图像颜色的方法
CN117451716A (zh) 一种工业产品表面缺陷检测方法
CN115880663A (zh) 一种低照度环境交通标志检测与识别方法
CN114913092B (zh) 一种在线铁谱反射光图像增强方法及系统
CN115457551A (zh) 适用于小样本条件的叶片损伤识别方法
Shi et al. A joint deep neural networks-based method for single nighttime rainy image enhancement
Fu et al. Multi-feature-based bilinear CNN for single image dehazing
CN117974459A (zh) 一种融合物理模型和先验的低照度图像增强方法
Kumar et al. Underwater image enhancement using deep learning
Liu et al. Learning multiscale pipeline gated fusion for underwater image enhancement
CN106204476B (zh) 一种低照度彩色图像增强方法
Jin et al. Color correction and local contrast enhancement for underwater image enhancement
CN112767361B (zh) 基于轻量级残差U-net的反射光铁谱图像分割方法
CN112634278B (zh) 基于超像素的恰可察觉失真方法
Prasenan et al. A Study of Underwater Image Pre-processing and Techniques
Tang et al. Structure–texture decomposition-based dehazing of a single image with large sky area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant