CN111626994A - 基于改进U-Net神经网络的设备故障缺陷诊断方法 - Google Patents

基于改进U-Net神经网络的设备故障缺陷诊断方法 Download PDF

Info

Publication number
CN111626994A
CN111626994A CN202010420086.9A CN202010420086A CN111626994A CN 111626994 A CN111626994 A CN 111626994A CN 202010420086 A CN202010420086 A CN 202010420086A CN 111626994 A CN111626994 A CN 111626994A
Authority
CN
China
Prior art keywords
image
network layer
layer
improved
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010420086.9A
Other languages
English (en)
Other versions
CN111626994B (zh
Inventor
程鲲鹏
戴林
刘新辉
吉承成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yuanwang Instrument Group Co ltd
Original Assignee
Jiangsu Yuanwang Instrument Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yuanwang Instrument Group Co ltd filed Critical Jiangsu Yuanwang Instrument Group Co ltd
Priority to CN202010420086.9A priority Critical patent/CN111626994B/zh
Publication of CN111626994A publication Critical patent/CN111626994A/zh
Application granted granted Critical
Publication of CN111626994B publication Critical patent/CN111626994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

基于改进U‑Net神经网络的设备故障缺陷诊断方法，包括构建含5层下采样网络层、5层上采样网络层、且带有三重约束的改进U‑Net网络模型；所述三重约束，包括对位于最底层的第五上采样网络层进行三级损失约束、对紧邻第五上采样网络层的第四上采样网络层进行二级损失约束和对位于最顶层的第一上采样网络层进行一级损失约束。本发明通过对原始图像采用改进的改进U‑Net神经网络模型进行缺陷裂纹位置、形状的预测和生成，然后通过WebGL方法进行3D显示交互，进一步提升了对设备外观裂纹像素级预测的精度和正确度，同时显著提升了人机交互的画面体验感，有利于设备外观缺陷裂纹位置的有效识别和精准定位，减少维护成本。

Description

基于改进U-Net神经网络的设备故障缺陷诊断方法
技术领域
本发明涉及设备故障远征诊断技术领域，尤其是涉及一种基于改进U-Net神经网络模型的设备外观故障、缺陷裂纹诊断技术。
背景技术
近年来，随着计算机硬件水平的发展和超大规模学习样本的出现，以卷积神经网络(convolutional neural network，CNN)为代表的深度学习技术在计算机视觉CV领域的目标检测和分类应用中表现出强大性能。由于CNN能够自动学习和生成复杂度极高的非线性特征，突破传统的阈值报警的局限性，减小了工作量，缩短了巡检周期、降低了误检率。因而在设备的故障诊断检测问题上得到广泛应用。但是随着设备故障诊断的精准性和实时性要求越来越高，迫切希望能够实现对设备的故障位置、故障形状的准确识别。而经典CNN在面临这种图像识别要求时，也暴露出一些主要的问题：
1、CNN主要是用于图像级分类，学习的是图像的抽象特征；但是由于在卷积和池化过程中，丢失了低分辨率的像素分类，所以，无法实现复杂背景下的像素级定位精度；
2、CNN模型在对复杂背景的图像进行像素分类时，存在相邻像素点的分类块的高度重叠现象，从而引入大量的数据冗余，内存开销增加，导致网络非常耗时，训练速度慢。
3、目前的语义分割网络输出的图像以灰度图为主，对于用户而言，无法将裂纹外观、位置与设备直接融合成一体进行辨别，并不利于用户的沉浸式体验。
而U-Net图像分割神经网络模型，采用对称式的网络结构，将网络当中的高维位置信息和低维分类信息进行拼接融合，得以恢复高保真边界，并且实现了输出层的分辨率一致性。
因此，有必要开发一种基于图像增强和U-Net网络模型的设备故障裂纹诊断技术来解决上述图像像素级语义分割的问题，对于提升预测设备故障位置、形状的分割效果，提升人机交互体验感，降低设备维护费用有重要意义。
目前也存在基于U-Net网络模型的诊断技术，但都是对原始U-Net网络模型的应用，无法兼顾运算性能需求和图像复杂程度，依然在实际应用中存在识别度不够精确，或者对运算性能需求较高的问题。
发明内容
本发明所要解决的技术问题在于提供一种基于改进U-Net神经网络的设备故障缺陷诊断方法，主要用于对设备裂纹的故障位置和故障形状等的像素级预测，以提高设备故障预测的准确性和精度值，降低设备维保费用，提高生产安全性能，提升人机交互体验感。
本发明是通过以下技术方案实现的：
基于改进U-Net神经网络的设备故障缺陷诊断方法，包括步骤D，构建并训练改进U-Net神经网络，其特征在于：所述步骤D包括：
D1：将除测试样本之外的其它二分类灰度图像样本拆分为训练集、交叉验证集；构建包括含5层下采样网络层、5层上采样网络层、且带有三重约束的改进U-Net网络模型；
所述三重约束，包括对位于最底层的第五上采样网络层进行三级损失约束、对紧邻第五上采样网络层的第四上采样网络层进行二级损失约束和对位于最顶层的第一上采样网络层进行一级损失约束；
所述的三级损失约束对第五上采样网络层输出的图像预测结果与该层对应的图像真实值之间的图像数据损失值约束；二级损失约束对第四上采样网络层输出的图像预测结果与该层对应的图像真实值之间的图像数据损失值约束；一级损失约束对最终图像输出结果与样本图像真实值之间的图像数据损失值约束；
每级约束的图像数据损失值计算公式如下：
Figure BDA0002496617210000031
式中：J(θ)表示训练图像样本的总损失值；θ表示求解权重参数；m表示训练集图像样本个数；y(i)表示对应像素i的二分类类别标签(如：0为背景，1为裂纹)；X(i)表示样本的当前输入像素i；S(x(i))表示当前像素i被识别为设备故障缺陷的概率值：
Figure BDA0002496617210000032
式中：x表示对应上采样网络层的图像样本数据输入，由前一层的图像样本数据输出表示；e为常数，e≈2.71828；T表示转置，对调矩阵的行列；
三重约束的总损失函数为三级损失函数之和，即：
Jt(θ)＝α1J1(θ)+α2J2(θ)+α3J3(θ)
式中：J1(θ)、J2(θ)和J3(θ)分别为一级约束的图像数据损失值、二级约束的图像数据损失值和三级约束的图像数据损失值；α1，α2和α3分别表示一级约束、二级约束和三级约束的学习率，α1+α2+α3＝1；t表示total总和；
D2：改变模型参数，包括权重参数θ,学习率α1，α2和α3，利用训练集训练上述D1构建的模型；
D3：通过每级约束对应上采样网络层输出的预测结果与该层对应的图像真实值的损失函数值计算，求取三重约束的总损失函数值Jt(θ)；
然后判断性能参数指标是否保持更新：
如是：转入D2；
如否：转入D4；
D4：将该模型下总损失函数最小值对应的模型参数作为该模型的合理模型参数；
D5：利用交叉验证集对合理模型参数下的该模型进行验证，求取样本集每张图片每行像素点的IoU值；
所述的IoU值表示交并比：
Figure BDA0002496617210000041
式中：A表示真实图像，B表示预测图像；
对真实图像A、预测图像B的对应矩阵逐行进行IoU运算，运算值分别与与阈值比较：
IoU值＞阈值，转入D6；
IoU值≤阈值，不纳入平均值计算；
D6：在合理模型参数的该模型下，对样本集图像分别对应的IoU值计算平平均值，求得合理模型参数下的该模型对应的最终IoU值；
判断此时训练模型数量是否达到设定数量：
如是，进一步判断性能参数指标是否保持更新：如是，增加训练模型数量，转回D1，直至性能参数指标不再更新，转入D7，结束模型构建；如否，转入D7，结束模型构建；
如否，转回D1；
D7：比较多个合理模型参数下的不同模型的最终IoU值，选择评估结果最优的模型作为最终的改进U-Net网络模型；
D8：利用测试样本进行结果测试，将预测图像与真实图像进行IoU评价，根据测试结果确定最终的改进U-Net网络模型参数。
所述的改进U-Net神经网络模型采用了Encoder-Decoder结构。Encoder负责特征提取，Decoder负责特征恢复。Encoder由卷积操作和下采样操作组成，将高分辨率图像转化为低分辨率图像，通道数不断增大，变“厚”，解决了像素定位问题；Decoder由卷积、上采样和维度拼接操作组成，将低分辨率图像转换成高分辨率图像，通道数不断减小，变“薄”，解决了像素分类问题。最后，输出全分辨率的语义分割图。
所述的改进U-Net神经网络模型，在综合考虑到运算性能需求和图像复杂程度后，通过对Decoder部分的底层、中间层特征引入额外的损失约束，从而形成多重约束的改进型U-Net神经网络结构。该结构相比于经典的U-Net网络模型仅在输出层计算预测值与真实值的损失，增加了分别在底层和中间层利用层级特征生成低分辨率的预测结果(即上采样过程中该层输出的图像数据)，再对其与相应低分辨率的真值图(可通过第三方软件提前对原始图像做好标签获取)的损失值计算的损失约束，然后找到三层损失函数的和的最小值，从而最终确定合理的模型参数。该改进算法可以在一定程度上缩短反向传播距离，从而相对优化不同层级的模型参数，对计算资源的合理分配起到作用。
进一步的，所述5层下采样网络层，由顶至底包括第一下采样网络层第二下采样网络层，第三下采样网络层，第四下采样网络层和第五下采样网络层，第五下采样网络层包括2次连续的卷积CONV-批标准化BN-激活函数RELU，其它下采样网络层均包括依序连接的2次连续的卷积CONV-批标准化BN-激活函数RELU、1次最大池化MAXPOOLING和1次参数为0.5的DROPOUT，经过每层下采样网络层后，样本图像数据分辨率减半，通道数翻倍。
所述5层上采样网络层，由顶至底包括第一上采样网络层，第二上采样网络层，第三上采样网络层，第四上采样网络层和第五上采样网络层，第一上采样网络层包括卷积CONV-激活函数SIGMOID，其它上采样网络层均包括依序连接的1次上卷积UPCONV，1次拼接CONCAT-1次参数为0.5的DROPOUT和2次连续的卷积CONV-批标准化BN-激活函数RELU，经过每层上采样网络层后，图像数据分辨率减半，通道数减半。
所述拼接CONCAT是指通过级联的方式将除第五下采样网络层外的其它每层下采样网络层的特征信息对应补充到图像数据分辨率相同的除第一上采样网络层外的其它每层上采样网络层中。使用5层下采样网络层对输入图像数据进行下采样提取深层特征，用于对不同类别的像素进行神经网络的像素分类；再将每次池化下采样的特征图依次与上采样中的特征图进行插值，将上采样中的特征图逐步还原到原图分辨率的过程中补充浅层细节信息。
进一步的，所述图像真实值为与该上采样网络层样本图像数据分辨率相同、预标注好类别标签的真实二分类灰度重图像数据，可由ground truth将对应的训练样本的标签直接降采样到该层分辨率获取。
进一步的，步骤D前还包括以下步骤：
A：获取外观带有缺陷裂纹的设备外观原始图像，将设备外观原始图像的分辨率调整统一；设备外观原始图像包括视频、照片等各类图像；
B：在设备外观原始图像上标注裂纹区域，并对裂纹区域进行二值化灰度处理，生成带标注的二分类灰度图像；
C：读取上述步骤B的二分类灰度图像数据，转化为多维数组，拆分为测试样本和其它二分类灰度图像样本；
步骤D后还包括以下步骤：
E：将最终的改进U-Net网络模型运用于实际的设备外观故障缺陷检测中，将预测到的故障外观、大小信息在客户端进行3D显示。
进一步的，所述步骤A包括：
A1：将获取的设备外观原始图像、视频等原始信号经过手动筛选，去除外观无缺陷裂纹的图像；
A2：将外观带有缺陷裂纹的设备外观原始图像Resize统一重新调整尺寸；
A3：如果外观带有缺陷裂纹的设备外观原始图像数量偏少，采用Image DataGenerator函数对外观带有缺陷裂纹的设备外观原始图像进行水平翻转、垂直翻转、角度翻转等新生成图像样本，扩充样本图像数据。
设备的原始外观图像，由于来源的不确定性，尺寸大小、数量以及图像的质量都有可能不足以直接用于网络训练，可以采用图像增强手段，对原始图像集进行优化，然后将优化后的样本放入改进U-Net网络模型中进行训练、验证或测试，最后输出与原图大小一致的像素级图像。
进一步的，所述A3采用TTA测试时增强技术，为了解决原始图像显示的区域可能会缺少一些重要特征的问题，将原始图像进行水平翻转、垂直翻转、角度翻转等操作，形成新的图像样本，然后取上述图像样本的平均值作为样本图像数据放入改进U-Net神经网络模型中训练改进U-Net神经网络模型。
进一步的，所述步骤B包括：
B1：将外观带有缺陷裂纹的设备外观原始图像导入到labelme软件中，对原始图像当中的外观缺陷裂纹区域进行选取标注，最后保存成与原始图像文件名一致的.JSON文件；
B2：制作图像区分标记文件class_name.txt，例如将图像中的像素共分为忽略ignore\背景background\裂纹crack 3类，对应的数值分别为-1，0，1，然后遍历目录和文件夹获取B1生成的.JSON文件后，load装载样本图像的.JSON文件；
B3：生成只包含外观缺陷裂纹区域标注图像的.PNG文件，生成在原始图像当中融合了外观缺陷裂纹区域标注图像的.JPG文件，用于迅速辨别缺陷裂纹标注图像在原图中的区域位置；
B4：将B3中的.PNG文件做二值化灰度处理，输出新的可用于训练、验证及测试改进U-Net网络模型的二分类灰度图像样本。
进一步的，所述的步骤E中客户端进行3D显示，是指在移动互联网或者移动智能终端上，通过WebGL方法，将设备故障信息三维投射在画面上，并且画面显示数据与预测数据同步，支持Web浏览器交互式3D图形显示的WebGL人机交互画面，用户可以在移动互联网或者移动智能终端通过3D画面可视化浏览设备故障位置、形状信息，方便用户更快的定位故障信息。
进一步的，所述的性能参数指标包括EarlyStopping提前结束训练的条件参数，例如：设patience＝10，表示当性能指标不再更新时，运行10个EPOCH后，不再进行训练。
本发明的有益效果在于：
1、通过改进U-Net神经网络模型的引入和改进，可快速、有效辨别故障设备外观损坏情况，提升设备维护的智能化程度：
传统的经典CNN模型在图像语义分割问题上的应用，一般只适用于图像级的分类和回归任务，通常会在若干卷积、池化层之后连接多个全连接层，从而将卷积层中生成的特征映射为一个N维向量，用以表征输入图像属于N个类别当中每一类的概率；
UU-Net神经网络模型是基于高维与低维特征融合的思想，在末端的卷积层之后不再使用全连接层，而是对前端卷积池化层生成的高维特征图进行上采样，从而有效保留输入图像的空间信息，可以实现对每个像素都产生一个预测结果，最终输出与输入图像分辨率一致的像素级分割图像；
而改进的U-Net神经网络模型，进一步优化经典U-Net网络中的层级特征参数，增加了分别在底层和中间层利用层级特征生成低分辨率的预测结果，再对其与相应低分辨率的真值图的损失值计算的损失约束，然后找到三层损失函数的和的最小值，从而最终确定合理的模型参数，该改进算法可以在一定程度上缩短反向传播距离，从而相对优化不同层级的模型参数，对计算资源的合理分配起到作用，并且较好的兼顾了运算性能需求和图像复杂程度。
2、可实现设备的故障位置、故障形状等故障信息在移动互联网和移动智能终端的3D可视化显示；用户可以通过移动手持设备，如智能手机、平板电脑等移动终端，在局域网WIFI覆盖的地方，通过APP程序或是WEB浏览的方式，3D可视化查看设备的故障信息，极大的提升了用户对设备的人机交互体验感。
附图说明
图1为本发明步骤B图像标注的一种实施方法步骤示意图；
图2为本发明步骤D改进U-Net神经网络模型的系统结构示意图；
图3为本发明步骤D改进U-Net神经网络模型的算法流程示意图；
图4为本发明步骤A3采用TTA测试时增强方法示意图；
图5为本发明步骤E客户端的3D显示示意图；
图6为本发明与其他边缘检测算法得到的反映综合性能的IoU指标对比及损失函数权重参数选择；
图7为本发明与其他边缘检测算法得到的反映综合性能的Pixel accuracy指标对比及损失函数权重参数选择；
图8～11为本发明与其他边缘检测算法得到的检测效果对比；
图2中：1为第一下采样网络层，2为第二下采样网络层，3为第三下采样网络层，4为第四下采样网络层，5为第五下采样网络层，6为第一上采样网络层，7为第二上采样网络层，8为第三上采样网络层，9为第四上采样网络层，10为第五上采样网络层。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明基于改进U-Net神经网络的设备故障缺陷诊断方法，主要包括三大功能模块：图像增强、基于改进U-Net神经网络模型和故障位置、形状等的3D显示。其中，为解决设备的原始外观图像由于来源的不确定性，尺寸大小、数量以及图像的质量都有可能不足以直接用于网络训练的问题，通过尺寸调整、翻转、角度旋转等，对原始图像的尺寸、数量、形状等进行前端处理，采用图像增强手段，对原始图像集进行优化，然后将优化后的样本放入改进U-Net神经网络模型中进行训练，最后输出与原图大小一致的像素级图像；改进U-Net神经网络模型通过取消全连接层，将深层的低维特征图与浅层的高维特征图进行拼接，从而输出与输入图像相同分辨率的像素级分割图像，尤为重要的是，改进U-Net神经网络模型在上采样的底层、中间层引入额外的损失约束，能够综合满足运算性能和设备外观缺陷裂纹图像复杂程度的需求；最后，生成的预测图像支持Web浏览器交互式3D图形显示的WebGL人机交互画面，用户能够在移动互联网或者移动智能终端通过3D画面可视化浏览设备故障位置、故障形状等，提升人机交互体验感。
以上三大功能模块主要通过以下五个步骤来实现：
A：获取外观带有缺陷裂纹的设备外观原始图像，将设备外观原始图像的分辨率调整统一；
B：在设备外观原始图像上标注裂纹区域，并对裂纹区域进行二值化灰度处理，生成带标注的二分类灰度图像；
C：读取上述步骤B的二分类灰度图像数据，转化为多维数组，拆分为测试样本和其它二分类灰度图像样本；
D：构建并训练改进U-Net神经网络模型；
E：将最终的改进U-Net神经网络模型运用于实际的设备外观故障缺陷检测中，将预测到的故障外观、大小信息在客户端进行3D显示。
其中步骤A可以进一步细化为以下步骤：
A1：将获取的设备外观原始图像、视频等原始信号经过手动筛选，去除外观无缺陷裂纹的图像；
A2：将外观带有缺陷裂纹的设备外观原始图像Resize统一重新调整尺寸；
A3：如果外观带有缺陷裂纹的设备外观原始图像数量偏少，采用Image DataGenerator函数对外观带有缺陷裂纹的设备外观原始图像进行水平翻转、垂直翻转、角度翻转等新生成图像样本，扩充样本图像数据。
如图4所示，A3采用TTA测试时增强技术，为了解决原始图像显示的区域可能会缺少一些重要特征的问题，将原始图像进行水平翻转、垂直翻转、角度翻转等操作，形成新的图像样本，然后取上述图像样本的平均值作为样本图像数据放入改进U-Net神经网络模型中训练改进U-Net神经网络模型。
如图1所示，步骤B可以进一步细化为以下步骤：
B1：将外观带有缺陷裂纹的设备外观原始图像导入到labelme软件中，对原始图像当中的外观缺陷裂纹区域进行选取标注，最后保存成与原始图像文件名一致的.JSON文件；
B2：制作图像区分标记文件class_name.txt，例：如将图像中的像素共分为忽略ignore\背景background\裂纹crack 3类，对应的数值分别为-1，0，1，然后遍历目录和文件夹获取B1生成的.JSON文件后，load装载样本图像的.JSON文件；
B3：生成只包含外观缺陷裂纹区域标注图像的.PNG文件，生成在原始图像当中融合了外观缺陷裂纹区域标注图像的.JPG文件，.JPG文件用于步骤E中、3D显示时迅速辨别缺陷裂纹标注图像在原图中的区域位置；
B4：将B3中的.PNG文件做二值化灰度处理，输出新的可用于训练、验证及测试改进U-Net网络模型的二分类灰度图像样本。
步骤C中，将步骤B输出的二分类灰度图像样本拆分为测试样本和其它二分类灰度图像样本，在步骤D中，进一步将将除测试样本之外的其它二分类灰度图像样本拆分为训练集、交叉验证集。
其中，训练集用来训练模型，即确定模型的权重和偏置这些参数，通常我们称这些参数为学习参数，本方法中用来确定模型的权重矩阵参数；验证集用于选择超参数，比如网络层数、网络节点数、迭代次数、学习率这些都叫超参数。本方法中用来确定学习率。考虑到训练集较小，假设将训练集分成5份(该数目被称为折数，5-fold交叉验证)，每次都用其中4份来训练模型，第5份用来验证4份训练出来的模型的准确率，记下准确率。然后在这5份中取另外4份做训练集，1份做验证集，再次得到一个模型的准确率。直到所有5份都做过1次验证集，也即验证集名额循环了一圈，交叉验证的过程就结束。算得这5次准确率的均值。留下准确率最高的模型，即该模型的超参数是什么样的最终模型的超参数就是这个样的；测试样本只使用一次，即在训练完成后评价最终的模型时使用。它既不参与学习参数过程，也不参与超参数选择过程，而仅仅使用于模型的评价。
如图2所示，改进U-Net神经网络模型采用了Functional函数式模型，U型对称的收缩路径、扩张路径以及高、低维度拼接的网络模型。
对于收缩路径而言，实现的是下采样功能。收缩路径定义5层下采样网络层，由顶至底包括第一下采样网络层1，第二下采样网络层2，第三下采样网络层3，第四下采样网络层4和第五下采样网络层5，第五下采样网络层5包括2次连续的卷积CONV-批标准化BN-激活函数RELU，其它下采样网络层均包括依序连接的2次连续的卷积CONV-批标准化BN-激活函数RELU、1次最大池化MAXPOOLING和1次参数为0.5的DROPOUT，经过每层下采样网络层后，样本图像数据分辨率减半，通道数翻倍。
对于扩张路径而言，实现的是上采样和拼接功能。扩张路径定义5层上采样网络层，由顶至底包括第一上采样网络层6，第二上采样网络层7，第三上采样网络层8，第四上采样网络层9和第五上采样网络层10，第一上采样网络层6包括卷积CONV-激活函数SIGMOID，其它上采样网络层均包括依序连接的1次上卷积UPCONV，1次拼接对应的高维低像素层特征CONCAT-1次参数为0.5的DROPOUT和2次连续的卷积CONV-批标准化BN-激活函数RELU，经过每层上采样网络层后，图像数据分辨率减半，通道数减半；拼接CONCAT是指通过级联的方式将除第五下采样网络层5外的其它每层下采样网络层的特征信息对应补充到图像数据分辨率相同的除第一上采样网络层6外的其它每层上采样网络层中；最后的输出采用sigmoid激活函数。
图2中，左侧的收缩路径的输入是原始像素大小的图像，其主要作用是对原始图像进行卷积、池化，将高分辨率转换成低分辨率，解决像素定位的问题。本实施例中，输入图像的像素大小为1280X 720X1(1指输入灰度图像的维度)，经过每一组卷积/池化块(包含2次卷积CONV-批标准化BN-REUL激活函数+一次MAXPOOLING池化+1次参数为0.5的DROPOUT操作)，都会使分辨率减半，而通道数翻倍变“厚”。经过4组卷积/池化块后，生成80X 45X 128(128指矩阵维度)像素的图像。然后经过2次卷积-批标准化-RELU激活函数后，生成80X 45X256像素的图像。右侧的扩张路径的输入是收缩路径的最终输出，其主要作用是对像素进行反卷积、拼接，将低分辨率转换成高分辨率，解决像素分类的问题。输入的像素是80X 45X256，每经过一组上卷积/拼接块(包含1次上卷积UPCONV+1次拼接CONCAT+1次参数为0.5的DROPOUT+2次卷积-批标准化-RELU激活函数)，都会使分辨率翻倍，而通道数减半变“薄”。其中，每次拼接，都是和收缩路径对应层级的特征矩阵级联。经过4组卷积/拼接块后，生成1280X 720X 16像素的图像。最后，经过卷积核大小为1，filters个数为1的卷积操作+Sigmoid激活函数，生成与原始图像大小1280X 720X 1大小一致的预测图像。
其中，为了让网络不同层级的模型参数都得到较好的优化，本发明中，采用了3重约束的改进U-Net神经网络结构。损失函数由一级、二级、三级损失构成。一级损失用于约束最终输出结果与groud truth的损失值，二级损失则首先利用该层对应的特征生成低分辨率的预测结果，再将该结果与收缩路径相应层的低分辨率的图像真实值(图像真实值为与该上采样网络层样本图像数据分辨率相同、预标注好类别标签的真实二分类灰度重图像数据，可由ground truth将对应的训练样本的标签直接降采样到该层分辨率获取)的损失值进行约束，三级损失与二级损失过程类似，首先利用最底层特征生成低分辨率的预测结果，再将该结果与收缩路径相应层的低分辨率的图像真实值(可由ground truth将对应的训练样本的标签直接降采样到该层分辨率获取)的损失值进行约束，调整损失函数的学习率，权重矩阵参数。
为了提升训练的效果，对训练模型预测结果与真实标签吻合度的考核指标采用定位精度评价公式IoU指标而非像素准确率评价公式Accuracy指标精度指标,通过对模型参数的不断优化，找到IoU值最优解下的模型参数；采用Functional函数式模型而非Sequential序列模型；采用对U型网络上采样部分的底层、中间层特征进行约束的改进算法优化模型网络参数的更新；采用TTA Wrapper进行模型的包装，使预测更加平顺。
具体的算法流程实施例如图3所示：
D1：采用train_test_split函数，将除测试样本之外的其它二分类灰度图像样本拆分为训练集、交叉验证集；定义U-Net网络模型：采用Functional函数型模型，采用Adam优化器，损失函数定义为crossentropy二分类交叉熵，评价标准采用IoU指标；构建包括含5层下采样网络层、5层上采样网络层、且带有三重约束的改进U-Net网络模型；
所述三重约束，包括对位于最底层的第五上采样网络层进行三级损失约束、对紧邻第五上采样网络层的第四上采样网络层进行二级损失约束和对位于最顶层的第一上采样网络层进行一级损失约束；
所述的三级损失约束对第五上采样网络层输出的图像预测结果与该层对应的图像真实值之间的图像数据损失值约束；二级损失约束对第四上采样网络层输出的图像预测结果与该层对应的图像真实值之间的图像数据损失值约束；一级损失约束对最终图像输出结果与样本图像真实值之间的图像数据损失值约束；
每级约束的图像数据损失值计算公式如下：
Figure BDA0002496617210000131
该公式为二分类交叉熵损失函数公式，式中：J(θ)表示训练图像样本的总损失值；θ表示求解权重参数；m表示训练集图像样本个数；y(i)表示对应像素i的二分类类别标签，例如：0为背景，1为裂纹；x(i)表示样本x的当前输入像素i；S(x(i))表示当前像素i被识别为设备故障缺陷的概率值，采用了Sigmoid函数作为激活函数：
Figure BDA0002496617210000141
式中：x表示对应上采样网络层的图像样本数据输入，由前一层的图像样本数据输出表示；e为常数，e≈2.71828；T表示转置，对调矩阵的行列；
三重约束的总损失函数为三级损失函数之和，即：
Jt(θ)＝α1J1(θ)+α2J2(θ)+α3J3(θ)
式中：J1(θ)、J2(θ)和J3(θ)分别为一级约束的图像数据损失值、二级约束的图像数据损失值和三级约束的图像数据损失值；α1，α2和α3分别表示一级约束、二级约束和三级约束的学习率，α1+α2+α3＝1；t表示total总和；初始化参数采用He参数初始化方法；
D2：改变模型参数，包括权重参数θ,学习率α1，α2和α3，利用训练集训练上述D1构建的模型；
D3：通过每级约束对应上采样网络层输出的预测结果与该层对应的图像真实值的损失函数值计算，求取三重约束的总损失函数值Jt(θ)；；
根据样本图像的特点，选择合适的Early Stopping提前结束训练的条件参数、然后训练U-Net网络模型，判断上述性能参数指标是否依然保持更新：
如是，转入D2；
如否，上述性能指标参数不再更新，转入D4，结束模型训练；
D4：将该模型下总损失函数最小值对应的模型参数作为该模型的合理模型参数；
D5：利用交叉验证集对合理模型参数下的该模型进行验证，求取样本集每张图片每行像素点的IoU值；
所述的IoU值表示交并比：
Figure BDA0002496617210000151
式中：A表示真实图像，B表示预测图像；
对真实图像A、预测图像B的对应矩阵逐行进行IoU运算，运算值分别与阈值比较：
IoU值＞阈值，转入D6；
IoU值≤阈值，不纳入平均值计算；
在一个实施例中，设置IoU的thresholds阈值为(0.5,1,0.05)，对真实图像A、预测图像B的对应矩阵逐行进行IoU运算，运算值分别与(0.5，1，0.05)进行阈值比较，将大于阈值的数据进行mean求平均值运算，得出整幅图像的Average Precision平均精度值；
D6：在合理模型参数的该模型下，对＞阈值thresholds样本集图像分别对应的IoU值计算平均值，求得合理模型参数下的该模型对应的最终IoU值，用来作为选择IoU值最优解下的模型参数的依据；
判断此时训练模型数量是否达到设定数量：
如是，进一步判断性能参数指标是否保持更新：如是，增加训练模型数量，转回D1，直至性能参数指标不再更新，转入D7，结束模型构建；如否，转入D7，结束模型构建；
如否，转回D1；
D7：比较多个合理模型参数下的不同模型的最终IoU值，选择评估结果最优的模型作为最终的改进U-Net网络模型；
D8：利用测试样本进行结果测试，将预测图像与真实图像进行IoU评价，根据测试结果确定最终的改进U-Net网络模型参数。
综上，原始图像信号，经由图像增强技术，形成新的样本集。将样本集拆分成训练集、验证集和测试集后，放入改进U-Net网络模型进行训练得到模型参数，通过验证集进行验证和评价，然后优化模型参数，直到模型性能稳定后生成用于测试集测试的模型参数。将测试集图像输入到模型中进行测试，将预测结果与真值数据进行IoU评价，根据测试结果确定最终的网络模型参数。之后，将该模型运用在实际的设备外观故障检测中，将预测到的故障外观、大小信息等进行3D显示。
如图5所示，在移动互联网或者移动智能终端上，通过WebGL方法，将设备故障信息三维投射在画面上，并且画面显示数据与预测数据同步，方便用户更快的定位故障信息，图中，具体设备上的显示的数据如“87”，“35”表示具体设备发生故障的概率，选中某个具体设备后，则会显示出存在故障缺陷的外观图片。
关键指标性能对比及损失函数权重参数选择，主要是通过对交并比(IoU)和像素准确率(pixel accuracy)两项在图像分割领域较为通用的指标来进行说明。IoU反映的是预测分割图像与真实分割标签的重叠程度，pixel accuracy反映的是查准率。数据统计中，分别选取了52张背景简单(设备外观简单，无污渍)和复杂(设备外观较复杂，表面有污渍等情况，容易造成识别混淆)的含有设备表面故障裂纹的图像进行测试，如下表所示，采用改进的U-Net网络模型算法，相比较于经典的U-Net网络模型算法，无论是在简单背景，还是在复杂背景下，IoU指标和pixel accuracy指标都更优。
表1综合性能的关键指标对比
Figure BDA0002496617210000161
从图6和图7中可以看到：当(α1+α2)∈(0.3，0.7)，且α1＞α2时，改进U-Net神经网络模型输出预测图像的IoU指标和Pixel accuracy指标均维持在较高的水平，而当取值范围在区间之外时，指标出现显著下降，说明本方法提出的多重约束对于U-Net神经网络模型性能的提升有重要意义。
如图8～11所示，图8为外观带有缺陷裂纹的设备外观原始图像；图9为标注好类别标签的真实二分类灰度重图像；图10为经典的U-Net网络模型算法输出的预测图像，与原图标签的吻合度不高；图11为改进的U-Net网络模型算法输出的预测图像，与原图标签的吻合度较高。

Claims (9)

1.基于改进U-Net神经网络的设备故障缺陷诊断方法，包括步骤D，构建并训练改进U-Net神经网络模型，其特征在于：所述步骤D包括：
D1：将除测试样本之外的其它二分类灰度图像样本拆分为训练集、交叉验证集；构建包括含5层下采样网络层、5层上采样网络层、且带有三重约束的改进U-Net网络模型；
所述三重约束，包括对位于最底层的第五上采样网络层进行三级损失约束、对紧邻第五上采样网络层的第四上采样网络层进行二级损失约束和对位于最顶层的第一上采样网络层进行一级损失约束；
所述的三级损失约束对第五上采样网络层输出的图像预测结果与该层对应的图像真实值之间的图像数据损失值约束；二级损失约束对第四上采样网络层输出的图像预测结果与该层对应的图像真实值之间的图像数据损失值约束；一级损失约束对最终图像输出结果与样本图像真实值之间的图像数据损失值约束；
每级约束的图像数据损失值计算公式如下：
Figure FDA0002496617200000011
式中：J(θ)表示训练图像样本的总损失值；θ表示求解权重参数；m表示训练集图像样本个数；y(i)表示对应像素i的二分类类别标签；x(i)表示样本x的当前输入像素i；S(x(i))表示当前像素i被识别为设备故障缺陷的概率值：
Figure FDA0002496617200000012
式中：x表示对应上采样网络层的图像样本数据输入，由前一层的图像样本数据输出表示；e为常数，e≈2.71828；T表示转置，对调矩阵的行列；
三重约束的总损失函数为三级损失函数之和，即：
Jt(θ)＝α1J1(θ)+α2J2(θ)+α3J3(θ)
式中：J1(θ)、J2(θ)和J3(θ)分别为一级约束的图像数据损失值、二级约束的图像数据损失值和三级约束的图像数据损失值；α1，α2和α3分别表示一级约束、二级约束和三级约束的学习率，α1+α2+α3＝1；t表示total总和；
D2：改变模型参数，包括权重参数θ,学习率α1，α2和α3，利用训练集训练上述D1构建的模型；
D3：通过每级约束对应上采样网络层输出的预测结果与该层对应的图像真实值的损失函数值计算，求取三重约束的总损失函数值Jt(θ)；
然后判断性能参数指标是否保持更新：
如是：转入D2；
如否：转入D4；
D4：将该模型下总损失函数最小值对应的模型参数作为该模型的合理模型参数；
D5：利用交叉验证集对合理模型参数下的该模型进行验证，求取样本集每张图片每行像素点的IoU值；
所述的IoU值表示交并比：
Figure FDA0002496617200000021
式中：A表示真实图像，B表示预测图像；
对真实图像A、预测图像B的对应矩阵逐行进行IoU运算，运算值分别与阈值比较：
IoU值＞阈值，转入D6；
IoU值≤阈值，不纳入平均值计算；
D6：在合理模型参数的该模型下，对样本集图像分别对应的IoU值计算平平均值，求得合理模型参数下的该模型对应的最终IoU值；
判断此时训练模型数量是否达到设定数量：
如是，进一步判断性能参数指标是否保持更新：如是，增加训练模型数量，转回D1，直至性能参数指标不再更新，转入D7，结束模型构建；如否，转入D7，结束模型构建；
如否，转回D1；
D7：比较多个合理模型参数下的不同模型的最终IoU值，选择评估结果最优的模型作为最终的改进U-Net网络模型；
D8：利用测试样本进行结果测试，将预测图像与真实图像进行IoU评价，根据测试结果确定最终的改进U-Net神经网络模型参数。
2.根据权利要求1所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：
所述5层下采样网络层，由顶至底包括第一下采样网络层(1)，第二下采样网络层(2)，第三下采样网络层(3)，第四下采样网络层(4)和第五下采样网络层(5)，第五下采样网络层(5)包括2次连续的卷积CONV-批标准化BN-激活函数RELU，其它下采样网络层均包括依序连接的2次连续的卷积CONV-批标准化BN-激活函数RELU、1次最大池化MAXPOOLING和1次参数为0.5的DROPOUT，经过每层下采样网络层后，样本图像数据分辨率减半，通道数翻倍；
所述5层上采样网络层，由顶至底包括第一上采样网络层(6)，第二上采样网络层(7)，第三上采样网络层(8)，第四上采样网络层(9)和第五上采样网络层(10)，第一上采样网络层(6)包括卷积CONV-激活函数SIGMOID，其它上采样网络层均包括依序连接的1次上卷积UPCONV，1次拼接CONCAT-1次参数为0.5的DROPOUT和2次连续的卷积CONV-批标准化BN-激活函数RELU，经过每层上采样网络层后，图像数据分辨率减半，通道数减半；
所述拼接CONCAT是指通过级联的方式将除第五下采样网络层(5)外的其它每层下采样网络层的特征信息对应补充到图像数据分辨率相同的除第一上采样网络层(6)外的其它每层上采样网络层中。
3.根据权利要求1所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：所述图像真实值为与该上采样网络层样本图像数据分辨率相同、预标注好类别标签的真实二分类灰度重图像数据。
4.根据权利要求1所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：
步骤D前还包括以下步骤：
A：获取外观带有缺陷裂纹的设备外观原始图像，将设备外观原始图像的分辨率调整统一；
B：在设备外观原始图像上标注裂纹区域，并对裂纹区域进行二值化灰度处理，生成带标注的二分类灰度图像；
C：读取上述步骤B的二分类灰度图像数据，转化为多维数组，拆分为测试样本和其它二分类灰度图像样本；
步骤D后还包括以下步骤：
E：将最终的改进U-Net网络模型运用于实际的设备外观故障缺陷检测中，将预测到的故障外观、大小信息在客户端进行3D显示。
5.根据权利要求4所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：所述步骤A包括：
A1：将获取的设备外观原始图像、视频等原始信号经过手动筛选，去除外观无缺陷裂纹的图像；
A2：将外观带有缺陷裂纹的设备外观原始图像Resize统一重新调整尺寸；
A3：如果外观带有缺陷裂纹的设备外观原始图像数量偏少，采用Image DataGenerator函数对外观带有缺陷裂纹的设备外观原始图像进行水平翻转、垂直翻转、角度翻转等新生成图像样本，扩充样本图像数据。
6.根据权利要求5所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：所述A3采用TTA测试时增强技术，将原始图像进行水平翻转、垂直翻转、角度翻转等操作，形成新的图像样本，然后取上述图像样本的平均值作为样本图像数据放入改进U-Net神经网络模型中训练改进U-Net神经网络模型。
7.根据权利要求4所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：所述步骤B包括：
B1：将外观带有缺陷裂纹的设备外观原始图像导入到labelme软件中，对原始图像当中的外观缺陷裂纹区域进行选取标注，最后保存成与原始图像文件名一致的.JSON文件；
B2：制作图像区分标记文件class_name.txt，然后遍历目录和文件夹获取B1生成的.JSON文件后，load装载样本图像的.JSON文件；
B3：生成只包含外观缺陷裂纹区域标注图像的.PNG文件，生成在原始图像当中融合了外观缺陷裂纹区域标注图像的.JPG文件；
B4：将B3中的.PNG文件做二值化灰度处理，输出新的可用于训练、验证及测试改进U-Net网络模型的二分类灰度图像样本。
8.根据权利要求1所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：所述的步骤E中客户端进行3D显示，是指在移动互联网或者移动智能终端上，通过WebGL方法，将设备故障信息三维投射在画面上，并且画面显示数据与预测数据同步。
9.根据权利要求1所述的基于改进U-Net神经网络的设备故障缺陷诊断方法，其特征在于：所述的性能参数指标包括Early Stopping提前结束训练的条件参数。
CN202010420086.9A 2020-05-18 2020-05-18 基于改进U-Net神经网络的设备故障缺陷诊断方法 Active CN111626994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010420086.9A CN111626994B (zh) 2020-05-18 2020-05-18 基于改进U-Net神经网络的设备故障缺陷诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010420086.9A CN111626994B (zh) 2020-05-18 2020-05-18 基于改进U-Net神经网络的设备故障缺陷诊断方法

Publications (2)

Publication Number Publication Date
CN111626994A true CN111626994A (zh) 2020-09-04
CN111626994B CN111626994B (zh) 2023-06-06

Family

ID=72260624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010420086.9A Active CN111626994B (zh) 2020-05-18 2020-05-18 基于改进U-Net神经网络的设备故障缺陷诊断方法

Country Status (1)

Country Link
CN (1) CN111626994B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395968A (zh) * 2020-11-11 2021-02-23 北京京航计算通讯研究所 基于神经网络的机械旋转部件故障诊断方法及装置
CN112465776A (zh) * 2020-11-26 2021-03-09 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112700412A (zh) * 2020-12-29 2021-04-23 南京势创智能科技有限公司 基于led光源的光致发光电池片缺陷检测方法
CN112862130A (zh) * 2021-02-03 2021-05-28 北京戴纳实验科技有限公司 一种结合冰箱对样本的存储管理方法
CN113837931A (zh) * 2021-09-27 2021-12-24 海南长光卫星信息技术有限公司 遥感图像的变换检测方法、装置、电子设备及存储介质
CN114492789A (zh) * 2022-01-25 2022-05-13 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN114898177A (zh) * 2022-05-09 2022-08-12 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN114492789B (zh) * 2022-01-25 2024-05-14 天津工业大学 一种数据样本的神经网络模型构建方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144509A1 (en) * 2016-09-02 2018-05-24 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN111127412A (zh) * 2019-12-18 2020-05-08 广东工业大学 一种基于生成对抗网络的病理图像识别装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144509A1 (en) * 2016-09-02 2018-05-24 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN111127412A (zh) * 2019-12-18 2020-05-08 广东工业大学 一种基于生成对抗网络的病理图像识别装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395968A (zh) * 2020-11-11 2021-02-23 北京京航计算通讯研究所 基于神经网络的机械旋转部件故障诊断方法及装置
CN112465776A (zh) * 2020-11-26 2021-03-09 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112465776B (zh) * 2020-11-26 2023-10-31 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112700412A (zh) * 2020-12-29 2021-04-23 南京势创智能科技有限公司 基于led光源的光致发光电池片缺陷检测方法
CN112862130A (zh) * 2021-02-03 2021-05-28 北京戴纳实验科技有限公司 一种结合冰箱对样本的存储管理方法
CN112862130B (zh) * 2021-02-03 2023-11-03 北京戴纳实验科技有限公司 一种结合冰箱对样本的存储管理方法
CN113837931A (zh) * 2021-09-27 2021-12-24 海南长光卫星信息技术有限公司 遥感图像的变换检测方法、装置、电子设备及存储介质
CN114492789A (zh) * 2022-01-25 2022-05-13 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN114492789B (zh) * 2022-01-25 2024-05-14 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN114898177A (zh) * 2022-05-09 2022-08-12 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN114898177B (zh) * 2022-05-09 2023-08-04 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品

Also Published As

Publication number Publication date
CN111626994B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111626994A (zh) 基于改进U-Net神经网络的设备故障缺陷诊断方法
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN111126202B (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN108537269B (zh) 一种弱交互式的物体检测深度学习方法及其系统
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN112966684A (zh) 一种注意力机制下的协同学习文字识别方法
CN112651978A (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质
CN114782694B (zh) 无监督异常检测方法、系统、设备及存储介质
CN110599502B (zh) 一种基于深度学习的皮肤病变分割方法
CN115440346B (zh) 基于半监督学习的痤疮分级方法、系统、设备及存储介质
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN110472673B (zh) 参数调整方法、眼底图像处理方法、装置、介质及设备
CN113989577B (zh) 图像分类方法及装置
CN111127400A (zh) 一种乳腺病变检测方法和装置
CN114565605A (zh) 一种病理图像的分割方法及装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Shao et al. Generative image inpainting with salient prior and relative total variation
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
Zheng et al. Transformer-based hierarchical dynamic decoders for salient object detection
Lv et al. An image rendering-based identification method for apples with different growth forms
CN114998990B (zh) 一种工地人员安全行为识别方法及装置
CN117392392B (zh) 一种割胶线识别与生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant