CN114049343A - 基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法 - Google Patents

基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法 Download PDF

Info

Publication number
CN114049343A
CN114049343A CN202111392839.0A CN202111392839A CN114049343A CN 114049343 A CN114049343 A CN 114049343A CN 202111392839 A CN202111392839 A CN 202111392839A CN 114049343 A CN114049343 A CN 114049343A
Authority
CN
China
Prior art keywords
texture
missing
image
tracing
crack propagation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111392839.0A
Other languages
English (en)
Inventor
张啸尘
李峻州
张天
孟维迎
龙彦泽
李颂华
周鹏
石怀涛
丁兆洋
张宇
邹德芳
李翰文
范才子
金兰茹
刁梦楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Jianzhu University
Original Assignee
Shenyang Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Jianzhu University filed Critical Shenyang Jianzhu University
Priority to CN202111392839.0A priority Critical patent/CN114049343A/zh
Publication of CN114049343A publication Critical patent/CN114049343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，涉及计算机视觉技术领域。该方法首先通过边缘提取以及修复算法获得标记缺失区域的纹理图像，然后再构建纹理内容生成器和纹理内容判别器从而生成基于对抗网络的纹理追溯模型，再将标记缺失区域的纹理图像、完整的特征轮廓图像和Mask图像作为训练数据集对纹理追溯模型进行训练，最后利用训练好的纹理追溯模型进行缺失纹理的追溯。该方法主要分为网络训练过程以及追溯过程两部分，更具体的本发明方法可对纹理缺失图像进行有效的纹理追溯，为后续的微观纹理分析打下了良好的基础，具有很高的实用性。

Description

基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法。
背景技术
在现代机械装备的运行和维护中，对于机械装备可靠性和安全性的评估与预测至关重要。尤其是在恶劣的环境中运行，对于该装备各部件的疲劳强度，运行性能是一种极大的考验。随着时间的推移，机械装备各部件在服役过程中难免会出现缺陷甚至失效，若无法了解部件材料服役过程中的失效规律，采取应对的方法，就会造成巨大的时间损失以及经济损失。
而疲劳断裂作为结构零件失效的主要形式，绝大多数结构部件失效导致的重大事故都与疲劳断裂有关。因此，对于疲劳及疲劳断裂失效分析的研究是极其重要的。而疲劳断裂中一大重要微观“物证”便是疲劳断裂断口，对于失效断口进行深入分析是研究失效历程和失效机理的一大重要手段。但在实际研究过程中，对于断口图像中纹理的采集往往会出现各种问题，由于断口本身受环境影响出现腐蚀或者氧化，导致断口图像中的纹理特征并不明显；另一方面裂纹的纹理特征表现为精细化、复杂化、不规则，微观成像技术难以呈现细微纹理的全貌；在采集断口图像过程中，由于成像亮度过高也会出现纹理特征被光影覆盖的情况。上述原因均会导致断口信息缺失的后果，对后续的特征研究带来不良影响。因此有必要采用新理论、新方法对微观尺度裂纹扩展过程中的缺失信息进行追溯，为后续的断口分析和失效过程的研究打下坚实的基础。
图像缺失纹理信息的追溯问题是基于图像中已有信息，去还原图像中的缺失部分。图像修复领域的相关研究最初是为解决去除遮挡或对破损的图像进行纹理追溯，然而这却是一个“病态”问题，图像修复过程需要一些前提假设，通过一定的约束条件，建立最优准则，实现图像缺失纹理追溯。
如何追溯裂纹扩展历程的缺失信息，实现对失效缘由和失效机理的准确认知，是失效分析领域遇到的新问题与新挑战。深度学习理论作为模式识别和机器学习领域最新的研究成果，以其强大的建模和表征能力，正在席卷整个图形学研究领域。当传统物理模型发展遇到瓶颈的时候，深度学习理论方法能够解释复杂的数理模型，认识失效断口特征纹理的深层结构，指导缺失信息的生成与处理，为裂纹扩展历程智能追溯的实现提供行之有效的科学方法。
然而，微观尺度断口中裂纹扩展历程缺失信息智能追溯的难点在于对精细纹理的追溯质量要求。目前，研究人员已经开发的图像修复模型对精细纹理的修复能力有限，采用单一或者少量损失函数来建立修复模型难以精确地复原断口图像中裂纹扩展缺失信息的细节纹理。因此，研究多尺度特征提取对细节纹理追溯的优化特性，建立多损失“博弈”机制的纹理智能追溯模型，深度学习裂纹扩展历程的纹理特征，指导缺失信息的重建，是实现裂纹扩展历程复杂缺失纹理智能追溯的科学方法。现有的图像修复模型难以解决裂纹追溯过程中对精细纹理的质量要求问题，多尺度、多损失的模型结构尚不成熟，难以实现智能化、精确化追溯目标。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，实现对裂纹扩展历程中复杂缺失纹理的追溯。
为解决上述技术问题，本发明所采取的技术方案是：基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，包括以下步骤：
步骤1：利用边缘提取算法提取裂纹扩展历程的微观纹理图像特征轮廓；
步骤1.1：用边缘算子提取出微观纹理图像中反映灰度变化的边缘点集合；
步骤1.2：在边缘点集合中剔除灰度值偏差大于设定阈值的像素点，并填补缺失像素值的边界间断点，将最终处理好的边缘点连接成完整的线，得到裂纹扩展历程的微观纹理图像特征轮廓；
步骤2：利用Mask数据集中的不同Mask图像，在原始纹理图像上和特征轮廓上获取带缺失区域标记的纹理图像和特征轮廓；再利用边缘修复算法对带缺失区域标记的纹理图像和特征轮廓的缺失区域进行边缘修复，获取完整的扩展特征轮廓；所述Mask数据集包含不规则Mask图像和规则的方形Mask图像；
步骤3：搭建基于生成对抗网络的纹理追溯模型；
所述基于生成对抗网络的纹理追溯模型包括纹理内容生成器和纹理内容判别器两个部分；
所述纹理内容生成器通过多尺度的编码器与解码器建立，首先根据特征图像分辨率的大小依次设置多个预测分支，每个分支去单独预测不同尺度的目标特征；对于用于预测分辨率大于设定阈值的预测分支，根据实际网络参数采用卷积通道进行处理，对于用于预测分辨率小于等于设定阈值的预测分支，由调参结果采用卷积通道进行处理，并根据形成的新通道信息构建多分支结构的蒸馏模型；然后通过高斯卷积核、带孔卷积、池化策略来控制感受野；采用初始纹理生成弱标记、阶段纹理生成标记和精细化纹理生成标记逐层抽象提取纹理特征；生成对抗网络的损失函数采用多尺度均方差以及多尺度梯度差，将高层语义特征和相邻底层特征组合形成新的特征，逐层预测缺失纹理，并完成多尺度特征提取和纹理内容的生成预测；
所述纹理内容判别器由重构损失
Figure BDA0003368969830000031
对抗损失
Figure BDA0003368969830000032
感知损失
Figure BDA0003368969830000033
和风格损失
Figure BDA0003368969830000034
共同构建，判别器定义式如下：
Figure BDA0003368969830000035
其中,λr、λa2、λs、λsty分别为通过试验确定的各损失函数的权重参数；G2是判别器输入的原始图像像素点的灰度值，D2是该图像像素点的方差；
重构损失为轮廓判别中的特征匹配损失，通过实验获得；
而对抗损失的定义为：
Figure BDA0003368969830000036
其中，Ireal为真实图像，Pcomp为真实轮廓与预测轮廓的合成图，Tpred为缺失纹理的追溯结果，E为分布函数的期望值，D2为方差；
纹理内容判别器中的感知损失通过在生成对抗网络的预训练网络的激活层之间定义距离度量来优化在感知器上生成的标记与精细像素级标记的差异化结果，定义为：
Figure BDA0003368969830000037
其中，
Figure BDA0003368969830000038
为生成对抗网络的预训练网络的激活函数，τ对应来自于Mask数据集上预先训练的激活，Nτ为激活层神经元个数；
纹理内容判别器中的风格损失在激活层上计算得到，定义为：
Figure BDA0003368969830000039
其中，E是期望，
Figure BDA00033689698300000310
为灰度值函数，通过伽马矩阵对激活函数
Figure BDA00033689698300000311
进行构造获得；
步骤4：将标记缺失区域的纹理图像、完整的特征轮廓图像和Mask图像作为训练数据集，对基于生成对抗网络的纹理追溯模型进行训练；
步骤4.1：选取一组训练数据集样本，输入至基于生成对抗网络的纹理追溯模型；
步骤4.2：通过纹理内容生成器提取背景形貌与缺失区域的颜色、轮廓、纹理这些特征；确定提取的背景形貌与缺失区域对应特征之间的逻辑关系，得到预测的缺失纹理；
步骤4.3：利用纹理内容判别器计算预测的缺失纹理与真实原纹理的误差，学习区分预测缺失纹理与真实原纹理，并优化纹理内容生成器；
步骤4.4：重复执行步骤4.1-4.3，直至基于生成对抗网络的纹理追溯模型收敛；
步骤5：将纹理缺失的图片输入到已经训练好的纹理追溯模型，进行裂纹纹理的重建修复，最终追溯得到完整的裂纹纹理图像；
步骤5.1：利用分割算法在存在缺失的裂纹扩展历程的微观纹理图像上进行微观纹理的分割，获取缺失区域的Mask图像；
步骤5.2：通过缺失区域Mask图像得到带掩膜的缺失纹理图像；
步骤5.3：利用边缘修复算法获取纹理图像缺失区域的边缘信息，获取完整的精细化裂纹扩展特征轮廓；
步骤5.4：将标记缺失区域的纹理图像、完整的裂纹扩展特征轮廓图像和Mask图像输入至训练好的基于生成对抗网络的纹理追溯模型；
步骤5.5：通过纹理内容生成器提取背景形貌与缺失区域的颜色、轮廓、纹理特征，预测缺失纹理，实现缺失区域中裂纹纹理的重建修复；
步骤5.6：结合缺失区域中修复的裂纹纹理，最终追溯得到完整的裂纹纹理图像。
采用上述技术方案所产生的有益效果在于：本发明提供的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，基于生成对抗网络的纹理追溯模型通过输入内容追溯网络输出的不完整纹理图像，利用多源图像数据训练集的复合边缘纹理进行调节。通过深度学习相邻背景形貌的精细纹理与前一阶段缺失区域中生成纹理的逻辑关系来构造边缘假想纹理。针对复杂纹理的追溯精确性问题，拟构建重构损失、对抗损失、感知损失和风格损失的“博弈”训练机制，用以训练多损失的纹理追溯生成器。其中，重构损失拟使用轮廓判别中的特征匹配损失。
本发明方法为确保多损失训练模型的信息交互完整，建立了高维信息与低维信息交互耦合的细节纹理追溯机制，将缺失区域边缘和背景形貌的颜色、纹理信息相结合，进而追溯缺失区域的纹理细节，实现端到端的可训练网络，完成裂纹扩展历程复杂缺失纹理的智能追溯。
附图说明
图1为本发明实施例提供的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法的流程图；
图2为本发明实施例提供的纹理追溯模型的生成对抗网络的示意图；
图3为本发明实施例提供的U-net网络结构示意图；
图4为本发明实施例提供的纹理追溯模型的整体框架图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中，基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，如图1所示，包括以下步骤：
步骤1：为了能更好的提取微观断口图像的轮廓，本发明采利用边缘提取算法提取裂纹扩展历程的微观纹理图像特征轮廓；其中边缘提取的基本思想是利用边缘增强算子，突出图像中的局部边缘，然后定义象素的“边缘强度”，通过设置阈值的方法提取边缘点集。由于噪声和模糊的存在，监测到的边界可能会变宽或在某点处发生间断。因此，边缘检测包括两个基本内容：(1)用边缘算子提取出反映灰度变化的边缘点集。(2)在边缘点集合中剔除某些边界点或填补边界间断点，并将这些边缘连接成完整的线。
步骤1.1：用边缘算子提取出微观纹理图像中反映灰度变化的边缘点集合；
本实施例采用微分算子进行边缘检测，其一阶导数算子定义如下：
Figure BDA0003368969830000051
进一步简化计算：
Figure BDA0003368969830000052
其中，f(x,y)是微观纹理图像上像素点(x,y)的灰度值，grad(f(x,y))为f(x,y)的梯度，
Figure BDA0003368969830000053
和
Figure BDA0003368969830000054
它们分别求出了像素点(x,y0的灰度值在x和y方向上的变化率；
步骤1.2：在边缘点集合中剔除灰度值偏差大于设定阈值的像素点，并填补缺失像素值的边界间断点，将最终处理好的边缘点连接成完整的线，得到裂纹扩展历程的微观纹理图像特征轮廓；
步骤2：利用Mask数据集中的不同Mask图像，在原始纹理图像上和特征轮廓上获取带缺失区域标记的纹理图像和特征轮廓；再利用边缘修复算法对带缺失区域标记的纹理图像和特征轮廓的缺失区域进行边缘修复，获取完整的扩展特征轮廓；所述Mask数据集包含不规则Mask图像和规则的方形Mask图像；
本实施例采用基于纹理合成的快速自适应方法进行边缘修复，获取完整的扩展特征轮廓；
首先获取缺失区域边缘的像素块，然后从缺失区域边缘周围的像素块中抽取与缺失区域边缘的像素块的灰度值相似的像素块，以达到特征匹配的目的，并计算这些像素块与边缘区域像素块的相似度，这里相似度的计算选用SSD(Sum of Squared Distance)，其定义如下：
Figure BDA0003368969830000055
其中，f(i,j)为缺失区域边缘像素点(i,j)的像素值，f(i+u,j+v)为缺失区域边缘像素点(i+u,j+v)的像素值，M,N是缺失区域边缘像素点(i,j)坐标的范围，u,v代表像素点(i,j)的移动距离；
最后选取缺失区域边缘周围的像素块中与缺失区域边缘的像素块的SSD最小值即差异值最小的像素块作为修补块来对缺失区域进行边缘修复；
步骤3：搭建基于生成对抗网络的纹理追溯模型；
所述基于生成对抗网络的纹理追溯模型如图2所示，包括纹理内容生成器和纹理内容判别器两个部分；
所述纹理内容生成器通过多尺度的编码器与解码器建立，首先根据特征图像分辨率的大小依次设置多个预测分支，每个分支去单独预测不同尺度的目标特征；对于用于预测分辨率大于设定阈值的预测分支，根据实际网络参数采用卷积通道进行处理，同理对于用于预测分辨率小于等于设定阈值的预测分支，由调参结果采用卷积通道进行处理，并根据形成的新通道信息构建多分支结构的蒸馏模型；然后通过高斯卷积核、带孔卷积、池化策略来控制感受野；所述感受野为卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小。采用初始纹理生成弱标记、阶段纹理生成标记和精细化纹理生成标记逐层抽象提取纹理特征；生成对抗网络的损失函数采用多尺度均方差以及多尺度梯度差，最后，将高层语义特征和相邻底层特征组合形成新的特征，逐层预测缺失纹理，并完成多尺度特征提取和纹理内容的生成预测；通过以上组合构建出纹理生成器。
所述纹理内容判别器由重构损失
Figure BDA0003368969830000061
对抗损失
Figure BDA0003368969830000062
感知损失
Figure BDA0003368969830000063
和风格损失
Figure BDA0003368969830000064
共同构建，判别器定义式如下：
Figure BDA0003368969830000065
其中,λr、λa2、λs、λsty分别为通过试验确定的各损失函数的权重参数；G2是判别器输入的原始图像像素点的灰度值，D2是该图像像素点的方差。
重构损失为轮廓判别中的特征匹配损失，通过实验获得；而对抗损失的定义为：
Figure BDA0003368969830000066
其中，Ireal为真实图像，Pcomp为真实轮廓与预测轮廓的合成图，Tpred为缺失纹理的追溯结果，E为分布函数的期望值，D2为方差；
纹理内容判别器中的感知损失通过在生成对抗网络的预训练网络的激活层之间定义距离度量来优化在感知器上生成的标记与精细像素级标记的差异化结果，定义为：
Figure BDA0003368969830000071
其中，
Figure BDA0003368969830000072
为生成对抗网络的预训练网络的激活函数，τ对应来自于Mask数据集上预先训练的激活，Nτ为激活层神经元个数；
纹理内容判别器中的风格损失在激活层上计算得到，定义为：
Figure BDA0003368969830000073
其中，
Figure BDA0003368969830000074
为灰度值函数，通过伽马矩阵对激活函数
Figure BDA0003368969830000075
进行构造获得；
步骤4：将标记缺失区域的纹理图像、完整的特征轮廓图像和Mask图像作为训练数据集，对基于生成对抗网络的纹理追溯模型进行训练；
步骤4.1：选取一组训练数据集样本，输入至基于生成对抗网络的纹理追溯模型；
步骤4.2：通过纹理内容生成器提取背景形貌与缺失区域的颜色、轮廓、纹理这些特征；确定提取的背景形貌与缺失区域对应特征之间的逻辑关系，得到预测的缺失纹理；
步骤4.3：利用纹理内容判别器计算预测的缺失纹理与真实原纹理的误差，学习区分预测缺失纹理与真实原纹理，并优化纹理内容生成器；
步骤4.4：重复执行步骤4.1-4.3，直至基于生成对抗网络的纹理追溯模型收敛；
步骤5：将纹理缺失的图片输入到已经训练好的纹理追溯模型，进行裂纹纹理的重建修复，最终追溯得到完整的裂纹纹理图像；
步骤5.1：利用分割算法在存在缺失的裂纹扩展历程的微观纹理图像上进行微观纹理的分割，获取缺失区域的Mask图像；
本实施例采用如图3所示的U-net网络来进行微观纹理的分割，具体方法为：
将待分割的图片进行预处理，将样本图片大小统一调整为512*512，再进行高斯低通滤波去噪进行处理；本实施例选用二维高斯函数进行滤波，其表达形式如下：
Figure BDA0003368969830000076
其中，x,y为在图像的像素点邻域内取的坐标，δ为这些坐标点的标准差，G(x,y)为权重系数；
通过滤波合理地使待处理的图像更加清晰以便于网络的特征提取。同时，将搭建好的U-net网络进行训练，还需要对原始图像进行打标签的预处理，将待提取的特征进行标签区域的框选，随后再输入到U-net网络中。
整个U-net网络前面的下采样是对图片进行多次卷积和池化，减小了对应的分辨率并增加特征通道数，随后上采样再利用反卷积进行分辨率的提升，同时减少通道的个数，例如网络输入一张572×572的图片，经过一系列下采样，最终得到尺寸为32×32的特征图。经过上采样，最终得到的特征图尺寸为388×388。
U-net网络的损失函数如下：
L＝∑x∈Ωω(x)log(pk(x)(x))
其中，pk(x)(x)是softmax损失函数，ω(x)是像素点x的权值，目的是为了给图像中贴近边界点的像素更高的权值，Ω为所有像素点的集合；
将打好特征标签的图像作为训练集进行U-net网络的训练，随后将存在缺失的裂纹扩展历程的微观纹理图像输入，获得缺失区域分割好图像，从而得到带掩膜的缺失纹理图像；
步骤5.2：通过缺失区域Mask图像得到带掩膜的缺失纹理图像；
带掩膜的图像代表缺失区域的轮廓，为方便后续的纹理追溯工作，可以将所得的带掩膜的缺失纹理图像再进行预处理，这里还将图像的尺寸调整为512*512，并进行去噪处理，然后再进行下一步的图像工作。
步骤5.3：利用边缘修复算法获取纹理图像缺失区域的边缘信息，获取完整的精细化裂纹扩展特征轮廓；
边缘提取就是要保留图像灰度变化剧烈的区域，最直观的方法就是微分。这里输出边缘的二值图像也就是只有黑和白两个灰度，一个代表边缘，一个代表背景。首先定义出大小为3*3的模板，利用微分算子进行运算，将模板中心对应到图像的每一个像素位置，然后按照模板对应的算子对中心像素和周围像素进行运算，算出的结果作为输出图像对应像素点的值，随后进行图像增强处理从而使特征更加显著，本实施例使用邻域处理的方式进一步优化获取的边缘信息。
步骤5.4：将标记缺失区域的纹理图像、完整的裂纹扩展特征轮廓图像和Mask图像输入至训练好的基于生成对抗网络的纹理追溯模型；
步骤5.5：通过纹理内容生成器提取背景形貌与缺失区域的颜色、轮廓、纹理特征，预测缺失纹理，实现缺失区域中裂纹纹理的重建修复；本实施例中，训练好的基于生成对抗网络的纹理追溯模型如图4所示。
步骤5.6：结合缺失区域中修复的裂纹纹理，最终追溯得到完整的裂纹纹理图像。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：包括以下步骤：
步骤1：利用边缘提取算法提取裂纹扩展历程的微观纹理图像特征轮廓；
步骤2：利用Mask数据集中的不同Mask图像，在原始纹理图像上和特征轮廓上获取带缺失区域标记的纹理图像和特征轮廓；再利用边缘修复算法对带缺失区域标记的纹理图像和特征轮廓的缺失区域进行边缘修复，获取完整的扩展特征轮廓；
步骤3：搭建基于生成对抗网络的纹理追溯模型；
步骤4：将标记缺失区域的纹理图像、完整的特征轮廓图像和Mask图像作为训练数据集，对基于生成对抗网络的纹理追溯模型进行训练；
步骤5：将纹理缺失的图片输入到已经训练好的纹理追溯模型，进行裂纹纹理的重建修复，最终追溯得到完整的裂纹纹理图像。
2.根据权利要求1所述的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：所述步骤1的具体方法为：
步骤1.1：用边缘算子提取出微观纹理图像中反映灰度变化的边缘点集合；
步骤1.2：在边缘点集合中剔除灰度值偏差大于设定阈值的像素点，并填补缺失像素值的边界间断点，将最终处理好的边缘点连接成完整的线，得到裂纹扩展历程的微观纹理图像特征轮廓。
3.根据权利要求2所述的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：步骤3所述基于生成对抗网络的纹理追溯模型包括纹理内容生成器和纹理内容判别器两个部分；
所述纹理内容生成器通过多尺度的编码器与解码器建立，首先根据特征图像分辨率的大小依次设置多个预测分支，每个分支去单独预测不同尺度的目标特征；对于用于预测分辨率大于设定阈值的预测分支，根据实际网络参数采用卷积通道进行处理，对于用于预测分辨率小于等于设定阈值的预测分支，由调参结果采用卷积通道进行处理，并根据形成的新通道信息构建多分支结构的蒸馏模型；然后通过高斯卷积核、带孔卷积、池化策略来控制感受野；采用初始纹理生成弱标记、阶段纹理生成标记和精细化纹理生成标记逐层抽象提取纹理特征；
生成对抗网络的损失函数采用多尺度均方差以及多尺度梯度差，最后，将高层语义特征和相邻底层特征组合形成新的特征，逐层预测缺失纹理，并完成多尺度特征提取和纹理内容的生成预测；
所述纹理内容判别器由重构损失
Figure FDA0003368969820000021
对抗损失
Figure FDA0003368969820000022
感知损失
Figure FDA0003368969820000023
和风格损失
Figure FDA0003368969820000024
共同构建，判别器定义式如下：
Figure FDA0003368969820000025
其中,λr、λa2、λs、λsty分别为通过试验确定的各损失函数的权重参数；G2是判别器输入的原始图像像素点的灰度值，D2是该图像像素点的方差。
4.根据权利要求3所述的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：所述重构损失为轮廓判别中的特征匹配损失，通过实验获得；而对抗损失的定义为：
Figure FDA0003368969820000026
其中，Ireal为真实图像，Pcomp为真实轮廓与预测轮廓的合成图，Tpred为缺失纹理的追溯结果，E为分布函数的期望值，D2为方差；
纹理内容判别器中的感知损失通过在生成对抗网络的预训练网络的激活层之间定义距离度量来优化在感知器上生成的标记与精细像素级标记的差异化结果，定义为：
Figure FDA0003368969820000027
其中，
Figure FDA0003368969820000028
为生成对抗网络的预训练网络的激活函数，τ对应来自于Mask数据集上预先训练的激活，Nτ为激活层神经元个数；
纹理内容判别器中的风格损失在激活层上计算得到，定义为：
Figure FDA0003368969820000029
其中，
Figure FDA00033689698200000210
为灰度值函数，通过伽马矩阵对激活函数
Figure FDA00033689698200000211
进行构造获得。
5.根据权利要求3所述的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：所述步骤4的具体方法为：
步骤4.1：选取一组训练数据集样本，输入至基于生成对抗网络的纹理追溯模型；
步骤4.2：通过纹理内容生成器提取背景形貌与缺失区域的颜色、轮廓、纹理这些特征；确定提取的背景形貌与缺失区域对应特征之间的逻辑关系，得到预测的缺失纹理；
步骤4.3：利用纹理内容判别器计算预测的缺失纹理与真实原纹理的误差，学习区分预测缺失纹理与真实原纹理，并优化纹理内容生成器；
步骤4.4：重复执行步骤4.1-4.3，直至基于生成对抗网络的纹理追溯模型收敛。
6.根据权利要求5所述的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：所述步骤5的具体方法为：
步骤5.1：利用分割算法在存在缺失的裂纹扩展历程的微观纹理图像上进行微观纹理的分割，获取缺失区域的Mask图像；
步骤5.2：通过缺失区域Mask图像得到带掩膜的缺失纹理图像；
步骤5.3：利用边缘修复算法获取纹理图像缺失区域的边缘信息，获取完整的裂纹扩展特征轮廓；
步骤5.4：将标记缺失区域的纹理图像、完整的裂纹扩展特征轮廓图像和Mask图像输入至训练好的基于生成对抗网络的纹理追溯模型；
步骤5.5：通过纹理内容生成器提取背景形貌与缺失区域的颜色、轮廓、纹理特征，预测缺失纹理，实现缺失区域中裂纹纹理的重建修复；
步骤5.6：结合缺失区域中修复的裂纹纹理，最终追溯得到完整的裂纹纹理图像。
CN202111392839.0A 2021-11-23 2021-11-23 基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法 Pending CN114049343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111392839.0A CN114049343A (zh) 2021-11-23 2021-11-23 基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111392839.0A CN114049343A (zh) 2021-11-23 2021-11-23 基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法

Publications (1)

Publication Number Publication Date
CN114049343A true CN114049343A (zh) 2022-02-15

Family

ID=80210532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111392839.0A Pending CN114049343A (zh) 2021-11-23 2021-11-23 基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法

Country Status (1)

Country Link
CN (1) CN114049343A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905862A (zh) * 2022-11-07 2023-04-04 四川省医学科学院·四川省人民医院 一种基于生成对抗网络的缺失数据处理方法及系统
CN116596922A (zh) * 2023-07-17 2023-08-15 山东龙普太阳能股份有限公司 一种太阳能热水器生产质量检测方法
CN116823977A (zh) * 2023-03-16 2023-09-29 闽都创新实验室 一种微纳结构透射电子断层图像重构的深度学习方法
CN118052824A (zh) * 2024-04-16 2024-05-17 济宁丰玺生物材料有限公司 一种稻壳可降解餐盒缺陷检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905862A (zh) * 2022-11-07 2023-04-04 四川省医学科学院·四川省人民医院 一种基于生成对抗网络的缺失数据处理方法及系统
CN116823977A (zh) * 2023-03-16 2023-09-29 闽都创新实验室 一种微纳结构透射电子断层图像重构的深度学习方法
CN116823977B (zh) * 2023-03-16 2024-04-30 闽都创新实验室 一种微纳结构透射电子断层图像重构的深度学习方法
CN116596922A (zh) * 2023-07-17 2023-08-15 山东龙普太阳能股份有限公司 一种太阳能热水器生产质量检测方法
CN116596922B (zh) * 2023-07-17 2023-09-12 山东龙普太阳能股份有限公司 一种太阳能热水器生产质量检测方法
CN118052824A (zh) * 2024-04-16 2024-05-17 济宁丰玺生物材料有限公司 一种稻壳可降解餐盒缺陷检测方法
CN118052824B (zh) * 2024-04-16 2024-06-28 济宁丰玺生物材料有限公司 一种稻壳可降解餐盒缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN114049343A (zh) 基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN111582294B (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
Ni et al. A generative adversarial learning strategy for enhanced lightweight crack delineation networks
CN113807355A (zh) 一种基于编解码结构的图像语义分割方法
CN111209864B (zh) 一种电力设备目标识别方法
CN110097110B (zh) 一种基于目标优化的语义图像修复方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN115035371B (zh) 基于多尺度特征融合神经网络的井壁裂缝识别方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN113808005A (zh) 一种基于视频驱动的人脸姿态迁移方法及装置
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN114066867A (zh) 一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法
Liang et al. Automatic defect detection of texture surface with an efficient texture removal network
CN114548253A (zh) 一种基于图像识别及动态匹配的数字孪生模型构建系统
CN118172308A (zh) 融合注意力机制与可变形卷积的轮毂表面缺陷检测方法、装置、电子设备及存储介质
CN117745708A (zh) 基于深度学习算法的木地板表面瑕疵检测方法
CN116977280A (zh) 基于改进UPerNet与连通域分析的轨面缺陷检测方法
CN115937150A (zh) 基于点结构化信息网络的点云质量计算方法
CN111882495B (zh) 一种基于自定义模糊逻辑与gan的图像高光处理方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
CN115457379A (zh) 一种联合语义分割与角度预测的遥感影像道路提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination