CN113469913A - 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 - Google Patents

基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 Download PDF

Info

Publication number
CN113469913A
CN113469913A CN202110762335.7A CN202110762335A CN113469913A CN 113469913 A CN113469913 A CN 113469913A CN 202110762335 A CN202110762335 A CN 202110762335A CN 113469913 A CN113469913 A CN 113469913A
Authority
CN
China
Prior art keywords
network
image
strip steel
water drops
hot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762335.7A
Other languages
English (en)
Other versions
CN113469913B (zh
Inventor
罗旗舞
刘可欣
房晓鑫
阳春华
桂卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110762335.7A priority Critical patent/CN113469913B/zh
Publication of CN113469913A publication Critical patent/CN113469913A/zh
Application granted granted Critical
Publication of CN113469913B publication Critical patent/CN113469913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/10—Greenhouse gas [GHG] capture, material saving, heat recovery or other energy efficient measures, e.g. motor control, characterised by manufacturing processes, e.g. for rolling metal or metal working

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，包含步骤如下：首先建立带钢表面图像数据库，有无水滴的图像成对存在。然后构建渐进循环生成对抗网络模型，包括生成网络和判别网络。接着，随机抽取数据库中的成对图像作为训练集输入渐进循环生成对抗网络模型中，对生成网络和判别网络进行训练。最后，利用训练得到的生成网络去除热轧带钢表面的水滴。与相关技术相比，本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，能有效地抑制水滴的干扰，同时可靠地保留图像的其他细节，从热轧带钢伪缺陷去除的新视角，学习提高现有AVI仪缺陷检测性能的方法。

Description

基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法。
背景技术
自动视觉检测(automated visual inspection,AVI)仪器对热轧钢厂确保产品质量起着至关重要的作用。通常情况下，这种AVI仪器尽可能安排在热轧生产线的末端，而相邻的上游工序是喷雾冷却。因此，大量的水滴、水衣和雨线以随机的方式广泛分布在钢材表面，这些水滴、水衣和雨线被AVI系统捕获并被错误地识别为缺陷，基本上是伪缺陷。此外，特别是当遭遇异质性的伪缺陷时，会引发大量的错误警报。更糟糕的是，一些实际的缺陷被完全或部分地掩盖了，这将严重降低AVI仪器的检测精度。
实际上，如何解决上述问题，就是要建立一个强大的图像增强方法，能够精确跟踪和去除水滴掩膜，并最终完成图像丢失区域的补全。对于热轧钢带的表面质量检测，过去五年见证了深度学习方法的巨大进步。然而，几乎所有的方法都集中在缺陷检测或分类。水滴去除这样一个重要的研究问题似乎被研究人员忽略了。幸运的是，在视频增强领域，水滴去除的话题已经得到了广泛的研究。值得注意的是，Qian等人提出了Attentive GAN(generative adversarial network)，并实现了基于自制数据库的单幅图像中出色的雨滴去除，其中可以调查到一个典型的应用场景特征，即雨滴在相机镜头附近，但背景场景离相机镜头远。在大多数情况下，一些雨滴是模糊的，因为相机总是聚焦在风景照片的背景上。需要注意的是，对于热轧带的表面图像，水滴和钢板的成像距离几乎相同，结果是水滴很清晰，而被水滴遮挡的相应部分的信息则完全丢失。如上所述，那些在视频增强中流行的去除雨滴的优秀方法不能直接应用于热轧钢带的水滴去除。
另一个挑战是如何建立图像数据库，为实际高速热轧生产线上的表面水滴去除任务服务。假设某条钢带的某一位置有水滴的表面图像，几乎不可能得到该条钢带同一个位置的表面干净图像，因为热轧速度很快，钢带已经离开。也就是说，不可能在同一时间对钢带的某一表面位置获得严格的有水滴和无水滴的训练图像。
总而言之，现有的去除雨滴方法不适合应用于热轧带钢表面图像的水滴去除，容易使去除结果出现结构扭曲、纹理细节模糊和内容不连贯等问题，具有一定的局限性。并且带钢表面同一表面位置有水滴和无水滴的图像基本不存在，这对于训练测试网络模型具有很大挑战。
因此，有必要提供一种能够得到更加精细的缺失部分图像、改善修复图像在边界区域不连续问题的特点的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法解决上述技术问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种能够得到更加精细的缺失部分图像、改善修复图像在边界区域不连续问题的特点的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法。
本发明解决其技术问题采用的技术方案是：
一种基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，包括如下步骤：
步骤S10，建立带有水滴的带钢表面图像数据库；
步骤S20，构建渐进式循环生成对抗网络，并包括如下子步骤：
步骤S21，生成网络1-T；
步骤S22，生成马尔科夫判别网络；
步骤S30，将步骤S10得到的含水滴训练集图像输入步骤S20构建的渐进循环生成对抗网络的模型中，并有监督的对生成对抗网络通过全局损失函数进行训练，更新所有生成网络和马尔科夫判别网络的权值，其中，训练中采用的全局损失函数包括结构相似性指数SSIM损失函数和L1损失函数。
步骤S40，利用步骤S30训练得到的生成网络模型1并输入步骤S10所得到含水滴测试集的图像，生成网络T输出不含水滴的干净图像。
优选的，步骤S10包括如下子步骤：
步骤S11，使用高速摄像机拍摄单位尺寸的原始带钢表面图像，所述原始带钢表面图像包括有或没有水滴的图像；
步骤S12，从所述原始带钢表面图像中裁剪出尺寸为1000×1000像素的干净背景图像，并通过人为的方法将所述原始带钢表面图像中的水滴粘贴到所述干净背景图像中；
步骤S13，重复步骤S11及步骤S12，制作1200对尺寸为1000×1000像素的有或没有水滴的带钢表面图像的数据库；
步骤S14，从数据库中随机选取1100对图像作为训练集，剩余的100对图像作为测试集。
优选的，所述单位尺寸为4096×1024像素。
优选的，步骤S21的具体子步骤如下：
将步骤S14得到的数据库训练集中的含有水滴图像输入到生成器中，其中生成网络采用渐进式循环网络的模型结构，渐进式循环网络分为T个阶段，且每个阶段都包含一个浅层ResNet网络，每个阶段的浅层ResNet包括：
fin层，为输入层，是一个具有ReLU非线性激活函数的单层卷积，卷积层接收网络的输入，选择ReLU作为激活函数；
frecurrent层，为循环递归层，是一个LSTM结构；
fres层，包括多个ResBlocks，用于深度表示；
fout层，为卷积层，是网络的输出，用于导出除水滴后的图像。
优选的，渐进式循环网络的阶段数T的设定值为6。
优选的，步骤S21中，各阶段网络结构关系如下式：
xt-0.5＝fin(xt-1,y)
st＝frecurrent(st-1,xt-0.5)
xt＝fout(fres(st))
其中，fin层、fres层和fout层是阶段不变的，其网络参数可以在不同阶段重用，递归层采用xt-0.5和递归状态st-1作为t-1阶段的输入。
优选的，步骤S22中，所述马尔科夫判别网络采用卷积-批量规范-ReLU的形式作为模块，其判断图像中每个N×N色块是否为正值，将输入映射为N×N的矩阵X，从而对生成的水滴去除区域进行判别，指导步骤S21中得到的生成网络去除图像中的水滴。
优选的，步骤S30中，SSIM损失函数表示如下式所述：
LSSIM＝-SSIM(G(I),R)
其中，SSIM指的是结构相似性的操作；
L1损失函数定义如如下式：
Figure BDA0003150404900000041
其中，y(i)表示目标图像上每个像素的值，
Figure BDA0003150404900000042
指估计图像上的像素值；在渐进式循环生成对抗网络生成器中，L1损失函数的表示如下式：
Figure BDA0003150404900000043
因此，基于混合策略，最终生成器的损失函数定义如下式：
Figure BDA0003150404900000044
其中，α被设置为0.75，β被设置为1.1，γ被设置为50。
综上所述，与现有技术相比，本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，通过训练得到的生成器网络对带钢表面图像中的水滴部分进行去除。该方法在局部图像斑块结构上的判别指导生成网络产生更好地恢复图像纹理特征，同时实现生成图像的高细节维护，减少了模型的参数量，加快了运行速度，提高了生成图像的分辨率。
附图说明
图1为本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法的流程图；
图2为本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法的模型结构示意图；
图3为本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法中渐进生成对抗网络每一阶段生成器的网络结构图
图4a为本发明提供的实验例中带水地真实图像；
图4b为本发明提供的实验例中采用Attentive GAN方法处理后的图像；
图4c为本发明提供的实验例中采用PReNet方法处理后的图像；
图4d为本发明提供的实验例中采用Pix2Pix方法处理后的图像；
图4e为本发明提供的实验例中采用DuRN-S-P方法处理后的图像；
图4f为本发明提供的实验例中采用本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法处理后的图像。
具体实施方式
下面结合附图和实施例，对本发明进行详细描述。下述实验例和实施例用于进一步说明但不限于本发明。
请同时参阅图1至图3，本发明提供了一种基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，该方法利用渐进式图像雨线去除网络对带钢表面图像中的雨滴进行去除，具有帮助生成器更好地恢复图像纹理特征，使训练出来的模型更加注重细节的特点。
基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，包括如下步骤：
步骤S10、建立带有水滴的带钢表面图像数据库。
具体的，步骤S10包括如下子步骤：
步骤S11，使用高速摄像机拍摄单位尺寸的原始带钢表面图像，所述原始带钢表面图像包括有或没有水滴的图像；
优选的，在本步骤中，所述单位尺寸选择为4096×1024像素。当然，这并非对本发明的限定，在保证图片显示质量的前提下，所述单位尺寸也可以为其他像素选择。
步骤S12，从所述原始带钢表面图像中裁剪出尺寸为1000×1000像素的干净背景图像，并通过人为的方法将所述原始带钢表面图像中的水滴粘贴到所述干净背景图像中；
步骤S13，重复步骤S11及步骤S12，制作1200对尺寸为1000×1000像素的有或没有水滴的带钢表面图像的数据库；
步骤S14，从数据库中随机选取1100对图像作为训练集，剩余的100对图像作为测试集。
步骤S20，构件渐进式循环生成对抗网络，渐进式循环生成对抗网络包含生成网络和判别网络两部分；具体包括如下子步骤：
步骤S21，生成网络1-T，在本步骤中，将步骤S14得到的数据库训练集中的含有水滴图像输入到生成器中，其中生成网络采用渐进式循环网络的模型结构，渐进式循环网络分为T个阶段，且每个阶段都包含一个浅层ResNet网络。
具体的，每个阶段的浅层ResNet包括：
fin层，为输入层，是一个具有ReLU非线性激活函数的单层卷积，卷积层接收网络的输入，选择ReLU作为激活函数；
frecurrent层，为循环递归层，是一个LSTM结构；
fres层，包括多个ResBlocks，用于深度表示；
fout层，为卷积层，是网络的输出，用于导出除水滴后的图像。
优选的，在本实施方式中，渐进式循环网络的阶段数T的设定值为6。
具体的，在步骤S21中，各阶段网络结构关系如下式：
xt-0.5＝fin(xt-1,y)
st＝frecurrent(st-1,xt-0.5)
xt＝fout(fres(st))
其中，fin层、fres层和fout层是阶段不变的，其网络参数可以在不同阶段重用，递归层采用xt-0.5和递归状态st-1作为t-1阶段的输入。
步骤S22，生成马尔科夫判别网络；其中，所述马尔科夫判别网络采用卷积-批量规范-ReLU的形式作为模块，其判断图像中每个N×N色块是否为正值，将输入映射为N×N的矩阵X，从而对生成的水滴去除区域进行判别，指导步骤S21中得到的生成网络去除图像中的水滴。通过此步骤，可以实现对生成图像的高细节维护，它可以帮助生成器更好地恢复图像纹理特征，并使训练好的模型更关注细节，指导步骤S21中得到的生成网络去除图像中的水滴。
与普通GAN判别网络相比，马尔科夫判别网络将输入映射为补丁矩阵X，而普通GAN将输入映射为实数。最后，输出一个真(1)或假(0)的矢量，它代表了判断整个图像是真的还是假的评价。马尔科夫判别网络将输入映射为N×N的矩阵X。在原始图像中，每个补丁对应于一个1或0的矢量，其标签也被设定为一个N×N的矩阵，全部为1或0。换句话说，输出矩阵中的每个输出都对应于原始图像的一个补丁。直观地说，它完全由卷积层组成，所有区块的结果被平均化，以得到判别网络的最终输出。值得注意的是，N可以比整个图像的尺寸小得多，每个X是卷积层输出的特征图。我们可以从这个特征图中回溯到原始图像中的某个补丁，看看这个位置对最终输出结果的影响。
峰值信噪比(peak signal-to-noise ratio,PSNR)和SSIM是两个常用的指标，用于定量评价网络在去除热轧钢带表面水滴的性能。PSNR是最常见和广泛使用的客观评价指标。它建立在相应像素点之间的误差上，是依赖于误差灵敏度的图像质量评价方法。然而，许多实验表明，PSNR分数与人眼的视觉品质并不完全一致，有可能较高的PSNR实际上比较低的看起来更糟糕，其内在原因是PSNR是一个线性变换，分解图像信号不涉及相关性。PSNR的定义如下式：
Figure BDA0003150404900000081
其中，MAXR是代表一个图像点的颜色的最大值。如果每个样本点用8比特表示，就等于255。MSE代表均方误差。MSE越小，PSNR越大；这可以解释为什么PSNR越大，图像质量越好。
自然图像是高度结构化的，像素之间有很强的相关性，但大多数基于错误敏感性的评估方法总是忽略相关性。SSIM是对两幅图像相似程度的衡量。从图像构成的角度看，结构相似度指数将结构信息定义为独立于亮度和对比度，反映了物体在场景中的结构属性，将失真度建模为亮度、对比度和结构的组合。三者和SSIM的表达如下式：
Figure BDA0003150404900000091
Figure BDA0003150404900000092
Figure BDA0003150404900000093
Figure BDA0003150404900000094
其中，μR,μG(I)是R和G(I)的平均值。
Figure BDA0003150404900000095
分别表示图像R和G(I)的方差。σR·G(I)表示两者的协方差。c1、c2、c3是常数，以避免分母接近0时引起的不稳定。c3通常等于c2/2。当两个图像完全相同时，SSIM的值等于1。在正常情况下，较大的PSNR或SSIM通常表明效果较好，表明图像失真较小。
步骤S30，将步骤S10得到的含水滴训练集图像输入步骤S20构建的渐进循环生成对抗网络的模型中，并有监督的对生成对抗网络通过全局损失函数进行训练，更新所有生成网络和马尔科夫判别网络的权值，其中，训练中采用的全局损失函数包括结构相似性指数SSIM损失函数和L1损失函数。
具体的，在本步骤中，SSIM损失函数表示如下式所述：
LSSIM＝-SSIM(G(I),R)
其中，SSIM指的是结构相似性的操作；
L1损失函数定义如如下式：
Figure BDA0003150404900000101
其中，y(i)表示目标图像上每个像素的值，
Figure BDA0003150404900000102
指估计图像上的像素值；在渐进式循环生成对抗网络生成器中，L1损失函数的表示如下式：
Figure BDA0003150404900000103
因此，基于混合策略，最终生成器的损失函数定义如下式：
Figure BDA0003150404900000104
其中，α被设置为0.75，β被设置为1.1，γ被设置为50。
步骤S40，利用步骤S30训练得到的生成网络模型1并输入步骤S10所得到含水滴测试集的图像，生成网络T输出不含水滴的干净图像。
请结合参阅图4a至图4f，本发明还提供了一组实验例。
在实验例中，将本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法和其他现有的方法进行了比较，包括Attentive GAN,PReNet(progressiverecurrent networks),Pix2Pix,DuRN-S-P network。分别通过上述方法对亮度较高及亮度较低的两种情况下图片生成情况进行了采集。
从下述表1中可以看出，本发明提供的方法在PSNR方面明显优于其他方法。同时，除了Durn-S-P之外，SSIM也高于其他方法，但两者之间的差异非常小。毫无疑问，由这两个指标表明，我们的方法得到的结果更接近于没有伪缺陷的图像，主要原因是我们的网络对水滴的去除更敏感。
表1几种方法的定量评价对比.
Figure BDA0003150404900000111
在图4中，我们将Attentive GAN、PReNet、Pix2Pix、DuRN-S-P的结果与本发明的结果进行比较。
模型最终需要去除的是真实工业生产线上获得的图像，所以采用真实的热轧钢带图像来进行测试。图4(a)是被测试的真实图像，分辨率也是1000×1000，与训练图像相同。从图4(b)可以看出，虽然Attentive GAN中所有的水滴都被去除，但钢带的表面纹理被改变了，整个图像与原始图像有颜色差异。图4(c)是由PReNet得到的，没有色差。然而，它并没有完全去除水滴，与我们的方法相比，这个网络的图像修复能力是不够的。在图4(d)中，Pix2Pix在亮度较高的图像中获得了良好的去水效果，但在较暗的图像中，水滴部分不能被完全修复，仍有微小的水滴残留。此外，在图像边缘的黑色部分会有一些标记，这将影响后面的缺陷识别。虽然图4(e)中的DURN-S-P不会产生色差，并且具有较高的修复能力，但它不能去除细小的水滴。尽管我们的方法的SSIM略低于DURN-S-P，但从图4(f)可以看出，微小的水滴可以被彻底去除。
综上所述，与现有技术相比，本发明提供的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，通过训练得到的生成器网络对带钢表面图像中的水滴部分进行去除。该方法在局部图像斑块结构上的判别指导生成网络产生更好地恢复图像纹理特征，同时实现生成图像的高细节维护，减少了模型的参数量，加快了运行速度，提高了生成图像的分辨率。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和修饰，这些改进和修饰也应视为本发明的保护范围。

Claims (8)

1.一种基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，包括如下步骤：
步骤S10，建立带有水滴的带钢表面图像数据库；
步骤S20，构建渐进式循环生成对抗网络，并包括如下子步骤：
步骤S21，生成网络1-T；
步骤S22，生成马尔科夫判别网络；
步骤S30，将步骤S10得到的含水滴训练集图像输入步骤S20构建的渐进循环生成对抗网络的模型中，并有监督的对生成对抗网络通过全局损失函数进行训练，更新所有生成网络和马尔科夫判别网络的权值，其中，训练中采用的全局损失函数包括结构相似性指数SSIM损失函数和L1损失函数；
步骤S40，利用步骤S30训练得到的生成网络模型1并输入步骤S10所得到含水滴测试集的图像，生成网络T输出不含水滴的干净图像。
2.根据权利要求1所述的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，步骤S10包括如下子步骤：
步骤S11，使用高速摄像机拍摄单位尺寸的原始带钢表面图像，所述原始带钢表面图像包括有或没有水滴的图像；
步骤S12，从所述原始带钢表面图像中裁剪出尺寸为1000×1000像素的干净背景图像，并通过人为的方法将所述原始带钢表面图像中的水滴粘贴到所述干净背景图像中；
步骤S13，重复步骤S11及步骤S12，制作1200对尺寸为1000×1000像素的有或没有水滴的带钢表面图像的数据库；
步骤S14，从数据库中随机选取1100对图像作为训练集，剩余的100对图像作为测试集。
3.根据权利要求2所述的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，步骤S11中，所述单位尺寸为4096×1024像素。
4.根据权利要求2所述的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，步骤S21的具体子步骤如下：
将步骤S14得到的数据库训练集中的含有水滴图像输入到生成器中，其中生成网络采用渐进式循环网络的模型结构，渐进式循环网络分为T个阶段，且每个阶段都包含一个浅层ResNet网络，每个阶段的浅层ResNet包括：
fin层，为输入层，是一个具有ReLU非线性激活函数的单层卷积，卷积层接收网络的输入，选择ReLU作为激活函数；
frecurrent层，为循环递归层，是一个LSTM结构；
fres层，包括多个ResBlocks，用于深度表示；
fout层，为卷积层，是网络的输出，用于导出除水滴后的图像。
5.根据权利要求4所述的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，渐进式循环网络的阶段数T的设定值为6。
6.根据权利要求4所述的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，步骤S21中，各阶段网络结构关系如下式：
xt-0.5＝fin(xt-1,y)
st＝frecurrent(st-1,xt-0.5)
xt＝fout(fres(st))
其中，fin层、fres层和fout层是阶段不变的，其网络参数可以在不同阶段重用，递归层采用xt-0.5和递归状态st-1作为t-1阶段的输入。
7.根据权利要求4所述的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，步骤S22中，所述马尔科夫判别网络采用卷积-批量规范-ReLU的形式作为模块，其判断图像中每个N×N色块是否为正值，将输入映射为N×N的矩阵X，从而对生成的水滴去除区域进行判别，指导步骤S21中得到的生成网络去除图像中的水滴。
8.根据权利要求4所述的基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法，其特征在于，步骤S30中，SSIM损失函数表示如下式所述：
LSSIM＝-SSIM(G(I),R)
其中，SSIM指的是结构相似性的操作；
L1损失函数定义如如下式：
Figure FDA0003150404890000031
其中，y(i)表示目标图像上每个像素的值，
Figure FDA0003150404890000032
指估计图像上的像素值；
在渐进式循环生成对抗网络生成器中，L1损失函数的表示如下式：
Figure FDA0003150404890000033
因此，基于混合策略，最终生成器的损失函数定义如下式：
Figure FDA0003150404890000034
其中，α被设置为0.75，β被设置为1.1，γ被设置为50。
CN202110762335.7A 2021-07-06 2021-07-06 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 Active CN113469913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762335.7A CN113469913B (zh) 2021-07-06 2021-07-06 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762335.7A CN113469913B (zh) 2021-07-06 2021-07-06 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法

Publications (2)

Publication Number Publication Date
CN113469913A true CN113469913A (zh) 2021-10-01
CN113469913B CN113469913B (zh) 2022-06-03

Family

ID=77878552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762335.7A Active CN113469913B (zh) 2021-07-06 2021-07-06 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法

Country Status (1)

Country Link
CN (1) CN113469913B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820379A (zh) * 2022-05-12 2022-07-29 中南大学 基于注意力对偶残差生成对抗网络的图像类雨层去除方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097543A (zh) * 2019-04-25 2019-08-06 东北大学 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN110796623A (zh) * 2019-10-31 2020-02-14 上海融军科技有限公司 一种基于渐进式残差网络的红外图像去雨方法及装置
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN111179187A (zh) * 2019-12-09 2020-05-19 南京理工大学 基于循环生成对抗网络的单幅图像去雨方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN111968053A (zh) * 2020-08-13 2020-11-20 南京邮电大学 基于门控卷积生成对抗网络的图像修复方法
CN112052899A (zh) * 2020-09-03 2020-12-08 上海无线电设备研究所 一种基于生成对抗网络的单幅舰船目标sar图像生成方法
CN112365405A (zh) * 2020-11-25 2021-02-12 重庆邮电大学 一种基于生成对抗网络的无监督超分辨率重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097543A (zh) * 2019-04-25 2019-08-06 东北大学 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN110796623A (zh) * 2019-10-31 2020-02-14 上海融军科技有限公司 一种基于渐进式残差网络的红外图像去雨方法及装置
CN111179187A (zh) * 2019-12-09 2020-05-19 南京理工大学 基于循环生成对抗网络的单幅图像去雨方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN111968053A (zh) * 2020-08-13 2020-11-20 南京邮电大学 基于门控卷积生成对抗网络的图像修复方法
CN112052899A (zh) * 2020-09-03 2020-12-08 上海无线电设备研究所 一种基于生成对抗网络的单幅舰船目标sar图像生成方法
CN112365405A (zh) * 2020-11-25 2021-02-12 重庆邮电大学 一种基于生成对抗网络的无监督超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONGWEI REN 等: "Progressive Image Deraining Networks: A Better and Simpler Baseline", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820379A (zh) * 2022-05-12 2022-07-29 中南大学 基于注意力对偶残差生成对抗网络的图像类雨层去除方法
CN114820379B (zh) * 2022-05-12 2024-04-26 中南大学 基于注意力对偶残差生成对抗网络的图像类雨层去除方法

Also Published As

Publication number Publication date
CN113469913B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN114937055B (zh) 基于人工智能的图像自适应分割方法与系统
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN111223093A (zh) 一种aoi缺陷检测方法
CN110992329A (zh) 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN105654442B (zh) 一种冲击噪声图像去噪方法
CN112085734A (zh) 一种基于gan的图像修复的缺陷检测方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN115170529A (zh) 基于注意力机制的多尺度微小瑕疵检测方法
CN113469913B (zh) 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法
CN104318537A (zh) 大雨场景视频数据中雨滴的检测和去除方法及系统
CN104299214A (zh) 小雨场景视频数据中雨滴的检测与去除方法和系统
CN114820541A (zh) 基于重构网络的缺陷检测方法
CN109978916A (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
CN114708532A (zh) 一种监控视频质量评估方法、系统及存储介质
CN112767345B (zh) 一种dd6单晶高温合金共晶缺陷检测和分割方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN113256563A (zh) 基于空间注意力机制的精品罐表面缺陷检测方法和系统
CN112381794A (zh) 一种基于深度卷积生成网络的印刷缺陷检测方法
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
Luo et al. Waterdrop removal from hot-rolled steel strip surfaces based on progressive recurrent generative adversarial networks
CN116363584A (zh) 一种基于机器视觉的船舶液体管道泄漏监测方法
CN115272284A (zh) 基于图像质量评估的输电线路缺陷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant