CN116579952A - 一种基于du-gan网络的图像修复方法 - Google Patents

一种基于du-gan网络的图像修复方法 Download PDF

Info

Publication number
CN116579952A
CN116579952A CN202310670230.8A CN202310670230A CN116579952A CN 116579952 A CN116579952 A CN 116579952A CN 202310670230 A CN202310670230 A CN 202310670230A CN 116579952 A CN116579952 A CN 116579952A
Authority
CN
China
Prior art keywords
image
layer
convolution
network
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310670230.8A
Other languages
English (en)
Inventor
刘华明
董创创
毕学慧
王秀友
王浩
刘争艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuyang Normal University
Original Assignee
Fuyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuyang Normal University filed Critical Fuyang Normal University
Priority to CN202310670230.8A priority Critical patent/CN116579952A/zh
Publication of CN116579952A publication Critical patent/CN116579952A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于DU‑GAN网络的图像修复方法，包括：1：在生成器中加入掩模位置编码加快网络的收敛速度和填充内容的准确性；2：在生成器网络中加入注意力机制使图像的纹理更加清晰；3：增加对抗损失，进一步约束生成图像的内容，提高修复图像的质量。本发明能在破损图像纹理和结构信息比较复杂的情况进行修复时，充分利用破损图像中所蕴含的纹理和结构信息，并将两者结合使用，从而能使修复后的图像质量更高，视觉效果更加自然。

Description

一种基于DU-GAN网络的图像修复方法
技术领域
本发明属于图像修复领域，具体的说是一种基于DU-GAN网络的图像修复方法。
背景技术
在传统的图像修复领域中，具有代表性的方法有基于偏微分方程的图像修复技术、基于纹理合成的图像修复技术和基于稀疏表示的图像修复技术。
基于偏微分方程的修复技术最早是在2000年被Bertalmio等人提出来，并应用到图像修复的领域中，它是利用待修复区域的边界信息，确定扩散信息和扩散方向，由区域边界向边界内逐步扩散，实现图像修复。在小面积填充方面取得了较好的效果，但对纹理和结构信息较为复杂的破损图像修复效果较差。
2003年，Drori等人开创了基于纹理图像修复的先河，用纹理块作为整体填充，避开像素填充随机性。在2004年，Criminisi待修复区域边界的优先权函数，再通过全局搜索确定最佳的匹配块，然后将其直接进行复制填充。这类方法存在块匹配失误的情况，同时还存在优先权计算不合理，样本资源不足等情况时，常常无法得到满意的修复结果。
基于稀疏表示的图像修复模型的核心思想认为图像待修复区域和完好无损区域具备相同的稀疏特性，因此，可以把完好区域的信息进行稀疏表示获得稀疏系数，再通过重构算法对图像信号进行重构，进而恢复成完整的图像。这种方法有效避开单一纹理块不相似的情况，使用多个纹理块拟合出相似的填充块。但是，在面临样本缺失的情况时，同样无法进行修复。
深度学习采用深度神经网络建模，相比于传统的学习算法有着更强大的特征学习和表达能力，能够捕获更多深层次的特征，在图像修复领域也取得了很好的修复结果。其大致可分为基于GAN(生成对抗网络，Generative Adversarial Network)的图像修复技术、基于编解码的图像修复技术。
基于生成对抗网络的图像修复技术主要思想是利用GAN生成图像进行修复，JiTero Karras等人把图像风格内容融入GAN网络来解决生成图片存在斑点等问题。然而，这可能会导致图像模糊，而且鉴别器结构过于单一，无法有效监督整体网络。Yingchen Yu等人使用基于小波修复的网络结构提高图像修复质量。但是修复后的纹理细节不够完美。Tong Zhou等人提出了具有双重空间注意模块和多重鉴别器的GAN网络，以更好地修复人脸图像。这个方法在修复缺损面积大的图像时可能效果不佳。
基于编码器的图像修复网络结构在图像修复中应用广泛。Chenjie Cao等人提出了一种多尺度网络进行图像修复，其编码器通过提取图像的边缘和线条作为先验来提高网络把握整个图像的能力，从而提高图像的修复质量。然而，由于线条和边缘效果近似，因此对于缺失严重的图像，修复效果一般。Yuqian Zhou等人认为，局部纹理和语义信息不足以修复图像，提出了一种基于源图像的修复网络，根据源图像的单应性提取特征点并进行聚类，然后通过颜色空间转换器和特征融合模块得到修复后的图像。但是，它没有充分利用图像的纹理和结构信息，导致修复结果中可能会出现重影。Xiefan Guo等人提出了一种双流的网络结构分别提取图像的结构和纹理特征并相互结合，但是对于大面积缺失的图像，修复结果往往会出现模糊。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于DU-GAN网络的图像修复方法，以期能在破损图像纹理和结构信息比较复杂的情况进行修复时，充分利用破损图像中所蕴含的纹理和结构信息，并将两者结合使用，从而能提高图像的修复质量，使图像恢复其蕴含的价值、视觉效果更加自然。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于DU-GAN网络的图像修复方法的特点在于，包含以下步骤：
步骤1、获取图像数据集并进行预处理：
获取图像数据集并分别剪裁成尺寸为M×M的原始图像，再对裁剪后的原始图像添加尺寸为M×M的掩码，得到预处理后的图像数据集记为B＝{b1,b2,...,bi,...,bN}，其中，bi表示第i张图像；i＝1,2,...,N，N为图像数据集中图像的总数；
将图像数据集B用Canny算子进行检测，得到图像边缘数据集H＝{h1,h2,...,hi,...,hN}，其中，hi表示第i张边缘图像；
步骤2、构建DU-GAN网络，包括：生成器模块G和鉴别器模块A；
步骤2.1、所述生成器模块G分别对第i张图像bi和第i张边缘图像hi进行处理，得到修复后的解码图像的纹理特征和结构特征/>
步骤2.2、将修复后的纹理特征和结构特征/>按照一定的比例ɑ进行融合，从而得到维度为M×M的生成图像si；
步骤2.3、构建含有三分支结构的鉴别器模块A，包括：修复后的图像鉴别分支O、修复后的图像灰度图鉴别分支P和修复后图像的边缘图鉴别分支L；每个分支均包含ly层卷积层，其中，卷积层的卷积核尺寸ly×ly，步幅为v；最一层卷积层使用sigmoid函数进行激活，其他卷积层使用LeakyReLU激活函数；
将生成图像si输入到所述图像鉴别分支O中并经过卷积层的处理后，得到卷积图像sio；
利用cvtColor函数将生成图像si转换为灰度图s′i，将si和s′i输入所述图像灰度图鉴别分支P中并经过卷积层的处理后，得到灰度图像sip；
利用Canny算子检测生成图像si的边缘图s″i，将生成图像si和边缘图s″i输入所述边缘图鉴别分支L中并经过卷积层的处理后，得到边缘图像sil；
步骤2.4、将图像鉴别分支O、图像灰度图鉴别分支P和修复后图像的边缘图鉴别分支L模块得到的sio、sip和sil并行到一起，与原始图像进行鉴别：
步骤2.4.1、利用式(1)构建生成对抗损失：
式(1)中，表示从图像数据集中B的第1个图像到第N个图像的期望值，Ls(G)表示生成器模块G的损失，Ls(A)表示鉴别器模块A的损失；
步骤2.4.2、利用式(2)构建全局目标函数Lall：
Lall＝Ls(G)+Ls(A) (2)
步骤2.4.3、基于所述图像数据集B和图像边缘数据集H，利用梯度下降法对所述基于DU-GAN网络进行训练，并计算所述全局目标函数Lall，直到全局目标函数Lall收敛为止，从而得到最优图像修复模型，用于对任一破损图像进行修复，并输出修复后的图像。
本发明所述的基于DU-GAN网络的图像修复方法的特点也在于，所述生成器模块G为双流AU-Net网络，每个AU-Net网络包括：位置编码器、编码器、注意力模块和解码器；其中，编码器包括m层卷积层；解码器包括m层反卷积层；
所述编码器的第2层卷积层与所述解码器的第m-1层反卷积层之间加入跳跃连接，依次类推，在所述编码器的第m层卷积层与所述解码器的第1层反卷积层之间加入跳跃连接；且每层卷积层和每层反卷积层后均设置有Padding操作；设置所有卷积层的步长为2c、反卷积层的步长设为c；
步骤2.1.1、一个AU-Net网络中位置编码器利用正弦定位算法对第i张图像bi进行位置编码，得到掩码在第i张图像bi中的位置信息Pb,i,w和方向信息Pb,i,r，从而得到掩码位置编码Pb,i；
另一个AU-Net网络中位置编码器利用正弦定位算法对第i张边缘图像hi进行位置编码，得到掩码在第i张边缘图像hi中的位置信息Ph,i,w和方向信息Ph,i,r，从而得到掩码位置编码Ph,i；
步骤2.1.2、使用编码器提取图像特征；
将bi和掩码位置编码Pb,i输入到对应AU-Net网络的编码器中，并经过m层卷积层的卷积操作后，得到第i张图像bi的结构特征fb,i；
将bi、hi和掩码位置编码Ph,i输入到另一个AU-Net网络的编码器中，并经过m层卷积层的卷积操作后，得到第i张图像bi的纹理特征fh,i；
步骤2.1.3、使用注意力模块对图像纹理特征进行重构；
将特征图fb,i划分为尺寸相同的s个修复块，一个AU-Net网络的注意力模块计算s个修复块中特征像素值之间余弦相似度，从而根据s个余弦相似度得到s个特征像素值的注意力分数，将每个注意力分数与对应的修复块相乘，从而得到s个新的补丁，利用s个新的补丁对纹理特征fb,i进行重构，得到重构的纹理特征
另一个AU-Net网络的注意力模块对fh,i进行同样的处理，从而得到重构的结构特征
步骤2.1.4、利用解码器将图像特征进行重构；
一个AU-Net网络的解码器采用耦合结构对重构后的纹理特征进行解码，得到修复后的解码图像的纹理特征/>
另一个AU-Net网络的解码器对结构特征也进行解码，得到修复后的解码图像的结构特征/>
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述图像修复方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述图像修复方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明通过将位置编码加入到U-Net网络中，通过位置编码模块将掩码的绝对空间位置信息提供给网络，并通过4个互不相同的内核来得到一个4通道的向量，它可以表示掩码位置和非掩码位置的最近方向。它的值取决于哪个内核可以最先完成对掩码区域的覆盖，得到掩码方向，为网络提供掩码的方向信息，克服了传统的卷积神经网络中零填充仅给网络提供掩码的绝对空间位置信息而没有提供给方向信息的难题，从而提高了网络对图像的修复质量。
2、本发明通过将注意力模块加入到U-Net网络中，通过计算特征图的余弦相似度，继而得到注意力分数，再与相对应的修复块相结合，从而完成对图像特征的重构，克服了没有将图像的纹理和结构信息加以利用的难题，从而提高了图像修复的视觉连贯性；
3、本发明通过将两条AU-Net相耦合的方法，将结合了位置编码和注意力模块的AU-Net相互耦合，使得AU-Net的解码结构在解码图像结构特征时，能将另一条AU-Net网络提取的纹理特征作为辅助进行解码，AU-Net的解码结构在解码图像结纹理特征时能将另一条AU-Net网络提取的结构特征作为辅助进行解码，克服了模型无法有效的结合利用图像的纹理和结构特征的难题，从而使修复后的图像更加视觉效果更加自然；
4、本发明通过将生成图像进行鉴别，通过将生成图像利用Opencv的CvtColor得到生成图像的灰度图像，通过Canny算子对生成图像进行检测得到生成图像的边缘图像，将生成图像、灰度图像和边缘图像并行到一起与原始图像进行鉴别，克服了对单一图像鉴别无法兼顾对图像多方面特征信息的监督作用，提高了鉴别器模块对整体网络的监督作用。
5、本发明通过将LSGAN loss加入到网络中，通过基于最小二乘损失的LSGNA损失，根据样本与决策边界的距离对样本进行惩罚，从而生成梯度，克服了常规的对抗损失是使用极小极大损失，其对伪样本基本没有梯度反馈，很难对图像的修复提供有效的监督，加强了生成器生成图像的视觉效果，提高了网络训练的稳定性。
附图说明
图1为本发明图像修复的整体网络流程图；
图2为本发明位置编码的方向信息示意图。
具体实施方式
本实施例中，一种基于DU-GAN网络的图像修复方法，能解决在修复图像过程中对图像的纹理特征和结构特征无法结合利用的情况，并且在修复大面积缺失区域时，常常出现图像修复模糊问题，具体的说，如图1所示，包括以下步骤：
步骤1、获取图像数据集并进行预处理：
获取图像数据集并分别剪裁成尺寸为M×M的原始图像，M＝256,再对裁剪后的原始图像添加尺寸为M×M的掩码，得到预处理后的图像数据集记为B＝{b1,b2,...,bi,...,bN}，其中，bi表示第i张图像；i＝1,2,...,N，N为图像数据集中图像的总数；
将图像数据集B用Canny算子进行检测，得到图像边缘数据集H＝{h1,h2,...,hi,...,hN}，其中，hi表示第i张边缘图像；
步骤2、构建DU-GAN网络，包括：生成器模块G和鉴别器模块A；
步骤2.1、生成器模块G为双流AU-Net网络，每个AU-Net网络包括：位置编码器、编码器、注意力模块和解码器；其中，编码器包括m层卷积层；解码器包括m层反卷积层；编码器的第2层卷积层与解码器的第m-1层反卷积层之间加入跳跃连接，依次类推，在编码器的第m层卷积层与解码器的第1层反卷积层之间加入跳跃连接；且每层卷积层和每层反卷积层后均设置有Padding操作；设置所有卷积层的步长为2c、反卷积层的步长设为c；其中，m＝7，c＝1。
步骤2.1.1、一个AU-Net网络中位置编码器利用正弦定位算法对第i张图像bi进行位置编码，得到掩码在第i张图像bi中的位置信息Pb,i,w和方向信息Pb,i,r，从而得到掩码位置编码Pb,i；
对于掩码的位置信息Pb,i,w要采用如下步骤求得，对于一个宽高为256×256的掩码，用0和1分别表示掩码区域和未掩码区域，要得到第i张图像bi中的掩码的空间位置信息，需要先使用一个3×3的全为1的核，计算掩码区域中各个位置的掩码距离。再利用正弦位置编码对掩码距离进行剪裁和编码得到位置信息Pb,i,w。对于掩码的方向信息Pb,i,r，可以用4个互不相同的内核来得到一个4通道的向量，它可以表示掩码位置和非掩码位置的最近方向。它的值取决于哪个内核可以最先完成对掩码区域的覆盖,得到掩码方向信息Pb,i,r。如图2所示。
另一个AU-Net网络中位置编码器利用正弦定位算法对第i张边缘图像hi进行位置编码，得到掩码在第i张边缘图像hi中的位置信息Ph,i,w和方向信息Ph,i,r，从而得到掩码位置编码Ph,i；
对于掩码的位置信息Ph,i,w要采用如下步骤求得，对于一个宽高为256×256的掩码，用0和1分别表示掩码区域和未掩码区域，要得到第i张图像hi中的掩码的空间位置信息，需要先使用一个3×3的全为1的核，计算掩码区域中各个位置的掩码距离。再利用正弦位置编码对掩码距离进行剪裁和编码得到位置信息Ph,i,w。对于掩码的方向信息Ph,i,r，可以用4个互不相同的内核来得到一个4通道的向量，它可以表示掩码位置和非掩码位置的最近方向。它的值取决于哪个内核可以最先完成对掩码区域的覆盖,得到掩码方向信息Ph,i,r。
步骤2.1.2、使用编码器提取图像特征；
将bi和掩码位置编码Pb,i输入到对应AU-Net网络的编码器中，并经过m层卷积层的卷积操作后，得到第i张图像bi的结构特征fb,i；
将bi、hi和掩码位置编码Ph,i输入到另一个AU-Net网络的编码器中，并经过m层卷积层的卷积操作后，得到第i张图像bi的纹理特征fh,i；
步骤2.1.3、使用注意力模块对图像纹理特征进行重构；
将特征图fb,i尺寸相同的s个修复块，一个AU-Net网络的注意力模块计算特征图fb,i中s个修复块的特征像素值之间余弦相似度，从而根据s个余弦相似度得到s个特征像素值的注意力分数，将每个注意力分数与对应的修复块相结合，从而得到s个新的补丁，利用s个新的补丁对纹理特征fb,i进行重构，得到重构的纹理特征本实施例中，修复块的尺寸为3×3。
在对图像特征进行处卷积编码理时，如果将每个局部信息都加以处理，那么会导致整个网络的计算量过大。因此，在AU-Net的编码结束后加入注意力模块来解决这个问题。在对图像的纹理信息进行合成时，注意力模块可以通过搜集图像的纹理特征用作图像纹理特征的重构。
在整个注意力模块中，对于输入的特征fb,i，首先计算每对特征像素值之间余弦相似度，如式(3)所示。
其中，(x,y)和(x’,y’)为两个相对位置坐标。
然后再根据每列补丁计算注意力分数，在得到特征图中每个补丁的注意力分数之后，将每个分数与对应的补丁相结合，最终得到新的补丁，通过这种方式将图像的纹理特征重构，如式(4)所示。
另一个AU-Net网络的注意力模块对fh,i进行同样的处理，从而得到重构的结构特征
步骤2.1.4、利用解码器将图像特征进行重构；
一个AU-Net网络的解码器采用耦合结构对重构后的纹理特征进行解码，得到修复后的解码图像的纹理特征/>
另一个AU-Net网络的解码器对结构特征也进行解码，得到修复后的解码图像的结构特征/>
步骤2.2、将修复后的纹理特征和结构特征/>按照一定的比例ɑ进行融合，从而得到维度为M×M的生成图像si；
步骤2.3、构建含有三分支结构的鉴别器模块A，包括：修复后的图像鉴别分支O、修复后的图像灰度图鉴别分支P和修复后图像的边缘图鉴别分支L；每个分支均包含ly层卷积层，其中，卷积层的卷积核尺寸ly×ly，步幅为v；最一层卷积层使用sigmoid函数进行激活，其他卷积层使用LeakyReLU激活函数；
其中，ly＝3，ly×ly＝3×3，v＝2。
将生成图像si输入到图像鉴别分支O中并经过卷积层的处理后，得到卷积图像sio；
利用cvtColor函数将生成图像si转换为灰度图s′i，将si和s′i输入图像灰度图鉴别分支P中并经过卷积层的处理后，得到灰度图像sip；
利用Canny算子检测生成图像si的边缘图s″i，将图像si和边缘图s″i输入边缘图鉴别分支L中并经过卷积层的处理后，得到边缘图像sil；
步骤2.5、将图像鉴别分支O、图像灰度图鉴别分支P和修复后图像的边缘图鉴别分支L模块得到的sio、sip和sil并行到一起与原始图像进行鉴别：
步骤2.5.1、利用式(1)构建生成对抗损失，对抗损失的意义在于可以加强生成器生成图像的视觉效果,常规的对抗损失是使用极小极大损失，其对伪样本基本没有梯度反馈，很难对图像的修复提供有效的监督。由此，在网络中加入基于最小二乘损失的LSGAN损失，不仅能加强对图像修复的监督效果，而且，基于最小二乘损失的LSGNA损失，根据样本与决策边界的距离对样本进行惩罚，从而生成梯度，可以提高网络训练的稳定性；
式(1)中，表示从图像数据集中B的第1个图像到第N个图像的期望值，Ls(G)表示生成器模块G的损失，Ls(A)表示鉴别器模块A的损失；
步骤2.5.2、利用式(2)构建全局目标函数Lall：
Lall＝Ls(G)+Ls(A) (2)
步骤2.5.3、基于图像数据集B和图像边缘数据集H，利用梯度下降法对基于DU-GAN网络进行训练，并计算全局目标函数Lall，直到全局目标函数Lall收敛为止，从而得到最优图像修复模型，用于对任一破损图像进行修复，并输出修复后的图像。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

Claims (4)

1.一种基于DU-GAN网络的图像修复方法，其特征在于，包含以下步骤：
步骤1、获取图像数据集并进行预处理：
获取图像数据集并分别剪裁成尺寸为M×M的原始图像，再对裁剪后的原始图像添加尺寸为M×M的掩码，得到预处理后的图像数据集记为B＝{b1,b2,...,bi,...,bN}，其中，bi表示第i张图像；i＝1,2,...,N，N为图像数据集中图像的总数；
将图像数据集B用Canny算子进行检测，得到图像边缘数据集H＝{h1,h2,...,hi,...,hN}，其中，hi表示第i张边缘图像；
步骤2、构建DU-GAN网络，包括：生成器模块G和鉴别器模块A；
步骤2.1、所述生成器模块G分别对第i张图像bi和第i张边缘图像hi进行处理，得到修复后的解码图像的纹理特征和结构特征/>
步骤2.2、将修复后的纹理特征和结构特征/>按照一定的比例ɑ进行融合，从而得到维度为M×M的生成图像si；
步骤2.3、构建含有三分支结构的鉴别器模块A，包括：修复后的图像鉴别分支O、修复后的图像灰度图鉴别分支P和修复后图像的边缘图鉴别分支L；每个分支均包含ly层卷积层，其中，卷积层的卷积核尺寸ly×ly，步幅为v；最一层卷积层使用sigmoid函数进行激活，其他卷积层使用LeakyReLU激活函数；
将生成图像si输入到所述图像鉴别分支O中并经过卷积层的处理后，得到卷积图像sio；
利用cvtColor函数将生成图像si转换为灰度图s′i，将si和s′i输入所述图像灰度图鉴别分支P中并经过卷积层的处理后，得到灰度图像sip；
利用Canny算子检测生成图像si的边缘图s″i，将生成图像si和边缘图s″i输入所述边缘图鉴别分支L中并经过卷积层的处理后，得到边缘图像sil；
步骤2.4、将图像鉴别分支O、图像灰度图鉴别分支P和修复后图像的边缘图鉴别分支L模块得到的sio、sip和sil并行到一起，与原始图像进行鉴别：
步骤2.4.1、利用式(1)构建生成对抗损失：
式(1)中，表示从图像数据集中B的第1个图像到第N个图像的期望值，Ls(G)表示生成器模块G的损失，Ls(A)表示鉴别器模块A的损失；
步骤2.4.2、利用式(2)构建全局目标函数Lall：
Lall＝Ls(G)+Ls(A) (2)
步骤2.4.3、基于所述图像数据集B和图像边缘数据集H，利用梯度下降法对所述基于DU-GAN网络进行训练，并计算所述全局目标函数Lall，直到全局目标函数Lall收敛为止，从而得到最优图像修复模型，用于对任一破损图像进行修复，并输出修复后的图像。
2.根据权利要求1所述的基于DU-GAN网络的图像修复方法，其特征在于，所述生成器模块G为双流AU-Net网络，每个AU-Net网络包括：位置编码器、编码器、注意力模块和解码器；其中，编码器包括m层卷积层；解码器包括m层反卷积层；
所述编码器的第2层卷积层与所述解码器的第m-1层反卷积层之间加入跳跃连接，依次类推，在所述编码器的第m层卷积层与所述解码器的第1层反卷积层之间加入跳跃连接；且每层卷积层和每层反卷积层后均设置有Padding操作；设置所有卷积层的步长为2c、反卷积层的步长设为c；
步骤2.1.1、一个AU-Net网络中位置编码器利用正弦定位算法对第i张图像bi进行位置编码，得到掩码在第i张图像bi中的位置信息Pb,i,w和方向信息Pb,i,r，从而得到掩码位置编码Pb,i；
另一个AU-Net网络中位置编码器利用正弦定位算法对第i张边缘图像hi进行位置编码，得到掩码在第i张边缘图像hi中的位置信息Ph,i,w和方向信息Ph,i,r，从而得到掩码位置编码Ph,i；
步骤2.1.2、使用编码器提取图像特征；
将bi和掩码位置编码Pb,i输入到对应AU-Net网络的编码器中，并经过m层卷积层的卷积操作后，得到第i张图像bi的结构特征fb,i；
将bi、hi和掩码位置编码Ph,i输入到另一个AU-Net网络的编码器中，并经过m层卷积层的卷积操作后，得到第i张图像bi的纹理特征fh,i；
步骤2.1.3、使用注意力模块对图像纹理特征进行重构；
将特征图fb,i划分为尺寸相同的s个修复块，一个AU-Net网络的注意力模块计算s个修复块中特征像素值之间余弦相似度，从而根据s个余弦相似度得到s个特征像素值的注意力分数，将每个注意力分数与对应的修复块相乘，从而得到s个新的补丁，利用s个新的补丁对纹理特征fb,i进行重构，得到重构的纹理特征
另一个AU-Net网络的注意力模块对fh,i进行同样的处理，从而得到重构的结构特征步骤2.1.4、利用解码器将图像特征进行重构；
一个AU-Net网络的解码器采用耦合结构对重构后的纹理特征进行解码，得到修复后的解码图像的纹理特征/>
另一个AU-Net网络的解码器对结构特征也进行解码，得到修复后的解码图像的结构特征/>
3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1或2所述图像修复方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
4.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1或2所述图像修复方法的步骤。
CN202310670230.8A 2023-06-07 2023-06-07 一种基于du-gan网络的图像修复方法 Pending CN116579952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310670230.8A CN116579952A (zh) 2023-06-07 2023-06-07 一种基于du-gan网络的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310670230.8A CN116579952A (zh) 2023-06-07 2023-06-07 一种基于du-gan网络的图像修复方法

Publications (1)

Publication Number Publication Date
CN116579952A true CN116579952A (zh) 2023-08-11

Family

ID=87545270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310670230.8A Pending CN116579952A (zh) 2023-06-07 2023-06-07 一种基于du-gan网络的图像修复方法

Country Status (1)

Country Link
CN (1) CN116579952A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118429229A (zh) * 2024-07-04 2024-08-02 中邮消费金融有限公司 图像修复方法、设备、存储介质及计算机程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118429229A (zh) * 2024-07-04 2024-08-02 中邮消费金融有限公司 图像修复方法、设备、存储介质及计算机程序产品

Similar Documents

Publication Publication Date Title
CN108460746B (zh) 一种基于结构和纹理分层预测的图像修复方法
US11580622B2 (en) System and method for image inpainting
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN111047522A (zh) 一种基于边缘生成的图像修复方法
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
Ting et al. Image inpainting by global structure and texture propagation
CN110689495A (zh) 一种深度学习的图像修复方法
CN113269848A (zh) 基于注意力机制的遥感图像重构系统
CN116051407A (zh) 一种图像修复方法
CN116579952A (zh) 一种基于du-gan网络的图像修复方法
CN112381722A (zh) 一种单图像的超分与感知图像增强的联合任务学习方法
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN116258854A (zh) 一种基于密集连接策略和图像梯度的路面裂缝分割方法
Gao A method for face image inpainting based on generative adversarial networks
CN112686822B (zh) 一种基于堆叠生成对抗网络的图像补全方法
CN118365543A (zh) 一种基于改进EnlightenGAN的裂缝图像阴影去除方法
CN112733861B (zh) 基于u型残差网络的文本擦除和抠字方法
Yu et al. MagConv: Mask-guided convolution for image inpainting
Tian et al. Perceptive self-supervised learning network for noisy image watermark removal
CN117011182A (zh) 图像阴影去除方法、装置、存储介质及设备
CN116468638A (zh) 一种基于生成和鉴别平衡对抗的人脸图像修复方法及系统
CN116523985A (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN112686794B (zh) 一种基于生成式对抗网络的水印去除方法
CN116958317A (zh) 一种结合边缘信息和外观流操作的图像修复方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination