CN116958317A - 一种结合边缘信息和外观流操作的图像修复方法及系统 - Google Patents

一种结合边缘信息和外观流操作的图像修复方法及系统 Download PDF

Info

Publication number
CN116958317A
CN116958317A CN202210319225.8A CN202210319225A CN116958317A CN 116958317 A CN116958317 A CN 116958317A CN 202210319225 A CN202210319225 A CN 202210319225A CN 116958317 A CN116958317 A CN 116958317A
Authority
CN
China
Prior art keywords
image
edge
smooth
repaired
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210319225.8A
Other languages
English (en)
Inventor
计华
刘乾
计晓赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202210319225.8A priority Critical patent/CN116958317A/zh
Publication of CN116958317A publication Critical patent/CN116958317A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提出了一种结合边缘信息和外观流操作的图像修复方法及系统，方法包括：对获取的待修复图像进行预处理，得到平滑图像；进行边缘检测和预测，得到目标边缘图；根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，得到修复的完整图像。本公开通过从边缘到平滑结构再到整体的修复过程实现对破损图像的修复，结合边缘信息和外观流操作进行三阶段图像修复，能够生成合理的结构和真实生动的纹理，从而达到较好的修复效果。

Description

一种结合边缘信息和外观流操作的图像修复方法及系统
技术领域
本公开涉及图像处理相关技术领域，具体的说，是涉及一种结合边缘信息和外观流操作的图像修复方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
图像修复是指利用图像已知区域的信息，通过一定的恢复标准，对图像的缺失区域进行填充，如使得已知区域与损坏区域具有相同的几何结构或统计特征，使恢复后的图像具有相同的几何结构或统计特征，并具有理想的视觉效果。图像修复对于许多图像编辑工作非常重要，例如，从图像中删除不需要的对象，通过图像修复来填充留下的空白区域。
目前，图像修复算法主要分为两类：传统方法和基于学习的方法。传统的图像修复方法可以分为基于扩散的方法和基于补丁的方法。基于扩散的方法通过求解偏微分方程将信息从背景逐渐传播到缺失区域，但该方法只适用于较小的缺失区域。基于补丁的方法将最佳匹配的背景补丁复制到从边界开始的孔洞中。这些方法表现出良好的性能，尤其是在后台修复任务上，因为后台总是有类似的补丁。但是，当缺失区域包含复杂结构或非重复纹理时，这类方法不再适用。
基于学习的图像修复模型可以将整个图像作为输入，修复缺失区域。这类方法通常采用编码器-解码器结构，不仅接受待修复图像的颜色和纹理特征，还接受图像的语义特征，借助它们合成视觉逼真的低级像素，但是，发明人发现，现有的大多数基于学习的方法都无法为图像重建合理的内容，尤其是当图像的重要部分缺失时。并且，现有的一些方法虽然在孔洞和未损坏区域之间能够重建连续合理的结构，但在恢复图像纹理时，会产生与周围区域不一致的模糊纹理。
发明内容
本公开为了解决上述问题，提出了一种结合边缘信息和外观流操作的图像修复方法及系统，通过从边缘到平滑结构再到整体的修复过程实现对破损图像的修复，基于生成对抗网络，结合边缘信息和外观流操作进行三阶段图像修复，能够生成合理的结构和真实生动的纹理，从而达到较好的修复效果。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了一种结合边缘信息和外观流操作的图像修复方法，包括如下步骤：
对获取的待修复图像进行预处理，得到平滑图像；
根据边缘检测算法得到平滑图像的边缘图，再根据边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
一个或多个实施例提供了一种结合边缘信息和外观流操作的图像修复系统，包括：
预处理模块：被配置为用于对获取的待修复图像进行预处理，得到平滑图像；
边缘预测模块：被配置为用于采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
重构模块：被配置为用于根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
图像修复模块：被配置为用于根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
与现有技术相比，本公开的有益效果为：
本公开提供了三阶段图像修复方法，包括目标边缘预测、平滑结构重构以及纹理生成三个阶段，基于边缘信息及平滑结构信息使破损区域的结构与未破损区域结构更连续，图像中结构相关的区域具有更高的相似性；并且采用外观流操作，使得修复的纹理更真实，更贴近真实图像，能够为图像重建合理的内容，即使当图像的重要部分缺失时，通过外观流操作能够生成合理的结构和真实生动的纹理，同时不会产生与周围区域不一致的模糊纹理，从而达到令人满意的修复效果。
本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的三阶段图像修复网络模型的网络结构图；
图2是本公开实施例1的图像修复方法流程图；
图3是本公开实施例1的图像修复方法进行图像修复的实例图；
图4是本公开实施例1的图像修复方法与现有方法的图像修复对比实例图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
实施例1
在一个或多个实施方式公开的技术方案中，如图1至图4所示，一种结合边缘信息和外观流操作的图像修复方法，包括如下步骤：
步骤1对获取的待修复图像进行预处理，得到平滑图像；
步骤2采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
步骤3根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
步骤4根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
本实施例中，提供了三阶段图像修复方法，包括目标边缘预测、平滑结构重构以及纹理生成三个阶段，基于边缘信息及平滑结构信息使破损区域的结构与未破损区域结构更连续，图像中结构相关的区域具有更高的相似性；并且采用外观流操作，使得修复的纹理更真实，更贴近真实图像，能够为图像重建合理的内容，即使当图像的重要部分缺失时，通过外观流操作能够生成合理的结构和真实生动的纹理，同时不会产生与周围区域不一致的模糊纹理，从而达到令人满意的修复效果。
本实施例中，边缘检测是指用边缘检测算法检测图像中的显著边缘得到图像的边缘图，边缘预测是将破损边缘图输入到边缘预测网络来生成预测的边缘图。
进一步地，步骤1中，对获取的待修复图像进行预处理，得到平滑图像的方法，可以采用边缘保留平滑方法对待修复图像进行平滑处理，得到平滑图像。
具体的，边缘保留平滑方法可以采用RTV(relative total variation)平滑方法，能够在保留尖锐的边缘和低频结构的同时去除高频纹理，获得的结果可以代表全局结构。
在一些实施例中，通过构建三阶段图像修复网络模型实现上述步骤中的过程，包括：步骤2中的目标边缘图的边缘预测、步骤3中的平滑结构重构以及步骤4中的纹理生成；三阶段图像修复网络模型包括边缘预测网络、平滑结构重构网络以及纹理生成网络，每个网络都采用生成对抗网络，每个生成对抗网络包含依次连接的生成器和判别器。
可选的，三阶段图像修复网络模型的每个网络中的生成器包括级联的编码器和解码器，判别器可以采用70*70的PatchGAN结构，判别器用于判断输入的图像块是否是真实的。
具体的，将平滑图像的边缘图和相应的掩膜图片作为第一阶段的边缘预测网络的输入，得到目标边缘图；然后以目标边缘图和平滑图像作为第二阶段的平滑结构重构网络的输入，得到重构的平滑结构；在第三阶段，将待修复图像和重构的平滑结构图像输入至纹理生成网络，通过外观流操作使包含生动纹理信息的特征“流”到破损区域，从而使破损区域的纹理更加真实。
本实施例中，待修复图像和其对应的平滑图像分别表示为Igt和Sgt，平滑图像的边缘图和灰度图像分别表示为Egt和Sgray。M为不规则掩膜数据集中的掩膜，用来表示图像的破损区域。
步骤2中，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图的方法，将带有破损区域的平滑图像的灰度图像平滑图像的边缘图/>以及图像掩模M作为输入，输入到训练后的边缘预测网络，得到目标边缘图Epred，具体的，包括如下步骤：
步骤2.1对平滑图像进行边缘检测，得到平滑图像的边缘图；
可选的，利用Canny边缘检测器对得到平滑图像进行边缘检测，得到平滑图像的边缘图；
步骤2.2根据平滑图像的边缘图和相应的掩膜图片，进行边缘预测得到目标边缘图；
其中，掩膜图片是用来表示破损区域的图片，每个图片对应一个掩膜图片，将掩膜图片与原图像进行哈德玛积操作即可得到破损图像，本实施例中，采用的掩膜图片是Partial Convolution中提供的公共数据集中获取的。
步骤3中，根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构的方法，具体的，将平滑图像的边缘图Egt和目标边缘图Epred中的边缘进行结合得到的合成边缘图Ecomp，再将合成边缘图Ecomp、平滑结构图像以及图像掩模M作为输入，输入训练好的平滑结构重构网络，通过第二阶段的平滑结构重构网络得到完整的结构图像
具体的，根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构的方法，包括如下步骤：
步骤3.1将平滑图像的边缘图Egt的未破损区域和目标边缘图Epred中的边缘进行结合，得到合成的边缘图Ecomp；本实施例中，破损区域即为待修复区域；
步骤3.2根据平滑结构图像和合成的边缘图Ecomp，通过生成器生成完整的结构图像Spred，即为重构后的平滑结构图像。
步骤4中，图像修复的第三阶段里，将重建的结构图像和待修复图像作为输入，输入至训练好的纹理生成网络，使用重建的结构提取具有相似结构的区域之间的相关性；外观流被用于从未损坏的区域进行特征采样，从而使修复后的区域具有生动的纹理，改善修复效果。
基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，具体为：通过外观流生成表示图像各区域相关性的矩阵，并通过该矩阵使用高斯采样将具有相关性的区域中的纹理采样到破损区域。其中，外观流为提取图像区域相关性的神经网络。
进一步地，在使用三阶段图像修复网络模型进行图像修复之前，还包括对三阶段图像修复网络模型进行训练的步骤，包括如下。
步骤S1获取图像数据集及掩膜数据集，并对图像数据集中的图像进行平滑处理；
可选的，采用公共数据集Places2作为训练集，并对数据集中的图像进行平滑处理，构建图像修复数据集；
可以从网络上下载公共数据集Places2以及不规则掩膜数据集，并采用边缘保留平滑方法对Places2中的图像进行平滑处理，得到平滑图像数据集。平滑图像可以表示真实图像的全局结构。
步骤S2图像修复的第一阶段，进行边缘预测得到目标边缘图像。
具体的，采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图，包括如下步骤：
步骤S2.1对平滑图像进行边缘检测，得到平滑图像的边缘图；
步骤S2.2根据平滑图像的边缘图和相应的掩膜图片，进行边缘预测得到目标边缘图Epred：采用多层卷积神经网络对平滑图像的边缘图进行下采样提取图像特征，生成特征向量；对生成的特征进行上采样，最后生成缺失部分的边缘图即为目标边缘图。
具体的，将带有破损区域的平滑图像的灰度图像它的边缘图/>以及图像掩模M作为输入，输入到边缘预测网络。在编码器阶段，待修复图像对应的平滑图像的边缘图经过多层卷积神经网络进行三次下采样提取图像特征生成特征向量，可选的，每次下采样大小为原来(上一次采样)大小的二分之一；在解码器阶段，对编码后得到的特征进行上采样，最后得到缺失部分的目标边缘图
可选的，边缘预测网络的损失函数包括对抗损失和特征匹配损失。
其中，对抗损失为：
其中，De()指的是边缘预测网络的判别器的输出。
特征匹配损失为：
其中，Ni表示第i个激活层的元素数量，‖*‖1表示L1范数，表示给定的输入经过判别器中第i层产生的输出再经过激活函数得到的输出。
本实施例设置特征匹配损失的权重为10，该权重为设定值，该阶段总损失函数为：
步骤S3图像修复的第二阶段，根据得到的目标边缘图进行平滑结构重构；将合成边缘图Ecomp、平滑结构图像以及图像掩模M作为输入，输入到平滑结构重构网络，通过第二阶段的平滑结构重构网络得到完整的结构图像/>
具体的，根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构，包括如下步骤：
步骤S3.1将平滑图像的边缘图Egt的未破损区域和目标边缘图Epred中的边缘进行结合，得到合成的边缘图Ecomp；其中，结合算法公式为：Ecomp＝Egt⊙M+Epred⊙(1-M)；
步骤S3.2根据平滑结构图像和合成的边缘图Ecomp，通过生成器生成完整的结构图像Spred，即为重构后的平滑结构图像，可以表示为
平滑结构重构网络的损失函数为l1损失、对抗损失、感知损失以及样式损失的加权和，其中：
l1损失为：重构后的平滑结构图像Spred与待修复图像的平滑图像Sgt的像素差的L1范数，公式如下：
对抗损失为：
其中，Ds()指的是结构重构网络的判别器的输出；
感知损失为：
其中，Fi(S*)是指预训练网络的第i层中给定输入S*的激活图，而Ni＝CiHiWi是指Sgt在第i层的激活中的元素数量，Ci是上述激活图的通道数，Hi和Wi分别是激活图的宽度和高度；
样式损失为：
其中，Kj是一个归一化因子。
综上，平滑结构重构网络的总体损失函数为：
步骤S4图像修复的第三阶段，根据重构的平滑图像结构提取待修复图像的各区域之间的相关性，来获得生动纹理信息的特征，基于外观流操作从相关区域进行采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
第三阶段将重建的结构图像和待修复图像作为输入，使用重建的结构来提取具有相似结构的区域之间的相关性；外观流被用于从未损坏的区域进行特征采样，从而使修复后的区域具有生动的纹理，改善修复效果。
具体的，将带有破损区域待修复图像和重构的结构图像Spred作为输入，输入至纹理生成网络，通过外观流操作生成包含生动纹理信息的特征，并填充到受损区域，从而使修复区域具有生动逼真的纹理。最终得到修复的完整图像
图像中具有相似结构的区域一般具有较高的相关性，可以使用重建的结构图像Spred提取这些区域之间的相关性以生成生动的纹理。外观流生成表示图像各区域相关性的矩阵，并通过该矩阵使用高斯采样将具有相关性的区域中的纹理采样到破损区域。其中，外观流为提取图像区域相关性的神经网络。
纹理生成网络的总体损失函数为l1损失、对抗损失和采样损失的加权和，公式如下：
l1损失为：
对抗损失为：
其中，Dt()是纹理生成网络的判别器的输出；
采样损失为：其中，cos(*)表示余弦相似度，F表示采样特征。
步骤S5单独训练三个每个阶段的生成对抗网络，训练完成后，去除第一阶段和第二阶段的判别器，将三个阶段的生成器连接，进行端到端的训练直至模型收敛得到训练后的三阶段图像修复网络模型。
在测试集上测试修复效果，并对修复的图像进行评估，如图3和图4所示。比较修复图像的视觉效果，图3是本实施例方法的修复结果图，表明本实施例方法修复的图像视觉效果良好；图4是本实施例方法与其他方法在场景图片中进行定性比较的对比图，通过比较可以看出，本实施例方法的修复结果使图像结构更连续、合理，视觉效果看起来更贴近真实图片。
表1是本公开实施例1的图像修复方法与现有方法在Places2数据集上的定量比较结果。
表1
表中，MASK指掩膜，CA、GC、GMCNN是现有的算法，Ours指代本实施例的方法。通过上表可以看出，从峰值信噪比(PSNR)、结构相似性(SSIM)、L1误差三个指标进行比较，粗体表示最好的结果，能看出大多数情况下优于其它方法。
实施例2
基于实施例1，本实施例提供一种结合边缘信息和外观流操作的图像修复系统，包括：
预处理模块：被配置为用于对获取的待修复图像进行预处理，得到平滑图像；
边缘预测模块：被配置为用于采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
重构模块：被配置为用于根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
图像修复模块：被配置为用于根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
实施例3
本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。
实施例4
本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种结合边缘信息和外观流操作的图像修复方法，其特征在于，包括如下步骤：
对获取的待修复图像进行预处理，得到平滑图像；
采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
2.如权利要求1所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：采用边缘保留平滑方法对待修复图像进行平滑处理，得到平滑图像；
或者，边缘保留平滑方法为RTV方法。
3.如权利要求1所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：通过构建三阶段图像修复网络模型实现目标边缘图的边缘预测、平滑结构重构和纹理生成步骤；三阶段图像修复网络模型包括边缘预测网络、平滑结构重构网络以及纹理生成网络，每个网络都采用生成对抗网络，每个生成对抗网络包含依次连接的生成器和判别器。
4.如权利要求3所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：三阶段图像修复网络模型的每个网络中的生成器包括级联的编码器和解码器，判别器用于判断输入的图像块是否是真实的。
5.如权利要求3所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：还包括对三阶段图像修复网络模型进行训练的步骤，包括如下：
获取图像数据集及掩膜数据集，并对图像数据集中的图像进行平滑处理；
根据平滑图像、平滑图像的边缘图以及相应的掩膜图片，输入至边缘预测网络，进行边缘预测，得到目标边缘图；
根据将合成边缘图、平滑结构图像以及图像掩模作为输入，输入至平滑结构重构网络，得到重构的平滑结构；所述合成边缘图为：将平滑图像的边缘图的未破损区域和目标边缘图中的边缘进行结合，得到的图像；
将带有破损区域待修复图像和重构的结构图像作为输入，输入至纹理生成网络，通过外观流操作生成包含生动纹理信息的特征，将包含生动纹理信息的特征填充至待修复图像的受损区域；
单独训练三个每个阶段的生成对抗网络，训练完成后，去除第一阶段和第二阶段的判别器，将三个阶段的生成器连接，进行端到端的训练直至模型收敛，得到训练后的三阶段图像修复网络模型。
6.如权利要求5所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：边缘预测网络的损失函数包括对抗损失和特征匹配损失；
或者，平滑结构重构网络的损失函数为l1损失、对抗损失、感知损失以及样式损失的加权和；
或者，纹理生成网络的总体损失函数为损失、对抗损失和采样损失的加权和。
7.如权利要求1或5所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：
根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构，包括如下步骤：
将平滑图像的边缘图的未破损区域和目标边缘图中的边缘进行结合，得到合成的边缘图；
根据平滑结构图像和合成的边缘图，通过生成器生成重构后完整的平滑结构图像；
或者，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，具体为：通过外观流生成表示图像各区域相关性的矩阵，并通过该矩阵使用高斯采样将具有相关性的区域中的纹理采样到破损区域。
8.一种结合边缘信息和外观流操作的图像修复系统，其特征在于，包括：
预处理模块：被配置为用于对获取的待修复图像进行预处理，得到平滑图像；
边缘预测模块：被配置为用于采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
重构模块：被配置为用于根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
图像修复模块：被配置为用于根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
CN202210319225.8A 2022-03-29 2022-03-29 一种结合边缘信息和外观流操作的图像修复方法及系统 Pending CN116958317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210319225.8A CN116958317A (zh) 2022-03-29 2022-03-29 一种结合边缘信息和外观流操作的图像修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210319225.8A CN116958317A (zh) 2022-03-29 2022-03-29 一种结合边缘信息和外观流操作的图像修复方法及系统

Publications (1)

Publication Number Publication Date
CN116958317A true CN116958317A (zh) 2023-10-27

Family

ID=88458833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210319225.8A Pending CN116958317A (zh) 2022-03-29 2022-03-29 一种结合边缘信息和外观流操作的图像修复方法及系统

Country Status (1)

Country Link
CN (1) CN116958317A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333586A (zh) * 2023-11-30 2024-01-02 浙江口碑网络技术有限公司 一种图像处理方法及装置、存储介质和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333586A (zh) * 2023-11-30 2024-01-02 浙江口碑网络技术有限公司 一种图像处理方法及装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
Guo et al. Progressive image inpainting with full-resolution residual network
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
Alsaiari et al. Image denoising using a generative adversarial network
CN108460746B (zh) 一种基于结构和纹理分层预测的图像修复方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN111861901A (zh) 一种基于gan网络的边缘生成图像修复方法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Liu et al. Facial image inpainting using multi-level generative network
CN112686822B (zh) 一种基于堆叠生成对抗网络的图像补全方法
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法
CN116958317A (zh) 一种结合边缘信息和外观流操作的图像修复方法及系统
Tan et al. Low-light image enhancement with geometrical sparse representation
CN117670687A (zh) 一种基于CNN和Transformer混合结构的水下图像增强方法
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
CN112150360A (zh) 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
Kumar et al. Underwater image enhancement using deep learning
CN116051407A (zh) 一种图像修复方法
CN116109510A (zh) 一种基于结构和纹理对偶生成的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination