CN112801914A - 一种基于纹理结构感知的二段式图像修复方法 - Google Patents
一种基于纹理结构感知的二段式图像修复方法 Download PDFInfo
- Publication number
- CN112801914A CN112801914A CN202110181043.4A CN202110181043A CN112801914A CN 112801914 A CN112801914 A CN 112801914A CN 202110181043 A CN202110181043 A CN 202110181043A CN 112801914 A CN112801914 A CN 112801914A
- Authority
- CN
- China
- Prior art keywords
- image
- stage
- damaged
- loss function
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008447 perception Effects 0.000 title claims abstract description 7
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 238000002910 structure generation Methods 0.000 claims abstract description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000008485 antagonism Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 3
- 230000000116 mitigating effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于纹理结构感知的二段式图像修复方法，用于解决图像修复的技术问题，具体包括两个阶段：图像结构生成阶段用于生成图像缺失区域的结构信息；图像内容生成阶段将获得的结构信息作为先验，结合受损图像的纹理和颜色信息来完成图像；每个阶段对应一个生成对抗网络，两个生成对抗网络结构相同；图像结构生成阶段将受损图像的灰度图、结构图和受损图像的掩膜三种图输入图像结构生成阶段训练完成的编码器中，经过九个残差块和解码器得到重构的结构图；图像内容生成阶段：将重构得到的结构图、受损图像以及受损图像的掩膜输入到图像内容生成阶段训练完成的编码器，依次经过九个残差块和解码器得到修复完成的图像。
Description
技术领域：
本发明涉及计算机图像处理领域，具体涉及一种基于纹理结构感知的二段式图像修复方法。
背景技术：
图像修复是用视觉上的真实和语义上的相似的内容填充缺失区域的过程。这是一个经典的、具有挑战性的图像处理课题，广泛应用于图像编辑、基于图像的渲染和计算摄影等领域。传统的基于图像块的图像修复方法是从已知区域搜索并复制最匹配的图像块到缺失的区域。这种传统的图像修复方法对静态纹理的处理效果较好，但对人脸等复杂或非重复结构的纹理处理效果有限，不适用于高层语义信息的捕获。
近年来，基于卷积神经网络的方法在图像修复领域取得了巨大的成功。Pathak等人首先利用对抗损失函数训练深度神经网络来预测缺失区域，这有利于捕获大面积缺失区域的边缘和全局结构。Ishikawa等人通过结合全局和局部的对抗损失函数来改进它，以产生更精细的纹理。Yu等人提出了一个上下文注意层来搜索背景区域中相似度最高的图像块。Yan等人引入了一种带导向损失的转换操作。Yang等人提出了一种多尺度神经片综合(MNPs)方法，结合了基于CNN的方法和基于图像块的方法。Liu等人提出了部分卷积来避免生成的结果失真。然而，大多数这些现有的方法无法同时生成合理的结构和精细的纹理细节。
综上，现有的图像修复算法生成图像质量较低，结构扭曲、纹理细节模糊，具有一定的局限性。
发明内容
本发明的目的是克服上述现有技术的缺点，提供一种质量高的图像修复方法，该方法能有效地重构出合理的结构和精细的纹理，处理任意形状的缺失区域，在视觉上生成合理的结果。
本发明的基于纹理结构感知的二段式图像修复方法，将图像修复任务分为两个部分：图像结构生成和图像内容生成。在第一阶段，网络生成缺失区域的结构信息；而在第二阶段，网络将这些结构信息作为先验，结合已有的纹理和颜色信息来完成图像。整个网络由两个生成对抗网络组成，生成器由编码器、九个带有空洞卷积的残差块和解码器组成。采用PatchGAN架构来设计判别器。其中，编码器由三个卷积层组成，解码器由三个卷积层组成，判别器由5个卷积层构成。
利用训练完成的两阶段生成器进行图像修复：
第一阶段：将受损图像的灰度图、结构图和受损图像掩膜三种图输入图像结构生成阶段训练完成的编码器中，经过九个残差块和解码器得到重构的结构图。
第二阶段：将第一阶段重构得到的结构图、受损图像以及受损图像的掩膜输入图像内容生成阶段训练完成的编码器中，依次经过九个残差块和解码器得到修复完成的图像。
在图像修复前需要对两阶段生成对抗网络进行训练，具体训练过程如下
步骤一：将训练集中受损图像的灰度图、结构图和掩膜输入第一阶段生成器网络中，第一阶段判别器判别图像真伪，通过损失函数迭代地调整参数，最终得到重建的结构图
步骤二：将步骤一重建得到的结构图和训练集中受损图像输入第二阶段的生成器网络，通过第二阶段的判别器判别图像真伪，通过损失函数迭代地调整参数，生成修复后的图像
每个步骤的具体操作如下：
步骤一的具体操作：对真实图像Igt，取该图像的灰度对应图Igray和结构图Sgt，得到训练集中受损图像的掩膜为M，生成器根据下式预测缺失区域的结构：
式中，Gs表示第一阶段的生成器,
表示受损图像的灰度图，
表示受损图像的结构图，M是一个二值掩膜(含义是，输入的受损图像相对于真实图像而言，受损的区域值为1，其他区域值为0)，
表示重建的结构图。
第一阶段网络的训练目标函数由L1损失函数
对抗性损失函数
和特征匹配损失函数Lfm组成。
其中，对抗性损失函数如下：
式中，Ds是第一阶段的判别器，E是指数学期望，即符合真实图像的概率分布的数学期望。
特征匹配损失函数如下：
式中，
是第一阶段判别器第i层(i＝1，2，...，5)的激活值，Ni是第一阶段判别器经过第i层卷积之后的元素个数，l是指判别器的卷积层的个数。
第一阶段网络的目标函数为：
步骤二的具体操作：将步骤一重建的结构图
和受损图像
以及掩膜M输入第二阶段的生成网络，第二阶段的生成器根据下式生成最后的图像结果：
式中，Gc表示第二阶段的生成器。
第二阶段网络的训练目标函数由对抗性损失函数
感知损失函数Lper和风格损失函数Lstyle组成。
其中，对抗损失函数函数如下：
式中，Dc是第二阶段的判别器。
引入感知损失函数是为了使修复完成的图像
在高层语义上与真实图像相似，我们使用VGG-19网络来提取图像的高层语义信息。感知损失函数的定义如下：
式中，Φi(·)表示预训练VGG-19网络中第i层的激活图，l是指预训练VGG-19网络中的层数。
风格损失度量的是激活图的协方差之间的差异，它可以减轻由转置卷积引起的图像失真。风格损失函数的定义如下：
式中，
表示由激活图Фi(·)构造的格拉姆矩阵。
第二阶段网络的目标函数为：
与现有的技术相比，本发明在生成对抗网络的基础上，将图像修复工作分成两个阶段进行：结构生成网络和图像完成网络。在第一阶段重建图像的结构，第二阶段在以第一阶段为前提，得到修复后的图像。其有益的效果是：我们的模型不仅可以合成清晰的图像结构，而且还可以在缺失区域生成精细的纹理，明显优于最先进的方法。
附图说明：
图1在人脸数据集上的修复结果示例图；
图2基于纹理结构感知的二段式图像修复技术框架图；
图3与不同算法的视觉结果比较；
图4结构信息对图像修复结果的影响；
具体实施方式：
为了能够更清楚地描述本发明的技术内容，下面结合具体实例来进一步的描述：
本发明的示例结果如图1所示。
在本发明中，我们提出了一种图像修复两段式的架构，将图像修复任务分为结构生成网络和图像完成网络，每个网络上都是基于生成对抗网络，生成器部分由编码器、残差块和解码器构成，根据PatchGAN架构设计判别器，有效地解决图像修复中的实际问题。本发明的框架图如图2所示。
将受损图像的掩膜、结构图以及灰度图输入到由三个卷积层组成的编码器中，再经过九个残差块后输入到由三个卷积层组成的解码器，得到重建后的结构图，与真实图像的结构图组成对抗训练样本输入到图像结构生成阶段的判别器中进行训练，迭代地调整前面的卷积块的参数，最终得到重建的结构图。将图像结构生成阶段生成的结构图结合受损图像一起输入到由三个卷积层组成的编码器中，再经过九个残差块后输入到由三个卷积层组成的解码器，得到修复完成的结果，将图像内容生成阶段生成的图像与真实图像形成对抗训练样本输入到图像内容生成阶段的判别器中判别真伪，迭代地调整图像内容生成阶段的卷积层的参数，最终得到修复完成的图像。
图像质量评价：
如图3所示，Context Encoder(CE)产生了模糊的结果。GLGAN和ContextualAttention(CA)生成的图像失真。此外，这些方法不能生成复杂的结构和逼真的纹理。与这些方法相比，本发明能更好地处理这些问题，产生更直观、更真实的结果。我们还使用通用的评价指标进行了定量比较。表1表明我们的方法达到了最好的性能。
消融实验：
对重建结构图的效果进行了实验分析。如图4所示，左边第一列为真实图片，左边第二列为输入的图片，左边第三列为未重建结构图的修复结果，左边第四列为重建的结构图，左边第五列为本文提出的二段式图像修复结果。结果表明，进行图像结构的修复是有效的。
表1不同算法的客观质量比较
Claims (6)
1.一种基于纹理结构感知的二段式图像修复方法，其特征在于：将图像修复任务分为两个阶段：图像结构生成阶段和图像内容生成阶段；所述的图像结构生成阶段用于生成图像缺失区域的结构信息；所述的图像内容生成阶段，将获得的结构信息作为先验，结合受损图像的纹理和颜色信息来完成图像；每个阶段对应一个生成对抗网络，两个生成对抗网络结构相同，所述生成对抗网络包括生成器和判别器；
图像结构生成阶段：将受损图像的灰度图、结构图和受损图像的掩膜三种图输入图像结构生成阶段训练完成的编码器中，经过九个残差块和解码器得到重构的结构图；
图像内容生成阶段：将重构得到的结构图、受损图像以及受损图像的掩膜输入到图像内容生成阶段训练完成的编码器，依次经过九个残差块和解码器得到修复完成的图像。
2.根据权利要求1所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：所述生成器由依次串联的编码器、残差块和解码器组成。
3.根据权利要求2所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：编码器由三个卷积层串联组成，残差块为九个带有空洞卷积的残差块串联组成，解码器由三个卷积层串联组成，判别器由5个卷积层串联构成，判别器采用PatchGAN架构。
4.根据权利要求1所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：两阶段生成对抗网络的训练过程如下，
步骤一：将训练集中受损图像的灰度图、结构图和受损图像的掩膜输入图像结构生成阶段的生成器网络中，图像结构生成阶段的判别器判别图像真伪，通过损失函数迭代地调整参数，最终得到重建的结构图
步骤二：将步骤一重建得到的结构图和受损图像输入图像内容生成阶段的生成器网络，通过该阶段的判别器判别图像真伪，通过损失函数迭代地调整参数，生成修复后的图像
完成训练；
5.根据权利要求4所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：
步骤一的具体操作：
(1.1)对真实图像Igt，取该图像的灰度对应图Igray和结构图Sgt，得到受损图像图像的掩膜为M，M是一个二值掩膜，含义是，输入的受损图像相对于真实图像而言，受损的区域值为1，其他区域值为0；其中所述的真实图像Igt是训练数据集中，对应于受损图像的完整图像；
(1.2)将训练集中受损图像的灰度图、结构图和受损图像的掩膜输入图像结构生成阶段的生成器，图像结构生成阶段的生成器根据下式预测缺失区域的结构：
式中，Gs表示图像结构生成阶段的生成器，
表示受损图像的灰度图，
表示受损图像的结构图，
表示重建的结构图；
图像结构生成阶段网络的训练目标函数由L1损失函数
对抗性损失函数
和特征匹配损失函数Lfm组成，
其中，
对抗性损失函数如下：
式中，Ds是第一阶段的判别器，E是指数学期望，即符合真实图像的概率分布的数学期望；
特征匹配损失函数如下：
式中，
是图像结构生成阶段判别器第i卷积层(i＝1，2，...，5)的激活值，Ni是第i层的元素个数，l是指图像结构生成阶段判别器的卷积层的个数；
图像结构生成阶段网络的目标函数为：
其中，
λfm为权重系数；
通过损失函数迭代地调整参数，最终得到重建的结构图
6.根据权利要求5所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：
步骤二的具体操作：将步骤一重建的结构图
和受损图像
以及掩膜M输入图像内容生成阶段的生成网络，图像内容生成阶段的生成器根据下式生成最后的图像结果：
式中，Gc表示图像内容生成阶段的生成器；
图像内容生成阶段网络的训练目标函数由对抗性损失函数
感知损失函数Lper和风格损失函数Lstyle组成；
其中，对抗损失函数函数如下：
式中，Dc是图像内容生成阶段的判别器；
引入感知损失函数用于修复完成的图像
在高层语义上与真实图像相似，感知损失函数的定义如下：
式中，Φi(·)表示预训练VGG-19网络中第i层的激活图，l是指预训练VGG-19网络中的层数；
风格损失度量的是激活图的协方差之间的差异，用于减轻由转置卷积引起的图像失真，风格损失函数的定义如下：
式中，
表示由激活图Φi(·)构造的格拉姆矩阵；
图像结构生成阶段网络的目标函数为：
其中，
λper、λstyle表示为权重系数；
通过损失函数迭代地调整参数，完成训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181043.4A CN112801914A (zh) | 2021-02-09 | 2021-02-09 | 一种基于纹理结构感知的二段式图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181043.4A CN112801914A (zh) | 2021-02-09 | 2021-02-09 | 一种基于纹理结构感知的二段式图像修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112801914A true CN112801914A (zh) | 2021-05-14 |
Family
ID=75814994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110181043.4A Pending CN112801914A (zh) | 2021-02-09 | 2021-02-09 | 一种基于纹理结构感知的二段式图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801914A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409217A (zh) * | 2021-06-24 | 2021-09-17 | 北京工业大学 | 一种基于多频子带概率推理模型的图像修复方法 |
| CN114511644A (zh) * | 2022-01-21 | 2022-05-17 | 电子科技大学 | 一种基于深度学习的自适应数字伪装方法 |
| CN114627006A (zh) * | 2022-02-28 | 2022-06-14 | 复旦大学 | 一种基于深度解耦网络的渐进式图像修复方法 |
| CN115131234A (zh) * | 2022-06-15 | 2022-09-30 | 西北大学 | 一种基于两阶段神经网络的数字壁画修复方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101635047A (zh) * | 2009-03-25 | 2010-01-27 | 湖南大学 | 基于小波变换的纹理合成图像修复方法 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
-
2021
- 2021-02-09 CN CN202110181043.4A patent/CN112801914A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101635047A (zh) * | 2009-03-25 | 2010-01-27 | 湖南大学 | 基于小波变换的纹理合成图像修复方法 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| KAMYAR NAZERI等: "EdgeConnect: Structure Guided Image Inpainting using Edge Prediction", 《PROCEEDINGS OF THE IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV) WORKSHOPS》, pages 1 - 10 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409217A (zh) * | 2021-06-24 | 2021-09-17 | 北京工业大学 | 一种基于多频子带概率推理模型的图像修复方法 |
| CN114511644A (zh) * | 2022-01-21 | 2022-05-17 | 电子科技大学 | 一种基于深度学习的自适应数字伪装方法 |
| CN114627006A (zh) * | 2022-02-28 | 2022-06-14 | 复旦大学 | 一种基于深度解耦网络的渐进式图像修复方法 |
| CN115131234A (zh) * | 2022-06-15 | 2022-09-30 | 西北大学 | 一种基于两阶段神经网络的数字壁画修复方法 |
| CN115131234B (zh) * | 2022-06-15 | 2023-09-19 | 西北大学 | 一种基于两阶段神经网络的数字壁画修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
| Fang et al. | Face completion with hybrid dilated convolution | |
| CN111047541A (zh) | 一种基于小波变换注意力模型的图像修复方法 | |
| CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN113222875B (zh) | 一种基于色彩恒常性的图像和谐化合成方法 | |
| CN112184582B (zh) | 一种基于注意力机制的图像补全方法及装置 | |
| CN113298734B (zh) | 一种基于混合空洞卷积的图像修复方法及系统 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| Li et al. | Line drawing guided progressive inpainting of mural damages | |
| Wei et al. | A three-stage GAN model based on edge and color prediction for image outpainting | |
| CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
| CN117197627A (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN116051407A (zh) | 一种图像修复方法 | |
| Campana et al. | Variable-hyperparameter visual transformer for efficient image inpainting | |
| CN116958317A (zh) | 一种结合边缘信息和外观流操作的图像修复方法及系统 | |
| CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 | |
| Mohite et al. | Image inpainting with contextual attention and partial convolution | |
| CN113160081A (zh) | 一种基于感知去模糊的深度人脸图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |