CN114897742A - 一种纹理和结构特征两次融合的图像修复方法 - Google Patents
一种纹理和结构特征两次融合的图像修复方法 Download PDFInfo
- Publication number
- CN114897742A CN114897742A CN202210657946.XA CN202210657946A CN114897742A CN 114897742 A CN114897742 A CN 114897742A CN 202210657946 A CN202210657946 A CN 202210657946A CN 114897742 A CN114897742 A CN 114897742A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- texture
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 238000005516 engineering process Methods 0.000 claims abstract description 26
- 238000005215 recombination Methods 0.000 claims abstract description 13
- 230000006798 recombination Effects 0.000 claims abstract description 13
- 230000001502 supplementing effect Effects 0.000 claims abstract description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008439 repair process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000001788 irregular Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 101100409194 Rattus norvegicus Ppargc1b gene Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000242583 Scyphozoa Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及一种纹理和结构特征两次融合的图像修复方法；输入破损的人脸图像和边缘图，得到识别图像；通过门控卷积技术提取所述识别图像的特征，并对所述识别图像的特征依次进行特征重组和多尺度填充，得到生成图像；通过融合再融合模块对所述生成图像进行两次融合，得到特征图；将所述特征图进行跳跃连接和逐元素相加后补充到解码端，得到修复图像，该方法通过门控卷积技术提取输入图像的结构和纹理特征，再对两特征进行两次融合，充分挖掘图像高级语义及特征间上下文关系，实现精准而且有效的空洞填充，实现纹理与结构特征的深度耦合，确保修复图像结构完整时纹理丰富。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种纹理和结构特征两次融 合的图像修复方法。
背景技术
近年来，深度学习极大地推进了图像修复的发展。与通过从已知区域中搜 索最相似像素块来逐渐填充缺失区域的传统方法相比，基于深度学习的方法能 捕获更多的高级语义，生成具有丰富纹理和合理结构的修复内容。
在现有的深度学习图像修复方法中，编码器-解码器结构被多次使用，然而， 直接使用这种简单的端对端结构进行训练，可能会产生失真的结构和模糊的纹 理，为此，研究人员尝试利用结构先验进行指导的多阶段编解码结构，用于图 像修复任务。
但是，上述方法只是分别将纹理与结构信息在单一特征空间内编码，忽略 了图像重构时涉及到不同层次特征的事实，缺少了捕获远距离空间上下特征相 关性的能力，容易产生不一致的结构和纹理。
发明内容
本发明的目的在于提供一种纹理和结构特征两次融合的图像修复方法，旨 在解决现有图像修复方法简单融合，缺少空间上下特征，导致修复图像不一致 的问题。
为实现上述目的，本发明提供了一种纹理和结构特征两次融合的图像修复 方法，包括以下步骤：
输入破损的人脸图像和边缘图，得到识别图像；
通过门控卷积技术提取所述识别图像的特征，并对所述识别图像的特征依 次进行特征重组和多尺度填充，得到生成图像；
通过融合再融合模块对所述生成图像进行两次融合，得到特征图；
将所述特征图进行跳跃连接和逐元素相加后补充到解码端，得到修复图像。
其中，所述通过门控卷积技术提取所述识别图像特征，并对所述识别图像 的特征依次进行特征重组和多尺度填充，得到生成图像的具体方式：
通过门控卷积技术提取所述识别图像纹理特征和结构特征，得到图像特征；
对所述图像特征依次进行特征重组和多尺度填充，得到所述生成图像。
其中，所述通过融合再融合模块对所述生成图像进行两次融合，得到特征 的具体方式：
所述融合再融合模块通过双向门控特征融合技术对所述生成图像进行次融 合，得到第一融合图像；
所述融合再融合模块再通过门控注意特征融合技术对所述第一融合图像进 行次融合，得到所述特征图。
其中，所述双向门控特征融合技术用于纹理和结构两种特征的集成，用来 交换和重组结构信息和纹理信息，同时利用软门控控制两种信息集成的速率。
其中，所述门控注意特征融合技术包含亲和学习和多尺度空间自注意力。
本发明的一种纹理和结构特征两次融合的图像修复方法，输入破损的人脸 图像和边缘图，得到识别图像；通过门控卷积技术提取所述识别图像的特征， 并对所述识别图像的特征依次进行特征重组和多尺度填充，得到生成图像；通 过融合再融合模块对所述生成图像进行两次融合，得到特征图；将所述特征图 进行跳跃连接和逐元素相加后补充到解码端，得到修复图像，该方法通过门控 卷积技术提取输入图像的结构和纹理特征，再对两特征进行两次融合，充分挖 掘图像高级语义及特征间上下文关系，实现精准而且有效的空洞填充，使得修 复图像的过程中保持结构完整的同时生成更多纹理细节，本方法提供了纹理和 结构深度融合的人脸修复模型(UG_2F2F)以“UNet+GAN”为基线，融入多 尺度特征重组与填充(TE/ST)、所述融合再融合(Att_ST2)两个模块，实现纹理与 结构特征的深度耦合，确保修复图像结构完整时纹理丰富，解决现有图像修复 方法简单融合，缺少空间上下特征，导致修复图像不一致的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的UG_2F2F的总体网络框架图结构示意图。
图2是TE/ST模块连接示意图。
图3是GAFF的网络结构示意图。
图4是UG_2F2F与代表性模型的视觉效果对比如图。
图5是本发明提供的种纹理和结构特征两次融合的图像修复方法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不 能理解为对本发明的限制。
请参阅图1至图5，本发明提供一种纹理和结构特征两次融合的图像修复方 法，包括以下步骤：
S1输入破损的人脸图像和边缘图，得到识别图像；
具体的，边缘图像”作为先验知识，用于指导图像修复过程，生成完整的 人脸结构。
S2通过门控卷积技术提取所述识别图像的特征，并对所述识别图像的特征 依次进行特征重组和多尺度填充，得到生成图像；
具体方式
S21通过门控卷积技术提取所述识别图像纹理特征和结构特征，得到图像特 征；
具体的，在UG_2F2F的网络中，编码器的下采样和解码器的下采样的各有 6个卷积层在编码阶段，前三层门控卷积重点关注纹理特征，主要填充图像的局 部细节，后三层门控卷积重点关注结构特征，用来填充图像的全局信息。
S22对所述图像特征依次进行特征重组和多尺度填充，得到所述生成图像。
具体的，前三层门控卷积经过TE模块处理之后，得到一个具有丰富纹理的 彩色图像Ite，经过后三层门控卷积生成的所述图像特征经过ST模块处理之 后，得到一个结构填充完整的彩色图像Ist，TE/ST模块如图2所示，包含两 个部分：CNN特征重组和多尺度特征填充，绘制了图2所示的TE/ST网络结构， 由于在下采样过程中，每层输出的特征图F大小不一，因此设计特征重组模块 将前三层和后三层的特征图F分别转换成相同大小，并将其用一层卷积层连接 起来。重组后得到的特征输入到3×3、5×5和7×7的三个并行通道上进行多 尺度填充。用不同大小的卷积核进行特征填充，能增加网络的感受野，有利于 捕捉到局部与全局信息，其中TE模块：表示注重纹理的特征重组与多尺度填充， ST模块：注重结构的特征重组与多尺度填充的操作，CNN为卷积神经网络。
S3通过融合再融合模块对所述生成图像进行两次融合，得到特征图F；
具体的，所述融合再融合模块(Att-ST2)包含双向门控特征融合技术(Bi-GF) 和门控注意特征融合技术(GAF)两个部分，其中，所述门控注意特征融合技 术的GAFF模块的计算过程描述如下给定一个特征图FBi-GFF，首先用一个3 ×3大小的卷积核做卷积操作，用来提取背景与前景中的特征块。为了将前景特 征块fi与背景特征块fj进行匹配，使用归一化内积进行度量：
其中
表示当前特征块fi与其相关特征块fj之间的余弦 相似性，<·，·>表示内积操作。
将公式(1)得到的值应用基于通道的softmax操作，以获得每个特征块fi的注意力分数：
随后，根据公式2计算出来的注意力分数，将提取到的像素块fi进行特 征块的重构：
其中
表示重构后的特征图F2中的第i个特征块。以上三个步 骤在图3中表示为亲和学习模块，softmax为归一化指数函数，
每 个特征块fi的注意力分数。
在重构特征块的过程中，使用三组具有不同尺度的门控卷积来捕获多尺度 的语义特征：
其中，对F2进行卷积核尺寸为k的门控卷积操作，得到 
亲和学习之后得到的特征图，Gatek(·)表示卷积核尺寸 为k的门控卷积层，k∈{3，5，7}。门控卷积自动学习掩码更新策略， 并为生成的像素分配权重，实现对图像中损坏区域和未损坏区域的区别对待。 其公式定义如下：
其中，Gatting：对掩码进行的卷积操作得到的掩码特征图，Feature： 对输入图像进行卷积操作得到图像特征图，σ是sigmoid函数，输出门控值 在0和1之间，⊙：矩阵的点积操作，φ可以是任何具有激活功能的函数。 公式4里用的是LeakyReLU激活函数。Wg和Wf是两个不同的卷积滤波 器，可以通过有效像素和图像特征的元素乘法来提取有意义的信息。在门控卷 积中，图像和掩码的训练是同步的，而不是按恒定规则转换掩码，因此能在不规 则掩码中获得更有效的性能。
针对多列门控卷积提取出来的多尺度语义特征，引入了一种像素级权重生 成器PW，更好地聚合多尺度语义特征。在公式6中，PW由两个门控卷 积层组成，卷积核大小分别为3和1。在每个卷积操作后采用非线性ReLU激活 函数，PW的输出通道数设置为3。像素级权重图计算如下：
G＝Softmax(PW(F2)) (6)
G3，G5，G7＝Slice(G) (7)
其中Softmax(·)和Slice(·)表示通道维度上的两个操作， Slice(·)：基于通道维度上的切片操作，G：表示通过对特征图 F2进行PW卷积操作和softmax操作之后得到的一个像素级权重图。
Gk表示通过对G进行不同尺度的slice切片操作，得到了G3，G5，G7，目的是 建立多尺度像素权重图的索引。将公式4捕获到的多尺度的语义特征
与公式7 得到的像素权重图Gk进行逐元素相乘，得到每个尺度上的特征图。最后，将三 个尺度上的特征图进行加权求和，用以聚合多尺度语义特征，生成细化的特征 图F3：
其中，F3：表示经过权重生成器之后得到的细化的特征图，UG_2F2F 采用联合损失进行训练，包括修正的像素重建损失、感知损失、风格损失和相 对平均对抗损失。设G为生成器，D为鉴别器。Igt表示真实图像，Egt表 示完整结构图，Iin表示输入的破损图像，表示为Iin＝Igt⊙Min。
Min为初始二值掩码，有效像素区域值为1，无效为像素区域值0。Iout表 示网络最终预测输出的图像。
定义了一种修正的重建损失l′re，其计算公式如下：
l′re＝λre||Iout-Igt||1+λt||Ite-Igt||1+λs||Ist-Iedge||1. (9)
上式中的三个损失项分别代表重建像素损失项、纹理损失项和结构损失项。 Ite代表TE模块的输出，Ist代表ST模块的输出，Iedge代表通过Canny边缘检测。 提取到的完整边缘信息。||Iout-Igt||1是最终预测输出图像Iout和真实图像Igt之间 的L1度量。λre、λt、λs表示各项的权重因子。
修正的重建损失l're与感知损失Lperc、风格损失Lstyle和对抗损失Ladv相结合。 定义UG_2F2F的联合损失Ltotal为：
Ltotal＝l′re+λpLperc+λsLstyle+λadvLadv (10)
其中λp、λs、λadv表示对应损失项的权重参数。
具体方式：
S31所述融合再融合模块通过双向门控特征融合技术对所述生成图像进行 次融合，得到第一融合图像；
具体的，所述双向门控特征融合技术用于纹理和结构两种特征的集成，用 来交换和重组结构信息和纹理信息，同时利用软门控控制两种信息集成的速率。
S32所述融合再融合模块再通过门控注意特征融合技术对所述第一融合图 像进行融合，得到所述特征图F。
具体的，所述门控注意特征融合技术包含亲和学习和多尺度空间自注意力， 亲和学习使用固定大小的卷积模板(3×3)进行特征学习，增强了图像局部特征之 间的相关性。不同于CA使用固定3×3尺度的补丁匹配方案，MS-GSA采用了 三个不同尺度进行特征提取与聚合，增强局部与全局信息的相关性；不同于CFA 使用普通卷积，MS-GSA采用了门控卷积进行特征融合，在多个尺度上编码出 丰富的语义特征，同时在不规则修复中得到更佳的效果，其中CA：是2018年 提出的一种注意力模型，英文全称Contextual Attention，中文解释为上下文注意 力，MS-GSA为多尺度空间注意力。
S4将所述特征图进行跳跃连接和逐元素相加后补充到解码端，得到修复图 像。
具体的，根据UG_2F2F的总体框架图，跳跃连接的输入来自编码端的门控 卷积层，输出到解码端的对应门控卷积层，可以看到所述特征图是通过逐元素 相加(element-wiseaddition)与跳跃连接的输入相融合形成新的特征图，再输入 到解码端的对应层，指导解码器的输出。
本发明还提供了一种纹理和结构特征两次融合的图像修复方法的分析及实 验结果：
一、实验环境与实验设置
采用CelebA-HQ公共人脸图像数据集来评估UG_2F2F的性能。该数据集共 有30000张图片，选取了29000张进行训练、1000张进行测试。使用两种不同 种类的掩码进行了定性和定量比较。其中规则的中心方形掩码是一张覆盖图像 中心，且覆盖大小为128×128的图像。不规则掩码选取破损比例为10-50％的任 意形状掩码数据集，根据其空洞大小，被明确划分成4个区间，分别为10-20％， 20-30％，30-40％和40-50％，观察每个区间内的掩码图像修复结果。实验中用于 训练、测试的图像和掩码均先预处理为256×256大小，其中掩码图像同时处理 为单通道图像。
UG_2F2F模型在PyTorch框架中实现。计算硬件使用了Intel CPU I9-10920X(3.50GHz)和NVIDIA RTX 3080Ti GPU(12GB)。BatchSize设置为1，使用Adam 优化器。初始学习率设置为2×10-4。损失函数的权重参数λp、λs、λadv分别 设置为0.1、250、0.2。
为了验证UG_2F2F模型在解决产生失真结构或模糊纹理问题上是有效的, 将其与代表性模型进行比较，这些模型包括CA、DeepFillv2、EdgeConnect、RFR、MED和CTSDG。
二、定性分析
UG_2F2F与代表性模型的视觉效果对比如图4所示。前三行表示规则中心 方形掩码下的定性结果，后五行表示在不规则掩码下的定性结果，从图4可以 看出，基于注意力的经典模型CA在处理较大的中心缺失时，产生了扭曲的结构 和大面积的伪影。基于结构先验指导的两阶段模型EC能够通过使用边缘先验来 生成正确的结构，但可能会生成混合的边缘，导致很难生成正确的纹理，图4 中第二行的EC修复结果产生了两对眉毛的轮廓。利用门控卷积进行修复的 DeepFilllv2模型产生过度平滑的预测，如图4中的第一行、第三行脸颊部分明 显被过度平滑，导致人脸图像缺少客观的纹理，同时还可能存在色彩不均衡的 问题，如图4中的第二行的修复图，男生的右眼皮以及左眼下面区域存在色彩 不均衡问题。RFR使用循环特征推理模块，在缺失区域比较大的情况产生了具 有竞争力的结果，但其在小区域破损时，修复结果会出现黑色的破损阴影，如 图4中RFR修复图的第四行里存在黑色阴影。MED利用平滑图像作为额外的监 督来增强破损图片的结构修复，但在大区域破损时修复结果会出现阴影。图4 中MED修复图的第六行、第七行。CTSDG采用纹理与结构双编码器结构进行 修复，产生了具有竞争力的结果。但其在10-20％小区域破损区域的修复细节不够丰富，如图4中第四行修复对比图中，CTSDG的修复结果中眼睛部分存在明 显色差的问题，并且男人的眼镜被过度平滑，丢失细节。与这些方法相比，本 研究的修复结果在较小缺失图像(10-30％)中能修复出完整的结构和丰富的细节； 在较大缺失图像(40-50％)中，能修复出较完整的结构，并且产生的模糊纹理较少。
三、定量分析
采用失真度量和感知质量度量来定量评估模型性能。失真度量用于测量结 果的失真程度，包括结构相似指数(SSIM)、峰值信噪比(PSNR)，这两个指标 预先假设理想的修复结果与目标图像完全相同，再分别计算它们之间的距离或 差距。感知质量度量用于表示结果的感知质量，代表一幅图像的主观感知质量。 这里选择了Fréchet初始距离(FID)。
如表1表示各模型在CelebA-HQ数据集分别在规则掩码和不规则掩码下的 修复性能。表中符号“↓”表示越低越好，“↑”表示越高越好。表中数据表明， UG_2F2F模型的性能全面超越了对比项，而且在FID指标上下降了28.1％，表 明主观感知质量得到显著提升。
四、消融实验
为了验证GAFF模块的有效性，我们设计了两种对比验证。一是直接去掉 GAFF模块，对应表2中的w/o GAFF；二是用常规卷积替换GAFF中的门控卷 积，在模型中融入衍生模块CAFF进行训练，对应表2中的w/CAFF。实验结 果表明，使用带门空卷积的特征融合模块GAFF的客观性能指标最优。同时， 从主观表现来看，不使用GAFF时，修复图像存在以下困难：难以产生合理的 结构与纹理，人脸轮廓存在明显的伪影，眼睛周围纹理模糊等。
为了验证不同边缘信息在模型中发挥的作用，分别用Canny算子、HED算 法、RTV平滑技术三种方法提取CelebA-HQ数据集的结构信息，通过实验对比 分析它们在UG_2F2F模型中的表现。Canny算子提取出的边缘图为一个二进制 掩码，边缘像素宽度固定为1像素。HED算法产生的边缘具有不同的厚度，像 素强度在0到1之间。RTV平滑技术产生的图像信息同时具有结构和纹理单元。 实验结果如表3所示，使用Canny算子提取图像边缘并作为先验信息，具有绝 对优势。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发 明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流 程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (5)
1.一种纹理和结构特征两次融合的图像修复方法，其特征在于，包括以下步骤：
输入破损的人脸图像和边缘图，得到识别图像；
通过门控卷积技术提取所述识别图像的特征，并对所述识别图像的特征依次进行特征重组和多尺度填充，得到生成图像；
通过融合再融合模块对所述生成图像进行两次融合，得到特征图；
将所述特征图进行跳跃连接和逐元素相加后补充到解码端，得到修复图像。
2.如权利要求1所述的一种纹理和结构特征两次融合的图像修复方法，其特征在于，
所述通过门控卷积技术提取所述识别图像特征，并对所述识别图像的特征依次进行特征重组和多尺度填充，得到生成图像的具体方式：
通过门控卷积技术提取所述识别图像纹理特征和结构特征，得到图像特征；
对所述图像特征依次进行特征重组和多尺度填充，得到所述生成图像。
3.如权利要求1所述的一种纹理和结构特征两次融合的图像修复方法，其特征在于，
所述通过融合再融合模块对所述生成图像进行两次融合，得到特征的具体方式：
所述融合再融合模块通过双向门控特征融合技术对所述生成图像进行融合，得到第一融合图像；
所述融合再融合模块通过门控注意特征融合技术对所述第一融合图像进行融合，得到所述特征图。
4.如权利要求3所述的一种纹理和结构特征两次融合的图像修复方法，其特征在于，
所述双向门控特征融合技术用于纹理和结构两种特征的集成，用来交换和重组结构信息和纹理信息，同时利用软门控控制两种信息集成的速率。
5.如权利要求3所述的一种纹理和结构特征两次融合的图像修复方法，其特征在于，
所述门控注意特征融合技术包含亲和学习和多尺度空间自注意力。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210657946.XA CN114897742B (zh) | 2022-06-10 | 2022-06-10 | 一种纹理和结构特征两次融合的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210657946.XA CN114897742B (zh) | 2022-06-10 | 2022-06-10 | 一种纹理和结构特征两次融合的图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114897742A true CN114897742A (zh) | 2022-08-12 |
| CN114897742B CN114897742B (zh) | 2023-05-23 |
Family
ID=82728587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210657946.XA Active CN114897742B (zh) | 2022-06-10 | 2022-06-10 | 一种纹理和结构特征两次融合的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897742B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661906A (zh) * | 2022-11-11 | 2023-01-31 | 杭州海量信息技术有限公司 | 一种多模态融合的人脸活体检测方法及系统 |
| CN116258652A (zh) * | 2023-05-11 | 2023-06-13 | 四川大学 | 基于结构注意和文本感知的文本图像修复模型及方法 |
| CN117196981A (zh) * | 2023-09-08 | 2023-12-08 | 兰州交通大学 | 一种基于纹理和结构调和的双向信息流方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837234A (zh) * | 2021-01-25 | 2021-05-25 | 重庆师范大学 | 一种基于多列门控卷积网络的人脸图像修复方法 |
| CN113989129A (zh) * | 2021-09-01 | 2022-01-28 | 西安电子科技大学 | 基于门控和上下文注意力机制的图像修复方法 |
| CN114463209A (zh) * | 2022-01-25 | 2022-05-10 | 广州大学 | 一种基于深度多特征协同学习的图像修复方法 |
-
2022
- 2022-06-10 CN CN202210657946.XA patent/CN114897742B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837234A (zh) * | 2021-01-25 | 2021-05-25 | 重庆师范大学 | 一种基于多列门控卷积网络的人脸图像修复方法 |
| CN113989129A (zh) * | 2021-09-01 | 2022-01-28 | 西安电子科技大学 | 基于门控和上下文注意力机制的图像修复方法 |
| CN114463209A (zh) * | 2022-01-25 | 2022-05-10 | 广州大学 | 一种基于深度多特征协同学习的图像修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| JOHNSON ET AL: "Image inpainting via conditional texture and structure dual generation", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661906A (zh) * | 2022-11-11 | 2023-01-31 | 杭州海量信息技术有限公司 | 一种多模态融合的人脸活体检测方法及系统 |
| CN116258652A (zh) * | 2023-05-11 | 2023-06-13 | 四川大学 | 基于结构注意和文本感知的文本图像修复模型及方法 |
| CN116258652B (zh) * | 2023-05-11 | 2023-07-21 | 四川大学 | 基于结构注意和文本感知的文本图像修复模型及方法 |
| CN117196981A (zh) * | 2023-09-08 | 2023-12-08 | 兰州交通大学 | 一种基于纹理和结构调和的双向信息流方法 |
| CN117196981B (zh) * | 2023-09-08 | 2024-04-26 | 兰州交通大学 | 一种基于纹理和结构调和的双向信息流方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114897742B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN103093444B (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN111709900A (zh) | 一种基于全局特征指导的高动态范围图像重建方法 | |
| CN111787187B (zh) | 利用深度卷积神经网络进行视频修复的方法、系统、终端 | |
| CN112365556B (zh) | 一种基于感知损失和风格损失的图像扩展方法 | |
| Zhou et al. | FSAD-Net: Feedback spatial attention dehazing network | |
| Kang et al. | Ddcolor: Towards photo-realistic image colorization via dual decoders | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN114972134A (zh) | 一种提取并融合局部和全局特征的低光图像增强方法 | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| Liu et al. | WSDS-GAN: A weak-strong dual supervised learning method for underwater image enhancement | |
| CN116363036B (zh) | 基于视觉增强的红外与可见光图像融合方法 | |
| CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
| CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
| CN116523985A (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN115457265B (zh) | 基于生成对抗网络和多尺度融合的图像去雾方法及系统 | |
| Wu et al. | Semantic image inpainting based on generative adversarial networks | |
| Guo et al. | Blind Image Quality Assessment via Multiperspective Consistency | |
| CN114663285B (zh) | 基于卷积神经网络的老电影超分辨系统 | |
| Pan et al. | From Coarse to Fine: A Two-Stage Network for Dense Haze removal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |