CN113034390B - 一种基于小波先验注意力的图像修复方法及系统 - Google Patents

一种基于小波先验注意力的图像修复方法及系统 Download PDF

Info

Publication number
CN113034390B
CN113034390B CN202110286255.9A CN202110286255A CN113034390B CN 113034390 B CN113034390 B CN 113034390B CN 202110286255 A CN202110286255 A CN 202110286255A CN 113034390 B CN113034390 B CN 113034390B
Authority
CN
China
Prior art keywords
image
masked
wavelet
information
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110286255.9A
Other languages
English (en)
Other versions
CN113034390A (zh
Inventor
付彦伟
曹辰捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110286255.9A priority Critical patent/CN113034390B/zh
Publication of CN113034390A publication Critical patent/CN113034390A/zh
Application granted granted Critical
Publication of CN113034390B publication Critical patent/CN113034390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明涉及一种基于小波先验注意力的图像修复方法及系统，包括以下步骤：获取多张原始图像；基于原始图像构筑遮掩图像；分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型；使用图像修复模型进行图像修复。与现有技术相比，本发明利用原始图像、遮掩图像和遮掩图像的高频小波信息进行图像修复网络的训练，提供了图像修复中一些关键的结构信息和高频信息，同时引入了注意力偏移模块，提升了图像修复模型的效率，得到的图像修复模型能更好的还原结构信息。

Description

一种基于小波先验注意力的图像修复方法及系统
技术领域
本发明涉及图像生成领域，尤其是涉及一种基于小波先验注意力的图像修复方法及系统。
背景技术
图像修复是一种将图片中缺省的区域进行填充修补的技术，图像修复的目的是确保修复的图像区域的纹理细节的真实性和合理性，图像修复可以为许多现实应用服务，例如图像恢复，图像编辑，对象移除等等。
作为计算机视觉近年来的研究热门，基于深度学习的图像修复算法已经有了许多有价值的工作，能够更好适应修复区域大小不统一的问题，也能更好的解决图像颜色差异带来的修复效果较差的问题。其中不少工作致力于通过对模型的改进来改善填补区域的纹理细节，例如基于门控卷积的图像修复算法有效提升了不规则遮掩的图像修复效果，多尺度的注意力模型进一步提升了图像修复的纹理效果，然而这些模型并没有考虑到使用图像的先验信息，图像修复效果有待提升。
现有的一些工作利用了图像的先验信息来提升图像修复的性能，如中国专利CN202010602760.5公开的一种图像修复模型训练方法及系统及图像修复方法，修复的目标能够根据用户提供的边缘信息进行生成，能够满足目标图像一定程度的变化，修复的效果更自然。也有一些图像修复方法，使用边缘结构先验信息、平滑色块的结构信息、将人脸关键点引入到人脸图像修复上、使用基于梯度的结构信息以及使用语义分割信息来完善纹理先验等。然而，这些先验方法存在一些问题。首先，语义分割和人脸关键点等先验对原图像的完整度有着很强的依赖性。另一方面，许多基于先验的生成模型都有着多阶段的训练过程，使得整体复杂度偏高。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于小波先验注意力的图像修复方法及系统，利用原始图像、遮掩图像和遮掩图像的高频小波信息进行图像修复网络的训练，提供了图像修复中一些关键的结构信息和高频信息，同时引入了注意力偏移模块，提升了图像修复模型的效率，得到的图像修复模型能更好的还原结构信息。
本发明的目的可以通过以下技术方案来实现：
一种基于小波先验注意力的图像修复方法，包括以下步骤：
S1：获取多张原始图像；
S2：基于原始图像构筑遮掩图像；
S3：分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
S4：建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型；
S5：使用图像修复模型进行图像修复。
进一步的，所述原始图像为包含人脸或场景的图片。
进一步的，步骤S2中，构筑遮掩图像具体为：
遍历所有的原始图像，分别将每一张原始图像转化为遮掩图像，每一张原始图像有50％的概率转化为第一类遮掩图像，有50％的概率转化为第二类遮掩图像，转化为第一类遮掩图像具体为：在原始图像上随机添加一张语义图层，转化为第二类遮掩图像具体为：在原始图像上随机生成涂抹笔刷；所述语义图层是从预设置的语义图层集中随机获取的。
进一步的，步骤S3中，建立4个Haar滤波算子：[[1,1][1,1]]、[[1,-1][1,-1]]、[[1,1][-1,-1]]、[[1,-1][-1,1]]，使用4个Haar滤波算子对遮掩图像进行多次Haar小波抽取，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
其中，对图像使用第1个Haar滤波算子得到分辨率为该图像的1/2低分辨率图像，对图像使用第2个、第3个和第4个Haar滤波算子分别得到该图像垂直方向、水平方向和对角方向的高频小波信息。
进一步的，所述图像修复网络包括生成器和判别器，所述生成器包括编码模块、中间残差模块、注意力模块和解码模块；
所述生成器的输入为训练图像，生成器的输出为训练图像的修复图像；
对遮掩图像所对应的原始图像进行Haar小波变换，得到原始图像在不同分辨率下的高频小波信息，以及多张不同分辨率的采样图像，原始图像的高频小波信息所对应的分辨率与遮掩图像的高频小波信息所对应的分辨率一一对应，采样图像的分辨率与遮掩图像的高频小波信息所对应的分辨率一一对应；
所述判别器的输入为真实图像和修复图像，输出为判别器损失值；所述真实图像为与修复图像的分辨率相同的采样图像；
所述生成器的注意力模块还包括注意力偏移模块，用于获取放大的偏移值；
基于放大的偏移值对遮掩图像在不同分辨率下的高频小波信息进行小波聚合，得到修复小波信息；
基于修复小波信息，对不同分辨率的采样图像进行逆Haar小波变换，得到多张复原图像，将复原图像与采样图像和原始图像对比，计算得到生成器损失值；
基于判别器损失值和生成器损失值调整图像修复网络的参数。
更进一步的，所述生成器中编码模块和解码模块是由门控卷积构成的，前向过程为：
GateConv(X)＝σ(G)·F
F＝Convf(X)，G＝Convg(X)
其中，X是训练图像的输入特征，F和G表示图像特征，σ为sigmoid激活函数；
所述注意力模块计算训练图像中被遮掩区域的图像特征和未被遮掩区域的图像特征的相似度关系Rv,m，并基于相似度关系Rv,m和未被遮掩区域的图像特征重构被遮掩区域的图像特征，相似度关系Rv,m的计算如下：
Rv,m＝softmaxv(λcosv,m)
Figure BDA0002980600440000031
其中，cosv,m表示被遮掩区域的图像特征和未被遮掩区域的图像特征的余弦相似度，softmax表示指数归一化函数，Fv和Fm分别表示未被遮掩区域的图像特征和被遮掩区域的图像特征，λ取值为10；
重构被遮掩区域的图像特征如下所示：
Figure BDA0002980600440000032
其中，F′m表示重构得到的被遮掩区域的图像特征；
所述注意力偏移模块用于获取放大的偏移值T′，具体为：
T′＝λmax T+λ
Figure BDA0002980600440000041
其中，λmax取值为120，T表示偏移值，λ取值为10，
Figure BDA0002980600440000042
表示矩阵的维度为
Figure BDA0002980600440000043
Figure BDA0002980600440000044
和
Figure BDA0002980600440000045
表示F′m的尺寸；
基于相似度关系Rv,m和放大的偏移值T′得到小波聚合的相似度关系R′v,m，R′v,m为偏移后的相似度关系：
R′v,m＝softmaxv(T′cosv,m)
将遮掩图像在不同分辨率下的高频小波信息切块展开：
Figure BDA0002980600440000046
其中，H(l)表示遮掩图像第l层的高频小波信息，第l层的分辨率为遮掩图像的1/2l，
Figure BDA0002980600440000047
表示第l层的高频小波信息切块展开后得到的切块小波信息，
Figure BDA0002980600440000048
表示行和列，表示遮掩图像的高度，w表示遮掩图像的宽度，c＝3代表RGB输入；
Figure BDA0002980600440000049
表示矩阵的维度为
Figure BDA00029806004400000410
对切块小波信息进行修复：
Figure BDA00029806004400000411
其中，H′j (l)表示对切块小波信息
Figure BDA00029806004400000412
进行修复得到的修复小波信息；
使用修复小波信息对不同分辨率的采样图像进行逆Haar小波变换，得到多张复原图像：
Figure BDA00029806004400000413
Figure BDA00029806004400000414
其中，
Figure BDA00029806004400000415
表示采样图像，
Figure BDA00029806004400000416
表示复原图像，L的值等于高频小波信息的总层数。
更进一步的，基于判别器损失值和生成器损失值调整图像修复网络的参数具体为：
判别器损失值
Figure BDA00029806004400000417
和对抗损失
Figure BDA00029806004400000418
为：
Figure BDA00029806004400000419
Figure BDA00029806004400000420
生成器损失值
Figure BDA0002980600440000051
为：
Figure BDA0002980600440000052
Figure BDA0002980600440000053
Figure BDA0002980600440000054
其中，
Figure BDA0002980600440000055
表示原始图像第l层的高频小波信息，
Figure BDA0002980600440000056
表示图像重构L1损失，
Figure BDA0002980600440000057
表示感知损失，
Figure BDA0002980600440000058
表示风格损失，λadv取值为0.1，λper取值为0.1，λsty取值为250，λIHT取值为0.2，
Figure BDA0002980600440000059
表示期望，M表示遮掩图像的二值化图像，NM表示遮掩图像的二值化图像中灰度值为1的像素点的数量，N(1-M)表示遮掩图像的二值化图像中灰度值为1的像素点的数量。
一种基于小波先验注意力的图像修复系统，包括图像获取模块和图像修复模块，所述图像获取模块用于获取待修复的图像，所述图像修复模块基于预先训练的图像修复模型对待修复的图像进行图像修复。
进一步的，所述图像修复模型的训练步骤如下：
获取多张原始图像；
基于原始图像构筑遮掩图像；
分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型。
更进一步的，所述原始图像为包含人脸或场景的图片。
与现有技术相比，本发明利用原始图像、遮掩图像和遮掩图像的高频小波信息进行图像修复网络的训练，提供了图像修复中一些关键的结构信息和高频信息，同时引入了注意力偏移模块，提升了图像修复模型的效率，得到的图像修复模型能更好的还原结构信息。
附图说明
图1为本发明的流程图；
图2为实施例中图像修复网络的系统概述图；
图3为实施例中注意力模块的结构图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件。
实施例1：
一种基于小波先验注意力的图像修复方法，如图1所示，包括以下步骤：
S1：获取多张原始图像；
S2：基于原始图像构筑遮掩图像；
S3：分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
S4：建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型；
S5：使用图像修复模型进行图像修复。
一种基于小波先验注意力的图像修复系统，包括图像获取模块和图像修复模块，图像获取模块用于获取待修复的图像，图像修复模块基于预先训练的图像修复模型对待修复的图像进行图像修复。
图像修复模型的训练步骤如下：
获取多张原始图像(原始图像为包含人脸或场景的图片)；
基于原始图像构筑遮掩图像；
分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型。
本实施例中，以CelebaHQ人脸数据集和Places2中10个包含室内外场景图片的数据集作为原始图像，在CelebaHQ人脸数据集中划分29000张图片为原始图像，其余1000张图片作为测试图像，用于测试图像修复网络；一共得到50000张原始图像和1000张测试图像。
将每一张原始图像分别转换为遮掩图像，考虑到遮掩的多样性，每一张原始图像有50％的概率转化为第一类遮掩图像，有50％的概率转化为第二类遮掩图像。
引入COCO数据集的语义分割标签图层，构筑了91707张语义图层，这些语义图层均为现实事物的语义图层，在原始图像上随机添加一张语义图层得到第一类遮掩图像。
使用程序模拟人类的涂鸦习惯，通过随机的角度对笔刷进行迭代涂抹，将随机次数设置在2到5次，在原始图像上随机生成涂抹笔刷得到第二类遮掩图像。
对各个遮掩图像进行Haar小波变换，本申请建立4个Haar滤波算子：[[1,1][1,1]]、[[1,-1][1,-1]]、[[1,1][-1,-1]]、[[1,-1][-1,1]]，使用4个Haar滤波算子对遮掩图像进行多次Haar小波抽取，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；其中，对图像使用第1个Haar滤波算子得到分辨率为该图像的1/2低分辨率图像，对图像使用第2个、第3个和第4个Haar滤波算子分别得到该图像垂直方向、水平方向和对角方向的高频小波信息。
假定遮掩图像为2*2的图块，[[a,b],[c,d]]，通过第1个Haar滤波算子得到((a+b+c+d)/4)，得到遮掩图像1/2分辨率的图像，相当于每2*2的patch均值化。通过第2个Haar滤波算子得到((a-b+c-d)/4)，其余算子同理，分别得到垂直方向，水平方向，对角方向的高频小波信息。
本实施例中，原始图像和遮掩图像的分辨率均为512*512，对遮掩图像进行多次Haar小波变换，得到分辨率为256*256的训练图像，以及遮掩图像在256*256分辨率、128*128分辨率、64*64分辨率、32*32分辨率下的高频小波信息。
建立图像修复网络，如图2所示，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练。将256*256的训练图像输入生成器，依次经过编码模块、残差模块、注意力模块、残差模块和解码模块，得到256*256的修复图像，在生成器中，基于256*256的训练图像中未被遮掩区域的图像特征重构被遮掩区域的图像特征，得到修复图像。
其中，编码模块和解码模块是由门控卷积构成的，前向过程为：
GateConv(X)＝σ(G)·F
F＝Convf(X)，G＝Convg(X)
上式中，X是训练图像的输入特征，F和G表示图像特征，σ为sigmoid激活函数；
本申请中，注意力模块计算训练图像中被遮掩区域的图像特征和未被遮掩区域的图像特征的相似度关系Rv,m，并基于相似度关系Rv,m和未被遮掩区域的图像特征重构被遮掩区域的图像特征，相似度关系Rv,m的计算如下：
Rv,m＝softmaxv(λcosv,m)
Figure BDA0002980600440000081
上式中，cosv,m表示被遮掩区域的图像特征和未被遮掩区域的图像特征的余弦相似度，softmax表示指数归一化函数，Fv和Fm分别表示未被遮掩区域的图像特征和被遮掩区域的图像特征，λ为固定偏移值，取值为10；
重构被遮掩区域的图像特征如下所示：
Figure BDA0002980600440000082
其中，F′m表示重构得到的被遮掩区域的图像特征；最后，基于重构的被遮掩区域的图像特征得到修复图像。
为了更好的训练图像修复网络，本申请在注意力模块中引入了注意力偏移模块，如图3所示，在注意力偏移模块中计算放大的偏移值。注意力偏移模块获取放大的偏移值T′，具体为：
T′＝λmax T+λ
Figure BDA0002980600440000083
其中，λmax取值为120，表示偏移值，λ取值为10，
Figure BDA0002980600440000084
表示矩阵的维度为
Figure BDA0002980600440000085
Figure BDA0002980600440000086
和
Figure BDA0002980600440000087
表示F′m的尺寸，本实施例中均为32；
基于相似度关系Rv,m和放大的偏移值T′得到小波聚合的相似度关系R′v,m，R′v,m为偏移后的相似度关系：
R′v,m＝softmaxv(T′cosv,m)
将遮掩图像在256*256分辨率、128*128分辨率、64*64分辨率、32*32分辨率下的高频小波信息切块展开：
Figure BDA0002980600440000088
H(l)表示遮掩图像第l层的高频小波信息，第l层的分辨率为遮掩图像的1/2l，
Figure BDA0002980600440000091
表示第l层的高频小波信息切块展开后得到的切块小波信息，
Figure BDA0002980600440000092
表示行和列，表示遮掩图像的高度，w表示遮掩图像的宽度，c＝3代表RGB输入；
Figure BDA0002980600440000093
表示矩阵的维度为
Figure BDA0002980600440000094
对切块小波信息进行修复：
Figure BDA0002980600440000095
其中，H′j (l)表示对切块小波信息
Figure BDA0002980600440000096
进行修复得到的修复小波信息；
对512*512的原始图像进行Haar小波变换，得到分辨率为256*256、128*128、64*64、32*32的采样图像，以及原始图像在分辨率256*256、128*128、64*64、32*32下的高频小波信息。
使用修复小波信息对这些采样图像进行逆Haar小波变换(IHT)，得到512*512、256*256、128*128、64*64的复原图像。
使用修复小波信息对不同分辨率的采样图像进行逆Haar小波变换(IHT)如下所示：
Figure BDA0002980600440000097
Figure BDA0002980600440000098
其中，
Figure BDA0002980600440000099
表示采样图像，
Figure BDA00029806004400000910
表示复原图像，L的值等于高频小波信息的总层数，本实施例中，L取4。
为了判断生成器得到的修复图像的真实性，在判别器中输入256*256的修复图像和256*256的采样图像，计算判别器损失。
本申请引入了判别器损失值
Figure BDA00029806004400000911
和对抗损失
Figure BDA00029806004400000912
如下，其中，
Figure BDA00029806004400000913
表示期望：
Figure BDA00029806004400000914
Figure BDA00029806004400000915
将相同分辨率的复原图像与采样图像进行对比，512*512的复原图像、256*256的复原图像、128*128的复原图像、64*64的复原图像分别与原始图像、256*256的采样图像、128*128的采样图像、64*64的采样图像对比，计算生成器损失。
生成器损失值
Figure BDA00029806004400000916
为：
Figure BDA00029806004400000917
Figure BDA0002980600440000101
Figure BDA0002980600440000102
其中，
Figure BDA0002980600440000103
表示原始图像第l层的高频小波信息，
Figure BDA0002980600440000104
表示图像重构L1损失，
Figure BDA0002980600440000105
表示感知损失，
Figure BDA0002980600440000106
表示风格损失，λadv取值为0.1，λper取值为0.1，λsty取值为250，λIHT取值为0.2，
Figure BDA0002980600440000107
表示期望，M表示遮掩图像的二值化图像，NM表示遮掩图像的二值化图像中灰度值为1的像素点的数量，N(1-M)表示遮掩图像的二值化图像中灰度值为1的像素点的数量。
在图像修复网络的训练过程中，使用1000张测试图像对图像修复网络进行测试，直至得到训练好的图像修复网络。完成图像修复网络的训练后，得到图像修复模型，使用图像修复模型对被遮掩的图像进行图像修复，同时，还可以通过注意力模块对小波信息进行修复，得到高分辨率的图像。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于小波先验注意力的图像修复方法，其特征在于，包括以下步骤：
S1：获取多张原始图像；
S2：基于原始图像构筑遮掩图像；
S3：分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
S4：建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型；
S5：使用图像修复模型进行图像修复；
所述图像修复网络包括生成器和判别器，所述生成器包括编码模块、中间残差模块、注意力模块和解码模块；
所述生成器的输入为训练图像，生成器的输出为训练图像的修复图像；
对遮掩图像所对应的原始图像进行Haar小波变换，得到原始图像在不同分辨率下的高频小波信息，以及多张不同分辨率的采样图像，原始图像的高频小波信息所对应的分辨率与遮掩图像的高频小波信息所对应的分辨率一一对应，采样图像的分辨率与遮掩图像的高频小波信息所对应的分辨率一一对应；
所述判别器的输入为真实图像和修复图像，输出为判别器损失值；所述真实图像是与修复图像的分辨率相同的采样图像；
所述生成器的注意力模块还包括注意力偏移模块，用于获取放大的偏移值；
基于放大的偏移值对遮掩图像在不同分辨率下的高频小波信息进行小波聚合，得到修复小波信息；
基于修复小波信息，对不同分辨率的采样图像进行逆Haar小波变换，得到多张复原图像，将复原图像与采样图像和原始图像对比，计算得到生成器损失值；
基于判别器损失值和生成器损失值调整图像修复网络的参数；
所述生成器中编码模块和解码模块是由门控卷积构成的，前向过程为：
GateConv(X)＝σ(G)·F
F＝Convf(X)，G＝Convg(X)
其中，X是训练图像的输入特征，F和G表示图像特征，σ为sigmoid激活函数；
所述注意力模块计算训练图像中被遮掩区域的图像特征和未被遮掩区域的图像特征的相似度关系Rv，m，并基于相似度关系Rv，m和未被遮掩区域的图像特征重构被遮掩区域的图像特征，相似度关系Rv，m的计算如下：
Rv，m＝softmaxv(λcosv，m)
Figure FDA0003706044040000021
其中，cosv，m表示被遮掩区域的图像特征和未被遮掩区域的图像特征的余弦相似度，softmax表示指数归一化函数，Fv和Fm分别表示未被遮掩区域的图像特征和被遮掩区域的图像特征，λ取值为10；
重构被遮掩区域的图像特征如下所示：
Figure FDA0003706044040000022
其中，F′m表示重构得到的被遮掩区域的图像特征；
所述注意力偏移模块用于获取放大的偏移值T′，具体为：
T′＝λmaxT+λ
Figure FDA0003706044040000023
其中，λmax取值为120，T表示偏移值，λ取值为10，
Figure FDA0003706044040000024
表示矩阵的维度为
Figure FDA0003706044040000025
Figure FDA0003706044040000026
和
Figure FDA0003706044040000027
表示F′m的尺寸；
基于相似度关系Rv，m和放大的偏移值T′得到小波聚合的相似度关系R′v，m，R′v，m为偏移后的相似度关系：
R′v，m＝softmaxv(T′cosv，m)
将遮掩图像在不同分辨率下的高频小波信息切块展开：
Figure FDA0003706044040000028
Figure FDA0003706044040000029
其中，H(l)表示遮掩图像第l层的高频小波信息，第l层的分辨率为遮掩图像的1/2l，
Figure FDA00037060440400000210
表示第l层的高频小波信息切块展开后得到的切块小波信息，
Figure FDA00037060440400000211
表示行和列，h表示遮掩图像的高度，w表示遮掩图像的宽度，c＝3代表RGB输入；
Figure FDA00037060440400000212
表示矩阵的维度为
Figure FDA00037060440400000213
对切块小波信息进行修复：
Figure FDA0003706044040000031
其中，
Figure FDA0003706044040000032
表示对切块小波信息
Figure FDA0003706044040000033
进行修复得到的修复小波信息；
使用修复小波信息对不同分辨率的采样图像进行逆Haar小波变换，得到多张复原图像：
Figure FDA0003706044040000034
Figure FDA0003706044040000035
其中，
Figure FDA0003706044040000036
表示采样图像，
Figure FDA0003706044040000037
表示复原图像，L的值等于高频小波信息的总层数。
2.根据权利要求1所述的一种基于小波先验注意力的图像修复方法，其特征在于，所述原始图像为包含人脸或场景的图片。
3.根据权利要求1所述的一种基于小波先验注意力的图像修复方法，其特征在于，步骤S2中，构筑遮掩图像具体为：
遍历所有的原始图像，分别将每一张原始图像转化为遮掩图像，每一张原始图像有50％的概率转化为第一类遮掩图像，有50％的概率转化为第二类遮掩图像，转化为第一类遮掩图像具体为：在原始图像上随机添加一张语义图层；转化为第二类遮掩图像具体为：在原始图像上随机生成涂抹笔刷；所述语义图层是从预设置的语义图层集中随机获取的。
4.根据权利要求1所述的一种基于小波先验注意力的图像修复方法，其特征在于，步骤S3中，建立4个Haar滤波算子：[[1，1][1，1]]、[[1，-1][1，-1]]、[[1，1][-1，-1]]、[[1，-1][-1，1]]，使用4个Haar滤波算子对遮掩图像进行多次Haar小波抽取，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
其中，对图像使用第1个Haar滤波算子得到分辨率为该图像的1/2的低分辨率图像，对图像使用第2个、第3个和第4个Haar滤波算子分别得到该图像垂直方向、水平方向和对角方向的高频小波信息。
5.根据权利要求1所述的一种基于小波先验注意力的图像修复方法，其特征在于，基于判别器损失值和生成器损失值调整图像修复网络的参数具体为：
判别器损失值
Figure FDA0003706044040000038
和对抗损失
Figure FDA0003706044040000039
为：
Figure FDA00037060440400000310
Figure FDA00037060440400000311
生成器损失值
Figure FDA00037060440400000312
为：
Figure FDA0003706044040000041
Figure FDA0003706044040000042
Figure FDA0003706044040000043
其中，
Figure FDA0003706044040000044
表示原始图像第l层的高频小波信息，
Figure FDA0003706044040000045
表示图像重构L1损失，
Figure FDA0003706044040000046
表示感知损失，
Figure FDA0003706044040000047
表示风格损失，λadv取值为0.1，λper取值为0.1，λsty取值为250，λIHT取值为0.2，
Figure FDA0003706044040000048
表示期望，M表示遮掩图像的二值化图像，NM表示遮掩图像的二值化图像中灰度值为1的像素点的数量，N(1-M)表示遮掩图像的二值化图像中灰度值为1的像素点的数量。
6.一种基于小波先验注意力的图像修复系统，其特征在于，包括图像获取模块和图像修复模块，所述图像获取模块用于获取待修复的图像，所述图像修复模块基于预先训练的图像修复模型对待修复的图像进行图像修复，所述图像修复模型是基于如权利要求1-5中任一所述的图像修复方法训练得到的。
7.根据权利要求6所述的一种基于小波先验注意力的图像修复系统，其特征在于，所述图像修复模型的训练步骤如下：
获取多张原始图像；
基于原始图像构筑遮掩图像；
分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；
建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型。
8.根据权利要求7所述的一种基于小波先验注意力的图像修复系统，其特征在于，所述原始图像为包含人脸或场景的图片。
CN202110286255.9A 2021-03-17 2021-03-17 一种基于小波先验注意力的图像修复方法及系统 Active CN113034390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110286255.9A CN113034390B (zh) 2021-03-17 2021-03-17 一种基于小波先验注意力的图像修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110286255.9A CN113034390B (zh) 2021-03-17 2021-03-17 一种基于小波先验注意力的图像修复方法及系统

Publications (2)

Publication Number Publication Date
CN113034390A CN113034390A (zh) 2021-06-25
CN113034390B true CN113034390B (zh) 2022-10-18

Family

ID=76471209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110286255.9A Active CN113034390B (zh) 2021-03-17 2021-03-17 一种基于小波先验注意力的图像修复方法及系统

Country Status (1)

Country Link
CN (1) CN113034390B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726551A (zh) * 2022-09-06 2024-03-19 北京字跳网络技术有限公司 图像的修复方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590297A (zh) * 2015-12-10 2016-05-18 陕西师范大学 基于gf(27)有限域和双重认证的有意义(k,n)图像分存重构方法
CN110335210A (zh) * 2019-06-11 2019-10-15 长江勘测规划设计研究有限责任公司 一种水下图像复原方法
CN110390650A (zh) * 2019-07-23 2019-10-29 中南大学 基于密集连接和生成对抗网络的oct图像去噪方法
CN111047541A (zh) * 2019-12-30 2020-04-21 北京工业大学 一种基于小波变换注意力模型的图像修复方法
CN111612718A (zh) * 2020-05-21 2020-09-01 中山大学 一种引入注意力机制的人脸图像修复方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126621A2 (en) * 2008-04-07 2009-10-15 Tufts University Methods and apparatus for image restoration
FR2954986B1 (fr) * 2010-01-05 2012-02-10 St Microelectronics Grenoble 2 Procede de detection d'orientation de contours.
CN104616026B (zh) * 2015-01-20 2017-12-12 衢州学院 一种面向智能视频监控的监控场景类型辨识方法
CN109191402B (zh) * 2018-09-03 2020-11-03 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN110276726B (zh) * 2019-05-13 2021-09-28 南昌大学 一种基于多通道网络先验信息引导的图像去模糊方法
CN111476723B (zh) * 2020-03-17 2023-04-18 哈尔滨师范大学 一种Landsat-7扫描线纠正器失效的遥感图像丢失像素恢复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590297A (zh) * 2015-12-10 2016-05-18 陕西师范大学 基于gf(27)有限域和双重认证的有意义(k,n)图像分存重构方法
CN110335210A (zh) * 2019-06-11 2019-10-15 长江勘测规划设计研究有限责任公司 一种水下图像复原方法
CN110390650A (zh) * 2019-07-23 2019-10-29 中南大学 基于密集连接和生成对抗网络的oct图像去噪方法
CN111047541A (zh) * 2019-12-30 2020-04-21 北京工业大学 一种基于小波变换注意力模型的图像修复方法
CN111612718A (zh) * 2020-05-21 2020-09-01 中山大学 一种引入注意力机制的人脸图像修复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A framelet-based image inpainting algorithm;JianFeng Cai et al.;《Applied and Computational Harmonic Analysis》;20080331;全文 *
小波变换与纹理合成相结合的图像修复;张东等;《中国图象图形学报》;20150731;全文 *

Also Published As

Publication number Publication date
CN113034390A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Pan Cloud removal for remote sensing imagery via spatial attention generative adversarial network
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN111861901A (zh) 一种基于gan网络的边缘生成图像修复方法
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113034390B (zh) 一种基于小波先验注意力的图像修复方法及系统
Fan et al. Global sensing and measurements reuse for image compressed sensing
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN108090914B (zh) 基于统计建模与像素分类的彩色图像分割方法
Chen et al. Overview of digital image restoration
CN115861108A (zh) 一种基于小波自注意力生成对抗网络的图像修复方法
CN116051407A (zh) 一种图像修复方法
Nie et al. Image restoration from patch-based compressed sensing measurement
CN111127587A (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法
CN111626945A (zh) 一种基于像素级自相似模型的深度图像修复方法
Xue et al. PSTNet: Protectable Style Transfer Network Based on Steganography
CN116777904B (zh) 基于条带特征的不同分辨率异常染色体生成网络及方法
Han et al. Remote sensing Image super-resolution adversarial network based on reverse feature fusion and residual feature dilation
CN114677306B (zh) 一种基于边缘信息引导的上下文聚合图像去雨方法
Fan et al. Shallow and deep convolutional networks for image super-resolution
Sun et al. Image restoration using piecewise iterative curve fitting and texture synthesis
CN115147276A (zh) 一种文本图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant