CN114155171A - 一种基于密集多尺度融合的图像修复方法及系统 - Google Patents
一种基于密集多尺度融合的图像修复方法及系统 Download PDFInfo
- Publication number
- CN114155171A CN114155171A CN202111528555.XA CN202111528555A CN114155171A CN 114155171 A CN114155171 A CN 114155171A CN 202111528555 A CN202111528555 A CN 202111528555A CN 114155171 A CN114155171 A CN 114155171A
- Authority
- CN
- China
- Prior art keywords
- layer
- channels
- convolution
- convolutional
- twenty
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008439 repair process Effects 0.000 claims abstract description 49
- 238000010606 normalization Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 239000011800 void material Substances 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 21
- 238000004422 calculation algorithm Methods 0.000 description 41
- 239000011159 matrix material Substances 0.000 description 13
- 230000007547 defect Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000000572 ellipsometry Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002910 structure generation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于密集多尺度融合的图像修复方法及系统，所述修复方法包括：构建结构修复网络；将待修复的图片输入至所述结构修复网络，得到结构修复后的图片；构建细节修复网络；将所述结构修复后的图片输入至所述细节修复网络，得到细节修复后的图片；获取真实图像；采用所述真实图像对双频谱归一化鉴别器网络进行训练；将所述细节修复后的图片输入至训练好的双频谱归一化鉴别器，得到最终的修复图像。本发明中的上述方法提高了在修复复杂背景和纹理的大面积缺失时的修复效果。
Description
技术领域
本发明涉及图像修复领域，特别是涉及一种基于密集多尺度融合的图像修复方法及系统。
背景技术
图像修复是通过对破损图片的剩余区域信息将残缺部分进行重建的图像处理技术，目标是填充的修复区域与剩余区域具有纹理、结构一致性，并满足视觉真实性。该项任务是图像处理领域的研究热点，有着非常广泛的应用，如文物修复，目标移除，图像编辑等。
传统图像修复方法主要分为基于几何扩散、基于纹理匹配和平均次椭圆化等方法。基于几何扩散方法是通过利用缺损区域的边缘信息采用偏微分方程以及变分法对缺损内容进行几何信息重建。该工作是将剩余区域信息利用扩散方程传播至待修复区域，或通过研究图像模型的几何信息建立先验数据模型，利用变分思想将已知信息平滑传递至缺损区域。此类方法在修复小面积破损图像时效果较好，但由于无法对纹理细节信息进行传播重建，导致在纹理背景复杂或缺损面积较大时，修复结果具有纹理不一致、重建区域内容模糊等缺点。
因此，为解决上述问题，后续有学者提出了基于纹理匹配算法对待修复图像的纹理细节内容进行重建修复。此类技术的第一类思路是将图像模型分解为结构和纹理两部分，利用上述变分法对结构信息进行补全，而在纹理部分是通过采用纹理合成技术填充纹理细节。另一类思路是通过采用相似块纹理匹配算法寻找与待修复区域某一像素点最相似的纹理块，再将该纹理块复制到对应的缺损区域，经迭代利用纹理相似性搜索实现对图像的修复。此类算法在简单纹理背景时可以生成合理的修复结果，然而修复纹理细节丰富或大面积缺损的图像时，无法生成剩余区域没有的内容，导致修复性能急剧下降，具有局限性。
为解决大面积图像缺损时的图像修复问题，有学者提出平均次椭圆化算法，该算法是次黎曼次椭圆扩散算法和特殊局部平均技术的合理组合，通过四步完成修复：预处理、主扩散、高级平均值和弱平滑。这对于大面积破损图像修复的效果不错但必须要求破损图像的破损点分布良好，极大限制了该算法的应用范围。
为解决传统修复方法的不足，深度神经网络被用于图像修复。上下文编码器(CE)修复算法是最早利用深度学习对图像进行修复，结合编码器解码器网络和生成式对抗网络(GAN)，首先学习图像特征和生成图像待修补区域对应的预测图，然后判断预测图是否来自训练集和预测集，当生成的预测图与真实图片一致时，网络模型参数达到最优状态，但是该算法对大面积不规则缺失图像的修复效果差。后续有学者在CE中加入叠加的空洞卷积以及全局和局部判别器，提升了修复结果的全局语义一致性，且能够优化局部细节，解决了大面积缺失图像修复效果差的局限性，但是该算法采用的空洞卷积层会丢失精细的纹理信息且存在信息感受野有限，故在处理复杂纹理图像时会生成伪影和不合理的结构。基于上下文注意力的卷积算法，利用已知的卷积滤波器特性处理生成补丁，该网络引入空间传播层增强修复结果的空间一致性且增大了网络的感受野，对复杂纹理残缺图像的修复效果较好。但是当未知缺失与邻近区域的关系不紧密时，该算法的修复结果急剧下降。基于混合空洞卷积网络的多鉴别器图像修复算法采用混合空洞卷积核解决了空洞卷积稀疏带来的丢失关键信息的问题，虽然该方法对大面积规则残缺图像的修复效果好，但是当感兴趣区域全部缺失时，其修复效果差，此外该算法对不规则区域大面积残缺图像的修复效果差。
基于上述，亟需提出一种新的图像修复方法，在修复复杂背景或精细纹理的大面积不规则缺失时，同时兼顾修复结果的全局语义结构和纹理细节。
发明内容
本发明的目的是提供一种基于密集多尺度融合的图像修复方法及系统，提高了在修复复杂背景和纹理的大面积缺失时的修复效果。
为实现上述目的，本发明提供了如下方案：
一种基于密集多尺度融合的图像修复方法，所述修复方法包括：
构建结构修复网络；
将待修复的图片输入至所述结构修复网络，得到结构修复后的图片；
构建细节修复网络；
将所述结构修复后的图片输入至所述细节修复网络，得到细节修复后的图片；
获取真实图像；
采用所述真实图像对双频谱归一化鉴别器网络进行训练；
将所述细节修复后的图片输入至训练好的双频谱归一化鉴别器，得到最终的修复图像。
可选的，所述结构修复网络包括：第一编码模块和第一解码模块；
所述第一编码模块包括：第一卷积层、第二卷积层、第三卷积层、第四卷阶层和第一十六层密集多尺度空洞卷积融合层；所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷阶层和所述第一十六层密集多尺度空洞卷积融合层依次连接；
所述第一解码模块包括：第五卷积层、第一反卷积层、第六卷积层、第一上采样层以及第七卷积层；所述第五卷积层、所述第一反卷积层、所述第六卷积层、所述第一上采样层以及第七卷积层依次连接；所述第五卷积层还与所述第一十六层密集多尺度空洞卷积融合层连接。
可选的，所述细节修复网络具体包括：第二编码模块和第二解码模块；
所述第二编码模块包括两层，第一层包括：第八卷积层、第九卷积层、第十卷积层、第十一卷积层、自注意力机制层、第十二卷积层及第十三卷积层；所述第八卷积层、第九卷积层、第十卷积层、第十一卷积层、自注意力机制层、第十二卷积层及第十三卷积层依次连接；
第二层包括：第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层以及第二十六层密集多尺度空洞卷积融合层，所述第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层以及第二十六层密集多尺度空洞卷积融合层依次连接；
所述第二解码模块包括：第一网络连接层、第二反卷积层、第十八卷积层、上采样层、第十九卷积层以及第二十卷积层；所述第一网络连接层、第二反卷积层、第十八卷积层、上采样层、第十九卷积层以及第二十卷积层依次连接；
所述第一网络连接层分别与所述第十三卷积层和所述第二十六层密集多尺度空洞卷积融合层连接。
可选的，所述训练后的双频谱归一化鉴别器网络包括：
全局分支鉴别层、局部分支鉴别层、第二网络连接层、第三全连接层和sigmod层。
可选的，所述全局分支鉴别层包括：第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层以及第一全连接层；所述第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层以及第一全连接层依次连接。
可选的，所述局部分支鉴别层包括：第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层及第二全连接层；所述第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层及第二全连接层依次连接。
可选的，所述第一卷积层的通道数为64，第二卷积层的通道数为128，第三卷积层的通道数为128，第四卷阶层的通道数为256，第一十六层密集多尺度空洞卷积融合层的通道数为256，第五卷积层的通道数为256，第一反卷积层的通道数为128，第六卷积层的通道数为128，第一上采样层的通道数为64，第七卷积层的通道数为3。
可选的，所述第八卷积层的通道数为64，第九卷积层的通道数为128，第十卷积层的通道数为128，第十一卷积层的通道数为256，自注意力机制层的通道数为256，第十二卷积层的通道数为256，第十三卷积层的通道数为256，第十四卷积层的通道数为64，第十五卷积层的通道数为128，第十六卷积层的通道数为128，第十七卷积层的通道数为256，第二十六层密集多尺度空洞卷积融合层的通道数为256，第一网络连接层的通道数为512，第二反卷积层的通道数为256，第十八卷积层的通道数为128，上采样层的通道数为64，第十九卷积层的通道数为64，第二十卷积层的通道数为3。
可选的，所述第二十一卷积层的通道数为64，第二十二卷积层的通道数为128，第二十三卷积层的通道数为256，第二十四卷积层的通道数为512，第二十五卷积层的通道数为512，第二十六卷积层的通道数为512，第一全连接层的通道数为512，第二十七卷积层的通道数为64，第二十八卷积层的通道数为128，第二十九卷积层的通道数为256，第三十卷积层的通道数为512，第三十一卷积层的通道数为512，第二全连接层的通道数为512，第二网络连接层的通道数为1024，第三全连接层的通道数为1024。
基于本发明中的上述方法，本发明另外提供一种基于密集多尺度融合的图像修复系统，所述修复系统包括：
修复网络构建模块，用于构建结构修复网络；
结构修复模块，用于将待修复的图片输入至所述结构修复网络，得到结构修复后的图片；
细节修复网络构建模块，用于构建细节修复网络；
细节修复模块，用于将所述结构修复后的图片输入至所述细节修复网络，得到细节修复后的图片；
真实图像获取模块，用于获取真实图像；
训练模块，用于采用所述真实图像对双频谱归一化鉴别器网络进行训练；
最终图像修复模块，用于将所述细节修复后的图片输入至训练好的双频谱归一化鉴别器，得到最终的修复图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明中的上述方法及系统将待修复图像输入结构修复模块，通过用基于密集多尺度融合空洞卷积的生成网络对图像进行全局结构修复；再将结构修复结果输入细节修复模块，通过密集多尺度空洞卷积网络及与之平行的自注意力机制卷积网络对图像进行细节纹理修复，能修复大面积缺损和纹理复杂图像，生成精细纹理并增强图像全局与局部语义一致性，对鉴别器模块进行频谱归一化处理，稳定鉴别器训练，提升网络的生成能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于密集多尺度融合的图像修复方法流程图；
图2为本发明实施例一种基于密集多尺度融合的图像修复方法流程结构框图；
图3为本发明实施例十六层密集多尺度空洞卷积融合模块结构图；
图4为本发明实施例各种算法下在CelebAHQ数据集下的修复结果示意图；
图5为本发明实施例各种算法下在Paris_StreetView数据集下的修复结果示意图；
图6为本发明实施例一种基于密集多尺度融合的图像修复系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于密集多尺度融合的图像修复方法及系统，提高了在修复复杂背景和纹理的大面积缺失时的修复效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例一种基于密集多尺度融合的图像修复方法流程图，图2为本发明实施例一种基于密集多尺度融合的图像修复方法流程结构框图，结合图1和图2，本发明中的方法包括：
步骤101：构建结构修复网络。
具体的，所述结构修复网络包括：第一编码模块和第一解码模块；
所述第一编码模块包括：第一卷积层、第二卷积层、第三卷积层、第四卷阶层和第一十六层密集多尺度空洞卷积融合层；所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷阶层和所述第一十六层密集多尺度空洞卷积融合层依次连接；
所述第一解码模块包括：第五卷积层、第一反卷积层、第六卷积层、第一上采样层以及第七卷积层；所述第五卷积层、所述第一反卷积层、所述第六卷积层、所述第一上采样层以及第七卷积层依次连接；所述第五卷积层还与所述第一十六层密集多尺度空洞卷积融合层连接。
所述第一卷积层的通道数为64，第二卷积层的通道数为128，第三卷积层的通道数为128，第四卷阶层的通道数为256，第一十六层密集多尺度空洞卷积融合层的通道数为256，第五卷积层的通道数为256，第一反卷积层的通道数为128，第六卷积层的通道数为128，第一上采样层的通道数为64，第七卷积层的通道数为3。
现有方法大多采用空洞卷积增大信息感受野，虽然在不增加可学习权重数量的情况下保证了较大的感受野，但是空洞卷积的核是稀疏的，在迭代计算时会跳过许多像素，出现栅栏化现象，导致细节修复差。为了扩大感受野并解决空洞卷积稀疏的问题，提出使用密集多尺度融合空洞卷积集合块逐层增大感受野，并用3×3的卷积核代替大卷积核。如图3所示，第一列为卷积核大小为3的卷积，第二列均为卷积核大小为3的空洞卷积，膨胀率从上至下依次为1、2、4和8，第三列为元素级别的特征相加，第四列为卷积核大小为3的卷积，第五列为依据指定特征轴的Concat层，第六列为卷积核大小为1的卷积，第七列为元素级别的特征相加。将密集多尺度空洞卷积集合块第一层卷积输入的通道数减少到64以减少参数，然后使用不同膨胀率的空洞卷积将其发送到四个分支，表示为xi(i＝1,2,3,4)。在第四列中，第一层和第二层卷积以及Concat层均使用实例归一化及ReLU激活函数，输出通道数为64，第三层卷积只使用了实例归一化，输出通道数为256。其中，每个xi都有一个对应的卷积，用Ki(·)表示，通过累加，从稀疏多尺度特征的组合中获得密集的多尺度特征。用yi表示Ki(·)的输出，组合部分表示为：
最后使用1×1卷积合并级联特征。综上所述，密集多尺度融合块密集连接不同膨胀率的空洞卷积，将输出的特征图传到下一层，使每一层都有最初的输入信息，保证了信息传输最大化，极大增强了空洞卷积的感受野并减少了空洞卷积的稀疏性。
步骤102：将待修复的图片输入至所述结构修复网络，得到结构修复后的图片。
其中，结构修复网络获取图像的全局特惠总能，并修复缺失区域的结构。
步骤103：构建细节修复网络。
所述细节修复网络具体包括：第二编码模块和第二解码模块；
所述第二编码模块包括两层，第一层包括：第八卷积层、第九卷积层、第十卷积层、第十一卷积层、自注意力机制层、第十二卷积层及第十三卷积层；所述第八卷积层、第九卷积层、第十卷积层、第十一卷积层、自注意力机制层、第十二卷积层及第十三卷积层依次连接；
第二层包括：第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层以及第二十六层密集多尺度空洞卷积融合层，所述第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层以及第二十六层密集多尺度空洞卷积融合层依次连接；
所述第二解码模块包括：第一网络连接层、第二反卷积层、第十八卷积层、上采样层、第十九卷积层以及第二十卷积层；所述第一网络连接层、第二反卷积层、第十八卷积层、上采样层、第十九卷积层以及第二十卷积层依次连接；
所述第一网络连接层分别与所述第十三卷积层和所述第二十六层密集多尺度空洞卷积融合层连接。
所述第八卷积层的通道数为64，第九卷积层的通道数为128，第十卷积层的通道数为128，第十一卷积层的通道数为256，自注意力机制层的通道数为256，第十二卷积层的通道数为256，第十三卷积层的通道数为256，第十四卷积层的通道数为64，第十五卷积层的通道数为128，第十六卷积层的通道数为128，第十七卷积层的通道数为256，第二十六层密集多尺度空洞卷积融合层的通道数为256，第一网络连接层的通道数为512，第二反卷积层的通道数为256，第十八卷积层的通道数为128，上采样层的通道数为64，第十九卷积层的通道数为64，第二十卷积层的通道数为3。
下面介绍自注意力机制模块。
自注意力层用于提取数据和特征的内部关联性，通过获取全局上下文信息获得更大的感受野，增强网络语义信息不足。自注意模块首先将前一层的图像特征
转换到两个特征空间f,g计算注意力。这两个特征空间表示为:f(x)＝Wfx,g(x)＝Wgx；然后再计算：
其中：sij＝f(xi)Tg(xi)，βj,i表示生成第j层时模型关注第i层的程度值；
C是通道数，N是前一层中所含特征位置的数量，注意层的输出为:
其中，
h(xi)＝Whxi，v(xi)＝Wvxi；
上式中，
是1×1卷积的学习权重矩阵，
模块将注意力层的输出与比例参数相乘，并加到输入图像特征中，因此输出为：yi＝γοi+xi；其中γ是初始化为0的可学习标量，γ指定网络先学习的局部信息，然后逐步将更多的权重转移到非局部信息学习中。
步骤104：将所述结构修复后的图片输入至所述细节修复网络，该网络包含密集多尺度空洞卷积网络层及与之平行的自注意力机制卷积网络层。将此并行卷积层连接到解码器和反卷积网络中，得到细节修复后的图片，生成精细纹理并增强全局与局部语义一致性。
步骤105：获取真实图像。
步骤106：采用所述真实图像对双频谱归一化鉴别器网络进行训练。
步骤107：将所述细节修复后的图片输入至训练好的双频谱归一化鉴别器，得到最终的修复图像。
将细节修复结果输入双频谱归一化鉴别器网络，不断反馈提升整个生成网络的修复能力，输出修复后的图像。用频谱归一化代替全局-局部鉴别器网络中的批归一化(BatchNormalization，BN)，解决了批归一化对Batchsize大小的依赖性，稳定鉴别器训练。双频谱归一化鉴别器以修复结果、原图作为网络输入，全局鉴别器由6个卷积核大小为5×5、步长为2的卷积层构成。局部鉴别器由5个卷积核大小为5×5、步长为2的卷积层构成。鉴别器均采用激活函数Leaky RelU，将全局和局部的鉴别器的信息融合后经过全连接层以及Sigmoid激活函数输出结果，利用GAN损失进行衡量模型修复图像与原图的差距。
所述训练后的双频谱归一化鉴别器网络包括：
全局分支鉴别层、局部分支鉴别层、第二网络连接层、第三全连接层和sigmod层。
所述全局分支鉴别层包括：第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层以及第一全连接层；所述第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层以及第一全连接层依次连接。
所述局部分支鉴别层包括：第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层及第二全连接层；所述第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层及第二全连接层依次连接。
所述第二十一卷积层的通道数为64，第二十二卷积层的通道数为128，第二十三卷积层的通道数为256，第二十四卷积层的通道数为512，第二十五卷积层的通道数为512，第二十六卷积层的通道数为512，第一全连接层的通道数为512，第二十七卷积层的通道数为64，第二十八卷积层的通道数为128，第二十九卷积层的通道数为256，第三十卷积层的通道数为512，第三十一卷积层的通道数为512，第二全连接层的通道数为512，第二网络连接层的通道数为1024，第三全连接层的通道数为1024。
下面对双频谱归一化鉴别器模块详细介绍：
WGAN的鉴别器采用WassersteinDistance训练，可以消除传统GAN训练时出现的收敛问题，使训练过程变得稳定，但是WGAN中鉴别器的参数矩阵需要满足Lipschitz约束条件，因此WGAN直接对参数矩阵中元素进行限制，不让其大于某个值。该方法虽然可以使鉴别器的参数矩阵满足Lipschitz约束条件，但在削顶的同时破坏了整个参数矩阵的结构与参数之间的比例关系。针对以上这个问题，提出采用既满足Lipschitz条件，又不用破坏矩阵结构的方法——频谱归一化。将鉴别器看作多层网络，其第n层的输入与输出关系表示为：
式中an(·)是该层网络的非线性激活函数，采用ReLU激活函数；Wl是网络参数矩阵，bl是网络的偏置，为推导方便，省略bl，则上式可写为：
式中Dn是对角矩阵，用于表示ReLU的作用，当其输入为负数时，对角元素为0，反之为1。故多层神经网络(假设是N层)输入输出关系可表示为：f(x)＝DNWN…D1W1X
Lipschitz约束对f(x)的梯度提出的要求：
式中W表示矩阵W的谱范数，定义为：
σ(W)是矩阵W的最大奇异值，对于对角矩阵D，有σ(D)＝max(d1,…,dn)，即对角元素上最大的元素。由此，
可表示为：
因为ReLU对角矩阵的谱范数最大为1，为满足Lipschitz约束，进行归一化：
由上式可知：只需让每层网络的网络参数除以该层参数矩阵的谱范数即可满足Lipschitz＝1的约束。
将双鉴别器信息融合后经过全连接层以及Sigmoid激活函数输出，通过采用Sigmoid激活函数编码非线性表达，从而起到了捕捉数据的非线性因素以及特征选择作用。
本发明使用国际公认CelebAHQ和Paris StreetView数据集上训练修复模型。两个数据集中的图像均包含较大的姿态变化和复杂背景及精细纹理，其中CelebAHQ数据集中训练集有25000张，测试集有5000张，由人脸图像构成，Paris StreetView数据集中训练集有14900张，测试集有100张，由城市街景构成。将提出算法与可学习的双向注意图修复算法(Image Inpainting with Learnable BidirectionalAttentionMaps，LBAM)、多元图像修复算法(Pluralistic Image Completion，PIC)和区域归一化修复算法(RegionNormalization for Image Inpainting，RN)对比，验证提出算法的有效性。
为主观比较本发明与其他算法，在上述两个数据集对不规则掩码进行试验。如图4所示，图4中的(a)部分表示原图，图4中的(b)部分是加了随机掩码的残缺图像，图中的4(c)部分代表多元图像修复算法的修复结果，图4中的(d)部分代表可学习的双向注意图修复算法的修复结果，图中的4(e)部分代表区域归一化修复算法的修复结果，图4中的(f)部分代表本发明修复方法的修复结果。PIC算法的修复结果纹理混乱，效果差。LBAM算法生成的结构较完整，但存在伪影和色差，修复效果较差。RN算法修复的结构完整，但存在水印和扭曲，修复效果一般。本发明方法修复的结果不仅整体结构合理，而且细节清晰度高，具有较好的细粒度，修复效果较好。如图5所示，图5中的(a)部分表示原图，图5中的(b)部分是加了大型不规则掩码的残缺图像，损失区域纹理丰富，图5中的(c)部分代表多元图像修复算法的修复结果，图5中的(d)部分代表可学习的双向注意图修复算法的修复结果，图5中的(e)部分代表区域归一化修复算法的修复结果。PIC算法修复的结果画面涂抹感强，且无纹理细节，效果差。LBAM算法生成的结构完整，但部分区域存在扭曲模糊现象，效果一般。RN算法修复的结果存在伪影，效果较差。本发明方法修复的结果保证了整体结构的完整性与合理性，还原了残缺区域的丰富纹理细节，修复效果好。
为客观评价提出算法与对比算法的性能，选取峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(Structural SIMilarity，SSIM)和L1损失(L1 loss，MAE)指标，在相同迭代次数和训练集下进行对比。从表中可知，提出算法的PSNR、SSIM以及MAE评判指标优于对比算法。
表1在数据集CelebAHQ\Paris_streetview上定量对比
| 修复算法 | 峰值信噪比(↑) | 结构相似度(↑) | L1损失(↓) |
| PIC | 18.46\18.34 | 0.721\0.703 | 0.0393\0.0445 |
| LBAM | 25.25\24.68 | 0.882\0.821 | 0.0239\0.0343 |
| RN | 22.25\21.76 | 0.838\0.786 | 0.0368\0.0402 |
| 本发明 | 29.80\28.69 | 0.926\0.837 | 0.0177\0.0294 |
图6为本发明实施例一种基于密集多尺度融合的图像修复系统结构示意图，其特征在于，所述修复系统包括：
修复网络构建模块201，用于构建结构修复网络；
结构修复模块202，用于将待修复的图片输入至所述结构修复网络，得到结构修复后的图片；
细节修复网络构建模块203，用于构建细节修复网络；
细节修复模块204，用于将所述结构修复后的图片输入至所述细节修复网络，得到细节修复后的图片；
真实图像获取模块205，用于获取真实图像；
训练模块206，用于采用所述真实图像对双频谱归一化鉴别器网络进行训练；
最终图像修复模块207，用于将所述细节修复后的图片输入至训练好的双频谱归一化鉴别器，得到最终的修复图像。
本发明公开了一种基于密集多尺度融合空洞卷积图像修复算法。首先，将破损图像输入一个包含密集多尺度融合空洞卷积块的全局结构生成网络。然后，将结构生成网络输出结果输入细节生成网络中，该网络包含一层密集多尺度融合空洞卷积块及一层与之平行的捕捉全局上下文信息自注意力机制的卷积网络。最后，将修复结果经改进的双鉴别器增强修复图像的全局和局部内容一致性和细节特征。在国际公认的数据集上，对提出算法进行训练和测试，实验结果表明：提出算法可以实现大面积缺失图像的修复，修复结果具有平滑边界和清晰细节，满足视觉连贯性及真实性。在修复的视觉效果、峰值信噪比、结构相似度和平均误差方面，均优于对比的3种主流算法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于密集多尺度融合的图像修复方法，其特征在于，所述修复方法包括：
构建结构修复网络；
将待修复的图片输入至所述结构修复网络，得到结构修复后的图片；
构建细节修复网络；
将所述结构修复后的图片输入至所述细节修复网络，得到细节修复后的图片；
获取真实图像；
采用所述真实图像对双频谱归一化鉴别器网络进行训练；
将所述细节修复后的图片输入至训练好的双频谱归一化鉴别器，得到最终的修复图像。
2.根据权利要求1所述的基于密集多尺度融合的图像修复方法，其特征在于，所述结构修复网络包括：第一编码模块和第一解码模块；
所述第一编码模块包括：第一卷积层、第二卷积层、第三卷积层、第四卷阶层和第一十六层密集多尺度空洞卷积融合层；所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷阶层和所述第一十六层密集多尺度空洞卷积融合层依次连接；
所述第一解码模块包括：第五卷积层、第一反卷积层、第六卷积层、第一上采样层以及第七卷积层；所述第五卷积层、所述第一反卷积层、所述第六卷积层、所述第一上采样层以及第七卷积层依次连接；所述第五卷积层还与所述第一十六层密集多尺度空洞卷积融合层连接。
3.根据权利要求1所述的基于密集多尺度融合的图像修复方法，其特征在于，所述细节修复网络具体包括：第二编码模块和第二解码模块；
所述第二编码模块包括两层，第一层包括：第八卷积层、第九卷积层、第十卷积层、第十一卷积层、自注意力机制层、第十二卷积层及第十三卷积层；所述第八卷积层、第九卷积层、第十卷积层、第十一卷积层、自注意力机制层、第十二卷积层及第十三卷积层依次连接；
第二层包括：第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层以及第二十六层密集多尺度空洞卷积融合层，所述第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层以及第二十六层密集多尺度空洞卷积融合层依次连接；
所述第二解码模块包括：第一网络连接层、第二反卷积层、第十八卷积层、上采样层、第十九卷积层以及第二十卷积层；所述第一网络连接层、第二反卷积层、第十八卷积层、上采样层、第十九卷积层以及第二十卷积层依次连接；
所述第一网络连接层分别与所述第十三卷积层和所述第二十六层密集多尺度空洞卷积融合层连接。
4.根据权利要求1所述的基于密集多尺度融合的图像修复方法，其特征在于，所述训练后的双频谱归一化鉴别器网络包括：
全局分支鉴别层、局部分支鉴别层、第二网络连接层、第三全连接层和sigmod层。
5.根据权利要求4所述的基于密集多尺度融合的图像修复方法，其特征在于，所述全局分支鉴别层包括：第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层以及第一全连接层；所述第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层以及第一全连接层依次连接。
6.根据权利要求5所述的基于密集多尺度融合的图像修复方法，其特征在于，所述局部分支鉴别层包括：第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层及第二全连接层；所述第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层及第二全连接层依次连接。
7.根据权利要求2所述的基于密集多尺度融合的图像修复方法，其特征在于，所述第一卷积层的通道数为64，第二卷积层的通道数为128，第三卷积层的通道数为128，第四卷阶层的通道数为256，第一十六层密集多尺度空洞卷积融合层的通道数为256，第五卷积层的通道数为256，第一反卷积层的通道数为128，第六卷积层的通道数为128，第一上采样层的通道数为64，第七卷积层的通道数为3。
8.根据权利要求3所述的基于密集多尺度融合的图像修复方法，其特征在于，所述第八卷积层的通道数为64，第九卷积层的通道数为128，第十卷积层的通道数为128，第十一卷积层的通道数为256，自注意力机制层的通道数为256，第十二卷积层的通道数为256，第十三卷积层的通道数为256，第十四卷积层的通道数为64，第十五卷积层的通道数为128，第十六卷积层的通道数为128，第十七卷积层的通道数为256，第二十六层密集多尺度空洞卷积融合层的通道数为256，第一网络连接层的通道数为512，第二反卷积层的通道数为256，第十八卷积层的通道数为128，上采样层的通道数为64，第十九卷积层的通道数为64，第二十卷积层的通道数为3。
9.根据权利要求6所述的基于密集多尺度融合的图像修复方法，其特征在于，所述第二十一卷积层的通道数为64，第二十二卷积层的通道数为128，第二十三卷积层的通道数为256，第二十四卷积层的通道数为512，第二十五卷积层的通道数为512，第二十六卷积层的通道数为512，第一全连接层的通道数为512，第二十七卷积层的通道数为64，第二十八卷积层的通道数为128，第二十九卷积层的通道数为256，第三十卷积层的通道数为512，第三十一卷积层的通道数为512，第二全连接层的通道数为512，第二网络连接层的通道数为1024，第三全连接层的通道数为1024。
10.一种基于密集多尺度融合的图像修复系统，其特征在于，所述修复系统包括：
修复网络构建模块，用于构建结构修复网络；
结构修复模块，用于将待修复的图片输入至所述结构修复网络，得到结构修复后的图片；
细节修复网络构建模块，用于构建细节修复网络；
细节修复模块，用于将所述结构修复后的图片输入至所述细节修复网络，得到细节修复后的图片；
真实图像获取模块，用于获取真实图像；
训练模块，用于采用所述真实图像对双频谱归一化鉴别器网络进行训练；
最终图像修复模块，用于将所述细节修复后的图片输入至训练好的双频谱归一化鉴别器，得到最终的修复图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111528555.XA CN114155171A (zh) | 2021-12-14 | 2021-12-14 | 一种基于密集多尺度融合的图像修复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111528555.XA CN114155171A (zh) | 2021-12-14 | 2021-12-14 | 一种基于密集多尺度融合的图像修复方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155171A true CN114155171A (zh) | 2022-03-08 |
Family
ID=80451121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111528555.XA Pending CN114155171A (zh) | 2021-12-14 | 2021-12-14 | 一种基于密集多尺度融合的图像修复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155171A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147314A (zh) * | 2022-09-02 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN116630205A (zh) * | 2023-07-19 | 2023-08-22 | 深圳佳弟子科技有限公司 | 一种图像处理方法、智能终端及存储介质 |
-
2021
- 2021-12-14 CN CN202111528555.XA patent/CN114155171A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147314A (zh) * | 2022-09-02 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN116630205A (zh) * | 2023-07-19 | 2023-08-22 | 深圳佳弟子科技有限公司 | 一种图像处理方法、智能终端及存储介质 |
| CN116630205B (zh) * | 2023-07-19 | 2024-03-12 | 深圳佳弟子科技有限公司 | 一种图像处理方法、智能终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN113240613B (zh) | 一种基于边缘信息重建的图像修复方法 | |
| CN108460746B (zh) | 一种基于结构和纹理分层预测的图像修复方法 | |
| CN111539887B (zh) | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN114155171A (zh) | 一种基于密集多尺度融合的图像修复方法及系统 | |
| CN113345082B (zh) | 一种特征金字塔多视图三维重建方法和系统 | |
| CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| Li et al. | Research into an image inpainting algorithm via multilevel attention progression mechanism | |
| CN115829876A (zh) | 一种基于交叉注意力机制的真实退化图像盲修复方法 | |
| CN115829880A (zh) | 基于上下文结构注意力金字塔网络的图像修复方法 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| Li et al. | Image super-resolution reconstruction based on multi-scale dual-attention | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| Zhang et al. | Robust underwater image enhancement with cascaded multi-level sub-networks and triple attention mechanism | |
| CN116523985A (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN115861108A (zh) | 一种基于小波自注意力生成对抗网络的图像修复方法 | |
| CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
| Chen et al. | Overview of digital image restoration | |
| CN107133921A (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| Du et al. | X-ray image super-resolution reconstruction based on a multiple distillation feedback network | |
| Shao et al. | Two-stream coupling network with bidirectional interaction between structure and texture for image inpainting | |
| Fan et al. | Image inpainting based on structural constraint and multi-scale feature fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |