CN113298734B - 一种基于混合空洞卷积的图像修复方法及系统 - Google Patents
一种基于混合空洞卷积的图像修复方法及系统 Download PDFInfo
- Publication number
- CN113298734B CN113298734B CN202110689121.1A CN202110689121A CN113298734B CN 113298734 B CN113298734 B CN 113298734B CN 202110689121 A CN202110689121 A CN 202110689121A CN 113298734 B CN113298734 B CN 113298734B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- image
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000007246 mechanism Effects 0.000 claims abstract description 36
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000010606 normalization Methods 0.000 claims abstract description 18
- 238000012805 post-processing Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 28
- 230000008439 repair process Effects 0.000 description 24
- 239000011800 void material Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于混合空洞卷积的图像修复方法及系统，该方法包括：对待修复图像采用部分卷积进行预处理；将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；循环特征推理模块包括特征推理模块，特征推理模块包括编码模块和解码模块，编码模块包括卷积层和混合空洞卷积层，解码模块包括反卷积层和知识一致性注意力机制；其中，对卷积层输出数据进行组规范化处理；将多个推理特征图合并并进行后处理，获得修复后图像。本发明提高了运算速度。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于混合空洞卷积的图像修复方法及系统。
背景技术
传统的图像修复算法大多基于数学或物理的方法，如变分修复算法，需要迭代，耗时长，修复较大缺失区域会产生明显的模糊。基于贪心算法的最近邻域搜索填充缺失区域算法，用已有区域的信息填充，不能推理填充未知区域。
目前修复算法可有效修复大规模洞孔，但是使用批量归一化方法，使修复效果受迭代批量数影响，导致每次迭代的计算量增加。
发明内容
本发明的目的是提供一种基于混合空洞卷积的图像修复方法及系统，提高了运算速度。
为实现上述目的，本发明提供了如下方案：
一种基于混合空洞卷积的图像修复方法，包括：
对待修复图像采用部分卷积进行预处理；
将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；所述循环特征推理模块包括特征推理模块，所述特征推理模块包括编码模块和解码模块，所述编码模块包括卷积层和混合空洞卷积层，所述解码模块包括反卷积层和知识一致性注意力机制；其中，对所述卷积层输出数据进行组规范化处理；
将多个所述推理特征图合并并进行后处理，获得修复后图像。
可选地，所述对待修复图像采用部分卷积进行预处理，具体包括：
对待修复图像采用部分卷积进行掩膜更新和归一化的预处理。
可选地，所述循环特征推理模块还包括区域识别模块，所述区域识别模块包括两个部分卷积层，所述预处理后的待修复图像输入所述区域识别模块，所述区域识别模块的输出连接所述特征推理模块。
可选地，所述区域识别模块对输入的预处理后的待修复图像进行特征提取和掩膜更新，更新后的掩膜与所述特征推理模块的输出合成，合成后的图像返回所述区域识别模块的输入。
可选地，所述特征推理模块模块包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一混合空洞卷积层、第二混合空洞卷积层、第三混合空洞卷积层、第一反卷积层、第二反卷积层、第三反卷积层、知识一致性注意力机制、第四反卷积层和第五反卷积层；所述编码模块包括所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第一混合空洞卷积层、所述第二混合空洞卷积层和所述第三混合空洞卷积层；所述解码模块包括所述第一反卷积层、所述第二反卷积层、所述第三反卷积层、所述知识一致性注意力机制、所述第四反卷积层和所述第五反卷积层；所述第一卷积层与所述第四反卷积层通过跳线连接，所述第二卷积层与所述第三反卷积层通过跳线连接，所述第三卷积层与所述第二反卷积层通过跳线连接，所述第一混合空洞卷积层与所述第一反卷积层通过跳线连接，所述第二混合空洞卷积层与所述第三混合空洞卷积层通过跳线连接。
可选地，所述第一卷积层的通道数为128，所述第二卷积层的通道数为256，所述第三卷积层的通道数为512，所述第一混合空洞卷积层的空洞比率为1，所述第二混合空洞卷积层的空洞比率为2，所述第三混合空洞卷积层的空洞比率为3，所述第一混合空洞卷积层、所述第二混合空洞卷积层和所述第三混合空洞卷积层的通道数均为512，所述第一反卷积层的通道数为512、所述第二反卷积层的通道数为512、所述第三反卷积层的通道数为512、所述第四反卷积层的通道数为256，第五反卷积层的通道数为64。
可选地，所述知识一致性注意力机制为改进知识一致性注意力机制；
所述改进知识一致性注意力机制用于对于输入的特征图，计算的前景区域和背景区域的余弦相似度分数，采用一个一值化的卷积传播核对所述余弦相似度分数进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图；所述前景区域为掩膜区域，所述背景区域为非掩膜区域。
可选地，所述对于输入的特征图，计算的前景区域和背景区域的余弦相似度分数，采用一个一值化的卷积传播核对所述余弦相似度分数进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图具体包括：
对于输入的特征图Fi，计算的前景区域和背景区域的余弦相似度分数
其中：
表示特征图Fi的前景区域位置(x，y)与背景区域位置(x′，y′)的余弦相似度值，i表示循环次数；
采用卷积传播核与所述余弦相似度值进行分组卷积，获得更新后的相似度值
根据所述更新后的相似度值，使用softmax函数计算
在位置 (x，y)处的分量比例，获得位置(x，y)处的注意力得分；
判断位置(x，y)处第i-1次循环时的特征图对应的掩膜值是否为1；
若为1，则将位置(x，y)处第i-1次循环时的注意力得分和第i次循环时的注意力得分进行加权组合作为位置(x，y)的注意力得分；
若不为1，则将位置(x，y)处第i次循环时的注意力得分作为位置(x，y) 的注意力得分；
根据前景区域各位置的注意力得分，采用反卷积重建特征图。
可选地，所述将多个所述推理特征图合并并进行后处理，获得修复后图像，具体包括：
将多个所述推理特征图进行合并；
将合并的特征图进行反卷积；
将反卷积后的输出和待修复图像的输入进行通道合并后输出；
将通道合并后的输出进行部分空洞卷积处理；
将部分空洞卷积处理后的输出输入去残差瓶颈层；所述去残差瓶颈层包括残差网络；
将部分空洞卷积处理后的输出和去残差瓶颈层的输出进行通道合并后再经过卷积操作，获得修复后图像。
本发明还公开了一种基于混合空洞卷积的图像修复系统，包括：
预处理模块，用于对待修复图像采用部分卷积进行预处理；
多个推理特征图获得模块，用于将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；所述循环特征推理模块包括特征推理模块，所述特征推理模块包括编码模块和解码模块，所述编码模块包括卷积层和混合空洞卷积层，所述解码模块包括反卷积层和知识一致性注意力机制；
修复后图像获得模块，用于将多个所述推理特征图合并并进行后处理，获得修复后图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明将预处理后的待修复图像输入循环特征推理模块，通过循环特征推理模块中的混合空洞卷积层和知识一致性注意力机制，对输出图像进行特征合并，能修复大面积连续不规则区域，有效避免修复失真，对卷积层输出数据进行组规范化处理，提高了运算速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于混合空洞卷积的图像修复方法流程示意图一；
图2为本发明一种基于混合空洞卷积的图像修复方法流程示意图二；
图3为本发明去残差瓶颈层计算流程示意图一；
图4为本发明去残差瓶颈层计算流程示意图二；
图5为各种算法下的修复结果示意图；
图6为本发明一种基于混合空洞卷积的图像修复方法修改结果示意图一；
图7为本发明一种基于混合空洞卷积的图像修复方法修改结果示意图二；
图8为本发明一种基于混合空洞卷积的图像修复系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于混合空洞卷积的图像修复方法及系统，提高了运算速度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于混合空洞卷积的图像修复方法流程示意图一，如图 1所示，一种基于混合空洞卷积的图像修复方法包括以下步骤：
步骤101：对待修复图像采用部分卷积进行预处理。
其中，步骤101具体包括：
对待修复图像采用部分卷积进行掩膜更新和归一化的预处理。
步骤102：将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；循环特征推理模块包括特征推理模块，特征推理模块包括编码模块和解码模块，编码模块包括卷积层和混合空洞卷积层，解码模块包括反卷积层和知识一致性注意力机制。其中，对卷积层输出数据进行组规范化处理。
循环特征推理模块还包括区域识别模块，区域识别模块包括两个部分卷积层，预处理后的待修复图像输入区域识别模块，区域识别模块的输出连接特征推理模块。
区域识别模块对输入的预处理后的待修复图像进行特征提取和掩膜更新，更新后的掩膜与特征推理模块的输出合成，合成后的图像返回区域识别模块的输入。
特征推理模块模块依次连接的第一卷积层、第二卷积层、第三卷积层、第一混合空洞卷积层、第二混合空洞卷积层、第三混合空洞卷积层、第一反卷积层、第二反卷积层、第三反卷积层、知识一致性注意力机制、第四反卷积层和第五反卷积层；编码模块包括第一卷积层、第二卷积层、第三卷积层、第一混合空洞卷积层、第二混合空洞卷积层和第三混合空洞卷积层；解码模块包括第一反卷积层、第二反卷积层、第三反卷积层、知识一致性注意力机制、第四反卷积层和第五反卷积层；第一卷积层与第四反卷积层通过跳线连接，第二卷积层与第三反卷积层通过跳线连接，第三卷积层与第二反卷积层通过跳线连接，第一混合空洞卷积层与第一反卷积层通过跳线连接，第二混合空洞卷积层与第三混合空洞卷积层通过跳线连接。第一卷积层、第二卷积层和第三卷积层均进行标准卷积。第一混合空洞卷积层、第二混合空洞卷积层和第三混合空洞卷积层构成锯齿状采样空洞卷积组。
知识一致性注意力机制的输出与第二反卷积层进行通道合并输入至第四反卷积层中，再将第四层解码层输出与第一卷积层输出通道合并通过第五反卷积层得到RFR模块的输出。最后将所有循环中RFR模块的输出特征图进行合并。
第一卷积层的通道数为128，第二卷积层的通道数为256，第三卷积层的通道数为512，第一混合空洞卷积层的空洞比率为1，第二混合空洞卷积层的空洞比率为2，第三混合空洞卷积层的空洞比率为3，第一混合空洞卷积层、第二混合空洞卷积层和第三混合空洞卷积层的通道数均为512，第一反卷积层的通道数为512、第二反卷积层的通道数为512、第三反卷积层的通道数为512、第四反卷积层的通道数为256，第五反卷积层的通道数为64。
知识一致性注意力机制为改进知识一致性注意力机制。
改进知识一致性注意力机制用于对于输入的特征图，计算的前景区域和背景区域的余弦相似度分数，采用一个一值化的卷积传播核对余弦相似度分数进行注意力分数传播，获得更新后的相似度值，基于更新后的相似度值重建特征图；前景区域为掩膜区域，背景区域为非掩膜区域。
对于输入的特征图，计算的前景区域和背景区域的余弦相似度分数，采用一个一值化的卷积传播核对余弦相似度分数进行注意力分数传播，获得更新后的相似度值，基于更新后的相似度值重建特征图具体包括：
对于输入的特征图Fi，计算的前景区域和背景区域的余弦相似度分数
其中：
表示特征图Fi的前景区域位置(x，y)与背景区域位置(x′，y′)的余弦相似度值，i表示循环次数；
采用卷积传播核与余弦相似度值进行分组卷积，获得更新后的相似度值
根据更新后的相似度值，使用softmax函数计算
在位置 (x，y)处的分量比例，获得位置(x，y)处的注意力得分；
判断位置(x，y)处第i-1次循环时的特征图对应的掩膜值是否为1；
若为1，则将位置(x，y)处第i-1次循环时的注意力得分和第i次循环时的注意力得分进行加权组合作为位置(x，y)的注意力得分；
若不为1，则将位置(x，y)处第i次循环时的注意力得分作为位置(x，y) 的注意力得分；
根据前景区域各位置的注意力得分，采用反卷积重建特征图。
步骤103：将多个推理特征图合并并进行后处理，获得修复后图像。即将多个推理特征图合并，并对合并后的特征图的进行后处理，获得修复后图像。
其中，步骤103具体包括：
将多个推理特征图进行合并；
将合并的特征图进行反卷积；
将反卷积后的输出和待修复图像的输入进行通道合并后输出；
将通道合并后的输出进行部分空洞卷积处理；
将部分空洞卷积处理后的输出输入去残差瓶颈层；去残差瓶颈层包括残差网络；
将部分空洞卷积处理后的输出和去残差瓶颈层的输出进行通道合并后再经过卷积操作，获得修复后图像。
一种基于混合空洞卷积的图像修复方法还包括：对卷积层输出数据进行组规范化处理。
图2为本发明一种基于混合空洞卷积的图像修复方法流程示意图二，如图 2所示，本发明一种基于混合空洞卷积的图像修复方法详细流程包括以下步骤：
Step201：部分卷积预处理。
将原图与其同等大小的掩膜(0与1组成的二进制图像)合成(将两者直接进行点乘)为缺失图像作为预处理阶段的输入，预处理阶段其使用部分卷积更新掩膜和归一化特征图。用F*表示通过部分卷积层产生的特征图，
表示特征图中第z个通道坐标(x，y)处的特征值，W是卷积核，fx，y表示输入特征块，mx，y表示输入掩膜块。预处理完成后将F*输入至区域识别模块，
为缩放因子，主要是为了调整输入变化量。卷积层计算表示为：
其中，b表示偏置，T表示转置。
掩膜在位置(x禈y)通过该层(预处理阶段)产生的新掩膜值表示为：
Step202：将预处理完成的特征图输入识别模块与特征推理模块组成的循环特征推理(Recurrent Feature Reasoning/RFR)模块进行推理，推理完成后将区域识别模块更新的掩膜与特征推理模块输出的推理特征图继续输入至RFR模块进行循环。循环完成后将所有输出的推理特征图进行步骤203的特征合并。其中区域识别模块由两个部分卷积组成，其对输入特征图进一步处理，对掩膜进行进一步更新，以强化修复能力，区域识别模块处理后的特征图(此处不与掩膜进行合成)直接输入至特征推理模块，更新后的掩膜在下一次循环时与 RFR模块输出特征图进行合成后继续输入RFR模块。其网络所有归一化层使用GN(Group Normalization，组归一化)，归一化层置于卷积层操作之后，激活函数之前。
下面介绍GN与特征推理模块。
在整个网络结构中的归一化层中使用GN对特征值进行归一化，归一化旨在对卷积层输出数据进行规范化处理，将越来越偏的分布拉回到标准化的分布, 使得激活函数的输入值落在激活函数对输入比较敏感的区域，从而使梯度变大, 加快学习收敛速度，避免梯度消失的问题。
GN归一化步骤为：
xk代表集合内每个像素点的像素值，Si代表使用xk计算均值与标准差的像素集合。计算每个组内Si的均值μi与方差σi：
式中：ε为其施加的一个稳定常量，m代表该组的像素点的总量，i与k 都为在四维矩阵计算的索引坐标，四维矩阵为以N为第一维，C为第二维，H 为第三维，W为第四维的多维像素值矩阵，i＝(iN, iC,iH,iW),k＝(kN,kC,kH,kW)，下标N、C、H和W分表代表批量轴索引，通道轴索引，高度索引以及宽度索引，n表示集合内的像素值数量。
然后得到归一化后的值
特征推理模块由基于HDC(Hybrid Dilated Convolution，混合空洞卷积) 与改进KCA(Knowledge ConsistentAttention，知识一致性注意力机制)的编码解码结构组成，用于估计缺失区域中的特征值，进行高质量的修复。为了最大化推理能力，对其编码层与解码层进行堆叠，并使用跳线连接，如图1所示。特征推理模块前3层卷积层与HDC构成编码模块，后5层反卷积层与改进KCA 构成解码模块。下面介绍特征推理过程。
区域识别模块的输出特征图先经由包含3个标准卷积层与HDC的编码层结构进行特征提取，再由包含改进KCA的解码层结构计算得到最终输出。3 个标准卷积层的通道分别为128，256，512。由空洞比率分别为1，2，3组成的HDC通道数为512，512，512。由5个反卷积层与改进KCA组成解码层结构进行计算，其反卷积通道为512，512，512，256，64。激活函数包括ReLU 与LeakyReLU，LeakyReLU层中参数α＝0.2。
其中HDC在编码层的前三个标准卷积层之后，如图2所示。三个标准卷积进行特征值提取后得到512个通道的特征图，将其输入至HDC，512通道的特征图足够小，因此在此处使用HDC其感受野在特征图中的覆盖率更高。HDC 使用1，2，3的空洞比率，构成锯齿状采样空洞卷积组，对图像进行连续采样，降低图像栅格化效应。在HDC采样完成后，输出512通道的特征图，然后将其输出特征图输入至解码模块。
在第三层解码操作(第三反卷积层)完成后，将其输入至改进KCA，如图2所示。其输入改进KCA的特征图通道数为1024，因该输入特征图足够小，因此能够更好使用有限的注意力资源去对其特征图的背景区域(非掩膜区域) 进行信息搜索以进行匹配。匹配过程是由前景区域(掩膜区域)从背景区域根据相似度搜索信息来进行填充，为进一步增强HDC使前景区域提取背景区域信息的能力，引入改进KCA。
下面介绍本发明提出的改进KCA：
在KCA中引入传播机制进行注意力分数传播(融合)。该注意力分数计算分两步：首先求解前景区域(foreground)和背景区域(background)的余弦相似度分数，然后添加一个一值化(特征值全为1)的卷积传播核(propagationkernels) 对其进行注意力分数传播，以提升图像修复效果。
设Fi表示第i次循环的特征图，每对余弦相似度表示为：
式中：
表示特征图掩膜区域位置(x，y)与背景区域位置(x′，y′)的相似度值。
提出进行注意力传播的propagationkernels的数量为1024，通道数为1，大小为3×3，让其跟
进行分组卷积，分组数为1024。以此种方式该卷积传播核可以以左右传播与上下传播来得到新的注意力分数，得到的结果表示为
式中：k为卷积核的大小。
根据相似度的值
使用softmax函数计算
在位置(x，y)处的分量比例。生成的注意力得分表示为score‘。
最后计算最终的得分：首先判断之前循环的像素分数是否有效(特征图对应的掩膜值为1)，若有效，则将上一次循环产生的最终分数与此次循环计算出的分数进行加权组合：
式中：λ是可学习的参数，scorei-1为上一次循环的位置(x，y)处最终注意力分数。
如果是无效像素则计算：
式中：直接以当前循环得到的分数值score'作为最终分数。
最后使用反卷积重建特征图，在位置(x，y)的新特征像素值为：
式中：各位置(x，y)的注意力分数用来重建特征图，fx',y'为背景区域在 (x'，y')处的特征值，
表示在位置(x，y)处得到的新重建特征值，W′与H表示特征图的尺寸。
特征图重建后，输入到注意力机制(知识一致性注意力机制)的特征图F 和重建后的
通道合并，得到通道数为1024的特征图，最后使用卷积核大小为 1的标准卷积得到最终结果：
式中，F′表示注意力机制输出的结果，F′为512通道数的特征图，||表示通道合并(通道相加)，φ表示逐像素卷积。
最后将F′与第二层解码层(第二反卷积层)进行通道合并输入至第四层解码层(第四反卷积层)中。再将第四层解码层输出与第一层编码层(第一卷积层)输出通道合并通过第五层解码层(第五反卷积层)得到RFR模块的输出。其中解码层同样使用反卷积操作重建特征图。最后将所有循环中RFR模块的输出特征图进行步骤203的合并。
Step203：特征图合并。
特征图经RFR模块多次推理后，会出现梯度消失，特征图信息被破坏等问题，为解决此问题并且进一步保留HDC采样的信息，本发明提出自适应结合机制将步骤202中RFR模块的所有输出图像进行合并，即输出特征图中的值仅根据对应位置已被填充的值(被填充过后的像素值为有效值，其对应的掩膜值为1)进行计算。用Fi表示通过特征推理模块产生的第i张特征图，fx，y，z 表示特征图F在位置x，y，z的特征值，Mi表示特征图Fi的二进制掩膜。输出特征图
的值为：
Step204：卷积后处理。
将合并结果进行后期处理，如图2所示。先将上述特征合并输出
进行反卷积得到Fout，该层使用卷积核大小为4，步长为2，补丁为1进行操作:
式中：Wtconv为卷积核，输出通道为64的特征图。fout为Fout的特征值。
随后将初始输入Fin和反卷积的输出Fout进行通道合并。前者通道(初始输入通道)数为3，后者通道数为64，大小相同，进行通道合并后其通道数相加，为67。
Fconcat＝|Fin,Fout|；
式中：Fconcat为其通道合并的输出。
用部分空洞卷积处理合并的输出，部分空洞卷积过程与部分卷积相同，在处理输入的时候使用空洞比率为2的空洞卷积层进行计算，得到输出
式中：
为空洞比率为2的卷积操作。
将部分空洞卷积得到的输出通过去残差瓶颈层进行计算。去残差瓶颈层主要由残差网络组成，其中利用两个1×1的卷积块降低网络参数，如图3所示， conv表示卷积操作，ReLU表示激活函数ReLU，GN表示组归一化，H(x)表示期望映射，X＝identity表示恒等映射。由于提出算法引入了空洞卷积，为有效减少栅格效应，去除了残差连接(identity)。去除残差的瓶颈层操作如图4 所示。
最后将部分空洞卷积的输出和去残差瓶颈层输出进行通道合并：
通道合并结果F′out为一个64通道的特征图，如图2所示，再经一个标准卷积得到最终输出(修复后的图像输出)。
本发明使用国际公认的Paris StreetView数据集，使用随机掩膜。训练集有14900张，测试集有100张，主要由城市建筑构成。将提出算法与PIC (Pluralistic ImageCompletion，多元图像修复算法)，LBAM(Image Inpainting withLearnableBidirectionalAttentionMaps，可学习的双向注意力机制图像修复算法)和RFR(RecurrentFeature Reasoning for Image Inpainting，循环特征推理修复算法)对比，验证提出算法的有效性。
为了定性比较本发明与其他算法，设置了从小型到超大型的各种掩膜进行实验。如图5、图6和图7所示，图5(a)表示掩膜图像(待修改图像)，图5(b) 表示原图(待修改图像的原图)，图5(c)代表多元图像修复算法的修复结果，图5(d)代表可学习的双向注意力机制图像修复算法的修复结果、图5(e)代表循环特征推理修复算法的修复结果，图5(f)代表本发明基于混合空洞卷积的图像修复方法的修复结果。从图5中可以知道，PIC算法能较完全地还原结构，然而产生了少量的无关内容，不能完全修复左边的数字标号，阴影部分的大门也产生了部分白块。LBAM、RFR和本文算法的修复结果无扭曲，无结构缺失，纹理清晰。但是LBAM在大门处产生了冗余内容，也出现了白色小块，使整扇门模糊不清。RFR产生了一些噪声，并且左下角的墙壁有轻微的结构扭曲。本发明方法修复的结果结构清晰，无冗余内容，修复结果与原图相似度非常接近。图6(a)和图7(a)为掩膜图像，图6(b)和图7(b)为本发明方法修改后的图像，由图6和图7可以看到，本发明修复的整体结构合理，图像纹理完整清晰。
为了定量的客观比较提出算法与对比算法的性能，对各种算法的结构相似度(SSIM)与峰值信噪比(PSNR)以及均方误差(MSE)进行对比，表1展示了在 ParisStreetView测试集上不同掩膜占比率的修复性能指标对比。可以看出提出方法的客观指标高于对比算法，说明了提出方法的修复性能优于对比算法。
表1基于HDC的改进KCA修复算法的峰值信噪比值与结构
图8为本发明一种基于混合空洞卷积的图像修复系统结构示意图，如图8 所示，本发明还公开了一种基于混合空洞卷积的图像修复系统，包括：
预处理模块301，用于对待修复图像采用部分卷积进行预处理；
多个推理特征图获得模块302，用于将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；循环特征推理模块包括特征推理模块，特征推理模块包括编码模块和解码模块，编码模块包括卷积层和混合空洞卷积层，解码模块包括反卷积层和知识一致性注意力机制；
修复后图像获得模块303，用于将多个推理特征图合并并进行后处理，获得修复后图像。
本发明公开了基于混合空洞卷积的改进知识一致性注意力机制，提出了一种基于混合空洞卷积的图像修复方法及系统，实现了高效的大规模残缺图像修复算法。首先利用部分卷积对输入残缺图像进行归一化及掩膜更新。然后将处理结果输入由两个部分卷积组成的区域识别模块，识别出的特征图送入包含 HDC与改进KCA的特征推理模块。识别模块与特征推理模块循环使用组归一化(Group Normalization/GN)逐步提升网络的修复能力。循环完成后对输出图像进行特征合并。最后将合并特征图进行反卷积和去残差瓶颈网络后处理增强修复图像的结构完整性。在公开数据集上验证提出算法的性能，主客观实验结果表明：提出算法能修复大面积连续不规则区域，有效避免修复失真，其峰值信噪比和结构相似度及运算速度优于对比算法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于混合空洞卷积的图像修复方法，其特征在于，包括：
对待修复图像采用部分卷积进行预处理；
将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；所述循环特征推理模块包括特征推理模块，所述特征推理模块包括编码模块和解码模块，所述编码模块包括卷积层和混合空洞卷积层，所述解码模块包括反卷积层和知识一致性注意力机制；其中，对所述卷积层输出数据进行组规范化处理；
将多个所述推理特征图合并并进行后处理，获得修复后图像；
所述知识一致性注意力机制为改进知识一致性注意力机制；
所述改进知识一致性注意力机制用于对于输入的特征图，计算的前景区域和背景区域的余弦相似度值，采用一个一值化的卷积传播核对所述余弦相似度值进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图；所述前景区域为掩膜区域，所述背景区域为非掩膜区域；
所述对于输入的特征图，计算的前景区域和背景区域的余弦相似度值，采用一个一值化的卷积传播核对所述余弦相似度值进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图具体包括：
对于输入的特征图Fi，计算的前景区域和背景区域的余弦相似度值
其中：
表示特征图Fi的前景区域位置(x，y)与背景区域位置(x'，y')的余弦相似度值，i表示循环次数；
采用卷积传播核与所述余弦相似度值进行分组卷积，获得更新后的相似度值
根据所述更新后的相似度值，使用softmax函数计算
在位置(x，y)处的分量比例，获得位置(x，y)处的注意力得分；
判断位置(x，y)处第i-1次循环时的特征图对应的掩膜值是否为1；
若为1，则将位置(x，y)处第i-1次循环时的注意力得分和第i次循环时的注意力得分进行加权组合作为位置(x，y)的注意力得分；
若不为1，则将位置(x，y)处第i次循环时的注意力得分作为位置(x，y)的注意力得分；
根据前景区域各位置的注意力得分，采用反卷积重建特征图；
所述卷积传播核的数量为1024，通道数为1，大小为3×3，卷积传播核和余弦相似度值进行分组卷积，分组数为1024，所述卷积传播核以左右传播与上下传播来得到更新后的相似度值
其中，k为卷积核的大小。
2.根据权利要求1所述的基于混合空洞卷积的图像修复方法，其特征在于，所述对待修复图像采用部分卷积进行预处理，具体包括：
对待修复图像采用部分卷积进行掩膜更新和归一化的预处理。
3.根据权利要求1所述的基于混合空洞卷积的图像修复方法，其特征在于，所述循环特征推理模块还包括区域识别模块，所述区域识别模块包括两个部分卷积层，所述预处理后的待修复图像输入所述区域识别模块，所述区域识别模块的输出连接所述特征推理模块。
4.根据权利要求3所述的基于混合空洞卷积的图像修复方法，其特征在于，所述区域识别模块对输入的预处理后的待修复图像进行特征提取和掩膜更新，更新后的掩膜与所述特征推理模块的输出合成，合成后的图像返回所述区域识别模块的输入。
5.根据权利要求1所述的基于混合空洞卷积的图像修复方法，其特征在于，所述特征推理模块包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一混合空洞卷积层、第二混合空洞卷积层、第三混合空洞卷积层、第一反卷积层、第二反卷积层、第三反卷积层、知识一致性注意力机制、第四反卷积层和第五反卷积层；所述编码模块包括所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第一混合空洞卷积层、所述第二混合空洞卷积层和所述第三混合空洞卷积层；所述解码模块包括所述第一反卷积层、所述第二反卷积层、所述第三反卷积层、所述知识一致性注意力机制、所述第四反卷积层和所述第五反卷积层；所述第一卷积层与所述第四反卷积层通过跳线连接，所述第二卷积层与所述第三反卷积层通过跳线连接，所述第三卷积层与所述第二反卷积层通过跳线连接，所述第一混合空洞卷积层与所述第一反卷积层通过跳线连接，所述第二混合空洞卷积层与所述第三混合空洞卷积层通过跳线连接。
6.根据权利要求5所述的基于混合空洞卷积的图像修复方法，其特征在于，所述第一卷积层的通道数为128，所述第二卷积层的通道数为256，所述第三卷积层的通道数为512，所述第一混合空洞卷积层的空洞比率为1，所述第二混合空洞卷积层的空洞比率为2，所述第三混合空洞卷积层的空洞比率为3，所述第一混合空洞卷积层、所述第二混合空洞卷积层和所述第三混合空洞卷积层的通道数均为512，所述第一反卷积层的通道数为512、所述第二反卷积层的通道数为512、所述第三反卷积层的通道数为512、所述第四反卷积层的通道数为256，第五反卷积层的通道数为64。
7.根据权利要求1所述的基于混合空洞卷积的图像修复方法，其特征在于，所述将多个所述推理特征图合并并进行后处理，获得修复后图像，具体包括：
将多个所述推理特征图进行合并；
将合并的特征图进行反卷积；
将反卷积后的输出和待修复图像的输入进行通道合并后输出；
将通道合并后的输出进行部分空洞卷积处理；
将部分空洞卷积处理后的输出输入去残差瓶颈层；所述去残差瓶颈层包括残差网络；
将部分空洞卷积处理后的输出和去残差瓶颈层的输出进行通道合并后再经过卷积操作，获得修复后图像。
8.一种基于混合空洞卷积的图像修复系统，其特征在于，包括：
预处理模块，用于对待修复图像采用部分卷积进行预处理；
多个推理特征图获得模块，用于将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；所述循环特征推理模块包括特征推理模块，所述特征推理模块包括编码模块和解码模块，所述编码模块包括卷积层和混合空洞卷积层，所述解码模块包括反卷积层和知识一致性注意力机制；
修复后图像获得模块，用于将多个所述推理特征图合并并进行后处理，获得修复后图像；
所述知识一致性注意力机制为改进知识一致性注意力机制；
所述改进知识一致性注意力机制用于对于输入的特征图，计算的前景区域和背景区域的余弦相似度值，采用一个一值化的卷积传播核对所述余弦相似度值进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图；所述前景区域为掩膜区域，所述背景区域为非掩膜区域；
所述对于输入的特征图，计算的前景区域和背景区域的余弦相似度值，采用一个一值化的卷积传播核对所述余弦相似度值进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图具体包括：
对于输入的特征图Fi，计算的前景区域和背景区域的余弦相似度值
其中：
表示特征图Fi的前景区域位置(x，y)与背景区域位置(x'，y')的余弦相似度值，i表示循环次数；
采用卷积传播核与所述余弦相似度值进行分组卷积，获得更新后的相似度值
根据所述更新后的相似度值，使用softmax函数计算
在位置(x，y)处的分量比例，获得位置(x，y)处的注意力得分；
判断位置(x，y)处第i-1次循环时的特征图对应的掩膜值是否为1；
若为1，则将位置(x，y)处第i-1次循环时的注意力得分和第i次循环时的注意力得分进行加权组合作为位置(x，y)的注意力得分；
若不为1，则将位置(x，y)处第i次循环时的注意力得分作为位置(x，y)的注意力得分；
根据前景区域各位置的注意力得分，采用反卷积重建特征图；
所述卷积传播核的数量为1024，通道数为1，大小为3×3，卷积传播核和余弦相似度值进行分组卷积，分组数为1024，所述卷积传播核以左右传播与上下传播来得到更新后的相似度值
其中，k为卷积核的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110689121.1A CN113298734B (zh) | 2021-06-22 | 2021-06-22 | 一种基于混合空洞卷积的图像修复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110689121.1A CN113298734B (zh) | 2021-06-22 | 2021-06-22 | 一种基于混合空洞卷积的图像修复方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298734A CN113298734A (zh) | 2021-08-24 |
| CN113298734B true CN113298734B (zh) | 2022-05-06 |
Family
ID=77329243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110689121.1A Expired - Fee Related CN113298734B (zh) | 2021-06-22 | 2021-06-22 | 一种基于混合空洞卷积的图像修复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298734B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989140B (zh) * | 2021-10-22 | 2024-06-28 | 长沙理工大学 | 一种基于自注意力机制的循环特征推理的图像修复方法 |
| CN113902649A (zh) * | 2021-11-25 | 2022-01-07 | 广州华多网络科技有限公司 | 图像修复方法及其装置、设备、介质、产品 |
| CN114186686A (zh) * | 2022-02-17 | 2022-03-15 | 江苏游隼微电子有限公司 | 一种图像去噪神经网络训练方法 |
| CN116596043B (zh) * | 2023-07-13 | 2023-10-13 | 杭州菲数科技有限公司 | 一种卷积神经网络计算方法、系统、电子设备和存储介质 |
| CN116977747B (zh) * | 2023-08-28 | 2024-01-23 | 中国地质大学（北京） | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097110A (zh) * | 2019-04-26 | 2019-08-06 | 华南理工大学 | 一种基于目标优化的语义图像修复方法 |
| CN110381304A (zh) * | 2019-07-23 | 2019-10-25 | 京东方科技集团股份有限公司 | 用于修复空洞图片的模型训练方法、空洞图片的修复方法 |
| CN110648293A (zh) * | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
| CN111242874A (zh) * | 2020-02-11 | 2020-06-05 | 北京百度网讯科技有限公司 | 图像修复的方法、装置、电子设备和存储介质 |
| WO2021080145A1 (ko) * | 2019-10-24 | 2021-04-29 | 연세대학교 산학협력단 | 이미지 채움 장치 및 방법 |
-
2021
- 2021-06-22 CN CN202110689121.1A patent/CN113298734B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097110A (zh) * | 2019-04-26 | 2019-08-06 | 华南理工大学 | 一种基于目标优化的语义图像修复方法 |
| CN110381304A (zh) * | 2019-07-23 | 2019-10-25 | 京东方科技集团股份有限公司 | 用于修复空洞图片的模型训练方法、空洞图片的修复方法 |
| CN110648293A (zh) * | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
| WO2021080145A1 (ko) * | 2019-10-24 | 2021-04-29 | 연세대학교 산학협력단 | 이미지 채움 장치 및 방법 |
| CN111242874A (zh) * | 2020-02-11 | 2020-06-05 | 北京百度网讯科技有限公司 | 图像修复的方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Free-Form Image Inpainting With Gated Convolution;Jiahui Yu等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;4470-4479 * |
| Recurrent Feature Reasoning for Image Inpainting;Jingyuan Li等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;7757-7765 * |
| 基于混合空洞卷积网络的多鉴别器图像修复;李海燕等;《华中科技大学学报(自然科学版)》;20201225;第49卷(第03期);40-45 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298734A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113298734B (zh) | 一种基于混合空洞卷积的图像修复方法及系统 | |
| CN111127346B (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
| CN113962893B (zh) | 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法 | |
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| Liu et al. | Learning converged propagations with deep prior ensemble for image enhancement | |
| Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
| CN112508083B (zh) | 基于无监督注意力机制的图像去雨雾方法 | |
| CN112884073B (zh) | 图像去雨方法、系统、终端及存储介质 | |
| CN112837234B (zh) | 一种基于多列门控卷积网络的人脸图像修复方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN112184582B (zh) | 一种基于注意力机制的图像补全方法及装置 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN112150354A (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
| CN112233129A (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
| CN115018727A (zh) | 一种多尺度图像修复方法、存储介质及终端 | |
| CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
| CN113902622B (zh) | 基于深度先验联合注意力的光谱超分辨率方法 | |
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| CN111598786A (zh) | 一种基于深度去噪自编码网络的高光谱图像解混方法 | |
| CN111260585A (zh) | 基于类凸集投影算法的图像恢复方法 | |
| CN112967210A (zh) | 一种基于全卷积孪生网络的无人机图像去噪方法 | |
| CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN117252782A (zh) | 基于条件去噪扩散和掩膜优化的图像修复方法 | |
| CN113378980B (zh) | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 | |
| Yu et al. | MagConv: Mask-guided convolution for image inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220506 |