CN113487512A - 一种基于边缘信息指导的数字图像修复方法及装置 - Google Patents
一种基于边缘信息指导的数字图像修复方法及装置 Download PDFInfo
- Publication number
- CN113487512A CN113487512A CN202110819984.6A CN202110819984A CN113487512A CN 113487512 A CN113487512 A CN 113487512A CN 202110819984 A CN202110819984 A CN 202110819984A CN 113487512 A CN113487512 A CN 113487512A
- Authority
- CN
- China
- Prior art keywords
- network
- digital image
- edge
- content generation
- edge information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 42
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 25
- 230000008439 repair process Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于边缘信息指导的数字图像修复方法及装置，构建对抗神经网络，对抗神经网络由边缘预测网络和内容生成网络组成；获取与待修复数字图像类别相同的原始图像数据集，对原始图像数据集随机裁剪并批量加入随机掩膜生成污损图像数据集，将污损图像数据集作为训练数据集；将训练数据集输入对抗神经网络，对边缘预测网络和内容生成网络分别进行训练，得到训练完成的边缘预测网络和训练完成的内容生成网络。采用图像的边缘信息指导神经网络修复数字图像，边缘信息的引入有利于神经网络更好地预测图像污损区域的结构，从而提高神经网络针对任意大面积污损区域的修复能力。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种基于边缘信息指导的数字图像修复方法及装置。
背景技术
数字图像是一种用有限的数值形式的像素表示的二维图像，在计算机中由存储各像素点具体数值信息的矩阵构成。数字图像中往往存在这样的不理想区域：原本就有划痕或有污损的照片的扫描件；不期望图像上出现的目标物体或文字；在图像的获取、处理、传输的过程中因信息丢失所留下的信息缺损区域等。为了保证图像信息的完整性和视觉上的一致性，通常使用数字图像修复技术对类似的不理想区域进行修复。
图像修复(Image inpainting)技术指借助已知图像信息推测并修复缺失部分信息，或修补图像中污损区域的技术手段。图像修复技术可以用于清除数字图像中的不理想区域、无痕地隐藏重要信息，修复数字化的老照片和胶片中存在的破损和划痕，其在数字化文物的虚拟修复领域也有着广泛的应用前景。图像修复的结果要保证结构的完整、纹理清晰，尽可能与原始图像一致，不能存在明显的修复痕迹。
深度神经网络因其具有的特征提取和学习能力，能够理解图像更高阶的语义特征，显著提升了数字图像的修复效果。Pathak等人设计了上下文编码器(ContextEncoders)修复图片中心方形区域的孔洞。Yu等人设计了内容感知层(ContextAttention)，使网络模型可以从距离遥远的区域提取近似待修复区域的特征。Liu等人引入部分卷积(Partial Convolution)使网络能在不规则的孔洞上修复图像。Yu等人设计了门卷积(Gated Convolution)和用户学习层，使得网络模型能够根据用户的输入信息指导网络的修复。Edge-Connect方法通过引入边缘信息对图像进行重建，以达到修复图像的目的。但是上述基于深度学习的方法依然是基于传统的RGB三通道，通过卷积神经网络学习图像特征，进而修复破损区域，引入的MASK掩膜也仅仅是用于标记破损区域，无法给神经网络以有效引导，在面对大面积破损时往往会出现模糊和伪影。
发明内容
针对现有技术中存在的问题，本发明提供了一种基于边缘信息指导的数字图像修复方法及装置，提高了对任意大面积污损区域的修复能力。
为了解决上述技术问题，本发明通过以下技术方案予以实现：
一种基于边缘信息指导的数字图像修复方法，包括：
构建对抗神经网络，所述对抗神经网络由边缘预测网络和内容生成网络组成；
获取与待修复数字图像类别相同的原始图像数据集，对所述原始图像数据集随机裁剪并批量加入随机掩膜生成污损图像数据集，将所述污损图像数据集作为训练数据集；
将所述训练数据集输入所述对抗神经网络，对所述边缘预测网络和所述内容生成网络分别进行训练，得到训练完成的边缘预测网络和训练完成的内容生成网络；
将所述训练完成的边缘预测网络和所述训练完成的内容生成网络整合为端到端的网络结构，用所述训练数据集对所述端到端的网络结构进行训练，得到数字图像修复对抗神经网络；
将所述待修复数字图像输入所述数字图像修复对抗神经网络中，所述训练完成的边缘预测网络提取所述待修复数字图像已知区域的边缘信息，并根据所述已知区域的边缘信息预测所述待修复数字图像污损区域的边缘信息，并根据所述污损区域的边缘信息生成所述待修复数字图像完整区域的边缘信息；所述训练完成的内容生成网络根据所述完整区域的边缘信息的指导，恢复所述待修复数字图像结构，生成所述待修复数字图像的最终修复结果。
进一步地，所述边缘预测网络和所述内容生成网络均包含生成器和判别器结构；
所述边缘预测网络的生成器结构采用编码器—解码器形式进行设计，所述编码器—解码器的卷积层采用了基于残差连接的空洞卷积提取图像特征；
所述内容生成网络的生成器结构采用编码器—解码器形式进行设计，所述编码器为基于门卷积的自编码器结构，用于对所述内容生成网络输入的每个通道应用自适应的特征选择机制；所述解码器采用转置门卷积对特征矩阵进行上采样，所述编码器和所述解码器之间建立了跳跃连接；
所述边缘预测网络和所述内容生成网络的判别器结构均为马尔科夫判别器。
进一步地，所述边缘预测网络的生成器采用基于BCE损失的边缘损失函数Ledge，具体如下：
式中，M表示标记污损区域的随机掩膜，其中，数值为0的部分表示污损区域；Cgt表示通过Canny算法提取的原始图像的边缘信息；Cpre表示通过边缘预测网络预测的待修复图像完整区域的边缘信息；NCgt表示Cgt的总像素数目；BCE表示BCE损失计算函数；λ表示权重，取10；
所述边缘预测网络的生成器的对抗性损失为LG-ad，具体如下：
LG-ad＝BCE(Df(Igray,Cpre),1)
式中，Igray表示原始图像的灰度图；Df表示边缘预测网络的判别器结构；
所述边缘预测网络的生成器的特征匹配损失为Lfm，具体如下：
式中，N表示判别器Df的最后一层卷积激活层数目；Ni表示第i层卷积激活层的元素的数目；Di表示判别器Df的第i层卷积激活层的输出。
进一步地，所述边缘预测网络的生成器的总损失函数为LG-tot，具体如下：
LG-total＝αLedge+βLG-ad+γLfm
式中，α、β和γ为自定义超参数，分别取1、1和10。
进一步地，所述边缘预测网络的判别器的损失函数LD用公式表示为：
LD＝BCE(Df(Igray,Cgt),1)+BCE(Df(Igray,Cpre),0)
所述内容生成网络的生成器GF的输入是所述边缘预测网络预测的待修复图像完整区域的边缘信息Cpre、待修复图像Imask和标记污损区域的掩膜M，内容生成网络的输出为修复结果图Ipre，具体如下：
Ipre＝GF(Igt⊙M,Cgt⊙M+Cpre⊙(1-M),M)
式中，Igt表示原始图像；Ipre表示修复结果图。
进一步地，所述内容生成网络的生成器结构的像素重建损失LL1为修复结果图Ipre与原始图像Igt之间的L1距离，LL1用公式表示为：
式中，
表示原始图像Igt各通道的像素数目之和。
进一步地，所述内容生成网络的生成器结构的感知损失Lp为内容重建损失Lγ和风格重建损失Lstyle的线性组合，即Lp＝λ1Lγ+λ2Lstyle。
其中，λ1和λ2表示权重，均取0.5；Lγ和Lstyle分别用公式表示为：
式中，n取5；μi表示内容生成网络生成器第i层卷积激活层输出的激活图；
表示由μi构建的格拉姆矩阵。
进一步地，所述内容生成网络的生成器的总损失函数
用公式表示为：
进一步地，所述边缘预测网络和所述内容生成网络的训练过程采用Adam优化器进行优化，并设置生成器的学习率为1×10-4，设置判别器的学习率为1×10-5。
一种基于边缘信息指导的数字图像修复装置，包括：
构建模块，用于构建对抗神经网络，所述对抗神经网络由边缘预测网络和内容生成网络组成；
原始图像处理模块，用于获取与待修复数字图像类别相同的原始图像数据集，对所述原始图像数据集随机裁剪并批量加入随机掩膜生成污损图像数据集，将所述污损图像数据集作为训练数据集；
第一训练模块，用于将所述训练数据集输入所述对抗神经网络，对所述边缘预测网络和所述内容生成网络分别进行训练，得到训练完成的边缘预测网络和训练完成的内容生成网络；
第二训练模块，用于将所述训练完成的边缘预测网络和所述训练完成的内容生成网络整合为端到端的网络结构，用所述训练数据集对所述端到端的网络结构进行训练，得到数字图像修复对抗神经网络；
修复结果输出模块，用于将所述待修复数字图像输入所述数字图像修复对抗神经网络中，所述训练完成的边缘预测网络提取所述待修复数字图像已知区域的边缘信息，并根据所述已知区域的边缘信息预测所述待修复数字图像污损区域的边缘信息，并根据所述污损区域的边缘信息生成所述待修复数字图像完整区域的边缘信息；所述训练完成的内容生成网络根据所述完整区域的边缘信息的指导，恢复所述待修复数字图像结构，生成所述待修复数字图像的最终修复结果。
与现有技术相比，本发明至少具有以下有益效果：
1、本发明采用图像的边缘信息指导神经网络修复数字图像，边缘信息的引入有利于神经网络更好地预测图像污损区域的结构，从而提高神经网络针对任意大面积污损区域的修复能力。
2、本发明设计的内容生成网络采用基于门卷积的自编码器结构，能够对网络输入的每个通道应用自适应特征选择机制，提高了对输入图像特征的利用率，提升了修复效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于边缘信息指导的数字图像修复方法的实施流程图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一种基于边缘信息指导的数字图像修复方法，具体包括以下步骤：
步骤1：构建对抗神经网络，对抗神经网络由边缘预测网络和内容生成网络组成。
具体地说，边缘预测网络和内容生成网络均包含生成器和判别器结构。
其中，边缘预测网络的生成器结构采用编码器—解码器形式进行设计，编码器—解码器的卷积层采用了基于残差连接的空洞卷积提取图像特征。
内容生成网络的生成器结构采用编码器—解码器形式进行设计，编码器为基于门卷积的自编码器结构，用于对内容生成网络输入的每个通道应用自适应的特征选择机制；解码器采用转置门卷积对特征矩阵进行上采样，编码器和解码器之间建立了跳跃连接，提高了上采样精度。
边缘预测网络和内容生成网络的判别器结构均为马尔科夫判别器，并使用谱归一化的方式来提高训练过程中的稳定性。
步骤2：获取与待修复数字图像类别相同的原始图像数据集，对原始图像数据集随机裁剪并批量加入随机掩膜生成污损图像数据集，将污损图像数据集作为训练数据集。
步骤3：将训练数据集输入对抗神经网络，对边缘预测网络和内容生成网络分别进行训练，得到训练完成的边缘预测网络和训练完成的内容生成网络；
具体地说，边缘预测网络的生成器采用基于BCE损失的边缘损失函数Ledge，具体如下：
式中，M表示标记污损区域的随机掩膜，其中，数值为0的部分表示污损区域；Cgt表示通过Canny算法提取的原始图像的边缘信息；Cpre表示通过边缘预测网络预测的待修复图像完整区域的边缘信息；
表示Cgt的总像素数目；BCE表示BCE损失计算函数；λ表示权重，取10。
边缘预测网络的生成器的对抗性损失为LG-ad，具体如下：
LG-ad＝BCE(Df(Igray,Cpre),1)
式中，Igray表示原始图像的灰度图；Df表示边缘预测网络的判别器结构。
边缘预测网络的生成器的特征匹配损失为Lfm，具体如下：
式中，N表示判别器Df的最后一层卷积激活层数目；Ni表示第i层卷积激活层的元素的数目；Di表示判别器Df的第i层卷积激活层的输出。
边缘预测网络的生成器的总损失函数为LG-t，具体如下：
LG-total＝αLedge+βLG-ad+γLfm
式中，α、β和γ为自定义超参数，分别取1、1和10。
边缘预测网络的判别器的损失函数LD用公式表示为：
LD＝BCE(Df(Igray,Cgt),1)+BCE(Df(Igray,Cpre),0)
内容生成网络的生成器结构的像素重建损失LL1为修复结果图Ipre与原始图像Igt之间的L1距离，具体如下：
式中，
表示原始图像Igt各通道的像素数目之和。
内容生成网络的生成器结构的感知损失Lp为内容重建损失Lγ和风格重建损失Lstyle的线性组合，即Lp＝λ1Lγ+λ2Lstyle
其中，λ1和λ2表示权重，均取0.5；Lγ和Lstyle具体如下：
式中，n取5；μi表示内容生成网络生成器第i层卷积激活层输出的激活图；
表示由μi构建的格拉姆矩阵。
内容生成网络的生成器的总损失函数为
具体如下：
在训练过程中，所述边缘预测网络和所述内容生成网络采用Adam优化器进行优化，并设置生成器的学习率为1×10-4，设置判别器的学习率为1×10-5。
步骤4：将训练完成的边缘预测网络和训练完成的内容生成网络整合为端到端的网络结构，用训练数据集对端到端的网络结构进行训练，得到数字图像修复对抗神经网络；
步骤5：将待修复数字图像输入数字图像修复对抗神经网络中，训练完成的边缘预测网络提取待修复数字图像已知区域的边缘信息，并根据已知区域的边缘信息预测待修复数字图像污损区域的边缘信息，并根据污损区域的边缘信息生成待修复数字图像完整区域的边缘信息；训练完成的内容生成网络根据完整区域的边缘信息的指导，恢复待修复数字图像结构，生成待修复数字图像的最终修复结果。
本发明一种基于边缘信息指导的数字图像修复装置，包括：
构建模块，用于构建对抗神经网络，对抗神经网络由边缘预测网络和内容生成网络组成；
原始图像处理模块，用于获取与待修复数字图像类别相同的原始图像数据集，对原始图像数据集随机裁剪并批量加入随机掩膜生成污损图像数据集，将污损图像数据集作为训练数据集；
第一训练模块，用于将训练数据集输入对抗神经网络，对边缘预测网络和内容生成网络分别进行训练，得到训练完成的边缘预测网络和训练完成的内容生成网络；
第二训练模块，用于将训练完成的边缘预测网络和训练完成的内容生成网络整合为端到端的网络结构，用训练数据集对端到端的网络结构进行训练，得到数字图像修复对抗神经网络；
修复结果输出模块，用于将待修复数字图像输入数字图像修复对抗神经网络中，训练完成的边缘预测网络提取待修复数字图像已知区域的边缘信息，并根据已知区域的边缘信息预测待修复数字图像污损区域的边缘信息，并根据污损区域的边缘信息生成待修复数字图像完整区域的边缘信息；训练完成的内容生成网络根据完整区域的边缘信息的指导，恢复待修复数字图像结构，生成待修复数字图像的最终修复结果。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于边缘信息指导的数字图像修复方法，其特征在于，包括：
构建对抗神经网络，所述对抗神经网络由边缘预测网络和内容生成网络组成；
获取与待修复数字图像类别相同的原始图像数据集，对所述原始图像数据集随机裁剪并批量加入随机掩膜生成污损图像数据集，将所述污损图像数据集作为训练数据集；
将所述训练数据集输入所述对抗神经网络，对所述边缘预测网络和所述内容生成网络分别进行训练，得到训练完成的边缘预测网络和训练完成的内容生成网络；
将所述训练完成的边缘预测网络和所述训练完成的内容生成网络整合为端到端的网络结构，用所述训练数据集对所述端到端的网络结构进行训练，得到数字图像修复对抗神经网络；
将所述待修复数字图像输入所述数字图像修复对抗神经网络中，所述训练完成的边缘预测网络提取所述待修复数字图像已知区域的边缘信息，并根据所述已知区域的边缘信息预测所述待修复数字图像污损区域的边缘信息，并根据所述污损区域的边缘信息生成所述待修复数字图像完整区域的边缘信息；所述训练完成的内容生成网络根据所述完整区域的边缘信息的指导，恢复所述待修复数字图像结构，生成所述待修复数字图像的最终修复结果。
2.根据权利要求1所述的一种基于边缘信息指导的数字图像修复方法，其特征在于，所述边缘预测网络和所述内容生成网络均包含生成器和判别器结构；
所述边缘预测网络的生成器结构采用编码器—解码器形式进行设计，所述编码器—解码器的卷积层采用了基于残差连接的空洞卷积提取图像特征；
所述内容生成网络的生成器结构采用编码器—解码器形式进行设计，所述编码器为基于门卷积的自编码器结构，用于对所述内容生成网络输入的每个通道应用自适应的特征选择机制；所述解码器采用转置门卷积对特征矩阵进行上采样，所述编码器和所述解码器之间建立了跳跃连接；
所述边缘预测网络和所述内容生成网络的判别器结构均为马尔科夫判别器。
3.根据权利要求2所述的一种基于边缘信息指导的数字图像修复方法，其特征在于，所述边缘预测网络的生成器采用基于BCE损失的边缘损失函数Ledge，具体如下：
式中，M表示标记污损区域的随机掩膜，其中，数值为0的部分表示污损区域；Cgt表示通过Canny算法提取的原始图像的边缘信息；Cpre表示通过边缘预测网络预测的待修复图像完整区域的边缘信息；
表示Cgt的总像素数目；BCE表示BCE损失计算函数；λ表示权重，取10；
所述边缘预测网络的生成器的对抗性损失为LG-ad，具体如下：
LG-ad＝BCE(Df(Igray,Cpre),1)
式中，Igray表示原始图像的灰度图；Df表示边缘预测网络的判别器结构；
所述边缘预测网络的生成器的特征匹配损失为Lfm，具体如下：
式中，N表示判别器Df的最后一层卷积激活层数目；Ni表示第i层卷积激活层的元素的数目；Di表示判别器Df的第i层卷积激活层的输出。
4.根据权利要求3所述的一种基于边缘信息指导的数字图像修复方法，其特征在于，所述边缘预测网络的生成器的总损失函数为LG-t，具体如下：
LG-total＝αLedge+βLG-ad+γLfm
式中，α、β和γ为自定义超参数，分别取1、1和10。
5.根据权利要求4所述的一种基于边缘信息指导的数字图像修复方法，其特征在于，所述边缘预测网络的判别器的损失函数LD用公式表示为：
LD＝BCE(Df(Igray,Cgt),1)+BCE(Df(Igray,Cpre),0)
所述内容生成网络的生成器GF的输入是所述边缘预测网络预测的待修复图像完整区域的边缘信息Cpre、待修复图像Imask和标记污损区域的掩膜M，内容生成网络的输出为修复结果图Ipre，具体如下：
Ipre＝GF(Igt⊙M,Cgt⊙M+Cpre⊙(1-M),M)
式中，Igt表示原始图像；Ipre表示修复结果图。
6.根据权利要求5所述的一种基于边缘信息指导的数字图像修复方法，其特征在于，所述内容生成网络的生成器结构的像素重建损失LL1为修复结果图Ipre与原始图像Igt之间的L1距离，LL1用公式表示为：
式中，
表示原始图像Igt各通道的像素数目之和。
7.根据权利要求6所述的一种基于边缘信息指导的数字图像修复方法，其特征在于：所述内容生成网络的生成器结构的感知损失Lp为内容重建损失Lγ和风格重建损失Lstyle的线性组合，即Lp＝λ1Lγ+λ2Lstyle。
其中，λ1和λ2表示权重，均取0.5；Lγ和Lstyle分别用公式表示为：
式中，n取5；μi表示内容生成网络生成器第i层卷积激活层输出的激活图；
表示由μi构建的格拉姆矩阵。
8.根据权利要求7所述的一种基于边缘信息指导的数字图像修复方法，其特征在于，所述内容生成网络的生成器的总损失函数
用公式表示为：
9.根据权利要求8所述的一种基于边缘信息指导的数字图像修复方法，其特征在于，所述边缘预测网络和所述内容生成网络的训练过程采用Adam优化器进行优化，并设置生成器的学习率为1×10-4，设置判别器的学习率为1×10-5。
10.一种基于边缘信息指导的数字图像修复装置，其特征在于，包括：
构建模块，用于构建对抗神经网络，所述对抗神经网络由边缘预测网络和内容生成网络组成；
原始图像处理模块，用于获取与待修复数字图像类别相同的原始图像数据集，对所述原始图像数据集随机裁剪并批量加入随机掩膜生成污损图像数据集，将所述污损图像数据集作为训练数据集；
第一训练模块，用于将所述训练数据集输入所述对抗神经网络，对所述边缘预测网络和所述内容生成网络分别进行训练，得到训练完成的边缘预测网络和训练完成的内容生成网络；
第二训练模块，用于将所述训练完成的边缘预测网络和所述训练完成的内容生成网络整合为端到端的网络结构，用所述训练数据集对所述端到端的网络结构进行训练，得到数字图像修复对抗神经网络；
修复结果输出模块，用于将所述待修复数字图像输入所述数字图像修复对抗神经网络中，所述训练完成的边缘预测网络提取所述待修复数字图像已知区域的边缘信息，并根据所述已知区域的边缘信息预测所述待修复数字图像污损区域的边缘信息，并根据所述污损区域的边缘信息生成所述待修复数字图像完整区域的边缘信息；所述训练完成的内容生成网络根据所述完整区域的边缘信息的指导，恢复所述待修复数字图像污损区域的结构，生成所述待修复数字图像的最终修复结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110819984.6A CN113487512A (zh) | 2021-07-20 | 2021-07-20 | 一种基于边缘信息指导的数字图像修复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110819984.6A CN113487512A (zh) | 2021-07-20 | 2021-07-20 | 一种基于边缘信息指导的数字图像修复方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113487512A true CN113487512A (zh) | 2021-10-08 |
Family
ID=77941658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110819984.6A Pending CN113487512A (zh) | 2021-07-20 | 2021-07-20 | 一种基于边缘信息指导的数字图像修复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487512A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331875A (zh) * | 2021-12-09 | 2022-04-12 | 上海大学 | 一种基于对抗边缘学习的印刷工艺中图像出血位预测方法 |
| CN114511463A (zh) * | 2022-02-11 | 2022-05-17 | 陕西师范大学 | 一种数字图像修复方法、装置、设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及系统 |
| CN110706308A (zh) * | 2019-09-07 | 2020-01-17 | 创新奇智(成都)科技有限公司 | 一种基于gan的钢卷端面边损人造样本生成方法 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN112465718A (zh) * | 2020-11-27 | 2021-03-09 | 东北大学秦皇岛分校 | 一种基于生成对抗网络的两阶段图像修复方法 |
| WO2021063476A1 (en) * | 2019-09-30 | 2021-04-08 | Toyota Motor Europe | Method for training a generative adversarial network, modified image generation module and system for detecting features in an image |
-
2021
- 2021-07-20 CN CN202110819984.6A patent/CN113487512A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706308A (zh) * | 2019-09-07 | 2020-01-17 | 创新奇智(成都)科技有限公司 | 一种基于gan的钢卷端面边损人造样本生成方法 |
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及系统 |
| WO2021063476A1 (en) * | 2019-09-30 | 2021-04-08 | Toyota Motor Europe | Method for training a generative adversarial network, modified image generation module and system for detecting features in an image |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN112465718A (zh) * | 2020-11-27 | 2021-03-09 | 东北大学秦皇岛分校 | 一种基于生成对抗网络的两阶段图像修复方法 |
Non-Patent Citations (2)
| Title |
|---|
| KAMYAR NAZERI等: "EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning", ARXIV:1901.00212V2, 5 January 2019 (2019-01-05), pages 1 - 17, XP081010575 * |
| 范春奇, 任坤, 孟丽莎, 黄泷: "基于深度学习的数字图像修复算法最新进展", 信号处理, vol. 36, no. 1, 31 January 2020 (2020-01-31), pages 102 - 109 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331875A (zh) * | 2021-12-09 | 2022-04-12 | 上海大学 | 一种基于对抗边缘学习的印刷工艺中图像出血位预测方法 |
| CN114511463A (zh) * | 2022-02-11 | 2022-05-17 | 陕西师范大学 | 一种数字图像修复方法、装置、设备及可读存储介质 |
| CN114511463B (zh) * | 2022-02-11 | 2024-04-02 | 陕西师范大学 | 一种数字图像修复方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
| CN111127346A (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
| CN110689495B (zh) | 一种深度学习的图像修复方法 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| Lin et al. | Msaff-net: Multiscale attention feature fusion networks for single image dehazing and beyond | |
| CN113487512A (zh) | 一种基于边缘信息指导的数字图像修复方法及装置 | |
| CN113344826B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110418139B (zh) | 一种视频超分辨修复方法、装置、设备及存储介质 | |
| CN111598798A (zh) | 一种基于低秩张量链分解的图像修复方法 | |
| CN113989129A (zh) | 基于门控和上下文注意力机制的图像修复方法 | |
| CN114627006A (zh) | 一种基于深度解耦网络的渐进式图像修复方法 | |
| CN113592735A (zh) | 文本页面图像还原方法及系统、电子设备和计算机可读介质 | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
| CN111260585A (zh) | 基于类凸集投影算法的图像恢复方法 | |
| CN113034388B (zh) | 一种古代绘画虚拟修复方法及修复模型的构建方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| Mai et al. | Deep unrolled low-rank tensor completion for high dynamic range imaging | |
| CN114037596A (zh) | 一种抗物理传输形变的端到端图像隐写方法 | |
| CN114511463A (zh) | 一种数字图像修复方法、装置、设备及可读存储介质 | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN111724306B (zh) | 一种基于卷积神经网络的图像缩小方法及系统 | |
| CN113591528A (zh) | 文档矫正方法、装置、计算机设备和存储介质 | |
| CN116051407A (zh) | 一种图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |