CN110009576A - 一种壁画图像修复模型建立及修复方法 - Google Patents

一种壁画图像修复模型建立及修复方法 Download PDF

Info

Publication number
CN110009576A
CN110009576A CN201910149220.3A CN201910149220A CN110009576A CN 110009576 A CN110009576 A CN 110009576A CN 201910149220 A CN201910149220 A CN 201910149220A CN 110009576 A CN110009576 A CN 110009576A
Authority
CN
China
Prior art keywords
mural painting
image
image set
pretreated
multilayer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910149220.3A
Other languages
English (en)
Other versions
CN110009576B (zh
Inventor
冯宏伟
张鸣飞
张敏
冯筠
侯文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201910149220.3A priority Critical patent/CN110009576B/zh
Publication of CN110009576A publication Critical patent/CN110009576A/zh
Application granted granted Critical
Publication of CN110009576B publication Critical patent/CN110009576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Application Of Or Painting With Fluid Materials (AREA)

Abstract

本发明公开了一种壁画图像修复模型建立及修复方法，通过采集壁画的原始数据，获得相应壁画数据集，对所述的壁画数据集进行预处理，构造多层对抗卷积神经网络并进行训练，获得壁画修复的多层卷积神经网络，利用训练所得到的壁画特征对破损的壁画提取特征并进行修复，最终得到修复后的壁画，本发明提供的方法通过对多层对抗卷积神经网络的改进，使用空洞卷积并对卷积后的结果进行拼接，并对损失函数进行了修改，使得网络能够获取更多的局部和全局特征，提高了基于多层对抗卷积神经网络的壁画修复方法的准确率。

Description

一种壁画图像修复模型建立及修复方法
技术领域
本发明涉及图像修复方法，具体涉及一种壁画图像修复模型建立及修复方法。
背景技术
壁画作为古人艺术的结晶，是人类最早记录事情，表达情感的手段之一，其在教堂、古墓、宫殿、寺庙等都有存在。但是因所处环境恶劣，经过岁月的磨砺，还有风蚀、雨淋、地震等因素的破坏，现存的壁画有不少存在残损。壁画作为人类漫长历史的见证人，有着不可或缺的地位，因此壁画修复的研究目前来说是一个比较急迫的任务。
传统的壁画修复通常以人工为主，这不仅要求工作人员具备扎实的人文、美术、考古等知识，并且耗费大量时间，流程复杂。另外，人工修复过程中一旦出现纰漏，即会对文物造成不可逆的损坏。因此，为了克服以上缺点，我们希望能够使用计算机代替人工进行或辅助壁画修复来降低修复的复杂程度，同时，计算机中进行的任何修复都可以进行撤回或反演，避免了对壁画造成无法撤销的伤害。
现有技术在对壁画进行修复时，基于偏微分方程的壁画修复技术比较适用于处理小范围的壁画裂纹，在面对大范围的壁画损坏区域时该算法几乎失效。而基于纹理的壁画修复技术虽说可以使用相似的壁画图像进行修复。但是，目前大部分的基于纹理的修复技术十分依赖人为的特征提取且存在没有考虑壁画结构信息或存在信息的错误传递导致修复后的壁画图像的峰值信噪比较低，使得修复准确率低以及修复效率低等问题。
发明内容
本发明的目的在于提供一种壁画图像修复模型建立及修复方法，用以解决现有技术中的壁画修复方法在对壁画图像进行修复时存在的准确率低等问题。
为了实现上述任务，本发明采用以下技术方案：
一种壁画图像修复模型建立方法，按照以下步骤执行：
步骤1、采集多幅完整壁画图像，获得壁画图像集；对壁画图像集中的每幅完整壁画图像进行分割后，获得破损壁画集以及残缺样本集；
步骤2、对所述的破损壁画集、残缺样本集以及壁画图像集中的每一幅图像进行预处理，获得预处理后的破损壁画集、预处理后的壁画图像集以及预处理后的残缺样本集；所述的预处理包括裁剪、旋转以及镜像；
步骤3、将所述的预处理后的破损壁画集输入至多层对抗神经网络中，获得整体修复图像集以及局部修复图像集；
将所述的整体修复图像集以及局部修复图像集作为输出集，将所述的预处理后的壁画图像集以及预处理后的残缺样本集作为目标集，训练多层对抗神经网络，获得壁画修复模型；
其中，训练多层对抗神经网络时，采用式I作为损失函数L：
L＝λ1Lg_rec+λ2Ll_rec+λ3Lg_adv+λ4Ll_adv 式I
其中，λ1、λ2、λ3以及λ4均为损失函数权重，λ1、λ2、λ3以及λ4均大于0，Lg_rec为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的像素差异值；Ll_rec为多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的像素差异值；Lg_adv为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的对抗损失值；Ll_adv多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的对抗损失值。
进一步地，所述的多层对抗神经网络包括依次连接的卷积层、空洞卷积块、残差连接层、解码器以及判别器，所述的空洞卷积块包括多个并行的不同空洞率的空洞卷积层。
进一步地，所述的解码器包括上采样层、卷积层以及激活函数层。
进一步地，所述的激活函数层中激活函数为ELU函数。
一种壁画图像修复方法，执行步骤A-B对待修复壁画图像进行修复：
步骤A、采用步骤2对所述的待修复壁画图像进行预处理，获得预处理后的待修复壁画图像；
步骤B、将所述的待修复壁画图像输入至所述的壁画修复模型中，获得修复后的壁画图像。
本发明与现有技术相比具有以下技术效果：
1、本发明提供的壁画图像修复模型建立及修复方法中没有采用现有技术中的反卷积层构建解码器，而是采用了上采样层和卷积层的方式构建解码器，避免了反卷积层带来的棋盘效应，提高了壁画修复的准确率；
2、本发明提供的壁画图像修复模型建立及修复方法中通过在编码器中增加了空洞卷积块，提高了特征提取的准确性，从而提高了壁画图像修复的准确率；并且在增大网络接受域的同时能降低所需的计算量，提高的修复的效率；
3、本发明提供的壁画图像修复模型建立及修复方法中通过对损失函数的修改与优化，使得网络能够获取更多的局部和全局特征，提高了基于多层对抗卷积神经网络的壁画修复方法的准确率。
附图说明
图1为本发明的一个实施例中提供的壁画修复模型中编码器结构示意图；
图2为本发明的一个实施例中提供的壁画修复模型中空洞卷积块结构示意图；
图3为本发明的一个实施例中提供的壁画修复模型中解码器结构示意图；
图4为本发明的一个实施例中提供的壁画修复模型中判别器结构示意图；
图5为本发明的一个实施例中提供的待修复壁画图像；
图6为本发明的一个实施例中对如图5所示的待修复壁画图像的修复结果图。
具体实施方式
对抗卷积神经网络：采用了博弈论的思想，使用生成器和判别器相互博弈来进行自监督的人工神经网络。
空洞卷积：在标准的卷积上注入空洞，达到在不大量增加参数的情况下增加接受域的一种卷积方式。
编码器与解码器：编码器负责提取数据特征并将特征映射到隐空间进行编码，解码器负责将隐空间的特征进行解码并还原数据分布。
判别器：判别器在对抗网络中作为生成器的“对手”，在整个对抗训练当中对生成器起到了监督的作用，判别器通过判别生成器生成数据的好坏，进而指导生成器调整自身参数生成更好的结果。
对抗损失：由判别器给出的损失，负责指导生成器的参数调整。
实施例一
在本实施例中公开了一种壁画图像修复模型建立方法，按照以下步骤执行：
步骤1、采集多幅完整壁画图像，获得壁画图像集；对壁画图像集中的每幅完整壁画图像进行分割后，获得破损壁画集以及残缺样本集；
在本实施例中采集的壁画，可以通过现场拍摄、网络搜索等方式进行采集，获取的原始壁画图像可以为整幅壁画的局部区域或整体，但需要保证获取图像中的色彩和架构信息相对完整。
本实施例中，采用互联网上搜集的敦煌壁画数据集作为原始壁画数据集，该数据即包括各个时期不同风格的敦煌壁画。
其中破损壁画集包括的破损壁画是指经过分割后保存大部分壁画图像信息的壁画图像；残缺样本集包括的是分割出来的一小部分壁画图像。
步骤2、对所述的破损壁画集、残缺样本集以及壁画图像集中的每一幅图像进行预处理，获得预处理后的破损壁画集、预处理后的壁画图像集以及预处理后的残缺样本集；所述的预处理包括裁剪、旋转以及镜像；
由于原始壁画数据集的每幅图像格式或尺寸均不统一，在采用网络进行训练时，随着图像尺寸的增加参数随之增加，过多的参数会导致网络训练时间更长，且对硬件要求更苛刻，所以将图像缩放到合适的尺寸能够在不影响结果的情况下，极大的加快网络训练的速度，因为卷积网络对旋转敏感，所以可以采用旋转、镜像来扩增数据集来提高网络的性能。具体包括以下步骤：
步骤2.1，对相应壁画进行剪裁，缩放到M*M尺寸，得到调整后的壁画图像；
为了使得壁画图像缩放的相应尺寸，可以在原始图像上直接取N块M*M图像块，每个图像块可以重叠部分区域。也可选直接将整幅图像直接缩放到M*M尺寸。
本次实施例中采用了临近插值的方法使得整幅图像直接缩放到256*256尺寸。
步骤2.2，将调整后的每张原始壁画图像分别进行旋转、镜像，得到最终训练所需的数据集。
为了进一步的提高网络的性能和修复图像的质量，通过对壁画进行不同方向的N次旋转，然后再进行镜像，然后进行旋转M次，得到原始图像*(N+M)张扩充后的壁画数据集。
在本实施例中，分别对壁画进行逆时针90°、180°和270°旋转，然后，通过左右镜像后再次进行逆时针90°、180°、270°旋转得到6000张扩充后的壁画数据集。
步骤3、将所述的预处理后的破损壁画集输入至多层对抗神经网络中，获得整体修复图像集以及局部修复图像集；
将所述的整体修复图像集以及局部修复图像集作为输出集，将所述的预处理后的壁画图像集以及预处理后的残缺样本集作为目标集，训练多层对抗神经网络，获得壁画修复模型；
所述的多层对抗神经网络包括依次连接的卷积层、空洞卷积块、残差连接层、解码器以及判别器，所述的空洞卷积块包括多个并行的不同空洞率的空洞卷积层。
在本步骤中，多层对抗神经网络包括生成器和判别器，其中生成器用于提出壁画特征，并根据不同壁画特征进行修复；判别器用于对生成器修复结果进行评判，评判参数包括像素差异值以及对抗损失值。
其中生成器包括依次连接的编码器以及解码器，首先使用卷积层、空洞卷积块以及残差连接层构建编码器，如图1所示。本实施例采用Python语言和PyTorch深度学习框架实现编码器，其中卷积、空洞卷积均为调用对应框架相应函数获得。考虑到减少参数和避免信息丢失的情况采用了残差和多个空洞卷积结果直接拼接的空洞卷积块。
编码器用来提取壁画特征，其中空洞卷积块包括N个并行的不同空洞率的空洞卷积层，然后把不同空洞卷积的结果进行拼接，也就是说，如图2所示，由卷积层输出的结果分别同时输入至N个空洞卷积层中进行计算，将计算结果进行拼接后，再输入至下一层中。
本实施例中设计的编码器如表1所示。
表1生成器中编码器的网络结构
其中，Batch Norm层一般是深度学习中用于加速训练速度，一般放置在卷积层或者全连接层之后，将数据归一化并加速了训练拟合速度。
在本实施例中，激活函数层中的激活函数为ELU函数。
在本实施例中，空洞卷积块包括三个空洞卷积层，每个空洞卷积层的空洞率分别为1，2，3。
在步骤中，对解码器也进行了设计，可选地，所述的解码器包括上采样层、卷积层以及激活函数层。
设计的解码器的网络结构如表2所示：
表2生成器中解码器的网络结构
其中前五层的激活函数为ELU函数，第六层的激活函数为Tanh函数。在本实施例中设计的解码器的网络结构如图3所示。
在本步骤中，还对判别器进行了设计，由于本申请解决的技术问题是壁画修复，因此在对壁画修复的过程中，评判壁画修复结果时，存在两种评判方式，一是对修复后的壁画图像整体的质量进行评判，另一种是壁画修复区域的质量进行评判，因此在本实施例中，设计了两种判别器，如图4所示，全局判别器用于判别整幅壁画图像的修复质量，区域判别器用于判别区域图像的修复质量。
在本实施例中，设计的全局判别器的结构如表3所示。
表3判别器的网络结构
第一层 第二层 第三层 第四层 第五层 第六层
卷积层 卷积层 卷积层 卷积层 卷积层 全连接层
激活函数层 激活函数层 激活函数层 激活函数层 激活函数层
其中，第一层至第五层的激活函数均为LeakyReLU函数。第六层的激活函数为Linear函数。
在本实施例中，设计的区域判别器的结构如表4所示。
表4判别器的网络结构
其中，第一层至第四层的激活函数均为LeakyReLU函数。第五层的激活函数为Linear函数。
根据以上的设计，获得了多层对抗神经网络，利用数据对该多层对抗神经网络进行训练。
可选地，所述的步骤3中，训练多层对抗神经网络时，采用式I作为损失函数L：
L＝λ1Lg_rec+λ2Ll_rec+λ3Lg_adv+λ4Ll_adv 式I
其中，λ1、λ2、λ3以及λ4均为损失函数权重，λ1、λ2、λ3以及λ4均大于0，Lg_rec为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的像素差异值；Ll_rec为多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的像素差异值；Lg_adv为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的对抗损失值；Ll_adv多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的对抗损失值。
因此在本步骤中，将整体修复图像集以及局部修复图像集作为输出集，将预处理后的壁画图像集以及预处理后的残缺样本集作为目标集，将输出集和目标集均输入至该损失函数模型中，并采用反向传播算法获得对抗神经网络中的每个网络参数，从而获得壁画修复模型。
在本实施例中，采用式II获得两个图像集之间的像素差异值Lrec：
其中，y表示第一图像集，x表示第二图像集，N表示图像集中图像的数量，在本实施例中，第一图像集为修复图像集和局部修复图像集，第二图像集为预处理后的壁画图像集和预处理后的残缺样本集。
在本实施例中，采用现有的对抗损失计算公式获得两个图像集之间的对抗损失值。
本实施例用全局判别器会根据输入图像给出相应分数，代表图像修复结果好坏，当生成器参数调整结束之后，开始训练使用Lg_adv和Ll_adv分别训练全局判别器和局部判别器，根据相应损失函数来调整判别器参数。
实施例二
一种壁画图像修复方法，执行步骤A-B对待修复壁画图像进行修复：
步骤A、采用实施例一中步骤2对所述的待修复壁画图像进行预处理，获得预处理后的待修复壁画图像；
步骤B、将所述的待修复壁画图像输入至实施例一中的壁画修复模型中，获得修复后的壁画图像。
在本实施例中，将图5所示的待修复图像输入至壁画修复模型中，获得如图6所示的修复后的壁画图像，其中图5(a)的修复结果为图6(a)，图5(b)的修复结果为图6(b)。
在本实施例中，将本发明提供的修复方法与现有技术中Context Encoder方法以及MCA方法进行比较，在标准均方根误差nrmse、峰值信噪比PSNR、结构相似性SSIM这三种衡量修复效果的指标对比见表5，其中nrmse越小代表与原始图像越接近，PSNR和SSIM其数值越大代表与原始图像相似程度越高。
表5本方法与传统方法对比
方法 nrmse PSNR SSIM
Context Encoder方法 21.65 19.12 0.757
MCA方法 20.97 19.65 0.785
本方法 19.67 20.44 0.801

Claims (5)

1.一种壁画图像修复模型建立方法，其特征在于，按照以下步骤执行：
步骤1、采集多幅完整壁画图像，获得壁画图像集；对壁画图像集中的每幅完整壁画图像进行分割后，获得破损壁画集以及残缺样本集；
步骤2、对所述的破损壁画集、残缺样本集以及壁画图像集中的每一幅图像进行预处理，获得预处理后的破损壁画集、预处理后的壁画图像集以及预处理后的残缺样本集；所述的预处理包括裁剪、旋转以及镜像；
步骤3、将所述的预处理后的破损壁画集输入至多层对抗神经网络中，获得整体修复图像集以及局部修复图像集；
将所述的整体修复图像集以及局部修复图像集作为输出集，将所述的预处理后的壁画图像集以及预处理后的残缺样本集作为目标集，训练多层对抗神经网络，获得壁画修复模型；
其中，在训练多层对抗神经网络时，采用式I作为损失函数L：
L＝λ1Lg_rec+λ2Ll_rec+λ3Lg_adv+λ4Ll_adv 式I
其中，λ1、λ2、λ3以及λ4均为损失函数权重，λ1、λ2、λ3以及λ4均大于0，Lg_rec为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的像素差异值；Ll_rec为多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的像素差异值；Lg_adv为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的对抗损失值；Ll_adv多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的对抗损失值。
2.如权利要求1所述的壁画图像修复模型建立方法，其特征在于，所述的多层对抗神经网络包括依次连接的卷积层、空洞卷积块、残差连接层、解码器以及判别器，所述的空洞卷积块包括多个并行的不同空洞率的空洞卷积层。
3.如权利要求2所述的壁画图像修复模型建立方法，其特征在于，所述的解码器包括上采样层、卷积层以及激活函数层。
4.如权利要求3所述的壁画图像修复模型建立方法，其特征在于，所述的激活函数层中激活函数为ELU函数。
5.一种壁画图像修复方法，其特征在于，执行步骤A-B对待修复壁画图像进行修复：
步骤A、采用权利要求1中步骤2对所述的待修复壁画图像进行预处理，获得预处理后的待修复壁画图像；
步骤B、将所述的待修复壁画图像输入至权利要求1-4任一项权利要求所述的壁画修复模型中，获得修复后的壁画图像。
CN201910149220.3A 2019-02-28 2019-02-28 一种壁画图像修复模型建立及修复方法 Active CN110009576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910149220.3A CN110009576B (zh) 2019-02-28 2019-02-28 一种壁画图像修复模型建立及修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149220.3A CN110009576B (zh) 2019-02-28 2019-02-28 一种壁画图像修复模型建立及修复方法

Publications (2)

Publication Number Publication Date
CN110009576A true CN110009576A (zh) 2019-07-12
CN110009576B CN110009576B (zh) 2023-04-18

Family

ID=67166070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149220.3A Active CN110009576B (zh) 2019-02-28 2019-02-28 一种壁画图像修复模型建立及修复方法

Country Status (1)

Country Link
CN (1) CN110009576B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473160A (zh) * 2019-08-21 2019-11-19 西安工程大学 一种基于ssgan的古代残损纺织物图像修复方法
CN110544214A (zh) * 2019-08-21 2019-12-06 北京奇艺世纪科技有限公司 一种图像修复方法、装置及电子设备
CN110807762A (zh) * 2019-09-19 2020-02-18 温州大学 一种基于gan的视网膜血管图像智能分割方法
CN111114192A (zh) * 2020-01-09 2020-05-08 温州商学院 一种数字立体壁画的制作方法
CN111311527A (zh) * 2020-01-19 2020-06-19 上海工程技术大学 基于内容感知生成模型的图像修复方法
WO2021035979A1 (zh) * 2019-08-23 2021-03-04 平安科技（深圳）有限公司 边缘学习的图像填充方法、装置、终端及可读存储介质
CN112884673A (zh) * 2021-03-11 2021-06-01 西安建筑科技大学 改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法
CN113034388A (zh) * 2021-03-12 2021-06-25 西北大学 一种古代绘画虚拟修复方法及修复模型的构建方法
CN117094919A (zh) * 2023-10-20 2023-11-21 中国传媒大学 基于扩散模型的壁画数字化修复系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564527A (zh) * 2018-04-04 2018-09-21 百度在线网络技术（北京）有限公司 基于神经网络的全景图内容补全和修复的方法及装置
CN108615228A (zh) * 2018-05-09 2018-10-02 上海理工大学 基于混合神经网络的人脸图像补全方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN108564527A (zh) * 2018-04-04 2018-09-21 百度在线网络技术（北京）有限公司 基于神经网络的全景图内容补全和修复的方法及装置
CN108615228A (zh) * 2018-05-09 2018-10-02 上海理工大学 基于混合神经网络的人脸图像补全方法
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAN LEI WANG: "Dunhuang mural restoration using deep learning", 《SIGGRAPH ASIA 2018 TECHNICAL BRIEFS》 *
刘波宁: "基于双鉴别网络的生成对抗网络图像修复方法", 《计算机应用》 *
张鸣飞: "基于生成对抗网络的计算机辅助壁画修复研究", 《中国优秀硕士学位论文全文数据库》 *
胡中泽: "基于对抗生成网络的古籍文献图像修复技术应用研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473160A (zh) * 2019-08-21 2019-11-19 西安工程大学 一种基于ssgan的古代残损纺织物图像修复方法
CN110544214A (zh) * 2019-08-21 2019-12-06 北京奇艺世纪科技有限公司 一种图像修复方法、装置及电子设备
WO2021035979A1 (zh) * 2019-08-23 2021-03-04 平安科技（深圳）有限公司 边缘学习的图像填充方法、装置、终端及可读存储介质
CN110807762A (zh) * 2019-09-19 2020-02-18 温州大学 一种基于gan的视网膜血管图像智能分割方法
CN111114192A (zh) * 2020-01-09 2020-05-08 温州商学院 一种数字立体壁画的制作方法
CN111311527A (zh) * 2020-01-19 2020-06-19 上海工程技术大学 基于内容感知生成模型的图像修复方法
CN112884673A (zh) * 2021-03-11 2021-06-01 西安建筑科技大学 改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法
CN113034388A (zh) * 2021-03-12 2021-06-25 西北大学 一种古代绘画虚拟修复方法及修复模型的构建方法
CN113034388B (zh) * 2021-03-12 2024-04-05 西北大学 一种古代绘画虚拟修复方法及修复模型的构建方法
CN117094919A (zh) * 2023-10-20 2023-11-21 中国传媒大学 基于扩散模型的壁画数字化修复系统及方法
CN117094919B (zh) * 2023-10-20 2023-12-15 中国传媒大学 基于扩散模型的壁画数字化修复系统及方法

Also Published As

Publication number Publication date
CN110009576B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110009576A (zh) 一种壁画图像修复模型建立及修复方法
CN109785258B (zh) 一种基于多判别器生成对抗网络的人脸图像修复方法
CN106778502B (zh) 一种基于深度残差网络的人群计数方法
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN106910176B (zh) 一种基于深度学习的人脸图像去遮挡方法
CN111047522B (zh) 一种基于边缘生成的图像修复方法
CN108932693A (zh) 基于人脸几何信息的人脸编辑补全方法及装置
CN109801292A (zh) 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN107122796A (zh) 一种基于多分支网络融合模型的光学遥感图像分类方法
CN109961434A (zh) 面向层级语义衰减的无参考图像质量评价方法
CN106228528A (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN108416803A (zh) 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN109360159A (zh) 一种基于生成对抗网络模型的图像补全方法
CN107463881A (zh) 一种基于深度增强学习的人物图像搜索方法
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN110378870B (zh) 一种基于ResNet-GRU网络的汽轮机叶片水蚀程度判别方法
CN110349087A (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN105654468B (zh) 一种基于深度学习和图像边缘信息的茶叶嫩芽检测方法
CN107330387A (zh) 基于图像数据的行人检测方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN115564031A (zh) 一种用于玻璃缺陷检测的检测网络
CN109902730A (zh) 基于深度学习的输电线路断股检测方法
CN114092354A (zh) 一种基于生成对抗网络的人脸图像修复方法
CN110298345A (zh) 一种医学图像数据集的感兴趣区域自动标注方法
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant