CN113034388A - 一种古代绘画虚拟修复方法及修复模型的构建方法 - Google Patents

一种古代绘画虚拟修复方法及修复模型的构建方法 Download PDF

Info

Publication number
CN113034388A
CN113034388A CN202110270413.1A CN202110270413A CN113034388A CN 113034388 A CN113034388 A CN 113034388A CN 202110270413 A CN202110270413 A CN 202110270413A CN 113034388 A CN113034388 A CN 113034388A
Authority
CN
China
Prior art keywords
image
ancient painting
mask
ancient
painting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110270413.1A
Other languages
English (en)
Other versions
CN113034388B (zh
Inventor
彭进业
赵华宇
彭先霖
章勇勤
李展
王珺
乐明楠
张群喜
杨蕊
梁海达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202110270413.1A priority Critical patent/CN113034388B/zh
Publication of CN113034388A publication Critical patent/CN113034388A/zh
Application granted granted Critical
Publication of CN113034388B publication Critical patent/CN113034388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种古代绘画虚拟修复模型构建及古代绘画虚拟修复方法，通过对预构建的古代绘画虚拟修复网络模型进行训练，以获得训练好的古代绘画虚拟修复网络模型M2；采集损坏的古代绘画图像；制作该损坏的古代绘画图像对应的二进制掩膜；将采集的损坏的古代绘画图像和描绘破损区域的二进制掩膜，输入到训练好的古代绘画虚拟修复模型M2，并输出图像修复结果。通过实验结果比较表明，本发明采用的古代绘画虚拟修复方法能够有效地预测破损孔洞的像素值，重建出高品质的古代绘画图像，具有更好的主客观效果。

Description

一种古代绘画虚拟修复方法及修复模型的构建方法
技术领域
本发明属于图像处理领域，涉及古代古代绘画虚拟修复，具体涉及一种古代绘画虚拟修复模型构建及古代绘画虚拟修复方法。
背景技术
随着科学技术的进步，文物数字化保护与传承研究成为当今世界各国研究的热点之一，破损的古代绘画严重影响了以绘画为代表的文化遗产鉴赏和传承效果，所以图像虚拟修复是古代绘画高保真数字化研究中亟待解决的关键技术难题，也是后续进行绘画图像鉴赏与传承的前提，但是这个问题迄今也没有得到完善的解决。尽管现有很多文献报道了多种数字图像修复方法，但几乎没有涉及古代绘画图像的空间分辨率不足和残缺破损等特有属性的修复。
过去20年，尽管出现了大量的图像修复方法，其中包括基于扩散的图像修复方法和基于纹理合成的图像修复方法，但它们的修复效果不够理想。基于扩散的图像修复方法仅对颜色和纹理差异较小的孔洞修复有效；基于纹理合成的图像修复方法可以在受损图像中填充更大的孔洞，但是，由于这组方法依赖于低层图像特征，不适合修复复杂结构中的孔洞。近年，基于深度学习的图像修复方法中，深度神经网络以端到端的方式学习语义先验和有意义的隐藏表示，取得较好的效果，其性能超过传统方法，受到人们的极大重视。最近的大部分图像修复工作网络在图像上使用卷积滤波器，用固定值替换已删除的内容，导致修复结果依赖于初始孔值的影响，其通常表现为孔区域缺乏纹理，明显的颜色对比或围绕孔的人造边缘响应，调整孔值的输出最终导致各种类型的视觉伪影，这需要昂贵的后处理，例如，全局和局部一致的图像修复方法使用快速前进和泊松图像混合等方法进行视觉伪影的后处理；许多最近的方法的另一个限制是只能聚焦在矩形孔上进行修复，通常被认为是图像的中心，这些限制可能导致过度拟合矩形孔，并最终限制这些模型的实际应用。基于部分卷积层的不规则孔洞图像修复方法，可以处理不规则形状的孔，实现完整的孔预测，独立于孔初始值，无需任何额外的后处理。该方法使用了部分卷积层正确处理不规则掩膜，其中包括掩膜和重新归一化卷积操作，然后是掩膜更新步骤，这样不仅可以在不规则孔洞情况下进行修复，并产生语义上有意义的预测结果，与图像的其余部分平滑结合，不需要任何额外的后处理或混合操作，该种方法相比于之前的图像修复方法虽然取得了不错的修复效果，但因其编码阶段部分卷积模块中使用的标准卷积和整个网络结构中使用普通的激活函数使得预测图像并没有很大程度接近于真实图像，而且常用于自然图像处理，缺乏考虑古代绘画图像的特有属性，没有针对于古代绘画图像的破损特征建模，很少应用于古代绘画图像处理，所以性能仍不能满足实际应用需求。传统的图像修复方法依赖于低层图像特征，不适合修复复杂结构中的孔洞，限制了其性能和应用范围。
早期基于深度学习的图像修复方法主要集中在位于图像中心附近的矩形区域孔洞进行修复，并依赖于昂贵的后处理；现有的基于深度学习的图像修复方法仅在空间域对特征映射进行建模，而缺乏对图像不同域之间互补性的综合考虑，以及使用普通的激活函数导致修复结果仍然不能令人满意。因此，现有图像修复方法仍然不能满足古代绘画图像修复等实际应用需求。
发明内容
针对现有技术存在的不足，本发明的目的在于，提供一种古代绘画虚拟修复模型构建及古代绘画虚拟修复方法，解决现有技术中因依赖于低层图像特征，不能修复复杂结构中孔洞的技术问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
步骤1，获取公开的大型自然图像数据集；采集多张古代绘画，获得古代绘画数据集；
步骤2，对代表黑白颜色的二进制数字0和1进行随机掩膜生成处理，生成不规则掩膜数据集，用于模拟网络模型训练时图像输入集中完整图像的破损区域；
步骤3，预构建古代绘画虚拟修复网络模型M0；
步骤4，以自然图像输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，以完全无监督训练方式训练预构建的古代绘画虚拟修复网络模型M0以最小化联合损失，以获得古代绘画虚拟修复网络的预训练模型M1；
步骤5，以古代绘画输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，对古代绘画虚拟修复网络的预训练模型M1以完全无监督训练方式迁移学习训练古代绘画数据集以最小化联合损失，获得训练好的古代绘画虚拟修复网络模型M2。
本发明还包括如下技术特征：
所述的古代绘画数据集分为古代绘画训练集、古代绘画测试集、古代绘画验证集；所述的古代绘画训练集作为预训练后的网络模型迁移学习训练时的图像输入集。
步骤2还包括以下步骤：
步骤2.1，用二进制随机掩膜生成方法生成不规则掩膜数据集，包括掩膜数据训练集、掩膜数据原始测试集、掩膜数据验证集；
步骤2.2，将掩膜数据原始测试集中的不规则掩膜随机扩展、旋转和裁剪，生成4类具有不同孔图像面积比的掩膜，这4类具有不同孔图像面积比的掩膜分别是[0.01，0.1]，(0.1，0.2]，(0.2，0.3]，(0.3，0.4]；每个类别包含掩膜数相同。
步骤3中所述的预构建的古代绘画虚拟修复网络模型M0以编码器-解码器网络框架为基础；
所述的编码器以损坏的图像作为输入，以提取的损坏的绘画图像的图像特征作为输出，从输入的损坏的绘画图像中获取特征信息，并对提取的图像特征信息进行解析；所述的编码器用E表示，包含i个下采样层，i＝1,2,3,4,5,6,7；所述的下采样层中包含双域部分卷积层、批量归一化层和空间自适应激活单元层；
所述的解码器以编码器输出的提取的损坏的绘画图像的图像特征作为输入，将编码器解析的特征信息对应成最终输出的图像形式，对缩小后的特征图像进行上采样，对上采样后的图像进行卷积处理，输出修复的图像；进一步完善图像，弥补编码器中将图像缩小造成的细节损失；所述的解码器用D表示，包含k个上采样层，k＝1,2,3,4,5,6,7；所述的上采样层中包含最近邻插值层、部分卷积层、批量归一化层和泄露空间自适应激活单元层；
所述的解码器中Dk层和相应的编码器中E7-k层之间通过跳跃连接进行连接。
所述的编码器下采样层中双域部分卷积层中对特征图f0和掩膜m0进行双域部分卷积处理；
所述的特征图f0中每个位置特征值的双域部分卷积表示为：
Figure BDA0002974119660000041
其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；Ws是空间域卷积滤波器权重，Wf为频域卷积滤波器权重，Wx为级联空间特征的卷积滤波器权重，b并为相应的偏差，sum(1)/sum(M)是比例因子，sum(1)为当前使用滑动窗口方法进行卷积操作的窗口内二进制掩膜值都为1时，所有1的和，sum(M)为当前使用滑动窗口方法进行卷积操作的窗口内所有二进制掩膜值的和，T表示转置运算，⊙表示逐元素乘法，F(·)是FDCT，F-1(·)是IDCT；
所述的掩膜m0每个位置的双域部分卷积表示为：
Figure BDA0002974119660000051
其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，
Figure BDA0002974119660000052
表示使用双域部分卷积操作后的二进制掩膜更新值。
所述的编码器下采样层中空间自适应激活单元层中对特征图进行空间自适应激活处理；
特征图中每个位置特征值X的空间自适应激活单元函数
Figure BDA0002974119660000053
表示为：
Figure BDA0002974119660000054
其中，W表示执行卷积运算，b是偏置项，D代表特征值X的ReLU激活函数值进行多尺度可分离卷积和卷积后并进行通道间融合，BN(·)表示批量归一化层，
Figure BDA0002974119660000055
是高斯函数，
Figure BDA0002974119660000056
表示(按元素)哈达玛积。
一种古代绘画虚拟修复方法，包括以下步骤：
步骤一，采集损坏的古代绘画图像；
步骤二，制作该损坏的古代绘画图像对应的二进制掩膜；
步骤三，将步骤一中采集的损坏的古代绘画图像作为输入图像，将步骤二制作的二进制掩膜作为输入掩膜，输入到如权利要求1中所述的训练好的古代绘画虚拟修复模型M2；输出损坏的古代绘画图像修复结果。
所述的步骤二中制作损坏的古代绘画图像对应的二进制掩膜，其中未损坏区域的像素标注为1，对应二进制掩膜中的白色部分，损坏区域的像素点标注为0，对应二进制掩膜中的黑色部分。
本发明与现有技术相比，具有如下技术效果：
(Ⅰ)本发明提出一种以编码器-解码器网络框架为基础的古代绘画虚拟修复网络模型，并用于古代绘画图像修复，通过目前最先进的一些图像修复方法与本发明的采用的古代绘画虚拟修复方法在大型自然图像数据集上和古代绘画数据集上的各项修复指数上的实验结果比较表明，本发明采用的古代绘画虚拟修复方法能够有效地预测破损孔洞的像素值，重建出高品质的古代绘画图像，具有更好的主客观效果。
(Ⅱ)本发明采用的双域部分卷积层，同时考虑像素的空间域信息和频域信息，在有效挖掘空间域和频域的互补信息基础上只计算有效特征，探索像素间有效特征的多尺度信息。
(Ⅲ)本发明提出的空间自适应激活单元层能更好的收缩神经网络中的卷积系数，设计的灵活高效网络模型能够修复出更多细微结构，提高了图像修复效果。
附图说明
图1为本发明的古代绘画虚拟修复方法流程图。
图2为本发明的古代绘画虚拟修复网络模型的网络框架示意图。
图3为部分卷积层和双域部分卷积层的体系结构示意图，图3(a)为部分卷积层体系结构示意图，图3(b)为双域部分卷积层的体系结构示意图。
图4为空间自适应激活单元层和泄露空间自适应激活单元层网络结构示意图，图4(a)为空间自适应激活单元层网络结构示意图，图4(b)为泄露空间自适应激活单元层网络结构示意图。
图5为古代绘画虚拟修复网络的预训练模型M1对自然图像的修复过程示意图，图5(a)为输入自然图像示意图，图5(b)为随机生成的二进制掩膜示意图，图5(c)为模拟损坏的自然图像示意图，图5(d)为损坏的自然图像修复结果示意图。
图6为采用本发明的方法进行破损古代绘画虚拟修复的结果示意图，图6(a)和图6(e)为两幅不同的损坏的古代绘画图像示意图，图6(b)和图6(f)为这两幅损坏的古代绘画图像对应的二进制掩膜示意图，图6(c)和图6(g)为损坏的古代绘画图像修复结果示意图。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
如图2至图4所示，解码器路径与编码器路径相反，DPConv表示双域部分卷积层，BN表示批量归一化层，SUnit表示空间自适应激活单元层，NN表示最近邻插值层，PConv表示部分卷积层，LSUnit表示泄露空间自适应激活单元层。
在空间自适应激活单元层中，如图4(a)所示空间自适应激活单元层网络结构，通过ReLU激活函数构建可学习的空间连接，捕捉相邻元素之间的复杂特征；采用多尺度可分离卷积使SUnit可以更好地获取空间位置信息。在空间自适应激活单元层中，每个元素对应的权值可以通过不同尺度范围的像素得到，从而获得更多的信息。同时采用使用可分离卷积确保通道之间不相互作用，以确保激活的有效性，同时也提高了计算效率，减少了参数的数量。最后结合ReLU激活函数得到每个像素的激活特征值。
所述的自然图像为拍摄于生活中自然景物的图像，所述的大型自然图像数据集，如Places2数据集或ImageNet数据集。
所述的古代绘画图像主要为拍摄于唐代墓葬壁画和古代寺庙壁画的图像。
所述的完全无监督训练方式训练时训练的数据里面不包含标签，在无监督训练的过程中：古代绘画虚拟修复网络模型在没有标签集的情况下从破损的图像中提取特征自动预测破损区域中的像素值，然后通过训练网络模型以最小化联合损失，尽量无损的修复图像，获得训练好的古代绘画虚拟修复网络模型。
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1：
本实施例给出一种古代绘画虚拟修复模型的构建方法，如图1所示，该方法包括以下步骤：
步骤1，获取公开的大型自然图像数据集；采集多张古代绘画，获得古代绘画数据集；
在本实施例中，选取一张大型自然图像如图5(a)所示，选取一张古代绘画如图6(a)和图6(e)所示；
步骤2，对代表黑白颜色的二进制数字0和1进行随机掩膜生成处理，生成不规则掩膜数据集，用于模拟网络模型训练时图像输入集中完整图像的破损区域；
在本实施例中任意选取一张不规则掩膜如图5(b)所示，模拟网络模型训练时图像输入集中完整图像的破损区域如图5(c)所示；
步骤3，预构建古代绘画虚拟修复网络模型M0；所述的古代绘画虚拟修复网络模型M0网络框架如图2所示；
步骤4，以自然图像输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，以完全无监督训练方式训练预构建的古代绘画虚拟修复网络模型M0以最小化联合损失，以获得古代绘画虚拟修复网络的预训练模型M1；
步骤5，以古代绘画输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，对古代绘画虚拟修复网络的预训练模型M1以完全无监督训练方式迁移学习训练古代绘画数据集以最小化联合损失，获得训练好的古代绘画虚拟修复网络模型M2。
在本实施例中，古代绘画虚拟修复网络模型M2可以对破损古代绘画进行修复，网络训练时，使用基于部分卷积层的不规则孔洞图像修复方法中的初始化方法来初始化古代绘画虚拟修复网络模型权重，并使用适应矩估计优化器来优化权重；具体的训练过程包括以下步骤：
第一步，首先在1台NVIDIA v 100Gpu(12GB)上对Places2数据集进行训练，为了在有孔的情况下使用批量归一化，先使用0.0002的学习率对Places2数据集进行初始训练，启用批量归一化参数；再使用0.00005的学习速率对经过初始训练的Places2数据集进行微调，并在网络的编码器部分冻结批量归一化参数，在解码器中保持启用批量归一化参数，从而避免不正确的均值和方差问题，实现更快的收敛。在对Places2数据集进行训练的训练过程中，经测试得训练迭代次数达到1000000次时，修复效果最好，获得古代绘画虚拟修复网络的预训练模型M1；对Places2数据集训练8天，微调在一天内完成。
第二步，用古代绘画虚拟修复网络的预训练模型M1迁移学习训练古代绘画数据集，使用Places2数据集同样的训练方法训练古代绘画数据集，经测试发现在迭代15万次时，修复效果最好，获得训练好的古代绘画虚拟修复网络模型M2；对古代绘画数据集训练1天，微调在半天内完成。
所述的联合损失是由网络输出的修复图像中每个像素的重建损失和整个图像的总变差损失组成。重建损失包括孔区域的每个像素重建损失
Figure BDA0002974119660000101
和非孔区域的每个像素重建损失
Figure BDA0002974119660000102
Figure BDA0002974119660000103
和
Figure BDA0002974119660000104
定义如下：
Figure BDA0002974119660000105
Figure BDA0002974119660000106
其中，Iin表示输入图像和输入掩膜仿真模拟的带孔洞的损坏图像、M表示输入的二进制掩膜、Iout表示网络输出的修复图像和Igt表示输入的完整图像，符号⊙表示矩阵对应位置的元素相乘；
总变差损失
Figure BDA0002974119660000107
定义如下：
Figure BDA0002974119660000108
其中，Icomp是具有输出图像Iout的孔区域像素和输入的完整图像Igt中的非孔区域像素的合成图像，P是指孔洞区域，(i,j)表示孔洞区域内每个点的坐标；
联合损失的定义如下：
Figure BDA0002974119660000109
训练模型时，通过训练古代绘画虚拟修复网络模型来最小化联合损失，以得到最优训练模型。
作为本实施例的一种优选方案，所述的古代绘画数据集分为古代绘画训练集、古代绘画测试集、古代绘画验证集；所述的古代绘画训练集作为预训练后的网络模型迁移学习训练时的图像输入集。
作为本实施例的一种优选方案，所述的步骤2还包括以下步骤：
步骤2.1，用二进制随机掩膜生成方法生成不规则掩膜数据集，包括掩膜数据训练集、掩膜数据原始测试集、掩膜数据验证集；
步骤2.2，将掩膜数据原始测试集中的不规则掩膜随机扩展、旋转和裁剪，生成4类具有不同孔图像面积比的掩膜，这4类具有不同孔图像面积比的掩膜分别是[0.01，0.1]，(0.1，0.2]，(0.2，0.3]，(0.3，0.4]；每个类别包含掩膜数相同。
作为本实施例的一种优选方案，如图2所示，所述的编码器以损坏的图像作为输入，以提取的损坏的绘画图像的图像特征作为输出，从输入的损坏的绘画图像中获取特征信息，并对提取的图像特征信息进行解析；所述的编码器用E表示，包含i个下采样层，i＝1,2,3,4,5,6,7；所述的下采样层中包含双域部分卷积层、批量归一化层和空间自适应激活单元层；
所述的解码器以编码器输出的提取的损坏的绘画图像的图像特征作为输入，将编码器解析的特征信息对应成最终输出的图像形式，对缩小后的特征图像进行上采样，对上采样后的图像进行卷积处理，输出修复的图像；进一步完善图像，弥补编码器中将图像缩小造成的细节损失；所述的解码器用D表示，包含k个上采样层，k＝1,2,3,4,5,6,7；所述的上采样层中包含最近邻插值层、部分卷积层、批量归一化层和泄露空间自适应激活单元层；
所述的解码器中Dk层和相应的编码器中E7-k层之间通过跳跃连接进行连接。
作为本实施例的一种优选方案，如图3(b)所示，所述的编码器下采样层中双域部分卷积层中对特征图f0和掩膜m0进行双域部分卷积处理；
所述的特征图f0中每个位置特征值的双域部分卷积表示为：
Figure BDA0002974119660000121
其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；Ws是空间域卷积滤波器权重，Wf为频域卷积滤波器权重，Wx为级联空间特征的卷积滤波器权重，b并为相应的偏差，sum(1)/sum(M)是比例因子，sum(1)为当前使用滑动窗口方法进行卷积操作的窗口内二进制掩膜值都为1时，所有1的和，sum(M)为当前使用滑动窗口方法进行卷积操作的窗口内所有二进制掩膜值的和，T表示转置运算，⊙表示逐元素乘法，F(·)是FDCT，F-1(·)是IDCT；
所述的掩膜m0每个位置的双域部分卷积表示为：
Figure BDA0002974119660000122
其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，
Figure BDA0002974119660000123
表示使用双域部分卷积操作后的二进制掩膜更新值。
作为本实施例的一种优选方案，所述的编码器下采样层中空间自适应激活单元层中对特征图进行空间自适应激活处理；
特征图中每个位置特征值X的空间自适应激活单元函数
Figure BDA0002974119660000124
表示为：
Figure BDA0002974119660000125
其中，W表示执行卷积运算，b是偏置项，D代表特征值X的ReLU激活函数值进行多尺度可分离卷积和卷积后并进行通道间融合，BN(·)表示批量归一化层，
Figure BDA0002974119660000126
是高斯函数，
Figure BDA0002974119660000127
表示(按元素)哈达玛积。
在本实施例中，步骤3中所述的预构建的古代绘画虚拟修复网络模型按照以下步骤对图像进行处理：
步骤3.1，将输入图像和二进制掩膜输入古代绘画虚拟修复网络模型，特征提取网络对输入图像和二进制掩膜进行特征提取，得到原始特征图f0和原始掩膜m0，然后进入模型的编码器阶段；
步骤3.2，古代绘画虚拟修复网络模型的编码器阶段以原始特征图f0和原始掩膜m0作为输入，经过编码器阶段7个下采样层的处理，输出特征图f14和掩膜m7；
步骤3.2.1，以原始特征图f0和原始掩膜m0作为E1层的输入，对原始特征图f0和原始掩膜m0进行双域部分卷积处理，输出特征图f1和掩膜m1；
所述的原始特征图f0中每个位置特征值的双域部分卷积表示为：
Figure BDA0002974119660000131
其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；Ws是空间域卷积滤波器权重，Wf为频域卷积滤波器权重，Wx为级联空间特征的卷积滤波器权重，b并为相应的偏差，sum(1)/sum(M)是比例因子，应用该比例因子来调整有效(未屏蔽)输入的变化量；
所述的原始掩膜m0每个位置的双域部分卷积表示为：
Figure BDA0002974119660000132
其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，
Figure BDA0002974119660000133
表示使用双域部分卷积操作后的二进制掩膜更新值；
步骤3.2.2，对步骤3.2.1的输出的特征图f1批量归一化处理和空间自适应激活单元处理，输出特征图f2；
步骤3.2.3，以E1层输出的特征图f2和掩膜m1作为E2层的输入，类同E1层的执行顺序依次执行E2层、E3层、E4层、E5层、E6层和E7层，以Ei-1层的输出作为Ei的层，编码器阶段最终输出为特征图f14和掩膜m7；
步骤3.3，以编码器阶段最终输出的特征图f14和掩膜m7作为古代绘画虚拟修复网络模型的解码器阶段的输入；
步骤3.3.1，在D1层分别对编码器阶段最终输出的特征图f14和掩膜m7进行最近邻上采样处理，输出特征图f15和掩膜m8；
步骤3.3.2，通过跳跃连接将编码器阶段D1层经最近邻上采样处理后得到的特征图f15和掩膜m8与解码器阶段E6层输出的特征图f12和掩膜m6分别进行特征通道融合，输出特征图f16和掩膜m9；
步骤3.3.3，将特征图f16和掩膜m9分别进行部分卷积处理，输出特征图f17和掩膜m10；
步骤3.3.4，对3.3.3的输出特征图f17进行批量归一化处理和泄露空间自适应激活单元处理，输出特征图f18；
步骤3.3.5，将D1层输出的特征图f18和掩膜m10作为D2层的输入，类同步骤3.3.1至步骤3.3.4执行顺序依次执行D2层、D3层、D4层、D5层和D6层，以Di-1层的输出作为Di层的输入，最终得到特征图f38和掩膜m25；
步骤3.3.6，以步骤3.3.5得到的特征图f38和掩膜m25作为D7层的输入，对特征图f38和掩膜m25进行最近邻上采样处理后输出特征图f39和掩膜m26；通过跳跃连接将原始特征图f0和特征图f39与掩膜m0和掩膜m26分别进行特征通道融合后得到特征图f40和掩膜m27，将特征图f40和掩膜m27输入D7层的部分卷积层，对特征图f40和掩膜m27进行部分卷积处理，输出修复结果图。
一种古代绘画虚拟修复方法，包括以下步骤：
步骤一，采集如图6(a)和图6(e)所示的损坏的古代绘画图像；
步骤二，制作如图6(b)和图6(f)所示的损坏的古代绘画图像对应的二进制掩膜；
步骤三，将步骤一中采集的损坏的古代绘画图像作为输入图像，将步骤二制作的二进制掩膜作为输入掩膜，输入到如权利要求1中所述的训练好的古代绘画虚拟修复模型M2；输出如图6(c)和图6(g)所示的损坏的古代绘画图像修复结果；
作为本实施例的一种优选方案，所述的步骤二中制作损坏的古代绘画图像对应的二进制掩膜，其中未损坏区域的像素标注为1，对应二进制掩膜中的白色部分，损坏区域的像素点标注为0，对应二进制掩膜中的黑色部分。
在本实施例中，步骤二中制作损坏的古代绘画图像对应的二进制掩膜具体包括以下步骤：
(1)使用VIA注释工具对损坏的古代绘画图像的损毁区域进行标注，生成一个JSON格式的注释文件，其中包含损坏的古代绘画图像上被标注区域对应的坐标信息；
(2)将JSON注释文件转换为二进制掩膜图像，其中未损坏区域的像素标注为1，对应二进制掩膜中的白色部分；对损坏区域的像素点标注为0，对应二进制掩膜中的黑色部分；
如图5所示为本实施例中古代绘画虚拟修复网络的预训练模型M1对自然图像的修复过程示意图，图5(a)为输入自然图像示意图，图5(b)为随机生成的二进制掩膜示意图，图5(c)为模拟损坏的自然图像示意图，图5(d)为损坏的自然图像修复结果示意图；通过最终输出的修复结果可以看出本发明中古代绘画虚拟修复网络的预训练模型M1能够有效的修复自然图像，恢复其破损孔洞的像素值，重建出高品质的自然图像。
如图6所示为本实施例采用本发明的方法进行破损古代绘画虚拟修复的结果示意图，图6(a)和图6(e)为两幅不同的损坏的古代绘画图像示意图，图6(b)和图6(f)为这两幅损坏的古代绘画图像对应的二进制掩膜示意图，图6(c)和图6(g)为损坏的古代绘画图像修复结果示意图。通过最终输出的修复结果可以看出本发明采用的古代绘画虚拟修复方法能够有效地预测破损孔洞的像素值，重建出高品质的古代绘画图像，具有更好的主客观效果。
如表1所述为在本实施例中选取目前最先进的一些图像修复方法，并在Places2数据集上和古代绘画数据集上的各项修复指数上对本发明的图像修复方法进行定量比较。在Places2数据集中的原有测试集中任意选用1000张图像进行测试对比，古代绘画数据集中的绘画数据集测试集中任意选用100张图像进行测试对比。其中，GL表示论文SatoshiIizuka,Edgar Simo-Serra,Hiroshi Ishikawa:Globally andlocally consistent imagecompletion.ACM Transactions on Graphic,36(4):107:1-107:14(2017)中描述的图像修复方法；PCN表示论文Guilin Liu,Fitsum A.Reda,Kevin J.Shih,Ting-Chun Wang,AndrewTao,Bryan Catanzaro.Image Inpainting for Irregular Holes Using PartialConvolutions.InThe European Conference on Computer Vision(ECCV),(11)2018:89-105中描述的图像修复方法；LBAM表示Chaohao Xie,Shaohui Liu,Chao Li,Ming-MingCheng,Wangmeng Zuo,Xiao Liu,Shilei Wen,Errui Ding:Image Inpainting WithLearnable BidirectionalAttention Maps.ICCV 2019:8857-8866中描述的图像修复方法；C3N表示本发明的图像修复方法；HIAR表示掩膜中孔洞和图像面积比；L1表示平均绝对误差，指模型预测值和真实值之间误差的平均值。PSNR表示峰值信噪比，数值越大则失真越小；SSIM表示结构相似性指数，取值范围[0，1]，取值越接近1，则图像失真越小；IScore衡量生成模型的个体特征和整体特征，在一定程度上可以反映出生成图片的质量以及多样性。
从实验结果可以看出，本发明提出的方法相较于其他三种图像修复方法有很大的提升，验证了本发明图像修复的有效性和可行性。
表1图像修复方法比较
Figure BDA0002974119660000171

Claims (8)

1.一种古代绘画虚拟修复模型的构建方法，其特征在于，该方法包括以下步骤：
步骤1，获取公开的大型自然图像数据集；采集多张古代绘画，获得古代绘画数据集；
步骤2，对代表黑白颜色的二进制数字0和1进行随机掩膜生成处理，生成不规则掩膜数据集，用于模拟网络模型训练时图像输入集中完整图像的破损区域；
步骤3，预构建古代绘画虚拟修复网络模型M0；
步骤4，以自然图像输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，以完全无监督训练方式训练预构建的古代绘画虚拟修复网络模型M0以最小化联合损失，以获得古代绘画虚拟修复网络的预训练模型M1；
步骤5，以古代绘画输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，对古代绘画虚拟修复网络的预训练模型M1以完全无监督训练方式迁移学习训练古代绘画数据集以最小化联合损失，获得训练好的古代绘画虚拟修复网络模型M2。
2.如权利要求1所述的古代绘画虚拟修复模型的构建方法，其特征在于，所述的古代绘画数据集分为古代绘画训练集、古代绘画测试集、古代绘画验证集；所述的古代绘画训练集作为预训练后的网络模型迁移学习训练时的图像输入集。
3.如权利要求1所述的古代绘画虚拟修复模型的构建方法，其特征在于，步骤2还包括以下步骤：
步骤2.1，用二进制随机掩膜生成方法生成不规则掩膜数据集，包括掩膜数据训练集、掩膜数据原始测试集、掩膜数据验证集；
步骤2.2，将掩膜数据原始测试集中的不规则掩膜随机扩展、旋转和裁剪，生成4类具有不同孔图像面积比的掩膜，这4类具有不同孔图像面积比的掩膜分别是[0.01，0.1]，(0.1，0.2]，(0.2，0.3]，(0.3，0.4]；每个类别包含掩膜数相同。
4.如权利要求1所述的古代绘画虚拟修复模型的构建方法，其特征在于，步骤3中所述的预构建的古代绘画虚拟修复网络模型M0以编码器-解码器网络框架为基础；
所述的编码器以损坏的图像作为输入，以提取的损坏的绘画图像的图像特征作为输出，从输入的损坏的绘画图像中获取特征信息，并对提取的图像特征信息进行解析；所述的编码器用E表示，包含i个下采样层，i＝1,2,3,4,5,6,7；所述的下采样层中包含双域部分卷积层、批量归一化层和空间自适应激活单元层；
所述的解码器以编码器输出的提取的损坏的绘画图像的图像特征作为输入，将编码器解析的特征信息对应成最终输出的图像形式，对缩小后的特征图像进行上采样，对上采样后的图像进行卷积处理，输出修复的图像；进一步完善图像，弥补编码器中将图像缩小造成的细节损失；所述的解码器用D表示，包含k个上采样层，k＝1,2,3,4,5,6,7；所述的上采样层中包含最近邻插值层、部分卷积层、批量归一化层和泄露空间自适应激活单元层；
所述的解码器中Dk层和相应的编码器中E7-k层之间通过跳跃连接进行连接。
5.如权利要求4所述的古代绘画虚拟修复模型的构建方法，其特征在于，所述的编码器下采样层中双域部分卷积层中对特征图f0和掩膜m0进行双域部分卷积处理；
所述的特征图f0中每个位置特征值的双域部分卷积表示为：
Figure FDA0002974119650000031
其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；Ws是空间域卷积滤波器权重，Wf为频域卷积滤波器权重，Wx为级联空间特征的卷积滤波器权重，b并为相应的偏差，sum(1)/sum(M)是比例因子，sum(1)为当前使用滑动窗口方法进行卷积操作时假设窗口内二进制掩膜值都为1时，所有二进制掩膜值的和，sum(M)为当前使用滑动窗口方法进行卷积操作的窗口内所有二进制掩膜值的和，T表示转置运算，⊙表示逐元素乘法，F(·)是FDCT，F-1(·)是IDCT；
所述的掩膜m0每个位置的双域部分卷积表示为：
Figure FDA0002974119650000032
其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，
Figure FDA0002974119650000035
表示使用双域部分卷积操作后的二进制掩膜更新值。
6.如权利要求4所述的古代绘画虚拟修复模型的构建方法，其特征在于，所述的编码器下采样层中空间自适应激活单元层中对特征图进行空间自适应激活处理；
特征图中每个位置特征值X的空间自适应激活单元函数
Figure FDA0002974119650000033
表示为：
Figure FDA0002974119650000034
其中，W表示执行卷积运算，b是偏置项，D代表特征值X的ReLU激活函数值进行多尺度可分离卷积和卷积后并进行通道间融合，BN(·)表示批量归一化层，
Figure FDA0002974119650000041
是高斯函数，
Figure FDA0002974119650000042
表示(按元素)哈达玛积。
7.一种古代绘画虚拟修复方法，其特征在于，包括以下步骤：
步骤一，采集损坏的古代绘画图像；
步骤二，制作该损坏的古代绘画图像对应的二进制掩膜；
步骤三，将步骤一中采集的损坏的古代绘画图像作为输入图像，将步骤二制作的二进制掩膜作为输入掩膜，输入到权利要求1中所述训练好的古代绘画虚拟修复模型M2；输出损坏的古代绘画图像修复结果。
8.如权利要求7所述的古代绘画虚拟修复方法，其特征在于，所述的步骤二中制作损坏的古代绘画图像对应的二进制掩膜，其中未损坏区域的像素标注为1，对应二进制掩膜中的白色部分，损坏区域的像素点标注为0，对应二进制掩膜中的黑色部分。
CN202110270413.1A 2021-03-12 2021-03-12 一种古代绘画虚拟修复方法及修复模型的构建方法 Active CN113034388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270413.1A CN113034388B (zh) 2021-03-12 2021-03-12 一种古代绘画虚拟修复方法及修复模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270413.1A CN113034388B (zh) 2021-03-12 2021-03-12 一种古代绘画虚拟修复方法及修复模型的构建方法

Publications (2)

Publication Number Publication Date
CN113034388A true CN113034388A (zh) 2021-06-25
CN113034388B CN113034388B (zh) 2024-04-05

Family

ID=76470347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270413.1A Active CN113034388B (zh) 2021-03-12 2021-03-12 一种古代绘画虚拟修复方法及修复模型的构建方法

Country Status (1)

Country Link
CN (1) CN113034388B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888415A (zh) * 2021-09-07 2022-01-04 北京三快在线科技有限公司 一种模型训练以及图像修复方法及装置
CN114596218A (zh) * 2022-01-25 2022-06-07 西北大学 基于卷积神经网络的古代绘画图像修复方法、模型和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009576A (zh) * 2019-02-28 2019-07-12 西北大学 一种壁画图像修复模型建立及修复方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN111091616A (zh) * 2019-11-25 2020-05-01 艾瑞迈迪科技石家庄有限公司 一种三维超声图像的重建方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN110009576A (zh) * 2019-02-28 2019-07-12 西北大学 一种壁画图像修复模型建立及修复方法
CN111091616A (zh) * 2019-11-25 2020-05-01 艾瑞迈迪科技石家庄有限公司 一种三维超声图像的重建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹建芳;崔红艳;张琦;: "特征融合AlexNet模型的古代壁画分类", 中国图象图形学报, no. 01 *
牟琦;夏蕾;李占利;李洪安;: "采用曲率扩散和边缘重建的深度图像空洞修复", 西安科技大学学报, no. 02 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888415A (zh) * 2021-09-07 2022-01-04 北京三快在线科技有限公司 一种模型训练以及图像修复方法及装置
CN114596218A (zh) * 2022-01-25 2022-06-07 西北大学 基于卷积神经网络的古代绘画图像修复方法、模型和装置
CN114596218B (zh) * 2022-01-25 2023-11-07 西北大学 基于卷积神经网络的古代绘画图像修复方法、模型和装置

Also Published As

Publication number Publication date
CN113034388B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN111080511B (zh) 一种端到端的高分辨率多特征提取的人脸交换方法
CN111539887B (zh) 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN113284100B (zh) 基于恢复图像对混合域注意力机制的图像质量评价方法
CN113870128B (zh) 一种基于深度卷积对抗式网络的数字壁画图像修复方法
CN113034388B (zh) 一种古代绘画虚拟修复方法及修复模型的构建方法
CN112381716B (zh) 一种基于生成式对抗网络的图像增强方法
CN110895795A (zh) 改进的语义图像修补模型方法
CN111222519A (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN115619685A (zh) 一种用于图像修复的追踪结构的Transformer方法
CN115311720A (zh) 一种基于Transformer的deepfake生成方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN112488935A (zh) 基于纹理约束和泊松融合的生成对抗指静脉图像修复方法
CN116051407A (zh) 一种图像修复方法
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
Lv et al. SeparaFill: Two generators connected mural image restoration based on generative adversarial network with skip connect
CN111325710A (zh) 一种基于双边注意力机制的rgb-d显著性物体检测方法
Liao et al. TransRef: Multi-scale reference embedding transformer for reference-guided image inpainting
CN114092354A (zh) 一种基于生成对抗网络的人脸图像修复方法
CN116468638A (zh) 一种基于生成和鉴别平衡对抗的人脸图像修复方法及系统
Liu et al. Old-Photo Restoration with Detail-and Structure-Enhanced Cascaded Learning
Xu et al. Weighted lp norm sparse error constraint based ADMM for image denoising
CN115471414A (zh) 基于曝光成像模型和模块化深度网络的图像去雨雪方法
Jiang et al. Mask‐guided image person removal with data synthesis
CN114155560A (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant