CN107862668A

CN107862668A - 一种基于gnn的文物图像复原方法

Info

Publication number: CN107862668A
Application number: CN201711189780.9A
Authority: CN
Inventors: 储荣
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2017-11-24
Filing date: 2017-11-24
Publication date: 2018-03-30

Abstract

本发明公开了一种基于GNN的文物图像复原方法，把掉色、轻微残缺文物照片复原成较为完整的彩色图像，包括以下步骤：a)采集训练图像；b)图像预处理；c)基于深度卷积网络构造GNN网络；d)对GNN网络进行训练；e)根据训练好的GNN网络生成文物复原图像。本发明的一种基于GNN网络的文物图像复原方法，能够非人工地生成掉色文物可能的颜色特征，把边角有轻微损坏的部分自动补全。比如对损坏的壁画进行恢复，复原其残缺的部分或者恢复其原色彩，本发明可以省去人工设计、还原的繁琐步骤。

Description

一种基于GNN的文物图像复原方法

技术领域

本发明属于计算机视觉和模式识别领域，涉及模式识别、数字图像处理、人工智能、计算机科学等多门学科，具体涉及一种基于GNN网络的文物图像复原方法。

背景技术

壁画等文物具有丰富的艺术价值和历史意义，运用深度学习迁移图像风格能够节省很多人力、物力去设计、构想被破坏的文物。本文以迁移图像风格，给褪色或轻微残缺的文物上色或自动构造其残缺的形态部分，能够给文物工作者减轻构想、设计方面极大的工作量。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于GNN网络的文物图像复原方法。

技术方案：为解决上述技术问题，本发明的一种基于GNN网络的文物图像复原方法采用如下技术方案：

一种GNN网络的文物图像复原方法，包括以下步骤：

a、采集文物图像；

b、预处理步骤a中采集到的图像，对训练图像进行大小归一化处理，把较大像素的图像分割或者提取重要的部分，得到若干个训练样本，将其处理为256*256像素；

c、基于深度卷积网络构造GNN网络；

d、对GNN网络进行训练；

e、根据训练好的GNN网络复原受损的文物的图像；

f、如果在步骤b中把图像分割成较小的部分，需要将它们拼接起来；

更进一步的，步骤b中所述预处理包括图像的像素缩放，图像类型转换。

更进一步的，步骤b中所述文物图像像素过大时，裁剪需要处理的图像部分，分别处理，再组合成整张图像，或者挑取其中重点需要的某个部分。

更进一步的，已有的图像迁移研究成果经常为配对式的，物体转换跨度不大，比如不能把单色图像变成不同风格的彩色图像，步骤c采用了如下步骤实现了跨度较大的风格迁移，但是这个跨度又在可控的范围之内：

(1)将原GNN网络的输入噪声用一幅图像代替，使原始图像风格向着有较大可控方向上的迁移；

(2)采用一个自编码器对原图进行处理，输出新特征的图像，新特征图像与原图相比基本特征不变，而风格有所改变；

(3)把新特征的图像通过与(2)结构相同的自编码器进行操作得到新图像；

(4)把(1)的原始图像与(3)中得到的新图像进行相似度比较，得到一个改造的损失函数，使得共享特征后图像的变化范围在一个可控的区域内；

更进一步的，步骤c为了使得到的网络较为稳定，朝某种角度变化或色调迁移不会失真，采用两条路径双向操作，使用了以下步骤：

(1)将第一类图像作为判别器的真实输入，第二类图像经过一次自编码器后的图像作为判别器的虚假的输入，比例为1：1；

(2)将第二类图像作为判别器的真实输入，第一类图像经过一次自编码器后的图像作为判别器的虚假的输入，比例为1：1；

其中，第一类图像是原始图像，第二类图像是希望复原成某种风格的目标图像。

(3)把(1)和(2)两个步骤得到的判别器的损失函数相加得到总的损失函数；

(4)GNN网络的损失函数为非结构化的原图与经过两次自编码器后生成的图像的相似度的损失函数和生成器损失函数之和；

(5)最优化损失函数的和，使得生成图像比较稳定；

更进一步的，步骤c把判别网络(比如)的损失函数最大化右部分式子变成最小化看它的变化曲线能够满足梯度下降时，梯度变化由快到慢，结果可能会较为精确；

更进一步的，步骤c中不用k次迭代调整判别网络后再调整一次GNN网络，可以同时训练生成器和判别器；

更进一步的，步骤f中如果拼接的图像之间纹路不能很好的吻合，采用不同的分割方式，再运行一次算法，将间隙拼接起来。

有益效果：本发明的一种基于GNN网络的文物图像复原方法，能够很好的给文物着色，修复轻微残缺的部分。相比已有的方法，人为的学习当时的风俗环境，查阅各种资料，减轻了繁琐的工作量，能够自动化的完成这些工作，并且更为精准。

附图说明

图1为本发明基于GNN网络的文物图像复原方法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于GNN网络的文物图像复原方法，把掉色、轻微残缺的壁画文物的照片风格迁移成较为完整的彩色图像，用以较佳的实施及附图配合详细说明，说明如下：

如图1所示，本发明所述一种基于GNN网络的文物图像复原方法，生成壁画复原图像，包括以下步骤

第一步，采集壁画图像；

第二步，预处理相应图像，对训练图像进行大小归一化处理，把较大像素的图像分割或者提取重要的部分，得到若干个训练样本，将其处理为256*256像素；

第三步，基于深度卷积网络构造GNN网络，能够生成相应风格的壁画图像。由于壁画图像比较精细复杂，相对一般的图像比较复杂，不一定完整，用该GNN网络能够减小实验的复杂性，产生更逼真的图像。

其具体步骤如下：

生成判别式网络：

(1)设置卷积神经网络模型的网络层为4层；

(2)每一层的卷积核为4*4，使用LeakyReLU激活函数，步长为2，每经过一层，长、宽分别缩小至原来的1/2；

(3)设置反卷积网络为4层，反卷积层是卷积层网络的逆过程；

(4)前三层的反卷积核为4*4，使用LeakyReLU激活函数，步长为2，每经过一层，长宽分别扩大至原来的2倍；

(5)第四层的反卷积核为4*4，不使用激活函数，反卷积的输出即为生成器的输出，它是256*256像素的一幅图像；

生成对抗网络：

(1)设置对抗层网络模型的网络层为5层；

(2)前4层卷积核是4*4，使用LeakyReLU激活函数，步长为2，每经过一层，长、宽分别缩小至原来的1/2；

(3)第五层卷积核为4*4，不使用激活函数，步长为4，输出即为对抗网络的输出，它是256*256的一幅图像；

连接生成网络和判别网络，包括以下步骤：

(1)将原始图像输入到GNN网络中，得到第一张不同风格的图像，把得到的这张图像继续放入GNN网络中，得到第二张生成的图像；

(2)为了经过一个序列的两个生成器后，图像的变化量尽量小，使类似于加入噪声的图像输入变化范围在一定的区域内，使输入和输出共享一些特征，计算原始图像与第二张图像的相似度，通过调整这个相似度控制生成器的变化范围；

(3)使用另一张原始图像，重复步骤(1)和(2)，得到另一组两个生成器组成的序列结构；

(4)把第一组序列的初始图像当做真样本输入第一个判别器，把第二组序列中通过第一个生成器产生的图像作为假样本输入第一个判别器；

(5)与(4)类似，把第二组序列的初始图像当做真样本输入第二个判别器，把第一组序列中通过第一个生成器产生的图像作为假样本输入第二个判别器；

第四步，对该GNN网络进行训练，包括以下步骤：

(1)将一张图像X_A，经过GNN网络G_AB变成另一种风格的图像X_AB，公式如下：

G_AB(X_A)＝X_AB

(2)通过判别器D_B来衡量生成器的效果，计算生成X_AB的损失函数，P_A为X_A的分布，公式如下：

(3)让X_AB通过生成网络G_BA，尽量还原成与X_A相似的图像X_ABA，公式如下：

(4)计算X_A与X_ABA的相似度L_CONSTA，公式如下：

d()表示距离函数；

(5)与(1)类似，将一张图像X_B，通过生成网络G_BA变成另一种风格的图像X_BA，公式如下：

G_BA(X_B)＝X_BA

(6)通过判别器G_BA来衡量生成器的效果，计算生成X_BA的损失函数，P_B为X_B的分布，公式如下：

(7)让X_BA通过生成网络G_AB，尽量还原成与X_B相似的图像X_BAB；

(8)与(4)类似计算X_B与X_BAB的相似度L_CONSTB，公式如下：

(9)将(5)的原始图像X_B作为真样本输入判别器(1)生成的图像X_AB作为假样本输入判别器公式如下：

(10)与(9)类似，将(1)的原始图像X_A作为真样本输入判别器(5)生成的图像X_BA作为假样本输入判别器公式如下：

(11)计算判别器的损失函数，即两个判别式的损失函数之和，公式如下：

(12)分别计算两个序列的GNN网络的损失函数，每个GNN网络的损失函数都是生成器的损失函数与非结构化的损失函数之和，公式如下：

(13)总的GNN网络的损失函数，是两个序列GNN网络之和，公式如下：

(14)通过迭代，使得判别器的期望最大化，即(9)和(10)取和且期望取正数时期望最大化，能让判别器尽可能的辨别真伪，与此同时需要生成器生成的假样本尽可能骗过判别器，最大化(2)和(6)的相反数，即最大化生成器的期望值。从损失函数的角度看，就是把期望取反，使损失函数L_D取最小，与此同时使GNN网络的损失函数L_G最小化，它除了包括生成器的损失函数外还包括非结构化相似度的损失函数。

选取适当的样本通过损失函数训练调整网络：

(1)选取2组m幅图像，可以作为噪声，也可以作为输入，一组先验概率分布为P_B(X)，标记为{X_B ⁽¹⁾,...,X_B ^(m)}，另一组先验概率分布为P_A(X)，标记为{X_A ⁽¹⁾,...,X_A ^(m)}，选取有限个特征；

(2)θ_d为与判别器有关的参数，θ_g为与生成器有关的参数，随机初始化这两个值；

(3)用随机梯度下降法求判别式网络的最小值，表示梯度，公式如下：

(4)用随机梯度下降法求GNN网络的最小值，公式如下：

(5)判别式网络与GNN网络同时进行训练，之后再进行一次生成器的训练更新，反复进行上述迭代，当判别网络判定图像正确的概率趋近于0.5时，训练完成。

第五步，生成图像，输入2组m幅图像，通过生成与判别的交替进行，可以生成m幅复原的壁画图像。

第六步，处理像素过大的问题，把生成的分割成小块的图像拼接起来，如果有明显的分界线，可以重新分割成新的区域，将拼接有瑕疵的地方用新生成的图像再次补充。

本发明运用深度学习复原壁画图像能够节省很多人力、物力去设计、构想被破坏的壁画文物。本文给褪色或轻微残缺的壁画文物上色或自动构造其残缺的形态部分，能够给文物工作者减轻构想、设计方面极大的工作量。

Claims

1.一种基于GNN的文物图像复原方法，其特征在于，包括以下步骤：

a、采集文物图像；

c、基于深度卷积网络构造GNN网络；

d、对GNN网络进行训练；

e、根据训练好的GNN网络复原受损文物的图像；

f、如果在步骤b中把图像分割成较小的部分，需要将它们拼接起来。

2.如权利要求1所述的一种基于GNN网络的文物图像复原方法，其特征在于，步骤c中使用卷积神经网络构造GNN的生成器，包括以下步骤：

(1)设置卷积神经网络模型的网络层为4层；

(3)设置反卷积网络为4层，反卷积层是卷积层网络的逆过程；

(5)第四层的反卷积核为4*4，不使用激活函数，反卷积的输出即为生成器的输出，它是256*256像素的一幅图像。

3.如权利要求1所述的一种基于GNN网络的文物图像复原方法，其特征在于，步骤c中使用多层卷积网络构造GNN的判别器，包括以下步骤：

(1)设置判别子网络模型的网络层数为5层；

(3)第五层卷积核为4*4，不使用激活函数，步长为4，输出即为对抗网络的输出，它是256*256的一幅图像。

4.如权利要求1所述的一种基于GNN网络的文物图像复原方法，其特征在于，步骤c中，连接生成器和判别器，包括以下步骤：

(1)将原始图像输入到GNN中，得到第一张不同风格的图像，把得到的这张图像继续输入GNN中，得到第二张生成的图像；

(3)使用另一张原始图像，重复步骤(1)和(2)，得到另一组两个生成器的输出组成的序列结构；

(5)与(4)类似，把第二组序列的初始图像当做真样本输入第二个判别器，把第一组序列中通过第一个生成器产生的图像作为假样本输入第二个判别器。

5.如权利要求1所述的一种基于GNN网络的文物图像复原方法，其特征在于，步骤d中对该GNN网络进行训练，包括以下步骤：

G_AB(X_A)＝X_AB

(3)让X_AB通过生成器G_BA，还原成与X_A相似的图像X_ABA，公式如下：

(4)计算X_A与X_ABA的相似度L_CONSTA，公式如下：

(5)与(1)类似，将一张图像X_B，通过生成器G_BA变成另一种风格的图像X_BA，公式如下：

G_BA(X_B)＝X_BA

(7)让X_BA通过生成器G_AB，尽量还原成与X_B相似的图像X_BAB；

(8)与(4)类似计算X_B与X_BAB的相似度L_CONSTB，公式如下：

(10)与(9)类似，将(1)的原始图像X_A作为真样本输入判别器(5)生成的图像X_BA作为假样本输入判别器公式如下:

(13)总的GNN网络的损失函数是两个序列GNN网络之和，即：

6.如权利要求1所述的一种基于GNN网络的文物图像复原方法，其特征在于，步骤d训练GNN网络选择过程和调整参数，过程如下：

(1)选取2组m个图像，可以作为噪声，也可以作为输入，一组先验概率分布为P_B(X)，标记为{X_B ⁽¹⁾,...,X_B ^(m)}，另一组先验概率分布为P_A(X)，标记为{X_A ⁽¹⁾,...,X_A ^(m)}，选取有穷个特征；

(2)θ_d为与判别器有关的参数，用随机梯度下降法求判别式网络的最小值；

(3)θ_g为与生成器有关的参数，用随机梯度下降法求GNN网络的最小值；

(4)判别式网络与GNN网络同时进行训练，之后再进行一次生成器的训练更新，反复迭代以上过程，当判别网络判定正确的概率趋近于0.5时，训练完成。

7.如权利要求1所述的一种基于GNN网络的文物图像复原方法，其特征在于，步骤e输入2组m幅图像，通过生成与判别的交替进行，可以生成m幅文物壁画的复原图像。

8.如权利要求1所述的一种基于GNN网络的文物图像复原方法，其特征在于，步骤f处理像素过大的问题，把生成的分割成小块的图像拼接起来，如果有明显的分界线，可以重新分割成新的区域，将拼接有瑕疵的地方用新生成的图像再次补充。