CN116681604A - 一种基于条件生成对抗网络的秦简文字修复方法 - Google Patents

一种基于条件生成对抗网络的秦简文字修复方法 Download PDF

Info

Publication number
CN116681604A
CN116681604A CN202310451521.8A CN202310451521A CN116681604A CN 116681604 A CN116681604 A CN 116681604A CN 202310451521 A CN202310451521 A CN 202310451521A CN 116681604 A CN116681604 A CN 116681604A
Authority
CN
China
Prior art keywords
qin
countermeasure network
training
characters
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310451521.8A
Other languages
English (en)
Other versions
CN116681604B (zh
Inventor
陈炳权
夏蓉
陈明
陈慧娟
荆博
谭俊毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jishou University
Original Assignee
Jishou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jishou University filed Critical Jishou University
Priority to CN202310451521.8A priority Critical patent/CN116681604B/zh
Publication of CN116681604A publication Critical patent/CN116681604A/zh
Application granted granted Critical
Publication of CN116681604B publication Critical patent/CN116681604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明提供了一种基于条件生成对抗网络的秦简文字修复方法,用于将破损秦简文字修复为修复秦简文字,包括构建总数据集、构建破损手段集合、构建训练数据集、初始化条件生成对抗网络模型、训练条件生成对抗网络模型以及测试步骤。该基于条件生成对抗网络的秦简文字修复方法通过一新模型实现,该新模型基于生成对抗网络模型生成,利用条件生成对抗网络模型的生成器和判别器自动对抗训练的方式进行训练,可实现良好的文字修复效果。

Description

一种基于条件生成对抗网络的秦简文字修复方法
技术领域
本发明涉及图像处理领域,具体涉及到一种基于条件生成对抗网络的秦简文字修复方法。
背景技术
图像修复方法起源于欧洲文艺复兴时期对艺术品的修复,为了保持艺术品的观赏性,通过填色、填充裂缝等方式对残缺的艺术品进行修补,从而达到跟破损前同样的视觉效果。随着计算机技术的出现及不断发展,图像修复技术逐渐向数字图像修复发展。传统的修复方法主要分为基于样本的图像修复方法和基于扩散的图像修复方法。其中基于样本的方法又可分为基于纹理的图像修复方法和基于结构的图像修复方法。基于纹理的方法使用模板匹配的方式生成局部纹理信息,通过广播的方式对像素进行传播填充,适合修复破损区域较大的图像,面对图像纹理细节丰富的图像,存在修复图像不连续的情况。基于结构的方法利用偏微分方程的方法进行扩散从而实现修复,适合修复破损区域较小的图像,随着破损区域的增大,修复结果会出现模糊。基于扩散的图像修复利用破损图像边缘信息,从边缘向破损区域内部扩散,适合修复修复小范围破损图像。
随着深度学习的不断发展,深度学习开始逐渐应用于图像修复领域,其中包括基于卷积神经网络的图像修复方法、基于循环神经网络的图像修复方法、基于U-net的图像修复方法和基于生成对抗网络的图像修复方法。其中,最常用的是基于生成对抗网络的图像修复方法,但它作为无监督学习的代表,具有无监督学习的通病,训练的结果难以预测;此外,该修复方法在修复速度、对细节纹理的修复方面的效果有待提升。
作为图像修复分支的文字修复,修复原理跟图像修复是一致的,都是对破损区域进行填充。相应的,图像修复领域所面临的问题即为文字修复领域所面临的问题。
发明内容
本发明提供了一种基于条件生成对抗网络的秦简文字修复方法,该基于条件生成对抗网络的秦简文字修复方法通过一训练模型实现,该训练模型结合实际情况对现有的条件生成对抗网络模型进行改进,利用条件生成对抗网络模型的生成器和判别器自动对抗训练的方式进行训练,针对破损不完好的秦简文字具有实现良好的文字修复效果。
本发明提供了一种基于条件生成对抗网络的秦简文字修复方法,用于将破损秦简文字修复为修复秦简文字,包括训练步骤及测试步骤;
所述训练步骤包括:
S101:构建总数据集E,所述总数据集E包括用于训练的第一数据集E1,所述第一数据集E1包括一个以上的完好秦简文字a1,a2,…,aq,q为正整数;
S102:构建破损手段集合,所述破损手段集合包括一种以上的破损手段c1,c2,…,cr,r为正整数;
S103:构建训练数据集z,重复选取一破损手段bx处理一完好秦简文字ay生成对应的一个训练秦简文字cy~x并导入至所述训练数据集z中,直至所述训练数据集z内的训练秦简文字的数量达到预设值,x∈[1,2,…,p],y∈[1,2,…,q];
S104:初始化条件生成对抗网络模型,所述条件生成对抗网络模型包括生成器G和判别器D,所述生成器G在所述训练步骤中的输入数据为训练秦简文字,所述生成器G在所述测试步骤中的输入数据为破损秦简文字,且在所述训练步骤中,所述生成器G的输出数据为所述判别器D的输入数据,所述生成器G的输出数据所对应的完好秦简文字为所述判别器D的输入数据;
S105:训练所述条件生成对抗网络模型,以所述训练数据集z迭代训练所述条件生成对抗网络模型;
所述测试步骤包括:
S106:将一破损秦简文字导入至训练完毕的所述条件生成对抗网络模型中,所述条件生成对抗网络模型的生成器G导出对应的修复秦简文字。
可选的实施方式,所述总数据集E还包括用于验证的第二数据集E2,所述第二数据集E2包括一个以上的完好秦简文字b1,b2,…,bp,p为正整数;
所述基于条件生成对抗网络的秦简文字修复方法还包括验证步骤;
所述验证步骤包括:
S107:构建验证数据集w,重复选取一破损手段bx处理一完好秦简文字bt生成对应的一个验证文字ct~x并导入至所述验证数据集w中,直至所述验证数据集w内的验证文字的数量达到预设值,x∈[1,2,…,p],t∈[1,2,…,p];
将所述验证数据集w中的验证文字依次送入至训练完毕的条件生成对抗网络模型中,并根据所述验证文字对应的完好秦简文字与所述条件生成对抗网络模型的生成器G导出的修复秦简文字计算峰值信噪比和/或结构相似度。
可选的实施方式,所述破损手段bx的类型为图像遮罩手段、图像旋转手段、图像裁剪手段、图像缩放手段、椒盐噪声手段、高斯噪声手段中的其中一种手段;
或所述破损手段bx的类型为图像遮罩手段、图像旋转手段、图像裁剪手段、图像缩放手段、椒盐噪声手段、高斯噪声手段中的其中一种以上的手段的复合。
可选的实施方式,所述选取一破损手段bx处理一完好秦简文字ay生成对应的一个训练秦简文字cy~x包括:
选取一破损手段bx对一完好秦简文字ay的所有区域或局部区域进行处理,生成对应的一个训练秦简文字cy~x
可选的实施方式,所述生成器G结构为:
所述生成器G包括依次链接的第一卷积层、第一DW-MSA层、第二卷积层、第二DW-MSA层、第三卷积层、第三DW-MSA层、第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层,且所述第一卷积层通过跳过连接与所述第四反卷积层相连,所述第二卷积层通过跳过连接与所述第三反卷积层相连,所述第三卷积层通过跳过连接与所述第二反卷积层相连;
所述第一DW-MSA层、第二DW-MSA层、第三DW-MSA层中的每一个DW-MSA层分别包括一个W-MSA模块和一个SW-MSA模块。
可选的实施方式,所述判别器D结构为:
所述判别器D包括依次链接的第四卷积层、第五卷积层、第六卷积层、第七卷积层。
可选的实施方式,所述第一卷积层、第二卷积层和第三卷积层中的每一个卷积层后基于BatchNorm算法进行归一化处理。
可选的实施方式,所述第四卷积层、第五卷积层、第六卷积层和第七卷积层中的每一个卷积层后基于BatchNorm算法进行归一化处理。
可选的实施方式,所述初始化条件生成对抗网络模型中,激活函数为LeakyReLU函数;
所述激活函数作用于所述生成器中的每一个卷积层和所述判别器中的每一个卷积层。
可选的实施方式,所述初始化条件生成对抗网络模型中,优化器为RMSprop优化器;
所述优化器作用于所述训练步骤。
综上,本发明提供了一种基于条件生成对抗网络的秦简文字修复方法,该基于条件生成对抗网络的秦简文字修复方法通过训练完成的条件生成对抗网络模型实现,该条件生成对抗网络模型利用条件生成对抗网络模型的生成器和判别器自动对抗训练的方式进行训练,可达到自我学习的功能,从而实现对秦简文字的修复处理功能;训练过程中采用了包含部分完好秦简文字图像的训练秦简文字作为训练数据,可很好的贴合破损秦简文字的应用场景,保证了条件生成对抗网络模型的训练速度以及训练效果;生成器中采用了多层卷积层和多层反卷积层的组合形式,从输入的文字图像数据中寻找特征数据并进行重建,每一层卷积层后以DW-MSA层进行进一步的数据处理,可针对性的同时从数据中筛选出窗口内以及窗口间的重要像素数据,同时在反卷积层进行图像重建的过程中,通过跳过连接将卷积层保留的像素特征传递至重建的图像上,保证了训练模型的训练速度以及秦简文字修复的修复效果,具有良好的实用性和使用便利性;同时,训练过程中可以根据需求添加额外的条件信息,从而进一步增强了条件生成对抗网络模型对破损秦简文字的修复效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例的基于条件生成对抗网络的秦简文字修复方法流程图。
图2为本发明实施例的条件生成对抗网络模型结构示意图。
图3为本发明实施例的条件生成对抗网络模型中的数据示例图,其中,第一行图像为完好秦简文字,第二行图像对应为验证文字,第三行图像对应为修复秦简文字。
图4为本发明实施例的深度特征条件标签生成步骤示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本申请所提及的文字,指秦简文字。本申请将对字形破损不完整的秦简文字进行修复处理为字形完好的修复秦简文字。其中,完好秦简文字指字形完整或字形完好无破损的秦简文字;破损秦简文字指字形局部破损不完好的秦简文字。
图1为本发明实施例的基于条件生成对抗网络的秦简文字修复方法流程图。
具体的,本发明实施例提供了一种基于条件生成对抗网络的秦简文字修复方法,用于将破损秦简文字修复为修复秦简文字,所述基于条件生成对抗网络的秦简文字修复方法包括训练步骤、验证步骤及测试步骤,其中,对于实现文字还原工作而言,训练步骤及测试步骤是该基于条件生成对抗网络的秦简文字修复方法必须的步骤,而在具体实践中,为了衡量训练步骤的有效性以及验证训练步骤中生成的相关模型的可靠性,需要通过验证步骤进行验证。
具体的,本发明实施例的所述训练步骤包括:
S101:构建总数据集E;
具体的,本发明实施例所述的总数据集是指完好秦简文字的集合,即完好秦简文字的图像的集合,完好秦简文字的图像一般为黑白图像,并非是灰度图像。具体实践中,完好秦简文字可在合法手段下进行多渠道的收集。
此外,由于总数据集中的数据需要用于训练步骤和验证步骤,为了避免影像验证步骤的结果可靠性,需要对二者的数据进行隔离,即用于训练步骤的数据不应应用于验证步骤,应用于验证步骤的数据不应应用于验证步骤。
为了描述的清晰性,将应用于训练步骤的数据划分至第一数据集,将应用于验证步骤的数据划分至第二数据集。
具体的,所述总数据集E包括用于训练的第一数据集E1,所述第一数据集E1包括一个以上的完好秦简文字a1,a2,…,aq,q为正整数。
具体的,所述总数据集E还包括用于验证的第二数据集E2,所述第二数据集E2包括一个以上的完好秦简文字b1,b2,…,bp,p为正整数。
实际实施中,每一个数据集的数据量均为越多越佳。
S102:构建破损手段集合;
所述破损手段集合包括一个以上的破损手段c1,c2,…,cr,r为正整数;
具体的,破损手段集为破损手段的集合,破损手段的作用为对完好秦简文字进行缺陷处理,人为的将完好秦简文字变为残缺或模糊的训练秦简文字,训练秦简文字与该基于条件生成对抗网络的秦简文字修复方法实际所需要修复的对象,即破损秦简文字是相同的。
具体实施中,破损手段的执行可通过计算机程序实现,也可以通过手工操作实现。具体的,破损秦简文字的缺陷情况主要包括残缺以及模糊等内容,在残缺文字参与修复还原的过程中,相关的缺陷情况还包括图像的角度、图像的大小等问题。因此,破损手段的类型也应与实际相符。
可选的实施方式,所述破损手段bx的类型为图像遮罩手段、图像旋转手段、图像裁剪手段、图像缩放手段、椒盐噪声手段、高斯噪声手段中的其中一种手段;
或所述破损手段bx的类型为图像遮罩手段、图像旋转手段、图像裁剪手段、图像缩放手段、椒盐噪声手段、高斯噪声手段中的其中一种以上的手段的复合。
进一步的,结合实际情况考虑,不同的破损手段对于完好秦简文字的图像的作用区域大小是不同的,破损手段可根据类型对完好秦简文字的图像的局部区域或所有区域进行处理,相应的,所述局部区域的位置和大小均为可调整值。
相应的,图像遮罩手段为对完好秦简文字的部分区域进行遮罩;图像旋转手段为对完好秦简文字的全部区域进行旋转;图像裁剪手段为对完好秦简文字的部分区域进行裁剪;图像缩放手段为对完好秦简文字的全部区域进行旋转;椒盐噪声手段和高斯噪声手段则用于对完好秦简文字的部分区域或全部区域进行噪声处理。
具体的,该步骤所需要构建的破损手段集,若不考虑客观条件的限制以及不考虑相关的实施成本,可基于现有技术以穷举组合的方式进行组合构建。
S102:构建训练数据集z;
重复选取一破损手段bx处理一完好秦简文字ay生成对应的一个训练秦简文字cy~x并导入至所述训练数据集z中,直至所述训练数据集z内的训练秦简文字的数量达到预设值,x∈[1,2,…,p],y∈[1,2,…,q];
具体的,训练数据集即为人为构建的训练秦简文字(破损秦简文字)的集合。具体的,每一个训练秦简文字的图像由一破损手段对一完好秦简文字处理生成,理论上,训练数据集的数据量越多,最终训练得到的模型对破损秦简文字的修复效果越好。但训练数据集的数据量过多,会影响模型的训练速度,实际实施中,一般可视模型的训练情况合理调整训练数据集中的数据数量。
S103:初始化条件生成对抗网络模型;
图2示出了本发明实施例的条件生成对抗网络模型结构示意图。
基本的,所述条件生成对抗网络模型包括生成器G和判别器D。
具体的,所述生成器G在所述训练步骤中的输入数据为训练秦简文字,所述生成器G在所述测试步骤中的输入数据为破损秦简文字,且在所述训练步骤中,所述生成器G的输出数据为所述判别器D的输入数据,所述生成器G的输出数据所对应的完好秦简文字为所述判别器D的输入数据。条件生成对抗网络模型与一般的生成对抗网络模型的不同之处在于生成器的输入以及判别器的输入中还添加有额外的补充信息,补充信息的内容可以是多方面的。具体的,本发明实施例的训练条件生成对抗网络模型的训练秦简文字来源于自制的训练集,训练秦简文字本身即包括了一部分完好秦简文字的信息,因此,本发明实施例的条件生成对抗网络模型中的条件内容实际包括完好秦简文字的信息,此外,该实施逻辑与文字修复内容是高度契合的,文字修复作业肯定会存在一已知的关于相关文字的图案(即破损秦简文字),破损秦简文字与完好秦简文字的部分结构是重合的,因此,破损秦简文字和完好秦简文字的共通条件即为重合的图像,在条件生成对抗网络模型中,可利用该重合的影像或相关的图像信息作为条件进行输入。
进一步的,关于文字的修复,除了为了得到文字修复好的影像外,还有一个重要的目的为明确该文字的字义,因此,在训练过程中,还可以以字义作为条件补充至条件生成对抗网络模型中。
具体的,以字义作为条件补充至条件生成对抗网络模型的好处除了在于增加条件对抗模型的生成速度以外,还具有实际的实践意义。在考古领域,破损秦简文字一般还具有上下文内容,比如根据同类型文字的文字书面应用习惯,或/和结合上下文内容,破损秦简文字的字义本身一般是具有一定的选择范围的;在结合字义条件生成的条件生成对抗网络模型中,条件生成对抗网络模型的生成器中即包括了由字义条件所限定的生成范围,而在后续的测试步骤中,可将选择范围内的字义作为条件进行输入,从而更精确的对破损秦简文字进行修复。具体的,即在构建总数据集E时,分别为每一个完好秦简文字添加对应的字义标签;相应的,训练秦简文字也具有相应的字义标签,字义标签在条件生成对抗网络模型的训练过程中作为条件输入;在后续的测试步骤中,对于输入的破损秦简文字,首先根据其对应的上下文进行字义范围的筛选,从而为破损秦简文字赋予对应的若干个字义标签,将破损秦简文字与每一个字义标签分别结合并作为输入数据输入至训练完成的生成器中,最终得到若干个经由生成器导出的修复秦简文字;最终根据上下文的理解,选择最合适的一个修复秦简文字作为最终结果。
进一步的,本发明实施例所提供的条件生成对抗网络的秦简文字修复方法的本质是图像修复,但在实际实践中发现,对于破损较为严重的文字,由于残存的破损图像的图案较少,可能会存在较多文字均能匹配到所述破损图像,这时候条件生成对抗网络的识别结果会具有不确定性(不准确性)。随着研究的深入发现,根据秦简文字的记录载体的不同,秦简文字具有更多的信息可用于发掘,例如,较为常见的,秦简文字的呈现一般通过碑文、铸器铭文等方式进行呈现,在该类呈现形式下,秦简文字具有了一有关深度的特征。因此,本发明实施例在实际应用中,会进一步利用深度特征以更好的对秦简文字进行修复。需要说明的是,关于采用深度特征的依据主要在于根据研究发现,秦简文字具有严格的形体学及美学要求,其反映在碑文、铭文等表现形式上具有严谨的技艺手法,相关的技艺手法与其最终表现出来的文字的深度特征是具有一定的关联性的。
参照附图图4所示意的深度特征提取步骤示意图,具体的,针对一具体的完好秦简文字,如图4-A所示意的“甲”字,首先根据特定分辨率将“甲”字的图案像素化(图中为了示意的清晰性扩大了单个像素的面积),如图4-B所示意的结构,将文字的内部结构划分为多个像素;然后根据对实际载体的测定,测量每一个像素的深度。
具体的,每一个像素的测定深度为以绝对值,但由于载体的磨蚀,每一个像素的绝对值不具有普适性,研究重点更在于字体中每一个像素之间的差值、相对值或相差比例,因此,本发明实施例对于像素的深度赋值首先先测定所有像素的深度后,以深度最小值作为计数起点,以深度最大值作为计数终点,计数起点和计数终点之间的深度区间均匀划分为255个深度区间(便于利用现有技术下常见的灰阶图特性),然后再将每一个像素分配到对应的区间中,并根据灰阶图形成如附图图4-C所示的深度灰阶秦简文字(图案)。
具体的,在深度灰阶秦简文字(图案)中,每一个像素点具有的信息包括了存在信息(即该像素点存在有图案)和深度信息,存在信息主要用于文字的形态提取,即本发明实施例中有关图像处理方向的内容,深度信息则主要用于作为补充条件,作为条件标签参与至训练及判定的过程中。
需要说明的是,在进行条件补充时,根据训练秦简文字的缺失内容,需要将深度灰阶秦简文字(图案)中的相应像素进行删除,以保证二者之间的关联性,保证条件生成对抗网络能够有效提取到二者之间的联系特征。
具体的,对于存在信息的表达,在矩阵中会以0和1呈现;关于深度信息的数字表达实际也为一矩阵,每一个像素与矩阵中对应的一个元素对应,深度信息以对应的深度区间表达。同样的,将深度信息的数字表达矩阵作为条件标签对条件生成对抗网络的进行训练,在后续的应用中会具有更精确的性能。
需要说明的是,条件生成对抗网络的训练过程和应用过程是相对应的,基于实践触发,可不添加条件标签对条件生成对抗网络进行训练,相应的,在应用时也不添加相应的条件标签;若在没有条件标签存在时,通过训练完成的条件生成对抗网络不能很好的对秦简文字进行修复时,则可以根据需求补充条件标签对条件生成对抗网络进行进一步的训练,以更精准的对秦简文字进行修复。
具体的,关于本发明实施例的条件生成对抗网络模型,由于生成对抗网络模型的训练十分不稳定,容易出现梯度消失或者梯度爆炸的情况导致训练效果变差,因此,在本发明实施例中选用采用Wasserstein距离作为衡量指标,即将原来的对抗损失(交叉熵)改为使用Wasserstein距离衡量输入图像与真实图像之间的差异。
Wasserstein距离实质上在生成对抗网络模型基础上,判别器不使用Sigmoid函数,生成器和判别器的优化器不再使用Adam,且损失函数不取对数,直接使用RMSprop作为优化器,并结合梯度截取。
具体的,生成器和判别器的目标函数为:
该目标函数的实际作用为让判别器和生成器自我博弈,判别器趋向于完全识别出文字的真伪,生成器趋向于生成以假乱真的文字。具体的,使用欧氏距离的判别器的输出为实数,不再使用sigmoid二分类函数,而是通过Dense层输出一个实数值,表示生成器生成的样本与真实数据之间的距离。
具体的,结合附图图2所示结构,所述生成器G结构为:
所述生成器G包括依次链接的第一卷积层、第一DW-MSA层、第二卷积层、第二DW-MSA层、第三卷积层、第三DW-MSA层、第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层,且所述第一卷积层通过跳过连接与所述第四反卷积层相连,所述第二卷积层通过跳过连接与所述第三反卷积层相连,所述第三卷积层通过跳过连接与所述第二反卷积层相连;
所述第一DW-MSA层、第二DW-MSA层、第三DW-MSA层中的每一个DW-MSA层分别包括一W-MSA模块和一SW-MSA模块。
所述判别器D结构为:
所述判别器D包括依次链接的第四卷积层、第五卷积层、第六卷积层、第七卷积层。
其中,各层的作用如下:
第一卷积层:用于提取低层次的特征,如将文字与背景部分剥离,提取出文字的线条、轮廓。
第一DW-MSA层:用于处理第一卷积层处理得到的特征图,DW-MSA(一种注意力机制)分为W-MSA和SW-MSA,W-MSA用于将特征图按窗口划分,并在窗口内计算注意力分数,可以筛选出窗口内更重要的文字像素点,然后通过SW-MSA将窗口移动,筛选出窗口间更重要的文字像素点。
第二卷积层:用于提取中层次的特征。如提取文字的字体结构特征。
第二DW-MSA层:与第一DW-MSA层作用类似,用于处理第二卷积层处理得到的特征图。
第三卷积层:用于提取深层次的特征,如提取文字的笔画特征。
第三DW-MSA层:与第一DW-MSA层作用类似,用于处理第三卷积层处理得到的特征图。
第一反卷积层:对提取到的秦简文字特征进行图像重建,恢复出文字部分和背景部分;
第二反卷积层:在第一个反卷积层的基础上,恢复出文字部分的基本轮廓,且对应的跳过连接会将部分信息传递至该层中。
第三反卷积层:在第二个反卷积层的基础上,恢复出文字具体轮廓和大致的笔画结构,且对应的跳过连接会将部分信息传递至该层中。
第四反卷积层:在第三个反卷积层的基础上,恢复出文字颜色、笔画、结构等内容,且对应的跳过连接会将部分信息传递至该层中。
具体的,为了保证数据的有效性和统一性,每一个卷积层处理后的数据都使用LeakyReLU函数进行进一步的处理。
第四卷积层:与第一卷积层功能相同;
第五卷积层:与第二卷积层功能相同;
第六卷积层:与第三卷积层功能相同;
第七卷积层:提取更高维的特征。
此外,卷积层中嵌入的注意力机制是基于窗口的注意力机制,原本的自注意力机制需要将整张图片计算注意力,计算量十分庞大。基于窗口的注意力,将图片划分为小窗口,在小窗口内计算注意力,然后将小窗口移动,用于计算小窗口之间的注意力,从而达到计算局部和较远距离注意力的目的,虽然窗口注意力相比原来的注意力来说计算量大幅度降低,但是基于窗口的计算,会造成全局部分信息的丢失,使用跳过连接不仅能减少造成卷积造成的特征丢失,还能减少窗口注意力带来的全局特征丢失。
S104:训练所述条件生成对抗网络模型,以所述训练数据集z迭代训练所述条件生成对抗网络模型;
具体的,本发明实施例所使用的损失函数为欧式距离,因此,条件生成对抗网络模型的训练结束特征为欧式距离达到最小值。
具体的训练过程为固定生成器训练判别器以及固定判别器训练生成器的循环迭代。
在条件生成对抗网络模型训练完成后,可执行验证步骤以验证训练后的条件生成对抗网络模型效果。
具体的,所述验证步骤包括:
S106:构建验证数据集w,重复选取一破损手段bx处理一完好秦简文字bt生成对应的一个验证文字ct~x并导入至所述验证数据集w中,直至所述验证数据集w内的验证文字的数量达到预设值,x∈[1,2,…,p],t∈[1,2,…,p];
将所述验证数据集w中的验证文字依次送入至训练完毕的条件生成对抗网络模型中,并根据所述验证文字对应的完好秦简文字与所述条件生成对抗网络模型的生成器G导出的修复秦简文字计算峰值信噪比和/或结构相似度。
参照附图图3所示,其中,图3中的第一行图像为完好秦简文字,第二行图像为验证文字,第三行图像为所述条件生成对抗网络模型的生成器导出的修复秦简文字。在计算机处理中,可采用修复秦简文字的峰值信噪比来评价文字修复效果,即条件生成对抗网络模型的效果;此外,还可以使用或结合使用结构相似度来评价文字修复效果。
相应的,在判断条件生成对抗网络模型具有一定的有效性后,可执行测试步骤,所述测试步骤包括:
S105:将一破损秦简文字导入至训练完毕的所述条件生成对抗网络模型中,所述条件生成对抗网络模型的生成器G导出对应的修复秦简文字。
具体的,根据训练方式的不同,训练后的条件生成对抗网络模型具有不同的输入格式,最基本的,可将破损秦简文字直接导入至条件生成对抗网络模型中,然后利用生成器导出对应的修复秦简文字;也可以将破损秦简文字以及破损秦简文字可能对应的文字标签送入条件生成对抗网络模型中,针对性的生成对应的修复秦简文字。
综上,本发明实施例提供了一种基于条件生成对抗网络的秦简文字修复方法,该基于条件生成对抗网络的秦简文字修复方法通过训练完成的条件生成对抗网络模型实现,该条件生成对抗网络模型利用条件生成对抗网络模型的生成器和判别器自动对抗训练的方式进行训练,可达到自我学习的功能,从而实现所需的文字修复功能;训练过程中采用了包含部分完好秦简文字图像的训练秦简文字作为训练数据,可很好的贴合破损秦简文字的应用场景,保证了条件生成对抗网络模型的训练速度以及训练效果;生成器中采用了多层卷积层和多层反卷积层的组合形式,从输入的文字图像数据中寻找特征数据并进行重建,每一层卷积层后以DW-MSA层进行进一步的数据处理,可针对性的同时从数据中筛选出窗口内以及窗口间的重要像素数据,同时在反卷积层进行图像重建的过程中,通过跳过连接将卷积层保留的像素特征传递至重建的图像上,可极大的加快了有关修复秦简文字的重建速度和提高修复效果,保证了训练模型的训练速度以及文字修复的修复效果,具有良好的实用性和使用便利性;同时,训练过程中可以根据需求添加额外的条件信息,从而进一步增强了条件生成对抗网络模型对破损秦简文字的修复效果。
需要补充说明的是,本发明实施例所采用的基于条件生成对抗网络的秦简文字修复方法实质为一计算机程序的设计及实现过程,关于条件生成对抗网络的定义、训练和生成的基本逻辑可根据现有技术实现,例如,通过定义条件生成对抗网络的结构、损失函数和目标函数,条件生成对抗网络即具备了可供训练的能力,而关于定义条件生成对抗网络的结构、损失函数和目标函数的主体内容在本发明实施例中均有体现,但实际实施中是需要通过计算机编程语言实现的,在编程过程中需要根据对应的计算机语言将其定义;同样的,训练过程和测试过程也是需要相关的程序代码实现,本发明对训练数据的主体及内容进行了定义,而相关的程序代码则可根据现有技术编写。
以上对本发明实施例所提供的一种基于条件生成对抗网络的秦简文字修复方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于条件生成对抗网络的秦简文字修复方法,用于将破损秦简文字修复为修复秦简文字,其特征在于,包括训练步骤及测试步骤;
所述训练步骤包括:
S101:构建总数据集E,所述总数据集E包括用于训练的第一数据集E1,所述第一数据集E1包括一个以上的完好秦简文字a1,a2,…,aq,q为正整数;
S102:构建破损手段集合,所述破损手段集合包括一种以上的破损手段c1,c2,…,cr,r为正整数;
S103:构建训练数据集z,重复选取一破损手段bx处理一完好秦简文字ay生成对应的一个训练秦简文字cy~x并导入至所述训练数据集z中,直至所述训练数据集z内的训练秦简文字的数量达到预设值,x∈[1,2,…,p],y∈[1,2,…,q];
S104:初始化条件生成对抗网络模型,所述条件生成对抗网络模型包括生成器G和判别器D,所述生成器G在所述训练步骤中的输入数据为训练秦简文字,所述生成器G在所述测试步骤中的输入数据为破损秦简文字,且在所述训练步骤中,所述生成器G的输出数据为所述判别器D的输入数据,所述生成器G的输出数据所对应的完好秦简文字为所述判别器D的输入数据;
S105:训练所述条件生成对抗网络模型,以所述训练数据集z迭代训练所述条件生成对抗网络模型;
所述测试步骤包括:
S106:将一破损秦简文字导入至训练完毕的所述条件生成对抗网络模型中,所述条件生成对抗网络模型的生成器G导出对应的修复秦简文字。
2.如权利要求1所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述总数据集E还包括用于验证的第二数据集E2,所述第二数据集E2包括一个以上的完好秦简文字b1,b2,…,bp,p为正整数;
所述基于条件生成对抗网络的秦简文字修复方法还包括验证步骤;
所述验证步骤包括:
S107:构建验证数据集w,重复选取一破损手段bx处理一完好秦简文字bt生成对应的一个验证文字ct~x并导入至所述验证数据集w中,直至所述验证数据集w内的验证文字的数量达到预设值,x∈[1,2,…,p],t∈[1,2,…,p];
将所述验证数据集w中的验证文字依次送入至训练完毕的条件生成对抗网络模型中,并根据所述验证文字对应的完好秦简文字与所述条件生成对抗网络模型的生成器G导出的修复秦简文字计算峰值信噪比和/或结构相似度。
3.如权利要求1所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述破损手段bx的类型为图像遮罩手段、图像旋转手段、图像裁剪手段、图像缩放手段、椒盐噪声手段、高斯噪声手段中的其中一种手段;
或所述破损手段bx的类型为图像遮罩手段、图像旋转手段、图像裁剪手段、图像缩放手段、椒盐噪声手段、高斯噪声手段中的其中一种以上的手段的复合。
4.如权利要求1所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述选取一破损手段bx处理一完好秦简文字ay生成对应的一个训练秦简文字cy~x包括:
选取一破损手段bx对一完好秦简文字ay的所有区域或局部区域进行处理,生成对应的一个训练秦简文字cy~x
5.如权利要求1所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述生成器G结构为:
所述生成器G包括依次链接的第一卷积层、第一DW-MSA层、第二卷积层、第二DW-MSA层、第三卷积层、第三DW-MSA层、第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层,且所述第一卷积层通过跳过连接与所述第四反卷积层相连,所述第二卷积层通过跳过连接与所述第三反卷积层相连,所述第三卷积层通过跳过连接与所述第二反卷积层相连;
所述第一DW-MSA层、第二DW-MSA层、第三DW-MSA层中的每一个DW-MSA层分别包括一个W-MSA模块和一个SW-MSA模块。
6.如权利要求1所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述判别器D结构为:
所述判别器D包括依次链接的第四卷积层、第五卷积层、第六卷积层、第七卷积层。
7.如权利要求5所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述第一卷积层、第二卷积层和第三卷积层中的每一个卷积层后基于BatchNorm算法进行归一化处理。
8.如权利要求6所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述第四卷积层、第五卷积层、第六卷积层和第七卷积层中的每一个卷积层后基于BatchNorm算法进行归一化处理。
9.如权利要求1所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述初始化条件生成对抗网络模型中,激活函数为LeakyReLU函数;
所述激活函数作用于所述生成器中的每一个卷积层和所述判别器中的每一个卷积层。
10.如权利要求1所述的基于条件生成对抗网络的秦简文字修复方法,其特征在于,所述初始化条件生成对抗网络模型中,优化器为RMSprop优化器;
所述优化器作用于所述训练步骤。
CN202310451521.8A 2023-04-24 2023-04-24 一种基于条件生成对抗网络的秦简文字修复方法 Active CN116681604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310451521.8A CN116681604B (zh) 2023-04-24 2023-04-24 一种基于条件生成对抗网络的秦简文字修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310451521.8A CN116681604B (zh) 2023-04-24 2023-04-24 一种基于条件生成对抗网络的秦简文字修复方法

Publications (2)

Publication Number Publication Date
CN116681604A true CN116681604A (zh) 2023-09-01
CN116681604B CN116681604B (zh) 2024-01-02

Family

ID=87788021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310451521.8A Active CN116681604B (zh) 2023-04-24 2023-04-24 一种基于条件生成对抗网络的秦简文字修复方法

Country Status (1)

Country Link
CN (1) CN116681604B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
KR102016977B1 (ko) * 2019-04-01 2019-09-02 (주)지오시스템리서치 해수면 온도 영상 복원 시스템 및 방법
CN110599411A (zh) * 2019-08-08 2019-12-20 中国地质大学(武汉) 一种基于条件生成对抗网络的图像修复方法及系统
CN110717857A (zh) * 2019-09-29 2020-01-21 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
WO2020118608A1 (zh) * 2018-12-13 2020-06-18 深圳鲲云信息科技有限公司 一种反卷积神经网络的硬件加速方法、装置和电子设备
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN112001914A (zh) * 2020-08-31 2020-11-27 三星(中国)半导体有限公司 深度图像补全的方法和装置
CN112116535A (zh) * 2020-08-11 2020-12-22 西安交通大学 一种基于并行自编码器的图像补全方法
CN112465718A (zh) * 2020-11-27 2021-03-09 东北大学秦皇岛分校 一种基于生成对抗网络的两阶段图像修复方法
CN113870128A (zh) * 2021-09-08 2021-12-31 武汉大学 一种基于深度卷积对抗式网络的数字壁画图像修复方法
CN114092354A (zh) * 2021-11-25 2022-02-25 中国农业银行股份有限公司四川省分行 一种基于生成对抗网络的人脸图像修复方法
CN114119424A (zh) * 2021-08-27 2022-03-01 上海大学 一种基于光流法和多视角场景的视频修复方法
CN114494003A (zh) * 2022-04-01 2022-05-13 华南理工大学 一种联合形状变换和纹理转换的古文字生成方法
ZA202207738B (en) * 2021-01-25 2022-07-27 Univ Zhejiang Normal A text-generated image approach based on spectrally normalized hierarchical generative adversarial networks

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
WO2020118608A1 (zh) * 2018-12-13 2020-06-18 深圳鲲云信息科技有限公司 一种反卷积神经网络的硬件加速方法、装置和电子设备
KR102016977B1 (ko) * 2019-04-01 2019-09-02 (주)지오시스템리서치 해수면 온도 영상 복원 시스템 및 방법
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110599411A (zh) * 2019-08-08 2019-12-20 中国地质大学(武汉) 一种基于条件生成对抗网络的图像修复方法及系统
CN110717857A (zh) * 2019-09-29 2020-01-21 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
WO2021056969A1 (zh) * 2019-09-29 2021-04-01 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN112116535A (zh) * 2020-08-11 2020-12-22 西安交通大学 一种基于并行自编码器的图像补全方法
CN112001914A (zh) * 2020-08-31 2020-11-27 三星(中国)半导体有限公司 深度图像补全的方法和装置
CN112465718A (zh) * 2020-11-27 2021-03-09 东北大学秦皇岛分校 一种基于生成对抗网络的两阶段图像修复方法
ZA202207738B (en) * 2021-01-25 2022-07-27 Univ Zhejiang Normal A text-generated image approach based on spectrally normalized hierarchical generative adversarial networks
CN114119424A (zh) * 2021-08-27 2022-03-01 上海大学 一种基于光流法和多视角场景的视频修复方法
CN113870128A (zh) * 2021-09-08 2021-12-31 武汉大学 一种基于深度卷积对抗式网络的数字壁画图像修复方法
CN114092354A (zh) * 2021-11-25 2022-02-25 中国农业银行股份有限公司四川省分行 一种基于生成对抗网络的人脸图像修复方法
CN114494003A (zh) * 2022-04-01 2022-05-13 华南理工大学 一种联合形状变换和纹理转换的古文字生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KHA CONG NGUYEN; CUONG TUAN NGUYEN; SEIJI HOTTA;: "《A Character Attention Generative Adversarial Network for Degraded Historical Document Restoration》", 《2019 INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION (ICDAR)》 *
李天成;何嘉;: "一种基于生成对抗网络的图像修复算法", 计算机应用与软件, no. 12 *
高万顺: "《最大间隔生成式对抗网络及其在图像生成和修复中的应用》", 《硕士电子期刊出版信息》 *

Also Published As

Publication number Publication date
CN116681604B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
US10748324B2 (en) Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN111160440B (zh) 一种基于深度学习的安全帽佩戴检测方法及装置
CN101714262B (zh) 单幅图像的三维场景重建方法
CN109492416A (zh) 一种基于安全区域的大数据图像保护方法和系统
CN108052523A (zh) 基于卷积神经网络的赌博网站识别方法和系统
CN111242841A (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN111062290B (zh) 基于生成对抗网络中国书法风格转换模型构建方法及装置
US11631165B2 (en) Repair estimation based on images
WO2021045781A1 (en) Detecting semi-transparent image watermarks
Li et al. Towards photo-realistic visible watermark removal with conditional generative adversarial networks
CN112862922B (zh) 一种基于多特征生成网络先验信息引导的图像填充方法
CN116630183A (zh) 一种基于生成式对抗网络的文字图像修复方法
CN114038004A (zh) 一种证件信息提取方法、装置、设备及存储介质
Fu et al. CCNet: CNN model with channel attention and convolutional pooling mechanism for spatial image steganalysis
CN111310623B (zh) 基于遥感数据与机器学习对泥石流敏感性地图分析的方法
Tang et al. Stroke-based scene text erasing using synthetic data for training
CN112529989A (zh) 一种基于票据模板的图片重构方法
CN111798359A (zh) 一种基于深度学习的图像去水印方法
CN109033321A (zh) 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法
CN116681604B (zh) 一种基于条件生成对抗网络的秦简文字修复方法
Shahram et al. Recovering layers of brush strokes through statistical analysis of color and shape: an application to van Gogh's" Self portrait with grey felt hat"
CN105069767A (zh) 基于表征学习与邻域约束嵌入的图像超分辨重构方法
CN113362255A (zh) 一种基于改进dcgan的文字图像修复方法及系统
CN117079276B (zh) 一种基于知识蒸馏的语义分割方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant