CN110765339A - 一种基于生成对抗网络的残缺中文书法修复补全方法 - Google Patents

一种基于生成对抗网络的残缺中文书法修复补全方法 Download PDF

Info

Publication number
CN110765339A
CN110765339A CN201910865238.3A CN201910865238A CN110765339A CN 110765339 A CN110765339 A CN 110765339A CN 201910865238 A CN201910865238 A CN 201910865238A CN 110765339 A CN110765339 A CN 110765339A
Authority
CN
China
Prior art keywords
image
chinese
repairing
incomplete
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910865238.3A
Other languages
English (en)
Inventor
覃晓
蒋建辉
元昌安
覃正优
乔少杰
邓松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Normal University
Original Assignee
Nanning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Normal University filed Critical Nanning Normal University
Priority to CN201910865238.3A priority Critical patent/CN110765339A/zh
Publication of CN110765339A publication Critical patent/CN110765339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成对抗网络的残缺中文书法修复补全方法，涉及图像处理技术领域，解决了目前尚未有对已经残缺不全的历史文物中文字进行复原的有效措施的问题，其技术方案要点是：通过对历史文物中残缺的历史文物通过拍摄成图像，进而输入到SSD网络架构中进行特征提取，再输入到生成网络之中生成对于图像中残缺的中文书法进行补全了的图像；另一方面，通过对大量中文的各种字体的所有汉字进行训练，从而得到判别模型；再将生成的对于历史文物中残缺中文书法部分进行修复补全的图像在判别模型中进行判别，得到对于残缺中文书法部分进行修复补全了的图像，极大的拓展了生成对抗网络在与中华文化的古文字方面的应用，具有良好的应用性。

Description

一种基于生成对抗网络的残缺中文书法修复补全方法
技术领域
本发明涉及图像处理技术领域，更具体地说，它涉及一种基于生成对抗网络的残缺中文书法修复补全方法。
背景技术
在中华文明上下五千年的历史长河中，文化作为传播中不可或缺的一部分，我国历史文化源远流长，多民族文化相互融合，曾一度出现百家争鸣、百花齐放的辉煌时刻，在漫长的岁月里，我们如今所发现的历史文物之中，出现不少残缺破损的情况。书法字符作为文化传播的一种重要形式，对于历史文物的保护，以及对于已经残缺不全的历史文物中的文字进行保护，以及能够对于已经残缺不全的历史文物中的文字进行复原，还原为最初的那种状态是不少书法家、考古学家和历史文化研究的爱好者最为迫切的需要解决的一个问题。
在自然条件下，所存在的历史石碑、以及出土的历史文物，在经过自然条件下的风吹雨打，历史文物中的一部分中文字符出现了残缺不全的情况。这对于历史文化的研究存在一定的障碍，无法很好的体会到当初作者书写这段文字时候，所想要表达的意境和当时期的文化背景。研究表明，对于历史所遗留下来的文物上所存在的中文字符，都存在不同程度上的破损，这对于研究我国古代的文化和保护历史文物都是不好的现象。
然而，在漫长的科学研究中，对于如何对已经残缺不全的历史文物中的文字进行复原的问题，仍然没有得到解决。因此，如何设计一种基于生成对抗网络的残缺中文书法修复补全方法是我们目前迫切需要解决的问题。为更好的保护了历史文化提供有效措施，也为科研工作者对于中国历史文化的研究指明方向。
发明内容
本发明的目的是提供一种基于生成对抗网络的残缺中文书法修复补全方法，对于所拍摄的已经存在残损的历史文物上中文字符的图片作为输入图片，输入到生成对抗网络之中通过训练，从而输出一张对于残缺中文字符进行补全了的图片，达到复原历史名家的手迹，更好的研究和保护历史文物，极大的拓展了历史文化与计算机图像处理方面的结合点。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于生成对抗网络的残缺中文书法修复补全方法，包括以下步骤：
S1：获取在文字方面存在缺失的历史文物图像；
S2：从储存有中华书法的资料库中爬取中华书法汉字，并对所爬取的数据进行图像数据预处理；
S3：构建生成对抗网络的目标函数；
S4：将数据预处理之后的汉字图像数据输入到生成对抗网络中进行训练，在学习大量的汉字图像数据后得出判别器模型；
S5：将历史文物图像输入至SSD框架中进行特征提取，提取完特征之后进行信息融合，并输入到生成网络中；
S6：对生成网络中生成的中文书法文字补全图像进行评分，评分越高代表缺失的书法文字部分补全的越全；
S7：将补全图像输入到判别器模型中进行学习，得到修复补全图像。
本发明进一步设置为：获取的所述历史文物图像像素大小为300×300。
本发明进一步设置为：所述目标函数具体为：
Figure 412071DEST_PATH_IMAGE002
其中，D表示判别器；G表示生成器；E表示数学期望；x表示待补全的历史文物图像，x服从概率分布
Figure DEST_PATH_IMAGE003
；y表示补全图像；
Figure 703375DEST_PATH_IMAGE004
表示为判别函数；
Figure DEST_PATH_IMAGE005
表示为生成函数；表示判别器对于生成的补全图像进行判别的结果。
本发明进一步设置为：所述判别器的损失函数Ld为：
其中，Loss为预定义的损失参数。
本发明进一步设置为：所述生成网络中生成器的损失函数Lg为：
Figure DEST_PATH_IMAGE009
。
本发明进一步设置为：在步骤S7中，所述补全图像在判别器模型中学习的具体步骤为：判断补全图像是否真实，若真实，则输出修复补全图像；若不真实，则再优化后输入至生成器中重复执行S5-S7操作，或再优化后输入至判别器中重复执行S7操作。
综上所述，本发明具有以下有益效果：将拍摄的残缺不全的中文书法图片作为输入，输入到生成对抗网络中，在生成对抗网络中进行生成式网络和判别式网络的相互博弈，进而输出对于图像中残缺不全的历史文物进行补全了的历史文物中的中文字符图像，方便历史学家对于我国古文化的研究，也推进了复原历史文物原有模样的研究。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中SSD特征提取并进行融合的示意图；
图2是本发明实施例中生成对抗网络架构示意图；
图3是本发明实施例中的整体架构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
对于一个中文书法部分已经残缺不全的历史文物，所保存下来的文字部分仅存原有完整的50%，但是现在历史学家和一些文物研究的爱好者希望能将文字部分进行复原，以此能够对于该时期的文化底蕴等进行研究。在对于残缺不全的历史文物进行拍照成为图像之后，在经过GAN网络的训练之后，能够生产对于一张对于原有的文字部分进行补全之后的图像，以方便研究者对于该时期的文化、背景进行研究。
实施例：一种基于生成对抗网络的残缺中文书法修复补全方法，如图1-3所示，包括以下步骤：
步骤一：对于在文字方面存在缺失的历史文物进行拍摄成图像，并将尺寸重新调整大小为300X300，以便后期对于其进行处理。
步骤二：从中国书法网、汉典网等包含大量中华书法的资料库中爬取大量的中华书法汉字，并对所爬取的数据进行图像数据预处理。中华书法包括但不限于甲骨文、草书、楷书等书法。
步骤3：整个生成对抗网络的目标函数为：
Figure 946509DEST_PATH_IMAGE010
这是一个最大最小优化问题，先优化判别器D，然后再优化生成器G，本质上是两个优化问题。E表示数学期望,比如表示
Figure DEST_PATH_IMAGE011
的数学期望。其中，x服从概率分布
Figure 346398DEST_PATH_IMAGE003
。
步骤4：将数据预处理之后的汉字图像数据进行输入到生成对抗网络中进行训练，在学习了大量的汉字图像数据之后，就可以训练得出一个判别器模型。整个判别器的损失函数Ld为：
Figure 366306DEST_PATH_IMAGE012
其中，E表示整个判别器的数学期望，G和D分别表示判别器和生成器，x表示待对于图像中缺失的中文书法部分进行补全的图像，y表示已经对于缺失部分书已经补全了的完好的图像，表示为判别函数，表示为生成函数，Loss为预定义的损失参数，
Figure 994231DEST_PATH_IMAGE006
表示判别器对于生成的对缺失部分中文书法的进行补全的图像进行判别的结果。
步骤5：将在文字方面有文字缺失信息的图像在改进版SSD框架中进行每一层的特征提取，提取完特征之后将每一层中的特征信息进行信息融合，进而输入到生成网络中。生成器的损失函数Lg如下：
Figure 501435DEST_PATH_IMAGE014
其中，Loss为预定义的损失参数，
Figure DEST_PATH_IMAGE015
表示为判别函数，E表示整个生成器的数学期望，
步骤6：输入到生成网络之后，会产生大量的对于中文书法文字进行补全了之后的图像，通过对于所生成的图像进行评分，按照1-10分的评分，评分越高代表缺失的书法文字部分补全的越全。
步骤7：生成器中生成的图像进行输入到之前训练好的判别器模型学习，判断补全图像是否真实。若真实，则输出修复补全图像。若不真实，则再优化后输入至生成器中重复执行步骤五至步骤七操作，或再优化后输入至判别器中重复执行步骤七操作。从而得到的就是对于该中文书法部分进行补全了的图像，以方便历史学家对于该时期的文化背景进行研究。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.一种基于生成对抗网络的残缺中文书法修复补全方法，其特征是，包括以下步骤：
S1：获取在文字方面存在缺失的历史文物图像；
S2：从储存有中华书法的资料库中爬取中华书法汉字，并对所爬取的数据进行图像数据预处理；
S3：构建生成对抗网络的目标函数；
S4：将数据预处理之后的汉字图像数据输入到生成对抗网络中进行训练，在学习大量的汉字图像数据后得出判别器模型；
S5：将历史文物图像输入至SSD框架中进行特征提取，提取完特征之后进行信息融合，并输入到生成网络中；
S6：对生成网络中生成的中文书法文字补全图像进行评分，评分越高代表缺失的书法文字部分补全的越全；
S7：将补全图像输入到判别器模型中进行学习，得到修复补全图像。
2.根据权利要求1所述的一种基于生成对抗网络的残缺中文书法修复补全方法，其特征是，获取的所述历史文物图像像素大小为300×300。
3.根据权利要求1所述的一种基于生成对抗网络的残缺中文书法修复补全方法，其特征是，所述目标函数具体为：
Figure DEST_PATH_IMAGE002
其中，D表示判别器；G表示生成器；E表示数学期望；x表示待补全的历史文物图像，x服从概率分布
Figure DEST_PATH_IMAGE004
；y表示补全图像；表示为判别函数；
Figure DEST_PATH_IMAGE008
表示为生成函数；
Figure DEST_PATH_IMAGE010
表示判别器对于生成的补全图像进行判别的结果。
4.根据权利要求3所述的一种基于生成对抗网络的残缺中文书法修复补全方法，其特征是，所述判别器的损失函数Ld为：
其中，Loss为预定义的损失参数。
5.根据权利要求4所述的一种基于生成对抗网络的残缺中文书法修复补全方法，其特征是，所述生成网络中生成器的损失函数Lg为：
Figure DEST_PATH_IMAGE014
。
6.根据权利要求1所述的一种基于生成对抗网络的残缺中文书法修复补全方法，其特征是，在步骤S7中，所述补全图像在判别器模型中学习的具体步骤为：判断补全图像是否真实，若真实，则输出修复补全图像；若不真实，则再优化后输入至生成器中重复执行S5-S7操作，或再优化后输入至判别器中重复执行S7操作。
CN201910865238.3A 2019-11-14 2019-11-14 一种基于生成对抗网络的残缺中文书法修复补全方法 Pending CN110765339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865238.3A CN110765339A (zh) 2019-11-14 2019-11-14 一种基于生成对抗网络的残缺中文书法修复补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865238.3A CN110765339A (zh) 2019-11-14 2019-11-14 一种基于生成对抗网络的残缺中文书法修复补全方法

Publications (1)

Publication Number Publication Date
CN110765339A true CN110765339A (zh) 2020-02-07

Family

ID=69329561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865238.3A Pending CN110765339A (zh) 2019-11-14 2019-11-14 一种基于生成对抗网络的残缺中文书法修复补全方法

Country Status (1)

Country Link
CN (1) CN110765339A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667443A (zh) * 2020-05-29 2020-09-15 东华大学 一种基于上下文融合的丝绸纹样图像修复方法
CN112435196A (zh) * 2020-12-02 2021-03-02 中国人民解放军战略支援部队信息工程大学 基于深度学习的文字修复方法及系统
CN112801923A (zh) * 2021-04-14 2021-05-14 江西博微新技术有限公司 文字处理方法、系统、可读存储介质及计算机设备
CN117197820A (zh) * 2023-09-01 2023-12-08 中央民族大学 用于残缺东巴文字的识别方法、系统、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180286034A1 (en) * 2017-04-03 2018-10-04 General Electric Company Equipment damage prediction system
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109740607A (zh) * 2018-12-26 2019-05-10 南京互连智能科技有限公司 字符图像的残缺区域检测和残缺字符图像恢复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180286034A1 (en) * 2017-04-03 2018-10-04 General Electric Company Equipment damage prediction system
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN109740607A (zh) * 2018-12-26 2019-05-10 南京互连智能科技有限公司 字符图像的残缺区域检测和残缺字符图像恢复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗佳等: "生成式对抗网络研究综述", 《仪器仪表学报》 *
胡敏等: "基于生成式对抗网络的裂缝图像修复方法", 《计算机应用与软件》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667443A (zh) * 2020-05-29 2020-09-15 东华大学 一种基于上下文融合的丝绸纹样图像修复方法
CN111667443B (zh) * 2020-05-29 2021-10-12 东华大学 一种基于上下文融合的丝绸纹样图像修复方法
CN112435196A (zh) * 2020-12-02 2021-03-02 中国人民解放军战略支援部队信息工程大学 基于深度学习的文字修复方法及系统
CN112435196B (zh) * 2020-12-02 2022-11-29 中国人民解放军战略支援部队信息工程大学 基于深度学习的文字修复方法及系统
CN112801923A (zh) * 2021-04-14 2021-05-14 江西博微新技术有限公司 文字处理方法、系统、可读存储介质及计算机设备
CN117197820A (zh) * 2023-09-01 2023-12-08 中央民族大学 用于残缺东巴文字的识别方法、系统、电子设备及介质

Similar Documents

Publication Publication Date Title
CN110765339A (zh) 一种基于生成对抗网络的残缺中文书法修复补全方法
CN109377448B (zh) 一种基于生成对抗网络的人脸图像修复方法
CN111723585B (zh) 一种风格可控的图像文本实时翻译与转换方法
CN101923702B (zh) 一种图片验证码的生成方法
CN110570481A (zh) 基于风格迁移的书法字库自动修复方法及系统
CN103942552B (zh) 一种基于骨架指导的文字图像矢量化方法及系统
CN112712273B (zh) 一种基于骨架相似度的手写体汉字美观度评判方法
CN110334724B (zh) 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN111062329B (zh) 基于增广网络的无监督行人重识别方法
CN114742714A (zh) 一种基于骨架提取及对抗学习的汉字图像修复算法
CN108197627B (zh) 一种沿顺时针方向提取二值图形轮廓的方法
CN111666937A (zh) 一种图像中的文本识别方法及系统
CN112784531A (zh) 一种基于深度学习和部件拼接的中文字形及字库生成方法
CN112085835A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN111461239B (zh) 基于白盒攻击的ctc场景文字识别模型优化方法
CN111797685B (zh) 表格结构的识别方法及装置
CN116402067B (zh) 面向多语种文字风格保持的跨语言自监督生成方法
CN110889276B (zh) 复数融合特征提取指针式抽取三元组信息的方法、系统及计算机介质
Sanders Neural networks, AI, phone-based VR, machine learning, computer vision and the CUNAT automated translation app–not your father’s archaeological toolkit
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法
CN112541954B (zh) 一种根据图形特征智能生产海报的方法
CN115331236A (zh) 一种手写整行样本的生成方法和装置
CN111260570B (zh) 基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法
CN112435196B (zh) 基于深度学习的文字修复方法及系统
Hassan et al. Survey Study: Monument Recognition using Artificial Intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207