CN114970447A - 一种汉字字体转换方法、装置、设备和存储介质 - Google Patents

一种汉字字体转换方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114970447A
CN114970447A CN202210579032.6A CN202210579032A CN114970447A CN 114970447 A CN114970447 A CN 114970447A CN 202210579032 A CN202210579032 A CN 202210579032A CN 114970447 A CN114970447 A CN 114970447A
Authority
CN
China
Prior art keywords
network
loss
image
font
radical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210579032.6A
Other languages
English (en)
Other versions
CN114970447B (zh
Inventor
张洪博
叶熙领
雷庆
杜吉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202210579032.6A priority Critical patent/CN114970447B/zh
Publication of CN114970447A publication Critical patent/CN114970447A/zh
Application granted granted Critical
Publication of CN114970447B publication Critical patent/CN114970447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例提供一种汉字字体转换方法、装置、设备和存储介质，涉及文字字体转换技术领域。其中，这种汉字字体转换方法包含步骤S1至步骤S3。S1、获取第一文字的第一字体图像和/或第二文字的第二字体图像。S2、获取基于对抗网络的字体转换模型。其中，对抗网络包含部首约束解码网络。S3、将第一文字的第一字体图像输入字体转换模型获取第一文字的第二字体图像，和/或将第二文字的第二字体图像输入字体转换模型获取第二文字的第一字体图像。本发明的汉字字体转换方法能够有效的避免字体转换过程中的笔画缺失、笔画中断、多笔画和笔画不完整等错误，并且接合了部首约束能够取得更好的字体转换效果。

Description

一种汉字字体转换方法、装置、设备和存储介质
技术领域
本发明涉及文字字体转换技术领域，具体而言，涉及一种汉字字体转换方法、装置、设备和存储介质。
背景技术
中国书法不仅是一种文化的表达方式，也是中国历史文化的载体之一。艺术效果和视觉效果好的汉字不仅可以被广泛应用于广告公司的海报设计，以达到传播企业文化和中国传统文化的目的。还可以用于设计个人专属风格的手写字体库。
由于中国汉字具有数量多、笔画结构复杂、风格多样等特点，要想很好地模仿它们往往需要花费大量的时间和精力，才能达到人们所期望的视觉效果。因此，如何通过计算机自动生成具有良好艺术效果的中国书法，已经受到了许多研究人员的广泛关注。
但是，现有的神经网络模型生成的文字中，会出现笔画缺失、笔画中断、多笔画和笔画不完整等错误。
有鉴于此，申请人在研究了现有的技术后特提出本申请。
发明内容
本发明提供了一种汉字字体转换方法、装置、设备和存储介质，以改善上述技术问题。
第一方面、
本发明实施例提供了一种汉字字体转换方法，其包含步骤S1至步骤S3。
S1、获取第一文字的第一字体图像和/或第二文字的第二字体图像。
S2、获取基于对抗网络的字体转换模型。其中，对抗网络包含部首约束解码网络。
S3、将第一文字的第一字体图像输入字体转换模型获取第一文字的第二字体图像，和/或将第二文字的第二字体图像输入字体转换模型获取第二文字的第一字体图像。
第二方面、
本发明实施例提供了一种汉字字体转换装置，其包含：
初始图像获取模块，用于获取第一文字的第一字体图像和/或第二文字的第二字体图像。
转换模型获取模块，用于获取基于对抗网络的字体转换模型。其中，对抗网络包含部首约束解码网络。
目标图像获取模块，用于将第一文字的第一字体图像输入字体转换模型获取第一文字的第二字体图像，和/或将第二文字的第二字体图像输入字体转换模型获取第二文字的第一字体图像。
第三方面、
本发明实施例提供了一种汉字字体转换设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如第一方面任意一段所说的汉字字体转换方法。
第四方面、
本发明实施例提供了一种计算机可读存储介质。计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如第一方面任意一段所说的汉字字体转换方法。
通过采用上述技术方案，本发明可以取得以下技术效果：
本发明的汉字字体转换方法能够有效的避免字体转换过程中的笔画缺失、笔画中断、多笔画和笔画不完整等错误，并且接合了部首约束能够取得更好的字体转换效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明第一实施例提供的一种汉字字体转换方法的流程示意图。
图2是本发明第一实施例提供的一种汉字字体转换方法的结构示意图。
图3是判别网络的网络结构示意图。
图4是生成网络的网络结构示意图。
图5是部首约束解码网络的识别部首序列的流程示意图。
图6是部首约束解码网络的汉字结构分类图。
图7是采用不同的汉字字体转换模型将繁体楷体转换为硬笔楷体，转换前后的对比图；
图8是采用不同的汉字字体转换模型将繁体楷体转换为行书，转换前后的对比图。
图9是采用不同的汉字字体转换模型将简体楷体转换为草书，转换前后的对比图。
图10是本发明第二实施例提供的一种汉字字体转换装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。
下面结合附图与具体实施方式对本发明作进一步详细描述：
实施例一：
请参阅图1至图6，本发明第一实施例提供一种汉字字体转换方法，其可由汉字字体转换设备来执行。特别地，由汉字字体转换设备中的一个或多个处理器来执行，以实现步骤S1至步骤S3。
S1、获取第一文字的第一字体图像和/或第二文字的第二字体图像。
可以理解的是，可以理解的是，所述汉字字体转换设备可以是便携笔记本计算机、台式机计算机、服务器、智能手机或者平板电脑等具有计算性能的电子设备。
S2、获取基于对抗网络的字体转换模型。其中，对抗网络包含部首约束解码网络。
需要说明的是，通过对抗生成网络，汉字可以在两个域中进行字体转换，每个域分别表示一种字体。原始的对抗网络例如zi2zi、DCFont(Deep Chinese Font)和PEGAN(Pyramid embedded GAN)，需要使用成对的数据集来生成汉字。然而，在实际的应用中成对的数据集并不是很好获取。因此，Handwritten-CycleGAN提出了使用两个生成器和两个判别器的网络结构实现两个域之间的相互转化，以此来解决数据集需要配对的问题。总的来说，在先技术中，基于GAN方法来实现文字生成的都可以被归纳为使用像素级的损失函数来约束算法模型生成文字。
使用上述传统的图像到图像生成方法中，实现的是整幅图片之间的风格转换，它更关注的是整体的图像效果。因此，即便是有一两个像素丢失都不太会影响整张图片的美观度。然而，汉字是由多种基本笔画和部首构成，所以只要是字体生成的图片中缺失一个像素，都会使得生成的汉字被认定为不能使用。
因此，本发明提出了基于部首约束生成对抗网络的毛笔字生成(RadicalConstraint based Generative Adversarial Network for Chinese CalligraphyGeneration，简称RC-CGAN)方法(即本发明实施例的：汉字字体转换方法)来解决上述问题。
具体的，
本发明实施例的，字体转换模型在传统的GAN方法的基础上，添加了部首约束的解码器(即部首约束解码网络)，并添加了交叉熵损失。将从公开分解系统中分解得到的部首信息和部首约束解码网络预测得到的信息计算部首损失，促使本发明的方法在数据训练过程中得到更好的预期效果。
S3、将第一文字的第一字体图像输入字体转换模型获取第一文字的第二字体图像，和/或将第二文字的第二字体图像输入字体转换模型获取第二文字的第一字体图像。
需要说明的是，步骤S2中的考虑了部首约束的基于对抗生成网络的字体转换模型是训练好的模型，只需要将第一种字体的文字图像输入到第一编码网络，即可输出对应的第二种字体的文字图像。同理，只需要将第二种字体的文字图像输入到第二编码网络，即可输出对应的第一种字体的文字图像。
具体的，将第一文字的第一字体图像输入字体转换模型的第一编码网络中，输出第一文字的第一字体图像特征；然后将第一文字的第一字体图像特征输入第一生成网络，输出第一文字的第二字体图像。同理，将第二文字的第二字体图像输入字体转换模型的第二编码网络中，输出第二文字的第二字体图像特征；然后将第二文字的第二字体图像特征输入第二生成网络，输出第二文字的第一字体图像。
本发明实施例的汉字字体转换方法充分考虑的文字生成时的部首笔画信息，能够有效的避免字体生成过程中的多笔画、笔画缺失、笔画中断、笔画不完整等错误，更好的对汉字字体进行转化。并且能够适用于各种字体之间的转换，具有很好的实际意义。
如图2所示，在上述实施例的基础上，本发明的一个可选的实施例中，基于对抗网络的字体转换模型包括：第一判别网络、第一部首约束解码网络、第一生成器、第二判别网络、第二生成器、第二部首约束解码网络。
其中，第一判别网络包括第一编码子网络和第一判别子网络。第一编码子网络分别和第一判别子网络、第一部首约束解码网络、第一生成网络和第二生成网络连接。
其中，第二判别网络包括第二编码子网络和第二判别子网络。第二编码子网络分别和第二判别子网络、第二部首约束解码网络、第二生成网络和第一生成网络连接。
具体的，本发明实施例的基于对抗网络的字体转换模型。重新使用了判别器(即：判别网络)部分的编码器(即编码子网络)，去掉了以往生成器部分中的编码器，让整个网络中只使用了一个编码器(即编码子网络)来提取图像特征。这样的方法使得整体网络更加紧凑，也能够生成更好的图像转换效果。
此外，本发明实施例的基于对抗网络的字体转换模型。添加了部首约束的解码器(即部首约束解码网络)，使得本发明实施例的基于对抗网络的字体转换模型在用于字体自动生成时，可以有效改进字体生成中出现笔画错误的多种问题。
此外，本发明实施例的基于对抗网络的字体转换模型添加了交叉熵损失。将从公开分解系统中分解得到的部首信息和部首约束解码网络预测得到的信息计算部首损失，促使本发明的方法在数据训练过程中得到更好的预期效果。
如图3所示，在上述实施例的基础上，本发明的一个可选的实施例中，第一编码子网络和编码子网络的网络结构相同，均用于对输入的图像进行卷积、频谱归一化和Leaky-ReLU激活，然后获取图片特征。
具体的，编码子网络包括相连的两个“CONV层+SN层+Leaky-ReLU层”。通过编码子网络进行下采样。
如图3所示，在上述实施例的基础上，本发明的一个可选的实施例中，第一判别子网络和第二判别子网络的网络结构相同，均用于对图片特征进行全局池化和最大池化，然后输入第一个分类器，获取特征图。再然后将特征图分别输入第二分类器和第三分类器判断图像的真假。
在本实施例中，判别子网络包括和所述第一编码子网络相连接的第一判别器、和所述第一判别器相连接的第二下采样、和所述第二下采样连接的第二判别器、和所述第二下采样连接的第三下采样、和所述第三下采样连接的第三判别器。
具体的，所述第一判别器包括相连的“Global Average&Max pooling+MLP-(N1)+Multiply the weights of MLP”和“CONV层+RA层+Leaky-ReLU层”。所述第二下采样包括“CONV层+SN层+Leaky-ReLU层”。所述第二编码器包括相连的“CONV层+SN层+Leaky-ReLU层”和“CONV层+SN层”。所述第三下采样包括相连的“CONV层+SN层+Leaky-ReLU层”和“CONV层+SN层+Leaky-ReLU层”。所述第三判别器包括相连的“CONV层+SN层+Leaky-ReLU层”和“CONV层+SN层”。
以X字体域转换到Y字体域为例进行说明：
设一张源图片为Ax。首先，使用判别器Dx中的编码器Ex将给定图片进行下采样。(即：图片Ax经过卷积、频谱归一化和Leaky-ReLU激活函数得到图片特征。)当判别器在判别图片真假的过程时，得到的图片特征首先经过全局池化和最大池化后作为第一判别器
Figure BDA0003663129710000081
均输入。第一判别器
Figure BDA0003663129710000082
的输出经过下采样后，得到的特征图被链接到两个分支：一个链接到第二判别器
Figure BDA0003663129710000083
另一个通过卷积层进一步下采样后输入第二判别器
Figure BDA0003663129710000084
其中，
Figure BDA0003663129710000085
和
Figure BDA0003663129710000086
都经过训练用来判断图像真假的分类器。当在生成图片时，编码器(即编码网络)得到的图片特征将会被传入到生成器中生成图片。
具体的，分类器用于判别得到的图片是真实的还是生成的。生成对抗网络的思想是用生成器来生成图像，而生成的图像要和对应的真实标签一样效果是理想的。为了定义效果一样这件事情，构建了分类器来作为判别器。通过分类器对生成图片的判别，可以将分类结果反馈给生成器，提升生成器的生成能力。例如：生成的图片效果不好，传进分类器判别出该张图片不是真实图像，经过反馈给生成器，生成器得到分类结果，再生成一张更好效果的图片给分类器分类，希望可以欺骗过分类器。这是一个对抗的过程，生成器和分类器在对抗中相互得到提升。
如图4所示，在上述实施例的基础上，本发明的一个可选的实施例中，第一生成网络和第二生成网络的结构相同，用于对图片特征进行下采样，获取特征向量。然后，根据特征向量，通过全局平均池化、多层感知机和RELU激活函数，获取自适应归一化中的λ和β。最后，根据特征向量、λ和β，通过六个自适应残差块、两个亚像素卷积和一个卷积生成变换字体后的字体图像。
在本实施例中，对于生成器，首先，将从编码器中输出的特征图传入生成器，该特征图经过采样后得到新的特征向量。我们将该特征向量分为两个分支，一边经过全局平均池化、多层感知机、RELU(Rectified linear uni)激活函数计算得出自适应归一化中的λ和β。另一边经过六个自适应残差块、两个亚像素卷积和一个卷积生成得到图片。具体细节如图5所示。
本发明实施例的部首约束解码网络
如图5所示，在上述实施例的基础上，本发明的一个可选的实施例中，第一部首约束解码网络和第二部首约束解码网络的网络结构相同，均用以根据图片特征预测图像中的文字的部首序列。
本发明实施例的部首约束解码网络，使用国际公开的汉字分解系统，将每个字划分成特定的部首结构序列。具体的，部首约束解码网络使用了GRU解码器和注意力机制。将生成对的图片
Figure BDA0003663129710000091
传入判别器中的编码器得到特征图片H×W×D，再将特征拼接起来，得到H×W个维度是D的特征向量。每个特征向量表示了原图中局部区域的信息。再利用空间注意力机制关注特征向量中不同区域的信息，根据关注区域预测出每个字的部首序列，如图5所示。
以图片Ax生成图片
Figure BDA0003663129710000092
为例，设图片Ax表示的是“賢”字，其真实的部首序列为“d{a{臣又}d{目八}}”。生成图片
Figure BDA0003663129710000093
的汉字是和Ax字体风格不一样的“賢”字，其部首序列应是相同的。部首约束解码网络的作用就是预测出生成的
Figure BDA0003663129710000094
汉字部首序列，然后与真实汉字Ax部首序列做约束损失，促使生成的汉字能够是正确的部首序列。以此减少生成文字存在的笔画错误问题，进一步促进生成图片取得更好的视觉效果。
如图6所示，在本实施例中，将汉字的字体结构分为13中类型，包括“a”表示左右结构汉字，“d”表示上下结构汉字，“s”表示全包围结构汉字，“r”表示品字形结构汉字，“w”表示穿插结构汉字，“sb”表示下三包围结构汉字，“sl”表示左三包围结构汉字，“st”表示上三包围结构汉字，“sbl”表示左下包围结构汉字，“stl”表示左上包围结构汉字，“str”表示右上包围结构汉字，“single”表示独体字结构汉字，“lock”表示镶嵌结构汉字。
如图2所示，在上述实施例的基础上，本发明的一个可选的实施例中，步骤S2具体包括步骤S21至步骤S219。
S201、获取基于对抗网络的初始转换模型。
具体的，初始转换模型的基础架构为双循环结构，即包含两个一模一样的生成网络和判别网络。实现了字体域X→字体域Y和字体域Y→字体域X两个域之间循环转换。
S202、获取第一训练文字集的第一字体图像集和第二训练文字集的第二字体图像集。其中，第一训练文字集包含多个第一训练文字。第二训练文字集包含多个第二训练文字。
具体的，第一训练文字集的第一字体图像为Ax，第二训练文字集的第二字体图像为By。
S203、将第一训练文字的第一字体图像Ax输入第一编码子网络Ex，获取第一图像特征fax。
S204、将第一图像特征fax输入第一生成网络Gx→y(简称：Gy)，获取第一训练文字的第二字体图像
Figure BDA0003663129710000101
S205、将第一训练文字的第二字体图像
Figure BDA0003663129710000102
输入第二编码子网络Ey，获取第二图像特征
Figure BDA0003663129710000103
S206、将第二图像特征
Figure BDA0003663129710000104
输入第二判别子网络Cy，获取第一判别结果，并根据第一判别结果，计算第一对抗损失
Figure BDA0003663129710000105
具体的，对抗损失用于促进域转换生成更高质量的图片，其定义如下：
Figure BDA0003663129710000106
式中，
Figure BDA0003663129710000107
表示X→Y域转换的对抗损失函数，Ey～Y表示y在Y域的分布函数期望值，Dy表示第二判别器，By表示Y域数据集中一张源图片，Ex～X表示x在X域的分布函数期望值，Gx→y表示第一生成网络，Ex表示第一编码子网络，Ax表示X域数据集中一张源图片。
当训练生成器时，判别器被固定，
Figure BDA0003663129710000108
表示最小化
Figure BDA0003663129710000109
当训练判别器时，生成器被固定，
Figure BDA00036631297100001010
表示最大化
Figure BDA00036631297100001011
S207、将第二图像特征
Figure BDA0003663129710000111
输入第二部首约束网络(Radical constraintmodule)，获取第一预测部首序列，并根据第一预测部首序列和第一训练文字的真实部首序列，计算第一部首约束损失
Figure BDA0003663129710000112
具体的，使用部首约束损失用于计算真实的部首序列和预测的部首序列之间的差异，以此约束笔画缺失问题。其具体定义如下：
Figure BDA0003663129710000113
式中，
Figure BDA0003663129710000114
表示X→Y域转换的部首约束损失函数，T表示长度，P表示预测部首序列的概率，
Figure BDA0003663129710000115
表示第i个预测的部首序列。
S208、将第二图像特征
Figure BDA0003663129710000116
输入第二生成网络Gy→x(简称：Gx)，获取第一循环图像
Figure BDA0003663129710000117
并根据第一循环图像和第一训练文字的第一字体图像，计算第一循环一致损失
Figure BDA0003663129710000118
具体的，循环一致性约束用于减少生成图片和真实图片之间的差异，其定义如下：
Figure BDA0003663129710000119
式中，
Figure BDA00036631297100001110
表示X→Y域转换的最小化循环一致损失函数，Ex～X表示x在X域的分布函数期望值，Ax表示X域数据集中一张源图片，Gx(即：Gy→x)表示第二生成网络，Ey表示第二编码子网络，Gx→y(即：Gy)表示第一生成网络，，Ex表示第一编码子网络。
S209、将第一图像特征fax输入第二生成网络Gy→x(简称：Gx)，获取第一重构图像
Figure BDA00036631297100001111
并根据第一重构图像和第一训练文字的第一字体图像，计算第一重构损失
Figure BDA00036631297100001112
具体的，重构损失和循环一致性损失类似，通过重构来促使两个域生成图像在隐向量空间保持一致性，其具体定义如下：
Figure BDA0003663129710000121
式中，
Figure BDA0003663129710000122
表示最小化X→Y域转换的最小化重构损失函数，Ex～X表示x在X域的分布函数期望值，Ax表示X域数据集中一张源图片，Gx(即：Gy→x)表示第二生成网络，Ex表示第一编码子网络。
需要说明的是，步骤S203至步骤S209为将第一训练文字的第一字体图像输入初始转换模型，获取第一训练文字的第二字体图像。步骤S210至步骤S216为将第二训练文字的第二字体图像输入初始转换模型，获取第二训练文字的第一字体图像。其二者的损失函数是一致的，只要将公式中的x换成y，y换成x即可得到第二对抗损失、第二部首约束损失、第二循环一致损失和第二重构损失。因此，不再对步骤S210至步骤S216中的损失函数进行说明。
S210、将第二训练文字的第二字体图像By输入第二编码子网络Ey，获取第三图像特征fby。
S211、将第三图像特征fby输入第二生成网络Gy→x(即：Gx)，获取第二训练文字的第一字体图像
Figure BDA0003663129710000123
S212、将第二训练文字的第一字体图像
Figure BDA0003663129710000124
输入第一编码子网络Ex，获取第四图像特征
Figure BDA0003663129710000125
S213、将第四图像特征
Figure BDA0003663129710000126
输入第一判别子网络Cx，获取第二判别结果，并根据第二判别结果，计算第二对抗损失
Figure BDA0003663129710000127
S214、将第四图像特征
Figure BDA0003663129710000128
输入第一部首约束网络，获取第二预测部首序列，并根据第二预测部首序列和第二训练文字的真实部首序列，计算第二部首约束损失
Figure BDA0003663129710000129
S215、将第四图像特征
Figure BDA00036631297100001210
输入第一生成网络Gx→y(即：Gy)，获取第二循环图像
Figure BDA00036631297100001211
并根据第二循环图像和第二训练文字的第二字体图像，计算第二循环一致损失
Figure BDA00036631297100001212
S216、将第三图像特征fby输入第一生成网络Gx→y(即：Gy)，获取第二重构图像
Figure BDA0003663129710000131
并根据第二重构图像和第二训练文字的第二字体图像，计算第二重构损失函数
Figure BDA0003663129710000132
S217、根据第一对抗损失和第二对抗损失，计算判别网络的总判别损失。其中，计算判别损失时，生成损失设为固定。总判别损失的计算模型为：
Figure BDA0003663129710000133
Figure BDA0003663129710000134
式中，Ldisct为总判别损失、
Figure BDA0003663129710000135
表示最大化判别损失、λ1为权重、Lgan为总对抗损失、
Figure BDA0003663129710000136
第一对抗损失、
Figure BDA0003663129710000137
为第二对抗损失。
S218、根据第一对抗损失、第二对抗损失、第一循环一致损失、第二循环一致损失、第一重构损失、第二重构损失、第一部首约束损失和第二部首约束损失，计算生成网络的总生成损失。其中，计算生成损失时，判别损失设为固定。总生成损失的计算模型为：
Figure BDA0003663129710000138
Figure BDA0003663129710000139
Figure BDA00036631297100001310
Figure BDA00036631297100001311
Figure BDA00036631297100001312
式中，Lgenet为总生成损失、
Figure BDA00036631297100001313
表示最小化生成损失、Lgan为总对抗损失、
Figure BDA00036631297100001314
第一对抗损失、
Figure BDA00036631297100001315
为第二对抗损失、Lcycle为总循环一致损失、
Figure BDA00036631297100001316
为第一循环一致损失、
Figure BDA00036631297100001317
为第二循环一致损失、Lrecon为总重构损失、
Figure BDA00036631297100001318
为第一重构损失、
Figure BDA00036631297100001319
为第二重构损失、Lradical为总部首约束损失、
Figure BDA00036631297100001320
为第一部首约束损失、
Figure BDA00036631297100001321
为第二部首约束损失，λ1和λ2和λ3和λ4均为权重。其中，权重λ1＝1，λ2＝10，λ3＝10，λ4＝30。
S219、根据总判别损失和总生成损失更新初始转换模型，获取基于对抗网络的字体转换模型。
具体的，本发明实施例的完整算法流程如下所示。
Figure BDA0003663129710000141
如图7至图9所示，通过本发明实施例的汉字字体转换方法分别使用了楷体(繁体楷体、硬笔楷体和SIM-Kai)、行书(禹卫常规硬笔)、草书(王羲之书法《兰亭集序》)三种风格进行了实验，实现了繁体楷体和硬笔楷体之间的转换(记做：DFKai-SB→Pen-Kai，Pen-Kai→DFKai-SB)、繁体楷体和行书间的转换(记做：DFKai-SB→Running，Running→DFKai-SB)和楷体和草书间的转换(记做：SIM-Kai→Lanting，Lanting→SIM-Kai)。
并采用其它现有的NICE-GAN汉字字体转换方法、Cycle-GAN字体转换犯法、以及zi2zi汉字字体转换方法进行相同的转换。从而将本发明实施例的汉字字体转换方法与现有技术进行对比。
表1和表2显示了比较结果。其中，MSE(Mean square erro)值越低表示生成的目标图片和原图片越相似，SSIM(Structural similarity index measur)值越高表示生成的目标图片和原图片越相似。
从两张表格可以得出结论：本发明实施例的汉字字体转换方法在6种字体转换生成的效果大多数都比其他三种方法好或者略低于相比较的方法。此外，图7、8、9三张图分别展示了本发明所使用的方法与现有的方法生成字体的结果。由此进一步证明本发明提出的毛笔字自动生成方法的合理性，有效性。
表1本发明实施例的汉字字体转换方法与现有方法的MSE值对比
Style Ours NICE-GAN Cycle-GAN zi2zi
Pen-Kai→DFKai-SB <u>6.40830</u> 6.59591 11.14863 7.38907
DFKai-SB→Pen-Kai <u>5.59103</u> 5.74621 9.60055 6.24565
Running→DFKai-SB 6.66673 <u>6.63318</u> 11.35527 8.99590
DFKai-SB→Running <u>5.50740</u> 5.52049 9.12797 6.54834
Lanting→SIM-Kai 22.03867 22.26251 25.30640 <u>21.09070</u>
SIM-Kai→Lanting 29.04412 <u>28.74532</u> 31.36708 36.71427
表2本发明实施例的汉字字体转换方法与现有方法的SSIM值对比
Style Ours NICE-GAN Cycle-GAN zi2zi
Pen-Kai→DFKai-SB <u>0.89537</u> 0.89527 0.88683 0.88415
DFKai-SB→Pen-Kai 0.90583 0.90623 0.89922 <u>0.90864</u>
Running→DFKai-SB <u>0.88465</u> 0.88385 0.87723 0.85763
DFKai-SB→Running <u>0.90522</u> 0.90320 0.89898 0.89666
Lanting→SIM-Kai 0.70048 0.69644 0.68447 <u>0.71605</u>
SIM-Kai→Lanting <u>0.69659</u> 0.69575 0.68047 0.63884
可以理解的，相较于现有技术，本发明实施例的汉字字体转换方法具有诸多优点和有益效果，具体体现在以下方面：
本发明实施例通过多笔画、笔画缺失、笔画中断、笔画不完整这四种笔画错误对各种汉字字体转换方法进行评估，提升了对生成汉字评估的准确性。
从评估结果的角度来看，本发明实施例的汉字字体转换方法充分考虑的文字生成时的部首笔画信息，能够有效的避免字体生成过程中的多笔画、笔画缺失、笔画中断、笔画不完整等错误，更好的对汉字字体进行转化。
本发明实施例使用楷体、行书、草书三种风格差异较大的数据集进行实验，验证了本发明实施例的汉字字体转换方法能够更好的适应各种不同风格类型的汉字字体，具有很好的实际意义。
实施例二、
本发明实施例提供了一种汉字字体转换装置，其包含：
初始图像获取模块1，用于获取第一文字的第一字体图像和/或第二文字的第二字体图像。
转换模型获取模块2，用于获取基于对抗网络的字体转换模型。其中，对抗网络包含部首约束解码网络。
目标图像获取模块3，用于将第一文字的第一字体图像输入字体转换模型获取第一文字的第二字体图像，和/或将第二文字的第二字体图像输入字体转换模型获取第二文字的第一字体图像。
在一个可选的实施例中，基于对抗网络的字体转换模型包括：第一判别网络、第一部首约束解码网络、第一生成器、第二判别网络、第二生成器、第二部首约束解码网络。
第一判别网络包括第一编码子网络和第一判别子网络。第一编码子网络分别和第一判别子网络、第一部首约束解码网络、第一生成网络和第二生成网络连接。
第二判别网络包括第二编码子网络和第二判别子网络。第二编码子网络分别和第二判别子网络、第二部首约束解码网络、第二生成网络和第一生成网络连接。
在一个可选的实施例中，第一编码子网络和编码子网络的网络结构相同，均用于对输入的图像进行卷积、频谱归一化和Leaky-ReLU激活，然后获取图片特征。
在一个可选的实施例中，第一判别子网络和第二判别子网络的网络结构相同，均用于对图片特征进行全局池化和最大池化，然后输入第一个分类器，获取特征图。再然后将特征图分别输入第二分类器和第三分类器判断图像的真假。
在一个可选的实施例中，第一生成网络和第二生成网络的结构相同，用于对图片特征进行下采样，获取特征向量。然后，根据特征向量，通过全局平均池化、多层感知机和RELU激活函数，获取自适应归一化中的λ和β。最后，根据特征向量、λ和β，通过六个自适应残差块、两个亚像素卷积和一个卷积生成变换字体后的字体图像。
在一个可选的实施例中，第一部首约束解码网络和第二部首约束解码网络的网络结构相同，均用以根据图片特征预测图像中的文字的部首序列。
在一个可选的实施例中，转换模型获取模块2，包括：
初始模型获取单元，用于获取基于对抗网络的初始转换模型。
训练图像获取单元，用于获取第一训练文字集的第一字体图像集和第二训练文字集的第二字体图像集。其中，第一训练文字集包含多个第一训练文字。第二训练文字集包含多个第二训练文字。
第一图像特征获取单元，用于将第一训练文字的第一字体图像输入第一编码子网络，获取第一图像特征。
第一生成单元，用于将第一图像特征输入第一生成网络，获取第一训练文字的第二字体图像。
第二图像特征获取单元，用于将第一训练文字的第二字体图像输入第二编码子网络，获取第二图像特征。
第一对抗损失获取单元，用于将第二图像特征输入第二判别子网络，获取第一判别结果，并根据第一判别结果，计算第一对抗损失。
第一部首约束损失获取单元，用于将第二图像特征输入第二部首约束网络，获取第一预测部首序列，并根据第一预测部首序列和第一训练文字的真实部首序列，计算第一部首约束损失。
第一循环一致损失获取单元，用于将第二图像特征输入第二生成网络，获取第一循环图像，并根据第一循环图像和第一训练文字的第一字体图像，计算第一循环一致损失。
第一重构损失获取单元，用于将第一图像特征输入第二生成网络，获取第一重构图像，并根据第一重构图像和第一训练文字的第一字体图像，计算第一重构损失。
第三图像特征获取单元，用于将第二训练文字的第二字体图像输入第二编码子网络，获取第三图像特征。
第二生成单元，用于将第三图像特征输入第二生成网络，获取第二训练文字的第一字体图像。
第四图像特征获取单元，用于将第二训练文字的第一字体图像输入第一编码子网络，获取第四图像特征。
第二对抗损失获取单元，用于将第四图像特征输入第一判别子网络，获取第二判别结果，并根据第二判别结果，计算第二对抗损失。
第二部首约束损失获取单元，用于将第四图像特征输入第一部首约束网络，获取第二预测部首序列，并根据第二预测部首序列和第二训练文字的真实部首序列，计算第二部首约束损失。
第二循环一致损失获取单元，用于将第四图像特征输入第一生成网络，获取第二循环图像，并根据第二循环图像和第二训练文字的第二字体图像，计算第二循环一致损失。
第二重构损失获取单元，用于将第三图像特征输入第一生成网络，获取第二重构图像，并根据第二重构图像和第二训练文字的第二字体图像，计算第二重构损失。
总判别损失计算获取单元，用于根据第一对抗损失和第二对抗损失，计算判别网络的总判别损失。其中，计算判别损失时，生成损失设为固定。总判别损失的计算模型为：
Figure BDA0003663129710000181
Figure BDA0003663129710000182
式中，Ldisct为总判别损失、
Figure BDA0003663129710000191
表示最大化判别损失、λ1为权重、Lgan为总对抗损失、
Figure BDA0003663129710000192
第一对抗损失、
Figure BDA0003663129710000193
为第二对抗损失。
总生成损失计算获取单元，用于根据第一对抗损失、第二对抗损失、第一循环一致损失、第二循环一致损失、第一重构损失、第二重构损失、第一部首约束损失和第二部首约束损失，计算生成网络的总生成损失。其中，计算生成损失时，判别损失设为固定。总生成损失的计算模型为：
Figure BDA0003663129710000194
Figure BDA0003663129710000195
Figure BDA0003663129710000196
Figure BDA0003663129710000197
Figure BDA0003663129710000198
式中，Lgenet为、
Figure BDA0003663129710000199
表示最小化生成损失、λ1和λ2和λ3和λ4均为权重、Lgan为总对抗损失、
Figure BDA00036631297100001910
第一对抗损失、
Figure BDA00036631297100001911
为第二对抗损失、Lcycle为总循环一致损失、
Figure BDA00036631297100001912
为第一循环一致损失、
Figure BDA00036631297100001913
为第二循环一致损失、Lrecon为总重构损失、
Figure BDA00036631297100001914
为第一重构损失、
Figure BDA00036631297100001915
为第二重构损失、Lradical为总部首约束损失、
Figure BDA00036631297100001916
为第一部首约束损失、
Figure BDA00036631297100001917
为第二部首约束损失。
模型更新获取单元，用于根据总判别损失和总生成损失更新初始转换模型，获取基于对抗网络的字体转换模型。
实施例三、
本发明实施例提供了一种汉字字体转换设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如实施例一任意一段所说的汉字字体转换方法。
实施例四、
本发明实施例提供了一种计算机可读存储介质。计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如实施例一任意一段所说的汉字字体转换方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种汉字字体转换方法，其特征在于，包含：
获取第一文字的第一字体图像和/或第二文字的第二字体图像；
获取基于对抗网络的字体转换模型；其中，所述对抗网络包含部首约束解码网络；
将所述第一文字的第一字体图像输入所述字体转换模型获取第一文字的第二字体图像，和/或将所述第二文字的第二字体图像输入所述字体转换模型获取第二文字的第一字体图像。
2.根据权利要求1所述的汉字字体转换方法，其特征在于，所述基于对抗网络的字体转换模型包括：第一判别网络、第一部首约束解码网络、第一生成器、第二判别网络、第二生成器、第二部首约束解码网络；
所述第一判别网络包括第一编码子网络和第一判别子网络；所述第一编码子网络分别和第一判别子网络、所述第一部首约束解码网络、所述第一生成网络和所述第二生成网络连接；
所述第二判别网络包括第二编码子网络和第二判别子网络；所述第二编码子网络分别和第二判别子网络、所述第二部首约束解码网络、所述第二生成网络和所述第一生成网络连接。
3.根据权利要求2所述的汉字字体转换方法，其特征在于，获取基于对抗网络的字体转换模型，包括：
获取基于对抗网络的初始转换模型；
获取第一训练文字集的第一字体图像集和第二训练文字集的第二字体图像集；其中，所述第一训练文字集包含多个第一训练文字；所述第二训练文字集包含多个第二训练文字；
将第一训练文字的第一字体图像输入第一编码子网络，获取第一图像特征；
将所述第一图像特征输入第一生成网络，获取第一训练文字的第二字体图像；
将所述第一训练文字的第二字体图像输入第二编码子网络，获取第二图像特征；
将所述第二图像特征输入第二判别子网络，获取第一判别结果，并根据所述第一判别结果，计算第一对抗损失；
将所述第二图像特征输入第二部首约束网络，获取第一预测部首序列，并根据所述第一预测部首序列和第一训练文字的真实部首序列，计算第一部首约束损失；
将所述第二图像特征输入第二生成网络，获取第一循环图像，并根据所述第一循环图像和所述第一训练文字的第一字体图像，计算第一循环一致损失；
将所述第一图像特征输入第二生成网络，获取第一重构图像，并根据所述第一重构图像和所述第一训练文字的第一字体图像，计算第一重构损失；
将第二训练文字的第二字体图像输入第二编码子网络，获取第三图像特征；
将所述第三图像特征输入第二生成网络，获取第二训练文字的第一字体图像；
将所述第二训练文字的第一字体图像输入第一编码子网络，获取第四图像特征；
将所述第四图像特征输入第一判别子网络，获取第二判别结果，并根据所述第二判别结果，计算第二对抗损失；
将所述第四图像特征输入第一部首约束网络，获取第二预测部首序列，并根据所述第二预测部首序列和第二训练文字的真实部首序列，计算第二部首约束损失；
将所述第四图像特征输入第一生成网络，获取第二循环图像，并根据所述第二循环图像和所述第二训练文字的第二字体图像，计算第二循环一致损失；
将所述第三图像特征输入第一生成网络，获取第二重构图像，并根据所述第二重构图像和所述第二训练文字的第二字体图像，计算第二重构损失函数；
根据所述第一对抗损失和所述第二对抗损失，计算判别网络的总判别损失；其中，计算判别损失时，生成损失设为固定；所述总判别损失的计算模型为：
Figure FDA0003663129700000031
Figure FDA0003663129700000032
式中，Ldisct为总判别损失、
Figure FDA0003663129700000033
表示最大化判别损失、λ1为权重、Lgan为总对抗损失、
Figure FDA0003663129700000034
第一对抗损失、
Figure FDA0003663129700000035
为第二对抗损失；
根据所述第一对抗损失、所述第二对抗损失、所述第一循环一致损失、所述第二循环一致损失、所述第一重构损失、所述第二重构损失、所述第一部首约束损失和所述第二部首约束损失，计算生成网络的总生成损失；其中，计算生成损失时，判别损失设为固定；所述总生成损失的计算模型为：
Figure FDA0003663129700000036
Figure FDA0003663129700000037
Figure FDA0003663129700000038
Figure FDA0003663129700000039
Figure FDA00036631297000000310
式中，Lgenet为总生成损失、
Figure FDA00036631297000000311
表示最小化生成损失、λ1和λ2和λ3和λ4均为权重、Lgan为总对抗损失、
Figure FDA00036631297000000312
第一对抗损失、
Figure FDA00036631297000000313
为第二对抗损失、Lcycle为总循环一致损失、
Figure FDA00036631297000000314
为第一循环一致损失、
Figure FDA00036631297000000315
为第二循环一致损失、Lrecon为总重构损失、
Figure FDA00036631297000000316
为第一重构损失、
Figure FDA00036631297000000317
为第二重构损失、Lradical为总部首约束损失、
Figure FDA0003663129700000041
为第一部首约束损失、
Figure FDA0003663129700000042
为第二部首约束损失；
根据所述总判别损失和所述总生成损失更新所述初始转换模型，获取基于对抗网络的字体转换模型。
4.根据权利要求2所述的汉字字体转换方法，其特征在于，
所述第一编码子网络和所述编码子网络的网络结构相同，均用于对输入的图像进行卷积、频谱归一化和Leaky-ReLU激活，然后获取图片特征；
所述第一判别子网络和所述第二判别子网络的网络结构相同，均用于对图片特征进行全局池化和最大池化，然后输入第一个分类器，获取特征图；再然后将特征图分别输入第二分类器和第三分类器判断图像的真假；
所述第一生成网络和所述第二生成网络的结构相同，用于对图片特征进行下采样，获取特征向量；然后，根据特征向量，通过全局平均池化、多层感知机和RELU激活函数，获取自适应归一化中的λ和β；最后，根据所述特征向量、λ和β，通过六个自适应残差块、两个亚像素卷积和一个卷积生成变换字体后的字体图像；
所述第一部首约束解码网络和所述第二部首约束解码网络的网络结构相同，均用以根据图片特征预测图像中的文字的部首序列。
5.一种汉字字体转换装置，其特征在于，包含：
初始图像获取模块，用于获取第一文字的第一字体图像和/或第二文字的第二字体图像；
转换模型获取模块，用于获取基于对抗网络的字体转换模型；其中，所述对抗网络包含部首约束解码网络；
目标图像获取模块，用于将所述第一文字的第一字体图像输入所述字体转换模型获取第一文字的第二字体图像，和/或将所述第二文字的第二字体图像输入所述字体转换模型获取第二文字的第一字体图像。
6.根据权利要求5所述的汉字字体转换装置，其特征在于，所述基于对抗网络的字体转换模型包括：第一判别网络、第一部首约束解码网络、第一生成器、第二判别网络、第二生成器、第二部首约束解码网络；
所述第一判别网络包括第一编码子网络和第一判别子网络；所述第一编码子网络分别和第一判别子网络、所述第一部首约束解码网络、所述第一生成网络和所述第二生成网络连接；
所述第二判别网络包括第二编码子网络和第二判别子网络；所述第二编码子网络分别和第二判别子网络、所述第二部首约束解码网络、所述第二生成网络和所述第一生成网络连接。
7.根据权利要求6所述的汉字字体转换装置，其特征在于，转换模型获取模块，包括：
初始模型获取单元，用于获取基于对抗网络的初始转换模型；
训练图像获取单元，用于获取第一训练文字集的第一字体图像集和第二训练文字集的第二字体图像集；其中，所述第一训练文字集包含多个第一训练文字；所述第二训练文字集包含多个第二训练文字；
第一图像特征获取单元，用于将第一训练文字的第一字体图像输入第一编码子网络，获取第一图像特征；
第一生成单元，用于将所述第一图像特征输入第一生成网络，获取第一训练文字的第二字体图像；
第二图像特征获取单元，用于将所述第一训练文字的第二字体图像输入第二编码子网络，获取第二图像特征；
第一对抗损失获取单元，用于将所述第二图像特征输入第二判别子网络，获取第一判别结果，并根据所述第一判别结果，计算第一对抗损失；
第一部首约束损失获取单元，用于将所述第二图像特征输入第二部首约束网络，获取第一预测部首序列，并根据所述第一预测部首序列和第一训练文字的真实部首序列，计算第一部首约束损失；
第一循环一致损失获取单元，用于将所述第二图像特征输入第二生成网络，获取第一循环图像，并根据所述第一循环图像和所述第一训练文字的第一字体图像，计算第一循环一致损失；
第一重构损失获取单元，用于将所述第一图像特征输入第二生成网络，获取第一重构图像，并根据所述第一重构图像和所述第一训练文字的第一字体图像，计算第一重构损失；
第三图像特征获取单元，用于将第二训练文字的第二字体图像输入第二编码子网络，获取第三图像特征；
第二生成单元，用于将所述第三图像特征输入第二生成网络，获取第二训练文字的第一字体图像；
第四图像特征获取单元，用于将所述第二训练文字的第一字体图像输入第一编码子网络，获取第四图像特征；
第二对抗损失获取单元，用于将所述第四图像特征输入第一判别子网络，获取第二判别结果，并根据所述第二判别结果，计算第二对抗损失；
第二部首约束损失获取单元，用于将所述第四图像特征输入第一部首约束网络，获取第二预测部首序列，并根据所述第二预测部首序列和第二训练文字的真实部首序列，计算第二部首约束损失；
第二循环一致损失获取单元，用于将所述第四图像特征输入第一生成网络，获取第二循环图像，并根据所述第二循环图像和所述第二训练文字的第二字体图像，计算第二循环一致损失；
第二重构损失获取单元，用于将所述第三图像特征输入第一生成网络，获取第二重构图像，并根据所述第二重构图像和所述第二训练文字的第二字体图像，计算第二重构损失；
总判别损失计算获取单元，用于根据所述第一对抗损失和所述第二对抗损失，计算判别网络的总判别损失；其中，计算判别损失时，生成损失设为固定；所述总判别损失的计算模型为：
Figure FDA0003663129700000061
Figure FDA0003663129700000071
式中，Ldisct为总判别损失、
Figure FDA0003663129700000072
表示最大化判别损失、λ1为权重、Lgan为总对抗损失、
Figure FDA0003663129700000073
第一对抗损失、
Figure FDA0003663129700000074
为第二对抗损失；
总生成损失计算获取单元，用于根据所述第一对抗损失、所述第二对抗损失、所述第一循环一致损失、所述第二循环一致损失、所述第一重构损失、所述第二重构损失、所述第一部首约束损失和所述第二部首约束损失，计算生成网络的总生成损失；其中，计算生成损失时，判别损失设为固定；所述总生成损失的计算模型为：
Figure FDA0003663129700000075
Figure FDA0003663129700000076
Figure FDA0003663129700000077
Figure FDA0003663129700000078
Figure FDA0003663129700000079
式中，Lgenet为、
Figure FDA00036631297000000710
表示最小化生成损失、λ1和λ2和λ3和λ4均为权重、Lgan为总对抗损失、
Figure FDA00036631297000000711
第一对抗损失、
Figure FDA00036631297000000712
为第二对抗损失、Lcycle为总循环一致损失、
Figure FDA00036631297000000713
为第一循环一致损失、
Figure FDA00036631297000000714
为第二循环一致损失、Lrecon为总重构损失、
Figure FDA00036631297000000715
为第一重构损失、
Figure FDA00036631297000000716
为第二重构损失、Lradical为总部首约束损失、
Figure FDA00036631297000000717
为第一部首约束损失、
Figure FDA00036631297000000718
为第二部首约束损失；
模型更新获取单元，用于根据所述总判别损失和所述总生成损失更新所述初始转换模型，获取基于对抗网络的字体转换模型。
8.根据权利要求6所述的汉字字体转换装置，其特征在于，
所述第一编码子网络和所述编码子网络的网络结构相同，均用于对输入的图像进行卷积、频谱归一化和Leaky-ReLU激活，然后获取图片特征；
所述第一判别子网络和所述第二判别子网络的网络结构相同，均用于对图片特征进行全局池化和最大池化，然后输入第一个分类器，获取特征图；再然后将特征图分别输入第二分类器和第三分类器判断图像的真假；
所述第一生成网络和所述第二生成网络的结构相同，用于对图片特征进行下采样，获取特征向量；然后，根据特征向量，通过全局平均池化、多层感知机和RELU激活函数，获取自适应归一化中的λ和β；最后，根据所述特征向量、λ和β，通过六个自适应残差块、两个亚像素卷积和一个卷积生成变换字体后的字体图像；
所述第一部首约束解码网络和所述第二部首约束解码网络的网络结构相同，均用以根据图片特征预测图像中的文字的部首序列。
9.一种汉字字体转换设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至4任意一项所说的汉字字体转换方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4任意一项所说的汉字字体转换方法。
CN202210579032.6A 2022-05-26 2022-05-26 一种汉字字体转换方法、装置、设备和存储介质 Active CN114970447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210579032.6A CN114970447B (zh) 2022-05-26 2022-05-26 一种汉字字体转换方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210579032.6A CN114970447B (zh) 2022-05-26 2022-05-26 一种汉字字体转换方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114970447A true CN114970447A (zh) 2022-08-30
CN114970447B CN114970447B (zh) 2024-07-23

Family

ID=82956286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210579032.6A Active CN114970447B (zh) 2022-05-26 2022-05-26 一种汉字字体转换方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114970447B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252154A (zh) * 2023-11-20 2023-12-19 北京语言大学 一种基于预训练语言模型的中文简繁字符转换方法及系统
CN117272941A (zh) * 2023-09-21 2023-12-22 北京百度网讯科技有限公司 数据处理方法、装置、设备、计算机可读存储介质及产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577651A (zh) * 2017-08-25 2018-01-12 上海交通大学 基于对抗网络的汉字字体迁移系统
CN108804397A (zh) * 2018-06-12 2018-11-13 华南理工大学 一种基于少量目标字体的汉字字体转换生成的方法
CN110033054A (zh) * 2019-03-14 2019-07-19 上海交通大学 基于协同笔画优化的个性化手写体迁移方法和系统
CN112381910A (zh) * 2020-12-28 2021-02-19 北京亿信华辰软件有限责任公司武汉分公司 一种打印体字符手写风格化方法
CN113449787A (zh) * 2021-06-23 2021-09-28 西安交通大学 基于汉字笔画结构的字体库补全方法及系统
CN114139495A (zh) * 2021-11-29 2022-03-04 合肥高维数据技术有限公司 基于自适应生成对抗网络的中文字体风格迁移方法
US20220148239A1 (en) * 2021-09-09 2022-05-12 Beijing Baidu Netcom Science Technology Co., Ltd. Model training method and apparatus, font library establishment method and apparatus, device and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577651A (zh) * 2017-08-25 2018-01-12 上海交通大学 基于对抗网络的汉字字体迁移系统
CN108804397A (zh) * 2018-06-12 2018-11-13 华南理工大学 一种基于少量目标字体的汉字字体转换生成的方法
CN110033054A (zh) * 2019-03-14 2019-07-19 上海交通大学 基于协同笔画优化的个性化手写体迁移方法和系统
CN112381910A (zh) * 2020-12-28 2021-02-19 北京亿信华辰软件有限责任公司武汉分公司 一种打印体字符手写风格化方法
CN113449787A (zh) * 2021-06-23 2021-09-28 西安交通大学 基于汉字笔画结构的字体库补全方法及系统
US20220148239A1 (en) * 2021-09-09 2022-05-12 Beijing Baidu Netcom Science Technology Co., Ltd. Model training method and apparatus, font library establishment method and apparatus, device and storage medium
CN114139495A (zh) * 2021-11-29 2022-03-04 合肥高维数据技术有限公司 基于自适应生成对抗网络的中文字体风格迁移方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272941A (zh) * 2023-09-21 2023-12-22 北京百度网讯科技有限公司 数据处理方法、装置、设备、计算机可读存储介质及产品
CN117252154A (zh) * 2023-11-20 2023-12-19 北京语言大学 一种基于预训练语言模型的中文简繁字符转换方法及系统
CN117252154B (zh) * 2023-11-20 2024-01-23 北京语言大学 一种基于预训练语言模型的中文简繁字符转换方法及系统

Also Published As

Publication number Publication date
CN114970447B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
Bai et al. Deep learning methods for solving linear inverse problems: Research directions and paradigms
Ruthotto et al. An introduction to deep generative modeling
US20190087726A1 (en) Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
Graham et al. Denoising diffusion models for out-of-distribution detection
Tai et al. Multilabel classification with principal label space transformation
Guo et al. GoDec+: Fast and robust low-rank matrix decomposition based on maximum correntropy
CN114970447A (zh) 一种汉字字体转换方法、装置、设备和存储介质
Ocegueda et al. Which parts of the face give out your identity?
Chang [Retracted] Neural Reversible Steganography with Long Short‐Term Memory
Nguyen et al. Discriminative low-rank dictionary learning for face recognition
Sahu et al. A Bayesian multiresolution approach for noise removal in medical magnetic resonance images
Tao et al. Pooling operations in deep learning: from “invariable” to “variable”
CN115859199A (zh) 医保欺诈检测方法及其嵌入向量生成方法、装置和介质
Jin et al. Correntropy-induced robust low-rank hypergraph
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
Hong et al. Hypernet-ensemble learning of segmentation probability for medical image segmentation with ambiguous labels
Damianou et al. Multi-view learning as a nonparametric nonlinear inter-battery factor analysis
Yang et al. Simulated annealing spectral clustering algorithm for image segmentation
Chen et al. Robust Semi‐Supervised Manifold Learning Algorithm for Classification
Chen et al. Experiments with rough set approach to face recognition
Zhang et al. Se-dcgan: a new method of semantic image restoration
CN113487506A (zh) 基于注意力去噪的对抗样本防御方法、装置和系统
Shaw et al. Regression on manifolds using data‐dependent regularization with applications in computer vision
Liu et al. Adaptive iterative global image denoising method based on SVD
Savitha et al. Deep learning-based face hallucination: a survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant