CN112070658A - 一种基于深度学习的汉字字体风格迁移方法 - Google Patents

一种基于深度学习的汉字字体风格迁移方法 Download PDF

Info

Publication number
CN112070658A
CN112070658A CN202010863074.3A CN202010863074A CN112070658A CN 112070658 A CN112070658 A CN 112070658A CN 202010863074 A CN202010863074 A CN 202010863074A CN 112070658 A CN112070658 A CN 112070658A
Authority
CN
China
Prior art keywords
font
image
target
chinese character
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010863074.3A
Other languages
English (en)
Other versions
CN112070658B (zh
Inventor
缪亚林
姬怡纯
贾欢欢
张顺
程文芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010863074.3A priority Critical patent/CN112070658B/zh
Publication of CN112070658A publication Critical patent/CN112070658A/zh
Application granted granted Critical
Publication of CN112070658B publication Critical patent/CN112070658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开的一种基于深度学习的汉字字体风格迁移方法，具体包括以下步骤：步骤1、获取指定输入字符集合的汉字图像；步骤2、进行字体图像的颜色、背景和尺寸初始化设置；步骤3、通过生成器G将源字体图像x和五种目标字体的真实图像y作为先验知识进行学习训练；步骤4、生成器G将源字体图像x作为条件输入，使用下采样区提取浅层字体特征F0，通过上采样区将特征向量还原为图像，生成目标字体的生成图像G(x)；步骤5、使用判别器D对目标字体的生成图像G(x)进行判别分类；步骤6、计算损失函数的值。该方法克服了现有研究方法不能充分提取字体细节特征，生成的字体存在结构变形、细节丢失和轮廓模糊的问题。

Description

一种基于深度学习的汉字字体风格迁移方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度学习的汉字字体风格迁移方法。
背景技术
汉字在历史的长河中经过漫长的演变和发展，形成了多类型多风格的字形，不仅对中华文明的文化传承和思想交流发挥着重要的社会作用，同时也形成了独特的艺术形态符号。随着移动互联网的飞速发展，人们对个性化、专属化的字体需求与日俱增。由于各种网络社交媒体和计算机办公软件的普及，人们会使用各式各样的字体来处理文本，宋体、楷体和黑体等标准字体被大家广泛使用，但是缺乏美感和个性。因此，需要专业设计人员提前设计好不同风格样式的字库，方便人们编辑使用，满足人们对字体的需求。
众所周知，与简单的英文字符相比，博大精深的汉字具有结构复杂、数量庞大的特点，中文汉字有逾26000个之多，常用的字符集包含3755个简体中文汉字。现有的中文字库制作方法大多依赖于人工经验和设计，自动化程度很低，设计者制作一款新的字库需要设计出该字体下的每个汉字，设计一款书法家字体也需要该书法家写出几乎所有常用汉字，后期由字体设计师对汉字笔画进行精修，需要花费大量的人力成本和时间周期。因此，探索更为高效的设计方法，即如何只需人工设计某一字体下的部分汉字，而自动生成该字体下剩余的汉字，具有很大的实用意义。
发明内容
本发明的目的是提供一种基于深度学习的汉字字体风格迁移方法，该方法克服了现有研究方法不能充分提取字体细节特征，生成的字体存在结构变形、细节丢失和轮廓模糊的问题。
本发明所采用的技术方案是，一种基于深度学习的汉字字体风格迁移方法，具体包括以下步骤：
步骤1、获取指定输入字符集合的汉字图像；
步骤2、通过使用Python Image Library工具，使用其中的Image Font模块，进行字体图像的颜色、背景和尺寸初始化设置；
步骤3、通过生成器G将源字体图像x和五种目标字体的真实图像y作为先验知识进行学习训练；
步骤4、生成器G将源字体图像x作为条件输入，使用下采样区提取浅层字体特征F0，通过上采样区将特征向量还原为图像，生成目标字体的生成图像G(x)；
步骤5、使用判别器D对目标字体的生成图像G(x)进行判别分类；
步骤6、计算损失函数的值，判别器D通过生成器损失函数的值监督生成器G向更优的方向训练，使得G(x)≈y，也就是使目标字体的生成图像G(x)更加接近于目标字体的真实图像y，提高相似性。
本发明的特征还在于，
步骤1具体按照以下步骤实施：
从字库中下载标准的TrueType字库，文本字库是由775个汉字组成的txt文档，基本涵盖了GB2312的所有汉字笔画和结构；其中，TrueType字库内容包括源字体图像x和五种目标字体的真实图像y(Jingyu、Heiti、Benmo、Mala、Zeibai)各775个汉字。
步骤2中，初始化设置时将字体图像大小设置为256×256，背景色为白色，字体颜色为黑色，字体样本中汉字中心对齐，四周留白均匀。
步骤3中，在训练过程中，生成器G通过残差密集网络学习源字体到目标字体的端对端映射，模仿真实的风格字体去“欺骗”判别器D，同时使用判别器D进行对抗训练，借助对抗网络训练的思想，对汉字迁移网络进行优化，训练数据由源字体图像x和目标字体的真实图像y组成，模型输入图片的尺寸为256×256。
步骤4中，步骤4中，下采样区是由3组卷积层Conv、批量标准化BN、激活函数层ReLU组成，核心迁移模块由6个残差密集块和一个1×1的卷积层组成，上采样区包括两个反卷积层Deconv、批量标准化BN和激活函数ReLU组成，在第一层反卷积后面跟着一个特征注意力层，最后一个卷积层使用Tanh激活函数输出目标字体的生成图像G(x)。
步骤5中，判别器D的输入为[源字体图像，目标字体的真实图像]和[源字体图像，目标字体的生成图像]，其中把源字体图像和目标字体的真实图像集合的源字体图像x作为标签信息，通过生成器G生成目标字体的生成图像G(x)，通过判别器D对两对数据[x,y]、[x,G(x)]进行真假判断；
其中，判别器D基于Patch，判别器D将输入映射为N×N个Patch，也就是将图像划分为N×N大小的区域，计算每个区域的真假概率估计，所有区域的概率分布平均值作为整幅图像的判别结果，使判别器D能关注更多图像细节。
本发明的有益效果是：
本发明一种基于深度学习的汉字字体风格迁移方法，结合生成对抗网络网络、残差密集卷积块和特征注意力层，提出了融合局部和全局特征学习的字体风格迁移方法(FTFNet)，生成器通过残差连接和密集连接，加强局部的残差学习和全局的特征融合，有效地学习字体的空间结构之间的微小差异，引入特征注意力模型在特征图的局部特征中增添其与全局特征的依赖性信息；判别网络采用基于Patch的网络结构对生成图像和目标图像进行相似度判断，引入谱归一化层防止因鉴别能力突变造成的梯度消失，增强训练过程中的稳定性，并且生成了高质量的风格字体。通过一组对比试验，从不同角度考察FTFNet的生成效果，证明了本文的方法在风格字体的细节逼真度和结构完整度有优秀的生成效果。
附图说明
图1是本发明一种基于深度学习的汉字字体风格迁移方法的流程框图；
图2是本发明方法提供的字体风格迁移网络模型结构图；
图3是本发明方法基于Patch的判别器结构和原理示意图；
图4是本发明提供方法和其他汉字生成方法(Pix2Pix、AEGG、HCCG、Zi2Zi、DCFont)由源字体宋体转为Jingyu目标字体的对比实验结果示意图；
图5是本发明提供方法和其他汉字生成方法(Pix2Pix、AEGG、HCCG、Zi2Zi、DCFont)由源字体宋体转为Heiti目标字体的对比实验结果示意图；
图6是本发明提供方法和其他汉字生成方法(Pix2Pix、AEGG、HCCG、Zi2Zi、DCFont)由源字体宋体转为Benmo目标字体的对比实验结果示意图；
图7是本发明提供方法和其他汉字生成方法(Pix2Pix、AEGG、HCCG、Zi2Zi、DCFont)由源字体宋体转为Mala目标字体的对比实验结果示意图；
图8是本发明提供方法和其他汉字生成方法(Pix2Pix、AEGG、HCCG、Zi2Zi、DCFont)由源字体宋体转为Zeibai目标字体的对比实验结果示意图。
其中，方法Pix2Pix参见文献：Isola P,Zhu J,Zhou T,et al.Image-to-ImageTranslation with Conditional Adversarial Networks[C].Computer vision andpattern recognition,2017:5967-5976.
方法AEGG参见文献：Lyu P,Bai X,Yao C,et al.Auto-Encoder Guided GAN forChinese Calligraphy Synthesis[C].International conference on documentanalysis and recognition,2017:1095-1100.
方法HCCG参见文献：Chang B,Zhang Q,Pan S,et al.Generating HandwrittenChinese Characters Using CycleGAN[C].Workshop on applications of computervision,2018:199-207.
方法Zi2Zi参见文献：Tian.ReWrite.Retrieved from https://github.com/kaonashi-tyc/zi2zi/.2017.
方法DCFont参见文献：Chang B,Zhang Q,Pan S,et al.Generating HandwrittenChinese Characters Using CycleGAN[C].Workshop on applications of computervision,2018:199-207.
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供一种基于深度学习的汉字字体风格迁移方法，如图1-2所示，具体包括以下步骤：
步骤1、获取指定输入字符集合的汉字图像；
步骤1具体按照以下步骤实施：
从字库中下载标准的TrueType字库，文本字库是由775个汉字组成的txt文档，基本涵盖了GB2312的所有汉字笔画和结构；其中，TrueType字库内容包括源字体图像x和五种目标字体的真实图像y(Jingyu、Heiti、Benmo、Mala、Zeibai)各775个汉字。
步骤2、通过使用Python Image Library(PIL)工具，使用其中的Image Font模块，进行字体图像的颜色、背景和尺寸初始化设置，得到相应的源字体图像x及五种目标字体的真实图像y的数据，共5424张汉字图像；
步骤2中，初始化设置时将字体图像大小设置为256×256，背景色为白色，字体颜色为黑色，字体样本中汉字中心对齐，四周留白均匀。
步骤3、通过生成器G将源字体图像x和五种目标字体的真实图像y作为先验知识进行学习训练；
步骤3中，在训练过程中，生成器G通过残差密集网络学习源字体到目标字体的端对端映射，模仿真实的风格字体去“欺骗”判别器D，同时使用判别器D进行对抗训练，尽可能地分布两个分布之间的差异，最终对抗博弈的状态达到“以假乱真”的结果，借助对抗网络训练的思想，对汉字迁移网络进行优化，训练数据由源字体图像x和目标字体的真实图像y组成，模型输入图片的尺寸为256×256。
步骤4、生成器G将源字体图像x作为条件输入，使用下采样区提取浅层字体特征F0，使用核心迁移模块加强特征在各个层之间的传递，更有效地利用特征，通过上采样区将特征向量还原为图像，生成目标字体的生成图像G(x)；
步骤4中，步骤4中，下采样区是由3组卷积层Conv、批量标准化BN、激活函数层ReLU组成，核心迁移模块由6个残差密集块和一个1×1的卷积层组成，上采样区包括两个反卷积层Deconv、批量标准化BN和激活函数ReLU组成，在第一层反卷积后面跟着一个特征注意力层，最后一个卷积层使用Tanh激活函数输出目标字体的生成图像G(x)。
步骤5、使用判别器D对目标字体的生成图像G(x)进行判别分类；
步骤5中，判别器D的输入为[源字体图像，目标字体的真实图像]和[源字体图像，目标字体的生成图像]，其中把源字体图像和目标字体的真实图像集合的源字体图像x作为标签信息，通过生成器G生成目标字体的生成图像G(x)，通过判别器D对两对数据[x,y]、[x,G(x)]进行真假判断；
其中，如图3所示，判别器D基于Patch，判别器D将输入映射为N×N个Patch，也就是将图像划分为N×N大小的区域，计算每个区域的真假概率估计，所有区域的概率分布平均值作为整幅图像的判别结果，使判别器D能关注更多图像细节。
步骤6、计算损失函数的值，判别器D通过生成器损失函数的值监督生成器G向更优的方向训练，使得G(x)≈y，也就是使目标字体的生成图像G(x)更加接近于目标字体的真实图像y，提高相似性。
通过计算判别器损失函数的值，来缩小目标字体的生成图像分布和真实图像分布之间的差异。
其中，联合像素损失、感知损失和结构一致性损失构成生成器损失函数，使用WGAN-GP的损失函数作为判别损失函数，通过Wasserstein距离计算最优路径规划下的最小代价，衡量两个分布之间的距离和差异；当目标字体的真实图像y和生成图像G(x)的相似程度较低时，会产生较大的损失函数，判别器D通过该值监督生成器G向更优的方向训练，使目标字体的生成图像G(x)更加接近于真实图像y。
实验验证：将本发明提出的字体风格迁移方法FTFNet与现有的风格转换方法进行实验对比。其中，Pix2Pix为图像转换方法，其他4种方法为基于图像转换的字体生成方法，分别为AEGG、HCCG、zi2zi、DCFont，考察FTFNet在汉字字体生成任务中的性能；选取了宋体作为源字体，其他五种字体Jingyu、Heiti、Benmo、Mala、Zeibai作为目标字体，为了直观显示本文方法在字体风格细节上的优势，将字体的部分细节进行放大4倍；
其中，如附图4所示，将宋体转换为Jingyu体，对“罕”、“肉”、“衣”三个汉字进行测试展示，它们包括了“横、竖、撇、捺、点、折沟”等基础笔画。实验结果展示图第一列为源字体，接下来的每列分别为Pix2Pix、AEGG、HCCG、Zi2Zi、DCFont和FTFNet网络字体生成效果，最后一列为目标字体的真实图像y。
从整体结构来看，如图4-8所示，本发明方法中的基层框架Pix2Pix生成的字体伪轮廓严重、细节丢失、结构不完整，这是因为Pix2Pix网络主要研究图像转换，汉字字体不仅要实现字体结构完整，而且要将笔画轮廓的细节清晰再现，因此无法生成语义确切的字体，不能较好的学习字体的风格；AEGG方法的“罕”字的点边缘锯齿状，轮廓不清晰，和“衣”字的撇和捺笔画粘连；HCCG方法生成的汉字轮廓光滑，但是从字体整体结构来看，如“衣”存在笔画确实和变形；Zi2Zi方法生成字体结构完整，但笔画轮廓部分存在锯齿现象，如“肉”的横折钩结构，在“衣”上有多余噪点出现；DCFont方法生成字体细节清晰，轮廓光滑，从“衣”字放大笔画可看出部分字体结构发生较为严重变形；由于汉字的结构复杂、笔画繁多，五种对比方法在生成风格字体时，要么无法完整保持汉字字型，要么无法精确学习字体细节特征。和其他方法相比，在从视觉评价角度，本发明方法中的网络模型生成的字体轮廓光滑、字形准确、字体结构完整，汉字的拓扑细节保持得最好。该方法克服了现有研究方法不能充分提取字体细节特征，生成的字体存在结构变形、细节丢失和轮廓模糊的问题。
本发明方法从字形结构变化的角度，结合条件式生成对抗网络提出了融合局部和全局特征学习的字体风格迁移方法(FTFNet)。将每个汉字视作一张图片来处理，选用残差密集块作为核心迁移模块，联合跳跃连接和密集连接机制，增强网络层之间的信息传递，同时引入特征注意力层，捕获局部和全局特征的依赖关系，从而加强局部的特征学习和全局的特征融合；通过基于Wasserstein距离的损失来匹配两个分布之间的差异，使用梯度惩罚机制代替权重裁剪；同时结合像素损失、感知损失和结构一致性损失，实现端到端地字体风格映射迁移，简化了字体生成过程和增强了字体生成质量。

Claims (6)

1.一种基于深度学习的汉字字体风格迁移方法，其特征在于，具体包括以下步骤：
步骤1、获取指定输入字符集合的汉字图像；
步骤2、通过使用Python Image Library工具，使用其中的Image Font模块，进行字体图像的颜色、背景和尺寸初始化设置；
步骤3、通过生成器G将源字体图像x和五种目标字体的真实图像y作为先验知识进行学习训练；
步骤4、生成器G将源字体图像x作为条件输入，使用下采样区提取浅层字体特征F0，通过上采样区将特征向量还原为图像，生成目标字体的生成图像G(x)；
步骤5、使用判别器D对目标字体的生成图像G(x)进行判别分类；
步骤6、计算损失函数的值，判别器D通过生成器损失函数的值监督生成器G向更优的方向训练，使得G(x)≈y，也就是使目标字体的生成图像G(x)更加接近于目标字体的真实图像y，提高相似性。
2.根据权利要求1所述的一种基于深度学习的汉字字体风格迁移方法，其特征在于，步骤1具体按照以下步骤实施：
从字库中下载标准的TrueType字库，文本字库是由775个汉字组成的txt文档，基本涵盖了GB2312的所有汉字笔画和结构；其中，TrueType字库内容包括源字体图像x和五种目标字体的真实图像y(Jingyu、Heiti、Benmo、Mala、Zeibai)各775个汉字。
3.根据权利要求2所述的一种基于深度学习的汉字字体风格迁移方法，其特征在于，步骤2中，初始化设置时将字体图像大小设置为256×256，背景色为白色，字体颜色为黑色，字体样本中汉字中心对齐，四周留白均匀。
4.根据权利要求3所述的一种基于深度学习的汉字字体风格迁移方法，其特征在于，步骤3中，在训练过程中，生成器G通过残差密集网络学习源字体到目标字体的端对端映射，模仿真实的风格字体去“欺骗”判别器D，同时使用判别器D进行对抗训练，借助对抗网络训练的思想，对汉字迁移网络进行优化，训练数据由源字体图像x和目标字体的真实图像y组成，模型输入图片的尺寸为256×256。
5.根据权利要求4所述的一种基于深度学习的汉字字体风格迁移方法，其特征在于，步骤4中，步骤4中，下采样区是由3组卷积层Conv、批量标准化BN、激活函数层ReLU组成，核心迁移模块由6个残差密集块和一个1×1的卷积层组成，上采样区包括两个反卷积层Deconv、批量标准化BN和激活函数ReLU组成，在第一层反卷积后面跟着一个特征注意力层，最后一个卷积层使用Tanh激活函数输出目标字体的生成图像G(x)。
6.根据权利要求5所述的一种基于深度学习的汉字字体风格迁移方法，其特征在于，步骤5中，判别器D的输入为[源字体图像，目标字体的真实图像]和[源字体图像，目标字体的生成图像]，其中把源字体图像和目标字体的真实图像集合的源字体图像x作为标签信息，通过生成器G生成目标字体的生成图像G(x)，通过判别器D对两对数据[x,y]、[x,G(x)]进行真假判断；
其中，判别器D基于Patch，判别器D将输入映射为N×N个Patch，也就是将图像划分为N×N大小的区域，计算每个区域的真假概率估计，所有区域的概率分布平均值作为整幅图像的判别结果，使判别器D能关注更多图像细节。
CN202010863074.3A 2020-08-25 2020-08-25 一种基于深度学习的汉字字体风格迁移方法 Active CN112070658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010863074.3A CN112070658B (zh) 2020-08-25 2020-08-25 一种基于深度学习的汉字字体风格迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863074.3A CN112070658B (zh) 2020-08-25 2020-08-25 一种基于深度学习的汉字字体风格迁移方法

Publications (2)

Publication Number Publication Date
CN112070658A true CN112070658A (zh) 2020-12-11
CN112070658B CN112070658B (zh) 2024-04-16

Family

ID=73660092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863074.3A Active CN112070658B (zh) 2020-08-25 2020-08-25 一种基于深度学习的汉字字体风格迁移方法

Country Status (1)

Country Link
CN (1) CN112070658B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598764A (zh) * 2020-12-26 2021-04-02 福州大学 一种迁移场景风格的字符图像生成方法
CN112633430A (zh) * 2020-12-25 2021-04-09 同济大学 一种中文字体风格迁移方法
CN113033567A (zh) * 2021-03-22 2021-06-25 安阳师范学院 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法
CN113096020A (zh) * 2021-05-08 2021-07-09 苏州大学 基于平均模式生成对抗网络的书法字体创作方法
CN113205574A (zh) * 2021-04-30 2021-08-03 武汉大学 一种基于注意力机制的艺术字风格迁移系统
CN113420647A (zh) * 2021-06-22 2021-09-21 南开大学 一种由汉字重心点向外扩张变形创造新风格字体的方法
CN113553932A (zh) * 2021-07-14 2021-10-26 同济大学 一种基于风格迁移的书法文字侵蚀修复方法
CN113706647A (zh) * 2021-07-30 2021-11-26 浪潮电子信息产业股份有限公司 一种图像上色方法及相关装置
CN113962192A (zh) * 2021-04-28 2022-01-21 江西师范大学 汉字字体生成模型的生成方法、汉字字体生成方法及装置
CN114037600A (zh) * 2021-10-11 2022-02-11 长沙理工大学 一种基于新注意力机制的新CycleGAN风格迁移网络
CN117078921A (zh) * 2023-10-16 2023-11-17 江西师范大学 一种基于多尺度边缘信息的自监督小样本汉字生成方法

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
CN107909585A (zh) * 2017-11-14 2018-04-13 华南理工大学 一种血管内超声影像的血管中内膜分割方法
CN108304357A (zh) * 2018-01-31 2018-07-20 北京大学 一种基于字体流形的中文字库自动生成方法
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108804397A (zh) * 2018-06-12 2018-11-13 华南理工大学 一种基于少量目标字体的汉字字体转换生成的方法
CN109064522A (zh) * 2018-08-03 2018-12-21 厦门大学 基于条件生成对抗网络的汉字字体生成方法
US20190130232A1 (en) * 2017-10-30 2019-05-02 Monotype Imaging Inc. Font identification from imagery
CN109872272A (zh) * 2019-01-30 2019-06-11 天津大学 一种基于实例正规化网络生成器的图像风格转换方法
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110135530A (zh) * 2019-05-16 2019-08-16 京东方科技集团股份有限公司 转换图像中汉字字体的方法及系统、计算机设备及介质
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
WO2019196718A1 (zh) * 2018-04-10 2019-10-17 阿里巴巴集团控股有限公司 元素图像生成方法、装置及系统
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN110490843A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种眼底图像血管分割方法
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110533737A (zh) * 2019-08-19 2019-12-03 大连民族大学 基于结构引导汉字字体生成的方法
WO2019232849A1 (zh) * 2018-06-04 2019-12-12 平安科技（深圳）有限公司 汉字模型训练方法、手写字识别方法、装置、设备及介质
CN110570481A (zh) * 2019-07-31 2019-12-13 中国地质大学（武汉） 基于风格迁移的书法字库自动修复方法及系统
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法
CN111104912A (zh) * 2019-12-23 2020-05-05 西安电子科技大学 一种书法字体类型与文字内容同步识别方法
WO2020087607A1 (zh) * 2018-11-02 2020-05-07 北京大学深圳研究生院 一种基于Bi-Skip-Net的图像去模糊方法
CN111461217A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法
CN111553246A (zh) * 2020-04-15 2020-08-18 山东大学 基于多任务对抗学习网络的汉字风格迁移方法及系统

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
US20190130232A1 (en) * 2017-10-30 2019-05-02 Monotype Imaging Inc. Font identification from imagery
CN107909585A (zh) * 2017-11-14 2018-04-13 华南理工大学 一种血管内超声影像的血管中内膜分割方法
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108304357A (zh) * 2018-01-31 2018-07-20 北京大学 一种基于字体流形的中文字库自动生成方法
WO2019196718A1 (zh) * 2018-04-10 2019-10-17 阿里巴巴集团控股有限公司 元素图像生成方法、装置及系统
WO2019232849A1 (zh) * 2018-06-04 2019-12-12 平安科技（深圳）有限公司 汉字模型训练方法、手写字识别方法、装置、设备及介质
CN108804397A (zh) * 2018-06-12 2018-11-13 华南理工大学 一种基于少量目标字体的汉字字体转换生成的方法
CN109064522A (zh) * 2018-08-03 2018-12-21 厦门大学 基于条件生成对抗网络的汉字字体生成方法
WO2020087607A1 (zh) * 2018-11-02 2020-05-07 北京大学深圳研究生院 一种基于Bi-Skip-Net的图像去模糊方法
CN109872272A (zh) * 2019-01-30 2019-06-11 天津大学 一种基于实例正规化网络生成器的图像风格转换方法
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110135530A (zh) * 2019-05-16 2019-08-16 京东方科技集团股份有限公司 转换图像中汉字字体的方法及系统、计算机设备及介质
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
CN110490843A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种眼底图像血管分割方法
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110570481A (zh) * 2019-07-31 2019-12-13 中国地质大学（武汉） 基于风格迁移的书法字库自动修复方法及系统
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN110533737A (zh) * 2019-08-19 2019-12-03 大连民族大学 基于结构引导汉字字体生成的方法
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法
CN111104912A (zh) * 2019-12-23 2020-05-05 西安电子科技大学 一种书法字体类型与文字内容同步识别方法
CN111461217A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法
CN111553246A (zh) * 2020-04-15 2020-08-18 山东大学 基于多任务对抗学习网络的汉字风格迁移方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李进;高静;陈俊杰;王永军;: "基于条件生成对抗网络的蒙古文字体风格迁移模型", 中文信息学报, no. 04, 15 April 2020 (2020-04-15) *
潘今一;王亚蒙;王伟;刘建烽;邢予权;: "基于风格迁移和薄板样条的扩充汉字样本方法", 浙江工业大学学报, no. 01, 22 January 2020 (2020-01-22) *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633430A (zh) * 2020-12-25 2021-04-09 同济大学 一种中文字体风格迁移方法
CN112633430B (zh) * 2020-12-25 2022-10-14 同济大学 一种中文字体风格迁移方法
CN112598764A (zh) * 2020-12-26 2021-04-02 福州大学 一种迁移场景风格的字符图像生成方法
CN112598764B (zh) * 2020-12-26 2023-02-21 福州大学 一种迁移场景风格的字符图像生成方法
CN113033567A (zh) * 2021-03-22 2021-06-25 安阳师范学院 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法
CN113033567B (zh) * 2021-03-22 2022-11-01 安阳师范学院 一种融合分割网络和生成网络的甲骨拓片图像字符训练方法
CN113962192A (zh) * 2021-04-28 2022-01-21 江西师范大学 汉字字体生成模型的生成方法、汉字字体生成方法及装置
CN113962192B (zh) * 2021-04-28 2022-11-15 江西师范大学 汉字字体生成模型的生成方法、汉字字体生成方法及装置
CN113205574A (zh) * 2021-04-30 2021-08-03 武汉大学 一种基于注意力机制的艺术字风格迁移系统
CN113096020B (zh) * 2021-05-08 2023-01-17 苏州大学 基于平均模式生成对抗网络的书法字体创作方法
CN113096020A (zh) * 2021-05-08 2021-07-09 苏州大学 基于平均模式生成对抗网络的书法字体创作方法
CN113420647B (zh) * 2021-06-22 2022-05-20 南开大学 一种由汉字重心点向外扩张变形创造新风格字体的方法
CN113420647A (zh) * 2021-06-22 2021-09-21 南开大学 一种由汉字重心点向外扩张变形创造新风格字体的方法
CN113553932A (zh) * 2021-07-14 2021-10-26 同济大学 一种基于风格迁移的书法文字侵蚀修复方法
CN113706647A (zh) * 2021-07-30 2021-11-26 浪潮电子信息产业股份有限公司 一种图像上色方法及相关装置
CN113706647B (zh) * 2021-07-30 2024-02-13 浪潮电子信息产业股份有限公司 一种图像上色方法及相关装置
CN114037600A (zh) * 2021-10-11 2022-02-11 长沙理工大学 一种基于新注意力机制的新CycleGAN风格迁移网络
CN117078921A (zh) * 2023-10-16 2023-11-17 江西师范大学 一种基于多尺度边缘信息的自监督小样本汉字生成方法
CN117078921B (zh) * 2023-10-16 2024-01-23 江西师范大学 一种基于多尺度边缘信息的自监督小样本汉字生成方法

Also Published As

Publication number Publication date
CN112070658B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN112070658A (zh) 一种基于深度学习的汉字字体风格迁移方法
CN109635883B (zh) 基于深度堆叠网络的结构信息指导的中文字库生成方法
CN111582241B (zh) 视频字幕识别方法、装置、设备及存储介质
CN108537269B (zh) 一种弱交互式的物体检测深度学习方法及其系统
Wu et al. Calligan: Style and structure-aware chinese calligraphy character generator
CN113205520B (zh) 一种对图像进行语义分割的方法及系统
CN111626297A (zh) 文字书写质量评价方法、装置、电子设备和记录介质
CN111062277B (zh) 基于单目视觉的手语-唇语转化方法
CN112163401A (zh) 基于压缩与激励的gan网络的汉字字体生成方法
CN114596566B (zh) 文本识别方法及相关装置
CN113449787B (zh) 基于汉字笔画结构的字体库补全方法及系统
CN115812221A (zh) 图像生成及着色方法及装置
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN115393872B (zh) 一种训练文本分类模型的方法、装置、设备及存储介质
CN113762269A (zh) 基于神经网络的中文字符ocr识别方法、系统、介质及应用
CN111523622A (zh) 基于特征图像自学习的机械臂模拟手写笔迹方法
CN111859852A (zh) 一种汉字风格迁移模型的训练装置和方法
CN114972847A (zh) 图像处理方法及装置
CN116797868A (zh) 文本图像生成方法以及扩散生成模型训练方法
CN110659702A (zh) 基于生成式对抗网络模型书法字帖评价系统及方法
CN113962192B (zh) 汉字字体生成模型的生成方法、汉字字体生成方法及装置
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和系统
CN113963232A (zh) 一种基于注意力学习的网络图数据提取方法
CN110490157B (zh) 文字评估方法、文字学习方法、装置、设备及存储介质
CN114943204A (zh) 一种基于生成对抗网络的中文字体合成的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant