CN113326725A - 基于骨架引导传输网络的汉字字体自动生成方法 - Google Patents
基于骨架引导传输网络的汉字字体自动生成方法 Download PDFInfo
- Publication number
- CN113326725A CN113326725A CN202110186825.7A CN202110186825A CN113326725A CN 113326725 A CN113326725 A CN 113326725A CN 202110186825 A CN202110186825 A CN 202110186825A CN 113326725 A CN113326725 A CN 113326725A
- Authority
- CN
- China
- Prior art keywords
- font
- network
- framework
- module
- chinese character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005540 biological transmission Effects 0.000 title claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 40
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 40
- 238000012937 correction Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 39
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000010276 construction Methods 0.000 abstract 3
- 230000006870 function Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 230000010339 dilation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种基于骨架引导传输网络的汉字字体自动生成方法。由数据预处理、构建字体骨架合成网络、构建字体风格修正网络、构建判别器损失函数、汉字字体自动生成步骤组成。采用少量笔划样本进行训练，将字体分解为字体骨架合成网络和字体风格修正网络，有良好笔划结构，合成真实感的字体；在编码器中引入了膨胀卷积DC，解码器中引入了注意力模块ECA，保留了笔划空间结构，获得逼真的合成字体骨架，减少了笔划细节信息丢失，提高了笔划特征表示能力；采用了基于多尺度特征融合模块F的风格修正网络，细化预测字体的笔划或字形，从不同分辨率中选择重要特征。在汉字生成过程中，可选任意手写字体，降低对输入的要求限制，为汉字字体生成提供了便捷。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及到汉字字体自动生成方法。
技术背景
书法艺术是一种承载在汉字上，表现在笔力、体势和章法上的艺术。中国书法艺术是一种拥有三千多年历史的艺术，在世界艺术史上具有重要的地位，集中体现了中国人的思维方式和审美情趣[1]。历代书法作品是中华民族文化中最具代表性的标志之一，不仅在内容上记录了历史文化、历史事件、历史环境，在书写形式上，也具有鲜明的历史特色和个人特色，例如苏轼的《赤壁赋》、欧阳询的《仲尼梦奠帖》、王羲之的《兰亭集序》。如今传统书法学习的目的不仅仅是个人学习的需要，更是对中国传统文化的一种传承和发扬。由于传统书法作品多存在于石头、绢丝、竹简或纸张上，经受长期历史沧桑，存在受潮霉变、污渍严重、老化破损、长期风化等问题，导致书法作品难以保存、流传和发展。传统的书法家字体创作方法主要是通过现代书法家手工绘制字模，然后经过数字化处理存贮在电脑中，但是手工创作一整套字体需要大量的时间和人力。
随着科学技术的发展，书法艺术的数字化发展迎来了新的机会。目前，典型的汉字字体生成方法可以分为两类：基于笔划提取的方法和基于图像到图像的转换方法。前者将汉字字体生成分为笔划提取和笔划重组两个阶段。然而，由于笔划结构的复杂性和笔迹风格的多样性，使得笔划提取算法产生不合理的笔划提取结果或错误的笔划结构。后者将汉字字体生成视为一个图像到图像的转换问题，利用卷积神经网络，如生成对抗网络(generative adversarial networks，GAN)和图网络，来实现更逼真、更高质量的汉字合成。然而，由于中文字体生成不是一个容错任务，因此它是一个不受控制和不可预测的过程，任何模糊或重影、伪影都可能导致生成字体的失败和导致合成字体结果质量变差。
目前，大多数商业字体的生成都集中在专业的字体设计上，这是一项费时费力的工作。由于以下三方面的原因，对普通人来说，具有书法家笔迹字体的生成仍然是一项具有挑战性的任务：1)汉字的结构和字体风格复杂，不同的人有不同的笔迹风格和笔划形状。2)汉字的词汇量非常大，人们很难用如此庞大的词汇量正确书写出风格一致的汉字。3)电子设备上的手写字体是手工操作，主要由专业字体设计师设计。其性能很大程度上依赖于对每个字形的精细调整，复杂而灵活的汉字结构对于普通客户来说不可能完美的提取笔画或字形，因此，快速构建适合普通人的个性化汉字手写字体是不可行的。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种分辨率高、效果良好，笔画清晰、字体真实的基于骨架引导传输网络的汉字字体自动生成方法。
解决上述技术问题所采用的技术方案是由下述步骤组成：
(1)数据预处理
采用鼠标手动提取字体骨架笔画，构成骨架字体，将骨架字体调整为256×256像素的图像，保存为png格式，将书法家字体和所提取的骨架字体合并，构建成一组不同字体的字体数据集，每个数据集中，左侧为书法家字体，右侧为所提取的骨架字体。
(2)构建字体骨架合成网络
将字体数据集作为字体骨架合成网络的输入，在字体生成过程中，构建编码器、解码器，编码器和解码器中相同尺寸的模块首尾连接构成字体骨架合成网络。
(3)构建字体风格修正网络
构建多尺度特征融合模块F，将多尺度特征融合模块F依次与注意力模块ECA、卷积模块C首尾相连，构成字体风格修正网络，输出修正后的字体。
(4)构建判别器损失函数
使用PatchGan判别器构建目标损失函数L如下：
L＝λcGANLcGAN(G,D)+λL1L1(G)
LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)]
L1(G)＝Ex,y,z[||y-G(x,z)||1]
其中G为生成器，D为判别器，x为输入字体骨架图像，y为目标字体图像，z为高斯噪声，LcGAN为循环一致性损失，λcGAN为循环一致性损失LcGAN权值参数，L1(G)为平均绝对值误差，λL1为平均绝对值误差L1(G)权值参数。
(5)汉字字体自动生成
用字体训练集训练字体骨架合成网络、字体风格修正网络和判别器损失函数，得到训练好的字体骨架合成网络、字体风格修正网络和判别器损失函数，将任意骨架笔画输入到训练好的字体骨架合成网络、字体风格修正网络，输出对应的汉字字体。
在本发明的构建字体骨架合成网络(2)中，所述的编码器由4～10个首尾连接的下采样模块组成, 下采样模块的输出由大到小依此为2n×2n，0≤n≤7。
在本发明的构建字体骨架合成网络步骤(2)中，所述的编码器1最佳由8个首尾连接的下采样模块组成，下采样模块的输出由大到小依此为2n×2n，0≤n≤7。
本发明的下采样模块由1个4×4卷积块C4、1个4×4膨胀卷积DC、1个1×1卷积块C1组成，膨胀率r为2，卷积块C4的输出连接膨胀卷积DC的输入，卷积块C4的输出与膨胀卷积DC的输出融合后连接卷积块C1的输入，卷积块C1的输出与解码器2输入连接。
在本发明的构建字体骨架合成网络步骤(2)中，所述的解码器2由4～10个首尾连接的上采样模块组成，最后4个上采样模块分别输出多尺度特征f0、f1、f2、f3。
在本发明的构建字体骨架合成网络步骤(2)中，所述的解码器最佳由8个首尾连接的上采样模块组成，最后四个上采样模块分别输出多尺度特征f0、f1、f2、f3。
本发明的上采样模块由反卷积模块和注意力模块ECA组成，在解码过程中，上采样模块将编码器和解码器中相同尺寸的特征进行连接作为上采样模块的输入，进行反卷积操作后作为注意力模块 ECA的输入。
在本发明的构建字体风格修正网络步骤(3)中，所述的字体风格修正网络由多尺度特征融合模块 F、注意力模块ECA和卷积模块C组成，将多尺度特征f0、f1、f2、f3进行双线性插值，向上采样直到256×256像素，多尺度特征串联成张量，作为多尺度融合特征F如下：
F＝conv([f0,f1,f2,f3])
其中conv为卷积操作，对多尺度融合特征F的输出连接注意力模块ECA的输入，注意力模块ECA 的输出连接卷积模块C进行卷积操作。
本发明与现有技术相比具有以下优点：
本发明采用少量的笔划样本进行训练，将字体生成分解为字体骨架合成网络和字体风格修正网络，生成既有良好笔划细节结构信息又能合成更真实感的风格目标字体；在编码器中，引入了膨胀卷积 DC，解码器中引入了注意力模块ECA，保留了笔划空间结构信息，获得逼真的合成字体骨架，减少了笔划细节信息的丢失，提高了笔划特征的表示能力；采用了基于多尺度特征融合模块F的风格修正网络，以逐步细化预测字体的笔划或字形，有效地从不同分辨率中选择重要特征。在汉字生成过程中，可以选用任意手写字体，降低对输入的要求限制，为汉字书法的生成和多元化发展提供便捷。
附图说明
图1是本发明实施例1的流程图。
图2是图1中字体骨架合成网络的结构示意图。
图3是字体骨架合成网络编码器1的下采样模块的结构示意图。
图4是字体骨架合成网络的解码器2的上采样模块的结构示意图。
图5是本发明字体风格修正网络模型示意图
图6是本发明方法在印刷字体数据上的名家字体风格汉字字体生成可视化示意图。
图7是本发明方法在手写字体数据上的名家字体风格汉字字体生成可视化示意图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。
实施例1
在图1中，本实施例的基于骨架引导传输网络的汉字字体自动生成方法由下述步骤组成：
(1)数据预处理
采用鼠标手动提取字体骨架笔画，构成骨架字体，将骨架字体调整为256×256像素的图像，保存为png格式，将书法家字体和所提取的骨架字体合并，构建成一组不同字体的字体数据集，每个数据集中，左侧为书法家字体，右侧为所提取的骨架字体。
该步骤将字体生成分解为字体骨架合成网络和字体风格修正网络，生成既有良好笔划细节结构信息又能合成更真实感的风格目标字体。
(2)构建字体骨架合成网络
将字体数据集作为字体骨架合成网络的输入，在字体生成过程中，构建编码器1、解码器2，编码器1和解码器2中相同尺寸的模块首尾连接构成字体骨架合成网络。
在图中2，本实施例的编码器1由8个首尾连接的下采样模块组成，下采样模块的输出由大到小依此为2n×2n，0≤n≤7。
在图中3，本实施例的下采样模块由1个4×4卷积块C4、1个4×4膨胀卷积DC、1个1×1卷积块C1组成，膨胀率r为2，卷积块C4的输出连接膨胀卷积DC的输入，卷积块C4的输出与膨胀卷积DC的输出融合后连接卷积块C1的输入，卷积块C1的输出与解码器2输入连接。
在图中2，本实施例的解码器2由8个首尾连接的上采样模块组成，最后4个上采样模块分别输出多尺度特征f0、f1、f2、f3。
在图4中，本实施例的上采样模块由反卷积模块和注意力模块ECA组成，在解码过程中，上采样模块将编码器1和解码器2中相同尺寸的特征进行连接作为上采样模块的输入，进行反卷积操作后作为注意力模块ECA的输入。
由于在编码步骤中采用了膨胀卷积DC，在解码步骤中采用了注意力模块ECA，保留了笔划空间结构信息，获得逼真的合成字体骨架，减少了笔划细节信息的丢失，提高了笔划特征的表示能力。
(3)构建字体风格修正网络
构建多尺度特征融合模块F，将多尺度特征融合模块F依次与注意力模块ECA、卷积模块C首尾相连，构成字体风格修正网络，输出修正后的字体。
本实施例的字体风格修正网络由多尺度特征融合模块F、注意力模块ECA和卷积模块C组成，所示如图5。将多尺度特征f0、f1、f2、f3进行双线性插值，向上采样直到256×256像素，多尺度特征串联成张量，作为多尺度融合特征F如下：
F＝conv([f0,f1,f2,f3])
其中conv为卷积操作，对多尺度融合特征F的输出连接注意力模块ECA的输入，注意力模块ECA 的输出连接卷积模块C进行卷积操作。
在该步骤中，采用了多尺度融合特征F的风格修正网络，以逐步细化预测字体的笔划或字形，有效地从不同分辨率中选择重要特征。
(4)构建判别器损失函数
使用PatchGan判别器构建目标损失函数L如下：
L＝λcGANLcGAN(G,D)+λL1L1(G)
LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)]
L1(G)＝Ex,y,z[||y-G(x,z)||1]
其中G为生成器，D为判别器，x为输入字体骨架图像，y为目标字体图像，z为高斯噪声，LcGAN为循环一致性损失，λcGAN为循环一致性损失LcGAN权值参数，L1(G)为平均绝对值误差，λL1是平均绝对值误差L1(G)权值参数。
(5)汉字字体自动生成
用字体训练集训练字体骨架合成网络、字体风格修正网络和判别器损失函数，得到训练好的字体骨架合成网络、字体风格修正网络和判别器损失函数，将任意骨架笔画输入到训练好的字体骨架合成网络、字体风格修正网络，输出对应的汉字字体。如图2所示。
实施例2
本实施例的基于骨架引导传输网络的汉字字体自动生成方法由下述步骤组成：
(1)数据预处理
该步骤与实施例1相同。
(2)构建字体骨架合成网络
将字体数据集作为字体骨架合成网络的输入，在字体生成过程中，构建编码器1、解码器2，编码器1和解码器2中相同尺寸的模块首尾连接构成字体骨架合成网络。
本实施例的编码器1由4个首尾连接的下采样模块组成，下采样模块的输出由大到小依此为2n×2n， 0≤n≤3。下采样模块的结构与实施例1相同。
本实施例的解码器2由4个首尾连接的上采样模块组成，4个上采样模块分别输出多尺度特征f0、 f1、f2、f3。上采样模块的结构与实施例1相同。
其它步骤与实施例1相同。输出对应的汉字字体。
实施例3
本实施例的基于骨架引导传输网络的汉字字体自动生成方法由下述步骤组成：
(1)数据预处理
该步骤与实施例1相同。
(2)构建字体骨架合成网络
将字体数据集作为字体骨架合成网络的输入，在字体生成过程中，构建编码器1、解码器2，编码器1和解码器2中相同尺寸的模块首尾连接构成字体骨架合成网络。
本实施例的编码器1由10个首尾连接的下采样模块组成，下采样模块的输出由大到小依此为2n×2n， 0≤n≤9。下采样模块的结构与实施例1相同。
本实施例的解码器2由10个首尾连接的上采样模块组成，最后4个上采样模块分别输出多尺度特征f0、f1、f2、f3。上采样模块的结构与实施例1相同。
其它步骤与实施例1相同。输出对应的汉字字体。
为了验证本发明的有益效果，发明人采用本发明实施例1的基于骨架引导传输网络的汉字字体自动生成方法进行了仿真实验，实验情况如下：
1、仿真条件
硬件条件为：Ubuntu 16.04，2个NVIDIA 1080Ti GPU组成的服务器。
软件平台为：python语言及Pytorch深度网络框架。
2、仿真内容与结果
(1)选用文征明、欧阳询、许鄂三位名家书法印刷字体分别为小楷、宋体、楷体，采用实施例1 的基于骨架引导传输网络的汉字字体自动生成方法进行了仿真实验，实验结果见图6。由图6可见，图中第一行为字体名称，第两行为三种输入印刷字体，第三至第五行是从输入印刷字体转换成书法字体。转换后的字体均保留了源字库的结构特征和参考字库的字体特征，综合效果良好，笔画清晰，逼真度较高。
(2)选用4个人的手写字体，采用实施例1的基于骨架引导传输网络的汉字字体自动生成方法进行了仿真实验，实验结果见图7。由图7可见，图中第一行为四个用户字体名称，第二行为四个用户输入手写字体，第三至第五行是从用户输入手写字体转换成书法字体。本发明方法取得了很好的风格转换结果。即使是笔画很细甚至结构不规则的手写字体，如图7所示的第三至第五行转换字体笔画清晰，看起来很逼真。进一步验证了本发明可以应用于其他字体生成过程，使普通用户的手写字体生成名家书法字体。
Claims (8)
1.一种基于骨架引导传输网络的汉字字体自动生成方法，其特征在于由以下步骤组成：
(1)数据预处理
采用鼠标手动提取字体骨架笔画，构成骨架字体，将骨架字体调整为256×256像素的图像，保存为png格式，将书法家字体和所提取的骨架字体合并，构建成一组不同字体的字体数据集，每个数据集中，左侧为书法家字体，右侧为所提取的骨架字体；
(2)构建字体骨架合成网络
将字体数据集作为字体骨架合成网络的输入，在字体生成过程中，构建编码器(1)、解码器(2)，编码器(1)和解码器(2)中相同尺寸的模块首尾连接构成字体骨架合成网络；
(3)构建字体风格修正网络
构建多尺度特征融合模块F，将多尺度特征融合模块F依次与注意力模块ECA、卷积模块C首尾相连，构成字体风格修正网络，输出修正后的字体；
(4)构建判别器损失函数
使用PatchGan判别器构建目标损失函数L如下：
L＝λcGANLcGAN(G,D)+λL1L1(G)
LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)]
L1(G)＝Ex,y,z[||y-G(x,z)||1]
其中G为生成器，D为判别器，x为输入字体骨架图像，y为目标字体图像，z为高斯噪声，LcGAN为循环一致性损失，λcGAN为循环一致性损失LcGAN权值参数，L1(G)为平均绝对值误差，λL1为平均绝对值误差L1(G)权值参数；
(5)汉字字体自动生成
用字体训练集训练字体骨架合成网络、字体风格修正网络和判别器损失函数，得到训练好的字体骨架合成网络、字体风格修正网络和判别器损失函数，将任意骨架笔画输入到训练好的字体骨架合成网络、字体风格修正网络，输出对应的汉字字体。
2.根据权利要求1所述的基于骨架引导传输网络的汉字字体自动生成方法，其特征在于：在构建字体骨架合成网络步骤(2)中，所述的编码器(1)由4～10个首尾连接的下采样模块组成,下采样模块的输出由大到小依此为2n×2n，0≤n≤7。
3.根据权利要求2所述的基于骨架引导传输网络的汉字字体自动生成方法，其特征在于：在构建字体骨架合成网络步骤(2)中，所述的编码器(1)由8个首尾连接的下采样模块组成，下采样模块的输出由大到小依此为2n×2n，0≤n≤7。
4.根据权利要求3所述的基于骨架引导传输网络的汉字字体自动生成方法，其特征在于：所述的下采样模块由1个4×4卷积块C4、1个4×4膨胀卷积DC、1个1×1卷积块C1组成，膨胀率r为2，卷积块C4的输出连接膨胀卷积DC的输入，卷积块C4的输出与膨胀卷积DC的输出融合后连接卷积块C1的输入，卷积块C1的输出与解码器(2)输入连接。
5.根据权利要求2所述的基于骨架引导传输网络的汉字字体自动生成方法，其特征在于：在构建字体骨架合成网络步骤(2)中，所述的解码器(2)由4～10个首尾连接的上采样模块组成，最后4个上采样模块分别输出多尺度特征f0、f1、f2、f3。
6.根据权利要求2所述的基于骨架引导传输网络的汉字字体自动生成方法，其特征在于：在构建字体骨架合成网络步骤(2)中，所述的解码器(2)由8个首尾连接的上采样模块组成，最后四个上采样模块分别输出多尺度特征f0、f1、f2、f3。
7.根据权利要求5或6所述的基于骨架引导传输网络的汉字字体自动生成方法，其特征在于：所述的上采样模块由反卷积模块和注意力模块ECA组成，在解码过程中，上采样模块将编码器(1)和解码器(2)中相同尺寸的特征进行连接作为上采样模块的输入，进行反卷积操作后作为注意力模块ECA的输入。
8.根据权利要求1所述的基于骨架引导传输网络的汉字字体自动生成方法，其特征在于：在构建字体风格修正网络步骤(3)中，所述的字体风格修正网络由多尺度特征融合模块F、注意力模块ECA和卷积模块C组成，将多尺度特征f0、f1、f2、f3进行双线性插值，向上采样直到256×256像素，多尺度特征串联成张量，作为多尺度融合特征F如下：
F＝conv([f0,f1,f2,f3])
其中conv为卷积操作，对多尺度融合特征F的输出连接注意力模块ECA的输入，注意力模块ECA的输出连接卷积模块C进行卷积操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110186825.7A CN113326725B (zh) | 2021-02-18 | 2021-02-18 | 基于骨架引导传输网络的汉字字体自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110186825.7A CN113326725B (zh) | 2021-02-18 | 2021-02-18 | 基于骨架引导传输网络的汉字字体自动生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113326725A true CN113326725A (zh) | 2021-08-31 |
| CN113326725B CN113326725B (zh) | 2024-03-12 |
Family
ID=77414188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110186825.7A Active CN113326725B (zh) | 2021-02-18 | 2021-02-18 | 基于骨架引导传输网络的汉字字体自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113326725B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078921A (zh) * | 2023-10-16 | 2023-11-17 | 江西师范大学 | 一种基于多尺度边缘信息的自监督小样本汉字生成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090041354A1 (en) * | 2007-08-10 | 2009-02-12 | Microsoft Corporation | Hidden Markov Model Based Handwriting/Calligraphy Generation |
| CN109635883A (zh) * | 2018-11-19 | 2019-04-16 | 北京大学 | 基于深度堆叠网络的结构信息指导的中文字库生成方法 |
| CN110533737A (zh) * | 2019-08-19 | 2019-12-03 | 大连民族大学 | 基于结构引导汉字字体生成的方法 |
| CN110570481A (zh) * | 2019-07-31 | 2019-12-13 | 中国地质大学（武汉） | 基于风格迁移的书法字库自动修复方法及系统 |
| WO2020200030A1 (zh) * | 2019-04-02 | 2020-10-08 | 京东方科技集团股份有限公司 | 神经网络的训练方法、图像处理方法、图像处理装置和存储介质 |
-
2021
- 2021-02-18 CN CN202110186825.7A patent/CN113326725B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090041354A1 (en) * | 2007-08-10 | 2009-02-12 | Microsoft Corporation | Hidden Markov Model Based Handwriting/Calligraphy Generation |
| CN109635883A (zh) * | 2018-11-19 | 2019-04-16 | 北京大学 | 基于深度堆叠网络的结构信息指导的中文字库生成方法 |
| WO2020200030A1 (zh) * | 2019-04-02 | 2020-10-08 | 京东方科技集团股份有限公司 | 神经网络的训练方法、图像处理方法、图像处理装置和存储介质 |
| CN110570481A (zh) * | 2019-07-31 | 2019-12-13 | 中国地质大学（武汉） | 基于风格迁移的书法字库自动修复方法及系统 |
| CN110533737A (zh) * | 2019-08-19 | 2019-12-03 | 大连民族大学 | 基于结构引导汉字字体生成的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 曾真;廖祥;吕曦;: "基于机器学习的汉字字体设计探索", 包装工程, no. 18, 20 September 2020 (2020-09-20) * |
| 王晓红;卢辉;麻祥才;: "基于生成对抗网络的风格化书法图像生成", 包装工程, no. 11, 10 June 2020 (2020-06-10) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078921A (zh) * | 2023-10-16 | 2023-11-17 | 江西师范大学 | 一种基于多尺度边缘信息的自监督小样本汉字生成方法 |
| CN117078921B (zh) * | 2023-10-16 | 2024-01-23 | 江西师范大学 | 一种基于多尺度边缘信息的自监督小样本汉字生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113326725B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635883B (zh) | 基于深度堆叠网络的结构信息指导的中文字库生成方法 | |
| Guo et al. | Auto-embedding generative adversarial networks for high resolution image synthesis | |
| Jiang et al. | Scfont: Structure-guided chinese font generation via deep stacked networks | |
| US11935166B2 (en) | Training method and apparatus for image processing model, image processing method and apparatus for image processing model, and storage medium | |
| CN106384094B (zh) | 一种基于书写风格建模的中文字库自动生成方法 | |
| CN109190722B (zh) | 基于满文字符图片的字体风格迁移变换方法 | |
| CN107644006A (zh) | 一种基于深度神经网络的手写体中文字库自动生成方法 | |
| CN103136769B (zh) | 用户书写风格字体生成的方法和装置 | |
| CN112036137A (zh) | 一种基于深度学习的多风格书法数字墨水仿真方法和系统 | |
| CN111062290B (zh) | 基于生成对抗网络中国书法风格转换模型构建方法及装置 | |
| CN113255457A (zh) | 基于人脸表情识别的动画角色面部表情生成方法及系统 | |
| CN108960301A (zh) | 一种基于卷积神经网络的古彝文识别方法 | |
| CN106611172A (zh) | 一种基于风格学习的汉字合成方法 | |
| CN114140786B (zh) | 基于HRNet编码与双分支解码的场景文本识别方法 | |
| CN1996347A (zh) | 一种基于书法图像的可视化重现方法 | |
| CN113326725A (zh) | 基于骨架引导传输网络的汉字字体自动生成方法 | |
| CN112765935B (zh) | 一种文字外形个性化处理方法及系统 | |
| Liu et al. | FontTransformer: Few-shot high-resolution Chinese glyph image synthesis via stacked transformers | |
| CN114861595B (zh) | 一种基于矢量线条变换的个性字体生成方法 | |
| CN112732943B (zh) | 一种基于强化学习的中文字库自动生成方法及系统 | |
| Amati et al. | Modeling 2.5 D plants from ink paintings | |
| Guo et al. | CCST-GAN: Generative Adversarial Networks for Chinese Calligraphy Style Transfer | |
| Miao et al. | Chinese font translation with improved Wasserstein generative adversarial network | |
| Zhang et al. | Interactive Art Style Font Modeling and Implementation Based on Artificial Intelligence | |
| Ning | Multi-style Migration of Chinese Characters based on Self-attention Mechanism and StarGAN v2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |