CN110097615B - 一种联合风格化和去风格化的艺术字编辑方法和系统 - Google Patents
一种联合风格化和去风格化的艺术字编辑方法和系统 Download PDFInfo
- Publication number
- CN110097615B CN110097615B CN201811487971.8A CN201811487971A CN110097615B CN 110097615 B CN110097615 B CN 110097615B CN 201811487971 A CN201811487971 A CN 201811487971A CN 110097615 B CN110097615 B CN 110097615B
- Authority
- CN
- China
- Prior art keywords
- character
- picture
- artistic
- word
- font
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明为一种联合风格化和去风格化的艺术字编辑方法和系统,属于图像纹理合成技术领域。该方法的步骤包括:构造字形编码器,字形解码器,字效编码器,字效解码器,字形判别器和字效判别器,组成联合网络结构。在训练阶段,对网络从字形编解码,艺术字图片去风格化和文字图片风格化三个方面进行训练。在测试阶段,网络可以完成三个任务:去风格化,即输入艺术字图片,得到对应的文字图片;风格化,即输入参考艺术字图片和目标文字图片,得到对应的艺术字图片;风格创造:使用字效编码器对多种参考字效编码,对编码结果进行加权平均,解码后得到全新的字效。本发明通过联合考虑字形编解码、风格化和去风格化,能够生成高质量的艺术字图片。
Description
技术领域
本发明属于图像纹理合成技术领域,涉及一种联合风格化和去风格化的艺术字编辑方法和系统。
背景技术
艺术字在海报、杂志封面、广告设计等平面设计中广泛使用,然而艺术字的人工设计与编辑过程繁琐,需要一定的技术。全自动艺术字编辑方法具有巨大的商用价值。
艺术字合成的关键技术为纹理合成,将代表字效风格的纹理信息添加到目标字形上。尽管纹理合成被广泛使用,但是缺乏适用于艺术字生成的方法。基于统计的纹理合成方法,将纹理描述为全局统计量,不适合用来合成具有鲜明结构的艺术字纹理;而基于局部块的纹理合成方法,无法保证全局纹理的分布。
发明内容
针对上述问题,本发明提出一种联合风格化和去风格化的艺术字编辑方法和系统。本发明设计网络结构根据艺术字数据自动学习字效和字形的表示,同时考虑字形编解码,艺术字图片去风格化和文字图片风格化三个方面,使得提取的字效和字形表示更加准确,使得生成的艺术字具有更好的主观视觉质量,除此之外,同时还能完成去风格化和艺术字创造的编辑的功能。
为实现以上目的,本发明采用的技术方案如下:
一种联合风格化和去风格化的艺术字编辑方法,包括以下步骤:
1)构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器,组成联合网络结构;
2)从艺术字数据集中采样图片;
3)利用采样的图片,对所述联合网络结构从字形编解码、艺术字图片去风格化和文字图片风格化三个方面进行训练,直到达到最大迭代次数;
4)利用训练好的网络结构,根据输入进行艺术字编辑。
进一步地,步骤1)包括:
1.3)构造字形解码器GX,将字形特征解码为文字图片;
1.4)构造字效解码器GY,将字形特征和字效特征融合并解码为艺术字图片;
1.5)构造字形判别器DX,判别文字图片的真假;
1.6)构造字效判别器DY,判别艺术字图片的真假;
1.7)将构造的编码器、解码器和判别器组成联合网络结构,其中EX和的最后若干层共享相同的结构和参数,GX和GY的最前若干层共享相同的结构和参数,GX连接EX和的参数共享层,EX和的输出结果串联,然后与GY连接,DX连接GX,DY连接GY。
进一步地,步骤4)所述艺术字编辑包括文字图片风格化、艺术字图片去风格化、艺术字创造中的至少一种;
所述艺术字创造为:输入任意不同字效的艺术字图片y1,y2,…,yK和目标文字x,经过得到不同字效特征,加权平均后,与EX编码的字形特征串联,经过GY得到全新风格的艺术字图片其中wi是风格yi的权重,由用户指定。
与上面方法对应地,本发明还提供一种联合风格化和去风格化的艺术字编辑系统,包括:
网络结构构建模块,负责构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器,组成联合网络结构;
采样模块,负责从艺术字数据集中采样图片;
训练模块,负责利用采样的图片,对所述联合网络结构从字形编解码,艺术字图片去风格化和文字图片风格化三个方面进行训练,直到达到最大迭代次数;
艺术字编辑模块,负责利用训练好的网络结构,根据输入进行艺术字编辑。所述艺术字编辑包括文字图片风格化、艺术字图片去风格化和艺术字创造中的至少一种。
本发明的有益效果如下:
本发明提出了一种联合风格化和去风格化的艺术字编辑方法和系统,能够根据艺术字数据自动学习字效和字形的表示,不但能够保证局部纹理细节,也能保证全局纹理分布,使得生成的艺术字具有更好的主观视觉质量,除此之外,同时还能完成去风格化和艺术字创造的编辑的功能。本发明通过联合考虑字形编解码,风格化和去风格化,让网络学习提取艺术字图片中的字形特征和字效特征,并组合两个特征,能够生成高质量的艺术字图片。
附图说明
图1为本发明的网络结构图,其中(a)为整体的网络结构图,(b)为字形编解码部分的网络结构,(c)为艺术字图片去风格化部分的网络结构,(d)为文字图片风格化部分的网络结构。
图2为本发明的方法的流程图。
图3A至图3C为通过本发明方法生成的艺术字结果,其中图3A为艺术字去风格化,图3B为艺术字生成,图3C为艺术字创造。
具体实施方式
下面对本发明的详细方法流程作进一步地描述。
步骤1:构建字形编码器,字形解码器,字效编码器,字效解码器,字形判别器和字效判别器,组成联合网络结构。
构造字形解码器GX,将字形特征解码为文字图片;
构造字效解码器GY,将字形特征和字效特征融合并解码为艺术字图片;
构造字形判别器DX,判别文字图片的真假;
构造字效判别器DY,判别艺术字图片的真假。
本实施例中,上述编码器采用现有的U-Net网络中的编码器结构,将一张图片通过卷积网络映射到一个高维向量。上述解码器采用现有的U-Net网络中的解码器结构,将一个高维向量用过卷积网络映射回一张图片。上述判别器采用现有的PatchGAN网络中的判别器结构,对图像中的每个部分通过卷积网络映射到一个数值,表示图片的真实程度。
将这些部件组合成如图1中(a)图所示的网络结构,其中EX和的最后若干层共享相同的结构和参数,GX和GY的最前若干层共享相同的结构和参数,GX连接EX和的参数共享层,EX和的输出结果串联,然后与GY连接,DX连接GX,DY连接GY。
步骤2:从艺术字图片集合Y中采样艺术字图片y,及其对应的不添加字效的文字图片x,同时采样与y具有相同字效但不同字形的艺术字图片y’。
步骤3:训练网络进行字形编解码。如图1中(b)图所示,EX和GX构成自编码器,将文字图片x编码为字形特征再解码回原始的文字图片,损失函数为:
Lrec=||GX(EX(x))-x||1
其中,‖‖1表示L1范数,计算两张图片对应像素差异的绝对值之和。根据该损失函数,采用梯度下降法进行EX和GX参数的更新。
此外要求编码的字形特征与字形编码器EX的编码结果一致,损失函数为:
最后,加入对抗损失,判别器DX判断输入图片的真假,GX生成的结果要让DX判断为真。对抗损失可以为任意现有的定义方式(如LSGAN,WGAN,WGAN-GP),下给出一例:
总的损失函数为:
Ldesty=λ1Ldpix+λ2Ldfeat+λ3Ldadv
最后,加入对抗损失,判别器DY判断输入图片的真假,GY生成的结果要让DY判断为真。对抗损失可以为任意现有的定义方式(如LSGAN,WGAN,WGAN-GP),下给出一例:
总的损失函数为:
Lsty=λ4Lspix+λ5Lsadv
步骤6:重复步骤2到步骤5,直到达到最大迭代次数。最大迭代次数是指一个人为设定的数值,通过实验来确定,本实施例中,最大迭代次数为160,000。
步骤7:对于训练好的网络,根据输入进行如下艺术字编辑:
步骤7.3:艺术字创造,输入任意不同字效的艺术字图片y1,y2,…,yK和目标文字x,经过得到不同字效特征,加权平均后,与EX编码的字形特征串联,经过GY得到全新风格的艺术字图片其中wi是风格yi的权重,由用户指定。图3C示意了K=2时,通过本发明方法生成的艺术字结果。
上述网络结构中,编码器不局限于U-Net,可以是任意将图片映射到高维向量的网络结构;解码器不限于U-Net,可以是任意将高维向量映射到图片的网络结构;判别器不限于PatchGAN,可以是任意的分类网络结构;上述网络训练过程步骤3步骤4步骤5可以任意调整顺序。
本发明另一实施例提供一种联合风格化和去风格化的艺术字编辑系统,包括:
网络结构构建模块,负责构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器,组成联合网络结构;
采样模块,负责从艺术字数据集中采样图片;
训练模块,负责利用采样的图片,对所述联合网络结构从字形编解码,艺术字图片去风格化和文字图片风格化三个方面进行训练,直到达到最大迭代次数;
艺术字编辑模块,负责利用训练好的网络结构,根据输入进行艺术字编辑。所述艺术字编辑包括文字图片风格化、艺术字图片去风格化和艺术字创造中的至少一种。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种联合风格化和去风格化的艺术字编辑方法,其特征在于,包括以下步骤:
1)构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器,组成联合网络结构;
2)从艺术字数据集中采样图片;
3)利用采样的图片,对所述联合网络结构从字形编解码、艺术字图片去风格化和文字图片风格化三个方面进行训练,直到达到最大迭代次数;
4)利用训练好的网络结构,根据输入进行艺术字编辑;
其中,步骤1)包括:
1.3)构造字形解码器GX,将字形特征解码为文字图片;
1.4)构造字效解码器GY,将字形特征和字效特征融合并解码为艺术字图片;
1.5)构造字形判别器DX,判别文字图片的真假;
1.6)构造字效判别器DY,判别艺术字图片的真假;
1.7)将构造的编码器、解码器和判别器组成联合网络结构,其中EX和的最后若干层共享相同的结构和参数,GX和GY的最前若干层共享相同的结构和参数,GX连接EX和的参数共享层,EX和的输出结果串联,然后与GY连接,DX连接GX,DY连接GY;
其中,步骤3)训练所述联合网络结构进行字形编解码时,EX和GX构成自编码器,将文字图片x编码为字形特征再解码回原始的文字图片,损失函数为:
Lrec=||GX(EX(x))-x||1
其中,‖‖1表示L1范数,计算两张图片对应像素差异的绝对值之和;根据该损失函数,采用梯度下降法进行EX和GX参数的更新;
并且,要求编码的字形特征与字形编码器EX的编码结果一致,损失函数为:
然后加入对抗损失Ldadv,判别器DX判断输入图片的真假,GX生成的结果让DX判断为真;总的损失函数为:
Ldesty=λ1Ldpix+λ2Ldfeat+λ3Ldadv
然后加入对抗损失Lsadv,判别器DY判断输入图片的真假,GY生成的结果要让DY判断为真;总的损失函数为:
Lsty=λ4Lspix+λ5Lsadv
2.根据权利要求1所述的方法,其特征在于,步骤2)对于文字图片集合X和艺术字图片集合Y,从Y中采样艺术字图片y,及其对应的不添加字效的文字图片x,同时采样与y具有相同字效但不同字形的艺术字图片y’。
4.一种采用权利要求1~3中任一权利要求所述方法的联合风格化和去风格化的艺术字编辑系统,其特征在于,包括:
网络结构构建模块,负责构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器,组成联合网络结构;
采样模块,负责从艺术字数据集中采样图片;
训练模块,负责利用采样的图片,对所述联合网络结构从字形编解码,艺术字图片去风格化和文字图片风格化三个方面进行训练,直到达到最大迭代次数;
艺术字编辑模块,负责利用训练好的网络结构,根据输入进行艺术字编辑,包括风格化、去风格化和风格创造。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811487971.8A CN110097615B (zh) | 2018-12-06 | 2018-12-06 | 一种联合风格化和去风格化的艺术字编辑方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811487971.8A CN110097615B (zh) | 2018-12-06 | 2018-12-06 | 一种联合风格化和去风格化的艺术字编辑方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110097615A CN110097615A (zh) | 2019-08-06 |
CN110097615B true CN110097615B (zh) | 2021-01-19 |
Family
ID=67443651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811487971.8A Active CN110097615B (zh) | 2018-12-06 | 2018-12-06 | 一种联合风格化和去风格化的艺术字编辑方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110097615B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647965A (zh) * | 2019-08-08 | 2020-01-03 | 广东工业大学 | 一种艺术二维码转换常规二维码的方法 |
CN111986075B (zh) * | 2020-08-12 | 2022-08-09 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996278A (zh) * | 2006-01-06 | 2007-07-11 | 创新科技有限公司 | 基于文本编辑的乐谱编辑、回放方法和系统 |
CN101620735A (zh) * | 2009-08-07 | 2010-01-06 | 王伦 | 个性化艺术字体库生成方法 |
CN103810486A (zh) * | 2014-02-13 | 2014-05-21 | 广东小天才科技有限公司 | 一种处理文字的方法和装置 |
CN104952091A (zh) * | 2014-03-28 | 2015-09-30 | 缪建军 | 基于office办公套件创作卡通logo的方法 |
CN106250020A (zh) * | 2016-07-28 | 2016-12-21 | 维沃移动通信有限公司 | 一种字体的输入和显示方法及移动终端 |
CN106959939A (zh) * | 2016-01-12 | 2017-07-18 | 北大方正集团有限公司 | 空心字库生成方法和空心字库生成系统 |
CN108170649A (zh) * | 2018-01-26 | 2018-06-15 | 广东工业大学 | 一种基于dcgan深度网络的汉字字库生成方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101028628B1 (ko) * | 2008-12-29 | 2011-04-11 | 포항공과대학교 산학협력단 | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 |
CN105957136B (zh) * | 2016-04-19 | 2019-05-07 | 广州视源电子科技股份有限公司 | 艺术字效果绘制方法及其系统 |
CN106445888B (zh) * | 2016-09-30 | 2019-06-14 | 广州视睿电子科技有限公司 | 艺术字的制作方法和装置 |
CN107644006B (zh) * | 2017-09-29 | 2020-04-03 | 北京大学 | 一种基于深度神经网络的手写体中文字库自动生成方法 |
CN108510569B (zh) * | 2018-01-26 | 2020-11-03 | 北京大学 | 一种基于多通道的艺术字生成方法及系统 |
-
2018
- 2018-12-06 CN CN201811487971.8A patent/CN110097615B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996278A (zh) * | 2006-01-06 | 2007-07-11 | 创新科技有限公司 | 基于文本编辑的乐谱编辑、回放方法和系统 |
CN101620735A (zh) * | 2009-08-07 | 2010-01-06 | 王伦 | 个性化艺术字体库生成方法 |
CN103810486A (zh) * | 2014-02-13 | 2014-05-21 | 广东小天才科技有限公司 | 一种处理文字的方法和装置 |
CN104952091A (zh) * | 2014-03-28 | 2015-09-30 | 缪建军 | 基于office办公套件创作卡通logo的方法 |
CN106959939A (zh) * | 2016-01-12 | 2017-07-18 | 北大方正集团有限公司 | 空心字库生成方法和空心字库生成系统 |
CN106250020A (zh) * | 2016-07-28 | 2016-12-21 | 维沃移动通信有限公司 | 一种字体的输入和显示方法及移动终端 |
CN108170649A (zh) * | 2018-01-26 | 2018-06-15 | 广东工业大学 | 一种基于dcgan深度网络的汉字字库生成方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于条件生成对抗网络的手绘图像检索;刘玉杰 等;《计算机辅助设计与图形学学报》;20171231;第29卷(第12期);2336-2342 * |
Also Published As
Publication number | Publication date |
---|---|
CN110097615A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109635883B (zh) | 基于深度堆叠网络的结构信息指导的中文字库生成方法 | |
Jiang et al. | Scfont: Structure-guided chinese font generation via deep stacked networks | |
Wu et al. | Nüwa: Visual synthesis pre-training for neural visual world creation | |
CN110443864B (zh) | 一种基于单阶段少量样本学习的艺术字体自动生成方法 | |
CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
CN110533737A (zh) | 基于结构引导汉字字体生成的方法 | |
CN113255813B (zh) | 一种基于特征融合的多风格图像生成方法 | |
CN113901894A (zh) | 一种视频生成方法、装置、服务器及存储介质 | |
CN109461177B (zh) | 一种基于神经网络的单目图像深度预测方法 | |
CN110188667B (zh) | 一种基于三方对抗生成网络的人脸摆正方法 | |
CN112036137A (zh) | 一种基于深度学习的多风格书法数字墨水仿真方法和系统 | |
CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及系统 | |
CN110852935A (zh) | 一种人脸图像随年龄变化的图像处理方法 | |
CN112017255A (zh) | 一种根据食谱生成食物图像的方法 | |
CN113283336A (zh) | 一种文本识别方法与系统 | |
CN110097615B (zh) | 一种联合风格化和去风格化的艺术字编辑方法和系统 | |
He et al. | Diff-font: Diffusion model for robust one-shot font generation | |
CN117274450A (zh) | 基于人工智能的动画形象生成系统及方法 | |
CN108510569B (zh) | 一种基于多通道的艺术字生成方法及系统 | |
CN116485962A (zh) | 一种基于对比学习的动画生成方法及系统 | |
CN114283083B (zh) | 一种基于解耦表示的场景生成模型的美学增强方法 | |
Jo et al. | Generative artificial intelligence and building design: early photorealistic render visualization of façades using local identity-trained models | |
CN110796150B (zh) | 一种基于情感显著性区域检测的图片情感识别方法 | |
Bagwari et al. | An edge filter based approach of neural style transfer to the image stylization | |
CN112732943B (zh) | 一种基于强化学习的中文字库自动生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190806 Assignee: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Assignor: Peking University Contract record no.: X2023980033308 Denomination of invention: A Method and System for Combining Stylization and Destylization of WordArt Editing Granted publication date: 20210119 License type: Common License Record date: 20230307 |
|
EE01 | Entry into force of recordation of patent licensing contract |