CN106611172A - 一种基于风格学习的汉字合成方法 - Google Patents

一种基于风格学习的汉字合成方法 Download PDF

Info

Publication number
CN106611172A
CN106611172A CN201510696769.6A CN201510696769A CN106611172A CN 106611172 A CN106611172 A CN 106611172A CN 201510696769 A CN201510696769 A CN 201510696769A CN 106611172 A CN106611172 A CN 106611172A
Authority
CN
China
Prior art keywords
stroke
layout
chinese character
shapes
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510696769.6A
Other languages
English (en)
Other versions
CN106611172B (zh
Inventor
赵波
连宙辉
唐英敏
肖建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201510696769.6A priority Critical patent/CN106611172B/zh
Publication of CN106611172A publication Critical patent/CN106611172A/zh
Application granted granted Critical
Publication of CN106611172B publication Critical patent/CN106611172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于风格学习的汉字合成方法。本发明为：1)提取用户输入的每一手写字及对应参考字的骨架点坐标；2)根据骨架点分别计算对应手写字和参考字的笔画布局和每个笔画的笔画形状；3)对于每一手写字，计算该手写字与其对应参考字之间的笔画形状差值以及笔画布局差值；4)使用神经网络分别对笔画形状差值、笔画布局差值进行训练，得到笔画形状风格的神经网络权值、笔画布局风格的神经网络权值；5)将新的参考字的笔画惯性、笔画重心位置输入到已训练的神经网络中，分别得到该用户风格的笔画形状和笔画布局；6)组合步骤5)得到的笔画形状和笔画布局得到合成汉字的骨架，然后对该骨架进行平滑、渲染得到该用户风格的手写体汉字。

Description

一种基于风格学习的汉字合成方法
技术领域
本发明涉及一种基于风格学习的汉字合成方法。更具体地说，涉及到汉字骨架提取，使用了神经网络学习汉字风格并合成汉字骨架，再平滑、渲染。属于人工智能、计算机图形学领域。
背景技术
个人手写体汉字包含丰富的性格、背景信息，是人的一种重要特征。汉字合成旨在模仿具有特定风格的手写体，并合成具有这种风格的手写体汉字。汉字合成是一种人工智能、计算机图形学领域的交叉问题。汉字合成研究对于PC个性化、汉字识别、速记加密和完全自动图灵测试(Completely Automated Public Turing test to tell Computers andHumans Apart)具有重要意义。在互联网上，使用个人手写体与他人交流，相比于抽象的文字更能让人印象深刻。
传统上，为用户定制一套字体需要一个字体设计团队耗时一年左右完成。尽管这种方法能够保证较高的质量，但是时间和资源花费巨大，普通人无法承受。由于英文、日文(平假名)、韩文的基本字数量少、结构简单，对这些文字合成的研究较为成熟。而中文汉字数量众多、结构复杂，目前针对中文个人手写体汉字合成的研究较少，尚未有成型的技术。本发明提出一种基于风格学习的汉字合成方法，只需输入少量手写体汉字，自动化地合成具有特定风格的汉字，能够大大降低时间和资源花费。
发明内容
本发明的目的在于提出了一种基于风格学习的汉字合成方法，可以利用神经网络，从用户的少量手写体汉字中学习到特定的风格，再合成具有此风格的手写体汉字。本文提出一种方法，将汉字拆分为笔画形状和笔画布局分别合成。将手写体汉字风格拆分为笔画形状风格和笔画布局风格分别学习。
为了实现上述目的，本发明采用的技术方案如下：
算法主要包括以下七个步骤：
第一步，对用户输入的少量手写字(639汉字集)和相应的参考字分别提取骨架点坐标。639汉字集是从GB2312字库中抽取出的包含全部笔画和部件的最小汉字集。
第二步，计算手写字和参考字的每个笔画的笔画形状，即相对于笔画重心的笔画骨架点位置；和笔画布局，即相对于汉字重心的笔画重心位置。
第三步，采用文献(Dolinsky J,Takagi H.Analysis and modeling of naturalness inhandwritten characters[J].Neural Networks,IEEE Transactions on,2009,20(10):1540-1553.)中的方法，计算参考字的笔画惯性、笔画重心，将参考字的笔画惯性、笔画重心作为神经网络的输入，采用本发明方法分别计算参考字与手写字之间的笔画形状和笔画布局的差值作为输出。
第四步，使用两个神经网络分别训练、学习笔画形状风格和笔画布局风格，即相应的神经网络权值。
第五步，将新的参考字的笔画惯性、笔画重心位置输入到已训练的神经网络中，分别得到具有该用户风格的笔画形状和笔画布局。
第六步，组合得到的笔画形状和笔画布局得到合成汉字的骨架。
第七步，对得到的汉字骨架进行平滑、渲染操作，以得到手写体汉字。
进一步地，对于第一步中提取汉字骨架的具体实施步骤如下：首先对参考字和手写字的每个笔画等点数采样，每个笔画采样20个点Pij(k)＝(xij(k),yij(k))，表示第i个汉字中第j个笔画的第k个骨架点。其中x表示点的横坐标，y表示点的纵坐标，k取值范围是[1,20]。笔画表示为笔画骨架上所有点的集合Sij＝(Pij(1),Pij(2),...Pij(20))。
对于第二步，将汉字拆分成笔画形状和笔画重心，如附图3所示。将每个笔画表示成相对于笔画重心的点集。将每个字的笔画布局表示成笔画重心相对于汉字重心的点集。其中笔画重心和汉字重心均为笔画或汉字上所有点坐标的加权求和，即笔画重心为汉字重心为其中NSi表示第i个汉字的笔画数量。笔画形状计算公式为SSij＝Sij-SCij，笔画布局计算公式为SLij＝SCij-CCi。
第三步，计算每个笔画骨架中依次的相邻两个骨架点之间的差值作为笔画惯性，即ISij＝(Pij(2)-Pij(1),Pij(3)-Pij(2),...,Pij(20)-Pij(19))。计算参考字与手写字之间的笔画形状和笔画布局差值。其中笔画形状差值为笔画布局差值为其中hand表示手写字，ref表示参考字。对于笔画形状风格的学习，输入惯性，输出笔画形状差值。对于笔画布局风格的学习，输入参考字的笔画重心，输出笔画布局差值。
第四步，本发明对笔画形状风格学习采用38*40*38的前向神经网络(Feed-ForwardNeural Network)进行学习。对于笔画布局风格学习采用2*5*2的前向神经网络进行学习。
第五步，将新的参考字的惯性ISij和笔画重心位置SCij输入第4)步训练得到的神经网络，即可得到估计的笔画形状差值DSSij和笔画布局差值DSLij。将其加上参考字的笔画形状和笔画布局得到合成的笔画形状和笔画布局。
第六步，设定汉字重心位置，根据笔画布局和笔画形状定位合成汉字的骨架坐标。
第七步，对合成的汉字骨架进行平滑以减少抖动，对平滑后的骨架进行渲染得到像笔写出的手写字。
与现有技术相比，本发明的积极效果在于：
本发明提出了一种基于风格学习的汉字合成方法。本发明将汉字拆分成笔画形状和笔画布局，将汉字风格拆分成笔画形状风格和笔画布局风格。本发明除了需要用户输入少量手写体汉字外，完全由计算机自动合成。本发明的合成结果较为自然，视觉效果好，没有明显错误。
附图说明
图1是本发明所述的系统流程图；
图2是本发明所述的汉字风格学习和合成流程图；
图3是本发明所述的汉字笔画形状和笔画布局拆分示意图；
图4是本发明所述的为不同用户合成汉字的效果图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
系统的总流程如附图1所示。
首先根据汉字风格学习流程图(如附图2所示)进行汉字风格学习：
●首先对参考字和手写字的每个笔画等点数采样，每个笔画采样20个点。
●将汉字拆分成笔画形状和笔画重心，如附图3所示。将每个笔画表示成相对于笔画重心的点集。将每个字的笔画布局表示成笔画重心相对于汉字重心的点集。
●计算笔画骨架中相邻两个点之间的差值作为惯性。计算参考字与手写字之间的笔画形状和笔画布局差值。对于笔画形状风格的学习，输入惯性，输出笔画形状差值。对于笔画布局风格的学习，输入参考字的笔画重心，输出笔画布局差值。
●对笔画形状风格学习采用38*40*38前向神经网络进行学习。对于笔画布局风格学采用2*5*2的前向神经网络进行学习。
再根据汉字合成流程图(如附图2所示)合成汉字：
●将新的参考字的惯性和笔画重心位置输入第4)步训练得到的神经网络，得到估计的笔画形状差值和笔画布局差值。将其加上参考字的笔画形状和笔画布局得到合成的笔画形状和笔画布局。
●设定汉字重心位置，根据笔画布局和笔画形状定位合成汉字的骨架坐标。
●对合成的汉字骨架进行平滑以减少抖动，对平滑后的骨架进行渲染得到像笔写出的手写字。
图4是本发明为3个不同用户合成具有特定风格的手写字的效果图。可以看到本发明基本学习到了每个人的手写体风格，并合成了质量较高的汉字。

Claims (7)

1.一种基于风格学习的汉字合成方法，其步骤为：
1)提取用户输入的每一手写字的骨架点坐标，以及每一手写字对应的参考字的骨架点坐标；
2)根据提取的骨架点坐标分别计算对应手写字的笔画布局和每个笔画的笔画形状、对应参考字的笔画布局和每个笔画的笔画形状；其中，所述笔画形状为一组相对于笔画重心的笔画骨架点位置，所述笔画布局为一组相对于汉字重心的笔画重心位置；
3)对于每一手写字，计算该手写字与其对应参考字之间的笔画形状差值以及笔画布局差值；
4)使用神经网络对步骤3)得到的所述笔画形状差值进行训练、学习，得到笔画形状风格的神经网络权值；使用神经网络对步骤3)得到的所述笔画布局差值进行训练、学习，得到笔画布局风格的神经网络权值；
5)将新的参考字的笔画惯性、笔画重心位置输入到已训练的神经网络中，分别得到具有该用户风格的笔画形状和笔画布局；
6)组合步骤5)得到的笔画形状和笔画布局得到合成汉字的骨架，然后对该骨架进行平滑、渲染得到该用户风格的手写体汉字。
2.如权利要求1所述的方法，其特征在于，提取所述骨架点坐标的方法为：首先对待处理汉字的每个笔画进行等点数采样，采样点Pij(k)＝(xij(k),yij(k))表示第i个汉字中第j个笔画的第k个骨架点，其中x表示点的横坐标，y表示点的纵坐标。
3.如权利要求2所述的方法，其特征在于，每一笔画采用该笔画的骨架点集合Sij表示。
4.如权利要求3所述的方法，其特征在于，所述笔画重心为所述汉字重心为其中，NSi表示第i个汉字的笔画数量，N为笔画的骨架点总数。
5.如权利要求4所述的方法，其特征在于，所述笔画形状为SSij＝Sij-SCij，所述笔画布局为SLij＝SCij-CCi。
6.如权利要求5所述的方法，其特征在于，所述步骤3)的实现方法为：首先计算每一手写字对应的参考字的笔画惯性、笔画重心；然后将该参考字的笔画惯性作为神经网络的输入，输出手写字与其对应参考字之间的笔画形状差值，将该参考字的笔画重心作为神经网络的输入，输出手写字与其对应参考字之间的笔画布局差值。
7.如权利要求1～6任一所述的方法，其特征在于，采用38*40*38的前向神经网络对步骤3)得到的所述笔画形状差值进行训练、学习，得到笔画形状风格的神经网络权值；采用2*5*2的前向神经网络对步骤3)得到的所述笔画布局差值进行训练、学习，得到笔画布局风格的神经网络权值。
CN201510696769.6A 2015-10-23 2015-10-23 一种基于风格学习的汉字合成方法 Active CN106611172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510696769.6A CN106611172B (zh) 2015-10-23 2015-10-23 一种基于风格学习的汉字合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510696769.6A CN106611172B (zh) 2015-10-23 2015-10-23 一种基于风格学习的汉字合成方法

Publications (2)

Publication Number Publication Date
CN106611172A true CN106611172A (zh) 2017-05-03
CN106611172B CN106611172B (zh) 2019-11-08

Family

ID=58612974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510696769.6A Active CN106611172B (zh) 2015-10-23 2015-10-23 一种基于风格学习的汉字合成方法

Country Status (1)

Country Link
CN (1) CN106611172B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610200A (zh) * 2017-10-10 2018-01-19 南京师范大学 一种基于特征模板的字库快速生成方法
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
CN108304357A (zh) * 2018-01-31 2018-07-20 北京大学 一种基于字体流形的中文字库自动生成方法
CN108885703A (zh) * 2018-03-05 2018-11-23 香港应用科技研究院有限公司 机器学习人工字符生成
CN108960425A (zh) * 2018-07-05 2018-12-07 广东工业大学 一种渲染模型训练方法、系统、设备、介质及渲染方法
CN110427989A (zh) * 2019-07-18 2019-11-08 北京大学 汉字骨架自动合成方法及大规模中文字库自动生成方法
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移系统、方法及终端
CN113095421A (zh) * 2021-04-20 2021-07-09 北京百度网讯科技有限公司 生成字体数据库的方法、神经网络模型的训练方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308578A (zh) * 2008-06-20 2008-11-19 华南理工大学 一种手写汉字美化方法
CN101377854A (zh) * 2008-10-07 2009-03-04 浙江大学 一种计算机模仿汉字手写笔迹的方法
CN101599180A (zh) * 2009-03-05 2009-12-09 浙江大学 基于字迹风格模仿的计算机书法自动生成方法
CN101604451A (zh) * 2009-07-13 2009-12-16 浙江大学 一种基于形状语法的个人汉字手写字体自动仿写方法
CN102629322A (zh) * 2012-03-12 2012-08-08 华中科技大学 一种基于边界点笔画形状的字符特征提取方法及应用
CN103488339A (zh) * 2013-09-09 2014-01-01 北京大学 一种个性化汉字数字墨水的生成方法
CN104182732A (zh) * 2014-08-12 2014-12-03 南京师范大学 基于特征矩阵进行相似度匹配的手写汉字笔画确认方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308578A (zh) * 2008-06-20 2008-11-19 华南理工大学 一种手写汉字美化方法
CN101377854A (zh) * 2008-10-07 2009-03-04 浙江大学 一种计算机模仿汉字手写笔迹的方法
CN101599180A (zh) * 2009-03-05 2009-12-09 浙江大学 基于字迹风格模仿的计算机书法自动生成方法
CN101604451A (zh) * 2009-07-13 2009-12-16 浙江大学 一种基于形状语法的个人汉字手写字体自动仿写方法
CN102629322A (zh) * 2012-03-12 2012-08-08 华中科技大学 一种基于边界点笔画形状的字符特征提取方法及应用
CN103488339A (zh) * 2013-09-09 2014-01-01 北京大学 一种个性化汉字数字墨水的生成方法
CN104182732A (zh) * 2014-08-12 2014-12-03 南京师范大学 基于特征矩阵进行相似度匹配的手写汉字笔画确认方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
CN107610200B (zh) * 2017-10-10 2020-11-03 南京师范大学 一种基于特征模板的字库快速生成方法
CN107610200A (zh) * 2017-10-10 2018-01-19 南京师范大学 一种基于特征模板的字库快速生成方法
CN108304357A (zh) * 2018-01-31 2018-07-20 北京大学 一种基于字体流形的中文字库自动生成方法
CN108304357B (zh) * 2018-01-31 2020-09-08 北京大学 一种基于字体流形的中文字库自动生成方法
CN108885703A (zh) * 2018-03-05 2018-11-23 香港应用科技研究院有限公司 机器学习人工字符生成
CN108885703B (zh) * 2018-03-05 2021-11-26 香港应用科技研究院有限公司 机器学习人工字符生成
CN108960425B (zh) * 2018-07-05 2022-04-19 广东工业大学 一种渲染模型训练方法、系统、设备、介质及渲染方法
CN108960425A (zh) * 2018-07-05 2018-12-07 广东工业大学 一种渲染模型训练方法、系统、设备、介质及渲染方法
CN110427989B (zh) * 2019-07-18 2021-07-09 北京大学 汉字骨架自动合成方法及大规模中文字库自动生成方法
CN110427989A (zh) * 2019-07-18 2019-11-08 北京大学 汉字骨架自动合成方法及大规模中文字库自动生成方法
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移系统、方法及终端
CN112818634B (zh) * 2021-01-29 2024-04-05 上海海事大学 书法作品风格迁移系统、方法及终端
CN113095421A (zh) * 2021-04-20 2021-07-09 北京百度网讯科技有限公司 生成字体数据库的方法、神经网络模型的训练方法和装置
US11816908B2 (en) 2021-04-20 2023-11-14 Beijing Baidu Netcom Science Technology Co., Ltd. Method of generating font database, and method of training neural network model
CN113095421B (zh) * 2021-04-20 2024-03-05 北京百度网讯科技有限公司 生成字体数据库的方法、神经网络模型的训练方法和装置

Also Published As

Publication number Publication date
CN106611172B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN106611172A (zh) 一种基于风格学习的汉字合成方法
CN106384094B (zh) 一种基于书写风格建模的中文字库自动生成方法
CN107766842B (zh) 一种手势识别方法及其应用
CN101958007B (zh) 一种采用草绘的三维动画姿态建模方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN100583135C (zh) 一种汉字书写形态美观度的计算机评估方法
CN101393645A (zh) 一种手写体汉字的计算机生成与美化方法
CN108304357A (zh) 一种基于字体流形的中文字库自动生成方法
CN104268526B (zh) 一种汉字图片匹配与变形方法
CN110427989A (zh) 汉字骨架自动合成方法及大规模中文字库自动生成方法
CN109064522A (zh) 基于条件生成对抗网络的汉字字体生成方法
CN101393693B (zh) 一种汉字书写计算机教学方法
CN110378208A (zh) 一种基于深度残差网络的行为识别方法
CN109064389B (zh) 一种手绘线条画生成现实感图像的深度学习方法
CN107516316A (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN107748798A (zh) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN104821005B (zh) 可模拟笔势风格的汉字书法作品书写过程动态复现的方法
CN108960301A (zh) 一种基于卷积神经网络的古彝文识别方法
CN109359527A (zh) 基于神经网络的头发区域提取方法及系统
CN108154156A (zh) 基于神经主题模型的图像集成分类方法及装置
Zhao et al. Pen tip motion prediction for handwriting drawing order recovery using deep neural network
CN110309510A (zh) 一种基于c-s和gru的看画题诗方法
CN104268915B (zh) 一种手写汉字的实时轮廓美化方法
CN109993135A (zh) 一种基于增强现实的手势识别方法、系统及装置
CN113326725B (zh) 基于骨架引导传输网络的汉字字体自动生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant