CN111475667A - 一种基于手写汉字的机械臂楷体风格书法撰写方法 - Google Patents

一种基于手写汉字的机械臂楷体风格书法撰写方法 Download PDF

Info

Publication number
CN111475667A
CN111475667A CN202010269789.6A CN202010269789A CN111475667A CN 111475667 A CN111475667 A CN 111475667A CN 202010269789 A CN202010269789 A CN 202010269789A CN 111475667 A CN111475667 A CN 111475667A
Authority
CN
China
Prior art keywords
stroke
strokes
calligraphy
mechanical arm
regular script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010269789.6A
Other languages
English (en)
Inventor
胡少军
张馨月
李原浩
今野晃市
张志毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN202010269789.6A priority Critical patent/CN111475667A/zh
Publication of CN111475667A publication Critical patent/CN111475667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification

Abstract

本发明涉及计算机科学技术领域，公开了一种基于手写汉字的机械臂楷体风格书法撰写方法，包括以下步骤：用户在人机界面上写下完整汉字，提取完整汉字的各个笔画，依次得到每个笔画的坐标，对每个笔画的类型进行识别；得到标准书法笔画；从标准楷体书法笔画的图像中提取若干参数，建立标准笔画数据库，根据识别的手写的笔画类型，检索数据库中相同类型的书法笔画；使用全局优化方法对数据库中相同类型的书法笔画进行优化，生成最优笔画；将最优笔画的信息输入至机械臂，机械臂对最优笔画的信息进行处理后将最优笔画写在宣纸上，这种基于手写汉字的机械臂楷体风格书法撰写方法，实现了根据手写汉字，得到由机械臂书写的楷体书法作品。

Description

一种基于手写汉字的机械臂楷体风格书法撰写方法
技术领域
本发明涉及计算机科学技术领域，特别涉及一种基于手写汉字的机械臂楷 体风格书法撰写方法。
背景技术
书法是一种探索人类书写之美的传统艺术，然而，对于非专业书法爱好者 来说，写出让人赏心悦目又独具自身字体风格的书法作品是一个挑战。现有的 系统虽能根据手写汉字生成数字书法，但缺少了毛笔、墨汁和纸张相互作用带 给人嗅觉和视觉上真实的审美冲击，不能更直观地欣赏呈现在纸面上的书法 字。为此，本研究开发了一个智能系统，它可以美化手写汉字，并使用机械臂 将汉字以楷体书法的形式书写出来，具有将手写汉字转换为由机械臂书写的物 理书法的优势。同时，为了以用户的风格输出美观的楷体书法作品，采用了一 种全局优化的方法来解决手写笔画和标准书法笔画之间的最优化问题，其中提 出了用形态特征向量(SCV)来描述标准书法笔画的形状。最后将优化后的笔 画由机械臂执毛笔写在宣纸上，书写结果表明该系统能够在保持用户手写字形 特征的同时，实现输入汉字能够拥有美观的楷书智能书写效果。
书法是汉字书写的一种艺术表现形式，这种文化载体深得大众的喜爱和学 习。然而，由于汉字本身的结构复杂性和笔画多样性，使得在计算机中将手写 汉字美化成相应的书法风格字符存在困难，加之书法作品对书写技巧的要求远 远高于硬笔作品，也进一步加剧了机器人智能书写的难度。面对这一挑战，一 些汉字风格转换的在线系统在网络上应运而生[1]Online Chinese Calligraphy Generator:https://www.zhenhaotv.com/.Accessed on Dec.4,2018，可以有效地将 键盘输入的汉字生成某特定风格的书法笔迹，但完全缺少用户自身书写风格。 在计算机应用及人工智能研究领域，前期虽然使用Bezier曲线控制笔画的轮廓 点[2]Liu,L.,Xia,W.,Jin,L.,Mao,H.,Tian,F.:A Kai stylecontour beautificationmethod for Chinese handwriting characters.In:2010 IEEEInternational Conference on Systems,Man and Cybernetics,pp.3644–3649 (2010),[3]Zhang,Z.,Wu,J.,Yu,K.:Chinese calligraphy specific style renderingsystem.In:Proceedings of the ACM International Conference on DigitalLibraries, pp.99–108(2010)，以及采用插值方法可以美化汉字[4]Li,H.,Liu,P.,Xu,S.,Lin, S.:Calligraphy beautification method for Chinese handwritings.In:2012 4thInternational Conference on Digital Home,pp.122–127(2012)，能够生成视觉上 可信的数字书法。但以上研究聚焦在通过计算机完成从输入手写汉字到具体书 法的美化过程，然而，如何在生成书法汉字后还能将其书写至纸上，这一着眼 点更具趣味性和前瞻性。
计算机实现书法汉字的生成已被广泛研究。在一些基于书法图像生成与其 风格一致或相近的数字书法研究中[5]Xu,S.,Francis,C.,Yunhe,P.:Automatic artisticcalligraphy generation.In:CSIS Technical Reports TR-2003(2003),[6]Xu, S.,Francis,C.William,K.,Yunhe P.:Automatic generation of artistic Chinesecalligraphy.IEEE Intelligent Systems,20(14),32-39(2005),[7]Xu,S.,Francis,C.,Yunhe,P.:Principles of automatic generation of artistic Chinese calligraphy.AComputational.Approach to Digital Chinese Painting and Calligraphy,
203-225(2009)，从现有作品中提取书法部首或书法笔画等素材，进行相应的变形，最后合成书法字，这一类的书法字有些侧重笔画形态及汉字结构，有些则 偏向笔画书写的质地。基于手写体的书法字生成研究中，Dong等[8]Dong,J., Xu,M.,Zhang,X.,Gao,Y.,Pan Y.The creation process of Chinese calligraphy and emulation of imagerythinking.In:IEEE Intelligent Systems,23(6):56-62(2008)提 出了一种基于带参统计模型的笔画形变方法，从笔画轮廓中提取特征点，通过 调节参数生成新的风格的笔画。Liu等[2]将一笔手写笔画分割成若干段，并用 三次Bezier曲线美化了楷体书法的轮廓。Zhang等[3]通过控制每个笔画的轮廓 点，实现从手写到书法的美化。Li等[4]提出了一种美化汉字笔迹的插值方法。 Yi等[9]Yi,T.,Lian,Z.,Tang,Y.,Xiao,J.:Adata-drivenpersonalized digital ink for Chinese characters.In:Gurrin,C.,Hopfgartner,F.,Hurst,W.,Johansen,H.,Lee,H., O’Connor,N.(eds.)MultiMedia Modeling,pp.254–265.Springer,New York (2014).https://doi.org/10.1007/978-3-319-04114-8提出了一种由离线汉字笔迹生 成数字书法的方法。以上这些方法几乎都可以产生在视觉上令人满意的数字书 法，但普遍具有三大限制:(1)对所输入手写字符的整齐度和美观度要求太高， 因此不适合普通的非专业用户。(2)生成的模拟书法很难同时保持用户的手写 特征和标准的楷体书法风格。(3)模拟产生的书法不适合机器人书写。
人工智能的兴盛为机器人书写的研究提供了沃土，机械臂也可以完成单一笔画或汉字的书写[10]-[16]Kim,S.,Jo,J.,Oh,Y.,Oh,S.,Srinivasa,S.,Likhachev, M.:Robotic handwriting:multi-contact manipulation based on reactional internalcontact hypothesis.In:2014IEEE/RSJ International Conference onIntelligentRobots and Systems,pp.877–884(2014)，Hashiguchi等[10]Hashiguchi,H.,Arimoto,S.,Ozawa,R.:Control of a handwriting robot with DOF-redundancybased on feedback in taskcoordinates.J.Robot.Mechatron.16,381–387(2004)利用可变阻抗控制完成了一个人-机交互的书法作品。Lo等[11]Lo,K.W.,Kwok, K.W.,Wong,S.M.,Yam,Y.:Brush footprint acquisition and preliminary analysis for Chinesecalligraphy using a robot drawing platform.In:2006IEEE/RSJ InternationalConference on Intelligent Robots and Systems,pp.5183–5188(2006) 开发了一种捕捉和分析书法作品创作中笔刷轨迹的工具。Chao等[12]Chao,F., Lv,J.,Zhou,D.,Yang,L.,Lin,C.,Shang,C.,Zhou,C.:Generative adversarial nets in robotic Chinesecalligraphy.In:2018IEEE International Conference on Robotics and Automation(ICRA),pp.1104–1110(2018)通过Kinect捕捉人体动作，然后用 机械手臂控制硬笔在白板上写字。这些方法更多地关注于机械臂的运动控制， 很少考虑到软笔刷接触纸面后的变形情况。Yao等[13]Yao,F.,Shao,G.,Yi,J.: Trajectory generation of the writing-brush for a robot arm to inherit block-style Chinese character calligraphytechniques.Adv.Robot.18(3),331–356(2004)构建 了一个书法汉字数据库，用于生成机械臂的毛笔运行轨迹。然而，为了实现机 器人书写，输入的书法图像必须是美观的。因此，对于普通用户来说是不可行 的。Muller等[14]Mueller,S.,Huebel,N.,Waibel,M.,D’Andrea,R.:Robotic calligraphy-learning how to write single strokes of Chineseand Japanese characters. In:2013IEEE/RSJ International Conference onIntelligent Robots and Systems,pp. 1734–1739(2013)提出了一种新的基于学习的方法，使用机械臂来书写单个书 法笔画。而这种方法侧重于书写单个笔画，而不是完整的汉字。此外，也没有 考虑到用户的手写风格。Sun等[15]Sun,Y.,Qian,H.,Xu,Y.:Robotlearns Chinese calligraphy from demonstrations.In:2014IEEE/RSJ InternationalConference on Intelligent Robots and Systems,pp.4408–4413.IEEE,New York(2014)提出了一 种局部加权线性回归的方法来实现从笔画表示到笔刷轨迹的映射，但这需要人的演示，而且很难由用户的输入生成风格化的书法。
综上所述，现有技术缺点主要包括：
依据手写汉字特征和形态，通过Bezier曲线等方法来调整和控制书法笔画 轮廓可用于生成优美的数字书法，但要求输入的手写字符必须整齐漂亮，对普 通用户不够友好，并且很难同时保持用户的手写特征和标准的楷体书法风格。
现有的将手写汉字变形美化为书法的方法仅实现了数字模拟，未利用机器 人进行真实的物理书写。
发明内容
本发明提供一种基于手写汉字的机械臂楷体风格书法撰写方法，能够生成 与标准书法笔画相似度高的楷书笔画，优化后的目标笔画既维持了手写汉字特 征，又增加了书法的笔画形式，实现了根据手写汉字，得到由机器人书写的楷 体书法作品。
本发明提供了一种基于手写汉字的机械臂楷体风格书法撰写方法，以下步 骤：
S1、用户在人机界面上写出完整汉字，提取完整汉字的各个笔画，依次得 到每个笔画的坐标，采用卷积神经网络对每个笔画的类型进行识别；
S2、得到标准书法笔画；
从标准楷体书法笔画的图像中提取若干笔画参数，建立标准笔画数据库， 根据手写完整汉字的笔画类型，检索数据库中相同类型的书法笔画；
S3、使用全局优化方法对数据库中相同类型的书法笔画进行优化，生成最 优笔画；
最优笔画具有数据库中标准书法笔画的风格，也保留用户的手写特征；
S4、将最优笔画的信息输入至机械臂，机械臂对最优笔画的信息进行处理 后将最优笔画写在宣纸上。
上述步骤S1中每个笔画的坐标是通过界面直接提取笔画的坐标信息，界 面所示汉字均以单像素形式显示，即矢量化汉字骨架，每个输入笔画都被自适 应地重新采样，行成一条折线，系统实时提取矢量化汉字笔画的骨架点，自动 将这些汉字笔画的骨架点按顺序保存在一个文件中，利用提取的笔画骨架点自 动生成笔画图像。
上述步骤S1中的卷积神经网络的输入层选择大小为48×48的图像，层数 为8，建立一个手写笔画训练集，手写笔画训练集收集了包含20种常用笔画的 4000个样本，其中每一种常用笔画由20个不同的人分别写下10个样本，共 200个训练图像，同时，为了避免过拟合，引入了十折交叉验证。
上述步骤S2中的建立标准笔画数据库的方法为：
先对每个标准笔画进行参数建模，选取20种楷书常用笔画为标准楷书原 型，使用标准的阈值和细化算法从20幅楷书笔画图像中提取骨架，引入一个 三元组关系(li j,θi j,wi j)来表示笔画的骨架信息，下标i表示第i个笔画，上标j 指第i个笔画中的第j段，l,θ和w分别代表笔画段的长度，倾斜角度和平均 宽度；每一笔画可以根据起点、角点和终点将笔画分成若干笔画段，第一个分 段是从起点至第一个角点，最后一个分段从最后一个角点至终点，中间段分别 由两个相邻角点连接，将笔画头部、尾部以及拐角定义为刚性段，刚性部分包 含了楷体书法重要的风格特征，刚性段之间的过渡部分定义为柔性段，柔性段 根据用户的手写风格灵活调整，对柔性段进行非刚性变换。
上述笔画段的平均宽度w的计算方法为：
以horig代表笔刷长度，hrest为变形后笔刷的垂直长度，用horig-hrest表示毛笔 的下降高度h，对每一条笔画，不考虑起笔和收尾部分的宽度，测量中间三个 位置的笔画宽度，并以三个笔画宽度数据的平均值作为该笔画的宽度值，采用 标准最小二乘法来拟合w与h间的关系，两者间的线性关系为：
w＝0.7893h+1.414(1)。
上述步骤S3中使用全局优化的方法为：对手写笔画点和优化生成点之间 的加权欧几里德距离进行最小化，引入一个描述位置相似度函数F(w,υ)，位置 相似度函数F(w,υ)的计算公式如下:
Figure BDA0002442735020000062
其中wi表示优化后的二维坐标控制点，vi代表原手写笔画的骨架点，通过 位置相似度函数生成的目标笔画骨架点位置无限靠近手写笔画的骨架点。
上述步骤S3中最优笔画的生成方法为：
定义了笔画特征向量SCV来描述笔画的形状，ui、ui+1、ui+2为标准骨架中 的相邻点，wi,wi+1,wi+2为生成的目标笔画中的相邻骨架点，则两种笔画骨架 点的SCV用向量pi和qi表示为：
Figure BDA0002442735020000063
为了保持标准楷体书法笔画的风格，通过使两种笔画特征向量间距离最短 来进行约束，约束函数G(u,w)的计算公式为：
Figure BDA0002442735020000061
wi,wi+1,wi+2为目标笔画上的三个相邻骨架点，则wi,wi+1的单位方向向量 的公式为：
Figure BDA0002442735020000071
通过使两组相邻骨架点间的方向向量ni与ni+1距离最短，来控制笔画的平 滑，因此，目标骨架点变形的平滑度测量函数H(w)记为：
Figure BDA0002442735020000072
最后，生成的最优笔画骨架点是通过求解F(w,υ)+G(u,w)+H(w)的最小化 问题来实现，并为三个约束函数F(w,υ)、G(u,w)和H(w)分别附以权重参数α,β, γ，即公式(7)：
Figure BDA0002442735020000073
采用共轭梯度下降法求解公式(7)，得到全局最优笔画骨架点的坐标值，不 断改变三个权重参数α,β,γ，选择一个最优的参数组合以供机械臂书写。
上述三个权重参数α,β,γ的取值范围均为[0,1,1]。
上述步骤S4中机械臂对最优笔画的信息进行处理的方法为：在每个传输 至机械臂的目标笔画中，针对其刚性和柔性部分进行区别处理，对于柔性段， 使用经过优化模型优化后的骨架点来控制机械臂的运动轨迹；由于刚性段包含 绝大部分楷书风格和特征信息，因此刚性段部分的长度和宽度与标准书法笔画 保持一致，即刚性段完全替换成标准笔画的形态，以便最大化地保持楷体风格。
与现有技术相比，本发明的有益效果在于：
本发明的方法普适于专业和普通用户的从手写汉字到书法的全局优化，为 不同的书法笔画构建的面向机械臂书写的楷体书法笔画库；能够生成与标准书 法笔画相似度高的楷书笔画，优化后的目标笔画既维持了手写汉字特征，又增 加了书法的笔画形式，实现了根据手写汉字，得到由机械臂书写的楷体书法作 品。
附图说明
图1为本发明提供的智能书写系统的概述图。
图2为本发明实施例提供的对比示意图；左部使用手写板书写汉字“才”； 右部在用户界面上同步显示汉字“才”。
图3为本发明实施例提供的卷积神经网络的架构图。
图4为本发明实施例提供的以笔画“横”为例，建立“横”的参数模型。
图5为本发明实施例提供的对比示意图；左部书写时笔尖下压发生变形； 右部随机械臂控制笔尖下降不同的高度，产生不同宽度的笔画“横”。
图6为本发明实施例提供的对比图；(a)手写笔画骨架“竖钩”；(b)标准书 法笔画骨架；(c)生成目标笔画骨架；(d)标注方向向量。
图7为本发明实施例提供的α,β,γ不同参数组合下的笔画结果(a-d)图。
图8为本发明实施例提供的Dobot机械臂外观图。
图9为本发明实施例提供的用于机械臂书写控制的Dobot Studio界面图。
图10为本发明实施例提供的对比示意图；(a)标准书法笔画原型；(b)机械 臂书写的楷书笔画。
图11为本发明实施例提供的对比示意图；(a)用户写下的手写汉字“才”； (b)手写汉字在一个与宣纸等大的90×90方格中；(c)优化后的汉字“才”。
图12为本发明实施例提供的对比示意图；(a)从左到右:随着笔刷高度下 降，未进行优化的结果；(b)优化后且无刚性段替换的书法书写结果；(c)优化后 且用刚性段替换的书法书写结果。
图13为本发明实施例提供的对比示意图；上部为经过优化模型 优化后的模拟汉字“才”；下部为机械臂书写的楷体书法“才”，上部左 图为手写汉字；中图为第一组权重组合优化后的目标汉字；右图为 第二组权重组合优化后的目标汉字，下部左图为无优化的手写书法； 中图为第一组参数下的书法汉字；右图为第二组参数下的书法汉字。
图14为本发明实施例提供的对比示意图；(a)普通用户的手写汉字及机械 臂书写的楷体书法对比；(b)专业用户的手写汉字及机械臂书写的楷体书法对 比。
具体实施方式
下面结合附图1-14，对本发明的一个具体实施方式进行详细描述，但应当 理解本发明的保护范围并不受具体实施方式的限制。
本发明提出了一个智能书写系统，能够将手写汉字美化成具有视觉美感的 书法，并由机械臂书写该书法汉字。正如图1所示，以汉字“才”为例，该系统 包括四个部分。第一部分：首先，用户使用鼠标或手写板在界面上写下完整汉 字，如图1a所示。然后，由系统自动提取各个笔画，依次得到每个笔画的坐 标，如图1b所示。接下来采用卷积神经网络(CNN)对每个笔画类型进行识别， 如图1c所示；第二部分：为了得到标准书法笔画，需要首先从标准楷体书法 笔画图像中提取若干参数，建立标准笔画数据库，如图1d-e所示。然后根据图1c中识别的手写笔画类型，检索数据库中相同类型的书法笔画，如图1f所示； 第三部分：得到上述两种笔画后，使用全局优化方法生成用于机器人书写的最 优笔画，如图1g所示。一方面，生成的目标笔画应该具有数据库中标准书法 笔画的风格。另一方面，它也应该保留用户的手写特征；第四部分：将优化后 的目标笔画信息输入至机械臂，使其将书法写在宣纸上，如图1h所示。
下面对系统中四个部分所用技术进行详细介绍，包括手写汉字输入和识 别，标准书法笔画库，全局优化模型以及机械臂书写控制。
1.手写汉字输入和识别
手写汉字的输入和识别是机器人书写系统的基础。汉字输入和笔画提取的 方法主要分为两类，一种是基于图像的笔画提取，另一种则通过用户界面提取 笔画。为了更加方便智能地记录笔画坐标和笔画顺序，开发了一个直观的用户 界面来记录用户的手写汉字，并从该字符中直接提取笔画坐标信息。如图2所 示，使用手写板在用户界面写下完整的汉字“才”，界面所示汉字均以单像素形 式显示，即汉字骨架。每个输入笔画都被自适应地重新采样，行成一条折线。 图中黑色线条表示手写笔画“横”、“竖钩”和“撇”的骨架。实时提取矢量化骨架 点。书写完成后，系统自动将这些笔画点按顺序保存在一个文件中。采用该方 法的主要优点是生成的笔画信息适合计算坐标，驱动机械臂的关节运动形成书 写轨迹。
在此基础上，利用提取的笔画骨架点自动生成笔画图像，使用卷积神经网 络(CNN)识别所提取笔画的笔画类型。为了避免由图像质量引起的识别率低 的问题，对笔画图像进行预处理。同时，为了平衡图像尺寸、网络层数和系统 识别率三者间的相互影响，输入层选择大小为48×48的图像，层数为8。此外， 由于没有公开的手写笔画数据集，必须自行建立一个手写笔画训练集，因此收 集了包含20种常用笔画的4000个样本。其中每一种笔画由20个不同的人分 别写下10个样本，共200个训练图像。同时，为了避免过拟合，引入了十折 交叉验证。该识别系统中使用的CNN结构如图3所示。
2.标准书法笔画库
为获取标准书法笔画的信息，先对每个标准笔画进行参数建模。选取田雪 松与田英章的著作《古今名句楷法精讲》[18]Tian,X.,Tian,Y.:The Elaboration of Ancientand Modern Famous Kai Calligraphy.Jiangxi Fine Arts Press,Jiangxi (2007)，中的20种常用笔画为标准楷书原型。首先，使用标准的阈值和细化算 法[19]Okutomi,M.:Digital Image Processing.The Computer Graphic Arts Society (CG-ARTS),Tokyo(2015)从20幅楷书笔画图像中提取骨架。并引入一个三元 组关系(li j,θi j,wi j)来表示笔画的骨架信息，如图4所示。下标i表示第i个笔画， 上标j指第i个笔画中的第j段。l,θ和w分别代表笔画段的长度，倾斜角度， 和平均宽度。每一笔画可以根据起点、角点、终点将笔画分成若干笔画段，如 图4所示。第一个分段是从起点至第一个角点，最后一个分段从最后一个角点 至终点，中间段分别由两个相邻角点连接。与Zhang等[3]的处理方法类似，将 笔画头部、尾部以及拐角定义为刚性段(如图4所示)，刚性部分包含了楷体 书法重要的风格特征。刚性段之间的过渡部分定义为柔性段(如图4所示)， 不同于刚性部分的是，柔性段可以根据用户的手写风格灵活调整，因此可以对 其进行非刚性变换。
对于参数w，如何有效地控制机械臂所写笔画的宽度？提出的解决方案是： 求解笔画宽度与机械臂控制毛笔下降高度间的近似关系。包含两个步骤：
(1)如图5所示，以horig代表笔刷长度，hrest为变形后笔刷的垂直长度。 用horig-hrest表示毛笔的下降高度h，h可以很容易地通过机械臂控制得到。
(2)为了确定w和h之间的关系，设计一个实验来收集机械臂控制毛笔 每下降1毫米对应的实际宽度。图5(右)显示了笔画“横”不同宽度的书写结 果。对每一条笔画，不考虑起笔和收尾部分的宽度，测量中间三个位置的笔画 宽度，并以三个数据的平均值作为该笔画的宽度值，笔尖由1mm降至7mm， 对应的笔画宽度分别为2、3.2、3.8、4.5、5.5、6.2、6.8mm。采用标准最小二 乘法来拟合w与h间的关系。得到两者间的线性关系为
w＝0.7893h+1.414 (1)
残差平方和为0.1311，决定系数R2为0.9925，表明该近似关系的拟合优度比较高。
数据库中的每一个笔画都有不同的参数模型，这些参数模型对机械手的控 制起着重要的作用。依据20个标准笔画参数模型中的参数信息，得到预定的 毛笔笔刷运动轨迹。然而，由于软笔刷的初始状态对书写结果有很大的影响， 所以用相同的参数书写相同的笔画的结果变化很大。因此，如果笔头有不可逆 的变形，在书写新笔画之前，需要手动小幅规整笔刷的形状。
3.全局优化模型
书法美化是将手写汉字转化为具有特定风格的书法的过程，与传统的通过 轮廓控制来美化书法不同的是，本发明研究的是骨架点而并非轮廓点。因为真 正的毛笔是软的，很难控制机械臂精确画出详细的轮廓信息，而在高度可控条 件下使机械臂沿骨架点运动就可以得到一条连续的笔画轨迹。通过运用前两部 分技术，已经可以获得手写笔画和标准书法笔画的骨架点，下一步研究的目标 是通过对每一个笔画应用全局优化模型生成目标笔画，使该笔画既保留用户的 手写特征，又不失楷体书法风格。
为了保留手写笔画的位置，生成的骨架应尽可能与用户手写骨架一致。为 了达到这个目标，可以最小化手写笔画点和优化生成点之间的加权欧几里德距 离。由此引入一个描述位置相似度的约束函数F(w，υ)，位置相似度函数F(w，υ) 的计算公式如下：
Figure BDA0002442735020000121
其中wi表示优化后的二维坐标控制点，vi代表原手写笔画的骨架点，见图 6所示。通过公式(2)可使生成的目标笔画骨架点位置无限靠近手写笔画的骨架 点。
第二个目标需要保持标准楷体书法的形态。定义了笔画特征向量(SCV)来 描述笔画的形状，如图6所示，ui、ui+1、ui+2为标准骨架中的相邻点，wi，wi+1， wi+2为生成的目标笔画骨架中的相邻点。则两种笔画骨架点的SCV可以用和向 量pi和qi表示，公式如(3)所示。
Figure RE-GDA0002500511640000152
为了保持标准楷体书法笔画的风格，可以通过使两笔画特征向量间距离最 短来进行约束，约束函数G(u，w)的计算公式为：
Figure BDA0002442735020000123
此外，目标笔画的平滑度也是影响书法美观度的一个关键因素。设wi,wi+1, wi+2为目标笔画上的三个相邻骨架点，则wi,wi+1的单位方向向量如图6(d)所 示，公式为：
Figure BDA0002442735020000131
通过使两组相邻骨架点间的方向向量ni与ni+1距离最短，来控制笔画的平滑。 因此，目标骨架点变形的平滑度测量函数H(w)可记为：
Figure BDA0002442735020000132
最后，生成的最优笔画骨架点是通过求解F(w,υ)+G(u,w)+H(w)的最小化 问题来实现，并为三个约束函数分别附以权重参数α,β,γ，即公式(7)：
Figure BDA0002442735020000133
采用共轭梯度下降法求解公式(7)，得到全局最优笔画骨架点的坐标值。
不断改变三个权重参数α,β,γ，选择一个最优的参数组合以供机械臂书 写。为了观察不同参数组合对优化笔画的影响差异，将每个参数的取值范围设 置为[0.1,1]，并在保持其余参数不变的情况下改变其中一个参数。以笔画“撇” 为例，来说明不同参数对结果的影响。
图7(a-d)所示的对笔画“撇”的优化结果表明：
(1)当α和β固定时，γ越大生成的目标笔画越平滑流畅，如上图(a)和(b)；；
(2)当α和γ固定时，β越大生成的目标笔画越近似于标准书法笔画，如 上图(c)和(d)；
(3)当β和γ固定时，α越大生成的目标笔画越容易保留原手写笔画的位 置特征，如上图(b)和(d)。
基于以上分析并结合其他多组参数组合的优化结果发现，α＝0.5，β＝1， 和γ＝1时，优化后的笔画骨架不仅增加了书法的笔画特征，也具有手写汉字的 风格。因此，选择这个参数组合来优化笔画“撇”。对于其他笔画，“横”和“竖钩”， 用同样的方式选择最优的参数组合，以及该组合下优化后的笔画骨架。
4.机械臂书写控制
机械臂智能书写方面，使用坐标计算的控制方法最适于本研究中高集成化 机械臂的控制。Dobot机械臂的所有运动都是通过四自由度关节实现的，如图 8所示。优化后，必须将每个笔画的三维控制点坐标(x,y,z)准确地传输到机械臂。 其中，坐标(x,y)就是优化后的二维骨架点，高度值z来源于标准笔画上骨架点 的高度值h。但由于优化后会改变生成点的位置，因此，直接利用标准笔画上 相应点的z值会使对应的笔画宽度值发生偏差，影响美观。
为解决这个问题，首先扩展优化后目标笔画骨架上的点，然后从标准笔画 中重定位出与目标笔画同一比例位置的点。算法1描述了定位对应点的过程。
Figure BDA0002442735020000141
算法1
之后在定位点的相邻两点高度值之间做线性插值，作为控制点的z值。最 后，这些三维控制点通过Dobot Studio接口传输到机械臂，机械臂的控制界面 如图9所示。
为了保证机械臂所写书法能够充分彰显楷体的特征，需要进一步对笔画进 行处理。由前面的工作可知，在为每个类型的笔画建立参数模型时，将笔画分 为刚性部分和柔性部分(参考图4)。在每个传输至机械臂的目标笔画中，针对 其刚性和柔性部分进行区别处理。对于柔性段(参考图4)，使用经过优化模型 优化后的骨架点来控制机器人的运动轨迹；但由于刚性段包含绝大部分楷书风 格和特征信息(参考图4)，因此使该部分长度和宽度与标准书法笔画保持一致， 即刚性段完全替换成标准笔画的形态，以便最大化地保持楷体风格。
本发明能够实现：
(1)一种普适于专业和普通用户的从手写汉字到书法的全局优化；
(2)为不同的书法笔画分段建立特征参数模型，并以此构建的面向机械 臂书写的楷体书法笔画库；
(3)一个将笔画刚性段与柔性段进行差别处理，有效地将数字书法通过 机械臂实现物理书写的智能书写。
本发明的有益效果
(1)建立了一个面向机械臂书写的标准书法笔画库。
采用先对标准笔画建立参数模型(类比于图4)，再利用模型中的三元组信 息由机械臂写出物理形式的书法笔画的方法，构建出如图10所示的标准书法 笔画库。对比图10中(a)、(b)两幅图像表明，该方法可以生成与标准书法笔画 相似度高的楷书笔画。
(2)构建了一种从手写汉字到书法风格的全局优化模型。
如图11所示，对用户手写汉字“才”进行书法风格的美化变形实验，通过 书写界面依次提取笔画“横”、“竖钩”、“撇”，并分别对三个笔画应用公式(7)的 全局优化模型。图11(c)中显示的优化结果表明，优化后的目标笔画既维持了 手写汉字特征，又在起笔和收笔部分增加了书法的笔画形式。
(3)实现了根据手写汉字，得到由机器人书写的楷体书法作品。
应用上述(2)中的全局优化方法后，得到既维持手写特征又富有书法特性的 目标笔画。为了使机械臂的书写结果更具楷体书法的特征，先将每一笔画的刚 性段和柔性段分别进行处理，再将处理后各个笔画的骨架点通过机械臂接口传 输至机械臂进行书写。
如图12所示，对汉字“才”进行了对比实验。在图12(a)中，直接利用手写 笔画二维点以恒定的笔刷高度h进行书写，所得的未优化书法在头部和尾部等 刚性部分不具有楷体书法的特征(参见图6中的标准书法笔画)，因此缺乏书 法的美感。此外，随着笔刷的逐渐下降，会引起更大程度的弯曲，从而导致刚 性段无法美观的书写。在图12(b)中，将笔画的所有段都视为柔性段。与未优 化的图12(a)相比，优化后的书法结果在笔画的角点处表现出一定的楷书特征, 但是一些刚性段仍未完全体现(圆圈部分)。图12(c)在优化后对刚性段进行标准 书法中同一刚性部分的替换，产生了近乎专业的书法效果。对比图12(a)的结果，该方法很好地保留了刚性段的所有特征，参见图中圆圈所示的头部和尾部。
本发明构建了一个智能书写系统，该系统包括一个用于记录和提取手写笔 迹的简单界面，一个基于CNN的单笔画识别，针对笔画变形的全局优化方法， 以及能够在纸上真实书写优化后书法汉字的机械臂。该系统的书写结果不仅保 持了用户独特的手写风格，还保留了楷书的书法风格。
系统中采用的全局优化方法有效解决了从手写字符生成美观的楷体书法 的问题，可以通过调整优化模型中各权重参数比例，轻松地实现手写风格与书 法风格地选择偏向，例如在图13中展示了对同一手写汉字“才”，在两种权重 参数组合下机械臂写出的两种风格特征的书法作品。为研究隶书、草书等其他 多风格汉字的美化变形提供了新思路。
另外，应用本发明提出的智能书写系统，能写出更多优美的书法 字，展示了所用方法的灵活性。图14中展示了6个手写汉字以及机 械臂写出的相应的楷体书法。其中手写汉字“才”、“华”、“历”、“史” 是由普通用户完成的，“未”、“来”二字则由专业用户书写。机械臂的 书写结果表明，本文提出的面向机械臂书写的书法美化方法既可以保 留用户的手写字形特征和风格，又可以体现楷书的书法风格。尤其是 在图13上部左图中，尽管用户输入的手写字符在字形上并不美观， 机械臂仍能写出视觉上充满美感的楷书风格的书法。
本研究的相关成果可应用于个性化的艺术喷涂、书写和作画，特别是危险 环境下的机器书写作业。此外，为儿童书法艺术创作、可视书法机器人、春联 创作提供技术支撑，具有广泛应用前景。
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限 于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，包括以下步骤：
S1、用户在人机界面上写出完整汉字，提取完整汉字的各个笔画，依次得到每个笔画的坐标，采用卷积神经网络对每个笔画的类型进行识别；
S2、得到标准书法笔画；
从标准楷体书法笔画的图像中提取若干笔画参数，建立标准笔画数据库，根据手写完整汉字的笔画类型，检索数据库中相同类型的书法笔画；
S3、使用全局优化方法对数据库中相同类型的书法笔画进行优化，生成最优笔画；
最优笔画具有数据库中标准书法笔画的风格，也保留用户的手写特征；
S4、将最优笔画的信息输入至机械臂，机械臂对最优笔画的信息进行处理后将最优笔画写在宣纸上。
2.如权利要求1所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述步骤S1中每个笔画的坐标是通过界面直接提取笔画的坐标信息，界面所示汉字均以单像素形式显示，即矢量化汉字骨架，每个输入笔画都被自适应地重新采样，行成一条折线，系统实时提取矢量化汉字笔画的骨架点，自动将这些汉字笔画的骨架点按顺序保存在一个文件中，利用提取的笔画骨架点自动生成笔画图像。
3.如权利要求2所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述步骤S1中的卷积神经网络的输入层选择大小为48×48的图像，层数为8，建立一个手写笔画训练集，手写笔画训练集收集了包含20种常用笔画的4000个样本，其中每一种常用笔画由20个不同的人分别写下10个样本，共200个训练图像，同时，为了避免过拟合，引入了十折交叉验证。
4.如权利要求1所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述步骤S2中的建立标准笔画数据库的方法为：
先对每个标准笔画进行参数建模，选取20种楷书常用笔画为标准楷书原型，使用标准的阈值和细化算法从20幅楷书笔画图像中提取骨架，引入一个三元组关系(li j,θi j,wi j)来表示笔画的骨架信息，下标i表示第i个笔画，上标j指第i个笔画中的第j段，l,θ和w分别代表笔画段的长度，倾斜角度和平均宽度；每一笔画可以根据起点、角点和终点将笔画分成若干笔画段，第一个分段是从起点至第一个角点，最后一个分段从最后一个角点至终点，中间段分别由两个相邻角点连接，将笔画头部、尾部以及拐角定义为刚性段，刚性部分包含了楷体书法重要的风格特征，刚性段之间的过渡部分定义为柔性段，柔性段根据用户的手写风格灵活调整，对柔性段进行非刚性变换。
5.如权利要求4所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述笔画段的平均宽度w的计算方法为：
以horig代表笔刷长度，hrest为变形后笔刷的垂直长度，用horig-hrest表示毛笔的下降高度h，对每一条笔画，不考虑起笔和收尾部分的宽度，测量中间三个位置的笔画宽度，并以三个笔画宽度数据的平均值作为该笔画的宽度值，采用标准最小二乘法来拟合w与h间的关系，两者间的线性关系为：
w＝0.7893h+1.414 (1)。
6.如权利要求1所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述步骤S3中使用全局优化的方法为：对手写笔画点和优化生成点之间的加权欧几里德距离进行最小化，引入一个描述位置相似度函数F(w,υ)，位置相似度函数F(w,υ)的计算公式如下:
Figure FDA0002442735010000021
其中wi表示优化后的二维坐标控制点，vi代表原手写笔画的骨架点，通过位置相似度函数生成的目标笔画骨架点位置无限靠近手写笔画的骨架点。
7.如权利要求6所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述步骤S3中最优笔画的生成方法为：
定义了笔画特征向量SCV来描述笔画的形状，ui、ui+1、ui+2为标准骨架中的相邻点，wi,wi+1,wi+2为生成的目标笔画中的相邻骨架点，则两种笔画骨架点的SCV用向量pi和qi表示为：
Figure FDA0002442735010000031
为了保持标准楷体书法笔画的风格，通过使两种笔画特征向量间距离最短来进行约束，约束函数G(u,w)的计算公式为：
Figure FDA0002442735010000032
wi,wi+1,wi+2为目标笔画上的三个相邻骨架点，则wi,wi+1的单位方向向量的公式为：
Figure FDA0002442735010000033
通过使两组相邻骨架点间的方向向量ni与ni+1距离最短，来控制笔画的平滑，因此，目标骨架点变形的平滑度测量函数H(w)记为：
Figure FDA0002442735010000034
最后，生成的最优笔画骨架点是通过求解F(w,υ)+G(u,w)+H(w)的最小化问题来实现，并为三个约束函数F(w,υ)、G(u,w)和H(w)分别附以权重参数α,β,γ，即公式(7)：
Figure FDA0002442735010000035
采用共轭梯度下降法求解公式(7)，得到全局最优笔画骨架点的坐标值，不断改变三个权重参数α,β,γ，选择一个最优的参数组合以供机械臂书写。
8.如权利要求7所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述三个权重参数α,β,γ的取值范围均为[0,1,1]。
9.如权利要求4所述的基于手写汉字的机械臂楷体风格书法撰写方法，其特征在于，所述步骤S4中机械臂对最优笔画的信息进行处理的方法为：在每个传输至机械臂的目标笔画中，针对其刚性和柔性部分进行区别处理，对于柔性段，使用经过优化模型优化后的骨架点来控制机械臂的运动轨迹；由于刚性段包含绝大部分楷书风格和特征信息，因此刚性段部分的长度和宽度与标准书法笔画保持一致，即刚性段完全替换成标准笔画的形态，以便最大化地保持楷体风格。
CN202010269789.6A 2020-04-08 2020-04-08 一种基于手写汉字的机械臂楷体风格书法撰写方法 Pending CN111475667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010269789.6A CN111475667A (zh) 2020-04-08 2020-04-08 一种基于手写汉字的机械臂楷体风格书法撰写方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010269789.6A CN111475667A (zh) 2020-04-08 2020-04-08 一种基于手写汉字的机械臂楷体风格书法撰写方法

Publications (1)

Publication Number Publication Date
CN111475667A true CN111475667A (zh) 2020-07-31

Family

ID=71750016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010269789.6A Pending CN111475667A (zh) 2020-04-08 2020-04-08 一种基于手写汉字的机械臂楷体风格书法撰写方法

Country Status (1)

Country Link
CN (1) CN111475667A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132050A (zh) * 2020-09-24 2020-12-25 北京计算机技术及应用研究所 联机手写汉字识别算法及可视化关键笔画评估方法
CN112192576A (zh) * 2020-10-29 2021-01-08 哈工大机器人湖州国际创新研究院 机械臂汉字书写控制方法
CN112248006A (zh) * 2020-10-29 2021-01-22 哈工大机器人湖州国际创新研究院 机械臂毛笔字书写控制方法
CN112597876A (zh) * 2020-12-20 2021-04-02 湖北工业大学 基于特征融合的书法汉字评判方法
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移系统、方法及终端
CN113743302A (zh) * 2021-09-03 2021-12-03 科大讯飞股份有限公司 一种书写笔迹生成方法、装置、设备及存储介质
CN113759806A (zh) * 2021-09-28 2021-12-07 广西科技师范学院 一种写字机器人控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488339A (zh) * 2013-09-09 2014-01-01 北京大学 一种个性化汉字数字墨水的生成方法
CN108764054A (zh) * 2018-04-27 2018-11-06 厦门大学 基于生成式对抗网络的机器人书写书法的方法
CN109746916A (zh) * 2019-01-28 2019-05-14 武汉科技大学 一种机器人书写书法的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488339A (zh) * 2013-09-09 2014-01-01 北京大学 一种个性化汉字数字墨水的生成方法
CN108764054A (zh) * 2018-04-27 2018-11-06 厦门大学 基于生成式对抗网络的机器人书写书法的方法
CN109746916A (zh) * 2019-01-28 2019-05-14 武汉科技大学 一种机器人书写书法的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINYUE ZHANG ETC.: "Intelligent Chinese calligraphy beautification from handwritten characters for robotic writing", 《VISUAL COMPUTER》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132050A (zh) * 2020-09-24 2020-12-25 北京计算机技术及应用研究所 联机手写汉字识别算法及可视化关键笔画评估方法
CN112132050B (zh) * 2020-09-24 2024-03-29 北京计算机技术及应用研究所 联机手写汉字识别算法及可视化关键笔画评估方法
CN112192576A (zh) * 2020-10-29 2021-01-08 哈工大机器人湖州国际创新研究院 机械臂汉字书写控制方法
CN112248006A (zh) * 2020-10-29 2021-01-22 哈工大机器人湖州国际创新研究院 机械臂毛笔字书写控制方法
CN112597876A (zh) * 2020-12-20 2021-04-02 湖北工业大学 基于特征融合的书法汉字评判方法
CN112597876B (zh) * 2020-12-20 2024-03-26 湖北工业大学 基于特征融合的书法汉字评判方法
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移系统、方法及终端
CN112818634B (zh) * 2021-01-29 2024-04-05 上海海事大学 书法作品风格迁移系统、方法及终端
CN113743302A (zh) * 2021-09-03 2021-12-03 科大讯飞股份有限公司 一种书写笔迹生成方法、装置、设备及存储介质
CN113743302B (zh) * 2021-09-03 2024-04-30 科大讯飞股份有限公司 一种书写笔迹生成方法、装置、设备及存储介质
CN113759806A (zh) * 2021-09-28 2021-12-07 广西科技师范学院 一种写字机器人控制系统

Similar Documents

Publication Publication Date Title
CN111475667A (zh) 一种基于手写汉字的机械臂楷体风格书法撰写方法
Kennaway Synthetic animation of deaf signing gestures
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
US7068277B2 (en) System and method for animating a digital facial model
Wheatland et al. State of the art in hand and finger modeling and animation
Chao et al. A robot calligraphy system: From simple to complex writing by human gestures
Cook et al. A survey of sketch-based 3-D modeling techniques
US20090195656A1 (en) Interactive transcription system and method
CN109664300A (zh) 一种基于力觉学习的机器人多风格书法临摹方法
KR20120130627A (ko) 아바타를 이용한 애니메이션 생성 장치 및 방법
CN113255457A (zh) 基于人脸表情识别的动画角色面部表情生成方法及系统
KR20120006610A (ko) 얼굴 애니메이션 시스템 및 방법
CN103020085A (zh) 一种个人风格化书法动态字库的实现方法及其应用
Wang et al. Evaluation of Chinese calligraphy by using DBSC vectorization and ICP algorithm
CN108628455B (zh) 一种基于触摸屏手势识别的虚拟沙画绘制方法
Zhang et al. Chinese calligraphy specific style rendering system
Berio et al. Dynamic graffiti stylisation with stochastic optimal control
CN104239119A (zh) 一种基于kinect实现电力培训仿真的方法及系统
Jung et al. Learning free-form deformation for 3D face reconstruction from in-the-wild images
Mao et al. A sketch-based gesture interface for rough 3D stick figure animation
Müller et al. Realistic speech animation based on observed 3-D face dynamics
Gross et al. Gesture Modelling: Using Video to Capture Freehand Modeling Commands
Brennan et al. The dynamic exaggeration of faces by computer
CN113807280A (zh) 一种基于Kinect的虚拟船舶机舱系统与方法
Park et al. A feature‐based approach to facial expression cloning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200731