CN110695995A - 一种基于深度学习的机器人书法方法 - Google Patents
一种基于深度学习的机器人书法方法 Download PDFInfo
- Publication number
- CN110695995A CN110695995A CN201910963380.1A CN201910963380A CN110695995A CN 110695995 A CN110695995 A CN 110695995A CN 201910963380 A CN201910963380 A CN 201910963380A CN 110695995 A CN110695995 A CN 110695995A
- Authority
- CN
- China
- Prior art keywords
- cosθ
- sinθ
- robot
- joint
- calligraphy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Toys (AREA)
Abstract
本发明公开了一种基于深度学习的机器人书法方法,包括步骤:1)向生成式对抗网络提供目标字体和随机噪声,对生成式对抗网络的生成器G和判别器D进行训练,在保留原始数据的基础上得到具有目标风格的汉字书法图像;2)对具有目标风格的汉字书法图像进行二值化处理,去除图像噪声;3)将汉字书法图像骨架化,得到单像素连接的二值图像;4)根据二值图像获取书法汉字的笔画顺序和笔画宽度信息;5)根据书法汉字的笔画顺序和笔画宽度信息确定机器人的末端轨迹;6)根据机器人的末端轨迹得到机器人各关节的旋转角度。本发明解决了现有书法机器人书写方法生硬、缺乏多样性及风格的技术问题。
Description
技术领域
本发明涉及机器人软笔书写技术领域,特别涉及一种基于深度学习的机器人书法方法。
背景技术
从甲骨文到青铜文,再到小篆、隶书、楷书;从硬笔发展到软笔,再回到现在的硬笔,中国书法已经有了2000多年的历史。一直以来,中国人对书法都有着与生俱来的青睐,书法已经成为他们记录生活、彰显个性、抒发感情的一种方式......在夏代之前,汉字还没有形成完整的体系,人们用符号来记录生活。直到商代中后期,甲骨文和金文的出现才标志着古汉字的形成,但从现在书法审美的角度来看,它们已经具备了部分书法的美,如:线条美、对称美、风格美等。发展至今,书法已经成为了一种艺术,并且随着社会多元化的发展,书法这门艺术的风格将会越来越丰富,每个人都有权利用自己的书写方法来表达自己。
随着自动化、智能化进程的推进,机器代人不可避免的出现在了书法领域。目前,市面上常见的书法机器人都是按照既定轨迹来完成书写,如:曲线拟合法。“循规蹈矩”的书写方式失去了书法本身的多样性和独特味道,原本蕴含书写人情感的书法字体也变成了生硬的汉字,这样的书法俨然失去了书法本身的意义和趣味。
发明内容
有鉴于此,本发明的目的是提供一种基于深度学习的机器人书法方法,以解决现有书法机器人书写方法生硬、缺乏多样性及风格的技术问题。
本发明基于深度学习的机器人书法方法,包括以下步骤:
1)向生成式对抗网络提供目标字体和随机噪声,对生成式对抗网络的生成器G和判别器D进行训练,在保留原始数据的基础上得到具有目标风格的汉字书法图像;
2)对具有目标风格的汉字书法图像进行二值化处理,去除图像噪声;
3)将汉字书法图像骨架化,得到单像素连接的二值图像;
4)根据二值图像获取书法汉字的笔画顺序和笔画宽度信息;
5)根据书法汉字的笔画顺序和笔画宽度信息确定机器人的末端轨迹;
6)根据机器人的末端轨迹得到机器人各关节的旋转角度。
进一步,所述生成式对抗网络的生成器G和判别器D都是卷积神经网络,判别器D对真实数据和生成数据进行判断,估算出生成样本来源于真实数据的概率;其目标函数如下:
其中,G是生成器;D是判别器;x为真实样本;z为噪声;G(z)为假样本,即生成样本;D(x)为D对真实样本的判别结果;D(G(z))为D对假样本的判别结果;pdata(x)为真实样本服从某一分布p;pz(z)为噪声服从某一分布p。
进一步,在步骤5)中根据书法汉字的笔画顺序和笔画宽度信息确定机器人的末端轨迹包括步骤:将书法汉字的笔画宽度信息转换为书写时机器人末端在Z轴方向的移动距离Z,转换公式如下:
进一步,所述的机器人为4自由度的机械臂,其具有四个关节,第一关节的关节轴与水平面垂直,第二关节的关节轴与水平面平行,第三关节的关节轴与水平面平行,第四关节的关节轴与水平面垂直;并按D-H法建立机器人连杆坐标系,在机器人连杆坐标系中,
第1个关节相对于第0个关节的坐标转换矩阵为:
第2个关节相对于第1个关节的坐标转换矩阵为:
第3个关节相对于第2个关节的坐标转换矩阵为:
第4个关节相对于第3个关节的坐标转换矩阵为:
机器人末端的姿态在基坐标下的表达方式为:
上式中:
nx=cosθ1 cosθ2 cosθ3 cosθ4-cosθ1 cosθ4 sinθ2 sinθ3-sinθ1 sinθ4
ny=sinθ1 cosθ2 cosθ3 cosθ4-sinθ1 sinθ2 sinθ3 cosθ4+cosθ1 sinθ4
nz=-sinθ2 cosθ3 cosθ4-cosθ2 cosθ4 sinθ3
ox=-sinθ4 cosθ1 cosθ2 cosθ3+cosθ1 sinθ2 sinθ3 sinθ4-sinθ1 cosθ4
oy=-sinθ1 sinθ4 cosθ2 cosθ3+sinθ1 sinθ2 sinθ3 sinθ4+cosθ1 cosθ4
oz=sinθ2 sinθ4 cosθ3+cosθ2 sinθ3 sinθ4
ax=sinθ3 cosθ1 cosθ2+sinθ2 cosθ2 cosθ3
ay=sinθ1 sinθ3 cosθ2+sinθ1 sinθ2 cosθ3
az=cosθ2 cosθ3-sinθ2 sinθ3
px=d4 sinθ3 cosθ1 cosθ2+d4 sinθ2 cosθ2 cosθ3+a2 cosθ1 cosθ2
py=d4 sinθ1 sinθ3 cosθ2+d4 sinθ1 sinθ2 cosθ3+a2 sinθ1 cosθ2
pz=d4 cosθ2 cosθ3-d4 sinθ2 sinθ3-a2 sinθ2+d1
其中,d1是机器人连杆坐标系中Z0和Z1之间的距离,即机械臂底座的高度;d4是机器人连杆坐标系中Z3和Z4之间的距离,即机械臂末端关节的长度;a2是机器人连杆坐标系中X1和X2之间的距离,即机械臂首端关节的长度;
再根据θ2和θ3求出θ1和θ4:
本发明的有益效果:
本发明基于深度学习的机器人书法方法,其通过向生成式对抗网络提供目标字体和随机噪声,得到了具有目标风格的汉字书法图像,解决了现有书法机器人书写方法生硬、缺乏多样性及风格的技术问题。
附图说明
图1为卷积神经网络结构图,图中input image-图像输入层,convs-卷积层,maxpooling-最大池化层,dropout-随机失活层,sigmoid-激活函数层,output-输出层。
图2为生成器G和判别器D神经网络训练8000步后的成果示意图;
图3机械人的立体结构示意图,图中附图标记:1-第一关节,2-第一关节,3-第一关节,4-第一关节;
图4机械人关节坐标系;
图5机械人连杆坐标系平面图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
本实施例基于深度学习的机器人书法方法,包括以下步骤:
1)向生成式对抗网络提供目标字体和随机噪声,对生成式对抗网络的生成器G和判别器D进行训练,在保留原始数据的基础上得到具有目标风格的汉字书法图像。
本实施例中,生成式对抗网络的生成器G和判别器D都是卷积神经网络,神经网络结构如图1所示,判别器D对真实数据和生成数据进行判断,估算出生成样本来源于真实数据的概率;其目标函数如下:
其中,G是生成器;D是判别器;x为真实样本;z为噪声;G(z)为假样本,即生成样本;D(x)为D对真实样本的判别结果;D(G(z))为D对假样本的判别结果;pdata(x)为真实样本服从某一分布p;pz(z)为噪声服从某一分布p。
2)对具有目标风格的汉字书法图像进行二值化处理,去除图像噪声。
3)将汉字书法图像骨架化,得到单像素连接的二值图像。
4)根据二值图像获取书法汉字的笔画顺序和笔画宽度信息。
根据二值图像获取书法汉字的笔画顺序属于书法机器人的现有技术,对没有交叉的字体,如二,川这样的字,采取从上到下再从左到右的顺序;对有交叉的字体先把字体拆分,如机,分为木和几两部分,然后从木的最左边一个像素点开始遍历八个相邻的像素点,直至遇到一个交叉点,然后从这个交叉点连接的几条的路线中提取出10个像素点(每条路线提取10个像素点),利用这10个像素点计算出每条路线的评论优势,与交叉点之前笔划走势最像的就是下一笔路线。
5)根据书法汉字的笔画顺序和笔画宽度信息确定机器人的末端轨迹,其包括步骤:
将书法汉字的笔画宽度信息转换为书写时机器人末端在Z轴方向的移动距离Z,转换公式如下:
其中,Zmax为毛笔末端刚接触纸面时机器人末端的Z轴坐标;Zmin为毛笔完全接触纸面时机器人末端的Z轴坐标;W为毛笔与纸面完全接触时毛笔的宽度;是组成汉字骨架的点的宽度。
6)根据机器人的末端轨迹得到机器人各关节的旋转角度,具体为运用逆向运动学,求解机器人各关节的转角。
本实施例中书法机器人采用4自由度的机械臂,其硬件部分包含了一个算法计算机,算法计算机的配置为:操作系统为Ubuntu 16.04,CPU为Intel Core i7-7859K CPU@3.60GHz,GPU为GeForce GTX 1080Ti;生成式对抗网络建立在tensorflow上。当然在不同实施例中,算法计算机的配置可以为其它形式。
本实施例中,4自由度的机械臂具有四个关节,第一关节的关节轴与水平面垂直,第二关节的关节轴与水平面平行,第三关节的关节轴与水平面平行,第四关节的关节轴与水平面垂直;并按D-H法建立机器人连杆坐标系;
对连杆坐标系进行分析,得到了如下所示的机器人连杆参数:
表1机器人连杆参数表
上表中,αi-1表示Zi-1和Zi在空间中的夹角;ai-1表示Zi-1和Zi在空间中的距离;di表示Xi-1和Xi在空间中的距离;θi表示Xi-1和Xi在空间中的夹角。
在机器人连杆坐标系中:
第1个关节相对于第0个关节的坐标转换矩阵为:
第2个关节相对于第1个关节的坐标转换矩阵为:
第3个关节相对于第2个关节的坐标转换矩阵为:
第4个关节相对于第3个关节的坐标转换矩阵为:
机器人末端的姿态在基坐标下的表达方式为:
上式中:
nx=cosθ1 cosθ2 cosθ3 cosθ4-cosθ1 cosθ4 sinθ2 sinθ3-sinθ1 sinθ4
ny=sinθ1 cosθ2 cosθ3 cosθ4-sinθ1 sinθ2 sinθ3 cosθ4+cosθ1 sinθ4
nz=-sinθ2 cosθ3 cosθ4-cosθ2 cosθ4 sinθ3
ox=-sinθ4 cosθ1 cosθ2 cosθ3+cosθ1 sinθ2 sinθ3 sinθ4-sinθ1 cosθ4
oy=-sinθ1 sinθ4 cosθ2 cosθ3+sinθ1 sinθ2 sinθ3 sinθ4+cosθ1 cosθ4
oz=sinθ2 sinθ4 cosθ3+cosθ2 sinθ3 sinθ4
ax=sinθ3 cosθ1 cosθ2+sinθ2 cosθ2 cosθ3
ay=sinθ1 sinθ3 cosθ2+sinθ1 sinθ2 cosθ3
az=cosθ2 cosθ3-sinθ2 sinθ3
px=d4 sinθ3 cosθ1 cosθ2+d4 sinθ2 cosθ2 cosθ3+a2 cosθ1 cosθ2-d2 sinθ1
py=d4 sinθ1 sinθ3 cosθ2+d4 sinθ1 sinθ2 cosθ3+a2 sinθ1 cosθ2+d2 cosθ1
pz=d4 cosθ2 cosθ3-d4 sinθ2 sinθ3-a2 sinθ2+d1
Claims (4)
1.基于深度学习的机器人书法方法,其特征在于,包括以下步骤:
1)向生成式对抗网络提供目标字体和随机噪声,对生成式对抗网络的生成器G和判别器D进行训练,在保留原始数据的基础上得到具有目标风格的汉字书法图像;
2)对具有目标风格的汉字书法图像进行二值化处理,去除图像噪声;
3)将汉字书法图像骨架化,得到单像素连接的二值图像;
4)根据二值图像获取书法汉字的笔画顺序和笔画宽度信息;
5)根据书法汉字的笔画顺序和笔画宽度信息确定机器人的末端轨迹;
6)根据机器人的末端轨迹得到机器人各关节的旋转角度。
4.根据权利要求1-3中任一所述的基于深度学习的机器人书法方法,其特征在于:
所述的机器人为4自由度的机械臂,其具有四个关节,第一关节的关节轴与水平面垂直,第二关节的关节轴与水平面平行,第三关节的关节轴与水平面平行,第四关节的关节轴与水平面垂直;并按D-H法建立机器人连杆坐标系,在机器人连杆坐标系中,
第1个关节相对于第0个关节的坐标转换矩阵为:
第2个关节相对于第1个关节的坐标转换矩阵为:
第3个关节相对于第2个关节的坐标转换矩阵为:
第4个关节相对于第3个关节的坐标转换矩阵为:
机器人末端的姿态在基坐标下的表达方式为:
上式中:
nx=cosθ1cosθ2cosθ3cosθ4-cosθ1cosθ4sinθ2sinθ3-sinθ1sinθ4
ny=sinθ1cosθ2cosθ3cosθ4-sinθ1sinθ2sinθ3cosθ4+cosθ1sinθ4
nz=-sinθ2cosθ3cosθ4-cosθ2cosθ4sinθ3
ox=-sinθ4cosθ1cosθ2cosθ3+cosθ1sinθ2sinθ3sinθ4-sinθ1cosθ4
oy=-sinθ1sinθ4cosθ2cosθ3+sinθ1sinθ2sinθ3sinθ4+cosθ1cosθ4
oz=sinθ2sinθ4cosθ3+cosθ2sinθ3sinθ4
ax=sinθ3cosθ1cosθ2+sinθ2cosθ2cosθ3
ay=sinθ1sinθ3cosθ2+sinθ1sinθ2cosθ3
az=cosθ2cosθ3-sinθ2sinθ3
px=d4sinθ3cosθ1cosθ2+d4sinθ2cosθ2cosθ3+a2cosθ1cosθ2
py=d4sinθ1sinθ3cosθ2+d4sinθ1sinθ2cosθ3+a2sinθ1cosθ2
pz=d4cosθ2cosθ3-d4sinθ2sinθ3-a2sinθ2+d1
其中,d1是机器人连杆坐标系中Z0和Z1之间的距离,即机械臂底座的高度;d4是机器人连杆坐标系中Z3和Z4之间的距离,即机械臂末端关节的长度;a2是机器人连杆坐标系中X1和X2之间的距离,即机械臂首端关节的长度;
再根据θ2和θ3求出θ1和θ4:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910963380.1A CN110695995A (zh) | 2019-10-11 | 2019-10-11 | 一种基于深度学习的机器人书法方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910963380.1A CN110695995A (zh) | 2019-10-11 | 2019-10-11 | 一种基于深度学习的机器人书法方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110695995A true CN110695995A (zh) | 2020-01-17 |
Family
ID=69198520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910963380.1A Pending CN110695995A (zh) | 2019-10-11 | 2019-10-11 | 一种基于深度学习的机器人书法方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110695995A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113085418A (zh) * | 2021-05-20 | 2021-07-09 | 刘家方 | 一种三点控制笔杆整理笔毛连续书写的装置及方法 |
CN113436293A (zh) * | 2021-07-13 | 2021-09-24 | 浙江大学 | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060125913A1 (en) * | 2002-06-28 | 2006-06-15 | Mark Sceats | Writing of photo-induced structures |
CN108326857A (zh) * | 2018-03-20 | 2018-07-27 | 迪比(重庆)智能科技研究院有限公司 | 基于鲁棒自适应控制算法的书法及雕刻机器人控制方法 |
CN108764054A (zh) * | 2018-04-27 | 2018-11-06 | 厦门大学 | 基于生成式对抗网络的机器人书写书法的方法 |
CN109408776A (zh) * | 2018-10-09 | 2019-03-01 | 西华大学 | 一种基于生成式对抗网络的书法字体自动生成算法 |
CN109664300A (zh) * | 2019-01-09 | 2019-04-23 | 湘潭大学 | 一种基于力觉学习的机器人多风格书法临摹方法 |
CN110142766A (zh) * | 2019-05-23 | 2019-08-20 | 重庆大学 | 带性能和状态约束的关节型机器人末端轨迹控制方法 |
-
2019
- 2019-10-11 CN CN201910963380.1A patent/CN110695995A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060125913A1 (en) * | 2002-06-28 | 2006-06-15 | Mark Sceats | Writing of photo-induced structures |
CN108326857A (zh) * | 2018-03-20 | 2018-07-27 | 迪比(重庆)智能科技研究院有限公司 | 基于鲁棒自适应控制算法的书法及雕刻机器人控制方法 |
CN108764054A (zh) * | 2018-04-27 | 2018-11-06 | 厦门大学 | 基于生成式对抗网络的机器人书写书法的方法 |
CN109408776A (zh) * | 2018-10-09 | 2019-03-01 | 西华大学 | 一种基于生成式对抗网络的书法字体自动生成算法 |
CN109664300A (zh) * | 2019-01-09 | 2019-04-23 | 湘潭大学 | 一种基于力觉学习的机器人多风格书法临摹方法 |
CN110142766A (zh) * | 2019-05-23 | 2019-08-20 | 重庆大学 | 带性能和状态约束的关节型机器人末端轨迹控制方法 |
Non-Patent Citations (2)
Title |
---|
邢淑敏: "基于风格迁移的机器人书法临摹技术研究", 《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》 * |
邢淑敏等: "基于风格迁移技术的机器人书法临摹研究", 《机械制造》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113085418A (zh) * | 2021-05-20 | 2021-07-09 | 刘家方 | 一种三点控制笔杆整理笔毛连续书写的装置及方法 |
CN113436293A (zh) * | 2021-07-13 | 2021-09-24 | 浙江大学 | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
CN113436293B (zh) * | 2021-07-13 | 2022-05-03 | 浙江大学 | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109376582B (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
CN108460369B (zh) | 一种基于机器视觉的绘图方法及系统 | |
CN109664300B (zh) | 一种基于力觉学习的机器人多风格书法临摹方法 | |
CN109746916B (zh) | 一种机器人书写书法的方法及系统 | |
CN105046730B (zh) | 应用于毛笔的书写笔迹呈现方法和装置 | |
CN107610200B (zh) | 一种基于特征模板的字库快速生成方法 | |
Caesar et al. | Preprocessing and feature extraction for a handwriting recognition system | |
CN110695995A (zh) | 一种基于深度学习的机器人书法方法 | |
CN104063723B (zh) | 脱机手写汉字的笔画还原方法及装置 | |
Yamane et al. | Human motion database with a binary tree and node transition graphs | |
CN111475667A (zh) | 一种基于手写汉字的机械臂楷体风格书法撰写方法 | |
CN111062290B (zh) | 基于生成对抗网络中国书法风格转换模型构建方法及装置 | |
CN111723789A (zh) | 一种基于深度学习的图像文本坐标定位方法 | |
CN110895683B (zh) | 一种基于Kinect的单视点手势姿势识别方法 | |
CN101697234A (zh) | 一种基于笔画分段建模的手写汉字隶书美化方法 | |
CN105069742B (zh) | 一种基于书写特征编辑的软笔汉字变换方法 | |
CN110705355A (zh) | 一种基于关键点约束的人脸姿态估计方法 | |
CN108268125A (zh) | 一种基于计算机视觉的运动手势检测及跟踪方法 | |
CN117853849A (zh) | 一种基于Yolov5的毛笔笔尖检测方法 | |
CN102013109A (zh) | 手写汉字行草风格的美化方法和装置 | |
CN117095414A (zh) | 一种基于点阵纸笔的手写识别系统及识别方法 | |
CN110046603B (zh) | 一种中国普乐手语编码的手势动作识别方法 | |
Lin et al. | Visual matching of stroke order in robotic calligraphy | |
CN110895684B (zh) | 一种基于Kinect的手势动作识别方法 | |
Yang et al. | Animating the brush-writing process of Chinese calligraphy characters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |
|
RJ01 | Rejection of invention patent application after publication |