CN108237544A - 一种人工智能的书法机器人 - Google Patents
一种人工智能的书法机器人 Download PDFInfo
- Publication number
- CN108237544A CN108237544A CN201810212905.3A CN201810212905A CN108237544A CN 108237544 A CN108237544 A CN 108237544A CN 201810212905 A CN201810212905 A CN 201810212905A CN 108237544 A CN108237544 A CN 108237544A
- Authority
- CN
- China
- Prior art keywords
- stepper motor
- writing
- inking
- calligraphy
- writing brush
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 23
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 17
- 235000009566 rice Nutrition 0.000 claims abstract description 17
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims abstract description 10
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 39
- 239000000976 ink Substances 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 26
- 241000209094 Oryza Species 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000005611 electricity Effects 0.000 claims description 7
- 235000011389 fruit/vegetable juice Nutrition 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 239000012209 synthetic fiber Substances 0.000 claims description 3
- 229920002994 synthetic fiber Polymers 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 16
- 238000012549 training Methods 0.000 abstract description 12
- 238000013527 convolutional neural network Methods 0.000 abstract description 6
- 238000011160 research Methods 0.000 abstract description 5
- 240000007594 Oryza sativa Species 0.000 abstract 1
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 19
- 238000003062 neural network model Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000001429 stepping effect Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0009—Constructional details, e.g. manipulator supports, bases
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
- B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
- B43L13/00—Drawing instruments, or writing or drawing appliances or accessories not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Toys (AREA)
Abstract
本发明涉及一种人工智能的书法机器人，包括底座、步进电机A、旋转盘、步进电机B、步进电机C、大悬臂、小悬臂、步进电机D、卷纸电机、宣纸、卷纸筒、连接杆、旋转轴、步进电机E、夹板、步进电机F、自学习摄像头、同步带、笔夹、紧固螺丝、自动出墨毛笔、输墨软管、输墨泵和墨汁盒。本发明人工智能书法机器人使用卷积神经网络和序列神经网络的结合来获得序列的输出，实现了从图像到运动数据的复杂反馈；在进行基础训练之后，通过自我的重复书写，进行自我学习和训练，无需人为干预就可以提高书法机器人的书法水平；该书法机器人具有学习能力，能够应用于书法艺术研究，经过一定的训练后可以尝试模仿名家字体，也可以帮助普通人学习了解书法。
Description
技术领域
本发明涉及机械设计、人工智能以及书法艺术领域，特别是涉及一种使用人工神经网络来训练的书法机器人。
背景技术
毛笔是一种源于中国的传统书写工具，是古代中国人民在生产实践中发明的，毛笔是中华民族对世界艺术宝库提供的一件珍宝。随着人类社会的不断发展，各种更加方便快捷的笔被发明出来，但是毛笔却没有退出历史舞台，在我国书法是特有的一种传统文化与艺术，毛笔作为书法中的文具，一直占据着书法艺术中的重要席位。
随着计算机和自动化技术的发展，机器能够协助人类高效完成各种事情。而电脑中的楷体、宋体、黑体等，虽然看上去工整，然而缺少了一份来自于手写书法的魅力。普通人学习书法，周期较长，难以达到一定的高度，而书法家能够形成某种字体并进入现代字库者，少之又少。另外，古人的毛笔书法大都以碑帖等形式保存下来，只有有限的字数，如果机器能学会临摹古代名家书法，这对书法艺术来说是一个新的发展；让会毛笔书法的机器来教普通人书法，这对毛笔书法的普及是一件好事。
目前，虽然对计算机书法创作的研究工作有一些开展，但是还是只停留在通过二维数据来实现硬笔书法。另外的一些研究也只在于使用机械来自动的程序化批量化书写毛笔字(专利号：CN201521135612.8)，所有执笔的运动都已经预先定义好，没有体现书法艺术的灵活性。此外，还有基于计算机模拟，使用摄像头捕捉书法家书写动作，使用统计方法来模拟书法家书写生成动态字库的设计(专利号：CN201110287823.3)，这是一种对书法的软件实现，难以对复杂的实际情况进行精确描述。
人工神经网络是从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。当前，将人工神经网络应用于艺术领域，可以模仿某些著名画家的绘画风格，将普通图片转化为特定的风格。但是神经网络在机械动作、艺术创作、学习人类审美等方面还有所欠缺。
发明内容
针对上述存在的问题，本发明一种人工智能的书法机器人，能够通过使用人工神经网络来学习毛笔书法并且可以进行自我学习训练。
本发明提出一种人工智能的书法机器人，包括底座、步进电机A、旋转盘、步进电机B、步进电机C、大悬臂、小悬臂、步进电机D、卷纸电机、宣纸、卷纸筒、连接杆、旋转轴、步进电机E、夹板、步进电机F、自学习摄像头、同步带、笔夹、紧固螺丝、自动出墨毛笔、输墨软管、输墨泵和墨汁盒。其中，底座上方装有步进电机A，步进电机A通过驱动旋转盘转动来实现整个机械臂的转动；旋转盘上安装有大悬臂，大悬臂的末端装有小悬臂，通过安装在旋转盘上的步进电机B和步进电机C可以驱动大悬臂和小悬臂在竖直方向的转动；在小悬臂尾端连接有连接杆，步进电机D通过蜗杆机构带动连接杆实现俯仰转动；两片夹板夹住连接杆的下端，步进电机E安装在一片夹板的一侧，并通过齿轮与连接杆传动，可以实现水平方向的转动；自学习摄像头也位于夹板一侧，在步进电机E的下方；在两片夹板中间安装有步进电机F和笔夹，笔夹在步进电机F的下方，步进电机F通过同步带驱动笔夹旋转；笔夹中空，自动出墨毛笔从下方装入，通过对称的四个笔夹紧固螺丝固定；在自动出墨毛笔的正下方是宣纸，宣纸通过两个卷纸筒支起，卷纸电机位于一个卷纸筒的一端，卷纸电机通过驱动卷纸筒的滚动来实现宣纸的移动；在底座的一旁放有墨汁盒，墨汁盒顶部安装有墨汁泵，墨汁泵通过输墨软管将墨汁泵至自动出墨毛笔。
可选的，笔夹与自动出墨毛笔的固定方式可以采用摩擦力等方式固定。
本发明一种人工智能的书法机器人，自学习摄像头安装在夹板一侧，自学习摄像头是灰度摄像头，在机械臂写完一个字后拍摄写出的毛笔字照片，传输给计算机。
本发明一种人工智能的书法机器人，自动出墨毛笔下端是笔头；笔头使用动物毛发或者合成纤维制成；笔头上方装有湿度传感器，用于监测自动出墨情况；自动出墨毛笔内部填充吸墨海绵，用于保持湿度；自动出墨毛笔上方连接输墨管，输墨软管的另一端连接到输墨泵，当正在书写时，输墨泵将开始运行，从墨汁盒中泵出墨汁输送到毛笔。
本发明一种人工智能的书法机器人，包括数据记录平台底板、书写毛笔、书写摄像头、摄像头支撑杆和动作记录摄像头。数据记录平台底板的相邻两侧安装有朝向垂直的两个动作记录摄像头，动作记录摄像头朝向数据记录平台底板中心；书写毛笔笔杆上下端分别装有上标记和下标记，上标记和下标记分别采用红色和蓝色的纸贴附于毛笔笔杆上，书写毛笔顶端安装有黄色的横杆；书写摄像头位于数据记录平台的正上方，由摄像头支撑杆固定。
本发明的书法学习过程分为两阶段：基础学习和自学习；基础学习是基于人工书写的毛笔运动轨迹和字迹照片训练神经网络；自学习过程是书法机器人书写和评估后对神经网络的修正过程。
本发明的基础学习过程具体步骤如下：
1.采集书写动作数据。在数据记录平台底板上铺上宣纸，人手执书写毛笔开始书写，当开始书写的同时两个动作记录摄像头和书写摄像头开始录像；
2.采集书写字迹。当书写完毕后停止录像，人手执笔撤出平台范围，再次使用书写摄像头拍摄字迹，并根据拍摄大小和角度对拍摄照片进行裁剪和缩放，最后进行二值化处理；
3.处理视频数据。从两个动作记录摄像头所获得的两组动作视频数据中识别出上标记和下标记的位置，从书写摄像头所录制的视频中识别出黄色横杆的位置和角度，根据两组平面坐标计算出上标记和下标记的空间坐标随时间的变化数据，再结合横杆的位置变化和转动角度数据计算出毛笔在空间中的运动情况；
4.转换运动坐标。对于毛笔书写过程，采用6维坐标(x，y，z，α，β，γ)来进行描述，x，y，z表示毛笔所在空间，α，β，γ表示毛笔在三个轴方向上的旋转角度，旋转中心位于毛笔笔头顶端中心。
书法机器人的运动分单步进行，每一步运动长度为单步长度Δl，步与步之间的时间间隔为单步间隔Δt。对于毛笔的6个自由度的运动，存在6个轴方向的单位运动数据d＝(Δx，Δy，Δz，Δα，Δβ，Δγ)，每个轴的方向信息包括以下三种：
以x轴为例：
朝正方向运动一个单步长度：x+；
朝反方向运动一个单步长度：x-；
不运动：x0。
如d＝(x+，y0，z0，α-，β+，γ0)表示机械臂这一步需要x和β正方向运动一个单步长度Δl，α反方向运动一个单步长度Δl。
使用6个轴方向的单位运动数据d的序列D来描述毛笔的运动，即D＝{d1，d2，d3……ddn}，dn表示固定的毛笔运动数据长度。
将从两个动作记录摄像头和毛笔书写摄像头所获取的毛笔空间坐标运动数据转换成运动数据序列D；
优选的，可以利用三维摄像头对毛笔的书写过程录制，并在生成的数据中提取出毛笔在六个自由度的运动，并转换成运动数据序列D；
5.存储。将获得的二值化字迹图像和运动数据序列D按以汉字为索引存储。重复步骤1-5，获得大量毛笔书写笔迹和动作数据；
6.训练神经网络模型。构建神经网络模型，结合采用卷积神经网络和序列神经网络，先采用卷积神经网络识别图像特征，再使用序列神经网络输出书写运动序列。采用1-5步所获得的大量毛笔书写笔迹和运动数据对神经网络模型进行训练，完成基础训练过程。
本发明的自学习过程具体步骤如下：
1.在读取基础学习的参数后，根据指定的汉字，神经网络模型输出数据。人工神经网络模型输出的是单位运动数据d构成的序列D。
本发明的毛笔运动驱动使用5个步进电机，其中步进电机A、步进电机B和步进电机C所驱动的悬臂运动不能直接对应x，y，z。在将(Δx，Δy，Δz)坐标变换为(ΔA，ΔB，ΔC)后结合(Δα，Δβ，Δγ)得到最终的单步运动量(ΔA，ΔB，ΔC，Δα，Δβ，Δγ)。
根据从神经网络模型获得的运动数据序列D，将每一个单位运动数据d＝(Δx，Δy，Δz，Δα，Δβ，Δγ)转换为(ΔA，ΔB，ΔC，Δα，Δβ，Δγ)，再根据单位长度和单位时长转换为对应的G代码，计算机将G代码发送给单片机。
单片机接收到G代码后，根据湿度传感器的示值判断是否需要提前加墨。当笔头湿度较低时，将提前开启输墨泵输送墨汁，然后执行对应书写动作；
2.执行完书写动作后，抬高机械臂到固定位置，自学习摄像头拍照，获取书写完的图像数据，发送到计算机，计算机将图像二值化。摄像头拍摄完后，卷纸电机驱动卷纸筒转动，更换书写区域；
3.图像匹配分析。机械臂书写的毛笔字特征简单，使用差值法进行图像匹配分析。
差值法步骤：
a.计算拍摄到的图片像素矩阵和模仿对象图片的矩阵的差Is；
b.对Is中所有元素取绝对值，然后相加，得到sum；
c.计算结果y’＝ya＝e-sum。
优选的，可以把步骤a中的矩阵求差改为对每一个元素求异或运算，然后对所有异或运算结果求和即可得到sum，加快计算速度。
优选的，对机器的书写结果可以实现人工评分，人工评分分值yp范围区间为[0,1]。然后对图像识别和人工评分进行加权平均；
4.根据计算出的y’，执行反向传播算法，更新神经网络参数。进行下一步自学习训练。
优选的，利用毛笔书写模拟算法替代机械臂进行书写，可以获得更快的训练效果；通过对算法输出的字体与标准字体进行图像匹配分析，用分析结果训练神经网络实现自学习功能。
本发明的有益效果是：本发明使用卷积神经网络和序列神经网络的结合来获得序列的输出，实现了从图像到运动数据的复杂反馈；本发明在基础训练之后，可以通过重复书写，进行自我学习和训练，无需人为干预就可以提高书法机器人的书法水平；本发明的书法机器人具有学习能力，能够应用于书法艺术研究，经过一定的训练后可以尝试模仿名家字体，也可以帮助普通人学习了解书法。
附图说明
图1为本发明一种人工智能的书法机器人结构示意图；
图2为本发明一种人工智能的书法机器人头部局部放大结构示意图；
图3为自动出墨毛笔及墨盒结构示意图；
图4为数据记录平台结构示意图；
图5为毛笔运动坐标示意图；
图6为书法机器人神经网络示意图；
图7为控制系统示意图；
图8为三轴并联式书法机器人结构示意图；
图9为三轴并联式书法机器人局部放大结构示意图。
图中：1-底座，2-步进电机A，3-旋转盘，4-步进电机B，5-步进电机C，6-大悬臂，7-小悬臂，8-步进电机D，9-卷纸电机，10-宣纸，11-卷纸筒，12-连接杆，13-旋转轴，14-步进电机E，15-夹板，16-步进电机F，17-自学习摄像头，18-同步带，19-笔夹，20-紧固螺丝，21-自动出墨毛笔，22-笔头，23-湿度传感器，24-吸墨海绵，25-输墨软管，26-输墨泵，27-墨汁盒，28-数据记录平台底板，29-下标记点，30-书写毛笔，31-上标记点，32-横杆，33-书写摄像头，34-摄像头支撑杆，35-动作记录摄像头，36-机器人支架，37-滑轨，38-丝杠，39-螺旋软管，40-滑块，41步进电机G，42-步进电机H，43-步进电机I，44-连杆，45-步进电机J，46-中心平台，47-旋转平台，48-步进电机K，49-步进电机L和50-俯仰座。
具体实施方式
下面结合附图对本发明及其有益效果作进一步详细说明。
具体实施方式一：
本发明一种人工智能的书法机器人，如图1、图2和图3所示，包括底座1、步进电机A2、旋转盘3、步进电机B 4、步进电机C 5、大悬臂6、小悬臂7、步进电机D 8、卷纸电机9、宣纸10、卷纸筒11、连接杆12、旋转轴13、步进电机E 14、夹板15、步进电机F 16、自学习摄像头17、同步带18、笔夹19、紧固螺丝20、自动出墨毛笔21、输墨软管25、输墨泵26和墨汁盒27。其中，底座1上方装有步进电机A 2，步进电机A 2通过驱动旋转盘3转动来实现整个机械臂的转动；旋转盘3上安装有大悬臂6，大悬臂6的末端装有小悬臂7，通过安装在旋转盘3上的步进电机B 4和步进电机C 5可以驱动大悬臂6和小悬臂7在竖直方向的转动；在小悬臂7尾端连接有连接杆12，步进电机D 8通过蜗杆机构带动连接杆12实现俯仰转动；两片夹板15夹住连接杆的下端，步进电机E 14安装在一片夹板15的一侧，并通过齿轮与连接杆12传动，可以实现水平方向的转动；自学习摄像头17也位于夹板一侧，在步进电机E 14的下方；在两片夹板15中间安装有步进电机F 16和笔夹19，笔夹19在步进电机F 16的下方，步进电机F 16通过同步带18驱动笔夹19旋转；笔夹19中空，自动出墨毛笔21从下方装入，通过对称的四个笔夹紧固螺丝20固定；在自动出墨毛笔21的正下方是宣纸10，宣纸10通过两个卷纸筒11支起，卷纸电机9位于一个卷纸筒11的一端，卷纸电机9通过驱动卷纸筒11的滚动来实现宣纸10的移动；在底座1的一旁放有墨汁盒27，墨汁盒27顶部安装有墨汁泵26，墨汁泵26通过输墨软管25将墨汁泵至自动出墨毛笔21。
可选的，笔夹19与自动出墨毛笔21的固定方式可以采用摩擦力等方式固定。
本发明一种人工智能的书法机器人，如图2所示，自学习摄像头17安装在夹板一侧，自学习摄像头17是灰度摄像头，在机械臂写完一个字后拍摄写出的毛笔字照片，传输给计算机。
本发明一种人工智能的书法机器人，如图3所示，自动出墨毛笔21下端是笔头22；笔头22使用动物毛发或者合成纤维制成；笔头22上方装有湿度传感器23，用于监测自动出墨情况；自动出墨毛笔21内部填充吸墨海绵24，用于保持湿度；自动出墨毛笔21上方连接输墨管25，输墨软管25的另一端连接到输墨泵26，当正在书写时，输墨泵26将开始运行，从墨汁盒27中泵出墨汁输送到毛笔。
本发明一种人工智能的书法机器人，如图4所示，包括数据记录平台底板28、书写毛笔30、书写摄像头33、摄像头支撑杆34和动作记录摄像头35。数据记录平台底板28的相邻两侧安装有朝向垂直的两个动作记录摄像头35，动作记录摄像头35朝向数据记录平台底板28中心；书写毛笔30笔杆上下端分别装有上标记31和下标记29，上标记31和下标记29分别采用红色和蓝色的纸贴附于毛笔30笔杆上，书写毛笔30顶端安装有黄色的横杆32；书写摄像头33位于数据记录平台28的正上方，由摄像头支撑杆34固定。
本发明的书法学习过程分为两阶段：基础学习和自学习；基础学习是基于人工书写的毛笔运动轨迹和字迹照片训练神经网络；自学习过程是书法机器人书写和评估后对神经网络的修正过程。
本发明的基础学习过程具体步骤如下：
1.采集书写动作数据。在数据记录平台底板28上铺上宣纸，人手执书写毛笔30开始书写，当开始书写的同时两个动作记录摄像头35和书写摄像头33开始录像；
2.采集书写字迹。当书写完毕后停止录像，人手执笔撤出平台范围，再次使用书写摄像头33拍摄字迹，并根据拍摄大小和角度对拍摄照片进行裁剪和缩放，最后进行二值化处理；
3.处理视频数据。从两个动作记录摄像头35所获得的两组动作视频数据中识别出上标记31和下标记29的位置，从书写摄像头33所录制的视频中识别出黄色横杆32的位置和角度，根据两组平面坐标计算出上标记31和下标记29的空间坐标随时间的变化数据，再结合横杆32的位置变化和转动角度数据计算出毛笔在空间中的运动情况；
4.转换运动坐标。对于毛笔书写过程，采用6维坐标(x，y，z，α，β，γ)来进行描述，如图5所示，x，y，z表示毛笔所在空间，α，β，γ表示毛笔在三个轴方向上的旋转角度，旋转中心位于毛笔笔头顶端中心。
书法机器人的运动分单步进行，每一步运动长度为单步长度Δl，步与步之间的时间间隔为单步间隔Δt。对于毛笔的6个自由度的运动，存在6个轴方向的单位运动数据d＝(Δx，Δy，Δz，Δα，Δβ，Δγ)，每个轴的方向信息包括以下三种：
以x轴为例：
朝正方向运动一个单步长度：x+；
朝反方向运动一个单步长度：x-；
不运动：x0。
如d＝(x+，y0，z0，α-，β+，γ0)表示机械臂这一步需要x和β正方向运动一个单步长度Δl，α反方向运动一个单步长度Δl。
使用6个轴方向的单位运动数据d的序列D来描述毛笔的运动，即D＝{d1，d2，d3……ddn}，dn表示固定的毛笔运动数据长度。
将从两个动作记录摄像头35和毛笔书写摄像头33所获取的毛笔空间坐标运动数据转换成运动数据序列D；
优选的，可以利用三维摄像头对毛笔的书写过程录制，并在生成的数据中提取出毛笔在六个自由度的运动，并转换成运动数据序列D；
5.存储。将获得的二值化字迹图像和运动数据序列D按以汉字为索引存储。重复步骤1-5，获得大量毛笔书写笔迹和动作数据；
6.训练神经网络模型。构建神经网络模型如图6所示，结合采用卷积神经网络和序列神经网络，先采用卷积神经网络识别图像特征，再使用序列神经网络输出书写运动序列。控制系统框图如图7所示。采用1-5步所获得的大量毛笔书写笔迹和运动数据对神经网络模型进行训练，完成基础训练过程。
本发明的自学习过程具体步骤如下：
1.在读取基础学习的参数后，根据指定的汉字，神经网络模型输出数据。人工神经网络模型输出的是单位运动数据d构成的序列D。
本发明的毛笔运动驱动使用5个步进电机，其中步进电机A 2、步进电机B 4和步进电机C 5所驱动的悬臂运动不能直接对应x，y，z。在将(Δx，Δy，Δz)坐标变换为(ΔA，ΔB，ΔC)后结合(Δα，Δβ，Δγ)得到最终的单步运动量(ΔA，ΔB，ΔC，Δα，Δβ，Δγ)。
根据从神经网络模型获得的运动数据序列D，将每一个单位运动数据d＝(Δx，Δy，Δz，Δα，Δβ，Δγ)转换为(ΔA，ΔB，ΔC，Δα，Δβ，Δγ)，再根据单位长度和单位时长转换为对应的G代码，计算机将G代码发送给单片机。
单片机接收到G代码后，根据湿度传感器23的示值判断是否需要提前加墨。当笔头22湿度较低时，将提前开启输墨泵26输送墨汁，然后执行对应书写动作；
2.执行完书写动作后，抬高机械臂到固定位置，自学习摄像头17拍照，获取书写完的图像数据，发送到计算机，计算机将图像二值化。摄像头拍摄完后，卷纸电机9驱动卷纸筒11转动，更换书写区域；
3.图像匹配分析。机械臂书写的毛笔字特征简单，使用差值法进行图像匹配分析。
差值法步骤：
a.计算拍摄到的图片像素矩阵和模仿对象图片的矩阵的差Is；
b.对Is中所有元素取绝对值，然后相加，得到sum；
c.计算结果y’＝ya＝e-sum。
优选的，可以把步骤a中的矩阵求差改为对每一个元素求异或运算，然后对所有异或运算结果求和即可得到sum，加快计算速度。
优选的，对机器的书写结果可以实现人工评分，人工评分分值yp范围区间为[0,1]。然后对图像识别和人工评分进行加权平均；
4.根据计算出的y’，执行反向传播算法，更新神经网络参数。进行下一步自学习训练。
优选的，利用毛笔书写模拟算法替代机械臂进行书写，可以获得更快的训练效果；通过对算法输出的字体与标准字体进行图像匹配分析，用分析结果训练神经网络实现自学习功能。
具体实施方式二：
采用机械手的方式书写毛笔存在成本较高的缺点。本实施方式采用三轴并联式的结构来书写毛笔字，结构简单，运行稳定。采用三轴并联结构的书法机器人如图8和图9所示，包括卷纸电机9、宣纸10、卷纸筒11、自学习摄像头17、笔夹19、自动出墨毛笔21、墨汁盒27、机器人支架36、滑轨37、丝杠38、螺旋软管39、滑块40、步进电机G 41、步进电机H 42、步进电机I43、连杆44、步进电机J 45、中心平台46、旋转平台47、步进电机K 48、步进电机L 49和俯仰座50。在机器人支架36上竖直安装三根丝杠38和三个滑轨37，在每个滑轨37上安装有滑块40，三个滑块通过连杆44与中心平台46连接；使用步进电机G 41、步进电机H 42和步进电机I 43驱动对应的3根丝杠38带动滑块40运动，继而带动中心平台47在三个轴上的运动；在中心平台46上安装有方向朝下的步进电机J 45，步进电机J 45的轴通过中心平台46中间的孔洞与旋转平台47连接；在旋转平台47上安装有水平朝向的步进电机K 49，步进电机K 49通过蜗杆与俯仰座50连接，在俯仰座50上安装有步进电机L 48，步进电机L 48直接连接到笔夹19和自动出墨毛笔21；宣纸10、卷纸筒11和卷纸电机9的位置与实施方式一相同，位于自动出墨毛笔21正下方；墨汁盒27位于机器人支架36上方，螺旋软管39从上而下输送墨汁，相较于实施方式一，采用重力驱动，无需输墨泵26。
本发明一种人工智能的书法机器人，通过调节三个滑块40的高度，可以实现中心平台46在3个维度上的运动。根据获得的单位运动数据J＝(Δx，Δy，Δz，Δα，Δβ，Δγ)，将(Δx，Δy，Δz)三轴坐标转换成(Δg，Δh，Δi)，即步进电机G 41、步进电机H 42、步进电机I 43的单步运动长度；将(Δα，Δβ，Δγ)转换成步进电机J 45、步进电机K 49和步进电机L 48的单步旋转量。
本实施方式，所采用的神经网络结构、运行模式与训练方式均与实施方式一相同。
以上所述为本发明的具体设备及工艺情况，配合各图予以说明。但是本发明并不局限于以上所述的具体设备及工艺过程，任何基于上述所说的对于相关设备修改或替换，任何基于上述所说的对于相关工艺的局部调整，只要在本发明的精神领域范围内，均属于本发明。
Claims (6)
1.一种人工智能的书法机器人，其特征在于：包括底座、步进电机A、旋转盘、步进电机B、步进电机C、大悬臂、小悬臂、步进电机D、卷纸电机、宣纸、卷纸筒、连接杆、旋转轴、步进电机E、夹板、步进电机F、自学习摄像头、同步带、笔夹、紧固螺丝、自动出墨毛笔、输墨软管、输墨泵和墨汁盒，其中，底座上方装有步进电机A，步进电机A通过驱动旋转盘转动来实现整个机械臂的转动；旋转盘上安装有大悬臂，大悬臂的末端装有小悬臂，通过安装在旋转盘上的步进电机B和步进电机C驱动大悬臂和小悬臂在竖直方向的转动；在小悬臂尾端连接有连接杆，步进电机D通过蜗杆机构带动连接杆实现俯仰转动；两片夹板夹住连接杆的下端，步进电机E安装在一片夹板的一侧，并通过齿轮与连接杆传动，实现水平方向的转动；自学习摄像头也位于夹板一侧，在步进电机E的下方；在两片夹板中间安装有步进电机F和笔夹，笔夹在步进电机F的下方，步进电机F通过同步带驱动笔夹旋转；笔夹中空，自动出墨毛笔从下方装入，通过对称的四个笔夹紧固螺丝固定；在自动出墨毛笔的正下方是宣纸，宣纸通过两个卷纸筒支起，卷纸电机位于一个卷纸筒的一端，卷纸电机通过驱动卷纸筒的滚动来实现宣纸的移动；在底座的一旁放有墨汁盒，墨汁盒顶部安装有墨汁泵，墨汁泵通过输墨软管将墨汁泵至自动出墨毛笔。
2.根据权利要求1所述的一种人工智能的书法机器人，其特征在于：自学习摄像头安装在夹板一侧，自学习摄像头是灰度摄像头，在机械臂写完一个字后拍摄写出的毛笔字照片，传输给计算机。
3.根据权利要求1所述的一种人工智能的书法机器人，其特征在于：自动出墨毛笔下端是笔头；笔头使用动物毛发或者合成纤维制成；笔头上方装有湿度传感器，用于监测自动出墨情况；自动出墨毛笔内部填充吸墨海绵，用于保持湿度；自动出墨毛笔上方连接输墨管，输墨软管的另一端连接到输墨泵，当正在书写时，输墨泵将开始运行，从墨汁盒中泵出墨汁输送到毛笔。
4.根据权利要求1所述的一种人工智能的书法机器人，其特征在于：还包括数据记录平台底板、书写毛笔、书写摄像头、摄像头支撑杆和动作记录摄像头，数据记录平台底板的相邻两侧安装有朝向垂直的两个动作记录摄像头，动作记录摄像头朝向数据记录平台底板中心；书写毛笔笔杆上下端分别装有上标记和下标记，上标记和下标记分别采用红色和蓝色的纸贴附于毛笔笔杆上，书写毛笔顶端安装有黄色的横杆；书写摄像头位于数据记录平台的正上方，由摄像头支撑杆固定。
5.根据权利要求1所述的一种人工智能的书法机器人，其特征在于：利用毛笔书写模拟算法替代机械臂进行书写，通过对算法输出的字体与标准字体进行图像匹配分析，用分析结果训练神经网络实现自学习功能。
6.根据权利要求1所述的一种人工智能的书法机器人，其特征在于：采用三轴并联结构的书法机器人，包括有机器人支架、滑轨、丝杠、螺旋软管、滑块、步进电机G、步进电机H、步进电机I、连杆、步进电机J、中心平台、旋转平台、步进电机K、步进电机L9和俯仰座，在机器人支架上竖直安装三根丝杠和三个滑轨，在每个滑轨上安装有滑块，三个滑块通过连杆与中心平台连接；使用步进电机G、步进电机H和步进电机I驱动对应的3根丝杠带动滑块运动，继而带动中心平台在三个轴上的运动；在中心平台上安装有方向朝下的步进电机J，步进电机J的轴通过中心平台中间的孔洞与旋转平台连接；在旋转平台上安装有水平朝向的步进电机K，步进电机K通过蜗杆与俯仰座连接，在俯仰座上安装有步进电机L8，步进电机L直接连接到笔夹和自动出墨毛笔；宣纸、卷纸筒和卷纸电机的位置位于自动出墨毛笔正下方；墨汁盒位于机器人支架上方，螺旋软管从上而下输送墨汁。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810212905.3A CN108237544B (zh) | 2018-03-15 | 2018-03-15 | 一种人工智能的书法机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810212905.3A CN108237544B (zh) | 2018-03-15 | 2018-03-15 | 一种人工智能的书法机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108237544A true CN108237544A (zh) | 2018-07-03 |
| CN108237544B CN108237544B (zh) | 2024-03-26 |
Family
ID=62698956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810212905.3A Active CN108237544B (zh) | 2018-03-15 | 2018-03-15 | 一种人工智能的书法机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108237544B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109230595A (zh) * | 2018-09-04 | 2019-01-18 | 辽宁工程技术大学 | 一种带式输送机沿线煤粉回收机 |
| CN109664300A (zh) * | 2019-01-09 | 2019-04-23 | 湘潭大学 | 一种基于力觉学习的机器人多风格书法临摹方法 |
| CN109949660A (zh) * | 2018-11-09 | 2019-06-28 | 刘明贵 | 桌面书法机器人 |
| CN110435340A (zh) * | 2019-08-02 | 2019-11-12 | 绘笔教育科技(深圳)有限责任公司 | 一种快速响应的智能写字绘画机械装置 |
| CN110640756A (zh) * | 2019-09-23 | 2020-01-03 | 江汉大学 | 书法机器人 |
| CN111185902A (zh) * | 2019-12-30 | 2020-05-22 | 深圳市越疆科技有限公司 | 基于视觉识别的机器人文字书写方法、装置和书写系统 |
| CN111572265A (zh) * | 2020-05-11 | 2020-08-25 | 奥佳华智能健康科技集团股份有限公司 | 一种沙画控制系统 |
| CN113635694A (zh) * | 2021-07-23 | 2021-11-12 | 广州大学 | 一种用于控制书写半径轨迹的制图装置 |
| CN113927582A (zh) * | 2021-06-30 | 2022-01-14 | 深圳市越疆科技有限公司 | 配置临摹功能的机器人系统、方法、机械臂和存储介质 |
| CN117226811A (zh) * | 2023-11-13 | 2023-12-15 | 合肥探奥自动化有限公司 | 一种融合ai作诗的书法机器人交互系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020085A (zh) * | 2011-09-26 | 2013-04-03 | 兰州海防信息科技有限公司 | 一种个人风格化书法动态字库的实现方法及其应用 |
| KR20130088377A (ko) * | 2012-01-31 | 2013-08-08 | 경북대학교 산학협력단 | 휴머노이드 로봇 암을 이용한 선 드로잉 장치 및 방법 |
| CN104875208A (zh) * | 2015-06-11 | 2015-09-02 | 赵楠 | 书法机器人 |
| CN106625657A (zh) * | 2015-10-28 | 2017-05-10 | 发那科株式会社 | 经由通信网络连接cnc和机器人控制装置而得的机器人系统 |
| CN206825431U (zh) * | 2017-03-21 | 2018-01-02 | 河海大学 | 一种基于语音识别的书写机械装置 |
| CN107718013A (zh) * | 2017-11-07 | 2018-02-23 | 昆明理工大学 | 一种用于写书法的机器人 |
| CN207953879U (zh) * | 2018-03-15 | 2018-10-12 | 北京化工大学 | 一种人工智能的书法机器人 |
-
2018
- 2018-03-15 CN CN201810212905.3A patent/CN108237544B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020085A (zh) * | 2011-09-26 | 2013-04-03 | 兰州海防信息科技有限公司 | 一种个人风格化书法动态字库的实现方法及其应用 |
| KR20130088377A (ko) * | 2012-01-31 | 2013-08-08 | 경북대학교 산학협력단 | 휴머노이드 로봇 암을 이용한 선 드로잉 장치 및 방법 |
| CN104875208A (zh) * | 2015-06-11 | 2015-09-02 | 赵楠 | 书法机器人 |
| CN106625657A (zh) * | 2015-10-28 | 2017-05-10 | 发那科株式会社 | 经由通信网络连接cnc和机器人控制装置而得的机器人系统 |
| CN206825431U (zh) * | 2017-03-21 | 2018-01-02 | 河海大学 | 一种基于语音识别的书写机械装置 |
| CN107718013A (zh) * | 2017-11-07 | 2018-02-23 | 昆明理工大学 | 一种用于写书法的机器人 |
| CN207953879U (zh) * | 2018-03-15 | 2018-10-12 | 北京化工大学 | 一种人工智能的书法机器人 |
Non-Patent Citations (1)
| Title |
|---|
| 曾华琳;黄雨轩;晁飞;周昌乐;: "书写机器人研究综述", 智能系统学报, vol. 11, no. 1, pages 19 - 30 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109230595A (zh) * | 2018-09-04 | 2019-01-18 | 辽宁工程技术大学 | 一种带式输送机沿线煤粉回收机 |
| CN109949660A (zh) * | 2018-11-09 | 2019-06-28 | 刘明贵 | 桌面书法机器人 |
| CN109664300A (zh) * | 2019-01-09 | 2019-04-23 | 湘潭大学 | 一种基于力觉学习的机器人多风格书法临摹方法 |
| CN110435340A (zh) * | 2019-08-02 | 2019-11-12 | 绘笔教育科技(深圳)有限责任公司 | 一种快速响应的智能写字绘画机械装置 |
| CN110640756A (zh) * | 2019-09-23 | 2020-01-03 | 江汉大学 | 书法机器人 |
| CN110640756B (zh) * | 2019-09-23 | 2024-05-28 | 江汉大学 | 书法机器人 |
| CN111185902A (zh) * | 2019-12-30 | 2020-05-22 | 深圳市越疆科技有限公司 | 基于视觉识别的机器人文字书写方法、装置和书写系统 |
| CN111572265A (zh) * | 2020-05-11 | 2020-08-25 | 奥佳华智能健康科技集团股份有限公司 | 一种沙画控制系统 |
| CN113927582A (zh) * | 2021-06-30 | 2022-01-14 | 深圳市越疆科技有限公司 | 配置临摹功能的机器人系统、方法、机械臂和存储介质 |
| CN113635694A (zh) * | 2021-07-23 | 2021-11-12 | 广州大学 | 一种用于控制书写半径轨迹的制图装置 |
| CN117226811A (zh) * | 2023-11-13 | 2023-12-15 | 合肥探奥自动化有限公司 | 一种融合ai作诗的书法机器人交互系统 |
| CN117226811B (zh) * | 2023-11-13 | 2024-01-12 | 合肥探奥自动化有限公司 | 一种融合ai作诗的书法机器人交互系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108237544B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108237544A (zh) | 一种人工智能的书法机器人 | |
| CN207953879U (zh) | 一种人工智能的书法机器人 | |
| CN103020085B (zh) | 一种个人风格化书法动态字库的实现方法及其应用 | |
| Follmer et al. | KidCAD: digitally remixing toys through tangible tools | |
| CN108399821A (zh) | 一种电子智能辅助书写训练及分析评价系统 | |
| CN109664300A (zh) | 一种基于力觉学习的机器人多风格书法临摹方法 | |
| CN107273806A (zh) | 一种基于虚拟现实的书画练习方法及系统 | |
| CN102999282A (zh) | 基于实时笔画输入的数据对象逻辑控制系统及其方法 | |
| Yao et al. | Extracting the trajectory of writing brush in Chinese character calligraphy | |
| CN108466272B (zh) | 一种仿真写字绘画机器人及其使用方法 | |
| CN111833669A (zh) | 一种中国书法用笔教学系统及教学方法 | |
| CN106780680A (zh) | 基于增强现实技术的三维动画生成方法、终端及系统 | |
| CN109816770A (zh) | 使用神经网络的油画笔划模拟 | |
| CN110481217A (zh) | 一种辅助教育教学装置 | |
| CN107657839A (zh) | 具有真实触感的数字化书法体验设备及方法 | |
| CN103823989A (zh) | 一种儿童精细运动量化评估方法 | |
| Wang et al. | Constructing Calligraphy Evaluation Model Based on Writing Movement with LSTM Network | |
| CN115547145A (zh) | 一种书法篆刻艺术教学系统 | |
| CN105094378B (zh) | 一种操控笔尖三维运动的手写字迹模仿方法 | |
| Yao et al. | Trajectory generation of the writing–brush for a robot arm to inherit block–style Chinese character calligraphy techniques | |
| CN206819605U (zh) | 一种经济学教学展示板 | |
| CN106601040A (zh) | 一种课堂教学用机械臂 | |
| CN1900995A (zh) | 书法绘画练习模板及其使用方法 | |
| CN106710318A (zh) | 一种根据手绘图案构建物理实验的方法 | |
| CN208367959U (zh) | 数字化书法体验设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |