CN108764054A

CN108764054A - 基于生成式对抗网络的机器人书写书法的方法

Info

Publication number: CN108764054A
Application number: CN201810408845.2A
Authority: CN
Inventors: 晁飞; 干琳; 吕骥图; 周昌乐
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2018-04-27
Filing date: 2018-04-27
Publication date: 2018-11-06
Anticipated expiration: 2038-04-27
Also published as: CN108764054B

Abstract

基于生成式对抗网络的机器人书写书法的方法，涉及机器人。收集标准毛笔字笔画数据，并按笔画类型整理分类，并注上标注；基于生成对抗网络模型训练两个深度神经网络，生成网络G和对抗网络D；将随机采样的向量输入生成网络G，得到笔画轨迹点的概率分布；书法机器人应用抽样方法从概率分布中获取笔画位置信息并书写笔画致画板，写好后，由相机拍摄记录笔画图像；将待处理的图像进行预处理，输入对抗网络D中进行训练，调整参数，以达到收敛。生成机制具有良好的学习能力，可使书法机器人具有可自动生成各种风格笔画的生成机制，解决了目前书法机器人耗费大量人力手动输入的困难。

Description

基于生成式对抗网络的机器人书写书法的方法

技术领域

本发明涉及机器人，尤其是涉及深度学习、生成对抗网络(GAN)、运动学以及传统图像处理的基于生成式对抗网络的机器人书写书法的方法。

背景技术

机器人技术中促进人类文化和文明方面的应用，如机器人写作和绘图，是传统机器人研究常常忽略的一个主要话题。机器人写作的研究侧重于控制算法的设计，以驱动机器人终端效应器编写复杂的字符或字母。由于汉字写作必须考虑字符笔画的空间搭配，高质量的书写必须在正确的位置找到形状良好的笔画，因此汉字的书写质量基本上取决于字符笔画的质量。现有的高质量笔画书写需要书法机器人来同时控制各种关节，以使笔精确移动。因此，只有机器人预定义的字体数据库中存在的字符才能被机器人写入。然而，这导致目前的书法机器人面临一个具有挑战性的难题，即这些机器人不能产生具有良好多样性的笔画。换句话说，现在的书法机器人的书写结果都是一样的，缺乏人类书法家通常具有的创造力。

目前，大多数书法机器人都是应用直接编程的方法将大型字体数据库附加到机器人控制系统([1]X.Ma,Q.Kong,W.Ma,and X.Zhang,“4-DOF lettering robots trajectoryplanning,”in Mechanical Engineering and Automation,2010,vol.165,no.5,pp.161–163；[2]Y.Man,C.Bian,H.Zhao,C.Xu,and S.Ren,“A kind of calligraphy robot,”inIEEE International Conference on Information Sciences and InteractionSciences,China,2010,pp.635–638。这种方法需要复杂而庞大的人力投入来将字体信息转换为机器人的轨迹([3]H.Zeng,Y.Huang,F.Chao,and C.Zhou,“Survey of roboticcalligraphy research,”CAAI Transactions on Intelligent Systems,vol.11,no.1,pp.15–26,2016)。还有部分研究利用操纵器的后续能力获得丰富的字体信息，这成功地将人类书法风格赋予机器人。然而，该方法仍然需要大量的人力工作来使操纵者能够产生足够的字体信息。本方法试图使用深度神经网络来学习写作和绘画能力([4]K.Sasaki,K.Noda,and T.Ogata,“Visual motor integration of robot’s drawing behaviorusing recurrent neural network,”Robotics and Autonomous Systems,vol.86,pp.184–195,2016)。事实上，书法机器人具有可自动生成各种风格的生成机制，这非常有吸引力。另外，希望生成机制具有良好的学习能力，使得可以使用训练数据来训练机制，而不是以大量的人力消耗来手动设置。

发明内容

本发明的目的在于针对现在的书法机器人的书写结果都是一样的，缺乏人类书法家通常具有的创造力的问题，提供可使机器人具有良好的学习能力，进而实现机器人书写多样性和独创性的基于生成式对抗网络的机器人书写书法的方法。

为实现上述目的，本发明设有三个交互模块：A.笔划生成模块:输入随机数以产生笔画轨迹点的概率分布，并由书法机器人应用抽样方法从中获取位置信息并书写汉字笔画；B.笔划判别模块：接受笔画图像，包括机器人利用生成模块书写的汉字笔画以及通过预处理得到的标准笔画训练集，预测真实数据分布的概率；C.训练模块。将笔画生成网络和判别网络交替训练，以提高生成器生成笔画质量，最终达到笔画判别模块无法判别数据真假。

本发明包括以下步骤：

1)收集标准毛笔字笔画数据，并按笔画类型整理分类，并注上标注；

2)基于生成对抗网络模型训练两个深度神经网络，生成网络G和对抗网络D；

3)将随机采样的向量输入生成网络G，得到笔画轨迹点的概率分布；

4)书法机器人应用抽样方法从概率分布中获取笔画位置信息并书写笔画致画板，写好后，由相机拍摄记录笔画图像；

5)将待处理的图像进行预处理，输入步骤2)中的对抗网络D中进行训练，调整参数，以达到收敛；

在步骤1)中，所述收集标准毛笔字笔画数据还包括对标准毛笔字笔画数据预处理的工作，所述数据预处理包括数据归一化操作以及对图片的裁剪为28像素×28像素的工作；所述标注的具体方法可为1：短撇、2：横、3：横撇、4：捺、5：竖撇、6：竖弯钩六种标签；所述收集标准毛笔字笔画数据可利用中国书法教科书中的简单汉字，利用图像可形变配准方法，将汉字提取成汉字笔画，每个笔画有500个训练样本，训练样本的总数超过3000个。

在步骤2)中，所述生成网络G用于模拟原始数据生成类似原始数据分布的汉字笔画图像，对抗网络D用于区分输入图像是来自机械臂书写还是标准图像数据，所述生成对抗网络模型的目标函数为：

其中，V(D,G)表示博弈问题中的价值函数，即需要优化的目标函数，x～pr表示x服从数据库内笔画图像分布pr，即表示x来自数据库笔画图像；E[？]表示网络期望值；其中D(·)表示对抗网络D的输出；W(·)表示机器人系统的写入过程，每个G(·)是从图像中获得的；训练得到的生成网络G能够生成各种不同概率分布的比划图像，对抗网络D用来辨别输入图像的特征。

在步骤3)中，所述随机采样得到随机数组Z，它的维数设置为128，不同的数组Z代表不同的笔画；根据数组利用步骤2)训练好的生成网络G，得到各种笔画图像；获取生成网络G输出结果后，书法机器人应用抽样方法从概率分布中获取笔画的位置信息，并利用机械手臂利用逆向运动学将所得的位置书写在画板上，写好后，安装在软笔上方的摄像头进行拍照记录笔画图像。

在步骤4)中，所述笔画图像由随机比例的机器人书写笔画和标准毛笔字笔画数据组成。在实验时，机器人使用所提出的方法产生的轨迹非常接近人写的轨迹，证明本发明的成功。

本发明的优点在于：生成机制具有良好的学习能力，可使书法机器人具有可自动生成各种风格笔画的生成机制，解决了目前书法机器人耗费大量人力手动输入的困难。

附图说明

图1为原始数据库中笔画图片；

图2为生成式对抗网络结构示意图；

图3为生成对抗网络结构图；

图4为6种笔画最终书写结果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明实施例包括以下步骤：

1)收集标准毛笔字笔画数据，并按笔画类型整理分类，并注上标注。

2)基于生成对抗网络模型训练两个深度神经网络，生成网络G和对抗网络D。

3)将随机采样的向量输入生成网络G，得到笔画轨迹点的概率分布。

4)书法机器人应用抽样方法从概率分布中获取笔画位置信息并书写笔画致画板，写好后，由相机拍摄记录笔画图像。

5)将待处理的图像进行预处理，输入步骤2)中的对抗网络D中进行训练，调整参数，以达到收敛。

步骤1)的制作训练集的具体实施方案为：

收集标准毛笔字笔画数据，是利用中国书法教科书中的简单汉字，利用图像可形变配准方法，将汉字提取成汉字笔画，每个笔画有500个训练样本，训练样本的总数超过3000个。并将训练样本进行标注，标注具体方法为1：短撇、2：横、3：横撇、4：捺、5：竖撇、6：竖弯钩6种标签。并对标准毛笔字笔画数据进行预处理工作，所述数据预处理包括数据归一化操作，以及对图片的裁剪为28像素×28像素的工作，图1为原始数据库中笔画图片。

步骤2)训练生成对抗网络的具体实施方案为：

基于生成对抗网络模型训练两个深度神经网络：生成网络G和对抗网络D，如图2为生成对抗网络结构示意图。

生成对抗网络是由生成网络G和对抗网络D两个深度神经网络构成，生成网络G是用于模拟数据生成类似原始数据分布的笔画图像，对抗网络D是用于辨别输入图像是来自生成网络G还是原始图像数据，两个网络的优化转化为一个对抗过程，利用一个极大极小目标函数来优化两个网络：

其中，V(D,G)表示博弈问题中的价值函数，即需要优化的目标函数，x～pr表示x服从数据库内笔画图像分布pr，即表示x来自数据库笔画图像；E[？]表示网络期望值；其中D(·)表示对抗网络D的输出；W(·)表示机器人系统的写入过程。每个G(·)是从图像中获得的。G(z)表示第轨迹点的出现概率，W(G(z))表示由摄像头拍摄的机器臂写入的图片，D(W(G(z))表示对抗网络D的输出，取值范围从0到1。

训练得到的生成网络G能够生成各种不同概率分布的比划图像，对抗网络D用于辨别输入图像的特征。

本实施例中对抗网络D的损失函数为：

D_loss＝-E_x～p_r[logD(x)]-E_z～p_z[log(1-D(W(G(z))))]

生成网络G必须产生多个轨迹点以从对抗网络D获得更高的奖励。因此，培训目标是增加奖励较高的轨迹的发生概率。生成网络G的损失函数为：

其中n表示笔画轨迹点的数量；G(z)表示第i个轨迹点的出现概率；G(z)i表示通过将笔画的所有轨迹点的概率相乘而计算的笔画的出现概率；和D(W(G(z))表示对抗网络D的输出，取值范围从0到1。

步骤3)训练生成对抗网络的具体实施方案为：G的输入是一个生成的随机数组Z，它的维数设置为128。G的隐层有128×TN隐藏神经元，其中TN表示轨迹点的数量。G的输出包含两个概率分布：1)轨迹点位置分布ptpp，和轨迹宽度分布ptw。因此，输出层的尺寸Noutput定义如下：

Noutput＝784·TN+RN·TN

其中RN表示轨迹宽度的级数，TN表示轨迹点的数量。在这项工作中，RN被设置为20，这意味着轨迹具有20种宽度。

对于每个轨迹点位置，应用“softmax”函数来规范生成网络G的输出；因此，softmax函数被定义为：

其中j表示图像的第j个输出；K＝784；β表示提高质量笔画点的选择概率的尺度参数；本文在实证研究的基础上将β设为4。Z_k为第k个随机分布。Z_j为第j个随机分布。

当产生所有概率分布时，使用随机抽样方法从概率分布生成五个轨迹点。采样后，五点的位置和宽度信息都会发送给机器人系统。

步骤4)训练生成对抗网络的具体实施方案为：

机器人手臂和书写板的位置都是固定的。手臂的五个关节中的四个用于完成写作任务。笔尖安装在手臂上，书写在手臂的工作范围内。然后，安装在软笔上方的摄像头捕捉来自中国书法教科书的输入中文字符图片。机器人手臂的逆向运动学分析基于正向运动学。因此，如果获得机械手的位置，则通过逆向运动学来计算机器人的四个关节。创建转换函数以将笔划轨迹的位置转换为书法机器人坐标系中的位置。该函数被定义为：

其中γ表示尺度参数，其控制每个笔画的尺寸；x_S，y_S和z_S共同定义每个笔划的初始位置；τ是通过在G中对RN进行采样而获得的。x_p和y_p是机械臂移动单位大小。图3为生成对抗网络结构图。

步骤5)训练生成对抗网络的具体实施方案为：

图像的训练时期设定为5000次。在前几百个训练时期，对抗网络D不能确定每个图像是否由操纵器生成；因此，评估分数是随机分配的。这个阶段的平均分数较低。然后，对抗网络D获得更快的判别能力；相反，生成网络G没有产生高质量的文字。在这种情况下，分数急剧下降。然而，由于政策梯度机制产生了启发式反馈信息，出现了几个优质的书面结果。大约第500次迭代之后，分数逐渐攀升写作质量已经达到了很高的水平。图4为6种笔画最终书写结果图。

本发明在训练阶段，首先收集标准毛笔字笔画数据，并基于生成对抗网络模型训练两个深度神经网络(生成网络G和对抗网络D)，其中书法机器人将生成网络G训练结果应用抽样方法从中获取位置信息并书写汉字笔画，并将其作为对抗网络D的输入进行训练。训练时，生成网络G引入强化学习中的“策略梯度”训练方法以解决误差信息不能回传的难题，通过将判别模块的输出作为奖励来训练生成模块。本发明使机器人能够学习写出具有丰富多样性和独创性的基本中文笔画。经测试，通过学习，书法机器人能成功地写出多种风格的高质量的中文笔画。本发明所提出的方法可以实现人类的笔画书写质量，而不需要建立评估系统。

Claims

1.基于生成式对抗网络的机器人书写书法的方法，其特征在于包括以下步骤：

2.如权利要求1所述基于生成式对抗网络的机器人书写书法的方法，其特征在于在步骤1)中，所述收集标准毛笔字笔画数据包括对标准毛笔字笔画数据预处理的工作，所述数据预处理包括数据归一化操作以及对图片的裁剪为28像素×28像素的工作。

3.如权利要求1所述基于生成式对抗网络的机器人书写书法的方法，其特征在于在步骤1)中，所述标注的具体方法为1：短撇、2：横、3：横撇、4：捺、5：竖撇、6：竖弯钩6种标签。

4.如权利要求1所述基于生成式对抗网络的机器人书写书法的方法，其特征在于在步骤1)中，所述收集标准毛笔字笔画数据是利用中国书法教科书中的简单汉字，利用图像可形变配准方法，将汉字提取成汉字笔画，每个笔画有500个训练样本，训练样本的总数超过3000个。

5.如权利要求1所述基于生成式对抗网络的机器人书写书法的方法，其特征在于在步骤2)中，所述生成网络G用于模拟原始数据生成类似原始数据分布的汉字笔画图像，对抗网络D用于区分输入图像是来自机械臂书写还是标准图像数据，所述生成对抗网络模型的目标函数为：

6.如权利要求1所述基于生成式对抗网络的机器人书写书法的方法，其特征在于在步骤3)中，所述随机采样得到随机数组Z，它的维数设置为128，不同的数组Z代表不同的笔画；根据数组利用步骤2)训练好的生成网络G，得到各种笔画图像；获取生成网络G输出结果后，书法机器人应用抽样方法从概率分布中获取笔画的位置信息，并利用机械手臂利用逆向运动学将所得的位置书写在画板上，写好后，安装在软笔上方的摄像头进行拍照记录笔画图像。

7.如权利要求1所述基于生成式对抗网络的机器人书写书法的方法，其特征在于在步骤4)中，所述笔画图像由随机比例的机器人书写笔画和标准毛笔字笔画数据组成。