CN109746916B

CN109746916B - 一种机器人书写书法的方法及系统

Info

Publication number: CN109746916B
Application number: CN201910078996.0A
Authority: CN
Inventors: 闵华松; 李�杰; 邹俊宇; 余卓韵; 涂一鹏; 简傲; 陈子明; 沈欣; 王龙
Original assignee: Wuhan University of Science and Engineering WUSE
Current assignee: Wuhan University of Science and Engineering WUSE
Priority date: 2019-01-28
Filing date: 2019-01-28
Publication date: 2021-01-05
Anticipated expiration: 2039-01-28
Also published as: CN109746916A

Abstract

本发明实施例提供一种机器人书写书法的方法及系统，该方法包括：获取待书写字的汉字特征；根据所述汉字特征，建立所述待书写字的书法描述模型；根据所述书法描述模型和预设转换关系，获取所述待书写字对应的机器人控制参数；根据所述机器人控制参数，使得机器人进行书法书写。本发明实施例首先运用图像处理的方法获取原始的汉字图像，然后提取汉字的轮廓特征、骨架特征和笔画特征，建立汉字的书法描述模型，然后建立书法描述参数和机械臂控制参数的数学关系，计算出机械臂的控制参数，最终利用轨迹规划器控制机械臂写书法，并保证书写过程中位置的精确复现，以及速度、加速度的连续性，实现了机械臂沿任意轨迹的运动。

Description

一种机器人书写书法的方法及系统

技术领域

本发明实施例涉及机器人技术领域，尤其涉及一种机器人书写书法的方法及系统。

背景技术

中国书法是中华文化的瑰宝，它承载着中华民族的审美传统、文化素养模式重要的传统艺术形式。书法作品的保护与复现一直是一项极为困难的工作，而且许多书法大家的作品由于日积月累的风化十分脆弱其保存的难度越来越大。因此书法作品的数字化保存方式已经慢慢的显示出其优越性。可是如何能够有效地运用数学模型去描述汉字中所蕴含的书法是亟待解决的问题。

模块化机械臂自上世纪五十年代开始发展，已经广泛的运用在工业、制造业、医疗等各个领域。近年来，随着体积更小，操作精度更高的协作机械臂的诞生，机械臂可以运用到书法的复现和示教的领域。然而传统的机械臂路径规划仅有有直线轨迹和圆弧轨迹两种。使用前两种轨迹规划方法所拼接的毛笔字失去了毛笔运笔的连续性，不能称作真正的书法。

因此，亟需一种利用机器人书写书法的方法。

发明内容

针对上述问题，本发明实施例提供一种机器人书写书法的方法及系统。

第一方面，本发明实施例提供一种机器人书写书法的方法，包括：

S1，获取待书写字的汉字特征，所述汉字特征包括笔画特征、轮廓特征和骨架特征；

S2，根据所述汉字特征，建立所述待书写字的书法描述模型，所述待书写字的书法描述模型包括所述待书写字的汉字名称、所述待书写字的汉字大小位置、所述待书写字的笔画信息；

S3，根据所述书法描述模型和预设转换关系，获取所述待书写字对应的机器人控制参数，所述预设转换关系为所述待书写字所在坐标系与机器人所在坐标系之间的对应关系，所述机器人控制参数包括书写所述待书写字的轨迹上每一点的位姿；

S4，根据所述机器人控制参数，使得机器人进行书法书写。

第二方面，本发明实施例提供一种机器人书写书法的系统，包括：

特征模块，用于获取待书写字的汉字特征，所述汉字特征包括笔画特征、轮廓特征和骨架特征；

模型模块，用于根据所述汉字特征，建立所述待书写字的书法描述模型，所述待书写字的书法描述模型包括所述待书写字的汉字名称、所述待书写字的汉字大小位置、所述待书写字的笔画信息；

转换模块，用于根据所述书法描述模型和预设转换关系，获取所述待书写字对应的机器人控制参数，所述预设转换关系为所述待书写字所在坐标系与机器人所在坐标系之间的对应关系；

控制模块，用于根据所述机器人控制参数，使得机器人进行书法书写。

第三方面，本发明实施例提供一种电子设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的一种机器人书写书法的方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的一种机器人书写书法的方法。

本发明实施例提供的一种机器人书写书法的方法及系统，首先运用图像处理的方法获取原始的汉字图像，然后提取汉字的轮廓特征、骨架特征和笔画特征，建立汉字的书法描述模型，然后建立书法描述参数和机械臂控制参数的数学关系，计算出机械臂的控制参数，最终利用轨迹规划器控制机械臂写书法，并保证书写过程中位置的精确复现，以及速度、加速度的连续性，实现了机械臂沿任意轨迹的运动。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种机器人书写书法的方法流程图；

图2为本发明实施例中提取书法特征的示意图；

图3为本发明实施例中提取笔画特征的流程图；

图4为本发明实施例提供的一种机器人书写书法的系统的结构示意图；

图5示例了一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种机器人书写书法的方法流程图，如图1所示，该方法包括：

S3，根据所述书法描述模型和预设转换关系，获取所述待书写字对应的机器人控制参数，所述预设转换关系为所述待书写字所在坐标系与机器人所在坐标系之间的对应关系；

S4，根据所述机器人控制参数，使得机器人进行书法书写。

本发明实施例中以六自由度模块化机械臂为例进行书写书法进行说明，该机器人由机械臂、控制柜和示教器三部分组成，机械臂是由模块化关节构成的轻量级手臂，每个模块都集成了电机、减速机、码盘、控制电路和驱动器等部件，模块可以重构并且每个模块都可以单独工作。

该机器人的控制器通过CAN总线通讯方式完成对各个关节的运动控制，示教器有一个用户操作界面，可单独控制每个关节的运动，也可以在线编程控制机械臂的动作。

首先获取待书写字的笔画特征、轮廓特征和骨架特征，这三种特征一起称作待书写字的汉字特征，笔画特征是指待书写字的笔画，也就是待书写字由几笔构成，轮廓特征就是待书写字的轮廓，骨架特征就是待书写字的骨架，以待书写字为“大”为例进行说明，图2为本发明实施例中提取书法特征的示意图，如图2所示，可以看到“大”的骨架信息、轮廓信息和笔画信息。

接着根据前面得到的汉字特征，也就是根据笔画特征、轮廓特征和骨架特征这些信息，从这些特征中提取名称、笔画信息和大小位置，其中，笔画信息包括笔画类型、笔画宽度和笔画轨迹，笔画宽度包括起笔宽度、运笔宽度和收笔宽度，名称、笔画信息和大小位置共同组成书法描述模型。

在完成书法建模后，为了实现书法的临摹与创作，需要将书法描述模型转换为机械臂的控制参数。

具体地，需要先通过已知的书法描述模型和已知的机器人控制参数，找出该已知的书法描述模型和该已知的机器人控制参数之间的转换关系，将该转换关系作为预设转换关系。

以机械臂位置控制为例，机械臂每到达一个位置需要知道在机械坐标系中的坐标信息，而已知的书法描述模型中有笔画轨迹信息和笔画宽度信息，所以可以建立这两者之间的对应转换关系。

最后根据机器人控制参数，机器人控制参数中包括机械臂在书写“大”字的过程中的位置和姿态，以此为根据来控制机械臂进行书写“大”字。

本发明实施例首先运用图像处理的方法获取原始的汉字图像，然后提取汉字的轮廓特征、骨架特征和笔画特征，建立汉字的书法描述模型，然后建立书法描述参数和机械臂控制参数的数学关系，计算出机械臂的控制参数，最终利用轨迹规划器控制机械臂写书法，并保证书写过程中位置的精确复现，以及速度、加速度的连续性，实现了机械臂沿任意轨迹的运动。本发明可运用到书法的示教场合。

骨架特征和轮廓特征的提取已经有十分成熟的算法，对于骨架特征，可以利用ZHANG并行细化算法来获取汉字的骨架特征，得到汉字中心线，作为后续机械臂轨迹规划中路径控制的参数，然后采用Canny边缘检测算法提取二值图像的轮廓特征。

比较困难的是汉字笔画特征的提取。

在上述实施例的基础上，优选地，步骤S1中，所述获取待书写字的汉字特征中的笔画特征具体包括：

获取所述待书写字的二值化图像中每一像素点每一方向上的BBOD距离；

将每一像素点的最大BBOD距离所对应的方向作为每一像素点的切线方向；

根据每一像素点的切线方向，将预设角度范围内的像素点合并为同一笔画，以获取所述待书写字的初始笔画特征；

根据所述初始笔画特征中每一笔画的连通性和相似性，对所述初始笔画特征中的笔画进行合并，将合并后的初始笔画特征作为所述待书写字的笔画特征。

图3为本发明实施例中提取笔画特征的流程图，如图3所示，首先获取待书写字的二值化图像中所有像素点的数量和每个像素点的坐标，计算每个像素点在0-360度每个方向上的BBOD距离，在实际计算时，以4.5度的分辨率计算每个像素在采样方向的BBOD值，这样就会得到每个像素对应的一组数据，以每个像素中BBOD最大值所在方向作为每个像素的切线方向。

所有像素的切向方向称作为BBOD分布，将预设角度范围内的像素点合并为同一笔画。

由于BBOD算法进行笔画特征的分离时会存在过度分离和过度分割的问题，也就是说传统的BBOD算法会把属于一个笔画的分割称为两个笔画，很多同类笔画会被过度分离，因此，需要进行合并和重组，

根据笔画的连通性，将相连的笔画合并为同一笔画，最后，根据汉字的书写规则来判断笔画的相似度，将相似笔画合并为同一笔画，最后得到的结果作为待书写字的笔画特征。

在获取轮廓特征、骨架特征和笔画特征的提取之后，就可以建立书法描述模型。

运用提取的书法特征建立汉字描述模型，汉字描述模型属于数学模型，因此，可以将提取的书法特征量化为数学参数。

本发明实施例中针对书法特征，建立了包含汉字名称、汉字大小位置和笔画信息等参数的书法描述模型。

笔画信息是由笔画类型、笔画宽度和笔画轨迹三部分组成，从二值化图像中获取的轨迹信息是整条线段的笔画骨架，然而，实际并不需要那么多数据，仅仅需要采样一部分坐标点就可以了。

按照曲线的曲率来获取笔画轨迹的采样点，曲率变化大的地方多采样，小的地方少采样，每条笔画采取8-15个点的信息，这样就可以描述机械臂的运行轨迹。

在上述实施例的基础上，优选地，步骤S2中，所述待书写字的笔画信息还包括笔画宽度，对应地，获取所述待书写字的笔画宽度具体包括：

对于所述待书写字的任一笔画，所述待书写字的任一笔画的宽度通过如下公式计算获得：

其中，sw为所述待书写字的任一笔画的宽度，ap为所述待书写字的任一笔画上的像素总量，sk表示所述待书写字的任一笔画的骨架信息。

书法的书写过程中包含起笔、运笔和收笔三个部分，在这三个过程中，笔画宽度会有明显的变化。

本发明实施例根据此书写规则，提出了一种笔画宽度提取方法，将每个笔画分为三部分，对于任一笔画，任一笔画的计算公式如下：

sw为待书写字的任一笔画的宽度，ap为待书写字的任一笔画上的像素总量，sk表示待书写字的任一笔画的骨架信息。

再完成书法描述模型后，为了实现书法的临摹与创作，需要将书法描述模型转换为机器人控制参数。

本发明实施例通过多次实现获取书法描述模型和机器人控制参数之间的转换关系，通过一些已知的书法描述模型和机器人控制参数，来获得预设转换关系。

以机械臂位置控制为例进行说明，机械臂每到达一个位置需要知道该位置的坐标信息，而书法描述模型中有笔画轨迹信息和笔画宽度信息。

首先，需要建立笔画坐标系与机械臂末端坐标系之间的转换关系。

假设两个坐标系有相同的尺度，但是方位和原点不重合，则两者之间的变换关系如下：

其中，A_p代表笔画坐标系，B_p代表机械臂末端坐标系，

代表机械臂末端坐标系相对于笔画坐标系的旋转变换，

代表机械臂末端坐标系相对于笔画坐标系的平移变换。

采用三组已知的书法描述模型和机器人控制参数，就可以计算出两者之间的平移变换和旋转变换关系。

最后统一两个坐标系之间的度量：

A＝kB，

A表示笔画坐标系，B表示机械臂末端坐标系，k表示预设转换关系，再得知预设转换关系后，就可以将待书写字的书法描述模型转换为对应的机器人控制参数。

在上述实施例的基础上，步骤S4具体包括：

根据所述机器人控制参数，进行运动学逆解，获取所述机器人每一关节的旋转角度；

根据所述机器人控制参数，对所述机器人进行轨迹规划；

根据所述机器人每一关节的旋转角度和所述轨迹规划，控制所述机器人书写书法。

机器人控制参数表示机器人书写待书写字的轨迹上各个点的位置和姿态，根据该机器人控制参数，对该机器人进行运动学逆解，将机械臂的末端坐标参数转换成关节空间的各个关节角的值。

然后利用本发明实施例建立的上层轨迹规划器做轨迹规划，约束机械臂的位置、速度和加速度，保证机械臂路径精确复现书法的笔画，并且速度和加速度连续且平滑，最终实现机器人写书法。

传统的机械臂轨迹规划器仅有直线运动、圆弧运动和点到点运动三种最基本的规划方法。

在上述实施例的基础上，具体地，所述根据所述机器人控制参数，对所述机器人进行轨迹规划，进一步包括：

通过三次样条控制所述机器人的路径规划；

通过S型曲线算法约束所述机器人的速度和加速度。

本发明实施例提出了一种可以使机器人沿着任意给定路径运动的上层轨迹规划器，本规划器主要由两部分构成：

三次样条控制运动路径，S型曲线算法约束轨迹的速度和加速度，保证其平滑和连续性。

NURBS曲线是一种工业中常用的插补曲线，它仅仅需要很低的阶次与少量的数据点就可以精准的复现复杂的曲线，本发明实施例采用了三次样条(NURBS曲线的一种)来实现笔画的复现，因为这种方式复现的曲线精确度较好，且建模难度较低，其计算公式如下：

t为插补间距，范围在[0,1]之间，M_C为控制矩阵，P为采样点，C(t)为最终插补路径。

然后本发明实施例采用S型曲线算法来约束机械臂的速度和加速度，S型速度规划指加减速过程中，加速度成梯度变化，速度呈S形二次曲线变化。S型加减速将整个规划过程划分为7段：加加速段，匀加速段，减加速段，匀速段，匀速运动阶段，加减速段，匀减速段，减减速段。前三个运动过程和后三个运动过程时是镜像对称的。

本轨迹规划器保证了书法机器人在运动过程中速度、加速度的连续与平滑，最终能复现任意的书法汉字。

在上述实施例的基础上，优选地，步骤S1之前还包括：

从汉字库中获取所述待书写字；

对所述待书写字进行去噪和二值化处理。

在提取特征之前，首先要对输入待书写字做图像去噪和二值化处理。

首先采用高斯平滑滤波方法，运用一个【5*5】的模板对整幅图像进行加权平均，将领域内的加权平均灰度值代替模板中心的像素值以削弱高斯噪声。然后利用OSTU算法对图像做二值化处理，最终得到一个可用于特征提取的图像。

图4为本发明实施例提供的一种机器人书写书法的系统的结构示意图，如图4所示，该系统包括：特征模块401、模型模块402、转换模块403和控制模块404，其中：

特征模块401用于获取待书写字的汉字特征，所述汉字特征包括笔画特征、轮廓特征和骨架特征；

模型模块402用于根据所述汉字特征，建立所述待书写字的书法描述模型，所述待书写字的书法描述模型包括所述待书写字的汉字名称、所述待书写字的汉字大小位置、所述待书写字的笔画信息；

转换模块403用于根据所述书法描述模型和预设转换关系，获取所述待书写字对应的机器人控制参数，所述预设转换关系为所述待书写字所在坐标系与机器人所在坐标系之间的对应关系，所述机器人控制参数包括书写所述待书写字的轨迹上每一点的位姿；

控制模块404用于根据所述机器人控制参数，使得机器人进行书法书写。

本系统中特征模块获取待书写字的笔画特征、轮廓特征和骨架特征，这三个特征称作为待书写字的汉字特征，模型模块根据待书写字的汉字特征，对这些汉字特征进行处理，从其中获取待书写字的名称、大小位置和笔画信息，这些信息都包含在书法描述模型中，书法描述模型描述的是待书写字的相关特征，并且这些特征是在待书写字所在的坐标系下的。机器人控制参数是对机器人进行控制的相关数学参数，这些参数是在机器人所在的坐标系下的。因此，转换模块根据待书写字的书法描述模型和预设转换关系，将书法描述模型转换为待书写字对应的机器人控制参数。控制模块根据待书写字对应的机器人控制参数，控制机器人进行书写书法。

本系统实施例的具体执行过程与上述方法实施例相同，详情请参考上述方法实施例，本系统实施例在此不再赘述。

图5示例了一种电子设备的实体结构示意图，如图5所示，该服务器可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和总线540，其中，处理器510，通信接口520，存储器530通过总线540完成相互间的通信。通信接口540可以用于服务器与智能电视之间的信息传输。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：

S4，根据所述机器人控制参数，使得机器人进行书法书写。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1，获取待书写字的汉字特征，所述汉字特征包括笔画特征、轮廓特征和骨架特征；S2，根据所述汉字特征，建立所述待书写字的书法描述模型，所述待书写字的书法描述模型包括所述待书写字的汉字名称、所述待书写字的汉字大小位置、所述待书写字的笔画信息；S3，根据所述书法描述模型和预设转换关系，获取所述待书写字对应的机器人控制参数，所述预设转换关系为所述待书写字所在坐标系与机器人所在坐标系之间的对应关系，所述机器人控制参数包括书写所述待书写字的轨迹上每一点的位姿；S4，根据所述机器人控制参数，使得机器人进行书法书写。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种机器人书写书法的方法，其特征在于，包括：

S4，根据所述机器人控制参数，使得机器人进行书法书写；

步骤S1中，所述获取待书写字的汉字特征中的笔画特征具体包括：

根据所述初始笔画特征中每一笔画的连通性和相似性，对所述初始笔画特征中的笔画进行合并，将合并后的初始笔画特征作为所述待书写字的笔画特征；

步骤S1之前还包括：

从汉字库中获取所述待书写字；

对所述待书写字进行去噪和二值化处理。

2.根据权利要求1所述方法，其特征在于，步骤S2中，所述待书写字的笔画信息包括笔画轨迹，对应的，获取所述待书写字的笔画轨迹具体包括：

获取所述待书写字的轨迹；

根据所述待书写字的轨迹所在曲线的曲率，对所述待书写字的轨迹进行采样；

将所有采样点所在的轨迹作为所述笔画轨迹。

3.根据权利要求1所述方法，其特征在于，步骤S2中，所述待书写字的笔画信息还包括笔画宽度，对应地，获取所述待书写字的笔画宽度具体包括：

4.根据权利要求1所述方法，其特征在于，步骤S4具体包括：

根据所述机器人控制参数，对所述机器人进行轨迹规划；

5.根据权利要求1所述方法，其特征在于，所述根据所述机器人控制参数，对所述机器人进行轨迹规划，进一步包括：

通过三次样条控制所述机器人的路径规划；

通过S型曲线算法约束所述机器人的速度和加速度。

6.一种机器人书写书法的系统，其特征在于，包括：

控制模块，用于根据所述机器人控制参数，使得机器人进行书法书写；

所述获取待书写字的汉字特征中的笔画特征具体包括：

步骤特征模块之前还包括：

从汉字库中获取所述待书写字；

对所述待书写字进行去噪和二值化处理。

7.一种电子设备，其特征在于，包括：

所述通信接口用于该电子设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-5中任一项所述的方法。

8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5任一所述的方法。