CN109002803B - 一种基于智能手表的握笔姿势检测和汉字笔顺识别方法 - Google Patents

Abstract

本发明公开了一种基于智能手表的握笔姿势检测和汉字笔顺识别的方法，首先进行数据收集和数据预处理；接着进行信号检测；最后基于有监督学习的方法构建握笔姿势检测模型和笔顺识别模型，分别用于握笔姿势检测和笔顺识别。本发明通过大量的实验证明了两种识别模型的有效性和鲁棒性。即笔顺识别和握笔姿势识别的平均精度分别达到76％和94％以上。

Description

一种基于智能手表的握笔姿势检测和汉字笔顺识别方法

技术领域

本发明属于移动感知技术领域，涉及一种握笔姿势检测和汉字笔顺识别方法，具体涉及一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，尤其可以识别具有很多重复笔画的汉字的笔顺。

背景技术

不同于英文，汉字是由笔画构成的象形文字，共有32种笔画，如图1所示，笔画的构成包括笔画类型和笔画顺序，笔画顺序的错误会影响汉字书写效率，破坏汉字的平衡结构。扭曲的握笔姿势会降低书写速度，甚至导致近视。这在教学中却很难直接观察到。以往汉字笔顺识别大多基于图像的方法，容易受光照条件限制，并需要昂贵的设备。因而基于现有智能手表，在不知道所书写汉字的前提下，提出自动识别在书写汉字时的握笔姿势和笔画顺序的算法。考虑不同的笔画书写导致手腕肌腱产生不同的震动方式，从而使智能手表内置的加速度和陀螺仪传感器输出不同的信号模式。因而可以基于智能手表实现汉字笔顺识别和握笔姿势的识别。

发明内容

本发明的目的是实现基于商用智能手表辅助汉字书写矫正，本发明提供了一种基于智能手表的握笔姿势检测和汉字笔顺识别方法。

本发明所采用的技术方案是：一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于，包括以下步骤：

步骤1：构建握笔姿势检测模型和笔顺识别模型；

所述握笔姿势检测模型，用于检测九种不同的握笔姿势，包括一种正确的握笔姿势和8种错误的握笔姿势；所述8种错误的握笔姿势包括横搭型、埋头型、扭曲型、扭转型、直线型、错位型、睡觉型和拳头型；

所述笔顺识别模型，用于识别用户书写的笔顺，并判断笔顺是否正确；

其中握笔姿势检测和笔顺识别的数据收集、数据预处理、信号检测使用通用方法。

步骤2：数据收集；

从智能手表内置的加速度和陀螺仪传感器收集数据，包括线性加速度和陀螺仪角速度；采集频率设为100HZ。其中，加速度通过坐标系转换和重力消除得到地球坐标系下的线性加速度；

步骤3：数据预处理；

基于小波去噪的方法减少收集数据的信号噪声，基于窗函数检测书写信号；

步骤4：基于窗函数检测书写信号，包括陀螺仪角速度三个轴和线性加速度三个轴的信号；

步骤5：握笔姿势检测或笔顺识别；

基于有监督学习方法，提取检测的笔画信号的特征，通过构建的笔顺识别模型和握笔姿势检测模型，最终实现对握笔姿势的检测和笔顺的识别。

相对于现有技术，本发明的有益效果是：提出了一种新的交互方式，即基于手腕手表传感器识别汉字笔顺和握笔姿势的方法。基于有监督学习方法，提取检测的笔画信号的特征，通过我们构建的笔顺识别模型和握笔姿势检测模型，最终实现对握笔姿势的检测和笔顺的识别。本方案相对于图像识别，传感器不受光线明亮的限制。方便在没有手机或平板时对自己的书写方式进行矫正。

附图说明

附图1是现有技术中的32种笔画；

附图2是本发明实施实例中的用于检测的九种常见握笔姿势；

附图3是本发明实施实例中的流程图；

附图4是本发明实施实例中的以本为例的方向示意图和方向索引矩阵；

附图5是本发明实施实例中的握笔姿势分类混淆概率矩阵；

附图6是本发明实施实例中的笔顺识别结果和汉字识别结果；

附图7是本发明实施实例中的不同笔画数的平均差异分和最小差异分曲线。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图3，本发明提供的一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，包括以下步骤：

步骤1：构建握笔姿势检测模型和笔顺识别模型；

对于握笔姿势，90％以上的汉字都同时包含横笔画和竖笔画，因此只需要提取这两个基本笔画就可以实现书写任何汉字时的握笔姿势检测。对于笔顺识别，检测汉字所有笔画去识别笔顺，然而有的汉字有很多重复笔画，仅仅基于笔画类型很难确定这些相同笔画之间的顺序，如自等。因而本发明提出一个算法通过检测笔画和相邻笔画间的手势移动方向进一步确定笔画顺序。

请见图2，本实施例的握笔姿势检测模型，用于检测九种不同的握笔姿势，包括一种正确的握笔姿势和8种错误的握笔姿势；8种错误的握笔姿势包括横搭型、埋头型、扭曲型、扭转型、直线型、错位型、睡觉型和拳头型；

本实施例建握笔姿势检测模型，是通过提取汉字中任意一个横笔画和任意一个竖笔画这两个基本笔画，实现书写任何汉字时的握笔姿势检测；首先通过智能手表收集写字数据，然后进行信号检测，并通过汉字笔顺模型中构建的笔画分类器识别并提取该汉字中的任意一个横笔画和任意一个竖笔画，将信号进行合并后，提取该信号特征，然后通过机器学习的方法进行分类建模，构建握笔姿势检测模型。

本实施例的笔顺识别模型，用于识别用户书写的笔顺，并判断笔顺是否正确；

本实施例构建笔顺识别模型，是通过检测笔画和笔画间的方向确定笔画顺序；

具体实现包括以下子步骤：

步骤1.1：检测汉字所有笔画；基于检测到的汉字笔画，搜索所有具有相同笔画的候选汉字，记为C＝{c₁,c₂,…,c_i,…,c_n}；

其中，汉字所有笔画和方向分别通过汉字笔画分类器和汉字方向分类器进行识别，汉字笔画分类器是基于采集的汉字笔画通过有监督学习的方法构建笔画分类模型。汉字方向分类器是基于采集的相邻笔画间的方向通过有监督学习的方法构建方向分类模型。

步骤1.2：对于每个候选汉字，构建方向索引矩阵，并基于笔画组成，找出该汉字所有的笔顺排列；

其中，构建方向索引矩阵，是对于检测的汉字笔画和方向分别进行编码，检测的汉字笔画作为索引，方向作为矩阵元素；在方向索引矩阵中依据笔画索引搜索方向。

本实施例对于检测的汉字笔画和方向分别进行编码，汉字笔画的编码为八位二进制，前三位代表同一笔画出现的次数，后五位表示笔画类型，笔画类型如图1所示；方向笔画的编码为三位，从上开始按顺时针方式分别编码上、右上、右、右下、下、左下、左、左上为000、001、010、011、100、101、110、111。

步骤1.3：基于检测到的汉字相邻笔画间的方向序列D与方向索引矩阵T计算差异匹配度dif；

其中，s_i表示模板中对应检测的两个相邻笔画之间的标准方向，d_i表示检测的两个相邻笔画的方向。

步骤1.4：比较确定相似度最小的候选汉字笔顺序列，同时确定所属的汉字；

其中，score_i表示第i个汉字的得分，m表示该汉字基于检测的笔画进行排列组合，有m种笔顺排列方式。i表示所属汉字，j表示所属笔顺，dif_i，j就是第i个汉字的第j类笔顺的差异匹配度。

步骤2：数据收集；

从智能手表内置的加速度和陀螺仪传感器收集数据，包括线性加速度和陀螺仪角速度；采集频率设为100HZ。其中，加速度通过坐标系转换和重力消除得到地球坐标系下的线性加速度；

步骤3：数据预处理；

基于小波去噪的方法减少收集数据的信号噪声，基于窗函数检测书写信号；

具体实现过程是：将获取的线性加速度和陀螺仪角速度通过小波去噪的方式减少噪声，即用小波变换将信号分解成小波。在小波域中，信号的系数非常大，噪声信号的系数很小。因此，通过去除具有小于指定阈值的系数的小波来抑制噪声。最后，通过小波重构得到去噪信号。然后将去噪后的信号通过设定的汉明窗函数判断。窗大小是0.08秒，窗移动步长为0.04秒。选取比噪声阈值大的信号为书写手势信号。若检测窗相邻，则进行合并，直到窗口内信号小于噪声阈值。将合并后的窗信号作为检测到的笔画或方向手势信号。

步骤4：信号检测；

基于窗函数检测书写信号，包括陀螺仪角速度三个轴和线性加速度三个轴的信号，这里通过阈值方法，选取比噪声大的信号作为我们写字手势信号。

其中，E表示检测到的窗口内的陀螺仪角速度和线性加速度的均方根之和，N表示窗口大小。X_gyroscope表示陀螺仪角速度X轴，Y_gyroscope表示陀螺仪角速度Y轴，Z_gyroscope表示陀螺仪角速度Z轴。X_acceleration表示线性加速度X轴，Y_acceleration表示线性加速度的Y轴，Z_acceleration表示线性加速度Z轴。

步骤5：握笔姿势检测或笔顺识别。

本实施例的握笔姿势检测，具体实现包括以下子步骤：

步骤5A.1：横笔画和竖笔画识别；

步骤5A.2：特征提取和特征选择；

分别提取线性加速度三个轴和角速度三个轴的时域特征、频域特征和时频特征，包括时域：最大值、坐标轴之间的相关系数，最小值，能量差，标准差，均值等。频域：傅里叶变换后的前十个低频系数，频域能量的最大值，最小值等。通过小波变换转换到时频域，获取小波系数。最后基于Wrapper方法进行特征选择降低维度，从而避免过拟合。

步骤5A.3：握笔姿势检测；

通过笔画分类器检测书写汉字过程中的任意一个横笔画和任意一个竖笔画，并将两个笔画信号前后连接起来，提取这两个笔画前后连接合并后的特征，将其输入到握笔姿势分类识别模型中，识别正在写字时的握笔姿势是否正确。

提取这两个笔画前后连接合并后的特征，特征如步骤5A.2所属。

为了判断汉字笔顺书写顺序是否正确，首先识别检测到的汉字笔画，许多汉字能够唯一通过笔画组成(包括笔画数和笔画类型)，然而，有些汉字具有相同的笔画，如本和未，有的汉字本身具有很多重复的笔画，如亲等，这就导致了多种笔顺序列可能性。仅仅通过笔画组成是难以区分和识别这些汉字的。因而，本发明加入两个笔画间的移动方向进一步识别汉字笔顺，通过构建一个汉字各个笔画间的标准方向索引矩阵，基于检测到的移动方向与索引矩阵进行匹配，确定相似度最高的笔顺序列。

本实施例的笔顺识别，具体实现包括以下子步骤：

步骤5B.1：特征提取和特征选择；

分别提取线性加速度三个轴和角速度三个轴的时域特征、频域特征和时频特征，包括时域：最大值、坐标轴之间的相关系数，最小值，能量差，标准差，均值等。频域：傅里叶变换后的前十个低频系数，频域能量的最大值，最小值等。通过小波变换转换到时频域，获取小波系数。最后基于Wrapper方法进行特征选择降低维度，从而避免过拟合。

步骤5B.2：笔顺识别；

首先识别检测到的汉字笔画，然后识别两个笔画间的移动方向，通过构建一个汉字各个笔画间的标准方向索引矩阵，基于检测到的移动方向与标准方向索引矩阵进行匹配，确定相似度最高的笔顺序列。

以下通过具体实施例对本发明做进一步阐述；

对于握笔姿势检测模块，本实施例首先检测汉字笔画，并连接汉字中一个横笔画和一个竖笔画的信号作为一个合并后的信号，然后本实施例提取这两个笔画合并后的信号的线性加速度和角速度的时域、频域和时频域的特征构建握笔姿势检测模型。同时为了避免过拟合和提高分类精度，本实施例基于Wrappers方法减少特征空间维度。最后基于SVM分类方法进行分类识别。

对于笔顺识别模块，通常一个汉字字符有一个正确笔顺和(n！-1)不正确的笔顺，为了方便汉字笔顺识别，本实施例首先构建该汉字所有汉字笔顺的方向索引矩阵。本实施例首先编码每个笔画为8位。前三位是相同类型笔画出现的次数，后五位是笔画的类型。例如，汉字中第一个横笔画可以编码为001/00001。同时本实施例定义米字格对应的八个方向代表汉字笔画间方向。从上开始按顺时针方向去编码分别为：000(上)，001(右上)，010(右)，011(右下)，100(下)，101(左下)，110(左)，111(左上)。

对于一个含有N笔画的汉字，本实施例使用一个N×N索引矩阵，其中元素a_i,j代表从第i个笔画到第j个笔画的移动方向。如图4所示，本实施例以本为例进一步解释如何构建索引矩阵，其按照正确笔顺的笔画编码分别为：001/00001-001/00101-001/00111-010/00001。如果首先写第一个竖笔画，再写第一个横笔画，它将朝着左上移动，方向为111。这样构建方式可以极大减少矩阵存储空间，本实施例定义K_n表示具有N笔画数汉字的矩阵大小，则所有笔画数汉字的矩阵大小为

即使20000个汉字都构建索引矩阵并存储下来，最大也不会超过30Mb。最后将收集的汉字笔画和方向基于握笔姿势检测方法分别构建笔画分类器和方向分类器。

本发明具体工作流程如下：

步骤1：输入检测到的笔画和方向信号；

步骤2：使用笔画分类器和方向分类器分别识别笔画类型和方向类型；

步骤3：找到具有相同笔画类型和笔画数的所有汉字；

步骤4：对于每个候选汉字，依据笔画类型排列其所有可能笔顺；

步骤5：基于笔顺识别算法，对识别的方向类型和笔画类型进行编码。对于每个汉字，构建其方向索引矩阵；

步骤6：对于属于集合中的每个汉字，基于每种笔顺，依据笔画编码索引，在笔顺索引矩阵中找到相邻之间的方向编码，并与检测的方向编码进行匹配，并计算更新差异分

步骤7：最小差异分对应的笔顺为该汉字检测到的笔顺。同时比较所有汉字的最小差异分，最后找到最小差异分dif_i,min，以及其所属的笔顺S_i,min和所属的汉字是c_i；

如图5所示，握笔姿势检测模块的识别精度达到93％左右。而只使用横笔画和竖笔画，其检测精度分别为69.8％和70.3％，因此，本实施例握笔姿势检测能够基于合并后的横笔画和竖笔画实现一个有很好的识别性能。本实施例收集四十个汉字，并分别构建方向索引矩阵来评价本实施例的笔顺识别算法。如图6所示，本实施例构建的汉字笔画分类器和方向分类器，识别精度分别达到77.69％，和70.12％。同时基于检测到的笔画和方向，使用本实施例的笔顺识别算法，得出汉字识别精度和笔顺识别精度分别达到88.56％和76.33％，而不加入方向，只使用笔画组成进行笔顺识别的精度只有32.15％。说明本实施例的算法相较于只基于笔画的方式，极大提高了识别性能，从而证明了本实施例算法的有效性。最后，图7展示了不同笔画数的平均得分和最小得分，证明方向匹配差异随着笔画数增多而增大，从而识别笔顺也越来越难。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于，包括以下步骤：

步骤1：构建握笔姿势检测模型和笔顺识别模型；所述握笔姿势检测模型，用于检测九种不同的握笔姿势，包括一种正确的握笔姿势和8种错误的握笔姿势；所述8种错误的握笔姿势包括横搭型、埋头型、扭曲型、扭转型、直线型、错位型、睡觉型和拳头型；所述笔顺识别模型，用于识别用户书写的笔顺，并判断笔顺是否正确；

所述构建握笔姿势检测模型，通过提取汉字中任意一个横笔画和任意一个竖笔画这两个基本笔画，实现书写任何汉字时的握笔姿势检测；首先通过智能手表收集写字数据，然后进行信号检测，并通过汉字笔顺模型中构建的笔画分类器识别并提取该汉字中的任意一个横笔画和任意一个竖笔画，将信号进行合并后，提取该信号特征，然后通过机器学习的方法进行分类建模，构建握笔姿势检测模型，识别握笔姿势；

所述构建笔顺识别模型，是通过检测笔画和笔画间的方向确定笔画顺序；具体实现包括以下子步骤：

步骤1.1：通过构建的笔画分类模型，检测汉字所有笔画；基于检测到的汉字笔画，搜索所有具有相同笔画的候选汉字，记为C＝{c₁,c₂,…,c_i,…,c_n}；

步骤1.2：对于每个候选汉字，构建方向索引矩阵，并基于笔画组成，找出该汉字所有的笔顺排列；

步骤1.3：通过构建的方向分类模型，将检测到的汉字相邻笔画间的方向序列D与方向索引矩阵T计算差异匹配度dif；

其中，s_i表示模板中对应检测的两个相邻笔画之间的标准方向，d_i表示检测的两个相邻笔画的方向；

步骤1.4：比较确定相似度最小的候选汉字笔顺序列，同时确定所属的汉字；

其中，score_i表示第i个汉字的得分，m表示该汉字基于检测的笔画进行排列组合，有m种笔顺排列方式；i表示所属汉字，j表示所属笔顺，dif_i，j就是第i个汉字的第j类笔顺的差异匹配度；

步骤2：数据收集；

从智能手表内置的加速度和陀螺仪传感器收集数据，包括线性加速度和陀螺仪角速度；其中，加速度通过坐标系转换和重力消除得到地球坐标系下的线性加速度；

步骤3：数据预处理；

基于小波去噪的方法减少收集数据的信号噪声，基于窗函数检测书写信号；

步骤4：基于窗函数检测书写信号，包括陀螺仪角速度三个轴和线性加速度三个轴的信号；

步骤5：握笔姿势检测或笔顺识别；

基于有监督学习方法，提取检测的笔画信号的特征，通过构建的笔顺识别模型和握笔姿势检测模型，最终实现对握笔姿势的检测和笔顺的识别。

2.根据权利要求1所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤1.1中所述检测汉字所有笔画，是通过有监督学习的方法，构建汉字笔画分类器和汉字方向分类器。

3.根据权利要求1所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤1.2中所述构建方向索引矩阵，是对于检测的汉字笔画和方向分别进行编码，检测的汉字笔画作为索引，方向作为矩阵元素；在方向索引矩阵中依据笔画索引搜索方向。

4.根据权利要求3所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：所述对于检测的汉字笔画和方向分别进行编码，汉字笔画的编码为八位二进制，前三位代表同一笔画出现的次数，后五位表示笔画类；方向笔画的编码为八位，从上开始按顺时针方式分别编码上、右上、右、右下、下、左下、左、左上为000、001、010、011、100、101、110、111。

5.根据权利要求1所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤3的具体实现过程是：将获取的线性加速度和陀螺仪角速度通过小波去噪的方式减少噪声，即用小波变换将信号分解成小波；通过去除具有小于指定阈值的系数的小波来抑制噪声；通过小波重构得到去噪信号；然后将去噪后的信号通过设定的汉明窗函数判断；选取比噪声阈值大的信号为书写手势信号；若检测窗相邻，则进行合并，直到窗口内小于噪声阈值；则将合并后的窗信号作为检测到的笔画或方向手势信号。

6.根据权利要求1所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤4的具体实现过程是：通过阈值方法，选取比噪声大的信号作为写字手势信号；

其中，E表示检测到的窗口内的陀螺仪角速度和线性加速度的均方根之和，N表示窗口大小；X_gyroscope表示陀螺仪角速度X轴，Y_gyroscope表示陀螺仪角速度Y轴，Z_gyroscope表示陀螺仪角速度Z轴；X_acceleration表示线性加速度X轴，Y_acceleration表示线性加速度的Y轴，Z_acceleration表示线性加速度Z轴。

7.根据权利要求1-6任意一项所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于，步骤5中所述握笔姿势检测，具体实现包括以下子步骤：

步骤5A.1：横笔画和竖笔画识别；

步骤5A.2：横笔画和竖笔画合并；

步骤5A.3：特征提取和特征选择；

分别提取线性加速度三个轴和角速度三个轴的时域特征、频域特征和时频特征；所述时域特征包括最大值、坐标轴之间的相关系数、最小值、能量差、标准差、均值；所述频域特征包括傅里叶变换后的前十个低频系数、频域能量的最大值、最小值；通过小波变换转换到时频域，获取小波系数；最后基于Wrapper方法进行特征选择降低维度，从而避免过拟合；

步骤5A.4：握笔姿势检测；

将提取的信号特征输入到握笔姿势分类识别模型中，识别正在写字时的握笔姿势是否正确。

8.根据权利要求1-6任意一项所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于，步骤5中所述笔顺识别，具体实现包括以下子步骤：

步骤5B.1：特征提取和特征选择；

分别提取线性加速度三个轴和角速度三个轴的时域特征、频域特征和时频特征；所述时域特征包括最大值、坐标轴之间的相关系数、最小值、能量差、标准差、均值；所述频域特征包括傅里叶变换后的前十个低频系数、频域能量的最大值、最小值；通过小波变换转换到时频域，获取小波系数；最后基于Wrapper方法进行特征选择降低维度，从而避免过拟合；

步骤5B.2：笔顺识别；

首先识别检测到的汉字笔画，然后识别两个笔画间的移动方向，通过构建一个汉字各个笔画间的标准方向索引矩阵，基于检测到的移动方向与标准方向索引矩阵进行匹配，确定相似度最高的笔顺序列。

Images