CN117315790A - 手部书写动作的分析方法和智能笔 - Google Patents

Abstract

本发明提供一种手部书写动作的分析方法和智能笔，包括采集当前用户书写的每一类型的样本笔画的样本特征数据，其中，样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T；采集并确认每个待识别笔画的待识别特征数据，其中，所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’；根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度，确定用户的书写内容以及书写字数；将用户的书写内容和书写字数上传至目标位置。本申请的技术可以自动实现手部书写动作分析、字数统计、自动分享和记录学习过程等功能。

Description

手部书写动作的分析方法和智能笔

技术领域

本发明涉及人机交互技术领域，尤其是涉及一种手部书写动作的分析方法和智能笔。

背景技术

在社交平台分享个人学习过程、成果已成为在校学生的一种日常行为，学生通常采取手机拍照、打卡方式开始或结束一个周期的学习任务。此外，很多学生也喜欢制定备考计划，每天在社交网站打卡分享学习内容。

然而，现有技术没有实现手部书写动作分析、字数统计、自动分享和记录学习过程的功能。

发明内容

基于此，本申请提供一种手部书写动作的分析方法和智能笔，该智能笔通过模式识别可以对用户的手部书写动作进行姿态分析以记录学习过程、记录学习内容，同时还可以进行字数统计、上传数据、自动打卡等。

第一方面，本发明实施例提供一种手部书写动作的分析方法，所述分析方法应用于智能笔，所述分析方法包括：S1：采集当前用户书写的每一类型的样本笔画的样本特征数据，其中，样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T，样本笔画的类型包括：29种汉字笔画、0-9、a-z、A-Z、字符切换笔画；S2：采集并确认每个待识别笔画的待识别特征数据，其中，所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’；S3：根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度，确定用户的书写内容以及书写字数；S4：将用户的书写内容和书写字数上传至目标位置。

进一步地，S1包括：S11：陀螺仪基于预设的采样频率f采集用户书写每一类型的样本笔画过程中智能笔在X，Y，Z轴的角速度ωx、ωy、ωz；S12：加速度计采集用户书写每一类型的样本笔画过程中智能笔的加速度在X，Y，Z轴的分量ax、ay、az；S13：角速度计算模块对角速度进行姿态解算，得到样本角度数据A(Ax，Ay，Az)；S14：加速度计算模块对加速度进行姿态解算，得到样本加速度数据B(Bx，By，Bz)；S15：滤波融合模块对样本角度数据A和样本加速度数据B进行互补滤波处理以及融合处理，得到滤波融合数据C(Cx，Cy，Cz)；S16:坐标确认模块根据滤波融合数据C、加速度ax、ay、az确认智能笔的样本坐标D(x，y，z)；S17：轨迹计算模块将每一类型的样本笔画的样本坐标D进行集合，得到样本轨迹E；S18：持续时间确认模块根据样本轨迹E确认每一类型的样本笔画的持续时间T；S19：将每一类型样本笔画的角速度、加速度、样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T存储在笔画数据库中。

进一步地，S15包括：C=（上一时刻的C+A）×（1-a）+B×a（8）；其中，a为陀螺仪或加速度计的置信度，取值范围为0-1，在初次打开智能笔时，初始滤波融合数据C0默认为0。

进一步地，S13包括：计算样本角度数据A的公式为：[Ax，Ay，Az]=trans×gyro（1）；其中，trans 表示由陀螺仪输出到姿态角速度的转换矩阵，为固定常量；gyro表示陀螺仪输出数据的矩阵形式，计为gyro=[ωx，ωy，ωz]。

进一步地，S13中计算样本角度数据A的方法替换为：Ax=ωx×Dt（2）；Ay=ωy×Dt（3）；Az=ωz×Dt（4）。

进一步地，S14包括：Bx=q(y-z)=arctan(ax/sqrt(ay^2+az^2))（5）；By=q(x-z)=arctan(ay/sqrt(ax^2+az^2))（6）;Bz=q(x-y)=arctan(az/sqrt(ax^2+ay^2))（7）;其中，q(x-z)表示为加速度方向与X-Z平面的夹角，q(x-y)表示为加速度方向与X-Y平面的夹角，q(y-z)表示为加速度方向与Y-Z平面的夹角。

进一步地，S16包括：S161：在单位采样周期Dt内对X、Y、Z轴的加速度ax、ay、az分别进行积分，得到位移数据DSx、DSy、DSz；S162：根据滤波融合数据C与所述位移数据，确认单位采样周期智能笔的样本坐标D(x，y，z)。

进一步地，S3包括：S31：笔画类型确认模块基于预设的权重，根据笔画数据库中的样本特征数据，确认待识别笔画的类型；S32：笔画组合模块将所有单一的待识别笔画按照撰写顺序进行组合、并基于字符切换笔画进行拆分，得到用户的书写内容和书写字数。

进一步地，不同的笔画类型预先设置有不同的权重；字符切换笔画的权重中，样本加速度数据B、样本轨迹E和持续时间T的权重大于滤波融合数据C、样本坐标D的权重。

第二方面，本发明实施例提供一种智能笔，所述智能笔用于执行上述的手部书写动作的分析方法，所述智能笔包括依次连接的微处理器、处理模块、对比识别模块和交互模块；微处理中设置有陀螺仪、角速度计算模块、加速度计、加速度计算模块和计时模块；处理模块中设置有滤波融合模块、坐标确认模块、轨迹计算模块和持续时间确认模块；对比识别模块中设置有笔画数据库、笔画类型确认模块和笔画组合模块。

本发明实施例的有益效果如下：

本发明提供一种手部书写动作的分析方法和智能笔，包括采集当前用户书写的每一类型的样本笔画的样本特征数据，其中，样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T；采集并确认每个待识别笔画的待识别特征数据，其中，所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’；根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度，确定用户的书写内容以及书写字数；将用户的书写内容和书写字数上传至目标位置。本申请的技术可以自动实现手部书写动作分析、字数统计、自动分享和记录学习过程等功能

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种手部书写动作的分析方法的流程图；

图2为本发明实施例提供的一种智能笔的示意图；

图3为本发明实施例提供的一种计算特征数据的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例提供一种手部书写动作的分析方法，该方法设置于智能笔中，如图1所示，该方法包括：

S1：采集当前用户书写的每一类型的样本笔画的样本特征数据，其中，样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T，样本笔画的类型包括：29种汉字笔画、0-9、a-z、A-Z、字符切换笔画。

具体地，29种汉字笔画包括：横，竖，撇，捺，点，提，撇点，竖提，横折提，弯钩，竖钩，竖弯钩，斜钩，卧钩，横钩，横折钩，横折弯钩，横撇弯钩，横折折折钩，竖折折钩，竖弯，横折弯，横折，竖折，撇折，横撇，横折折撇，竖折撇，横折折。

本实施例涉及的笔画类型共92种，在实际操作中，用户也可以增加新的笔画类型。通过S1可以得到专属于特定用户的、具有用户画像样本特征数据。

需要说明的是，智能笔中预存有拟标准数据，拟标准数据就是根据大数据得到的用户书写样本笔画的平均姿态角度、平均持续时间、平均位移，通俗来说，拟标准数据是平均值，虽然或许不能准确适用于每个用户的书写习惯，但也可以作为样本特征数据进行后续的操作。

S1中，对于任意一类型的样本笔画，具体的分析过程见S11到S19，如图3所示：

S11：陀螺仪基于预设的采样频率f采集用户书写每一类型的样本笔画过程中智能笔在X，Y，Z轴的角速度ωx、ωy、ωz。

具体地，采样频率f可以设置为200Hz，即每秒采集200次信息，则单位采样周期Dt=1/f=1/200(s)。

S12：加速度计采集用户书写每一类型的样本笔画过程中智能笔的加速度在X，Y，Z轴的分量ax、ay、az。

S13：角速度计算模块对角速度进行姿态解算，得到样本角度数据A(A_x，A_y，A_z)。

S13具体包括2种方法：

方法1：

计算样本角度数据A的公式为：

[A_x，A_y，A_z]=trans×gyro（1）；

其中，trans 表示由陀螺仪输出到姿态角速度的转换矩阵，为固定常量；gyro表示陀螺仪输出数据的矩阵形式，计为gyro=[ωx，ωy，ωz]。

方法2：

单位采样周期内智能笔在X、Y、Z三方向转过的角度即样本角度数据A，具体公式为：

A_x=ωx×Dt（2）；

A_y=ωy×Dt（3）；

A_z=ωz×Dt（4）。

S14：加速度计算模块对加速度进行姿态解算，得到样本加速度数据B(B_x，B_y，B_z)。

S14包括：

通过加速度分别在X、Y、Z轴的分量，以及勾股定理，可得出样本加速度数据B。具体的，计算公式为：

B_x=q(y-z)=arctan(ax/sqrt(ay^2+az^2))（5）；

B_y=q(x-z)=arctan(ay/sqrt(ax^2+az^2))（6）;

B_z=q(x-y)=arctan(az/sqrt(ax^2+ay^2))（7）;

其中，q(x-z)表示为加速度方向与X-Z平面的夹角，q(x-y)表示为加速度方向与X-Y平面的夹角，q(y-z)表示为加速度方向与Y-Z平面的夹角。

S15：滤波融合模块对样本角度数据A和样本加速度数据B进行互补滤波处理以及融合处理，得到滤波融合数据C(C_x，C_y，C_z)。

S15包括：

由于陀螺仪对高频噪声无感，对低频噪声有感，而加速度计与之相反，对低频噪声无感，对高频噪声有感，基于此，可知陀螺仪与加速度计为互补关系，故采用互补滤波算法进行数据融合，最终计算出稳定可靠的姿态数据（即滤波融合数据C）。

具体公式为：C=（上一时刻的C+A）×（1-a）+B×a（8）；

其中，a为置信度，取值范围为0-1。

需要说明的是：在初次打开智能笔时（即初始化校准时），初始滤波融合数据C₀默认为0。

若a取值为0，则表示不采用加速度计采集的样本加速度数据B，互补滤波融合处理得到的滤波融合数据C只受陀螺仪影响；如果a取值为1，则表示不采用A，将B作为滤波融合数据C。

如果a取值为0则上述公式（8）变为：

C=上一时刻的C+A（9）；

此步骤对陀螺仪采集的数据与加速度计采集的数据进行融合过滤，得到了准确、抗噪、不飘移的姿态数据（即滤波融合数据C）。

上述公式（8）-（9）为通用公式，即每一维度的计算方法都遵循此公式，为使逻辑更清晰，故用ABC单个字符表示，未进行维度的拆分。

S16:坐标确认模块根据滤波融合数据C、加速度ax、ay、az确认智能笔的样本坐标D(x，y，z)。

S16具体包括：

S161：在单位采样周期Dt内对X、Y、Z轴的加速度ax、ay、az分别进行积分，得到位移数据DSx、DSy、DSz。

位移计算公式为:

，DSy、DSz同理，不再赘述。

S162：根据滤波融合数据C与上述位移数据，确认单位采样周期智能笔的样本坐标D(x，y，z)。

注：每个单位采样周期均可计算得到一个样本坐标D。

。

S17：轨迹计算模块将每一类型的样本笔画的样本坐标D进行集合，得到样本轨迹E。

S18：持续时间确认模块根据样本轨迹E确认每一类型的样本笔画的持续时间T。

S19：将每一类型样本笔画的角速度、加速度、样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T存储在笔画数据库中。

具体地，每一类型的样本笔画存在一个文件夹里，以供后续调用。

具体地，一般来说，对于同一只智能笔、同一个用户，S1只需执行1次。或者，用户也可以登录后，将校准后的样本特征数据上传至云端，则即使更换智能笔，也可以登录账户从云端更新标准特征数据，无需重复执行S1。

在S1之前，也就是刚开启智能笔时一般还需要初始化校准，以保证智能笔识别的动作与用户的实际动作基本一致。

S2：采集并确认每个待识别笔画的待识别特征数据，其中，所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’。

具体地，S2的执行过程同S11到S19。

S3：根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度，确定用户的书写内容以及书写字数。

S3包括：

S31：笔画类型确认模块基于预设的权重，根据笔画数据库中的样本特征数据，确认待识别笔画的类型。

与样本笔画的类型相同，待识别笔画也包括29种汉字笔画、0-9、a-z、A-Z、字符切换笔画共92种类型。

通俗来说，S31即将待识别笔画的A’、B’、C’、D’、E’、T’与样本笔画的A、B、C、D、E、T进行加权计算，得到相似度，基于相似度即可确认待识别笔画的类型。

S31是现有技术，即利用动态时间弯曲匹配算法，识别当前笔画特征值与目标笔画特征值，同时设置匹配置信度，置信度取值范围为0-1，0为最低置信度，即任何当前笔画都可以识别为目标笔画，1为最高置信度，表示当前笔画应与目标笔画特征值完全相同，经多次实验，计算出性能最佳置信度为0.85，当置信度设置为0.85及以上时，识别准确率达到96%以上，满足笔画识别要求。

S32：笔画组合模块将所有单一的待识别笔画按照撰写顺序进行组合、并基于字符切换笔画进行拆分，得到用户的书写内容和书写字数。

确认书写字数的具体逻辑是：

当字符切换时，切换动作呈现为一个类弧形轨迹，具体来说，当前一字符书写完成后，笔尖会抬起，同时会横向运动，随后笔尖下落，到达下一字符书写的起始位置（即，字符切换过程加速度ay、az会出现较大变化）。

基于此，本申请在S1的样本特征数据的采集过程中，需要多次采集用户书写过程中文字切换时智能笔的加速度，以确认得到样本加速度数据B；多次采集用户从前一字符提笔到后一字符落笔之间的智能笔的轨迹，得到字符切换笔画的样本轨迹E；还会多次采集用户在切换过程中所用的时间，得到持续时间T。然后，在S3将待识别笔画的加速度姿态数据B’、目标轨迹E’、目标持续时间T’与S1采集到的相应的样本特征数据进行相似度对比，即可确认当前是字符切换笔画，即用户正在切换字符，从而可以确认用户书写的字数。通过上述描述，会发现，在字符切换笔画的确认过程中，比较关注加速度数据、轨迹、持续时间，说明在相似度计算过程中，这3项信息权重较大。

对于其他91种类型的笔画，其识别思路是一样的，只是权重设置有所不同。即，在识别其他91种类型的笔画过程中，权重会有所变化，要具体类型具体设置以识别得到最准确的笔画类型。

一般来说，所有的正常用户的字符切换笔画的持续时间T（也称为切换时间）非常相近，如果用户实际的切换时间与大数据的平均时间差距过大，则需要多次采集（必要时与用户确认）以避免出现误差。

S4：将用户的书写内容和书写字数上传至目标位置。

比如，交互模块将书写内容、书写字数上传到任意一个APP、云端、手机、平板、电脑等都是可以的，同时还可以触动打卡机制进行自动打卡、自动分享。

本实施例至少包括以下有益效果：

1、S1引导用户进行了具有用户画像的笔画特征数据录入，从而提高了姿态识别的准确率，同时内置标准的大数据确认的笔画特征数据，即使未录入也可正常识别，降低学习成本，提升用户体验。

2、S16将陀螺仪采集到的姿态数据与加速度计采集到的姿态数据，根据传感器的特性进行了互补融合过滤，得到了准确、稳定的姿态数据（即滤波融合数据C）。

3、S3对采集到的多方位数据信息进行融合加权，得到较为全面的笔画特征数据，能够准确识别出用户的书写内容与书写字数。

实施例

本发明实施例提供一种智能笔，所述智能笔用于上述的手部书写动作的分析方法，智能笔包括依次连接的微处理器、处理模块、对比识别模块和交互模块；微处理中设置有陀螺仪、角速度计算模块、加速度计、加速度计算模块和计时模块；处理模块中设置有滤波融合模块、坐标确认模块、轨迹计算模块和持续时间确认模块；对比识别模块中设置有笔画数据库、笔画类型确认模块和笔画组合模块，模块的连接关系如图2所示。

本发明实施例所提供的智能笔，其实现原理及产生的技术效果和前述的手部书写动作的分析方法实施例相同，为简要描述，本实施例部分未提及之处，可参考前述方法实施例中相应内容。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种手部书写动作的分析方法，其特征在于，所述分析方法应用于智能笔，所述分析方法包括：

S1：采集当前用户书写的每一类型的样本笔画的样本特征数据，其中，样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T，样本笔画的类型包括：29种汉字笔画、0-9、a-z、A-Z、字符切换笔画；

S2：采集并确认每个待识别笔画的待识别特征数据，其中，所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’；

S3：根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度，确定用户的书写内容以及书写字数；

S4：将用户的书写内容和书写字数上传至目标位置。

2.根据权利要求1所述的手部书写动作的分析方法，其特征在于，S1包括：

S11：陀螺仪基于预设的采样频率f采集用户书写每一类型的样本笔画过程中智能笔在X，Y，Z轴的角速度ωx、ωy、ωz；

S12：加速度计采集用户书写每一类型的样本笔画过程中智能笔的加速度在X，Y，Z轴的分量ax、ay、az；

S13：角速度计算模块对角速度进行姿态解算，得到样本角度数据A(Ax，Ay，Az)；

S14：加速度计算模块对加速度进行姿态解算，得到样本加速度数据B(Bx，By，Bz)；

S15：滤波融合模块对样本角度数据A和样本加速度数据B进行互补滤波处理以及融合处理，得到滤波融合数据C(Cx，Cy，Cz)；

S16:坐标确认模块根据滤波融合数据C、加速度ax、ay、az确认智能笔的样本坐标D(x，y，z)；

S17：轨迹计算模块将每一类型的样本笔画的样本坐标D进行集合，得到样本轨迹E；

S18：持续时间确认模块根据样本轨迹E确认每一类型的样本笔画的持续时间T；

S19：将每一类型样本笔画的角速度、加速度、样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T存储在笔画数据库中。

3.根据权利要求2所述的手部书写动作的分析方法，其特征在于，S15包括：

C=（上一时刻的C+A）×（1-a）+B×a（8）；

其中，a为陀螺仪或加速度计的置信度，取值范围为0-1，在初次打开智能笔时，初始滤波融合数据C0默认为0。

4.根据权利要求3所述的手部书写动作的分析方法，其特征在于，S13包括：

计算样本角度数据A的公式为：

[Ax，Ay，Az]=trans×gyro（1）；

其中，trans 表示由陀螺仪输出到姿态角速度的转换矩阵，为固定常量；gyro表示陀螺仪输出数据的矩阵形式，计为gyro=[ωx，ωy，ωz]。

5.根据权利要求4所述的手部书写动作的分析方法，其特征在于，S13中计算样本角度数据A的方法替换为：

Ax=ωx×Dt（2）；

Ay=ωy×Dt（3）；

Az=ωz×Dt（4）。

6.根据权利要求5所述的手部书写动作的分析方法，其特征在于，S14包括：

Bx=q(y-z)=arctan(ax/sqrt(ay^2+az^2))（5）；

By=q(x-z)=arctan(ay/sqrt(ax^2+az^2))（6）;

Bz=q(x-y)=arctan(az/sqrt(ax^2+ay^2))（7）;

其中，q(x-z)表示为加速度方向与X-Z平面的夹角，q(x-y)表示为加速度方向与X-Y平面的夹角，q(y-z)表示为加速度方向与Y-Z平面的夹角。

7.根据权利要求6所述的手部书写动作的分析方法，其特征在于，S16包括：

S161：在单位采样周期Dt内对X、Y、Z轴的加速度ax、ay、az分别进行积分，得到位移数据DSx、DSy、DSz；

S162：根据滤波融合数据C与所述位移数据，确认单位采样周期智能笔的样本坐标D(x，y，z)。

8.根据权利要求7所述的手部书写动作的分析方法，其特征在于，S3包括：

S31：笔画类型确认模块基于预设的权重，根据笔画数据库中的样本特征数据，确认待识别笔画的类型；

S32：笔画组合模块将所有单一的待识别笔画按照撰写顺序进行组合、并基于字符切换笔画进行拆分，得到用户的书写内容和书写字数。

9.根据权利要求8所述的手部书写动作的分析方法，其特征在于，不同的笔画类型预先设置有不同的权重；

字符切换笔画的权重中，样本加速度数据B、样本轨迹E和持续时间T的权重大于滤波融合数据C、样本坐标D的权重。

10.一种智能笔，其特征在于，所述智能笔用于执行权利要求1-9任一项所述的手部书写动作的分析方法，所述智能笔包括依次连接的微处理器、处理模块、对比识别模块和交互模块；

微处理中设置有陀螺仪、角速度计算模块、加速度计、加速度计算模块和计时模块；

处理模块中设置有滤波融合模块、坐标确认模块、轨迹计算模块和持续时间确认模块；

对比识别模块中设置有笔画数据库、笔画类型确认模块和笔画组合模块。