CN101872259B - 自动录入书写内容的自然交互笔及笔迹检测方法 - Google Patents

Abstract

本发明公开了一种自动录入书写内容的自然交互笔及笔迹检测方法，交互笔根据人的书写运动模型，用笔体中各传感器件测量书写运动过程中人手及手臂的运动角速度信息和加速度信息，输出电压信号经低通滤波和模数转换后送往微处理器I进行书写运动特征量的解算和书写意图的识别，映射成为书写的笔迹信息；微处理器I输出的信号通过数据无线通讯模块I发送；计算机主机接收端接收数据无线通讯模块I发送的信号后通过微处理器II处理，由USB接口传送给计算机主机。本发明不需要手写板，可独立工作，具有更符合人的书写操作习惯，便携性、通用性好的优点。

Description

自动录入书写内容的自然交互笔及笔迹检测方法

技术领域

本发明涉及一种计算机手写输入设备，尤其是一种自动录入书写内容的自然交互笔及笔迹检测方法。

背景技术

笔式输入技术因符合人的书写操作习惯而受到了广泛的重视，目前市面上出现了许多笔式输入设备，但大都仅限于在厂商配备的手写板上进行手写输入，在手写板上每个点产生的笔画都需反映到电脑中，这种方式为绝对数据反映，若脱离手写板则完全无法工作，同时由于手写板体积的限制，限定了手写笔的移动区域，使用过程中缺乏灵活性。

也有人从改变鼠标的基本形状入手，将现有鼠标进行改进，使其具有笔状外形，以便书写操作，其基本原理有两种：一是基于压力传感器的，另一种是基于光电信号的。在专利号为ZL02262564.X的实用新型专利中公开了一种鼠标笔，该专利将书写平面内X轴和Y轴压力，转化为控制光标的信号，但是作为一种文字书写或者绘图工具，该技术方案控制光标的精度较差，分辨率不足。在中国发明专利CN101308413A中公开了一种多功能笔式鼠标，该笔式鼠标将传统光电鼠标的激光发射装置和接受感应器移至笔头部位，使鼠标拥有笔状外形，方便手写操作，但笔头部位的激光发射装置和接受感应器增加了笔头的体积，影响了操作的灵活性，同时由于光电鼠标需要贴近书写表面才能工作，因此当用户抬笔时，笔式鼠标将无法检测笔杆的非笔画移动，造成文字无法完整输入，如写“+”将形成如

的符号。

鉴于以上原因，还未见功能完善的同类产品在市场上广泛流行，许多技术方案还有待于进一步完善。

发明内容

为克服现有技术缺乏灵活性、分辨率不足或者无法完整输入的不足，本发明提出了一种自动录入书写内容的自然交互笔及笔迹检测方法。

本发明解决其技术问题所采用的技术方案是：包括笔体和计算机主机接收端；笔体中包括转动传感器件、加速度传感器件、温度传感器、滤波模块、模数转换模块、微处理器I和数据无线通讯模块I。转动传感器件测量书写运动过程中人手及手臂的运动角速度信息，加速度传感器件测量书写运动过程中人手及手臂的运动的加速度信息，两种传感器输出电压信号经滤波模块低通滤波后，送往模数转换模块进行模数转换，转换得到的数字信号送往微处理器I。温度传感器测量当时环境温度后输出信号至模数转换模块进行模数转换，转换后的数字信号送往微处理器I，用于对转动传感器件和加速度传感器件输出信号进行温漂补偿。微处理器I输出的信号通过数据无线通讯模块I发送。所述的计算机主机接收端包括微处理器II、无线通信模块II和USB接口；数据无线通讯模块II和数据无线通讯模块I构成一对双工无线通讯电路，接收数据无线通讯模块I发送的信号后通过微处理器II处理，由USB接口传送给计算机主机。

所述的转动传感器件采用三轴陀螺仪，并且三轴陀螺仪的三个敏感轴方向分别与笔杆惯性坐标系X、Y、Z轴相平行。

所述的加速度传感器件包括两个三轴加速度计，并且两个三轴加速度计分别安装于笔杆两端，两个三轴加速度计的三个敏感轴方向均分别与笔杆惯性坐标系X、Y、Z轴相平行。

所述的微处理器I连接存储器，用于在交互笔脱离计算机独立工作时将交互笔录入的书写笔迹信息暂存于交互笔中，当交互笔和计算机相连接时，存储器中数据经微处理器I，通过数据无线通讯模块I发送给计算机。

所述的笔体还包括电池、电路板、隔板、力传感器、笔芯座、笔壳、存储键、功能键、书写启动键和书写笔芯；在笔壳内中部安装有笔芯座套，笔芯座位于笔芯座套内，力传感器位于笔芯座套内的另一端；在笔芯座套上有隔板；书写笔芯装入笔壳内，通过笔芯座与力传感器相连接，力传感器输出电压信号与电路板上的模数转换模块相连接，经转换成数字信号后送往电路板上的微处理器I。电路板和电池位于笔壳的底部；在笔壳内有线路腔；在与线路腔对应的笔壳的壳体上，沿笔壳的轴线方向依次分布有存储键、功能键和书写启动键；存储键、功能键和书写启动键通过导线，经线路腔与电路板上的微处理器I相连接。

本发明还提出了一种上述自然交互笔录入笔迹的检测方法，包括以下步骤：

步骤一，基于人自然书写运动特点的运动特征量检测；根据人自然书写运动的特点，将手的书写过程分解成笔杆跟随手腕转动和手指弯曲以及手臂平动的运动过程，将书写中笔杆的运动分解成为笔杆在X轴向和Y轴向的转动、笔杆在书写平面内的转动以及笔杆在X和Y轴向的平动三种运动模式，并分别测量笔尖与书写平面的压力信息、笔杆沿自身惯性坐标系三轴向的转动角速度、笔杆头部和尾部两个部位运动的三轴加速度，以及环境温度信息；

步骤二，笔杆运动特征量的确定；对传感器测得的笔杆头部加速度信息、笔杆尾部加速度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的计算，具体计算过程包括以下步骤：

a.数据预处理；采用中值滤波方法对传感器数字信号量进行滤波；中值滤波方法包括取数据窗口宽度为2m+1，窗口内的数据序列为X₁，X₂，...，X_m+1，...，X_2m+1，对窗内的起始和末尾m个点分别进行均值滤波，再与中间值X_m+1三个值进行中值滤波；对经中值滤波后的传感器数据，根据环境温度信息，采用最小二乘法进行温度补偿，减小传感器的零点漂移；

b.笔杆姿态的确定：

1)由笔杆三轴转动传感器件的输出值通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算：

$p_0+p_1\stackrel{\→}{i}+p_2\stackrel{\→}{j}+p_3\stackrel{\→}{k}---\left(1\right)$

$q(k+1)=q\left(k\right)\⊗Q\left(\mathrm{dt}\right)---\left(2\right)$

$T_{11}=p_0^2+p_1^2-p_2^2-p_3^2$

T₁₂＝2(p₁p₂-p₀p₃)

T₂₃＝2(p₂p₃-p₀p₁)    (3)

$T_{33}=p_0^2-p_1^2-p_2^2+p_3^2$

T₁₃＝2(p₁p₃+p₀p₂)

q为笔杆任意时刻的姿态四元数，其中

表示四元数乘法，q(k+1)和q(k)分别为t_k+1和t_k时刻笔杆的姿态四元数，θ、

ψ为笔杆任意时刻的俯仰角滚转角和航向角；Q(dt)为从t_k到t_k+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下：

$Q\left(\mathrm{dt}\right)=\cos \frac{{\mathrm{\Φ}}_0}{2}+\frac{\mathrm{\Φ}}{{\mathrm{\Φ}}_0}\sin \frac{{\mathrm{\Φ}}_0}{2}---\left(5\right)$

Φ₀＝(Φ^T·Φ)^1/2    (6)

$\mathrm{\Φ}=\mathrm{\Δ\θ}+\frac{9}{20}(\mathrm{\Δ}{\mathrm{\θ}}_1+\mathrm{\Δ}{\mathrm{\θ}}_3)+\frac{27}{40}\mathrm{\Δ}{\mathrm{\θ}}_2\×(\mathrm{\Δ}{\mathrm{\θ}}_3-\mathrm{\Δ}{\mathrm{\θ}}_1)---\left(7\right)$

$\mathrm{\Δ}{\mathrm{\θ}}_1=[5\mathrm{\ω}\left(t\right)+8\mathrm{\ω}(t+\frac{h}{3})+\mathrm{\ω}(t+\frac{2}{3}h)]\frac{h}{36}$

$\mathrm{\Δ}{\mathrm{\θ}}_2=[-\mathrm{\ω}\left(t\right)+8\mathrm{\ω}(t+\frac{h}{3})+5\mathrm{\ω}(t+\frac{2}{3}h)]\frac{h}{36}$

$\mathrm{\Δ}{\mathrm{\θ}}_3=[-\mathrm{\ω}(t+\frac{h}{3})+8\mathrm{\ω}(t+\frac{2}{3}h)+5\mathrm{\ω}(t+h)]\frac{h}{36}---\left(8\right)$

$\mathrm{\Δ\θ}=[\mathrm{\ω}\left(t\right)+3\mathrm{\ω}(t+\frac{h}{3})+3\mathrm{\ω}(t+\frac{2}{3}h)+\mathrm{\ω}(t+h)]\frac{h}{8}$

其中：ω(t)，

ω(t+h)分别为姿态更新周期h时间段内，转动传感器件的三次角速率等间隔采样值；

2)根据公式(9)利用笔杆下端三轴加速计的输出值判断笔杆是否处于加速运动，当公式(9)左边部分小于阈值ε时，可判定笔杆处于无加速运动，ε取三轴加速度计三轴静态噪声方差方均根的三倍；当无加速运动时根据公式(10)利用笔杆下端的加速度计的输出对笔杆的俯仰角和滚转角进行计算。

$|\sqrt{{a_x}^2+{a_y}^2+{a_z}^2}-g|<\mathrm{\&epsiv;}---\left(9\right)$

其中g为当地重力加速度，a_x，a_y，a_z为笔杆下端三轴加速度计的输出值；

3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角误差进行估计，其中卡尔曼滤波器的状态方程为

X＝AX(t)+ΓW(t)    (11)

$A=\left[\begin{array}{cc}-\left[{\stackrel{\&RightArrow;}{\mathrm{\&omega;}}}^{\&times;}\right]& \frac{1}{2}{I}_{3\&times;3}\\ 0_{3\&times;3}& -\frac{1}{\mathrm{\&tau;}}{I}_{3\&times;3}\end{array}\right]---\left(13\right)$

$\mathrm{\&Gamma;}=\left[\begin{array}{cc}-\frac{1}{2}{I}_{3\&times;3}& 0_{3\&times;3}\\ 0_{3\&times;3}& I_{3\&times;X}\end{array}\right]---\left(14\right)$

$W\left(t\right)={\left[\begin{array}{cc}{\stackrel{\&RightArrow;}{n}}_{w1}& {\stackrel{\&RightArrow;}{n}}_{w2}\end{array}\right]}^T---\left(15\right)$

其为Δθ，Δψ为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角与笔杆真实姿态角之间的姿态估计误差，Δb_x，Δb_y，Δb_z分别为三轴陀螺仪的静态漂移，

为

的斜对称阵，

和

分别为三轴陀螺仪的观测噪声和漂移噪声；

观测方程为

Z_K＝HX_K+V_K          (16)

H＝[I_3×3 0_3×3]    (18)

其中H为观测阵，θ_acc和

为利用笔杆下端三轴加速度计估计的笔杆姿态角，θ_j和为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角；V_K为零均值白噪声；

4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运动的姿态角；

c.转动分量的确定；分别对笔杆绕握笔部位在X轴方向、在Y轴方向和笔杆绕腕关节在书写平面内的转动角度进行确定；确定的公式为：

$\left(\begin{array}{c}{\mathrm{\&alpha;}}^{\&prime;}\\ {\mathrm{\&beta;}}^{\&prime;}\\ {\mathrm{\&gamma;}}^{\&prime;}\end{array}\right)=\left(\begin{array}{c}\&Integral;({\mathrm{\&omega;}}_x-{\mathrm{\&omega;}}_z\&times;\mathrm{ctg\&phi;})\mathrm{dt}\\ \&Integral;{\mathrm{\&omega;}}_y\mathrm{dt}\\ \&Integral;({\mathrm{\&omega;}}_z/\sin \mathrm{\&phi;})\mathrm{dt}\end{array}\right)---\left(19\right)$

其中α′、β′、分别为笔杆绕握笔部位在X轴和Y轴方向的转动角度，γ′为笔杆绕腕关节在书写平面内的转动角度，ω_x、ω_y、ω_z为笔杆在自身惯性坐标系三轴向的转动角速度。ω_x、ω_y的确定方法为，分别对笔杆两端在X轴方向和Y轴方向的运动加速度的差值进行积分运算，分别得到笔杆在X轴方向和Y轴方向的转动角速度，并分别与X轴方向和Y轴方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波器进行数据融合，得到ω_x、ω_y。ω_z取Y轴向陀螺仪的输出值；φ为笔杆的俯仰角；

d.平动分量的确定；通过实时测量俯仰角φ和滚转角θ，由公式(20)得到重力在加速度计各轴上的分量f_b，笔杆运动的动态加速度a_t为加速度计实时输出值a与f_b的差值，即

$f_b=C*f_n=\left(\begin{array}{ccc}\cos \mathrm{\&phi;}& 0& -\sin \mathrm{\&phi;}\\ \sin \mathrm{\&theta;}\sin \mathrm{\&phi;}& \cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\cos \mathrm{\&phi;}\\ \cos \mathrm{\&theta;}\sin \mathrm{\&phi;}& -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\cos \mathrm{\&phi;}\end{array}\right)\left(\begin{array}{c}0\\ 0\\ g\end{array}\right)---\left(20\right)$

a_t＝a-f_b    (21)

对x和y方向的加速度积分，可以得到笔杆在书写平面上的运动速度和距离。为有效的抑制由于积分带来的误差累积现象，在积分过程中还加入以下约束条件：

1)当笔杆运动加速度大于阈值ξ连续4个采样周期时才进行速度和位移的积分，ξ取三轴加速度计三轴静态噪声方差方均跟的三倍；

2)当笔杆运动加速度小于阈值ξ连续4个采样周期时停止对速度和位移的积分，并令速度和位移值等零。

步骤三，书写运动意图的识别；根据手臂在书写平面上自然书写时手部运动特点，将步骤二中解算的笔杆运动特征量映射成用户的书写笔迹，实现书写运动意图的识别；所采用映射方法为：笔杆绕腕关节在书写平面内的转动，和笔杆绕握笔部位在X轴向的转动完成笔尖在X轴向的运动，即横的书写；笔杆绕握笔部位在Y轴方向的转动，完成笔尖在Y轴上的运动，即竖的书写；笔杆在书写平面上的平动完成手写笔换行等书写初始位置的改变；笔尖的运动距离等于笔杆三种运动特征之和；用笔杆转动的弧长近似的表示笔尖在书写平面的移动距离，则手腕不发生移动时，笔尖的运动距离由以下公式计算：

$\left(\begin{array}{c}\mathrm{\&Delta;}{x}_1\\ \mathrm{\&Delta;}{y}_1\end{array}\right)=\left(\begin{array}{c}{l}_1\&times;\mathrm{\&Delta;\&alpha;}+l_2\&times;\mathrm{\&Delta;\&gamma;}\\ l_1\&times;\mathrm{\&Delta;\&beta;}\end{array}\right)---\left(22\right)$

式中Δx₁、Δy₁分别为手腕不发生移动时，单位时间内笔尖在书写平面内沿X轴方向和Y轴向方的移动距离；l₁为笔尖到握笔部位的距离；l₂为笔尖到手腕部位的距离。Δα、Δβ分别为单位时间内笔杆绕O₁Y₁在X轴方向和单位时间内笔杆绕O₁X₁在Y轴方向的转动角度；Δγ为单位时间内笔杆绕O₀Z₀在书写平面内的转动角度；

在书写运动过程中，笔尖的定位方法为：

$\left(\begin{array}{c}\mathrm{\&Delta;x}\\ \mathrm{\&Delta;y}\end{array}\right)=\left(\begin{array}{c}\mathrm{\&Delta;}{x}_1+\mathrm{\&Delta;}{x}_2\\ \mathrm{\&Delta;}{y}_1+\mathrm{\&Delta;}{y}_2\end{array}\right)---\left(23\right)$

Δx₂、Δy₂为单位时间内笔杆在X轴向或Y轴向的平动距离，由步骤二的d步骤计算得到；Δx、Δy为单位时间内笔尖在书写平面内的移动距离；

步骤四，坐标的空间映射变换；通过采用BP神经网络算法，根据笔杆基于时间的运动信息对书写过程中的字内笔画之间抬笔、换字抬笔、换行抬笔等书写运动模式进行识别；在用户进行文字书写时进行笔迹检测，并以一个文字为检测单位，对交互笔进行复位处理，当检测到换字、换行时对交互笔进行复位，对光标沿手腕运动方向移动固定值，字间抬笔移动三分之一字长，换行时将光标移动至下一行开始处，减少惯性器件由于积分而带来的误差累积和漂移；

步骤五，接收端根据接收到的坐标信息和运动模式信息，实现对光标运动的控制和书写笔迹的录入操作。

步骤四中所述的BP神经网络算法中，三种模式字内笔画之间抬笔、换字抬笔、换行抬笔进行的识别通过三层BP神经元网络来完成。

本发明的有益效果是：

(1)采用多传感器融合的人手书写运动特征量检测和跟踪技术，通过对人自然书写过程中运动特征进行跟踪定位和书写模式的识别来实现书写笔迹的检测和录入功能，实现了在不依托手写板等其他辅助设备的情况下，完成自然书写过程中书写内容的计算机自动录入，摆脱了以往手写输入设备需要依托其他辅助定位设备，便携性差使用不便的缺陷。输入设备更符合人的书写操作习惯，具有设备智能化，便携性、通用性好的优点。

(2)交互笔采用多传感器融合的人手书写运动特征量检测和跟踪技术，还可以检测书写过程中的握笔姿态、运笔速度和加速度等笔迹特征，与软件配合可以用于笔迹鉴别，手写签名等应用。

(3)交互笔采用存储器支持，可以脱离计算机独立工作，实现书写文字信息的自动记录，并可以转存至计算机上，使用方便。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是自动录入书写内容的自然交互笔的结构示意图；

图2是主机接收端及交互笔电路板结构框图；

图3是笔杆运动传感器信号处理流程图；

图4是书写运动过程中手的运动特征示意图；

图5是书写运动过程中笔杆的运动特征示意图；

图6是神经网络算法示意图。

其中：1.交互笔，2.电池，3.电路板，4.隔板，5.力传感器，6.笔芯座，7.笔壳，8.线路腔，9.存储键，10.功能键，11.书写启动键，12.书写笔芯，13.笔芯座套。

具体实施方式

本实施例包括交互笔1和主机接收端。

如图1所示，自然交互笔包括电池2、电路板3、隔板4、力传感器5、笔芯座6、笔壳7、线路腔8、存储键9、功能键10、书写启动键1和普通书写笔芯12。力传感器4与电路板3信号连接。

在笔壳7内中部安装有笔芯座套13，该笔芯座套为圆形壳体，其外径同笔壳的内径；笔芯座套13的内孔为阶梯孔，其最大孔径同力传感器5的外径，并且笔芯座套13一端端面的孔径同笔芯座6中部的孔径，形成了笔芯座6的安装面。笔芯座6为回转体，其外圆周表面为三级阶梯状。笔芯座6一端的最大直径同笔芯座套13的最大内径；笔芯座6中部的直径同笔芯座套端面的小孔径；笔芯座6另一端的最小直径同笔芯的内径。

笔芯座6位于笔芯座套13内，并且使笔芯座6的中部位于笔芯座套13的小孔径处；力传感器5位于笔芯座套13内的另一端。在笔芯座套13上有隔板4。书写笔芯12装入笔壳7内，并且书写笔芯12的尾端套装在笔芯座6的最小直径端上。自隔板4的表面向笔壳7的底部，依次装有电路板3和电池2。电路板3安装固定于隔板4上方的空腔之内，电池2通过导线和电路板3相连接，用于向电路板上各部件提供电源。本实施例中，电池2采用锂电池。

在笔壳7内前部、笔壳7一侧壳体处，有与书写笔芯12平行的线路腔8；在与线路腔8对应的笔壳7的壳体上，沿笔壳7的轴线方向依次分布有存储键9、功能键10和书写启动键11；存储键9、功能键10和书写启动键11通过导线，经线路腔8与电路板3上的微处理器I相连接。

本实施例中，书写笔芯12通过位于笔壳7中部的笔芯座6与力传感器5相连接，力传感器5输出电压信号与电路板3上的模数转换模块相连接，经转换成数字信号后送往电路板3上的微处理器I，用于感应用户的抬笔信息和书写时对书写平面的压力信息。

如图2所示，电路板3上有转动传感器件、加速度传感器件、温度传感器、滤波模块、模数转换模块、存储器、微处理器I和数据无线通讯模块I。

电路板3上的转动传感器件测量书写运动过程中人手及手臂的运动角速度信息，加速度传感器件测量书写运动过程中人手及手臂的运动的加速度信息，两种传感器输出电压信号经滤波模块低通滤波后，送往模数转换模块进行模数转换，转换得到的数字信号送往微处理器I；温度传感器测量当时环境温度后输出信号至模数转换模块进行模数转换，转换后的数字信号送往微处理器I，用以对转动传感器件和加速度传感器件输出信号进行温漂补偿。

微处理器I对所获得的书写运动过程中的数字信号通过数据解算模块进行笔杆姿态、平动分量和转动分量的书写运动特征量的解算，同时根据人手空中对投影屏幕的书写运动模型，通过运动校正模块书写运动意图的识别，微处理器I还通过坐标映射变换模块对所获得的数字信号进行笔画书写、手腕移动和换行等书写模式的识别，并根据书写模式将书写运动意图的解算结果映射成为屏幕上的书写笔迹信息。

与微处理器I相连接的数据无线发送模块将微处理器I的解算结果发送给主机接收端。与微处理器I相连接的存储器用于在交互笔脱离计算机独立工作时将交互笔录入的书写笔迹信息暂存于交互笔中，当交互笔和计算机相连接时，存储器中数据经微处理器I，通过数据无线发送模块一发送给计算机。

所述的转动传感器件包括三轴陀螺仪。三轴陀螺仪采用MEMS电子陀螺仪，安装方式为三个敏感轴方向分别与笔杆惯性坐标系X、Y、Z轴相平行，用于测量人手在自然书写运动时手指的弯曲和手腕的转动，以及笔杆自身轴向的转动信息。所述的加速度传感器件包括两个三轴加速度计。三轴加速度计为MEMS三轴加速度计，采用ADI公司的ADXRS330。两个三轴加速度计分别安装于笔杆两端，三轴加速度计的三个敏感轴方向分别与笔杆惯性坐标系X、Y、Z轴相平行，用于测量静态和动态时笔杆两端在笔杆惯性坐标系三轴方向上的加速度信息。

信号滤波模块为一有源低通滤波电路，用于滤除惯性传感器件和温度传感器的输出噪声和高频分量。

信号转换模块采用TI公司的ADS8365模数转换芯片。信号转换模块的转换精度为16位。信号转换模块用于将惯性传感器件和温度传感器输出的模拟信号转换成为处理器能够识别的数字信号。

如图2所示，所述计算机主机接收端包括微处理器II，和与微处理器II相连接的数据无线通信模块II和USB接口模块。USB接口模块是基于串行通用接口配置芯片pdiusbd12的USB接口电路，在微处理器II的控制下向计算机主机进行串行设备描述，从而成为计算机主机的外部设备，并实现跟计算机主机通讯。数据无线通讯模块II和数据无线通讯模块I构成一对双工无线通讯电路，该通讯电路同为基于CSR公司的bluecore系列芯片。数据无线传输模块II在微处理器II的控制下，用于接收手持端解算的书写笔迹信息。接收信息由微处理器II经USB接口电路发送给计算机主机，实现书写笔迹的显示和录入。

如图3所示，本实施例还提出了一种检测上述自然交互笔自动录入笔迹的检测方法，该检测方法具体过程包括以下步骤：

步骤一，基于人自然书写运动特点的运动特征量检测；如图4和图5所示，根据人自然书写运动的特点，将手的书写过程分解成笔杆跟随手腕转动和手指弯曲以及手臂平动的运动过程，将书写中笔杆的运动分解成为笔杆绕O₁Y₁和O₁X₁轴在X轴向和Y轴向的转动、笔杆绕O₀Z₀轴在书写平面内的转动以及笔杆在X和Y轴向的平动三种运动模式，并分别测量笔尖与书写平面的压力信息、笔杆沿自身惯性坐标系三轴向的转动角速度、笔杆头部和尾部两个部位运动的三轴加速度，以及环境温度信息。

步骤二，笔杆运动特征量的确定；对传感器测得的笔杆头部加速度信息、笔杆尾部加速度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的确定，具体计算过程包括以下步骤：

a.数据预处理；采用中值滤波方法对传感器数字信号量进行滤波，以降低采样噪声。中值滤波方法包括取数据窗口宽度为2m+1，其中，当采样频率为1KHz时，m为16，窗口内的数据序列为X₁，X₂，...，X_m+1，...，X_2m+1，对窗内的起始和末尾m个点分别进行均值滤波，再与中间值X_m+1三个值进行中值滤波。对经中值滤波后的传感器数据，根据环境温度信息，采用最小二乘法进行温度补偿，减小传感器的零点漂移。

b.笔杆姿态的确定；

1)由笔杆三轴转动传感器件的输出值通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算：

$q=p_0+p_1\stackrel{\&RightArrow;}{i}+p_2\stackrel{\&RightArrow;}{j}+p_3\stackrel{\&RightArrow;}{k}---\left(1\right)$

$q(k+1)=q\left(k\right)\&CircleTimes;Q\left(\mathrm{dt}\right)---\left(2\right)$

$T_{11}=p_0^2+p_1^2-p_2^2-p_3^2$

T₁₂＝2(p₁p₂-p₀p₃)

T₂₃＝2(p₂p₃-p₀p₁)    (3)

$T_{33=}{p}_0^2-p_1^2-p_2^2+p_3^2$

T₁₃＝2(p₁p₃+p₀p₂)

q为笔杆任意时刻的姿态四元数，其中

表示四元数乘法，q(k+1)和q(k)分别为t_k+1和t_k时刻笔杆的姿态四元数，θ、

ψ为笔杆任意时刻的俯仰角滚转角和航向角；Q(dt)为从t_k到t_k+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下：

$\left(\mathrm{dt}\right)=\cos \frac{{\mathrm{\&Phi;}}_0}{2}+\frac{\mathrm{\&Phi;}}{{\mathrm{\&Phi;}}_0}\sin \frac{{\mathrm{\&Phi;}}_0}{2}---\left(5\right)$

Φ₀＝(Φ^T·Φ)^1/2    (6)

$\mathrm{\&Phi;}=\mathrm{\&Delta;\&theta;}+\frac{9}{20}(\mathrm{\&Delta;}{\mathrm{\&theta;}}_1+\mathrm{\&Delta;}{\mathrm{\&theta;}}_3)+\frac{27}{40}\mathrm{\&Delta;}{\mathrm{\&theta;}}_2\&times;(\mathrm{\&Delta;}{\mathrm{\&theta;}}_3-\mathrm{\&Delta;}{\mathrm{\&theta;}}_1)---\left(7\right)$

$\mathrm{\&Delta;}{\mathrm{\&theta;}}_1=[5\mathrm{\&omega;}\left(t\right)+8\mathrm{\&omega;}(t+\frac{h}{3})+\mathrm{\&omega;}(t+\frac{2}{3}h)]\frac{h}{36}$

$\mathrm{\&Delta;}{\mathrm{\&theta;}}_2=[-\mathrm{\&omega;}\left(t\right)+8\mathrm{\&omega;}(t+\frac{h}{3})+5\mathrm{\&omega;}(t+\frac{2}{3}h)]\frac{h}{36}$

$\mathrm{\&Delta;}{\mathrm{\&theta;}}_3=[-\mathrm{\&omega;}(t+\frac{h}{3})+8\mathrm{\&omega;}(t+\frac{2}{3}h)+5\mathrm{\&omega;}(t+h)]\frac{h}{36}---\left(8\right)$

$\mathrm{\&Delta;\&theta;}=[\mathrm{\&omega;}\left(t\right)+3\mathrm{\&omega;}(t+\frac{h}{3})+3\mathrm{\&omega;}(t+\frac{2}{3}h)+\mathrm{\&omega;}(t+h)]\frac{h}{8}$

其中：ω(t)，

ω(t+h)分别为姿态更新周期h时间段内，转动传感器件的三次角速率等间隔采样值；

2)利用三轴加速度传感器件的输出值判断笔杆是否处于加速运动，当无加速运动时利用加速度计的输出对笔杆的俯仰角和滚转角进行计算，判断和计算公式为

$|\sqrt{{a_x}^2+{a_y}^2+{a_z}^2}-g|<\mathrm{\&epsiv;}---\left(9\right)$

其中g为当地重力加速度，a_x，a_y，a_z为三轴加速度计输出值；

3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角误差进行估计，其中卡尔曼滤波器的状态方程为

X＝AX(t)+ΓW(t)    (11)

$A=\left[\begin{array}{cc}-\left[{\stackrel{\&RightArrow;}{\mathrm{\&omega;}}}^{\&times;}\right]& \frac{1}{2}{I}_{3\&times;3}\\ 0_{3\&times;3}& -\frac{1}{\mathrm{\&tau;}}{I}_{3\&times;3}\end{array}\right]---\left(13\right)$

$\mathrm{\&Gamma;}=\left[\begin{array}{cc}-\frac{1}{2}{I}_{3\&times;3}& 0_{3\&times;3}\\ 0_{3\&times;3}& I_{3\&times;X}\end{array}\right]---\left(14\right)$

$W\left(t\right)={\left[\begin{array}{cc}{\stackrel{\&RightArrow;}{n}}_{w1}& {\stackrel{\&RightArrow;}{n}}_{w2}\end{array}\right]}^T---\left(15\right)$

其为Δθ，

Δψ为三轴转动传感器件姿态估计误差，Δb_x，Δb_y，Δb_z分别为三轴转动传感器件漂移，

为

的斜对称阵，

和

分别为转动传感器件的观测噪声和漂移噪声；

观测方程为

Z_K＝HX_K+V_K          (16)

H＝[I_3×3 0_3×3]    (18)

其中H为观测阵，θ_acc和为加速度传感器件估计的姿态角，θ_j和

为转动传感器件估计的姿态角。V_K为零均值白噪声；

4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运动的姿态角；

c.转动分量的确定；如图4和图5所示，分别对笔杆绕O₁Y₁轴在X轴方向、绕O₁X₁轴在Y轴方向和笔杆绕O₀Z₀在书写平面内的转动角度进行确定；确定的公式为：

$\left(\begin{array}{c}{\mathrm{\&alpha;}}^{\&prime;}\\ {\mathrm{\&beta;}}^{\&prime;}\\ {\mathrm{\&gamma;}}^{\&prime;}\end{array}\right)=\left(\begin{array}{c}\&Integral;({\mathrm{\&omega;}}_x-{\mathrm{\&omega;}}_z\&times;\mathrm{ctg\&phi;})\mathrm{dt}\\ {\&Integral;\mathrm{\&omega;}}_y\mathrm{dt}\\ \&Integral;({\mathrm{\&omega;}}_z/\sin \mathrm{\&phi;})\mathrm{dt}\end{array}\right)---\left(19\right)$

其中α′、β′、分别为笔杆绕握笔部位在X轴和Y轴方向的转动角度，γ′为笔杆绕腕关节在书写平面内的转动角度，ω_x、ω_y、ω_z为笔杆在自身惯性坐标系O₁-X₁Y₁Z₁三轴向的转动角速度。ω_x、ω_y的确定方法为，分别对笔杆两端在X轴方向和Y轴方向的运动加速度的差值进行积分运算，分别得到笔杆在X轴方向和Y轴方向的转动角速度，并分别与X轴方向和Y轴方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波器进行数据融合，得到ω_x、ω_y。ω_z取Y轴向陀螺仪的输出值。φ为笔杆的俯仰角；

d.平动分量的确定；通过实时测量俯仰角φ和滚转角θ，由公式(20)得到重力在加速度计各轴上的分量f_b，笔杆运动的动态加速度a_t为加速度计实时输出值a与f_b的差值，即

$f_b=C*f_n=\left(\begin{array}{ccc}\cos \mathrm{\&phi;}& 0& -\sin \mathrm{\&phi;}\\ \sin \mathrm{\&theta;}\sin \mathrm{\&phi;}& \cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\cos \mathrm{\&phi;}\\ \cos \mathrm{\&theta;}\sin \mathrm{\&phi;}& -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\cos \mathrm{\&phi;}\end{array}\right)\left(\begin{array}{c}0\\ 0\\ g\end{array}\right)---\left(20\right)$

a_t＝a-f_b    (21)

对x和y方向的加速度积分，可以得到笔杆在书写平面上的运动速度和距离为有效的抑制由于积分带来的误差累积现象，在积分过程中还加入以下约束条件：

1)当笔杆运动加速度大于阈值ξ连续4个采样周期时才进行速度和位移的积分；

2)当加速度小于阈值ξ连续4个采样周期时停止对速度和位移的积分，并令速度和位移值等零。

步骤三，书写运动意图的识别；如图4和图5所示，根据手臂在书写平面上自然书写时手部运动特点，将步骤二中解算的笔杆运动特征量映射成用户的书写笔迹，实现书写运动意图的识别。

所采用映射方法为：笔杆绕O₀Z₀轴在书写平面内的转动，和笔杆绕O₁Y₁在X轴向的转动完成笔尖在X轴向的运动，即横的书写；笔杆绕O₁X₁在Y轴方向的转动，完成笔尖在Y轴上的运动，即竖的书写。笔杆在书写平面上的平动完成手写笔换行等书写初始位置的改变；笔尖的运动距离等于笔杆三种运动特征之和。用笔杆转动的弧长近似的表示笔尖在书写平面的移动距离，则手腕不发生移动时，笔尖的运动距离由以下公式计算：

$\left(\begin{array}{c}\mathrm{\&Delta;}{x}_1\\ \mathrm{\&Delta;}{y}_1\end{array}\right)=\left(\begin{array}{c}{l}_1\&times;\mathrm{\&Delta;\&alpha;}+l_2\&times;\mathrm{\&Delta;\&gamma;}\\ l_1\&times;\mathrm{\&Delta;\&beta;}\end{array}\right)---\left(22\right)$

式中Δx₁、Δy₁分别为手腕不发生移动时，单位时间内笔尖在书写平面内沿X轴方向和Y轴向方的移动距离；l₁为笔尖到握笔部位的距离；l₂为笔尖到手腕部位的距离。Δα、Δβ分别为单位时间内笔杆绕O₁Y₁在X轴方向和单位时间内笔杆绕O₁X₁在Y轴方向的转动角度；Δγ为单位时间内笔杆绕O₀Z₀在书写平面内的转动角度。

书写过程为手腕平动和手腕转动过程的叠加，所以书写运动过程中，笔尖的定位算法为：

$\left(\begin{array}{c}\mathrm{\&Delta;x}\\ \mathrm{\&Delta;y}\end{array}\right)=\left(\begin{array}{c}\mathrm{\&Delta;}{x}_1+\mathrm{\&Delta;}{x}_2\\ \mathrm{\&Delta;}{y}_1+\mathrm{\&Delta;}{y}_2\end{array}\right)---\left(23\right)$

Δx₂、Δy₂为单位时间内手腕在X轴向或Y轴向的平动距离。Δx、Δy为单位时间内笔尖在书写平面内的移动距离。

步骤四，坐标的空间映射变换；交互笔采用相对坐标的方式，并不要求书写纸张和屏幕绝对坐标的一一对应，以一个字为检测单位，对处理器中积分数据复位，消除误差累积带来的漂移，具体做法为，通过采用BP神经网络算法，根据笔杆基于时间的运动信息对书写过程中的字内笔画之间抬笔、换字抬笔、换行抬笔等书写运动模式进行识别。只在用户进行文字书写时才进行笔迹检测，并以一个文字为检测单位，对交互笔进行复位处理，当检测到换字、换行时对交互笔进行复位，对光标沿手腕运动方向移动固定值，字间抬笔移动三分之一字长，换行时将光标移动至下一行开始处，减少惯性器件由于积分而带来的误差累积和漂移。

三种模式字内笔画之间抬笔、换字抬笔、换行抬笔进行的识别，采用如图6所示的三层BP神经元网络来完成。

图6中，X₁，X₂，X₃，X₄，X₅为BP网络的输入层，X₁为抬笔时间，X₂为抬笔期间内X轴向移动长度，X₃为抬笔期间内Y轴向移动长度，X₄为抬笔期间内X轴方向角位移量，X₅为抬笔期间内Y轴向角位移量。

图6中，G₁，G₂，G₃，G₄…G_m为BP网络的隐含层，m取20，其中F₁，F₂，F₃为BP网络的输出层，F₁为字内抬笔标识，F₂为字间抬笔标识，F₃为换行标识。

步骤五，接收端根据接收到的坐标信息和运动模式信息，实现对光标运动的控制和书写笔迹的录入操作。

Claims (7)

1.自动录入书写内容的自然交互笔，包括笔体和计算机主机接收端，其特征在于：笔体中包括转动传感器件、加速度传感器件、温度传感器、滤波模块、模数转换模块、微处理器I和数据无线通讯模块I；转动传感器件测量书写运动过程中人手及手臂的运动角速度信息，加速度传感器件测量书写运动过程中人手及手臂的运动的加速度信息，两种传感器输出电压信号经滤波模块低通滤波后，送往模数转换模块进行模数转换，转换得到的数字信号送往微处理器I；温度传感器测量当时环境温度后输出信号至模数转换模块进行模数转换，转换后的数字信号送往微处理器I，用于对转动传感器件和加速度传感器件输出信号进行温漂补偿；微处理器I输出的信号通过数据无线通讯模块I发送；所述的计算机主机接收端包括微处理器II、无线通信模块II和USB接口；数据无线通讯模块II和数据无线通讯模块I构成一对双工无线通讯电路，接收数据无线通讯模块I发送的信号后通过微处理器II处理，由USB接口传送给计算机主机。

2.根据权利要求1所述的自动录入书写内容的自然交互笔，其特征在于：所述的转动传感器件采用三轴陀螺仪，并且三轴陀螺仪的三个敏感轴方向分别与笔杆惯性坐标系X、Y、Z轴相平行。

3.根据权利要求1所述的自动录入书写内容的自然交互笔，其特征在于：所述的加速度传感器件包括两个三轴加速度计，并且两个三轴加速度计分别安装于笔杆两端，两个三轴加速度计的三个敏感轴方向均分别与笔杆惯性坐标系X、Y、Z轴相平行。

4.根据权利要求1所述的自动录入书写内容的自然交互笔，其特征在于：所述的微处理器I连接存储器，用于在交互笔脱离计算机独立工作时将交互笔录入的书写笔迹信息暂存于交互笔中，当交互笔和计算机相连接时，存储器中数据经微处理器I，通过数据无线通讯模块I发送给计算机。

5.根据权利要求1所述的自动录入书写内容的自然交互笔，其特征在于：所述的笔体还包括电池、电路板、隔板、力传感器、笔芯座、笔壳、存储键、功能键、书写启动键和书写笔芯；在笔壳内中部安装有笔芯座套，笔芯座位于笔芯座套内，力传感器位于笔芯座套内的另一端；在笔芯座套上有隔板；书写笔芯装入笔壳内，通过笔芯座与力传感器相连接，力传感器输出电压信号与电路 板上的模数转换模块相连接，经转换成数字信号后送往电路板上的微处理器I；电路板和电池位于笔壳的底部；在笔壳内有线路腔；在与线路腔对应的笔壳的壳体上，沿笔壳的轴线方向依次分布有存储键、功能键和书写启动键；存储键、功能键和书写启动键通过导线，经线路腔与电路板上的微处理器I相连接。

6.一种权利要求1所述自然交互笔的笔迹检测方法，其特征在于包括下述步骤：

步骤一，分别测量笔尖与书写平面的压力信息、笔杆沿自身惯性坐标系三轴向的转动角速度、笔杆头部和尾部两个部位运动的三轴加速度，以及环境温度信息；

步骤二，对传感器测得的笔杆头部加速度信息、笔杆尾部加速度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的计算，具体计算过程包括以下步骤：

a.采用中值滤波方法对传感器数字信号量进行滤波；对经中值滤波后的传感器数据，根据环境温度信息，采用最小二乘法进行温度补偿，减小传感器的零点漂移；

b.笔杆姿态的确定：

1)由笔杆三轴转动传感器件的输出值通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算：

T₁₂＝2(p₁p₂-p₀p₃)

T₂₃＝2(p₂p₃-p₀p₁)    (3)

T₁₃＝2(p₁p₃+p₀p₂)

q为笔杆任意时刻的姿态四元数，其中 

表示四元数乘法，q(k+1)和q(k)分别为t_k+1和t_k时刻笔杆的姿态四元数，θ、 

ψ为笔杆任意时刻的俯仰角滚转角和航向角；Q(dt)为从t_k到t_k+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下： 

Φ₀＝(Φ^T·Φ)^1/2    (6)

其中：ω(t)， 

ω(t+h)分别为姿态更新周期h时间段内，转动传感器件的三次角速率等间隔采样值；

2)根据公式(9)利用笔杆下端三轴加速计的输出值判断笔杆是否处于加速运动，当公式(9)左边部分小于阈值ε时，可判定笔杆处于无加速运动，ε取三轴加速度计三轴静态噪声方差方均根的三倍；当无加速运动时根据公式(10)利用笔杆下端的加速度计的输出对笔杆的俯仰角和滚转角进行计算；

其中g为当地重力加速度，a_x，a_y，a_z为笔杆下端三轴加速度计的输出值；

3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角误差进行估计，其中卡尔曼滤波器的状态方程为

X＝AX(t)+ΓW(t)    (11)

其为Δθ， Δψ为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角与笔杆真实姿态角之间的姿态估计误差，Δb_x，Δb_y，Δb_z分别为三轴陀螺仪的静态漂移， 

为 

的斜对称阵， 

和 

分别为三轴陀螺仪的观测噪声和漂移噪声；

观测方程为

Z_K＝HX_K+V_K       (16)

H＝[I_3×3 0_3×3] (18)

其中H为观测阵，θ_acc和 

为利用笔杆下端三轴加速度计估计的笔杆姿态角，θ_j和 

为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角；V_K为零均值白噪声；

4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运动的姿态角；

c.分别对笔杆绕握笔部位在X轴方向、在Y轴方向和笔杆笔杆绕腕关节在书写平面内的转动角度进行确定：

其中α′、β′、分别为笔杆绕握笔部位在X轴和Y轴方向的转动角度，γ′为笔杆绕腕关节在书写平面内的转动角度，ω_x、ω_y、ω_z为笔杆在自身惯性坐标系三轴向的转动角速度；ω_x、ω_y的确定方法为分别对笔杆两端在X轴方向和Y轴方向的运动加速度的差值进行积分运算，分别得到笔杆在X轴方向和Y轴方向的转动角速度，并分别与X轴方 向和Y轴方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波器进行数据融合，得到ω_x、ω_y；ω_z取Y轴向陀螺仪的输出值；φ为笔杆的俯仰角；

d.通过实时测量俯仰角φ和滚转角θ，由公式(20)得到重力在加速度计各轴上的分量f_b，笔杆运动的动态加速度a_t为加速度计实时输出值a与f_b的差值，即

a_t＝a-f_b    (21)

对x和y方向的加速度积分，可以得到笔杆在书写平面上的运动速度和距离；

步骤三，将步骤二中解算的笔杆运动特征量映射成用户的书写笔迹，实现书写运动意图的识别；所采用映射方法为：笔杆绕腕关节在书写平面内的转动，和笔杆绕握笔部位在X轴向的转动完成笔尖在X轴向的运动，即横的书写；笔杆绕握笔部位在Y轴方向的转动，完成笔尖在Y轴上的运动，即竖的书写；笔杆在书写平面上的平动完成手写笔换行书写初始位置的改变；笔尖的运动距离等于笔杆三种运动特征之和；用笔杆转动的弧长近似的表示笔尖在书写平面的移动距离，则手腕不发生移动时，笔尖的运动距离由以下公式计算：

式中Δx₁、Δy₁分别为手腕不发生移动时，单位时间内笔尖在书写平面内沿X轴方向和Y轴向方的移动距离；l₁为笔尖到握笔部位的距离；l₂为笔尖到手腕部位的距离；Δα、Δβ分别为单位时间内笔杆绕O₁Y₁在X轴方向和单位时间内笔杆绕O₁X₁在Y轴方向的转动角度；Δγ为单位时间内笔杆绕O₀Z₀在书写平面内的转动角度；

在书写运动过程中，笔尖的定位方法为：

Δx₂、Δy₂为单位时间内笔杆在X轴向或Y轴向的平动距离，由步骤二的d步骤计算得到；Δx、Δy为单位时间内笔尖在书写平面内的移动距离；

步骤四，通过采用BP神经网络算法，根据笔杆基于时间的运动信息对书写过程中的字内笔画之间抬笔、换字抬笔、换行抬笔的书写运动模式进行识别；在用户进行文 字书写时进行笔迹检测，并以一个文字为检测单位，对交互笔进行复位处理，当检测到换字、换行时对交互笔进行复位，对光标沿手腕运动方向移动固定值，字间抬笔移动三分之一字长，换行时将光标移动至下一行开始处，减少惯性器件由于积分而带来的误差累积和漂移；

步骤五，接收端根据接收到的坐标信息和运动模式信息，实现对光标运动的控制和书写笔迹的录入操作。

7.根据权利要求6所述的自然交互笔的笔迹检测方法，其特征在于：步骤三中步骤d所述的加速度积分中当笔杆运动加速度大于阈值ξ连续4个采样周期时才进行速度和位移的积分，ξ取三轴加速度计三轴静态噪声方差方均根的三倍；当笔杆运动加速度小于阈值ξ连续4个采样周期时停止对速度和位移的积分，并令速度和位移值等于零。 

Images