CN101872260B - 一种远程交互笔及书写笔迹检测方法 - Google Patents

Abstract

一种远程交互笔及书写笔迹检测方法，包括手持端和接收端。手持端采用三轴陀螺仪和两个三轴加速度计检测笔杆的书写运动特征量，采用超声测距测量笔杆相对与屏幕和地面的相对运动距离，测量信息根据人的书写运动模型进行数据融合和书写运动特征量的解算及书写意图的识别，实现书写笔迹的检测。接收端用于接收手持端解算的书写控制信息、书写笔迹信息和光标的三维运动信息。本发明通过对手臂运动特征的跟踪定位以控制光标运动、操作视窗并实现隔空书写功能，并增加了垂直于投影屏幕方向的运动检测功能，作为三维空中鼠标用于虚拟现实等应用，克服了现有输入设备不能反映光标三维运动信息的缺陷，具有结构简单、使用方便的特点。

Description

一种远程交互笔及书写笔迹检测方法

技术领域

本发明涉及计算机输入设备，尤其是一种远程交互笔及书写笔迹检测方法。

背景技术

在新闻发布会、产品展示会、报告会、授课等活动中，投影机的使用越来越频繁而且不可替代。然而目前使用投影机时有一个很大的缺憾，就是不能灵活地操作系统。有的公司针对多媒体投影应用场合推出了基于电子感应原理的电子白板，利用白板和手写笔之间的电磁感应实现手写笔的定位，实现用户可以像普通黑板一样在白板上进行书写圈画等操作，但用户在白板上进行书写操作时，容易遮挡从背后投射过来的投影机光线，无法做到远距离书写。

在中国专利公开号为CN101071350的专利文献中，公开了一种通过识别动态轨迹操作光标、视窗的装置，该装置通过采用图像摄取装置检测激光笔打在投影屏幕上的光点的运动轨迹，经过图像识别算法，实现对光点的定位及运动轨迹的判断。市场上也有采用类似技术的相关产品出现。利用该技术，用户可以实现远距离对任意投影屏幕的交互。但是由于该技术方案需要在投影屏幕前架设图像摄取装置，增加了安装使用的复杂度，此外该技术的图像识别效果还受周围环境的较大影响。

在中国专利公开号为CN101320297A的专利文献中公开了一种无线空中鼠标，该装置包括手持端和接收端两部分，通过在手持端上垂直安装陀螺仪来检测手腕在空间两轴向的转动，用手腕在水平和垂直平面内转动的角度表示光标的移动距离。在中国专利公开号为CN101110001A的专利文献中也公开了类似的方法，该方法实现了不依赖其它设备的情况下与计算机的远距离交互。但是由于人对投影屏幕书写、标注等过程中，不仅是手腕空间两轴向的转动，还有手臂的平动等，按照该技术方案形成的产品并不符合人的操作习惯。此外由于低成本陀螺仪等惯性器件的精度限制，该方法还存在控制光标精度差、分辨率不足的问题。

另外，目前使用的鼠标、电子教鞭等输入设备都只能反映光标的二维运动信息，对虚拟现实等需要反映光标三维运动信息的场合只能用光标的二维运动来模拟，或者需要采用三维数据手套等复杂设备，缺少一种反应人手空间三维运动信息的简单有效的输入方式。

发明内容

为了克服现有技术控制光标精度差、分辨率不足以及无法做到远距离书写的不足，本发明提出了一种远程交互笔及书写笔迹检测方法。

本发明解决其技术问题所采用的技术方案是：包括手持端和接收端，手持端包括惯性器件、超声测距模块、温度传感器、微处理器I和数据无线通讯模块；接收端包括与微处理器II和数据无线通讯模块。其中，惯性器件测量获得书写运动过程中反映人手及手臂运动的交互笔运动角速度和加速度信息，输出电压信号经滤波模块低通滤波后传输至模数转换模块，转换得到的数字信号送往微处理器I；温度传感器测量环境温度后输出信号，经模数转换模块转换后得到数字信号送往微处理器I，用以对惯性器件的输出信号进行温漂补偿；超声测距模块测量交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号送往微处理器I；微处理器I对所获得的上述信号解算包括笔杆姿态、平动分量和转动分量的书写运动特征量，并将获得的书写运动特征量与交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号进行融合和误差修正；同时根据人手空中对投影屏幕的书写运动模型进行运动校正和书写运动意图的识别，将最终结果映射成为屏幕上的书写笔迹信息或者光标的二维或三维运动信息，通过数据无线通讯模块发送给接收端。接收端通过数据无线通讯模块接收手持端解算的屏幕上的书写笔迹信息或者光标的二维或三维运动信息，在微处理器II的控制下发送给计算机主机。

所述的惯性传感器件包括一个三轴陀螺仪和两个三轴加速度计，两个三轴加速度计分别安装于交互笔的笔杆两端，并且这两个三轴加速度计的三个敏感轴方向均分别与笔杆惯性坐标系X、Y、Z轴相平行；三轴陀螺仪的三个敏感轴方向分别与笔杆惯性坐标系X、Y、Z轴相平行。

所述的超声测距模块包括两组超声测距模块，并且两组超声测距模块相互垂直安装；其中一组超声测距模块的敏感方向与笔杆轴向相平行，另一组超声测距模块的敏感方向与笔杆轴向垂直。

所述的手持端还包括书写控制模块，书写控制模块采用一组按键，包括光标对准键、书写键、三维鼠标键以及与鼠标的左右键和滚轮的上下键对应的四个功能键。

所述的微处理器II连接存储器，用于存放交互笔的PC端驱动程序。当主机接收端第一次与PC机连接时，主机接收端首先注册为存储设备，然后自动运行存储器内的交互笔驱动程序，免除了另外准备驱动安装光盘的不便。

本发明还提出了一种远程交互笔实现书写笔迹检测的方法，包括以下步骤：

步骤一，基于人书写运动特点的运动特征量检测：根据人对投影屏幕书写运动的特点，将手臂的书写运动分解为在空间X轴和Y轴方向上手腕和手臂的转动以及手臂的平动，即体现为交互笔的书写运动可以分解成为交互笔在X轴向和Y轴方向的转动和平动。测量交互笔笔杆在空间三轴向的转动角速度信息、运动过程中笔杆头部和尾部的三轴加速度信息，同时测量笔杆相对于屏幕方向和地面方向的相对运动信息；对环境温度信息进行测量。

步骤二，笔杆运动特征量的确定：对传感器测得的笔杆头部加速度信息、笔杆尾部加速度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的确定，具体过程包括以下步骤：

a.数据预处理：采用中值滤波算法对对传感器测得的笔杆头部的三轴加速度信息、笔杆尾部的三轴加速度信息、笔杆三轴向的转动角速度信息和温度信息进行滤波；根据环境温度信息，采用最小二乘法对滤波后得到的各信息进行温度补偿，减小传感器的零点漂移；

b.转动特征量的确定：分别对笔杆在X轴方向和Y轴方向的转动角速度进行确定；对笔杆两端在X轴方向的运动加速度的差值进行积分运算，得到笔杆在该方向的转动角速度，并与该方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波进行数据融合；采用同样方法实现对Y轴向转动角速度的确定；

c.笔杆姿态的确定：

1)通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算：

$q=p_0+p_1\stackrel{\→}{i}+p_2\stackrel{\→}{j}+p_3\stackrel{\→}{k}---\left(1\right)$

$q(k+1)=q\left(k\right)\⊗Q\left(\mathrm{dt}\right)---\left(2\right)$

$T_{11}=p_0^2+p_1^2-p_2^2-p_3^2$

T₁₂＝2(p₁p₂-p₀p₃)

T₂₃＝2(p₂p₃-p₀p₁)        (3)

$T_{33}=p_0^2-p_1^2-p_2^2+p_3^2$

T₁₃＝2(p₁p₃+p₀p₂)

q为笔杆任意时刻的姿态四元数，其中

表示四元数乘法，q(k+1)和q(k)分别为t_k+1和t_k时刻笔杆的姿态四元数，θ、

Ψ为笔杆任意时刻的俯仰角滚转角和航向角；Q(dt)为从t_k到t_k+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下：

$Q\left(\mathrm{dt}\right)=\cos \frac{{\mathrm{\Φ}}_0}{2}+\frac{\mathrm{\Φ}}{{\mathrm{\Φ}}_0}\sin \frac{{\mathrm{\Φ}}_0}{2}---\left(5\right)$

Φ₀＝(Φ^T·Φ)^1/2            (6)

$\mathrm{\Φ}=\mathrm{\Δ\θ}+\frac{9}{20}(\mathrm{\Δ}{\mathrm{\θ}}_1+\mathrm{\Δ}{\mathrm{\θ}}_3)+\frac{27}{40}\mathrm{\Δ}{\mathrm{\θ}}_2\×(\mathrm{\Δ}{\mathrm{\θ}}_3-\mathrm{\Δ}{\mathrm{\θ}}_1)---\left(7\right)$

$\mathrm{\Δ}{\mathrm{\θ}}_1=[5\mathrm{\ω}\left(t\right)+8\mathrm{\ω}(t+\frac{h}{3})+\mathrm{\ω}(t+\frac{2}{3}h)]\frac{h}{36}$

$\mathrm{\Δ}{\mathrm{\θ}}_2=[-\mathrm{\ω}\left(t\right)+8\mathrm{\ω}(t+\frac{h}{3})+5\mathrm{\ω}(t+\frac{2}{3}h)]\frac{h}{36}$ (8)

$\mathrm{\Δ}{\mathrm{\θ}}_3=[-\mathrm{\ω}(t+\frac{h}{3})+8\mathrm{\ω}(t+\frac{2}{3}h)+5\mathrm{\ω}(t+h)]\frac{h}{36}$

$\mathrm{\Δ\θ}=[\mathrm{\ω}\left(t\right)+3\mathrm{\ω}(t+\frac{h}{3})+3\mathrm{\ω}(t+\frac{2}{3}h)+\mathrm{\ω}(t+h)]\frac{h}{8}$

其中：

ω(t+h)分别为姿态更新周期h时间段内，转动传感器件的三次角速率等间隔采样值；

2)根据公式(9)判断笔杆是否处于加速运动，当公式(9)左边部分小于阈值ε时，可判定笔杆处于无加速运动，ε取三轴加速度计三轴静态噪声方差方均根的三倍；当无加速运动时利用笔杆下端的加速度计的输出，根据公式(10)对笔杆的俯仰角和滚转角进行计算。

$|\sqrt{{a_x}^2+{a_y}^2+{a_z}^2}-g|<\mathrm{\&epsiv;}---\left(9\right)$

其中g为当地重力加速度，a_x，a_y，a_z为笔杆下端三轴加速度计的输出值；

3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角误差进行估计，其中卡尔曼滤波器的状态方程为

X＝AX(t)+ΓW(t)                    (11)

$A=\left[\begin{array}{cc}-\left[{\stackrel{\&RightArrow;}{\mathrm{\&omega;}}}^{\&times;}\right]& \frac{1}{2}{I}_{3\&times;3}\\ 0_{3\&times;3}& -\frac{1}{\mathrm{\&tau;}}{I}_{3\&times;3}\end{array}\right]$

$\mathrm{\&Gamma;}=\left[\begin{array}{cc}-\frac{1}{2}{I}_{3\&times;3}& 0_{3\&times;3}\\ 0_{3\&times;3}& I_{3\&times;X}\end{array}\right]---\left(14\right)$

$W\left(t\right)={\left[\begin{array}{cc}{\stackrel{\&RightArrow;}{n}}_{w1}& {\stackrel{\&RightArrow;}{n}}_{w2}\end{array}\right]}^T---\left(15\right)$

其为Δθ，

ΔΨ为三轴陀螺仪通过四元数算法估计的笔杆姿态角与笔杆真实姿态角之间的姿态估计误差，Δb_x，Δb_y，Δb_z分别为三轴陀螺仪在三轴方向上的静态漂移，

为

的斜对称阵，

和

分别为三轴陀螺仪的观测噪声和漂移噪声；

观测方程为

Z_K＝HX_K+V_K            (16)

H＝[I_3×3 0_3×3]      (18)

其中H为观测阵，θ_acc和

为利用笔杆下端三轴加速度计估计的笔杆姿态角，θ_j和

为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角；V_K为零均值白噪声；

4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运动的姿态角；

d.笔杆平动特征量的确定；

1)通过实时测量俯仰角φ和滚转角θ，由公式(19)得到重力在加速度计各轴上的分量f_b，笔杆运动的动态加速度a_t为加速度计实时输出值a与f_b的差值，即

$f_b=C*f_n=\left(\begin{array}{ccc}\cos \mathrm{\&phi;}& 0& -\sin \mathrm{\&phi;}\\ \sin \mathrm{\&theta;}\sin \mathrm{\&phi;}& \cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\cos \mathrm{\&phi;}\\ \cos \mathrm{\&theta;}\sin \mathrm{\&phi;}& -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\cos \mathrm{\&phi;}\end{array}\right)\left(\begin{array}{c}0\\ 0\\ g\end{array}\right)---\left(19\right)$

a_t＝a-f_b            (20)

对x、y和z方向的加速度积分，可以得到笔杆在垂直书写平面上以及相对于屏幕方向的运动速度和距离。为有效的抑制由于积分带来的误差累积现象，在积分过程中还加入以下约束条件：

①当笔杆运动加速度大于阈值ξ连续4个采样周期时才进行速度和位移的积分，ξ取三轴加速度计三轴静态噪声方差方均跟的三倍；

②当笔杆运动加速度小于阈值ξ连续4个采样周期时停止对速度和位移的积分，并令速度和位移值等零。

2)对相对于屏幕方向和相对于地面方向的超声测距传感器测得的距离信息进行差分得到笔杆在这两个方向上的运动速度，如果运动速度小于阈值δ(阈值δ为人手臂的最大运动速度，取3m/s)，则将该运动速度和由加速度计积分得到的运动速度值利用卡尔曼滤波器进行融合，得到交互笔在相对于屏幕和地面方向的运动速度的较为准确的值，对运动速度积分后最终得到这两个方向的运动距离；

步骤三，根据手臂对投影屏幕书写运动特点，把光标在屏幕上的运动分解为笔杆在X轴向和Y轴向平动和转动运动特征量的叠加；将步骤二中确定的运动特征量映射为书写笔迹和光标的移动信息，从而实现书写运动意图的识别。映射方法为将投影屏幕上光标的移动距离分解为笔杆的转动和平动两部分的叠加，用笔杆划过的弧长近似其移动的距离，计算公式如下：

$\left(\begin{array}{c}\mathrm{\&Delta;}{X}_1\\ \mathrm{\&Delta;}{Y}_1\end{array}\right)=\left(\begin{array}{c}\mathrm{\&Delta;\&psi;}\&times;l+\mathrm{\&Delta;x}\\ \mathrm{\&Delta;\&phi;}\&times;l+\mathrm{\&Delta;y}\end{array}\right)---\left(21\right)$

式中，l为用户距离投影屏幕的距离，ΔΨ为单位时间内笔杆在X轴向的转动分量，Δφ为笔杆在Y轴向转动分量即单位时间内笔杆的俯仰角变化量，Δx、Δy分别为单位时间内笔杆在X轴向和Y轴向的平动分量。ΔX₁和ΔY₁分别为单位时间内用户沿笔杆X轴和笔杆Y轴方向的书写运动距离。

交互笔处于空中三维鼠标模式时，步骤三中确定的笔杆相对于屏幕方向的平动距离作为光标的第三维运动信息。

步骤四：坐标的空间映射变换；根据笔杆姿态信息和笔杆轴向的转动角速度信息，完成书写笔迹从笔杆惯性坐标系到屏幕坐标系的映射变换，确定出书写笔迹和光标的坐标信息。计算公式如下

$\left(\begin{array}{c}\mathrm{\&Delta;X}\\ \mathrm{\&Delta;Y}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)\left(\begin{array}{c}\mathrm{\&Delta;}{X}_1\\ \mathrm{\&Delta;}{Y}_1\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)\left(\begin{array}{c}\mathrm{\&Delta;\&psi;}\&times;l+\mathrm{\&Delta;x}\\ \mathrm{\&Delta;\&phi;}\&times;l+\mathrm{\&Delta;y}\end{array}\right)---\left(22\right)$

式中：θ为笔杆轴向的滚转角度；ΔX和ΔY分别为单位时间内光标在屏幕X轴和Y轴向的移动距离。

步骤五，接收端根据接收到的坐标信息和书写笔迹信息，实现对光标运动的控制和对视窗书写标注的操作。

所述的数据预处理中采用的中值滤波算法包括取数据窗口宽度为2m+1。当采样频率为1KHz时，m为16，窗口内的数据序列为X₁，X₂，...，X_m+1，...，X_2m+1，对窗内的起始m个点和末尾m个点分别进行均值滤波，得到的两个值再和中间值X_m+1进行中值滤波。

本发明的有益效果是：由于采用多传感器融合的人手及手臂书写运动特征量检测和跟踪技术，通过对手臂运动特征进行跟踪定位来控制光标运动、操作视窗并实现隔空书写功能，本发明实现了在不依托其他辅助设备的情况下，完成空中无依托对屏幕进行圈画、标注以及书写，摆脱了以往手写输入设备需要依托其他辅助定位设备，便携性差使用不便的缺陷。本发明更符合人的书写操作习惯，具有设备智能化，便携性、通用性好的优点。同时，本发明增加了垂直于投影屏幕方向的运动检测功能，使交互笔还可以作为三维空中鼠标使用，用于虚拟现实等应用。解决了现有输入设备不能反映光标三维运动信息的缺陷。

下面结合附图和实施例对本发明进一步说明。

附图说明

附图1是远程交互笔外观示意图；

附图2是远程交互笔内部结构示意图；

附图3是远程交互笔主机接收端的左视图；

附图4是远程交互笔的结构框图；

附图5是远程交互笔电路板坐标图；

附图6是传感器信号处理流程图；

附图7是对投影屏幕书写运动时笔杆运动特征示意图；

附图8是远程交互笔笔杆倾角示意图。

图中，1.电源控制锁，2.状态指示灯I，3.三维鼠标功能开启键，4.光标启动对准键，5.功能键B，6.功能键D，7.书写键，8.功能键A，9.功能键C，10.手持端，11.状态指示灯II，12.USB接口，13.主机接收端，14.USB接口空腔，15.手持端电路板，16.电源模块，17.主机接收端电路板。

具体实施方式

本发明包括手持端10和主机接收端13两部分。

如图1和图2所示，手持端包括电源控制锁1、状态指示灯I、三维鼠标功能开启键3、光标启动和对准键4、书写键7、功能键A8、功能键B5、功能键C9、功能键D6、电路板15和电源模块16。主机接收端包括USB接口12、电路板17和状态指示灯11。

其中主机接收端的USB接口12可插入手持端的USB接口空腔14内，从而使手持端10和主机接收端13扣在一起。当主机接收端13手持端10上时，电源控制锁1处于按下状态，交互笔电源切断；当主机接收端13与手持端10分离时，电源控制锁1处于弹起状态，交互笔电源接通。

三维鼠标功能开启键3和光标启动对准键4位于手持端10的侧面，三维鼠标功能键3用于开启交互笔的三维鼠标功能键，光标对准及启动键4用于交互笔空中对投影屏幕操作和做为三维空中鼠标使用时启动光标和调整光标与笔杆指向的对准关系。书写键7、以和功能键A8、功能键B5、功能键C9、功能键D6位于手持端的另一端，书写键7用于在空中对投影屏幕操作时，开启交互笔在屏幕任意位置的标注书写功能。功能键A8对应鼠标左键，功能键B5对应鼠标右键，功能键C9和功能键D6分别对应鼠标滚轮上下键。各按键通过信号线和手持端电路板15上的微处理器I相连接。

USB接口12位于主机接收端13的一侧，如图3所示。USB接口12和主机接收端内部的电路板17相连接，用于和计算机通信。

如图4所示：主机接收端电路板17包括微处理器II，和与微处理器II相连接的数据无线传输模块II、存储器和USB接口模块。USB接口模块是基于串行通用接口配置芯片pdiusbd12的USB接口电路，在微处理器II的控制下向计算机主机进行串行设备描述，从而成为计算机主机的外部设备，并实现跟计算机主机通讯。数据无线传输模块II和数据无线传输模块I构成一对双工无线通讯电路，该通讯电路同为基于CSR公司的bluecore系列芯片。数据无线传输模块II在微处理器II的控制下，用于接收手持端解算的书写控制信息、书写笔迹信息和光标的三维运动信息。接收信息由微处理器II经USB接口电路发送给计算机主机，实现书写笔迹的显示和对光标的控制。

存储器用于存放交互笔的PC端驱动程序。当主机接收端第一次与PC机连接时，主机接收端首先注册为存储设备，然后自动运行存储器内的交互笔驱动程序，免除了另外准备驱动安装光盘的不便。

如图4所示：手持端电路板15包括惯性传感器件、超声测距模块、温度传感器、信号滤波模块、信号转换模块、手写笔控制模块、微处理器I和数据无线传输模块I。惯性传感器件测量获得书写运动过程中人手及手臂的运动角速度和加速度信息后输出电压信号，经滤波模块低通滤波后，将该电压信号传输至模数转换模块进行模数转换，转换得到的数字信号送往微处理器I。温度传感器测量并获得当时环境温度后输出信号至模数转换模块进行模数转换，转换后的数字信号亦送往微处理器I，用以对惯性器件输出信号进行温漂补偿。超声测距模块输出的笔杆相对运动信息的脉冲信号送往微处理器I的计数器输入端，用于测量交互笔相对于屏幕和地面两个方向的距离变化。

微处理器I对获得的书写运动过程中的数字信号通过数据解算模块进行笔杆姿态、平动分量和转动分量的书写运动特征量的解算，并将获得的书写运动特征量与超声测距模块测得的笔杆相对运动信息通过数据融合模块进行融合和误差修正。同时根据人手空中对投影屏幕的书写运动模型，通过运动校正模块和空间映射模块进行运动校正和书写运动意图的识别，将解算结果映射成为屏幕上的书写笔迹信息或者光标的二维或三维运动信息。

控制模块即前文所述的三维鼠标功能开启键3、光标启动对准键4、书写键7、以及功能键A8、功能键B5、功能键C9、功能键D6，各按键的开关量信号均与微处理器I的IO端口相连接，用于控制交互笔的工作状态和开启相应功能。与微处理器I相连接的数据无线发送模块将微处理器I的解算结果发送给主机接收端。

所述的惯性传感器件包括三轴陀螺仪和两个三轴加速度计。三轴陀螺仪采用MEMS电子陀螺仪。安装方式如图5所示，三轴陀螺仪的安装方式为三个敏感轴方向分别与电路板X、Y、Z轴相平行，分别用于测量人手在空中对投影屏幕书写运动时手腕和手臂在X轴和Y轴方向的转动，以及笔杆自身轴向的转动。两个三轴加速度计为MEMS三轴加速度计，采用ADI公司的ADXRS330。两个三轴加速度计分别安装于笔杆两端，并且该三轴加速度计的三个敏感轴方向分别与电路板X、Y、Z轴相平行，用来测量笔杆静态或动态时的加速度信息。

所述的超声测距模块采用SRFO5，包括两组超声测距模块，并且两组超声测距模块相互垂直安装。其中一组超声测距模块的敏感方向与笔杆轴向相平行，用于测量书写、操作运动过程中，笔杆相对于屏幕方向的距离变化，得出笔杆轴向的相对运动信息；另一组超声测距模块的敏感方向与电路板Y轴向相平行，用于测量书写、操作运动过程中，笔杆相对于地面或周围墙壁等遮挡物方向的距离变化，得出笔杆在Y轴向或X轴向的相对运动信息。两组测距模块所得信息和加速度计、陀螺仪解算的笔杆运动信息进行数据融合和误差修正，提高测量精度。

温度传感器用于测量周围环境温度变化，所测得的温度信息对三轴陀螺仪、三轴加速度计的输出数据进行温度漂移补偿，提高交互笔在不同使用环境中的适用性。

信号滤波模块为一有源低通滤波电路，用于滤除惯性传感器件和温度传感器的输出噪声和高频分量。

信号转换模块采用TI公司的ADS8365模数转换芯片。信号转换模块的转换精度为16位。信号转换模块用于将惯性传感器件和温度传感器输出的模拟信号转换成为处理器能够识别的数字信号。

所述书写控制模块包括一组按键，该组按键分别是光标对准键、书写键、三维鼠标键以及与鼠标的左右键和滚轮的上下键对应的四个功能键，光标对准键用于实现笔杆指向与光标位置的对准，书写键用于控制用户在屏幕任意位置进行书写标注，三维鼠标键用于开启交互笔的三维鼠标功能。

本实施例还提出了一种远程交互笔的书写笔迹检测的方法。如图6所示，远程交互笔的书写笔迹检测方法包括以下步骤：

步骤一，基于人书写运动特点的运动特征量检测；

如图7所示，根据人对投影屏幕书写运动的特点，将手臂的书写运动分解为在空间X轴和Y轴方向上，手腕和手臂的转动以及手臂的平动；将笔杆的书写运动分解成为笔杆在X轴向和Y轴方向的转动和平动两种运动模式。通过传感器测量获得笔杆在空间三轴向的转动角速度信息、笔杆运动过程中笔杆头部和笔杆尾部的三轴加速度信息，同时测量笔杆相对于屏幕方向和地面方向的相对运动信息。为了消除环境温度对交互笔精度的影响，还对环境温度信息进行测量。

步骤二，运动特征量的确定；对传感器测得的笔杆头部加速度信息、笔杆尾部加速度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的确定，具体过程包括以下步骤：

a.数据预处理；采用中值滤波算法对传感器数字信号量进行滤波，以降低采样噪声。中值滤波算法包括取数据窗口宽度为2m+1，其中，当采样频率为1KHz时，m为16，窗口内的数据序列为X₁，X₂，...，X_m+1，...，X_2m+1，对窗内的起始和末尾m个点分别进行均值滤波，再和中间值X_m+1三个值进行中值滤波。对经中值滤波后的传感器数据，根据环境温度信息，采用最小二乘法进行温度补偿，减小传感器的零点漂移。

b.转动特征量的确定；分别对笔杆在X轴方向和Y轴方向的转动角速度进行确定。对笔杆两端在X轴方向的运动加速度的差值，进行积分运算得到笔杆在该方向的转动角速度，并与该方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波器进行数据融合，以减小测量误差，实现笔杆在该方向转动角速度的确定。采用同样方法实现对Y轴向转动角速度的确定。

c.笔杆姿态的确定；

如图8所示，笔杆姿态的确定方法为：

1)由笔杆三轴转动传感器件的输出值通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算：

$q=p_0+p_1\stackrel{\&RightArrow;}{i}+p_2\stackrel{\&RightArrow;}{j}+p_3\stackrel{\&RightArrow;}{k}---\left(1\right)$

$q(k+1)=q\left(k\right)\&CircleTimes;Q\left(\mathrm{dt}\right)---\left(2\right)$

$T_{11}=p_0^2+p_1^2-p_2^2-p_3^2$

T₁₂＝2(p₁p₂-p₀p₃)

T₂₃＝2(p₂p₃-p₀p₁)        (3)

$T_{33}=p_0^2-p_1^2-p_2^2+p_3^2$

T₁₃＝2(p₁p₃+p₀p₂)

q为笔杆任意时刻的姿态四元数，其中

表示四元数乘法，q(k+1)和q(k)分别为t_k+1和t_k时刻笔杆的姿态四元数，θ、

Ψ为笔杆任意时刻的俯仰角滚转角和航向角；Q(dt)为从t_k到t_k+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下：

$Q\left(\mathrm{dt}\right)=\cos \frac{{\mathrm{\&Phi;}}_0}{2}+\frac{\mathrm{\&Phi;}}{{\mathrm{\&Phi;}}_0}\sin \frac{{\mathrm{\&Phi;}}_0}{2}---\left(5\right)$

Φ₀＝(Φ^T·Φ)^1/2            (6)

$\mathrm{\&Phi;}=\mathrm{\&Delta;\&theta;}+\frac{9}{20}(\mathrm{\&Delta;}{\mathrm{\&theta;}}_1+\mathrm{\&Delta;}{\mathrm{\&theta;}}_3)+\frac{27}{40}\mathrm{\&Delta;}{\mathrm{\&theta;}}_2\&times;(\mathrm{\&Delta;}{\mathrm{\&theta;}}_3-\mathrm{\&Delta;}{\mathrm{\&theta;}}_1)---\left(7\right)$

$\mathrm{\&Delta;}{\mathrm{\&theta;}}_1=[5\mathrm{\&omega;}\left(t\right)+8\mathrm{\&omega;}(t+\frac{h}{3})+\mathrm{\&omega;}(t+\frac{2}{3}h)]\frac{h}{36}$

$\mathrm{\&Delta;}{\mathrm{\&theta;}}_2=[-\mathrm{\&omega;}\left(t\right)+8\mathrm{\&omega;}(t+\frac{h}{3})+5\mathrm{\&omega;}(t+\frac{2}{3}h)]\frac{h}{36}$ (8)

$\mathrm{\&Delta;}{\mathrm{\&theta;}}_3=[-\mathrm{\&omega;}(t+\frac{h}{3})+8\mathrm{\&omega;}(t+\frac{2}{3}h)+5\mathrm{\&omega;}(t+h)]\frac{h}{36}$

$\mathrm{\&Delta;\&theta;}=[\mathrm{\&omega;}\left(t\right)+3\mathrm{\&omega;}(t+\frac{h}{3})+3\mathrm{\&omega;}(t+\frac{2}{3}h)+\mathrm{\&omega;}(t+h)]\frac{h}{8}$

其中：

ω(t+h)分别为姿态更新周期h时间段内，转动传感器件的三次角速率等间隔采样值；

2)利用三轴加速度传感器件的输出值判断笔杆是否处于加速运动，当无加速运动时利用加速度计的输出对笔杆的俯仰角和滚转角进行计算，判断和计算公式为

$|\sqrt{{a_x}^2+{a_y}^2+{a_z}^2}-g|<\mathrm{\&epsiv;}---\left(9\right)$

其中g为当地重力加速度，a_x，a_y，a_z为三轴加速度计输出值；

3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角误差进行估计，其中卡尔曼滤波器的状态方程为

X＝AX(t)+ΓW(t)               (11)

$A=\left[\begin{array}{cc}-\left[{\stackrel{\&RightArrow;}{\mathrm{\&omega;}}}^{\&times;}\right]& \frac{1}{2}{I}_{3\&times;3}\\ 0_{3\&times;3}& -\frac{1}{\mathrm{\&tau;}}{I}_{3\&times;3}\end{array}\right]---\left(13\right)$

$\mathrm{\&Gamma;}=\left[\begin{array}{cc}-\frac{1}{2}{I}_{3\&times;3}& 0_{3\&times;3}\\ 0_{3\&times;3}& I_{3\&times;X}\end{array}\right]---\left(14\right)$

$W\left(t\right)={\left[\begin{array}{cc}{\stackrel{\&RightArrow;}{n}}_{w1}& {\stackrel{\&RightArrow;}{n}}_{w2}\end{array}\right]}^T---\left(15\right)$

其为Δθ，

ΔΨ为三轴转动传感器件姿态估计误差，Δb_x，Δb_y，Δb_z分别为三轴转动传感器件漂移，

为

的斜对称阵，和分别为转动传感器件的观测噪声和漂移噪声；

观测方程为

Z_K＝HX_K+V_K             (16)

H＝[I_3×3 0_3×3]       (18)

其中H为观测阵，θ_acc和

为加速度传感器件估计的姿态角，θ_j和

为转动传感器件估计的姿态角。V_K为零均值白噪声；

4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运动的姿态角；

d.笔杆平动特征量的确定；

1)通过实时测量俯仰角φ和滚转角θ，由公式(19)得到重力在加速度计各轴上的分量f_b，笔杆运动的动态加速度a_t为加速度计实时输出值a与f_b的差值，即

$f_b=C*f_n=\left(\begin{array}{ccc}\cos \mathrm{\&phi;}& 0& -\sin \mathrm{\&phi;}\\ \sin \mathrm{\&theta;}\sin \mathrm{\&phi;}& \cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\cos \mathrm{\&phi;}\\ \cos \mathrm{\&theta;}\sin \mathrm{\&phi;}& -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\cos \mathrm{\&phi;}\end{array}\right)\left(\begin{array}{c}0\\ 0\\ g\end{array}\right)---\left(19\right)$

a_t＝a-f_b                (20)

对x、y和z方向的加速度积分，可以得到笔杆在垂直书写平面上以及相对于屏幕方向的运动速度和距离。为有效的抑制由于积分带来的误差累积现象，在积分过程中还加入以下约束条件：

①当笔杆运动加速度大于阈值ξ连续4个采样周期时才进行速度和位移的积分；

②当加速度小于阈值ξ连续4个采样周期时停止对速度和位移的积分，并令速度和位移值等零。

2)对相对于屏幕方向和相对于地面方向的超声测距传感器测得的距离信息进行差分得到笔杆在这两个方向上的运动速度，如果运动速度小于阈值δ，则将该运动速度和由加速度计积分得到的运动速度值利用卡尔曼滤波器进行融合，得到交互笔在相对于屏幕和地面方向的运动速度的较为准确的值，对运动速度积分后最终得到这两个方向的运动距离；

步骤三，根据手臂对投影屏幕书写运动特点，把光标在屏幕上的运动分解为笔杆在X轴向和Y轴向平动和转动运动特征量的叠加；将步骤二中确定的运动特征量映射为书写笔迹和光标的移动信息，从而实现书写运动意图的识别，映射方法为

如图7所示，将投影屏幕上光标的移动距离分解为笔杆的转动和平动两部分的叠加，用笔杆划过的弧长近似其移动的距离，计算公式如下：

$\left(\begin{array}{c}\mathrm{\&Delta;}{X}_1\\ \mathrm{\&Delta;}{Y}_1\end{array}\right)=\left(\begin{array}{c}\mathrm{\&Delta;\&psi;}\&times;l+\mathrm{\&Delta;x}\\ \mathrm{\&Delta;\&phi;}\&times;l+\mathrm{\&Delta;y}\end{array}\right)---\left(21\right)$

式中，l为用户距离投影屏幕的距离，ΔΨ为单位时间内笔杆在X轴向的转动分量，Δφ为笔杆在Y轴向转动分量即单位时间内笔杆的俯仰角变化量，Δx、Δy分别为单位时间内笔杆在X轴向和Y轴向的平动分量。ΔX₁和ΔY₁分别为单位时间内用户沿笔杆X轴和笔杆Y轴方向的书写运动距离。

交互笔处于空中三维鼠标模式时，步骤三中确定的笔杆相对于屏幕方向的平动距离作为光标的第三维运动信息。

步骤四：坐标的空间映射变换；根据笔杆姿态信息和笔杆轴向的转动角速度信息，完成书写笔迹从笔杆惯性坐标系到屏幕坐标系的映射变换，确定出书写笔迹和光标的坐标信息。计算公式如下

$\left(\begin{array}{c}\mathrm{\&Delta;X}\\ \mathrm{\&Delta;Y}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)\left(\begin{array}{c}\mathrm{\&Delta;}{X}_1\\ \mathrm{\&Delta;}{Y}_1\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)\left(\begin{array}{c}\mathrm{\&Delta;\&psi;}\&times;l+\mathrm{\&Delta;x}\\ \mathrm{\&Delta;\&phi;}\&times;l+\mathrm{\&Delta;y}\end{array}\right)---\left(22\right)$

式中：θ为笔杆轴向的滚转角度。ΔX和ΔY分别为单位时间内光标在屏幕X轴和Y轴向的移动距离。

步骤五，接收端根据接收到的坐标信息和书写笔迹信息，实现对光标运动的控制和对视窗书写标注等操作。

交互笔所采用的惯性坐标系与屏幕的初始对准方法为，在屏幕上显示特定图形，如正方向或者圆形，用户控制对准功能键，用交互笔指向显示图形，并沿图形曲线运动一周，通过测量运动过程中传感器的输出值，利用屏幕显示图形本身的坐标信息，建立起笔杆运动与光标屏幕运动距离的对应关系，实现交互笔与投影屏幕的初始对准。同时根据超声测距模块测得的笔杆距离投影屏幕的距离，对公式(5)中l做实时调整，提高交互笔的对准精度，和不同应用环境下交互笔的适用性。

Claims (6)

1.一种远程交互笔，包括手持端和接收端，其特征在于：手持端包括惯性器件、超声测距模块、温度传感器、微处理器I和数据无线通讯模块；接收端包括微处理器II和数据无线通讯模块；其中，惯性器件测量获得书写运动过程中反映人手及手臂运动的交互笔运动角速度和加速度信息，输出电压信号经滤波模块低通滤波后传输至模数转换模块，转换得到的数字信号送往微处理器I；温度传感器测量环境温度后输出信号，经模数转换模块转换后得到数字信号送往微处理器I，用以对惯性器件的输出信号进行温漂补偿；超声测距模块测量交互笔相对于屏幕和地面两个方向的距离变化，并输出脉冲信号至微处理器I；微处理器I对所获得的上述信号进行解算，得到包括笔杆姿态、平动分量和转动分量的书写运动特征量，并将获得的书写运动特征量与交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号进行融合和误差修正；同时根据人手空中对屏幕的书写运动模型进行运动校正和书写运动意图的识别，将最终结果映射成为屏幕上的书写笔迹信息或者光标的二维或三维运动信息，通过数据无线通讯模块发送给接收端；接收端通过数据无线通讯模块接收手持端解算的屏幕上的书写笔迹信息或者光标的二维或三维运动信息，在微处理器II的控制下发送给计算机主机；所述的惯性器件包括三轴陀螺仪和两个三轴加速度计，两个三轴加速度计分别安装于交互笔的笔杆两端，并且这两个三轴加速度计的三个敏感轴方向均分别与笔杆惯性坐标系X、Y、Z轴相平行；三轴陀螺仪的三个敏感轴方向分别与笔杆惯性坐标系X、Y、Z轴相平行；所述的微处理器I解算书写运动特征量，并将书写运动特征量与交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号进行融合和误差修正包括下述步骤：

步骤一，测量交互笔笔杆在空间三轴向的转动角速度信息、运动过程中笔杆头部和尾部的三轴加速度信息，同时测量笔杆相对于屏幕方向和地面方向的相对运动信息；对环境温度信息进行测量；

步骤二，笔杆运动特征量的确定，具体包括以下步骤：

a.采用中值滤波算法对惯性器件测得的笔杆头部的三轴加速度信息、笔杆尾部的三轴加速度信息、笔杆三轴向的转动角速度信息和温度信息进行滤波；根据环境温度信息，采用最小二乘法对滤波后得到的各信息进行温度补偿，减小惯性器件的零点漂移； 

b.分别对笔杆在X轴方向和Y轴方向的转动角速度进行确定；对笔杆两端在X轴方向的运动加速度的差值进行积分运算，得到笔杆在该方向的转动角速度，并与该方向三轴陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波进行数据融合；采用同样方法实现对Y轴向转动角速度的确定；

c.笔杆姿态的确定：

1)通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算：

T₁₂＝2(p₁p₂-p₀p₃)

T₂₃＝2(p₂p₃-p₀p₁)                        (3)

T₁₃＝2(p₁p₃+p₀p₂)

q为笔杆任意时刻的姿态四元数，其中 

表示四元数乘法，q(k+1)和q(k)分别为t_k+1和t_k时刻笔杆的姿态四元数，θ、 

ψ为笔杆任意时刻的俯仰角、滚转角和航向角；Q(dt)为从t_k到t_k+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下：

Φ₀＝(Φ^T·Φ)^1/2                        (6)

(8)

其中：ω(t)， 

ω(t+h)分别为姿态更新周期h时间段内，三轴陀螺仪的三次角速率等间隔采样值；

2) 根据公式(9)判断笔杆是否处于加速运动，当公式(9)左边部分小于阈值ε时，可判定笔杆处于无加速运动，ε取三轴加速度计三轴静态噪声方差方均根的三倍；当无加速运动时利用笔杆下端的三轴加速度计的输出，根据公式(10)对笔杆的滚转角和俯仰角进行计算；

其中g为当地重力加速度，a_x，a_y，a_z为笔杆下端三轴加速度计的输出值；

3)当检测到笔杆无加速运动时采用卡尔曼滤波器对三轴陀螺仪计算的姿态角误差进行估计，其中卡尔曼滤波器的状态方程为

X＝AX(t)+ΓW(t)                   (11)

其为Δθ， 

Δψ为三轴陀螺仪通过四元数算法估计的笔杆姿态角与笔杆真实姿态角之间的姿态估计误差，Δb_x，Δb_y，Δb_z分别为三轴陀螺仪在三轴方向上的静态漂移， 

为 

的斜对称阵， 

和 

分别为三轴陀螺仪的观测噪声和漂移噪声，τ表示陀螺漂移相关时间；

观测方程为

Z_K＝HX_K+V_K                        (16) 

H＝[I_3×3 0_3×3]               (18)

其中H为观测阵，θ_acc和 为利用笔杆下端三轴加速度计估计的笔杆姿态角，θj和 

为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角；V_K为零均值白噪声；

4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运动的姿态角；

d.笔杆平动特征量的确定；

1) 通过实时测量俯仰角θ和滚转角

由公式(19)得到重力在三轴加速度计各轴上的分量f_b，笔杆运动的动态加速度a_t为三轴加速度计实时输出值a与f_b的差值，即

a_t＝a-f_b                      (20)

对x、y和z方向的加速度积分，得到笔杆在垂直书写平面上以及相对于屏幕方向的运动速度和距离；

2)对相对于屏幕方向和相对于地面方向的超声测距模块测得的距离信息进行差分得到笔杆在这两个方向上的运动速度，如果运动速度小于阈值δ，δ取3m/s，则将该运动速度和由加速度计积分得到的运动速度值利用卡尔曼滤波器进行融合，得到交互笔在相对于屏幕和地面方向的运动速度的较为准确的值，对运动速度积分后最终得到这两个方向的运动距离；

步骤三，根据手臂对屏幕书写运动特点，把光标在屏幕上的运动分解为笔杆在X轴向和Y轴向平动和转动运动特征量的叠加；将步骤二中确定的运动特征量映射为书写笔迹信息或者光标的二维或三维运动信息，从而实现书写运动意图的识别；映射方法为将屏幕上光标的移动距离分解为笔杆的转动和平动两部分的叠加，用笔杆划过的弧长近似其移动的距离，计算公式如下：

式中，l为用户距离屏幕的距离，Δψ为单位时间内笔杆在X轴向的转动分量，Δφ 为笔杆在Y轴向转动分量即单位时间内笔杆的俯仰角变化量，Δx、Δy分别为单位时间内笔杆在X轴向和Y轴向的平动分量；ΔX₁和ΔY₁分别为单位时间内用户沿笔杆X轴和笔杆Y轴方向的书写运动距离；

步骤四：根据笔杆姿态信息和笔杆轴向的转动角速度信息，完成书写笔迹从笔杆惯性坐标系到屏幕坐标系的映射变换，确定出书写笔迹信息或者光标的二维或三维运动信息；公式如下

式中：ΔX和ΔY分别为单位时间内光标在屏幕X轴和Y轴向的移动距离；

步骤五，接收端根据接收到的书写笔迹信息或者光标的二维或三维运动信息，实现对光标运动的控制和对视窗书写标注的操作。

2.根据权利要求1所述的一种远程交互笔，其特征在于：所述的超声测距模块包括两组超声测距模块，其中一组超声测距模块的敏感方向与笔杆轴向相平行，另一组超声测距模块的敏感方向与笔杆轴向垂直。 

3.根据权利要求1所述的一种远程交互笔，其特征在于：所述的手持端还包括书写控制模块，书写控制模块中包括一组按键，该组按键分别是光标对准键、书写键、三维鼠标键以及与鼠标的左右键和滚轮的上下键对应的四个功能键。 

4.根据权利要求1所述的一种远程交互笔，其特征在于：所述的微处理器II连接存储器，用于存放交互笔的PC端驱动程序。 

5.根据权利要求1所述的一种远程交互笔，其特征在于：所述步骤二的d中第1)步的积分过程中当笔杆运动加速度大于阈值ε连续4个采样周期时才进行速度和位移的积分，ε取三轴加速度计三轴静态噪声方差方均跟的三倍；当笔杆运动加速度小于阈值ε连续4个采样周期时停止对速度和位移的积分，并令速度和位移值等零。 

6.根据权利要求1所述的一种远程交互笔，其特征在于：所述的交互笔处于空中三维鼠标模式时，步骤三中确定的笔杆相对于屏幕方向的平动距离作为光标的第三维运动信息。 

Images