CN103927024A - 一种笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法 - Google Patents

Abstract

本发明提出了六种基于笔尖与笔身轨迹的操作命令。在无需借助其他辅助设备的情况下，利用笔的固有优势实现较为复杂的操作，扩充了笔式用户界面的命令容量。本发明在保持笔的便携优势基础上，提出基于笔尖与笔身轨迹的命令扩展方法，能够提高笔的输入能力，缩短并行输入的时间。

Description

一种笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法

技术领域：本发明涉及笔式用户界面和三维笔式命令输入，具体涉及一种笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法。

背景技术：在笔式交互系统中，用户使用笔式设备进行文字书写、图形绘制和命令操作时，计算机对这些输入对象进行解析处理，识别之后执行用户所要进行的命令操作。笔式交互充分利用了书写的自然性和墨水丰富的表达能力，使人们对计算机的使用更加自然、直观。

但是，人们在使用电子手写笔与计算机进行交互时有如下不便因素：(1)传统的笔式设备仅依赖笔尖的运动轨迹（二维的时间序列位置信息x(t),y(t)）来实现输入，与鼠标相比输入带宽较低；(2)作为一种便携输入设备，笔的输入能力相比鼠标要弱得多，比如它不能同时完成选取与操作两个任务，且并行操作费时费力。

发明内容：

发明目的：本发明提供一种笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，其目的在于提高笔的输入能力，解决以往笔的输入能力差，并行输入的时间长得问题。

技术方案：

一种笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，其特征在于：所述方法包括以下步骤：

(1)用户在操作笔的同时，利用设置于笔内的数据采集模块以10ms为间隔不间断地采集笔尖划动过程中的轨迹点坐标，每次取出当前采集点及之前的连续2个点的坐标值及笔尾投影点的坐标值，并将坐标信息传输给笔内设置的中央处理模块；

(2)利用中央处理模块根据坐标信息计算采集点之间连线的斜率及笔尾的投影点坐标，识别笔尖轨迹的划动方向及笔身的旋转方式；

(3)利用中央处理模块识别出用户的笔式动作类别之后，再映射成用户预设的命令，以实现特定的操作。

步骤(2)所述的笔尖轨迹的划动方向及笔身的旋转方式包括：顺时针内旋转、逆时针内旋转、顺时针外旋转、逆时针外旋转、顺时针平行旋转和逆时针平行旋转。

顺时针内旋转的方式为：以握笔点为固定轴使笔尖顺时针旋转，笔身向笔尖旋转轨迹内倾斜；逆时针内旋转为：以握笔点为固定轴使笔尖逆时针旋转，笔身向笔尖旋转轨迹内倾斜；顺时针外旋转为：握笔点随笔身运动，笔尖顺时针旋转，笔身向笔尖旋转轨迹外倾斜；逆时针外旋转为握笔点随笔身运动，笔尖逆时针旋转，笔身向笔尖旋转轨迹外倾斜；顺时针平行旋转：笔身呈同一姿势运动，笔尖呈顺时针旋转，握笔点与笔尖形成的轨迹平行；逆时针平行旋转：笔身呈同一姿势运动，笔尖呈逆时针旋转，握笔点与笔尖形成的轨迹平行。

步骤(2)中，中央处理模块识别笔尖轨迹的划动方向及笔身的旋转方式的步骤为：首先判断笔尖轨迹的划动方向是顺时针还是逆时针，其次判断笔身的旋转方式是内旋转还是外旋转，最后判断笔身的旋转方式是否为平行旋转。

笔尖轨迹的划动方向通过相邻采集点之间连线的斜率来判断,识别方法如下：

第一，数据采集模块每隔10ms获取笔尖划动轨迹上的一个点坐标，依次取包含当前采集点P₃在内的三个点P₁、P₂、P₃，连接点P₁和P₂做直线L₁，连接点P₁和P₃做直线L₂；

第二，判断顺时针还是逆时针的关键在于求出L₁和L₂的斜率K₁、K₂，中央处理模块根据L₁上的两点P₁(X₁，Y₁),P₂(X₂，Y₂)以及L₂上的两点P₁(X₁，Y₁),P₃(X₃，Y₃)和斜率计算公式来求出两条直线的斜率K₁和K₂；斜率计算公式如下：

$K_1=\frac{Y_2-Y_1}{X_2-X_1}$ $K_2=\frac{Y_3-Y_1}{X_3-X_1}$

比较K₁与K₂的大小，如果K₁<K₂则为逆时针方向，如果K₁>K₂则为顺时针方向。

第三，重复步骤一二，计算下一组相邻采集点连线的斜率并进行斜率比较，直到划动轨迹结束。统计出笔尖划动过程中计算所得的所有斜率的总数S与顺时针判断生效的斜率个数C；计算C/S×100%，若其值大于50%，为顺时针，否则为逆时针。

优点及效果：

本发明提出了六种基于笔尖与笔身轨迹的操作命令。在无需借助其他辅助设备的情况下，利用笔的固有优势实现较为复杂的操作，扩充了笔式用户界面的命令容量。和现有技术相比，本发明具有下列优势：

(1)无缝连接。用户使用本发明的方法选取目标时，能实时得到预期操作结果的反馈，避免了延时性和拖沓性，与其它操作方式相比更加简便快捷，加快了人与计算机的交互效率。

(2)简单易用。本发明提供的全新命令操作方法，能够自然快捷的选取目标，无需触发任何界面控制元素，只需要一支手写笔模拟普通画图手法即可以执行操作，学习周期短，易于用户使用。

(3)提高了笔的输入带宽。本发明提出的命令扩展方法，不仅增加了笔的倾斜角与方位角等新的输入变量，克服了传统笔的笔尖二维输入的局限性，而且利用了三维空间输入命令操作，具有立体化和形象化效果，提高了笔的输入能力。

(4)允许用户定制笔式命令。本发明采用用户定制命令的方法，用户可以根据自己喜好更改命令匹配。这种方法可以拓宽命令的数量，同时用自己擅长的手势使用常用的命令，提高了笔的输入性能。

因此本发明在保持笔的便携优势基础上，提出基于笔尖与笔身轨迹的命令扩展方法，能够提高笔的输入能力，缩短并行输入的时间。

附图说明：

图1-1为笔体顺时针内旋转示意图；

图1-2为笔体逆时针内旋转的示意图；

图1-3为笔体顺时针外旋转的示意图；

图1-4为笔体逆时针外旋转的示意图；

图1-5为笔体顺时针平行旋转的示意图；

图1-6为笔体逆时针平行旋转的示意图；

图2为笔尖轨迹的划动方向为顺时针方向示意图；

图3为笔尖轨迹取点示意图；

图4为判断笔体内旋转示意图；

图5为判断笔体外旋转示意图；

图6为计算笔尾投影点方法示意图；

图7为具体应用场景中笔体使用顺时针平行旋转对字体进行放大。

具体实施方式：下面结合附图对本发明做进一步的说明：

本发明提供一种笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，该方法实现步骤包括：

(1)用户在操作笔的同时，利用设置于笔内的数据采集模块以10ms为间隔不间断地采集笔尖划动过程中的轨迹点坐标，每次取出当前采集点及之前的连续2个点的坐标值及笔尾投影点的坐标值，并将坐标信息传输给笔内设置的中央处理模块；；

(2)利用中央处理模块根据坐标信息计算采集点之间连线的斜率及笔尾的投影点坐标,并将该信息用于识别笔尖轨迹的划动方向及笔身的旋转方式；

(3)利用中央处理模块识别出用户的笔式动作类别之后，再映射成用户预设的命令，以实现特定的操作。

如图1-1至1-6所示，本发明所述的手写笔的笔式动作种类包括：顺时针内旋转图1-1、逆时针内旋转图1-2、顺时针外旋转图1-3、逆时针外旋转图1-4、顺时针平行旋转图1-5和逆时针平行旋转图1-6。

具体的讲顺时针内旋转的方式为：以握笔点为固定轴使笔尖顺时针旋转，笔身向笔尖旋转轨迹内倾斜；逆时针内旋转为：以握笔点为固定轴使笔尖逆时针旋转，笔身向笔尖旋转轨迹内倾斜，笔尖投影点在笔尖旋转轨迹内；顺时针外旋转为：握笔点随笔身运动，笔尖顺时针旋转，笔身向笔尖旋转轨迹外倾斜；逆时针外旋转为握笔点随笔身运动，笔尖逆时针旋转，笔身向笔尖旋转轨迹外倾斜；顺时针平行旋转：笔身呈同一姿势运动，笔尖呈顺时针旋转，握笔点与笔尖形成的轨迹平行，使得笔身运动轨迹之间平行；逆时针平行旋转：笔身呈同一姿势运动，笔尖呈逆时针旋转，握笔点与笔尖形成的轨迹平行，使得笔身运动轨迹之间平行。

中央处理模块处理采集点坐标信息及进行命令识别的过程为：

首先，中央处理模块判断笔尖划动方向为顺时针还是逆时针，其次判断笔身是内旋转还是外旋转，最后判断笔身是否为平行旋转。

判断顺时针/逆时针的方法为：

第一，如图3左图所示，利用数据采集模块在笔尖划动轨迹上每隔10ms获取一个点坐标，依次取三个点P₁、P₂、P₃，连接点P₁和P₂做直线L₁，连接点P₁和P₃做直线L₂；

第二，判断顺时针还是逆时针的关键在于求出L₁和L₂的斜率K₁、K₂，中央处理模块根据L₁上的两点P₁(X₁，Y₁),P₂(X₂，Y₂)以及L₂上的两点P₁(X₁，Y₁),P₃(X₃，Y₃)的斜率计算公式来求出两条直线的斜率。斜率计算公式如下：

$K_1=\frac{Y_2-Y_1}{X_2-X_1}$ $K_2=\frac{Y_3-Y_1}{X_3-X_1}$

如图2所示，比较K₁与K₂的大小，如果K₁<K₂则为逆时针方向，如果K₁>K₂则为顺时针方向。

第三，重复步骤一二，计算下一组相邻采集点连线的斜率（如图3右图所示），直到划动轨迹结束。

为了能够准确识别出是顺时针还是逆时针，需要计算笔尖划动过程中所有相邻采集点连线的斜率并进行斜率比较，并统计出所有斜率的总数S与顺时针判断生效的斜率个数C。计算C/S×100%，若其值大于50%，为顺时针，否则为逆时针。

判断内旋转/外旋转的方法为：

笔在划动过程中，内旋转是笔尾的投影点在弧的内侧（如图4所示），而外旋转是笔尾的投影点在弧的外侧（如图5所示），判断步骤如下：

(1)如图4、图5所示，数据采集模块在手写笔划动轨迹上每隔10ms获取一个点，并记录其坐标信息。依次连续获取包括当前采集点在内的三个点P₁、P₂、P₃

(2)计算采集P₂点时的笔尾投影点P₄坐标：如图6所示，笔尾的投影点P₄的坐标可以根据笔尖的坐标，笔的长度以及笔的倾斜角计算求得；根据笔的倾斜角β可求出笔在XOY-屏幕坐标平面上的投影长度，根据笔的方位角α求出γ的值(α-90°)，结合三角函数求得P₄的坐标（X₄，Y₄）。

(3)将P₁和P₃连成直线L₁，然后判断P₂和P₄是否在直线L₁的两侧。判断P₂和P₄是否在直线L₁的两侧的方法如下：直线L₁方程为ax+by+c=0，P₂点坐标为（X₂，Y₂），P₄点坐标为（X₄，Y₄）。根据点与直线的位置关系，若(aX₂+bY₂+c)×(aX₄+bY₄+c)<0，则P₂和P₄在直线L₁的异侧，判断为内旋转；若(aX₂+bY₂+c)×(aX₄+bY₄+c)>0，则P₂和P₄在直线L₁的同侧，判断为外旋转。

由于用户在使用笔进行划动的过程中不能保证每个姿势都做得准确无误，所以为了能够准确识别出是内旋转还是外旋转，还需要统计出内旋转生效个数A与所有旋转个数S。计算A/S×100%，若其值大于50%，判断为内旋转，否则判断为外旋转。

判断平行旋转的方法为：

要求用户在使用手写笔圈选显示区域的对象群时笔身必须在三维空间保持平行划动，这里的三维空间是如图6所示的笔的倾斜角β、方位角α及XOY-屏幕坐标平面。要求用户在划动手写笔时保证笔式动作的方位角和倾斜角的变化范围在10度以内，否则不符合平行旋转要求。

下面通过具体应用实例对本发明做进一步描述：

在笔式交互应用程序中，用户对选取的目标对象进行复制、剪切、粘贴、删除、改变大小等操作时，传统方法需要先选中对象然后再完成具体操作来实现，，而本发明可以简化该过程，可以在选择对象的同时完成相关操作，方便省时。

例如，本发明可设定顺时针内旋转所对应的命令为选中区域目标对象并复制对象，逆时针内旋转所对应命令为将复制对象粘贴在用户圈选区域内，顺时针外旋转所对应的命令为打开圈选区域内所有文件，逆时针外旋转所对应的命令为删除圈选区域所有文件，顺时针平行旋转表示选中区域目标对象并放大，逆时针平行旋转表示选中区域目标对象并缩小。如图7所示，当用户书写“HCI”后，使用逆时针内旋转圈选“HCI”时可以将其删除。另外，本发明可以根据用户的喜好定制命令所对应的具体操作内容，如顺时针内旋转与逆时针内旋转可对应为放大和缩小字体，顺时针外旋与逆时针外旋可对应为复制与粘贴等等。

本发明在不改变笔自身的结构和形状的前提下，利用笔的固有属性，提供了一种全新的笔式交互方式。通过本发明所述方法能够提高笔的输入能力，并能同时实现对目标的选取与操作，例如：选取文件的同时对也对文件进行了复制或删除等操作,方便快捷、简单易用，具有良好的用户体验。

Claims (5)

1.一种笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，其特征在于：所述方法包括以下步骤：

(1)用户在操作笔的同时，利用设置于笔内的数据采集模块以10ms为间隔不间断地采集笔尖划动过程中的轨迹点坐标，每次取出当前采集点及之前的连续2个点的坐标值及笔尾投影点的坐标值，并将坐标信息传输给笔内设置的中央处理模块；

(2)利用中央处理模块根据坐标信息计算采集点之间连线的斜率及笔尾的投影点坐标，识别笔尖轨迹的划动方向及笔身的旋转方式；

(3)利用中央处理模块识别出用户的笔式动作类别之后，再映射成用户预设的命令，以实现特定的操作。

2.根据权利要求1所述的笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，其特征在于：步骤(2)所述的笔尖轨迹的划动方向及笔身的旋转方式包括：顺时针内旋转、逆时针内旋转、顺时针外旋转、逆时针外旋转、顺时针平行旋转和逆时针平行旋转。

3.根据权利要求2所述的笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，其特征在于：顺时针内旋转的方式为：以握笔点为固定轴使笔尖顺时针旋转，笔身向笔尖旋转轨迹内倾斜；逆时针内旋转为：以握笔点为固定轴使笔尖逆时针旋转，笔身向笔尖旋转轨迹内倾斜；顺时针外旋转为：握笔点随笔身运动，笔尖顺时针旋转，笔身向笔尖旋转轨迹外倾斜；逆时针外旋转为握笔点随笔身运动，笔尖逆时针旋转，笔身向笔尖旋转轨迹外倾斜；顺时针平行旋转：笔身呈同一姿势运动，笔尖呈顺时针旋转，握笔点与笔尖形成的轨迹平行；逆时针平行旋转：笔身呈同一姿势运动，笔尖呈逆时针旋转，握笔点与笔尖形成的轨迹平行。

4.根据权利要求1所述的笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，其特征在于：步骤(2)中，中央处理模块识别笔尖轨迹的划动方向及笔身的旋转方式的步骤为：首先判断笔尖轨迹的划动方向是顺时针还是逆时针，其次判断笔身的旋转方式是内旋转还是外旋转，最后判断笔身的旋转方式是否为平行旋转。

5.根据权利要求4所述的笔式用户界面中基于笔尖与笔身轨迹的命令扩展方法，其特征在于：笔尖轨迹的划动方向通过相邻采集点之间连线的斜率来判断,识别方法如下：

第一，数据采集模块每隔10ms获取笔尖划动轨迹上的一个点坐标，依次取包含当前采集点P₃在内的三个点P₁、P₂、P₃，连接点P₁和P₂做直线L₁，连接点P₁和P₃做直线L₂；

第二，判断顺时针还是逆时针的关键在于求出L₁和L₂的斜率K₁、K₂，中央处理模块根据L₁上的两点P₁(X₁，Y₁),P₂(X₂，Y₂)以及L₂上的两点P₁(X₁，Y₁),P₃(X₃，Y₃)和斜率计算公式来求出两条直线的斜率K₁和K₂；斜率计算公式如下：

$K_1=\frac{Y_2-Y_1}{X_2-X_1}$ $K_2=\frac{Y_3-Y_1}{X_3-X_1}$

比较K₁与K₂的大小，如果K₁<K₂则为逆时针方向，如果K₁>K₂则为顺时针方向。

第三，重复步骤一二，计算下一组相邻采集点连线的斜率并进行斜率比较，直到划动轨迹结束。统计出笔尖划动过程中计算所得的所有斜率的总数S与顺时针判断生效的斜率个数C；计算C/S×100%，若其值大于50%，为顺时针，否则为逆时针。