CN103455262A - 一种基于移动计算平台的笔式交互方法及系统 - Google Patents

Abstract

本发明实施例公开一种基于移动计算平台的笔式交互方法，包括：定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；将处理后的笔式轨迹与所述笔式模版进行匹配，得到笔式识别结果；本发明还提供一种基于移动计算平台的笔式交互系统。根据本发明实施例的技术方案，解决目前没有满足移动计算平台的笔式交互技术方案的问题，实现在移动计算平台上快速且准确的识别出笔式动作，完成笔式交互。

Description

一种基于移动计算平台的笔式交互方法及系统

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种基于移动计算平台的笔式交互方法及系统。

背景技术

随着计算机技术的快速发展，传统的人机交互方式已经无法满足日趋复杂的交互需求，笔式交互等新型的人机交互方式逐渐成为了研究的热点。在移动互联网的时代，智能手机、家庭娱乐系统等新兴移动计算应用场景的普及，为笔式交互技术的应用提供了更广阔的发展空间。

笔式交互技术充分利用触摸屏和压力传感器等技术，能够准确获取用户交互动作的轨迹和力度，再通过识别算法实现对用户交互动作的识别和响应，从而保证用户在使用软件交互的过程中能够沿用日常的纸笔书写习惯，达到了自然简便的交互效果。因此，笔式交互技术作为新型的人机交互技术的重要类型，直接有效的交互方式使得笔式交互技术能够成为未来人机交互技术的重点发展方向。安卓(Android)平台中使用手势识别(Gesture Detector)技术来捕捉触摸屏上的触控轨迹，并给定了几种固定动作的笔式识别函数；而苹果公司作为拥有众多的多点触控技术专利的公司，为相关程序提供了体验良好的触控和识别函数接口。

但是，现有的笔式交互技术中，都限定了笔式识别所对应的种类，缺乏后续的扩展性，无法为用户提供自定义相关笔式动作的函数接口，因此在当前条件下，一般的笔式识别技术都还是针对普通的计算机平台设计的，完全针对移动计算平台优化的轻量级笔式识别技术和系统还相对较少，如果能够完整实现一套满足移动计算平台交互需求的笔式交互技术，将具有很明显的应用价值和发展潜力。

发明内容

有鉴于此，本发明实施例的主要目的在于提供一种基于移动计算平台的笔式交互方法及系统，解决目前没有满足移动计算平台的笔式交互技术方案的问题，实现在移动计算平台上快速且准确的识别出笔式动作，完成笔式交互。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明提供一种基于移动计算平台的笔式交互方法，包括：

定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；

记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；

将处理后的笔式轨迹与所述笔式模版进行匹配，得到笔式识别结果。

上述方法中，该方法还包括：

根据所述笔式识别结果执行笔式动作对应的操作，触发应用行为。

上述方法中，所述定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中为：

定义不同的笔式动作，将不同的笔式动作进行分类，并为定义的笔式动作定义对应的操作，得到笔式模版；

得到的笔式模版存储在移动计算平台的笔式模版数据库中。

上述方法中，

所述将不同的笔式动作进行分类为：将不同的笔式动作分为十一类，包括点击、双击、长按、单手旋转、双手旋转、拖动、缩小、放大、画钩、画叉及问号；

该方法还包括：接收用户输入的自定义的笔式动作以及所述笔式动作对应的操作，将所述笔试动作与对应的操作保存到所述笔式模版数据库中。

上述方法中，该方法还包括：

对于单笔画的笔式动作，根据旋转的角度、范围、方向的不同，形成不同风格的笔式动作，所述不同风格的笔式动作对应相同的操作；

对于多笔画的笔式动作，根据笔画的输入顺序，对笔画进行组合，对每种输入顺序得到的组合后的笔式动作都定义对应的操作，得到笔式模版；n个笔画的笔式动作具有n！个笔式动作，所述n！个笔式动作对应相同的操作。

上述方法中，所述对所述笔式轨迹进行重采样、旋转、缩放和平移处理为：

计算笔式轨迹的路径的总体长度，并将笔式轨迹重采样成多个等距离的点；

在所述多个等距离的点中的第一个点与笔式轨迹的中心点之间做虚拟连接线，所述虚拟连接线与水平线之间存在象征角，利用旋转函数调整所述虚拟连接线，使所述象征角的度数为0度；

将旋转处理后的笔式轨迹缩放到预先设置的标准正方形中；

将缩放处理后的笔式轨迹平移到屏幕中间，使得笔式轨迹的中心点位于二维空间坐标的原点。

上述方法中，所述将处理后的笔式轨迹与笔式模版进行匹配，得到笔式识别结果为：

将处理后的笔式轨迹与所述笔式模版中的每个笔式动作进行匹配，分别计算笔式轨迹与每个笔试动作的对应点之间的平均距离；

将得到的笔式轨迹与每个笔试动作的对应点之间的平均距离转换到[0，1]区间的分数段，得到相应的匹配分数；

将最高的匹配分数对应的笔式动作所对应的笔式模版作为笔式识别结果。

上述方法中，所述计算笔式轨迹与每个笔试动作的对应点之间的平均距离为：

笔式轨迹与笔试动作的对应点之间的平均距离为：

$d_i=\frac{{\mathrm{\Σ}}_{k-1}^N\sqrt{{(c{\left[k\right]}_x-T_i{\left[k\right]}_x)}^2+{(c{\left[k\right]}_y-T_i{\left[k\right]}_y)}^2}}{N};$

其中N为对应点的数量，c[k]_x和c[k]_y分别表示笔式轨迹的第k个点的x坐标和y坐标，T_i[k]_x和T_i[k]_y分别表示第i个匹配的笔式动作的第k个点的x坐标和y坐标。

上述方法中，所述匹配分数为：

其中，size表示所述预先设置的标准正方形的一条边长。

本发明还提供一种基于移动计算平台的笔式交互系统，包括：模版配置单元、笔式处理单元、笔式匹配单元、笔式模版数据库；其中，

模版配置单元，用于定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；

笔式处理单元，用于记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；

笔式匹配单元，用于将所述笔式处理单元处理后的笔式轨迹与笔式模版数据库中存储的所述笔式模版进行匹配，得到笔式识别结果。

上述系统中，该系统还包括：

笔式执行单元，用于根据笔式匹配单元得到的所述笔式识别结果执行笔式动作对应的操作，触发应用行为。

本发明实施例提供的基于移动计算平台的笔式交互方法及系统，：定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；将处理后的笔式轨迹与所述笔式模版进行匹配，得到笔式识别结果，如此，预先定义笔式模版，并通过重采样、旋转、缩放、平移、计算距离、匹配分数计算等手段，实现基于移动计算平台的轻量级笔式识别方法，解决目前没有满足移动计算平台的笔式交互技术方案的问题，实现在移动计算平台上快速且准确的识别出笔式动作，完成笔式交互。

附图说明

图1是本发明实施例基于移动计算平台的笔式交互方法的流程示意图；

图2是本发明实施例中笔式模版的示意图；

图3是本发明实施例中单手旋转的笔式动作的示意图；

图4(a)是本发明实施例中问号的笔式动作的示意图；

图4(b)是本发明实施例中画叉的笔式动作的示意图；

图5是本发明实施例中对笔式轨迹进行重采样后采样点的示意图；

图6是本发明实施例中对笔式轨迹进行旋转后采样点的示意图；

图7是本发明实施例中对笔式轨迹进行缩放处理后笔式轨迹的示意图；

图8是本发明实施例中笔式轨迹的识别测试结果示意图；

图9是本发明实施例实现基于移动计算平台的笔式交互系统的结构示意图。

具体实施方式

本发明实施例的基本思想是：定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；将处理后的笔式轨迹与所述笔式模版进行匹配，得到笔式识别结果。

下面通过附图及具体实施例对本发明实施例再做进一步的详细说明。

本发明实施例提供一种基于移动计算平台的笔式交互方法，图1是本发明实施例基于移动计算平台的笔式交互方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤101，定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；

具体的，定义不同的笔式动作，可以将不同的笔式动作按照单点、多点、单笔画、多笔画等进行分类，为定义的笔式动作定义对应的操作，最终得到笔式模版，得到的笔式模版可以存储在移动计算平台的笔式模版数据库中；例如，笔式模版可以如图2所示，图2所示的笔式模版中的十一类笔式动作可以是点击、双击、长按、单手旋转、双手旋转、拖动、缩小、放大、画钩、画叉及问号，每个笔式动作对应一个操作；笔式模版还可以包括用户自定义的笔试动作，可以接收用户输入的笔式动作以及该笔式动作对应的操作，将该笔试动作和对应的操作作为笔式模版保存到笔式模版数据库中，可以增加笔式动作识别的准确性；

其中，对于单笔画的笔式动作，如单手旋转、打钩等笔式动作，一个操作可以对应多个不同风格的笔式动作，如图3所示，可以根据旋转的角度、范围、方向的不同，形成不同风格的笔式动作，这些不同风格的笔式动作都对应单手旋转的操作；对于多笔画的笔式动作，可以根据笔画的输入顺序，对笔画进行组合，对每种输入顺序得到的组合后的笔式动作都定义对应的操作，得到笔式模版，有n个笔画的笔式动作，需要有n！个笔式动作，这些n！个笔式动作都对应同一个操作，如图4(a)所示，对于问号的笔式动作，根据不同的笔画顺序，对笔画进行组合，组合后都得到问号的笔式动作，因此需要对应同一个操作，这样一个帮助的操作可以对应两种笔式动作，如图4(b)所示，对于画叉的笔式动作，根据不同的笔画顺序，对笔画进行组合，组合后都得到画叉的笔式动作，因此需要对应同一个操作，这样一个拒绝/关闭的操作可以对应两种甚至多种的笔式动作；因此，在多笔画的笔式动作中，形成笔式动作的过程可以不同，只要对笔画组合后得到相同的笔式动作，就需要对应到一个操作。

步骤102，记录用户在移动计算平台的屏幕上输入的笔式轨迹，对该笔式轨迹进行重采样、旋转、缩放和平移处理；

具体的，用户在移动计算平台的屏幕上留下轨迹后，记录用户在移动计算平台的屏幕上输入的轨迹，将该轨迹称为笔式轨迹；所述移动计算平台可以是任何触摸式的移动终端，如平板电脑、触屏手机等；

首先计算笔式轨迹的路径的总体长度，并将笔式轨迹进行重采样处理，如图5所示，将笔式轨迹重采样成64个等距离的点，图5中根据画叉的笔式动作，将笔式轨迹重采样成连贯的64个等距离的点；如图6所示，然后在重采样处理后得到的64个等距离的点中的第一个点与笔式轨迹的中心点之间做一虚拟连接线(如图6中的粗实线)，该虚拟连接线与水平线之间存在一个夹角，称为象征角，利用旋转函数顺时针调整或逆时针调整该虚拟连接线，使得象征角的度数为0度；其中，所述笔式轨迹的中心点指的是笔式轨迹的所有点的坐标值x和y对应平均值得到的坐标所对应的点；接着对旋转处理后的笔式轨迹进行缩放处理，将笔式轨迹缩放到预先设置的标准正方形中，通过缩放处理，可以对大小不一致的笔式轨迹进行规范处理；如图7所示，最左边的图为最初记录的笔式轨迹，中间的图为对该笔式轨迹进行旋转处理后的笔式轨迹，最右边的图为对笔式轨迹进行缩放处理后的笔式轨迹，需要将缩放处理后的笔式轨迹平移到屏幕中间，使得笔式轨迹的中心点位于二维空间坐标的原点，这样可以沿着中心点旋转笔式轨迹。

步骤103，将处理后的笔式轨迹与笔式模版进行匹配，得到笔式识别结果；

具体的，将步骤102得到的处理后的笔式轨迹与笔式模版中的每个笔式动作进行匹配，分别计算笔式轨迹与每个笔试动作的对应点之间的平均距离，利用的计算公式为：

$d_i=\frac{{\mathrm{\Σ}}_{k-1}^N\sqrt{{(c{\left[k\right]}_x-T_i{\left[k\right]}_x)}^2+{(c{\left[k\right]}_y-T_i{\left[k\right]}_y)}^2}}{N}$

其中，N为对应点的数量，c[k]_x和c[k]_y分别表示笔式轨迹的第k个点的x坐标和y坐标，T_i[k]_x和T_i[k]_y分别表示第i个匹配的笔式动作的第k个点的x坐标和y坐标，d_i表示笔式轨迹与第i个笔式动作的对应点之间的平均距离；

将得到的笔式轨迹与每个笔试动作的对应点之间的平均距离转换到[0，1]区间的分数段，得到相应的匹配分数，计算匹配分数利用的计算公式为：

$\mathrm{score}=1-\frac{d_i}{{1/2}^{\sqrt{{\mathrm{size}}^2+{\mathrm{size}}^2}}}$

其中，size表示所述预先设置的标准正方形的一条边长，score表示得到的相应的匹配分数，匹配分数越高，表示笔式轨迹与笔试动作的路径的差异越小，该笔式动作是与输入的笔式轨迹最相似的笔式动作，因此，将根据笔式轨迹与每个笔试动作的对应点之间的平均距离转换得到相应的匹配分数中，匹配分数最高的笔式动作对应的笔式模版为目标模板，作为笔式识别结果。

步骤104，根据笔式识别结果执行笔式动作对应的操作，触发应用行为；

具体的，移动计算平台根据得到的笔式识别结果执行笔式动作对应的操作，触发应用行为，例如，移动计算平台执行操作，触发视频播放、图片浏览、菜单导航等应用。

利用上述方法，针对不同人的笔式轨迹的识别情况进行了测试，能够实现较高的笔式识别率，测试结果如图8所示，针对笔式识别共收集了854个笔式轨迹作为测试数据，其中每个笔式轨迹的数量控制在120个左右，共有12个用户加入随机测试中，每个用户需要对每种笔式轨迹进行10次左右的测试输入，包括旋转、双手旋转、缩小、放大、打钩、打叉、问号，共7种不同的笔式动作，按照匹配后的结果正确率得出统计结果，其中，旋转操作的数据120/123中，123表示测试的总次数，120表示测试结果中正确结果的次数，97.56％表示该笔式动作的识别正确率，图8所示的结果中，测试正确率全部在94％以上，因此，测试结果表明上述方法对笔式动作的识别情况较好，完全可应用于移动计算平台的笔式交互中。

本发明实施例中，在笔式模板的数量上，首先提供默认的笔式模板，包括单手旋转、双手旋转、缩小、放大、画叉、打钩以及问号等十一大类，此外，还可以通过用户自定义模板功能追加适合用户笔式习惯的模板，在匹配中可以更好的提高笔式识别的准确性。对于多笔画的笔式动作，通过对不同的笔画顺序进行组合，形成包括所有顺序的笔式动作，以及对应的模版，以适应用户的笔画顺序不同所产生的差异。此外，通过旋转、平移改变输入轨迹，以适应不同用户在输入笔画时角度位置等所产生的差异。在笔式识别时可以有效提高通过距离计算评分的准确性，选出分数最高的模板作为目标模板。

为实现上述方法，本发明实施例还提供一种基于移动计算平台的笔式交互系统，图9是本发明实施例实现基于移动计算平台的笔式交互系统的结构示意图，如图9所示，该系统包括：模版配置单元91、笔式处理单元92、笔式匹配单元93、笔式模版数据库94；其中，

模版配置单元91，用于定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库94中；

笔式处理单元92，用于记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；

笔式匹配单元93，用于将所述笔式处理单元92处理后的笔式轨迹与笔式模版数据库94中存储的所述笔式模版进行匹配，得到笔式识别结果。

笔式执行单元95，用于根据笔式匹配单元93得到的所述笔式识别结果执行笔式动作对应的操作，触发应用行为。

其中，所述模版配置单元91定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中具体为：定义不同的笔式动作，将不同的笔式动作进行分类，并为定义的笔式动作定义对应的操作，得到笔式模版；得到的笔式模版存储在移动计算平台的笔式模版数据库中。

所述笔式处理单元92对所述笔式轨迹进行重采样、旋转、缩放和平移处理具体为：计算笔式轨迹的路径的总体长度，并将笔式轨迹重采样成多个等距离的点；在所述多个等距离的点中的第一个点与笔式轨迹的中心点之间做虚拟连接线，所述虚拟连接线与水平线之间存在象征角，利用旋转函数调整所述虚拟连接线，使所述象征角的度数为0度；将旋转处理后的笔式轨迹缩放到预先设置的标准正方形中；将缩放处理后的笔式轨迹平移到屏幕中间，使得笔式轨迹的中心点位于二维空间坐标的原点。

所述笔式匹配单元93将处理后的笔式轨迹与笔式模版进行匹配，得到笔式识别结果具体为：将处理后的笔式轨迹与所述笔式模版中的每个笔式动作进行匹配，分别计算笔式轨迹与每个笔试动作的对应点之间的平均距离；将得到的笔式轨迹与每个笔试动作的对应点之间的平均距离转换到[0，1]区间的分数段，得到相应的匹配分数；将最高的匹配分数对应的笔式动作所对应的笔式模版作为笔式识别结果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明实施例的保护范围之内。

Claims (11)

1.一种基于移动计算平台的笔式交互方法，其特征在于，该方法包括：

定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；

记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；

将处理后的笔式轨迹与所述笔式模版进行匹配，得到笔式识别结果。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

根据所述笔式识别结果执行笔式动作对应的操作，触发应用行为。

3.根据权利要求1所述的方法，其特征在于，所述定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中为：

定义不同的笔式动作，将不同的笔式动作进行分类，并为定义的笔式动作定义对应的操作，得到笔式模版；

得到的笔式模版存储在移动计算平台的笔式模版数据库中。

4.根据权利要求3所述的方法，其特征在于，

所述将不同的笔式动作进行分类为：将不同的笔式动作分为十一类，包括点击、双击、长按、单手旋转、双手旋转、拖动、缩小、放大、画钩、画叉及问号；

该方法还包括：接收用户输入的自定义的笔式动作以及所述笔式动作对应的操作，将所述笔试动作与对应的操作保存到所述笔式模版数据库中。

5.根据权利要求3或4所述的方法，其特征在于，该方法还包括：

对于单笔画的笔式动作，根据旋转的角度、范围、方向的不同，形成不同风格的笔式动作，所述不同风格的笔式动作对应相同的操作；

对于多笔画的笔式动作，根据笔画的输入顺序，对笔画进行组合，对每种输入顺序得到的组合后的笔式动作都定义对应的操作，得到笔式模版；n个笔画的笔式动作具有n！个笔式动作，所述n！个笔式动作对应相同的操作。

6.根据权利要求1所述的方法，其特征在于，所述对所述笔式轨迹进行重采样、旋转、缩放和平移处理为：

计算笔式轨迹的路径的总体长度，并将笔式轨迹重采样成多个等距离的点；

在所述多个等距离的点中的第一个点与笔式轨迹的中心点之间做虚拟连接线，所述虚拟连接线与水平线之间存在象征角，利用旋转函数调整所述虚拟连接线，使所述象征角的度数为0度；

将旋转处理后的笔式轨迹缩放到预先设置的标准正方形中；

将缩放处理后的笔式轨迹平移到屏幕中间，使得笔式轨迹的中心点位于二维空间坐标的原点。

7.根据权利要求1所述的方法，其特征在于，所述将处理后的笔式轨迹与笔式模版进行匹配，得到笔式识别结果为：

将处理后的笔式轨迹与所述笔式模版中的每个笔式动作进行匹配，分别计算笔式轨迹与每个笔试动作的对应点之间的平均距离；

将得到的笔式轨迹与每个笔试动作的对应点之间的平均距离转换到[0，1]区间的分数段，得到相应的匹配分数；

将最高的匹配分数对应的笔式动作所对应的笔式模版作为笔式识别结果。

8.根据权利要求7所述的方法，其特征在于，所述计算笔式轨迹与每个笔试动作的对应点之间的平均距离为：

笔式轨迹与笔试动作的对应点之间的平均距离为：

$d_i=\frac{{\mathrm{\Σ}}_{k-1}^N\sqrt{{(c{\left[k\right]}_x-T_i{\left[k\right]}_x)}^2+{(c{\left[k\right]}_y-T_i{\left[k\right]}_y)}^2}}{N};$

其中N为对应点的数量，c[k]_x和c[k]_y分别表示笔式轨迹的第k个点的x坐标和y坐标，T_i[k]_x和T_i[k]_y分别表示第i个匹配的笔式动作的第k个点的x坐标和y坐标。

9.根据权利要求7所述的方法，其特征在于，所述匹配分数为：

其中，size表示所述预先设置的标准正方形的一条边长。

10.一种基于移动计算平台的笔式交互系统，其特征在于，该系统包括：模版配置单元、笔式处理单元、笔式匹配单元、笔式模版数据库；其中，

模版配置单元，用于定义笔式动作及对应的操作，得到笔式模版，并存储到笔式模版数据库中；

笔式处理单元，用于记录用户在移动计算平台的屏幕上输入的笔式轨迹，对所述笔式轨迹进行重采样、旋转、缩放和平移处理；

笔式匹配单元，用于将所述笔式处理单元处理后的笔式轨迹与笔式模版数据库中存储的所述笔式模版进行匹配，得到笔式识别结果。

11.根据权利要求10所述的系统，其特征在于，该系统还包括：

笔式执行单元，用于根据笔式匹配单元得到的所述笔式识别结果执行笔式动作对应的操作，触发应用行为。

Images