CN1263302A - 基于笔和手势的文稿编辑技术 - Google Patents

Abstract

本发明涉及一种基于笔和手势的文稿编辑技术,它是由一个交互模型、一套语义约束机制、一个交互意图分析器和手势识别器组合而成,其特征在于:在字处理的过程中,用户用笔和编辑手势进行文字书写和文稿编辑,编辑手势和手写输入模式自动切换,用户不需要使用笔以外的其它交互设备。它彻底抛弃了传统计算机字处理的方法,极大地减轻了用户的交互负担,提高了编辑效率。

Description

基于笔和手势的文稿编辑技术

本发明涉及一种基于笔和手势的文稿编辑技术，具体的说是涉及一种以笔作为唯一输入设备，由编辑手势和手写文字输入为主的无模式的字处理为特征的编辑技术。

文稿编辑是一项非常重要的日常事务，经过上千年的演变发展，人们已形成了以笔和纸为主要处理工具的文稿编辑技术，并且形成了一整套完整的编辑手势(或符号)。但是，以纸为存储介质的方式不利于交流与信息的处理。自从进入计算机时代后，人们便充分地利用计算机的处理能力和计算机网络进行文稿编辑与信息交流。

现有的计算机编辑技术一般是采用数字形式存储、显示和处理文字。其输入设备是西文健盘和鼠标。人们在处理过程中必须不断切换输入设备。尤其是文稿编辑方法，将文稿编辑任务拆分为鼠标或键盘上按键的组合，其效率低，工作负荷重，出差率高。现有的编辑是通过菜单和按钮来实现，搞得用户眼花缭乱、无从下手。故用户需花费较长的时间学习与摸索才能掌握其技术。再者，计算机越来越朝着小型化发展，极大地制约着鼠标和键盘的使用。随之，笔式设备以良好的便携性和大量的交互信息成为主流的交互设备。然而，现有笔式字处理软件仍主要是以笔简单地替代鼠标的功能，并没有发挥笔的潜在优势。基于笔的汉字手写与输入识别技术已取得了很大的进步，但汉字编辑还是使用传统的处理方法。字处理过程中用户需专门切换处理的状态来完成一些特定的任务。故现有的文稿编辑方法有待于进一步改进。

本发明的目的在于提供一种以笔作为唯一输入设备，由编辑手势和手写文字输入为主的无模式的字处理为特征的基于笔和手势的文稿编辑技术。

本发明的目的是这样实现的，它是由一个交互模型、一套语义约束机制、一个交互意图分析器和手势识别器组合而成，其特征在于：在字处理的过程中，用户用笔和编辑手势进行文字书写和文稿编辑，编辑手势和手写输入模式自动切换，用户不需要使用笔以外的其它交互设备，交互过程中没有显式的模式切换，交互意图通过交互上下文和当前的交互信息，如压力、方向等确定，编辑手势采用人们日常生活中早已形成的通用手势，如插入、删除，一个手势对应一个字处理任务。

其特征还在于所述的交互模型是针对文稿编辑及笔式交互的特殊性，建立一个交互模型，用它来支持各类文稿编辑软件的构造。

其特征还在于所述的语义约束机制提出以时间为基础的语义约束机制，充分利用交互中的时间相关性提高交互处理的效率。

其特征还在于所述的交互意图分析器以手势识别器和一个知识库(对各种文稿编辑的知识进行存储、管理)为基础，对交互意图进行实时分析，将提取的信息转化为计算机可直接处理的任务，它是自然人机交互的基础。

其特征还在于所述的手势识别器利用模式识别的技术，针对交互手势的几何特点以及综合利用压力、方向等交互信息进行识别，建立一个几何计算库和基本手势的识别库，在此基础上实现了一个手势识别器，能够实时识别通常的文稿编辑手势。

其特征在于它是由下述方法实现的文稿编辑

(一)原型系统：

①参考人们生活中书写的习惯，以层叠的方式组织交互页面，

②通过手势进行页面之间的导航，如上一页、下一页，根据导航手势的速度、长短和运动方向以及其它非精确信息精确定位当前页，

③通过手势增加页面，

(二)系统中主要的编辑手势

①替换：替换现有文字，被选中的文字高亮度显示，

②插入：在指定位置插入文字，将插入的文字高亮显示，

③倒置：调整文字顺序，

④删除：删除所选文字，

⑤移动：移动文字块，

⑥复制：复制文字块，

⑦增加空距：增加文字间距，

⑧减少空距：减少文字间距，

⑨关键字检索：以所选择文字块为关键字进行快速知识检索

(三)利用连续、无模式的手写输入和及时校字功能进行输入，

(四)通过手势装载文件、发送邮件、关闭应用程序，

(五)字处理过程中，根据当前处理任务的上下信息确定可能的交互动作，实时地、智能地给出相应的手势提示，以完成其文稿的编辑。

本发明与现有技术相比，它是通过分析人们书写编辑中的习惯，结合笔的各种信息特点设计而成的。彻底抛弃了传统计算机字处理的方法，不需象过去那样将一个编辑过程拆分为鼠标或键盘按键的多个操作任务，极大地减轻了用户的交互负担，提高了编辑效率，这样的处理方式具有一定的非精确性，用户的处理意图可以一种极为自然的方式表达。它是以笔作为唯一输入设备。充分体现了文稿编辑中的“笔”与“纸”的交互概念。它是后窗口用户界面的一个典型体现。

以下结合实施例进一步说明本发明

实施例

一个文稿编辑原型系统

1、原型系统外观：以层叠的方式组织交互页面，符合人们在生活中使用笔记本或书的习惯，而且可以有效利用有限的屏幕空间，为便携计算设备的字处理提供方便。

2、系统中主要的编辑手势

替换：替换现有文字，被选中的文字高亮度显示。

插入：在指定位置插入文字，将插入的文字高亮显示。

倒置：调整文字顺序。

删除：删除所选文字。

移动：移动文字块。

复制：复制文字块。

增加空距：增加文字间距。

减少空距：减少文字间距。

关键字检索：以所选择文字块为关键字进行快速知识检索

连续的、无模式的手写输入和及时校字功能，

通过手势进行页面之间的导航，如上一页、下一页，根据导航手势的速度、长短和运动方向以及其它非精确信息精确定位当前页。

通过手势增加页面，

通过手势装载文件、发送邮件、关闭应用程序。

字处理过程中，根据当前处理任务的上下信息确定下面可能的交互动作，实时地、智能地给出相应的手势提示，帮助用户完成处理任务。

本发明基于笔和手势的文稿编辑技术的特点如下：

①手写输入和编辑手势输入无固定区域，手写输入焦点决定于笔的位置和上下文信息，手写输入和编辑手势可以混合输入，不必进行显式的状态(模式)切换。通过书写时边界盒的信息、书写压力的变化以及上下文信息实时扑捉用户意图，动态确定输入类型(编辑手势或文字输入)，并实时反馈(将手势输入和手写输入轨道的颜色加以区分)。连续手写输入主要是通过用户的习惯确定输入字体的大小、输入速度、压力变化对连续的输入进行分割。手势识别根据手势的几何和语义限制函数，可以多次完成一个手势，充分考虑了交互中的非精确性。

②该交互技术体现了一种随处手写输入的交互风格，抛弃了空格和回车等基于键盘输入文字的概念，用户可随意移动输入位置。

③无模式的信息检索：支持基于手势的信息检索。

④对以往基于滚动条的滚动技术进行改进，以笔为交互设备的滚动要充分利用笔的信息，我们提出了基于笔压力和倾角的滚动技术。根据笔产生的压力大小确定滚动的速度，以笔的倾角、方向确定滚动的方向。

⑤通过这一批系统管理手势可完成一些通用的操作，为界面交互的手势化提供基础。

⑥实时交互意图的识别：强化时间在交互中的约束强度，对手写输入和反馈输出基于时间优化。

Claims (6)

1、一种基于笔和手势的文稿编辑技术，它是由一个交互模型、一套语义约束机制、一个交互意图分析器和手势识别器组合而成，其特征在于：在字处理的过程中，用户用笔和编辑手势进行文字书写和文稿编辑，编辑手势和手写输入模式自动切换，用户不需要使用笔以外的其它交互设备，交互过程中没有显式的模式切换，交互意图通过交互上下文和当前的交互信息，如压力、方向等确定，编辑手势采用人们日常生活中早已形成的通用手势，如插入、删除，一个手势对应一个字处理任务。

2、根据权利要求1所述的文稿编辑技术，其特征还在于所述的交互模型是针对文稿编辑及笔式交互的特殊性，建立一个交互模型，用它来支持各类文稿编辑软件的构造。

3、根据权利要求1所述的文稿编辑技术，其特征还在于所述的语义约束机制提出以时间为基础的语义约束机制，充分利用交互中的时间相关性提高交互处理的效率。

4、根据权利要求1所述的文稿编辑技术，其特征还在于所述的交互意图分析器以手势识别器和一个知识库(对各种文稿编辑的知识进行存储、管理)为基础，对交互意图进行实时分析，将提取的信息转化为计算机可直接处理的任务，它是自然人机交互的基础。

5、根据权利要求1所述的文稿编辑技术，其特征还在于所述的手势识别器利用模式识别的技术，针对交互手势的几何特点以及综合利用压力、方向等交互信息进行识别，建立一个几何计算库和基本手势的识别库，在此基础上实现了一个手势识别器，能够实时识别通常的文稿编辑手势。

6、基于笔和手势的文稿编辑技术，其特征在于它是由下述方法实现的文稿编辑(一)原型系统：

①参考人们生活中书写的习惯，以层叠的方式组织交互页面，

②通过手势进行页面之间的导航，如上一页、下一页，根据导航手势的速度、长短和运动方向以及其它非精确信息精确定位当前页，

③通过手势增加页面，

(二)系统中主要的编辑手势

①替换：替换现有文字，被选中的文字高亮度显示，

②插入：在指定位置插入文字，将插入的文字高亮显示，

③倒置：调整文字顺序，

④删除：删除所选文字，

⑤移动：移动文字块，

⑥复制：复制文字块，

⑦增加空距：增加文字间距，

⑧减少空距：减少文字间距，

⑨关键字检索：以所选择文字块为关键字进行快速知识检索

(三)利用连续、无模式的手写输入和及时校字功能进行输入，

(四)通过手势装载文件、发送邮件、关闭应用程序，

(五)字处理过程中，根据当前处理任务的上下信息确定可能的交互动作，实时地、智能地给出相应的手势提示，以完成其文稿的编辑。