CN101986249A - 使用手势对象控制计算机的方法及相应的计算机系统 - Google Patents

Abstract

本发明涉及使用手势对象控制计算机的方法及相应的计算机系统。所述方法在一个计算机控制的环境中引入手势环境，一个计算机用户可以在这个环境中的一个计算机显示屏幕上输入或回调图形对象，并绘制箭头和手势对象以控制计算机并产生想要的结果。构成手势计算机运作环境的元素，包括一个用户的手势输入，该输入被计算机系统识别并且被解释成命令，使一些动作被计算机执行。手势环境包括动作对象手势，用于传递一个动作到一些接受对象上。而语境对象手势为从一个手势对象引发一个动作设置条件，被绘制的指令线手势指向动作对象手势和语境对象手势，或者绘制于它们之间，用以创建它们之间的互动。

Description

使用手势对象控制计算机的方法及相应的计算机系统 

技术领域

本发明涉及计算机控制方法领域，特别涉及使用手势对象控制计算机的方法及相应的计算机系统。 

背景技术

在现有技术中，一个名为无戒空间(Blackspace)的计算机操作环境已经被创建。它使计算机用户可通过用户自己生成的图形输入而指令计算机执行任务。无戒空间的一个方面通常被描述成一种创建用户自定义计算机操作的方法，包括画箭头以回应用户输入，并将至少一个图形与该箭头关联以指定该箭头所要执行的任务，在分析图形对象和箭头的关联并判定赋给箭头的指令有效后，该指令即被赋予该箭头。下述专利对此系统进行概要描述：2005年4月19日授权的US6,883,145，题为“使用箭头创建和操作控制系统的箭头逻辑系统”以及2007年7月3日授权的US7,240,300，题为“使用箭头创建用户自定义计算机操作的方法”。这些专利被引作本专利的背景技术。 

发明内容

本发明的目的在于如何使用手势对象来控制计算机。 

为达到上述目的，根据本发明的一个方面，提供一种使用手势对象进行控制的计算机系统，所述计算机系统包括：一个显示设备；至少一个输入设备；和一个笔画逻辑模块，响应至少从一个输入设备处接收的用户输入而生成至少一个动作笔画，以碰触一个被显示于显示设备的对象，所述动作笔画被定义成至少把一个动作赋予一个手势对象；生成一个语境笔画以响应一个至少从一个输入设备处接收的用户输入，所述语境笔画能够为所述特定的被赋予所述手势对象的动作生成一个语境定义，并生成一个手势对象笔画来响应一个至少从一个输入设备接收的用户输入，所述手势对象笔画碰触一个目标对象手势，把这个目标对象手 势变成一个与所述特定的动作和所述的与语境定义相关联的手势对象。 

根据本发明的另一个方面，提供一种使用手势对象控制计算机的方法，所述方法包括：使用一个计算机系统的笔画逻辑模块生成至少一个动作笔画，根据从计算机系统里的至少一个输入设备处接收的用户输入来碰触一个在计算机系统里的显示设备上显示的对象，所述动作笔画能够被定义成至少把一个特定的动作赋予一个手势对象；使用一个笔画逻辑模块生成一个语境笔画，所述笔画逻辑模块能够为所述从至少一个输入设备处接收的用户输入而被赋予的所述手势对象为特定的动作生成一个语境定义；并且，使用一个笔画逻辑模块生成一个手势对象笔画，这个笔画逻辑模块能够从至少一个输入设备处接收的用户输入而碰触一个目标对象手势，把所述目标对象手势变成一个与所述特定的动作和所述语境定义相关联的手势对象。 

可选地，所述至少一个动作笔画包括一个作为指定一个动作笔画而在计算机系统里被识别的动作图形元素。 

进一步可选地，所述的动作图形元素包括由所述的动作笔画形成的形状。 

更进一步可选地，所述的形状包括在所述的动作笔画中形成的圈。 

更进一步可选地，所述的动作图形元素由在所述动作笔画中的涂鸦“M”手势形成。 

更进一步可选地，所述的手势对象笔画被绘制成一条朝所述的目标对象手势延伸的线，所述的线在与所述的目标对象手势相邻处有一个端点并且有一条箭首线从所述端点处延伸出来向后退形成一个锐角。 

更进一步可选地，所述的箭首线在笔画的末端是被识别的图形元素，所述图形元素定义一个手势对象笔画。 

更进一步可选地，在所述的箭首线被识别的时候，所述箭首线被计算机呈现的箭首所替换，用户触摸所述的计算机呈现的箭首把所述的目 标对象手势转变成所述的手势对象。 

更进一步可选地，所述的动作笔画和语境笔画被绘制成能够碰触相同的对象。 

更进一步可选地，更进一步包括回调所述手势对象的步骤和从所述手势对象的所述特定动作赋予第三个被显示的对象的步骤所述。 

更进一步可选地，所述的生成步骤包括拖拽所述的手势对象来碰触所述的第三个被显示的对象的步骤。 

更进一步可选地，所述的生成步骤包括从一个所述的手势对象绘制一个箭头来碰触所述的第三个被显示的对象。 

更进一步可选地，所述的手势对象是一条手势线，所述手势线赋予所述特定的动作，所述特定的动作是从所述的手势线到所述的第三个被显示的对象的动作。 

更进一步可选地，所述的手势线包含由许多以连续方式连接的线段组成的合成线。 

更进一步可选地，至少一条所述的线段可以被用来定制成从一个所述的动作笔画和语境笔画处得到一个动作和语境赋予。 

更进一步可选地，至少一条所述的线段可以被用来定制成显示或播放选自以下对象的数字内容文件：图片，视频，音频，文本，媒体混音，电子邮件，网络链接。 

更进一步可选地，所述的手势线能够被用户绘制成任意形状或路径。 

更进一步可选地，进一步包括个人虚拟可视设计和控制画布工具，所述个人虚拟可视设计和控制画布工具用来显示多条手势线，每一条都有不同的动作和语境，用以允许用户快速访问各种功能。 

更进一步可选地，所述的动作笔画和语境笔画以及手势对象笔画都是一条连续单线的一部分。 

更进一步可选地，所述的动作笔画和语境笔画以及手势对象笔画都是一条连续单线的一部分，所述连续单线包括被识别的图形元素，所述图形元素由所述动作笔画部分、语境笔画部分和手势对象笔画部分组成。 

更进一步可选地，所述的手势对象是一个数据库手势线，所述数据库手势线至少有一个被赋予动作的数据库。 

更进一步可选地，所述的数据库手势线能够被用来与任意一个显示的对象碰触从而把所述的数据库转移到其他被显示的对象上。 

更进一步可选地，所述的手势对象包含一个文件夹显示，所述文件夹显示具有一个用来存储数字内容的矩形部分和从所述的矩形部分的上边缘延伸出的题签部分。 

更进一步可选地，所述的题签部分包括一个输入部分，用以接收被定制成在所述的矩形部分里的数字内容上执行的动作。 

更进一步可选地，所述的复杂手势线被赋予一张幻灯片，至少一张相应的幻灯片被显示于所述合成手势线中的多重线段上。 

更进一步可选地，进一步包括用户绘制的穿联动作箭头，箭头的每一个最高点都和一条所述的合成手势线的被选中的线段相碰触，用以为幻灯片观看而选择建立幻灯片与所述被选中的线段的关联。 

更进一步可选地，用户绘制幻灯片手势线，用围绕一个图形对象的播放开关来调用显示幻灯片的开/关控件。 

更进一步可选地，所述的手势对象包含一条由多重线段组成的合成线，至少一条线段包含一个控件元素。 

更进一步可选地，所述的手势对象包含一条由多重线段组成的合成线，这些线段之间以连续的方式连接，至少一条线段包含一个控件元素。 

更进一步可选地，所述的手势对象包含一条由多重线段组成的合成线，这些线段之间以连续的方式连接，至少一条线段有一个能够被定制 成激活音频/视频的控件。 

更进一步可选地，所述的控件元素选自：旋钮，调节杆，按钮，滑动开关。 

更进一步可选地，进一步包括显示在计算机系统里的选择器对象和从所述动作笔画或语境笔画延伸到所述选择器对象的调节器箭头，该箭头被定制成延缓所述特定的动作直到一个预先决定的用户输入被接收。 

更进一步可选地，所述的手势对象能够被定制代码列表碰触，用以在列表上执行操作。 

更进一步可选地，所述的手势对象包括被继承的语境，所述被继承的语境能够被定制成手势对象的语境的一部分。 

更进一步可选地，所述的手势对象可以被绘制成与另一个对象相碰触，通过这种方式，所述手势对象把它的动作应用于所述另一个对象。 

更进一步可选地，所述的手势对象可以被拖拽与另一个对象相碰触，通过这种方式，所述手势对象把它的动作应用于所述另一个对象。 

更进一步可选地，对所述手势对象的定制为自动执行。 

可选地，所述方法至少还包括：把调节器应用到语境笔画上；把调节器应用到动作笔画上；并且把调节器应用到手势对象笔画上。 

更进一步可选地，所述的调节器的定义由至少一个语境来判定。 

更进一步可选地，所述手势对象的动作由至少一个语境来判定。 

更进一步可选地，所述手势对象的动作由至少一个语境来调用。 

更进一步可选地，绘制的手势对象等同于在至少一条线段出现在所述绘制的手势对象里之前所预先设定距离的一条线。 

更进一步可选地，存在一个以上手势线的设置用以控制以下的至少一个特征：手势对象的排版；手势对象的行为；手势对象的结构；手势对象的操作；手势对象的功能；和手势对象的属性。 

更进一步可选地，控制、操作或呈现一段数字媒体的手势对象被链接到所述数字媒体；当所述链接到手势线的数字媒体在任何时候被改变，所述手势对象即被自动更新。 

更进一步可选地，包括调节器箭头从一个动作箭头处被绘制并指向一个碰触手势对象的对象笔画；所述的调节器箭头在至少一个数字内容和手势对象之间创建一个链接；并且所述链接自动在所述的数字内容里更新一个或多个所述手势对象的变化。 

更进一步可选地，其中动作笔画是一个带有一个圈的箭头，所述箭头与幻灯片虚拟可视设计和控制画布相碰触，语境笔画碰触一个动画系统播放开关，并且手势对象由一条水平线和一个图像盒组成。 

更进一步可选地，其中动作笔画和手势对象笔画是同一条，都碰触目标对象手势和对象，目标对象手势由一条水平线和一个图片盒组成，所述对象是一个幻灯片虚拟可视设计和控制画布。 

更进一步可选地，如果被绘制成线的手势对象未被计算机系统识别，它会被拒绝。 

更进一步可选地，其中动作被相碰触的对象自动更新。 

更进一步可选地，其中手势对象与多重动作相关联。 

更进一步可选地，手势对象笔画碰触多重目标对象手势，用以将多重目标对象手势变成手势对象。 

更进一步可选地，包括生成多重手势线，并且一条手势线的线段通过绘制线条与另一手势线中相应的线段相碰触而与另一条手势线的线段相关联。 

本项发明引入和应用了手势的环境，计算机用户可以在此环境中通过一个计算机显示屏输入或调用图形对象，并通过画箭头和手势对象来控制计算机以达到想要的结果。 

本项发明定义了构成手势运算环境的要素，包括由用户向计算机输 入的、能被识别并且翻译为某些能被计算机所执行的指令的手势。这个手势环境包括动作对象手势——向某些接受对象发布动作指令；语境对象手势——为引发某一个手势对象的动作创造条件；以及指令箭手势——画向某动作对象、或在动作对象手势之间或语境对象手势之间画出的线条，从而以此线段在相应对象两者之间建立互动关系。 

本项发明的一个方面描述了本系统为了实现对手势对象，语境以及动作的识别和与上述对象互动而采用的方法的步骤。具体实施方式部分描述了在此手势运算环境中的计算机用户日常应用的大量实例。 

附图说明

图1-12中的流程图显示了对手势对象，语境和动作的识别，以及对其间互动关系进行管理的方法步骤； 

图13-16说明手势对象笔画，语境笔画手势，和动作笔画的例子； 

图17说明使用手势动作来引发文本对象对相关图片对象的环绕动作； 

图18说明使用图14中定制的脱字号手势对象，打开虚拟/可视设计和控制面板的文字对象上的标尺和垂直页边距； 

图19显示的是经过图18的操作所想要的结果； 

图20说明如何使用图17中定制的三角形手势对象来实现文本环绕的功能； 

图21显示的是图20的操作想要的结果； 

图22和23显示了对图17中的三角形对象手势进行再修订的菜单； 

图24到27说明的是对某个已定制的动作对象手势再修订的技术； 

图28到32，图33A，图33B，图34到37说明了对用户所画线段的线条样式的识别，及用户对线条样式的修改； 

图38和39说明由复杂的手势线构成的用户所画的图案； 

图40到43是一系列视图描述通过加入手绘图形元素创建一种线条样式的方法； 

图44到46说明了由图形元素构成的一条垂直的页边距线，其中有些图形元素包含被赋予的元素，可以被激活使用； 

图47说明一个个人工具的虚拟/可视设计和控制面板显示线条样式选择图形的例子； 

图48说明使用一个手势线调用搜索功能搜索一大段文字； 

图49说明使用手势方法对同一个文本对象的不同部分进行多重赋值的实例； 

图50说明一个多重功能分段手势线； 

图51到53说明使用一个手势箭头创建一种线条样式，以及该样式的线处于伸展和收缩状态下的不同视图； 

图54到57说明由图51到53中的图形线条产生一条分段线对象手势的不同方法； 

图58到61说明把图54到57中的分段手势线应用到实际电脑操作任务中的不同方法； 

图62说明通过拖-放的技术将日志条目复制并移动到一个新的虚拟/可视设计和控制面板里； 

图63说明将图58到61所示的多线段手势线应用到如图62所描述的方法所构建的虚拟/可视设计和控制面板里； 

图64说明使用非连续手势线从一个虚拟/可视设计和控制面板的文件列表里选择项目； 

图65描述了多线段手势线的画法，与该线段手势线的不同长度、以及在不同环境下的显示的各种方法； 

图66说明使用一条指令的箭头将一个地址列表赋予一个数据库手 势线； 

图67说明使用线段替换的程序以小圆弧曲线的形式显示多线段样式； 

图68到70说明把数据从数据列表中移除数据的三种不同方法； 

图71到73说明把数据添加到一个数据列表的三种不同方法； 

图74到77说明为了存储与转移数据而构建并使用文件夹对象的几种方法； 

图78到90说明一个幻灯片组成的分段手势线，以及在不同情况下构建和应用手势线的各种方法； 

图91说明使用一个多线段手势线的多媒体内容，修订另一个多线段手势线的数字媒体内容的方法； 

图92说明一个显示不同线条样式的个人工具虚拟/可视设计和控制面板； 

图93到95说明把某一线条样式定制为手势线以调用低通滤波器的不同方法； 

图96至98说明一个由处于工作状态的控制旋钮构成的多线段手势线，和使用这条手势线的各种方法； 

图99到102说明在一条多线段手势线中包含工作状态调节杆或按钮控件的不同线条样式； 

图103到106描述了把动作赋予线段中带有处于工作状态的调节杆或按钮控件的多线段手势线的线条样式的各种方法； 

图107到112说明把动作赋予多线段手势线中的处于工作状态的音频线段的更多方法； 

图113到115说明根据三种不同的语境，一条简单的手势线被定制成能调用三种不同的动作； 

图116说明如图113到115中所定制的手势线的一种使用方法； 

图117到125说明在两条多线段手势线之间对齐和赋予的各种方法； 

图126说明使用菜单拂动手势在多线段手势线上滚动，以浏览线段末端之后未被显示的线段； 

图127说明通过使用一个对象动作的条件为一个手势对象定义动作； 

图128描述了把一个选择器功能定制到手势线动作里的两种方法； 

图129和130说明通过只画一条连续线而定制一个手势对象的方法； 

图131和132说明通过修改一个手势箭头而为动作添加语境限制的不同方法； 

图133说明一条多线段手势线和一个显示被剪贴的部分线段的方法； 

图134说明为一个多线段手势线添加一个线段的方法以及线条被加长的结果； 

图135到137说明使用手势方法与对象作用于应用程序代码清单的各种方法； 

图138说明一个执行本项发明实例的计算机系统。 

具体实施方式

本发明大体上包括控制计算机动作的方法，特别是指在无戒空间计算机环境里。下列为与具体实施方式中的描述相关的术语。 

术语定义： 

手势：一个手势是由用户输入、用来表示由一个或更多对象所执行的某些动作的图形输入。 

定制手势：有4种图形输入被用来定制：语境对象，动作对象，手势图形，和选择器。 

绘画手势：一个绘画的手势是一个可被识别的符号和/或线条形状。 

移动手势：一个移动手势是一个对象被拖拽的轨迹。 

运动手势：一个运动手势是一个用户输入设备的轨迹。例如，一个手的移动或鼠标、操控笔设备的漂移。 

声音手势：一个声音手势是由一个语音识别模块处理的一个或多个的口头命令，比如，通过说一个字或一个短语来调用一个动作。 

节奏手势：一个节奏手势是一系列的事件：鼠标点击，手部运动，音频峰值，或类似事件。举例来说一个节奏的手势就好比用特定的节奏模式轻拍移动电话，对这个节奏模式的识别已被定制，于是可以引发相应动作。节奏亦可来自某段音乐的节拍模式。 

手势对象：用户创建的任何一个对象，最好是用户容易记住的对象。手势对象的特性(例如形状和颜色等等)可以为所需的动作提供附加的提示。当被绘制并定制的手势对象碰触一个或多个语境对象时，可引发被一个或多个由动作对象所定义的动作。手势对象的定制如下所述： 

1)语境对象手势 

2)手势对象 

3)动作对象手势 

4)选择器 

语境对象手势：语境对象手势被用来定义一组规则，以确认一个手势指令何时应该使用、何时不应该使用。语境对象手势也可以是由手势选定的一组对象的集合。 

动作对象手势：是用来判定手势命令的动作的对象。动作对象手势至少涉及一个语境对象手势。当该动作实施时，即动作于相应的语境对象手势。例如，当用户设置一个虚拟/可视设计和控制面板(以下简称 VDACC)所属标尺的属性时，这些标尺就是动作对象手势。标尺的属性会通过手势对象应用到VDACC，而结果动作就是动作对象手势的属性状态被保存。如果手势的定制是由用户的命令触发的，比如一个“设置页边距”的语音命令，那么就不需要动作对象手势。 

指令线手势：是指一条或多条绘制或指定的线，用来创建或定制一个手势对象。如果一个箭头被用来定制线条，该箭头被称为一个“指令箭手势”。当一个手势命令包含两条或更多的绘制线条时，这些单独的线可以被称为“手势笔画”，“定制笔画”，“手势箭头笔画”等等。这些笔画可以包括“语境笔画”，“动作笔画”和“创建手势对象笔画”。 

手势脚本：如果脚本动作对象手势包含一个XML片段，或者C++或者Java系统片段或者其他可定制的对象，这个动作源自于这个对象。例如，一个XML片段可能包含一个字体，其中包含了字型，大小，样式和粗细。这个片段可以被某个手势对象用来指定一个动作，即当手势对象碰触一个文本对象时，这个文本对象的字型，大小，样式和粗细等属性都将改变为与XML片段的相应属性相同。 

选择器：选择器是一个可选的手势，当被它应用到语境对象时，它会触发该语境对象的动作。如果没有指定选择器，当手势对象应用到语境对象时，动作将作用于该语境对象。如果指定了选择器，当手势对象应用到语境对象时，与手势对象相关联的动作不会调用。相反，上述动作会暂缓调用，当激活选择器时才被应用。 

动作：一个动作是一组一个或多个为一个或者多个被识别为语境对象手势的对象所设置的属性。一个动作可以包括任何一个或多个由任何对象出于任何目的而执行的操作。一个动作可以是任意功能，操作，过程，系统，规则，程序，处理，开发，性能，影响，诱引，引导，关系约定，以及任何能被语境控制或调用或引发的事物。任何可以引发或者调用动作的对象均可被称为一个动作对象。动作，可以由用户通过构建 手势对象而定义，或是由一个手势动作对象推导出来。如果该动作存在多个选项，用户可能被提示，针对该动作对所需构造的属性进行选择确认。引入一个动作即引起至少一个对象的状态变化。这样的动作包括任何直接或间接与对象相关的对象属性、行为、条件、操作、功能、语境、状态、层次、过程、影响、表现、起因、改变、事件、特征、运动及约定等，或被这些所定义。 

语境：一个语境可以包括任何对象，例如，被识别的对象，设备，视频，动画，绘画，图形，图表等等。该对象存在但不处于或处于激活状态下的动作，或处于其他状态下的，诸如暂停，等待，打开或者关闭等状态的动作。语境也可以包括当前有效或者无效的关系，功能，箭头，线条，其他对象的属性(例如颜色、大小和形状等等)，语音片断，出于任何原因与一个或多个网络的连接，赋予，或者任何其他可以在计算机环境、网络以及网页等等类似对象中呈现或操作的事物。 

持续性：在没有选择器的情况下，应用一个手势对象会创建一个即时的关系。在有选择器的情况下，应用一个手势对象会创建一个持续的关系。这种关系可在引发后即被取消，或者每当激活选择器时即被重复引发。 

箭头：一个箭头是在图形显示器上以一个手绘图形所显示的对象，从箭尾画向箭头，从而传达从箭尾至箭首所执行的指令。一个箭头包含一条从箭尾画向箭首的简单线条，并且可能会在箭首的末端带有一个箭头。箭尾处于箭头线的绘制原点，箭首处于箭头线的绘制末尾点。并且，在图形显示器上的任何一种手绘形状都可以被指定识别成一个箭头。一个箭头传达的执行指令取决于该箭头的外观，包括颜色和线条样式的组合。该执行由一个或多个与箭头关联的对象传达到位于箭首的一个或多个对象，或者以空格显示的形式存在。 

对象可在箭尾和箭首附近与一个箭头相关联，或者可以通过用部分 箭头在对象周围画线进行全部或部分限制的方式来选择关联。箭头所传达的执行指令也可能由一个箭头的语境所判定，比如与箭头相连的对象类型或者对象所处的位置。一个箭头的执行指令可以通过在箭头的默认距离内输入文本或者语音命令的方式来设置或者修订，或者通过一个或多个箭头把一个指令修正器指向第一个箭头。箭头可以被画在任意一种输入设备上，包括在计算机显示器上的鼠标，任意一种触摸屏或者与下列事物等同的应用：触摸笔，手指，旋钮，调节杆，游戏操纵杆，开关，或者它们的等同物。一个箭头可以被赋予一个执行。拖拽一个对象可以定义一个箭头。 

箭头配置：一个箭头配置是一个手绘箭头的形状或其等同物，以及该形状和其他图形对象，设备等等的关系。此种箭头配置可能包括以下内容：一条直线，一条相对直线，一条曲线，包含一个被部分包围形状的箭头，包含一个被全部包围形状的箭头，即一个椭圆，为了选择对象和/或设备而用一个手绘的箭头与相关对象和/或设备相交，在箭头的一端画出半个箭首，在箭头的一端画出完整的箭首，在箭头的两端都画有半个手绘的箭首，在箭头的两端都画有完整的手绘箭首，没有箭首的一条线，一个任意形状带有箭首配置的非连续线，等等。此外，一个箭头配置可能包括一个默认的间隔，这个间隔是箭首或箭尾到一个用来与箭头执行相关联对象的最小距离。对于箭首和箭尾而言，这个默认间隔可以不同。沿着与“箭头配置”所描述的任意配置形状相匹配的路径拖拽一个对象，即可定义一个箭头。 

手势线：一条手势线是一个能被系统识别成手势对象的一个自由手绘的线条。这个线条的特性被用来确认该线条是代表并且应该被作为一个手势对象使用。可能包括以下内容： 

1.形状 

2.尺寸规格 

3.比例 

4.路径 

5.颜色 

6.线条样式 

当线条被识别成一个手势对象时，系统会把该手势对象应用到被所绘线条确认的对象上，系统所使用的规则是将手势对象应用在箭头上相同的规则。即手势线就是箭头。请参考图2里的流程图作例。 

系统会把与被识别线条相交的对象作为箭头的来源与目标对象。在这个方法的一个实例中，在被识别线条的末端点下面的对象将会第一个被当成语境对象手势而接受查验(参见流程图的第2步)。因此，符合箭头定义的被识别线条也可以被当作一个箭头。在这里，系统并未设置查验对象的顺序，对象可以任意顺序接受查验。 

当线条被画完时，系统试图把手绘的线条识别成一个手势对象，典型的是当用户松开鼠标按键时。一旦一个手势对象被识别后，系统会试图把相交的对象与之前定制在手势对象中的手势命令相匹配。手势命令一旦匹配成功，该指令可立即被应用，或者在带有选择器的情况下暂缓应用(参见流程图第4步)。这是与应用一个箭头逻辑相同的逻辑序列。与被识别的手势对象相关联的动作就是这个箭头的逻辑。 

手势对象不仅限于线条。它们可以是任意的图形对象，视频，动画，音频文件，数据文件，源代码文本的字符串，语音片断或任意其他由计算机生成的类型或者可读的数据。拖拽或手绘的线条定义一个箭头，在绘制线，按下鼠标，或其等同物的情况下，即定义一个箭头的开始或原点、而手绘线的长度定义了箭杆，抬起鼠标或等同的动作则定义了箭尾和箭首。如果是拖拽，例如拖拽一个对象，按下鼠标定义了箭头的原点，该对象被拖拽的路径定义了箭杆，而鼠标的松开定义了箭尾及箭首。 

如下所述来源对象，目标对象，箭头特性，和拖拽手势对象定义了 由一个手绘的手势线或者手势对象的拖拽所可能创建的关系。拖拽对象的路径本身可以成为一个手势线。 

来源对象：一个或者多个与一个箭头的箭尾相邻或位于箭尾下方的对象(箭尾位于箭头开始的原点，特指在按下鼠标键时)；或者一个或多个与一个箭头的箭杆相交的对象。 

目标对象：与箭头尖(也称箭首)相邻或者位于箭头尖下方的对象。 

箭头特性： 

1.形状 

2.路径 

3.识别 

4.颜色 

原点和目标对象是特例。它们可以被当作指向画布，或如果在箭尾或箭首下没有对象时，被当作无所指。箭头逻辑至少可以被应用于三个方面： 

1.明确选择的来源对象与一个单一明确选择的目标相联系。 

2.选中的对象被当作一个单一的选择并且根据箭头逻辑的特性被归类到来源和目标中。 

3.来源和/或目标对象由箭头所代表的箭头逻辑判定。 

因而箭头来源是一组由箭头的原点和箭杆所选定的对象。箭头逻辑源是一个或一组以某种方式用来编辑目标的对象。箭头目标是指由箭首选定的一个或多个对象。箭头逻辑目标则是一组以某种方式受箭头逻辑源影响的对象。 

因此，与本发明一致的箭头逻辑概念的应用如下所述： 

1.对一个用来定制手势对象的箭头(箭头逻辑类型1)而言： 

a.箭头逻辑源＝箭头源＝语境对象； 

b.箭头逻辑目标＝箭头目标＝手势对象； 

c.箭头逻辑动作＝定制手势对象； 

d.手势动作＝用户选择定义的动作(语音命令，动作选项选择框，拖拽，箭头特性等等)； 

2.对于应用现有的手势对象(箭头逻辑类型2)而言： 

a.箭头逻辑源＝手势对象； 

b.箭头逻辑目标＝语境对象手势； 

c.箭头逻辑动作＝由手势对象定义的应用手势行动； 

3.对于应用现有的手势线(箭头逻辑类型3)而言： 

a.箭头逻辑源＝被识别的手势对象； 

b.箭头逻辑目标＝语境对象手势； 

c.箭头逻辑动作＝由被识别的手势对象定义的应用手势动作； 

这些关系将在下面的例子和描述中得到充分地说明。注：箭头逻辑应用程序可以将计算机环境里所呈现的一个线条或一个拖拽定义为尾端和首端，并被识别和执行为箭头，而无需以任何图形提示的方式呈现。尾端是线条或拖拽的原点(按下鼠标键或用触摸笔点击)，而首端是线条或拖拽的终点(松开鼠标键或者抬起触摸笔)，而对首端和尾端的图形化提示并非必须。 

拖拽手势对象：可以通过一个拖拽来应用手势对象。 

当通过使用鼠标拖拽的方式应用手势对象时，拖拽的路径符合了箭头的定义。拖拽的路径，在此定义为一个移动手势，可以图形的方式呈现，并可被用来选择一组包含一组箭头源和目标的对象。因此手势对象的拖拽即箭头。在这个方法的一个实例中，在拖拽末尾直接位于手势对象之下的对象将会被第一个查验为手势语境对象。查验对象的顺序无需预先确定，对象的查验可以按任意顺序进行。当线条画完时，典型的就 是在释放鼠标键的时候，系统试图把相交的对象按照预先制定的手势命令的定义相匹配，只要匹配成功，该手势命令可立即应用，或者在带有选择器的情况下暂缓应用。这个逻辑序列与应用一个箭头逻辑相同。与被识别的手势对象相关联的动作就是这个箭头的逻辑。 

在关于本项发明的下列描述中，图1到12说明本系统对手势对象，语境，和动作等执行识别以及交互的步骤。图13到137说明使用手势和手势环境的详尽实例。 

就图1而言，当用户手绘一个被识别成手势对象的线条时，系统(可能包含针对计算机控件的图形用户环境，例如无戒空间系统)采取如下的步骤：第1-1步判定该被识别对象的全部或部分的轮廓线是否与另一个对象相交。第1-2步判定该被识别的对象是否被定制成一个手势对象。第1-3步判定直接位于手势对象底部的对象是否与语境对象手势的对象类型说明一致。第1-4步再按照语境对象手势的说明找到判定其他对象；第1-5步然后判定是否所有的语境对象手势都已被找到。在这个流程图的任何一步骤得到否定的判定结果时，流程即返回到第1-1步。 

在第1-6步中流程判定该手势对象是否确认了一个选择器。如果是在第1-8步中，动作被保存直到用户对其中一个目标对象手势执行一个选择器手势。如果不是，则目标对象手势上的动作被立即调用。 

图2展示的是描述用户通过箭头逻辑应用一个手势对象的执行处理的流程图。在第2-1步中，按流程先判定一个被识别的对象是否已被定制成一个手势对象。如果是，在第2-2步中，判定那个直接位于手势对象底部的对象是否与语境对象手势规格里的对象类型一致。如果是，第2-3步寻找余下的语境对象手势。当所有的对象都被找到时(如第2-4步)按流程判定手势对象是否确认了一个选择器(如第2-5步)。如果是，在第2-6步中保存一个针对该语境对象手势选择器的动作。如果否，则立即调用这个语境对象手势上的动作。 

图3展示的是描述当用户通过选择器应用一个手势对象的执行处理的流程图。在第3-1步时按流程先判定针对该对象是否已保存了一个手势对象，即是否在这个对象上执行的手势与这个手势对象有暂缓或延迟的关系？如果是，第3-2步判定是否被执行的手势与任一被延迟的手势对象的选择器手势相匹配。如果是，按例寻找带有选择器的与执行的手势(如第3-3步所示)相匹配的必需的手势对象，然后判定是否所有的对象都已被找到(如第3-4步)。在第3-5步里，用户在语境对象手势上调用与手势对象相关联的动作。在第3-6步中，上述已被调用过的动作的手势对象将会被从未决的手势对象列表中删去，如此，该关系即被消除。 

图4展示的是描述当用户通过拖拽一个已被创建的手势对象，并且该手势对象在不经过其他任意对象的情况下，被拖拽到语境对象上的执行处理的流程图。第4-1步判定是否被移动的对象的放置，及其全部或部分轮廓线是否与其他任意对象相交。如果是，判定(如4-2步)被移动的对象是否已被定制成一个手势对象。如果是，按例寻找(如第4-3步)是否相交的对象与手势对象的规格相匹配，也就是说与其中的任意一个对象类型相同。如果相匹配，按惯例来到第4-4步然后寻找任意余下的语境对象手势，在第4-5步里判定是否所有的上述对象都已经找到。第4-6步判定一个手势对象是否确认了一个选择器，如果是，则在第4-6步保存选择器和语境对象手势相关的动作。如果没有找到选择器，则立即调用目标对象手势上的动作(如第4-7步)。 

就图5而言，这是一个描述用户拖拽一个已被创建的手势对象，并且该手势对象被拖拽经过了多个其他对象的这个执行处理的流程图。当拖拽开始的时候，用户通过鼠标点击一个手势对象以选中这个对象。在拖拽的过程中，每次鼠标的移动都按如下的方式处理。在5-1步中，按例判定该移动是否拖拽中的第一次移动。如果是，第5-2步启动一个空白的来源对象列表和目标对象的空白参照。在第5-3步中在显示器上创 建一个空白的点列表。按例接着在第5-4步中判定是否已保存该目标对象，如果否，在第5-5步中该目标被存入来源列表中。第5-6步清除了目标对象的记录。在第5-7步中，按例判定鼠标的热点是否位于一个对象之上或者与之重叠。如果是，则在第5-8步中核对该对象是否已被保存在来源对象列表中。如果是，则该对象被作为目标对象保存下来(如第5-9步)。第5-10步保存鼠标热点的位置。 

当完成拖拽时，典型的是当用户放开鼠标按键时、从一个触摸屏上抬起一根手指或一支笔、发出一个语音指令或等同物时，执行以下的流程。以图6为例，按例在第6-1步判定任意一个对象目标或是来源是否已在拖拽过程中被选中。如果是，(如第6-2步)核对被移动对象是否已被定制成一个手势对象。如果是，第6-3步从选中的对象取得下一个还未被使用的对象目标或是来源。第6-4步判定被选中的对象是否与语境对象手势说明中的某一个对象类型相同。在第6-5步中找到所有剩余的语境对象手势，然后按流程判定是否所有的语境对象手势都已在第6-6步中找到。当所有这样的对象都被找到时，第6-7步寻找一个选择器并且，如果找到这个选择器的话，第6-9步会把手势对象和目标对象手势之间的动作关系保存下来。如果没有选择器的指派，第6-8步则立刻调用目标对象手势上的动作。如果有未被使用过的选中的对象，按流程循环到第6-3步并且从那里重新开始。 

图7描述了定制手势对象的流程。用户可以在第7-1步的时候通过确认一个供手势对象使用的特定动作的方式开始制定手势对象。这是可选的。否则，用户在第7-2步手绘一个箭杆去碰触、包含、围绕、或者选择一个或多个对象(例如语境对象手势)。动作将会被应用到一个或多个语境手势的对象。在第7-3步中按流程判定用户是否已经定义动作。如果用户已经指定了一个动作，即执行第7-7步。如果没有定义的动作，在第7-4步中用户手绘一个附带附加的被识别的形状(比如一个圈)的箭杆以碰触或以其他方式选择需应用或者需定义动作或两者兼顾的手 势动作对象。第7-5步判定动作是否不明确。如果是，在第7-6步中再进行补充定义。“选择”方法之一可以是由系统向用户显示在该动作中使用的属性清单，可以多次选择。其他方法可以包括由用户提供补充输入信息，包括一个或多个手绘的对象、语音声明、输入的文本或者其他类似的定义动作的方法。 

此后，在第7-7步中用户指向箭首，或确认可以用来定制成手势对象的对象。用户可以在第7-8步中把选择器手势应用到某个语境对象手势上，这是可选的。否则，用户在第7-9步中点击箭首，或确定手势对象的创建。 

在图7的流程——在用户点击用来创建手势对象的箭首之后，无戒空间的代码按如下方式运作。如图8所示，系统寻找并且确认所有在第8-1步中的语境对象手势，如果找不到就跳转到结束。否则，在第8-2步中判定用户是否在为一个预先定义的动作创建手势对象。如果是，则算法跳转到第8-6步。如果判定是否定的，则按流程搜索动作对象手势(如第8-4步)，并且如果至少找到一个对象(如第8-5)，在第8-6步中对该手势对象进行确认与测试以判定是否有一个等同物的对象已被定制。按照流程进行到第8-7步以寻找其他的手势对象并且因此指向第8-A步。 

在图9中流程在第8-A步继续进行，然后是第9-8步，此时按照流程判定目标对象手势是否可以执行动作。在第9-9步中判定语境对象手势是否支持第9-8步所定义的动作。如果是，在第9-10步判定是否只有一个匹配的动作。如果是，第9-11步提示用户选择匹配的动作。如果动作被选中(如第9-12步)则按流程行进到第9-B步。 

图10中的第10-13步继续第9-B步中的流程，判定用户是否指定了一个选择器或者执行了一个选择器的手势。如果是，则保存选择器的手势。如果否，按流程来到第10-15步并且用手势源对象、目标对象手 势、动作、和可选的选择器来定制一个手势对象。然后这一流程终止。 

用户也可以通过拖拽或者手绘定制的手势对象的方式去碰触一个与语境手势中的对象类型相匹配的对象，该语境用来保存碰触手势对象。以图11为例，第11-1步判定在某个对象上执行的手势是否与手势对象有延缓的关系。如果是，第11-2步核对执行的手势是否与任何暂缓的手势对象的选择器的手势相匹配。如果是，则跳到第11-3步寻找所需的、附有与执行的手势相匹配的选择器的手势对象。如果找到相应的手势对象(如第11-4步)，则下一步(如第11-5步)调用与语境对象手势上的手势对象相关联的动作。在第11-6步中，该手势对象被从选中对象的未决手势对象列表中移除，上述的关系被消除，随即结束。同样地，如果否，则直接跳到结束这一步。 

如果用户在一个对象上应用一个手势，则执行图12所描述的流程。在起始的第12-1步中判定用户是否移动了定制成手势对象的任意对象。如果是，第12-2步判定那个直接位于手势对象底部的对象是否与语境对象手势的规格里的任一对象类型一致。如果是，第12-3步在手势语境对象的规格里寻找那个同样类型的对象。第12-4步判定是否所有相匹配的手势语境对象都被找到。接着，第12-5步寻找一个与手势对象相关联的选择器手势。如果找到一个选择器，第12-7步保存与手势对象以及目标对象手势的选择器相关联的动作以备之后的执行。如果找不到选择器，第12-6步立刻调用目标对象手势上的动作。 

就图13而言，用户可以为已知的手势图形创建等同物。例如，最左边的手势图形，一个锐角的反向V(脱字号)手势，可以被设定与朝上的V符号相等。中间的手势图形，一个大开口的反向V手势被设定与一个“N”形状相等。最右边的手势图形，一个反向的V脱字号手势被设置与M相似的涂鸦手势相等。这个等同物的功能将如下面的例子所述。 

如图14所描述的，在手势环境的一个例子中，出现一个无戒空间的VDACC，在VDACC的顶部和左侧呈现跨越标尺，垂直的页边距线，以及被围绕其中的文字对象。VDACC和文字对象被指定为语境对象，并且标尺和垂直页边距线被指定为动作对象。一个带圈的笔画(所述带圈的笔画包括动作图形要素)在此处被定义成一个动作笔画，并且此处使用三个动作笔画：笔画1是一个带圈的笔画，触碰VDACC上面的标尺。笔画2和笔画3是带圈的笔画，分别触碰顶部以及底部的垂直页边距。笔画1至3触碰的对象是指令箭手势的动作对象。一个语境笔画(此处语境笔画定义成一个不带圈的笔画)碰触VDACC和包含在VDACC内的文本对象，由此定义一个包含文本对象的VDACC，作为将被定制的手势对象的语境。通过用户手绘一个手势对象笔画把一个手绘的脱字号指定为手势对象，于此定义成一个附带手绘箭首的不带圈的笔画，可以被识别，并且被替换成一个机器绘制的白色箭首。点击或者触摸白色箭首即设置动作和语境，脱字号亦即成为一个手势对象。 

如图14中所述的流程的作用，在于用户可以手绘脱字号手势对象，并使之与一个VDACC和它的文本对象相交，从而实现以下动作：把图14中所描述的标尺和垂直页边距线添加到相碰触的VDACC中。 

如果图13的等同物被实施，用户可以手绘任意一个等同手势，并可如上所述用任意一个上述的等同物将标尺和页边距线应用到任意一个包含文本对象的VDACC上。 

如图15所述，另一个手势环境的例子是：为设置一个碰触对齐距离而定制一个手势对象。即，一个“碰触对象对齐”功能。三个对象A，B，C被放置于绘制的表层，每一个都是矩形元素。对象A与对象B有一段水平距离，而对象C则与对象A有一段垂直距离。先画一个带圈的动作笔画并依次碰触元素B和C，再画一个语境笔画碰触元素A。在这个例子中，“碰触对象对齐”功能为对象A打开，并且其结果是任意一个通过拖拽而与对象A碰撞的矩形对象会根据为对象A设置的已知碰 触对齐条件而与对象A对齐。这个激活的碰触对齐功能，加上被激活的对象类型(例如一个矩形对象)即提供了语境。因此，在本例中对象A是一个语境对象。 

为了给对象A输入一个模式使得用户可以定义水平方向上和垂直方向上的碰触对齐的距离，用户可以使用一个语音片断，例如，“设置碰触对齐的距离”或者“定制碰触对齐”。用户亦可按某一个代表“定制碰触对齐”的键来替代语音片段，一旦对象A的“定制碰触对齐”功能被启用，用户可以拖拽另一个对象，对象B，至对象A的水平距离范围之内，然后释放鼠标即为对象A设置了碰触对齐的水平距离。随后用户也可以通过同样的方式把对象C以离开对象A的一定垂直距离拖拽进来设置一个对象A的碰触对齐的垂直距离。在本例中对象B和C是动作对象。用户在一个蓝色的带长短交替虚线段的水平虚线上绘制一个手势对象笔画，系统把此笔画识别成一个箭头，并且显示相应提示图形。然后点击白色箭首，创建并且保存手势对象。在手势对象笔画中箭首并非必需。一旦定制“箭头”的必需元素被绘制完成，系统识别这些元素并且使用它们定制手势对象。作为一个替换的方法，用户可以使用开关或者语音命令来触发手势对象的最终定制，而不是通过点击触摸白色箭首的方法。 

使用这个手势流程的好处在于所创建的一个手势对象——一条不均匀的虚线——，可以随后用来设置屏幕上的任一其他对象的“碰触对齐”的距离。 

用户在不使用图15里描述的设置的情况下，也可以定制一个碰触对齐手势。如果一个碰触对齐对象的碰触对齐设置是可以接受的，那么就无需重新定制创建手势对象。换句话说，就前面的例子而言，如果对象A现有的水平方向上的和垂直方向上的碰触对齐距离的设置，与另外一个需要创建的碰触对齐手势对象的定义相符合，则只需将对象A创建为手势对象。在图16中语境对象和动作对象相同，都是对象A。动作是为对象A设置碰触对齐。在这种情况下，手绘的语境笔画和动作笔 画都碰触对象A。手势对象笔画与前面例子中提到的相同。它指向一条蓝色的虚线。当手势对象笔画的白色箭首被点击时，蓝色的虚线即被定制成一个手势对象。在使用蓝色虚线手势线条时，手绘或者拖拽该线条，把它与任意一个矩形对象相碰触，然后那个矩形对象就会被定制成对象A的碰触对齐设置。 

就图17而言，本例描述通过创建手势对象而调用“文本环绕”的动作来围绕一些其他的对象。通过手势定制，用户可以使用现有的对象以及这些对象之间相互关系来定义将被定制的手势对象的语境和动作。因此，用户可以定制由一个或多个“语境”对象定义的语境，定制一个或多个由一个或多个“动作”对象定义的动作。为了调用一个手势对象的动作，系统也可以通过一个选择器来要求用户输入。一个选择器也可以被用来定义一个新的动作、编辑现有的动作、或者为现有动作的使用设定一个条件。在图17中用一个对象来定义语境：一张碰触一个VDACC对象中所包含的文本对象的图片。用一个对象来定义上述的动作，这个对象就是位于VDACC里的文本对象的顶部那张图片。文字并没有环绕图片，但是“摇动调用文本环绕”的功能已将此图片打开。手绘的语境笔画和动作笔画碰触图像。定制的手势对象的图形是一个三角形，然后把手势对象笔画手绘至三角形上。在本例中的选择器不是一个对象而是一个动作：摇动图片。定制一个选择器有不同的可能方式。其中之一是语音片断。比如，在点击手势对象笔画的白色箭首之前，或者在相当于点击一个白色箭首的等同物的动作发生前，发出“定制选择器动作”或者“选择器动作”的声音指令。 

定制三角形手势对象的用户事件的顺序可以是：手绘语境的笔画，动作笔画，手势对象笔画，并且说：“定制选择器动作”然后上下“摇动”这张图片。比如，鼠标点住图像并且上下拖拽，然后执行一个释放鼠标的动作或等同的动作。三角形对象将被定制成一个包括选择器动作的手势对象。该图片是指令箭手势的“主语境”。但是它也包括一个“被继承的 语境”，并被用来定制为该手势对象语境的一部分。这个“被继承的语境”就是把该图片置于一个位于VDACC对象里的文本对象之上。 

下列例子说明在计算机操作中如何使用手势对象。 

就图18而言，图14的手势对象被定制成打开标尺和垂直页边距，并放置在包含文本对象的VDACC中的某个特定部位。一个使用手势图形的方法就是让用户绘制该图形或者拖拽该图形以碰触“语境对象”，该语境对象是通过指令箭手势的语境笔画来定制的。手势对象的语境是附带任何文本对象的任何VDACC。在图18中拖拽手势对象以碰触一个VDACC和VDACC里面的一个文本对象。这个碰触导致VDACC里出现一个标尺和两条垂直的页边距。垂直的页边距分别离开VDACC标尺1英寸和10英寸，即如这两条页边距被定制成手势对象时那样。于是图18中的VDACC被移植并被显现在到图19中。 

在这个流程中手势对象V(脱字号)被绘制并与两个语境对象(VDACC和VDACC里面包含的文本对象)碰触以便为手势对象建立一个有效的语境。拖拽手势对象碰触有效的语境会使标尺和页边距显现。这个垂直页边距的位置与手势对象被定制时的位置一致。标尺的特性，诸如红线，Arial 8号字以英寸度量，等等都和定制对象相同。因此，手势环境的一个显著的优点就是上述此类手势对象的具体细节都是自动定制并体现。 

使用一个指令箭手势定制手势对象和线条的一个优点是，用户不必通过编写计算机系统代码来“定制”动作。相反，用户仅需“选中”一个或多个想要被一条手势线条调用的动作，这个“选择”过程通过使用一个或多个“动作笔画”碰触一个或多个动作对象的方式来实现。这些动作笔画与一个手势定制箭头的其他笔画的区别之处在于，在一个或多个动作笔画上的箭杆上包含一个被识别的形状。其他区别它们的方法可能包括任意图形的、文本的、语音的或者手势的手段，诸如：调节器线，图形， 手势对象，图片，视频及类似等等可以碰触动作笔画的对象。 

就图20而言，另一个使用的例子以及手势环境的优点包含使用如图17所描述的三角形手势对象，以及定制执行文本环绕功能。由用户创建的三角形手势对象，可以用来碰触任意具有“被继承的语境”图片或图形对象，“被继承的语境”的定义为“在一个包含在VDACC里的文本之上的一张图片的位置”。这包括任意一个包含任意文本对象的VDACC。可以任意的比例或者大小创建手势对象，除非在它的定制中另有规定。在图20中三角形手势对象被拖拽至位于VDACC里的文本对象顶上的图片并与之碰触。把三角形拖拽到图片上的动作激活该手势对象的选择器。在这里，选择器已被定制成只有在图片被摇动时才能调用该动作。用户然后把图片上下摇动五次，如图20的右下角所示，接着动作被调用。即，执行功能，出现如图21所示的附带图片对象的和文本对象的VDACC。在完成动作的过程中，手势对象从显示屏上消失。 

用户可能想要编辑已有的手势对象，为此提供了各种方法。编辑可能造成该手势对象传达的动作范围受限或者增加动作范围。一种编辑手势对象的方法就是为其提供一个菜单或者信息面板。如图22所示的一个例子，是关于通过对一个选择器动作发出“在一个文本对象上摇动一张图片”命令，与调用“文本环绕”动作的三角形手势对象相联系。如图22所示的信息面板使用户能够选择通过手绘或者拖拽这个三角形手势对象和一张图片相碰触的这个动作，究竟是仅限于上述的三角形被定制时所对应的图片？还是应用到所有图片或者对象？一个用户可以为一个手势对象选择不同的条件。在图22的菜单中用户可以选择：“只限原始图片”从而把手势对象的使用限制在一张图片上。这种方式对于三角形手势对象并不实用。用户可以在本例中如图20所说明的条件里选择“所有图片”，在这种情况下，任意图片都可以被用来与三角形手势对象碰触，但前提是这张图片必须满足定制三角形对象的“被继承语境”的条件。注意该三角形被定制的被继承语境是：“位于一个VDACC对象内或者 被该VDACC所包含的文本对象之上的一张图片的位置”。 

用户可能希望通过以下方式扩展手势对象的应用；不限于“被继承的语境”，或者在任意位置的任意图片上使用手势对象，而不仅仅使用于包含于一个VDACC里的文本对象的顶部的图片。如图23所示，该三角形手势对象的菜单或者信息面板可能为用户提供更多的选择，包括选择标题编辑语境和针对该对象的编辑动作。也可以从该菜单中弹出一个区域允许用户添加一个所需要的用户输入。所描述的弹出式区域提供两个选项：没有；或者“摇动图片”以调用文本环绕的动作。 

当“创建新的动作”选项被从如图23所示的菜单中选中时，系统向用户呈现了定制三角形手势对象的动作时的原始条件和对象，如图24所示，包括VDACC，文本对象，图片，语境笔画和动作笔画。用户可以通过改变这些原始元素，而创建一个新的动作。例如，如图25所示一张图片被拖拽出VDACC，它不再碰触文本对象。语境笔画和动作笔画则保持与该图片相碰触。在此条件下，该图片的“被继承的语境”消失。如果用户想要更新该三角形手势对象的动作或者创建另外一个动作，可以使用一个语音片段，诸如“更新”或者“保存为可选”。或者激活一个图形以调用这个动作。 

如果用户添加一个语音输入，或者无论何时用户通过鼠标右击三角形对象，如图26所示，出现一个弹出式菜单，使用户能够为这个被保存的三角形手势对象的可选操作输入名字。这个弹出式菜单是如图23所示的三角形手势对象菜单的扩展版本，可选的条目和必须的用户输入被添加到其中。在上述的菜单例子中，可选的“文本环绕”的颜色变成绿色，表明这是三角形手势对象的当前可选项。并且在“必需的用户输入”下的条目“摇动图片”也用绿色高亮显示，如图27。如想再作选择，用户可点击“可选”类下的任意一个条目。 

当三角形手势对象的可选项“文本环绕”处于被激活的状态下，用户 手绘这个三角形手势对象并可以把它与任意一张图片碰触，那张图片的“文本环绕”动作可以被重新调用而非触发，当这张图片被摇动的时候将会触发这个图片对象的“文本环绕”动作。任意上述菜单的选项均可以通过不同语音片段来取代。用户也可以在此使用口述文本或者等同的方式、而取代输入或者选中一个菜单中几行文本的方式。任意一个代表了一个条件、动作、关系、属性、行为等的对象，可以通过被拖拽并与一个手势对象碰触而修改该对象。作为替代，一个箭头或者另一个手势对象或者手势线可以被用来添加或者编辑该手势对象的一个条件，动作，行为等等，或者，语境可以修订一个条件。 

拖拽手势对象的优点之一并非是省去绘制，而在于只需把一个手势对象一次性地依次拖过多个对象，即可完成对这些对象的定制。为了达到这个目的，用户需要拖拽一个手势对象与多个对象碰触并且在释放鼠标或做等同的动作时，将会触发所有被手势对象碰触的对象的手势对象动作。如果定制了一个手势对象的选择器，则在该选择器必需的输入条件被满足之后，这个手势的动作即在被碰触的对象上得以触发。 

本项发明更进一步提供了许多应用线条样式和手势线条实现计算机控制的手势环境的实例，每种线条都有区别。另外的实例包括各种手势对象的形式和手势线段以及它们在计算机环境中的应用。 

在以下的描述中会用到更多的定义： 

动画系统(Dyomation)——一个作为无戒空间一部分的动画系统。 

线条样式—一条定义的线，可以由用户定义，包含一个或更多的元素，可以包括：在任意尺寸规模上，比如，2D或者3D上的一条线，绘画，被识别的对象，图片，视频，设备，动画，动画系统。 

碰触——相交，几乎相交，环绕，围绕，在一定的距离内接近，在任意一个图形对象、设备、或者动作、功能、操作或者诸如此类的事物上有任意形式的影响。 

个人工具VDACC——一组集合，包括：线条样式，手势对象，手势线，设备和其他用户想要访问的任意数字媒体或者数据。 

计算机环境——任意数字化环境，包括桌面，个人电讯设备，任意应用程序或者操作系统，电脑游戏，视频和音频混频器和编辑器，文档，绘图，图表，网页，全息环境，3D环境等等。 

已知文字或者短语——一个能被应用程序理解的文本或者语音输入，这样它可以被识别并且因此可以导致一些计算机产生的动作，功能，操作等等。 

穿联(Stitched或者stitching)线条或者箭头——使用单一线条或者单一箭头选择多源和/或多目标对象。 

线条或者箭头等同物——一条可以作为一个箭头的线条。当一条线条作为一个箭头时，该箭头的动作或者逻辑可以自动发生，而不需要改变线条的尖端。如果线条的箭头逻辑或者动作并非自动发生、而又不需要一个用户的动作时，则需要某种接收用户动作的方法。其中之一的方法是在线条的末端出现一个白色的箭首，用户可以点击或触摸该箭首激活线条的动作，箭头逻辑或者类似等等。 

被赋予对象——一个对象被赋予了一个或者多个对象，如设备，视频，动画，文本，源代码数据，任意其他数据，数字媒体或者其他等等。 

一个值得注意的手势线功能是用户可以自行手绘线条并且被计算机识别并指定为手势线的方式来定义他们自己的手势线。这涉及到以下一个或者多个的步骤： 

1)手绘线条样式并且让它们被系统识别并且自动转换成手势线。 

2)为任意颜色，风格，或者任意其他对象属性的线条定制一个或者多个语境，动作和选择器。 

3)允许用户动作，例如拖拽，点击，语音输入或以其他的方式使用线条并且自动将该线条激活成手势线。 

无戒空间计算机环境的一个基本方面就是计算机识别自由绘制的线条样式。利用这个功能，本发明允许用户在屏幕上自由绘制一系列线条笔画，再由无戒空间系统对自由绘制笔画加以分析，对一个或者多个自由绘制线条的式样加以识别并且把它们转换成一个可用的线条图形线条样式。这个线条样式即可被用户定制成手势线条而作用。因此，绘制这个定制的手势线及其被定制的一个或多个动作，即可被应用到一个或多个语境对象。 

就图28而言，显示的是在无戒空间系统输入手绘线条之后所显示的、和绘制被识别后由此产生的机器绘制的线条。在顶部的例子中，用户绘制了一条附带重复样式的虚线，即一条长虚线和两条短虚线；在中间的例子中，用户绘制的虚线附带的重复样式是一条长虚线和两点；在底部的例子中，用户绘制了一条由重复的一条虚线和一个小圆圈样式组成的虚线。在每个例子中计算机显示的线条重复了手绘线条的元素和样式，而这些线条的显示更加均匀、统一。 

就图29而言，用户可以改变一个线条格式的元素的宽度或者间隔。用户在线条的信息面板里的非比例缩放被打开的情况下把光标漂移到绘制的线条上，横向的拖拽使计算机显示的线条也发生横向的直线伸展。 

相似地，图30描述用户通过把光标漂移到所绘的线条上并且向下拖拉的方式改变线条样式里的元素高度。 

图31应用了相同的流程以减少那条线条样式中的圆形元素的高度。用户通过把光标漂移到图32中的圆形虚线样式上而改变其样式，并往上和往左拖拽，这样使线条样式在垂直和水平方向上同时被压缩。 

绘制和操纵线条样式的更多实例如图33和图34所示。在前者即手绘的线条样式中包含了重复的虚线和向上开口的半圆样式，计算机的显示是线性的均匀一致的。在图34中，通过把鼠标在线条样式上漂移并 向上拖拽以扩展半圆高度组成纵深的V字形的方式来改变样式。图34描述了创建一条线条样式的不同方法：通过点击在选项上的白色光标箭头，选择一个线条样式(此处指的是一条被选中的均匀分布的虚线)。该选项生效，在上部线条的箭头移动表现了在选中的线条上漂移和向上拖拽扩展虚线的垂直空间，使其变成垂直的矩形。在下部线条上箭头移动表明，在对角线方向上漂移或者拖拽，可以扩展虚线的高度和宽度以构成一条由正方形对象组成的线条。 

包括无戒空间在内的很多系统中都有知名的“直线”识别。无戒空间识别对一组线性延续排列的相邻点定义成一条线条。此外，它识别在一条自由绘制的线条上的片段之间的水平间隔距离。图35到37呈现了一条自由绘制的线条的实例。在这条线条中有三种不同的水平的空间关系。如果一个用户绘制一组没有定义样式的线条片段，随之产生的线条样式可以重复由用户绘制的片断而作为线条样式。一般而言，用户需要对他们创建的线条样式承担部分责任。如果他们想要一个可定义的重复的样式，他们就得画成那样而不是创建非常复杂的线条样式，以免用户凭记忆重新绘制时的困难。 

再引用图35到37中的三个水平方向上的例子，以了解，三种不同的水平线条空间需要一种样式识别。一种方法可能是如果系统在自由绘制的线条里找不到一个重复的样式，手绘的线条系列被当作一个很糟糕地绘制的几何对象遭到系统“拒绝”，即不被识别。关于水平间距的使用，系统测量虚线和每一个重复的序列里的第一个点的间隔(图35)，在两个点之间的间隔(图36)接着在第二个点和下一个序列之间的间距。然而许多一定类型的水平间距符合被识别样式位置的间距，如用户绘制的线条所示，它们的长度是平均的，这个“平均”变成了由计算机产生的线条样式的间距的长度。 

如图38所示，可以用文字数字式字符绘制一条线条样式，此处字母W与点交替出现。线条样式可以用来绘制各种形状，诸如一条形状 类似字母S的曲线，或者一个三角形对象。 

同样地，图39显示了由正方形点和花形符号交替组成的原始线条样式，这条线条样式可以被用来绘制如图所示的心形或者圆形。 

本系统包括至少五种把一种自由绘制的线条样式转换成一种计算机生成的线条样式的方法。 

1)激活一个线条识别开关，并自由绘制一条如上所示的线。在释放鼠标或者执行等同动作时，自由绘制的线和它的线段由系统进行分析，并且一条被识别的线条样式作为计算机生成的图形替换原来自由绘制的线条样式而呈现在屏幕上。 

2)在线条样式片段的周围绘制一个箭头(如图40)以包括用户想要的新的线条样式。在释放鼠标或者类似绘制箭头的箭首的时候，在所绘制的箭头笔画的末端出现一个图形，可以是一条线。在这种情况下是一个白色箭首，即在箭首被点击的时候，变成白色。用蓝色绘制线条样式，红色的箭头环绕该线条样式以启动识别的流程并且保存结果。线条样式由系统分析并且一条被识别的线条样式作为计算机生成的图形呈现在屏幕上。这不需要调节器箭头，因为环绕或者与一个或多个绘制的屏幕上的片段相交的动作(包括图片或者被识别的对象或者甚至是视频或动画)作为本段落描述的动作的可识别的语境。一个文本光标可以如图41所示那样出现在白色箭首的旁边允许用户为新的箭头样式输入名字。 

以图42为例，一条自由绘制的线条样式由三条水平的直线条和两条突出的介于直线片段之间的波浪线，以及位于右端的一个三角形组成。如果用户希望用某些但不是所有这些元素，则可以绘制一个红色箭头环绕被选中的元素或与之相交。此处最右面的线条片段未被环绕或者相交，它即不会被包含在由此产生的线条样式中。因此被计算机识别和被显示的线条样式(图43)包含以重复样式展现的两条线段，两个波浪 线和一个三角形。 

3)在用户选择包含在线条中的片段之后，可以通过一个语音命令来保存线条样式。如果整个绘制的片段组被转换成一个线条样式，则可以更有效率地操作一个语音命令。 

4)线条样式的自动识别可被如下使用。用户绘制一系列线条的片段并把对象(这些对象可以包括图片，被识别的对象，绘画，设备等等)放置在离开所绘线条的一段最小的距离内，然后双击一线排开的任意一项，系统会分析对象所在的行，并创建一个新的线条样式。如果不能识别任何一个对象，系统会以消息通知用户。用户可以重新绘制“识别失败”的对象或把它们从线条里移开。 

5)在一个线条样式中使用功能性或可操作性“动作”对象。为了让用户通过使用附带赋予内容的对象或者触发一个或者多个动作，像播放一个视频或者一段动画或触发一系列的事件的回放或播放一个动画系统或执行一个系统支持的搜索或任意动作或功能或操作“动作”对象而创建不同的线条样式。这个实例使用一个或多个对象作为线条片段，这些对象片段能触发一个动作。 

在线条样式里使用“动作”对象开启了所有的可能性。比如，一个线条样式可以通过多种动作对象得以创建，于此每个对象会触发一个特定的动作。这个构造允许用户执行两层操作。在一层中，在特定的语境中绘制线条本身会触发一个动作或者是一系列的操作作为那个语境的结果而发生。在另一个语境中绘制同一线条会触发一组完全不同的操作动作的执行。 

点击，触摸，手势或语音激活任意包含在一个线条样式里的“动作”对象，能触发与这个对象相关联的动作。这会引起该系统支持的任意动作，包含一组事件的回放，或一个音频混音或者一个视频的回放，一个动画系统(Dyomation)，一个事件录制器，或者被赋予这个“动作”对象 的对象外观，启动一个搜索等等。 

一个线条样式包含一组动作对象之自身可以触发一个动作。比如，绘制一条由一组对象组成的线条可以触发一个VDACC的页边距功能。或者绘制这条线条可以为一个文档插入一个幻灯片。 

在页边距线里的动画系统的“帮助”文件：在一个文本文档里用一组视频组成一条页边距线，这条视频组成的线确是一条页边距线，其功能就是在一个文档中定位文本。如果这是一个文档的顶部垂直页边距线，用户可以点击任意一个在页边距线上代表视频的对象，这个视频会播放。这条页边距线可能包含任意视频的集合，例如一组指导性的视频。作为更近一步的例子，使用上述的线条，“帮助”文件可以被包含在任意一个文本文档的页边距线里。 

就图44而言，显示了上述页边距线的一个例子，其中蓝色星形构成的水平线组成一块文本的顶部页边距。如果这一行蓝色星形被往下移动，文本也随之往下移动。任意的蓝色星形对象里可能被赋予任意种类的数据，包括图表，文档，图形数据，视频，动画，等等；每一个星形可能包含不同的信息赋值，或者相同信息的不同版本。这类信息可以由正在处理这个文本文档的用户很方便地访问。如图所示，用户可能把光标漂移到一个特定的星形对象，然后一个用户定义的提示信息出现。点击对象即调用这个星形对象里存储的信息。因此，如图45所示，点击一个蓝色的星形调用它被赋予的数据，并且任意一个数据都可以被看到，任意部分可以被复制或拖拽到文本文档里。或者，如图46所示，点击另外一个蓝色星形对象可以调用并显示关于稀有树种的一篇论文。 

在一条线条里每一个对象的提示信息主列表都可以自动被系统创建。这个主列表可以按线性顺序或其他适用的编排顺序显示每一个对象的内容。 

用户使用页边距线条“动作”对象调回研究信息，图片，音频，视频， 等等。用户可以创建不同的页边距样式以包含不同的信息类型。用户可以在一个个人工具VDACC里绘制这些作为简单线条实例的不同线条样式。为了使用这些线条用户可以点击任意一条线条，然后在一个语境里绘制出该线条。在蓝色星形线条的例子中，用户可以在一个文档的顶部横跨水平方向上绘制这条线。这个语境被定制成线条样式，这样用户除了点击他们的个人工具VDACC里的线条，该语境已被定制在一个线条中，所以用户无需再做其他，而只需点击其个人工具VDACC并再在一个特定语境中绘制该线条就行了。 

一旦在一个语境中绘制一个对象，该线条的动作被激活。就包含被赋予的对象的一个线条而言，这个线条可以在一个文档的每一页中用作相同的或者不同的页边距线条。如果是同一条页边距线条，则当一个用户在文档中滚动翻页时在任意页上都可以访问到该页边距线条的相同的动作项目。如果每一页上的页边距线条都不一样，则一个文档中的每一页上可以访问的动作项目是不同的。 

图47显示的是一个个人工具VDACC的实例。它包含一个简单的线条样式清单，并描述每一条线条样式的基本视觉元素。为了使用任意上述的线条，用户简单地点击这条线，并把它绘制到用户想在屏幕上显示的位置上。 

线条样式是一个潜在的定制用户环境的强大媒介，用来实现功能的巨大灵活性。下列描述为线条样式的使用提供了一些实例。如图48所示，用户希望搜索一块文本。用户可以点击一个个人工具VDACC里的线条，该线条包含有一个执行文本搜索的赋值。用户接着绘制这个选中的线条样式与被搜索的文本对象相交，一旦搜索线条样式与文本对象碰触，搜索的功能就会被启动。这个动作的结果可能引起一系列高亮显示的“被发现”的文字或者触发一个弹出式菜单以引导用户的搜索过程。 

任意线条样式都可以有可供用户选择的“显示”或者“隐藏”的选项。 这可以是一个信息面板里的一个条目：“隐藏”，如果“隐藏”不被激活，则对象在屏幕上保持显示。就上图显示的“搜索”线条样式而言，让线条样式仍旧显示在屏幕上是有用处的，因为用户可以点击线条里的片段并且修订该线条的搜索功能。 

任意一个文本对象中的任意字母或文字或句子都可被赋值。使用这个赋值的一种方法就是以高亮或者其他方式选择用户想要赋值的一个文本对象的某一部位，然后绘制一个箭头从被赋予的对象指向被高亮显示的文本部分。替代方法是在激活“赋予模式”后，拖拽一个或者多个对象以碰撞一个文本对象被选中的部分。用户可以通过语音方式，绘制方式，拖拽方式，语境方式或者等等来激活赋予模式。更进一步的替代方式是通过使用一个附带“赋予”动作定制的手势线条或等同物的方式来执行上述赋值。当一个用户通过任意方式(比如选择箭头模式)激活箭头时，或者用户在屏幕上点击以绘制箭头时，高亮的文本不应消失。 

相应地，多重赋值箭头可以从多个项目画出，并且箭头的尖端指向一个文本对象的多个高亮部分，以使各种项目被赋予该文本对象。由此描述的这个或者其他方法，用户可以把多重赋值赋予单个文本对象的不同部分，而无需在赋值前把文本对象切割成多个独立的文本对象。 

图49说明对于单个文本对象的不同部分的多重赋值的实例。正如图例中文本对象所描述的那样，用户可以通过高亮显示部分文本的方式把任意字符，文字，短语或者字符的集合选定为被赋予的理想(位置)，然后绘制一个赋予箭头或者拖拽一个对象以碰触一个高亮的或以其他方式选中的文本。另一个方法是，直接绘制一个箭头或者把一个对象拖拽到没被选中的一个字或一个短语上，仍旧可以完成一个赋值(动作)。因此那个红色的星形，Google搜索引擎字样，船的图像，或者另外的文本对象均可以是赋值的接受对象。 

关于图50，在搜索手势线上的每一个数字可以有与之相联系的不 同的搜索功能。通过绘制上述的线条，可以启动一种搜索功能，即，针对线条的总体样式而定制的搜索功能。又如用户点击线条样式里的数字1，这可以修订搜索功能。数字1可以把搜索从搜索一个特定的字修订为搜索一个被识别的对象类型，诸如一个星形或者一个三角形等等。再如，点击或者触摸数字2将搜索功能转为查找与某字相联系的形容词，像“蓝色汽车”，而不仅仅是“汽车”。这个概念说明每个包括在线条样式里的对象(在此例中是一个手势线)可以包含一个不同的动作或一个修订的动作，可以应用到在语境中绘制手势线时所触发的动作中。因此通过绘制一个简单的“手势”线条而在计算机环境里碰触一个对象或者多个对象，一个“动作”可以被应用到那些对象。此外，通过激活手势线条里的个别的片段，可以调用和实现手势线条动作里的附加动作或者修订。用户可以通过许多不同的方法激活个别手势线条的片段，包括点击，语音方法，绘制方法，拖拽方法等等。在图50里，用户可以在一个数字环境中绘制一个“搜索”手势线以碰触一个文档或者对象。即会在条目中根据手势线条所定制的搜索类型而搜索。然后“搜索”手势线条里的线条片段对象(在本例中的数字1，2，3和4)可以被用来修订搜索、或者根据附加的标准来限定搜索。这个搜索当然没必要在一个文本对象里，它可以是在一个数据库里或者在充满对象的VDACC里，在一个或多个被识别的对象或者视频，动画，图表，图形，全息项目，3D图像等等之中。 

无戒空间的电子邮件支持从包含有数据的对象绘制箭头至一个或多个接收的邮箱地址。使用线条样式或者手势线或者手势对象开启了电子邮件很多有趣的可能性。 

一个箭头可以用来创建一个不是手势线条的线条样式。以图51为例，首先创建一系列等同于如下动作的图片：“给一个邮箱发一封邮件”并把它们放置在一个计算机环境中。然后在图片的周围绘制一个箭头线条，与其他线条相交，并输入一个调节器，诸如“创建线条”，或者“做线 条”，或者“线条”。在这个文本之后是一个为创建的线条样式而起的名字，诸如“我的朋友”。然后用户在任意一个白色箭头上点击，图片会自动被放置于线条样式中。在屏幕上用户将看到图片像一条线那样排成一行，每张图片的大小相同。或可应用一个默认的图片尺寸，将图片自动调整到默认的较小尺寸。这样，用户可以通过默认的线条样式图片尺寸来管理每张图片的大小。 

一旦创建如图51所示的线条样式，系统会创建一个如图52所示的线性线条。然后如图53所示，线条被调整尺寸以减少宽度和高度。如此构建的线条样式本身及其所包含的任一单独图片都没有被赋予的功能，因此它不是一个手势线，而只是一个图形线条样式。 

本发明为用户提供了许多把线条样式定制成手势线条的方法：如图54所示的例子中，“语境对象”，“动作对象”，以及一个“手势对象”被清晰地显示出来。语境由一个已知短语定义：“任意的数字内容”。动作则是“发送邮件到一个电子邮箱地址的列表”。手势对象是一个包含一组图片的线条样式。 

VDACC对象包含与图片相匹配的地址，可通过把电子邮箱通讯簿里的条目拖拽到一个VDACC、或无戒空间主环境界面里、或者计算机桌面上的方式来创建。在这个实例中，当用户把地址从通讯薄里拖拽出来时，这些地址自动得到复制。 

这个手势线条的定制包括三个概念：(1)一个语境笔画—用户绘制一个非连续箭头的一部分线条以碰触一个已知的短句：“任意数字语境”。(2)一个动作笔画—一个非连续性箭头的这一部分在箭杆上，具有某些可识别的形状或手势，或其等同物。本例中使用了一个圈线，但是任意可识别的形状或者手势可以允许系统确认这部分箭头。这个笔画选中手势线的动作。(3)手势对象笔画——由此定制一条手势线条。箭头的这个部分可以被绘制成一条没有箭首的纯线条，或者它可以被绘制成带箭 首的线条，无论在两种方式的哪个情形，一旦线条被系统识别，或者自动执行定制，或者一些指派会出现或者靠近线条的尖端(例如一个白色的箭首)以允许用户动作(例如点击箭首)定制线条样式，使该样式转变成一个手势线。线条的末端指向一个将被定制成手势线条的线条样式。这个手势对象笔画定制线条的整体，而不是线条的个别片段，也就是它的个别图片。因此在此例中，创建的上述手势线条具有一个动作：获取与手势线的绘制相碰触的任何数字数据并且把它发送到由圈线“动作”箭头笔画所选中的九个电子邮箱地址。上述的三个箭头笔画可以按任意顺序被创建。 

如上述定制，绘制上述的手势线并把它与任意数字内容碰触，通过电子邮件把该数字内容发送到9个电子邮箱地址，这是针对上述手势线条的综合动作。如果用户想要所述的手势线条里的每张图片分别代表所列的邮件，以使得上述的手势线条里正确的邮件地址与每个人相应的图片相关联，用户需把线条添加到图54的版面中以创建相关的关联，如图55所示，这些线条可以是连续的或者是非连续的。比如，用户可以绘制一个连续的箭头，碰触一个电子邮箱地址并且指向电子邮箱所属的那个人。一个可选的方法是使用一个非连续的箭头。在这种情况下，用户首先画一个箭头笔画与电子邮箱地址碰触，然后再画第二个箭头笔画与电子邮箱地址所属的那个人的图片相碰触。有好几种执行这个流程的方法：一个按顺序创建一对笔画的步骤，比如，第一个笔画与一个电子邮箱地址相碰触，然后第二个笔画与一张图片相碰触，并针对所有九个电子邮箱地址重复这一步骤。另一个方法是创建九次第一个笔画，按顺序与九个电子邮箱地址的每一个地址相碰触；接着以同样的顺序创建第二组九个箭头笔画(如图55所示的排版中的带数字的笔画)并分别碰触九张图片中的每一张。第三种方法是绘制一个第一个笔画，并以特定的顺序将其碰触九个电子邮箱地址。然后绘制第二个一笔画并将其以同样的顺序碰触九张图片，这样上述的第二个笔画由一个箭首或者它被自 动激活，因此不需要附加的用户动作来定制图片片段。线条的开始部分是箭头的原点而箭头的结束部分是箭头的尖端，即箭首。白色箭首的显示可以被应用到所有的图片。在这些例子中，通过使用已知短语“任意数字内容”而创建的手势线的语境是被非连续箭头的第一个笔画所碰触。 

另一个将线条样式定制为手势线条的例子如图56所示。在这种情况下，用户用一条单线的“穿联”线条把个别的电子邮箱地址赋予到线条样式中的个别图片片段中。线条以特定的顺序与电子邮箱地址列表相碰触，并且其箭杆上包含一个对象或手势。如图56所示，手势是一个由4个片段构成“M”形的能被系统识别的涂鸦。手势之前的线条部分为“箭头”选择源对象、手势之后的线条部分选择箭头的目标对象。 

用户只需把动作笔画与VDACC对象碰触，而不是动作文本——“发送到电子邮箱地址列表”，和九个电子邮箱地址的列表。既然VDACC对象管理这个动作文本——“发送到电子邮箱地址列表”和九个电子邮箱地址，用一个“圈线”箭头笔画与这个VDACC碰触，选中VDACC所管理的所有对象。这个手势对象笔画是通过绘制一条指向包含图片线段的线条样式的线条来创建的。 

就图57而言，再举一例说明如前面例子中的同样的手势线条的定制。仍是通过绘制一条穿联线条而把每一张个别图片的片段定制成与该图片所属的邮箱地址相关联。如何让每张图片影响与之相关联的电子邮箱地址的一种控制方法，是绘制一个调节器线条或箭头，并和那条碰触电子邮箱地址列表和图片行的穿联线相交。因此定制成调节器箭头的一部分输入被用来进一步定义第一个被绘制的穿联线条。在图57中，用户在调节器箭头的箭首部位输入文本：“开/关键”，这样即把图片对象定制成开/关键。这个功能允许用户通过点击手势线条里的任意图片以打开或者关闭与之关联的电子邮箱。依此，当用户绘制手势线条来碰触一些数字内容时，用户可以控制选取九个电子邮箱地址中的哪几个作为收 件人。 

以图58为例以在图57中绘制定义的手势线条碰触一个数字媒体。如前页显示的语境笔画，把“任意数字媒体”指派成手势线条的目标。手势线条的定制动作是“给九个列出的电子邮箱地址发送一封电子邮件”，这个手势线条包含九张代表九个片段的图片。当该手势线被绘制的时候，它像一个箭头那样生效。不过用户在绘制箭头末端的笔画时不必把笔画折回来创建一个箭首。用户可以只绘制一条不带箭首的线条。在其中任一情况下，如果手势线正确地与为其定制的语境对象碰触，接着一个白色的箭首或者其他合适的图形可以出现在线条的尖端以表明系统已正确识别了一个手势线的绘制。此后，用户点击白色的箭头或其等同物，系统执行定制成手势线条动作。在这种情况下动作是：“把碰触的数字内容发送到九个电子邮箱地址”。这个任务可以通过使用一个用户的输入而被执行：绘制一个预先定制的手势线条，然后点击白色的箭首。作为一个替换的方法，绘制手势线条可以在不需要用户动作的情况下自动调用手势线条的动作。这个调用可以在定制的手势对象的语境对象与绘制的手势线条碰触成功之后自动发生。此外，用户可以在只需完成手势线绘制、而无需在释放鼠标或者等同物的情况下调用上述绘制的手势线条的动作即可完成。 

就图59而言，是以相同的一个手势线条以及相同的文本对象的重复例子。在上述的图57例子中已指出，手势线里的每一张图片可以被转变成开/关开关，用户可以通过点击每张图片而切换开关的不同状态。如果这个功能没有被定制，用户仍可以在一个手势线条里选择作为电子邮件收件人或非收件人的个体。一个选择开/关开关的方法是，点击某个图片片段并输入一个语音命令，诸如“不被激活”或者“关闭”等等。第二个方法是绘制一个图形对象，诸如图59所显示的X，直接位于一个手势线条中的任意图片之上，表示对个体的不选取。在以上任一方法中，手势线条碰触的数字内容不会被发送到与相应的被取消的图片相关联 的电子邮箱地址里。在这个例子中，三个个体不被选去，手势线可以发送至余下的六个电子邮件地址里。 

以图60为例，进一步说明图59的例子中的手势线条，文本图形被用来取消以前构造的图片线条样式里的个体选取。此处文本图形的例子中包括表明“不”状态的中文字符或英文字符，或无论何种由用户预设的为此目的的文本输入。于是，在图60的版式中，有四个个体被排除在作为电子邮件的收件人之外。 

如图61所示，把一个个体从发送邮件流程中取消的另一个方法是使用一条穿联线。与图56或者57所显示的穿联线不同，此例的穿联线从一个图片开始然后循环碰触其他被选到的图片，即九张图片中的三张。在释放鼠标或其等同物时，箭头尖的末端出现一个光标，然后用户输入一个字或者短语表明“排除”(如此例中中文和英文字符所示)。用户的动作激活了电子邮件的传输、接着包含点击穿联线的白色箭头或手势线条的白色箭头；作为替换，用户可以输入一个语音命令来完成动作。作为结果就是把文本通过邮件发送到六个未被排除的个体。 

就图62而言，一个进一步的关于手势线条的应用例子，描述了向由手势线里的图片片段控制的电子邮箱地址发送一个或多个日志。这个例子利用了无戒空间的一个强大功能：从无戒空间的加载日志浏览器里复制一个或多个“加载日志”条目并把它们拖拽到无戒空间主环境界面里，或拖拽到一个或多个VDACC中。关键在于这些被复制的条目对象具有完全的功能，即，被激活时会加载一个日志。 

在前例中，当用户复制一个加载日志条目并且点击它时，当前的日志由用户点击的日志所取代。这不是用户想要的结果，因为如果一个数字加载日志条目被复制，第一次点击这些条目中的某项时，一个新的日志被载入就可能会使列表丢失。需要的是，有选择地从一个日志中把部分数字内容加载到另一个日志的能力。 

为了把多重日志以邮件的方式发送到上述手势线条代表的所有电子邮箱地址，用户可以执行如下的操作：绘制手势线条并碰触多个已被复制并被拖拽到原来的加载日志浏览器、桌面、一个VDACC对象、无戒空间主环境界面等等对象的日志名字。拖拽并把名字复制到VDACC里的好处是VDACC可以作为一个方便的日志数据的管理者而被重复地使用。另一个使用VDACC的好处包括绘制一个复杂的、包含不是特别小的片段的线条样式的可行性。 

如果用户想要使用如前例中的图片片段组成的手势线进行穿联一条线条，连接图片片段的线条(例如是三个像素宽的线条)不是穿联日志条目的最佳方式，这些条目是在一个列表中互相之间挨得很近的小文本对象。如果用户创建列表，用户可以把个别的日志名字分开，以方便使用很宽的线条来穿联它们。一个理想的多的方式是：只需碰触包含将以邮件方式被发送的日志列表的VDACC任意部分，就可以包括VDACC的所有内容。 

用线条样式与VDACC碰触可因无需顾虑线条样式片段的宽度而变得轻松。如图62所示，被从一个加载日志浏览器里被复制并拖拽出来放到一个单独的VDACC对象里的多重日志名字。使用这种方法的一个好处就是在此VDACC里的日志列表可以自由排列。它们可以被放在任意用户想要它们在的位置上而没有排列的必要。因此，用户可以一直把新的加载日志条目拖拉到这个VDACC里并且把它们放在任意地方，甚至是互相重叠。同时，要想从发送邮件的流程中删除任意条目或者暂时移出，都可通过把它们拖拽出VDACC(如图62的右面所示)并放到无戒空间主环境界面里的方式而轻松实现。 

继续图62中的例子，如图63所示，之前已绘制并使用的手势线条，与包含七个被复制的“load log”条目的VDACC相碰触。用户不需要做更多的动作，因此在手势线条的首端不出现白色的箭首或等同物。当用户释放鼠标或做类似操作的时候，发生了下列步骤：该VDACC的所有内 容，包括所有七个logs和它们所包含的内容，和logs链接到服务器的数字内容的地址，被以电子邮件的方式发送到手势线条控制的电子邮箱地址。 

前面例子中的手势线条在有些情况下由于太高，或者说就点阵而言太宽，因而无法被高效地用来在一个加载日志浏览器里选择个别的条目。手势环境为这个情况提供了工具。就图64而言，用户可以设置手势线条参数，以使得当第一次绘制手势线条时，该线条出现时在一段预设的距离内，比如两英寸等，不附带片段(图片如上述例子所示)。即手势线条在没有图片的情况下显示成一条简单的黑线，可能只有一个或两个点阵的宽度。在这种情况下，如图64所示，手势线条，比如选自一个个人工具VDACC，可以在图64里的加载日志浏览器中被用来选择加载日志个体条目。可以绘制一组非连续手势线，各自与相应的浏览器里的加载日志条目碰触。 

如加载日志浏览器里的手势线条6所示，向系统指明手势线条的非连续性笔画中的最后一笔即绘制一条带箭首的线条。当设置系统将绘制的箭首自动识别为激活手势线条的提示时，则被碰触的日志条目将被发送到由手势线条的图片片段控制的电子邮箱地址，而无需更进一步的用户输入，如前面的图所示。 

就图65而言，例举的是一个用户绘制的手势线条的例子可以超越用户定义的距离。当超越用户定义的距离的时候出现第一个上述的图片片段，然后是下一个片段，依此类推，直到所有的片段都已出现。如果绘制的手势线条笔画很长，就有很多可选项。其中的两个是：(1)在第一组上述的图片片段中的最后一个出现之后、并在一条与绘制的笔画开头部分的长度相等的黑色线条之后，图片片段可以重复出现，重复图片的9个片段。(2)图片的9个片段并不重复出现，而只是当该笔画继续时，继续显示一条黑色线条(如图65所示)。用户可以根据参数菜单中的默认值，一个语音命令，或任意于此描述的或在无戒空间计算机环 境中已知的方法来设置该黑色线条在每一个上述的图片片段之间的长度。 

以图66为例，在某些情况下用户可能想要创建一个大的“发送至”地址列表，并把这整个数据库赋予如本例所示的一条手势线。一个人名/邮箱的地址列表被显示，然后绘制一条定制线并与“语境”相碰触，绘制的箭杆包括一个与一个动作相碰触的圈(在这种情况下指根据一个电子邮箱的通讯簿而执行“发送到”)，并指向一条手势线(在这种情况下指一个不带图片线段的简单线条样式)。所有三个定制笔画可以被绘制或呈现为一个单线条笔画，图66显示的一个被绘制的单一“箭头”，即包括了所有三种用来创建一条手势线的定制笔画。这个箭头的第一部分与一个语境对象相碰触，该箭头的下一个部分包括一个圈的图形，或指示动作，该动作指向VDACC手势目标，并与包含一个电子邮件数据库的VDACC相碰触，该箭头的最后部分指向一个被定制成手势线的图形线。 

系统可能不一定知道把与手势线相碰触的数字数据发送到数据库中的所有电子邮箱地址里。这个动作可以在一个参数菜单中设置，但是那样做不直观。一种方法是使用一个语音命令；另一种方法是用被赋予的图形或另一条手势线或等等对象与手势定制箭头相碰触。 

一个替换的方法是用调节器线碰触手势定制箭头的圈部并输入或说：“发送到所有的地址”或“发送至全体”等等。让系统知道上述数据库是电子邮箱地址列表的一种方法是，把无戒空间通讯簿的属性设置成能被识别成一个无戒空间对象，并且用来定制手势线和对象。 

经上述对于由一系列图片，字母和笔画组合等等组成的手势线的解说，很显然这些手势线可以通过任意弧线或曲线来绘制。可是，弯曲一条手势线的图片或字符组件可能因扭曲而使其外观达到变形或被弄乱的程度以至于最终无法被识别。因此，有必要在以某种方式写真一条复杂的手势线或其原始线型，从而让用户在手势线描述锐曲线或扭曲的情 况下也能够识别该合成线条的元素。 

就图67而言，一个解决上述问题的流程实例是执行一个替换的程序。由一个重复的字母“A”样式和一个前引的破折号组成的手势线，可以在不明显扭曲该线文字数字部分的情况下描绘一个大的半弧线(在图67的右面)。可是，如果如图67的右面所示，该线由多重小的半弧线绘制而成，系统会把字母“A”替换成点以避免可能造成的严重的扭曲后果。 

在手势环境内的另一个可以用来移除由一条手势线控制的数字数据的方法是，仅仅通过从数据库或通讯簿里将个别的条目拖拽到一个单独的VDACC里或无戒空间主环境界面里，这可能涉及点击，持有和复制功能。一旦这些条目从数据库中被移除，用户可以绘制一条已被定制为发送数字数据给数据库或通讯簿中的全部条目的手势线；比如，如图66所示的由重复的点/破折号构成的线。如图68所示，用户接着绘制一条调节器线同时与数据库手势线和将被移除的数据库条目列表相碰触。这个列表可以在一个VDACC里，则用户可以有以下两个选项：1)绘制第二条调节器线与第一条调节器线相碰触并在箭首处输入“移除”或“删除”，或2)用动作“移除”定制一个VDACC对象以使该VDACC中的任意对象都能应用移除的功能。点击任意一个白色箭首可以调用该动作。 

如图69所示的从一个已计划的动作里移除数据的另一个说明中，显示的电子邮箱地址的列表与点/破折号的数据库手势线与前一个图中的相同。在本例中用户绘制了一条从电子邮箱地址延伸到数据库手势线的“移除”手势线(短/长破折号线)。这个移除手势线的动作是“把被碰触的数字数据或其中包含的数字数据从一条或多条相碰触的手势线中移除。”其结果是对数据库中对该数据库手势线的原定制进行修订，而将被碰触的电子邮件列表从与数据库手势线相关联的数据库中移除。 

如图70所示，可以通过使用一个调节器箭头而获得同样的结果。用户从数据库手势线绘制该箭头并把其指向如前面例子所述的电子邮件地址列表。一个局部的或全局的语境可以被用来定制数据库手势线，以使任意一条被绘制出来作为箭头的线条与该手势线相碰触并且指向存在于数据库中、并于数据库手势线相关联的数字内容时，即被识别的或解释成把相碰触的数字内容从由数据库手势线控制的数据列表中移除。无戒空间计算机环境中其它已知的相似技术亦可用来达到相同的效果。 

同样地，把数字数据添加到与已有的数据库手势线相关联的数据中也很容易。这里描述了三个例子：在例1中，如图71，绘制一个从电子邮件列表延伸到数据库手势线的调节器箭头。这个调节器箭头本身服从于第二个调节器箭头，通过第二个箭头划过第一个箭头，并通过键入或说出的“添加”命令为第一个调节器箭头定制该功能。其后点击任一个白色箭首会使地址列表被添加到与数据库手势线相关联的数据库里。在例2中，如图72，绘制一个“添加”手势线(此处指短破折号线)和电子邮箱地址列表以及数据库手势线相碰触，其结果是通过把电子邮件列表中的内容添加到手势线数据库里，而对与该数据库手势线相关联的数据库进行了编辑。在例3中，如图73，为数据库手势线定制一个局部的或全局的语境，以使这个箭头可以从电子邮件地址开始绘制至数据库手势线，即产生所定义的动作：把电子邮件列表添加到与数据库手势线相关联的数据库中。 

另一个执行上述任务的方法是使用文件夹对象。无戒空间的文件夹可以绘制为可识别的对象，其形式如带有左题签、中题签、和右题签的文件夹。所有上述的这三个对象可以如下所示的方式被绘制：绘制一个矩形，把一个拱形对象与矩形相交，系统即把这个组合识别成一个文件夹。如图74所示，这个拱形对象的位置(左，右，或中)决定了这个文件夹题签的位置，继而被系统识别并且以计算机产生的图形的形式呈 现。一个文本光标可以被用来在题签上输入文字或将文本拖拽到题签上，以对包含在文件夹里的对象加入动作。这些存储在文件夹里的项目以列表的形式呈现在矩形中，同样地也可以图片，图标，符号，或等等形式出现。光标可以被用来在矩形部分里输入文本或数据。 

因而，如图75所示，文件夹的矩形部分包含了一个电子邮件列表，一般是一个数据库，而题签部分通过接受文本“从数据库移除”而被赋予一个动作。之后，如图76所示，一个红色的箭头可以从文件夹绘制至一条数据库手势线。由于箭头被指向数据库手势线，文件夹里包含的电子邮件条目从与数据库手势线相关联的数据库中被移除。并且，很明显，从一个文件夹里添加一个电子邮件列表可以只需在文件夹题签上输入“添加”或“添加到数据库”的新动作，并且如前所述那样继续红色动作箭头的流程。 

以图77为例，描述了一个使用一条手势线一次执行多重操作的技术。一个文件夹包含一个由题签标签了“从数据库移除”动作的电子邮件地址列表，并在屏幕上显示一个绿色的星形，该星形被赋予了4部分紫色的文字，每部分文字都是不同的无戒空间环境。用户可以用数据库手势线环绕一个深绿色的星形，以命令所有被包含在4部分紫色文字加载日志条目里的数字内容被发送到所有与数据库手势线相关联的数据库中的电子邮件地址里。然后，用户绘制一个红色箭头从文件夹内容指向数据库手势线，以命令将题签的“从数据库移除”动作应用于数据库手势线的数据库中，于是该文件夹的电子邮件列表被用户从手势线的数据库中移除。然后执行电子邮件的程序。 

在表现手势线作用的进一步实例中，如图78所示，一个幻灯片被赋予一条手势线。一个箭头被绘制并与幻灯片的VDACC相碰触，箭头上的圈让系统能够将其识别成一个动作笔画。语境笔画(这里指颜色，等等)被绘制出来与动画系统(Dyomation)播放开关相碰触。动作笔画被绘制出来并与被呈现在幻灯片VDACC里的被激活的幻灯片相碰 触。然后一个对象笔画被绘制出来指向一条由水平线和图像盒所组成的手势线。然后当用户点击对象笔画的白色箭首，该动作得以实现并且幻灯片被赋予了线/图片盒组成的线条样式。 

一个更进一步的技术提炼如图79所示，在此例中幻灯片VDACC和手势线条样式与前例相同。在这个流程里，用户只需从幻灯片VDACC里绘制一个箭头，该箭头不与VDACC里任意的幻灯图片相碰触，这个箭头即把幻灯片VDACC里的所有内容都赋予手势线。然后当用户点击这个动作笔画的白色箭首时，该动作得以实现并且幻灯片被赋予了由线/图片盒组合样式的线条。 

在如图78和图79所说明的方法中，都使用了一个特殊的被识别的对象，线/图片盒线条样式。用户可以为这个对象定制一个或多个行为，行为可能包括一个或多个动作以及一个和多个与这些动作相关联的语境。因此，当这个对象被用在一个特别的语境上时，用户可以调用一个或多个该对象的动作；即，一个语境可以使为这个对象定制的一个或多个动作被触发或被调用。就图80而言，一个上述的语境可能有两个部分。用户绘制一个指令箭手势动作笔画与至少一个定义动作的对象相碰触，产生一个或多个对象的连续动作。在图80里动作笔画横穿一个幻灯片集里的三张幻灯片，这三张幻灯片按照其被动作箭头接触的顺序播放。 

如图78所述，用户可以通过一个对象笔画来定制第二个与这个复杂的对象相关联的语境。对象笔画指向一个被赋予一个或多个行为的合成对象，可包括一个或多个动作和一个或多个与那些动作相关联的语境。在上述的语境1和2存在的情况下，使用上述合成对象的结果是在幻灯片VDACC里的幻灯片列表以一系列手势线图片线段的方式呈现。作为一个全局、或局部、或个体的对象设置，都将使用一个3像素宽的黑线连接幻灯播放手势线里的图片线段。在这点上，手势线的外观如图51到65的电子邮箱地址/图片手势线的例子所示。对象笔画与手势对象 相结合可被视作较早的图片手势线的一个更为普遍的例子。 

可以存在一个或多个全局手势线设置，这些设置可以控制版式，行为，结构，操作或任意其他适用于手势线的流程、功能或属性。这些设置可以判定诸如连接手势线段的线条类型之类的事务。如果一条手势线被定制成一条特定的线条样式，即一条深绿色虚线，然后如果线段被添加到这条手势线，也仍将继续被定制为手势线的初始定制样式，在本例中即指一条深绿色的虚线。但是如果一个合成对象被当作一个指令箭手势的手势对象笔画的目标，就亦将需要一个全局，局部或个别的设置，以决定在随之产生的定制手势线线段中连接各线段的线应存在哪些属性。在这个例子中，通过设置一个全局，局部或个别的设置，用户可以从一个参数菜单里的一系列选项中进行选择的方式，或使用一个绘制，语音，语境或其他合适的手段来为一条手势线定义。回到图78以及将合成对象定制为手势线的流程，至少需要实现以下的条件之一： 

1.幻灯片VDACC中被定制手势线的动作笔画碰触的幻灯片都将被呈现在一条单线的手势线里； 

2.所有被指令箭手势的动作笔画所碰触的存在于幻灯片VDACC里的幻灯片，都将被呈现为该手势线条中的独立的图片线段。 

手势线的每个图片线段都可以有一个动作，功能，操作，关联，等等，也意味着，由用户输入或动作决定，或由一个菜单控制，或通过诸如设置或参数菜单等的用户指派。 

这样的动作或功能，等等，可以包括但不仅限于任意下列内容：播放幻灯片，允许变动一个或多个幻灯片的音频，允许对任意一个或更多幻灯片中图像的改换，允许在幻灯片手势线里插入另一张幻灯片，也可将图片插入受手势线控制的幻灯片里，在幻灯片手势线里删除任意或更多的幻灯片，也可以从由幻灯片手势线控制的幻灯片里删除一个或多个幻灯片，用以在任意或更多的幻灯片手势线中的图片线段与任意其他对 象如网页或图片或文档，视频，绘画，图形，图表等等之间创建一个关联。 

就控制，操作或呈现一个数字媒体的手势线而言，该手势线可以被连接到被它呈现的媒体上。通过这层关系，任何时候只要“连接”到一条手势线的数字媒体被改变，手势线可以被相应地更新。例如，如果一条手势线“呈现”一个幻灯片，而在幻灯片中添加、修改、或变更了任意数量的幻灯片，手势线对于幻灯片的“呈现”的也即相应改变。例如，如果在幻灯集里的幻灯片数量增加，则在该手势线里呈现该幻灯的图片线段数量即被增加到相同的数量，并且新的图片被作为新的图片线段添加到手势线里。 

作为上述描述的进一步例子，图81重复了图80的版式并描述了一个在数字媒体和/或数据以及一条手势线之间定制链接的方法。从动作箭头出发绘制一个调节器的箭头指向一个对象笔画，该笔画与手势对象相碰触。调节器箭头在数字内容和手势线之间创建一个链接(在本例中数字内容指的是幻灯片)。在此语境中绘制的这个调节器可以在没有进一步用户输入的情况下创建链接。作为替换，可以使用某种用户输入，诸如输入文本(“链接”或“链接到数字媒体”等等)。另一种替换是，一个诸如另一个手势线的图形对象可以调用动作，链接，等等。 

如图82所示，一个图形对象或手势对象可以被拖拽至与一个手势线相交，该图形对象被设置成调用“链接到数字媒体”的动作或等同物。注意该技术的简单性，只要一个拖拽和放下的动作就能完成将幻灯片链接到手势线上的整个过程。 

在以上的说明中描述了一个幻灯片手势线的定制，语境对象是DM(动画系统)播放开关，为了让幻灯片手势线呈现其数字媒体，必须绘制该手势线并与一个DM播放开关相碰触，一个原因是，用户可能在他们的个人工具VDACC里拥有很多不同的幻灯片手势线，用户可以点 击其中之一的幻灯片手势线并把它与一个动画系统(DM)播放开关相碰触，并可验证手势线—该手势线可以待用，或者通过与目标对象—DM播放开关相碰触而自动被激活。注意：使用一个手势线调用一个幻灯片或任意媒体或可呈现的计算机项目(即，视频，动画，图表，互动文档，等等。)，可以通过碰触任意可适用于定制手势线的语境来激活上述的幻灯片或项目。 

一条手势线一旦被创建，有很多技术可以对其语境进行修改。在一个例子中，如图83所示，绘制由一系列紧密隔开的深绿色点组成的一个手势线，把该手势线与幻灯片手势线相碰触。如果这个绿色点手势线的动作是“把一个手势线的语境改成‘空白处的任意位置’”，那么该绿色点手势线就会把幻灯片手势线的语境改为“空白处的任意位置”。 

之后，不再需要绘制这个特定的幻灯片手势线并将其与一个DM播放开关相碰触。相反，该手势线可以在一个数字环境中的任意位置被绘制而不与其他对象碰触，即是一个可以被立即调用的有效动作。 

一条手势线可以通过任意方式被选中并以一个语音命令被声明，被系统识别，并且，如果是一个改变手势线语境的有效命令，可以在手势线的适当的光标点位置输入。 

如图84中的例子所示，一个调节器箭头被用来修改手势线的方式几乎没有穷尽。例如，一个调节器箭头可以被绘制出来和一条幻灯片手势线相碰触，在箭头被绘制以后，自动出现一个文本光标，用户可输入调节器文本、或以语音的方式输入文本、或通过其他合适的方式。此处的幻灯片手势线已具调节器的作用，允许在两个被点击的幻灯片之间循环播放，用户接着点击任意两张作为手势线上的图片线段的可见的幻灯片，就可以创建一个循环，当幻灯片播放时即会在被选中的幻灯片之间循环。 

图85描述了一个更进一步的修改幻灯片手势线语境的例子。它利 用一个对象可以被用来修改一条手势线的实际情况。此处，一个深青色的手势对象(例如一个球)已被定制了“在所有的幻灯片之间创建淡入淡出的效果”的动作。球被拖拽以碰触一条幻灯片手势线。在松开鼠标或碰触到幻灯片的分段图标时，那个深青色球的手势对象动作将被应用于幻灯片手势线和该手势线所呈现的幻灯片。其后，将在前后相继的幻灯片之间引入一个淡入淡出的效果。 

以图86为例，所示的一条手势线由多重线段分隔的相邻框组成，每一个框都代表一个VDACC。用户绘制一个单线的动作箭头有方向急剧变化的折回的部分，每个折回都与幻灯片手势线里各个相应的幻灯片相碰触。动作箭头的箭首末端穿过手势线里的所有框。这个单线箭头的结果是折回的部分碰触的幻灯片以被碰触的顺序被选中，这些被选中的幻灯片以其特定的顺序被赋予手势线的VDACC线段。随之产生的手势线如图87所示，清晰地按序显示被选中的幻灯片。 

在图88的例子里，一个由一系列被线段连接的图片线段组成的、未被定制成手势线的线条样式。然而，在本例中，这条线条以大幅围绕DM播放开关的方式与这一个开关相碰触，这种情况是个特定的语境，所表达的是：当一个包含多重图片线段的线条样式被如此绘制并与一个DM播放开关相碰触时，在线条样式里的图片线段将以一个幻灯片的(形式)被呈现，并可能在全局参数菜单里产生相应的设置。在这个例子中，在碰触一个DM播放开关的语境里绘制线条样式这个简单行动，会引起所绘制的线条样式被定制成一个动作。这个定制可以是自动的，即当一个松开鼠标的动作或等同(动作发生的时候)，该动作即被定制到这个线条样式；或为了把动作应用于线条样式，也可能需要一些用户输入。上述的条件之一可以是在如图所示的语境中绘制的线条样式末端画出一个白色箭首，当白色箭头被绘制之后，用户则需要以点击，触摸白色箭头，或在白色箭头上执行其他等等的动作以激活线条样式的动作。 

一个手势线也可以通过使用一个菜单而被修改，如图89所示。一 个用户可以右击或双击或以其他动作来引发一条手势线以调用一个菜单(即一个信息VDACC，以下称为IVDACC)，列出该手势线的已知动作、或以其他直观方式表示。之后可以点击并调用列出的该手势线的任意动作。一条手势线可能包括一个很大的动作列表，而不适用于信息VDACC。一个解决方法就是修改信息面板，以提供一个可以说明整个数据库选项的IVDACC。然后一个用户可以右击任意一条手势线并且访问任何数量的可以被归类和搜索的动作。 

可以通过拖拽一个与碰触一个手势线动作等同的对象来设置手势线的动作。任意文本对象或被识别的图形对象或甚至是一条被赋予一种特定功能的线，都可以被用来实现这个功能。拖拽对象所产生的动作，取决于被拖拽对象所定制的内容而定。判定一个拖拽是否成功的一种方法就是在拖拽发生之后，松开鼠标或等同动作发生之前，让被拖拽的对象碰触对齐(snap)并回到它的原来位置。如果被拖拽的对象不像上述的那样碰触对齐(snap)并回去的话，那么这个定制是不成功的。手势线的动作结果，当然，根据为被拖拽到手势线上的对象所作的定制的性质和类型而定。 

手势环境也为修改由幻灯手势线呈现的数字媒体提供各种技术。一个技术涉及到对幻灯片内容的自动更新。当一个用户把更多的幻灯片添加到由幻灯片手势线呈现的幻灯集中，新的幻灯片或对于现有的幻灯片的改变可以被自动添加到手势线里。一个实现的方法就是使用一个参数菜单。如述的参数菜单条目输入可以是：“对幻灯片的任意改变将自动更新呈现幻灯片的手势线。”对手势线的这种更新可以被分成两个种类：(a)对于手势线分段的显性改变，例如，添加或减去图片线段和/或改变已有的图片分段；(b)并且更新通过幻灯片手势线呈现的数字媒体，例如，在幻灯片播放里呈现更多或更少的幻灯片、或呈现不同的幻灯片或音乐，或其他幻灯片的变化。这个自动更新功能可以其他方式应用于手势线，包括但不仅限于：通过一个语音声明，即“打开自动更新”，通过 拖拽一个文本对象，例如拖拽“自动更新”的文本以碰触一个幻灯片手势线，或通过绘制一个指向幻灯片手势线的调节器箭头并输入“自动更新”以作为该调节器箭头的定义。这些技术已在前面的例子中得以阐明。 

如图90说明另一个修改手势线的数字媒体内容的方式。一个对象(此处指一个绿色三角形)被一个用户绘制并被拖拽并和图87的幻灯片手势线相碰触。如图89里同样的弹出式菜单被调用，为用户提供把该对象插入手势线的机会。作为替换，用户可以绘制或调用一个VDACC或调用一张图片并把图片拖拽到线上。同样的弹出式菜单被展示以允许用户将该对象插入手势线中。点击OK调用动作并且新对象或VDACC或图片即被添加到线条中被新对象插入的位置上。 

以图91为例，说明另一个修改手势线的数字媒体内容的方法。一条手势线可以被用来在另一条手势线里插入对象。为了达到这个目的，用户从任意一个或多个对象绘制“插入”手势线并用这个“插入”手势线在想要插入的任意点与另一条手势线相碰触。通过这个方式，用户可以在一条手势线里一下子插入很多对象。访问作为工具的多重手势线的一个方便的方法是，把它们保留在一个像VDACC那样的个人对象里，类似于如图47所示的线条样式工具VDACC，其中保留有每一条手势线的绘制，使用任意一条手势线时，点击VDACC中的该线条样式并绘制，为绘制手势线而必需的模式会被自动打开，以允许即时的手势线绘制。在图91里是一条“插入”手势线，此处即指点/点/破折号蓝线。该线被绘制出来把4个图片对象沿着顶部水平排列穿联进一条幻灯片手势线的插入位置。这些插入动作是为了把图片线段插入到幻灯片手势线并把幻灯片插入到由此呈现的幻灯片播放里。当用户点击插入手势线的白色箭首时调用插入动作。 

图92说明一个显示多种线条样式的个人工具VDACC。一个用户可以触摸在个人工具VDACC里的任意一条线，该线条样式被选中并且准备在下一个用户输入的笔画中被绘制。另外，个人工具VDACC显示 了一个作为被赋予对象的粉红色的球体，及与之相关联的一个动作列表(如图右所示)。有一个技巧，可使用一个被赋予的对象(如上述例子中的粉球)来调用系统已知的一个动作列表，这可以被用来定制一条手势线或一个线条样式。在一个实例中，为了选择这个列表中的动作，用户点击动作条目，接着动作的名字会变绿。在图92里，通过这种方式，“插入”条目被打开。这个“插入”动作接着会被自动应用到被选中的任意手势线(或线条样式)上。作为替换，用户可以在空白的无戒空间里输入任意已知动作的名称并拖拽该名称与在个人工具VDACC里选中的线条样式相交。或者，在选中一个线条样式之后，用户可以用语音表达将被应用到该线条样式的动作名称。另一个选项是拖拽一个已知动作的名称与一个计算机环境中的手势线或线条样式相交。对于被碰触的线条，如果是一个有效的动作则被拖拽的名称对象会对齐(snap)并回到它的原始位置，并且成功地为线条样式定制了一个动作。 

也可能通过标准的无戒空间的复制技术在一条手势线里复制一个现有的幻灯片：点击幻灯片，保留，并把一个拷贝拖拽到这条线的另一个位置，或无戒空间的任意一个位置。被复制的幻灯片会在拖拽到的位置处被插入。 

手势线对于处理涉及音频文件的动作也是非常有效的。手势线可以被用来呈现所有的音频配置类型，包括混音器，数字信号处理器设备，个别的输入/输出控制，同步，把音频添加到图片里，幻灯片动画，图表，文本，等等。就图93而言，图例包括一个动作对象，在本例中一个文本对象指定一个低通滤波器参数及其设定。语境对象是一个声音文件，即第1号声音。在本例中棕色虚线是手势对象或手势线。用户绘制一个动作笔画与低通滤波器相碰触，动作笔画被此处箭杆上的圈所确认。一个语境笔画通过声音1号对象被绘制，并且手势对象笔画碰触棕色虚线，把该虚线定制成一条手势线。这些用户动作的结果是棕色虚线被定制成一个低通均衡器手势线。 

在图94中的音频例子里，动作仍是一个低通滤波器，语境笔画和手势线也与前例一致。此处用户绘制或调用一个与低通滤波器调节杆设置排版相邻的黑色星形，并通过这个黑色星形绘制动作笔画。上述动作的结果是被赋予黑色星形的滤波器变成了棕色虚线手势线的动作。一个相似的技术在图95中被说明，在此例中动作笔画经过一个低通滤波器调节杆的设定被绘制，并且语境笔画是一个标有“1号声音”的文本对象。这些用户动作的结果是无论棕色虚线在哪个位置被绘制并与一个音频文件相碰触，该线条都被定制成一个调用低通均衡器的手势线。 

如图96所示的是一个在音频使用中外观上有趣的手势线的例子，是一条由线段连成多重旋钮组成的线。对照上述的3个音频例子，一条把旋钮作为线段的线被绘制或被调用并定制为一个低通均衡器手势线，而不是定制成一条虚线。在这个低通均衡器手势线里旋钮线段是这个均衡器的可操作性控件。为了使用这条手势线，用户绘制该均衡器手势线以碰触任意声音文件，由该手势线控制的均衡器即被应用到这个声音文件上。此外，在该均衡器手势线上的旋钮是被激活的控件并且可以在任何时候被用来调节低通均衡器的设置，这些被修改的设置亦修改了通过碰触均衡器手势线而被应用于声音文件的均衡器。均衡器手势线可以如图97所示，每个旋钮被用来调节一个均衡器参数，例如频率、提升/削减控制和斜面。 

以图98为例，一条手势线上的旋钮有助于这条手势线被画成曲线。注意，尽管旋钮是组成这条手势线曲率的线段，但它们都保持在绝对垂直的方向上。保持不变的垂直方向使用户方便地阅读设置并操作旋钮以改变到想要的结果。任意旋钮可以被赋予任意功能，以使它们可以控制数字信号处理器设备，视频，图片编辑，定位或任意可以被一个数字设置控制的对象。 

如图99所示，继续说明音频环境，可以加入手势线作为多重调节杆控制的线段。与上述的旋钮例子不同，调节杆控制并不适于弯曲的绘 制线，因此最适用于垂直和水平线。用户可以在一个对象里存储多种旋钮和调节杆手势线，即“设备线”，或把它们赋予一个对象，如一个个人工具VDACC或一个星形。接着用户可以点击想要使用的“设备线”并拖拽以使其与一个或多个对象和/或数字媒体和/或设备“对象”相碰触。在这样做的时候，由被拖拽的设备线里的设备所控制的动作，功能，操作等等会被应用到与该手势线(即刚被拖拽的“设备线”)相碰触的对象上。 

就音频而言，可以有任意一种均衡器、回声、压缩器、限幅器、门限、延迟、声场定位、失真或环形调制器等等被任意数量的手势线所控制。这些手势线的线段是设备。换句话说，整个数字信号处理器设备控件可以一条单线条的手势线呈现。例如，为了均衡一组音频输入，用户只需绘制一个均衡器设备手势线并与一个或多个这些音频输入相碰触。接着在这条线中由旋钮，调节杆，操纵杆，等等控制的均衡器被应用于这些音频输入。如果用户希望调节由绘制的手势线所控制的均衡器的设置，线中的控件可以被调节以达到这个目的。线条样式可以和设备线段一起被使用，但是线条样式通常没有与其相关联的动作，所以上述线条样式中所包含的设备将需要被赋予或通过声音命令、一个或多个箭头、手势、语境，等等被定制成控件数字媒体。通过这些被添加的操作，上述的线条样式可以被用来修改数字媒体，数据，图形对象等等。 

如图99和100所说明的那样，这些线段设备的数字参数可以出现在设备的上方。或这些数字参数可被呈现于菜单，即信息面板，对于每一个设备来说，数字参数可以通过一些方式或被显示或被隐藏，如，双击该设备或线条以显示数字参数，重复上述步骤则将其隐藏。 

一条手势线可以根据应用的不同语境，拥有多重动作和直观表现。同样的手势线在不同的语境里被绘制时可以被定制成不同的动作。比如当一条简单的实心绿色线与一个声音文件碰触时，它可以被定制成控制回声；当它与一个视频相碰触时，其被定制成该视频的播放控件；当它与一个图片相碰触时，它变成了一个图片控件。同样地，手势线根据它 被绘制的语境来改变它的形状和/或格式。例如，当一条简单的绿色手势线与一个声音文件相碰触时，它变成一个包括如图100所示的一组回声控件的不同外观的手势线。 

一条拥有音频动作的简单绿色手势线，可以如图101那样在该手势线被绘制并和一个视频文件相碰触时改变其外观，这里显示的线段由被激活的视频控件，如暂停、停止、开始、倒回和快进所组成。然而，如果同样的绿色手势线被绘制并和一张图片相碰触，它的外观如图102所示那样会改变，这里显示的线段由被激活的图片参数控件，诸如亮度、色调、饱和度、对比度和旋转所组成。 

在图103所示的音频环境例子中，显示了一个拥有5个调节杆控件以控制回声效果的数字回声单元。“语境”是一个表明“数字声音文件”的文本对象，其实它也可以是一个声音文件列表，一个声音开关或一个等同物。用户绘制一个动作笔画，由箭杆笔画上的圈指明，与数字回声单元相碰触，并且由一个语境笔画与语境“数字声音文件”相碰触。一个手势对象笔画被绘制并与调节杆元素组成的手势线相碰触。用户并绘制一个从数字回声单元延伸出来的手势目标笔画，在该笔画通过一条手势线的调节杆控件线段之前，有一个可识别的图形元素(此处，指涂鸦元素“M”)。涂鸦元素是机器识别的，以区分箭头源对象和箭头目标对象。手势目标对象命令数字回声单元调节杆控件参数按照被手势目标对象接触的顺序应用于手势线的调节杆控件。当手势对象笔画的白色箭首被点击的时候，手势线被定制成数字回声调节杆和设置。当然，这些调节杆是被激活的控件元素，可以因用户而异。 

在图104的视频环境例子中，说明了一个视频播放器，附带基本控件——一个按钮上标有“视频文件”，与一条由基本的视频控件组成的线条样式。语境笔画被绘制与该视频文件相交。因而，当该手势线与一个视频文件，或等同物相碰触的时候，为这个手势线定制的动作会被应用到这个视频文件上。 

动作笔画与动作对象相交，在本例中即指一个视频播放器。用户绘制的箭头从视频播放器控件上延伸出来指向手势线中被定制的图形对象设备线段。视频播放器中的暂停控件被赋予两个分开的图形，一个暂停和一个播放图形。这可能需要一些仔细的规则，因为它把一种系统开关，即一个暂停开关转化成一个播放开关并把它替换成两个控件，一个是暂停，一个是播放。同样地，还有一个单线箭头与倒回和快进控件相交并且把它们(即倒回和快进)赋予两个连续的文本对象，“REW”和“FF”变成上述两个控件的等同物。注意箭头中被识别的涂鸦“M”形状。这个图形设备指出箭头源对象的同样箭头的目标对象之间的划分。最后，用户为定制手势对象红色箭头绘制一个箭头笔画。这个笔画指向一条包含水平蓝色线条和视频播放控件图形的线，从作为动作对象的视频播放器处，这些图形被赋予了功能动作。这里需要注意，语境笔画，动作笔画和手势对象笔画可以按任意顺序制作。当白色箭首或红色手势对象笔画的等同物被点击或被轻拍的时候，视频播放器控件被赋予一个由赋予箭头所设置的手势线控件。 

手势工具可以同样地被用作显示图片。以图105为例，显示了一个图片编辑控件，一张图片，一条由调节杆控件线段和点线段间隔组成的手势线。语境笔画可以与任意数字图像相碰触。手势对象笔画指向包含4个作为线段的调节杆设备的手势线。一个赋予箭头被绘制并以从左到右的序列在控件显示里碰触一行图片编辑调节杆控件。同一个箭头继续按上述同样的顺序行进并与将被定制成一条手势线的线条里的4个调节杆线段依次碰触。一个涂鸦“M”形状被绘制以碰触赋予线的中间部分，这等同于把该被识别的形状与赋予线一同绘制：它修改了赋予箭头以判定赋予箭杆的哪一部分选择源对象、哪一部分选择目标对象。当红色手势对象笔画的白色箭首被点击的时候，视频播放器控件依照赋予箭头所设置的顺序被赋予手势线控件。 

虽然此处描述的手势环境在为用户提供设置动作，语境，和关联的 方法时非常灵活，但依然需要一系列默认的语境，动作和手势对象的设置。语境对象的默认设置之一是，任意一类被使用的对象可以被应用于那一类的所有对象上。在图片显示任务里，使用一张图片作为一个语境对象，意味着任意与手势对象相碰触的图片会为该手势对象或在这个图片的语境中调用该手势对象的动作。 

就图106而言，说明一个为一个或多个手势对象创建等同物的方法。这里显示了一条数字回声手势线，一条视频控件手势线，和一条图片控件手势线，均在此例中得以说明。一个定制箭头经过所有的3个手势线被绘制出并终止于一个白色的箭首。在箭首，输入一个调节器的文本或口头命令以建立由连续绿线组成的手势线的等同物。注意：指令箭可以直接指向绿线，而不需要调节器文本。一旦通过点击指令箭的白色箭首定制成功，绿色的手势线将会根据其所绘制的语境而呈现三种不同的动作和外观并被调用。有两个定制等同物的处理方法： 

1)为同一条手势线创建多重语境，如绿线，然后为那条线创建不同手势线的多重等同物； 

2)创建多重手势线并且为这些线创建一条新的等同的手势线—在这个例子中是一条简单的绿线。图106的例子说明第一个方法：多重手势线为音频，图片和视频而创建。接着一条新的手势线(例如一条绿线)被定制成其他3条手势线的等同物。一个替换箭头可以被用来为多重手势线创建一条等同物手势线而不是使用如上所示的红色箭头。当这条绿色手势线与一个有效的语境对象相碰触的时候，发生了以下两件事： 

a)绿色手势线变成一条不同的手势线，比如，为此“不同的手势线”在其有效语境定制的、具有如嵌入式设备和其他任意的属性，动作或行为； 

b)上述“不同的手势线”的动作被应用于与一条绿色手势线相碰触的对象。例如，如果绿色手势线被绘制以碰触一个声音文件，它会根 据一条作为绿色手势线等同物的数字回声手势线的控件把数字回声应用到那个声音文件。如果一条绿色手势线被绘制以碰触一张图片，它会根据一条作为绿色手势线等同物的图片控制手势线的调节杆应用设置编辑。如果绿色手势线被绘制以碰触一个视频，它会根据一条作为视频手势线的等同物而把视频控件应用到这个视频上。 

作为手势线应用的用户所创建的线条样式的更进一步的例子，参考图107。一个包含了多个绿色球体并由黑色线段接构成的连续线的线条样式被构建或调用。在此线条样式下方一行调节杆，每一个调节杆都位于一个绿色球体的下面。每一个调节杆都标注有至少一个被其控制的声音文件。在每个调节杆的上面有一个数字，当调节杆的调节阀卡标(cap)沿着轨道被往上或往下移动的时候，这些数字的值会发生变化。 

为了把绿色球体线条样式定制成一条手势线，可以使用如图108所示的流程。手势对象笔画，一个不连续的红色箭头被绘制，并指向并碰触带有多重绿色球体的线条样式，并且把线条样式转变成一条手势线。语境笔画在空白处并且不与任意对象相碰触。这意味着一条被定制的手势线可以被绘制于计算机环境的任意位置而不和对象相碰触，而这就是该手势线的有效语境。动作笔画的圈被绘制以碰触一个带音频输入的调节杆。第二个箭头的绘制从左穿过一行调节杆并回转了180度，继而再触及线条样式的左端，这个线条样式被定制成一条手势线，但是不像前面所述的例子，这个箭头的箭杆上并没有应用被识别的形状，用来识别指定箭杆的哪一个部分选择源目标，箭杆的哪一个部分选择目标对象，而是由语境决定。这个语境有这些内容组成：(1)第一组被碰触的线段，这在本例中指的是六个绿色球体；(2)以所需最小的距离在线条样式上改变方向，这在本例中改变的方向很长，超过4英寸，但是一个所需最小的距离可以用户设置的形式出现在一个参数菜单或等等中；(3)并且碰触一组设备。 

在一个参数菜单里或作为一个默认值，调节杆与每个绿色球体的关 联，如上述定制的那样，可能使每个调节杆被赋予位于其正上方的绿色球体中。这个赋予可以是刚讨论的部分被识别的语境或它可能需要一个调节器被添加到第二个红色箭头里。如果使用一个调节器，可以是一条调节器线或一个箭头，一个语音片段，一个被拖拽的对象与第二个箭头等等相碰触。 

再次参考图108可以注意到，被指令箭手势的动作笔画碰触的音频调节杆，在图109中独立显示。这个手势可以被解释成当绘制这个动作笔画时可能设置的各种动作。一些可能的动作是： 

1)控制一个声音文件的音量； 

2)控制一个声音文件的数字信号处理器设备； 

3)把一个声音文件与一条手势线段相关联； 

4)通过对手势线段的用户输入播放一个声音文件： 

a.点击一条手势线段(在本例中指一个绿色球体)； 

b.双击一条手势线段； 

c.点击两个手势线段之间的连接线； 

d.双击两个手势线段之间的连接线； 

e.选择一条手势线并随后发表一个语言片段或反之亦然； 

5)把声音文件的名称作为手势线的属性和/或一个或多个手势线线段的一部分包括在内； 

6)在调节阀卡标往上和往下移动时，通过一个数字的变化来显示这个调节阀卡标的位置和关联级别； 

7)为数字数据的变化、保存、更新和回放自动数据。 

这些可能的动作和更多的动作可以在一个菜单里或它的等同物里向用户呈现，这样用户可以选择一个或多个动作以定制成一个动作笔画部分的线条样式。而这个动作笔画是用来定制手势线的指令箭。 

1)一个没有设置和音频的空白控制台。这是一个只带它自己默认设置的混音器(在这个语境中混音器和一个控制台相同)。没有呈现用户设置，在任意的控制台的通道里也没有音频输入。 

2)一个带通道设置的控制台，但没有音频。这是一个音频混音器“模板”但并不呈现音频文件—因而没有完整的音频通道。此处是一组带有设置的控件。这些控件包括调节杆和其他数字信号处理器设备，如果适用的话，上述(设备)的设置是用户输入的或定制的状态结果而并非以完全默认的状态呈现混音器。但是没有音频被输入任意混音器的通道。 

3)一个控制台附带通道设置，附带被输入其通道的音频。这和第2号相同，但是此处音频文件作为混音器通道的输入而存在。类同第2号的例子，这是一个完全的附带均衡器的混音器设置，compression(压缩)，回声设置等等，附带适当的增益级，调节杆位置，分组和等等，以及输入混音器通道的音频。这是一个为自动化混音准备的控制台。 

就图110而言，如果一个用户想要延伸一条已被绘制或被调用的手势线，此处指黑色线段连接6个绿色球体的线段，用户可以把光标移至线的右端，或使用多点触摸或等同物并引发一个双箭头光标在水平方向上的延伸，如顶端线的图例所示。在中间的线里面，用户点击并把手势线拖拉到它原始的长度；在底部的线里，手势线已被拖拉到右面以加大线的长度。 

图111描述了6个绿色球体线段手势线和一个处于手势线附近的声音文件列表。为了把音频文件赋予手势线段，用户可以使用拖拽和放下动作，拖拽一个音频文件以使该文件与一条手势线的线段相碰触。此处不需要看见调节杆或受线段控制的音频通道。音频内容被自动地输入到已被赋予相应的手势线段/或被相应的手势线段控制的音频设备中。如 果多重音频通道被一条单线的手势线段控制，则把多重音频文件拖拽并放到单线线段的动作会使这些多重音频文件按照拖拽到单线线段上的顺序被输入到一个多重音频通道里。 

如图111说明的那样，用线条或箭头把音频文件穿联到手势线段，是另一种关联声音文件和线段的音频设备的技术。在这个实例中，一条单线条或箭头可以在多重音频文件和多重手势线段之间被绘制以把音频文件赋予相应的各个手势线段里。这个穿联的操作实现是通过系统对被绘制箭头的最高点的识别。每一个被绘制箭头的顶端相碰触的声音文件与手势线段被该箭头选中。在一个浏览器列表中针对手势线段的赋予和关联动作按照一个连续的顺序执行。换言之，第一个被碰触的声音被赋予或与第一个被碰触的手势线段相关联，依此类推。因此，如下所示，声音8被赋予手势线段1，声音5被赋予手势线段2，声音15被赋予手势线段3，依此类推。 

在如图112所说明的实例中，一个非连续的箭头被绘制以选中并把多重声音文件赋予多重手势线段和/或多重手势线段关联。除非由用户输入、系统默认、语境或等等类似的规定，这些赋予以连续的顺序被执行。 

一条红线(1a)被绘制与一个声音文件相交(箭头的源)，接着一条线(1b)被绘制与一条手势线段相交(箭头的目标)。这个方法是连续的，例如，另一条红线(2a)被绘制并与第二个声音文件(源)相碰触随后另一条红色线条(2b)与一条手势线段(目标)相碰触，依此类推。最后被绘制的一条线(6b)被折回以创建一个箭首。当该箭首被识别后，它变成了一条带白色箭首的箭头。当白色箭首(6b)被点击时，所有的赋予(1a-6b)被执行。 

在许多可以被用来播放声音文件的屏幕上的元素由一条或多条手势线控制，或者这些元素被赋予，或与一条或多条手势线相关联，如图 所示，此处是一个播放开关。同样地，一个语音命令，诸如“播放”可以被说出接着用户选择一个或多个手势线或反之亦然。 

一条手势线可以作为一个更大的音频的次级混音器。用户可以绘制一些手势线，每一条手势线控制针对同一个音频的由一个或多个不同的次级混音组成的音频文件，形成“次级混音手势线”。由各次级混音手势线控制的通道可以被用来调节每个次级混音手势线的全部次级混音输出。接着所有这些手势线可以被同时，同步地播放以创建一个合成的混音。 

与这个流程相反的是当用户在环境里有超过一条手势线，并且每条手势线控制相异或与整体疏离的音频。在这个例子里，激活一个能够同时播放所有手势线音频的开关是不适宜的。此时，用户需要一个由各条手势线控制的一次播放一个音频的方法。 

一个实现上述目的的方法是把一个播放开关只与一条控制音频的手势线关联。这可以通过拖拽一个播放开关与上述的手势线相碰触的方法来实现。拖拽的结果是为那条手势线创建一个单独的开关。引发这个单独的播放开关将仅仅播放与手势线关联的音频。 

另一个方法可以是把用户输入直接应用于一条音频手势线以引发动作“播放”。这样的动作可以包括：单击或双击在手势线上线段之间的连接线；在选中手势线后使用一个语音命令，即“播放”，或反之亦然；拖拽另一个对象以碰触一条音频手势线并引发一个动作：“播放”。 

在以下一系列的例子中，一条简单的手势线根据3种不同的语境被定制成引发3种不同的动作。这3条手势线和它们的3个语境按一个逻辑顺序呈现，如同一个思考流程。以图113为例，说明一个音乐文件列表(此处即指被编号的歌曲文件)。一个语境笔画被绘制以碰触“音乐混音”，并且手势对象笔画指向一条绿色点的水平线，这条线被定制成一条手势线。这个动作笔画被绘制与歌曲混音的列表相碰触。 

继续说明图114，同样的手势线，例如绿点水平线和第二个语境一起被定制。语境笔画和一个在一个列表或浏览器里的歌曲混音条目，例如与“歌曲2”相碰触。动作笔画为了已被碰触的歌曲混音而与音频混音器相碰触。手势对象笔画指向同一条绿点线，该线和第二个语境以及相关联的动作一起被定制。一个附加的动作如上所示被定制。动作笔画被文字“装载但不显示在屏幕上”所修改。这表示系统将装载混音器和歌曲2的所有元素，但并不把混音器或其元素显示在屏幕上，而是让它们在内存里等待，或其中一部分被适当地存储在缓存中以使它们可以根据命令作为连贯的音频被播放。 

图115说明为前一个例子里的手势线定制第三个语境。语境笔画与已知文字“次级混音名称，歌曲2”相碰触。这个文字描述了一组混音器的元素，可以包括以下一个或更多的内容：调节杆，数字信号处理器控件，发送，返回，和音频文件以及混音数据。动作笔画为歌曲2的鼓和一组混音器元素相碰触。在这个例子中，用户想要看到这些混音器的元素以便可以调节它们。因此它们可以不像语境2中被定制的动作那样被隐藏，在语境2中整个歌曲2的音频混音器被装载但是不被显示。手势对象笔画指向同样的绿点线，该线和第三个语境以及关联的动作一起被定制。 

此刻，当一条简单的绿点手势线被绘制以碰触三个不同类型的语境对象时，该手势线被定制以调用三个不同动作。如图116所示的例子说明这条绿点手势线可以被如何使用： 

第1A步。用户输入一个类别，诸如音乐混音。针对文字“音乐混音”可以创建许多等同物。但是，这个例子的目的在于，“音乐混音”的文字对于本系统来说是一个已知短语。换言之，当它被呈现于一个计算机环境中的时候，它被本系统识别。系统接着通过显示一个或多个包含音乐混音的浏览器来响应。一个音乐混音可以是所有的元素和它们的设置，被用来创建一曲音乐的混音。这可以包括用来混合一段音乐的设置，甚 至是一个混音器的所有通道的自动数据。 

第1B步。用户绘制绿点手势线以碰触文字“音乐混音”。如上图所示，这是绿点手势线的第一个语境。一旦绿点手势线与音乐混音的文字相碰触，一个可用的歌曲混音列表出现在一个浏览器里。 

第2A步。用户绘制绿点手势线以碰触如第1B步结果而出现的歌曲列表中的歌曲4。在定制绿点手势线的这个语境中，使用了歌曲2。但这指出了项目的类别，即包含一个语境，但不包含任何一个被命名的混音文件。 

第2B步。系统为歌曲4装载混音器和所有的元素，但并不让用户看见。必需的元素被存储在缓存中，这样如果用户启用播放功能，他/她将听到混音被准确地回放。因此就第2B步而言，在计算机环境中没有直观的表现。 

第3A步。用户只是想要在歌曲4的混音中的一部分上操作。因此用户在计算机环境中输入或呈现文字“鼓，声乐，弦乐器”。这些文字代表了作为歌曲4的全部混音(组成)部分的次级混音。 

第3B步。用户在绿点手势线的第三个语境中绘制该手势线，即，在一个计算机环境中和字“鼓”相碰触。注意：用户可以绘制一条绿点手势线以碰触歌曲4的现有任意次级混音的名称。作为一个替换，用户可以看到歌曲4的次级混音列表并且绘制绿点手势线以直接碰触列表中的一个条目。 

作为把上述的绿点手势线碰触“鼓”或其等同物的结果，系统在一个计算机环境中呈现了一个鼓次级混音器和所有与之相关的元素，包括数字信号处理器、路由和总线控制等等。用户可以通过次级混音器的控件调节这个次级混音。为了呈现一个弦乐器的次级混音器，用户可以绘制上述的绿点手势线以碰触在一个浏览器中列出的歌曲4中的各种次级混音中的“弦乐器”条目。作为一个替换，文字“弦乐器”可以被呈现(包括 被输入、口头说即手绘等等)于一个计算机环境中并被上述的绿点手势线碰触。在口头呈现的例子里，碰触也可以由一个语音片段引发。 

上述的例子是一个可行的方法，可通过使用一条简单的手势线把语境作为动作的定义元素。于此如以前例子所示的那样，手势线不会改变它的外观属性。这条手势线仍旧是原来简单的绿点手势线，该手势线仅仅被用户绘制并和一个代表独一无二的语境的图形元素相碰触，然后就此定义这条手势线的动作。这些独一无二的语境允许绿点手势线的简单绘制得以三次访问越来越具体的元素，以帮助用户完成一个音频混音。此例说明了手势线与语境相结合的威力和灵活度的模型。这个模型可以被应用于任意一条手势线。 

回到图107和图108的绿色球体手势线的例子，很明显系统必需知道对于每个绿色球体的赋予，而不是调节杆与球体的相对位置——在球体的顶上或挨着这个球体放置等等。这项任务通过参数或定制手势线的默认设置得以执行。可以存在各种用来定制手势线和它的线段的各种类型动作参数。用户可以只选择与他们想要执行的动作最匹配的参数。特定的参数可以被应用到特定的语境上。例如，如上所示的被绘制的箭头参数可以是“赋予”。 

在手势对象环境里无戒空间的赋值代码被修改以允许赋予的对象出现在当它们被赋予对象同样的“相对位置”，即赋予发生的时候被赋予对象所在的位置。在如图107例子里所示的调节杆，意味着在一个计算机环境中当包含被赋予的绿色球体被绘制于不同的位置时，当球体被点击以便看见被赋予的对象时，被赋予那些球体的调节杆需要总是出现在每个球体的正下方。 

一条音频手势线的一大优点是可以在不需要完全搜索日志或音频文件列表的情况下快速访问一系列音频文件的能力。另一个优点就是能通过绘制简单线条把音频添加到视觉媒体中。另一个优点更是源于使用 音频手势线来控制在文档，幻灯片和其他数字媒体里的音频版本。 

把音频添加到一条手势线里的幻灯片中的一个方法是，将一条音频手势线与一条幻灯片手势线对齐。如果音频线段和幻灯片线段没有对齐，一个快速的补救办法是通过一个拖拽，以调节手势线里的音频线段相对间距。这个动作和在无戒空间里被用来调节代表时间的时间线的动作一致，参见图117。这可以通过在手势线上点击某一点而实现，并且通过点击手势线上的一点往右拖拽来增加，或向左拖拽来减少手势线代表的总体时间。 

就图118而言，说明一条每条线段都由一张幻灯片组成的幻灯片手势线，还有一个绿色球体手势线，其中的每个球体都与一个声音文件相关联，如一曲不同的背景音乐。通过点击任意球体并向右拖拽，声音文件手势线向侧面被拖拽，以使每一个绿色球体与幻灯片手势线里相应的幻灯片线段对齐(如图119)。在那以后，如图120所示，整个音频手势线被向上拖拽以碰触幻灯片手势线。 

这个用户动作可以有若干可能的结果： 

1)把每一个各由一个绿色球体代表的声音文件自动赋予每一个绿色球体碰触的幻灯片线段。在这个例子里每一个绿色球体与一条幻灯片线段相碰触，该绿色球体代表的音频文件会变成那个幻灯片的音频。 

2)如上述“1”描述的操作那样规定，但附加有一个弹出式菜单出现，询问用户他们是否想要使在碰触的绿色球体里的音频文件被赋予幻灯片线段。在这个例子里，可能会在每个幻灯片线段的周围出现一个绿色的轮廓。如果一个用户不想要某个特定的幻灯片被赋予音频，该幻灯片线段被点击则其绿色轮廓会消失。文字“OK”或其等同物可以在这个弹出式菜单里被点击以完成把音频赋值给带有绿色轮廓的幻灯片线段的动作。 

3)提示用户输入一个语音确认。用户只需说：“OK”或“赋予音频” 等等。 

通过以上这些程序中的任意一个，用户可以把个别绿色球体手势线的背景音乐赋予相应的幻灯片手势线。 

就图121而言，任意音频手势线的任意一条或多条线段可通过绘制线条被赋予另一条手势线的一条或多条线段。前例中的幻灯片手势线和绿色球体音频线段被邻近显示。用户可以在绿色球体手势线的声音文件线段和幻灯片手势线的幻灯片线段之间绘制非连续箭头，以按照需要将声音文件与幻灯片相关联。注意第五个幻灯片没有音频赋予，可在没有音频伴奏的情况下播放。以上赋予的条件可以被一个用户定义的参数判定或通过系统中的默认设置或语音输入方式来判断。图121中赋予的逻辑结果是每一个绿色球体的音频变成由红色箭头赋予的链接的幻灯片线段的声音。 

就图122而言，说明一个创建等同于一条红线或红色箭头的手势对象的技术。幻灯片手势线和绿色球体音频手势线再次被相邻显示。一个语境笔画被绘制与幻灯片手势线和音频手势线同时相碰触。可能需要一个预先设置的参数或一个语音或文本输入，以判断使用这个语境笔画是否是命令这些音频线段与幻灯片手势线的相应幻灯片同步。 

图123的例子通过说明定制一个红色箭头以执行如上所述的音频同步功能的方法，继续前面例子里的步骤。在此显示了一个幻灯片，及与其相关联的音频图形。用户绘制一个动作笔画与一张幻灯片及与之同步的音频相碰触。这个功能如何被调用的细节源自于与被碰触的幻灯片以及与之同步的音轨相关联的当前动作。作为一个替换，动作笔画可以碰触已知文字，比如“把音频与幻灯片同步”。这个功能如何被调用的细节可以在一个被定义的操作的列表中被呈现，用户可从这个列表里选择想要的动作。这个列表可以包括：同步的方法，例如，音频在幻灯片出现的时候开始，在幻灯片消失的时候结束，或者声音文件如何被直观地 呈现，或渐强(infade)和渐弱(outfade)是否被自动应用于幻灯片的音频。手势对象笔画指向将被定制的对象，在这个例子中指红色箭头。在手势对象笔画的白色箭首被点击之后，红色箭头可以在声音文件片断和幻灯片线段之间被绘制，以达成声音文件与幻灯片显示的同步。 

就图124而言，说明一个使用穿联箭头把音频文件赋予由一条幻灯片手势线代表的幻灯片的例子。此处的穿联箭头的绘制是以一个半弧形经过一个绿色球体穿联至一个幻灯片，当幻灯片在最高点处突然改变方向之后，形成了另一个绕回来穿越同样绿色球体的圆弧，再至下一个相邻的绿色球体和相应的幻灯片线段，形成另一个最高点，沿着这条线依此类推。当点击穿联线的白色箭首时，音频文件被赋予它们相应的幻灯片线段。 

以图125为例，是说明把声音文件和幻灯片相关联的更进一步的例子。幻灯片手势线和绿色的球体音频手势线与前例的手势线相同。一个单独的箭头被绘制把每一个手势线绿色球体控制的音频文件赋予相应的每一条幻灯片手势线段。当白色箭首被点击的时候，被碰触的音频线段按照它们作为“源”和“目标”被碰触的顺序而被赋予被碰触的幻灯片线段，即第一个源被赋予第一个目标，第二个源被赋予第二个目标，等等。 

同样如下所述的是对前一个赋予例子的修改，即，在箭杆里未使用被识别的形状来指定箭杆的哪个部分选择源对象和哪个部分的箭杆选择目标对象。这是因为有其他事物告诉系统“源”目标端和“目标”对象从哪里开始。在此例中使用了一个语音命令。这个语音片断在最后的绿色球体被碰触后、但必须是在第一条幻灯片线段被箭头的图画碰触之前发生。另一个方法是由一个默认的或其他类似设置来判定，当异类对象相交时即将箭杆从选择“源对象”自动改变为选择“目标对象”。 

对一条手势线的绘制可以存在各种情况。下列是其中的一些条件： 

1)绘制手势线的一部分，即使整个手势线都被绘制出来。这个条件 与在重缩放关闭的情况下，回调一个VRT(全称是虚拟再调用工具)列表的条目是一致的。在这个手势线条件里你可以只绘制一条手势线的一小部分，例如，少许像素—任意被设置为一个默认行为的距离或被设置为一个实时的行为。当只绘制一部分线的时候，整个定制线的长度包括所有的手势线段—即被绘制。比如，如果(线条)短的部分在一个垂直方向上被绘制，剩余的手势线会出现在一个垂直的方向上。如果短的部分在水平或有角度的方向上被绘制，上述的(情况)同样适用。此外，如果一条手势线的一部分被绘制于一个螺旋形的椭圆形图案上，这个手势线的剩余部分即被呈现为一条连续的螺旋线。 

2)如果一条线太长而屏幕不够显示时，至少有两个方案可行： 

方案1：线条可以在一个计算机环境的可视区域以外继续(显示)，但是保留为一条连续线。接着扩展一个桌面可视区域的能力(通过拖拽一支笔或一根手指或一个鼠标以碰触一个屏幕空间的边缘)可以允许一个用户访问在当前屏幕上的可视区域以外手势线的任意部分。 

方案2：使用一根手指或一个等同物在一个触摸屏上的两个被指定的点之间“拂动”一条手势线。这个技术如图126所示，当一个用户的手指被显示“拂动”一个绿色球体以在用户绘制的水平相隔的线条之间设置一条手势线。 

“拂动”是什么意思？这是一个目前在一个带触摸屏的手机里的图形和文字数据之间滚动的已熟悉的流程。用户把一根手指放在一个图形上并以一定的速度向一个方向上拖拽并且接着抬起那根手指。图形根据手指拖拽的方向向前或向后移动，仿佛显示着一个真实移动对象的惯性。由于一个手机的屏幕空间有限，这个方法或其衍生物被用来在文档里滚动，以方便浏览观看那些由于太大而不便在一个手机或音乐/电话设备的可用的屏幕空间里观看的图片和其他的图形数据。 

对于由于太长而不够在一个计算机环境里的可视区域里显示的手 势线，这个方法比较有效。例如包含100个幻灯片图片线段的一条手势线，试图绘制这样一条线可能不实际并且要观看完整线条所要求的水平或垂直的可视区域太大了。但是绘制一部分线、为手势线指定一个左面和右面边界，就可允许用户“拂动”手势线以观看任意部分的内容。这些边界可能在手势线超过被指定点或区域而消失时充当剪贴区域。指定方法可能包括：绘制与手势线在一个相对垂直的方式上碰触的线条，触摸在一条手势线上的两点并以一个声音片断以将这些点设置为一条手势线的“剪贴边界”。 

3)一条被压扁的手势线。有很多图形方法来呈现一条被压扁的手势线。一个方法不改变手势线的可视的外观，而是改变图形的行为。在这个排列中，一条手势线不向一个屏幕上的可视区域以外扩展，而是在它碰撞或碰触一个屏幕的边缘时被压扁。如果线条被从屏幕的边缘拖拽开，随着被拖拽，它会越来越多地被显示而显得被持续地从那个边缘拖拽开。如果线条的另一端碰触到屏幕的另一边缘，线条开始变扁。压扁任意一边的线，只是隐藏了被延伸超越手势线的可见边缘的任意线段。因此例如，如果一个用户在屏幕上绘制了一条手势线然后拖拽使其原点与屏幕的左边相碰触并且继续把这条线往这个方向拖拽，线段会开始消失。 

也可以在不与一个屏幕空间的边缘相碰触的情况下，压扁一条手势线。也可以把一条手势线以压扁的形式呈现设置为该手势线的行为，设置是直线距离的最大化。这可以在一个菜单里被设置，由语音指定的一个或几个字，用一个图形指定绘制。由一个语境判定在哪里绘制手势线等等。使用压扁手势线的一个明显用途是它可以适合一个较小的空间并在这个空间里被使用。除了不需要用户输入，这个手势线的行为与上述的“拂动”类似。压扁的行为是该手势线的属性。 

用户也可以指定剪贴区域作为一条手势线的固有属性。在这个实例中，“剪贴”是一条手势线的部分对象定义。在这个例子中，左边和右边 剪贴区域的宽度可以根据被绘制的手势线的原始长度被自动设置。对手势线剪贴对象属性更多的修改可以通过语音方式，菜单方式或拖拽方式来实现，即，拖拽一个对象与一条手势线相碰触以修改其对象属性或行为。 

用户也可以应用一个现有的动作，该动作是由一个或多个作为手势线定义动作的图形所控制的。定制一条手势线的动作定义并不总是需要使用已知字或短语。它可以在无戒空间之类的一个计算机环境中对一个或多个图形对象使用现有的动作。在这个例子中，绘制一个动作笔画，比如，一条带“圈”的线或其他可识别的图形或作为笔画部分的手势与一个图形对象相碰触，用来修改一条手势线的动作；该图形对象定义或包含一个或多个动作作为属性的一部分。 

在这个例子里，一个或多个图形对象，它们自己可以调用至少一个动作，可以被放置，绘制或以其他方式被呈现于屏幕上。然后通过绘制一个“圈”或它的等同物以碰触一个或多个图形对象，由这些图形对象相关联的，引发的，启用的动作或者被这些图形对象呈现的动作可以被应用到一个手势对象上而定制成一个手势对象的动作，如一条线。 

如图127所示的这个方法，与为一个手势对象定制一个“播放音频”动作相关。如图127所示的动作笔画(一个带“圈”，另一个则不带)与可以引发一个动作的对象相碰触。在这个例子中对象是可引发音频播放的一个绿色球体。对象动作的条件可以被用来定义一个手势对象的动作。使用这个对象的条件是在使用一个或多个对象以定义一个定制手势线的动作的选项。该选项可以通过很多方式被启用或不启用，包括：(1)语音的；(2)手势的—包括但不仅限于执行或绘制一个手势；(3)绘制一个或多个对象；(4)在一个菜单里选择或它的等同物等等。如图127所示的语境笔画被绘制以碰触一个文本对象：“一个或多个声音文件。”这个短语可以作为系统的“已知短语”而存在。这个短语可以是一个声音或声音集合的等同物，可以包括一个音频混音器等等。 

如上所述，通过绘制一个箭首线，并在线的末端折回，手势对象笔画则被指定。系统识别这样一个折回，并把一个白色箭首或它的等同物置于这个笔画的末端。为了执行手势线的定制(在这个例子里是一条棕色的虚线)，用户点击或轻拍白色箭首。一旦被定制成一条手势线，一个用户可以绘制上图的棕色虚线以碰触一个或多个音频文件，音频混音器或等等并继而引发这些对象的音频被播放。一个“选择器”可以被用作把棕色虚线定制成一条手势线的部分。在这个例子里，在一个或多个对象被该棕色虚线手势线碰触后，需要一个用户输入来引发“播放”动作。 

图128所说明的一个例子里描述了为一条手势线定制一个“延缓”选择器的两种方法。其中一个展示了定制一条手势线的语境笔画、动作笔画和手势对象笔画。新引入这个定制流程的是一个“选择器”。如图1的流程图以及下列等等定义的。一个选择器是一个可选的手势，当应用于语境对象时，被用来触发这个语境对象的动作。在这个例子中，语境对象是“一个或多个声音文件”。一个选择器可以被语境笔画的调节器箭头引入选择器对象，如图128的左面所述；或者被动作笔画的调节器箭头引入选择器对象，如图右面所示。如果一个选择器被指定，即当一个手势对象/线被定制，为手势对象定制的动作(在这个例子中一条棕色虚线)，在手势对象被应用于语境对象时并不被调用，比如，被绘制以碰触一个或多个声音文件或它们的等同物。而动作“延缓“是当一个用户点击选择器的符号或对象而选择器被激活时才被应用。 

在图129的手势例子中，一条单线的连序线被绘制以定制一个手势对象。一个被识别的图形元素突出线杆再次被应用，但在此例中它指出的是笔画类型的改变。即，每个图形元素的发生(这里指的是涂鸦“M”元素)被用来区隔单线的组成部分。例如来自于动作笔画的语境笔画与绿色球体相碰触，来自于手势对象笔画指向棕色虚线手势线。定制手势线的最后步骤是点击白色箭首，该箭首在当定制单线被绘制、鼠标被松开的时候出现。 

下一个例子说明在不借助系统识别形状的情况下，应用一条定制线。如图130所示，在这个例子里“语境”被用来定义对以下绘制线的操作。这个语境包括：绘制一条线的第一部分并和一个有效的语境相碰触，接着继续和一个有效的动作对象相碰触并且最后碰触一个可以被用来定制成一个手势对象的对象。当绿色球体被点击的时候，这个早先被定制成一个音频元素的绿色球体的动作可以是在打开/关闭功能之间切换；在球体被点击的时候，其颜色被改变，并引发音频回放的开始或停止。在这个例子里球体变成亮绿色并且引发一个音频的回放、并且当被激活以停止回放时球体变成深绿色。 

[0301]一条手势线的自身有一个动作。如果手势线不包括线段(它们自身可以引发一个动作)，那么该线被绘制或以其他方式呈现后的仅有动作就是，来碰触一个有效的语境(对于这条手势线而言)。如果一个选择器被定制到这条手势线，则需要激活这个选择器来调用该手势线的一个或多个动作。 

但是还有其他的条件可以影响上述手势线的动作，包括为一条手势线添加线段。这些线段的有些方面在判定动作的时候必须被考虑在内。一条手势线的每个线段都可以调用一个或多个动作。判定一条手势线段动作的方法是，使用一个对象调用一个作为其自身对象部分行为和/或属性或其他定义的特点的动作。比如，对象和设备，即，一个旋钮或调节杆，可以调用动作“可变控件”。什么是可变控件？例如，音频音量、图片亮度、色调和饱和度等等。可以由很多因素决定。这些因素可以包括以下内容： 

1)一个对象传达一个动作，像“音量”或“色调”，等等。在这个例子里一个对象或它的等同物可以被呈现(即，被绘制或输入)或拖拽以和某个对象相碰触，或语音发声，并且该对象传达的动作会引发所碰触的设 备或对象传达或显示被上述对象传达的动作。 

2)一个对象可以在一个特定的语境被用来与另一个对象相碰触，被碰触的对象被引发以创建或传达或显示一个特定的动作。 

3)一个语音命令。一个口头命令可以引发一个动作被应用到一个对象。 

回到如图110和111的例子里所示的绿色球体手势线，每个球体的绿色阴影可以从浅变深以指明一个开的状态(浅绿)和关闭的状态(深绿)。如果一个分开的音频文件被上述的每一个球体所控制或被赋予，则因为所有的球体是浅绿色(指明是一个“开”的状态)，当包含上述球体的手势线被绘制的时候，所有的音频文件都可以开始播放。如果用户)想要使用这些绿色球体去链接、赋予或通过各种幻灯片或图片与它们的音频文件相关联，当这条线被绘制的时候音频文件播放可以引发杂音。因此，手势环境必须提供一些方法，通过应用一个控制行为而告诉绿色球体音频手势线覆盖绿色球体的行为，即播放音频。 

就图131而言，为了创建一条手势线，一个调节器的箭头可以被绘制以碰触一个定制箭头。语境笔画、动作笔画、和手势对象笔画指向一条从前例中所熟悉的棕色虚线。在用户绘制了手势对象笔画之后在白色的箭首被点击之前，用户绘制了一个调节器箭头以碰触一个手势对象笔画。一旦手势箭头被绘制，一个文本光标在箭首附近出现。接着调节器文本可以被输入，以进一步定义当前由箭杆或它的等同物的动作笔画碰触的对象所定义的动作。例如，可以输入调节器文字“用链接的对象来播放”或“由一个赋予而播放”或“用幻灯片来播放”。接着当手势线被绘制的时候，声音文件不会播放，但是音频文件会保持一个“开”的播放状态，等待被链接到一个对象，像一个幻灯片播放里的幻灯片或被赋予一个对象，比如一张图片。 

比如，通过在一个声音文件和一个幻灯片播放的一张幻灯片之间创 建一个链接，播放幻灯片时也将播放被链接的音频。创建一个类似的链接到一张图片，造成的结果是可以在点击这张图片的时候也播放被赋予的音频。如果音频文件处于“关”的状态，点击被链接的对象不会引发音频文件的播放。因此这些音频文件需要被赋予或链接到一个“开”状态并且接着用其他动作(例如一个“选择器”)来引发它们播放。 

另一个方法是创建一个调节器箭头并输入文字“关闭音频文件。”其结果是所有的浅绿色球体都被设成了深绿色，形成一个“关”的状态。这样，线条的绘制就不会引起绿球中所赋予的音频文件被播放。这也可能是由像触摸或点击一个在手势线里的绿色球体线段等其他的动作引起的。 

[0307]就图132而言，说明一个使用拖拽和放下(动作)以修改一条手势线的定制箭头的例子。于此是一条拥有被系统识别的图形元素的单线连续线以区隔一条单线定制线的语境笔画、动作笔画、和手势对象笔画部分。另外，用户输入或调用一个指明“暂停回放”的文本对象或类似的对象。在这个例子中，动作“播放”(由绿色球体调用，而绿球定义了棕色虚线手势线被定制的动作)被修改成“暂停”。 

语音命令也可以被用来为一条手势线修改一个定制箭头。在触摸或点击一个指令箭手势的白色箭首之前，一个用户可以触摸手势箭头的任意一部分(可以是连续绘制或非连续绘制箭头)然后声明一个字或一句短语以修改手势对象的定制。比如，一个用户可以如上述例子点击红色指令箭手势并且说：“当使用语音命令‘播放’时，播放音频。”在这个例子中当用户在语境里绘制手势线以产生音频回放，音频回放可以受一个语音命令支配：“播放”。没有语音片段“播放”就没有音频会被播放。这个动作即是一个语音“选择器”。 

手势环境也提供至少一个方法以更新一条手势线。这样的更新包 括，但并不局限于，添加、修改或删除一个语境、动作或改变手势对象线自身的属性。一个更新手势线的例子，如图133所示，重构绿色球体线段手势线。如果该线太长以至于无法在一个特定的情况下被显示，它可以通过创建至少一个剪贴边界被更新。如图顶端显示的线条，用户可以绘制一对剪贴手势线，可以截短手势线的显示。结果如图的底部所示，超出剪贴线位置的手势线的末端被剪贴。超出剪贴边界的线依然存在只不过被边界隐藏了。比如，把绿色球体线向右面拖拽，线段会显现更多左端部分，而右端的部分则在超出右边剪贴边界处消失。 

用户可以通过在一条手势线上添加线段而更新该手势线。就图134继续以绿色球体线段手势线而言，可能需要为这条线添加一条或更多的线段。如示，一个新的球体被添加到线条里并通过拖拽与该线条的顶部相碰触。当球体与现有的线条相碰触，该球体在它与线相交的点被插入，这个插入可以在鼠标被放开的时候发生，或是一个自动的操作，需要一个语音命令，例如，“插入”或其他任意一些动作。这样的插入造成的一个可能的结果可以是现有的线条加长了一条或多条音频线段，并且被插入的线段与原来线条中的其他每一个绿色球体的线段长度相同，加长的线条如图134里的下面所示，很明显该线条上有七个球体而不是原始手势线上的六个。 

手势环境也提供了许多把线段插入一条手势线的绘制方法。它们的确包括了可以表现一个逻辑或用手势线或箭头传达一个动作的所有线条。比如，一个插入箭头可以从一个对象被绘制并且与一个线条样式或手势线上的某点相碰触。一条不传达动作或表现逻辑的线仍旧可以通过对其实时修改被用来引发一个插入。一个实时修改的例子是当线被绘制的时候，应用一个语音片段，例如“插入”。 

同样地，一个文字对象可以被输入或以其他方式被创建，即通过语音方法或通过触摸一个激活功能或动作或其等同物的对象。这个文字可以被拖拽以碰触一条线并且这个碰触会调用被该文字传达的动作，像 “插入”。 

创建一个手势对象的另一个方法是在系统代码中使用一个或多个字符以定义一个或多个语境或动作。在这个方法中，系统代码被呈现于一个环境中以便它可以通过图形方法被访问，如使其被手势定制线或箭头的绘制所碰触。作为一个例子，在系统代码中的一个或多个字符可以被一个图形绘画所碰触，如一个红色箭头。如果系统代码被用来定义一个或多个动作，那么就需要绘制一个手势对象定制线的动作笔画以创建一个手势对象，该笔画与系统代码中的定义所需动作的一个或多个字符相碰触。存在于系统代码中的各种文字的线或现有的字符会变成为一条手势线定义一个或多个动作的动作对象。 

有各种使用图形的方法碰触源代码里的字符。这些包括，但不仅限于，用一条绘制线碰触文字，高亮显示文字，环绕文字等等。以图135为例，系统代码中的各种线被呈现于一个VDACC里。这些代码的线条可以被作为一个文字对象呈现于一个无戒空间的主界面或在任意一个计算机环境里，如一个桌面显示。一个手势对象定制箭头的动作笔画被绘制以碰触一个被高亮显示的代码文本部分以定义一种特定的文字样式。在这个例子里，它是粗体，28点，下划线，comic Sans MS字体，非斜体的文字。这个源代码文字定义了指令箭手势的动作，从而也定义了为定制手势对象而绘制的指令箭手势。 

图136也显示了各种系统代码的线。系统代码的字符与一条末端是一个圈的绘制线相交，意味着这是一个手势对象定制箭头的动作笔画。如本图所示的线条绘制消除了如前面的实例所示的高亮显示源代码文字的需求。 

在图137里一组系统代码的列表被再次显示在一个VDACC里。这些线代码可以被呈现为无戒空间主界面中或任意计算机环境中的文字对象，如一个桌面。一个手势对象定制箭头的动作笔画被绘制以选择定 义一种特定文字类型的那部分代码。在这个例子中，粗体，28点，下划线，comic Sans MS字体，非斜体文字。这个文字描述会作为绘制一条手势线与一个或多个文字对象碰触的动作结果。 

图138显示了一个计算机系统700。计算机系统700包括：一个输入设备702，一个供用户输入听觉指令的麦克风704，一个显示设备706，与一个处理设备708。输入设备702可包括一个鼠标、一个键盘、一个触摸屏、笔/手指和/或鼠标输入设备以及任何其他设备。用户可通过麦克风704向计算机系统700发送指令。处理设备708包括一个磁盘驱动器710、一个内存设备712、一个处理器714、一个输入接口716作为输入设备702与处理器714之间的接口、一个音频接口718作为连接麦克风704和处理器714的接口、一个视频驱动器720驱动显示设备706、一个无戒空间用户界面722、以及一个笔画逻辑模块724。当笔画逻辑模块724被处理器722在无戒空间UIS722环境中执行时，724将指示处理器714执行如上所述的方法。无戒空间用户界面722与笔画逻辑模块724可以存储于一个计算机可读设备，如硬盘或光驱等设备中，也可载入内存712以被处理器714执行。 

在一个实例中，当笔画逻辑模块724被处理器714执行时，724会指示714执行一个控制计算机操作的方法：通过在显示设备706上显示图形对象，并通过用户与图形对象的交互而使用户输入进入计算机系统。控制计算机操作的方法包括以下操作：使用计算机系统的笔画生成设备生成至少一个动作笔画，以该笔画碰触计算机系统显示设备所显示的一个对象，而碰触的对象是根据来自计算机系统的至少一个输入设备的用户输入。上述的动作笔画能够：至少将一个动作赋给一个手势对象；能够使用笔画生成设备生成一个语境笔画、而该设备可根据来自至少一个输入设备的用户输入为所述图形对象生成所述动作的语境定义；能够使用笔画生成设备生成一个图形笔画，并根据来自至少一个输入设备的用户输入以该笔画碰触一个图形对象，并使得该目标对象手势成为与所述 动作与所述语境定义相关联的目标对象。 

那些技术熟练的用户能够欣赏笔画逻辑模块724在系统，硬件，或系统和硬件的结合实现。 

前述关于本发明的实例描述并不意味着本发明已被充分地精确展示或已没有遗漏或局限，在不违背本发明的精神和不超出本发明范围的基础上，可以根据上述的教导作出许多修改和变动。上述实例最好地解释了本发明的目的和它的应用实例，从而允许其他本领域技术人员可在各种实例中最好地使用本发明，且能以各种变化来符合预期的特定目的。 

Claims (58)

1.一种使用手势对象进行控制的计算机系统，其特征在于，所述计算机系统包括：

一个显示设备；

至少一个输入设备；和

一个笔画逻辑模块，响应至少从一个输入设备处接收的用户输入而生成至少一个动作笔画，以碰触一个被显示于显示设备的对象，所述动作笔画被定义成至少把一个动作赋予一个手势对象；生成一个语境笔画以响应一个至少从一个输入设备处接收的用户输入，所述语境笔画能够为所述特定的被赋予所述手势对象的动作生成一个语境定义，并生成一个手势对象笔画来响应一个至少从一个输入设备接收的用户输入，所述手势对象笔画碰触一个目标对象手势，把这个目标对象手势变成一个与所述特定的动作和所述的与语境定义相关联的手势对象。

2.一种使用手势对象控制计算机的方法，其特征在于，所述方法包括：

使用一个计算机系统的笔画逻辑模块生成至少一个动作笔画，根据从计算机系统里的至少一个输入设备处接收的用户输入来碰触一个在计算机系统里的显示设备上显示的对象，所述动作笔画能够被定义成至少把一个特定的动作赋予一个手势对象；

使用一个笔画逻辑模块生成一个语境笔画，所述笔画逻辑模块能够为所述从至少一个输入设备处接收的用户输入而被赋予的所述手势对象为所述动作生成一个语境定义；并且，

使用一个笔画逻辑模块生成一个手势对象笔画，这个笔画逻辑模块能够从至少一个输入设备处接收的用户输入而碰触一个目标对象手势，把所述目标对象手势变成一个与所述动作和所述语境定义相关联的手势对象。

3.根据权利要求2所述的控制计算机的方法，其特征在于，所述至少一个动作笔画包括一个作为指定一个动作笔画而在计算机系统里被识别的动作图形元素。

4.根据权利要求3所述的控制计算机的方法，其特征在于，所述的动作图形元素包括由所述的动作笔画形成的形状。

5.根据权利要求4所述的控制计算机的方法，其特征在于，所述的形状包括在所述的动作笔画中形成的圈。

6.根据权利要求4所述的控制计算机的方法，其特征在于，所述的动作图形元素由在所述动作笔画中的涂鸦“M”手势形成。

7.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象笔画被绘制成一条朝所述的目标对象手势延伸的线，所述的线在与所述的目标对象手势相邻处有一个端点并且有一条箭首线从所述端点处延伸出来向后退形成一个锐角。

8.根据权利要求7所述的控制计算机的方法，其特征在于，所述的箭首线在笔画的末端是被识别的图形元素，所述图形元素定义一个手势对象笔画。

9.根据权利要求8所述的控制计算机的方法，其特征在于，在所述的箭首线被识别的时候，所述箭首线被计算机呈现的箭首所替换，用户触摸所述的计算机呈现的箭首把所述的目标对象手势转变成所述的手势对象。

10.根据权利要求2所述的控制计算机的方法，其特征在于，所述的动作笔画和语境笔画被绘制成能够碰触相同的对象。

11.根据权利要求2所述的控制计算机的方法，其特征在于，更进一步包括回调所述手势对象的步骤和从所述手势对象的所述特定动作赋予第三个被显示的对象的步骤所述。

12.根据权利要求11所述的控制计算机的方法，其特征在于，所述的生成步骤包括拖拽所述的手势对象来碰触所述的第三个被显示的对象的步骤。

13.根据权利要求11所述的控制计算机的方法，其特征在于，所述的生成步骤包括从一个所述的手势对象绘制一个箭头来碰触所述的第三个被显示的对象。

14.根据权利要求11所述的控制计算机的方法，其特征在于，所述的手势对象是一条手势线，所述手势线赋予所述特定的动作，所述特定的动作是从所述的手势线到所述的第三个被显示的对象的动作。

15.根据权利要求14所述的控制计算机的方法，其特征在于，所述的手势线包含由许多以连续方式连接的线段组成的合成线。

16.根据权利要求15所述的控制计算机的方法，其特征在于，至少一条所述的线段可以被用来定制成从一个所述的动作笔画和语境笔画处得到一个动作和语境赋予。

17.根据权利要求16所述的控制计算机的方法，其特征在于，至少一条所述的线段可以被用来定制成显示或播放选自以下对象的数字内容文件：图片，视频，音频，文本，媒体混音，电子邮件，网络链接。

18.根据权利要求16所述的控制计算机的方法，其特征在于，所述的手势线能够被用户绘制成任意形状或路径。

19.根据权利要求15所述的控制计算机的方法，其特征在于，进一步包括个人虚拟可视设计和控制画布工具，所述个人虚拟可视设计和控制画布工具用来显示多条手势线，每一条都有不同的动作和语境，用以允许用户快速访问各种功能。

20.根据权利要求2所述的控制计算机的方法，其特征在于，所述的动作笔画和语境笔画以及手势对象笔画都是一条连续单线的一部分。

21.根据权利要求2所述的控制计算机的方法，其特征在于，所述的动作笔画和语境笔画以及手势对象笔画都是一条连续单线的一部分，所述连续单线包括被识别的图形元素，所述图形元素由所述动作笔画部分、语境笔画部分和手势对象笔画部分组成。

22.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象是一个数据库手势线，所述数据库手势线至少有一个被赋予动作的数据库。

23.根据权利要求22所述的控制计算机的方法，其特征在于，所述的数据库手势线能够被用来与任意一个显示的对象碰触从而把所述的数据库转移到其他被显示的对象上。

24.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象包含一个文件夹显示，所述文件夹显示具有一个用来存储数字内容的矩形部分和从所述的矩形部分的上边缘延伸出的题签部分。

25.根据权利要求24所述的控制计算机的方法，其特征在于，所述的题签部分包括一个输入部分，用以接收被定制成在所述的矩形部分里的数字内容上执行的动作。

26.根据权利要求15所述的控制计算机的方法，其特征在于，所述的复杂手势线被赋予一张幻灯片，至少一张相应的幻灯片被显示于所述合成手势线中的多重线段上。

27.根据权利要求26所述的控制计算机的方法，其特征在于，进一步包括用户绘制的穿联动作箭头，箭头的每一个最高点都和一条所述的合成手势线的被选中的线段相碰触，用以为幻灯片观看而选择建立幻灯片与所述被选中的线段的关联。

28.根据权利要求26所述的控制计算机的方法，其特征在于，用户绘制幻灯片手势线，用围绕一个图形对象的播放开关来调用显示幻灯片的开/关控件。

29.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象包含一条由多重线段组成的合成线，至少一条线段包含一个控件元素。

30.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象包含一条由多重线段组成的合成线，这些线段之间以连续的方式连接，至少一条线段包含一个控件元素。

31.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象包含一条由多重线段组成的合成线，这些线段之间以连续的方式连接，至少一条线段有一个能够被定制成激活音频/视频的控件。

32.根据权利要求29所述的控制计算机的方法，其特征在于，所述的控件元素选自：旋钮，调节杆，按钮，滑动开关。

33.根据权利要求2所述的控制计算机的方法，其特征在于，进一步包括显示在计算机系统里的选择器对象和从所述动作笔画或语境笔画延伸到所述选择器对象的调节器箭头，该箭头被定制成延缓所述特定的动作直到一个预先决定的用户输入被接收。

34.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象能够被定制代码列表碰触，用以在列表上执行操作。

35.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象包括被继承的语境，所述被继承的语境能够被定制成手势对象的语境的一部分。

36.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象可以被绘制成与另一个对象相碰触，通过这种方式，所述手势对象把它的动作应用于所述另一个对象。

37.根据权利要求2所述的控制计算机的方法，其特征在于，所述的手势对象可以被拖拽与另一个对象相碰触，通过这种方式，所述手势对象把它的动作应用于所述另一个对象。

38.根据权利要求2所述的控制计算机的方法，其特征在于，对所述手势对象的定制为自动执行。

39.根据权利要求2所述的控制计算机的方法，其特征在于，所述方法至少还包括：

把调节器应用到语境笔画上；

把调节器应用到动作笔画上；并且

把调节器应用到手势对象笔画上。

40.根据权利要求39所述的控制计算机的方法，其特征在于，所述的调节器的定义由至少一个语境来判定。

41.根据权利要求2所述的控制计算机的方法，其特征在于，所述手势对象的动作由至少一个语境来判定。

42.根据权利要求2所述的控制计算机的方法，其特征在于，所述手势对象的动作由至少一个语境来调用。

43.根据权利要求29所述的控制计算机的方法，其特征在于，绘制的手势对象等同于在至少一条线段出现在所述绘制的手势对象里之前所预先设定距离的一条线。

44.根据权利要求2所述的控制计算机的方法，其特征在于，存在一个以上手势线的设置用以控制以下的至少一个特征：

手势对象的排版；

手势对象的行为；

手势对象的结构；

手势对象的操作；

手势对象的功能；和

手势对象的属性。

45.根据权利要求2所述的控制计算机的方法，其特征在于，控制、操作或呈现一段数字媒体的手势对象被链接到所述数字媒体；当所述链接到手势线的数字媒体在任何时候被改变，所述手势对象即被自动更新。

46.根据权利要求2所述的控制计算机的方法，其特征在于，包括调节器箭头从一个动作箭头处被绘制并指向一个碰触手势对象的对象笔画；所述的调节器箭头在至少一个数字内容和手势对象之间创建一个链接；并且所述链接自动在所述的数字内容里更新一个或多个所述手势对象的变化。

47.根据权利要求2所述的控制计算机的方法，其特征在于，其中动作笔画是一个带有一个圈的箭头，所述箭头与幻灯片虚拟可视设计和控制画布相碰触，语境笔画碰触一个动画系统播放开关，并且手势对象由一条水平线和一个图像盒组成。

48.根据权利要求2所述的控制计算机的方法，其特征在于，其中动作笔画和手势对象笔画是同一条，都碰触目标对象手势和对象，目标对象手势由一条水平线和一个图片盒组成，所述对象是一个幻灯片虚拟可视设计和控制画布。

49.根据权利要求2所述的控制计算机的方法，其特征在于，如果被绘制成线的手势对象未被计算机系统识别，它会被拒绝。

50.根据权利要求2所述的控制计算机的方法，其特征在于，其中动作被相碰触的对象自动更新。

51.根据权利要求2所述的控制计算机的方法，其特征在于，其中手势对象与多重动作相关联。

52.根据权利要求2所述的控制计算机的方法，其特征在于，手势对象笔画碰触多重目标对象手势，用以将多重目标对象手势变成手势对象。

53.根据权利要求2所述的控制计算机的方法，其特征在于，包括生成多重手势线，并且一条手势线的线段通过绘制线条与另一手势线中相应的线段相碰触而与另一条手势线的线段相关联。

54.根据权利要求7所述的控制计算机的方法，其特征在于，生成了多重手势线，并且一条手势线的线段通过绘制一条穿联线条与相应的线段相碰触而与另一条手势线的线段相关联。

55.根据权利要求7所述的控制计算机的方法，其特征在于，包括被赋予一条手势线的动作通过在一个图形对象上碰触的方式被修改，这个图形对象定义一个或多个动作，或者包含一个或多个动作作为它的对象属性的一部分。

56.根据权利要求7所述的控制计算机的方法，其特征在于，通过拖拽一个对象并且把它放置在一个与手势线相碰触的手势笔画上的方式修改手势线。

57.根据权利要求2所述的控制计算机的方法，其特征在于，所述的动作图形元素包含一个由所述的动作笔画形成的被识别的手势。

58.根据权利要求57所述的控制计算机的方法，其特征在于，所述的被识别的手势是一个圈。

Images