CN102812426A - 一套人机交互方法及界面 - Google Patents

Abstract

提供了一种人机交互机制及界面，尤其是适用于多点触摸的人机交互机制及界面。提供了一种在触摸操作环境下的图形界面构造方式和方法，从而充分利用多点触摸设备的优势，以较少的操作输入更丰富的操作指令信息。本方案主要描述如何使用多点触摸提供更丰富的输入信息，如何以较少的步骤表达具有更复杂结构的操作命令，以及如何使界面更加智能，符合人体工程学，更易于使用手的多个部分同时操作。

Description

一套人机交互方法及界面 技术领域

本发明涉及一种人机交互机制及界面，尤其是适用于多点触摸的人机交互机制及界面。

　　本发明提供一种在触摸操作环境下的图形界面构造方式和方法，尤其是充分利用多点触摸设备的优势，以较少的操作，输入更丰富的操作指令信息。本发明将主要讲述如何使用多点触摸提供更丰富的输入信息，以较少的步骤表达具有更复杂结构的操作命令，以及使界面更加智能，符合人体工程学，更易于使用手的多个部分同时操作。

背景技术

随着多点触摸屏的普及，系统可以获取比单点触摸时代更丰富的操作信息，因此需要与之相匹配的新的人机交互方法及界面来充分使用这些信息。

技术问题

技术解决方案

　在本发明中，多点触摸屏被视为不仅仅能以输入屏幕上多个触摸点的坐标，还能输入屏幕上的触摸图像，触摸点并不一定仅仅是点，也可以表示一片触摸区域。例如，当手掌 触摸触摸屏时，如果系统仅能获取坐标信息，则仅仅视为一个触摸点，如果系统具备获取触摸图像的能力，则手掌的触摸点实际上对应了一片区域。

　　本发明对触摸屏的使用者的肢体的各部分及操作工具等提供一套普遍适用的分类方法，特别是以一个符合人体工程学、便于操作的原则，对使用者的肢体的各部分和触摸工具 分配相应的功能，通过对使用者的肢体，尤其是双手的各部分进行划分，并赋予各部分一般情况下对应的功能、各部分的关系及行协作的结构，使使用者的肢体，尤其是双手，成 为具有通用性的操作工具。通过对使用者的双手各部分统一的设置和定义，使系统和程序对双手有一个完整的概念。当触摸发生时，系统不会仅仅感知到被触摸设备检测到的部分 、不会将被检测到的各部分分开看待或零散的分组而忽略了它们之间的结构。本发明使系统有手的概念，使系统知道使用者是在使用一个叫做手的，具有手的形状和结构的工具来 操作。系统可以根据触摸点所来自的不同的触摸物，例如肢体部分或触摸工具，对被触摸点或对被触摸点触摸的对象或区域进行分组，并且根据触摸点在手上对应部分的彼此之间 的位置关系，来获取丰富的输入信息，尤其是获取屏幕上的多组区域或对象。系统通过知道使用者在以手进行操作，知道手的形状和结构，就可以通过触摸检测设备获取的信息， 尤其是多点触摸屏获取的触摸图像，来判断出使用者手的姿态，即使是没有与屏幕发生触摸的位置也可以判断。例如图19，使用者屈起了一根手指，系统根据触摸图像便可以判断 出来。另一只手抬起了无名指和食指，系统也可以根据触摸图像判断出来。这种功能对于在多点触摸操作方式下输入信息，例如呼出选单，打开程序，呼出对象，以及根据触摸图 像生成或控制3D物体很有用。也可以通过这种方式判断使用者选取了哪个选项，例如图21，使用者的左手中指离开了屏幕，或者没有与屏幕发生触摸，系统便认为使用者选取了相 应的选项。

系统之所以能通过部分信息就能判断出使用者肢体，尤其是手的姿态，是因为系统预先内置了使用者将要使用的操作工具结构和形状，以及各种姿态下对应的触摸检测设备所 获取的信息，尤其是触摸屏获取的触摸图像等数据。这种方法并不仅限于手，对于其它触摸物同样适用。为了能更精确的判断使用者的手的姿态以及获取更丰富的操作信息和细节 ，往往需要获取特定手的数据。例如，每个人的手的大小，各个手指的长度差异是不一样的。在某些情况下，需要根据各个触摸区域的尺寸，以及各个触摸区域的尺寸差异，距离 等信息，结合使用者的手的各部分的尺寸数据，来以较少的触摸信息，更精确的判断各区域对应的触摸物和手部姿态。例如，系统可以根据手指长度的差距区分并在一起两根手指 是右手的中指和食指还是左手的中指和无名指。进一步，手的尺寸信息还可以用来识别操作者的身份，使不同操作者的相同操作，可以自定义对应不同的功能。最基本的，使用者 可以让系统截取保存某一触摸图像，并告知系统此时自己的肢体是什么姿态，触摸图像不同部分对应的肢体位置，甚至只告诉系统某一触摸图像在某种情况下对应什么功能，以此 来解决某些特殊情况下的误识别和识别不灵敏的问题。应当理解，这种通过预置触摸物形状和结构以及对应的触摸检测设备所获取的信息，尤其是触摸屏获取的触摸图像等数据， 并不一定只限定于手，更不一定只限定于一只手。系统同样可以预置两只手交叠在一起，其中一只手的小臂的一部分压在屏幕上对应的触摸图像，或者根据预存储的手的触摸图像 及手的结构来识别出各种姿态下手的触摸图像对应的手的姿态。当使用者自定义触摸设备检测到的触摸信息，例如触摸图像，对应的肢体或触摸物状态及位置时，可以先截取触摸 信息，例如触摸图像，之后让使用者将屏幕上显示的虚拟的肢体调整到此触摸信息所对应的肢体或触摸物的姿态，并设定触摸图像的不同位置对应的相应的触摸物体。或仅仅设定 此触摸图像对应的功能。应当理解，通过触摸信息，例如触摸图像来确定肢体或触摸物姿态的过程，并不仅仅是静态的，而是动态连续的过程。系统可以通过连续的触摸信息，例 如触摸图象，实时的推算出使用者的肢体的动作。虽然在某些时候不一定精确，但是能够给相关程序提供确定执行相应操作的必要的关键信息。

　　专门的事先预置好使用者的肢体信息，在某些情况下，也可以用临时获取的方式获取对比信息。例如使用者用右手的除大拇指外的4根手指并在一起，拍击一下屏幕上的一个或 多个对象，系统记录下此时的触摸图像。在拍击屏幕时，使用者的小拇指下方或附近显示“复制”图标，使用者的食指附近显示“剪切”图标，一个长条的沿着四指轮廓的图标显 示“粘贴”，如图26所示。之后使用者用除小拇指和大拇指外其余的3根手指拍击一下屏幕，则对应“复制”操作，用除大拇指和食指外其余的3根手指拍击一下屏幕，则对应“剪 切”操作，用4根手指一起再拍击一次，则对应“粘贴”操作，多根手指并不是一定要同时接触屏幕，例如在粘贴时，为了保证准确，可以先让中指接触屏幕，选取好位置之后，其 它手指再接触屏幕，发生粘贴操作。整个右手的五指叉开再拍击，则对应将这几个对象铺满五指覆盖区域的方式排列显示。系统通过把第二次拍击屏幕时的触摸图像与第一次拍击 屏幕时获取的触摸图像进行对比，确定是哪几个手指以何种姿态触摸屏幕。某些操作可以对之后的触摸指令发生影响，例如，在复制了某个对象之后，在其它位置，或者仅限于同 窗口内的其它位置，四根手指拍击屏幕将会对应粘贴操作，如果刚刚没有进行复制操作，四根手指拍击屏幕是对应其它操作的。

手的各部分的常用用途。

　　如图10所示，左手100，右手101，1、2、3、4，为左手的4根手指，大拇指5，12为左手手掌，13为左手手心， 6为右手的大拇指，7、8、9、10为右手的4根手指，11为右手手 掌，14为右手手心。如图7所示，左手手指侧面130，左手侧面131，左手手掌侧面132，右手手指侧面140，右手侧面141，右手手掌侧面142。系统将使用者的手分为左、右手，每只 手分为4根手指和大拇指以及手掌、手心和手侧面，每根手指按照关节分为3段，大拇指分为两段，每只手的手掌分为左右两个部分，手心也分为左右两个部分，手侧面也可分为手 指侧面和手掌侧面两个部分。手掌、大拇指和其它手指可以单独进行前后左右滑动以及敲击屏幕，按压屏幕等操作。

在本发明中，提到手指、手掌等位置的时候，尤其是手指，如无特别说明，都表示可以是手指的某一部分或全部，尤其是指尖和整个手指，而并不是说必须是整个手指。指尖触 摸屏幕和手指用大面积触摸屏幕，可以分配不同的功能，尤其是一根或多根手指用较大的面积在屏幕上滑动，可以用于呼出选单或窗口及切换或选择内容等操作。 如图27，手指7用较大面积滑过屏幕803，呼出选单251的同时，可以继续滑动对选项812的内容进行切换或选择。被选择的选项可以是被手指触摸的选项，也可以是随着手指的滑 动，系统沿滑动方向依次高亮选取相应的选项。这使得使用者呼出选单以及选取相应选项只要一个步骤，而不必先呼出选单或控制界面，再选取相应选项。选单的外观应当根据手 指的姿态和滑动方向进行调整，让选项沿手指的滑动方向所在直线或曲线依次排列，例如图28，手指沿箭头所示方向滑动，且手指呈图中所示姿态和角度时，选单251将由图27变成 图28所示样式。当手指滑过或选取相应选项时，选项应当变大，方便使用者看清选项的内容，使使用者在使用用力按压屏幕等方式确认选取选项时，不会因为不小心小范围移动手 指，而切换到其它选项。当随着手指的滑动，系统沿滑动方向依次高亮选取相应的选项时，在高亮一个选项后，使用者的小范围滑动手指，同样不应使系统切换到下一个选项，以 防止误操作。

　　手的多个位置，例如多根手指，或整只手也可以一同进行滑动、旋转、拍击、触摸或按压屏幕等操作。

　　手的多个位置，例如多根手指，或整只手一同进行滑动，旋转，触摸或按压屏幕等操作，可以用来呼出选单或生物界面或自由式图标或页面等对象，同时，随着用于呼出选 单或生物控制区的手指的继续滑动或旋转，或加大对屏幕施加的压力，可以对选单/生物控制区或选单/生物控制区/窗口的内容进行切换或选择。如图22， 使用者的手或4根手指或 4根手指的指尖，沿箭头方向滑动出现选单825，手指继续滑动，依次选取813、814、815、816选项。大拇指可以接触或不接触屏幕，在其它手指滑动时，大拇指可以不动或向其它 方向滑动，这将呼出不同的选单825。被选取的选项将高亮显示，没有被选取的选项可以半透明显示。在选取相应的选项之后，使用者可以直接将手离开屏幕，被选取的选项对应的 功能将被执行。使用者如果不想使用任何选项，则可以继续滑动手指至不选取任何选项。也可以是，使用者用不同压力按压屏幕，使用此时被选取的选项。被选取的选项可以是正 对使用者某一手指的选项。例如，使用者的中指依次指向不同选项，就像钟表的表针一样。图25是一个实例。

　　进一步的，在其它位置，例如4根手指附近或下方，还可以同时显示所选取的选项的下级选单。选项是会随着使用者的手移动而一起移动的，始终保持在使用者的手指易于操作 的位置，当选取手指附近的某一选项时，下一级选单会出现在825上，更下一级选单出现在38、39、40、41上。选单可以使用后边提到的生物控制区的形式，也可以是自由式图标， 可以设定为选项是与其附近的手指对应的，使用者通过滑动相应手指，或使用相应手指以不同轻重的压力按压屏幕来使用相应选项，例如连续按压两次屏幕或图标，还可以在手的 部分部位，例如手掌，保持对屏幕的触摸的情况下，使用手指敲击屏幕或图标，执行与之对应的选项的功能，还可以抬起或屈起某根手指，则与之对应的选项将被执行。建议以设 置为屈起手指的同时将手指抬离屏幕，或将此过程重复多次，则手指对应的选项将被执行。因为这个动作最明显，不易发生误操作，且对使用者来说也很自然干脆。当然，也可以 设置为通过点击相应选项图标来使用选项。不同的选项可以使用不同的操作方式，例如39、40、41使用双击图标的方式选择使用，38使用单击的方式选择使用。可以设置为如果手 的全部触摸点离开屏幕，则选项消失。选项也可以设定为在手离开屏幕后渐渐变淡，如果手点击其它位置则选项马上消失，这样使用者可以将手全部离开屏幕，用手来触摸选取选 项。如果使用的是具备近距离感应功能的触摸屏，则可以设置为手远离屏幕选单才消失。这个可以作为后边提到的生物界面的一个实例。另一种情况是随着手指的滑动，813、814 、815、816处显示不同的选项。

　　大拇指在手指滑动的同时也可以向不同方向滑动或保持不动，这将对应不同的操作，例如呼出不同的选单。

　　触摸点的离开也是一个重要的事件，尤其是在选取了对象或区域，并执行了某些操作之后，用于选取对象或区域的触摸点的离开可以视为一个阶段的操作的结束，并触发相应 的系统事件，例如呼出选项，切换已有的选项等。例如图15中，手掌12的离开便会导致选项手指下方的选项38、39、40、41的改变。图16是两只手的触摸图像，右手选取了对象51 、52、53，右手任意部位或者整个的离开可以使选项38、39、40发生改变，或者在其它位置呼出选项或其它进一步操作。　　有些时候使用者希望能不经任何操作，例如钉住选单或锁定选取，便将呼出例如生物界面的肢体，或选取对象的肢体，例如手指，离开屏幕，以能够让手指比较自由的操作对 象，尤其是呼出的选单。但是为了能提供流畅的操作体验，程序又需要设计成如果特定相应肢体离开屏幕，选项、控制区等便直接消失，或者触发相应的事件。

对于这种情况，可以使用能感知距离屏幕 一定范围内的触摸点3D触摸屏，例如某些电场感应式触摸屏，并结合为系统增加一个触摸点对应的触摸物或触摸物所在的手没有触摸屏幕，但也没有离开屏幕的状态来解决。可以 设定为如果触摸物，例如手指或者触摸物所在的手与屏幕的距离在一定范围内，一般不大于1厘米，则视为处于此状态，此状态可以称为接近状态，触摸物远离屏幕则称为离开状态 。此状态下，因触摸点离开而会发生的某些系统事件将不会发生，但要求触摸物触摸屏幕才能进行的操作，例如拖动被触摸的对象，或者被触摸的图标会变大等，也不会发生。例 如，某些选单、自由式图标、生物控制区等在相应的触摸点或触摸点所在的手离开后将会消失，但是如果系统能感知到触摸点和手仍在距离屏幕一定距离的范围内，则选单等并不 会消失，这样使用者可以让手指等离开屏幕，用点击等比较干脆的方式操作选单等对象，又可以在手真正离开屏幕后让对象立刻消失。

系统同样应设置并区分触摸点对应的触摸物离开屏幕和触摸点对应的触摸物所在的手离开屏幕这两种事件。

对于相应触摸点所对应的触摸物所在的手离开屏幕才会触发的事件，使用者可以通过将所在手的手掌或手的其它部位接触屏幕来避免因为手指的离开而触发事件发生，使使用者可以抬起手指 较自由的操作，例如操作选单等对象。

许多操作，例如后边提到的多触摸点协同操作，以及很多选单等，设定为如果特定的触摸点离开，例如操作它的触摸点离开，则表示一个操作阶段的结束，选单的内容会发生 变化，或者系统会给出结束操作时各种操作的选项。

手指的作用。

手指可以通过按压、点击等方式选取对象，也可以通过前后左右各个方向上滑动、敲击以及用不同轻重的压力按压屏幕，例如重轻重按压屏幕、相互靠近等发出各种指令，或 操作选项，在滑动控制区内进行各种操作，操作自由式图标等。在多点触摸环境下，选项的位置不是固定的，手指可以作为选项出现的位置，例如图15所示，40、39、38是几个选 项，在发生了特定事件之后，它们直接出现在了手指1、2、3、4的下方。手指在保持对屏幕的触摸的情况下，以不同轻重的压力按压屏幕，不同的压力顺序，例如连续重压两下， 或重轻重，可以作为不同的指令，系统可以根据连续几次压力，计算出压力的平均值，大于压力平均值的视为重压，小于的视为轻压，这种操作可以称为多重按压。如果多根手指 附近出现了与之对应的选项，使用者通过增加相应手指的压力来选取相应的选项时，往往会不自觉的也同时增加了其它手指的压力，这时，系统可以判断压力最大的，或者压力增 加幅度最大手指为使用者希望使用的手指，并高亮相应选项，这个过程应当是实时的，因为使用者如果发现系统选取的选项不正确会根据高亮的选项调整各个位置的压力，以使系 统选取正确的选项。使用者各个手指的力量是不一样的，为了能更精确的理解使用者的意图，可以使用校准程序。系统让使用者在不同情况下，例如手指叉开、并在一起、仅仅指 尖接触屏幕或者手指大面积接触屏幕的情况下，让使用者用通过保持其它手指触摸屏幕的情况下用相应手指按压屏幕的方式选取对应的选项，系统记录下此时手的各部分的压力分 布图，使用者不选取任何选项时手的各部分压力分布图等信息，参考此信息可以使系统在以后判断使用者的操作意图时更加准确。

大拇指。

大拇指的特征极其明显，常常可以作为系统判断哪几个触摸点属于一只手的重要参照物。大拇指可以用于作为确定许多操作的关键点，例如选取操作。很多操作都只有在同一 只手的大拇指也触摸屏幕时，其它触摸点才能执行相应的操作，或者同样的操作会产生不同的效果。例如，可以设定为只有在所在手的大拇指接触屏幕时，其它的手指才能通过相 应触摸指令呼出选单等对象，或者大拇指的接触会使同样的触摸指令呼出不同的对象。大拇指还可以用于切换手此时的功能或模式等，也可以对被手选取的对象进行操作，例如保 存被选取的对象，激活被选取的对象，将被选取的对象编成一组等。大拇指很灵活，前后滑动和敲击，按压屏幕都很灵活，可以被赋予很多常用的操作。例如，在后边提到的笼罩 选取方式中，大拇指就可以用来切换手对对象的选取方式，切换是通过触摸点压住对象来进行选取还是通过笼罩进行选取。大拇指还可锁定或解除锁定被选取的对象，使选取对象 的触摸点离开之后依然保持对被选取对象的选取。大拇指还可以用来激活被选取的自由式图标，或将被选取的多个自由图标编为一组，形成一个图标，或者将被手通过触摸或笼罩 选取的图片等对象另存为或添加到剪切板。大拇指可以作为一个标志，大拇指触摸和不触摸屏幕，将使手的其它部分进行同样的操作，对应不同的效果。大拇指还可以用来切换选 项，尤其是生物界面的选项。大拇指可以进行的操作手指同样可以进行。

手掌：手掌是判断哪几个触摸点属于一个手的参照物。手掌可以通过触摸屏幕，向屏幕施加不同压力，左右两边向屏幕施加不同压力等方式向系统输入各种触摸指令，例如切 换选项，尤其是生物界面的选项。手掌触摸屏幕可被用于确定使用者的操作意图，防止发生误操作。例如确认使用者要使用笼罩手势选取对象，或者许多其它操作，如呼出某些选 项等操作只有在手掌，尤其是手掌下缘触摸屏幕时才会发生。手掌也可以作为一个标志，同样的操作在手掌接触和不接触屏幕时将对应不同的功能。左右两边手掌向屏幕施加不同 的压力可以切换选项，例如切换手指下方或与手指对应的选项，尤其是后边会提到的生物界面的选项，或者控制3D物体的姿态，使3D物体发生倾斜等。选取某一区域或对象常常会 触发呼出选单或呼出自由式图标或呼出控制区等操作。

掌心：掌心不和同一只手的其它位置一起接触屏幕时，可以作为一个特殊的触摸物，因为使用者很少会无意识的让掌心单独接触屏幕，因此不易发生误操作。某些对象可以设 定为只有掌心才可以拖动或滑动，移动。

手的侧面：手的侧面可以用来构成轮廓来选取轮廓内的区域或区域的内容。使用者还可以通过在屏幕上滑动手的侧面来呼出选项，自由式图标，程序，控制区等对象。在手掌 执行呼出操作时，可以通过选取一些对象来确定手的侧面呼出的对象的内容。例如，使用者可以同时用其它触摸点触摸其它区域或对象来选取其它区域或对象。整个手的侧面和半 个手的侧面同样的操作可以对应不同的功能，例如，通过滑动手的侧面来呼出对象，手指的侧面，手掌的侧面和整个手的侧面将呼出不同的对象。

可以设置手的不同部位在屏幕上滑动对应滑动或移动不同等级的对象，例如一根或两根手指滑动窗口内的页面，多根手指以较大面积接触屏幕则可以在窗口的任何位置，例如 触摸窗口内的页面内容来拖动窗口，这样可以不必靠触摸窗口的边框来拖取窗口，使窗口不必显示很大的边框，节约显示面积。手的侧面或整只手掌触摸屏幕并滑动则可以切换整 个桌面或页面等更高等级对象的内容。例如，屏幕仅仅显示了桌面或页面的一部分，用两根手指可以滑动屏幕显示的内容，显示不同位置的桌面或页面，用多根手指大面积接触屏 幕或整个手掌或手的侧面在屏幕上滑动则可以切换到不同页面或桌面。

系统可以根据几个触摸点与手掌，大拇指的相对位置确定它们是否在同一只手上。同一只手的触摸点相互之间应当不超过一定距离，且3个以上的触摸点连成的曲线应当符合手的轮 廓特征。

手掌的和大拇指是两个非常有用的位置，就像两个常用的功能按键一样。它们的各种操作，是否触摸屏幕，可以被赋予各种功能：

1，确定各种操作。许多操作只有在大拇指和手掌触摸屏幕或进行了特定的操作后才会被确定发生，例如选取，呼出某些选单或生物控制区等；

2，锁定选取，钉住出现的选单或生物控制区等对象使之在触摸点离开后也不消失等；

3，作为标识信息，使其它位置同样的操作对应不同的效果。例如呼出不同的选单，生物控制区等对象。

4，激发特定的操作，就像快捷键一样，例如激活被选取的呼出式图标。

5，控制同一只手上的其它手指或触摸工具的功能。某些对象只对所在手的大拇指或手掌接触了屏幕的手指或触摸工具的触摸做出响应。或者会改变其它手指的功能。

6，切换选单或生物控制区的选项内容。

手的一个或多个部分都可以视为一个特殊的操作工具，同样的操作由手的不同部分执行可以对应不同的功能。某些对象可以设定为只对特定的操作工具，例如特定的手的部位 或触摸屏操作工具的操作做出响应，或对特定的操作工具的操作不做出响应。手的不同位置或其它不同操作工具的触摸可以作为对不同对象分组以及确定各组之间关系的依据，这 个在后边将进一步说明。

手的一个或多个部分是可以有关联的，或者说它们可以被视为一个整体，不同触摸图像的手可以被视为不同的操作工具，例如，某些对象只对所在的手的手掌接触了屏幕的手指或 触摸工具的触摸作出响应。例如，在屏幕上，只有所在手的手掌接触了屏幕的多根手指的滑动才能呼出选单。又例如窗口只有被所在手的手掌接触了屏幕的两根手指触摸才会显示 出隐藏了的工具栏，一根手指则可以对窗口的内容进行各种操作，以此节约显示面积。或者只有两根并在一起的手指触摸或在窗口内滑动时，窗口才会显示出隐藏的工具栏，这对 屏幕尺寸有限的移动设备很有用，一方面可以节省屏幕面积，一方面在使用者全屏幕看电影时，避免出现持握设备的手的手指误触碰屏幕而滑动出工具栏。某些对象只有所在手的 手掌接触了屏幕的手指或触摸工具才能移动或点击使用。所在手的手掌接触了屏幕的手的手指或触摸工具的功能将与手掌没接触时发生改变，例如，手指在一个滑动区内向不同方 向滑动，可以对应不同的功能。但如果手指所在手的手掌同时触摸屏幕，则手指在滑动区上滑动将移动滑动区的位置。许多不太常用的选项和图标都可以设定为只有在所在手的手 掌接触了屏幕的特定数目的手指触摸相应位置，例如窗口时，才会显现出来，或者手指所在手的手掌接触了屏幕的手指才能点击使用特定图标的功能。在根据选取对象的触摸物对 对象进行分组时，被所在手手掌接触了屏幕的手选取的对象和所在手的手掌没接触屏幕的手选取的对象将被分为不同的组。

系统并不一定要通过触摸图像判断出使用者的肢体状态来执行相应的操作，特定的触摸图像本身就是一种输入指令。例如图23，是将大拇指压在手的下方，这个姿态的触摸图 像就可以作为一种指令，用于呼出选单等操作，尤其是呼出生物界面。

以上说明的手是非限制性的，手的各个部分在本发明中都可以执行以上所述功能或操作以外的操作。在此说明只是为了展示一个手在触摸操作中可以扮演的角色的大体概念。

1， 多点触摸环境下，使用者可以使用触摸图像构成轮廓来确定一个区域，并通过进一步的操作确定或选取此区域、区域内的对象。确定了区域或对象并不一定要选取区域或对象 ，而只是向系统提供了区域或对象。或者说，是系统在需要的时候可以根据屏幕上的触摸图像来对整个屏幕进行划分，选取相应的对象。如图24，使用者将手用笼罩手势放在屏幕 上，系统便获取并确定了被笼罩的区域62，61，被手指15，16、大拇指5，6，手掌11，12，手指之间的位置等手各部分的触摸区等多个区域及区域内的对象，在需要显示某些内容 时，程序就可以按照设定在相应的区域显示。某些时候某些程序将对特定位区域的被确定的对象进行某些操作。例如，在手指或手掌附近显示相应的选项，或自由式图标，生物界面的选项等图形标识，滑动区等，引导使用者的手的各部分进行各种操作。或者当系统赋予了各个手指不同的功能时，就可以在相应的手指附近或下方显示图标等标识告知使用 者此时肢体的这个部位对应的功能，这种方法一方面能帮助使用者进行操作，另一方面也会给使用者带来非常良好的视觉体验。两个手指之间也可以显示相应的选项或标识，引导 使用者靠近两个手指，执行相应操作。程序甚至可以设定在特定的位置显示相应的内容或对象，例如，可以要求在点击某对象的触摸点所来自的手的食指显示某内容或对象，例如选项，窗口等。

使用者选取或触摸了某个对象或区域，便可以在使用者的手指附近显示对象的相应信息，例如文件属性，或者可供操作的各种选项等。例如用61或62笼罩选取了了多个对象，便可 以在15或16附近或下方显示被选取对象的各种属性或可以进行的各种操作的选项。如果使用者将左手放在屏幕上，切换到多重剪切板的模式，用右手的触摸点选取被剪切的对象或 粘贴的位置，则62就可以用于显示此时剪切板内的多个对象。例如，用右手的触摸点依次点击了多张图片，图片被添加到剪切板，则62内就可以显示这多张图片叠成一摞的样子。

如图29，当使用者将多个手指放在照片901上时，其它手指下方显示出的属性信息或可对图片进行的各种操作的选项。如图15，当使用者使用手指拖动一个文件39时，其它手指下方 会显示文件的属性信息40，41。

执行某些操作时，操作将仅对或者不对被选取的对象起作用，或者将仅受或者不受被选取的对象的影响，执行另一些操作时，操作将仅对或者不对被确定的对象起作用，或者将仅 受或者不受被确定取的对象的影响。多点触摸可以提供很多对象或位置，因此在编写程序时应当注意区分被确定的对象和被选取的对象，以避免造成混乱或者因大量的对象被选取 而使系统不堪重负。例如，呼出选单时，选单的内容和形式可以只由被选取的对象确定，而不考虑被确定的对象。可应用于被选取对象的操作都可应用于被确定的对象，反之亦然 ，确定和选取只是两种状态。

　　1、可以通过触摸图像构成区域的轮廓来确定区域。

　　结合图8、图10、图18介绍一种划分区域的方式，7、8、9、10是人的4根手指，6是大拇指，11是人的掌心。通过6、7、8、9、10、11中的任意三个或三个以上为边缘或边缘顶 点，可以确定一个区域或一定区域内的对象，这种方式可以称为笼罩手势。其中，大拇指6和手掌11可以被设定为关键触摸点，即只有当大拇指6或手掌11之一或大拇指6和手掌11同 时触摸屏幕系统，才认为使用者准备要进行选定操作，系统可以进行相应的提示，例如高亮被选定或者可以被选定区域或对象。例如，图18中，16、6、11都接触屏幕时，区域61将 被选取。

　　　　如图7所示，是另一种确定一个区域或区域内对象的触摸指令，131和141分别是使用者的两只手的侧边。131和141之间的区域或区域内的对象将被选取。可以配以相应的动态效 果，例如在131和141向两者之间的中心区域移动一段距离之后保持静止一段时间，激发相应操作，之后，手掌开始动作时所在的位置的高亮印记渐变到手掌静止的位置，表示系统 确认操作激发。使用者可以通过改变131和141的间距，来缩小或放大131和141之间的对象，或者将131，141之间的对象归为一堆。131和141突然拉大间距还可以用来在文档中插入 空白页或在桌面上推开其它对象，例如图标或其它窗口。

区域内的对象也可以是触摸物或触摸点，例如，将某一物体，例如移动存储装置放在触摸屏上，触摸屏检测到了该物体的触摸图像，并通过其它方法，例如物体内置的芯片识别出 了该物体，如果通过笼罩手势选取物体所在的区域，同样可以选取该物体。　　2、也可以通过触摸物触摸图像覆盖的区域来选择区域或对象。例如，使用者将整个手掌放在屏幕上 ，便确定了被手掌覆盖的区域。使用者也可以将一根或多个手指放在屏幕上来确定一片区域。

　　3、通过触摸点滑过相应区域确定区域或对象。例如，用一个触摸点压住一个对应“高亮选取区域”功能的图标，保持这个触摸点不离开，同时用紧并在一起的4根手指滑过要 加亮的区域，则相应区域将被以更高的亮度显示，用一根手指滑过被高亮显示的区域，则高亮将被解除。

　　4、通过画出区域的边界来确定区域或对象。

　　5、通过触摸对象确定对象。

　　在确定区域后，使用者可以进行进一步的操作以选取或锁定选取被确定的区域，某些情况下，区域被确定的同时就自动被选取甚至被锁定选取，不需要进一步的操作。其它进 一步的操作，例如对因选取对象而出现的选项进行操作，或者选取其它对象，也可能导致被选取的对象被锁定选取。锁定选取是为了使使用者能够将用于选取对象的触摸物，例如 手，用于其它操作，在系统明白了使用者操作意图之后就可以锁定选取，以方便使用者进行进一步的操作。使用笼罩方式确定或选取对象之后，经常发生的一个事件是在屏幕上的 触摸点附近，尤其是用于选取区域或对象，构成区域轮廓的肢体各部分附近或下方，尤其是手指附近或下方，有的时候也包括手掌，会出现与之对应的图标，选项，滑动条，尤其 是后边将会提到的生物控制区或自由式图标，指引使用者通过肢体各部分执行进一步的操作。如图15，其中39、40、38是出现的图标。如图16，其中39、40、38是出现的图标，1、 2、3、4是左手手指，5、6、7、8、9是右手手指。51、52、53是被右手选取的对象，此时，图标出现在了用于确定区域的手以外的其它手的手指下方。有些时候使用者作出笼罩手 势，或将多根手指放在屏幕上，并不是为了选取某一区域，而仅仅是为了呼出相应的对象，尤其是选项，尤其是为了使自己的手指附近出现对应不同功能的图标。

使用者可以用几个触摸点选取一个对象，保持触摸点不离开，在其它位置用其它触摸点呼出选单，当用于选取对象的触摸点和操作选单的触摸点都消失时，选单消失。 使用者可以用手掌或手掌和其它手指一起呼出选单，之后手掌保持对屏幕的触摸，用其它手指操作选单。当手掌离开时，选单消失。　　

　　在选取或确定了对象之后可以通过肢体的动作以及根据图形界面的引导进行任何操作，以下的说明仅仅是一些常用的操作。

肢体可以进行的动作，包括但不限于：

　　结合图8进行说明。

　　1、大拇指6沿箭头所示方向或反方向滑动，大拇指是一个关键的手指，可以被赋予不同于其它手指的功能，例如，滑动大拇指可以用于锁定选取的区域，选取的区域被锁定后

即使用于选取区域的触摸点离开区域或区域内的对象仍将保持被选取的状态。或者只有使用者滑动大拇指之后才确定选取笼罩的区域。大拇指也可以用于切换其它手指对应的图标 ，选项，滑动条，尤其是后边将会提到的生物控制区或自由式图标。

　　2、手掌保持与触摸屏的接触，用不同轻重的压力按压触摸屏，或者敲击触摸屏。

　　3、滑动手指，例如手指7或8中的一个或者两个同时沿箭头所示方向或者反方向滑动或者沿x轴正/负方向，y轴正/负方向滑动。

　　4、一个或多个手指，例如手指7或8中的一个或者两个进行下列操作

　　 1.敲击屏幕，

　　 2.在不离开屏幕的情况下用不同压力在按压屏幕，例如7、8同时依次以重轻重的压力按压屏幕。

　　5、保持所有用于选定操作的触摸点不离开屏幕。以选定区域的中心为中心旋转。

　　6、特定的部位触摸屏幕。例如图18，只有才11接触了屏幕之后，系统才认为要选取区域61或区域61内的对象。

　　7、两个手指相互靠近也可以赋予相应的功能，在使用图形界面引导使用者操作时，可以在使用者的两个手指之间的位置显示相应的选项并标注箭头表示此选项对应的操作是两 端的手指相互靠近。

　　　　在确定了区域或位置或区域内的对象后，可以进行一下操作

　　 可以使用上边提到的肢体动作执行以下操作，包括但不限于：

　　　　1.确定选取操作；

　　　　2.呼出或切换选单；例如，滑动大拇指，或者通过手掌123或121对屏幕施加不同的压力，可以切换选单内容或呼出选单。

　　　　　3.切换确定区域的方式，通过滑动大拇指或者手掌11与屏幕接触与否，来选择是确定被笼罩的区域还是被触摸物覆盖的区域。

　　　　　4.确认选取，使用于选取的触摸点离开之后依然保持对区域或对象的选取;

　　　　　5.剪切区域内的对象；

　　　　　6.呼出选单或者呼出式图标等；

　　　　　7.在选取的对象上执行已经设定好的操作。例如在选取的区域上进行粘贴。在游戏中对选取区域内的单位进行补给等。

　　如果手指选定了对象，例如图15，手指下或附近有自由式式图标，或者正在操作选单，或者被选取的区域内多个操作对象，可以采取以下操作：

1.大拇指6沿箭头所示方向或反方向滑动；

2.手掌保持与触摸屏的接触，用不同轻重的压力按压触摸屏，或者敲击触摸屏。

3.7手指或8手指中的一个或者两个同时沿箭头所示方向或者反方向滑动或者沿x轴正/负方向，y轴正/负方向滑动；

4.7手指或8手指中的一个或者两个进行下列操作:

　　 1.敲击屏幕；

　　 2.在不离开屏幕的情况下用不同压力在按压屏幕，例如7、8同时依次以重轻重的压力按压屏幕;

5.保持所有用于选定操作的触摸点不离开屏幕。以选定区域的中心为中心旋转。

　　这些操作可以:

　　 1.激活/解除激活操作对象，例如激活自由图标使之进入可以使用的状态/进入未使用的状态/消失；

　　 2.切换至其它选单;

　　 3.钉住对象，使之在手指离开之后也不会消失。

　　用不同方式选取对象，在后续的多触摸点协同操作中，可以对应不同的功能，操作呼出不同的选单等。用于选取对象的触摸点的离开也可以作为一个操作，可以表示一个阶段 的操作的结束，可以触发程序显示出相应的选项，让使用者确认操作或进行进一步的操作。

2.多点触摸选单：

　　1、一种配合多点触摸操作的选单

选单的样式可以采用但不限于图1、图2、图3、图4的几种样式，呼出选单可以采用如下几种方法，包括但不限于：

　　　1.通过相应图标；

　　　2.选定一个或多个对象之后或发生了某个事件之后，选单自动出现；

　　　3.通过相对应的触摸指令；

　　例如一只手上一根或多根手指保持不动，其它手指进行滑动或敲击，或用不同大小的力量按压屏幕。 例如，图8中7、8、9、10是人的4根手指，6是大拇指，11是手掌与屏幕接 触的区域。使用者可以以7、8、9、10中的一个或多个手指接触屏幕不动，一个或多个手指进行点击或者滑动操作，或是不离开屏幕，但是用不同其中的压力按压屏幕来呼出选单， 呼出选单的触摸指令不会很复杂，因为使用者要快速的呼出选单，例如图8中6、9、10保持不动，7、8滑动，或者是7、8、9、10不动，6滑动，来呼出选单。这都是人的自然操作。

进一步的，可以设定为只有某个特定的肢体部位，例如手掌11触摸了屏幕的时候才能执行以上触摸指令。这样可以避免为了防止误触摸而设置延时导致影响流畅的操作体验。

也可以设定为16和11、6都接触屏幕的时候在选定的对象或区域上即呼出选单。

　　呼出选单的相应的触摸指令还可以包括但不限于：如图9中，17、171、172对应使用者的3个手指或是触摸工具，17保持与触摸屏触摸，用171、172以一定组合敲击屏幕，不同 的组合对应不同的选单，例如保持17触摸的情况下，171点击一次或两次屏幕，或是171沿任意方向在屏幕上滑动，或是17与屏幕保持触摸的情况下172点击一次或两次屏幕，或是 172沿任意方向在屏幕上滑动。或是17，171、172中的一个或多个始终保持与屏幕的接触，但是用不同的力度按压屏幕，例如重轻重。

　　还可以通过一根或多根手指或指尖，例如3根手指的同时触摸屏幕或在屏幕上滑动，或是一根手指以较大面积接触屏幕或在屏幕上滑动，或是在同一只手的其它几根手指触摸屏 幕的同时用一根或多根手指在屏幕上滑动来呼出选单或切换界面。

　　在通过滑动来呼出选单或控制界面时，还可以通过继续滑动来切换选单内容或选取选项，使呼出选单和选取选项一步完成。还可以进一步结合后边提到生物控制界面，如图22 所示，通过滑动来选取一级选单，选单的第二级内容出现在手的附近或下方，或与手的相应部位尤其是手指相对应，或与手附近易于触摸的位置相对应，使手不用离开屏幕就可以 操作，从而令使用者能够达到手触摸一次屏幕，就能完成全部操作。

呼出选单的触摸指令同时也可以作为选定目标的触摸指令，或者说，在呼出选单的过程中就选定了目标，7、8、9、10四根手指，也可以在加上6大拇指、11手掌，为顶点或边缘的

区域可以视为一个选定区，选定区域内的一个或多个对象或者区域。

选单可以进行的操作：包括但不限于：

　　　1.滑动选单以显示出其它图标;

　　　2.选定选单上的图标，敲击选单上的图标启动相应功能；

　　　3.按住选单上相应图标后用压力感应功能控制相应功能；

　　　4.在图标上按压或多重按压以使用图标；

　　　5.按住图标将其拖出选单，以展开图标对应的相应功能的子选单，或者是为其创建快捷方式；

　　　6.拖动其它图标将其加入选单；

　　　7.选单可以根据一次要显示的图标的数量和每个图标的大小调整大小，选单的大小和每个图标的大小可以由使用者自行设定，也可以自动设定；

　　　8.如果选单上的图标很多，一次显示不过来，选单可以根据图标的使用频率决定图标的位置，或是形成一个常用列表，默认情况下优先显示常用列表上的图标；

　　　9.可以通过点击选单上的标签或者在选单的图标上滑动，或是在选单的特定位置上滑动来切换不同版的选单。例如图3中，20是选单的滑动区，在滑动区上沿Y方向上滑动是 在某一版内滑动图标，图标依次沿y方向移向选单边缘直至消失，沿x轴上滑动图标则是整版切换，所有图标都被切换，例如本来显示的是用于“审阅”的图标，切换之后就变成了 用于调节字体的图标。21是标签，点击切换不同的选单内容，例如“审阅”，“页面布局”等，这在选单的版面很多时很有用。滑动区并不一定要和图标显示区在一起，也可以分 开，以便双手操作；

　　　10.选单可以设定专门的滑动区，而将在相应的图标上滑动视为调节图标所对应的功能，例如增大或减小音量、亮度、图形的宽窄、3D图形的高度等。如图6，选单可以设置 选单控制区，用以提供设置选单的选项，例如1.钉住选单，使所有操作选单的手指离开选单之后选单也不会消失；2.增加选单的宽度，同时显示更多的图标。如果没有特别设定要 求钉住选单，选单将在呼出选单的触摸点离开选单后消失或是所有触摸点离开选单后自动消失，这样可为使用者提供流畅的操作体验；

11.选单的图标靠近使用者便于操作位置的图标会变得比其它位置的图标大，以便于使用者操作，例如，图3中间的选项22就比23大;

12.选单并不一定出现在呼出选单的操作发生的位置。呼出选单的操作发生的位置和选单出现的位置位于屏幕中线的两端，这样便于双手操作。

图1至图4是选单可以采用的几种样式。

　　图1是一个基本的选单 ，17代表了一根或多根用于呼出选单的手指或触摸物，29是选单的多个选项。适用于简单操作，沿x或y轴在图标上滑动手指分别对应切换新图标，或是 调节图标所对应的功能，或是将图标拖出选单创建快捷方式三种功能之一。按压图标也可以调节图标所对应的选项，例如用力按住增加亮度的图标。

　　图2中，24是滑动区，25是选单控制区，用于控制选单，例如钉住选单使选单在手指离开之后也不会消失或是使选单上的图标位置可调，例如，在设定为选单上的图标允许移动 之后，可以拖动图标改变图标在选单上的位置。27是选单选项，在27上以选单的圆心为圆心滑动，可以用以调节选项所对应的功能，例如亮度，可以设定为顺时针方向为增加亮度 ，逆时针方向为减小亮度。沿半径方向，向选单外滑动图标，是将图标拖出选单以创建快捷方式，反之是向选单上添加图标。

　　图3所示的列表类的选单，当选项被触摸点滑过时，应当变大，一方面可以使使用者更清晰的看到选项内容，或者显示更详细的选项内容，另一方面避免使用者稍一移动触摸点 就滑动到下一个选项发生误操作。放大选项可以在触摸点离开后继续保持大小，不缩小会正常尺寸，因为使用者很可能要点击这个选项，较大的面积易于保证使用者正确的点击到 这个选项。如果为了能显示较多的选项而设定成触摸点离开选项即缩小或正常大小，则可以设定为触摸点不离开选项，通过多重按压来选取选项，例如连续用较大压力按压两下选 项，即激活选项。

　　图4中，28是滑动区，触摸点在其上滑动可以切换选单内容，19是选项，17是触摸点，18是选单。

　　 图12中，203是选项，通过在203上沿顺时针或是逆时针方向滑动触摸点，例如手指，启动相应功能或增大减小相应参数，例如亮度，图形高度等。通过在204上沿y方向上下滑 动触摸点调节相应参数或是启动相应功能。左右滑动触摸点没有任何效果，这样可以使触摸点在不同选项间滑动而不引起误操作。这种选单适合使用者用手持握屏幕时使用。

　　如图30所示，17是使用者的手指的触摸点，40是某一图标或对象，38、39、41、42是多个选项图标，图示是38、39、40可能出现的几种位置，38、39、42都将出现在17所在手 其它手指附近易于操作的位置，系统根据使用者预先的设置，例如使用者设置习惯用右手中指拖动对象，则38、39、40就会出现在食指、大拇指易于操作的位置，使用者也可以在 专门的设置程序中预先设置38、39、40出现的相对于17的位置，以便于在17不离开41的情况下，用其它手指操作。例如，当使用者用右手的中指触摸或拖动某一对象，例如文件时 ，在对象的附近，触摸对象的手指所在的手的其它手指易于操作的位置会显示出选项，例如“复制” “删除” “剪切”等，使用者可以在触摸对象40的手指不离开对象的情况下 用右手的其它手指操作。38、39、41、42和17的相对位置是固定不变的，在17拖取40移动时，38、39、41、42会和17一起移动。图30中左下角的样式适合17是右手食指的情况下操 作，其它的适合17是右手中指的情况下操作。　　38、39也可以显示在离40稍远的位置，如图31，使用者通过滑动17所在手的其它手指来选取相应图标，系统通过高亮38、39来指引使用者的操作。例如，使用者用右手的中指 触摸对象40，之后用食指接触屏幕，继而屏幕上出现图标38、39，使用者向右滑动手指，38将被选取并高亮，如果使用者又不希望选取38了，则向左滑动手指，38将被解除选取， 39将被选取并高亮，使用者在保持39高亮的情况下抬起手指或发出其它触摸指令，则将执行39对应的操作。如果使用者继续向左滑动，或者向下滑动，则38、39的高亮都将被解除 ，表示使用者不选取任何图标。这样可以使使用者清晰的看到系统的提示而不会被手指遮挡。如图31，系统还可以显示一个区域43，以提示使用者在其上滑动手指来操作38、39， 防止使用者误以为必须通过点击38、39来选取38、39。进一步的，还可以将43分为两部分，分别对应38、39，这样使用者就可以通过触摸相应部分来选取38、39，而又不会被手指 遮挡视线了。这个可以视为后边提到的生物控制界面的一个实例。当手指保持与屏幕的触摸在屏幕上滑动时，易于触摸到的范围比手指易于点击的范围要大。

　　呼出选单后，呼出选单的手指继续按在屏幕上不动，用额外的手指在呼出的选单上操作。选单并不一定出现在呼出选单的操作发生的位置。选单出现的位置可以由使用者设定 ，固定于屏幕的某一区域，例如屏幕的左侧上端，也可以是软件根据当时使用者手以及操作工具，例如手写笔，所处的位置及接触图像和使用者的习惯实时设定，例如，当使用者 将系统设定为右手习惯之后，控制区域就始终位于操作工具左端的与屏幕发生触摸的手指附近。或者是当呼出选单的操作发生在屏幕一侧时，选单出现在屏幕中线的另一侧，尤其 是另一侧某空闲手指的附近。例如当使用者双手持握设备两侧看电影时，用一只手的大拇指基于多重压力点击的方式呼出选单之后，用另一只手的大拇指就可以滑动选单的滑动区 ，使拇指放在对应音量的图表上，然后滑动拇指调节音量。系统也可以根据屏幕上各个区域手指的数量确定选单出现的位置。系统可以通过重力传感器分辨左右。当然，选单可以 出现在呼出选单的操作发生的位置。

　　选单出现的位置会根据系统判断使用者手的位置而变化，以便于使用者操作。例如，图1中，如果17所在的手的手掌或手的其它手指也同时接触了屏幕，系统会据此判断出17所 在手其它手指易于触摸的位置，从而确定29的位置，是在17下边还是上边，在17左边还是右边。例如，在呼出选单时，使用者的另一个手指172也一同触摸了屏幕，则选单将根据 172和17的相对位置和距离来确29出现的位置，因为使用者通常会选择在17保持对屏幕的触摸的情况下，比较灵活的手指来和17一同呼出选单。29的排列和形状大小也会根据使用者 的手进行调整，例如是单排选项还是双排选项。图30中，38、39、40、42的位置也会根据使用者17所在手的其它手指易于操作的位置确定自身的位置。如果系统根据手指或手掌的 触摸图像和触摸压力判断出使用者的手很小，则选项可能会变小，以防止使用者在17不离开屏幕的情况下够不到距离太远的选项。系统可以在发现触摸压力足够大，但是触摸图像 ，例如手掌，手的侧面的触摸图像仍然很小的情况下，判断出使用者的手很小。系统也可以让使用者将这个手摊在屏幕上专门检测并记录一下使用者的手的大小，在生物界面中， 系统能够知道使用者手的大小对确定图标的大小和位置以及排列等有很大作用。　　

图5所示，171是左手的一根或多根手指，172是右手的一根或多根手指。 202是选单201的控制区或滑动区。使用者通过171呼出选单201，用172控制201，201可以采用类似图2的选单的功能和样式，也可以采用类似图12所述样式的选单。202可以采用也可 以不采用，其功能是放大201和切换201上的图标。可以设定为沿x轴y轴滑动分别对应这两项功能。 图5的样式很适合在双手持握设备的情况下操作屏幕，例如在看电影的时候，可以用201调整亮度、对比度等。

　　图11是一种呼出和使用选单的触摸指令，173是一根或多根并齐在一起的手指，使用173敲击屏幕或是以大于一定数值的压力按在屏幕不动一段时间，或是用不同轻重按压屏幕 之后，呼出选单，173保持不动，使用174操作选单，174在选单上绕173滑动，可以转动选单，让其它位置的图标810转动到174下方。

　　图1-图4和图11，图30，图31所示选单都易于使用者保持17不离开屏幕的情况下用17所在的手的其它手指操作。

　　选单可以在下情况自动消失：

　　情况A：当呼出选单的触摸点消失时选单消失;

　　情况B：或是当呼出选单的触摸点消失的同时选单上没有触摸点时选单消失；

　　情况C：当选单被操作了规定次数之后选单消失。

选单也可以设定为在符合选单消失的条件之后，选单渐渐变淡直到消失。如果使用者点击其它位置，则选单马上消失。如果使用者在选单渐渐消失时触摸选单，则选单将重新 变得清晰，这样使用者呼出选单后可以抬起手指或触摸工具，更灵活的操作。以上消失的方式也同样可以用于生物控制区和自由式图标。

本发明中提到的选单并不一定只能使用多点触摸操作，使用者同样可以单点触摸的方式呼出选单并操作，即呼出选单的触摸点离开屏幕，选单上也没有触摸点的时候选单也并不会 消失，例如图5所示的用于双手操作的选单，在全屏幕看电影的时候，使用者双手持握设备，用左手的一个触摸点触摸屏幕，则隐藏的选项栏浮现出来，使用者点击“调整图像“， 的选项，之后下一级选单在屏幕右侧出现，使使用者可以使用右手操作。

　　一种选单或图标样式。如图14所示，它有多个选项231，232，233，允许多个手指同时操作，当有手指触摸它时，它将放大以适合多个手指操作。如果触摸它的手指所在的手的 其它手指也同时触摸屏幕，则它会自动将选项对准各个手指。在操作的时候，它会随着手指的滑动扭曲，就像是一根柔软的带子一样，这种选单样式可以称为丝带选单。它可以视 为后边提到的生物界面的一个实例。

　　 图标容器：使用者可以通过特定操作，例如将几个常常一起使用的图标放进一个特别的图标容器里，使它们可以一同移动.组成一个选单或者图标。可以对它重新命名和定义 外观。它在被激活后可以采用图14所示的样式，根据使用者的手指间距调整231，231，233的大小和间距，并调整自身的形状，使每个选项正好出现在每个触摸点的下方。

图标容器也可以以生物界面或自由式图标的方式释放出其所包含的多个图标，图标出现在使用者手指易于操作的位置，或是直接出现在不同手指下方或附近。

一种适用于多点触摸的选单。当其被使用，例如被点击或被触摸点滑过时，其所对应的选项会出现在点击它的手指所在的手的其它手指附近或下方。进一步的，可以设定出现在 为点击它的手指左右两侧最接近的触摸点附近或下方出现选项。

　　进一步的，各个选项可以与不同手指一一对应，手指通过向不同方向滑动和对屏幕施加不同压力来使用与其对应的选项。选项的样式可以参照自由式图标的样式。

3.自由式图标：

　　自由式图标可以一直存在于屏幕上或某一窗口内，也可以是在使用者进行某项操作之后，屏幕上或窗口内显示出多个图标，为了增强视觉效果，图标出现的方式可以是从某一 区域，例如被选定的操作对象上飞出来，也可以是渐渐在某一区域浮现出来。图标被激活之后，使用者可以通过前后左右移动图标，通过不同的压力按压、敲击、控制相应功能。

图标在屏幕上可以是允许移动的也可以是固定的。图标可以视为凸出于屏幕表面，触摸点可以通过接触图标的边缘推动图标移动，就像移动玻璃板上的玻璃块一样。使用者可以用 手同时推动多个图标或者把妨碍操作的图标聚拢起来推到一边。自由式图标也可以是在某一区域内，就像放在一个容器内的许多小玻璃块一样。

　　图17是操作界面上出现了多个自由式图标，手指触摸了其中的3个图标的示意图。其中，42是图标，17是手指，43是被触摸的图标。

　　　　使用者可以通过以下方法呼出图标，包括但不限于：

　　　1.通过使用特定的图标；

　　　2.在一定区域或对象上使用相应触摸指令，例如呼出选单的触摸指令同样可以用于呼出图标；

　　　3.选定一个区域或对象，在另一位置进行相应操作，例如触摸指令或是点击其它图标，或是同时选定另一个对象，呼出相应图标；

　　　4.选定一个或多个对象之后图标自动出现；

　　　5.选定一个或多个对象之后执行相应操作，例如触摸指令或是将一根或多根手指接触屏幕并保持到图标出现。或是其它方法呼出图标。呼出图标的方法同样可以用于呼出选 单或其它对象，甚至是打开一个程序。呼出选单的方法也同样可以用于呼出图标。

　　　自由式图标可以根据屏幕上触摸点的分布，各个触摸点的此时的功能，正在进行的操作，以及桌面或屏幕上上窗口的分布来选择自己出现的位置以便于使用者操作。例如自 由式图标可以选择出现呼出自由式图标的触摸点附近或者出现在使用者空闲的触摸屏幕的特定触摸点附近或者下方。自由式图标应尽量出现在比较宽敞，附近没有其它功能性选项 或控制区的区域。

　　　　使用者将希望使用的图标激活，然后使用多重按压，前后左右移动图标等方式使用对应的功能。图标可以用于调整某项参数的大小，例如操作图标的同时选定另一个区域，图 标可以用以调整选定区域的颜色。在操作图标的同时选定一个2D或3D图形，移动图标可以调整它的形状,X/Y/Z轴上高度，与X/Y/Z轴或是其它对象所成的角度等。

激活图标就是开始使用图标对应的功能。

　　图标的样式：

　　当手指接触未激活的图标时，图标可以：

　　　1.变大；

　　　2.显示被激活之后的样子；

　　　3.显示有关图标功能的详细信息。

图标在被激活之后可以产生一下效果中的一个或多个，包括但不限于：

1.变大；

2.显示出更多的提示内容，压住图标的手指的前端出现提示性标志，告知使用者在x，y，z轴正负方向上移动图标对应的功能。

3.图标分裂，也可能分裂成多个图标。使用者激活了一个图标，之后使用者与屏幕接触的手指2，3下方或附近都出现了子图标，可以通过移动手指2，3调节相应功能。

4.移动图标，移动图标以及在图标上或图标附近一定范围滑动触摸点以及点击图标，对图标施加不同压力等都将被视为对图标对应的功能的操作。

　　　5.在相应触摸点或手指周围显示图标，图标的样式可以如图13所示。

　　如图13所示，其中17是任意一根或多根手指或其它触摸物形成的触摸点，30、31、32、33、34、35、36、37，56、57、58、59是提示使用者向各个方向移动图标或滑动与图标 对应的手指或触摸点所对应的功能。例如33是“剪切”，31是“复制”，30是“粘贴”功能。使用者向相应方向滑动触摸点或图标或手指选取或使用相应功能。为防止误操作，可 以设定为触摸点17离开屏幕后操作才会被执行。 例如，使用者向右滑动手指17，34被高亮显示，标识34对应的功能被选取，此时用多重按压或抬起17等操作来确认使用相应功能， 或者向左滑动解除对34的高亮。图标可以随着手指或触摸点的移动而一同移动，保持与手指的相对位置，在手指离开屏幕又重新触摸屏幕之后，图标会调整自身位置以保证和手指的相对位 置和手指离开前一样。

　　如果向相应方向移动是调整某项参数，则30、31、32、33、34、35、36、37上也可以同时显示被调整参数此时的数值。它们是可以随使用者的操作实时变化的，就像选单一样 ，使用者选取了某个选项，就会显示出下一级的选项。30到37的颜色也是可以变化的，可以通过颜色定性的表示手指的压力或是某项参数的数值。　　　

图标也可以在被激活之后进行了某些操作之后进一步分裂，例如，在图标被激活之后，显示出了对图标进行进一步操作的提示，或是图标出现的时候就处于激活状态，使用者 通过对相应图标进行操作，使其进一步分裂。

　　图标也可以在出现的时候就处于激活状态。

　　一个例子是使用者选定了一个区域或对象，之后5个手指下方或附近都出现了了相应的已经激活的图标，此时的图标也可以被视为一种特殊的选单的形式。例如，使用者激活了 “显示”图标，之后使用者与屏幕接触的几个手指下方便出现了调节饱和度、亮度、色偏、对比度的四个图标，色偏图标上提示使用者向下移动图标或与图标对应的手指以使用图 标，使用者向下移动色偏图标之后，三个手指下的图标就变成了偏红、偏绿、偏黄，以供调节。

　　图标并不一定要出现在手指的下方，也可以出现手指附近。

　　图标可以用以下方式激活，包括但不限于：

　　　1.可以设定为如果图标被触摸点压住，就激活图标，移动图标只能通过接触图标的边缘推动图标。

　　　2.可以在图标上设置专门的触摸区和操作区，触摸触摸区是移动图标，触摸操作区是开始使用图标。

　　　3.可以设定专门的操作区，当图标移入操作区之后激活图标

　　　4.可以用特定的触摸指令激活图标。尤其用选定图标的手的大拇指激活图标，“大拇指”通过图形识别激活，例如，通过识别出选取图标的手指所在的手的手掌压住了屏幕 来激活图标。

　　　5.可以用多重按压的方式激活图标。

　　　6.可以在移动图标和操作图标时对图标施加不同的压力，例如在使用图标时在图标上施加更大的压力，以与移动图标的操作相区分。

　　　7.当两个或两个以上图标被手指压住时，激活被压住的图标。这种情况下，需要一个专门的用于激活图标的图标，以便仅需要使用一个图标的时候激活图标。

　　　8.可以设定一个专门的图标，当它与其它图标一起被手指压住时，激活被压住的图标。

　　　9.使用者可以通过笼罩手势选取图标，激活之后图标将自动出现在使用者的手指下方或附近易于操作的位置的位置，例如以生物界面的方式出现。

　　　10.使用者通过前边提到的选取方式选取要使用的图标，进行相应操作，例如滑动选取图标的手指所在的手的大拇指，则图标会自动排列，例如自动出现在 手指下方或附近

易于操作的位置或者自己排列铺开，使用者易于使用。

　　　11，可以用点击图标的方式激活图标

　　当使用者不需要继续使用图标之后，通过适当的操作使图标消失。

　　　1.例如，如果呼出的图标是用以调整屏幕亮度等参数，当图标被使用完，操作图标的触摸点消失之后，图标即自动消失。

　　　2.可以使用特定的触摸指令，例如使用者的半边手接触屏幕，横移手，同时渐渐竖起手，直至用手的侧面接触屏幕，就像要把图标扫出屏幕一样。也可以直接就用手掌侧面 在屏幕上横移，以此来使图标消失或是切换一屏新的图标。为防止误操作，可以设定为只有手掌的运动速度高于某一值时才视为此触摸指令。这种操作同样可以用于使生物控制区 ，选单等消失。

　　　3.如果图标是用于操作选取的区域的，当区域被取消选取时，图标即自动消失。

　　　4.也可以设定一个专门的区域，图标进入此区域即消失。

　　4.图标容器

　　使用者可以将多个对象，尤其是功能性图标添加到一起，构成一个图标容器，当使用这个图标容器时，会出现其中包含的其它图标，例如以生物界面或自由式图标的方式释放 出多个图标，方便触摸。

5.生物界面：

生物界面是一种界面形式，可能是一个滑动条，也可能是一些图标，窗口，自由式图标等。

生物界面是专为多点触摸环境设计的一种界面，充分利用了多点触摸屏能同时提供多个位置的能力，能提供触摸图像的能力，系统能根据触摸图像分析出使用者肢体部位的能力。 同时，因为系统知道使用者在使用手进行操作，系统会根据触摸发生的位置来确定相应触摸点对应的触摸物所在手的其它部分，例如手指或手掌易于触摸操作的位置。系统根据获 取的信息，来确定界面的样式，例如窗口的位置，控制区的样式，图标的样式和排列位置等，或通过图形界面引导使用者移动触摸点，使使用者易于操作。

　　生物界面的目的就是让使用者能在不大范围移动手的情况下，操作多个图标。图标可以出现在某只手的手指，手掌下方或附近易于操作的位置；可以与手的相应肢体部位相对 应，用相应部位滑动按压等方式操作而不必触摸图标；可以与手指下方或附近或手掌下缘下方易于操作的位置或区域相对应；或与手指下方或附近易于操作的区域或位置上的对象 ，例如图标，滑动条，触摸点等相对应。例如图31中38，39与43相对应。

　图1到图4、图11、图12、图15、图16、图22、图30、图31、图27相对于图28发生的变化，都可以视为生物界面的实例。

　　使用者根据自己的使用习惯，预先设置选项，滑动区等图标相对于手掌，大拇指，或者触摸点的位置，以便于自己操作。

生物界面的一个重要作用是可以通过图形界面引导使用者操作。一些情况下，尤其是图标出现在手指下方或和手指或手的某一部分相对应的时候，生物界面显示的图标仅仅是 一个图标，而不能通过触摸图标执行相应的功能。当然，在另一些情况下，生物界面提供的是传统的图标，通过触摸相应图标进行各种操作。

　　生物界面具备以下特征中的一个或多个：

1、系统根据一个或多个触摸点的位置，结合触摸点的触摸图像和预置的设置，确定触摸点所对应的触摸物所在的手的其它部分，例如手指或手掌易于触摸的位置或区域。图标 ，滑动条等将直接出现在或移动到相应的区域或位置，或符合相应区域或位置的轮廓，便于使用者的手操作。例如，控制界面的形状可以是弧形，或者选项是按照一定弧度排列的 ，弧度符合人的手指指尖在手掌不动的情况下易于操作的区域构成的轮廓。 　　界面出现时并不需要其它手指也接触屏幕，系统并不需要知道其它触摸点所在的位置，而是按照相应触摸点所在手的其它手指或相应肢体位置能在触摸点保持对对象的触摸的 情况下，尤其是不移动的情况下，能够自然放松的触摸图标的原则来确定图标的位置，如果系统判断触摸点是一根手指，系统可以按照默认设置或根据使用者的预先设置，例如默 认使用者用右手的中指或食指点击图标，以此来确定控制界面的形状或选项的排列，或者按照使用者预先设置的图标样式和图标相对于相应触摸点或肢体部位的位置确定图标样式 和位置。

　　如图34，使用者的手指8触摸了一个图标300，出现弧形的控制区800，800上显示多个图标， 800可以是通过手指滑动来操作，也可以通过点击或按压来操作。另一种情况是如 图35所示，使用者用手点击了图标300，之后出现多个呈梯度排列图标38、39、40、41。当使用者将中指和食指同时接触屏幕时，系统便可以确定使用者中指和食指的姿态和位置， 由此更精确的定位使用者手的姿态和位置了。如果系统识别到是一个手掌触摸了屏幕，则可根据内置的使用者的手的参数精确的确定图标出现的位置。

　　进一步的，还可以显示一个 控制区801，适合给大拇指使用，通过大拇指操作控制区801，可以切换800或38、39、40、41的内容。801可以设定为通过点击操作，也可以设定为 通过滑动操作。

　　图36在使用者用多根手指和大拇指笼罩住某一区域时，系统可以在使用者手掌能够触摸的位置显示图标809，提示使用者可以将手掌接触屏幕以确认选取对象51、52、53或锁定 选取。

　　如图37使用者可以用手掌触摸某一对象或区域或位置，系统随后在适合手掌所在手其它手指操作的位置显示出各种图标，或相应的选项图标会移动到手掌所在手的其它手指下 方或附近等易于操作的位置。6、7、8、9、10 是使用者其它手指放松的自然弯曲时所处的位置，811是多个选项图标，当选项图标很多时，可以使被手指滑过的选项变大，以防止 发生误操作，采用前边结合图3提供的操作小图标的选项的方式操作。可以按图38所示方式显示，大拇指可以通过滑动条选择显示哪些图标，就像大拇指处显示一级选单，手指处显 示二级选单一样，这样可以一次显示较少的图标，易于使用者操作，也可以更好的按照手的轮廓排列，图标也可以更大，易于触摸。

因为控制图标出现在使用者的手指下方或附近等易于操作的位置，使用者可以在呼出操作界面的手不离开屏幕的情况下操作图标。因此系统可以设定为整只手一离开或远离屏 幕选项即消失或迅速变淡。

2、生物界面会根据触摸屏幕的使用者的肢体，调整自身的形状或位置，以便于使用者操作。例如，在发现同一只手上的多根手指和手掌同时触摸屏幕时，生物界面会调整自 身图标或滑动条的位置，以靠近使用者的手指、手掌易于操作的位置，或者在图标出现时便直接出现在手指或手掌附近或下方，图标，滑动条的形状，弧度，间距，大小等都会随 着使用者的手指的位置而改变。如图39，在发生相应的系统事件，例如使用者的多根手指和大拇指一起触摸了屏幕，或者多根手指和手掌一起触摸了屏幕时，使用者的手指、大拇 指、甚至手掌的下方或附近易于操作的位置就会出现图标或滑动条等图形对象。图标可以在手指接触屏幕之前出现，在手指接触屏幕之后调整自身位置到手指附近或下方，也可以 是在手指接触屏幕之后直接出现在手指附近或下方。

　　并不是只能显示和接触屏幕的手指数目以内的图标，图标只要出现在手指下方或附近易于操作的区域内即可。

3、生物界面的图标可以与相应手的各部分，或各部分附近或下方易于触摸的区域或位置相对应，使相应的手不必大范围的移动去触摸图标就可以使用和选取相应图标，并使用 其对应的功能。图标对应的手指在图标出现时可以是正在触摸屏幕，也可以是还未触摸屏幕。图标也可以与某一触摸点相对应，而不管它是哪一个手指。如图44，171，17，172是 三根手指的触摸图像，38，39，40与它们一一对应。图标可以与以下对象相对应，一个或多个图标可以和同一个对象相对应：

　　A.与使用者的特定肢体部位，如特定的手指、手掌相对应，例如右手中指的滑动、多重按压、敲击屏幕等各种触摸指令；

　　B.与使用者的手下方或附近易于操作的某一区域或位置相对应，触摸相应区域或位置，或触摸点在相应区域内或位置上滑动，或发出各种触摸指令；

　　C.与使用者的手下方或附近易于操作的位置或区域的某一对象，例如某一图标或滑动区相对应，对相应的对象进行各种操作，在相应对象上发出各种触摸指令；

　　D.与位于某一使用者的手下方或附近易于操作区域内的触摸点相对应，使用相应触摸点滑动、点击、多重按压等各种操作。

　　以上对象的相应操作可以选取不同图标、使用相应图标的功能、切换图标等。例如，图13所示样式的图标和右手食指相对应，食指向右移动，则选取31，向上移动则选取30， 选取相应图标后，通过多重按压确定执行图标对应的功能。

　　例如，如图15所示，在手指或手掌的下方或附近浮现出图形标识，指引与之相关联的肢体部分进行相应操作。当使用者的多根手指同时触摸屏幕时，各个手指的下方浮现出图 标。每个图标的样式可以如图13所示。图13中，17为使用者手指的触摸点，30、31、32、33、34、35、36、37、56、57、58、59上标志着各种功能，相应功能被选取时将被高亮显 示。图标可以随着相应的触摸点或手指一起移动，保持相对位置不变，也可以固定不动。如果设定为和某一手指相对应，可以设定为当手指离开屏幕又接触屏幕时，图标会调整自 身的位置，以保证和手指的相对位置不变。 使用者通过向相应方向滑动手指或点击按压相应位置使用相应功能，或通过向相应方向滑动手指选取相应的图标，在滑动的同时将手指离开屏幕、或在滑动手指选取相应图标后用 相应手指敲击屏幕、或多重按压，来使用图标对应的功能。使用者通过按照标识的方向滑动手指来执行相应的操作。

　　如图40，6，7，8，9，10，11笼罩选取某一区域或区域内对象后，出现38、39、40、41，分别与手指7、8、9、10相对应，处于使用者易于看到的位置。826是滑动条，上边有 两个图标，和大拇指相对应，大拇指通过滑动来选取图标，切换38、39、40、41为不同的图标。例如，小拇指10只要在原地按压或敲击屏幕，或沿箭头方向滑动手指，就可以使用 图标41标识的功能。其它手指如果通过滑动来使用与自己对应的图标，也应设置为按照图示的各自附近的箭头方向滑动手指，也就是屈起手指，向掌心方向滑动指尖，因为这个方 向上手指的滑动最为明显，不易发生误操作，对使用者来说也最为自然。一个手指也可以对应多个图标，通过滑动手指或其它触摸指令以选取和使用不同的图标。

　　图标也可以不与各个手指相对应，而与手指下方或附近的区域相对应。

　　如图43，图标30、31与38相对应，图标32、33与41相对应，图标34、35与40相对应，图标36、37与39相对应，826与42相对应。触摸点在38、39、40、41内滑动或发出各种触摸 指令以选取不同的图标和使用图标对应的功能，例如在38内沿箭头向掌心方向滑动手指选取31，沿掌心向外方向滑动则解除对31的选取，继续滑动则选取30，选取图标后通过相应 触摸指令使用图标对应的功能。38、39、40、41、42可以在屏幕上显示出来，也可以不显示出来。显示出来的话可以视为一个图标，可以在其上标识出与30、31等对应的位置，使 用者通过触摸相应位置来使用或选取30、31等图标。

　　如果生物界面中的选项或滑动条等是和手的相应部位对应，或与相应部位下方或附近易于操作的位置对应，则生物界面并不一定要出现在对应的相应部分易于操作的位置，而 可以出现在其它位置，尤其是使用者注意力所在，例如正在操作的对象，或易于观看的位置。如图38，当使用者的手指和大拇指接触屏幕，手出现选单802时，有多个选项，分别对 应各个手指。使用者只需用手指进行相应操作，例如滑动，就可以选取与之对应的选项，而不需要触摸相应选项。图31也属于这种情况。

如图37，手掌边上出现了两个图标822和823，提示手掌向相应方向施加压力，切换手指附近的图标，例如822是“多重剪切板”，823是“收藏夹”，则手掌左边向屏幕施加压 力之后，手指下方或附近易于操作的位置将显示剪切板中的内容。可以将822和823作为一级选单，将手指附近的图标作为二级选单。例如在浏览器窗口内，822是“收藏夹”，选取 后手指附近的图标变成收藏的各个网址，823是“页面和设置”，选取后手指附近的图标变成“保存页面”、“打印”、“网络设置”等图标，“保存页面”等常用图标应当在手指 最易操作的位置出现，同时应始终保持大图标。

生物界面中的图标或滑动条等并不是必须和手指一一对应，可能是多个图标对应一个触摸点或肢体部位，也可能是多个触摸点或手掌或手指对应一个图标，例如手指或手掌， 通过滑动或施加不同压力选取相应图标对应的功能。

　　图标也可以出现在两根手指之间，通过两根手指相互靠近，使用图标对应的功能。

　　4、可以根据使用者的触摸情况来确定选单的样式。例如，如果使用者的大拇指和其它手指一起触摸屏幕，且状态空闲，则可在大拇指下显示控制区801，以控制手指附近的选 项，例如801上显示上级选单，在手指附近显示下级选单。如果大拇指没有接触屏幕，则同时只在手指附近显示一级选单，选取相应选项后再显示下一级选单。

　　当使用者使用某个图标对应的功能时，生物界面的图标会发生变化，并显示新的内容，就像选取了一级选单之后显示下一级选单一样。

　　图标并不一定要在手触摸屏幕之后才出现，例如，使用者可以保持手掌与屏幕的接触，用手掌所在手的一根或多根手指触摸某个选单，同时滑动大拇指，则选单的图标将重新 排列，出现在手掌所在手的手指下方或附近等易于操作的位置，或根据触摸屏幕的手指的位置自动排列自身的位置，或与手的各部分、手指和手掌下方、手指附近易于操作的区域 、手指下方或附近易于操作区域内的图标、滑动条等对象、手易于操作区域内的触摸点相对应。

　　生物界面的视觉效果、互动方式，等可以参照前边提到的自由式图标。

　　通过使用生物界面来提供选项，选项出现在手指下方或附近易于操作的位置，甚至就出现在手掌下方或与手指手掌相对应，使用者可以在整只手不完全离开屏幕的情况下，通 过按压、滑动等操作来选取选项，而不必让手远离屏幕。因此，如果需要，系统可以设置为生物界面所对应的手，或确定生物界面出现位置的触摸点离开屏幕，或者触摸点对应的 手指或手掌等触摸物所在的手离开屏幕，则选项立即消失或迅速变淡。如果使用了具有3D感知能力的触摸屏，则可设定为相应触摸物远离屏幕则选项消失。以此来提供流畅的操作 体验。

　　使用者可以设置系统优先使用自己的哪几个手指作为操作界面的手指，以使图标等出现在自己最灵活的手指附近。

生物界面可以使用以下方式呼出，包括但不限于：

　　1、用触摸指令，本发明中提到的各种触摸指令，尤其是用于呼出选单和自由式图标的触摸指令；

　　2、用选取一个区域或区域内对象的触摸指令，例如笼罩手势；

　　3、用多根手指触摸相应区域或对象，进一步的，也可以设定为只有在同一只手的大拇指或手掌中的一个或多个同时触摸屏幕，才能呼出生物界面，或大拇指或手掌的触摸会导

致呼出不同的生物界面。进一步的，大拇指和手指可以在屏幕上滑动来确定呼出不同样式的选单；

　　4、使用特定的触摸图像，例如整只手都覆盖在屏幕上或图23所示的触摸图像；

　　5、触摸某个对象；

　　6、保持多根手指与屏幕的触摸，将多根收在一起的手指张开。

　　比较常用的呼出生物界面的几个触摸指令：

　　1、多根手指触摸相应对象或区域，如果是触摸一个比较小的对象，只要多个手指中的一个或多个触摸到对象即可。

　　2、多根手指在屏幕上滑动，彼此保持相对位置不变。

　　3、保持多根手指与屏幕的触摸，将多根收在一起的手指张开。

可以设定呼出的选项不会马上消失，可以渐渐消失以供使用者点击。

　　生物界面也可以视为一种特殊的选单样式，前边提到的选单可以具有的特征，同样可以适用于生物界面，例如通过滑动大拇指钉住生物界面。生物界面图标的样式、各种互动 效果、视觉效果等可以参照自由式图标。

图32是3根手指触摸屏幕后出现的生物界面，不同情况下同一个生物界面的变化，其中2、3、4、7、8、9是手指的触摸图像，819、820、821是图标。当3根手指触摸屏幕时，每根手 指的下方出现对应的不同功能的图标，使用者通过多重按压或滑动手指或同时抬起手指来使用相应图标对应的功能，在3根手指都离开或远离屏幕后，819、820、821会迅速消失。

进一步的，系统还可以根据3根手指的触摸图像，例如彼此之间的位置关系，判断出是哪3根手指，以显示不同功能的图标。　　

　　触发生物界面出现的触摸点并不一定在生物界面出现的手，如图16，右手的6、7、8、9、10、11通过笼罩选取的方式选取对象51、52、53，则在左手的手指下方出现图标。

6. 多组对象协同操作：

本发明提供一种确定各个触摸点及选取的区域或位置或对象之间关系的结构，尤其是对各个触摸点及触摸点选取或确定的区域或位置或对象分组的原则。使用者和程序设计者可以根据这个结构定义各个触摸点及选取或确定的区域或位置或对象之间的关系，从而充分利用操作信息，使使用者能以较少的步骤表达自己的操作意图，提升操作体验。提高操作效率。

可以用于对确定各个触摸点及选取的区域或位置或对象之间关系，对各触摸点及选取的区域或位置或对象分组的信息包括但不限于：

1 、选取区域或位置或对象的触摸物或触摸图像，尤其是手的不同部位或触摸工具，例如是用一根手指触摸对象来选取对象，还是两根手指触摸对象选取对象还是触摸笔触摸对象选取对象；

2 、选取对象或区域或位置时进行的不同操作，例如被单击选取的对象、被双击选取的对象，被拖拉选取框选取的对象、被触摸图像构成的轮廓选取的对象、以及被触摸图像覆盖选取的对象，将被分为不同的组；

3 、在多点触摸环境下，还可以用一个或多个触摸点选取或确定一个或多个对象或区域或位置，之后保持这一个或多个触摸点不全部离开被确定或选取的对象，根据这几个触摸点选取或确定的区域或位置或对象，确定之后的其它触摸点的功能及被其它触摸点选取的对象将执行或将被执行的操作的效果及位置，这种方式可以称为多点触摸协同操作。例如图 41 ，使用者用右手手指 6 、 7 、 8 、 9 、 10 和手掌 11 笼罩选取了对象 51 、 52 、 53 ，之后在 7 、 8 、 9 附近出现了图标 38 、 39 、 41 ，使用者可以抬起手指去触摸 38 、 39 、 41 ，使用相应功能，只要手指 6 、 7 、 8 、 9 、 10 和手掌 11 不全部离开屏幕就会保持对 51 、 52 、 53 的选取，此时，用其它手指，例如用 3 触摸其它对象或位置，或用 1 、 2 、 3 、 4 、 5 、 12 笼罩选取其它对象或区域，将根据 51 、 52 、 53 和被选取的其它对象或区域执行不同的操作。

进一步的，系统还可以根据触摸点所在的手，来对触摸点及被触摸点选取的对象进行分组。

在确定了参与操作的对象的分组之后，可以根据程序设定来确定各组对象之间的关系，彼此执行的操作。系统可以结合各组对象的属性，各组对象的数量，选取的先后顺序，以及它们所在的组 ，例如对象是被两个手指点击选取的组，还是在多点协同操作中被始终保持触摸的组， 来确定它们的关系及可能执行的操作，直接执行操作或给出相应选项。例如，数量较少的一组对象往往是对其它对象进行操作的一组对象，或者往往是文件移动的目的地，一组对象都是程序图标或者分享网站的图标的话，往往是要用这组对象对另一组对象进行操作。

如果不和多点触摸协同操作配合使用，则在使用根据触摸对象的触摸图像和触摸物的不同或不同的选取方式为选取的位置或对象或区域分组并将不同组的对象互动时，为避免误操作，可通过按住相应的按键或图标等方式，让系统进入多重选取的模式，告知系统此时选取的对象之间是有关系的。可以在移动设备，例如平板电脑上设置专门的按键用于执行多重选取。 如图 42 所示，按键在左上角，便于操作。

同一个对象可以同时属于多个组 . 比较极端的一个例子是有 A 、 B 、 C 、 D 、 E 、 F ， 6 个或 6 组对象， A 被手 A 用笼罩手势选取， B 被手 A 的手指压住， C 被手 B 的手掌压住， D 被手 B 的手指压住， E 同样被手 B 的手指压住，但是在被选取的时候是在选取了 C 、 D 之后用手指双击 E 的方式选取的 E ， F 是被手 B 选取的，手 B 用笼罩方式选取 F 之后，以掌心为圆心原地扭动了一下手掌之后，锁定了对 F 的选取，之后便离开了 F ，去选取 C 、 D 、 E 去了，根据选取的所用的手来划分， A 、 B 会被分为一组， C 、 D 、 E 、 F 会被分为一组，但是根据它们被选取的方式和旋后顺序以及位置， A 、 B 、 C 、 D 、 E 、 F 每一个或一组对象都可以被分为一组。

使用者可以通过结束操作时的操作，进一步明确操作意图和防止误操作。

例如在复制粘贴或移动文件的操作中，需要在结束操作时，触摸点保持对文件移动的目的地的触摸，操作才会被执行，以防止使用者触摸了错误的位置，想要撤销操作却无法撤销。

例一：在执行移动文件等操作时，如图 18 ，使用者使用多点触摸协同操作的方式复制文件，使用者用左手 4 根手指 15 和大拇指 5 ，用笼罩选取的方式选取几张图片和文字等内容，用右手用笼罩选取的方式确定粘贴的位置，右手同时还可以通过在不移动手的情况下，在屏幕上滑动手指来调整复制内容的版式、文字和图片的排列方式，调整时，将在右手选取的位置实时显示预览效果。左手离开之时，右手需仍然保持对粘贴位置的触摸，内容才将被复制到右手的位置。

例二：按住多重选取键，告知系统此时操作的多个对象间是相关联的，使用者先用一根手指触摸对象来依次选取要复制的一个或多个对象，之后用两根手指触摸要粘贴的位置，例如文档的某一位置或某一文件夹。只有在解除多重选取模式前始终保持对要粘贴位置的触摸，系统才会执行复制粘贴的操作，这样可以确定使用者的意图，避免使用者选错了粘贴的位置还执行了粘贴的操作。

这几种选取方式可以相互配合，同时使用。在触摸图像对选取的对象或区域进行分组的方式和多点触摸协同操作配合使用时，可以不使用特定的按键等方式让系统进入多重选取的模式，因为多点触摸协同操作本身已经告知现在操作的多个对象之间是有关联的了。

例一：使用者用一个触摸点触摸一个压缩软件的图标或界面，保持触摸压缩软件的触摸点不离开屏幕，同时用另一个手指点击要压缩的文件或文件夹，用两个手指点击要保存压缩文件的文件夹，之后触摸压缩软件图标的触摸点离开屏幕，告知系统操作结束，系统打开压缩软件的界面或直接给出几个常用选项的图标或直接执行操作。

程序设计者可以对各组对象或位置之间赋予不同的关系，尤其是相互操作，相互进行数据交换等操作。

分组一方面是将对象或区域分为不同的组，另一方面也给了各组以为确定的描述方式，这样程序就可以正确唯一的引用特定的组，设定各组对象之间的关系及执行的操作。例如，程序可以设定将被两根手指点击选取的对象复制到被一根手指选取的对象或区域。

各组触摸点及选取的对象或区域或位置之间的关系包括，但不限于：

1 、其中一组触摸点或选取的对象或区域或位置，控制另一组触摸点或选取的区域或对象或位置的功能和被执行的操作；

2 、其中一组被选取的对象或区域读取另一对象或区域的信息；

3 、将一组区域的内容或对象的内容移动或复制到另一组区域或对象；

4 、以及哪个区域或位置作为操作发生的位置或操作的结果插入或保存的位置；

5 、确定一组对象和另一组对象的关联关系。

在多触摸点协同操作中， 使用者可以用触摸选取一组或多组对象或区域或位置，通过保持触摸点不离开屏幕保持对对象的选取，这些对象和位置可以被称为对象 A 。此时，用其它触摸点选取其它的位置或区域或对象，执行与对象 A 相对应操作。因为已经选取了对象 A ，因此，其它触摸点相同的操作将根据选取的对象 A 的不同，对应不同于平时的效果。其它触摸点可以进行的操作，包括但不限于：

1 、呼出相应选单；

2 、对因选取相应对象，例如对象 A 而已经出现的选定或选单进行操作；

3 、对已经选取的对象 A 进行操作；选取并操作其它一组或多组对象，这些称为对象 B ；

4 、选取其它位置或区域。

通过用不同方式，尤其是不同的触摸物对应的不同的触摸点，同时选取多个位置，多个区域，多组对象，使用者可以向系统表达出被选取的多个对象之间的逻辑关系，系统根据对象类型和对象之间的关系，执行相应操作。操作可以向系统提供的信息的逻辑关系的内容可以包括，但不限于以下中的一个或多个：

操作总共涉及哪几个对象和区域，

哪几个对象和区域分为一组，

使用者使用何种触摸物和何种方法选取的各个对象和区域，

在各个对象和区域上都执行了什么操作，

以及选取各个对象和区域的先后顺序。每个要素的不同都会对应不同的操作信息。系统根据对象类型，各组对象的数量，选取的先后顺序等，确定对象之间的关系，执行相应操作或给出选项。 各组触摸点及选取的对象或区域或位置之间的关系包括，但不限于：

其中一组触摸点或选取的对象或区域或位置控制另一组触摸点或选取的区域或对象或位置的功能和被执行的操作，其中一组被选取的对象或区域读取另一对象或区域的信息，将一组区域的内容或对象的内容移动或复制到另一组区域或对象，以及哪组区域或位置作为操作发生的位置。 对于在选取一组对象之后，将界面上相关的对象都变成图标放在一个选单里，仍视为本发明范围。

例一：使用者可以用一组触摸点选取一个压缩软件的图标，保持触摸点不离开屏幕，之后用另一组触摸点选取多个文件，则被选取的文件将被压缩。进一步的，使用者可以在选取完要被压缩的文件之后，将用于选取压缩软件的触摸点离开屏幕，此时，系统认为使用者选取完毕了要压缩的文件，系统将给出相应的选项，例如'取消操作'或让使用者选取保存生成的压缩文件的位置，或打开压缩软件的界面，使用者此时也可以点击桌面上其它的图标，例如某个电子邮件程序的图标，则系统将打开电子邮件程序，并将刚刚生成文件作为附件附上。某些情况下，使用者可能会在选取完要压缩的文件且系统给出相应选项之后，突然想打开电子邮件等其它程序，而不是马上完成操作，这时，系统便会错误的将使用者点击电子邮件程序的操作与现在正在进行的操作相关联。因此，可以设定为，只有在使用者用一个或多个触摸点保持对系统给出的选项选单或压缩程序操作界面的触摸，同时用其它触摸点击电子邮件程序的图标，即将对象 A 添加到对象 B ，明确表示了两个对象之间的关联，系统才会认为使用者将要将压缩文件作为附件。也可以使用多重选取的方式表明两者之间的联系，按下多重选取键，先点击压缩软件的界面，再点击电子邮件程序的图标，且在松开多重选取键之前始终保持对电子邮件图标的触摸，则系统将明确使用者将要把压缩好的文件作为附件。使用者也可以通过将电子邮件程序的图标拖取到压缩软件界面的方式来表示要将压缩后的文件作为附件添加到电子邮件中，但是因为这种操作的两个对象之间的关系不大明确，系统只能分析电子邮件程序能够和压缩文件两者可能进行的操作得出使用者可能希望把压缩生成的文件作为附件发送出去，但是也有可能要把电子邮件程序添加到压缩文件中，则系统将给出相应的选项让使用者选取，确定执行那种操作。

选取的先后顺序也是系统判断使用者意图的重要信息，例如，在多重选取模式下，使用者先点击压缩软件界面，后点击文件夹，且在松开多重选定键之前始终保持对文件夹的触摸，则系统将认为使用者要把压缩后的文件保存到文件夹。如果使用者在多重选定模式下先点击文件夹，后点击压缩软件界面，切在松开多重选定键之前始终保持对压缩软件界面的触摸，则系统将认为使用者要把这个文件夹也添加到压缩文件中。

例二：用一个触摸点通过压住的方式选取一个'加亮选定区域'的图标，同时用另一组触摸点在屏幕上滑动来选取要执行操作的区域，被滑过的区域将被加亮。或用一只手的手指和手掌罩住屏幕上的某一区域，被罩住的区域将被选取，继而加亮。

使用者还可以用一根手指 A 压住一个文件夹的图标，保持 A 不离开，用另一个或多个触摸点选取其它的文件或文件夹，被选取的文件将被复制到文件夹里。可以用触摸文件图标的方式选取要复制的文件，也可以用笼罩手势选取一个区域内的多个要复制的文件或文件夹。

在电子地图中，程序在气泡式提示框实时显示使用者触摸的位置的详细信息，或者放大的图像等，当触摸点离开屏幕时，提示框消失。使用者可以在保持触摸地图某一位置的同时用其它触摸点操作提示框中的内容。

例三：用触摸点 A 压住一张图片，用其它触摸点呼出相应的选单，用触摸点 B 压住选单中'打印'的选项的图标，保持触摸点 B 不离开屏幕。此时，触摸点 A 可以离开屏幕选取其它的要打印的图片，选取完毕之后，触摸点 B 离开屏幕，之后出现相应的选项，选择相应的打印版式。

用触摸点 A 压住一个文件，用其它触摸点呼出相应的选单，用触摸点 B 压住选单中'压缩'的选项，保持触摸点 B 不离开屏幕。此时，触摸点 A 可以离开屏幕选取其它的要压缩的文件，选取完毕之后，触摸点 B 离开屏幕，出现相应的控制界面，使用者此时可以在控制界面中进行进一步的操作，也可以用两根手指点击桌面上的其它文件夹，选择压缩后的文件保存的文件夹。如果用一根手指点击桌面上的其它文件夹，系统不会认为这个操作与当前操作关联，则正常的选取或打开文件夹。

用于选取各组对象的触摸点同样可以对本组对象或其它组的对象进行进一步的操作。

例四：桌面上摊着许多图片，其中一只手 A 用罩住'制作幻灯片'程序图标，以及另一张图片作为之后幻灯片的背景的图片，通过滑动大拇指，切换系统默认的选取被触摸点压住的对象为选取被笼罩的对象，之后，用另一组触摸点，例如另一只手 B ，来选取要制作成幻灯片的文字和图片，此时，可以使用 3 根手指来通过滑过要选取的图片的方法来选取图片。也可使用一根手指双击要选取的图片或文字，选取文字时，先将一段文字加亮，再双击选取，被选取的图片或文字将被添加到特定的区域，一段文字会被以一张图片的方式显示。如果要撤销对图片或文字的选取，将相应图片或文字内容拖出特定区域即可。在选取图片或文字的过程中，手 A 的手指附近会出现相应的对此时正被触摸的图片或文字进行简单处理的选项，例如'将图片作为标题'，'加重字体'等简单的选项。或者显示图片的相关信息。

使用者还可以通过用两根手指双击某一音乐文件或幻灯片模板，表示将之作为幻灯片的背景音乐或模板，配合的图形效果是这个文件被添加到手 A 笼罩区域的下方。

手 B 选取了要使用的图片之后，抬起手 A ，手 A 的抬起被视为确定操作，抬起后会出现进一步的选项。如果手 B 没有进行任何操作就抬起了手 A ，则不会出现这个选项，表示使用者不打算进行任何操作。

使用者用一组触摸点选定一张图片，再用另一组触摸点确定复制图片的位置。同时以用于确定复制图片的位置的多个触摸点为顶点，对图像进行扭曲。 如图 18 中， 15 、 5 、 12 用于选取源图片， 16 、 6 用于确定复制图片的位置，并通过以 16 、 6 为顶点对图片的形状和大小进行调整。

另一种情况是一次用 15 、 5 、 12 触摸点选取一段文字或多张图片，保持触摸，用 16 、 6 确定复制图片的位置，同时通过改变 16 、 6 的相对位置，施加不同的压力，切换图片或文字的排列版式，以及添加各种效果，例如使文字和图片看起来是立体的，同时向某一方向倾斜。当 16 、 6 与屏幕保持触摸时， 15 、 5 、 12 也可以对图片和文字进行各种操作而不会导致操作结束。可以设定为 15 、 5 、 12 附近出现与之对应的生物界面， 15 、 5 、 12 通过压力、前后滑动等来使用各种功能，也可以设定为当 16 、 6 与屏幕接触时， 15 、 5 、 12 可以离开屏幕，通过点击图标等来对文字和图片进行操作。需要注意 16 、 6 离开屏幕时， 15 、 5 、 12 也已经离开屏幕，则复制操作将被执行。

被选取的对象可以只影响特定的触摸点或受特定的触摸点影响，例如特定位置的触摸、不同的肢体部位、触摸指令、触摸物，例如操作工具，都将对应不同的操作。

例五：用手压住页面上的一张图片，当用两根手指滚动页面时，图片将因为被压住而被固定，不随页面一起移动，手指的滑动和图片之间也没有任何关联。用一个手指或触摸工具点击页面其它位置或某一文件夹时，图片将被复制到相应位置，将另一只手的四根手指和手掌放到屏幕上时，每根手指的下方将出现可以对被压住图片执行各种操作的选项。

某些时候，被选取或确定的对象只能被和触摸自己的触摸点来自不同的手的触摸点发生关联，例如被操作，系统通过两个触摸点之间的距离和位置关系，和屏幕上手掌的触摸图像的位置关系来判断触摸点是否来自一只手。

另一个例子是选取一组对象，对象附近出现一个区域，将手指放入区域内，在手掌与屏幕接触之后，手的四个手指附近将出现与每个手指对应的选项。其它位置的操作都不会对被选取的对象产生影响。

例六：用左手笼罩手势选取一个后勤车，左手接触屏幕的手指下出现多个选项，用其中的一根或多根手指选定它们所对应的选项，例如用它们敲击屏幕，选定了补充弹药，以及维修，被选定的功能的图标变成了滑动条，可以前后移动手指以选定补充弹药和维修的程度，例如是为目标补充 70% 还是 80% 的弹药。之后选取需要补充弹药和维修的目标，如果要选取一片目标可以用笼罩手势，实施设定好的操作。操作有三种释放方式：

1 、一种是使用者始终触摸后勤车，此时被使用者其它手指触摸的所有其他对象都会被实施操作，当使用者不触摸后勤车之后，所触摸的对象就不会再被补给了。

2 、一种是设定为仅仅对其后的第一个触摸对象进行补给。

3 、还可以是在后勤车上进行完那些设定之后可以设定保存或者系统自动保存，在之后选定其它的对象之后，便可以在选单中找到这个选项，之后后勤车就会对其进行补给。

这个过程也可以反过来，即选定对象之后保持对对象的触摸再选定后勤车。可以设定先被选定的对象要主动靠近后被选定的对象。

在游戏中，一个触摸点通过选取游戏地图上功能为'动力中心'的建筑，呼出了下一层选项，下一层选项可以采用自由式图标，也可以采用生物界面。以采用自由式图标为例，在图标中选取'能量罩'，之后能量罩的图标变成控制能量罩能量强度的滑动条。在保持对控制图标触摸的同时，用笼罩手势选取要释放能量罩的区域。用于选取区域的触摸点在与触摸屏发生接触时，每个触摸点边上都浮现出一个图标，用以进一步选择能量罩的类型，点击相应图标以选择能量罩的类型，同时确定在现在选定的位置启动能量罩。在能量罩启动之后仍然可以通过图 18 中 6 、 16 、 11 控制它的轮廓，以及 6 、 16 、 11 通过不同的压力控制能量罩不同区域的强度。

需要注意，用于选取对象 A 的触摸点和用于执行进一步操作的触摸点并不一定要完全不同，只要用于选取对象 A 的触摸点不全部离开屏幕即可。例如，使用者用手笼罩住了一个对象 A ，之后呼出相应的选项。选项出现在用于选取对象 A 的手的手指下方或者附近，用于选取对象 A 的手指可以操作相应的选项。

在同一个操作系统中，各组对象的关系应当有一定的规范，例如，在使用选取的先后顺序分组时，先被选取的对象将被复制到后被选取的对象。或者一根手指选取的对象将被移动到两根手指选取的对象。多点协同操作中，之后被选取的对象的内容将被最先被触摸点触摸选取的那组对象读取。当操作结束时仍被选取的对象将被作为整个操作的执行的目的地，例如最终生成的文件将被保存到操作结束时仍被保持触摸的对象，而不考虑选取的先后顺序。被触摸工具例如触摸笔点击的位置将始终作为粘贴位置而不考虑先后顺序。也就是说各组规则之间优先级是有高低之分的。但是这种关系将仅在简单操作中，尤其是复制粘贴操作和移动文件的操作中，复杂操作应当在操作结束时给出最可能的选项供使用者选择，因为过于复杂的规则是会让使用者迷惑的。

以上操作方式同样适用于触摸屏操作工具，尤其是多点触摸屏操作工具。

在许多需要精确选择操作位置的情况下，可以先确定操作位置，再选取图片等源对象。

通过触摸图像确定操作区域，再通过用于控制的触摸点控制不同部分的参数。

如图 18 ，通过 16 手指、 6 大拇指、 11 手掌控制 3D 物体 61 在触摸屏所在平面或曲面上的投影，通过 16 、 11 、 6 的压力控制 61 的颜色 / 厚度之一，通过 15 、 6 、 11 的按压屏幕、在屏幕上滑动等控制 61 的其它参数，例如它在 z 轴坐标上的坐标值、厚度、与坐标轴或某一参照物的角度等。以此通过两只手来控制图形 61 的空间位置以及形状。还可以进一步控制 61 所对应的功能等，例如 61 如果是一个刷子， 15 可以控制它刷出的颜色的浓度， 16 可以控制它不同位置上刷出的颜色的浓度，例如 16 某根手指对屏幕压力增大，则与其对应的部分刷出的色彩浓度增大。

使用者将手压在一张图片上，之后在其它位置出现一张相同的图片，同时实时显示在上边显示出使用者的包含不同位置触摸压力信息的触摸图像，不同的压力用不同的效果显示，以供使用者预览。

压力可以被赋予相应的功能，例如滤镜效果，物理材质等，压力越大的区域被处理的效果越明显。当使用者对预览效果满意时，保持压在图片上的手的触摸图像不变，用另一只手上的其它触摸点通过在相应图形选项上，例如生物界面上进行确认操作，之后对图片所作的改动就被应用到图片上，或通过另一只手选择不同的处理效果，例如不同的滤镜。还可以根据不同的压力将被压住区域划分为多个区域。例如，在塑造 3D 物体时，可以按照不同的触摸压力将被压住区域划分为多个区域，按照压力大小的不同施以渐变的颜色。在其它位置显示一个条状的色彩渐变的选单允许多个手指同时操作，如图 14 所示。在操作的时候，它会随着手指的滑动扭曲，就像是一根柔软的带子一样。选单各个位置分别与和它颜色相同的被压住区域相对应。触摸点通过在其上滑动，控制不同区域的参数。或是在其上施加不同的效果对应不同的区域。例如可以使用触摸笔在其上某一区域涂抹，从而增加 3D 虚拟物体与此区域相对应的区域的物理硬度，或增加相应区域的高度等。

选定一片区域或多个对象时，系统可以根据预先设定的相应规则将区域划分为多个子区域或将多个对象分组，每个子区域或组以颜色，字符等方式标志，同时在用于控制的触摸点周边，显示相应的标志和颜色，以提示使用者相应触摸点所对应的控制区域或对象。如图 45 所示， 51 、 52 为两个对象， 53 、 54 为被分成的两个区域。 38 、 39 、 40 、 41 分别与它们一一对应。或是显示一个有多个分别以各组区域和对象对应的选单。如图 14 所示，它有多个选项 231 、 232 、 233 ，触摸点 171 、 172 、 173 在其上控制。这种提供选项的方法适用于所有选定一个对象或区域然后提供多个选项供多个触摸点同时操作的情况。

7 、预判断选单：

当选取的多个对象中包含可以互动的对象时，尤其是选取的对象同时包含程序图标和程序可以打开的文件，分享到特定网站的图标和可以被分享的文件时，系统可以给出相应的互动选项。

例如，使用者按住对应多重选取功能的按键，通过依次点击对象，同时选取了一个压缩软件的图标和多个文件，或通过拖拉选择框同时选取了一个压缩软件的图标和多个文件，则在之后出现的选单中应当提供用选取的压缩软件压缩被选取的文件的选项。

使用者也可以使用笼罩方式选取一个压缩软件的图标和其它文件，之后将出现'用压缩软件压缩文件'的图标，图标以生物界面的方式提供。使用者可以通过滑动于图标对应的手指或点击图标的方式执行该操作。

这种选单也可以配合多触摸点协同操作使用。使用者用手 A 使用笼罩选取的方式同时选取了'分享到 blog '的图标和'制作为幻灯片'的图标，因为手 A 同时选取了'分享的 blog '的图标和'制作为幻灯片'的图标，因此系统判断使用者希望将被选取的对象制作为幻灯片之后再分享到本来 blog ，并给出相应的选项。提供选项的方式可以是以生物界面的方式，在手 A 的手指附近出现，与某根手指相对应，也可以在其它位置出现。选取相应选项之后，使用者可以用手 B 选取要制作为幻灯片并分享到 Blog 的图片。手 B 可以通过双击相应的图片表示选取相应的图片，被选取的图片将被摆放到特定的位置，并在相应的位置显示幻灯片各个版面的缩略图。可以通过将图片拖离相应位置解除对图片的选取。选取图片时，手 A 的手指下方会出现与各个手指对应的选项，通过选项可对此时被手 B 的手指触摸的图片进行一些简单的处理。如果手 B 用多根手指触摸图片，则在其中几根手指的下方会显示文件的相关信息。当手 A 离开屏幕时，视为操作结束，此时可以出现相应的选项或打开程序的界面，让使用者进行进一步的选择，例如分享到 blog 的哪个版面，进行隐私设置等。

比较特殊的情况是当选取一张图片或文字的同时选取电子文档的空白位置时，可以执行复制粘贴或剪切操作。例如，通过按住多重选取按键等操作，告知系统此时依次点击的多个对象之间是有关系的，之后先点击图片，再点击要复制的位置，系统可以给出相应的选项让使用者选择是执行复制操作还是剪切操作还是取消操作，如果使用者不予选择，则执行默认的操作。也可以根据使用者选取的先后顺序判断，例如先选取要粘贴的位置，再选取图片则对应复制，先选取图片，再选取要粘贴的位置，则对应剪切，或者设置为必须先选取空白位置，再选图片，系统才会认为使用者要执行复制粘贴的操作，执行默认操作或给出选项。反之则不认为使用者要执行复制粘贴操作。为防止发生误操作，可以设定为在解除多重选取之前，触摸点始终保持对要粘贴位置的触摸才执行粘贴操作。

8 、拖取操作

在执行拖取操作时，例如将文件拖取到文件夹或程序图标或程序界面，可以出现相应的选项。例如，在将文件拖取到文件夹时，可以从文件夹上浮现出几个选项，让使用者选取是复制文件还是移动文件。如果是在多点触摸环境下，使用者可以保持拖取对象的触摸点不全部离开屏幕，用其它触摸点选取出现的选项。如图 30 ， 41 是文件， 17 是手指的触摸点， 38 、 39 、 40 是图标可能出现的位置，也可以采用图 31 的样式。如果使用者没有选择任何选项，就将用于拖取的触摸点离开了屏幕，则按照系统预置的默认设定执行。可以设置为只有在使用特定的触摸物或方式拖动时才会出现选项，例如，使用两根手指拖取文件或在拖取的同时还按住了其它按键，拖动时才会出现相应的选项图标，使用一根手指拖动是不会出现选项图标的，在出现选项时，使用者可以抬起用于拖取文件两根手指中的一根选取选项，也可以用其它触摸点选取，只要用于拖取文件的触摸手指不全部离开选取对象或离开屏幕，操作就不会被按照默认设置执行。如果使用者用一个手指拖动图标，在拖动到文件夹上时或者之前，用 17 边上的手指 172 接触屏幕，或者用 172 在 17 边上滑动，选项仍然会出现，而不是必须一开始就用两根手指拖取文件选项才会出现。用单根手指拖动时选项不出现的目的就是让使用者打算用默认设置移动文件时不会看到选项而觉得罗嗦。

使用者还可以将文件拖取到电子邮件程序的图标上，创建新的电子邮件，将拖取的文件添加为附件。

9 、触摸工具及操作界面

手写笔在屏幕上进行书写。手指同时触摸其它位置控制手写笔所对应的功能。

例如，使用者一只手拿着手写笔在屏幕上书写，当手写笔与屏幕发生接触时，屏幕上适当的位置将出现一个窗口或控制区域。这一位置可以由使用者设定，固定于屏幕的某一区域，例如屏幕的左侧上端，也可以是软件根据当时使用者手和笔所处的位置及接触图像和使用者的习惯实时设定，例如，当使用者将系统设定为右手习惯之后，控制区域就始终位于操作工具左端的与屏幕发生触摸的手指附近。系统可以通过重力传感器分辨左右。

控制区域同时显示一个或多个备选图标的选单。选单的样式可以有多种样式，可以使用本发明中提供的任何提供选项的方式。

例如，采用如图 6 的样式， 71 是控制区， 72 是触摸屏操作工具。 71 中显示可能的备选功能图标，当使用者触摸时提供相应的功能，例如：审阅、批注、删除、修改颜色、插入等。选单区是可以滑动的，当使用者的拇指在选单上滑动时，选单上的图标便向相应方向滑动，隐去旧的图标，显示出新的图标可以将整个选单想象成一个球心在屏幕下方的球体或者圆环，显示的选单部分是其中一部分。选单上的图标和图标位置是可以人为编辑的，也可以由系统根据使用频率自动排列位置，或者生成一个常用列表，默认的情况下是显示常用列表的图标，其它的图标需要滑动才显示出来。选单上的图标可以是点击之后手写笔切换至相应功能，也可以是按住不松手切换至相应功能，松手之后即切换至其它预设状态，或者按住不放用手写笔选取相应区域，松开之后在相应区域执行操作。选单上的图标也可以具有压力感应，例如控制手写笔笔迹颜色深浅、粗细的按钮便可以通过压力感应来控制颜色、粗细，例如压力大便是深、粗。为了防止在滑动选单的时候出现误操作，可以设置独立的滑动区，例如图 1 是选单的滑动操作区。控制区也可以采用呼出式图标等其它方式提供选项。甚至可以直接采用触摸指令而不采用任何方式对使用者提供引导。 72 控制区也可以采用如图 721 的样式，沿箭头方向滑动分别对应'剪切'和'粘贴'。

手并不一定只有触摸控制区内的对象才能控制手写笔，选取其它位置的对象，例如文字，图片，功能图标等同样能控制手写笔的功能。

控制区并不是一个嵌在某一程序内的区域，它可以是一个独立的程序或者小工具。例如，控制区可以是一个浏览器的窗口，或者搜索栏。使用者在阅读或处理电子文本时，可以用手写笔选取内容，保持手写笔不离开选取的内容的同时用手指点击控制区内的搜索键，则以选取的内容为关键字搜索。

控制区的图标选单是动态变化的。根据手写笔的触摸轨迹和触摸位置，压力，所对应的功能切换不同组的选单。例如将手写笔设为批注之后就会出现新的对应批注中可能用到的功能的选单。

控制区对专用操作工具的控制方式同样可以应用于手指，例如，当手指选定一片区域的文字等对象时，控制区同样可以出现相应的选单选项，其它功能依此类推。

触摸工具可以通过类似于光电鼠标的方式，通过高速对比 CCD 扫描到的图像，确定自己的移动速度，因为屏幕自身能够发光，因此手写笔不需要像鼠标那样自行发光，以避免屏幕反光影响使用者观看屏幕上的内容。

10. 插入操作和关联操作：

使用者可以用一个或多个手指压住文档的某个位置或某选取的内容，同时用手写笔在其它位置书写，则书写的内容将成为手指选取的位置的批注。使用者同样可以使系统进入多重选取的模式，例如按住多重选定键，同时先用手指点击选取相应内容或位置，之后再用手写笔书写，则书写的内容将成为选取内容或位置的批注。

使用者可以同时触摸多段图片和文字，将它们分为两组，其中一组成为另一组的批注。或让系统进入多重选取的模式，同时选取多段图片和文字，将它们用本发明中提到的方法分为两组，其中一组成为另一组的批注。

11 、精确控制复制和粘贴的内容和位置

当手指接触到文字等需要精确控制光标位置的内容时，在手指与屏幕接触位置以外其它几毫米处，产生一个辅助光标。对文字等内容的选定以此光标为标志。通过这个光标，可以精确的确定选定的内容。例如，在选定一段文字时，手指先在文字内容上停留半秒钟，之后，在手指与文字接触区域左侧或右侧或指尖处 5 毫米的位置，出现一个用于选取文字内容的光标，光标与手指保持固定的相对位置。此手指保持与屏幕的接触，将光标移动到要选定的内容的起始位置。可以通过如下操作发出开始选取内容的指令，包括但不限于：

1. 加大手指对屏幕的压力，

2. 或用其它手指在进行选定操作的手指边上快速滑动，例如图 33 ，其中 17 是使用者的一根或多根并在一起的手指， 172 是其它手指，沿箭头方向快速滑动 ;

3. 或快速变化手指对触摸屏的压力 ;

4. 或点击相应的功能图标 ;

5. 或是采用前边提到的各种激活方法。

当确定开始进行选取内容的操作之后，系统应当给予相应提示，例如用于选取内容的光标改变颜色。在要结束选取操作时，可以直接让用于选取的手指离开屏幕，或减小对屏幕的压力，同时系统也应给予相应提示。如果要一次选取不连续的多段内容，则应采取其它的方式发出结束选取的指令，例如用其它手指在进行选定操作的手指边上快速滑动，例如图 1 ，或快速变化手指对触摸屏的压力，或点击相应的功能图标，或是采用前边提到的各种激活方法。

为了兼容现有的操作系统结构，光标可以通过在驱动程序层上虚拟出一个鼠标实现，当需要光标时，则启动此鼠标。

这种操作方式同样适用于多点触摸工具，例如触摸笔，因为触摸笔的笔尖没有遮挡问题，因此不需要在其它位置显示光标。

使用者选取一段文字或图片等对象，通过相应操作，例如特定的触摸指令或选择相应的基于图形界面的选项，将被选取的对象添加到多重剪切板。推荐的方式是将选取的对象拖动到特定区域实现添加到剪切板的操作，或是在选定的内容边上出现一个图标，点击图标加入剪切板。也可以出现两个图标，分别对应复制和粘贴。

粘贴时，因为需要精确的确定粘贴操作的位置，应先将触摸工具或前边提到的辅助光标或手指等用于定位的触摸点移动到需要的位置，之后保持用于定位的光标不动，用其它触摸点将控制区切换到多重剪切板的选择列表，或者系统自动将控制区切换到多重剪切板的选择列表。当其它触摸点在控制区滑过不同的粘贴内容或在某个粘贴内容处停留时，触摸工具或辅助光标或手指等用于定位的触摸点所在的位置会显示出粘贴后的效果预览。通过在预览内容上移动触摸工具或辅助光标或手指等用于定位的触摸点，可以选择全部内容中要粘贴部分，而不是将全部的内容都粘帖上。

12 、一种控制根据触摸图像生成的图形，尤其是 3D 图形的方法

通过触摸图像确定物体的外形，通过手指控制物体的姿态和位置。

例如使用者将一只手放在触摸屏上，以此确定虚拟的手掌的状态，是叉开手指还是五指并拢，还是屈起一只手指。如果系统事先知道触摸物体的大致形状，例如事先通过设置得知使用者会将一只手放在屏幕上，则可以根据平面上的触摸图像来判断手的大致姿态，例如图 19 所示的样子就是使用者屈起了左手食指，因为 4 食指和 11 手掌之间的触摸图像是不连续的。系统可以根据使用者还可以通过左右晃动来表示持续的按压。例如，使用者可以以手侧面接触屏幕，保持手侧面与触摸屏接触，用力按压触摸屏，在手掌所在的平面上，快速的摆动手掌，在摆动过程中允许手侧面的边缘短时间因为摆动离开触摸屏。此动作控制虚拟的手掌沿手侧面方向下切。

程序可以根据手的各部分的压力来确定生成的物体相应部分的厚度，或在 Z 轴方向上的高度。例如，使用者可以通过增加右侧手掌的压力，使生成的 3D 物体的右侧在 Z 轴方向上的高度降低。

图 19 中，使用者通过右手的手指 16 ，大拇指 6 ，以及整个手掌与 x 轴所成的角度控制系统根据左手的触摸图像生成的手掌在空间中的姿态。通过右手在屏幕上的旋转控制虚拟手掌相对于使用者左手以 y 轴为轴旋转的角度，以大拇指控制其相对于使用者左手以 x 轴为轴旋转的角度，以其它 4 个手指控制它沿垂直于屏幕所在平面的 z 轴旋转的角度。

生成的虚拟物体并不一定是一个虚拟的手形物体，也可以通过一定参数变形为其它形状的物体。可以按照一定参数对触摸图像进行变形，之后照变形的触摸图像生成虚拟物体。也可以按照一定参数对基于原始触摸图像生成的 3D 物体进行变形和映射，变成与之对应的其它形状的 3D 物体。用于提供触摸图像的也不一定是手，也可以用其它的触摸物提供触摸图像。

13 、触摸指令编辑器

通过将手的动作分解为一系列标准化动作，使用户可以自行定义触摸指令。

例如一种分类方法：

将触摸指令分为多个时间段，分别定义每个时间段内的动作，一个触摸指令可以由多个时间段构成。

每个手分为多个部分

手掌下缘、整个手、小拇指、无名指、中指、食指、大拇指、小拇指指尖、无名指指尖、中指指尖、食指指尖、大拇指指尖、掌心、手的侧面。手掌和掌心可以分为左右两部分，手的侧面可以分为手指和手掌两部分。

系统根据图形识别以及各个触摸点彼此之间相对位置的方法识别手的各个部分。

每个部分都有标准动作：手指和手指尖的标准动作包括：未参与触摸，沿 x 轴或 y 滑动，向邻近手指滑动，敲击屏幕及次数，按压屏幕及轻重次序，持续时间，原地扭转，沿自定义方向滑动，沿特定轨迹在屏幕上滑动，轨迹包括：圆，椭圆，三角形，梯形，平行四边形，五角型，锯齿形。以及自定义轨迹，使用者可以用制图工具自定义，使用标准图形和折线，直线，曲线组成新的轨迹。

可以以和 x 轴 y 轴所成角度描述旋转和滑动，以及旋转和滑动的轨迹。

手掌，手掌下缘，手掌中部的标准动作包括：未参与触摸，沿 x 轴或 y 滑动，敲击屏幕及次数，按压屏幕及轻重次序，持续时间，原地扭转，沿自定义方向滑动，沿特定轨迹在屏幕上滑动，轨迹包括：圆，椭圆，三角形，梯形，平行四边形，五角型，锯齿形。以及自定义轨迹，使用者可以用制图工具自定义，使用标准图形和折线，直线，曲线组成新的轨迹。

使用者可以采用编码的形式自定义触摸指令

可以采用此种格式：时间段 哪只手 手的哪一部分 什么动作

有些触摸指令并不限执行触摸命令的手指，此时可以采用这种描述：某手指或手掌，手掌下缘，手掌中部起向左，向右，向上第几根手指。

各种动作和手的各个部分可以赋予相应代码，如手上各部分以大写字母，大拇指以 A 代表，动作以小写字母为代码，轨迹以数字为代码，如滑动为 a ，顺时针椭圆轨迹为 2 ，则沿椭圆轨迹顺时针滑动为（ a2 ），可以加以括号以防止混乱。时间段是表示操作发生的时刻，例如，将两个操作设为同一时间段表示两个操作要同时发生。

也可以以选单选择的方式让使用者自定义。这样更加直观且便于操作。如图 20 ，其中 71 为选单， 72 为按钮。

由于采用了标准化，使用者可以使用键盘发出一些简单的触摸指令，实现了触摸指令和键盘操作的无缝衔接。

同样可以采取识别的方式，让使用者在系统的引导下完成触摸指令。

根据系统提示的时间段，使用者将触摸指令分步实施。以便于系统识别。

14 、多重攻击指令。

在对一个对象下达一个命令之后，在下达新的指令时可以设定新的指令相对于已有指令的优先级。例如，在游戏中命令一辆坦克移动之后，又向它命令向某一目标开火，这时便可以设定开火相对于移动的优先级。之后又命令它规避某一区域，此时就可以设定规避某一区域这一操作相对于开火和移动的优先级。

15 、触摸引擎

根据使用者的触摸图像，尤其是使用者手部的触摸图像、施加于屏幕的压力，以及其它的预置参数，生成一个与之对应的，能被物理引擎，特效引擎等处理的物体，以此将使用者的触摸效果交由物理引擎，特效引擎等进行处理，实时生成各种触摸效果。系统应内置一系列默认参数，作为手及其它触摸工具在没有被赋予其它参数时使用。生成的虚拟的物体并不需要显示出来的，它仅仅是为了将触摸信息转换为物理引擎及其它引擎能处理的信息而生成的。例如，触摸的压力大小用以决定生成的物体在 3 维空间 z 轴上的小范围移动，或者对其它物体施加的压力，或游戏中设定的某项参数的强度。例如，游戏中设定了一个'能量密度'的参数，压力对应生成的虚拟物体的能量密度，压力越大，物体的能量密度越大，或者物体对其它物体释放的能量强度越高。例如在游戏中，使用者选定一挖土机，则系统将根据使用者手指触摸图像生成的物体的物理材质设定为挖土机对应的物理材质，根据触摸压力确定其对地面施加的压力的大小以及挖掘深度，根据触摸图像确定它与地面的接触面积。此时，使用者用手指按压游戏中的地面，或与其它物体，如坦克碰撞，便可以产生挖土机挖过的效果，而无需游戏制作者事先设定，大大减轻了游戏制作者的工作量。

触摸引擎，同样可以根据使用者的触摸压力确定生成的物体在 Z 轴上的厚度。通过根据使用者的触摸图像，以及触摸图像不同位置的触摸压力生成一个能被物理引擎， 3D 引擎处理的物体。触摸压力用于确定生成的物体不同位置的厚度以及在 z 轴上的高度。其在 X,Y 平面上的面积正比例于使用者的触摸图像 Z 轴并不一定垂直于触摸屏所在平面，而只垂直于具体情况下设定的 X,Y 平面。

如果使用的是具备 3 维感知能力的触摸屏，例如能感知距离触摸屏一定距离内触摸物的电场感应式触摸屏，则可以根据物体和屏幕间的距离的变化确定生成的虚拟物体在 3 维空间 Z 轴上的移动。

本发明中，能适用于手的操作都适用于触摸屏操作工具，反之亦然。手的不同肢体位置，不同的肢体组合，例如一只手指或两只手指并在一起、手掌、一只手的手掌和手指同时触摸屏幕、一只完整的手触摸屏幕，都可以被视为不同的操作工具，许多操作都可以设定为只对特定的触摸物，或特定位置的触摸物做出响应或不做出响应。许多操作只有特定的触摸物才能触发，例如，可以设定为只有手指和手掌同时接触屏幕的手，以手掌为圆心旋转手指才能呼出选单。

在多点触摸环境下，通过生物界面，手的各部分可以和图标相互对应。图标并不一定要与手指一一对应，同一个图标也可以对应两根手指的操作，它是对应手的部位，而不一定是一个部位，例如系统可以用生物界面同时显示两级选单，第一级选单与两根或多根手指或整个手同时向一个方向滑动相对应，以此在不同的选项间切换，第二级选单的图标与各个手指一一对应。标识也不一定只与手指对应，也可以和手掌对应，通过手掌施加不同压力等方式操作。标识也不一定要出现在对应位置的附近。例如，为了便于使用者集中精力，可以出现在使用者此时正在观察的位置附近。

本发明将手视为一个操作工具，本发明中各部分提供的手可以进行的各种操作，发出的各种指令都可以用于本发明其它任意部分，根据程序的设定执行任意功能。

发明中各处提到的选单，选项样式，选取方式等，都是具有通用性的，可以用在其它任何部分，用于任何功能。

多对象协同操作，尤其是多触摸点协同操作，可以使用选取和确定操作中提供的各种选取对象的方式和互动方式，以及本发明中提供的任何选单、生物界面、自由式图标等。

本发明提供的选单样式和各种界面元素，例如图标容器等，并不仅限于多点触摸操作，单点触摸同样可以使用。

自由式图标指引使用者的方式，各种样式，例如图标分裂，在使用者的手指各个方向显示向各个方向滑动手指对应的功能等图标样式，可以用于各种操作选项和标识。

通过其它方法使系统实现同时选定多个对象继而使用本发明提供的界面、提供选项等方式，以及执行的操作等发明内容同样在本发明的范围内。

通过多组触摸点，尤其是两只手对应多组触摸点选定不同位置，同样是一种选定操作，只是包含了多个位置信息以及先后顺序，具有更丰富的结构。对于选定操作可以采取的一系列操作，包括锁定、呼出选单、各种选定方式、各种样式的选单等一系列效果和可以采取的进一步操作都包含在本发明范围内。

本发明中，生物控制区是对生物界面的不同称谓。

本发明中，对象包括：图标、某一块区域、窗口、图片、快捷方式、触摸点、触摸物等一切图形界面的界面元素。

触摸点并不仅表示一个点，触摸点也可以表示触摸点的触摸图像或触摸图像覆盖的触摸区域。

本发明中，选项、滑动条、自由式图标、图标容器、选单都可以视为图标的一种，本发明中提到图标涵盖了以上对象。

在使用者选取了多个对象，并根据相应方式将对象或区域分为不同的组时，如果系统无法确定使用者的唯一操作意图，应给出选项供使用者选择执行哪种操作。

对于同一组对象，不同的操作对应不同的指令，尤其是呼出不同的选单。

本发明中，触摸物可以进行的各种操作，以及多个触摸物，多个操作的组合，称为触摸指令，包括但不限于：

1. 1、 在屏幕上以不同轨迹滑动；

1. 2、 离开屏幕；

1. 3、 触摸屏幕；

1. 4、 按压屏幕；

1. 5、 多重按压屏幕；

1. 6、 敲击屏幕，

1. 7、 以及多个触摸物同时进行以上操作的各种组合。

不同的操作顺序，不同的触摸物和触摸指令，尤其是对于多组对象的选取的先后顺序，对应不同的操作，呼出不同的选单。

生物界面的图标并不一定要肢体等触摸物触摸之后才出现，也可以先出现。

自由式图标，控制区，快捷方式，选单的选项。普通的图标等能够对应某些功能图形对象是有很多共同之处的，本领域人员应当理解，本发明中对这些对象中某一对象的操作，使用，是可以拓展到其它对象的。

本发明中，能对被选取对象进行的操作，都适用于对被确定而未被选取的对象进行，反之亦然，确定和选取仅仅是两个不同的状态。

本发明中提供的在各种分组方式下的实施例都是说明性的，而非限制性的，两组对象之间可以有各种不同的逻辑关系，甚至于与实施例中的相反的关系。

将多个对象分布在多个屏幕上，使用本发明提供的各种内容，同样属于本发明的范围。

例如：将压缩软件等程序图标放在一个屏幕上，将其它文件放在另一个屏幕上，进行多点触摸协同操作，在一个屏幕上用触摸点选取一个位置，在另一个屏幕上用手写笔书写，书写的内容成为被手指选取位置的批注类似操作等，都属于本发明的内容。

本发明之提供的任何操作方法都可以用于触发本发明中提供的各种事件。

有益效果 附图说明

图 1 到图 4 是选单的几种样式

图 5 是选单出现在与呼出选单命令发出不同位置的界面示意图

图 6 是触摸笔界面的一个示意图

图 7 是一种选定目标的触摸指令

图 8 是五个手指的触摸图像

图 9 是一个触摸图像

图 10 是人的双手

图 11 是一种使用选单的触摸指令

图 12 是几种选单的样式

图 13 几种图标的样式

图 14 是一种图标或选单的样式

图 15 是 4 个手指压住图标的示意图

图 16 是双手操作的一种形式的示意图

图 17 是出现了多个图标，手指触摸了其中的 3 个图标的示意图

图 18 是双手操作的另一示意图

图 19 是用使用者左手屈起一根手指和右手的触摸图像的示意图。

图 20 是触摸指令编辑器的界面示意图。

图 21 是使用者抬起中指选取中指对应的对象的示意图。

图 22 是生物界面和滑动选取选单的示意图

图 23 是使用者将大拇指压在手的下方的示意图

图 24 是双手触摸屏的分区示意图。

图 25 是一个选单的示意图。

图 26 是界面示意图

图 27 是界面示意图

图 28 是界面示意图

图 29 是显示信息的界面示意图

图 30 是生物界面的几种选单样式的示意图。

图 31 是生物界面的选单样式示意图。

图 32 是同一个生物界面的不同情况下的几种样式的示意图。

图 33 是辅助光标和两个触摸点的示意图。

图 34 是一个生物界面的示意图。

图 35 是一个生物界面的示意图。

图 36 是多根手指触摸屏幕时生物界面提示手掌触摸位置的示意图。

图 37 ，图 38 是手掌触摸屏幕时的生物界面的示意图。

图 39 是生物界面的示意图。

图 40 ， 41 ， 43 ， 44 是生物界面的示意图。

图 42 是一个移动设备外观的示意图。

本发明的最佳实施方式

本发明的实施方式

工业实用性

序列表自由内容

Claims (10)

1. 一种根据触摸图像及触摸图像构成的轮廓确定或选取区域或区域内对象的方法。

2. 一套适合多点触摸环境使用的选单，其特征是呼出选单的触摸点消失，且选单上没有触摸点对选单进行操作，则选单消失。

3 .一种图标，具备以下特征中的一个或多个：

图标被激活后，向不同方向移动图标将对应不同的功能；

图标被激活后，相应的手指下方或附近，或触摸点附近会出现图形标识，指引相应的手指或触摸点向不同方向滑动，选取或使用不同功能；

图标被激活后 相应的手的手指下方或附近会出现图形标识；

图标激活后出现的图形标识会随着相应触摸点或相应肢体部位，例如手指的移动而移动，保持相对位置不变。

4 .一种界面，具备以下特征中的一个或多个：

系统根据一个或多个触摸点的位置，结合触摸点的触摸图像和预置的设置，确定触摸点所对应的触摸物所在的手的其它部分易于操做的位置或区域，图标，滑动条等将直接出现在或移动到相应的区域或位置，或符合相应区域或位置的轮廓，便于使用者的手操作；

界面的图标会根据触摸屏幕的手指的位置，确定图标的排列，使图标位于相应手指的下方或附近等易于触摸的位置；

界面的图标与相应手的各部分，或各部分附近或下方易于触摸的区域或位置相对应。

5 .一种确定各个触摸点及选取的区域或位置或对象之间关系的结构，通过对各个触摸点及触摸点选取或确定的对象分组，使用者和程序设计者可以根据这个结构定义各个触摸点及选取或确定的区域或位置或对象之间的关系，从而充分利用操作信息，其特征是通过以下方法中的一个或多个对对象进行分组：

根据选取区域或位置或对象的触摸物或触摸图像；

根据选取对象或区域或位置的方式；

用一个或多个触摸点选取或确定一个或多个对象或区域或位置，之后保持这一个或多个触摸点不全部离开被确定或选取的对象，根据这几个触摸点选取或确定的区域或位置或对象，确定之后的其它触摸点的功能及被其它触摸点选取的对象将执行或将被执行的操作的效果及位置；

据触摸点所在的手，来对触摸点及被触摸点选取的对象进行分组。

6 .一种触摸工具与手共同操作的方式，其特征是在触摸工具和手同时触摸屏幕时，通过手控制触摸工具的功能。

7 .一种程序架构，其特征是根据触摸图像及触摸压力，触摸物和屏幕的距离，生成相应虚拟物体及相应物体的各项参数和在虚拟空间中的位置，交由物理引擎和特效引擎等相关程序处理，以实现触摸效果的实时生成。

8. 一种基于多点触摸控制操作和生成 3D 物体的方法，其特征是基于准确触摸图像和其它预置参数生成 3D 物体的基础形状，再对其进行控制，确定最终需要的 3D 图形及其空间位置。

9. 一种自定义触摸指令编辑器，其特征是将触摸操作分解为多个时间段的标准动作，是使用者能够基于标准动作自定义触摸指令。

10. 一种智能选单，其特征是当选取的多个对象中包含程序和程序可以打开的对象时，给出用此程序打开相应文件的选项。