CN107256128B - 用于提供对无物理触摸能力的基于触摸的用户界面的控制的设备、方法和图形用户界面 - Google Patents

Abstract

本发明公开了用于提供对无物理触摸能力的基于触摸的用户界面的控制的设备、方法和图形用户界面。一种具有显示器和触敏表面的电子设备在显示器上显示与虚拟触摸对应的第一可视指示符。该设备从自适应输入设备接收第一输入。响应于从自适应输入设备接收第一输入，该设备在显示器上显示第一菜单。第一菜单包括虚拟触摸选择图标。响应于检测到对虚拟触摸选择图标的选择，显示虚拟多点触摸接触菜单。

Description

用于提供对无物理触摸能力的基于触摸的用户界面的控制的 设备、方法和图形用户界面

相关申请

本申请是国际申请日为2012年6月5日、国际申请号为PCT/US2012/040920、进入中国国家阶段日期为2013年12月04日、中国国家申请号为201280027757.9的发明专利申请的分案申请。

技术领域

本发明总体涉及具有触敏表面的电子设备，这些电子设备包括但不限于具有如下触敏表面的电子设备，这些触敏表面具有基于触摸的用户界面。

背景技术

对具有基于触摸的用户界面的电子设备(例如设备如来自加利福尼亚库比蒂诺Apple公司的

iPod

和

设备)的使用近年来已经显著增加。这些设备使用诸如触屏显示器之类的触敏表面或者触板作为用于操纵显示器上的用户界面对象和/或控制设备的主要输入。

但是手部无精细运动技能的人士——如四肢瘫痪者和具有严重大脑性麻痹的人士——发现使用具有基于触摸的用户界面的设备即便不是不可能的也是有困难的。

发明内容

因而，需要向其手部无精细运动技能的用户提供对具有基于触摸的用户界面的设备的可用性。换而言之，需要使不能有效操作触敏表面的用户却能够操作具有基于触摸的用户界面的电子设备。

通过公开的设备减少或者消除了与用于具有触敏表面的电子设备的用户界面关联的以上缺陷和其它问题。在一些实施例中，设备是桌面计算机。在一些实施例中，设备为便携的(例如笔记本计算机、写字板计算机或者手持设备)。在一些实施例中，设备具有触板。在一些实施例中，设备具有触敏显示器(也称为“触屏”或者“触屏显示器”)。在一些实施例中，设备具有图形用户界面(GUI)、一个或者多个处理器、存储器和在存储器中存储的用于执行多个功能的一个或者多个模块、程序或者指令集。在一些实施例中，用户主要通过在触敏表面上的手指接触和手势来与GUI交互。在一些实施例中，功能可以包括图像编辑、绘图、演示、字处理、网站创建、盘编著、电子表格制作、玩游戏、打电话、开视频会议、电子邮件收发、即时消息收发、健身支持、数字拍照、拍数字视频、web浏览、数字音乐播放和/或数字视频播放。可以在被配置用于由一个或者多个处理器执行的非瞬态计算机可读存储介质或者其它计算机程序产品中包括用于执行这些功能的可执行指令。

根据一些实施例，在具有显示器和触敏表面的电子设备处执行一种方法。该方法包括：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；以及响应于从自适应输入设备接收到第一输入，在显示器上显示第一菜单。第一菜单包括虚拟触摸选择图标。响应于检测到对虚拟触摸选择图标的选择，显示虚拟多点触摸接触菜单。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，在显示器上显示第一菜单。第一菜单包括虚拟触摸选择图标。一个或者多个程序包括指令，这些指令用于响应于检测到对虚拟触摸选择图标的选择，显示虚拟多点触摸接触菜单。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，指令在由具有显示器和触敏表面的电子设备执行时使该设备：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，在显示器上显示第一菜单。第一菜单包括虚拟触摸选择图标。指令也使设备响应于检测到对虚拟触摸选择图标的选择，显示虚拟多点触摸接触菜单。

根据一些实施例，一种在电子设备上的图形用户界面包括与虚拟触摸对应的第一可视指示符，电子设备具有显示器、触敏表面、存储器和用于执行在存储器中存储的一个或者多个程序的一个或者多个处理器。响应于从自适应输入设备接收到第一输入，在显示器上显示第一菜单。第一菜单包括虚拟触摸选择图标。响应于检测到对虚拟触摸选择图标的选择，显示虚拟多点触摸接触菜单。

根据一些实施例，一种电子设备包括：显示器；触敏表面；用于在显示器上显示与虚拟触摸对应的第一可视指示符的装置；用于从自适应输入设备接收第一输入的装置；以及被启用以响应于从自适应输入设备接收第一输入而在显示器上显示第一菜单的装置。第一菜单包括虚拟触摸选择图标。该电子设备也包括被启用以响应于检测到对虚拟触摸选择图标的选择而显示虚拟多点触摸接触菜单的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括：用于在显示器上显示与虚拟触摸对应的第一可视指示符的装置；用于从自适应输入设备接收第一输入的装置；以及被启用以响应于从自适应输入设备接收第一输入而在显示器上显示第一菜单的装置。第一菜单包括虚拟触摸选择图标。该信息处理装置包括被启用以响应于检测到对虚拟触摸选择图标的选择而显示虚拟多点触摸接触菜单的装置。

根据一些实施例，在具有显示器和触敏表面的电子设备执行一种方法。该方法包括：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，显示虚拟多点触摸接触菜单。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。该方法也包括：检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择；以及响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，显示与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，显示虚拟多点触摸接触菜单。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。一个或者多个程序也包括指令，指令用于：检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择；以及响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，显示与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，该指令在由具有显示器和触敏表面的电子设备执行时使该设备：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，显示虚拟多点触摸接触菜单。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。指令也使该设备：检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择；以及响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，显示与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符。

根据一些实施例，一种在电子设备上的图形用户界面包括与虚拟触摸对应的第一可视指示符，电子设备具有显示器、触敏表面、存储器和用于执行存储器中存储的一个或者多个程序的一个或者多个处理器。响应于从自适应输入设备接收到第一输入，显示虚拟多点触摸接触菜单。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，显示与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符。

根据一些实施例，一种电子设备包括：显示器；触敏表面；用于在显示器上显示与虚拟触摸对应的第一可视指示符的装置；用于从自适应输入设备接收第一输入的装置；以及被启用以响应于从自适应输入设备接收到第一输入而显示虚拟多点触摸接触菜单的装置。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。该电子设备也包括：用于检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择的装置；以及被启用以响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择而显示与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括：用于在显示器上显示与虚拟触摸对应的第一可视指示符的装置；用于从自适应输入设备接收第一输入的装置；以及被启用以响应于从自适应输入设备接收第一输入而显示虚拟多点触摸接触菜单的装置。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。该信息处理装置也包括：用于检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择的装置；以及被启用以响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择而显示与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符的装置。

根据一些实施例，在具有显示器和触敏表面的电子设备处执行一种方法。该方法包括：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。该方法包括：检测对虚拟手势菜单中的相应虚拟手势图标的选择；并且响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，显示与相应虚拟手势图标对应的多个可视指示符。该方法包括：从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，根据相应虚拟手势执行操作。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。一个或者多个程序包括指令，指令用于：检测对虚拟手势菜单中的相应虚拟手势图标的选择；并且响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，显示与相应虚拟手势图标对应的多个可视指示符。一个或者多个程序包括指令，指令用于：从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，根据相应虚拟手势执行操作。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，指令在由具有显示器和触敏表面的电子设备执行时使该设备：在显示器上显示与虚拟触摸对应的第一可视指示符；从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。指令使该设备：检测对虚拟手势菜单中的相应虚拟手势图标的选择；并且响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，显示与相应虚拟手势图标对应的多个可视指示符。指令使该设备：从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，根据相应虚拟手势执行操作。

根据一些实施例，一种在电子设备上的图形用户界面包括与虚拟触摸对应的第一可视指示符，电子设备具有显示器、触敏表面、存储器和用于执行在存储器中存储的一个或者多个程序的一个或者多个处理器。响应于从自适应输入设备接收到第一输入，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，显示与相应虚拟手势图标对应的多个可视指示符。响应于从自适应输入设备接收到第二输入，根据相应虚拟手势执行操作。

根据一些实施例，一种电子设备包括：显示器；触敏表面；用于在显示器上显示与虚拟触摸对应的第一可视指示符的装置；用于从自适应输入设备接收第一输入的装置；以及被启用以响应于从自适应输入设备接收第一输入而显示虚拟手势菜单的装置。虚拟手势菜单包括代表虚拟手势类型的多个图标。该电子设备包括：用于检测对虚拟手势菜单中的相应虚拟手势图标的选择的装置；以及被启用以响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择而显示与相应虚拟手势图标对应的多个可视指示符的装置。该电子设备包括：用于从自适应输入设备接收第二输入的装置；以及被启用以响应于从自适应输入设备接收第二输入而根据相应虚拟手势执行操作的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括：用于在显示器上显示与虚拟触摸对应的第一可视指示符的装置；用于从自适应输入设备接收第一输入的装置；以及能够响应于从自适应输入设备接收到第一输入、用于显示虚拟手势菜单的装置，该虚拟手势菜单包括代表虚拟手势类型的多个图标。该信息处理装置包括：用于检测对虚拟手势菜单中的相应虚拟手势图标的选择的装置；以及被启用以响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择而显示与相应虚拟手势图标对应的多个可视指示符的装置。该信息处理装置包括：用于从自适应输入设备接收第二输入的装置；以及被启用以响应于从自适应输入设备接收到第二输入而根据相应虚拟手势执行操作的装置。

根据一些实施例，在具有显示器和触敏表面的电子设备处执行一种方法。该方法包括：显示夹捏/松开手势图标；检测对虚拟夹捏/松开手势图标的选择；并且响应于检测到对虚拟夹捏/松开手势图标的选择，显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符。该方法也包括：从自适应输入设备接收输入；并且响应于从自适应输入设备接收到输入，根据相应虚拟夹捏/松开手势执行缩放操作。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：显示夹捏/松开手势图标；检测对虚拟夹捏/松开手势图标的选择；并且响应于检测到对虚拟夹捏/松开手势图标的选择，显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符。一个或者多个程序包括指令，指令用于：从自适应输入设备接收输入；并且响应于从自适应输入设备接收到输入，根据相应虚拟夹捏/松开手势执行缩放操作。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，指令在由具有显示器和触敏表面的电子设备执行时使该设备：显示夹捏/松开手势图标；检测对虚拟夹捏/松开手势图标的选择；并且响应于检测到对虚拟夹捏/松开手势图标的选择，显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符。指令也使该设备：从自适应输入设备接收输入；并且响应于从自适应输入设备接收到输入，根据相应虚拟夹捏/松开手势执行缩放操作。

根据一些实施例，一种在电子设备上的图形用户界面包括夹捏/松开手势图标，电子设备具有显示器、触敏表面、存储器和用于执行在存储器中存储的一个或者多个程序的一个或者多个处理器。响应于检测到对虚拟夹捏/松开手势图标的选择，显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符。响应于从自适应输入设备接收到输入，根据相应虚拟夹捏/松开手势执行缩放操作。

根据一些实施例，一种电子设备包括：显示器；触敏表面；用于显示夹捏/松开手势图标的装置；用于检测对虚拟夹捏/松开手势图标的选择的装置；以及被启用以响应于检测到对虚拟夹捏/松开手势图标的选择而显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符的装置。该电子设备包括：用于从自适应输入设备接收输入的装置；以及被启用以响应于从自适应输入设备接收输入而根据相应虚拟夹捏/松开手势执行缩放操作的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括：用于显示夹捏/松开手势图标的装置；用于检测对虚拟夹捏/松开手势图标的选择的装置；以及被启用以响应于检测到对虚拟夹捏/松开手势图标的选择而显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符的装置。该信息处理装置包括：用于从自适应输入设备接收输入的装置；以及被启用以响应于从自适应输入设备接收到输入而根据相应虚拟夹捏/松开手势执行缩放操作的装置。

根据一些实施例，在具有显示器和触敏表面的电子设备处执行一种方法。该方法包括：显示虚拟手势图标；检测对虚拟手势图标的选择；以及响应于检测到对虚拟手势图标的选择，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。该方法也包括：检测对虚拟手势菜单中的相应虚拟手势图标的选择；以及响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，执行与相应虚拟手势对应的动作。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：显示虚拟手势图标；检测对虚拟手势图标的选择；以及响应于检测到对虚拟手势图标的选择，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。一个或者多个程序包括指令，指令用于：检测对虚拟手势菜单中的相应虚拟手势图标的选择；以及响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，执行与相应虚拟手势对应的动作。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，指令在由具有显示器和触敏表面的电子设备执行时使该设备：显示虚拟手势图标；检测对虚拟手势图标的选择；以及响应于检测到对虚拟手势图标的选择，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。指令也使该设备：检测对虚拟手势菜单中的相应虚拟手势图标的选择；以及响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，执行与相应虚拟手势对应的动作。

根据一些实施例，一种在电子设备上的图形用户界面包括虚拟手势图标，电子设备具有显示器、触敏表面、存储器和用于执行存储器中存储的一个或者多个程序的一个或者多个处理器。响应于检测到对虚拟手势图标的选择，显示虚拟手势菜单。虚拟手势菜单包括代表虚拟手势类型的多个图标。响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，执行与相应虚拟手势对应的动作。

根据一些实施例，一种电子设备包括：显示器；触敏表面；用于显示虚拟手势图标的装置；用于检测对虚拟手势图标的选择的装置；以及被启用以响应于检测到对虚拟手势图标的选择而显示虚拟手势菜单的装置。虚拟手势菜单包括代表虚拟手势类型的多个图标。该电子设备包括：用于检测对虚拟手势菜单中的相应虚拟手势图标的选择的装置；以及被启用以响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择而执行与相应虚拟手势对应的动作的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括：用于显示虚拟手势图标的装置；用于检测对虚拟手势图标的选择的装置；以及被启用以响应于检测到对虚拟手势图标的选择而显示虚拟手势菜单的装置。虚拟手势菜单包括代表虚拟手势类型的多个图标。该信息处理装置包括：用于检测对虚拟手势菜单中的相应虚拟手势图标的选择的装置；以及被启用以响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择而执行与相应虚拟手势对应的动作的装置。

根据一些实施例，在具有显示器和触敏表面的电子设备处执行一种方法。该方法包括：显示虚拟设备图标；检测对虚拟设备图标的选择；以及响应于检测到对虚拟设备图标的选择，显示虚拟设备操作菜单。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。该方法也包括：检测对虚拟设备操作菜单中的相应虚拟设备操作图标的选择；以及响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，执行与相应虚拟设备操作对应的动作。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：显示虚拟设备图标；检测对虚拟设备图标的选择；以及响应于检测到对虚拟设备图标的选择，显示虚拟设备操作菜单。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。一个或者多个程序也包括指令，指令用于：检测对虚拟设备操作菜单中的相应虚拟设备操作图标的选择；以及响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，执行与相应虚拟设备操作对应的动作。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，指令在由具有显示器和触敏表面的电子设备执行时使该设备：显示虚拟设备图标；检测对虚拟设备图标的选择；以及响应于检测到对虚拟设备图标的选择，显示虚拟设备操作菜单。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。指令也使该设备：检测对虚拟设备操作菜单中的相应虚拟设备操作图标的选择；以及响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，执行与相应虚拟设备操作对应的动作。

根据一些实施例，一种在电子设备上的图形用户界面包括虚拟设备图标，电子设备具有显示器、触敏表面、存储器和用于执行存储器中存储的一个或者多个程序的一个或者多个处理器。响应于检测到对虚拟设备图标的选择，显示虚拟设备操作菜单。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，执行与相应虚拟设备操作对应的动作。

根据一些实施例，一种电子设备包括：显示器；触敏表面；用于显示虚拟设备图标的装置；用于检测对虚拟设备图标的选择的装置；以及被启用以响应于检测到对虚拟设备图标的选择而显示虚拟设备操作菜单的装置。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。该电子设备也包括：用于检测对虚拟设备操作菜单中的相应虚拟设备操作图标的选择的装置；以及被启用以响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择而执行与相应虚拟设备操作对应的动作的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括：用于显示虚拟设备图标的装置；用于检测对虚拟设备图标的选择的装置；以及被启用以响应于检测到对虚拟设备图标的选择而显示虚拟设备操作菜单的装置。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。该信息处理装置也包括：用于检测对虚拟设备操作菜单中的相应虚拟设备操作图标的选择的装置；以及能够响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择而执行与相应虚拟设备操作对应的动作的装置。

根据一些实施例，在具有显示器和触敏表面的电子设备处执行一种方法。该方法包括：显示虚拟设备旋转图标；检测对虚拟设备旋转图标的选择；以及响应于检测到对虚拟设备旋转图标的选择，显示虚拟设备定向菜单。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。该方法也包括：检测对虚拟设备定向菜单中的相应虚拟设备定向图标的选择；以及响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择，根据相应虚拟设备定向对显示器定向。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：显示虚拟设备旋转图标；检测对虚拟设备旋转图标的选择；以及响应于检测到对虚拟设备旋转图标的选择，显示虚拟设备定向菜单。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。一个或者多个程序包括指令，指令用于：检测对虚拟设备定向菜单中的相应虚拟设备定向图标的选择；以及响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择，根据相应虚拟设备定向对显示器定向。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，指令在由具有显示器和触敏表面的电子设备执行时使该设备：显示虚拟设备旋转图标；检测对虚拟设备旋转图标的选择；以及响应于检测到对虚拟设备旋转图标的选择，显示虚拟设备定向菜单。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。指令也使该设备：检测对虚拟设备定向菜单中的相应虚拟设备定向图标的选择；以及响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择，根据相应虚拟设备定向对显示器定向。

根据一些实施例，一种在电子设备上的图形用户界面包括虚拟设备旋转图标，电子设备具有显示器、触敏表面、存储器和用于执行存储器中存储的一个或者多个程序的一个或者多个处理器。响应于检测到对虚拟设备旋转图标的选择，显示虚拟设备定向菜单。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择，根据相应虚拟设备定向对显示器定向。

根据一些实施例，一种电子设备包括：显示器；触敏表面；用于显示虚拟设备旋转图标的装置；用于检测对虚拟设备旋转图标的选择的装置；以及被启用以响应于检测到对虚拟设备旋转图标的选择而显示虚拟设备定向菜单的装置。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。该电子设备也包括：用于检测对虚拟设备定向菜单中的相应虚拟设备定向图标的选择的装置；以及被启用以响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择而根据相应虚拟设备定向对显示器定向的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括：用于显示虚拟设备旋转图标的装置；用于检测对虚拟设备旋转图标的选择的装置；以及被启用以响应于检测到对虚拟设备旋转图标的选择而显示虚拟设备定向菜单的装置。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。该信息处理装置也包括：用于检测对虚拟设备定向菜单中的相应虚拟设备定向图标的选择的装置；以及被启用以响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择而根据相应虚拟设备定向对显示器定向的装置。

根据一些实施例，在具有显示器和触敏表面的电子设备执行一种方法。该方法包括：在处于虚拟手势记录模式之时，在显示器上显示多个可视指示符。该方法包括：对于多个可视指示符中的每个可视指示符，从自适应输入设备接收用于相应可视指示符的相应用户输入；根据相应用户输入来移动相应可视指示符；以及与相应可视指示符并发显示与相应可视指示符的移动对应的相应迹线。该方法也包括：创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势；将用户定义的虚拟手势与电子设备的预定义操作进行关联；以及存储用户定义虚拟手势。

根据一些实施例，一种电子设备包括显示器、触敏表面、一个或者多个处理器、存储器和一个或者多个程序。一个或者多个程序存储于存储器中并且被配置用于由一个或者多个处理器执行。一个或者多个程序包括指令，指令用于：在处于虚拟手势记录模式之时，在显示器上显示多个可视指示符。一个或者多个程序包括指令，指令用于对于多个可视指示符中的每个可视指示符：从自适应输入设备接收用于相应可视指示符的相应用户输入；根据相应用户输入来移动相应可视指示符；以及与相应可视指示符并发显示与相应可视指示符的移动对应的相应迹线。一个或者多个程序也包括指令，指令用于：创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势；将用户定义的虚拟手势与电子设备的预定义操作进行关联；以及存储用户定义的虚拟手势。

根据一些实施例，一种计算机可读存储介质具有存储于其中的指令，指令在由具有显示器和触敏表面的电子设备执行时使该设备：在处于虚拟手势记录模式之时，在显示器上显示多个可视指示符。指令使设备对于多个可视指示符中的每个可视指示符：从自适应输入设备接收用于相应可视指示符的相应用户输入；根据相应用户输入来移动相应可视指示符；以及与相应可视指示符并发显示与相应可视指示符的移动对应的相应迹线。指令也使该设备：创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势；将用户定义的虚拟手势与电子设备的预定义操作进行关联；以及存储用户定义的虚拟手势。

根据一些实施例，一种在电子设备上的图形用户界面包括在处于虚拟手势记录模式之时在显示器上的多个可视指示符，电子设备具有显示器、触敏表面、存储器和用于执行存储器中存储的一个或者多个程序的一个或者多个处理器。对于多个可视指示符中的每个可视指示符：从自适应输入设备接收用于相应可视指示符的相应用户输入；根据相应用户输入来移动相应可视指示符；以及与相应可视指示符并发显示与相应可视指示符的移动对应的相应迹线。创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势。将用户定义的虚拟手势与电子设备的预定义操作进行关联。存储用户定义的虚拟手势。

根据一些实施例，一种电子设备包括：显示器；触敏表面；被启用以在处于虚拟手势记录模式之时用于在显示器上显示多个可视指示符的装置。该电子设备包括：对于多个可视指示符中的每个可视指示符：用于从自适应输入设备接收用于相应可视指示符的相应用户输入的装置；用于根据相应用户输入来移动相应可视指示符的装置；以及用于与相应可视指示符并发显示与相应可视指示符的移动对应的相应迹线的装置。该电子设备也包括：用于创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势的装置；用于将用户定义的虚拟手势与电子设备的预定义操作进行关联的装置；以及用于存储用户定义的虚拟手势的装置。

根据一些实施例，一种用于在具有显示器和触敏表面的电子设备中使用的信息处理装置包括被启用以在处于虚拟手势记录模式之时在显示器上显示多个可视指示符的装置。该信息处理装置包括：对于多个可视指示符中的每个可视指示符：用于从自适应输入设备接收用于相应可视指示符的相应用户输入的装置；用于根据相应用户输入来移动相应可视指示符的装置；以及用于与相应可视指示符并发显示与相应可视指示符的移动对应的相应迹线的装置。该信息处理装置也包括：用于创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势的装置；用于将用户定义的虚拟手势与电子设备的预定义操作进行关联的装置；以及用于存储用户定义的虚拟手势的装置。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示与虚拟触摸对应的第一可视指示符；触敏表面单元，被配置用于手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于：从自适应输入设备接收第一输入；以及响应于从自适应输入设备接收到第一输入，启用在显示器上对第一菜单的显示。第一菜单包括虚拟触摸选择图标。响应于检测到对虚拟触摸选择图标的选择，显示虚拟多点触摸接触菜单。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示与虚拟触摸对应的第一可视指示符；触敏表面单元，被配置用于接收手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于：从自适应输入设备接收第一输入；以及响应于从自适应输入设备接收到第一输入，启用对虚拟多点触摸接触菜单的显示。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。处理单元被配置用于：检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择；以及响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，启用对与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符的显示。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示与虚拟触摸对应的第一可视指示符；触敏表面单元，被配置用于接收手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于：从自适应输入设备接收第一输入；以及响应于从自适应输入设备接收到第一输入，启用对虚拟手势菜单的显示。虚拟手势菜单包括代表虚拟手势类型的多个图标。处理单元被配置用于：检测对虚拟手势菜单中的相应虚拟手势图标的选择；以及响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，启用对与相应虚拟手势图标对应的多个可视指示符的显示。处理单元被配置用于：从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，根据相应虚拟手势执行操作。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示夹捏/松开手势图标；触敏表面单元，被配置用于接收手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于：检测对虚拟夹捏/松开手势图标的选择；以及响应于检测到对虚拟夹捏/松开手势图标的选择，启用对与虚拟夹捏/松开手势中的接触对应的两个可视指示符的显示。处理单元被配置用于：从自适应输入设备接收输入；并且响应于从自适应输入设备接收到输入，根据相应虚拟夹捏/松开手势执行缩放操作。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示虚拟手势图标；触敏表面单元，被配置用于接收手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于：检测对虚拟手势图标的选择；以及响应于检测到对虚拟手势图标的选择，启用对虚拟手势菜单的显示。虚拟手势菜单包括代表虚拟手势类型的多个图标。处理单元被配置用于：检测对虚拟手势菜单中的相应虚拟手势图标的选择；以及响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，执行与相应虚拟手势对应的动作。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示虚拟设备图标；触敏表面单元，被配置用于接收手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于：检测对虚拟设备图标的选择；以及响应于检测到对虚拟设备图标的选择，启用对虚拟设备操作菜单的显示。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。处理单元被配置用于：检测对虚拟设备操作菜单中的相应虚拟设备操作图标的选择；以及响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，执行与相应虚拟设备操作对应的动作。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示虚拟设备旋转图标；触敏表面单元，被配置用于接收手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于：检测对虚拟设备旋转图标的选择；以及响应于检测到对虚拟设备旋转图标的选择，启用对虚拟设备定向菜单的显示。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。处理单元被配置用于：检测对虚拟设备定向菜单中的相应虚拟设备定向图标的选择；以及响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择，根据相应虚拟设备定向对显示器定向。

根据一些实施例，一种电子设备包括：显示单元，被配置用于显示可视指示符；触敏表面单元，被配置用于接收手指接触；以及处理单元，耦合到显示单元和触敏表面单元。处理单元被配置用于在处于虚拟手势记录模式之时启用在显示器上对多个可视指示符的显示。处理单元被配置用于对于多个可视指示符中的每个可视指示符：从自适应输入设备接收用于相应可视指示符的相应用户输入；根据相应用户输入来移动相应可视指示符；以及启用相应可视指示符与相应可视指示符的移动对应的相应迹线的并发显示。处理单元被配置用于：创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势；将用户定义的虚拟手势与电子设备的预定义操作进行关联；以及存储用户定义的虚拟手势。

因此，提供具有基于触摸的用户界面的电子设备以及方法和界面，这使得这些设备可用于手部无精细运动技能的用户。

附图说明

为了更好地理解本发明的前述实施例及其附加实施例，应当结合以下附图参照以下具体实施方式，在附图中，相似标号贯穿各图指代对应部分。

图1A是图示根据一些实施例的具有触敏显示器的便携多功能设备的框图。

图1B是图示根据一些实施例的用于事件处置的示例性部件的框图。

图2图示了根据一些实施例的具有触屏的便携多功能设备。

图3是根据一些实施例的具有显示器和触敏表面的示例性多功能设备的框图。

图4A图示了根据一些实施例的用于便携多功能设备上的应用菜单的示例性用户界面。

图4B图示了根据一些实施例的用于多功能设备的示例用户界面，该多功能设备具有从显示器分离的触敏表面。

图4C图示了根据一些实施例的用于多功能设备的示例自适应输入设备。

图5A-图5AC图示了根据一些实施例的用于提供基于触摸的用户界面的可用性的示例用户界面。

图6A-图6E是图示根据一些实施例的提供基于触摸的用户界面的可用性的方法的流程图。

图7是图示根据一些实施例的使用虚拟多点触摸接触图标菜单的方法的流程图。

图8是图示根据一些实施例的使用虚拟手势菜单的方法的流程图。

图9是图示根据一些实施例的执行虚拟夹捏手势的方法的流程图。

图10是图示根据一些实施例的使用虚拟手势菜单的方法的流程图。

图11是图示根据一些实施例的使用虚拟设备操作菜单的方法的流程图。

图12是图示根据一些实施例的使用虚拟设备定向菜单的方法的流程图。

图13是图示根据一些实施例的创建用户定义的虚拟手势的方法的流程图。

图14是根据一些实施例的电子设备的功能框图。

图15是根据一些实施例的电子设备的功能框图。

图16是根据一些实施例的电子设备的功能框图。

图17是根据一些实施例的电子设备的功能框图。

图18是根据一些实施例的电子设备的功能框图。

图19是根据一些实施例的电子设备的功能框图。

具体实施方式

以下描述使不能有效操作触敏表面的用户却能够操作具有基于触摸的用户界面的电子设备的设备和方法。这里描述的方法包括：

·使用与虚拟触摸对应的可视指示符以模拟实际触摸；

·结合来自自适应输入设备(例如操纵杆)的输入来使用虚拟多点触摸接触菜单以选择模拟的多点触摸接触类型；

·结合来自自适应输入设备的输入来使用虚拟手势菜单以选择和模拟触敏表面上的实际手势；

·结合来自自适应输入设备的输入来使用两个可视指示符(与两个虚拟触摸对应)以模拟触敏表面上的夹捏/松开手势；

·结合来自自适应输入设备的输入使用虚拟设备操作菜单以选择和模拟通常经由激活电子设备上的物理控件(例如静音开关、锁定开关、音量按钮)或者响应于加速度计检测到的活动(例如设备摇晃或者设备旋转)而执行的操作；

·结合来自自适应输入设备的输入来使用虚拟设备定向菜单以控制显示器定向；并且

·使用来自自适应输入设备的输入以创建用户定义、定制虚拟手势。

这些方法使为与触敏表面交互的用户而设计的操作(例如单触摸和多点触摸手势)可用于未使用触敏表面的用户。

以下图1A-1B、2和3提供示例设备的描述。图4C提供与自适应输入设备耦合的示例设备的描述。图4A-4B和5A-5AC图示用于提供基于触摸的用户界面的可用性的示例用户界面。图6A-6E和7-13是图示基于触摸的用户界面的可用性的方法的流程图。图5A-5AC中的用户界面用来图示图6A-6E和7-13中的过程。

示例设备

现在将具体参照实施例，在附图中图示这些实施例的示例。在以下具体描述中，阐述许多具体细节以便提供对本发明的透彻理解。然而，本领域普通技术人员将清楚，在没有这些具体细节的情况下仍可实现本发明。在其它实例中，尚未具体描述熟知的方法、过程、部件、电路和网络以免不必要地模糊实施例的方面。

也将理解，虽然术语第一、第二等可以这里用来描述各种要素，但是这些要素不应受这些术语限制。这些术语仅用来区分一个要素和另一要素。例如第一接触可以被称为第二接触并且第二接触相似地可以称为第一接触而未脱离本发明的范围。第一接触和第二接触都是接触，但是它们不是相同接触。

在这里对本发明的描述中使用的术语仅用于描述具体实施例而未旨在于限制本发明。如在本发明和所附权利要求的描述中所用，除非上下文另有明示，单数形式“一(个/种)”和“该”旨在于也包括复数形式。也将理解，如这里所用术语“和/或”指代并且涵盖关联列举项目中的一个或者多个项目的任何和所有可能组合。还将理解，术语“包括”在本说明书中使用时指定存在记载的特征、整件、步骤、操作、要素和/或部件、但是未排除存在或者添加一个或者多个其它特征、整件、步骤、操作、要素、部件和/或其组合。

如这里所用，根据上下文，可以将术语“如果”解释为意思是“当……时”或者“一旦”或者“响应于确定”或者“响应于检测到”。相似地，根据上下文，可以将短语“如果确定”或者“如果检测到[陈述的条件或者事件]”解释为意思是“一旦确定确定”或者“响应于确定”或者“一旦检测到[陈述的条件或者事件]时”或者“响应于检测到[陈述的条件或者事件]”。

描述电子设备、用于这样的设备的用户界面和用于使用这样的设备的关联过程的实施例。在一些实施例中，设备是也包含其它功能、比如PDA和/或音乐播放器功能的便携通信设备、比如移动电话。便携通信设备的示例实施例包括而不限于来自加利福尼亚库比蒂诺Apple公司的

iPod

和

设备。也可以使用其它便携电子设备、比如具有触敏表面(例如触屏显示器和/或触板)的膝上或者写字板计算机。也应当理解，在一些实施例中，设备不是便携通信设备、而是为具有触敏表面(例如触屏显示器和/或触板)的桌面计算机。

在以下讨论中，描述包括显示器和触敏表面的电子设备。然而应当理解，电子设备可以包括或者(例如通过图4的有线或者无线通信信道484)被连接到一个或者多个其它物理用户界面设备、比如物理键盘、鼠标和/或操纵杆。

设备通常支持多种应用、比如以下应用中的一个或者多个应用：绘图应用、演示应用、字处理应用、网站创建应用、盘编著应用、电子表格应用、游戏应用、电话应用、视频会议应用、电子邮件应用、即时消息收发应用、健身支持应用、照片管理应用、数字相机应用、数字视频相机应用、web浏览应用、数字音乐播放器应用和/或数字视频播放器应用。

可以在设备上执行的各种应用可以使用至少一个公共物理用户界面设备、比如触敏表面。可以从一个应用到下一应用和/或在相应应用内调整和/或变化触敏表面的一个或者多个功能以及在设备上显示的对应信息。以这一方式，设备的公共物理架构(比如触敏表面)可以支持具有对用户直观和透明的用户界面的多样化的应用。

现在将注意力引向具有触敏显示器的便携设备的实施例。图1A是图示根据一些实施例的具有触敏显示器112的便携多功能设备100的框图。触敏显示器112为了方便而有时被称为“触屏”并且也可以被称为触敏显示系统。设备100可以包括存储器102(该存储器可以包括一个或者多个非瞬态计算机可读存储介质)、存储器控制器122、一个或者多个处理单元(CPU)120、外设接口118、RF电路装置108、音频电路装置110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其它输入或者控制设备116和外部端口124。设备100可以包括一个或者多个光学传感器164。这些部件可以通过一个或者多个通信总线或者信号线103通信。

应当理解，设备100仅为便携多功能设备的一个示例，并且设备100可以具有比所示更多或者更少的部件、可以组合两个或者更多部件或者可以具有部件的不同配置或者布置。可以在包括一个或者多个信号处理和/或专用集成电路的硬件、软件或者硬件和软件二者的组合中实施图1A中所示各种部件。

存储器102可以包括高速随机访问存储器并且也可以包括非易失性存储器、比如一个或者多个磁盘存储设备、闪存设备或者其它非易失性固态存储器设备。设备100的其它部件、比如CPU 120和外设接口118对存储器102的访问可以由存储器控制器122控制。

外设接口118可以用来将设备的输入和输出外设耦合到CPU120和存储器102。一个或者多个处理器120运行或者执行存储器102中存储的各种软件程序和/或指令集以执行用于设备100的各种功能并且处理数据。

在一些实施例中，可以在单个芯片、比如芯片104上实施外设接口118、CPU 120和存储器控制器122。在一些其它实施例中，可以在独立的芯片上实施它们。

RF(射频)电路装置108接收和发送也称为电磁信号的RF信号。RF电路装置108将电信号转换成电磁信号/从电磁信号转换成电信号，并且经由电磁信号与通信网络和其它通信设备通信。RF电路装置108可以包括用于执行这些功能的熟知电路装置，该电路装置包括但不限于天线系统、RF收发器、一个或者多个放大器、调谐器、一个或者多个振荡器、数字信号处理器、CODEC芯片组、用户标识模块(SIM)卡、存储器等。RF电路装置108可以与网络(比如也被称为万维网(WWW)的因特网)、内联网和/或无线网络(比如蜂窝电话网络、无线局域网(LAN))和/或城域网(MAN)通信，以及通过无线通信与其它设备通信。无线通信可以使用多个通信标准、协议和技术中的任何通信标准、协议和技术，这些通信标准、协议和技术包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、网际协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如因特网消息接入协议(IMAP)和/或邮局协议(POP))、即时消息收发(例如可扩展消息收发和存在协议(XMPP)、用于即时消息收发和存在利用扩展的会话启动协议(SIMPLE)、即时消息收发和存在服务(IMPS))和/或短消息服务(SMS)或者包括截至本文献的提交日尚未开发的通信协议的任何其它适当通信协议。

音频电路装置110、扬声器111和麦克风113提供在用户与设备100之间的音频接口。音频电路装置110从外设接口118接收音频数据、将音频数据转换成电信号并且向扬声器111发送电信号。扬声器111将电信号转换成人类可听声波。音频电路装置110也接收麦克风113从声波转换的电信号。音频电路装置110将电信号转换成音频数据并且向外设接口118发送音频数据以用于处理。外设接口118可以从存储器102和/或RF电路装置108取回和/或向存储器102和/或RF电路装置108发送音频数据。在一些实施例中，音频电路装置110也包括头戴式耳机插孔(例如图2的212)。头戴式耳机插孔提供在音频电路装置110与可去除音频输入/输出外设、比如仅输出头戴式电话或者具有输出(例如用于一只或者两只耳朵的头戴式电话)和输入(例如麦克风)二者的头戴式耳机之间的接口。

I/O子系统106将设备100上的输入/输出外设、比如触屏112和其它输入控制设备116耦合到外设接口118。I/O子系统106可以包括显示控制器156和用于其它输入或者控制设备的一个或者多个输入控制器160。一个或者多个输入控制器160从/向其它输入或者控制设备116接收/发送电信号。其它输入控制设备116可以包括物理按钮(例如下压按钮、摇杆按钮等)、拨盘、滑块开关、操纵杆、点击轮等等。在一些备选实施例中，输入控制器160可以被耦合到以下各项中的任一项(或者未连接到以下各项)：键盘、红外线端口、USB端口和指针设备、比如鼠标。一个或者多个按钮(例如图2的208)可以包括用于扬声器111和/或麦克风113的音量控制的增/减按钮。一个或者多个按钮可以包括下压按钮(例如图2的206)。

触敏显示器112提供在设备与用户之间的输入接口和输出接口。显示控制器156从/向触屏112接收和/或发送电信号。触屏112向用户显示可视输出。可视输出可以包括图形、文本、图标、视频及其任何组合(统称为“图形”)。在一些实施例中，可视输出中的一些或者所有可视输出可以与用户界面对象对应。

触屏112具有基于触感和/或触觉接触从用户接受输入的触敏表面、传感器或者传感器集合。触屏112和显示控制器156(与存储器102中的任何关联模块和/或指令集一起)检测触屏112上的接触(和接触的任何移动或者中断)并且将检测到的接触转换成与在触屏112上显示的用户界面对象(例如一个或者多个软键、图标、网页或者图像)的交互。在一个示例实施例中，在触屏112与用户之间的接触点与用户的手指对应。

触屏112可以使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或者LED(发光二极管)技术，但是可以在其它实施例中使用其它显示器技术。触屏112和显示控制器156可以使用现在已知或者以后开发的多个触摸感测技术中的任何触摸感测技术以及其它邻近传感器阵列或者用于确定与触屏112的一个或者多个接触点的其它元件来检测接触及其任何移动或者中断，这些触摸感测技术包括但不限于电容、电阻、红外线和表面声波技术。在一个示例实施例中，使用投射互容感测技术、比如在来自加州库比蒂诺Apple公司的

iPod

和

中发现的投射互容感测技术。

触屏112可以具有超过100dpi的视频分辨率。在一些实施例中，触屏具有近似160dpi的视频分辨率。用户可以使用任何适当物体或者附件、比如触笔、手指等等来与触屏112进行接触。在一些实施例中，用户界面被设计为主要用基于手指的接触和手势工作，这可能由于手指在触屏上的更大接触面积而比基于触笔的输入更不精确。在一些实施例中，设备将粗略的基于手指的输入转换成用于执行用户希望的动作的精确指针/光标位置或者命令。

在一些实施例中，除了触屏之外，设备100可以包括用于激活或者去激活特定功能的触板(未示出)。在一些实施例中，触板是设备的触敏区域，与触屏不同，该触敏区域未显示可视输出。触板可以是触敏表面，该触敏表面从触屏112分离或者是触屏形成的触敏表面的延伸。

设备100也包括用于向各种部件供电的功率系统162。功率系统162可以包括功率管理系统、一个或者多个功率源(例如电池、交流电流(AC))、再充电系统、功率故障检测电路、功率转换器或者逆变器、功率状态指示器(例如发光二极管(LED))和与在便携设备中生成、管理和分布功率关联的任何其它部件。

设备100也可以包括一个或者多个光学传感器164。图1A示出耦合到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164可以包括电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或者多个透镜投射的光，并且将光转换成代表图像的数据。结合成像模块143(也被称为相机模块)，光学传感器164可以捕获静止图像或者视频。在一些实施例中，光学传感器位于设备100的背部上，与在设备的前部上的触屏显示器112相对，从而可以使用触屏显示器作为用于静止和/或视频图像获取的取景器。在一些实施例中，另一光学传感器位于设备的前部上，从而可以在用户在触屏显示器上查看其他视频会议参与者之时为视频会议获得用户的图像。

设备100也可以包括一个或者多个邻近传感器166。图1A示出耦合到外设接口118的邻近传感器166。备选地，邻近传感器166可以耦合到I/O子系统106中的输入控制器160。在一些实施例中，邻近传感器在多功能设备放置于用户的耳朵附近时(例如在用户进行电话呼叫时)关断和禁用触屏112。

设备100也可以包括一个或者多个加速度计168。图1A示出耦合到外设接口118的加速度计168。备选地，加速度计168可以耦合到I/O子系统106中的输入控制器160。在一些实施例中，基于从一个或者多个加速度计接收的数据的分析在纵向视图或者横向视图中在触屏显示器上显示信息。设备100除了加速度计168之外可选地还包括用于获得关于设备100的位置和定向(例如纵向或者横向)的信息的磁力计(未示出)和GPS(或者GLONASS或者其它全球导航系统)接收器(未示出)。

在一些实施例中，在存储器102中存储的软件部件包括操作系统126、通信模块(或者指令集)128、接触/运动模块(或者指令集)130、图形模块(或者指令集)132、文本输入模块(或者指令集)134、全球定位系统(GPS)模块(或者指令集)135和应用(或者指令集)136。另外，在一些实施例中，存储器102如图1A和3中所示存储设备/全局内部状态157。设备/全局内部状态157包括以下各项中的一项或者多项：指示哪些应用(如果有)当前活跃的活跃应用状态；指示什么应用、视图或者其它信息占用触屏显示器112的各种区域的显示状态；包括从设备的各种传感器和输入控制设备116获得的信息的传感器状态；以及关于设备的位置和/或姿态的位置信息。

操作系统126(例如Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或者嵌入式操作系统、比如VxWorks)包括用于控制和管理一般系统任务(例如存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动器，并且有助于在各种硬件与软件部件之间的通信。

通信模块126有助于通过一个或者多个外部端口124与其它设备(例如图4C的自适应输入设备482)通信并且也包括用于处置RF电路装置108和/或外部端口124接收的数据的各种软件部件。外部端口124(例如通用串行总线(USB)、FIREWIRE等)被适配用于直接或者通过网络间接(例如因特网、无线LAN等)耦合到其它设备(例如图4C的自适应输入设备482)。在一些实施例中，外部端口是与在iPoD(Apple公司的商标)上使用的30管脚连接器相同、相似和/或兼容的多管脚(例如30管脚)连接器。

接触/运动模块130可以检测与触屏112(结合显示控制器156)和其它触敏设备(例如触板或者物理点击轮)的接触。接触/运动模块130包括用于执行与检测接触有关的各种操作的各种软件部件，这些操作比如是确定接触是否已经出现(例如检测手指向下事件)、确定是否有接触的移动并且跟踪跨越触敏表面的移动(例如检测一或者多手指拖动事件)以及确定接触是否已经停止(例如检测手指向上事件或者接触中断)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动，该移动由一系列接触数据代表，该确定可以包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)。这些操作可以应用于单点接触(例如一手指接触)或者多点同时接触(例如“多点触摸”/多手指接触)。在一些实施例中，接触/运动模块130和显示控制器156检测触板上的接触。

接触/运动模块130可以检测用户的手势输入。在触敏表面上的不同手势具有不同接触模式。因此，可以通过检测特定接触模式来检测手势。例如检测手指轻击手势包括检测手指向下事件、继而检测在与手指向下事件(例如在图标的位置处)相同的位置(或者基本上相同位置)的手指向上(提起)事件。作为另一示例，检测触敏表面上的手指挥动手势包括检测手指向下事件、继而检测一个或者多个手指拖动事件并且随后继而检测手指向上(提起)事件。

图形模块132包括用于在触屏112或者其它显示器上表现和显示图形的各种已知软件部件，这些已知软件部件包括用于改变显示的图形的强度的部件。如这里所用，术语“图形”包括可以向用户显示的任何对象，该对象包括而不限于文本、网页、图标(比如包括软键的用户界面对象)、数字图像、视频、动画等。

在一些实施例中，图形模块132存储代表待使用图形的数据。可以向每个图形指派对应代码。图形模块132从应用等与坐标数据和其它图形性质数据一起(如果必要)接收指定待显示图形的一个或者多个代码、然后生成用于向显示控制器156输出的屏幕图像数据。

文本输入模块134提供用于在各种应用(例如联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其它应用)中录入文本的软键盘，该文本输入模块可以是图形模块132的部件。

GPS模块135确定设备的位置并且提供这一信息用于在各种应用中使用(例如向电话138提供用于在基于位置的拨叫中使用、向相机143提供作为图片/视频元数据和向如下应用提供：这些应用提供基于位置的服务、比如天气小配件、本地黄页小配件和地图/导航小配件)。

应用136可以包括以下模块(或者指令集)或者其子集或者超集：

·联系人模块137(有时被称为地址簿或者联系人列表)；

·电话模块138；

·视频会议模块139；

·电子邮件客户端模块140；

·即时消息(IM)收发模块141；

·健身支持模块142；

·用于静止和/或视频图像的相机模块143；

·图像管理模块144；

·浏览器模块147；

·日历模块148；

·小配件模块149，这些小配件模块可以包括以下小配件中的一个或者多个小配件：天气小配件149-1、股票小配件149-2、计算器小配件149-3、闹钟小配件149-4、字典小配件149-5和用户获得的其它小配件以及用户创建的小配件149-6；

·用于制作用户创建的小配件149-6的小配件创建器模块150；

·搜索模块151；

·可以由视频播放器模块和音乐播放器模块组成的视频和音乐播放器模块152；

·备注模块153；

·地图模块154；和/或

·在线视频模块155。

可以在存储器102中存储的其它应用136的示例包括其它字处理应用、其它图像编辑应用、绘图应用、演示应用、启用JVVA功能的应用、加密、数字权利管理、语音识别和语音复制。

结合触屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，联系人模块137可以用来管理地址簿或者联系人列表(例如存储于存储器102或者存储器370中的联系人模块137的应用内部状态192中)，这包括：向地址簿添加姓名；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或者其它信息与姓名进行关联；将图像与姓名进行关联；对姓名分类和排序；提供用于发起和/或有助于通过电话138的通信、视频会议139、电子邮件140或者IM 141的电话号码或者电子邮件地址地址；等等。

结合RF电路装置108、音频电路装置110、扬声器111、麦克风113、触屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电话模块138可以用来例如录入与电话号码对应的字符序列、访问地址簿137中的一个或者多个电话号码、修改已经录入的电话号码、拨叫相应电话号码、进行对话并且在完成对话时断开或者挂机。如以上所言，无线通信可以使用多个通信标准、协议和技术中的任何通信标准、协议和技术。

结合RF电路装置108、音频电路装置110、扬声器111、麦克风113、触屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括用于根据用户指令发起、进行和中止在用户与一个或者多个其他参与者之间的视频会议的可执行指令。

结合RF电路装置108、触屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得很容易创建和发送具有用相机模块143拍摄的静止或者视频图像的电子邮件。

结合RF电路装置108、触屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息收发模块141包括用于如下的可执行指令：录入与即时消息对应的字符序列、修改先前录入的字符、发送相应即时消息(例如将短消息服务(SMS)或者多媒体消息服务(MMS)协议用于基于电话的即时消息或者将XMPP、SIMPLE或者IMPS用于基于因特网的即时消息)、接收即时消息以及查看接收的即时消息。在一些实施例中，发送和/或接收的即时消息可以包括如在MMS和/或增强型消息服务(EMS)中支持的图形、照片、音频文件、视频文件和/或其它附件。如这里所用，“即时消息”是指基于电话的消息(例如使用SMS或者MMS来发送的消息)和基于因特网的消息(例如使用XMPP、SIMPLE或者IMPS来发送的消息)二者。

结合RF电路装置108、触屏112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块146，健身支持模块142包括用于如下的可执行指令：(例如用时间、距离和/或卡路里燃烧目标)创建健身；与健身传感器(体育设备)通信；接收健身传感器数据；用来监视健身的校准传感器；；选择和播放用于健身的音乐；以及显示、存储和发送健身数据。

结合触屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于如下的可执行指令：捕获静止图像或者视频(包括视频流)并且向存储器102中存储它们、修改静止图像或者视频的特性或者从存储器102删除静止图像或者视频。

结合触屏112、显示控制器156、接触模块130、图形模块132、文本输入模块134和相机模块143，图像管理模块144包括用于如下的可执行指令：布置、修改(例如编辑)或者操纵、标注、删除、演示(例如在数字幻灯片放映或者相册中)和存储静止和/或视频图像。

结合RF电路装置108、触屏112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括用于如下的可执行指令：根据用户指令浏览因特网、包括搜索、链接到、接收和显示网页或者其各部分以及链接到网页的附件和其它文件。

结合RF电路装置108、触屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于如下的可执行指令：根据用户指令创建、显示、修改和存储日历和与日历有关的数据(例如日历条目、待办事项列表等)。

结合RF电路装置108、触屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，小配件模块149是可以由用户下载和使用的小型应用(例如天气小配件149-1、股票小配件149-2、计算器小配件149-3、闹钟小配件149-4和字典小配件149-5)或者用户创建的小配件(例如用户创建的小配件149-6)。在一些实施例中，小配件包括HTML(超文本标记语言)文件、CSS(级联样式表)文件和JavaScript文件。在一些实施例中，小配件包括XML(可扩展标记语言)文件和JavaScript文件(例如Yahoo！小配件)。

结合RF电路装置108、触屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，小配件创建器模块150可以由用户用来创建小配件(例如将网页的用户指定部分转变成小配件)。

结合触屏112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令在存储器中搜寻与一个或者多个搜索标准(例如一个或者多个用户指定搜索词项)匹配的文本、音乐、声音、图像、视频和/或其它文件的可执行指令。

结合触屏112、显示系统控制器156、接触模块130、图形模块132、音频电路装置110、扬声器111、RF电路装置108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放在一个或者多个文件格式中、比如在MP3或者AAC文件中存储的录制的音乐或者其它声音文件的可执行指令和用于显示、演示或者回放视频(例如在触屏112上或者经由外部端口124在外部已连接显示器上)的可执行指令。在一些实施例中，设备100可以包括MP3播放器、比如iPod(Apple公司的商标)的功能。

结合触屏112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，备注模块153包括用于根据用户指令创建和管理备注、待办事项列表等的可执行指令。

结合RF电路装置108、触屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154可以用来根据用户指令接收、显示、修改和存储地图和与地图关联的数据(例如驾车指引；关于在特定位置处或者附近的商店和其它兴趣点的数据；以及其它基于位置的数据)。

结合触屏112、显示系统控制器156、接触模块130、图形模块132、音频电路装置110、扬声器111、RF电路装置108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括如下指令：该指令允许用户访问、浏览、接收(例如通过用流发送和/或下载)、回放(例如在触屏上或者经由外部端口124在外部、已连接显示器上)、发送具有指向特定在线视频的链接的电子邮件并且管理一个或者多个文件格式、比如H.264的在线视频。在一些实施例中，即时消息模块141而不是电子邮件客户端模块140用来发送到特定在线视频的链接。

以上标识的模块和应用中的每个模块和应用与用于执行以上描述的一个或者多个功能和在本申请中描述的方法(例如这里描述的计算机实施的方法和其它信息处理方法)的可执行指令集对应。无需实施这些模块(即指令集)为分离软件程序、过程或者模块，并且因此可以在各种实施例中组合或者重新布置这些模块的各种子集。在一些实施例中，存储器102可以存储以上标识的模块和数据结构的子集。另外，存储器102可以存储以上未描述的附加模块和数据结构。

在一些实施例中，设备100是如下设备，在该设备中排他地通过触屏和/或触板执行预定义功能集的操作。通过使用触屏和/或触板作为用于设备100的操作的主要输入控制设备，可以减少设备100上的物理输入控制设备(比如下压按钮、拨盘等)数目。

可以排他地通过触屏和/或触板执行的预定义功能集包括在用户界面之间导航。在一些实施例中，触板在由用户触摸时从可以在设备100上显示的任何用户界面向主、主页或者根菜单导航设备100。在这样的实施例中，触板可以被称为“菜单按钮”。在一些其它实施例中，菜单按钮可以是物理下压按钮或者其它物理输入控制设备而不是触板。

图1B是图示根据一些实施例的用于事件处置的示例部件的框图。在一些实施例中，存储器102(在图1A中)或者370(在图3中)包括事件排序器170(例如在操作系统126中)和相应应用136-1(例如前述应用137-151、155、380-390中的任何应用)。

事件排序器170接收事件信息并且确定将事件信息递送到的应用136-1和/或应用136-1的应用视图191。事件排序器170包括事件监视器171和事件派发器模块174。在一些实施例中，应用136-1包括应用内部状态192，该应用内部状态指示在应用活跃或者执行时在触敏显示器112上显示的当前应用视图。在一些实施例中，设备/全局内部状态157由事件排序器170用来确定哪个(哪些)应用当前活跃，并且应用内部状态192由事件排序器170用来确定要将事件信息递送到的应用视图191。

在一些实施例中，应用内部状态192包括附加信息、比如以下各项中的一项或者多项：将在应用136-1恢复执行时使用的信息136-1、指示正在被应用136-1显示或者准备好由应用136-1显示的信息的用户界面状态信息、用于让用户能够回到应用136-1的先前状态或者视图的状态队列和用户采取的先前动作的重做/撤消队列。

事件监视器171从外设接口118接收事件信息。事件信息包括关于子事件(例如作为多点触摸手势的一部分的在触敏显示器112上的用户触摸)的信息。外设接口118发送它从I/O子系统106或者传感器、比如邻近传感器166、加速度计168和/或麦克风113(通过音频电路装置110)接收的信息。外设接口118从I/O子系统106接收的信息包括来自触敏显示器112或者触敏表面的信息。

在一些实施例中，事件监视器171以预定间隔向外设接口118发送请求。作为响应，外设接口118发送事件信息。在其它实施例中，外设接口118仅在存在显著事件(例如接收在预定噪声阈值以上和/或持续多于预定持续时间的输入)时发送事件信息。

在一些实施例中，事件排序器170也包括命中视图确定模块172和/或活跃事件识别器确定模块173。

命中视图确定模块172提供用于在触敏显示器112显示多于一个视图时确定子事件已经在一个或者多个视图内何处发生的软件过程。视图由用户可以在显示器上看见的控件和其它要素组成。

与应用关联的用户界面的另一方面是这里称为应用视图或者用户界面视窗的视图集合，信息是在这些视图中显示的并且基于触摸的手势在这些视图中出现。其中可以检测触摸的(相应应用的)应用视图可以与在应用的计划或者视图分级内的计划级别对应。例如其中可以检测触摸的最低级别视图可以称为命中视图，并且可以至少部分基于开始基于触摸的手势的初始触摸的命中视图确定被识别为恰当输入的事件集合。

命中视图确定模块172接收与基于触摸的手势的子事件有关的信息。在应用具有按照分级组织的多个视图时，命中视图确定模块172标识命中视图为分级中的应当处置子事件的最低视图。在多数境况中，命中视图是启动子事件(即在形成事件或者潜在事件的子事件序列中的第一子时间)出现于其中的最低级别视图。一旦命中视图由命中视图确定模块标识，则命中视图通常接收与它被标识为命中视图的相同触摸或者输入源有关的所有子事件。

活跃事件识别器确定模块173确定视图分级内的哪个或者哪些视图应当接收特定子事件序列。在一些实施例中，活跃事件识别器确定模块173确定仅命中视图应当接收特定子事件序列。在其它实施例中，活跃事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图、并因此确定所有活跃参与的视图应当接收特定子事件序列。在其它实施例中，即使触摸子事件完全被限定到与一个特定视图关联的区域，在分级中更高的视图仍将保持为活跃参与的视图。

事件派发器模块174向事件识别器(例如事件识别器180)派发事件信息。在包括活跃事件识别器确定模块173的实施例中，事件派发器模块174向活跃事件识别器确定模块173确定的事件识别器递送事件信息。在一些实施例中，事件派发器模块174在事件队列中存储相应事件接收器模块182取回的事件信息。

在一些实施例中，操作系统126包括事件排序器170。备选地，应用136-1包括事件排序器170。在更多其它实施例中，事件排序器170是独立模块或者在存储器102中存储的另一模块、比如接触/运动模块130的一部分。

在一些实施例中，应用136-1包括多个事件处置器190和一个或者多个应用视图191，它们中的每一个包括用于处置在应用的用户界面的相应视图内出现的触摸事件的指令。应用136-1的每个应用视图191包括一个或者多个事件识别器180。通常，相应应用视图191包括多个事件识别器180。在其它实施例中，事件识别器180中的一个或者多个事件识别器是分离模块、比如用户界面工具包(未示出)或者更高级别对象的一部分，应用136-1从该更高级别对象继承方法和其它属性。在一些实施例中，相应事件处置器190包括以下各项中的一项或者多项：数据更新器176、对象更新器177、GUI更新器178和/或从事件排序器170接收的事件数据179。事件处置器190可以利用或者调用数据更新器176、对象更新器177或者GUI更新器178以更新应用内部状态192。备选地，应用视图191中的一个或者多个应用视图包括一个或者多个相应事件处置器190。同样，在一些实施例中，在相应应用视图191中包括数据更新器176、对象更新器177和GUI更新器178中的一个或者多个更新器。

相应事件识别器180从事件排序器170接收事件信息(例如事件数据179)并且从事件信息标识事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施例中，事件识别器180也包括以下各项的至少子集：元数据183和事件递送指令188(这些事件递送指令可以包括子事件递送指令)。

事件接收器182从事件排序器170接收事件信息。事件信息包括关于子事件、例如触摸或者触摸移动的信息。根据子事件，事件信息也包括附加信息、比如子事件的位置。在子事件涉及触摸的运动时，事件信息也可以包括子事件的速率和方向。在一些实施例中，事件包括设备从一个定向向另一定向(例如从纵向定向向横向定向或者相反)的旋转，并且事件信息包括关于设备的当前定向(也称为设备姿态)的对应信息。

事件比较器184比较事件信息与预定义事件或者子事件定义并且基于比较来确定事件或者子事件或者确定或者更新事件或者子事件的状态。在一些实施例中，事件比较器184包括事件定义186。事件定义186包含事件(例如预定义子事件序列)、例如事件1(187-1)、事件2(187-2)和其它事件的定义。在一些实施例中，在事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，用于事件1(187-1)的定义是在显示的对象上的双轻击。双轻击例如包括在显示的对象上的预定阶段的第一触摸(触摸开始)、预定阶段的第一提起(触摸结束)、在显示的对象上的预定阶段的第二触摸(触摸开始)和预定阶段的第二提起(触摸结束)。在另一示例中，用于事件2(187-2)的定义是在显示的对象上拖动。拖动例如包括在显示的对象上的预定阶段的触摸(或者接触)、该触摸跨越触敏显示器112的移动和触摸的提起(触摸结束)。在一些实施例中，事件也包括针对一个或者多个关联事件处置器190的信息。

在一些实施例中，事件定义187包括用于相应用户界面对象的事件的定义。在一些实施例中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件关联。例如在其中在触敏显示器112上显示三个用户界面对象的应用视图中，在触敏显示器112上检测到触摸时，事件比较器184执行命中测试以确定三个用户界面对象中的哪个用户界面对象与触摸(子事件)关联。如果每个显示的对象与相应事件处置器190关联，则事件比较器使用命中测试的结果以确定应当激活哪个事件处置器190。例如事件比较器184选择与触发命中测试的子事件对象关联的事件处置器。

在一些实施例中，用于相应事件187的定义也包括延迟的动作，这些动作延迟对事件信息的递送直至已经确定子事件序列与或者未与事件识别器的事件类型对应。

在相应事件识别器180确定子事件系列未与事件定义186中的事件中的任何事件匹配时，相应事件识别器180录入事件不可能、事件故障或者事件结束状态，在这之后，它忽略基于触摸的手势的后续子事件。在这一情形中，对于命中视图保持活跃的其它事件识别器如果有则继续跟踪和处理进行中的基于触摸的手势的子事件。

在一些实施例中，事件识别器180包括具有可配置属性、标志和/或列表的元数据183，这些性质、标志和/或列表指示事件递送系统应当如何向活跃参与的事件识别器执行子事件递送。在一些实施例中，元数据183包括指示事件识别器可以如何相互交互的可配置属性、标志和/或列表。在一些实施例中，元数据183包括指示是否向视图或者计划分级中的可变级别递送子事件的可配置属性、标志和/或列表。

在一些实施例中，相应事件识别器180在识别事件的一个或者多个特定子事件时激活与事件关联的事件处理器190。在一些实施例中，相应事件识别器180向事件处置器190递送与事件关联的事件信息。激活事件处置器190与向相应命中视图发送(或者延迟发送)子事件不同。在一些实施例中，事件识别器180抛出与识别的事件关联的标志，并且与标志关联的事件处置器190抓取标志并且执行预定义过程。

在一些实施例中，事件递送指令188包括在不激活事件处置器的子事件的情况下递送关于子事件的事件信息的子事件递送指令。取而代之，子事件递送指令向与子事件系列关联的事件处置器或者向活跃参与的视图递送事件信息。与子事件系列或者与活跃参与的视图关联的事件处置器接收事件信息并且执行预定过程。

在一些实施例中，数据更新器176创建和更新在应用136-1中使用的数据。例如数据更新器176更新在联系人模块137中使用的电话号码或者存储在视频播放器模块145中使用的视频文件。在一些实施例中，对象更新器177创建和更新在应用136-1中使用的对象。例如对象更新器176创建新用户界面对象或者更新用户界面对象的位置。GUI更新器178更新GUI。例如GUI更新器178预备显示信息并且将其发送到图形模块132以用于在触敏显示器上显示。

在一些实施例中，事件处置器190包括或者有权访问数据更新器176、对象更新器177和GUI更新器178。在一些实施例中，在相应应用136-1或者应用视图191的单个模块中包括数据更新器176、对象更新器177和GUI更新器178。在其它实施例中，在两个或者更多软件模块中包括它们。

应当理解，前述关于在触敏显示器上的用户触摸的事件处置的讨论也适用于其它形式的、用于操作具有输入设备的多功能设备100的用户输入，并非所有这些用户输入都是在触屏上发起的、例如协调可以作为与子事件对应的输入而利用的操纵杆或者鼠标移动和按钮按压、单个或者多个键盘按压或者保持、在触板上的用户移动轻击、拖动、滚动等、硬笔触笔输入、移动设备、口头指令、检测到眼睛移动、生物统计输入和/或其任何组合，这些子事件定义待识别事件。

图2图示根据一些实施例的具有触屏112的便携多功能设备100。触屏可以在用户界面(UI)200内显示一个或者多个图形。在这一实施例以及以下描述的其它实施例中，用户可以通过例如用一个或者多个手指202(在图中未按比例绘制)或者一个或者多个触笔203(在图中未按比例绘制)在图形上做出手势来选择图形中的一个或者多个图形。在一些实施例中，对一个或者多个图形的选择在用户中断与一个或者多个图形接触时出现。在一些实施例中，手势可以包括一个或者多个轻击、一个或者多个挥动(从左到右、从右到左、向上和/或向下)和/或滚动已经与设备100产生接触的手指(从右到左、从左到右、向上和/或向下)。在一些实施例中，与图形无意中接触不可以选择图形。例如当对应于对应用的选择的手势是轻击时，扫过应用图标的挥动手势不可以选择对应应用。

设备100也可以包括一个或者多个物理按钮、比如“主页”或者菜单按钮204。如先前描述的那样，菜单按钮204可以用来向在可以在设备100上执行的应用集合中的任何应用136导航。备选地，在一些实施例中，在触屏112上显示的GUI中将菜单按钮实施为软键。

在一个实施例中，设备100包括触屏112、菜单按钮204、用于对设备上电/断电和锁定设备的下压按钮206、音量调整按钮208、用户标识模块(SIM)卡槽210、头戴式插孔212和对接/充电外部端口124。下压按钮206可以用来通过按下按钮并且在按下状态中将按钮保持预定义时间间隔来接通/关断设备的电源；通过按下按钮并且在经历预定义时间间隔之前释放按钮来锁定设备；和/或将设备解锁或者发起解锁过程。在一个备选实施例中，设备100也可以接受用于通过麦克风113激活或者去激活一些功能的口头输入。

图3是根据一些实施例的具有显示器和触敏表面的示例通信设备的框图。设备300无需便携。在一些实施例中，设备300是膝上计算机、桌面计算机、写字板计算机、多媒体播放器设备、导航设备、教育设备(比如儿童的学习玩具)、游戏系统或者控制设备(例如家用或者工业控制器)。设备300通常包括一个或者多个处理单元(CPU)310、一个或者多个网络或者其它通信接口360、存储器370和用于互连这些部件的一个或者多个通信总线320。通信总线320可以包括互连系统部件并且控制在系统部件之间通信的电路装置(有时称为芯片集)。设备300包括输入/输出(I/O)接口300，该I/O接口包括显示器340，该显示器通常是触屏显示器。I/O接口330也可以包括键盘和/或鼠标(或者其它指示设备)350和触板355。存储器370包括高速随机访问存储器、比如DRAM、SRAM、DDR RAM或者其它随机存取固态存储器设备；并且可以包括非易失性存储器、比如一个或者多个磁盘存储设备、光盘存储设备、闪存设备或者其它非易失性固态存储设备。存储器370可以可选地包括远离CPU 310定位的一个或者多个存储设备。在一些实施例中，存储器370存储与在便携多功能设备100(图1)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或者其子集。另外，存储器370可以存储未存在于便携多功能设备100的存储器102中的附加程序、模块和数据结构。例如设备300的存储器370可以存储绘图模块380、演示模块382、字处理模块384、网站创建模块386、盘编著模块388和/或电子表格模块390，而便携多功能设备100(图1)的存储器102可以不存储这些模块。

图3中的以上标识的单元中的每个单元可以存储于先前提到的存储器设备中的一个或者多个存储器设备中。以上标识的模块中的每个模块与用于执行以上描述的功能的指令集对应。无需将以上标识的模块或者程序(例如指令集)实施为独立的软件程序、过程或者模块，因此可以在各种实施例中组合或者重新布置这些模块的各种子集。在一些实施例中，存储器370可以存储以上标识的模块和数据结构的子集。另外，存储器370可以存储以上未描述的附加模块和数据结构。

现在将注意力引向可以在便携通信设备100上实施的用户界面(“UI”)的实施例。

图4A图示根据一些实施例的用于在便携多功能设备100上的应用菜单的示例用户界面。可以在设备300上实施相似用户界面。在一些实施例中，用户界面包括以下要素或者其子集或者超集：

·用于无线通信、比如蜂窝和Wi-Fi信号的信号强度指示符402；

·时间404；

·蓝牙指示符405；

·电池状态指示符406；

·具有用于常用应用的图标的托盘408，这些图标比如是：

○电话138，其可以包括未接呼叫或者语音邮件消息的数目的指示符414；

○电子邮件客户端140，其可以包括未读电子邮件数目的指示符410；

○浏览器147；以及

○视频和音乐播放器152，也被称为iPod(苹果公司的商标)模块152；以及

·用于其它应用的图标、比如：

○IM 141；

○图像管理144；

○相机143；

○天气149-1；

○股票149-2；

○健身支持142；

○日历148；

○闹钟149-4；

○地图154；

○备注153；

○设置412，其提供对用于设备100及其各种应用136的设置的访问；以及

○在线视频模块155，也被称为YouTube(谷歌公司的商标)模块155。

图4B了图示设备(例如图3的设备300)上的示例用户界面，该设备具有从显示器450(例如触屏显示器112)分离的触敏表面451(例如图3的写字板或者触板355)。虽然将参照在触屏显示器112(其中触敏表面和显示器被组合)上的输入来描述以下示例中的许多示例，但是在一些实施例中，设备检测如图4B中所示从显示器分离的触敏表面上的输入。在一些实施例中，触敏表面(例如图4B中的451)具有与显示器(例如450)上的主轴(例如图4B中的453)对应的主轴(例如图4B中的452)。根据这些实施例，设备检测在与显示器上的相应位置对应的位置(例如在图4B中，460与468对应并且462与470对应)处与触敏表面451接触(例如图4B中的460和462)。以这一方式，设备在触敏表面(图4B中的451)上检测到的用户输入(例如接触460和462及其移动)由设备用来在触敏表面从显示器分离时操纵多功能设备的显示器(例如图4B中的450)上的用户界面。将理解可以将类似的方法用于在此描述的其他用户界面。

图4C图示根据一些实施例的用于多功能设备的示例自适应输入设备。在图4C中，自适应输入设备482包括操纵杆486以及两个按钮488-1和488-2。自适应输入设备482通过有线或者无线通信信道484与具有触敏表面451的多功能设备(例如图1A的设备100)连接。例如自适应输入设备482可以向多功能设备100的外部端口124中插入。备选地，自适应输入设备482可以使用一个或者多个无线通信协议、比如蓝牙或者Wi-Fi来与多功能设备连接。

图4C图示根据一些实施例的在具有触敏表面451的多功能设备(例如图1A的设备100)的显示器上显示的示例可视指示符490。在一些实施例中，触敏表面451具有与自适应输入设备482的主轴(例如图4C中的454)对应的主轴(例如图4C中的452)。以这一方式，自适应输入设备482接收的用户输入(例如沿着主轴452推动操纵杆486)可以用来移动可视指示符490(例如沿着主轴452)。激活在自适应输入设备482上的按钮(例如轻击按钮488-1或者488-2)可以用来选择或者激活位于可视指示符490处的用户界面对象，这使得按钮就像在触敏表面上的轻击手势那样激活。在一些实施例中，在用户在按压按钮之一(例如488-1或者488-2)之时推动操纵杆486时，多功能设备100将这样的用户输入视为等效于手指接触在可视指示符490的位置跨触敏表面451移动。在一些实施例中，激活按钮将打开菜单。应当理解，相似方法可以用于这里描述的其它用户界面。

虽然图4C中所示自适应输入设备482包括操纵杆486以及按钮488-1和488-2，但是应当注意，其它自适应输入设备可以与这里描述的方法(例如跟踪球、手棒、嘴棒、头棒和物理键盘)使用。如这里所用，自适应输入设备是指被配置用于接收用户输入而未使用触敏表面的输入设备。自适应输入设备通常接收用户输入，这些用户输入基于用户的移动、比如手移动、眼睛移动、脚移动、头移动和/或嘴/舌移动代表上、下、左和右移动、激活事件和选择事件(例如等效于激活按钮或者在触敏表面上轻击)

用户界面和关联过程

现在将注意力引向可以在具有显示器和触敏表面的电子设备、比如设备300或者便携多功能设备100上实施的用户界面(“UI”)和关联过程的实施例。

图5A-图5AC图示根据一些实施例的用于提供基于触摸的用户界面的可达性的示例用户界面。在这些图中的用户界面用来图示以下描述的过程，这些过程包括图6A-图6E和图7-图13中的过程。

图5A图示在多功能电子设备100的触屏112上显示的电子邮件应用的示例用户界面502-A。用户界面502-A包括电子邮件消息的显示。在图5A中也示出与可视触摸(例如在触屏112上的虚拟触摸、比如虚拟单手指触摸)对应的可视指示符504-1。有时将虚拟触摸也称为模拟的触摸(例如设备如同已经在可视指示符504-1的位置处检测到手指触摸那样执行)。将图5中的可视指示符504-1描绘为包括环。备选地，可视指示符504-1可以包括以下各项之一：圆环、圆、卵圆、椭圆、箭头、十字、I束、星或者虚拟手指(例如手指或者手形图标)。

可视指示符504-1被配置用于根据来自自适应输入设备(例如图4C的482)的输入来移动。例如可视指示符504-1可以根据来自自适应输入设备的输入来向触屏112的预定义区域(例如可视指示符504-1的移动506-1)、比如显示器的预定义拐角移动。备选地，可视指示符504-1可以根据在自适应输入设备上的控件(例如操纵杆486)从一边到另一边移动来从一边到另一边移动(例如可视指示符504-1的移动506-2)。换而言之，可视指示符504-1可以根据来自自适应输入设备的输入向上、向下、向左、向右和/或对角移动。

图5B图示在电子邮件应用的用户界面502-A之上显示菜单508。通常响应于来自自适应输入设备的预定义输入来显示菜单508。例如可以响应于可视指示符504-1向触屏112的预定义区域(例如图5A的向显示器的拐角的移动506-1)移动来显示菜单508。作为另一示例，向显示器的拐角移动可视指示符504-1、继而激活自适应输入设备上的按钮(例如图4C的488-1)产生菜单408的显示。备选地，从一边到另一边移动可视指示符504-1(例如图5A的移动506-2)可以产生菜单508的显示。例如将可视指示符504-1水平来回移动至少预定义距离(例如0.02、0.03或者0.04英寸)达至少预定义次数(例如2、3或者4次)将打开菜单而无需激活按钮。作为更多另一示例，激活自适应输入设备上的预定义按钮(例如图4C的488-2)可以产生菜单508的显示。在一些实施例中，在初始地显示菜单508时，可视指示符504-1如图5B中所示被放置于菜单508的中心区域中。在其它实施例中，在初始地显示菜单508时，可视指示符504-1在显示菜单508之前维持它的位置。

在一些实施例中，菜单508包括多个图标510，这些图标包括以下图标中的一个或者多个图标：虚拟触摸选择图标510-1、虚拟手势图标510-2、虚拟设备图标510-3和主页按钮510-4。在一些实施例中，关于菜单508的中心放射状地显示图标510(例如在从菜单508的中心的基本上相等距离处显示图标)。

在图5C中，在虚拟触摸选择图标510-1之上移动可视指示符504-1。在一些实施例中，通过在虚拟触摸选择图标510-1之上移动可视指示符504-1来选择虚拟触摸选择图标510-1。在一些实施例中，通过在虚拟触摸选择图标510-1之上移动可视指示符504-1、继而激活自适应输入设备上的按钮(例如图4C的488-1)来选择虚拟触摸选择图标510-1。

图5D图示响应于对虚拟触摸选择图标510-1(图5C)的选择来显示虚拟多点触摸接触菜单512。虚拟多点触摸接触菜单512包括代表虚拟多点触摸类型的多个图标514(例如两手指接触图标514-1、三手指接触图标514-2、四手指接触图标514-3和五手指接触图标514-4)。在一些实施例中，虚拟触摸接触菜单512也包括单手指接触图标(未示出)。这里也将图标514称为虚拟多点触摸接触图标。图5D也图示用可视指示符504-1选择三手指接触图标514-3。

图5E图示响应于对图5D中的三手指接触图标514-3的选择来显示三个可视指示符504-2、504-3和504-4。图5E也图示三个可视指示符504-2至504-4向左移动(例如根据来自自适应输入设备的输入)。注意在一些实施例中，在触屏112上的三手指向左挥动手势显示与于当前显示的应用(例如电子邮件应用)不同的在多功能设备100上运行的打开的应用的用户界面(例如web浏览器应用的用户界面502-B)。换而言之，三手指向左挥动手势在一些实施例中启动向下一打开的应用的导航。

在一些实施例中，多功能设备100被配置用于响应于三个可视指示符504-2至504-4向左移动来显示下一打开的应用的用户界面(例如用户界面502-B)。在图5F中，响应于三个可视指示符504-2至504-4向左移动来示出web浏览器应用的用户界面502-B。在图5F中也示出三个可视指示符504-2至504-4。

图5G图示如果未从自适应输入设备接收输入达预定义时间段(例如5秒、10秒、15秒或者任何合理时间段)，则用单个可视指示符504-1的显示替换三个可视指示符504-2至504-4的显示。在一些实施例中，预定义时间段由用户(例如经由设置菜单，未示出)设置。

在图5H中，如同图5B，用户界面包括具有虚拟触摸选择图标510-1、虚拟手势图标510-2、虚拟设备图标510-3和主页按钮510-4的菜单508。在图5H中，用可视指示符504-1选择虚拟手势图标510-2。

图5I图示响应于对虚拟手势图标510-2(图5H)的选择来显示虚拟手势菜单516。虚拟手势菜单516包括代表虚拟手势类型的多个图标518(例如虚拟两手指夹捏/松开手势图标518-1、虚拟三手指向上挥动手势图标518-2、虚拟三手指向下挥动手势图标518-3、虚拟用户配置手势图标518-4、虚拟三手指向左挥动手势图标(未示出)、虚拟三手指向右挥动手势图标(未示出)、虚拟四手指向左挥动手势图标(未示出)、虚拟四手指向右挥动手势图标(未示出)、虚拟四手指向上挥动手势图标(未示出)、虚拟四手指向下挥动手势图标(未示出)、虚拟两手指向左挥动手势图标(未示出)、虚拟两手指向右挥动手势图标(未示出)、虚拟两手指向上挥动手势图标(未示出)、虚拟两手指向下挥动手势图标(未示出)等)。如这里所用，图标518也被称为虚拟手势图标。应当注意，虚拟手势图标510-2和每个虚拟手势图标518具有不同功能。例如对虚拟手势图标510-2的选择启动对虚拟手势菜单516的选择，并且对向右虚拟手势图标的选择启动执行与相应虚拟手势图标关联的操作。图5I图示选择三手指向上挥动手势图标518-2。

在图5J中，响应于对三手指向上挥动手势图标518-2的选择来并发显示用户界面502-A的一部分和应用图标区域520。应用图标区域520包括多个打开应用图标5004，这些打开应用图标中的每个打开应用图标在(例如经由图5J的可视指示符504-1)被激活时启动显示对应应用的用户界面。备选地，可以响应于在触屏112上的三手指向上挥动手势来显示用户界面502A的部分和应用图标区域520。

在图5K中，显示包括多个图标(例如虚拟两手指夹捏/松开手势图标518-1、虚拟三手指向上挥动手势图标518-2、虚拟三手指向下挥动手势图标518-3、虚拟用户配置手势图标518-4等)的虚拟手势菜单516。图5K也图示用可视指示符504-1选择虚拟两手指夹捏/松开手势图标518-1。

在图5L中，响应于对两手指夹捏/松开手势图标518-1的选择来显示两个可视指示符504-5和504-6(图5K)。在一些实施例中，可视地链接(例如用连接符522)两个可视指示符504-5和504-6。在一些实施例中，两个可视指示符504-5和504-6中的每个可视指示符包括环形显示对象。环形可视指示符有时被称为第一模式可视指示符(与以下参照图5N描述的第二模式可视指示符相比)。

图5M图示在第一模式中根据来自自适应输入设备一起移动两个可视指示符504-5和504-6。此外，根据两个可视指示符504-5和504-6的并发移动来滚动用户界面502-A。

在图5N中，用两个第二模式可视指示符504-7和504-8替换两个第一模式可视指示符504-5和504-6。每个第二模式可视指示符包括环形显示对象和同心盘形显示对象。在一些情况下，响应于激活自适应输入设备上的按钮(例如图4C的488-2)来显示两个第二模式可视指示符。

图5O图示响应于来自自适应输入设备的输入，在第二模式中相对于彼此移动两个第二可视指示符504-7和504-8(例如在两个第二模式可视指示符504-7和504-8之间的距离增加)，并且相应地扩放用户界面(例如放大)。

在图5P中，显示包括虚拟触摸选择图标510-1、虚拟手势图标510-2、虚拟设备图标510-3和主页按钮510-4的菜单508。图5P也包括用可视指示符504-1选择虚拟设备图标510-3。

在图5Q中，响应于对虚拟设备图标510-3(图5P)的激活来显示虚拟设备操作菜单524。虚拟设备操作菜单524包括代表虚拟设备操作类型的多个图标526(例如虚拟设备静音/去静音图标526-1、虚拟设备旋转图标526-2、虚拟设备摇晃图标526-3、虚拟设备锁定屏幕图标526-4、虚拟设备音量增图标526-5、虚拟设备音量减图标526-6、虚拟旋转锁定图标(未示出)、虚拟敲击-敲击图标(未示出)等)。示例性虚拟设备操作可以包括通常经由电子设备上的物理控件执行的操作、比如：将设备上的铃声和声效静音和去静音，这通常经由静音开关来完成；锁定设备，这通常经由锁定/解锁开关来启动；增加音量，这通常经由音量增开关来执行；减少音量，这通常经由音量减按钮来执行。示例性虚拟设备操作也可以包括摇晃电子设备以执行预定义操作(例如撤消操作)和旋转电子设备以旋转显示器定向。通常经由电子设备中的加速度计检测操作、比如摇晃和旋转。如这里所用，图标526也被称为虚拟设备操作图标。图5Q也图示用可视指示符504-1选择虚拟设备旋转图标526-2。

图5R图示响应于对虚拟设备旋转图标526-2(图5Q)的选择来显示虚拟设备定向菜单528。虚拟设备定向菜单528包括代表虚拟设备定向(或者设备定向旋转)类型的多个图标530。例如虚拟设备操作菜单528可以包括纵向定向图标530-1、向左旋转定向图标530-2、向右旋转定向图标530-3和倒置旋转定向图标530-4。应当注意，在一些实施例中，设备逆时针旋转约90度将用户界面顺时针旋转90度。图5R也图示用可视指示符504-1选择向左旋转定向图标530-2。

在图5S中，响应于对向左旋转定向图标530-2的选择将用户界面顺时针旋转90度而未实际物理旋转设备。图5S也图示在触屏112上显示旋转的用户界面502-C。

在图5T中，显示包括触摸选择图标510-1、虚拟手势图标510-2、虚拟设备图标510-3和主页按钮510-4的菜单508。图5T也图示用可视指示符504-1选择主页按钮图标510-4。

图5U图示响应于对主页按钮图标510-4的选择来显示起始屏幕502-D。在一些实施例中，主页屏幕502-D包括多个应用图标5002。

图5V图示在一些实施例中，可视指示符504-1被显示为不在菜单508。在一些实施例中，在可视指示符504-1被显示为不在菜单508之时，响应于从自适应输入设备接收到输入(例如对图4C的自适应输入设备482上的按钮488-1的激活)，菜单508停止被显示。在一些实施例中，如果在菜单508被显示之时未从自适应输入设备接收输入达预定义时段，则菜单508停止被显示。

图5W-5AC图示根据一些实施例的用于创建用户定义手势(也称为用户配置的手势或者定制手势)的示例性用户界面。在图5W中，显示用于创建用户定义手势的用户界面。用户界面包括多个用户界面对象。比如添加手指按钮532、去除手指按钮534、保存按钮536、清除按钮538和完成按钮544。图5W也图示用可视指示符504-1选择添加手指按钮532。

图5X图示响应于对添加手指按钮532的选择，显示第一可视指示符504-1以用于创建定制手势。

在图5Y中，根据来自自适应输入设备的一个或者多个输入来移动第一可视指示符540-1。在图5Y中也示出第一可视指示符540-1的尾部542-1。

图5Z图示响应于第二次选择添加手指按钮532来显示第二可视指示符540-2。

在图5AA中，根据来自自适应输入设备的一个或者多个输入来移动第二可视指示符540-2。在图5AA中也示出第二可视指示符540-2的尾部542-2。可以选择保存按钮536以存储包括可视指示符540-1和540-2的移动的用户定义手势。

在图5AB中，显示包括多个图标518(例如虚拟两手指夹捏/松开手指图标518-1、虚拟三手指向上挥动手势图标518-2、虚拟三手指向下挥动手势图标518-3、虚拟用户定义手势图标518-4等)的虚拟手势菜单516。图5AB也图示用可视指示符504-1选择用户定义手势图标518-4。

在一些实施例中，如果用户已经存储多于一个用户定义虚拟手势，则将响应于对定制手势图标518-4的选择来显示三个用户定义虚拟手势中的至少一些用户定义虚拟手势的菜单(未示出)。(例如用可视指示符504-1，未示出)激活用户定义虚拟手势菜单中的特定用户定义虚拟手势将实施对应操作。在另一方面，如果定制手势图标518-4与单个用户定义虚拟手势对应，则将响应于对定制手势图标518-4的选择来实施与单个用户定义虚拟手势对应的操作。例如图5AC图示执行与用户定义虚拟手势关联的预定义操作、即在图5W-5AA中创建和存储两手指虚拟手势。在一些实施例中，在即将执行与用户定义虚拟手势关联的预定义操作之前、执行之后立即或者执行之时沿着可视指示符540-1和540-2的相应尾部542-1和542-2显示它们的动画移动。

图6A-图6E是图示根据一些实施例的提供基于触摸的用户界面的可用性的方法600的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)处执行方法600。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法600中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法600使具有基于触摸的用户界面的设备可用于手部无精细运动技能的用户。该方法使得有可能让这样的用户执行原本需要与设备的触敏表面交互的操作。

设备在显示器上显示(602)与虚拟触摸(例如触敏表面上的虚拟触摸、比如虚拟单手指接触)对应的第一可视指示符(例如图5A的504-1)。

在一些实施例中，第一可视指示符包括(604)以下各项之一：环(例如图5A的504-1)、圆环、圆、卵圆、椭圆、箭头、十字、I束、星或者虚拟手指。

设备从自适应输入设备(例如图4C中的操纵杆486、按钮488-1或者488-2或者任何其它自适应输入设备)接收(606)第一输入。

在一些实施例中，第一输入向显示器的预定义区域移动(608)第一可视指示符。例如向显示器的拐角(例如预定义活跃屏幕拐角)移动可视指示符产生第一菜单的显示(例如图5A的移动506-1)。作为另一示例，向显示器的拐角移动可视指示符、继而激活自适应输入设备上的按钮产生第一菜单的显示。

在一些实施例中，第一输入对应(610)于对自适应输入设备上的控件(例如激活自适应输入设备上的物理按钮、比如图4C中的菜单按钮488-2)的激活。

在一些实施例中，第一输入对应(612)于从一边到另一边移动自适应输入设备上的控件(例如从一边到另一边移动图4C中的操纵杆486或者，用身体部分、比如手、眼、脚、头或者嘴从一边到另一边移动自适应输入设备上的控件)。

在一些实施例中，自适应输入设备包括(614)操纵杆(例如图4C的486)，并且第一输入对应于从一边到另一边移动操纵杆。

响应于从自适应输入设备接收到第一输入，设备在显示器上显示(616)第一菜单(例如图5B的菜单508)。第一菜单包括虚拟触摸选择图标(例如图5B的图标510-1)。响应于检测到对虚拟触摸选择图标的选择，显示虚拟多点触摸接触菜单(例如图5D的菜单512)。

在一些实施例中，第一菜单包括(618)关于第一菜单的中心放射状地显示的图标(例如关于中心的同心布置)。例如图5B中的菜单508包括关于菜单508的中心放射状显示的图标510。作为附加示例，关于对应菜单的中心放射状显示在这里描述的一些其它菜单(例如图5D中的菜单512、图5I中的菜单516和图5R中的菜单528)中的图标。此外，可以关于菜单524的中心放射状显示图5Q中的菜单524中的图标。菜单中的这一图标布置使每个图标易于访问。

在一些实施例中，在即将从自适应输入设备接收第一输入之前在显示器上显示(620)第一用户界面(例如图5A的用户界面502-A)，并且在第一用户界面之上显示第一菜单(例如图5B的菜单508)(例如作为半透明、透明或者不透明叠加)。相似地，可以将这里描述的其它菜单(例如图5D中的菜单512、图5I中的菜单516、图5Q中的菜单524和图5R中的菜单528)显示为半透明、透明或者不透明叠加在下层标准用户界面上。这些叠加菜单帮助进行与使用标准用户界面对设备的控制相似的经由自适应输入设备对电子设备的控制。

在一些实施例中，响应于从自适应输入设备接收到第一输入，设备在第一菜单的中心区域中显示(622)第一可视指示符。例如在图5B中，在初始地显示菜单508时在菜单508的中心处显示可视指示符504-1。在第一菜单的中心处显示可视指示符使第一菜单中的选项中的每个选项易于访问。相似地，可以在响应于从自适应输入设备接收的输入来显示这里描述的其它菜单(例如图5D中的菜单512、图5I中的菜单516、图5Q中的菜单524和图5R中的菜单528)时在那些菜单的中心处初始地显示可视指示符。

在一些实施例中，在显示器上显示菜单(例如图5B中的菜单508、图5D中的虚拟多点触摸接触菜单512、图5I中的虚拟手势菜单516、图5Q中的虚拟设备操作菜单524、图5R中的虚拟设备旋转菜单528或者任何可用菜单)之时，设备限制(图6B的624)第一可视指示符的移动，从而第一可视指示符保持于菜单上(以例如防止可视指示符504-1的过冲)。

在一些实施例中，在显示器上显示第一菜单之时，设备在第一可视指示符被显示为不在第一菜单(例如可视指示符504-1位于超出第一菜单的显示区域之上时，图5V，检测到对自适应输入设备上的图4C中的按钮488-1的激活)时从自适应输入设备接收(626)第二输入；并且响应于第二输入，停止显示第一菜单(例如显示图5A的用户界面502A)。相似地，这里描述的其它菜单(例如图5B中的菜单508、图5D中的虚拟多点触摸接触菜单512、图5I中的虚拟手势菜单516、图5Q中的虚拟设备操作菜单524、图5R中的虚拟设备旋转菜单528或者任何可用菜单)可以在可视指示符不在菜单之上时从自适应输入设备接收输入时被解除。

在一些实施例中，在显示器上显示第一菜单之时，设备等待(628)从自适应输入设备接收输入达多于预定义时间段(例如5秒、10秒、15秒或者任何合理时间段)。在一些实施例中，预定义时间段由用户(例如经由设置菜单)设置。响应于等待从自适应输入设备接收输入达多于预定义时间段(例如未从自适应输入设备接收输入)，设备停止显示第一菜单(例如显示用户界面502-A，图5A)。相似地，可以在预定义时间段内未从自适应输入设备接收输入时解除这里描述的其它菜单(例如图5B中的菜单508、图5D中的虚拟多点触摸接触菜单512、图5I中的虚拟手势菜单516、图5Q中的虚拟设备操作菜单524、图5R中的虚拟设备旋转菜单528或者任何可用菜单)。

在一些实施例中，设备检测(图6C的630)对虚拟触摸选择图标(例如图5C的虚拟触摸选择图标510-1)的选择。例如，设备检测在可视指示符位于虚拟触摸选择图标之上(例如图5C的可视指示符504-1)时激活自适应输入设备上的按钮(例如图4C的488-1)或者检测可视指示符跨越虚拟触摸选择图标移动。响应于检测到对虚拟触摸选择图标的选择，设备显示虚拟多点触摸接触菜单(例如图5D的菜单512)。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标(例如图5D的菜单512中的两手指接触图标514-1、三手指接触图标514-2、四手指接触图标514-3和五手指接触图标514-4)。在一些实施例中，虚拟多点触摸接触菜单也包括单手指触摸接触图标(未示出)。设备检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择(例如诸如通过在可视指示符位于虚拟三手指接触图标514-2之上时检测对自适应输入设备上的按钮的激活，或者检测可视指示符跨虚拟三手指接触图标移动来检测对图5D中的虚拟三手指接触图标514-2的选择)。响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择时，设备显示与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符(例如图5E中的可视指示符504-2至504-4)。在一些实施例中，响应于检测到队虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，设备也停止显示虚拟多点触摸接触菜单(例如在图5E中未显示菜单512)。在一些实施例中，第二可视指示符是代表与相应虚拟多点触摸接触图标对应的多个接触的单个图标的一部分。因此，一个或者多个第二可视指示符通常协调移动(例如以相同速度在相同方向上移动相同距离)。在一些实施例中，第二可视指示符是代表与相应虚拟多点触摸接触图标对应的多个接触的多个图标。

在一些实施例中，显示第二可视指示符包括(632)显示与相应虚拟多点触摸接触图标对应的多个可视指示符。例如响应于对图5D中的虚拟三手指接触图标514-2的选择，在图5E中显示与三个虚拟接触对应的三个可视指示符。相似地，响应于对图5D中的虚拟两手指接触图标514-1的选择，设备显示与两个虚拟触摸对应的两个可视指示符(未示出)；响应于对图5D中的虚拟四手指接触图标514-3的选择，设备显示与四个虚拟触摸对应的四个可视指示符(未示出)；并且响应于对图5D中的虚拟五手指接触图标514-4的选择，设备显示与五个虚拟触摸对应的五个可视指示符(未示出)。

在一些实施例中，设备从自适应输入设备接收(634)第二输入；并且响应于从自适应输入设备接收到第二输入：移动一个或者多个第二可视指示符，并且根据一个或者多个第二可视指示符的移动来执行操作。例如在图5E中，通过向左推动操纵杆而接收的输入用来向左移动三个可视指示符并且向下一打开应用导航，恰如三个实际手指接触在触敏表面上向左移动那样。

在一些实施例中，在显示一个或者多个第二可视指示符之时，设备等待从自适应输入设备接收等待(636)达多于预定义时间段(例如5秒、10秒、15秒或者任何合理时间段)；并且响应于等待从自适应输入设备接收达多于预定义时间段，用第一可视指示符的显示替换一个或者多个第二可视指示符的显示。例如响应于等待从自适应输入设备接收输入达多于预定义时间段(未从自适应输入设备接收输入)，设备用单个可视指示符504-1(图5G)的显示替换三个可视指示符504-2至504-4(图5F)的显示。在一些实施例中，预定义时间段由用户(例如经由设置菜单，未示出)设置。

在一些实施例中，在显示一个或者多个第二可视指示符之时，设备等待用户输入达第一预定义时间间隔。根据在第一预定义时间间隔期间没有接收用户输入的确定，设备用与第二可视指示符不同(例如不同亮度、不同颜色、不同线图案、不同透明度等)的三个可视指示符的显示替换第二可视指示符的显示。

在一些实施例中，第二可视指示符和第三可视指示符代表相同数目的触摸。

在一些实施例中，在显示第三可视指示符之时，设备等待用户输入达第二预定义时间间隔。在一些实施例中，第二预定义时间间隔与第一预定义时间间隔相同。在其它实施例中，第二预定义时间间隔与第一预定义时间间隔不同。根据在第二预定义时间间隔期间没有接收用户输入的确定，设备用第一指示符的显示替换第三可视指示符的显示。

在一些实施例中，设备显示(图6D的638)虚拟手势图标(例如图5H的菜单508中的510-2)；检测对虚拟手势图标的选择；并且响应于检测到对虚拟手势图标的选择，显示虚拟手势菜单(例如图5I的516)。虚拟手势菜单包括代表虚拟手势类型的多个图标(例如图5I的图标518)。设备检测对虚拟手势菜单中的相应虚拟手势图标的选择(例如检测通过激活自适应输入设备上的按钮来选择图5I中的虚拟三手指向上挥动手势图标518-2)；并且响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，执行与相应虚拟手势对应的动作。例如响应于对图5I中的虚拟三手指向上挥动手势图标518-2的选择，设备显示图5J中所示包括多个打开应用图标的应用图标区域520。在一些实施例中，设备可以执行与某些手势对应的动作而未显示与手势对应的可视指示符(例如在图5J中显示打开应用图标区域520而未显示与三手指向上挥动手势对应的可视指示符)。

在一些实施例中，设备显示(640)虚拟手势图标(例如图5H的菜单508中的510-2)；检测对虚拟手势图标的选择(例如检测在可视指示符位于虚拟手势图标之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟手势图标移动)；并且响应于检测到对虚拟手势图标的选择，显示虚拟手势菜单(例如图5I的516)。虚拟手势菜单包括代表虚拟手势类型的多个图标(例如图5I的虚拟两手指夹捏/松开手势图标518-1、虚拟三手指向上挥动手势图标518-2、虚拟三手指向下挥动手势图标518-3、虚拟用户配置手势图标518-4)。设备检测对虚拟手势菜单中的相应虚拟手势图标的选择(例如检测对图5I中的虚拟两手指夹捏/松开手势图标518-1的选择、比如通过检测在可视指示符位于虚拟两手指夹捏/松开手势图标518-1之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟两手指夹捏/松开手势图标移动)；并且响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，显示与相应虚拟手势图标对应的多个可视指示符。例如响应于对图5K中的虚拟两手指夹捏/松开手势图标518-1的选择，在图5L中显示与两个虚拟触摸对应的两个可视指示符。设备从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，根据相应虚拟手势执行操作。例如在图5M中，自适应输入设备接收的输入移动两个可视指示符504-5和504-6并且滚动用户界面502-A。在另一示例中，在图5O中，自适应输入设备接收的输入以不同扩放显示用户界面(例如缩放操作)。

在一些实施例中，响应于从自适应输入设备接收到第二输入，设备移动(642)与相应虚拟手势对应的显示的可视指示符以模拟在触敏表面上实际接触的移动(例如在图5M中，自适应输入设备接收的输入移动两个可视指示符504-5和504-6)。

在一些实施例中，设备显示(644)夹捏/松开手势图标(例如在第一菜单中或者在虚拟手势菜单中)；检测对虚拟夹捏/松开手势图标的选择(例如检测在可视指示符位于虚拟夹捏/松开手势图标之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟夹捏/松开手势图标移动)；并且响应于检测到对虚拟夹捏/松开手势图标的选择，显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符。设备从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，根据虚拟夹捏/松开手势执行操作。在一些实施例中，在显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符之时，从自适应输入设备接收的输入用来执行与触敏表面上的实际夹捏/松开手势对应的动作。例如通过向右推动操纵杆而接收的输入用来移动两个可视指示符分开(松开)并且放大显示。反言之，通过向左推动操纵杆而接收的输入用来移动两个可视指示符在一起(夹捏)并且缩小显示。因此，即使用户未实际触摸设备上的触敏表面，用户也可以使用自适应输入设备以操作具有基于触摸的用户界面的电子设备(例如在显示器上执行虚拟手势等)。

在一些实施例中，响应于检测到对虚拟夹捏/松开手势图标(例如图5K的518-1)的选择，设备在第一操作模式中显示用户界面。第一操作模式包括显示第一可视指示符，该第一可视指示符包括两个第一模式虚拟触摸点和链接两个第一模式虚拟触摸点的第一连接符。在处于第一操作模式之时，设备检测来自自适应输入设备的第一预定义用户输入(例如对图4C的锁定按钮488-1的选择)。响应于在处于第一操作模式之时检测到第一预定义用户输入，设备进入第二操作模式(例如终止第一操作模式)。第二操作模式包括用第二可视指示符替换第一可视指示符，该第二可视指示符包括两个第二模式虚拟触摸点(例如图5N的504-7和504-8)和链接两个第二模式虚拟触摸点的第二连接符。在处于第二操作模式之时，设备检测来自自适应输入设备的相应用户输入。响应于在处于第二操作模式之时检测到相应用户输入，设备根据相应用户输入来执行与夹捏或者松开手势对应的预定义操作(例如放大或者缩小操作)。缩放操作仅为可以响应于虚拟夹捏/松开手势执行的预定义操作的一个示例。作为另一示例，在照片应用中，在相册集合中的相册上的虚拟松开手势可以产生用选择的相册中的数字照片的显示替换相册集合的显示(未示出)。在选择的相册中的照片上的虚拟松开手势又可以产生用选择的照片的显示替换选择的相册的显示。反言之，在选择的照片上的虚拟夹捏手势可以产生用选择的相册的显示替换选择的照片的显示。在选择的相册中的数字照片上的虚拟夹捏手势可以产生用相册集合的显示替换选择的相册中的数字照片的显示。更一般而言，在触敏表面上的实际夹捏或者松开手势在基于触摸的用户界面中执行的任何操作也可以由用来自自适应输入设备的输入而做出的虚拟夹捏或者松开手势执行。

在一些实施例中，响应于在处于第二操作模式之时检测到相应用户输入，设备通过移动两个第二模式虚拟触摸点的相对位置并且调整链接两个第二模式虚拟触摸点的第二连接符的长度(例如移动图5O的第二模式可视指示符504-7和504-8以及连接符522)来更新第二可视指示符的显示。

在一些实施例中，在处于第二操作模式之时，设备检测来自自适应输入设备的第二预定义用户输入；并且响应于在处于第二操作模式之时检测到第二预定义用户输入，进入第一操作模式(例如终止第二操作模式)。例如可以用第一模式可视指示符的显示替换图5O中的第二模式可视指示符的显示。在一些实施例中，从第二操作模式改变成第一操作模式未改变显示的用户界面的扩放。

在一些实施例中，在处于第一操作模式之时，设备检测来自自适应输入设备的第二相应用户输入；并且响应于在处于第一操作模式之时检测到第二预定义用户输入，设备根据第二相应用户输入来滚动用户界面(例如图5N中的滚动的用户界面)。

在一些实施例中，每个第一模式虚拟触摸点包括环形显示对象(例如图5M中的504-5和504-6)；并且每个第二模式虚拟触摸点包括环形显示对象和在环形显示对象以内的同心圆(图5N中的504-7和504-8)。

在一些实施例中，每个连接符包括链形显示对象(例如图5M的522)。

在一些实施例中，根据虚拟夹捏/松开手势执行(646)缩放操作(例如放大显示或者缩小显示)(例如见图5O中的放大的用户界面502-A)。

在一些实施例中，设备显示(图5E的648)虚拟设备图标(例如图5P中的510-3)；检测对虚拟设备图标的选择；并且响应于检测到对虚拟设备图标的选择，显示虚拟设备操作菜单(例如图5Q中的菜单524)。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标(例如图5Q中的图标526)。示例虚拟设备操作可以包括通常经由电子设备上的物理控件执行的操作、比如：将设备上的铃声和声效静音和去静音，这通常经由静音开关来完成；锁定设备，这通常经由锁定/解锁开关来启动；增加音量，这通常经由音量增开关来执行；减少音量，这通常经由音量减按钮来执行。示例虚拟设备操作也可以包括摇晃电子设备以执行预定义操作(例如撤消操作)和旋转电子设备以旋转显示器定向。通常经由电子设备中的加速度计检测操作、比如摇晃和旋转。设备检测对虚拟设备操作菜单中的相应虚拟设备操作的选择(例如比如通过检测在可视指示符位于虚拟设备旋转图标526-2之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟设备旋转图标526-2移动来检测对图5Q中的虚拟设备旋转图标526-2的选择)；并且响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，执行与相应虚拟设备操作对应的动作。例如响应于对图5Q中的虚拟设备锁定屏幕图标526-4的选择，设备锁定设备的屏幕或者起动屏保应用(未示出)。因此，即使用户未实际触摸设备上的物理控件，用户也可以使用自适应输入设备以操作电子设备上的物理控件。

在一些实施例中，设备显示(650)虚拟设备旋转图标(例如图5Q的菜单524中的526-2)；检测对虚拟设备旋转图标的选择；并且响应于检测到对虚拟设备旋转图标的选择，显示虚拟设备定向菜单(例如图5R的菜单528)。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标(例如图5R的虚拟纵向定向图标530-1、虚拟横向向左定向图标530-2、虚拟横向向右定向图标530-3和虚拟倒置纵向定向图标530-4)。设备检测对虚拟设备定向菜单中的向右虚拟设备定向图标的选择(例如比如通过检测在可视指示符位于虚拟横向向左定向图标530-2之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟横向向左定向图标530-2移动来检测对图5R中的虚拟横向向左定向图标530-2的选择)；并且响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择，根据相应虚拟设备定向对显示器定向。例如响应于对图5R中的虚拟横向向左定向图标530-2的选择，设备将用户界面的定向改变成图5S中所示定向。

在一些实施例中，设备包括(652)主页按钮(例如图2的在显示器上显示的虚拟主页按钮或者从显示器分离的物理主页按钮204)。设备显示主页按钮图标(例如图5T的菜单508中的510-4或者在虚拟设备操作菜单中)；检测对主页按钮图标的选择(例如检测在虚拟可视指示符位于主页按钮图标之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨主页按钮图标移动)；并且响应于检测到对主页按钮图标的选择，执行与激活主页按钮对应的动作。例如响应于对图5T中的主页按钮图标510-的选择4，恰如主页按钮204(图2)已经被按压那样在图5U中显示起始屏幕502-D。

注意以上关于方法600描述的过程的细节也以类似方式适用于这里描述的其它方法，这些方法包括以下描述的方法700、800、900、1000、1100、1200和1300。为了简洁，以下未重复这些细节。

图7是图示根据一些实施例的使用虚拟多点触摸接触图标菜单的方法700的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)处执行方法700。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法700中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法700结合来自自适应输入设备(例如操纵杆)的输入来使用虚拟多点触摸接触菜单以选择模拟的多点触摸接触类型。这让用户在未使用电子设备的触敏表面的情况下执行原本需要使用多个手指来与电子设备的触敏表面交互的多点触摸操作。

设备在显示器上显示(702)与虚拟触摸(例如在触敏表面上的虚拟触摸、比如虚拟单手指接触)对应的第一可视指示符；从自适应输入设备接收(704)第一输入(例如检测在可视指示符位于虚拟触摸选择图标之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟触摸选择图标移动)；并且响应于从自适应输入设备接收到第一输入，显示(706)虚拟多点触摸接触菜单(例如图5D的菜单512)。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标(例如图5D的菜单512中的两手指接触图标514-1、三手指接触图标514-2、四手指接触图标514-3和五手指接触图标514-4)。在一些实施例中，虚拟多点触摸接触菜单也包括单手指接触图标(未示出)。

设备检测(708)对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择(例如比如通过检测在可视指示符位于虚拟三手指接触图标514-2之上时对自适应输入设备上的图标的激活或者检测可视指示符跨虚拟三手指接触图标移动来检测对图5D中的虚拟三手指接触图标514-2的选择)；并且响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，显示(710)与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符(例如图5E的可视指示符504-2至504-4)。在一些实施例中，响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，设备也停止显示虚拟多点触摸接触菜单。在一些实施例中，第二可视指示符是代表与相应虚拟多点触摸接触图标对应的多个接触的单个图标的一部分。在一些实施例中，第二可视指示符是代表与相应虚拟多点触摸接触图标对应的多个接触的多个图标。

图8是图示根据一些实施例的使用虚拟手势菜单的方法800的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)处执行方法800。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法800中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法800结合来自自适应输入设备的输入来使用虚拟手势菜单以选择和模拟触敏表面上的实际手势。这允许用户做出虚拟多点触摸手势而未使用电子设备的触敏表面，这些虚拟多点触摸手势产生与通过使用多个手指来与电子设备的触敏表面交互而获得的结果相同的结果。

设备在显示器上显示(802)与虚拟触摸(例如在触敏表面上的虚拟触摸、比如虚拟单手指接触)对应的第一可视指示符；从自适应输入设备接收(804)第一输入(例如检测在可视指示符位于虚拟手势图标之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟手势图标移动)；并且响应于从自适应输入设备接收到第一输入，显示(806)虚拟手势菜单(例如图5K的菜单516)。虚拟手势菜单包括代表虚拟手势类型的多个图标(例如图5K的虚拟两手指夹捏/松开手势图标518-1、虚拟三手指向上挥动手势图标518-2、虚拟三手指向下挥动手势图标518-3、虚拟用户配置手势图标518-4)。

设备检测(808)对虚拟手势菜单中的相应虚拟手势图标的选择(例如比如通过检测在可视指示符位于虚拟两手指夹捏/松开手势图标518-1之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟两手指夹捏/松开手势图标移动来检测图5K中的虚拟两手指夹捏/松开手势图标518-1、)；以及响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，显示(810)与相应虚拟手势图标对应的多个可视指示符。例如响应于对图5K中的虚拟两手指夹捏/松开手势图标518-1的选择，在图5L中显示与两个虚拟触摸对应的两个可视指示符。

设备从自适应输入设备接收(812)第二输入；以及响应于从自适应输入设备接收到第二输入，根据相应虚拟手势执行(814)操作。例如在图5M中，自适应输入设备接收的输入移动两个可视指示符504-5和504-6并且滚动用户界面502-A。在另一示例中，在图5O中，自适应输入设备接收的输入以不同扩放显示用户界面(例如缩放操作)。

图9是图示根据一些实施例的执行虚拟夹捏手势的方法900的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)执行方法900。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法900中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法900结合来自自适应输入设备的输入来使用两个可视指示符(与两个虚拟触摸对应)以模拟触敏表面上的夹捏/松开手势。这允许用户在未使用电子设备的触敏表面的情况下执行原本需要使用两个手指来与电子设备的触敏表面交互的操作(例如缩放)。

设备(例如在第一菜单中或者在虚拟手势菜单中)显示(902)夹捏/松开手势图标；检测(904)对虚拟夹捏/松开手势图标的选择(例如检测在可视指示符位于虚拟夹捏/松开手势图标之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟夹捏/松开手势图标移动)；以及响应于检测到对虚拟夹捏/松开手势图标的选择，显示(906)与虚拟夹捏/松开手势中的接触对应的两个可视指示符(例如如图5K-5L中所示)。

设备从自适应输入设备接收(908)输入；并且响应于从自适应输入设备接收到输入，根据相应虚拟夹捏/松开手势执行(910)缩放操作(例如如图5N-5O中所示)。在一些实施例中，在显示与虚拟夹捏/松开手势中的接触对应的两个可视指示符之时，从自适应输入设备接收的输入用来执行与触敏表面上的实际夹捏/松开手势对应的动作。例如通过向右推动操纵杆而接收的输入用来移动两个可视指示符分开(松开)并且放大显示。反言之，通过向左推动操纵杆而接收的输入用来移动两个可视指示符在一起(夹捏)并且缩小显示。因此，即使用户未实际触摸设备上的触敏表面，用户也可以使用自适应输入设备以操作具有基于触摸的用户界面的电子设备(例如在显示上执行虚拟手势等)。

图10是图示根据一些实施例的使用虚拟手势菜单的方法1000的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)处执行方法1000。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法1000中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法1000结合来自自适应输入设备的输入来使用虚拟手势菜单以选择和模拟触敏表面上的实际手势。这允许用户在未使用电子设备的触敏表面的情况下进行虚拟多点触摸手势，这些虚拟多点触摸手势产生与通过使用多个手指来与电子设备的触敏表面交互而获得的结果相同的结果。

设备(例如在第一菜单中)显示(1002)虚拟手势图标；检测(1004)对虚拟手势图标的选择；以及响应于检测到对虚拟手势图标的选择，显示(1006)虚拟手势菜单(例如如图5H-5I中所示)。虚拟手势菜单包括代表虚拟手势类型的多个图标。

设备检测(1008)对虚拟手势菜单中的相应虚拟手势图标的选择(例如检测通过对自适应输入设备上的按钮的激活来选择图5I中的虚拟三手指向上挥动手势图标518-2)；以及响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，执行(1010)与相应虚拟手势对应的动作。例如响应于对图5I中的虚拟三手指向上挥动手势图标518-2的选择，设备显示图5J中所示包括多个打开应用图标的应用图标区域520。在一些实施例中，设备可以执行与某些手势对应的动作而不显示与手势对应的可视指示符。

图11是图示根据一些实施例的使用虚拟设备操作菜单的方法1100的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)处执行方法1100。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法1100中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法1100结合来自自适应输入设备的输入来使用虚拟设备操作菜单以选择和模拟通常经由激活电子设备上的物理控件(例如静音开关、锁定开关、音量按钮)或者响应于加速度计检测到的活动(例如设备摇晃或者设备旋转)而正常执行的操作。这允许用户执行原本需要与电子设备的物理控件或者作为整体的设备交互的操作。

设备(例如在第一菜单中)显示(1102)虚拟设备图标；检测(1104)对虚拟设备图标的选择；以及响应于检测到对虚拟设备图标的选择，显示(1106)虚拟设备操作菜单(例如如图5P-5Q中所示)。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。示例性虚拟设备操作可以包括通常经由电子设备上的物理控件执行的操作、比如：将设备上的铃声和声效静音和去静音，这通常经由静音开关来完成；锁定设备，这通常经由锁定/解锁开关来启动；增加音量，这通常经由音量增按钮来执行；减少音量，这通常经由音量减按钮来执行。示例虚拟设备操作也可以包括摇晃电子设备以执行预定义操作(例如撤消操作)和旋转电子设备以旋转显示器定向。通常经由电子设备中的加速度计检测操作、比如摇晃和旋转。

设备检测(1108)对虚拟设备操作菜单中的相应虚拟设备操作的选择(例如比如通过检测在可视指示符位于虚拟静音/去静音图标526-1之上时对自适应输入设备上的按钮的激活或者检测可视指示符跨虚拟静音/去静音图标移动来检测对虚拟静音/去静音图标526-1的选择)；以及响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，执行(1110)与相应虚拟设备操作对应的动作。例如响应于对图5Q中的虚拟静音/去静音图标526-1的选择，设备将设备上的铃声和声效静音或者去静音。因此，即使用户未实际触摸设备上的物理控件，用户也可以使用自适应输入设备以操作电子设备上的物理控件。

图12是图示根据一些实施例的使用虚拟设备定向菜单的方法1200的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)处执行方法1200。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法1200中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法1200结合来自自适应输入设备的输入来使用虚拟设备定向菜单以控制显示器定向。这允许用户对电子设备的显示器定向而未物理旋转电子设备。

设备显示(1202)虚拟设备旋转图标(例如在虚拟设备菜单中)；检测(1204)选择虚拟设备旋转图标；并且响应于检测到选择虚拟设备旋转图标，显示(1206)虚拟设备定向菜单(例如如图5Q-5R中所示)。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标(例如图5R的虚拟纵向定向图标530-1、虚拟横向向左定向图标530-2、虚拟横向向右定向图标530-3和虚拟倒置横向定向图标530-4)。

设备检测(1208)选择虚拟设备定向菜单中的相应虚拟设备定向图标(例如检测图5R中的虚拟横向向左定向图标530-2、比如通过检测在可视指示符位于虚拟横向向左定向图标530-2之上时激活自适应电子设备上的按钮或者检测可视指示符跨越虚拟横向向左定向图标移动)。响应于检测到选择虚拟设备定向菜单中的相应虚拟设备定向图标，设备根据相应虚拟设备定向对显示器定向(1210)。例如响应于选择图5R中的虚拟横向向左定向图标530-2，设备将显示器上的用户界面定向成图5S中所示用户界面。

图13是图示根据一些实施例的创建用户定义虚拟手势的方法1300的流程图。在具有显示器和触敏表面的电子设备(例如图3的设备300或者图1的便携多功能设备100)执行方法1300。在一些实施例中，显示器是触屏显示器，并且触敏表面在显示器上。在一些实施例中，显示器从触敏表面分离。可以组合方法1300中的一些操作和/或可以改变一些操作的顺序。

如以下描述的那样，方法1300使用自适应输入设备的输入以创建用户定义、定制虚拟手势。这允许用户记录和取回原本需要使用多个手指来与触敏表面交互的虚拟多点触摸手势。

设备在处于虚拟手势记录模式(1302)之时在显示器上显示(1304)多个可视指示符(例如与相应虚拟单手指接触对应的图标)。例如在图5AA中，显示可视指示符540-1和540-2。

对于多个可视指示符中的每个可视指示符(1306)，设备从自适应输入设备接收(1308)用于相应可视指示符的相应用户输入；根据相应用户输入来移动(1310)相应可视指示符；并且与相应可视指示符并发显示(1312)与相应可视指示符的移动对应的相应迹线(例如图5Y的可视指示符540-1和迹线542-1)。

在一些实施例中，在处于虚拟手势记录模式之时，设备并发显示(1314)多个相应可视指示符和对应的多个相应迹线。例如在图5AA中与迹线542-1和542-2并发显示可视指示符540-1和540-2。

设备创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势。用户定义的手势可以包括多个可视指示符的绝对或者相对位置和多个可视指示符的相对或者绝对移动。

设备将用户定义的虚拟手势与电子设备的预定义操作进行关联(1318)；并且存储(1320)用户定义的虚拟手势。因此，即使用户未实际触摸设备上的触敏表面，用户也可以使用自适应输入设备以为具有基于触摸的用户界面的电子设备创建定制虚拟多点触摸手势。

在一些实施例中，在创建用户定义的虚拟手势并且将用户定义虚拟手势与电子设备的预定义操作进行关联之后，设备从自适应输入设备接收(1322)输入(例如检测在可视指示符位于与用户定义的虚拟手势对应的图标、比如图5AB中的图标518-4之上时对自适应输入设备上的按钮的激活或者检测与用户定义虚拟手势对应的可视指示符跨越图标的移动)；并且响应于从自适应输入设备接收到输入，执行与用户定义虚拟手势关联的预定义操作。

在一些实施例中，响应于从自适应输入设备接收到输入，设备将用户定义虚拟手势中的多个相应可视指示符的动画移动沿着它们的相应迹线显示(1324)。例如在图5AC中，将可视指示符540-1和540-2的动画移动与它们的相应迹线542-1和542-2一起显示。在一些实施例中，存储的用户定义虚拟手势包括用户定义虚拟手势中的每个可视指示符的位置和时间，从而可以重建快速和慢速用户定义虚拟手势二者、由此模仿在虚拟手势记录模式中创建的确切用户定义虚拟手势。在一些实施例中，可以以恒定速度而不是以在虚拟手势记录模式中创建用户定义虚拟手势的速度示出(“重放”)它。恒定速度在用户难以在“自然节奏”生成事件的情况下有用。对于恒定速度虚拟手势，可以以实际手指跨越触敏表面移动时接收事件的平均速率生成手势中的事件以避免生成事件快于设备处理事件的能力。

根据一些实施例，图14示出根据如以上描述的本发明的原理配置的电子设备1400的功能框图。设备的功能块可以由硬件、软件或者硬件和软件的组合实施以实现本发明的原理。本领域技术人员理解可以组合或者分离图1400中描述的功能块为子块以实施如以上描述的本发明的原理。因此，这里的描述可以支持这里描述的功能块的任何可能组合或者分离或者进一步定义。

如图14中所示，电子设备1400包括：显示单元1402，被配置用于显示与虚拟触摸对应的第一可视指示符；触敏表面单元1404，被配置用于接收手指接触；以及处理单元1406，耦合到显示单元1402和触敏表面单元1404。在一些实施例中，处理单元1406包括接收单元1408、显示启用单元1410、检测单元1412、移动单元1414、执行单元1416、等待单元1418、定向单元1420和约束单元1422。

处理单元1406被配置用于：(例如用接收单元1408)从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，(例如用显示启用单元1410)启用在显示单元上对第一菜单的显示。第一菜单包括虚拟触摸选择图标。响应于检测到对虚拟触摸选择图标的选择，(例如用显示启用单元1410在显示单元1402上)显示虚拟多点触摸接触菜单。

在一些实施例中，第一可视指示符包括以下各项之一：环、圆环、圆、卵圆、椭圆、箭头、十字、I束、星或者虚拟手指。

在一些实施例中，第一输入向显示单元的预定义区域移动第一可视指示符。

在一些实施例中，第一输入对应于对自适应输入设备上的控件的激活。

在一些实施例中，第一输入对应于从一边到另一边移动自适应输入设备上的控件。

在一些实施例中，自适应输入设备包括操纵杆，并且第一输入对应于侧向移动操纵杆。

在一些实施例中，第一菜单包括关于第一菜单的中心放射状地显示的图标。

在一些实施例中，在即将从自适应输入设备接收第一输入之前在显示单元1402上显示第一用户界面，并且在第一用户界面之上(例如在显示单元1402上)显示第一菜单。

在一些实施例中，处理单元1406被配置用于响应于从自适应输入设备接收到第一输入、(例如在显示单元1402上用显示启用单元1410)启用在第一菜单的中心区域中对第一可视指示符的显示。

在一些实施例中，处理单元1406被配置用于：(例如用检测单元1412)检测对虚拟触摸选择图标的选择；并且响应于检测到对虚拟触摸选择图标的选择，(例如在显示单元1402上用显示启用单元1410)启用对虚拟多点触摸接触菜单的显示。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。处理单元1406被配置用于：(例如用检测单元1412)检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择；并且响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，(例如在显示单元1402上用显示启用单元1410)启用对与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符的显示。

在一些实施例中，启用对第二可视指示符的显示包括(例如在显示单元1402上用显示启用单元1410)启用对与相应虚拟多点触摸接触图标对应的多个可视指示符的显示。

在一些实施例中，处理单元1406被配置用于：(例如用接收单元1408)从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入：(例如用移动单元1414)移动一个或者多个第二可视指示符；并且根据一个或者多个第二可视指示符的移动(例如用执行单元1416)来执行操作。

在一些实施例中，处理单元1406被配置用于在启用对一个或者多个第二可视指示符的显示之时、(例如用等待单元1418)等待从自适应输入设备接收输入达多于预定义时间段；并且响应于等待从自适应输入设备接收输入达多于预定义时间段，(例如用显示启用单元1410)用第一可视指示符的显示替换一个或者多个第二可视指示符的显示。

在一些实施例中，处理单元1406被配置用于：(例如在显示单元1402上用显示启用单元1410)启用对虚拟手势图标的显示；(例如用检测单元1412)检测对虚拟手势图标的选择；并且响应于检测到对虚拟手势图标的选择，(例如在显示单元1402上用显示启用单元1410)启用对虚拟手势菜单的显示。虚拟手势菜单包括代表虚拟手势类型的多个图标。处理单元1406被配置用于：(例如用检测单元1412)检测对虚拟手势菜单中的相应虚拟手势图标的选择；并且响应于检测到对虚拟手势菜单中的相应虚拟手势的选择，(例如用执行单元1416)执行与相应虚拟手势对应的动作。

在一些实施例中，处理单元1406被配置用于：(例如在显示单元1402上用显示启用单元1410)启用对虚拟手势图标的显示；(例如用检测单元1412)检测对虚拟手势图标的选择；并且响应于检测到对虚拟手势图标的选择，(例如在显示单元1402上用显示启用单元1410)启用对虚拟手势菜单的显示。虚拟手势菜单包括代表虚拟手势类型的多个图标。处理单元1406被配置用于：(例如用检测单元1412)检测对虚拟手势菜单中的相应虚拟手势图标的选择；响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，(例如用显示启用单元1410)启用对与相应虚拟手势图标对应的多个可视指示符的显示；(例如用接收单元1408)从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，(例如用执行单元1416)根据相应虚拟手势执行操作。

在一些实施例中，处理单元1406被配置用于响应于从自适应输入设备接收到第二输入，(例如用移动单元1414)移动与相应虚拟手势图标对应的显示的可视指示符以模拟在触敏表面单元上的实际接触的移动。

在一些实施例中，处理单元1406被配置用于：(例如在显示单元1402上用显示启用单元1410)启用对夹捏/松开手势图标的显示；(例如用检测单元1412)检测对虚拟夹捏/松开手势图标的选择；响应于检测到对虚拟夹捏/松开手势图标的选择，(例如在显示单元1402上用显示启用单元1410)启用对与虚拟夹捏/松开手势中的接触对应的两个可视指示符的显示；(例如用接收单元1408)从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，(例如用执行单元1416)根据虚拟夹捏/松开手势执行操作。

在一些实施例中，根据虚拟夹捏/松开手势执行缩放操作。

在一些实施例中，处理单元1406被配置用于(例如在显示单元1402上用显示启用单元1410)启用对虚拟设备图标的显示；(例如用检测单元1412)检测对虚拟设备图标的选择；响应于检测到对虚拟设备图标的选择，(例如在显示单元1402上用显示启用单元1410)启用对虚拟设备操作菜单的显示，该虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标；(例如用检测单元1412)检测对虚拟设备操作菜单中的相应虚拟设备操作图标的选择；并且响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，(例如用执行单元1416)执行与相应虚拟设备操作对应的动作。

在一些实施例中，处理单元1406被配置用于：(例如在显示单元1402上用显示启用单元1410)启用对虚拟设备旋转图标的显示；(例如用检测单元1412)检测对虚拟设备旋转图标的选择；并且响应于检测到对虚拟设备旋转图标的选择，(例如在显示单元1402上用显示启用单元1410)启用对虚拟设备定向菜单的显示。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。处理单元1406被配置用于：(例如用检测单元1412)检测对虚拟设备定向菜单中的相应虚拟设备定向的选择；并且响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向的选择，(例如用定向单元1420)根据相应虚拟设备定向对显示器定向。

在一些实施例中，电子设备1400包括主页按钮。处理单元1406被配置用于：(例如在显示单元1402上用显示启用单元1410)启用对主页按钮图标的显示；(例如用检测单元1412)检测对主页按钮图标的选择；并且响应于检测到对主页按钮图标的选择，(例如用执行单元1416)执行与激活主页按钮对应的动作。

在一些实施例中，处理单元1406被配置用于在启用在显示单元上对菜单的显示之时(例如用约束单元1422)限制第一可视指示符的移动，从而第一可视指示符保持于菜单上。

在一些实施例中，处理单元1406被配置用于在启用在显示单元上对第一菜单的显示之时第一可视指示符被显示为不在第一菜单时(例如用接收单元1408)从自适应输入设备接收第二输入；并且响应于第二输入，(例如用显示启用单元1410)停止显示第一菜单。

在一些实施例中，处理单元被配置用于在启用在显示单元上对第一菜单的显示之时，(例如用等待单元148)等待从自适应输入设备接收输入达多于预定义时间段；并且响应于等待从自适应输入设备接收输入达多于预定义时间段，停止显示第一菜单(例如用显示启用单元1410)。

根据一些实施例，图15示出根据如以上描述的本发明的原理配置的电子设备1500的功能框图。设备的功能块可以由硬件、软件或者硬件和软件的组合实施以实现本发明的原理。本领域技术人员理解可以组合或者分离图1500中描述的功能块为子块以实施如以上描述的本发明的原理。因此，这里的描述可以支持这里描述的功能块的任何可能组合或者分离或者进一步定义。

如图15中所示，电子设备1500包括：显示单元1502，被配置用于显示与虚拟触摸对应的第一可视指示符；触敏表面单元1504，被配置用于接收手指接触；以及处理单元1506，耦合到显示单元1502和触敏表面单元1504。在一些实施例中，处理单元1506包括接收单元1508、显示启用单元1510和检测单元1512。

处理单元1506被配置用于：(例如用接收单元1508)从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，(例如在显示单元1502上用显示启用单元1510)启用对虚拟多点触摸接触菜单的显示。虚拟多点触摸接触菜单包括代表虚拟多点触摸接触类型的多个图标。处理单元1506被配置用于：(例如用检测单元1512)检测对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触菜单的选择；并且响应于检测到对虚拟多点触摸接触菜单中的相应虚拟多点触摸接触图标的选择，(例如在显示单元1502上用显示启用单元1510)启用对与相应虚拟多点触摸接触图标对应的一个或者多个第二可视指示符的显示。

根据一些实施例，图16示出根据如以上描述的本发明的原理配置的电子设备1600的功能框图。设备的功能块可以由硬件、软件或者硬件和软件的组合实施以实现本发明的原理。本领域技术人员理解可以组合或者分离图1600中描述的功能块为子块以实施如以上描述的本发明的原理。因此，这里的描述可以支持这里描述的功能块的任何可能组合或者分离或者进一步定义。

如图16中所示，电子设备1600包括：显示单元1602，被配置用于显示用户界面对象(例如一个或者多个图标和/或指示符)；触敏表面单元1604，被配置用于接收手指接触；以及处理单元1606，耦合到显示单元1602和触敏表面单元1604。在一些实施例中，处理单元1606包括接收单元1608、显示启用单元1610、检测单元1612和执行单元1614。

在一些实施例中，处理单元1606被配置用于：(例如在显示单元1602上用显示启用单元1610)启用对与虚拟触摸对应的第一可视指示符的显示；(例如用接收单元1608)从自适应输入设备接收第一输入；并且响应于从自适应输入设备接收到第一输入，(例如在显示单元1602上用显示启用单元1610)启用对虚拟手势菜单的显示。虚拟手势菜单包括代表虚拟手势类型的多个图标。处理单元1606被配置用于：(例如用检测单元1612)检测对虚拟手势菜单上的相应虚拟手势图标的选择；响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，(例如在显示单元1602上用显示启用单元1610)启用对与相应虚拟手势图标对应的多个可视指示符的选择；(例如用接收单元1608)从自适应输入设备接收第二输入；并且响应于从自适应输入设备接收到第二输入，(例如用执行单元1614)根据相应虚拟手势执行操作。

在一些实施例中，处理单元1606被配置用于：(例如在显示单元1602上用显示启用单元1610)启用对夹捏/松开手势图标的显示；(例如用检测单元1612)检测对虚拟夹捏/松开搜索图标的选择；响应于检测到对虚拟夹捏/松开手势图标的选择，(例如在显示单元1602上用显示启用单元1610)启用对与虚拟夹捏/松开手势中的接触对应的两个可视指示符的显示；(例如用接收单元1608)从自适应输入设备接收输入；并且响应于从自适应输入设备接收到输入，(例如用执行单元1614)根据相应虚拟夹捏/松开手势执行缩放操作。

在一些实施例中，处理单元1606被配置用于：(例如在显示单元1602上用显示启用单元1610)启用对虚拟手势图标的显示；(例如用检测单元1612)检测对虚拟手势图标的选择；并且响应于检测到对虚拟手势图标的选择，(例如在显示单元1602上用显示启用单元1610)启用对虚拟手势菜单的显示。虚拟手势菜单包括代表虚拟手势类型的多个图标。处理单元1606被配置用于：(例如检测单元1612)检测对虚拟手势菜单中的相应虚拟手势图标的选择；并且响应于检测到对虚拟手势菜单中的相应虚拟手势图标的选择，(例如执行单元1614)执行与相应虚拟手势对应的动作。

根据一些实施例，图17示出根据如以上描述的本发明的原理配置的电子设备1700的功能框图。设备的功能块可以由硬件、软件或者硬件和软件的组合实施以实现本发明的原理。本领域技术人员理解可以组合或者分离图1700中描述的功能块为子块以实施如以上描述的本发明的原理。因此，这里的描述可以支持这里描述的功能块的任何可能组合或者分离或者进一步定义。

如图17中所示，电子设备1700包括：显示单元1702，被配置用于显示虚拟设备图标；触敏表面单元1704，被配置用于接收手指接触；以及处理单元1706，耦合到显示单元1702和触敏表面单元1704。在一些实施例中，处理单元1706包括检测单元1708、显示启用单元1710和执行单元1712。

处理单元1706被配置用于：(例如用检测单元1708)检测对虚拟设备图标的选择；并且响应于检测到对虚拟设备图标的选择，(例如在显示单元1702上用显示启用单元1710)启用对虚拟设备操作菜单的显示。虚拟设备操作菜单包括代表虚拟设备操作类型的多个图标。处理单元1706被配置用于：(例如用检测单元1710)检测对虚拟设备操作菜单上的相应虚拟设备操作图标的选择；并且响应于检测到对虚拟设备操作菜单中的相应虚拟设备操作图标的选择，(例如用执行单元1712)执行与相应虚拟设备操作对应的动作。

根据一些实施例，图18示出根据如以上描述的本发明的原理配置的电子设备1800的功能框图。设备的功能块可以由硬件、软件或者硬件和软件的组合实施以实现本发明的原理。本领域技术人员理解可以组合或者分离图1800中描述的功能块为子块以实施如以上描述的本发明的原理。因此，这里的描述可以支持这里描述的功能块的任何可能组合或者分离或者进一步定义。

如图18中所示，电子设备1800包括：显示单元1802，被配置用于显示虚拟设备旋转图标；触敏表面单元1804，被配置用于接收手指接触；以及处理单元1806，耦合到显示单元1802和触敏表面单元1804。在一些实施例中，处理单元1806包括检测单元1808、显示启用单元1810和定向单元1812。

处理单元1806被配置用于：(例如用检测单元1808)检测对虚拟设备旋转图标的选择；并且响应于检测到对虚拟设备旋转图标的选择，(例如在显示单元1802上用显示启用单元1810)启用对虚拟设备定向菜单的显示。虚拟设备定向菜单包括代表虚拟设备定向类型的多个图标。处理单元1806被配置用于：(例如用检测单元1808)检测对虚拟设备定向菜单中的相应虚拟设备定向图标的选择；并且响应于检测到对虚拟设备定向菜单中的相应虚拟设备定向图标的选择，(例如用定向单元1812)根据相应虚拟设备定向对显示器定向。

根据一些实施例，图19示出根据如以上描述的本发明的原理配置的电子设备1900的功能框图。设备的功能块可以由硬件、软件或者硬件和软件的组合实施以实现本发明的原理。本领域技术人员理解可以组合或者分离图1900中描述的功能块为子块以实施如以上描述的本发明的原理。因此，这里的描述可以支持这里描述的功能块的任何可能组合或者分离或者进一步定义。

如图19中所示，电子设备1900包括：显示单元1902，被配置用于显示可视指示符；触敏表面单元1904，被配置用于接收手指接触；以及处理单元1906，耦合到显示单元1902以及触敏表面单元1904。在一些实施例中，处理单元1906包括显示启用单元1908、接收单元1910、移动单元1912、创建单元1914、关联单元1916、存储单元1918和执行单元1920。

处理单元1906被配置用于在处于虚拟手势记录模式之时：(例如在显示单元1902上用显示启用单元1910)启用在显示单元上对多个可视指示符的显示；并且对于多个可视指示符中的每个可视指示符：(例如用接收单元1910)从自适应输入设备接收用于相应可视指示符的相应用户输入；(例如用移动单元1912和/或显示启用单元1910)根据相应用户输入移动相应可视指示符；并且(例如在显示单元1902上用显示启用单元1910)启用对相应可视指示符和与相应可视指示符的移动对应的相应迹线的并发显示。处理单元1906被配置用于：(例如用创建单元1914)创建与多个可视指示符和多个可视指示符的移动对应的用户定义的虚拟手势；(例如用关联单元1916)将用户定义的虚拟手势与电子设备的预定义操作进行关联；并且(例如用存储单元1918)存储用户定义的虚拟手势。

在一些实施例中，处理单元1906被配置用于在处于虚拟手势记录模式之时(例如在显示单元1902上用显示启用单元1908)启用多个相应可视指示符和对应多个相应迹线的并发显示。

在一些实施例中，处理单元1906被配置用于在创建用户定义的虚拟手势并且将用户定义虚拟手势与电子设备的预定义操作进行关联之后：(例如用接收单元1910)从自适应输入设备接收输入；并且响应于从自适应输入设备接收到输入，(例如执行单元1920)执行与用户定义的虚拟手势关联的预定义操作。

在一些实施例中，处理单元1906被配置用于响应于从自适应输入设备接收到输入，(例如在显示单元1902上用显示启用单元1908)启用用户定义的虚拟手势中的多个相应可视指示符的动画移动沿着它们的相应迹线的显示。

可以通过在信息处理装置、比如通用处理器或者专用芯片中运行一个或者多个功能模块来实施以上描述的信息处理方法中的操作。这些模块、这些模块的组合和/或它们与一般硬件的组合(例如如以上关于图1A和3描述的那样)都包含于本发明的保护范围中。

以上参照图6A-6C、7、8、9、10、11、12和13描述的操作可以由图1A-1B中描绘的部件实施。例如接收操作606、显示操作616和约束操作624可以由事件排序器170、事件识别器180和事件处置器190实施。事件排序器170中的事件监视器171检测触敏显示器112上的接触，并且事件派发器模块174向应用136-1递送事件信息。应用136-1的相应事件识别器180比较事件信息与相应事件定义器186并且确定从自适应输入设备接收的输入是否与预定义事件或者子事件、比如选择用户界面上的对象或者从一个定向向另一定向旋转设备对应。在检测到相应预定义事件或者子事件时，事件识别器180激活与检测到事件或者子事件关联的事件处置器190。事件处置器190可以利用或者调用数据更新器176或者对象更新器177以更新应用内部状态192。在一些实施例中，事件处置器190访问相应GUI更新器178以更新应用显示的内容。相似地，本领域普通技术人员将清楚如何基于图1A-1B中描绘的部件实施其它过程。

已经出于说明的目的而参照具体实施例描述前文说明书。然而以上示例讨论未旨在于穷举本发明或者使本发明限于公开的精确形式。许多修改和变化鉴于以上教导是可能的。选择和描述实施例以便最佳地说明本发明的原理及其实际应用以由此使本领域其他技术人员能够最佳地利用本发明和各种实施例，这些实施例具有如与设想的特定使用相适应的各种修改。

Claims (21)

1.一种用于控制用户界面的方法，包括：

在具有触敏显示器的电子设备处：

在所述触敏显示器上显示包括内容的用户界面；

当显示所述用户界面时，接收对于对所述用户界面中的所述内容执行虚拟多点触摸手势的请求；

在接收到对于对所述用户界面中的所述内容执行所述虚拟多点触摸手势的所述请求之后：

接收自适应输入，其中所述自适应输入不包括所述触敏显示器上的任何接触；以及

响应于接收到所述自适应输入：

根据所述设备在第一操作模式中的确定，对所述用户界面中的所述内容执行第一操作，以及

根据所述设备在第二操作模式中的确定，对所述用户界面中的所述内容执行第二操作。

2.根据权利要求1所述的方法，其中所述第一操作是滚动操作并且所述第二操作是缩放操作。

3.根据权利要求1所述的方法，包括：响应于接收到对于对所述用户界面中的所述内容执行虚拟多点触摸手势的请求，在所述触敏显示器上、在所述用户界面中的所述内容之上显示与所述虚拟多点触摸手势的虚拟触摸相对应的可视指示符。

4.根据权利要求3所述的方法，其中所述可视指示符的外观在所述第一操作模式中与在所述第二操作模式中不同。

5.根据权利要求3所述的方法，其中所述可视指示符包括链接两个或更多个虚拟触摸的连接符。

6.根据权利要求1所述的方法，其中所述虚拟多点触摸手势是虚拟两手指夹捏/松开手势。

7.根据权利要求1所述的方法，其中所述第二操作包括缩放所述用户界面中的所述内容。

8.一种电子设备，包括：

触敏显示器；

一个或者多个处理器；

存储器；以及

一个或者多个程序，其中所述一个或者多个程序被存储在所述存储器中，并且被配置用于由所述一个或者多个处理器执行，所述一个或者多个程序包括指令，所述指令用于：

在所述触敏显示器上显示包括内容的用户界面；

当显示所述用户界面时，接收对于对所述用户界面中的所述内容执行虚拟多点触摸手势的请求；

在接收到对于对所述用户界面中的所述内容执行所述虚拟多点触摸手势的所述请求之后：

接收自适应输入，其中所述自适应输入不包括所述触敏显示器上的任何接触；以及

响应于接收到所述自适应输入：

根据所述设备在第一操作模式中的确定，对所述用户界面中的所述内容执行第一操作，以及

根据所述设备在第二操作模式中的确定，对所述用户界面中的所述内容执行第二操作。

9.根据权利要求8所述的电子设备，其中所述第一操作是滚动操作并且所述第二操作是缩放操作。

10.根据权利要求8所述的电子设备，包括指令用于：响应于接收到对于对所述用户界面中的所述内容执行虚拟多点触摸手势的请求，在所述触敏显示器上、在所述用户界面中的所述内容之上显示与所述虚拟多点触摸手势的虚拟触摸相对应的可视指示符。

11.根据权利要求10所述的电子设备，其中所述可视指示符的外观在所述第一操作模式中与在所述第二操作模式中不同。

12.根据权利要求10所述的电子设备，其中所述可视指示符包括链接两个或更多个虚拟触摸的连接符。

13.根据权利要求8所述的电子设备，其中所述虚拟多点触摸手势是虚拟两手指夹捏/松开手势。

14.根据权利要求8所述的电子设备，其中所述第二操作包括缩放所述用户界面中的所述内容。

15.一种计算机可读存储介质，所述计算机可读存储介质存储一个或者多个程序，所述一个或者多个程序包括指令，所述指令在由具有触敏显示器的电子设备执行时使得所述电子设备：

在所述触敏显示器上显示包括内容的用户界面；

当显示所述用户界面时，接收对于对所述用户界面中的所述内容执行虚拟多点触摸手势的请求；

在接收到对于对所述用户界面中的所述内容执行所述虚拟多点触摸手势的所述请求之后：

接收自适应输入，其中所述自适应输入不包括所述触敏显示器上的任何接触；以及

响应于接收到所述自适应输入：

根据所述设备在第一操作模式中的确定，对所述用户界面中的所述内容执行第一操作，以及

根据所述设备在第二操作模式中的确定，对所述用户界面中的所述内容执行第二操作。

16.根据权利要求15所述的计算机可读存储介质，其中所述第一操作是滚动操作并且所述第二操作是缩放操作。

17.根据权利要求15所述的计算机可读存储介质，包括使得所述电子设备如下操作的指令：响应于接收到对于对所述用户界面中的所述内容执行虚拟多点触摸手势的请求，在所述触敏显示器上、在所述用户界面中的所述内容之上显示与所述虚拟多点触摸手势的虚拟触摸相对应的可视指示符。

18.根据权利要求17所述的计算机可读存储介质，其中所述可视指示符的外观在所述第一操作模式中与在所述第二操作模式中不同。

19.根据权利要求17所述的计算机可读存储介质，其中所述可视指示符包括链接两个或更多个虚拟触摸的连接符。

20.根据权利要求15所述的计算机可读存储介质，其中所述虚拟多点触摸手势是虚拟两手指夹捏/松开手势。

21.根据权利要求15所述的计算机可读存储介质，其中所述第二操作包括缩放所述用户界面中的所述内容。

Images