CN105247463A - 增强的画布环境 - Google Patents

Abstract

在此揭示了用于促进增强的画布演示环境的系统、方法和软件。在一个实现中，用户与能够在画布上显示项目的启用触摸的显示系统进行交互。响应于用户针对被显示的项目作出的手势，基于与该项目相关联的格式，格式专用交互模型被标识。对该手势的响应可接着使用该交互模型来确定，且响应被渲染供显示。

Description

增强的画布环境

技术领域

本发明的各方面涉及计算机硬件和软件技术，尤其涉及增强的数字画布技术。

技术背景

数字白板用于向用户提供画布，通过画布他们可以交互以创建解说、记笔记、以及以类似非数字白板被使用的方式来不同地工作。各种应用包括数字白板，诸如和其上用户可收集笔记、存储文档或照片、并以其它方式视为工作平台。数字笔可被用来生成内容，诸如绘画和涂写，这可非常类似字处理文档或其它这样的生产力项目来被保存。

大量的数字白板还包括在画布上内嵌各种不同类型的项目的能力。例如，视频、照片、和生产力项目可与用数字笔创建的其它内容一起被存储在画布上。与任何这样的项目进行交互通常需要项目首先通过某个用户输入来被选择或过渡到活动状态。用户可接着使用控件或特定项目或特定类型项目专用的手势来与项目进行交互。因此，在画布级，每个项目以相对于任何其它项目而言相同的方式被交互直到该项目被激活。

用户如何被允许与项目在画布级进行交互可被看成交互模型。在画布级，与每个项目交互通常由每个项目的相同交互模型控制。因此，相同手势或命令被用来操纵一个项目如同被用来操纵任何其它项目，而不考虑项目类型。此外，项目在交互可以开始之前根据项目专用交互模型来被选择或激活。换言之，对于在画布上不活动的任何项目，用户作出选择或激活项目的初始或第一交互。一旦项目是活动的，用户可根据那个项目的交互模型来作出后续交互。

在一个熟悉的情形中，画布可包括若干内嵌对象或项目，诸如字处理文档、照片、视频、和文本。用户可接着使用对项目类型专用的控件来与每个项目进行交互，但仅在已经激活项目之后。例如，字处理文档在一个人可以按它相关联的交互模型来操纵它之前通过触摸它被首先带入聚焦。类似地，照片在按它的交互模型操纵它之前被带入聚焦。

事实上，哪个交互模型被用于解释手势或针对特定项目作出的其它命令通常在项目被选择或激活之后确定。因此，当项目被选择时，它的交互模型被加载并且交互模型可被应用于任何后续手势。项目专用交互模型可通过加载与活动项目相关联的应用的全部或部分来实现。例如，当字处理项目被激活时，字处理应用的各组件被加载以允许根据专用于字处理文档的交互模型来解释各手势。

概述

在此提供用于促进增强的画布演示环境的系统、方法和软件。在一个实现中，用户与能够在画布上显示项目的启用触摸的显示系统进行交互。响应于用户针对被显示的项目作出的手势，基于与该项目相关联的格式，格式专用交互模型被标识。对该手势的响应可接着使用该交互模型来确定，且响应被渲染供显示。以此方式，不同交互模型可被应用于相对于它们的类型或格式可变化但共享相同活动或不活动状态的各项目和对象。

提供本概述以便以简化形式介绍将在以下的技术公开中进一步描述的概念选择。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图简述

参考以下附图可更好地理解本公开的许多方面。虽然结合这些附图描述了几种实现，但所述公开并不局限于在此所述的这些实现。相反，意图是要覆盖所有的替换方式、修改和等价物。

图1说明了在一种实现中的增强的画布环境。

图2说明了在一种实现中的增强的画布过程。

图3说明了在一种实现中的交互模型。

图4说明了在一种实现中的交互模型。

图5说明了在一实现中的操作场景。

图6说明了在一实现中的操作场景。

图7说明了在一实现中的操作场景。

图8说明了在一实现中的计算系统。

图9说明了在一种实现中的交互模型。

图10说明了在一种实现中的交互模型。

技术公开

在此揭示的各实现提供增强的画布环境，其中用户可以以各种方式与各种内容进行交互。具体而言，各种格式专用交互模型被支持用于具有各种格式的各种项目。例如，用户可以与具有第一格式的项目进行交互，其中在响应于针对那个项目作出手势时，专用于那个格式的交互模型被使用。用户还可以与具有不同格式的另一个项目进行交互，其中在响应于针对那个项目作出手势时，专用于那个不同格式的不同交互模型被使用。

此外，在此描述的各实现在手势被作出后提供标识项目的相关交互模型，而不是在手势被作出后标识以其解释针对项目作出的手势的交互模型。可针对照片、字处理文档、文本、或数字手书、或任何其它类型的项目作出手势。响应于该手势，专用于该项目类型或格式的模型被标识。接着基于该交互模型解释手势，并且相应地渲染响应。

增强的画布环境可被提供在：在膝上电脑、台式机、或平板计算机、以及移动电话、游戏系统、或任何其它合适的计算装置上体验的记笔记应用(诸如)的上下文内。此外，增强的画布环境可通过增强的计算系统的方式提供，诸如具有很大触摸屏或触摸屏阵列的那些。在某些实现中，大屏幕可一般是书桌、桌子、或其它工作空间的大小，用户可通过手势和其它交互来与之交互。

在某些实现中，其它装备可被用来进一步增强与内容和其它项目的交互。例如，语音识别装置可被采用来捕捉话语单词，使得针对画布上的项目作出的手势可基于说的什么来被解释。在另一个示例中，运动捕捉装备可被采用来捕捉用户随着作手势的运动，以进一步增强对手势的处理。可理解，这些技术可分开使用或以集成方式一起使用。因此，在标识对手势的响应时话语和运动可被考虑。

现在参考附图，图1示出了增强的画布环境100。增强的画布环境100包括位于至少由地板105和墙壁103定义的空间内的用户101，地板105和墙壁103仅仅示例地便于目前的讨论。计算系统106驱动驻留在该空间中的显示系统109。在某些实现中，显示系统109可以悬挂在墙壁上。在其它实现中，显示系统109可以以类似桌子或类似书桌的方式来被安排或部署。在又一些实现中，显示系统109可位于角度，类似绘图桌或书桌。

在操作中，用户101与被显示系统109显示的多格式画布107进行交互。在这示例中，多格式画布107包括各种内容项目，诸如文档111、地图113、图库115、和视频117。用户101可针对任何项目作出各种手势，对其的响应基于专用于至少一个项目的交互模型来确定。各种交互模型可具有相互共同的部分。此外，某些格式的交互模型可能与其它格式的交互模型相同。然而，至少两个格式将具有彼此不同的交互模型。

变化的交互模型允许用户101使用可以是针对每个项目都相同的手势来与每个项目不同地交互。例如，针对视频作出的向右的滑扫手势可调出视频时间线，其可接着被导航。相反，针对地图作出的向右的滑扫手势可移动地图的焦点。在又一个示例中，对照片作出的向右的滑扫手势可将照片改变为源自数码照片库不同照片。

用户101作出的各种手势被显示系统109捕捉，且代表手势的手势信息被传送到计算系统106。图2所示的增强的画布过程200描述了由计算系统106在被提供了这样的手势信息时执行的过程。计算系统106处理手势信息以标识用来响应手势的交互模型(步骤201)。一旦标识了交互模型，计算系统106就基于该模型确定对手势的响应(步骤203)。计算系统106随后渲染响应(步骤205)并驱动显示系统109显示该响应。各种示例交互模型和示例操作情形结合图3－7更详细地描述以更详细地展示增强的画布过程200。

图3示出了交互模型300，其以每个内容项目的专用方式基于其格式被应用于内容项目。由项目118中央的圆形符号表示的触摸手势可导致四个动作之一。向上的手势导致上下文菜单的渲染和显示。向下的手势导致可采取各种动作(诸如代表用户进行查询)的代理的显露(渲染和显示)。向左滑扫可导致专用一个项目的一个格式类型的上下文动作，而向右滑扫可导致专用于一个项目的一个格式类型的另一个上下文动作。例如，类似的滑扫可导致具有变化的格式的内容项目的不同动作。

图4示出了另一个交互模型400，其以对每个内容项目相同的方式被一般地应用于内容项目(不考虑其格式)。具体而言，交互模型400描述了在用户在任何项目上执行轻叩并保持手势时发生了什么。这样的手势导致四种特定选项的显露：共享、覆盖瓦块、回放、和吸附。在共享选项被选择时，允许用户和其他人共享项目118。在回放选项被选择时，允许过去的动作被撤销。在覆盖瓦块选项被选择时，关闭主题项目。在吸附选项被选择时，启动主题项目的更细节化的视图或调查。

图5和图6涉及示出交互模型(诸如交互模型300)在针对指定项目应用时如何变成专用交互模型的操作情形。在图5中，用户101用其伸出的手臂102作出向右的滑扫手势121。滑扫手势121针对视频117作出。向右滑扫导致时间条123显露覆盖在视频117上。用户101可接着通过触摸时间条123来导航到视频117中的各部分。替换地，在视频上的任何点的侧向滑扫导致擦刷动作，其中视频与用户滑扫的距离成比例地前进或后退。向上或向下滑扫导致视频的音量与用户滑扫的距离成比例地调上或下。这可在随滑扫发生显示诸如视频擦刷界面或音量控制的控制表面时实现，或者它可实现而无需显示任何附加的用户界面并简单地执行擦刷或音量调节。

现在参考图6，用户101已经作出另一个滑扫手势122，再次是朝右的方向。然而，在这个情况中，新照片已经代替图5中图库115内最初显示的照片，表示滑扫手势122触发了通过图库115的滚动特征。这是因为接受滑扫手势122的内容项目—照片—是与接受滑扫手势121的视频不同类型的项目。因此，与针对滑扫手势121的不同交互模型被用来确定并渲染对滑扫手势122的响应。在多个格式受益于相同手势(诸如捏合手势)时，某些手势可在该多个格式中实现相同结果，导致缩小地图内容和照片内容两者。

图7示出了涉及轻叩并保持的操作场景。在图7中，用户101伸展他的手臂102并对图库115中的照片作出轻叩并保持手势。轻叩并保持手势触发四个选项显露覆盖到图库115的照片上。四个选项对应于结合图4讨论的交互模型，即共享、吸附、回放、和覆盖瓦块选项。用户101可接着选择选项中任何一个或可前进到其它交互。

图9和图10示出了另一个交互模型900。交互模式900描述用户如何与可在多格式画布107上作出的自由形式的绘图或其它类型的绘图进行交互，以擦除绘图的全部或部分。在这个情形中，用户已经使用某合适的绘画机制(如用于在显示器上绘画的笔或指示笔)创建了绘图。行进向下穿过绘图的单点触摸交互导致对应的绘图的部分的擦除。该单点触摸交互类似于用传统的墨水可擦记号笔的绘画，并接着使用手指来选择性地擦除部分绘图(诸如一形状、线或曲线内的小线段)的传统非数字白板动作。相反，向下行进运动通过绘图的多点触摸交互导致动作相交的形状或线的完全擦除。该多点触摸交互类似于用平手或板擦擦除传统白板。这些手势可通过单根手指的单点触摸交互的检测相比完成触摸交互的多个手指的检测来区分。手势可在任何方向或路径上被完成并且不需要是线性的或对齐任何特定轴。以此方式，绘图的更小的或更大的部分可以以类似于基于传统可擦拭墨水的白板中使用的那些方式来擦除。从上述讨论可以理解各个方面。在至少一个实现中，多格式画布交互可通过相对大的屏幕触摸/笔显示用户界面(其使得内容是首要的，而控件表面隐藏直到被访问)来接受。三个手势和四个动作可在某些情形中得到支持。内容可被显露而没有任何边界、框架、或其它装饰。当用户想要交互时，如捏合以缩放的自然手势触发渲染对捏合以缩放的响应。多格式画布可因此具有在画布内的多个内容类型呈现和活动，无需显示与那个内容相关联的诸如按钮或滑块之类的控件。

此外，多格式画布中的手势可允许通过语音命令的输入。例如多手指轻叩和保持手势可指示语音命令或内容要被指向该内容。指向用户界面的特定区域的话语可接着以不同于仅指向计算设备整体的话语的方式来处理。例如，指向视频内容的特定片段的话语可以使用仅包含针对视频的命令的语法(诸如“快进”)来处理，或语法可被改变来使得关于视频的命令被选为具有更高频率的匹配命令。被选的特定内容的内容还可被用来调节所呈现的话语的解释。还可根据触摸的上下文来解释话语，诸如通过识别“打印此图片”的命令涉及被触摸的图片而非此时可显示的其它图片。此外，如果内容片段(诸如即时消息对话)被选择，则话语可作为语音对话被指向远程即时消息用户而不是被本地地解释为命令。

在至少一个实现中，三个通用手势可被识别。首先，向上拂手势启动特定于作为手势的主题的内容的上下文菜单。例如，聚焦于文本的上拂手势可显露必应搜索的数据、其它控件、或其它元数据发现的信息。第二手势，下拂，可启动知晓关于该片段内容的上下文的自然语音查询的声控代理。例如，在看视频时，伴随说出的查询“这下一次播放是什么时候？”发生的下拂可启动代理。代理将导入关于正在播放什么电影的上下文并将知晓仅为那个电影搜索并显示结果。或用户可表明内容的更特定的片段，诸如圈出工程图的部分并询问“帮我找合适此处的传感器”。通过圈出该片段并执行下拂手势，代理将被召唤并将在搜索寻找传感器时结合该说出的查询。关于多格式画布的更详细的讨论在附录A和附录B中提供。

轻叩并保持内容可导致四个基本动作：共享、覆盖瓦块、回放、和吸附。通过共享，内容可以各种方式诸如通过电子邮件、共享服务、微博等被共享。覆盖瓦块关闭了内容项目。回放允许撤销前面的行为，而吸附导致可显露相关人、内容、动作、或数据的上下文搜索。例如，上下文搜索可标识与科研相关的专家何时出现在用户的组织中，并呈现通信用户界面元素来允许联系该专家获得建议。吸附功能还可诸如通过示出话题在演讲中被涵盖有多频繁来概括特定区域内的结果。

图8示出计算系统800，它表示任意计算设备、系统或适用于实现图1所示的计算系统106的系统的集合。计算系统800的各示例包括通用计算机、台式计算机、膝上计算机、平板计算机、工作站、虚拟计算机或任何其他类型的合适的计算系统、系统的组合或其变型。

计算系统800包括处理系统801、存储系统803、软件805、通信接口807、用户接口809、和显示接口811。计算系统800可任选地包括出于简化的目的在本文中没有讨论的附加设备、特征或功能。例如，在一些场景中，例如当计算系统与传感器系统集成时，计算系统106包括集成的传感器装备、设备和功能。

处理系统801在操作上与存储系统803、通信接口807、用户接口809和显示接口811耦合。处理系统801从存储系统803加载并执行软件805。当概括而言由计算系统800执行时，且具体而言由处理系统801执行时，软件805指导计算系统800如本文针对增强的画布过程200以及其任意变型或本文所述的其它功能所述的那样操作。

仍然参考图8，处理系统801可以包括从存储系统803中检索并执行软件805的微处理器以及其他电路系统。处理系统801可以在单个处理设备中实现，但也可以跨协作执行程序指令的多个处理设备或子系统分布。处理系统801的示例包括通用中央处理单元、专用处理器、和逻辑设备、以及任何其他类型的处理设备、其组合或变型。

存储系统803可包括可由处理系统801读取并能够存储软件805的任意计算机可读存储介质。存储系统803可包括易失性和非易失性、可移动和不可移动介质，它们以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的任意方法或技术来实现。存储介质的示例包括随机存取存储器、只读存储器、磁盘、光盘、闪存、虚拟存储器和非虚拟存储器、磁带盒、磁带、磁盘存储或其它磁存储设备，或任何其它类型的存储介质。存储介质决不是传播信号。除了存储介质以外，在一些实现中，存储系统803还可包括软件805可通过其进行内部和外部通信的通信介质。存储系统803可以被实现为单个存储设备，但也可以跨相对于彼此放置在一起或分布式的多个存储设备或子系统来实现。存储系统803可以包括附加元件，诸如能够与处理系统801通信的控制器。

软件805可用程序指令来实现，并且除了其他功能之外，当一般而言由计算系统800执行或具体而言由处理系统801执行时，可指导计算系统800或处理系统801如本文中针对增强的画布过程200所述的那样来操作。软件805还可包括附加过程、程序或组件，诸如操作系统软件或其他应用软件。软件805还可包括固件或可被处理系统801执行的某些其它形式的机器可读处理指令。

一般而言，软件805可在被加载到处理系统801中并被执行时将计算系统800整个从通用计算系统变换成被定制以促进如本文中针对每一实现所述的增强的演示环境的专用计算系统。事实上，存储系统803上的编码软件805可变换存储系统803的物理结构。在本说明书的不同实现中，物理结构的具体变换可取决于各种因素。这样的各因素的示例可以包括，但不仅限于：用于实现存储系统803的存储介质的技术以及计算机存储介质是作为主存储还是辅存储。

例如，如果计算机存储介质被实现为基于半导体的存储器，则当在其中编码程序时软件805可以变换半导体存储器的物理状态，诸如通过变换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。一种类似的变换可以相对于磁性或光学介质发生。在没有偏离本说明书的范围的情况下，物理介质的其他变换也是可能的，前面提供的示例只是为了便于这一讨论。

可理解，计算系统800一般旨在代表软件805通过其被部署和执行以实现增强的画布过程200(及其变体)的计算系统。然而，计算系统800还可表示其上可展现软件805并且软件805可以从其分发、传输、下载或以其他方式提供至又一计算系统以供部署和执行或又一附加分发的任何计算系统。

再次参考上述各种实现，通过采用软件805的计算系统800的操作，可针对增强的画布环境100执行变换。作为示例，可以在显示系统109上以一种状态来渲染和显示项。在用户101与多格式画布107以特定方式(诸如通过作出触摸手势)进行交互时，(与显示系统109通信的)计算系统106可渲染对手势的响应，用于由显示系统109来显示，从而将多格式画布107转换为第二、不同状态。

再次参考图8，通信接口807可包括允许在计算系统800和其它计算系统(未示出)之间通过通信网络或网络集合(未示出)或空中进行通信的通信连接和设备。加在一起允许系统间通信的连接和设备的示例包括网络接口卡、天线、功率放大器、RF电路系统、收发机以及其它通信电路系统。连接和设备可通过通信介质通信以与其他计算系统或系统网络交换通信，诸如金属、玻璃、空气或任何其他合适的通信介质。上述通信介质、网络、连接和设备是公知的且无需在此处详细讨论。

可选地，用户接口809可包括：鼠标、键盘、声音输入设备、用于接收来自用户的手势的触摸输入设备、用于检测用户的非接触手势和其它运动的运动输入设备，以及其它类似的输入设备以及能够接收来自用户的用户输入的相关联的处理元件。输出设备(诸如显示器、扬声器、触觉设备)和其它类型的输出设备也可以被包括在用户接口809中。上述用户接口组件是公知的且无需在此处详细讨论。

显示接口811可以包括各种连接和设备，它们允许在计算系统800和显示系统之间通过通信链接或链接集合或空中地进行通信。例如，计算系统106可以通过显示接口与显示系统109通信。加在一起允许系统间通信的连接和设备的示例包括各种显示端口、图形卡、显示布线以及连接和其它电路。显示接口811将渲染的响应传送给显示系统以供显示，例如视频和其它图像。在一些实现中，显示系统能够以触摸手势形式接受用户输入，在此情况中，显示接口811能够接收对应于这样的手势的信息。上述连接和设备是公知的且无需在此处详细讨论。

从上述讨论中可以理解，在至少一个实现中，合适的计算系统可以执行软件以便利于增强的画布环境。在执行软件时，响应于与显示在显示表面的项目相关联的手势，计算系统可用于标识专用该项目的格式的交互模型。计算系统可接着根据交互模型来标识对手势的响应，并在显示表面上渲染针对该项目的响应。

为了标识交互模型，计算系统可标识项目的格式，并从与各种格式相关联的各种交互模型中选择交互模型。在某些情形中，项目的格式是各种格式之一。

计算系统可将各种项目渲染在显示表面上。每个项目可具有和其它每个项目一样的活动状态。在某些情形中，各项目可被渲染在用户界面的上下文内。用户界面可被看成包括前景和背景。因此，活动状态可指示每个项目是否在用户界面的前景中或背景中活动。

多个交互模型中的每一个可定义将各种有方向的手势(从中标识响应)定义为对应于各种响应。在某些实现中，至少某些响应对于交互模型中的每一个是唯一的，而至少某些其它的响应跨交互模型中的每一个共同共享。有方向的手势的示例可包括向右滑扫手势、向左滑扫手势、向上滑扫手势、和向下滑扫手势。响应的第一部分可对应于向右滑扫手势和向左滑扫手势，而响应的第二部分可对应于向上滑扫手势和向下滑扫手势。

在至少一个实现中，计算系统可在包括多格式画布的用户界面上渲染绘图。响应于行进穿过绘图的单点触摸交互，计算系统可渲染绘图的仅部分的擦除。响应于行进穿过绘图的多点触摸交互，计算系统可渲染整个绘图的擦除。单点触摸交互的示例包括拖拽单根手指向下通过绘图。多点触摸交互的示例包括拖拽至少三根手指向下通过绘图。仅擦除绘图的部分可包括通过绘图的被擦除的竖直条(对应于单点触摸交互创建的通过绘图的路径)。

各图中提供的功能框图、操作序列和流程图表示用于执行本公开的新颖方面的示例性架构、环境和方法。尽管出于解释简明的目的，此处包括的方法可以以功能图、操作系列或流程图形式示出并且可被描述为一系列动作，但是可以理解和领会，各方法不受动作的次序的限制，因为根据本发明，某些动作可以按与此处所示并描述的不同的次序和/或与其他动作并发地发生。例如，本领域的技术人员将明白并理解，方法可被替换地表示为一系列相互相关联的状态或事件，诸如以状态图的形式。此外，并非方法中所示出的所有动作都是新颖实现所必需的。

所包括的说明和附图描述了用于教导本领域的技术人员如何做出和使用最佳模式的特定实现。出于教导创新性原则的目的，一些传统的方面被简化或忽略。本领域的技术人员将理解来自这些实现的变型也落入的本发明的范围内。本领域的技术人员还将理解如上所述的特征可以以各种方式组合以形成多个实现。因此，本发明不局限于如上所述的特定实现，仅受限于权利要求和它们的等价物。

Claims (10)

1.一种装置，包括：

一个或多个计算机可读存储介质；以及

存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令在被处理系统执行时指导所述处理系统至少：

响应于与显示在显示表面的项目相关联的手势，标识专用于所述项目的格式的交互模型；

根据所述交互模型标识对所述手势的响应；以及

将对于所述项目的所述响应渲染在所述显示表面上。

2.如权利要求1所述的装置，其特征在于，为标识所述交互模型，所述程序指令指导所述处理系统来标识所述项目的所述格式，并从与多个格式相关联的多个交互模型中选择所述交互模型，其中所述格式包括所述多个格式之一。

3.如权利要求2所述的装置，其特征在于，所述程序指令还指导所述处理系统在所述显示表面上渲染多个项目，所述多个项目中的每一个具有和所述多个项目中的其它每一个相同的活动状态，并且其中所述多个项目包括与所述手势相关联的所述项目。

4.如权利要求3所述的装置，其特征在于，所述程序指令还指导所述处理系统渲染用户界面，在所述用户界面中显示所述多个项目，其中所述用户界面包括前景和背景，且其中所述活动状态指示所述多个项目中的每一个是否在所述用户界面的前景或背景中活动。

5.如权利要求4所述的装置，其特征在于，所述多个交互模型中的每一个将多个有方向的手势定义为对应于多个响应，从所述有方向的手势中标识所述响应，其中所述多个响应的至少第一部分对于所述多个交互模型中的每一个是唯一的，且其中所述多个响应的至少第二部分相对于所述多个交互模型中的每一个共同共享。

6.如权利要求5所述的装置，其特征在于，所述多个有方向的手势包括向右滑扫手势、向左滑扫手势、向上滑扫手势、和向下滑扫手势。

7.如权利要求6所述的装置，其特征在于，所述多个响应的所述第一部分对应于所述向右滑扫手势和所述向左滑扫手势，而其中所述多个响应的所述第二部分对应于所述向上滑扫手势和所述向下滑扫手势。

8.如权利要求1所述的装置，其特征在于，还包括显示系统，配置用于通过触摸界面的方式接受手势并显示对所述手势的响应，且所述处理系统配置用于执行所述程序指令。

9.一种用于促进增强的画布环境的方法，包括：

响应于与显示在显示表面的项目相关联的手势，标识专用于所述项目的格式的交互模型；

根据所述交互模型标识对所述手势的响应；以及

将对于所述项目的响应渲染在所述显示表面上。

10.如权利要求9所述的方法，其特征在于，标识所述交互模型包括标识所述项目的所述格式，并从与多个格式相关联的多个交互模型中选择所述交互模型，其中所述格式包括所述多个格式之一；

其中所述方法还包括，在所述显示表面上渲染多个项目，所述多个项目中的每一个具有和所述多个项目中的其它每一个相同的活动状态，并且其中所述多个项目包括与所述手势相关联的所述项目；以及

其中所述方法还包括，渲染用户界面，在所述用户界面中显示多个项目，其中所述用户界面包括前景和背景，且其中所述活动状态指示所述多个项目中的每一个是否在所述用户界面的前景或背景中活动。