CN103034395A - 用于异步交流的设备、方法和程序 - Google Patents

Abstract

本发明提供了一种用于异步交流的设备、方法和程序。所述异步交流设备包括：内容获取装置，被配置为生成要被加背景的内容并将其显示在显示器上，要被加背景的内容包括由用户创建的数字草图；背景信息接收装置，被配置为接收向要被加背景的内容提供背景的背景信息；以及关联装置，被配置为将背景信息与要被加背景的内容相关联，背景信息包括多模式信息，多模式信息包括文本、图像、视频、音频、音视频或图形中的两种或者更多种元素。用户可以通过包括背景信息来异步地交流想法。

Description

用于异步交流的设备、方法和程序

技术领域

本申请涉及计算机应用领域，更具体地，涉及一种用于异步交流的设备、方法和程序。

背景技术

通常，当创意人群（例如，设计者）向其他人说明他们的早期想法时，他们使用面对面交流。作为面对面交流的一部分，常常绘制并且讨论草图。然而，在实践中，面对面会见可能是不可能的、不实际的或者不可行的，从而，人们可能不得不依赖于异步交流。

发明内容

本“发明内容”的提供是为了以简化地形式介绍以下在“具体实施方式”中将进一步描述的一组概念。本“发明内容”不是意在明确要求保护的主题的关键特征或基本特征，也不是意在用于限制要求保护的主题的范围。

本公开的主题描述了用于便利异步交流的技术。可以通过提供所交流的想法的背景来便利异步交流。可以通过捕获来自用户、用户的周围环境或者远离该用户的环境的信息来提供该背景。所捕获的信息可以包括在用于提供所呈现的想法的背景的多模式批注中。可以在项目设置中组合、修改和查看被捕获以提供背景的信息和想法的表示。项目设置可以提供多个想法的交流，其中，每个想法可以具有多个特征或元素。

例如，在一种实现中，用户可以尝试用主要草图来传达想法。为了给出草图背景和更有效地交流想法，用户可以将批注包括进来，该批注示出了来自用户的桌面的对象的图像或图片。与附加文本或其他简单草图结合的图像说明主要草图的一部分的意义。用户还可以将用户说明主要草图的一部分的录音包括进来。可以在主要草图上设置指示标记，指示标记表示有附加信息（例如批注、图片、文本、草图、录音或视频剪辑）可用。

在一种实现中，用户可以指定浏览浏览项目、想法、想法的特征、想法的背景信息或其组合的逻辑顺序。该逻辑顺序可以与按照时间顺序将想法添加至项目的方式不一致。相反，用户可以建议之后进行查看的受众按照某种逻辑顺序来注意某些特征。受众可以不受该建议的约束，但是可以选择遵从该建议。

在一种实现中，用户或者受众可以按照时间表一类的设置来浏览项目的整个历史。在此，用户或者受众可以以各种速度沿着正向或者反向查看项目的进展。用户还可以沿着时间表跳至不同的时序位置。

根据本发明的一个实施例，提供了一种使得用户能够捕获和交流关于内容的背景信息的异步交流设备，所述异步交流设备包括：内容获取装置，被配置为生成要被加背景的内容并将其显示在显示器上，所述要被加背景的内容包括由用户（302）创建的数字草图（300）；背景信息接收装置，被配置为接收向所述要被加背景的内容提供背景的背景信息；以及关联装置，被配置为将所述背景信息与所述要被加背景的内容相关联，所述背景信息包括多模式信息（1900），所述多模式信息包括文本、图像、视频、音频、音视频或图形中的两种或者更多种元素。

在一个实施例中，所述背景信息包括从真实世界捕获的元素，所述元素包括形状；以及所述形状是通过所捕获的内容或者实时视频馈送从用户处接收的。

在一个实施例中，所述异步交流设备还包括显示控制装置，被配置为按照时间表配置来显示要被加背景的内容和相关联的背景信息，其中，所述用户能够根据执行为生成所述内容和所述相关联的背景信息而执行步骤的顺序，来按照时间顺序或逆时间顺序在所述步骤中循环，所述步骤至少包括显示步骤、捕获步骤和关联步骤。

其中，所述背景信息包括音频、视频或者音视频，所述内容获取装置还被配置为在所述背景信息被捕获的同时获取由用户产生的所述要被加背景的内容的至少一部分；以及以后与同时捕获的背景信息的呈现同步地呈现所生成的要被加背景的内容。

在一个实施例中，所述要被加背景的内容包括由所述用户绘制的草图；所述背景信息包括对所述用户口头描述所述草图的背景的录制；以及所述内容获取装置还被配置为对在与创建所述草图的时间顺序对应的过程的一段时间内显示的由所述用户绘制的所述草图的表示进行显示，所述一段时间与所述录制的长度对应。

根据本发明的一个方面，所述异步交流设备还包括：指示接收装置，被配置为接收指示，所述指示指出数字画布上的内容的要被批注的一部分；指示标记生成装置，被配置为响应于所述指示生成指示内容的所述要被批注的一部分的指示标记，并将其显示在所述数字画布上；批注画布链接及显示装置，被配置为将批注画布链接至所述指示标记，并显示链接至所述指示标记的所述批注画布，其中，所述批注画布被配置成显示多模式信息，所述指示标记包括边界，所述边界限定被批注区域，所述被批注区域具有一定不透明度，其中，所述不透明度与所述被批注区域的尺寸成反比。

附图说明

下面参照附图给出详细描述。在图中，附图标记中的最左侧的一个或多个数字表示该附图标记第一次出现的图。不同图中使用相同的附图标记来表示相似或相同的项。

图1是异步交流设备的示例性的实施方式的视图，该系统包括具有示例性的控制选项的示例性的数字画布；

图2a-c示出了具有示例性的控制选项和界面的图1的异步交流设备的示例性的实施方式的视图；

图3是显示有示例性的控制选项和内容的图1的异步交流设备的示例性的实施方式的视图；

图4是图1的异步交流设备可以工作的示例性的环境的示意图；

图5是异步交流设备的示例性的实施方式的另一视图，该系统包括显示有示例性的控制选项和内容的示例性的数字画布；

图6是内容修改流程的示例性的实施方式的视图；

图7是内容修改流程的示例性的实施方式的视图；

图8是内容捕获流程的示例性的实施方式的视图；

图9是内容修改流程的示例性的实施方式的视图；

图10是内容捕获流程的示例性的实施方式的视图；

图11是内容捕获流程的示例性的实施方式的视图；

图12是内容捕获流程的示例性的实施方式的视图；

图13-22是通过批注实现的异步交流技术的示例性的实施方式的视图；

图23是通过创意过程捕获实现的异步交流技术的示例性的实施方式的视图；

图24-30是通过所指定的部分的建议顺序实现的异步交流技术的示例性的实施方式的视图；

图31和32是通过交流背景实现的异步交流技术的示例性的实施方式的视图；

图33是示出了使用背景内容来异步交流的示例性的方法的流程图；

图34是示出了使用批注来异步交流的示例性的方法的流程图；

图35是示出了使用有顺序的指示来异步交流的示例性的方法的流程图；

图36是示出了使用查看请求来异步交流的示例性的方法的流程图；以及

图37是能够用于与异步交流设备交互的示例性的计算设备的框图。

具体实施方式

本公开描述了异步交流素材的创建。用户可能想要与另一个人交流想法；然而，这个人可能无法进行面对面会见或者不能在用户有空的同时也有空。例如，当设计者向其他人说明他们的早期设计想法时，他们通常连同草图一起使用面对面交流，这些草图通常在面对面交流期间绘制并且作为面对面交流的一部分。然而，在实践中，面对面会见有时是不可能的，从而设计者不得不依赖于异步交流。在这样的异步交流中，丢失了在面对面会见中通常可获得的重要的背景信息，这可能导致混淆和误解。

例如，与其他人交流设计并且得到反馈是设计行业中的惯例。尤其在设计过程的开始，当设计者与其他人交流他们的早期设计想法时，他们通常连同手绘草图一起采用面对面交流。绘制这些草图需要相对较少的努力，节省了大量工作，否则，如果使用专用于具体和/或定案设计的后期表达的复杂的数字工具比如

或3D

则会需要大量工作。实际上，这种草图的固有“粗糙性”与早期设计想法的初级、非具体和不完整性相匹配，并且用于提醒受众关注并反馈设计的概念而非设计的细节。所有这些使得设计者在他们的设计过程中能够尽早获得反馈，可以证明这对于设计的成功是有用的。

然而，早期草图的随意性和开放性通常还意味着要理解它们不得不依赖于设计者个人的在场。在面对面交流中可获得的由设计者本身提供的和来自周围物理环境的丰富的背景信息对草图进行了补充，以传递全盘的信息。然而，在实践中，由于各种限制，包括日程表冲突、地理距离、时差或者需要与多个受众进行交流，这样的面对面会见（或者甚至同步通信比如音频/视频会议等）并不总是可行的。在这些情况下，设计者可能不得不依赖于异步途径。例如，以数字草图和/或书面描述的形式通过电子邮件发送他们的想法。然而，当去掉面对面交流的背景时，作为交流工具的草图绘制可能变得单靠其自身并不足够，其原因与面对面交流情况下使得草图绘制很有效的原因一样。没有面对面交流的早期草图的不具体性和细节的缺乏经常导致混淆和误解。结果，设计者通常完全取消异步交流，而是等待，直到有面对面会见的机会（对于早期反馈而言通常太晚），或者，他们可能不得不采取较后期、更深入的设计表达工具，从而失去了手绘草图的所有优点。

为了帮助交流想法同时保留背景以及可用信息和道具的影响，本公开介绍了用于开展异步交流的系统和技术。可能期望该异步交流对于用户与受众交流他的或她的想法并向受众提供该想法的背景来说便捷而具有合理的易用性。一个示例可以是使用附加至草图的背景信息来交流想法的草图。

各种实施方式设想提供至少两种交互模式：创建模式，其中，用户可以使用草图与捕获的信息的混合来创建用于交流想法的内容；以及浏览模式，其中，受众可以浏览该想法。可以将用户创建的某些或所有素材存储在单个综合文件、项目文件夹或者这二者的组合中，然后，可以将其通过网络（包括通过文件共享）或者其他渠道传送给受众。然后，受众可以打开该项目例如以便以浏览模式进行查看。

要捕获的示例性的背景信息

有效地交流想法的一种示例性的实施方式是捕获要连同该想法的草图一起发送的背景信息。例如，在面对面交流中有用但是在当前异步渠道中不存在的某些种类的背景信息可以包括：多模式备注、真实世界的参考、思考过程和逻辑顺序以及交流背景。下面对每一个进行讨论。

多模式备注

面对面交流的属性之一在于交流本质上是多模式的。这意味着，虽然设计想法的交流可以围绕草图进行，然而，这样的静态表示经常可以被口头说明、符号化的肢体动作、动态示范等其他交流模式不断地补充。这些自由形式的补充可以提供附加信息用于帮助受众理解草图本身传达的信息之外的内容。多模式备注可以包括多模式信息，该多模式信息可以包括文本、图像、视频、音频、有声视频、图形、触摸、触觉、嗅觉或运动中的一种、两种或更多种元素。

真实世界参考

一种用于便利早期设计交流（尤其在说明具体人工制品时）的常用方式是参考周围环境中的物理对象。这样的真实世界参考可以用于容易且生动地说明很多属性，这些属性可能难以通过抽象的草图或语音来描述，比如形状、颜色、尺寸、材料、声音或甚至气味。此外，设计者经常可以使用物理对象作为用于示范想法的机会性道具。

思考过程和逻辑顺序

通常，理解到达设计想法的思考过程可能与所得到的想法本身一样重要。由于思考过程使得受众不会被过度局限于单个设计想法的具体内容，以及使得受众能够更好地理解设计者的基本理论并在更高的概念水平上提供反馈，这在早期设计阶段可能尤其重要，在早期设计阶段，想法本身可能经常不完整，并且对重新定义是开放的。类似地，交流想法的呈现中的逻辑顺序可以帮助受众理解想法。由于早期草图经常是非正式的性质并且其进展是变化的，因此逻辑顺序可能不是很明显。通常，设计者可以通过面对面交流引导受众。

交流背景

交流会话本身的整个背景，如话题、时间、地点和参与者，可能不仅对于受众理解设计方案的较大图景有用，而且或许同等重要的是为他们对想法的记忆添加背景，使得他们能够更容易地回忆起来。这对于受众和设计者本身都同样有帮助。

上面并不意味着是在典型的面对面交流中可获得的所有背景信息的穷尽列表。可以想到，所公开的系统和方法可以提供要通过异步交流来合并和传递的附加背景信息。

示例性的异步交流设备

图1示出了异步交流设备100的示例性的实施方式，该异步交流设备100可以用于捕获和交流背景信息，比如上述背景信息。

异步交流设备100包括：内容获取装置，被配置为生成要被加背景的内容并将其显示在显示器上，要被加背景的内容包括由用户302创建的数字草图300；背景信息接收装置，被配置为接收向要被加背景的内容提供背景的背景信息；以及关联装置，被配置为将背景信息与要被加背景的内容相关联，背景信息包括多模式信息1900，多模式信息包括文本、图像、视频、音频、音视频或图形中的两种或者更多种元素。

在一个实施例中，背景信息包括从真实世界捕获的元素，元素包括形状；并且形状是通过所捕获的内容或者实时视频馈送从用户处接收的。

向用户提供了可以自由地缩放和移动的数字画布102。在某些实施方式中，数字画布102可以被认为实际上是无限的，仅受计算能力、平台的存储能力和用户要求的限制。界面按钮104a-g可以用于触发附加功能，并且可以沿着显示器或者屏幕106的边缘分布。附加地，或者替换地，界面按钮104a-g可以隐藏，然后显示。例如，在触摸屏实施方式中，用户202a-d可以从屏幕的外部边缘向着屏幕中央扫动或者刷过，使得界面按钮104c、d、f、界面104h和/或界面104i出现和/或看起来是被拖拽至如图2a-b中所示的位置。附加地或者替换地，用户可以将鼠标光标移动至界面按钮104c、d、f、界面104h和/或界面104i的区域中或者移动至显示器的边缘，以使得各个界面按钮和/或界面出现和/或变为可见。可以使用笔、一根或更多根手指、触针、鼠标、控制杆、轨迹球和其它合适的输入设备或方法来操作界面按钮104a-g。例如，如图2c所示，用户可以在与界面按钮104a对应的位置110a处使用手指108a触摸屏幕106，并且沿方向112a将手指108a拖拽至位置210a以显示另外的界面按钮204a。类似地，仍然如图2c所示，可以将在与界面按钮104b对应的位置110b处的手指108b沿着方向112b移动至位置210b以显示另外的界面按钮204b。

图3示出了显示有示例性的控制选项和内容的图1的异步交流设备的视图。用户可以用针对界面按钮104a-g的操作讨论的输入设备和方法中的任意一个来在数字画布102上创建手绘草图300。例如，用户可以用笔302创建草图300。可以用各种笔画颜色和宽度得到草图300。可以擦去和/或重新绘制某些或全部草图。可以通过各个界面按钮104a-g的选择来调用期望的功能。例如，界面按钮104c1-7可以提供进行草图绘制、选择项目、选择颜色、选择线浓度、对颜色采样、对纹理采样和擦除的选项。例如，可以通过选择相关联的界面按钮104c1-7来使用这些功能，在这之后，用户可以根据需要进行绘制、擦除、采样、选择和/或捕获。此外，用户还可以通过选择界面按钮104c8来向画布102中插入文本框，采用文本框，用户可以使用物理键盘或软键盘，或者通过手写识别，来输入文本。捕获来自真实世界的媒体内容

一种示例性的实施方式提供了捕获来自真实世界的内容。本文中所使用的术语“真实世界”可以包括用户所在的环境和周围环境。其还可以包括远离用户的环境，包括从用户的当前所在位置之外，到房间的外部，到大楼的下面，到世界的另一侧，或者到距离用户无限远处。可以使用多个输入设备来捕获来自真实世界的内容，例如，数字照相机、数字扫描仪、麦克风、鼠标、触摸板、数字笔和/或触摸屏。图4示出了如下示例性的系统，其中，异步交流设备400可以连接至输入设备，例如，数字照相机402、麦克风404、笔406、移动设备408和其它合适的输入设备。例如，移动设备可以包括任何类型的移动电话、个人数字助理（PDA）、书写板、计算设备。它们可以无线连接、通过有线连接，或者通过无线和有线的组合相连接。还可以通过触摸屏来传递对异步交流设备的输入，其中，在触摸屏上可以感测与笔406、用户肢体410、触针或者能够用于与触摸屏配合的其它合适的对象的接触。异步系统400还可以耦接至网络406，网络406可以耦接至服务器414、用户/受众/贡献者416和移动设备418。其中，这些连接或相关联的输入设备中的任意一个（但不限于此）都可以用于收集和捕获来自真实世界或其它源的内容。前述为说明性的概念的示例，而非表示所需和/或必要的元素。

一种实施方式提出了在具有笔和多点触摸输入两者并且连接至网络摄像机的计算设备上运行的软件应用程序。可以将用户创建的某些或所有素材存储在单个综合文件、项目文件夹或者这二者的组合中，然后，可以将其通过网络（包括通过文件共享）、电子邮件、即时消息或其它途径传送给受众。

在一种实施方式中，用户还可以捕获并且插入来自次要源的媒体内容（例如，图像、音频、文本和/或视频）。这些次要源可以包括但不限于本地数据源、能够通过网络访问的数据源，比如服务器、用户的计算机或存储设备、受众的计算机或存储设备、贡献者的计算机或存储设备。计算机或存储设备可以包括个人计算机（PC）、移动电话、个人音乐播放器、闪存驱动器或卡或者其它数字存储设备。例如，可以通过网络从移动设备收集内容。这可以使得用户能够在任何地方在任何时刻捕获真实世界内容，而不限于异步交流设备附近的内容。此外，用户可以打开异步系统内的嵌入式网络浏览器，并且捕获其内容的一部分作为快照。

例如，在图4的实施方式中，数字照相机402可以是网络摄像机，并且可以具有内置麦克风，以使得用户能够捕获真实世界的照片、音频剪辑或视频剪辑。数字照相机402可以用于获取图4所示的对象420的或者来自图4所示的对象420的图片、视频或录音。附加地或者替换地，手机、个人音乐播放器或其它电子设备具有可以用于捕获来自真实世界的内容并且将其传递给异步系统400的数字照相机。例如，移动设备408还可以获取对象420的图片或视频。该传递可以包括无线连接的使用，包括但不限于基于802.11的协议、蓝牙

蜂窝、红外线或射频传输。要捕获的内容可以作为视图窗口424中的数字画布422上显示的实时馈送来查看。图4还示出了视图窗口424的放大图。

图5示出了捕获来自真实世界的内容的界面的示例性的流程。异步系统100可以具有数字画布102，界面按钮104d在数字画布102上提供用于收集来自真实世界的内容的各种选项。例如，界面按钮104d1可以提供来自数字照相机的捕获，界面按钮104d2可以提供来自麦克风的捕获，界面按钮104d3可以提供来自启用了蓝牙

的设备的捕获，界面按钮104d4可以提供来自存储在设备上的文件或者通过网络进行的捕获，界面按钮104d5可以提供来自基于互联网的网站的捕获，或者，界面按钮104d6可以提供通过获取页面或页面的子部分的屏幕捕获的来自基于互联网的网站的捕获。

对内容的捕获的流程的示例可以是通过选择界面按钮104d1进行，这可以使得视图窗口424出现或者变为活动的。选择可以通过手指的触摸、笔、触针、鼠标、键盘选择或其它合适的方法进行。视图窗口424可以包括要捕获的内容的实时图像502，连同界面按钮504、506和508一起。如果在什么时间视图窗口424变成不活动的了，或者为了选择视图窗口424以相对于数字画布调整尺寸或者移动，则对界面按钮504的选择可以使得视图窗口424活动起来。对界面按钮506的选择可以使得产生静止的捕获窗口510。静止的捕获窗口510的内容可以基本上是在选择时的视图窗口424的内容的复制。例如，激活界面按钮506可以与在拍摄数字照片时按下数字照相机的快门按钮类似。捕获窗口510还可以包括界面按钮512、514和516。对界面按钮512的选择可以使得静止的捕获窗口510变为活动且可选的窗口。对界面按钮514的选择可以撤销在前的动作或修改。对界面按钮516的选择可以使得编辑特征变为活动的，例如裁剪。

图6示出了裁剪过程的说明性示例，为了简洁而没有示出数字画布。例如，在操作600处，捕获窗口510在界面按钮516被选中之后出现。该选择可以使得用户能够使用笔602、触针、手指或者其它合适的设备来指定裁剪边界604。操作606示出了捕获窗口510，其中，用户已经通过完成裁剪边界604创建了封闭的裁剪边界608。该完成可以使得在封闭的裁剪边界608以外的捕获窗口510的内容消失，如操作610处所示。如操作612处所示，然后，封闭的裁剪边界608可以消失，留下捕获的内容518的已裁剪的图像。

返回图5，接着，捕获的内容518可以出现在数字画布102上，并且可以使用例如单点触摸或多点触摸手指姿势（移动、旋转、缩放）来自由地操纵，以与手绘草图放置在一起。将内容拖拽到可以位于屏幕的右下角处的垃圾桶或者回收站104e中可以删除或者移除它。

类似于用于捕获静止图像的过程，也可以捕获视频。例如，可以选择界面按钮508，使得出现类似于捕获窗口510的捕获窗口，并且正录制与视图窗口502的内容对应的视频。

在视频录制完成之后，也可以裁剪视频。图7示出了裁剪过程的说明性示例，为了简洁而没有示出数字画布。例如，在操作700处，捕获窗口702在视频被录制之后出现。捕获窗口可以包括界面按钮704、706和708。用户可以选择界面按钮704以使得出现附加选项。例如，在操作710处，捕获窗口702可以显示使得能够访问附加功能的附加界面按钮712、714和716。此外，还可以显示界面控制件718，其包括沿着线724的两个标记720和722，并具有界面按钮728。对界面控制件718的使用可以向用户提供用于控制视频的开始、结束和长度的界面。例如，如果线724的长度表示视频录制的总长度，则用户可以将标记720沿着线724滑动至与用户想要开始播放视频的位置相关联的点。例如，如果用户想要在录制视频的开始处开始播放视频，则用户可以将标记720滑动至线724的最左端。类似地，如果用户想要在所录制的视频的大约一半处开始播放视频，则用户可以将标记720移动至线724的大约中间。类似地，通过将标记722沿着线724移动至相关联的位置，用户可以移动标记722来指定应当在什么时候停止播放视频。

此外，对界面按钮712的选择还可以提供视频的裁剪。例如，操作730示出了用户使用笔732指定裁剪边界734。操作736示出了捕获窗口702，其中，用户已经通过完成裁剪边界734创建了封闭的裁剪边界738。该完成可以使得捕获窗口702的在封闭的裁剪边界738的外部的内容消失，如操作740处所示。如操作741处所示，然后，封闭的裁剪边界738可以消失，留下捕获的内容744的已裁剪的视频。

此外，还可以在有或者没有视频的情况下捕获音频。例如，可以选择界面按钮104d2来启动音频捕获窗口800。音频捕获窗口可以包括各种界面按钮，包括：使得能够捕获音频的界面按钮802、804和806。对界面按钮802的选择可以使得音频捕获窗口800变成活动的。所显示的界面按钮可以根据音频捕获窗口800的状态和音频获取的阶段而改变。例如，用户可以选择界面按钮806，如操作808处所示。然后，如操作812处所示，可以开始对音频通道的录制，如界面按钮810的出现或者如界面按钮808的外观的变化所指示的。为了结束录制，用户可以选择界面按钮810，界面按钮810可以使得音频捕获窗口的外观改变，如操作814处所示，示出了界面按钮816取代或者改变界面按钮810的外观。选择界面按钮816可以使得播放录音，以使得用户能够浏览录音，其中，用户可以通过选择界面按钮820来暂停回放。此外，用户可能期望通过例如选择界面按钮822来编辑录音。图9示出了如下示例，其中，用户在操作900处选择音频捕获窗口800上示出的界面按钮822。这可以使得如操作902处所示音频捕获窗口800显示界面控制件904。界面控制件904可以包括沿着线910的两个标记906和908并具有界面按钮912。对界面控制件904的使用可以向用户提供用于控制录音的开始、结束和长度的界面。例如，如果线910的长度表示录音的总长度，则用户可以将标记906沿着线910滑动至与用户想要开始播放录音的位置相关联的点。例如，如果用户想要在录制开始处开始播放录音，则用户可以将标记906滑动至线910的最左端。类似地，如果用户想要在录音的大约一半处开始播放录音，则用户可以将标记906移动至线910的大约中间。类似地，通过将标记908沿着线910移动至相关联的位置，用户可以移动标记908来指定应当在什么时候结束播放录音。

因而，可以使用笔来将照片和视频剪辑二者裁剪成任意形状，以仅示出感兴趣的区域，并且，可以使用一对滑块或者标记来在时间上对音频和视频剪辑二者进行裁剪，以仅保留感兴趣的片段。然后，可以在适当的位置播放音频和视频剪辑。在捕获照片或者视频剪辑的情况下，可以在数字画布上显示实时屏幕上取景器，以便于取景。类似于所捕获的内容，也可以使用手指姿势或者其它用户输入来操纵取景器。这些捕获功能使得设计者能够容易地参考真实世界或者加入个人备注。

此外，用户可以打开异步系统中的嵌入式网络浏览器，并且捕获其内容的一部分作为快照。例如，用户可以选择如图1所示的界面按钮104d5以启动网络浏览会话。然后，用户可以选择界面按钮104d6来启动对所显示的网络浏览器内容的捕获和修改，这类似于参照图5和图6讨论的捕获和对所捕获的图像的修改

通常，面对面交流中的设计者在他们绘制草图的同时在口头上进行说明。这可以是多模式交流的示例。在一种实施方式中，在用户捕获音频或视频剪辑时，他或她可以选择界面按钮来链接剪辑与草图。这可以使得用户能够同时绘制草图，并且使草图笔画与剪辑录制在一起。

背景信息包括音频、视频或者音视频，内容获取装置还被配置为在背景信息被捕获的同时获取由用户产生的要被加背景的内容的至少一部分；以及以后与同时捕获的背景信息的呈现同步地呈现所生成的要被加背景的内容。

在一个实施例中，要被加背景的内容包括由用户绘制的草图；背景信息包括对用户口头描述草图的背景的录制；以及内容获取装置还被配置为对在与创建所述草图的时间顺序对应的过程的一段时间内显示的由所述用户绘制的所述草图的表示进行显示，所述一段时间与所述录制的长度对应。

该实施方式的一个示例可以如图10所示，图10示出了例如操作1000处的音频捕获窗口800。用户1002可以选择界面按钮804以将录音链接至在操作1004处创建的草图。在所图示的示例中，不需要在链接的同时绘制整个草图。相反，草图1006的预先存在的部分可以看起来已经被绘制，而可以仅链接由用户1002添加的各个部分。例如，如操作1010处所示，可以由用户1002添加附加线1008。在用户1002绘制线1008的同时，可以录制说话人1014的陈述1012。说话人1014可以与用户1002是同一个人，或者可以是不同的人。所录制的陈述1012可以是语音、声音效果、音乐或者用户可能期望捕获并链接至草图的任何其它声音。类似地，可以通过用户选择界面按钮104d1并且选择如图7所示的界面按钮706来录制和链接视频。

因而，在回放所录制的剪辑时，可以同步地重新绘制草图。例如，在被重放时，图10中所示的示例将使得附加线1008按照它们被绘制的顺序呈现，同时，所录制的声音朗诵“电话可以使用不同的铃声……”。这个简单的示例可以使得用户能够告知受众从手机发出不同的铃声。这可以使得用户和受众能够模拟面对面交互中使用的以上实践。

另一种实施方式可以使用户能够快速且高效地捕获真实世界对象的形状。例如，用户可以选择界面按钮104d1以使得视图窗口424出现或者变成活动的，如同参照图5关于静止图像或视频的捕获所讨论的。在此，用户可以选择界面按钮104c1并且使用手指、笔、触针、鼠标或者其它合适的输入设备，用户可以描出视图窗口424中示出的期望的特征。例如，图11示出了形状捕获过程的说明性示例，为了简洁而没有示出数字画布。例如，在操作1100处，视图窗口424在界面按钮104c1被选择之后出现。该选择可以使得用户能够使用笔1102或者其它输入设备来指定轮廓跟踪线1104。操作1106示出了视图窗口424，其中，用户通过完成轮廓跟踪线1104创建了封闭的轮廓跟踪线1108。接着，用户可以选择移动视图窗口使其远离封闭的轮廓跟踪线1108，如操作1110处所示。此外，用户可以决定移动封闭的轮廓跟踪线1108使其远离视图窗口424。用户还可以将封闭的轮廓跟踪线1108保持在视图窗口424上方以帮助使用工具，包括但不限于所捕获的元素的迭加、所观看的对象的测量、所观看的对象的形状或特征的比较，或者可以帮助背景信息的交流的其它用途。此外，用户可以如上所述捕获实时图像并且使用该图像代替视图窗口424。这可以使得用户能够在需要时更精确地描述某些对象或者只是对他的或她的手绘草图的技能进行补充。

从真实世界借用草图绘制元素

在一种实施方式中，用户可以对真实世界的属性进行采样以用于他的或她的异步交流中。例如，用户可能想要在他的或她的草图中使用来自真实世界的颜色或纹理。图12示出了该特征的示例性的实现。用户可以选择界面按钮104d1来激活视图窗口424。接着，用户可以选择界面按钮104c6来对纹理进行采样。接着，用户可以指定操作1202处示出的选择区域1200，从而对选择区域1200内的视图窗口424中的图像的纹理进行采样。附加地或者替换地，用户可以在屏幕上指定选择区域，包括数字画布102、视图窗口424或者其它可视项上的任意位置。可以通过任意合适的手段来指定选择区域1200，包括但不限于用笔、手指、触针或鼠标。选择区域1200可以采用各种形状，包括但不限于圆形、椭圆形、长方形、正方形、三角形、多边形和自由形式形状。还可以从所捕获的图像、视频或者其它能够以数字方式访问的源来对纹理进行采样。

接着，用户可以指定草图1206的一部分1204以添加所捕获的纹理1208，如操作1210处所示。例如，作为指定方式，用户可以使用纹理来自由地涂绘、填充区域和/或创建形状。在一种实施方式中，可以将所捕获的纹理1208的尺寸确定为基本上填充该部分1204。这可以包括放大或者缩小所捕获的纹理1208。这还可以意味着例如通过改变由选择区域限定的所捕获的纹理1208的高度和宽度之比来扭曲所捕获的纹理1208。另一种实施方式可以规定：将所捕获的纹理1208放大为足够大以用所捕获的纹理1208完全覆盖部分1204，并且对所捕获的纹理1208的在部分1204以外的区域进行裁剪。这种方法可能在部分1204采用自由形式的形状或与选择区域1200的形状显著不同的形状时有用。另一种实施方式可以规定：重复所捕获的纹理1208作为足以填充部分1204的图案。

为了对颜色进行采样，用户可以选择界面按钮104c5并且在屏幕上指定包括数字画布102、视图窗口424或者其它可视项上的任意位置的点。接着，用户可以指定草图的区域以用颜色填充，或者，用户可以绘制线或者形状，其中，这些线或者形状为所捕获的颜色。

多模式批注

通常，批注是手绘设计草图中的组成部分。设计者可以使用它们来交流与草图的具体组成有关的附加信息。可以用可视标记比如标号和气泡等来指示批注。由于具有能够捕获多模式内容的能力，所以，可以支持更丰富且更生动的批注。虽然可能可以将手绘标记与所捕获的媒体简单地组合以指示批注，例如，将音频剪辑放置在画布上的手绘标号气泡中，然而，这种解决方案在批注的数量增加时很可能会变得不可行和低效率。画布很可能会被批注占据，导致视觉混乱（由批注本身和标号标记二者引起）、用于原始草图的空间更小以及最终导致受众甚至设计者本身的混淆。这在纸质草图中是很常见的挑战，并且由于多模式批注比如照片或视频通常需要占用相当大的屏幕空间来显示以便被有效地查看，因此，该挑战在数字草图中可能被进一步加剧。

有各种实施方式可以提供可以被用户视为便捷、灵活、明确且可缩放的批注机制。在一种实施方式中，用户可以通过圈出感兴趣的区域或者在感兴趣的区域是单个点时将手指停留在屏幕上，使用单个手指来指示他或她想要批注的画布区域。用户还可以使用其它输入方法指示画布区域，其它输入方法包括但不限于使用笔、触针、鼠标、键盘、轨迹球、触摸板或者其它合适的动作。一种实施方式提供了当系统检测到触摸屏界面上的单个手指在数字画布中但是不在界面按钮之上时，默认批注功能可用。系统可以将该单个手指触摸识别为不同于用户的多点触摸，用户的多点触摸可以使得系统对数字画布上显示的特征进行缩小或放大、向左摇、向右摇、向上摇或向下摇或者移动或调整其尺寸。其它实施方式可以提供指定的界面，例如界面按钮，以启用批注功能。

图13-22示出了批注方案的说明性示例。图13示出了用户可以批注的草图1300的示例。图14示出了用户通过在区域周围移动他的或她的手指来限定路径1402，来指示要批注的范围或区域1400。此外，用户可以将他的或她的手指停留在某个位置处来指定要批注的点或者实际上较小的区域。

一旦系统检测到指示，则不管它是限定圆形或其它形状的路径的区域还是停留，批注图标1500都将在数字画布102上出现在手指附近并且跟随手指移动。接着，设计者可以将图标1500移动至他们希望批注出现的地方。移动可以是移动箭头1502提示的任何方向。可以显示参考线1504，以基本上标记用户的手指所采取的从完成限定路径1402的区域到批注图标1500的当前位置的路径。如图16所示，一旦用户释放了手指，则批注面板1600可以出现。批注面板1600可以是各种几何形状，包括但不限于长方形、正方形、圆形、椭圆形、梯形或者包括自由形式形状的其它几何形状。批注面板1600可以包括批注画布1602，批注画布1602的性能类似于所讨论的数字画布102。用户可以在批注画布1602上的面板1600中绘制草图或者通过将任何类型的内容如照片、音频或视频剪辑从数字画布102或者其它批注画布拖拽到批注画布1602中，来从数字画布102向批注画布1602添加内容。这还提供了在批注画布内嵌套批注画布的可能性。

批注面板1600可以通过线1604连接至被批注区域1400。线1604可以是曲线或者直线。线可以连接批注面板1600的与被批注区域1400相邻的角。线1604可以在被批注区域1400内的或者沿着被批注区域边界的任意点处连接至被批注区域1400。此外，线1604可以不是直接连接至被批注区域1400，而是可以在被批注区域1400的边界附近终止。此外，线1604可以具有指示标记，包括但不限于指向被批注区域1400的箭头。一种实施方式想到了线1604可以基本上在被批注区域1400的中心附近终止。可以用各种已知方式来计算和近似该中心。

可以用指示标记来显示或可视化被批注区域1400。一种实施方式提出了指示标记为半透明光环。半透明光环可以包括具有第一不透明度的边界和由边界限定的具有第二不透明度的范围。可以通过相对而言使第一不透明度比第二不透明度大或者比第二不透明度更不透明来建立光环效应。使用第二不透明度作为参考，光环的不透明度可以与光环的面积成反比。换言之，光环的透明度可以与光环的面积成比例。附加地或者替换地，第一不透明度和第二不透明度可以具有相同的不透明度，以使得不能够区分开边界与由边界限定的范围。此外，边界可以具有一致的不透明度，而不管其限定的范围如何，其可以是完全透明的，和/或其可以不显示。上述方法可以使得与较大的被批注区域相比，较小的被批注区域能够更突出地呈现，以使得在被批注区域嵌套或交叠的的情况下，每个被批注区域都能够容易地彼此区分开。有各种实施方式可以提供与光环周长有关的不透明度。有各种实施方式可以规定每个被批注区域在创建时被自动指定颜色代码。该颜色代码还可以由相关联的面板、光环和连接线来反映。

如图16所见，如移动箭头1606所示，可以通过由用户拖拽来将批注面板1600移动至数字画布上的任何位置。可以将批注面板1600调整为任何尺寸或形状。在一种实施方式中，可以通过触摸批注面板1600的右下部分并且沿着要调整大小的期望的方向移动触摸区域来调整批注面板1600的尺寸。例如，图17示出了用户触摸批注面板1600并且将形状变为替换的形状1700。

用户可以将批注面板设置为浮动或者固定的。可以使用手指或者其它合适的技术来自由移动浮动面板和调整其尺寸，而固定面板保持静止。浮动面板可以在用户布置多个批注或者想要避免遮挡数字画布上的内容时有用。固定批注面板可以适于其含义依赖于其相对于草图的位置的批注，例如长度标记。

一种实施方式提出了用户可以通过选择与批注面板相关联的图标来在浮动状态与固定状态之间切换。例如，用户可以选择如图17所示的浮动图标1702以将其切换至如图18所示的固定图标1800。固定图标1800可以向用户指示批注是固定的而非浮动的。为了将状态改回浮动，用户可以选择固定图标1800以将批注面板返回浮动图标1702指示的浮动状态。

图19示出了添加至批注画布1602的内容1900的说明性示例。图20示出了附加批注的说明性示例。例如，被批注区域2000可以代表用户通过将手指停留在该区域处来指示的点或小的区域。被批注区域2000与批注画布2002相关联。批注画布2002示出了与批注相关联并且与被批注区域2000相关联的录音2006和草图2004。批注画布2008还示出了与批注相关联的视频2010。这些批注可以向之后查看该创建的受众提供有用的背景

各种实施方式提供了可以通过例如轻击相应的被批注区域指示标记来单独隐藏或显示每个批注面板。例如，图21示出用户轻击了与被批注区域2000对应的指示标记2100，使得批注面板变为隐藏。指示标记2100可以在任何情况下都保持可见，作为已有的批注的指示。这可以使得能够仅示出用户当前感兴趣的批注，并且可以避免视觉混乱。

用户还可以同时隐藏或者显示所有批注，以使得用户可以选择仅查看画布上的内容或者总览所有批注。例如，用户可以选择界面按钮104f3以使得所有批注面板和批注指示标记变为隐藏。图22示出了示例。用户可以选择界面按钮104f4以使得所有批注面板和批注指示标记变为可见。例如，这可以生成与图20所示的视图对应的视图。用户可以通过将批注拖拽到垃圾桶或者回收站104e中来移除批注，以删除批注。

以下叙述给出了用户组合数字画布上和批注中的示例性的多模式内容以描述用户的想法的示例。作为非限制性示例，在有关的括号中注出了示例性的的图面。

用户想要交流她的关于移动电话设计的想法。她绘制电话的基本形状的草图（图3），并且捕获要被放置在电话屏幕中的她的脸的照片以表示视频电话。她使用纹理采样器（图12）来从她的桌面上选择木质纹理并且用它来涂绘电话的底部以示出木质外壳。在电话附近的声波图标周围，她添加音频批注，以录制对桌子的敲击作为铃声（图8和20）。她在电话上的充电口周围添加另外的批注（图14-18），这次，通过组合草图和裁剪的芒果照片以示出使用水果电池对电话充电的想法（图19）。最后，她在整个电话周围添加批注，批注包括示范她的手握住真正的移动电话并且使用不同的姿势接通和挂断电话的视频，连同她的口头说明一起（图5和20）。

创意过程的示例性的捕获

设计者在面对面交谈中交流想法所经历的过程通常向受众提供对想法的发展和设计者的思维过程的洞察，这提供了该想法的附加背景。各种实施方式提出了捕获用户创建用户的草图和批注的过程。

根据本申请的一个实施例中，所述异步交流设备还包括显示控制装置，被配置为按照时间表配置来显示要被加背景的内容和相关联的背景信息，其中，用户能够根据执行为生成所述内容和所述相关联的背景信息而执行步骤的顺序，来按照时间顺序或逆时间顺序在所述步骤中循环，所述步骤至少包括显示步骤、捕获步骤和关联步骤。

具体地，一种实施方式提出了记录用户的交互历史的时间表，包括但不限于绘制草图、添加批注、捕获内容、移除内容、擦除草图标记和画布操纵。这可以使得受众能够回顾用户如何到达最终配置和画面的过程。所捕获的历史的长度可以是整个项目的创建、创建会话或者其子部分。可以从图1所示的数字画布102通过界面按钮104g访问时间表。图23示出了数字画布2300和控制界面2302的说明性示例。控制界面2302可以包括一系列画布略图2304a-j，每一个画布略图表示相应时间处数字画布的状态。控制界面2302还可以包括滑动条2306，滑动条2306可以使得用户能够在所显示的画布略图2304a-j之间循环。该界面可以使得用户能够访问所记录的交互历史的不同时间段。通过选择画布略图2304a-j中的一个，用户可以使得数字画布2300的内容反映所记录的交互历史的相应时间处的数字画布的内容。控制界面2302还可以包括方向控制2308。方向控制2308可以使得用户能够以各种速度前向或后向地重放所记录的交互历史。控制界面2302还可以包括时间表标记2310，时间表标记2310可以指示数字画布2300的当前显示状态相对于所记录的交互历史的位置。用户可以选择时间表标记2310，并且沿着其路径将其拖拽至期望的位置，以到达所记录的交互历史中的期望点。

各种实施方式包括用户从受众视角以及从用户视角与时间表交互。例如，用户可以开始从时间表中的特定点创建新的素材。一种实施方式提供了要从该时间表点向前覆盖历史，而其它实施方式提供了保存不同的时间表以使得能够捕获想法的分支的能力。例如，用户可以开始沿着一条设计路径向下进行并且改变他的或她的思维。附加地或者替换地，用户可能想要捕获替换设计。不同设计路径的进展的捕获可以向异步受众提供有用的背景信息。

根据本发明的一个方面，所述异步交流设备还包括：指示接收装置，被配置为接收指示，所述指示指出数字画布上的内容的要被批注的一部分；指示标记生成装置，被配置为响应于所述指示生成指示内容的所述要被批注的一部分的指示标记，并将其显示在所述数字画布上；批注画布链接及显示装置，被配置为将批注画布链接至所述指示标记，并显示链接至所述指示标记的所述批注画布，其中，所述批注画布被配置成显示多模式信息，所述指示标记包括边界，所述边界限定被批注区域，所述被批注区域具有一定不透明度，其中，所述不透明度与所述被批注区域的尺寸成反比。

逻辑顺序的示例性的捕获和指示

早期设计交流的性质可能使得由设计者生成的交流素材显得比较没有计划和条理。这在设计者没有与受众面对面以方便逻辑进展的交流时被加剧。

一种实施方式向用户提供了在创建素材之后指示逻辑顺序的能力。例如，用户可以创建强调数字画布上显示的内容的某些区域的逻辑进展指示或者“步骤标记”。图24-30示出了说明性示例。图24示出了具有界面按钮2402a-d的逻辑进展指示菜单2400。用户可以选择界面按钮2402a来向草图2404添加逻辑进展指示标记。

接着，用户可以指示期望的区域。例如，如图25所示，用户可以用手指圈出区域2500。应当理解，在此处能够等同地使用在别处描述的其它形式的指示。可以通过步骤标记2502在逻辑进展指示菜单2400中对逻辑进展指示标记进行注释。例如，第一步骤2504可以被指示为对应于所指示的区域2500。步骤标记2502可以包括表示数字画布的区域，例如，缩略视图，其中，被指示区域2500的近似位置、形状和相对尺寸如同其在数字画布102上呈现的那样。附加地或者替换地，步骤标记2502还可以包括表示数字画布的区域，例如，缩略视图，该区域具有画布的近似内容，画布的与被指示区域2500相关联的内容，或者其组合。图26示出了用户指定被指示区域2600，使得第二步骤2602出现在逻辑进展指示菜单2400中。图27示出了用户指定被指示区域2700，使得第三步骤2702出现在逻辑进展指示菜单2400中。各种实施方式提出了按照所创建的指示逻辑顺序的顺序来列出各步骤。各种实施方式提出了使得用户能够在步骤被创建之后对各步骤进行重新排序。

在各步骤完成之后，用户或者受众可以查看每个步骤。例如，用户可以选择界面按钮2402c和d来按照图29中所示的列出的顺序在每个步骤之间步进和/或循环。如图30所示，用户可以通过选择逻辑进展指示菜单2400中的相关联的步骤标记2502来直接查看每个被指示区域。因而，可以将被指示区域按所提示的逻辑进展予以呈现。此外，用户可以随意地按用户自己的优选进展在步骤之间步进、选择和/或循环或者查看任意部分、区域和/或范围，和/或这三者的任意组合。

步骤标记可以向受众提供便捷的建议查看路径，以引导和增强理解，同时并不将受众约束至受限的交互过程。

以下叙述给出了用户利用逻辑进展指示来说明用户的想法的示例。在有关的括号中注出了辅助说明的图面，作为非限制性示例。

用户想要交流他的关于移动电话设计的想法。他绘制电话的基本形状的草图（图3）。在电源输入区域周围，他指出电话应当插入到电源（图25）。他在键盘周围指出软件程序可以由关键笔画的组合来激活（图26）。在电话附近的声波图标周围，他指出电话铃声可以对应于电源的类型（图27）。例如，水果电池可以产生不同于锂离子电池的铃声，以警示电话用户他们可以通过电话交谈多长时间。

捕获交流背景

一种实施方式提出了用于帮助用户捕获和传达交流会话的整个背景的建议功能。例如，用户可以打开交流背景画面，其可以包括建议要包括的各种区域。例如，可以建议四个区域：话题、人物、时间和位置。每个区域中可以包括空白画布，并且，用户可以用草图和捕获的内容的组合来填充空白画布，以便以灵活生动的方式来传达相关联的交流背景。图31示出了交流背景屏幕3100的示例，交流背景屏幕3100包括四个建议的信息面板3102-3108。对信息面板的选择可以使得该信息面板能够放大并且提供数字画布，用户可以在数字画布上添加内容。例如，信息面板3200可以具有标签3203，例如“话题”，如图32所示。信息面板3200可以提供画布3204，用户可以在画布上添加内容。能够用来添加的内容可以与已讨论的能够用来添加至其它画布的所有内容相同、相似或者为其子集。例如，图32示出了具有交互按钮3206的画布3204。可以呈现捕获工具的子集，以帮助用户专注于以高效的方式来捕获内容，这样是有益的。此外，可以显示标题或文件名称。例如，图32示出了标题3208。

如图31所示的交流背景屏幕3100和例如图32所示的单个话题屏幕也可以包括界面按钮3210a-f，以使得用户能够在不同屏幕之间导航。例如，用户可以通过选择界面按钮3210a跳至“话题”屏幕，通过选择界面按钮3210b跳至“人物”屏幕，通过选择界面按钮3210c跳至“时间”屏幕，通过选择界面按钮3210d跳至“位置”屏幕，通过选择界面按钮3210e跳至交流背景屏幕，或者通过选择界面按钮3210f返回之前的屏幕。

浏览模式

各种实施方式提出了使得受众能够浏览所创建的素材。在一种实施方式中，受众限于查看和探索所创建的素材而没有添加素材的能力。

例如，浏览模式可以是应用程序的只读模式。其可以包括与创建模式中一样的所有查看、导航和重放功能，但是不允许添加或修改内容。这可以使得受众能够浏览由用户创建的交流素材以理解所表达的想法。

一种实施方式提出了允许用户添加有限量的素材。例如，可以允许受众通过添加内容来提供反馈。所允许的内容可以与所讨论的在创建时可以添加的内容为相同类型，或者是其精简的子集。一种实施方式提出了允许用户具有全部的创建和移除内容的能力。这种实施方式可以允许受众成员在用户所交流的创意的基础上继续构建。

可以将由用户创建的某些或所有素材存储在单个综合文件、项目文件夹或者这二者的组合中，然后，可以通过网络（包括通过文件共享）、电子邮件、即时消息或者其它途径将其传递给受众。然后，受众可以打开该项目以便以例如浏览模式进行查看。

示例性的处理

为了易于理解，将本公开中讨论的处理描绘为用独立的块表示的单独操作。然而，不应当将这些单独描绘的操作理解为一定是依赖于它们的执行的顺序。对处理进行描述的顺序并非意在被理解为限制，而是可以按任意顺序对所描述的处理块中的任意多个块进行组合以实现所述处理或替换的处理。而且，还可以修改或省略所提供的操作中的一个或更多个操作。

处理被图解为逻辑流程图中的一组块，逻辑流程图表示可以用硬件、软件或者硬件和软件的组合来实现的一系列操作。为了讨论的目的，参照图1-32和37所示的系统来对处理进行描述。然而，可以使用不同的架构和设备来执行这些处理。

图33示出了通过背景信息的使用实现异步交流的过程3300的流程图。在3302处，在数字画布上显示要被加背景的内容。要被加背景的内容可以是由用户创建的数字草图。草图可以由用户在捕获背景信息的同一会话内创建。草图可以由用户或者其他人在不同时间或地点创建。草图可以绘制在纸上然后被扫描输入。要被加背景的内容可以包括形状、图像或用户试图向其添加背景的其它内容的汇编。

在3304处，捕获背景信息，以向要被加背景的内容提供背景。背景信息可以说明或传达时间、地点、环境、参与人、目的、话题、示例或者类似想法的示例等，以及可能对交流有用的其他种类的信息。背景信息可以包括图像、视频、录音、文本、动画、颜色、纹理、形状或者草图。可以组合各种元素以使背景信息包括多模式批注。例如，多模式批注可以包括音频和可视元素。

背景信息的捕获可以包括来自用户的周围环境或者远离用户的环境的背景信息的捕获。在任一种情况下，都可以通过有线或者无线连接将背景信息提供给用户。捕获可以通过手机、数字照相机、麦克风、鼠标、触摸板、数字笔、数字扫描仪、触摸屏或者其它合适的方法进行。

背景信息可以包括从真实世界捕获的颜色、纹理或者形状。捕获可以包括对实时视频馈送进行采样以获得颜色或者纹理，或者使得用户能够追踪实时视频馈送。还可以对静态图像或者其它源进行采样或者跟踪，以捕获期望的特征。

背景信息可以包括对用户口头描述草图的背景的录制。这可以与之后可能向受众呈现由用户绘制并且在如下步骤中的一段时间内显示的草图图像的能力相结合。在此，所述步骤对应于创建草图的时间顺序，时间对应于录制的长度。例如，用户可以绘制火柴棍（stick）人的草图并且在用户绘图时描述火柴棍人的每个小棍儿。接着，用户或者受众可以回放用户描述每个火柴棍儿的录制，同时，显示器与录制同步地示出正被绘制或者正在出现的每个小棍儿或者其一部分。

在3306处，使背景信息与要被加背景的内容相关联。关联可以是批注的形式。批注可以包括草图、视频、图像和/或录音。通过结合多于一种类型、风格或形式的背景信息，批注可以是多模式的。

还可以通过连同背景信息一起同时产生要被加背景的内容来将背景信息与要被加背景的内容相关联。例如，背景信息可以包括音频、视频或者音视频录制。可以在用户生成要被加背景的内容的至少一部分的同时捕获背景信息。例如，用户可以绘制草图，并且在视频中录下通过描述草图、草图的整体设置等来为草图提供背景的他或者她自己。各种实施方式提出了以后与同时捕获的背景信息的呈现同步地呈现多个创建步骤中所生成的要被加背景的内容的能力。例如，可以重放所捕获的用户为草图提供背景的视频，同时在视频播放时绘制草图的表示。

在3308处，以交互格式外观所捕获的背景信息的历史和所进行的与要被加背景的内容的关联。一种实施方式提出了按照时间表配置来显示要被加背景并捕获的内容以及相关联的背景信息，其中，用户能够根据至少显示步骤、捕获步骤和关联步骤执行的顺序来按照时间顺序和逆时间顺序在至少显示步骤、捕获步骤和关联步骤之间循环。

图34示出了通过批注的使用进行异步交流的过程3400的流程图。在3402处，接收指示。指示指出要在数字画布上批注的内容的一部分。如自始至终所注意到的，所接收的指示可以来自用户用他的或她的手指、触针、笔、鼠标或者其它合适的输入源对触摸屏进行的触摸。在一种实施方式中，所述指示可以限于某些输入设备。例如，输入可以区分手指和笔或者其它设备，以使得如果感测到手指的触摸，则接收指示，否则，如果感测到笔的触摸，则不接收用于这些目的的指示。然而，仍然可以使用笔来触发不同的功能。

所述指示可以包括用户在内容的某个部分上的停留。这可以使得所述指示与内容上的点或者小区域相关联。所述指示可以包括用户在内容的要被批注的部分周围描画用户定义的边界，以指示内容的要被批注的部分。该指示可以具有各种形状以及尺寸。

在3404处，在数字画布上显示指示标记，以指示内容的要被批注的部分。该显示可以响应于在3402处的指示进行。指示标记可以包括限定或者指示被批注区域的边界。边界可以具有第一不透明度，而被批注区域具有第二不透明度。在各种实施方式中，第一不透明度和第二不透明度与被批注区域的尺寸成反比。此外，第一不透明度和第二不透明度可以与边界的长度成反比。此外，第一不透明度可以大于第二不透明度。这可以使得指示标记看起来为光环。

在3406处，将批注画布链接至指示标记。链接可以通过引用或者其它关联来实现。

在3408处，将批注画布显示为链接至指示标记。批注画布可以初始显示为不重叠或者不覆盖所指示的内容的要被批注的部分。可以将批注画布配置成相对于指示标记能够移动或者固定。批注画布可以包括多模式信息。在整个公开文件中讨论的多模式信息的类型和添加多模式信息的途径可用于向批注画布添加内容。

图35示出了通过使用所建议的顺序指示进行异步交流的过程3500的流程图。在3502处，接收指示。该指示指出内容的要被加背景的第一部分和任何相关联的批注。

在3504处，显示第一指示标记，以指示内容的要被加背景的部分和任何相关联的批注。该显示可以是对在3502处接收到的指示的响应。

在3506处，接收指示。该指示指出内容的要被加背景的第二部分和任何相关联的批注。

在3508处，显示第二指示标记，以指示要内容的被加背景的部分和任何相关联的批注。该显示可以对在3506处接收到的指示的响应。

在3510处，接收对顺序的指示。该指示包括第一部分和第二部分应当被显示的顺序。该顺序可以是对查看或者检查所指示的内容的逻辑顺序的建议。

在3512处，根据在3510处指示的顺序来呈现第一指示标记和第二指示标记。该显示可以是对所指示的顺序的响应。例如，将显示第一指示标记，然后，将显示第二指示标记。还可以响应于所指示的顺序隐藏第一指示标记或者第二指示标记。可以同时显示或者隐藏这两个指示标记。指示标记的数量可以大于或小于两个。

图36示出了通过使用查看请求进行异步交流的过程3600的流程图。在3602处，接收输入。该输入表明查看某个区域的请求。该区域可以包括内容的一部分和相关联的背景信息。例如，内容可以包括数字草图。背景信息可以包括多模式信息。多模式信息可以包括文本、图像、视频、音频、音视频或者图形中的两个或更多个元素。查看请求可以来自受众。受众可能希望查看由创建者创建的项目。项目可以包括内容和相关联的背景信息。

所述输入还可以包括按照时间表配置来查看某个区域的请求。时间表配置可以包括按照时间表配置来呈现内容和相关联的背景信息。在该配置中，用户可以根据为生成内容和相关联的背景信息而执行至少显示步骤、捕获步骤和关联步骤的顺序，来按照时间顺序和逆时间顺序在至少显示步骤、捕获步骤和关联步骤之间循环。

附加地或者替换地，所述输入还可以包括对根据建议的顺序来查看某个区域的请求。建议的顺序可以包括与接收第一指示标记和第二指示标记应当被呈现的顺序的指示对应的顺序。例如，第一指示标记可以与内容的第一部分和相关联的背景信息对应，第二指示标记可以与内容的第二部分和相关联的背景信息对应。包含有该内容和相关联的背景信息的项目的创建者可以通过指示来建议受众在查看内容的第一部分和相关联的背景信息之后查看内容的第二部分和相关联的背景信息。

在3604处，呈现内容的一部分和相关联的背景信息。呈现可以是对3602处的输入的响应并按照该输入来进行。

示例性的计算设备

图37示出了根据各种实施方式的可以实现本文中描述的异步交流的代表性计算设备3700。可以通过计算设备3700的多个实例以及通过任意其它计算设备、系统和/或环境来实现本文中描述的技术和机制。图37所示的计算设备3700仅是计算设备的一个示例，而不意在暗示对用于执行上述处理和/或过程的任何计算设备的用途或者功能范围的任何限制。

在至少一种配置中，计算设备3700包括至少一个处理器3702和系统存储器3704。一个或更多个处理器3702可以运行一个或更多个模块和/或过程以使得计算设备3700执行各种功能。在某些实施方式中，一个或更多个处理器3702可以包括中央处理器（CPU）、图形处理单元（GPU）、CPU和GPU两者、或者本领域已知的其它处理单元或部件。此外，每个处理器3702可以拥有它自己的本地存储器，本地存储器也可以存储程序模块、程序数据和/或一个或更多个操作系统。

取决于计算设备3700的确切配置和类型，系统存储器3704可以是易失性的（比如RAM）、非易失性的（比如ROM、闪存、小型硬盘驱动器、或存储卡等）或者是其组合。系统存储器3704可以包括操作系统3706、一个或更多个程序模块3708，并且可以包括程序数据3710。计算设备3700具有用虚线3712划分的非常基本的示例性的配置。此外，终端可以具有更少的部件，但是可以与可以具有这样的基本配置的计算设备交互。

计算设备3700可以具有附加特征和/或功能。例如，计算设备3700还可以包括附加数据存储设备（可移除和/或不可移除的），比如磁盘、光盘或者磁带。这样的附加存储器在图37中示出为可移除存储器3714和不可移除存储器3716。

存储设备和任何相关联的计算机可读介质可以提供对计算机可读指令、数据结构、程序模块和其它数据的存储。计算机可读介质包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。

计算机存储介质包括在用于比如计算机可读指令、数据结构、程序模块或其它数据等信息的存储的任何方法或者技术中实现的易失性和非易失性、可移除和不可移除介质。

计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或者其它记忆体技术，CD-ROM、数字通用盘（DVD）或者其它光存储器，磁带盒、磁带盘、磁盘存储器或者其它磁性存储设备，或者可以用于存储由计算设备访问的信息的任何其它非传输介质。

相反，通信介质可以将计算机可读指令、数据结构、程序模块或者其它数据包含在调制数据信号比如载波或其它传输机制中。如本文中限定的，计算机存储介质不包括通信介质。

此外，计算机可读介质可以包括在由一个或更多个处理器3702运行时执行本文中描述的各种功能和/或操作的计算机可执行指令。

计算设备3700还可以具有一个或更多个输入设备3718，比如键盘、鼠标、笔、语音输入设备、触摸输入设备等。还可以包括一个或更多个输出设备3720，比如显示器、扬声器、打印机等。

计算设备3700还可以包含通信连接3722，通信连接3722使得设备能够例如通过网络与其它计算设备3724通信。作为示例而非限制，通信介质和通信连接包括有线介质和无线介质，有线介质比如有有线网络或者直接有线连接，无线介质比如有声音、射频（RF）、红外和其它无线介质。通信连接3722是通信介质的某些示例。通信介质通常可以用计算机可读指令、数据结构、程序模块等来实现。

所示出的计算设备3700仅是适当的设备的一个示例，并不意在暗示对所描述的各种实施方式的用途或功能的范围的任何限制。可以适于与实施方式一起使用的其它已知的计算设备、系统、环境和/或配置包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、游戏控制台、可编程消费电子设备、网络PC、小型计算机、大型计算机、包括任意以上系统或设备的分布式计算环境、以及/或者使用现场可编程门阵列（“FPGA”）和专用集成电路（“ASIC”）的实现等。

单个计算设备上的共享资源计算环境的实现和管理可以使得多个计算机用户能够同时合作相同的计算任务或者共享相同的计算经验，而不依赖于连网硬件例如但不限于网络接口卡、集线器、路由器、服务器、桥接器、开关和通常与通过互联网实现的通信相关联的其它部件，并且不依赖于用于通过互联网实现的通信的软件应用和协议。

结论

上述主题可以用硬件、软件或者硬件和软件二者来实现。虽然已经用特定于结构特征和/或方法动作的语言对实现方式进行了描述，然而，应当理解，所附权利要求中限定的主题不一定限于上述具体特征或动作。相反，具体特征和动作仅作为便利异步交流的示例性实现方式的示例性形式而被公开。例如，方法动作不必按照本文中描述的顺序或组合来执行，而是可以按照一个或更多个动作的任意组合的方式来执行。

Claims (10)

1.一种使得用户能够捕获和交流关于内容的背景信息的异步交流设备，所述异步交流设备包括：

内容获取装置，被配置为生成要被加背景的内容并将其显示在显示器上，所述要被加背景的内容包括由用户（302）创建的数字草图（300）；

背景信息接收装置，被配置为接收向所述要被加背景的内容提供背景的背景信息；以及

关联装置，被配置为将所述背景信息与所述要被加背景的内容相关联，所述背景信息包括多模式信息（1900），所述多模式信息包括文本、图像、视频、音频、音视频或图形中的两种或者更多种元素。

2.根据权利要求1所述的异步交流设备，其中：

所述背景信息包括从真实世界捕获的元素，所述元素包括形状；以及

所述形状是通过所捕获的内容或者实时视频馈送从用户处接收的。

3.根据权利要求1所述的异步交流设备，还包括显示控制装置，被配置为按照时间表配置来显示要被加背景的内容和相关联的背景信息，其中，所述用户能够根据执行为生成所述内容和所述相关联的背景信息而执行步骤的顺序，来按照时间顺序或逆时间顺序在所述步骤中循环，所述步骤至少包括显示步骤、捕获步骤和关联步骤。

4.根据权利要求1所述的异步交流设备，其中，所述背景信息包括音频、视频或者音视频，所述内容获取装置还被配置为在所述背景信息被捕获的同时获取由用户产生的所述要被加背景的内容的至少一部分；以及以后与同时捕获的背景信息的呈现同步地呈现所生成的要被加背景的内容。

5.根据权利要求4所述的异步交流设备，其中：

所述要被加背景的内容包括由所述用户绘制的草图；

所述背景信息包括对所述用户口头描述所述草图的背景的录制；以及

所述内容获取装置还被配置为对在与创建所述草图的时间顺序对应的过程的一段时间内显示的由所述用户绘制的所述草图的表示进行显示，所述一段时间与所述录制的长度对应。

6.根据权利要求1所述的异步交流设备，还包括：

指示接收装置，被配置为接收指示，所述指示指出数字画布上的内容的要被批注的一部分；

指示标记生成装置，被配置为响应于所述指示生成指示内容的所述要被批注的一部分的指示标记，并将其显示在所述数字画布上；

批注画布链接及显示装置，被配置为将批注画布链接至所述指示标记，并显示链接至所述指示标记的所述批注画布，

其中，所述批注画布被配置成显示多模式信息，所述指示标记包括边界，所述边界限定被批注区域，所述被批注区域具有一定不透明度，其中，所述不透明度与所述被批注区域的尺寸成反比。

7.一种或者更多种存储计算机可执行指令的计算机可读存储介质（3714），所述计算机可执行指令在由处理器（3704）执行时配置所述处理器（3704）来执行各个动作，所述动作包括：

接收（3502）对内容的要被加背景的第一部分和相关联的批注（2500）的指示；

响应于对所述第一部分的所述指示，显示（3504）指示内容的所述要被加背景的部分和所述相关联的批注（2500）的第一指示标记；

接收（3506）对内容的要被加背景的第二部分和相关联的批注（2600）的指示；

响应于对所述第二部分的所述指示，显示（3508）指示内容的所述要被加背景的部分和所述相关联的批注（2600）的第二指示标记；

接收（3510）对所述第一部分和所述第二部分应当被显示的顺序（2402d）的指示；以及

响应于对所述顺序（2402d）的所述指示，根据所述顺序（2402d）呈现（3512）所述第一指示标记和所述第二指示标记。

8.一种异步交流方法，所述方法包括：

接收（3602）输入，该输入指示对查看区域（2100）的请求，所述区域（2100）包括内容的一部分（2000）和相关联的背景信息（2002），所述内容包括数字草图（1300），所述背景信息（2002）包括多模式信息（2004），所述多模式信息（2004）包括文本、图像、视频、音频、音视频或图形中的两种或者更多种元素；以及

响应于对所述请求的所述指示，呈现（3604）所述内容的一部分（2000）和所述相关联的背景信息（2002）。

9.根据权利要求8所述的方法，所述输入还包括对根据时间表配置查看区域的请求，所述时间表配置包括按照时间表配置来呈现内容和相关联的背景信息，其中，用户能够根据为生成所述内容和所述相关联的背景信息而执行步骤的顺序，来按照时间顺序或逆时间顺序在所述步骤中循环，所述步骤至少包括显示步骤、捕获步骤和关联。

10.根据权利要求8所述的方法，所述输入还包括对根据建议的顺序查看区域的请求，所述建议的顺序包括如下顺序：所述顺序与对第一指示标记和第二指示标记应当被呈现的顺序的指示的接收对应，所述第一指示标记与内容的第一部分和相关联的背景信息对应，所述第二指示标记与内容的第二部分和相关联的背景信息对应。

Images