CN105378599A - 交互式数字显示器 - Google Patents

Abstract

本描述涉及一种交互式数字显示器。一个例子包括显示设备，其被配置为：接收用户输入，以及识别相对于数据可视化内容的命令。该系统还包括图形用户界面，其被配置为呈现在显示设备上，其中图形用户界面允许用户经由用户命令来与数据可视化内容进行交互。

Description

交互式数字显示器

背景技术

人们通常会在白板上工作，他们可以在白板上与其他人进行合作，集体讨论(brainstorm)重要问题列表，并且草绘简单的图表。但是，如果讨论的主题涉及大量的数据，则很快有必要利用一些工具(例如，电子表格)中可用的计算能力。在数字显示器上使用笔、触摸或者笔和触摸的组合，极有可能引起与数据的新的和更自然的交互，在传统的白板或者在具有鼠标和键盘的典型桌面环境的情况下，这种交互是不可能的。本构思提供了用于在数字显示器上与数据可视化内容进行交互来进行数据组合、数据分析、数据通信和/或集体讨论想法的新颖方法。该方法可以应用于各种形式的交互式数字显示器，例如，启用笔(pen-enabled)和/或启用触摸(touch-enabled)的平板设备、笔记本、数字白板等等。

发明内容

本描述涉及一种交互式数字显示器。一个例子包括显示设备，其被配置为：从用户接收与相对于数据可视化内容的输入，并且自动地生成查看该数据的新方式。该系统还包括图形用户界面，其被配置为呈现在显示设备上，其中图形用户界面允许用户经由用户命令来与该图形用户界面进行交互。

上面所列出的例子旨在提供用于帮助读者的快速参考，而并非旨在限定本构思的保护范围。

附图说明

附图示出了本文档中所传达的构思的实现方式。通过结合附图来参照下面的描述，可以更容易地理解所示出的实现方式的特征。只要可行，在各个附图中使用类似的附图标记来指示类似的要素。在一些情况下，在附图标记之后使用括号来区分类似的要素。使用没有相关联的括号的附图标记通用于该要素。此外，各个附图标记最左侧的数字表达首次引入该附图标记的附图以及相相关联的讨论。

图1-图4共同示出了根据本构思的一些实现方式的一种示例性交互式体验场景。

图5-图8共同示出了根据本构思的一些实现方式的另一种示例性交互式体验场景。

图9-图41共同示出了根据本构思的一些实现方式的与交互式数字显示器的示例性交互。

图42-图46示出了根据本构思的一些实现方式的示例性交互数字显示系统。

图47-图49是根据本构思的一些实现方式的示例性交互式数字显示技术的流程图。

具体实施方式

概述

本描述涉及在数字显示器(例如，数字白板)上与数据可视化内容的交互。人们可以使用典型的会议室白板来随意地草绘想法和/或简单的图表。这种随意的白板草绘方法可以与计算机的计算能力组合，以提供对数据可视化内容的计算机辅助操作和分析。除了其它设备以外，还可以由数字显示器来提供与数据可视化内容的交互。因此，这些设备可以被认为是交互式数字显示器。任何设备都可以潜在地运行为交互式数字显示器，但这些概念更容易地应用于启用多种输入模态的设备，例如，启用笔和/或启用多触摸(multi-touch-enabled)的设备。

出于本讨论的目的，“交互式数字显示器”可以包括启用笔和启用多触摸的输入模态的屏幕。在其它实现方式中，交互式数字显示器可以包括启用各种单输入模态或多输入模态(例如，笔、触摸、多触摸、手势、视觉和/或语音)的设备。替代地或另外地，该设备可以包括自动完成(auto-complete)功能。交互式数字显示器可以被实现为同时地识别和接收来自单个或多个用户的输入。

交互式数字显示器可以同时显示多个数据可视化内容。这些多个数据可视化内容可以与简单的手势进行组合，从而产生新的数据可视化内容，该新的数据可视化内容表示对数据(例如，用户数据)的新组合。新的数据可视化内容可以保持与底层数据的完全功能连接，使得可以对底层数据进行访问或编辑。还可以将新的数据可视化内容进一步操作成另外的数据可视化内容。

一种交互式数字显示器例子在尺寸上可以类似于可以安装在会议室中的传统白板，使得成人可以触及交互式数字显示器的所有区域来直接与表面进行交互。但是，在其它实现方式中，交互式数字显示器可以更大或者更小(例如，平板设备或智能电话类型设备)。在其它实现方式中，演示者可以使用连接到投影系统的启用多触摸的设备，使得演示者能够在启用多触摸的设备上操作数据，同时其他人在另一个屏幕上观看经投影的数据可视化内容。例如，大型演示厅中的演示者所操作的数据可视化内容可以投影到足够大的屏幕上，使得站立的成人无法触及屏幕的所有区域来与物理屏幕进行直接交互。在另一个例子中，围绕会议室中的桌子就座的若干个同事可以查看安装在墙壁上的交互式数字显示器上的数据可视化内容。单独的工作人员可以从他们的座位经由各个平板设备或者其它形式因素来有助于数据可视化内容。

在一些实现方式中，交互式数字显示器可以使操作该交互式数字显示器上的数据的成本(例如，时间)最小化。例如，交互式数字显示器可以通过减少用于选择数据和配置图表的步骤，来帮助用户创建新的电子表格和/或图表。交互式数字显示器的形式自由本质可以使用户或用户组能够快速地草绘数据操作，尝试不同的选项，发现相关性和异常，和/或过滤和汇总数据。

场景示例

图1-图4共同示出了一种交互式体验场景100的示例性表现，其中交互式体验场景100包括交互式数字显示器(IDD)102。在该例子中，如图1中所示，用户104站在交互式数字显示器102的前面。在该情况下，交互式数字显示器包括屏幕106(例如，交互式表面)。在屏幕106上可以呈现图形用户界面(GUI)108(例如，显示区域、画布)。在一种实现方式中，GUI108可以有助于对两组数据进行组合。在该情况下，可以经由GUI来呈现两个数据可视化内容。在该例子中，数据可视化内容可以包括第一图片110(1)和第二图片110(2)。这里，第一图片通常是人物112的照片，而第二图片通常是风景114的照片。

如图1中所示，用户104利用她对应的左手和右手食指来触摸第一图片110(1)和第二图片110(2)附近的交互式数字显示器102的屏幕106的表面。如图2中所示，用户104可以在屏幕106上移动她的食指，将第一图片和第二图片拖拽到更加靠近在一起。如图3中所示，用户可以将第一图片和第二图片放置到彼此相邻。在该例子中，交互式数字显示器102可以显示第一图片和第二图片，使得它们在GUI108上看似彼此重叠。在一些实现方式中，当第一图片和第二图片重叠时，这两幅图片可以半透明地出现，使得一幅图片不会隐藏在另一幅图片的后面。由于绘图页的约束，在图2和图3中将用户描绘成利用头顶运动(该运动防止图片被图示中的用户身体遮蔽)来将第一图片和第二图片放置在一起。要注意的是，可以将图片一起放置在用户的视线水平处，或者相对于用户的某个其它方位。

在一种实现方式中，交互式数字显示器102可以将用户104的动作识别为特定的手势(例如，用户输入手势、双手用户手势)。在该情况下，用户同时对第一图片110(1)和第二图片110(2)的移动(该移动使它们彼此相邻)可以被识别为300处的“碰撞(bump)”手势。交互式数字显示器可以将碰撞手势300解释为用户希望对第一图片和第二图片进行组合。可以预期其它形式的用户输入，以指示希望组合两个数据可视化内容。例如，其它触摸手势、身体手势、视觉暗示或者口述命令可以与交互式数字显示器一起使用。在一种此类非触摸实现方式中，用户可以执行类似的手势而无需实际触摸交互式数字显示器(例如，用户可以利用她的左手来指向左侧图片以及利用她的右手来指向右侧图片，并且以碰撞动作来做出将她的双手放置在一起的动作)。交互式数字显示器可以以类似于上面所描述的触摸手势的方式来解释该手势。

在图4中所示出的例子中，交互式数字显示器102可以通过将第一图片110(1)和第二图片110(2)组合为第三数据可视化内容(例如，新图片400)，来自动地响应图3的碰撞手势300。交互式数字显示器102可以在GUI108上显示新图片400。新图片可以包含来自第一图片110(1)和第二图片110(2)的数据(如图1-图3中所示)。例如，新图片400示出了来自第一图片的人物112，并且还示出了来自第二图片的风景114。在该情况下，交互式数字显示器已经自动地设置人物112的大小，使得人物适当缩放地出现在风景114内。

总而言之，一些实现方式可以包括交互式数字显示器，该交互式数字显示器识别相对于数据可视化内容的用户输入。通过识别或解释用户输入，交互式数字显示器可以允许用户指示她希望对数据进行组合。交互式数字显示器可以确定该组合是否可能，以及如何实现该组合(下面相对于图15-图16来讨论该方面)，并且交互式数字显示器可以呈现组合的数据。换言之，响应于用户的简单手势，交互式数字显示器可以自动地对数据进行处理，并且生成和显示观看经处理的数据的新方式。

图5-图8共同示出了本构思的另一个例子。如图5中的该例子所示，交互式体验场景500包括交互式数字显示器(IDD)502。用户504站在交互式数字显示器502前面，其中交互式数字显示器502表现为数字白板。交互式数字显示器可以包括屏幕506。可以在屏幕506上呈现图形用户界面(GUI)508。在一种实现方式中，GUI508可以包括表现为图形510的两个数据可视化内容。在该情况下，第一图形510(1)表现为水平条形图512，而第二图形510(2)表现为垂直条形图514。

如图5中所示，在一些实现方式中，交互式数字显示器502可以具有一个或多个传感器516。在该例子中，传感器516包括用于捕获交互式数字显示器的前面区域的多个摄像头。在一些情况下，传感器可以表现为3-D摄像头(例如，品牌3-D传感器所采用的)。传感器可以捕获用户504的移动，这些移动可以被交互式数字显示器解释为用户输入。预期了其它类型的传感器和检测用户输入的方法。

用户504可以执行相对于GUI508的手势，如图5-图8中共同示出的。在该情况下，用户504以双手分离开始(图5)，其中用户在交互式数字显示器502后面几英尺远并且不触摸屏幕506。在一些实现方式中，用户可以执行运动来选择GUI中所显示的对象。例如，用户可以将她的手在图形510附近悬停，如518处所指示的。在一些情况下，GUI可以向用户提供关于她的手相对于GUI上所显示的对象的位置的反馈，以帮助引导用户的运动(例如，高亮显示用户的手下面的对象，以显示它们为被选定(没有示出))。

如图6中所示，交互式数字显示器502可以基于如传感器516所确定的悬停运动518(图5)而将图形510显示为已被选定。交互式数字显示器可以在GUI508中高亮显示620或者以其它方式指示对象被选定。在一些情况下，交互式数字显示器可以通过使对象在GUI508上半透明地出现(没有示出)，来将对象指示为已被选定。预期了用于在GUI上指示对象被选定的其它方式。一旦选定了图形510，用户504然后就可以通过使她的手臂朝向彼此移动，来移动被选定的图形510。用户可以通过传感器516的运行来完成该移动，使得用户不会触摸交互式数字显示器502的屏幕506的表面。以此方式，如图7中所示，用户可以将第一图形510(1)和第二图形510(2)放置在一起。

继续该例子，如图7中所示，用户504可以做出将第一图形510(1)和第二图形510(2)“碰撞”在一起的运动。用户可以通过移动她的手来执行碰撞运动，使得GUI508上的图形510看似移动到一起并且彼此接触。碰撞运动可以包括某种移动速度。交互式数字显示器502可以将该动作识别为700处的“碰撞”手势。交互式数字显示器可以将700处的碰撞手势解释为用户希望对第一图形和第二图形进行组合。

在图8中所示出的例子中，交互式数字显示器502可以通过将第一图形510(1)和第二图形510(2)组合为第三数据可视化内容(例如，散点图800)，来自动地响应图7的700处的碰撞手势。散点图可以是GUI508上所显示的来自第一图形和第二图形的组合数据的可视化内容。在该情况下，交互式数字显示器可以识别碰撞手势，并且作为响应，对用户希望组合的两个数据可视化内容底层的数据进行检查。在一种实现方式中，交互式数字显示器可以检查第一图形和第二图形所表示的数据集，并且确定用于对所选定的数据进行组合的逻辑方式(例如，在该情况下，通过根据组合的数据集来创建散点图)。

在图8中所示出的例子中，散点图800可以是交互式体验中的功能性数据可视化内容，从而允许用户504进一步组合、分离或者以其它方式操作数据。下面将相对于图9-图41来进一步描述这些操作。

图9-图41共同示出了包括交互式数字显示器(IDD)902的交互式体验场景900。简而言之，这些附图示出了通过本构思实现的一系列用户交互例子。用户904可以与交互式数字显示器902进行交互。交互式数字显示器902可以包括屏幕906，以及可以在屏幕906上呈现的图形用户界面(GUI)908。

如图9中所示，用户904可以使用基于草绘的自由形式的输入，来向交互式数字显示器902添加内容。在该例子中，交互式数字显示器902是启用笔的交互式数字显示器。基于草绘的输入可以具有手写笔划的形式，其中手写笔划代表图形表示的轴。图9示出了用于在交互式数字显示器上生成笔划的笔910。上面已经描述了其它输入方法。在该例子中，初始地，用户划出(草绘)垂直笔划912和交叉的水平笔划914(或者反之亦然)，图表识别器将它们的交叉识别为用于图表的x-y轴。要注意的是，交叉输入笔划的使用仅是用于表明图表或图形的一种技术。例如，另一种技术可以是对箭头应用刻度标记(ticmark)。根据需要，可以使用其它方法。

如图10中所示，用户904可以使用笔910沿着垂直笔划912书写“State(州)”作为轴标记1000(1)，并且沿着水平笔划914书写“graduationrate(毕业率)”作为另一个轴标记1000(2)。在其它例子中，沿着垂直笔划的轴标记可以沿着该线条垂直地书写。在一些实现方式中，一旦用户粗略地划出垂直笔划912和水平笔划914，交互式数字显示器902就可以自动地覆盖用于标记这些轴的输入区域(没有示出)。用户然后可以通过敲字、书写或口述命令来简单地向输入区域添加标记。交互式数字显示器还可以提供其它的图表选项(例如，颜色选项)和输入图表选项的其它方法。

一旦用户904标记了垂直笔划912和水平笔划914，交互式数字显示器902就可以促使条形图1100出现，如图11中所示。在该情况下，交互式数字显示器可以将垂直笔划912、水平笔划914以及轴标记识别为表明是图表的轴。交互式数字显示器可以自动地绘制机器生成的轴、标记以及其它适当的图表指示符，如图11中所示。例如，交互式数字显示器已经为图表添加了标题“GraduationRatebyState(按照州的毕业率)”(示出但没有标示)。替代地，可以捕获粗略的用户生成的笔划并呈现为具有手绘外观的图表。在该情况下，为了简单起见，在图10中的用户输入之后示出了具有标记的条形图。但是，在一些实现方式中，在用户绘制图9中所示出的垂直笔划和水平笔划之后，交互式数字显示器可以自动地绘制机器生成的轴。随后，用户可以添加轴标记，并且交互式数字显示器可以添加图表标题等等。

在一些实现方式中，交互式数字显示器902可以将州和毕业率轴标记1000(1)、1000(2)(参见图10)用作类别以搜索数据。交互式数字显示器902可以将在这些类别中发现的数据呈现为数据可视化内容，例如，图11中的条形图1100。在一些实现方式中，交互式数字显示器可以显示用于生成数据可视化内容的数据源(没有示出)。在其它实现方式中，交互式数字显示器可以向用户904提供针对数据源的选项。

交互式数字显示器902可以自动地确定用于对数据可视化内容进行格式化的逻辑方式。在图11中所示的例子中，数据按照水平条形长度、从上向下进行排序。条形图1100可以是结构化对象，而非仅仅是条形图的图像。例如，条形图1100可以包含作为对象自身单独可选的元素。以此方式，条形图可以是对底层数据的完全功能表示，从而允许许多形式的数据操作和分析。下面将相对于图32-图34来进一步讨论可选对象(selectableobject)的概念。

交互式数字显示器902上草绘的图表是可以添加到交互式体验场景900中的GUI908的内容一个例子。数据可视化内容的其它例子可以包括图形、表格、照片、计算机生成的图形对象、以及已经处理成数字图像的其它作品。其它实现方式中可以添加的内容的其它例子可以包括图像、视频、文本框、根据墨迹来记录形状的智能对象、列表、表格、时间轴、形状艺术(圆形、正方形、矩形等等)和/或便签等等。能够贡献内容的基本功能的另外例子包括集体讨论应用、研究和探索工具、时间/日历协调、活动规划器、产品/购物比较工具、数据探索工具、预算和分配等等。此外，在一些实现方式中，内容的添加可以限制于交互式数字显示器的可视显示表面。在其它配置中，可使用的显示区域可以包括在水平和/或垂直方向上可滚动和/或可缩放的画布(例如，可用的GUI可以比给定实例处能够查看的区域要大)。

另外，可以由用户904例如通过草绘来创建内容(图9-图11)，或者可以访问内容。例如，假定用户904具有他/她希望显示在在交互式数字显示器902上的预先存在的图表(没有示出)。可以将预先存在的图表存储在云中，例如存储在用户904的全局帐户中和/或个人设备中的一个设备上(例如，智能电话、平板设备或其它计算机)。交互式数字显示器902可以提供用于访问数据和/或数据可视化内容的功能，其中这些数据和/或数据可视化内容本地地存储在交互式数字显示器中，或者可通过网络获得。另外，可以以层来引入内容，其中不同层的内容提供或保留不同的内容属性。

返回到交互式体验场景900，图12示出了用户904对条形图1100进行操作。例如，用户可以使用触摸命令来访问图表选项。在该例子中，利用触摸指示符1200在附图中示出“触摸”，其中触摸指示符1200类似用户指尖下的星暴式(starburst)图案。使用用户904的左手食指，他可以触摸(示出但没有标示，以避免在绘图页上造成杂乱)交互式数字显示器902的屏幕906的表面。在一些实现方式中，用户可以触摸并保持(touchandhold)条形图(将他的食指保持停留在屏幕的表面上)，以揭示工具条1202。触摸并保持命令可以被称为“钉住(pin)操作”。工具条1202可以包含图标。例如，这些图标中的一个图标可以是复制图标1204。用户可以利用他的右手食指来触摸复制图标1204(如利用触摸指示符1200所示出的)，并将复制图标从工具条1202拖拽到GUI908中的空白空间，以指示他希望复制条形图1100。替代地，用户可以利用他的右手食指来轻击复制图标，以选择复制选项。预期了用于访问图表选项或功能的其它方法。例如，用户可以简单地轻击条形图来使工具条可用。在一些实现方式中，交互式数字显示器可以区分单触摸和多触摸。可以等同地对待多触摸，或者可以进行加权。例如，一些触摸类型可以承载比其它触摸类型更大的权重。

其它图标(在图12中示出但没有标示)可以包括用于以下各项的图标：垂直条形图、水平条形图、表格、线型图、散点图、饼图、地图和/或过滤数据等等。可由交互式数字显示器提供的计算机辅助操作和分析的其它例子可以包括：选择其它图表类型、改变视图、排序、过滤、分离、应用函数(例如，平均值、标准偏差、最小值、最大值、统计)、调整轴的范围或刻度、调整大小、着色、进行标记、编辑、提取数据子集等等。这些操作可以应用于数据、数据可视化内容和/或数据可视化内容的一部分。

图13示出了图12中的例子中所创建的条形图1100和图表副本1300。如图13中所示，用户904改变图表副本1300的x轴标记1302。用户通过简单地在现有的轴标题上书写，来将x轴标记改变为“Fundingpercapita(人均资助)”。在一个例子中，当用户开始在GUI908上的原始轴标题上书写新标题时，原始轴标题会消失。在另一个例子中，原始轴标题可以保持可见，直到用户完成在其上书写新标题、并通过某种形式的输入来指示接受或输入该新标题为止。在其它实现方式中，用户可以访问针对轴标题的文本输入框(例如，通过在屏幕上的标题上轻击)。在图13中所示的例子中，交互式数字显示器识别新的x轴标记，并且利用标题为“FundingperCapitabyState(按照州的人均资助)”的新图表1400来替换图表副本1300，如图14中所示。在该情况下，响应于用户输入“人均资助”作为新的x轴标记，交互式数字显示器902自动地发起针对相关数据的搜索，并且生成新图表1400作为新的数据可视化内容(其表示新发现的相关数据)。

在图14中，用户904通过利用他的左手来触摸并保持新图表1400，从而揭示工具条1202，来访问新图表的工具条。利用他的右手，用户可以在垂直条形图表图标1402处或者其附近触摸屏幕906，以改变图表类型。例如，触摸垂直条形图表图标可以使得“州”和“人均资助”类别切换轴，从而产生垂直条形图1500(图15)。其它图表操作选项可以是可用的，例如，改变轴的刻度等等。

交互式数字显示器902可以用于对数据可视化内容的计算机辅助操作和分析。例如，用户可能希望对两个数据可视化内容进行组合。可以利用简单的手势来指导交互式数字显示器自动地对两个数据可视化内容进行组合。在一些例子中，交互式数字显示器可以对两个类似的数据可视化内容(例如，两幅图片)进行组合(参见图1-图4)。在其它例子中，交互式数字显示器可以对两个看似不同的数据可视化内容(例如，饼图和条形图)进行组合。

参照图15中所示出的例子，用户904可能希望对条形图1100和垂直条形图1500进行组合。在一种实现方式中，用户可以利用“碰撞”手势1502来对两个数据可视化内容进行组合。在图15中的例子中，利用GUI908上的两个箭头(其表示图表移动到一起)来标示碰撞手势1502。在该情况下，用户利用他/她的两个食指来执行碰撞手势，其中每个食指触摸图表中的一个图表，并且在屏幕上将图表向彼此滑动，从而有效地将它们“碰撞”在一起。当利用碰撞手势使图表在GUI上重叠时，交互式数字显示器可以以有意义的方式，自动地对条形图1100和垂直条形图1500底层的数据进行组合。在该例子中，该组合创建散点图1600，如图16中所示。

在该情况下，响应于碰撞手势，交互式数字显示器902已自动地创建了散点图1600。散点图1600的标题为“GraduationRateandFundingperCapitabyState(按照州的毕业率和人均资助)”，并且散点图1600是对来自条形图1100和垂直条形图1500的数据的逻辑组合。在一些实现方式中，在诸如碰撞手势1502(图15)之类的手势之后，在新图表出现之前可以简短地出现“思考(thinking)”图标(没有示出)。预期了用于传送对数据可视化内容进行组合的意图的其它主动用户命令和/或被动用户命令，例如，触摸手势、非触摸手势、眼睛注视、口述命令和/或经由另一个设备(例如，智能电话)输入的命令等等。

交互式数字显示器902可以对数据可视化内容底层的数据(例如，数字、文字、图像、信息)进行检查，以确定用于呈现来自两个(或更多)可视化内容的数据的一个组合的逻辑方式。例如，在一种实现方式中，交互式数字显示器可以确定两个数据可视化内容是图片(参见图1-图4)。在该情况下，交互式数字显示器可以尝试确定图片中对象的类型、对象的缩放、以及用于创建新图片(其可以包含来自这两个原始图片的单独对象)的逻辑方式。再次参照图16，如上面提到的，散点图1600是条形图1100和垂直条形图1500的组合(图15)。在该情况下，交互式数字显示器902已选择了共同的轴标记/类别“州”作为用于构建新的数据可视化内容的共同类别，并且已为新的数据可视化内容选择了散点图类型图表。交互式数字显示器可以提供用于对新的数据可视化内容进行编辑的选项。例如，在交互式数字显示器促使散点图1600出现之后(图15)，交互式数字显示器还可以在GUI908上自动地提供与散点图1600有关的工具条1202(图12)，从而提供用于对散点图进行编辑的选项。

在一些例子中，交互式数字显示器902可以在GUI908上自动地呈现两个数据可视化内容的最符合逻辑的组合。在其它例子中，交互式数字显示器可以提供用于对两个或更多数据可视化内容进行组合的各种选项和/或反馈。在一些实现方式中，交互式数字显示器可以确定是否可能或很有可能对两个或更多特定的数据可视化内容进行组合。可以在发起该组合的用户命令(例如，碰撞手势1502(图15))之前或该用户命令期间做出该判定。交互式数字显示器还可以向用户提供关于是否可以对两个或更多数据可视化内容进行组合的反馈(例如，暗示)。例如，如果组合是可能的或很有可能的，则GUI908上会出现符号。符号的出现可以是响应于用户904在GUI上将两个数据可视化内容放置到彼此附近，响应于用户利用每个食指来简单地触摸并保持两个数据可视化内容，或者响应于用户执行诸如碰撞手势1502之类的手势。符号可以类似于指向彼此的箭头(如图15中的碰撞手势1502处所描绘的)，或者可以是各种符号中的任何一种。在一些情况下，如果不可能对这两个数据可视化内容进行组合，则当用户将它们移动到一起或者尝试将它们“碰撞”到一起时，什么也不会发生。在其它情况下，可以显示图标或者其它指示符，以表示对于这两个数据可视化内容来说碰撞是不可能的。

在其它实现方式中，响应于用户的手势，交互式数字显示器902可以示出针对新的数据可视化内容的选项(没有示出)。例如，可以向用户呈现新图表的多个图表类型并提示用户选择一个图表类型，而不是交互式数字显示器自动地提供一个版本。交互式数字显示器可以对各种数据可视化内容或形式(例如，条形图、饼图、散点图、表格和列表)中的任何一种进行组合。交互式数字显示器还可以为新的、组合的数据可视化内容自动地选择这些形式中的任何一种。替代地，可以提示用户选择形式。在一些实现方式中，交互式数字显示器可以向用户呈现各种其它选项或者与新的数据可视化内容有关的输入功能，例如，轴标记、缩放、颜色选择等等。换言之，新的、组合的数据可视化内容可以响应于对两个数据可视化内容进行组合的简单用户命令而自动地出现，或者可以根据用户选择的选项来逐步地构建组合的数据可视化内容。例如，第一选项可以是选择图表类型，第二选项可以是选择用于图表的每个轴类别等等。

在一些情况下，用户904可能希望“取消(undo)”对数据可视化内容的组合。交互式数字显示器902可以具有对组合的可视化内容进行分离的选项，例如，利用图17中所示的“摇动(shaking)”手势1700。在该例子中，摇动手势需要用户在屏幕906上来回晃动他/她的食指，从而有效地“摇动”散点图分离。在该例子中，摇动手势1700的结果可以是GUI908上所显示的两个原始图表(条形图1100和垂直条形图1500)(如图15中所示)。在一些情况下，交互式数字显示器可以使两个原始图表好像从散点图1600飞出。在其它实现方式中，“摇动”分离复杂的数据可视化内容会引起交互式数字显示器在GUI上显示先前未显示过的数据可视化内容。例如，交互式数字显示器可以在GUI上显示选项，该选项提示用户选择是恢复到先前的图表还是选择新的数据可视化内容。

现在参照图18，继续图16中所示出的例子，用户904可能希望对散点图1600中的数据执行各种操作或分析。在一些实现方式中，用户可以使用上面介绍的钉住操作，利用他们的左手食指来触摸并保持散点图，以揭示工具条1202。用户然后可以选择图标，例如，过滤图标1800。过滤功能(其可以通过选择过滤图标1800来激活)可以用于操作散点图底层的数据。在该情况下，现在参照图19，过滤功能的选择可以促使交互式数字显示器使输入区域1900出现在GUI908上。用户可以向输入区域中输入参数和/或条件，来操作散点图中的数据。例如，用户可以在大小可见显示项(sizeaffordance)文本域中(示出但没有标示)书写“population(人口)”。作为响应，交互式数字显示器902可以促使散点图中的气泡(州)相应地增大。在该情况下，表示纽约的数据点(其标示为1902)的相对大的气泡大小与纽约州相比于散点图中所表示的其它州相对更大的人口数量相关。用户可以在过滤文本域中书写“2008”，在该情况下，其促使散点图中仅显示针对年份“2008”的数据。在该例子中，交互式数字显示器902将用户输入的年份识别为用户旨在选择时间作为过滤参数。在其它例子中，交互式数字显示器可以自动地选择参数，或者可以提示用户以另一种方式来选择参数。此外，可以自动地标记气泡或者其它数据表示。替代地，用户可以选择他/她希望进行标记的数据(例如，通过轻击数据点)。

图20示出了交互式数字显示器902可以允许用户调用对GUI908上的元素的控制，或者调用数据操作的另一种方式。在该例子中，用户可以促使时间轴2000出现在GUI908上。可以通过笔交互、触摸交互、语音交互或者某种其它方法来调用时间轴2000。在该情况下，该时间轴可以包括切换标签(toggle)2002，用户904可以利用他们的手指进行滑动来改变年份。如图20中所示，用户将切换标签2002从标记“2008”向右移动，移向时间轴上的年份“2009”。作为响应，交互式数字显示器可以使得散点图中的气泡根据过滤函数来增大、缩小和移动。例如，随着年份从2008调整到2009，与图19相比，表示Colorado和Kentucky的气泡(其分别标示为2004(1)和2004(2))改变了大小和位置。在一些情况下，气泡可以“对齐(snap)”到新的大小和/或位置，或者气泡可以流动地增大、缩小和滑动。

图21示出了用户904将散点图1600向左“移动”穿过屏幕906，以在GUI908上留出更多的可用空间。在该例子中，用户可以滑动她的左手的手掌和指尖穿过屏幕，以执行移动手势2100。在其它实现方式中，可以利用一个指尖、多个指尖，或者通过交互式数字显示器902所识别的非触摸手势，来执行移动手势。可以删除移出(在该情况下，移向左边)GUI上的视图之外的对象，或者可以保持将这些对象隐藏在视图之外，直到GUI向右移动返回为止。

如图22中所示，用户904可以使用笔910来调用与交互式数字显示器902相关联的另外的功能。例如，用户可以在GUI908的空白区域中绘制问号。绘制问号的动作可以促使交互式数字显示器使输入条2300出现在GUI上，如图23中所示。在该例子中，笔910可以用于调用语音或文本输入选项。输入条2300可以是信息导航和/或搜索问题框。输入条可以允许用户通过打字和/或使用笔、触摸或口述命令来寻求信息。在图23的例子中，用户通过轻击麦克风图标来选择麦克风2302(在图24中更容易看到)。在另一种实现方式中，交互式数字显示器902可以自动调用语音。在图23的例子中，在轻击麦克风2302之后，用户说“Showcollegereadyfundingbyinitiative(主动显示大学准备资金)”。作为响应，交互式数字显示器促使这些文字出现在输入条2300中并搜索该信息。交互式数字显示器自动地将结果显示成新的数据可视化内容(饼图2400)，如图24中所示。

图25示出了对饼图2400的操作。在该例子中，用户904在散点图1600内表示Pennsylvania的数据气泡(示出但没有标示)处触摸屏幕906。结果，交互式数字显示器促使饼图发生改变(例如，过滤)以反映用户的选择。例如，饼图内的类别增加或减少，从而反映从表示许多州的数据改变成仅表示Pennsylvania州的数据。预期了许多其它形式的数据操作和/或分析。另外，预期了调用或激活数据操作和/或分析的许多方式。在该例子中，用户简单地触摸表示Pennsylvania的数据气泡以改变饼图。在其它情况下，用户可以以某种方式来选择饼图，以指示将饼图作为数据操作的目标，然后后续地指定Pennsylvania。用户还可以取消选择数据可视化内容的各个方面。例如，用户能够通过触摸散点图1600的空白区域(如图26中所示)，来将饼图恢复回到更通常的例子，从而取消选择Pennsylvania。

如图27中所示，用户可以从GUI908中删除数据可视化内容。用户可以利用笔910来完成该操作，例如通过在饼图2400上书写X来删除该饼图。预期了删除数据可视化内容的其它方法，例如，通过利用扫动(swiping)运动来将数据可视化内容从GUI中移出，选择数据可视化内容并口头地指示删除请求等等。

在图28中所示出的例子中，用户904向输入条2300输入了“showgrantproposals(显示资助申请)”，并且作为响应，交互式数字显示器902自动地产生了新的数据可视化内容(表格2800)。在一些实现方式中，交互式数字显示器可以考虑与散点图1600和文字“showgrantproposals”相关联的信息，以生成搜索字符串来寻找针对新的数据可视化内容的数据。如图29中所示，用户可以通过使用套索(lasso)手势2900来操作表格2800，以对数据进行过滤。在该例子中，用户可以利用笔910围绕散点图1600中针对Colorado和Kentucky的数据气泡(示出但没有标示)来绘制环，从而有效地“套索”这些数据。响应于套索手势，交互式数字显示器可以促使在表格2800中仅显示针对Colorado和Kentucky的资助申请。

如图30中所示，用户可以执行移动手势2100来移动表格2800和散点图1600，以便集中在表格上和/或在GUI908上为表格留出空间。在一些实现方式中，用户可以一次移动一个数据可视化内容(例如，散点图)，一次移动多个数据可视化内容，或者移动整个GUI。预期了用于选择和/或移动单个对象、多个对象和/或GUI的各种方法。

用户904可以例如通过对表格2800进行排序来操作该表格，如图31中所示。在该情况下，用户轻击列标题“州”来对表格进行排序。作为响应，交互式数字显示器可以按照州，以字母顺序对表格进行排序(示出但没有标示)。替代地，用户可以轻击或者双击来选择列，然后轻击以对该列进行排序。或者，用户可以调用例如用于数据操作或编辑选项的下拉菜单或工具条。在其它实现方式中，选择标题可以允许用户对该标题项目进行编辑，或者为表格中的列选择不同类别的数据。

图32涉及从数据可视化内容中提取对象。在该情况下，用户904可以触摸并保持表格2800，以促使交互式数字显示器902使表格中的某些元素作为可选对象而可用。例如，行3200可以是单独可选对象。在一些配置中，表格的每一行可以具有围绕该行的方框。在图32的例子中，用户可以利用他的右手食指来触摸行3200，并将行3200向右拖拽到GUI908中的开放空间。在一些情况下，这可以被称为提取手势。与其它功能(例如，移动整个数据可视化内容)相比，还预期了用于对从不同类型的数据可视化内容中移动可选对象进行区分的各种手势或其它指示。

如图33中所示，用户从表格2800中提取行3200(图32)可以使得交互式数字显示器902以新的形式(该情况下，以卡片3300(1)的形式)来显示从行3200中提取的数据。在该例子中，用户904已经将三个不同的行从表格2800中提取到GUI908中的空白空间，其中从这些行中提取的数据现在显示在卡片3300(1)、3300(2)和3300(3)中。在该情况下，用户选择提取了以下的行：表示针对年份2010或更晚年份的资助申请的行，并且该资助申请具有$50,000或更大的资助额。图32和图33中所示出的提取操作是可以如何将来自一个数据可视化内容的可选对象提取(例如，拉出)为具有不同形式的项目的例子。提取操作允许用户以不同的更丰富的方式来与数据进行交互。例如，用户现在可以操作卡片3300(1)、3300(2)和3300(3)中的数据，如下面将描述的。

图34示出了对表格2800进行过滤的例子。在该情况下，用户904已指示他仅需要来自Kentucky的数据出现在表格中(没有示出)。在一些实现方式中，用户可以双击表格2800中的Kentucky来做出该指示。预期了收缩或扩展数据可视化内容的其它方法或方式。继续图34中的例子，用户然后可以对表格2800进行排序，例如通过轻击“Term(学期)”列标题(没有示出)。在该情况下，对Term列进行排序可以帮助用户定位他希望提取的数据，换言之，帮助用户定位针对某些年份的资助申请上的数据。用户然后可以提取卡片3400(1)和3400(2)，这些卡片包含来自年份2010和更晚年份的资助申请的数据，其中资助额大于$50,000。交互式数字显示器902现在可以使卡片3300(1)、3300(2)、3300(3)、3400(1)和3400(2)，以及这些卡片所表示的数据可用于用户，以便经由经由GUI来进行进一步操作。

在图35中所示的例子中，用户904已从GUI908中移除表格2800(没有示出)，并且利用移动手势2100将卡片3300(1)、3300(2)和3300(3)向左移动。在图36中，用户可以通过使用笔910围绕卡片3300(1)、3300(2)和3300(3)画圆，来执行套索手势2900。在该情况下，套索手势促使交互式数字显示器902将这些卡片排列成分组(grouping)3700(图37)，其中分组3700是另一个数据可视化内容，并且提供新数据分析功能。例如，如图37中所示，分组3700可以显示与被排列在一起的数据组有关的某些统计数据。分组3700包括数量计数3702，其指示该组中有多少项目。预期了其它的统计数据和/或数据分析。例如，可以对该组中的资助申请的总额进行求和并显示(没有示出)。此外，还可以将卡片3400(1)和3400(2)组合成单独的分组，如下面将相对于图38所示出的。

在一些情况下，用户904可能希望减少卡片上所表示的类别数量。例如，用户可能希望发现卡片的不同分组中所表示的类别中的一个类别中的共同性。预期了用于减少卡片上的类别的各种方式。在一个例子中，用户可以双击分组中的卡片中的一张卡片上的类别，例如，“Organization(组织)”类别(参见图34中的表格2800)。交互式数字显示器902可以通过将该分组中的所有卡片中所显示的类别减少到被双击的类别来进行响应，如图38中的分组3800中所示。替代地，在其它例子中，用户可以从表格2800中选择某些列或者仅一列来进行提取，而不是提取针对每一行的所有列。

如图38中的例子所示，用户可以将卡片3400(1)和3400(2)组合为分组3802，并且可以将与这些卡片相关联的类别减少为“组织”类别。用户然后可以选择对分组3800和分组3802进行组合，例如，用于发现这两个分组之间的共同性(在该情况下，通过执行碰撞手势1502)。结果可以是维恩(Venn)图3900，如图39中所示。Venn图3900是另一个新的数据可视化内容，是查看来自分组3800和分组3802二者的数据的新方式。交互式数字显示器902可以自动地在GUI908上显示Venn图3900。交互式数字显示器可以自动地选择用于可视化内容的格式(例如，Venn图)，并且可以自动地选择用于新的数据可视化内容的参数。在该情况下，仅一个组织对于分组3800和分组3802二者是共同的。因此，在该情况下，交互式数字显示器可以使得一个组织(“ABCCorporation”)出现在Venn图的交叉部分3902中。

在一些情况下，用户904可以得到关于交互式体验场景900的结论，并且会希望与他人共享该结论和/或该交互式体验的其它元素。如图40中所示，用户可以向GUI908添加评论4000(在该情况下，使用笔910)。评论可以表示关于数据可视化内容的决定，例如，决定从某个组织寻找资助。如图41中所示，用户可以访问菜单4100。用户可以通过各种方法来访问该菜单，例如，从屏幕906的一侧使用扫动触摸手势，或者轻击屏幕的某个区域(没有示出)。在其它情况下，菜单4100在任何时间在屏幕的一侧附近都是可见并可用的。

在图41的该例子中，菜单4100可以包括若干个图标，例如，搜索、共享、文件探索、导出或者工具(示出但没有标示)。这些图标或其它图标可以表示交互式数字显示器902与GUI908上所显示的数据可视化内容配合来提供的各种功能。例如，共享图标可以用于发起电子邮件功能，其中交互式数字显示器自动地将当前显示在GUI上的数据可视化内容的图像附加到电子邮件消息中。在该情况下，可以将具有评论4000的Venn图3900的图像附加到电子邮件消息中，并且提示用户向该电子邮件添加其它文本、选择接收者等等。在另一个例子中，可以选择导出或者保存图标，以将数据可视化内容本地地或者通过网络保存到文件。菜单4100还可以用于访问文件以向GUI908添加内容。

在一些实现方式中，可以通过菜单4100来保存和/或共享当前显示在GUI908上的数据可视化内容。在其它情况下，可以保存和/或共享其它选定的数据可视化内容。或者，可以将整个交互式体验场景900作为视频来保存和/或共享。交互式数字显示器902可以将交互操作记录为能够回放的视频，或者能够通过时间戳进行搜索以发现曾被绘制并擦除的内容的视频。另外，视频可以与音频配对，以便记录可以以后观看的会议。交互式数字显示器还可以用作其他人实时地加入和/或观看(例如，通过视频会议)交互式体验场景的门户。

上面相对于图9-图41所描述的交互式体验场景900通过交互式数字显示器902提供了所操作的数据可视化内容中所保留的功能的例子。换言之，条形图1100和垂直条形图1500组合成新的数据可视化内容(散点图1600)，该新的数据可视化内容允许对底层数据的进一步操作(参见图15-图16)。另外，从表格2800中提取的可选对象(图29)最终产生新的数据可视化内容(Venn图3900)，该新的数据可视化内容允许对底层数据的进一步分析(图39)。以此方式，交互式数字显示器902可以为用户提供更丰富的体验，其具有几乎无限级数的数据操作和/或分析。

总而言之，在一些实现方式中，交互式数字显示器可以将来自看似不同的数据可视化内容(两个或更多)的数据组合成第三数据可视化内容。在其它实现方式中，交互式数字显示器可以从数据可视化内容中提取对象以创建新的数据可视化内容。可以在屏幕或表面上通过各种形式的用户输入来操作这些数据可视化内容中的任何数据可视化内容。该表面可以被认为是交互式数字显示器操作系统的GUI壳。GUI壳可以运行为内容容器以及应用容器。GUI壳可以充当为用于新的内容创建的表面，以及用于通过网络来访问数据的门户。GUI壳还可以是用户与在交互式数字显示设备上本地(和/或远程)运行的应用进行交互的地方。

系统示例

图42-图46示出了用于实现本构思的示例性系统。

图42示出了一种示例性的交互体验系统4200。在该情况下，系统包括交互式数字显示器4202。一个或多个用户4204可以利用交互式数字显示器4202来参与交互式体验。交互式数字显示器可以包括屏幕4206(例如，交互式表面)和多个传感器4207。(这些传感器可以类似于上面相对于图5所介绍的传感器516)。该例子包括四组传感器4207。可以在屏幕4206上呈现图形用户界面(GUI)4208(例如，显示区域、画布)。

在各种实现方式中，可以使用许多类型的传感器。该例子包括光学传感器(例如，传感器4207(1)-4207(3))和压力传感器4207(4)。(压力传感器4207(4)可以集成到屏幕4206中并且因此是不容易可见的)。在该情况下，可以对前两组传感器4207(1)和4207(2)进行定向，以感测屏幕4206前面的区域。可以对第三组传感器4207(3)进行定向，以感测屏幕4206正前方的区域。传感器集合的不同方位可以旨在检测用户利用用户命令来参与交互式数字显示器。在该情况下，屏幕和三组传感器连接到计算设备4210(在该情况下，其对用户不可见)，其中计算设备4210执行与交互式体验相关联的针对GUI4208的处理。因此，在该实现方式中，交互式数字显示器4202可以表现为由设备4210控制的显示设备。设备4210可以存储数据，对数据进行处理，并且生成交互式数字显示器4202上所呈现的GUI。相对于图43示出了一种替代的配置，在图43中，交互式数字显示器可以执行上面提到的两组的功能。

要注意的是，所给出的实现方式并不限于特定类型的屏幕4206。相比之下，可以利用投影屏幕、发光二极管(LED)屏幕、液晶屏幕、电发光屏幕、等离子屏幕和/或其它正在开发或待开发的显示器和屏幕类型来达到可行的实现方式。

前两组传感器4207(1)和4207(2)可以检测到一个或多个用户(例如，用户4204(1)、4204(2))进入了交互式数字显示器4202所放置的房间(或者另外进入了感兴趣区域)。在该情况下，前两组面朝外的传感器4207(1)和4207(2)可以放置在交互式数字显示器4202上方和下方，以检测用户手势、触摸和/或眼睛注视方向。要注意的是，提供第一、第二和第三组传感器4207(1)、4207(2)、4207(3)的数量、位置和/或方位是出于举例目的而非旨在限制。可以预期的是，很多其它的传感器排列可以被配置为实现本构思。此外，虽然示出了不同的和明显的传感器，但可以预期的是，随着技术成熟，传感器将变得更小并且对于用户更不明显。在一些实现方式中，传感器可以安装在交互式数字显示器的外部框架上。替代地，一些实现方式可以不具有传感器。

第一、第二和第三组传感器4207(1)、4207(2)、4207(3)可以是摄像头(例如，摄像头阵列)。摄像头可以被配置用于可见光、红外线和/或其它频率。摄像头可以与红外线模式投影仪协作地操作，其中红外线模式投影仪可以辅助摄像头将对象彼此区分。其它的摄像头配置可以使用飞行时间或者其它技术，来对摄像头所捕获的关于交互式数字显示器4202周围的用户和/或环境的信息进行增强。在一种实现方式中，传感器集合可以是公司所提供的品牌感测技术。在一些实现方式(没有示出)中，第一组摄像头可以背向屏幕4206，并且第二组摄像头可以平行地指向屏幕表面，以感测用户输入(例如，手势)。第二组摄像头可以允许屏幕运行为触摸屏而无需实际具有触摸敏感型表面(例如，其感测用户的物理触摸)。可以使用其它的摄像头配置，例如，通过屏幕成像的那些配置。针对该配置的一种合适的摄像头是楔式摄像头，该摄像头可以放置在屏幕前面或后面，或者屏幕的边上。这种类型的配置可以检测到用户的手指触摸屏幕，并且还可以查看用户的手、手臂、眼睛等等。摄像头所获得的生物信息可以被解释为用户命令。例如，共享画布上用户正在观看(例如，用户注视)的位置可以被解释为相对于该位置处的内容的用户命令。

再次参照图42，在一些情况下，第一、第二和第三组传感器4207(1)、4207(2)、4207(3)可以包括针对不同目的来进行定向的子组。例如，第一组传感器4207(1)可以包括两个子组。第一子组可以被配置为捕获交互式数字显示器4202正前方的“近场”空间。第二子组可以被配置为捕获更加远离交互式数字显示器的“远场”空间。远场子组可以用于检测用户进入交互式数字显示器所位于的房间。近场子组可以被配置为捕获来自参与GUI4208的用户的生物数据。

一旦检测到用户4204，传感器集合4207就可以跟踪用户相对于屏幕4206的位置，并且可以跟踪移动来判断用户是否正在尝试用户命令，例如，在屏幕上书写、做出控制手势等等。

还要注意的是，图42中的用户4204中的每个用户都具有个人设备4212(在该情况下，个人设备4212是智能电话)。个人设备可以用于输入用户命令和/或用于用户识别。作为传感器集合4207的替代或者除了传感器集合4207之外，个人设备4212可以运行为帮助检测用户命令和/或识别用户。例如，用户4204(1)可以在个人设备4212(1)上输入命令，交互式数字显示器4202可以使用该命令来操作GUI4208上的数据可视化内容。在另一个例子中，个人设备4212(2)可以发出识别信号，比如系统可以用于识别用户4204(2)的信标信号。

可以以其它方式来利用个人设备4212和笔4214。例如，个人设备可以通过用户的身体发送电容信号，其中当用户触摸或者邻近交互式数字显示器4202时，电容式传感器可以检测到该电容信号。可以将这种特征利用成多径电容式触摸。例如，不同的手指具有不同长度的路径。一些实现方式还可以在交互式数字显示器下面的地板上添加导电带，使得交互式数字显示器的用户参与完成通过交互式数字显示器和导电带的回路。可以以类似的方式来使用电容笔，特别是在用户具有他们自己个人的可唯一识别的笔(例如，个人设备)的实例中。因此，笔4214可以服务于双重目的：作为数字书写仪器和用于识别用户4204(2)。

以类似的方式，当检测到触摸用户命令时(如4216处所标示的)，可以使用指纹(和/或其它生物信息)分析来识别执行该命令的用户。指纹分析还可以识别用户的哪个单独手指正在触摸屏幕以及该手指的方位。可以以各种方式来使用该信息。例如，如果两个用户同时地触摸面板的区域，则(通过指纹分析所确定的)手指方位可以指示哪个手指属于哪个用户。例如，指纹往往是沿着用户手指的长度延长。因此，指纹可以指出用户的手指和手臂的方位。

图43示出了可以在其上实现交互式体验技术的另一种示例性系统4300。相对于系统4300示出了若干类型的交互式数字显示设备的例子。出于说明的目的，示出了三个交互式数字显示器(IDD)4302(1)、4302(2)和4302(3)。为了简短起见，仅详细描述了所示出的设备中的两个设备。该描述可以应用于其它设备。该描述还旨在提供设备配置的例子，其中这些设备配置可以用于支持交互式体验概念。熟练技术人员将识别可以支持所描述的交互式体验概念的其它设备配置。

在该情况下，交互式数字显示器4302(1)表现为数字白板。交互式数字显示器4302(2)表现为平板类型设备。交互式数字显示器4302(3)表现为膝上型或笔记本计算机。如本文所使用的，术语“交互式数字显示器”可以表示具有某种处理能力的任何类型的设备。虽然出于说明的目的示出了这些设备的特定例子，但这些设备的其它例子可以包括传统计算设备，例如，个人计算机、蜂窝电话、智能电话、个人数字助理、或者大量不断演化或待开发的设备类型中的任何设备。在该例子中，每个交互式数字显示器包括屏幕4306(1)、4306(2)和4306(3)(例如，交互式表面)以及传感器4307。传感器可以是不同的和/或可以是屏幕的一部分(例如，触摸敏感型屏幕)。传感器4307可以类似于上面相对于图42所描述的传感器4207，并且为了简短起见这里没有详细讨论。简言之，传感器可以检测用户动作；在各种实现方式中，可以检测触摸和/或非触摸的用户动作。

在系统4300中，单独的交互式数字显示器4302可以通过网络4308来交换数据。此外，单独的交互式数字显示器可以以单独或协作的方式工作，以实现交互式体验。例如，交互式数字显示器上所提供的功能的一部分可以在该设备上执行，并且一部分可以在另一个设备上执行和/或在云4312中执行。如本文所使用的，云4312指代可通过网络4308访问的计算资源和/或计算功能。

可以创建多种不同的配置来实现交互式数字显示器4302，以实现交互式体验概念。出于说明的目的，下面相对于交互式数字显示器4302(1)和4302(2)来描述两种可能的设备配置的例子。

交互式数字显示器4302(1)包括在操作系统(OS)4316上运行的应用4314。操作系统可以与硬件4318进行交互。硬件的例子可以包括存储介质或者存储设备4320(1)、处理器4322(1)、屏幕4306(1)和/或传感器4307(1)(例如，触摸传感器)。此外，手势识别组件(GRC)4324(1)、数据分析和处理组件(DAPC)4326(1)以及可视化内容呈现组件(VRC)4328(1)可以与应用4314和/或操作系统(OS)4316和/或硬件4318协作地工作。在一种配置中，这些组件4324(1)-4328(1)可以表现为应用、应用部分或者表现为操作系统的一部分。

处理器4322(1)可以执行具有计算机可读指令形式的数据来提供功能。数据(例如，计算机可读指令和/或与用户相关的数据)可以存储在存储设备4320(1)上。存储设备4320(1)可以包括以下各项中的任何一项或多项：易失性存储器或非易失性存储器、硬盘驱动器和/或光学存储设备(例如，CD、DVD等)等等。

交互式数字显示器4302还可以被配置为从外部存储设备4320(1)(A)(为了说明起见，其可以被认为是外部存储介质)接收和/或生成具有计算机可读指令形式的数据。外部存储介质的例子可以包括光学存储设备(例如，CD、DVD等)、硬盘驱动器和闪存设备(例如，存储棒或者存储卡)等等。交互式数字显示器还可以通过网络4308来接收具有计算机可读指令形式的数据，然后将该数据存储在交互式数字显示器上以便由其处理器来执行。

交互式数字显示器4302(2)具有可以表示片上系统(SOC)类型设计方案的替代配置。在该情况下，交互式数字显示器所提供的功能可以集成到单个SOC或多个耦合的SOC上。在该情况下，交互式数字显示器4302(2)包括共享资源4330和专用资源4332。接口4334有助于共享资源和专用资源之间的通信。顾名思义，专用资源4332可以被认为是包括专用于实现特定功能的单独部分。例如，在该例子中，专用资源包括手势识别组件4324(2)、数据分析和处理组件4326(2)以及可视化内容呈现组件4328(2)。在一种情况下，SOC上的电路可以专用于手势识别组件4324(2)，而其它电路可以专用于数据分析和处理组件4326(2)，并且另外的电路可以专用于可视化内容呈现组件4328(2)。

共享资源4330可以是能由多个功能来使用的存储设备、处理单元等等。在该例子中，共享资源包括屏幕4306(2)和传感器4307(2)。虽然在该情况下，手势识别组件4324(2)、数据分析和处理组件4326(2)以及可视化内容呈现组件4328(2)被实现为专用资源4332，但是在其它配置中，可以在共享资源4330上和/或在专用资源4332和共享资源4330二者上实现这些组件中的任意一个或二者。

通常，可以使用软件、固件、硬件(例如，固定逻辑电路)、人工处理或者这些实现方式的组合来实现本文所描述的功能中的任何功能。如本文所使用的，术语“组件”通常表示软件、固件、硬件、整个设备或网络，或者其组合。例如，在软件实现方式的情况下，这些组件可以表示程序代码，其中当程序代码在处理器(例如，一个或多个CPU)上被执行时，执行指定的任务。程序代码可以存储在一个或多个计算机可读存储器设备(例如，计算机可读存储介质)中。组件的特征和技术是独立于平台的，这意味着可以在具有各种处理配置的各种商用计算平台上实现这些组件。通常，交互式数字显示器4302可以替代地或另外地包括其它元件，例如，总线、图形卡(如，图形处理单元(GPU)、网络硬件)等，为了简短起见这里没有对其示出或讨论。

手势识别组件4324可以被配置为从传感器4307接收所感测的数据。手势识别组件可以被配置为对所感测的数据进行处理，以识别用户手势和/或其它用户命令。在一种实现方式中，手势识别组件可以根据所感测的数据来分析各种参数(例如，所感测的参数)。例如，在触摸场景中，所感测的参数可以指示用户旨在通过触摸数据集或者围绕数据集进行“套索”来选择该数据集。在非触摸场景中，所感测的参数可以指示用户在数据集上“悬停”他/她的手来选择该数据集。其它所感测的参数可以涉及与所选定的数据集有关的用户动作。例如，所感测的参数可以指示用户移动选定的数据集的速度和/或方向。因此，通过分析所感测的参数，手势识别组件可以确定用户同时选择了两个数据集，并以用户旨在实现碰撞手势的方式来将它们向彼此移动。

数据分析和处理组件4326可以从手势识别组件4324接收关于选定的数据集、所感测的参数和/或用户意图的信息。数据分析和处理组件4326可以被配置为对选定的数据集进行分析。具体而言，该数据分析和处理组件可以对选定的数据集的底层数据进行分析，以确定用于实现用户意图的逻辑方式。在一些实现方式中，数据分析和处理组件可以对与底层数据有关的各种参数(例如，数据参数)进行分析。例如，数据分析和处理组件可以确定什么类型的文件、文件格式和/或文档类型与数据集相关联。

在一些情况下，数据分析和处理组件4326可以检查文件或文档内的数据，以发现文字、内容、格式化或者其它元数据，以便发现对于两个或更多文件来说可能是共同的数据。例如，响应于上面所描述的经识别的碰撞手势，数据分析和处理组件可以获取和/或检查用户放置到一起的两个数据可视化内容中的每个数据可视化内容底层的数据。再次参照图15中所示出的碰撞手势，数据分析和处理组件可以确定用户旨在进行组合的两个数据可视化内容具有共同的类别(在该情况下，该共同类别是“州”)。数据分析和处理组件可以使用该共同类别来构建可以用于新的数据可视化内容中的组合的数据集。在另一个例子中，数据分析和处理组件可以认识到来自用户旨在进行组合的两个不同的可视化内容的两个数据集均具有含有共同类别的数据行。在该情况下，数据分析和处理组件可以将该共同类别用作为用于对这两个数据集进行组合的基础。

数据分析和处理组件4326可以执行与用户意图相关的各种功能，例如，发起与手势相关联的信息获取和/或数据分析。例如，数据分析和处理组件可以对用户请求新数据(例如，经由图28中的输入条2300所示出的)进行响应。在该情况下，数据分析和处理组件可以针对与所请求的信息相对应的数据，在本地存储设备中或者通过网络进行搜索。在一些情况下，，可以根据显示器上所示出的其它相关信息或数据来考虑该信息请求。在另一种情况下，响应于用户对轴进行标记或者改变轴标记，数据分析和处理组件可以搜索和提供新信息，如图10和图13中所示。数据分析和处理组件可以执行与数据有关的其它功能，例如，对数据进行过滤(参见图29和图31)，提取数据子集(参见图33)，或者对数据执行统计分析(参见图37和图39)。

可视化内容呈现组件4328可以被配置为生成和/或呈现新的数据可视化内容，或者呈现与数据分析和处理组件4326和/或手势识别组件4324所获得的结果相关联的命令。再次参照图15中的碰撞手势，可视化内容呈现组件可以取得数据分析和处理组件所生成的组合的数据集，并使用该数据集来生成新的数据可视化内容，例如图16中所示的散点图1600。在该情况下，使用组合的数据集，可视化内容呈现组件可以选择散点图类型图表，选择用于轴的数据类别，选择用于轴的适当刻度和标记，选择图表标题，以及为散点图的所有方面选择适当的格式。在该情况下，可视化内容呈现组件可以选择颜色、字体、方位、线条粗细、数据点符号、以及新的数据可视化内容的所有其它视觉方面。最后，可视化内容呈现组件可以向屏幕4306输出新的数据可视化内容(在该情况下，新的数据可视化内容是散点图1600)以供显示。在一些实现方式中，可视化内容呈现组件可以在生成完整的新数据可视化内容时使其呈现，可以在生成新的数据可视化内容中的每个组件时使其出现，或者可以以某种其它方式来对从原始的两个数据可视化内容到新的数据可视化内容的转换进行动画化。

在一些情况下，可以根据过去的用户动作来推断用户意图或者新的可视化内容格式。例如，如果用户最近对条形图的多个集合进行了组合，则每次指定根据条形图集合中的一个集合来生成饼图，可视化内容呈现组件4328就可以自动地根据用户旨在组合的条形图的下一集合来提供饼图。手势识别组件4324和/或数据分析和处理组件4326也可以根据过去的用户动作来做出类似的推断。

各个组件的可能功能的另一个例子包括：对用户意图进行处理以便从表格中提取一行数据。在该实例中，手势识别组件4324可以从传感器4307接收信息，并且识别用户已选择了表格(例如，相对于图32中的表格2800所示出的)，选择了表格的一行，并将该行从表格中“拖拽”到显示器的开放区域(例如，相对于图32和图33中的行3200所示出的)。在该情况下，手势识别组件可以将来自传感器的、关于与选定的行相关联的拖拽运动的速度和/或方向信息解释为行提取手势(例如，用户旨在提取该数据行)。数据分析和处理组件4326可以确定哪些数据与选定的行相关联，并提取这些数据以用于新的数据可视化内容。例如，数据分析和处理组件可以确定在该行中表示了多少和/或哪些类别，从该行中提取数据，和/或创建来自该行的数据的新子集。此外，在一些情况下，所提取的子集可以仅包含数据可视化内容的行内的可见数据，或者可以包含相关联的信息，例如针对来自表格中的每一列的类别或标题信息，或者对于用户可能不可见的其它元数据。可视化内容呈现组件4328可以使用所提取的数据子集来创建新的数据可视化内容(例如，在该情况下，卡片3300(1))。

换言之，手势识别组件4324可以从传感器4307接收信息，根据该信息来识别手势或其它命令，并且根据这些手势或者关于数据可视化内容的其它命令来解释用户意图。数据分析和处理组件4326可以根据用户意图，来确定用于组合或以其它方式处理来自数据可视化内容的数据的逻辑方式。可视化内容呈现组件4328可以确定用于在一个或多个新的数据可视化内容中呈现经处理的数据并将结果输出到屏幕4306的逻辑方式。

图44-图46示出了根据本构思的其它示例性系统。

图44示出了根据所公开的体系架构的呈现系统4400。系统4400包括数字交互式组件4402，数字交互式组件4402接收用户交互4404并且将用户交互4404处理成例如笔划。要理解的是，笔划可以是如上面提到的许多不同类型的输入模态的结果。数字交互式组件可以类似于上面所描述的手势识别组件4324。计算组件4406(例如，与交互式组件4402分离的基于计算机的组件)将用户交互4404解释为与图形表示4408(例如，箭头、图表、图例等等)有关，并且可选地，基于笔划来对用户数据4410执行操作，以创建用户数据4410的整体图形视图4412以及可以与所应用的笔划相组合的图形表示4408。计算组件4406还可以管理(例如，获取和生成)如本文所描述的注释。在一些情况下，计算组件可以执行与上面所描述的手势识别组件4324、数据分析和处理组件4326和/或可视化内容呈现组件4328类似的功能。

用户数据4410被示出为图形表示4408，以简单地传达能够用图形表示4408(其可以是一组图形对象)来表征的用户数据4410的定性和/或定量信息。在替代的实现方式中，在所公开的体系架构的预期内的是，观察中的用户数据中的一些或全部用户数据可以经由数字交互式组件4402，单独地或者结合图形表示4408，以其原始形式或者表格形式来呈现。

计算组件4406可以提供图形表示4408作为包括一个或多个图形对象(例如，图表的轴、刻度标记等等)。例如，当用户输入是旨在为箭头的原始标记时(例如，使用标记笔在显示器表面上手绘)，计算组件4406可以捕获该输入，并且在图形视图4412中将相同的笔划呈现为图形对象。因此，原始笔划可以以其粗略的(其被捕获为自由形式的不笔直的、非对称的等等)、如用户手动创建的格式来呈现，接近白板表面上的原始笔划。

替代地，通过计算组件4406获取预定的和存储的箭头对象(访问该箭头对象并且然后呈现在图形视图4412中)，原始笔划可以呈现为“经整理的”(例如，笔直的、点对称的等等)箭头对象。在任何情况下，所产生的图形视图4412可以包括仅原始笔划、仅粗略的笔划、仅经整理的笔划，或者其任意组合。

演示组件(presentationcomponent)4414从计算组件4406接收呈现信息，并且将该呈现信息在图形视图4412中呈现为包括笔划(粗略的或经整理的)、标记、列表以及其它图形对象(交互式图形对象或者以其它方式与数字交互组件4402相关联)。换言之，图形视图4412可以由投影仪(其是演示组件4414)投影到数字交互式组件4402(其可以是数字白板)上。在一些情况下，演示组件可以类似于上面所描述的可视化内容呈现组件4328。

当数字交互式组件4402是例如基于笔的显示器或基于触摸的显示器时，演示组件4414可以是计算组件4406的一部分或者显示器的一部分，使得可以经由基于笔的显示器或基于触摸的显示器的显示能力来呈现图形视图4412。

计算组件4406可以包括数据分析和处理组件4416，其可以通过数据组件4418来访问用户数据4410。数据组件4418可以是服务器上的数据库、分布式数据库、本地客户端上的文件、内存数据等等，该数据组件使用户数据4410(例如，数据集)可用于经由图形表示4420中的一个或多个(例如，图形表示4408)来进行操作和交互。在另一种实现方式中，数据组件4418可以是云计算基础设施的一部分。

图形对象是用于数字地呈现或显示图表轴、轴上的刻度标记、文本、尺寸、捕获的用户笔划、方框、线条等等的对象。图形对象可以基于用户交互4404中的一个或多个用户交互来改变和/或更新。相比之下，用户数据4410是用户期望进行检查的数据(例如，销售数据、金融数据)。

关于用户交互，如果用户交互4404将要改变图形表示(例如，图表)的y轴上的刻度，则数据分析和处理组件4416根据用户应用于轴的笔划，来调整轴的缩放。另外，数据分析和处理组件4416根据新的用户交互4404来对接受用户检查的数据集(用户数据4410)进行处理。

要注意的是，图形对象可以与应用(例如，制表程序、操作系统)相关联，其中应用提供用于执行图形和制图生成和操作的能力，以及提供可扩展性以添加用于处理和呈现新的图形表示的新选项。

如先前所描述的，数字交互式组件4402(例如，有源或无源可视化内容表面)可以是数字白板、交互式显示器表面、触摸表面、基于笔的表面或者仅仅计算机显示器(用户使用例如鼠标或其它指针驱动的用户输入设备、经由这些组件进行交互)，并且包括适当的软件(例如，呈现、操作系统、制表/制图等等)，以辅助特定的数字交互式组件4402来识别和处理用户交互。

响应于用户交互4404，数据分析和处理组件4416(例如，计算机子组件)通过对用户数据4410应用数据分析功能(例如，包括函数、删除、过滤、数学操作、缩放等等的操作)来执行数据分析。例如，如果用户向图表的y轴应用笔划(该笔划然后被系统4400推断为要建立针对该轴的缩放)，则系统4400自动地针对y轴应用剩余的刻度标记。数据分析和处理组件4416然后自动地对接受检查的数据集(用户数据4410)执行数据分析，以适合该图表(图形表示4408)。

演示组件4414(例如，投影仪系统、显示器表面、触摸表面、基于笔的表面等等)与如由操作改变的图形表示4408相关联来呈现一个或多个图形对象。在一种实现方式中，从数字交互式组件4402(其是白板)捕获和解释用户交互4404，并且然后一旦对用户交互4404进行了处理(例如，推断)以确定用户旨在绘制图形，则产生的图形对象然后根据期望的尺寸和格式被投影(由视频或摄像头系统)到白板上，以便由用户和其他观看者根据对使用户数据4410进行表征来进行可视化。

在另一个例子中，从数字交互式组件4402(其是基于触摸的表面或显示器)捕获和解释用户交互4404，并且然后一旦对用户交互4404进行了处理(例如，推断)以确定用户旨在绘制图，则所产生的图形对象然后经由基于触摸的设备(显示器)根据期望的尺寸和格式来呈现，以便由用户和其他观看者(本地的和/或远程的)根据对用户数据4410进行表征来进行可视化。

要注意的是，图形表示4408仅是可以采用和利用的许多图形表示4420中的一个图形表示。例如，图形表示4408可以是条形图、散点图、极坐标图等等。另外，表示和相关联的笔划的数量和类型可以是可扩展的，以添加新的笔划和相应的表示以供使用。

系统4400提供了以下能力：自动完成图形表示4408，以及自动完成基于针对图形表示4408的用户交互4404。换言之，用户交互4404可以表明图形表示4408(其可以是箭头、图表的轴、条形等等)。要注意的是，在基于触摸的界面中，用户交互4404可以包括能够与例如手部手势进行组合的单触摸或者多触摸手势。

计算组件4406可以包括识别组件4422(例如，手势识别组件)，识别组件4422从用户交互收集器4424接收一个或多个交互(例如，笔划)，其中用户交互收集器4424可以是接收如用户所应用(输入)的用户交互4404的组件。识别组件4422识别该交互，并且生成有助于呈现该交互所表明的图形表示4408的结果。

识别组件4422使用一个或多个识别器，这些识别器处理针对图形表示4420(例如，箭头、图表等等)的用户交互4404。另外，识别组件4422处理与图形表示4420(内部地)相关联的注释4426。注释是与交互(例如，笔划)相关联的被动数据集。用户不与注释进行交互。注释执行对其底层数据的基本转换(例如，箭头注释可以获取该箭头注释所指向的“对象”)。用户交互4404首先经过识别组件4422的识别器，该识别器转而可以修改注释4426。在重绘事件期间，呈现组件4428的呈现器读取该信息并将其显示。

呈现组件4428包括用于呈现注释4426中的数据的不同呈现器。呈现组件4428可以包括针对不同的图形表示类型(例如，图表、箭头、条、图例、标记菜单等等)的不同呈现器。虽然被描述为计算组件4406的一部分，但是识别组件4422和呈现组件4428可以在计算组件4406的外部实现。例如，呈现组件4428可以是演示组件4414的一部分。

用户交互4404可以包括许多不同类型的交互(例如，笔划)，使得这些交互当被处理时，将相应的用户数据4410呈现为(图形表示4420的)新的或经更新的图形表示的一部分。

识别组件4422添加与图形表示4408相结合的(注释4426中的)注释。数字交互式组件4402允许用户将用户交互4404直接应用于可视化界面(例如，显示器表面、白板等等)。笔划可以是由用户(例如，标记笔、数字笔、触摸等等)输入的自由形式笔划(基于草绘的)，并且由识别组件4422识别以用于完成图形表示4408。这种自动完成特征也等同地应用于本文所描述的其它用户输入模式，例如用于基于触摸的输入、基于笔的输入等等。

基于草绘的交互可以基于符号来改变图形表示4408，通过应用函数来转换用户数据4410，并且通过不予考虑图例项(例如，通过在图例项上应用删除线笔划)来过滤用户数据4410。用户交互4404可以包括多个输入笔划，对这些输入笔划进行处理，以便对图形表示4408和相关联的用户数据4410进行操作，或者生成以不同的视觉方式来表征用户数据4410的新的图形表示。

数字交互式组件4402、数据分析和处理组件4416、识别组件4422、呈现组件4428以及演示组件4414有助于接收、处理和呈现多个同时的用户交互，获取相关联的表明的注释以用于多个同时的用户交互以及相应的图形表示。

可以对用户交互4404进行解释，以便基于符号来改变图形表示4408，通过应用函数来转换用户数据4410，并且通过不予考虑菜单项(使用删除线笔划作为用户交互4404)来过滤用户数据4410。用户交互4404可以是用户直接应用于数字交互式组件(例如，基于触摸的表面、基于笔的表面等等)的自由形式笔划。

用户交互4404可以包括(来自单个用户或多个用户的)多个交互，该多个交互包括第二笔划，其中当第二笔划被处理时，将用户数据4410呈现为由笔划和第二笔划的组合表明的新的图形视图的一部分。用户交互4404可以包括来自多个用户的多个笔划，对这些笔划同时进行处理，以便对图形视图4412和相关联的用户数据4410进行操作，或者生成用户数据4410的新的图形视图。响应于用户交互4404，演示组件4414实时地将用户数据(如由图形表示4408表征的)和菜单项投影到数字交互式组件4402上。

图45示出了根据所公开的体系架构的、示例性的基于草绘的交互式的基于计算机的数据分析系统4500的更详细的实施例。要意识到，这仅是一个示例性的实施例。替代的实施例可以包括不同类型的识别器4502、不同类型的注释4426和呈现器4504(例如，诸如轴、点、条形之类的图表/图形组件)。可以将系统4500构建和应用为具有识别器集合4502(作为识别组件4422的一部分)的“黑板”系统的形式，其中识别器集合4502在操作期间向系统添加信息。识别器4502(直接或间接地)监测一个或多个输入的特定类型的笔划(例如，删除笔划)，并且基于笔划结构来添加注释4426。(呈现组件4428的)呈现器4504将注释中的数据呈现到屏幕或交互式表面(例如，白板)。

信息可以作为注释4426来提供，其中注释4426然后与笔划集合(例如，基于笔的)相关联。当笔划添加到面板(可视化表面、组件或界面)时，对相关的特征(例如，箭头)进行识别，并且添加适当的注释。同样地，当擦除(不予考虑)笔划时，系统4500删除相关的注释，并且确保系统4500的状态与该擦除相一致。

识别器4502可以包括图表识别器、箭头识别器、条形识别器、图例识别器和标记菜单识别器，仅举几个例子。图表注释4426包括但不限于：形状图例、标记菜单、颜色图例、功能菜单、轴菜单、轴箭头等等。所呈现的图表(图形表示4408)可以包括图形对象的集合，例如，轴、刻度标记、图例、点、条形、一个或多个标记菜单、箭头等等。

在一种实现方式中，可以连同与识别器4502相关联的模式的形式描述来维持该识别器的注册表。替代地，每个识别器可以任意地实现其自己的模式，并且因此不存在使用全局描述库。识别器4502“监听”针对系统的更新，无论这些更新是新笔划(由用户绘制的)还是新注释(由其它识别器添加的)。当向面板(可视化表面)添加笔划时，通知所有进行监听的识别器，使得每个识别器可以转而检查该笔划是否与该识别器正在寻找的项目类型相匹配。

单个笔划可以触发若干个笔划识别器4502，并且由所有识别器4502成功地匹配。因此，笔划也可以具有多个重叠的注释4426。例如，笔划可以被解释为箭头以及字母“t”。在这些解释共存的情况下，舍弃模棱两可的解释。当一种解释与另一种解释相斥时，更高层级的识别器可以移除冲突的注释(例如，除去任何文本注释中被识别为轴的箭头)。一旦出现了更新，就由识别器4502来适当地修改注释4426，以确保每个注释的底层含义与面板上的笔划相匹配。

识别器4502可以维持对笔划的若干个不同注释4426，其包括但不限于以下内容。另外，以下仅是可以实现笔划的一些例子。

箭头：用户可以通过绘制用于轴的两个箭头(每个箭头单独地输入)来开始制表过程。在一种设计方案中，出于性能原因可以使用单笔划箭头。由箭头识别器来维持箭头注释4426，其中箭头识别器“监听”(或观察)形状类似箭头的原始笔划。

图表：在将两个(几乎)交叉的箭头识别为轴时，系统为该图表创建图表注释。在该结构内存储用于图表的语义信息，其包括由用户加载的后端数据集、x轴和y轴刻度标记在轴上的的逻辑放置、以及哪些列加载到哪些轴。由特定的识别器(其仅监听交叉箭头)来生成图表注释，但一旦被实例化，则图表注释由其自己的图表识别器(其监听轴刻度(原始笔划)和轴标记(文本菜单/图例注释)更新)来管理。当用户向系统添加笔划时，根据需要在内部对笔划进行注释，并且结果向上级联为涵盖图表注释。通过独立地处理多个图表注释，允许用户绘制将适合屏幕(可视化表面或界面组件)的任意数量的图表。替代地，用户可以调用设备可获取的图表。

轴图例：与每个图表注释一起创建的轴图例是两个图例注释，颜色轴和形状轴各一个。这些数据结构保存关于(通过标记菜单注释)为该轴选择哪个数据列以及应用于该列数据的过滤器的数据。由图例识别器来使这些注释保持最新，其中图例识别器监听勾掉从列所填充的值的原始笔划，以及对标记菜单注释的改变(其对哪个数据列被选择用于该轴进行修改)。

标记菜单：标记菜单注释可以具有两种形式。第一并且最简单的形式定义用于文本输入的区域。当用户在该区域中书写时，相关联的标记菜单识别器监测所产生的文本注释(例如，如从对库的查询返回的)，并且在可能的选项间选择第一个部分匹配。例如，给定列名称的列表(例如，“Country(国家)”、“Population(人口)”、“Year(年份)”)作为选项，则笔划集合一旦被注释为“C”、“CO”、“COU”等等，标记菜单就将其选择设置为“Country”。第二种类型的标记菜单在文本输入区域下面显示可用选项列表。用户然后可以圈出该用户期望选择的选项。利用这种类型的标记菜单，菜单识别器还监听圈出选项的原始笔划。一旦圈出了选项，识别器就通过设置其选择来更新注释。第三种类型可以合并其它两种类型的组合，使得当用户书写文本时，系统显示与所输入的文本相匹配(即，包含所输入的文本)的列名称的列表。

条形：当用户在可视化表面或界面上绘制条形的笔划时，进行监听的条形识别器创建条形注释。图表识别器然后检查该注释中所定义的条形是否穿过(交叉)x轴，并且如果存在交叉，则将其图表注释改变为条形图。

识别器4502更新和管理注释的底层数据，而呈现器4504具有向用户显示注释4426中所定义的状态的任务。每个注释/识别器定义交互的方法，通过改变面板的外观来向用户传送该方法的细节。可以将呈现限制于向面板添加图形(而无需移除或整理用户笔划)，以鼓励用户通过先前的笔划来修改图表。

所呈现的图表在用户绘制的轴和刻度标记上覆盖直线，并且在面板上的正确位置处绘制着色的点/符号/条形。所呈现的图表然后调用标记菜单和图例呈现器以打印文本，该文本来自图表的文本输入区域中笔迹的经识别结果。

识别器4502可以与特定的注释4426和呈现器4504相关联。例如，图表识别器4506可以具有图表注释4508和图表呈现器4510(例如，其呈现轴、刻度、图例、点和条形)。类似地，条形识别器4512可以具有相同的图表注释4508和图表呈现器4510。箭头识别器4514可以具有x/y轴箭头注释4516和箭头呈现器4518。图例识别器4520可以具有形状图例注释4522和颜色图例注释4524。标记菜单识别器4526可以具有形状图例标记菜单注释4528、颜色图例标记菜单注释4530、功能菜单注释4532和x/y轴菜单注释4534，以及标记菜单呈现器4536。如图所示，这些仅是可以采用的可能识别器、注释和呈现器中的一些。

换言之，公开了一种交互式系统，该交互式系统包括：数字交互式组件，其将用户交互作为直接应用于该数字交互式组件的笔划来接收；识别组件，其识别笔划并管理与笔划集合相关联的注释；呈现组件，用于呈现注释中所定义的状态；数据分析和处理组件，该组件基于图形表示来对用户数据执行操作，以创建用户数据的图形视图；以及演示组件，该组件呈现与笔划和数字交互式组件相关联的用户数据的图形视图。

响应于用户交互，演示组件可以实时地将图形视图和基于图形表示的用户数据的特征投影到数字交互式组件上。用户交互可以是自由形式的笔划，该笔划表明图表、图形、箭头、图例、菜单、缩放、过滤、着色、数据变换或擦除中的至少一个。对用户交互进行解释和识别以实现对用户数据的分析。对用户交互进行处理，以基于符号或手势来实现对图形表示的改变、经由函数来变换用户数据、以及对用户数据的过滤等等。用户交互可以包括多个基于草绘的笔划，其中这些笔划应用于数字交互式组件并被同时识别，以创建相应所表明的图形表示。

现在参照图46，该图示出了根据所公开的体系架构的、利用计算机辅助的数据分析来执行基于草绘的交互的计算系统4600的框图。为了提供针对该计算系统的各个方面的另外的上下文，图46和下面的描述旨在提供对可以实现各个方面的适当计算系统4600的简短的一般性描述。虽然上面的描述在计算机可执行指令(其可以在一个或多个计算机上运行)的一般性上下文中，但本领域技术人员将认识到，新颖的实施例也可以结合其它程序模块来实现和/或实现为硬件和软件的组合。

用于实现各个方面的计算系统4600包括：计算机4602，其具有处理单元4604；计算机可读存储设备，例如系统存储器4606；以及系统总线4608。处理单元4604可以是各种商业可用的处理器中的任何一种，例如单处理器、多处理器、单核单元和多核单元。此外，本领域技术人员将意识到，可以利用其它的计算机系统配置来实现新颖的方法，包括小型计算机、大型计算机，以及个人计算机(例如，台式计算机、膝上型计算机等等)、手持式计算设备、基于微处理器的或可编程的消费性电子产品等等，其中每一个可以操作地耦合到一个或多个相关联的设备。

系统存储器4606可以包括计算机可读存储设备(物理存储介质)，例如易失性(VOL)存储器4610(例如，随机存取存储器(RAM))和非易失性存储器(NON-VOL)4612(例如，ROM、EPROM、EEPROM等等)的。基本输入/输出系统(BIOS)可以存储在非易失性存储器4612中并且包括例如在启动期间有助于计算机4602内的组件之间传送数据和信号的基本例程。易失性存储器4610还可以包括高速RAM(例如，静态RAM)，以便对数据进行高速缓存。

系统总线4608提供用于系统组件(其包括但不限于系统存储器(例如，存储器子系统)4606)到处理单元4604的接口。系统总线4608可以是若干类型的总线结构中的任何一种，该系统总线可以使用各种商业可用的总线体系架构中的任何一种来进一步互连到存储器总线(具有或不具有存储器控制器)和外围总线(例如，PCI、PCIe、AGP、LPC等等)。

计算机4602还包括机器可读存储子系统4614和存储接口4616，以便将存储子系统4614对接到系统总线4608和其它期望的计算机组件。例如，存储子系统4614(物理存储介质)可以包括以下各项中的一项或多项：硬盘驱动器(HDD)、磁性软盘驱动器(FDD)和/或光盘存储驱动器(例如，CD-ROM驱动器、DVD驱动器)。例如，存储接口4616可以包括诸如EIDE、ATA、SATA和IEEE1394之类的接口技术。

一个或多个程序和数据(包括操作系统4620、一个或多个应用程序4622、其它程序模块4624和程序数据4626)可以存储在系统存储器4606、机器可读和可移动存储子系统4618(例如，闪速驱动形式因素技术)和/或存储子系统4614(例如，光学、磁性、固态存储子系统)中。

操作系统4620、一个或多个应用程序4622、其它程序模块4624和程序数据4626可以包括图44的系统4400中的实体和组件、图45的系统4500中的实体和组件等等。

通常，程序包括执行特定任务或者实现特定抽象数据类型的例程、方法、数据结构、其它软件组件等等。操作系统4620、应用程序4622、模块4624和/或数据4626中的全部或一部分还可以例如在存储器(例如，易失性存储器4610)中。要意识到，可以利用各种商业可用的操作系统或者操作系统的组合(例如，作为虚拟机)来实现所公开的体系架构。

存储子系统4614和存储器子系统(4606和4618)充当用于对数据、数据结构、计算机可执行指令等等进行易失性和非易失性存储的计算机可读介质。当这些指令被计算机或其它机器执行时，可以使得计算机或其它机器执行方法的一个或多个动作。用于执行动作的指令可以存储在一种介质上，也可以存储在多种介质上，使得指令统一地出现在一个或多个计算机可读存储介质上，而不管所有指令是否在相同介质上。

计算机可读介质可以是可由计算机4602访问的任何可用介质，并且包括可移动或者不可移动的易失性和非易失性的内部和/或外部介质。对于计算机4602而言，介质容纳对具有任何适当数字格式的数据的存储。本领域技术人员应当意识到，可以使用其它类型的计算机可读介质(例如，ZIP驱动器、磁带、闪存卡、闪存驱动器、盒式磁带等等)来存储用于执行所公开的体系架构的新颖方法的计算机可执行指令。

用户可以使用诸如键盘和鼠标之类的外部用户输入设备4628来与计算机4602、程序和数据进行交互。其它的外部用户输入设备4628可以包括麦克风、IR(红外线)遥控装置、操纵杆、游戏板、摄像识别系统、手写笔、触摸屏、手势系统(例如，眼部运动、头部运动等)等等。用户可以使用板上用户输入设备4630(例如，触摸板、麦克风、键盘等等)来与计算机4602、程序和数据进行交互，其中计算机4602是例如便携式计算机。这些和其它输入设备经由系统总线4608，通过输入/输出(I/O)设备接口4632来连接到处理单元4604，但可以由其它接口(例如，并行端口、IEEE1394串行端口、游戏端口、USB端口、IR接口、短距离无线(例如，蓝牙)和其它个域网(PAN)技术等等)进行连接。I/O设备接口4632还有助于使用输出外围设备4634(例如，打印机、音频设备、摄像设备等等)，例如，声卡和/或板上音频处理能力。

一个或多个图形接口4636(其通常还称为图形处理单元(GPU))提供计算机4602和外部屏幕4638(例如，LCD、等离子)和/或板上屏幕4640(例如，用于便携式计算机)之间的图形和视频信号。还可以将图形接口4636制造为计算机系统电路板的一部分。

计算机4602可以使用经由有线/无线通信子系统4642到一个或多个网络和/或其它计算机的逻辑连接，在网络环境(例如，基于IP)中操作。其它计算机可以包括工作站、服务器、路由器、个人计算机、基于微处理器的娱乐设备、对等设备或者其它通用网络节点，并且通常包括相对于计算机4602所描述的元件中的许多或全部元件。逻辑连接可以包括到局域网(LAN)、广域网(WAN)、热点等等的有线/无线连接。LAN和WAN网络互连环境在办公室和公司中是常见的，并且有助于企业范围的计算机网络(例如，内联网)，所有这些都可以连接到全球通信网络(例如，互联网)。

当在网络互连环境中使用时，计算机4602经由有线/无线通信子系统4642(例如，网络接口适配器、板上收发机子系统等等)连接到网络，以便与有线/无线网络、有线/无线打印机、有线/无线输入设备4644等等进行通信。计算机4602可以包括调制解调器或者用于在网络上建立通信的其它单元。在网络化环境中，与计算机4602有关的程序和数据可以存储在远程存储器/存储设备中(如与分布式系统相关联)。将要意识到，所示出的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其它方式。

计算机4602可操作为：使用无线技术(例如，IEEE802.xx标准族)来与有线/无线设备或实体进行通信，例如，操作地设置在与例如打印机、扫描仪、台式和/或便携式计算机、个人数字助理(PDA)、通信卫星、与无线可检测标签相关联的任何一件设备或位置(例如，电话亭、报亭、休息室)以及电话的无线通信(例如，IEEE802.11空中调制技术)中的无线设备。这至少包括用于热点的Wi-Fi(或无线保真)、WiMax和蓝牙^TM无线技术。因此，通信可以是如对于常规网络的预定义结构，或者仅仅是至少两个设备之间自组织(adhoc)通信。Wi-Fi网络使用称为IEEE802.11x(a、b、g等等)的无线技术来提供安全、可靠、快速的无线连接。Wi-Fi网络可以用于使计算机彼此连接、连接到互联网、以及连接到有线网络(其使用IEEE802.3相关的介质和功能)。

方法示例

图47示出了一种示例性的交互式体验方法4700。在该情况下，在框4702处，该方法可以在图形用户界面(GUI)上显示数据可视化内容。GUI可以显示在各种设备上，包括数字白板、智能电话和平板设备。数据可视化内容的示例可以包括图表、图形、表格、照片、计算机生成的图形对象和/或已处理成数字图像的作品。可以本地地或者通过网络从存储设备中获取数据可视化内容。

从一个角度来看，GUI可以被认为是一个或多个用户创建新的数据可视化内容的“画布”。在一些实现方式中，通过手指触摸(例如，触摸)和/或笔触摸(例如，笔)的触摸可以是用于在共享画布上通过基本功能来创建新内容的主要输入机制。非常类似于物理白板，用户可以在画布上自由地书写。在一些情况下，画布可以是可滚动的，以创建(基本上)无限的画布。可以通过大量的形状识别器来自动地识别墨迹，从而弥合自由形式的墨迹与具有模式和行为的对象之间的差距。例如，当用户书写列表时，该方法可以识别该列表，并且开始绘制用于该列表中的下一项目的参考，以及提供用于墨迹转文本、排序等等的行为。

在框4704处，该方法可以接收与数据可视化内容相对应的手势。替代地，该方法可以接收与数据可视化内容和/或GUI有关的任何形式的命令或用户输入。例如，输入可以包括笔输入、触摸输入、身体手势、视觉暗示或者口述命令。在一些实现方式中，可以相对于一个设备(例如，平板设备)来进行输入，而在另一个设备(例如，数字白板)上查看数据可视化内容，或者在投影屏幕上查看数据可视化内容。手势或用户输入可以是针对于与数据可视化内容有关的各种操作。上面相对于图1-图41更详细地描述了特定的例子。

在框4706处，响应于手势，该方法可以确定用于对与数据可视化内容相关联的数据集进行组合的逻辑方式。替代地，该方法可以从数据集中提取数据，以生成该数据集的子集。可以使用所提取的子集来创建新的数据可视化内容。

在框4708处，该方法可以创建表示组合的数据集的新的数据可视化内容。

在框4710处，该方法可以在GUI上显示新的数据可视化内容。

图48示出了一种示例性的交互式体验方法4800。在该情况下，在框4802处，该方法可以在图形用户界面(GUI)上显示数据可视化内容。

在框4804处，该方法可以接收用户输入，以从数据可视化内容中提取可选对象。可选对象可以是数据可视化内容中的各个项目中的任何项目，包括：表格中的行、表格中的列、图表中的数据点和/或图片中的孤立图像等等。用户输入可以包括笔输入、触摸输入、身体手势、视觉暗示或者口述命令等等。可选对象可以是数据可视化内容中的数据的子集。

在框4806处，响应于用户输入，该方法可以根据与可选对象相关联的数据来创建新的数据可视化内容。可以使用所提取的子集来创建新的数据可视化内容。例如，可以提取表格中的行来创建新的表格。

在框4808处，该方法可以在GUI上显示新的数据可视化内容。

在框4810处，该方法可以允许用户经由新的数据可视化内容来操作与可选对象相关联的数据。例如，用户可以进一步从子集中提取可选对象，或者将子集与另一个子集或其它信息进行组合以创建新的数据可视化内容。或者，用户可以对子集执行各种形式的数据分析。

图49示出了一种示例性的交互式体验方法4900。在该情况下，在框4902处，该方法可以在图形用户界面(GUI)上显示一个或多个数据可视化内容。

在框4904处，该方法可以检测相对于一个或多个数据可视化内容的双手用户手势。在一些情况下，双手用户手势可以是“碰撞”手势。在其它情况下，双手用户手势可以是用于指示从数据可视化内容中提取数据的提取命令的手势。

在框4906处，该方法可以分析与一个或多个数据可视化内容相关联的数据，以基于双手用户手势和数据类型来确定用于对数据进行处理的逻辑方式。在一个例子中，该方法可以确定用户在执行相对于两个图表的碰撞手势，并且确定对该碰撞手势进行响应的逻辑方式是将图表组合成一个新图表(例如，对这两个图表的数据进行组合，并且使用组合的数据来创建新的图表)。此外，在该例子中，可以根据一个或多个数据可视化内容中的数据类型来推导出该方法所创建的新图表的类型。

在框4908处，该方法可以通过根据逻辑方式来对数据进行处理，从而创建新的数据可视化内容。在一个例子中，新的数据可视化内容可以包含单独可选对象，其中这些单独可选对象表示与新的数据可视化内容相关联的数据的子集。在一些情况下，除了双手用户手势以外，可以无需来自用户的进一步输入来生成新的数据可视化内容。

在框4910处，该方法可以在GUI上显示新的数据可视化内容。

可以由上面相对于图42-图46所描述的系统和/或设备和/或由其它设备和/或系统来执行所描述的方法。描述方法的顺序并非旨在被解释为限制性的，并且可以以任何顺序来对任意数量的所描述的动作进行组合，以实现该方法或者替代的方法。此外，可以用任何适当的硬件、软件、固件或者其组合来实现方法，使得设备可以实现该方法。在一种情况下，方法作为指令集存储在计算机可读存储介质上，使得计算设备的执行使得该计算设备执行该方法。

总而言之，本文所给出的技术可以提供用于在与数字显示设备的交互体验中，与数据可视化内容进行交互的低摩擦或无摩擦能力。用户可以使用直观的和/或广泛认可的用户命令来集体讨论想法，对数据进行操作以及以白板式交互来搜索信息。

结论

交互式数字显示器可以允许与数据可视化内容的交互。交互式数字显示器可以尝试识别用户输入，以提供包括对数据进行新的可视化的功能。数据可以包括新创建的内容，以及本地地和/或通过网络访问的现有信息。

可以通过与数据操作有关的功能的深度来区分本构思与现有的启用笔和启用触摸的设备。在本构思的一些实现方式中，交互式数字显示器可以自动地生成数据可视化内容的组合，从而提供查看组合的数据的新方式。交互式数字显示器可以允许用户对象或数据作为独立的功能项从数据可视化内容中分离，可以利用其它信息来进一步组合或分析这些独立的功能项。交互式数字显示器可以允许在计算机的计算能力的辅助下，在用户之间进行自然的集体讨论和合作活动。

虽然以特定于结构特征和/或方法动作的语言来描述了关于与数字显示器上的数据可视化内容进行交互的技术、方法、设备、系统等等，但要理解的是，所附权利要求书中定义的主题不一定限制于所描述的特定特征或动作。相反，上面所描述的特定特征和动作被公开为实现所主张的方法、设备、系统等等的示例性形式。

Claims (15)

1.一种设备，包括：

屏幕；

传感器；以及，

处理器，其被配置为：使得图形用户界面呈现在所述屏幕上，并且其中，所述图形用户界面被配置为：

从所述传感器接收输入，所述输入与由用户执行并由所述传感器检测的用户命令相关，

将所述输入解释为用于对第一数据可视化内容和第二数据可视化内容进行组合的碰撞手势，以及

响应于所述碰撞手势，自动地生成第三数据可视化内容，其中所述第三数据可视化内容表示来自所述第一数据可视化内容和所述第二数据可视化内容的数据的组合。

2.根据权利要求1所述的设备，其中，由所述用户执行的所述碰撞手势由以下各项组成：所述用户利用双手或者每一只手的一个或多个手指来选择所述第一数据可视化内容和所述第二数据可视化内容，并且同时将所述双手或者所述一个或多个手指向彼此移动。

3.根据权利要求1所述的设备，其中，所述图形用户界面还被配置为：通过检查来自所述第一数据可视化内容的第一数据集和来自所述第二数据可视化内容的第二数据集的共同类别，来自动地生成所述第三数据可视化内容。

4.根据权利要求3所述的设备，其中，所述第三数据可视化内容是至少部分地基于所述共同类别的。

5.根据权利要求1所述的设备，其中，所述图形用户界面被配置为显示所述第三数据可视化内容。

6.根据权利要求1所述的设备，其中，所述图形用户界面还被配置为：

从所述传感器接收另一个输入；

将所述另一个输入解释为用于从所述第三数据可视化内容中提取数据子集的提取手势；

响应于所述提取手势，自动地创建第四数据可视化内容，其中所述第四数据可视化内容显示所述数据子集；以及

在所述图形用户界面上显示所述第四数据可视化内容。

7.根据权利要求6所述的设备，其中，所述提取手势是由所述用户关于所述第三数据可视化内容中的一个或多个可选对象来执行的，所述可选对象表示所述数据子集。

8.根据权利要求7所述的设备，其中，所述第四数据可视化内容以不同于所述第三数据可视化内容的形式来呈现所述数据子集，并且所述第四数据可视化内容包括单独可选的新对象。

9.根据权利要求6所述的设备，其中，所述第四数据可视化内容与所述第三数据可视化内容一起显示在所述图形用户界面上。

10.一种系统，包括：

存储设备，其被配置为存储计算机可读指令；

处理器，其被配置为执行所述计算机可读指令；

手势识别组件，其被配置为：识别由用户相对于数据的一个或多个可视化内容的显示器来输入的手势；

数据分析和处理组件，其被配置为：

响应于所述手势，分析与所述一个或多个可视化内容相关联的所述数据，以及

根据所述手势，确定用于对来自所述一个或多个可视化内容的所述数据中的至少一些数据进行处理的逻辑方式；以及，

可视化内容呈现组件，其被配置为生成新的可视化内容，其中所述新的可视化内容表示来自所述一个或多个可视化内容的所述数据中的所述至少一些数据，

其中，所述处理器被配置为执行与以下各项中的至少一项相关联的所述计算机可读指令：所述手势识别组件，所述数据分析和处理组件，或者所述可视化内容呈现组件。

11.根据权利要求10所述的系统，其中，所述系统还包括传感器，其中所述传感器接收所述手势。

12.根据权利要求10所述的系统，其中，所述系统还包括所述显示器。

13.根据权利要求10所述的系统，其中，所述一个或多个可视化内容包括多个可视化内容，并且所述新的可视化内容表示来自所述多个可视化内容的组合的数据。

14.根据权利要求10所述的系统，其中，所述新的可视化内容表示从所述一个或多个可视化内容中提取的数据。

15.根据权利要求14所述的系统，其中，所述一个或多个可视化内容包含可选对象，所述手势与单独可选对象相关，并且所提取的数据与所述单独可选对象相关联。