CN111742283A - 混合现实中内容的弯曲显示 - Google Patents

Abstract

实施例涉及高效地观看三维(3D)空间中的数据项。3D空间包括相对于3D空间中的用户控制视点是凹形的弯曲表面。该视点用于控制3D空间的呈现视图的方向和位置。数据项具有与之相关联的各个值。数据项根据其值布置在表面上，以便用户观看数据项的难易程度随其值而变化；具有某些值的数据项可以被布置为通过操纵观看方向而比其它项(例如，具有较低值的项)更易于查看。易于查看的原因可能是该表面相对于视点如何进行定向、该表面的曲率的方向、控制参考方向的方向、该表面上的数据项的对齐等等。

Description

混合现实中内容的弯曲显示

背景技术

虚拟和增强现实系统(以下统称为“混合现实”)已经通常用于导航三维(3D)信息和3D空间。用户与3D混合现实的交互主要涉及3D空间中的导航。最近，人们意识到混合现实不仅可以用于展示三维空间，而且还可以用于对本质上不是3D的数据进行3D探索。

例如，考虑可能需要以三维方式来呈现一组数据项。3D混合现实中的数据项的呈现仅模仿了二维下的数据项的呈现。例如，在2D用户界面中使用二维(2D)网格。可以以多种方式将这样的网格转换为3D空间，例如通过将网格纹理映射到3D空间中的表面或对象上。或者，可以将网格呈现为浮动2D矩形等等。无论在3D空间中如何显示网格，网格在3D空间中的交互行为通常与2D用户界面中的网格没有什么不同。如果3D混合现实中的网格包括滚动行为，则滚动行为可能与2D用户界面中的网格几乎相同；在用户输入的方向上滚动固定布局的数据项。

另外，该组数据项在三维中的布置方式与它们在二维中的布置方式几乎没有什么不同。可以根据数据项的特征或参数来排序显示的数据项。数据项的布局(即使在3D空间中呈现)也反映了2D布局的情形。但是，在混合现实系统中，数据项的布置和呈现方式并未与许多这样的混合现实系统的特征相协调。

发明内容

包含以下的概括部分，仅是用于介绍在下面的详细描述中讨论的一些概念。该概括部分不是全面的，其并不是旨在描述所要求保护的主题的保护范围，其中保护范围由最后给出的权利要求书进行阐明。

实施例涉及高效地观看三维(3D)空间中的数据项。3D空间包括相对于3D空间中的用户控制视点是凹形的弯曲表面。该视点用于控制3D空间的呈现视图的方向和位置。数据项具有与之相关联的各个值。数据项根据其值布置在表面上，以便用户查看数据项的难易程度随其值而变化；具有某些值的数据项可以被布置为通过操纵观看方向而比其它项(例如，具有较低值的项)更易于查看。易于查看的原因可能是该表面相对于视点如何进行定向、该表面的曲率的方向、控制参考方向的方向、该表面上的数据项的对齐等等。

下面将参考结合附图考虑的具体实施方式来解释许多附带的特征。

附图说明

根据下面参照附图阅读的具体实施方式，将更好地理解本文的描述，其中在附图中，相似的附图标记用于表示相似的部分。

图1显示了混合现实呈现，其中观看者或用户的眼睛接收(i)从物理空间反射的真实世界的光和(ii)计算机呈现的光的混合。

图2显示了混合现实配置，其中用户的眼睛主要接收计算机呈现的光。

图3显示了混合现实系统的虚拟现实(VR)变型。

图4显示了混合现实中的3D表面。

图5显示了输入/控制系统和数据项表面的视图。

图6显示了如何管理和呈现数据项。

图7显示了用于配置和控制表面的输入流程。

图8显示了用于根据与数据项分别相关联的值，来布置这些数据项的过程。

图9显示了用于将表面的布置链接到视点或输入/控制系统的特征的过程。

图10显示了如何在表面上对齐数据项。

图11显示了可以在其上实现本文描述的实施例的计算设备的细节。

具体实施方式

图1到图3显示了可以应用本文描述的实施例的混合现实的类型。如背景技术中所指出的，本文所使用的术语“混合现实”是指虚拟现实和各种类型的增强现实。

图1显示了混合现实呈现，其中观看者或用户100的眼睛接收：(i)从物理空间104反射的真实世界的光102和(ii)计算机呈现的光106的混合。也就是说，用户将混合现实感知为计算机生成的光和真实世界的光的组合。真实世界的光102是来自周围环境源的光(人造或自然光)，其从物理空间104反射并照原样传递到用户100的眼睛；真实世界的光不是计算机呈现的光，并且可以直接通过反射和/或通过透明或光学转换材料传播到眼睛。相比而言，计算机呈现的光106由任何类型的显示设备108发出，该显示设备108将计算机生成的视频信号110转换成形成为与视频信号110的内容相对应的图像的光。

显示设备108可以是任何类型的这种信号到光转换设备。在图1所示的混合物理-虚拟现实的类型中，显示设备108可以是任何类型的设备，其允许真实世界的光102和计算机呈现的光106(由显示设备108生成)同时都落在用户100的眼睛处，从而在用户100的视网膜上形成合成的物理-虚拟图像。显示设备108可以是透明或半透明的设备(如下文中所使用的“透明”也称为“半透明”)，其既可以生成计算机呈现的光106，又可以使真实世界的光102通过(通常称为“平视”显示器)。在图1的情况下，显示设备108可以是安装在护目镜或眼镜上的小型视频投影仪，其将图像投影到护目镜或眼镜的透明镜片上(头戴式平视显示器)。显示设备108可以是投影到较大的透明表面上的投影仪(固定平视显示器)。显示器设备108可以是小型投影仪，其直接投影到用户的视网膜上而无需用户使用反射表面。显示设备108可以是透明的体积显示器或三维(3D)投影。可以将视频信号110转换为可见光并且还可以允许这种光与物理世界光进行组合的任何类型的设备，都适用于图1所示的混合现实类型。

图2显示了一种混合现实配置，其中用户100的眼睛将混合现实感知为主要是计算机呈现的光106。计算机呈现的光106包括呈现的视频，其帧包括：(i)如照相机120捕获的物理空间104的真实世界图像数据；以及(ii)由计算机生成的虚拟图像数据。虚拟图像数据是由计算机生成和呈现的，例如，在用户102的交互地控制下，根据3D空间的模型122、二维(2D)模型(例如，视窗式桌面)、或者其它虚拟空间来生成和呈现。在这种类型的混合现实中，用户102可以看到完整的计算机呈现图像，但是视图所看到的图像既包括人工生成的图形数据，也包括照相机120提供的图像数据。应当注意，来自相机120的视频信号可以是预先记录的信号，也可以是实时信号。混合现实由显示设备108呈现，其可以是平板显示器、触摸敏感式显示表面、投影仪、体积显示器、头戴式显示器(例如，虚拟现实(VR)护目镜)、或者用于产生由计算设备产生的视频的全帧呈现的任何其它技术。

图3显示了混合现实系统的VR变型。这种类型的混合现实主要是计算机导出的。如同图2，提供了3D空间的模型122。用户102操纵视点或虚拟相机130，VR引擎将3D空间中的视图呈现为被虚拟相机130“看到”。VR引擎生成图形，计算机将图形转换为视频信号，以供显示设备108然后显示。显示设备108可以是上面所讨论的任何类型的显示器。除了本文所描述的信息增强和相关技术之外，基本的3D建模、呈现和显示是常规的，并且在其它地方也可以容易地找到其描述。可以将VR变型视作为一种形式的混合现实，这是因为建模的3D空间内的伪像可能包括捕获的物理对象或风景的图像数据。例如，可以将先前捕获的人物的视频或数字图像合并到3D空间122的模型中。可以将真实世界的图像数据建模为独立的对象(例如，矩形、椭圆形等等)，例如，在3D空间122的模型中进行三维布置和定向的2D数字照片。真实世界的图像数据也可以合并为3D对象的纹理或者在3D空间中建模的表面(例如，将纹理映射到显示器的3D模型、相框、墙等等)。

图4示出了混合现实142中的3D表面140。用户操纵输入/控制系统144来改变混合现实142中的观看方向或者虚拟相机或视点146的方向145和/或位置。可以根据视点146的位置和方向145来呈现和显示混合现实142中的视图(相机投影)。随着视点146的位置/方向根据来自输入/控制系统144的输入而变化，呈现将相应地发生改变。

输入/控制系统144可以是可由用户操纵以在混合现实142中提供三维输入控制的任何类型的已知硬件和软件系统。输入/控制系统144优选地可以通过能够映射到混合现实142中的视点146的平移和旋转(translation and rotation)的方式，来与用户物理地进行交互。

在一个实施例中，输入/控制系统144包括一个或两个手持输入设备，其可以例如使用陀螺仪进行感测和/或被感测，以提供诸如方向、平移、3D点等等之类的3D输入。手持输入设备可以具有可感知的方向，其可以用于控制混合现实中的虚拟指针；用户可以将手持式输入设备指向不同的物理方向以控制混合现实中的指针的位置，该指针转而可以用于与混合现实进行交互(其包括与表面140进行交互)。输入/控制系统144可以另外地(或替代地)涉及头戴式显示器，也对头戴式显示器的位置和方向进行感测并使用其以允许在混合现实142内进行交互和/或导航。

在另一个实施例中，输入/控制系统144可以是感测用户和/或用户所持有的物体的位置/方位的一组固定传感器(例如，雷达、照相机)。可以使用固定传感器和个人传感器的组合。在另一个实施例中，输入/控制系统144可以是语音识别系统，其中用户说出语音命令，该语音命令被识别并映射到控制输入(例如，“向左移动”、“凝视”、“向前移动并向右看90度”、“一边凝视左右一边继续侧向移动”等等)。

可以使用已知的物理输入系统的任何组合，其允许用户在至少两个维度上控制视点146的凝视方向。为此，甚至可以使用仅感测二维的输入硬件。在头戴式显示器的情况下，假设混合现实142中的任意参照系，并且假设视点146相对于表面140的固定位置，则输入/控制系统144允许用户控制视点146处的凝视方向的方位角和高度。如本文所使用的，“方位角”和“高度”是相对术语，并且其并不限于任何特定的虚拟或物理参考系(例如，重力)。

输入/控制视点146(或者混合现实142)也可以具有独立于凝视方向145的参考方向148，该参考方向148用于对表面140(或数据项150的布局)进行定向。例如，可能存在相对于表面混合现实142进行定向的轴148。可以以多种方式设置轴148。例如，参考方向148可以对应于感测的头部/身体方向，其中，通过从一侧到另一侧(side-to-side)的头部旋转来控制方位角，并且通过头部倾斜(head tilting)来控制高度。可以通过手持设备的方向来控制参考方向148。在任何情况下，都可以使用参考方向148在混合现实142中对表面140进行定向。一些实施例不使用参考方向148，或者参考方向148是固定的(例如，垂直)。

图5示出了输入/控制系统142和数据项150的表面140的另一视图。在混合现实中呈现表面140的图像可以变现为围绕表面140的虚线矩形(虚线矩形表示根据视点146的位置和方向进行定位和定向的混合现实142中的投影。如上所述，表面140包括使用下面进一步描述的技术来布置的数据项150。

用户可以使用输入/控制系统146来导航或操纵表面140。在一个实施例中，表面140像混合现实142中的任何其它对象一样，并且通过视点146的普通平移/瞄准来观察。通过视点146，用户可以更改方向145的方位角和高度以凝视表面140的不同部分。如果使用参考方向148，则表面140的方向(相对于混合现实142的当前呈现视图)可能取决于参考方向148。例如，如果参考方向148是通过用户头部的方向驱动的，则可以相对于混合现实142重新调整表面140的方向，以保持与用户头部的方向对齐的方向。

输入/控制系统146可以用于以几种方式来查看或操纵表面140。如上所述，可以以查看混合现实中的任何其它对象的相同方式来查看普通的3D方位/高度控制。也就是说，表面140相对于混合现实是固定的，并且被视为混合现实的静态部分。在其它实施例中，表面140具有动态行为。如上所述，表面140可以在方向上锁定到参考方向。

表面140可以配置为滚动类型的行为；输入/控制系统146的操纵导致表面140相对于混合现实而改变。例如，表面140可以基于方位角控制输入(例如，头部向左或向右旋转)，沿方位角方向旋转。对具有足够角度和方向的凝视方向145的变化的检测可以引起表面140的自动滚动，其中可以通过凝视方向145的角度或角速度来控制速度。可以通过改变混合现实中的表面140的3D模型和/或通过改变映射到3D模型的表面的图形内容，来实现这种自动滚动。前一种情况可以涉及以类似于使圆柱体绕其中心轴旋转的方式来旋转表面的3D模型。后一种情况可以涉及在表面上绘制滚动数据项150的动画。总之，用户可以使用输入/控制系统142来控制如何观看表面140。

表面140的形状优选地相对于视点在至少一个维度(例如，方位角)上是凹形的。在一个实施例中，表面140是圆柱体的一部分，当视点与圆柱体的轴重合时，这将使圆周线上的所有数据项与视点等距。可以使用任何类型的弯曲形状；圆锥形截面、球形或球形截面等等。此外，如本文所使用的术语“表面”是指比文字表面更笼统的结构类别。可以将表面140实现为混合现实环境提供的任何类型的物体或对象。表面140可以是网格模型或数学模型(例如，非均匀有理基础样条)。替代地，表面140可以是相对于焦点(例如，视点146的位置)定义的点的轨迹，并且数据项150是混合现实142中的根据轨迹定义来布置在混合现实142中的不同对象。换句话说，可以将表面140实现为数据项150的内聚云(cohesive cloud)，可能共同形成类似于圆柱体表面的形状。在另一个实施例中，将表面140实现为投影，其中从虚拟投影仪投影的数据项具有如下所述的径向布置，使得在混合现实中显示数据项的位置取决于投影落在哪些对象上。

虽然数据项150通常可以形成凹形弯曲形状，但是它们并不必被布置为光滑表面。可能存在一个平滑的模型(数学或网格)，但数据项并没有严格按照该模型来进行布置。而是，数据项与该模型的表面的法线距离会发生变化，可能是根据数据项的参数来设置的。如本文所使用的术语“表面”是指用于显示数据项150的工具，指代上面所提及的所有实施方式变型。

数据项150可以是信息的任何任意对象或单元。通过显示为表面140的一部分的相应图形来表示每个数据项150。该图形可以是片段(patch)、图像、3D模型等等。该图形可以是平坦的或弯曲的。数据项150包括一些共同的特征或参数，它们的值因项而异。例如，每个数据项150可以具有整数分数。数据项150可以具有许多参数，可以如下面进一步描述的那样使用。数据项150的参数可以是任意类型的信息，例如数值、关键字、键入数据、相关性分数、元数据等等。在一个实施例中，数据项150是具有典型摄影参数(元数据)的数字照片，或许还具有根据应用的其它信息(例如，关键字子集、针对当前主题或查询的相关性，等等)。在另一个实施例中，数据项150的图形表示仅仅是图形构造，例如绘制的矩形、图标等等。数据项的表示可以与数据项的参数有关，也可以与其无关。这些图形表示可以具有变化的大小和其它特征，其中任何一个都可以作为表面布置参数。可以对这些图形表示进行定向以匹配表面的曲率、参考方向等等。如果图形表示是平坦的，则可以将它们定向为：在表面上由算法确定的放置它们的位置处，面向该表面的相应法线的方向上。也就是说，这些图形表示可以面向弯曲表面的视点或焦点(或纵轴)。

图6示出了可以如何管理和呈现数据项150。这些数据项源自诸如数据库、搜索引擎、自定义数据存储、标记文本文件等等之类的信息源160。如上所述，虽然图6的例子仅显示了一个参数，但数据项可以具有多个参数。可以部分地利用控制表面140上的数据项的选择和布置的UI逻辑162，来实现表面140。可以将UI逻辑162实现或托管在实现混合现实环境的软件中，但也可以在其它地方(例如，设置定义模块164)实现各部分。设置定义模块164接收设置定义标准(例如，每个用户输入)，并从信息源160中选择适当的数据项。所获得的当前项目集166由当前将在表面140上呈现的数据项组成。

UI逻辑162还包括设置呈现模块168。设置呈现模块168管理当前项目集166中的数据项在表面140上的布局。在一个实施例中，设置呈现模块168将数据项的值或参数映射到2D坐标(例如，网格坐标或笛卡尔坐标)，并且单独的逻辑将2D布局映射到表面。在另一个实施例中，呈现模块168直接在混合现实中布置数据项，从而实现数据项的凹形呈现。在混合现实中如何布置数据项的细节将变得显而易见。

图7显示了配置和控制表面140的输入流程。使用上面所描述的任何一种技术来输入用户输入180。一些用户输入控制项选择功能182。项选择功能182将数据项150传递给映射184。映射184将与数据项相关联的一个值(或多个值)(例如，参数、元数据字段、计算的相关性分数等等)映射到放置信息。该放置信息将数据项放置在表面140上(或者放置在3D空间中，以形成表面)。如上所述，用户输入180还可以操纵视图控制模块186，该视图控制模块186调控视点的位置和/或方向。

项选择功能182可以是针对搜索引擎的接口，其中用户定义了搜索标准，并且搜索引擎返回通过针对该搜索标准的相关性而给出分数的数据项；在这种情况下，映射184将该分数映射到表面140。再举一个例子，网络服务提供餐馆的评论，数据项是餐馆的评论记录，并且餐馆通过其图像来表示。用于选择或设置主题的用户界面也可以用作选择功能182。每当用户选择新主题时，就形成并显示与该主题最相关的一组数据项。数据项或者其元素的选择本身可以改变主题。可以使用使用户能够定义一组数据的任何已知技术。

可以将映射184实现为从一个或多个维度(数据项的属性)到表面140的2维或3维的任何类型的变换。一些变换可能特别有用。考虑可以以创建首选控制方向的方式来设计某些输入/控制系统。像在通过头部方向来控制凝视方向的系统那样，将凝视(视点)在一个方向(例如，左右)上移动可能比在另一个方向(例如，上下)上移动更容易。在这些系统中，由于更容易从一侧到另一侧移动头部，因此可以利用使用户的视觉探索更有可能从一侧到另一侧(from side to side)的方式来布置数据项。相反，如果存在更难使用的方向(例如，凝视方向的高度)，则可以布置这些数据项以使在该方向上进行观看的需要减到最小。

当将要呈现的一组数据项被认为是需要调控将吸引用户的焦点或视图的视觉信息时，数据项的某些布置可以允许用户更高效地获取视觉信息。可以给每个数据项一个分数，该分数实际上对应于被用户观看或者被认为对于用户重要或相关的可能性。通过将在表面上具有相似或同等重要性的数据项沿着与首选/最容易的凝视运动的方向(例如，方位角)相匹配的方向进行布置，最容易的凝视控制方向可以与最可能的凝视运动的方向相一致，因此，当在视觉上浏览在表面140上显示的数据项时，减轻了用户的总体负担。

可以以任何方式来计算数据项的重要性或等级，以反映预期对用户重要的内容。在一种简单的实现中，重要性仅仅是每个数据项的特征(例如，由外部搜索引擎计算)。另一种实现方式涉及：可能以加权方式组合数据项的特征，以计算综合相关性或重要性分数。在另一个实施例中，可以将数据项映射到预定义的类别。将这些类别中的数据项布置在与优选的凝视控制方向对准的层中的表面140上。因此，用户可以通过仅查看该层来查看给定类别内的数据项，其涉及主要在最容易的方向(例如，从左到右)上进行凝视。

层或类别本身也可以进行排名。可以使用次要重要性分数/度量，将层基本上垂直于优选的凝视方向(例如，高度)进行布置。以这种方式，重要性在较难观看的方向上降低。在头部方向凝视控制的情况下，凝视高度在人机工程学上的效率较低，可以按重要性顺序来堆叠各层，其中将最重要的层设置为对应于最容易凝视方向的注视高度，例如“向前直视”或“视线”凝视方向。使用该技术，将最重要的类别/层布置在虚拟眼睛水平，而不太重要的层位于其上或其下。如果认为在一个方向比在另一个方向更容易观看(例如，向下观看比向上观看容易)，则最重要的层可以处于视线高度，而各层的重要性则在向下注视(高度偏斜)方向上降低。

可以通过多种方式来利用关于方向布局偏差和重要性的一般观察。如上所述，可以通过对齐数据项来提高信息细读的效率，从而可以以优选的凝视控制方向(例如，方位角)来查看用户可能认为具有同等重要性的项。因为用户可能会考虑所有这些同等重要的对齐数据项，所以用户更有可能凝视这些项，并且因此，在最容易的方向上产生了凝视的偏差。例如，由于更容易从一侧到另一侧旋转头部，因此将指向该方向(方位角)的凝视最大化是有益的。

映射184可以以提高凝视效率但是不需要严格的直线布局的方式，来映射数据项。考虑具有重要性/相关性两个维度的数据项。在表面140上的放置可以取决于这两个维度，其中向第一维度赋予较大的权重。层可以倾向于沿“容易凝视”的方向延伸，但朝前凝视的方向凸出。平均重要性相同的项倾向于与最容易凝视的方向(例如，方位角)对齐，并且重要性较低的项倾向于根据它们的重要性在另一个方向(例如，高度)布置的任何布置，都可能会受益，其中不太重要的项可以远离视线。另一种方法是部分地基于重要性并且部分地基于其它因素来放置数据项。例如，数据项可以根据主要基础而放置在带内，并且可以放置在次要基础的带内(例如，数据项的随机值或次要特征)。带内的次要放置可以涉及多个空间维度，例如，带内的位置以及与表面的距离。这些带也可以是三维管道(tube)、体积截面等等(只要数据项的放置存在方向性偏差即可)。

如上所述，一些实施例可以采用参考方向148。在这种情况下，如果将数据项映射到依次映射到表面模型的布局(例如，二维)，则可能期望将表面140与参考方向148对齐。如果在不使用表面模型的情况下将数据项直接映射到混合现实空间中的各个姿势，则映射184可以考虑参考方向148来相应地安排数据项。在一些实施例中，参考方向148是(或者指示)优选的凝视方向(例如，方位角)。表面本身可以根据其特征进行定向。例如，如果表面是圆柱形状的截面，则该特征可以是中心轴或者是针对表面曲率的方向的法线。以这种方式来定向表面的形状或曲率可以进一步提高观看效率。如果将表面定向为使其曲率方向(例如，方位角)与最容易凝视控制的方向对齐，则平均来说，当在容易凝视的方向上具有差不多相同的相对重要性的项中，从一个项到另一个项对焦点进行调控时，用户不需要重新调整眼睛的焦点。平均而言，用户可以花费更少的精力来调整其眼睛的焦点，以便在仔细阅读表面上的数据项时更进一步、更近地观看。

图8示出了根据分别与数据项相关联的值来布置数据项的过程。假设一组数据项。如上所述，可以根据与数据项来单独地导出相关联的值，或者它们可以是数据项的属性。在步骤200，存在触发或更新事件，该更新事件使得继续布置表面上的数据项。该更新事件可以是对与数据项相关联的值进行更改、对当前一组数据项中存在那些数据项进行更改、对正在使用哪些参数对数据项进行排名的更改、或者可能影响数据项的映射/排序的任何其它事件、当前一组数据项的构成等等。因此，在步骤202处，如果需要的话，可以导出或重新计算要在表面上显示的该组数据项。另外地或替代地，在步骤204处，获得、计算、重新计算或者以其它方式准备用于映射的每个数据项的值。在步骤206处，使用上面所描述的任何技术，根据数据项的值将数据项布置在表面上。

图9示出了用于将表面140的布置链接到视点或输入/控制系统的特征的过程。如上所述，输入/控制系统可以具有特征216，并且根据视点或输入/控制系统的特征来设置表面140的方向218可能是有帮助的。在一个实施例中，特征216是输入/控制系统(例如，手持式或头戴式设备)的方向、用户100的方向等等。在步骤220处，检测或读取特征216。在步骤222处，如果特征216不是方向的话，则使用特征216来确定参考方向148。在步骤224处，根据参考方向来设置表面140的方向218。如上所述，表面的方向218可以与表面的形状有关。例如，可以根据主曲率的方向或者最小曲率的方向来限定方向218。在一些情况下，可以对表面进行定向，使得输入/控制系统的最容易观察点旋转的方向(例如，方位角)与表面的最大曲率的方向对准。

还可以根据用户视点的位置，在混合现实中对表面进行定向或布置。可以将表面锁定到视点，以便当视点在混合现实中移动时，该表面与视点保持恒定距离并且保持面对视点。可以对视点凝视方向进行旋转，以便在不移动表面的情况下面对表面的不同点。如果视点位置发生变化，则表面将相应地变化。

如上所述，可以动态地改变正在显示的该组数据项。在一个实施例中，通过选择这些数据项中的一个数据项来挑选(seed)正在显示的该组数据项。选定的数据项控制用于布置数据项的排名/布局标准。例如，如果每个数据项都有一个主题字段，那么当选择一个数据项时，所选择的项的主题将成为当前主题，所选择的数据项将显示在表面的中心，并且与当前主题相关的其它数据项从所选数据项下方“展开”，以动画方式移动到通过与新主题的相关性而确定的表面上的位置。

另一种视觉增强功能是使混合现实空间中的现有对象的表面变形(distort)，以采取期望形状的表面来显示数据项。当需要显示表面时，逐渐在结构上或者在数学上更改表面，以将其形状更改为表面的形状。如果要移动表面，则变形动画可以显示表面位置/方向的变化。

图10示出了如何在表面140上对准数据项150。如上所述，可以根据表面140的参考点250或参考线252来对准数据项150。参考点250或参考线252可以是最大曲率的线或点、视点的水平线(或者其上的点)、交互地控制的参考方向等等。在表面140的下半部分所示的实施例中，映射184可以以线性的(或直线的)方式将数据项150映射到表面140。数据项的对准指向基准线252。数据项与基准线252的距离取决于各个数据项的值。在下半部分的示例中，数据项与基准线252之间的距离254随该值增加(或减小)。在图10的下半部分示例中，更暗的数据项比更亮的数据项具有更高的值(或更高的取值范围)。距离254可以随该值单调地增加(或减小)，或者可以按平均值进行调整，但是数据项的图形大小会有一些小的变化、避免网格模式的随机变化、由于数据项的次要值/特征而进行的微小调整等等。在图10的上半部分示例中，映射184可以将值映射到参考点250周围的径向图案。在这种情况下，距离256是与参考点250的距离。数据项的值可以映射到该数据项相对于参考点的距离和角度两者。替代地，该角度可以是随机的、由数据项的次要值确定的、或者通过其它方式来确定。

图11示出了可以在其上实现上述实施例的计算设备300的细节。计算设备300是能够执行本文所描述的各种(或者也许大多数)过程的客户端/个人设备或后端物理(或虚拟)服务器设备的例子。本文的技术公开将足以使程序员编写软件、和/或配置可重配置的处理硬件(例如，现场可编程门阵列(FPGA))、和/或设计专用集成电路(ASIC)等等，在计算设备300上运行(可能经由云API)以实现本文所描述的实施例。

计算设备300可以具有一个或多个显示器322、照相机(没有示出)、网络接口324(或者几个)以及存储硬件326和处理硬件328，它们可以是以下中的任何一个或多个的组合：中央处理单元、图形处理单元、模数转换器、总线芯片、FPGA、ASIC、专用标准产品(ASSP)或复杂可编程逻辑器件(CPLD)等等。存储硬件326可以是磁存储器、静态存储器、易失性存储器、非易失性存储器、光学或磁性可读物质等等的任意组合。本文所使用的术语“存储”的含义本身并非指代信号或能量，而是指物理设备和物质状态。计算设备300的硬件元件可以以机器计算领域中众所周知的方式进行协作。另外，输入设备可以与计算设备300集成，或者与计算设备300通信。计算设备300可以具有任何形状因数，或者可以在任何类型的包围设备中使用。计算设备300可以具有手持设备的形式，比如智能电话、平板计算机、游戏设备、服务器、机架式或背板式的板载计算机、片上系统或其它设备。

可以以存储在易失性或非易失性计算机或设备可读存储硬件中的信息的形式，来实现上面所讨论的实施例和特征。这被认为至少包括硬件，例如光存储(例如，压缩光盘只读存储器(CD-ROM))、磁介质，闪存只读存储器(ROM)、或者将数字信息存储到易于用于处理硬件328的任何方式。存储的信息可以采用机器可执行指令(例如，编译的可执行二进制代码)、源代码、字节码或者可用于启用或配置计算设备执行上面所讨论的各种实施例的任何其它信息的形式。这也被认为至少包括易失性存储器，例如，随机存取存储器(RAM)和/或虚拟存储器(其在执行实施例的程序的执行期间，存储诸如中央处理单元(CPU)指令之类的信息)、以及用于存储允许加载并执行程序或可执行文件的信息的非易失性介质。可以在包括便携式设备、工作站、服务器、移动无线设备等等的任何类型的计算设备上，执行这些实施例和特征。

Claims (15)

1.一种由一个或多个计算机执行的方法，所述一个或多个计算机包括处理硬件和存储硬件，所述方法包括：

生成和显示由以下各项组成的混合现实场景的呈现：三维(3D)空间的模型、在所述3D空间中具有视图位置和视图方向的视点、以及所述3D空间中具有面向所述视点的凹形3D曲率的表面，其中，所述视图方向是根据用户控制的旋转输入来调控的，其中，所述视图方向被配置为在第一方向和第二方向上移动；

访问一组数据项，所述一组数据项包括被配置为包括在所述混合现实场景的所显示的呈现中的各个值和各个图形表示；

根据所述各个值，在所述表面上布置所述数据项的所述图形表示，使得每个数据项的图形表示是至少部分地基于所述数据项的相应值而放置在所述表面上的；以及

根据所述视图位置和所述视图方向，生成布置在所述表面上的所述图形表示的所述呈现。

2.根据权利要求1所述的方法，其中，所述第一方向包括相对于所述表面的方位角方向，并且所述第二方向包括相对于所述表面的高度方向。

3.根据权利要求2所述的方法，还包括：

根据参考方向或操纵所述视点的用户或物体的方向，自动地使所述表面进行定向。

4.根据权利要求1所述的方法，还包括：

将映射应用于所述值以将所述数据项映射到所述表面上的位置，其中，所述映射将在所述表面上的所述第一方向上具有相同值的项对准。

5.根据权利要求1所述的方法，其中，所述图形表示是根据所述值而布置在所述表面上的，使得具有不同值的数据项的图形表示在所述第二方向上在所述表面上的位置不同。

6.根据权利要求5所述的方法，其中，对所述图形表示进行布置，使得具有相同值的数据项在所述第一方向上而不是在所述第二方向上在所述表面上的位置不同。

7.根据权利要求1所述的方法，其中，所述表面在所述第二方向上的曲率大于在所述第一方向上的曲率。

8.一种计算设备，其包括：

处理硬件；

显示设备；以及

用于存储使所述处理硬件能够执行处理的信息的存储硬件，所述处理包括：

对包括视点和图形项的3D空间进行建模，其中，所述视点具有用户可控制的方向，所述用户可控制的方向能够在所述视点处围绕旋转轴进行旋转，所述旋转轴在所述3D空间中具有方向，所述图形项具有参数的相应值；以及

在所述3D空间中布置所述图形项，以形成相对于所述视点是凹形的3D形状，其中，所述图形项根据其相应的值而彼此相对对齐，并且其中，所述对齐是基于所述旋转轴的所述方向而在所述3D空间中定向的。

9.根据权利要求8所述的计算设备，其中，所述值包括相应的分数，并且其中，所述图形项与所述3D形状的水平线具有相应的距离，所述距离至少部分地基于所述分数而变化，使得更高的分数进一步远离所述水平线。

10.根据权利要求9所述的计算设备，其中，所述水平线与所述图形项的所述对齐是对齐的。

11.根据权利要求8所述的计算设备，所述处理还包括：

通过选择所述图形项以匹配所述图形项的选择标准来对所述选择标准的设置进行响应，其中，所述选择标准是响应于针对所述图形项中的一个图形项的用户交互来设置的，并且所述处理还包括：通过将所述图形项中的所述一个图形项移动到所述3D形状的中心点或水平线来对与所述图形项中的所述一个图形项的交互进行响应。

12.根据权利要求8所述的计算设备，其中，所述图形项包括相应的图像，并且其中，所述值包括所述图像的相应特征。

13.一种存储信息的计算机可读存储设备，其中所述信息被配置为使计算设备执行处理，所述处理包括：

提供混合现实，所述混合现实包括：可由用户交互地指向的视点、相对于所述视点是凹形的弯曲表面；

从信息源访问一组数据项，并且使得当前的一组数据项能够通过与所述混合现实的用户交互来进行定义，所述当前的一组数据项具有各个参数；

在所述弯曲表面上布置所述当前的一组数据项，其中，在距所述弯曲表面上的参考点或参考线具有相应距离处，将所述当前组中的所述数据项布置在所述弯曲表面上，其中，所述距离变化并且根据所述参数来确定；

生成所述混合现实的呈现，其包括从所述视点看的所述弯曲表面；以及

显示所述呈现。

14.根据权利要求13所述的计算机可读存储设备，其中，所述距离是与所述弯曲表面上的所述参考线的距离，并且其中，所述参考线对应于所述视点的水平线、所述弯曲表面的主曲率的方向、或者交互地控制的参考方向，并且其中，所述线是根据所述视点的所述水平线、所述弯曲表面的主曲率的所述方向、或者所述交互地控制的参考方向来定向的。

15.根据权利要求13所述的计算机可读存储设备，所述处理还包括：

响应于所述视点的交互地指向，在所述弯曲表面上滚动所述当前数据项。

Images