CN103761085B - 混合现实全息对象开发 - Google Patents

Abstract

提供一种用于呈现自适应于混合现实环境的全息对象的系统和相关方法。在一个示例中，全息对象呈现程序从目标物理环境捕捉物理环境数据并创建包括具有相关联的特性的物理对象的该环境的模型。该程序标识用于在显示设备的显示器上显示的全息对象，该全息对象包括一个或多个规则，该规则将检测到的环境条件和／或物理对象的特性与全息对象的显示模式相链接。该程序基于检测到的环境条件和／或物理对象的特性，应用一个或多个规则来选择全息、对象的显示模式。

Description

混合现实全息对象开发

技术领域

本发明涉及全息对象，尤其涉及自适应混合现实全息对象。

背景技术

增强或混合现实设备可以在各种现实世界环境和场合中使用，以提供由全息对象和其他虚拟现实信息增强的现实世界视图。取决于使用混合现实设备的现实世界环境和场合，给定全息对象或其他虚拟现实信息可能适于或可能不适于这种环境和／或场合。例如，混合现实保龄球视频游戏可以利用与实物大小一样的全息保龄球球道和球瓶。这种全息对象可能适于在其中装得下保龄球球道的宽敞空间进行的游戏，而不适于在较狭小的空间进行的游戏，例如较小的起居室。

准确预测将使用应用程序或对象的现实世界环境和场合会向混合现实应用程序和／或全息对象的开发者提出挑战。因此，对于这些开发者来说，难以创建适于各种最终使用环境和场合的全息对象。

发明内容

为了解决上述一个或多个问题，提供一种自适应全息对象呈现系统和相关方法，该系统用于呈现自适应于混合现实环境的全息对象。在一个示例中，自适应全息呈现系统可包括显示设备和由该显示设备的处理器执行的全息对象呈现程序。该全息对象呈现程序可配置为从目标物理环境捕捉物理环境数据。该全息对象呈现程序可基于捕捉到的物理环境数据创建目标物理环境的模型，该模型包括具有相关联的物理对象特性的所标识出的物理对象。

该全息对象呈现程序可标识用于在该显示设备的显示器上显示的全息对象，该全息、对象包括一个或多个规则，该规则将检测到的环境条件和／或所标识的物理对象的物理对象特性与该全息对象的显示模式进行链接。然后，该全息对象呈现程序可基于检测到的环境条件和／或所标识的物理对象的物理对象特性，应用该一个或多个规则来选择该全息对象的显示模式。

在另一个示例中，提供一种用于开发自适应于混合现实环境的全息对象的方法。该方法可包括确定包括物理对象特性和相关联的值范围的物理环境数据模式。多个可能的目标物理环境中的每一个可由用这些物理对象特性中的每一个的特定物理数据值填充的物理环境数据模式的实例来表示。该方法还可确定包括虚拟环境特征和相关联的值范围的虚拟环境数据模式。多个可能的虚拟环境中的每一个可由用这些虚拟环境特征中的每一个的特定虚拟数据值填充的虚拟环境数据模式的实例来表示。

该方法可在显示器上显示全息对象创建界面，该全息对象创建界面配置为显示用于接收对应于该全息对象的显示模式的用户输入的至少一个选择器，该全息对象的显示模式基于物理环境数据模式的一个或多个物理对象特性和／或基于虚拟环境数据模式的一个或多个虚拟环境特征。该方法可经由该选择器接收对应于显示模式的用户输入，并可生成包括该显示模式的全息对象来作为输出。所生成的全息对象可配置为由全息对象呈现程序根据该显示模式在显示设备上呈现，其中目标物理环境可通过显示设备来查看。

该发明内容用于以简化的形式介绍概念的选集，其将在下面的具体实施方式中进一步描述。该发明内容并不打算标识所要求保护主题的关键特征或必要特征，也不打算用于限制所要求保护主题的范围。而且，所要求保护的主题不限于本说明书任何部分记载的克服任一或所有缺陷的实施方案。

附图说明

图1是根据本公开内容的一实施例的自适应全息对象呈现系统的示意图。

图2是图1的计算设备的更详细的示意图。

图3示出根据本公开内容的一实施例的示例性头戴式显示设备。

图4是物理环境的示意图，其示出由图1的自适应全息对象呈现系统生成的全息对象和戴着头戴式显示设备的用户。

图5A和5B是根据本公开内容的一实施例的用于呈现自适应于混合现实环境的全息对象的方法的流程图。

图6是根据本公开内容的另一实施例的自适应全息对象开发系统的示意图。

图7是根据本公开内容的一实施例的用于开发自适应于混合现实环境的全息对象的方法的流程图。

图8是计算设备的一实施例的简化示意图。

具体实施方式

图1示出用于呈现自适应于混合现实环境12的全息对象的自适应全，息对象呈现系统10的一个实施例的示意图。再参照图2，自适应全息对象呈现系统10包括在计算设备22的大容量存储18中存储的全息对象呈现程序14。全息对象呈现程序14可以加载到存储器26中，并且由计算设备22的处理器30执行，以执行在下文中更详细描述的一个或多个方法和过程。

在一个示例中，全息对象呈现程序14可生成用于在诸如头戴式显示(HMD)设备38等显示设备上显示的虚拟环境34设备。将理解，全息对象呈现程序14可以利用其他类型的显示设备，包括但不限于透明显示器、手持式显示器、使用背景相机覆盖的显示器和任何其他适当类型的显示器。如下文中更详细地解释的，虚拟环境34可包括包含一个或多个显示模式的一个或多个全息对象78。在其他示例中，虚拟环境34可由经由网络42由计算设备22访问的分开的虚拟环境生成程序(未示出)生成。将理解，虚拟环境34可以提供交互式视频游戏、动画体验、或其他适当的电子游戏或体验的形式的增强现实体验。

HMD设备38包括透明显示器58，通过该透明显示器用户可以观看目标物理环境50。HMD设备38还可从目标物理环境50捕捉物理环境数据46。目标物理环境50可包括一个或多个物理对象，诸如第一物理对象52和第二物理对象54。通过使用这种物理环境数据46，全息对象呈现程序14可创建目标物理环境50的模型56。如下文中更详细的解释，模型56可包括从目标物理环境50中标识的一个或多个物理对象，每一个物理对象具有相关联的物理对象特性。

计算设备22可使用有线连接与HMD设备38可操作地连接，或可采用经由WiFi、蓝牙或任何其他适当的无线通信协议的无线连接。另外，在图1中示出的示例示出了计算设备22作为HMD设备38中的集成组件。将理解，在其他示例中，计算设备22可以是与HMD设备38分离的组件。在这些示例中，计算设备22可采取台式计算设备、移动计算设备(诸如智能电话，膝上型、笔记本或平板计算机)、网络计算机、家庭娱乐计算机、交互式电视、游戏系统或其他适当类型的计算设备的形式。与计算设备22的组件和计算方面相关的其他细节，将在下文中参照图8更详细地描述。

计算设备22也可以经由网络42与一个或多个附加设备可操作地连接。在一个示例中，计算设备22可与服务器40通信。网络42可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网、或它们的组合的形式，并且可以包括因特网。

图3示出HMD设备38的一个示例采取一副可佩戴眼镜200的形式，该可佩戴眼镜200包括透明显示器202。将理解，图1所示的HMD设备38可以采取在下文中更详细地描述的可佩戴眼镜200或任何其他适当的HMD设备的形式。例如，HMD设备38可以采取透明、半透明或不透明显示器被支撑在观看者一只或两只眼睛前面的其他形式。还将理解，也可以使用许多其他类型和结构的显示设备，这些显示设备具有各种形状因子。例如，也可以使用提供增强现实体验的手持式显示设备。

参照图1-3，在这个示例中，可佩戴眼镜200包括透明显示器202，其能够将图像递送到佩戴该眼镜的用户的眼睛。透明显示器202可配置为对于通过该透明显示器观看物理环境的用户，从视觉上增强该物理环境(诸如目标物理环境50)的外观。例如，物理环境50的外观可被经由透明显示器202呈现的图形内容(例如，每个具有对应颜色和亮度的一个或多个像素)增强。

透明显示器202还可配置为使用户能够透过正在显示虚拟对象表示的一个或多个部分透明的像素观看物理环境50中的现实世界对象。在一个示例中，透明显示器202可以包括位于透镜204内的图像产生元件(例如，透视有机发光二级管(OLED)显示器)。作为另一示例，透明显示器202可以包括在透镜204边缘的光调制器。在这个示例中，透镜204可作为光导，用于将光从该光调制器递送到用户的眼睛。

在其他示例中，透明显示器202可支持在从物理环境50接收的光到达佩戴眼镜200的用户的眼睛之前，选择性过滤这些光。这种过滤可逐个像素地或在像素组的基础上进行。在一个示例中，透明显示器202可包括第一显示层和第二显示层，第一显示层以一个或多个被照明的像素的形式增强光，第二显示层过滤从物理环境接收的环境光。这些层可具有不同的显示分辨率、像素密度和／或显示能力。

可佩戴眼镜200还可包括各种系统和传感器。例如，还是参照图1中的HMD设备38，眼镜200可包括眼睛跟踪系统60，其利用至少一个面向内的传感器208。该面向内的传感器208可以是图像传感器，其配置为从用户的眼睛获取眼睛跟踪信息的形式的图像数据。假如用户同意获取并使用该信息，眼睛跟踪系统60可使用该信息来跟踪用户眼睛的位置和／或移动。然后，眼睛跟踪系统60可确定用户正凝视何处和／或什么现实世界或虚拟对象。

可佩戴眼镜200还可包括光学传感器系统62，其利用至少一个面向外的传感器212，诸如光学传感器。面向外的传感器212可检测视野内的移动，诸如由视野内的用户或人进行的基于姿势的输入或其他移动。面向外的传感器212还可从物理环境和该环境内的现实世界对象捕捉图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机和／或位置跟踪相机。在一些示例中，面向外的传感器212可包括一个或多个光学传感器，用于感测来自物理环境中现实世界光照条件的可见光谱和／或红外光。例如，这种传感器可包括电荷耦合器件图像传感器。

如上所述，一个或多个深度相机可使可佩戴眼镜200能够提供深度感测。例如，每个深度相机可包括立体视觉系统的左相机和右相机。来自这些深度相机中的一个或多个的时间解析的图像可以相互配准和／或与来自另一光学传感器(诸如可见光相机)的图像配准，并且可以组合以产生深度解析的视频。

在一些示例中，深度相机可采取结构化光深度相机的形式，其配置为投射包括多个离散特征(例如，线或点)的结构化红外照明光。该深度相机可配置为对从该结构化照明投射到的场景反射的结构照明光进行成像。可以基于被成像场景的各个区域中的相邻特征之间的间隔来构造该场景的深度图。

在其他示例中，深度相机可以采取飞行时间深度相机的形式，其配置为将脉冲红外照明光投射到场景。该深度相机可配置为检测从该场景反射的脉冲照明。这些深度相机中的两个或更多个可包括与该脉冲照明同步的电子快门。该两个或更多个深度相机的积分时间可以不同，使得脉冲照明的像素解析的飞行时间(从源到该场景并且接着到这些深度相机)可依据这两个深度相机的相应像素中接收到的光的相对量来辨别。可佩戴眼镜200还可包括红外投影器，以辅助结构化光和／或飞行时间深度分析。

还将理解，深度信息可以从其他信息和／或解决方案生成，包括但不限于运动立体声和超声信息。

在其他示例中，来自物理环境中的用户和／或人的基于姿势的和其他运动输入也可以由一个或多个深度相机检测。例如，面向外的传感器212可包括两个或更多个光学传感器，它们具有已知相对位置以用于创建深度图像。通过使用来自具有已知相对位置的这些光学传感器的运动结果，这些深度图像可随着时间演化。

面向外的传感器212可以捕捉用户所处的物理环境50的图像。如下文中更详细的描述，这些图像可以是可由眼镜200接收的物理环境数据46的一部分。如上所述，全息对象呈现程序14可包括3D建模系统，其使用这种物理环境数据46来生成目标物理环境50的模型56。

可佩戴眼镜200还可包括位置传感器系统64，其利用一个或多个运动传感器216来启用该眼镜的位置跟踪和／或定向感测，并且确定该眼镜在物理环境中的位置。作为一个示例，位置传感器系统64可包括惯性测量单元，其配置为六轴或六自由度位置传感器系统。这种位置传感器系统可包括例如三个加速度计和三个陀螺仪，以指示或测量眼镜200在三维空间内沿三个正交轴(例如，x，y，z)的位置的变化和该眼镜绕这三个正交轴的定向的变化(例如，横滚、俯仰、偏转)。

位置传感器系统64可支持其他适当的定位技术，诸如GPS或其他全球导航系统。例如，位置传感器系统64可包括无线接收机(例如，GPS接收机或蜂窝接收机)，以接收从卫星和／或陆地基站播送的无线信号。这些无线信号可用于标识眼镜200的地理位置。

从眼镜200接收的无线信号获得的定位信息可以与从运动传感器216获得的定位信息组合，以提供眼镜200的位置和／或定向的指示。尽管已经描述了位置传感器系统的特定示例，但将理解，可以使用其他适当的位置传感器系统。运动传感器216的其他示例包括加速度计、陀螺仪、指南针和定向传感器，可以包括它们的任何组合或子组合。位置信息还可以与来自面向外的传感器212的数据一起使用，以帮助生成3D表面重构信息。

眼镜200还可包括一个或多个话筒220。在一些示例中，如下文更详细的描述，话筒220可从用户接收音频输入和／或从用户周围的物理环境接收音频输入。作为补充或替换，与眼镜200分离的一个或多个话筒可用于接收音频输入。在一些示例中，音频输入(诸如来自用户的语音输入)可以与自然用户界面一起使用，以控制如下所述的自适应全息对象呈现系统10的一个或多个特征。眼镜200还可包括音频输出组件，诸如扬声器或耳机，以允许来自全息对象的声音被递送给该用户。这些声音还可以使用数字信号处理来处理，以创建用户对来自特定全息对缘和／或该场景内3D位置的声音的感知。

如上所述，眼镜200还可包括计算设备22，其具有逻辑子系统和数据保存子系统，如下文参照图8更详细的描述，这些子系统与该眼镜的各种输入和输出设备通信。简要地说，数据保存子系统可包括可由逻辑子系统执行的指令，例如以接收和处理来自这些传感器的输入并经由透明显示器202将图像呈现给用户。

将理解，只是通过举例的方式提供了上面描述和图1-3中所示的可佩戴眼镜200以及相关传感器和其他组件。这些示例并不打算以任何方式进行限制，因为可以利用任何其他适当的传感器、组件和／或传感器和组件的组合。因此，可以理解，可佩戴眼镜200可包括附加的和／或另选的传感器、相机、话筒、输入设备、输出设备等，而不背离本公开内容的范围。而且，可佩戴眼镜200及其各种传感器和子组件的物理配置可以采取各种不同的形式，而不背离本公开内容的范围。

现在还是参照图4，现在将提供利用自适应全息对象呈现系统10的示例性实施例和使用场合的描述。图4提供了房间300形式的目标物理环境50的示意图，戴着可佩戴眼镜200的用户304位于房间300内。房间300包括现实世界物理对象，诸如墙壁308、桌子312和书架316。在这个示例中，用户304可经由可佩戴眼镜200观看3D电影体验。

还参照图2，图4示出了全息男巫320、全息燃烧的小行星324、全息游戏板328、和全息坦克332形式的全息对象78，这些东西被用户304感觉为处于房间300内。全息对象78通过被显示在用户戴着的可佩戴眼镜200的透明显示器202上而被呈现给用户304。将理解，全息对象78的呈现还可与由全息对象呈现程序14生成的房间300的模型56相协调。

房间300的模型56可以基于由可佩戴眼镜200的一个或多个传感器捕捉的物理环境数据46。参照图1和2，模型56可包括对应于第一物理对象52的第一所标识的物理对象52'和对应于第二物理对象54的第二所标识的物理对象54'。第一所标识的物理对象52'可具有相关联的物理对象特性(诸如第一特性70和第二特性72)。同样地，第二所标识的物理对象54'可具有相关联的物理对象特性(诸如第三特性74和第四特性76)。

在一些示例中，房间300也可以具有与虚拟对象和它在房间中的位置相关联的一个或多个标签。眼镜200可在当时或事先标识该一个或多个标签。标签的示例可包括类似扑克牌、特定海报和／或对象上的标记的元素。动态标签也可被用于表示例如特定衣服和手持对象诸(如剑或光剑的剑柄)之间的关系。这种标签随后可被用作要覆盖在房间300内的全息对象的3D坐标。

全息对象呈现程序14可基于由可佩戴眼镜200捕捉的物理环境数据46创建房间300的模型56。这种物理环境数据46可包括，例如与墙壁308、桌子312和书架316相关的数据。在创建模型56的一个示例中，全息对象呈现程序14可利用表面重构阶段来标识和重构墙面336和桌子312的多个表面，诸如面向用户的表面338、340和342，以及顶面344。在对象标识阶段中，全息对象呈现程序14可接着将所标识的表面编组成所标识的物理对象。以此方式，墙面336可以被标识为墙壁308，并且面对的表面338、340和342以及顶面344可以被编组成桌子312。

墙壁308和桌子312可具有物理对象特性，这些特性是针对每个对象预存储的或者通过所捕捉的物理环境数据46来标识的。例如，可佩戴眼镜200的面向外的传感器212中的光学传感器可将墙面336标识为水平延伸4.5米和垂直延伸2.5米的平面。基于此以及或许其他物理环境数据46，表面336可被标识为墙壁308。

在一个示例中，墙壁308可具有被预存储在大容量存储18中的相关联物理对象特性。例如，墙壁308可具有对应于该墙面的特定硬度的预存储的表面硬度特性。该表面硬度特性可将墙壁308标识为具有处于与墙壁或类似隔离物的各种材料和／或施工技术相对应的硬度值范围内的硬度。在一个示例中，该硬度值可包括对应于各种材料(诸如混凝土、木材、干垒墙材料、橡胶和织物／窗帘材料)的值。因此，当全息对象78与墙壁308交互时，该墙壁的表面硬度特性的硬度值可能影响该全息对象的对应行为。

在另一示例中，墙壁308可具有通过所捕捉的物理环境数据46来标识的相关联的物理对象特性。例如，可佩戴眼镜200的面向外的传感器212中的光学传感器可以将墙面336标识为白色。在一个示例中，墙面336的白色可以用于确定或调整在墙壁308前面显示的全息对象的颜色。

在另一示例中，桌子312可具有通过由可佩戴眼镜200所捕捉的图像数据来标识的定向特性。例如，该定向特性可包括桌子312的顶面344相对房间300的地板350的角度。该角度可用于影响与该桌子交互的全息对象78的对应行为。例如，在确定顶面344的定向相对地板350成一角度的情况下，放在该顶面上的全息球会滚出桌子312。

全息对象呈现程序14可标识用于显示在可佩戴眼镜200上的一个或多个全息对象78。例如，可以标识全息男巫320、全息小行星324、全息游戏板328和全息坦克332。全息对象78中的每一个还可以包括在规则数据模式80中包含的一个或多个规则。在一个示例中，规则数据模式80可包括第一规则82和第二规则84。该一个或多个规则可将与所标识的物理对象的物理对象特性和／或检测到的环境条件与全息对象78的显示模式相链接。在一些示例中，例如，该一个或多个规则还可随着时间自适应，以适应物理对象特性的变化、检测到的环境条件的变化和／或混合现实环境12中的其他变化。而且如下文中更详细的描述，全息对象78的显示模式可包括影响该全息对象的渲染和／或呈现的一个或多个因子。

在一个示例中，全息、对象78的第一显示模式86可包括比例因子88，其指示该全息对象将相对于目标物理环境50呈现的比例。同时参照图4，全息对象78是全息男巫320的情况下，第一规则82可将房间300的几何特性链接到男巫320的第一显示模式86。例如，该几何特性可包括墙壁308的高度。第一显示模式86的比例因子88可指示男巫320将相对于墙壁308呈现的比例。例如，比例因子88可以规定男巫320将以高度为墙壁308的高度的1／3进行呈现。

在另一示例中，全息对象78的第一显示模式86可包括逼真因子90，其指示该全息对象将被显示的真实性水平。在全息对象78是燃烧的小行星324的一个示例中，第一规则82可将房间300中的现实世界移动量链接到该小行星的第一显示模式86。参照图4，在该示例中，用户304被动地坐在室内房间中，其中没有其他现实世界的移动或活动发生。在这种情况下，第一规则82可将燃烧的小行星324的逼真因子90调整到高水平，使得该小行星以高度现实的方式出现并运行。

在用户304正在很多其他行人中沿着拥挤的城市人行道步行的另一示例中，第一规则82可以将燃烧的小行星324的逼真因子90调整到低水平，使得该小行星明显不是现实的。例如，该小行星可以用高透明度来呈现。这样，用户304不太可能将全息小行星324误认为真实小行星，并且可以将她的注意力集中到当前沿人行道的活动。

将理解，全息对象的各种不同的真实性水平可以用各种方式来描绘。例如，可以调整该对象的透明性或不透明性，以提高或降低它的真实性。例如，还可以调整该全息对象与其周围环境的交互，诸如该对象遵守物理规律。例如，漂浮的棒球将比以自然方式朝地面降落的棒球显得更不真实。同样地，触碰时以一阵烟雾消失的棒球将比触碰时滚动的棒球显得更不真实。

在另一示例中，全息对象78的第一显示模式86可包括自动适合因子92，其指示该全息对象将自动调整大小以适合到目标物理环境50中。在全息对象78是游戏板328的一个示例中，第一规则82可将桌子312的顶面344的表面积链接到游戏板328的第一显示模式86。第一显示模式86的自动适合因子92可自动调整游戏板328的大小，以适合在桌子312的顶面344上。在另一示例中，在用户正坐在具有位于该用户膝部上方的小座位托盘的航空座位上的情况下，自动适合因子92可自动调整游戏板328的大小，以适合在该座位托盘的顶面上。同样地，坦克332可以被调整大小，以适合在游戏板328上。

在另一示例中，全息对象78的第一显示模式86可包括用户交互因子94，其指示该全息对象的用户交互模式。在全息对象78是坦克332中一个的一个示例中，第一规则82可将该坦克的显示分辨率链接到该坦克的第一显示模式86。在该坦克的显示分辨率高于阈值分辨率的情况下，用户交互因子94可对应于允许用户304拿起坦克332并将坦克332移动到不同位置的用户交互模式。在该显示分辨率低于该阈值分辨率的另一示例中，有限的分辨率可使得用户304和坦克332之间的这种直接交互不可行或不切实际。因此，在这种情况下，用户交互因子94可对应于使用户304能够与坦克332间接交互的用户交互模式。在一个示例中，用户304可将她的手移到坦克332上方并向下轻拍，以选择该坦克。然后，用户304可移动她的手，以用对应的方式移动坦克332。

如上所述，在其他示例中，规则数据模式80中的一个或多个规则可将检测到的环境条件与该全息对象的显示模式相链接。在一个示例中，所检测到的环境条件可包括目标物理环境50的温度。在全息对象78是男巫320的情况下，规则数据模式80的第二规则84可将该温度链接到男巫320的第二显示模式96。例如，第二显示模式96可包括呼吸因子，其指示基于所检测的温度该男巫的呼气将是否可见。在用户304位于室外并且该温度为0摄氏度的情况下，该呼吸因子可以确定该男巫的呼气如蒸汽可见。在所检测的温度为25摄氏度的另一示例中，该呼吸因子可以确定该男巫的呼气看不见。将理解，可以提供环境条件、相关规则、显示模式和因子的许多其他示例。

在其他示例中，显示模式可包括呈现与全息对象78相关的非可见信息。例如，这种非可见信息可包括与全息对象78相关的音频信息，无论全息对象78目前是否位于该用户的视野中。

在其他示例中，全息对象78可被改编，以适应目标物理环境50中物理对象的移动。参照图4，在一个示例中，大狗可以进入房间300并且在用户304和桌子312面向用户的表面338之间走动。当该狗移动到桌子312前面并且在用户304与用户感知的全息男巫320、游戏板328和坦克332的位置之间时，全息对象呈现程序56可通过从该用户的角度遮挡每个全息图的全部或部分来改编这些全息图。根据该狗相对于用户感知的这些全息图的位置的位置，可以应用这种遮挡。

在另一示例中，全息旗帜可以呈现在车道中正被用户驱动的物理遥控车的顶部。当该车加速、转弯并移动通过该场景时，全息对象呈现程序56可连续地改编该全息旗帜以出现在移动中车顶部的固定位置，并且可以将该旗帜呈现为与物理车的移动相一致的波动的、飘动的和／或变化的形状。

图5A和5B示出根据本公开内容的一实施例的用于呈现自适应于混合现实环境的全息对象的方法500的流程图。下面所述的方法500参照如上所述以及图1和图2所示的自适应全息对象呈现系统10的软件和硬件组件来提供。应该理解，方法500也可以在使用其他适当的硬件和软件组件的其他环境下进行。

参照图5A，在504处，方法500可包括使用HMD设备38的一个或多个传感器从目标物理环境50捕捉物理环境数据46。在一个示例中，在508处，这些传感器可以从眼睛跟踪传感器、光学传感器和位置传感器构成的组中选择。

在512处，方法500可包括基于所捕捉的物理环境数据46来创建目标物理环境的模型56，其中该模型包括在目标物理环境中所标识的具有相关联的物理对象特性的物理对象。在一个示例中，在516处，创建模型56可包括在表面重构阶段标识和重构表面。在520处，创建模型56可包括在对象标识阶段将所标识的表编组成所标识的物理对象，其中所标识的物理对象的物理对象特性是预存储的或者是通过该物理环境数据来标识的。

在524处，方法500可包括标识用于显示在HMD设备38的显示器58上的全息对象78，其中该全息对象包括一个或多个规则，该规则将检测到的环境条件和／或所标识的物理对象的物理对象特性与该全息对象的显示模式相链接。在一个示例中，在528处，方法500可包括经由计算机网络42从全息对象的库79下载全息对象78。在532处，该一个或多个规则可包含在全息对象78的规则数据模式80中。536处，该一个或多个规则可以由开发者指定或由用户指定。

参照图5B，在540处，方法500可包括应用该一个或多个规则以基于所检测的环境条件和／或在目标物理环境50中标识的物理对象的物理对象特性来选择全息对象78的显示模式。在544处，全息对象78的显示模式可包括比例因子88，其表示该全息对象将相对于目标物理环境50呈现的比例。在548处，全息对象78的显示模式可包括指示全息对象78将被显示的真实性水平的逼真因子。

在552处，全息对象78的显示模式可包括自动适合因子，其指示该全息对象将自动调整大小以适合在目标物理环境中。在556处，全息目标78的显示模式可包括用户交互因子，其指示该全息对象的用户交互模式。在560处，方法500可包括根据该显示模式在HMD设备38的显示器58上显示全息对象78。在一些示例中，全息对象78还可以按造成对全息对象的随时间变化的方式与物理环境50和/或虚拟环境34交互。例如，全息坦克332可能掉下桌子312并且因与地板350接触而遭到损坏。掉下之后，反映全息坦克332损坏的临时信息可与该坦克的全息对象78一起保留。

在另一示例中，参照图6和7，可提供一种自适应全息对象开发系统600，用于开发自适应于混合现实环境的全息对象。如下文中更详细的解释，在一个示例中，全息对象的开发者可使用自适应全息对象开发系统600来开发和在不同的模拟混合现实环境中预览全息对象。

自适应全息对象开发系统600包括存储在计算设备616的大容量存储612中的全息对象创建程序608。全息对象创建程序608可以加载到存储器620中并且由计算设备616的处理器624执行，以执行在下文中更详细描述的一种或多种方法和过程。

物理环境数据模式630可以被确定并存储在大容量存储612中。物理环境数据模式630可包括与目标物理环境中的物理对缘相对应的一个或多个物理对象特性和相关联的值范围。在图6所示的示例中，物理环境数据模式630包括物理对象特性A632和物理对象特性B634。通过用每个物理对象特性的特定物理数据值填充物理环境数据模式630的一实例，可以表示可能的目标物理环境。将理解，通过用每个物理对象特性的各特定物理数据值填充物理环境数据模式的各实例，可表示多个可能的目标物理环境。还将理解，不同的可能的目标物理环境可对应于全息对象的不同显示模式。

虚拟环境数据模式636也可以被确定并存储在大容量存储612中。虚拟环境数据模式636可包括与可能的虚拟环境相关联的一个或多个虚拟环境特征和相关联的值范围。在图6所示的示例中，虚拟环境数据模式636包括虚拟环境特征J638和虚拟环境特征K640。通过用每个虚拟环境特征的特定虚拟数据值填充虚拟环境数据模式636的一实例，可以表示可能的虚拟环境。将理解，通过用每个虚拟环境特征的各特定虚拟数据值填充虚拟环境数据模式的各实例，可表示多个可能的虚拟环境。还将理解，不同的可能的虚拟环境可对应于全息对象的不同显示模式。

全息对象创建程序608可生成全息对象创建图形用户界面(GUI)642，用于在可操作地连接于计算设备616的显示设备644上显示。全息对象创建GUI642包括全息对象创建界面648，其使计算设备616的用户(诸如开发者)能够选择用于开发的全息对象。全息对象创建界面648进一步使开发者能够选择与全息对象的显示模式相对应的物理环境数据模式630的一个或多个物理对象特性和/或虚拟环境数据模式636的虚拟环境特征。

在图6所示的示例中，全息对象创建界面648配置为显示第一用户可调整的选择器652，其用于接收用户输入以选择全息对象。第一用户可调整的选择器652可采取图示的各个单选按钮的形式。将理解，也可以使用滑块元素、下拉菜单或任何其他适当的输入机制。在该示例中，开发者选择男巫320。

全息对象创建界面648还配置为显示第二用户可调整的选择器656，其用于接收有关物理对象特性的用户输入。在这个示例中，第二用户可调整的选择器656可采取滑块元素660的形式。将理解，也可以使用各个单选按钮、下拉菜单或任何其他适当的输入机制。还是参照图4，该物理对象特性可对应于物理对象特性A632并且可表示墙壁308的表面336的表面硬度。

第二用户可调整的选择器656配置为经由滑块元素660接收指示墙壁308的表面硬度值的用户输入。在一个示例中，墙壁308的表面硬度值可在从表示软窗帘的H1增加到表示混凝土表面的H5的硬度范围内变化。当开发者在H1和H5之间调整滑块元素660时，显示对应于滑块元素660当前位置的表面硬度634a(在图6配置中H3表示干垒墙材料)。

第三用户可调整的选择器664配置为经由通过各个单选按钮668a和668b接收指示虚拟环境特征的值的用户输入。在一个示例中，该虚拟环境特征可对应于虚拟环境特征J638并且可以表示其中将显示所选择的全息对象(在这个示例中是男巫320)的公共或私有虚拟环境。

通过使用可能的墙壁表面硬度值之一和可能的虚拟环境特征之一的用户选择的组合，全息对象创建程序608可显示预览界面672。在这个示例中，预览界面672配置为在与墙壁表面硬度值和虚拟环境特征的用户选择的组合相对应的模拟混合现实环境中显示全息男巫320。如上所讨论，可以按与用户选择的墙壁表面硬度值和虚拟环境特征相对应的显示模式来显示男巫320。以此方式，开发者可在由可能的虚拟环境之一和可能的目标物理环境之一的开发者选择的组合形成的各种不同的模拟混合现实环境中对全息男巫320进行预览。

在另一示例中，全息对象创建界面648可进一步配置为使开发者能够将全息对象78分类为一个或多个类别。每个类别可包含可影响该全息对象的渲染和／或呈现的一个或多个全息因子或特征。例如，将全息男巫320分类为“人物”类别的情况下，该男巫显示出与运动、力量、与物理和虚拟对象交互等相关的某些特征。作为另一示例，全息小行星324可分类为“武器”，并且因而显示出以与“武器”类别中其他对象相同的方式与物理和虚拟对象交互的能力。有利地是，以这种方式对全息对象分类可提高开发者在为多个全息对象创建大批的因子和特征时的效率。

在显示男巫320以供预览之后，全息对象创建程序608可生成包括该显示模式的男巫来作为输出。还是参照图1和图2，男巫320可配置为由HMD设备38上的全息对象呈现程序14根据该显示模式(诸如第一显示模式86)来渲染，其中目标物理环境50可透过该HMD设备观看。

图7示出根据本公开内容的一实施例的用于开发自适应于混合现实环境的全息对象的方法700的流程图。下面描述的方法700参照上面所述和图6所示的自适应全息对象开发系统600的软件和硬件组件来提供。将理解，方法700也可以使用其他适当的软件和硬件组件的其他环境下实施。

在704处，方法700可包括确定物理环境数据模式，其包括物理对象特性和相关联的值范围。物理对象特性可与目标物理环境中的物理对象相关联，使得多个可能的目标物理环境中的每一个可由用每个物理对象特性的特定物理数据值填充的物理环境数据模式的实例来表示。

在708处，方法700可包括确定虚拟环境数据模式，其包括虚拟环境特征和相关联的值范围。多个可能的虚拟环境中的每一个可由用每个虚拟环境特征的特定虚拟数据值填充的虚拟环境数据模式的实例来表示。在712处，方法700可包括在显示器上显示全息对象创建界面。该全息对象创建界面配置为显示用于接收对应于该全息对象的显示模式的用户输入的至少一个选择器，其中该显示模式基于物理环境数据模式的物理对象特性中的一个或多个和／或虚拟环境数据模式的虚拟环境特征中的一个或多个。

在716处，方法700可包括经由该选择器接收对应于该显示模式的用户输入。在720处，该方法可包括显示预览界面，其配置为显示在由用户选择的可能的虚拟环境之一和可能的目标物理环境之一的用户选择的组合所形成的不同的模拟混合现实环境中显示具有该显示模式的该全息对象。在724处，方法700可包括生成将包括该显示模式的该全息对象生成作为输出，其中，该全息对象配置为根据该显示模式由HMD设备上的全息对象呈现程序根据该显示模式来渲染，该其中目标物理环境可通透过该HMD设备观看。

图8示意性示出了可以执行上述方法和过程之中的一个或更多个的计算设备800的非限制性实施例。以简化形式示出了计算设备800。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算设备800可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。

如图8所示，计算设备800包括逻辑子系统804、数据保持子系统808、显示子系统812、通信子系统816以及传感器子系统820。计算设备800可任选地包括图8中未示出的其他子系统和组件。计算设备800还可以任选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器、和／或触摸屏。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和／或包括一个或多个计算机的计算系统中的其他计算机程序产品。

逻辑子系统804可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。

逻辑子系统804可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和／或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

数据保持子系统808可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和／或可由逻辑子系统804执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统808的状态(例如，以保持不同的数据)。

数据保持子系统808可包括可移动介质和／或内置设备。数据保持子系统808尤其可以包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和／或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统808可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统804和数据保持子系统808集成到一个或更多个常见设备中，如专用集成电路或片上系统。

图8还示出可移动计算机可读存储介质824形式的数据保持子系统808的一方面，该可移动计算机可读存储介质可用于存储和／或传输可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质824尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和／或软盘的形式。

可以明白，数据保持子系统808包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和／或其他形式的信息可以通过纯信号来传播。

显示子系统812可用于呈现由数据保持子系统808所保持的数据的可视表示。显示子系统812可包括例如HMD设备38的透明显示器58。由于上述方法和过程改变由数据保持子系统808保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统812的状态以在视觉上表示底层数据的改变。显示子系统812可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统804和／或数据保存子系统808一起组合在共享封装中，或此类显示设备可以是外围显示设备。

通信子系统816可以被配置成将计算设备800与一个或多个网络(如网络42)和／或一个或多个其他计算设备可通信地耦合。通信子系统816可包括与一个或多个不同的通信协议兼容的有线和／或无线通信设备。作为非限制性示例，该通信子系统816可以被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在某些实施例中，通信子系统可允许计算设备800经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。

传感器子系统820可包括被配置成感测不同的物理现象(例如，可见光、红外光、声音、加速度、定向、位置、温度等)的一个或多个传感器，如上所述。例如，传感器子系统820可以包括一个或多个眼睛跟踪传感器、图像传感器、话筒、诸如加速度计之类的运动传感器、温度计、触摸板、触摸屏和／或任何其他合适的传感器。传感器子系统820例如可以被配置为向逻辑子系统804提供观测信息。如上所述，诸如眼睛跟踪信息、图像信息、音频信息、环境光信息、深度信息、位置信息、运动信息、和／或任何其他合适的传感器数据等观测信息可被用来执行上述方法和过程。

术语“程序”可被用来描述自适应全息对象呈现系统10和／或自适应全息对象开发系统600的被实现成执行一个或多个特定功能的一方面。在某些情况下，可通过逻辑子系统804执行由数据保持子系统808所保持的指令来实例化这一程序。要理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同程序。类似地，可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化同一程序。术语“程序”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

应该理解，此处所述的配置和／或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。

本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和／或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种用于呈现自适应于混合现实环境(12)的全息对象(78)的自适应全息对象呈现系统(10)，所述混合现实环境(12)包括目标物理环境(50)和虚拟环境(34)，所述自适应全息对象呈现系统(10)包括：

显示设备(38)，它包括相关联的处理器(30)和存储器(26)；

全息对象呈现程序(14)，它由所述处理器(30)使用所述存储器(26)的各部分来执行，所述全息对象呈现程序(14)配置为：

使用一个或多个传感器(212，216)从所述目标物理环境(50)捕捉物理环境数据(46)；

基于所捕捉的物理环境数据(46)来创建所述目标物理环境的模型(56)，所述模型包括在所述目标物理环境(50)中的具有相关联的物理对象特性(70，72，74，76)的所标识的物理对象(52’，54’)；以及

标识用于在所述显示设备(38)上显示的全息对象(78)，其中所述全息对象(78)包括一个或多个规则(82，84)，所述规则将检测到的环境条件和/或所标识的物理对象(52’，54’)的物理对象特性(70，72，74，76)与所述全息对象(78)的显示模式(86)相链接，其中所述显示模式包括基于所述全息对象的高于阈值分辨率的第一显示分辨率的第一用户交互模式和基于所述全息对象的低于所述阈值分辨率的第二显示分辨率的第二用户交互模式。

2.如权利要求1所述的自适应全息对象呈现系统，其特征在于，所述全息对象呈现程序进一步配置为：

应用所述一个或多个规则以基于检测到的环境条件和/或所述目标物理环境中所标识的物理对象的物理对象特性来选择所述全息对象的显示模式；以及

根据所述显示模式在所述显示设备上显示所述全息对象。

3.如权利要求1所述的自适应全息对象呈现系统，其特征在于，所述全息对象的显示模式包括比例因子，所述比例因子指示所述全息对象将相对于所述目标物理环境呈现的比例。

4.如权利要求1所述的自适应全息对象呈现系统，其特征在于，所述全息对象的显示模式包括逼真因子，所述逼真因子指示所述全息对象将被显示的真实性水平。

5.如权利要求1所述的自适应全息对象呈现系统，其特征在于，所述全息对象的显示模式包括自动适合因子，所述自动适合因子指示所述全息对象将自动调整大小以适合在所述目标物理环境中。

6.一种用于呈现自适应于混合现实环境(12)的全息对象(78)的方法(500)，所述混合现实环境(12)包括目标物理环境(50)和虚拟环境(34)，所述方法包括：

使用显示设备(38)的一个或多个传感器(212，216)从所述目标物理环境(50)捕捉(504)物理环境数据(46)；

基于所捕捉的所述物理环境数据(46)创建(512)所述目标物理环境(50)的模型(56)，所述模型(56)包括所述目标物理环境(50)中的具有相关联的物理对象特性(70，72，74，76)的所标识的物理对象(52’，54’)；

标识(524)用于在所述显示设备(38)上显示的全息对象(78)，其中所述全息对象(78)包括一个或多个规则(82，84)，所述规则将检测到的环境条件和/或所标识的物理对象(52’，54’)的物理对象特性(70，72，74，76)与所述全息对象(78)的显示模式(86)相链接，其中所述显示模式包括基于所述全息对象的高于阈值分辨率的第一显示分辨率的第一用户交互模式和基于所述全息对象的低于所述阈值分辨率的第二显示分辨率的第二用户交互模式；

应用(540)所述一个或多个规则(82，84)以基于检测到的所述环境条件和所述目标物理环境(50)中的所标识的物理对象(52’，54’)的物理对象特性(70，72，74，76)来选择所述全息对象(78)的显示模式(86)。

7.如权利要求6所述的方法，其特征在于，所述全息对象的显示模式包括比例因子，所述比例因子指示所述全息对象将相对于所述目标物理环境呈现的比例。

8.如权利要求6所述的方法，其特征在于，所述全息对象的显示模式包括逼真因子，所述逼真因子指示所述全息对象将被显示的真实性水平。

9.如权利要求6所述的方法，其特征在于，所述显示模式包括用户交互因子，所述用户交互因子指示所述全息对象的用户交互模式。

10.如权利要求6所述的方法，其特征在于，进一步包括根据所述显示模式，在所述显示设备的显示器上显示所述全息对象。