CN105264571B - Hud对象设计和方法 - Google Patents

Abstract

本发明以被称为显示环境的矩形3D建模网格为特征，显示环境可被映射到一个或多个传感器以给抬头显示设备首先提供产生并观看增强现实的能力；定制3D对象的人视图。位置传感器创建显示环境的定位和周边。可基于显示设备到同步的位置传感器的接近度通过由运动传感器感测的显示设备的物理运动与显示设备的物理位置的组合来导航显示环境。在显示设备上的传感器识别设备何时相对于显示环境移动以发起被显示的它的3D模型的重新渲染。显示设备的移动实现也可用于使用可定制的比例、方位、定位、物理和人工智能来设计3D模型的第一人称3D模型例证性视图和透视图。

Description

HUD对象设计和方法

相关申请的交叉引用

本申请要求申请人于2013年5月30日提交的美国临时专利申请号为61/828,745的名称为“HUD Object Design and Method”的临时申请的优先权、利益以及与上述临时申请相关。

发明领域

本发明总体上涉及平视显示(HUD)增强现实(AR)显示环境，其可设计三维对象，将特性添加到对象并基于HUD设备的运动和/或其与位置传感器的相互关系来显示对象的视图。

发明背景

三维(3D)渲染指的是被绘制到X、Y和Z网格线并接着转换成具有3D效果的2D图像的线框3D模型。尽管通常看到3D渲染的对象，但是创建和渲染它们需要3D建模软件。然而，软件并不在第一人称增强现实(AR)视图中显现对象。增强现实(AR)是物理真实世界环境的实时视图，其元素由计算机产生的软件模拟(或改变)。当前增强现实显示方法需要用于图像识别的摄像机来显示3D模型。此外，这种方法限制显示大规模3D模型的能力。使用摄像机而不是传感器可潜在地使用户经历渲染时延和视点范围限制。此外，在一些实例中，对象的唯一特性使得难以模拟物理或视觉特征。当前建模软件可能太复杂并产生低质量不真实的图像。

发明概述

本发明提供抬头显示器，其可以生成自定义3D模型的增强现实表示。

本发明的实施方式的另一方面特征在于由手持或穿戴式设备的软件渲染的抬头显示器的视点。

本发明的实施方式的一个方面提供可创建高质量3D模型的用户友好系统。

本发明的实施方式的另一方面特征在于基于静止传感器的定位以定义X、Y、Z轴的矩形网格。

本发明的实施方式的另一方面特征在于具有由运动传感器所感测的HUD的物理运动与它的物理位置(如它与同步静止传感器的接近度有关)的组合导航的用户界面的软件。

本发明的实施方式的另一方面特征在于在HUD上的运动传感器，其可基于HUD的运动来计算所渲染的3D对象的用户的视图。

根据参考附图的优选实施方式的以下描述，本发明的附加的方面、目的、特征和优点将变得明显。

附图简述

图1示出示例性矩形笛卡尔网格。

图2根据本发明的实施方式的一个方面示出用户对位置传感器进行定位。

图3根据本发明的实施方式的一个方面示出用户对多个位置传感器进行定位。

图4根据本发明的实施方式的一个方面示出传感器同步过程的例子。

图5根据本发明的实施方式的一个方面示出部署的显示环境。

图6根据本发明的实施方式的一个方面示出用户使用公式来识别多个传感器起始点。

图7根据本发明的实施方式的一个方面示出用户使用公式识别单个传感器起始点。

图8根据本发明的实施方式的一个方面示出大规模环境的部署。

图9根据本发明的实施方式的一个方面示出显示设备位置同步过程的例子。

图10示出示例性3D渲染和投影。

图11根据本发明的实施方式的一个方面示出具有焦点的显示设备视点(POV)和来自显示设备的第一人称视角的视线。

图12根据本发明的实施方式的一个方面示出具有焦点的显示器视点(POV)和来自显示设备的第三人称视角的视线。

图13根据本发明的实施方式的一个方面示出观看具有接近度变化的显示环境的用户的显示设备POV。

图14根据本发明的实施方式的一个方面示出利用来自第一人称的视野的视线的运动捕获和图像改变。

图15根据本发明的实施方式的一个方面示出利用来自第三人称的视野的视线的运动捕获和图像改变。

图16根据本发明的实施方式的一个方面示出来自第三人称的视角的显示环境3D方向导航。

图17根据本发明的实施方式的一个方面示出第一人称的POV头倾斜运动捕获视图效果。

图18根据本发明的实施方式的一个方面示出第三人称的POV头倾斜运动捕获视图效果。

图19根据本发明的实施方式的一个方面示出来自第一人称和第三人称的视角的内部位置POV例子。

图20根据本发明的实施方式的一个方面示出来自第一人称和第三人称的视角的外部位置POV例子。

图21根据本发明的实施方式的一个方面示出交互设备同步过程的例子。

图22根据本发明的实施方式的一个方面示出使用交互设备以与对象交互的用户的手的HUD第一人称的视图。

图23根据本发明的实施方式的一个方面示出来自没有网格线的第三人称POV视图的设计用户界面。

图24根据本发明的实施方式的一个方面示出来自具有套接(toggle)的网格线的第三人称POV视图的设计用户界面。

图25根据本发明的实施方式的一个方面示出没有网格线的设计用户界面的交替显示环境。

图26根据本发明的实施方式的一个方面示出有网格线的设计用户界面的交替显示环境。

图27根据本发明的实施方式的一个方面示出用户逐步将1D对象设计为3D对象加上偏移和调整大小。

图28根据本发明的实施方式的一个方面示出旋转来自第一人称POV的对象的方位。

图29根据本发明的实施方式的一个方面示出旋转来自第三人称POV的对象的方位。

图30根据本发明的实施方式的一个方面基于用户接近度示出来自第一人称POV的观察捕捉点。

图31根据本发明的实施方式的一个方面基于用户接近度示出来自第三人称POV的观察捕捉点。

图32根据本发明的实施方式的一个方面示出交替来自第一人称POV的捕捉点的视图的导航/改变。

图33根据本发明的实施方式的一个方面示出交替来自第三人称POV的捕捉点的视图的导航/改变。

图34根据本发明的实施方式的一个方面示出使用菜单来添加物理特性。

图35根据本发明的实施方式的一个方面示出具有纹理和重力的物理特性对象的效果。

图36根据本发明的实施方式的一个方面示出通过物理引擎应用于对象的重力物理的用户的第三人称视图。

图37根据本发明的实施方式的一个方面示出来自第一人称的POV的对象思维动画逐步捕获。

图38根据本发明的实施方式的一个方面示出碰撞和在对象上的碰撞检测效果的物理引擎模拟的用户的第三人称视图。

图39根据本发明的实施方式的一个方面示出来自第三人称POV的对象思维动画逐步捕获。

图40根据本发明的实施方式的一个方面示出软件事件触发的物理反应“如果语句”例子。

图41根据本发明的实施方式的一个方面示出交互设备事件触发的物理反应“如果语句”例子。

图42根据本发明的实施方式的一个方面示出来自第一人称协同设计的多个用户。

图43根据本发明的实施方式的一个方面示出来自第三人称协同设计的多个用户。

图44根据本发明的实施方式的一个方面示出图像被交互同时引起轮胎滚动/反弹，其也产生音频。

图45根据本发明的实施方式的一个方面示出在显示环境中被观看/交互的人的3D视频。

发明详述

本发明的方面目的在于用于实现3维对象的第一人称增强现实视图、设计和开发的系统、方法和计算机程序产品。在本发明的实施方式的一个方面中，公开了用于使计算机实现3维对象的第一人称增强现实视图的计算机程序产品。如在这个方面中设想的，计算机程序产品可包括计算机可用介质，其上存储有用于使计算机实现3维对象的第一人称增强现实视图的控制逻辑。控制逻辑可包括用于各种操作的计算机可读程序代码，这些操作包括：初始化在显示设备和一个或多个传感器之间的通信，从一个或多个传感器接收传感器数据，使用来自一个或多个传感器的数据产生增强现实环境，合并在增强现实环境内的3维目标对象，将笛卡尔坐标网格应用于增强现实环境，以及在第一人称增强现实视图中显示在增强现实环境内的目标对象。

在本发明的实施方式的一个方面中，控制逻辑可包括用于实现目标对象的操纵的计算机可读程序代码。

在本发明的实施方式的一个方面中，控制逻辑可包括用于改变目标对象的显示以反映在显示设备的位置和/或方位中的变化的计算机可读程序代码。在另一方面中，也可设想用于使全球定位系统能够帮助反映在显示设备的位置和/或方位中的变化的计算机可读程序代码。

在本发明的实施方式的一个方面中，传感器数据可包括关于目标对象的物理特性、标度、位置和/或方位的信息或数据。

在本发明的实施方式的一个方面中，控制逻辑可包括用于实现在增强现实环境上的3维图像的重叠的计算机可读程序代码。

在本发明的实施方式的一个方面中，增强现实环境可借助一个或多个传感器的定位来产生。

在本发明的实施方式的另一方面中，控制逻辑可包括用于提供笛卡尔坐标网格的虚拟表示的计算机可读程序代码。

在本发明的实施方式的一个方面中，笛卡尔坐标网格的虚拟表示可由在显示设备和一个或多个传感器之间的同步来实现。

在本发明的实施方式的另一方面中，控制逻辑可包括用于使用一个或多个传感器的实时和/或实际位置来定义显示起始点的计算机可读程序代码。

在本发明的实施方式的另一方面中，控制逻辑可包括用于渲染实时效果以模拟拟真的用户界面的计算机可读程序代码。

在本发明的实施方式的另一方面中，控制逻辑可包括用于产生增强现实环境的内部尺寸用户视点从而使用户能够观看并在增强现实环境内导航的计算机可读程序代码。在这里，在一个实例中，当用户被投影在显示设备上时，用户将看起来能够走过增强现实环境和/或与增强现实环境交互。

在本发明的实施方式的又一方面中，控制逻辑可包括用于实现将物理特性应用于目标对象的计算机可读程序代码。额外的方面设想用于实现将物理特性应用于增强现实环境本身的计算机可读程序代码。

在本发明的实施方式的又一方面中，控制逻辑可包括用于模拟物理特性的应用对目标对象的效果的计算机可读程序代码和用于显示物理特性对目标对象的所模拟的效果的计算机可读程序代码。

在本发明的实施方式的又一方面中，目标对象可以是如由显示设备捕获的实际对象的图像。在一个方面中，目标对象的图像可由显示设备的摄像机捕获。在另一方面中，图像可被上传到显示设备上。

在本发明的实施方式的又一方面中，目标对象可以是由用户在增强现实环境内创建的3维设计。

在本发明的实施方式的又一方面中，系统可从外部源上传3维模型。

在本发明的实施方式的又一方面中，控制逻辑可包括用于通过显示设备实现运动捕获和接近度感测的计算机可读程序代码。

在本发明的实施方式的又一方面中，控制逻辑可包括用于实现在增强现实环境内的多个用户的参与的计算机可读程序代码。这在一个方面中可以包括用于由多个用户实现协同设计的计算机可读程序代码。

在本发明的实施方式的又一方面中，控制逻辑可以包括用于通过显示设备实现朝向目标对象放大或远离目标对象缩小的模拟的计算机可读程序代码。

在本发明的实施方式的又一方面中，控制逻辑可包括用于模拟增强现实环境的用户的视角视线的计算机可读程序代码。这个代码可在一个方面中包括用于将显示设备的位置和增强现实环境的特性与显示设备的焦点组合的代码。

在本发明的实施方式的又一方面中，控制逻辑可包括用于实现增强现实环境的导航的计算机可读程序代码。在这里，在本发明的实施方式的又一方面中，计算机可读程序代码可包括用于通过显示设备感测运动的计算机可读程序代码和用于确定与显示设备到一个或多个传感器的接近度有关的显示设备的位置的计算机可读程序代码。

在本发明的实施方式的又一方面中，控制逻辑可包括用于基于用户定义的物理特性的应用来产生并显示可能的目标对象结果的计算机可读程序代码。

在本发明的实施方式的又一方面中，控制逻辑可包括用于基于显示设备的在它到增强现实环境的接近度中的变化来产生声音回放的计算机可读程序代码。

在本发明的实施方式的又一方面中，控制逻辑可包括用于确定显示起始点的计算机可读程序代码。在一个方面中，该计算机可读程序代码还可包括用于确定由一个或多个传感器形成的定位布局的宽度变量和长度变量的计算机可读程序代码和用于使宽度变量和长度变量除以2的计算机可读程序代码。定位布局可例如在形状上是矩形的，在这种情况下，可通过将长度值和宽度值中的每个除以2来确定显示起始点。

也被称为HUD的平视显示器(head-up display)或抬头显示器(heads-updisplay)是显现数据而不需要用户远离他们的通常的视点来看的任何透明显示器。本发明将平视显示器与定制计算机辅助设计(CAD)软件进行组合使用户能够在增强现实环境中显示唯一3维(3D)模型。此外，HUD将具有运动捕获和接近度感测功能。本发明所需的软件可在内部或在外部被存储。在内部，定制CAD软件可被本地存储并在HUD设备的内置CPU内被处理。可选地，使用像例如简单地显示来自外部设备(手机、PC、web服务器)的内容的谷歌眼镜的HUD设备，所使用的定制CAD软件可在HUD设备的外部被存储并处理。应注意，如在本发明中提到的HUD设备不限于仅仅抬头显示器，而且还可以包括穿戴式设备和能够显示透明和/或所模拟的增强现实第一人称视点的其它移动设备。显示透明增强现实视图的HUD设备可使用透明LED显示技术来观看现实，其中3D图像重叠在它之上。模拟HUD的第一人称3D视点的设备可渲染叠加在由设备的内部或外部摄像机捕获的现实的视图之上的图像。例子可以是显示增强由设备的内部摄像机捕获的(或通过设备的内部摄像机观看的)现实的用户的视角的3D环境的第一人称视图的平板计算机。本发明的设备和HUD可从此以后被可互换地引用为一个显示设备或多个显示设备和/或一个HUD或多个HUD。

现在参考图1，示出了示例性矩形笛卡尔网格。三维空间的笛卡尔坐标系可涉及选择：有序的三个一组的线(轴)，它们中的任两个是垂直的；所有三个轴的长度的单个单位；以及每个轴的方位，如在图1中所示的。如在二维情况中的，每个轴变成数轴。通过绘制通过点p的垂直于每个坐标轴的线并且读取这些点(其中这些线与轴相交)作为这些数轴的三个数字来获得点p的坐标，如图1所示。这些坐标系主要用于使用计算机辅助设计(CAD)或3D建模软件来设计3D模型。在本发明中，通过利用传感器定位而不是图像修复来产生增强现实环境，图像修复将利用摄像机的视线。在这里，可以利用在现实中的位置的精确定位(如通过位置传感器实现的)来显示坐标系。

现在参考图2，用户202被示出根据本发明的实施方式的一个方面来定位位置传感器204。在这里，连同传感器204示出了用户202。可以有如下讨论的一个或多个传感器204。位置传感器204可以是显示设备可以识别或感测接近度传感器的物理存在(由于显示设备的识别软件能力)的任何接近度传感器。位置传感器204被主要利用以给用户提供定义增强现实环境的物理特性、标度、位置和/或方位的能力。

现在参考图3、4和5，根据本发明的实施方式的各个方面全部示出了定位多个位置传感器204的用户202、传感器同步过程的例子和部署的显示环境。位置传感器204可以以与用户202可以将它们放置在平坦表面上并且显示设备可以感测它们的一样大或一样小的间距来定位。如图3、4和5所示出的，位置传感器204被战略性地放置以模拟真实世界环境的尺寸和维度的确切副本。这实现能够渲染与摩天大楼一样大或与一便士一样小的精确的成比例的3D模型或目标对象502的增强现实环境的产生(如图5中所示)。位置传感器204可被放置在平坦表面上以界定用户的工作空间的边界尺寸或周边尺寸。传感器204与显示设备同步以提供矩形笛卡尔网格的物理位置的基点的虚拟表示。显示设备的软件通过利用内部或外部显示设备传感器来定位位置传感器204或与位置传感器204同步。在同步过程期间，软件计算在传感器之间的距离以捕获增强现实环境维度能力/限制(因为它们与真实能力/限制相一致)。

如图4中所示，计算传感器之间的距离和或接近度的传感器同步过程使用计算机产生的从一个传感器到另一传感器的虚拟横向线然后应用刻痕(notch)。所产生的刻痕被计数以测量它们在彼此之间有的总的可测量虚拟单位(厘米、英寸、英尺等)。从同步过程产生的线和刻痕被默认地从显示设备用户界面隐藏，但可被观看到(如果用户请求的话)。用户指定的在每个传感器之间的长度和宽度能够验证工作空间具有适当的尺寸能力且传感器具有对预期项目的正确并行放置。同步的结果是被称为增强现实环境或显示环境600(如在图6中看到的)的计算机产生的3轴3D矩形网格。显示环境600可被映射到一个或多个静止传感器204以创建增强现实显示区域或工作空间。显示环境600可被主要用于显示和/或设计增强现实对象、应用或操作系统。

现在参考图7和8，在图7中，根据本发明的实施方式的一个方面用户202被示出使用公式来识别单传感器起始点(SSO)702，同时图8根据本发明的实施方式的一个方面示出了大型环境的部署。

部署显示环境600需要单传感器起始点(SSO)702或多传感器起始点(MSO)802来定义其显示起始点。显示起始点可以是由SSO的位置定义的现实中的单个位置或被定位为矩形的一组点以界定显示环境的物理周边的多个传感器。单传感器起始点(SSO)702基于被放置在用户202的期望物理位置处以将显示环境600的起始值自动识别为(0,0,0)和显示环境600的软件部署点的一个传感器。SSO被用作用于设置显示环境600的长度和宽度的中点。SSO 702也被用作显示环境600的长度或深度的基点。长度值、宽度值和高度(或深度)值可由用户202手动地设置。这使软件能够将SSO 702或MSO 802计算为它的显示环境600的起始点并然后从它使用用户202的长度值、宽度值和高度(或深度)值自动产生3D矩形周边(如分别在图7和8中看到的)。使用MSO 802来部署显示环境600需要软件使用一个传感器作为临时起始点，并且然后计算该起始点离两个其它相邻传感器的距离(产生长度值和宽度值)。这个计算提供在现实中的物理点用于使软件产生MSO 802。MSO 802是多个传感器204(主要是可以以矩形配置组合的四个传感器)的中心点值。这四个传感器的长度值和宽度值被分成两半以设置MSO 802的x变量值和y变量值(如在图8中看到的)。例如，如果x＝宽度/2且y＝长度/2，则MSO 802的点将等于坐标(X,Y,Z)。对于MSO计算，z变量具有默认值0，直到用户定义显示环境的高度值为止。

(MSO)过程例子

1.放置四个传感器以定义显示环境矩形形状的四个角

2.计算矩形四边的长度变量和宽度变量。例子：L＝12，W＝6

3.通过取长度和宽度、将它们除以2来计算x变量值和y变量值。

例子：X＝(12/2)；Y＝(6/2)

X＝6Y＝3Z＝0

MSO＝(6,3,0)

4.软件将先前计算的MSO点存储到显示环境特性

一旦显示环境600的显示起始点被设置，则用户202就可定义被称为显示环境特性的环境特征的列表。显示环境特性是软件产生的菜单，其使用户202能够管理将被应用于显示环境600的属性值的列表。所存储的属性可包括关于显示环境600的物理和交互能力的元数据。可被存储的特性的一些例子(但不限于)是MSO；SSO；环境长度；环境宽度；环境高度；最大X轴值；最大Y轴值；和最大Z轴值；显示环境600的可见特征也由这些特性所设置的属性来确定。

现在参考图9，根据本发明的实施方式的一个方面示出了显示设备902的位置同步过程的例子。可以由计算的从显示设备902到显示环境600的传感器204的距离值和高度值的组合来确定显示设备902的位置。该计算的结果被称为HUD传感器同步过程(如在图9中看到的)。HUD传感器同步过程与前面的传感器同步过程相同(除了前面的传感器同步过程使用绘制的从位置传感器204到显示设备902的线刻痕用于它的测量以外)。通过使用HUD传感器同步过程以产生来自显示设备902的横向线来测量显示设备902的距离和高度，该横向线与来自MOS 802或SSO 702的垂直线交叉。通过对从显示设备902到SSO 702或MSO 802的垂直交叉点的横向刻痕计数来测量显示设备902的距离。可通过对从SSO 702或MSO 802的横向交叉点到显示设备902的垂直刻痕计数来测量显示设备902的高度。显示设备902的位置也是动态计算，因为它的值随着用户202(其将使用显示设备902)改变显示设备物理位置和/或方位而改变。重新计算由显示设备902的运动捕获感测能力所接收的信号来发起。

现在参考图10-12，根据本发明的实施方式的各个方面全部示出了示例性3D渲染和投影、具有焦点和来自显示设备第一人称的视线的显示设备902的视点(POV)以及具有焦点和来自显示设备第三人称的视线的显示设备902的POV。

被参考作为视点(POV)的显示设备用户界面(UI)1102利用3D渲染的计算机图形过程来将3D线框模型自动转换成2D图像。在3D线模型上的点被绘制在显示环境上，然后显示设备902的软件应用实时3D渲染效果以模拟拟真的用户界面(如在图10中看到的)。POV1102模拟具有3D渲染对象的现实的用户202的第一人称视点。此外，POV 1102通过使用3D投影和正投影以将2D图像显示为如在图11和图12中看到的图面(picture plane)来显示显示环境600的各个方面。图面是垂直于来自显示设备902的焦点和显示环境的视线的所产生的平面。透视投影焦点是用户202的视图的中心或起始点。显示设备902的位置和显示环境的特性与焦点组合以模拟用户202的视角的视线(如在图11和12中看到的)。

现在参考图13-15，根据本发明的实施方式的各个方面全部示出了观看具有接近度变化的显示环境的显示POV、以运动捕获和随着来自第一人称视图的视线而变化的图像为特征的显示器和以运动捕获和随着来自第三人称视图的视线而变化的图像为特征的显示器。

由于所感测到的在显示设备902到显示环境600的接近度中的变化，运动捕获技术可用于重新计算显示设备902的视线。当用户202改变设备到显示环境的接近度时，运动被捕获且软件重新渲染由显示设备902投影的图像(如在图13-15中看到的)。重新渲染通过重新计算其中显示设备902的POV视线1102与显示环境600相交的点来模拟显示环境600的导航(如在图14和15中看到的)。

现在参考图16-18，根据本发明的实施方式的各个方面示出来自第三人称视角的显示环境的3D投影导航以及第一人称和第三人称的POV头倾斜运动捕获视图效果。显示环境导航产生真实世界三维运动的效果以及向上、向下、左、右、向前和向后的视图(如在图16中看到的)。用户也能够看到在倾斜角下的视图(如在图17和18中看到的)。

现在参考图19和20，根据本发明的实施方式的各个方面示出了来自第一人称和第三人称视角的内部位置POV例子和外部位置POV例子两者。位置视角模拟用户202在显示环境600的周边内部或外部的能力。在其中大规模显示环境被部署且显示设备902的位置可被测量为在显示环境600的周边内的情形中，所显示的图像将调节以产生内部尺寸POV。内部尺寸POV调节用户的视线以从里到外以360度横向和垂直视图范围示出显示环境600。例如，具有间隔宽到足以产生大建筑物的3D模型的多个传感器的显示环境，用户202可潜在地导航或观看模型的所有内角和外角(如在图19和图20中看到的)。如果用户的显示设备横向视线不与显示环境的坐标中的任何坐标相交，则图像将不被显示，从而将用户模拟为不看环境或对象。

现在参考图21和22，根据本发明的实施方式的各个方面示出了交互设备同步过程的例子和使用交互设备2102的用户202。交互设备2102包括与显示设备902的软件同步以捕获由用户202输入的软件命令的外围设备。此外，交互设备2102允许用户通过利用设备同步过程以捕获交互设备的位置坐标用于产生用户POV 1102可观看的软件命令来操纵显示环境界面和3D模型。设备同步过程与HUD传感器同步过程相同地被利用，除了外围设备被使用来代替显示设备之外(如在图21中看到的)。此外，一些设备可包括(但不限于)手写笔棒、键盘、鼠标、手持远程控制器、捕获手、眼或身体运动的设备；以及脑计算机界面(BCI)设备。交互设备软件命令输入功能与显示显示环境的用户的POV的以前的方法类似地被处理，其中交互设备到显示环境的物理接近度被捕获，然后代替图像被渲染，软件在设备的位置处处理命令(如在图22中看到的)。

现在参考图23-27，根据本发明的实施方式的各个方面全部示出了来自没有网格线的第三人称的POV视图的设计用户界面、来自有套接的网格线的第三人称的POV视图的设计用户界面、没有网格线的设计用户界面的交替显示环境视图、有网格线的设计用户界面的交替显示环境视图以及用户逐步设计1D到3D对象加上偏移和调整大小。

对象可被设计和显示在具有特定属性的显示环境600中以模拟真实世界物理维度、纹理和其它特征。用户能够观看和或操纵多个显示环境视点和对象的方位(当他们设计它们时)。设计界面2504提供用于根据通过交互设备的使用而发起的软件命令来设计对象的多个对象创建工具。利用显示设备与显示环境600的同步，用户可基于在显示环境600上的特定点来设计并操纵3D对象。在本发明中提到的3D对象是被绘制在被表示为显示环境600的软件产生的笛卡尔坐标系上的3D模型。在对象设计过程期间，用户将有为了增强的对象设计准确度而切换和关闭透明网格的交替显示环境视图的能力(如在图23-26中看到的)。通过设计界面来提供定制CAD软件方面，设计界面在3D对象设计过程期间给用户提供第一人称视角。这个过程通过指定物理特征(例如长度、宽度和高度或半径)来利用单维(1D)形状的定义。例如，一些通用的1D形状将是圆、正方形或三角形。这些1D形状被修改以创建3D模型(例如圆锥体、盒子和球体)。3D模型然后被定制以捕获例如尺寸和独特的形状的物理特征(如在图27中看到的)。也可使用用户利用来定义形状物理特征的基本徒手画或直线绘制工具来设计1D形状。用户的设计视角基于显示设备POV，因为它改变它到显示环境600的接近度。

现在参考图28-31，全部根据本发明的实施方式的各个方面示出了基于用户接近度旋转来自第一人称和第三人称显示设备902的POV的对象的方位、来自第一人称和第三人称的POV的捕捉点3002。可结合其它CAD软件命令来使用类似于Autodesk的AutoCAD对象捕捉(Osnaps)的捕捉点以准确地绘制并操纵对象。捕捉点允许一个捕捉到特定的对象位置上以将它指定为交互点。因为用户基于接近度看到显示在显示设备上的对象，用户将必须为了更好的POV而在显示环境周围物理地导航或通过将交互设备与捕捉点一起使用以移动或旋转所请求的对象来调节3D对象的方位(如在图28和29中看到的)。

此外，捕捉点可准确地捕捉到线的端点或圆的中心以将其它线段绘制为3D对象的唯一形状的部分(如在图30和31中看到的)。

现在参考图32-33，根据本发明的实施方式的一个方面示出了导航/改变视图以交替来自第一人称和第三人称POV的捕捉点。当显示设备的接近度改变时，捕捉点3002可出现为可见的或不可见的。这产生看到在3D对象上的点的用户体验，其只抑制基于交互的用户的视点或对象的方位(如在图32和图33中看到的)。

现在参考图34-35，图34根据本发明的实施方式的一个方面示出使用菜单来添加物理特性，而图35根据本发明的实施方式的一个方面示出具有纹理和重力的物理特性对象的分配。物理特性用户界面(UI)3402可用于将物理属性分配到以前设计的3D对象。这个用户界面显现由用户分配的属性的菜单以模拟对象物理或视觉特征(如在图34中看到的)，一些属性可包括但不限于在下面的表1中列出的属性：

表1

物理特性由软件识别以引起由显示设备902的软件或交互设备发起的各种对象反应和交互。3D对象的所计算的反应由软件所处理的可选择的和可定制的物理引擎预先定义以提供真实世界响应或不同类型的物理系统的近似模拟。在本发明的实施方式的一个方面中，物理引擎可产生所计算的结果以模拟真实世界物理反应。物理引擎可以是软件的一部分或常驻在设备上或在外部的软件。

显示设备902的软件允许用户202具有在不同的模拟环境中的对象的第一人称视角以看到他们如何反应。如在图36中看到的，模拟环境可包括在真实生活背景中的对象的效应(包括温度效应和环境效应)。

在本发明的实施方式的一个方面中，显示层指数可用于将对象和反应/解决如何被用户观看进行过滤和排序。每个层可以按照特定指数号来排序，其中“0”为底部且所有数字堆叠在它之上。层可被关掉(变得不可见)、重新排序(重新编索引)、删除或锁定(不能被修改)。

现在参考图36和37，图36根据本发明的实施方式的一个方面示出通过物理引擎被应用于对象2502的重力物理的用户的第三人称视图，同时图37根据本发明的实施方式的一个方面示出碰撞和在对象上的碰撞检测效果的物理引擎模拟的用户的第三人称视图。

现在参考图38-39，根据本发明的实施方式的各个方面示出或显示了来自第三人称的POV的逐步对象思维动画捕获，同时图40-41根据本发明的实施方式的各个方面示出了软件事件触发的物理反应“如果语句”例子和交互设备事件触发的物理反应“如果语句”例子。如前面提到的物理引擎基于用户定义的物理特性来计算可能的对象运动结果。用户能够使用预设的物理引擎或导入定制物理引擎以便修改模拟结果能力。被应用的定制物理引擎的例子可以是模拟与地球的大气特征不同的月球大气特征的环境。用户通过调节对象的物理特性值来修改物理计算。使用显示环境600，用户202可经历类似于真实世界反应的实时动态反应。

对象思维模拟对象的人工智能。对象思维用户界面允许用户基于由交互设备或软件所提供的自动事件触发的用户行动来捕获将被再现的对象逐帧动画。捕获运动由用户移动对象然后使用软件以逐步捕获对象3702的捕捉点3802的位置变化的计算组成(如在图38和39中看到的)。改变对象的物理特征(例如尺寸和形状)也由逐步操纵来捕获。在捕获对象逐帧动画之后，用户配置物理反应逻辑以模拟对象的逻辑行动、反应和通用运动能力。物理反应逻辑利用所捕获的对象思维动画并应用如果语句公式逻辑来确定对象将如何对由软件和/或用户202所发起的事件触发做出反应。如果语句公式创建由发起者的命令(发起事件)和行动组成的逐步过程。“如果语句”通常具有初始事件；然后一个反应或多个反应；有创建多个逻辑结果的子句、参数和变量。例子可以是：如果用户移动轮胎4002被支撑靠着的对象4004(发起事件)，则轮胎4002将滚移(对象思维旋转行动)，如在图40和图41中看到的。这个基于“如果语句”的人工智能(物理反应逻辑)使对象能够有针对动态情况的脚本行动和反应。

在实施方式的一个方面中，本发明可包括对象解决环境(OSE)用户界面，其可提供用于使用户创建过程解决(HUD应用或媒体内容)的工具，过程解决可合并定制行动公式、高级科学方程、菜单、内容和媒体类型(图像、视频、音频等)。对象解决可被包装用于由其他HUD用户重新使用和交互(类似于移动应用和/或计算机程序的概念)。

音频回放也可受显示设备902的物理位置影响。由对象产生的声音由软件模拟以给用户202提供听到3D声音效果同时导航显示环境600的体验。当显示设备902改变它关于显示环境600的接近度时，软件产生声音回放变化。使用头相关转移功能和混响，声音在从源(包括来自墙壁和地板的反射)到收听者的耳朵的其途中的变化可被模拟。这些效果包括在收听者后面、之上和之下的声源的定位。一些3D技术也将双耳录音转换为立体声录音。Morrow Sound True 3D将双耳声、立体声、5.1和其它格式实时地转换成8.1单和多区3D声音体验。

现在参考图42和43，根据本发明的实施方式的各个方面示出了如在多用户的协同设计活动期间从第一人称和第三人称视角看到的多个用户。本发明提供同时实现显示环境的交互、导航和观看的在多个用户4302当中的合作的方面。这个合作在一个方面中可以需要互联网或本地服务器连接来使用户能够有在某一时间访问3D环境数据的能力。多个用户4302访问将提供“协同设计”的能力。“协同设计”是在对象设计期间的过程并显示用户可在哪里同时设计对象并提供活跃的标记(例如关于对象和/或环境的评论和编辑)。此外，协同设计特征将利用为关键工具用来使多个用户观看或呈现显示环境的方面。在本发明的实施方式的一个方面中，用户可以有将评论和图添加到环境以存储注解并跟踪修改的能力。可应用的软件(例如CAD软件)也可允许用户协同设计在一个环境中的对象。当CAD软件经由web服务器在外部被处理时，这允许多个用户合作地设计对象。显示环境的每个用户POV将具有不同显示角度和对象被显示的它自己的唯一视角(如在图42和图43中看到的)。

现在参考图44-45，图44根据本发明的实施方式的一个方面示出了图像4402被交互，使轮胎滚动/反弹，这也产生音频，而图45根据本发明的实施方式的一个方面示出了在显示环境600中被观看/交互的人的3D视频4502。

解决设计过程由所设计的对象、物理以及具有菜单和媒体内容的AI的包装组成。这个过程允许用户观看、创建、存储、共享被设计成显示在显示设备上作为应用的显示环境或对象并且与其交互。交互式菜单和行动提供可由用户应用来发起所存储的软件命令的各种选项。在这个实例中的软件命令可以是预先设计的行动/事件触发或用户定义的对象物理反应逻辑模仿事件。交互设备具有发起创建用户交互的源的这些软件命令的能力。此外，媒体内容(例如图像、音频和视频)用于进一步增强用户的交互和体验。例子可以是触发与声音效果组合的轮胎滚动行动的3D模型的事件的用户定义的图像(如在图44中看到的)。此外，例子可以是用户可以利用类似于本发明3D对象能力的显示设备来与其交互并且围绕其导航的个人的3D捕获的视频(如在图45中看到的)。

现在将示出本发明的实施方式的一个方面的示例性应用。首先，用户可使用位置传感器以确定显示环境的OSE工作空间的轮廓/边界来指定工作空间。用户可接着使用设计工具来开始操纵形状以创建期望对象物理维度。特性可接着被应用于对象，在这种情况下用户可选择每个对象的物理特性来创建与OSE物理的关系。用户将然后必须配置被模拟的OSE的物理。用户可接着设计对象思维以模拟对象的人工智能。“思维”用户界面将允许用户基于由交互设备触发(或由用户分配)的用户行动或由软件触发/提供的自动事件来捕获将被再现的对象逐帧动画的运动。用户接着将逻辑和/或动画应用于特定的对象以创建运动。可选地，用户可观看后勤和其它统计。所包装的项目可接着被保存并与其他人共享。

已经特别地参考本发明的特定的优选的实施方式来详细地描述了本发明，但将理解的是，可以在本发明的精神和范围之内实现变化和修改。

Claims (27)

1.一种计算机可用介质，所述计算机可用介质具有存储其中的用于使计算机实现3维对象的第一人称增强现实视图的控制逻辑，所述控制逻辑包括用于各种操作的计算机可读程序代码，这些操作包括：

初始化在显示设备和至少一个位置传感器之间的通信，其中，所述至少一个位置传感器远离所述显示设备在外部定位；

从所述至少一个位置传感器接收传感器数据；

使用来自所述至少一个位置传感器的数据产生增强现实环境，其中，所述增强现实环境包括根据所述至少一个位置传感器的实际位置确定的显示起始点；

将3维目标对象合并在所述增强现实环境内；

将笛卡尔坐标网格应用于所述增强现实环境，其中，所述笛卡尔坐标网格利用通过所述至少一个位置传感器实现的在现实中的位置的精确定位来显示，以及所述显示设备或所述显示设备的软件与所述至少一个位置传感器同步，并且所述显示设备的软件使用计算机产生的横向线计算所述至少一个位置传感器和所述显示设备之间的距离，以及其中所述横向线与通过所述显示起始点的计算机产生的垂直线交叉；以及

在第一人称增强现实视图中显示在所述增强现实环境内的所述目标对象。

2.如权利要求1所述的计算机可用介质，所述操作还包括实现所述目标对象的操纵。

3.如权利要求1所述的计算机可用介质，所述操作还包括改变所述目标对象的显示以反映在所述显示设备的位置或方位中的变化。

4.如权利要求1所述的计算机可用介质，其中所述传感器数据包括关于所述增强现实环境的物理特性、标度、位置和方位的数据。

5.如权利要求1所述的计算机可用介质，所述操作还包括实现在所述增强现实环境上重叠3维图像。

6.如权利要求1所述的计算机可用介质，其中所述增强现实环境依靠所述至少一个位置传感器的定位来产生。

7.如权利要求1所述的计算机可用介质，所述操作还包括提供所述笛卡尔坐标网格的虚拟表示。

8.如权利要求7所述的计算机可用介质，其中所述虚拟表示由在所述显示设备和所述至少一个位置传感器之间的同步来完成。

9.如权利要求1所述的计算机可用介质，所述操作还包括渲染实时效果以模拟拟真的用户界面。

10.如权利要求1所述的计算机可用介质，所述操作还包括模拟在所述增强现实环境内的用户的存在。

11.如权利要求1所述的计算机可用介质，所述操作还包括实现将物理属性应用于所述目标对象。

12.如权利要求11所述的计算机可用介质，所述操作还包括模拟所述物理属性应用在所述目标对象上的效果。

13.如权利要求12所述的计算机可用介质，所述操作还包括显示所述物理属性在所述目标对象上的所模拟的效果。

14.如权利要求1所述的计算机可用介质，其中所述目标对象是如由所述显示设备捕获的实际对象的图像。

15.如权利要求1所述的计算机可用介质，其中所述目标对象是由用户在所述增强现实环境内创建的3维设计。

16.如权利要求1所述的计算机可用介质，所述操作还包括通过所述显示设备实现运动捕获和接近度感测。

17.如权利要求1所述的计算机可用介质，所述操作还包括实现在所述增强现实环境内的多个用户的参与。

18.如权利要求17所述的计算机可用介质，所述操作还包括实现由所述多个用户进行协同设计。

19.如权利要求1所述的计算机可用介质，所述操作还包括产生所述增强现实环境的内部尺寸用户视点从而使用户能够在所述增强现实环境内观看并导航。

20.如权利要求19所述的计算机可用介质，其中所述操作包括将所述显示设备的位置和所述增强现实环境的特性与所述显示设备的焦点进行组合。

21.如权利要求1所述的计算机可用介质，所述操作还包括由所述显示设备实现模拟朝着所述目标对象放大或离开所述目标对象缩小。

22.如权利要求1所述的计算机可用介质，所述操作还包括实现所述增强现实环境的导航。

23.如权利要求22所述的计算机可用介质，其中所述操作包括感测所述显示设备的运动；和关于所述显示设备到所述至少一个位置传感器的接近度来确定所述显示设备的位置。

24.如权利要求1所述的计算机可用介质，所述操作还包括基于物理特性对所述目标对象的应用来产生并显示可能的目标对象结果。

25.如权利要求1所述的计算机可用介质，所述操作还包括基于所述显示设备的在它到所述增强现实环境的接近度中的变化来产生声音回放。

26.如权利要求1所述的计算机可用介质，所述操作还包括确定所述显示起始点。

27.如权利要求26所述的计算机可用介质，其中所述操作还包括：

确定由所述至少一个位置传感器形成的定位布局的宽度变量和长度变量；以及

将所述宽度变量和长度变量除以2。