CN105393284B

CN105393284B - 基于人类身体数据的空间雕刻

Info

Publication number: CN105393284B
Application number: CN201480037132.XA
Authority: CN
Inventors: A·J·安布鲁斯; J·G·帕克; A·G·鲍罗斯; J·A·克拉克; M·J·格莱; B·J·芒特; D·J·麦克洛克; A·C·汤姆林
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2013-06-28
Filing date: 2014-06-25
Publication date: 2018-07-31
Anticipated expiration: 2034-06-25
Also published as: US20190162964A1; US20150002507A1; EP3014581B1; WO2014210158A3; CN105393284A; WO2014210158A2; EP3014581A2; US10330931B2; US10802278B2

Abstract

描述了用于基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境的移动来对用户环境进行(3D)空间雕刻的技术。近眼显示器(NED)系统上的一个或多个传感器提供传感器数据，可从该传感器数据中确定移动距离和方向。可导航路径的空间尺寸可基于已通过该路径一个或多个用户的用户高度数据和用户宽度数据而被表示。标识雕刻出的空间的空间雕刻数据可被存储在用户环境的3D空间雕刻模型中。可导航路径也可与另一种3D映射，如从深度图像中生成的用户环境的3D表面重构网格模型，中的位置数据相关。

Description

基于人类身体数据的空间雕刻

技术领域

本发明涉及近眼显示器技术，尤其涉及基于人类身体数据的空间雕刻。

背景技术

近眼显示器(NED)设备(诸如头戴式显示器(HMD)设备)可由用户佩戴以用于增强现实(AR)体验，混合现实或虚拟现实(VR)体验。在玩游戏或其中用户或虚拟对象在用户环境中移动的其他活动中，标识场所中现实对象的形状和位置的环境的三维的(3D)、详细的映射可被用来标识虚拟对象可被置于何处和移动至何处，就好像它们是真实的那样。例如，现实对象不会穿过沙发，而看见虚拟对象这么做的用户接收到打断AR或VR体验的令人分心的不真实深度的提示。详细的映射像空间的非常密集的3D表面网格表示，允许真实体验但计算昂贵，特别是对于近眼显示器(NED)系统的可用计算机资源而言。

发明内容

该技术提供基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境中的移动来对用户环境进行空间雕刻的一个或多个实施例。另外，在一些实施例中，人类空间雕刻数据可被用于减少用于更高级的映射技术的处理。

该技术提供基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境中的移动来对用户环境进行三维(3D)空间雕刻的方法的一个或多个实施例。该方法的一个实施例包含由一个或多个处理器基于用户身体特征(包括用户高度和用户身体宽度)以及来自所述近眼显示器(NED)系统上的一个或多个传感器的传感器数据来标识用户环境中的一个或多个可导航路径。由一个或多个用户通过的一个或多个可导航路径的重叠部分被合并，且一个或多个可导航路径的位置和空间尺寸被存储为所述用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间。

所述技术提供了近眼显示器(NED)系统的一个或多个实施例。NED系统的一个实施例包含近眼支撑结构，和由该近眼支撑结构支撑并具有与用户视野近似的视野的近眼显示器(NED)。与一个或多个传感器通信耦合的一个或多个处理器也由所述近眼支撑结构支撑，且所述一个或多个处理器基于来自所述一个或多个传感器的加时戳的传感器数据而确定佩戴所述NED系统的用户的移动距离和方向。所述一个或多个处理器基于所确定的距离和方向来标识由用户通过的一个或多个可导航路径。一个或多个处理器将表示用户环境的3D空间雕刻模型中标识的一个或多个可导航路径的空间雕刻数据存储于可访问存储器中。

该技术提供一个或多个处理器可读存储设备的一个或多个实施例，所述一个或多个处理器可读存储设备包含使得一个或多个处理器执行基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境的移动来对用户环境进行三维(3D)空间雕刻的方法的指令。所述方法的实施例包含由一个或多个处理器基于用户身体特征(包括用户高度和用户身体宽度)以及来自所述近眼显示器(NED)系统上的一个或多个传感器的传感器数据来标识用户环境中的被佩戴NED系统的一个或多个用户通过的一个或多个可导航路径。由一个或多个用户通过的一个或多个可导航路径的重叠部分被合并，且一个或多个可导航路径的位置和空间尺寸被存储为所述用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间。用户环境的空间雕刻状态的可视表示由NED显示为给用户的反馈。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。

附图说明

图1是描绘近眼显示器(NED)系统的一实施例的各示例组件的框图。

图2A是具有光学透视AR显示器的NED设备的一实施例中的框架的眼镜镜腿的侧视图，该NED设备被具体化为提供对硬件和软件组件的支持的眼镜。

图2B是NED设备的实施例的显示光学系统的一实施例的俯视图。

图3是从软件角度看的基于穿过佩戴近眼显示器(NED)系统一个或多个用户的用户环境的移动来对用户环境进行3D映射的系统的实施例的框图。

图4是基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境的移动来对用户环境进行三维(3D)空间雕刻的方法的实施例的流程图。

图5是生成所述用户环境的经3D空间雕刻的映射的过程的实施例的流程图。

图6是更新所述用户环境的3D表面重构模型的过程的实施例的流程图。

图7A和7B示出将可导航路径在路径位置上的空间尺寸表示为具有基于用户高度和用户宽度的尺寸的二维小块的示例。

图7C示出表示可包括转向的导航路径的空间尺寸的另一个示例。

图8是基于用户的身体特征(包括用户高度和用户身体宽度)在用户环境中标识由佩戴所述NED系统的一个或多个用户所通过的一个或多个可导航路径的过程的实施例的流程图。

图9示出向佩戴近眼显示器(NED)系统的用户提供基于游戏的激励以帮助对用户环境进行空间雕刻的示例。

图10示出由未雕刻空间覆盖图表示的由NED系统在雕刻过程中作为反馈显示给用户的空间雕刻状态的用户视图的示例。

图11示出由雕刻出空间覆盖表示的由NED系统在雕刻过程中作为反馈显示给用户的空间雕刻状态的用户视图的示例。

图12是可用于实现网络可访问的计算系统、伴随处理模块或近眼显示器设备的控制电路系统的计算系统的一个实施例的框图。

具体实施方式

该技术提供基于穿过佩戴近眼显示器(NED)系统用户的一个或多个用户环境的移动来使用用户环境的空间雕刻的一个或多个实施例。基于来自该NED系统上的一个或多个传感器的加时戳的传感器数据，佩戴所述NED系统的用户的移动距离和方向可被确定，被用户通过的一个或多个可导航路径可基于随时间跟踪的移动的所确定的距离和方向被标识。人类身体数据诸如通过路径的一个或多个用户的高度和宽度可被用来表示路径的空间尺寸。传感器数据的一些示例是运动跟踪传感器，如三轴加速度计数据、磁力计数据和陀螺仪数据。在一些实施例中，可以使用全球定位系统(GPS)数据。来自图像传感器的图像数据也可被用于位置跟踪，但计算花费的时间将比运动跟踪传感器更长。

3D映射的人类空间雕刻数据以相比于基于人类实际通过的雕刻出的路径的深度数据的3D表面重构而言更低的计算复杂度来确定并具有对导航路径的标识的更高的可靠度。例如，玻璃或镜面墙或地板是3D表面重构中的问题。例如在一个购物商场中，来自深度相机的红外(IR)发射标识了窗口的商品而没有标识商品前面的玻璃。然而，空间雕刻数据指出不存在穿过所述窗口的路径。附加地，已被一个或多个用户随时间雕刻出的空间可用空间雕刻模型来表示。

在人类空间雕刻情况下，初始假设为世界充满了物质，无论人走到哪里，假设被违反，代表用户的高度和宽度的空间被雕刻出来。相反，3D表面重构不对世界做任何假设，比如它是否是满的或它是否是空的。间距和对象位置是基于通过深度数据对对象的检测。对空间雕刻，存在从所述“物质”到空空间的转换，而对3D表面重构存在由对象边界指示的转换。空间雕刻的转换可与3D表面重构的转换有关。空间雕刻数据可阐明深度测量的置信度值，并帮助更快地建立所述3D表面重构(例如，网格重构)。在一些实施例中，空间雕刻的一个或多个应用为用户提供激励以协助雕刻出空间。

图1是描绘近眼显示器(NED)系统的实施例的各示例组件的框图。在所例示出的实施例中，系统8包括作为头戴式显示器(HMD)设备2并且经由线缆6通信地耦合至被标识为伴随处理模块4的另一计算机系统的近眼显示器(NED)设备。在其他实施例中，在NED设备2和伴随处理摸块4之间的无线通信可被使用。在其他实施例中，伴随处理模块4的功能可被集成在显示设备2的软件和硬件组件中。

在这些实施例中，NED设备2采用框架115眼镜的形状，其中相应的显示器光学系统14l、14r位于NED设备的前部以在NED被用户佩戴时由每一只眼睛透视。在这一实施例中，每一显示器光学系统14l、14r使用投影显示器，其中图像数据被投影到用户眼睛中以生成图像数据的显示，从而使得该图像数据对于用户而言看上去位于用户前方的三维视野中的位置处。每个显示器光学系统14l，14r也被称为显示器，并且两个显示器光学系统14一起也可以被称为显示器。

在这些实施例中，框架115提供方便的眼镜框架作为用于将NED设备2的各元件保持在原位的近眼支撑结构以及用于电连接的管道。框架115包括具有用于记录声音并向控制电路136传送音频数据的话筒110的鼻梁架104。框架的镜腿或侧臂102抵靠在用户的每个耳朵上，并且在该示例中，右侧臂102r被例示为包括用于NED设备2的控制电路系统136。

在一些实施例中，伴随处理模块4是便携式计算机系统比如移动设备(例如智能电话、平板、膝上型计算机等等)。NED设备和伴随处理模块4两者中一个或全部可在一个或多个通信网络50上与一个或多个网络可访问的计算机系统12通信，无论计算机系统是位于附近的还是在远程位置处。

应用可以正在计算机系统12上执行，其与在近眼显示器系统8中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D映射应用可在一个或多个计算系统12上执行，用户的近眼显示器系统8传达来自图像传感器的图像和深度数据或其他传感器数据(如惯性传感器数据)，这些数据被一个或多个计算机系统12用来建立用户环境的详细3D映射。NED系统8可随后下载详细3D映射以标识用户在看什么以及将表示虚拟对象的图像数据显示在显示器视野的何处。术语“显示器视野”指的是NED系统的显示器的视野。换言之，显示器视野近似于从用户角度看的用户视野。

图2A是具有光学透视AR显示器的NED设备的实施例中的框架的眼镜腿102的侧视图。在框架115前描述了至少两个深度图像捕捉设备113(例如，深度相机)中的一个，其可捕捉现实世界的图像数据(如视频和静止图像，通常是彩色的)以及深度传感器数据。深度传感器数据可被对应于深度相机113的图像传感器上像素的深度敏感像素所捕捉。捕捉设备113也被称为面朝外的捕捉设备，意思是从用户的头部面朝外。

所例示的捕捉设备是面向前方的捕捉设备，其相对于其相应的显示器光学系统14的参考点被校准。这样的参考点的一个示例是其相应显示器光学系统14的光轴(参见图2B中的142)。校准允许从捕捉设备113捕捉的深度图像数据中确定显示器光学系统14的显示器视野。深度数据和图像数据形成显示器视野的深度图。显示器视野的三维(3D)映射可基于深度图来生成，3D映射被用来标识用户头部视角以及将表示虚拟对象的图像数据显示在何处以供佩戴NED设备的用户观看。

控制电路系统136提供支撑头戴式显示器设备2的其他组件的各种电子装置。在此示例中，右侧臂102示出显示器设备2的控制电路136的示例性组件。示例性组件包括图像生成单元120的显示器驱动器246。例如，显示器驱动器246可提供微显示器电路的控制信号以及微显示器的照明源的驱动电流。其他示例性组件包括：控制显示器驱动器246的处理单元210、可被处理单元210访问的用来存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的通信模块137、传感器/扬声器接口电路231、以及为控制电路系统136的各组件以及显示器设备2的其他组件(如捕捉设备113、话筒110和下面讨论的传感器单元)提供电力的电源239。如有必要，接口电路231对传感器读数诸如从惯性感测单元132到位置感测单元144执行模数转换，以及对输出至耳机130的音频执行数模转换。接口电路231也可将传感器读数直接缓存至存储器244或将传感器读数传输至处理单元210。

尤其在没有包含至少一个图形处理单元(GPU)的单独的伴随处理模块4的各实施例中，处理单元210可包括一个或多个处理器，包括中央处理单元(CPU)和图形处理单元(GPU)。

在侧臂102内部或安装在其上的是：作为音频输出设备的示例的一组耳机130的一个耳机、包括一个或多个惯性传感器的惯性感测单元132、以及包括一个或多个位置或邻近度传感器的位置感测单元144，位置感测单元144的一些示例是GPS收发器、红外(IR)收发器、或用于处理RFID数据的射频收发器。在一个实施例中，惯性感测单元132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计作为惯性传感器。惯性感测单元132感测NED设备2的位置、方向、速度和加速度。通过这些感测的移动、头部位置(也称为头部朝向)，因此显示器设备的朝向也可被确定。头部位置的改变指示显示器视野的改变，图像数据可被相应地更新。

在此实施例中，图像生成单元120可将虚拟对象显示为出现在显示器视野中的指定深度位置来提供虚拟对象的真实的、聚焦的三维显示，该虚拟对象可以与一个或多个现实对象交互。在一些示例中，多个图像的快速显示或虚拟特征的图像的聚焦部分的合成图像可被用于使得所显示的虚拟数据出现在不同聚焦点区域中。在其他示例中，可使用Z缓冲。

在图2A所例示的实施例中，图像生成单元120包括微型显示器和耦合光学组件，如透镜系统。在此示例中，微型显示器输出的图像数据被定向到反射表面124。反射表面124在光学上将来自图像生成单元120的光耦合到显示器单元112中(参见图2B)，当设备2由用户佩戴时将表示图像的光定向到用户的眼睛。

图2B是NED设备的实施例的显示光学系统的实施例的俯视图。为了示出显示器光学系统14(在该情况下是右眼系统14r)的各个组件，在显示器光学系统周围的框架115的一部分未被描绘。在此实施例中，显示器14l与14r是光学透视显示器，每个显示器包括在两个光学保护透视镜片116和118之间例示出的显示器单元112。代表性的反射元件134E在显示器单元中示出，且代表一个或多个光学元件(如半反射镜、光栅、波导和其他可被用来将来自图像生成单元120的光定向至用户眼睛区域140的光学元件，光学元件同时也允许来自现实世界的光经过而至用户眼睛区域140，诸如例示出的沿着表示显示器光学系统14r的光轴的箭头142)。光学透视NED的显示器单元112的示例包括光导光学元件。光导光学元件的示例是平面波导。

在此实施例中，NED显示器14r是光学透视增强现实显示器，从而它可允许光从近眼显示器(NED)设备2的前部被用户的眼睛接收，从而允许除了看见来自图像生成单元120的虚拟对象的图像之外用户对NED设备2前部空间具有实际直接视图。然而，本技术也与视频观看显示器一起工作。

再者，图2A和2B仅示出头戴式显示器设备2的一半。对所例示的实施例，完整的头戴式显示器设备2可包括另一个显示器光学系统14和另一个图像生成单元120，另一个面朝外的捕捉设备113，以及另一个耳机130。

图3是从软件角度看基于穿过一个或多个佩戴近眼显示器(NED)系统用户的用户环境的移动而对用户环境进行3D映射的系统的实施例的框图。图3示出了从软件角度来看的计算环境54的实施例，该计算环境可由诸如NED系统8等系统、与一个或多个NED系统通信的一个或多个远程计算机系统12或这些的组合来实现。此外，NED系统可与其他NED系统通信以共享数据和处理资源。

在此实施例中，应用162可正在NED系统8的一个或多个处理器上执行，并且与操作系统190和图像和音频处理引擎191通信。在所例示的实施例中，远程计算机系统12以及其他NED系统8也可正在执行该应用的版本162N，远程计算机系统12与其他NED系统8通信以增强体验。

一个或多个应用的应用数据329也可被存储在一个或多个网络可访问的位置中。应用数据329的一些示例可以是针对以下各项的一个或多个规则的数据存储：将动作响应链接到用户输入数据的规则、用于确定响应于用户输入数据要显示哪些图像数据的规则、可向姿势识别引擎193注册的自然用户输入(如与应用相关联的一个或多个姿势)的参考数据、一个或多个姿势的执行准则、可向声音识别引擎194注册的语音用户输入命令、可向图像和音频处理引擎191的可选物理引擎(未示出)注册的与应用相关的虚拟对象的物理模型、以及场景中的虚拟对象和虚拟图像的对象属性(如色彩、形状、面部特征、着装等)。

如图3中的实施例所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191的所例示的实施例包括对象识别引擎192、姿势识别引擎193、显示数据引擎195、声音识别引擎194、以及场景映射引擎306(包括空间雕刻引擎304和3D表面重构模块302)。附加功能可被添加为由“…”所示。各个体引擎和数据存储通过发送标识要处理的数据的请求以及接收数据更新的通知来提供对应用162可利用来实现其一个或多个功能的数据和任务的支持平台。操作系统190促进各个引擎和应用之间的通信。操作系统190使得以下对各个应用可用：对象识别引擎192已标识的对象、姿势识别引擎193已标识的姿势、声音识别引擎194已标识的语言或声音、以及来自场景映射引擎306的对象(现实对象或虚拟对象)的位置。

计算环境54还将数据存储在(诸)图像、音频和传感器数据缓冲区199中，图像、音频和传感器数据缓冲区199提供用于可从各种源捕捉或接收的图像数据和音频数据的存储器以及用于要被显示的图像数据和要被输出的音频数据的存储器空间。缓冲区也提供用于缓冲传感器的读数，诸如来自传感器(如可被包含在惯性感测单元132中的3轴加速度计、3轴陀螺仪和3轴磁力计)的读数。缓冲区可存在于NED(例如，作为总存储器244的一部分)上并且还可以存在于伴随处理模块4上。

在许多应用中，将显示与现实环境中的现实对象相关的虚拟数据。图像和音频处理引擎191的对象识别引擎192基于来自面向外的图像捕捉设备113的捕捉到的图像数据以及捕捉到的深度数据(如果可用)、或根据由捕捉设备113捕捉到的现实环境的图像数据通过立体观测确定的深度位置，来检测和标识出显示器视野中的现实对象、它们的朝向以及它们的位置。对象识别引擎192通过标记对象边界(例如使用边缘检测)并且将对象边界与结构化数据200进行比较来将现实对象彼此区分开。除了标识出对象的类型以外，可以基于与所存储的结构数据200的比较来检测所标识出的对象的朝向。可通过一个或多个通信网络50访问的结构数据200可以存储要比较的结构化信息(诸如结构化模式)以及作为模式识别的基准的图像数据。基准图像数据和结构化模式也可在存储在基于云的存储322本地或可在基于云的存储322中访问的用户简档数据197中得到。

场景映射引擎306基于与对象识别引擎192以及使得图像数据要被显示的一个或多个执行中的应用(如应用162)的通信，来跟踪现实和虚拟对象在其中要显示图像数据的显示器视野的3D映射中或用户周围的体空间的3D映射中的位置、朝向和移动。在此实施例中的场景映射引擎306包括空间雕刻引擎304和可被基于人类空间雕刻数据更新的3D表面重构模块302。存储在网络(或本地)可访问的3D映射库305的空间雕刻引擎304，基于数据和规则，确定用户环境的3D空间雕刻模型，3D空间雕刻模型可被存储在库305中以进一步由用户或其他后来的用户更新。在NED系统8的一个或多个处理器上执行的空间雕刻引擎304、网络可访问计算机系统12、或两者都可基于存储在它的可访问库305中的数据和规则来执行下文讨论的方法实施例。

在一些实施例中，在网络可访问计算机系统12上运行的3D表面重构模块302可执行用户环境的密集3D表面网格映射并将映射存储至3D映射库305中以供NED系统8的模块302检索。各种级别的详细映射可由本地或远程执行的场景映射引擎306生成并存储。

表示来自面朝外的捕捉设备113的所捕捉的图像数据和深度数据的深度图可以用作近眼显示器的显示器视野的3D映射。深度图对于近似用户视角的显示器视野具有依赖于视图的坐标系。所捕捉的数据可以是基于跟踪现实对象的运动的捕捉时间而跟踪的时间。虚拟对象的位置可以在深度图中配准。

可以用传感器数据来帮助对用户的环境中围绕用户的事物进行映射。来自惯性感测单元132的数据(例如三轴加速度计，三轴陀螺仪和三轴磁力计)可标识用户头部的位置变化以及来自面朝外捕捉设备113的图像和深度数据与那些头部位置变化之间的相关性。对象相对于另一个对象的位置以及用户正在看环境的什么子集和位置被确定。

场景映射引擎306还可将不依赖于视图的坐标系用于3D映射，并且场景映射引擎306的副本可以与在其他系统(例如12、20和8)中执行的其他场景映射引擎306通信，从而映射处理可以被共享或者由与其他系统共享更新映射的一个计算机系统集中地控制。从多个视角拍摄的深度图像中的重叠主题可以基于不依赖于视图的坐标系和时间被相关，并且图像内容被组合以用于创建位置或环境(例如房间、商店空间或地理围栏区域)的体映射或3D映射(x、y、z表示或3D网格表面重构模型)。因此，可以追踪光照、阴影和对象位置的改变。不依赖于视图的映射可被存储在可通过远程计算机系统12访问的网络可访问位置。

应用(诸如用户空间应用162)针对由图像数据所表示的且由应用控制的对象来标识显示器视野的3D映射中的目标3D空间位置。显示数据引擎195执行转换、旋转和缩放操作以用于以正确的大小和视角显示图像数据。显示数据引擎195将显示器视野中的目标3D空间位置与显示器单元112的显示坐标进行相关。例如，显示数据引擎可将可分开寻址的每一显示位置或区域的图像数据(例如像素)存储在Z缓冲区和分开的色彩缓冲区中。显示器驱动器246将每一显示区域的图像数据转换成数字控制数据指令以控制图像生成单元120。

本技术可以用其他具体形式来实施而不背离其精神或实质特性。同样，对于模块、例程、应用、特征、属性、方法和其他方面的特定命名和划分并非是强制性的，且实现本技术或其特征的机制可具有不同的名称、划分和/或格式。

出于说明性目的，下面的方法实施例是在上述系统和装置实施例的上下文中描述的。下文引用的一个或多个处理器的示例是NED系统8(有或没有伴随处理模块4)的一个或多个处理器或一个或多个远程计算机系统12或两者。然而，该方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。此外，方法实施例可以在NED系统处于操作中并且适用的应用正在执行的同时连续执行。

图4是基于穿过一个或多个佩戴近眼显示器(NED)系统用户的用户环境的移动而对用户环境进行三维(3D)空间雕刻的方法的实施例的流程图。在步骤402中，一个或多个可导航路径由用户环境中的一个或多个处理器基于来自在近眼显示器(NED)系统上的一个或多个传感器的传感器数据来标识。传感器数据是加时戳的，且一个或多个处理器可基于加时戳的传感器数据来跟踪用户随时间移动的距离和方向。在一些实施例中，用户身体特征(诸如用户身高数据和用户宽度数据)可被用来表示用户正在通过路径的空间尺寸。基于用户特征标识可导航路径的示例是图7B中的体积645，其表示用户29已经走过的空间，其由来自传感器的数据(包括来自惯性感测单元132的惯性感测单元数据)确定。在步骤404中，由一个或多个用户通过的一个或多个可导航路径的重叠部分被合并，且在步骤406中，一个或多个可导航路径的位置和空间尺寸被存储为用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间。图11示出在客厅里的雕刻出的空间700的示例。路径随时间的合并已标识了在椅子和视听系统10之间的走廊。

可用于场所(如用户的客厅)的映射的量可变化。附加地，对于应用，基于空间雕刻可更快地完成生成映射，且在一些示例中可完全由NED系统执行。对于一些应用，基于空间雕刻的3D映射可对游戏元素(例如，游戏角色)的放置和穿过空间的移动提供充分的分辨率。因此在可选步骤408中，用户环境的经3D空间雕刻的映射可以可选地被生成。以下图5中讨论生成经3D雕刻的映射的过程的示例。

在其他示例中，存储的用户环境的3D映射可已从存储(本地或网络可访问)中被检索，来自人类空间雕刻数据的雕刻出的空间的位置与现有的检索到的3D映射的坐标相关。现有的映射可为空间雕刻映射但也可为更详细的映射诸如用户环境的3D表面重构模型(例如，显示所有表面的用户环境的网格版本)。在可选步骤410中，用户环境的3D表面重构模型可基于标识的雕刻出的空间被更新。以下图6中讨论更新3D表面重构模型的过程的示例。

在可选步骤412中，空间雕刻引擎304可导致NED可选地显示用户环境的空间雕刻状态的视觉表示。这提供给用户所做雕刻进展的反馈。图9和图10分别示出向用户显示未雕刻空间和雕刻出的空间的示例。在可选步骤414中，空间雕刻引擎304可与一个或多个应用交互以可选地在步骤414中向用户提供基于游戏的激励以在用户环境中接近对象边界(如为墙附近的空间更可靠建模的墙)。

图5是生成用户环境的经3D空间雕刻的映射的过程的实施例的流程图。在一些实施例中，人类空间雕刻数据可被存储为显示在可导航路径的不同位置的雕刻和未雕刻的空间的位图图像。特别地，对于容易通过的空间，随时间推移，未雕刻空间的边界可近似为对象边界。在步骤502中，由一个或多个处理器在人类空间雕刻数据中通过区分标识的雕刻出的空间和未雕刻的空间来检测一个或多个对象边界。在步骤504中，在一个多个对象边界和路径位置之间的位置关系被确定。在步骤506中，基于每个路径位置和基于人类空间雕刻数据来确定的相应的对象边界之间的相应的位置关系，一个或多个处理器生成将雕刻出的空间与用户环境中的一个或多个对象边界进行相关的经3D空间雕刻的映射。

图6是更新用户环境的3D表面重构模型的过程的实施例的流程图。例如，NED系统8的场景映射引擎306的3D表面重构模块可正在更新在与NED系统8(可正在更新用户环境的表面重构模型的全局副本)通信耦合的网络可访问计算机系统12上执行的3D表面重构模型的本地副本或实例。

在步骤512中，将雕刻出的空间的位置数据与3D表面重构模型中的位置数据进行相关。在一些示例中，NED系统可将3D表面重构模型的一个版本用作基础使得路径位置在图像捕捉的短时间内被跟踪至3D模型以进行空间雕刻。在一些示例中，当对环境进行空间雕刻时，全球定位系统(GPS)数据可被用来跟踪NED系统。GPS数据可随后被用来将雕刻出的区域跟踪至表面模型。在其他示例中，经3D空间雕刻的映射的一个或多个对象边界可基于其形状与3D表面重构模型的一个或多个表面相关。随后基于对象边界与表面的关系，雕刻出的空间的位置数据可与3D表面重构模型中的位置数据相关。在步骤514中，响应于雕刻出的空间和3D表面重构模型中相关的位置数据之间的位置数据差异，3D表面重构模型中的相关的位置数据被更新以与雕刻出的空间中的位置数据对齐。甚至对于不太复杂的3D映射(如深度图)，空间雕刻可提高可靠性。当用户佩戴正在进行空间雕刻的NED系统时接近对象使得对对象的深度测量同时被验证。

在讨论标识用户环境中的一个或多个可导航路径的过程的实施例之前，使用具有基于用户高度和用户宽度确定的边界的路径位置表示的一些示例被例示出。在一些示例中，用户的高度和宽度可被存储在用户简档数据197、322中。对于用户高度，在一些示例中，惯性感测单元132中的3轴陀螺仪或3轴磁力计可提供标识NED支撑上的传感器到地面的距离的数据，因此可从这个数据确定用户的高度。用户宽度在一些示例中可从用户高度和其他个人数据(诸如性别)来被推断出。例如，将男士和女士的高度与宽度相关的查询表可基于人口的统计分布而离线确定，且存储在可访问存储器中以供一个或多个处理器查询。在其他示例中，用户高度和宽度可从用户的图像数据中确定。例如，对象识别引擎192可检测用户在镜子中的反射并从该反射估算用户的宽度和高度。可被使用的用户宽度的一些示例是肩宽或臀宽。在一些实施例中，用户深度也可被用来制作用户的3D体积，统计数据或图像数据可由一个或多个处理器处理以挑选深度值。如果用户正在侧身行走或以其他方式移动，则用户深度可能是有用的。

图7A和7B示出将可导航路径在路径位置上的空间尺寸表示为具有基于用户高度和用户宽度的尺寸的二维小块的示例。图7C示出表示可导航路径(包括转向)的空间尺寸的另一个示例。

图7A示出了用户29(为方便起见下文中被称为“Joe”)的两个路径位置。Joe 29佩戴着他的NED设备2和无线耦合的伴随处理模块4在他的客厅中的椅子16的左侧，以自路径位置642-1至路径位置642-2的直线朝视听系统10走了几步。视听系统10包括通信耦合至计算机系统12(在此示例中的游戏控制台)的电视显示器14。

图7B示出路径位置表示642-1以及642-2的长方形小块示例，长方形小块的尺寸是基于用户高度和用户宽度而确定的。在此示例中的用户高度对应于NED支撑结构的高度，NED支撑结构的高度进而取决于当佩戴NED时用户的高度。长方形小块的宽度比Joe大一点但大小被设为可覆盖他肩膀的宽度。位置向量30表示两个小块之间的距离和方向。跟踪的路径位置的数量可基于比传感器读数之间时间差异更长的时间间隔。例如，惯性感测单元数据每秒可被读取100次，但路径位置的数量可少于100。

当Joe走向电视时，就好像特定高度和宽度的真实的长方形二维小块正在朝着电视走过客厅。每个小块上对应的点的位置数据可被连接以识别可导航路径上的空的或雕刻出的空间的体积645。为避免使附图过于拥挤，只有角被显示为被用来定义基于Joe的高度和宽度的3D可导航路径的对应的点。小块642-1的左上角640-1被链接或连接至小块642-2的左上角640-2。相似地，小块642-2的右上角640-3被链接或连接至小块642-2的右上角640-4。小块642-1的左下角640-5被链接或连接至小块642-2的左下角640-N。相似地，小块642-1的右下角640-6被链接或连接至小块642-2的未看见的右下角。

图7C示出表示可导航路径(包括转向)的空间尺寸的另一个示例。在此示例中，Joe的转身由小块650-1、650-2、650-3、650-4和650-5表示，NED设备2、伴随处理模块4和示例性小块的角的附图标记被省略以避免使附图过于拥挤。在此示例中，Joe从房间右边的路径位置650-1穿过房间，随后在路径位置或位置650-5转身面对电视。在这期间，Joe沿着650-1和650-2之间的完全直的路径段，随后如小块650-3所例示的向他的左边转了一点，随后在向他的右边转很多以在小块650-5面对电视14之前如小块650-4所示向他的右边转了一点。作为示例性对应的点，上角被例示为用实线连接以形成可导航路径体积650-3。

图8是基于用户的特征(包括用户高度和用户身体宽度)在用户环境中标识由一个或多个佩戴NED系统的一个或多个用户所通过的可导航路径的过程的实施例的流程图。此实施例可在由用户佩戴的NED的捕捉期间或捕捉加时戳的传感器数据集之后被执行。循环被用作迭代步骤的图示。在步骤602中，加时戳的传感器数据集与起始路径位置相关联。在步骤604中，起始路径位置被设置为先前路径位置。

在步骤606中，一个或多个处理器标识是否已经满足路径结束准则。路径结束准则的示例是指示停止空间雕刻的用户输入、设备已经停止移动的时间段满足路径停止准则、或在当前会话期间用户环境中没有可被识别的未雕刻的空间。如果路径结束准则被满足，则在步骤608中，任何所标识的具有重叠体积的路径段与存储器中相同的路径标识符相链接。

如果路径结束准则未被满足，则在步骤610中，时间上接下来的加时戳的传感器数据集被选为当前路径位置。在步骤612中，从先前路径位置到当前路径位置的位置向量被基于与先前路径位置和当前路径位置相关联的相应的加时戳的传感器数据集来确定。在一些示例中，位置向量可基于定位单元144生成的GPS数据来确定。在其他示例中，具有起始路径位置(例如，来自GPS单元或来自现有的映射)的惯性感测单元132，可以是惯性可导航系统且可提供加时戳的位置和速度数据，从中可标识从先前路径位置到当先路径位置的路径段的位置向量。

在其他示例中，捕捉的路径段的加速度计数据可指示从先前路径位置至当前路径位置的移动方向以及速度和加速度。用户步幅可被用来基于速度或加速度数据确定移动的距离。例如，加速度计数据可已被对用户预先跟踪而用户步幅为用户存储在用户简档数据197、322中或上传至3D映射库。对于有关从加速度计数据中确定步幅的更多信息，参见Kahn等人的美国公开的专利申请US20090043531，该申请通过引用并入本申请。

可选地，在步骤614中，至少基于在先前路径位置和当前路径位置的加时戳的数据集的时戳之间的时间段内所捕捉的加速度计数据，将高度偏移曲线被内插在先前路径位置和当前路径位置之间。加速度计数据可指示头部高度的变化，头部高度的变化可指示地形或爬楼梯的变化。

在步骤616中，基于位置向量和沿着每个小块的边界的表示先前和当前路径位置的对应点来被标识当前路径位置和先前路径位置之间的路径段体积。在步骤618中，位置向量和人类空间雕刻数据中的路径段体积的对应边界点的位置数据被存储。

图9示出向佩戴近眼显示器(NED)系统的用户提供基于游戏的激励以帮助对用户环境进行空间雕刻的示例。在此示例中，Joe在玩帮助空间雕刻的游戏。游戏在用户环境的3D表面重构网格标识的表面上显示怪物角色17，3D表面重构模块302寻找其在用户环境中的位置数据的验证。对每个他触摸的怪物，游戏提供给Joe 29游戏激励(如得分或获得游戏点数，得分或游戏点数可购买游戏服务的项目)。怪物17被显示为出现或消失在墙上。Joe的手臂尺寸和用户简档数据一样被存储在可访问的存储器上。手臂尺寸可基于使用面朝前方的图像或深度传感器的捕捉数据而已经被动态计算。手臂尺寸可基于对于他的身高和性别的统计数据被指定。附加地，手臂长度可已经从Joe的图像数据被测量。

图10示出由NED系统在雕刻过程中作为反馈显示给用户的未雕刻空间覆盖图的用户视图的示例。在此示例中，佩戴NED系统的用户通过近眼显示器看客厅。不同高度的柱体的覆盖图被显示。仅一个不同高度的柱体被标记以避免使附图过度拥挤。未雕刻空间的覆盖图被显示使得对于NED视野的指定部分的柱体(或其他显示对象如草或花、小麦等)出现在高度标准以下(即便当视野的指定部分的空间是未雕刻的)。高度标准基于观看者的高度而改变。这是为了防止用户的幽闭的感觉。在此示例中，视野中存在两个指定部分，指定部分中柱体的高度被降低了：近视野和中间视野，其中近和中间是基于进入NED显示器视野的深度而定义的。近视野中的柱体654大约是中间视野中的柱体652的大小的一半。在远视野中，高柱体650被显示。高度和位置的变化提供了人类在显示器的焦平面上的忍受因素范围内的舒适的观看体验。由于焦点(光)和水平分隔(3D深度提示)之间的不匹配，显示对象太靠近用户引起疲劳和舒适的问题。

图11示出由NED系统在雕刻过程中作为反馈显示给用户的雕刻出的空间覆盖图700的用户视图的示例。当用户走或跑在空间雕刻的地板或地面上，基于地板的覆盖层可显示雕刻出的空间的可步行的热图且不具有幽闭的感觉。覆盖图700示出Joe的客厅中雕刻出的空间。

图12是可用于实现网络可访问的计算系统12、伴随处理模块4或近眼显示器设备的控制电路136的计算系统的一个实施例的框图。图12是计算机系统的一个实施例的框图，该计算机系统可用于实现网络可访问的计算系统12、伴随处理模块4、或近眼显示器(NED)设备的控制电路系统136的可主存计算环境54的软件组件中的至少一些组件的另一实施例。组件的复杂性和数目可以因计算机系统12、控制电路136和伴随处理模块4的不同实施例而显著变化。图12示出了示例性计算机系统900。在其最基本配置中，计算系统900通常包括一个或多个处理单元902，包括一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。计算机系统900还包括存储器904。取决于计算机系统的确切配置和类型，存储器904可以包括易失性存储器905(如RAM)、非易失性存储器907(如ROM、闪存等)或是两者的某种组合。该最基本配置在图9中由虚线906来例示出。另外，计算机系统900还可具有附加特征/功能。例如，计算机系统900还可包括附加存储(可移动和/或不可移动)，包括但不限于磁盘、光盘或磁带。这样的附加存储在图12中由可移动存储908和不可移动存储910来例示出。

计算机系统900还可包含允许该设备与其他计算机系统通信的(诸)通信模块912，包括一个或多个网络接口和收发机。计算机系统900还可具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等(诸)输入设备914。还可包括诸如显示器、扬声器、打印机等(诸)输出设备916。

附图中例示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些示例是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储信息且可由计算机访问的任何其他设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种基于穿过佩戴近眼显示器NED系统的一个或多个用户的用户环境的移动来对用户环境进行三维3D空间雕刻的方法，包括：

由一个或多个处理器，基于包括用户高度和用户身体宽度的用户身体特征以及来自所述近眼显示器NED系统上的一个或多个传感器的传感器数据来标识用户环境中的被佩戴NED系统的一个或多个用户通过的一个或多个可导航路径；

合并由所述一个或多个用户通过的所述一个或多个可导航路径的重叠部分；

将所述一个或多个可导航路径的位置和空间尺寸存储为所述用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间；以及

由所述NED将对所述用户环境的空间雕刻状态的可视表示显示为给用户的反馈；

其特征在于，还包括：

生成所述用户环境的经3D空间雕刻的映射，其中生成所述用户环境的经3D空间雕刻的映射还包括：

由所述一个或多个处理器，基于所述人类空间雕刻数据通过区分雕刻出的空间和未雕刻的空间来检测一个或多个对象边界；

确定所述一个或多个对象边界与存储在所述人类空间雕刻数据中的路径位置之间的位置关系；以及

基于每个路径位置和基于所述人类空间雕刻数据而确定的相应对象边界之间的相应位置关系，所述一个或多个处理器生成将雕刻出的空间与所述用户环境中的一个或多个对象边界进行相关的经3D空间雕刻的映射。

2.如权利要求1所述的方法，其特征在于，还包括：

将所述雕刻出的空间的位置数据与所述用户环境的3D表面重构模型中的位置数据进行相关；以及

响应于所述雕刻出的空间和所述3D表面重构模型中相关的位置数据之间的位置数据差异，更新所述3D表面重构模型中的相关的位置数据以与所述雕刻出的空间中的位置数据对齐。

3.如权利要求1所述的方法，其特征在于，由一个或多个处理器基于包括用户高度和用户身体宽度的用户身体特征以及来自所述近眼显示器NED系统上的一个或多个传感器的传感器数据来标识用户环境中的被佩戴所述NED系统的一个或多个用户通过的一个或多个可导航路径还包括：

将在路径位置处的可导航路径的空间尺寸表示为具有基于用户高度数据和用户身体宽度数据的尺寸的小块。

4.如权利要求3所述的方法，其特征在于，还包括：

将加时戳的传感器数据集与起始路径位置相关联；

将起始路径位置设置为先前路径位置；

将时间上接下来的加时戳的传感器数据集选为当前路径位置；

基于与所述先前路径位置和当前路径位置相关联的相应的加时戳的传感器数据集，来确定从所述先前路径位置到所述当前路径位置的位置向量；

至少基于在所述先前路径位置和所述当前路径位置的加时戳的数据集的时戳之间的时间段内所捕捉的加速度计数据，将高度偏移曲线内插在所述先前路径位置和所述当前路径位置之间；

基于所述位置向量和沿着每个小块的边界的表示所述先前和当前路径位置的对应点来标识所述当前路径位置和所述先前路径位置之间的路径段体积；

存储所述位置向量和空间雕刻数据中路径段体积的对应边界点的位置数据；以及

将具有重叠体积的任何路径段与存储器中相同的路径标识符相链接。

5.如权利要求1所述的方法，其特征在于，还包括基于与先前路径位置和当前路径位置相关联的加时戳的加速度计数据以及用户步幅来确定从所述先前路径位置至所述当前路径位置的位置向量。

6.如权利要求1所述的方法，其特征在于：

由所述NED将对所述用户环境的空间雕刻状态的可视表示显示为给用户的反馈包括：即使在视野的指定部分的空间未被雕刻时，也将未雕刻空间的覆盖图显示成看起来在高度准则以下，所述高度准则是基于所述NED显示器视野的所述指定部分的观看者的高度而确定的。

7.一种近眼显示器NED系统，包括：

近眼支撑结构；

由所述近眼支撑结构支撑并且具有与用户视野近似的视野的近眼显示器NED；

与由所述近眼支撑结构支撑的一个或多个传感器通信地耦合的一个或多个处理器；

所述一个或多个处理器基于来自所述一个或多个传感器的加时戳的传感器数据来确定佩戴所述NED系统的用户的移动距离和方向、基于所确定的距离和方向来识别所述用户通过的一个或多个可导航路径、并基于包括一个或多个用户的用户高度和用户身体宽度的用户身体特征来确定所述一个或多个可导航路径的空间尺寸；以及

一个或多个处理器将所述一个或多个可导航路径的位置和空间尺寸存储为用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间，并将表示所述用户环境的3D空间雕刻模型中的所述的一个或多个可导航路径的空间雕刻数据存储于可访问存储器中；

其中所述一个或多个处理器进一步用于生成所述用户环境的经3D空间雕刻的映射，包括：

8.如权利要求7所述的近眼显示器NED系统，其特征在于，还包括：

所述一个或多个处理器通过网络通信地耦合，以用于将所述3D空间雕刻模型发送至网络可访问计算机系统的3D表面重构模块并用于接收所述用户环境的来自所述3D表面重构模块中的基于的3D空间雕刻模型更新的3D表面重构模型。

9.如权利要求7所述的近眼显示器NED系统，其特征在于，还包括：

所述一个或多个处理器将一个或多个可导航路径的相应的路径位置表示为相应的至少两维的小块，该小块具有由所述用户高度和所述用户身体宽度确定的空间尺寸；

所述一个或多个传感器包括加速度计；以及

所述一个或多个处理器基于来自所述加速度计的数据来确定表示两个相应的路径位置的两个小块之间的高度偏移以及路径位置之间的位置向量。