CN105393192A - 用于近眼显示器的网状分层菜单显示配置 - Google Patents

Abstract

描述了用于网状分层菜单界面的技术，该菜单界面以网状分层菜单显示配置在近眼显示器(NED)中显示菜单。网状分层菜单显示配置将各菜单级和菜单级内的菜单项与用于菜单元素的灵活空间尺寸相链接。执行该界面的一个或多个处理器基于根据NED视野数据的3D映射和所存储的用户头部舒适度规则确定的可用菜单空间和用户头部查看方向来选择网状分层菜单显示配置。基于用户头部运动数据来将菜单项选择准则中的激活参数调整为因用户而异的，用户头部运动数据是基于在用户佩戴NED时来自一个或多个传感器的数据来跟踪的。菜单显示布局可由用户的头部查看方向及用户的头部周围的可用菜单空间的变化来触发。

Description

用于近眼显示器的网状分层菜单显示配置

背景

传统计算机用户输入方法涉及物理控制设备，如智能电话触摸屏、游戏垫、或游戏系统的遥控器。这些设备对用户而言是熟悉且舒适的，且确实提供精确的输入读数。然而，物理输入设备也可能是不方便的。用户可能需要在设备可使用前从他们的口袋或包中取出设备。另外，物理输入设备在视线外时可能是不可使用的，从而导致用户有时必须中断他们的活动来看向设备。

近眼显示器(NED)设备(诸如头戴式显示器(HMD)设备)可由用户佩戴以用于扩增现实(AR)体验或虚拟现实(VR)体验。诸如注视动作、语音以及手势等自然用户输入允许用户与围绕用户的三维空间中的虚拟对象交互。然而，自然用户输入在验证对项的选择、针对用户的身体特性进行调整、以及具有现实世界位置作为显示空间(与已知尺寸的预定电子显示空间相对)时呈现挑战。

概述

本发明技术提供了用于近眼显示器(NED)系统的网状分层菜单界面的一个或多个实施例。该界面包括表示一个或多个网状分层菜单显示配置的所存储的数据。当在一个或多个处理器上执行时，网状分层菜单界面的实施例基于在用户佩戴NED系统时监视来自NED系统的一个或多个传感器的传感器数据，针对用户的三维环境中的显示并针对用户的头部舒适度来选择并适配显示配置。传感器还可包括图像捕捉设备。该界面还基于传感器数据来标识与所显示的菜单的用户交互。在许多实施例中，网状分层菜单界面提供脱手用户界面。

本发明技术提供确定网状分层显示配置以供近眼显示器(NED)显示菜单的方法的一个或多个实施例。该方法的实施例包括由一个或多个处理器标识指示要由近眼显示器(NED)显示的菜单的数据。由一个或多个处理器基于用户的环境的所存储的三维(3D)映射来确定用户头部周围的可用菜单空间以及用户头部查看方向。一个或多个处理器基于菜单激活位置的用户头部查看方向来选择菜单在NED的显示视野中的位置。

基于可用菜单空间、用户头部查看方向、以及用户头部舒适度规则来选择网状分层菜单显示配置。一个或多个处理器基于可用菜单空间、用户头部查看方向、以及用户头部舒适规则将菜单项适配到所选网状分层显示配置。一个或多个处理器使近眼显示器显示菜单，其中该菜单的菜单项根据所选网状分层菜单显示配置进行了适配。

本发明技术提供了用于基于用户选择度量来适配由近眼显示器(NED)系统的一个或多个处理器执行的网状分层菜单界面的激活的方法的一个或多个实施例。该方法的一实施例包括由一个或多个处理器基于所存储的用户头部运动数据调整网状分层菜单界面的菜单项选择准则中的激活参数。监视用户的头部查看方向以确定头部查看方向的变化是否激活菜单显示布局的变化。另外，确定可用菜单空间的变化是否激活菜单显示布局的变化。在一个或多个处理器的控制下，标识对菜单项的用户选择，且由NED显示对菜单项的用户选择进行确认的反馈。

本发明技术提供用于由近眼显示器(NED)系统按网状分层菜单显示配置来显示菜单的系统的一个或多个实施例。该系统的实施例包含近眼支撑结构和由近眼支撑结构支撑且具有与视野的近眼显示器(NED)。由近眼支撑结构支撑的图像生成单元示出图像数据，如处于网状分层菜单显示配置的菜单，以供近眼显示器(NED)显示。

一个或多个处理器能访问存储网状分层菜单显示配置和网状分层菜单显示配置规则的存储器。通过通信耦合到图像生成单元，一个或多个处理器根据所存储的网状分层菜单显示配置之一和用户头部舒适度规则来控制菜单的显示。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。

附图简述

图1是描绘近眼显示器(NED)设备系统的实施例的各示例组件的框图。

图2A是具有光学透视AR显示器的NED设备的一实施例中的框架的眼镜镜腿的侧视图，该NED设备被具体化为提供对硬件和软件组件的支持的眼镜。

图2B是所述NED设备的实施例的显示光学系统的实施例的俯视图。

图3A示出具有灵活链接的网状分层显示配置的示例，该灵活链接连接网状分层菜单用户界面的一实施例中的各级菜单选择。

图3B示出图3A的示例网状分层菜单显示配置的另一版本，具有用于示出在作出菜单选择时的进展的另一视觉辅助的示例。

图4A示出具有连接各级菜单选择的形状灵活链接的网状分层菜单显示配置的另一示例。图4B示出具有连接各菜单项的z字形灵活链接的网状分层菜单显示配置的另一示例。

图5A是从包括在近眼显示器设备内操作的网状分层菜单界面的软件角度来看的系统的实施例的框图。

图5B示出解说可在本发明技术的实施例中使用的数据项的示例的网状分层显示配置数据集的示例。

图5C示出解说可在本发明技术的实施例中使用的其中的数据项的示例的用户选择度量数据集的示例。

图6是用于确定网状分层菜单显示配置以供近眼显示器(NED)显示菜单的方法的实施例的流程图。

图7是用于基于用户选择度量来适配由近眼显示器(NED)系统的一个或多个处理器执行的网状分层菜单界面的激活的方法的实施例的流程图。

图8是用于基于用户头部运动数据来适配用于从网状分层菜单选择菜单选择的激活参数的过程的实施例的流程图。

图9是用于监视头部查看方向并确定头部查看方向的变化是否激活菜单布局的变化的方法的实施例的流程图。

图10是用于标识对菜单项的用户选择的方法的实施例的流程图。

图11是用于基于可用菜单空间的变化来调整菜单显示配置的方法的实施例的流程图。

图12是可用于实现网络可访问的计算系统、伴随处理模块或近眼显示器设备的控制电路系统的计算系统的一个实施例的框图。

详细描述

在增强现实或虚拟现实环境中，菜单可以与菜单激活位置相关联，菜单激活位置是用户3D环境中的拴系到用户环境中的现实或虚拟对象、身体锁定到用户、或甚至头部锁定到用户的位置。菜单的事件触发显示的示例是检测到用户视角或头部查看方向包括这些菜单激活位置之一。换言之，检测到近眼显示器的视野中的菜单激活位置。例如，在用户看向与菜单或关联于菜单的现实或虚拟对象相关联的身体锁定的位置时，菜单可被显示或弹出给用户。在一些实例中，光标出现在视野中菜单激活位置的附近。

网状分层菜单显示配置的一个或多个实施例将各菜单级和菜单级内的菜单项与用于菜单元素的灵活空间尺寸相链接。网状分层菜单界面的实施例选择并适配该配置以显示菜单分层结构，来达成维持近眼显示器(NED)设备的佩戴者的用户头部舒适度的目标。事实上，除菜单项之间的距离之外，网状分层菜单显示配置的许多方面可被定义为灵活的，如由与配置相关联的规则所管控，诸如菜单项的大小和形状、可同时显示的级数、灵活链接的形状变化、菜单项之间的角间隔，等等。

配置在蜘蛛网的意义上是网状的。配置因它们可以是不同的总大小而是类似的，且包括比依赖于可供用于显示它们的空间的其他配置而言更紧凑的各个位置，这些其他配置例如是基于在其中编织它们的空间的自然蜘蛛网。

在许多示例中，用户头部查看方向和用户头部位置的变化等自然用户输入可被用来选择菜单项。例如，用户对菜单项的聚焦可由头部查看方向来标识，这是用户正从哪一角度查看场景。菜单项可被突出显示或以其他方式在视觉上被指示为选择候选，且佩戴NED系统的用户可以用他或她的头部执行确认动作，如点头作为头部位置的变化，或头部位置的贯穿菜单项的从一边到另一边变化(有时称为头部滑扫)同时用户头部查看方向停留在相对于菜单项的范围内。(NED上的一个或多个传感器将检测头部滑扫。)基于头部的移动可以根据包括加速度计(与眼睛跟踪系统相比，它在功率方面是较不昂贵的传感器包)的惯性感测单元来确定。

网状分层菜单界面的一些实施例提供了与菜单的脱手交互。这允许用户保持用他们的手执行每日活动并使用他们的头来导航虚拟菜单。另外，姿势识别(如果可用的话)可能在计算上是昂贵的。应用可能已经使用姿势识别资源来将手以及手指姿势标识为与应用所提供的活动相关的用户输入。其他实施例也可将基于注视的动作和语音识别为用于选择项的用户动作。例如，注视和语音可以是后退用户选择动作，如果基于头部位置或头部移动发生了选择分辨率问题的话。如上所述，注视检测使用附加硬件和处理器时间来跟踪眼睛移动并跟踪注视变化。声音或语音输入(如果对用户而言不是令人分心的)对环境中的其他人而言可能是令人分心的，且也可能降低隐私性。

图1是描绘近眼显示器(NED)设备系统的实施例的各示例组件的框图。在所解说的实施例中，该系统包括作为头戴式显示器(HMD)设备2并且经由线缆6通信地耦合至被标识为伴随处理模块4的另一计算机系统的近眼显示器(NED)设备。在其他实施例中，在NED设备2和伴随处理摸块4之间的无线通信可被使用。在其他实施例中，伴随处理模块4的功能可被集成在显示设备2的软件和硬件组件中。

在这些实施例中，NED设备2采用框架115眼镜的形状，其中相应的显示器光学系统14位于NED设备的前部以在NED被用户佩戴时由每一只眼睛透视。在这一实施例中，每一显示器光学系统14使用投影显示器，其中图像数据被投影到用户眼睛中以生成图像数据的显示，从而使得该图像数据对于用户而言看上去位于用户前方的三维视野中的一位置处。每个显示器光学系统14也被称为示器，并且两个显示器光学系统14一起也可以被称为显示器。

在这些实施例中，框架115提供方便的眼镜框架作为用于将NED设备2的各元件保持在原位的近眼支撑结构以及用于电连接的管道。框架115包括具有用于记录声音并向控制电路136传送音频数据的话筒110的鼻梁架104。框架的镜腿或侧臂102抵靠在用户的每个耳朵上，并且在该示例中，右侧臂102r被解说为包括用于NED设备2的控制电路系统136。

在一些实施例中，伴随处理模块4是诸如移动设备等便携式计算机系统(例如智能电话、平板、膝上型计算机)。NED设备和伴随处理模块4两者中一个或全部可在一个或多个通信网络50上与一个或多个网络可访问的计算机系统12通信，无论计算机系统是位于附近的还是在远程位置处。

应用可以正在计算机系统12上执行，其与在近眼显示器设备系统8中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D映射应用可被在一个或多个计算系统12上执行，用户的近眼显示设备系统8传达来自图像传感器的图像和深度数据和其他传感器数据(如惯性传感器数据)，这些数据被所述一个或多个计算机系统12用来建立用户环境的详细3D映射。NED系统8可随后下载详细3D映射以标识用户在看什么和将表示虚拟对象的图像数据显示在显示视野的何处。术语“显示视野”指的是NED设备系统的显示器的视野。换言之，显示视野逼近从用户视角看见的用户视野，也称为用户头部查看方向。

图2A是具有光学透视AR显示器的所述NED设备的实施例中的框架的眼镜腿102r的侧视图。在框架115前描述了至少两个深度图像捕捉设备113(例如，深度相机)中的一个，其可捕捉现实世界的图像数据如视频和静止图像(通常是彩色的)以及深度传感器数据。深度传感器数据可被对应于深度相机113的图像传感器上像素的深度敏感像素所捕捉。捕捉设备113也被称为面朝外的捕捉设备，意味着从用户的头部面朝外。

所例示的捕捉设备是面向前方的捕捉设备，其相对于其相应的显示器光学系统14的参考点被校准。这样的参考点的一个示例是其相应显示器光学系统14的光轴(参见图2B中的142)。校准允许从捕捉设备113捕捉的深度图像数据中确定显示器光学系统14的显示视野。深度数据和图像数据形成深度图像捕捉设备113的所捕捉的视野中的深度图，捕捉设备被校准以包括显示视野。显示视野的三维(3D)映射可基于深度图而生成，3D映射被用来标识用户头部视角以及将表示虚拟对象的图像数据显示在何处以供佩戴所述NED设备的用户观看。

控制电路系统136提供支撑头戴式显示设备2的其他组件的各种电子装置。在此示例中，右侧臂102r示出显示设备2的控制电路136的示例性组件。示例性组件包括图像生成单元120的显示驱动器246。例如，显示驱动器246可提供微显示器电路的控制信号以及微显示器的照明源的驱动电流。其他示例性组件包括：控制显示器驱动器246的处理单元210、可被处理单元210访问的用来存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的通信模块137、传感器/扬声器接口电路231、以及为控制电路系统136的各组件以及显示设备2的其他组件(如捕捉设备113、话筒110和下面讨论的传感器单元)提供电力的电源239。如有必要，接口电路231对传感器读数诸如从惯性感测单元132到位置感测单元144执行模拟数字转换，以及对输出至耳机130的音频执行数字模拟转换。接口电路231也可将传感器读数直接缓存至存储器244或将传感器读数转移至处理单元210。

尤其在没有包含至少一个图形处理单元(GPU)的单独的伴随处理模块4的各实施例中，处理单元210可包括一个或多个处理器，包括中央处理单元(CPU)和图形处理单元(GPU)。

在侧臂102内部或安装在其上的是作为音频输出设备的示例的一组耳机130的一个耳机、包括一个或多个惯性传感器的惯性感测单元132、以及包括一个或多个位置或邻近度传感器的位置感测单元144，位置感测单元144的一些示例是GPS收发器、红外(IR)收发器、或用于处理RFID数据的射频收发器。在一个实施例中，惯性感测单元132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计作为惯性传感器。惯性感测单元132感测NED设备2的位置、定向、以及突然加速度。从这些感测的移动中还可以确定头部位置(也称为头部定向)以及由此确定显示设备的定向，这指示用户视角(它是用户头部查看方向)和显示视野的变化，由此来更新图像数据以跟踪用户视野。

在此实施例中，图像生成单元120可将虚拟对象显示为出现在显示视野中的指定深度位置来提供虚拟对象的真实的、聚焦的三维显示，该虚拟对象可以与一个或多个现实对象交互。在一些示例中，多个图像的快速显示或虚拟特征的图像的聚焦部分的合成图像可被用于使得所显示的虚拟数据出现在不同聚焦点区域中。在其他示例中，可使用Z缓冲。

在图2A所例示的实施例中，图像生成单元120包括微型显示器和耦合光学组件，如透镜系统。在这一示例中，微型显示器输出的图像数据被定向到反射表面或元件124。反射表面或元件124在光学上将来自图像生成单元120的光耦合到显示单元112中(参见图2B)，当设备2由用户佩戴时将表示图像的光定向到用户的眼睛。

图2B是NED设备的显示光学系统的实施例的俯视图。为了示出显示光学系统14(在该情况下是右眼系统14r)的各个组件，在显示光学系统周围的框架115的一部分未被描绘。在这一实施例中，显示器14l和14r是光学透视显示器，而显示器包括显示单元112，显示单元112被解说为位于两个光学透视透镜116和118之间并且包括表示一个或多个光学元件(如半反射镜、光栅)的代表性反射元件134E以及可被用于将光从图像生成单元120朝向用户眼睛区域140引导的其他光学元件。箭头142表示显示器光学系统14r的光轴。光学透视NED的显示器单元112的示例包括光导光学元件。光导光学元件的示例是平面波导。

在此实施例中，NED显示器14r是光学透视扩增现实的显示器，从而它可允许光从近眼显示器(NED)设备2的前部被用户的眼睛接收，从而允许除了看见来自图像生成单元120的虚拟对象的图像之外用户对NED设备2前部空间具有实际直接视图。然而，本发明技术也与视频观看显示器一起工作。

在这一实施例中，显示单元112实现集成的眼睛跟踪和显示系统。同样，一个或多个应用可以将眼睛跟踪用于它们提供给用户的活动，即使没有网状分层菜单界面或不作为主交互机制。例如，红外(IR)照明源可以在光学上耦合至每一显示器单元112中。将光朝向眼睛引导的一个或多个光学元件还可将IR照明朝向眼睛引导，并且在能够将来自眼睛的IR反射引导至IR传感器(诸如IR相机)方面是双向的。可以从所捕捉的相应IR传感器数据以及基于眼睛模型(例如Gullstrand眼睛模型)来标识每一眼睛瞳孔位置，并且可以由从近似小凹位置延伸的软件来确定每一眼睛的瞳孔位置、注视线。可以标识显示视野中的注视点。注视点处的对象可以被标识为聚焦对象。

在这一实施例中，显示器单元112包括平面波导，该平面波导充当显示器的一部分并且也集成了眼睛跟踪。代表性反射元件134E表示一个或多个光学元件，比如镜、光栅以及将表示图像的可见光从平面波导引导向用户眼睛140的其他光学元件。在这一实施例中，代表性反射元件134E还作为眼睛跟踪系统的一部分来执红外光的双向反射。红外照明和反射也穿越平面波导供眼睛跟踪系统134跟踪用户的眼睛(通常为用户的瞳孔)的位置和移动。眼睛移动也可包括眨眼。眼睛跟踪系统134包括眼睛跟踪IR照明源134A(红外发光二极管(LED)或激光器(例如VCSEL))和眼睛跟踪IR传感器134B(例如IR相机、IR光电检测器的布置)。具有代表性反射元件134E的波长选择性滤波器134C和134D实现双向红外(IR)滤波，其将IR照明朝向眼睛140引导(优选地以光轴142左右为中心)并从用户眼睛140接收IR反射(优选地包括在光轴142周围所捕捉的反射)，该IR反射从波导引导至IR传感器134B。

再者，图2A和2B仅示出头戴式显示设备2的一半。对所例示的实施例，完整的头戴式显示设备2可包括另一个显示光学系统14和另一个图像生成单元120，另一个面朝外的捕捉设备113，眼睛跟踪系统134，以及另一个耳机130。

图3A示出具有灵活链接的网状分层显示配置250的示例，该灵活链接连接网状分层菜单用户界面的一实施例中的各级菜单选择。该菜单显示标记为“社交联网主菜单”的根251下的两个菜单级。在该示例中，灵活链接242、241和243的显示菜单元素将由六边形视觉元素“社交联网简档”252、“社交联网联系人”254以及“社交联网发帖”256所表示的子节点分别链接到根251。在第二菜单级，灵活链接245、247和249的显示菜单元素将由六边形视觉元素“朋友”258、“伙伴”260以及“同事”262所表示的子节点分别链接到它们的父节点“社交联网联系人”254。应用提供菜单项的内容(“朋友”、“伙伴”、“社交联网简档”)和该树分层结构。显示配置定义它们如何由显示菜单元素表示在显示器上。

在这一示例配置中，灵活链接的长度和形状是可调整的。例如，链接的弧度以及长度可以在一定范围内调整。可调整链接还指示菜单元素的位置可根据针对配置所定义的约束来被重新定位，如下文讨论的。菜单元素在外观上可以是全息的，看起来是3D对象。如下文讨论的，菜单项也可在一定深度范围内机动，即使表示菜单项的显示菜单元素看起来是二维的。

图3A还示出了被用作标识菜单内的用户自然用户输入位置或菜单配置内的导航路径的视觉辅助的光标300。例如，光标可以相关于用户头部移动或注视移动来移动为避免跳跃的光标，光标位置变化可被平滑化且与诸如灵活链接等引导相关联，以向用户示出他们在作出选择时的进展。在所示示例中，在NED系统8的一个或多个处理器控制下的近眼显示器可以显示光标300沿灵活链接241之一的移动，这被突出显示以指示例如使用诸如头部移动或注视动作等用户动作来选择菜单项之一时的进展。

图3B示出图3A的示例网状分层菜单显示配置的另一版本，具有用于示出在作出菜单选择时的进展的另一视觉辅助的示例。椭圆形253、255和257是相关于指示项的导航或选择的用户动作而生长或变大的图标。在这一示例中，在光标300接近菜单项255时，其图标255成比例地生长。图标可改变颜色或达到指示成功选择菜单项的最大大小(这可以相对于菜单尺寸来被伸缩)，或可被光标300替换。

基于用户环境或至少显示器的视野的3D映射，用于菜单显示的空间量(此后称为可用菜单空间)以及菜单的用户头部查看方向或用户视角被标识。如下文进一步讨论的，用户头部舒适度规则或可用菜单空间量可触发该菜单被重新格式化成另一显示配置，或触发当前显示器中的菜单元素被重新格式化。重新格式化或重新定位菜单元素的一些示例包括适配在至少一个菜单级中同时显示的菜单项的大小、适配同时显示的菜单级的数量、以及基于它们的选择状态来改变菜单项的深度位置。例如，菜单项的用户头部查看方向可能指示当前用户头部位置不满足用户头部舒适度规则。如配置规则所准许的，当前未选择的菜单项在NED的显示视野中在深度方向上移动远离NED，并且当前用户选择的菜单级的各菜单项的显示位置被移动到用户环境的3D映射中的、用户查看方向可来自中心头部位置的位置处。中心头部位置是看向正前方而没有头部转动。通过仔细的UI放置来最小化玩家转动是在与菜单交互期间减少对用户的颈部的压力的益处。

图4A示出具有连接各级菜单选择的形状灵活链接的网状分层菜单显示配置的另一示例。这一示例示出了新显示配置269。六边形菜单元素再次被用来表示菜单项，但由于可用的菜单空间，菜单项以总体在水平方向上更紧凑的显示配置来更接近地凑在一起。仅一个代表性灵活链接270被标记以避免使附图过度拥挤。

如光标300所示，当前选择的项是第二菜单级中的社交联网联系人274，且其子节点朋友271、伙伴273以及同事275被定位在它周围。随时间进展，对较低级中的菜单项的选择可使得用户向下看得过久，这被检测为违反了用户头部舒适度规则。然而，用户可能偏好将已遍历的菜单级留置打开或将到它们的视觉线索留置可见。这一配置可通过将该节点的父菜单级“主菜单”270推到进一步进入视野的深度级来将其元素重新定位，所以其六边形图标的菜单元素272、270和276及其链接看起来更小。甚至针对菜单项显示的内容也可在重新格式化时被更改，如在此所示，其中“简档”、“主菜单”以及“发帖”之前的“社交联网”已被移除。

图4B示出了具有将同一菜单级的菜单项朋友285、伙伴286以及同事287连接到如光标300所示的当前选择的它们的父节点社交联网联系人284的z字形灵活链接291、292和293的网状分层菜单显示配置280的另一示例。可用菜单空间可已被标识为相对于用户头部查看方向在垂直方向上具有比水平方向更多的空间，所以网状分层菜单界面显示软件可以选择这一配置来适合该空间。菜单项可在配置280中被适配以一次示出一级，以避免超过上和下头部转动阈值。

图5A是从包括在近眼显示设备内操作的网状分层菜单界面的软件角度来看的系统的实施例的框图。图5A解说了从软件角度来看的计算环境54的一实施例，该计算环境可由诸如NED系统8等系统、与一个或多个NED系统通信的一个或多个远程计算机系统12或这些的组合来实现。此外，NED系统可与其他NED系统通信以共享数据和处理资源。

如上所述，正在执行的应用确定哪一分层菜单内容要被显示，且在这一实施例中，菜单内容被网状分层菜单界面显示引擎304适配成网状分层显示配置。在此实施例中，应用162可正在NED系统8的一个或多个处理器上执行，并且与操作系统190和图像和音频处理引擎191通信。在所例示的实施例中，远程计算机系统12以及其他NED系统8也可正在执行该应用的版本162N，远程计算机系统12与其他NED系统8通信以增强体验。

一个或多个应用的应用数据329也可被存储在一个或多个网络可访问的位置中。应用数据329的一些示例可以是针对以下各项的一个或多个规则的数据存储器：将动作响应链接到用户输入数据的规则、用于确定响应于用户输入数据要显示哪些图像数据的规则、可向姿势识别引擎193登记的自然用户输入(如与应用相关联的一个或多个姿势)的参考数据、一个或多个姿势的执行标准、可向声音识别引擎194登记的语音用户输入命令、可向图像和音频处理引擎191的可选物理引擎(未示出)登记的与应用相关的虚拟对象的物理模型、以及场景中的虚拟对象和虚拟图像的对象属性(如色彩、形状、面部特征、着装等)。

如图5A的实施例所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191的所解说的实施例包括对象识别引擎192、姿势识别引擎193、显示数据引擎195、网状分层菜单界面显示引擎304、声音识别引擎194、注视确定软件196以及场景映射引擎306。附加功能可被添加为由“…”所示。各个体引擎和数据存储通过发送标识要处理的数据的请求以及接收数据更新的通知来提供对应用162可利用来实现其一个或多个功能的数据和任务的支持平台。操作系统190促进各个引擎和应用之间的通信。操作系统190使得以下对各个应用可用：对象识别引擎192已标识的对象、姿势识别引擎193已标识的姿势、声音识别引擎194已标识的语言或声音、以及来自场景映射引擎306的对象(现实对象或虚拟对象)的位置。

操作系统190还使得由执行注视确定软件196的处理器基于眼睛跟踪数据(如从眼睛跟踪系统134接收到的IR图像数据)来标识的注视点和显示视野中的聚焦对象可用。基于眼睛跟踪数据和由面向前方的捕捉设备113捕捉到的图像及深度数据，通过各种过程之一来确定注视点。在确定注视的一个示例中，正在执行的注视确定软件196标识出每一眼睛内的瞳孔位置，并对每一眼睛从相应的小凹的大致位置延伸的注视线进行建模。一个或多个处理器确定注视线在显示视野中相交的位置。基于显示视野中的对象的3D映射(参见场景映射引擎306的讨论)，注视线相交处的位置是聚焦对象。

计算环境54还将数据存储在(诸)图像、音频和传感器数据缓冲区199中，图像、音频和传感器数据缓冲区199提供用于可从各种源捕捉或接收的图像数据和音频数据的存储器以及用于要被显示的图像数据和要被输出的音频数据的存储器空间。缓冲区也提供用于缓冲传感器的读数，诸如来自传感器如3轴加速度计、3轴陀螺仪和3轴磁力计(和可被包含在惯性感测单元132中的一样)的读数。缓冲区可存在于NED(例如，作为总存储器244的一部分)上并且还可以存在于伴随处理模块4上。

在许多应用中，将显示与现实环境中的现实对象相关的虚拟数据。图像和音频处理引擎191的对象识别引擎192基于来自面向外的图像捕捉设备113的捕捉到的图像数据以及捕捉到的深度数据(如果可用)、或根据由捕捉设备113捕捉到的现实环境的图像数据通过立体观测确定的深度位置，来检测和标识出距检测和标识出显示视野中的现实对象、它们的定向以及它们的位置。对象识别引擎192通过标记对象边界(例如使用边缘检测)并且将对象边界与结构化数据200进行比较来将现实对象彼此区分开。除了标识出对象的类型以外，可以基于与所存储的结构数据200的比较来检测所标识出的对象的定向。可通过一个或多个通信网络50访问的结构数据200可以存储要比较的结构化信息(诸如结构化模式)以及作为模式识别的基准的图像数据。基准图像数据和结构化模式也可在存储在基于云的存储322本地或可在基于云的存储322中访问的用户简档数据197中得到。

场景映射引擎306基于与对象识别引擎192以及使得图像数据要被显示的一个或多个执行中的应用(如应用162或网状分层菜单界面显示引擎304)的通信，来跟踪现实和虚拟对象在其中要显示图像数据的显示视野的3D映射中或用户周围的体空间的3D映射中的位置、定向和移动。

表示来自面朝外的捕捉设备113的所捕捉的图像数据和深度数据的深度图可以用作近眼显示器的显示视野的3D映射。深度图对于近似用户视角的显示视野具有依赖于视图的坐标系。所捕捉的数据可以是基于跟踪现实对象的运动的捕捉时间而跟踪的时间。虚拟对象的位置可以在深度图中配准。

可以用传感器数据来帮助映射在用户的环境中围绕用户的事物。来自例如三轴加速度计和三轴磁力计之类的惯性感测单元132的数据确定用户的头部的位置改变，并且用户头部的位置改变与来自面朝外的捕捉设备113的图像和深度数据的改变的相关性可以标识对象相对于彼此的位置以及用户正在看环境或位置的什么子集。环境的这一子集是该场景的什么事物处于显示视野中，其中可从中标识用户视角或用户头部查看方向。

场景映射引擎306还可将不依赖于视图的坐标系用于3D映射，并且场景映射引擎306的副本可以与在其他系统(例如12、20和8)中执行的其他场景映射引擎306通信，从而映射处理可以被共享或者由与其他系统共享更新映射的一个计算机系统集中地控制。从多个视角拍摄的深度图像中的交叠主题可以基于不依赖于视图的坐标系和时间被相关，并且图像内容被组合以用于创建位置或环境(例如房间、商店空间或地理围栏区域)的体映射或3D映射(x、y、z表示或3D网格表面重构模型)。因此，可以追踪光照、阴影和对象位置的改变。不依赖于视图的映射可被存储在网络可访问可通过远程计算机系统12访问的位置。

网状分层菜单界面显示软件引擎304基于存储在网络(或本地)可访问的网状分层菜单界面显示库305中的数据和规则，来确定要针对应用来显示的菜单的网状分层显示配置，基于围绕用户头部的可用菜单空间的变化来在配置内适配菜单项，并用于导航菜单时的头部舒适度。影响围绕用户头部的可用菜单空间的一些因素是围绕用户的其他对象。例如，坐在火车内的用户在他或她的前方可能有限制他或她的视野的座位。在起居室中的用户可能具有在她在长椅上的位置与电视机之间的六英尺或更大无障碍距离。菜单放置准则或规则也可指示不遮挡用户可能与其交互的对象的偏好。例如，用户可能正在相关于菜单的活动中移动虚拟或现实对象，使得菜单不覆盖对象或只覆盖达允许百分比或使其透明度被调整。在另一示例中，用户的朋友走进房间并与菜单项之一的空间重叠。在这一场景中，网状分层菜单界面显示软件引擎304调整显示配置以避免与用户的朋友重叠，例如通过移动菜单项。

网状分层菜单界面显示引擎304还根据因用户而异的菜单选择准则来标识对菜单项的用户选择并提供视觉辅助以给出与选择成功有关的用户反馈。在NED系统8的一个或多个处理器上执行的网状分层菜单界面显示软件引擎304、网络可访问计算机系统12、或这两者都可基于存储在它的可访问库305中的数据和规则执行下文讨论的方法实施例。

应用162或网状分层菜单界面显示引擎304针对由图像数据所表示的且由应用控制的对象来标识显示器视野的3D映射中的目标3D空间位置。例如，网状分层菜单界面显示引擎304基于用户动作或触发菜单布局变化的其他变化来标识显示菜单元素的位置和对象属性的变化。显示数据引擎195执行转换、旋转和缩放操作以用于以正确的大小和视角显示图像数据。显示数据引擎195将显示视野中的目标3D空间位置与显示单元112的显示坐标进行相关。例如，显示数据引擎可将可分开寻址的每一显示位置或区域的图像数据(例如像素)存储在Z缓冲区和分开的色彩缓冲区中。显示驱动器246将每一显示区域的图像数据转换成数字控制数据指令以控制图像生成单元120。

图5B和5C示出可被包括在网状分层菜单界面显示库305的一实施例中的数据集和规则的一些示例。

图5B示出解说可在本发明技术的实施例中使用的数据项的示例的网状分层显示配置数据集的示例。网状分层显示配置规则422也被示为网状分层菜单界面显示库305的一部分，且在由处理器执行时实施为每一显示配置存储的网状分层显示配置数据集402所定义的约束。

为网状分层显示配置所存储的数据包括标识不同显示菜单元素的大小、形状、以及距离范围的数据。针对配置数据集402示出的数据项示例是代表性的且不意味着是全包括性的，如“…”所示。所示数据项示例是高度、宽度以及深度方面的根据一次显示的级数的默认和最小空间尺寸404。这可以例如标识所显示的每一级数的总体显示配置的大小范围。另一示例是可同时显示的级数范围406。下一组示例可以在对表示菜单中的菜单项的显示菜单元素进行适配时使用。默认配置数据以及最小约束被标识：(每一菜单级的)菜单项之间在高度、宽度以及深度上的默认和最小3D位置间隔408，(每一菜单级的)灵活链接的形状定义410，(每一菜单级的)菜单项图标的形状定义412，(每一菜单级的)灵活链接在每一方向上的默认和最小长度414，以及(每一菜单级的)菜单项图标的默认和最小大小416。另外，显示菜单元素的美学方面的配置数据可被提供，如每一级处的菜单项图标的颜色418和每一级处的灵活链接的颜色420的示例。

图5C示出解说可被包括在网状分层菜单界面显示库305中的数据项的示例的用户选择度量数据集的示例。基于诸如在示例性用户选择度量数据集500中定义所示的数据等数据来应用用户头部舒适度规则526和因用户而异的菜单项选择准则528。同样，所示数据项是示例性的而非穷尽性的，且所有所标识的数据项可能没有被本发明技术的实施例使用。

用户选择度量数据集500包括示例性用户身体特性数据集502、当前用户高度520、当前用户身体位置522、以及当前用户运动状态524。当前用户身体位置522可仅基于来自惯性感测单元132的数据或结合基于深度图像数据和用户环境的3D映射标识用户周围事物来确定。身体位置的一些示例是坐、站、倚靠、以及正躺或侧躺。可针对不同的身体位置定义不同的头部运动范围。当前用户高度可以基于用户的所存储的高度(例如，站立高度)以及当前身体位置来确定。用户存储的高度可以仅基于惯性感测单元132或结合基于其对3D映射的用户环境的视图标识NED的高度来确定。例如，坐下高度远小于站立高度。当前用户运动状态524可在用户朝拴系到3D映射中的固定点的虚拟菜单移动时被用于解释用户动作。另外，运动状态可被用于安全原因。例如，基于用户运动状态调整菜单的位置或关闭菜单，以便不干扰用户的现实世界视野。

用户头部运动数据集505包括基于通过例如惯性感测单元132的加速度计、陀螺仪或这两者生成的头部定向数据特别针对用户随时间跟踪的数据项的示例。在许多示例中，用户头部舒适度规则526可在实施舒适度准则时基于这些数据值来特别针对该用户应用这些规则。用户头部运动数据集505包括在上和下方向上的头部转动距离范围504、在从一侧到另一侧方向上的头部转动距离范围506、在上和下方向上的头部转动速度508、以及在从一侧到另一侧方向上的头部转动速度510。

可被存储的其他身体特性数据包括可任选的注视范围右眼数据512、可任选的注视范围左眼数据514、以及作为用户的站立高度的用户高度518数据。

用户头部舒适度规则526可应用于多个基于头部的特征。规则526可具有按舒适度排序的头部位置列表，例如基于人类因素或人类工程学数据预定的。例如，指示用户头部的中心头部位置是意味着无转动的水平，且面向正前方可被标识为最舒适头部位置，至少对于坐下或站立身体位置而言。另外，头部转动范围和头部转动速度的一个或多个比例可被用于指示舒适度水平的一个或多个阈值。转动范围和速度可优选地在根据用户的测量来确定的那些。保持特定头部位置的时间因素也可被用于确定用户舒适度水平。

基于头部的特征也可包括眼睛和用于发声的嘴。用于注视的舒适度规则可应用于用来激活项的注视角度和注视长度。关于声音，要发出的音量水平、声音长度可以是舒适度因素，且需要语音的缓慢性或快速性。

本发明技术可以用其他具体形式来实施而不背离其精神或实质特性。同样，对于模块、例程、应用、特征、属性、方法和其他方面的特定命名和划分并非是强制性的，且实现本技术或其特征的机制可具有不同的名称、划分和/或格式。

出于说明性目的，下面的方法实施例是在上述系统和装置实施例的上下文中描述的。下文引用的一个或多个处理器的示例是NED系统8(有或没有伴随处理模块4)的一个或多个处理器或一个或多个远程计算机系统12或这两者。然而，该方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。此外，各方法实施例可以在NED系统处于操作中并且适用的应用正在执行的同时连续执行。

图6是用于确定网状分层显示配置以供近眼显示器(NED)显示菜单的方法的实施例的流程图。该方法的实施例包括在步骤602由一个或多个处理器标识指示要由近眼显示器(NED)显示的菜单的数据。如上所述，数据可以是场景映射引擎306已标识出菜单激活位置位于当前显示视野中。在步骤604，由一个或多个处理器基于所存储的用户的环境的三维(3D)映射，来确定用户头部周围的可用菜单空间。例如，一个或多个处理器基于显示视野的3D映射或用户环境的3D映射中的至少一者标识用于按网状分层显示配置来显示菜单的可用菜单空间。

在步骤606，由一个或多个处理器基于菜单激活位置的用户头部查看方向，来选择菜单在NED的显示视野中的位置。另外，菜单在显示视野中的位置可以基于用户高度或当前用户高度中的至少一者来选择，使得用户以舒适的眼睛水平来看到菜单。

在步骤608，基于可用菜单空间、用户头部查看方向、以及用户头部舒适度规则来选择网状分层菜单显示配置，并且在步骤610，基于可用菜单空间、用户头部查看方向、以及用户头部舒适度规则来将各菜单项适配到所选网状分层显示配置。如在针对图4A和4B的讨论中提到的，适配的一些示例可包括基于可用菜单空间来适配同时显示的至少一个菜单级中的各菜单项的大小以及适配同时显示的菜单级数。在步骤612，一个或多个处理器使图像生成单元120显示菜单，其中该菜单的各菜单项根据所选网状分层显示配置进行了适配。

如下文进一步讨论的，头部查看方向和可用菜单空间在菜单的显示期间被持续监视，以用于确定是否要改变菜单显示布局。例如，对头部查看方向和头部位置的监视可指示用户头部位置正转动离开中心头部位置。为避免用户不适，各菜单级之间的被显示的距离可被减少。

图7是用于基于用户选择度量来适配由近眼显示器(NED)系统的一个或多个处理器执行的网状分层菜单界面的激活的方法的实施例的流程图。该方法的一实施例包括在步骤616由一个或多个处理器基于所存储的用户头部运动数据调整网状分层菜单界面的菜单项选择准则中的激活参数。一个或多个处理器在步骤618监视头部查看方向并确定头部查看方向的变化是否激活菜单显示布局的变化。在步骤620，一个或多个处理器确定可用菜单空间的变化是否激活菜单显示布局的变化。在步骤622，标识对菜单项的用户选择，例如通过基于来自NED系统上的传感器(如眼睛跟踪系统134、惯性感测单元132以及深度相机113)的数据标识自然用户输入。在步骤624，NED系统显示对菜单项的用户选择进行确认的反馈。

图8是用于基于用户头部运动数据来适配用于从网状分层菜单选择菜单选择的激活参数的过程的实施例的流程图。在步骤626，一个或多个处理器在NED系统的使用期间根据定向传感器数据随时间跟踪用户头部运动数据并存储数据值。在628，加权方案被应用于所跟踪的数据值，从而对较后跟踪的数据值给予优先。

在步骤630、634、636和638，上和下方向上的经加权的头部转动距离范围值中的每一者，对从一侧到另一侧方向上的经加权的头部转动距离范围值求平均，对上和下方向上的经加权的头部转动速度求平均，以及对从一侧到另一侧方向上的经加权的头部转动速度求平均，并将它们存储在用户头部运动数据集中。

在步骤640，基于随时间跟踪的用户头部运动数据集的经加权的平均值，调整在菜单项选择准则中的头部移动速度和范围激活参数，以生成因用户而异的菜单项选择准则。

图9是用于监视头部查看方向并确定头部查看方向的变化是否激活菜单布局的变化的方法的实施例的流程图。该方法的实施例包括在步骤642，检查用户相对于菜单的查看方向，例如基于由前深度相机113捕捉的深度图像来检查NED视野中的菜单位置。在步骤644，确定查看方向是否在菜单选择的范围内。用户的查看方向可能只是由于正常用户头部运动而稍微移动。另外，选择动作的一些确认可以使用户改变他们对菜单的查看角度或方向。在一些示例中，菜单选择准则的范围可以基于在一时间段内所显示的菜单在显示视野中的百分比。这可以是用户仍然参与该菜单的指示符。

响应于查看方向没有在菜单选择的范围内，在步骤648，菜单被关闭。这防止无意的菜单选择。可任选地，在步骤646，当前菜单选择状态可被保存，以防用户在预定时间内返回。随后，用户可在她离开的位置处遍历分层菜单。在步骤650，响应于查看方向在菜单选择的范围内，确定查看方向是否在菜单边界范围内。菜单边界可以是菜单显示配置的边缘。响应于查看方向在菜单边界内，在步骤652，调整光标的视觉外观以指示用户头部查看方向是从菜单移开还是移向菜单。例如，在用户查看方向距边缘过近时，光标变淡，且在他或她将用户头部查看方向朝菜单返回时，光标变亮。

来自惯性感测单元132的传感器数据提供可从中确定头部位置数据和头部移动数据的定向数据和加速度数据。另外，一个或多个处理器在步骤645确定当前头部查看方向的用户头部位置数据是否满足用户头部舒适度规则，且响应于用户头部舒适度规则未被满足，在步骤656，重新定位菜单项以满足用户头部舒适度规则。如果规则被满足，则在步骤658，一个或多个处理器返回到其他处理，直至下一头部查看方向检查。

在步骤656重新定位菜单项可包括更改当前网状显示配置或选择新网状显示配置，如在图4A和4B的示例中。例如，在图4A中，如果当前用户头部位置不满足用户头部舒适度规则，当前未选择的菜单项可在NED的显示视野中在深度方向上移动远离NED，并且当前用户选择的菜单级的各菜单项的显示位置被移动到用户环境的3D映射中的、用户查看方向可来自中心头部位置的位置处。

图10是用于标识对菜单项的用户选择的方法的实施例的流程图。该方法的实施例包括在步骤662，基于NED的显示视野的3D映射来标识头部查看方向上的一个或多个菜单项，且在步骤664，在头部查看方向停留在菜单选择范围内时检测基于头部的特征的一个或多个用户动作。基于头部的特征的示例是头部或眼睛。

在步骤667，可任选地，可以显示将一个或多个用户动作与菜单内的用户导航路径进行相关的一个或多个视觉辅助。在步骤668，一个或多个处理器确定一个或多个用户动作是否满足菜单项的因用户而异的菜单项选择准则。在步骤668，一个或多个处理器确定一个或多个用户动作是否满足因用户而异的菜单项选择准则。

以下示例示出了在头部查看方向停留在菜单选择范围内时检测基于头部的特征的一个或多个用户动作，以及确定一个或多个用户动作在头部查看方向和头部位置方面是否满足用于自然用户输入的因用户而异的菜单项选择准则。

一个或多个处理器基于对显示视野的3D映射的更新来跟踪用户头部查看方向的变化，并通过标识菜单项在NED视野中的位置来将所跟踪的用户头部查看方向与当前显示的菜单项进行相关。一个或多个处理器确定用户头部查看方向是否相对于当前显示的菜单项之一维持得满足存储在因用户而异的菜单项选择准则中的选择候选时间段。响应于选择候选时间段被满足，一个或多个处理器向用户显示视觉辅助，指示当前显示的菜单项之一是选择候选。基于根据来自NED系统的惯性感测单元的传感器数据确定的头部定向数据，一个或多个处理器确定由头部位置变化所指示的选择确认头部移动是否在确认时间段内已发生，该确认时间段可与存储在因用户而异的菜单项选择准则中的选择候选时间段一致或在选择候选时间段的完成之后开始。

在步骤670，响应于一个或多个用户动作满足因用户而异的菜单项选择准则，NED系统通过近眼显示系统输出反馈，确认对菜单项的选择。反馈可以是通过音频输出设备130的音频、由NED显示的视觉数据、或视听数据。在步骤672，一个或多个处理器使NED系统基于针对菜单的规则来执行与对菜单项的用户选择相关联的预定义动作。预定义动作和针对菜单的规则可由提供菜单内容的应用来定义。

如果步骤674，响应于一个或多个用户动作不满足因用户而异的菜单项选择准则，反馈可被输出给用户，指示菜单项选择不能被解析，且可任选地在步骤676，可向用户建议用于选择菜单项的另一基于头部的特征移动(如注视)。另一选项，如果可用菜单空间准许，通过增加菜单项的大小或菜单项的间隔(通过距离或角度)或选择具有菜单项之间的增加的间隔或更大项的另一配置来扩张所显示的配置。

图11是用于确定可用菜单空间的变化是否激活菜单显示布局的变化的方法的实施例的流程图。该方法的实施例包括在步骤682确定可用菜单空间是否已对于用户改变。响应于可用菜单空间对于用户未改变，在步骤684，一个或多个处理器返回其他处理，直至下一可用菜单空间检查。响应于可用菜单空间已对于用户改变，在步骤686，确定对于当前网状分层显示配置而言是否满足最小显示配置空间尺寸。

在步骤688，响应于对于当前网状分层显示配置而言不满足最小显示配置空间尺寸，确定菜单的另一网状分层显示配置并在步骤690用该另一网状分层显示配置来更新菜单。

响应于满足最小显示配置空间尺寸，在步骤692，一个或多个处理器确定当前网状分层显示配置空间尺寸是否被满足。如果是，则在步骤696，一个或多个处理器返回其他处理，直至下一可用菜单空间检查。响应于不满足当前网状分层显示配置空间尺寸，在步骤694，一个或多个处理器基于当前显示配置的网状分层显示配置规则422来修改当前显示配置的菜单项的布局。

图12是计算机系统的一个实施例的框图，该计算机系统可用于实现网络可访问的计算系统12、伴随处理模块4、或近眼显示器(NED)设备的控制电路系统136的可主存计算环境54的软件组件中的至少一些组件的另一实施例。组件的复杂性和数目可以因计算机系统12、控制电路136和伴随处理模块4的不同实施例而显著变化。图12示出了示例性计算机系统900。在其最基本配置中，计算系统900通常包括一个或多个处理单元902，包括一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。计算机系统900还包括存储器904。取决于计算机系统的确切配置和类型，存储器904可以包括易失性存储器905(如RAM)、非易失性存储器907(如ROM、闪存等)或是两者的某种组合。该最基本配置在图12中由虚线906来例示出。另外，计算机系统900还可具有附加特征/功能。例如，计算机系统900还可包括附加存储(可移动和/或不可移动)，包括但不限于磁盘、光盘或磁带。这样的附加存储在图12中由可移动存储908和不可移动存储910来例示出。

计算机系统900还可包含允许该设备与其他计算机系统通信的(诸)通信模块912，包括一个或多个网络接口和收发机。计算机系统900还可具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等(诸)输入设备914。还可包括诸如显示器、扬声器、打印机等(诸)输出设备916。

附图中例示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些示例是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储信息且可由计算机访问的任何其他设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于确定用于由近眼显示器(NED)显示菜单的网状分层显示配置的方法，包括：

由一个或多个处理器标识指示要由所述近眼显示器(NED)显示的菜单的数据；

由所述一个或多个处理器基于所存储的所述用户的环境的三维(3D)映射，来确定用户头部周围的可用菜单空间以及用户头部查看方向；

由所述一个或多个处理器基于菜单激活位置的用户头部查看方向，来选择所述菜单在所述NED的显示视野中的位置；

基于所述可用菜单空间、所述用户头部查看方向和用户头部舒适度规则来选择网状分层菜单显示配置，所述网状分层菜单显示配置将各菜单级和菜单级内的菜单项与用于菜单元素的灵活空间尺寸相链接；

基于所述可用菜单空间、所述用户头部查看方向、以及用户头部舒适度规则，将菜单项适配到所选网状分层菜单显示配置；以及

显示所述菜单，其中所述菜单的菜单项根据所选网状分层菜单显示配置进行了适配。

2.如权利要求1所述的方法，其特征在于，由所述一个或多个处理器基于菜单激活位置的用户头部查看方向，来选择所述菜单在所述NED的显示视野中的位置进一步包括；

基于用户高度或当前用户高度中的至少一者来选择所述菜单在所述显示视野中的位置。

3.如权利要求1或2所述的方法，其特征在于，基于所述可用菜单空间、所述用户头部查看方向、以及用户头部舒适度规则，将菜单项适配到所选网状分层菜单显示配置进一步包括：

响应于监视到指示用户头部位置从中心头部位置转动离开的头部查看方向，减少各菜单级之间的所显示的距离。

4.如权利要求1或2或3所述的方法，其特征在于，基于所述可用菜单空间、所述用户头部查看方向、以及用户头部舒适度规则来选择网状分层菜单显示配置进一步包括：

所述网状分层显示配置包括所显示的用于连接菜单项的灵活链接；

相对于所述用户头部查看方向标识所述可用菜单空间在垂直方向上具有比水平方向上更多的空间；

选择包括灵活链接的网状分层菜单显示配置以供显示，其中所述灵活链接以如下z字形模式连接一菜单级内的各菜单项：在预定垂直高度范围内在第一侧方向上到第一侧宽度边界并随后在第二侧方向上到第二侧宽度边界来回定位各菜单项。

5.如权利要求4所述的方法，其特征在于，还包括：

响应于由于菜单项的用户头部查看方向而被激活的菜单显示布局的变化指示当前用户头部位置不满足用户头部舒适度规则，将当前未选择的菜单项在深度方向上在所述NED的显示视野中移动远离所述NED，并将当前用户选择的菜单级的各菜单项的像素位置移动到所述用户环境的3D映射中的、所述用户查看方向能来自中心头部位置的位置。

6.一种用于显示网状分层菜单显示配置的近眼显示器(NED)系统，包括：

近眼支撑结构；

由所述近眼支撑结构支撑并且具有视野的近眼显示器(NED)；

由所述近眼支撑结构支撑的用于输出图像数据以供所述近眼显示器(NED)显示的图像生成单元；

能访问存储网状分层菜单显示配置的存储器一个或多个处理器，所存储的网状分层菜单显示配置包括标识不同显示菜单元素的大小、形状、以及距离范围的数据以及网状分层菜单显示配置规则，所述一个或多个处理器通信耦合到所述图像生成单元以根据所述网状分层菜单显示配置之一和用户头部舒适度规则来控制菜单的显示，所述用户头部舒适度规则是根据头部位置数据来定义的；

由所述近眼支撑结构支撑的用于捕捉所述NED的视野中的现实对象的图像数据和深度数据的至少一个图像捕捉设备；

所述一个或多个处理器通信耦合到所述至少一个图像捕捉设备以用于接收所述图像和深度数据并确定所述显示视野的三维(3D)映射；

所述一个或多个处理器基于所述显示视野的3D映射或所述用户环境的3D映射中的至少一者标识用于按网状分层菜单显示配置来显示所述菜单的可用菜单空间并基于所标识的可用菜单空间来显示所述菜单；

所述一个或多个处理器确定用户在佩戴所述NED系统时相对于所述显示视野中的菜单位置的用户头部查看方向并标识所述用户头部查看方向上的一个或多个菜单项；

所述一个或多个处理器处理来自由所述近眼支撑所支撑的一个或多个传感器的传感器数据以检测基于头部的特征的一个或多个用户动作；以及

所述一个或多个处理器基于所标识的所述基于头部的特征的用户动作来确定所述用户头部查看方向上的所述一个或多个菜单项中的哪一个已被选择。

7.如权利要求6所述的近眼显示器(NED)系统，其特征在于，还包括：

所述一个或多个处理器提供将所述一个或多个用户动作与所述菜单内的用户导航路径进行相关的一个或多个视觉辅助，包括所述网状分层显示配置包含所显示的用于连接菜单项的灵活链接，以及所述一个或多个处理器控制所述近眼显示器以显示沿所述灵活链接之一的光标移动，从而指示在使用头部移动或注视动作中的至少一者选择所述菜单项之一时的进展。

8.如权利要求6或7所述的近眼显示器(NED)系统，其特征在于，还包括：

所述一个或多个处理器基于所存储的用户头部运动数据来通过一个或多个处理器调整所述菜单的菜单项选择准则中的激活参数；

所述一个或多个处理器监视头部查看方向并确定所述头部查看方向的变化是否激活菜单显示布局的变化；以及

所述一个或多个处理器确定所述可用菜单空间的变化是否激活所述菜单显示布局的变化。

9.如权利要求8所述的近眼显示器(NED)系统，其特征在于，所述一个或多个处理器监视头部查看方向并确定所述头部查看方向的变化是否激活菜单显示布局的变化进一步包括：

所述一个或多个处理器检查用户相对于菜单的查看方向；

所述一个或多个处理器确定查看方向是否在菜单选择的范围内；

响应于所述查看方向不在菜单选择的所述范围内，所述一个或多个处理器关闭所述菜单；

响应于所述查看方向在菜单选择的所述范围内，所述一个或多个处理器确定所述查看方向是否在菜单边界范围内；

响应于所述查看方向在菜单边界内，所述一个或多个处理器调整光标的视觉外观以指示用户头部查看方向是从所述菜单移开还是移向所述菜单；

所述一个或多个处理器确定所述当前头部查看方向的用户头部位置数据是否满足用户头部舒适度规则；以及

响应于所述用户头部舒适度规则未被满足，所述一个或多个处理器重新定位所述菜单项以满足所述用户头部舒适度规则。

10.如权利要求8所述的近眼显示器(NED)系统，其特征在于，

所述一个或多个处理器确定所述可用菜单空间的变化是否激活所述菜单显示布局的变化进一步包括：

确定可用菜单空间是否已对于所述用户改变；

响应于所述可用菜单空间已对于所述用户改变，所述一个或多个处理器确定对于当前网状分层显示配置而言是否满足最小显示配置空间尺寸；

响应于对于所述当前网状分层显示配置而言不满足所述最小显示配置空间尺寸，所述一个或多个处理器确定所述菜单的另一网状分层显示配置并用所述另一网状分层显示配置来更新所述菜单；

响应于对于所述当前网状分层显示配置而言满足所述最小显示配置空间尺寸，所述一个或多个处理器确定对于所述当前网状分层显示配置而言是否满足所述当前空间尺寸；以及

响应于对于所述当前网状分层显示配置而言不满足所述当前空间尺寸，所述一个或多个处理器基于网状分层显示配置规则为所述当前网状分层显示配置修改所述当前网状分层显示配置的菜单项的布局。