CN106257394A - 用于头戴显示器的三维用户界面 - Google Patents

用于头戴显示器的三维用户界面 Download PDF

Info

Publication number
CN106257394A
CN106257394A CN201610423816.4A CN201610423816A CN106257394A CN 106257394 A CN106257394 A CN 106257394A CN 201610423816 A CN201610423816 A CN 201610423816A CN 106257394 A CN106257394 A CN 106257394A
Authority
CN
China
Prior art keywords
hmd
display
array
user
another
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610423816.4A
Other languages
English (en)
Other versions
CN106257394B (zh
Inventor
A.楚
S.金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/746,388 external-priority patent/US10416835B2/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106257394A publication Critical patent/CN106257394A/zh
Application granted granted Critical
Publication of CN106257394B publication Critical patent/CN106257394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

一种用于头戴显示器(HMD)的用户界面(UI)的方法和装置。该方法包括产生三维内容。该方法还包括识别与该三维内容相关联的该UI的UI元素的三维坐标。在该UI的角范围内识别所述三维坐标。另外，该方法包括在识别的三维坐标处显示所述UI元素。

Description

用于头戴显示器的三维用户界面
技术领域
本公开一般涉及头戴显示器(HMD)。更具体地，本公开涉及用于HMD的三维(3D)用户界面(UI)。
背景技术
虽然HMD技术一直在开发中，而且诸如Google Glass和产品的可穿戴技术越来越多，但是缺少用于虚拟现实(VR)和增强现实(AR)应用二者的HMD的专门UI框架。当前的HMD技术关注于主内容显示的实现和处理，而对UI的关注则被忽视。
发明内容
本公开的实施例提供用于HMD的3D UI。
在一个实施例中，提供一种显示用于HMD的UI的方法。该方法包括产生用于由该HMD显示的三维内容。该方法还包括识别与该三维内容相关联的该UI的UI元素的三维坐标。在包括用户佩戴该HMD时能够查看的区域的该UI的角范围内识别所述三维坐标。另外，该方法包括，响应于用户输入，在该三维内容上在识别的三维坐标处显示所述UI元素。
在另一示例实施例中，提供一种显示UI的装置。该装置包括HMD和至少一个处理器。该至少一个处理器被配置为产生用于由该HMD显示的三维内容，并识别与该三维内容相关联的该UI的UI元素的三维坐标。在包括用户佩戴该HMD时能够查看的区域的该UI的角范围内识别所述三维坐标。另外，该至少一个处理器被配置为，响应于用户输入，致使该HMD在该三维内容上在识别的三维坐标处显示所述UI元素。
在另一示例实施例中，提供一种非暂时性计算机可读介质。该计算机可读介质包括用于产生用于头戴显示器(HMD)的用户界面(UI)的显示的程序代码。当由至少一个处理器执行时，该程序代码致使电子设备：产生用于由该HMD显示的三维内容；识别与该三维内容相关联的该UI的UI元素的三维坐标，其中在包括用户佩戴该HMD时能够查看的区域的该UI的角范围内识别所述三维坐标；以及响应于用户输入，致使该HMD在该三维内容上在识别的三维坐标处显示所述UI元素。
在另一示例实施例中，提供一种显示用于HMD的UI的方法。该方法包括产生三维内容。该方法还包括识别与该三维内容相关联的该UI的UI元素的三维坐标。在该UI的角范围内识别所述三维坐标。另外，该方法包括在识别的三维坐标处显示所述UI元素。
在另一示例实施例中，提供一种显示UI的装置。该装置包括HMD和至少一个处理器。该至少一个处理器被配置为产生三维内容，并识别与该三维内容相关联的该UI的UI元素的三维坐标。在该UI的角范围内识别所述三维坐标。另外，该至少一个处理器被配置为控制该HMD在识别的三维坐标处显示所述UI元素。
通过附图、说明书和权利要求，其他技术特征对本领域技术人员是显然的。
在进行以下具体实施方式的详细描述之前，阐述本专利文件中通篇使用的特定词语和短语的定义将是有利的。术语“耦接”及其派生词是指两个或更多个元件之间的任何直接或间接通信，不管这些元件是否彼此物理接触。术语“发送”、“接收”、和“通信”及其派生词涵盖直接和间接通信二者。术语“包含”和“包括”及其派生词意味着不加限制的包含。术语“或”是包含性的，意味着和/或。术语“与…相关联”及其派生词意味着包括、包括在…内、与…互连、容纳、容纳在…内、连接到或与…连接、耦接到或与…耦接、与…能够通信、与…合作、交织、并置、与…接近、绑定到或与…绑定、具有、具有…的性质、具有与…的关系等。术语“控制器”意味着控制至少一个操作的任何设备、系统或其部分。这样的控制器可以以硬件或者硬件和软件和/或固件的组合实现。与任何特定控制器相关联的功能可以被集中或分布，在本地或远程地。短语“…中的至少一个”当与条目的列表一起使用时意味着可以使用所列条目中的一个或多个的不同组合，而且可以只需要列表中的一个条目。例如，“A、B、和C中的至少一个”包括任何以下组合：A；B；C；A和B；A和C；B和C；以及A和B和C。
另外，下面描述的各种功能可以通过一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成而且收录在计算机可读介质中。术语“应用”和“程序”是指被适配用于在合适的计算机可读程序代码中实现的一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其部分。术语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。术语“计算机可读介质”包括能够由计算机存取的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、小型盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质排除传输暂时性电或其他信号的有线、无线或其他通信链路。非暂时性计算机可读介质包括其中可以永久存储数据的介质、以及其中可以存储数据并在稍后覆写的介质，诸如可重写光盘或可擦除存储设备。
本专利文件随处提供其他特定词语和短语的定义。本领域普通技术人员应当理解，在许多(如果不是大多数)情形下，这样的定义适用于如此定义的词语和短语的过往以及将来的使用。
附图说明
为了更全面地理解本公开及其优点，现在结合附图参照以下描述，其中类似的引用数字表示类似的部分：
图1示出根据本公开的实施例而且其中可以实现本公开的实施例的示例HMD；
图2是根据本公开的实施例的3D空间中的UI菜单布置的图示；
图3A-3B示出根据本公开的实施例的将用于移动设备的二维(2D)显示转换为用于HMD的3D显示的示例；
图4A-4D示出根据本公开的实施例的与HMD显示的UI元素的用户交互的示例；
图5A-5C示出根据本公开的实施例的在UI的角范围内HMD上的UI元素的显示的示例；
图6A-6D示出根据本公开的实施例的HMD上的UI元素的嵌套阵列的多个级别的显示和用户交互的示例；
图7示出根据本公开的实施例的显示用于HMD的UI的过程；以及
图8示出根据本公开的实施例的显示用于HMD的3D UI的过程。
具体实施方式
下面讨论的图1至8以及本专利文件中用于描述本公开的原理的各种实施例仅仅作为例示，而不应当以任何方式解读为限制本公开的范围。本领域技术人员不难理解，可以以任何适当地配置的系统或设备实现本公开的原理。
图1示出根据本公开的实施例而且其中可以实现本公开的实施例的示例HMD 100。图1所示的HMD 100的实施例仅仅用于例示，HMD 100有各式各样的配置，图1不将本公开的范围限于HMD的任何特定实施方式。
在各种实施例中，HMD 100可以采取不同的形式，本公开不限于任何特定形式。例如，HMD 100可以是能够安装在耳机(headset)内用于VR和/或AR应用的移动通信设备，诸如例如用户设备、移动站、用户站、无线终端、智能电话机、平板电脑等。在其他示例中，HMD 100可以包括耳机并且采取用于VR和/或AR应用的可穿戴电子设备的形式，诸如例如眼镜、护目镜、头盔等。
如图1所示，HMD 100包括天线105、射频(RF)收发器110、发送(TX)处理电路115、麦克风120和接收(RX)处理电路125。HMD 100还包括扬声器130、处理器140、输入/输出(I/O)接口(IF)145、触摸屏150、显示器155、存储器160以及一个或多个传感器165。存储器160包括操作系统(OS)161和一个或多个应用162。
RF收发器110从天线105接收网络(例如，WiFi、蓝牙、蜂窝、5G、LTE、LTE-A、WiMAX或任何其他类型的无线网络)的接入点(例如，基站、WiFi路由器、蓝牙设备)发送的传入RF信号。RF收发器110下变换传入RF信号以产生中频(IF)或基带信号。IF或基带信号被发送到RX处理电路125，其通过滤波、解码和/或数字化基带或IF信号来产生已处理的基带信号。RX处理电路125向扬声器130(诸如对语音数据)或向处理器140(诸如对网页浏览数据)发送已处理的基带信号用于进一步处理。
TX处理电路115接收来自麦克风120的模拟或数字语音数据、或来自处理器140的其他传出基带数据(诸如网页数据、电子邮件或交互视频游戏数据)。TX处理电路115编码、复用和/或数字化传出基带数据以产生已处理的基带或IF信号。RF收发器110从TX处理电路115接收传出的已处理的基带或IF信号，并将基带或IF信号上变换为经由天线105发送的RF信号。
处理器140可以包括一个或多个处理器或其他处理设备，而且执行存储器160中存储的OS 161以便控制HMD 100的整体操作。例如，处理器140可以根据公知原理控制通过RF收发器110、RX处理电路125和TX处理电路115接收正向信道信号和发送反向信道信号。在一些实施例中，处理器140包括至少一个微处理器或微控制器。
处理器140还能够执行存储器160中驻留的其他进程和程序。处理器140可以根据正在执行的进程的需要将数据移入或移出处理器160。在一些实施例中，处理器140被配置为基于OS 161或者响应于从eNB或操作者(operator)接收的信号而执行应用162。处理器140还耦接到I/O接口145，后者向HMD100提供连接到诸如膝上计算机和手持计算机的其他设备的能力。I/O接口145是这些附件与处理器140之间的通信路径。
处理器140还耦接到触摸屏150和显示器155。HMD 100的操作者可以使用触摸屏150向HMD 100输入数据和/或输入。显示器155可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)或能够呈现诸如来自网站、视频、游戏等的文本和/或图形的其他显示器。
存储器160耦接到处理器140。存储器160的一部分可以包括随机存储器(RAM)，存储器160的另一部分可以包括闪速存储器或其他只读存储器(ROM)。
HMD 100进一步包括一个或多个传感器165，其可以测量物理量或检测HMD 100的活动状态，并将测量或检测的信息转换为电信号。例如，传感器165可以包括用于触摸输入的一个或多个按钮(例如，在耳机或HMD 100上)、相机、姿态传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速传感器或加速计、抓握传感器、接近传感器、颜色传感器165H(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、照明传感器165K、紫外(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等。传感器165可以进一步包括控制电路，用于控制其中包括的至少一个传感器。如下面将要详细讨论的，一个或多个这些传感器165可以用于控制UI、检测UI输入、确定用户的方位和朝向用于3D内容显示识别等。任何这些传感器165可以位于HMD 100内，位于被配置为容纳HMD 100的耳机内，或位于耳机和HMD 100二者内(例如，在HMD 100包括耳机的实施例中)。
触摸屏150可以包括触摸面板、(数字)笔传感器、按键或超声输入设备。触摸屏150可以例如以以下当中至少一种方案识别触摸输入：电容方案、压敏方案、红外方案或超声方案。触摸屏150还可以包括控制电路。在电容方案中，触摸屏150可以识别触摸或接近。
如下面详细描述的，HMD 100可以包括用于提供用于HMD的3D UI的电路和应用。虽然图1示出HMD 100的一个示例，但是可以对图1进行多种改变。例如，图1中的各种组件可以组合、进一步细分或省略，而且可以根据特定需要添加额外的组件。作为特定示例，处理器140可以被分为多个处理器，诸如一个或多个中央处理单元(CPU)以及一个或多个图形处理单元(GPU)。此外，虽然图1示出HMD 100被配置为移动电话机、平板电脑、或智能电话机。但是HMD 100也可以被配置为作为其他类型的移动或固定设备操作。
本公开的实施例提供用于HMD 100上的立体3D VR或AR应用的导航UI框架。用于使用HMD 100的VR体验，利用HMD 100中的传感器165跟踪用户的头部运动(即，HMD 100的运动)，并使用其控制显示器155。本公开的UI元素包括与内容显示相同的方式来响应用户的头部运动的3D对象。例如，UI元素可以包括用于控制或操纵HMD 100显示的内容的菜单中的图标或其他类型的UI元素。本公开特别适用于将原本设计用于2D移动设备显示的应用转换为HMD模式。
图2是根据本公开的实施例的3D空间200中的UI菜单布置的图示。本公开的各种实施例提供UI元素205的3D显示。如图所示，HMD 100分配HMD 100的用户能够查看的3D空间200内的UI元素205 3D坐标。HMD 100将UI元素205置于用户的当前3D视锥210(即，作为HMD 100的当前检测的方位和朝向的结果用户当前能够查看的全部可查看3D空间200的部分)内。UI元素205自身可以是3D对象或2D对象。确定UI元素205的精确3D坐标时还考虑诸如视锥210中显示的当前主内容的坐标的因素。
本公开的各种实施例提供在比用户的当前3D视锥210宽的角范围215内提供UI元素显示。配置将要在其中放置UI元素205的角范围215(例如，在假想笛卡尔坐标系的x-z平面上，x方向一般表示左/右或偏航，y方向一般表示前/后，而z方向一般表示上/下或起伏)。在一些示例中，(例如，当存在超过可放下的UI元素205时)，HMD 100实际地或虚拟地(即，不是在显示器155上实际地显示，而是当HMD 100移动到虚拟显示该元素的位置时才实际显示)在当前3D视锥210外显示一些UI元素205。然而，HMD 100在UI的角范围215内放置这些UI元素205，以使得用户不需要向左或向右(即，偏航或x移动)过度转头即可看到全部显示的UI元素205。注意，虽然在笛卡尔坐标系中给出特定示例，但是可以使用任何合适的坐标系，以任何元组(tuple)担当缺省坐标方向。
如上所述，HMD 100使用HMD 100和/或耳机上的传感器165(诸如，例如陀螺仪、加速计等)检测用户的头部运动，即，HMD 100的运动。HMD100响应头部运动显示UI元素205以及显示(例如，内容)的其他元素，以模拟观看真实世界视野和对象并与其交互。
本公开描述用于将导航UI集成到HMD 100中的框架。在各种实施例中，HMD 100的显示器可以为立体3D以使得为显示的内容分配3D坐标。在双目HMD中，显示的图像被处理为两个图像，例如，左和右显示图像，每个图像占据显示屏幕的一半，而且被扭曲以补偿置于显示器与用户的眼睛之间用于近眼观看的镜头(例如，耳机中的)的效果。HMD 100将其中公开的UI处理为显示图像的一部分。
本公开还提供对UI的用户输入。例如，HMD 100可以处理不同的用户输入模式，例如包括，可以基于检测按钮的按压、HMD的预定动作模式(例如，摇头或点头动作)、使用相机捕获的面部图像检测在屏幕的特定区域上一段时间的眼睛的注视等确定用于选择UI元素205、移动焦点、触发动作等的用户输入。
在这些实施例中，HMD 100设置沿“水平”方向(例如，在x-z平面上)的UI的角范围215。在一些实施例中，该角范围215可以由用户配置。角范围215可以比HMD 100的用户视野宽，但是取决于用途也可以更窄或更宽。在角范围215内部呈现UI的显示以使得用户无需过多转头(例如，向左或右)用于UI交互。
当检测到用于触发UI显示的初始用户输入时，HMD 100取得与所触发的当前显示的内容相关联的动作，例如，对于导航菜单，可以将动作组织为列表或嵌套列表。HMD 100将当前级别列表中的每个动作呈现到图形UI元素205中，其可以是3D对象。UI元素205被分配有包括用户的当前3D视锥210的角范围215内的3D坐标，并且在分配的坐标处显示。UI元素205的精确3D坐标还考虑诸如当前主内容的元素的坐标的因素。例如，取决于主内容是什么，UI元素可以显示在主内容上方的查看区域的中央，即，在深度上更近；或处于与主内容元素相似的深度但在y坐标上在它们上方或下方以保持主内容元素可见。
在一些实施例中，HMD 100可以调整主内容的显示以使得更容易察觉UI元素205；例如，在显示UI元素205时主内容可以被模糊(就像在内容和UI之间放置模糊层)或变暗。在实施例中，UI元素205可以向上或向下挤开主内容元素以取代主内容。
可以基于实施方式改变UI元素205的排列。例如，UI元素205可以被显示为左对齐、居中或右对齐的水平列表或按照适合当前任务的特殊排列。
如果要显示比角范围允许的更多的UI元素205，则取决于期望的实施方式，HMD 100可以合并附加的选择以允许显示附加的UI元素205或允许将UI元素205的阵列折叠为多行，或两者都是。
HMD 100上的传感器165随着用户移动他或她的头、转身或走动而检测HMD 100的位置和方向的改变。HMD 100处理感测和检测的改变以调整HMD 100的显示，以便模拟观看真实世界。由于UI元素205是置于与主内容相同的3D框架中的3D对象，HMD 100以类似的方式调整UI元素205的显示。
UI元素205可以与动作相关联。当选择与用于加载另一组UI元素205的动作相关联的条目时，新条目阵列的显示取代相同的3D位置中的当前阵列，其根据阵列中的条目的数量等调整。在实施例中，当子阵列在母阵列的原始位置显示时，母阵列可以上移而不是消失。该情况下，用户可以查看他浏览的UI元素205的等级，如同面包屑(breadcrumb)或多级下拉菜单。亲阵列指示UI元素的上阵列，而子阵列指示UI元素的下阵列。
如下面参照图6A-6D详细讨论的，本公开的实施例还提供嵌套阵列显示转变。例如，如果一UI元素205与用于加载另一组UI元素205的动作相关联而且该UI元素205被选择，则HMD 100显示新的一组UI元素205以代替UI元素205的当前显示。当存在一个或多个母组时，当前组的显示可以包括“向上”或“后退”按钮，或者UI可以包括用于返回母阵列的面包屑。在实施例中，当显示子阵列时，母阵列可以上移而不是消失。该示例中，用户将查看浏览的UI元素205的等级，如同面包屑或多级下拉菜单。
本公开的实施例提供用于HMD应用的移动设备应用的转换。例如，本公开的实施例可以被合并到移动通信设备中作为用于到HMD UI模式的UI模式切换的框架。该示例中，本公开的实施例提供能够存储在移动通信设备中的程序，其用于转换设计用于手持移动设备的应用的UI并重新组成用于在HMD 100上显示和交互的UI。利于HMD 100提供的框架，应用显示的HMD版本可以简单地为HMD 100创建的为手持移动设备实现的视图的重组版本，或者可以是应用开发者专门为HMD 100实现的单独视图。
图3A-3B示出根据本公开的实施例的将用于移动设备的二维(2D)显示转换为用于HMD的3D显示的示例。该示例中，图3A示出用于照片相册的2D应用的屏幕300。该示例中，当设备未配备等价的物理按钮时，在屏幕300上显示底部的导航条。
图3B示出在将2D应用内容和UI转换为用于HMD模式的3D启动应用内容之后相应的内容和UI元素305的显示。该示例中，HMD 100转换应用内容、动作条UI元素以及导航条UI元素用于在HMD显示屏幕310上显示。当用户输入(例如，在触摸垫或控制器按钮等上)触发菜单显示时，HMD产生代表应用动作条中的条目、设备物理或显示的导航按钮等的UI元素305的阵列，并跨越HMD 100的可查看区域315显示UI元素。该示例中，由于可查看区域315不够宽以显示全部条目(例如，如图所示，UI的角范围215比可查看区域315宽)，阵列的第一个和最后一个条目被部分显示。
图4A-4D示出根据本公开的实施例的与HMD 100显示的UI元素305的用户交互的示例。在这些示例中，HMD 100显示并允许与UI元素305的用户交互。图4A示出在显示的UI元素305之间滚动。例如，当用户向左转头时，HMD 100响应于传感器165对设备方向和位置改变的读数而向右移动显示，包括内容和菜单。图4B示出选择“SPatient”文件夹之后的视图并消除UI元素305的显示。例如，针对用于消除UI的用户选择，或针对不包括子UI元素的UI元素305的用户选择(例如，如图4B所示的打开文件夹的选择)，HMD 100可以在一段时间之后清除UI元素305的显示。图4C示出包括用于改变显示UI元素的方式的UI选项的UI菜单显示的返回。图4D示出包括用于导航到前一菜单或文件夹的分级导航元素的UI元素305的显示。
图5A-5C示出根据本公开的实施例的在UI的角范围510内HMD上的UI元素505的显示的示例。在这些示例中，通过HMD 100显示区域的360°视野的一部分，佩戴HMD 100的用户可查看的区域515小于整个视野区域。
如图5A所示，在激活UI菜单之前，HMD显示主内容，该示例中，没有导航UI条目的区域的360°视野的一部分用于完全浸入式的体验。可查看区域515代表用户的当前视野区域。由于图像为球形的，用户可以使用HMD 100转动他的头和/或身体以观看该位置处的区域的不同部分，而不是像在网站查看模式下一样进行鼠标点击/敲击。
如图5B所示，当触发菜单显示时，HMD 100包括UI元素505，例如，来与显示的内容相关联的网页的UI条目。而且在该实例中，背景内容变暗以将注意力集中在UI上。该示例中，用户可以在显示UI元素505的菜单之后将他或她的头向左转来观看阵列的左侧。
如图5C所示，当选择图5B中的选项UI元素505时，HMD 100在用于UI的角范围510内显示选项520的列表作为与所选的UI元素505相关联的UI元素。该示例中，因为用于菜单UI显示的角范围510不能容纳所有选项520，选项520的列表被折叠为两行。
图6A-6D示出根据本公开的实施例的HMD 100上的UI元素的嵌套阵列的多个级别的显示和用户交互的示例。图6A示出HMD 100的可查看区域610中显示的工具阵列相关联的UI元素605的显示。如该示例中所示，HMD 100在前景中显示UI元素605，背景中的内容变暗。
图6B示出在选择不同级别中的UI元素605之一之后子阵列UI元素615的显示。该示例中，HMD 100向上移动母阵列UI元素605的显示，并在可查看区域610的中央部分中显示子阵列UI元素615。图6C示出在选择前一级别中的UI元素615之一之后子阵列UI元素620的显示。该示例中，HMD100向上移动母阵列UI元素615的显示，并在可查看区域610的中央部分中显示子阵列UI元素620。
图6D示出在用于导航返回前一级别中的UI元素615之一的输入之后母阵列UI元素615的显示。该示例中，HMD 100向下移动子级阵列UI元素620的显示，并在可查看区域610的中央部分中显示母阵列UI元素615。例如，用户可以使用基于姿态的控制(例如，向上或向下看)在多级别的阵列集合的级别之间导航。以该方式，本公开的UI框架允许显示UI分级的轨迹以及UI阵列级别之间的轻松导航，以便改善HMD 100中的UI交互。
在一些示例中，可以第二种控制模式，其使得能够独立于内容视图控制UI元素。第二种控制可以用于移动UI元素同时保持头部移动控制的内容视图静态，以使得用户可以将被移走的UI带回他的视野。
图7示出根据本公开的实施例的显示用于HMD的UI的过程。例如，图7中绘示的过程可以由图1的HMD 100执行。
该过程始于HMD 100产生用于HMD显示的3D内容(步骤705)。例如，在步骤705，HMD 100可以是能够安装在耳机(诸如例如Gear耳机)中的诸如智能电话机或平板电脑的移动通信设备的显示器，用于提供头戴显示体验。在其他示例中，HMD 100自身可以是用于VR和AR应用两者的耳机和显示器二者。在一个或多个实施例中，佩戴HMD的用户的可查看区域小于HMD 100的显示器，例如，当HMD 100在移动通信设备上时。在步骤705，产生用于显示的3D内容可以包括将移动通信设备的显示器能够显示的2D内容转换为三维内容用于在可查看区域中的HMD上显示。该转换可以响应于用于从内容显示的常规2D模式切换到内容显示的3D HMD模式的用户输入而发生或自动发生，例如当HMD 100检测到HMD 100被放置在耳机内部时。该向3D的转换可以涉及例如通过耳机中包括的光学元件将HMD的显示分为左和右图像用于图像的立体组合。
HMD 100识别用于UI的角范围内的UI元素的3D坐标(步骤710)。例如，在步骤710，HMD 100可以正常地仅显示3D内容以提供浸入式3D体验。然而，为了控制和操纵HMD 100，HMD 100在HMD 100的3D可显示区域的角范围内提供UI。例如，角范围可以是包括用户在佩戴HMD 100时能够查看的区域的HMD 100能够显示的3D可查看区域内的平面(例如，3D空间中的x/z平面)。在一些实施例中，例如，UI的角范围比用户佩戴HMD 100时能够查看的区域宽，以允许附加的UI元素被HMD 100实际地或虚拟地显示而不立即对佩戴HMD 100的用户可见，例如，允许在UI元素之间滚动。
HMD 100接着监视UI用户输入(步骤715)。例如，在步骤715，HMD100可以监视按钮的按压或，通过使用与启动显示相关联的用户的面部图像检测在与启动UI的显示相关联的屏幕的特定区域上一段时间的眼睛注视来监视与启动UI的显示相关联的HMD的运动模式(例如，摇头或点头动作)。
如果HMD 100在步骤715检测到UI用户输入，则HMD 100接着在识别的三维坐标处显示UI元素(步骤720)。例如，在步骤720，HMD 100在三维内容上显示UI元素(例如，菜单条目)，其可以包括模糊背景3D内容。在一些实施例中，UI元素自身可以是三维的，因而分配的三维坐标可以包括HMD 100能够显示的3D空间内的“y”坐标值的范围。在其他示例中，UI元素可以镶嵌在3D内容中，例如，显示的3D内容中的一些或全部可以在相对于UI元素的显示位置的前景中和/或背景中。在步骤720，HMD 100在UI的角范围内显示UI元素。
如这里讨论的，UI的角范围可以稍微宽于佩戴HMD 100的用户的可查看区域，因而允许在用户的当前视野外部显示附加的UI元素或已显示的UI元素的部分，其可以基于例如用户头部运动来滚动。UI的角范围的稍微宽的宽度允许用户快速访问全部已显示的UI元素。另外，在各种实施例中，UI的角范围是基于初始触发UI时在HMD 100的显示上用户的查看位置。例如，HMD 100的轻微运动可以允许在角范围内的UI元素的显示/滚动，而较大的运动可以允许显示在UI的角范围外部的内容。因而，用户将能够“向外滚动”或“向外操控”已显示的UI元素以查看上方/下方或左方/右方的内容，并在稍后返回UI的角范围以再次查看并与显示的UI元素交互。另外，每次触发UI时，在360°3D空间内UI的角范围的位置可以基于触发UI时HMD 100的查看位置。如此，步骤710可以在每次启动UI时执行，或者可以利用基于启动UI时的相对显示位置适配的绝对3D坐标执行一次。
之后，HMD 100监视与头部运动对应的HMD的运动(步骤725)。例如，在步骤725，HMD 100可以使用一个或多个传感器(例如，陀螺仪、加速计、磁力计等)检测HMD运动(例如，向左或向右、对角线、向上或向下、向前或向后、以上的任何组合等)，其对应于用户在佩戴HMD 100时移动他或她的头。
如果HMD 100在步骤725中检测到与头部运动对应的HMD的运动，则HMD 100接着基于该运动来移动HMD上UI元素的显示(步骤730)。例如，在步骤730，HMD 100可以沿与HMD的运动方向对应的方向(例如，其相反方向)移动UI元素以提供UI元素在3D空间中的位置保持恒定而且用户仅仅是沿不同的方向看的效果，而事实上HMD 100移动显示器上显示的条目的位置以提供VR/AR效果。
在一个示例中，HMD 100可以移动UI元素以在UI的角范围中的UI元素之间滚动，例如用于显示之前原本不可见的UI元素(例如，在用户佩戴HMD 100时的原有视野之外，诸如，例如左方或右方，上方或下方等)。
在另一示例中，HMD 100可以移动UI元素以显示UI元素的嵌套阵列的附加级别。例如，当前显示的UI元素可以是UI元素的嵌套阵列的多级别集合的一个级别。通过感测用户移动他或她的头(例如，向上或向下)，HMD 100可以基于感测的运动的方向而移动到UI元素的嵌套阵列的多级别集合中的母或子阵列的显示。在一个实施例中，HMD 100可以在之前显示的UI元素的阵列的位置显示UI元素的母或子阵列，而且将UI元素的之前显示的阵列的显示移动到另一位置(例如，上方或下方)以示出在嵌套阵列的多级别集合中的嵌套阵列的各级别之间滚动。在一些实施例中，HMD 100可以响应于对显示的阵列中的一个UI元素的用户选择而示出在嵌套阵列的多级别集合中的嵌套阵列的各级别之间滚动，例如，可以显示与选择的UI元素相关联的子阵列。HMD 100可以以任何方式检测用户选择，例如，不加限制地，基于预定义运动模式(pattern)、按钮选择、通过使用用户的面部图像检测一段时间在特定UI元素上的眼睛注视等。
HMD 100继续如上所述在显示UI时处理运动，直到例如检测到用于结束UI的显示的输入为止，之后结束UI显示。例如，该输入可以与上面参照步骤715讨论的UI用户输入相同或类似，或者可以基于例如时间自动进行。
虽然图7示出显示用于HMD的UI的示例过程，但是可以对图7进行各种修改。例如，虽然被示出为一系列步骤，但是每个图中的各种步骤可以重叠、并行发生、以不同的次序发生或者多次发生。
图8示出根据本公开的实施例的显示用于HMD的3D UI的过程。在步骤810，HMD 100显示3D内容。在步骤820，HMD 100基于3D内容识别3D坐标。
在步骤830，HMD 100检测预定输入。基于以下至少一个确定该预定输入：选择UI元素、移动焦点、按压按钮、HMD的预定运动模式、使用相机捕获的面部图像检测在屏幕的特定区域上的一段时间的眼睛注视。
在步骤840，响应于检测的输入，HMD 100在位于识别的3D坐标处的3D内容上显示UI元素。UI元素包括与3D内容相关的信息。
本公开的实施例提供用于HMD UI设计和用于转换移动设备应用的UI以在具有立体3D显示的HMD中使用的框架。本公开的实施例允许将用于2D移动设备屏幕的应用设计分解为元素，诸如动作条条目、主内容、导航条条目等，并且重新组合用于3D HMD环境。
本公开的实施例提供立体3D显示以模拟深度，但是可以类似地应用于2D显示。本公开的实施例不仅使能显示的内容的深度而且使能与UI元素的交换。例如，用户可以“浏览”UI元素，或者可以在不同的深度显示嵌套的阵列的不同级别。
本公开的实施例还将UI元素的移动反映到用户的移动以使得UI运动感觉自然，而不是加速或者另外夸大或窜改(interpolated)。由于HMD的视野是沉浸式的，显示元件的不自然运动的不自然效果在HMD中被放大，而且提供自然的相互作用。菜单显示可以不与用户位置或设备相关地固定，而是可以完全集成到3D场景中并随之移动。
虽然已经参照示范性实施例描述本公开，但是本领域技术人员可以设想各种变更和修改。本公开旨在涵盖落入所附权利要求的范围内的这样的变更和修改。
本申请中的描述不应当被理解为暗示任何特定元件、步骤、或功能是必须被包括在权利要求范围内的必要元素。要求专利保护的主题的范围仅由权利要求限定。

Claims (14)

1.一种显示用于头戴显示器HMD的用户界面UI的方法，该方法包括：
产生三维内容；
识别与该三维内容相关联的该UI的UI元素的三维坐标，其中在该UI的角范围内识别所述三维坐标；以及
在识别的三维坐标处显示所述UI元素。
2.如权利要求1所述的方法，进一步包括：在显示所述UI元素之后，沿与该HMD的运动方向对应的方向移动该HMD上的UI元素的显示。
3.如权利要求1所述的方法，其中该UI的角范围是用户在佩戴该HMD时可查看的区域内的平面，其比可查看区域宽。
4.如权利要求3所述的方法，其中在用户在佩戴该HMD时可查看的区域外部在HMD上显示所述UI元素中的一个或多个的至少一部分。
5.如权利要求1所述的方法，其中显示的UI元素是与一组阵列中的一个级别对应的UI元素的一个阵列，而且
进一步包括：响应于检测到与该组阵列中的另一级别对应的用户输入，显示与该另一级别对应的UI元素的另一阵列。
6.如权利要求5所述的方法，其中：
UI元素的该一个阵列是UI元素的上阵列，而且UI元素的该另一阵列是UI元素的下阵列，而且
显示UI元素的该另一阵列包括：响应于检测到与该另一级别对应的用户输入，在HMD上显示UI元素的上阵列的位置显示UI元素的下阵列，并将UI元素的上阵列的显示移动到HMD上的另一位置。
7.如权利要求1所述的方法，其中：
该HMD是用于移动通信设备的显示器，
用户在佩戴该HMD时能够查看的区域小于该移动通信设备的显示器，而且
产生用于该HMD显示的三维内容包括：将该移动通信设备的显示器能够显示的二维内容转换为三维内容用于在可查看区域中在该HMD上显示。
8.一种显示用户界面UI的装置。该装置包括：
头戴显示器HMD；以及
至少一个处理器，被配置为：
产生三维内容；
识别与该三维内容相关联的该UI的UI元素的三维坐标，其中在该UI的角范围内识别所述三维坐标；以及
控制该HMD在识别的三维坐标处显示所述UI元素。
9.如权利要求8所述的装置，其中该至少一个处理器进一步被配置为，在显示所述UI元素之后，控制该HMD沿与该HMD的运动方向对应的方向移动该HMD上的UI元素的显示。
10.如权利要求8所述的装置，其中该UI的角范围是用户在佩戴该HMD时可查看的区域内的平面，其比可查看区域宽。
11.如权利要求10所述的装置，其中在用户在佩戴该HMD时可查看的区域外部在HMD上显示所述UI元素中的一个或多个的至少一部分。
12.如权利要求8所述的装置，其中：
显示的UI元素是与一组阵列中的一个级别对应的UI元素的一个阵列，而且
该至少一个处理器进一步被配置为，响应于检测到与该组阵列中的另一级别对应的用户输入，控制该HMD显示与该另一级别对应的UI元素的另一阵列。
13.如权利要求12所述的装置，其中：
UI元素的该一个阵列是UI元素的上阵列，而且UI元素的该另一阵列是UI元素的下阵列，而且
该至少一个处理器被配置为，响应于检测到与该另一级别对应的用户输入，控制该HMD在HMD上显示UI元素的上阵列的位置显示UI元素的下阵列，并将UI元素的上阵列的显示移动到HMD上的另一位置。
14.如权利要求8所述的装置，其中：
该HMD是用于移动通信设备的显示器，
用户在佩戴该HMD时能够查看的区域小于该移动通信设备的显示器，而且
该至少一个处理器被配置为，将该移动通信设备的显示器能够显示的二维内容转换为三维内容用于在可查看区域中在该HMD上显示。
CN201610423816.4A 2015-06-22 2016-06-15 用于头戴显示器的三维用户界面 Active CN106257394B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/746,388 US10416835B2 (en) 2015-06-22 2015-06-22 Three-dimensional user interface for head-mountable display
US14/746,388 2015-06-22
KR1020150132424A KR102411768B1 (ko) 2015-06-22 2015-09-18 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스
KR10-2015-0132424 2015-09-18

Publications (2)

Publication Number Publication Date
CN106257394A true CN106257394A (zh) 2016-12-28
CN106257394B CN106257394B (zh) 2021-03-05

Family

ID=55860738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610423816.4A Active CN106257394B (zh) 2015-06-22 2016-06-15 用于头戴显示器的三维用户界面

Country Status (3)

Country Link
EP (1) EP3109734A1 (zh)
CN (1) CN106257394B (zh)
WO (1) WO2016208881A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388782A (zh) * 2017-02-03 2018-08-10 三星电子株式会社 用于认证生物计量数据的电子设备和系统
CN109529349A (zh) * 2018-11-28 2019-03-29 珠海金山网络游戏科技有限公司 图像绘制方法、装置、计算设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084192A1 (en) * 2018-10-23 2020-04-30 Ainak Oy Method, arrangement, and computer program product for three-dimensional visualization of augmented reality and virtual reality environments
US20200275087A1 (en) * 2019-02-25 2020-08-27 Kazuhiro Asakura Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
CN102081493A (zh) * 2009-12-01 2011-06-01 宏碁股份有限公司 移动电子装置及其三维操作界面的控制方法
US20120151416A1 (en) * 2010-12-10 2012-06-14 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
US20130106674A1 (en) * 2011-11-02 2013-05-02 Google Inc. Eye Gaze Detection to Determine Speed of Image Movement
WO2014107629A1 (en) * 2013-01-04 2014-07-10 Vuzix Corporation Interactive wearable and portable smart devices
US20140333666A1 (en) * 2013-05-13 2014-11-13 Adam G. Poulos Interactions of virtual objects with surfaces
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
US20150153571A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for providing task-based instructions

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005017313A1 (de) * 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
KR101960897B1 (ko) * 2013-02-06 2019-07-16 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 표시 방법
US20140225814A1 (en) * 2013-02-14 2014-08-14 Apx Labs, Llc Method and system for representing and interacting with geo-located markers
WO2015046669A1 (en) * 2013-09-26 2015-04-02 Lg Electronics Inc. Head mounted display device and method of controlling the same
US20150169070A1 (en) * 2013-12-17 2015-06-18 Google Inc. Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
CN102081493A (zh) * 2009-12-01 2011-06-01 宏碁股份有限公司 移动电子装置及其三维操作界面的控制方法
US20120151416A1 (en) * 2010-12-10 2012-06-14 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
US20130106674A1 (en) * 2011-11-02 2013-05-02 Google Inc. Eye Gaze Detection to Determine Speed of Image Movement
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
WO2014107629A1 (en) * 2013-01-04 2014-07-10 Vuzix Corporation Interactive wearable and portable smart devices
US20140333666A1 (en) * 2013-05-13 2014-11-13 Adam G. Poulos Interactions of virtual objects with surfaces
US20150153571A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for providing task-based instructions

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388782A (zh) * 2017-02-03 2018-08-10 三星电子株式会社 用于认证生物计量数据的电子设备和系统
CN109529349A (zh) * 2018-11-28 2019-03-29 珠海金山网络游戏科技有限公司 图像绘制方法、装置、计算设备及存储介质
CN109529349B (zh) * 2018-11-28 2022-07-08 珠海金山网络游戏科技有限公司 图像绘制方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN106257394B (zh) 2021-03-05
EP3109734A1 (en) 2016-12-28
WO2016208881A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
US10416835B2 (en) Three-dimensional user interface for head-mountable display
US11355086B2 (en) Detection and display of mixed 2D/3D content
CN110168618B (zh) 增强现实控制系统和方法
US11557102B2 (en) Methods for manipulating objects in an environment
CN105745568B (zh) 用于在可头戴式设备上执行多触摸操作的系统和方法
EP3014392B1 (en) Web-like hierarchical menu display configuration for a near-eye display
EP3117290B1 (en) Interactive information display
KR20170018930A (ko) 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
AU2021290132B2 (en) Presenting avatars in three-dimensional environments
CN106257394A (zh) 用于头戴显示器的三维用户界面
US11360587B1 (en) Deployment systems for computer system finger devices
CN105786163B (zh) 显示处理方法和显示处理装置
KR20200138376A (ko) 설정을 중심으로 한 이동
CN106325378A (zh) 用于虚拟现实中的基于上下文的应用分组的方法和装置
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
WO2023273638A1 (zh) 显示内容的方法、装置、设备、存储介质及程序产品
WO2023049705A1 (en) Devices, methods, and graphical user interfaces for content applications
CN108235768A (zh) 用于移动设备上的分屏显示的装置和方法
JPWO2020031493A1 (ja) 端末装置および端末装置の制御方法
US11181973B2 (en) Techniques related to configuring a display device
WO2021246134A1 (ja) デバイス、制御方法及びプログラム
US20240152256A1 (en) Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
US20240077986A1 (en) Opportunistic adaptive tangible user interfaces for use in extended reality environments
US20240078768A1 (en) System and method for learning and recognizing object-centered routines
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant