CN106471420B - 头戴式显示器中的菜单导航 - Google Patents

头戴式显示器中的菜单导航 Download PDF

Info

Publication number
CN106471420B
CN106471420B CN201580005815.1A CN201580005815A CN106471420B CN 106471420 B CN106471420 B CN 106471420B CN 201580005815 A CN201580005815 A CN 201580005815A CN 106471420 B CN106471420 B CN 106471420B
Authority
CN
China
Prior art keywords
focus
menu navigation
navigation element
opereating specification
timer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580005815.1A
Other languages
English (en)
Other versions
CN106471420A (zh
Inventor
J.莫拉维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN106471420A publication Critical patent/CN106471420A/zh
Application granted granted Critical
Publication of CN106471420B publication Critical patent/CN106471420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • G02B27/022Viewing apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种可佩戴计算装置包括生成虚拟现实环境的头戴式显示器(HMD)。通过位置数据的生成和追踪,可相对于一个或菜单导航元件追踪焦点。在所述菜单导航元件上固定定位所述焦点达预定时间量之后,执行对应于所述菜单导航元件的进程。

Description

头戴式显示器中的菜单导航
技术领域
本发明总体上涉及具有头戴式显示器(HMD)的可佩戴虚拟现实(VR)计算装置。更具体地,本发明涉及使用HMD中的视野来实现菜单控制功能。
背景技术
可佩戴VR系统整合各种元件,诸如输入装置、传感器、检测器、图像显示器和无线通信部件以及图像和音频处理器。通过靠近佩戴者的眼睛放置图像显示元件,模拟图像可被制成来叠加现实世界的视图或者创建完全其自身的独立现实。此类图像显示元件并入到也被称作头戴式显示器(HMD)的系统中。根据显示元件的尺寸和距佩戴者的眼睛的距离,设置在显示器上的模拟图像可充满或几乎充满佩戴者的视野。
并入有HMD的VR系统是移动且重量轻的,同时允许与虚拟环境的通信和交互作用。然而,此类系统总体上是缺失的,因为它们仍然需要使用独立控制器来导航虚拟环境。在这个意义上,大部分HMD仅仅是允许进入VR环境中的护目镜。在本领域中,需要在不引入独立控制器装置的情况下对VR环境的导航和控制。
发明内容
本发明的实施方案包括用于头戴式显示器中的菜单导航的系统和方法。可生成与头戴式显示器相关的位置数据。可追踪焦点的位置。焦点可被确定在菜单导航元件的操作范围内。当焦点被确定在菜单导航元件的操作范围内时,对应于导航元件的固定计时器可被执行来倒计时预定时间段。在预定的时间段到期时,可实现对应于导航元件的功能。
可提供用于头戴式显示器中的菜单导航的方法。此类方法可包括:通过传感器生成头戴式显示器的位置数据;追踪头戴式显示器的焦点在包括菜单导航元件的虚拟环境中的位置;确定焦点在菜单导航元件的操作范围内;当焦点在菜单导航元件的操作范围内时,执行对应于菜单导航元件的倒计时预定时间量的固定计时器;并且当所述预定时间量到期时,实现导航元件的对应功能。
用于头戴式显示器中的菜单导航的系统可包括:生成位置数据的陀螺仪、磁力仪以及加速度计中的至少一个;头戴式显示器,其包括至少一个镜片来在包括菜单导航元件的虚拟环境中显示焦点;以及处理器,其执行存储在存储器中的指令来处理位置数据以追踪焦点在虚拟环境内的位置、确定焦点在菜单导航元件的操作范围内、当焦点在菜单导航元件的操作范围内时执行对应于导航元件的倒计时预定时间量的固定计时器,并且当由固定计时器指示的预定时间量到期时执行与菜单导航元件相关联的功能。
本发明的另外实施方案提供其上实现有程序的非暂态计算机可读存储介质。所述程序可由处理器执行来执行用于头戴式显示器中的菜单导航的方法。所述方法包括生成位置数据、追踪焦点的位置并且确定焦点在菜单导航元件的操作范围内。执行对应于导航元件的固定计时器。当固定计时器计时到期时,实现导航元件的对应功能。
附图说明
图1示出示例性可佩戴计算装置的框图。
图2A示出使佩戴者完全沉浸在虚拟现实环境中的HMD。
图2B示出允许在维持对现实世界的感知的同时生成VR信息的HMD。
图3示出在HMD的镜片显示器上显示的示例性导航菜单。
图4A示出使用焦点来启用在导航菜单中的视觉元件由此尚不激活虚拟按钮的对应操作。
图4B示出使用焦点来启用在导航菜单中的视觉元件由此与焦点和虚拟按钮相关联的区域激活对应的功能。
图4C示出使用焦点来启用在导航菜单中的视觉元件由此焦点直接激活虚拟按钮的对应功能。
图5示出用于VR环境中的菜单选择的示例性方法。
具体实施方式
本发明的实施方案包括用于头戴式显示器中的菜单导航的系统和方法。可生成与头戴式显示器相关的位置数据。可追踪焦点的位置。焦点可被确定在菜单导航元件的操作范围内。当焦点被确定在菜单导航元件的操作范围内时,对应于导航元件的固定计时器可被执行来倒计时预定时间段。在预定的时间段到期时,可实现对应于导航元件的功能。
图1示出示例性可佩戴虚拟现实系统100的框图。与外部计算装置110通信,可佩戴虚拟现实系统100可包括USB接口120、无线通信接口130、陀螺仪140、加速度计150、磁力仪160、数据存储装置170、处理器180以及头戴式显示器(HMD)200。
头戴式显示器(HMD)200允许其佩戴者观察现实世界的周围环境、所显示计算机生成的图像或者二者的组合。在一些实施方案中HMD 200可包括透视显示器。在这种实施方案中,可佩戴虚拟现实系统100的佩戴者可以能够透过HMD 200来观看并且尽管可佩戴虚拟现实系统100的存在仍然能够到观察现实世界环境中的一部分。在另一实施方案中,HMD 200可操作来显示叠加在视野上的图像以提供“增强现实”体验。由HMD 200显示的一些图像可相对于视野中的特定物体叠加或出现。在又另一实施方案中,HMD 200可以是完全虚拟环境,由此可佩戴虚拟现实系统100的佩戴者与现实世界的任何视觉接触隔离。
显示的图像可包括图形、文本和/或视频;音频可通过对应的音频装置来提供。由HMD显示的图像可以是交互式用户接口的一部分,并且包括菜单、选择框、导航图标或者使佩戴者能够调用可佩戴计算装置的功能或另外与可佩戴计算装置交互的其他用户接口特征。HMD 200的形状因素可以是眼镜、护目镜、头盔、帽子、遮护板、头带或者可以在佩戴者头上或由佩戴者头部支撑的一些其他形状。
为了向佩戴者显示虚拟图像,HMD可包括具有诸如照亮显示面板的发光二极管(LED)的光源的光学系统。显示面板可涵盖液晶显示面板(LCD)。显示面板可通过在空间上调制来自光源的光生成光图案,并且图像成形器从光图案形成虚拟图像。可替代地,面板可以是硅基液晶(LCOS),由此液晶层可位于硅底板的顶部。
在示例性实施方案中,HMD包括具有不重叠立体景3D图像的7英寸屏幕,由此左眼向左看见额外区域并且右眼向右看见额外区域。HMD尝试模仿不100%重叠的正常人类视觉。在示例性实施方案中,视野是水平大于90度(110度对角),因此大约充满整个视野,使得可完全地封闭现实世界以创建强烈的沉浸感。
一个实施方案可使用1280×800(16:10纵横比),从而允许对于每只眼睛有效的是640×800,4:5纵横比。在不允许眼睛之间的完全重叠的实施方案中,组合的水平分辨率有效地大于640。对于每只眼睛所显示的图像是引脚缓冲的因此为每只眼睛生成球面映射图像。
HMD 200可与外部计算装置110通信。外部计算装置110包括应用服务器、数据库以及本领域已知的其他外部计算部件,所述其他外部计算部件包括标准硬件计算部件(诸如网络和介质接口)、非暂态计算机可读存储装置(存储器)以及用于执行指令或访问可存储于存储器中的信息的处理器。
在一些实例中,可佩戴虚拟现实系统100可物理地连接到外部计算装置110。这种连接可通过USB接口120来实现,所述USB接口120可用于通过USB兼容电缆布线向外部计算装置110发送数据并且从所述外部计算装置110接收数据。USB接口120还可用于为可佩戴虚拟现实系统100提供电力,从而潜在地不需要外部电力供应和与其相关联的任何电力电缆布线。在一些实例中,另外的电力适配器(未示出)可以是必要的,以通过USB接口120实现电力。应理解对USB的参考是示例性的,可使用其他类型的接口,包括但不限于FireWire、Lightning以及诸如HDMI和DVI的其他电缆连接标准。
图1的可佩戴虚拟现实系统100包括无线通信接口130。无线通信接口130可用于与外部计算装置110无线通信。无线通信接口130可用于与其他可佩戴计算装置100无线通信。无线通信接口130可使用通过诸如因特网的基于分组的网络支持双向数据交换的任何数量的无线通信标准。示例性通信标准包括CDMA、GSM/GPRS、4G蜂窝、WiMAX、LTE以及802.11(WiFi)。
可佩戴虚拟现实系统100可包括三维轴线陀螺仪140、加速度计150以及磁力仪160中的一个或多个陀螺仪140可用于基于角动量原理测量取向。加速度计150可用于检测作为矢量的加速度的大小和方向。这个结果可用于感测因重量方向改变的取向、与重力或与重力的变化相关的坐标加速度,和振动、震动以及通过恰当的加速度改变而在电阻介质中的下落。磁力仪160可用于识别相对于可佩戴虚拟现实系统100的磁场中的干扰。磁力仪160可有助于为GPS和罗盘应用识别真北方向以及有助于无触摸或无照相机的手势输入。通过使用前述生成的数据,可计算相对于地面无漂移的绝对头标取向追踪。延迟追踪可以大约1000Hz操作以便减少反应时间并且增加感知现实性。可佩戴虚拟现实系统100的显示器可被调整以允许单个显示器更远离或更靠近佩戴者的眼睛移动。
可佩戴虚拟现实系统100可通过执行存储在数据存储装置170中的非暂态计算机可读指令来操作,其中执行通过操作处理器180来发生。尽管图1将数据存储装置170和处理器180示出为存在于可佩戴虚拟现实系统100处,但此类元件可位于外部计算装置110中或者在一些实例中,可执行的操作分布在二者之间。处理器180和数据存储装置170处的可执行指令还可控制USB接口120、无线接口130、陀螺仪140、加速度计150以及磁力仪160的各个方面。
图2A示出使佩戴者完全沉浸在虚拟现实环境中的HMD 200。尽管图2A示出为沉浸式护目镜,但其他形状因素是可能且可设想的。图2A中的元件的操作与图2B情况下所讨论的元件的操作一样。图2A包括允许可佩戴虚拟现实系统100(包括HMD 200)定位在佩戴者头上的头戴式支撑件210。HMD 200还包括可以是如上所述的LCD或LCOS构造的镜片显示器220A和220B。镜片显示器220A和220B可以是可佩戴虚拟现实系统100的集成部分。
可佩戴虚拟现实系统100的制造可允许如图1所示的那些部件的部件和待内部集成的各种部件互连器集成。其他部件可位于可佩戴虚拟现实系统100的外部,以允许更方便访问或物理连接到外部计算装置110。可佩戴虚拟现实系统100的一个实施方案可包括麦克风以允许与使用可佩戴虚拟现实系统100的其他个体语音通信或者允许对系统100的某些免提控制。
图2B示出允许在维持对现实世界的感知的同时生成虚拟现实信息的HMD 200。通过不使佩戴者完全沉浸在虚拟环境的限制中(即,仍然可以看到并且感知现实世界)来提供这种双重感知。尽管图2B的HMD 200示出为简单的带,但其他形状因素是可能且可设想的。图2B上的元件的操作与图2A情况下所讨论的元件的操作一样。
图3示出在HMD 200的镜片显示器200上显示的示例性导航菜单300。导航菜单300可包括任何各种视觉元件,所述视觉元件包括虚拟按钮310、滚动条320、按键330或者用于从用户接收输入的任何其他已知元件。导航菜单300可依据一个或多个控制指令被限定,所述一个或多个控制指令用于控制在虚拟的可佩戴系统100上执行的软件应用。导航菜单300的特定视觉元件,诸如虚拟按钮310可与特定控制指令相关联,使得虚拟按钮的激活可导致它的相关联控制指令被实现。
如上所述,可佩戴虚拟现实系统100包括轴线转向仪140、加速度计150以及磁力仪160中的一个或多个。由上述部件中的一个或多个生成的数据可转化成对来自导航菜单300的一个或多个视觉元件的选择或操纵并且由HMD 200显示。例如,通过用户在佩戴着可佩戴虚拟现实系统100时移动其头部,可使用陀螺仪140、加速度计150以及磁力仪160来识别空间中的点以便以类似于在由台式计算机背景中生成的二维空间中的鼠标指针的方式在三维空间中创建焦点340。焦点或指针340可但是并非必需地相对于HDM 200的镜片220来对应来自用户眼睛的视线350(见图3的插图)。
通过在特定时间段内在导航菜单300的各种视觉元件上校准焦点340并且维持焦点/指针340在特定视觉元件(例如,虚拟按钮310)上的位置,可实现聚焦元件的功能。对于焦点340来说,仅在虚拟按钮310上追踪而不是在预限定时间段(例如,三秒)内在虚拟按钮310或与虚拟按钮310相关联的区域上保持固定,可能是不足的。预限定时间段可由转件应用的开发商设定或者通过用户偏好选项控制,所述用户偏好选项在可佩戴虚拟现实系统100或系统100的用户的应用软件中改变。
图4A-4C示出使用焦点来实现导航菜单中的视觉元件。具体地,图4A示出尚未固定在导航菜单中的元件310上的焦点340。同样,虚拟按钮的对应操作尚未激活。如图4A所示,焦点340包括相关联的区域420,所述区域420扩展在特定点或与所述点相关联的区域上维持焦点340的效果。尽管图4A中示出为圆形,但相关联区域420还可以是方形、矩形或扩展焦点340的操作范围的任何形状或配置。焦点340的相关联区域420对于用户来说可以是可见的、半透明的或不可见的。在为可见或半透明的实例中的相关联区域420可以是使所述区域与显示在镜片220上的虚拟环境的背景区分开的颜色,使得用户对焦点340和相关联区域420的范围具有清晰理解。
虚拟按钮310还可具有如同焦点340的区域一样的相关联区域(410)。如同焦点340及其相关联区域420,区域可以是与虚拟按钮340或在HMD 200的镜片220上显示的虚拟环境不同的形状、尺寸、颜色或可见性或透明性。虚拟按钮310的相关联区域410以及焦点340的相关联区域420每一个均可由开发商、默认值或用户设置单独地控制,所述用户设置可通过用户设置菜单(未示出)改变。可控制的功能包括形状、尺寸、可见性、透明性以及上述的需要激活虚拟菜单300的功能的固定时间段。
图4B示出与焦点420相关联与虚拟按钮410重叠的区域420,所述区域420实现导航菜单300中的视觉元件并且激活虚拟按钮310的对应功能。与图4A相比较,图4B示出与焦点340相关联并且虚拟按钮310现在重叠如加亮区域430中所示的区域。尽管图4B用图形示出加亮区域,但这是为了便于说明。不需要加亮区域430出现在镜片220上,但是这可以是可用于由用户和/或应用开发商配置的设置。由于与焦点340相关联并且虚拟按钮310现在重叠的区域,虚拟按钮310的相关联功能将在预限定的固定时间到期时被实现,所述预限定的固定时间的消耗可由内部时钟功能控制,所述内部时钟功能通过基于处理器地执行负责菜单300的控制且维持在数据存储装置170中的软件来实现。这种内部时钟功能可被激活来从预限定的时间段倒计时或数到预限定的时间段。此类计时可被设定成仅在焦点340与菜单导航元件310(或与其相关联的区域410和420)之间有重叠时发生。同样,如果在预限定的时间段到期之前焦点340移动远离,那么功能不会被激活。
图4C示出使用焦点来启用在导航菜单中的视觉元件由此焦点直接激活虚拟按钮的对应功能。与图4B不同,虚拟按钮310和焦点340的相关联区域410和420没有被使用。在图4C中,焦点340直接固定在虚拟按钮310上。在所需固定时间段到期时,所述按钮的相关联功能将被实现。
图5示出用于VR环境中的菜单选择的示例性方法500,所述方法500可通过由处理器180执行存储在存储器170中的指令来实现。图5的方法500可体现为包含在非暂态计算机可读存储介质中的可执行指令,所述计算机可读存储介质包括但不限于CD、DVD或如硬盘驱动器的非易失性存储器。存储介质的指令可由一个处理器(或多个处理器)执行,以致使托管或另外访问存储介质的计算装置的各种硬件部件来实现所述方法。图5中所示的步骤(及其次序)是示例性的并且可包括各种替代物、等效物或其衍生物,其包括但不限于它们的执行次序。
在步骤510中,可基于可佩戴VR系统100的佩戴者头部的运动生成位置数据。位置数据可由陀螺仪140、加速度计150以及磁力仪160中的一个或多个生成。
由上述部件中的一个或多个生成的数据可被转化成步骤520处的焦点或指针340的位置数据。焦点或指针340的位置可显示在来自导航菜单300的一个或多个视觉元件的背景中并且由HMD 200显示。
在步骤530处,做出关于焦点或指针340当前是否定位在按钮或来自导航菜单300的其他元件上的确定。如果已经从未定位在来自导航菜单300的元件上的焦点或指针340的位置分析中作出确定,那么需在步骤540处进一步确定与焦点或指针相关联的区域是否位于来自导航菜单300的元件上。如果在步骤540中已经确定焦点或指针的相关联区域不位于来自导航菜单的元件上,那么需在步骤550处进一步确定焦点的相关联区域是否与元件的相关联区域重叠。如果步骤550处的确定保持为否—如图4A所示—那么分别在步骤510和520处继续位置数据生成和对焦点位置的追踪。
如果步骤530处的确定为是(如对应于图4C)或着步骤540确定为是(如对应于图4B),那么在步骤560处固定计时器开始执行以确定在预定时间段内焦点及其相关联区域是否保持在导航菜单元件上从而调用与按钮或其他元件相关联的任何功能。随着计时器倒计时(或计时)所述预定固定时间,在步骤570处继续同时地做出关于所述焦点或其相关联区域是否在相对于导航菜单运动的确定。如果所述焦点或相关联区域已经改变使得步骤530、540或550的确定将显示为“否”(即,运动显示为‘是’),那么计时器停止并且分别在步骤510和520处继续位置数据生成和焦点追踪。在所需固定时间到期之前位置的改变与系统100的用户或佩戴者的意图相关以不调用任何对应的菜单功能。
然而如果步骤570处关于焦点的运动的确定为“否”,那么在步骤580处做出关于步骤580处的预定时间段到期的进一步确定。如果预定时间段尚未计时或倒计时,那么由步骤560、570和580构成的循环继续直到已实现固定时间段到期,这时菜单的对应功能在步骤590处执行并且方法500结束。
本发明可在使用多种装置能够运行的应用中被实现。非暂态计算机可读存储介质是指参与将指令提供给中央处理器(CPU)以进行执行的任何介质或介质。此类介质可采取许多形式,包括但不限于:非易失性和易失性介质,分别如光盘或磁盘,以及动态存储器。非暂态计算机可读介质的常见形式包括:例如软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM光盘、数字视频光盘(DVD)、任何其他光学介质、RAM、PROM、EPROM、FLASHEPROM以及任何其他存储芯片或盒式磁盘。
各种形式的传输介质可参与将一个或多个指令的一个或多个序列运送至CPU以进行执行。总线将数据运送至系统RAM,CPU从所述系统RAM中检索并执行指令。系统RAM接收的指令可任选地在CPU执行之前或之后被存储在固定盘上。同样地,可实施各种形式的存储,以及必要的网络接口和网络拓扑以实现相同的目的。
尽管上文已描述了各种实施方案,但应了解所述实施方案仅是以举例的方式呈现而不具限制性。本说明书并不意图将本发明的范围限制于本文所述的特定形式。因此,优选实施方案的广度和范围不应受任何上述示例性实施方案的限制。应了解以上描述是说明性的而不是限制性的。相反地,本说明书意图涵盖可包含在如所附权利要求限定的和以其他方式由本领域普通技术人员所理解的本发明的精神和范围内的此类替代、修改和等效物。因此,不应参照上面的描述来确定本发明的范围,而是应参照所附的权利要求和其等效物的全部范围来确定本发明的范围。

Claims (19)

1.一种用于头戴式显示器中的菜单导航的方法,所述方法包括:
生成所述头戴式显示器的位置数据;
显示虚拟环境,所述虚拟环境包括所述头戴式显示器的焦点;
追踪所述头戴式显示器的所显示焦点的位置,其中所显示焦点的所述位置在所述虚拟环境内显示的一个或多个视觉元件上移动;
确定所显示焦点在所述虚拟环境中的所显示菜单导航元件的操作范围内,其中所显示菜单导航元件的所述操作范围包括在所显示菜单导航元件周围延伸的相关联区域,并且其中确定所述焦点在所显示菜单导航的所述操作范围内包括确定所述焦点在所述相关联区域内;
执行对应于所显示菜单导航元件的固定计时器,其中当所显示焦点在所显示菜单导航元件的所述操作范围内时所述固定计时器倒计时预定时间量,并且其中当所显示焦点移出所显示菜单导航元件的所述操作范围时所述固定计时器停止计时;以及
在如由所述固定计时器指示的所述预定时间量到期时,实现所显示菜单导航元件的对应功能。
2.如权利要求1所述的方法,其中生成所述位置数据包括处理来自陀螺仪的数据。
3.如权利要求1所述的方法,其中生成位置数据包括处理来自加速度计的数据。
4.如权利要求1所述的方法,其中生成位置数据包括处理来自磁力仪的数据。
5.如权利要求1所述的方法,其中所述焦点包括所述焦点周围的相关联区域,并且其中确定所述焦点在所述菜单导航的所述操作范围内包括确定所述相关联区域在所述菜单导航元件的所述操作范围内。
6.如权利要求1所述的方法,其中所述焦点和所述菜单导航元件每一个均包括相关联区域,并且其中确定所述焦点在所述菜单导航的所述操作范围内包括确定所述焦点的所述相关联区域和所述菜单导航元件的所述相关联区域重叠。
7.如权利要求1所述的方法,其中执行对应于所述导航元件的所述固定计时器包括确定自所述固定计时器开始执行时所述焦点是否已移出所述操作范围。
8.如权利要求7所述的方法,其中执行对应于所述导航元件的所述固定计时器还包括确认所述焦点保持在所述菜单导航元件的所述操作范围内。
9.如权利要求7所述的方法,其中执行对应于所述导航元件的所述固定计时器还包括确认与所述焦点相关联的区域保持在所述菜单导航元件的所述操作范围内。
10.如权利要求7所述的方法,其中执行对应于所述导航元件的所述固定计时器还包括确认与所述焦点相关联的区域继续和与所述菜单导航元件相关联的区域重叠。
11.如权利要求1所述的方法,其还包括在所述计时器的所述执行期间改变所述焦点的外观。
12.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变所述导航元件的外观。
13.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变与所述焦点相关联的区域的外观。
14.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变与所述导航元件相关联的区域的外观。
15.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变所述焦点和所述导航元件的外观。
16.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变所述焦点和与所述导航元件相关联的区域的外观。
17.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变与所述焦点相关联的区域和所述导航元件的外观。
18.一种具有在其上实施的程序的非暂态计算机可读存储介质,所述程序可由处理器执行以执行用于头戴式显示器中的菜单导航的方法,所述方法包括:
生成所述头戴式显示器的位置数据;
显示虚拟环境,所述虚拟环境包括所述头戴式显示器的焦点;
追踪所述头戴式显示器的所显示焦点的位置,其中所显示焦点的所述位置在所述虚拟环境内显示的一个或多个视觉元件上移动;
确定所显示焦点在所述虚拟环境中的所显示菜单导航元件的操作范围内,其中所显示菜单导航元件的所述操作范围包括在所显示菜单导航元件周围延伸的相关联区域,并且其中确定所述焦点在所显示菜单导航的所述操作范围内包括确定所述焦点在所述相关联区域内;
执行对应于所显示菜单导航元件的固定计时器,其中当所显示焦点在所显示菜单导航元件的所述操作范围内时所述固定计时器倒计时预定时间量,并且其中当所显示焦点移出所显示菜单导航元件的所述操作范围时所述固定计时器停止计时;以及
在如由所述固定计时器指示的所述预定时间量到期时,实现所显示菜单导航元件的对应功能。
19.一种用于菜单导航的系统,所述系统包括:
生成位置数据的陀螺仪、磁力仪以及加速度计中的至少一个;
头戴式显示器,其包括至少一个镜片来显示虚拟环境,所述虚拟环境包括焦点和菜单导航元件;
处理器,其执行存储在存储器中的指令来:
处理所述位置数据以追踪所述头戴式显示器的所显示焦点的位置,其中所显示焦点的所述位置在所述虚拟环境内显示的一个或多个视觉元件上移动;
确定所显示焦点在所述虚拟环境中的所显示菜单导航元件的操作范围内,其中所显示菜单导航元件的所述操作范围包括在所显示菜单导航元件周围延伸的相关联区域,并且其中确定所述焦点在所显示菜单导航的所述操作范围内包括确定所述焦点在所述相关联区域内;
执行对应于所显示菜单导航元件的固定计时器,其中当所显示焦点在所显示菜单导航元件的所述操作范围内时所述固定计时器倒计时预定时间量,并且其中当所显示焦点移出所显示菜单导航元件的所述操作范围时所述固定计时器停止计时;以及
在如由所述固定计时器指示的所述预定时间量到期时,实现所显示菜单导航元件的对应功能。
CN201580005815.1A 2014-01-25 2015-01-12 头戴式显示器中的菜单导航 Active CN106471420B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461931582P 2014-01-25 2014-01-25
US61/931,582 2014-01-25
US14/283,032 2014-05-20
US14/283,032 US9588343B2 (en) 2014-01-25 2014-05-20 Menu navigation in a head-mounted display
PCT/US2015/010990 WO2015112359A1 (en) 2014-01-25 2015-01-12 Menu navigation in a head-mounted display

Publications (2)

Publication Number Publication Date
CN106471420A CN106471420A (zh) 2017-03-01
CN106471420B true CN106471420B (zh) 2019-04-23

Family

ID=53678875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580005815.1A Active CN106471420B (zh) 2014-01-25 2015-01-12 头戴式显示器中的菜单导航

Country Status (10)

Country Link
US (4) US9588343B2 (zh)
EP (1) EP3097449A4 (zh)
JP (3) JP2017510877A (zh)
KR (3) KR102235410B1 (zh)
CN (1) CN106471420B (zh)
BR (1) BR112016017179A2 (zh)
CA (1) CA2937880C (zh)
MX (1) MX359046B (zh)
RU (1) RU2642545C1 (zh)
WO (1) WO2015112359A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809679B2 (en) 2013-03-15 2023-11-07 Sony Interactive Entertainment LLC Personal digital assistance and virtual reality

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
KR102450416B1 (ko) * 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
US10586391B2 (en) 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
KR102632795B1 (ko) 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
US20180096506A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106951153B (zh) * 2017-02-21 2020-11-20 联想(北京)有限公司 一种显示方法及电子设备
CN106924970B (zh) * 2017-03-08 2020-07-07 网易(杭州)网络有限公司 虚拟现实系统、基于虚拟现实的信息显示方法及装置
WO2018200449A1 (en) * 2017-04-24 2018-11-01 Siemens Aktiengesellschaft Unlocking passwords in augmented reality based on look
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
JP6312184B2 (ja) * 2017-10-25 2018-04-18 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
US11188144B2 (en) 2018-01-05 2021-11-30 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
WO2020084625A1 (en) 2018-10-25 2020-04-30 Beyeonics Surgical Ltd. Ui for head mounted display system
CN114003123A (zh) * 2020-07-28 2022-02-01 华为技术有限公司 控件移动方法和电子设备
RU2747861C1 (ru) * 2020-09-17 2021-05-17 Общество с ограниченной ответственностью "МедВиар" Способ и система для ведения диалогов с виртуальными персонажами в виртуальной среде
US11183049B1 (en) * 2021-01-22 2021-11-23 International Business Machines Corporation Monitoring and instigating shifts in visual focus
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
KR102592197B1 (ko) 2023-05-18 2023-10-20 주식회사 미주산업 비전인식기반 조선기자재 철의장품 형상조립 및 용접 자동화 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容

Family Cites Families (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3883237A (en) * 1972-08-03 1975-05-13 Gates Rubber Co Panoramic image reproducing apparatus
US5258785A (en) * 1991-06-25 1993-11-02 Dawkins Jr Douglas R Close-view data display implant for sporting eyewear
US5757358A (en) * 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5585871A (en) * 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US8330812B2 (en) * 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JPH09167253A (ja) * 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
GB2314664A (en) * 1996-06-27 1998-01-07 Sharp Kk Address generator,display and spatial light modulator
JPH10222287A (ja) * 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JPH1195971A (ja) * 1997-09-24 1999-04-09 Sharp Corp ユーザインタフェースシステム
US5982555A (en) 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6415316B1 (en) 1998-09-01 2002-07-02 Aidministrator Nederland B.V. Method and apparatus for implementing a web page diary
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
US6345129B1 (en) * 1999-02-03 2002-02-05 Oren Aharon Wide-field scanning tv
US6315273B1 (en) * 1999-05-27 2001-11-13 Lionel Davies Gas and liquid contact apparatus: illuminated
US20020038456A1 (en) 2000-09-22 2002-03-28 Hansen Michael W. Method and system for the automatic production and distribution of media content using the internet
US20020083134A1 (en) 2000-12-22 2002-06-27 Bauer Kirk Wayne Method and system of collaborative browsing
US20020171690A1 (en) * 2001-05-15 2002-11-21 International Business Machines Corporation Method and system for scaling a graphical user interface (GUI) widget based on selection pointer proximity
US7100190B2 (en) 2001-06-05 2006-08-29 Honda Giken Kogyo Kabushiki Kaisha Automobile web cam and communications system incorporating a network of automobile web cams
US7970240B1 (en) 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
US7921357B2 (en) * 2002-05-23 2011-04-05 Lebow David G Highlighting comparison method
US8120624B2 (en) * 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
CA2406131A1 (en) * 2002-09-30 2004-03-30 Idelix Software Inc. A graphical user interface using detail-in-context folding
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP2004233867A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
US9607092B2 (en) 2003-05-20 2017-03-28 Excalibur Ip, Llc Mapping method and system
US7467356B2 (en) 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US7667700B1 (en) 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
EP1751499B1 (en) * 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US7567241B2 (en) 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
US7949642B2 (en) 2004-10-12 2011-05-24 Wendy W Yang System and method for managing and presenting entity information
JP2006320706A (ja) * 2004-12-03 2006-11-30 Shinsedai Kk ボクシングゲーム方法、表示制御方法、位置決定方法、カーソル制御方法、消費エネルギー算出方法及びエクササイズ・システム
US7298378B1 (en) 2004-12-13 2007-11-20 Hagenbuch Andrew M Virtual reality universe realized as a distributed location network
EP1679577A1 (en) * 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US8140197B2 (en) * 2005-02-17 2012-03-20 Lumus Ltd. Personal navigation system
US7933929B1 (en) 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
WO2007027847A2 (en) 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
US7529772B2 (en) 2005-09-27 2009-05-05 Scenera Technologies, Llc Method and system for associating user comments to a scene captured by a digital imaging device
US7836437B2 (en) 2006-02-10 2010-11-16 Microsoft Corporation Semantic annotations for virtual objects
US8725729B2 (en) * 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US7928926B2 (en) 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US20080106489A1 (en) * 2006-11-02 2008-05-08 Brown Lawrence G Systems and methods for a head-mounted display
US9555334B2 (en) 2006-12-13 2017-01-31 Qualcomm Incorporated System and method for managing virtual worlds mapped to real locations in a mobile-enabled massively multiplayer online role playing game (MMORPG)
US20080155019A1 (en) 2006-12-20 2008-06-26 Andrew Wallace System, apparatus and method to facilitate interactions between real world and proprietary environments
US8239487B1 (en) 2007-05-30 2012-08-07 Rocketon, Inc. Method and apparatus for promoting desired on-line activities using on-line games
US8583915B1 (en) 2007-05-31 2013-11-12 Bby Solutions, Inc. Security and authentication systems and methods for personalized portable devices and associated systems
US8600808B2 (en) 2007-06-07 2013-12-03 Qurio Holdings, Inc. Methods and systems of presenting advertisements in consumer-defined environments
WO2009040675A2 (en) 2007-09-24 2009-04-02 View22 Technology Inc. Facilitating electronic commerce via a 3d virtual environment
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US20100259471A1 (en) 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US20090263777A1 (en) * 2007-11-19 2009-10-22 Kohn Arthur J Immersive interactive environment for asynchronous learning and entertainment
US20090271436A1 (en) 2008-04-23 2009-10-29 Josef Reisinger Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
KR20100009947A (ko) * 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US8108778B2 (en) 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
CA2674663A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US20100102476A1 (en) 2008-10-29 2010-04-29 Higgins Michael H Method for manufacturing raised relief maps
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
FR2942091A1 (fr) 2009-02-10 2010-08-13 Alcatel Lucent Communication multimedia dans un environnement virtuel
US20100208029A1 (en) * 2009-02-13 2010-08-19 Samsung Electronics Co., Ltd Mobile immersive display system
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
KR20100113704A (ko) * 2009-04-14 2010-10-22 삼성전자주식회사 아이템 선택 방법 및 장치
JP2011039438A (ja) 2009-08-18 2011-02-24 Fujitsu Ltd 電子機器および表示制御方法
US8392839B2 (en) 2009-08-27 2013-03-05 International Business Machines Corporation System and method for using partial teleportation or relocation in virtual worlds
US20110153435A1 (en) * 2009-09-17 2011-06-23 Lexos Media Inc. System and method of cursor-based content delivery
US9254438B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Apparatus and method to transition between a media presentation and a virtual environment
US9256347B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Routing a teleportation request based on compatibility with user contexts
US8175734B2 (en) 2009-10-08 2012-05-08 3D M. T. P. Ltd. Methods and system for enabling printing three-dimensional object models
WO2011097762A1 (en) 2010-02-12 2011-08-18 Thomson Licensing Method for synchronized content playback
KR20110094693A (ko) * 2010-02-17 2011-08-24 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US20110214071A1 (en) 2010-02-26 2011-09-01 University Of Southern California Information channels in mmogs
US20120194552A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with predictive control of external device based on event input
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
US20140063054A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
JP5223062B2 (ja) 2010-03-11 2013-06-26 株式会社ジオ技術研究所 3次元地図描画システム
JP5143856B2 (ja) 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント 3次元画像表示装置、および3次元画像表示方法
US8797380B2 (en) 2010-04-30 2014-08-05 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US20110279445A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US8521526B1 (en) 2010-07-28 2013-08-27 Google Inc. Disambiguation of a spoken query term
US9378296B2 (en) 2010-08-24 2016-06-28 International Business Machines Corporation Virtual world construction
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9632315B2 (en) * 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2649782A2 (en) 2010-12-10 2013-10-16 Yota Devices IPR Ltd Mobile device with user interface
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8803912B1 (en) 2011-01-18 2014-08-12 Kenneth Peyton Fouts Systems and methods related to an interactive representative reality
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
RU111703U1 (ru) 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US20120249480A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US9154826B2 (en) 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US9043325B1 (en) 2011-06-24 2015-05-26 Google Inc. Collecting useful user feedback about geographical entities
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US20130117707A1 (en) * 2011-11-08 2013-05-09 Google Inc. Velocity-Based Triggering
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US20130125066A1 (en) * 2011-11-14 2013-05-16 Microsoft Corporation Adaptive Area Cursor
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US9213185B1 (en) * 2012-01-06 2015-12-15 Google Inc. Display scaling based on movement of a head-mounted display
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
US20130191178A1 (en) 2012-01-25 2013-07-25 Predictive Edge Technologies, Llc System and method for secure registration, authentication, valuation and exchange of virtual goods and objects
US20130194389A1 (en) * 2012-01-31 2013-08-01 Ben Vaught Head-mounted display device to measure attentiveness
JP5880115B2 (ja) 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130227017A1 (en) 2012-02-24 2013-08-29 Steven Antony Gahlings Location associated virtual interaction, virtual networking and virtual data management
US8737767B2 (en) 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
TW201351963A (zh) 2012-06-15 2013-12-16 Hon Hai Prec Ind Co Ltd 虛擬環境中的影像播放方法及系統
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US9669296B1 (en) 2012-07-31 2017-06-06 Niantic, Inc. Linking real world activities with a parallel reality game
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
US20150062114A1 (en) 2012-10-23 2015-03-05 Andrew Ofstad Displaying textual information related to geolocated images
US9710873B1 (en) 2012-10-26 2017-07-18 Amazon Technologies, Inc. Point of interest mapping
US20140164921A1 (en) 2012-12-07 2014-06-12 Robert Salinas Methods and Systems of Augmented Reality on Mobile Devices
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
US9285951B2 (en) 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280504A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality universe representation changes viewing based upon client side parameters
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US9261959B1 (en) * 2013-03-28 2016-02-16 Google Inc. Input detection
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
JP5825328B2 (ja) * 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9898078B2 (en) * 2015-01-12 2018-02-20 Dell Products, L.P. Immersive environment correction display and method
US20170090460A1 (en) 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809679B2 (en) 2013-03-15 2023-11-07 Sony Interactive Entertainment LLC Personal digital assistance and virtual reality

Also Published As

Publication number Publication date
CA2937880C (en) 2018-01-23
WO2015112359A9 (en) 2016-11-10
US20200379556A1 (en) 2020-12-03
US20210357028A1 (en) 2021-11-18
JP2020115352A (ja) 2020-07-30
US11693476B2 (en) 2023-07-04
MX359046B (es) 2018-09-13
US20170242479A1 (en) 2017-08-24
CA2937880A1 (en) 2015-07-30
BR112016017179A2 (pt) 2017-12-26
RU2642545C1 (ru) 2018-01-25
KR102090075B1 (ko) 2020-03-17
US10809798B2 (en) 2020-10-20
JP6674703B2 (ja) 2020-04-01
US11036292B2 (en) 2021-06-15
MX2016009682A (es) 2017-07-05
KR102390549B1 (ko) 2022-04-26
KR20200029631A (ko) 2020-03-18
JP7021274B2 (ja) 2022-02-16
KR20160113614A (ko) 2016-09-30
WO2015112359A1 (en) 2015-07-30
EP3097449A1 (en) 2016-11-30
US9588343B2 (en) 2017-03-07
US20150212322A1 (en) 2015-07-30
KR102235410B1 (ko) 2021-04-02
KR20210037746A (ko) 2021-04-06
CN106471420A (zh) 2017-03-01
JP2017510877A (ja) 2017-04-13
EP3097449A4 (en) 2017-08-09
JP2018190429A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN106471420B (zh) 头戴式显示器中的菜单导航
US10096167B2 (en) Method for executing functions in a VR environment
CN113168007B (zh) 用于增强现实的系统和方法
WO2021246134A1 (ja) デバイス、制御方法及びプログラム
Runde Head Mounted Displays & Data Glasses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant