CN106471420B - 头戴式显示器中的菜单导航 - Google Patents
头戴式显示器中的菜单导航 Download PDFInfo
- Publication number
- CN106471420B CN106471420B CN201580005815.1A CN201580005815A CN106471420B CN 106471420 B CN106471420 B CN 106471420B CN 201580005815 A CN201580005815 A CN 201580005815A CN 106471420 B CN106471420 B CN 106471420B
- Authority
- CN
- China
- Prior art keywords
- focus
- menu navigation
- navigation element
- opereating specification
- timer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 10
- 230000001052 transient effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
- G02B27/022—Viewing apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种可佩戴计算装置包括生成虚拟现实环境的头戴式显示器(HMD)。通过位置数据的生成和追踪,可相对于一个或菜单导航元件追踪焦点。在所述菜单导航元件上固定定位所述焦点达预定时间量之后,执行对应于所述菜单导航元件的进程。
Description
技术领域
本发明总体上涉及具有头戴式显示器(HMD)的可佩戴虚拟现实(VR)计算装置。更具体地,本发明涉及使用HMD中的视野来实现菜单控制功能。
背景技术
可佩戴VR系统整合各种元件,诸如输入装置、传感器、检测器、图像显示器和无线通信部件以及图像和音频处理器。通过靠近佩戴者的眼睛放置图像显示元件,模拟图像可被制成来叠加现实世界的视图或者创建完全其自身的独立现实。此类图像显示元件并入到也被称作头戴式显示器(HMD)的系统中。根据显示元件的尺寸和距佩戴者的眼睛的距离,设置在显示器上的模拟图像可充满或几乎充满佩戴者的视野。
并入有HMD的VR系统是移动且重量轻的,同时允许与虚拟环境的通信和交互作用。然而,此类系统总体上是缺失的,因为它们仍然需要使用独立控制器来导航虚拟环境。在这个意义上,大部分HMD仅仅是允许进入VR环境中的护目镜。在本领域中,需要在不引入独立控制器装置的情况下对VR环境的导航和控制。
发明内容
本发明的实施方案包括用于头戴式显示器中的菜单导航的系统和方法。可生成与头戴式显示器相关的位置数据。可追踪焦点的位置。焦点可被确定在菜单导航元件的操作范围内。当焦点被确定在菜单导航元件的操作范围内时,对应于导航元件的固定计时器可被执行来倒计时预定时间段。在预定的时间段到期时,可实现对应于导航元件的功能。
可提供用于头戴式显示器中的菜单导航的方法。此类方法可包括:通过传感器生成头戴式显示器的位置数据;追踪头戴式显示器的焦点在包括菜单导航元件的虚拟环境中的位置;确定焦点在菜单导航元件的操作范围内;当焦点在菜单导航元件的操作范围内时,执行对应于菜单导航元件的倒计时预定时间量的固定计时器;并且当所述预定时间量到期时,实现导航元件的对应功能。
用于头戴式显示器中的菜单导航的系统可包括:生成位置数据的陀螺仪、磁力仪以及加速度计中的至少一个;头戴式显示器,其包括至少一个镜片来在包括菜单导航元件的虚拟环境中显示焦点;以及处理器,其执行存储在存储器中的指令来处理位置数据以追踪焦点在虚拟环境内的位置、确定焦点在菜单导航元件的操作范围内、当焦点在菜单导航元件的操作范围内时执行对应于导航元件的倒计时预定时间量的固定计时器,并且当由固定计时器指示的预定时间量到期时执行与菜单导航元件相关联的功能。
本发明的另外实施方案提供其上实现有程序的非暂态计算机可读存储介质。所述程序可由处理器执行来执行用于头戴式显示器中的菜单导航的方法。所述方法包括生成位置数据、追踪焦点的位置并且确定焦点在菜单导航元件的操作范围内。执行对应于导航元件的固定计时器。当固定计时器计时到期时,实现导航元件的对应功能。
附图说明
图1示出示例性可佩戴计算装置的框图。
图2A示出使佩戴者完全沉浸在虚拟现实环境中的HMD。
图2B示出允许在维持对现实世界的感知的同时生成VR信息的HMD。
图3示出在HMD的镜片显示器上显示的示例性导航菜单。
图4A示出使用焦点来启用在导航菜单中的视觉元件由此尚不激活虚拟按钮的对应操作。
图4B示出使用焦点来启用在导航菜单中的视觉元件由此与焦点和虚拟按钮相关联的区域激活对应的功能。
图4C示出使用焦点来启用在导航菜单中的视觉元件由此焦点直接激活虚拟按钮的对应功能。
图5示出用于VR环境中的菜单选择的示例性方法。
具体实施方式
本发明的实施方案包括用于头戴式显示器中的菜单导航的系统和方法。可生成与头戴式显示器相关的位置数据。可追踪焦点的位置。焦点可被确定在菜单导航元件的操作范围内。当焦点被确定在菜单导航元件的操作范围内时,对应于导航元件的固定计时器可被执行来倒计时预定时间段。在预定的时间段到期时,可实现对应于导航元件的功能。
图1示出示例性可佩戴虚拟现实系统100的框图。与外部计算装置110通信,可佩戴虚拟现实系统100可包括USB接口120、无线通信接口130、陀螺仪140、加速度计150、磁力仪160、数据存储装置170、处理器180以及头戴式显示器(HMD)200。
头戴式显示器(HMD)200允许其佩戴者观察现实世界的周围环境、所显示计算机生成的图像或者二者的组合。在一些实施方案中HMD 200可包括透视显示器。在这种实施方案中,可佩戴虚拟现实系统100的佩戴者可以能够透过HMD 200来观看并且尽管可佩戴虚拟现实系统100的存在仍然能够到观察现实世界环境中的一部分。在另一实施方案中,HMD 200可操作来显示叠加在视野上的图像以提供“增强现实”体验。由HMD 200显示的一些图像可相对于视野中的特定物体叠加或出现。在又另一实施方案中,HMD 200可以是完全虚拟环境,由此可佩戴虚拟现实系统100的佩戴者与现实世界的任何视觉接触隔离。
显示的图像可包括图形、文本和/或视频;音频可通过对应的音频装置来提供。由HMD显示的图像可以是交互式用户接口的一部分,并且包括菜单、选择框、导航图标或者使佩戴者能够调用可佩戴计算装置的功能或另外与可佩戴计算装置交互的其他用户接口特征。HMD 200的形状因素可以是眼镜、护目镜、头盔、帽子、遮护板、头带或者可以在佩戴者头上或由佩戴者头部支撑的一些其他形状。
为了向佩戴者显示虚拟图像,HMD可包括具有诸如照亮显示面板的发光二极管(LED)的光源的光学系统。显示面板可涵盖液晶显示面板(LCD)。显示面板可通过在空间上调制来自光源的光生成光图案,并且图像成形器从光图案形成虚拟图像。可替代地,面板可以是硅基液晶(LCOS),由此液晶层可位于硅底板的顶部。
在示例性实施方案中,HMD包括具有不重叠立体景3D图像的7英寸屏幕,由此左眼向左看见额外区域并且右眼向右看见额外区域。HMD尝试模仿不100%重叠的正常人类视觉。在示例性实施方案中,视野是水平大于90度(110度对角),因此大约充满整个视野,使得可完全地封闭现实世界以创建强烈的沉浸感。
一个实施方案可使用1280×800(16:10纵横比),从而允许对于每只眼睛有效的是640×800,4:5纵横比。在不允许眼睛之间的完全重叠的实施方案中,组合的水平分辨率有效地大于640。对于每只眼睛所显示的图像是引脚缓冲的因此为每只眼睛生成球面映射图像。
HMD 200可与外部计算装置110通信。外部计算装置110包括应用服务器、数据库以及本领域已知的其他外部计算部件,所述其他外部计算部件包括标准硬件计算部件(诸如网络和介质接口)、非暂态计算机可读存储装置(存储器)以及用于执行指令或访问可存储于存储器中的信息的处理器。
在一些实例中,可佩戴虚拟现实系统100可物理地连接到外部计算装置110。这种连接可通过USB接口120来实现,所述USB接口120可用于通过USB兼容电缆布线向外部计算装置110发送数据并且从所述外部计算装置110接收数据。USB接口120还可用于为可佩戴虚拟现实系统100提供电力,从而潜在地不需要外部电力供应和与其相关联的任何电力电缆布线。在一些实例中,另外的电力适配器(未示出)可以是必要的,以通过USB接口120实现电力。应理解对USB的参考是示例性的,可使用其他类型的接口,包括但不限于FireWire、Lightning以及诸如HDMI和DVI的其他电缆连接标准。
图1的可佩戴虚拟现实系统100包括无线通信接口130。无线通信接口130可用于与外部计算装置110无线通信。无线通信接口130可用于与其他可佩戴计算装置100无线通信。无线通信接口130可使用通过诸如因特网的基于分组的网络支持双向数据交换的任何数量的无线通信标准。示例性通信标准包括CDMA、GSM/GPRS、4G蜂窝、WiMAX、LTE以及802.11(WiFi)。
可佩戴虚拟现实系统100可包括三维轴线陀螺仪140、加速度计150以及磁力仪160中的一个或多个陀螺仪140可用于基于角动量原理测量取向。加速度计150可用于检测作为矢量的加速度的大小和方向。这个结果可用于感测因重量方向改变的取向、与重力或与重力的变化相关的坐标加速度,和振动、震动以及通过恰当的加速度改变而在电阻介质中的下落。磁力仪160可用于识别相对于可佩戴虚拟现实系统100的磁场中的干扰。磁力仪160可有助于为GPS和罗盘应用识别真北方向以及有助于无触摸或无照相机的手势输入。通过使用前述生成的数据,可计算相对于地面无漂移的绝对头标取向追踪。延迟追踪可以大约1000Hz操作以便减少反应时间并且增加感知现实性。可佩戴虚拟现实系统100的显示器可被调整以允许单个显示器更远离或更靠近佩戴者的眼睛移动。
可佩戴虚拟现实系统100可通过执行存储在数据存储装置170中的非暂态计算机可读指令来操作,其中执行通过操作处理器180来发生。尽管图1将数据存储装置170和处理器180示出为存在于可佩戴虚拟现实系统100处,但此类元件可位于外部计算装置110中或者在一些实例中,可执行的操作分布在二者之间。处理器180和数据存储装置170处的可执行指令还可控制USB接口120、无线接口130、陀螺仪140、加速度计150以及磁力仪160的各个方面。
图2A示出使佩戴者完全沉浸在虚拟现实环境中的HMD 200。尽管图2A示出为沉浸式护目镜,但其他形状因素是可能且可设想的。图2A中的元件的操作与图2B情况下所讨论的元件的操作一样。图2A包括允许可佩戴虚拟现实系统100(包括HMD 200)定位在佩戴者头上的头戴式支撑件210。HMD 200还包括可以是如上所述的LCD或LCOS构造的镜片显示器220A和220B。镜片显示器220A和220B可以是可佩戴虚拟现实系统100的集成部分。
可佩戴虚拟现实系统100的制造可允许如图1所示的那些部件的部件和待内部集成的各种部件互连器集成。其他部件可位于可佩戴虚拟现实系统100的外部,以允许更方便访问或物理连接到外部计算装置110。可佩戴虚拟现实系统100的一个实施方案可包括麦克风以允许与使用可佩戴虚拟现实系统100的其他个体语音通信或者允许对系统100的某些免提控制。
图2B示出允许在维持对现实世界的感知的同时生成虚拟现实信息的HMD 200。通过不使佩戴者完全沉浸在虚拟环境的限制中(即,仍然可以看到并且感知现实世界)来提供这种双重感知。尽管图2B的HMD 200示出为简单的带,但其他形状因素是可能且可设想的。图2B上的元件的操作与图2A情况下所讨论的元件的操作一样。
图3示出在HMD 200的镜片显示器200上显示的示例性导航菜单300。导航菜单300可包括任何各种视觉元件,所述视觉元件包括虚拟按钮310、滚动条320、按键330或者用于从用户接收输入的任何其他已知元件。导航菜单300可依据一个或多个控制指令被限定,所述一个或多个控制指令用于控制在虚拟的可佩戴系统100上执行的软件应用。导航菜单300的特定视觉元件,诸如虚拟按钮310可与特定控制指令相关联,使得虚拟按钮的激活可导致它的相关联控制指令被实现。
如上所述,可佩戴虚拟现实系统100包括轴线转向仪140、加速度计150以及磁力仪160中的一个或多个。由上述部件中的一个或多个生成的数据可转化成对来自导航菜单300的一个或多个视觉元件的选择或操纵并且由HMD 200显示。例如,通过用户在佩戴着可佩戴虚拟现实系统100时移动其头部,可使用陀螺仪140、加速度计150以及磁力仪160来识别空间中的点以便以类似于在由台式计算机背景中生成的二维空间中的鼠标指针的方式在三维空间中创建焦点340。焦点或指针340可但是并非必需地相对于HDM 200的镜片220来对应来自用户眼睛的视线350(见图3的插图)。
通过在特定时间段内在导航菜单300的各种视觉元件上校准焦点340并且维持焦点/指针340在特定视觉元件(例如,虚拟按钮310)上的位置,可实现聚焦元件的功能。对于焦点340来说,仅在虚拟按钮310上追踪而不是在预限定时间段(例如,三秒)内在虚拟按钮310或与虚拟按钮310相关联的区域上保持固定,可能是不足的。预限定时间段可由转件应用的开发商设定或者通过用户偏好选项控制,所述用户偏好选项在可佩戴虚拟现实系统100或系统100的用户的应用软件中改变。
图4A-4C示出使用焦点来实现导航菜单中的视觉元件。具体地,图4A示出尚未固定在导航菜单中的元件310上的焦点340。同样,虚拟按钮的对应操作尚未激活。如图4A所示,焦点340包括相关联的区域420,所述区域420扩展在特定点或与所述点相关联的区域上维持焦点340的效果。尽管图4A中示出为圆形,但相关联区域420还可以是方形、矩形或扩展焦点340的操作范围的任何形状或配置。焦点340的相关联区域420对于用户来说可以是可见的、半透明的或不可见的。在为可见或半透明的实例中的相关联区域420可以是使所述区域与显示在镜片220上的虚拟环境的背景区分开的颜色,使得用户对焦点340和相关联区域420的范围具有清晰理解。
虚拟按钮310还可具有如同焦点340的区域一样的相关联区域(410)。如同焦点340及其相关联区域420,区域可以是与虚拟按钮340或在HMD 200的镜片220上显示的虚拟环境不同的形状、尺寸、颜色或可见性或透明性。虚拟按钮310的相关联区域410以及焦点340的相关联区域420每一个均可由开发商、默认值或用户设置单独地控制,所述用户设置可通过用户设置菜单(未示出)改变。可控制的功能包括形状、尺寸、可见性、透明性以及上述的需要激活虚拟菜单300的功能的固定时间段。
图4B示出与焦点420相关联与虚拟按钮410重叠的区域420,所述区域420实现导航菜单300中的视觉元件并且激活虚拟按钮310的对应功能。与图4A相比较,图4B示出与焦点340相关联并且虚拟按钮310现在重叠如加亮区域430中所示的区域。尽管图4B用图形示出加亮区域,但这是为了便于说明。不需要加亮区域430出现在镜片220上,但是这可以是可用于由用户和/或应用开发商配置的设置。由于与焦点340相关联并且虚拟按钮310现在重叠的区域,虚拟按钮310的相关联功能将在预限定的固定时间到期时被实现,所述预限定的固定时间的消耗可由内部时钟功能控制,所述内部时钟功能通过基于处理器地执行负责菜单300的控制且维持在数据存储装置170中的软件来实现。这种内部时钟功能可被激活来从预限定的时间段倒计时或数到预限定的时间段。此类计时可被设定成仅在焦点340与菜单导航元件310(或与其相关联的区域410和420)之间有重叠时发生。同样,如果在预限定的时间段到期之前焦点340移动远离,那么功能不会被激活。
图4C示出使用焦点来启用在导航菜单中的视觉元件由此焦点直接激活虚拟按钮的对应功能。与图4B不同,虚拟按钮310和焦点340的相关联区域410和420没有被使用。在图4C中,焦点340直接固定在虚拟按钮310上。在所需固定时间段到期时,所述按钮的相关联功能将被实现。
图5示出用于VR环境中的菜单选择的示例性方法500,所述方法500可通过由处理器180执行存储在存储器170中的指令来实现。图5的方法500可体现为包含在非暂态计算机可读存储介质中的可执行指令,所述计算机可读存储介质包括但不限于CD、DVD或如硬盘驱动器的非易失性存储器。存储介质的指令可由一个处理器(或多个处理器)执行,以致使托管或另外访问存储介质的计算装置的各种硬件部件来实现所述方法。图5中所示的步骤(及其次序)是示例性的并且可包括各种替代物、等效物或其衍生物,其包括但不限于它们的执行次序。
在步骤510中,可基于可佩戴VR系统100的佩戴者头部的运动生成位置数据。位置数据可由陀螺仪140、加速度计150以及磁力仪160中的一个或多个生成。
由上述部件中的一个或多个生成的数据可被转化成步骤520处的焦点或指针340的位置数据。焦点或指针340的位置可显示在来自导航菜单300的一个或多个视觉元件的背景中并且由HMD 200显示。
在步骤530处,做出关于焦点或指针340当前是否定位在按钮或来自导航菜单300的其他元件上的确定。如果已经从未定位在来自导航菜单300的元件上的焦点或指针340的位置分析中作出确定,那么需在步骤540处进一步确定与焦点或指针相关联的区域是否位于来自导航菜单300的元件上。如果在步骤540中已经确定焦点或指针的相关联区域不位于来自导航菜单的元件上,那么需在步骤550处进一步确定焦点的相关联区域是否与元件的相关联区域重叠。如果步骤550处的确定保持为否—如图4A所示—那么分别在步骤510和520处继续位置数据生成和对焦点位置的追踪。
如果步骤530处的确定为是(如对应于图4C)或着步骤540确定为是(如对应于图4B),那么在步骤560处固定计时器开始执行以确定在预定时间段内焦点及其相关联区域是否保持在导航菜单元件上从而调用与按钮或其他元件相关联的任何功能。随着计时器倒计时(或计时)所述预定固定时间,在步骤570处继续同时地做出关于所述焦点或其相关联区域是否在相对于导航菜单运动的确定。如果所述焦点或相关联区域已经改变使得步骤530、540或550的确定将显示为“否”(即,运动显示为‘是’),那么计时器停止并且分别在步骤510和520处继续位置数据生成和焦点追踪。在所需固定时间到期之前位置的改变与系统100的用户或佩戴者的意图相关以不调用任何对应的菜单功能。
然而如果步骤570处关于焦点的运动的确定为“否”,那么在步骤580处做出关于步骤580处的预定时间段到期的进一步确定。如果预定时间段尚未计时或倒计时,那么由步骤560、570和580构成的循环继续直到已实现固定时间段到期,这时菜单的对应功能在步骤590处执行并且方法500结束。
本发明可在使用多种装置能够运行的应用中被实现。非暂态计算机可读存储介质是指参与将指令提供给中央处理器(CPU)以进行执行的任何介质或介质。此类介质可采取许多形式,包括但不限于:非易失性和易失性介质,分别如光盘或磁盘,以及动态存储器。非暂态计算机可读介质的常见形式包括:例如软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM光盘、数字视频光盘(DVD)、任何其他光学介质、RAM、PROM、EPROM、FLASHEPROM以及任何其他存储芯片或盒式磁盘。
各种形式的传输介质可参与将一个或多个指令的一个或多个序列运送至CPU以进行执行。总线将数据运送至系统RAM,CPU从所述系统RAM中检索并执行指令。系统RAM接收的指令可任选地在CPU执行之前或之后被存储在固定盘上。同样地,可实施各种形式的存储,以及必要的网络接口和网络拓扑以实现相同的目的。
尽管上文已描述了各种实施方案,但应了解所述实施方案仅是以举例的方式呈现而不具限制性。本说明书并不意图将本发明的范围限制于本文所述的特定形式。因此,优选实施方案的广度和范围不应受任何上述示例性实施方案的限制。应了解以上描述是说明性的而不是限制性的。相反地,本说明书意图涵盖可包含在如所附权利要求限定的和以其他方式由本领域普通技术人员所理解的本发明的精神和范围内的此类替代、修改和等效物。因此,不应参照上面的描述来确定本发明的范围,而是应参照所附的权利要求和其等效物的全部范围来确定本发明的范围。
Claims (19)
1.一种用于头戴式显示器中的菜单导航的方法,所述方法包括:
生成所述头戴式显示器的位置数据;
显示虚拟环境,所述虚拟环境包括所述头戴式显示器的焦点;
追踪所述头戴式显示器的所显示焦点的位置,其中所显示焦点的所述位置在所述虚拟环境内显示的一个或多个视觉元件上移动;
确定所显示焦点在所述虚拟环境中的所显示菜单导航元件的操作范围内,其中所显示菜单导航元件的所述操作范围包括在所显示菜单导航元件周围延伸的相关联区域,并且其中确定所述焦点在所显示菜单导航的所述操作范围内包括确定所述焦点在所述相关联区域内;
执行对应于所显示菜单导航元件的固定计时器,其中当所显示焦点在所显示菜单导航元件的所述操作范围内时所述固定计时器倒计时预定时间量,并且其中当所显示焦点移出所显示菜单导航元件的所述操作范围时所述固定计时器停止计时;以及
在如由所述固定计时器指示的所述预定时间量到期时,实现所显示菜单导航元件的对应功能。
2.如权利要求1所述的方法,其中生成所述位置数据包括处理来自陀螺仪的数据。
3.如权利要求1所述的方法,其中生成位置数据包括处理来自加速度计的数据。
4.如权利要求1所述的方法,其中生成位置数据包括处理来自磁力仪的数据。
5.如权利要求1所述的方法,其中所述焦点包括所述焦点周围的相关联区域,并且其中确定所述焦点在所述菜单导航的所述操作范围内包括确定所述相关联区域在所述菜单导航元件的所述操作范围内。
6.如权利要求1所述的方法,其中所述焦点和所述菜单导航元件每一个均包括相关联区域,并且其中确定所述焦点在所述菜单导航的所述操作范围内包括确定所述焦点的所述相关联区域和所述菜单导航元件的所述相关联区域重叠。
7.如权利要求1所述的方法,其中执行对应于所述导航元件的所述固定计时器包括确定自所述固定计时器开始执行时所述焦点是否已移出所述操作范围。
8.如权利要求7所述的方法,其中执行对应于所述导航元件的所述固定计时器还包括确认所述焦点保持在所述菜单导航元件的所述操作范围内。
9.如权利要求7所述的方法,其中执行对应于所述导航元件的所述固定计时器还包括确认与所述焦点相关联的区域保持在所述菜单导航元件的所述操作范围内。
10.如权利要求7所述的方法,其中执行对应于所述导航元件的所述固定计时器还包括确认与所述焦点相关联的区域继续和与所述菜单导航元件相关联的区域重叠。
11.如权利要求1所述的方法,其还包括在所述计时器的所述执行期间改变所述焦点的外观。
12.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变所述导航元件的外观。
13.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变与所述焦点相关联的区域的外观。
14.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变与所述导航元件相关联的区域的外观。
15.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变所述焦点和所述导航元件的外观。
16.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变所述焦点和与所述导航元件相关联的区域的外观。
17.如权利要求1所述的方法,其还包括在所述计时器的执行期间改变与所述焦点相关联的区域和所述导航元件的外观。
18.一种具有在其上实施的程序的非暂态计算机可读存储介质,所述程序可由处理器执行以执行用于头戴式显示器中的菜单导航的方法,所述方法包括:
生成所述头戴式显示器的位置数据;
显示虚拟环境,所述虚拟环境包括所述头戴式显示器的焦点;
追踪所述头戴式显示器的所显示焦点的位置,其中所显示焦点的所述位置在所述虚拟环境内显示的一个或多个视觉元件上移动;
确定所显示焦点在所述虚拟环境中的所显示菜单导航元件的操作范围内,其中所显示菜单导航元件的所述操作范围包括在所显示菜单导航元件周围延伸的相关联区域,并且其中确定所述焦点在所显示菜单导航的所述操作范围内包括确定所述焦点在所述相关联区域内;
执行对应于所显示菜单导航元件的固定计时器,其中当所显示焦点在所显示菜单导航元件的所述操作范围内时所述固定计时器倒计时预定时间量,并且其中当所显示焦点移出所显示菜单导航元件的所述操作范围时所述固定计时器停止计时;以及
在如由所述固定计时器指示的所述预定时间量到期时,实现所显示菜单导航元件的对应功能。
19.一种用于菜单导航的系统,所述系统包括:
生成位置数据的陀螺仪、磁力仪以及加速度计中的至少一个;
头戴式显示器,其包括至少一个镜片来显示虚拟环境,所述虚拟环境包括焦点和菜单导航元件;
处理器,其执行存储在存储器中的指令来:
处理所述位置数据以追踪所述头戴式显示器的所显示焦点的位置,其中所显示焦点的所述位置在所述虚拟环境内显示的一个或多个视觉元件上移动;
确定所显示焦点在所述虚拟环境中的所显示菜单导航元件的操作范围内,其中所显示菜单导航元件的所述操作范围包括在所显示菜单导航元件周围延伸的相关联区域,并且其中确定所述焦点在所显示菜单导航的所述操作范围内包括确定所述焦点在所述相关联区域内;
执行对应于所显示菜单导航元件的固定计时器,其中当所显示焦点在所显示菜单导航元件的所述操作范围内时所述固定计时器倒计时预定时间量,并且其中当所显示焦点移出所显示菜单导航元件的所述操作范围时所述固定计时器停止计时;以及
在如由所述固定计时器指示的所述预定时间量到期时,实现所显示菜单导航元件的对应功能。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461931582P | 2014-01-25 | 2014-01-25 | |
US61/931,582 | 2014-01-25 | ||
US14/283,032 | 2014-05-20 | ||
US14/283,032 US9588343B2 (en) | 2014-01-25 | 2014-05-20 | Menu navigation in a head-mounted display |
PCT/US2015/010990 WO2015112359A1 (en) | 2014-01-25 | 2015-01-12 | Menu navigation in a head-mounted display |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106471420A CN106471420A (zh) | 2017-03-01 |
CN106471420B true CN106471420B (zh) | 2019-04-23 |
Family
ID=53678875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580005815.1A Active CN106471420B (zh) | 2014-01-25 | 2015-01-12 | 头戴式显示器中的菜单导航 |
Country Status (10)
Country | Link |
---|---|
US (4) | US9588343B2 (zh) |
EP (1) | EP3097449A4 (zh) |
JP (3) | JP2017510877A (zh) |
KR (3) | KR102235410B1 (zh) |
CN (1) | CN106471420B (zh) |
BR (1) | BR112016017179A2 (zh) |
CA (1) | CA2937880C (zh) |
MX (1) | MX359046B (zh) |
RU (1) | RU2642545C1 (zh) |
WO (1) | WO2015112359A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11809679B2 (en) | 2013-03-15 | 2023-11-07 | Sony Interactive Entertainment LLC | Personal digital assistance and virtual reality |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
US20140280505A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality interaction with 3d printing |
US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
US9588343B2 (en) | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
US9437159B2 (en) | 2014-01-25 | 2016-09-06 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
US10585485B1 (en) | 2014-11-10 | 2020-03-10 | Amazon Technologies, Inc. | Controlling content zoom level based on user head movement |
KR102450416B1 (ko) * | 2015-11-04 | 2022-10-05 | 삼성전자주식회사 | 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법 |
US10586391B2 (en) | 2016-05-31 | 2020-03-10 | Accenture Global Solutions Limited | Interactive virtual reality platforms |
KR102632795B1 (ko) | 2016-09-21 | 2024-02-02 | 삼성전자주식회사 | 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치 |
US20180096506A1 (en) | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
US20180095635A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
CN106951153B (zh) * | 2017-02-21 | 2020-11-20 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
CN106924970B (zh) * | 2017-03-08 | 2020-07-07 | 网易(杭州)网络有限公司 | 虚拟现实系统、基于虚拟现实的信息显示方法及装置 |
WO2018200449A1 (en) * | 2017-04-24 | 2018-11-01 | Siemens Aktiengesellschaft | Unlocking passwords in augmented reality based on look |
CN107368184B (zh) | 2017-05-12 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 一种虚拟现实场景中的密码输入方法和装置 |
US10747386B2 (en) * | 2017-06-01 | 2020-08-18 | Samsung Electronics Co., Ltd. | Systems and methods for window control in virtual reality environment |
JP6312184B2 (ja) * | 2017-10-25 | 2018-04-18 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
CN108010394B (zh) * | 2017-12-20 | 2020-11-03 | 杭州埃欧哲建设工程咨询有限公司 | 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统 |
US11188144B2 (en) | 2018-01-05 | 2021-11-30 | Samsung Electronics Co., Ltd. | Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device |
US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
WO2020084625A1 (en) | 2018-10-25 | 2020-04-30 | Beyeonics Surgical Ltd. | Ui for head mounted display system |
CN114003123A (zh) * | 2020-07-28 | 2022-02-01 | 华为技术有限公司 | 控件移动方法和电子设备 |
RU2747861C1 (ru) * | 2020-09-17 | 2021-05-17 | Общество с ограниченной ответственностью "МедВиар" | Способ и система для ведения диалогов с виртуальными персонажами в виртуальной среде |
US11183049B1 (en) * | 2021-01-22 | 2021-11-23 | International Business Machines Corporation | Monitoring and instigating shifts in visual focus |
US11586286B1 (en) | 2022-05-18 | 2023-02-21 | Bank Of America Corporation | System and method for navigating on an augmented reality display |
US11720380B1 (en) | 2022-05-18 | 2023-08-08 | Bank Of America Corporation | System and method for updating augmented reality navigation instructions based on a detected error |
KR102592197B1 (ko) | 2023-05-18 | 2023-10-20 | 주식회사 미주산업 | 비전인식기반 조선기자재 철의장품 형상조립 및 용접 자동화 시스템 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102566756A (zh) * | 2010-12-16 | 2012-07-11 | 微软公司 | 用于扩展现实显示的基于理解力和意图的内容 |
Family Cites Families (156)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3883237A (en) * | 1972-08-03 | 1975-05-13 | Gates Rubber Co | Panoramic image reproducing apparatus |
US5258785A (en) * | 1991-06-25 | 1993-11-02 | Dawkins Jr Douglas R | Close-view data display implant for sporting eyewear |
US5757358A (en) * | 1992-03-31 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback |
US5585871A (en) * | 1995-05-26 | 1996-12-17 | Linden; Harry | Multi-function display apparatus |
US8330812B2 (en) * | 1995-05-30 | 2012-12-11 | Simulated Percepts, Llc | Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame |
US6282362B1 (en) | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
JPH09167253A (ja) * | 1995-12-14 | 1997-06-24 | Olympus Optical Co Ltd | 映像表示装置 |
US6084979A (en) | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
GB2314664A (en) * | 1996-06-27 | 1998-01-07 | Sharp Kk | Address generator,display and spatial light modulator |
JPH10222287A (ja) * | 1997-02-10 | 1998-08-21 | Sony Corp | 情報入力装置 |
JPH1195971A (ja) * | 1997-09-24 | 1999-04-09 | Sharp Corp | ユーザインタフェースシステム |
US5982555A (en) | 1998-01-20 | 1999-11-09 | University Of Washington | Virtual retinal display with eye tracking |
US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
US6415316B1 (en) | 1998-09-01 | 2002-07-02 | Aidministrator Nederland B.V. | Method and apparatus for implementing a web page diary |
JP2002525769A (ja) * | 1998-09-22 | 2002-08-13 | ヴェガ ヴィスタ インコーポレイテッド | 携帯型データディスプレイの直接的コントロール方法 |
US6345129B1 (en) * | 1999-02-03 | 2002-02-05 | Oren Aharon | Wide-field scanning tv |
US6315273B1 (en) * | 1999-05-27 | 2001-11-13 | Lionel Davies | Gas and liquid contact apparatus: illuminated |
US20020038456A1 (en) | 2000-09-22 | 2002-03-28 | Hansen Michael W. | Method and system for the automatic production and distribution of media content using the internet |
US20020083134A1 (en) | 2000-12-22 | 2002-06-27 | Bauer Kirk Wayne | Method and system of collaborative browsing |
US20020171690A1 (en) * | 2001-05-15 | 2002-11-21 | International Business Machines Corporation | Method and system for scaling a graphical user interface (GUI) widget based on selection pointer proximity |
US7100190B2 (en) | 2001-06-05 | 2006-08-29 | Honda Giken Kogyo Kabushiki Kaisha | Automobile web cam and communications system incorporating a network of automobile web cams |
US7970240B1 (en) | 2001-12-17 | 2011-06-28 | Google Inc. | Method and apparatus for archiving and visualizing digital images |
JP2003280805A (ja) * | 2002-03-26 | 2003-10-02 | Gen Tec:Kk | データ入力装置 |
US7921357B2 (en) * | 2002-05-23 | 2011-04-05 | Lebow David G | Highlighting comparison method |
US8120624B2 (en) * | 2002-07-16 | 2012-02-21 | Noregin Assets N.V. L.L.C. | Detail-in-context lenses for digital image cropping, measurement and online maps |
CA2406131A1 (en) * | 2002-09-30 | 2004-03-30 | Idelix Software Inc. | A graphical user interface using detail-in-context folding |
US8458028B2 (en) | 2002-10-16 | 2013-06-04 | Barbaro Technologies | System and method for integrating business-related content into an electronic game |
JP2004233867A (ja) * | 2003-01-31 | 2004-08-19 | Nikon Corp | 画像表示装置 |
US9607092B2 (en) | 2003-05-20 | 2017-03-28 | Excalibur Ip, Llc | Mapping method and system |
US7467356B2 (en) | 2003-07-25 | 2008-12-16 | Three-B International Limited | Graphical user interface for 3d virtual display browser using virtual display windows |
US7667700B1 (en) | 2004-03-05 | 2010-02-23 | Hrl Laboratories, Llc | System and method for navigating operating in a virtual environment |
EP1751499B1 (en) * | 2004-06-03 | 2012-04-04 | Making Virtual Solid, L.L.C. | En-route navigation display method and apparatus using head-up display |
SE0401582L (sv) * | 2004-06-18 | 2005-05-10 | Totalfoersvarets Forskningsins | Interaktivt förfarande för att presentera information i en bild |
US7567241B2 (en) | 2004-08-03 | 2009-07-28 | Silverbrook Research Pty Ltd | Stylus with customizable appearance |
US7949642B2 (en) | 2004-10-12 | 2011-05-24 | Wendy W Yang | System and method for managing and presenting entity information |
JP2006320706A (ja) * | 2004-12-03 | 2006-11-30 | Shinsedai Kk | ボクシングゲーム方法、表示制御方法、位置決定方法、カーソル制御方法、消費エネルギー算出方法及びエクササイズ・システム |
US7298378B1 (en) | 2004-12-13 | 2007-11-20 | Hagenbuch Andrew M | Virtual reality universe realized as a distributed location network |
EP1679577A1 (en) * | 2005-01-10 | 2006-07-12 | Tobii Technology AB | Adaptive display of eye controllable objects |
US8140197B2 (en) * | 2005-02-17 | 2012-03-20 | Lumus Ltd. | Personal navigation system |
US7933929B1 (en) | 2005-06-27 | 2011-04-26 | Google Inc. | Network link for providing dynamic data layer in a geographic information system |
WO2007027847A2 (en) | 2005-09-01 | 2007-03-08 | Geosim Systems Ltd. | System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments |
US7529772B2 (en) | 2005-09-27 | 2009-05-05 | Scenera Technologies, Llc | Method and system for associating user comments to a scene captured by a digital imaging device |
US7836437B2 (en) | 2006-02-10 | 2010-11-16 | Microsoft Corporation | Semantic annotations for virtual objects |
US8725729B2 (en) * | 2006-04-03 | 2014-05-13 | Steven G. Lisa | System, methods and applications for embedded internet searching and result display |
US7928926B2 (en) | 2006-06-27 | 2011-04-19 | Panasonic Corporation | Display apparatus and method for hands free operation that selects a function when window is within field of view |
US20080106489A1 (en) * | 2006-11-02 | 2008-05-08 | Brown Lawrence G | Systems and methods for a head-mounted display |
US9555334B2 (en) | 2006-12-13 | 2017-01-31 | Qualcomm Incorporated | System and method for managing virtual worlds mapped to real locations in a mobile-enabled massively multiplayer online role playing game (MMORPG) |
US20080155019A1 (en) | 2006-12-20 | 2008-06-26 | Andrew Wallace | System, apparatus and method to facilitate interactions between real world and proprietary environments |
US8239487B1 (en) | 2007-05-30 | 2012-08-07 | Rocketon, Inc. | Method and apparatus for promoting desired on-line activities using on-line games |
US8583915B1 (en) | 2007-05-31 | 2013-11-12 | Bby Solutions, Inc. | Security and authentication systems and methods for personalized portable devices and associated systems |
US8600808B2 (en) | 2007-06-07 | 2013-12-03 | Qurio Holdings, Inc. | Methods and systems of presenting advertisements in consumer-defined environments |
WO2009040675A2 (en) | 2007-09-24 | 2009-04-02 | View22 Technology Inc. | Facilitating electronic commerce via a 3d virtual environment |
US20090106672A1 (en) | 2007-10-18 | 2009-04-23 | Sony Ericsson Mobile Communications Ab | Virtual world avatar activity governed by person's real life activity |
US20100259471A1 (en) | 2007-11-16 | 2010-10-14 | Nikon Corporation | Control device, head-mount display device, program, and control method |
US20090263777A1 (en) * | 2007-11-19 | 2009-10-22 | Kohn Arthur J | Immersive interactive environment for asynchronous learning and entertainment |
US20090271436A1 (en) | 2008-04-23 | 2009-10-29 | Josef Reisinger | Techniques for Providing a Virtual-World Object Based on a Real-World Object Description |
KR20100009947A (ko) * | 2008-07-21 | 2010-01-29 | 삼성전자주식회사 | 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법 |
US9318026B2 (en) | 2008-08-21 | 2016-04-19 | Lincoln Global, Inc. | Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment |
US8108778B2 (en) | 2008-09-30 | 2012-01-31 | Yahoo! Inc. | System and method for context enhanced mapping within a user interface |
CA2674663A1 (en) * | 2008-10-08 | 2010-04-08 | Research In Motion Limited | A method and handheld electronic device having dual mode touchscreen-based navigation |
US20100102476A1 (en) | 2008-10-29 | 2010-04-29 | Higgins Michael H | Method for manufacturing raised relief maps |
US20100110069A1 (en) * | 2008-10-31 | 2010-05-06 | Sharp Laboratories Of America, Inc. | System for rendering virtual see-through scenes |
US9472014B2 (en) | 2008-12-19 | 2016-10-18 | International Business Machines Corporation | Alternative representations of virtual content in a virtual universe |
FR2942091A1 (fr) | 2009-02-10 | 2010-08-13 | Alcatel Lucent | Communication multimedia dans un environnement virtuel |
US20100208029A1 (en) * | 2009-02-13 | 2010-08-19 | Samsung Electronics Co., Ltd | Mobile immersive display system |
US20100238161A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
KR20100113704A (ko) * | 2009-04-14 | 2010-10-22 | 삼성전자주식회사 | 아이템 선택 방법 및 장치 |
JP2011039438A (ja) | 2009-08-18 | 2011-02-24 | Fujitsu Ltd | 電子機器および表示制御方法 |
US8392839B2 (en) | 2009-08-27 | 2013-03-05 | International Business Machines Corporation | System and method for using partial teleportation or relocation in virtual worlds |
US20110153435A1 (en) * | 2009-09-17 | 2011-06-23 | Lexos Media Inc. | System and method of cursor-based content delivery |
US9254438B2 (en) | 2009-09-29 | 2016-02-09 | International Business Machines Corporation | Apparatus and method to transition between a media presentation and a virtual environment |
US9256347B2 (en) | 2009-09-29 | 2016-02-09 | International Business Machines Corporation | Routing a teleportation request based on compatibility with user contexts |
US8175734B2 (en) | 2009-10-08 | 2012-05-08 | 3D M. T. P. Ltd. | Methods and system for enabling printing three-dimensional object models |
WO2011097762A1 (en) | 2010-02-12 | 2011-08-18 | Thomson Licensing | Method for synchronized content playback |
KR20110094693A (ko) * | 2010-02-17 | 2011-08-24 | 삼성전자주식회사 | 사용자 인터페이스 제공 장치 및 방법 |
US20110214071A1 (en) | 2010-02-26 | 2011-09-01 | University Of Southern California | Information channels in mmogs |
US20120194552A1 (en) * | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses with predictive control of external device based on event input |
US20120194418A1 (en) * | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses with user action control and event input based control of eyepiece application |
US20140063054A1 (en) | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific control interface based on a connected external device type |
US20140063055A1 (en) | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific user interface and control interface based on a connected external device type |
JP5223062B2 (ja) | 2010-03-11 | 2013-06-26 | 株式会社ジオ技術研究所 | 3次元地図描画システム |
JP5143856B2 (ja) | 2010-04-16 | 2013-02-13 | 株式会社ソニー・コンピュータエンタテインメント | 3次元画像表示装置、および3次元画像表示方法 |
US8797380B2 (en) | 2010-04-30 | 2014-08-05 | Microsoft Corporation | Accelerated instant replay for co-present and distributed meetings |
US20110279445A1 (en) | 2010-05-16 | 2011-11-17 | Nokia Corporation | Method and apparatus for presenting location-based content |
US8694553B2 (en) | 2010-06-07 | 2014-04-08 | Gary Stephen Shuster | Creation and use of virtual places |
US20110313779A1 (en) | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Augmentation and correction of location based data through user feedback |
US8521526B1 (en) | 2010-07-28 | 2013-08-27 | Google Inc. | Disambiguation of a spoken query term |
US9378296B2 (en) | 2010-08-24 | 2016-06-28 | International Business Machines Corporation | Virtual world construction |
US9316827B2 (en) * | 2010-09-20 | 2016-04-19 | Kopin Corporation | LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking |
US9317133B2 (en) | 2010-10-08 | 2016-04-19 | Nokia Technologies Oy | Method and apparatus for generating augmented reality content |
US9632315B2 (en) * | 2010-10-21 | 2017-04-25 | Lockheed Martin Corporation | Head-mounted display apparatus employing one or more fresnel lenses |
KR20120046973A (ko) * | 2010-11-03 | 2012-05-11 | 삼성전자주식회사 | 움직임 정보 생성 방법 및 장치 |
US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US9304319B2 (en) * | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
EP2649782A2 (en) | 2010-12-10 | 2013-10-16 | Yota Devices IPR Ltd | Mobile device with user interface |
US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
US8803912B1 (en) | 2011-01-18 | 2014-08-12 | Kenneth Peyton Fouts | Systems and methods related to an interactive representative reality |
US20120188148A1 (en) | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
RU111703U1 (ru) | 2011-02-08 | 2011-12-20 | Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) | Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле |
WO2012107892A2 (en) * | 2011-02-09 | 2012-08-16 | Primesense Ltd. | Gaze detection in a 3d mapping environment |
KR20130136566A (ko) | 2011-03-29 | 2013-12-12 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
US20120249480A1 (en) * | 2011-03-31 | 2012-10-04 | Smart Technologies Ulc | Interactive input system incorporating multi-angle reflecting structure |
US9154826B2 (en) | 2011-04-06 | 2015-10-06 | Headwater Partners Ii Llc | Distributing content and service launch objects to mobile devices |
US9043325B1 (en) | 2011-06-24 | 2015-05-26 | Google Inc. | Collecting useful user feedback about geographical entities |
US9727132B2 (en) | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US8223024B1 (en) | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
US8847988B2 (en) | 2011-09-30 | 2014-09-30 | Microsoft Corporation | Exercising applications for personal audio/visual system |
US9128520B2 (en) | 2011-09-30 | 2015-09-08 | Microsoft Technology Licensing, Llc | Service provision using personal audio/visual system |
US9081177B2 (en) * | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US8970452B2 (en) * | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
US20130117707A1 (en) * | 2011-11-08 | 2013-05-09 | Google Inc. | Velocity-Based Triggering |
US9311883B2 (en) | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
US20130125066A1 (en) * | 2011-11-14 | 2013-05-16 | Microsoft Corporation | Adaptive Area Cursor |
US8866852B2 (en) * | 2011-11-28 | 2014-10-21 | Google Inc. | Method and system for input detection |
US9213185B1 (en) * | 2012-01-06 | 2015-12-15 | Google Inc. | Display scaling based on movement of a head-mounted display |
US8908914B2 (en) | 2012-01-17 | 2014-12-09 | Maxlinear, Inc. | Method and system for map generation for location and navigation with user sharing/social networking |
US20130191178A1 (en) | 2012-01-25 | 2013-07-25 | Predictive Edge Technologies, Llc | System and method for secure registration, authentication, valuation and exchange of virtual goods and objects |
US20130194389A1 (en) * | 2012-01-31 | 2013-08-01 | Ben Vaught | Head-mounted display device to measure attentiveness |
JP5880115B2 (ja) | 2012-02-17 | 2016-03-08 | ソニー株式会社 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 |
US20130227017A1 (en) | 2012-02-24 | 2013-08-29 | Steven Antony Gahlings | Location associated virtual interaction, virtual networking and virtual data management |
US8737767B2 (en) | 2012-02-28 | 2014-05-27 | Disney Enterprises, Inc. | Perceptually guided capture and stylization of 3D human figures |
US20130246967A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Head-Tracked User Interaction with Graphical Interface |
US20130241805A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Using Convergence Angle to Select Among Different UI Elements |
US9096920B1 (en) * | 2012-03-22 | 2015-08-04 | Google Inc. | User interface method |
US20130263016A1 (en) | 2012-03-27 | 2013-10-03 | Nokia Corporation | Method and apparatus for location tagged user interface for media sharing |
US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
JP2013258614A (ja) | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
US9389420B2 (en) * | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
TW201351963A (zh) | 2012-06-15 | 2013-12-16 | Hon Hai Prec Ind Co Ltd | 虛擬環境中的影像播放方法及系統 |
US9219901B2 (en) | 2012-06-19 | 2015-12-22 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
US9669296B1 (en) | 2012-07-31 | 2017-06-06 | Niantic, Inc. | Linking real world activities with a parallel reality game |
US20140101608A1 (en) * | 2012-10-05 | 2014-04-10 | Google Inc. | User Interfaces for Head-Mountable Devices |
US9007301B1 (en) * | 2012-10-11 | 2015-04-14 | Google Inc. | User interface |
US20150062114A1 (en) | 2012-10-23 | 2015-03-05 | Andrew Ofstad | Displaying textual information related to geolocated images |
US9710873B1 (en) | 2012-10-26 | 2017-07-18 | Amazon Technologies, Inc. | Point of interest mapping |
US20140164921A1 (en) | 2012-12-07 | 2014-06-12 | Robert Salinas | Methods and Systems of Augmented Reality on Mobile Devices |
US9607011B2 (en) | 2012-12-19 | 2017-03-28 | Intel Corporation | Time-shifting image service |
US9285951B2 (en) | 2013-02-14 | 2016-03-15 | Disney Enterprises, Inc. | Avatar personalization in a virtual environment |
US20140280505A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality interaction with 3d printing |
US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
US20140280504A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality universe representation changes viewing based upon client side parameters |
US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
US20140267581A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks |
US9261959B1 (en) * | 2013-03-28 | 2016-02-16 | Google Inc. | Input detection |
US9874749B2 (en) * | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9329682B2 (en) * | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US9563331B2 (en) * | 2013-06-28 | 2017-02-07 | Microsoft Technology Licensing, Llc | Web-like hierarchical menu display configuration for a near-eye display |
JP5825328B2 (ja) * | 2013-11-07 | 2015-12-02 | コニカミノルタ株式会社 | 透過型hmdを有する情報表示システム及び表示制御プログラム |
US9588343B2 (en) | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
US9437159B2 (en) | 2014-01-25 | 2016-09-06 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
US9898078B2 (en) * | 2015-01-12 | 2018-02-20 | Dell Products, L.P. | Immersive environment correction display and method |
US20170090460A1 (en) | 2015-09-25 | 2017-03-30 | Microsoft Technology Licensing, Llc | 3D Model Generation From Map Data |
-
2014
- 2014-05-20 US US14/283,032 patent/US9588343B2/en active Active
-
2015
- 2015-01-12 EP EP15740676.0A patent/EP3097449A4/en not_active Ceased
- 2015-01-12 JP JP2016548227A patent/JP2017510877A/ja active Pending
- 2015-01-12 KR KR1020207007152A patent/KR102235410B1/ko active IP Right Grant
- 2015-01-12 CA CA2937880A patent/CA2937880C/en active Active
- 2015-01-12 WO PCT/US2015/010990 patent/WO2015112359A1/en active Application Filing
- 2015-01-12 MX MX2016009682A patent/MX359046B/es active IP Right Grant
- 2015-01-12 RU RU2016134577A patent/RU2642545C1/ru active
- 2015-01-12 KR KR1020217009255A patent/KR102390549B1/ko active IP Right Grant
- 2015-01-12 KR KR1020167020346A patent/KR102090075B1/ko active IP Right Grant
- 2015-01-12 BR BR112016017179A patent/BR112016017179A2/pt not_active Application Discontinuation
- 2015-01-12 CN CN201580005815.1A patent/CN106471420B/zh active Active
-
2017
- 2017-03-02 US US15/447,342 patent/US10809798B2/en active Active
-
2018
- 2018-06-06 JP JP2018108517A patent/JP6674703B2/ja active Active
-
2020
- 2020-03-05 JP JP2020037787A patent/JP7021274B2/ja active Active
- 2020-07-30 US US16/943,694 patent/US11036292B2/en active Active
-
2021
- 2021-06-15 US US17/348,466 patent/US11693476B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102566756A (zh) * | 2010-12-16 | 2012-07-11 | 微软公司 | 用于扩展现实显示的基于理解力和意图的内容 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11809679B2 (en) | 2013-03-15 | 2023-11-07 | Sony Interactive Entertainment LLC | Personal digital assistance and virtual reality |
Also Published As
Publication number | Publication date |
---|---|
CA2937880C (en) | 2018-01-23 |
WO2015112359A9 (en) | 2016-11-10 |
US20200379556A1 (en) | 2020-12-03 |
US20210357028A1 (en) | 2021-11-18 |
JP2020115352A (ja) | 2020-07-30 |
US11693476B2 (en) | 2023-07-04 |
MX359046B (es) | 2018-09-13 |
US20170242479A1 (en) | 2017-08-24 |
CA2937880A1 (en) | 2015-07-30 |
BR112016017179A2 (pt) | 2017-12-26 |
RU2642545C1 (ru) | 2018-01-25 |
KR102090075B1 (ko) | 2020-03-17 |
US10809798B2 (en) | 2020-10-20 |
JP6674703B2 (ja) | 2020-04-01 |
US11036292B2 (en) | 2021-06-15 |
MX2016009682A (es) | 2017-07-05 |
KR102390549B1 (ko) | 2022-04-26 |
KR20200029631A (ko) | 2020-03-18 |
JP7021274B2 (ja) | 2022-02-16 |
KR20160113614A (ko) | 2016-09-30 |
WO2015112359A1 (en) | 2015-07-30 |
EP3097449A1 (en) | 2016-11-30 |
US9588343B2 (en) | 2017-03-07 |
US20150212322A1 (en) | 2015-07-30 |
KR102235410B1 (ko) | 2021-04-02 |
KR20210037746A (ko) | 2021-04-06 |
CN106471420A (zh) | 2017-03-01 |
JP2017510877A (ja) | 2017-04-13 |
EP3097449A4 (en) | 2017-08-09 |
JP2018190429A (ja) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106471420B (zh) | 头戴式显示器中的菜单导航 | |
US10096167B2 (en) | Method for executing functions in a VR environment | |
CN113168007B (zh) | 用于增强现实的系统和方法 | |
WO2021246134A1 (ja) | デバイス、制御方法及びプログラム | |
Runde | Head Mounted Displays & Data Glasses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |