CN106164993A - 头戴式显示器中的环境中断以及非视野不动产的利用 - Google Patents
头戴式显示器中的环境中断以及非视野不动产的利用 Download PDFInfo
- Publication number
- CN106164993A CN106164993A CN201580005727.1A CN201580005727A CN106164993A CN 106164993 A CN106164993 A CN 106164993A CN 201580005727 A CN201580005727 A CN 201580005727A CN 106164993 A CN106164993 A CN 106164993A
- Authority
- CN
- China
- Prior art keywords
- head mounted
- mounted display
- environment
- data
- position data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims description 17
- 230000006870 function Effects 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 22
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 208000035415 Reinfection Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种可穿戴计算装置包括头戴式显示器(HMD),其生成虚拟现实环境。通过位置数据的生成和追踪,所述虚拟环境可以中断或暂停。在暂停所述环境时,用户便可以访问在所述虚拟环境的正常操作期间无法以其他方式使用的许多辅助菜单和控件。
Description
技术领域
本发明一般来说涉及具有头戴式显示器(HMD)的可穿戴虚拟现实(VR)计算装置。更具体地说,本发明涉及HMD中的视野中的中断操作以及利用HMD中的非视野不动产。
背景技术
可穿戴VR系统集成各种元件,如输入装置、传感器、检测器、图像显示器和无线通信部件以及图像和音频处理器。通过接近于穿戴者的眼睛来安放图像显示元件,可以使得人工图像重叠现实世界的视线或者完全自行建立独立的现实。此类图像显示元件并入到也被称为头戴式显示器(HMD)的系统中。取决于显示元件的大小以及离穿戴者眼睛的距离,在显示器上提供的人工图像可以充满或几乎充满穿戴者的视野。
并入有HMD的VR系统是可移动且轻便的,同时允许与虚拟环境的通信和交互。然而,此类系统一般是不足的,原因在于它们仍需要使用独立控制器来进行虚拟环境的导航。从这个意义来说,大多数HMD不过是允许进入VR环境的护目镜。本领域中需要在不引入独立控制器装置的情况下进行VR环境的导航和控制,尤其是针对以自然和非侵入方式进行的环境中断操作。还需要在所述VR环境中最佳地利用非视野“不动产”。
发明内容
本发明的实施方案包括用于中断头戴式显示器中的虚拟环境的系统和方法。可以存储关于至少一个控制设置的信息,所述至少一个控制设置将功能与头戴式显示器的位置变化相关联。头戴式显示器可以被校准来识别起始位置。追踪头戴式显示器的移动的位置数据可以被生成。头戴式显示器的当前位置可以被确定来指示从起始位置的、超过控制设置的位置变化的变化。然后,可以执行与控制设置相关联的功能,所述功能可以涉及通过暂停环境来中断头戴式显示器中的虚拟环境。
本文主张一种用于中断头戴式显示器中的虚拟环境的方法。此类方法可以包括:存储关于至少一个控制设置的信息,所述至少一个控制设置将功能与头戴式显示器的位置变化相关联;校准头戴式显示器以便识别起始位置;生成位置数据,所述位置数据追踪头戴式显示器的移动;确定头戴式显示器的当前位置指示从起始位置的、超过控制设置的位置变化的变化;以及执行与控制设置相关联的功能,其中所述功能包括通过暂停环境来中断头戴式显示器中的虚拟环境。
其他实施方案包括用于中断头戴式显示器中的虚拟环境的系统。此类系统可以包括:存储器,其存储关于至少一个控制设置的信息,所述至少一个控制设置将功能与头戴式显示器的位置变化相关联;陀螺仪、磁力计和加速度计中的至少一个,其校准头戴式显示器并且生成追踪头戴式显示器的移动的位置数据,其中识别头戴式显示器的起始位置;处理器,其执行存储在存储器中的指令,以便确定头戴式显示器的当前位置指示从起始位置的、超过控制设置的位置变化的变化并且执行与控制设置相关联的功能;以及头戴式显示器,其包括至少一个透镜以便显示虚拟环境,其中所述功能的执行通过暂停所述环境来中断所述环境。
本发明的实施方案还可以包括非暂时性计算机可读存储介质,其上体现有程序,所述程序可由处理器执行以便进行如本文中所述的、中断头戴式显示器中的虚拟环境的方法。
附图说明
图1示出示例性可穿戴计算装置的框图。
图2A示出将穿戴者完全浸没在虚拟现实环境中的HMD。
图2B示出允许生成VR信息而同时维持现实世界的感知的HMD。
图3示出VR环境中的中断的示例性实现方式。
图4示出用于实施VR环境中的中断的方法。
图5示出使用非视野不动产来提供VR环境的辅助信息。
具体实施方式
本发明的实施方案包括用于中断头戴式显示器中的虚拟环境的系统和方法。可以存储关于至少一个控制设置的信息,所述至少一个控制设置将功能与头戴式显示器的位置变化相关联。头戴式显示器可以被校准来识别起始位置。追踪头戴式显示器的移动的位置数据可以被生成。头戴式显示器的当前位置可以被确定来指示从起始位置的、超过控制设置的位置变化的变化。然后,可以执行与控制设置相关联的功能,所述功能可以涉及通过暂停环境来中断头戴式显示器中的虚拟环境。
图1示出示例性可穿戴虚拟现实系统100的框图。在与外部计算装置110通信的情况下,可穿戴虚拟现实系统100可以包括USB接口120、无线通信接口130、陀螺仪140、加速度计150、磁力计160、数据储存器170、处理器180和头戴式显示器(HMD)200。
头戴式显示器(HMD)200允许其穿戴者观察现实世界周围事物、所显示的计算机生成图像或这两者的组合。HMD 200在一些实施方案中可以包括透视显示器。可穿戴虚拟现实系统100的穿戴者在此类实施方案中可能能够浏览HMD 200并且观察现实世界环境的一部分,尽管存在可穿戴虚拟现实系统100。另一实施方案中的HMD 200可以被操作来显示叠加在视野上的图像以便提供“增强现实”体验。由HMD 200显示的图像中的一些可以相对于视野中的特定对象来叠加或呈现。在又一实施方案中,HMD 200可以是完全虚拟的环境,据此可穿戴虚拟现实系统100的穿戴者从与现实世界的任何视觉接触隔离。
所显示图像可以包括图形、文本和/或视频;可以通过对应音频装置来提供音频。由HMD显示的图像可以是交互式用户界面的一部分,并且包括菜单、选择框、导航图标或使得穿戴者能够调用可穿戴计算装置的功能或者以其他方式与可穿戴计算装置交互的其他用户界面特征。HMD 200的形式因素可以是眼镜、护目镜、头盔、帽子、面罩、头带的形式因素,或者呈可以支撑在穿戴者的头部上或从其处支撑的某个其他形式。
为了向穿戴者显示虚拟图像,HMD可以包括光学系统,所述光学系统具有照亮显示面板的光源,如发光二极管(LED)。显示面板可以包括液晶显示面板(LCD)。显示面板可以通过空间地调制来自光源的光来生成光图案,并且图像形成器从光图案中形成虚拟图像。或者,所述面板可以是硅基液晶(LCOS),据此液晶层可以位于硅背板的顶部上。
示例性实施方案中的HMD包括具有不重叠立体3D图像的7英寸屏,据此左眼看到向左的额外区域并且右眼看到向右的额外区域。HMD尝试模拟正常人类视觉,其并不是100%重叠的。示例性实施方案中的视野大于水平90度(对角线110度),从而大致充满视线的整个视野,从而使得实现世界可以完全被遮挡以便产生强烈的浸没感。
一个实施方案可以利用1280×800(纵横比为16:10),从而允许每只眼睛640×800的有效率、4:5的纵横比。在不允许眼睛之间的完全重叠的一个实施方案中,所组合的水平分辨率有效地大于640。针对每只眼睛的显示图像是销式缓冲的,从而为每只眼睛生成球形映射图像。
HMD 200可以与外部计算装置110通信。外部计算装置110包括应用服务器、数据库以及本领域已知的其他外部计算部件,包括标准硬件计算部件,如网络和媒体接口、非暂时性计算机可读储存器(存储器)和用于执行指令或者访问可以存储在存储器中的信息的处理器。
可穿戴虚拟现实系统100在一些情形中可以物理地连接到外部计算装置110。此类连接可以借助USB接口120来实施,所述USB接口120可以用来借助USB兼容缆线向外部计算装置110发送数据和从其接收数据。USB接口120也可以用来对可穿戴虚拟现实系统100供电,从而潜在地消除对于外部电源以及与所述外部电源相关联的任何电力缆线的需求。在一些情形中,另一电源适配器(未图示)可能对于借助USB接口120来实施电力而言是必需的。应理解的是,对USB的参考是示例性的,因为可以使用其他类型的接口,包括但不限于FireWire、Lightning以及其他电缆连接标准,如HDMI和DVI。
图1的可穿戴虚拟现实系统100包括无线通信接口130。无线通信接口130可以用于与外部计算装置110无线通信。无线通信接口130也可以用于与其他可穿戴计算装置100通信。无线通信接口130可以利用任何数量的无线通信标准,所述无线通信标准支持基于分组的网络(如互联网)上的双向数据交换。示例性通信标准包括CDMA、GSM/GPRS、4G蜂窝、WiMAX、LTE和802.11(WiFi)。
可穿戴虚拟现实系统100可以包括三维轴陀螺仪140、加速度计150和磁力计160中的一个或多个。陀螺仪140可以用来基于角动量的原理测量方位。加速度计150可以用来检测作为向量的加速度的量值和方向。这个结果可以用来感测方位,因为重量变化的方向、坐标加速度与重力或重力变化以及借助固有加速度的变化而在阻性介质中产生的振动、冲击和下降相关。磁力计160可以用来识别相对于可穿戴虚拟现实系统100的磁场中的扰动。磁力计160可以帮助识别GPS和罗盘应用的真北以及帮助无触摸或无相机的手势输入。通过利用从前述内容中生成的数据,可以计算相对于地球没有偏移的绝对头部方位追踪。延时追踪可以在大致1000Hz下运作以便减少响应时间并且增加感知到的真实性。可穿戴虚拟现实系统100的显示器可以经过调节以便允许单独显示器移动到更远离或更接近穿戴者眼睛的地方。
可穿戴虚拟现实系统100可以通过存储在数据储存器170中的非暂时性计算机可读指令的执行来运作,其中执行是通过处理器180的操作来发生。虽然图1将数据储存器170和处理器180示出为存在于可穿戴虚拟现实系统100处,但是此类元件可以位于外部计算装置110中,或者在一些情形中,具有分布在这两者之间的可执行操作。处理器180以及数据储存器170处的可执行指令也可以控制USB接口120、无线接口130、陀螺仪140、加速度计150和磁力计160的各方面。
图2A示出将穿戴者完全浸没在虚拟现实环境中的HMD 200。虽然图2A示出为浸没式护目镜,但是其他形式因素也是可能且可预想的。图2A中的元件的操作与图2B的情境中所论述的那些元件相同。图2A包括头戴式支撑件210,其允许可穿戴虚拟现实系统100(包括HMD 200)定位在穿戴者的头部上。HMD 200还包括透镜显示器220A和220B,其可以是如上文所述的LCD或LCOS构造。透镜显示器220A和220B可以是可穿戴虚拟现实系统100的集成部分。
可穿戴虚拟现实系统100的制造可以允许部件(如图1中所示出的那些部件)的集成,并且各种部件进行互连以便内部集成。其他部件可以位于可穿戴虚拟现实系统100的外部上以便允许更轻易地访问或物理连接到外部计算装置110。可穿戴虚拟现实系统100的一个实施方案可以包括麦克风以便允许与利用可穿戴虚拟现实系统100的其他个人进行语音通信或者允许系统100的某些免提控制。
图2B示出允许生成虚拟现实信息而同时维持现实世界的感知的HMD 200。此类双重感知是通过将穿戴者不完全浸没在虚拟环境的界限内来提供(即,现实世界仍可以被看到和感知)。虽然图2B的HMD200示出为简单的带子,但是其他形式因素也是可能且可预想的。图2B上的元件的操作与图2A的情境中所论述的那些元件相同。
图3示出VR环境中的中断的示例性实现方式。如图所示,HMD200的用户310看得“很全面”或者看到VR环境320的“死点”,VR环境320的中心由准线330来反映。应注意的是,准线330仅出于帮助说明的目的而展现,而且并非确实存在于VR环境320中,尽管可能的是,方位的标记可以由HMD 200相对于虚拟环境320来显示。如由准线330和用户的视线(340)所反映的,两者可以相对地平行于彼此。
虽然准线330在VR环境中不是必须示出的要素,但是准线330可以在用户310第一次将HMD 200安装到他们的头部时通过校准所述HMD来确定。通过利用三维轴陀螺仪140、加速度计150和磁力计160中的一个或多个所生成的信息,可穿戴虚拟现实系统100可以计算用户的“起始”或“中间”位置以及VR环境,用户310的头部以及广而言之HMD 200的进一步运动从所述VR环境中来判定。此类校准可以在操作开始时、在手动复位期间或者响应于通过可穿戴虚拟现实系统100自动确定位置信息已经“偏移”或不再适当地相关来发生,从而使得需要重新校准。此类确定可以通过由处理器180运行存储在存储器170上的软件来发生。
现在转向图3中的用户350,此类用户(其与用户310是相同用户但是简单地使他们的头部转动大致45度)已经转动他们的头部,从而使得他们的视线不再沿着如在上述校准过程中建立的准线330而平行。新的视线3401反映出视线现在偏向原始建立的准线330的右侧大致45度(360)。通过利用三维轴陀螺仪140、加速度计150和磁力计160中的一个或多个所生成的信息,可穿戴虚拟现实系统100可以计算视线3401已经从用户的“开始”或“中间”位置变化了多远并且这被用来建立准线330。
如同准线330一样,角度360被示出来帮助理解环境中断或“暂停”特征的实现方式,据此环境中的活动被中断或搁置以便允许某个其他功能,包括但不限于菜单导航。而且也如同准线330一样,角度360可以在虚拟环境320中作为图形重叠的一部分以视觉方式向用户示出。这个信息可以显示为展示角度从中心准线330的实际变化的几何图示显示,或者仅显示为用户相对于中心330转动他们的头部的度数(例如,12度)的数字指示符。
应注意的是,虽然本发明的一个实施方案借助如图3中所示、用户转动他们的头部超过特定角度来具体地解决“中断”或“暂停”功能性,但是其他功能性也可以与位置变化相关联(例如,保存功能、复位功能、重启功能)。在这点上,中断或“暂停”功能是示例性的。此外,一个实施方案可以实施具有不同功能的不同角度。例如,“暂停”可以在偏离中心330 20度后实施,而保存可以在离中心330 30度后实施,并且在离中心330 45度后实施重启。那些功能的实施可以在度数变化达到时或者在用户使他们的头部处在特定位置变化中持续预定时间段后即刻发生。
图4示出用于实施VR环境中的中断的方法400。图4的方法400可以体现为非暂时性计算机可读存储介质中的可执行指令,所述非暂时性计算机可读存储介质包括但不限于CD、DVD或非易失性存储器,如硬盘驱动器。此类方法论可以由执行体现在存储器170中的非暂时性计算机可读指令的处理器180来实施。处理器180和存储在存储器170中的软件可以利用从系统100的各种其他部件(包括三维轴陀螺仪140、加速度计150和磁力计160)所获取的数据。图4中所标示的步骤(及其顺序)是示例性的并且可包括各种替代物、等效物或其衍生物,包括但不限于它们的执行次序。
在步骤410中,可以开始校准过程。所述校准可以在可穿戴虚拟现实系统100启动时发生,或者响应于在系统100的背景下发起特定应用而发生。用户也可以请求手动校准,或者系统100可能由于位置偏移而需要手动校准。
响应于校准过程,在步骤420中接收来自三维轴陀螺仪140、加速度计150和磁力计160的信息。这个信息将用来确定中间或“静止”位置,所有其他角度计算将从所述位置中根据情境来判断。这个确定可以(例如)对应于如图3的情境中所论述的准线330。测量和计算可以在X以及Y轴上发生。在这点上,“暂停”或其他功能可以不仅通过沿着X轴的移动而且通过沿着Y轴的移动或甚至这两者的组合(例如,用户向右提高他们的头部并且超过某个位置)来引入。
在步骤430中,可以相对于步骤420中生成的位置数据来设置各种控制。准线330的中间位置以及各种功能可以确认,如果HMD 200的位置数据指示用户已经转动他们的视线超过特定角度,那么便可以实施所述各种功能,所述转动可以包括沿着一个或多个特定轴线。在一些情形中,各种功能可以实施用于增加变化角度。时间段也可以实施,据此用户必须在给定时间段内沿着特定轴线改变他们的视线超过特定角度。
在步骤440中,HMD 200的追踪通过使用三维轴陀螺仪140、加速度计150和磁力计160等生成的信息来开始。在整个追踪过程上,针对HMD 200的位置数据是否指示其已经超过步骤430中设置的限制或控制中的一个来做出连续检查。例如,并且如图3中所示,针对用户是否已经移动他们的头部并且因此他们的视线340是否相对于中间准线330超过特定控制角度来做出判定。如果所述角度尚未超过(或在预定时间段内未超过),那么追踪便在步骤440处继续,并且在步骤450处继续做出相对于来自步骤430的设置的检查。然而,如果用户已经在特定时间段内沿着特定轴线超过位置设置(或步骤430处控制的任何其他设置),那么便可以在步骤460处实施对应功能性,如“暂停”。
图5示出使用非视野不动产来提供VR环境的辅助信息。可以确定用户已经转动他们的视野超过中间或中心设置,诸如在图3的情境中所论述的。因为用户已经暂停HMD 200所显示的VR环境,所以用户现在可以参加不动产区域中的其他活动,所述区域不是VR环境中的直接部分并且通常将归入到用户视线的“外围视觉”区域。
例如,这个区域可以包括与VR环境或当前执行来生成VR环境的应用有关的各种菜单和控件。其还可以包括关于VR环境的数据,如在环境中发生的活动的状态(例如,得分、健康、库存等等)。外围区域不动产也可以包括关于系统100或系统100的HMD 200的状态信息。广告也可以显示在这个区域中。其他应用也可以在这个区域中执行,如视频呼叫、消息或其他实时通信。通过将这个空间用于此类数据并且允许用户在暂停状态期间访问所述数据,VR环境中的主要视线区域可以被更好地利用。
本发明可以实施在可使用各种装置进行操作的应用中。非暂时性计算机可读存储介质是指参与将指令提供给中央处理器(CPU)而用于执行的任何一种或多种介质。此类介质可采取许多形式,包括但不限于非易失性和易失性介质,分别诸如光盘或磁盘和动态存储器。非暂时性计算机可读介质的常见形式包括(例如)软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM光盘、数字视频光盘(DVD)、任何其他光学介质、RAM、PROM、EPROM、快闪EPROM以及任何其他存储芯片或存储匣。
各种形式的传输介质可以涉及将一个或多个指令的一个或多个序列载送至CPU而用于执行。总线将数据载送至系统RAM,CPU从所述系统RAM中检索并执行指令。系统RAM所接收的指令可以在由CPU执行之前或之后任选地存储在固定盘上。同样地,可以实施各种形式的储存器,以及必要的网络接口和用以实施所述网络接口的网络拓扑。
虽然上文已描述了各种实施方案,但应了解,所述实施方案仅以举例的方式而不是以限制性的方式来展现。描述内容并不意图将本发明的范围限制于本文所陈述的特定形式。因此,优选实施方案的广度和范围不应受任何上述示例性实施方案的限制。应了解,以上描述是说明性的而不是限制性的。相反地,目前的描述内容意图涵盖可包括在如所附权利要求书所限定的和本领域普通技术人员以其他方式所理解的本发明精神和范围内的替代方案、修改和等效物。因此,不应参照上文的描述来确定本发明的范围,而是应参照所附的权利要求书以及其等效物的全部范围来确定本发明的范围。
Claims (15)
1.一种用于中断头戴式显示器中的虚拟环境的方法,所述方法包括:
将关于至少一个控制设置的信息存储在存储器中,所述至少一个控制设置将功能与所述头戴式显示器的位置变化相关联;
校准所述头戴式显示器,其中识别所述头戴式显示器的起始位置;
生成位置数据,所述位置数据追踪所述头戴式显示器的移动;
确定所述头戴式显示器的当前位置指示从所述起始位置的、超过所述控制设置的所述位置变化的变化;并且
执行与所述控制设置相关联的所述功能,其中所述功能包括通过暂停所述环境来中断所述头戴式显示器中的所述虚拟环境。
2.如权利要求1所述的方法,其中生成位置数据包括处理来自陀螺仪的数据。
3.如权利要求1所述的方法,其中生成位置数据包括处理来自加速度计的数据。
4.如权利要求1所述的方法,其中生成位置数据包括处理来自磁力计的数据。
5.如权利要求1所述的方法,其还包括:一旦所述环境已经暂停,便在外围视觉区域中提供菜单功能性。
6.一种用于中断头戴式显示器中的虚拟环境的系统,所述系统包括:
存储器,其存储关于至少一个控制设置的信息,所述至少一个控制设置将功能与所述头戴式显示器的位置变化相关联;
陀螺仪、磁力计和加速度计中的至少一个,其进行以下操作:
校准所述头戴式显示器,其中识别所述头戴式显示器的起始位置,并且
生成位置数据,所述位置数据追踪所述头戴式显示器的移动;
处理器,其执行存储在存储器中的指令以便:
确定所述头戴式显示器的当前位置指示从所述起始位置的、超过所述控制设置的所述位置变化的变化;并且
执行与所述控制设置相关联的所述功能;以及
头戴式显示器,其包括至少一个透镜以便显示所述虚拟环境,其中所述功能的执行通过暂停所述环境来中断所述环境。
7.如权利要求6所述的系统,其中生成位置数据包括处理来自所述陀螺仪的数据。
8.如权利要求6所述的系统,其中生成位置数据包括处理来自所述加速度计的数据。
9.如权利要求6所述的系统,其中生成位置数据包括处理来自所述磁力计的数据。
10.如权利要求6所述的系统,其中一旦所述环境已经暂停,所述头戴式显示器便进一步在外围视觉区域中提供菜单功能性。
11.一种非暂时性计算机可读存储介质,其上体现有程序,所述程序可由处理器执行以便进行用于中断头戴式显示器中的虚拟环境的方法,所述方法包括:
存储关于至少一个控制设置的信息,所述至少一个控制设置将功能与所述头戴式显示器的位置变化相关联;
校准所述头戴式显示器,其中识别所述头戴式显示器的起始位置;
生成位置数据,所述位置数据追踪所述头戴式显示器的移动;
确定所述头戴式显示器的当前位置指示从所述起始位置的、超过所述控制设置的所述位置变化的变化;以及
执行与所述控制设置相关联的所述功能,其中所述功能包括通过暂停所述环境来中断所述头戴式显示器中的所述虚拟环境。
12.如权利要求11所述的非暂时性计算机可读存储介质,其中生成位置数据包括处理来自陀螺仪的数据。
13.如权利要求11所述的非暂时性计算机可读存储介质,其中生成位置数据包括处理来自加速度计的数据。
14.如权利要求11所述的非暂时性计算机可读存储介质,其中生成位置数据包括处理来自磁力计的数据。
15.如权利要求11所述的非暂时性计算机可读存储介质,其还包括:一旦所述环境已经暂停,便在外围视觉区域中提供菜单功能性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010995429.4A CN112218068B (zh) | 2014-01-25 | 2015-01-12 | 头戴式显示器中的环境中断以及非视野不动产的利用 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461931583P | 2014-01-25 | 2014-01-25 | |
US61/931,583 | 2014-01-25 | ||
US14/283,083 US9437159B2 (en) | 2014-01-25 | 2014-05-20 | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
US14/283,083 | 2014-05-20 | ||
PCT/US2015/010994 WO2015112361A1 (en) | 2014-01-25 | 2015-01-12 | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010995429.4A Division CN112218068B (zh) | 2014-01-25 | 2015-01-12 | 头戴式显示器中的环境中断以及非视野不动产的利用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106164993A true CN106164993A (zh) | 2016-11-23 |
CN106164993B CN106164993B (zh) | 2020-10-20 |
Family
ID=53679582
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010995429.4A Active CN112218068B (zh) | 2014-01-25 | 2015-01-12 | 头戴式显示器中的环境中断以及非视野不动产的利用 |
CN201580005727.1A Active CN106164993B (zh) | 2014-01-25 | 2015-01-12 | 头戴式显示器中的环境中断以及非视野不动产的利用 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010995429.4A Active CN112218068B (zh) | 2014-01-25 | 2015-01-12 | 头戴式显示器中的环境中断以及非视野不动产的利用 |
Country Status (10)
Country | Link |
---|---|
US (3) | US9437159B2 (zh) |
EP (1) | EP3097552B1 (zh) |
JP (1) | JP6591990B2 (zh) |
KR (2) | KR102374251B1 (zh) |
CN (2) | CN112218068B (zh) |
BR (1) | BR112016017181B1 (zh) |
CA (1) | CA2937536C (zh) |
MX (1) | MX359047B (zh) |
RU (1) | RU2660063C2 (zh) |
WO (1) | WO2015112361A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107320957A (zh) * | 2017-08-21 | 2017-11-07 | 网易(杭州)网络有限公司 | 游戏界面显示方法及装置 |
CN107463264A (zh) * | 2017-08-16 | 2017-12-12 | 福建天晴在线互动科技有限公司 | 一种vr场景复位的方法和终端 |
CN108153409A (zh) * | 2016-12-05 | 2018-06-12 | 谷歌有限责任公司 | 增强现实环境和/或虚拟现实环境中的会话结束检测 |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
US20140280505A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality interaction with 3d printing |
US20140267581A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks |
US9588343B2 (en) | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
US9437159B2 (en) | 2014-01-25 | 2016-09-06 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
US9392212B1 (en) | 2014-04-17 | 2016-07-12 | Visionary Vr, Inc. | System and method for presenting virtual reality content to a user |
US9898079B2 (en) | 2014-06-11 | 2018-02-20 | Drivemode, Inc. | Graphical user interface for non-foveal vision |
JP5767386B1 (ja) * | 2014-12-15 | 2015-08-19 | 株式会社コロプラ | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム |
US9665170B1 (en) * | 2015-06-10 | 2017-05-30 | Visionary Vr, Inc. | System and method for presenting virtual reality content to a user based on body posture |
US11992746B1 (en) * | 2015-08-22 | 2024-05-28 | Bertec Corporation | Hybrid display system for a force measurement assembly, an exercise device, or an interactive game |
EP3185535A1 (en) | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method and apparatus for controlling a discrepant aiming direction of a camera |
US10565723B2 (en) | 2016-02-02 | 2020-02-18 | Samsung Electronics Co., Ltd. | Systems and methods for drift correction |
US10579162B2 (en) | 2016-03-24 | 2020-03-03 | Samsung Electronics Co., Ltd. | Systems and methods to correct a vehicle induced change of direction |
JP2017187757A (ja) * | 2016-03-30 | 2017-10-12 | TsZ株式会社 | 画像表示装置 |
CN106125913A (zh) * | 2016-06-17 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种启动方法及vr眼镜 |
CN106125916A (zh) * | 2016-06-17 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种启动方法及终端 |
CN106095007A (zh) * | 2016-07-29 | 2016-11-09 | 北京小鸟看看科技有限公司 | 一种头戴显示设备 |
US10393312B2 (en) | 2016-12-23 | 2019-08-27 | Realwear, Inc. | Articulating components for a head-mounted display |
US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
US10437070B2 (en) | 2016-12-23 | 2019-10-08 | Realwear, Inc. | Interchangeable optics for a head-mounted display |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
JP2018142857A (ja) * | 2017-02-28 | 2018-09-13 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
IL252056A (en) | 2017-05-01 | 2018-04-30 | Elbit Systems Ltd | Head-up display device, system and method |
US10265627B2 (en) | 2017-06-22 | 2019-04-23 | Centurion VR, LLC | Virtual reality simulation of a live-action sequence |
US11682045B2 (en) * | 2017-06-28 | 2023-06-20 | Samsung Electronics Co., Ltd. | Augmented reality advertisements on objects |
US10386938B2 (en) * | 2017-09-18 | 2019-08-20 | Google Llc | Tracking of location and orientation of a virtual controller in a virtual reality system |
JP7140487B2 (ja) * | 2017-10-25 | 2022-09-21 | キヤノン株式会社 | 情報処理装置、表示制御方法、及び、プログラム |
JP7073702B2 (ja) | 2017-12-11 | 2022-05-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
JP7077595B2 (ja) | 2017-12-11 | 2022-05-31 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
JP2019105960A (ja) | 2017-12-12 | 2019-06-27 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
CN108010394B (zh) * | 2017-12-20 | 2020-11-03 | 杭州埃欧哲建设工程咨询有限公司 | 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统 |
CN110673718B (zh) | 2018-07-02 | 2021-10-29 | 苹果公司 | 用于显示系统的基于聚焦的调试和检查 |
US11688168B1 (en) | 2020-08-03 | 2023-06-27 | Apple Inc. | Method and device for visual augmentation of sporting events |
US11586286B1 (en) | 2022-05-18 | 2023-02-21 | Bank Of America Corporation | System and method for navigating on an augmented reality display |
US11720380B1 (en) | 2022-05-18 | 2023-08-08 | Bank Of America Corporation | System and method for updating augmented reality navigation instructions based on a detected error |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101098491A (zh) * | 2006-06-27 | 2008-01-02 | 松下电器产业株式会社 | 显示装置及其控制方法 |
US20130007668A1 (en) * | 2011-07-01 | 2013-01-03 | James Chia-Ming Liu | Multi-visor: managing applications in head mounted displays |
US20130069787A1 (en) * | 2011-09-21 | 2013-03-21 | Google Inc. | Locking Mechanism Based on Unnatural Movement of Head-Mounted Display |
JP2013168910A (ja) * | 2012-02-17 | 2013-08-29 | Sony Corp | ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 |
US20130336629A1 (en) * | 2012-06-19 | 2013-12-19 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
Family Cites Families (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5258785A (en) | 1991-06-25 | 1993-11-02 | Dawkins Jr Douglas R | Close-view data display implant for sporting eyewear |
US5757358A (en) | 1992-03-31 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback |
US5585871A (en) | 1995-05-26 | 1996-12-17 | Linden; Harry | Multi-function display apparatus |
US8330812B2 (en) | 1995-05-30 | 2012-12-11 | Simulated Percepts, Llc | Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame |
US6282362B1 (en) | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
JPH09167253A (ja) | 1995-12-14 | 1997-06-24 | Olympus Optical Co Ltd | 映像表示装置 |
US6084979A (en) | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
GB2314664A (en) | 1996-06-27 | 1998-01-07 | Sharp Kk | Address generator,display and spatial light modulator |
JPH10222287A (ja) | 1997-02-10 | 1998-08-21 | Sony Corp | 情報入力装置 |
JPH1195971A (ja) | 1997-09-24 | 1999-04-09 | Sharp Corp | ユーザインタフェースシステム |
US5982555A (en) | 1998-01-20 | 1999-11-09 | University Of Washington | Virtual retinal display with eye tracking |
US6152563A (en) | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
JP2002525769A (ja) * | 1998-09-22 | 2002-08-13 | ヴェガ ヴィスタ インコーポレイテッド | 携帯型データディスプレイの直接的コントロール方法 |
US6315273B1 (en) | 1999-05-27 | 2001-11-13 | Lionel Davies | Gas and liquid contact apparatus: illuminated |
US20020038456A1 (en) | 2000-09-22 | 2002-03-28 | Hansen Michael W. | Method and system for the automatic production and distribution of media content using the internet |
US7100190B2 (en) | 2001-06-05 | 2006-08-29 | Honda Giken Kogyo Kabushiki Kaisha | Automobile web cam and communications system incorporating a network of automobile web cams |
US7970240B1 (en) | 2001-12-17 | 2011-06-28 | Google Inc. | Method and apparatus for archiving and visualizing digital images |
JP2003280805A (ja) | 2002-03-26 | 2003-10-02 | Gen Tec:Kk | データ入力装置 |
US8458028B2 (en) | 2002-10-16 | 2013-06-04 | Barbaro Technologies | System and method for integrating business-related content into an electronic game |
US7511682B2 (en) * | 2004-05-03 | 2009-03-31 | Microsoft Corporation | Context-aware auxiliary display platform and applications |
ATE552478T1 (de) | 2004-06-03 | 2012-04-15 | Making Virtual Solid L L C | Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays |
SE0401582L (sv) | 2004-06-18 | 2005-05-10 | Totalfoersvarets Forskningsins | Interaktivt förfarande för att presentera information i en bild |
US7567241B2 (en) | 2004-08-03 | 2009-07-28 | Silverbrook Research Pty Ltd | Stylus with customizable appearance |
US7949642B2 (en) | 2004-10-12 | 2011-05-24 | Wendy W Yang | System and method for managing and presenting entity information |
JP4533087B2 (ja) * | 2004-10-28 | 2010-08-25 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
US7298378B1 (en) | 2004-12-13 | 2007-11-20 | Hagenbuch Andrew M | Virtual reality universe realized as a distributed location network |
EP1679577A1 (en) | 2005-01-10 | 2006-07-12 | Tobii Technology AB | Adaptive display of eye controllable objects |
US7933929B1 (en) | 2005-06-27 | 2011-04-26 | Google Inc. | Network link for providing dynamic data layer in a geographic information system |
US8818076B2 (en) | 2005-09-01 | 2014-08-26 | Victor Shenkar | System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments |
US8725729B2 (en) | 2006-04-03 | 2014-05-13 | Steven G. Lisa | System, methods and applications for embedded internet searching and result display |
JP4927631B2 (ja) * | 2006-06-27 | 2012-05-09 | パナソニック株式会社 | 表示装置、その制御方法、プログラム、記録媒体および集積回路 |
US20090106672A1 (en) | 2007-10-18 | 2009-04-23 | Sony Ericsson Mobile Communications Ab | Virtual world avatar activity governed by person's real life activity |
WO2009063968A1 (ja) | 2007-11-16 | 2009-05-22 | Nikon Corporation | 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法 |
US20090271436A1 (en) | 2008-04-23 | 2009-10-29 | Josef Reisinger | Techniques for Providing a Virtual-World Object Based on a Real-World Object Description |
KR20100009947A (ko) | 2008-07-21 | 2010-01-29 | 삼성전자주식회사 | 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법 |
US9318026B2 (en) | 2008-08-21 | 2016-04-19 | Lincoln Global, Inc. | Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment |
US8108778B2 (en) | 2008-09-30 | 2012-01-31 | Yahoo! Inc. | System and method for context enhanced mapping within a user interface |
US20100088632A1 (en) | 2008-10-08 | 2010-04-08 | Research In Motion Limited | Method and handheld electronic device having dual mode touchscreen-based navigation |
US20100102476A1 (en) | 2008-10-29 | 2010-04-29 | Higgins Michael H | Method for manufacturing raised relief maps |
US9472014B2 (en) | 2008-12-19 | 2016-10-18 | International Business Machines Corporation | Alternative representations of virtual content in a virtual universe |
US20100238161A1 (en) | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
JP2011039438A (ja) * | 2009-08-18 | 2011-02-24 | Fujitsu Ltd | 電子機器および表示制御方法 |
US20110153435A1 (en) | 2009-09-17 | 2011-06-23 | Lexos Media Inc. | System and method of cursor-based content delivery |
US9256347B2 (en) | 2009-09-29 | 2016-02-09 | International Business Machines Corporation | Routing a teleportation request based on compatibility with user contexts |
US9254438B2 (en) | 2009-09-29 | 2016-02-09 | International Business Machines Corporation | Apparatus and method to transition between a media presentation and a virtual environment |
US8175734B2 (en) | 2009-10-08 | 2012-05-08 | 3D M. T. P. Ltd. | Methods and system for enabling printing three-dimensional object models |
KR101687640B1 (ko) | 2010-02-12 | 2016-12-19 | 톰슨 라이센싱 | 동기화된 컨텐츠 재생 방법 |
US8730309B2 (en) * | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
US20110214071A1 (en) | 2010-02-26 | 2011-09-01 | University Of Southern California | Information channels in mmogs |
US20140063055A1 (en) | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific user interface and control interface based on a connected external device type |
US20140063054A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific control interface based on a connected external device type |
JP5223062B2 (ja) | 2010-03-11 | 2013-06-26 | 株式会社ジオ技術研究所 | 3次元地図描画システム |
JP5143856B2 (ja) * | 2010-04-16 | 2013-02-13 | 株式会社ソニー・コンピュータエンタテインメント | 3次元画像表示装置、および3次元画像表示方法 |
US8797380B2 (en) | 2010-04-30 | 2014-08-05 | Microsoft Corporation | Accelerated instant replay for co-present and distributed meetings |
US8694553B2 (en) | 2010-06-07 | 2014-04-08 | Gary Stephen Shuster | Creation and use of virtual places |
US20110313779A1 (en) | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Augmentation and correction of location based data through user feedback |
US9317133B2 (en) | 2010-10-08 | 2016-04-19 | Nokia Technologies Oy | Method and apparatus for generating augmented reality content |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
US8803912B1 (en) | 2011-01-18 | 2014-08-12 | Kenneth Peyton Fouts | Systems and methods related to an interactive representative reality |
RU111703U1 (ru) * | 2011-02-08 | 2011-12-20 | Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) | Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле |
CN106125921B (zh) | 2011-02-09 | 2019-01-15 | 苹果公司 | 3d映射环境中的凝视检测 |
KR101591579B1 (ko) | 2011-03-29 | 2016-02-18 | 퀄컴 인코포레이티드 | 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링 |
US9154826B2 (en) | 2011-04-06 | 2015-10-06 | Headwater Partners Ii Llc | Distributing content and service launch objects to mobile devices |
US9043325B1 (en) | 2011-06-24 | 2015-05-26 | Google Inc. | Collecting useful user feedback about geographical entities |
AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US8847988B2 (en) | 2011-09-30 | 2014-09-30 | Microsoft Corporation | Exercising applications for personal audio/visual system |
US9128520B2 (en) | 2011-09-30 | 2015-09-08 | Microsoft Technology Licensing, Llc | Service provision using personal audio/visual system |
US8970452B2 (en) | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
US9311883B2 (en) * | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
US8908914B2 (en) | 2012-01-17 | 2014-12-09 | Maxlinear, Inc. | Method and system for map generation for location and navigation with user sharing/social networking |
US20130191178A1 (en) | 2012-01-25 | 2013-07-25 | Predictive Edge Technologies, Llc | System and method for secure registration, authentication, valuation and exchange of virtual goods and objects |
US20130227017A1 (en) | 2012-02-24 | 2013-08-29 | Steven Antony Gahlings | Location associated virtual interaction, virtual networking and virtual data management |
US8737767B2 (en) | 2012-02-28 | 2014-05-27 | Disney Enterprises, Inc. | Perceptually guided capture and stylization of 3D human figures |
US20130246967A1 (en) | 2012-03-15 | 2013-09-19 | Google Inc. | Head-Tracked User Interaction with Graphical Interface |
US20130263016A1 (en) | 2012-03-27 | 2013-10-03 | Nokia Corporation | Method and apparatus for location tagged user interface for media sharing |
US9389420B2 (en) | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
TW201351963A (zh) | 2012-06-15 | 2013-12-16 | Hon Hai Prec Ind Co Ltd | 虛擬環境中的影像播放方法及系統 |
US20140164921A1 (en) | 2012-12-07 | 2014-06-12 | Robert Salinas | Methods and Systems of Augmented Reality on Mobile Devices |
US9607011B2 (en) | 2012-12-19 | 2017-03-28 | Intel Corporation | Time-shifting image service |
US9285951B2 (en) | 2013-02-14 | 2016-03-15 | Disney Enterprises, Inc. | Avatar personalization in a virtual environment |
US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
US20140280505A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality interaction with 3d printing |
US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
US20140267581A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks |
US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
US20140280504A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality universe representation changes viewing based upon client side parameters |
US9437159B2 (en) | 2014-01-25 | 2016-09-06 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
US9588343B2 (en) | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
US20170090460A1 (en) | 2015-09-25 | 2017-03-30 | Microsoft Technology Licensing, Llc | 3D Model Generation From Map Data |
-
2014
- 2014-05-20 US US14/283,083 patent/US9437159B2/en active Active
-
2015
- 2015-01-12 MX MX2016009136A patent/MX359047B/es active IP Right Grant
- 2015-01-12 EP EP15740114.2A patent/EP3097552B1/en active Active
- 2015-01-12 WO PCT/US2015/010994 patent/WO2015112361A1/en active Application Filing
- 2015-01-12 JP JP2016546976A patent/JP6591990B2/ja active Active
- 2015-01-12 CA CA2937536A patent/CA2937536C/en active Active
- 2015-01-12 CN CN202010995429.4A patent/CN112218068B/zh active Active
- 2015-01-12 BR BR112016017181-0A patent/BR112016017181B1/pt active IP Right Grant
- 2015-01-12 CN CN201580005727.1A patent/CN106164993B/zh active Active
- 2015-01-12 RU RU2016134268A patent/RU2660063C2/ru active
- 2015-01-12 KR KR1020217020965A patent/KR102374251B1/ko active IP Right Grant
- 2015-01-12 KR KR1020167020345A patent/KR102275589B1/ko active IP Right Grant
-
2016
- 2016-08-17 US US15/239,382 patent/US9818230B2/en active Active
-
2017
- 2017-11-14 US US15/813,032 patent/US10096167B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101098491A (zh) * | 2006-06-27 | 2008-01-02 | 松下电器产业株式会社 | 显示装置及其控制方法 |
US20130007668A1 (en) * | 2011-07-01 | 2013-01-03 | James Chia-Ming Liu | Multi-visor: managing applications in head mounted displays |
US20130069787A1 (en) * | 2011-09-21 | 2013-03-21 | Google Inc. | Locking Mechanism Based on Unnatural Movement of Head-Mounted Display |
JP2013168910A (ja) * | 2012-02-17 | 2013-08-29 | Sony Corp | ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
US20130336629A1 (en) * | 2012-06-19 | 2013-12-19 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108153409A (zh) * | 2016-12-05 | 2018-06-12 | 谷歌有限责任公司 | 增强现实环境和/或虚拟现实环境中的会话结束检测 |
CN108153409B (zh) * | 2016-12-05 | 2020-12-29 | 谷歌有限责任公司 | 增强现实环境和/或虚拟现实环境中的会话结束检测 |
CN107463264A (zh) * | 2017-08-16 | 2017-12-12 | 福建天晴在线互动科技有限公司 | 一种vr场景复位的方法和终端 |
CN107463264B (zh) * | 2017-08-16 | 2020-07-14 | 福建天晴在线互动科技有限公司 | 一种vr场景复位的方法和终端 |
CN107320957A (zh) * | 2017-08-21 | 2017-11-07 | 网易(杭州)网络有限公司 | 游戏界面显示方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112218068A (zh) | 2021-01-12 |
KR102275589B1 (ko) | 2021-07-09 |
CN112218068B (zh) | 2024-03-19 |
US9818230B2 (en) | 2017-11-14 |
CN106164993B (zh) | 2020-10-20 |
KR102374251B1 (ko) | 2022-03-15 |
EP3097552A1 (en) | 2016-11-30 |
RU2016134268A3 (zh) | 2018-03-01 |
US20150213778A1 (en) | 2015-07-30 |
EP3097552A4 (en) | 2018-01-24 |
JP6591990B2 (ja) | 2019-10-16 |
WO2015112361A1 (en) | 2015-07-30 |
BR112016017181A2 (pt) | 2017-12-26 |
US20170004654A1 (en) | 2017-01-05 |
US10096167B2 (en) | 2018-10-09 |
US9437159B2 (en) | 2016-09-06 |
MX2016009136A (es) | 2017-04-13 |
EP3097552B1 (en) | 2020-03-04 |
JP2017506449A (ja) | 2017-03-02 |
US20180082483A1 (en) | 2018-03-22 |
BR112016017181B1 (pt) | 2022-06-28 |
RU2660063C2 (ru) | 2018-07-04 |
MX359047B (es) | 2018-09-13 |
CA2937536A1 (en) | 2015-07-30 |
KR20210087570A (ko) | 2021-07-12 |
CA2937536C (en) | 2022-01-04 |
RU2016134268A (ru) | 2018-03-01 |
KR20160113613A (ko) | 2016-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106164993A (zh) | 头戴式显示器中的环境中断以及非视野不动产的利用 | |
US11693476B2 (en) | Menu navigation in a head-mounted display | |
Kerr et al. | Wearable mobile augmented reality: evaluating outdoor user experience | |
JP6333801B2 (ja) | 表示制御装置、表示制御プログラム、および表示制御方法 | |
JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |