CN107632710A - 显示系统和方法 - Google Patents
显示系统和方法 Download PDFInfo
- Publication number
- CN107632710A CN107632710A CN201710878246.2A CN201710878246A CN107632710A CN 107632710 A CN107632710 A CN 107632710A CN 201710878246 A CN201710878246 A CN 201710878246A CN 107632710 A CN107632710 A CN 107632710A
- Authority
- CN
- China
- Prior art keywords
- frame
- end user
- augmented reality
- reality system
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 155
- 230000000007 visual effect Effects 0.000 claims abstract description 56
- 230000004886 head movement Effects 0.000 claims description 203
- 210000003128 head Anatomy 0.000 claims description 104
- 210000001508 eye Anatomy 0.000 claims description 61
- 230000008859 change Effects 0.000 claims description 35
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims description 10
- 235000011941 Tilia x europaea Nutrition 0.000 claims description 10
- 239000004571 lime Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000001965 increasing effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 210000005252 bulbus oculi Anatomy 0.000 claims 1
- 230000033001 locomotion Effects 0.000 abstract description 105
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000003190 augmentative effect Effects 0.000 description 248
- 238000005516 engineering process Methods 0.000 description 58
- 239000000872 buffer Substances 0.000 description 45
- 239000013307 optical fiber Substances 0.000 description 34
- 230000001133 acceleration Effects 0.000 description 33
- 238000004891 communication Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 12
- 230000010363 phase shift Effects 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 230000002708 enhancing effect Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 238000009792 diffusion process Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 239000011800 void material Substances 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 5
- 230000000712 assembly Effects 0.000 description 5
- 238000000429 assembly Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 241000269777 Mugilidae Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 150000004767 nitrides Chemical class 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- 101000746134 Homo sapiens DNA endonuclease RBBP8 Proteins 0.000 description 1
- 101000969031 Homo sapiens Nuclear protein 1 Proteins 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 102100021133 Nuclear protein 1 Human genes 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000004411 aluminium Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000930 thermomechanical effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0266—Reduction of sub-frame artefacts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Closed-Circuit Television Systems (AREA)
- Selective Calling Equipment (AREA)
Abstract
一个实施例涉及一种用户显示设备,其包括可安装在所述使用者的头部上的外壳框架、可安装在所述外壳框架的透镜和耦合到所述外壳框架的投影子系统以至少部分地基于所述用户头部运动的检测和所述用户头部运动的预测中的至少一个来确定在所述用户的视场中显示对象出现的位置,并基于已确定的所述显示对象出现的位置将所述显示对象投影到所述用户。
Description
本申请是国际申请号为PCT/US2014/028977、国际申请日为2014年3月14日、中国国家申请号为201480027589.2、标题为“显示系统和方法”的PCT申请的分案申请。
技术领域
本发明一般地涉及被配置以便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。
背景技术
许多显示系统可以从与观看者或用户的头部姿势有关的信息(即,用户的头部朝向和/或位置)中受益。
例如,头戴式显示器(或头盔显示器,或智能眼镜)至少松散地耦合到用户头部,并且因此在所述用户的头部移动时移动。如果所述用户的头部运动由显示系统检测到,被显示的数据可以更新以考虑头部姿势的变化。
作为示例,如果佩戴头戴式显示器的用户浏览显示器上的3D对象的虚拟表示并围绕3D对象出现的区域走动,所述3D对象可以为每个视点来重新渲染,给予用户他或她正在围绕占据现实空间的对象走动的感知。如果头戴式显示器被用于为多个对象显示虚拟空间(例如,丰富的虚拟世界),头部姿势的测量可以用来重新渲染场景,以匹配用户头部位置和朝向的动态改变,并提供虚拟空间的增强的沉浸感。
尤其是对于用虚拟元素填充了用户视场的实质部分的显示系统,高的头部追踪的准确性以及从低的第一次检测到头部运动到更新由显示器发送到用户的视觉系统的光之间整个系统的延迟非常是至关重要的。如果延迟高,所述系统可以创建用户的前庭和视觉感觉系统之间的失配,并产生晕车或虚拟幻境头晕。
一些头戴式显示器能够同时观看现实和虚拟的元素——通常被描述为增强的现实或混合的现实方法。在一个这样的配置中,通常被称为“视频透视”显示器,摄像机捕获现实场景的元素,计算系统叠加虚拟组件到被捕获的现实场景上,并且非透明显示器显示合成图像到眼睛。另一种配置是通常被称为“光透视”的显示器,其中,用户可以通过显示系统中的透明(或半透明)元素看以直接看到来自环境中的显示对象的光线。透明元素,通常被称为“组合器”,叠加来自显示器的光到用户的现实世界的视觉。
在视频和光透视两种显示器中,检测头部姿势可以使得显示系统渲染虚拟对象以使得它们看上去占据了现实世界中的空间。当用户头部在现实世界中移动时,根据头部姿势来重新渲染虚拟对象,以使得虚拟对象看上去相对于现实世界仍然保持稳定。在这种光透视显示器的情况下,用户的现实世界视觉基本具有零延迟,而他或她的虚拟对象视觉具有的延迟取决于头部追踪速度、处理时间、呈现时间、和显示帧速率。如果系统延迟高,在快速头部运动期间,虚拟对象的显现位置将出现不稳定。
除了头戴式显示系统之外,其他显示系统可从准确的和低延迟的头部姿势检测中获益。这些包括头部追踪显示系统,其中显示器不戴在用户身体上,但是,例如,安装在墙上或其它表面上。头部追踪显示器表现得像到现场的窗口,并为当用户相对所述“窗口”移动其头部时,场景重新渲染以匹配用户不断变化的视点。其它系统包括一个头戴式投影系统,其中,头戴式显示器将光投影到现实世界。
发明内容
本发明的实施例针对有助于一个或多个用户与虚拟现实和/或增强现实互动的设备、系统和方法。
一个实施例针对在虚拟图像系统或增强现实系统中操作的方法,所述方法包括,对于被呈现给最终用户的多个帧中的至少一些中的每一个帧,确定所述最终用户的视场中的虚拟对象相对于最终用户的参考帧出现的位置,以及至少部分地基于已确定的所述最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。在时间上相对于先前呈现给所述最终用户的帧,虚拟对象可以被新引入所述最终用户的视场。新引入的虚拟对象可以被确定以有可能吸引所述最终用户的注意。相对于至少一个先前帧,虚拟对象可以处于帧中的一个新的方位。或者,相对于如先前呈现给所述最终用户的所述虚拟对象的先前方位,虚拟对象可以处于一个新的位置以呈现给所述最终用户。
所述方法可以进一步包括基于指示最终用户对所述虚拟对象的注意的输入选择所述虚拟对象。指示最终用户对所述虚拟对象的注意的输入可至少部分地基于相对于先前呈现给最终用户的虚拟对象的方位,虚拟对象在呈现给最终用户的新方位的出现。或者,指示最终用户对所述虚拟对象的注意的输入可至少部分地基于呈现给所述最终用户的所述虚拟对象的方位相对于如先前呈现给最终用户的虚拟对象的方位多快地改变。
至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移向最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。或者,至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移至最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。
所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象的已确定出现的位置来预测最终用户头部运动的发生。方法可以进一步包括估计指示所预测的最终用户头部运动的所估计的速度的至少一个值,确定至少部分地补偿所预测的最终用户头部运动的所估计的速度的至少一个值,以及至少部分地基于已确定的值渲染至少一个后续帧。
所述方法可以进一步包括估计所预测的最终用户头部运动中的速度的至少一个变化,其中,速度的至少一个变化发生在所预测的头部运动开始和所预测的头部运动结束之间,并且其中估计指示所预测的头部运动的估计速度的至少一个值包括估计指示所预测的速度的至少一个值,其至少部分地适应所预测的最终用户头部运动中的速度所估计的变化。
估计所预测的最终用户头部运动中的速度的至少一个变化可包括,估计在所预测的头部运动开始后第一定义的时间和所预测的头部运动结束前的第二定义的时间之间的至少一个变化。
所述方法可以进一步包括估计指示所预测的最终用户头部运动的所估计加速度的至少一个值,确定至少部分地补偿所预测的最终用户头部运动的所估计的加速度的至少一个值,以及至少部分地基于已确定的值渲染至少一个后续帧。
所述方法可以进一步包括接收指示最终用户的身份的信息,以及基于所接收的指示最终用户的身份的信息来检索至少一个用于最终用户的用户特定的历史属性,其中用户特定的历史属性指示用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度和用于最终用户的先前眼睛运动到头部运动的关系之中的至少一个。
所述虚拟对象可以是虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示之中的至少一个。
另一个实施例针对增强现实系统中的操作方法,该方法包括:接收指示最终用户的身份的信息,至少部分地基于所接收的指示最终用户的身份的信息检索至少一个用于最终用户的用户特定的历史属性,以及至少部分地基于所检索的至少一个用于最终用户的用户特定的历史属性向最终用户提供帧。所接收的信息可以是指示最终用户的眼睛的至少一部分的图像的图像信息。
所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性,其提供了用于最终用户的至少一个头部运动属性的指示,其中头部运动属性指示最终用户的至少一个先前头部运动。或所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性,其提供了用于最终用户的至少一个先前头部运动的至少一个先前头部运动速度的指示。或者,所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性,其提供最终用户的跨越至少一个先前头部运动的范围内的至少一部分的头部运动速度的变化指示。或者,所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性,其提供用于最终用户的至少一个先前头部运动的至少一个先前头部运动加速度的指示。或者,所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性,其提供最终用户的至少一个先前头部运动和至少一个先前眼睛运动之间的关系指示。或者,所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性,其提供最终用户的至少一个先前头部运动和至少一个先前眼睛运动之间的比率指示。
所述方法可以进一步包括预测最终用户头部运动的至少一个终点,并至少部分地基于所检索的用于最终用户的至少一个用户特定的历史属性向最终用户提供帧,包括渲染至少一个后续帧给至少一个图像缓冲器,该至少一个后续帧移向所预测的头部运动的终点。
所述方法可以进一步包括渲染多个后续帧,其至少部分适应用于最终用户的至少一个头部运动属性移向所预测的头部运动的终点,该头部运动属性指示最终用户的至少一个先前的头部运动。
指示最终用户的至少一个先前的头部运动的头部运动属性可以是用于最终用户的历史头部移动速度、用于最终用户的历史头部移动加速度或用于最终用户的头部运动和眼睛运动之间的历史比率。
所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象出现的位置,预测最终用户的头部运动的发生。虚拟对象出现的位置可以用与上述相同的方式确定。
另一个实施例针对检测呈现给最终用户的帧中的一些像素之间的间隔将不同于帧中其它像素之间的间隔的指示,基于已检测的指示调整第一组像素,并提供具有所调整的第一组像素给至少一个后续帧的一部分以至少部分补偿呈现给最终用户的间隔之间的差异。像素特征(例如,尺寸、亮度等)可以被最终用户感知到。
所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素,其中第一组像素的方向与已检测的头部运动的方向相同,以及增加至少一个后续帧的第一组像素的尺寸。所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素,其中第一组像素的方向与已检测的头部运动的方向相同,以及响应于已检测的头部运动增加至少一个后续帧的第一组像素的亮度。
所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素,其中第一组像素的方向与已检测的头部运动的方向相反,以及响应于已检测的头部运动减少至少一个后续帧的第一组像素的尺寸。
所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素,其中第一组像素的方向与已检测的头部运动的朝向相反,以及响应于已检测的头部运动减少至少一个后续帧的第一组像素的亮度。
另一个实施例id针对在虚拟图像呈现系统中操作的方法,方法包括渲染第一完整帧到图像缓冲器,其中第一完整帧包括用于像素的顺序呈现以形成虚拟对象的图像的像素信息,开始第一完整帧的呈现,以及在第一完整帧的呈现结束之前通过呈现对第一完整帧的更新动态地中断呈现第一完整帧,在所述更新中像素信息的一部分已经从第一完整帧改变。
另一个实施例针对在虚拟图像呈现系统中操作的方法,方法包括渲染具有第一场(field)和第二场的第一完整帧到图像缓冲器,其中第一场至少包括第一螺旋扫描线并且第二场至少包括第二螺旋扫描线,第二螺旋扫描线至少与第一螺旋扫描线交错;读出存储第一完整帧的帧缓冲器;以及在读取第一完整帧完成之前通过读出对第一完整帧的更新动态中断读出第一完整帧,在所述更新中像素信息的一部分已经从第一完整帧改变。读出的动态中断可以基于已检测的最终用户头部运动,其中已检测的头部运动超过标称头部运动值。
另一个实施例针对在虚拟图像呈现系统中操作的方法,所述方法包括渲染具有第一场和第二场的第一完整帧到图像缓冲器,其中第一场至少包括第一利萨茹(Lissajous)扫描线并且第二场至少包括第二利萨茹扫描线,第二利萨茹扫描线至少与第一利萨茹扫描线交错;读出存储第一完整帧的帧缓冲器;以及在读取第一完整帧完成之前通过读出对第一完整帧的更新动态中断读出第一完整帧,在所述更新中像素信息的一部分已经从第一完整帧改变,所述更新动态中断基于最终用户已检测的头部运动超过标称头部运动值。所述方法可以进一步包括相移利萨茹扫描线以交错利萨茹扫描线。
另一个实施例针对在虚拟图像呈现系统中操作的方法,所述方法包括对于多帧中的每一个,响应于已检测的最终用户头部运动,为每个相应帧中的至少两部分中的每一部分确定相应的分辨率,并且基于已确定的相应帧中的至少两部分相应的分辨率呈现虚拟对象。所述相应的帧的部分可以帧的场、帧的线、帧的像素中的至少一个。所述方法可以进一步包括在呈现帧的第一部分和帧的第二部分之间调整驱动信号的特征以创建虚拟对象的图像中的可变分辨率。驱动信号的特征可以是驱动信号的振幅和驱动信号的斜率中的至少一个。
所述方法可以进一步包括基于已处理的眼睛追踪数据、已确定的最终用户的视场中的虚拟对象相对于最终用户参考帧出现的位置、已确定的当新引进最终用户的视场时虚拟对象出现的位置、已确定的虚拟对象相对于该虚拟图像在至少一个先前图像中的方位在图像中的新方位中出现的位置之中的至少一个来为最终用户评估至少第一图像中的注意点。
所述方法可以进一步包括在至少一个后续的图像的一部分中增加所述至少一个后续图像中的分辨率,其相对于所述至少一个后续的图像的其他部分至少邻近于评估出的注意点。所述方法可以进一步包括在至少一个后续的图像的一部分中减少所述至少一个后续图像中的分辨率,其相对于所述至少一个后续的图像的其他部分至少为评估出的注意点的远侧。
另一个实施例针对在虚拟图像呈现系统中操作的方法,所述方法包括:向最终用户显示至少一个虚拟对象,并且在已检测的头部运动超过标称头部运动值和所预测的头部运动被预测超过头部运动值中至少之一时暂时消隐所述至少一个虚拟对象的显示的一部分。所述方法可进一步包括处理经由至少一个传感器提供的追踪数据以确定已检测的头部运动和所预测头部运动中的至少一个,其中头部追踪数据至少指示最终用户的头部朝向。
另一个实施例针对一种投影机装置来在增强现实系统中至少投影[a1]虚拟图像,所述投影机装置包括投影机组件、使投影机组件在至少一个自由轴上可移动的支撑投影机组件的支撑件、至少一个被耦合以选择性地移动投影机组件的执行机构、以通信方式耦合以控制执行机构使得投影机组件响应于最终用户头部运动超过标称头部运动值的检测和最终用户头部运动的预测被预测超过标称头部运动值中的至少一个被移动的控制子系统。投影机组件可以进一步包括至少一个第一光纤,所述第一光纤具有后端和前端,后端被耦合以接收图像,前端被定位以由此传送图像。
支撑组件可以包括接收至少第一光纤的压电环,其靠近但与第一光纤前端向后侧隔开,使得第一光纤靠近其前端的一部分从所述压电环延伸并且以定义的谐振频率自由振荡。
根据权利要求87的投影机装置,其中至少受控制的子系统被以通信方式耦合以接收经由至少一个传感器提供的头部追踪数据,该头部追踪数据至少指示最终用户的头部朝向。对于呈现给最终用户的多个图像中的至少一些的每一个,控制子系统确定虚拟对象在最终用户的视场中相对于最终用户参考帧出现的位置,评估已确定的位置是否需要最终用户转动用户头部,并基于该评估预测头部运动的发生。
另一实施例针对虚拟图像呈现系统中的操作方法,所述方法包括过渲染(overrendering)用于定义的视场的帧,使得用于帧的一组像素的像素信息超出以最大分辨率显示的最大区域,确定帧的一部分以基于已检测的头部运动和所预测的头部运动中的至少一个呈现给最终用户,并且选择性地仅读出帧的确定的部分。
另一实施例针对用户显示设备,包括可安装在用户头部的外壳框架、可安装在外壳框架上的透镜,以及被耦合到外壳框架以至少部分地基于用户头部运动的检测和用户头部运动的预测中的至少一个来确定显示对象在用户视场出现的位置并基于已确定的显示对象出现的位置来投影显示对象到用户的的投影子系统。显示对象出现的位置可以被移动以响应用户头部运动的检测或用户头部运动的预测中的至少一个超过或预测超过标称头部运动值。用户头部运动的预测可基于用户在焦点的移动的预测或用户的一组历史属性。
用户显示设备可以进一步包括可安装在外壳框架上的第一对摄像机以追踪用户眼睛的移动,并基于追踪的眼睛运动估计用户的眼睛的焦点深度。投影子系统可以基于所估计的焦点深度投影显示对象。
用户显示设备可以进一步包括可安装在外壳框架上的第二对摄像机以捕获如用户眼睛看到的视场图像,其中视场图像包含至少一个物理对象。投影子系统可以以一种方式投影显示对象,使得显示对象和通过第二对摄像机捕获的物理对象相互混合并一起出现在同一帧中。出现位置可至少部分地基于物理对象。显示对象和物理对象可具有预先确定的关系。捕获的视场图像可以被用于收集关于用户头部运动的信息,其中关于用户头部运动的信息包括用户注意的中心、用户头部的朝向、用户头部的方向、用户头部运动的速度、用户头部运动的加速度和与用户的本地环境有关的用户头部的距离。
透镜可以包括至少一个透明表面以选择性地允许透射光,使得用户能够观察本地环境。投影子系统可以以一种方式投影显示对象,使得用户观察显示对象和本地环境如同通过透镜的透明表面进行观察。
用户显示设备还可以包括至少一个惯性传感器以捕获一组表示用户头部运动的惯性测量,其中该组惯性测量包括用户头部运动的速度、用户头部运动的加速度、用户头部运动的方向、用户头部的方位以及用户头部的朝向。
用户显示设备可以进一步包括至少一个光源以照亮用户的头部和用户的本地环境中的至少一个。
投影子系统可以调整与显示对象相关联的一组像素的所感知尺寸、亮度和分辨率中的至少一个以补偿检测到的头部移动和所预测的头部运动中的至少一个。显示对象可以是虚拟对象和增强虚拟对象中的一个。
本发明的另外的和其他的目标、特征、和优点在详细描述、附图和权利要求中被描述。
附图说明
图1示出了使用预测头部追踪来为最终用户|[12]渲染帧的示例。
图2示出了基于呈现给最终用户的虚拟对象的特征来预测头部运动的技术示例。
图3示出了帧中心偏移到哪的示例。
图4示出了基于最终用户的一组历史属性来预测头部运动的技术示例。
图5示出了基于历史属性预测头部运动的技术的另一示例。
图6示出了检索用户的多种历史属性的示例。
图7示出了基于预测的终点来渲染后续帧的示例。
图8示出了渲染后续帧的另一示例。
图9示出了预测头部运动的发生的示例。
图10示出了基于头部运动来调节像素的示例。
图11示出了使用调整后的像素渲染帧的示例。
图12示出了增加像素的尺寸和/或亮度的示例。
图13示出了的动态中断帧的呈现的示例。
图14示出了呈现更新后的帧的一部分的示例。
图15示出了读取更新帧的示例。
图16示出了相移的示例。
图17示出了导致图像中可变分辨率的示例。
图18示出了调整驱动信号的振幅的示例。
图19示出了基于最终用户的注意点调整后续图像中的分辨率的示例。
图20示出了调整分辨率的另一示例。
图21示出了确定虚拟对象出现的位置的示例。
图22示出了消隐显示虚拟对象的一部分的示例。
图23示出了基于虚拟对象的吸引力来预测头部运动的示例。
图24示出了频闪的示例。
图25示出了有选择地激活执行机构[13]以移动投影机组件的示例。
图26示出了选择性地读出帧的一部分的示例。
图27示出了基于已确定的虚拟对象的位置选择性地读出一部分的示例。
图28示出了选择性地读出一部分的另一示例。
图29示出了确定图像的一部分以呈现给最终用户的示例。
图30示出了动态地处理[14]过渲染的帧的一部分的示例。
图31示出了具有像素信息的帧的示例。
图32示出了光栅扫描图样的示例。
图33示出了螺旋扫描图样的示例。
图34示出了利萨茹扫描图样。
图35示出了多场螺旋扫描图样的示例。
图36A示出了在最终用户的头部快速横向移动期间光栅扫描图样失真的示例。
图36B示出了在最终用户的头部垂直向上移动期间光栅扫描图样失真的示例。
图37A示出了在最终用户的头部向左侧迅速地横向运动期间螺旋扫描线失真的示例。
图37B示出了在用户的头部向左侧非常迅速地横向运动期间螺旋扫描线失真的示例。
图38示出了虚拟图像生成系统的概述。
具体实施方式
下面的说明涉及在虚拟现实和/或增强现实系统中使用的显示系统和方法。然而,应理解,在适用于虚拟现实中的应用的同时,本发明在其最广泛的方面并不受限制。
首先参照图38,图38根据一个所示出的实施例示出了虚拟图像生成系统3800,其可以操作以向最终用户3802提供虚拟映像。
虚拟图像生成系统3800可以被作为增强现实系统操作,其在最终用户的视场中提供与物理对象混合的虚拟物体图像。当将虚拟图像生成系统3800作为增强现实系统操作时,有两种基本方法。第一种方法采用一个或多个成像器(例如,摄像机)以捕获周围环境的图像。虚像生成系统3800可以将图像混合进代表周围环境的图像的数据。第二种方法采用一个或多个通过其可以看到周围环境的至少部分透明的表面,并且虚拟图像生成系统3800在其上产生虚拟物体的图像。如将对本领域技术人员显而易见的,至少一些本文所描述的方面特别适合于增强现实系统。
虚像生成系统3800可以被作为虚拟现实系统操作,提供虚拟环境中的虚拟对象的图像。
虚像生成系统3800以及本文所教导的各种技术可以被用在除增强现实和虚拟现实系统之外的应用中。例如,各种技术可被应用到任何投影或显示系统。例如,本文描述的各种技术可应用到微型投影机,其中运动可以是最终用户的手的运动而不是头部运动。因此,尽管本文经常就增强现实系统而言进行描述,但教导不应受限于这种系统或这种用途。
至少对于增强现实应用,需要在最终用户3802的视场中放置相对于相应的物理对象的各种虚拟对象。本文也称为虚拟标签或标签或标注的虚拟对象可以采用任何各种各样的形式,主要为能够被呈现为图像的任何种类的数据、信息、概念或逻辑结构。虚拟对象的非限制性示例可以包括:虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示。
头部追踪精度和延迟一直是虚拟现实及增强现实系统中的问题。追踪不准确和延迟产生最终用户的视觉系统和前庭系统之间的不一致。这可能会导致恶心和不适。这在填充最终用户的大部分视场的显示系统中特别成问题。解决这些的途径可能包括提高帧速率或有效帧速率,例如通过闪动或闪烁或通过其他技术。如本文所描述的,可以用预测性头部追踪来解决这些问题,例如通过减少延迟。预测性头部追踪可依赖于大量的不同因素或方法,包括用于特定最终用户的历史数据或属性。本文还描述了显示或呈现的消隐可以被有效地使用,例如在快速头部运动时消隐。
至少对于增强的现实应用,与物理对象有空间关系的虚拟对象的放置(例如,被呈现以在两个或三个维度出现空间上接近物理对象)是重要的问题。例如,考虑到周围环境,头部运动可显著地使视场内的虚拟对象的放置复杂化。无论是被捕获的周围环境的图像并随后被投影或显示给最终用户3802的视场,还是最终用户3802直接感知的周围环境的视场,均是如此。例如,头部运动将可能导致最终用户3802的视场的改变,其将可能需要对显示在最终用户3802视场中的各种虚拟对象的位置进行更新。此外,头部运动可能会在种类繁多的范围和速度中发生。不仅在不同头部运动之间头部运动速度可能会发生变化,而且跨单个头部运动范围或者在单个头部运动范围之内头部运动速度也可能会发生变化。例如,头的移动速度可最初从起点增加(例如,线性地或非线性地),并且当到达终点时可以降低,在头部运动的起点和终点之间的某处获得最大速度。快速的头部运动甚至可能超过特定显示或投影技术向最终用户3802渲染出现均匀和/或如平滑的运动的图像的能力。
在图38所示的实施例中,虚拟图像生成系统3800包括投影子系统3804,其可操作以在位于最终用户的3802视场中的部分透明的显示表面3806上投影图像,所述显示表面3806在最终用户3802的眼睛3808和周围环境之间。虚拟图像生成系统3800可能被穿戴或安装在最终用户3802的头部3810上,例如并入到一副眼镜或护目镜。
在所示的实施例中,投影子系统3804包括一个或多个光纤3812(例如,单模光纤),其具有光被接收进入的后端或远端3812a和光从其被提供至部分透明的显示表面3806或者被直接投影进最终用户3802的眼睛3808的前端或近端3812b。投影子系统3804还可以包括一个或多个光源3815,其产生光(例如,以定义的图样发射不同颜色的光),并以通信方式将光耦合至以一个或多个光纤3812的后端或远端3812a。光源3815可采取任何不同各种形式,例如根据在像素信息或数据的相应帧中指定的所定义的像素图案其可操作以分别产生红色、绿色和蓝色相干平行光的一组RGB激光器(例如,能够输出红色绿色和蓝色光的激光二极管)。激光提供高色彩饱和度并高的能源效率。
尽管图38示出了将光分解至多个信道的单个光纤3812,一些实现可采用两个或更多光纤3812。在这样的实施例中,光纤3812可以具有交错的尖端或者有斜面并且被抛光的尖端以弯曲光,降低了信道之间的光学间隔。光纤3812可方便地包装成带状电缆。适当的光学器件可产生由每个信道所产生的相应的图像的结合物。
一个或多个光纤3812可通过轭3814支持,具有由此延伸的前或近端3812b的一部分。轭3814可被操作以设置该前或近端3812b处于振荡运动。例如,轭3814可以包括一管压电式传感器3814a(图38仅示出一个)。多个电极3813(例如,示出了四个,仅有一个被标注)放射状地关于压电式传感器3814a排列。例如经由帧缓冲器3828施加控制信号至与压电式传感器3814a相关联的各个电极3813可导致光纤3812的前或近端3812b以第一谐振模式振动。振动的大小或偏离中心的量可经由所施加的驱动信号控制以获得任何各种的至少二轴的图样。图样可以例如包括光栅扫描图样、螺旋或蜗旋的扫描图样、或利萨茹或图8扫描图样。
图31根据一个所示的实施例示出了像素信息或数据的帧3100,其指定像素信息或数据以呈现图像,例如,一个或多个虚拟对象的图像。帧3100以单元3100A,-3100n(仅标注出两个,统称3102)示意性地示出每个像素。排列成行或线的单元3104a、31004b-3100n(标注出三个,统称3104)的序列,被示为水平延伸跨越图31中的图页。帧3100包括多个线3104。图31采用椭圆型来表示缺少的信息,例如为了清楚说明而省略的单元或行。
帧3100的每个单元3102可以为与单元对应的像素和/或亮度的各个像素指定用于多个颜色中的每一个的值(统称3106)。例如,帧3100可以为每个像素指定用于红色3106a的一个或多个值,指定用于绿色3106b的一个或多个值以及指定用于蓝色3106c的一个或多个值。值3106可以被为指定为用于每个颜色的二进制表示,例如每一个颜色对应4位数字。帧3100的每个单元3102可能另外包括为每个像素指定振幅或径向尺寸的振幅或径向值#P06d,例如在结合基于螺旋扫描线图样的系统或基于利萨茹扫描线图样的系统使用帧3100时。
帧3100可以包括被统称为3110的一个或多个场。帧3100可以由单个场构成。可选地,帧3100可包括两个,或甚至更多的场3110a-3110b。图31中所示的帧3100示出了两个场3110a、3110b。用于帧3100的完整的第一场3110a的像素信息可在用于完整的第二场3110b的像素信息之前被指定,例如在用于数列、有序列表或其它数据结构(例如,记录、链表)中用于第二场3110b的像素信息之前发生。假定呈现系统被配置以处理多于两个的场3110a-3110b,第三或甚至第四场可以跟随在第二场3110b之后。
图32示意性地表示光栅扫描图样3200。在光栅扫描图样3200中,像素3202(只有一个被标注出)被依次呈现。光栅扫描图样3200典型地从左至右(由箭头3204a、3204b表明)然后从上到下呈现(由箭头3206表明)像素。因此,该呈现可以在右上角开始并向左遍历第一行3208直到达到行的末尾。随后光栅扫描图样3200典型地从下一行的左侧开始。呈现可以被暂时停止或消隐,其从一行的末尾返回到到下一行的开始。该过程一行接一行重复直到完成底部线3208n完成,例如,底部最右像素。随着帧3100被完成,新的帧开始,再一次返回下一帧的最上面的行的右侧。再一次地,当从底部左侧返回到上方右侧以呈现下一个帧时,呈现可被停止。
光栅扫描的许多实现方式使用交错扫描图样。在交错光栅扫描图样中,来自第一和第二场3210A、3210b的行是交错的。例如,当呈现第一场3210a的行时,用于第一场3210a的像素信息可以仅用于奇数行,而用于第二场3210b的像素信息可以仅用于偶数行。这样,帧3100(图31)的第一场3210a的所有行典型地在第二场3210b的行之前呈现。第一场3210a可以使用第一场3210a的像素信息来依次呈现行1、行3、行5等。随后帧3100(图31)的第二场3210b可以通过使用第二场3210b的像素信息跟着第一场3210a呈现来依次呈现行2、行4、行6等。
图33示意性地根据一个示出的实施例表示螺旋扫描图样3300。螺旋扫描图样3300可以由单个螺旋扫描线3302构成,其可包括一个或多个完整的角周期(例如,360度),其可以被命名为圈或环。像素信息被用于指定每个顺序的像素的颜色和/或亮度,随着角度增加。振幅或径向值3208(图31)指定自螺旋扫描线3302的起点3308的径向尺寸#R06。
图34示意性地根据一个所示实施例表示利萨茹扫描图样3400。利萨茹扫描图样3400可以由单个利萨茹扫描线3402构成,其可包括一个或多个完整的角周期(例如,360度),其可以被命名为圈或环。可选地,利萨茹扫描图样3400可以包括两个或更多利萨茹扫描线3402,所述两个或更多利萨茹扫描线3402每个均相对于彼此相移以嵌套利萨茹扫描线3402。像素信息被用于指定随着角度增量每个顺序的像素的颜色和/或亮度。振幅或径向值3208(图31)指定从利萨茹扫描线3402的起点开始的径向尺寸。
图35示意性地根据一个所示实施例表示多场螺旋扫描图样3500。多场螺旋扫描图样3500包括两个或更多个不同的螺旋扫描线,统称为3502,图35示出了四个螺旋扫描线3502a-3502d。用于每个螺旋扫描3502线的像素信息可以被帧3100(图31)各自的场(例如,3210a,3210b)指定。有利地,可以简单地通过在每一个连续的螺旋扫描线3502之间进行相移来嵌套多个螺旋扫描线3502。螺旋扫描线3502之间的相位差应取决于将被采用的螺旋形扫描线3502的总数。例如,四个螺旋扫描线3502a-3502d可以以90度相移分开。示例性实施例可以以100赫兹刷新率结合10个不同的螺旋扫描线(即,子螺旋)操作。类似于图33的实施例,一个或多个振幅或径向值3208(图31)指定从螺旋扫描线3502的起点3508开始的径向尺寸3506。
如从图34和35可知,相邻像素之间的相对间隔可以在整个图像中变化。至少部分地适应或补偿该不均匀性可能是有利的。例如,调整像素尺寸可能是有利的,例如增加用于比其它像素间隔更远的像素的所感知的像素尺寸。这可以例如经由选择性模糊(例如,可变焦距透镜、可变扩散、抖动)以增加高斯光斑尺寸来实现。另外或可选地,调整用于比其它像素间隔更远的像素的亮度可能是有利的。
返回到图38,使用正弦波驱动信号以关于第一轴的共振频率和关于垂直于第一轴的第二轴的共振频率驱动压电式传感器3814a来产生螺旋扫描图样。螺旋扫描图样以随角度尺寸的变化而变化的径向尺寸为特征。例如,径向尺寸可以线性地或非线性地变化,当径向尺寸从0度到或通过360度变化时。在现象上,螺旋扫描线可出现连续的螺旋,该螺旋起始于起点并在在一个平面上旋转的同时径向向外放射。每个完整的角周期可被描述为构成圈或环。在起始点开始之前,可以定义具有任何期望数量的圈或环的螺旋扫描线。在在时间上第一螺旋扫描图样的结尾和下一个在时间上连续的螺旋扫描图样开始之间可发生显示或呈现被消隐的刷新周期。螺旋扫描图样的最外径向尺寸可通过正弦波驱动信号的振幅调制来设置。螺旋扫描线图样的振幅调整调整径向尺寸而不会影响角度尺寸。这样,振幅调制将不会影响周期的频率(例如,圈或环的数目)或给定时间的用于给定的扫描线的周期数。图样中的前端或近端3812b的方位与光源3815的输出同步以形成二维或三维图像。
虽然未示出,投影子系统3804可以包括一个或多个光学组件(例如,透镜、滤光器、光栅、棱镜、反射镜、分色反射镜、折射镜),其例如经由部分透明显示表面3806直接或间接地引导来自一个或多个光纤3812的前端或近端3812b的输出到最终用户3802的眼睛3808。虽然未示出,投影子系统3804可以包括一个或多个光学组件,其调制像素数据的Z轴方位的深度。这样可以例如采取柔性反射(例如,涂覆有铝的氮化物溅镀(nitride sputter))膜和一个或多个被操作以引起柔性反射膜偏转的电极的形式。柔性反射膜被定位以反射和聚焦从一个或多个光纤3812的前端或近端3812b发射的光。柔性反射膜可基于用于像素数据或信息的深度图选择性地被操作以在Z维或轴聚焦光。柔性反射膜可采用高斯点以产生深度的外观,图像中的某些虚拟对象出现在焦点同时其他对象在焦点之外。附加或备选地,该系统可以使用一个或多个克尔(kerr)效应透镜。
虽然对于头戴式实施例是不必要的,光纤3812以及可选的轭3814可以被支持以用于在一个或多个方向的运动。例如,光纤3812,以及任选轭轭3814可以经由常平架3816被支持以用于运动的2、3或更多个自由度。常平架3816可以包括转盘3816a、可被操作以围绕第一轴3820a转动或旋转的第一执行机构3818a(例如,电动机、螺线管、压电式传感器)。常平架3816可以包括被转盘3816a上的框架3816c支撑的托架3816b,第二执行机构3818b(例如,电动机、螺线管、压电式传感器器)可被操作以围绕第二轴3820b转动或旋转。常平架3816可以包括由托架3816b可转动地支撑的杆3816d、可被操作以围绕第三轴3820c转动或旋转的第三执行机构3818c(例如,电动机、螺线管、压电式传感器)。第一、第二和第三轴(统称为3820)可以是正交的轴。
在图38所示的实施例中,虚拟图像生成系统3800包括控制子系统3822。控制子系统3822可以采取大量不同形式中的任意一个,其中一种在图38中示出。
控制子系统3822包括多个控制器,例如一个或多个微控制器、微处理器或中央处理单元(CPU)3824、数字信号处理器(DSP)、图形处理单元(GPU)3826、其它集成电路控制器如专用集成电路(ASIC)、可编程门阵列(PGA),例如现场PGA(FPGA)和/或可编程逻辑控制器(PLU)。在图38所示的实施例中,微处理器3824控制整个操作,而GPU3826渲染帧(例如,像素数据组)到一个或多个帧缓冲器3828a-3828n(统称为3828)。虽然没有示出,一个或多个附加的集成电路可控制从帧缓冲器3828读入和/或读出帧以及压电式传感器或电极3814a的操作,同步两者以产生二维或三维图像。例如在帧被过渲染的地方,读入和/或输出帧缓冲器3828的帧可以采用动态寻址。
控制子系统3822包括一个或多非个临时性计算机或处理器可读介质以存储指令和数据。该非临时性计算机或处理器可读介质可以例如包括帧缓冲器3828。非临时性计算机或处理器可读介质可以例如包括一个或多个非易失性存储器,例如只读存储器(RAM)3830或闪存。非临时性计算机或处理器可读介质可以例如包括一个或多个易失性存储器,例如随机存取存储器(RAM)3832。控制子系统3822可包括其它易失性和非易失性存储器,包括旋转介质存储以及固态存储设备。
在采用执行机构(统称3818)的实现方式中,控制子系统3822可选地包括以通信方式经由马达控制信号被耦合以驱动执行机构3818的一个或多个专用马达控制器3834。
控制子系统3822可选地包括一个或多个通信端口3836a、3836b(统称为3836),其提供与不同的其它系统、组件或设备的通信。例如,控制子系统3822可以包括一个或多个提供有线或光通信的有线接口或端口3836a。又例如,控制子系统3822可以包括一个或多个无线接口或端口,如一个或多个提供无线通信的无线电设备(即,无线发射器、接收器、收发器)3836b。
如示出的,有线接口或端口3836a提供与环境成像系统3838的有线或光通信,环境成像系统3838包括被定位和定向以捕捉最终用户3802所在的环境的图像的一个或多个摄像机3838a。这些可用于感知、测量或收集有关最终用户3802和/或环境的信息。例如,这些可以用于检测或测量最终用户3802或者最终用户3802的部分身体——例如头部3810——的运动和/或和方位。如示出的,有线接口或端口3836a可选地提供与结构照明系统3840的有线或光通信,所述结构照明系统3840的包括被定位和定向以照亮终端用户3802、最终用户3802的一部分如头3810和/或在其中最终用户3802所在环境的一个或多个光源3840a。
如示出的,无线接口或端口3836b提供与一个或多个头戴式传感器系统3842的无线(例如,RF、微波,IR)通信,所述头戴式传感器系统3842包括一个或多个惯性传感器3842a以捕获指示最终用户3802的头部3810运动的惯性测量。这些可用于感知、测量或收集有关最终用户3802的头部运动的信息。例如,这些可用于检测或测量最终用户3802的头部3810的运动、速度、加速度和/或方位。如示出的,有线接口或端口3836a可选地提供与成像系统3842的有线或光通信,所述成像系统3842包括例如,一个或多个前向成像器或摄像机3842a。这些可以被用来捕获关于最终用户3802所在的环境的信息。这些可以被用来捕获指示最终用户3802相对于那个环境和那个环境中的特定对象的距离和朝向的信息。当被戴在头上,前向成像器或摄像机3842a特别适合于捕获指示最终用户的头部3810相对于最终用户3802所在的环境和那个环境中的特定对象的距离和朝向的信息。这些可以例如被用来检测头部运动、头部运动的速度和/或加速度。这些可以例如被用于检测或推断最终用户3802的注意中心,例于至少部分地基于最终用户的头部3810的朝向。朝向可以在任何方向被检测(例如,相对于最终用户的参考帧的上/下、左/右)。
在一些实现中所有通信都可以是有线的,而在另一些实现中所有通信都可以是无线的。在进一步的实现中,有线和无线通信的选择可能不同于图38所示出的。因此,有线或无线通信的特定选择不应该被认为是限制性的。
控制子系统3822的不同组件,例如微处理器3824、GPU3826、帧缓冲器3828、ROM3830、RAM3832、和/或可选地专用马达控制器3834可以经由一个或多个通信通道可通信地被耦合,所述通信通道例如是一个或多个总线3846(仅示出一个)。总线3846可以采取不同的形式,包括指令总线、数据总线、地址总线、其他通信总线,和/或电源总线。
预测头部运动的能力允许虚拟图像生成系统3800(图38)——例如增强现实系统,快速地更新图像的呈现和/或适应或补偿头部运动。例如,由可能在仅感知到头部运动的采用的情况下,后续帧可被更早的再渲染或读出。如从本文讨论中将显而易见的,适应或补偿可采取各种形式。例如,可以以偏移的视场或者移向或移到最终用户的注意或聚焦的区域的中心渲染或读出后续帧。又例如,后续帧可被再渲染或读出以适应或补偿自头部运动而导致的变化。例如,在某些显示器或投影技术中(例如,“飞行像素”技术,其中像素被顺序显示,例如光栅扫描、螺旋扫描、利萨茹扫描),快速的头部运动可能导致被呈现给最终用户的帧像的素之间的间隔变化。适应或补偿可以包括适应或补偿这种像素间距的变化。例如,一些像素的尺寸或所预测的尺寸可以相对于其它像素被调整。还例如,一些像素的亮度或所预测的亮度可以相对于其它像素被调整。作为进一步的例示例,后续帧可以以所得图像不同部分之间的可变分辨率被渲染或读出。其他适应或补偿技术将从该讨论中显而易见。在其它方面,许多这些相同的技术可为了除适应或补偿以外的目的而被采用,并且可以独立地被用于预测头部追踪、感知的头部追踪,和/或与基于非“飞行像素”的显示或投影技术结合使用。
最终用户的运动,例如头部运动可能对图像产生重大的影响。由于增强现实系统试图渲染帧的后续帧与头部运动相一致,所得的虚拟对象的图像可以被压缩、扩展或以其他方式变形。这至少部分是事实的结果——对于许多显示或呈现技术(即“飞行像素”技术),用于任何给定的帧的完整的图像并非被同时呈现或显示,而是由一个又一个的像素呈现或显示。因此,对于这些显示或呈现技术不存在真正的瞬时视场。这可能会以不同的形式,跨越许多不同类型的图像生成技术发生,例如光栅扫描、螺旋扫描或利萨茹扫描方法。一个或多个“白色”或空白帧或图像可以减轻一些快速头部运动的影响。
例如,图36A示出了在最终用户的头部快速横向运动期间产生在光栅扫描3600a中的示例性失真。该失真可能是非线性的,因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及光栅扫描像素生成的方向(例如,从右到左,从上到下)。
又例如,图36B示出了在最终用户的头部快速垂直运动期间产生在光栅扫描3600中的示例性失真。该失真可能是非线性的,因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及光栅扫描像素生成的方向(例如,从右到左,从上到下)。
作为另一个例子,图37A示出了在最终用户的头部向左侧的快速横向运动期间产生在螺旋扫描线3700a中的示例性失真。该失真可能是非线性的,因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及螺旋扫描像素生成的方向(例如,顺时针方向,增加半径)。如示出的螺旋扫描线3700a的连续环或圈之间的间隔在头部运动的方向增加(例如,向图纸的左边),并且在相反的方向减小(例如,向图纸的右边)。
作为另一个例子,图37B示出了在最终用户的头部向左侧的快速横向运动期间产生在螺旋扫描线3700b中的示例性失真。该失真可能是非线性的,因为头部运动可以在开始后加速并在终止前减慢。事实上,如图37B所示,失真可能是高度椭圆(high elliptic)并且去中心化的。该失真取决于头部运动的方向、速度和加速度以及螺旋扫描像素生成的方向(例如,顺时针方向,增加半径)的函数。如示出的的螺旋扫描线3700b的连续环或圈之间的间隔在头部运动的方向上增加(例如,向图纸的左边)。对于相对于系统来说头部运动过快的地方,每个环或圈的最左部分可以位于与相对于螺旋扫描线3700b的起点的头部运动相同的方向,如图37B所示。
采用螺旋扫描图样的一个优点是,地址到图像缓冲器的转换独立于运动的方向(例如,头部运动、用于手持的微型投影机的手部运动)。
上述系统被用于下述的所有实施例。在一个实施例中,基于预测用户的焦点的移动,该系统可以被用于预测头部追踪。图1根据一个所示实施例示出了在采用预测头部追踪的增强现实系统中的方法100的操作。
在102,增强现实系统(例如,控制器子系统和/或其处理器)将多个帧作为呈现给增强现实系统的最终用户的图像。所述帧典型地包括指定用于在视场产生一个或多个虚拟对象的像素信息。如前所述,虚拟对象可以采取多种不同的虚拟对象的形式或格式中的任意一种,其可以可视地表示物理对象或者可被表示的信息、数据或逻辑结构。虚拟对象的非限制性实例可以包括:虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟可视化表示。
在104,增强现实系统至少基于指示最终用户的注意的输入选择一个或更多虚拟对象。
输入可以是最终用户的实际选择。选择可以由最终用户实时做出或可能已被由预先指定。因此,最终用户可以选择某一组虚拟工具作为最终用户通常地较其他对象更为聚焦或者注意的一类虚拟对象。
输入可从各种来源被推出。输入可涉及到虚拟对象本身。输入可以被附加地或备选地涉及到最终用户的视场或者显示器或投影机的视场中的物理对象。输入可以附加地或备选地涉及到用户自身,例如最终用户和/或最终用户的一部分(例如,头、眼睛)的朝向和/或方位,或者历史属性。该历史属性可以是最终用户特定的,或者更一般化或通用的。历史属性可以指示一组已定义的最终用户的特征。最终用户特征可以例如包括头部运动速度、头部运动加速度、和/或头部运动和眼睛运动之间的关系(如一个到另一个的比率)。通过历史属性追踪的最终用户特征甚至可以包括指示给定的最终用户注意某些虚拟对象的倾向性。这些可以通过虚拟对象类型(例如,文本、图表)、最近的虚拟对象(例如,新出现的对象)、虚拟对象的运动(例如,图像到图像的大的变化、快速或迅速的运动、运动的方向)和/或虚拟物体的特征(如颜色,亮度,尺寸)来指定。
在106,对于被呈现给最终用户的多个帧中至少一些中的每一个帧,增强现实系统(例如,控制器子系统和/或其处理器)确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置。例如,增强现实系统可以确定新引入的虚拟对象的位置、已定义类型的虚拟对象、快速移动或超过大距离的虚拟对象、或曾经为最终用户的注意点的虚拟对象。
在108,增强现实系统至少部分地基于已确定的最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。本文讨论了调整视场中虚拟对象的出现的多种方式,包括非彻底地适应或补偿、调整像素尺寸、调整像素亮度、调整分辨率、开窗和/或消隐或闪烁。
图2根据一个所示实施例示出了在增强现实系统中另一个操作的方法200。在执行图1中方法100的动作104和/或10 6时可采用方法200。
方法200采用基于被或将被呈现给最终用户的虚拟对象的特征来预测头部运动的技术。例如,预期新引入的虚拟对象或虚拟对象的运动(例如,由于意外、速度和/或距离)可能会吸引用户注意的虚拟对象,导致头部运动以将特定的虚拟对象带入或靠近最终用户视场的中心。附加地或备选地,在评估哪些最有可能吸引人注意时,增强现实系统可依赖于虚拟对象的其他特征。例如,高吸引力的(例如,闪烁、微闪)、大型的、快速运动的,或明亮的虚拟对象比其他虚拟对象更可能吸引注意。
针对新引入虚拟对象的情况,在#ab02,当其被新引入最终用户的视场时,增强现实系统(例如,控制器子系统和/或其处理器)选择和/或确定虚拟对象出现的位置。当未出现在先前(时间上)呈现给最终用户的相关的帧中时,虚拟对象被认为是新引入的。特别是,增强现实系统依赖于一个事实,即新引入的虚拟对象相对于出现在直接的在先帧中的虚拟对象更可能会吸引最终的注意。附加地或备选地,增强现实系统可通过评估哪个最可能引起注意来依赖虚拟对象的其它特征,例如,以在多个新引入的虚拟对象选择或划分优先级。例如,高吸引力的(例如,闪烁,微闪)、大型、快速移动、或明亮的虚拟对象可能比其他的虚拟对象更能够吸引注意。
针对正在移动的虚拟对象的情况,在204,增强现实系统(例如,控制器子系统和/或其处理器)选择和/或确定虚拟对象相对于至少一个先前帧中的同一虚拟对象的方位在帧中的新方位中出现的位置。这样,突然移动、快速移动、和/或空间上虚拟对象从一帧到一个或多个后续帧的大的方位移动可能易于吸引最终用户的注意或聚焦。附加地或备选地,增强现实系统可通过评估哪个最可能引起注意来依赖虚拟对象的其它特征,例如,以在多个新引入的虚拟对象之间选择或划分优先级。例如,高吸引力的(例如,闪烁,微闪)、大型、或明亮的虚拟对象比其他的虚拟对象更可能吸引注意。
图3根据一个所示实施例示出了在增强现实系统中操作的方法300。可以在执行图1的方法100中的动作108时采用方法300。
在302,增强现实系统(例如,控制器子系统和/或其处理器)呈现至少一个后续帧,该至少一个后续帧的中心至少被移向——如果不是被集中在——已确定的最终用户的视场中虚拟对象出现的位置。后续帧或图像的中心可以被移动以共同位于所选择的被预测吸引最终用户注意的虚拟对象的位置。备选地,后续帧的中心可能移动以接近所选择的被预测吸引最终用户注意的虚拟对象的位置。这可在二维或三维中执行。例如,虚拟对象的二维或三维方位可以被用来分别在二维或三维中调整后续图像的视场。移动的后续帧或图像最好与所预测的最终用户头部运动在时间上一致。因此,移动的后续帧或图像应该尽可能在时间上与真实头部运动一致地呈现给最终用户。如本文所讨论的,这可能考虑速度、加速度、以及速度和加速度中的变化。
图4根据一个所示实施例示出了的增强现实系统中操作的方法400。可以在执行图1的方法100时采用方法400。
可选地,在402,增强现实系统接收指示最终用户的身份的信息。该信息可以采取多种不同形式中的任何形式。例如,信息可以是用户名或由最终用户输入或者来自与最终用户相关联的应答器、磁条、或机器可读符号的其他用户标识符(例如,加密的)。例如,信息可以包括指示最终用户的一个或多个物理特征的生物识别信息。在一个特别有利的实现中,增强现实系统可以接收图像数据,其代表最终用户的一个或两个眼睛的一部分(例如,视网膜)。例如,增强现实系统可以例如经由一个或多个光纤投影光进入最终用户的一个或两个眼睛。该光可以被调制以例如增加信噪比和/或限制眼睛的加热。图像传感器可以例如经由投影光的一个或多个光纤捕获眼睛的部分的图像,所述光纤提供双向路径。备选地,专用光纤也可被采用。如进一步备选地,图像传感器可以被置于靠近眼睛的位置,消除作为到图像传感器的返回路径的光纤的使用。人眼的某些部分(例如,视网膜血管)可能被视为具有足够的独特特征来作为唯一的最终用户标识符。
可选地,在404,增强现实系统中基于所接收到指示最终用户的身份的信息检索用于最终用户的至少一个用户特定的历史属性。该用户特定的历史属性可指示下述至少之一:用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度、用于最终用户的先前的眼部运动到头部运动的关系、最终用户注意某些类型或具有某些特征的虚拟对象的倾向。
在406,增强现实系统(例如,控制器子系统和/或其处理器)至少部分地基于已确定的最终用户的视场中的虚拟对象出现的位置来预测最终用户的头部运动的发生。再一次,增强现实系统可依赖虚拟对象的吸引力来预测头部运动,例如在逐个最终用户的基础上。
增强现实系统可以采用估计的速度和/或估计的速度变化或估计的加速度以至少部分地将图像呈现与最终用户的预测的头部运动同步。预测的头部运动中速度的估计的变化可基于所预测的头部运动开始之后的第一定义时间和和预测的头部运动结束之前的第二定义时间之间的延伸范围。
在408,增强现实系统估计至少一个指示所预测的最终用户头部运动的估计速度的值。增强现实系统可基于一个或多个值、参数或特征来估计速度。例如,增强现实系统可依赖于移动最终用户头部到新位置以观察所选择或标识的虚拟对象所需的运动范围。增强现实系统可能依赖于用于人的采样的平均速度、或可依赖于用于特定的最终用户的历史头部移动速度。增强现实系统可依赖于用于特定的最终用户的历史属性。速度跨越可以用角速度表示。
在410,增强现实系统估计所预测的最终用户头部运动中的至少一个速度变化,该变化在所预测的头部运动开始和所预测的头部运动结束之间的头部运动的范围内发生。遍及所预测的运动范围内的某些部分,速度的变化可能会以不同的增量发生。
在412,增强现实系统估计至少一个指示所预测的最终用户头部运动的估计的加速度的值。该估计的加速度可能在头部运动的整个范围之上或仅在其中一部分上进行。该估计的加速度可以在头部运动范围离散的间隔上进行。加速度的估计可以被确定以用于头部运动开始后的一些已定义的持续时间的一个或多个间隔。加速度的估计可以被确定以用于头部运动终止前的一些定义的持续时间中的一个或多个间隔。从开始和/或结束点隔开估计可以避免加速度测量中的大的变化。
可选地,在414,增强现实系统确定至少一个值,其至少部分地适应或补偿最终用户的预测的头部运动的估计的速度。例如,增强现实系统可以确定与在给定的时间内呈现的帧的总数量有关的值和/或指定跨越一系列将被渲染和/或呈现的图像的一个或多个虚拟对象应在何处和/或多快地移动的值。这些可以被用来渲染后续帧。
可选地,在416,增强现实系统至少部分地基于至少一个值渲染至少一个后续帧,所述值至少部分地补偿最终用户的预测的头部运动的估计速度。例如,增强现实系统可以确定与在给定的时间内呈现的帧的总数量有关的值和/或指定跨越一系列将被渲染和/或呈现的图像的一个或多个虚拟对象应在何处和/或多快地移动的值。这些可以被用来渲染后续帧。
在另一个实施例中,系统可以被用于基于用户的历史属性预测头部追踪。图5根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法500。
增强现实系统在执行预测的头部追踪时可以采用历史属性。历史属性可能是最终用户特定的或者更通用或一般化的。历史属性可指示一组定义的最终用户特征。最终用户特征可以例如包括头部运动速度、头部运动加速度和/或头部运动和眼睛运动之间的关系(例如,一对另一个的比率)。由历史属性追踪的最终用户特征甚至可以包括指示给定的最终用户注意某些虚拟对象的倾向。
在502,增强现实系统接收到指示最终用户的身份的信息。该信息可以采取多种不同的形式中的任何形式,例如由最终用户主动地提供的信息,从非临时性存储介质读取的信息、从用户读取的信息(例如,生物识别数据或特征),或从最终用户行为中推断的信息。
在504,增强现实系统至少部分地基于所接收的指示最终用户的身份的信息来检索至少一个用于用户的用户特定历史属性。该身份信息可被以多种不同方式中的任何方式来接收、产生或确定。
在506,增强现实系统至少部分地基于所检索的用于最终用户的至少一个用户特定历史属性来向最终用户提供帧。例如,增强现实系统可以提供来自帧缓冲器的帧到投影机或显示设备(例如,与一个或多个光纤配对的光源),或可以渲染帧到帧缓冲器。增强现实系统可以经由至少在双轴方向可移动的至少一个光纤提供光。增强现实系统可以经由至少一个光纤接收指示最终用户的眼睛的至少一部分的图像的图像信息,所述光纤也向最终用户提供帧。
图6根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法600。可以在执行图5中的方法500的动作504时采用方法600。
在602,增强现实系统检索提供用于最终用户的至少一个头部运动属性的指示的至少一个历史属性。头部运动属性指示最终用户的至少一个先前的头部运动。历史属性可以被存储在非临时性介质上,例如在数据库或其它逻辑结构中。
在604,增强现实系统检索提供用于最终用户的至少一个先前的头部运动的头部运动速度的指示的至少一个历史属性。
在606,增强现实系统检索跨越最终用户的至少一个先前头部运动范围的至少一部分的头部运动速度的变化的指示的至少一个历史属性。
在608,增强现实系统检索提供用于最终用户的至少一个先前头部运动的头部运动加速度的指示至少一个历史属性。
在610,增强现实系统检索提供用于最终用户的至少一个先前头部和眼部运动组合的头部运动与眼部运动之间关系的指示的至少一个历史属性。该关系可以例如被表示为代表最终用户的至少一个先前头部运动的头部运动的头部运动值和代表至少一个先前眼部运动的值的比率。所述值可以分别代表头部和眼部运动的量,例如表示为角度变化。所述比率可能是最终用户的头部运动的历史平均和眼部运动的历史平均的比率。附加地或备选地,可以采用头部和眼部运动之间的其他关系,例如速度或加速度。
图7根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法700。可以在执行图5的方法500的动作506时采用方法700。
在702,增强现实系统至少预测最终用户的头部运动的终点。例如,当虚拟对象的出现被用于预测的头部运动时,特定虚拟对象的相对位置可被用作终点。
在704,增强现实系统渲染至少一个后续帧到至少一个图像缓冲器。所述至少一个后续帧被至少移向,甚至移至,所预测的头部运动的终点。
图8根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法800。可以在执行图7的方法700的动作704时采用方法800。
在802,增强现实系统以至少部分地适应用于最终用户的至少一个头部运动属性的方式渲染多个后续帧,所述多个后续帧至少向所预测的头部运动的终点偏移。所述头部运动属性可以指示头部运动的不同物理特性,特别是最终用户的头部运动的历史物理特性。头部运动属性可以例如包括下述中的一个或多个:用于最终用户的历史头部运动速度、用于最终用户的历史头部运动加速度,和/或用于最终用户的头部运动与眼部运动之间的历史关系(例如,比率)。可以通过将对应的图像或对应的图像的中心相对于与先前帧所对应的图像进行偏移来渲染后续帧从而实现偏移。
图9根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法900。可以在执行图7的方法700的动作703时采用方法900。
在902,增强现实系统至少部分地基于最终用户的视场中的虚拟图像的出现来预测最终用户的头部运动的发生。
所述出现在时间上可能是相对于作为图像呈现给最终用户的先前帧,当新的虚拟对象被新引入呈现给最终用户的视场时的出现。备选地或附加地,所述出现可能是相对于先前呈现给最终用户的虚拟对象的方位,虚拟对象在呈现给最终用户的视场中在新的方位中的出现。所述预测可以例如考虑因素。例如,预测可以部分地基于虚拟对象的尺寸或显著性、方位改变的量或百分比、速度、突然地加速度,或虚拟对象的方位中的其他变化。
所述系统还可以被用于动态控制像素特征。图10根据一个所示实施例示出了在增强现实系统中操作的方法1000。
在1002,增强现实系统(例如,控制器子系统和/或其处理器)检测呈现给最终用户的帧中的一些像素之间的间隔将不同于在同一帧中的其他像素之间的间隔的指示。例如,增强现实系统可检测呈现给最终用户的帧中第一组像素的像素之间的间隔将不同于该呈现给最终用户的帧中至少第二组像素的像素之间的间隔的指示。例如,在帧的像素在一段时间上被顺序呈现(例如,帧缓冲器的读出)时(例如,“飞行像素”图样,诸如光栅扫描图样、螺旋扫描图样、利萨茹扫描图样),快速头部运动可能会导致在图像或帧的不同部分之间的像素间隔的变化。
在1004,响应于呈现给最终用户的帧中的一些像素之间的间隔将不同于该帧中的其他像素之间的间隔的检测,增强现实系统向至少一个后续帧的至少一部分提供被调整以至少部分补偿可由最终用户感知的至少一个像素特征的至少第一组像素。这样可至少部分补偿呈现给最终用户的图像的不同部分中的像素之间的间隔。
图11根据一个所示实施例示出了在增强现实系统中操作的方法1100。可以在执行图10的方法1000时采用方法1100。
可选地,在1102,增强现实系统(例如,控制器子系统和/或其处理器)接收指示用户佩戴的至少一个头戴式惯性传感器的输出的信号。该惯性传感器可以采取多种形式,例如陀螺仪传感器或加速度传感器。惯性传感器可以是单轴或多轴设备。惯性传感器可以采取MEMS设备的形式。
可选地,在1104,增强现实系统接收指示用户佩戴的至少一个头戴式成像器的输出的信号。该成像器可以例如采取数码摄像机或其它图像捕获设备的形式。这些可以是前向摄像机以捕捉至少接近于最终用户视场的视场。
可选地,在1106,增强现实系统检测超过标称头部运动值的头部运动。例如,增强现实系统可以检测超过标称速度和/或标称加速度的头部运动。增强现实系统可采用来自惯性传感器的信号以检测运动,并且特别是加速度。增强现实系统可以采用来自头戴式摄像机的信号检测周围环境中的物理对象的方位的变化,特别是固定的物理对象如墙壁、地板、天花板。增强现实系统可以采用任何数量的图像处理技术。已检测的方位变化允许增强现实系统确定在头部方位、运动速度和加速度的变化。除了或代替惯性传感器和头戴成像信息,增强现实系统可以采用其他信息。例如,增强现实系统可采用来自监视周围环境并且不是被用户佩戴而是追踪用户的系统的信号。这样的系统可以采用一个或多个成像器,例如数码摄像机,来监控周围环境。成像器检测最终用户和最终用户的部分如头部的运动。再一次,多种图像处理技术可被采用。这样的系统可被有利地与结构化的光系统配对。备选地,方法#CB00可被独立于已检测的或甚至所预测的头部运动执行。
在1108,增强现实系统例如基于已检测到的头部运动的方向选择帧的第一组像素。增强现实系统可以基于其它准则例如已检测的头部运动的速度另外选择帧的第一组像素。
在1110,增强现实系统调节至少一个后续帧的第一组像素的至少一些像素的尺寸和/或亮度中的至少一个。该调整可被设计为至少适应或至少部分地补偿头部运动造成的帧或图像所中不期望的变化。
可选地,在1112,增强现实系统渲染至少一个后续帧。渲染的后续帧包括已调节的像素信息以至少部分适应或补至少部分适应或补偿头部运动造成的帧或图像中不期望的变化。
可选地,在1114,增强现实系统从存储一个或多个后续帧的至少一个帧缓冲器中读出至少一个后续帧。例如,增强现实系统可以选择性地从至少一个帧缓冲器中读出至少一个后续帧。这样可以利用过渲染,其中帧相对于图像区域或视场的尺寸被过渲染。该系统,特别是在头部佩戴该系统时,将在大多数情况下专用于具有已知面积和已知分辨率的固定显示表面。这与旨在向多种尺寸和分辨率的显示器提供信号的计算机和其它其它设备相反。因此,增强现实系统选择性地读入或读出帧缓冲器而不是读入或读出来自帧缓冲器的整个帧。如果被渲染以创建的后续图像的新帧显示位于以前的图像之外的部分,那么不进行过渲染时可能需要的GPU的过度运行,过渲染可以防止这种情况。例如,没有过渲染的话,增强现实系统将需要在每次最终用户的头被移动时渲染新的帧。结合过渲染,一组专用的电子设备可被用于选择或读出过渲染的帧的所期望的部分,其本质上是移动在先前渲染的帧中的窗口。
图12根据一个所示实施例示出了在增强现实系统中操作的方法1200。可以在执行图11的方法1100的动作1108和1110时采用方法1200。
在1202,增强现实系统(例如,控制器子系统和/或其处理器)选择帧的至少第一组像素中,使得第一组像素相对于检测到的头部运动方向处于给定的方向(例如,相同的方向、相反的方向)。
在1202,增强现实系统调整所选择的组的像素的像素尺寸作为呈现给用户的至少一个后续帧的第一组像素中的像素。
例如,增强现实系统可以选择帧的第一组像素,使得第一组像素相对于其他像素位于与已检测的头部运动相同的方向上。例如,相对于在图像中通常朝向右侧的第二组像素,在图像中第一组像素相对地朝向左侧。例如,相对于在图像中通常朝向底部的第二组像素,在图像中第一组像素相对地朝向上部。增强现实系统可以提供一个或多个后续帧或图像,其中第一组中的像素相对于后续帧中的一些其他像素具有增加的尺寸。这可以至少部分地适应或至少部分地补偿像素间的扩散,该扩散产生于增强现实系统不能跟上的快速头部运动。
例如,增强现实系统可以选择帧的第一组像素,使得第一组像素相对于其他像素位于与已检测的头部运动方法相反的方向上。增强现实系统可以提供一个或多个后续帧或图像,其中第一组像素相对于后续帧中的一些其他像素具有减少的尺寸。这可以至少部分地适应或至少部分地补偿像素间的扩散,该扩散产生于增强现实系统不能跟上的快速头部运动。
调整(例如,增加、减少)所选择的组的像素的尺寸可以包括调整可变的聚焦组件。调整(例如,增加、减少)所选择的组的像素的尺寸可以包括调整可变尺寸的源。调整(例如,增加、减少)选择的组的像素的尺寸可以包括调整抖动。
作为进一步的示例,增强现实系统可以选择帧的第一组像素,使得第一组像素相对于其他像素位于与已检测的头部运动相同的方向上。增强现实系统可以提供一个或多个后续帧或图像,其中第一组中的像素相对于后续帧中的一些其他像素具有增加的亮度。这可以至少部分地适应或至少部分地补偿像素间的扩散,该扩散产生于增强现实系统不能跟上的快速头部运动。
作为又一个更进一步的示例,增强现实系统可以选择帧的第一组像素,使得第一组像素相对于其他像素位于与已检测的头部运动相反的方向上。增强现实系统可以提供一个或多个后续帧或图像,其中第一组中的像素相对于后续帧中的一些其他像素具有减少的亮度。这可以至少部分地适应或至少部分地补偿像素间的扩散,该扩散产生于增强现实系统不能跟上的快速头部运动。
如上,增强现实系统可以仅调整所选择的像素的尺寸、仅调整所选择的像素的亮度,或调整所选择的像素的尺寸和亮度的两者。进一步地,增强现实系统可以调整一些像素的亮度、其它像素的尺寸,甚至其它像素的亮度和尺寸,和/或不调整进一步的像素的亮度或者尺寸。
所述系统还可以被用于在整个帧的基础上动态地对小于整个的帧进行更新,如下所示。图13根据一个所示实施例示出了在增强现实系统中操作的方法00。
在1302,增强现实系统(例如,控制器子系统和/或其处理器)渲染第一完整帧到图像缓冲器。第一完整帧包括用于像素的顺序呈现以形成多个虚拟对象的图像的像素信息。第一完整帧可以采取多种适用于不同显示技术的形式。例如,完整帧可包括适于形成完整的光栅扫描帧的像素信息,其可以是具有两个场的交错的光栅扫描帧。交错的光栅扫描的每个场均包括多条线,第一场包括奇数行并且第二场包含偶数行。至少如显示给所示最终用户的,奇数和偶数行可以是交错的。一种特别有优势的技术采用螺旋扫描线。该螺旋扫描方法可采用每帧单个场,例如由单个螺旋迹线(spiraltrace)组成。备选地,该螺旋扫描方法可以采用每帧两个或更多场,例如,由两个或更多个被顺序呈现的螺旋迹线组成。螺旋迹线可以有利地通过引入帧的每个场之间的相移被简单地交错或嵌套。另一种技术采用了利萨茹扫描方法。该利萨茹扫描方法可采用每帧单场,例如由单个利萨茹迹线组成。备选地,利萨茹扫描方法可采用每帧两个或更多场,例如由两个或更多个被顺序呈现的利萨茹迹线组成。利萨茹迹线可以有利地通过引入帧的每个场之间的相移被简单地交错或嵌套。。
在1304,增强现实系统开始第一完整帧的呈现。这可以包括读出帧缓冲器,例如以驱动光源和一个或多个光纤的端部。该读出可以包括动态地确定帧缓冲器的哪部分将被读出。
可选地,在1306,增强现实系统检测最终用户的的头部运动超过标称头部运动值。这可以采用先前讨论的不同方法中的任何一种。
在1308,在整个第一完整帧的呈现完成之前,增强现实系统动态地中断第一完整帧的呈现。详细地说,增强现实系统开始对第一完整帧的更新的呈现。在对第一完整帧的更新中的像素信息的至少一部分已经从第一完整帧改变。例如,在交错的基于光栅扫描的系统中,增强现实系统可呈现第一场的全部或一部分,使用更新的第二场来代替第二场。又例如,在交错的基于螺旋扫描的系统中,增强现实系统可呈现第一场(例如,第一螺旋扫描线或迹线)的全部或一部分,使用更新的第二场(例如,不同于初始第二螺旋扫描或迹线的更新的第二螺旋扫描线或迹线)来代替第二场。类似的,在交错的基于利萨茹扫描的系统中,增强现实系统可呈现第一场(例如,第一利萨茹扫描线或迹线,即,完整的图8周期)的全部或一部分,使用更新的第二场(例如,不同于初始第二螺旋扫描或迹线的更新的第二利萨茹扫描线或迹线)来代替第二场。虽然示例根据场给出,但其并不限于整个的场。呈现可在场的呈现期间被解释,例如在呈现第一或第二或第三场期间。呈现可以在任何给定的线的呈现的过程中被解释(例如,光栅扫描的行、螺旋或利萨茹扫描的完整周期)。
图14根据一个所示实施例示出了在增强现实系统中操作的方法1400。可以在执行图13的方法1300时采用方法1400。
在1402,增强现实系统(例如,控制器子系统和/或其处理器)渲染更新的第一完整帧。更新的第一完整帧包括像素信息,其在至少一个方面不同于第一完整帧的像素信息。
渲染更新的第一完整帧可包括以第一场和至少第二场渲染更新的整帧。第二场可以与第一场交错,典型地跟随第一场的呈现而被顺序地呈现。例如,第一场可由光栅扫描中的偶数行组成而第二场由奇数行组成。又例如,第一场可以由第一螺旋扫描线或第一利萨茹扫描线组成,而第二场由第二螺旋扫描线或第二利萨茹扫描线组成。因此,渲染更新的第一完整帧可包括使用第一场和至少第二场渲染更新的整帧,第二场与至少第一场交错。
在1404,增强现实系统呈现已更新的第一完整帧的一部分来代替第一完整帧的对应部分。因此,初始未更新的第一完整帧中断后,更新的帧的一部分代替第一完整帧的所有或一部分。
例如,增强现实系统呈现已更新的第一完整帧的第二场来代替初始(即,未更新的)第一完整帧的第二场。又例如,增强现实系统可呈现伴随已更新的第一完整帧的第二场的第一场的第二部分来代替第一初始(即,未更新的)第一完整帧的第一场的相应部分和整个第二场。
又例如,增强现实系统可呈现已更新的第一完整帧的场的一部分(例如,线、线的一部分、像素组,像素)来代替第一完整帧的对应场的对应部分。例如,增强现实系统可呈现已更新的光栅扫描帧的更新的第一完整帧的场的一部分来代替光栅扫描帧的初始(即,未更新的)第一完整帧的对应场的对应部分。
作为另一个示例,增强现实系统可呈现已更新的第一完整帧的线来代替初始(即,未更新的)第一完整帧的对应线。作为又一个示例,增强现实系统可呈现更新的第一完整帧的螺旋线来代替初始(即,未更新的)第一完整帧的对应螺旋线。作为进一步的示例,增强现实系统可呈现更新的第一完整帧的线的一部分来代替初始(即,未更新的)第一完整帧的对应线的对应部分。作为又一进一步的示例,增强现实系统可呈现更新的第一完整帧的至少一个像素来代替初始(即,未更新的)第一完整帧的至少一个像素的对应部分。作为又一个附加示例,增强现实系统可呈现更新的第一完整帧的利萨茹图样扫描的一个完整周期来代替初始(即,未更新的)第一完整帧的利萨茹图样扫描的一个完整周期的对应部分。
图15根据一个所示实施例示出了在增强现实系统中操作的方法1500。可以在执行图13的方法1300时采用方法1500。
在1502,增强现实系统(例如,控制器子系统和/或其处理器)渲染第一完整帧到帧缓冲器。第一完整帧可例如包括第一场和至少第二场。第一场可例如包括用于至少第一螺旋扫描线的像素信息并且第二场可包括用于至少第二螺旋扫描线的像素信息。第二场的扫描线可与第一场的扫描线交错。第一场可例如包括用于至少第一利萨茹扫描线的像素信息并且第二场可包括用于至少第二利萨茹扫描线的像素信息。第二场的扫描线可与第一场的扫描线交错。用于螺旋和利萨茹扫描图样两者的扫描线的交错可以使用相移来有效地实现。场或扫描线的数量可以大于2,例如3个,4个,8个,16个或更多。
在1504,增强现实系统开始读出存储第一完整帧的帧缓冲器。增强现实系统可以驱动光源和轭或其它设备或结构以基于在来自图像缓冲器的帧中指定的像素数据生成图像。
在1506,增强现实系统渲染更新的第一完整帧到帧缓冲器。更新的第一完整帧包括指定帧的像素信息,其中的一部分已从由初始(即,未更新的)第一完整帧所指定的信息改变。
在1508,在从帧缓冲器中读出第一完整帧完成之前,增强现实系统开始读出更新的第一完整帧,从而中断初始(即,未更新的)第一完整帧的呈现。一些实现可以利用有两个或多个的帧缓冲器,允许对一个帧缓冲器进行渲染,同时从其他帧缓冲器中读出帧。这不应该被认为限制增强现实系统的不同实现采用一个、两个、三个或甚至更多的帧缓冲器。
图16根据一个所示实施例示出了在增强现实系统中操作的方法1600。可以在执行图13的方法1300时采用方法1600。
在1602,增强现实系统(例如,控制器子系统和/或其处理器)生成用于第一扫描线(如螺旋、利萨茹)的像素信息。
可选地,在1604,增强现实系统生成用于相对于第一扫描线(如螺旋、利萨茹)相移的第二扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一扫描线与第二扫描线相互作用或嵌套。
可选地,在1606,增强现实系统生成用于相对于第二扫描线(如螺旋、利萨茹)相移的第三扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一和第二扫描线与第三扫描线相互作用或嵌套。
可选地,在1608,增强现实系统生成用于相对于第三扫描线(如螺旋、利萨茹)相移的第四扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一、第二和第三扫描线与第四扫描线相互作用或嵌套。
图17根据一个所示实施例示出了在增强现实系统中操作的方法1700。
在1702,对于多个帧中的每一个帧,增强现实系统(例如,控制器子系统和/或其处理器)为各个帧的至少两部分中的每一部分确定相应的分辨率。部分可以是场、线、其他细分,或甚至单个的像素。
在1704,增强现实系统基于多个帧引起虚拟图像的呈现,呈现给最终用户的图像中的至少一些图像具有可变的分辨率。例如,相邻像素之间的间隔从一部分到另一部分可能不同。
图18根据一个所示实施例示出了在增强现实系统中操作的方法1800。可以在执行图17的方法1700时采用方法1800。
在1802,增强现实系统(例如,控制器子系统和/或其处理器)将帧渲染为用于螺旋扫描图样的相应像素数据。
在1804,增强现实系统调整在帧中的第一个帧第一部分的呈现的时间和帧中的第一个帧第二部分的呈现的时间之间的驱动信号的振幅。该振幅变化导致对应于帧中的第一个帧的图像中可变的分辨率。增强现实系统可以例如改变驱动信号的斜率或坡度。这在使用螺旋扫描图样的时候特别有用。例如,帧的第一场可具有一个斜率或坡度,其第二场具有不同的斜率或坡度,从而以单个帧改变有效分辨率。可以在最终用户感兴趣或吸引处或其附近采用更高的分辨率或像素密度,而在远离这些位置的地方可以使用较低的分辨率或像素密度。在中心或图像被移向最终用户吸引或聚焦的中心的情况下,高分辨率可以在图像中心附近出现,而周围的部分以较低的分辨率出现。这基本上实现了具有可控像素的可被命名为视场显示(foviated display)。
图19根据一个所示实施例示出了在增强现实系统中操作的方法1900。可以在执行图17的方法1700时采用方法1800。
在1902,增强现实系统(例如,控制器子系统和/或其处理器)评估用于最终用户的至少第一图像的注意点。增强现实系统可以使用任意的前述的技术以用于评估该注意点。例如,确定新的虚拟对象是否和将在何处出现、或虚拟对象将在最终用户的视场中移至何处。又例如,增强现实系统可以评估虚拟对象的相对吸引力(例如,速度、颜色、尺寸、亮度、微闪)。这可以也采用眼睛追踪信息,其指示最终用户的眼睛追踪或聚焦的视场中的位置。
眼睛追踪信息可以例如经由例如头戴摄像机的一个或多个头戴传感器来提供。这样的眼睛追踪信息可以例如通过在最终用户的眼睛投影闪烁的光(glint)并检测至少一些所投影的光的返回或反射来辨别。例如,创建或投影图像的投影子系统可以投影像素、点或来自至少一个光纤的光的其它元素来创建照到最终用户的角膜的光。眼睛追踪可采用一个、两个、三个或甚至更多的光斑或光点。光斑或光点越多,就可以分辨越多的信息。光源(例如,激光二极管)可以是脉冲的或调制的,例如与用摄像机或图像传感器的帧速率同步。在这种情况下,斑或点可能出现为随眼部运动的线。作为跨越传感器的线迹的线的方向指示了眼睛运动的方向。线的朝向(例如,垂直、水平、对角)指示了眼睛运动的朝向。线的长度指示眼睛运动的速度。
对于眼睛追踪,光可以被调制(例如,在时间上、亮度)以增加信噪比。附加地或备选地,光可以是特定的波长(例如,近红外(near-IR)),允许其从背景光或甚至形成最终用户正在观看的图像的光中被区分。该光可以被调制以减少增强现实系统提供给眼睛的能量(例如,热)的总量。闪烁的光可以经由相同的或另一光纤被返回到传感器。传感器可以例如采取二维图像传感器的形式,例如CCD传感器或CMOS传感器。
这样,增强现实系统可以检测和追踪相应的眼睛运动,提供最终用户的注意或聚焦的点或位置的指示。增强现实系统可以在逻辑上将虚拟对象或虚拟事件(例如,虚拟对象的出现或运动)与最终用户注意或聚焦的被识别的点或位置相关联。例如,增强现实系统可指定虚拟对象出现在最终用户的注意或聚焦的点或位置或在其附近,作为对最终用户有吸引力的虚拟对象。
在1904,增强现实系统调整(如,增加、减少)至少一个后续图像的至少一个部分中的分辨率。增强现实系统可以使用本文中不同技术中的任意技术以及其他技术来调整后续的页部分相对于同一后续页的其它部分的分辨率。
图20根据一个所示实施例示出了在增强现实系统中操作的方法2000。可以在执行图19的方法1900的动作1904时采用方法2000。
在2002,增强现实系统(例如,控制器子系统和/或其处理器)增加至少一个后续图像的一部分中的分辨率,该部分相对于至少一个后续图像其他部分至少接近所评估的注意点。正如先前所解释的,可以通过控制驱动信号的幅度或振幅(例如,电流、电压)来调整螺旋扫描图样的分辨率。可以通过调整驱动信号的斜率来调整分辨率。因此,可以通过增加驱动信号的振幅来增加分辨率,同时相位不变。
在2004,增强现实系统减小至少一个后续图像的一部分中的分辨率,该部分相对于至少一个后续图像的其他部分在所评估的注意点的远侧。可以通过减小驱动信号的振幅来减小分辨率,同时相位保持不变。
在一些实现中仅增加分辨率,在某些部分增加分辨率而在其它部分分辨率既不增加也不减小。在另一些实现中仅减小分辨率,在某些部分减小分辨率,而其它部分分辨率既不增加也不减小。在又一些实现中,在一些部分增加分辨率而在另一些部分减小分辨率。
图21根据一个所示实施例示出了在增强现实系统中操作的方法2100。可以结合图17的方法1700采用方法2100。
在2102,增强现实系统(例如,控制器子系统和/或其处理器)处理眼睛追踪数据。眼睛追踪数据指示最终用户的至少一只眼睛的至少一个朝向。眼睛追踪数据经由至少一个传感器被提供。例如,眼睛追踪数据可以经由头戴传感器被提供。在一些实现中,经由光纤使用位于或接近该光纤远端的传感器收集眼睛追踪数据。例如,光纤可收集从最终用户的眼睛的一部分反射的光,所述光可能是闪烁的光。该光纤可以是被用来创建用于向最终用户显示或投影图像的那一根光纤。
在2104,增强现实系统处理头部追踪数据。头部追踪数据至少指示最终用户的头部朝向。头部追踪数据经由至少一个传感器来提供。
例如,一个或多个头戴或头部安装传感器例如惯性传感器(例如,陀螺仪传感器、加速度计)。头部运动追踪可以使用一个或多个头戴或头部安装光源和至少一个传感器来实现。头部追踪可采用一个、两个、三个或甚至更多的光斑或光点。光斑或光点越多,可分辨的信息就越多。光源(例如,激光二极管)可以是脉冲的或调制的,例如与摄像机或图像传感器(例如,前向摄像机)的帧速率同步。激光光源可能以低于摄像机或图像传感器的帧速率的频率被调制。在这种情况下,斑或点可能出现为如头部运动的线。作为跨越传感器的线迹的线的方向可以指示头部运动|[a5]的方向。线的朝向(例如,垂直、水平、对角)指示头部运动的朝向。线的长度指示头部运动的速度。反射光还可提供有关周围环境中的对象的信息,诸如距离和/或几何形状(例如,平面的、弯曲的)和/或朝向(例如,成角度的或垂直的)。例如,一个激光束可能会产生关于方向和速率的信息(如,冲撞(dash)或线的长度)。第二激光束可以添加关于深度或距离的信息(例如,Z轴)。第三激光束可以添加关于周围环境中的表面的几何形状和/或朝向的信息。在头部运动期间或在头部运动的一部分的期间激光器或其它光源可以是脉冲的。
附加地或备选地,头部追踪数据可经由非头戴的传感器来提供。例如,摄像机或成像系统成像包括最终用户的头部的最终用户,追踪其运动。这可诸如例如相对于某些外部参考帧来追踪运动,例如由追踪系统定义的参考帧或追踪系统位于其中的房间。
在2106,增强现实系统确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置。该出现可以是当被新引入最终用户的视场中时新的虚拟对象的出现。该出现可以是虚拟对象相对于该虚拟对象在至少一个先前图像中的方位在新方位的出现。增强现实系统可以采用在本文其它地方描述的多种技术中任何技术来确定虚拟对象出现的位置
系统还可以使用消隐以提高最终用户感知体验。
图22根据一个所示实施例示出了在增强现实系统中操作的方法2200。方法2200可有效采用消隐以提高最终用户感知体验。
在2202,增强现实系统(例如,控制器子系统和/或其处理器)向最终用户显示至少一个虚拟对象。增强现实系统可渲染帧到帧缓冲器,读取帧以驱动一个或多个光源和/或轭或其他系统以产生光的至少双轴向运动或迹线。
在2204,增强现实系统检测和/或预测最终用户的头部运动的发生。增强现实系统可以采用可以采用在本文其它地方描述的多种技术中的任意技术来检测和/或预测头部运动的发生。非限制性地,这些技术包括直接感知头部运动,例如经由惯性传感器或感应器、或经由头戴成像器或成像最终用户在其中被呈现或可见的区域的环境成像器。这些技术还包括间接地预测头部运动,例如通过确定新的虚拟对象将出现在何处、现有的虚拟对象将移动到何处,或特别有吸引力的虚拟对象将被置于图像中的方位。
在2206,增强现实系统评估是否已检测的和/或所预测的头部运动超过或被预测超过标称头部运动值。增强现实系统可以采用可以采用本文其它地方描述的多种技术中的任何技术来评估已检测的和/或所预测的头部运动是否超过或被预测超过标称头部运动值。这样的评估可以包括简单的将已检测或所预测的速度与标称速度相比较。这样的评估可以包括简单的将已检测或所预测的加速度与标称加速度相比较。这样的评估可包括简单的将已检测或所预测的范围与标称范围相比较。这样的评估可以包括更复杂的比较,包括通过运动期间内多次速度、加速度或范围的平均或积分。这样的评估可以甚至采用历史属性或其他信息。
在2208,增强现实系统暂时对最终用户消隐至少一个虚拟对象的显示的至少一部分。例如,增强现实系统可以停止从帧缓冲器读取。附加地或备选地,增强现实系统可以关闭照明或光源。这可以包括暂时关闭LCD显示器的背光。
图23根据一个所示实施例示出了在增强现实系统中操作的方法2300。可以在执行图22的方法2200时采用方法2300。
在2302,增强现实系统(例如,控制器子系统和/或其处理器)处理头部追踪数据。头部追踪数据指示最终用户头部的至少一个朝向。头部追踪数据可以经由至少一个传感器来提供,其可能或可能不被最终用户所佩戴。增强现实系统可以采用可以采用本文其它地方描述的多种技术中的任何技术来处理头部追踪数据。
在2304,对于呈现给最终用户的图像中的至少一些中的每个帧,增强现实系统(例如,控制器子系统和/或其处理器)确定虚拟对象相对于用户参考帧在最终用户的视场中的出现的位置。当虚拟对象被新引进最终用户的视场时确定其出现的位置。相对于至少一个先前图像中的虚拟对象的方位,确定该虚拟对象在图像中新的方位中出现的位置。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来确定虚拟对象出现的位置。
在2306,增强现实系统评估已确定的虚拟对象的出现是否有足够的吸引力。例如,增强现实系统可以评估虚拟对象的相对视觉吸引力(例如,速度、颜色、尺寸、亮度、闪烁的光、透明度,特殊光学效应)。又例如,增强现实系统可以评估相对兴趣吸引力(例如,新颖程度、新旧程度、先前的注意、由最终用户进行的先前的身份识别、由最终用户先前进行的互动)。
在2308,增强现实系统评估已确定的位置是否需要最终用户相对于最终用户头部的当前位置转动其头部。增强现实系统可以采用最终用户头部的当前方位和/或朝向以及虚拟对象的相对方位和/或朝向。增强现实系统可确定距离,例如最终用户的当前焦点和虚拟对象的方位和/或朝向之间的角距离。增强现实系统可以确定已确定的距离是否在眼睛运动范围内,或者是否最终用户还必须转动他们的头部。如果最终用户必须转动他们的头部,系统可以评估最终用户必须转动头部多远。例如,增强现实系统可以采用指定最终用户的眼睛运动和头部运动之间的关系的信息。该信息可以指示最终用户在转动其头部之前,单独经由眼睛运动转移其注视能达到的程度。值得注意的是,眼睛运动和头部运动之间的关系可以被指定为多种不同的朝向,例如a)从上到下、b)从下到上、c)从左到右、d)从右到左、e)沿对角线地从左下到右上、f)沿对角线地右下到左上、g)沿对角线地从左上到右下、h)沿对角线地从右上到左下。
在2310,增强现实系统基于所述评估来预测头部运动的发生。增强现实系统可以使用一个或多个因素形成评估以预测头部运动是否会发生、头部运动的方向和/或朝向、和/或头部运动的速度或加速度。增强现实系统可以采用或者最终用户特定的或者是对一组最终用户更通用的历史数据。增强现实系统可以实现一个或多个机器学习算法以增加头部运动预测的准确性。
图24根据一个所示实施例示出了在增强现实系统中操作的方法2400。可以在执行图22的方法2200的操作2208时采用方法2400。
在2402,增强现实系统(例如,控制器子系统和/或其处理器)闪动或闪烁显示器或显示器的背光。该闪动或闪烁在已检测的头部运动或所预测的头部运动中的全部或一部分上发生。这可有利地有效减少帧或虚拟对象的呈现中不一致的感知。这也可有效地提高所感知的帧速率。
图25根据一个所示实施例示出了在增强现实系统中操作的方法2500。
在2502,增强现实系统(例如,控制器子系统和/或其处理器)检测和/或预测最终用户头部运动的发生。例如,增强现实系统可处理指示最终用户头部运动的至少一个朝向的头部追踪数据。附加地或备选地,增强现实系统可以确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置,评估已确定的位置是否需要最终用户转动最终用户的头部,并基于该评估预测头部运动的发生。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来检测和/或预测头部运动的发生。
在2504,增强现实系统确定已检测的和/或所预测的头部运动是否超过标称头部运动值。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来确定已检测的和/或所预测的头部运动是否超过标称头部运动值。
在2506,响应于确定已检测的和/或所预测的头部运动超过标称头部运动值,增强现实系统选择性地激活执行机构以在至少一个自由度移动投影机。移动投影机可包括沿着至少一个轴平移第一光纤。移动投影机可包括关于至少一个轴旋转第一光纤。
图26根据一个所示实施例示出了在增强现实系统中操作的方法2600。
增强现实系统可以过渲染帧,产生较给定显示技术的最大面积和最大分辨率所需的更大的帧。例如,在头戴或头部安装的增强现实系统中可由该设备的多种参数设定可用于显示或投影的面积。同样,尽管增强现实系统可能能够以多个不同的分辨率进行操作,该设备将设置上限或最大分辨率。过渲染帧包括用于超过以最大分辨率显示的最大区域的一组像素的像素信息。这可以有利地允许增强现实系统仅读出的帧的一部分(例如,如果没有被中断,帧的每一个场的一部分)。这可允许增强现实系统移动呈现给用户的图像。
在2602,增强现实系统(例如,控制器子系统和/或其处理器)过渲染用于已定义的视场的多个帧中的每一个帧。这需要生成被最大分辨率的最大面积所需要的更多的像素信息。例如,帧的面积可以通过最大面积的百分比增加,例如增加由帧定义的水平、垂直或者对角线方向中的像素信息。帧的尺寸越大,增强现实系统具有的移动呈现给用户的图像的边界自由度就越高。
在2604,增强现实系统在至少一个帧缓冲器依次缓冲过渲染的帧。增强现实系统可以采用大于用于最大分辨率最大显示尺寸所需的帧的尺寸的帧缓冲器。一些实现使用多个帧缓冲器。这可以如本文其它地方所述的有助于帧的呈现的中断。
在2606,增强现实系统确定各个图像的一部分来呈现。增强现实系统可基于多个不同的因素确定该部分。例如,所述因素可以指示图像或场景中最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的位置。再一次地,多种技术可以被采用,包括但不限于眼睛追踪。又例如,所述因素可以指示图像或场景中最终用户被预测正在注意、聚焦或将以其他方式吸引最终用户的注意的位置。再一次地,多种技术可以被采用,包括但不限于:识别新出现的虚拟对象、快速或迅速移动的虚拟对象、视觉上具有吸引力的虚拟对象、先前已经指定的虚拟对象(例如,由最终用户或由先前追踪的最终用户的交互来指定)和/或基于垂直对象的固有性质吸引注意的虚拟对象。基于垂直对象的固有性质吸引注意的虚拟对象可以例如包括对广义的最终用户或者特定的最终用户,在视觉上代表关注或担心的对象或项目的虚拟对象(例如,即将来临的威胁)。
在2608,增强现实系统选择性地从帧缓冲器中读出过渲染的帧的一部分。该部分至少部分地基于各自图像的已确定的部分来呈现。例如,被读出的部分可以具有被移动以被与所识别的位置接近,或者甚至匹配或者共对齐的中心。所识别的位置可以例如是先前图像或帧中已经吸引最终用户注意的位置。所识别的位置可以例如是增强现实系统已经预测将吸引最终用户注意的后续帧中的位置。
图27根据一个所示实施例示出了在增强现实系统中操作的方法2700。可以在执行图26的方法2600时采用方法2700。例如,方法2700可以被用来预测后续帧或图像中吸引最终用户注意的位置。
在2702,对于至少一些帧中的每一个帧,增强现实系统的(例如,控制器子系统和/或其处理器)确定虚拟对象相对于最终用户参考帧在最终用户的视场内出现的位置。
在2704,增强现实系统至少部分地基于确定视场中的虚拟对象出现的位置来选择性地读出帧缓冲器。例如,被读出的部分可以具有被移动以与被所识别的位置接近,或者甚至匹配或者共对齐的中心。备选地,被读出的部分的边界可以被移动以在两个或甚至三个维度涵盖已确定的位置紧挨着的周围区域。例如,增强现实系统可以选择将被读出帧缓冲器的整个过渲染帧的一部分(例如,80%)以用于呈现给最终用户。增强现实系统可以选择该部分,使得边界相对于最终用户注意的当前位置被移动,例如在当前被呈现给最终用户的图像中。增强现实系统可以基于当前位置和所预测的位置的组合选择边界,同时设定边界使得这两个位置将在后续呈现的图像中被呈现给最终用户。
图28根据一个所示实施例示出了在增强现实系统中操作的方法2800。可以在执行图26的方法2600时采用方法2800。例如,方法2800可以被用来确定图像中已经吸引或者被预测吸引最终用户的注意的位置。
在2802,增强现实系统(例如,控制器子系统和/或其处理器)确定当新的虚拟被新引入最终用户的视场时新的虚拟对象出现的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来识别虚拟对象的引入,其相对于呈现给最终用户的直接先前帧或图像是新的。这样,即使虚拟对象先前已在呈现的一些其它部分被呈现给最终用户,如果已经呈现了足够数量的中间图像,虚拟对象可以被识别为新引入的以使虚拟对象的再引入吸引最终用户的注意。
在2804,增强现实系统确定虚拟对象相对于至少一个先前帧中的方位在帧的新方位中的出现的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来识别虚拟对象到多个图像中新的或不同的方位的移动,所述移动是相对于呈现给最终用户的直接先前帧或图像的移动。这样,即使先前已在呈现的一些其它部分的一些位置向最终用户呈现了虚拟对象,如果足够数量的中介图像已经被呈现,该虚拟对象可以被识别为被移动或正在移动以使虚拟对象在先前位置的再出现吸引最终用户的注意。
在2806,增强现实系统确定在最终用户的视场中至少具有已定义的最小速度的虚拟对象的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来确定虚拟对象从图像到图像的运动速度并将该速度与定义的或标称的速度相比较。该确定的速度可以相对于图像中的固定参考帧或相对于出现在图像中的其它虚拟对象和/或物理对象。
在2808,增强现实系统至少部分地基于图像中虚拟对象的位置来确定各个图像的一部分以呈现。增强现实系统可以采用本文中描述的多种技术中的任何技术来确定各个图像的所述部分来呈现。该确定可以基于任何不同的因素。所述因素可以例如包括指示最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的图像或场景中的位置的因素或数据。因素可以例如包括最终用户被预测注意、聚焦或将以其他方式吸引最终用户的注意的图像或场景中的位置的因素或数据。增强现实系统可以采用本文描述的多种技术中的任何技术来经由实际检测或经由预测识别已经吸引最终用户的注意的位置。
在2810,增强现实系统中读出帧缓冲器的一部分以用于至少一个后续帧。例如,被读出的部分将图像的中心至少向各个图像的已确定将被呈现的部分偏移。增强现实系统可以采用本文描述的多种技术中的任何技术来从帧缓冲器读出帧的一部分,该部分基于最终用户实际或预测的注意中心的位置移动图像的中心或边界。
图29根据一个所示实施例示出了在增强现实系统中操作的方法2900。可以在执行图26的方法2600时采用方法2800。特别地,方法2900可以被用来基于预测的最终用户的头部运动确定帧的哪部分将被读出。
在2902,增强现实系统(例如,控制器子系统和/或其处理器)预测最终用户的头部运动的发生。增强现实系统可以采用本文描述的多种技术中的任何技术来预测头部运动。这种技术包括但不限于检测新的虚拟对象、正在移动的虚拟对象、快速移动的虚拟对象、先前选择的虚拟对象和/或视觉吸引力的虚拟对象在图像中的出现。
在2904,增强现实系统确定各个帧或图像的一部分以至少部分地基于所预测的头部运动来呈现。增强现实系统可以采用本文描述的多种技术中的任何技术来确定将被使用的帧的部分。例如,增强现实系统可以选择所述部分,使得边界涵盖所预测的头部运动的预测结束点的位置。当头部运动预测是建立在虚拟对象的出现上时(例如,新引入的、移动的、有吸引力的外观、先前由最终用户选择的),终点可以与该虚拟对象在后续帧或图像中的位置重合。
图30根据一个所示实施例示出了在增强现实系统中操作的方法3000。
增强现实系统可过渲染帧,产生较对给定的显示技术的最大面积和最大分辨率所需的更大的帧。例如,在头戴或头部安装的增强现实系统中可由该设备的多种参数设定可用于显示或投影的面积。同样,尽管增强现实系统可能能够以多个不同的分辨率进行操作,该设备将设置上限或最大分辨率。过渲染帧包括用于超过以最大分辨率显示的最大区域的一组像素的像素信息。这可以有利地允许增强现实系统仅读出的帧的一部分(例如,如果没有被中断,帧的每一个场的一部分)。这可允许增强现实系统移动呈现给用户的图像。
在3002,增强现实系统(例如,控制器子系统和/或其处理器)过渲染用于已定义的视场的多个帧中的每一个帧。这需要生成最大分辨率的最大面积需要的更多的像素信息。例如,帧的面积可以通过最大面积的百分比增加,例如增加由帧定义的水平、垂直或者对角线方向中的像素信息。帧的尺寸越大,增强现实系统具有的移动呈现给用户的图像的边界自由度就越高。
在3004,增强现实系统确定各个图像的一部分以呈现。增强现实系统可基于多种不同的因素来确定所述部分。例如,所述因素可以指示图像或场景中最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的位置。再一次的,多种技术可以被采用,包括但不限于眼睛追踪。又例如,所述因素可以指示图像或场景中最终用户被预测正在注意、聚焦或将以其他方式吸引最终用户的注意的位置。再一次地,多种技术可以被采用,包括但不限于:识别新出现的虚拟对象、快速或迅速移动的虚拟对象、视觉上具有吸引力的虚拟对象、先前已经指定的虚拟对象(例如,由最终用户或由先前追踪的最终用户的交互来指定)和/或基于垂直对象的固有性质吸引注意的虚拟对象。基于垂直对象的固有性质吸引注意的虚拟对象可以例如包括对广义的最终用户或者特定的最终用户,在视觉上代表关注或担心的对象或项目的虚拟对象(例如,即将来临的威胁)。
在3006,增强现实系统动态地将过渲染帧的一个或多个已确定的部分发(address)进缓冲器。所述已确定的部分可以例如具有被移动以与最终用户吸引、感兴趣或聚焦的所识别的位置接近或者甚至匹配或共对齐的中心。所识别的位置可以例如是已经吸引最终用户关注的先前图像或帧中的位置。所识别的位置可以例如是增强现实系统已预测将吸引最终用户注意的后续帧中的位置。一些实现采用多个帧缓冲器。如本文其他地方所述,这可有助于帧的呈现的中断。
在3008,增强现实系统从帧缓冲器读出过渲染帧的已确定的部分。
本文描述了本发明的多种示例性实施例。这些实施例以非限制性的意义被引用。它们被提供以更广泛地示出本发明可应用的方面。多种改变可做出以替代本发明的描述和等同物而不背离本发明的真实精神和范围。此外,许多修改可以被作出以适应特定的情况、材料、组合物、过程、处理或步骤来达到本发明的目标、精神或范围。进一步地,如将被本领域的技术人员所理解的,本文描述和示出的每个个体差异具有分立组件和特征,其可容易地从任何其它几个实施例分离出或与任何其它几个实施例结合而不背离本发明的范围或精神。所有这样的修改旨在落入与本公开相关联的权利要求书的范围内。
本发明包括可使用主题装置来执行的方法。该方法可包括提供这种适当设备的行为。这样的提供可由最终用户执行。换言之,“提供”行为仅仅需要最终用户获得、接触、处理、放置、设置、激活、上电或其他动作以在本主题方法中提供必要的设备。本文所列举的方法可以以所列举的事件的逻辑上可能的任何顺序和以事件的列举的顺序来实施。
以上陈述了本发明的示例性方面以及考虑了材料选择和制造的细节。至于本发明的其它细节,他们可以与上述引用的专利和出版物以及本领域技术人员已广泛的理解或认识结合而得以认知。根据通常地或逻辑地被采用的附加行为,同样的道理也适用于本发明基于方法的方面。
此外,尽管已经参照可选地结合多个特征的若干例子描述了本发明,相对于本发明的每个变体,本发明并不受限于这些被描述或指示的情形。多种改变可做出以替代本发明的描述和等同物(不论其在本文中被列举还是为了简洁起见本文没有包括)而不背离本发明的真实精神和范围。此外,当提供数值范围时,应理解,该范围的上限和下限之间的每一个中间以及和任何其它声称的或在该声明范围的中间值均涵盖在本发明之中。
此外,可以预期,,所述本发明的变体的任何可选特征可被独立地阐述和要求,或与本文所述的任何一个或多个特征组合来阐述和要求。对单数项的引用包括多个相同项目存在的可能性。更具体地,如本文和所附相关权利要求中所使用的,除非相反的特别声明,否则单数形式“一”、“一个”、“所述”和“该”包括多个指示对象。换句话说,在上述说明书以及与本公开相关的权利要求中该冠词的使用考虑到了“至少一个”所述主题项目。进一步指出,这样的权利要求可能被撰写以排除任何可选的组件。就这一点而言,该声明旨在作为前置基础以用于结合权利要求要素的叙述来使用这类排除性术语,如“仅”,“只”等,或使用“否定”限制。
如果不使用这种排他性术语,与本公开内容相关的权利要求中的术语“包括”应当允许包括任何额外的组件——不论给定数目的组件是否被列举在这样的权利要求中,或者增加的特征可被视为转化这种权利要求中阐述的组件的性质。除非本文具体地进行了定义,本文使用的所有技术和科学术语将被给予尽可能宽泛的通常理解含义,同时保持权利要求的有效性。
本发明的广度并不受限于所提供的实施例和/或主题说明书,而是仅受限于与本公开内容关联的权利要求语言的范围。
Claims (8)
1.一种在虚拟图像呈现系统中操作的方法,所述方法包括:
检测最终用户的头部运动;
响应于已检测的最终用户头部运动,为帧的至少两部分中的每一部分确定各自的分辨率;
通过调整对应于所述帧的第一部分的第一驱动信号的第一斜率,使其不同于对应于所述帧的第二部分的第二驱动信号的第二斜率,来修改所述帧的第一部分的第一分辨率,使得所述第一分辨率和所述帧的第二部分的第二分辨率不同,以及
基于所述帧的第一部分和第二部分各自的第一和第二分辨率来显示虚拟对象给最终用户。
2.如权利要求1所述的方法,其中所述帧的每一部分是所述帧的场、所述帧的线以及所述帧的像素之中的至少一个。
3.如权利要求1所述的方法,其中修改所述帧的第一部分的第一分辨率包括调整所述第一驱动信号的振幅。
4.如权利要求1所述的方法,进一步包括:
使用螺旋扫描图样以包括各自分辨率的像素数据渲染所述帧。
5.如权利要求1所述的方法,进一步包括:
基于已处理的眼睛追踪数据数据、已确定的虚拟对象相对于最终用户参考帧在所述最终用户的视场中出现的位置、已确定的当新引进最终用户的视场时所述虚拟对象出现的位置、已确定的相对于在至少一个先前图像中所述虚拟图像的方位所述虚拟对象在图像中新的方位中出现的位置中的至少一个,为最终用户评估至少第一图像中的注意点。
6.如权利要求5所述的方法,其中处理追踪数据的眼睛追踪数据指示所述最终用户眼睛的朝向和所述最终用户头部的朝向中的至少一个。
7.如权利要求5所述的方法,进一步包括:
在所述至少一个后续的图像的一部分中增加至少一个后续图像中的分辨率,所述部分邻近于所述已评估的注意点。
8.如权利要求5所述的方法,进一步包括:
在所述至少一个后续的图像的一部分中减小至少一个后续图像中的分辨率,所述部分不邻近所述已评估的注意点。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361801219P | 2013-03-15 | 2013-03-15 | |
US61/801,219 | 2013-03-15 | ||
CN201480027589.2A CN105229719B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480027589.2A Division CN105229719B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107632710A true CN107632710A (zh) | 2018-01-26 |
CN107632710B CN107632710B (zh) | 2021-04-30 |
Family
ID=51525486
Family Applications (9)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710878238.8A Active CN107577350B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201810263580.1A Active CN108427504B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201710878155.9A Active CN107656617B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201480027589.2A Active CN105229719B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201810264993.1A Active CN108628446B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201710878246.2A Active CN107632710B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201710878226.5A Active CN107656618B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN202111204694.7A Pending CN113918018A (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201710878130.9A Active CN107632709B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710878238.8A Active CN107577350B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201810263580.1A Active CN108427504B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201710878155.9A Active CN107656617B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201480027589.2A Active CN105229719B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201810264993.1A Active CN108628446B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710878226.5A Active CN107656618B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN202111204694.7A Pending CN113918018A (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
CN201710878130.9A Active CN107632709B (zh) | 2013-03-15 | 2014-03-14 | 显示系统和方法 |
Country Status (11)
Country | Link |
---|---|
US (12) | US9417452B2 (zh) |
EP (2) | EP4027222A1 (zh) |
JP (10) | JP6326482B2 (zh) |
KR (8) | KR102271198B1 (zh) |
CN (9) | CN107577350B (zh) |
AU (8) | AU2014229004B2 (zh) |
CA (2) | CA2905506C (zh) |
HK (1) | HK1248851A1 (zh) |
IL (8) | IL241657B (zh) |
NZ (8) | NZ735755A (zh) |
WO (1) | WO2014144526A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108514421A (zh) * | 2018-03-30 | 2018-09-11 | 福建幸福家园投资管理有限公司 | 提升混合现实与日常健康监测的方法 |
Families Citing this family (542)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0522968D0 (en) | 2005-11-11 | 2005-12-21 | Popovich Milan M | Holographic illumination device |
GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
US9341846B2 (en) | 2012-04-25 | 2016-05-17 | Rockwell Collins Inc. | Holographic wide angle display |
WO2011042711A2 (en) | 2009-10-09 | 2011-04-14 | Milan Momcilo Popovich | Compact edge illuminated diffractive display |
US11204540B2 (en) | 2009-10-09 | 2021-12-21 | Digilens Inc. | Diffractive waveguide providing a retinal image |
WO2012136970A1 (en) | 2011-04-07 | 2012-10-11 | Milan Momcilo Popovich | Laser despeckler based on angular diversity |
US20140204455A1 (en) | 2011-08-24 | 2014-07-24 | Milan Momcilo Popovich | Wearable data display |
US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
WO2013102759A2 (en) | 2012-01-06 | 2013-07-11 | Milan Momcilo Popovich | Contact image sensor using switchable bragg gratings |
WO2013167864A1 (en) | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
US20160292924A1 (en) * | 2012-10-31 | 2016-10-06 | Sulon Technologies Inc. | System and method for augmented reality and virtual reality applications |
US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
EP4027222A1 (en) * | 2013-03-15 | 2022-07-13 | Magic Leap, Inc. | Display system and method |
WO2014188149A1 (en) | 2013-05-20 | 2014-11-27 | Milan Momcilo Popovich | Holographic waveguide eye tracker |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
CN103353663B (zh) | 2013-06-28 | 2016-08-10 | 北京智谷睿拓技术服务有限公司 | 成像调整装置及方法 |
CN103353667B (zh) | 2013-06-28 | 2015-10-21 | 北京智谷睿拓技术服务有限公司 | 成像调整设备及方法 |
CN103353677B (zh) | 2013-06-28 | 2015-03-11 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
CN103431840B (zh) | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测系统及方法 |
WO2015015138A1 (en) | 2013-07-31 | 2015-02-05 | Milan Momcilo Popovich | Method and apparatus for contact image sensing |
CN103424891B (zh) | 2013-07-31 | 2014-12-17 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
CN103439801B (zh) | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 视力保护成像装置及方法 |
CN103431980A (zh) | 2013-08-22 | 2013-12-11 | 北京智谷睿拓技术服务有限公司 | 视力保护成像系统及方法 |
CN103605208B (zh) | 2013-08-30 | 2016-09-28 | 北京智谷睿拓技术服务有限公司 | 内容投射系统及方法 |
CN103500331B (zh) | 2013-08-30 | 2017-11-10 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
CN113576398A (zh) | 2013-09-03 | 2021-11-02 | 托比股份公司 | 便携式眼睛追踪设备 |
US10310597B2 (en) * | 2013-09-03 | 2019-06-04 | Tobii Ab | Portable eye tracking device |
US10686972B2 (en) | 2013-09-03 | 2020-06-16 | Tobii Ab | Gaze assisted field of view control |
CN103558909B (zh) * | 2013-10-10 | 2017-03-29 | 北京智谷睿拓技术服务有限公司 | 交互投射显示方法及交互投射显示系统 |
US9491365B2 (en) * | 2013-11-18 | 2016-11-08 | Intel Corporation | Viewfinder wearable, at least in part, by human operator |
NZ722904A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
US9547412B1 (en) * | 2014-03-31 | 2017-01-17 | Amazon Technologies, Inc. | User interface configuration to avoid undesired movement effects |
US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20150379772A1 (en) * | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
WO2016028864A1 (en) | 2014-08-22 | 2016-02-25 | Intelligent Technologies International, Inc. | Secure testing device, system and method |
US10540907B2 (en) | 2014-07-31 | 2020-01-21 | Intelligent Technologies International, Inc. | Biometric identification headpiece system for test taking |
WO2016020632A1 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Method for holographic mastering and replication |
US10410535B2 (en) | 2014-08-22 | 2019-09-10 | Intelligent Technologies International, Inc. | Secure testing device |
WO2016042283A1 (en) | 2014-09-19 | 2016-03-24 | Milan Momcilo Popovich | Method and apparatus for generating input images for holographic waveguide displays |
KR101728408B1 (ko) * | 2014-09-22 | 2017-04-19 | (주)에프엑스기어 | 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램 |
EP3198192A1 (en) | 2014-09-26 | 2017-08-02 | Milan Momcilo Popovich | Holographic waveguide opticaltracker |
CN117452641A (zh) | 2014-09-29 | 2024-01-26 | 奇跃公司 | 可穿戴显示系统 |
US10438106B2 (en) | 2014-11-04 | 2019-10-08 | Intellignet Technologies International, Inc. | Smartcard |
US9489044B2 (en) | 2014-11-07 | 2016-11-08 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
JP6501501B2 (ja) * | 2014-11-12 | 2019-04-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
US10176639B2 (en) | 2014-11-27 | 2019-01-08 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
JP6555279B2 (ja) * | 2014-12-15 | 2019-08-07 | 株式会社島津製作所 | ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム |
CN107003734B (zh) | 2014-12-23 | 2019-12-17 | 美达视野股份有限公司 | 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统 |
US10255713B2 (en) | 2014-12-29 | 2019-04-09 | Google Llc | System and method for dynamically adjusting rendering parameters based on user movements |
US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
US9824498B2 (en) * | 2014-12-30 | 2017-11-21 | Sony Interactive Entertainment Inc. | Scanning display system in head-mounted display for virtual reality |
EP3245551B1 (en) | 2015-01-12 | 2019-09-18 | DigiLens Inc. | Waveguide light field displays |
US10437064B2 (en) | 2015-01-12 | 2019-10-08 | Digilens Inc. | Environmentally isolated waveguide display |
WO2016116733A1 (en) | 2015-01-20 | 2016-07-28 | Milan Momcilo Popovich | Holographic waveguide lidar |
US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
CN107533233B (zh) | 2015-03-05 | 2021-01-29 | 奇跃公司 | 用于增强现实的系统和方法 |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
US20160267714A1 (en) * | 2015-03-12 | 2016-09-15 | LAFORGE Optical, Inc. | Apparatus and Method for Mutli-Layered Graphical User Interface for Use in Mediated Reality |
EP4173550A1 (en) | 2015-03-16 | 2023-05-03 | Magic Leap, Inc. | Diagnosing and treating health ailments |
WO2016146963A1 (en) | 2015-03-16 | 2016-09-22 | Popovich, Milan, Momcilo | Waveguide device incorporating a light pipe |
WO2016156776A1 (en) | 2015-03-31 | 2016-10-06 | Milan Momcilo Popovich | Method and apparatus for contact image sensing |
US10152906B2 (en) * | 2015-04-26 | 2018-12-11 | Mems Start, Llc | Near-eye display system and method |
IL256276B (en) | 2015-06-15 | 2022-09-01 | Magic Leap Inc | Display system with optical components for coupling multiple light streams |
KR102601682B1 (ko) * | 2015-06-30 | 2023-11-13 | 매직 립, 인코포레이티드 | 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법 |
US10492981B1 (en) | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
US10176642B2 (en) | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
US10685488B1 (en) | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
AU2016296579B2 (en) * | 2015-07-17 | 2021-07-01 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
US10335572B1 (en) | 2015-07-17 | 2019-07-02 | Naveen Kumar | Systems and methods for computer assisted operation |
US10149958B1 (en) | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
WO2017015302A1 (en) | 2015-07-20 | 2017-01-26 | Magic Leap, Inc. | Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system |
CN114998557A (zh) * | 2015-08-18 | 2022-09-02 | 奇跃公司 | 虚拟和增强现实系统和方法 |
US10089526B2 (en) | 2015-08-21 | 2018-10-02 | Magic Leap, Inc. | Eyelid shape estimation |
CN112836664A (zh) | 2015-08-21 | 2021-05-25 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
EP3353589A4 (en) | 2015-09-16 | 2019-07-24 | Magic Leap, Inc. | MIXING OF AUDIO FILES AS A FUNCTION FOR HEADPHONES |
EP4371484A3 (en) | 2015-09-23 | 2024-07-24 | Magic Leap, Inc. | Eye imaging with an off-axis imager |
CN108474945B (zh) | 2015-10-05 | 2021-10-01 | 迪吉伦斯公司 | 波导显示器 |
IL294587A (en) | 2015-10-05 | 2022-09-01 | Magic Leap Inc | Microlens collimator for optical fiber scanning in a virtual/augmented reality system |
JP7216547B2 (ja) * | 2015-10-06 | 2023-02-01 | マジック リープ, インコーポレイテッド | 逆角度回折格子を有する仮想/拡張現実システム |
US20170103577A1 (en) * | 2015-10-12 | 2017-04-13 | Cinova Media | Method and apparatus for optimizing video streaming for virtual reality |
CN114140867A (zh) | 2015-10-16 | 2022-03-04 | 奇跃公司 | 使用眼睛特征的眼睛姿态识别 |
US10088685B1 (en) | 2015-10-19 | 2018-10-02 | Meta Company | Apparatuses, methods and systems for multiple focal distance display |
NZ741866A (en) | 2015-10-20 | 2019-07-26 | Magic Leap Inc | Selecting virtual objects in a three-dimensional space |
US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
CN106652004A (zh) * | 2015-10-30 | 2017-05-10 | 北京锤子数码科技有限公司 | 基于头戴式可视设备对虚拟现实进行渲染的方法及装置 |
CN108476311B (zh) | 2015-11-04 | 2021-04-27 | 奇跃公司 | 可穿戴显示系统和用于校准可穿戴显示器的方法 |
US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
US10043075B2 (en) * | 2015-11-19 | 2018-08-07 | Microsoft Technology Licensing, Llc | Eye feature identification |
JP6511386B2 (ja) * | 2015-11-20 | 2019-05-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
US20180045960A1 (en) * | 2015-12-02 | 2018-02-15 | Augmenteum, LLC. | System for and method of projecting augmentation imagery in a head-mounted display |
WO2017096396A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
WO2017112958A1 (en) * | 2015-12-24 | 2017-06-29 | Meta Company | Optical engine for creating wide-field of view fovea-based display |
US10678958B2 (en) | 2015-12-28 | 2020-06-09 | Intelligent Technologies International, Inc. | Intrusion-protected memory component |
US10026232B2 (en) | 2016-01-04 | 2018-07-17 | Meta Compnay | Apparatuses, methods and systems for application of forces within a 3D virtual environment |
CN108474960B (zh) | 2016-01-07 | 2021-11-16 | 奇跃公司 | 显示系统 |
JP6845982B2 (ja) * | 2016-01-13 | 2021-03-24 | フォーブ インコーポレーテッド | 表情認識システム、表情認識方法及び表情認識プログラム |
CN108780228B (zh) | 2016-01-19 | 2021-04-20 | 奇跃公司 | 利用映像的增强现实系统和方法 |
CN114205574A (zh) | 2016-01-19 | 2022-03-18 | 奇跃公司 | 眼睛图像采集、选择和组合 |
AU2017209171B2 (en) | 2016-01-20 | 2021-10-21 | Magic Leap, Inc. | Polarizing maintaining optical fiber in virtual/augmented reality system |
US10536690B2 (en) | 2016-01-29 | 2020-01-14 | Magic Leap, Inc. | Display for three-dimensional image |
EP3398007A1 (en) | 2016-02-04 | 2018-11-07 | DigiLens, Inc. | Holographic waveguide optical tracker |
WO2017139034A1 (en) * | 2016-02-09 | 2017-08-17 | Google Inc. | Pixel adjusting at display controller for electronic display stabilization |
US10665020B2 (en) | 2016-02-15 | 2020-05-26 | Meta View, Inc. | Apparatuses, methods and systems for tethering 3-D virtual elements to digital content |
EP3420387A4 (en) | 2016-02-24 | 2019-10-30 | Magic Leap, Inc. | POLARIZATION BEAM SEPARATOR WITH LIGHT LEAKAGE LEAKAGE |
US11264548B2 (en) | 2016-02-24 | 2022-03-01 | Magic Leap, Inc. | Low profile interconnect for light emitter |
US10775545B2 (en) | 2016-02-26 | 2020-09-15 | Magic Leap, Inc. | Display system having a plurality of light pipes for a plurality of light emitters |
WO2017147520A1 (en) | 2016-02-26 | 2017-08-31 | Magic Leap, Inc. | Light output system with reflector and lens for highly spatially uniform light output |
US9939635B2 (en) | 2016-02-29 | 2018-04-10 | Brillio LLC | Method for providing notification in virtual reality device |
EP3423887B1 (en) | 2016-03-01 | 2023-07-12 | Magic Leap, Inc. | Reflective switching device for inputting different wavelengths of light into waveguides |
WO2017151974A1 (en) | 2016-03-04 | 2017-09-08 | Magic Leap, Inc. | Current drain reduction in ar/vr display systems |
WO2017155826A1 (en) | 2016-03-07 | 2017-09-14 | Magic Leap, Inc. | Blue light adjustment for biometri security |
CN109310476B (zh) | 2016-03-12 | 2020-04-03 | P·K·朗 | 用于手术的装置与方法 |
WO2017165301A1 (en) | 2016-03-21 | 2017-09-28 | Washington University | Virtual reality or augmented reality visualization of 3d medical images |
NZ746117A (en) | 2016-03-22 | 2020-02-28 | Magic Leap Inc | Head mounted display system configured to exchange biometric information |
WO2017162999A1 (en) | 2016-03-24 | 2017-09-28 | Popovich Milan Momcilo | Method and apparatus for providing a polarization selective holographic waveguide device |
IL311155A (en) | 2016-03-25 | 2024-04-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
US10359806B2 (en) * | 2016-03-28 | 2019-07-23 | Sony Interactive Entertainment Inc. | Pressure sensing to identify fitness and comfort of virtual reality headset |
JP2017182247A (ja) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10078919B2 (en) | 2016-03-31 | 2018-09-18 | Magic Leap, Inc. | Interactions with 3D virtual objects using poses and multiple-DOF controllers |
EP4273615A3 (en) | 2016-04-08 | 2024-01-17 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
US10890707B2 (en) | 2016-04-11 | 2021-01-12 | Digilens Inc. | Holographic waveguide apparatus for structured light projection |
US10341650B2 (en) * | 2016-04-15 | 2019-07-02 | Ati Technologies Ulc | Efficient streaming of virtual reality content |
US10437326B2 (en) | 2016-04-21 | 2019-10-08 | Facebook Technologies, Llc | Backlight modulation for liquid crystal display with eyetracking for virtual reality |
KR102548818B1 (ko) | 2016-04-21 | 2023-06-28 | 매직 립, 인코포레이티드 | 시야 주위의 시각적 아우라 |
NZ747815A (en) | 2016-04-26 | 2023-05-26 | Magic Leap Inc | Electromagnetic tracking with augmented reality systems |
US10046229B2 (en) | 2016-05-02 | 2018-08-14 | Bao Tran | Smart device |
JP6961619B2 (ja) | 2016-05-06 | 2021-11-05 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 光を再指向させるための非対称格子を有するメタ表面および製造方法 |
JP7021110B2 (ja) | 2016-05-09 | 2022-02-16 | マジック リープ, インコーポレイテッド | ユーザ健康分析のための拡張現実システムおよび方法 |
AU2017264780B2 (en) | 2016-05-12 | 2022-05-12 | Magic Leap, Inc. | Distributed light manipulation over imaging waveguide |
US10198874B2 (en) * | 2016-05-13 | 2019-02-05 | Google Llc | Methods and apparatus to align components in virtual reality environments |
US10365712B2 (en) | 2016-05-17 | 2019-07-30 | Google Llc | Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment |
IL290933B2 (en) | 2016-05-20 | 2023-10-01 | Magic Leap Inc | Contextual awareness of user interface menus |
EP4350647A3 (en) | 2016-06-03 | 2024-04-24 | Magic Leap, Inc. | Augmented reality identity verification |
CN117028910A (zh) | 2016-06-10 | 2023-11-10 | 奇跃公司 | 纹理投射灯泡的积分点光源 |
US10332315B2 (en) | 2016-06-20 | 2019-06-25 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
US10366536B2 (en) | 2016-06-28 | 2019-07-30 | Microsoft Technology Licensing, Llc | Infinite far-field depth perception for near-field objects in virtual environments |
JP7011608B2 (ja) | 2016-06-30 | 2022-01-26 | マジック リープ, インコーポレイテッド | 3次元空間内の姿勢推定 |
CN109661194B (zh) | 2016-07-14 | 2022-02-25 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
EP3485425B1 (en) | 2016-07-14 | 2023-08-23 | Magic Leap, Inc. | Deep neural network for iris identification |
WO2018017751A1 (en) * | 2016-07-19 | 2018-01-25 | Supereye, Inc. | Systems and methods for predictive visual rendering |
KR102196380B1 (ko) | 2016-07-21 | 2020-12-30 | 매직 립, 인코포레이티드 | 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술 |
CN109788901B (zh) | 2016-07-25 | 2024-01-02 | 奇跃公司 | 光场处理器系统 |
EP4345831A3 (en) | 2016-07-25 | 2024-04-24 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
CN110383756B (zh) | 2016-07-29 | 2023-06-09 | 奇跃公司 | 加密签名记录的安全交换 |
KR102649197B1 (ko) * | 2016-07-29 | 2024-03-20 | 삼성전자주식회사 | 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 |
US10373592B2 (en) | 2016-08-01 | 2019-08-06 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
KR20240009543A (ko) | 2016-08-02 | 2024-01-22 | 매직 립, 인코포레이티드 | 고정-거리 가상 및 증강 현실 시스템들 및 방법들 |
WO2018026893A1 (en) * | 2016-08-03 | 2018-02-08 | Google Llc | Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments |
JP6795683B2 (ja) | 2016-08-11 | 2020-12-02 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 3次元空間内の仮想オブジェクトの自動配置 |
CA3033109A1 (en) | 2016-08-12 | 2018-02-15 | Magic Leap, Inc. | Word flow annotation |
KR102217789B1 (ko) | 2016-08-22 | 2021-02-19 | 매직 립, 인코포레이티드 | 나노그레이팅 방법 및 장치 |
EP3500911B1 (en) | 2016-08-22 | 2023-09-27 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
EP3504686A4 (en) * | 2016-08-26 | 2019-09-25 | Magic Leap, Inc. | CONTINUOUS TIME DEFORMATION AND BINOCULAR TIME DEFORMATION FOR SYSTEMS AND METHODS FOR VIRTUAL AND INCREASED REALITY DISPLAY |
CN106331689B (zh) * | 2016-08-26 | 2018-09-18 | 杭州智屏电子商务有限公司 | Vr视频播放时定位对象方法及vr视频播放时定位对象装置 |
EP3513242B1 (en) | 2016-09-13 | 2021-12-01 | Magic Leap, Inc. | Sensory eyewear |
US11198063B2 (en) * | 2016-09-14 | 2021-12-14 | Square Enix Co., Ltd. | Video display system, video display method, and video display program |
JP6978493B2 (ja) | 2016-09-21 | 2021-12-08 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 射出瞳エクスパンダを伴う光学システムのためのシステムおよび方法 |
WO2018057962A1 (en) | 2016-09-22 | 2018-03-29 | Magic Leap, Inc. | Augmented reality spectroscopy |
US20180082482A1 (en) * | 2016-09-22 | 2018-03-22 | Apple Inc. | Display system having world and user sensors |
US10380950B2 (en) * | 2016-09-23 | 2019-08-13 | Novatek Microelectronics Corp. | Method for reducing motion blur and head mounted display apparatus |
WO2018058063A1 (en) | 2016-09-26 | 2018-03-29 | Magic Leap, Inc. | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
CA3037047A1 (en) | 2016-09-28 | 2018-04-05 | Magic Leap, Inc. | Face model capture by a wearable device |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
JP6813670B2 (ja) * | 2016-09-30 | 2021-01-13 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
IL281321B (en) | 2016-10-04 | 2022-07-01 | Magic Leap Inc | Efficient data layouts for convolutional neural networks |
EP3523782A4 (en) | 2016-10-05 | 2020-06-24 | Magic Leap, Inc. | PERIOCULAR TEST FOR MIXED REALITY CALIBRATION |
IT201600103076A1 (it) * | 2016-10-13 | 2018-04-13 | Osram Gmbh | Procedimento di rilevazione del c.d. view frustum, sistema e prodotto informatico corrispondenti |
GB2554914B (en) * | 2016-10-14 | 2022-07-20 | Vr Chitect Ltd | Virtual reality system and method |
EP4333428A3 (en) | 2016-10-21 | 2024-05-22 | Magic Leap, Inc. | System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views |
KR102561860B1 (ko) | 2016-10-25 | 2023-08-02 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
KR102507383B1 (ko) * | 2016-11-08 | 2023-03-08 | 한국전자통신연구원 | 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템 |
IL296031A (en) | 2016-11-11 | 2022-10-01 | Magic Leap Inc | Peripheral assembly and audio of a full facial image |
JP6854344B2 (ja) | 2016-11-15 | 2021-04-07 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 直方体検出のための深層機械学習システム |
KR102595171B1 (ko) | 2016-11-16 | 2023-10-26 | 매직 립, 인코포레이티드 | 웨어러블 컴포넌트들을 위한 열 관리 시스템들 |
US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
AU2017363078B2 (en) | 2016-11-18 | 2022-09-29 | Magic Leap, Inc. | Waveguide light multiplexer using crossed gratings |
IL266669B2 (en) | 2016-11-18 | 2023-11-01 | Magic Leap Inc | Liquid crystal refraction lattices vary spatially |
AU2017363081B2 (en) | 2016-11-18 | 2022-01-13 | Magic Leap, Inc. | Multilayer liquid crystal diffractive gratings for redirecting light of wide incident angle ranges |
EP3550418A4 (en) * | 2016-11-30 | 2020-05-27 | Gree, Inc. | APPLICATION CONTROL PROGRAM, APPLICATION CONTROL METHOD, AND APPLICATION CONTROL SYSTEM |
US11513350B2 (en) | 2016-12-02 | 2022-11-29 | Digilens Inc. | Waveguide device with uniform output illumination |
WO2018106542A1 (en) | 2016-12-05 | 2018-06-14 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
AU2017371047B2 (en) | 2016-12-08 | 2021-10-14 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
GB2557593A (en) * | 2016-12-09 | 2018-06-27 | Sony Interactive Entertainment Inc | Virtual reality |
CN106888203B (zh) | 2016-12-13 | 2020-03-24 | 阿里巴巴集团控股有限公司 | 基于增强现实的虚拟对象分配方法及装置 |
WO2018111895A1 (en) | 2016-12-13 | 2018-06-21 | Magic Leap, Inc. | 3d object rendering using detected features |
EP3555581B1 (en) | 2016-12-13 | 2022-11-23 | Magic Leap, Inc. | Augmented and virtual reality eyewear for delivering polarized light and determing glucose levels |
AU2017376453B2 (en) | 2016-12-14 | 2022-09-29 | Magic Leap, Inc. | Patterning of liquid crystals using soft-imprint replication of surface alignment patterns |
KR20180071012A (ko) * | 2016-12-19 | 2018-06-27 | 삼성전자주식회사 | 전자 장치 및 전자 장치 제어 방법 |
US10371896B2 (en) * | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
EP3559728A4 (en) | 2016-12-22 | 2020-10-07 | Magic Leap, Inc. | SYSTEMS AND METHODS FOR MANIPULATING LIGHT FROM AMBIENT LIGHT SOURCES |
GB2558284B (en) * | 2016-12-23 | 2021-12-08 | Sony Interactive Entertainment Inc | Virtual reality |
US10746999B2 (en) | 2016-12-28 | 2020-08-18 | Magic Leap, Inc. | Dual depth exit pupil expander |
CN110419018B (zh) | 2016-12-29 | 2023-08-04 | 奇跃公司 | 基于外部条件的可穿戴显示装置的自动控制 |
US10610775B1 (en) * | 2017-01-04 | 2020-04-07 | Facebook Technologies, Llc | Actuation for a focus adjusting head mounted display |
EP3565788B1 (en) | 2017-01-05 | 2022-09-07 | Magic Leap, Inc. | Patterning of high refractive index glasses by plasma etching |
WO2018129398A1 (en) | 2017-01-05 | 2018-07-12 | Digilens, Inc. | Wearable heads up displays |
CA3049662A1 (en) | 2017-01-16 | 2018-07-19 | Philipp K. Lang | Optical guidance for surgical, medical, and dental procedures |
CN108320331B (zh) * | 2017-01-17 | 2021-10-22 | 上海掌门科技有限公司 | 一种生成用户场景的增强现实视频信息的方法与设备 |
US10824888B1 (en) * | 2017-01-19 | 2020-11-03 | State Farm Mutual Automobile Insurance Company | Imaging analysis technology to assess movements of vehicle occupants |
JP6596452B2 (ja) * | 2017-01-23 | 2019-10-23 | ティフォン インコーポレーテッド | 表示装置、表示方法及びその表示プログラム、並びに、遊興施設 |
EP3571535B1 (en) | 2017-01-23 | 2023-07-19 | Magic Leap, Inc. | Eyepiece for virtual, augmented, or mixed reality systems |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
US20180213202A1 (en) * | 2017-01-23 | 2018-07-26 | Jaunt Inc. | Generating a Video Stream from a 360-Degree Video |
US10841724B1 (en) | 2017-01-24 | 2020-11-17 | Ha Tran | Enhanced hearing system |
US10242654B2 (en) | 2017-01-25 | 2019-03-26 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations |
US9978118B1 (en) | 2017-01-25 | 2018-05-22 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations with data compression |
EP4206752A1 (en) | 2017-01-27 | 2023-07-05 | Magic Leap, Inc. | Diffraction gratings formed by metasurfaces having differently oriented nanobeams |
KR102551162B1 (ko) | 2017-01-27 | 2023-07-04 | 매직 립, 인코포레이티드 | 메타표면들을 위한 반사 방지 코팅들 |
US10298840B2 (en) | 2017-01-31 | 2019-05-21 | Microsoft Technology Licensing, Llc | Foveated camera for video augmented reality and head mounted display |
US11187909B2 (en) | 2017-01-31 | 2021-11-30 | Microsoft Technology Licensing, Llc | Text rendering by microshifting the display in a head mounted display |
US10354140B2 (en) | 2017-01-31 | 2019-07-16 | Microsoft Technology Licensing, Llc | Video noise reduction for video augmented reality system |
US10504397B2 (en) | 2017-01-31 | 2019-12-10 | Microsoft Technology Licensing, Llc | Curved narrowband illuminant display for head mounted display |
US11287292B2 (en) | 2017-02-13 | 2022-03-29 | Lockheed Martin Corporation | Sensor system |
US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
US11900021B2 (en) | 2017-02-22 | 2024-02-13 | Middle Chart, LLC | Provision of digital content via a wearable eye covering |
US11481527B2 (en) | 2017-02-22 | 2022-10-25 | Middle Chart, LLC | Apparatus for displaying information about an item of equipment in a direction of interest |
US11625510B2 (en) | 2017-02-22 | 2023-04-11 | Middle Chart, LLC | Method and apparatus for presentation of digital content |
US11436389B2 (en) | 2017-02-22 | 2022-09-06 | Middle Chart, LLC | Artificial intelligence based exchange of geospatial related digital content |
US10740502B2 (en) | 2017-02-22 | 2020-08-11 | Middle Chart, LLC | Method and apparatus for position based query with augmented reality headgear |
US10949579B2 (en) * | 2017-02-22 | 2021-03-16 | Middle Chart, LLC | Method and apparatus for enhanced position and orientation determination |
US10740503B1 (en) | 2019-01-17 | 2020-08-11 | Middle Chart, LLC | Spatial self-verifying array of nodes |
US11468209B2 (en) | 2017-02-22 | 2022-10-11 | Middle Chart, LLC | Method and apparatus for display of digital content associated with a location in a wireless communications area |
US11900023B2 (en) | 2017-02-22 | 2024-02-13 | Middle Chart, LLC | Agent supportable device for pointing towards an item of interest |
US11475177B2 (en) | 2017-02-22 | 2022-10-18 | Middle Chart, LLC | Method and apparatus for improved position and orientation based information display |
US11194938B2 (en) | 2020-01-28 | 2021-12-07 | Middle Chart, LLC | Methods and apparatus for persistent location based digital content |
US10824774B2 (en) | 2019-01-17 | 2020-11-03 | Middle Chart, LLC | Methods and apparatus for healthcare facility optimization |
US10902160B2 (en) | 2017-02-22 | 2021-01-26 | Middle Chart, LLC | Cold storage environmental control and product tracking |
US10984146B2 (en) | 2017-02-22 | 2021-04-20 | Middle Chart, LLC | Tracking safety conditions of an area |
KR102403719B1 (ko) * | 2017-02-22 | 2022-06-02 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN110537122B (zh) | 2017-02-23 | 2022-04-29 | 奇跃公司 | 基于偏振转换的可变焦虚拟图像设备 |
EP4235232A3 (en) | 2017-03-14 | 2023-12-27 | Magic Leap, Inc. | Waveguides with light absorbing films and processes for forming the same |
KR102359978B1 (ko) | 2017-03-17 | 2022-02-07 | 매직 립, 인코포레이티드 | 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 |
WO2018170421A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Room layout estimation methods and techniques |
IL290001B2 (en) | 2017-03-17 | 2023-04-01 | Magic Leap Inc | Augmented reality data recording technique |
US10762598B2 (en) | 2017-03-17 | 2020-09-01 | Magic Leap, Inc. | Mixed reality system with color virtual content warping and method of generating virtual content using same |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
US11079603B2 (en) | 2017-03-21 | 2021-08-03 | Magic Leap, Inc. | Display system with spatial light modulator illumination for divided pupils |
EP3602173A4 (en) | 2017-03-21 | 2021-01-13 | Magic Leap, Inc. | STACKED WAVE CONDUCTORS WITH DIFFERENT DIFFUSION GRIDS FOR A COMBINED FIELD OF VIEW |
KR20240064054A (ko) | 2017-03-21 | 2024-05-10 | 매직 립, 인코포레이티드 | 회절 광학 엘리먼트들을 이용한 눈-이미징 장치 |
CN114442311A (zh) | 2017-03-21 | 2022-05-06 | 奇跃公司 | 低轮廓分束器 |
KR102579249B1 (ko) | 2017-03-21 | 2023-09-15 | 매직 립, 인코포레이티드 | 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들 |
CN113568508B (zh) | 2017-03-21 | 2024-07-26 | 奇跃公司 | 虚拟、增强和混合现实系统的深度感测技术 |
KR102524006B1 (ko) | 2017-03-22 | 2023-04-20 | 매직 립, 인코포레이티드 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
US10417739B2 (en) * | 2017-03-23 | 2019-09-17 | Google Llc | Phase aligned foveated rendering |
US10514753B2 (en) | 2017-03-27 | 2019-12-24 | Microsoft Technology Licensing, Llc | Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power |
US10410349B2 (en) | 2017-03-27 | 2019-09-10 | Microsoft Technology Licensing, Llc | Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power |
US10379606B2 (en) * | 2017-03-30 | 2019-08-13 | Microsoft Technology Licensing, Llc | Hologram anchor prioritization |
US10424107B2 (en) | 2017-04-01 | 2019-09-24 | Intel Corporation | Hierarchical depth buffer back annotaton |
US10255891B2 (en) | 2017-04-12 | 2019-04-09 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations with multiple LSR processing engines |
US10896657B2 (en) | 2017-04-17 | 2021-01-19 | Intel Corporation | Graphics with adaptive temporal adjustments |
US20180300951A1 (en) * | 2017-04-17 | 2018-10-18 | Intel Corporation | Adaptive tessellation for foveated rendering |
US10436968B2 (en) | 2017-04-18 | 2019-10-08 | Magic Leap, Inc. | Waveguides having reflective layers formed by reflective flowable materials |
JP7149289B2 (ja) | 2017-04-19 | 2022-10-06 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
US11010953B2 (en) | 2017-04-21 | 2021-05-18 | Intel Corporation | Dedicated fixed point blending for energy efficiency |
US10939038B2 (en) * | 2017-04-24 | 2021-03-02 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
CN110832439B (zh) | 2017-04-27 | 2023-09-29 | 奇跃公司 | 发光用户输入设备 |
US11115718B2 (en) * | 2017-04-30 | 2021-09-07 | Texel Live Ltd. | Virtual reality imaging system |
KR20230108352A (ko) | 2017-05-01 | 2023-07-18 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
JP6509938B2 (ja) * | 2017-05-02 | 2019-05-08 | 株式会社コロプラ | 情報処理方法、コンピュータ、及びプログラム |
EP3625616A4 (en) | 2017-05-16 | 2020-06-24 | Magic Leap, Inc. | SYSTEMS AND METHODS ASSOCIATED WITH MIXED REALITY |
CN110832441B (zh) | 2017-05-19 | 2023-12-26 | 奇跃公司 | 用于虚拟、增强和混合现实显示系统的键盘 |
CN110678891B (zh) | 2017-05-22 | 2023-11-14 | 奇跃公司 | 与同伴设备配对 |
CA3059984C (en) | 2017-05-30 | 2024-01-30 | Magic Leap, Inc. | Power supply assembly with fan assembly for electronic device |
CN117762256A (zh) | 2017-05-31 | 2024-03-26 | 奇跃公司 | 眼睛跟踪校准技术 |
US10921613B2 (en) * | 2017-06-01 | 2021-02-16 | NewSight Reality, Inc. | Near eye display and related computer-implemented software and firmware |
KR20240023213A (ko) | 2017-06-12 | 2024-02-20 | 매직 립, 인코포레이티드 | 깊이 평면들을 변경하기 위한 다중-엘리먼트 적응형 렌즈를 갖는 증강 현실 디스플레이 |
CN107422848B (zh) * | 2017-06-16 | 2020-04-21 | 福建天晴数码有限公司 | 一种测试虚拟角色加速度值的方法及系统 |
EP3422147A1 (en) | 2017-06-28 | 2019-01-02 | Koninklijke Philips N.V. | Display apparatus for computer-mediated reality |
US10216333B2 (en) * | 2017-06-30 | 2019-02-26 | Microsoft Technology Licensing, Llc | Phase error compensation in single correlator systems |
US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
KR102449200B1 (ko) * | 2017-07-04 | 2022-09-30 | 삼성디스플레이 주식회사 | 클럭 배선을 포함하는 표시 장치 |
IL253432A0 (en) | 2017-07-11 | 2017-09-28 | Elbit Systems Ltd | System and method for correcting a rolling display effect |
WO2019012522A1 (en) | 2017-07-11 | 2019-01-17 | Elbit Systems Ltd. | SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT |
US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
KR102368661B1 (ko) | 2017-07-26 | 2022-02-28 | 매직 립, 인코포레이티드 | 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝 |
AU2018307786A1 (en) | 2017-07-28 | 2020-01-23 | Magic Leap, Inc. | Fan assembly for displaying an image |
CN107820593B (zh) * | 2017-07-28 | 2020-04-17 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实交互方法、装置及系统 |
US10395418B2 (en) | 2017-08-18 | 2019-08-27 | Microsoft Technology Licensing, Llc | Techniques for predictive prioritization of image portions in processing graphics |
US10445922B2 (en) * | 2017-08-31 | 2019-10-15 | Intel Corporation | Last-level projection method and apparatus for virtual and augmented reality |
AU2018326807B2 (en) | 2017-09-01 | 2023-04-13 | Magic Leap, Inc. | Generating a new frame using rendered content and non-rendered content from a previous perspective |
US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
US10762691B2 (en) * | 2017-09-08 | 2020-09-01 | Microsoft Technology Licensing, Llc | Techniques for compensating variable display device latency in image display |
WO2019051464A1 (en) | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
WO2019060283A1 (en) | 2017-09-20 | 2019-03-28 | Magic Leap, Inc. | PERSONALIZED NEURONAL FOLLOW-UP NETWORK |
EP4296753A3 (en) | 2017-09-21 | 2024-06-12 | Magic Leap, Inc. | Augmented reality display with waveguide configured to capture images of eye and/or environment |
GB2566745A (en) * | 2017-09-26 | 2019-03-27 | Sony Interactive Entertainment Inc | Motion signal generation |
AU2018342099A1 (en) | 2017-09-27 | 2020-04-02 | Magic Leap, Inc. | Near eye 3D display with separate phase and amplitude modulators |
WO2019067903A1 (en) * | 2017-09-29 | 2019-04-04 | Tobii Ab | HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION |
US10178619B1 (en) | 2017-09-29 | 2019-01-08 | Intel Corporation | Advanced graphics power state management |
US10818087B2 (en) | 2017-10-02 | 2020-10-27 | At&T Intellectual Property I, L.P. | Selective streaming of immersive video based on field-of-view prediction |
US10930709B2 (en) | 2017-10-03 | 2021-02-23 | Lockheed Martin Corporation | Stacked transparent pixel structures for image sensors |
WO2019069812A1 (ja) * | 2017-10-05 | 2019-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの視線検出システム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイの視線検出方法 |
CN111465887A (zh) | 2017-10-11 | 2020-07-28 | 奇跃公司 | 包括具有透明发射显示器的目镜的增强现实显示器 |
CN111386495B (zh) | 2017-10-16 | 2022-12-09 | 迪吉伦斯公司 | 用于倍增像素化显示器的图像分辨率的系统和方法 |
AU2018355446A1 (en) | 2017-10-26 | 2020-05-14 | Magic Leap, Inc. | Broadband adaptive lens assembly for augmented reality display |
CA3078530A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
IL274029B2 (en) | 2017-10-26 | 2023-09-01 | Magic Leap Inc | An augmented reality display with a liquid crystal variable focus element and a roll-to-roll method and a device for their creation |
US10839576B2 (en) | 2017-10-27 | 2020-11-17 | Magic Leap, Inc. | Virtual reticle for augmented reality systems |
CN107783653A (zh) * | 2017-11-06 | 2018-03-09 | 广州新维感信息技术有限公司 | 一种虚拟现实交互方法及系统 |
US10510812B2 (en) | 2017-11-09 | 2019-12-17 | Lockheed Martin Corporation | Display-integrated infrared emitter and sensor structures |
JP7213241B2 (ja) | 2017-11-14 | 2023-01-26 | マジック リープ, インコーポレイテッド | ニューラルネットワークに関するマルチタスク学習のためのメタ学習 |
US10553016B2 (en) | 2017-11-15 | 2020-02-04 | Google Llc | Phase aligned foveated rendering |
EP3724712A4 (en) | 2017-12-11 | 2021-08-04 | Magic Leap, Inc. | WAVE GUIDE LIGHTING |
IL311263A (en) | 2017-12-14 | 2024-05-01 | Magic Leap Inc | Context-based processing of virtual characters |
US10852547B2 (en) | 2017-12-15 | 2020-12-01 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
JP7431157B2 (ja) | 2017-12-15 | 2024-02-14 | マジック リープ, インコーポレイテッド | ディスプレイデバイスのための向上された姿勢決定 |
JP7182632B2 (ja) | 2017-12-22 | 2022-12-02 | マジック リープ, インコーポレイテッド | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム |
EP3729382A4 (en) | 2017-12-22 | 2021-01-20 | Magic Leap, Inc. | PROCESS AND SYSTEM FOR MANAGING AND DISPLAYING VIRTUAL CONTENT IN A MIXED REALITY SYSTEM |
US10360454B1 (en) | 2017-12-28 | 2019-07-23 | Rovi Guides, Inc. | Systems and methods for presenting supplemental content in augmented reality |
JP7474696B2 (ja) | 2018-01-04 | 2024-04-25 | マジック リープ, インコーポレイテッド | 無機材料を組み込むポリマー構造に基づく光学要素 |
CN111566571B (zh) | 2018-01-08 | 2022-05-13 | 迪吉伦斯公司 | 波导单元格中全息光栅高吞吐量记录的系统和方法 |
US10914950B2 (en) | 2018-01-08 | 2021-02-09 | Digilens Inc. | Waveguide architectures and related methods of manufacturing |
EP4354207A3 (en) | 2018-01-17 | 2024-07-17 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
IL311004A (en) | 2018-01-17 | 2024-04-01 | Magic Leap Inc | Display systems and methods for determining registration between a display and a user's eyes |
US11348257B2 (en) | 2018-01-29 | 2022-05-31 | Philipp K. Lang | Augmented reality guidance for orthopedic and other surgical procedures |
US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
GB2570708A (en) * | 2018-02-05 | 2019-08-07 | Nokia Technologies Oy | Switching between multidirectional and limited viewport video content |
IL276254B1 (en) | 2018-02-06 | 2024-05-01 | Magic Leap Inc | Systems and methods for augmented reality |
US10275919B1 (en) * | 2018-02-06 | 2019-04-30 | International Business Machines Corporation | Preventing transition shocks during transitions between realities |
US10951883B2 (en) | 2018-02-07 | 2021-03-16 | Lockheed Martin Corporation | Distributed multi-screen array for high density display |
US10979699B2 (en) | 2018-02-07 | 2021-04-13 | Lockheed Martin Corporation | Plenoptic cellular imaging system |
US10690910B2 (en) | 2018-02-07 | 2020-06-23 | Lockheed Martin Corporation | Plenoptic cellular vision correction |
US10594951B2 (en) | 2018-02-07 | 2020-03-17 | Lockheed Martin Corporation | Distributed multi-aperture camera array |
US10838250B2 (en) | 2018-02-07 | 2020-11-17 | Lockheed Martin Corporation | Display assemblies with electronically emulated transparency |
US11616941B2 (en) | 2018-02-07 | 2023-03-28 | Lockheed Martin Corporation | Direct camera-to-display system |
US10652529B2 (en) | 2018-02-07 | 2020-05-12 | Lockheed Martin Corporation | In-layer Signal processing |
US10129984B1 (en) | 2018-02-07 | 2018-11-13 | Lockheed Martin Corporation | Three-dimensional electronics distribution by geodesic faceting |
CA3091026A1 (en) | 2018-02-22 | 2019-08-29 | Magic Leap, Inc. | Object creation with physical manipulation |
KR20200122362A (ko) | 2018-02-22 | 2020-10-27 | 매직 립, 인코포레이티드 | 혼합 현실 시스템들을 위한 브라우저 |
US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
WO2019168673A1 (en) | 2018-02-27 | 2019-09-06 | Magic Leap, Inc. | Matching meshes for virtual avatars |
WO2019168723A1 (en) | 2018-02-28 | 2019-09-06 | Magic Leap, Inc. | Head scan alignment using ocular registration |
CA3090817A1 (en) | 2018-03-05 | 2019-09-12 | Magic Leap, Inc. | Display system with low-latency pupil tracker |
CA3139648A1 (en) | 2018-03-07 | 2019-09-12 | Magic Leap, Inc. | Visual tracking of peripheral devices |
WO2019173390A1 (en) | 2018-03-07 | 2019-09-12 | Magic Leap, Inc. | Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display |
US10659815B2 (en) | 2018-03-08 | 2020-05-19 | At&T Intellectual Property I, L.P. | Method of dynamic adaptive streaming for 360-degree videos |
EP3765878A4 (en) | 2018-03-12 | 2022-01-12 | Magic Leap, Inc. | ARCHITECTURES OF VISION OPTICAL ASSEMBLIES BASED ON ULTRA-HIGH INDEX LENS SUBSTRATE |
CN112136073A (zh) | 2018-03-14 | 2020-12-25 | 奇跃公司 | 用于剪辑内容以增加观看舒适感的显示系统和方法 |
US11430169B2 (en) | 2018-03-15 | 2022-08-30 | Magic Leap, Inc. | Animating virtual avatar facial movements |
EP3765943A4 (en) | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
EP3765897B1 (en) | 2018-03-16 | 2024-01-17 | Digilens Inc. | Holographic waveguides incorporating birefringence control and methods for their fabrication |
JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ, インコーポレイテッド | 眼追跡カメラからの顔の表情 |
US10943402B2 (en) * | 2018-03-20 | 2021-03-09 | Logitech Europe S.A. | Method and system for mixed reality interaction with peripheral device |
WO2019183399A1 (en) | 2018-03-21 | 2019-09-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
CN108427199A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 一种增强现实设备、系统及方法 |
JP7349445B2 (ja) | 2018-04-02 | 2023-09-22 | マジック リープ, インコーポレイテッド | 統合型光学要素を伴う導波管および同一物を作製する方法 |
CN112041716A (zh) | 2018-04-02 | 2020-12-04 | 奇跃公司 | 混合聚合物波导和用于制造混合聚合物波导的方法 |
US11886000B2 (en) | 2018-04-02 | 2024-01-30 | Magic Leap, Inc. | Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same |
US11276219B2 (en) | 2018-04-16 | 2022-03-15 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
WO2019204765A1 (en) | 2018-04-19 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
US10916066B2 (en) * | 2018-04-20 | 2021-02-09 | Edx Technologies, Inc. | Methods of virtual model modification |
US10789753B2 (en) | 2018-04-23 | 2020-09-29 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
WO2019212698A1 (en) | 2018-05-01 | 2019-11-07 | Magic Leap, Inc. | Avatar animation using markov decision process policies |
WO2019213220A1 (en) | 2018-05-03 | 2019-11-07 | Magic Leap, Inc. | Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character |
US10922895B2 (en) | 2018-05-04 | 2021-02-16 | Microsoft Technology Licensing, Llc | Projection of content libraries in three-dimensional environment |
EP3794516A4 (en) | 2018-05-17 | 2022-03-16 | Magic Leap, Inc. | GRADIENT ADVERSARIAL TRAINING OF NEURAL NETWORKS |
US10721510B2 (en) | 2018-05-17 | 2020-07-21 | At&T Intellectual Property I, L.P. | Directing user focus in 360 video consumption |
US11282255B2 (en) | 2018-05-21 | 2022-03-22 | Magic Leap, Inc. | Generating textured polygon strip hair from strand-based hair for a virtual character |
JP7516260B2 (ja) | 2018-05-22 | 2024-07-16 | マジック リープ, インコーポレイテッド | 仮想アバタをアニメーション化するための骨格システム |
EP3797345A4 (en) | 2018-05-22 | 2022-03-09 | Magic Leap, Inc. | TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM |
WO2019226549A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Computer generated hair groom transfer tool |
US10482653B1 (en) | 2018-05-22 | 2019-11-19 | At&T Intellectual Property I, L.P. | System for active-focus prediction in 360 video |
WO2019226865A1 (en) | 2018-05-25 | 2019-11-28 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
US10623791B2 (en) | 2018-06-01 | 2020-04-14 | At&T Intellectual Property I, L.P. | Field of view prediction in live panoramic video streaming |
US10827225B2 (en) | 2018-06-01 | 2020-11-03 | AT&T Intellectual Propety I, L.P. | Navigation for 360-degree video streaming |
US10812774B2 (en) * | 2018-06-06 | 2020-10-20 | At&T Intellectual Property I, L.P. | Methods and devices for adapting the rate of video content streaming |
WO2019236344A1 (en) | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
DE102018209377A1 (de) * | 2018-06-12 | 2019-12-12 | Volkswagen Aktiengesellschaft | Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden |
CN112567289A (zh) | 2018-06-15 | 2021-03-26 | 奇跃公司 | 宽视场偏振开关和制造具有预倾斜的液晶光学元件的方法 |
WO2019241575A1 (en) | 2018-06-15 | 2019-12-19 | Magic Leap, Inc. | Wide field-of-view polarization switches with liquid crystal optical elements with pretilt |
WO2019246058A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device |
US11624909B2 (en) | 2018-06-18 | 2023-04-11 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
WO2019246129A2 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
GB2574882B (en) * | 2018-06-22 | 2020-08-12 | Sony Interactive Entertainment Inc | Method and system for displaying a virtual object |
US11151793B2 (en) | 2018-06-26 | 2021-10-19 | Magic Leap, Inc. | Waypoint creation in map detection |
US11669726B2 (en) | 2018-07-02 | 2023-06-06 | Magic Leap, Inc. | Methods and systems for interpolation of disparate inputs |
US11106033B2 (en) | 2018-07-05 | 2021-08-31 | Magic Leap, Inc. | Waveguide-based illumination for head mounted display system |
CN112424671B (zh) | 2018-07-13 | 2023-10-27 | 奇跃公司 | 用于显示双目变形补偿的系统和方法 |
CN109063039A (zh) * | 2018-07-17 | 2018-12-21 | 高新兴科技集团股份有限公司 | 一种基于移动端的视频地图动态标签显示方法及系统 |
WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
JP7304934B2 (ja) | 2018-07-23 | 2023-07-07 | マジック リープ, インコーポレイテッド | 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 |
WO2020023524A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Method and system for resolving hemisphere ambiguity using a position vector |
US11627587B2 (en) | 2018-07-23 | 2023-04-11 | Magic Leap, Inc. | Coexistence interference avoidance between two different radios operating in the same band |
CN117711284A (zh) | 2018-07-23 | 2024-03-15 | 奇跃公司 | 场顺序显示器中的场内子码时序 |
US11320899B2 (en) | 2018-07-23 | 2022-05-03 | Magic Leap, Inc. | Deep predictor recurrent neural network for head pose prediction |
US11567336B2 (en) | 2018-07-24 | 2023-01-31 | Magic Leap, Inc. | Display systems and methods for determining registration between display and eyes of user |
WO2020023404A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
USD930614S1 (en) | 2018-07-24 | 2021-09-14 | Magic Leap, Inc. | Totem controller having an illumination region |
USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
US11422620B2 (en) | 2018-07-24 | 2022-08-23 | Magic Leap, Inc. | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes |
USD924204S1 (en) | 2018-07-24 | 2021-07-06 | Magic Leap, Inc. | Totem controller having an illumination region |
WO2020023546A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Diffractive optical elements with mitigation of rebounce-induced light loss and related systems and methods |
WO2020023779A1 (en) | 2018-07-25 | 2020-01-30 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
US10950024B2 (en) | 2018-07-27 | 2021-03-16 | Magic Leap, Inc. | Pose space dimensionality reduction for pose space deformation of a virtual character |
JP7355016B2 (ja) | 2018-07-30 | 2023-10-03 | 三菱ケミカル株式会社 | 熱溶融型積層造形用材料 |
JP7443332B2 (ja) | 2018-08-03 | 2024-03-05 | マジック リープ, インコーポレイテッド | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 |
US10600236B2 (en) | 2018-08-06 | 2020-03-24 | Valve Corporation | Prediction and throttling adjustments based on application rendering performance |
US11019361B2 (en) | 2018-08-13 | 2021-05-25 | At&T Intellectual Property I, L.P. | Methods, systems and devices for adjusting panoramic view of a camera for capturing video content |
CN112585673A (zh) * | 2018-08-29 | 2021-03-30 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
US10826964B2 (en) | 2018-09-05 | 2020-11-03 | At&T Intellectual Property I, L.P. | Priority-based tile transmission system and method for panoramic video streaming |
GB2567553B (en) * | 2018-09-06 | 2021-04-07 | Sony Interactive Entertainment Inc | Foveated rendering system and method |
GB2576905B (en) * | 2018-09-06 | 2021-10-27 | Sony Interactive Entertainment Inc | Gaze input System and method |
GB2576910B (en) * | 2018-09-06 | 2021-10-20 | Sony Interactive Entertainment Inc | User profile generating system and method |
GB2576904B (en) * | 2018-09-06 | 2021-10-20 | Sony Interactive Entertainment Inc | Content modification system and method |
US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
USD934872S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
USD955396S1 (en) | 2018-09-18 | 2022-06-21 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
USD934873S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
USD950567S1 (en) | 2018-09-18 | 2022-05-03 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
WO2020069037A1 (en) | 2018-09-26 | 2020-04-02 | Magic Leap, Inc. | Eyewear with pinhole and slit cameras |
JP7444861B2 (ja) | 2018-09-26 | 2024-03-06 | マジック リープ, インコーポレイテッド | 屈折力を有する回折光学要素 |
US10782779B1 (en) * | 2018-09-27 | 2020-09-22 | Apple Inc. | Feedback coordination for a virtual interaction |
WO2020086356A2 (en) | 2018-10-26 | 2020-04-30 | Magic Leap, Inc. | Ambient electromagnetic distortion correction for electromagnetic tracking |
JP6800938B2 (ja) * | 2018-10-30 | 2020-12-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN111131865A (zh) * | 2018-10-30 | 2020-05-08 | 中国电信股份有限公司 | 提高vr视频播放流畅度的方法、装置、系统和机顶盒 |
US10638165B1 (en) * | 2018-11-08 | 2020-04-28 | At&T Intellectual Property I, L.P. | Adaptive field of view prediction |
US11893789B2 (en) | 2018-11-15 | 2024-02-06 | Magic Leap, Inc. | Deep neural network pose estimation system |
US11237393B2 (en) | 2018-11-20 | 2022-02-01 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
US11837145B2 (en) | 2018-11-28 | 2023-12-05 | Sony Semiconductor Solutions Corporation | Display apparatus and display control apparatus |
US11199912B2 (en) | 2018-11-30 | 2021-12-14 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
US10866413B2 (en) | 2018-12-03 | 2020-12-15 | Lockheed Martin Corporation | Eccentric incident luminance pupil tracking |
JP7451534B2 (ja) | 2018-12-28 | 2024-03-18 | マジック リープ, インコーポレイテッド | 発光型マイクロディスプレイを伴う仮想および拡張現実ディスプレイシステム |
US11914150B2 (en) | 2018-12-28 | 2024-02-27 | Magic Leap, Inc. | Augmented and virtual reality display systems with shared display for left and right eyes |
KR20210126566A (ko) * | 2019-01-24 | 2021-10-20 | 피씨엠에스 홀딩스, 인크. | 다중 세부 수준 및 자유도를 갖는 적응형 공간 콘텐츠 스트리밍을 위한 시스템 및 방법 |
WO2020154524A1 (en) | 2019-01-25 | 2020-07-30 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
CN109599068B (zh) * | 2019-01-31 | 2021-03-02 | 京东方科技集团股份有限公司 | 一种vr设备及其控制方法 |
US11857378B1 (en) | 2019-02-14 | 2024-01-02 | Onpoint Medical, Inc. | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
US11553969B1 (en) | 2019-02-14 | 2023-01-17 | Onpoint Medical, Inc. | System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures |
WO2020168348A1 (en) | 2019-02-15 | 2020-08-20 | Digilens Inc. | Methods and apparatuses for providing a holographic waveguide display using integrated gratings |
EP3931625A4 (en) | 2019-02-28 | 2022-11-23 | Magic Leap, Inc. | DISPLAY SYSTEM AND METHOD FOR DELIVERING VARIABLE ACCOMMODATION CURITIES USING MULTIPLE PARALLAX INTRA-PUPILAL VIEWS SHAPED BY LIGHT EMITTER ARRANGEMENTS |
CN113811803A (zh) | 2019-03-12 | 2021-12-17 | 奇跃公司 | 具有高折射率材料的波导及其制造方法 |
CN113728258A (zh) | 2019-03-12 | 2021-11-30 | 迪吉伦斯公司 | 全息波导背光及相关制造方法 |
EP3942228A4 (en) | 2019-03-20 | 2022-12-21 | Magic Leap, Inc. | EYE ILLUMINATION SUPPLY SYSTEM |
CN113841005A (zh) | 2019-03-20 | 2021-12-24 | 奇跃公司 | 用于收集光的系统 |
US10944711B2 (en) * | 2019-03-28 | 2021-03-09 | Microsoft Technology Licensing, Llc | Paginated method to create decision tree conversation |
US10698201B1 (en) | 2019-04-02 | 2020-06-30 | Lockheed Martin Corporation | Plenoptic cellular axis redirection |
CN113711174A (zh) | 2019-04-03 | 2021-11-26 | 奇跃公司 | 用混合现实系统在虚拟三维空间中管理和显示网页 |
US11016305B2 (en) | 2019-04-15 | 2021-05-25 | Magic Leap, Inc. | Sensor fusion for electromagnetic tracking |
DE112020002425T5 (de) * | 2019-05-17 | 2022-01-27 | Nvidia Corporation | Bewegungsvorhersage unter verwendung eines oder mehrerer neuronaler netzwerke |
JP7423659B2 (ja) | 2019-05-20 | 2024-01-29 | マジック リープ, インコーポレイテッド | 眼姿勢を推定するためのシステムおよび技法 |
US20200371472A1 (en) * | 2019-05-21 | 2020-11-26 | Light Field Lab, Inc. | Light Field Display System Based Commercial System |
CN116249918A (zh) | 2019-05-24 | 2023-06-09 | 奇跃公司 | 可变焦组件 |
US11622470B2 (en) | 2019-05-28 | 2023-04-04 | Magic Leap, Inc. | Thermal management system for portable electronic devices |
USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
DE112020002550T5 (de) | 2019-05-30 | 2022-02-24 | Nvidia Corporation | Virtual-Reality-Simulationen unter Verwenden von Oberflächen-Tracking |
CN114207492A (zh) | 2019-06-07 | 2022-03-18 | 迪吉伦斯公司 | 带透射光栅和反射光栅的波导及其生产方法 |
WO2020257469A1 (en) | 2019-06-20 | 2020-12-24 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
US11803628B2 (en) | 2019-06-21 | 2023-10-31 | Magic Leap, Inc. | Secure authorization via modal window |
US11287655B2 (en) | 2019-06-21 | 2022-03-29 | Samsung Electronics Co.. Ltd. | Holographic display apparatus and method for providing expanded viewing window |
EP3987329A4 (en) | 2019-06-24 | 2023-10-11 | Magic Leap, Inc. | WAVEGUIDES WITH INTEGRATED SPACERS AND RELATED SYSTEMS AND METHODS |
US11533468B2 (en) | 2019-06-27 | 2022-12-20 | Samsung Electronics Co., Ltd. | System and method for generating a mixed reality experience |
US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
EP3999940A4 (en) | 2019-07-16 | 2023-07-26 | Magic Leap, Inc. | EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS |
JP7447237B2 (ja) | 2019-07-19 | 2024-03-11 | マジック リープ, インコーポレイテッド | 低減された偏光感度を伴う回折格子を有するディスプレイデバイス |
WO2021016028A1 (en) | 2019-07-19 | 2021-01-28 | Magic Leap, Inc. | Method of fabricating diffraction gratings |
US11681143B2 (en) | 2019-07-29 | 2023-06-20 | Digilens Inc. | Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display |
US11704874B2 (en) * | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
CN110460831B (zh) | 2019-08-22 | 2021-12-03 | 京东方科技集团股份有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
KR20220054386A (ko) | 2019-08-29 | 2022-05-02 | 디지렌즈 인코포레이티드. | 진공 브래그 격자 및 이의 제조 방법 |
GB2586838B (en) * | 2019-09-05 | 2022-07-27 | Sony Interactive Entertainment Inc | Free-viewpoint method and system |
US10943388B1 (en) * | 2019-09-06 | 2021-03-09 | Zspace, Inc. | Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces |
US11614573B2 (en) | 2019-09-11 | 2023-03-28 | Magic Leap, Inc. | Display device with diffraction grating having reduced polarization sensitivity |
US11238662B2 (en) * | 2019-09-25 | 2022-02-01 | Apple Inc. | Optimal luminance mapping for augmented reality devices |
US11276246B2 (en) | 2019-10-02 | 2022-03-15 | Magic Leap, Inc. | Color space mapping for intuitive surface normal visualization |
US11176757B2 (en) | 2019-10-02 | 2021-11-16 | Magic Leap, Inc. | Mission driven virtual character for user interaction |
US11315326B2 (en) * | 2019-10-15 | 2022-04-26 | At&T Intellectual Property I, L.P. | Extended reality anchor caching based on viewport prediction |
WO2021092068A1 (en) | 2019-11-08 | 2021-05-14 | Magic Leap, Inc. | Metasurfaces with light-redirecting structures including multiple materials and methods for fabricating |
USD982593S1 (en) | 2019-11-08 | 2023-04-04 | Magic Leap, Inc. | Portion of a display screen with animated ray |
US11493989B2 (en) | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
US11468627B1 (en) * | 2019-11-08 | 2022-10-11 | Apple Inc. | View dependent content updated rates |
JP2023503257A (ja) | 2019-11-18 | 2023-01-27 | マジック リープ, インコーポレイテッド | パス可能世界のマッピングおよび位置特定 |
CN114730111A (zh) | 2019-11-22 | 2022-07-08 | 奇跃公司 | 用于对液晶层进行图案化的方法和系统 |
US11681362B2 (en) | 2019-11-26 | 2023-06-20 | Magic Leap, Inc. | Enhanced eye tracking for augmented or virtual reality display systems |
US11442593B2 (en) | 2019-12-06 | 2022-09-13 | Magic Leap, Inc. | Dynamic browser stage |
WO2021113309A1 (en) | 2019-12-06 | 2021-06-10 | Magic Leap, Inc. | Encoding stereo splash screen in static image |
USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
US11288876B2 (en) | 2019-12-13 | 2022-03-29 | Magic Leap, Inc. | Enhanced techniques for volumetric stage mapping based on calibration object |
CN115380236A (zh) | 2020-01-24 | 2022-11-22 | 奇跃公司 | 使用单个控制器的内容移动和交互 |
US11340695B2 (en) | 2020-01-24 | 2022-05-24 | Magic Leap, Inc. | Converting a 2D positional input into a 3D point in space |
EP4097684A4 (en) | 2020-01-27 | 2024-02-14 | Magic Leap, Inc. | IMPROVED STATE CONTROL FOR ANCHOR-BASED CROSS-REALLY APPLICATIONS |
EP4097685A4 (en) | 2020-01-27 | 2024-02-21 | Magic Leap, Inc. | NEUTRAL AVATARS |
USD936704S1 (en) | 2020-01-27 | 2021-11-23 | Magic Leap, Inc. | Portion of a display screen with avatar |
USD949200S1 (en) | 2020-01-27 | 2022-04-19 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
EP4097711A4 (en) | 2020-01-27 | 2024-01-24 | Magic Leap, Inc. | CURATION OF AN AUGMENTED REALITY MAP |
USD948562S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with avatar |
USD948574S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
EP4097564A4 (en) | 2020-01-27 | 2024-02-14 | Magic Leap, Inc. | LOOK TIMER BASED EXPANSION OF THE FUNCTIONALITY OF A USER INPUT DEVICE |
US11640486B2 (en) | 2021-03-01 | 2023-05-02 | Middle Chart, LLC | Architectural drawing based exchange of geospatial related digital content |
US11507714B2 (en) | 2020-01-28 | 2022-11-22 | Middle Chart, LLC | Methods and apparatus for secure persistent location based digital content |
JP7534420B2 (ja) | 2020-01-31 | 2024-08-14 | マジック リープ, インコーポレイテッド | 眼球運動測定査定のための拡張および仮想現実ディスプレイシステム |
US20210240257A1 (en) * | 2020-01-31 | 2021-08-05 | Ati Technologies Ulc | Hiding latency in wireless virtual and augmented reality systems |
JP7455985B2 (ja) | 2020-02-10 | 2024-03-26 | マジック リープ, インコーポレイテッド | 複合現実環境における3次元コンテナに対する身体中心コンテンツ位置付け |
US11709363B1 (en) | 2020-02-10 | 2023-07-25 | Avegant Corp. | Waveguide illumination of a spatial light modulator |
WO2021163354A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | Virtual object movement speed curve for virtual and augmented reality display systems |
US11664194B2 (en) | 2020-02-26 | 2023-05-30 | Magic Leap, Inc. | Procedural electron beam lithography |
US11840034B2 (en) | 2020-02-28 | 2023-12-12 | Magic Leap, Inc. | Method of fabricating molds for forming eyepieces with integrated spacers |
US11262588B2 (en) | 2020-03-10 | 2022-03-01 | Magic Leap, Inc. | Spectator view of virtual and physical objects |
US11474358B2 (en) | 2020-03-20 | 2022-10-18 | Magic Leap, Inc. | Systems and methods for retinal imaging and tracking |
US11940639B2 (en) | 2020-03-25 | 2024-03-26 | Magic Leap, Inc. | Optical device with one-way mirror |
JP2023520461A (ja) | 2020-04-03 | 2023-05-17 | マジック リープ, インコーポレイテッド | ナノワイヤledマイクロディスプレイを伴うウェアラブルディスプレイシステム |
WO2021202783A1 (en) | 2020-04-03 | 2021-10-07 | Magic Leap, Inc. | Avatar customization for optimal gaze discrimination |
US11481965B2 (en) | 2020-04-10 | 2022-10-25 | Samsung Electronics Co., Ltd. | Electronic device for communicating in augmented reality and method thereof |
US11144117B1 (en) * | 2020-05-18 | 2021-10-12 | Qualcomm Incorporated | Deep learning based head motion prediction for extended reality |
US11543666B2 (en) | 2020-05-22 | 2023-01-03 | Magic Leap, Inc. | Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization in at least one waveguide |
CN115668106A (zh) | 2020-06-05 | 2023-01-31 | 奇跃公司 | 基于图像的神经网络分析的增强眼睛跟踪技术 |
CN111667584B (zh) * | 2020-06-09 | 2024-02-09 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界探索方法及存储介质 |
GB2596541B (en) * | 2020-06-30 | 2023-09-13 | Sony Interactive Entertainment Inc | Video processing |
CN116033864A (zh) | 2020-07-15 | 2023-04-28 | 奇跃公司 | 使用非球形角膜模型的眼睛跟踪 |
CN116113870A (zh) | 2020-08-07 | 2023-05-12 | 奇跃公司 | 可调柱面透镜和包括该可调柱面透镜的头戴式显示器 |
KR20220039113A (ko) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 |
WO2022073013A1 (en) | 2020-09-29 | 2022-04-07 | Avegant Corp. | An architecture to illuminate a display panel |
DE102020214824A1 (de) * | 2020-11-25 | 2022-05-25 | Carl Zeiss Meditec Ag | Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung |
US12053247B1 (en) | 2020-12-04 | 2024-08-06 | Onpoint Medical, Inc. | System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures |
KR102586624B1 (ko) * | 2020-12-07 | 2023-10-10 | 주식회사 테크인모션 | 개인 맞춤 및 영상 보정을 통한 디지털 멀미 감소 장치 및 그 방법 |
US11630509B2 (en) * | 2020-12-11 | 2023-04-18 | Microsoft Technology Licensing, Llc | Determining user intent based on attention values |
US11449137B2 (en) | 2021-02-12 | 2022-09-20 | Rockwell Collins, Inc. | Soldier and surface vehicle heads-up display imagery compensation system to align imagery with surroundings |
EP4304490A1 (en) | 2021-03-10 | 2024-01-17 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems and robotic surgery |
CN113315964B (zh) * | 2021-06-21 | 2023-04-14 | 北京京东方光电科技有限公司 | 一种3d图像的显示方法、装置及电子设备 |
JP2023011263A (ja) | 2021-07-12 | 2023-01-24 | トヨタ自動車株式会社 | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム |
JP2023011264A (ja) | 2021-07-12 | 2023-01-24 | トヨタ自動車株式会社 | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム |
JP2023011262A (ja) * | 2021-07-12 | 2023-01-24 | トヨタ自動車株式会社 | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム |
KR20230103379A (ko) | 2021-12-31 | 2023-07-07 | 삼성전자주식회사 | Ar 처리 방법 및 장치 |
WO2023219916A1 (en) * | 2022-05-10 | 2023-11-16 | Leia Inc. | Predictive head-tracking multiview display and method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999036828A1 (en) * | 1998-01-20 | 1999-07-22 | University Of Washington | Augmented imaging using a silhouette to improve contrast |
US20080055305A1 (en) * | 2006-08-31 | 2008-03-06 | Kent State University | System and methods for multi-dimensional rendering and display of full volumetric data sets |
CN101356820A (zh) * | 2006-01-05 | 2009-01-28 | 汤姆森许可贸易公司 | 层间运动预测方法 |
EP2075761A1 (en) * | 2007-12-31 | 2009-07-01 | HTC Corporation | Method and device for adjusting output frame |
US20090225001A1 (en) * | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
CN101996410A (zh) * | 2010-12-07 | 2011-03-30 | 北京交通大学 | 动态背景下的运动目标检测方法及系统 |
US20120188148A1 (en) * | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
Family Cites Families (274)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3632865A (en) * | 1969-12-23 | 1972-01-04 | Bell Telephone Labor Inc | Predictive video encoding using measured subject velocity |
DE2737499C3 (de) | 1977-08-19 | 1981-10-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen | Faseroptisches Schaltungselement |
GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
FR2647449B1 (fr) * | 1989-05-23 | 1994-03-25 | Rhone Poulenc Sante | Procede de preparation d'ethers aromatiques |
US5271093A (en) | 1989-10-17 | 1993-12-14 | Mitsubishi Denki Kabushiki Kaisha | Video display apparatus for filling the interior shapes of contour |
US5138555A (en) * | 1990-06-28 | 1992-08-11 | Albrecht Robert E | Helmet mounted display adaptive predictive tracking |
US8730129B2 (en) | 1990-12-07 | 2014-05-20 | Dennis J Solomon | Advanced immersive visual display system |
JPH0655203B2 (ja) * | 1992-07-09 | 1994-07-27 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 視線検出を用いた医療診断装置 |
US5311897A (en) | 1992-09-18 | 1994-05-17 | Robert L. Cargill, Jr. | Rotary control valve with offset variable area orifice and bypass |
US5467104A (en) * | 1992-10-22 | 1995-11-14 | Board Of Regents Of The University Of Washington | Virtual retinal display |
US5422653A (en) * | 1993-01-07 | 1995-06-06 | Maguire, Jr.; Francis J. | Passive virtual reality |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
EP1326122B1 (en) | 1993-08-12 | 2006-09-06 | Seiko Epson Corporation | Head-mounted image display device and data processing apparatus including the same |
DE69423338T2 (de) * | 1993-09-06 | 2001-02-15 | Kabushiki Kaisha Ouyo Keisoku Kenkyusho, Tokio/Tokyo | Verarbeitungs-und anzeigevorrichtung für zeitlich variable bilder |
JP3306183B2 (ja) | 1993-09-14 | 2002-07-24 | リーダー電子株式会社 | 信号波形表示装置及び表示方法 |
JP2952858B2 (ja) | 1994-05-31 | 1999-09-27 | 株式会社島津製作所 | ヘッドマウントディスプレイ |
US5742264A (en) | 1995-01-24 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Head-mounted display |
GB2301216A (en) | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
US5933125A (en) * | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
JPH09284676A (ja) | 1996-04-15 | 1997-10-31 | Sony Corp | 身体の動きに同期した映像及び音声処理方法と映像表示装置 |
GB2317086A (en) * | 1996-09-05 | 1998-03-11 | Secr Defence | Virtual reality system |
US5886822A (en) | 1996-10-08 | 1999-03-23 | The Microoptical Corporation | Image combining system for eyeglasses and face masks |
US7066956B2 (en) | 1997-02-12 | 2006-06-27 | Arthrex, Inc. | Transverse fixation technique for ACL reconstruction using bone-tendon-bone graft |
JP2947231B2 (ja) * | 1997-07-10 | 1999-09-13 | 日本電気株式会社 | 画像表示装置 |
US6151179A (en) | 1997-07-11 | 2000-11-21 | International Business Machines Corporation | Signal processing circuit with feedback extracted from a sampled analog error signal |
WO1999022314A1 (fr) | 1997-10-29 | 1999-05-06 | Sharp Kabushiki Kaisha | Dispositif de commande d'affichage et dispositif de reproduction d'affichage pour livres electroniques |
JP2001522063A (ja) | 1997-10-30 | 2001-11-13 | ザ マイクロオプティカル コーポレイション | 眼鏡インターフェースシステム |
JP3724157B2 (ja) * | 1997-10-30 | 2005-12-07 | コニカミノルタホールディングス株式会社 | 映像観察装置 |
US6088744A (en) | 1998-02-13 | 2000-07-11 | Agilent Technologies | Multiport data buffer having multi level caching wherein each data port has a FIFO buffer coupled thereto |
JP3461117B2 (ja) * | 1998-05-26 | 2003-10-27 | 日本電信電話株式会社 | 立体表示方法及び記録媒体並びに立体表示装置 |
JP2000350865A (ja) | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
EP1194806A4 (en) | 1999-06-21 | 2008-07-23 | Microoptical Corp | LENS SYSTEM FOR GOGGLES WITH EXCEPTIONAL OPTICAL DESIGN |
DE69923009T2 (de) * | 1999-10-29 | 2005-12-01 | Microvision, Inc., Bothell | Gerasterte anzeige mit rastereinschnürungs-, zeitsteuerungs- und störungskorrektur |
JP2001255862A (ja) | 2000-03-10 | 2001-09-21 | Seiko Epson Corp | オーバレイ画像処理装置およびオーバレイ画像表示装置 |
US7663642B2 (en) | 2000-11-15 | 2010-02-16 | Sony Corporation | Systems and methods for rendering a polygon in an image to be displayed |
JP3477441B2 (ja) * | 2000-12-08 | 2003-12-10 | 川崎重工業株式会社 | 画像表示装置 |
US6654021B2 (en) * | 2001-05-18 | 2003-11-25 | Sun Microsystems, Inc. | Multi-channel, demand-driven display controller |
DE10131720B4 (de) | 2001-06-30 | 2017-02-23 | Robert Bosch Gmbh | Head-Up Display System und Verfahren |
US20030014212A1 (en) | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
US6759979B2 (en) | 2002-01-22 | 2004-07-06 | E-Businesscontrols Corp. | GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site |
JP3762309B2 (ja) | 2002-02-18 | 2006-04-05 | キヤノン株式会社 | 位置方向測定装置および情報処理方法 |
US7497574B2 (en) | 2002-02-20 | 2009-03-03 | Brother Kogyo Kabushiki Kaisha | Retinal image display device |
CN1304958C (zh) * | 2002-04-15 | 2007-03-14 | Kaj株式会社 | 显示虚拟现实空间的方法和显示虚拟现实空间的装置 |
US6917370B2 (en) | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
JP4170068B2 (ja) * | 2002-11-12 | 2008-10-22 | シャープ株式会社 | データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置 |
US7386799B1 (en) | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
US7385606B2 (en) | 2002-12-18 | 2008-06-10 | Microsoft Corporation | International font measurement system and method |
US7203384B2 (en) | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
US7515756B2 (en) | 2003-06-23 | 2009-04-07 | Shoestring Research, Llc. | Region segmentation and characterization systems and methods for augmented reality |
US20050148388A1 (en) | 2003-07-17 | 2005-07-07 | Fabricio Vayra | Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module |
ITTO20030662A1 (it) * | 2003-08-29 | 2005-02-28 | Fiat Ricerche | Disposizione di visualizzazione virtuale per un quadro |
US11033821B2 (en) | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
US7110100B2 (en) | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
KR101026800B1 (ko) | 2003-11-21 | 2011-04-04 | 삼성전자주식회사 | 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법 |
US7268956B2 (en) | 2003-11-24 | 2007-09-11 | Electronic Scripting Products, Inc. | Solid catadioptric lens with two viewpoints |
US7038846B2 (en) | 2003-11-24 | 2006-05-02 | Electronic Scripting Products, Inc. | Solid catadioptric lens with a single viewpoint |
US7088440B2 (en) | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US7729515B2 (en) | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US7023536B2 (en) | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
CN100385937C (zh) * | 2004-03-26 | 2008-04-30 | 瑞昱半导体股份有限公司 | 利用位移向量补偿的影像去交错方法与装置 |
US7161664B2 (en) | 2004-04-13 | 2007-01-09 | Electronic Scripting Products, Inc. | Apparatus and method for optical determination of intermediate distances |
JP4373286B2 (ja) | 2004-05-06 | 2009-11-25 | オリンパス株式会社 | 頭部装着型表示装置 |
US7403337B2 (en) | 2004-05-11 | 2008-07-22 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system and method and device for realizing the system |
US7442918B2 (en) | 2004-05-14 | 2008-10-28 | Microvision, Inc. | MEMS device having simplified drive |
JP2005339267A (ja) | 2004-05-27 | 2005-12-08 | Canon Inc | 情報処理方法、情報処理装置、撮像装置 |
US6947219B1 (en) | 2004-06-02 | 2005-09-20 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system for displaying digital contents and device for realizing the system |
US7113270B2 (en) | 2004-06-18 | 2006-09-26 | Electronics Scripting Products, Inc. | Determination of an orientation parameter of an elongate object with a scan beam apparatus |
US20060007056A1 (en) | 2004-07-09 | 2006-01-12 | Shu-Fong Ou | Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
US8585476B2 (en) | 2004-11-16 | 2013-11-19 | Jeffrey D Mullen | Location-based games and augmented reality systems |
KR100656342B1 (ko) | 2004-12-16 | 2006-12-11 | 한국전자통신연구원 | 다중 입체 영상 혼합 제시용 시각 인터페이스 장치 |
CN100341334C (zh) * | 2005-01-14 | 2007-10-03 | 北京航空航天大学 | 基于有效区域的多参考帧快速运动估计方法 |
WO2006082827A1 (ja) * | 2005-02-02 | 2006-08-10 | Brother Kogyo Kabushiki Kaisha | 光走査型ディスプレイおよびそれの駆動方法 |
US20060214911A1 (en) | 2005-03-23 | 2006-09-28 | Eastman Kodak Company | Pointing device for large field of view displays |
US20060226231A1 (en) * | 2005-03-29 | 2006-10-12 | University Of Washington | Methods and systems for creating sequential color images |
JP4738870B2 (ja) | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
JP4689344B2 (ja) * | 2005-05-11 | 2011-05-25 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
US7773098B2 (en) | 2005-05-11 | 2010-08-10 | Canon Kabushiki Kaisha | Virtual reality presentation apparatus and method |
US8847861B2 (en) | 2005-05-20 | 2014-09-30 | Semiconductor Energy Laboratory Co., Ltd. | Active matrix display device, method for driving the same, and electronic device |
JP2006338509A (ja) | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | 状況記憶型コンテンツ管理装置及び方法 |
US7737965B2 (en) | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
US20060284791A1 (en) | 2005-06-21 | 2006-12-21 | National Applied Research Laboratories National Center For High-Performance Computing | Augmented reality system and method with mobile and interactive function for multiple users |
IL173361A (en) | 2005-09-12 | 2012-03-29 | Elbit Systems Ltd | Display system near the eye |
US7480422B2 (en) | 2005-10-14 | 2009-01-20 | Disney Enterprises, Inc. | Systems and methods for information content delivery relating to an object |
IL172797A (en) | 2005-12-25 | 2012-09-24 | Elbit Systems Ltd | Real-time image scanning and processing |
US8730156B2 (en) | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
JP2007286082A (ja) * | 2006-04-12 | 2007-11-01 | Sony Computer Entertainment Inc | 描画処理装置 |
US9958934B1 (en) | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
SE0601216L (sv) | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
US7835027B2 (en) * | 2006-06-14 | 2010-11-16 | Kabushiki Kaisha Toshiba | Reducing the resolution of a rendered image for printing |
KR100809479B1 (ko) | 2006-07-27 | 2008-03-03 | 한국전자통신연구원 | 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 |
US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
US7725547B2 (en) | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
US7889178B2 (en) | 2006-09-08 | 2011-02-15 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Programmable resolution for optical pointing device |
US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
JP4936522B2 (ja) | 2006-09-29 | 2012-05-23 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP5228307B2 (ja) | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
JP2010512693A (ja) | 2006-12-07 | 2010-04-22 | アダックス,インク. | データの付加、記録および通信のためのシステムと方法 |
US7903166B2 (en) | 2007-02-21 | 2011-03-08 | Sharp Laboratories Of America, Inc. | Methods and systems for display viewer motion compensation based on user image data |
US20080215994A1 (en) | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world avatar control, interactivity and communication interactive messaging |
CN100478849C (zh) * | 2007-04-10 | 2009-04-15 | 南京航空航天大学 | 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法 |
CN100468295C (zh) * | 2007-04-10 | 2009-03-11 | 南京航空航天大学 | 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法 |
US8549415B2 (en) * | 2007-05-04 | 2013-10-01 | Apple Inc. | Automatically adjusting media display in a personal display system |
US20080303811A1 (en) | 2007-06-07 | 2008-12-11 | Leviathan Entertainment, Llc | Virtual Professional |
US20090003662A1 (en) | 2007-06-27 | 2009-01-01 | University Of Hawaii | Virtual reality overlay |
US8902227B2 (en) | 2007-09-10 | 2014-12-02 | Sony Computer Entertainment America Llc | Selective interactive mapping of real-world objects to create interactive virtual-world objects |
US20090089685A1 (en) | 2007-09-28 | 2009-04-02 | Mordecai Nicole Y | System and Method of Communicating Between A Virtual World and Real World |
US8063905B2 (en) | 2007-10-11 | 2011-11-22 | International Business Machines Corporation | Animating speech of an avatar representing a participant in a mobile communication |
US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
KR20090067822A (ko) | 2007-12-21 | 2009-06-25 | 삼성전자주식회사 | 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법 |
US20090177042A1 (en) | 2008-01-09 | 2009-07-09 | University Of Washington | Color image acquisition with scanning laser beam devices |
US8624924B2 (en) | 2008-01-18 | 2014-01-07 | Lockheed Martin Corporation | Portable immersive environment using motion capture and head mounted display |
US8615383B2 (en) | 2008-01-18 | 2013-12-24 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
US20090222424A1 (en) | 2008-02-26 | 2009-09-03 | Van Benedict | Method and apparatus for integrated life through virtual cities |
US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
US8757812B2 (en) | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
US20090322671A1 (en) | 2008-06-04 | 2009-12-31 | Cybernet Systems Corporation | Touch screen augmented reality system and method |
US8063968B2 (en) * | 2008-07-23 | 2011-11-22 | Lockheed Martin Corporation | Device for detecting an image of a nonplanar surface |
US9600067B2 (en) | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
WO2010062481A1 (en) | 2008-11-02 | 2010-06-03 | David Chaum | Near to eye display system and appliance |
CN101739199A (zh) * | 2008-11-05 | 2010-06-16 | 联想(北京)有限公司 | 一种显示图像的移动终端和方法 |
US20100287500A1 (en) | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Method and system for displaying conformal symbology on a see-through display |
ES2498671T3 (es) | 2008-12-02 | 2014-09-25 | Saab Ab | Dispositivo de visualización "de cabeza alta" para gafas de visión nocturna |
US20100137684A1 (en) | 2008-12-03 | 2010-06-03 | Hoya Corporation | Endoscope system with scanning function |
US8132916B2 (en) | 2008-12-12 | 2012-03-13 | Carl Zeiss Meditec, Inc. | High precision contrast ratio display for visual stimulus |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US8487933B2 (en) | 2009-03-31 | 2013-07-16 | General Electric Company | System and method for multi-segment center point trajectory mapping |
US9195898B2 (en) | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
JP2011009846A (ja) * | 2009-06-23 | 2011-01-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US9511289B2 (en) | 2009-07-10 | 2016-12-06 | Valve Corporation | Player biofeedback for dynamically controlling a video game state |
JP2011089874A (ja) * | 2009-10-22 | 2011-05-06 | Toyota Central R&D Labs Inc | 距離画像データ取得装置 |
JP5553635B2 (ja) | 2009-10-23 | 2014-07-16 | キヤノン株式会社 | 補償光学装置、撮像装置および補償光学方法、撮像方法 |
US20110107216A1 (en) | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
US8780096B2 (en) | 2009-11-19 | 2014-07-15 | Panasonic Corporation | Scanning image display apparatus |
KR101652311B1 (ko) | 2010-01-26 | 2016-08-30 | 광주과학기술원 | 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
GB2477787B (en) | 2010-02-15 | 2014-09-24 | Marcus Alexander Mawson Cavalier | Use of portable electonic devices with head-mounted display devices |
JP5499762B2 (ja) | 2010-02-24 | 2014-05-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び画像処理システム |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
CN102906623A (zh) | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US20120120103A1 (en) * | 2010-02-28 | 2012-05-17 | Osterhout Group, Inc. | Alignment control in an augmented reality headpiece |
US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
JP5681850B2 (ja) | 2010-03-09 | 2015-03-11 | レノボ・イノベーションズ・リミテッド(香港) | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
US8217997B2 (en) * | 2010-03-16 | 2012-07-10 | Interphase Corporation | Interactive display system |
JP2011203823A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8893022B2 (en) | 2010-04-01 | 2014-11-18 | Microsoft Corporation | Interactive and shared viewing experience |
WO2011135848A1 (ja) | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | 走査型画像表示装置 |
US8762041B2 (en) | 2010-06-21 | 2014-06-24 | Blackberry Limited | Method, device and system for presenting navigational information |
US20120200600A1 (en) | 2010-06-23 | 2012-08-09 | Kent Demaine | Head and arm detection for virtual immersion systems and methods |
JP5652037B2 (ja) * | 2010-07-30 | 2015-01-14 | 富士通株式会社 | 模擬映像生成装置、方法、プログラム |
WO2012020527A1 (ja) | 2010-08-09 | 2012-02-16 | パナソニック株式会社 | 光デバイス、及びこれを含む充電システム |
US20120127136A1 (en) | 2010-08-18 | 2012-05-24 | Kent Displays Incorporated | Display device including piezoelectric and liquid crystal layers |
US8780014B2 (en) | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
US20120050140A1 (en) * | 2010-08-25 | 2012-03-01 | Border John N | Head-mounted display control |
US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
US8638364B2 (en) | 2010-09-23 | 2014-01-28 | Sony Computer Entertainment Inc. | User interface system and method using thermal imaging |
US8907983B2 (en) | 2010-10-07 | 2014-12-09 | Aria Glassworks, Inc. | System and method for transitioning between interface modes in virtual and augmented reality applications |
US20120212405A1 (en) | 2010-10-07 | 2012-08-23 | Benjamin Zeis Newhouse | System and method for presenting virtual and augmented reality scenes to a user |
US8578299B2 (en) | 2010-10-08 | 2013-11-05 | Industrial Technology Research Institute | Method and computing device in a system for motion detection |
US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
US8743464B1 (en) | 2010-11-03 | 2014-06-03 | Google Inc. | Waveguide with embedded mirrors |
US20120117514A1 (en) | 2010-11-04 | 2012-05-10 | Microsoft Corporation | Three-Dimensional User Interaction |
US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US8831278B2 (en) * | 2010-11-30 | 2014-09-09 | Eastman Kodak Company | Method of identifying motion sickness |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
JP5690135B2 (ja) * | 2010-12-29 | 2015-03-25 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
US9113050B2 (en) | 2011-01-13 | 2015-08-18 | The Boeing Company | Augmented collaboration system |
US20120182313A1 (en) | 2011-01-13 | 2012-07-19 | Pantech Co., Ltd. | Apparatus and method for providing augmented reality in window form |
JP2012155655A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
CN103003783B (zh) | 2011-02-01 | 2016-01-20 | 松下电器(美国)知识产权公司 | 功能扩展装置、功能扩展方法、功能扩展程序以及集成电路 |
CN102179048A (zh) * | 2011-02-28 | 2011-09-14 | 武汉市高德电气有限公司 | 基于动作分解和行为分析实现实景游戏的方法 |
JP2012203128A (ja) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US9217867B2 (en) * | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
US8401343B2 (en) | 2011-03-27 | 2013-03-19 | Edwin Braun | System and method for defining an augmented reality character in computer generated virtual reality using coded stickers |
WO2012135546A1 (en) | 2011-03-29 | 2012-10-04 | Qualcomm Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
US9071709B2 (en) | 2011-03-31 | 2015-06-30 | Nokia Technologies Oy | Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality |
CN103635891B (zh) | 2011-05-06 | 2017-10-27 | 奇跃公司 | 大量同时远程数字呈现世界 |
US8508830B1 (en) | 2011-05-13 | 2013-08-13 | Google Inc. | Quantum dot near-to-eye display |
US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US9727132B2 (en) | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
US8934015B1 (en) | 2011-07-20 | 2015-01-13 | Google Inc. | Experience sharing |
AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
AU2011205223C1 (en) | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US9274595B2 (en) | 2011-08-26 | 2016-03-01 | Reincloud Corporation | Coherent presentation of multiple reality and interaction models |
US9191661B2 (en) | 2011-08-29 | 2015-11-17 | Microsoft Technology Licensing, Llc | Virtual image display device |
US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
CN103033936A (zh) * | 2011-08-30 | 2013-04-10 | 微软公司 | 具有虹膜扫描剖析的头戴式显示器 |
WO2013029667A1 (en) * | 2011-08-31 | 2013-03-07 | Lemoptix Sa | A device and method for projecting an image |
US8223024B1 (en) | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
US9268406B2 (en) | 2011-09-30 | 2016-02-23 | Microsoft Technology Licensing, Llc | Virtual spectator experience with a personal audio/visual apparatus |
US9286711B2 (en) | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
US20130088413A1 (en) | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
US9255813B2 (en) | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
BR112014010230A8 (pt) | 2011-10-28 | 2017-06-20 | Magic Leap Inc | sistema e método para realidade virtual e aumentada |
US8970452B2 (en) | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
US8879155B1 (en) | 2011-11-09 | 2014-11-04 | Google Inc. | Measurement method and system |
US9311883B2 (en) | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
CN103959134B (zh) | 2011-11-24 | 2017-05-10 | 松下知识产权经营株式会社 | 头戴式显示器装置 |
US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
CN102508363A (zh) * | 2011-12-28 | 2012-06-20 | 王鹏勃 | 一种基于增强现实技术的无线显示眼镜及其实现方法 |
US8963805B2 (en) | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
US9330478B2 (en) | 2012-02-08 | 2016-05-03 | Intel Corporation | Augmented reality creation using a real scene |
US20130215230A1 (en) | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
JP5958689B2 (ja) | 2012-03-22 | 2016-08-02 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
US8933912B2 (en) | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
US9183676B2 (en) | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
US9122321B2 (en) | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
US9201625B2 (en) | 2012-06-22 | 2015-12-01 | Nokia Technologies Oy | Method and apparatus for augmenting an index generated by a near eye display |
US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
US9696547B2 (en) | 2012-06-25 | 2017-07-04 | Microsoft Technology Licensing, Llc | Mixed reality system learned input and functions |
US9035970B2 (en) * | 2012-06-29 | 2015-05-19 | Microsoft Technology Licensing, Llc | Constraint based information inference |
JP6015250B2 (ja) | 2012-08-31 | 2016-10-26 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US20140071163A1 (en) | 2012-09-11 | 2014-03-13 | Peter Tobias Kinnebrew | Augmented reality information detail |
US8797340B2 (en) * | 2012-10-02 | 2014-08-05 | Nvidia Corporation | System, method, and computer program product for modifying a pixel value as a function of a display duration estimate |
US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
CN102938145B (zh) * | 2012-10-23 | 2015-07-01 | 深圳大学 | 一种拼接类全景图的一致性调整方法及系统 |
US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
US9030495B2 (en) | 2012-11-21 | 2015-05-12 | Microsoft Technology Licensing, Llc | Augmented reality help |
US9582123B2 (en) | 2012-11-26 | 2017-02-28 | Qualcomm Incorporated | Dual-mode capacitance sensing in a touch panel sensor |
US20140178029A1 (en) | 2012-12-26 | 2014-06-26 | Ali Fazal Raheman | Novel Augmented Reality Kiosks |
KR102019124B1 (ko) | 2013-01-04 | 2019-09-06 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 제어 방법 |
US9202313B2 (en) | 2013-01-21 | 2015-12-01 | Microsoft Technology Licensing, Llc | Virtual interaction with image projection |
US9342929B2 (en) | 2013-01-22 | 2016-05-17 | Microsoft Technology Licensing, Llc | Mixed reality experience sharing |
JP2014149712A (ja) | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
KR102050897B1 (ko) | 2013-02-07 | 2019-12-02 | 삼성전자주식회사 | 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 |
CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
US8970709B2 (en) | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
US9852512B2 (en) | 2013-03-13 | 2017-12-26 | Electronic Scripting Products, Inc. | Reduced homography based on structural redundancy of conditioned motion |
US9164281B2 (en) | 2013-03-15 | 2015-10-20 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
EP4027222A1 (en) * | 2013-03-15 | 2022-07-13 | Magic Leap, Inc. | Display system and method |
US9049469B2 (en) | 2013-04-03 | 2015-06-02 | Roy S. Melzer | Encryption and decryption of visible codes for real time augmented reality views |
US9685003B2 (en) | 2013-06-03 | 2017-06-20 | Microsoft Technology Licensing, Llc | Mixed reality data collaboration |
US10137361B2 (en) | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US10139623B2 (en) | 2013-06-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Virtual object orientation and visualization |
US9911231B2 (en) | 2013-10-08 | 2018-03-06 | Samsung Electronics Co., Ltd. | Method and computing device for providing augmented reality |
US10943111B2 (en) | 2014-09-29 | 2021-03-09 | Sony Interactive Entertainment Inc. | Method and apparatus for recognition and matching of objects depicted in images |
US9778814B2 (en) | 2014-12-19 | 2017-10-03 | Microsoft Technology Licensing, Llc | Assisted object placement in a three-dimensional visualization system |
CN107003734B (zh) | 2014-12-23 | 2019-12-17 | 美达视野股份有限公司 | 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统 |
US20170090194A1 (en) | 2015-09-24 | 2017-03-30 | Halo Augmented Reality Ltd. | System And Method For Subtractive Augmented Reality And Display Contrast Enhancement |
US10768772B2 (en) | 2015-11-19 | 2020-09-08 | Microsoft Technology Licensing, Llc | Context-aware recommendations of relevant presentation content displayed in mixed environments |
US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
US9927614B2 (en) | 2015-12-29 | 2018-03-27 | Microsoft Technology Licensing, Llc | Augmented reality display system with variable focus |
US10078919B2 (en) | 2016-03-31 | 2018-09-18 | Magic Leap, Inc. | Interactions with 3D virtual objects using poses and multiple-DOF controllers |
US10191541B2 (en) | 2016-06-30 | 2019-01-29 | Sony Interactive Entertainment Inc. | Augmenting virtual reality content with real world content |
EP3523782A4 (en) | 2016-10-05 | 2020-06-24 | Magic Leap, Inc. | PERIOCULAR TEST FOR MIXED REALITY CALIBRATION |
US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
JP7496776B2 (ja) | 2017-11-13 | 2024-06-07 | ニューラブル インコーポレイテッド | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース |
CA3084546C (en) | 2017-12-03 | 2023-01-31 | Frank Jones | Enhancing the performance of near-to-eye vision systems |
JP7087481B2 (ja) | 2018-03-13 | 2022-06-21 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
US10901215B1 (en) | 2018-05-16 | 2021-01-26 | Facebook Technologies, Llc | Systems and methods for providing a mobile artificial reality user with environmental awareness |
US11567336B2 (en) | 2018-07-24 | 2023-01-31 | Magic Leap, Inc. | Display systems and methods for determining registration between display and eyes of user |
SE1950580A1 (en) | 2019-05-15 | 2020-10-13 | Tobii Ab | Method and system for dwell-less, hands-free interaction with a selectable object |
EP4014468A4 (en) | 2019-08-12 | 2022-10-19 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY |
JP2023505791A (ja) | 2019-12-10 | 2023-02-13 | マジック リープ, インコーポレイテッド | 複合現実ディスプレイのための増加された被写界深度 |
US11217024B2 (en) | 2019-12-26 | 2022-01-04 | Facebook Technologies, Llc | Artificial reality system with varifocal display of artificial reality content |
CA3176984A1 (en) | 2020-05-01 | 2021-11-04 | Mark Harris | Wearable near-to-eye vision systems |
-
2014
- 2014-03-14 EP EP22158760.3A patent/EP4027222A1/en active Pending
- 2014-03-14 NZ NZ735755A patent/NZ735755A/en unknown
- 2014-03-14 CN CN201710878238.8A patent/CN107577350B/zh active Active
- 2014-03-14 KR KR1020157029808A patent/KR102271198B1/ko active IP Right Grant
- 2014-03-14 CN CN201810263580.1A patent/CN108427504B/zh active Active
- 2014-03-14 NZ NZ73575214A patent/NZ735752A/en unknown
- 2014-03-14 KR KR1020197007532A patent/KR102271719B1/ko active IP Right Grant
- 2014-03-14 WO PCT/US2014/028977 patent/WO2014144526A2/en active Application Filing
- 2014-03-14 KR KR1020197007538A patent/KR102271727B1/ko active IP Right Grant
- 2014-03-14 NZ NZ73575114A patent/NZ735751A/en unknown
- 2014-03-14 KR KR1020227036247A patent/KR102560629B1/ko active IP Right Grant
- 2014-03-14 CN CN201710878155.9A patent/CN107656617B/zh active Active
- 2014-03-14 CA CA2905506A patent/CA2905506C/en active Active
- 2014-03-14 CN CN201480027589.2A patent/CN105229719B/zh active Active
- 2014-03-14 KR KR1020197007534A patent/KR102271726B1/ko active IP Right Grant
- 2014-03-14 CA CA3160567A patent/CA3160567A1/en active Pending
- 2014-03-14 KR KR1020237025030A patent/KR20230113418A/ko not_active Application Discontinuation
- 2014-03-14 JP JP2016502951A patent/JP6326482B2/ja active Active
- 2014-03-14 CN CN201810264993.1A patent/CN108628446B/zh active Active
- 2014-03-14 NZ NZ735754A patent/NZ735754A/en unknown
- 2014-03-14 CN CN201710878246.2A patent/CN107632710B/zh active Active
- 2014-03-14 NZ NZ712192A patent/NZ712192A/en unknown
- 2014-03-14 CN CN201710878226.5A patent/CN107656618B/zh active Active
- 2014-03-14 CN CN202111204694.7A patent/CN113918018A/zh active Pending
- 2014-03-14 NZ NZ751602A patent/NZ751602A/en unknown
- 2014-03-14 CN CN201710878130.9A patent/CN107632709B/zh active Active
- 2014-03-14 NZ NZ73574714A patent/NZ735747A/en unknown
- 2014-03-14 EP EP14764114.6A patent/EP2973532A4/en not_active Ceased
- 2014-03-14 KR KR1020217033994A patent/KR102458124B1/ko active IP Right Grant
- 2014-03-14 NZ NZ751593A patent/NZ751593A/en unknown
- 2014-03-14 KR KR1020217019505A patent/KR102318391B1/ko active IP Right Grant
- 2014-03-14 AU AU2014229004A patent/AU2014229004B2/en active Active
- 2014-03-14 US US14/212,961 patent/US9417452B2/en active Active
-
2015
- 2015-05-03 US US14/702,739 patent/US10134186B2/en active Active
- 2015-05-03 US US14/702,736 patent/US10453258B2/en active Active
- 2015-05-03 US US14/702,734 patent/US9429752B2/en active Active
- 2015-05-06 US US14/704,976 patent/US10304246B2/en active Active
- 2015-05-06 US US14/704,971 patent/US11205303B2/en active Active
- 2015-05-06 US US14/704,974 patent/US20150235450A1/en not_active Abandoned
- 2015-05-06 US US14/704,975 patent/US10553028B2/en active Active
- 2015-05-06 US US14/704,979 patent/US20150235453A1/en not_active Abandoned
- 2015-05-06 US US14/704,981 patent/US10510188B2/en active Active
- 2015-09-16 IL IL24165715A patent/IL241657B/en active IP Right Grant
-
2017
- 2017-03-13 JP JP2017047915A patent/JP6353105B2/ja active Active
- 2017-09-22 AU AU2017232179A patent/AU2017232179B2/en active Active
- 2017-09-22 AU AU2017232177A patent/AU2017232177B2/en active Active
- 2017-09-22 AU AU2017232175A patent/AU2017232175B2/en active Active
- 2017-09-22 AU AU2017232181A patent/AU2017232181B2/en active Active
- 2017-09-22 AU AU2017232176A patent/AU2017232176B2/en active Active
- 2017-11-06 IL IL255455A patent/IL255455B/en active IP Right Grant
- 2017-11-06 IL IL255464A patent/IL255464B/en active IP Right Grant
- 2017-11-06 IL IL255456A patent/IL255456B/en active IP Right Grant
- 2017-11-06 IL IL255454A patent/IL255454B/en active IP Right Grant
- 2017-11-07 IL IL255484A patent/IL255484B/en active IP Right Grant
-
2018
- 2018-04-16 JP JP2018078478A patent/JP6676095B2/ja active Active
- 2018-04-16 JP JP2018078476A patent/JP6542945B2/ja active Active
- 2018-04-16 JP JP2018078479A patent/JP6542946B2/ja active Active
- 2018-04-16 JP JP2018078475A patent/JP6542944B2/ja active Active
- 2018-04-16 JP JP2018078477A patent/JP6602911B2/ja active Active
- 2018-06-07 JP JP2018109143A patent/JP6683762B2/ja active Active
- 2018-06-25 HK HK18108141.1A patent/HK1248851A1/zh unknown
-
2019
- 2019-08-12 IL IL268637A patent/IL268637B/en active IP Right Grant
- 2019-08-12 IL IL268635A patent/IL268635B/en active IP Right Grant
- 2019-10-09 JP JP2019185679A patent/JP6826174B2/ja active Active
- 2019-11-29 AU AU2019272052A patent/AU2019272052B2/en active Active
-
2021
- 2021-01-14 JP JP2021003946A patent/JP2021072135A/ja not_active Withdrawn
- 2021-02-12 AU AU2021200916A patent/AU2021200916B2/en active Active
- 2021-11-12 US US17/525,811 patent/US11854150B2/en active Active
-
2023
- 2023-11-10 US US18/506,947 patent/US20240078771A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999036828A1 (en) * | 1998-01-20 | 1999-07-22 | University Of Washington | Augmented imaging using a silhouette to improve contrast |
CN101356820A (zh) * | 2006-01-05 | 2009-01-28 | 汤姆森许可贸易公司 | 层间运动预测方法 |
US20080055305A1 (en) * | 2006-08-31 | 2008-03-06 | Kent State University | System and methods for multi-dimensional rendering and display of full volumetric data sets |
US20090225001A1 (en) * | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
EP2075761A1 (en) * | 2007-12-31 | 2009-07-01 | HTC Corporation | Method and device for adjusting output frame |
CN101996410A (zh) * | 2010-12-07 | 2011-03-30 | 北京交通大学 | 动态背景下的运动目标检测方法及系统 |
US20120188148A1 (en) * | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
Non-Patent Citations (1)
Title |
---|
KAI-UWE ROSCHER等: "Low-cost projection device with a 2D resonant microscanning mirror", 《 PROCEEDING OF SPIE 5348, MOEMS DISPLAY AND IMAGING SYSTEMS II》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108514421A (zh) * | 2018-03-30 | 2018-09-11 | 福建幸福家园投资管理有限公司 | 提升混合现实与日常健康监测的方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105229719B (zh) | 显示系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |