CN107577350B - 显示系统和方法 - Google Patents

显示系统和方法 Download PDF

Info

Publication number
CN107577350B
CN107577350B CN201710878238.8A CN201710878238A CN107577350B CN 107577350 B CN107577350 B CN 107577350B CN 201710878238 A CN201710878238 A CN 201710878238A CN 107577350 B CN107577350 B CN 107577350B
Authority
CN
China
Prior art keywords
pixels
frame
end user
virtual
head motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710878238.8A
Other languages
English (en)
Other versions
CN107577350A (zh
Inventor
B·T·朔文格特
S·A·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN107577350A publication Critical patent/CN107577350A/zh
Application granted granted Critical
Publication of CN107577350B publication Critical patent/CN107577350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0266—Reduction of sub-frame artefacts

Abstract

一个实施例涉及一种用户显示设备，其包括可安装在所述使用者的头部上的外壳框架、可安装在所述外壳框架的透镜和耦合到所述外壳框架的投影子系统以至少部分地基于所述用户头部运动的检测和所述用户头部运动的预测中的至少一个来确定在所述用户的视场中显示对象出现的位置，并基于已确定的所述显示对象出现的位置将所述显示对象投影到所述用户。

Description

显示系统和方法
本申请是国际申请号为PCT/US2014/028977、国际申请日为2014年3月14日、中国国家申请号为201480027589.2、标题为“显示系统和方法”的PCT申请的分案申请。
技术领域
本发明一般地涉及被配置以便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。
背景技术
许多显示系统可以从与观看者或用户的头部姿势有关的信息(即，用户的头部朝向和/或位置)中受益。
例如，头戴式显示器(或头盔显示器，或智能眼镜)至少松散地耦合到用户头部，并且因此在所述用户的头部移动时移动。如果所述用户的头部运动由显示系统检测到，被显示的数据可以更新以考虑头部姿势的变化。
作为示例，如果佩戴头戴式显示器的用户浏览显示器上的3D对象的虚拟表示并围绕3D对象出现的区域走动，所述3D对象可以为每个视点来重新渲染，给予用户他或她正在围绕占据现实空间的对象走动的感知。如果头戴式显示器被用于为多个对象显示虚拟空间(例如，丰富的虚拟世界)，头部姿势的测量可以用来重新渲染场景，以匹配用户头部位置和朝向的动态改变，并提供虚拟空间的增强的沉浸感。
尤其是对于用虚拟元素填充了用户视场的实质部分的显示系统，高的头部追踪的准确性以及从低的第一次检测到头部运动到更新由显示器发送到用户的视觉系统的光之间整个系统的延迟非常是至关重要的。如果延迟高，所述系统可以创建用户的前庭和视觉感觉系统之间的失配，并产生晕车或虚拟幻境头晕。
一些头戴式显示器能够同时观看现实和虚拟的元素——通常被描述为增强的现实或混合的现实方法。在一个这样的配置中，通常被称为“视频透视”显示器，摄像机捕获现实场景的元素，计算系统叠加虚拟组件到被捕获的现实场景上，并且非透明显示器显示合成图像到眼睛。另一种配置是通常被称为“光透视”的显示器，其中，用户可以通过显示系统中的透明(或半透明)元素看以直接看到来自环境中的显示对象的光线。透明元素，通常被称为“组合器”，叠加来自显示器的光到用户的现实世界的视觉。
在视频和光透视两种显示器中，检测头部姿势可以使得显示系统渲染虚拟对象以使得它们看上去占据了现实世界中的空间。当用户头部在现实世界中移动时，根据头部姿势来重新渲染虚拟对象，以使得虚拟对象看上去相对于现实世界仍然保持稳定。在这种光透视显示器的情况下，用户的现实世界视觉基本具有零延迟，而他或她的虚拟对象视觉具有的延迟取决于头部追踪速度、处理时间、呈现时间、和显示帧速率。如果系统延迟高，在快速头部运动期间，虚拟对象的显现位置将出现不稳定。
除了头戴式显示系统之外，其他显示系统可从准确的和低延迟的头部姿势检测中获益。这些包括头部追踪显示系统，其中显示器不戴在用户身体上，但是，例如，安装在墙上或其它表面上。头部追踪显示器表现得像到现场的窗口，并为当用户相对所述“窗口”移动其头部时，场景重新渲染以匹配用户不断变化的视点。其它系统包括一个头戴式投影系统，其中，头戴式显示器将光投影到现实世界。
发明内容
本发明的实施例针对有助于一个或多个用户与虚拟现实和/或增强现实互动的设备、系统和方法。
一个实施例针对在虚拟图像系统或增强现实系统中操作的方法，所述方法包括，对于被呈现给最终用户的多个帧中的至少一些中的每一个帧，确定所述最终用户的视场中的虚拟对象相对于最终用户的参考帧出现的位置，以及至少部分地基于已确定的所述最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。在时间上相对于先前呈现给所述最终用户的帧，虚拟对象可以被新引入所述最终用户的视场。新引入的虚拟对象可以被确定以有可能吸引所述最终用户的注意。相对于至少一个先前帧，虚拟对象可以处于帧中的一个新的方位。或者，相对于如先前呈现给所述最终用户的所述虚拟对象的先前方位，虚拟对象可以处于一个新的位置以呈现给所述最终用户。
所述方法可以进一步包括基于指示最终用户对所述虚拟对象的注意的输入选择所述虚拟对象。指示最终用户对所述虚拟对象的注意的输入可至少部分地基于相对于先前呈现给最终用户的虚拟对象的方位，虚拟对象在呈现给最终用户的新方位的出现。或者，指示最终用户对所述虚拟对象的注意的输入可至少部分地基于呈现给所述最终用户的所述虚拟对象的方位相对于如先前呈现给最终用户的虚拟对象的方位多快地改变。
至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移向最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。或者，至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移至最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。
所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象的已确定出现的位置来预测最终用户头部运动的发生。方法可以进一步包括估计指示所预测的最终用户头部运动的所估计的速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。
所述方法可以进一步包括估计所预测的最终用户头部运动中的速度的至少一个变化，其中，速度的至少一个变化发生在所预测的头部运动开始和所预测的头部运动结束之间，并且其中估计指示所预测的头部运动的估计速度的至少一个值包括估计指示所预测的速度的至少一个值，其至少部分地适应所预测的最终用户头部运动中的速度所估计的变化。
估计所预测的最终用户头部运动中的速度的至少一个变化可包括，估计在所预测的头部运动开始后第一定义的时间和所预测的头部运动结束前的第二定义的时间之间的至少一个变化。
所述方法可以进一步包括估计指示所预测的最终用户头部运动的所估计加速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的加速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。
所述方法可以进一步包括接收指示最终用户的身份的信息，以及基于所接收的指示最终用户的身份的信息来检索至少一个用于最终用户的用户特定的历史属性，其中用户特定的历史属性指示用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度和用于最终用户的先前眼睛运动到头部运动的关系之中的至少一个。
所述虚拟对象可以是虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示之中的至少一个。
另一个实施例针对增强现实系统中的操作方法，该方法包括：接收指示最终用户的身份的信息，至少部分地基于所接收的指示最终用户的身份的信息检索至少一个用于最终用户的用户特定的历史属性，以及至少部分地基于所检索的至少一个用于最终用户的用户特定的历史属性向最终用户提供帧。所接收的信息可以是指示最终用户的眼睛的至少一部分的图像的图像信息。
所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供了用于最终用户的至少一个头部运动属性的指示，其中头部运动属性指示最终用户的至少一个先前头部运动。或所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供了用于最终用户的至少一个先前头部运动的至少一个先前头部运动速度的指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供最终用户的跨越至少一个先前头部运动的范围内的至少一部分的头部运动速度的变化指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供用于最终用户的至少一个先前头部运动的至少一个先前头部运动加速度的指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供最终用户的至少一个先前头部运动和至少一个先前眼睛运动之间的关系指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供最终用户的至少一个先前头部运动和至少一个先前眼睛运动之间的比率指示。
所述方法可以进一步包括预测最终用户头部运动的至少一个终点，并至少部分地基于所检索的用于最终用户的至少一个用户特定的历史属性向最终用户提供帧，包括渲染至少一个后续帧给至少一个图像缓冲器，该至少一个后续帧移向所预测的头部运动的终点。
所述方法可以进一步包括渲染多个后续帧，其至少部分适应用于最终用户的至少一个头部运动属性移向所预测的头部运动的终点，该头部运动属性指示最终用户的至少一个先前的头部运动。
指示最终用户的至少一个先前的头部运动的头部运动属性可以是用于最终用户的历史头部移动速度、用于最终用户的历史头部移动加速度或用于最终用户的头部运动和眼睛运动之间的历史比率。
所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象出现的位置，预测最终用户的头部运动的发生。虚拟对象出现的位置可以用与上述相同的方式确定。
另一个实施例针对检测呈现给最终用户的帧中的一些像素之间的间隔将不同于帧中其它像素之间的间隔的指示，基于已检测的指示调整第一组像素，并提供具有所调整的第一组像素给至少一个后续帧的一部分以至少部分补偿呈现给最终用户的间隔之间的差异。像素特征(例如，尺寸、亮度等)可以被最终用户感知到。
所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的方向相同，以及增加至少一个后续帧的第一组像素的尺寸。所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的方向相同，以及响应于已检测的头部运动增加至少一个后续帧的第一组像素的亮度。
所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的方向相反，以及响应于已检测的头部运动减少至少一个后续帧的第一组像素的尺寸。
所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的朝向相反，以及响应于已检测的头部运动减少至少一个后续帧的第一组像素的亮度。
另一个实施例id针对在虚拟图像呈现系统中操作的方法，方法包括渲染第一完整帧到图像缓冲器，其中第一完整帧包括用于像素的顺序呈现以形成虚拟对象的图像的像素信息，开始第一完整帧的呈现，以及在第一完整帧的呈现结束之前通过呈现对第一完整帧的更新动态地中断呈现第一完整帧，在所述更新中像素信息的一部分已经从第一完整帧改变。
另一个实施例针对在虚拟图像呈现系统中操作的方法，方法包括渲染具有第一场(field)和第二场的第一完整帧到图像缓冲器，其中第一场至少包括第一螺旋扫描线并且第二场至少包括第二螺旋扫描线，第二螺旋扫描线至少与第一螺旋扫描线交错；读出存储第一完整帧的帧缓冲器；以及在读取第一完整帧完成之前通过读出对第一完整帧的更新动态中断读出第一完整帧，在所述更新中像素信息的一部分已经从第一完整帧改变。读出的动态中断可以基于已检测的最终用户头部运动，其中已检测的头部运动超过标称头部运动值。
另一个实施例针对在虚拟图像呈现系统中操作的方法，所述方法包括渲染具有第一场和第二场的第一完整帧到图像缓冲器，其中第一场至少包括第一利萨茹(Lissajous)扫描线并且第二场至少包括第二利萨茹扫描线，第二利萨茹扫描线至少与第一利萨茹扫描线交错；读出存储第一完整帧的帧缓冲器；以及在读取第一完整帧完成之前通过读出对第一完整帧的更新动态中断读出第一完整帧，在所述更新中像素信息的一部分已经从第一完整帧改变，所述更新动态中断基于最终用户已检测的头部运动超过标称头部运动值。所述方法可以进一步包括相移利萨茹扫描线以交错利萨茹扫描线。
另一个实施例针对在虚拟图像呈现系统中操作的方法，所述方法包括对于多帧中的每一个，响应于已检测的最终用户头部运动，为每个相应帧中的至少两部分中的每一部分确定相应的分辨率，并且基于已确定的相应帧中的至少两部分相应的分辨率呈现虚拟对象。所述相应的帧的部分可以帧的场、帧的线、帧的像素中的至少一个。所述方法可以进一步包括在呈现帧的第一部分和帧的第二部分之间调整驱动信号的特征以创建虚拟对象的图像中的可变分辨率。驱动信号的特征可以是驱动信号的振幅和驱动信号的斜率中的至少一个。
所述方法可以进一步包括基于已处理的眼睛追踪数据、已确定的最终用户的视场中的虚拟对象相对于最终用户参考帧出现的位置、已确定的当新引进最终用户的视场时虚拟对象出现的位置、已确定的虚拟对象相对于该虚拟图像在至少一个先前图像中的方位在图像中的新方位中出现的位置之中的至少一个来为最终用户评估至少第一图像中的注意点。
所述方法可以进一步包括在至少一个后续的图像的一部分中增加所述至少一个后续图像中的分辨率，其相对于所述至少一个后续的图像的其他部分至少邻近于评估出的注意点。所述方法可以进一步包括在至少一个后续的图像的一部分中减少所述至少一个后续图像中的分辨率，其相对于所述至少一个后续的图像的其他部分至少为评估出的注意点的远侧。
另一个实施例针对在虚拟图像呈现系统中操作的方法，所述方法包括：向最终用户显示至少一个虚拟对象，并且在已检测的头部运动超过标称头部运动值和所预测的头部运动被预测超过头部运动值中至少之一时暂时消隐所述至少一个虚拟对象的显示的一部分。所述方法可进一步包括处理经由至少一个传感器提供的追踪数据以确定已检测的头部运动和所预测头部运动中的至少一个，其中头部追踪数据至少指示最终用户的头部朝向。
另一个实施例针对一种投影机装置来在增强现实系统中至少投影[a1]虚拟图像，所述投影机装置包括投影机组件、使投影机组件在至少一个自由轴上可移动的支撑投影机组件的支撑件、至少一个被耦合以选择性地移动投影机组件的执行机构、以通信方式耦合以控制执行机构使得投影机组件响应于最终用户头部运动超过标称头部运动值的检测和最终用户头部运动的预测被预测超过标称头部运动值中的至少一个被移动的控制子系统。投影机组件可以进一步包括至少一个第一光纤，所述第一光纤具有后端和前端，后端被耦合以接收图像，前端被定位以由此传送图像。
支撑组件可以包括接收至少第一光纤的压电环，其靠近但与第一光纤前端向后侧隔开，使得第一光纤靠近其前端的一部分从所述压电环延伸并且以定义的谐振频率自由振荡。
根据权利要求87的投影机装置，其中至少受控制的子系统被以通信方式耦合以接收经由至少一个传感器提供的头部追踪数据，该头部追踪数据至少指示最终用户的头部朝向。对于呈现给最终用户的多个图像中的至少一些的每一个，控制子系统确定虚拟对象在最终用户的视场中相对于最终用户参考帧出现的位置，评估已确定的位置是否需要最终用户转动用户头部，并基于该评估预测头部运动的发生。
另一实施例针对虚拟图像呈现系统中的操作方法，所述方法包括过渲染(overrendering)用于定义的视场的帧，使得用于帧的一组像素的像素信息超出以最大分辨率显示的最大区域，确定帧的一部分以基于已检测的头部运动和所预测的头部运动中的至少一个呈现给最终用户，并且选择性地仅读出帧的确定的部分。
另一实施例针对用户显示设备，包括可安装在用户头部的外壳框架、可安装在外壳框架上的透镜，以及被耦合到外壳框架以至少部分地基于用户头部运动的检测和用户头部运动的预测中的至少一个来确定显示对象在用户视场出现的位置并基于已确定的显示对象出现的位置来投影显示对象到用户的的投影子系统。显示对象出现的位置可以被移动以响应用户头部运动的检测或用户头部运动的预测中的至少一个超过或预测超过标称头部运动值。用户头部运动的预测可基于用户在焦点的移动的预测或用户的一组历史属性。
用户显示设备可以进一步包括可安装在外壳框架上的第一对摄像机以追踪用户眼睛的移动，并基于追踪的眼睛运动估计用户的眼睛的焦点深度。投影子系统可以基于所估计的焦点深度投影显示对象。
用户显示设备可以进一步包括可安装在外壳框架上的第二对摄像机以捕获如用户眼睛看到的视场图像，其中视场图像包含至少一个物理对象。投影子系统可以以一种方式投影显示对象，使得显示对象和通过第二对摄像机捕获的物理对象相互混合并一起出现在同一帧中。出现位置可至少部分地基于物理对象。显示对象和物理对象可具有预先确定的关系。捕获的视场图像可以被用于收集关于用户头部运动的信息，其中关于用户头部运动的信息包括用户注意的中心、用户头部的朝向、用户头部的方向、用户头部运动的速度、用户头部运动的加速度和与用户的本地环境有关的用户头部的距离。
透镜可以包括至少一个透明表面以选择性地允许透射光，使得用户能够观察本地环境。投影子系统可以以一种方式投影显示对象，使得用户观察显示对象和本地环境如同通过透镜的透明表面进行观察。
用户显示设备还可以包括至少一个惯性传感器以捕获一组表示用户头部运动的惯性测量，其中该组惯性测量包括用户头部运动的速度、用户头部运动的加速度、用户头部运动的方向、用户头部的方位以及用户头部的朝向。
用户显示设备可以进一步包括至少一个光源以照亮用户的头部和用户的本地环境中的至少一个。
投影子系统可以调整与显示对象相关联的一组像素的所感知尺寸、亮度和分辨率中的至少一个以补偿检测到的头部移动和所预测的头部运动中的至少一个。显示对象可以是虚拟对象和增强虚拟对象中的一个。
本发明的另外的和其他的目标、特征、和优点在详细描述、附图和权利要求中被描述。
附图说明
图1示出了使用预测头部追踪来为最终用户|[12]渲染帧的示例。
图2示出了基于呈现给最终用户的虚拟对象的特征来预测头部运动的技术示例。
图3示出了帧中心偏移到哪的示例。
图4示出了基于最终用户的一组历史属性来预测头部运动的技术示例。
图5示出了基于历史属性预测头部运动的技术的另一示例。
图6示出了检索用户的多种历史属性的示例。
图7示出了基于预测的终点来渲染后续帧的示例。
图8示出了渲染后续帧的另一示例。
图9示出了预测头部运动的发生的示例。
图10示出了基于头部运动来调节像素的示例。
图11示出了使用调整后的像素渲染帧的示例。
图12示出了增加像素的尺寸和/或亮度的示例。
图13示出了的动态中断帧的呈现的示例。
图14示出了呈现更新后的帧的一部分的示例。
图15示出了读取更新帧的示例。
图16示出了相移的示例。
图17示出了导致图像中可变分辨率的示例。
图18示出了调整驱动信号的振幅的示例。
图19示出了基于最终用户的注意点调整后续图像中的分辨率的示例。
图20示出了调整分辨率的另一示例。
图21示出了确定虚拟对象出现的位置的示例。
图22示出了消隐显示虚拟对象的一部分的示例。
图23示出了基于虚拟对象的吸引力来预测头部运动的示例。
图24示出了频闪的示例。
图25示出了有选择地激活执行机构[13]以移动投影机组件的示例。
图26示出了选择性地读出帧的一部分的示例。
图27示出了基于已确定的虚拟对象的位置选择性地读出一部分的示例。
图28示出了选择性地读出一部分的另一示例。
图29示出了确定图像的一部分以呈现给最终用户的示例。
图30示出了动态地处理[14]过渲染的帧的一部分的示例。
图31示出了具有像素信息的帧的示例。
图32示出了光栅扫描图样的示例。
图33示出了螺旋扫描图样的示例。
图34示出了利萨茹扫描图样。
图35示出了多场螺旋扫描图样的示例。
图36A示出了在最终用户的头部快速横向移动期间光栅扫描图样失真的示例。
图36B示出了在最终用户的头部垂直向上移动期间光栅扫描图样失真的示例。
图37A示出了在最终用户的头部向左侧迅速地横向运动期间螺旋扫描线失真的示例。
图37B示出了在用户的头部向左侧非常迅速地横向运动期间螺旋扫描线失真的示例。
图38示出了虚拟图像生成系统的概述。
具体实施方式
下面的说明涉及在虚拟现实和/或增强现实系统中使用的显示系统和方法。然而，应理解，在适用于虚拟现实中的应用的同时，本发明在其最广泛的方面并不受限制。
首先参照图38，图38根据一个所示出的实施例示出了虚拟图像生成系统3800，其可以操作以向最终用户3802提供虚拟映像。
虚拟图像生成系统3800可以被作为增强现实系统操作，其在最终用户的视场中提供与物理对象混合的虚拟物体图像。当将虚拟图像生成系统3800作为增强现实系统操作时，有两种基本方法。第一种方法采用一个或多个成像器(例如，摄像机)以捕获周围环境的图像。虚像生成系统3800可以将图像混合进代表周围环境的图像的数据。第二种方法采用一个或多个通过其可以看到周围环境的至少部分透明的表面，并且虚拟图像生成系统3800在其上产生虚拟物体的图像。如将对本领域技术人员显而易见的，至少一些本文所描述的方面特别适合于增强现实系统。
虚像生成系统3800可以被作为虚拟现实系统操作，提供虚拟环境中的虚拟对象的图像。
虚像生成系统3800以及本文所教导的各种技术可以被用在除增强现实和虚拟现实系统之外的应用中。例如，各种技术可被应用到任何投影或显示系统。例如，本文描述的各种技术可应用到微型投影机，其中运动可以是最终用户的手的运动而不是头部运动。因此，尽管本文经常就增强现实系统而言进行描述，但教导不应受限于这种系统或这种用途。
至少对于增强现实应用，需要在最终用户3802的视场中放置相对于相应的物理对象的各种虚拟对象。本文也称为虚拟标签或标签或标注的虚拟对象可以采用任何各种各样的形式，主要为能够被呈现为图像的任何种类的数据、信息、概念或逻辑结构。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示。
头部追踪精度和延迟一直是虚拟现实及增强现实系统中的问题。追踪不准确和延迟产生最终用户的视觉系统和前庭系统之间的不一致。这可能会导致恶心和不适。这在填充最终用户的大部分视场的显示系统中特别成问题。解决这些的途径可能包括提高帧速率或有效帧速率，例如通过闪动或闪烁或通过其他技术。如本文所描述的，可以用预测性头部追踪来解决这些问题，例如通过减少延迟。预测性头部追踪可依赖于大量的不同因素或方法，包括用于特定最终用户的历史数据或属性。本文还描述了显示或呈现的消隐可以被有效地使用，例如在快速头部运动时消隐。
至少对于增强的现实应用，与物理对象有空间关系的虚拟对象的放置(例如，被呈现以在两个或三个维度出现空间上接近物理对象)是重要的问题。例如，考虑到周围环境，头部运动可显著地使视场内的虚拟对象的放置复杂化。无论是被捕获的周围环境的图像并随后被投影或显示给最终用户3802的视场，还是最终用户3802直接感知的周围环境的视场，均是如此。例如，头部运动将可能导致最终用户3802的视场的改变，其将可能需要对显示在最终用户3802视场中的各种虚拟对象的位置进行更新。此外，头部运动可能会在种类繁多的范围和速度中发生。不仅在不同头部运动之间头部运动速度可能会发生变化，而且跨单个头部运动范围或者在单个头部运动范围之内头部运动速度也可能会发生变化。例如，头的移动速度可最初从起点增加(例如，线性地或非线性地)，并且当到达终点时可以降低，在头部运动的起点和终点之间的某处获得最大速度。快速的头部运动甚至可能超过特定显示或投影技术向最终用户3802渲染出现均匀和/或如平滑的运动的图像的能力。
在图38所示的实施例中，虚拟图像生成系统3800包括投影子系统3804，其可操作以在位于最终用户的3802视场中的部分透明的显示表面3806上投影图像，所述显示表面3806在最终用户3802的眼睛3808和周围环境之间。虚拟图像生成系统3800可能被穿戴或安装在最终用户3802的头部3810上，例如并入到一副眼镜或护目镜。
在所示的实施例中，投影子系统3804包括一个或多个光纤3812(例如，单模光纤)，其具有光被接收进入的后端或远端3812a和光从其被提供至部分透明的显示表面3806或者被直接投影进最终用户3802的眼睛3808的前端或近端3812b。投影子系统3804还可以包括一个或多个光源3815，其产生光(例如，以定义的图样发射不同颜色的光)，并以通信方式将光耦合至以一个或多个光纤3812的后端或远端3812a。光源3815可采取任何不同各种形式，例如根据在像素信息或数据的相应帧中指定的所定义的像素图案其可操作以分别产生红色、绿色和蓝色相干平行光的一组RGB激光器(例如，能够输出红色绿色和蓝色光的激光二极管)。激光提供高色彩饱和度并高的能源效率。
尽管图38示出了将光分解至多个信道的单个光纤3812，一些实现可采用两个或更多光纤3812。在这样的实施例中，光纤3812可以具有交错的尖端或者有斜面并且被抛光的尖端以弯曲光，降低了信道之间的光学间隔。光纤3812可方便地包装成带状电缆。适当的光学器件可产生由每个信道所产生的相应的图像的结合物。
一个或多个光纤3812可通过轭3814支持，具有由此延伸的前或近端3812b的一部分。轭3814可被操作以设置该前或近端3812b处于振荡运动。例如，轭3814可以包括一管压电式传感器3814a(图38仅示出一个)。多个电极3813(例如，示出了四个，仅有一个被标注)放射状地关于压电式传感器3814a排列。例如经由帧缓冲器3828施加控制信号至与压电式传感器3814a相关联的各个电极3813可导致光纤3812的前或近端3812b以第一谐振模式振动。振动的大小或偏离中心的量可经由所施加的驱动信号控制以获得任何各种的至少二轴的图样。图样可以例如包括光栅扫描图样、螺旋或蜗旋的扫描图样、或利萨茹或图8扫描图样。
图31根据一个所示的实施例示出了像素信息或数据的帧3100，其指定像素信息或数据以呈现图像，例如，一个或多个虚拟对象的图像。帧3100以单元3100A，-3100n(仅标注出两个，统称3102)示意性地示出每个像素。排列成行或线的单元3104a、31004b-3100n(标注出三个，统称3104)的序列，被示为水平延伸跨越图31中的图页。帧3100包括多个线3104。图31采用椭圆型来表示缺少的信息，例如为了清楚说明而省略的单元或行。
帧3100的每个单元3102可以为与单元对应的像素和/或亮度的各个像素指定用于多个颜色中的每一个的值(统称3106)。例如，帧3100可以为每个像素指定用于红色3106a的一个或多个值，指定用于绿色3106b的一个或多个值以及指定用于蓝色3106c的一个或多个值。值3106可以被为指定为用于每个颜色的二进制表示，例如每一个颜色对应4位数字。帧3100的每个单元3102可能另外包括为每个像素指定振幅或径向尺寸的振幅或径向值#P06d，例如在结合基于螺旋扫描线图样的系统或基于利萨茹扫描线图样的系统使用帧3100时。
帧3100可以包括被统称为3110的一个或多个场。帧3100可以由单个场构成。可选地，帧3100可包括两个，或甚至更多的场3110a-3110b。图31中所示的帧3100示出了两个场3110a、3110b。用于帧3100的完整的第一场3110a的像素信息可在用于完整的第二场3110b的像素信息之前被指定，例如在用于数列、有序列表或其它数据结构(例如，记录、链表)中用于第二场3110b的像素信息之前发生。假定呈现系统被配置以处理多于两个的场3110a-3110b，第三或甚至第四场可以跟随在第二场3110b之后。
图32示意性地表示光栅扫描图样3200。在光栅扫描图样3200中，像素3202(只有一个被标注出)被依次呈现。光栅扫描图样3200典型地从左至右(由箭头3204a、3204b表明)然后从上到下呈现(由箭头3206表明)像素。因此，该呈现可以在右上角开始并向左遍历第一行3208直到达到行的末尾。随后光栅扫描图样3200典型地从下一行的左侧开始。呈现可以被暂时停止或消隐，其从一行的末尾返回到到下一行的开始。该过程一行接一行重复直到完成底部线3208n完成，例如，底部最右像素。随着帧3100被完成，新的帧开始，再一次返回下一帧的最上面的行的右侧。再一次地，当从底部左侧返回到上方右侧以呈现下一个帧时，呈现可被停止。
光栅扫描的许多实现方式使用交错扫描图样。在交错光栅扫描图样中，来自第一和第二场3210A、3210b的行是交错的。例如，当呈现第一场3210a的行时，用于第一场3210a的像素信息可以仅用于奇数行，而用于第二场3210b的像素信息可以仅用于偶数行。这样，帧3100(图31)的第一场3210a的所有行典型地在第二场3210b的行之前呈现。第一场3210a可以使用第一场3210a的像素信息来依次呈现行1、行3、行5等。随后帧3100(图31)的第二场3210b可以通过使用第二场3210b的像素信息跟着第一场3210a呈现来依次呈现行2、行4、行6等。
图33示意性地根据一个示出的实施例表示螺旋扫描图样3300。螺旋扫描图样3300可以由单个螺旋扫描线3302构成，其可包括一个或多个完整的角周期(例如，360度)，其可以被命名为圈或环。像素信息被用于指定每个顺序的像素的颜色和/或亮度，随着角度增加。振幅或径向值3208(图31)指定自螺旋扫描线3302的起点3308的径向尺寸#R06。
图34示意性地根据一个所示实施例表示利萨茹扫描图样3400。利萨茹扫描图样3400可以由单个利萨茹扫描线3402构成，其可包括一个或多个完整的角周期(例如，360度)，其可以被命名为圈或环。可选地，利萨茹扫描图样3400可以包括两个或更多利萨茹扫描线3402，所述两个或更多利萨茹扫描线3402每个均相对于彼此相移以嵌套利萨茹扫描线3402。像素信息被用于指定随着角度增量每个顺序的像素的颜色和/或亮度。振幅或径向值3208(图31)指定从利萨茹扫描线3402的起点开始的径向尺寸。
图35示意性地根据一个所示实施例表示多场螺旋扫描图样3500。多场螺旋扫描图样3500包括两个或更多个不同的螺旋扫描线，统称为3502，图35示出了四个螺旋扫描线3502a-3502d。用于每个螺旋扫描3502线的像素信息可以被帧3100(图31)各自的场(例如，3210a，3210b)指定。有利地，可以简单地通过在每一个连续的螺旋扫描线3502之间进行相移来嵌套多个螺旋扫描线3502。螺旋扫描线3502之间的相位差应取决于将被采用的螺旋形扫描线3502的总数。例如，四个螺旋扫描线3502a-3502d可以以90度相移分开。示例性实施例可以以100赫兹刷新率结合10个不同的螺旋扫描线(即，子螺旋)操作。类似于图33的实施例，一个或多个振幅或径向值3208(图31)指定从螺旋扫描线3502的起点3508开始的径向尺寸3506。
如从图34和35可知，相邻像素之间的相对间隔可以在整个图像中变化。至少部分地适应或补偿该不均匀性可能是有利的。例如，调整像素尺寸可能是有利的，例如增加用于比其它像素间隔更远的像素的所感知的像素尺寸。这可以例如经由选择性模糊(例如，可变焦距透镜、可变扩散、抖动)以增加高斯光斑尺寸来实现。另外或可选地，调整用于比其它像素间隔更远的像素的亮度可能是有利的。
返回到图38，使用正弦波驱动信号以关于第一轴的共振频率和关于垂直于第一轴的第二轴的共振频率驱动压电式传感器3814a来产生螺旋扫描图样。螺旋扫描图样以随角度尺寸的变化而变化的径向尺寸为特征。例如，径向尺寸可以线性地或非线性地变化，当径向尺寸从0度到或通过360度变化时。在现象上，螺旋扫描线可出现连续的螺旋，该螺旋起始于起点并在在一个平面上旋转的同时径向向外放射。每个完整的角周期可被描述为构成圈或环。在起始点开始之前，可以定义具有任何期望数量的圈或环的螺旋扫描线。在在时间上第一螺旋扫描图样的结尾和下一个在时间上连续的螺旋扫描图样开始之间可发生显示或呈现被消隐的刷新周期。螺旋扫描图样的最外径向尺寸可通过正弦波驱动信号的振幅调制来设置。螺旋扫描线图样的振幅调整调整径向尺寸而不会影响角度尺寸。这样，振幅调制将不会影响周期的频率(例如，圈或环的数目)或给定时间的用于给定的扫描线的周期数。图样中的前端或近端3812b的方位与光源3815的输出同步以形成二维或三维图像。
虽然未示出，投影子系统3804可以包括一个或多个光学组件(例如，透镜、滤光器、光栅、棱镜、反射镜、分色反射镜、折射镜)，其例如经由部分透明显示表面3806直接或间接地引导来自一个或多个光纤3812的前端或近端3812b的输出到最终用户3802的眼睛3808。虽然未示出，投影子系统3804可以包括一个或多个光学组件，其调制像素数据的Z轴方位的深度。这样可以例如采取柔性反射(例如，涂覆有铝的氮化物溅镀(nitride sputter))膜和一个或多个被操作以引起柔性反射膜偏转的电极的形式。柔性反射膜被定位以反射和聚焦从一个或多个光纤3812的前端或近端3812b发射的光。柔性反射膜可基于用于像素数据或信息的深度图选择性地被操作以在Z维或轴聚焦光。柔性反射膜可采用高斯点以产生深度的外观，图像中的某些虚拟对象出现在焦点同时其他对象在焦点之外。附加或备选地，该系统可以使用一个或多个克尔(kerr)效应透镜。
虽然对于头戴式实施例是不必要的，光纤3812以及可选的轭3814可以被支持以用于在一个或多个方向的运动。例如，光纤3812，以及任选轭轭3814可以经由常平架3816被支持以用于运动的2、3或更多个自由度。常平架3816可以包括转盘3816a、可被操作以围绕第一轴3820a转动或旋转的第一执行机构3818a(例如，电动机、螺线管、压电式传感器)。常平架3816可以包括被转盘3816a上的框架3816c支撑的托架3816b，第二执行机构3818b(例如，电动机、螺线管、压电式传感器器)可被操作以围绕第二轴3820b转动或旋转。常平架3816可以包括由托架3816b可转动地支撑的杆3816d、可被操作以围绕第三轴3820c转动或旋转的第三执行机构3818c(例如，电动机、螺线管、压电式传感器)。第一、第二和第三轴(统称为3820)可以是正交的轴。
在图38所示的实施例中，虚拟图像生成系统3800包括控制子系统3822。控制子系统3822可以采取大量不同形式中的任意一个，其中一种在图38中示出。
控制子系统3822包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)3824、数字信号处理器(DSP)、图形处理单元(GPU)3826、其它集成电路控制器如专用集成电路(ASIC)、可编程门阵列(PGA)，例如现场PGA(FPGA)和/或可编程逻辑控制器(PLU)。在图38所示的实施例中，微处理器3824控制整个操作，而GPU3826渲染帧(例如，像素数据组)到一个或多个帧缓冲器3828a-3828n(统称为3828)。虽然没有示出，一个或多个附加的集成电路可控制从帧缓冲器3828读入和/或读出帧以及压电式传感器或电极3814a的操作，同步两者以产生二维或三维图像。例如在帧被过渲染的地方，读入和/或输出帧缓冲器3828的帧可以采用动态寻址。
控制子系统3822包括一个或多非个临时性计算机或处理器可读介质以存储指令和数据。该非临时性计算机或处理器可读介质可以例如包括帧缓冲器3828。非临时性计算机或处理器可读介质可以例如包括一个或多个非易失性存储器，例如只读存储器(RAM)3830或闪存。非临时性计算机或处理器可读介质可以例如包括一个或多个易失性存储器，例如随机存取存储器(RAM)3832。控制子系统3822可包括其它易失性和非易失性存储器，包括旋转介质存储以及固态存储设备。
在采用执行机构(统称3818)的实现方式中，控制子系统3822可选地包括以通信方式经由马达控制信号被耦合以驱动执行机构3818的一个或多个专用马达控制器3834。
控制子系统3822可选地包括一个或多个通信端口3836a、3836b(统称为3836)，其提供与不同的其它系统、组件或设备的通信。例如，控制子系统3822可以包括一个或多个提供有线或光通信的有线接口或端口3836a。又例如，控制子系统3822可以包括一个或多个无线接口或端口，如一个或多个提供无线通信的无线电设备(即，无线发射器、接收器、收发器)3836b。
如示出的，有线接口或端口3836a提供与环境成像系统3838的有线或光通信，环境成像系统3838包括被定位和定向以捕捉最终用户3802所在的环境的图像的一个或多个摄像机3838a。这些可用于感知、测量或收集有关最终用户3802和/或环境的信息。例如，这些可以用于检测或测量最终用户3802或者最终用户3802的部分身体——例如头部3810——的运动和/或和方位。如示出的，有线接口或端口3836a可选地提供与结构照明系统3840的有线或光通信，所述结构照明系统3840的包括被定位和定向以照亮终端用户3802、最终用户3802的一部分如头3810和/或在其中最终用户3802所在环境的一个或多个光源3840a。
如示出的，无线接口或端口3836b提供与一个或多个头戴式传感器系统3842的无线(例如，RF、微波，IR)通信，所述头戴式传感器系统3842包括一个或多个惯性传感器3842a以捕获指示最终用户3802的头部3810运动的惯性测量。这些可用于感知、测量或收集有关最终用户3802的头部运动的信息。例如，这些可用于检测或测量最终用户3802的头部3810的运动、速度、加速度和/或方位。如示出的，有线接口或端口3836a可选地提供与成像系统3842的有线或光通信，所述成像系统3842包括例如，一个或多个前向成像器或摄像机3842a。这些可以被用来捕获关于最终用户3802所在的环境的信息。这些可以被用来捕获指示最终用户3802相对于那个环境和那个环境中的特定对象的距离和朝向的信息。当被戴在头上，前向成像器或摄像机3842a特别适合于捕获指示最终用户的头部3810相对于最终用户3802所在的环境和那个环境中的特定对象的距离和朝向的信息。这些可以例如被用来检测头部运动、头部运动的速度和/或加速度。这些可以例如被用于检测或推断最终用户3802的注意中心，例于至少部分地基于最终用户的头部3810的朝向。朝向可以在任何方向被检测(例如，相对于最终用户的参考帧的上/下、左/右)。
在一些实现中所有通信都可以是有线的，而在另一些实现中所有通信都可以是无线的。在进一步的实现中，有线和无线通信的选择可能不同于图38所示出的。因此，有线或无线通信的特定选择不应该被认为是限制性的。
控制子系统3822的不同组件，例如微处理器3824、GPU3826、帧缓冲器3828、ROM3830、RAM3832、和/或可选地专用马达控制器3834可以经由一个或多个通信通道可通信地被耦合，所述通信通道例如是一个或多个总线3846(仅示出一个)。总线3846可以采取不同的形式，包括指令总线、数据总线、地址总线、其他通信总线，和/或电源总线。
预测头部运动的能力允许虚拟图像生成系统3800(图38)——例如增强现实系统，快速地更新图像的呈现和/或适应或补偿头部运动。例如，由可能在仅感知到头部运动的采用的情况下，后续帧可被更早的再渲染或读出。如从本文讨论中将显而易见的，适应或补偿可采取各种形式。例如，可以以偏移的视场或者移向或移到最终用户的注意或聚焦的区域的中心渲染或读出后续帧。又例如，后续帧可被再渲染或读出以适应或补偿自头部运动而导致的变化。例如，在某些显示器或投影技术中(例如，“飞行像素”技术，其中像素被顺序显示，例如光栅扫描、螺旋扫描、利萨茹扫描)，快速的头部运动可能导致被呈现给最终用户的帧像的素之间的间隔变化。适应或补偿可以包括适应或补偿这种像素间距的变化。例如，一些像素的尺寸或所预测的尺寸可以相对于其它像素被调整。还例如，一些像素的亮度或所预测的亮度可以相对于其它像素被调整。作为进一步的例示例，后续帧可以以所得图像不同部分之间的可变分辨率被渲染或读出。其他适应或补偿技术将从该讨论中显而易见。在其它方面，许多这些相同的技术可为了除适应或补偿以外的目的而被采用，并且可以独立地被用于预测头部追踪、感知的头部追踪，和/或与基于非“飞行像素”的显示或投影技术结合使用。
最终用户的运动，例如头部运动可能对图像产生重大的影响。由于增强现实系统试图渲染帧的后续帧与头部运动相一致，所得的虚拟对象的图像可以被压缩、扩展或以其他方式变形。这至少部分是事实的结果——对于许多显示或呈现技术(即“飞行像素”技术)，用于任何给定的帧的完整的图像并非被同时呈现或显示，而是由一个又一个的像素呈现或显示。因此，对于这些显示或呈现技术不存在真正的瞬时视场。这可能会以不同的形式，跨越许多不同类型的图像生成技术发生，例如光栅扫描、螺旋扫描或利萨茹扫描方法。一个或多个“白色”或空白帧或图像可以减轻一些快速头部运动的影响。
例如，图36A示出了在最终用户的头部快速横向运动期间产生在光栅扫描3600a中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及光栅扫描像素生成的方向(例如，从右到左，从上到下)。
又例如，图36B示出了在最终用户的头部快速垂直运动期间产生在光栅扫描3600中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及光栅扫描像素生成的方向(例如，从右到左，从上到下)。
作为另一个例子，图37A示出了在最终用户的头部向左侧的快速横向运动期间产生在螺旋扫描线3700a中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及螺旋扫描像素生成的方向(例如，顺时针方向，增加半径)。如示出的螺旋扫描线3700a的连续环或圈之间的间隔在头部运动的方向增加(例如，向图纸的左边)，并且在相反的方向减小(例如，向图纸的右边)。
作为另一个例子，图37B示出了在最终用户的头部向左侧的快速横向运动期间产生在螺旋扫描线3700b中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。事实上，如图37B所示，失真可能是高度椭圆(high elliptic)并且去中心化的。该失真取决于头部运动的方向、速度和加速度以及螺旋扫描像素生成的方向(例如，顺时针方向，增加半径)的函数。如示出的的螺旋扫描线3700b的连续环或圈之间的间隔在头部运动的方向上增加(例如，向图纸的左边)。对于相对于系统来说头部运动过快的地方，每个环或圈的最左部分可以位于与相对于螺旋扫描线3700b的起点的头部运动相同的方向，如图37B所示。
采用螺旋扫描图样的一个优点是，地址到图像缓冲器的转换独立于运动的方向(例如，头部运动、用于手持的微型投影机的手部运动)。
上述系统被用于下述的所有实施例。在一个实施例中，基于预测用户的焦点的移动，该系统可以被用于预测头部追踪。图1根据一个所示实施例示出了在采用预测头部追踪的增强现实系统中的方法100的操作。
在102，增强现实系统(例如，控制器子系统和/或其处理器)将多个帧作为呈现给增强现实系统的最终用户的图像。所述帧典型地包括指定用于在视场产生一个或多个虚拟对象的像素信息。如前所述，虚拟对象可以采取多种不同的虚拟对象的形式或格式中的任意一种，其可以可视地表示物理对象或者可被表示的信息、数据或逻辑结构。虚拟对象的非限制性实例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟可视化表示。
在104，增强现实系统至少基于指示最终用户的注意的输入选择一个或更多虚拟对象。
输入可以是最终用户的实际选择。选择可以由最终用户实时做出或可能已被由预先指定。因此，最终用户可以选择某一组虚拟工具作为最终用户通常地较其他对象更为聚焦或者注意的一类虚拟对象。
输入可从各种来源被推出。输入可涉及到虚拟对象本身。输入可以被附加地或备选地涉及到最终用户的视场或者显示器或投影机的视场中的物理对象。输入可以附加地或备选地涉及到用户自身，例如最终用户和/或最终用户的一部分(例如，头、眼睛)的朝向和/或方位，或者历史属性。该历史属性可以是最终用户特定的，或者更一般化或通用的。历史属性可以指示一组已定义的最终用户的特征。最终用户特征可以例如包括头部运动速度、头部运动加速度、和/或头部运动和眼睛运动之间的关系(如一个到另一个的比率)。通过历史属性追踪的最终用户特征甚至可以包括指示给定的最终用户注意某些虚拟对象的倾向性。这些可以通过虚拟对象类型(例如，文本、图表)、最近的虚拟对象(例如，新出现的对象)、虚拟对象的运动(例如，图像到图像的大的变化、快速或迅速的运动、运动的方向)和/或虚拟物体的特征(如颜色，亮度，尺寸)来指定。
在106，对于被呈现给最终用户的多个帧中至少一些中的每一个帧，增强现实系统(例如，控制器子系统和/或其处理器)确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置。例如，增强现实系统可以确定新引入的虚拟对象的位置、已定义类型的虚拟对象、快速移动或超过大距离的虚拟对象、或曾经为最终用户的注意点的虚拟对象。
在108，增强现实系统至少部分地基于已确定的最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。本文讨论了调整视场中虚拟对象的出现的多种方式，包括非彻底地适应或补偿、调整像素尺寸、调整像素亮度、调整分辨率、开窗和/或消隐或闪烁。
图2根据一个所示实施例示出了在增强现实系统中另一个操作的方法200。在执行图1中方法100的动作104和/或10 6时可采用方法200。
方法200采用基于被或将被呈现给最终用户的虚拟对象的特征来预测头部运动的技术。例如，预期新引入的虚拟对象或虚拟对象的运动(例如，由于意外、速度和/或距离)可能会吸引用户注意的虚拟对象，导致头部运动以将特定的虚拟对象带入或靠近最终用户视场的中心。附加地或备选地，在评估哪些最有可能吸引人注意时，增强现实系统可依赖于虚拟对象的其他特征。例如，高吸引力的(例如，闪烁、微闪)、大型的、快速运动的，或明亮的虚拟对象比其他虚拟对象更可能吸引注意。
针对新引入虚拟对象的情况，在#ab02，当其被新引入最终用户的视场时，增强现实系统(例如，控制器子系统和/或其处理器)选择和/或确定虚拟对象出现的位置。当未出现在先前(时间上)呈现给最终用户的相关的帧中时，虚拟对象被认为是新引入的。特别是，增强现实系统依赖于一个事实，即新引入的虚拟对象相对于出现在直接的在先帧中的虚拟对象更可能会吸引最终的注意。附加地或备选地，增强现实系统可通过评估哪个最可能引起注意来依赖虚拟对象的其它特征，例如，以在多个新引入的虚拟对象选择或划分优先级。例如，高吸引力的(例如，闪烁，微闪)、大型、快速移动、或明亮的虚拟对象可能比其他的虚拟对象更能够吸引注意。
针对正在移动的虚拟对象的情况，在204，增强现实系统(例如，控制器子系统和/或其处理器)选择和/或确定虚拟对象相对于至少一个先前帧中的同一虚拟对象的方位在帧中的新方位中出现的位置。这样，突然移动、快速移动、和/或空间上虚拟对象从一帧到一个或多个后续帧的大的方位移动可能易于吸引最终用户的注意或聚焦。附加地或备选地，增强现实系统可通过评估哪个最可能引起注意来依赖虚拟对象的其它特征，例如，以在多个新引入的虚拟对象之间选择或划分优先级。例如，高吸引力的(例如，闪烁，微闪)、大型、或明亮的虚拟对象比其他的虚拟对象更可能吸引注意。
图3根据一个所示实施例示出了在增强现实系统中操作的方法300。可以在执行图1的方法100中的动作108时采用方法300。
在302，增强现实系统(例如，控制器子系统和/或其处理器)呈现至少一个后续帧，该至少一个后续帧的中心至少被移向——如果不是被集中在——已确定的最终用户的视场中虚拟对象出现的位置。后续帧或图像的中心可以被移动以共同位于所选择的被预测吸引最终用户注意的虚拟对象的位置。备选地，后续帧的中心可能移动以接近所选择的被预测吸引最终用户注意的虚拟对象的位置。这可在二维或三维中执行。例如，虚拟对象的二维或三维方位可以被用来分别在二维或三维中调整后续图像的视场。移动的后续帧或图像最好与所预测的最终用户头部运动在时间上一致。因此，移动的后续帧或图像应该尽可能在时间上与真实头部运动一致地呈现给最终用户。如本文所讨论的，这可能考虑速度、加速度、以及速度和加速度中的变化。
图4根据一个所示实施例示出了的增强现实系统中操作的方法400。可以在执行图1的方法100时采用方法400。
可选地，在402，增强现实系统接收指示最终用户的身份的信息。该信息可以采取多种不同形式中的任何形式。例如，信息可以是用户名或由最终用户输入或者来自与最终用户相关联的应答器、磁条、或机器可读符号的其他用户标识符(例如，加密的)。例如，信息可以包括指示最终用户的一个或多个物理特征的生物识别信息。在一个特别有利的实现中，增强现实系统可以接收图像数据，其代表最终用户的一个或两个眼睛的一部分(例如，视网膜)。例如，增强现实系统可以例如经由一个或多个光纤投影光进入最终用户的一个或两个眼睛。该光可以被调制以例如增加信噪比和/或限制眼睛的加热。图像传感器可以例如经由投影光的一个或多个光纤捕获眼睛的部分的图像，所述光纤提供双向路径。备选地，专用光纤也可被采用。如进一步备选地，图像传感器可以被置于靠近眼睛的位置，消除作为到图像传感器的返回路径的光纤的使用。人眼的某些部分(例如，视网膜血管)可能被视为具有足够的独特特征来作为唯一的最终用户标识符。
可选地，在404，增强现实系统中基于所接收到指示最终用户的身份的信息检索用于最终用户的至少一个用户特定的历史属性。该用户特定的历史属性可指示下述至少之一：用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度、用于最终用户的先前的眼部运动到头部运动的关系、最终用户注意某些类型或具有某些特征的虚拟对象的倾向。
在406，增强现实系统(例如，控制器子系统和/或其处理器)至少部分地基于已确定的最终用户的视场中的虚拟对象出现的位置来预测最终用户的头部运动的发生。再一次，增强现实系统可依赖虚拟对象的吸引力来预测头部运动，例如在逐个最终用户的基础上。
增强现实系统可以采用估计的速度和/或估计的速度变化或估计的加速度以至少部分地将图像呈现与最终用户的预测的头部运动同步。预测的头部运动中速度的估计的变化可基于所预测的头部运动开始之后的第一定义时间和和预测的头部运动结束之前的第二定义时间之间的延伸范围。
在408，增强现实系统估计至少一个指示所预测的最终用户头部运动的估计速度的值。增强现实系统可基于一个或多个值、参数或特征来估计速度。例如，增强现实系统可依赖于移动最终用户头部到新位置以观察所选择或标识的虚拟对象所需的运动范围。增强现实系统可能依赖于用于人的采样的平均速度、或可依赖于用于特定的最终用户的历史头部移动速度。增强现实系统可依赖于用于特定的最终用户的历史属性。速度跨越可以用角速度表示。
在410，增强现实系统估计所预测的最终用户头部运动中的至少一个速度变化，该变化在所预测的头部运动开始和所预测的头部运动结束之间的头部运动的范围内发生。遍及所预测的运动范围内的某些部分，速度的变化可能会以不同的增量发生。
在412，增强现实系统估计至少一个指示所预测的最终用户头部运动的估计的加速度的值。该估计的加速度可能在头部运动的整个范围之上或仅在其中一部分上进行。该估计的加速度可以在头部运动范围离散的间隔上进行。加速度的估计可以被确定以用于头部运动开始后的一些已定义的持续时间的一个或多个间隔。加速度的估计可以被确定以用于头部运动终止前的一些定义的持续时间中的一个或多个间隔。从开始和/或结束点隔开估计可以避免加速度测量中的大的变化。
可选地，在414，增强现实系统确定至少一个值，其至少部分地适应或补偿最终用户的预测的头部运动的估计的速度。例如，增强现实系统可以确定与在给定的时间内呈现的帧的总数量有关的值和/或指定跨越一系列将被渲染和/或呈现的图像的一个或多个虚拟对象应在何处和/或多快地移动的值。这些可以被用来渲染后续帧。
可选地，在416，增强现实系统至少部分地基于至少一个值渲染至少一个后续帧，所述值至少部分地补偿最终用户的预测的头部运动的估计速度。例如，增强现实系统可以确定与在给定的时间内呈现的帧的总数量有关的值和/或指定跨越一系列将被渲染和/或呈现的图像的一个或多个虚拟对象应在何处和/或多快地移动的值。这些可以被用来渲染后续帧。
在另一个实施例中，系统可以被用于基于用户的历史属性预测头部追踪。图5根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法500。
增强现实系统在执行预测的头部追踪时可以采用历史属性。历史属性可能是最终用户特定的或者更通用或一般化的。历史属性可指示一组定义的最终用户特征。最终用户特征可以例如包括头部运动速度、头部运动加速度和/或头部运动和眼睛运动之间的关系(例如，一对另一个的比率)。由历史属性追踪的最终用户特征甚至可以包括指示给定的最终用户注意某些虚拟对象的倾向。
在502，增强现实系统接收到指示最终用户的身份的信息。该信息可以采取多种不同的形式中的任何形式，例如由最终用户主动地提供的信息，从非临时性存储介质读取的信息、从用户读取的信息(例如，生物识别数据或特征)，或从最终用户行为中推断的信息。
在504，增强现实系统至少部分地基于所接收的指示最终用户的身份的信息来检索至少一个用于用户的用户特定历史属性。该身份信息可被以多种不同方式中的任何方式来接收、产生或确定。
在506，增强现实系统至少部分地基于所检索的用于最终用户的至少一个用户特定历史属性来向最终用户提供帧。例如，增强现实系统可以提供来自帧缓冲器的帧到投影机或显示设备(例如，与一个或多个光纤配对的光源)，或可以渲染帧到帧缓冲器。增强现实系统可以经由至少在双轴方向可移动的至少一个光纤提供光。增强现实系统可以经由至少一个光纤接收指示最终用户的眼睛的至少一部分的图像的图像信息，所述光纤也向最终用户提供帧。
图6根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法600。可以在执行图5中的方法500的动作504时采用方法600。
在602，增强现实系统检索提供用于最终用户的至少一个头部运动属性的指示的至少一个历史属性。头部运动属性指示最终用户的至少一个先前的头部运动。历史属性可以被存储在非临时性介质上，例如在数据库或其它逻辑结构中。
在604，增强现实系统检索提供用于最终用户的至少一个先前的头部运动的头部运动速度的指示的至少一个历史属性。
在606，增强现实系统检索跨越最终用户的至少一个先前头部运动范围的至少一部分的头部运动速度的变化的指示的至少一个历史属性。
在608，增强现实系统检索提供用于最终用户的至少一个先前头部运动的头部运动加速度的指示至少一个历史属性。
在610，增强现实系统检索提供用于最终用户的至少一个先前头部和眼部运动组合的头部运动与眼部运动之间关系的指示的至少一个历史属性。该关系可以例如被表示为代表最终用户的至少一个先前头部运动的头部运动的头部运动值和代表至少一个先前眼部运动的值的比率。所述值可以分别代表头部和眼部运动的量，例如表示为角度变化。所述比率可能是最终用户的头部运动的历史平均和眼部运动的历史平均的比率。附加地或备选地，可以采用头部和眼部运动之间的其他关系，例如速度或加速度。
图7根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法700。可以在执行图5的方法500的动作506时采用方法700。
在702，增强现实系统至少预测最终用户的头部运动的终点。例如，当虚拟对象的出现被用于预测的头部运动时，特定虚拟对象的相对位置可被用作终点。
在704，增强现实系统渲染至少一个后续帧到至少一个图像缓冲器。所述至少一个后续帧被至少移向，甚至移至，所预测的头部运动的终点。
图8根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法800。可以在执行图7的方法700的动作704时采用方法800。
在802，增强现实系统以至少部分地适应用于最终用户的至少一个头部运动属性的方式渲染多个后续帧，所述多个后续帧至少向所预测的头部运动的终点偏移。所述头部运动属性可以指示头部运动的不同物理特性，特别是最终用户的头部运动的历史物理特性。头部运动属性可以例如包括下述中的一个或多个：用于最终用户的历史头部运动速度、用于最终用户的历史头部运动加速度，和/或用于最终用户的头部运动与眼部运动之间的历史关系(例如，比率)。可以通过将对应的图像或对应的图像的中心相对于与先前帧所对应的图像进行偏移来渲染后续帧从而实现偏移。
图9根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法900。可以在执行图7的方法700的动作703时采用方法900。
在902，增强现实系统至少部分地基于最终用户的视场中的虚拟图像的出现来预测最终用户的头部运动的发生。
所述出现在时间上可能是相对于作为图像呈现给最终用户的先前帧，当新的虚拟对象被新引入呈现给最终用户的视场时的出现。备选地或附加地，所述出现可能是相对于先前呈现给最终用户的虚拟对象的方位，虚拟对象在呈现给最终用户的视场中在新的方位中的出现。所述预测可以例如考虑因素。例如，预测可以部分地基于虚拟对象的尺寸或显著性、方位改变的量或百分比、速度、突然地加速度，或虚拟对象的方位中的其他变化。
所述系统还可以被用于动态控制像素特征。图10根据一个所示实施例示出了在增强现实系统中操作的方法1000。
在1002，增强现实系统(例如，控制器子系统和/或其处理器)检测呈现给最终用户的帧中的一些像素之间的间隔将不同于在同一帧中的其他像素之间的间隔的指示。例如，增强现实系统可检测呈现给最终用户的帧中第一组像素的像素之间的间隔将不同于该呈现给最终用户的帧中至少第二组像素的像素之间的间隔的指示。例如，在帧的像素在一段时间上被顺序呈现(例如，帧缓冲器的读出)时(例如，“飞行像素”图样，诸如光栅扫描图样、螺旋扫描图样、利萨茹扫描图样)，快速头部运动可能会导致在图像或帧的不同部分之间的像素间隔的变化。
在1004，响应于呈现给最终用户的帧中的一些像素之间的间隔将不同于该帧中的其他像素之间的间隔的检测，增强现实系统向至少一个后续帧的至少一部分提供被调整以至少部分补偿可由最终用户感知的至少一个像素特征的至少第一组像素。这样可至少部分补偿呈现给最终用户的图像的不同部分中的像素之间的间隔。
图11根据一个所示实施例示出了在增强现实系统中操作的方法1100。可以在执行图10的方法1000时采用方法1100。
可选地，在1102，增强现实系统(例如，控制器子系统和/或其处理器)接收指示用户佩戴的至少一个头戴式惯性传感器的输出的信号。该惯性传感器可以采取多种形式，例如陀螺仪传感器或加速度传感器。惯性传感器可以是单轴或多轴设备。惯性传感器可以采取MEMS设备的形式。
可选地，在1104，增强现实系统接收指示用户佩戴的至少一个头戴式成像器的输出的信号。该成像器可以例如采取数码摄像机或其它图像捕获设备的形式。这些可以是前向摄像机以捕捉至少接近于最终用户视场的视场。
可选地，在1106，增强现实系统检测超过标称头部运动值的头部运动。例如，增强现实系统可以检测超过标称速度和/或标称加速度的头部运动。增强现实系统可采用来自惯性传感器的信号以检测运动，并且特别是加速度。增强现实系统可以采用来自头戴式摄像机的信号检测周围环境中的物理对象的方位的变化，特别是固定的物理对象如墙壁、地板、天花板。增强现实系统可以采用任何数量的图像处理技术。已检测的方位变化允许增强现实系统确定在头部方位、运动速度和加速度的变化。除了或代替惯性传感器和头戴成像信息，增强现实系统可以采用其他信息。例如，增强现实系统可采用来自监视周围环境并且不是被用户佩戴而是追踪用户的系统的信号。这样的系统可以采用一个或多个成像器，例如数码摄像机，来监控周围环境。成像器检测最终用户和最终用户的部分如头部的运动。再一次，多种图像处理技术可被采用。这样的系统可被有利地与结构化的光系统配对。备选地，方法#CB00可被独立于已检测的或甚至所预测的头部运动执行。
在1108，增强现实系统例如基于已检测到的头部运动的方向选择帧的第一组像素。增强现实系统可以基于其它准则例如已检测的头部运动的速度另外选择帧的第一组像素。
在1110，增强现实系统调节至少一个后续帧的第一组像素的至少一些像素的尺寸和/或亮度中的至少一个。该调整可被设计为至少适应或至少部分地补偿头部运动造成的帧或图像所中不期望的变化。
可选地，在1112，增强现实系统渲染至少一个后续帧。渲染的后续帧包括已调节的像素信息以至少部分适应或补至少部分适应或补偿头部运动造成的帧或图像中不期望的变化。
可选地，在1114，增强现实系统从存储一个或多个后续帧的至少一个帧缓冲器中读出至少一个后续帧。例如，增强现实系统可以选择性地从至少一个帧缓冲器中读出至少一个后续帧。这样可以利用过渲染，其中帧相对于图像区域或视场的尺寸被过渲染。该系统，特别是在头部佩戴该系统时，将在大多数情况下专用于具有已知面积和已知分辨率的固定显示表面。这与旨在向多种尺寸和分辨率的显示器提供信号的计算机和其它其它设备相反。因此，增强现实系统选择性地读入或读出帧缓冲器而不是读入或读出来自帧缓冲器的整个帧。如果被渲染以创建的后续图像的新帧显示位于以前的图像之外的部分，那么不进行过渲染时可能需要的GPU的过度运行，过渲染可以防止这种情况。例如，没有过渲染的话，增强现实系统将需要在每次最终用户的头被移动时渲染新的帧。结合过渲染，一组专用的电子设备可被用于选择或读出过渲染的帧的所期望的部分，其本质上是移动在先前渲染的帧中的窗口。
图12根据一个所示实施例示出了在增强现实系统中操作的方法1200。可以在执行图11的方法1100的动作1108和1110时采用方法1200。
在1202，增强现实系统(例如，控制器子系统和/或其处理器)选择帧的至少第一组像素中，使得第一组像素相对于检测到的头部运动方向处于给定的方向(例如，相同的方向、相反的方向)。
在1202，增强现实系统调整所选择的组的像素的像素尺寸作为呈现给用户的至少一个后续帧的第一组像素中的像素。
例如，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动相同的方向上。例如，相对于在图像中通常朝向右侧的第二组像素，在图像中第一组像素相对地朝向左侧。例如，相对于在图像中通常朝向底部的第二组像素，在图像中第一组像素相对地朝向上部。增强现实系统可以提供一个或多个后续帧或图像，其中第一组中的像素相对于后续帧中的一些其他像素具有增加的尺寸。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。
例如，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动方法相反的方向上。增强现实系统可以提供一个或多个后续帧或图像，其中第一组像素相对于后续帧中的一些其他像素具有减少的尺寸。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。
调整(例如，增加、减少)所选择的组的像素的尺寸可以包括调整可变的聚焦组件。调整(例如，增加、减少)所选择的组的像素的尺寸可以包括调整可变尺寸的源。调整(例如，增加、减少)选择的组的像素的尺寸可以包括调整抖动。
作为进一步的示例，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动相同的方向上。增强现实系统可以提供一个或多个后续帧或图像，其中第一组中的像素相对于后续帧中的一些其他像素具有增加的亮度。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。
作为又一个更进一步的示例，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动相反的方向上。增强现实系统可以提供一个或多个后续帧或图像，其中第一组中的像素相对于后续帧中的一些其他像素具有减少的亮度。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。
如上，增强现实系统可以仅调整所选择的像素的尺寸、仅调整所选择的像素的亮度，或调整所选择的像素的尺寸和亮度的两者。进一步地，增强现实系统可以调整一些像素的亮度、其它像素的尺寸，甚至其它像素的亮度和尺寸，和/或不调整进一步的像素的亮度或者尺寸。
所述系统还可以被用于在整个帧的基础上动态地对小于整个的帧进行更新，如下所示。图13根据一个所示实施例示出了在增强现实系统中操作的方法00。
在1302，增强现实系统(例如，控制器子系统和/或其处理器)渲染第一完整帧到图像缓冲器。第一完整帧包括用于像素的顺序呈现以形成多个虚拟对象的图像的像素信息。第一完整帧可以采取多种适用于不同显示技术的形式。例如，完整帧可包括适于形成完整的光栅扫描帧的像素信息，其可以是具有两个场的交错的光栅扫描帧。交错的光栅扫描的每个场均包括多条线，第一场包括奇数行并且第二场包含偶数行。至少如显示给所示最终用户的，奇数和偶数行可以是交错的。一种特别有优势的技术采用螺旋扫描线。该螺旋扫描方法可采用每帧单个场，例如由单个螺旋迹线(spiraltrace)组成。备选地，该螺旋扫描方法可以采用每帧两个或更多场，例如，由两个或更多个被顺序呈现的螺旋迹线组成。螺旋迹线可以有利地通过引入帧的每个场之间的相移被简单地交错或嵌套。另一种技术采用了利萨茹扫描方法。该利萨茹扫描方法可采用每帧单场，例如由单个利萨茹迹线组成。备选地，利萨茹扫描方法可采用每帧两个或更多场，例如由两个或更多个被顺序呈现的利萨茹迹线组成。利萨茹迹线可以有利地通过引入帧的每个场之间的相移被简单地交错或嵌套。。
在1304，增强现实系统开始第一完整帧的呈现。这可以包括读出帧缓冲器，例如以驱动光源和一个或多个光纤的端部。该读出可以包括动态地确定帧缓冲器的哪部分将被读出。
可选地，在1306，增强现实系统检测最终用户的的头部运动超过标称头部运动值。这可以采用先前讨论的不同方法中的任何一种。
在1308，在整个第一完整帧的呈现完成之前，增强现实系统动态地中断第一完整帧的呈现。详细地说，增强现实系统开始对第一完整帧的更新的呈现。在对第一完整帧的更新中的像素信息的至少一部分已经从第一完整帧改变。例如，在交错的基于光栅扫描的系统中，增强现实系统可呈现第一场的全部或一部分，使用更新的第二场来代替第二场。又例如，在交错的基于螺旋扫描的系统中，增强现实系统可呈现第一场(例如，第一螺旋扫描线或迹线)的全部或一部分，使用更新的第二场(例如，不同于初始第二螺旋扫描或迹线的更新的第二螺旋扫描线或迹线)来代替第二场。类似的，在交错的基于利萨茹扫描的系统中，增强现实系统可呈现第一场(例如，第一利萨茹扫描线或迹线，即，完整的图8周期)的全部或一部分，使用更新的第二场(例如，不同于初始第二螺旋扫描或迹线的更新的第二利萨茹扫描线或迹线)来代替第二场。虽然示例根据场给出，但其并不限于整个的场。呈现可在场的呈现期间被解释，例如在呈现第一或第二或第三场期间。呈现可以在任何给定的线的呈现的过程中被解释(例如，光栅扫描的行、螺旋或利萨茹扫描的完整周期)。
图14根据一个所示实施例示出了在增强现实系统中操作的方法1400。可以在执行图13的方法1300时采用方法1400。
在1402，增强现实系统(例如，控制器子系统和/或其处理器)渲染更新的第一完整帧。更新的第一完整帧包括像素信息，其在至少一个方面不同于第一完整帧的像素信息。
渲染更新的第一完整帧可包括以第一场和至少第二场渲染更新的整帧。第二场可以与第一场交错，典型地跟随第一场的呈现而被顺序地呈现。例如，第一场可由光栅扫描中的偶数行组成而第二场由奇数行组成。又例如，第一场可以由第一螺旋扫描线或第一利萨茹扫描线组成，而第二场由第二螺旋扫描线或第二利萨茹扫描线组成。因此，渲染更新的第一完整帧可包括使用第一场和至少第二场渲染更新的整帧，第二场与至少第一场交错。
在1404，增强现实系统呈现已更新的第一完整帧的一部分来代替第一完整帧的对应部分。因此，初始未更新的第一完整帧中断后，更新的帧的一部分代替第一完整帧的所有或一部分。
例如，增强现实系统呈现已更新的第一完整帧的第二场来代替初始(即，未更新的)第一完整帧的第二场。又例如，增强现实系统可呈现伴随已更新的第一完整帧的第二场的第一场的第二部分来代替第一初始(即，未更新的)第一完整帧的第一场的相应部分和整个第二场。
又例如，增强现实系统可呈现已更新的第一完整帧的场的一部分(例如，线、线的一部分、像素组，像素)来代替第一完整帧的对应场的对应部分。例如，增强现实系统可呈现已更新的光栅扫描帧的更新的第一完整帧的场的一部分来代替光栅扫描帧的初始(即，未更新的)第一完整帧的对应场的对应部分。
作为另一个示例，增强现实系统可呈现已更新的第一完整帧的线来代替初始(即，未更新的)第一完整帧的对应线。作为又一个示例，增强现实系统可呈现更新的第一完整帧的螺旋线来代替初始(即，未更新的)第一完整帧的对应螺旋线。作为进一步的示例，增强现实系统可呈现更新的第一完整帧的线的一部分来代替初始(即，未更新的)第一完整帧的对应线的对应部分。作为又一进一步的示例，增强现实系统可呈现更新的第一完整帧的至少一个像素来代替初始(即，未更新的)第一完整帧的至少一个像素的对应部分。作为又一个附加示例，增强现实系统可呈现更新的第一完整帧的利萨茹图样扫描的一个完整周期来代替初始(即，未更新的)第一完整帧的利萨茹图样扫描的一个完整周期的对应部分。
图15根据一个所示实施例示出了在增强现实系统中操作的方法1500。可以在执行图13的方法1300时采用方法1500。
在1502，增强现实系统(例如，控制器子系统和/或其处理器)渲染第一完整帧到帧缓冲器。第一完整帧可例如包括第一场和至少第二场。第一场可例如包括用于至少第一螺旋扫描线的像素信息并且第二场可包括用于至少第二螺旋扫描线的像素信息。第二场的扫描线可与第一场的扫描线交错。第一场可例如包括用于至少第一利萨茹扫描线的像素信息并且第二场可包括用于至少第二利萨茹扫描线的像素信息。第二场的扫描线可与第一场的扫描线交错。用于螺旋和利萨茹扫描图样两者的扫描线的交错可以使用相移来有效地实现。场或扫描线的数量可以大于2，例如3个，4个，8个，16个或更多。
在1504，增强现实系统开始读出存储第一完整帧的帧缓冲器。增强现实系统可以驱动光源和轭或其它设备或结构以基于在来自图像缓冲器的帧中指定的像素数据生成图像。
在1506，增强现实系统渲染更新的第一完整帧到帧缓冲器。更新的第一完整帧包括指定帧的像素信息，其中的一部分已从由初始(即，未更新的)第一完整帧所指定的信息改变。
在1508，在从帧缓冲器中读出第一完整帧完成之前，增强现实系统开始读出更新的第一完整帧，从而中断初始(即，未更新的)第一完整帧的呈现。一些实现可以利用有两个或多个的帧缓冲器，允许对一个帧缓冲器进行渲染，同时从其他帧缓冲器中读出帧。这不应该被认为限制增强现实系统的不同实现采用一个、两个、三个或甚至更多的帧缓冲器。
图16根据一个所示实施例示出了在增强现实系统中操作的方法1600。可以在执行图13的方法1300时采用方法1600。
在1602，增强现实系统(例如，控制器子系统和/或其处理器)生成用于第一扫描线(如螺旋、利萨茹)的像素信息。
可选地，在1604，增强现实系统生成用于相对于第一扫描线(如螺旋、利萨茹)相移的第二扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一扫描线与第二扫描线相互作用或嵌套。
可选地，在1606，增强现实系统生成用于相对于第二扫描线(如螺旋、利萨茹)相移的第三扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一和第二扫描线与第三扫描线相互作用或嵌套。
可选地，在1608，增强现实系统生成用于相对于第三扫描线(如螺旋、利萨茹)相移的第四扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一、第二和第三扫描线与第四扫描线相互作用或嵌套。
图17根据一个所示实施例示出了在增强现实系统中操作的方法1700。
在1702，对于多个帧中的每一个帧，增强现实系统(例如，控制器子系统和/或其处理器)为各个帧的至少两部分中的每一部分确定相应的分辨率。部分可以是场、线、其他细分，或甚至单个的像素。
在1704，增强现实系统基于多个帧引起虚拟图像的呈现，呈现给最终用户的图像中的至少一些图像具有可变的分辨率。例如，相邻像素之间的间隔从一部分到另一部分可能不同。
图18根据一个所示实施例示出了在增强现实系统中操作的方法1800。可以在执行图17的方法1700时采用方法1800。
在1802，增强现实系统(例如，控制器子系统和/或其处理器)将帧渲染为用于螺旋扫描图样的相应像素数据。
在1804，增强现实系统调整在帧中的第一个帧第一部分的呈现的时间和帧中的第一个帧第二部分的呈现的时间之间的驱动信号的振幅。该振幅变化导致对应于帧中的第一个帧的图像中可变的分辨率。增强现实系统可以例如改变驱动信号的斜率或坡度。这在使用螺旋扫描图样的时候特别有用。例如，帧的第一场可具有一个斜率或坡度，其第二场具有不同的斜率或坡度，从而以单个帧改变有效分辨率。可以在最终用户感兴趣或吸引处或其附近采用更高的分辨率或像素密度，而在远离这些位置的地方可以使用较低的分辨率或像素密度。在中心或图像被移向最终用户吸引或聚焦的中心的情况下，高分辨率可以在图像中心附近出现，而周围的部分以较低的分辨率出现。这基本上实现了具有可控像素的可被命名为视场显示(foviated display)。
图19根据一个所示实施例示出了在增强现实系统中操作的方法1900。可以在执行图17的方法1700时采用方法1800。
在1902，增强现实系统(例如，控制器子系统和/或其处理器)评估用于最终用户的至少第一图像的注意点。增强现实系统可以使用任意的前述的技术以用于评估该注意点。例如，确定新的虚拟对象是否和将在何处出现、或虚拟对象将在最终用户的视场中移至何处。又例如，增强现实系统可以评估虚拟对象的相对吸引力(例如，速度、颜色、尺寸、亮度、微闪)。这可以也采用眼睛追踪信息，其指示最终用户的眼睛追踪或聚焦的视场中的位置。
眼睛追踪信息可以例如经由例如头戴摄像机的一个或多个头戴传感器来提供。这样的眼睛追踪信息可以例如通过在最终用户的眼睛投影闪烁的光(glint)并检测至少一些所投影的光的返回或反射来辨别。例如，创建或投影图像的投影子系统可以投影像素、点或来自至少一个光纤的光的其它元素来创建照到最终用户的角膜的光。眼睛追踪可采用一个、两个、三个或甚至更多的光斑或光点。光斑或光点越多，就可以分辨越多的信息。光源(例如，激光二极管)可以是脉冲的或调制的，例如与用摄像机或图像传感器的帧速率同步。在这种情况下，斑或点可能出现为随眼部运动的线。作为跨越传感器的线迹的线的方向指示了眼睛运动的方向。线的朝向(例如，垂直、水平、对角)指示了眼睛运动的朝向。线的长度指示眼睛运动的速度。
对于眼睛追踪，光可以被调制(例如，在时间上、亮度)以增加信噪比。附加地或备选地，光可以是特定的波长(例如，近红外(near-IR))，允许其从背景光或甚至形成最终用户正在观看的图像的光中被区分。该光可以被调制以减少增强现实系统提供给眼睛的能量(例如，热)的总量。闪烁的光可以经由相同的或另一光纤被返回到传感器。传感器可以例如采取二维图像传感器的形式，例如CCD传感器或CMOS传感器。
这样，增强现实系统可以检测和追踪相应的眼睛运动，提供最终用户的注意或聚焦的点或位置的指示。增强现实系统可以在逻辑上将虚拟对象或虚拟事件(例如，虚拟对象的出现或运动)与最终用户注意或聚焦的被识别的点或位置相关联。例如，增强现实系统可指定虚拟对象出现在最终用户的注意或聚焦的点或位置或在其附近，作为对最终用户有吸引力的虚拟对象。
在1904，增强现实系统调整(如，增加、减少)至少一个后续图像的至少一个部分中的分辨率。增强现实系统可以使用本文中不同技术中的任意技术以及其他技术来调整后续的页部分相对于同一后续页的其它部分的分辨率。
图20根据一个所示实施例示出了在增强现实系统中操作的方法2000。可以在执行图19的方法1900的动作1904时采用方法2000。
在2002，增强现实系统(例如，控制器子系统和/或其处理器)增加至少一个后续图像的一部分中的分辨率，该部分相对于至少一个后续图像其他部分至少接近所评估的注意点。正如先前所解释的，可以通过控制驱动信号的幅度或振幅(例如，电流、电压)来调整螺旋扫描图样的分辨率。可以通过调整驱动信号的斜率来调整分辨率。因此，可以通过增加驱动信号的振幅来增加分辨率，同时相位不变。
在2004，增强现实系统减小至少一个后续图像的一部分中的分辨率，该部分相对于至少一个后续图像的其他部分在所评估的注意点的远侧。可以通过减小驱动信号的振幅来减小分辨率，同时相位保持不变。
在一些实现中仅增加分辨率，在某些部分增加分辨率而在其它部分分辨率既不增加也不减小。在另一些实现中仅减小分辨率，在某些部分减小分辨率，而其它部分分辨率既不增加也不减小。在又一些实现中，在一些部分增加分辨率而在另一些部分减小分辨率。
图21根据一个所示实施例示出了在增强现实系统中操作的方法2100。可以结合图17的方法1700采用方法2100。
在2102，增强现实系统(例如，控制器子系统和/或其处理器)处理眼睛追踪数据。眼睛追踪数据指示最终用户的至少一只眼睛的至少一个朝向。眼睛追踪数据经由至少一个传感器被提供。例如，眼睛追踪数据可以经由头戴传感器被提供。在一些实现中，经由光纤使用位于或接近该光纤远端的传感器收集眼睛追踪数据。例如，光纤可收集从最终用户的眼睛的一部分反射的光，所述光可能是闪烁的光。该光纤可以是被用来创建用于向最终用户显示或投影图像的那一根光纤。
在2104，增强现实系统处理头部追踪数据。头部追踪数据至少指示最终用户的头部朝向。头部追踪数据经由至少一个传感器来提供。
例如，一个或多个头戴或头部安装传感器例如惯性传感器(例如，陀螺仪传感器、加速度计)。头部运动追踪可以使用一个或多个头戴或头部安装光源和至少一个传感器来实现。头部追踪可采用一个、两个、三个或甚至更多的光斑或光点。光斑或光点越多，可分辨的信息就越多。光源(例如，激光二极管)可以是脉冲的或调制的，例如与摄像机或图像传感器(例如，前向摄像机)的帧速率同步。激光光源可能以低于摄像机或图像传感器的帧速率的频率被调制。在这种情况下，斑或点可能出现为如头部运动的线。作为跨越传感器的线迹的线的方向可以指示头部运动[a5]的方向。线的朝向(例如，垂直、水平、对角)指示头部运动的朝向。线的长度指示头部运动的速度。反射光还可提供有关周围环境中的对象的信息，诸如距离和/或几何形状(例如，平面的、弯曲的)和/或朝向(例如，成角度的或垂直的)。例如，一个激光束可能会产生关于方向和速率的信息(如，冲撞(dash)或线的长度)。第二激光束可以添加关于深度或距离的信息(例如，Z轴)。第三激光束可以添加关于周围环境中的表面的几何形状和/或朝向的信息。在头部运动期间或在头部运动的一部分的期间激光器或其它光源可以是脉冲的。
附加地或备选地，头部追踪数据可经由非头戴的传感器来提供。例如，摄像机或成像系统成像包括最终用户的头部的最终用户，追踪其运动。这可诸如例如相对于某些外部参考帧来追踪运动，例如由追踪系统定义的参考帧或追踪系统位于其中的房间。
在2106，增强现实系统确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置。该出现可以是当被新引入最终用户的视场中时新的虚拟对象的出现。该出现可以是虚拟对象相对于该虚拟对象在至少一个先前图像中的方位在新方位的出现。增强现实系统可以采用在本文其它地方描述的多种技术中任何技术来确定虚拟对象出现的位置
系统还可以使用消隐以提高最终用户感知体验。
图22根据一个所示实施例示出了在增强现实系统中操作的方法2200。方法2200可有效采用消隐以提高最终用户感知体验。
在2202，增强现实系统(例如，控制器子系统和/或其处理器)向最终用户显示至少一个虚拟对象。增强现实系统可渲染帧到帧缓冲器，读取帧以驱动一个或多个光源和/或轭或其他系统以产生光的至少双轴向运动或迹线。
在2204，增强现实系统检测和/或预测最终用户的头部运动的发生。增强现实系统可以采用可以采用在本文其它地方描述的多种技术中的任意技术来检测和/或预测头部运动的发生。非限制性地，这些技术包括直接感知头部运动，例如经由惯性传感器或感应器、或经由头戴成像器或成像最终用户在其中被呈现或可见的区域的环境成像器。这些技术还包括间接地预测头部运动，例如通过确定新的虚拟对象将出现在何处、现有的虚拟对象将移动到何处，或特别有吸引力的虚拟对象将被置于图像中的方位。
在2206，增强现实系统评估是否已检测的和/或所预测的头部运动超过或被预测超过标称头部运动值。增强现实系统可以采用可以采用本文其它地方描述的多种技术中的任何技术来评估已检测的和/或所预测的头部运动是否超过或被预测超过标称头部运动值。这样的评估可以包括简单的将已检测或所预测的速度与标称速度相比较。这样的评估可以包括简单的将已检测或所预测的加速度与标称加速度相比较。这样的评估可包括简单的将已检测或所预测的范围与标称范围相比较。这样的评估可以包括更复杂的比较，包括通过运动期间内多次速度、加速度或范围的平均或积分。这样的评估可以甚至采用历史属性或其他信息。
在2208，增强现实系统暂时对最终用户消隐至少一个虚拟对象的显示的至少一部分。例如，增强现实系统可以停止从帧缓冲器读取。附加地或备选地，增强现实系统可以关闭照明或光源。这可以包括暂时关闭LCD显示器的背光。
图23根据一个所示实施例示出了在增强现实系统中操作的方法2300。可以在执行图22的方法2200时采用方法2300。
在2302，增强现实系统(例如，控制器子系统和/或其处理器)处理头部追踪数据。头部追踪数据指示最终用户头部的至少一个朝向。头部追踪数据可以经由至少一个传感器来提供，其可能或可能不被最终用户所佩戴。增强现实系统可以采用可以采用本文其它地方描述的多种技术中的任何技术来处理头部追踪数据。
在2304，对于呈现给最终用户的图像中的至少一些中的每个帧，增强现实系统(例如，控制器子系统和/或其处理器)确定虚拟对象相对于用户参考帧在最终用户的视场中的出现的位置。当虚拟对象被新引进最终用户的视场时确定其出现的位置。相对于至少一个先前图像中的虚拟对象的方位，确定该虚拟对象在图像中新的方位中出现的位置。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来确定虚拟对象出现的位置。
在2306，增强现实系统评估已确定的虚拟对象的出现是否有足够的吸引力。例如，增强现实系统可以评估虚拟对象的相对视觉吸引力(例如，速度、颜色、尺寸、亮度、闪烁的光、透明度，特殊光学效应)。又例如，增强现实系统可以评估相对兴趣吸引力(例如，新颖程度、新旧程度、先前的注意、由最终用户进行的先前的身份识别、由最终用户先前进行的互动)。
在2308，增强现实系统评估已确定的位置是否需要最终用户相对于最终用户头部的当前位置转动其头部。增强现实系统可以采用最终用户头部的当前方位和/或朝向以及虚拟对象的相对方位和/或朝向。增强现实系统可确定距离，例如最终用户的当前焦点和虚拟对象的方位和/或朝向之间的角距离。增强现实系统可以确定已确定的距离是否在眼睛运动范围内，或者是否最终用户还必须转动他们的头部。如果最终用户必须转动他们的头部，系统可以评估最终用户必须转动头部多远。例如，增强现实系统可以采用指定最终用户的眼睛运动和头部运动之间的关系的信息。该信息可以指示最终用户在转动其头部之前，单独经由眼睛运动转移其注视能达到的程度。值得注意的是，眼睛运动和头部运动之间的关系可以被指定为多种不同的朝向，例如a)从上到下、b)从下到上、c)从左到右、d)从右到左、e)沿对角线地从左下到右上、f)沿对角线地右下到左上、g)沿对角线地从左上到右下、h)沿对角线地从右上到左下。
在2310，增强现实系统基于所述评估来预测头部运动的发生。增强现实系统可以使用一个或多个因素形成评估以预测头部运动是否会发生、头部运动的方向和/或朝向、和/或头部运动的速度或加速度。增强现实系统可以采用或者最终用户特定的或者是对一组最终用户更通用的历史数据。增强现实系统可以实现一个或多个机器学习算法以增加头部运动预测的准确性。
图24根据一个所示实施例示出了在增强现实系统中操作的方法2400。可以在执行图22的方法2200的操作2208时采用方法2400。
在2402，增强现实系统(例如，控制器子系统和/或其处理器)闪动或闪烁显示器或显示器的背光。该闪动或闪烁在已检测的头部运动或所预测的头部运动中的全部或一部分上发生。这可有利地有效减少帧或虚拟对象的呈现中不一致的感知。这也可有效地提高所感知的帧速率。
图25根据一个所示实施例示出了在增强现实系统中操作的方法2500。
在2502，增强现实系统(例如，控制器子系统和/或其处理器)检测和/或预测最终用户头部运动的发生。例如，增强现实系统可处理指示最终用户头部运动的至少一个朝向的头部追踪数据。附加地或备选地，增强现实系统可以确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置，评估已确定的位置是否需要最终用户转动最终用户的头部，并基于该评估预测头部运动的发生。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来检测和/或预测头部运动的发生。
在2504，增强现实系统确定已检测的和/或所预测的头部运动是否超过标称头部运动值。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来确定已检测的和/或所预测的头部运动是否超过标称头部运动值。
在2506，响应于确定已检测的和/或所预测的头部运动超过标称头部运动值，增强现实系统选择性地激活执行机构以在至少一个自由度移动投影机。移动投影机可包括沿着至少一个轴平移第一光纤。移动投影机可包括关于至少一个轴旋转第一光纤。
图26根据一个所示实施例示出了在增强现实系统中操作的方法2600。
增强现实系统可以过渲染帧，产生较给定显示技术的最大面积和最大分辨率所需的更大的帧。例如，在头戴或头部安装的增强现实系统中可由该设备的多种参数设定可用于显示或投影的面积。同样，尽管增强现实系统可能能够以多个不同的分辨率进行操作，该设备将设置上限或最大分辨率。过渲染帧包括用于超过以最大分辨率显示的最大区域的一组像素的像素信息。这可以有利地允许增强现实系统仅读出的帧的一部分(例如，如果没有被中断，帧的每一个场的一部分)。这可允许增强现实系统移动呈现给用户的图像。
在2602，增强现实系统(例如，控制器子系统和/或其处理器)过渲染用于已定义的视场的多个帧中的每一个帧。这需要生成被最大分辨率的最大面积所需要的更多的像素信息。例如，帧的面积可以通过最大面积的百分比增加，例如增加由帧定义的水平、垂直或者对角线方向中的像素信息。帧的尺寸越大，增强现实系统具有的移动呈现给用户的图像的边界自由度就越高。
在2604，增强现实系统在至少一个帧缓冲器依次缓冲过渲染的帧。增强现实系统可以采用大于用于最大分辨率最大显示尺寸所需的帧的尺寸的帧缓冲器。一些实现使用多个帧缓冲器。这可以如本文其它地方所述的有助于帧的呈现的中断。
在2606，增强现实系统确定各个图像的一部分来呈现。增强现实系统可基于多个不同的因素确定该部分。例如，所述因素可以指示图像或场景中最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的位置。再一次地，多种技术可以被采用，包括但不限于眼睛追踪。又例如，所述因素可以指示图像或场景中最终用户被预测正在注意、聚焦或将以其他方式吸引最终用户的注意的位置。再一次地，多种技术可以被采用，包括但不限于：识别新出现的虚拟对象、快速或迅速移动的虚拟对象、视觉上具有吸引力的虚拟对象、先前已经指定的虚拟对象(例如，由最终用户或由先前追踪的最终用户的交互来指定)和/或基于垂直对象的固有性质吸引注意的虚拟对象。基于垂直对象的固有性质吸引注意的虚拟对象可以例如包括对广义的最终用户或者特定的最终用户，在视觉上代表关注或担心的对象或项目的虚拟对象(例如，即将来临的威胁)。
在2608，增强现实系统选择性地从帧缓冲器中读出过渲染的帧的一部分。该部分至少部分地基于各自图像的已确定的部分来呈现。例如，被读出的部分可以具有被移动以被与所识别的位置接近，或者甚至匹配或者共对齐的中心。所识别的位置可以例如是先前图像或帧中已经吸引最终用户注意的位置。所识别的位置可以例如是增强现实系统已经预测将吸引最终用户注意的后续帧中的位置。
图27根据一个所示实施例示出了在增强现实系统中操作的方法2700。可以在执行图26的方法2600时采用方法2700。例如，方法2700可以被用来预测后续帧或图像中吸引最终用户注意的位置。
在2702，对于至少一些帧中的每一个帧，增强现实系统的(例如，控制器子系统和/或其处理器)确定虚拟对象相对于最终用户参考帧在最终用户的视场内出现的位置。
在2704，增强现实系统至少部分地基于确定视场中的虚拟对象出现的位置来选择性地读出帧缓冲器。例如，被读出的部分可以具有被移动以与被所识别的位置接近，或者甚至匹配或者共对齐的中心。备选地，被读出的部分的边界可以被移动以在两个或甚至三个维度涵盖已确定的位置紧挨着的周围区域。例如，增强现实系统可以选择将被读出帧缓冲器的整个过渲染帧的一部分(例如，80％)以用于呈现给最终用户。增强现实系统可以选择该部分，使得边界相对于最终用户注意的当前位置被移动，例如在当前被呈现给最终用户的图像中。增强现实系统可以基于当前位置和所预测的位置的组合选择边界，同时设定边界使得这两个位置将在后续呈现的图像中被呈现给最终用户。
图28根据一个所示实施例示出了在增强现实系统中操作的方法2800。可以在执行图26的方法2600时采用方法2800。例如，方法2800可以被用来确定图像中已经吸引或者被预测吸引最终用户的注意的位置。
在2802，增强现实系统(例如，控制器子系统和/或其处理器)确定当新的虚拟被新引入最终用户的视场时新的虚拟对象出现的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来识别虚拟对象的引入，其相对于呈现给最终用户的直接先前帧或图像是新的。这样，即使虚拟对象先前已在呈现的一些其它部分被呈现给最终用户，如果已经呈现了足够数量的中间图像，虚拟对象可以被识别为新引入的以使虚拟对象的再引入吸引最终用户的注意。
在2804，增强现实系统确定虚拟对象相对于至少一个先前帧中的方位在帧的新方位中的出现的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来识别虚拟对象到多个图像中新的或不同的方位的移动，所述移动是相对于呈现给最终用户的直接先前帧或图像的移动。这样，即使先前已在呈现的一些其它部分的一些位置向最终用户呈现了虚拟对象，如果足够数量的中介图像已经被呈现，该虚拟对象可以被识别为被移动或正在移动以使虚拟对象在先前位置的再出现吸引最终用户的注意。
在2806，增强现实系统确定在最终用户的视场中至少具有已定义的最小速度的虚拟对象的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来确定虚拟对象从图像到图像的运动速度并将该速度与定义的或标称的速度相比较。该确定的速度可以相对于图像中的固定参考帧或相对于出现在图像中的其它虚拟对象和/或物理对象。
在2808，增强现实系统至少部分地基于图像中虚拟对象的位置来确定各个图像的一部分以呈现。增强现实系统可以采用本文中描述的多种技术中的任何技术来确定各个图像的所述部分来呈现。该确定可以基于任何不同的因素。所述因素可以例如包括指示最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的图像或场景中的位置的因素或数据。因素可以例如包括最终用户被预测注意、聚焦或将以其他方式吸引最终用户的注意的图像或场景中的位置的因素或数据。增强现实系统可以采用本文描述的多种技术中的任何技术来经由实际检测或经由预测识别已经吸引最终用户的注意的位置。
在2810，增强现实系统中读出帧缓冲器的一部分以用于至少一个后续帧。例如，被读出的部分将图像的中心至少向各个图像的已确定将被呈现的部分偏移。增强现实系统可以采用本文描述的多种技术中的任何技术来从帧缓冲器读出帧的一部分，该部分基于最终用户实际或预测的注意中心的位置移动图像的中心或边界。
图29根据一个所示实施例示出了在增强现实系统中操作的方法2900。可以在执行图26的方法2600时采用方法2800。特别地，方法2900可以被用来基于预测的最终用户的头部运动确定帧的哪部分将被读出。
在2902，增强现实系统(例如，控制器子系统和/或其处理器)预测最终用户的头部运动的发生。增强现实系统可以采用本文描述的多种技术中的任何技术来预测头部运动。这种技术包括但不限于检测新的虚拟对象、正在移动的虚拟对象、快速移动的虚拟对象、先前选择的虚拟对象和/或视觉吸引力的虚拟对象在图像中的出现。
在2904，增强现实系统确定各个帧或图像的一部分以至少部分地基于所预测的头部运动来呈现。增强现实系统可以采用本文描述的多种技术中的任何技术来确定将被使用的帧的部分。例如，增强现实系统可以选择所述部分，使得边界涵盖所预测的头部运动的预测结束点的位置。当头部运动预测是建立在虚拟对象的出现上时(例如，新引入的、移动的、有吸引力的外观、先前由最终用户选择的)，终点可以与该虚拟对象在后续帧或图像中的位置重合。
图30根据一个所示实施例示出了在增强现实系统中操作的方法3000。
增强现实系统可过渲染帧，产生较对给定的显示技术的最大面积和最大分辨率所需的更大的帧。例如，在头戴或头部安装的增强现实系统中可由该设备的多种参数设定可用于显示或投影的面积。同样，尽管增强现实系统可能能够以多个不同的分辨率进行操作，该设备将设置上限或最大分辨率。过渲染帧包括用于超过以最大分辨率显示的最大区域的一组像素的像素信息。这可以有利地允许增强现实系统仅读出的帧的一部分(例如，如果没有被中断，帧的每一个场的一部分)。这可允许增强现实系统移动呈现给用户的图像。
在3002，增强现实系统(例如，控制器子系统和/或其处理器)过渲染用于已定义的视场的多个帧中的每一个帧。这需要生成最大分辨率的最大面积需要的更多的像素信息。例如，帧的面积可以通过最大面积的百分比增加，例如增加由帧定义的水平、垂直或者对角线方向中的像素信息。帧的尺寸越大，增强现实系统具有的移动呈现给用户的图像的边界自由度就越高。
在3004，增强现实系统确定各个图像的一部分以呈现。增强现实系统可基于多种不同的因素来确定所述部分。例如，所述因素可以指示图像或场景中最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的位置。再一次的，多种技术可以被采用，包括但不限于眼睛追踪。又例如，所述因素可以指示图像或场景中最终用户被预测正在注意、聚焦或将以其他方式吸引最终用户的注意的位置。再一次地，多种技术可以被采用，包括但不限于：识别新出现的虚拟对象、快速或迅速移动的虚拟对象、视觉上具有吸引力的虚拟对象、先前已经指定的虚拟对象(例如，由最终用户或由先前追踪的最终用户的交互来指定)和/或基于垂直对象的固有性质吸引注意的虚拟对象。基于垂直对象的固有性质吸引注意的虚拟对象可以例如包括对广义的最终用户或者特定的最终用户，在视觉上代表关注或担心的对象或项目的虚拟对象(例如，即将来临的威胁)。
在3006，增强现实系统动态地将过渲染帧的一个或多个已确定的部分发(address)进缓冲器。所述已确定的部分可以例如具有被移动以与最终用户吸引、感兴趣或聚焦的所识别的位置接近或者甚至匹配或共对齐的中心。所识别的位置可以例如是已经吸引最终用户关注的先前图像或帧中的位置。所识别的位置可以例如是增强现实系统已预测将吸引最终用户注意的后续帧中的位置。一些实现采用多个帧缓冲器。如本文其他地方所述，这可有助于帧的呈现的中断。
在3008，增强现实系统从帧缓冲器读出过渲染帧的已确定的部分。
本文描述了本发明的多种示例性实施例。这些实施例以非限制性的意义被引用。它们被提供以更广泛地示出本发明可应用的方面。多种改变可做出以替代本发明的描述和等同物而不背离本发明的真实精神和范围。此外，许多修改可以被作出以适应特定的情况、材料、组合物、过程、处理或步骤来达到本发明的目标、精神或范围。进一步地，如将被本领域的技术人员所理解的，本文描述和示出的每个个体差异具有分立组件和特征，其可容易地从任何其它几个实施例分离出或与任何其它几个实施例结合而不背离本发明的范围或精神。所有这样的修改旨在落入与本公开相关联的权利要求书的范围内。
本发明包括可使用主题装置来执行的方法。该方法可包括提供这种适当设备的行为。这样的提供可由最终用户执行。换言之，“提供”行为仅仅需要最终用户获得、接触、处理、放置、设置、激活、上电或其他动作以在本主题方法中提供必要的设备。本文所列举的方法可以以所列举的事件的逻辑上可能的任何顺序和以事件的列举的顺序来实施。
以上陈述了本发明的示例性方面以及考虑了材料选择和制造的细节。至于本发明的其它细节，他们可以与上述引用的专利和出版物以及本领域技术人员已广泛的理解或认识结合而得以认知。根据通常地或逻辑地被采用的附加行为，同样的道理也适用于本发明基于方法的方面。
此外，尽管已经参照可选地结合多个特征的若干例子描述了本发明，相对于本发明的每个变体，本发明并不受限于这些被描述或指示的情形。多种改变可做出以替代本发明的描述和等同物(不论其在本文中被列举还是为了简洁起见本文没有包括)而不背离本发明的真实精神和范围。此外，当提供数值范围时，应理解，该范围的上限和下限之间的每一个中间以及和任何其它声称的或在该声明范围的中间值均涵盖在本发明之中。
此外，可以预期，，所述本发明的变体的任何可选特征可被独立地阐述和要求，或与本文所述的任何一个或多个特征组合来阐述和要求。对单数项的引用包括多个相同项目存在的可能性。更具体地，如本文和所附相关权利要求中所使用的，除非相反的特别声明，否则单数形式“一”、“一个”、“所述”和“该”包括多个指示对象。换句话说，在上述说明书以及与本公开相关的权利要求中该冠词的使用考虑到了“至少一个”所述主题项目。进一步指出，这样的权利要求可能被撰写以排除任何可选的组件。就这一点而言，该声明旨在作为前置基础以用于结合权利要求要素的叙述来使用这类排除性术语，如“仅”，“只”等，或使用“否定”限制。
如果不使用这种排他性术语，与本公开内容相关的权利要求中的术语“包括”应当允许包括任何额外的组件——不论给定数目的组件是否被列举在这样的权利要求中，或者增加的特征可被视为转化这种权利要求中阐述的组件的性质。除非本文具体地进行了定义，本文使用的所有技术和科学术语将被给予尽可能宽泛的通常理解含义，同时保持权利要求的有效性。
本发明的广度并不受限于所提供的实施例和/或主题说明书，而是仅受限于与本公开内容关联的权利要求语言的范围。

Claims (26)

1.一种在虚拟图像呈现系统中操作的方法，所述方法包括：
在虚拟或增强图像呈现系统的一个或多个传感器处检测指示呈现给最终用户的帧序列中的帧的第一部分中第一组像素中的第一相邻像素之间的第一间隔所对应的第一分辨率将不同于呈现给所述最终用户的帧的第二部分中第二组像素中的第二相邻像素之间的不同间隔所对应的第二分辨率的指示；
部分地或全部地基于与所述指示有关的方向特征，选择要为其修改所述第一间隔的帧的所述第一组像素；
至少通过在虚拟图像呈现系统的一个或多个调制子系统处将驱动第一组像素的驱动信号修改为用于在帧序列中的所述帧之后的后续帧的已修改的驱动信号，至少部分地基于所述指示调整所述第一部分中的第一组像素表示的分辨率，以生成由所述第一部分中已调整的第一组像素表示的第一分辨率；以及
至少通过开始帧的呈现、在完成所述呈现之前中断所述呈现、以及用已调整的第一组像素替代由所述第一组像素表示的所述第一部分，以至少以所述第一分辨率呈现所述帧的第一部分，并以所述第二分辨率呈现所述帧的第二部分，在包括所述第一部分和所述第二部分的所述后续帧中呈现一个或多个虚拟对象给最终用户。
2.如权利要求1所述的方法，还包括：
在所述虚拟或增强图像呈现系统的一个或多个调制子系统处，部分地或全部地基于所述指示，将用于第一组像素的驱动信号的电特征修改为已修改的驱动信号。
3.如权利要求1所述的方法，还包括：
调整一组像素特征，包括所感知的尺寸或所感知的亮度之中的至少一个；
调整最终用户可感知的一个或多个像素特征；以及
监测超过标称头部运动值的头部运动。
4.如权利要求1所述的方法，进一步包括：
基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相同；以及
增加至少一个后续帧的第一组像素的尺寸。
5.如权利要求1所述的方法，进一步包括调整第一组像素的可变聚焦组件。
6.如权利要求1所述的方法，进一步包括调整第一组像素的可变尺寸源。
7.如权利要求1所述的方法，进一步包括调整第一组像素的抖动。
8.如权利要求1所述的方法，进一步包括：
部分地或全部地基于一个或多个传感器检测的最终用户的头部运动的方向选择所述帧的所述第一组像素，其中所述第一组像素的方向与所述头部运动的方向相同；以及
响应于所述头部运动增加所述至少一个后续帧的第一组像素的亮度。
9.如权利要求1所述的方法，进一步包括：
部分地或全部地基于一个或多个传感器检测的最终用户的头部运动的方向选择所述第一组像素，其中所述第一组像素的第一方向与所述头部运动的方向相反；以及
响应于所述头部运动，减少所述至少一个后续帧的第一组像素的尺寸。
10.如权利要求1所述的方法，进一步包括：
部分地或全部地基于一个或多个传感器检测的最终用户的头部运动的方向选择所述第一组像素，其中所述第一组像素的第一方向与所述头部运动的方向相反；以及
响应于所述头部运动，减少所述至少一个后续帧的第一组像素的亮度。
11.如权利要求1所述的方法，其中所述指示部分地或全部地基于检测所述最终用户的头部运动属性已经超过头部运动属性的标称值。
12.如权利要求11所述的方法，其中所述头部运动属性包括所述头部运动的速度或所述头部运动的加速度之中的至少一个，且所述指示部分地或全部地基于通过惯性传感器接收到的信号。
13.如权利要求1所述的方法，其中所述指示部分地或全部地基于通过成像器接收到的信号。
14.如权利要求1所述的方法，其中所述至少一个后续帧的提供是部分地或全部地基于光栅扫描型帧、螺旋扫描型帧或利萨茹扫描型帧之中的至少一个。
15.一种用于呈现虚拟内容的虚拟或增强图像呈现系统，包括：
一个或多个传感器，其被配置为检测指示呈现给最终用户的帧序列中的帧的第一部分中第一组像素中的第一相邻像素之间的第一间隔所对应的第一分辨率将不同于呈现给最终用户的帧的第二部分中第二组像素中的第二相邻像素之间的不同间隔所对应的第二分辨率的指示；
所述虚拟或增强图像呈现系统被配置为，部分地或全部地基于与所述指示有关的方向特征，选择帧的所述第一组像素；
虚拟或增强图像呈现系统中的一个或多个调制子系统，其包括投影子系统和至少一个处理器并且操作地耦合到所述一个或多个传感器，且被配置为至少通过将驱动第一组像素的驱动信号修改为用于在帧序列中的所述帧之后的后续帧的已修改的驱动信号，至少部分地基于所述指示调整由所述第一部分中的第一组像素表示的分辨率，以生成由所述第一部分中已调整的第一组像素表示的第一分辨率；以及
一个或多个投影机，其操作地耦合到所述一个或多个调制子系统，且被配置为至少通过开始帧的呈现、在完成所述呈现之前中断所述呈现、以及用已调整的第一组像素替代用所述第一组像素表示的所述第一部分，以至少以第一分辨率呈现所述帧的第一部分并以第二分辨率呈现所述帧的第二部分，来在包括所述第一部分和所述第二部分的所述后续帧中呈现一个或多个虚拟对象给最终用户。
16.如权利要求15所述的虚拟或增强图像呈现系统，其中所述一个或多个调制子系统进一步被配置为调整最终用户可感知的一个或多个像素特征。
17.如权利要求15所述的虚拟或增强图像呈现系统，其中所述一个或多个调制子系统进一步被配置为部分地或全部地基于所述指示，将用于第一组像素的驱动信号的一个或多个电特征修改为已修改的驱动信号。
18.如权利要求17所述的虚拟或增强图像呈现系统，其中所述一个或多个电特征包括所述驱动信号的电压或电流。
19.如权利要求17所述的虚拟或增强图像呈现系统，其中所述一个或多个电特征包括所述驱动信号的振幅或斜率。
20.如权利要求15所述的虚拟或增强图像呈现系统，进一步包括被配置为检测最终用户的头部运动的一个或多个传感器，且所述一个或多个调制子系统进一步被配置为调整一组像素特征，所述一组像素特征包括所感知的尺寸或所感知的亮度之中的至少一个。
21.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为：基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相同；以及增加至少一个后续帧的第一组像素的尺寸。
22.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为调整第一组像素的可变聚焦组件。
23.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为调整第一组像素的可变尺寸源。
24.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为调整第一组像素的抖动。
25.如权利要求15所述的虚拟或增强图像呈现系统，进一步包括操作地耦合到微处理器的一个或多个传感器，所述微处理器被配置为：部分地或全部地基于所述操作地耦合到微处理器的一个或多个传感器检测的头部运动的方向选择所述帧的所述第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相同；以及响应于所述已检测的头部运动增加所述至少一个后续帧的第一组像素的亮度。
26.如权利要求15所述的虚拟或增强图像呈现系统，进一步包括操作地耦合到微处理器的一个或多个传感器，所述微处理器被配置为：部分地或全部地基于所述操作地耦合到微处理器的一个或多个传感器检测的头部运动的方向选择所述第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相反；以及响应于所述操作地耦合到微处理器的一个或多个传感器检测的头部运动，减少所述至少一个后续帧的第一组像素的尺寸。
CN201710878238.8A 2013-03-15 2014-03-14 显示系统和方法 Active CN107577350B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361801219P 2013-03-15 2013-03-15
US61/801,219 2013-03-15
CN201480027589.2A CN105229719B (zh) 2013-03-15 2014-03-14 显示系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480027589.2A Division CN105229719B (zh) 2013-03-15 2014-03-14 显示系统和方法

Publications (2)

Publication Number Publication Date
CN107577350A CN107577350A (zh) 2018-01-12
CN107577350B true CN107577350B (zh) 2020-10-23

Family

ID=51525486

Family Applications (9)

Application Number Title Priority Date Filing Date
CN201810264993.1A Active CN108628446B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878226.5A Active CN107656618B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201810263580.1A Active CN108427504B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201480027589.2A Active CN105229719B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878155.9A Active CN107656617B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878238.8A Active CN107577350B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878130.9A Active CN107632709B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN202111204694.7A Pending CN113918018A (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878246.2A Active CN107632710B (zh) 2013-03-15 2014-03-14 显示系统和方法

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201810264993.1A Active CN108628446B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878226.5A Active CN107656618B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201810263580.1A Active CN108427504B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201480027589.2A Active CN105229719B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878155.9A Active CN107656617B (zh) 2013-03-15 2014-03-14 显示系统和方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201710878130.9A Active CN107632709B (zh) 2013-03-15 2014-03-14 显示系统和方法
CN202111204694.7A Pending CN113918018A (zh) 2013-03-15 2014-03-14 显示系统和方法
CN201710878246.2A Active CN107632710B (zh) 2013-03-15 2014-03-14 显示系统和方法

Country Status (11)

Country Link
US (12) US9417452B2 (zh)
EP (2) EP2973532A4 (zh)
JP (10) JP6326482B2 (zh)
KR (8) KR102271727B1 (zh)
CN (9) CN108628446B (zh)
AU (8) AU2014229004B2 (zh)
CA (2) CA3160567A1 (zh)
HK (1) HK1248851A1 (zh)
IL (8) IL241657B (zh)
NZ (8) NZ735755A (zh)
WO (1) WO2014144526A2 (zh)

Families Citing this family (532)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US20200057353A1 (en) 2009-10-09 2020-02-20 Digilens Inc. Compact Edge Illuminated Diffractive Display
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
EP2842003B1 (en) 2012-04-25 2019-02-27 Rockwell Collins, Inc. Holographic wide angle display
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US20160292924A1 (en) * 2012-10-31 2016-10-06 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
CA2905427C (en) 2013-03-11 2022-07-12 Magic Leap, Inc. System and method for augmented and virtual reality
NZ735755A (en) * 2013-03-15 2019-04-26 Magic Leap Inc Display system and method
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
WO2015015138A1 (en) 2013-07-31 2015-02-05 Milan Momcilo Popovich Method and apparatus for contact image sensing
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN108209857B (zh) 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
US10310597B2 (en) * 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US9491365B2 (en) * 2013-11-18 2016-11-08 Intel Corporation Viewfinder wearable, at least in part, by human operator
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9547412B1 (en) * 2014-03-31 2017-01-17 Amazon Technologies, Inc. User interface configuration to avoid undesired movement effects
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US10540907B2 (en) 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US9959777B2 (en) 2014-08-22 2018-05-01 Intelligent Technologies International, Inc. Secure testing device, system and method
US10410535B2 (en) 2014-08-22 2019-09-10 Intelligent Technologies International, Inc. Secure testing device
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
KR101728408B1 (ko) * 2014-09-22 2017-04-19 (주)에프엑스기어 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
CA2962899C (en) 2014-09-29 2022-10-04 Robert Dale Tekolste Architectures and methods for outputting different wavelength light out of waveguides
WO2016073202A1 (en) 2014-11-04 2016-05-12 Intelligent Technologies International, Inc. Smartcard
US9489044B2 (en) * 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
JP6501501B2 (ja) * 2014-11-12 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US10948728B2 (en) * 2014-12-15 2021-03-16 Shimadzu Corporation Dynamic image processing device for head mounted display, dynamic image processing method for head mounted display and head mounted display system
CN107003734B (zh) 2014-12-23 2019-12-17 美达视野股份有限公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统
US10255713B2 (en) 2014-12-29 2019-04-09 Google Llc System and method for dynamically adjusting rendering parameters based on user movements
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
WO2016113533A2 (en) 2015-01-12 2016-07-21 Milan Momcilo Popovich Holographic waveguide light field displays
WO2016113534A1 (en) 2015-01-12 2016-07-21 Milan Momcilo Popovich Environmentally isolated waveguide display
EP3248026B1 (en) 2015-01-20 2019-09-04 DigiLens Inc. Holographic waveguide lidar
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
AU2016225963B2 (en) 2015-03-05 2021-05-13 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US20160267714A1 (en) * 2015-03-12 2016-09-15 LAFORGE Optical, Inc. Apparatus and Method for Mutli-Layered Graphical User Interface for Use in Mediated Reality
NZ773819A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
US10152906B2 (en) * 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
EP3308220B1 (en) 2015-06-15 2020-11-18 Magic Leap, Inc. Display system with optical elements for in-coupling multiplexed light streams
CN107710284B (zh) * 2015-06-30 2021-11-23 奇跃公司 用于在虚拟图像生成系统中更有效地显示文本的技术
US10335572B1 (en) 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10149958B1 (en) 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10685488B1 (en) 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
AU2016296579B2 (en) * 2015-07-17 2021-07-01 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
AU2016296723B2 (en) 2015-07-20 2021-03-04 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
EP3338251B1 (en) 2015-08-18 2023-01-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
NZ740746A (en) 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation
KR102591552B1 (ko) 2015-08-21 2023-10-18 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
KR102389807B1 (ko) 2015-09-16 2022-04-21 매직 립, 인코포레이티드 오디오 파일들의 헤드 포즈 혼합
CN108351527A (zh) 2015-09-23 2018-07-31 奇跃公司 采用离轴成像器的眼睛成像
JP6598269B2 (ja) 2015-10-05 2019-10-30 ディジレンズ インコーポレイテッド 導波管ディスプレイ
IL294587A (en) 2015-10-05 2022-09-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
IL304501B1 (en) 2015-10-06 2024-04-01 Magic Leap Inc A virtual/augmented reality system with an inverted angle refraction grating
WO2017066346A1 (en) * 2015-10-12 2017-04-20 Cinova Media Method and apparatus for optimizing video streaming for virtual reality
IL297610B2 (en) 2015-10-16 2023-11-01 Magic Leap Inc Eye position detection using eye features
US10088685B1 (en) 2015-10-19 2018-10-02 Meta Company Apparatuses, methods and systems for multiple focal distance display
IL307648A (en) 2015-10-20 2023-12-01 Magic Leap Inc Selection of virtual objects in three-dimensional space
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
CN106652004A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 基于头戴式可视设备对虚拟现实进行渲染的方法及装置
AU2016349895B2 (en) 2015-11-04 2022-01-13 Magic Leap, Inc. Light field display metrology
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
JP6511386B2 (ja) 2015-11-20 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2017096241A1 (en) * 2015-12-02 2017-06-08 Augmenteum, Inc. System for and method of projecting augmentation imagery in a head-mounted display
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
US20170188021A1 (en) * 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US10678958B2 (en) 2015-12-28 2020-06-09 Intelligent Technologies International, Inc. Intrusion-protected memory component
WO2017120271A1 (en) 2016-01-04 2017-07-13 Meta Company Apparatuses, methods and systems for application of forces within a 3d virtual environment
CA3010237A1 (en) 2016-01-07 2017-07-13 Magic Leap, Inc. Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes
WO2017122299A1 (ja) * 2016-01-13 2017-07-20 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム
KR20180104051A (ko) 2016-01-19 2018-09-19 매직 립, 인코포레이티드 리플렉션들을 활용하는 증강 현실 시스템들 및 방법들
AU2017208994B2 (en) 2016-01-19 2022-01-20 Magic Leap, Inc. Eye image collection, selection, and combination
CN113406801B (zh) 2016-01-20 2023-05-30 奇跃公司 虚拟/增强现实系统中的偏振保持光纤
CA3013025A1 (en) 2016-01-29 2017-08-03 Magic Leap, Inc. Display for three-dimensional image
EP3398007A1 (en) 2016-02-04 2018-11-07 DigiLens, Inc. Holographic waveguide optical tracker
WO2017139034A1 (en) * 2016-02-09 2017-08-17 Google Inc. Pixel adjusting at display controller for electronic display stabilization
US10665020B2 (en) 2016-02-15 2020-05-26 Meta View, Inc. Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
KR20180116347A (ko) 2016-02-24 2018-10-24 매직 립, 인코포레이티드 광 이미터에 대한 로우 프로파일 인터커넥트
JP6898938B2 (ja) 2016-02-24 2021-07-07 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 低光漏出を伴う偏光ビームスプリッタ
CN109075239B (zh) 2016-02-26 2021-08-27 奇跃公司 具有用于高度空间均匀的光输出的反射器和透镜的光输出系统
CA3015210A1 (en) 2016-02-26 2017-08-31 Magic Leap, Inc. Display system having a plurality of light pipes for a plurality of light emitters
US9939635B2 (en) 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
AU2017227598B2 (en) 2016-03-01 2022-03-17 Magic Leap, Inc. Reflective switching device for inputting different wavelengths of light into waveguides
IL291915B2 (en) 2016-03-04 2024-03-01 Magic Leap Inc Reducing current leakage in AR/VR display systems
EP3427185A4 (en) 2016-03-07 2019-09-25 Magic Leap, Inc. BLUE POSITIONING FOR BIOMETRIC SAFETY
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
CN108882854B (zh) 2016-03-21 2022-05-24 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
EP3779740B1 (en) 2016-03-22 2021-12-08 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
CN108780224B (zh) 2016-03-24 2021-08-03 迪吉伦斯公司 用于提供偏振选择性全息波导装置的方法和设备
KR20230098725A (ko) 2016-03-25 2023-07-04 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US10359806B2 (en) * 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
JP2017182247A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3436863A4 (en) 2016-03-31 2019-11-27 Magic Leap, Inc. INTERACTIONS WITH 3D VIRTUAL OBJECTS USING POSES AND MULTI-DOF CONTROLLERS
WO2017176898A1 (en) 2016-04-08 2017-10-12 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US10890707B2 (en) 2016-04-11 2021-01-12 Digilens Inc. Holographic waveguide apparatus for structured light projection
US10341650B2 (en) 2016-04-15 2019-07-02 Ati Technologies Ulc Efficient streaming of virtual reality content
IL298181B1 (en) 2016-04-21 2024-04-01 Magic Leap Inc A visual aura around the field of vision
US10437326B2 (en) 2016-04-21 2019-10-08 Facebook Technologies, Llc Backlight modulation for liquid crystal display with eyetracking for virtual reality
NZ787459A (en) 2016-04-26 2023-05-26 Magic Leap Inc Electromagnetic tracking with augmented reality systems
US10046229B2 (en) 2016-05-02 2018-08-14 Bao Tran Smart device
US10527851B2 (en) 2016-05-06 2020-01-07 Magic Leap, Inc. Metasurfaces with asymmetric gratings for redirecting light and methods for fabricating
KR102450362B1 (ko) 2016-05-09 2022-10-04 매직 립, 인코포레이티드 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
AU2017264780B2 (en) 2016-05-12 2022-05-12 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10365712B2 (en) 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
KR20230113663A (ko) 2016-05-20 2023-07-31 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
US10534954B2 (en) 2016-06-03 2020-01-14 Magic Leap, Inc. Augmented reality identity verification
US10337691B2 (en) 2016-06-10 2019-07-02 Magic Leap, Inc. Integrating point source for texture projecting bulb
WO2017222997A1 (en) 2016-06-20 2017-12-28 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
WO2018004863A1 (en) 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
KR102450441B1 (ko) 2016-07-14 2022-09-30 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
EP3484343B1 (en) 2016-07-14 2024-01-10 Magic Leap, Inc. Iris boundary estimation using cornea curvature
EP3488282A4 (en) * 2016-07-19 2019-08-07 Supereye, Inc. SYSTEMS AND METHODS FOR PREDICTIVE VISUAL RENDERING
JP6838135B2 (ja) 2016-07-21 2021-03-03 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
KR102461953B1 (ko) 2016-07-25 2022-10-31 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
JP6992046B2 (ja) 2016-07-25 2022-01-13 マジック リープ， インコーポレイテッド ライトフィールドプロセッサシステム
KR102649197B1 (ko) * 2016-07-29 2024-03-20 삼성전자주식회사 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
IL280982B (en) 2016-07-29 2022-08-01 Magic Leap Inc Secure exchange of cryptographically signed records
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
WO2018026893A1 (en) * 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
IL310337A (en) 2016-08-11 2024-03-01 Magic Leap Inc Automatic positioning of a virtual object in 3D space
CA3033109A1 (en) 2016-08-12 2018-02-15 Magic Leap, Inc. Word flow annotation
IL294129B2 (en) 2016-08-22 2024-01-01 Magic Leap Inc An augmented reality display device with deep learning sensors
KR102225555B1 (ko) 2016-08-22 2021-03-09 매직 립, 인코포레이티드 웨어러블 디스플레이 디바이스를 위한 디더링 방법들 및 장치
KR102210993B1 (ko) * 2016-08-26 2021-02-02 매직 립, 인코포레이티드 가상 및 증강 현실 디스플레이 시스템들 및 방법들을 위한 연속 시간 와핑 및 양안 시간 와핑
CN106331689B (zh) * 2016-08-26 2018-09-18 杭州智屏电子商务有限公司 Vr视频播放时定位对象方法及vr视频播放时定位对象装置
KR20210060676A (ko) 2016-09-13 2021-05-26 매직 립, 인코포레이티드 감각 안경류
CN109643466A (zh) * 2016-09-14 2019-04-16 史克威尔·艾尼克斯有限公司 影像显示系统以及影像显示方法、影像显示程序
KR102345433B1 (ko) 2016-09-21 2021-12-29 매직 립, 인코포레이티드 출사동 확장기를 갖는 광학 시스템들을 위한 시스템들 및 방법들
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
CN109997174B (zh) 2016-09-22 2023-06-02 奇跃公司 可穿戴光谱检查系统
US10380950B2 (en) * 2016-09-23 2019-08-13 Novatek Microelectronics Corp. Method for reducing motion blur and head mounted display apparatus
WO2018058063A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
CN114356098A (zh) 2016-09-28 2022-04-15 奇跃公司 由可穿戴设备进行面部模型捕获
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
EP3519066B1 (en) * 2016-09-30 2021-09-01 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
KR102216019B1 (ko) 2016-10-04 2021-02-15 매직 립, 인코포레이티드 콘볼루션 뉴럴 네트워크들을 위한 효율적인 데이터 레이아웃들
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
IT201600103076A1 (it) * 2016-10-13 2018-04-13 Osram Gmbh Procedimento di rilevazione del c.d. view frustum, sistema e prodotto informatico corrispondenti
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
AU2017345780B2 (en) 2016-10-21 2022-11-17 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
KR102561860B1 (ko) * 2016-10-25 2023-08-02 삼성전자주식회사 전자장치 및 그 제어방법
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
EP4202840A1 (en) 2016-11-11 2023-06-28 Magic Leap, Inc. Periocular and audio synthesis of a full face image
US10621747B2 (en) 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
CA3043717A1 (en) 2016-11-16 2018-05-24 Magic Leap, Inc. Thermal management systems for wearable components
IL303678A (en) 2016-11-18 2023-08-01 Magic Leap Inc A waveguide light multiplexer using crossed gratings
US10908423B2 (en) 2016-11-18 2021-02-02 Magic Leap, Inc. Multilayer liquid crystal diffractive gratings for redirecting light of wide incident angle ranges
EP3542215B1 (en) 2016-11-18 2022-11-02 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
US11195335B2 (en) * 2016-11-30 2021-12-07 Gree, Inc. Application control program, application control method, and application control system
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
CA3045664A1 (en) 2016-12-05 2018-06-14 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
EP3552057B1 (en) 2016-12-08 2022-01-05 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
KR102497707B1 (ko) 2016-12-13 2023-02-08 매직 립, 인코포레이티드 검출된 특징들을 사용한 3d 객체 렌더링
CN111654473B (zh) 2016-12-13 2022-07-19 创新先进技术有限公司 基于增强现实的虚拟对象分配方法及装置
KR102491442B1 (ko) 2016-12-13 2023-01-20 매직 립, 인코포레이티드 편광된 광을 전달하고 포도당 레벨들을 결정하기 위한 증강 및 가상 현실 안경류, 시스템들, 및 방법들
WO2018112101A1 (en) 2016-12-14 2018-06-21 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
KR20180071012A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US10371896B2 (en) * 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
CN114675420A (zh) 2016-12-22 2022-06-28 奇跃公司 用于操纵来自环境光源的光的系统和方法
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
AU2017387781B2 (en) 2016-12-29 2022-04-28 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
US10610775B1 (en) 2017-01-04 2020-04-07 Facebook Technologies, Llc Actuation for a focus adjusting head mounted display
JP7071374B2 (ja) 2017-01-05 2022-05-18 マジック リープ， インコーポレイテッド プラズマエッチングによる高屈折率ガラスのパターン化
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US11751944B2 (en) 2017-01-16 2023-09-12 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
CN108320331B (zh) * 2017-01-17 2021-10-22 上海掌门科技有限公司 一种生成用户场景的增强现实视频信息的方法与设备
US10824888B1 (en) * 2017-01-19 2020-11-03 State Farm Mutual Automobile Insurance Company Imaging analysis technology to assess movements of vehicle occupants
US20180213202A1 (en) * 2017-01-23 2018-07-26 Jaunt Inc. Generating a Video Stream from a 360-Degree Video
US10451799B2 (en) 2017-01-23 2019-10-22 Magic Leap, Inc. Eyepiece for virtual, augmented, or mixed reality systems
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP6596452B2 (ja) * 2017-01-23 2019-10-23 ティフォン インコーポレーテッド 表示装置、表示方法及びその表示プログラム、並びに、遊興施設
US10841724B1 (en) 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
KR102553802B1 (ko) 2017-01-27 2023-07-07 매직 립, 인코포레이티드 상이하게 배향된 나노빔들을 갖는 메타표면들에 의해 형성된 회절 격자
EP3574350A4 (en) 2017-01-27 2020-12-09 Magic Leap, Inc. ANTIREFLEX COATING FOR META SURFACES
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10949579B2 (en) * 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
US11436389B2 (en) 2017-02-22 2022-09-06 Middle Chart, LLC Artificial intelligence based exchange of geospatial related digital content
US11900022B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Apparatus for determining a position relative to a reference transceiver
KR102403719B1 (ko) * 2017-02-22 2022-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
KR102601052B1 (ko) 2017-02-23 2023-11-09 매직 립, 인코포레이티드 가변 파워 반사기를 갖는 디스플레이 시스템
KR102578084B1 (ko) 2017-03-14 2023-09-12 매직 립, 인코포레이티드 광 흡수막들을 갖는 도파관들 및 이를 형성하기 위한 프로세스들
KR102366781B1 (ko) 2017-03-17 2022-02-22 매직 립, 인코포레이티드 컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CN110402415A (zh) 2017-03-17 2019-11-01 奇跃公司 记录增强现实数据的技术
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
KR102366140B1 (ko) 2017-03-17 2022-02-21 매직 립, 인코포레이티드 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
KR102302725B1 (ko) 2017-03-17 2021-09-14 매직 립, 인코포레이티드 룸 레이아웃 추정 방법들 및 기술들
CN115047627A (zh) 2017-03-21 2022-09-13 奇跃公司 用于照射空间光调制器的方法、设备和系统
AU2018240181A1 (en) 2017-03-21 2019-09-26 Magic Leap, Inc. Stacked waveguides having different diffraction gratings for combined field of view
US11073695B2 (en) 2017-03-21 2021-07-27 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
AU2018237067B2 (en) 2017-03-21 2022-11-10 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
CN110651216B (zh) 2017-03-21 2022-02-25 奇跃公司 低轮廓分束器
CN115220156A (zh) 2017-03-21 2022-10-21 奇跃公司 具有用于分体式光瞳的空间光调制器照射的显示系统
CN114578562A (zh) 2017-03-22 2022-06-03 奇跃公司 用于显示系统的基于深度的凹式渲染
US10417739B2 (en) * 2017-03-23 2019-09-17 Google Llc Phase aligned foveated rendering
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
US10424107B2 (en) 2017-04-01 2019-09-24 Intel Corporation Hierarchical depth buffer back annotaton
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
US10896657B2 (en) 2017-04-17 2021-01-19 Intel Corporation Graphics with adaptive temporal adjustments
US20180300951A1 (en) * 2017-04-17 2018-10-18 Intel Corporation Adaptive tessellation for foveated rendering
KR20240011891A (ko) 2017-04-18 2024-01-26 매직 립, 인코포레이티드 반사 유동성 재료들에 의해 형성된 반사 층들을 갖는 도파관들
AU2018256365A1 (en) 2017-04-19 2019-10-31 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US11010953B2 (en) 2017-04-21 2021-05-18 Intel Corporation Dedicated fixed point blending for energy efficiency
US10939038B2 (en) * 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
EP4141623A1 (en) 2017-04-27 2023-03-01 Magic Leap, Inc. Augmented reality system comprising light-emitting user input device
US11115718B2 (en) * 2017-04-30 2021-09-07 Texel Live Ltd. Virtual reality imaging system
KR102555443B1 (ko) 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
JP6509938B2 (ja) * 2017-05-02 2019-05-08 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
US10755481B2 (en) 2017-05-16 2020-08-25 Magic Leap, Inc. Systems and methods for mixed reality
CA3061332A1 (en) 2017-05-19 2018-11-22 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
CN110678891B (zh) 2017-05-22 2023-11-14 奇跃公司 与同伴设备配对
IL303933B1 (en) 2017-05-30 2024-04-01 Magic Leap Inc Power supply assembly with fan assembly for an electronic device
EP4123425A1 (en) 2017-05-31 2023-01-25 Magic Leap, Inc. Eye tracking calibration techniques
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
WO2018231784A1 (en) 2017-06-12 2018-12-20 Magic Leap, Inc. Augmented reality display having multi-element adaptive lens for changing depth planes
CN107422848B (zh) * 2017-06-16 2020-04-21 福建天晴数码有限公司 一种测试虚拟角色加速度值的方法及系统
EP3422147A1 (en) * 2017-06-28 2019-01-02 Koninklijke Philips N.V. Display apparatus for computer-mediated reality
US10216333B2 (en) * 2017-06-30 2019-02-26 Microsoft Technology Licensing, Llc Phase error compensation in single correlator systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
KR102449200B1 (ko) * 2017-07-04 2022-09-30 삼성디스플레이 주식회사 클럭 배선을 포함하는 표시 장치
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
WO2019012522A1 (en) 2017-07-11 2019-01-17 Elbit Systems Ltd. SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
KR20220030315A (ko) 2017-07-26 2022-03-10 매직 립, 인코포레이티드 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝
CN107820593B (zh) * 2017-07-28 2020-04-17 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
WO2019023489A1 (en) 2017-07-28 2019-01-31 Magic Leap, Inc. FAN ASSEMBLY FOR DISPLAYING IMAGE
US10395418B2 (en) 2017-08-18 2019-08-27 Microsoft Technology Licensing, Llc Techniques for predictive prioritization of image portions in processing graphics
US10445922B2 (en) * 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
IL294397B2 (en) * 2017-09-01 2024-02-01 Magic Leap Inc Creating a new frame using processed and unprocessed content from a previous perspective
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
US10762691B2 (en) * 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
JP7162020B2 (ja) 2017-09-20 2022-10-27 マジック リープ， インコーポレイテッド 眼追跡のための個人化されたニューラルネットワーク
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
GB2566745A (en) * 2017-09-26 2019-03-27 Sony Interactive Entertainment Inc Motion signal generation
IL307639A (en) 2017-09-27 2023-12-01 Magic Leap Inc Near-eye 3D display with separate phase and amplitude modulators
US10957069B2 (en) * 2017-09-29 2021-03-23 Tobii Ab Head pose estimation from local eye region
US10178619B1 (en) 2017-09-29 2019-01-08 Intel Corporation Advanced graphics power state management
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
WO2019069812A1 (ja) * 2017-10-05 2019-04-11 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの視線検出システム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイの視線検出方法
CN111465887A (zh) 2017-10-11 2020-07-28 奇跃公司 包括具有透明发射显示器的目镜的增强现实显示器
US10942430B2 (en) 2017-10-16 2021-03-09 Digilens Inc. Systems and methods for multiplying the image resolution of a pixelated display
IL308526A (en) 2017-10-26 2024-01-01 Magic Leap Inc Broadband adjustable lens assembly for augmented reality display
IL274029B2 (en) 2017-10-26 2023-09-01 Magic Leap Inc An augmented reality display with a liquid crystal variable focus element and a roll-to-roll method and a device for their creation
AU2018354257A1 (en) 2017-10-26 2020-05-14 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
IL310847A (en) 2017-10-27 2024-04-01 Magic Leap Inc A virtual network for augmented reality systems
CN107783653A (zh) * 2017-11-06 2018-03-09 广州新维感信息技术有限公司 一种虚拟现实交互方法及系统
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
KR20200087780A (ko) 2017-11-14 2020-07-21 매직 립, 인코포레이티드 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습
US10553016B2 (en) 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
CA3083105A1 (en) 2017-12-11 2019-06-20 Magic Leap, Inc. Waveguide illuminator
IL275078B1 (en) 2017-12-14 2024-04-01 Magic Leap Inc Context-based processing of virtual characters
EP3723580B1 (en) 2017-12-15 2024-01-24 Magic Leap, Inc. Eyepieces for augmented reality display system
IL274976B1 (en) 2017-12-15 2024-01-01 Magic Leap Inc Improved positioning for a display device
IL300465A (en) 2017-12-22 2023-04-01 Magic Leap Inc Methods and system for managing and displaying virtual content in a mixed reality system
US10939084B2 (en) 2017-12-22 2021-03-02 Magic Leap, Inc. Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
JP2021509726A (ja) 2018-01-04 2021-04-01 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 無機材料を組み込むポリマー構造に基づく光学要素
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
KR20200108030A (ko) 2018-01-08 2020-09-16 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
EP3740847B1 (en) 2018-01-17 2024-03-13 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
GB2570708A (en) * 2018-02-05 2019-08-07 Nokia Technologies Oy Switching between multidirectional and limited viewport video content
AU2019217515A1 (en) 2018-02-06 2020-06-25 Magic Leap, Inc. Systems and methods for augmented reality
US10275919B1 (en) 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
EP3756079A4 (en) 2018-02-22 2021-04-28 Magic Leap, Inc. OBJECT GENERATION WITH PHYSICAL MANIPULATION
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
AU2019227506A1 (en) 2018-02-27 2020-08-06 Magic Leap, Inc. Matching meshes for virtual avatars
CA3089645A1 (en) 2018-02-28 2019-09-06 Magic Leap, Inc. Head scan alignment using ocular registration
US11467398B2 (en) 2018-03-05 2022-10-11 Magic Leap, Inc. Display system with low-latency pupil tracker
WO2019173390A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
CN113426098A (zh) 2018-03-07 2021-09-24 奇跃公司 外围设备的视觉跟踪
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
EP3765892A4 (en) 2018-03-12 2021-12-15 Magic Leap, Inc. AD BASED ON KIPPARRAY
JP7356995B2 (ja) 2018-03-14 2023-10-05 マジック リープ， インコーポレイテッド コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
US11430169B2 (en) 2018-03-15 2022-08-30 Magic Leap, Inc. Animating virtual avatar facial movements
EP3765897B1 (en) 2018-03-16 2024-01-17 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
CN112106066A (zh) 2018-03-16 2020-12-18 奇跃公司 根据眼睛跟踪相机的面部表情
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
US11182962B2 (en) * 2018-03-20 2021-11-23 Logitech Europe S.A. Method and system for object segmentation in a mixed reality environment
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
CN108427199A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 一种增强现实设备、系统及方法
CN108514421A (zh) * 2018-03-30 2018-09-11 福建幸福家园投资管理有限公司 提升混合现实与日常健康监测的方法
EP3776027A4 (en) 2018-04-02 2021-12-29 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
WO2019195193A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
CN112041716A (zh) 2018-04-02 2020-12-04 奇跃公司 混合聚合物波导和用于制造混合聚合物波导的方法
WO2019204164A1 (en) 2018-04-16 2019-10-24 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
WO2019204765A1 (en) 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
WO2019209431A1 (en) 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
US11308673B2 (en) 2018-05-03 2022-04-19 Magic Leap, Inc. Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character
US10922895B2 (en) 2018-05-04 2021-02-16 Microsoft Technology Licensing, Llc Projection of content libraries in three-dimensional environment
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
WO2019226494A1 (en) 2018-05-21 2019-11-28 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US11210835B2 (en) 2018-05-22 2021-12-28 Magic Leap, Inc. Computer generated hair groom transfer tool
CN112437950A (zh) 2018-05-22 2021-03-02 奇跃公司 用于对虚拟头像制作动画的骨架系统
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
US11625864B2 (en) 2018-05-25 2023-04-11 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) * 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
US11531244B2 (en) 2018-06-15 2022-12-20 Magic Leap, Inc. Wide field-of-view polarization switches with liquid crystal optical elements with pretilt
CN112567287A (zh) * 2018-06-18 2021-03-26 奇跃公司 具有帧调制功能的增强现实显示
WO2019246058A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
GB2574882B (en) * 2018-06-22 2020-08-12 Sony Interactive Entertainment Inc Method and system for displaying a virtual object
WO2020005757A1 (en) 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
EP3818530A4 (en) 2018-07-02 2022-03-30 Magic Leap, Inc. METHODS AND SYSTEMS FOR INTERPOLATION OF VARIOUS INPUTS
EP3818409A4 (en) 2018-07-05 2022-04-13 Magic Leap, Inc. WAVEGUIDE BASED ILLUMINATION FOR A HEAD MOUNT DISPLAY SYSTEM
WO2020014700A1 (en) 2018-07-13 2020-01-16 Magic Leap, Inc. Systems and methods for display binocular deformation compensation
CN109063039A (zh) * 2018-07-17 2018-12-21 高新兴科技集团股份有限公司 一种基于移动端的视频地图动态标签显示方法及系统
CN116483200A (zh) 2018-07-23 2023-07-25 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
CN112513711B (zh) 2018-07-23 2023-03-07 奇跃公司 用于使用位置向量解析半球模糊度的方法和系统
WO2020023399A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction
US11627587B2 (en) 2018-07-23 2023-04-11 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
EP3827584A4 (en) 2018-07-23 2021-09-08 Magic Leap, Inc. INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
JP7456995B2 (ja) 2018-07-24 2024-03-27 マジック リープ， インコーポレイテッド 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
EP3827294A4 (en) 2018-07-24 2022-04-20 Magic Leap, Inc. BOUNCE-INDUCED LIGHT LOSS ATTENUATION DIFFRACTIVE OPTICS AND RELATED SYSTEMS AND METHODS
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
CN112753007A (zh) 2018-07-27 2021-05-04 奇跃公司 虚拟角色的姿势空间变形的姿势空间维度减小
JP7355016B2 (ja) 2018-07-30 2023-10-03 三菱ケミカル株式会社 熱溶融型積層造形用材料
EP3830674A4 (en) 2018-08-03 2022-04-20 Magic Leap, Inc. DEPTH PLANE SELECTION OF MULTI-DEPTH PLAN DISPLAY SYSTEMS BY USER CATEGORIZATION
US10600236B2 (en) * 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
JP7400721B2 (ja) * 2018-08-29 2023-12-19 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US10826964B2 (en) 2018-09-05 2020-11-03 At&T Intellectual Property I, L.P. Priority-based tile transmission system and method for panoramic video streaming
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
GB2576905B (en) * 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
WO2020069026A1 (en) 2018-09-26 2020-04-02 Magic Leap, Inc. Diffractive optical elements with optical power
US10782779B1 (en) * 2018-09-27 2020-09-22 Apple Inc. Feedback coordination for a virtual interaction
WO2020086356A2 (en) 2018-10-26 2020-04-30 Magic Leap, Inc. Ambient electromagnetic distortion correction for electromagnetic tracking
CN111131865A (zh) * 2018-10-30 2020-05-08 中国电信股份有限公司 提高vr视频播放流畅度的方法、装置、系统和机顶盒
JP6800938B2 (ja) * 2018-10-30 2020-12-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10638165B1 (en) * 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
EP3881232A4 (en) 2018-11-15 2022-08-10 Magic Leap, Inc. DEEP NEURON NETWORK POSE ESTIMATION SYSTEM
JP2022509083A (ja) 2018-11-20 2022-01-20 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
WO2020110506A1 (ja) * 2018-11-28 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 表示装置および表示制御装置
EP3887925A4 (en) 2018-11-30 2022-08-17 Magic Leap, Inc. MULTIMODAL HANDHELD LOCATION AND ORIENTATION TO AVATAR MOVEMENT
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
EP3903480A4 (en) 2018-12-28 2023-01-11 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS WITH SPLIT LEFT AND RIGHT EYE DISPLAY
EP3903143A4 (en) 2018-12-28 2022-10-12 Magic Leap, Inc. VARIABLE PIXEL DENSITY DISPLAY SYSTEM WITH MECHANICALLY ACTUATED IMAGE PROJECTOR
KR20210126566A (ko) * 2019-01-24 2021-10-20 피씨엠에스 홀딩스, 인크. 다중 세부 수준 및 자유도를 갖는 적응형 공간 콘텐츠 스트리밍을 위한 시스템 및 방법
WO2020154524A1 (en) 2019-01-25 2020-07-30 Magic Leap, Inc. Eye-tracking using images having different exposure times
CN109599068B (zh) * 2019-01-31 2021-03-02 京东方科技集团股份有限公司 一种vr设备及其控制方法
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
KR20210138609A (ko) 2019-02-15 2021-11-19 디지렌즈 인코포레이티드. 일체형 격자를 이용하여 홀로그래픽 도파관 디스플레이를 제공하기 위한 방법 및 장치
US11287657B2 (en) 2019-02-28 2022-03-29 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
KR20210134763A (ko) 2019-03-12 2021-11-10 디지렌즈 인코포레이티드. 홀로그래픽 도파관 백라이트 및 관련된 제조 방법
WO2020191170A1 (en) 2019-03-20 2020-09-24 Magic Leap, Inc. System for providing illumination of the eye
US10944711B2 (en) * 2019-03-28 2021-03-09 Microsoft Technology Licensing, Llc Paginated method to create decision tree conversation
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
JP7440532B2 (ja) 2019-04-03 2024-02-28 マジック リープ， インコーポレイテッド 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
CN114008514A (zh) 2019-04-15 2022-02-01 奇跃公司 用于电磁跟踪的传感器融合
WO2020236596A1 (en) * 2019-05-17 2020-11-26 Nvidia Corporation Motion prediction using one or more neural networks
WO2020236827A1 (en) 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
CN114270228A (zh) 2019-05-24 2022-04-01 奇跃公司 可变焦组件
JP7357081B2 (ja) 2019-05-28 2023-10-05 マジック リープ， インコーポレイテッド ポータブル電子デバイスのための熱管理システム
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
DE112020002550T5 (de) * 2019-05-30 2022-02-24 Nvidia Corporation Virtual-Reality-Simulationen unter Verwenden von Oberflächen-Tracking
EP3980825A4 (en) 2019-06-07 2023-05-03 Digilens Inc. WAVEGUIDES INCORPORATING TRANSPARENT AND REFLECTIVE GRATINGS AND METHODS OF MAKING THEREOF
EP3987343A4 (en) 2019-06-20 2023-07-19 Magic Leap, Inc. EYEWEARS FOR AUGMENTED REALITY DISPLAY SYSTEM
JP7311643B2 (ja) 2019-06-21 2023-07-19 マジック リープ， インコーポレイテッド モード式ウィンドウを介したセキュアな認可
US11287655B2 (en) 2019-06-21 2022-03-29 Samsung Electronics Co.. Ltd. Holographic display apparatus and method for providing expanded viewing window
WO2020263866A1 (en) 2019-06-24 2020-12-30 Magic Leap, Inc. Waveguides having integral spacers and related systems and methods
US11533468B2 (en) 2019-06-27 2022-12-20 Samsung Electronics Co., Ltd. System and method for generating a mixed reality experience
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
EP3999940A4 (en) 2019-07-16 2023-07-26 Magic Leap, Inc. EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS
EP3999884A4 (en) 2019-07-19 2023-08-30 Magic Leap, Inc. DISPLAY DEVICE HAVING DIFFRACTION GRATINGS WITH REDUCED POLARIZATION SENSITIVITY
WO2021016028A1 (en) 2019-07-19 2021-01-28 Magic Leap, Inc. Method of fabricating diffraction gratings
US11681143B2 (en) 2019-07-29 2023-06-20 Digilens Inc. Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display
US11704874B2 (en) * 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
CN110460831B (zh) * 2019-08-22 2021-12-03 京东方科技集团股份有限公司 显示方法、装置、设备及计算机可读存储介质
CN114450608A (zh) 2019-08-29 2022-05-06 迪吉伦斯公司 真空布拉格光栅和制造方法
GB2586838B (en) * 2019-09-05 2022-07-27 Sony Interactive Entertainment Inc Free-viewpoint method and system
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
US11614573B2 (en) 2019-09-11 2023-03-28 Magic Leap, Inc. Display device with diffraction grating having reduced polarization sensitivity
US11238662B2 (en) * 2019-09-25 2022-02-01 Apple Inc. Optimal luminance mapping for augmented reality devices
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
WO2021092068A1 (en) 2019-11-08 2021-05-14 Magic Leap, Inc. Metasurfaces with light-redirecting structures including multiple materials and methods for fabricating
US11468627B1 (en) * 2019-11-08 2022-10-11 Apple Inc. View dependent content updated rates
US11423624B2 (en) 2019-11-18 2022-08-23 Magic Leap, Inc. Mapping and localization of a passable world
EP4062229A4 (en) 2019-11-22 2024-01-03 Magic Leap Inc METHOD AND SYSTEM FOR FORMING PATTERNS ON A LIQUID CRYSTAL LAYER
EP4066044A4 (en) 2019-11-26 2023-12-27 Magic Leap, Inc. ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS
US11941408B2 (en) 2019-12-06 2024-03-26 Magic Leap, Inc. Encoding stereo splash screen in static image
CN114746796A (zh) 2019-12-06 2022-07-12 奇跃公司 动态浏览器舞台
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
US11294461B2 (en) 2020-01-24 2022-04-05 Magic Leap, Inc. Content movement and interaction using a single controller
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
EP4097685A4 (en) 2020-01-27 2024-02-21 Magic Leap Inc NEUTRAL AVATARS
WO2021154558A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Augmented reality map curation
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
CN115004235A (zh) 2020-01-27 2022-09-02 奇跃公司 基于锚的交叉现实应用的增强状态控制
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
WO2021154437A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Gaze timer based augmentation of functionality of a user input device
US11640486B2 (en) 2021-03-01 2023-05-02 Middle Chart, LLC Architectural drawing based exchange of geospatial related digital content
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
WO2021155047A1 (en) 2020-01-31 2021-08-05 Magic Leap, Inc. Augmented and virtual reality display systems for oculometric assessments
US20210240257A1 (en) * 2020-01-31 2021-08-05 Ati Technologies Ulc Hiding latency in wireless virtual and augmented reality systems
JP7455985B2 (ja) 2020-02-10 2024-03-26 マジック リープ， インコーポレイテッド 複合現実環境における３次元コンテナに対する身体中心コンテンツ位置付け
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
CN115398894A (zh) 2020-02-14 2022-11-25 奇跃公司 用于虚拟和增强现实显示系统的虚拟对象运动速度曲线
WO2021173566A1 (en) 2020-02-26 2021-09-02 Magic Leap, Inc. Procedural electron beam lithography
WO2021174062A1 (en) 2020-02-28 2021-09-02 Magic Leap, Inc. Method of fabricating molds for forming eyepieces with integrated spacers
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
WO2021188926A1 (en) 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
US11940639B2 (en) 2020-03-25 2024-03-26 Magic Leap, Inc. Optical device with one-way mirror
JP2023520463A (ja) 2020-04-03 2023-05-17 マジック リープ， インコーポレイテッド 最適視線弁別のためのアバタカスタマイズ
US11604354B2 (en) 2020-04-03 2023-03-14 Magic Leap, Inc. Wearable display systems with nanowire LED micro-displays
US11481965B2 (en) 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US11144117B1 (en) * 2020-05-18 2021-10-12 Qualcomm Incorporated Deep learning based head motion prediction for extended reality
WO2021237115A1 (en) 2020-05-22 2021-11-25 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
EP4162343A1 (en) 2020-06-05 2023-04-12 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
CN111667584B (zh) * 2020-06-09 2024-02-09 福州市极化律网络科技有限公司 多用户的虚拟世界探索方法及存储介质
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
JP2023537486A (ja) 2020-08-07 2023-09-01 マジック リープ， インコーポレイテッド 調整可能円柱レンズおよびそれを含む頭部搭載型ディスプレイ
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
US11860366B2 (en) 2020-09-29 2024-01-02 Avegant Corp. Architecture to illuminate a display panel
DE102020214824A1 (de) * 2020-11-25 2022-05-25 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
KR102586624B1 (ko) * 2020-12-07 2023-10-10 주식회사 테크인모션 개인 맞춤 및 영상 보정을 통한 디지털 멀미 감소 장치 및 그 방법
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
US11449137B2 (en) 2021-02-12 2022-09-20 Rockwell Collins, Inc. Soldier and surface vehicle heads-up display imagery compensation system to align imagery with surroundings
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
CN113315964B (zh) * 2021-06-21 2023-04-14 北京京东方光电科技有限公司 一种3d图像的显示方法、装置及电子设备
JP2023011262A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
US20230068730A1 (en) * 2021-09-02 2023-03-02 Snap Inc. Social connection through distributed and connected real-world objects
KR20230103379A (ko) 2021-12-31 2023-07-07 삼성전자주식회사 Ar 처리 방법 및 장치
WO2023219916A1 (en) * 2022-05-10 2023-11-16 Leia Inc. Predictive head-tracking multiview display and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003513332A (ja) * 1999-10-29 2003-04-08 マイクロビジョン インコーポレイテッド ピンチ、タイミング及び歪み補正機能を備える走査表示
CN102938145A (zh) * 2012-10-23 2013-02-20 深圳大学 一种拼接类全景图的一致性调整方法及系统
WO2013029667A1 (en) * 2011-08-31 2013-03-07 Lemoptix Sa A device and method for projecting an image

Family Cites Families (276)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632865A (en) * 1969-12-23 1972-01-04 Bell Telephone Labor Inc Predictive video encoding using measured subject velocity
DE2737499C3 (de) 1977-08-19 1981-10-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen Faseroptisches Schaltungselement
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
FR2647449B1 (fr) * 1989-05-23 1994-03-25 Rhone Poulenc Sante Procede de preparation d'ethers aromatiques
US5271093A (en) 1989-10-17 1993-12-14 Mitsubishi Denki Kabushiki Kaisha Video display apparatus for filling the interior shapes of contour
US5138555A (en) * 1990-06-28 1992-08-11 Albrecht Robert E Helmet mounted display adaptive predictive tracking
US8730129B2 (en) 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
JPH0655203B2 (ja) * 1992-07-09 1994-07-27 株式会社エイ・ティ・アール視聴覚機構研究所 視線検出を用いた医療診断装置
US5311897A (en) 1992-09-18 1994-05-17 Robert L. Cargill, Jr. Rotary control valve with offset variable area orifice and bypass
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
EP1326122B1 (en) 1993-08-12 2006-09-06 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
EP0669758B1 (en) * 1993-09-06 2000-03-08 Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho Time-varying image processor and display device
JP3306183B2 (ja) 1993-09-14 2002-07-24 リーダー電子株式会社 信号波形表示装置及び表示方法
JP2952858B2 (ja) 1994-05-31 1999-09-27 株式会社島津製作所 ヘッドマウントディスプレイ
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JPH09284676A (ja) 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
GB2317086A (en) * 1996-09-05 1998-03-11 Secr Defence Virtual reality system
US5886822A (en) 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US7066956B2 (en) 1997-02-12 2006-06-27 Arthrex, Inc. Transverse fixation technique for ACL reconstruction using bone-tendon-bone graft
JP2947231B2 (ja) * 1997-07-10 1999-09-13 日本電気株式会社 画像表示装置
US6151179A (en) 1997-07-11 2000-11-21 International Business Machines Corporation Signal processing circuit with feedback extracted from a sampled analog error signal
WO1999022314A1 (fr) 1997-10-29 1999-05-06 Sharp Kabushiki Kaisha Dispositif de commande d'affichage et dispositif de reproduction d'affichage pour livres electroniques
JP3724157B2 (ja) * 1997-10-30 2005-12-07 コニカミノルタホールディングス株式会社 映像観察装置
JP2001522063A (ja) 1997-10-30 2001-11-13 ザ マイクロオプティカル コーポレイション 眼鏡インターフェースシステム
US5913591A (en) * 1998-01-20 1999-06-22 University Of Washington Augmented imaging using a silhouette to improve contrast
US6088744A (en) 1998-02-13 2000-07-11 Agilent Technologies Multiport data buffer having multi level caching wherein each data port has a FIFO buffer coupled thereto
JP3461117B2 (ja) * 1998-05-26 2003-10-27 日本電信電話株式会社 立体表示方法及び記録媒体並びに立体表示装置
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2003502711A (ja) 1999-06-21 2003-01-21 ザ マイクロオプティカル コーポレイション 軸から外れている光学設計を使用する接眼レンズ・ディスプレイ・レンズ・システム
JP2001255862A (ja) 2000-03-10 2001-09-21 Seiko Epson Corp オーバレイ画像処理装置およびオーバレイ画像表示装置
US7663642B2 (en) 2000-11-15 2010-02-16 Sony Corporation Systems and methods for rendering a polygon in an image to be displayed
JP3477441B2 (ja) * 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
US6654021B2 (en) * 2001-05-18 2003-11-25 Sun Microsystems, Inc. Multi-channel, demand-driven display controller
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US6759979B2 (en) 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
JP3762309B2 (ja) 2002-02-18 2006-04-05 キヤノン株式会社 位置方向測定装置および情報処理方法
US7497574B2 (en) 2002-02-20 2009-03-03 Brother Kogyo Kabushiki Kaisha Retinal image display device
CN1304958C (zh) * 2002-04-15 2007-03-14 Kaj株式会社 显示虚拟现实空间的方法和显示虚拟现实空间的装置
US6917370B2 (en) 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
JP4170068B2 (ja) * 2002-11-12 2008-10-22 シャープ株式会社 データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7385606B2 (en) 2002-12-18 2008-06-10 Microsoft Corporation International font measurement system and method
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
WO2005009566A2 (en) 2003-07-17 2005-02-03 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
ITTO20030662A1 (it) 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US11033821B2 (en) 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
KR101026800B1 (ko) * 2003-11-21 2011-04-04 삼성전자주식회사 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
CN100385937C (zh) * 2004-03-26 2008-04-30 瑞昱半导体股份有限公司 利用位移向量补偿的影像去交错方法与装置
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US7403337B2 (en) 2004-05-11 2008-07-22 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system and method and device for realizing the system
US7442918B2 (en) 2004-05-14 2008-10-28 Microvision, Inc. MEMS device having simplified drive
JP2005339267A (ja) 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
US6947219B1 (en) 2004-06-02 2005-09-20 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system for displaying digital contents and device for realizing the system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20060007056A1 (en) 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
KR100656342B1 (ko) 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
CN100341334C (zh) * 2005-01-14 2007-10-03 北京航空航天大学 基于有效区域的多参考帧快速运动估计方法
US20060214911A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Pointing device for large field of view displays
US20060226231A1 (en) * 2005-03-29 2006-10-12 University Of Washington Methods and systems for creating sequential color images
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP4689344B2 (ja) * 2005-05-11 2011-05-25 キヤノン株式会社 情報処理方法、情報処理装置
US7773098B2 (en) * 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
US8847861B2 (en) 2005-05-20 2014-09-30 Semiconductor Energy Laboratory Co., Ltd. Active matrix display device, method for driving the same, and electronic device
JP2006338509A (ja) 2005-06-03 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 状況記憶型コンテンツ管理装置及び方法
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US20060284791A1 (en) 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
IL173361A (en) 2005-09-12 2012-03-29 Elbit Systems Ltd Display system near the eye
US7480422B2 (en) 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
IL172797A (en) 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
EP1969853A1 (en) * 2006-01-05 2008-09-17 Thomson Licensing Inter-layer motion prediction method
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP2007286082A (ja) * 2006-04-12 2007-11-01 Sony Computer Entertainment Inc 描画処理装置
US9958934B1 (en) 2006-05-01 2018-05-01 Jeffrey D. Mullen Home and portable augmented reality and virtual reality video game consoles
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US7835027B2 (en) * 2006-06-14 2010-11-16 Kabushiki Kaisha Toshiba Reducing the resolution of a rendered image for printing
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7889178B2 (en) * 2006-09-08 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Programmable resolution for optical pointing device
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4936522B2 (ja) 2006-09-29 2012-05-23 キヤノン株式会社 画像処理方法、画像処理装置
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
WO2008153599A1 (en) * 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
US7903166B2 (en) 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US20080215974A1 (en) 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
CN100478849C (zh) * 2007-04-10 2009-04-15 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
CN100468295C (zh) * 2007-04-10 2009-03-11 南京航空航天大学 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法
US8832557B2 (en) * 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
US20080303811A1 (en) 2007-06-07 2008-12-11 Leviathan Entertainment, Llc Virtual Professional
US20090003662A1 (en) 2007-06-27 2009-01-01 University Of Hawaii Virtual reality overlay
US8902227B2 (en) 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
US8063905B2 (en) 2007-10-11 2011-11-22 International Business Machines Corporation Animating speech of an avatar representing a participant in a mobile communication
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
KR20090067822A (ko) 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
TW200928860A (en) * 2007-12-31 2009-07-01 Htc Corp Method and device for adjusting output frame
US20090177042A1 (en) 2008-01-09 2009-07-09 University Of Washington Color image acquisition with scanning laser beam devices
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8624924B2 (en) 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
WO2009108790A1 (en) 2008-02-26 2009-09-03 Ecity, Inc. Method and apparatus for integrated life through virtual cities
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8063968B2 (en) * 2008-07-23 2011-11-22 Lockheed Martin Corporation Device for detecting an image of a nonplanar surface
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
WO2010062481A1 (en) 2008-11-02 2010-06-03 David Chaum Near to eye display system and appliance
CN101739199A (zh) * 2008-11-05 2010-06-16 联想(北京)有限公司 一种显示图像的移动终端和方法
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
EP2194418B1 (en) 2008-12-02 2014-07-02 Saab Ab Head-up display for night vision goggles
US20100137684A1 (en) 2008-12-03 2010-06-03 Hoya Corporation Endoscope system with scanning function
US8132916B2 (en) 2008-12-12 2012-03-13 Carl Zeiss Meditec, Inc. High precision contrast ratio display for visual stimulus
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8487933B2 (en) 2009-03-31 2013-07-16 General Electric Company System and method for multi-segment center point trajectory mapping
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
JP2011009846A (ja) * 2009-06-23 2011-01-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9511289B2 (en) 2009-07-10 2016-12-06 Valve Corporation Player biofeedback for dynamically controlling a video game state
JP5553635B2 (ja) 2009-10-23 2014-07-16 キヤノン株式会社 補償光学装置、撮像装置および補償光学方法、撮像方法
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8780096B2 (en) 2009-11-19 2014-07-15 Panasonic Corporation Scanning image display apparatus
KR101652311B1 (ko) 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
GB2477787B (en) 2010-02-15 2014-09-24 Marcus Alexander Mawson Cavalier Use of portable electonic devices with head-mounted display devices
JP5499762B2 (ja) 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
JP5681850B2 (ja) 2010-03-09 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8893022B2 (en) 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
WO2011135848A1 (ja) 2010-04-28 2011-11-03 パナソニック株式会社 走査型画像表示装置
US8762041B2 (en) 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
US20120200600A1 (en) 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP5652037B2 (ja) * 2010-07-30 2015-01-14 富士通株式会社 模擬映像生成装置、方法、プログラム
KR101420560B1 (ko) 2010-08-09 2014-07-16 파나소닉 주식회사 광디바이스, 및 이것을 포함한 충전 시스템
US20120127136A1 (en) 2010-08-18 2012-05-24 Kent Displays Incorporated Display device including piezoelectric and liquid crystal layers
US8780014B2 (en) 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US20120050140A1 (en) 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8638364B2 (en) 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
US20120212405A1 (en) 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
WO2012048252A1 (en) 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US8578299B2 (en) 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8743464B1 (en) 2010-11-03 2014-06-03 Google Inc. Waveguide with embedded mirrors
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US8831278B2 (en) * 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
CN101996410B (zh) * 2010-12-07 2012-12-12 北京交通大学 动态背景下的运动目标检测方法及系统
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP5690135B2 (ja) * 2010-12-29 2015-03-25 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US20120182313A1 (en) 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
US9113050B2 (en) 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5844288B2 (ja) 2011-02-01 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
CN102179048A (zh) * 2011-02-28 2011-09-14 武汉市高德电气有限公司 基于动作分解和行为分析实现实景游戏的方法
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8401343B2 (en) 2011-03-27 2013-03-19 Edwin Braun System and method for defining an augmented reality character in computer generated virtual reality using coded stickers
US20120249544A1 (en) 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
US9071709B2 (en) 2011-03-31 2015-06-30 Nokia Technologies Oy Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US8508830B1 (en) 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US8832233B1 (en) 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US9191661B2 (en) 2011-08-29 2015-11-17 Microsoft Technology Licensing, Llc Virtual image display device
JP6144681B2 (ja) * 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング，エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8879155B1 (en) 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP5979507B2 (ja) 2011-11-24 2016-08-24 パナソニックＩｐマネジメント株式会社 頭部装着型ディスプレイ装置
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9330478B2 (en) 2012-02-08 2016-05-03 Intel Corporation Augmented reality creation using a real scene
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
JP5958689B2 (ja) 2012-03-22 2016-08-02 セイコーエプソン株式会社 頭部装着型表示装置
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
JP6015250B2 (ja) 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20140071163A1 (en) 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US8797340B2 (en) * 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9582123B2 (en) 2012-11-26 2017-02-28 Qualcomm Incorporated Dual-mode capacitance sensing in a touch panel sensor
US20140178029A1 (en) 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
KR102019124B1 (ko) 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
KR102050897B1 (ko) 2013-02-07 2019-12-02 삼성전자주식회사 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
CA2905427C (en) 2013-03-11 2022-07-12 Magic Leap, Inc. System and method for augmented and virtual reality
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
NZ735755A (en) * 2013-03-15 2019-04-26 Magic Leap Inc Display system and method
US9049469B2 (en) 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
US9685003B2 (en) 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10139623B2 (en) 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9911231B2 (en) 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
CN107003734B (zh) 2014-12-23 2019-12-17 美达视野股份有限公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统
US20170090194A1 (en) 2015-09-24 2017-03-30 Halo Augmented Reality Ltd. System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
US10768772B2 (en) 2015-11-19 2020-09-08 Microsoft Technology Licensing, Llc Context-aware recommendations of relevant presentation content displayed in mixed environments
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
EP3436863A4 (en) 2016-03-31 2019-11-27 Magic Leap, Inc. INTERACTIONS WITH 3D VIRTUAL OBJECTS USING POSES AND MULTI-DOF CONTROLLERS
US10191541B2 (en) 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
WO2019094953A1 (en) 2017-11-13 2019-05-16 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US11132055B2 (en) 2017-12-03 2021-09-28 Esight Corp. Enhancing the performance of near-to-eye vision systems
JP7087481B2 (ja) 2018-03-13 2022-06-21 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
US10901215B1 (en) 2018-05-16 2021-01-26 Facebook Technologies, Llc Systems and methods for providing a mobile artificial reality user with environmental awareness
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
SE1950580A1 (en) 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
WO2021030328A1 (en) 2019-08-12 2021-02-18 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11726318B2 (en) 2019-12-10 2023-08-15 Magic Leap, Inc. Increased depth of field for mixed-reality display
US11217024B2 (en) 2019-12-26 2022-01-04 Facebook Technologies, Llc Artificial reality system with varifocal display of artificial reality content
WO2021217277A1 (en) 2020-05-01 2021-11-04 Esight Corp. Wearable near-to-eye vision systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003513332A (ja) * 1999-10-29 2003-04-08 マイクロビジョン インコーポレイテッド ピンチ、タイミング及び歪み補正機能を備える走査表示
WO2013029667A1 (en) * 2011-08-31 2013-03-07 Lemoptix Sa A device and method for projecting an image
CN102938145A (zh) * 2012-10-23 2013-02-20 深圳大学 一种拼接类全景图的一致性调整方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Low-cost projection device with a 2D resonant microscanning mirror;Kai-Uwe Roscher等;《Proceeding of SPIE 5348, MOEMS Display and Imaging Systems II》;20040124;第21-30页 *

Also Published As

Publication number Publication date
WO2014144526A3 (en) 2014-12-24
JP6542945B2 (ja) 2019-07-10
NZ735755A (en) 2019-04-26
EP2973532A4 (en) 2017-01-18
JP2016520891A (ja) 2016-07-14
CA3160567A1 (en) 2014-09-18
AU2014229004B2 (en) 2017-09-21
US20220076495A1 (en) 2022-03-10
IL255455B (en) 2020-01-30
KR102271726B1 (ko) 2021-06-30
KR20190029794A (ko) 2019-03-20
NZ735754A (en) 2019-04-26
US9429752B2 (en) 2016-08-30
IL268635A (en) 2019-10-31
JP6683762B2 (ja) 2020-04-22
AU2017232176A1 (en) 2017-10-12
US10134186B2 (en) 2018-11-20
US20150235583A1 (en) 2015-08-20
IL255456B (en) 2020-01-30
US20150234184A1 (en) 2015-08-20
US10510188B2 (en) 2019-12-17
US20240078771A1 (en) 2024-03-07
CN107577350A (zh) 2018-01-12
CN107632709B (zh) 2021-06-08
JP6353105B2 (ja) 2018-07-04
JP6826174B2 (ja) 2021-02-03
KR102271719B1 (ko) 2021-06-30
JP6326482B2 (ja) 2018-05-16
KR20150130555A (ko) 2015-11-23
EP4027222A1 (en) 2022-07-13
CN107632710A (zh) 2018-01-26
NZ735752A (en) 2019-10-25
CN105229719A (zh) 2016-01-06
WO2014144526A2 (en) 2014-09-18
AU2021200916A1 (en) 2021-03-04
KR20210129277A (ko) 2021-10-27
IL255455A (en) 2018-01-31
KR20210080615A (ko) 2021-06-30
US10553028B2 (en) 2020-02-04
US9417452B2 (en) 2016-08-16
KR102458124B1 (ko) 2022-10-21
KR20230113418A (ko) 2023-07-28
IL255464B (en) 2020-01-30
JP2021072135A (ja) 2021-05-06
JP2018142343A (ja) 2018-09-13
KR20190029795A (ko) 2019-03-20
KR102271198B1 (ko) 2021-06-29
JP6542946B2 (ja) 2019-07-10
US20150235450A1 (en) 2015-08-20
KR20220144892A (ko) 2022-10-27
US10453258B2 (en) 2019-10-22
US20150235452A1 (en) 2015-08-20
JP2018147501A (ja) 2018-09-20
HK1248851A1 (zh) 2018-10-19
AU2017232175B2 (en) 2019-05-16
IL255484A (en) 2018-01-31
KR102560629B1 (ko) 2023-07-26
CN108628446B (zh) 2021-10-26
US10304246B2 (en) 2019-05-28
NZ712192A (en) 2018-11-30
AU2017232181A1 (en) 2017-10-12
JP2017107605A (ja) 2017-06-15
IL255454B (en) 2020-01-30
IL241657B (en) 2019-10-31
JP2018142344A (ja) 2018-09-13
CA2905506C (en) 2022-08-16
CN108427504B (zh) 2021-06-11
JP2018156663A (ja) 2018-10-04
CN107632710B (zh) 2021-04-30
NZ751593A (en) 2020-01-31
IL268637B (en) 2020-04-30
CN113918018A (zh) 2022-01-11
CN107656617A (zh) 2018-02-02
US20150235453A1 (en) 2015-08-20
CA2905506A1 (en) 2014-09-18
CN108628446A (zh) 2018-10-09
AU2017232179B2 (en) 2019-10-03
JP6676095B2 (ja) 2020-04-08
AU2014229004A1 (en) 2015-10-01
AU2017232177B2 (en) 2019-08-01
IL255456A (en) 2018-01-31
AU2019272052A1 (en) 2019-12-19
US20150235417A1 (en) 2015-08-20
US11854150B2 (en) 2023-12-26
CN107656618A (zh) 2018-02-02
AU2017232176B2 (en) 2019-10-03
CN107656618B (zh) 2021-03-23
NZ751602A (en) 2020-01-31
AU2017232175A1 (en) 2017-10-12
IL268635B (en) 2020-04-30
CN105229719B (zh) 2018-04-27
NZ735751A (en) 2019-10-25
IL255454A (en) 2018-01-31
US20150235451A1 (en) 2015-08-20
JP2020074080A (ja) 2020-05-14
JP6542944B2 (ja) 2019-07-10
NZ735747A (en) 2019-10-25
CN107656617B (zh) 2020-08-25
IL268637A (en) 2019-10-31
AU2017232177A1 (en) 2017-10-12
IL255464A (en) 2018-01-31
US20140267420A1 (en) 2014-09-18
IL255484B (en) 2020-01-30
US20150235449A1 (en) 2015-08-20
CN108427504A (zh) 2018-08-21
JP6602911B2 (ja) 2019-11-06
CN107632709A (zh) 2018-01-26
KR20190031337A (ko) 2019-03-25
EP2973532A2 (en) 2016-01-20
JP2018197860A (ja) 2018-12-13
KR102318391B1 (ko) 2021-10-26
KR102271727B1 (ko) 2021-06-30
AU2017232181B2 (en) 2019-10-03
US20150235430A1 (en) 2015-08-20
AU2017232179A1 (en) 2017-10-12
JP2018152092A (ja) 2018-09-27
US11205303B2 (en) 2021-12-21
AU2019272052B2 (en) 2020-11-19
AU2021200916B2 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
AU2021200916B2 (en) Display system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1248851

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant