CN107810463A - 混合显示系统 - Google Patents

混合显示系统 Download PDF

Info

Publication number
CN107810463A
CN107810463A CN201680035404.1A CN201680035404A CN107810463A CN 107810463 A CN107810463 A CN 107810463A CN 201680035404 A CN201680035404 A CN 201680035404A CN 107810463 A CN107810463 A CN 107810463A
Authority
CN
China
Prior art keywords
display
virtual objects
visual field
user
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680035404.1A
Other languages
English (en)
Other versions
CN107810463B (zh
Inventor
J·拉尼尔
J·S·科林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107810463A publication Critical patent/CN107810463A/zh
Application granted granted Critical
Publication of CN107810463B publication Critical patent/CN107810463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

公开了用于具有多个视场的显示系统的实施例。示例显示系统包括：被配置为跨第一视场产生图像的第一显示器；被配置为跨第二视场产生图像的第二显示器，第二视场大于第一视场；以及控制器，该控制器被配置为基于显示在用户的视空间内的虚拟对象的特征经由第一显示器和第二显示器中的一个或多个来选择性地呈现虚拟对象。

Description

混合显示系统
背景技术
不同的显示器配置可以为不同的显示场景提供优点。例如，某些显示器配置可以具有比其他显示器配置更宽的视场，以允许跨大范围显示内容。
发明内容
公开了用于显示系统的实施例，该显示系统具有多个视场。示例显示系统包括：被配置为跨第一视场产生图像的第一显示器；被配置为跨第二视场产生图像的第二显示器，第二视场大于第一视场；以及被配置为基于显示在用户的视空间内的虚拟对象的特征、经由第一显示器和第二显示器中的一个或多个显示器来选择性地呈现虚拟对象的控制器。
提供本“发明内容”以便以简化的形式介绍将在以下“具体实施方式”中进一步描述的概念的选择。本“发明内容”不是旨在标识所要求保护的主题的关键特征或基本特征，也不是旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提到的任何或全部缺点的实施方式。
附图说明
图1示出了示例环境，该示例环境包括用户和具有多个视场的显示系统。
图2示出了包括经由显示系统显示的增强的图1的示例环境。
图3示出了示例头戴式显示设备。
图4示出了用于头戴式显示设备的示例堆叠式显示器。
图5A和5B是用于经由具有多个视场的显示系统来显示虚拟对象的示例方法的流程图。
图6A和6B示出了跨多个计算设备协调的示例显示系统。
图7是示例计算系统的框图。
具体实施方式
用户可以经由佩戴在用户眼睛附近的显示器来查看真实世界环境的增强。这样的显示器可以被称为近眼显示设备或头戴式显示器(HMD)设备，这是归因于当用户佩戴时设备的放置。近眼显示器/HMD设备可以包括透视显示器，该透视显示器被配置为允许用户通过显示器来查看真实世界环境，同时经由合适的显示技术来呈现虚拟对象。可以用于近眼显示器/HMD设备的显示技术包括基于波导的、浴盆(birdbath)、光场和其他合适的显示器配置。然而，每种类型的显示器可以提供一组不同的优点和缺点。例如，基于波导的设备和浴盆设备可以提供具有高清晰度和对比度的高分辨率图像，但是当呈现在真实世界对象上方时，可以仅在窄的视场上显示，其具有弱的深度线索或者没有深度线索和低的遮挡效果(如通过透视显示器查看到的)。诸如点光模式(pinlight)显示器等光场显示器可以跨宽的视场范围提供具有可感知的深度线索以及遮挡真实世界环境的部分的能力的图像(如通过透视显示器查看到的)。然而，这样的光场显示器可能遭受低的分辨率、对比度和清晰度的影响，导致相对于基于波导的/浴盆配置的低质量图像。
本公开认识到上述显示器配置的互补特征，并且提供了组合两种类型的显示器配置以基于虚拟对象的特征以经由显示器配置类型中的一个或两个来选择性地呈现虚拟对象的显示系统和方法。例如，在具有两种显示器配置类型的显示系统中，在用户的视空间(例如，通过透视显示器的用户的视空间)的周边的虚拟对象可以经由具有宽视场的显示器配置来呈现。虚拟对象的位置可以在具有窄视场的显示器配置的视场之外，并且由具有宽视场的配置产生的图像的低分辨率/低质量在周边区域中是可容许的(例如，由于用户不直接查看该对象)。下面将更详细地描述当经由显示系统的不同显示器配置来选择性地呈现虚拟对象时所考虑的其他特征。
图1示出了包括房间的示例环境100，其中用户102可以利用显示系统(诸如头戴式显示设备104)来查看对环境的增强。头戴式显示设备104可以包括混合显示系统，该混合显示系统包括在该设备中形成显示器堆叠的两个不同显示器。显示器堆叠可以提供透视显示器，用户通过该透视显示器查看真实世界环境(例如，环境100)。经由显示器堆叠显示的任何图像可以被渲染以便出现在环境内，如通过透视显示器所查看到的。例如，经由头戴式显示器显示的虚拟对象可以看起来在用户面前“浮动”，以遮挡环境中的一个或多个真实/物理对象，以覆盖环境中的一个或多个真实/物理对象，和/或以其他方式在环境内可见。
如图所示，显示器堆叠的每个显示器可以具有可以在其上显示虚拟对象的不同视场。例如，第一窄视场106用第一组虚线示出，而第二宽视场108用第二组虚线示出。如图所示，窄视场106小于宽视场108(其可以包括由窄视场占据的区域)。在一些示例中，窄视场106可以低于40度，而宽视场108可以高于40度。在附加的或替代的示例中，窄视场106可以是30度到60度，而宽视场108可以高于60度。
宽视场108可以整体上对应于头戴式显示设备104的全视场，并且可以对应于通过头戴式显示设备的用户的视空间。相应地，如图1所示，真实世界环境中的一些对象(诸如绘画109、和沙发110的部分)可以在窄视场106内可见。真实世界环境中的其他对象(诸如附加的家居用品112(例如，衣架和书架)和沙发110的其余部分)可以在宽视场108内可见。被包括在每个视场中的真实世界环境的真实对象和区域可以随着用户102移动他/她的头而改变。然而，视场的相对大小和间隔可以被维持，从而将用户的视空间绑定到视场而不是环境。经由头戴式显示设备104显示的虚拟对象可以是环境锁定的(例如，绑定到真实对象，使得虚拟对象相对于用户的视空间的位置随着用户移动他/她的头部而改变，但是相对于真实对象不改变)或用户锁定的(例如，绑定到用户的视空间，使得随着用户移动他/她的头部，虚拟对象的位置不会相对于用户的视空间而改变，但是相对于环境中的真实对象而改变)。
给定虚拟对象的外观可以基于用于向用户呈现该虚拟对象的显示器的类型而变化。例如，与经由宽视场显示器呈现的虚拟对象相比，经由窄视场显示器呈现的虚拟对象可以以更高的分辨率来呈现。然而，与经由窄视场显示器呈现的虚拟对象相比，经由宽视场显示器呈现的虚拟对象可以在用户的视空间中提供环境中的真实对象的增加的遮挡。因此，关于要使用哪个显示器来显示给定虚拟对象的决定可以取决于该对象的特征。
图2示出了通过头戴式显示器104看到的环境100的示例性增强。所示示例中用于增强环境100的虚拟对象包括遮挡和覆盖来自图1的绘画109的图像或视频202，在图像或视频202旁边呈现在房间的墙壁上的基于文本的标记或标签204、以及用于遮挡图1的额外家居用品112的遮挡特征206。图像或视频202位于窄视场106内，这表示它可以由窄视场显示器配置、宽视场显示器配置或两种类型的显示器配置的组合来产生(基于其位置)。由于图像或视频旨在掩盖绘画109(例如，防止用户看到增强下面的绘画)，因此宽视场显示器配置可以被选择来呈现增强以便提供足够的绘画遮挡。
然而，如果图像或视频的精细细节是要被示出(例如，以高分辨率、清晰度或对比度)，则宽视场显示器配置可能不能够单独地提供预期的增强。在这种情况下，可以使用显示器配置的组合来呈现增强。例如，宽视场显示器配置可以用于使用“空白画布”(例如，纯色或图案)来遮挡绘画109，以允许图像经由窄视场显示器配置(例如，实际的预期的增强，诸如图像或视频202)来被覆盖。由宽视场显示器配置提供的“空白画布”增强可以是足够不透明的，足以基本上阻止用户102当通过头戴式显示器104查看时查看与该增强在相同位置的真实对象(例如，绘画109)。在其他示例中，宽视场显示器配置和窄视场显示器配置每个可以呈现增强(例如，图像或视频202)的不同部分。在其他示例中，增强(例如，图像或视频202)的一个或多个部分可以使用两种显示器配置同时呈现。
基于文本的标记或标签204也存在于窄视场106中，从而允许经由以上关于图像或视频202讨论的相同的示例显示器配置或显示器配置的组合来呈现该增强。然而，因为基于文本的标记或标签204被放置在墙上，这可以提供适当的画布(例如，纯色或微弱的图案)，即使其不足够不透明以提供显著的背景遮挡，也可以容易地查看增强，标记或标签204可以由窄视场显示器配置来呈现。标记或标签204的文本也可以受益于窄视场显示器配置的清晰度和高分辨率输出。
遮挡特征206位于窄视场106之外并且在宽视场108之内。因此，使用窄视场显示器配置不可能显示遮挡特征206。因此，遮挡特征206可以经由宽视场显示器配置来显示。由于遮挡特征206提供充分不透明(例如，具有低于阈值的透明度)以当通过头戴式显示设备104查看时，基本上遮挡额外家用物品112的增强，所以宽视场显示器配置也可以比窄视场显示器配置更适合提供这种遮挡。
如上所述，可以彼此协调地使用头戴式显示设备104的的两个显示器配置来提供增强。例如，由于在窄视场106和宽视场108两者中都存在沙发110，所以可以经由显示器配置的组合来呈现用于增强沙发110的虚拟对象。例如，可以基于增强的区域的位置、以模块方式呈现提供覆盖图以改变沙发外观(例如，颜色、图案、形状等)的增强。在这样的示例中，位于窄视场106内的增强的部分可以由窄视场显示器配置(或者两个显示器配置的组合，以例如提供如上所述的环境的选择性遮挡)来呈现，并且位于宽视场108之内(以及窄视场106之外)的增强的部分可以由宽视场显示器配置来呈现。
增强的附加处理可以在过渡区域中执行，诸如窄视场106的外边界附近的区域等。例如，呈现在窄视场中的图像的分辨率(例如，通过窄视场显示器配置)可以比呈现在宽视场中的图像更高。相应地，呈现在窄视场中的增强沙发110的虚拟对象的分辨率可以在靠近窄视场的边缘的虚拟对象的区域中逐渐降低(例如，窄和宽视场的交叉点)。例如，距离边界在阈值距离以外的虚拟对象的区域可以具有第一较高分辨率，并且距离边界在阈值距离以内的虚拟对象的区域可以具有第二较低分辨率。可以利用图像调整(例如，指数、线性、交错等)的任何合适的层次来减少从窄视场中具有高分辨率、清晰度和对比度的虚拟对象过渡到宽视场中具有低分辨率、清晰度和对比度的虚拟对象的振动效应。
图3示出了示例HMD设备300。所示出的HMD设备300采取可佩带的眼镜或护目镜的形式，但是其他形式也是可能的。HMD设备300可以是图1和图2的HMD设备104的示例。HMD设备300包括透视立体显示器302，该透视立体显示器302可以被配置为在视觉上增强用户通过该透视立体显示器正在查看的物理环境的外观。
例如，HMD设备300可以包括图像产生系统304，该图像产生系统304被配置为利用透视立体显示器302向用户显示虚拟对象。虚拟对象在视觉上被叠加到物理环境上以在不同的深度和位置处被感知。HMD设备300可以使用立体视觉来通过将虚拟对象的分开的图像显示给用户的两只眼睛来以可视化地将虚拟对象放置在期望的深度处。为了实现深度的感知，HMD设备300的图像产生系统304可以将虚拟对象的两个图像渲染在HMD设备300的渲染焦点平面处，使得在两个图像中的虚拟对象的相对位置之间存在双眼视差。例如，该双眼视差可以是水平视差，其中两个图像中的虚拟对象的相对位置在x轴方向上被分开一段距离。在该实施例中，x轴可以被定义为相对于用户向左和向右延伸的轴，y轴相对于用户向上和向下延伸，并且z轴相对于用户向前和向后延伸。
两个图像中的虚拟对象的相对位置之间的水平差异将导致用户感知到由于立体视觉，虚拟对象位于所查看的物理环境内的特定深度处。使用这种立体视觉技术，HMD设备300可以控制虚拟对象的所显示的图像，使得用户将感知到虚拟对象存在于所查看的物理环境中的期望的深度和位置处。
HMD设备300包括光学传感器系统306，该光学传感器系统306可以包括一个或多个光学传感器。在一个示例中，光学传感器系统306包括面向外的光学传感器308，该光学传感器308可以被配置为从与由用户通过透视立体显示器302所观察类似的有利点(例如，视线)检测真实世界背景。光学传感器系统306可以包括各种附加传感器，诸如深度相机和RGB相机，其可以是高清晰度相机或具有另一分辨率。尽管HMD设备300可以包括眼睛跟踪传感器(例如，面向内的相机)，本文中公开的显示器堆叠提供跨宽视场的图像，从而允许图像被显示在用户正在查看的任何地方，而不需要重新映射图像以适应给定的眼睛注视。
HMD设备300还可以包括位置传感器系统310，该位置传感器系统310可以包括一个或多个位置传感器，诸如加速度计、陀螺仪、磁力计、全球定位系统、多点定位跟踪器、和/或输出可用作相关传感器的位置、取向和/或运动的位置传感器信息的其他传感器。
从光学传感器系统306接收的光学传感器信息和/或从位置传感器系统310接收的位置传感器信息可以用于评估透视立体显示器302的有利点相对于其他环境对象的位置和取向。在一些实施例中，有利点的位置和取向可以用六个自由度(例如，自然空间X、Y、Z、俯仰、滚转、偏航)来表征。有利点可以全局性地或独立于真实世界的背景地表征。位置和/或取向可以由板上计算系统(例如，机载计算系统312)和/或板外计算系统来确定。
此外，光学传感器信息和位置传感器信息可以由计算系统使用来执行真实世界背景的分析，诸如深度分析、表面重建、环境颜色和照明分析或其他合适的操作。特别地，光学和位置传感器信息可以用于创建真实世界背景的虚拟模型。在一些实施例中，有利点的位置和方向可以相对于该虚拟空间来表征。此外，虚拟模型可以用于确定虚拟对象在虚拟空间中的位置，并且在虚拟世界内的期望的深度和位置处添加待显示给用户的附加虚拟对象。
图4示出了用于HMD设备(例如，图1和图2的HMD设备104和/或图3的HMD设备300)的示例堆叠显示器400或用于呈现虚拟图像以增强真实世界环境的其他显示系统。堆叠显示器沿着从眼睛404延伸的光轴402依次包括窄视场显示器配置406和宽视场显示器配置408。显示器配置406和408可以通过气隙410彼此分离，以防止来自每个显示器配置的光之间的干涉被导向眼睛404。窄视场显示器配置406可以被定位为比宽视场显示器配置408更靠近眼睛404，以便减少宽视场显示器配置对窄视场显示器配置所提供的分辨率的影响。但是，显示器配置在图4中的放置顺序是示例性的，并且在一些示例中，宽视场显示器配置可以放置为比窄视场显示器配置更接近眼睛，诸如其中显示系统的遮挡能力比显示系统的分辨率能力更高权重的示例情景。
窄视场显示器配置406可以包括任何合适的显示技术，该技术跨小于60度的视场提供具有相对高的分辨率、清晰度和对比度(例如，相对于宽视场显示器配置)的图像。例如，窄视场显示器配置406的视场可以在30度到60度的范围内。窄视场显示器可以具有典型地在320×240像素到1980×1200像素之间的典型的LCoS、LCD或OLED微显示器的分辨率。窄视场显示器配置可以仅能够产生图像而不遮挡来自外界的光，和/或可以仅能够遮挡50％或更少的环境，这可能导致相对于宽视场显示器配置选择性地遮挡环境的能力下降。因此，如果窄视场显示器向用户呈现对象，由于虚拟对象的透明性，虚拟对象看起来不现实，用户的体验可能会减弱。因此，可以用于遮挡的相同面板被用于宽视场显示(例如，如以下更详细描述的点光模式显示)。窄视场显示器配置还可以具有降低的能力来为所显示的图像提供相对于宽视场显示器配置的深度提示。因此，宽视场显示器配置可以更适合于显示与用于向计算系统提供手势输入的交互式虚拟对象或真实对象相关联的虚拟对象。
可以用于窄视场显示器配置406的示例显示器包括波导类型显示器，诸如体积全息图光学器件、浴盆显示器以及为窄视场显示器配置提供上述特征的其他显示器。例如，窄视场显示器配置可以包括波导/光导和反射、折射或衍射元件，其用于重定向来自光源的光以照亮微型显示器和将来自微型显示器的光返回到眼睛以将受控图像呈现给用户。波导类型或者浴盆显示器可以包括一个或多个棱镜、分束器、全息光学元件、表面起伏光栅(或者其他衍射光栅)以照亮微型显示器(例如，硅上液晶[LCoS]显示器或者其他合适的微型显示器)并且将产生的图像的光导向眼睛，以及一个或多个滤光器和/或透镜以将期望的光线倾向眼睛。
图4提供了被包括在窄视场显示器配置406中的波导显示器的示例。波导显示器包括光源412(例如，显微投影装置)，其将光(例如，经由一个示例中的RGB激光器)引导到光束调节光学器件414，确保光束进入波导418并且从光源412呈现的图像被校准。光从光束调节光学器件414被引导到波导418。波导418可以包括一个或多个小面416用于在不同点、朝向观察者的眼睛、将光从波导中部分地反射出去。这些部分反射形成多个出射瞳孔，允许眼睛从各个位置看到由图像源呈现的图像。这种瞳孔复制也可以通过其他方式来完成，诸如表面起伏光栅、布拉格光栅、可切换光栅等。对于这些方法，多个光栅可以在多个方向上复制瞳孔。在一些示例中，可选的遮挡层420可以被包括在显示器中。遮挡层420可以以像素阵列的形式被配置，其中每个像素是单独可寻址的机电或电光元件。来自外界或来自宽视场显示器配置的光可以被遮挡层420遮挡。在这样的系统的另一示例中，遮挡可以替代地由宽视场显示器的LCD层426提供。
这样的配置可以被结合在数字显示系统中，该数字显示系统具有在操作上耦合到像素阵列的电子控制器。在这些示例中，电子控制器通过向阵列的每个像素发送适当的控制信号来指示形成显示图像，该控制信号控制来自该像素的反射光的光调制。因此，在一个示例中，图像形成显示器可以是数字微镜器件(DMD)。在其他示例中，图像形成光学器件可以是反射式硅上液晶(LCOS)阵列，或者事实上是通过反射在其上入射的照射的任何部分来形成图像的任何其他类型的像素阵列。在另一实现中，图像形成显示器可以是发射显示器，诸如LED或OLED(有机LED)发射器的阵列。电子控制器可以与窄视场显示器配置406和宽视场显示器配置408通信(例如，直接或间接地)，以协调跨用户的视空间的虚拟对象的显示，这可以跨越由显示器配置提供的两个视场。
宽视场显示器配置408可以包括提供宽视场(例如，大于60度、和/或大于80度，诸如90度视场)、选择性遮挡能力(例如，比窄视场显示器配置更大的遮挡能力)以及比由窄视场显示器配置产生的图像更可辨识的深度线索的任何合适的显示器。一种这样的显示器配置可以被称为孔掩模显示器。孔掩模显示器可以包括LCD或者在空间上调制被引导到显示器的用户的眼睛的瞳孔的一个或多个会聚和/或发散光束以提供上述特征的其他设备。宽视场显示器配置(例如，孔掩模显示器)的示例是光场显示器，诸如pinlight显示器。示例性的点光模式显示器在图4中示出。如图所示，点光模式显示器可以包括RGB发光二极管(LED)阵列422，其将光引导向点光模式阵列424。点光模式阵列424可以包括蚀刻的丙烯酸片材，其具有多个凹陷的阵列，当从具有LED阵列422的侧面照射时，这些凹陷形成平铺的点光模式阵列以将光引导向空间光调制器(例如，透明液晶显示器[LCD])426。对于任何给定的眼睛位置，查看者将会看到由点光模式阵列的特定元素照亮的多个像素。通过跟踪查看者的眼睛的位置，计算机可以为空间光调制器上的每个像素提供正确的信息。图4所示和以上描述的示例是示例性的，并且提供宽视场显示器配置的上述特性的任何合适的显示器可以被包括在配置中。宽视场显示器(例如，孔掩模显示器)的另一示例可以使用通过LCD 426聚焦到眼睛的瞳孔中的点光源。这样的显示器可以被称为麦克斯韦式视图显示器。
由于上述不同显示器配置的互补特征，被生成以向真实世界环境提供增强的虚拟对象可以以协调方式经由一个或两个显示器配置来被呈现。图5A是方法500a的流程图，该方法500a用于确定将使用哪个显示器(例如，窄视场显示器配置、宽视场显示器配置或两种显示器配置)来将虚拟对象呈现给显示系统。方法500a可以由合适的控制器执行，诸如绑定到图4的显示器配置406和408的控制器(例如，头戴式显示设备的处理器，诸如图1和2的HMD设备104和/或图3的HMD设备300)。
在502，该方法包括从第一光源向波导引导光以经由第一显示器配置来选择性地呈现虚拟对象。例如，如上面关于图4所描述的，可以将光引导至全息光学元件以照亮微型显示器，该微型显示器用于经由窄视场显示器呈现图像。如方法500a中所述，第一显示器配置可以对应于本文中描述的窄视场显示器配置。
在504，该方法包括从一个或多个第二光源向用户的眼睛引导光以经由第二显示器配置来选择性地呈现虚拟对象。例如，如上面关于图4所描述的，可以将一个或多个光源引导至蚀刻的材料片(例如，丙烯酸的)以产生多个点光，该点光被指向透射式显示器以照亮该透射式显示器以产生用户可见的图像。如方法500a中所述，第二显示器配置可以对应于本文中描述的宽视场显示器配置。
在506，该方法包括生成虚拟对象用于在用户的视空间中显示。例如，用户的视空间可以包括通过显示系统(例如，通过第一和第二显示器配置)的用户的视场。虚拟对象可以包括任何合适的可显示元素，包括物理对象、形状、图案或色彩的固体色板、和/或任何其他合适的可显示特征的表示。在508，该方法可以包括评估虚拟对象的特征。这样的特征可以包括虚拟对象在用户的视空间中的位置(例如，虚拟对象将呈现在其中的视场、虚拟对象相对于每个显示器配置的视场之间的交点的相对接近程度、虚拟对象是否将与视场交叠等)、虚拟对象的大小以及虚拟对象的透明度或不透明度(例如，虚拟对象将在真实世界环境之上提供的遮挡水平)。这些特征可以附加地或备选地包括被包括在虚拟对象(例如，图像、动画、视频、文本等)中的内容的类型、被包括在虚拟对象中的深度线索(例如，虚拟对象是否被绑定到真实世界环境中的物理对象，虚拟对象是否位于与环境中的其他虚拟对象或物理对象不同的深度处)、以及虚拟对象的使用(例如，虚拟对象是否将被使用作为手势输入的交互元素，和/或增强物理对象，该物理对象将被用作手势或可致动输入的交互元素)。关于虚拟对象的特征的评估的附加细节将在下面参考图5B来描述。
在510，该方法包括经由基于虚拟对象的特征选择的显示模式来呈现虚拟对象。如在512所指示的，第一显示模式包括仅经由第一(例如，窄的)视场显示器配置来显示虚拟对象(例如，不经由第二[例如，宽]视场显示器配置来显示虚拟对象)。如514所示，第二显示模式包括仅经由第二(例如，宽的)视场显示器配置来显示虚拟对象(例如，不经由第一[例如，窄]视场显示器配置来显示虚拟对象)。如516所示，第三显示模式包括经由第一和第二视场显示器配置两者来显示虚拟对象(例如，以如上所述的协调方式)。
图5B是评估虚拟对象的特征并且确定将在何种模式下显示虚拟对象的方法500b的流程图。例如，图5B的过程可以在图5A的方法500a的508和/或510处执行。方法500b可以由显示系统的协调控制器来执行，如上面关于图5B所描述的。在518，该方法包括确定虚拟对象是否在第一视场内(例如，窄视场)。第一视场可以表示虚拟对象在用户的视空间的中心区域中的位置。第一视场之外可以对应于虚拟对象在用户的视空间的外围区域中的位置。如果虚拟对象不在第一视场内(例如，在518处为“否”)，则第一显示器配置可能不能够显示虚拟对象，并且该方法进行到520以经由宽视场显示器配置来呈现虚拟对象。
如果虚拟对象在第一视场内(例如，在518处为“是”)，则该方法进行到522以确定虚拟对象的透明度是否在阈值以上。虚拟对象的透明度可以指示对象是否要被用来遮挡真实世界环境的部分。例如，阈值可以对应于透明度级别，在该透明度级别以下，对象将基本上遮挡位于通过显示系统查看的该对象的位置处的真实世界环境。在阈值以上的透明度级别可以允许真实世界环境在通过显示系统查看时保持穿过虚拟对象可见，这可能不允许虚拟对象遮挡真实世界环境。如果虚拟对象的透明度不在阈值以上(例如，虚拟对象将提供遮挡，则在522为“否”)，则窄视场显示器配置可能不能够向虚拟对象呈现足够的遮挡能力。相应地，该方法进行到520以经由宽视场显示器配置呈现虚拟对象。如果虚拟对象的透明度在阈值以上(例如，在522处为“是”)，则方法可以进行到524以确定虚拟对象的内容的类型的可见性是否受到清晰度/对比度值的高度影响。例如，文本在低清晰度或对比度值下可能无法读取，而在清晰度或对比度值低时，某些图像或颜色模式仍可以被理解。由于窄视场显示器配置可以提供比宽视场显示器更高的清晰度和对比度，所以在520，如果虚拟对象的内容的类型的可见性不受清晰度/对比度值的高度影响(例如，524处的“否”)，则可以经由宽视场显示器配置来显示虚拟对象。然而，如虚线526所示，如果内容不要求高清晰度/对比度值，则内容仍然可以经由窄视场显示器配置呈现。
如果内容类型的可见性受到清晰度/对比度的高度影响(例如，524处的“是”)，则方法进行到528以确定虚拟对象的分辨率是否在阈值以上。例如，阈值可以被设置为可以由宽视场显示器配置提供的最高可实现的分辨率。类似于524，如果分辨率在阈值以上，则该方法可以进行到520或526以经由宽或窄视场显示器呈现虚拟对象。例如，如果虚拟对象的分辨率在宽视场显示器配置的能力范围内，则窄视场显示器配置仍可以用于呈现虚拟对象。
如果虚拟对象的分辨率在阈值以上(例如，在528处为“是”)，则该方法进行到530以确定虚拟对象是否对应于用于手势识别的交互式元素。例如，用于手势识别的交互式元素可能受益于深度线索，该深度线索在经由宽视场显示器显示虚拟对象时可能更易识别。如果虚拟对象不对应于用于手势识别的交互元素(例如，在530处为“否”)，则该方法可以前进至526以经由窄视场显示器配置呈现虚拟对象。然而，即使虚拟对象对应于用于手势识别的交互元素(例如，530处的“是”)，由于530在确定虚拟对象具有在阈值以上的分辨率并且受清晰度/对比度的高度影响之后发生530，所以仅经由宽视场显示器配置来显示虚拟对象可能不是一个选项，因为宽视场显示器配置可能不提供这样的图像质量水平。相应地，530的“是”分支进行到532以经由宽和窄视场显示器两者呈现虚拟对象。例如，可以如上所述协调经由两个显示器的呈现(例如，以经由“空白画布”提供遮挡，然后使用不同配置在其上显示精细细节和/或显示虚拟图像的部分)。如虚线所示，导致确定虚拟对象将由窄视场显示器呈现的这一确定的任何特征还可以对应于确定虚拟对象将经由窄和宽视场显示器两者来呈现的这一确定。
尽管上面描述了其中窄和宽视场显示器配置被容纳在单个设备(例如，头戴式显示设备)中的显示系统的示例，但是应当理解，其他显示系统可以执行关于不同类型的显示器配置之间的协调的类似的动作。例如，图6A和6B示出了示例场景，在该示例场景中，第一显示器配置(例如，宽视场显示器配置)被包括在第一计算设备(例如，提供宽视场603的头戴式显示设备602)中，并且第二显示器配置(例如，窄视场显示器配置)被包括在远离第一计算设备的第二计算设备(例如，计算设备604，诸如膝上型计算机、平板电脑、智能手机、台式计算机显示器等)。如图所示，经由计算设备604显示的一个或多个对象可以经由头戴式显示设备602来增强。例如，计算设备604和头戴式显示设备可以彼此通信以共享显示控制并且协调虚拟对象的呈现。如图6A显示，计算设备604可以显示对象606，当通过头戴式显示器602查看时该对象606可以被对象608遮挡。
通过堆叠两个显示器配置并且经由如上所述的两个显示器配置来控制虚拟对象的显示，可以征用每种类型的显示器配置的优点以呈现虚拟对象，该虚拟对象具有变化很大的特征以及与真实世界环境的交互水平。
在一些实施例中，本文中描述的方法和过程可以绑定到一个或多个计算设备的计算系统。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。
图7示意性地示出了可以实施上述方法和过程中的一个或多个的计算系统700的非限制性实施例。计算系统700以简化形式示出。计算系统700可以采取一个或多个个人计算机、服务器计算机、平板电脑、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备的形式。例如，计算系统700可以包括和/或被包括在图1和图2的头戴式显示设备104中和/或图3的HMD设备300中。
计算系统700包括逻辑处理器702和存储设备704。计算系统700可以可选地包括显示子系统706、输入子系统708、通信子系统710和/或图7中未示出的其他部件。
逻辑处理器702包括被配置为执行指令的一个或多个物理设备。例如，逻辑机器可以被配置为执行的指令，该指令作为一个或多个应用、服务、程序、例程、库、对象、部件、数据结构或其他逻辑构造的部分。这样的指令可以被实现以执行任务，实现数据类型，变换一个或多个部件的状态，实现技术效果，或者以其他方式达到期望的结果。
逻辑机器可以包括被配置为执行软件指令的一个或多个处理器。附加地或备选地，逻辑机器可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机器的处理器可以是单核或多核的，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机器的各个部件可选地可以分布在两个或更多个分离的设备之间，这些设备可以被远程定位和/或被配置用于协调处理。逻辑机器的各个方面可以通过以云计算配置所配置的、可远程访问的、联网计算设备来虚拟化和执行。
存储设备704包括一个或多个物理设备，该物理设备被配置为保存可由逻辑机器执行以实现本文中描述的方法和过程的指令。当实现这样的方法和过程时，存储设备704的状态可以被变换，例如以保存不同的数据。
存储设备704可以包括可移除和/或内置的设备。存储设备704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。存储设备704可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
将会理解，存储设备704包括一个或多个物理设备。然而，替代地，本文中描述的指令的各方面可以通过在有限持续时间内不被物理设备保持的通信介质(例如，电磁信号、光信号等)来传播。
逻辑处理器702和存储设备704的各方面可以被一起集成到一个或多个硬件逻辑部件中。这些硬件逻辑部件可以包括例如现场可编程门阵列(FPGA)、程序和应用特定的集成电路(PASIC/ASIC)、程序和应用特定的标准产品(PSSP/ASSP)、片上系统(SOC)和复杂的可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可以用于描述被实现为执行特定功能的计算系统700的一方面。在一些情况下，模块、程序或引擎可以经由逻辑处理器702执行由存储设备704保持的指令来执行。应当理解，不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。同样，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、API，函数等实例化。术语“模块”、“程序”和“引擎”可以包括单个或多组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
当被包括时，显示子系统706可以用于呈现由存储设备704保存的数据的可视表示。该可视表示可以采取图形用户界面(GUI)的形式。由于本文中描述的方法和过程改变由存储机器保存的数据，并且因此转换存储机器的状态，所以显示子系统706的状态可以同样地被转换以可视地表示底层数据的改变。显示子系统706可以包括实际上利用任何类型的技术的一个或多个显示设备。例如，显示子系统706可以包括显示器堆叠，诸如图4的显示器堆叠400。这样的显示设备可以与逻辑处理器702和/或存储设备704被组合在共享外壳中，或者这样的显示设备可以是外围显示设备。
当被包括时，输入子系统708可以包括一个或多个用户输入设备，自然键盘、鼠标、触摸屏或游戏控制器，或与之接口。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件，或与其接口。这样的部件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外处理。示例NUI部件可以包括用于语音和/或声音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部追踪器、眼动仪、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测部件。
当被包括时，通信子系统710可以被配置为将计算系统700与一个或多个其他计算设备在通信上耦合。通信子系统710可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络或者有线或无线的局域网或广域网进行通信。在一些实施例中，通信子系统可以允许计算系统700经由诸如因特网等网络向其他设备发送消息和/或从其他设备接收消息。
另一示例提供了一种显示系统，该显示系统包括：被配置为跨第一视场产生图像的第一显示器；被配置为跨第二视场产生图像的第二显示器，第二视场大于第一视场；以及控制器，被配置为基于显示在用户的视空间内的虚拟对象的特征经由第一显示器和第二显示器中的一个或多个来选择性地呈现虚拟对象的。在该示例性显示系统中，第一显示器可以附加地或备选地包括波导类型或浴盆显示器，并且第二显示器可以附加地或备选地包括压缩的光场或麦克斯韦式视图显示器。在该示例显示系统中，第一显示器可以附加地或备选地包括向波导中投影的显微投影装置和用于在多个方向上复制瞳孔的多个光栅，并且其中第二显示器包括点光模式显示器。在该示例显示系统中，特征可以附加地或备选地包括虚拟对象在用户的视空间中的位置，并且经由第一显示器配置和第二显示器配置中的一个或多个来选择性地呈现虚拟对象可以附加地或备选地包括响应于确定虚拟对象的位置在第一视场之外仅经由第二显示器来呈现虚拟对象。在该示例显示系统中，第一显示器可以附加地或备选地具有小于或等于60度的视场，并且第二显示器可以附加地或备选地具有大于60度的视场。在该示例性显示系统中，第一显示器的视场可以附加地或备选地在30度到60度之间(包括端值)，第二显示器的视场可以附加地或备选地在60度以上，并且第二显示器可以附加地或备选地提供通过第二显示器查看到的真实世界环境的选择性遮挡。在该示例显示系统中，第一显示器可以附加地或备选地具有比第二显示器更高的分辨率。在该示例显示系统中，经由第一显示器和第二显示器来选择性地呈现虚拟对象可以附加地或备选地包括响应于确定虚拟对象的透明度低于阈值经由第二显示器来显示虚拟对象的至少部分。在该示例性显示系统中，显示系统可以附加地或备选地沿着从用户的眼睛延伸的光轴依次包括第一显示器、气隙和第二显示器。上述示例中的任何或全部可以在各种实现中以任何合适的方式进行组合。
另一实例提供一种在显示装置中产生图像的方法，该方法包括从第一光源向波导引导光以经由第一显示器来选择性地呈现虚拟对象，第一显示器具有第一视场，从一个或多个第二光源向用户的眼睛引导光以经由第二显示器来选择性地呈现虚拟对象，第二显示器具有大于第一视场的第二视场，生成虚拟对象用于在用户的视空间中显示，确定虚拟对象在用户的视空间内的位置以及虚拟对象的特征，如果虚拟对象的位置在第一视场之外，则使用第二显示器显示虚拟对象，并且如果虚拟对象的位置在第一视场之内，则基于虚拟对象的特征使用第一显示器和第二显示器中的一个或多个来选择性地显示虚拟对象。在该示例方法中，特征可以附加地或备选地包括虚拟对象的透明度，并且使用第一显示器和第二显示器中的一个或多个来选择性地显示虚拟对象可以附加地或备选地包括：如果虚拟对象的透明度在阈值以上，则显示使用第一显示器和第二显示器中的一个或多个显示虚拟对象，并且如果虚拟对象的透明度在阈值以下，则使用至少第二显示器显示虚拟对象。在该示例方法中，特征可以附加地或备选地包括虚拟对象作为用户界面的交互式对象的指定，使得虚拟对象与用于向用户界面提供手势输入的虚拟或真实世界元素相对应。在该示例性方法中，特征可以附加地或备选地包括虚拟对象的分辨率，并且使用第一显示器选择性地显示虚拟对象可以附加地或备选地包括：如果虚拟对象的分辨率在阈值以上，则使用第一显示器显示虚拟对象，并且如果虚拟对象的分辨率在阈值以下，则使用第二显示器显示虚拟对象。在该示例方法中，该方法可以附加地或备选地还包括：响应于确定虚拟对象位于第一视场内并且虚拟对象的透明度在阈值以上，使用第一显示器显示虚拟对象的至少第一部分并且使用第二显示器显示虚拟对象的至少第二部分。在该示例方法中，第二显示器可以附加地或备选地包括点光模式显示器或麦克斯韦式视图显示器。上述示例中的任何或全部可以以各种实现中的任何合适的方式进行组合。
另一示例提供了一种头戴式显示设备，其包括：被配置为跨第一视场产生图像的，第一显示器包括波导；被配置为跨第二视场产生图像的第二显示器；第二视场大于第一视场，第二显示器包括孔掩模显示器并且通过气隙与第一显示器分离；以及电路，该电路被配置为基于显示在用户的视空间内的虚拟对象的特征、经由多个显示模式中的所选择的显示模式、向头戴式显示设备的佩戴者呈现虚拟对象，显示模式包括：其中仅经由第一显示器显示虚拟对象的第一显示模式、其中仅经由第二显示器显示虚拟对象的第二显示模式、以及其中经由第一显示器和第二显示器显示虚拟对象的第三显示模式。在该示例性头戴式显示设备中，第一显示器和第二显示器可以附加地或备选地形成堆叠式显示器，其中第一显示器被定位为比第二显示器更靠近头戴式显示设备佩戴者的眼睛。在该示例性头戴式显示设备中，第一显示器可以附加地或备选地具有小于或等于60度的视场，第二显示器可以附加地或备选地具有大于60度的视场，并且第二显示器可以附加地或备选地提供通过第二显示器查看到的真实世界环境的选择性遮挡。在该示例性头戴式显示设备中，经由多个显示模式中的所选择的显示模式向头戴式显示设备的佩戴者呈现虚拟对象可以附加地或备选地包括：响应于确定虚拟对象的透明度在阈值以下经由第二显示模式显示虚拟对象的至少部分。在该示例性头戴式显示设备中，经由多个显示模式中的所选择的显示模式、向头戴式显示设备的佩戴者呈现虚拟对象可以附加地或备选地包括：响应于确定虚拟对象将被呈现在用户的视空间的外围区域中，经由第二显示模式显示虚拟对象的至少部分，并且响应于确定虚拟对象将被呈现在用户的视空间中央区域中，经由第一显示模式显示虚拟对象的至少部分。在该示例性头戴式显示设备中，第一显示器可以附加地或备选地具有高于第二显示的分辨率。在该示例性头戴式显示设备中，孔掩模显示器可以附加地或备选地包括点光模式显示器或麦克斯韦式视图显示器。上述示例中的任何或全部可以在各种实现中以任何合适的方式进行组合。
应当理解，本文中描述的配置和/或方法本质上是示例性的，并且这些具体实施例或示例不应当被认为是限制性的，因为很多变化是可能的。本文中描述的具体例程或方法可以表示任何数目的处理策略中的一个或多个。因此，所示出和/或描述的各种动作可以以所示和/或描述的顺序、以其他顺序、并行执行或省略。类似地，可以改变上述过程的顺序。
本公开的主题包括本文中公开的各种过程、系统和配置以及其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合、以及其任何和所有等同物。

Claims (15)

1.一种显示系统，包括：
第一显示器，被配置为跨第一视场产生图像；
第二显示器，被配置为跨第二视场产生图像，所述第二视场大于所述第一视场；以及
控制器，被配置为基于被显示在用户的视空间内的虚拟对象的特征、经由所述第一显示器和所述第二显示器中的一个或多个显示器来选择性地呈现所述虚拟对象。
2.根据权利要求1所述的显示系统，其中所述第一显示器包括波导类型或浴盆显示器，并且其中所述第二显示器包括压缩的光场或麦克斯韦式视图显示器。
3.根据权利要求2所述的显示系统，其中所述第一显示器包括：向波导中投影的显微投影装置和用于在多个方向上复制瞳孔的多个光栅，并且其中所述第二显示器包括点光模式显示器。
4.根据权利要求1所述的显示系统，其中所述特征包括所述虚拟对象在所述用户的视空间中的位置，并且其中经由所述第一显示器配置和所述第二显示器配置中的一个或多个显示器配置来选择性地呈现所述虚拟对象包括：响应于确定所述虚拟对象的位置在所述第一视场之外，仅经由所述第二显示器来呈现所述虚拟对象。
5.根据权利要求1所述的显示系统，其中所述第一显示器具有小于或等于60度的视场，并且其中所述第二显示器具有大于60度的视场。
6.根据权利要求5所述的显示系统，其中所述第一显示器的视场在30度到60度之间，包括端值，其中所述第二显示器的视场在60度以上，并且其中所述第二显示器提供通过所述第二显示器查看到的真实世界环境的选择性遮挡。
7.根据权利要求1所述的显示系统，其中所述第一显示器具有比所述第二显示器更高的分辨率。
8.根据权利要求1所述的显示系统，其中经由所述第一显示器和所述第二显示器来选择性地呈现所述虚拟对象包括：响应于确定所述虚拟对象的透明度低于阈值，经由所述第二显示器来显示所述虚拟对象的至少部分。
9.根据权利要求1所述的显示系统，其中所述显示系统沿着从用户的眼睛延伸的光轴依次包括：所述第一显示器、气隙和所述第二显示器。
10.一种在显示设备中产生图像的方法，所述方法包括：
从第一光源向波导引导光以经由第一显示器来选择性地呈现虚拟对象，所述第一显示器具有第一视场；
从一个或多个第二光源向用户的眼睛引导光以经由第二显示器来选择性地呈现虚拟对象，所述第二显示器具有大于所述第一视场的第二视场；
生成虚拟对象以用于在用户的视空间中显示；
确定所述虚拟对象在所述用户的视空间内的位置和所述虚拟对象的特征；
如果所述虚拟对象的所述位置在所述第一视场之外，则使用所述第二显示器显示所述虚拟对象；以及
如果所述虚拟对象的所述位置在所述第一视场之内，则基于所述虚拟对象的特征、使用所述第一显示器和所述第二显示器中的一个或多个显示器来选择性地显示所述虚拟对象。
11.根据权利要求10所述的方法，其中所述特征包括所述虚拟对象的透明度，并且其中使用所述第一显示器和所述第二显示器中的一个或多个显示器来选择性地显示所述虚拟对象包括：如果所述虚拟对象的透明度在阈值以上，则使用所述第一显示器和所述第二显示器中的一个或多个显示器来显示所述虚拟对象，以及如果所述虚拟对象的透明度在所述阈值以下，则使用至少所述第二显示器来显示所述虚拟对象。
12.根据权利要求10所述的方法，其中所述特征包括：将所述虚拟对象作为用于用户界面的交互式对象的指定，使得所述虚拟对象与用于向所述用户界面提供手势输入的虚拟元素或真实世界元素相对应。
13.根据权利要求10所述的方法，其中所述特征包括所述虚拟对象的分辨率，并且其中使用所述第一显示器选择性地显示所述虚拟对象包括：如果所述虚拟对象的分辨率在阈值以上，则使用所述第一显示器显示所述虚拟对象，以及如果所述虚拟对象的分辨率在所述阈值以下，则使用所述第二显示器显示所述虚拟对象。
14.根据权利要求10所述的方法，还包括：响应于确定所述虚拟对象位于所述第一视场内并且所述虚拟对象的透明度在阈值以上，使用所述第一显示器显示所述虚拟对象的至少第一部分并且使用所述第二显示器显示所述虚拟对象的至少第二部分。
15.根据权利要求10所述的方法，其中所述第二显示器包括点光模式显示器或麦克斯韦式视图显示器。
CN201680035404.1A 2015-06-17 2016-05-18 头戴式显示系统和设备以及头戴式显示中产生图像的方法 Active CN107810463B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/742,592 2015-06-17
US14/742,592 US9977493B2 (en) 2015-06-17 2015-06-17 Hybrid display system
PCT/US2016/032951 WO2016204916A1 (en) 2015-06-17 2016-05-18 Hybrid display system

Publications (2)

Publication Number Publication Date
CN107810463A true CN107810463A (zh) 2018-03-16
CN107810463B CN107810463B (zh) 2020-12-18

Family

ID=56134569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680035404.1A Active CN107810463B (zh) 2015-06-17 2016-05-18 头戴式显示系统和设备以及头戴式显示中产生图像的方法

Country Status (4)

Country Link
US (1) US9977493B2 (zh)
EP (1) EP3311247B1 (zh)
CN (1) CN107810463B (zh)
WO (1) WO2016204916A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673718A (zh) * 2018-07-02 2020-01-10 苹果公司 用于显示系统的基于聚焦的调试和检查
CN113168007A (zh) * 2018-09-25 2021-07-23 奇跃公司 用于增强现实的系统和方法
CN114616509A (zh) * 2019-10-31 2022-06-10 奇跃公司 具有关于持久坐标框架的质量信息的交叉现实系统

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
JP6304240B2 (ja) * 2013-04-04 2018-04-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
CN113437206B (zh) 2014-06-18 2024-03-08 艾克斯展示公司技术有限公司 微组装led显示器
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10380930B2 (en) 2015-08-24 2019-08-13 X-Celeprint Limited Heterogeneous light emitter display system
US10230048B2 (en) 2015-09-29 2019-03-12 X-Celeprint Limited OLEDs for micro transfer printing
US10140464B2 (en) * 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
US10066819B2 (en) 2015-12-09 2018-09-04 X-Celeprint Limited Micro-light-emitting diode backlight system
US10153256B2 (en) 2016-03-03 2018-12-11 X-Celeprint Limited Micro-transfer printable electronic component
US10008483B2 (en) 2016-04-05 2018-06-26 X-Celeprint Limited Micro-transfer printed LED and color filter structure
US10199546B2 (en) 2016-04-05 2019-02-05 X-Celeprint Limited Color-filter device
CA3030848A1 (en) 2016-07-15 2018-01-18 Light Field Lab, Inc. Energy propagation and transverse anderson localization with two-dimensional, light field and holographic relays
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
US10534179B1 (en) 2016-10-18 2020-01-14 Meta View, Inc. Image projection systems and methods
US10347168B2 (en) * 2016-11-10 2019-07-09 X-Celeprint Limited Spatially dithered high-resolution
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10365493B2 (en) 2016-12-23 2019-07-30 Realwear, Incorporated Modular components for a head-mounted display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10127727B1 (en) * 2017-01-10 2018-11-13 Meta Company Systems and methods to provide an interactive environment over an expanded field-of-view
US10468391B2 (en) 2017-02-08 2019-11-05 X-Celeprint Limited Inorganic light-emitting-diode displays with multi-ILED pixels
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US11119567B2 (en) * 2017-03-23 2021-09-14 Interdigital Ce Patent Holdings Method and apparatus for providing immersive reality content
US10317990B2 (en) 2017-05-25 2019-06-11 International Business Machines Corporation Augmented reality to facilitate accessibility
US10282912B1 (en) * 2017-05-26 2019-05-07 Meta View, Inc. Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
CN111133366B (zh) * 2017-09-20 2022-11-08 元平台技术有限公司 用于头戴式显示器的多层投影仪
US10585284B1 (en) 2017-11-17 2020-03-10 Meta View, Inc. Systems and methods to provide an interactive environment over a wide field of view
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US10714001B2 (en) 2018-07-11 2020-07-14 X Display Company Technology Limited Micro-light-emitting-diode displays
WO2020123707A1 (en) 2018-12-12 2020-06-18 University Of Washington Techniques for enabling multiple mutually untrusted applications to concurrently generate augmented reality presentations
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
US10861417B2 (en) * 2019-02-27 2020-12-08 Facebook Technologies, Llc Head mounted display with wide field of view and inset display
US10914956B1 (en) * 2019-03-21 2021-02-09 Facebook Technologies, Llc Tiled display assemblies for artificial reality headset
US10928635B1 (en) 2019-04-09 2021-02-23 Facebook Technologies, Llc Curved display assembly for artificial reality headset
US11302285B1 (en) * 2019-05-14 2022-04-12 Apple Inc. Application programming interface for setting the prominence of user interface elements
US11402647B2 (en) * 2019-05-20 2022-08-02 Facebook Tehcnologies, Llc Devices with monochromatic liquid crystal on silicon displays
US11048091B1 (en) * 2019-09-13 2021-06-29 Facebook Technologies, Llc Wide-field image light and inset image light for head mounted displays
US11703689B2 (en) 2019-11-15 2023-07-18 Samsung Electronics Co., Ltd. Device for enlarging exit pupil area and display including the same
US11385464B2 (en) * 2020-04-09 2022-07-12 Nvidia Corporation Wide angle augmented reality display
TWI745955B (zh) * 2020-05-06 2021-11-11 宏碁股份有限公司 擴增實境系統與其錨定顯示方法
US11960091B2 (en) 2020-05-27 2024-04-16 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for controlling display of content
US11402964B1 (en) * 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
GB202115440D0 (en) * 2021-10-27 2021-12-08 Bae Systems Plc A system and method for coordinated symbology in an augmented reality system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
CN103426003A (zh) * 2012-05-22 2013-12-04 腾讯科技（深圳）有限公司 增强现实交互的实现方法和系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
US8730129B2 (en) 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
US6037914A (en) 1997-08-25 2000-03-14 Hewlett-Packard Company Method and apparatus for augmented reality using a see-through head-mounted display
US7639208B1 (en) 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
SG155167A1 (en) 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
US8885112B2 (en) 2009-10-27 2014-11-11 Sbg Labs, Inc. Compact holographic edge illuminated eyeglass display
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US8754831B2 (en) 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US8736963B2 (en) 2012-03-21 2014-05-27 Microsoft Corporation Two-dimensional exit-pupil expansion
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
JP5483761B2 (ja) 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
KR102001218B1 (ko) 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
MX357964B (es) 2013-03-15 2018-08-01 Immy Inc Pantalla montada en la cabeza con trayectoria óptica de formación sin pupila.
FR3004817B1 (fr) 2013-04-19 2015-05-15 Thales Sa Systeme de visualisation hybride affichant des informations en superposition sur l exterieur
US9519144B2 (en) * 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
CN103426003A (zh) * 2012-05-22 2013-12-04 腾讯科技（深圳）有限公司 增强现实交互的实现方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673718A (zh) * 2018-07-02 2020-01-10 苹果公司 用于显示系统的基于聚焦的调试和检查
CN110673718B (zh) * 2018-07-02 2021-10-29 苹果公司 用于显示系统的基于聚焦的调试和检查
US11275438B2 (en) 2018-07-02 2022-03-15 Apple Inc. Focus-based debugging and inspection for a display system
US11520401B2 (en) 2018-07-02 2022-12-06 Apple Inc. Focus-based debugging and inspection for a display system
US11809620B2 (en) 2018-07-02 2023-11-07 Apple Inc. Focus-based debugging and inspection for a display system
CN113168007A (zh) * 2018-09-25 2021-07-23 奇跃公司 用于增强现实的系统和方法
CN113168007B (zh) * 2018-09-25 2023-09-15 奇跃公司 用于增强现实的系统和方法
CN114616509A (zh) * 2019-10-31 2022-06-10 奇跃公司 具有关于持久坐标框架的质量信息的交叉现实系统

Also Published As

Publication number Publication date
EP3311247B1 (en) 2019-03-20
CN107810463B (zh) 2020-12-18
EP3311247A1 (en) 2018-04-25
US9977493B2 (en) 2018-05-22
WO2016204916A1 (en) 2016-12-22
US20160370855A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
CN107810463A (zh) 混合显示系统
US10573085B2 (en) Reality mixer for mixed reality
CN103885181B (zh) 近眼视差屏障显示器
US9858721B2 (en) Methods, systems, and computer readable media for generating an augmented scene display
KR101960980B1 (ko) 증강 현실 디스플레이용 최적화 초점 영역
CN107209386A (zh) 增强现实视野对象跟随器
KR20130139878A (ko) 시스루 헤드 마운트 디스플레이용 오페시티 필터
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
CN107209565A (zh) 固定大小的增强现实对象
CN111580276B (zh) 基于定向散射波导的近眼光场显示装置和方法
CN210670388U (zh) 一种立体显示屏
US10921499B1 (en) Display devices and methods for processing light
CN107209567A (zh) 带有视觉反馈的注视致动的用户界面
US10567744B1 (en) Camera-based display method and system for simulators
CN113875230B (zh) 混合模式三维显示方法
CA3018454C (en) Camera-based display method and system for simulators
CN110750000A (zh) 一种立体显示屏
Hua Advances in Head‐Mounted Light‐Field Displays for Virtual and Augmented Reality
CN112085975B (zh) 一种显示设备及显示方法
US10567743B1 (en) See-through based display method and system for simulators
Wetzstein Augmented and virtual reality
Aniket Augmented reality
WO2020065497A1 (en) Camera based display method and system for simulators
CA3018465A1 (en) See-through based display method and system for simulators
Brandt et al. Real Image Visual Display System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant