CN110447224A - 在显示器中控制虚像的方法 - Google Patents

在显示器中控制虚像的方法 Download PDF

Info

Publication number
CN110447224A
CN110447224A CN201880017082.7A CN201880017082A CN110447224A CN 110447224 A CN110447224 A CN 110447224A CN 201880017082 A CN201880017082 A CN 201880017082A CN 110447224 A CN110447224 A CN 110447224A
Authority
CN
China
Prior art keywords
display
virtual image
observer
image
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880017082.7A
Other languages
English (en)
Other versions
CN110447224B (zh
Inventor
J·C·拉德尔
F·彼得鲁齐耶洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
8259402
8259402 Canada Ltd
Original Assignee
8259402 Canada Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 8259402 Canada Ltd filed Critical 8259402 Canada Ltd
Publication of CN110447224A publication Critical patent/CN110447224A/zh
Application granted granted Critical
Publication of CN110447224B publication Critical patent/CN110447224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/32—Simulation of view from aircraft by projected image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/35—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/10—Mirrors with curved faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/12—Avionics applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

描述了一种用于在显示器中控制显示对象的虚像的方法，该显示对象的显示是可控的。该方法包括：提供与显示对象相对的弯曲镜面以产生虚像。确定观察者相对于弯曲镜面的位置。然后可以为该位置处的观察者确定虚像的位置，其中该虚像提供视差和立体深度线索中的至少一个。控制显示对象以产生经确定的虚像。

Description

在显示器中控制虚像的方法
相关申请的交叉引用
本申请要求2017年3月7日提交的美国临时专利申请62/467,846和2017年6月2日提交的美国临时专利申请62/514,194的优先权或权益，其说明书的全部内容通过引用并入本文。
背景技术
(a)技术领域
所公开的主题一般涉及镜像光学。更具体地，它涉及将镜面用于显示器应用。
(b)相关现有技术
由来自镜面的光线的反射所形成的物体的图像被称为物体的虚像。用于确定非平面镜或透镜的虚像位置的当前标准方法，在两个方面受到了限制：
1)它们基于高斯光学，因此仅在观察者和物体都靠近透镜或镜子的光轴时有效，和/或
2)它们没有考虑人类观察者用于推断深度所使用的不同的、相互冲突的深度线索。
控制虚像的产生的方式对最终结果有影响，当观察者正在使用显示器时，特别是当在假设条件之外使用显示器时，而现有技术显示器所基于的标准模型基于这些假设条件。因此，需要为人类观察者开发一种用于控制非平面镜子(例如球面镜或抛物面镜)中的虚像的显示的方法，以用于远离镜子的中心轴的观看角度(例如，距离其对称轴5°、或10°、15°或更大角度)。
各种显示器应用，特别是沉浸式显示器，可能需要镜子来为用户提供沉浸式环境。这些沉浸式显示器存在各种不同类型。
头戴式显示器(HMD)更广泛地用于使佩戴者沉浸虚拟现实中。通过将显示器佩戴在眼睛前方，并且通过在显示器中包括各种不同的光学系统，向用户呈现例如可以适应用户头部的移动的视觉内容。然而，用户需要始终佩戴HMD以享受沉浸式内容，这种情况并非总是令人满意，特别是如果用户要长时间沉浸，例如，在飞行模拟器中训练或在沉浸式工作站工作。
虚拟现实和增强现实系统还必须足够小，才能佩戴。因此，很难结合高分辨率和高质量的显示器。虚拟现实显示器还遭受深度线索冲突的影响，例如视觉辐辏调节冲突，即，观看者聚焦他们的眼睛以看清图像的距离，与他们通过立体线索感知图像的距离是不一致。虚拟现实显示器还存在晕动病的问题。
基于前投影或后投影的显示系统提供简单的设置，为用户创造身临其境的体验。虽然安装相对简单并且方便用于许多目的，例如观看电影，但这些显示的问题是与真实感不符的深度感，因为图像被投影到与观看者具有固定距离的屏幕上，因此观看者没有完全沉浸在体验中，因为图像中的对象之间没有深度差异。另外，位于投影区域外和投影区域上的对象之间的深度线索是类似的，这向大脑指示：观察者正在观看位于一个具有与该显示器周围的对象相似深度的平面显示器。这些问题可以部分地通过佩戴3D眼镜来校正，该3D眼镜使图像立体化，给观看者带来深度感。然而，这可能是不舒服的(特别是对于长时间使用或已经戴眼镜的用户)并且导致缺乏真实感，因为需要佩戴眼镜以再现通常不戴眼镜的现实。这些显示器也会受到视觉辐辏调节冲突的影响。
另一种沉浸式显示器是准直显示器。值得注意的是，飞行模拟器使用准直显示器来提供沉浸式环境。这个行业利用凹面镜产生一个虚像，驾驶舱内的两名飞行员能够用完全相同的角度观看该虚像。准直显示器是这样一种显示器，其中面向用户的显示器不是传统的而是反射的屏幕(即，凸镜)，其中通过中间显示屏上的反射将图像投射在所述屏幕上。这些反射用于提供用户所看到的图像，该图像是在物体(即，显示屏)的无限远处创建的虚像。显示屏被大致定位，从而使得经镜子反射后，从表面反射的光是近乎准直的。
由来自镜面的光线的反射所形成的物体的图像，被称为物体的虚像。用于确定非平面镜或透镜的虚像位置的当前标准方法，在两个方面受到了限制：它们基于高斯光学，因此仅在观察者和物体都靠近透镜或镜子的光轴时有效，和/或它们没有考虑人类观察者用于推断深度所使用的不同的、相互冲突的深度线索。
仿真行业中的准直显示器提供的虚像深度设定为大于约60英尺(约18.1米)，因为需要在“无限远”处成像，其中无限远通常是不小于60英尺的范围。当被观看内容中的物体被认为位于比该距离更近的距离时，这无法产生合适的深度感。下面描述了提供更为沉浸的环境的显示器，其考虑了深度线索，而用户应该看到所述深度线索从而感测在用户所沉浸的环境中附近对象的深度。
发明内容
根据本发明的第一方面，提供了一种用于在显示器中控制显示对象的虚像的方法，该显示对象的显示是可控的，该方法包括：
-提供与所述显示对象相对的弯曲镜面，以产生虚像；
-确定观察者相对于所述弯曲镜面的位置；和
-为该位置处的观察者确定虚像的位置，所述虚像提供视差和立体深度线索中的至少一个；
-控制显示对象以产生所确定的虚像。
根据一实施例，所述显示对象是显示屏和显示设备之一。
根据一实施例，所述显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
根据一实施例，控制显示对象包括：使用计算系统来校正在显示对象上，或通过显示对象显示的图像，来修改显示对象上的映射，从而为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
根据一实施例，控制显示对象包括：获得弯曲镜面的形状和显示对象的形状，以创建虚像，其中使用
从而为该位置处的观察者提供视差和立体深度线索中的至少一个。
根据一实施例，确定位置包括确定虚像上的多个位置，从而形成虚像的形状。
根据一实施例，确定虚像的位置包括：为通过弯曲镜面并以与弯曲镜面的对称轴成大于5°的角度观看显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
根据本发明的第二方面，提供了一种用于在显示器中控制显示对象的虚像的方法，该方法包括：
-确定用作显示对象的显示屏的形状，其中在该显示对象上的显示是可控的；
-为显示屏提供经确定的形状，与弯曲镜面相对，以产生显示对象的虚像；
-确定观察者相对于所述弯曲镜面的位置；和
-通过在显示屏上映射显示来控制显示对象，其形状产生如所确定的虚像，所述虚像为该位置处的观察者提供视差和立体深度线索中的至少一个。
根据一实施例，所述显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
根据一实施例，控制显示对象包括：使用显示屏的形状，使用计算系统来校正在显示对象上或通过显示对象显示的图像，来修改显示对象上的映射，从而为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
根据一实施例，控制显示对象包括：获得弯曲镜面的形状和原始图像到显示对象的映射，以创建虚像，其中使用
从而为该位置处的观察者提供视差和立体深度线索中的至少一个。
根据一实施例，产生虚像包括：为通过弯曲镜面并以与弯曲镜面的对称轴大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
根据本发明的第三方面，提供了一种用于在显示器中控制显示对象的虚像的方法，该方法包括：
-确定弯曲镜面的形状；
-提供与显示对象相对的弯曲镜面以产生虚像，其中在该显示对象上的显示是可控的；
-确定观察者相对于弯曲镜面的位置；和
-通过映射显示屏上的显示来控制显示对象，从而产生由弯曲镜面确定的虚像，所述虚像的形状为该位置处的观察者提供视差和立体深度线索中的至少一个。
根据一实施例，显示对象是显示屏和显示设备之一。
根据一实施例，显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
根据一实施例，控制显示对象包括：使用弯曲镜面的形状，使用计算系统来校正在显示对象上或通过显示对象显示的图像，来修改显示对象上的映射，从而为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
根据一实施例，控制显示对象包括：获得显示对象的形状和原始图像到显示对象的映射，以创建虚像，其中使用
从而为该位置处的观察者提供视差和立体深度线索中的至少一个。
根据一实施例，控制显示对象包括：为通过弯曲镜面并以与弯曲镜面的对称轴大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
根据本发明的第四方面，提供了一种用于在显示器中控制显示对象的虚像的方法，该方法包括：
-确定弯曲折射表面的形状；
-提供与显示对象相对的弯曲折射表面以产生虚像，其中所述虚像在该显示对象上的显示是可控的；
-确定观察者相对于所述弯曲折射表面的位置；和
-通过在显示屏上映射显示来控制显示对象，以产生由弯曲折射表面确定的虚像，所述虚像的形状在双眼观看时为该位置的观察者提供视差和立体深度线索中的至少一个。
根据一实施例，弯曲折射表面是透镜。
根据一实施例，显示对象是显示屏和显示设备之一。
根据一实施例，显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
根据一实施例，控制显示对象包括：使用弯曲折射表面的形状，使用计算系统来校正在显示对象上或通过显示对象显示的图像，来修改显示对象上的映射，从而为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
根据一实施例，控制显示对象包括：获得显示对象的形状和原始图像到显示对象的映射，以创建虚像，其中使用
从而为该位置处的观察者提供视差和立体深度线索中的至少一个。
根据实施例，控制显示对象包括：确定通过弯曲镜面并以与弯曲镜面的对称轴大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
根据本发明的第五方面，提供了一种用于操作沉浸式显示器的方法，该方法包括：
-提供弯曲镜面和显示屏，两者之间的距离小于从弯曲镜面反射时产生准直光的距离；
-在显示屏上显示对象，从而提供一图像渲染，该图像渲染为沉浸式的，由于具有视差和立体深度线索中的至少一个。
根据一实施例，该方法还包括：确定对象的虚像，该观看到的虚像是从为显示屏成像的弯曲镜面所反射的，该方法包括：确定所述虚像的位置，该位置提供视差和立体深度线索中的至少一个。
根据一实施例，在所述距离处提供弯曲镜面和显示屏，如果虚拟表面的距离小于60英尺或18.288米，则当观察者观看虚像时，提供观察者的眼睛之间的大于0.2°的聚散角。
根据一实施例，弯曲镜面在至少一个方向上提供大于30°的视场。
根据一实施例，该方法还包括：在沉浸式显示器周围的多个位置处产生声音，以使声音具有与沉浸式图像渲染一致的源位置。
根据一实施例，该方法还包括：提供用于与虚像的内容交互的用户控件。
根据一实施例，该方法还包括：在显示屏上显示物体之前，对物体应用图像校正以提供透视图像渲染。
根据一实施例，在显示屏上显示物体包括：为通过弯曲镜面并以与弯曲镜面的对称轴大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
根据本发明的第六方面，提供了一种用于操作沉浸式显示器的方法，该方法包括：
-确定显示屏和弯曲镜面中的至少一个的形状，使得观看当从为显示屏成像的弯曲镜面反射的物体时，产生物体的虚像，并提供视差和立体深度线索中的至少一个；
-提供弯曲镜面和显示屏，两者的距离小于从弯曲镜面反射时产生准直光的距离；
-在显示屏上显示对象以提供图像渲染，其中所述图像渲染是沉浸式的，由于具有视差和立体深度线索中的至少一个。
根据一实施例，在所述距离处提供弯曲镜面和显示屏，如果虚拟表面的距离小于60英尺或18.288米，则当观察者观看虚像时，提供观察者的眼睛之间的大于0.2°的聚散角。
根据一实施例，弯曲镜面表面在至少一个方向上提供大于30°的视场。
根据一实施例，该方法还包括：在沉浸式显示器周围的多个位置处产生声音，以使声音具有与沉浸式图像渲染一致的源位置。
根据一实施例，该方法还包括：提供用于与虚像的内容交互的用户控件。
根据一实施例，该方法还包括：在显示屏上显示物体之前，对物体应用图像校正以提供透视图像渲染。
根据实施例，在显示屏上显示物体包括：为通过弯曲镜面并以与弯曲镜面的对称轴大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
根据本发明的另一方面，提供了一种工作站、模拟器或其他环境，其包括至少一个前述光学元件和至少一个前述显示元件，其中显示元件与计算机相关联，从而控制其显示并实施本发明的方法的任一实施例。
附图说明
通过以下结合附图的详细描述，本发明的其他特征和优点将变得显而易见，其中：
图1-5分别是根据一个实施例的沉浸式工作站的透视图、正视图、俯视图、侧视图和后视图；
图6-9分别是根据另一实施例的沉浸式工作站的透视图、俯视图、正视图和侧视图；
图10是示出根据一个实施例的由沉浸式工作站的用户观看的图像的图；
图11-12是示出根据一个实施例的由沉浸式工作站的用户观看的图像的图。
图13是示出根据一个实施例的从球面镜面反射的两个光线的图。
图14是示出根据一个实施例的由像点和来自镜面的两个反射点所形成的三角形的图。
图15是示出根据一个实施例的由物点和镜面上的两个反射点所形成的三角形的图。
图16A-16B是示出根据一个实施例的射线跟踪的曲线图，该射线跟踪示出了远离1m焦距的抛物面镜的光轴的观看者看到的虚像失真情况。
图17A-17B是示出根据一个实施例的从半球形镜反射的平面显示屏的虚拟表面的示意图；
图18是示出根据一个实施例的从半球形镜反射的平面显示屏的虚拟表面的示意图，其包括蓝色的，基于在Zemax法执行的射线追踪所计算出的虚像点；
图19是示出根据一个实施例的针孔相机的立体测量的示意图；
图20是示出根据一个实施例的在暗室中从球面镜反射的显示屏的图片，该显示屏显示具有发光的白色像素阵列的黑色图像；
图21是示出根据一个实施例的紫色立体测量和红色的相应模拟测量的图。
图22是示出根据现有技术的使用直接投影屏幕的模拟器中的图像显示的俯视图；
图23是示出根据现有技术的两个飞行员应该看到的模拟器中的图像显示的俯视图；
图24是示出根据现有技术的使用准直镜的模拟器中的图像显示的俯视图；
图25-26是示出飞行模拟器的侧视图和透视图；
图27是示出根据现有技术的模拟器中的图像显示的图片；
图28是示出根据一个实施例的两个飞行员看到的模拟器中的图像显示的俯视图；
图29是示出根据一个实施例的模拟器中的图像显示的图片；
图30是示出根据一个实施例的飞行模拟器的侧视图；
图31是示出根据一个实施例的用于在显示器中控制显示对象的虚像的方法的流程图，其中该显示对象的显示是可控的；和
图32是示出根据一个实施例的用于操作沉浸式显示器的方法的流程图。
应注意，在所有附图中，相同的特征由相同的附图标记标识。
具体实施方式
镜子可以用作各种环境中的显示器，因为它们允许以屏幕无法再现的方式呈现图像。
值得注意的是，飞行模拟行业利用凹面镜产生虚像，驾驶舱内的两名飞行员可以以完全相同角度的看到该虚像。这是准直显示器的一种示例性和广泛的应用，其涉及镜子。
与其他类型的显示器相比，使用在凹面镜上的虚像显示的优点，可以在图22-27中看到。根据飞行模拟器中的现有技术，这些图示出了可以使用准直显示器的技术场景。
然而，应当注意，下面进一步描述的用于控制显示器的方法可以有利地用于其他技术设置和其他应用，尽管飞行模拟器的优点是显而易见的，因为准直显示器已经用于该应用。
图22示出了用作飞行模拟器环境的直接投影屏幕显示器(即，不是准直显示器)，其中两个观察者(即两个飞行员)被安置在驾驶舱中并且可看到直接投影屏幕上显示的交叉驾驶舱视图，这与大多数人在日常生活中熟悉的直接投影屏幕相同。这种类型的显示器不适合存在两个观察者的应用，因为屏幕位于距两个观察者有限的距离处，因此，每个观察者将以不同的角度看到在屏幕上显示的给定物体，而在在现实生活中，对于两名飞行员来说，它们应该以基本相同的角度出现，因为现实生活中的物体是远离两个飞行员的，如图23的说明图所示。因此，直接投影显示器会对两个观察者中的至少一个产生角度误差，其对模拟质量产生负面影响。在飞行模拟示例中，两个训练飞行员必须以相同的角度看见远处的物体，以便为飞行员提供高质量的训练。另外，投影屏幕上的物体和投影屏幕外的物体之间的深度线索提供了类似的深度线索，导致观察者将图像感知为平面图像，没有图像延伸超出投影屏幕的感觉。
图24-25示出了使用准直镜的现有技术的飞行模拟器，该准直镜暴露于源图像(所述“物体”)并且在无限远处(至少近似地)形成虚像。“无限远处”应该被解释为它通常在光学中的定义，即远离，并处于远大于焦距的距离。
无限远处的成像是有利的，因为它为两个观察者(例如飞行员)提供给定远距离物体的相同视角，如图24所示，即使观察者相对于镜子位于不同位置。在这种情况下，最先进的准直显示器为两个座位提供相同的交叉驾驶舱视图。如图27所示，当飞行员在驾驶舱中并在驾驶舱仪表板中查看他们的指令仪表，然后查看交叉驾驶舱视图时，他们的眼睛必须重新聚焦并重新定向，给出比直接投影显示更佳的真实感。这种真实感来自于由以下事实所引起的生理反应(即，重新聚焦和重新定向的眼睛)：显示器是准直显示器，该准直显示器产生位于无限远处的图像，其中在视野中的其他元件(例如仪表板)则位于距观察者有限的距离处。
这种飞行模拟器的整体物理设置如图21-22所示。
然而，尽管典型的模拟器，或者更一般地，准直显示器，可产生无限远的图像，但是这样做并不总是令人满意的，因为模拟(或显示的其他内容)可能包括通常靠近观看者的物体。因此，图像看起来不真实，或者从显示的内容中主动排除一些特定元件以避免缺乏真实感。根据本发明的用于控制如何产生虚像的方法由此产生，并在下文中公开，它解决了典型的准直显示器的这个缺点。
此外，在具有无限远处虚像的典型准直显示器中，观察者的双眼被指向完全相同的方向，因为物体在无限远处成像并且对于观看者的双眼以固定角度成像。然而，在现实生活中，观看同一元件时观看者的双眼之间会有微小的角度差异。在这种情况下，虚像在观看者的双眼之间的微小角度差异，会被观察者用作解读的线索以确定视物的距离。在具有无限远处虚像的典型准直显示器中，这是缺少的。缺乏这种线索是会令人困惑的，并且无法提供足够的真实感。同样，由此产生了下面公开的用于控制虚像如何产生的方法，它解决了典型准直显示器的这个缺点。
下面描述了用于确定和控制在非平面镜显示器中产生的虚像的位置的方法，该方法在真实性方面比典型的准直显示器的性能更加强大。在控制方法的过程中进行的计算结果的例子，在下文和附图中提供，并且示出了相对于抛物线的光轴以大角度观察的2D抛物面镜的结果以及半球面镜的结果。这些结果与射线-追踪模拟以及实验测量是一致的。该技术可以扩展到用于其他类型的镜子，以及用于离轴透镜的图像形成。由此可以改善虚像的显示，例如模拟器的显示。
镜面用于各种应用，包括变形艺术、全景成像工具、基于Pepper的Ghost显示器和准直飞行模拟器显示器。在所有这些应用中，物体以通过镜面观察到的虚像形式观看。在镜子中观察并由镜子生成的此物体的图像称为此物体的虚像。精确地确定该图像的位置是有利的，并且有时是必要的。涉及镜面的典型应用，使用基于可进行线性近似的假设条件的标准模型，来控制图像的投影和显示。因此，当不满足这些条件时，位置精度会降低。然而，仍然缺乏适合于此目的的控制技术。
缺乏技术有两个主要原因。一个是由于高斯光学的不适用，以及因此流行的物理公式，如薄透镜公式或近轴镜公式变得不适用。这些公式虽然对于确定靠近透镜或镜子的光轴的虚像非常有用，但是基于线性近似的，因此对于相对于该光轴成大角度的物体或观看者是无效的。例如，当观看者偏离镜子或透镜的对称轴，例如偏离对称轴超过5°、或超过10°、或超过15°时，基于线性近似的公式通常是不适用的。
第二个原因是由于对虚像本身的典型误解。透过透镜看到或由镜子反射的物体的虚像，通常被描绘为好像它独立于观看者的位置，但实际上这只有在靠近透镜或镜子的光轴观察物体时才是这样。因此，在典型显示器中的控制成像的方法，限制了观察者可以采取的同时维持显示性能处于可接受的真实度的位置。更复杂的是，人类观察者观看虚像的位置是一种心理现象，它取决于有时冲突的几种深度线索。在一个图像在这些假设条件下进行控制的典型显示器中，这可导致令人惊讶的结果，包括当观看者倾斜其头部时虚像位置改变。
为了准确地确定虚像的位置，包括在偏离透镜或非平面镜的光轴进行观看时，必须脱离高斯光学，必须正确理解用于确定物体深度的不同深度线索及其相对重要性，并找到解决这些冲突线索的实用方法。这里描述的用于控制显示器中的成像(涉及虚像)的方法，利用了这些考虑因素。
人类大脑使用各种各样的深度线索来确定物体的深度。这些线索包括生理的和心理的线索。受镜子和物体形状影响的深度线索是涉及眼睛反应的生理线索，包括调节(accommodation)、会聚、以及双眼和单眼视差。
深度的调节线索源于需要弯曲或放松眼睛的透镜以便看到聚焦的图像。使图像聚焦所需的透镜收缩量可由大脑察觉，并提供图像与眼睛的粗略距离的线索。这种深度的线索被称为调节，尽管它是至少被人类大脑所依赖以用于推断深度的线索。该线索仅倾向于对距观看者小于约2m的物体(或本例中的虚像)的感知深度有贡献。
收敛线索源于需要将眼睛指向稍微不同的角度以清楚地看到图像。眼睛之间的角度用作深度的线索，尽管该线索仅在高达大约10米的物距(或虚像距离)下是有效的。
最后两个线索源自于从至少两个不同观看点观察物体。双眼视差源于大脑同时看到来自双眼的图像(即，每只眼睛同时独立地接收从不同角度看到的图像)。单眼视差来自大脑在不同时间看到来自不同位置的图像(例如，观察在移动到不同的相对位置之后的相同物体)。在这两种情况下，大脑能够基于从两个或更多个不同位置观察的物体的相对移动来推断深度。双眼视差是对于距离高达约为20米是一种有效的深度线索。单眼视差线索的强度取决于头部的移动量。只有几毫米的运动足以有助于通过单眼视差来感知深度。
对于直接观看的真实世界物体，这些线索将给出一致的深度线索。但是，在透镜或镜子中观看虚像时，这些线索可能会产生相互冲突的结果。例如，当观看透过透镜或从镜子反射的物体时，观看者需要聚焦他们的眼睛来观看图像，这通常不同于观看者通过立体线索观看图像，这个问题有时被称为视觉辐辏调节冲突。当观看从弯曲镜面反射的物体时也会发生这种冲突，因此在控制显示应用程序的虚像位置时必须考虑到这种冲突。通过适当地考虑深度线索，并通过跟踪从观看者到镜子的线路和从观察者到物体的线路来构建特定设置，可以确定虚像位置，以便最终控制显示从而获得更好的真实性并改善观看者的舒适度。
下面概述的用于确定虚像的方法具有两个基础：第一，在标准高斯技术无效情况下，使用有效的技术，第二，将人类观察者使用的许多不同的、相互冲突的深度线索的问题简化为更简单的、可解决的问题。
该问题是如下简化的：通过固定观察者的特定位置来确定物体的虚像，然后基于视差或双眼视差线索来确定虚像相对于该观察者的感知位置。
确定相对于观察者的虚像的位置的一种这样的方法，依赖于跟踪来自物点的射线，当从镜面适当地反射时，该射线将入射到观察者的两只眼睛。这可以容易地在诸如Zemax之类的软件程序中以数字方式完成。基于指向观察者眼睛的两条射线之间的角度，可以使用以下公式找到基于立体视差的物体的感知深度：
其中D是物点与左眼的距离，B是两只眼睛之间的距离，φ是来自每只眼睛的两条射线之间的会聚角。
下面针对从球面镜反射的平面显示器说明该方法。在Zemax中执行射线跟踪过程，其中定义观看者的两个视点、半球形镜子和物体屏幕，。在该射线模型中，对于左眼定义了1,680个主射线，其中水平角度的范围为-12°至12°，增量为0.4°、垂直角度范围为10°至-4°，增量为0.5°。使用来自右眼的次射线获得深度测量，所述次射线最初设置为与其对应的主射线平行。然后迭代这些射线方向，直到次射线和主射线会聚到物体屏幕上的一点。然后使用公式1，将这些射线之间的角度用于三角测量相对于观察者的深度。
由半球形镜子反射的平面显示屏的这些虚像点，在图18中以蓝色显示，并且显示了使用下面进一步描述的方法所确定的虚像点，它们显示出强烈的一致性。
下面将进一步详细描述，为处于依赖于微小的水平视差线索的特定位置处的观察者，确定虚像的位置的另一种方法例子。该方法基于水平视差线索来确定虚像位置，该水平视差线索用于观察者头部沿平行于由地板或地面限定的平面的方向移动。人类观察者更倾向于在与他们所站立的平面平行的方向上移动，而不是垂直上下移动，或者向前和向后移动他们的头部，因此这个结果对大多数应用来说是最重要的。另外，该线索等价于立体视差和收敛线索。调节等线索被忽略，因为它们对距离大于2米的感知深度没有显着贡献，并且对于不同方向上移动而言，视差线索是被忽略的，因为人类观察者在这些方向上移动的可能性要小得多。这导致彼此一致的深度线索，并因此现在可以确定单个虚像以便进行控制显示。
下面描述一种用于确定观察者观看来自非平面镜面的物体的视差深度线索的方法。这种方法不同于高斯光学，它将表面上的每个点都视为自己的镜子，具有各自的方向和曲率，而不是将镜子视为一个整体。
例如，考虑观看从二维抛物面镜反射的物体，由以下公式控制：
y＝a·x2(2),
当观察者和物体靠近光轴时，薄透镜公式足以确定该物体的虚像。然而，当观察者以相对于该光轴的大角度观察从抛物面镜反射的物体时，该公式就不适用了(breaksdown)。可以通过考虑一系列光学像差来尝试处理这种不适用，但另一种方法是考虑观看者的位置，然后将观察者观看物体所对应的抛物线的部分视为其自己的单独镜子，以便确定虚像点。
为了清楚起见，抛物线的每一块本身都可以被认为是自己的小镜子，具有自己的曲率。在数学中，最适合某一点曲线的圆被称为密切圆。对于二维参数化曲线，此曲率为：
对于上述二维抛物线，任意点的曲率半径由下式给出：
使用这个公式，抛物线的每个无穷小部分将近似为圆形镜子。剩下的是在镜子显示器上确定待控制的、被观察者通过圆形镜子所观察到的物体的图像点。
这需要跟踪来自圆形镜子反射的物体的两条射线，并求解这两条射线看起来来自的一个点，即被称为物体的虚像点。在图1中示出了从球面镜面反射的两条这样的射线的图。
在图13中，do是物体与镜子沿主射线的距离，θ是主射线与镜面法线之间的角度，di是镜面到虚像点的距离，R是镜面上密切圆的曲率半径，dβ是源自物体的两条射线之间的角度，dγ是来自镜面的射线的反射点与镜面上的密切圆的中心之间的角度。
可以通过这两个反射射线确定虚像点与观察者的总距离。它将取决于观察者的射线之间的距离E(等于人双眼之间的立体深度距离)和两条射线之间的角度α:
如果角度α很小，则可以使用tan上的小角度近似值。当α小于约0.35弧度(20°)时，这精确到1％以内。对于基于双眼视差感知距离的观察者，该角度对应于0.19米的距离。对于观察者用单眼(虹膜尺寸约4mm)观察两条射线，这对应于0.012米的距离。对于下面的推导，我们假设我们正在处理距离观察者的大于这些距离的虚像点，因此我们将能够假设图2中的两条射线之间的角度2dγ+dβ很小。
采用由图像点和两条射线的反射点构成的图14中所示的三角形，并利用正弦定律给出以下关系：
利用2dγ+dβ较小的事实(并因此分别为dγ和dβ)，正弦项可以简化为它们的一阶项：
利用角度加法的余弦定律，给出以下关系：
只要θ不大，我们能只保留该扩展式的第一项：
由物点和两条射线与镜子的两个交点所构成的三角形，具有图15中所示的特性。
再次利用正弦定律，得出：
利用余弦的角度加法性质，得出：
再次假设小角度：
只保留扩展式的第一项，得出：
将公式9和公式13组合，得出：
在给定期望的虚拟表面和镜子形状的情况下，可用于设计对象或显示屏的有用的等效形式是：
该公式，对于光轴附近的观察者观察光学轴附近的物体，给出了高斯光学中常用的薄透镜公式：
然而，对于相对于抛物线的焦距较大的物体，或者当观看者从远离抛物线的光轴的角度观看从镜子反射的物体时，这些公式与薄透镜公式的结果不同。在图16A-16B中，示出了从两个不同位置观察的，从1m焦距的抛物面镜反射的垂直线的模拟结果。显示了典型的现有技术的射线跟踪线，以强调当观看者在光轴附近和远离光轴的角度下观看反射线时的结果差异。
三维虚像点
在二维中，从镜子反射的两条射线之间的角度可用于追溯到虚像点。只要两条射线平行，那么它们就会从同一点发散。在三维中，情况更复杂。两条几乎平行的射线将根据它们与镜子相交的平面以不同的角度发散。例如，在镜子光轴平面(称为切向平面)上撞击镜子的两条射线将以不同的角度发散，该分散角度不同于在与该平面相切的平面(称为矢状平面)中撞击镜子的两条射线。该问题的解决方案是确定使用哪个平面来确定深度，并计算出在该平面中撞击镜子的两条射线的发散角。这是通过首先导出在任意平面中撞击镜子的两条射线的发散角，然后通过确定用于单眼视差线索的平面，假设观察者水平移动，则沿着观察者眼睛的连线(如已经提到过那样，它等价于双眼视差和收敛线索)。
在切面中，从镜面到虚像点的距离公式与两维中的射线是相同的：
对于三维，图13中的次射线不一定与镜子法线矢量和主射线在同一平面上。在来自物体的两条射线的平面中，主射线与镜子法线向量形成一个角度α(如果平面恰好是切向平面则等于θ，或者对于矢状平面则为零)。只要进行以下替换，就可以使用公式17来确定此平面中的虚像深度：
合并这些替换，产生以下结果：
或等同地：
设置α等于θ，α等于零，分别给出切向平面和矢状平面中虚像深度的结果。对于球面，其曲率半径在镜面上是恒定的，这些结果简化为球面像散公式。
确定虚像点位置的最后步骤，是确定眼睛用来通过视差来解读深度的平面。这可以通过将眼间矢量(从观察者的一只眼睛指向观察者的另一只眼睛的矢量)投影到镜子的表面上来完成。得到的投影单位矢量e^是：
角度α是：
其中和是定义与镜子表面相切的平面的单位矢量，是投影到镜子平面上的眼间矢量的单位矢量，从一只眼睛指向另一只眼睛以指示立体测量的平面。
由于观察者的位置和镜子的几何形状是已知的，所有的第一手值都是已知的，除了(及其模量do).因此可以数值求解公式(22)、(23)和(24)，以找到给定点对象的向量所述点对象在需要时创建虚像(即，在观看者应该看到它处于虚像距离di处)。计算形成完整物体的每个点的如下面进一步描述的，此计算可用于设计前投影屏幕或后投影屏幕，其中映射到此投影屏幕上的图像的每个点都具有合适的
或者，给定物体或显示屏和观察者位置，可以设计镜子形状，使得从物体上的每个点到镜子的距离产生所需的图像距离。
然后可以通过将镜子分成片并确定这些小片的方向和曲率半径，使用这些公式找到虚像点。接下来将针对半球描述具有实验验证的示例计算，但是该技术可以扩展到任意曲面的镜子。这需要沿镜子表面不同平面确定有效曲率半径，然后用取决于平面R(α)的曲率半径代替公式21中的R.
半球的虚拟表面
使用该技术确定观察者观看的由从半球反射的平面显示器的虚拟表面。确定虚拟表面的过程是跟踪从显示器上一点的主射线，然后迭代地求解镜子上相对于镜子的位置，其中射线从镜子的该位置反射，而不违反反射定律。镜子上的反射位置被建模为小镜子，其光轴平行于其法向量。该轴与主射线之间的角度是θ。利用球面坐标系，极角和方位角分别用于和使用公式21，确定di的值，并且跟踪来自观察者并经过镜子表面一定距离di的主射线，以确定虚像点位置。
在该模型中，对于要在形成物体的平面(扁平)显示屏上投影的每个像素进行该处理(例如，半透明直接投影屏幕，例如图30的屏幕130经历投影，但具有扁平形状；或者如下面将讨论的，扁平的照亮式屏幕，例如电视屏幕或监视器)。形成物体的该屏幕将构建从半球形镜子反射的该屏幕的虚像。该虚像显示在图17A-17B中。
实验验证
通过使用两个相机，实验测量从镜面反射的图像点的深度来验证这些结果。
使用由直径为18”直径的丙烯酸制成的镀银半球作为半球形镜。将55英寸LGOLED高清电视放置在该半球上方15毫米处，并将两个Point Grey BlackFly相机放置并安装在距离半球中心686毫米的光学平台上。使用自定义部件使摄像机保持54毫米的间隔，并确保摄像机彼此平行。
图19示出了针孔相机的立体测量。基于计算机视觉中经常使用的技术，通过三角测量确定物体相对于两个相机的距离。基于两个相机之间的距离，相机的焦距fL和fR，以及两个图像中物体的测量位置xL和xR，使用以下公式确定深度：
校准了相机的焦距和方向，以便能够将图像中的像素位置转换为相机光轴的角度。相机的焦距通过拍摄一张方格纸来校准，该方格纸上标有均匀间隔线的网格，这些线在两个相机之间居中，距离为432mm。网格线间隔10毫米。对于每个相机，测量捕获图像中的这些网格线之间的间隔为73+/-1个像素。这些相机中的CCD像素间距为2.8μm。使用公式25，然后确定两个相机的焦距为8.8+/-0.1mm。测量位于相机高度为84.5mm的两个相机之间的在此方格纸上的位置然后用笔标记。用两个相机拍摄了这张纸的照片，并且这个点的图像被测量为照片中图像中心下方和上方几个像素，以表示相机方向的轻微垂直误差，等于比左摄像机的水平面低1.6，比右摄像机的水平面低1.2°。
为了完成校准，拍摄了一张打印在白纸上的均匀间隔点阵列的图像。使用Microsoft Paint，基于这些点的照片确定图像中这些点的像素位置。然后使用基于公式27的三角测量确定这些点的深度和位置。发现点的深度测量值具有轻微误差，该误差随着距图像中心的距离而径向增加。测量这些点的物理位置，并将每个点的计算出的位置与测量位置的差进行平方并加在一起。径向畸变系数通过最小化平方差之和来确定。发现基于布朗失真模型的径向失真使该误差最小化。该透镜失真参数应用于所有后续测量。
r′＝(1+ar2+br4+cr6+dr8)(28)
其中r是像素距图像中心的距离，以像素为单位。调整参数a、b、c和d，使用Excel的Gsolver插件中的简单最小化例程，以减少平方差之和。这些值分别适合左右相机，并且被发现等于：
接下来，在OLED屏幕上显示由黑色背景和单个白色像素的网格组成的图片。当从球形表面反射观看时，这些点被设定为大致均匀间隔。每个相机拍摄从半球形镜子反射的该屏幕的图像。从这些相机之一拍摄的照片显示在图20中，该图是在暗室中从球面镜反射的显示屏的图像。显示屏显示黑色图像，其中包含一组发光的白色像素。
使用Microsoft Paint测量这些点中的每一个的像素位置。基于重复多次照片和测量过程，确定每个像素的位置的误差被确定为+/-一个像素。先前描述的透镜失真是存在的，并且基于这些像素位置，使用公式27确定每个像素的深度。x和y位置通过三角测量确定。最后，执行坐标变换以校正相机的轻微垂直未对准。
得到的这些点的计算位置显示在图21中。还使用上述方法基于OLED屏幕上的像素的已知位置来确定这些发光像素的位置；这些立体测量是紫色的。这些也与图21中以红色计算的立体数据一起示出。
实验测量的不确定性有三个主要因素。第一个是由于图像中每个测量点的像素位置的不确定性。基于重复测量，这是以+/-1像素的精度完成的。产生的与一个像素偏差相关的深度误差为2mm。测量中的第二个主要误差源是测量相机孔径相对于半球中心的位置。此误差导致+/-1mm的额外误差。最后，存在与OLED屏幕上的发光像素的物理位置相关联的错误。确定物理像素的确切位置的误差，导致+/-2mm的测量中的额外不确定性。通过将这三个误差相加来确定数据中的总估计误差，并且等于+/-3mm。
对于238个数据点，基于该估计误差的实验测量的虚像点位置和数值计算的图像点位置之间的卡方统计量为227，相应的p值为0.83。这表明上述显示控制方法的结果与实际成像的实验测量结果一致。
上面描述了一种方法，该方法可用于确定从镜面观看的对象(或物体)的虚拟表面。该方法依赖于识别观看者使用的最重要、一致的深度线索，然后基于数值射线追踪或替代技术(例如上述半分析性的射线追踪技术)来计算这些线索的结果。
这种用于确定虚像表面的方法，被设计为实用且便于设计一个对象屏幕或镜面，以便为处于在已知位置处的人类观察者创建期望的虚拟表面。该方法可用于确定显示在显示屏上的物体的位置，当在曲面镜上反射时，该物体产生提供视差和/或立体线索的虚像。该方法还可以用于确定曲面镜的形状和/或显示屏的形状，确保当观看曲面镜上反射的物体时，产生提供视差和/或立体线索的物体虚像。
该方法可以扩展到除了半球以外的镜子形状，以及使用传统技术无法精确建模的透镜(或弯曲折射表面)。因此，尽管上面开发的技术和公式是用于反射的，但是也可以开发类似的用于折射的一组公式和技术，以便在通过透镜观看图像时考虑视差或立体线索。可以确定透镜、物体的位置或显示物体的显示屏的形状，以确保所产生的供用户观看的图像(例如，用于发散透镜的虚像)提供视差或立体线索。
上述方法用于通过投影仪控制投影图像部分的位置，该投影仪投影到显示屏上，当观看从镜子反射的显示屏时，该显示屏产生特定的虚像。
显示屏可以是显示设备，例如LCD屏幕(或任何其他类型的电视屏幕或监视器，其被照亮从而显示图像)，或显示屏，例如背投屏幕、前投影屏幕(接收从其他地方投影以在其上显示该图像的图像)或适于观看的用曲面镜反射的任何其他显示屏。显示屏形成显示对象，一旦所述显示屏将镜子或另一光学元件成像，从而形成将由观察者观看的虚像。显示对象是可控制的，因为在其上生成或投影在其上的图像可以由计算系统控制，以最终校正其上的图像的映射，以考虑视差或立体线索以获得更大的真实感。
例如，如图26-27所示，示出了现有技术的飞行模拟器。驾驶舱与见习飞行员在物理上是邻近的。交叉驾驶舱是由准直镜反射的虚像，其通过投影仪在投影屏幕上产生图像。虚像位于无限远处。
用于实现该方法的飞行模拟器100在图30中示出。见习飞行员安装在驾驶舱110中，并从观看镜子140所反射的物体的虚像，它是投影屏幕130。通过使投影仪120照亮投影屏幕130来形成对象。通过使用上述方法，可以通过使计算机系统执行以下任务来增强真实感，特别是在深度感知中，来执行以下步骤：
1)确定将观看虚像的观察者的位置和观察者所面对的方向(以确定眼间矢量)；
2)确定镜子在空间中的形状和位置(这种形状是已知的)；
3)基于水平视差或双眼深度线索，定义期望的虚像/表面，并由此定义从观察者到期望表面的感知图像距离。
4)确定从镜子到投影屏幕或显示器的物距，其中该物距可实现此期望的虚像。
5)调节投影屏，以实现从镜子到投影屏幕的这些物距。
6)控制投影仪120投影的图像，以在投影屏幕130上获得目标投影图像。
7)可选地，在创建镜面时重复上述过程，该过程实现从镜子到屏幕的期望物距。
如图29所示，对于飞行员而言，其结果是以有限距离成像的交叉驾驶舱图像，它比基本上无限远处成像的图像更逼真。
该技术可以应用于其他技术场景，例如变形艺术、全景成像工具或Pepper'sGhost显示器。因此，图像可以是静态的(即，非动态的)。此外，串联的投影仪/投影屏幕可以由监视器/部分镜子串联形式所替换，以获得相同的效果。
控制方法必须由输入所有必要参数的计算系统执行。计算系统可以自动地并且如果需要的话实时地控制图像被投影或显示的方式，以形成将由镜子变换为虚像的对象。该控制可以包括，例如，使用公式15变换要显示的图像像素的像素位置。这将允许镜子产生的最终虚像，以便在观察者观看虚像时尊重上述线索以获得更大的真实感。例如，避免使渲染物体过于接近虚像或过于远离虚像，可使真实感最大化。这也允许观看者即使远离镜子或透镜的对称轴(例如偏离该轴超过5°、或超过10°、或超过15°)也能够感知到更大的真实感，而现有技术在这种情况下无法提供真实的沉浸感。
该方法在图31中示出，其中步骤1910涉及提供彼此相对的镜子和显示屏。步骤1920涉及确定观察者的位置，该观察者可以靠近镜子并且远离其对称轴(考虑被观察者正在观察的镜子或透镜具有对称轴)。步骤1930涉及确定观察者应该在这样的位置处观看的虚像。可以确定镜子(或透镜)或显示对象(投影屏幕或其他)的形状，以通过视差或立体线索帮助实现深度感知的更大的真实感。在步骤1940，还可以控制原始图像在显示对象上的映射(通过投影或照亮)，以通过视差或立体线索(例如，使用公式15)提供深度感知的更大真实感。
上述方法可以为准直显示器提供更大的收敛和/或发散容差。关于收敛和发散，当观察者观察物体时，他们将两只眼睛指向它。两只眼睛的方向矢量之间的角度称为会聚角。当他们的两只眼睛彼此远离时，它们之间的角度是发散角。当角度发散时，大脑就会感到痛苦，除非观察者注视曲面镜，而这种情况的很少遇到的。当观察靠近观察者的东西时，眼睛之间的会聚角很大，而当看到很远的物体时，会聚角几乎为零。
现在参考图1-9，示出了沉浸式工作站200，其在其他设备一样，使用设计的虚拟表面240来创建沉浸式显示器。工作站是用户可以观看内容并可与其交互的环境。该显示器包括弯曲镜面240和显示屏230，它们一起设计用于使用准直或近准直光创建沉浸式显示系统，其被投影时考虑了必须在最终虚像中提供的深度线索。因此，根据下面进一步描述的方法控制投影仪220，以当用户在包括沉浸式显示器的沉浸式工作站中观看时创建具有更逼真深度的虚像。可以使用结构件或框架将镜面240保持在适当位置，并且可选地用作固定声音系统的扬声器的支撑件，所述声音系统物理地位于工作站用户的周围，以提供与显示器的沉浸式图像渲染一致的沉浸式音频内容。
当前准直显示可以为通常对象远离观察者的场景(例如在飞行模拟器显示中)创建非常逼真的现实呈现。这些传统的显示系统将显示屏放置在某位点，在该位点处，一旦经球面镜反射，从这些屏幕反射或发射的光就产生准直光。这样做是为了最大化观察图像的深度，即产生大距离(“无限远”)的虚像，通常大于60英尺。这些显示被称为准直显示，因为在被从镜子表面反射后，从投影屏幕反射的光线是几乎准直。
本发明描述的沉浸式显示器将显示屏放置得比这些系统更靠近镜子，在足够靠近镜子的位置处以更近的距离向观看者呈现图像(即，虚像在有限且真实的距离处产生，靠近镜子)，更能代表典型的每日观看情况。这种配置使得可以实现一种沉浸式显示器，用于需要比传统飞行模拟器显示器显示更靠近观察者的物体，并且在这种情况下增强感知的真实感。
实际上，当所显示的图像远离观察者(它们用于飞行模拟器显示器)时，传统的准直显示器在实现沉浸方面是非常有效。这些传统的准直显示器不适合于在观察者附近显示物体，但是通过使用准直或接近准直的光，仍然可以实现这些情况的沉浸。
准直显示器的这种配置的另一个主要优点是，当显示屏相对于镜子的的位置比从镜子反射时产生准直光的距离更近时，观察者可以以可接受的质量观看图像的区域的增加。该区域通常被称为显示器的可视区。这些准直显示器具有额外的好处，即其可视区尺寸是传统准直显示器的可视区尺寸的两倍或更多倍。
通常，在传统的准直显示器的情况下，如果显示屏远离镜子的焦点进行移动，则所得到的图像将显得扭曲，具有与所观看图像的不符的深度情况。为了解决在通过修改传统的准直显示器会发生的这个问题，需要将屏幕镜子从球形重新设计为非球形。这需要用于设计该形状的工具，而该工具可基于下面进一步描述的方法。
显示系统包括为给定应用创建用户最佳沉浸感所需的组件，这要归功于靠近镜子的显示对象提供的至少一个方向(水平和/或垂直)上大于30°的大视场显示，以及使用下面进一步描述的虚像创建算法的设计用于优化深度感的准直显示系统。
太靠近镜子的显示对象，会导致差深度感知的虚像，使光学器件复杂化并且降低图像质量。距镜子太远的显示对象会产生看起来错误的虚像：在渲染应该具有近距离虚像的近距离物体时，图像看起来非常大并且离观看者很远。
应该渲染图像以提供最佳的沉浸感。与比传统准直显示器相比，通过提供位于距屏幕镜更近的距离处的显示屏，并通过控制显示屏上的投影，并通过向屏幕或镜子提供给定的用下面进一步给出的公式所确定的形状，呈现给观看者的图像是以正确的透视方式呈现的。换句话说，渲染图像的透视，与观察与镜子大小相同且位于相同位置的窗口时所看到的透视图是相匹配的。这最大化了显示图像的真实感，如图10所示。这是因为靠近的物体在有限距离的虚像中被正确成像。
可以应用视锥体校正，来将计算机图形渲染(视锥台)中常用的剪切金字塔转换成适合于屏幕镜子形状(即虚拟表面)的弯曲段。这在图11中示出。或者，可以执行球形渲染或其他软件技术以用正确的透视渲染图像。
视锥体校正对于为沉浸式环境中显示的图像渲染正确的透视图非常有用。它对于在显示屏上加入图像也很有用。由于许多投影仪用于投影到显示屏上，因此视锥体校正确保了许多投影仪所产生的图像之间的连续性。最终图像校正的优点显示在图12中。
根据一个实施例，除了显示系统之外还提供三维(3D)声音系统，其包括扬声器、耳机或其他声音系统，其产生锚定到用户周围的3D世界中的特定位置的声音。
声音被约束在数字世界中的某些位置，并且以音量、质量和可能的方向性方式播放，通过模仿真实的声音线索来补充渲染的图像，与在沉浸式显示器中观看的图像相符。
根据一个实施例，提供了一种用于与用户沉浸在其中的数字环境进行用户交互的系统。用户交互系统应允许通过屏幕上呈现的内容导航并操纵数字内容。例如，可以实现语音命令(使用麦克风)。可以提供具有按钮和/或触摸命令的用户前面的控制面板。包括照相机或红外检测器的运动跟踪系统可用于根据工作站内的预定规则，跟踪意图具有含义的用户的身体部位。浏览数字内容和执行操作应该是直观的。用照相机或红外检测器检测到的手指指向所显示的数字内容中的特定元素，以选择呈现给用户的内容中的给定元素，是对内容进行直观操作的示例。或者，可以使用模拟车辆、机械或工具的模拟器来控制显示器。工具和其他外围设备(如全向跑步机)也可用于促进用户直观移动。还可以跟踪诸如枪或工具之类的附属设备，并用于控制环境。
如上所述，在准直显示器中执行的对无限远处物体的成像并不总是令人满意的，因为模拟可包括通常靠近观看者的物体。因此，图像看起来不真实。此外，观看者的双眼之间的虚像的微小角度差异用作观看者解读的线索以确定所看到的内容的距离，因此应当呈现立体深度线索，但这在现有技术方法中是不存在的。缺乏这种线索可能会令人困惑，并且无法提供足够的真实感。
上述方法可以为准直显示器提供更大的收敛和/或发散容差。关于收敛和发散，当观察者观察物体时，他们将两只眼睛指向它。两只眼睛的方向矢量之间的角度称为会聚角。当他们的两只眼睛彼此远离时，它们之间的角度是发散角。当角度发散时，大脑就会感到痛苦，除非观察者注视曲面镜，然而这种情况很少遇到。当观察靠近观察者的东西时，眼睛之间的会聚角很大，而当看到很远的物体时，会聚角几乎为零。
对于在飞行模拟器中使用的准直显示器，会聚角接近于零，因为虚拟表面在观察者前方处于远距离处。然而，如果观察者离开所设计的视点，则图像可能会扭曲，因此用户要么必须更多地会聚他们的眼睛以更清楚地看到图像，或者更常见的是，需要分开(diverge)他们的眼睛来看图像，这让观看显示变得非常痛苦。当观察者从视点移开20厘米时，就会发生这种情况。然而，如果准直显示器的虚拟表面更近，则在视点处会聚角度要高得多。如果在这种情况下观察者从视点移开20厘米，会聚角将下降，但不会导致发散。
这导致观察者可以舒适地观看显示的更多的区域。它不仅有利于观察者的舒适度，而且还允许更多的人同时观看显示。上述方法确保虚像提供视差和/或立体深度线索，可以允许将曲面镜定位成更靠近用户，从而改善双眼观察者水平移动所经历的会聚/发散的容忍度。
这在图32中示出，其包括步骤2010，其中如上所述执行最终控制所需的计算。在步骤2020，镜子与显示对象屏幕相对放置的距离小于当从镜子反射时将产生准直光的距离。在步骤2030，显示对象用于显示，同时提供视差和/或立体深度线索。
工作站200的实施例在图1-9中示出。显示屏230和/或镜子240具有由上述公式定义的形状。投影仪由计算机系统执行的程序控制，以在显示屏230上投影中间图像，显示屏230又是在由镜子240反射时形成虚像的物体。显示屏230和镜子240之间的距离远小于产生完全准直光的距离。这允许在工作站200的用户观看时在有限位置处产生虚像。通过将显示屏230放置得更靠近镜子240，整个系统有利地相当紧凑，如图所示。在所述小距离处提供弯曲镜面和显示屏，如果虚拟表面所处的距离小于60英尺或18.288米，则当观察者观看虚像时，在观察者的眼睛之间提供大于0.2°的聚散角。
可以在用户面前提供桌子或控制面板270。可以提供其他部件(或元件)，例如如上所述的声音系统或控制命令。总体结果是这样的环境，其中，由于考虑了深度线索，应该靠近环境中用户的物体看起来更近，并且由镜子240的形状和位置、显示屏230的位置和形状、或投影仪220投射在显示屏上的图像形状所提供的深度线索，具有正确的深度感。
虽然上面已经描述了优选实施例并且在附图中示出了优选实施例，但是对于本领域技术人员来说显而易见的是，在不脱离本公开的情况下可以进行修改。这些修改被认为是包含在本公开范围之内的可能变型。

Claims (40)

1.一种用于在显示器中控制显示对象的虚像的方法，所述显示对象的显示是可控的，其特征在于，所述方法包括：
-提供与所述显示对象相对的弯曲镜面，以产生虚像；
-确定观察者相对于所述弯曲镜面的位置；和
-为该位置处的观察者确定虚像的位置，所述虚像提供视差和立体深度线索中的至少一个；
-控制显示对象以产生所确定的虚像。
2.如权利要求1所述的方法，其特征在于，所述显示对象是显示屏和显示设备之一。
3.如权利要求1所述的方法，其特征在于，所述显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
4.如权利要求1所述的方法，其特征在于，所述控制显示对象包括：使用计算系统来校正在显示对象上或通过显示对象显示的图像，来修改显示对象上的映射，从而为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
5.根据权利要求4所述的方法，其特征在于，所述控制显示对象包括：获得所述弯曲镜面的形状和所述显示对象的形状，以创建虚像，其中使用
从而为该位置处的观察者来提供视差和立体深度线索中的至少一个。
6.如权利要求1所述的方法，其特征在于，确定位置包括确定虚像上的多个位置，从而形成虚像的形状。
7.如权利要求1所述的方法，其特征在于，确定虚像的位置包括：为通过弯曲镜面并以与弯曲镜面的对称轴成大于5°的角度观看显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
8.一种用于在显示器中控制显示对象的虚像的方法，其特征在于，所述方法包括：
-确定用作显示对象的显示屏的形状，其中在该显示对象上的显示是可控的；
-为显示屏提供经确定的形状，与弯曲镜面相对，以产生显示对象的虚像；
-确定观察者相对于所述弯曲镜面的位置；和
-通过在显示屏上映射显示来控制显示对象，其形状产生如所确定的虚像，所述虚像为该位置处的观察者提供视差和立体深度线索中的至少一个。
9.如权利要求8所述的方法，其特征在于，所述显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
10.如权利要求8所述的方法，其特征在于，控制显示对象包括：使用显示屏的形状，使用计算系统来校正在显示对象上或通过显示对象显示的图像，来修改显示对象上的映射，从而为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
11.如权利要求8所述的方法，其特征在于，控制所述显示对象包括：获得所述弯曲镜面的形状以及将原始图像映射到显示对象上，以创建虚像，其中使用
从而为该位置处的观察者提供视差和立体深度线索中的至少一个。
12.如权利要求8所述的方法，其特征在于，产生虚像的步骤包括：为通过弯曲镜面并以与弯曲镜面的对称轴成大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
13.一种用于在显示器中控制显示对象的虚像的方法，其特征在于，所述方法包括：
-确定弯曲镜面的形状；
-提供与显示对象相对的弯曲镜面以产生虚像，其中在该显示对象上的显示是可控的；
-确定观察者相对于弯曲镜面的位置；和
-通过映射显示屏上的显示来控制显示对象，从而产生由弯曲镜面确定的虚像，所述虚像的形状为该位置处的观察者提供视差和立体深度线索中的至少一个。
14.如权利要求13所述的方法，其特征在于，所述显示对象是显示屏和显示设备之一。
15.如权利要求13所述的方法，其特征在于，所述显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
16.如权利要求13所述的方法，其特征在于，控制显示对象包括：使用弯曲镜面的形状，使用计算系统来校正在显示对象上的图像或通过显示对象显示的图像，来修改显示对象上的映射，从而为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
17.如权利要求13所述的方法，其特征在于，控制显示对象包括：获得显示对象的形状和将原始图像映射到显示对象上，以创建虚像，其中使用
从而为该位置处的观察者提供视差和立体深度线索中的至少一个。
18.根据权利要求13所述的方法，其特征在于，控制所述显示对象包括：为通过弯曲镜面并以与弯曲镜面的对称轴成大于5°的角度观看显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
19.一种用于在显示器中控制显示对象的虚像的方法，其特征在于，所述方法包括：
-确定弯曲折射表面的形状；
-提供与显示对象相对的弯曲折射表面以产生虚像，其中所述虚像在该显示对象上的显示是可控的；
-确定观察者相对于所述弯曲折射表面的位置；和
-通过在显示屏上映射显示来控制显示对象，以产生由弯曲折射表面确定的虚像，所述虚像的形状在双眼观看时为该位置的观察者提供视差和立体深度线索中的至少一个。
20.根据权利要求19所述的方法，其特征在于，所述弯曲折射表面是透镜。
21.如权利要求19所述的方法，其特征在于，所述显示对象是显示屏和显示设备之一。
22.如权利要求19所述的方法，其特征在于，所述显示对象是显示屏，其是以下之一：背投影屏幕和前投影屏幕。
23.根据权利要求19所述的方法，其特征在于，控制所述显示对象包括：使用弯曲折射表面的形状，使用计算系统来校正在所述显示对象上或通过显示对象显示的图像，来修改显示对象上的映射，从而以为该位置处的观察者提供虚像的视差和立体深度线索中的至少一个。
24.如权利要求19所述的方法，其特征在于，控制显示对象包括：获得显示对象的形状和将原始图像映射到显示对象上，以创建虚像，其中使用
从而为该位置处的观察者提供视差和立体深度线索中的至少一个。
25.根据权利要求19所述的方法，其特征在于，控制所述显示对象包括：确定通过弯曲镜面并以与弯曲镜面的对称轴成大于5°的角度观看显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
26.一种用于操作沉浸式显示器的方法，其特征在于，所述方法包括：
-提供弯曲镜面和显示屏，两者之间的距离小于从弯曲镜面反射时产生准直光的距离；
-在显示屏上显示物体，从而提供一图像渲染，该图像渲染为沉浸式的，由于具有视差和立体深度线索中的至少一个。
27.根据权利要求26所述的方法，其特征在于，还包括：确定对象的虚像，该观看到的虚像是从为显示屏成像的弯曲镜面所反射的，所述方法包括：确定所述虚像的位置，该位置提供视差和立体深度线索中的至少一个。
28.根据权利要求26所述的方法，其特征在于，在所述距离处提供弯曲镜面和显示屏，如果虚拟表面的距离小于60英尺或18.288米，则当观察者观看虚像时，提供观察者的眼睛之间的大于0.2°的聚散角。
29.根据权利要求26所述的方法，其特征在于，所述弯曲镜面在至少一个方向上提供大于30°的视场。
30.如权利要求26所述的方法，其特征在于，还包括：在沉浸式显示器周围的多个位置处产生声音，以使声音具有与沉浸式图像渲染一致的源位置。
31.如权利要求26所述的方法，其特征在于，还包括提供用于与虚像的内容交互的用户控件。
32.如权利要求26所述的方法，其特征在于，还包括：在显示屏上显示物体之前，对物体应用图像校正以提供透视图像渲染。
33.根据权利要求26所述的方法，其特征在于，在所述显示屏上显示的物体包括：为通过弯曲镜面并以与弯曲镜面的对称轴成大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
34.一种用于操作沉浸式显示器的方法，其特征在于，所述方法包括：
-确定显示屏和弯曲镜面中的至少一个的形状，使得观看当从为显示屏成像的弯曲镜面反射的物体时，产生物体的虚像，并提供视差和立体深度线索中的至少一个；
-提供弯曲镜面和显示屏，两者的距离小于从弯曲镜面反射时产生准直光的距离；
-在显示屏上显示对象以提供图像渲染，其中所述图像渲染是沉浸式的，由于具有视差和立体深度线索中的至少一个。
35.根据权利要求34所述的方法，其特征在于，在所述距离处提供弯曲镜面和显示屏，如果虚拟表面的距离小于60英尺或18.288米，则当观察者观看虚像时，提供观察者的眼睛之间的大于0.2°的聚散角。
36.根据权利要求34所述的方法，其特征在于，所述弯曲镜面在至少一个方向上提供大于30°的视场。
37.如权利要求34所述的方法，其特征在于，还包括：在沉浸式显示器周围的多个位置处产生声音，以使声音具有与沉浸式图像渲染一致的源位置。
38.如权利要求34所述的方法，其特征在于，还包括：提供用于与虚像的内容交互的用户控件。
39.如权利要求34所述的方法，其特征在于，还包括：在显示屏上显示物体之前，对物体应用图像校正以提供透视图像渲染。
40.根据权利要求34所述的方法，其特征在于，在所述显示屏上显示物体包括：为通过弯曲镜面并以与弯曲镜面的对称轴成大于5°的角度观察显示对象的观察者位置，提供视差和立体深度线索中的至少一个。
CN201880017082.7A 2017-03-07 2018-03-06 在显示器中控制虚像的方法 Active CN110447224B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762467846P 2017-03-07 2017-03-07
US62/467,846 2017-03-07
US201762514194P 2017-06-02 2017-06-02
US62/514,194 2017-06-02
PCT/CA2018/050266 WO2018161163A1 (en) 2017-03-07 2018-03-06 Method to control a virtual image in a display

Publications (2)

Publication Number Publication Date
CN110447224A true CN110447224A (zh) 2019-11-12
CN110447224B CN110447224B (zh) 2022-03-22

Family

ID=63447235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880017082.7A Active CN110447224B (zh) 2017-03-07 2018-03-06 在显示器中控制虚像的方法

Country Status (7)

Country Link
US (1) US11508257B2 (zh)
EP (1) EP3593530A4 (zh)
JP (1) JP7227165B2 (zh)
KR (1) KR102607714B1 (zh)
CN (1) CN110447224B (zh)
CA (1) CA3053004C (zh)
WO (1) WO2018161163A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
US11170563B2 (en) 2018-01-04 2021-11-09 8259402 Canada Inc. Immersive environment with digital environment to enhance depth sensation
US11036048B2 (en) * 2018-10-03 2021-06-15 Project Whitecard Digital Inc. Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
WO2021248250A1 (en) * 2020-06-12 2021-12-16 Skyevu Images Inc. Simulator projection system
USD1019792S1 (en) * 2021-10-13 2024-03-26 Beta Air, Llc Flight simulator
USD1012179S1 (en) * 2021-10-13 2024-01-23 Beta Air, Llc Flight simulation cockpit
CA3237344A1 (en) * 2021-11-15 2023-05-19 Flightsafety International Inc. System and method of adjusting focal distances of images displayed to a user of a simulator
US11899348B2 (en) 2022-03-02 2024-02-13 Universal City Studios Llc Show effect system for attraction system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1276333A2 (en) * 2001-05-14 2003-01-15 Eastman Kodak Company Adaptive autostereoscopic display system
CN1957620A (zh) * 2004-05-25 2007-05-02 伊斯曼柯达公司 自动立体显示设备
US20100097304A1 (en) * 2008-10-16 2010-04-22 Marcial Vidal Motion Simulator, Display System, and Light-emissive Structures Typically Using Light-Emitting Diodes
CN102196788A (zh) * 2008-10-29 2011-09-21 松下电工株式会社 视标显现装置、图像显示系统以及车载用显示装置
US20130050186A1 (en) * 2011-08-29 2013-02-28 Microsoft Corporation Virtual image display device
CN103118265A (zh) * 2011-11-16 2013-05-22 克里斯蒂数字系统美国有限公司 一种自准直立体显示系统
CN103650383A (zh) * 2012-05-24 2014-03-19 松下电器产业株式会社 信息通信方法
CN104765243A (zh) * 2015-01-26 2015-07-08 北京航空航天大学 一种基于平头锥形背投影屏幕的多通道广角无限显示设备
CN105044912A (zh) * 2015-08-12 2015-11-11 中国人民解放军95995部队 一种3d旁轴虚像显示系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2655742B1 (fr) 1989-12-12 1992-01-17 Sextant Avionique Dispositif optique pour la visualisation de donnees lumineuses collimatees a l'infini.
FR2669746B1 (fr) 1990-11-23 1994-03-04 Thomson Csf Dispositif de visualisation collimate a miroir spherique hors d'axe pour simulateur.
JPH05333287A (ja) * 1992-05-29 1993-12-17 Sega Enterp Ltd ヘッドアップディスプレー装置
JPH0921977A (ja) * 1995-07-05 1997-01-21 Hitachi Denshi Ltd 模擬視界表示装置
JPH09133890A (ja) * 1995-11-08 1997-05-20 Mitsubishi Electric Corp 画像表示装置
US6042238A (en) 1996-01-17 2000-03-28 Seos Displays Limited Image projection display system for use in large field-of-view presentation
US6768585B2 (en) 2002-05-02 2004-07-27 Eastman Kodak Company Monocentric autostereoscopic optical apparatus using a scanned linear electromechanical modulator
US6779892B2 (en) * 2002-07-26 2004-08-24 Eastman Kodak Company Monocentric autostereoscopic optical display having an expanded color gamut
US6940645B2 (en) * 2003-04-22 2005-09-06 Eastman Kodak Company Monocentric autostereoscopic optical apparatus with a spherical gradient-index ball lens
US6871958B2 (en) 2003-08-18 2005-03-29 Evans & Sutherland Computer Corporation Wide angle scanner for panoramic display
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
US7663793B1 (en) 2008-07-31 2010-02-16 Institut National D'optique Wide angle immersive display system
US9465283B2 (en) 2009-11-06 2016-10-11 Applied Minds, Llc System for providing an enhanced immersive display environment
RU2010123652A (ru) * 2010-06-10 2011-12-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
JP5370427B2 (ja) 2011-07-24 2013-12-18 株式会社デンソー ヘッドアップディスプレイ装置
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140313580A1 (en) 2013-04-17 2014-10-23 Firsthand Technology Inc. Immersive display apparatus
JP6318470B2 (ja) * 2013-05-15 2018-05-09 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
WO2015017242A1 (en) * 2013-07-28 2015-02-05 Deluca Michael J Augmented reality based user interfacing
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
KR101501489B1 (ko) * 2013-11-12 2015-03-11 전자부품연구원 평행 광 디스플레이를 이용한 개인 가상 비행 훈련 시뮬레이터 및 그 제작 방법
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
JP6294780B2 (ja) * 2014-07-17 2018-03-14 株式会社ソニー・インタラクティブエンタテインメント 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ
US10389992B2 (en) 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
JP5930231B2 (ja) * 2014-08-20 2016-06-08 日本精機株式会社 投影装置及びヘッドアップディスプレイ装置
WO2016107635A1 (en) * 2014-12-29 2016-07-07 Metaio Gmbh Method and system for generating at least one image of a real environment
US10838209B2 (en) 2015-01-06 2020-11-17 Vuzix Corporation Head mounted imaging apparatus with curved lenslet array
US10448005B2 (en) * 2015-01-22 2019-10-15 Nlt Technologies, Ltd. Stereoscopic display device and parallax image correcting method
WO2016122625A1 (en) * 2015-01-30 2016-08-04 Hewlett-Packard Development Company, L.P. Generating slicing data from a tree data structure
JP6479163B2 (ja) 2015-04-06 2019-03-06 マクセル株式会社 投影光学系およびそれを用いたヘッドアップディスプレイ装置
JP6646361B2 (ja) * 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6551730B2 (ja) 2015-04-28 2019-07-31 株式会社リコー 画像表示装置及び移動体
JP6703747B2 (ja) * 2015-09-18 2020-06-03 株式会社リコー 情報表示装置、情報提供システム、移動体装置、情報表示方法及びプログラム
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
US10151924B2 (en) * 2016-02-10 2018-12-11 Nvidia Corporation Holographic reflective slim virtual/augmented reality display system and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1276333A2 (en) * 2001-05-14 2003-01-15 Eastman Kodak Company Adaptive autostereoscopic display system
CN1957620A (zh) * 2004-05-25 2007-05-02 伊斯曼柯达公司 自动立体显示设备
US20100097304A1 (en) * 2008-10-16 2010-04-22 Marcial Vidal Motion Simulator, Display System, and Light-emissive Structures Typically Using Light-Emitting Diodes
CN102196788A (zh) * 2008-10-29 2011-09-21 松下电工株式会社 视标显现装置、图像显示系统以及车载用显示装置
US20130050186A1 (en) * 2011-08-29 2013-02-28 Microsoft Corporation Virtual image display device
CN103118265A (zh) * 2011-11-16 2013-05-22 克里斯蒂数字系统美国有限公司 一种自准直立体显示系统
CN103650383A (zh) * 2012-05-24 2014-03-19 松下电器产业株式会社 信息通信方法
CN104765243A (zh) * 2015-01-26 2015-07-08 北京航空航天大学 一种基于平头锥形背投影屏幕的多通道广角无限显示设备
CN105044912A (zh) * 2015-08-12 2015-11-11 中国人民解放军95995部队 一种3d旁轴虚像显示系统

Also Published As

Publication number Publication date
JP2020514842A (ja) 2020-05-21
EP3593530A4 (en) 2020-12-16
EP3593530A1 (en) 2020-01-15
CA3053004A1 (en) 2018-09-13
CN110447224B (zh) 2022-03-22
US11508257B2 (en) 2022-11-22
CA3053004C (en) 2020-09-22
JP7227165B2 (ja) 2023-02-21
US20200057311A1 (en) 2020-02-20
KR102607714B1 (ko) 2023-11-28
KR20190122258A (ko) 2019-10-29
WO2018161163A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
CN110447224A (zh) 在显示器中控制虚像的方法
JP6972105B2 (ja) 固定距離の仮想現実システムおよび拡張現実システムならびに方法
KR101916079B1 (ko) 하나 또는 그 이상의 프레넬 렌즈를 수반하는 헤드 장착 디스플레이 장치
US20210350623A1 (en) 3d object rendering using detected features
CN107430277B (zh) 用于沉浸式虚拟现实的高级折射光学器件
JP6262530B2 (ja) 一つ以上の反射光学表面を使用する頭取付けディスプレイ装置
WO2018074528A1 (ja) 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法
CN103118265B (zh) 一种自准直立体显示系统
US10948740B2 (en) Head-mounted displays having curved lens arrays and generating elemental images for displaying
TWI553344B (zh) 使用一或多個菲涅耳透鏡（ｆｒｅｓｎｅｌ ｌｅｎｓｅｓ）之頭戴式顯示裝置
KR101928764B1 (ko) 하나 이상의 반사 광학 표면이 수반된 헤드 장착 디스플레이 장치
US9454010B1 (en) Wide field-of-view head mounted display system
JP2013545130A (ja) 一つ以上のフレネルレンズを使用する頭取付けディスプレイ装置
JP7456995B2 (ja) 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
CN108596854A (zh) 图像畸变校正方法及装置、计算机可读介质、电子设备
US11170563B2 (en) Immersive environment with digital environment to enhance depth sensation
TWI559034B (zh) 使用一或多個反射光學表面之頭戴式顯示裝置
WO2020237562A1 (zh) 近眼显示面板和近眼显示装置
US10771774B1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
CN117957479A (zh) 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件
D'Angelo et al. Development of a Low-Cost Augmented Reality Head-Mounted Display Prototype
CN218886314U (zh) 一种ar眼镜光路反射投射装置
CN118259453A (zh) 光学系统设计方法、光学系统和头戴显示设备
Robinett et al. Head-Mounted Display
CN109963141A (zh) 视觉显示系统及方法，以及头戴显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant