CN110603808A - 基于头部跟踪的深度融合 - Google Patents

基于头部跟踪的深度融合 Download PDF

Info

Publication number
CN110603808A
CN110603808A CN201880029358.3A CN201880029358A CN110603808A CN 110603808 A CN110603808 A CN 110603808A CN 201880029358 A CN201880029358 A CN 201880029358A CN 110603808 A CN110603808 A CN 110603808A
Authority
CN
China
Prior art keywords
display
layer
image
mld
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880029358.3A
Other languages
English (en)
Other versions
CN110603808B (zh
Inventor
A·F·奥布里恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Pure Depth Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pure Depth Ltd By Share Ltd filed Critical Pure Depth Ltd By Share Ltd
Publication of CN110603808A publication Critical patent/CN110603808A/zh
Application granted granted Critical
Publication of CN110603808B publication Critical patent/CN110603808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

多层显示(MLD)系统可包括多个显示屏和处理系统，该多个显示屏包括以基本平行并且重叠的方式布置的至少第一和第二显示屏，该处理系统包括至少一个处理器和存储器。处理系统可被配置成在两个MLD层上和之间呈现内容，使得从观看者的视角正确地呈现该内容。

Description

基于头部跟踪的深度融合
相关申请的交叉引用
本申请要求于2017年5月4日提交的美国临时专利申请第62/501,524号的优先权权益，该临时专利申请的全部内容通过引用并入本文。
技术背景
本公开总体上涉及显示器，并且更具体地涉及用于在多层显示器上显示图像的显示系统和方法。
限于单个二维显示的图像显示器缺少深度信息。为了传达对象的深度信息，已经努力提供能够以三维显示对象的显示器。例如，立体显示器通过显示对于左眼和右眼分开显示的偏移图像来传达深度信息。然而，立体显示器受限于观察者可以观看显示器的角度。此外，立体显示器可引起各种不适症状，诸如，眼睛疲劳、视力模糊以及复视。
多层显示器也已被开发，以利用真实深度感知来显示对象。多层显示(MLD)系统对于若干应用正变得越来越流行，诸如车辆仪表板、游戏机、手持设备等。MLD系统可被配置成用于显示场景的图像，使得通过将要显示的对象分布到MLD的单独显示面板上来表示深度。在于2016年11月23日提交的美国专利申请第15/359,732号中描述了示例MLD系统，该专利申请的内容以其整体并入本文。
在一些显示技术中，当开发看起来存在于分立分层显示器之间的基于MLD的内容时，内容经常会由于位置相同的内容没有排齐而“中断”。这是由显示器的物理深度和来自这种结构的固有视差引起的。通过以这种方式在内容存在于“各层之间”时移动内容并改变内容大小，可以构建粗略的解决方案，然而，这种粗略的解决方案会遇到甜蜜点(sweetspot)-并且当用户从与正常情况相比甚至轻微的变化角度观看内容时可能会发生中断。
发明内容
示例性实施例提供了一种显示系统，该显示系统可使用多层显示器来提供视觉深度信息，所述多层显示器包括以堆叠布置提供提供并具有改善的可观看性的两个或更多个显示屏(例如，LCD)和/或层。可以通过在多个显示屏上显示对应的梯度来提供所显示的对象的视觉深度信息。可通过从观看者的视角呈现内容并随后经由它们的投影矩阵使其进行偏斜来提供改善的可观性。目标是要在两个MLD层上呈现内容，使得从观看者的视角正确地呈现内容，并且内容看上去存在于两个MLD层之上和其之间。
附图说明
为了可以理解本发明的特征，下文描述了多个附图。然而，应注意到，附图仅示出了本发明的特定实施例，并因此不应视为限制其范围，因为本发明可涵盖其他同样有效的实施例。
图1示意性地示出了根据本公开的一些示例实施例的多层显示器。
图2示意性地示出了根据本公开的一些示例实施例的显示系统。
图3示意性地示出了根据本公开的一些示例实施例的虚拟的模拟像。
图4示意性地示出了根据本公开的一些示例实施例的定位在被跟踪的头部位置处的相机。
图5示意性地示出了根据本公开的一些示例性实施例的相机，该相机成一定角度以看向具有经校正的视场的MLD显示器的中心。
图6A、图6B、图6C、图6D和图6E示意性地示出了根据本公开的一些示例实施例的内容被透视地呈现并随后被投影仪偏斜到MLD上。
图7示出了根据本公开的一些示例实施例的深度图。
图8示出了根据本公开的一些示例实施例的表示用于在多层显示系统上显示信息的方法的流程图。
图9示出了使用其可实现(多个)本公开的实施例(诸如，图1-图8)的示例性处理系统。
图10A、图10B、图10C、图10D和图10E示意性地示出了根据本公开的一些示例实施例的内容在没有渲染或投影的情况下通过一步式过程被透视地偏斜。
具体实施方式
MLD系统包括多个分开的显示屏(也被称为显示层或显示面板)。如上文并入的专利申请中所描述的，观察者查看在MLD系统上显示的场景的合成图像，而合成图像是对于观察者而言在MLD系统的相应显示屏上显示的场景的各种部分的分开图像的视觉外观。为了解决创建当以偏离角度观看时出现在层之间的内容的问题，在示例实施例中，采用头部跟踪以在算法上自动且正确地投影内容，使其看起来存在于层之间而没有甜蜜点。如本文中所使用的，甜蜜点是一位置和/或区域，从该位置和/或区域可以以足够的(例如，在预定水平以上的)清晰度和/或质量看到MLD上的图像。甜蜜点的数量和其各自的大小根据显示器的特定参数而有所不同。
示例实施例提供了将内容呈现为看起来在两个MLD层上和之间，使得从观看者的视角正确地呈现了该内容。为此，从观看者的视角来呈现内容，并且随后通过其投影矩阵对该内容进行偏斜。本公开的示例实施例检测观看者的头部和/或眼睛位置，并相应地调整在相应显示屏上显示的一个或多个图像的显示，以正确地将图像内容呈现为即使在存在头部和/或眼睛移动的情况下从观看者的视角来看也还是看起来在MLD的相应层之上或之间。
图1示出了根据本公开一些示例实施例的MLD系统100。显示系统100可包括光源120(例如，后部安装的光源、侧面安装的光源，可选地具有光导)、以及多个显示屏130-160。显示屏130-160可以以重叠的方式被设置成彼此和/或与光源120的表面(例如，光导)大体平行或平行。在一个实施例中，光源120和显示屏130-160可以被设置在共同的壳体中。将理解的是，在一些示例实施例中，MLD 100可包括仅两个显示屏，并且可或可不包括光源120(例如，光源可在MLD系统的壳体外部)。在本公开的一些示例实施例中，可在车辆的仪表板处提供MLD 100，以便于向观看者(观察者)示出图像(诸如，速度计、诸如油压或燃料水平仪表之类的仪表、导航等)。应当理解的是，图中所示的要素未按比例绘制，并因此，在其他实施例中可包括不同的形状、大小等。还应当理解的是，车辆仪表板仅是MLD系统的一个应用，并且在各种实施例中设想了将MLD系统用作便携式设备的显示器、游戏显示器、广告显示器等。
在使用MLD系统显示三维3D效果的示例应用中，MLD系统100可通过在显示屏130-160中的两个、三个或更多个上同时地显示包括梯度的信息来向观看者/观察者190(诸如车辆的操作员或乘客)显示图形信息。为了模仿所显示的对象的深度提示，可以在不同的显示屏130-160上用给定颜色的不同梯度等来显示同一对象的多个部分。例如，可以控制显示屏130-160中的每一个显示在传统车辆仪器面板中找到的仪表和/或指针的不同部分。在某些实施例中，可以控制显示屏130-160中的每一个显示要佩戴在用户的手腕上的手表设备等的图像(例如，时钟、仪表和/或(多个)指针)的不同部分。在显示系统100的一个示例应用中，梯度可被用于使用显示系统100以三维的方式更好地向观看者显示斜坡/倾斜的表面。示例梯度将从最靠近观看者的显示层上的不透明颜色(例如，浅灰色)淡化为一颜色(例如，深灰色)，而在最后面的层上以相反的方向形成重叠的梯度，以便更好地向车辆的操作者显示形状的三维图像(例如，速度计边沿或RPM指针等)，反之亦然。例如，针的主体可以是如由最接近观看者显示面板130所示的看起来不透明的颜色(例如，浅灰色)，并且针的侧面或边缘可以在显示面板140、150中逐渐变得更透明(例如，更深的灰色)，从而看起来表面在深度方向上进一步向后倾斜远离观看者，并且此渐变可以通过与在较近的显示面板130、140、150上显示的内容形成对比的外边缘或相反的重叠梯度而被终止在最后面的显示面板160上。另一示例梯度可用于显示围绕仪表指针的边沿，并且将边沿颜色从在显示装置的前部处的不透明色(例如，浅灰色)淡化为在显示装置的后部处或其附近的透明色(例如，暗灰色)(或反之亦然)，以便向车辆的操作者更好地显示边沿的三维图像。例如，边沿的最靠近观看者的一部分可以是不透明的颜色(例如，浅灰色)(如最靠近观看者的显示面板130所示)，并且向后倾斜的边沿的主体可以在远离观看者进一步向后移动的显示面板140、150中逐渐变得更加透明。在相同的梯度区域中，可以在最后面的显示面板160上呈现相反的重叠梯度，其中不透明的颜色出现于在前层上出现透明颜色的地方，并且在最近的显示面板130上在与该梯度相反的方向上渐变为透明颜色。当然，可以以相反的方式为边沿布置梯度，使得透明的颜色(例如，深灰色或黑色)用于边沿的最接近观看者的部分，并且最不透明的颜色(例如，浅灰色)用于边沿的最远离观看者的部分。例如，上文的梯度指的是形成梯度的暗色和亮色，其中例如最亮的颜色可以位于由第一面板显示的对象的中心，并且可以在针对另一面板的该对象的外部部分处提供最暗的或更暗的颜色(或反之亦然)。从观看者的观看角度来看，通常期望较亮的颜色不透明或基本上不透明的，而较暗的颜色可以是或可以不是透明或基本上透明的。在以不同颜色模式为特征的显示系统100的一些实例中，从观看者的角度来看，可能期望较暗的颜色是不透明的或基本不透明的，而较亮的颜色可以是或可以不是透明的或基本上透明的。
光源120可以被配置成用于为显示系统100提供照明。光源120可以提供透过显示屏130-160的大体准直的光122。可选地，光源120可以使用针对近点源提供的高亮度LED来提供高度准直的光。LED点源可以包括预准直光学器件，该预准直光学器件从它们的发射区域提供清晰限定的和/或均匀照射的反射。光源120可以包括反射准直表面，诸如抛物面镜和/或抛物面聚光器。在一个实施例中，光源120可以包括折射表面，诸如在点源前方的凸透镜。然而，在某些示例实施例中，LED可以是边缘安装的并且引导光通过光导，该光导进而将光朝向显示面板引导。
显示面板/屏130-160中的每一个可以包括液晶显示器(LCD)矩阵。如果面板是LCD或仅仅与透明LED技术或OLED技术堆叠的，则屏幕通常是面向外部的表面上的单对交叉偏振片内的堆叠LCD层。最后面的显示层可以是非透明技术。LCD层可以是：扭曲向列+膜；垂直对准、图案垂直对准、平面切换的透明OLED；或透明直视微型LED显示器。可替代地，显示屏130-160可包括有机发光二极管(OLED)显示器、透明发光二极管(TOLED)显示器、阴极射线管(CRT)显示器、场发射显示器(FED)、场顺序显示器或投影显示器。在一个示例实施例中，显示面板130-160可以是全彩RGB面板、RGBW面板或单色面板的组合。显示屏130-160不限于所列出的显示技术，并且可以包括允许投射光的其他显示技术。在一个实施例中，可以由投影类型系统提供光，该系统包括光源和一个或多个透镜和/或透射式或反射式LCD矩阵。
在一个实施例中，显示屏130-160中的每一个可以具有大体相同的大小，并且具有彼此平行或基本上平行的平坦表面。在另一个实施例中，显示屏130-160中的一个或多个可以具有弯曲表面。在一个实施例中，显示屏130-160中的一个或多个可以从其他显示屏移位(displace)，使得显示屏的一部分不被重叠和/或不与另一显示屏重叠。
在示例实施例中，显示屏130-160中每一个可以彼此移位相等的距离。在另一实施例中，可以在距离彼此不同的距离处提供显示屏130-160。例如，第二显示屏140可以从第一显示屏130移位第一距离，并且第三显示屏150可以从第二显示屏140移位第二距离，该第二距离大于第一距离。第四显示屏160可以从第三显示屏150移位第三距离，该第三距离等于第一距离、等于第二距离、或者与第一距离和第二距离不同。
显示屏130-160可以被配置成用于显示用于由观察者190观看的图形信息。观看者/观察者190可以是例如车辆的人类操作者或乘客、或电气和/或机械光学接收设备(例如，静止图像相机、移动图像相机等)。图形信息可以包括对象和/或文本的视觉显示。在一个实施例中，图形信息可以包括显示图像或用于提供视频或动画的图像序列。在一个实施例中，显示图像信息可以包括跨越该屏移动对象和/或文本，或者改变对象和/或文本或向对象和/或文本提供动画。动画可以包括改变对象或文本的颜色、形状和/或大小。在一个实施例中，可以在显示屏130-160之间移动所显示的对象和/或文本。可以设置显示屏130-160之间的距离以获得在显示屏130-160上显示的特征之间的期望的深度感知。
在一个实施例中，显示屏130-160中的一个或多个的位置可以是响应于输入而可由观察者190调整的。因此，观察者190可以能够由于显示屏130-160的移位而调整所显示的对象的三维深度。处理系统可以被配置成根据该调整来调整所显示的图形和与该图形相关联的梯度。
显示屏130-160中的每一个可以被配置成接收数据并基于该数据在显示屏130-160中的每一个上同时地显示不同的图像。因为图像由于显示屏130-160的分离而通过物理分离被分离开，所以可在不同的焦平面处提供每一个图像，并且由观察者190在所显示的图像中感知到深度。图像可以包括在相应显示屏的不同部分中的图形。
尽管未在图1中示出，但是显示系统100可以包括在观察者190与投影屏160之间、在任何两个投影屏130-160之间和/或投影屏130与光源120之间的一个或多个投影屏、一个或多个衍射元件、和/或一个或多个滤光器。
可将头部和/或眼睛移动跟踪单元集成到MLD系统中，如图1中所示的MLD系统。例如，可以以对观看者可见或不可见的方式将这种单元并入第一显示屏中。
于2016年11月23日提交的美国专利申请第15/359,732号描述了可在一些示例实施例中使用的示例MLD，该专利申请的内容以其整体被并入本文。于2017年1月19日提交的美国专利申请第15/409,711号描述了适配成减少莫尔干涉(moire interference)的示例MLD，该专利申请通过引用以其整体被并入本文。于2017年3月9日提交的美国临时专利申请第62/469号提供了适配成改进的可靠性的MLD，并且其可在一些实施例中被使用，该临时专利申请也以其整体并入本文。
如上所述，重要的是，当图像的对应部分显示在MLD的各个层上时，旨在使得内容如此“排齐”。然而，当开发看起来存在于分立分层显示器之间的基于MLD的内容时，此内容中的一些经常由于位置相同的内容没有排齐而“中断”。这是由于显示器的物理深度和这种结构的固有视差引起的。通过以这种方式在内容存在于“各层之间”时移动内容并改变内容大小，可以构建粗略的解决方案，然而，这种粗略的解决方案会遇到甜蜜点-并且当用户从甚至轻微的变化角度(例如，从正常角度偏离)检查内容时可能会发生中断。
为了解决当离位(view off)查看时创建在各层之间出现的内容的问题，本公开的实施例使用头部跟踪来在算法上并自动正确地投影内容，使其看起来似乎存在于层之间而没有甜蜜点。
示例实施例实现了将内容呈现在两个MLD层上和之间，使得从观看者的视角正确地呈现了该内容。为此，必须从观看者的角度呈现内容，然后通过它们的投影矩阵对其进行偏斜。下面提供了导致实现此效果的步骤分解
图2示意性地示出了具有MLD 202、头部/眼睛跟踪单元204以及处理系统206的示例显示系统。MLD 202可以是诸如上文关于图1所描述的MLD 100的MLD。头部/眼睛跟踪单元204跟踪观看者的头部以及眼睛中的一个或多个的移动，并且将该移动信息通信至处理系统206。在一些实施例中，跟踪单元204可被整体地并入MLD 202并且与MLD 202在单个壳体内。在一些实施例中，跟踪单元204可以与MLD 202分开并且静态地附接至某物，使得其能够检测观看者的头部和/或眼睛的移动。在又其他示例实施例中，跟踪单元204被附接至观看者的头部或以其他方式由观看者“穿戴”。跟踪单元204与MLD 202之间的通信和/或跟踪单元204与处理系统206之间的通信可以是使用任何形式的兼容通信的无线或者有线的。处理系统206被配置成执行图像生成以用于在MLD 202上显示，并且在接收到观看者的头部/眼睛移动信息时，可调整诸如但不限于下述方面：将在MLD 202的相应显示屏中任一个上显示的图像的显示场的色彩饱和度和/或梯度。
一些示例实施例通过以下操作进行：首先生成虚拟的“模拟像”(对观看者的真实世界环境的虚拟再创建)，并随后使用在模拟像中显示的图像，以在必要时将图像的渲染校正为MLD中的真实世界显示。
图3示意性地示出了根据本公开的一些示例实施例的虚拟模拟像300。可以在诸如处理器206之类的处理器上生成虚拟模拟像。将3D内容308(例如，立方体)放置在模拟像MLD302中，其中具有标注传感器304和被跟踪头部306的位置。为了在模拟像300内建立被跟踪头部的位置，需要知道相对于物理MLD的传感器位置。例如，在一些实施例中，可以相对于MLD确定所有位置(例如，MLD的各部分，传感器和头部/眼睛)。传感器304的位置相对于MLD可以是固定的(例如，固定地附接到MLD和/或在与MLD相同的壳体中)或可变的(例如，传感器没有固定地附接到MLD)。在一些实施例中，模拟像可以基于坐标系系统，其中其原点在MLD内的预定位置处。
图4示意性地示出了根据本公开的一些示例实施例的定位在被跟踪的头部位置306处的虚拟相机404。虚拟相机404具有到MLD 402上的视场410。视向量(look vector)412可以从虚拟相机404映射到MLD的中心。
图5示意性地示出了根据本公开的一些示例性实施例的图4的相机404，该相机当成一定角度时看着具有经校正的视场的MLD显示器的中心。
图6A、图6B、图6C、图6D和图6E示意性地示出了由观看者相对于模拟像612以一角度(诸如在虚拟相机位置604处)观看的内容606。内容606随后由相机604偏斜到视图608上。然而，尽管从相机本身看起来是正确的，但视图608在绘制到物理MLD时看起来是偏斜的。因此，根据本公开的一些示例实施例，视图608可以通过沿着相机604的视图矩阵的投影而被重新偏斜，以获得在网格614上的经校正的视图610，该经校正的视图610最终被显示给MLD602，并且该经校正的视图610相对于观看者当前视角正确地呈现了三维对象。当用于绘制到MLD的两层时，无论观看者当前的视角如何，此技术都可以用于对齐在不同层上或跨不同层显示的图像。
图7示出了根据本公开的一些示例实施例的深度图。根据图7的深度图提供了在MLD的层上或层之间显示的对象的深度，该对象的深度独立于当前视角被确定，同时仍保持当前视点的透视畸变。当与图6中的内容表示技术结合使用时，此深度图可以对所呈现对象的MLD中的深度进行编码，并且可以用于确定如何在MLD层上以及MLD层之间呈现该深度。在示例实施例中，深度可以确定所显示的内容同时在两层上多么不透明或透明—即，经由深度图确定要抵靠后面板定位的对象的一部分可在前面板上是完全透明的，并且在后面板上完全不透明，而被确定为处于模拟像中的面板之间的对象的一部分可以在前面的层和后面的层两者上都同样透明。这允许从三维形状上算法地且自动生成如上所述的动态梯度(例如，段落[0022])。
图8示出了根据本公开的一些示例实施例的用于在MLD系统上显示信息的过程800。可以由包括一个或多个硬件处理器和/或存储器的处理系统执行过程800。例如，过程800可由在图1中示出的MLD系统100的处理系统执行和/或由图2中示出的显示系统200的处理系统执行。根据一些示例实施例，过程800包括操作802-810。本领域技术人员将理解，在一些示例实施例中，过程800的操作的顺序可以是不同的，可不执行一个或多个操作，可执行一连串操作和/或一个或多个额外的操作。
在进入过程800之后，在操作802处，对真实世界设置的3D虚拟再创建(此后被称为“透视模拟像”或简称为“模拟像”)进行组装。图3是示例模拟像300的示意图。模拟像既可以保持对MLD的物理配置的准确表示，还可以将磁头跟踪传感器的位置以及随附的跟踪内容正确地缩放到准确的尺寸。以此方式，模拟像充当了在其中查看MLD的真实世界环境的虚拟副本。头部/眼睛的位置/移动信息可从头部/眼睛跟踪单元(诸如上文关于图2所描述的头部/眼睛跟踪单元)接收。如关于图3所描述的，在一些实施例中，可以在MLD中具有其原点的坐标空间中定义模拟像。除了确定观看者相对于MLD的位置(例如，跟踪的头部/眼睛位置)之外，模拟像坐标空间还可以实现确定MLD的多个显示层中的每一个与观看者位置之间的距离。在一些实施例中，运动信息提供以下各项中的一项或多项：开始坐标和定向角度、以及结束坐标和定向、变化/运动的速率和方向等。
在构造了模拟像的情况下，在操作804处，将相机定位在所跟踪的头部位置处，并且将其前向向量倾斜成面向MLD屏幕的中心。例如，图4示出了定位在图3所示的跟踪头部位置处的相机504，以及从相机504到模拟像MLD 402的屏幕的中心的视向量(前向向量)412。可以将相机的向上向量统一设置为世界的垂直轴，以消除任何引入的滚动，并且其右向量可以根据前两个向量计算得出。这些向量(例如，视向量(也称为“前向向量”)，上向量和右向量)形成透视相机的视图矩阵的基础。在一些实施例中，基于到模拟像MLD的距离，随后将相机的视场设置到使其能够完全捕获屏幕及其内容的角度。在其他实施例中，其视向量可以是空间中的任意向量，和/或其视场是固定的。只要相机能够捕获内容，该过程是相同的。通过最小化渲染的不必要的空白空间，校正和瞄准视场或视向量简单地实现更高效的渲染过程。例如，在图4中，具有角度θ的视场410使相机404能够具有MLD 402的整个屏幕的视线。此外，基于模拟像、视向量的长度，并且因为在MLD屏幕中心处的MLD各层之间的距离是已知的，因此从观看者(或相机504)到MLD层中的每一个的距离也是已知的。
在操作810处，生成一个或多个图像，包括或包含在操作808中生成的最终图像矩阵，以同时显示在MLD(诸如以上关于图1和图2描述的MLD)的相应显示屏上。过程800可在MLD使用接收到的显示数据在第一显示屏上显示第一图像以及在以与第一显示屏重叠的方式布置的第二显示屏上显示第二图像时发生。可以从耦合到处理系统的存储器和/或从另一设备检取所接收的显示数据。可以通过可以是无线的网络接收显示数据。所接收的显示数据可以包括用于同时在不同显示屏上显示的多个图像。图像中的每一个可以包括图形和/或梯度部分。在一个实施例中，图像中的一个或多个可以包括多个图形，并且图形中的每一个可以彼此分开。显示数据可以包括用于在一个或多个显示屏上显示的图像序列(例如，视频)和/或文本。图像中的每一个可以包括对象、文本和/或动画中的一个或多个。可以利用更新的信息周期性地或连续地接收显示数据以用于显示。
在一个实施例中，所接收的显示数据可以包括单个图像，并且可以从该单个接收到的图像生成第一和第二图像。例如，处理系统可以对所接收的图像进行分段，以提供要在第一和第二显示屏上显示的所接收的图像的不同部分。处理系统可以进一步生成要在第一、第二和第三显示屏或任意显示屏上显示的梯度，以显示由于显示屏的移位而具有三维感知的特征。在示例性实施例中，可以使用如图7中生成的深度图来构造这些生成的梯度。
第一图像可以包括梯度区域，并且第二图像可以包括与第一梯度区域对应的梯度区域。第一梯度区域和第二梯度区域可以至少部分地重叠。在另一实施例中，当从与第一或第二显示屏的焦平面垂直的方向观看时，或者当从不与头部跟踪的视角相似的位置观看时，第一梯度区域和第二梯度区域可在不重叠的情况下显示。第一梯度区域以及第二梯度区域可包括场景中同一对象的多个部分，当在分开的屏幕中被显示为具有不同的梯度的平面图形时，观看者将其感知为具有深度尺寸的对象。
在操作806处，将内容放置在模拟像MLD中。在一些示例实施例中，该内容可以与在操作806处生成的内容不同。该内容放置在模拟像MLD的前面、上方、内部或后面(例如，在模拟像MLD的显示层内)。例如，根据示例实施例，可以将第一图像放置在MLD的前显示层中，并且可以将第二图像同时放置在MLD的后显示层中(例如，图3示出放置在模拟像300内、在MLD302(例如，可以表示第一或第二显示层)中的内容308)。在另一个实施例中，可以在将3D内容投影到不同的2D图像上之前，将其放置在模拟像MLD上。图6A-图6E示出了，如从处于一角度的示例头部/眼睛位置看到的，在获得任何校正之前放置在模拟像MLD 612上的示例内容606。相机(例如，定位在跟踪的头部位置306处的相机504)可随后捕获内容的连续图像流或快照(均称为渲染纹理)。此渲染纹理可用于从观看者的角度准确显示内容的外观
在操作808处，随后将渲染纹理传递到绘制至最终显示视口的网格。该网格可以覆盖整个可能的可渲染空间，或者可以替代地仅覆盖预期将在其中显示内容的区域。然而，为了将内容正确地重新投影回平面显示器上，需要捕获相机的视图(例如，图6A-图6E中所示的视图608)及其相对于模拟像MLD 612的投影矩阵，并且这些可以用于使内容再成形以从观看者的角度被正确绘制。例如，如图6A-图6E所示，相机604可用于获得透视图608，并且基于视图608和模拟像中相机604的位置的预定投影矩阵，将捕获的内容606的图像绘制到网格614以创建最终产品610。随后可以将其交给MLD 602进行最终渲染和图像生成。.因为投影内容所需的矩阵本质上取决于MLD屏幕相对于观看者的位置，所以在某些示例性实施例中，不是重新捕获内容以正确绘制到第二(背面)层，而是相机矩阵在最终投影过程中是偏移的，以适应在更深的平面上显示。通过利用原始相机的视图和投影矩阵，我们能够相对于MLD屏幕重建观察者的视口，从而允许将捕获的图像投影到通过纹理坐标映射被渲染到MLD的网格上。此时，能够将深度图与捕获的图像结合使用，以确定渲染到一个屏幕或两个屏幕的内容的不透明度(例如，显示器中较深的内容在后层上比在前层上渲染为更不透明)。当跨两层执行时，内容将从MLD的其前层无缝地“融合”到后层，并向观看者显示为连续的表面。图6A-图6E中所示的示例视图610示出了在被重新偏斜使得与绘制到MLD的第一(前)层上的图像的各方面正确对齐之后与视图608中相同的内容。重新偏斜可以包括根据第一MLD层与第二MLD层之间的距离、以及从模拟像MLD的中心到被跟踪的头部/眼睛位置的距离和角度，使用于第二显示层的图像和/或用于第一显示层的图像偏移和/或畸变。多层显示器的多层之间的图像和/或对象的这种对齐为多层显示器上显示的内容提供深度融合，同时提供三维效果。尽管在这些实施例中将其描述为渲染成网格，但是该过程可以简单地执行数学投影畸变，并且将所生成的图像直接传递给MLD以在具有或不具有其他内容的情况下进行绘制。
因此，通过如上所述最初在模拟像上投影和重新偏斜图像，操作808根据观看者的视角在物理MLD上呈现内容，以在两个MLD层上及其之间呈现内容，使得从观看者的视角正确地呈现该内容。
在示例实施例中，深度融合内容可以使用从正确的视角呈现的深度图，并且可以以多种方式来计算深度值。例如，如图7中所示，用于在第一显示层上显示图像的深度可以基于向前距观看者的头部/眼睛多远的距离(对应于图7中的相机704)，或者在示例性实施例中，其可以使用到屏幕中的距离(即其z深度)。然而，图像在第二显示层上的显示可以另外考虑基于MLD的第一显示层和第二显示层之间的距离的深度。而且，在示例实施例中，捕获和投影相机矩阵两者可以是相同的(即，都为透视图，相同的视场等)。尽管在某些实施例中这些可能不同，但是使它们相同可以提供更快的渲染计算和更一致的视图。而且，为了对真实深度进行最准确的模拟，可以将内容封装在MLD的真实物理深度内。由于MLD层的固有的双目深度提示，在示例性实施例中经常利用确保所生成的对象的形式不会太多地延伸超过真实物理深度，以防止内容与其表示之间的深度提示冲突。更进一步地，由于左眼/右眼冲突，静态地放置在MLD的层之间的对象可能不是最优的，因此一些实施例可以生成相应的图像以减少层之间的对象的数量。即使在MLD层之间的真实物理深度很小时，在常规观看距离下左眼/右眼视图之间的固有差异也会导致难以跨两个MLD层创建完美对齐的内容(因为每只眼睛在功能上充当单独的视点)。在示例性实施例中，可以通过以下方式在一定程度上解决该问题：通过在一个或多个层上横向模糊内容以适应不同视图来考虑视点的差异。
图10A-图10E示出了图6A-图6E中示出的示意图的通过级联若干操作步骤以执行优化的“一步式”解决方案的示例性实施例。放置内容1006，使得其与MLD层1012之间的距离是已知的。一旦被放置，观看者的位置1004用于将内容1006的顶点(vertice)沿从位置1004绘制的线投影到平面1012。一旦将内容“挤压”到层1012，其可被渲染并传递到MLD 1002进行显示。
图9示出了可以在其上实现本公开(多个)的实施例的示例性处理系统900。处理系统900可以包括一个或多个处理器910和存储器920，并且可以用于实现处理系统206、MLD202和/或头/眼跟踪单元。处理器910可以包括中央处理单元(CPU)或其他类型的处理器。取决于计算机系统环境的配置和/或类型，存储器920可以包括易失性存储器(例如，RAM)、非易失性存储器(例如，ROM、闪存等)或这两者的某种组合。另外，存储器920可以是可移动的、不可移动的等。
在其他实施例中，处理系统可以包括附加的存储(例如，可移动存储940、不可移动存储945等)。可移动存储940和/或不可移动存储945可包括易失性存储器、非易失性存储器或其任何组合。另外，可移动存储940和/或不可移动存储945可包括CD-ROM、数字通用盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存备或其他磁存储设备、或可用于存储信息以供处理系统900访问的任何其他介质。
如图9中所示的，处理系统900可以经由通信接口970与其他系统、组件或设备通信。通信接口970可以具体化成计算机可读指令、数据结构、程序模块或者在调制的数据信号(诸如载波)或其他传输机制中的其他数据。通过示例的方式，通信接口970可以耦合至有线介质(例如，有线网络、直接有线连接等)和/或无线介质(例如，无线网络、利用声学、RF、红外、或其他无线信令号等的无线连接)。
通信接口970还可以将处理系统900耦合至一个或多个输入设备980(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备等)和/或输出设备990(例如，显示器、扬声器、打印机等)。观察者可以使用输入设备990来操纵在输出设备990上显示信息的方式和/或在输出设备990的不同部分中显示什么信息和/或图形。在一个实施例中，通信接口970可以将处理系统900耦合到包括以重叠方式布置的三个或更多个显示面板的显示器。
如图9中所示，图形处理器950可以对存储在帧缓冲器960或处理系统的另一存储器中的数据执行图形/图像处理操作。可以由处理系统900的组件(例如，图形处理器950、处理器910等)和/或其他系统/设备的组件来访问、处理和/或修改帧缓冲器960中所存储的数据。另外，数据可以被访问(例如，通过图形处理器950)并且被显示在耦合至处理系统900的输出设备上。相应地，存储器920、可移动存储940、不可移动存储945、帧缓冲器960或者其组合可以包括指令，该指令当在处理器(例如，910、950等)上被执行时实现用于显示器上的改进的显示质量的处理数据(例如，存储在帧缓冲器960中的数据)的方法。
如图9中所示，本发明的多个部分包括计算机可读和计算机可执行指令，所述指令驻留在例如处理系统900中并且该指令可以用作通用计算机网络(未示出)的一部分。应理解的是，处理系统900仅仅是示例性的。由此，本申请中的实施例可以在许多不同的系统中操作，该系统包括但不限于通用计算机系统、嵌入式计算机系统、膝上型计算机系统、手持式计算机系统、便携式计算机系统、独立计算机系统、游戏控制台、游戏系统或机器(例如，在娱乐场或其他游戏设施中发现的)或在线游戏系统。
示例实施例提供了用于显示三维图像的多层显示(MLD)系统。该MLD系统包括MLD单元、通信地耦合至该MLD单元的处理系统以及头部和/或眼睛跟踪设备。该处理系统包括至少一个处理器和存储器。处理系统被配置成获得一个或多个图像，并基于从头部和/或眼睛跟踪设备接收的信息来检测观看者的头部和/或眼睛的位置。该处理系统还生成虚拟的模拟像，该虚拟的模拟像至少表示MLD单元和相对于MLD单元的检测到的位置。处理系统使用所生成的虚拟模拟像确定用于在MLD单元上显示图像的显示参数，并且基于根据现实参数获得的一个或多个图像，在MLD单元上显示至少一个图像。
根据前述段落所述的MLD系统，其中，MLD单元包括多个显示层，该多个显示层包括以基本平行和重叠的方式布置的至少第一和第二显示层，并且其中，所述处理系统进一步被配置为：从所获得的一个或多个图像中的至少一个生成用于在第一显示层上显示的第一图像和用于同时在第二显示层上显示的第二图像；使用所确定的显示参数调整第一图像或第二图像中的至少一个；在调整之后，同时地在第一显示层上显示第一图像并且在第二显示层上显示第二图像。
根据前面两段所述的MLD系统，其中，所述使用所确定的显示参数调整第一图像或第二图像中的至少一个包括：使第一图像或第二图像中的至少一个重新偏斜、重新成形，和/或改变第一图像或第二图像中的至少一个的大小。
根据前面三段所述的MLD系统，其中，处理系统进一步被配置成基于第一显示层与第二显示层之间的距离确定显示参数。
根据前面四段所述的MLD系统，其中，处理系统被进一步配置成基于所检测到的位置相对于MLD单元的屏幕中心的距离和角度中的至少一个确定显示参数。
根据该段落上方的三个段落的段落的MLD系统，其中，根据基于在所述虚拟的模拟像中表示的虚拟MLD单元与虚拟相机的一个或多个投影图像来执行使所述第一图像或所述第二图像中的至少一个重新偏斜、重新成形和/或改变所述第一图像或所述第二图像中的至少一个的大小。
根据前述段落所述的MLD系统，其中，处理系统进一步被配置成：使用所生成的虚拟模拟像，基于检测到的位置确定透视图，使用虚拟相机将透视图投影到所述虚拟MLD单元，使投影视图重新偏斜以在第一显示层和第二显示层中对齐各方面，以及根据投影和/或重新偏斜来执行所述确定显示参数。
根据前述段落所述的MLD系统，其中，处理系统进一步被配置成在一个级联操作中执行所需的观看者投影和畸变。
根据前面两个段落所述的MLD系统，其中，所述投影和/或所述重新偏斜中的至少一个基于与虚拟相机相关联的投影矩阵和/或与虚拟MLD单元相关联的深度图。
根据前面八个段落所述的MLD系统，其中，处理系统被配置成在检测的同时执行所述获取一个或多个图像。
根据前面九个段落所述的MLD系统，其中，MLD单元进一步包括光源，该光源被配置成向所述显示屏中的至少一个提供光。
根据前面十个段落所述的MLD系统，其中头部和/或眼睛跟踪设备被附接到MLD单元。
如上所述，各实施例提供了以适当地“融合”在MLD的不同层上显示的图像和/或对象以当从任何角度查看MLD时补偿MLD的不同屏幕之间的深度的方式在MLD上显示三维图像。这使得用户能够从任何角度查看显示在MLD上的图像，而不仅限于甜蜜点。
本公开的示例性实施例提供了包括最佳模式的(多个)发明，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何并入的方法。虽然本文公开了(多个)本发明的具体示例性实施例，但是应该理解，对于本领域普通技术人员来说修改、替换和改变是显而易见的，并且可以在不脱离本公开的范围的情况下进行。本公开旨在涵盖(多个)示例性实施例的任何改编或变型。

Claims (17)

1.一种用于显示三维图像的多层显示(MLD)系统：
多层显示单元；以及
处理系统，所述处理系统通信地耦合至所述多层显示单元以及头部和/或眼睛跟踪设备，并且包括至少一个处理器以及存储器，所述处理系统被配置成：
获取一个或多个图像；
基于从所述头部和/或眼睛跟踪设备接收到的信息，检测观看者的头部和/或眼睛位置；
生成表示至少所述多层显示单元以及相对于所述多层显示单元的所检测到的位置的虚拟模拟像；
使用生成的虚拟模拟像，确定用于在所述多层显示单元上显示图像的显示参数；以及
基于根据所述显示参数获得的一个或多个图像，在所述多层显示单元上显示至少一个图像。
2.根据权利要求1所述的多层显示系统，
其特征在于，所述多层显示单元包括多个显示层，所述多个显示层包括以基本平行并且重叠的方式布置的至少第一显示层和第二显示层，并且
其中，所述处理系统被进一步配置成：
从所获取的一个或多个图像中的至少一个生成用于在所述第一显示层上显示的第一图像以及用于在所述第二显示层上同时显示的第二图像；
使用所确定的显示参数调整所述第一图像或所述第二图像中的至少一个；以及
在所述调整之后，同时显示所述第一显示层上的所述第一图像和所述第二显示层上的所述第二图像。
3.根据权利要求2所述的多层显示系统，其特征在于，所述使用所确定的显示参数调整所述第一图像或所述第二图像中的至少一个包括：使所述第一图像或所述第二图像中的至少一个重新偏斜、重新成形，和/或改变所述第一图像或所述第二图像中的至少一个的大小。
4.根据任一前述权利要求所述的多层显示系统，其特征在于，所述处理系统进一步被配置成基于所述第一显示层与所述第二显示层之间的距离确定所述显示参数。
5.根据任一前述权利要求所述的多层显示系统，其特征在于，所述处理系统进一步被配置成基于所检测到的位置相对于所述多层显示单元的屏幕中心的距离和角度中的至少一个确定所述显示参数。
6.根据权利要求3-5中任一项所述的多层显示系统，其特征在于，根据基于在所述虚拟模拟像中表示的虚拟多层显示单元与虚拟相机的一个或多个投影图像来执行使所述第一图像或所述第二图像中的至少一个重新偏斜、重新成形和/或改变所述第一图像或所述第二图像中的至少一个的大小。
7.根据任一前述权利要求所述的多层显示系统，其特征在于，所述处理系统进一步被配置为：使用所生成的虚拟模拟像，基于检测到的位置确定透视图，使用所述虚拟相机将所述透视图投影到所述虚拟多层显示单元，使投影视图重新偏斜以在所述第一显示层和所述第二显示层中对齐各方面，并根据所述投影和/或所述重新偏斜来执行所述确定显示参数。
8.根据权利要求3-7中任一项所述的多层显示系统，其特征在于，所述投影和/或所述重新偏斜基于与同所述虚拟多层显示单元相关联的所述虚拟相机相关联的投影矩阵。
9.根据任一前述项权利要求2所述的多层显示系统，其特征在于，所述处理系统被配置成用于在所述检测的同时执行所述获取一个或多个图像。
10.根据任一前述项权利要求所述的多层显示系统，其特征在于，所述多层显示单元进一步包括光源，所述光源被配置成用于向所述显示屏中的至少一个提供光。
11.根据任一前述项权利要求所述的多层显示系统，其特征在于，所述头部和/或眼睛跟踪设备被附接至所述多层显示单元。
12.一种用于在多层显示(MLD)系统上显示三维图像的方法，所述多层显示(MLD)系统包括多层显示单元和处理系统，所述处理系统具有至少一个处理器和存储器，所述方法包括：
获取一个或多个图像；
基于从头部和/或眼睛跟踪设备接收到的信息，检测观看者的头部和/或眼睛位置；
生成表示至少所述多层显示单元以及相对于所述多层显示单元的所检测到的位置的虚拟模拟像；
使用生成的虚拟模拟像，确定用于在所述多层显示单元上显示图像的显示参数；以及
基于根据所述显示参数获得的一个或多个图像，在所述多层显示单元上显示至少一个图像。
13.根据权利要求12所述的方法，进一步包括：
从所获取的一个或多个图像中的至少一个生成用于在所述多层显示单元的第一层上的第一显示层上显示的第一图像以及用于在以与所述第一显示层基本平行和重叠的方式布置的所述第二显示层上同时显示的第二图像；
使用所确定的显示参数调整所述第一图像或所述第二图像中的至少一个；以及
在所述调整之后，同时显示所述第一显示层上的所述第一图像和所述第二显示层上的所述第二图像。
14.根据权利要求13所述的方法，进一步包括利用深度图以通过操纵透明度来影响所述第一显示图像和第二显示图像的重叠方式。
15.根据权利要求13-14中任一项所述的方法，其特征在于，所述使用所确定的显示参数调整所述第一图像或所述第二图像中的至少一个包括：使所述第一图像或所述第二图像中的至少一个重新偏斜、重新成形，和/或改变所述第一图像或所述第二图像中的至少一个的大小。
16.根据权利要求12-15中任一项所述的方法，其特征在于，确定用于在所述多层显示单元上显示图像的显示参数包括：
从所检测到的头部/眼睛位置逻辑地延伸直线到所述一个或多个图像中的内容的多个顶点，使得所述直线入射到所述模拟像的平面上；
在所述逻辑地延伸之后，在所述第二显示层上显示所述平面。
17.一种存储计算机程序指令的非瞬态计算机可读存储介质，所述计算机程序指令在被包括用于显示三维图像的多层显示单元的多层显示(MLD)系统的处理器执行时，使得所述多层显示系统执行包括以下的操作：
获取一个或多个图像；
基于从头部和/或眼睛跟踪设备接收到的信息，检测观看者的头部和/或眼睛位置；
生成表示至少所述多层显示单元以及相对于所述多层显示单元的所检测到的位置的虚拟模拟像；
使用生成的虚拟模拟像，确定用于在所述多层显示单元上显示图像的显示参数；以及
基于根据所述显示参数获得的一个或多个图像，在所述多层显示单元上显示至少一个图像。
CN201880029358.3A 2017-05-04 2018-05-04 基于头部跟踪的深度融合 Active CN110603808B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762501524P 2017-05-04 2017-05-04
US62/501,524 2017-05-04
PCT/US2018/031013 WO2018204738A1 (en) 2017-05-04 2018-05-04 Head tracking based depth fusion

Publications (2)

Publication Number Publication Date
CN110603808A true CN110603808A (zh) 2019-12-20
CN110603808B CN110603808B (zh) 2022-05-10

Family

ID=64015319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880029358.3A Active CN110603808B (zh) 2017-05-04 2018-05-04 基于头部跟踪的深度融合

Country Status (4)

Country Link
US (1) US10672311B2 (zh)
EP (1) EP3596919A4 (zh)
CN (1) CN110603808B (zh)
WO (1) WO2018204738A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593479A (zh) * 2021-09-27 2021-11-02 华兴源创(成都)科技有限公司 一种显示面板子像素级mura补偿方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102746B1 (ko) * 2018-08-03 2020-04-23 주식회사 토비스 투명 디스플레이장치, 및 이를 구비한 입체영상 디스플레이장치
US11314383B2 (en) * 2019-03-24 2022-04-26 Apple Inc. Stacked media elements with selective parallax effects
CN110018573A (zh) * 2019-05-07 2019-07-16 深圳市华星光电半导体显示技术有限公司 组合式显示面板
CN112541968B (zh) * 2020-12-17 2022-11-22 中国航空工业集团公司成都飞机设计研究所 一种基于网格的三维效果增强可视化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035561A1 (en) * 2005-04-11 2007-02-15 Systems Technology, Inc. System for combining virtual and real-time environments
CN101557536A (zh) * 2009-05-14 2009-10-14 福建华映显示科技有限公司 观看景深融合显示器的方法
US20110310121A1 (en) * 2008-08-26 2011-12-22 Pure Depth Limited Multi-layered displays
CN102461182A (zh) * 2009-06-04 2012-05-16 传斯伯斯克影像有限公司 3维投影系统
US20130162634A1 (en) * 2011-12-26 2013-06-27 Samsung Electronics Co., Ltd. Image processing method and apparatus using multi-layer representation
CN104519333A (zh) * 2013-09-30 2015-04-15 三星电子株式会社 基于眼睛位置的分层显示方案的图像产生设备和显示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090054835A (ko) * 2007-11-27 2009-06-01 삼성전자주식회사 3차원 영상 처리방법 및 그 장치
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20110175902A1 (en) * 2010-01-20 2011-07-21 Apple Inc. Multilayer display device
US8704879B1 (en) 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
US20130162766A1 (en) 2011-12-22 2013-06-27 2Dinto3D LLC Overlaying frames of a modified video stream produced from a source video stream onto the source video stream in a first output type format to generate a supplemental video stream used to produce an output video stream in a second output type format
TWI637348B (zh) * 2013-04-11 2018-10-01 緯創資通股份有限公司 影像顯示裝置和影像顯示方法
EP2851403A1 (de) 2013-09-23 2015-03-25 BASF Coatings GmbH Beschichtungsmittelzusammensetzungen und daraus hergestellte, bei niedrigen temperaturen härtbare beschichtungen und sowie deren verwendung
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
US10554962B2 (en) * 2014-02-07 2020-02-04 Samsung Electronics Co., Ltd. Multi-layer high transparency display for light field generation
US9576399B2 (en) * 2014-12-23 2017-02-21 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US10055888B2 (en) 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
US20170200009A1 (en) * 2016-01-13 2017-07-13 On The Wall, Inc. Systems and Methods for Providing an Operating System for a Smart Mirror Device
US20180184074A1 (en) * 2016-12-28 2018-06-28 Intel Corporation Three dimensional image display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035561A1 (en) * 2005-04-11 2007-02-15 Systems Technology, Inc. System for combining virtual and real-time environments
US20110310121A1 (en) * 2008-08-26 2011-12-22 Pure Depth Limited Multi-layered displays
CN101557536A (zh) * 2009-05-14 2009-10-14 福建华映显示科技有限公司 观看景深融合显示器的方法
CN102461182A (zh) * 2009-06-04 2012-05-16 传斯伯斯克影像有限公司 3维投影系统
US20130162634A1 (en) * 2011-12-26 2013-06-27 Samsung Electronics Co., Ltd. Image processing method and apparatus using multi-layer representation
CN104519333A (zh) * 2013-09-30 2015-04-15 三星电子株式会社 基于眼睛位置的分层显示方案的图像产生设备和显示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593479A (zh) * 2021-09-27 2021-11-02 华兴源创(成都)科技有限公司 一种显示面板子像素级mura补偿方法
CN113593479B (zh) * 2021-09-27 2022-01-07 华兴源创(成都)科技有限公司 一种显示面板子像素级mura补偿方法

Also Published As

Publication number Publication date
US20180322818A1 (en) 2018-11-08
EP3596919A4 (en) 2021-01-06
US10672311B2 (en) 2020-06-02
CN110603808B (zh) 2022-05-10
EP3596919A1 (en) 2020-01-22
WO2018204738A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN110603808B (zh) 基于头部跟踪的深度融合
CN110574099B (zh) 基于头部跟踪的场序跳视分离减少
US10621898B2 (en) Multi-layer display system for vehicle dash or the like
US9977493B2 (en) Hybrid display system
US7843402B2 (en) 3D displaying method, device and program
US9432657B2 (en) Naked-eye stereoscopic display apparatus, viewpoint adjustment method, and naked-eye stereoscopic vision-ready video data generation method
JP2008090617A (ja) 立体画像生成装置、方法およびプログラム
US11659158B1 (en) Frustum change in projection stereo rendering
US10931938B2 (en) Method and system for stereoscopic simulation of a performance of a head-up display (HUD)
US11150488B2 (en) Fixed depth display for vehicle instrument panel
US20220072957A1 (en) Method for Depicting a Virtual Element
US11818325B2 (en) Blended mode three dimensional display systems and methods
US20230396750A1 (en) Dynamic resolution of depth conflicts in telepresence
Burnett 61‐1: Invited Paper: Light‐field Display Architecture and the Challenge of Synthetic Light‐field Radiance Image Rendering
CN110750000A (zh) 一种立体显示屏
KR100815505B1 (ko) 삼차원 표시방법, 장치 및 프로그램
WO2024095358A1 (ja) 画像表示システム、ディスプレイ装置
JP3866267B2 (ja) グラフィックス装置
JP6562371B1 (ja) 表示装置、表示処理装置、および表示処理プログラム
KR20070062703A (ko) 입체 영상을 이용한 가상현실 구현장치 및 방법
JP3739829B2 (ja) グラフィックス装置
JP2009237310A (ja) 疑似３次元表示方法および疑似３次元表示装置
KR20120139875A (ko) 인터랙티브 광고 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220329

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: California, USA

Applicant before: PURE DEPTH Inc.

GR01 Patent grant
GR01 Patent grant