CN107079140B - 用于在自动立体监视器上呈现三维场景的方法 - Google Patents

Abstract

本发明涉及一种用于在自动立体监视器上呈现三维场景的方法，其中a)预先限定场景的N个基本图像，该基本图像示出每种情况下从不同视角显示的图像，b)针对每个基本图像在每种情况下预先限定图像掩模，其中的基本图像在每种情况下被预先限定具有监视器或监视器的部分区域的原始屏幕分辨率的尺寸，c)利用分别相关联的图像掩模的值，逐个像素或逐个子像素地对于单独的基本图像进行加权，然后将其相加从而形成光栅图像，d)将这样确定的光栅图像显示在自动立体监视器的屏幕上，e)确定垂直于监视器的屏幕平面的观察者距监视器的当前法向距离，并且f)作为屏幕的已确定的当前法向距离和标称距离的函数来确定拉伸因子，其中图像掩模作为拉伸因子的函数在水平图像轴的方向上被拉伸或压缩。

Description

用于在自动立体监视器上呈现三维场景的方法

本发明涉及根据权利要求1的前序部分所述的用于在自动立体监视器上呈现三维场景的方法。此外，本发明涉及根据权利要求5的前序部分的自动立体监视器。

从现有技术中已知发射光场的自动立体监视器的各种实施例，当观察者处于距离图像平面一定距离的指定平面上时，该光场产生三维印象。然而，如果观察者移出该平面，则三维印象作为到该平面的法向距离的函数而减弱，直到它在特定距离处不再出现。因此，对于所有这些实施例常见的是，根据该结构的自动立体监视器前方的预定范围对于观察者是可用的，其中立体视觉以及因此的三维印象是可能的。从现有技术中已知各种方法，在这些方法中，在每种情况下确定屏幕前方的观察者的精确位置，然后针对各个观察者确定对于该位置所优化的光场，并且向观察者显示。这样的方法是非常CPU密集型的，并且通常仅用于特殊情况。本发明的目的是提供一种以简单并且节省资源的方式在根据该结构的自动立体监视器前方扩展可能具有立体视觉的预定范围的方法。因此，观察者在没有该方法的情况下将看到最佳立体图像的预定平面可以通过该方法在与屏幕平面的正交地向前或向后移动。

本发明通过具有权利要求1的特征的开头所提及的类型的方法中实现了该目的。

本发明提供了一种用于在自动立体监视器上呈现三维场景的方法，其中,

a)指定场景的N个基本图像，其分别示出从不同视角所显示的图像，

b)指定具有监视器或监视器的子区域的本地屏幕分辨率的尺寸的每个相应基本图像的图像掩模，

c)利用分配给它们的图像掩模的值，根据像素或子像素对于单独的基本图像进行加权，然后将其添加到光栅图像，

d)将通过这种方式确定的光栅图像显示在自动立体监视器的屏幕上，

e)观察者从监视器的当前法向距离被确定为垂直于监视器的屏幕平面，并且

f)作为屏幕已确定的当前法向距离和标称距离的函数来确定拉伸因子，其中图像掩模作为拉伸因子的函数在水平图像轴的方向上被拉伸或压缩。作为步骤f)的替代，图像掩模还可以在水平图像轴的方向上被拉伸或压缩，其中拉伸因子与已确定的法向距离间接成比例。

这导致有利的效果是，不需要观察者在监视器前面的精确定位，而是只需要针对单独的图像掩模的新计算，对于观察者从监视器的法向距离进行一些变化，并且这种重新计算可以通过特别简单和节约资源的方式实现。由于插值，这导致对于人眼几乎没有图像质量的可察觉的恶化。

光学特性的优选实施例提供了待分配给屏幕的图像线的多个光学元件，其中源自每个基本图像的颜色和/或亮度值经由各自的光学元件被投影到各自的投影点，其具有到自动立体监视器的预定距离，其中观察者当前所在的直线上的每两个相邻投影点之间的距离基本上对应于距离自动立体监视器的标称距离处的直线上的每两个相邻投影点之间的相应距离。

为了能够以低资源需求实现对用户的最佳适配，可以提供，步骤e)被执行一次或者在预定的更新时间点，特别是连续地执行，并且再次测量和更新法向距离，并且在改变已确定的法向距离时或在每次确定法向距离之后再次执行步骤f)。

为了显示运动图像，可以提供用于运动场景的呈现的视频数据结构，其中对于每个时间点，场景的N个基本图像可用，并且针对每个时间点执行步骤b)至e)。

根据一个示例性实施例，可以提供，将作为拉伸因子的函数进行拉伸或压缩的图像掩模对准，特别是水平居中，使得经过拉伸或压缩的图像掩模的水平中心与原始图像掩模的水平中心重合，并且其中通过插值将经过对准的图像掩模的矩阵值转移到新图像掩模的矩阵值，其中新图像掩模具有与原始图像掩模相同的分辨率和宽度，并且其中利用新图像掩模执行步骤c)和d)。

此外，本发明解决了用于呈现三维场景的自动立体监视器的问题，该三维场景提供了多个基本图像，这些基本图像示出了从不同视角显示的场景。所述监视器包括：

-对于每个基本图像，用于具有监视器或适于其立体显示窗口的部分区域的原始屏幕分辨率的尺寸的图像掩模的存储器

-加权单元，其利用分配给它们的各个图像掩模的值，基于子像素对于单独的基本图像进行加权，然后将它们相加，

-用于显示光栅图像的屏幕，以及

-光学元件，其在使用基本图像掩模时将源自基本图像的光映射到直线上的点，

-检测单元，用于确定观察者垂直于监视器的图像平面从监视器的法向距离，以及

-更新单元，当观察者的法向距离改变时，确定作为法向距离的函数的拉伸因子，其中作为拉伸因子的函数沿着水平图像轴来拉伸或压缩图像掩模。

光学性质的优选实施例提供，观察者所位于的直线上的每两个相邻点之间的距离对应于距离自动立体监视器标称距离处的直线上的每两个相邻点之间的距离(即，标称距离)。

在附图中更详细地示出本发明的优选实施例。图1示出从现有技术已知的过程。图2示意性地示出中间结果和因子的确定。图3示出与现有技术(图1)相比进行修改的过程，其中考虑用户与监视器相应的距离。图4a示出通过拉伸图像掩模来显示的图像的计算。图4b示出通过图像掩模的压缩来显示的图像的计算。

为了呈现场景的立体图像，提供多个基本图像21、22、23、24、25，分别示出从不同视角(图2)显示的三维场景。在本实施例中，在创建基本图像21、22、23、24、25期间，分别从具有相同定向的五个记录位置来记录相同的场景，其中五个记录位置相互均匀偏移地布置在垂直于相机图像轴的直线上。基本图像的大小对应于屏幕的原始分辨率；在任何情况下，首先，基本图像可以被转换为原始分辨率，特别是插值到原始分辨率。原始分辨率被理解为监视器上实际存在的像素的分辨率。可替换地，还存在仅仅屏幕的部分区域用于创建光场的可能性。在此情况下，本发明还可以在监视器的显示器的部分区域上实现。

单个照相机基本上具有相同的取向，尽管它们示出它们的观看区域的不同部分。它们有不同的投影矩阵；因此相机设置通常不相同。因此，基本图像可以透视地是通常被水平偏移的略微不同的图像，其中每两个相邻的图像分别产生最佳的立体图像。例如，5个(输入或)基本图像产生4个立体图像；8个(输入或)基本图像产生7个立体图像。

参考附图更详细地说明本发明的优选实施例。图1示出从现有技术已知的过程。因此示出具有显示单元的自动立体监视器1，其中显示单元10包括以网格图案布置的多个显示像素11。在本例中示出彩色监视器。在这种情况下，每个显示像素11包括多个子像素。

在图1中，只显示具有这样的像素11(在水平图像轴x上)的单个图像线。自动立体监视器1具有在基本相同的结构的显示单元10的显示平面中彼此上下(在垂直图像轴y上)布置的多个图像线。多个光学元件12被分配给自动立体监视器1的各个图像线，其在图1中由圆圈表示。

将基本图像21、22、23、24、25的单独图像点显示在自动立体监视器1的屏幕10的不同点处。如图1所示，在显示在最左侧的子像素中示出源自第一基本图像21并且来自第一基本图像21的最左列和各行所示的图像、颜色值或亮度值。来自第二基本图像22的各个像素位置的颜色或亮度值被显示在屏幕1的显示行的随后的第二子像素中。在屏幕的显示行的随后的第三子像素中，从第三基本图像23等显示各个像素位置的颜色或亮度值。在屏幕的显示行的第六子像素中，从第一基本图像21再次显示各个像素位置的颜色或亮度值。这种具体的子像素相关性也利用其它图像点来执行，其中在水平图像轴x上重复相关性，并且在每种情况下显示单个基本图像的颜色或亮度值。

由于光学元件12中的子像素的光束以及单独的光学元件12的具体布置，源自第一基本图像21的所有颜色或亮度值被投影到点P1，该点P1具有(在z轴上)到自动立体监视器1(在xy平面中)的预定距离d。

此外，源自第二基本图像22并显示在自动立体监视器的屏幕上的所有颜色和亮度值被捆绑在第二点P2中，第二点P2也具有距自动立体监视器的距离d。同样地，剩余的基本图像23、24、25的颜色和亮度值各自被捆绑在具有距自动立体监视器的距离d的各个点P3、P4、P5中。

所有这些点P1、P2、P3、P4、P5位于相同的直线G上，该直线G基本上平行于自动立体监视器并且距离自动立体监视器的标称距离为距离d。这样的过程导致这样的事实：位于距自动立体监视器1的距离为d的直线G上的观察者的眼睛可以感知所记录的场景的立体图像。标称距离可以被认为是观察者可以感知到最佳立体图像的距离监视器的任何距离。为了实现对眼睛的特别有利的适配，在屏幕10上布置光学元件12的距离和范围以及光学元件12从屏幕10到各个像点11的距离，使得在各个相邻基本图像21、22、23、24、25的相邻点P1、P2、P3、P4、P5之间映射，平均眼睛距离为大约6.5cm或更小的距离d_p，使得两个不同的(特别是相邻的)基本图像21、22、23、24、25投影到观察者的眼睛，从而产生场景的立体印象。距离d_p也可以显著更小，以便减小基本图像的记录位置相对于彼此的距离，并且因此实现具有“环视”效果的更柔和的梯度。

从本发明的该实施例(图2)可以看出，每个基本图像21、22、23、24、25受到单独的过滤，该过滤可渗透在周期性间隔，并且抑制各个其他基本图像21、22、23、24、25的颜色和亮度值。单独的图像掩模31、32、33、34、35用于每个基本图像21、22、23、24、25，其中在每个子像素11中，显示不同的基本图像21、22、23、24、25的颜色和强度值。所有图像掩模的和产生单矩阵。图2更详细地示出确定图像线所需的计算步骤和中间结果，其中在施加到各个基本图像21、22、23、24、25期间，示出基本图像21、22、23、24、25中的一条线，各个图像掩模31、32、33、34、35以及图像掩模41、42、43、44、45的结果。换言之，将图像掩模31分配给基本图像21，并且获得结果41等。线50表示来自所有结果41至45的所得光栅图像。

在每种情况下将第一基本图像21的颜色和亮度值根据子像素与第一图像掩模31的掩模值相乘，类似于矩阵相乘，由此获得中间结果41。同样地，剩余的基本图像22、23、24、25的颜色和亮度值根据像素乘以分配给它们的各个图像掩模32、33、34、35的掩模值，由此获得中间结果42、43、44、45。然后，将各个中间结果41、42、43、44、45添加到将要显示在屏幕11上的最终光栅图像50。加权单元用于确定光栅图像，分别具有用于图像掩模31、32、33、34、35以及用于基本图像21、22、23、24、25的存储器，并且由于执行加权，在其输出处提供光栅图像50，并将其输出到自动立体监视器1的屏幕10。

图2表示用于单个图像线(在水平图像轴x上)的过程，其中基本上相同地执行监视器的其它单独图像线的过程，然而，每个图像线的周期性子像素相关性可以通过特定的偏移水平地移位到各个先前的图像线。

通常，透镜或视差屏障以一定的角度对角地定位在3D监视器中，例如，在倾斜双凸透镜的情况下，为了将在3D操作中产生的分辨率降低均匀地划分到x和y轴(监视平面)上，在这种情况下，通过相对于各个前一个像素线的特定水平偏移，将每行中的子像素相关性移位到右或左。

通常，不必对图像点的所有单独的颜色和亮度值进行完全滤波，即，使用三色图像点，基本图像21、22、23、24、25的红色，绿色和蓝色部分。相反，也可能是，根据子像素，即在每种情况下单独地并且对应于屏幕10上的布置对于图像点11的单独的颜色部分进行加权，其中将与配置对应的各个颜色所利用的子像素考虑在自动立体监视器1的屏幕10的图像线中。在当前情况下，将单独的子像素按顺序...RGBRGBRGB...排列在自动立体监视器1的屏幕上，使得最左图像点11a的颜色和强度值的形成是来自最左图像点11a的红色通道的第一基本图像21，来自最左图像点11a的绿色通道的第二基本图像22，以及来自最左图像点11a的蓝色通道的第三基本图像23。第四基本图像24的红色值、第五基本图像25的绿色值以及第一基本图像21的蓝色值相应地用于与最左图像点11a相邻的各个图像线的第二图像点11b。根据预定义的图像掩模对于整个图像线继续该过程。

在图3中更详细地描述，当观察者不在距离屏幕1的标称距离d的距离处时，用于产生立体图像的最佳方法。与从现有技术已知的方法相比，显著的优点在于，与其预定位置相比，光学元件12或图像点11不需要改变，只是再次确定图像掩模31、32、33、34、35。图3示出位于距离屏幕1的法向距离d'处的直线G'，其中观察者距自动立体监视器1的法向距离d'不直接对应于自动立体监视器1的标称距离d。为了能够在观察者到自动立体显示监视器1的法向距离d'已知时在直线G'上为观察者生成最佳光场，下面提供开始所述的方法的变形，其中只是将图像掩模31、32、33、34、35适配于不同的当前距离d'(即，实际法向距离d')。

在第一步骤中，利用检测单元来确定，例如利用用户定向的照相机或任何距离来确定各个观察者到自动立体屏幕1的法向距离d'。由此，观察者的法向距离被确定为距离，就是观察者与监视器之间的垂直于监视器的图像平面的距离。为了控制屏幕10，使得对于具有任意法向距离d'的观察者，通过监视器发射对应于场景的光场，通过取决于观察者的法向距离d'的值对于单独图像掩模31、32、33、34、35进行拉伸或压缩。确定作为标称距离d和实际法向距离d'的函数的拉伸因子s的一种可能性提供，拉伸因子s由标称距离d与实际距离d'的商或比例形成。

图像掩模31、32、33、34、35的压缩(图4b)或拉伸(图4a)可以利用从现有技术已知或指定的所有插值方法来执行，其中基本图像掩模31'、32'、33'、34'、35'主要从图2所示的图像掩模31、32、33、34、35输出。如果存在压缩，则首先创建压缩的基本图像掩模31"、32"、33"、34"、35"。基本图像掩模31"、32"、33"、34"、35"的用于基本图像的稍后加权的单独的区域保持通过压缩未定义(图4b)。为此，创建补充基本图像掩模31”',32”',33”',34”',35”'，其中基于X，Y值确定在压缩基本图像掩模中保持未定义的区域。这也可以通过将区域X，Y设置为零来完成。然而，也可以通过基本图像掩模31'，32'，33'，34'，35'的周期性连续,在区域X、Y的外侧添加缺失的子像素。

图4a和4b更详细地示出了图像掩模31的创建，其中图4a示出拉伸因子为1.25的拉伸，图4b示出具有拉伸因子0.75的压缩。

为了说明计算方法，示出具有屏幕的一部分的原始像素分辨率的3倍宽度和1倍高度的矩阵，使得矩阵元素的数量对应于该部分屏幕的子像素的数量。基本图像掩模31'的矩阵元素交替地承载值1和0，或者矩阵元素交替地被分配值0和1。然而，在最后的过程中，基本图像掩模的矩阵元素可以具有在0和1之间的值范围内的值，即值0、值1或其间的所有可能值。实际上可能的，但不是强制的，值形成周期性模式。基本图像掩模31'基本上在整个(水平)基本图像上或在整个屏幕10上延伸。在第一步骤中，当拉伸因子s大于1时(图4b)，通过拉伸因子s来拉伸基本图像掩模31a'、31b'(图4a)，或者当拉伸因子s小于1；获得拉伸或压缩的基本图像掩模31a"或31b"。然后，将已拉伸或已压缩的基本图像掩模31a"、31b"水平居中，使得基本图像掩模31a"、31b"的水平中心与基本图像掩模31a'、31b“的水平中心重合。在最后一个步骤中，通过插值将已对准(已居中)的基本图像掩模31a"、31b"传输到新的图像掩模31a、31b，其中新的图像掩模31a、31b具有与原始基本图像掩模31a'，31b'相同的分辨率和宽度，并且因此可以显示在屏幕10上。线性插值可以用于通过插值的传输，其中利用基本图像掩模31a'、31b'的各个RGB矩阵区域的宽度与已拉伸或已压缩的基本图像掩模31a"、31b"的RGB矩阵区域的宽度的比率，并且在这种情况下，特别地，仅分割具有值1的RGB矩阵区域的那些部分(长度)。因此，如图4a所示，由于已拉伸的图像掩模31a"的相应RGB矩阵区域重叠新图像掩模31a的第一图像点11a的红色值R的一半，绿色值重叠四分之三，所以新图像掩模31a的第一图像点11a的红色值R接收值“0.5”，第一图像点11a的绿色值G接收到值“0.75”。换言之，按照新图像掩模31a(或31b)的两个相邻矩阵区域的重叠比率，划分已拉伸图像掩模31a”'(或已压缩图像掩模31b”')的各个矩阵区域值，并且将相应的划分值分配给新的图像掩模31a。具有值“0”的拉伸图像掩模31a"的矩阵区域也必须针对新图像掩模31a的相邻矩阵区域产生值“0”。

在图4b所示的压缩基本图像掩模31b"中存在的问题是没有为居中的基本图像掩模31b”'的显示区域X，Y指定值。一方面，为了具有可用于待执行的插值的足够的值，可以用零填充这些区域X，Y。在这种情况下，第一图像点11a的红色值R例如接收值0，第二图像点11b的蓝色值B接收值0.25。

可替换地，也可以周期性地继续基本图像掩模31b”'的区域，并以这种方式执行插值。通过周期性延续，区域X将接收值1，区域Y接收值0。在这种情况下，第一图像点11a的红色值R接收值0.75，第二图像点11b的蓝色值B接收值0.25。

通过改变(拉伸、压缩)图像掩模31、32、33、34、35，源自相同基本图像21、22、23、24、25的来自子像素的光被映射到直线G'上相同的点P1'，P2'，P3'，P4'，P5'(图3)。观察者所位于的直线G'上的相邻两点P1'、P2'、P3'、P4'、P5'之间的距离dp'对应于具有到自动立体显示监视器1的标称距离d的直线G上每两个相邻点P1、P2、P3、P4、P5。根据观察者距监视器1的距离d'，通过更新单元进行图像掩模31、32、33、34、35中的改变。

通过上述程序，与基本图像掩模相比，图像掩模31、32、33、34、35具有经过拉伸或经过压缩的分布。图像掩模31、32、33、34、35在水平图像轴的方向上被拉伸或压缩，使得各个图像掩模31、32、33、34、35的拉伸与所确定的法向距离d'成间接比例。将光栅图像50显示在自动立体监视器1的屏幕10上。在自动立体监视器1的运行操作期间，多个基本图像21、22、23、24、25可用于每个显示时间点。连续地检测或以其他方式确定观察者从监视器1垂直于监视器1的屏幕平面的法向距离d'。如果用户从自动立体监视器1的法向距离d'被改变，则相应地重新计算图像掩模31、32、33、34、35，并且基本图像21、22、23、24、25的呈现作为新创建的图像掩模31、32、33、34、35的结果而发生。

Claims (6)

1.一种用于在自动立体监视器(1)上呈现三维场景的方法，其中

a)显示三维场景的N个基本图像(21，22，23，24，25)，其中的基本图像分别示出从不同视角的三维场景，

b)为每个基本图像(21，22，23，24，25)提供图像掩模(31，32，33，34，35)，每个基本图像具有自动立体监视器(1)或自动立体监视器的子区域的原始屏幕分辨率的尺寸，

c)确定垂直于所述自动立体监视器(1)的屏幕平面的观察者距所述自动立体监视器(1)的当前法向距离(d')，

d)确定作为检测到的当前法向距离(d')和标称距离(d)的函数的拉伸因子，

e)利用分配给它们的各个图像掩模(31，32，33，34，35)的值，根据像素或子像素对于单独的基本图像(21，22，23，24，25)进行加权，并且随后添加到光栅图像(50)，

f)将如此确定的光栅图像(50)显示在所述自动立体监视器(1)的屏幕(10)上，

g)通过插值将所述图像掩模(31，32，33，34，35)作为所述拉伸因子的函数在水平图像轴(x)的方向上被拉伸或压缩，其中经拉伸或经压缩的图像掩模具有与被拉伸或压缩之前的图像掩模相同的分辨率和宽度，以及

h)将所述经拉伸或经压缩的图像掩模水平居中，使得所述经拉伸或压缩的图像掩模与所述被拉伸或压缩之前的图像掩模的水平中心重合。

2.根据权利要求1所述的方法，其特征在于，将多个光学元件(12)分配给屏幕(10)的图像线，其中经由具有距所述自动立体监视器(1)的指定距离(d，d')的各个光学元件(12)，将源自每个基本图像的颜色和/或亮度值投影到各个投影点(P1，P2，P3，P4，P5)，其中观察者当前位于的法向距离(d')处的直线(G')上的每两个相邻投影点(P1'，P2'，P3'，P4'，P5')之间的距离(d'_p)基本上对应于在距屏幕(10)标称距离(d)的直线(G)上的两个相邻投影点(P1，P2，P3，P4，P5)之间的各个距离(dp)。

3.根据权利要求1所述的方法，其特征在于，步骤c)被执行一次或者在预定的更新时间，特别是连续地执行，并且再次确定并且更新法向距离(d')，并且当检测到的法向距离(d')改变或在每次确定法向距离(d')之后再次执行步骤d)、g)和h)。

4.根据权利要求1至3中的任一项所述的方法，其特征在于，提供视频数据结构以用于呈现运动三维场景，其中所述场景的N个基本图像(21，22，23，24，25)对于每个时间点是可用的，并且对于每个时间点执行步骤b)、e)、f)和h)。

5.一种用于显示三维场景的自动立体监视器，其被提供为分别从不同视角示出将要显示的三维场景的多个基本图像(21，22，23，24，25)，包括

-用于每个基本图像(21，22，23，24，25)的图像掩模(31，32，33，34，35)的存储器，所述基本图像具有所述自动立体监视器或者适于它的自动立体显示窗口的部分区域的原始屏幕分辨率的大小，

-加权单元，用于指定多个基本图像掩膜，

-用于显示光栅图像的屏幕(10)，

-光学元件(12)，其在使用基本图像掩模(31'，32'，33'，34'，35')时将源自基本图像(21，22，23，24，25)的光分别地映射到直线(G)上的点(P1，P2，P3，P4，P5)，

-检测单元，用于确定垂直于自动立体监视器(1)的图像平面的观察者距自动立体监视器(1)的当前法向距离(d')，以及

-更新单元，当所述观察者的所述法向距离(d')改变时，所述更新单元确定作为所述法向距离(d')和标称距离(d)的函数的拉伸因子，其中所述图像掩模(31，32，33，34，35)作为拉伸因子的函数在水平图像轴(x)的方向上被拉伸或压缩，并且

-所述加权单元，用于利用分配给它们的各个图像掩模(31，32，33，34，35)的值，根据子像素对各个基本图像(21，22，23，24，25)进行加权，然后将它们相加，并且通过图像掩模(31，32，33，34，35)的插值将所述图像掩模(31，32，33，34，35)作为所述拉伸因子的函数在水平图像轴(x)的方向上被拉伸或压缩，其中经拉伸或经压缩的图像掩模具有与被拉伸或压缩之前的图像掩模相同的分辨率和宽度，以及

-将所述经拉伸或经压缩的图像掩模水平居中，使得所述经拉伸或压缩的图像掩模与所述被拉伸或压缩之前的图像掩模的水平中心重合。

6.根据权利要求5所述的自动立体监视器，其特征在于，观察者所位于的法向距离(d')处的直线(G)上每两个相邻点(P1'，P2'，P3'，P4'，P5')之间的距离(d'_p)对应于从屏幕(10)的标称距离(d)处的直线(G)上的两个相邻点(P1，P2，P3，P4，P5)之间的距离(d_p)。