CN102177721A - 处理信号中包括的视差信息的方法 - Google Patents

Abstract

本发明涉及处理信号中包括的视差信息的方法和设备。接收包括与进一步图像信息相关联的视差映射的信号。从指示第一视差映射约束的信号中获得第一数据。从指示第二视差映射约束的信号中获得第二数据。借助于处理至少第一数据和第二数据来确定与目标设备的第三视差映射约束相匹配的第三数据。这个第三数据用于生成与目标设备的视差映射信息约束相匹配的更新信号。

Description

处理信号中包括的视差信息的方法

技术领域

本发明涉及用于处理信号中包括的视差信息的方法和设备。

背景技术

三维（3D）显示设备通过为观看者的眼睛中的每只眼睛提供正被观看的场景的不同视图而给观赏体验添加第三维度（深度）（景深）。许多3D显示设备使用立体输入，这意味着：提供两个不同的但是相关的视图。例如，这用于标准3D影院中（其中使用眼镜来为观看者的眼睛分隔开左右视图）。与每秒提供例如50帧（图像数据）不同，在立体系统100中每秒提供100帧，其中50帧用于左眼，和50帧用于右眼。配对中的每个帧包括同一场景的略微不同的视图，而大脑组合这些视图来创建三维图像。作为在3D影院中采用这种技术的结果，具有许多可用的立体内容。也有可能具有这样的家庭影院狂热者，其将希望在家里复制影院体验并建造或安装立体投影系统。

然而，对于许多应用诸如3D标牌以及也更加休闲的家庭3DTV观看来说，使用与立体3D系统相关联的眼镜是麻烦的。无眼镜（glasses-free）系统（也称为自动立体系统）时常提供该场景的两个以上的视图来提供观看者的移动自由度，并且由于视图的数量变化，所以在这些应用中时常使用的表示法是图像+深度格式，其中一个图像及其深度图（map）提供为了再现所需的多个视图而需要的信息。

提供视差信息的系统存在的问题是：视差信息（其对于图像数据是附加的）的结构将针对特定的目标再现系统或设备来优化。例如，如果提供深度图，那么这可以利用记住的特定目标系统来设计。例如，在创建该（深度）图时可以假设：该终端系统被设计成提供6个不同的视图（取决于用户的位置，用户将永远仅看到六个视图中的两个）。6个视图的选择可以基于被感知为该终端系统的最有可能（或平均）的配置。但是，该信号内包含的视差信息对于将发生在显示设备上的再现可能不是适当的。

发明内容

本发明的目的是改进已知技术。

根据一个方面，本发明涉及一种处理信号中包括的视差信息的方法，包括：

接收包括与进一步图像信息相关联的至少一个视差映射的信号；

从指示第一视差映射约束的信号中获得第一数据；

从指示第二视差映射约束的信号中获得第二数据；

借助于处理至少第一数据和第二数据来确定与目标设备的第三视差映射约束相匹配的第三数据，第三数据适于生成与目标设备的视差映射信息约束相匹配的更新信号。

在第一或第二数据与目标设备的约束都不相匹配的情况下，因而有可能在生成与目标设备相匹配的更新的第三数据中使用该数据作为输入。图像信息可以是静止图像、或视频序列的帧或场。

在一个实施例中，第一数据和第二数据是视差信息变换，第一和第二视差映射约束是用于该图像信息的第一和第二深度范围，第三数据是第三视差信息变换，并且第三视差映射约束是第三深度范围。

利用视差信息的术语来表示深度相关的信息或差距相关的（disparity-related）信息或二者的组合。在这里，深度相关的信息用于代表关于图像信息相对于观看者/摄像机的视距的指示的信息。反过来，差距相关的信息用于代表关于视图之间的图像元素的视在偏移（apparent shift）（即，对于左眼和右眼的图像的位移）的指示的信息。

在一个实施例中，第一视差信息变换是接收到的视差映射的身份信息变换。

在一个实施例中，第二视差信息变换是通过使用身份信息变换作为被处理的输入而获得的视差信息变换，该处理导致输出第二视差信息变换。

在一个实施例中，该信号是视频信号，并且其中第二视差信息变换作为元数据被包括在该视频信号中。

在一个实施例中，该元数据包括下列中的至少一项：

与视差信息相关的映射函数；

与视差信息相关的映射函数的逆（函数）；和

用于与视差信息相关的映射函数的系数。

在某些情况中，可能需要或者有可能从立体声影院（cinema stereo）中确定例如差距信息，并且随后添加映射来将那些差距变换成更适合于减小深度范围家庭3D显示器的格式。对于后者的差距（应用该变换的结果）随后仅首先在家中的接收端上被生成。这个元数据是“向后”映射来复原在内容创建侧上已完成的映射。

因此，至少第二视差信息变换可以被视为适合于特定的终端接收机的已调节的视差信息。该元数据的原理在于：它使之有可能获得要不然在没有该元数据的情况下不可能从（原始的）视差信息中获得的数据。例如，第一视差信息被发送到3D显示设备。该元数据涉及视差信息的生成，即，如何（例如，通过函数或查找表等等）获得它们的方法。该元数据允许接收机从视差信息中恢复用于创建该视差信息的基础数据或更佳适合于特定目标设备的新的视差信息。结果是：所述第二视差信息变换被创建，即，与接收机侧上的3D显示器相适应的视差信息被创建。

在一个实施例中，确定与目标设备的第三视差映射约束相匹配的第三数据的步骤包括：在一组视差信息变换中的两个相应的视差信息变换之间进行内插，该组视差信息变换包括第一和第二视差信息变换，第三数据是与目标设备的深度范围相匹配的第三视差信息变换。

理想地，3D显示器能够显示大的视差范围。然而，这需要满足若干观看条件，例如，屏幕必须是大的，必须从远距离观看该屏幕，并且视图之间的分隔（separation）必须是非常好的。这些观看条件并不是始终得到满足的。因此，这个“原始深度”引起所述第一视差范围，而所述第二视差信息变换产生具有所述第二视差范围的第二深度信号。这个实施例的优点是：当3D显示设备的视差范围并不与这些范围中的任何一个相匹配时，通过例如内插法，能够从这两个（或更多）变换中计算出新颖变换。以这种方式，该信号的深度范围能够精确地被调谐至3D显示器的可用视差范围，从而能够改进3D再现。

在一个实施例中，该组视差信息变换进一步包括以该信号中的进一步数据为基础的进一步视差信息变换。

在一个实施例中，在确定更新的视差信息变换中被用作输入的视差信息变换基于选择规则来选择。在一个实施例中，该选择规则限定选择落入该目标设备的预定深度范围之内的视差信息变换。例如，这个预定范围可以是最接近的深度范围大小。

在一个实施例中，该目标设备是三维（3D）显示系统，并且其中相应的视差映射约束包括下列中的至少一项：

3D显示设备的视差或深度范围；

在观看者与3D显示设备之间的显示距离；和

指示观看者与3D显示设备相隔的位置的位置参数。

在一个实施例中，更新信号随后被转发至目标设备，在该目标设备中该更新信号被用于调节视差映射，以便再现落入该目标设备的可用视差范围之内的三维图像的查看信息的图像元素。因此，可以从例如三维（3D）显示设备外部执行该视差信息的处理。

根据另一方面，本发明涉及一种计算机程序产品，用于当在计算机上运行该产品时指示处理单元执行上面的方法步骤。

根据还一方面，本发明涉及一种用于处理信号中包括的视差信息的设备，包括：

接收机，用于接收包括与图像信息相关联的至少一个视差映射的信号；

处理器，用于：

从指示第一视差映射约束的信号中获得第一数据；

从指示第二视差映射约束的信号中获得第二数据；和

借助于处理至少第一和第二数据来确定与目标设备的第三视差映射约束相匹配的第三数据，第三数据适于生成与该目标设备的视差映射信息约束相匹配的更新信号。

因此，提供一种设备，在第一或第二数据与目标设备的约束都不相匹配的情况下，该设备能够在生成与该目标设备相匹配的更新的第三数据时使用该数据作为输入。该图像信息可以是静止图像、或视频序列的帧或场。

该设备可以是机顶盒、蓝光光盘播放器、3D显示设备、立体显示器、PC计算机设备或便携式计算机设备的组成部分。

根据还一个方面，本发明涉及一种包括所述设备的三维（3D）显示设备。

在一个实施例中，该3D显示设备是自动立体显示系统。

该3D显示设备是立体显示系统或自动立体显示器。

本发明的这些方面均可以与任一其他方面相结合。本发明的这些和其他方面从下文描述的实施例中将是清楚的，并且本发明的这些和其他方面将参考下文描述的实施例来阐述。

附图说明

现在将参考附图、仅利用示例来描述本发明的实施例，其中：

图1显示从屏幕表面测得的屏幕视差p、观看者与显示器之间的显示距离D、眼睛距离x _B 和目标（物体）的感知距离z _p 之间的关系；

图2显示对于立体TV、影院和现有技术的自动立体显示器而言典型的深度范围的比较；

图3显示根据本发明的方法的流程图；

图4显示在变换之前的视差映射；

图5显示用于受约束屏幕的视差变换的示例；

图6显示在变换之后的视差映射；

图7显示视差映射的另一个示例；

图8利用图表来描绘在两个视差信息变换之间的内插以获得与目标设备约束相匹配的第三视差信息变换的示例；

图9显示根据本发明的设备；和

图10显示根据本发明的包括所述设备的三维（3D）显示设备。

具体实施方式

对于立体深度（景深）知觉的介绍：

在调查人们是如何在真实世界中感知深度的时候，人们利用两只眼睛来看世界，并且每一只眼睛从稍微不同的位置来看世界。大脑融合来自左右眼的图像以得到3维印象。

深度是通过不同的深度“线索”而被感知的，其中的某些线索甚至是通过闭上一只眼睛来工作的（或者在某个人注视照片或TV的情况下）。这些线索被称为单眼深度线索（除了调适之外）。需要两只眼的深度线索被称为双眼深度线索。

单眼线索包括透视、运动视差、纹理梯度、相对大小、插入、阴影、景深和调适（accomodation）。调适意味着：当眼睛集中于某个对象上时，大脑能够从控制该集中（聚焦）的眼肌的张力中估计那个对象的距离。这是唯一绝对的单眼线索，所有其他的（线索）都是相对的。

双眼深度线索是会聚（convergence）和立体视觉（stereopsis）。会聚的意思是：人的眼睛的轴线会聚在此人正在注视的对象上，如果某个人注视无限远的对象，那么眼睛是平行的，而当此人试图注视其鼻尖时，眼线变成交叉的。与调适相类似，会聚也是绝对线索。然而，与立体视觉相比，调适和会聚只是次要线索。有时被称为“三角测量（triangulation）”的立体视觉指的是：借助于人脑基于在左右眼的视网膜上的对象之间的差异而应用的“图像处理”的深度“计算”。

在考虑立体深度知觉在3D影院中或在任一其他的立体或自动立体显示器上是如何工作的时候，该技术将给每一只眼睛显示不同的图像。这能够通过利用不同的颜色（视差图像，Dolby/Infitec）编码左右图像、通过使用偏振光或通过顺序地显示左右图像来实现。所有的这些方法要求观看者佩戴眼镜来滤出左右图像。可选择的方案是自动立体显示器，其不要求观看者佩戴眼镜，而是基于例如显示器上的屏障（barrier）或透镜，向左右眼显示不同的图像。所有方法的质量通过左右图像之间的分隔有多好来确定。如果左图像的某些部分在右眼中也是可视的（或反之亦然），那么所得到的效果被称为重像或串扰，并且这能够降低3D体验。

对于左右眼而言，看来似乎是在屏幕的表面上的物体具有相同的图像。在屏幕的后面或前面漂浮的任何物体在左/右图像中轻微地被偏移。图像中的这种偏移通常以像素为单位进行测量，并且被称为“差距（disparity）”。由于这取决于图像的分辨率以及屏幕大小而产生不同的效果，所以人们仅仅注视该物体在屏幕表面上的偏移，这被称为“屏幕视差”。它被定义为物理距离，以便与特定的分辨率或屏幕大小无关。

图1显示从屏幕表面测得的屏幕视差p、观看者与显示器之间的显示距离D、眼睛距离x _B 和物体的感知距离z _p 之间的关系。x轴代表显示面板，而z轴代表与显示面板相隔的距离。

这种关系可以表示如下：

。

有可能从该等式中推导出以下属性：

当感知深度z _p 为0时，屏幕视差p为0。

当物体看来似乎是在屏幕的后面时，屏幕视差p为正，而当物体看来似乎是在屏幕的前面时，屏幕视差p为负。

对于无限远的物体（

），p等于眼睛距离x _B 。这是p的上限。

在观看者与屏幕之间中途（

）漂浮的物体具有

的视差。

与观看者相隔

距离的物体具有

的视差，而具有

距离的物体具有

的视差，等等。

有时，以不同的方式来拟定该等式是更容易的。代替与屏幕表面相隔的绝对距离，有可能集中于物体与观看者相隔的相对距离（使用屏幕距离D作为参考）。相对深度可以表示为：

。

这个量度有时被称为“视深度（apparent depth）”。如果d是100%，那么该物体看来似乎是在屏幕表面上，如果d是50%，那么它漂浮在观看者与屏幕之间的中途。如果它大于100%，那么该物体看来似乎是在屏幕的后面。通过依照d来改写原始等式，则

，

并且对于d，求解该等式，得到：

。

上面的等式是通用的，并且适用于所有的屏幕大小和观看者距离。不幸地，由于下列原因，在真实的屏幕上创建完美的3D体验并不是那么容易的：

屏幕大小受到限制；

具有调适/会聚失配；

运动视差丢失；以及

视野受到限制。

为了查明为什么屏幕大小是一个问题，人们应该查看所谓的立体窗口，这是在可视图像周围的框架。通过水平地移动左右图像，有可能影响哪些物体出现在屏幕面上、在其之前或在其之后。在屏幕面之后的任何物体自动地感觉为自然的，这几乎类似于通过真实窗口来看。当漂浮在屏幕前面的物体由于屏幕边界而被切去时，出现问题。这是所谓的窗口违反（window violation）。如果例如物体漂浮在屏幕的前面并且对于左眼触及到图像上的左边界，那么对于右眼，该物体的某些部分在图像中被切去。人脑获得相冲突的线索，立体视觉线索告诉它：该物体在屏幕的前面，而阻塞（occlusion）线索告知它：该物体被隐藏在屏幕边界的后面，并因此必定在屏幕的后面。在较小的程度上，使物体在顶部或底部边界上被切去也感觉是不自然的。

当前，只有IMAX屏幕是足够宽的，以致人们不必担心左/右边界上的窗口违反。在正常的影院屏幕（近似10米宽）上，窗口违反开始变成问题，并且在3D电视机上，该问题是必然的。如果查看上面的等式，人们能够明白：为了在相对深度方面获得相同的3D效果，无论屏幕大小如何，物理屏幕视差是相同的。为了在影院中显示无限远的物体，左右图像被移位。这大约是屏幕宽度的0.5%。为了在3D TV中显示无限远的物体，左右图像也被移位65mm，但是现在该移位是屏幕宽度的几乎5%。为了显示在25%的相对距离上在屏幕前方漂浮的物体，人们需要影院屏幕宽度的至少1.5%的余量，但是对TV而言，需要15%余量。因而，利用3D TV使物体悬浮在人的鼻子之前是困难得多的。这仅对于或多或少位于屏幕的中心的物体起作用。

结论是：较小的屏幕自动地限制能够被显示的深度量。

另一主要问题是调适/会聚失配。不管物体看来处于什么位置，或在屏幕之后或在屏幕之前，人们仍然不得不将眼睛集中在屏幕上。简而言之，在立体投影中仅使用两个绝对深度线索中的一个，并且这一个线索与另一个线索相矛盾。对于缺乏经验的3D观众而言，经验法则是避免大于1.5度的视网膜差距（像差）。超出1.5度的任何事物导致眼疲劳，并且有时人们无法将两个图像合并成一个图像，而且将不会看到任何的3D效果。这主要取决于帮助我们将图像与立体视觉相融合的单眼深度线索的质量。视网膜差距可以计算如下：

。

此外，因为物理视差p与屏幕距离D相比而言是小的，所以3D影院在此具有优点。假设：屏幕距离D=10m，那么对于无穷远物体的视网膜差距仅为大约0.37度。

在20%的相对距离上漂浮的物体具有1.48度的视网膜差距，并且差不多在人们在影院中应达到的限度内。

通过再次查看用于相对深度的等式，假设观看者坐在立体屏幕的前面。具有50%的相对深度的物体看来似乎是在观看者与屏幕之间的中途。现在，通过更靠近屏幕移动――相同的物体仍具有50%的相对深度，但是其深度与屏幕上的大小相比而改变。该物体具有较小的绝对深度。如果观看者远离屏幕移动的话，则绝对深度增加。只有在某个“最有效点（sweet spot）”上，观看者才获得深度与2D大小之间的正确比率。如果观看者坐在那个位置中，那么视野（视场）（即，对你而言，屏幕看来是多大的角度）与摄像机的视野是相同的。这种状态也被称为正交立体视觉（ortho-stereopsis），即利用摄像机观测到的深度的完美再现。

不可能对所有的观看者都实现这种状态。甚至对单个观看者而言，这也意味着：整个内容必须利用单个摄像机镜头并且在没有缩放（zoom）的情况下进行创建。观看者能够容易地忍受太少（不够）的深度，因为这是他们在2D TV和2D影院中所习惯的深度，但是他们应避免可能看起来不自然的太多（过深）深度。

深度定标对于不同的屏幕是如何起作用的：

深度定标（scaling）是将以某种格式存储的深度转换成目标屏幕的深度范围的处理。利用术语深度定标来优选地表示将差距/视差映射（变换）到另一差距/视差。在将眼疲劳和观看不适减至最低的同时，通过始终使用每一个屏幕的全深度能力，对于移动电话中的自动立体显示器到影院中的立体投影，诸如WOWvx格式之类的各种格式能够在任何屏幕上显示3D。然而，应注意，该格式不应限于某种3D格式，并且同样能够使用其他的格式诸如2D plus Depth文件和接口格式。

在此的目标是在从手持设备到影院屏幕的任何可用3D屏幕上显示具有恰当格式的内容。同样，该格式应包含大的深度范围，以便足够的信息可用于在大屏幕上显示它。如在上文中所提到的，必须考虑若干因素来找到原始深度信息到目标屏幕的最佳变换。

从大屏幕开始，并随后延续至手持大小，而且对于每一种屏幕大小，调查最佳配置是什么。

假设提供在相对深度方面包含25%到无穷大的深度范围的文件。这表示：最接近的物体正在1/4的屏幕距离上在观众前面漂浮，并且最远的物体在无限深度上。视差范围从65mm（无穷远）到-195mm（25%相对深度）。

影院屏幕：

在影院屏幕上，或者更准确地说，在任何的影院屏幕上，在观众与屏幕之间具有足够的距离，因此调适/会聚差异并不是问题，并且人们并不期望立体窗口具有问题。因此，任何的影院屏幕能够显示以恰当格式编码的深度范围，并且没有变换深度信息的需要。注意，这与在每一个屏幕上显示相同的立体图像是不同的－－物理屏幕视差保持相同，但是这导致取决于屏幕大小和像素分辨率的像素差距。例外是IMAX，这是因为视野比正常影院中的要大一些。为了保持对于正常影院所创建的内容的深宽比，将屏幕面远离观众移动可能是有益的。

立体3D TV：

就具有3D眼镜以及1米屏幕宽度（大约45”对角线）的立体3D TV而言，观众与TV机之间的通常距离是3米。

清楚的是：不可能显示原始内容的整个深度范围，这是因为25%的相对深度将导致3.72度的视网膜差距――对于舒适观赏而言，这通常被感知为太多（深度）。甚至无限深度也可能导致眼疲劳，如果观看者不得不持续地观看它的话，即使它仅具有1.24度的视网膜差距。

另一问题是：-195mm的屏幕视差占据屏幕的几乎20%。为了不违反立体窗口，这将在被假定在屏幕前面漂浮的物体的两侧上要求至少20%的余量。

另外，如果原始内容预定用于影院屏幕，那么有可能在较小的但具有相同的物理屏幕视差的屏幕上观看该内容导致“太多深度”的感觉。这是由于不相称的深宽比而导致的，而该不相称的深宽比是由于现在不同的视场而导致的。物体在尺寸上是较小的，但仍具有相同的深度，例如，现在看来似乎具有黄瓜形状的球。

最后，人们也应该试图让屏幕面处于其原本打算处于的位置，而不是过多地朝向或远离观看者来移动它。原因是简单的：观看者必须注视的该内容的大部分（例如，小文本或其他的细节）最佳地显示在屏幕面上，以避免眼疲劳，并且通常创建内容，以便将内容创建者希望观看者注视的对象放置在那个深度上。通过对所有四个因素加以考虑，用于3D TV的好的深度范围可以是25mm到-75mm（在视差方面）和46.4%到162.5%（在相对深度方面）。那当然是非常主观的，并且只是安全默认值。

令人感兴趣的是将这个深度范围与在相同的TV机上向观看者显示为影院屏幕创建的立体电影时观看者将获得的深度范围相比较。假设该内容与上述相同，并且该电影是针对40’屏幕大小而创建的，那么最终得到的深度范围是5.3mm到-16mm（在屏幕视差方面）和80%到109%（在相对深度方面）。利用例如WOWvx格式，能够制作高达强4-5倍的深度效果。在图2中显示比较这种差别的图表，其显示在影院屏幕上显示的典型影院内容、在立体TV上显示的相同立体（L/R）图像和在相同的立体TV上显示的利用WOWvx技术（深度定标和视差信息变换）适配的相同内容的深度范围的比较。

受约束屏幕和较小的显示器：

当代的自动立体显示器和较小的显示器通常具有受约束的深度和视差范围，这只是因为这些显示器对于在没有耗尽屏幕宽度的大部分的情况下显示足够的视差而言是不够大的，或因为多视图自动立体显示器不得不再现若干视图并且需要由相同尺寸的立体显示器所使用的视差范围的倍数。

为了将这种受限的深度范围用至最大效果，有可能使用下列方法之一：

不是每一个镜头/场景都使用全深度范围，并且有可能将每一个镜头的深度范围映射到显示器的深度范围。不可能在不同的镜头上获得一致的深度，并且没有绝对的深度量度，但是这在这样的屏幕上不是引人注意的。

在确实使用全深度范围的镜头中，将其减至原始深度范围的一小部分产生卡遮挡效果（card boarding effect），其中例如脸部和其他对象看来是扁平的。一种好的解决方案是以对象之间的深度为代价来增加对象内的深度。这能够通过在该格式中嵌入视差变换来实现。

是场景的焦点的对象可以由近平面和远平面或视锥（viewing frustum）来围绕。在受约束屏幕上，在远平面后面的任何事物被投影在显示器的远平面上，而在近平面前面的任何事物被剪切/被投影到近平面。这也能够通过在该格式中嵌入视差变换来实现。

对于3D显示设备的观看条件并不是始终得到满足的。这将要求：屏幕是大的，并且必须从远距离观看该屏幕，而且视图之间的分隔必须是非常好的。然而，这些观看条件并不是始终得到满足的；因此，有时图像+深度信号能够展现太大的视差范围，如果它原本打算用于具有较少限制深度能力的显示器的话。也有可能是该内容原本为具有有限深度范围的显示器而制作的情况，这意味着：在较少限制的显示器上能够可视化更多深度。深度的简单线性拉伸对于增加或降低深度量具有很大改进，但有时需要视差的更加场景特定的变换。这样的映射在本领域中是已知的，如在此引入作为参考的例如“Nick Holliman, Mapping Perceived Depth to Regions of Interest in Stereoscopic Images, in Stereoscopic Displays and Applications XV, 2004, available as http://www.comp.leeds.ac.uk/edemand/publications/hol04a.pdf”中所述的。

在图4-6中给出这样的映射的使用的示例。图4的左侧显示看来似乎是在屏幕后面并且从屏幕深度延伸到无穷远的路的场景，而右侧显示视差映射。在非常靠近观看者的位置悬浮着一只球。在该只球与路的可视部分之间具有大的深度间隙。用于整个范围的视差范围例如可以是-65mm到65mm。对于具有受约束深度范围的屏幕来说，当线性地定标差距时，该只球看来似乎是非常扁平的。让该球使用在屏幕之前的整个可用空间将是更合意的。这能够利用图5中所示的视差变换来实现，其中x轴包含该变换的输入视差，而y轴显示输出视差。正的视差值被线性地定标（正的视差是在屏幕后面，在这种情况下，这是路）。执行除了线性定标之外的其他事将引起单眼与双眼深度线索之间的差异，并且重建其他视图将显示曲线/弯曲的路而不是直的路。从-65mm到例如大约-40mm的该只球的视差范围被线性地定标，以使用在受约束屏幕前面的整个“空间”。在前景和背景对象（视差范围-40mm到0mm）之间的间隙被除去。如在图5中所示的视差映射将完成此，并产生如图6中所示的经修改的视差映射（使用较小的视差标度）。如在下文将论述的，身份变换（即，图4中用于图像显示的实际深度数据）与所提供的变换（即，图6中用于图像显示的深度数据）一起用于推导用于特定目标设备的显示范围的新变换。应注意，由于不同的3D显示器具有不同的深度范围可视化特性，所以优选地使用视差变换。例如，在较小型屏幕上，深度范围通常小于其中人们能够使物体几乎接触到观看者的鼻子的大型影院屏幕上的深度范围。

在图7中显示视差映射的另一个示例，其识别被分配显示器的深度范围的远近平面之间所关心的范围、剪切在那个范围之外的任何深度值。

应注意，通过接收如图4（右图）中所示的这样的视差映射，从这个视差映射中，有可能从该视差映射中推导出所述映射（在这种情况下，身份映射），例如，以（-65mm, -65mm）、（65mm, 65mm）为特征的视差变换，而非图5中所示的映射。

如特此全部引入作为参考的于2007年9月13日提交的未公开专利申请EP 07116278.8（代理人案卷PH008849EP1）中所述的，有利的是发送描述这些映射的视差变换以及深度图，以便能够在其中观看条件和3D显示属性是已知的接收端上应用（或不应用）该映射。这样，能够在具有各种视差范围能力的显示器上观看该内容，这是因为视差映射仍能够适于3D显示器和观看条件。因此，图4中的图像和深度能够伴随有描述图5中所示的视差变换的信息，或者相反地，如果图6中的深度图将在该内容中进行编码，那么图5中所示的变换的逆（变换）能够与元数据一起进行发送，以允许重建图4中所示的深度图。

此外，原始深度信号（确切地说，与MPEG-C部分3中的视差标度和偏移相类似的元数据）引起一个视差范围，而应用如在PH008849EP1中所描述的所提供的视差变换产生具有第二视差范围的第二深度信号。

在一个实施例中，本发明的目的是处理这样的情形，其中所述视差范围全都与目标3D显示器的视差范围不匹配，即，原始深度信号的视差范围或第二视差范围与目标3D显示器的视差范围都不匹配。在这样的情况下，利用内插法（或如果需要的话，通过外推法），可以从这两个变换（例如，所提供的变换和身份变换）中计算出新颖变换。这样，该信号的深度范围能够被调谐到3D显示器的可用视差范围。

图3显示根据本发明的处理信号中包括的视差信息的方法的流程图。

在步骤（S1）301，接收包括与进一步图像信息相关联的视差映射的信号。

在步骤（S2）303，从指示第一视差映射约束的信号中获得第一数据。

指示视差映射的数据可以是视差信息（又名差距信息，其指示视图之间的（水平）位移量）或距离信息（指示在那个位置上的场景位于显示器之前或之后多远的数据）。举例来说，视差映射约束可以包括观看者与3D显示设备之间的显示距离、或指示观看者与3D显示设备相隔的位置的位置参数、（或）其组合。

在步骤（S3）305，从指示第二视差映射约束的信号中获得第二数据。

在步骤（S4）307，通过处理至少第一数据和第二数据，确定与目标设备的第三视差映射约束相匹配的第三数据。这个第三数据适于生成与目标设备的视差映射信息约束相匹配的更新信号。

在一个实施例中，第一数据和第二数据是视差信息变换，而第一和第二视差映射约束是用于图像信息的第一和第二深度范围。

术语视差信息可以包括深度相关的信息或差距相关的信息或二者的组合。

在这个实施例中，第三数据是第三视差信息变换，并且第三视差映射约束是第三深度范围。在一个实施例中，这个第一视差信息变换是接收到的视差映射的身份信息变换，即用于图像显示的实际深度数据，并且至少第二视差信息变换是根据身份信息变换处理的视差信息变换（参见图4-6）。

如在PH008849EP1中所述的，这个至少第二视差信息变换可以作为元数据被包括在视频信号中，其中该元数据包括在生成视差信息变换中使用的至少一个映射函数、或在生成视差信息变换中使用的映射函数的至少一个逆函数、或用于在生成视差信息变换中使用的映射函数的至少一个系数、或其组合。

在一个实施例中，确定与目标设备的第三视差映射约束相匹配的第三数据的步骤包括在一组视差信息变换中的两个相应的视差变换之间执行内插，该组视差变换包括第一和第二视差变换，第三数据是与目标设备的深度范围相匹配的第三视差信息变换。可以从第二视差信息变换中或从接收到的视差映射的身份信息变换和一个或多个第二视差信息变换中选择这两个或更多的视差信息变换。在另一个实施例中，内插法包括在各自具有其范围的两个（或更多）深度图之间进行内插。

因此，如果提供一个以上的视差变换，则能够使用更高阶内插法，或者选择可用变换的适当子集来执行内插。一种通用的隐式第三变换是线性变换，其线性地将内容视差范围压缩或扩展至显示（器）视差范围。

在确定更新的视差信息变换中被用作输入的两个或更多视差信息变换的选择可以基于选择规则来选择。这种选择可以基于选择那些落入目标设备的预定深度范围之内的视差信息变换。例如，将使用的两个或更多变换的选择能够基于选择那些其范围与目标设备范围最接近的视差信息变换，优选地，具有较小范围的一个视差信息变换和具有较大范围的一个视差信息变换。

例如，假设原始深度数据的视差范围是[0..12]，并且假设：可能通过从0到12中选择子范围[4..8]并剪切低于4和高于8的值，将这个范围映射到[0..4]的视差变换是可用的。这种变换可以利用映射0-﹥0、4-﹥0、8-﹥4和12-﹥4来表征（在它们之间具有线性内插）。如果目标设备是具有深度范围[0..8]的显示设备，那么有可能通过在身份变换与所提供的视差变换之间执行内插来计算新的视差变换。由于8是12和4的平均值，所以这通过对这些映射进行平均来完成。结果是映射：0-﹥(0+0)/2、4-﹥(0+4)/2、8-﹥(4+8)/2、12-﹥(4+12)/2。这个新变换随后能够替代所提供的变换而被应用于视差数据（这样，例如，由于0映射到0以及4映射到2，所以2的视差将映射到1）。这用图表描绘在图8中，其中“菱形”指示原始深度数据的视差范围[0..12]，“三角形”指示将这个范围映射到[0..4]的所提供的视差变换的视差范围，并且这些三角形是第三和新的视差变换[0..8]。这是如何能够通过内插法从两个变换中计算出新颖变换的示例。这样，该信号的深度范围能够精确地被调谐至3D目标显示器的可用视差范围。

也可以使用在不同的位置上具有“控制点”的视差变换来完成该内插。例如，参考先前的示例，在该示例中所提供的视差变换在0、4、8和12 上具有控制点。如果具有另一个视差变换0-﹥0、6-﹥8、12-﹥12（与身份变换相比，在（6，8）上具有额外控制点），那么内插法将不得不为这个视差变换计算在4和8上这些值是什么，并且对于前一视差变换，计算该值在6上是什么，并且随后利用在0、4、6、8和12上的控制点来创建新的视差变换。

利用图3中的流程图继续，在步骤（S5）309，更新的信号随后被转发到目标设备，在该目标设备中该更新的信号用于调节视差映射，以便再现落入该目标设备的可用视差范围内的三维图像的查看信息的图像元素。这个步骤披露这样一种情形，其中上述的处理步骤从目标设备外部地执行，即，上述的处理步骤不一定由目标设备来执行，而是利用任何的接收机设备（非目标设备）来执行。这样的设备可以是处理单元，其允许处理器通过内插来变换数据，以便推导出适合于例如3D显示设备之类的目标设备所提出的要求的信号。结果，该处理设备能够位于机顶盒中（例如，当输入信号已使两个相关的信号相关联时），它可以位于3D显示设备中，它能够位于将存储器中的信息转换成输出到显示器的视频的“显示适配器”中或在PC计算机上运行的程序中。

图9显示用于处理信号901中包括的视差信息的设备900，其中该设备900包括接收机（R）910和处理器（P）911。该接收机适于接收包括与图像信息902相关联的视差映射的信号。该处理器（P）911适于从指示第一视差映射约束的信号中获得第一数据、从指示第二视差映射约束的信号中获得第二数据、并借助于处理至少第一和第二数据来确定与目标设备904的第三视差映射约束相匹配的第三数据。这个第三数据适于生成与目标设备904的视差映射信息约束相匹配的更新的信号。在图3的流程图中已讨论了该处理器（P）911所执行的处理步骤。

该设备可以是机顶盒905、蓝光光盘播放器905、3D显示设备1000、立体显示器、PC计算机设备905、便携式计算机设备等等的组成部分。

如图9所示并且如先前在图3中所讨论的，该处理可以在显示设备侧上（即，在末端接收机侧上）执行或者外部地执行，其中第三数据随后由发射机（T）906经由有线或无线通信信道907发送到目标设备904，其中该目标设备配备有接收机903来接收该处理，即该信息，以便生成与目标设备904的视差映射信息约束相匹配的更新信号。在外部处理的情况下，显示设备900可能适于在它之中具有视差变换的例如.wowvx文件中读取，并且将用于复合器（compositor）的输出模式设置为用于某种显示器（其具有某个范围）的立体模式。这样，该复合器将使用已调节的视差来再现左右图片。

举例来说，蓝光盘可以包含用于某个3D深度范围和视差变换的视频+视差信息，其中视差变换允许将视差信息映射成能够用于具有不同深度范围的第二显示类型的新的视差映射。该蓝光光盘播放器可以播放这个盘、将该信息从压缩格式转换成显示格式、并将这个信息全部经由例如HDMI发送到3D显示设备。或显示设备或蓝光光盘播放器能够应用在这里公开的方法来计算能够用于将视差信息映射到所论述的3D显示器的显示范围的新颖视差变换（蓝光光盘播放器可以从例如EDID信息中确定该显示器的显示范围）。如果蓝光光盘播放器将实施该方法，它在将视频数据传送给该显示器时将利用适合该3D显示设备的新颖变换来替换从该盘中读取的视差变换。可选择地，蓝光播放器可以将该新颖视差变换应用于从该盘中读取的视差映射，并且向显示器发送这些新颖视差映射而非从该盘中读取的视差映射。随后，将不再需要发送对于未实施在这里公开的方法的3D显示器将提供兼容性的视差变换。可选择地，该盘中的原始视差变换被发送到3D显示器，并且3D显示器执行在这里公开的方法来计算新颖视差变换。

图10显示包括图9中的设备900 的三维（3D）显示设备1000。这个3D显示设备可以是自动立体显示系统、立体显示系统或立体显示器。

根据本发明的方法可以有利地在种类繁多的处理平台上进行实施。能够设想在通用计算机、数字信号处理器或另一可编程处理器上操作的实施方式。可选择地，本发明可以利用在专用集成电路上包括的预编程的硬件实施方式来实施。

虽然在附图和以上描述中具体阐述和描述了本发明，但是这样的阐述和描述将被认为是说明性的或示范性的而非限制性的；本发明并不限于所公开的实施例。进一步注意，如在上面参考图10所述的，本发明可以在诸如显示器、机顶盒或其他设备之类的产品中进行实施。在后一种情况中，本发明可以被并入针对这个根本目的的处理平台中、在这样的处理平台上进行实施和/或被并入更通用的处理平台中、在这样的处理平台上进行实施。

在实践所要求保护的发明中，通过研究附图、公开内容和附加的权利要求书，本领域技术人员能够理解和实现所公开的实施例的其他变体。在权利要求书中，词“包括”并不排除其他元素或步骤，并且不定冠词“一”或“一个”并不排除多个。单个处理器或其他单元可以实现在权利要求书中叙述的若干项的功能。在互不相同的从属权利要求中叙述某些措施的纯粹事实并不表明不能有利地使用这些措施的组合。计算机程序可以被存储/被分布在诸如与其他硬件一起或作为其他硬件的一部分而提供的光存储介质或固态存储介质之类的适当介质上，并且也可以采用其他形式来分布，诸如经由因特网或其他的有线或无线电信系统来分布。权利要求书中的任何参考符号不应被理解为限制该范围。

Claims (15)

1.一种处理信号中包括的视差信息的方法，包括：

接收包括与进一步图像信息相关联的至少一个视差映射的信号（301）；

从指示第一视差映射约束的信号中获得第一数据（303）；

从指示第二视差映射约束的信号中获得第二数据（305）；

借助于处理至少第一数据和第二数据来确定与目标设备的第三视差映射约束相匹配的第三数据（307），第三数据适于生成与目标设备的视差映射信息约束相匹配的更新信号。

2.根据权利要求1的方法，其中第一数据和第二数据是视差信息变换，第一和第二视差映射约束是用于图像信息的第一和第二深度范围，第三数据是第三视差信息变换，并且第三视差映射约束是第三深度范围。

3.根据权利要求2的方法，其中第一视差信息变换是接收到的视差映射的身份信息变换。

4.根据权利要求3的方法，其中第二视差信息变换是通过使用身份信息变换作为被处理的输入而获得的视差信息变换，该处理导致输出第二视差信息变换。

5.根据权利要求1或4的方法，其中该信号是视频信号，并且其中第二视差信息变换作为元数据被包括在该视频信号中。

6.根据权利要求5的方法，其中该元数据包括以下至少一个：

与视差信息相关的映射函数；

与视差信息相关的映射函数的逆；和

用于与视差信息相关的映射函数的系数。

7.根据权利要求2的方法，其中确定与目标设备的第三视差映射约束相匹配的第三数据的步骤包括：在一组视差信息变换中的两个相应的视差信息变换之间进行内插，该组视差信息变换包括第一和第二视差信息变换，第三数据是与目标设备的深度范围相匹配的第三视差信息变换。

8.根据权利要求7的方法，其中该组视差变换进一步包括以该信号中的进一步数据为基础的进一步视差变换。

9.根据权利要求7或8的方法，其中在确定更新的视差信息变换中被用作输入的视差信息变换基于选择规则来选择。

10.根据权利要求9的方法，其中该选择规则限定选择落入目标设备的预定深度范围内的视差信息变换。

11.根据权利要求1的方法，其中该目标设备是三维（3D）显示系统，并且其中相应的视差映射约束包括以下至少一项：

3D显示设备的视差或深度范围；

在观看者与3D显示设备之间的显示距离；和

指示观看者与3D显示设备相隔的位置的位置参数。

12.根据权利要求2的方法，其中更新信号随后被转发至目标设备，在那里该更新信号用于调节视差映射，以便再现落入目标设备的可用视差范围内的三维图像的查看信息的图像元素。

13.一种计算机程序产品，用于当该产品在计算机上运行时指示处理单元执行权利要求1的方法步骤。

14.一种用于处理信号（901）中包括的视差信息的设备（900），包括：

接收机（910），用于接收包括与图像信息相关联的至少一个视差映射的信号；

处理器（911），用于：

从指示第一视差映射约束的信号中获得第一数据（301）；

从指示第二视差映射约束的信号中获得第二数据（303）；和

借助于处理至少第一和第二数据来确定与目标设备（904，100）的第三视差映射约束相匹配的第三数据，第三数据适于生成与目标设备（904，1000）的视差映射信息约束相匹配的更新信号。

15.一种三维（3D）显示设备（1000），包括如权利要求14中所述的设备。

Images