CN104737535A - 对3d图像中的图像叠加的深度调整 - Google Patents

Abstract

提供了用于处理3D图像信号的系统。3D图像信号包括一个2D图像信号(图4a)和一个2D辅助信号(图4b)，其中2D辅助信号使得能够在3D显示器上对2D图像信号进行3D渲染。该系统包括：用户界面子系统(180)，用于使得用户能够在2D图像信号内建立用户定义的2D区域(182)；区域定义器(140)，用于在2D辅助信号内定义2D区域(142)，该2D区域对应于当对2D图像信号进行3D渲染时在3D显示器的显示平面上的一个显示区域；以及，深度处理器(160)，用于：i)获得深度减小参数，该深度减小参数表示，当对2D图像信号进行3D渲染时，在显示区域内的深度减小的期望量，以及ii)从深度减小参数得出调整值。因此，能够在显示区域内建立深度减小，即通过基于该调整值调整在2D区域以内的2D辅助信号的信号值。该系统可以被有利地用来向在3D图像信号中的硬编码叠加应用深度减小。

Description

对3D图像中的图像叠加的深度调整

技术领域

本发明涉及用于处理三维[3D]图像信号的系统和方法，3D图像信号包括一个二维[2D]图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器上对所述2D图像信号进行3D渲染。本发明还涉及包括所述系统的3D显示设备。

背景技术

显示设备诸如电视机、数码相框、平板电脑和智能电话越来越多地包括3D显示器，从而当用户观看这样的设备上的内容时给用户提供深度感知。出于此目的，这样的3D显示设备可以独立地或连同用户佩戴的眼镜一起在每只眼中为用户提供不同的图像，从而为用户提供基于立体视学的深度感知，即，深度的立体感知。

3D显示设备通常使用包含深度信息的内容，以在屏幕上将该内容建立为具有一定程度的深度。在该内容中可以隐含地提供深度信息。例如，在所谓的立体内容的情况下，深度信息是通过立体内容的左图像信号和右图像信号之间的差异提供的。因此，左图像信号和右图像信号一起构成立体3D图像信号。也可以在该内容中明确地提供深度信息。例如，在以所谓的“图像+深度”格式编码的内容中，深度信息是通过2D深度信号提供的，该2D深度信号包括深度值，所述深度值指示在该2D图像信号以内的对象具有的朝向摄像机或观看者的距离。代替深度值，还可以使用视差(disparity)值，即，该2D深度信号可以是一个2D视差信号，或者一般而言，是一个有关2D深度的信号。该2D图像信号和该有关2D深度的信号一起构成立体3D图像信号的替代方案。

因此，本质上，3D图像信号包括至少一个2D图像信号和一个2D辅助信号，2D辅助信号例如是有关2D深度的信号，或者另一2D图像信号，所述另一2D图像信号连同2D图像信号一起构成立体3D图像信号。

关于3D显示器它们本身：所谓的自由立体显示器提供了所述深度的立体感知，而无需观看者佩戴偏光眼镜或基于快门的眼镜。出于此目的，使用了光学组件，诸如透镜状透镜阵列(或者一般而言透镜状装置或阻挡装置)，其使得显示器能够从3D显示器上的每个给定点发出一个视角锥(viewing cone)，所述视角锥至少包括一个场景的左视图和右视图。这使得当观看者在视角锥中相应地定位时，能够用每只眼睛看到一个不同的图像。某些自由立体显示器(有时称为自由多视野显示器)提供了同一场景的多个视图而不是仅左视图和右视图。这允许观看者假定在视角锥中的多个位置，即，在显示器前面左-右移动，同时仍然获得该场景的立体感知。

在C.van Berkel等人于1996年的SPIE Proceedings第2653卷、第32页到第39页和在GB-A-2196166中发表的“Multiview 3D-LCD”的论文中描述了这样的自由立体显示器的实施例。在这些实施例中，自由立体显示器包括矩阵LC(液晶)显示面板，该显示面板具有成行和成列的像素(显示元件)并且该显示面板充当空间光调制器，以调制来自光源的光。显示面板可以是在其他显示器应用(例如用于以二维形式呈现显示信息的计算机显示器屏幕)中使用的种类。透镜状片材(例如以模塑的或机械加工的聚合物材料片材的形式)用它的透镜状元件覆在显示面板的输出侧上面，透镜状元件包括(半)圆柱形透镜元件，透镜状元件在列方向上延伸，且每个透镜状元件与对应一组两个或更多个相邻列的显示元件相关联，并且在与显示元件列平行走向的平面内延伸。在每个微透镜与两列显示元件相关联的布置中，显示面板被驱动以显示包括竖向交织的两个2D子图像的合成图像，其中交替的成列的显示元件显示所述两个图像，并且在每列中的显示元件提供对应的2D(子)图像的一个竖向切片。透镜状片材将这两个切片以及来自与其他微透镜相关联的显示元件列的相应的切片分别地导引到在该片材前方的观看者的左眼和右眼，以使得，通过具有适当的双目视差的子图像，观看者感知到单个立体图像。在其他多视角布置中，其中每个微透镜在行方向上与一组多于两个相邻的显示元件相关联，且每个组中的相应列的显示元件被适当地布置，以提供来自对应的2D(子)图像的一个竖向切片，于是当观看者的头移动时，感知到一系列连续的、不同的立体视图，以用于创建例如环视印象。

上述种类的自由立体显示器可被用于多种应用，例如用在家中或便携娱乐、医学成像和计算机辅助设计(CAD)中。

发明内容

本发明人已经认识到，当在3D显示器上观看3D图像信号的内容时，该内容中的任何高细节的特征最好是在不太远离显示平面的显示深度处显示，即，在相对地中等显示深度处显示。其原因在于，在由用户感知的立体子图像之间可能会发生串扰诸如光学串扰。这样的串扰通常会导致所谓的重影。重影对于观看者而言一般是使人分心的。该内容中的高细节特征中的重影对于观看者而言是特别使人分心的。通过在相对地中等显示深度处显示高细节的特征，减少了这样的重影。

这样的高细节的特征的实施例有字幕、广播电台徽标、或图形用户界面(GUI)元件、或者一般而言涉及需要以可读形式显示给用户的小文本的任何事物。一般而言，这样的高细节的特征在本文中称为“叠加”，因为字幕、徽标等通常被叠加在另一类型的内容的上方。

当从2D图像信号分离地递送这样的叠加(例如，作为在3D图像信号以内或旁边的分离的层(layer)或流(stream))时，可以通过将相应的深度值指定给所述叠加来将所述叠加显示在一个不太远离显示平面的深度处。然而，需要将约束纳入考虑，以使得例如，字幕被指定一个深度，该深度使得字幕被放置在内容的前方，即比在字幕下面和在字幕周围的内容更靠近观看者。本发明人已经认识到，当叠加已经被复合到内容中即被硬编码在3D图像信号内时，这样的深度指定是更为困难的。尽管有可能检测叠加，例如，使用叠加检测(也称为叠加分割(overlay segmentation)，如本身从就图像分析领域已知的)，但这样的叠加检测常常是不完美的。因此，检测到的叠加可能不会完美地匹配3D图像信号内的实际叠加。特别地，(子)像素精确叠加检测是困难的。

在原理上，在生成所述3D图像信号时，有可能已经给叠加指定一个相对地中等显示深度。出于此目的，可以使用2D到3D的转换，其固有地或通过设计试图给叠加指定所述中等显示深度。然而，发明人已经认识到，针对小文本诸如字幕的深度估计是困难的，因为它们包含分离的薄结构。因此，深度估计器难于给所述叠加的这样的分离的部分指定相同的深度。这会导致指定给这样的叠加的深度的波动(空间上和时间上)。这些对于观看者可能是非常使人分心的。

提供一种用于解决上述问题的系统和方法将会是有利的。

本发明的第一方面提供了一种用于处理三维[3D]图像信号的系统，所述3D图像信号包括一个二维[2D]图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器上对所述2D图像信号进行3D渲染，所述系统包括：

-信号输入，用于获得所述2D图像信号和所述2D辅助信号；

-用户界面子系统，用于使得用户能够在所述2D图像信号内建立一个用户定义的2D区域；

-区域定义器，用于基于所述用户定义的2D区域，在所述2D辅助信号内定义一个2D区域，所述2D区域对应于当使用所述2D辅助信号对所述2D图像信号进行3D渲染时在所述3D显示器的显示平面上的显示区域；以及

-深度处理器，用于：i)获得一个深度减小参数，所述深度减小参数表示，当在所述3D显示器上对所述2D图像信号进行3D渲染时，在所述显示区域内的朝向中等显示深度的深度减小的期望量，以及ii)从所述深度减小参数得出一个调整值，用于使得能够通过基于所述调整值调整在所述2D区域以内的所述2D辅助信号的信号值来在所述显示区域内建立深度减小。

本发明的另一方面提供了一种包括上述系统的3D显示设备。

本发明的另一方面提供了一种用于处理三维[3D]图像信号的方法，所述3D图像信号包括一个二维[2D]图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器上对所述2D图像信号进行3D渲染，所述方法包括：

-获得所述2D图像信号和所述2D辅助信号；

-使得用户能够在所述2D图像信号内建立一个用户定义的2D区域；

-基于所述用户定义的2D区域，在所述2D辅助信号内定义一个2D区域，所述2D区域对应于当使用所述2D辅助信号对所述2D图像信号进行3D渲染时在所述3D显示器的显示平面上的一个显示区域；

-获得一个深度减小参数，所述深度减小参数表示，当在所述3D显示器上对所述2D图像信号进行3D渲染时，在所述显示区域内的朝向中等显示深度的深度减小的期望量，以及

-从所述深度减小参数得出一个调整值，用于使得能够通过基于所述调整值调整在所述2D区域以内的所述2D辅助信号的信号值来在所述显示区域内建立深度减小。

本发明的另一方面提供了一种包括用于导致处理器系统执行上述方法的指令的计算机程序产品。

上述措施提供了一个用户界面子系统，用于使得用户能够在2D图像信号内定义一个用户定义的2D区域。例如，用户可以使用图形用户界面(GUI)定义矩形的、用户定义的2D区域的顶边、底边、左边、和右边来定义所述用户定义的2D区域，或在多个预先确定的2D区域中选择用户定义的2D区域，等等。基于用户定义的2D区域，在2D辅助信号内定义一个2D区域。所述2D区域对应于当使用所述2D辅助信号对所述2D图像信号进行3D渲染时在所述3D显示器的显示平面上的一个显示区域。为该显示区域获得一个深度减小参数，其中该深度减小参数表示在该显示区域内的深度减小的期望量。这里，术语“深度减小”是指当在3D显示器上对2D图像信号进行3D渲染时，朝向中等显示深度的减小。为使得能够建立深度减小，从该深度减小参数得出一个调整值。因此，在显示区域内可以建立深度减小，即通过基于所述调整值调整在所述2D区域以内的2D辅助信号的信号值。

上述措施具有的效果是，定义了一个2D区域，并且提供了一个调整值，它们一起使得能够通过基于所述调整值调整在所述2D区域以内的2D辅助信号的信号值而在该显示区域内建立深度减小。这具有的有利效果是，当3D图像信号包括硬编码叠加时，使得用户能够定义用户定义的2D区域以包括所述硬编码叠加，从而导致该系统针对辅助信号内的一个相应的2D区域提供一个调整值，其中该调整值使得能够使在该显示区域内的硬编码叠加的深度朝向中等显示深度减小。因此，如果深度估计器已经给硬编码叠加指定了一个错误深度，则可使该错误深度减小，从而也使通常与这样的错误深度相关联的深度波动减小。有利地，不需要依赖于(自动)叠加检测，由于较早提到的原因，(自动)叠加检测常常是不完美的。相反，使得用户能够靠他/她自己(即手动地)定义用户定义的2D区域。

应该注意的是，US 2011/0316991 A1描述了一种立体显示设备，包括：视差调整部(parallax adjustment section)，在被输入的左眼图像和右眼图像中的每个上均执行视差调整；以及，显示部，显示作为通过视差调整部的视差调整的结果的左眼图像和右眼图像。视差调整部只在一个不同于OSD图像区域的区域上执行视差调整，其中在左眼图像和右眼图像中的每个中，在OSD图像区域内均叠覆有一个OSD图像。US 2011/0316991 A1因此将OSD图像从视差控制排除。然而，US2011/0316991没有公开使得用户能够建立一个用户定义的2D区域从而在3D显示器上的一个显示区域内建立深度减小。相反，US 2011/0316991选择：固定区域，即OSD图像的固定区域，视差控制被从该区域排除；以及，互补区域，即该图像的其余部分，视差控制被应用至该区域。事实上，在US 2011/0316991中，OSD图像是明确地可用于该系统的。因此，US 2011/0316991没有提供用于处理3D图像信号中的硬编码叠加的解决方案。

EP 2451176 A2描述了3D视频通信的视频通信方法，其据说包括：使用3D摄像机取得对应于讲话者的多个2D图像；使用该讲话者的预先设定的特征点调整所述多个2D图像的汇集点(point of convergence)；使用所取得的多个2D图像检测位于讲话者和3D摄像机之间的对象；将所检测到的对象的原始深度感缩放到一个新的深度感；以及，用所述新的深度感生成一个包括所述对象的3D讲话者图像，且将该3D讲话者图像传输到聆听者的3D视频通信设备。然而，EP 2451176 A2没有公开使得用户能够建立一个用户定义的2D区域以便在3D显示器上的一个显示区域内建立深度减小。相反，在EP 2451176中，使用对象检测单元135来自动地检测对象[0077]。实际上，EP 2451176利用了对象的深度来检测对象，即，该对象有效地位于3D中[0077-0082]，并且由此依赖于已经通过3D照相机正确地获得的距离。应当理解，这并未提供用于处理在3D图像信号中的、可能已经被深度估计器指定了错误深度的硬编码叠加的解决方案。

US2012/0162199 A1描述了一种用于显示3D增强现实的仪器和方法。据说，如果增强现实被作为3D图像实施，则3D增强信息中的一些可能会在信息递送效率方面被劣化。还据说，可以从3D增强现实图像的选定对象中选择性地去除3D效果，通过提供：一个对象区域检测单元，以基于3D图像的选定对象检测该3D图像的左图像帧的第一对象区域和该3D图像的右图像帧的第二图像区域；以及，一个帧调整单元，以调整所述左图像帧和所述右图像帧从而改变所选定对象的3D效果。然而，在US 2012/0162199中，对象本身是已知的，即，通过对象信息定义[见0036、0048]，从而使该仪器能够知道哪个对象被用户选定，或者甚至使得对象能够被自动选定[见0059]。因此，代替使用户能够建立一个用户定义的2D区域以在3D显示器上的一个显示区域内建立深度减小，US2012/0162199使得用户能够借助于对象信息直接选择对象。US2012/0162199因此解决了如何去除由对象信息定义的对象的三维效果的问题，并且当处理在3D图像信号中的硬编码叠加时没有提供一种解决方案，即，这样的对象信息对其不可用。

下文描述了本发明的可选的方面。

可选地，所述区域定义器包括一个叠加检测器，用于检测所述3D图像信号内的叠加；以及，所述用户界面子系统被布置为用于使得用户能够基于所检测到的叠加建立所述用户定义的2D区域。尽管已经认识到，叠加检测器可能未能完美地检测在3D图像信号中的硬编码叠加，然而所检测到的叠加可用作用户在定义用户定义的2D区域时的基础。例如，所检测到的叠加可以将用户引导向硬编码叠加的位置，从而使得用户能够快速、方便地定义用户定义的2D区域。另一实施例是，有时，所检测到的叠加可以被充分良好地检测，从而使得用户能够基于所检测到的叠加直接定义用户定义的2D区域。

可选地，所述用户界面子系统被布置为用于使用所检测到的叠加来：

-初始化所述用户定义的2D区域；和/或

-建立一个网格，用于在建立所述用户定义的2D区域时为用户提供对齐到网格功能。

可选地，所述用户界面子系统被布置为用于使得用户能够指定在所述显示区域内的深度减小的期望量，从而建立所述深度减小参数。

可选地，所述信号输入被布置为用于获得指示一个预定义的2D区域的元数据，且所述区域定义器被布置为用于基于所述预定义的2D区域定义所述2D区域。

可选地，所述深度处理器被布置为用于从被布置为用于从所述深度减小参数得出一个偏移值，以使得能够通过将所述偏移值应用到所述信号值而调整在所述2D区域以内的所述2D辅助信号的信号值。

可选地，所述2D辅助信号是一个有关2D深度的信号，且所述深度处理器被布置为用于从所述深度减小参数得出一个增益值，以使得能够通过将所述增益值应用到所述信号值而调整在所述2D区域以内的所述有关2D深度的信号的信号值。

可选地，所述深度处理器被布置为用于基于所述调整值调整在所述2D区域以内的所述2D辅助信号的信号值，以在所述显示区域内建立深度减小。

可选地，所述深度处理器被布置为用于，基于将所述信号值和中等深度值进行阿尔法混合来调整在所述2D区域以内的所述2D辅助信号的信号值。

可选地，所述深度处理器被布置为用于建立在所述2D区域以内的经调整的信号值和所述2D区域以外的未经调整的信号值之间的逐渐过渡。

可选地，所述逐渐过渡是大致地一阶线性过渡或二阶非线性过渡。

可选地，所述系统还包括一个图像处理器，用于：

-在所述2D图像信号内建立一个2D图像区域，该2D图像区域对应于在所述2D辅助信号内的所述2D区域；和

-将图像增强技术应用于在所述2D图像区域以内的2D图像信号的图像值。

可选地，所述图像增强技术是以下组中的至少一种：对比度增强、锐度调整和时域滤波。

附图说明

从下文描述的实施方案可明了本发明的这些和其他方面，且将参考下文描述的实施方案阐明本发明的这些和其他方面。在附图中，

图1示出了用于处理3D图像信号的系统；

图2示出了用于处理3D图像信号的方法；

图3示出了用于执行该方法的计算机程序产品；

图4a示出了包括字幕的2D图像信号；

图4b示出了对应于该2D图像信号的2D深度信号；

图5a示出了用于使用户能够建立用户定义的2D区域的GUI；

图5b示出了反映该GUI的2D深度信号；

图6a示出了用户使用该GUI建立的用户定义的2D区域；

图6b示出了区域定义器将用户定义的2D区域建立为所述2D区域，以及深度处理器在所述显示区域内建立深度减小；

图7a示出了不具有深度减小的2D深度信号的特写视图；

图7b示出了具有深度减小的2D深度信号的特写视图；

图7c例示了所述显示区域和过渡区域；以及

图8示出了一个增益值，该增益值作为在屏幕上的竖向位置的函数而变化。

应当注意的是，在不同的图中具有相同的参考数字的项具有相同的结构特征和相同的功能，或者是相同的信号。在已经解释了这样的项的功能和/或结构的情况下，没有必要在具体实施方式中对其进行重复解释。

具体实施方式

图1示出了一种用于处理三维[3D]图像信号的系统100，所述3D图像信号包括一个二维[2D]图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器200上对所述2D图像信号进行3D渲染。所述2D辅助信号可以是，例如，2D视差信号、2D深度信号或另一2D图像信号。当将2D辅助信号与2D图像信号组合时，使得在3D显示器上对2D图像信号进行3D渲染成为可能。3D渲染可涉及执行视图渲染，例如，从所述2D图像信号和一个有关2D深度的信号生成另一2D图像信号。3D渲染也可涉及处理两个2D图像信号以用于实现立体观看。

系统100包括信号输入120，用于获得2D图像信号122和2D辅助信号122。系统100还包括区域定义器140，用于在所述2D辅助信号内定义一个2D区域142，该2D区域对应于当对所述2D图像信号进行3D渲染时在3D显示器的显示平面上的一个显示区域。该2D区域因此具有形状和位置。可以通过描述该2D区域的轮廓的区域参数来构成该2D区域。所述区域参数可以是位置参数。该2D区域对应于当对2D图像信号进行3D渲染时在3D显示器的显示平面上的一个显示区域。换言之，在所述3D显示器的显示平面上的一个显示区域内，由用户感知到的深度是由在该2D区域以内的2D辅助信号的信号值建立的。该显示区域是在该显示平面上的一个区域，因为该显示区域在宽度上和在高度上在该显示平面上延伸。术语“显示平面”是指这样的平面：与3D显示器的主发光表面一致且具有基本相同的深度，即对应于主发光表面的深度。

系统100还包括深度处理器160，用于获得深度减小参数162，该深度减小参数表示当对2D图像信号进行3D渲染时在该显示区域内的深度减小的期望量。深度减小参数可以在内部获得，例如，通过由该系统的另一部分建立，或通过预先设定。深度减小参数也可以从外部获得，例如来自用户，如下文将进一步讨论的。深度减小参数表示当对2D图像信号进行3D渲染时，在该显示区域内的深度减小的期望量。在这里，形容词“期望”指的是为实现所述深度减小而已经建立的深度减小参数。术语“深度减小”指的是在该显示区域内的深度正在接近于中等显示深度，即，使得正在被建立的内容较少地从该3D显示器突出或下陷到该3D显示器内。

深度处理器160被布置为用于从该深度减小参数得出调整值，以用于使得能够通过基于该调整值调整在所述2D区域以内的2D辅助信号的信号值来在所述显示区域内建立深度减小。因此，该调整参数被布置为用于，当基于该调整值调整在该2D区域以内的2D辅助信号的信号值时，在该显示区域内建立深度减小。因此，在对信号值作所述调整之后，实现深度减小。

应该注意的是，深度处理器160可被布置为用于基于所述调整值实际地调整在所述2D区域内的2D辅助信号的信号值。这实际上在图1中示出，其中深度处理器160从输入120获得2D辅助信号124，并且建立经调整的2D辅助信号124A。经调整的2D辅助信号124A示出为被提供给3D显示器200。虽然在图1中未示出，系统100可进一步给3D显示器200提供2D图像信号122。替代地，3D显示器200可以从别处(例如不同的系统或设备)接收2D图像信号122。

虽然在图1中未示出，显示处理器160还可避免基于所述调整值实际地调整在所述2D区域内的2D辅助信号的信号值。在此情况下，深度处理器160可以提供所述调整值以供另一深度处理器使用。其他显示处理器可被包括在另一设备(诸如3D显示器200)中。例如，其他显示处理器可以是3D显示器200的视图渲染器。视图渲染器本身从3D图像处理领域是已知的。此外，区域定义器和/或深度处理器160可以将该2D区域提供给其他深度处理器。例如，系统100可以由机顶盒设备构成，而该机顶盒设备的深度处理器160可以给3D显示器200提供调整值，然后3D显示器200调整在该2D区域以内的2D辅助信号的信号值。可以通过基于所述调整值更改视图渲染器的渲染参数，或通过直接使用所述调整值作为渲染参数，在3D显示器200内实现该调整。应当指出，在这种情况下，系统100可以不需要接收2D图像信号122。此外，系统100同样可以不需要接收2D辅助信号124，且因此可以不需要包括输入120。一般，应该注意的是，深度处理器160也可构成一个深度处理子系统160，其在多个设备上(例如在机顶盒设备和3D显示器200上)延伸。

图2示出了用于处理三维[3D]图像信号的方法300，所述3D图像信号包括一个二维[2D]图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器上对2D图像信号进行3D渲染。方法300包括，在第一步骤中，获得310所述2D图像信号和所述2D辅助信号。方法300还包括，在第二步骤中，在所述2D辅助信号内定义320一个2D区域，当对所述2D图像信号进行3D渲染时，所述2D区域对应于在所述3D显示器的显示平面上的一个显示区域。方法300还包括，在第三步骤中，获得330深度减小参数，所述深度减小参数表示，当对所述2D图像信号进行3D渲染时，在所述显示区域内的深度减小的期望量。方法300还包括，在第四步骤中，从所述深度减小参数得出340调整值，以用于使得能够通过基于所述调整值调整在所述2D区域以内的所述2D辅助信号的信号值来在所述显示区域内建立深度减小。方法300可以对应于对系统100的操作。然而，方法300也可以独立于系统100而执行。

图3示出了计算机可读介质350，其包括用于导致处理器系统执行图2的方法的计算机程序产品260。出于此目的，计算机程序产品360包括用于处理器系统的指令，该指令一旦执行就导致处理器系统执行所述方法。计算机程序产品360可被包括在计算机可读介质350上作为一系列机器可读物理标记和/或作为一系列具有例如不同的电气、磁性或光学特性或值的元件。

系统100还可包括用户界面子系统180，用于使得用户能够建立用户定义的2D区域182。出于此目的，用户界面子系统180可被布置为用于在3D显示器200上建立图形用户界面(GUI)，以使得用户能够使用GUI来建立用户定义的2D区域182。例如，GUI可以使得用户能够在屏幕上定义一个竖向位置，在该竖向位置下方深度被减小。有效地，在该竖向位置下方的区域构成了用户定义的2D区域182。该GUI还可以使得用户能够使用例如对应于各自边的各自位置的位置滑块(slider)来定义矩形的、用户定义的2D区域182的顶边、底边、左边和右边。图5a示出了这样的GUI的实施例。应当指出，可以有利地使用用于建立用户定义的2D区域182的多种替代方式。例如，用户可以在多个预先确定的2D区域中选择用户定义的2D区域182。此外，可以使用其他手段(例如，按钮按压、语音控制等)来代替使用GUI。

区域定义器140可以被布置为用于基于用户定义的2D区域182来定义2D区域142。例如，区域定义器140可将2D区域142定义为等于用户定义的2D区域182。因此，用户可以对该2D区域具有完全控制，并且他/她可以通过建立用户定义的2D区域182来定义该2D区域。替代地，区域定义器140可以基于用户定义的2D区域182来定义该2D区域142，通过例如用用户定义的2D区域182初始化该2D区域，或以任何其他合适的方式使用用户定义的2D区域182来定义2D区域142。本质上，2D区域142因此构成了在3D图像信号以内的用户可配置的深度减小的区域。

替代地或附加地，区域定义器140可以包括一个叠加检测器，用于检测3D图像信号122、124中的叠加，并且用户界面子系统180可以被布置为用于使得用户能够基于检测到的叠加来建立用户定义的2D区域182。例如，可以向用户示出检测到的叠加，即，以轮廓或位置指示器的形式，从而使得用户能够使他/她对用户定义的2D区域182的建立基于检测到的叠加。用户界面子系统180还可以使用检测到的叠加来初始化用户定义的2D区域182。因此，检测到的叠加可以提供一个初始2D区域，并且用户可以调整该初始2D区域以便建立用户定义的2D区域182。替代地或附加地，用户界面子系统182可以建立一个网格，用于在建立用户定义的2D区域182时给用户提供对齐到网格(snap-to-grid)功能。因此，可以将用户引导向建立用户定义的2D区域182。

替代地或附加地，用户界面子系统180可以被布置为用于使得用户能够指定在显示区域内的深度减小的期望量，从而建立深度减小参数162。例如，用户可以调整深度减小滑块。应该注意的是，代替用户建立深度减小参数162，可以通过系统100预先设定或确定深度减小参数162。例如，深度减小参数162可以取决于在3D图像信号中深度的总量。

信号输入120可以被布置为用于获得指示预先定义的2D区域的元数据，并且区域定义器140可以被布置为用于基于预先定义的2D区域来定义2D区域。可以通过信号传输链中的较早的或先前的系统或设备提供预先定义的2D区域。应该注意的是，系统100进而可以被布置为用于向该信号传输链中的较晚的或下一系统或设备提供如由区域定义器140所定义的2D区域和/或调整值，例如以另外的元数据的形式。

深度处理器160可被布置为用于从深度减小参数162得出一个偏移值，以使得能够通过将所述偏移值应用到信号值来调整所述2D区域内的2D辅助信号124的信号值。如果2D辅助信号124是有关2D深度的信号，则该偏移可以是有关深度的偏移。这样，该偏移值可以被加到所述2D区域以内的有关2D深度的信号的有关深度的信号和/或从所述2D区域以内的有关2D深度的信号的有关深度的信号减去。如果2D辅助信号124是另一2D图像信号，则该偏移也可以是视差偏移。该视差偏移可以用于将2D区域中的2D辅助信号124的图像值水平移位。如果2D辅助信号124是有关2D深度的信号，深度处理器160还可以被布置为用于从深度减小参数162得出一个增益值，以使得能够通过将该增益值应用到有关深度的值来调整在2D区域以内的有关2D深度的信号的有关深度的值。这样，可将该增益值乘以2D区域以内的有关2D深度的信号的有关深度的值。深度处理器160可被布置为用于从深度减小参数162得出增益值以及偏移值这两者。可以先应用该偏移，再应用该增益，或者反之亦然。

如果深度处理器160被布置为用于基于调整值来调整2D区域以内的2D辅助信号的信号值，则深度处理器160可以基于将所述信号值和中等深度值进行阿尔法混合来执行所述调整。可以从深度减小参数162得出阿尔法混合中的阿尔法值。应当注意，阿尔法混合本身从图像处理领域是已知的。此外，深度处理器160可被布置为用于在2D区域以内的经调整的信号值和该2D区域以外的未经调整的信号值之间建立逐渐过渡。因此，一个过渡区域被建立在该2D区域周围，在该过渡区域中实现逐渐过渡。有利地，避免或减少了分裂感知，否则如果一个对象既延伸到2D区域内又延伸到所述区域外，则将会出现该分裂感知。逐渐过渡可以是大致地一阶线性过渡或二阶非线性过渡。

虽然在图1中未示出，系统100可以进一步包括图像处理器180，用于：i)在2D图像信号122内建立2D图像区域，该2D图像区域对应于在2D辅助信号124内的2D区域；以及ii)将图像增强技术应用于在所述2D图像区域以内的2D图像信号的图像值。所述图像增强技术可以是以下中的一种或多种：对比度增强、锐度调整和时域滤波。有利地，进一步提高了叠加(特别是基于文本的叠加)的可读性。

应当指出的是，术语“图像信号”指的是表示至少一个图像的信号。该图像信号也可以表示多个图像，例如图像的序列，诸如一个视频序列。有效地，每个图像信号因此可以构成一个视频信号。

可以向前参考图4a进一步解释系统100和方法300的操作。图4a示出了2D图像信号122，包括文本“Some tourists leave their mark”的字幕。所述字幕构成了硬编码叠加，即，是2D图像信号122的一部分。图4b示出了对应于该2D图像信号的2D深度信号124。在此，强度与到观看者的距离成反比，即，较高的强度对应于较接近于观看者，而较低的强度对应于较远离观看者。在此实施例中，较低的强度(即较暗)对应于在显示平面后方的深度，而较高的强度(即较亮)对应于在显示平面前方的深度。

图5a示出了用户界面子系统180的实施例，其在屏幕上建立一个GUI使得用户能够建立一个用户定义的2D区域。该GUI包括被称为“Border factor(边界因子)”的滑块，其使得用户能够指定在显示区域内的深度减小的期望量。该GUI还包括四个滑块，所述滑块使得用户能够建立多个用户定义的2D区域，即，在2D图像信号122的每一个边处各一个。如果所有四个用户定义的2D区域都由用户以非零尺寸建立，则所述区域一起具有窗框的形状并且因此有效地构成单个用户定义的2D区域。应该注意的是，可想到许多替代方案以用于使用户能够建立一个(或多个)用户定义的2D区域。通过操作合适的滑块，用户因此可以建立用户定义的2D区域。图5b示出了反映该GUI的2D深度信号，即，示出了该GUI也被建立在一个深度处。

图6a示出了用户通过在屏幕底部处建立用户定义的2D区域完成对滑块的调整，即，在此具体实施例中包括从2D图像信号122的底部起的全部89条图像线。图6b示出了区域定义器140将用户定义的2D区域建立为所述2D区域以及深度处理器160在该显示区域内建立深度减小的结果。可以看到，2D区域以内的2D深度信号的深度值被调整，从而给字幕提供了一个深度，该深度使得该字幕具有距观看者较大的距离，即，具有减小的深度。图7a示出了不具有深度减小的2D深度信号122的特写视图。图7b示出了具有深度减小的2D深度信号(即经调整的2D深度信号124)的特写视图。2D区域400的范围在此被指示。此外，可以看到过渡区域410。在此，示出了深度处理器160在2D区域400以内的经调整的信号值和在该2D区域以外的未经调整的信号值之间建立逐渐过渡的结果，产生了所述过渡区域410。图7c使用虚线矩形例示了显示区域和过渡区域。

可以通过将增益值应用到2D深度信号122来获得图6b、7b和7c的经调整的2D深度信号124a，该增益值作为竖向位置的函数而变化。图8示出了这样的变化的增益值的一个实施例。在此，示出了一个曲线图，沿着其横轴510表示显示器上的竖向位置即y位置，而沿着其纵轴520表示增益值。该曲线图示出了增益值作为y位置的函数的逐渐变化，即，增益值函数500从2D区域400以内的第一增益值524(例如，0.3)变化到该2D区域以外的第二增益值524(1.0)，其中该增益值在过渡区域410内缓慢地从0.3过渡到1.0。可以通过首先从2D区域122减去一个偏移来应用该增益值。该偏移可以对应于一个中等深度值，例如，对应于中等显示深度的一个中等深度值。在应用增益值之后，偏移可再次被加到2D深度信号122。2D深度信号122的所有深度值都可乘以该增益值。替代地，只有2D区域400和过渡区域410内的深度值可乘以该增益值。应注意的是，用于增益值的另一个术语是“增益因子”。

应理解，根据本发明，可以提供一种用于处理3D图像信号的系统，所述3D图像信号包括一个2D图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器上对所述2D图像信号进行3D渲染，所述系统包括：

-信号输入，用于获得所述2D图像信号和所述2D辅助信号；

-区域定义器，用于在所述2D辅助信号内定义一个2D区域，所述2D区域对应于当对所述2D图像信号进行3D渲染时在所述3D显示器的显示平面上的一个显示区域；以及

-深度处理器，用于：i)获得一个深度减小参数，所述深度减小参数表示，当对所述2D图像信号进行3D渲染时，在所述显示区域内的深度减小的期望量；以及ii)从所述深度减小参数得出一个调整值，以用于使得能够通过基于所述调整值调整所述2D区域以内的所述2D辅助信号的信号值来在所述显示区域内建立深度减小。

应当指出的是，上述实施方案例示而非限制本发明，并且本领域技术人员将能够设计许多替代实施方案。

在权利要求中，置于括号之间的任何附图标号不应被认为限制权利要求。使用动词“包括”及其词形变化并不排除在权利要求中所陈述的元件或步骤以外存在其他元件或步骤。在元件之前的冠词“一”或“一个”并不排除多个这样的元件的存在。可以借助于包括若干不同元件的硬件以及借助于适当编程的计算机来实现本发明。在列举若干装置的设备权利要求中，若干这些装置可以由同一项硬件来体现。在相互不同的从属权利要求中记载的某些措施这一事实并不表明不能有利地使用这些技术措施的组合。

Claims (15)

1.一种用于处理三维[3D]图像信号的系统(100)，所述3D图像信号包括一个二维[2D]图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器(200)上对所述2D图像信号进行3D渲染，所述系统包括：

-信号输入(120)，用于获得所述2D图像信号(122)和所述2D辅助信号(122)；

-用户界面子系统(180)，用于使得用户能够在所述2D图像信号内建立一个用户定义的2D区域(182)；

-区域定义器(140)，用于基于所述用户定义的2D区域，在所述2D辅助信号内定义一个2D区域(142)，所述2D区域对应于当使用所述2D辅助信号对所述2D图像信号进行3D渲染时在所述3D显示器的显示平面上的一个显示区域；以及

-深度处理器(160)，用于：

i)获得一个深度减小参数(162)，所述深度减小参数表示，当在所述3D显示器上对所述2D图像信号进行3D渲染时，在所述显示区域内的朝向中等显示深度的深度减小的期望量，以及

ii)从所述深度减小参数得出一个调整值，用于使得能够通过基于所述调整值调整在所述2D区域以内的所述2D辅助信号的信号值来在所述显示区域内建立深度减小。

2.根据权利要求1所述的系统(100)，其中：

-所述区域定义器(140)包括叠加检测器，用于检测所述3D图像信号(122，124)内的叠加；且

-所述用户界面子系统(180)被布置为用于使得用户能够基于所检测到的叠加建立所述用户定义的2D区域(182)。

3.根据权利要求2所述的系统(100)，其中所述用户界面子系统(180)被布置为用于使用所检测到的叠加来：

-初始化所述用户定义的2D区域；和/或

-建立一个网格，用于当建立所述用户定义的2D区域时为用户提供对齐到网格功能。

4.根据权利要求1-3中任一项所述的系统(100)，其中所述用户界面子系统(180)被布置为用于使得用户能够指定在所述显示区域内的深度减小的期望量，从而建立所述深度减小参数(162)。

5.根据上述权利要求中任一项所述的系统(100)，其中所述信号输入(120)被布置为用于获得指示一个预定义的2D区域的元数据，且其中所述区域定义器(140)被布置为用于基于所述预定义的2D区域定义所述2D区域。

6.根据上述权利要求中任一项所述的系统(100)，其中所述深度处理器(160)被布置为用于从所述深度减小参数(162)得出一个偏移值，以使得能够通过将所述偏移值应用到所述信号值而调整在所述2D区域以内的所述2D辅助信号(124)的信号值。

7.根据上述权利要求中任一项所述的系统(100)，其中所述2D辅助信号(124)是一个有关2D深度的的信号，且其中所述深度处理器(160)被布置为用于从所述深度减小参数(162)得出增益值，以使得能够通过将所述增益值应用到所述信号值而调整在所述2D区域以内的所述有关2D深度的信号的信号值。

8.根据上述权利要求中任一项所述的系统(100)，其中所述深度处理器(160)被布置为用于基于所述调整值调整在所述2D区域以内的所述2D辅助信号的信号值，从而在所述显示区域内建立深度减小。

9.根据权利要求8所述的系统(100)，其中所述深度处理器(160)被布置为用于，基于将所述信号值和中等深度值进行阿尔法混合来调整在所述2D区域以内的所述2D辅助信号的信号值。

10.根据权利要求8或9所述的系统(100)，其中所述深度处理器(160)被布置为用于在所述2D区域以内的经调整的信号值和所述2D区域以外的未经调整的信号值之间建立逐渐过渡。

11.根据权利要求10所述的系统(100)，其中所述逐渐过渡是大致地一阶线性过渡或二阶非线性过渡。

12.根据上述权利要求中任一项所述的系统(100)，还包括图像处理器(180)，用于：i)在所述2D图像信号(122)内建立一个2D图像区域，该2D图像区域对应于在所述2D辅助信号(124)内的所述2D区域，以及ii)将图像增强技术应用于在所述2D图像区域以内的2D图像信号的图像值。

13.3D显示装置，包括根据上述权利要求中任一项所述的系统。

14.用于处理三维[3D]图像信号的方法(300)，所述3D图像信号包括一个二维[2D]图像信号和一个2D辅助信号，所述2D辅助信号使得能够在3D显示器上对所述2D图像信号进行3D渲染，所述方法包括：

-获得(310)所述2D图像信号和所述2D辅助信号；

-使得用户能够在所述2D图像信号内建立一个用户定义的2D区域；

-基于所述用户定义的2D区域，在所述2D辅助信号内定义(320)一个2D区域，所述2D区域对应于当使用所述2D辅助信号对所述2D图像信号进行3D渲染时在所述3D显示器的显示平面上的一个显示区域；

-获得(330)一个深度减小参数，所述深度减小参数表示，当在所述3D显示器上对所述2D图像信号进行3D渲染时，在所述显示区域内的朝向中等显示深度的深度减小的期望量，以及

-从所述深度减小参数得出(340)一个调整值，用于使得能够通过基于所述调整值调整在所述2D区域以内的所述2D辅助信号的信号值来在所述显示区域内建立深度减小。

15.计算机程序产品(360)，包括用于导致处理器系统执行根据权利要求14所述的方法(300)的指令。