CN103202024B - 生成图像内包裹图形对象的三维图像的方法、相关显示设备 - Google Patents

Abstract

本发明在于一种用于生成3D图像信号的方法。在所述图像中以确定的深度插入图形对象。要插入的对象周围有一个具有确定的厚度的框架。插入的图形对象周围的框架限定了过渡区域。过渡区域的图像元素的深度从要插入的图形对象的框架的外边缘到内边缘渐进变化。本发明还涉及一种用于生成所述显示信号的设备。

Description

生成图像内包裹图形对象的三维图像的方法、相关显示设备

技术领域

本发明涉及用于在能够显示三维图像的屏幕上显示三维（3D）文件的方法以及用于根据所述方法生成显示信号的设备。

背景技术

目前视频处理中有几种方法用于重建立体感，例如有立体视法。在立体视法中，用两个不同的摄像机或两个不同的静态相机从相对于彼此横向偏移的两个不同视点记录同一个场景的两个视图。对于3D观看的观众，这两个视图，被称为相同的场景的右和左视图显示在显示设备的同一屏幕上，使用PDP（等离子体显示面板）或LCD（液晶显示器）类型的屏幕或视频投影屏幕。观众通常佩戴适于向每只眼睛传输与之对应的视图的眼镜。

在这样的屏幕上显示的3D图像的立体感直接依赖于左和右图像的视差，即将代表所记录的场景中相同对象元素的两个像素分开的距离（例如可用像素的数目度量），一个像素旨在由左眼感知而另一个旨在由右眼感知。这些像素代表在显示设备层面相同的视频信息，即它们代表所记录场景的相同的对象元素。

与3D图像的对象元素相关联的视差值对应于电影或视频的左图像和右图像中这些元素在水平轴线上的位置偏差。视差特别地依赖于所记录的场景和记录相机之间的对象距离以及左和右相机之间的距离。一般情况下，例如这两个相机相隔的距离至少等于6.5厘米，因为该距离对应于人的眼睛分离的平均距离。

如果一个对象位于另一个对象后面，该对象位于另一对象后面的部分对一只眼睛是隐藏的，尽管它对另一只眼睛可能是可见的，因为取决于是由一只眼还是另一只眼观察，放在另一对象前面的对象并不遮挡同样的部分。这种被称为“遮挡”的现象还使大脑推断一个对象位于另一个对象后面并且由此处在不同的深度。根据3D场景的视觉角度，一个对象可能被也可能不被其前方的对象遮挡。由此在3D中，被遮挡的对象比遮挡对象具有更大的深度（被感知为位于后面）。在两维（2D）图像中，无论从哪个角度观看该图像的对象，两只眼睛感知到相同的图像，保留了可能的遮挡并且2D图像不能给观众深度的立体感知。

三维序列通常包含感知为屏幕后的特定对象中不同深度上的对象和感知为屏幕前的其他对象。为了显示图形对象，尤其是使用OSD（屏上显示）电路叠加（superimposed）在屏幕上显示的图像上，其中该图形对象代表如显示设备的参数配置菜单、标志，计分面板或文本信息的多种元素，图形对象必须优选地以使得它出现在所述图像的前面的方式插入。从而将视差应用于该图形对象使得它被感知在前景中。但那样由于观众的眼睛从3D场景转换到该图形对象需要一定的收敛时间，文本和图形对象的可读性降低。这将导致在视觉不适和眼疲劳。

此问题的第一解决方案在于以低视差应用于这些图形对象，也就是说，在于将它们在屏幕级别插入。如果现在考虑遮挡问题，插入在显示图像中的图形对象有被所显示的3D图像的对象遮挡的风险并且只会出现一部分。视觉显示由此引起感知上的高度不适，因为位于这些对象后面的图形对象有被它们遮挡的风险。

飞利浦公司的专利申请WO2008/038205讨论了一种将图形对象放置在3D场景的对象前方的方法。感知为距离观众最远的场景的部分（在此专利申请中称为“第一子范围”）专用于视频，而更接近观众的第二部分（第二子范围）专用于图形。其结果是，视频可以不再遮挡图形数据，因为由此将场景的一部分分配给他们，图形对象总是放置在前景中。这个方法可以解决由视频导致的可能的图形遮挡问题，但以整个视频的深度范围的降低为代价。

发明内容

本发明提出了插入图形对象的另一种方法，在保持一个良好的视觉舒适度的同时尽可能避免对视频文件深度的限制。

本发明的目的在于一种用于生成三维图像信号的方法，该方法包括在三维图像信号中插入图形对象的步骤，该方法的特征在于，它还包括：

确定由所插入的图形对象周围的轮廓所限定的内插区域的步骤，所述内插区域具有确定的厚度，

处理位于内插区域上的像素的步骤，所述像素的深度从要插入的图形元素的轮廓的外边缘到轮廓的内边缘一点一点地增加，该轮廓的内边缘上的像素的放置深度大于插入对象的深度。

通过保持位于插入对象周围的3D场景中对象的深度变化，用户连续感知插入的对象周围的深度，同时很容易看到插入的图形对象并且同时最大限度地减少视觉上的不适。

根据第一改进，应用在内插区域上每个像素的深度的变化是该像素和轮廓的内边缘之间的距离的函数，该函数是下列函数之一：线性函数，三角函数，抛物线函数。以这种方式，可以更好地在插入对象的边缘削弱深度的变化并且减少太大的深度变化的视觉冲击。根据另一改进，该方法包括接收与图形对象相关联的数据的步骤，所述接收到的数据除其他元素外，还包括插入的图形对象周围的内插区域的宽度。以这种方式，接收器具有为该图形对象定制的参数，使其可以更好地插入到视频图像。根据变型，接收到的数据包括要插入对象和屏幕之间的距离与观众和屏幕之间的距离的比。以这种方式，接收器具有与屏幕上的自定义显示的图形对象相关联的参数。

根据另一种改进，该方法包括引入命令以调整插入的图形对象的深度的步骤。通过这种方式，用户为了其更好的视觉舒适度可以调整插入对象的深度。根据在此改进上的进一步改进，内插区域的宽度取决于由用户引入的对图形对象的深度的调整。

根据另一种改进，所插入的图形对象周围的内插区域的宽度是可变的。以这种方式，内插区域可以适应插入对象的形状，以及它的三维方位（如果插入的对象是三维的）。

本发明的目的还在于一种用于生成三维图像信号的设备，它包括在三维图像信号中插入图形对象的部件，其特征在于它包括：

确定由所插入的图形对象周围的轮廓所限定的内插区域的部件，所述轮廓具有确定的厚度，

所述插入部件修改位于图形对象的轮廓上的像素的深度，所述像素的深度从要插入的图形元素的轮廓的外边缘到轮廓的内边缘一点一点地增加，该轮廓的内边缘上的像素的放置深度大于插入对象的深度。

附图说明

参照在附录中的附图阅读特定的非限制性的实施例的说明将更清楚地揭示本发明连同其特征和优点，其中：

图1是根据本发明的实施例使3D图像能够被显示的接收器的框图，

图2a-2d是示出3D图像的线性元素深度以及插入图形对象时对所述元素的深度修改的示意图，

图3示出根据本发明的显示3D图像和插入的图形对象的接收器的屏幕，

图4示出了3D图像中的图形对象的内插区域的例子以及代表该区域的元素的深度的图。

具体实施方式

图1示出连接到包括显示屏幕的显示设备2上的接收器1。该显示设备可以是视频投影仪，电视屏幕或任何用于3D内容的屏幕。接收器1是例如3D电视接收器或3D视听终端。通信部件通过宽带网络传输数据流。接收器1包括中央处理单元3，其除其他之外还连接到存储器4、接收例如通过遥控器10发送的命令的接收接口9。该接收器还包括接收部件，诸如与调谐器和多路分配器7相关联以接收通过广播网络发送的3D内容数据的天线。一种变型是将该接收器配备用于与宽带数字网络6进行通信以接收3D数据内容的接口5。

接收器1还包括用于存储3D内容的存储单元11。支持使用的存储器是例如随机存取存储器，硬盘或光盘。接收器1还可以连接到诸如DVD或蓝光播放器的数据读取器14，或具有集成的DVD或蓝光播放器。该接收器还包括用于在屏幕上显示数据的OSD（屏上显示）电路13。OSD由中央处理单元3联合记录在存储器4中的可执行程序控制。接口12能够与来自OSD电路的数据相互作用以得到视频数据。接收器1还可以与显示设备2集成。

接收器1接收对应于3D视觉内容的数据并且发送适于显示设备2的对应于视觉内容的数据。OSD电路13从中央处理单元3接收命令来使定位在显示屏幕上的至少一个插入窗口内的至少一个图形对象进入3D视觉内容。这些图形对象需要良好的可读性。

“图形对象”应理解为可以图形化再现的任何一组字符或符号。

3D图像的插入窗口对应的轮廓对诸如例如字符和符号组划界。在本发明的一个例子中，由该轮廓划界并包括一组字母或符号以及背景元素的内部区域是要插入的图形对象的一部分。在本发明的另一个例子中，要插入的图形对象限制为这组字符或符号。

例如此图形对象是二维表示。在本发明的另一例子中，仅该图形对象或与包括在其轮廓中的元素一起是3D表示。

本发明的一个目的是所插入的图形对象不被图像的元素遮挡。

将要显示的图像的视差图以中央处理单元本身已知方式的或通过数据流传输而确定，其中视差值与右或左视图图像的每个元素相关联。由此确定将要显示的被传输内容的3D图像中的所有元素的相应深度。正视差对应于位于屏幕后面的图像元素，而负视差对应于位于屏幕前方的图像元素。

如果根据本发明例子之一，将要插入的图形对象限制在一组字符或符号，本发明在于在开始时修改要被插入的图形对象的插入窗口中的(即限定在该图形对象周围的轮廓内部的)3D图像元素的深度值。通过内插修改该图像部分的相应元素的视差，以便使得在没有屏幕深度的情况下该图像部分位于靠近对应于屏幕平面的深度的深度。这些元素的视差因此是稍微正的使得图形元素的插入不被这些图像元素遮挡。

本发明还涉及在3D图像上插入若干图形对象。

为了避免在要被插入的图形元素的轮廓划界的图像部分和该图像的其余部分之间突然的深度变化，根据本发明在图形元素的轮廓周围创建过渡区域。此区域包括对应于图形对象轮廓的第一内边缘以及根据不同参数（如想要的图像或显示的两部分之间的深度偏差）所确定的宽度隔开的第二外边缘。这个区域越宽则深度的过渡越平缓。对应于轮廓的内边缘具有方形、圆形或椭圆形的形式。外边缘优选地与内边缘是相同的形式。在其他的例子中外边缘具有与内边缘不同的形式。例如，椭圆形外边缘可以与矩形的内边缘相关联。

图2a和2b分别表示根据这些元素在水平轴的位置从视频文件中提取的3D图像的对象元素的深度的图形以及在处理和插入2D图形对象后相同图像的对象元素的深度的图形。

如图2a中所示，所显示的对象元素具有可变的使它们可位于屏幕前面或后面的深度（感知到的Z），屏幕深度对应于点纵坐标线Z_screen。

如图2b所示，图形对象在屏幕深度的级别插入并且用在屏幕的深度Z处的虚线的点表示。因此该图形对象的元素的视差是零。它插入在定义为区域1的区域中。

通过在将被插入的图形元素周围的具有确定宽度的矩形框架示出过渡区域（同时也由图3示出）。在对应于与插入窗口中央部分的x轴一致的水平线的图2中的图形级别处，该过渡区域由称为2D区域的右区域和称为2G区域的左区域示出。

在开始时，如果必要的话，如果对要插入的图形对象以使得该图像部分的元素的视差值具有接近于零的正值的方式进行内插，3D图像部分位于轮廓内。因此，插入的图形对象位于该3D图像部分的元素的前面。有利地，因此不存在冲突并且因此没有视觉不适。

图2b还示出位于要插入的图形对象周围的框架的元素的深度。在要插入的对象右边，在该框架的宽度之内存在2D过渡区域，在该2D过渡区域内修改3D图像。

事实上，在此区域中的图像元素位于要插入的图形对象的元素和重传（re-transmitted）的3D图像元素之间。为了避免视觉不适，对位于该区域的场景元素的深度的修改优选地在要插入的对象的周围都是渐进的。

要插入的图形对象的深度和3D图像的深度之间的过渡由此产生。对该区域中的元素的深度从位于内边缘上的元素的深度值向位于外边缘上的元素的深度值渐进调整。这种渐进的调整是例如线性的或渐变的。

在图2b的示意图上，在位于图形对象右边缘上的2D过渡区域中，元素的深度从对应于过渡区域外边缘的元素的初始深度的深度值Z1变化到值Z_screen。在位于图形对象左边缘上的2G过渡区域中，元素的深度大于（正视差）深度Z_screen。因此在图形对象的这一侧，没有遮挡的风险并且没有必要调整这个过渡区域2G的元素的深度值。

深度值调整的渐进性取决于该过渡区域的宽度。深度值之间的差异越大，越建议增加此区域的宽度。该宽度尤其由像素数量确定。

根据由图2c的图形表示的本发明的一个变型例，对象在不同于屏幕深度的深度Zi处插入。在过渡区域中，元素的深度从对应于过渡区域外边缘的元素的深度的深度值Z1或Z2渐进变化到插入值Zi。

在另一个例子中，要插入的图形对象是深度限定为ZG2-ZG1（对应于图形对象的最深的元素的深度和最浅的元素的深度之差）的3D表示。为了简单起见，通过以使得对应于深度差的平均值1/2（ZG2-ZG1）的深度元素位于屏幕级别或在限定级别的方式调整其插入来实现对该图形对象的插入。这种情况由图2d表示。该过渡区域的限制值对应于图2d中示出的这些值。该区域中图像元素的深度从该区域外边缘上的图像的深度值到插入的图形对象的最浅元素Z_G1的深度值渐进调整。

图3示出显示3D图像的屏幕的一个例子。在这个图像的底部，将一项文本信息插入这个图像的插入窗内。插入的对象周围的框架具有一定的厚度，一般为50个像素。此框架限定了过渡区域，并且中央处理单元3将修改位于这个过渡区域中的3D图像的像素的视差。代表将要插入的文本信息的所有元素放置在位于屏幕平面级别的深度。位于框架的内边缘上并属于3D图像的对象的元素放置在接近屏幕深度的深度上。代表这些元素的像素的视差值对应于接近于零，但为正的第一值。同时位于框架的外边缘上并属于3D图像的对象的图像的像素保存其初始视差值。通过对位于框架中的中间像素的深度进行内插所赋予的值在该第一值和这些初始值之间渐进变化。

图4表示按照垂直Y和水平X视频轴，在3D图像中插入图形对象的内插的例子。Z轴表示深度，观众位于值Z=0的位置。在要插入的图形对象的区域中，3D图像位于深度Zimage处，在深度Zscreen处插入图形对象。

在图4的底部的左侧部分示出观众看到的屏幕，OSD电路插入的对象位于中心。图4的右侧部分示出了按照垂直轴Y的视图，图4的左侧部分示出了按照水平轴X的视图。该对象周围的框架的宽度依据Y轴：（Ya-Yb）=（Y'b-Y'a）。该对象周围的框架的宽度依据X轴：（Xa-Xb）=（X'b-X'a）。框架的宽度限定了过渡区域Z2的宽度。根据一种改进，所述的框架依据X轴的宽度与依据Y轴的宽度是不同的。当该要插入的对象在一个方向上延伸并在其他方向较小的情况下，此不同是有用的。能够调整过渡区域宽度的事实也使得当插入的对象本身就是3D形式时深度的变化是平滑的成为可能。在Ya，不修改3D图像的元素。在Yb，以使得元素具有等于Zscreen的最小深度的方式对该图像进行内插。在Ya和Yb（相应地Y'a和Y'b）之间元素的深度变化是线性的。相同的推理也适用于X轴。

为了削减与位于框架上的像素的不同深度有关的视觉扰动，所述变化可以是渐变的并且是抛物线的。

根据一种改进，用户具有引入用于相对于屏幕的深度值插入图形对象的深度值的部件。此引入部件出现在光标的方位，由用户选择的光标的位置限定了要插入的对象的位置。观众将要插入的对象放置的离屏幕前方越近，3D场景就具有越深的深度。没有必要使用户能够将光标移至屏幕的背面，因为这将进一步限制深度的效果。根据一种改进，内插区域的宽度依赖于由用户引入的调整。事实上，如果用户明确地将他的图形对象移动到屏幕的前方，就不需要很宽的内插区域来减少视觉不适。

例如，如果要插入的对象是标志，可以将框架的厚度限制到30个像素。

根据本发明的一种改进，涉及要插入的对象的一组数据由接收器1接收，特别地包括：

该对象的视觉数据，可能是压缩的，

要插入的对象在所显示的图像内的位置，

要插入对象和屏幕之间的距离与观众和屏幕之间的距离的比，

框架的厚度。

本发明所涉及的应用是所有那些在屏幕上显示视觉内容并同意即时显示附加信息项的应用。在视频游戏领域，要插入的图形对象可以是玩家的得分。在体育赛事的现场直播中，可由此显示特定选手的得分或详细信息。显示装置2通常是与主动式或被动式眼镜、或视频投影仪、或任何其他用于显示3D图像的设备项一起产生效果的3D电视屏幕。

此外，本发明不仅可以实施在用于接收视听传输内容的设备中也可以实施在传输设备中。例如，可以实施在电视公司想要在将被广播的3D内容中永久地插入标志的的级别上。

必须将本发明的实施例看作是示例性的，但可以在由所附的权利要求的范围限定的领域内对其修改。特别是，本发明可以适用于任何接收数字视听传输内容的设备。本发明尤其可以实施在所有在任何显示部件上显示三维图像的技术中。

Claims (6)

1.一种用于生成至少一个三维立体视觉图像对的方法，包括：

在所述至少一个三维立体视觉图像对中以预定的插入深度插入图形对象的步骤，

确定插入的图形对象周围的过渡区域的步骤，所述区域由对图形对象划界的内边缘和与所述内边缘隔开的外边缘划界，

该方法特征在于，它还包括：

对位于所述过渡区域的至少一个三维立体视觉图像对的元素的深度进行处理的步骤，使得该深度根据三角函数或根据抛物线函数从位于外边缘上的图像元素的深度到内边缘的插入的图形对象的元素的深度渐变变化。

2.如权利要求1所述的生成至少一个三维立体视觉图像对的方法，其特征在于，所述处理的步骤进行调整使得应用到位于所述过渡区域的每个元素的深度从所述过渡区域的内边缘到外边缘逐步增加。

3.如权利要求1所述的生成至少一个三维立体视觉图像对的方法，其特征在于，该方法包括接收与图形对象相关联的数据的步骤，所述接收到的数据除其他数据项外，还包括插入的图形对象周围的过渡区域的宽度。

4.一种用于生成三维立体视觉图像对的设备(1)，包括

在至少一个三维立体视觉图像对中插入图形对象的部件，其特征在于它还包括：

确定插入的图形对象周围的过渡区域的部件(3,4)，所述区域由对应于该图形对象轮廓的内边缘和与所述内边缘隔开的外边缘划界，

对位于所述过渡区域的至少一个三维立体视觉图像对的元素的深度进行处理的部件，使得该深度根据三角函数或根据抛物线函数从位于外边缘上的图像元素的深度到内边缘的插入的图形对象的元素的深度渐变变化。

5.如权利要求4所述的用于生成三维立体视觉图像对的设备(1)，其特征在于，所述用于处理的部件进行调整使得应用到位于所述过渡区域的每个元素的深度从所述过渡区域的内边缘到外边缘逐步增加。

6.如权利要求4所述的用于生成三维立体视觉图像对的设备(1)，其特征在于，它包括用于接收与图形对象相关联的数据的部件，所述接收到的数据除其他数据项外，还包括插入的图形对象周围的过渡区域的宽度。