CN103563363A - 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示 - Google Patents

Abstract

本发明涉及一种用于在规定的确定大小的显示器屏幕上从输入视频信号中生成包括左视图（1）和右视图（2）的3D图像供观看者以某个距离观看的设备和方法。该设备包括：用于测量观看者和显示器之间的距离（D）的部件；用于确定与显示器屏幕5的确定大小和测得的距离6相关的视差阈值，以获得2D和3D兼容等级的部件7；用于编辑与左和右视图之间的视差值对应的视差图的部件4；用于与所确定的阈值比较，分析视差图的视差值直方图的部件8；以及用于在直方图的视差等级大于所确定的视差阈值时通过视图内插替换左或右视图之一，以使得直方图的视差等级小于所确定的阈值的部件9。

Description

立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示

技术领域

本发明涉及用于呈现3D效果的图像处理和显示系统，更具体地说，涉及包括2D/3D兼容模式自动转换的方法和设备。

背景技术

本发明涉及用来获得成对的具有适应的深度等级的立体视图的视频处理。这适用于任何能够呈现3D的显示视频、电视或电影技术。

用于实现本发明的显示设备一般都能够显示要显示的每个3D图像的至少两个不同的视图，一个视图用于观众每只眼睛。按照本身已知的方式，人类视觉系统利用这两个视图之间的空间差异（立体视觉信息）来提供深度感（depth perception）。

目前已经有多种用于呈现3D内容的技术，其中每个3D图像都由两个不同的视图组成。

最流行的技术是大家所熟知的彩色立体图技术（anaglyph technology），其中三分量RGB显示中的一个或两个分量用来显示第一视图，其他分量用来显示第二视图。借助于滤色镜，第一视图施加到左眼，第二视图施加到右眼。这种技术不需要专用的显示设备，但是，这种技术的一个主要缺点是会改变颜色。

其他的需要主动式或被动式眼镜的立体视觉显示技术也可用来显示3D图像。在此情形中，必须对用于右眼和左眼的信息进行复用：

·这种复用可以是时间上，这是由于其用于需要主动式眼镜的顺序系统。这些主动式眼镜以类似于与视频帧速率同步的快门的方式工作。这种系统需要较高的视频帧速率以避免闪烁。它们尤其可以与那些使用DLP或具有等离子和LCD显示设备的数字影院系统一起工作，这是它们由于具有较高帧速率性能。

·这种复用可以是光谱上的。提供给右眼和左眼的信息具有不同的光谱。借助于分色或有色滤光片，被动式眼镜选择将被提供给每只眼睛的部分光谱，如数字影院中的杜比3D系统。

·这种复用可以是空间上的。一些大尺寸的3D LCD显示器设备都是基于这样的空间复用。要被每只眼睛感知的视频线具有不同的偏振并且是交织的。显示设备将不同的偏振应用于奇数行和偶数行。借助于偏振的被动式眼镜，针对每只眼睛对这些不同的偏振进行滤波。

使用例如双凸透镜的自动立体视觉或多视图显示设备上不要求用户佩戴眼镜，并在用于家庭和专业娱乐的场合中变得更可用。许多这样的显示设备运行在“2D+深度”格式上。在此格式中，显示设备组合2D视频和深度信息来创建3D效果。

借助于单眼深度暗示（cue）（如，遮蔽、透视、阴影……），并还借助于被称为双眼视差的双眼暗示，可以获得深度感。下面关于图1的描述解释了3D效果如何被这种生理深度暗示感知。

·当观看者的两只眼睛（或摄像机）汇聚在同一对象A上时，使得该对象出现在这些眼睛的每一个视网膜的中心，更远处的物体B（或更近的C）将在每个视网膜的不同位置处产生同一对象的2个图像。这2个位置之间的差异提供深度暗示。

·当该差异很小时，即当B或C与A足够近时，大脑将这2个位置融合成一个位置。

·当在视网膜上分析时，这种现象被称为视差（disparity）。

在图2中，我们示出了感知深度与立体图像对的左眼和右眼图像之间被称为视差别（parallax）的物之间的关系。

Z_P：感知深度（米）

P：左眼和右眼图像之间的视差别

d：传输的视差信息

t_e：眼间距离（米）

Z_S：从观看者到屏幕的距离（米）

W_S：屏幕宽度（米）

N_col：列数（像素）

我们看到，屏幕上的视差别等级（对象在右眼和左眼之间x位置的差异）将呈现深度信息。当然，到屏幕的距离也将是最终的深度感的一部分。

感知的深度、视差别和到屏幕的距离之间的关系表示如下：

$\left\{\begin{array}{c}{Z}_p=\frac{Z_s\×t_e}{t_e-P}\\ P=\frac{W_s}{N_{\mathrm{col}}}\×d\end{array}\right.$

使用视差图进行视图内插在于考虑这些不同视图之间的像素视差，根据同一3D场景的一个或两个不同的参考视图来内插中间视图。

视图内插需要将参考视图沿着链接参考视图的视差向量投射到虚拟视图上。具体地说，让我们考虑两个参考视图J和K以及位于它们之间的虚拟视图H（图3）。

视图内插按照3个步骤进行：

1.通过将视图J的完整的视差图投射到H上并将这些视差值分配给H中的像素来计算中间虚拟视图H的视差图

2.通过空间内插来填充视图H的重构的视差图中的洞

3.除了仅根据K内插的填充的像素之外，通过根据J和K的视差补偿来对中间图像H进行内插，

图3示出了第一步骤。视图J中的像素u具有视差值disp（u）。视图K中的对应点定义为u-disp（u），并位于同一条线上（没有垂直位移）。视图H中的对应点定义为u-a.disp（u），其中缩放因子a是基线JH和JK（视图对准）之间的比率。

图4更明确地示出了第一步骤。视差补偿内插（1D视图）用虚拟视图H中的u’和v’表示，u’和v’分别根据J中的u和v使用它们的视差值disp（u）和disp（v）进行估计。然后将视差值分配给最靠近的像素uH和vH。H中与像素u对应的点位于u’=u-a.disp（u）处。该视差值被分配给最靠近的像素u^H。

只投射一个视差图（例如：J，而不是K）。图6示出了此情形。在第一步骤中，视图J的视差图投射到虚拟视图H上。然而，某些区域可以从视图H看到，但不能从视图J看到（图6中的问号区域）。

如在本发明的解决方案中一样，不投射视图K的视差图，“H”图中的间隔必须通过视差的空间内插来进行填充。

填充过程按照4个步骤进行：

1.通过求取2个相邻视差值的平均值来填充1个像素宽度的小洞（这些洞一般是视差值量化固有的，可以简单地进行线性内插）

2.除去在水平方向上分离的具有某个视差值的像素，使得左、右相邻的像素为空。

3.填充视差图中更大的洞：这些区域被认为应该属于背景，并靠近在其他视图中隐藏它们的前景。因此，通过传播左侧或右侧的视差值来对它们进行内插：使用最小的值。

4.然后，对填充的图应用3x3的中值滤波

一旦虚拟视图的视差图可用，就可以沿视差向量进行帧间内插。区分两种类型的视差向量：

·已经通过投射“J”的视差图（我们的非对称方法中的主参考视图）定义的向量；在这种情况下，这些像素的颜色根据J和K中向量的2个端点的颜色计算；

·已经被空间内插的向量（填充区域）（上述步骤2）：对应的像素被认为在J中是被遮蔽的；因此，它们根据K进行内插；这些像素的颜色根据K中向量的端点的颜色计算。

因此，同时在视图J和H中看到的都是根据视图H中的两个视图进行内插的。另一方面，H中不能从J看到的是根据视图K进行内插的。

图5示出了一个示例，其中已经给像素v^H分配了视图J的视差向量（来自像素v）。因此，通过视差补偿对像素v^H进行内插：它由分别用α和（1-α）加权的点v^J和v^K之间的线性组合产生，其中α是比率HK/KJ。另一方面，像素u^H未获得来自J的视差图的向量，对其向量进行空间内插。所以，根据它在视图K中的视差向量端点u^K对其进行估计。

如在上一节中描述的，借助于立体内容（2个视图）和相关联的视差图可以生成源视图之间的任何中间视图。例如，如图7中所示，如果进入的视图是在视图1和8处，那么可以内插从2到7的任何视图。当然，每个视图之间的步长可以尽可能地小。最后，可以在8和1之间的任何距离处生成任何视图。

然后，可以定义几个场景。在视频点播（VOD）的情形中，我们可以考虑这样一种系统，其中你请求获得（下载）具有你想要的深度等级的内容。例如，它可以是高、中或低等级。在3D广播内容的情形中，那么用户可以要求获得他自己的深度等级，如他今天要求获得的与声级（sound level）或颜色参数对应的深度等级。这需要获得视差图和平均值以在终端用户侧内插视图。

许多研究已经描述了下述事实：我们在有关3D的可接受程度方面不在同一水平。这意味着，对某些人来说，某个给定的深度等级将被正确地接受，但对其他人来说却并非如此。人类的3D感知系统是复杂的，并且可以确定的是，有些人甚至不能看到任何3D（5％的人口是3D盲）。对于另外一些人，他们不接受长时间佩戴眼镜观看3D内容。对这些人将会产生一种使得3D体验非常糟糕的视觉疲劳。

目前还没有解决方案针对这样一群他们中有些可以接受3D体验，而有些不能接受3D体验的人。

发明内容

因此，本发明的主题是一种在规定大小（SS）的显示器屏幕上从输入的视频信号中生成包括左和右视图的3D图像供观看者观看的方法。

该方法包括以下步骤：

-测量观看者和显示器屏幕之间的距离（D）；

-确定与显示器屏幕的规定大小（SS）和测得的距离（D）相关的视差阈值，所述视差阈值适配为实现所述3D图像的2D感知和3D感知之间预定的兼容等级；

-通过比较左视图和右视图提取与所述3D图像的像素的视差值对应的视差图；

-与所确定的阈值比较，分析所提取的视差图的视差值的统计值；以及

-因此，如果直方图的视差等级大于所确定的视差阈值，那么用通过视图内插获得的中间视图替换左视图或右视图之一，以使得直方图的视差等级小于所确定的阈值。

有利地，本发明使得与3D体验兼容的立体内容同时也与2D体验兼容。

根据一个实施例，如果超过某个百分比的直方图的视差等级大于所确定的视差阈值，那么执行应用视图内插以获得中间视图的步骤。

根据一个实施例，生成视图内插，以使得中间视图之一与其他视图的视差是左视图和右视图之间的初始视差的一部分。

根据一个实施例，分析得到的视差的统计值与视差直方图对应。

在另一个方面，本发明涉及一种在规定的确定大小（SS）的显示器屏幕上从输入视频信号中生成包括左视图（1）和右视图（2）的3D图像以供观看者以某个距离观看的设备。该设备包括：

-用于测量观看者和显示器之间的距离（D）的部件；

-用于确定与显示器屏幕5的确定大小和测得的距离6相关的视差阈值，以实现2D和3D的兼容等级的部件7；

-用于编辑与左视图和右视图之间的视差值对应的视差图的部件4；

-用于与所确定的阈值比较，分析视差图的视差值直方图的部件8；以及

-用于在直方图的视差等级大于所确定的视差阈值时通过视图内插替换左视图或右视图之一，以使得直方图的视差等级小于所确定的阈值的部件9。

根据一个实施例，该设备包括远程控制单元，该远程控制单元包括允许2D/3D兼容模式的命令。

优选地，该命令是允许2D/3D兼容模式的按钮或允许从最小值到最大值调整视差的调节器。

附图说明

根据下面可以结合附图阅读的详细的但非限制性的说明，对本公开的这些和其他方面、特征和优点进行了描述，或者本公开的这些和其他方面、特征和优点将变得更加明显。

图1示出了生理双眼深度暗示；

图2示出了感知深度和立体图像对的左眼、右眼图像之间的视差别之间的关系;

图3示出了视差补偿的内插（2D视图）；

图4示出了视差补偿的内插（1D视图）；

图5示出了根据视图J和K对视图H进行视差补偿内插；

图6示出了将J的视差图投射到视图H上；

图7示出了两视图采集系统和中间内插视图；

图8示出了遥控器上的新的按钮；

图9表示带有视差图分析的第一实施例；

图10表示视差图的提取；

图11表示视差分析；

图12示出了显示器尺寸、观看距离和视差之间的关系；

图13示出了视差角；

图14示出了要求和不要求进行视图内插的情形的示例。

具体实施方式

根据本发明的一个方面，将自动创建2D和3D兼容的立体内容。使用兼容，我们的意思是它可以佩戴和不佩戴眼镜观看。然后，在3D屏幕上，在不戴眼镜的情况下，画面将看起来差不多像是2D画面。由于几乎没有视差，因此2D的画面分辨率没有太大的下降。这仍然可以作为正确的2D内容被接受。另一方面，佩戴眼镜，我们仍然能够感知剩余的深度，那么可以欣赏3D效果。通常在同一个房间内，有些人会接受佩戴眼镜，而其他人不会。看着全分辨率的2D内容的他们可以欣赏与其他佩戴眼镜并感知深度信息的人欣赏的相同的内容。

为了实现2D/3D兼容性，必须应用视图内插处理，以保证我们在正确的视差等级。内插视图的定位与输入视图有关，将通过以下几个参数确定：

-显示器屏幕的大小

-观看者和显示器屏幕之间的距离

-输入视频中的视差值范围

为了使视图内插总是在合适的等级，以允许3D内容被为了感知3D效果佩戴眼镜的观众和未佩戴眼镜的观众观看，这些参数必须以连续的方式进行分析。以下各节对本发明的不同的实施例进行描述。

3D图像的任何给定像素的深度信息都通过与该3D图像的左眼视图和右眼视图之间的该像素的水平移位对应的视差值呈现。可以借助密集视差图在输入的立体视图之间内插任何中间视图。视图内插将位于某一距离处，该距离可以从较高的值（接近1）变化到非常低的值（接近0）。如果我们使用左视图和距离左视图不远的内插视图，那么我们可以发现两个视图之间的全局视差等级将会较低。在图7中，如果视图8和7用作左眼和右眼画面，那么比照视图8和1，视差将会除以7。如果输入视图8和1中的视差是35个像素，那么在视图8和7之间只有5个像素。

根据本发明的一个方面，在遥控器上创建新的按钮，以允许该2D/3D兼容。

图8示出了该新的按钮。当按钮被按下时，启用2D/3D兼容模式。一在按钮上施加新的压力，它就将被禁用。当2D/3D兼容模式为开启时，可以有趣地在屏幕上显示图形以提醒观众他们处于此模式下。它可以像是“2D/3D开启”这样的消息。

图9示出了对应于本发明的整个数据流。

块3表示的视差图提取使用块1和2表示的左视图和右视图，它生成如图10所示的表示视差值的灰度级画面。该处理最有可能在后期制作中完成，然后和内容一起发送出去。如果计算资源都在那里，那么它也可以在接收器侧完成。

图9中块4表示的视差图分析提供视差的统计值，以帮助定义正确的深度等级来保证2D/3D兼容性。如图11所示，一个可能的输出是图中的视差值直方图。该直方图示出了与块1和2表示的左视图和右视图对相关联的视差值的范围，并将被用来评估实现2D/3D兼容所需的块8所表示的深度等级调整。

基本上说，获得观看条件所需的信息是显示器特性（用图9中的块5表示），它们是例如屏幕大小和观看者与显示器屏之间的观看距离的大小（用块6表示）。如图12所示，在显示器屏幕的大小、观看距离和屏幕上感知的视差值之间存在一定的关系。对于给定的距离，视差在50”的显示器屏幕上看起来将会是在25”的显示器屏幕上的两倍大。另一方面，如果观看距离减小，那么50”的显示器屏幕上的视差将会看起来更大的。视差等级与这些观看条件直接相关。

得到的这些信息是重要的参数，这些参数应该由用户在设置他的显示器设备时填写。由于变换为2D/3D兼容模式被认为应该在机顶盒STB内进行，因此显示器屏幕的大小不一定必须是已知的。需要注意的是，STB和显示器之间的高清晰度多媒体接口（HDMI）可以从显示器设备向观看者提供有关显示器屏幕的尺寸和屏幕分辨率的信息。无论如何，用户必须要能够输入此类信息以及表征系统参数的观看条件。当观众没有填写这些信息时，系统应该有可用的默认值。此默认值应该是基于显示器屏幕的平均大小和平均观看距离确定。

2D/3D兼容模式将借助于由图9的块4表示的视差图分析和由块7表示的观看条件确定。块8表示的所确定的保证2D/3D兼容性的视图内插等级是可以保证在不佩戴眼镜情况下的正确的2D画面而在佩戴眼镜情况下具有显著的3D效果的视图内插等级。然后，限制是保证应用块9表示的视图内插以达到我们能够在不佩戴眼镜的情况下作为2D模式接受的等级。

该等级与图13中所示的角度（α）对应。

角度α和视差之间的关系是：

Disp=tgα*D

对于与像素总数“Nb_pixel_tot”和屏幕大小SS对应的给定的屏幕水平分辨率，用厘米表示的视差值“Disp”和用像素表示的视差值“Nb_pix_disp”之间的关系表达为：

Nb_pix_disp=Disp*Nb_pixel_tot/SS

或

Nb_pix_disp=tgα*D*Nb_pixel_tot/SS

tgα是通过用户体验固定的参数，例如，一个满意的值是0.0013，与水平尺寸1米的1920像素显示器上2米处的5个像素对应。

如果现在给定tgα，那么可以计算出在当前观看条件下的“Nb_pix_disp”。然后，这个值必须与视差图分析提供的直方图进行比较。

可能会发生图14示出的两种情形：

·低于较低百分比（比方说5％）的计算得到的视差图中的视差大于“Nb_pix_disp”值。这意味着，从全局来看，内容的视差等级已低到足以保证2D/3D性能。然后，不需要做任何事，不应用视图内插。

·超过较低百分比（比方说5％）的计算得到的视差图中的视差大于“Nb_pix_disp”值。这意味着，从全局来看，内容的视差等级还未低到足以保证2D/3D性能。然后，应用与不同的视差值对应的不同的视图内插中的视图内插来在全局上减少内容的视差，从而保证我们在最后处于低于较低百分比5％的等级。

可以应用其他的策略来确定视图内插的等级。

·例如，取代简单的95％的阈值，可以使用更复杂的加权方法来处理较大的视差。该想法可以是将某一成本（cost）与某一视差值相关联；具有视差等级的成本较高（绝对值）。因此，在最后，与该成本相关联的直方图的计算给出全局视差-成本值，该值必须与阈值进行比较。应用具有取决于视差-成本值/阈值的比率的等级的视图内插。

·另一种方法是整体考虑某一程序用于这种视图内插等级。如果在逐帧的基础上修改该等级，那么可能产生一些干扰效果。例如，如果演员逐渐从屏幕中突出，那么视图内插等级将协调（in coordination）发展导致出现奇怪的效果。一达到阈值，演员就会被限制在给定的深度，而这将不会和场景保持一致。我们提议使用与在该场景期间将达到的最大深度对应的全局场景参数。然后，我们使用本发明定义的视图内插等级也将取决于此参数。结合直方图分析和场景参数将有助于预测知道场景结束的深度的减少。

显示器设备在机顶盒（STB）的遥控器上展示新的功能以根据输入立体内容自动生成新的、可以在佩戴或不佩戴眼镜的情况下在3D TV上观看的立体内容。这种新的内容借助于视图内插系统产生。它使用左、右输入视图和从内容中提取出来的视差信息。它还使用观看条件来确定将要应用的视图内插。最后获得的深度限制恰好是接受后可保证未佩戴眼镜的人的良好的2D体验，而仍保证佩戴眼镜的人的3D效果的限制。

Claims (11)

1.一种用于在规定大小的显示器屏幕上生成供观看者观看的包括左视图和右视图的三维图像的方法，其特征在于，所述方法包括以下步骤：

-确定适配于为观看者实现所述三维图像的二维感知和三维感知之间预定的兼容等级的视差阈值；

-通过比较左视图和右视图提取与所述三维图像的像素的视差值；

-计算所提取的视差值大于所确定的视差阈值的百分比；以及

-如果计算得到的百分比大于被确定的对于二维/三维感知可接受的限制，那么用通过分别对左视图或右视图进行视图内插获得的中间视图替换左视图或右视图之一，以使得计算得到的百分比小于所确定的限制。

2.如权利要求1所述的方法，其特征在于，生成视图内插，使得中间视图与对应的左视图或右视图的视差是左视图和右视图之间的初始视差的一部分。

3.如权利要求1所述的方法，其特征在于，利用视差图的视差值的直方图分析来进行计算视差值大于所确定的阈值的百分比的步骤。

4.如权利要求1所述的方法，其特征在于，利用对应的视差图的视差值直方图分析的组合来进行计算提取的视差值大于所确定的阈值的百分比的步骤。

5.如权利要求1所述的方法，其特征在于，利用对应的视差图的视差值直方图分析和与在至少一个图像中的场景期间的图像的最大深度值相关的场景参数的组合来进行计算提取的视差值大于所确定的阈值的百分比的步骤。

6.如权利要求1所述的方法，其特征在于，所确定的可接受的限制对应于5%的限制。

7.如权利要求2所述的方法，其特征在于，所确定的可接受的限制取决于与视差值相关联的成本。

8.一种在规定的确定大小的显示器屏幕上从输入视频信号中生成供观看者观看的包括左视图和右视图的三维图像的设备，其特征在于所述设备包括：

-用于确定适配于为观看者实现所述三维图像的二维感知和三维感知之间预定的兼容等级的视差阈值的部件（7）；

-用于通过比较左视图和右视图来提取与所述三维图像的像素的视差值的部件（4）；

-用于计算所提取的视差值大于所确定的视差阈值的百分比的部件（8）；以及

-用于通过分别对左视图或右视图进行视图内插获得的中间视图替换左或右视图之一，以使得计算得到的百分比小于所确定的对于二维/三维感知可接受的限制的部件（9）。

9.如权利要求8所述的设备，其特征在于，它包括其中包含允许二维/三维兼容模式的命令的远程控制单元。

10.如权利要求9所述的设备，其特征在于，所述命令是允许二维/三维兼容模式的按钮。

11.如权利要求9所述的设备，其特征在于，所述命令是允许从最小值到最大值调整视差的调节器。

Images