CN103703771A

CN103703771A - 用于生成3d立体视图的着色方法

Info

Publication number: CN103703771A
Application number: CN201280033755.0A
Authority: CN
Inventors: 皮尔乔治·萨托; 菲利波·罗西
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-07-25
Filing date: 2012-07-25
Publication date: 2014-04-02
Anticipated expiration: 2032-07-25
Also published as: CN103703771B; US20140146146A1; WO2013014177A1; US9681115B2

Abstract

本发明涉及用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法，该方法包括：使用包含在左视图和右视图以及视差图中的像素信息创建中间视图，在所创建的中间视图中识别遮挡像素，以及使用从相邻像素中得到的信息填充遮挡像素。

Description

用于生成3D立体视图的着色方法

技术领域

本发明涉及一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法。本发明还涉及用于生成中间视图的装置、计算机程序以及计算机可读非临时性介质。

背景技术

目前的3D立体技术通常依赖于两个视图，即左视图和右视图以产生3D效果。存在要求生成介于左视图和右视图之间乃至左视图的左侧或者右视图的右侧的视图的应用，例如自动立体显示或者深度修改的方法。为了向用户呈现这种视图，系统必须生成这种新视图。

来自左视图和右视图的信息被用于生成这种新视图。然而，存在于新视图中的画面区域可能在左视图和右视图中均没有相应的信息。这种画面区称作遮挡（occlusion）区域或者完全遮挡。因此，需要使用画面信息填充这种遮挡。

发明内容

本发明的目的是提供了用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法和装置，其中，使用适当的画面信息填充中间视图中的遮挡。

根据本发明的一方面，提供了一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法，其中，该方法包括：

-通过使用包含在左视图和右视图以及视差图中的像素信息创建中间视图，

-在创建的中间视图中识别遮挡像素，以及

-使用从相邻像素中得到的信息填充遮挡像素。

根据本发明的另一方面，提供了一种基于3D画面的左视图和右视图以及视差图来生成中间视图的装置，该装置包括：寄存器，用于存储n个像素值；过滤器单元，连接至寄存器并且具有n个过滤系数；分类单元，连接至寄存器并且用于基于该n个像素值来确定分类值；查询表单元，包括多个过滤系数组并且被适配于通过分类单元的分类值进行寻址并且将一组n个过滤系数提供给过滤器单元；以及填充单元，被适配于使用过滤器单元的结果值填充中间视图中的遮挡像素。

根据又一方面，提供了一种计算机程序，包括：程序工具，当在处理器上执行该计算机程序时，该程序方法使处理器执行根据本发明的所述方法的步骤；还提供了一种计算机可读非临时性介质，具有存储在其上的指令，当在处理器上执行该指令时，该指令使处理器执行根据本发明的方法的步骤。

本发明的优选实施方式被限定在从属权利要求中。应当理解，所要求保护的装置、所要求保护的计算机程序和所要求保护的计算机可读介质具有与所要求保护的方法和在从属权利要求中所限定的相似和/或相同的优选实施方式。

本发明是基于使用从相邻像素得到的像素信息填充遮挡像素的构思。因此，方法允许“创建”不存在的数据，即，像素数据，然而，该像素数据与画面内容是一致的。在识别两个或更多的遮挡像素的情况下，逐个像素地执行该方法，其中，填充的遮挡像素的信息可用在以下步骤中来“创建”用于另一遮挡像素的信息。

附图说明

本发明的这些和其他方面将通过参照下文所述实施例进行的详细描述而变得明显。附图中：

图1示出了用于说明表述“遮挡区域”和“遮挡像素”的场景的俯视图；

图2示意性地示出了根据本发明的“填充”处理；

图3通过实例的方式示出了用于生成新像素信息的函数；

图4是用于说明使用信息填充遮挡像素的步骤的框图；

图5是用于说明用于生成查询表的训练处理的框图；以及

图6是用于说明训练处理的框图。

具体实施方式

对3D（3维）画面内容，尤其是3D动作内容的供应和需求迅速地增加，并且因此对能够呈现这种3D内容的系统的供应也在增长。除了需要3D眼镜的系统之外，市面上还存在不需要使用任何类似3D眼镜的特定辅助手段的系统。例如，自动立体是在没有在观看者的器官上使用特殊的头饰或者眼镜的情况下显示立体图像（增加3D深度感知）的方法。例如，一些自动立体系统能够显示多个视图，从而使得显示器不需要感测观看者眼睛的位置。那意味着观看者根据相对于显示器的视角可看到不同的视图。

因为所供应的例如动作画面的画面内容通常仅包括与相对于成像场景的某个视角相对应的左视图和右视图，故系统不得不为不同的视角创建另外的视图。通常，可以基于包含在所供应的左视图和右视图中的画面信息来创建或者生成另外的视图。

然而，可能在某个视角中，观看者看见不包含在左视图和右视图中的画面内容。

参照图1通过实例的方式简要说明这种情况。图1示出了获取左视图画面和右视图画面所经由的场景的俯视图。在该场景中，存在位于左视图L中的一个物体，该物体位于中心轴的左侧，然而，在右视图中物体被轻微地向右移位。通常所知的，这种移位对创建3D深度的感知是必要的。

因此，在两个视图中均存在在物体后面的区域R并且因此该区域R被物体遮盖。因此，视图不包含关于此区域R的任何信息。然而，由于在左视图和右视图中的物体被轻微地移位的事实，故左视图中的区域R不同于右视图中的区域R。

当创建或者生成新视图时，可能（根据视角）在左视图或者右视图中被隐藏的或者被遮盖的区域不得不至少部分地被显示出来。

在这种情况下，存在需要考虑的两种不同的情况。第一，一个视图（左视图或者右视图）的区域R的一部分的内容呈现在另一个视图中。在图1中，通过虚线示出了这些区域并由参考符号为HO。位于左侧的区域HO被包含在右视图中，并且位于右侧的区域HO被包含在左视图中。这种区域通常被称作“半遮挡”区域。

第二种情况涉及在左视图和右视图中均被隐藏的区域。在图1中，此区域用O表示。左视图和右视图均不包含用于此区域O的画面信息。这种区域通常被称作“遮挡”区域。

现在下面描述如何使用从相邻区域得到的画面信息来“填充”这种遮挡范围或者区域的方式，从而使得填充进的信息与其他的相邻画面内容保持一致。

图2a示出了形成待显示的画面的像素20的矩阵。毫无疑问，每个像素均是由包含颜色信息等的值来表示的。

图2a的像素矩阵包括被虚线包围的遮挡区域10。如参照图1的简要描述，在遮挡区域10内的各个像素在以下被称作“遮挡像素”并且当基于左视图和右视图生成中间视图时已在先前的步骤中识别出该遮挡像素。因此，从与遮挡像素相关的左视图和右视图中无法得到信息。如果此视图可以被显示，则观看者会认为该遮挡区域为例如黑色区域（其仅为实例)，即与该遮挡区域周围的画面内容不一致的区域。

因此，需要用像素信息填充遮挡区域10内的每一个像素，即，每一个遮挡像素11。

在图2a中，存在被示出为黑色方格的一个像素12。在本实例中，首先使用信息填充此像素12。为了生成各个“填充”信息，预定函数（下面将详细说明）被应用于与遮挡像素12相邻的一行十三个（其为实例）像素14。该各个像素14由粗线包围并且此长方形16被称为过滤孔18。该过滤孔18具有长方形形状并且在像素矩阵20中“选择”了十三个像素。很明显，过滤孔18仅仅是从像素矩阵20里面选择某些像素的处理的画面表示。在过滤孔18内所选择的像素14的像素值被处理并且产生分配至遮挡像素12的像素值。因此，现在遮挡像素12具有与过滤孔18所选择的像素14的画面信息相关联的画面信息。

在图2b中所示的下一步骤中，过滤孔18在像素矩阵20内移位一行，从而使得选择了不同的像素14。这些被选择的像素的像素值以与之前相同的方法来处理，并且将此处理的结果分配至遮挡像素22，该遮挡像素22是在先前步骤中已填充的像素12的下面一行。

在图2c中示出的下一步骤中，过滤孔18在像素矩阵20内向右移动一列，从而使得过滤孔18现在还选择了在之前的步骤中已使用像素信息填充过的像素22。以相同的方式处理各个被选择的像素，并且将结果分配至由黑色方格表示的下一个遮挡像素24。

重复将过滤孔18移位至其中一个被选择的像素与遮挡像素相邻的位置的处理，直至遮挡区域10内的所有的遮挡像素均已填满像素信息。

图2d示出了填充遮挡像素26的最后的步骤。在之前的步骤中，已使用像素信息填充了遮挡区域10内的所有的其他遮挡像素。

例如，从图2d中显而易见的是，过滤孔18选择了在之前的任一步骤中已使用像素信息填充过的四个像素（显示为灰色方格）。

在过滤孔18从一个位置移位至下一个位置时，重要的是所有选择出的像素均包含信息，即换言之，过滤孔18不应选择（不包含信息的）遮挡像素。

上面的描述指示逐个像素处理以使用像素信息填充遮挡区域10。因此，“填充”步骤的数量对应于遮挡区域内的像素的数量。

此外，很明显，图2仅是用于示出填充遮挡区域的步骤的实例。像素矩阵内的遮挡区域的形状和遮挡区域的数量可以是不同的并且不限于本实例。

如上所述，通过过滤孔18所选择的像素以某个方式被处理。现参照图3描述此处理。

所选择的像素14的值被存储在使用参照标号30表示的寄存器中。在寄存器30中，存储了所有的十三个像素14的像素值，像素值由参照符号a0–a12来表示。

通过应用普遍熟知的自适应动态范围编码（ADRC)函数对像素值a0–a12进行分类。此函数的详细描述可在以下论文中找到：“Simultaneouscoding artefact reduction and sharpness enhancement”，H.Hu和G.de Haan,飞利浦研究试验室，艾恩德霍芬，荷兰，“Trained Bilateral Filters andApplications to Coding Artifacts Reduction”，H.Hu和G.de Haan,飞利浦研究试验室，高科技园区36，艾恩德霍芬，荷兰或者“Class-Count ReductionsTechniques for Content Adaptive Filtering”，H.Hu和G.de Haan。此外，参照US5,444,487、US6,192,161B1和US6,323,905B1。通过引用将这些文献中的每一个的内容结合于此。

ADRC函数对像素值a0–a12中的每一个进行分类并且将作为二进制值0或1的结果存储在相应的寄存器32中。例如，对像素值ai进行分类的一种可能是：

其中，a_max、a_min是过滤孔中（即，寄存器30中）的最大像素值和最小像素值。

作为此ADRC函数的结果，寄存器32存储具有13个二进制位b0–b12的二进制值。

此二进制值在包括多个过滤系数组的查询表34中被用作地址。每个过滤系数组包括被用于使用参照标号36来表示的自适应过滤器的十三个过滤系数c0–c12。

存储在寄存器30中的像素值a0–a12被应用于过滤器36，通过存储在寄存器32中的二进制值对通过过滤系数组设定的过滤器标注地址。

详细地，像素a0与过滤系数c0相乘，像素值a1与过滤系数c1相乘等等，直至像素值a12与过滤系数c12相乘。过滤步骤的各个结果均被供应至加法器38并且采用该结果以填充遮挡像素。

总而言之，通过使用例如ADRC函数的某些函数对过滤孔18的像素值进行分类，以便获得到过滤系数组的查询表的地址。然后，被寻址的过滤系数组被用于调节供应有像素值a0–a12的过滤器36。将过滤步骤的结果相加，然后该结果就是用于遮挡像素的像素值。

查询表优选地包含2ⁿ（其中，n是通过过滤孔18所选择的像素的数量）个过滤系数组，每个过滤系数组均包括n个过滤系数。将在下文简要描述的在训练处理中生成查询表。

在图4中再次示意性地表示出了上述处理。在第一步骤中，将通过过滤孔18所选择的像素值a1–ai供应给分类单元40，该分类单元40应用ADRC函数并且将来自查询表34的各个过滤系数组供应给过滤器36。然后，将过滤器36的输出相加并且将结果O1填充在各个遮挡像素12中。

接下来，过滤孔18移位一个像素，从而使得将像素值a2–ai和O1供应给分类单元14和过滤器36，该过滤器36通过查询表34所提供的过滤系数进行调节。将过滤器的输出相加。然后，将输出O2用于填充下一个遮挡像素22。

如之前已提到的，只要还有遮挡像素没有填充像素值，则重复此处理。

在训练处理中产生存储在查询表34中的过滤系数组，该过滤系数组是普遍熟知的并且在例如上述文献中所公开的，参照该训练处理，通过引用将其内容结合于此。

在训练周期中，基于原始图像和视差图计算出视图的投射图像。例如，如在图6中所示，给出了左原始视图、右原始视图和视差图，并且基于左原始图像和视差图计算出视图投射的左图像。投射的左图像和原始右图像均被供应至LMS算法（最小均方），并且将此算法的输出存储在过滤系数组的查询表中。

在图5中，示出了用于以非常简单的方式说明LMS算法的功能的示意性框图。被指定为输入矢量的像素值均来自投射图像，然而，原始图像的矢量来自右原始图像。简要总结，调节过滤系数c1–ci，这样使得在被指定为重构像素的加法器的输出与原始图像的矢量中的各个像素之间的误差变为最小。然后，使用从通过使用ADRC函数的输入矢量中所得到的地址将各个过滤系数存储在查询表中。

应当为尽可能多的画面执行训练处理或者循环。

通过训练处理可以一次生成查询表，并且所得到的过滤系数组在各个装置中可以被用作预存储值。无需对配备有查询表的每个装置都执行该训练处理。

如之前所提到的，包括之前所提到的单元并且适合于执行所描述的用于填充遮挡像素的方法的装置可被用在自动立体系统中或者可被用在深度修改方法中，仅仅提到了两个应用。很明显，可以想到另外的应用。

上述的实施方式在分类步骤和过滤步骤中使用了相同数量的像素n。然而，可以想象，分类步骤使用的像素多于或少于过滤步骤。根据用于分类步骤的像素的数量，查询表的尺寸大于或者小于2ⁿ行。例如，用于选择用于分类步骤的像素的孔可以更少，例如，九个像素。这在查询表中产生具有十三个过滤系数的2⁹=512行。

已经在附图和上文描述中示出并详细描述了本发明，但是这种示出和描述将被认为是说明性或示例性的，而非限制性的。本发明不限于所公开的实施方式。通过对附图、公开和所附权利要求的学习，所公开的实施方式的其他变形可被实践本发明的本领域技术人员理解和影响。

在权利要求中，术语“包括（comprising）”不排除其他元件或步骤，不定冠词“一（a）”或“一个（an）”不排除多个。单个的元件或其他单元可满足权利要求中所列举的多项特征的功能。仅仅是特定措施记载在相互不同的从属权利要求中的事实不表示这些措施的组合不能被用于改进。

计算机程序可以被存储/分布在合适的非临时性介质上，诸如光学存储介质或者与其他硬件一起被提供或作为其他硬件的一部分的的固态介质，但还可以以其他形式分布，诸如经由因特网或者其他无线或有限电信系统。

在权利要求中的任何附图标记不应被解释为对范围的限制。

Claims

1.一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法，所述方法包括：

使用包含在所述左视图和所述右视图以及所述视差图中的像素信息来创建中间视图，

在创建的所述中间视图中识别遮挡像素，以及

使用从相邻像素中所得到的信息填充所述遮挡像素。

2.根据权利要求1所述的方法，其中，使用信息填充所述遮挡像素的步骤是逐个像素来执行的。

3.根据权利要求1或2所述的方法，其中，所述相邻像素是排成一行（通过过滤孔来表示）的n个像素。

4.根据权利要求3所述的方法，其中，过滤所述n个像素的值以获得被分配至所述遮挡像素的新的单个值。

5.根据权利要求4所述的方法，其中，使用过滤系数组的各个预存储过滤系数分别地过滤所述n个像素的每个值。

6.根据权利要求5所述的方法，其中，多个过滤系数组被存储在查询表中，其中，基于w个像素的值确定被用于过滤的所述过滤系数组。

7.根据权利要求6所述的方法，其中，通过训练处理获得所述查询表中的所述多个过滤系数组。

8.根据权利要求1至7中任一项所述的方法，包括应用ADRC（自适应动态范围编码）函数以对所述w个像素的值进行分类的步骤。

9.根据权利要求8所述的方法，其中，所述w个像素的所述分类值作为所述查询表的索引。

10.根据权利要求9所述的方法，包括以下步骤：

将来自所述查询表的所述过滤系数组应用在所述n个像素上并且将所述过滤结果相加以获得用于所述遮挡像素的新像素值。

11.根据权利要求1至10中任一项所述的方法，其中，为每一个遮挡像素重复所述方法。

12.根据权利要求6或者8至10中任一项所述的方法，其中，用于分类的所述w个像素和用于过滤的所述n个像素可以是相等的或者不相等的。

13.一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的装置，包括：

寄存器，用于存储n个像素值和w个像素值，

过滤器单元，连接至所述寄存器并且具有n个过滤系数，

分类单元，连接至所述寄存器并且用于基于所述w个像素值来确定分类值，

查询表单元，包括多个过滤系数组并且被适配于通过所述分类单元的所述分类值来寻址并且将一组n个过滤系数提供给所述过滤器单元，以及

填充单元，被适配于使用所述过滤器单元的结果值填充所述中间视图中的遮挡像素。

14.根据权利要求13所述的装置，包括被适配于基于所述3D画面的左视图和右视图以及视差图创建中间视图的生成单元。

15.根据权利要求14所述的装置，包括被适配于在所述中间视图中识别所述遮挡像素的遮挡像素识别单元。

16.根据权利要求13至15中任一项所述的装置，其中，所述分类单元被适配于执行用于将所述寄存器中的所述像素值分类的自适应动态范围编码函数（ADRC）。

17.根据权利要求13至16中任一项所述的装置，其中，所述查询表单元包括至少2^w个过滤系数组。

18.根据权利要求13至16中任一项所述的装置，其中，所述过滤器单元包括递归过滤器。

19.根据权利要求13至18中任一项所述的装置，其中，所述装置是3D自动立体系统的一部分。

20.一种计算机程序，包括程序代码手段，当所述计算机程序在处理器上被执行时，所述程序代码手段用于使所述处理器执行根据权利要求1至12中任一项所述的方法的步骤。

21.一种计算机可读非临时性介质，所述计算机可读非临时性介质上存储有在指令，当在处理器上执行所述指令时，所述指令使所述处理器执行根据权利要求1至12中任一项所述的方法的步骤。