CN114631120A - 用于设置虚拟图像中的像素的透明度值和颜色值的图像处理方法 - Google Patents

Abstract

提供了一种用于选择虚拟图像中的像素的透明度设置和颜色值的方法。可以通过组合以不同角度拍摄的参考图像来形成虚拟图像，以产生以新的未捕获角度查看对象的虚拟图像。该方法包括针对虚拟图像的每个像素确定其携带来自参考视图图像的什么信息。像素的信息用于定义像素类别，并且类别用于基于逻辑条件来选择将由像素显示什么信息并设置像素的颜色。

Description

用于设置虚拟图像中的像素的透明度值和颜色值的图像处理 方法

技术领域

本发明涉及图像处理领域，并且更具体地涉及根据参考视图图像的组合创建虚拟图像的领域。本发明特别地涉及一种用于设置虚拟图像中的像素的透明度值和颜色值的方法。

背景技术

可以通过组合已经从多个不同视点捕获的对象的参考视图图像来创建对象的虚拟图像。可以创建可以根据参考视图图像的组合生成的虚拟图像，使得它们从任何角度(包括没有捕获参考视图图像的角度)查看对象。

常常针对色度键背景捕获参考视图图像，使得目标的所得到的虚拟图像可以在不同的图形背景上(例如在虚拟现实或增强现实(VR/AR)中)使用。由参考视图图像的组合形成的虚拟图像可以包括来自参考视图图像中的每幅的背景区和/或对象区的任何组合的交叠区。

现有的图像处理技术通过由图像中的层的颜色和透明度值的线性组合计算表面像素的颜色来处理分层图像。US2009/102857是这种技术的一个示例，其根据表面像素的透明度值、下方像素的透明度和下方像素的颜色来计算表面像素的颜色。

诸如US2009/102857中的线性组合技术当在虚拟图像上使用时引入假透明度区。这些假透明度区在来自每幅参考视图图像的对象的边缘附近出现，这意味着由参考视图图像的交叠组合形成的虚拟图像可以包含许多假透明度区。

假透明度区通常被称为叠影的区域或重影区域。这些重影区域引起对象可以与之一起使用的图形背景照射透过对象，从而降低虚拟图像的质量，并且继而降低虚拟图像可以在其中使用的VR/AR的质量。VR/AR的用户可能在他们所处的情形中失去表现力，并且可能由于重影区域阻碍其看到对象或阅读的能力而不能够执行他们所需的任务。

因此，需要一种可以在不引入重影区域的情况下为虚拟图像中的像素设置透明度和颜色值的图像处理方法。

发明内容

本发明由权利要求限定。

根据依据本发明的方面的示例，提供了一种用于在虚拟图像中设置针对多个虚拟图像像素的相应颜色值和透明度值的方法，所述方法包括：

接收不透明对象的多幅参考视图图像，其中，所述多幅参考视图图像中的每幅参考视图图像是从不同视点捕获的；并且

将所述多幅参考视图图像进行组合以创建所述对象的虚拟图像，其中，所述虚拟图像在与所述多幅参考视图图像中的任一幅参考视图图像不同的视点处，并且其中，每个参考视图图像像素通过映射与虚拟图像像素相对应，其中，创建所述虚拟图像包括：

确定透明度信息，所述透明度信息至少包括针对所述多个虚拟图像像素中的每个虚拟图像像素的前景信息和背景信息的分量，所述分量是从所述多幅参考视图图像的对应的像素导出的；

基于对前景信息和背景信息的所述分量的组合来对所述多个虚拟图像像素中的每个虚拟图像像素进行分类；

针对远离所述不透明对象的边缘的区域，基于所述虚拟图像像素的分类来为所述虚拟图像像素中的每个虚拟图像像素选择二元透明度值，以显示前景信息或背景信息；并且

基于被选择为要显示的所述前景信息或所述背景信息来设置所述多个虚拟图像像素中的每个虚拟图像像素的所述颜色值。

所述多个参考视图图像中的每个可以包括深度信息。参考视图图像像素与虚拟图像像素之间的映射可以基于深度信息。

该方法对从不同角度或视角拍摄的多幅参考图像形成的虚拟图像中的每个像素进行分类。通过组合参考图像来制作虚拟图像，这意味着使用来自多幅参考图像的信息分量来构造虚拟图像的每个像素。参考视图图像的每个像素被映射到至少一个虚拟图像像素。可以确定映射到多个虚拟图像像素中的每个的透明度信息分量(例如，来自参考视图图像1的前景信息和来自参考视图图像2的背景信息)，从而基于其前景/背景信息分量的组合为每个像素创建分类。虚拟图像像素分类被用于确定应显示哪个分量，随后虚拟图像像素的颜色应当被设置为特定的相应值。通过选择要显示的透明度信息的分量中的一个，本发明确保对象的虚拟图像不包含覆盖对象的背景伪影，或如果对象是在色度键(诸如绿色屏幕)上捕获的，则当投影在背景上时不会导致重影。

透明度值指示像素是在前景中还是在背景中。

构造的虚拟图像的每个像素例如包括RGBA值，其中，阿尔法信道(α)包含所需的背景/前景信息。参考图像也可以以与RGBA像素相同的格式编码。它们被扭曲以创建虚拟图像。参考图像通常还具有包含3D信息的相关联的深度或视差图(D)，使得相机移位导致由局部3D信息操纵的扭曲图像。因此，参考图像可以包含五个信道：RGBAD。

所述参考视图像素中的每个例如包括前景信息、背景信息或不确定信息的形式的透明度信息，并且其中，确定透明度信息还包括确定针对所述多个虚拟图像像素中的每个的不确定分量。

因此，参考图像中的像素可以被编码为前景、背景或不确定。来自多幅参考图像的这三个状态的组合确定针对每个像素的分类，并且继而确定透明度信息。

对象的边缘区域可以包含可以贡献于重影效应的背景分量和前景分量的组合。该不确定分量允许重影区域被识别。

虚拟图像像素(在本文中被称为像素)的分类还可以包括针对包括不确定区域和前景信息的分量的组合的像素的重影区域的分类。

这种分类使得重影区域能够被定位和靶向以进行校正。

该方法可以包括：针对具有仅包括前景信息的分量的透明度信息的虚拟图像像素中的每个，选择与前景相对应的透明度值。

选择仅前景信息用于显示可以贡献于移除重影效应，因为其有助于移除由重影区域引入的对象表面上的背景着色的存在。其还可以确保图像的背景信息分量不覆盖包括前景和背景分量两者的像素中的前景信息分量。

可以通过为具有仅包括对背景信息的分量和不确定分量的组合或仅包括对多个不确定分量的组合的透明度信息的所有虚拟图像像素选择与前景相对应的透明度值来在所述虚拟图像中创建所述对象的新的外边界。

该新的外边界可以将来自参考视图图像的交叠边界连接到单个连续的外边缘中。

像素分类的这种选择选择了在对象的交叠参考视图图像的外边界处或附近的像素，并且减少了在定义新的外边界时可能发生的对象尺寸的任何减小。

该方法中的颜色值的设置可以将具有仅包括前景信息的分量的透明度信息的像素中的每个的相应颜色值设置为来自与每个像素相对应的参考视图图像像素的相应前景信息分量的平均颜色值。可以使用加权组合，其中，当目标虚拟视点更靠近特定参考视图时权重更高。

这使得虚拟图像中的对象能够跨其表面具有平滑的颜色过渡，因为参考视图图像可以示出由于照明、反射而在不同的颜色中的对象和/或在不同的面上具有不同的颜色的对象。

该方法可以包括为所有虚拟图像选择二元透明度值。因此，整个虚拟图像的像素可以被分类为前景或背景。

透明度的一个极限值用于背景，并且另一个极限值用于前景。针对对象的边缘处的区域，可以设置在极限值之间的透明度值。

以这种方式，可以使到对象边缘处的背景的颜色过渡较不锐利。

该方法例如包括：针对具有包括不确定分量而不包括前景分量的透明度信息的多个虚拟图像像素中的每个，使用像素与至少一个相邻像素之间的色差来设置像素中的每个的透明度值。

包括不确定分量而不包括前景分量的虚拟图像像素是定义对象的边缘的那些虚拟图像像素。它们被设置为中间透明度值而不是二元前景/背景设置。透明度基于确实包括前景信息的相邻虚拟图像像素的颜色来设置。

这使得能够将对象的边缘与新背景混合，从而允许不表现为锐利且不真实的平滑过渡。透明度可以使用相邻像素的色差、与已知(例如绿色)背景颜色的色差来计算，可以使用对相邻像素的欧式距离加权组合来计算，或可以使用本领域已知的其他平均方法来计算，以及其任何组合。

多个虚拟图像像素中的每个的透明度信息分量可以从对应于多个虚拟图像像素中的每个的参考视图图像像素的颜色导出。被组合以形成虚拟图像像素的每个参考视图图像像素为虚拟图像像素贡献一些颜色。该颜色可以用于确定像素是图像背景的显示部分还是目标对象的部分。

参考视图图像的背景可以是色度键背景。

这简化了通过颜色选择来识别背景和前景分量，因为背景是已知且一致的颜色。

该方法可以是一种包括计算机程序代码模块的计算机程序，当所述程序在计算机上运行时，所述计算机程序代码模块适于实施本发明的任何示例的方法。

还提供了一种图像处理设备，包括：

输入部，其用于接收对象的多幅参考视图图像，其中，所述多幅参考视图图像中的每幅参考视图图像包括从不同视点捕获的前景信息和背景信息；

处理器，其用于处理所述多幅参考视图图像以生成虚拟图像；以及

输出部，其用于输出所述虚拟图像，

其中，所述处理器适于实施以上定义的方法。

本发明的这些和其他方面将根据下文描述的(一个或多个)实施例而显而易见并将参考下文描述的(一个或多个)实施例得到阐述。

附图说明

为了更好地理解本发明并且为了更清楚地示出其可以如何被实现，现在将仅通过示例参考附图，其中：

图1A示出了用于捕获半透明窗口的参考视图图像的示例设置，通过该半透明窗口可以看到背景；

图1B示出了用于捕获色度键背景前面的对象的参考视图图像的示例设置；

图2示出了针对色度键背景捕获对象的参考视图图像的两个参考相机的俯视图的示例；

图3示出了由具有用于本发明的方法中的分类的两幅参考视图图像形成的虚拟图像的示例；

图4示出了具有本发明的示例的步骤的流程图；

图5示出了根据本发明的示例的在已设置了颜色和透明度值之后的图3的虚拟图像；

图6示出了图像处理设备。

具体实施方式

将参考附图来描述本发明。

应当理解，详细描述和具体示例在指示装置、系统和方法的示例性实施例时仅旨在用于图示的目的，而不旨在限制本发明的范围。根据以下描述、所附权利要求和附图，本发明的装置、系统和方法的这些和其他特征、方面和优点将变得更好理解。应当理解，附图仅仅是示意性的，而未按比例绘制。还应当理解，贯穿附图使用相同的附图标记来指示相同或相似的部分。

本发明提供了一种用于设置虚拟图像中的像素的透明度值和颜色值的方法。可以通过组合以不同角度拍摄的参考图像来形成虚拟图像，以产生以新的未捕获角度查看对象的虚拟图像。该方法包括针对虚拟图像的每个像素来确定其携带来自参考视图图像的什么信息。针对像素的信息被用于定义像素类别，并且类别被用于基于逻辑条件来选择将由像素显示什么信息并且设置像素的颜色和透明度值。本发明特别地涉及对象的虚拟图像与新背景的混合，该新背景被假定为总是比对象更远。

在详细描述本发明之前，将首先描述与图像透明度和深度有关的问题、以及用于从不同视点创建新图像(称为“虚拟图像”)的常规方法。

图1A示出了多相机捕获中透明度的出现的示例。被捕获的场景包括具有前景100和背景102的对象，其具有半透明窗口104，背景102通过半透明窗口104可见。整个场景由一组相机106捕获，相机106中的每个生成参考图像。图像要被处理，以便从虚拟相机108在与该组相机106中的相机中的每个不同的视点处生成新图像。该新图像被称为虚拟图像。这意味着其是从虚拟相机位置(即，真实相机图像不可用的位置)捕获的图像。

对于半透明窗口104，每个相机106将看到前景100和背景102的不同混合。从虚拟相机108的视点合成新虚拟图像的标准方法是基于姿势接近度、去遮挡(拉伸)和可能地深度来对两个或更多个参考视图的扭曲版本进行加权。当要合成的视图的姿势靠近于参考视图的姿势时，这种朴素方法可以给出足够的图像质量。

图1B示出了当使用色度键控时透明度的相关性的示例。在这种情况下，背景被设置为诸如绿色的已知颜色的屏幕。这实现了在图像处理中容易地从背景中提取前景。

这是透明度的特殊情况，其中，要捕获的对象是不透明的，并且在其外边界之外被认为是完全透明的(以示出背景屏幕)。当然，对象不需要是封闭的实体形状，并且其可以具有开口，通过该开口，屏幕可见。

此处的问题更严重，因为绿色屏幕背景102需要由新的背景替换以创建虚拟图像。例如，前景被叠加在单独的背景上，以创建期望的整体图像。如果忽略透明度，则仍然包含绿色分量的混合像素将保持在对象边界处。当使用忽略透明度的朴素视图混合方法时，或当使用线性组合方法时，这是非常可见的。

色度键控的标准方法是计算透明度图。使用标准阿尔法抠图(alpha-matting)方程，像素的图像颜色可以被描述为前景和背景颜色的线性组合：

i＝αf+(1-α)b

在该方程中，i指代所确定的像素颜色，f指代前景颜色，b指代背景颜色，并且α是透明度值。该方程在每像素的基础上应用于整幅图像，从而创建透明度图。

考虑到用于色度键控(例如绿色)的特定背景的颜色特性，可以使用文献中存在的许多算法中的一种来估计针对像素的前景颜色f和透明度值α。颜色数据可以用于通过将其与已知背景颜色进行比较来确定每个参考图像像素的透明度。如果像素颜色＝色度键颜色，那么像素是透明的。如果像素仅包含色度键颜色的分数量，那么其是半透明的。如果其不包含色度键颜色的量，那么其不是透明的。

为此目的存在不同的算法。它们通常结合像素周围的局部邻域中的处理使用背景材料的已知颜色特性。即使没有绿色屏幕，仍然可以估计深度图中检测到的深度步长周围的透明度。在这样的情形中，混合像素通常存在于散焦前景边缘周围。

α的值在0和1之间变化。在该文档中，选择符号，通过该符号，1指代零透明度，因此前景颜色是可见的，并且0指代全透明度，因此背景颜色是可见的。

因此，图像的透明区(α＝0)是背景可见的区，而图像的不透明区(α＝1)是前景可见的区。

通常，使用像素的小邻域来估计这些变量。当应用于k＝1…N参考视图图像并且考虑到由深度传感器或深度估计过程产生的透视信息的存在时，获得以下数据：

f₁,d₁,α₁,b₁

…

f_N,d_N,α_N,b_N

该数据用于参考图像1…N中的每幅中的像素，其对应于虚拟图像中的像素。虚拟图像整体上使用许多组该数据来确定所有其像素的值。

对于绿色屏幕的所有原始像素，α＝0，因为只看到色度键颜色。对于前景对象上的像素，α＝1，因为没有看到色度键颜色。对于边界上或透明区域中的像素，0≤α≤1，因为像素颜色的分数是色度键颜色。

透明度图(即针对整幅图像的α值的集合)可以用于将单个参考视图与新背景混合。然而，使用多个参考视图的已知渲染方法不能处理透明度。

目前，多个参考视图均被扭曲到合成的视点，在此之后多个预测被混合以预测单个新的合成视图(虚拟图像)。以下等式基于映射到单个虚拟图像像素的来自每幅参考视图图像的参考视图图像像素来计算该特定虚拟图像像素的颜色：

其中，i上的波浪号

指代参考视图图像在被组合以形成加权预测之前被扭曲。在该等式中，w值是给予每幅参考视图图像或参考视图图像中的每个像素的加权因子。具有下标的

值是指特定参考视图图像中的像素的颜色值，参考视图图像被给出为下标的编号。没有下标的

是所有参考视图图像像素对应于的虚拟图像像素的计算的颜色值。

参考视图图像在组合之前被扭曲，以便确定哪些参考视图图像像素对应于虚拟图像像素，因为两者之间的映射将在参考图像和参考图像的期望视点之间变化。该等式必须应用于每个虚拟图像像素，以基于其对应的参考图像像素来确定其颜色。上述等式仅忽略了α的存在。

一种直接的方法也将是以与如何对颜色进行平均类似的方式对α进行扭曲和加权。再次，该过程基于映射到该特定虚拟图像像素的参考图像像素的性质来计算针对单个像素的值，并且必须针对每个虚拟图像像素执行。再次，w值是被给予到每幅参考视图图像或参考视图图像中的每个像素的加权因子。具有下标的α值是指特定参考视图图像中的像素的透明度值，其中，参考视图图像由下标编号识别。没有下标的α是参考图像像素中的每个对应于的虚拟图像像素的所计算的透明度值：

所得到的虚拟图像像素颜色

和透明度

现在可以用于将所捕获的多视图前景对象复合到新的(图形)背景上。

然而，用于处理透明度的这种方法导致前景对象的边界周围的伪影。

图2示出了用于捕获绿色屏幕102前面的前景对象202的两个参考相机106，C₁和C₂。

参考视图的透明度值的朴素加权组合导致重影区域200，其中，背景“照射”透过前景对象。这些半透明重影区域200出现在由该方法产生的前景对象202的边界附近。

图2示出了沿着绿色屏幕102的不同区域。两个参考相机106当指向那些区域时将查看场景的不同部分。第一区域被指代为B₁、B₂。这意味着当在该方向上成像时，第一相机C₁观察背景信息B₁，并且当在该方向上成像时，第二相机C₂观察背景信息B₂。最后区域被指代为F₁、F₂。这意味着当在该方向上成像时，第一相机C₁观察前景信息F₁，并且当在该方向上成像时，第二相机C₂观察前景信息F₂。在其他区域中的参考图像之间存在冲突。U指代靠近于边界的未定义区域。

对象的3D形状能够导致重影问题发生。然而，深度估计和/或滤波误差也可能导致该问题。

图3示出了已经从用于对场景进行成像的两个不同定位的参考相机扭曲的前景对象的两个椭圆形图像300、302。

如图2中，两个字母组合指示对于每个扭曲参考视图，像素是前景像素(F)、背景像素(B)还是以来自前景和背景两者的着色为特征的不确定像素(U)。下标指示像素源自哪幅参考视图图像，并且因此指示像素源自哪个相机。

由相机C₁捕获的对象202的参考视图图像是椭圆300。这已经与由相机C₂捕获的对象202的参考视图图像(椭圆302)组合。虚拟图像中的参考视图图像椭圆之一的边缘与另一参考视图椭圆的内部交叠的区域产生重影区域200。

现在将描述本发明的方法。

图4示出了用于在虚拟图像中设置针对多个虚拟图像像素的相应颜色值和透明度值的方法400。

在步骤402中，接收对象的多幅参考视图图像。多幅参考视图图像中的每幅包括从不同视点捕获的前景信息和背景信息。

然后在步骤403中映射参考视图图像，使得存在每幅参考图像的像素到单幅虚拟图像之间映射。该映射取决于每幅参考图像的视点，并且例如涉及扭曲和组合图像。然后，在参考图像的像素与虚拟图像的像素之间存在对应性。特别地，虚拟图像的每个像素的内容根据来自参考图像的“对应”(即，通过映射链接的)像素的内容来确定。通常，这是多对一映射，但这不是实质的。例如，由于遮挡，多于一个输入像素将映射到同一个输出上。

然后执行步骤的集合404以组合多幅参考视图图像，从而创建对象的虚拟图像。虚拟图像处于与多幅参考视图图像中的任一幅不同的视点。

在步骤406中，确定透明度信息，其至少包括针对多个虚拟图像像素中的每个的前景信息和背景信息的分量。这些分量从多幅参考视图图像的对应像素导出。

例如，图3的图像的一个区域被指代为B₁、F₂。B₁是已经从参考图像相机C₁获得的背景信息的分量，并且F₂是已经从参考图像相机C₂获得的前景信息的分量。

对于该区中的一个像素，集合B₁、F₂构成“前景信息和背景信息的分量”。

在步骤408中，基于前景信息和背景信息的分量的组合来对多个虚拟图像像素中的每个进行分类。

分类被用于确定应当显示哪个分量。特别地，对于虚拟图像中的每个像素，确定从多幅参考视图图像中的对应像素(即，基于用于从参考图像导出虚拟图像的映射)导出的前景/背景信息的分量。根据前景/背景信息的像素的分量对像素进行分类。然后可以导出透明度值。在最简单的实施方式中，透明度值可以仅具有对应于“前景”或“背景”的二元分量。如从上面的描述中明显的是，透明度数据可以从颜色数据导出。透明度值确定是否已经记录了前景或背景场景数据。基本上测量绿色屏幕颜色，并且透明度值取决于观察到的颜色如何靠近于绿色屏幕颜色。存在更复杂的方法。

本发明利用前景/背景/不确定信息(F、B和U)的分量对透明度的非线性依赖性。这例如是通过三个不同分量之一对参考图像的每个像素的分类：

其中，F明确指的是前景，B明确指的是背景，并且U指代“不确定的”像素。Δ是阈值透明度值，像素透明度α与该阈值透明度值进行比较。阈值透明度可以根据被成像的对象来设置，并且可以是0.5或更小。

备选地，可以根据不相关的范围对像素进行分类，例如：

对于色度键控的示例，这些不确定像素是具有混合颜色值的像素，其中，背景的颜色在输出颜色中仍然可见。在一些示例中，可以使用更多的分类，特别是对于具有不同透明度水平的对象。在具有多个前景对象的图像中，或对于具有不同透明度的对象，可以存在与每个对象或每个对象的区域相对应的多个前景分类。

本发明也可以仅用F和B分量来实施，因为可以调节α的阈值以确保所有可能的值仅由F和B涵盖。

在步骤410中，前景信息或背景信息被选择为由多个虚拟图像像素中的每个基于其分类来显示。这涉及从两个二元值之一中选择透明度值。虚拟图像像素因此被选择为以二元方式仅显示前景或背景信息，以避免重影问题。这将在下面进一步讨论。

在步骤412中，基于被选择为要显示的信息来设置多个虚拟图像像素中的每个的颜色值。

返回参考图3，重影区域来自以下一组分量组合：

C₁,C₂＝{(F₁,U₂),(U₁,F₂)}.

该组值表示虚拟图像的该部分的性质的分类。用于特定像素的这种分类用于通过对合适的透明度值进行编码来选择哪个分量将由像素显示，并且用于设置相应的颜色。

下面给出了基于参考视图图像的透明度信息选择用于显示的分量并设置颜色的算法的示例：

如果(C₁＝＝F)

如果(C₂＝＝F)

创建参考颜色的权重并将输出透明度设置为1

(即透明度设置＝前景)

否则选择具有透明度1的F(即透明度设置＝前景)

否则

如果(C₂＝＝F)

选择具有透明度1的F(即透明度设置＝前景)

否则

选择具有透明度0的任意颜色(即透明度设置＝背景)

在以下的情况下，该示例算法总是返回等于0的透明度：

C₁,C₂＝U₁,U₂.

在这种情况下，只要正确地进行分类，就不需要精确的透明度估计。以上算法仅将透明度值返回为0或1(并且因此将像素分类为背景或前景)，因此不生成中间值。

图5示出了通过将以上算法应用于图3的虚拟图像而创建的虚拟图像的示例。所有参考视图的组合投影前景导致新的外边界，其是椭圆形图像300、302的组合。该新的外边界可通过以下类别组合来识别：

C₁,C₂＝{(B₁,U₂),(U₁,B₂),(U₁,U₂)}.

这些是具有包括不确定分量而不包括前景分量的透明度信息的虚拟像素。

上面的示例算法例如选择任何期望的颜色并使新的外边界像素完全透明以与新的背景混合。然而，这样做的效果是前景对象在尺寸上略微减小，因为具有仅不确定信息的分量的像素(其出现在对象的外边缘周围的点处)将变得透明。

另一问题是对象可能表现为具有到背景的锐利颜色过渡。在准确地知道每个虚拟图像像素1…N的前景颜色f₁…f_N和对应的透明度值α₁…α_N的情况下，它们可以直接用于将边缘与新背景混合。然而，在实践中，非常难以准确地估计这些参数。

因此，本发明的示例可以使用中间透明度值以用于该边界区。因此，对于对象的边缘处的区域，可以在极限值之间设置透明度值。可以使用至少一个相邻像素的颜色来设置该边缘区域中的像素中的每个的透明度值。

以这种方式，可以实施用于混合对象的新的外边界的方法。对于虚拟图像的每个像素，该方法使用来自所讨论的像素旁边、周围或附近的空间邻域的纯前景像素来形成前景颜色

的估计。这些前景像素是根据来自包含扭曲参考视图中的任一个中的前景的像素集合的定义：

C₁,C₂＝{(F₁,B₂),(B₁,F₂),(F₁,F₂)}.

在对于在求平均中使用的一个或多个像素来说两个前景都可用的情况下，该方法可以从参考视图图像之一选择一种颜色，或使用两者的平均颜色值。得到的透明度可以根据当前(不确定)像素和相邻像素之间的色差和/或作为对相邻像素的欧式距离加权组合和/或使用本领域已知的其他求平均或加权方法来计算。

越朝向对象的边界，输出像素应当越透明，因为当接近对象的边缘时，像素颜色的增加分数将是色度键颜色。这将对象的新的外边界与背景平滑地混合。

本发明一般化到使用多于在示例中使用的两个参考视图。再次，从多个参考视图导出的像素类的组合可以用于确定输出颜色(多个颜色的选择或混合)和输出透明度的设置。

具有基于像素分类的透明度的二元选择的上述方法是处理参考图像像素的非线性方式。上面已经结合不透明对象(尽管可选地具有完全透明区)进行了描述。

如果对象具有半透明区，则可以修改上述方法。例如，最不透明的参考图像可以是主导的，并且其透明度值被用作用于虚拟图像像素的输出透明度值。这例如使得能够处理浑浊、有雾或脏窗口的图像、或毛发的图像。代替于选择最小透明度，可以进行非线性选择。

下面呈现了组合参考图像的过程的GPU实施方式。

该代码接收来自参考视图图像的两矢量分量(像素的x、y位置)，并输出四矢量(三个颜色分量和一个透明度分量)。对于两个参考视图图像像素t1和t2，将其不透明度“a”与不透明度标准“不透明＝0.9f”进行比较。如果发现两个参考图像像素满足或超过该不透明度阈值，则将虚拟图像像素t3的颜色被设置为t1和t2的混合，并且将虚拟图像像素的不透明度设置为1.0。

如果根据不透明度标准，两个参考图像像素都不是不透明的，则比较其不透明度。虚拟图像像素t3被设置为匹配最不透明参考图像像素的颜色和不透明度。在这种情况下，虚拟图像像素可以具有既不是0也不是1而是中间值的不透明度。

图6示出了图像处理设备600。输入部602接收如由该组相机106捕获的对象的多幅参考视图图像。

处理器604处理多幅参考视图图像以生成虚拟图像。这在输出部606处被提供给例如显示器608。处理器实施上述方法。

在备选示例中，算法可以包括像素可以被设置为的中间或多个中间透明度值。此外，算法可以在C₁,C₂＝U₁,U₂的情况下将像素的透明度设置为除1之外的值，例如当从每个视点创建具有变化程度的透明度的对象的虚拟图像时，或对于需要进行人工透明的对象。

通过研究附图、公开内容以及权利要求，本领域技术人员在实践请求保护的发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管特定措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。如果上面讨论了计算机程序，则所述计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质，但是所述计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的电信系统分布。如果术语“适于”用于权利要求书或说明书中，则应注意术语“适于”旨在等效于术语“被配置为”。权利要求中的任何附图标记都不应被解释为对范围的限制。

通常，图像处理设备、图像处理方法和实施该方法的计算机程序的示例由以下实施例指示。

实施例：

1、一种用于在虚拟图像中设置针对多个虚拟图像像素的相应颜色值和透明度值的方法(400)，所述方法包括：

(402)接收不透明对象的多幅参考视图图像，其中，所述多幅参考视图图像中的每幅参考视图图像包括从不同视点捕获的深度信息；并且

(404)将所述多幅参考视图图像进行组合以创建所述对象的虚拟图像，其中，所述虚拟图像在与所述多幅参考视图图像中的任一幅参考视图图像不同的视点处，并且其中，每个参考视图图像像素通过映射与虚拟图像像素相对应，其中，创建所述虚拟图像包括：

(406)确定透明度信息，所述透明度信息至少包括针对所述多个虚拟图像像素中的每个虚拟图像像素的前景信息和背景信息的分量，所述分量是从所述多幅参考视图图像的对应的像素导出的；

(408)基于对前景信息和背景信息的所述分量的组合来对所述多个虚拟图像像素中的每个虚拟图像像素进行分类；

(410)针对远离所述不透明对象的边缘的区域，基于所述虚拟图像像素的分类来为所述虚拟图像像素中的每个虚拟图像像素选择二元透明度值；并且

(412)基于被选择为要显示的信息来设置所述多个虚拟图像像素中的每个虚拟图像像素的所述颜色值。

2、根据实施例1所述的方法，其中，所述参考视图像素中的每个包括前景信息、背景信息或不确定信息的形式的深度信息，并且其中，确定透明度信息还包括确定针对所述多个虚拟图像像素中的每个的不确定分量。

3、根据实施例2所述的方法，包括：针对具有作为对不确定分量和前景信息的分量的组合的透明度信息的所述多个虚拟图像像素中的每个，将所述虚拟图像像素分类为对重影效应负责的重影区域。

4、根据实施例2或3所述的方法，包括：

针对具有仅包括前景信息的分量的透明度信息的所述多个虚拟图像像素中的每个，选择与非透明相对应的第一二元透明度值；并且

针对具有仅包括背景信息的分量的透明度信息的所述多个虚拟图像像素中的每个，选择与透明相对应的第二二元透明度值。

5、根据实施例2至4中的任一项所述的方法，包括通过为具有仅包括对背景信息的分量和不确定分量的组合或仅包括对多个不确定分量的组合的透明度信息的虚拟图像像素选择与非透明相对应的第一二元透明度值来创建所述虚拟图像中的所述对象的新的外边界。

6、根据实施例1至5中的任一项所述的方法，包括：针对具有仅包括前景信息的分量的透明度信息的所述多个虚拟图像像素中的每个，将所述像素的颜色设置为参考视图图像前景分量的平均颜色。

7、根据实施例1至6中的任一项所述的方法，包括为所述虚拟图像的所有像素选择二元透明度值。

8、根据实施例1至6中的任一项所述的方法，包括：针对所述对象的所述边缘处的区域，设置在所述二元值之间的透明度值。

9、根据实施例8所述的方法，包括：针对具有包括不确定分量而不包括前景分量的透明度信息的所述多个虚拟图像像素中的每个，使用至少一个相邻像素的颜色来设置所述像素中的每个像素的透明度值。

10、根据实施例1至9中的任一项所述的方法，包括：针对所述多个虚拟图像像素中的每个，使用对应的参考视图图像像素的颜色来确定从所述参考视图图像导出的透明度信息。

11、根据任一前述实施例所述的方法，其中，所述背景是色度键。

12、一种包括计算机程序代码模块的计算机程序，当所述程序在计算机上运行时，所述计算机程序代码模块适于实施根据实施例1至11中的任一项所述的方法。

13、一种图像处理设备(600)，包括：

输入部(602)，其用于接收对象的多幅参考视图图像，其中，所述多幅参考视图图像中的每幅参考视图图像包括从不同视点捕获的前景信息和背景信息；

处理器(604)，其用于处理所述多幅参考视图图像以生成虚拟图像；以及

输出部(606)，其用于输出所述虚拟图像，

其中，所述处理器适于实施根据实施例1至12中的任一项所述的方法。

更具体地，本发明由所附权利要求进行限定。

Claims (14)

1.一种用于在虚拟图像中设置针对多个虚拟图像像素的相应颜色值和透明度值的方法(400)，所述方法包括：

(402)接收不透明对象的多幅参考视图图像，其中，所述多幅参考视图图像中的每幅参考视图图像是从不同视点捕获的；并且

(404)将所述多幅参考视图图像进行组合以创建所述对象的虚拟图像，其中，所述虚拟图像在与所述多幅参考视图图像中的任一幅参考视图图像不同的视点处，并且其中，每个参考视图图像像素通过映射与虚拟图像像素相对应，其中，创建所述虚拟图像包括：

(406)确定透明度信息，所述透明度信息至少包括针对所述多个虚拟图像像素中的每个虚拟图像像素的前景信息和背景信息的分量，所述分量是从所述多幅参考视图图像的对应的像素导出的；

(408)基于对前景信息和背景信息的所述分量的组合来对所述多个虚拟图像像素中的每个虚拟图像像素进行分类；

(410)针对远离所述不透明对象的边缘的区域，基于所述虚拟图像像素的分类来为所述虚拟图像像素中的每个虚拟图像像素选择二元透明度值，以显示前景信息或背景信息；并且

(412)基于被选择为要显示的所述前景信息或所述背景信息来设置所述多个虚拟图像像素中的每个虚拟图像像素的所述颜色值。

2.根据权利要求1所述的方法，其中，所述参考视图像素中的每个参考视图像素包括前景信息、背景信息或不确定信息的形式的透明度信息，并且其中，所述透明度信息还包括从所述多幅参考视图图像的未被分类为前景信息或背景信息的像素导出的不确定信息的分量。

3.根据权利要求2所述的方法，包括：针对具有作为对不确定信息的分量和前景信息的分量的组合的透明度信息的所述多个虚拟图像像素中的每个，将所述虚拟图像像素分类为对重影效应负责的重影区域，并且为所述重影区域中的所述虚拟图像像素中的每个虚拟图像像素选择二元透明度值。

4.根据权利要求2或3所述的方法，包括：

针对具有仅包括前景信息的分量的透明度信息的所述多个虚拟图像像素中的每个，选择与非透明相对应的第一二元透明度值；并且

针对具有仅包括背景信息的分量的透明度信息的所述多个虚拟图像像素中的每个，选择与透明相对应的第二二元透明度值。

5.根据权利要求2至4中的任一项所述的方法，包括通过为具有仅包括对背景信息和不确定信息的分量的组合或仅包括对不确定信息的分量的组合的透明度信息的虚拟图像像素选择与透明相对应的第一二元透明度值来创建所述虚拟图像中的所述对象的新的外边界。

6.根据权利要求2至5中的任一项所述的方法，包括：针对具有包括不确定信息的分量而不包括前景信息的分量的透明度信息的所述多个虚拟图像像素中的每个，使用至少一个相邻像素的颜色来设置所述像素中的每个像素的所述透明度值。

7.根据权利要求1至6中的任一项所述的方法，包括：针对具有仅包括前景信息的分量的透明度信息的所述多个虚拟图像像素中的每个，将所述像素的颜色设置为参考视图图像前景分量的平均颜色。

8.根据权利要求1至7中的任一项所述的方法，包括为所述虚拟图像的所有像素选择二元透明度值。

9.根据权利要求1至7中的任一项所述的方法，包括：针对所述对象的所述边缘处的区域，设置在所述二元值之间的透明度值。

10.根据权利要求1至9中的任一项所述的方法，包括：针对所述多个虚拟图像像素中的每个，使用对应的参考视图图像像素的颜色来确定从所述参考视图图像导出的透明度信息。

11.根据任一前述权利要求所述的方法，其中，所述背景是色度键。

12.根据任一前述权利要求所述的方法，其中，在确定透明度信息的步骤中：

通过将相应参考视图的所述对应的像素的透明度值与第一阈值进行比较来确定前景信息的分量；和/或

通过将所述相应参考视图的所述对应的像素的透明度值与第二阈值进行比较来确定背景信息的分量；并且任选地

当所述相应参考视图的所述对应的像素的透明度值既不满足所述第一阈值也不满足所述第二阈值时确定不确定信息的分量。

13.一种包括计算机程序代码模块的计算机程序，当所述程序在计算机上运行时，所述计算机程序代码模块适于实施根据权利要求1至12中的任一项所述的方法。

14.一种图像处理设备(600)，包括：

输入部(602)，其用于接收对象的多幅参考视图图像，其中，所述多幅参考视图图像中的每幅参考视图图像包括从不同视点捕获的前景信息和背景信息；

处理器(604)，其用于处理所述多幅参考视图图像以生成虚拟图像；以及

输出部(606)，其用于输出所述虚拟图像，

其中，所述处理器适于实施根据权利要求1至12中的任一项所述的方法。

Images