CN102113015A - 使用修补技术进行图像校正 - Google Patents

Abstract

提供了一种处理包括图像和深度信息的图像信号的方法。该方法被配置为：基于包括图像的图像信号中存在的深度/视差信息对所述图像执行分割，并且随后修补背景以将前景对象周围的图像中的差错校正为延伸出前景对象的分割边界外的区域，和/或修补前景以将图像中的差错校正为延伸进前景对象的分割边界内的区域。这样，可以减少压缩伪像和其它伪像。

Description

使用修补技术进行图像校正

技术领域

本发明通常属于数字成像领域。更具体地，本发明涉及用于校正图像或图像序列中的伪像（artifact）的修补(inpainting)。

背景技术

修补是重建图像和视频的丢失或损坏的部分的过程。例如，在有价值的绘画作品的情况下，可以由熟练的图像修复艺术家执行该任务。在数字世界中，修补（也被称作图像内插或视频内插）是指应用复杂的算法来恢复图像数据的丢失或损坏的部分。

通过注解和传播（annotation-and-propagation）创建深度是为图像序列中的一个图像帧绘制深度图的过程，即，注解它，并且然后利用所注解的对象的软件追踪把深度传播到图像序列中的紧接着的/之前的帧。这是一种已知的半自动深度创建的方法。独立于其源而估计的深度信息典型地遭受诸如真实对象边界未对准之类的问题。

图1a示出了包括一个对象的图像，其中如在暗区域之外的顶部和底部处突出的亮区域所指示的，与对象的深度未对准是显著的。图1a显示了覆盖到亮度上的深度分量。该深度未对准是由于前景对象的较小部分被误认为是背景的事实。通常，未对准发生在至少两个信号/数据之间，例如深度分量和视频数据之间。

当使用公知的有损视频压缩方案压缩2.5D视频时，引入了对象周围的伪像。2.5D（2.5个维度）是用于描述其中2D图像伴随有深度图的表示的非正式术语，其中深度图指示2D图像中每个元素的深度。

视频压缩引起的某些伪像是蚊式噪声、吉布斯效应(Gibbs effect)以及过冲/下冲(overshoot/undershoot)伪像。图1b示出了利用这种有损视频压缩方案在对象周围产生光晕。这在2D图像或2D视频中都可能发生。

上述伪像通常导致显著降低的图像质量，它们还将干扰任何随后的视频处理任务，例如根据这种2.5D表示进行的多视图呈现。

因此，允许移除由视频压缩引起的对象周围的伪像和/或校正当前景对象的小部分被误认为是背景时关于深度图未对准的图像数据的改进的方法、处理单元以及计算机程序产品是有利的。

发明内容

因此，本发明优选地寻求单独地或者以任意组合方式减轻、缓和或消除本领域的上述一个或多个缺陷并通过提供依照附加的专利权利要求的方法、处理单元和计算机程序产品而至少解决上述问题。

依照一个方面，提供了一种处理包括图像和深度信息的图像信号的方法。该方法包括基于所述图像信号的深度或视差分量对包含在所述图像信号中的图像执行前景/背景分割，从而产生前景掩模（mask）和背景掩模。该方法还包括在所述分割后的图像的分割过渡周围创建区域，其中所述区域可能包括伪像。而且，该方法包括对该区域中的像素数据执行前景/背景相关的处理，从而产生处理后的图像。

在另一方面，提供一种用于处理包括图像和深度信息的图像信号的处理单元。该处理单元被配置为基于所述图像信号的深度或视差分量对包含在所述图像信号中的图像执行前景/背景分割，从而产生前景掩模/背景掩模。该处理单元还被配置为在所述分割后的图像中邻近分割过渡处创建区域，其中该区域包括伪像。而且，该处理单元被配置为对该区域中的像素数据执行前景/背景相关的处理，从而产生处理后的图像。

在一个方面中，提供了一种存储在计算机可读介质中的计算机程序产品，其包括适于当在数据处理装置上运行时执行依照某些实施例的方法的步骤的软件代码。

依照某些实施例的思想是处理视频或图像数据从而校正图像中的编码伪像和深度未对准。

依照某些实施例的思想是提供一种降低例如2.5D视频中对象周围的压缩伪像的方法。

而且，依照某些实施例的思想是提供一种处理与图像中的实际对象边界未对准的深度信息和深度表示的方法。当呈现以通常用于基于图像的呈现的所谓的图像和深度格式表示的3D内容时遇到该问题。

该方法还可以解决典型地由视频压缩引起的对象周围的噪声区域的问题。

利用依照某些实施例的方法来处理包括图像和深度信息的图像信号。该方法被配置为基于在包括所述图像的图像信号中存在的深度/视差信息对图像执行分割，并且随后修补背景以将前景对象周围的图像中的差错校正为延伸出前景对象的分割边界外的区域，和/或修补前景以将图像中的差错校正为延伸进前景对象的分割边界内的区域。这样，可以减少压缩伪像和其它伪像。

附图说明

根据参考附图的本发明的实施例的下述描述，本发明能够实现的这些和其它方面、特征以及优点将会显而易见并且将被阐明，其中相似的附图标号用于表示相似的部件或功能，并且其中：

图1a和1b示出了显示图像质量问题的图像，该图像质量问题涉及与利用公知的有损视频压缩方案来压缩图像或视频有关的深度对准；

图2示出了由依照实施例的方法的某些步骤进行处理之后的包括前景掩模23、区域24、背景掩模22的图像；

图3是显示依照实施例的方法的流程图；

图4a对应于由依照实施例的方法处理后的图1a；

图4b对应于由依照实施例的方法处理后的图1a；

图5是显示依照实施例的处理单元的框图；以及

图6示出了依照实施例的计算机程序产品。

具体实施方式

下面将参照附图更详细地描述本发明的若干实施例，以便本领域技术人员能够执行本发明。然而，本发明可以以许多不同的形式实现，并且不应当被解释为限于这里阐述的实施例。相反，提供这些实施例，以使得本公开将是彻底和完全的并且将把本发明的范围完全传达给本领域技术人员。实施例不限制本发明，而是本发明仅由所附的专利权利要求限制。此外，在附图中示出的特定实施例的详细描述中使用的术语不意在限制本发明。下面的描述集中在可应用于数字成像的本发明的实施例上并且尤其是使用修补来进行图像和深度校正的方法。然而，将理解本发明并不限于该应用，而是可以应用到许多其它应用。

依照某些实施例的思想是提供一种利用图像或视频的深度信息执行背景/前景分割的方法以及用于对分割后的对象的边界周围的差错进行校正的修补技术。在许多情况下，当涉及压缩时，已经半自动地产生了深度图。这样，分割是由人操纵的并且因此具有高质量。此外，在对象边界处伪像将尤其可见，其中所述对象边界由深度/视差过渡指示；因此，由深度/视差图操纵的分割是有利的。

在实施例中，依照图3，提供了一种处理包括图像和深度信息的图像信号的方法。该方法包括：

-基于所述图像信号中的深度或视差分量对包含在所述图像信号中的图像执行31前景/背景分割，从而产生前景掩模23，以产生至少包括前景对象23和背景区域22的分割后的图像，

-在所述分割后的图像中邻近分割过渡（也称为分割边缘）处创建32区域24，区域24可能包括伪像26，例如压缩伪像26或深度未对准25，以及

-对区域24中的像素数据执行33前景/背景相关的处理，从而产生处理后的图像。

图2示出了在经过方法的步骤31和32处理之后包括前景对象231和背景区域221的图像，其中显示了从前景/背景分割中产生的前景掩模23和背景掩模22。在这种情况下，在前景对象231外部以及背景区域22内部创建区域24。在区域24内指示了诸如压缩伪像26和深度未对准伪像25之类的伪像。

31）前向/背景分割

在某些实施例中，如下执行在执行图像分割的步骤中利用的图像分割技术。

为了得知在何处执行前/背景相关的处理，该信息是典型地作为图像处理算法的输入来提供的信息。在依照某些实施例的方法的情况下，可以基于深度过渡自动定位可能包括伪像的问题区域，其中较大的深度不连续指示前景和背景之间的边缘。

然而，这种图像分割用于定位问题区域的角色是双重的：不仅需要知道在何处执行用于校正伪像的随后的图像处理，还需要知道场景的哪些部分是前景和背景，并且此外以便得知哪一部分应当用作用于随后的图像处理的参考材料。

可以依照某些实施例通过计算二元掩模执行背景区域/对象和前景区域/对象的分割。该掩模典型地根据深度图逐行地计算，并且基于对于深度不连续的搜索。当遇到正深度不连续时（即，从低深度到高深度，其中高深度值指示更加接近观看者的深度，低深度指示更加远离观看者的深度），掩模被设定为前景。相似地，当发现负深度不连续时，假设前景对象已完成并且掩模被设定为背景。

可以例如如下执行对每个像素的处理：

各种边界检测器可以用于使用图像的单路或多路(multi-pass)分析来隔离深度不连续。

如果深度过渡不是突然的而是平滑的，或者如果存在多个在不同深度层上堆叠的重叠的前景对象，则可以设定多个参数来改变掩模的计算的行为特性。这种参数例如可以把特定等级标记为参考背景（具有这种深度或者更低深度的任何像素将一直被认为是背景），定义用于将不连续视为从背景到前景的过渡（或反之）的阈值，或者设定用于操作并且考虑剩余背景的矩形区域。

32）创建区域24

可以使用规则扩大（regular dilation）执行创建区域24的步骤。区域24定义这样的区域，即，在该区域中，人们可能不信任图像或者视频内容，因为这是可能发生诸如压缩伪像或者深度未对准伪像之类的差错的地方。

在一个实施例中，区域24是前景对象23和背景区域22之间、延伸进背景区域22的区域。换言之，区域24可以指在前景/背景分割之后定义前景对象的前景掩模23的放大。因此区域24定义其中期望背景的区域，并且执行前景/背景相关处理33的步骤可以包括利用位于区域24之外的背景区域22中的背景信息来重建那儿的背景信息。因此，要被校正的伪像位于区域24内。因此，在这种情况下，该区域位于前景对象之外。

可以从图2中观察到，不仅深度没有与前景对象适当地对准，而且邻近的背景像素也比预期的稍暗。这是由压缩产生的已知伪像。通过在背景区域22内创建区域24以及基于来自区域24之外的背景区域22的背景信息的处理（即重建该区域24中的像素数据），将校正该伪像。

创建区域24的步骤可以包括当图像是2D图像时确定前景掩模应当例如垂直地或水平地被放大多少像素。

在一个实施例中，给出用于压缩的共用块大小，估计区域24的大小。优选地，这应当是对准的编码块网格。某些编码标准使用解块(deblocking)滤波器。在这些情况下，可以选择对准的区域块网格并且扩大一个额外的块网格，以补偿解块伪像。

压缩伪像的源在边缘附近过冲或下冲。在一个实施例中，通过计算过渡之外的下冲区域、即其中图像值比该区域之外的值更暗的区域，并相应地设定该区域的大小，来确定区域24的大小。在另一实施例中，比特流中的参数，例如量化参数，可以用于确定区域的大小。

在处理后图像是2D图像的情况下，在具有垂直和水平延伸的2D图像平面内创建区域24。

依照一个实施例，由于深度图的平滑性，根据每个图像的深度图确定该区域的大小，因为对于当涉及压缩并且半自动产生深度图时的一些情况，这样可能更加容易。这样，分割是人操纵的并且因此具有高质量。此外，在深度/视差过渡处，伪像将尤其可见；因此通过深度/视差图操纵的分割是有利的。由于深度图除了对象边界之外是平滑的，因此来自压缩的高频蚊式伪像以及过冲和下冲在深度/视差图中可以更加容易地在对象边界附近检测到，并且其中检测到这种高频变化的区域指示受压缩伪像影响的区域。确定的区域24的大小然后可以用于图像部分。

本发明发明人已经认识到与如何通过修补背景保证区域中前景对象外的区域包含背景颜色相似，还可以在边缘的另一侧进行同样的动作：通过在前景对象内创建区域24，即降低前景掩模。这样，区域24仅仅位于前景对象内，其也可能遭受压缩伪像并且也可以具有带有前景深度但是带有背景颜色的像素的形式的未对准。通过丢弃这种区域内的颜色信息并对其进行修补，将前景颜色重新扩展到如从深度图获得的前景掩模中存在的边界，也可以移除这种伪像。

因此，在可替代实施例中，可以通过降低前景掩模23来创建区域24，并且然后可以通过前景/背景相关的处理，例如通过使用来自前景掩模23内的区域的颜色信息来修补和代替原始颜色，或者通过基于其期望的可靠性来混合区域24之外的颜色，来处理区域24。

33）对像素数据的前景/背景相关的处理

对区域24中的像素数据执行前景/背景相关的处理的步骤实质上是伪像减少步骤。因此，执行前景/背景相关的处理的步骤33可以解决对象（诸如参见图4b，图像中的前景对象）周围的压缩伪像26的问题。

在一个实施例中，前景/背景相关的处理包括对区域24进行修补。若干修补技术可以用于执行前景/背景相关的处理。

在区域24位于背景区域22内的情况下，可用利用来自背景区域22的背景颜色信息来修补区域24中的像素数据。

在区域24位于前景对象231内的情况下，可以利用来自前景掩模23的前景颜色信息来修补区域24中的像素数据。

因此，根据区域24的位置，即根据在何处校正伪像，处理可以不同，分别利用来自前景掩模23的前景颜色信息或来自背景掩模22的背景颜色信息。这样，对区域24中的像素数据的处理取决于前景/背景。

在一个实施例中，所用的修补技术是用于代替区域24中的像素以进行处理的像素重复技术。像素重复是其中把也称为重建的数据的之前已知/信任的像素可能沿着预定义的扫描轴复制到未知/不信任的像素的过程。

在一个实施例中，使用源自区域24外部的另一像素数据、即重建的数据来代替像素数据。例如，通过重复来自背景区域22的像素数据来重建区域24中的像素数据。对于区域24中的每个像素，可以复制区域22中（24外部）最近像素的值。这可以沿着特定方向进行，既可以沿着预定的，例如水平方向，在这种情况下向右，也可以沿着根据背景区域22确定的方向进行从而沿着其原始方向继续边界。对于图2中的颜色均匀的背景，这将已经产生较好的结果。

在另一实施例中，所用的修补技术是利用区域24外的图像信息可能与区域24内的实际图像信息进行混合或混和（例如求平均）的混合技术。这样，可以抑制伪像，同时仍保持区域24的某些原始纹理。在这种情况下，重建的像素数据可以与区域24中的现有像素数据混合。

定义原始像素值和重建的像素值之间的比例的混合因数可以是先验确定的值，在另一实施例中，根据流中的其它数据，像量化参数、测量的振荡（ring）的量、前景和背景之间的统计差异等，来导出混合因数。

在另一实施例中，混合因数是到修补区域的边缘的距离的函数，从而到边缘较近的像素与离边缘较远的像素具有不同的混合因数。

在另一实施例中，从由修补构建的重建的可靠性中导出混合因数。这种可靠性可以取决于重建的像素距离它所基于的信任的像素之间的距离，并且也可以例如取决于信任的区域中纹理的量，在信任的区域中，例如已知像素重复提供不可靠的外插。

在一个实施例中，利用外插而不是通常使用的内插来执行修补的步骤。

在一个实施例中，修补技术是空间修补技术。通常，空间修补技术专门利用来自当前处理的图像帧中的颜色，从而将背景延伸到区域24。像素重复是空间修补的一个例子。

在一个实施例中，执行修补的步骤包括测量靠近要修补的区域的、并且与要修补的区域具有相似的深度/视差值的区域的图像特性。诸如边缘、颜色等的纹理可以获得并且用于修补包括不信任的像素信息的区域24。

在另一实施例中，修补技术是时间修补技术。通常，时间修补技术利用来自之前和/或下面的帧的背景图像信息来确定当前帧中要修补的区域中的颜色。为了执行时间修补，需要计算估计至少两个连续图像帧之间的对象的运动的运动场（motion field）。运动估计可以是时间修补算法的一部分，其中不仅根据扩展当前图像中的背景区域，而且通过对来自其中应当修补的图像数据在可靠背景区域中可能可见的之前的或者即将到来的图像的背景信息进行运动补偿，来获得背景图像信息。因此，通过这种方式，在修补期间，不需要“构造”数据，或者需要“构造”较少的数据。

在一个实施例中，修补技术对于被处理的图像帧利用多视图相机输入，例如立体输入。这样，可以在修补期间使用视差向量场来识别并利用前景对象背后的信息。

在一个实施例中，修补技术是在Y. Wexler等人的 “Space-time Video Completion”, Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2004), 1, 2004中公开的修补技术。

在图像序列的情况下，可以对被处理的图像执行运动/视差估计（在下面被称为运动估计），以便计算运动/视差向量场（在下面被称为运动向量场）。在最简单的形式中，运动估计与分析两个图像来计算向量场有关，该向量场表示两个图像之间的估计的运动。运动估计最初用于运动补偿编码，自此之后用于各种手段，例如用于视频格式转换的内插、解交织以及根据立体的深度估计。

在一个实施例中，前景/背景相关的处理包括应用扰乱滤波器（deranging filter）。图像数据的特性典型地从一个对象到另一对象发生改变。这也是在从一个对象到另一对象的过渡处产生额外的编码伪像的原因。因此可以不同地设计仅对对象内进行滤波的滤波器，以产生更好的图像质量。这种滤波器通常被称为扰乱滤波器。

深度未对准的校正34

依照某些实施例的方法还可以被配置为至少部分地解决深度未对准25的问题。在这种情况下，该方法包括:

改变34区域24中的图像信息，以用于校正区域24中的深度未对准25。在区域24中，可以存在背景深度和前景颜色的组合。由于颜色被再生为背景颜色的扩展，因此在处理之后不匹配消失，因为现在重新存在背景颜色和背景深度。这将导致使用新的、修补后的背景材料来代替问题区域中的信息，因此移除了不正确的具有背景深度的前景信息。本发明发明人的观点是：通过使用修补后的背景代替前景的该部分，结果的质量将不会恶化，即使深度掩模中的未对准将导致重建丢弃前景对象信息，因为这种未对准已经通过使用不正确的背景深度投射前景材料而导致可视伪像，因此输入的质量已经很低。

因此，根据区域25的位置和大小，可以利用依照某些实施例的方法来校正深度未对准伪像和压缩伪像。

图4a示出了通过依照实施例的方法处理后的图1a的图像，并且可以观察到：通过使用该方法处理图像，已经校正了在图1中清楚显示的伪像。如可以从图4a中观察到的，深度未对准被校正（覆盖到亮度上的深度分量）。

图4b示出了通过依照实施例的方法处理后的图1b的图像。如可以从图4b中观察到的，已经校正了图像中的前景对象周围的压缩伪像，例如光晕。

在一个实施例中，依照图5，提供了一种处理单元50。该处理单元被配置为：

- 基于所述图像信号的深度或视差分量对包含在所述图像信号中的图像执行51前景/背景分割，从而产生前景掩模23和背景掩模22，

- 在所述分割后的图像中邻近分割过渡处创建52区域24，其中该区域24包括伪像26，并且

- 对该区域24中的像素数据执行53前景/背景相关的处理，从而产生处理后的图像。

在一个实施例中，处理单元包括一个或多个专用单元，用于执行依照某些实施例的方法的任意步骤。

在一个实施例中，处理单元在机顶盒（STB）、视频解码器中实现，或者实现为例如把内容从2D转换到3D的自动立体显示器内的模块。

图像处理单元可以是一般用于执行所涉及的任务的任何单元，例如，诸如带有存储器的处理器之类的硬件。该处理器可以是各种处理器中的任意处理器，例如Intel 或AMD的处理器、CPU、微处理器、可编程智能计算机（PIC）微控制器、数字信号处理器（DSP）等。然而，本发明的范围并不限于这些特定处理器。事实上，可以使用可编程处理平台或电路以及诸如ASIC之类的的特制的处理平台或电路来实现本发明。

在实施例中，依照图6，提供了计算机程序产品60。计算机程序产品可以存储在计算机可读介质上并且包括用于由处理器进行处理的计算机程序。计算机程序包括第一代码段61，用于基于所述图像信号的深度或视差分量对包含在所述图像信号中的图像执行31前景/背景分割，从而产生前景掩模23和背景掩模22，

- 第二代码段62，用于在所述分割后的图像中邻近分割过渡处创建32区域24，其中该区域24包括伪像26，以及

- 第三代码段63，用于对区域24中的像素数据执行33前景/背景相关的处理，从而产生处理后的图像。

在一个实施例中，计算机可读介质包括代码段，当被具有计算机处理属性的装置运行时，被安排用于执行在某些实施例中定义的所有方法步骤。

在一个实施例中，计算机可读介质包括代码段，当被具有计算机处理属性的装置运行时，被安排用于执行在某些实施例中定义的所有方法步骤。

可以通过包括硬件、软件、固件或者其任意组合的任何合适形式来实现本发明。然而，优选地，将本发明实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和组件可以以任何合适的方式物理地、功能地以及逻辑地实现。事实上，该功能可以在单个单元中、多个单元中或者作为其它功能单元的一部分实现。这样，本发明可以在单个单元中实现，或者可以物理地以及功能地分布在不同单元和处理器之间。

尽管上面已经参考特定实施例描述了本发明，但是本发明不意在限于这里提出的特定形式。相反，本发明仅仅由附加的权利要求限制，在这些附加的权利要求的范围内的、除了上述特定实施例之外的其它实施例同样是可能的。

在权利要求中，术语“包括”并不排除其它元件或步骤的存在。此外，尽管个别列出，多个装置、元件或方法步骤可以通过例如单个单元或处理器实现。此外，尽管个别的特征可以包括在不同的权利要求中，这些特征可以有利地组合，并且包含在不同权利要求中并不意味着所述特征的组合是不可行的和/或不利的。此外，单数引用并不排除复数。术语“一”、“一个”、“第一”、“第二”等并不排除复数。权利要求中的参考标记仅仅为了使示例清楚而提供，并且不应当解释为以任何方式限制权利要求的范围。

Claims (14)

1. 一种处理包括图像和深度信息的图像信号的方法（30），包括：

- 基于所述图像信号的深度或视差分量对包含在所述图像信号中的图像执行（31）前景/背景分割，从而产生前景掩模（23）和背景掩模（22），

- 在所述分割后的图像中的分割过渡周围创建（32）区域（24），其中所述区域（24）包括伪像（25，26），并且

- 对该区域（24）中的像素数据执行（33）前景/背景相关的处理，从而产生处理后的图像。

2. 如权利要求1所述的方法，其中，所述前景/背景相关的处理是时间修补、空间修补、或空-时修补中的修补技术。

3. 如权利要求1所述的方法，其中，所述前景/背景相关的处理包括使用所述图像的区域（24）外的像素数据代替该区域（24）中的所述像素数据。

4. 如权利要求1所述的方法，其中，所述前景/背景相关的处理包括将该区域（24）中的所述像素数据与位于所述图像的区域（24）外的像素数据进行混合。

5. 如权利要求4所述的方法，其中，混合因数是到该区域（24）的分割过渡处的距离的函数。

6. 如权利要求1所述的方法，其中，所述前景/背景相关的处理包括基于源自立体或多视图图像对的像素数据来改变该区域（24）中的所述像素数据。

7. 如权利要求1所述的方法，其中，通过利用来自该前景掩模（23）的前景颜色信息来修补该区域（24）中的像素数据来执行所述前景/背景相关的处理。

8. 如权利要求1所述的方法，其中，通过利用来自该背景掩模（22）的背景颜色信息来修补区域（24）中的像素数据来执行所述前景/背景相关的处理。

9. 如权利要求1所述的方法，其中，从比特流中的数据获得所述区域（24）。

10. 如权利要求9所述的方法，其中，所述数据是用于压缩的块大小。

11. 如权利要求9所述的方法，其中，所述数据是量化参数。

12. 如权利要求9所述的方法，其中，所述数据是解块滤波器设定。

13. 一种用于处理包括图像和深度信息的图像信号的处理单元（50），被配置为：

- 基于所述图像信号的深度或视差分量对包含在所述图像信号中的图像执行（51）前景/背景分割，从而产生前景掩模（23）和背景掩模（22），

- 在所述分割后的图像中邻近分割过渡处创建（52）区域（24），其中所述区域（24）包括伪像（25，26），并且

- 对该区域（24）中的像素数据执行（53）前景/背景相关的处理，从而产生处理后的图像。

14. 一种存储在计算机可读介质上的计算机程序产品（60），包括软件代码，所述软件代码当在数据处理装置上执行时适于执行如权利要求1所述的方法的步骤。

Images