CN101589626B - 用于处理组合的图像数据和深度数据的图像处理系统 - Google Patents

Abstract

提供了图像数据和深度数据的组合，其分别定义了图像中的图像位置的亮度和/或颜色以及到所述图像位置处可见的目标的距离。图像数据和深度数据由压缩器(120)压缩并且由解压缩器(16)解压缩。在所述压缩之前对深度数据进行膨胀，以便将具有相对较小的距离的图像位置的区域与具有相对较大的距离的图像位置的区域之间的边缘移向所述具有相对较大的距离的图像位置的区域。

Description

用于处理组合的图像数据和深度数据的图像处理系统

技术领域

本发明涉及用于处理图像数据(包括编码和解码)的方法和系统以及用于编码的方法和设备。

编码用于三维观察的视频信息的一种方法包括将深度数据图像添加到常规编码的视频数据，使得视频数据定义了作为图像中图像位置的函数的强度和/或颜色并且深度数据图像定义了到图像位置处可见的目标的距离。

C.Varekamp的题为“Compression artefacts in 3D television signals”并且发表在The proceedings of the second annual IEEE BENELUX/DSPValley Signal Processing Symposium(SPS-DARTS 2006)，2006年3月28-29，Metropolis，Antwerp，Belgium的出版物中描述了使用这样的技术时出现的问题。

这篇论文描述了当使用像用于依照MPEG标准压缩视频信息那样的量化的DCT系数编码深度数据时出现的问题。这篇论文指出，在解码量化的DCT系数之后，可能由解压缩的深度数据限定目标深度边界(深度步长)的人为不规则局部移位。结果，目标深度边界不再与图像中的强度边缘重合。当深度数据用来改变图像所描绘的场景的视点(viewpoint)时，这导致目标的可见锯齿状边缘。除了建议编码较低分辨率(降尺度)深度图并且在解码之后对这种深度图(或者更一般地说为深度数据)进行插值，这篇论文没有描述这个问题的解决方案。其次，建议了执行边缘保持后滤波以便减少伪像(artefact)。

发明内容

首先，本发明的目的是提供用于编码和解码包括深度信息的图像数据的方法和系统，其受压缩误差的损害较小。

依照一个方面，提供了依照权利要求1的方法。这里，在压缩之前执行深度数据的膨胀，从而将其中深度数据指示不同距离处的区域之间的深度边缘的图像位置移动到具有最大距离的区域中。因此，深度边缘变成位于这样的图像位置，在这些图像位置处，深度边缘两侧上的图像数据相应于最大距离处的目标。已经发现，这以最小的图像校正防止了伪像的出现。在一个实施例中，这应用于根据解压缩的图像数据和解压缩的膨胀的深度数据计算合成视点的图像。膨胀防止了在这种情况下当对应不同位置的强度数据彼此移动时出现伪像。

在另一个实施例中，对图像适应性地设置膨胀的量。检测其中压缩和解压缩的组合造成距离的误差的位置。根据图像中作为位置的函数的梯度和检测的位置的重合的度量，调节膨胀的量。这样，可以设置膨胀的量以便最小化伪像。这也可以用来在解压缩之后控制膨胀。

附图说明

根据使用下列附图的示例性实施例的描述，这些和其他的目的和有利方面将变得清楚明白。

图1示出了图像处理系统；

图2示出了压缩装置；

图3示出了压缩流程图；

图4示出了解压缩装置。

具体实施方式

图1示出了图像处理系统，其包括照相机10、压缩装置12、信道14、解压缩装置16以及深度相关处理单元18。

照相机10设有图像传感器100和深度确定单元102。照相机10具有用于向压缩装置12提供图像数据和深度数据的输出端104。图像数据定义了作为图像中位置的函数的图像强度以及优选地还有颜色。深度数据定义了从照相机到目标的距离，图像数据作为图像中位置的函数被认为是所述目标的属性。

确定深度的特定方法对于本发明而言不是关键的。可以使用各种不同的方法，例如使用立体图像传感器，接着确定不同的立体图像中的图像位置之间的对应性，分析照相机移动时目标成像所在的图像位置的变化，从图像获取深度(depth-from-image)的技术(例如从聚焦获取深度(depth from focus))，除了图像传感器100之外还使用深度传感器，人工或半人工深度图创建等等。许多这样的技术本身是已知的。举例而言，在图像传感器100与深度确定单元102之间示出了连接，以便说明使用图像传感器100捕获的图像来确定深度。然而，如果使用了单独的深度感测方法，那么就可以不需要这样的连接。优选地，以将图像流描述为时间的函数的数据以及相应的深度数据流的形式提供图像数据和深度数据。为了进行说明，对于图像数据和深度数据示出了单独的连接，但是应当理解的是，该数据可以在共享的连接上复用。

压缩装置12包括压缩器120和膨胀器122。膨胀器122被配置成从照相机10接收深度数据并且对深度数据施加图像膨胀。压缩器120接收来自照相机10的图像数据以及膨胀的深度数据。压缩器120被配置成根据图像数据和膨胀的深度数据计算压缩的数据并且将压缩的数据传送到信道14。压缩器120使用频率变换来执行压缩。例如，可以使用已知的JPEG或MPEG压缩技术。在JPEG DCT压缩技术中，针对图像中的位置的分块计算图像值的DCT(离散余弦变换)系数。对这些DCT系数进行量化以压缩图像。MPEG中使用了类似的技术，其直接应用到某些图像以及应用到由运动矢量进行的图像表示之后剩余的残余量。在当前的示例性系统中，将DCT变换应用到由图像数据定义的强度图像和/或颜色平面图像并且应用到由膨胀的深度数据定义的深度图像。压缩器12中的单独的压缩器可以用于该目的，或者复用技术可以用来针对图像数据和深度数据共享单个核心压缩器。这里使用的术语深度数据和图像数据可以表示截然不同的数据集合，但是这些术语也涵盖其中深度数据和图像数据不完全分开的情况。在一个实施例中，共享的运动矢量用来表示相对于不同帧的帧内编码图像数据和深度数据的某个帧的图像数据和深度数据。

在一个实施例中，相比于对于强度图像，对于深度数据使用更强的压缩(具有更多的信息损失)。例如，相比于对于强度图像，对于深度图像丢弃更多较高频率的DCT系数(例如只有DC系数)，或者更粗的量化用于深度图像的DCT系数。因此，最小化了用于编码深度数据的开销。可替换地或者附加地，相比于图像数据，可以将降低的空间和/或时间分辨率用于深度数据，例如，对深度数据进行子采样。

解压缩装置16耦合到信道14以便接收压缩的信息。信道14可以代表广播传输信道或者例如记录器-再现装置的组合。当JPEG或MPEG技术用于压缩时，解压缩装置16典型地使用JPEG或MPEG技术来进行解压缩。解压缩装置16从压缩的数据中重构近似的图像数据和深度数据，其表示与压缩装置12最初使用的强度和/或颜色图像以及膨胀的深度图像相似的强度和/或颜色图像以及深度图像。由于压缩的原因，偏差可能会出现。

深度相关处理单元18接收重构的图像数据和深度数据并且使用该数据来重构图像。可以使用各种不同形式的处理。在一个实施例中，深度相关处理单元18被配置成计算成对的立体图像。在另一个实施例中，深度相关处理单元18被配置成计算连续视点的一系列图像，以便在准三维显示器上显示。在一个实施例中，深度相关处理单元18具有用于接收视点(或视点变化)的用户选择的输入端。在每个实施例中，深度相关处理单元18使用图像数据和深度数据来计算视点相关图像。用于这点的技术本身是已知的。这些技术的结果是，一定图像位置的图像数据将从该位置跨过一定的移动距离和方向移动到另一位置，其取决于视点的变化以及与该图像位置关联的深度。

这种移动可能导致若干伪像。首先，在前景图像区域部分地跨越背景区域移动的地方可能出现改变的边界。其次，在背景图像区域由移动去除遮挡的地方可能出现间隙。在这些间隙中，必须插入替代的图像数据。为此目的，优选地考虑与间隙相邻的图像区域集合。从该集合中选择具有最大距离的区域。间隙中的图像内容根据选择的区域来进行外推。外推可以使用来自图像本身的图像数据来进行，或者可以插入已经针对选择的图像区域从其中该区域被较少遮挡的视频流中的其他图像获得的外推数据。

膨胀器122被配置成对深度数据施加图像膨胀。图像膨胀本身是已知的。当应用于膨胀器122中时，膨胀器122被配置成在其中深度图像包含具有相对较大的深度的区域与具有相对较小的深度的区域之间的边缘的任何位置改变深度图像(由深度数据表示)，将所述边缘移动到所述具有相对较大的深度的区域中。因此，使得前景目标在深度图像中看起来更大。可以将任何已知的技术用于膨胀。在一个实施例中，对于图像中的每个位置，膨胀的深度是该位置的邻域中的最小深度，相同形状和尺寸的邻域用于每个位置，平移到那些位置。在一个实施例中，可以使用一个像素高并且多个像素(等于膨胀的量)长的水平线状邻域。在这种情况下，可以在逐行的基础上应用膨胀，这减少了所需处理的量。在另一个实施例中，例如可以将方形或圆形邻域用于该目的，邻域的直径由膨胀的程度决定。

在另一个实施例中，可以将图像分割成与目标关联的分段，一定位置与一定分段连接，该分段与该位置的邻域重叠并且与具有最小深度的目标关联。在这种情况下，可以例如通过外推或者拷贝离目标中的最近图像位置的距离从该目标导出膨胀的深度。在另一个实施例中，从所述位置的不同侧上的区域外推的深度的最小值可以用来获得膨胀的深度。

相应的膨胀不施加到表示强度图像和/或颜色图像的图像数据。因此，在图像数据和膨胀的深度数据的组合中，膨胀的效果在于，在更近的目标与更远的目标之间的边缘附近给属于更远的目标的图像数据分配更近的目标的距离。

深度数据用来控制图像数据的移动以便计算选择的视点的图像。在这点完成时，深度数据的膨胀的效果在于，针对稍微超出图像中前景目标的边缘之外的位置的图像数据将与来自该边缘内的前景目标的图像数据一致地移动。结果，由于移动而引起的间隙将被来自背景(更远的目标)的图像数据包围，像改变的边界将出现的那样。其效果在于，由于视点的改变而引起的伪像将不那么明显。

压缩引起的深度数据中的误差将导致深度数据中边缘的位置误差。当相比于对于图像数据以更高(更多损失)的压缩率进行深度数据的压缩时，深度误差可能是大的并且相比于图像误差在空间上更加分散。由于膨胀的原因，包围这些误差位置的图像数据将全部来自对应有误差(inerrors)背景的图像数据。因此，这防止了这些误差使得对应前景目标上的任何位置的图像数据值与对应前景目标上的其他位置的图像数据值不同地移动。

通过在压缩之前执行膨胀，避免了由于压缩/解压缩而引起的误差被膨胀。这首先防止了深度数据中的振铃伪像被膨胀。施加到人为地产生甚至比前景目标更近的深度的振铃伪像的在后解压缩膨胀将由于膨胀而生长，导致前景和背景中的误差。通过在压缩之前执行膨胀，防止了膨胀增大振铃效应。振铃效应限于对应背景的图像数据。已经发现，通过在压缩之前执行膨胀，相比于在解压缩之后执行膨胀的情况，需要较少的膨胀来防止前景图像数据的不同移动。因此，与将膨胀看作移除伪像的后处理滤波步骤的常识相反的是，优选地将膨胀作为伪像出现之前的预处理而执行。

图2示出了可替换的压缩装置12，其中在反馈环中控制膨胀的量。除了图1中所示的部件之外，该压缩装置包括解压缩器20和控制电路22。解压缩器20具有耦合到压缩器120的输出端的输入端。控制电路22具有耦合到深度数据输入端以及耦合到膨胀器122和解压缩器20的输出端的输入端。控制电路22具有耦合到膨胀器122的控制输入端的输出端。

图3示出了压缩实施例的流程图，其中在反馈环中控制膨胀的量。在第一步骤31中，接收输入的图像数据和关联的深度数据。图像数据定义了对应图像中的位置的强度和/或颜色，并且深度数据定义了到这些位置处可见的目标的距离。在第二步骤32中，设置膨胀控制参数。在第三步骤33中，膨胀器122对深度数据进行膨胀，即它修改定义的深度，从而跨越膨胀控制参数所控制的距离将不同深度处的图像位置的区域之间的边缘移动到具有更大的深度的区域中。在第四步骤34中，压缩器120压缩图像数据和膨胀的深度数据。在第五步骤35中，解压缩器20对压缩的膨胀的深度数据解压缩。在第六步骤36中，控制电路22对膨胀进行评估。控制电路22计算多个图像位置处的解压缩的膨胀的深度与压缩之前的膨胀的深度之间的差值。将这些差值与由相应图像位置处的原始深度数据定义的梯度大小值相乘。

在第七步骤37中，控制电路22测试得到的任何乘积是否超过阈值。如果是这样，那么控制电路更新膨胀控制参数以便增大移动由深度数据定义的边缘所跨越的距离，并且该流程图从第三步骤23重复。如果得到的所有乘积都低于阈值，那么该过程结束。应当理解的是，与图1相比，图2的系统添加了第六和第七步骤36、37。

在视频序列的情况下，随后以相同的方式处理图像数据-深度数据的下一个配对。在这种情况下，单独地处理视频序列中的图像。在另一个实施例中，可以针对视频序列中的连续图像序列设置膨胀的量，例如以便防止伪像(或者序列的任何图像中超过最小数量的伪像)。在另一个实例中，设置膨胀的量的视频时间依赖关系，以便滤掉预定时间频率以上的变化并且防止伪像(或者任何图像中超过最小数量的伪像)。例如，可以使用膨胀的最大选择的量的低通滤波频率包络。设置用于序列的膨胀的量的优点在于，避免了时间伪像。

尽管给出了其中如果任何乘积超过阈值则增大膨胀的量的实例，但是应当理解的是，可替换地，所述增大可以取决于超过阈值的乘积的总合(aggregate)，从而如果大的乘积仅局部地出现在孤立的位置，则不进行膨胀的增大。所述乘积和总合是检测的位置与边缘的重合度量的实例。还应当理解的是，其他的重合度量可以用来评估膨胀。

在一个可替换的实施例中，控制电路22使用压缩和解压缩之后从图像数据和深度数据获得的合成视点的视图评估膨胀。如果可检测到该视图包含超过预定量的伪像，则认为膨胀不充分。通过这种方式，当前景和背景图像数据之间的差值如此之小，以至于即使深度数据包含误差也不出现伪像时，可以避免不必要的膨胀。用于使用深度数据和图像数据产生任意视点的视图的合成视点发生器本身是已知的。可以使用诸如利用用于该目的的程序编程的计算机或者专用硬件之类的合成视点发生器。可以例如通过将压缩和解压缩之后产生的视图与针对所述视点不经过压缩和解压缩从深度数据和图像数据产生的视图进行比较来执行伪像的检测。可替换地，可以处理压缩和解压缩之后产生的视图，以便检测具有与压缩伪像效果以及这样的边缘的强度和预定阈值的比较结果相应的尺寸的空间不规则性的空间不规则边缘的存在。

作为另一个实例，可以在结果中对深度数据与解压缩的膨胀的深度数据之间的差值的位置附近的图像数据内容的梯度进行加权。此外，应当理解的是，可以使得用于决定增大膨胀并且返回到第三步骤33的准则随着膨胀的量的增加而越发具有限制性，或者甚至可以完全避免增加超出最大值。此外，再现的视图的信噪比(PSNR)可以用作准则。

应当理解的是，该流程图假设开始时将膨胀控制参数设置为最小值并且随后增大，直到不出现由于压缩和解压缩而引起的伪像或者仅仅出现最少的伪像。可替换地，该过程可以从最大膨胀开始，减小膨胀，直到出现这样的伪像或者出现多于最少的这样的伪像。在另一个可替换的方案中，该过程可以从任何膨胀开始并且沿着与计算的伪像有关的方向继续。

因此，通过在压缩之前控制膨胀，可以防止令人烦恼的伪像的量。另外，压缩装置12向解压缩装置16传送用于图像的最终选择的膨胀的量。该选择的量的指示可以包括在包含图像数据和深度数据的视频流信号中。可以提供可以是解压缩装置的深度相关处理单元18的一部分的图像处理装置，并且可以向该图像处理装置提供传送的膨胀的量以便使得该图像处理装置能够减少由于膨胀而引起的伪像。

在一个实施例的实例中，所述图像处理装置被配置成在滤除由于压缩而引起的伪像(该滤波可以例如包括中值滤波)之后以与膨胀距离的从压缩装置接收的选择的量相应的量(例如以小于100％的百分数)腐蚀深度图像。因此，可以最小化由于膨胀而引起的伪像。在这个或另一个实施例中，所述图像处理装置可以被配置成依照解压缩和腐蚀之后获得的深度数据控制其他形式的深度相关图像处理(例如前景和背景目标之间的边缘处的前景/背景颜色混合)。

在另一个实施例中，设置压缩之前的膨胀的量超过避免图像中目标的深度边界与该目标的强度/颜色边界交叉所严格需要的最小量膨胀。图4示出了用于该实施例的解压缩装置。在该实施例中，添加了腐蚀单元40，用于在解压缩之后施加腐蚀以便腐蚀解压缩的深度图像。优选地，腐蚀的量不多于多余的膨胀的量(这里使用的腐蚀从具有较小距离的区域的边界生长具有较大距离的区域)；在一个实施例中，腐蚀通过用围绕每个像素位置的邻域中的最大深度代替该像素位置的深度来实现。这用于对解压缩的深度图像进行滤波，移除由于伪像而引起的这样的区域的窄扩展或者小的前景区域。腐蚀的量可以通过用信号表示的(signaled)膨胀的量来控制。代替施加腐蚀的单元40的是，可以使用处理器40，该处理器被配置成执行与用信号表示的膨胀的量有关的其他处理操作。

可以使用被特别设计成执行所描述功能的电子电路来实现压缩装置12和解压缩装置。可替换地，可以使用可编程处理器，其利用执行这些功能的计算机程序编程，或者可以使用经过特别设计的硬件以及经过编程的处理器的混合物。

如上所述，在压缩之前施加膨胀具有的效果在于，将减少从合成视点产生的视图中的伪像。权利要求中阐明了本发明。本文使用的措词“包括”并没有排除其他的元件或步骤，“一”或“一个”并没有排除复数，并且单个处理器或其他单元可以实现权利要求中列出的若干装置的功能。权利要求中的附图标记不应当被视为对范围的限制。

Claims (14)

1.一种图像处理系统，包括：

-输入端(104)，其用于接收图像数据和深度数据，其中所述图像数据定义了图像中的图像位置的亮度和/或颜色，以及所述深度数据定义了从照相机(10)到所述图像位置处可见的目标的距离；

-膨胀器(122)，其耦合到所述输入端并且被配置成沿着将具有相对较小的距离的图像位置的区域与具有相对较大的距离的图像位置的区域之间的边缘移向所述具有相对较大的距离的图像位置的区域的方向对深度数据进行膨胀；

-压缩器(120)，其耦合到所述输入端以及所述膨胀器的输出端并且被配置成压缩图像数据和膨胀的深度数据。

2.依照权利要求1的图像处理系统，包括检测器(22)，该检测器被配置成检测在原始深度数据的哪些位置处压缩和解压缩的组合造成距离的误差，检测器(22)具有输出端，该输出端耦合到膨胀器(122)的控制输入端，以用于控制所施加的膨胀的量。

3.依照权利要求2的图像处理系统，其中检测器(22)被配置成根据作为位置的函数的距离的梯度和检测的位置的重合的度量进行计算。

4.依照权利要求1的图像处理系统，包括检测器(22)，该检测器被配置成在压缩和解压缩之后从图像数据和深度数据产生合成视点的视图并且检测视图中的伪像，检测器(22)具有输出端，该输出端耦合到膨胀器(122)的控制输入端，以用于根据检测的伪像的量控制施加的膨胀的量。

5.依照权利要求2、3或4的图像处理系统，其中检测器(22)耦合在反馈环中，以便重复地调节施加的膨胀的量，直到压缩的深度数据和/或图像数据满足预定的准则。

6.依照权利要求1的图像处理系统，包括：

-解压缩器(16)，其被配置成对压缩的图像数据和压缩的膨胀的深度数据进行解压缩；

-合成视图发生器(18)，其用于通过按照从解压缩的深度数据确定的量空间平移解压缩的图像数据来产生合成视点的图像。

7.依照权利要求1的图像处理系统，其中压缩器(120)被配置成产生包括压缩的膨胀的深度数据的信号以及有关已经施加到深度数据的膨胀的量的信息。

8.依照权利要求7的图像处理系统，包括：

-解压缩器(16)，其被配置成对压缩的图像数据和压缩的膨胀的深度数据进行解压缩；

-合成视图发生器(18)，其用于通过按照从解压缩的深度数据确定的量空间平移解压缩的图像数据来产生合成视点的图像；

-腐蚀单元(40)，其被配置成在解压缩的深度数据用于按照根据有关已经施加到深度数据的膨胀的量的信息而选择的量进行合成视图的产生之前腐蚀该解压缩的深度数据。

9.一种图像解压缩系统，包括：

-输入端，其用于接收传送的压缩的图像数据和压缩的深度数据以及有关已经施加到深度数据的膨胀的量的信息；

-解压缩器(16)，其用于对压缩的图像数据和压缩的深度数据进行解压缩；

-处理电路(40)，其被配置成根据有关已经施加到深度数据的膨胀的量的信息处理解压缩的图像数据和/或压缩的深度数据。

10.依照权利要求9的图像解压缩系统，其中所述图像数据定义了图像中的图像位置的亮度和/或颜色，所述深度数据定义了从照相机(10)到所述图像位置处可见的目标的距离，所述处理电路是腐蚀单元，该腐蚀单元用于腐蚀深度数据以便将深度数据中具有相对较小的距离的图像位置的区域与深度数据中具有相对较大的距离的图像位置的区域之间的边缘移向所述具有相对较小的距离的图像位置的区域，腐蚀单元(40)具有用于控制膨胀的量的控制输入端，其耦合用于接收有关已经施加到深度数据的膨胀的量的信息。

11.一种处理图像数据的方法，包括：

-提供图像数据和深度数据的组合，其中所述图像数据定义了图像中的图像位置的亮度和/或颜色，以及所述深度数据定义了从照相机(10)到所述图像位置处可见的目标的距离；

-压缩和解压缩图像数据和深度数据；

-在所述压缩之前对深度数据进行膨胀，以便将具有相对较小的距离的图像位置的区域与具有相对较大的距离的图像位置的区域之间的边缘移向所述具有相对较大的距离的图像位置的区域。

12.依照权利要求11的处理图像数据的方法，包括根据解压缩的图像数据和解压缩的膨胀的深度数据计算合成视点的图像。

13.依照权利要求11的处理图像数据的方法，包括：

-检测在哪些位置处压缩和解压缩的组合造成距离的误差；

-根据作为位置的函数的距离的梯度和检测的位置的重合的度量调节膨胀的量。

14.依照权利要求11的处理图像数据的方法，包括调节膨胀的量，直到压缩的深度数据和/或图像数据满足预定的准则。

Images