CN101542529B

CN101542529B - 图像的深度图的生成方法和图像处理单元

Info

Publication number: CN101542529B
Application number: CN2007800432624A
Authority: CN
Inventors: F·博戈贝尔
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-11-21
Filing date: 2007-11-15
Publication date: 2012-10-03
Anticipated expiration: 2027-11-15
Also published as: US8340422B2; EP2087466A1; US20100046837A1; WO2008062351A1; EP2087466B1; JP5615552B2; CN101542529A; JP2010510600A

Abstract

一种图像处理单元包括第一处理单元(101)，其生成图像的深度指示图。该深度指示图可以例如是图像对象分离模板或预定的深度分布或背景深度图。第二处理单元(103)通过响应于该图像的图像特性滤波深度指示图而生成修改的深度指示图。图像的自适应滤波可以例如提供更准确的分离模板和/或可以修改预定的深度分布以反映该特定图像。第三处理单元(105)响应于所述修改的深度指示图生成图像的图像深度图。该图像深度图包括表示图像的至少一个图像区的深度的数据。本发明导致图像的改进的深度图的生成。

Description

图像的深度图的生成方法和图像处理单元

技术领域

本发明涉及图像的深度图的生成，并且具体地但非排他地涉及包括背景和突出(salient)的图像对象的数字图像的深度图的生成。

背景技术

近年来，为了存储、操控和分发的目的，图像的数字化已经变得日益重要。而且，图像的数字化允许复杂的操控和处理，该处理提供了先前不能获得的机会。例如，近年来已经开始了对提供用于从图像中提取深度信息的算法的重要研究。这种深度信息可以提供从二维(2D)图像获得的三维(3D)信息。这种3D信息可以用在许多应用中并且可以例如辅助图像的自动注释。作为另一个实例，3D信息可以用于生成增强的图像，比如从2D图像生成的完整的或部分的3D图像。

特别地，当前从单个图像重获(recovery)深度图是计算机视觉中非常有活力的研究领域，且其应用包括3D显示器和自主型机器人。一些研究特定地针对将现存的视频和静态图像转换为可以在自动立体显示器上呈现的3D格式。

然而，这些应用面临基本障碍：2D到3D的转换任务从根本上说非常困难。因此，大多数已知的方法是探索式的并且很少的方法尝试重获构成场景的各种对象(object)深度的绝对深度或确切排序。

在先前的研究中，已经调查了各种深度线索(cue)，包括聚焦/离焦、纹理、散射、遮蔽、以及透视(perspective)。然而，这些方法倾向于只能在限制性条件下实施并且产生劣质的不适用于例如可视化任务的深度图。

最近，已经在尝试机器学习系统，该系统能够基于训练图像和训练图像的已知的深度数据(例如由用户提供)来调适(adapt)操作。然而，这些方法倾向于需要图像/深度图对的大训练集，这些训练集倾向于仅仅对于特定场景是可获得的。

因此，用于生成图像的深度信息的改进的方法将是有利的，并且特别地允许增加的灵活性、更容易的实现、减少的复杂性、改进的深度信息、和/或改进的性能的系统将是有利的。

发明内容

因此，本发明的目的是，单独地或以任何组合的方式减轻、缓和或消除上述缺陷的一个或多个。

根据本发明的一个方面，提供一种图像处理单元，其包括：用于生成图像的图像对象分离模板的第一装置，该图像对象分离模板指示图像对象与背景区域的分离；用于通过滤波图像对象分离模板生成修改的图像对象分离模板的第二装置，所述滤波适于响应于图像的图像特性，图像特性表示亮度特性和颜色特性中至少一个；用于响应于所述修改的图像对象分离模板生成图像的图像深度图的第三装置；该图像深度图包括表示图像的至少一个图像区(region)的深度的数据。

本发明导致生成的一种改进的图像深度图。特别地，可以实现深度转变(transition)与图像对象之间的改进的对应性和/或用于例如背景区域(area)的改进的深度数据。在许多实施例中，可以获得更容易的实现方式，特别是具有低计算资源要求的实现方式。本发明可以为更多种类的图像提供高效的图像深度图生成。例如，所述方法可以适用于具有不规则形状的图像。

根据本发明的可选特征，第二装置被布置为：响应于图像的第一像元(picture element)的图像特性和在接近第一像元的图像区中该图像的至少一个像元的至少一个图像特性来修改第一像元的图像对象分离模板的值。

这可以导致图像深度图的改进的和/或更容易的生成。特别地，所述特征可以提供图像深度图中的深度转变与图像对象的边界之间的改进的对应性和/或将从预定的深度分布(depth profile)确定的例如背景区的改进的深度信息。

根据本发明的可选特征，第二装置被布置为：响应于邻近的图像区中第二像元的图像对象分离模板中的值来修改第一像元的图像对象分离模板的值。

这可以导致图像深度图的改进的和/或更容易的生成。所述特征可以特别提供图像深度图中的深度转变与图像对象的边界之间的改进的对应性和/或将从预定的深度分布确定的例如背景区的改进的深度信息。所述修改可以是迭代性的，并且可以基于在先前迭代中获得的值来确定新的修改的值。

根据本发明的可选特征，所述图像对象分离模板是所述图像的图像对象分离模板(mask)，该图像对象分离模板指示图像对象和背景区域的分离。

本发明可以提供例如具有图像深度图中的深度转变与图像对象的边界之间的改进的对应性的改进的深度图。

该图像对象分离模板可以是突出的模板，其指示图像的哪些区域被认为是突出对象和哪个区域被认为是背景(非突出的)。背景区域可以是包括不相交背景区的不相交区域。突出对象可以是可能的不相交区的集群(cluster)。

根据本发明的可选特征，第一装置被布置为：响应于像元的颜色差异分析(variance analysis)分离图像对象和背景。虽然由于颜色差异分析的有效性其是优选的，但是也可以替代地或附加地应用其他分析方法，比如强度差异分析和/或纹理差异分析、或本领域技术人员已知的生成突出图的其他方法。

这可以导致图像对象(比如突出对象)的改进的检测，尤其导致大粒度图像对象边缘的生成，该边缘是稳健的并且/或者适合于通过响应于该图像的图像特性的滤波而精细化。

根据本发明的可选特征，图像对象分离模板指示图像对象与背景区域之间的二值(binary)边界。

这导致更容易的操作和/或改进的性能。现在对于每一个像素(pixel)，图像对象分离模板可以指示它属于一个特定图像对象或指示它属于背景。

根据本发明的可选特征，第二装置被布置为：通过将阈值应用到图像对象分离模板的滤波后的值来生成修改的图像对象分离模板作为对象分离模板。

这可以方便操作和/或提高性能，并且特别地减少计算负担并且/或者在滤波之后提供改进的对象分离模板。

根据本发明的可选特征，第三装置被布置为：响应于预定的深度分布生成背景区域的背景深度图。

这可以导致适于与滤波的对象分离模板一起使用的背景深度图的实用的和低复杂度的生成，由此导致生成改进的深度图是可能的。

根据本发明的可选特征，第三装置被布置为：通过响应于图像的图像特性滤波预定深度分布来修改预定该深度分布。

这使得生成改进的深度图是可能的。特别地，对象分离模板和预定深度分布的滤波将生成深度图，其具有图像深度图中的深度转变与图像对象的边界之间的改进的对应性以及用于背景区域的改进的深度数据。

根据本发明的可选特征，第三装置被布置为：响应于用于相邻区域的背景深度图的深度值向图像对象分配深度值。

这可以导致图像深度图的改进的和/或更容易的生成。特别地，它使生成深度图成为可能，该深度图具有图像对象的准确的深度指示，所述图像对象具有准确的和可能清晰的边界，且在图像对象的深度数据和背景的深度数据之间具有一致性。

根据本发明的可选特征，第三装置被布置为：响应于在与一个像元相邻的区域中的像元的分配(assign)的深度值来分配该像元的深度值，所述分配的深度值在权重上取决于它们是被分配给图像对象的像元还是被分配给背景区域的像元。

这可以改进针对图像对象生成的深度信息。

根据本发明的可选特征，第三装置包括：用于响应于深度级算法向图像对象分配深度值的装置；以及用于响应于分配给图像对象的深度级修改背景深度图的装置。

这用来改进要被生成的深度信息。例如，可以获得背景区的改进的深度信息。例如可以响应于深度线索来分配深度值，该深度线索独立于背景深度图，比如视差深度线索。

根据本发明的可选特征，第三装置被布置为：在修改的图像对象分离模板上执行降噪算法。

这使生成改进的图像深度图是可能的，该深度图更接近地反映图像内容。

根据本发明的另一方面，提供一种包括图像处理单元的多视图显示设备，该图像处理单元包括：用于生成图像的图像对象分离模板的第一装置，该图像对象分离模板指示图像对象与背景区域的分离；用于通过响应于图像的图像特性滤波图像对象分离模板来生成修改的图像对象分离模板的第二装置，所述图像特性表示亮度特性和颜色特性中至少一个；以及用于响应于修改的图像对象分离模板生成图像的图像深度图的装置；该图像深度图包括表示图像的至少一个图像区的深度的数据。

根据本发明的另一方面，提供一种生成图像深度图的方法，该方法包括以下步骤：生成图像的图像对象分离模板；通过响应于图像的图像特性滤波图像对象分离模板来生成修改的图像对象分离模板，所述图像特性表示亮度特性和颜色特性中至少一个；以及响应于修改的图像对象分离模板生成图像的图像深度图；该图像深度图包括表示图像的至少一个图像区的深度的数据。

参照下面描述的(多个)实施例，本发明的这些和其他方面、特征和优点将变得清楚明白并被阐明。

附图说明

将仅仅通过实例并参照附图，来描述本发明的实施例，其中

图1示出根据本发明的一些实施例的图像处理单元的实例；

图2示出根据本发明的一些实施例的图像处理单元的实例；

图3示出根据本发明的一些实施例的生成图像深度图的方法的实例；

图4示出在通过根据本发明的一些实施例的方法生成图像对象分离图过程中不同步骤的实例；以及

图5示出在通过根据本发明的一些实施例的方法生成背景深度图过程中不同步骤的实例。

具体实施方式

图1示出根据本发明的一些实施例的图像处理单元的实例。

该图像处理单元包括第一处理单元101，其被布置成生成图像的深度指示图。该图像可以例如是数字图片或视频序列的图像。该深度指示图包括图像的深度信息数据，并且特别地可以包括图像的不同区的相对深度信息。

该深度指示图可以包括有关图像的不同区或像元(也被称为像素)的估计的相对的或绝对的深度的信息。同样，该深度指示图可以是具有用于不同像素的深度数据的深度图，该深度图指示绝对深度或相对于其他像元或对象的相对深度。例如，该深度指示图可以包括指示深度级的每一个像素的值(该像素属于该深度级)，该深度级取自图像特定的有限数量的深度级。

作为另一个实例，该深度指示图可以是指示实际的或潜在的深度转变可能在图像的何处发生的图。例如，该深度指示图可以是指示各种图像对象的位置(和/或形状、大小等)的图像对象分离模板。由于图像对象可以对应于场景中的物理对象(该物理对象典型地比背景区向前)，所以深度转变通常发生在图像对象的边界附近，并且因此该图像对象分离模板指示图像中的深度转变。

第一处理单元可以例如借助于图像对象检测分析直接地生成深度指示图。在其他实施例中，第一处理单元101可以可替代地或附加地通过从另一个源接收或取回(retrieving)深度指示图来生成该深度指示图。例如，该深度指示图可以是连同图像一起接收的或从存储器中取回的预定的背景深度图。

第一处理单元101耦合到第二处理单元103，第二处理单元103通过响应于图像的图像特性滤波深度指示图来生成修改的深度指示图。因此，第二处理单元103通过滤波深度指示图来修改深度指示图，但是深度指示图的修改不仅受到深度指示图本身的影响还受到该图像本身的特性的影响。这使得生成修改的深度指示图是可能的，该修改的深度指示图更准确地和接近地反映该图像。例如，对于图像对象分离模板，可以获得深度转变(和对象边界)的大大改进的定义。对于给定的深度图，图像的印象可以被强加在深度指示图上，从而产生更好反映场景中的深度级的深度图。

第二处理单元103耦合到第三处理单元105，第三处理单元105响应于修改的深度指示图生成图像的图像深度图。该图像深度图包括表示图像的至少一个区的深度的数据。该深度可以是绝对的或相对的深度。特别地图像深度图可以包括用于每一个像素的一个深度级值。

例如，如果深度指示图是图像对象分离模板，则第三处理单元105可以通过向图像对象的一个、几个或所有图像对象指定(allocate)相对的或绝对的深度值来生成深度图。第三处理单元105还可以将相对的或绝对的深度值指定给一些或所有背景区域，即分配给不是图像对象部分的图像区域。

作为另一个实例，如果深度指示图是背景深度图，则第三处理单元可以例如结合图像对象和背景的深度信息以生成图像的完整深度图。第三处理单元105可以例如基于修改的背景深度图将深度值指定给图像对象。

因此，图1中的图像处理单元可以提供图像的改进的深度图。

将被理解的是，所述处理单元可以实现为单个处理单元，所描述的实现方式可以以硬件、固件和软件、或其混合的方式进行。特别地，所描述的处理可以通过由合适的计算机、微控制器、数字信号处理器、或其他处理元件执行的固件或软件程序来实现。

在下面，将描述根据本发明的一些实施例的深度模板的生成的特定实例。在该特定实例中，通过一系列步骤针对图像生成深度图，所述步骤包括基于图像的图像特性对图像对象分离模板和预定的深度分布这两者的图像自适应滤波。

在一起待审批的申请EP06301011中描述了图像自适应模板和/或深度图滤波的特别有利的方法的良好实例，该申请EP6301011通过引用被合并于此。该特定申请提出一种图像增强的方法，其能够用于基于在基本相同的场景的图像中存在的例如颜色或亮度信息来增强场景的突出(saliency)图、或深度图。

图2示出根据本发明的一些实施例的图像处理单元的实例。图3示出根据本发明的一些实施例的处理图像的方法的实例。特别地，图3示出如何通过图2的图像处理单元可以生成深度图。

在该实例中，图像处理单元是多视角显示设备的一部分并且生成深度图，该深度图被该设备使用以生成呈现给用户的3D图像。基于该信息，多视角显示设备可以生成用于在多视角显示设备上显示的两个或更多视频图像的相关流。视频图像的这两个或更多相关流可以经透镜或/和屏障系统呈现，从而使得在显示器前面的观看者在其左眼和右眼接收稍有不同的图像，以产生3D印象。在SPIE会议论文集(2006)的6055卷第208-第219页由Berretty，R.-P.M.；Peters，F.J.；Volleberg，G.T.G.所著的“Real-time rendering for multiview autostereoscopicdisplay”中提出了这种呈现方法的实例。

所述图像处理单元包括突出模板处理器201，其生成用于图像的图像对象分离模板(此后被称为突出模板)。

该突出模板处理器201特定地执行图3的步骤301，其中在图像上执行颜色差异分析。特别地，计算图像的每一个像素的邻域中的颜色局部差异。颜色差异是图像特征的视觉重要性的良好指示，并且特别地，高差异典型地对应于图像中的图像对象的边缘或边界。这些图像对象被称为突出对象或区域并且典型地对应于对人类观看者具有高视觉感知重要性的对象(或对象的部分)。例如在海滩图像中，前景中的阳伞对象将典型地具有与沙滩或大海明显不同的颜色，并且因此将对于在阳伞边缘周围的像素产生大的颜色差异。将被理解的是，图像对象或突出对象可以对应于图像中的物理对象的一部分。例如，阳伞对象可以由多个对应于阳伞的顶盖的不同颜色区域的图像对象组成。

虽然在该实施例中使用颜色差异来生成突出模板，但是除了颜色差异分析之外或取代颜色差异分析，还可以使用其他算法。这些其他算法可以包括例如，照明差异分析、纹理差异分析、和/或其他突出模板生成技术。

在通过突出模板处理器201生成突出模板中，出色的细节不是关键的，并且差异分析的主要目标在于生成信息丰富的对象的相当大的集群或生成从它们的周围区域凸显的对象的相当大的集群。因此以粗尺度(coarse scale)计算颜色差异并且用相对较高的粒度强调最突出的区域。

步骤301之后是步骤303，其中突出模板处理器201通过在颜色差异结果上执行阈值运算来生成突出模板。特别地，将二值阈值施加到颜色差异分析，这导致了二值突出模板。

图4示出在原野上的一匹马的图像的图像处理的实例。首先由突出模板处理器201处理原始图像401以生成差异图403，随后将阈值应用在该差异图403以生成二值突出模板405。

突出模板处理器201耦合到滤波处理器203，该滤波处理器203继续执行步骤305，其中响应于图像的图像特性滤波该突出模板。特别地，这样滤波突出模板：使得响应于给定的邻近区域中像素的突出值来确定给定像素的突出值。另外，响应于这两个像素的图像特性之间的相似程度来加权每一个突出值。因此，应用图像自适应滤波，其中基于实际的图片特性来细化突出模板的深度指示(指示可能的步骤转变)。

特别地，用于差异分析的粗尺度和大足迹(footprint)导致突出模板中的视觉上重要区的边界伸展超出图像中实际对象(或对象集群) 边界。为了更准确地对准边界，对该模板应用滤波处理器203的图像自适应滤波。

在特定实例中，这可以通过根据对应的像素的图像属性的相似性在模板中传播突出的和非突出的值来执行。特别地，滤波处理器203实现了由下式给出的突出模板的迭代加权平均：

s_{i}^{k} = \underset{j}{Σ} ω_{ij} s_{j}^{k - 1}

其中，突出模板在位置i处的当前值s_i ^k根据用于相邻像素j(在适当选择的足迹内)的先前值(在第k-1次迭代时获得的)s_j ^k-1计算。

通过权重ω_ij加权该突出模板值，这些权重取决于对应的像素的图像特性并且特别地取决于这些像素的图像特性之间的相似程度。特别地，所述权重可以是随着突出值正被确定的像素的图像特性c_i和权重正被确定的像素的图像特性c_j之差的增加而单调减小的函数：

ω_ij＝f(|c_i-c_j|)

该滤波将提供突出模板到给定图像的图像对象的更加精确的匹配，并且当其与粗略的差异分析一起使用时将特别地提供精确的突出模板。另外，该图像自适应滤波将提供填充突出对象内部的更好的深度图。

滤波处理器203还可以提供在滤波之后的阈值运算。特别地，如果原始突出模板是二值模板，则该图像自适应滤波将在修改的突出模板中引入非二值的值。这可以通过应用阈值被转换回到二值模板。

图4示出由滤波和应用阈值到突出模板405引起的修改的突出图407。可以看出，在该经滤波的图中很好地定义了突出对象。

滤波处理器203耦合到背景处理器205，背景处理器205接收图像和突出模板。背景处理器205执行步骤307，其中针对图像生成背景深度图。该背景深度图将包括分配给图像的背景的深度值。术语背景被用于指明(designate)非突出区域，即该术语背景是指没有被滤波处理器203检测为突出区域的图像区域。

该背景深度图的生成是基于应用随后被图像自适应滤波修改的预定的默认深度图。

背景处理器205以此方式着手估计不那么突出的区的深度。然而，首先由图像自身对预定分布进行滤波，而不是简单地应用预定的深度分布(比如倾斜或分级)。该图像自适应滤波产生预定分布上图像内容的印象，这导致更准确的和令人信服的深度感知。对于许多场景，该图像自适应滤波可以产生具有非常接近自然的深度排序的深度图。对于示出大地、天空的大区域和没有阻挡视图的大型前景对象的均匀区域的图像，这可以特别准确。因此，该方法特别适合用于不那么突出的区域的深度确定，该不那么突出的区域典型地对应于大均匀区域和类似的区，比如对应于天空、大地等的图像区域。

应用于背景深度分布的图像自适应滤波可以对应于应用于突出模板的图像自适应滤波，即该滤波可以实质上由下式给出：

d_{i}^{k} = \underset{j}{Σ} ω_{ij} d_{j}^{k - 1}

其中，背景深度模板在位置i处的当前值d_i ^k根据用于相邻像素j(在适当选择的足迹内)的先前值(在第k-1次迭代时获得的)d_j ^k-1计算。与用于突出模板的权重相同的权重可以用于背景深度图。

图5示出应用于巨石阵的图像501的方法的实例。在该实例中，使用上述滤波器并且基于图像501来滤波普通倾斜深度分布503，从而产生背景深度图505。可以看出，图像自适应滤波已经导致具有印在预定分布上的图像的背景深度图，由此提供改进的深度图。

背景处理器205耦合到对象深度处理器207，该对象深度处理器207执行步骤309，其中确定突出对象的深度。在该实例中，取决于突出对象在图像中位于何处以及指定给相邻背景的深度来向该突出对象分配深度。

特别地，突出区域将典型地对应于站在大地上的对象。通过从图像的底部到顶部的图像扫描来确定这些区的深度。在一些实施例中，分配给对象的深度可以简单地是在突出对象由扫描过程首先检测的点处背景深度图的深度，即在该突出对象接触到地面的位置处背景的深度。

在其他实施例中，可以使用更复杂的方法，其中分配给像素的图像深度被确定为像素周围区中的图像深度的函数。特别地，对象深度处理器207可以考虑适当足迹内的所有像素。足迹中的未被分配深度级的所有像素被忽略，而对已经被分配深度级的所有像素进行平均并且将得到的深度级分配给像素。所述平均典型地可以被加权，从而使得属于相同突出对象的像素权重比属于背景的像素的权重更高。该加权可以明显更强，这是因为突出对象的像素将被有效地指定该突出对象周围的像素的平均深度级，除非像素的数量非常少(或为零)，在这种情况下背景深度级将被考虑用于深度级。

因此，从深度图的下部扫描的对象深度处理器207将对于每一个突出像素检查其深度已经被分配的相邻突出像素的存在。它还针对非突出像素进行检查，但是为这些像素给出低得多的权重。在该方法中，具有复杂拓扑布局的对象具有向突出对象的明显改进的深度指定。而且，可以在直接导致组合的深度图的单个扫描中实现向突出和非突出的区域的深度分配。

对象深度处理器207通过结合背景深度图和突出区的深度数据来生成图像的深度图。特别地，对象深度处理器207可以对应于具有由上述方法确定的深度值的突出区来重写背景深度图中的任何值。因此推导出所得的图像深度图。

在该实例中，对象深度处理器207耦合到执行步骤311的后处理器209，其中在所得的深度图上执行适当的后处理。特别地，可以在深度图上执行降噪滤波以生成改进的深度图。例如，可应用统计处理，其可以减少噪声同时保留深度图中最重要的细节。还可以结合统计的去噪处理来使用附加的图像信息(比如边界的位置)。作为特定实例，可以应用低通空间滤波。该低通滤波可以是图像自适应的。

在一些实施例中，可以借助于不同的深度级算法来确定突出对象上的深度信息。例如，不同的深度线索(比如视差线索)可以用于确定给定的突出对象的深度级。在这种情况下，对象深度处理器207可以使用该深度信息来将深度值指定给突出对象。

对象深度处理器207可以被配置为：使用各种深度线索以从图像建立深度。这些线索中的许多紧密地链接到人类视觉系统中的深度感知。这样的深度线索可以基于单个图像(所谓的单眼线索)、或基于多个图像(比如双眼线索)。本领域技术人员周知如何能够根据双眼线索建立深度。

多个随时间(over time)的单眼线索可以可替代地用于建立称为单眼运动视差线索的事物。在单眼运动视差的情况下，对象到相机的距离影响对象相对于场景剩余部分的运动。例如当运动相机成像稳定的对象时，认为到相机的距离越小，那么连续的帧中的位移越大。还可以有利地使用其他深度线索，包括例如涉及建立水平线和灭点的直线透视。

可替代地或附加地，对象深度处理器207可以响应于突出对象的深度值来修改背景深度图的被分配的深度值。例如，对象深度处理器207可以滤波在突出对象的下部周围区域中的背景深度图，从而使得在突出对象接触到背景的位置处的背景深度被修改以与突出对象的深度一致。

特别地，上述用于基于背景深度值向突出对象分配深度值的相同滤波方法可以相反地(conversely)用于基于分配给突出对象的深度值向背景深度图分配深度值。特别地，使用突出像素的高权重和非突出像素的低权重的滤波可以用在从突出对象的下部边界延伸进入背景区域的区域中。通过修改相对权重和使用的足迹，可以获得突出对象对背景深度图的适当影响。

将被理解的是，为了清楚的原因，参照各种功能单元和处理器给出了本发明的实施例的以上描述。然而，显然，可以在不损害本发明的情况下使用在各个功能单元或处理器中的任何适当的功能分配。例如由单独的处理器或控制器执行的所示的功能可以由同一个处理器或控制器执行。因此对特定功能单元的引用仅仅被看作对用于执行所述功能的合格装置的引用，而并不指示严格的逻辑或物理结构和组织。

本发明可以以任意合适的形式实现，这些形式包括硬件、软件、固件、或这些形式的任意组合。本发明可选地可以至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和组件可以以任何合适的方式物理地、功能地和逻辑地实现。事实上，功能操作可以在单个单元、多个单元中实现，或作为其他功能单元的一部分而实现。同样，本发明可以在单个单元中实现或可以物理地和功能地分布在不同的单元和处理器上。

已经主要参考单个图像描述了本发明，但是本发明可以具有相同优点地应用于视频序列的各个帧。当应用于视频时，可以使用预定深度分布的使用来在没有运动的情况下提供深度线索。本领域技术人员将清楚，对于运动视频，生成的深度图随时间的连续性特别地相关联。因此，在优选实施例中，根据本发明生成的深度图的后处理应用时间深度图增强，时间深度图增强实现了在一起待审批的申请EP06301011中描述的深度图传播。

虽然已经结合一些实施例描述了本发明，但是不意欲将本发明限于这里所叙述的具体形式。而是本发明的范围仅仅由所附权利要求限定。此外，虽然特征可以表现为是结合特定实施例而描述的，但是本领域技术人员将会认识到可以根据本发明组合所述实施例的各种特征。在权利要求中，术语包括不排除其他元件或步骤的存在。

而且，虽然多个装置、元件或方法步骤被单独地列出，但是可以通过单个单元或处理器实现它们。此外，虽然各个特征可以包括在不同的权利要求中，但是可能可以有利地将这些特征组合起来，并且在不同权利要求中包括这些特征也不表示组合这些特征不是可行的和/或有利的。而且，在权利要求的一个条目中包括特征不表示对该条目的限制，而是指示如果合适，该特征同样适用于其他权利要求条目。而且，权利要求中特征的顺序不表示该特征必须执行的任何特定顺序，并且特别地，方法权利要求中的各个步骤的顺序不表示这些步骤必须以此顺序执行。而是，这些步骤可以以任何适当的顺序执行。另外，单数引用不排除多个，因此对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅仅作为澄清的实例而提出，并且不应当被解释为以任何方式限制权利要求的范围。

Claims

1.一种图像处理单元，包括：

第一装置(101)，用于生成图像的图像对象分离模板，该图像对象分离模板指示图像对象与背景区域的分离；

第二装置(103)，用于通过滤波所述图像对象分离模板来生成修改的图像对象分离模板，所述滤波适于响应于图像的图像特性，所述图像特性表示亮度特性和颜色特性中至少一个；

第三装置(105)，用于响应于所述修改的图像对象分离模板生成图像的图像深度图；该图像深度图包括表示所述图像的至少一个图像区的深度的数据。

2.权利要求1的图像处理单元，其中所述第二装置(103)被布置为：响应于所述图像的第一像元的图像特性和在接近所述第一像元的图像区中的所述图像的至少一个像元的至少一个图像特性来修改所述第一像元的图像对象分离模板的值。

3.权利要求1的图像处理单元，其中所述第二装置(103)被布置为：响应于邻近的图像区中第二像元的图像对象分离模板中的值来修改第一像元的图像对象分离模板的值。

4.权利要求1的图像处理单元，其中所述第一装置(101，201)被布置为：响应于像元的颜色差异分析来从背景中分离图像对象。

5.权利要求1的图像处理单元，其中所述图像对象分离模板指示图像对象与背景区域之间的二值边界。

6.权利要求1的图像处理单元，其中所述第二装置(103，203)被布置为：通过将阈值应用到所述图像对象分离模板的滤波的值来生成作为对象分离模板的修改的图像对象分离模板。

7.权利要求1的图像处理单元，其中所述第三装置(105，205)被布置为：响应于预定的深度分布生成用于所述背景区域的背景深度图。

8.权利要求7的图像处理单元，其中所述第三装置(105，205)被布置为：通过响应于所述图像的图像特性滤波所述预定的深度分布来修改所述预定的深度分布。

9.权利要求7的图像处理单元，其中所述第三装置(105，207)被布置为：响应于用于邻近背景区域的背景深度图的深度值来向图像对象分配深度值。

10.权利要求7的图像处理单元，其中所述第三装置(105，207)被布置为：响应于在与一个像元相邻的区中的像元的分配的深度值来向该像元分配深度值，所述分配的深度值在权重上取决于它们是被分配给图像对象的像元还是被分配给所述背景区域的像元。

11.权利要求7的图像处理单元，其中所述第三装置(105，207)包括：

用于响应于算法向图像对象分配深度级值的装置；以及

用于响应于分配给所述图像对象的深度级修改所述背景深度图的装置。

12.权利要求1的图像处理单元，其中所述第三装置(105，209)被布置为：在经修改的图像对象分离模板上执行降噪算法。

13.一种多视图显示设备，包括图像处理单元，该图像处理单元包括：

用于生成图像的图像对象分离模板的装置(101)，该图像对象分离模板指示图像对象与背景区域的分离；

用于通过响应于所述图像的图像特性滤波所述图像对象分离模板来生成修改的图像对象分离模板的装置(103)，所述图像特性表示亮度特性和颜色特性中至少一个；以及

用于响应于经修改的图像对象分离模板生成图像的图像深度图的装置(105)；该图像深度图包括表示所述图像的至少一个图像区的深度的数据。

14.一种生成图像深度图的方法，该方法包括下列步骤：

生成(301，303，307)图像的图像对象分离模板，该图像对象分离模板指示图像对象与背景区域的分离；

通过响应于所述图像的图像特性滤波所述图像对象分离模板来生成(305，307)修改的图像对象分离模板，所述图像特性表示亮度特性和颜色特性中至少一个；以及

响应于经修改的图像对象分离模板生成(309，311)图像的图像深度图；该图像深度图包括表示所述图像的至少一个图像区的深度的数据。