CN107005688B

CN107005688B - 三维图像的视差处理

Info

Publication number: CN107005688B
Application number: CN201580068247.XA
Authority: CN
Inventors: C.瓦雷坎普; P.L.E.范德瓦勒
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2014-10-14
Filing date: 2015-09-24
Publication date: 2020-01-10
Anticipated expiration: 2035-09-24
Also published as: TW201622418A; JP6754759B2; KR102161785B1; RU2017116578A3; JP2017536742A; KR20170070148A; RU2017116578A; CA2964292A1; WO2016058801A1; CN107005688A; BR112017007453A2; TWI678098B; EP3207698B1; US10212407B2; US20170223331A1; EP3207698A1

Abstract

一种用于降低边缘处、并且特别地覆盖物处的视差估计错误的可见度的设备。该设备包括接收器（401），该接收器用于接收通过至少图像值（视亮度/对比度值）和视差值表示的三维图像。子集选择器（403）评估用于像素组的图像值的图像属性准则并且确定对于其而言满足图像属性准则的该像素组的像素子集。该准则可以例如反映像素是否属于图像对象边缘。分布评估器（405）生成用于像素子集的视差值的频率分布，并且分析器（407）确定用于频率分布的形状属性（峰的存在）。调适器（409）响应于形状属性而确定视差重映射，并且重映射器（411）通过应用视差重映射而修改三维图像的视差值。该方法可以在很可能存在覆盖图形时例如降低图像深度。

Description

三维图像的视差处理

技术领域

本发明涉及三维图像的处理，并且具体地但非排他性地，涉及包括图形覆盖物的三维图像的视差（disparity）处理。

背景技术

三维（3D）显示器通过向观看者的双眼提供被收看场景的不同视图而将第三维添加至观看体验。这可以通过让用户佩戴用以将显示的两个视图分开的眼镜而实现。然而，由于这可能被认为对于用户而言不方便，因而在许多情景中优选的是使用自动立体显示器，其使用显示器处的构件（诸如柱状透镜或者屏障）分开视图并且在不同的方向上发送它们，在这些方向上，它们可以单独地到达用户的眼睛。对于立体显示器而言，需要两个视图，而自动立体显示器典型地需要更多的视图（诸如例如九个视图）。

为了满足对于3D图像效果的愿望，内容被创建为包括描述捕获的场景的3D方面的数据。例如，对于计算机生成的图形而言，可以开发三维模型，并且将其用于从给定的观看位置计算图像。这样的方法例如经常用于提供三维效果的计算机游戏。

作为另一个示例，诸如电影或电视节目之类的视频内容日益被生成为包括某些3D信息。这样的信息可以使用专用3D相机来捕获，所述相机从稍微偏移的相机位置捕获两幅同时的图像。在一些情况下，可以从进一步偏移的位置捕获更多的同时的图像。例如，可以使用相对于彼此偏移的九个相机来生成与九视图自动立体显示器的九个视点相应的图像。

然而，一个显著的问题在于，附加的信息导致数据量的大幅增加，这对于视频数据的分发、传送、处理和存储是不切实际的。因此，3D信息的高效编码是至关重要的。因此，开发了高效的3D图像和视频编码格式，其可以大幅降低所需的数据速率。

一种流行的用于表示三维图像的方法是使用具有关联的深度数据的一幅或多幅分层二维图像。例如，可以使用具有关联的深度信息的前景和背景图像来表示三维场景，或者可以使用单幅图像和关联的深度图。

编码格式允许高质量再现直接编码的图像，即，它们允许高质量再现与图像数据针对其被编码的视点相应的图像。此外，编码格式允许图像处理单元生成用于相对于捕获的图像的视点被移位的视点的图像。类似地，可以基于与图像数据一起提供的深度信息而在该图像（或者这些图像）中移动图像对象。此外，可以使用遮挡信息填充未被图像表示的区域，如果这样的信息可用的话。

然而，尽管使用具有提供深度信息的关联的深度图的一幅或多幅图像编码3D场景允许非常高效的表示，但是所得到的三维体验高度依赖于（这些）深度图提供的足够精确的深度信息。

此外，很多内容被生成或者提供作为立体图像而没有关联的深度信息。对于许多操作而言，相应地希望基于深度估计确定用于场景和图像对象的深度信息。在实践中，图像之间的视差直接反映对象的深度，并且术语深度和视差经常互换地使用。具体地，视差值也是深度值，并且深度值也是视差值。

已知用于深度/视差信息的许多不同的技术。视差估计可以用于各个不同的3D相关应用，包括例如根据立体的多视图再现、用于立体观看的视差调节、用于机器人导航的机器视觉等等。

在视差估计中，估计两幅或更多幅图像中的相应点之间的距离，通常目的是使用已知的相机参数经由三角测量推断深度。例如，如果提供了与不同观看角度相应的两幅图像，那么可以在这两幅图像中标识匹配的图像区（region），并且可以通过这些区的位置之间的相对偏移估计深度/视差。因此，可以应用算法来估计两幅图像之间的视差，其中这些视差直接指示相应对象的深度。匹配区的检测可以例如基于跨两幅图像的图像区的互相关。视差估计的一个示例可以在D. Scharstein and R. Szeliski.“A taxonomy andevaluation of dense two-frame stereo correspondence algorithms”,International Journal of Computer Vision, 47(1/2/3):7-42, April-June 2002中找到。

然而，尽管在许多情形下视差估计可能对于确定深度信息是有用的，但是它往往不提供理想的性能，并且生成的深度信息可能噪声相当多并且包括不准确之处。

US2011/234765公开了一种能够抑制容易出现在前景与背景之间的边界近邻中的错误的校正并且以高精确度生成位差（parallax）图的设备。

US2013/308826公开了当频率分布的峰离散地出现在其中位差（距离信息）为变量并且距离信息的分布宽度为宽的直方图上时，表示为直方图的目标区通常为其中离立体相机的距离是离散的较近对象和较远对象共存的区并且称为“透视冲突区”。

在许多情况下，具有大的滤波器内核的颜色自适应（双边）滤波器被应用于对低分辨率视差估计升尺度（up-scale）或者更经常地被应用于降低视差估计中的错误/噪声。当应用于3D视频的基于图像的再现时，该滤波器确保了稳定并且经常平滑的视差图。然而，它也导致滤波操作所造成的新伪像。如果对象，并且尤其是其边缘，具有变化的颜色轮廓，那么视差值往往也会（不正确地）在边缘上变化。这样的变化的颜色轮廓可能例如由照明变化或者阴影造成。这在整个对象上造成视差变动，并且在合成视图中导致失真的边缘。这些失真对于人类观测者而言是令人烦恼的，因为我们的人类视觉系统对于笔直边缘（的失真）特别敏感。

这样的失真诸如例如在存在图形覆盖物时可能造成人类观测者感知的显著的质量降低。

为了说明这点，可以考虑图1的立体图像。在该示例中，纹理图像被图形覆盖物覆盖。图2图示出左边图像和估计的基于块的视差。错误在视差图中清晰可见。图3图示出左边图像以及将颜色自适应滤波应用到图2的视差图之后的估计的视差。尽管视差图的块更少，并且看起来更平滑，但是在文字周围的区域仍然存在大量的视差错误。

对于其他生成用于三维图像的深度信息的方法而言，可能出现类似的深度和视差伪像，并且其可能降低呈现给用户的所得到的三维图像的感知的质量。

因此，生成改进的视差数据将是有利的，并且特别地，生成或者确定允许提高灵活性、降低复杂度、便于实现、改进感知的深度、提高性能、减少感知的深度伪像和/或改进三维图像的视差值将是有利的。

发明内容

因此，本发明寻求优选地单独地或者以任意组合地减轻、缓解或者消除上面提到的缺点中的一个或多个。

依照本发明的一个方面，提供了依照权利要求1的设备。

本发明对于许多应用以及在许多情景中可以提供改进的三维图像，并且在许多实施例中可以提供改进的三维图像，其中可以减轻或者减少视差错误、不准确之处或者伪像。特别地，本发明在许多实施例中可以适合于为三维图像减轻视差伪像、错误和不准确之处，其中通过基于例如立体图像的视差估计生成视差数据。特别地，可以为可能潜在地包括诸如字幕、文本、标题等等覆盖图形的图像生成改进。

该方法在许多实施例中可以被布置成自动地调适处理的效果以便反映图像包括覆盖图形的似然率。

特别地，本发明人认识到，不仅视差错误和噪声可能在图形覆盖物周围更普遍（例如当通过视差估计生成视差时），而且可以通过考虑特定特性以及这些特性如何在深度维度中分布来估计图像包括图形覆盖物的似然率。本发明人进一步认识到，可以通过这样的深度/视差分布的这样的特性所控制的（通常位置上非特定的）视差重映射来减轻视差退化对从图像加深度进行再现的不利影响。

视差值可以是指示像素的视差或深度的任何值。视差值具体地可以指示场景的两幅图像中的相应像素之间的水平距离，其中这两幅图像与不同的观看方向相应。视差值指示相应像素的深度，并且等效地，深度值指示视差。因此，深度值也是视差值，并且视差值为深度值。将领会的是，术语深度和视差可以酌情被看作等效的术语。因此，对视差的引用可以酌情由对深度的引用代替，并且对深度的引用可以酌情由对视差的引用代替。

视差值可以具有与图像值不同的分辨率，并且具体地，可以以比图像值更低的分辨率提供视差值。因此，在一些实施例中，两个或更多像素可以共享相同的视差值，即，视差值对于多个像素而言可以是公共的或者共享的。

像素的图像值可以是指示像素的色度、彩度（chroma）、亮度、明度（luma）、强度、视亮度（brightness）或者颜色属性中的任一个的任何值。图像值可以为包括多个分量或值的复合图像值。具体地，图像值可以是用于不同颜色通道的值集合，诸如例如RGB值。

视差重映射可以是从输入视差值生成输出视差值的函数或映射。视差重映射可以例如通过数学方程/函数表示或者例如表示为查找表。

依照本发明的一个可选的特征，形状属性指示频率分布的至少一个峰的属性。

这可以提供特别有利的性能，并且在许多情景中可以提供图像是否包括覆盖图形元素的特别良好的指示。

所述至少一个峰的属性可以例如为量值、宽度或者存在概率估计。

在一些实施例中，形状属性可以指示频率分布的峰度（peakedness）。峰度度量可以被生成并且用作形状属性。峰度可以包括多个峰的考虑，并且可以例如包括存在多少峰的考虑（依照适当的峰准则）。

依照本发明的一个可选的特征，调适器被布置成响应于频率分布的峰度增大而增加视差重映射所提供的视差压缩。

这在许多实施例中可以提供改进的性能。特别地，视差重映射可以包括对于至少一个范围的视差水平的视差压缩。该视差压缩可以将视差范围映射成更小的视差范围，并且因此可以降低深度变动。

依照本发明的一个可选的特征，分析器被布置成响应于选自以下组的至少一个参数而确定形状属性，该组为：频率分布的最大频率；相对于频率分布的平均频率的频率分布的最大频率；对于频率分布的峰的宽度度量；相对于峰频的视差水平邻域中的频率的频率分布的峰频。

这在许多实施例中可以提供改进的性能。

依照本发明的一个可选的特征，分析器被布置成响应于至少频率分布的模式的量值而确定形状属性。

这在许多实施例中可以提供改进的性能。

依照本发明的一个可选的特征，子集选择器被布置成生成用于像素组的像素的边缘检测指示，该边缘检测指示指示像素是否属于图像对象边缘；并且其中图像属性准则包括对于边缘检测指示的要求。

这可以提供特别有利的性能，并且在检测覆盖图形以及调适视差数据以反映这点中是特别高效的。图像属性准则具体地可以包括以下要求：边缘检测指示超过一定阈值（例如，颜色通道值在当前像素与邻近像素之间差异超过总范围的比如25%）。

依照本发明的一个可选的特征，子集选择器被布置成生成用于像素组的每个像素的图像属性过渡度量，并且图像属性准则包括对于图像属性过渡度量的要求。

这可以提供特别有利的性能，并且在检测覆盖图形以及调适视差数据以反映这点中是特别高效的。图像属性准则具体地可以包括以下要求：图像属性过渡度量超过一定阈值（例如，颜色通道值在当前像素与邻近像素之间差异超过总范围的比如25%）。图像属性过渡度量具体地可以指示像素邻域中图像属性的（空间）梯度或者变化程度（例如视亮度和/或颜色变化）。

依照本发明的一个可选的特征，图像属性准则包括对于像素的亮度和彩度中的至少一个的要求。

这在许多实施例中可以提供特别有利的性能，并且在检测覆盖图形以及调适视差数据以反映这点中是特别高效的。图像属性准则具体地可以包括以下要求：亮度超过一定值或者彩度属于给定颜色范围。

在一些实施例中，子集选择器可以被布置成生成用于像素组的每个像素的颜色饱和度度量，并且图像属性准则可以包括对于颜色饱和度度量的要求。

这在许多实施例中可以提供特别有利的性能，并且在检测覆盖图形以及调适视差数据以反映这点中可以是特别高效的。图像属性准则具体地可以包括以下要求：颜色饱和度度量超过一定阈值（例如，从像素颜色到白色的颜色空间距离度量超过最大值的例如50%）。

依照本发明的一个可选的特征，重映射器被布置成仅仅在视差值的视差范围的子范围内修改视差值。

这在许多实施例中可以改进性能并且特别地可以提供感知质量改进。在许多实施例中，子范围可以是显示器/屏幕水平之前的（即与图像之间的零视差相应的图像平面之前的）子范围。

依照本发明的一个可选的特征，分析器被布置成响应于仅仅频率分布的视差值子范围而确定形状属性。

依照本发明的一个可选的特征，视差重映射在至少视差水平子范围内是线性重映射，并且调适器被布置成响应于形状属性而确定用于线性重映射的重映射系数。

这在许多实施例中可以提供改进的性能和/或便利的实现。

依照本发明的一个可选的特征，分布评估器被布置成在生成频率分布时对像素子集的像素加权，用于像素的权重取决于像素的图像位置。

这在许多实施例和情景中可以提供改进的对于视差伪像的感知减轻。

依照本发明的一个可选的特征，子集选择器被布置成评估用于像素组的每个像素的第二图像属性准则，并且确定对于其而言满足第二图像属性准则的像素组的第二像素子集；并且其中所述设备被布置成响应于用于第二像素子集的视差值的频率分布而确定视差重映射。

在一些实施例中，所述设备可以被布置成确定用于第二频率分布的第二形状属性，并且响应于所述形状属性和该第二形状属性二者而确定视差重映射。

在一些实施例中，所述设备可以被布置成确定用于所述像素子集和所述第二像素子集二者的视差值的频率分布。

依照本发明的一个方面，提供了一种依照权利要求11的方法。

本发明的这些和其他方面、特征和优点根据以下描述的（多个）实施例将是清楚明白的，并且将参照所述实施例进行阐述。

附图说明

本发明的实施例将仅仅通过示例的方式参照附图进行描述，在附图中

图1图示出包括具有覆盖图形的左右眼图片的立体3D图像的一个示例；

图2图示出由左眼图片和通过从图1的立体图像的视差估计生成的视差图所表示的图1的3D图像的一个示例；

图3图示出对视差图滤波之后的图2的3D图像的一个示例；

图4图示出依照本发明一些实施例的用于处理3D图像的设备的一个示例；以及

图5图示出在通过图4设备的一个示例性实施例处理之后的图3的3D图像的一个示例。

具体实施方式

以下描述将聚焦于其中基于图像是否包括覆盖图形的估计处理输入三维图像的实施例。然而，将领会的是，本发明并不限于这样的实施例或应用，而是可以适用于许多不同的应用和图像。

图4图示出一种用于处理三维（3D）图像的设备。

该设备包括被布置成接收3D图像的接收器401。3D图像由像素组成，并且这些像素中的每一个与指示该位置处看见的从对象辐射的可见光的图像值以及指示场景中该对象的深度的视差值关联。

接收器可以例如为网络接口、介质读取器、光盘读取器、电视接收器等等，或者事实上可以实现为能够从适当的外部或内部源接收图像数据的任何适当的硬件。

典型地，为图像的像素提供图像值。图像值可以指示像素的空间位置的可见光辐射特性，即图像值描述针对图像的观看方向的从该像素位置辐射的光的属性。图像值典型地与光强度（视亮度）和/或颜色有关，并且具体地可以指示亮度、明度、彩度、色度、颜色和视亮度中的一个或多个。

在许多实施例中，图像值可以是复合值，所述复合值包括例如与颜色表示的不同分量相应的多个子值，诸如例如Yuv表示的亮度值和两个彩度值，或者RGB表示的三个颜色通道值。

典型地，以与用于图像的像素分辨率相应的分辨率提供图像值，或者等效地，像素分辨率可以通过图像值分辨率限定，其中对于每个像素提供一个值。

除了图像值之外，3D图像进一步包括深度信息。在该示例中，该深度信息以视差值的形式提供。视差值指示在相应像素位置处看见的图像对象的深度。

将领会的是，视差值可以是指示图像对象深度的任何值，包括例如直接视差指示（例如针对给定视角差异以像素为单位测量的）或者简单地提供深度指示的z值。还将领会的是，视差值可以是有符号值，并且对于与屏幕水平或者显示器深度相应的零视差经常可以具有零值，并且视差值的符号从显示器水平的后面到前面变化。还将领会的是，在下文中，对于视差值的引用可以包括无符号值，所述无符号值包括直接的Z值或者绝对视差指示。

用于图像的视差值被提供为数字值。因此，视差值被提供为量化的值，并且因此由多个可能的视差水平之一表示。因此，将视差范围划分为多个视差水平，并且每个视差值作为这些可能的视差水平之一而给出。相应地，视差水平指的是视差值可以采取的可能值，并且视差值与像素的单个视差水平相应。视差水平因此是视差值的可能值。

在许多实施例中，图像值和视差值的分辨率可以不同。事实上，典型地，在具有相对于图像值或者像素降低了的分辨率的深度或视差图中提供视差值。因此，在一些实施例中，可以为像素组提供一个视差值，即像素组中的每一个像素可以与同一视差值相联系。

接收器401耦合到子集选择器403，该子集选择器被布置成评估用于像素组的每个像素的图像值的图像属性准则。子集选择器403然后生成包括对于其而言满足图像属性准则的所有像素的像素子集。

因此，子集选择器403对于每个像素都考虑与图像值（即与诸如亮度和/或彩度值之类的视觉分量）有关的准则。基于该评估，生成像素子集，并且因此具体地标识出满足特定视觉准则的像素子集。

子集选择器403可以以适当的处理平台或者任何其他适当的硬件实现。例如，微处理器可以被布置成执行所描述的比较并且选择用于该子集的像素。该处理器可以包括可以将用于这些像素的数据发送至外部源的输出接口电路。

子集选择器403耦合到分布评估器405，该分布评估器生成用于像素子集的视差值的频率分布。分布评估器405可以例如被实现为诸如微控制器或者微处理器之类的单独的硬件，具有用于从实现子集选择器403的微控制器或者微处理器接收数据的接口电路。

频率分布因此可以对于不同组或类别的视差水平反映所述子集中的像素出现的数量。这些类别中的每一个可以称为容器（bin）（与频率分布的直方图表示相应）。在许多实施例中，视差值可以具有给定的（典型地相对较低的）分辨率。例如，视差可以由允许256个不同的视差水平的8比特值给出。在一些实施例中，每个类别可以与一定视差水平相应，即，对于每个可能的视差值（至少在给定范围内）存在一个类别。在其他实施例中，类别可以覆盖多个可能的视差水平，例如，每个类别可以作为一定视差水平范围而给出，其中每个范围包括一个或多个视差水平。

在许多实施例中，用于每个类别的频率分布值简单地作为子集中具有落入该类别的视差值的像素的数量之和而给出。具体地，在其中每个类别作为单个视差水平而给出的实施例中，分布评估器405可以被布置成将用于一定类别的频率分布值确定为子集中具有与用于该类别的视差水平相应的视差值的像素的数量。

因此，分布评估器405生成频率分布，该频率分布反映具有与图像属性准则所限定的特性相应的视觉特性的像素如何在深度/视差维度下分布。

分布评估器405耦合到分析器407，该分析器被布置成确定用于频率分布的形状属性。该形状属性反映分布的形状，并且具体地反映类别/容器的量值如何在整个分布上变化。

分析器407可以例如实现为处理平台形式的独立硬件，具有用于从实现分布评估器的硬件接收数据的接口电路。例如，微处理器或者专用硬件集成电路可以用来实现分析器407。

分析器407具体地可以生成指示频率分布的形状属性的单个值。形状属性可以例如为分布的最大量值。该最大值可以是大量检测的像素是否位于窄深度范围内（即检测的像素是否集中在特定深度下或者检测的像素是否更均匀地散布于该深度范围）的指示。

作为一个示例，形状属性可以被生成为反映例如白色覆盖图形存在于图像中的似然率。例如，在一些情景中，可以接收到可能包含或者可能不包含标题的图像。这些标题具体地可以假定（或者已知）为白色，并且典型地，标题将是置于屏幕水平前面的一个特定深度下的图形对象。因此，在该示例中，图形（标题）覆盖物通过由白色像素形成来表征，这些白色像素处于屏幕前面的一个特定视差水平处。子集选择器403首先评估图像中所有像素的颜色，并且生成包括依照适当的图像属性准则（例如所有RGB值都足够高）被认为是白色的所有像素的像素子集。然后，为这些像素生成频率分布，其中类别/容器与不同的视差水平相应。在这种情况下，作为覆盖图形（标题）的部分的所有白色像素将落入同一容器/类别中，而其他白色像素很可能更均匀地分布于不同类别/容器（即，它们将倾向于在深度上分布）。

在这种情况下，分析器407可以确定形状属性，该形状属性指示白色像素是否倾向于集中到单个容器/类别中（即在相同深度下）或者它们是否倾向于更均匀地分布。在该示例中，分析器407可以简单地生成指示有多少像素在具有最多像素的类别/容器中的形状属性，即，它可以将形状属性生成为最大量值。当图像包含标题覆盖物时，这很可能是高的，因为标题的所有白色像素处于相同的深度并且因此落入相同的类别中。当图像不包含标题覆盖物时，它很可能较低，因为白色像素均匀散布。在一些情况下，可以将量值归一化到子集中的像素总量。因此，一个类别中的最大像素数量形式的形状属性可以提供该图像是否包含标题覆盖物的良好指示。

更一般地，可以生成反映当前图像是否包括满足特定视觉准则并且也位于窄深度范围内（并且具体地在同一深度/视差水平下）的大量像素的形状属性。这样的形状属性具体地可以反映具有给定视觉特性的平坦图像对象存在于图像中的概率。该方法可以特别适合检测可以通过经常具有均质且特定的视觉特性以及通过非常平坦（并且典型地限于一个视差水平）来表征的诸如覆盖图形之类的对象。

由于图形对象经常置于屏幕前面（当左眼图像用作视差矢量的参考时，在负的视差处），可能进一步要求例如包含最大数量的像素的视差容器必须与处于屏幕前面的位置相应（即，本示例中的负或者零视差）。因此，忽略与位于屏幕后面的对象相应的容器。

分析器407耦合到调适器409，该调适器被布置成响应于形状属性而确定视差重映射。

调适器409耦合到重映射器411，该重映射器也耦合到接收器401。重映射器411接收来自接收器401的3D图像以及来自调适器409的视差重映射。

调适器409和重映射器411可以以单独的硬件实现，并且具体地可以实现为单独的处理平台，所述处理平台包括适当的微处理器或者微控制器，以及能够从实现所述设备的其他功能部分的其他硬件处理平台接收以及向其发送数据的关联的接口电路系统。

重映射器411被布置成通过将视差重映射应用到接收的3D图像的视差值来修改这些视差值。视差重映射提供作为输入视差值的函数的输出视差值，其中该函数/映射取决于形状属性。

具体地，视差重映射可以包括视差压缩，使得对于形状属性的至少一些值，至少一个视差范围被压缩为更小的视差范围。

作为一个特定示例，如果形状属性指示频率分布的相对较低的最大量值（并且因此指示接收的图像包括任何覆盖图形的概率相对较低），那么视差重映射可以被生成为不实际地改变任何视差值，即，输出值可以被生成为与输入视差值完全相同。在该示例中，输出/修改的3D图像可以与接收器接收的图像相同。

然而，如果形状属性指示频率分布的相对较高的最大量值（并且因此指示接收的图像包括任何图形覆盖物的概率相对较高），那么视差重映射可以被生成为减小屏幕水平前面的对象的视差范围。例如，如果从128至255的视差值指示屏幕前面的深度水平，那么视差重映射可以被生成为使得它将该范围向下压缩至从128至160的值。因此，在所得到的输出/修改的3D图像中，屏幕前面的深度范围大幅减小。

结果，视差值中的错误和不准确之处的感知的影响可以随着深度范围的减小而大幅减小。由于这样的伪像经常在覆盖图形周围特别普遍且可察觉，所述设备允许取决于接收的3D图像的特定分析的调适以便确定它包括覆盖图形元素的概率的指示。

事实上，本发明人认识到，执行视差估计时的视差估计错误在覆盖图形对象周围特别显著。本发明人认识到，错误往往在覆盖图形对象周围更加可察觉，因为这些对象典型地在视觉属性（颜色/视亮度）和深度差异两方面从周围区域突出，并且错误往往在覆盖图形对象周围更普遍（因为这些对象典型地包含遭受视差滤波的细对象（线条，文本））。因此，本发明人认识到，视差错误往往在例如覆盖图形对象周围更普遍，并且也往往在这样的对象周围更加可察觉。

此外，本发明人认识到，可以通过应用图像的视差值的自适应重映射来减轻这些效应，并且自适应重映射可以取决于图像包括覆盖图形的概率的指示。图4的设备可以提供一种用于执行该功能的特定和有利的方法。

然而，将领会的是，图4的设备并不限于检测覆盖图形的潜在存在性，而是可以用于检测许多其他可能的图像对象或特性。特别地，应当指出的是，所描述的方法提供了一种允许深度重映射取决于具有特定视觉和深度特性的属性的存在性的方法。

还将领会的是，视差重映射不一定必须执行视差压缩，而是在其他实施例中，可能例如希望的是在特定图像属性或对象被所描述的方法检测的情况下扩展深度范围。

然而，在所描述的特定示例中，图4的设备被布置成响应于形状属性指示接收的3D图像包括覆盖图形对象的概率增大而对于至少一定范围的视差水平提高视差压缩程度。

所述方法反映了本发明人的以下认识：在图像属性以及视差方面，大多数图形对象具有特定的特性。例如，通常，图形对象位于具有恒定视差（平行于虚拟相机平面）的平面上，由于任意相机取向的原因，对于场景的其他内容/正常图像而言，情况通常不是这样。通常，图形对象包含比其他内容更陡峭的边缘。再者，真实生活场景的典型图片受到相机场深有限的影响，而图形是后来插入的并且典型地为锐利的。该特定方法也反映了本发明人的以下认识：诸如片头、字幕和标志之类的图形对象经常放置得相当远离屏幕水平，但是处于恒定视差处。这也导致视差伪像在覆盖图形对象周围非常明显，因为来自背景的视差值与覆盖图形对象的视差值混合将由于大的视差差异的原因而导致大的错误。

在该特定示例中，通过生成作为视差或深度的函数的诸如锐利边缘之类的特定图像属性的出现的频率分布来反映这些考虑。如果在某个屏幕外视差处，锐利边缘的频率超过阈值，那么很可能屏幕外图形对象存在，并且因此修改视差/深度图（具体地通过视差压缩）以便减轻视差伪像的可能存在。

实际的评估表明，根据针对给定视差水平找到的例如锐利边缘的数量的频率分布的形状属性减小所有屏幕外视差提供了非常高效的减轻。有效地，向后朝屏幕深度压缩图形对象（以及所有其他具有屏幕外视差的内容），从而使得错误不那么明显。作为一个特定示例，所述设备可以被布置成对于包括屏幕外图形对象的场景降低屏幕外深度效应，同时其对于不包括屏幕外图形对象的图像维持不变。这被发现提供了大大改进的用户体验。

使用的特定图像属性准则将取决于特定实施例和应用的特定偏好和要求。

在许多实施例中，针对选择很可能属于图像对象边缘并且具体地属于不同图像对象之间的过渡区域的像素的图像属性准则实现了特别有利的性能。

在许多实施例中，图像属性准则可以包括以下要求：像素与相邻像素之间的图像属性差异超过一定阈值。可以例如要求相邻像素处于当前像素的给定距离内（诸如例如具有到当前像素一个、两个、三个、五个或十个像素的最大距离）的像素。如果像素与相邻像素之间的图像属性差异超过一定阈值，那么可以认为当前像素是图像对象边缘的部分，并且可以将该像素包括在子集中。阈值可以例如是对于一个颜色通道值而言，色差（例如测量为各颜色通道（例如RGB）值之间的总累积差异）超过总范围的例如100%（例如，对于8比特RGB值，可能要求相应颜色通道值之间的总和差异超过256）。

在许多实施例中，图像属性准则可以要求当前像素与邻近像素之间的图像属性差异（例如强度）超过给定阈值（即，当前像素与紧邻当前像素/在离当前像素一个像素的距离内的相邻像素之间的图像属性差异）。例如，可以要求强度差异超过最大强度的比如30%。如果满足该准则，那么像素被认为是边缘像素。该准则特别地可能非常适合于检测和选择处于覆盖图形对象的边缘处的像素，因为这些像素往往具有非常锐利的边缘（典型地邻近像素之间锐利的过渡）。例如，如果亮白色图形元素覆盖在相对较暗的图像上，那么图形对象的白色边缘像素典型地将邻近与底层图像相应的较暗像素。这样的锐利过渡不太可能出现在自然场景的图像中，并且因此提供正常图像变动以及图形对象和图像内容之间的过渡之间的非常精确的区分。

因此，在许多实施例中，子集选择器403可以被布置成生成用于像素的边缘检测指示，其中该边缘检测指示指示像素是否属于图像对象边缘。适当的边缘检测指示可以例如是像素与一个或多个邻域或邻近像素之间的图像属性差异。邻域（或者邻近）像素可以例如是预定义的或者在给定邻域中找到，诸如例如导致最大差异并且具有离当前像素不超过两个像素的距离的像素。通过这种方式，生成边缘检测指示，其指示像素属于图像对象边缘的概率。

于是，图像属性准则可以要求该边缘检测指示高于给定水平。如果这样，那么认为找到了图像对象之间并且可能地在图形对象与底层图像之间的边缘。因此，认为像素是边缘像素，并且相应地将它包括在子集中以用于生成频率分布。

在一些实施例中，子集选择器403被布置成生成用于每个像素的图像属性过渡度量。所描述的当前像素与一个或多个邻域像素之间的差异的边缘检测指示也可以是适当的图像属性过渡度量。图像属性过渡度量具体地可以指示像素位置处的图像属性的梯度或变化。

在其他实施例中，图像属性过渡度量可能不具体针对检测边缘，而是替代地可以适于检测图像对象的平坦区域。例如，可以确定（例如10个像素半径的）邻域中的图像属性的方差。该方差可以用作图像属性过渡度量，并且图像属性准则可以包括仅在方差低于阈值的情况下将像素包括在子集中的要求。相应地，仅当像素属于平坦和均质的图像区域时，才将该像素包括在内。

这种方法可以例如对于检测图像中均质图形（例如单一颜色图形）的存在性是有用的，该图像不预期包括其他大面积的均质对象（诸如典型地由捕获真实生活情形的相机生成的图像）。如果所得到的频率分布在特定深度下表现处大量的像素，那么这指示图像包括作为非常均质的区域的部分并且处于特定深度水平的大量像素。这指示接收的3D图像中存在覆盖图形对象。

将领会的是，在许多实施例中，所述设备可以考虑多个值，诸如例如不同颜色通道值。在这样的情况下，所描述的方法可以例如单独地应用到每个颜色通道。所述设备可以例如对于每个颜色通道生成边缘检测指示值或者图像属性过渡度量值，并且然后将这些值组合成用来评估图像属性准则的单个边缘检测指示值或者图像属性过渡度量值。在一些实施例中，图像属性准则可以包括对于各颜色通道中的每一个的要求。

将领会的是，在其他实施例中，图像属性准则可以可替换地或者此外考虑其他参数。

在许多实施例中，图像属性准则可以包括对于像素的亮度和/或彩度的要求。例如，可以要求像素的视亮度高于给定水平和/或彩度/颜色落入特定区域内。

例如，可以要求亮度高于给定水平并且（例如RGB表示的）颜色通道值之间的最大差异低于阈值（总范围的比如20%）。这可以反映以下考虑：覆盖图形是明亮的且基本上为白色（在一些实施例中可能已知情况就是这样）。因此，在这样的示例中，所述设备可以适于基于图像是否包括位于基本上同一深度的足够大数量的基本上白色的且足够明亮的像素的考虑而调节修改的图像的深度范围。

在一些实施例中，子集选择器403可以生成用于每个像素的像素颜色属性度量，并且图像属性准则可以包括对于颜色属性度量的要求。

颜色属性度量具体地可以是颜色饱和度度量。在一些实施例中，覆盖图形可以通过使用非常饱和的颜色来表征。在这样的实施例中，子集选择器403可以生成颜色饱和度的指示。例如，可以将最大颜色通道值与第二大颜色通道值之间的差异确定为颜色饱和度度量。于是，图像属性准则可以要求该颜色饱和度度量超过一定阈值（诸如例如最大值的50%）。

分析器407确定并且调适器409考虑的形状属性可以取决于本发明的偏好和要求。

在许多实施例中，形状属性可以指示频率分布的至少一个峰的属性，诸如量值。形状属性可以是指示频率分布的峰度的属性。

在其中评估的图像包括覆盖图形的情形中，像素子集很可能包括全在同一深度层的大量像素。因此，这些像素中的许多像素将落入同一视差水平类别或容器。结果，频率分布将倾向于在非常特定的视差水平（即非常特定的容器）处具有高像素集中度。事实上，典型地所有覆盖图形对象都倾向于置于同一深度水平，并且因此在频率分布的一个容器/类别中将存在子集的非常高的像素集中度。

因此，在许多实施例中，系统可以生成反映频率分布多大程度上集中到各峰的形状属性。具有一个大而窄的峰的频率分布很可能指示覆盖图形的存在。相对平坦并且不包括任何峰的频率分布很可能指示图像不包含任何覆盖图形。

在一些情景中，图像可以包括不同深度水平的覆盖图形，并且因此这可以在频率分布中导致超过一个峰。因此，在一些实施例中，系统可以包括超过一个峰的考虑。

将领会的是，可以使用反映频率分布的峰度程度的不同形状属性。峰度可以被认为是像素在类别/容器/视差水平中的集中度的度量。

频率分布的峰度可以指示像素是否广泛分布在这些类别上，或者它们是否倾向于集中到一个或几个容器（或者可能地邻近容器的组）中。峰典型地可以通过具有比峰的邻域中的类别高得多的量值来指示。峰因此典型地可以是局部或者全局最大值。峰可以通过最大量值以及它下降有多快来表征。因此，例如，峰可以通过量值和宽度（例如在最大量值的50%处）来表征。峰度因此可以例如通过最大量值和/或宽度来指示。可替换地或者此外，峰度可以通过频率分布存在的峰的数量来指示（其中使用了适当的峰检测准则）。例如，如果频率分布包括一个或多个峰，那么可以认为图像包括覆盖图形，并且如果它不包含任何峰，那么可以认为它不包含任何覆盖图形。

例如，在一些实施例中，分析器407可以包括被布置成检测频率分布中峰的存在性的峰检测器。任何适当的峰准则都可以用来检测峰，诸如例如峰的量值必须超过平均量值或者例如两个邻近容器的量值一给定阈值。例如，如果容器的量值三倍于两个邻近容器的量值，那么可以认为存在峰。分析器407于是进而将形状属性确定为例如最大峰的高度，或者例如确定为检测的峰的组合高度。

将领会的是，在不同的实施例中可以使用不同的形状属性。

已经发现一种特别有利的方法是使形状属性基于频率分布的模式的量值。具体地，在一些实施例中，可以响应于具有最大量值的模式（即主模式）的量值生成形状属性。

因此，在一些实施例中，模式可以是全局最大值并且因此反映最常出现的类别，即对于其而言频率分布具有全局最大值的视差水平（或者视差水平范围）。然而，在一些实施例中，所述方法可以考虑一个或多个局部最大值（例如要求它们满足某些特性，诸如具有全局最大值的至少比如50%的值）。

在一些实施例中，可以使用一种用于确定形状属性的相对较低复杂度的方法。

例如，在一些实施例中，分析器407可以被布置成基于频率分布的最大频率确定形状属性，并且具体地在一些实施例中可以将形状属性直接确定为频率分布的最大频率。因此，在一些实施例中，分析器407可以简单地进而搜索频率分布的类别以便找到具有最高量值的类别。然后，形状属性可以被设置为等于该值，或者可以例如关于子集中的像素总数进行归一化。这样的方法可以被认为相应于将形状属性设置为频率分布的（主）模式的量值。

这种方法可以允许一种低复杂度的方法，然而在实践中被发现提供非常有利的结果。

在一些实施例中，分析器407可以被布置成基于相对于频率分布的平均频率的频率分布的最大频率确定形状属性。

在一些实施例中，分析器407可以被布置成基于相对于峰频的视差水平邻域中的频率的频率分布的峰频确定形状属性。最大量值具体地可以与最大量值容器的邻域中的其他容器的量值相比较。例如，它可以与比如四个周围容器的平均量值相比较。在许多实施例中，这样的方法可以提供像素是否与覆盖图形相应的更强指示。

在一些实施例中，形状属性可以例如通过标识最大频率（即频率分布中的最大量值）来确定。分析器407于是可以取回比如当前容器任一侧的两个容器的最大值。它于是可以进而确定这四个容器的平均。最后，可以给定形状属性为频率分布的最大量值除以确定的平均值。因此，形状属性指示频率分布的主峰相对于周围值有多大。相应地，生成反映峰的量值和宽度二者的形状属性。

在一些实施例中，形状属性不仅可以与邻域相比较，而且可以是与整个频率分布相比较。例如，分析器407不是仅仅从最大频率的邻域中的容器生成平均频率，而是可以确定整个频率分布（例如排除模式容器）的平均频率。在这种情况下，形状属性可以例如被生成为最大量值除以频率分布的平均频率。该参数可以提供归一化最大量值的良好指示，但是不可以准确地反映主峰的宽度。

在一些实施例中，分析器407可以被布置成基于用于频率分布的峰的宽度度量确定形状属性。例如，分析器407可以检测频率分布的最大量值。然后，它可以进而在量值小于检测的量值的比如50%之前确定距离（就容器（或者例如视差水平，如果每个容器包括超过一个视差的话）的数量而言）。由于覆盖图形典型地限于单个视差水平（即，属于覆盖图形的所有像素处于完全相同的深度水平并且因此具有相同的视差值），覆盖图形的存在将往往导致具有单个容器的宽度的峰，即，邻近的容器很可能具有比所述量值的50%更小的量值。然而，典型图像或者真实场景的图像对象往往具有更为渐进的过渡。例如，如果图像包含大的白色球，那么可以在子集中包括与该球相应的像素。然而，由于这些像素可能集中在处于小范围内但是从球中心到球边缘变化的球的深度处，过渡往往更为渐进，并且频率分布中的峰很可能在多个视差水平上散布。因此，宽度将比针对覆盖图形的情况更大，并且这可以在反映频率分布中的检测的峰的宽度的形状属性中得以反映。因此，在许多情景中，所述方法可以区分具有相同图像属性的覆盖图形和其他图像对象。

在许多实施例中，重映射器411可以被布置成执行视差值的视差压缩。因此，视差重映射可以包括将第一范围的视差水平映射到第二范围的视差水平，其中第二范围小于第一范围。在一些实施例中，第一范围可以与视差水平的整个范围相应，即与视差值的所有可能值相应。然而，在其他实施例中，视差压缩可以仅仅应用于整个视差水平范围的子范围中。

事实上，在许多实施例中，视差压缩可以限于显示器/屏幕水平前面的范围，即仅仅针对其视差值指示它处于屏幕前面的像素执行压缩。这可以反映覆盖图形典型地置于屏幕水平前面。

视差压缩典型地为视差减小。因此，重映射器411典型地可以提供减小图像中的视差（至少针对一定范围的视差）的视差重映射。

在许多实施例中，重映射器411可以被布置成响应于指示较高程度的峰度的形状属性而提高视差重映射提供的视差压缩的程度。具体地，（主）模式的量值越高，主峰等的宽度越窄，应用视差重映射所造成的压缩越高。

在一些实施例中，视差重映射可以简单地通过根据形状属性在引入视差压缩与否之间切换来调适。具体地，如果形状属性指示图像不包括显著的覆盖图形（例如，如果（主）模式的量值低于阈值，例如图像中的像素总数的20%或者子集中的像素数量的50%），那么视差重映射可以简单地为单位函数，其中输出值等于输入值（等效于视差重映射未应用到视差值）。然而，如果形状属性指示图像确实包括显著的覆盖图形（例如，如果（主）模式的量值超过阈值），那么视差重映射可以将所有屏幕外视差值压缩为零。

相应地，在这样的实施例中，系统可以自动地调适操作，使得当接收到被检测为包括覆盖图形的输入图像时，将屏幕水平前面的任何对象推回到屏幕水平。因此，覆盖图形周围的视差值中的错误和不准确之处将不那么显著，因为图形与周围区的视差差异典型地将减小。因此，减轻了视差估计错误（以3D效果为代价）。然而，如果接收到被检测为不包括覆盖图形的输入图像，那么不引入变化，并且原始图像可以被再现为包括屏幕前面的深度特性。

在许多实施例中，视差压缩将不那么剧烈，并且对形状属性的依赖性也将不那么极端。例如，在许多实施例中，视差重映射在至少视差视频子范围内（诸如例如对于屏幕水平前面的视差水平）而言可以是线性重映射。

例如，屏幕前面的视差值可以乘以具体地可以处于从0至1的区间内的重映射系数或增益。实际的增益响应于形状属性而被确定。例如，增益可以被确定为（主）模式的量值的函数。作为一个特定示例，增益可以被设置为子集中的像素总数减去具有（主）模式视差水平的视差值的像素数量除以子集中的像素总数。这可以导致这样的视差压缩，其对于频率分布的峰度增大逐步增加。

如所描述的，在一些实施例中，重映射器可以被布置成仅仅在视差值的视差范围的子范围内修改视差值。该子范围可以例如是屏幕前面的视差值范围。在其他实施例中，该子范围可以例如是更加有限或者特定的范围。

再者，在一些实施例中，分析器407可以被布置成响应于仅仅频率分布的视差值子范围而确定形状属性。例如，当确定（主）模式时，可以考虑仅仅给定范围内的视差水平。例如，由于覆盖图形典型地在屏幕前面，因而分析器407可以仅仅考虑与屏幕水平前面的深度相应的视差值。

在一些实施例中，关于其中很可能出现覆盖图形的范围的信息可能可用或者可以假设所述信息，并且分析器407可以在确定形状属性时仅仅考虑该范围。例如，可以假设覆盖图形将仅仅存在于从例如230至255（对于八比特视差值而言）的视差水平处。在这种情况下，分析器407可以仅仅针对该特定范围评估（或者事实上生成）频率分布。例如，可以将形状属性生成为从230至255的区间内的最大量值。

在下文中，将描述一种详细实现方式的一个特定示例。该示例基于检测这样的像素子集，这些像素是阶跃边缘像素。具体地，生成包括这样的像素的子集，对于这些像素而言，与邻近像素的图像值差异超过阈值。然后，对于该子集生成频率分布，并且基于该频率分布的特性调适重映射。

该示例将利用以下主要参数和变量。

参数

E _min 用来确定像素是否为阶跃边缘（即它是否属于像素子集）的阈值。E _min=30。

D _low 深度/视差值，在其以上应用重映射。D _low=128（使用从0至255的八比特视差值）。

边缘频率，在其以上应用重映射（增益g > 0）。

= 10000。

变量

N _edge[k] 作为视差水平的函数的阶跃边缘像素数量k∈{0,…,255}。

图像在像素i,j处的颜色通道c（考虑RGB值）。

像素（位置）i,j处的输入视差图值。

像素（位置）i,j处的输出（重映射的）视差图。

g 视差值{D _low,…,255}的重映射中使用的增益[0,1]。

首先，根据视差水平确定边缘像素的频率。

阶跃边缘像素的数量是一个特别有用的度量，因为大量的阶跃边缘像素通常与图形对象的发生重合。在这些边缘针对“屏幕外”视差值发生的情况下，这甚至更是如此，因为图形对象（例如片头）经常在前景中再现。

在该示例中，将作为视差水平的函数的边缘像素数量确定为：

。

因此，该方程说明了基于以下图像属性准则的频率分布的示例性生成：

以下代码片段说明了如何可以使用OpenCV类型在C++中实现该方程。该代码片段存储了边缘信息，但是从以上方程可以清楚这不是必需的。对于每个深度水平k∈{0,…,255}，只需存储N _edge。

void DetectEdges( const Mat_<Vec3b>& I,

　　　　　　　　　　　　　Mat_<int>& E)

{

// 参数

　　　　　　const int Emin = 30;

　　　　　　// 变量

　　　　　　int i,ii,j,jj,k;

　　　　　　// 初始化

　　　　　　E.setTo(0);

　　　　　　// 检测边缘

　　　　　　for (i=1; i<I.rows; i++) {

　　　　　　　　　for (j=1; j<I.cols; j++) {

　　　　　　　　　　　　　int r1 = (int) I(i-1,j)[0];

　　　　　　　　　　　　　int g1 = (int) I(i-1,j)[1];

　　　　　　　　　　　　　int b1 = (int) I(i-1,j)[2];

　　　　　　　　　　　　　int r2= (int) I(i,j-1)[0];

　　　　　　　　　　　　　int g2= (int) I(i,j-1)[1];

　　　　　　　　　　　　　int b2= (int) I(i,j-1)[2];

　　　　　　　　　　　　　int r = (int) I(i,j)[0];

　　　　　　　　　　　　　int g = (int) I(i,j)[1];

　　　　　　　　　　　　　int b = (int) I(i,j)[2];

　　　　　　　　　　　　　int dr1 = abs(r-r1);

　　　　　　　　　　　　　int dg1 = abs(g-g1);

　　　　　　　　　　　　　int db1 = abs(b-b1);

　　　　　　　　　　　　　int dr2 = abs(r-r2);

　　　　　　　　　　　　　int dg2 = abs(g-g2);

　　　　　　　　　　　　　int db2 = abs(b-b2);

　　　　　　　　　　　　　int dr = (dr1+dr2)/2;

　　　　　　　　　　　　　int dg = (dg1+dg2)/2;

　　　　　　　　　　　　　int db = (db1+db2)/2;

　　　　　　　　　　　　　if (dr+dg+db > Emin) {

　　　　　　　　　　　　　　　　E(i,j) = 1;

　　　　　　　　　　　　　}

现在，使用以下公式将范围{0,…,255}内的输入视差图重映射到{0,…,255}内的输出深度图：

其中将增益计算为：

。

因此，基于下式给出的形状属性对上面指出的视差重映射进行调适：

即，形状属性被给出为（屏幕前面的子范围内的）频率分布的（主）模式。

在该示例中，对于其中值128相应于零视差的子范围{128,…,255}确定最大频率。排除小于128的值意味着在屏幕前面存在锐利边缘的情况下，仅仅将增益设置为小于1的值。

下面的代码片段说明了如何可以在C++中实现重映射。

void RemapDepth( const vector<int>& Nedge,

　　　　　　　　　　　　　Mat_<Vec3b>& D)

{

　　　　　　// 参数

　　　　　　const int Dlow = 128;

　　　　　　const double Nlow = 10000.0;

　　　　　　// 变量

　　　　　　int i,ii,j,jj,k;

　　　　　　int Nmax = 0;

　　　　　　double gain = 0.0;

　　　　　　// 搜索直方图中的最大值

　　　　　　for (k=128; k<(int) H.size(); k++) {

　　　　　　　　　　if (Nedge [k] > Nmax) Nmax = Nedge[k];

　　　　　　}

　　　　　　// 计算增益{0,1}

　　　　　　gain = max(0.0,(double) Nlow - Nmax)/ Nlow;

　　　　　　// 重映射

　　　　　　for (i=0; i<D.rows; i++) {

　　　　　　　　　　for (j=0; j<D.cols; j++) {

　　　　　　　　　　　　　int value = D(i,j)[0];

　　　　　　　　　　　　　if (value > Dlow) {

　　　　　　　　　　　　　　　　　int remapvalue = Dlow + floor(gain*(value-128) + 0.5);

　　　　　　　　　　　　　　　　　D(i,j)[0] = remapvalue;

　　　　　　　　　　　　　　　　　D(i,j)[1] = remapvalue;

　　　　　　　　　　　　　　　　　D(i,j)[2] = remapvalue;

　　　　　　　　　　　　　}

图5图示出将该方法应用到图1-3的示例的结果。如可以看出的，所得到的文字的视差值更接近周围背景的视差值，从而避免由于视差错误而引起的大的再现错误。因此，可以实现大幅改进的3D图像再现。

先前的描述聚焦于其中根据一个参数生成像素子集的选择和分析的示例。例如，可以基于边缘检测或者颜色饱和度生成子集，并且可以相应地确定该子集的频率分布。然而，在其他实施例中，所述方法可以考虑多个参数和特性。具体地，图像属性准则可以包括多个参数的考虑。例如，为了将像素包括在子集中，图像属性准则可以要求它满足对于被认为是边缘像素的要求，并且它具有高于给定阈值的饱和度水平（例如，最大与最小颜色通道值之间的差异必须为最大范围的至少50%）。

在一些实施例中，子集选择器403可以被布置成生成多个子集，并且基于所述多个子集调适映射。例如，可以生成满足第一图像属性准则（比如对于像素为边缘像素的要求）的一个像素子集。第二像素子集可以被生成为包括满足第二图像属性准则的像素，所述第二图像属性准则例如像素必须具有高于给定阈值的饱和度水平（例如，最大与最小颜色通道值之间的差异必须为最大范围的至少50%）。

然后，基于这两个子集调适视差重映射。

这可以例如通过为每个子集生成频率分布来完成。于是，可以单独地对于每个频率分布生成形状属性。例如，可以对于用于第一像素子集的第一频率分布并且对于用于第二像素子集的第二频率分布确定模式的量值。然后，基于这两个模式确定视差重映射。具体地，可以将第一形状属性和第二形状属性组合成公共形状属性，并且可以基于此确定视差重映射。例如，可以简单地将各（主）模式的量值加在一起，并且可以根据总的组合量值计算用于视差压缩的增益。

在其他实施例中，可以将第一和第二像素子集组合成组合的像素子集，并且可以计算用于组合的子集的频率分布（相应于根据图像属性准则确定的单个像素子集，该图像属性准则具有对于要包括在该子集中的像素而言能够满足的可替换要求）。等效地，可以分别针对第一和第二子集计算第一和第二频率分布，并且然后可以将这两个频率分布组合成单个频率分布。

在先前的描述中，通过每个像素同样加权的发生来计算频率分布，即，给定类别或者深度层（或者在每个类别包括超过一个深度层的情况下，一定范围的深度层）的量值/频率被给定为该类别的子集中的像素数量。

然而，在一些实施例中，分布评估器405可以被布置成在生成频率分布时对像素加权。具体地，每个像素对类别的贡献可以被给定为可以在不同像素之间变化的值。

具体地，权重可以取决于像素的图像位置。例如，权重可以随着从像素到图像中心位置的距离的增加而减小。因此，在这样的实施例中，中心像素在频率分布中权重将高于图像边界像素，并且与边界像素相比，重映射将更严重地依赖于中心像素。

在一些实施例中，可以对于每个像素基于该像素到图像/屏幕中心位置的距离计算例如0和1之间的权重。当生成频率分布时，给定类别/视差水平的量值于是可以被确定为具有与该类别/视差水平相应的视差值的子集中的每个像素的权重的和。因此，所述方法可以被认为相应于生成这样的频率分布，其中考虑了分数的发生（而不是简单的二进制发生与否）。

将领会的是，上面的描述为了清楚起见参照不同的功能电路、单元和处理器描述了本发明的实施例。然而，将清楚的是，可以使用不同功能电路、单元或处理器之间的任何适当的功能分布而不减损本发明。例如，被示出由单独的处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对于特定功能单元或电路的引用应当仅仅视作对于用于提供所描述的功能的适当构件的引用，而不是表示严格的逻辑或物理结构或组织。

本发明可以以任何适当的形式实现，所述形式包括硬件、软件、固件或者这些的任意组合。可选地，本发明可以至少部分地实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和部件可以在物理上、功能上和逻辑上以任何适当的方式实现。事实上，所述功能可以在单个单元中、在多个单元中或者作为其他功能单元的一部分而实现。正因为如此，本发明可以在单个单元中实现，或者可以在物理上和功能上分布在不同单元、电路和处理器之间。

尽管已经结合一些实施例描述了本发明，但是本发明并不预期限于本文阐述的特定形式。相反地，本发明的范围仅由所附权利要求限制。此外，虽然特征可能看起来是结合特定实施例而被描述的，但是本领域技术人员应当认识到，依照本发明可以组合所描述的实施例的各种特征。在权利要求书，措词包括并没有排除其他元件或步骤的存在。

此外，尽管单独地被列出，但是多个构件、元件、电路或方法步骤可以由例如单个电路、单元或处理器实现。此外，尽管各个特征可以包含于不同的权利要求中，但是这些特征可能地可以有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。再者，特征包含于一种权利要求类别中并不意味着限于该类别，而是表示该特征酌情同样适用于其他权利要求类别。此外，权利要求中特征的顺序并不意味着特征必须以其起作用的任何特定顺序，并且特别地，方法权利要求中各步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用并没有排除多个。因此，对于“一”、“一个”、“第一”、“第二”等等的引用并没有排除多个。权利要求中的参考符号仅仅作为澄清的示例而被提供，并且不应当以任何方式解释为限制了权利要求的范围。

Claims

1.一种用于处理三维图像的设备，该设备包括：

接收器（401），用于接收三维图像，该三维图像的至少一个像素组的每个像素具有关联的图像值和视差值；

子集选择器（403），被布置成评估用于像素组的每个像素的图像值的图像属性准则并且确定对于其而言满足图像属性准则的该像素组的像素子集；

分布评估器（405），用于生成用于像素子集的视差值的频率分布；

分析器（407），用于确定用于频率分布的形状属性，其中该形状属性指示频率分布的峰度；

调适器（409），用于响应于形状属性而确定视差重映射，其中该调适器被布置成响应于频率分布的峰度的增加而增大视差重映射提供的视差压缩；以及

重映射器（411），用于通过将视差重映射应用到三维图像的至少一些像素的视差值而修改所述至少一些像素的视差值。

2.权利要求1所述的设备，其中分析器（407）被布置成响应于选自以下组的至少一个参数而确定形状属性，该组具有：

- 频率分布的最大频率；

- 相对于频率分布的平均频率的频率分布的最大频率；

- 对于频率分布的峰的宽度度量；

- 相对于峰频的视差水平邻域中的频率的频率分布的峰频。

3.权利要求1所述的设备，其中子集选择器（403）被布置成生成用于像素组的像素的边缘检测指示，该边缘检测指示指示像素是否属于图像对象边缘；并且其中图像属性准则包括对于边缘检测指示的要求。

4.权利要求1所述的设备，其中子集选择器（403）被布置成生成用于像素组的每个像素的图像属性过渡度量，并且图像属性准则包括对于图像属性过渡度量的要求。

5.权利要求1所述的设备，其中图像属性准则包括对于像素的亮度和彩度中的至少一个的要求。

6.权利要求1所述的设备，其中重映射器（411）被布置成修改仅仅在视差值的视差范围的子范围内的视差值。

7.权利要求1所述的设备，其中分析器（407）被布置成响应于仅仅频率分布的视差值子范围而确定形状属性。

8.权利要求1所述的设备，其中视差重映射在至少视差水平子范围内是线性重映射，并且调适器（409）被布置成响应于形状属性而确定用于线性重映射的重映射系数。

9.权利要求1所述的设备，其中分布评估器（405）被布置成在生成频率分布时对像素子集的像素加权，用于像素的权重取决于像素的图像位置。

10.权利要求1所述的设备，其中子集选择器（403）被布置成评估用于像素组的每个像素的第二图像属性准则，并且确定对于其而言满足第二图像属性准则的像素组的第二像素子集；

并且其中所述设备被布置成响应于用于第二像素子集的视差值的频率分布而确定视差重映射。

11.一种用于处理三维图像的方法，该方法包括：

接收三维图像，该三维图像的至少一个像素组的每个像素具有关联的图像值和视差值；

评估用于像素组的每个像素的图像值的图像属性准则；

确定对于其而言满足图像属性准则的该像素组的像素子集；

生成用于像素子集的视差值的频率分布；

确定用于频率分布的形状属性，其中该形状属性指示频率分布的峰度；

响应于形状属性而确定视差重映射，其中视差重映射提供的视差压缩响应于频率分布的峰度的增加而增大；以及

通过将视差重映射应用到三维图像的至少一些像素的视差值而修改所述至少一些像素的视差值。

12.一种计算机可读存储介质，包括计算机程序代码构件，所述代码构件适于当所述程序在计算机上运行时执行权利要求11的所有步骤。