CN107077742A - 一种图像处理装置和方法 - Google Patents

Abstract

本发明涉及一种图像处理装置，用于确定表示相对于多个位置的视觉场景的多个图像的参考图像的像素深度，其中，所述多个位置定义具有行和列的二维网格，所述参考图像的位置与所述网格的参考行和参考列相关联。所述图像处理装置包括深度确定器，用于基于所述参考图像和所述多个图像的第一子集确定第一深度估算，确定所述参考图像的像素深度，其中，所述第一子集的图像与不同于参考行的网格的至少一行相关联的位置以及与不同于参考列的网格的至少一列相关联的位置相关联。

Description

一种图像处理装置和方法

技术领域

本发明涉及一种图像处理装置和方法。特别地，本发明涉及一种用于确定表示相对于多个位置的视觉场景的多个图像的参考图像的像素深度的图像处理装置和方法。

背景技术

计算机视觉和计算摄影领域的一个基本任务就是基于4D光场，即在摄像机位置的规则网格上捕获的真实世界视觉场景的多个2D图像，估算真实世界视觉场景的深度图。随着全光相机的日益普及有望在不久的将来代替传统的数码相机，在将来将对深度图估算算法的计算效率将提出更高的要求。

然而，根据4D光场，即在摄像机位置的规则网格上捕获的真实世界视觉场景的多个2D图像，估算真实世界视觉场景的深度图这一任务仍面临各种挑战，例如，精确估算无纹理，即颜色均匀、区域和/或深度不连续的视觉场景下的深度图。的确，在颜色均匀的区域，识别跨多个视角/图像的视觉场景的对应点难度极大。当前的算法解决方案倾向于对估算出的深度图进行过度平滑。但是，这只适用于物体边界处以及深度连续性较差的情况。这导致对这些位置处的视觉场景的深度图估算失准。

《全球一致的4D光场深度标签》(S.Wanner和B.Goldluecke，计算机视觉和模式识别(CVPR)，2012)一文中描述了一种用于通过定向分析(基于所谓的结构张量)核线图像来估算视觉场景的深度图的方法。这些图像中的每一个图像都是4D光场的2D切割。结构张量分析提供了一种初始深度图估算，即一种快速的局部解决方案，然后可以通过应用全局优化方法，即全局慢速解决方案来加以改进。这增加了计算的复杂度和成本。快速局部解决方案可以实时地在标准GPU上实现。为了估算视觉场景的深度图，从中心沿从参考图像的中心经过的水平线规则放置的图像获得第一深度图，并且从沿垂直方向放置的图像获得第二深度图。合并第一和第二深度图以获得最终深度图，其中，第一和第二深度图的合并基于各自的置信度图，因为对于每个像素，选择两个候选图中具有最高置信度值的深度值。

《高空间角分辨光场的场景重建》(SIGGRAPH，2013)一文中描述了用于从4D光场重建视觉场景的备选解决方案，其可以更好地处理颜色均匀区域，同时仍保留深度图的不连续性。同样，在这种情况下计算复杂度高，因此，实时实现是不可能的。输入4D光场还必须进行足够密集的采样，这在全光相机的情况下通常是不可能的。同样在这种情况下，从中心沿从参考图像的中心经过的水平线规则放置的图像获得第一深度图，并且从沿垂直方向放置的图像获得第二深度图。

因此，需要提供一种改进的图像处理装置和方法，特别是能够改进深度估算的图像处理装置和方法。

发明内容

本发明的目的在于提供一种能够改进深度估算的图像处理装置和方法。

该目的通过独立权利要求的主题来实现。具体实现方式参见从属权利要求、说明书和附图。

为详细描述本发明，将使用具有以下含义的以下术语：

2D图像 由例如数码相机获取的真实世界视觉场景的二维图片。

4D光场 在摄像机位置的规则网格(例如，矩形或六边形)上捕获的真实世界视觉场景的一系列2D图像。

全光相机 捕获4D光场的相机。

深度图 通常是视觉场景的灰度2D图像，其中，亮像素指示更靠近相机的场景的点，而较暗像素指示更远的点。

参考图像 4D光场的图像之一，需为其计算深度图。

置信图 通常是灰度2D图像(取值通常在0和1之间)，其中，亮像素指示深度估算更可靠的视觉场景的点，而较暗像素指示对应于深度估算可靠性较低的视觉场景的点的像素。

基线 2个连续图像的中心之间的距离，即相机和位置。

视差 在一个图像中的视觉场景的特定点/像素的投影与连续相邻图像中的对应点/像素的投影之间的位移。视差与该点/像素到相机的距离成反比，即点/像素的深度。

根据第一方面，本发明涉及一种图像处理装置，用于确定表示相对于多个位置的视觉场景的多个图像的参考图像的像素深度，其中，所述多个位置定义具有行和列的二维规则网格，如矩形网格，所述参考图像的位置与所述网格的参考行和参考列相关联。

该图像处理装置包括深度确定器，用于基于所述参考图像和所述多个图像的第一子集确定第一深度估算，所述第一深度估算用于确定所述参考图像的像素深度，其中，所述第一子集的图像与不同于参考行的网格的至少一行相关联的位置以及与不同于参考列的网格的至少一列相关联的位置相关联。因此，提供了能够改进深度估算的图像处理装置。

在本发明第一方面第一种可能的实现方式中，所述深度确定器还用于基于所述参考图像和所述多个图像的第二子集确定第二深度估算，其中，所述多个图像的第二子集的图像与所述参考行相关联的位置相关联；且所述深度确定器还用于结合所述第一深度估算和所述第二深度估算以确定所述参考图像的像素深度。该实现方式用高效的计算方式组合深度信息，该深度信息可从位于与参考图像相同行中的图像和位于不同行和列中的图像获得。

在本发明第一方面第二种可能的实现方式或第一种实现方式中，所述深度确定器还用于基于所述参考图像和所述多个图像的第三子集确定第三深度估算，其中，所述多个图像的第三子集的图像与所述参考列相关联的位置相关联；且还用于结合所述第一深度估算、所述第二深度估算和/或所述第三深度估算以确定所述参考图像的像素深度。该实现方式用计算高效的方式组合深度信息，该深度信息可从位于与参考图像相同列中的图像和位于不同行和列中的图像获得。

结合本发明第一方面第二种可能的实现方式，在第三种可能的实现方式中，所述深度确定器用于通过计算所述第一深度估算、所述第二深度估算和/或所述第三深度估算的中值来确定所述参考图像的像素深度。该实现方式提供了确定深度的有效的计算方式，无需计算置信度值。

在本发明第一方面第四种可能的实现方式或第一至第三种实现方式中的任意一种实现方式中，所述深度确定器用于通过确定由参考图像中的像素的位置及所述多个图像的第一子集、第二子集或第三子集中的相应像素的位置所定义的核线的斜率分别确定所述第一深度估算、所述第二深度估算和/或所述第三深度估算。这种实现方式产生相当好的深度估算。

在本发明第一方面第五种可能的实现方式或第一至第四种实现方式中的任意一种实现方式中，所述图像处理装置还包括置信度值确定器，其中，所述置信度值确定器用于分别确定与所述第一深度估算、所述第二深度估算和/或所述第三深度估算相关联的置信度值。这种实现方式产生相当可靠的深度估算。

结合本发明第一方面第五种实现方式，在第六种可能的实现方式中，所述深度确定器用于通过从由所述第一深度估算、所述第二深度估算和/或所述第三深度估算构成的分组中选择具有最大置信度值的深度估算来确定所述参考图像的像素深度。这种实现方式产生相当可靠的深度估算。

结合本发明第一方面第五或第六种实现方式，在第七种可能的实现方式中，所述置信度值确定器用于分别基于由所述多个图像的第一子集、第二子集和第三子集定义的结构张量为所述第一深度估算、所述第二深度估算和/或所述第三深度估算确定置信度值。这种实现方式产生相当可靠的深度估算。

结合本发明第一方面第七种实现方式，在第八种可能的实现方式中，所述置信度值确定器用于基于以下方程定义的滤波器K排除深度估算：

其中，d表示像素的视差，b表示所述参考图像和所述多个图像的第一子集定义的基线。该实现方式仅使用可靠的深度估算来估算深度。

在本发明第一方面第九种可能的实现方式或第一至第八种实现方式中的任意一种实现方式中，所述深度确定器用于基于所述第一深度估算，通过在所述参考图像的像素强度与所述多个图像的第一子集中的相应像素强度之间插入像素强度确定所述参考图像的像素深度。该实现方式支持密集差异处理。

在本发明第一方面第十种可能的实现方式或第一至第九种实现方式中的任意一种实现方式中，所述图像处理装置还包括图像记录器，用于记录表示所述多个位置处的视觉场景的所述多个图像。

结合本发明第一方面第十种实现方式，在第十一种可能的实现方式中，所述图像记录器包括可移动相机、相机阵列或全光相机。

在本发明第一方面第十二种可能的实现方式或第一至第十一种实现方式中的任意一种实现方式中，所述图像处理装置用于通过确定所述参考图像的多个像素的深度确定所述参考图像的深度图。

在本发明第一方面第十三种可能的实现方式或第一至第十二种实现方式中的任意一种实现方式中，所述深度确定器用于基于所述参考图像、和所述多个图像的第一子集确定用于确定所述参考图像的像素深度的所述第一深度估算，其中，所述参考图像和所述多个图像的第一子集具有相同的中心像素。

根据第二方面，本发明涉及一种图像处理方法，用于确定表示相对于多个位置的视觉场景的多个图像的参考图像的像素深度，其中，所述多个位置定义具有行和列的二维网格，所述参考图像的位置与所述网格的参考行和参考列相关联。所述图像处理方法包括基于所述参考图像和所述多个图像的第一子集确定第一深度估算，确定所述参考图像的像素深度这一步骤，其中，所述第一子集的图像与不同于参考行的所述网格的至少一行相关联的位置以及与不同于参考列的所述网格的至少一列相关联的位置相关联。

根据本发明的第二方面的图像处理方法可以由根据本发明的第一方面的图像处理装置执行。根据本发明的第二方面的图像处理方法的进一步的特征直接来自根据本发明的第一方面的图像处理装置的功能以及其不同的实施形式。

根据第三方面，本发明涉及一种计算机程序，包括当计算机程序在计算机上执行时用于执行根据本发明的第二方面的方法的程序代码。

本发明可以以硬件和/或软件形式来实现。

附图说明

本发明的具体实施方式将结合以下附图进行描述，其中：

图1示出了一个实施例提供的一种图像处理装置的示意图；

图2示出了一个实施例提供的可由图像处理装置和方法处理的多个图像的网格的说明性示例；

图3示出了一个实施例提供的可由图像处理装置和方法处理的多个图像的网格的说明性示例；

图4示出了一个实施例提供的从在图像处理装置中实现的多个图像的网格中选择像素的示意图；

图5示出了一个实施例提供的在处理装置中实现的深度估算的示意图；

图6示出了一个实施例提供的在处理装置中实现的确定深度的示意图；

图7示出了一个实施例提供的在处理装置中实现的确定置信度值的示意图；

图8示出了一个实施例提供的在处理装置中实现的确定置信度值的示意图；

图9示出了一个实施例提供的一种图像处理方法的示意图。

具体实施方式

以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。

可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或系统也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备或装置可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。进一步看，可以理解的是，此处描述的各种示例性方面的特征可以互相结合，除非有特别说明。

图1示出了一个实施例提供的一种图像处理装置100的示意图。该图像处理装置100用于确定表示相对于多个位置，例如表示相机位置，的视觉场景的多个图像的参考图像的像素深度107。所述多个位置定义规则的具有行和列的二维网格。图2和图3示出了摄像机位置的示例性正方形二维网格200。为了便于说明，已经在图2和图3的示例性正方形二维网格200中选择了中心图像作为参考图像201。本领域技术人员应理解，根据本发明，图2和图3中所示的多个图像中的任何一个图像也可以被选择为参考图像。所述参考图像201位于所述二维网格200的参考行203和参考列205内。

该图像处理装置100包括深度确定器101，用于基于所述参考图像201和所述多个图像105的第一子集确定第一深度估算，确定所述参考图像201的像素深度107，其中，所述第一子集的图像与不同于参考行203的网格200的至少一行相关联的位置以及与不同于参考列205的网格200的至少一列相关联的位置相关联。

作为一个实施例，该图像处理装置100可以包括图像记录器102，用于记录表示所述多个位置处的视觉场景的所述多个图像105。作为一个实施例，该图像记录器102包括例如可移动相机、相机阵列或全光相机。作为一个实施例，该图像处理装置100用于通过确定所述参考图像201的多个像素的各自深度107确定参考图像201的深度图。

作为一个实施例，该深度确定器101用于例如基于所述参考图像201和沿图2中所示的虚线207放置的网格200的多个图像105的子集确定第一深度估算，该虚线207对应于网格200的一条对角线。

作为一个实施例，该深度确定器101用于例如基于所述参考图像201和沿图2中所示的虚线209放置的网格200的多个图像105的子集确定第一深度估算，该虚线209与由网格200的参考行203定义的线形成小于45°的角。

作为一个实施例，该深度确定器101还用于基于所述参考图像201和所述多个图像105的第二子集确定第二深度估算，其中，所述多个图像105的第二子集的图像与所述参考行203相关联的位置相关联；且所述深度确定器101还用于结合所述第一深度估算和所述第二深度估算以确定所述参考图像的像素深度107。作为一个实施例，该深度确定器101还用于例如基于所述参考图像201和沿图3中所示的虚线307放置的多个图像105的第二子集确定所述第二深度估算。

作为一个实施例，该深度确定器101还用于基于所述参考图像201和所述多个图像105的第三子集确定第三深度估算，其中，所述多个图像105的第三子集的图像与所述参考列205相关联的位置相关联；且所述深度确定器101还用于结合所述第一深度估算、所述第二深度估算和/或所述第三深度估算以确定所述参考图像201的像素深度107。作为一个实施例，该深度确定器101还用于例如基于所述参考图像201和沿图3中所示的虚线307放置的多个图像105的第三子集确定所述第三深度估算。

作为一个实施例，该深度确定器101用于通过计算所述第一深度估算、所述第二深度估算和/或所述第三深度估算的中值来确定所述参考图像201的像素深度107。作为一个实施例，该深度确定器101用于例如通过计算基于所述参考图像201和沿图2中所示的虚线207放置的所述网格200的所述多个图像105的子集确定的第一深度估算的中值，基于所述参考图像201和沿图3中所示的虚线309放置所述多个图像105的第二子集确定的第二深度估算的中值，以及基于所述参考图像201和沿图3中所示的虚线307放置的所述多个图像105的第三子集确定的第三深度估算的中值，确定所述参考图像201的像素的深度107。

作为一个实施例，该深度确定器101用于基于所述参考图像201和所述多个图像105的第一子集确定所述第一深度估算以确定所述参考图像201的像素深度107，其中，所述参考图像201和所述多个图像105的第一子集具有相同的中心像素。

本领域技术人员应理解，沿图2中所示的虚线207放置的图像的基线207a和沿图2中所示的虚线209放置的图像的基线209a不同于沿图3中所示的虚线307放置的图像的基线307a和沿图3中所示的虚线309放置的图像的基线309a。

对于沿图2中所示的虚线207放置的图像或沿图2中所示的虚线209放置的图像，被处理的像素必须位于特定图像内的线上，其方向形成相同的角度，例如，与图像的下边缘如虚线207或虚线209或与图3中所示的水平线307形成相同的角度。图4中将对此进行详细阐述。图4中所示的虚线405定义所述网格200的所述多个图像105的示例性子集，该子集可以与参考图像一起由所述图像处理装置100处理，以确定参考图像201内的像素深度。图4中所示的虚线405与例如图3中所示的水平线307成α角。从图4右侧更详细的视图可以看出，例如在图像401中，潜在地对应于要确定深度的参考图像201的像素的像素沿线，例如线403，与例如图像401的下边缘形成相同的角度α。本领域技术人员应理解，与沿在上述图3的上下文中描述的线307或309的采样相比，这将导致沿线405的潜在对应像素的采样较稀疏。为此，作为一个实施例，该深度确定器101用于插入要在参考图像201中的像素的强度与正被处理的多个图像105的子集中的对应像素的强度之间确定深度的像素的强度，并基于该插入来确定像素的深度。作为一个实施例，该深度确定器101还用于例如插入要在参考图像201中的像素的强度与图4中所示的图像407中的对应像素的强度之间确定深度的像素的强度。作为一个实施例，该深度确定器101可用于执行双线性插入。

作为一个实施例，该深度确定器101用于通过确定由参考图像中的像素的位置及所述多个图像的第一子集、第二子集或第三子集中的相应像素的位置所定义的核线的斜率分别确定所述第一深度估算、第二深度估算和/或第三深度估算。下面将进一步参考图5和图6更详细地描述使用核线的斜率来确定深度估算的实施例。

图5示出了通过图3所示的示例性线307的核线斜率来确定深度估算。沿图3所示的线307放置的所述多个图像105的子集501(其等效于属于参考行203的多个图像105的子集)在步骤503中堆叠为3D图像立方体505。待确定深度的所述参考图像201中的像素和所述多个图像105的子集501的其他图像中的对应像素在3D图像立方体505内沿水平面定义线505a。在步骤507中，通过对3D图像立方体505进行切割来提取该水平面，从而产生核线图像509。在核线图像509内，线505a定义与图像的水平方向形成特定角度的核线509a，该核线509a又可以反过来用于提供深度估算。

图6示出了通过图2所示的示例性线207的核线斜率来确定深度估算。本领域技术人员应理解，此时基线b_j大于图6所示的示例性基线b_i。待确定深度的所述参考图像201中的像素和所述多个图像105的子集601的其他图像中的对应像素沿水平面605定义线605a。在步骤607中，将子集601中不处理的那些图像从水平面移除，从而得到改进后的水平面609。在步骤611中，对改进后的水平面进行重聚焦，从而得到重聚焦的改进后的水平面613，以确定由核线613a定义的角度，该重聚焦的改进后的水平面613又可以反过来用于提供视差和深度估算。

作为一个实施例，该图像处理装置100还包括置信度值确定器103，其中，所述置信度值确定器103用于确定分别与所述第一深度估算、所述第二深度估算和/或所述第三深度估算相关联的置信度值。作为一个实施例，所述深度确定器101用于通过从由所述第一深度估算、所述第二深度估算和/或所述第三深度估算构成的分组中选择具有最大置信度值的深度估算来确定所述参考图像201的像素深度107。

作为一个实施例，所述置信度值确定器103用于基于由所述多个图像105的第一子集、第二子集和第三子集定义的结构张量分别为所述第一深度估算、第二深度估算和/或第三深度估算确定置信度值。本领域技术人员应知道，所述结构张量基于图像导数的计算。作为一个实施例，所述结构张量可以用于通过确定由参考图像中的像素的位置和多个图像的子集中的对应像素的位置定义的核线的斜率来确定深度估算。在例如《全球一致的4D光场深度标签》(S.Wanner和B.Goldluecke，计算机视觉和模式识别(CVPR)，2012)或博士论文《4D光场的定向分析》(Sven Wanner，海德堡图像处理合作实验室(HCI)，海德堡大学，2014，)一文中十分详细地描述了通过结构张量可以在本发明中实现的方式确定深度估算和/或置信度值，其全部内容通过引用结合在本文中。

在图7中，两幅图中的每个点均示出了视觉场景中的某个3D点/像素的估算置信度(y轴)和估算视差(x轴)。两个图都示出了相对于3D场景的相同点的点。但是，图7中的左图示出的是基线较小的情况。若基线较大，则估算视差也总体较大。

作为一个实施例，该置信度值确定器103用于基于以下方程定义的滤波器K排除深度估算：

其中，d表示像素的视差，b表示所述参考图像和所述多个图像的第一子集定义的基线。

图8示出了基于估算置信度图的相对估算视差值使用滤波器K来运用后处理滤波的方法。滤波器K定义的高斯核来仅用来处理滤波器的带宽内的像素，即图8中所示的位于线801下方的实心点。作为一个实施例，仅对沿与垂直和水平方向不同的方向的图像进行后处理。

图9示出了一个实施例提供的一种图像处理方法900的示意图。该图像处理方法900用于确定表示相对于多个位置的视觉场景的多个图像105的参考图像201的像素深度107，其中，所述多个位置定义具有行和列的二维网格200，所述参考图像201的位置与所述网格200的参考行203和参考列205相关联。所述图像处理方法900包括基于所述参考图像201和所述多个图像105的第一子集确定901第一深度估算，确定所述参考图像201的像素深度107这一步骤，其中，所述第一子集的图像与不同于参考行203的所述网格的至少一行相关联的位置以及与不同于参考列205的所述网格的至少一列相关联的位置相关联。

所述图像处理方法900可以由例如图像处理装置100执行。

本发明实施例可以在用于在计算机系统上运行的计算机程序中实现，至少包括当在诸如计算机系统等的可编程装置上运行时用于执行根据本发明的方法步骤的代码部分，或者使得可编程装置执行根据本发明的设备或系统的功能的代码部分。

计算机程序是指令列表，例如，特定的应用程序和/或操作系统。计算机程序例如可以包括以下中的一个或多个：子例程、函数、流程、对象方法、对象实现、可执行应用、小程序、服务器小程序、源代码、目标代码、共享库/动态加载库和/或设计用于在计算机系统上执行的其它指令序列。

计算机程序可以存储在计算机可读存储介质内部或通过计算机可读传输介质传输到计算机系统。全部或部分计算机程序可以在永久地、可移除地或远程地耦合至信息处理系统的瞬时性或非瞬时性计算机可读介质上提供。计算机可读介质可以包括，例如但不限于，任意数量的以下示例：磁存储介质，包括磁盘和磁带存储介质；光存储介质，例如光盘介质(例如，CD-ROM、CD-R等)和数字视频光盘存储介质；非易失性存储器存储介质，包括基于半导体的存储器单元，例如闪存、EEPROM、EPROM、ROM；铁磁数字存储器；MRAM；易失性存储介质，包括寄存器、缓冲器或缓存、主存储器、RAM等；以及数据传输介质，包括计算机网络、点对点电信设备、载波传输介质，此处仅举几例。

计算机进程通常包括执行(运行)程序或程序的一部分、当前程序值和状态信息，以及操作系统用来管理进程的执行的资源。操作系统(简称OS)是管理计算机资源共享的软件，并为程序员提供用于访问这些资源的接口。操作系统处理系统数据和用户输入，并通过分配及管理任务和内部系统资源作为服务对系统的用户和程序进行响应。

计算机系统例如可以包括至少一个处理单元、关联存储器和多个输入/输出(input/output，简称I/O)设备。当执行计算机程序时，计算机系统根据计算机程序处理信息并通过I/O设备生成合成的输出信息。

此处讨论的连接可以是适用于例如通过中间设备从或向相应节点、单元或设备传递信号的任意类型的连接。因此，除非另有所指或所述，该连接例如可以是直接连接或间接连接。可以结合单个连接、多个连接、单向连接或双向连接对该连接进行说明或描述。然而，不同的实施例可能会使该连接的实现发生变化。例如，可以使用单独的单向连接而不是双向连接，反之亦然。此外，多个连接可以被替换为以串行或时间复用方式传递多个信号的单个连接。同样地，携带多个信号的单个连接可以被分离成携带这些信号的子集的各种不同的连接。因此，存在许多用于传递信号的选择。

本领域技术人员将意识到，各逻辑块之间的界限仅仅是说明性的，并且替代实施例可以合并逻辑块或电路元件，或者可以在各种逻辑块或电路元件上实行功能的替代分解。因此，应当理解，此处所描述的架构仅仅是示例性的，并且实际上，许多其它实现相同功能的架构也能够实现。

因此，实现相同功能的组件的任意布置是有效地“关联”，从而实现了所期望的功能。因此，不论是架构或是中间组件，此处组合以实现某个特定功能的任意两个组件可被视为相互“关联”，从而实现了所期望的功能。同样地，任意两个如此关联的组件也可被视为相互“可操作地连接”或“可操作地耦合”，以实现所期望的功能。

此外，本领域技术人员将意识到，以上所描述的操作之间的界限仅仅是说明性的。多个操作可以组合成单个操作，单个操作可以分布在附加操作中，操作可以以在时间上至少部分重叠的方式来执行。另外，替代实施例可以包括某个特定操作的多个示例，在各种其它实施例中可以改变操作的顺序。

此外，例如，其中，的示例或部分可以，例如以任意合适类型的硬件描述语言，实现为物理电路的或可转换成物理电路的逻辑表示的软或代码表示。

此外，本发明不限于在不可编程硬件中实现的物理设备或单元，也可以应用于能够通过根据合适的程序代码进行操作来执行所期望的设备功能的可编程设备或单元，例如，大型主机、小型计算机、服务器、工作站、个人计算机、记事本、个人数字助理、电子游戏、汽车和其它嵌入式系统、蜂窝电话和各种其它无线设备，在本申请中通常表示为计算机系统。

然而，其它修改、变形和替代也是可能的。应认为本说明书和附图具有说明性意义而非限制性意义。

Claims (16)

1.一种图像处理装置(100)，用于确定表示相对于多个位置的视觉场景的多个图像(105)的参考图像(201)的像素深度(107)，其中，所述多个位置定义具有行和列的二维网格(200)，所述参考图像(201)的位置与所述网格(200)的参考行(203)和参考列(205)相关联，所述图像处理装置(100)包括：

深度确定器(101)，用于基于所述参考图像(201)和所述多个图像(105)的第一子集确定第一深度估算，所述第一深度估算用于确定所述参考图像(201)的像素深度(107)，其中，所述第一子集的图像与不同于参考行(203)的网格(200)的至少一行相关联的位置以及与不同于参考列(205)的网格(200)的至少一列相关联的位置相关联。

2.根据权利要求1所述的图像处理装置(100)，其特征在于，所述深度确定器(101)还用于基于所述参考图像(201)和所述多个图像(105)的第二子集确定第二深度估算，其中，所述多个图像(105)的第二子集的图像与所述参考行(203)相关联的位置相关联；且所述深度确定器(101)还用于结合所述第一深度估算和所述第二深度估算以确定所述参考图像(201)的像素深度(107)。

3.根据权利要求1或2所述的图像处理装置(100)，其特征在于，所述深度确定器(101)还用于基于所述参考图像(201)和所述多个图像(105)的第三子集确定第三深度估算，其中，所述多个图像(105)的第三子集的图像与所述参考列(205)相关联的位置相关联；且所述深度确定器(101)还用于结合所述第一深度估算、所述第二深度估算和/或所述第三深度估算以确定所述参考图像(201)的像素深度(107)。

4.根据权利要求3所述的图像处理装置(100)，其特征在于，所述深度确定器(101)用于通过计算所述第一深度估算、所述第二深度估算和/或所述第三深度估算的中值来确定所述参考图像(201)的像素深度(107)。

5.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述深度确定器(101)用于通过确定由参考图像(201)中的像素的位置及所述多个图像(105)的第一子集、第二子集或第三子集中的相应像素的位置所定义的核线(509a、613a)的斜率分别确定所述第一深度估算、所述第二深度估算和/或所述第三深度估算。

6.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(101)还包括置信度值确定器(103)，其中，所述置信度值确定器(103)用于分别确定与所述第一深度估算、所述第二深度估算和/或所述第三深度估算相关联的置信度值。

7.根据权利要求6所述的图像处理装置(100)，其特征在于，所述深度确定器(101)用于通过从由所述第一深度估算、所述第二深度估算和/或所述第三深度估算构成分组中选择具有最大置信度值的深度估算来确定所述参考图像(201)的像素深度(107)。

8.根据权利要求6或7所述的图像处理装置(100)，其特征在于，所述置信度值确定器(103)用于分别基于由所述多个图像(105)的第一子集、第二子集和第三子集定义的结构张量为所述第一深度估算、所述第二深度估算和/或所述第三深度估算确定置信度值。

9.根据权利要求8所述的图像处理装置(100)，其特征在于，所述置信度值确定器(103)用于基于以下方程定义的滤波器K排除深度估算：

<mrow> <mi>K</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msup> <mi>d</mi> <mn>2</mn> </msup> </mrow> </msup> <mrow> <msqrt> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> </msqrt> <mi>b</mi> </mrow> </mfrac> </mrow>

其中，d表示像素的视差，b表示所述参考图像和所述多个图像的第一子集定义的基线。

10.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述深度确定器(101)用于基于所述第一深度估算，通过在所述参考图像(201)的像素强度与所述多个图像(105)的第一子集中的相应像素强度之间插入像素强度确定所述参考图像(201)的像素深度(107)。

11.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)还包括图像记录器(102)，用于记录表示所述多个位置处的视觉场景的所述多个图像(105)。

12.根据权利要求11所述的图像处理装置(100)，其特征在于，所述图像记录器(102)包括可移动相机、相机阵列或全光相机。

13.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)用于通过分别确定所述参考图像(201)的多个像素的深度(107)确定所述参考图像(201)的深度图。

14.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述深度确定器(103)用于基于所述参考图像(201)和所述多个图像(105)的第一子集确定用于确定所述参考图像(201)的像素深度(107)的所述第一深度估算，其中，所述参考图像(201)和所述多个图像(105)的第一子集具有相同的中心像素。

15.一种图像处理方法(900)，用于确定表示相对于多个位置的视觉场景的多个图像(105)的参考图像(201)的像素深度(107)，其中，所述多个位置定义具有行和列的二维网格(200)，所述参考图像(201)的位置与所述网格(200)的参考行(203)和参考列(205)相关联，所述图像处理方法(900)包括以下步骤：

基于所述参考图像(201)和所述多个图像(105)的第一子集确定(901)第一深度估算，确定所述参考图像(201)的像素深度(107)，其中，所述第一子集的图像与不同于参考行(203)的所述网格的至少一行相关联的位置以及与不同于参考列(205)的所述网格的至少一列相关联的位置相关联。

16.一种计算机程序，其特征在于，包括当计算机程序在计算机上执行时用于执行根据权利要求15所述的图像处理方法(900)的程序代码。