CN109923585B - 使用立体图像进行深度检测的方法和装置 - Google Patents

Abstract

提供了一种深度检测设备(20)，包括立体图像记录设备(21)、缩放器(22)和深度确定器(23)。所述立体图像记录设备(21)用于记录场景的立体图像。它包括用于记录所述立体图像的第一图像的第一光路，及用于记录所述立体图像的第二图像的第二光路。所述第一光路和所述第二光路的长度不同。所述缩放器(22)用于通过最小化所述场景中物体的不同横放大率，确定所述第一图像或所述第二图像的缩放比例，及用于执行所述缩放。所述深度确定器(23)根据所述缩放的立体图像确定所述场景的深度图。

Description

使用立体图像进行深度检测的方法和装置

技术领域

本发明涉及根据相关场景的立体图像确定场景的深度信息，尤其涉及一种使用立体图像进行深度检测的方法和装置。

背景技术

目前，通过两种系统，即，无源设备和有源设备，借助光获得深度信息。

有源系统基于在空域(如在图案投影技术领域)和/或在时域(如在飞行时间摄像机领域)中控制场景的照明。但是，这些系统的通用性很低，因为就可以使用的场景和照明源而言，它们只能在有限的运行状况下正常工作。例如，自然场景中的自然背景光会严重影响这些设备的信噪比。然而，同时工作的几个这种设备会产生强烈的串扰，这会导致干扰，进而致使制定复杂、嘈杂的检测方案。最后，它们需要产生和控制它们自己的适应照明，这增加了额外的电量消耗，所述额外电量消耗会限制它们在许多应用中作为自主视频监控或在移动电话等便携式成像系统中的使用。

对于无源系统，通过使用单个单目镜摄像机或其它立体或多目镜摄像机来提取场景中的3D信息。在单目镜结构中，不同的策略可同时用于单张拍摄配置，包括波前编码工程，以及多张连拍时分复用方案。但是，在第一种情况下使用对自然光的反应较差的复杂透光掩膜及第二种情况中的低响应时间，使得这些方法在具有传统真实场景的实际应用中非常受限。

例如，图1a示出了第一立体图像，而图1b示出了第二立体图像。图1c示出了两个立体图像的重叠视图。

在使用多个摄像机捕获场景的不同视图时，获得最适合自然动态场景中的运行状况的解决方案。尽管如此，深度估计的一些限制仍然适用于这些技术。由于不同图像的比较是场景中物体的3D位置的基础，因此不管是从几何角度来看，即矫正、失真补偿，还是从照片/电子角度来看，即像素响应校正，使用不同的传感器和镜头会导致较长的校准过程以满足摄像机的不同响应。

就用于深度估计的无源系统而言，立体技术是一种可提供更好结果的技术。但是，这种技术具有需要校准和同步两个独立摄像机的缺点。在某些情况下，传感器非常昂贵且/或十分耗能。

对应于上述单张拍摄配置的“反射折射单目立体摄像机”允许获得立体图像，但是由于光学设置，出现在两张图像中的物体的比例对于每个深度是不同的。这是一个严重的问题，因为传统的低复杂度块匹配算法仅搜索行中的差异，因此无法应用于实时深度估计。通常，立体摄像机的布置使得可以忽略两台摄像机之间的轴向差。可以通过数字方式纠正细微的差异。然而，这种布置并不总是可行，这会导致两个立体图像的光路的长度不同，从而导致立体图像的横向缩放比例不同。另外，在仅使用单个摄像机并在两个不同光路之间切换的情况下，会因为光路几何形状的原因而出现这个问题，通常会出现不同的光路长度。可以在图4和图5中清楚地看出这一点。

发明内容

相应地，本发明的目的在于提供一种装置和方法，其允许确定有关用于记录立体图像的摄像机内的光路的几何图形的准确深度图，所述深度图具备高度灵活特性。

该目的通过权利要求1所述的装置和权利要求14所述的方法的特征实现。从属权利要求包括进一步发展。

根据本发明的第一方面，提供了一种深度检测设备，包括立体图像记录设备、缩放器和深度确定器。所述立体图像记录设备用于记录场景的立体图像。所述立体图像记录设备包括：第一光路，用于记录所述立体图像的第一图像；以及第二光路，用于记录所述立体图像的第二图像。所述第一光路和所述第二光路的长度不同。所述缩放器用于通过最小化所述第一图像和所述第二图像中描绘的场景中物体的不同横放大率，确定所述第一图像或所述第二图像的缩放比例，并用于执行所确定的缩放，从而得到缩放的立体图像。所述深度确定器用于根据缩放的立体图像确定场景的深度图。通过执行缩放，可以降低光路长度不同的负面影响，从而提高所确定深度图的准确性。

在第一方面的第一种实现方式中，所述缩放器用于结合立体图像参数来确定第一图像或第二图像的缩放比例。立体图像参数包括立体图像的基线和/或所述立体图像记录设备的焦距和/或所述立体图像记录设备的孔径和/或所述立体图像记录设备的分辨率和/或所述第一光路的长度和/或所述第二光路的长度。由此可以特别准确地确定最佳缩放比例。

在第一方面的第二种实现方式或前述一种实现方式中，所述缩放器用于结合场景参数来确定所述第一图像或所述第二图像的缩放比例。场景参数包括场景中物体的深度范围和/或深度分布。由此可以进一步帮助确定最佳缩放比例因子。

在前述两种实现方式中的任意一种实现方式中，所述缩放器用于根据立体图像参数和/或场景参数，确定所述立体图像记录设备和/或场景的数学模型。所述缩放器用于根据所述数学模型确定所述第一图像或所述第二图像的缩放比例。由此可以进一步帮助准确地确定最佳缩放比例因子。

在第一方面的另一实现方式或前述实现方式中，所述缩放器用于将缩放比例因子

确定为

其中，Δ是所述第一光路和所述第二光路的光学长度之差，z₁是场景深度范围的下限，z₂是场景深度范围的上限。由此可以特别准确地确定最佳缩放比例因子。

在第一方面的另一实现方式或前述实现方式中，所述深度检测设备包括校准器，其用于根据已知参考场景和已知参考场景的已知深度图对所述深度检测设备执行校准，从而得到校准函数，并在通过所述深度确定器确定深度图之后对每个确定的深度图执行所述校准函数，从而得到校准的深度图。由此可以进一步帮助准确地确定深度图。

在前述一种实现方式的一种实现方式中，所述立体图像记录设备用于记录已知参考场景的校准立体图像。然后，所述缩放器用于通过最小化所述校准立体图像的第一图像和第二图像中描绘的场景中物体的不同横放大率，确定所述校准立体图像的第一图像或第二图像的缩放比例，并执行所确定的缩放，从而得到缩放的校准立体图像。然后，所述深度确定器用于根据缩放的校准立体图像确定已知参考场景的校准深度图。然后，所述校准器用于确定校准深度图和已知深度图的差异，并根据校准深度图和已知深度图的差异确定校准函数。由此可以执行特别准确的校准。

在前述两种实现方式的另一实现方式中，所述校准器用于将校准函数确定为非线性函数。通过使用非线性函数，可以进行特别准确的校准。

在前述三种实现方式的另一实现方式中，所述校准器用于将校准函数确定为图像变换矩阵。这导致特别准确的校准。

在第一方面的另一实现方式或前述任意一种实现方式中，所述立体图像记录设备用于记录基线偏移的立体图像的第一图像和立体图像的第二图像。由此可以根据立体图像确定深度图。

在第一方面或前述实现方式的另一实现方式中，所述立体图像记录设备包括单个摄像机和分光器。所述单个摄像机用于连续地记录第一图像和第二图像。所述分光器用于连续地在第一光路和第二光路之间切换。由此可以仅使用极少数量的硬件元件，尤其是仅使用单个摄像机。另外，在使用两个摄像机的情况下，由此可以通过使用略微不同的摄像机消除负面影响。

在前述一种实现方式的一种实现方式中，所述分光器包括布置在单个摄像机前面的分束器，以及布置在所述分束器的分束方向上的全反射棱镜。第一光路从场景通向所述全反射棱镜通向所述分束器再通向单个摄像机。第二光路从场景通向所述分束器再通向单个摄像机。这允许非常简单地实现所述深度检测设备。所述分束器可以是分束立方体等。优选地，所述分束器直接放置在单个摄像机的前面。

在前述两种实现方式的另一实现方式中，所述分光器包括布置在第一光路内但不在第二光路内的第一快门设备，以及布置在第二光路内但不在第一光路内的第二快门设备。所述第一快门设备用于在单个摄像机记录第二图像期间关闭第一光路，并在单个摄像机记录第一图像期间打开第一光路。所述第二快门设备用于在单个摄像机记录第一图像期间关闭第二光路，并在单个摄像机记录第二图像期间打开第二光路。这有效地阻止了当前未记录光路的杂散图像信息对当前记录的图像产生负面影响。

在第一方面的另一实现方式或第一方面前九种实现方式的任意一种实现方式中，所述立体图像记录设备包括用于记录第一图像的第一摄像机，及用于记录第二图像的第二摄像机。所述第一摄像机和所述第二摄像机到场景的距离不同，导致第一光路和第二光路的长度不同。通过这种配置，可以节省用于分束的硬件工作量。

根据本发明的第二方面，提供了一种深度检测方法。所述深度检测方法包括使用立体图像记录设备记录场景的立体图像，所述立体图像记录设备包括第一光路和第二光路，其中通过第一光路记录立体图像的第一图像，通过第二光路记录立体图像的第二图像，其中第一光路和第二光路具有不同的长度。此外，所述方法还包括通过最小化所述第一图像和所述第二图像中描绘的场景中物体的不同横放大率，确定所述第一图像或所述第二图像的缩放比例，并执行所确定的缩放，从而得到缩放立体图像。最后，所述方法包括根据缩放立体图像确定场景的深度图。通过执行缩放，可以降低光路长度不同的负面影响，从而提高所确定深度图的准确性。

在第二方面的第一种实现方式中，结合立体图像参数执行所述缩放。立体图像参数包括立体图像的基线和/或所述立体图像记录设备的焦距和/或所述立体图像记录设备的孔径和/或所述立体图像记录设备的分辨率和/或所述第一光路的长度和/或所述第二光路的长度。由此可以特别准确地确定最佳缩放比例。

在第二方面的第二种实现方式或前述一种实现方式中，结合场景参数确定所述缩放，场景参数包括场景中物体的深度范围和/或深度分布。由此可以进一步帮助确定最佳缩放比例因子。

在第二方面的前述两种实现方式的另一实现方式中，根据立体图像参数和/或场景参数确定所述立体图像记录设备和/或场景的数学模型。根据所述数学模型确定缩放比例因子。由此可以进一步帮助准确地确定最佳缩放比例因子。

在第二方面的另一实现方式或前述实现方式中，所述缩放器用于将缩放比例因子

确定为

其中，Δ是第一光路和第二光路的光学长度之差，z₁是场景深度范围的下限，z₂是场景深度范围的上限。由此可以特别准确地确定最佳缩放比例因子。

在第二方面的另一实现方式或前述实现方式中，根据已知参考场景和已知参考场景的已知深度图对深度检测执行校准，从而得到校准函数。在确定深度图之后对每个确定的深度图执行所述校准函数，从而得到校准的深度图。由此可以进一步帮助准确地确定深度图。

在前述一种实现方式的一种实现方式中，记录已知参考场景的校准立体图像。通过最小化所述校准立体图像的第一图像和第二图像中描绘的场景中物体的不同横放大率，确定所述校准立体图像的第一图像和/或第二图像的缩放比例。对其中一个图像执行缩放，从而得到缩放的校准立体图像。根据缩放的校准立体图像确定校准深度图。然后确定校准深度图和已知深度图的差异。最后，根据这些差异确定校准函数。由此可以执行特别准确的校准。

在前述两种实现方式中的一种实现方式中，所述校准函数确定为非线性函数。通过使用非线性函数，可以进行特别准确的校准。

在前述三种实现方式中的另一实现方式中，所述校准函数确定为图像变换矩阵。由此可以根据立体图像确定深度图。

在第二方面的另一实现方式或前述任意一种实现方式中，记录基线偏移的第一图像和第二图像。由此可以根据立体图像确定深度图。

在第二方面的另一实现方式或第二方面的前述实现方式中，单个摄像机用于连续记录第一图像和第二图像，而分光器用于连续地在第一光路和第二光路之间切换。由此可以仅使用极少数量的硬件元件，尤其是仅使用单个摄像机。另外，在使用两个摄像机的情况下，由此可以通过使用略微不同的摄像机消除负面影响。

或者，在第二方面的另一实现方式或第二方面的前九种实现方式中，通过第一摄像机记录第一图像，通过第二摄像机记录第二图像。通过这种配置，可以节省用于分束的硬件工作量。

通常，需要注意的是本申请中描述的所有设置、设备、元件、单元以及方法等都可以由软件或硬件元件或其任意组合实现。此外，所述设备可以是处理器或者可以包括处理器，其中本申请中描述的元件、单元和方法的功能可以在一个或多个处理器中实现。由本申请中描述的各种实体执行的所有步骤以及描述为由各种实体执行的功能旨在表示不同的实体用于执行不同的步骤和功能。即使在下文描述或具体实施例中，由一般实体执行的特定功能或步骤未在执行特定步骤或功能的实体的特定详细元件的描述中体现，技术人员也应该了解这些方法和功能可以在相关软件或硬件元件或其任意组合中实现。

附图说明

下文相对于本发明的实施例且参考附图详细阐述本发明，在附图中：

图1a示出了立体图像的第一图像；

图1b示出了立体图像的第二图像；

图1c以重叠融合方式示出了立体图像的第一图像和第二图像；

图2示出了本发明第一方面的第一实施例；

图3示出了本发明第一方面的第二实施例；

图4示出了本发明第一方面的第三实施例的细节；

图5示出了本发明第一方面的第四实施例的细节；

图6示出了本发明第二方面的第一实施例；

图7示出了本发明第二方面的第二实施例；

图8示出了通过使用本发明可取得的成果。

首先，图1a至1c描述了使用立体图像的深度估计的概念。接着，图2至图5示出了本发明设备不同实施例的结构和功能。图6和图7描述了本发明方法不同实施例的功能。最后，图8说明了本发明的其它优势。

不同图中类似的实体和附图标记已部分省略。

具体实施方式

在图2中，示出了深度检测设备20的第一实施例。所述深度检测设备包括立体图像记录设备21、缩放器22和深度确定器23。

在图3中，示出了本发明深度检测设备20的第二实施例。此处，所述深度检测设备20还包括控制单元30和校准器31。所述控制单元30连接至单元21、22、23和31，并控制这些单元。

所述缩放器22还连接至所述立体图像记录设备21和所述深度确定器23。

所述立体图像记录设备21用于记录包括第一图像和第二图像的立体图像。图4和图5更详细地说明了所述立体图像记录设备21的结构。第一图像通过第一光路记录，而第二图像通过第二光路记录。光路具有不同的长度。

记录第一图像和第二图像之后，它们将被传送到所述缩放器22，所述缩放器22执行第一图像或第二图像的缩放，以便补偿第一图像和第二图像中描绘的场景中物体的不同横放大率。通过先确定最佳缩放比例，之后对立体图像执行缩放以得到缩放的立体图像来执行这一操作。缩放的立体图像传送到所述深度确定器23，所述深度确定器23执行深度确定，以得到场景的深度图。

在此示例中，所述校准器31使用已知参考场景和所述已知参考场景的相应已知深度图执行校准。通过使用所述立体图像记录设备21记录所述已知参考场景的立体图像，按照上文所述通过所述缩放器22执行缩放，然后同样按照上文所述通过所述深度确定器23执行深度确定来执行这一操作。比较得到的校准深度图与已知深度图。所述校准器31由此确定校准函数。所述校准函数最好是非线性函数。另外，所述校准函数还最好是图像变换矩阵。

在图4中，示出了所述立体图像记录设备21a，其对应于图2和图3中的所述立体图像记录设备21。此处，所述立体图像记录设备21a包括第一摄像机40a和第二摄像机40b。虽然两个摄像机40a、40b并排布置，但是相对于彼此轴向偏移，导致第一光路43和第二光路44的长度不同。所述光路43、44相对于所描绘的场景具有不同的长度。另外，所述摄像机40a、40b通过基线相对于彼此横向偏移。

在图5中，示出了另一可替代实施例，所述立体图像记录设备21b，其对应于图2和图3中的所述立体图像记录设备21。此处，所述立体图像记录设备21b只包括单个摄像机50和分光器51。所述分光器51布置在所述摄像机50和所描绘的场景之间。通过所述分光器51，所述第一光路43和所述第二光路44具有不同的长度，如图4所示。

本实施例中的所述分光器51包括分束器(例如分束立方体)52，其紧密布置在所述单个摄像机50的前面。此外，它还包括全反射棱镜53，其布置在所述分束器52的分束方向上。所述第一光路43从场景通向所述分束器52再通向所述单个摄像机50。所述第二光路43从场景通向所述全反射棱镜53通向所述分束器52再通向所述单个摄像机50。

在此示例中，所述分光器51还包括快门54、55，所述快门布置在所述光路上。第一快门54布置在场景和所述分束器52之间的所述第一光路43上。第二快门55布置在场景和所述全反射棱镜53之间。所述快门54、55关闭当前未记录的光路。这意味着，在通过所述第一光路43记录第一图像时，所述第一快门54处于打开状态，而所述第二快门55处于关闭状态。在通过所述第二光路44记录第二图像时，所述第二快门55处于打开状态，而所述第一快门54处于关闭状态。

请注意，所提出的系统相当于虚拟立体摄像机，其轴线由基线Δ分开，但是置于不同的深度，另外也由偏移Δ分开。所述虚拟立体摄像机的任何分支的最大光效率是25％，作为LCL(50％)和CBS(50％)的最大效率的乘积获得。这意味着，就光效率而言，任何虚拟摄像机的有效F值等于物镜的F值加2.0单位。

为了获得足够的亮度，以及足够的景深，需要考虑摄像机的景深Δ_F

其中，k是比例因子，f_#是F值。然后，所提出的摄像机的物镜必须具有小焦距(小于f＝20mm)。

需要考虑的一个重要问题是，视场(field of view，简称FOV)限制在虚拟摄像机的两个分支中是不同的。在单个摄像机中，FOV受传感器尺寸和视场孔径所限制。在所提出的设计中，通过将反射元件投影到垂直于光轴的平面上提供视场孔径。所述投影在图1(b)中通过虚拟孔径表示。众所周知，额外的视场孔径产生更强的FOV限制。因此，左边图像中的FOV限制强于右边图像中的FOV限制。可以通过接触或接近接触地放置TRP和CBS来避免FOV限制问题。

在下文中，将更详细地解释所述深度检测设备20的不同元件的功能：

本发明试图最小化每个图像中位于不同深度的物体的比例差异。为此，计算仿射变换，以最小化摄像机传感器上感兴趣轴向间隔的横放大率差异。接下来，将以更详细的方式描述此过程：

必须要考虑到物体的距离，距离不同，产生的放大倍数对于两个虚拟摄像机而言是不同的。放大倍数偏移甚至也取决于到物体的距离。在这层意义上，可以定义函数

这给出了左边图像与右边图像比例之间的关系。在此函数中，Δ是虚拟轴之间的距离，z是右摄像机与物体之间的距离。下面定义平方残差

∈²＝(M(Δ,z)-M₀)² (4)

其中，M₀是要优化的放大倍数值。接下来，可以估算平方残差的总和

其中，z₁和z₂是轴向范围的限制。最后，计算此函数的最小值，即

因此，获得M₀的最佳值

例如，可以计算以下值的最佳重新缩放比例：Δ＝20mm，z₂＝10.0m，z₁＝1.0m。得到，

建议按此因子缩放立体像对中的左边图像，若考虑视频序列，则缩放所有左边的图像。但是这不应被理解为唯一的选择。也可以缩放两个图像中的另一个。

通过所述缩放器22缩放左边图像，并且确定两个图像沿着平行于基线的任何线对齐后，可通过使用所述深度确定器23逐像素地计算像素单元的视差来获得视差图。根据以像素单元表示的视差图，依照以下公式计算深度图：

在公式(8)中，d是以像素数测量的视差；g是摄像机镜头和传感器之间的间隙(在物体处于无穷远处的情况下，g＝f，f是焦距)，p是传感器像素的实际尺寸。

由于使用重新缩放的左边图像进行视差计算是一阶近似的结果，因此需要非线性后校准来进行准确的深度恢复。对于后校准，必须为轴向范围内的大量句子制作包含实际和计算深度距离的表。通过此表可定义后校准函数。

为了解释后校准的工作原理，实现了一个原型，其中基线为Δ＝30.5mm，f＝50mm的物镜在f_#＝8.0的条件下进行工作。对由一系列带有螺旋符号、放置在1至10m的等距位置的7×7cm 2D物体组成的3D场景进行了测试。图像如图1a至1c所示。

计算深度和直接测量距离的表示如图8所示，包括两个结果的抛物线拟合。曲线拟合的斜率和相关系数的数值表明了测试结果的良好一致性。

因此可以看出，实际深度和深度图之间存在残余误差。通过使用所述校准器31确定校准函数，然后将校准函数应用于通过所述深度确定器23确定的每个深度图，获得校准的深度图。相比未校准的深度图，此校准的深度图具有小很多的误差。其中的校准函数最好是非线性函数，尤其是图像变换矩阵。为了确定校准函数，可以使用数学模型，如前面所述。

在图6中，示出了本发明的深度确定方法的第一实施例。在第一步骤100中，使用图像记录设备记录场景的立体图像。通过第一光路记录立体图像的第一图像，通过第二光路记录立体图像的第二图像。所述两个光路不具有相同的长度。在第二步骤101中，通过最小化第一图像和第二图像中描绘的场景中物体的不同横放大率，确定第一图像或第二图像的缩放比例。特别地，因此可以使用所述立体图像记录设备21的场景参数和立体图像记录设备参数。

在第三步骤102中，对第一图像或第二图像之一执行相应的缩放，得到缩放的立体图像。在第四步骤103中，根据缩放的立体图像确定场景的深度图。在可选的最后步骤104中，使用校准函数执行深度图的校准。这将得到校准的深度图。

图7示出了显示图6中步骤104的校准的实施例。在图7中，在第一步骤200中，选择所述立体图像记录设备21的摄像机光学参数。在可选的第二步骤201中，可以选择反射折射元件的其它光学参数，例如图5中的所述全反射棱镜53和所述分束器52。在第三步骤202中，按照最小化两个摄像机的基线的方式排列这些元件。通过最小化基线，可以最小化光路的光程长度差异，因此也就可以最小化校正的需要。在第四步骤203中，确定最佳缩放比例，如前面所述。在第五步骤204中，使用已知参考场景记录一个或多个校准立体图像。在第六步骤205中，根据在步骤203中确定的最佳缩放比例因子缩放校准立体图像。在第七步骤206中，为每个校准立体图像确定校准深度图。在第八步骤207中，确定已知参考场景的已知深度图和确定的校准深度图之间的差异。在最后第九步骤208中，根据校准深度图和已知深度图的差异来确定校准函数。此处可以考虑多个校准深度图。

本发明不限于以上示例，尤其不限于所述立体图像记录设备的特定类型的结构。可以以任何有利的组合使用示例性实施例的特性。

在此结合各种实施例描述了本发明。但本领域技术人员通过实践本发明，研究附图、本发明以及所附的权利要求，能够理解并获得公开实施例的其它变体。在权利要求书中，词语“包括”不排除其它元素或步骤，“一”不排除多个。单个处理器或其它单元可满足权利要求中描述的几项的功能。在仅凭某些措施被记载在通常不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被有效地使用。计算机程序可存储或分发到合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过因特网或者其它有线或无线电信系统分发。

Claims (14)

1.一种深度检测设备(20)，其特征在于，包括立体图像记录设备(21、21a、21b)、缩放器(22)和深度确定器(23)，

其中，所述立体图像记录设备(21、21a、21b)用于记录场景的立体图像，

所述立体图像记录设备(21、21a、21b)包括：

第一光路(43)，用于记录立体图像的第一图像，及

第二光路(44)，用于记录立体图像的第二图像，

其中，所述第一光路(43)和所述第二光路(44)具有不同的长度；

其中，所述缩放器(22)用于：

通过最小化所述第一图像和所述第二图像中描绘的场景中物体的不同横放大率，确定所述第一图像或所述第二图像的缩放比例；

执行所确定的缩放，从而得到缩放的立体图像；

其中，所述深度确定器(23)用于根据所述缩放的立体图像确定场景的深度图；

所述缩放器(22)用于将缩放比例因子

确定为

其中，Δ是所述第一光路(43)和所述第二光路(44)的光学长度之差，z₁是所述场景深度范围的下限，z₂是所述场景深度范围的上限。

2.根据权利要求1所述的深度检测设备(20)，其特征在于，

所述缩放器(22)用于结合立体图像参数来确定所述第一图像或所述第二图像的缩放比例；

所述立体图像参数包括所述立体图像的基线和/或所述立体图像记录设备(21、21a、21b)的焦距和/或所述立体图像记录设备(21、21a、21b)的孔径和/或所述立体图像记录设备(21、21a、21b)的分辨率和/或所述第一光路(43)的长度和/或所述第二光路(44)的长度。

3.根据权利要求2所述的深度检测设备(20)，其特征在于，

所述缩放器(22)用于结合场景参数来确定所述第一图像或所述第二图像的缩放比例；

所述场景参数包括所述场景中物体的深度范围和/或深度分布。

4.根据权利要求3所述的深度检测设备(20)，其特征在于，

所述缩放器(22)用于根据所述立体图像参数和/或所述场景参数，确定所述立体图像记录设备(21、21a、21b)和/或所述场景的数学模型；

所述缩放器(22)用于根据所述数学模型确定所述第一图像或所述第二图像的缩放比例。

5.根据权利要求1至4中任一项所述的深度检测设备(20)，其特征在于，

所述深度检测设备(20)包括校准器(31)，用于：

根据已知参考场景和已知参考场景的已知深度图对所述深度检测设备(20)执行校准，从而得到校准函数；

所述深度确定器(23)确定所述深度图之后对每个确定的深度图执行所述校准函数，从而得到校准的深度图。

6.根据权利要求5所述的深度检测设备(20)，其特征在于，

所述立体图像记录设备(21、21a、21b)用于记录已知参考场景的校准立体图像；

所述缩放器(22)用于：

通过最小化所述校准立体图像的所述第一图像和所述第二图像中描绘的所述场景中物体的不同横放大率，确定所述校准立体图像的所述第一图像或所述第二图像的缩放比例，及

执行所确定的缩放，从而得到缩放的校准立体图像；

所述深度确定器(23)用于根据缩放的校准立体图像确定已知参考场景的校准深度图；

所述校准器(31)用于：

确定所述校准深度图和所述已知深度图的差异，及

根据所述校准深度图和所述已知深度图的差异确定所述校准函数。

7.根据权利要求6所述的深度检测设备(20)，其特征在于，

所述校准器(31)用于将所述校准函数确定为非线性函数。

8.根据权利要求7所述的深度检测设备(20)，其特征在于，

所述校准器(31)用于将所述校准函数确定为图像变换矩阵。

9.根据权利要求8所述的深度检测设备(20)，其特征在于，

所述立体图像记录设备(21、21a、21b)用于记录基线偏移的所述立体图像的所述第一图像和所述立体图像的所述第二图像。

10.根据权利要求9所述的深度检测设备(20)，其特征在于，

所述立体图像记录设备(21、21b)包括单个摄像机(50)和分光器(51)；

所述单个摄像机(50)用于连续地记录所述第一图像和所述第二图像；

所述分光器(51)用于连续地在所述第一光路(43)和所述第二光路(44)之间切换。

11.根据权利要求10所述的深度检测设备(20)，其特征在于，

所述分光器(51)包括：

分束器(52)，布置在所述单个摄像机(50)的前面，及

全反射棱镜(53)，布置在所述分束器(52)的分束方向上；

所述第一光路(43)从所述场景通向所述分束器(52)再通向所述单个摄像机(50)；

所述第二光路(44)从所述场景通向所述全反射棱镜(53)通向所述分束器(52)再通向所述单个摄像机(50)。

12.根据权利要求11所述的深度检测设备(20)，其特征在于，

所述分光器(51)包括：

第一快门设备(54)，布置在所述第一光路(43)内，但不在所述第二光路(44)内，及

第二快门设备(55)，布置在所述第二光路(44)内，但不在所述第一光路(43)内；

所述第一快门设备(54)用于：

在单个摄像机记录所述第二图像期间关闭所述第一光路(43)，及

在单个摄像机记录所述第一图像期间打开所述第一光路(43)；

所述第二快门设备(55)用于：

在单个摄像机记录所述第一图像期间关闭所述第二光路(44)，及

在单个摄像机记录所述第二图像期间打开所述第二光路(44)。

13.根据权利要求9所述的深度检测设备(20)，其特征在于，

所述立体图像记录设备(21、21a)包括：第一摄像机(40a)，用于记录所述第一图像；第二摄像机(40b)，用于记录所述第二图像；

所述第一摄像机(40a)和所述第二摄像机(40b)到场景的距离不同，导致所述第一光路(43)和所述第二光路(44)的长度不同。

14.一种深度检测方法，其特征在于，包括：

使用立体图像记录设备(21、21a、21b)记录(100)场景的立体图像，所述立体图像记录设备(21、21a、21b)包括第一光路(43)和第二光路(44)，其中通过所述第一光路(43)记录所述立体图像的第一图像，通过所述第二光路(44)记录所述立体图像的第二图像，其中所述第一光路(43)和所述第二光路(44)具有不同的长度；

通过最小化所述第一图像和所述第二图像中描绘的所述场景中物体的不同横放大率，确定(101)所述第一图像或所述第二图像的缩放比例；

执行(102)所确定的缩放，从而得到缩放的立体图像；

根据所述缩放的立体图像确定(103)所述场景的深度图。

Images