CN103180877A - 立体图像检测系统的基础宽度的确定 - Google Patents

Abstract

本发明涉及一种用于确定立体检测系统（102）、尤其是立体摄像机系统的基础宽度的方法。所述方法包括以下步骤：基于由立体检测系统（102）检测的对象（104）的所检测的尺寸、在对象与立体检测系统的参考距离的情况下对于所述对象预先确定的对象参考尺寸、参考距离和立体检测系统的与所述对象相关的视差值来确定基础宽度，其中所检测的尺寸代表通过立体检测系统求得的值。

Description

立体图像检测系统的基础宽度的确定

技术领域

本发明涉及一种用于确定立体检测系统的基础宽度的方法、一种相应的设备以及一种相应的计算机程序产品。

背景技术

驾驶员辅助系统的基于视频的环境感知变得越来越重要。其中使用由一个或多个摄像机组成的传感器。由于外部影响——如温度变化或机械力可能的是，以前校准的摄像机系统变得未经校准。在此，不仅调整摄像机彼此的定向而且调整立体摄像机系统的基础宽度——接下来称作“立体基础宽度”。摄像机模型的现在错误的参数导致基于立体三角测量法和所有由此推导的参量的错误的深度测量。

为此，DE 10 2005 039 561 A1描述一种用于光学系统的温度补偿的方法。

发明内容

在此背景下，通过本发明提供根据独立权利要求的用于确定立体检测系统的基础宽度的方法、使用所述方法的设备以及（最后）相应的计算机程序产品。有利的构型从相应的从属权利要求和后续说明中得出。

根据本发明的方法可以基于用于借助参考对象确定内在摄像机参数和外在摄像机参数的已知方法。在此，在一个或多个视频图像中探测参考对象，所述参考对象的几何特征是已知的。由几何特征的探测可以借助已知方法（如其例如在SCHREER,O.所著的《Stereoanalyse und Bildsynthese》，Springer Berlin Heidelberg，2005年，ISBN 978-3-540-23439-5（印刷）中描述的那样）计算摄像机参数。在已知的摄像机参数的情况下，可以借助立体三角测量法求得世界点、即所记录的场景中的点与摄像机系统的距离。

根据本发明的方法现在基于，基于所检测的对象来确定立体基础宽度。对于立体摄像机系统的应用领域，可以通过图像中的已知几何参量的测量来确定立体基础宽度。已知几何参量在此例如可以是号牌的高度、交通标志的直径或也可以是交通柱的宽度。这些值通常是标准化的并且因此是已知的。根据本发明的系统可以通过立体测量原理求得这些参量并且在偏差的情况下校正摄像机参数。在此可以通过已知的方法确定两个摄像机彼此的相对定向。与此相反，既可以同时或者也可以在第二步骤中单独通过根据本发明的方法重新求得立体基础宽度。

用于自动确定摄像机的定向的已知方法不包括立体基础宽度的校正。有利地，可以借助根据本发明的方法避免实施迄今所需的、借助参考对象对摄像机系统的完整重新校准。迄今必须“离线地（offline）”实施这种费时的步骤。有利地，根据本发明的方法能够在摄像机系统运行期间（“在线”模式：“online”-Modus）实现深度测量的自动校正。因此，在摄像机系统运行期间，根据本发明通过立体摄像机系统的基础宽度的自动确定可以测量可能改变的系统结构的立体基础宽度。摄像机不仅在离线模式中而且在在线模式中工作。在此，车辆可以始终处于运动中。因此，可以在车辆行驶期间实施基础宽度的确定。然而，不同于在线模式，在离线模式中后续的图像处理算法不运行，例如用于探测车辆或行人。

本发明提供一种用于确定立体检测系统、尤其是立体摄像机系统的基础宽度的方法，其包括以下步骤：

基于由立体检测系统检测的对象的所检测的尺寸（其中所检测的尺寸代表通过立体检测系统求得的值）、在对象与立体检测系统的参考距离的情况下对于所述对象预先确定的对象参考尺寸、参考距离和立体检测系统的与所述对象相关的视差值来确定基础宽度。

因此，可以基于与立体检测系统具有一确定间距的、由立体检测系统检测的对象在图像中的扩展——例如宽度、高度或深度以及立体检测系统的与所述对象相关的视差值来进行基础宽度的确定。所述间距在此优选由图像中的扩展求得，但替代地例如也可以通过用于距离测量的单独设备——例如雷达传感器、激光传感器或PMD传感器获得。

立体检测系统可以具有两个彼此相邻设置的检测装置，例如两个具有镜头的摄像机。借助这两个检测装置可以分别生成立体检测系统的周围环境的同一区域的图像。两个检测装置的光轴之间的间距在此可以相应于基础宽度。所述对象可以涉及设置在立体检测系统的周围环境中并且位于立体检测系统的检测区域中的物体或标记。在所述确定的步骤中，可以基于由立体检测系统产生的记录实现所检测的尺寸。对象的所检测的尺寸例如可以相应于立体检测系统的传感器元件上表征对象的边缘的两个像点之间的间距或像点数量。如果以子像素工作，则所述间距可以不是整数。以相应的方式可以用子像素说明参考尺寸。一个子像素可以理解为一个像点的一小部分。如果检测参考距离上的对象，则所检测的尺寸相应于预先确定的参考尺寸。可以提前测量对象，从而参考尺寸在相应参考距离的情况下是已知的。参考尺寸和参考距离可以存储在存储器中并且从所述存储器中读取。可以通过合适的接口接收关于在图像摄取时刻与对象的距离的信息，由所述信息确定对象的所检测的尺寸。所述距离可以通过分析处理由立体检测系统提供的信息、例如通过对象在图像中的扩展来实现。替代地，可以通过其他合适的方式——例如借助雷达传感器、激光传感器或PMD传感器来确定所述距离。可以从由两个检测装置提供的图像或图像信息中确定视差值。在此，“视差”可以理解为两个检测装置的两个对应的像点之间的偏差，所述两个检测装置分别成像立体检测系统的周围环境中的相同的真实的点。也可以使用多个与对象相关的视差值或关于整个对象求得的视差信息。立体检测系统例如可以设置在车辆上并且可以被构造用于检测车辆的周围环境。在在线运行中，可以持续产生立体检测系统的周围环境的记录。一个或多个在在线运行期间产生的记录可以作为用于确定立体检测系统的基础宽度的基础。

为了确定是否需要基础宽度的校正，可以以两种不同的方式确定与所检测的对象的当前间距。如果两个间距值一致，则不需要校正。如果与此相反两个间距值不一致，则需要校正。一方面，可以基于在确定的时刻检测的对象尺寸、对象的参考尺寸和参考尺寸所基于的对象参考距离来确定所述间距。另一方面，可以基于当前调节的基础宽度和在确定的时刻求得的视差值来求得所述间距。

此外，可以基于立体检测系统的焦距和传感器元件的大小来确定基础宽度。传感器在此是图像摄取装置。特别地，可以由距离、视差值和传感器元件的大小的乘积与焦距的商来确定基础宽度。

根据一种实施方式，基于所检测的对象与立体检测系统的距离和视差值求得基础宽度，其中基于所检测的尺寸、参考尺寸和参考距离来确定所述距离。因此，优选地，不需要其他装置来确定与对象的当前间距。

此外，所述方法包括在立体检测系统的周围环境的由立体检测系统检测的记录中识别对象的步骤和将参考尺寸和参考距离分配给所述对象的步骤。优选地，可以借助对象识别方法在立体检测系统在线运行期间检测的记录中识别所述对象。在查找表中可以存放与多个参考对象相应的参考尺寸和参考距离。对于每个参考对象可以分别存放多个不同的参考尺寸和所属的参考距离。此外，可以存放一个或多个参考对象的合适的特征，其能够实现参考对象的识别。

在此，在识别的步骤中，对象可以被识别为多个已知的参考对象中的一个，对于所述多个已知的参考对象分别已知至少一个参考尺寸和至少一个参考距离。因此，对于每个参考对象可以存放一个或多个参考对，其中每个参考对分别包括参考尺寸的值和参考间距的值。如果立体检测系统设置在车辆上，则参考对象通常可以是在车辆的周围环境中出现的对象——例如交通基础设施或其他车辆的区域。因此参考对象可以涉及由立体检测系统原本在正常运行期间检测的对象。

根据一种实施方式，可以执行响应于在记录中识别对象确定基础宽度的步骤。因此可以通过识别合适的对象来自动触发本方法。

所述方法可以包括基于分配给立体检测系统的立体算法确定视差值的步骤。借助立体算法可以确定立体检测系统的记录的深度信息。对象的视差值可以与分配给对象的一个点或一个边相关。

此外，本发明提供一种用于确定立体检测系统、尤其是立体摄像机系统的基础宽度的设备，其包括以下特征：

用于基于由立体检测系统检测的对象的所检测的尺寸、在对于与立体检测系统的参考距离的情况下对于所述对象预先确定的对象参考尺寸、参考距离和立体检测系统的与对象相关的视差值来确定基础宽度的装置，其中所检测的尺寸代表通过立体检测系统求得的值。

所述设备可以是立体检测系统的一部分。所述设备被构造用于在相应的装置中实施或实现根据本发明的方法的步骤。通过本发明的设备形式的实施变型方案也可以快速和有效地解决本发明所基于的任务。

设备在此理解为处理传感器信号并且据此输出控制信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是包括所述设备的最不同功能的所谓的系统ASIC或所谓的FPGA的一部分。然而，还可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。

当在相应于计算机的设备上执行程序时，具有以下程序代码的计算机程序产品也是有利的：所述程序代码可以存储在机器可读的载体——如半导体存储器、硬盘存储器或光学存储器上并且被用于实施根据以上描述的实施方式之一的方法。

附图说明

下面根据附图示例性地详细解释本发明。附图示出：

图1：本发明的一个实施例的概略示图；

图2：本发明的一个实施例的流程图；

图3：根据本发明的一个实施例的立体检测系统的示意图。

具体实施方式

在本发明的优选实施例的后续描述中，对于在不同附图中示出并且起类似作用的元件使用相同的或类似的参考标记，其中不重复描述这些元件。

图1示出根据本发明的一个实施例的具有立体摄像机系统102的车辆100。所述立体摄像机系统102可以被用作立体测量系统。立体摄像机系统102被构造用于在车辆100处于运动期间以及在车辆100的静止状态中摄取车辆100的周围环境的图像。例如车辆可以位于车道上，并且交通标志104可以位于立体摄像机系统102的检测区域中。因此，立体摄像机系统102可以检测交通标志104。由立体摄像机系统检测的图像例如可以提供给驾驶员辅助功能并且由其分析处理。例如可以借助对象识别来识别交通标志104。此外，立体摄像机系统102的图像或单独的图像可以提供给用于确定立体摄像机系统102的基础宽度的设备106。设备106可以是立体摄像机系统102的一部分或可以被实现为通过接口与立体摄像机系统102连接的单独单元。设备106被构造用于例如根据交通标志104确定基础宽度。为此，设备106可以处理由立体摄像机系统102求得的关于交通标志104的视差信息。通过设备106确定的基础宽度可以被用于更新立体摄像机系统102的基础宽度的现有值。

图2示出根据本发明的一个实施例的用于确定立体检测系统、尤其是立体摄像机系统的基础宽度的方法的流程图。所述方法可以被用于确定在图1中示出的摄像机系统的基础宽度。

在步骤210中，分析由立体检测系统摄取的关于一个或多个预先确定的对象的记录。为此，可以执行合适的对象识别。如果识别到相应的对象——例如在图1中示出的交通标志，则可以在步骤212中确定与所述对象的距离。这例如可以通过以下方式实现：测量对象的确定特征的尺寸并且将其与所存放的参考尺寸相关联。所述尺寸可以相应于立体检测系统的记录或图像中的特征的扩展。所述特征例如可以代表交通标志牌的高度、宽度或其他参量。参考尺寸与相应的特征相关。参考尺寸例如可以被存放在存储器中并且在对象识别的情形中被读取。在步骤214中，可以确定分配给所述对象的视差值。随后在步骤216中可以基于视差值和距离确定当前现有的基础宽度。在步骤218中，可以通过当前确定的基础宽度取代立体检测系统的迄今假设的基础宽度。

图3示出根据本发明的一个实施例的立体检测系统的轴平行的立体几何的俯视图。立体检测系统具有第一检测系统以及第二检测系统，所述第一检测系统具有第一透镜321或由一个或多个透镜组成的第一镜头和第一传感器元件323，所述第二检测系统具有第二透镜325或由一个或多个透镜组成的第二镜头和第二传感器元件327。第一和第二检测系统的光轴彼此平行地延伸通过点331、333并且通过基础宽度B彼此间隔开。第一和第二检测系统分别具有相同的焦点f。示出由立体检测系统检测的对象的一个点341，其成像到第一传感器元件323的第一像点343上和第二传感器元件327的第二像点345上。矢量u₁、u₂表示像点343、345与相应的光轴之间的间距。还示出点341与立体检测系统并且尤其与设置有传感器元件323、327的平面的距离ρ。

根据一个实施例，对于用于自动确定立体摄像机系统的基础宽度的方法而言前提是，在一个或多个给定的参考距离的情况下，已知对象——例如号牌或交通标志在图像中的扩展是已知的。为了描述所述方法，h₀在接下来的流程中示例性地表示在ρ₀=10m的参考距离的情况下在摄像机图像中号牌的高度，以像素为单位说明。如上面已经描述的那样，具有已知的几何特征的其他对象也是可能的。其他的参考距离同样是可能的。

因此，对象的当前距离ρ₁可以通过当前高度h₀和参考高度h₀以及参考距离ρ₀的关系说明。

${\mathrm{\ρ}}_1=\frac{h_0}{h_1}\·{\mathrm{\ρ}}_0---\left(1\right)$

在此，ρ₁表示当前距离，h₁表示当前测量的高度，ρ₀表示参考距离并且h₀表示参考高度。

同时，对象与立体摄像机系统的间距ρ[m]（在轴平行的立体几何的情况下）通过以下公式描述。

$\mathrm{\ρ}=\frac{B\·f}{\mathrm{\δ}\·d_u}---\left(2\right)$

在此，B是立体基础宽度，单位为米，f是摄像机的焦距，单位为米，δ是视差，单位为像素，并且d_u是传感器元件的宽度（缩放因子），单位为米每像素。图3概述了对于轴平行的立体几何的情形的所述关系。

公式（2）适用于轴平行的立体几何的情形。对于通常的立体几何的情形，δ通过δ1和δ2取代，δ1和δ2分别是摄像机1和摄像机2中参考对象的定向的函数。

除了例如可以由于机械影响或由温度决定的影响而改变的立体基础宽度之外，方程（2）中的其他参数——即焦距f和传感器元件大小d_u被假设为常数或在视差δ的情形中通过立体算法正确地确定。由此对象的距离ρ₁的错误测量能够借助公式（2）追溯到立体基础宽度B的错误值。

为了确定立体基础宽度的真实值，现在按照B解方程（2）：

$B=\frac{\mathrm{\ρ}\·\mathrm{\δ}\·d_u}{f}---\left(3\right)$

并且借助公式（1）确定参考对象、例如号牌的当前距离ρ₁。同时立体算法提供对象的当前视差δ，所述对象的距离ρ₁刚刚已经确定。随后当前视差δ和当前距离ρ₁用于公式（3）中的参考对象，随后由此可以计算出当前的立体基础宽度B。

所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实施例可以完整地或关于各个特征彼此组合。一个实施例也可以通过另一个实施例的特征来补充。此外，可以重复以及以不同于所描述的顺序的顺序执行根据本发明的方法步骤。

Claims (12)

1.一种用于确定设置在车辆上的立体检测系统（102）、尤其是立体摄像机系统的基础宽度的方法，所述方法包括以下步骤：

检测由所述立体检测系统（102）检测的对象（104）的尺寸，

其中，所检测的尺寸代表通过所述立体检测系统求得的值，

将所述尺寸与在所述对象与所述立体检测系统的参考距离的情况下所述对象的对于所述对象预先确定的参考尺寸和所述参考距离相关联，用于确定所检测的对象（104）与所述立体检测系统的距离，

以及基于所述距离和所述立体检测系统的与所述对象有关的视差值确定所述基础宽度，

其中，在运行中持续产生所述立体检测系统的周围环境的记录，所述记录被用作所述基础宽度的确定的基础，并且在所述车辆行驶期间实施所述基础宽度的确定。

2.根据权利要求1所述的方法，其中，还基于所述立体检测系统的焦距和传感器元件的大小确定所述基础宽度。

3.根据以上权利要求中任一项所述的方法，其中，当以两种不同的方式确定与所检测的对象的当前间距并且其不一致时，才校正所述基础宽度，其中，基于所述对象的在确定时刻检测的尺寸、所述对象的参考尺寸和所述对象的基于所述参考尺寸的参考距离确定一个间距，并且基于当前调节的基础宽度和在确定时刻求得的视差值求得另一个间距。

4.根据以上权利要求中任一项所述的方法，其中，所述距离替代地通过用于距离测量的单独设备——例如雷达传感器、激光传感器或PMD传感器获得。

5.根据以上权利要求中任一项所述的方法，所述方法具有在所述记录中识别所述对象（104）的步骤和将所述参考尺寸和所述参考距离分配给所述对象的步骤。

6.根据以上权利要求中任一项所述的方法，其中，在所述识别的步骤中，作为多个已知的参考对象中的一个识别所述对象（104），对于所述多个已知的参考对象分别至少一个参考尺寸和至少一个参考距离是已知的。

7.根据权利要求5或6中任一项所述的方法，其中，执行响应于在记录中识别所述对象（104）确定所述基础宽度的步骤。

8.根据以上权利要求中任一项所述的方法，所述方法具有基于分配给所述立体检测系统（102）的立体算法确定所述视差值的步骤。

9.根据以上权利要求中任一项所述的方法，其中，所述参考对象通常是在所述车辆的周围环境中出现的对象，例如交通基础设施或其他车辆的区域，例如号牌或交通标志。

10.根据以上权利要求中任一项所述的方法，其中，将所述参考尺寸存放在存储器中并且在识别到所述对象的情形中读取所述参考尺寸。

11.一种用于确定设置在车辆上的立体检测系统（102）、尤其是立体摄像机系统的基础宽度的设备，其包括以下特征：

用于检测由所述立体检测系统（102）检测的对象（104）的尺寸的装置（106），

其中，所检测的尺寸代表通过所述立体检测系统求得的值，

所述装置将所述尺寸与在所述对象与所述立体检测系统的参考距离的情况下所述对象的对于所述对象预先确定的参考尺寸和所述参考距离相关联，用于确定所检测的对象（104）与所述立体检测系统的距离，随后基于所述距离和所述立体检测系统的与所述对象有关的视差值来确定所述基础宽度，

所述装置在运行中持续产生所述立体检测系统的周围环境的记录，所述记录被用于所述基础宽度的确定的基础，

所述装置在所述车辆行驶期间实施所述基础宽度的确定。

12.一种具有程序代码的计算机程序产品，所述程序代码用于当在设备上执行所述程序时，实施根据权利要求1至11中任一项所述的方法。

Images