CN106716489A - 机载的形成立体图像的系统的摄像机的外在校准方法 - Google Patents

Abstract

本发明的目的在于以可再现并且对于道路不规则性或者由摄像机产生的图像噪声不灵敏的方式校准机载立体系统。为此，本发明提出把由系统观测的场景的点相对于假设的平面场景的深度偏差与系统的各摄像机之间的对应的偏转偏差相关联，然后由此得出摄像机的偏转校准的校正。根据一个实现方式，在如所观测的和如所期待的场景之间进行比较在于：通过时间空间滤波来确定所观测深度和所期待深度之间的深度偏差（AZa），所述所观测深度是形成在如定位于一个摄像机的坐标系中的另一第一摄像机（11）的图像平面中的平面场景的图像的至少一个点（P1a）的所观测深度，所述所期待深度是被从第一摄像机（11）投影在平面场景（120）上的该点（P2a）的所期待深度，然后根据在足够的一组点上取平均的深度偏差来确定所述摄像机之间的偏转校准偏差。

Description

机载的形成立体图像的系统的摄像机的外在校准方法

本发明有关于在特别是用于装配机动车辆的机载的形成立体图像的立体视觉系统中使用的摄像机的外在校准方法。

在机动车安全领域，辅助驾驶系统可能包括借助于在车辆上的机载立体视觉系统的视觉辅助。这些系统一般用来检测位于这些车辆前方的视场中的障碍物。立体视觉系统实际上允许根据如下的两个机载摄像机来确定车辆和这些前方障碍物之间的距离：所述两个机载摄像机被布置成接近于彼此以用于为数字处理单元提供成对的立体图像。通过分析这样提供的图像之间的差异，系统允许准确标识障碍物以及它们到车辆的距离。

此外，对这些障碍物的认识被通过辅助驾驶系统告知给驾驶员。例如在涉及在没有另外地指示障碍物的情况下实时地获知道路是否确实没有障碍物时，摄像机的可靠性可能成为决定性的。

准确性取决于摄像机的校准以及对相对于初始校准的可能的变化的知悉。摄像机的校准与内在参数有关，如它们的焦距或它们的变倍的设置，并且与它们的有关于每个摄像机相对于车辆的位置以及有关于摄像机中的一个相对于另一个的相对位置的外在参数有关。

每个摄像机被在工厂初始地内在校准并且对于供应商而言内在参数在整个使用持续时间期间被认为是恒定的。

传统地，将摄像机中的一个认为是基准摄像机，内在校准在于设置该基准摄像机相对于车辆的位置和旋转以及相对于另一照相机（被称为从摄像机）的旋转的位置和旋转。各摄像机应当被相对于彼此以相当准确的方式在位置上进行设置以用于避免它们的位置相对于它们的间隔的任何垂直度误差。然而以足够准确的方式组装它们以用于获得偏转上的零偏离并且因此避免该误差是困难的。

此外，外在参数由于使用参数的变化，特别是由于因温度所致或因摄像机所经受的机械振动所致的变化而随时间变化。

参照立体视觉系统的OXYZ正交坐标系，对摄像机围绕横轴OX的相对旋转（俯仰角）、摄像机围绕纵轴OZ的相对旋转（倾斜角）、以及摄像机围绕仰角轴OY的相对旋转（偏转（或按英语术语的“yaw（偏航）”）角）的校准可以有利地通过应用在称为核面（épipolaire）几何学空间中的多点立体视觉配对搜索中所使用的核面约束来实现。该几何学在从不同的视点实现的同一场景（图像点）的不同图像的各点之间建立关系，这些图像点对应于场景的同一对象点在摄像机图像空间中的投影。

核面约束允许在给定的图像中把对象点的图像点的搜索限制于被称为核面线的投影线上，而仅知道该图像点在另一图像中的位置。核面约束因此通过在由第一摄像机产生的单获取的第一图像的每个点和由另一摄像机同时产生的另一图像的核面线的各点之间搜索配对点来引导立体视觉图像的构建。核面几何学允许通过简单的关系与对应的图像点的场深度结合地得出对应的图像点，以便重构立体视觉（即呈三维景像的）图像。

然而，图像的像素化对图像的质量有影响。该影响对于俯仰或倾斜校准而言是可测量的，因为校准错误的检测于是在图像上是直接可测量的。例如，一度的俯仰或倾斜旋转将在图像上引起10像素的偏差并且这将是可见的。但是该偏转偏差不能在图像上被校正，因为那样灵敏度太低：核面线上的投影偏差相对于图像噪声仍然太小—对于一度的偏离而言平均小于0.1像素—并且于是核面约束不能被利用。

为了克服该问题，并且更一般地为了消除摄像机准确组装的误差—其更特别地表现在偏转校准上—可能想见的是使用补充的外部信息，如来自另一传感器的车辆速度或场景深度。

例如，雷达的使用允许将对象—例如车辆—定位于给定的距离。同一车辆于是被利用立体系统的第一摄像机观测并且被利用另一摄像机按角度进行校准因而车辆确实处于所给定的距离。然而，雷达并不是足够准确的并且因此并不是对于取得大数量的坐标系点来说是必需的。此外，这种雷达生成额外的成本。

已经通过仅使用图像处理系统从而开发出了在没有使用雷达的约束的情况下的其它进展。

因此，专利文献FR 2 986 358描述了根据捕获特定的并且定位在测试卡上的目标点来校准安装在车辆上的摄像机。通过求解带有六个未知量（三个平动分量和三个旋转分量）的非线性方程系统，摄像机的图像平面中的给定坐标点于是被定位在场景中。

该方案对于在立体视觉系统的两个摄像机之间的偏转校准而言是难以应用的，因为系统的复杂性不允许从同一测试卡针对运动中的两个摄像机得到无疑义的确定。

国际申请WO 2011/079258规定了实时地确定多摄像机系统的失准（更特别地，其外在失准），并且根据一个图像的所观测数据—通过对这些数据的测量—以及按照先前设置的校准应用而规定的数据之间的对应来重新校准多摄像机系统。与典型对象的模型的特性有关的所述数据的对应被以实时测量的对准得分的历史统计的形式存储。

然而，该方案有关于至少三个的多摄像机的系统并且使用多个模型对象（如圆形）或者3D（三维）模型（如圆柱体）以用于实施该方法。典型模型的使用限制了该方法的使用。此外，确定失准（对于机载立体视觉系统而言特别是偏转失准）的性能是不可测量的。

本发明的目的在于以可再现并且对于道路不规则性或者由摄像机产生的图像噪声不灵敏的方式校准机载立体视觉摄像机系统。为此，本发明提出把由系统观测的场景的点相对于假设的平面场景的深度偏差与系统的各摄像机之间的对应的偏转变化相关联，然后由此得出摄像机的偏转校准的校正。

为此，本发明的目的在于一种机载于机动车辆中的形成立体图像的立体视觉系统的第一摄像机和第二摄像机的外在校准方法，包括以下步骤：

●获取各摄像机的倾斜、俯仰和偏转的立体外在和单内在校准；

●通过重构由前述的校准步骤校准的三维图像来获取视场中的场景的连续的立体视觉图像，每个立体视觉图像是从所述第一和第二摄像机的左和右图像重构的，所述左图像和右图像被同时地产生并且被以像素的形式数字地存储；

●对这样重构的立体视觉图像进行滤波；

●通过利用预先确定的数量的点进行时间空间滤波来在如通过重构的每个图像所观测的场景的轮廓和如所期待的场景的线性轮廓之间进行比较；

●根据前述的比较来建立偏转校准偏差；

●根据由前述步骤确定的偏转校准偏差来校正摄像机的偏转校准；以及

●对前述步骤的校正进行迭代直到通过重复前述的各步骤获得零校准偏差为止。

根据优选的实施方式：

–在如所观测的场景的轮廓和如所期待的场景的轮廓之间进行比较在于：确定如所观测的场景的场深度和如所期待的线性轮廓的场景的至少一个点的场深度之间的场深度偏差，然后根据在预先确定的一组点上取平均的深度偏差来确定第一摄像机和第二摄像机之间的偏转校准的偏差；

●由所述第一摄像机形成的场景的图像点的所观测的场深度是根据摄像机的图像之间的差异确定的；

●所述第一摄像机和图像点之间的距离等于所述第一摄像机的焦距和由摄像机的图像之间的差异分开的摄像机之间的距离的乘积；

●所期待的深度是由所述第一摄像机的坐标系和所述车辆的坐标系之间的转换矩阵确定的；

●对于每个图像点而言，偏转校准的偏差与深度偏差成正比，并且与所期待的深度的平方成反比；

●所述第一摄像机和所述第二摄像机之间的偏转校准偏差取决于如下而分别对应于各摄像机之间的会聚以及辐散：相对于零全局倾斜度的轮廓的所期待场景，所观测的场景的轮廓分别以正的全局倾斜度倾斜以及以负的全局倾斜度全局地倾斜；

●在分别如所观测场景的轮廓中所观测的以及如所期待场景的线性轮廓中所期待的同一个点之间，在所述第一摄像机和所述第二摄像机之间的按照单位深度偏差dZ的单位偏转角度变化dL由如下等式给出：，“b”是摄像机之间的距离；“Z”是线性轮廓的场景中的点的所期待的深度；“Un”是与所述第一摄像机的二维图像坐标系中的所观测点对应的图像点的归一化的横坐标（其中，“Ui”是所述第一摄像机的图像平面中的图像点的横坐标；“U0”是所述图像中的中心坐标并且“f”是所述第一摄像机的焦距）。

通过参照随附各图阅读以下的非限制性的详细描述，本发明的其它数据、特性和优点将变得明显，随附各图分别表示：

–图1是根据本发明的方法的偏转校准的逻辑图；

–图2a和图2b是其中立体视觉系统的摄像机被组装在机载支承件上的车辆的侧视图和顶视图；

–图3a是在系统的摄像机之间的会聚偏转误差的情况下不同的道路轮廓的侧视图：假设为线性的轮廓；要由车辆走过的真实轮廓；以及如由机载于车辆中的立体视觉系统—通过第二摄像机的坐标系中的第一摄像机—观测的轮廓；

–图3b是在摄像机之间的辐散偏转误差的情况下根据图3的道路的不同轮廓的侧视图；以及

–图4是立体视觉系统的第一摄像机的图像平面的透视图。

图1的逻辑图图解从如下的步骤开始的根据本发明的在车辆中的机载立体视觉摄像机系统的外在校准方法的实现：由所述系统观测的道路的图像的获取步骤10，以及如所期待的道路的图像（也就是说，被认为是平坦的道路的图像）的并行获取步骤（步骤20）。除了摄像机之外，机载立体视觉系统还包括来自这些摄像机的数据的处理单元以便构建三维图像。

所观测的道路的每个图像（步骤10）来自于所说的3D校准的三维重构图像，该三维重构图像是根据由立体视觉系统的摄像机所看到的大量的点—例如100000个点—实现的。这些点的深度是根据由对应的摄像机形成的左图像和右图像之间的差异图确定的。

为了在步骤30重构每个3D图像，在步骤40处对立体外在和单内在初始校准获取步骤31进行滤波。

步骤10的每个被观测并且被3D重构的图像然后在深度上与步骤20的被假设为平坦的道路的对应的所期待图像进行比较。每个所期待图像是由立体视觉系统的摄像机中的一个的基准2D二维图像形成的，该同一基准图像用于实现对应的3D重构图像。在利用预先确定的数量的点进行时间—空间滤波之后，道路的图像被假设为是平坦的。因此使用多个相继的图像上的多个点以便获得道路的图像的平均轮廓。该预先确定的数量至少等于1，但是考虑到获取噪声和道路的或多或少不规则的轮廓，有利的是采用多个相继的图像上的多个点。所使用的图像的数量取决于车辆的速度和所希望的校准准确度。然后根据该比较在步骤50建立深度偏差。

可以执行预先标定以便经验地建立深度偏差和对应的偏转角度偏差之间的关联。稍后提出该关联的确定方法。

由于摄像机之间的偏转变化所致的偏转校准偏差因此在步骤60被确定并且在步骤61被以图像校正的形式注入到如在步骤30建立的3D图像的重构中。每当建立新的偏转角度校准偏差，就这样依次地对校准进行校正。只要有校正被提供到步骤30并且在步骤60被确定为非零，该迭代就继续。

如由图2a和图2b的侧视图和顶视图所图解那样，立体视觉系统的摄像机11和12被组装在布置于车辆1的挡风玻璃1a的顶部上的机载支承件110上。还在这些图上表示的是分别以第一摄像机11的光学中心O1、第二摄像机12的光学中心O2以及立体视觉系统的光学中心O为中心的坐标系O1X1Y1Z1、O2X2Y2Z2以及OXYZ，这些坐标系分别联系于所述摄像机11、12和车辆1。摄像机之间的距离是按它们的光学中心O1和O2之间的距离来测量的，该距离在图中由“b”标明。

更特别地，摄像机11和12的二维子坐标系X1O1Z1和X2O2Z2之间的角向偏离ΔL（图2b）表示摄像机11和12之间的偏转偏差。在图2b中，该偏转偏差ΔL被图解在所述二维子坐标的O1X1轴和O2X2轴之间，但是还完全可以由形成摄像机11和12的光轴的O1Z1轴和O2Z2轴之间的角向偏离表示。

不过根据本发明，深度偏差被认为揭示了摄像机之间归因于角向偏离ΔL的偏转校准误差。参照根据图3a和图3b的道路轮廓的侧视图，该深度偏差被图解于与第一摄像机11的图像平面垂直的车辆1的Y1O1Z1平面中。在这些图中，道路的真实轮廓121以平均方式—通过时间-空间滤波—限定所说的如所期待的基准线性轮廓120。

在这些图中，还显示了根据上升全局轮廓13a（图3a）或下降全局轮廓13b（图3b）的如由机载立体视觉系统观测的道路轮廓130，上升全局轮廓13a和下降全局轮廓13b分别对应于摄像机的会聚以及辐散偏转角度误差，其生成偏转校准误差。

摄像机的偏转角度偏差来自于系统的摄像机中的一个或另一个的（如摄像机11在它的机载支承件110上的）安装误差或变化。并且在这两种情况下（图3a和图3b）如所观测的道路的轮廓13a或13b的倾斜因为角度误差并且因此偏转校准误差大而更大。

在第一种情况下（图3a），所观测的道路轮廓13a的任何点P1a以与对应于如所期待的基准线性轮廓120的点P2a相比是更靠近的方式被立体视觉系统看到，点P1a和P2a在通过立体视觉系统的光学中心“O”的直线Da上。该光学中心在根据图2a和图2b的侧视图上与摄像机11的光学中心O1重合。点P1a的这种“靠近”由轮廓13a的正倾斜引起。

点P1a和P2a之间的深度偏差ΔZa是沿着O1Z1轴测量的。由于所观测的轮廓13a相对于基准线性轮廓120倾斜，因而该偏差ΔZa随着所考虑的点P1a沿着O1Z1轴远离而增大。于是障碍物可能出现在与轮廓121对应的真实道路上的立体视觉系统的视场中并且可能例如通过滤波而被排除（图1，步骤40）。

在第二种情况下（图3b），所观测的道路轮廓13b的任何点P1b以与对应于基准线性轮廓120的点P2b相比是更远离的方式被立体视觉系统看到，点P1b和P2b在通过摄像机11的光学中心O1—在该侧视图的投影上—的直线Db上。点P1b的这种“远离”是由轮廓13b的负倾斜导致的。

点P1b和P2b之间的深度偏差ΔZb也是沿着OZ轴测量的。由于所观测的轮廓13b相对于基准线性轮廓120倾斜，因而该偏差ΔZb随着所考虑的点P1b的远离而增大。

因此显见重要的是能够校正立体视觉系统的（由于振动、初始校准和/或热效应所致的）“会聚”或者“辐散”的、并且分别导致正的或者负的倾斜轮廓的偏转校准偏差。

除了上面提及的经验方法以外，本发明还提出利用在形成于摄像机之间的偏转变化ΔL—其引起偏转校准偏差—和深度偏差ΔZ（即根据此前描述的两种情况的ΔZa或ΔZb，ΔZa或ΔZb从所述两种情况得出）之间的关联的偏转校准的量化校正方法。

为了建立这样的关联，适当的是从在摄像机11的平面图像I1中观测的场景的图像点Pi的定位开始，如由图4的透视图所图解的那样。（由采用虚线的轮廓象征性地指示的）摄像机11具有：光学中心O1,其为O1X1Y1Z1坐标系的中心，O1X1Y1Z1坐标系定义光轴O1Z1，在此假定光轴O1Z1平行于立体视觉系统的纵向滚动轴OZ（图2a，图2b）；横轴O1X1，在此假定横轴O1X1平行于该系统的俯仰轴OX；以及仰角轴O1Y1，其平行于立体视觉系统的偏转轴OY。摄像机11还具有焦距“f”，其等于摄像机的图像平面I1和摄像机的光学中心O1之间的距离。

在图像平面的I1的（U,V）坐标系中，摄像机11形成场景的对象点Ps的图像点Pi（其中针对坐标Ui和Vi），Ui是横坐标（平行于O1X1轴）并且Vi是仰角坐标（平行于O1Y1轴）。点Pi的归一化坐标以及是参照原点P0的坐标U0和V0定义的，其中摄像机11的光轴O1Z1以垂直方式穿透图像平面I1。

以与摄像机11类似的方式图解的立体视觉系统的另一摄像机12—以与摄像机11相同的方式—在其原点P’0的图像平面I2的（U’，V’）坐标系中形成对象点Ps的坐标为U’i和V’i的图像点P’i。摄像机12的基准坐标系O2X2Y2Z2以该摄像机的光学中心O2为中心，O2Z2轴形成其光轴。

系统的两个摄像机11和12之间的单位偏转角度变化dL于是被根据—与图3a和图3b的有限偏差ΔZa或ΔZb对应的—形成在纵向轴O1Z1上的单位深度偏差dZ来确定。单位深度偏差dZ是通过如下两者之间的偏差来测量的：点Pi在O1Z1轴上的深度Zi以及作为如通过立体视觉图像的核面重构方法在该摄像机12的图像平面I2中观测到的点Ps的图像点的点P’i的深度Z’i。

单位偏转角度变化dL和对应的单位深度偏差dZ之间的关联于是 由如下等式给出：

，b是摄像机的光学中心之间的距离（比照图2b）。因此显示出偏转角度变化dL取决于按平方增加的如在被认为平坦的场景中所期待的对象点P’s的深度Zs。在系统的摄像机之间的会聚或辐散的偏转角度的情况下，该强的依赖导致如由车辆中的机载立体视觉系统所观测的道路轮廓的强的倾斜（比照图3a和图3b）。

本发明不限制于所描述和表示的示例。因此，本发明可以通过针对系统的每组摄像机（成对组、三元组、四元组）使用方法而应用于多于两个摄像机的系统

此外，可能的是使用能够实现差异图的任何三维图像重构方法以用于根据由立体视觉系统的摄像机提供的图像来确定场景的各点的深度，例如根据确定配对得分的模式、图像切割以及表达差异的模式的局部、全局和半全局方法。

局部方法基于在紧挨地围绕要配对的两个像素的像素之间获得的每个图像的每对像素的配对得分。各种关联功能可以被使用（平方偏差求和、绝对偏差求和、中心归一化互相关等）以用于于是确定被配对的像素的差异。对于被分析的每对像素而言，选择对应于最佳得分的差异。

全局方法在于优化在整个基准图像上定义的能量函数。能量函数定义差异图应当遵从的约束，例如在对象上的差异的连续性。随后，搜索使该能量函数最小化的差异的全体。图形切割（按英语术语的“Graph-Cut（图形切割）”）和信任传播（按英语术语的“BeliefPropagation（信任传播）”）方法是被研究最多的全局方法。

半全局方法基于与全局方法相同的原理但是基于图像的子部分，即线和块。相对于全局方法，将能量函数的优化问题划分成子问题允许减少对计算和存储器资源的需求。

Claims (8)

1.一种机载于机动车辆（1）中的形成立体图像的立体视觉系统的第一摄像机（11）和第二摄像机（12）的外在校准方法，包括以下步骤：

-获取各摄像机的倾斜、俯仰和偏转的立体外在和单内在校准（步骤31）；

-通过重构由前述的校准步骤校准的三维图像来获取视场中的场景的连续的立体视觉图像，每个立体视觉图像是从所述第一和第二摄像机（11，12）的左和右图像重构的，所述左图像和右图像被同时地产生并且被以像素的形式数字地存储（步骤30）；

-对这样重构的立体视觉图像进行滤波（步骤40）；

-通过利用预先确定的数量的点进行时间空间滤波来在如通过重构的每个图像（10）所观测的场景的轮廓（130；13a，13b）和如所期待的场景的线性轮廓（120）之间进行比较（步骤50）；

-根据前述的比较来建立偏转校准偏差（ΔL）（步骤60）；

-根据由前述步骤确定的偏转校准偏差来校正摄像机（11，12）的偏转校准（步骤61）；以及

-对前述步骤的校正进行迭代直到通过重复前述的各步骤（步骤31到61）获得零校准偏差为止。

2.根据权利要求1所述的校准方法，其特征在于，在如所观测的场景的轮廓和如所期待的场景的轮廓之间进行比较在于：确定如所观测的场景（130；13a，13b）的至少一个点（P1a，P1b）的场深度和如所期待的线性轮廓（120）的场景的至少一个点（P2a；P2b）的场深度之间的场深度偏差（ΔZa；ΔZb），然后根据在所确定的一组点上取平均的深度偏差来确定所述第一摄像机和第二摄像机（11，12）之间的偏转校准偏差（ΔL）。

3.根据前述权利要求所述的校准方法，其中由所述第一摄像机（11）形成的平面场景的图像点（Pi）的所观测的场深度是根据所述摄像机（11，12）的图像之间的差异确定的。

4.根据权利要求3所述的校准方法，其中所述第一摄像机（11）和图像点（Pi）之间的距离等于所述第一摄像机（11）的焦距（f）和由所述摄像机的图像之间的差异分开的所述摄像机（11，12）之间的距离（b）的乘积。

5.根据权利要求2到4中的任一项所述的校准方法，其中所期待的深度（Zs）是由所述第一摄像机（11）的坐标系（O1X1Y1Z1）和所述车辆（1）的坐标系（OXYZ）之间的转换矩阵确定的。

6.根据权利要求2到5中的任一项所述的校准方法，其中对于每个图像点（Pi）而言，偏转校准偏差（ΔL）与深度偏差（ΔZa；ΔZb）成正比，并且与所期待的深度（Zs）的平方成反比。

7.根据权利要求2到6中的任一项所述的校准方法，其中所述第一摄像机（11）和所述第二摄像机（12）之间的偏转校准偏差（ΔL）取决于如下而分别对应于所述摄像机（11，12）的光轴（O1Z1，O2Z2）之间的会聚以及辐散：相对于零全局倾斜度的轮廓（120）的所期待场景，所观测的场景的轮廓（130）分别以正的全局倾斜度（13a）倾斜以及以负的全局倾斜度（13b）全局地倾斜。

8. 根据权利要求2到7中的任一项所述的校准方法，其中在分别在所观测场景的轮廓（130；13a，13b）中的所观测的（P1a；P1b）以及在所期待场景的线性轮廓（120）中的所期待的（P2a；P2b）同一个点之间，在所述第一摄像机（11）和所述第二摄像机（12）之间的按照单位深度偏差dZ的单位偏转角度变化dL由如下等式给出：，“b”是所述摄像机之间的距离；“Z”是线性轮廓（120）的场景中的点（P2a；P2b）的所期待的深度；“Un”是与所述第一摄像机的二维图像坐标系中的所观测点对应的图像点（Pi）的归一化的横坐标，其中：，“Ui”是所述第一摄像机（11）的图像平面中的图像点的横坐标；“U0”是所述图像中的中心坐标并且“f”是所述第一摄像机（11）的焦距。