CN107004277B - 机动车辆摄像头系统的在线标定 - Google Patents

Abstract

本发明涉及用于标定机动车辆(1)的摄像头系统(7)的方法。至少一个摄像头(8‑11)分别相继地从机动车辆(1)的环境(2)产生摄像头图像(21‑28)。计算装置(12)通过投影(P)从虚拟视角从所述摄像头图像(21‑28)分别产生该环境(2)的虚拟视图(14)。在行进时，对每个摄像头(8‑11)，计算装置(12)经过至少一次标定循环。基于投影(P)的当前投影参数(30)，在此，摄像头(9)的摄像头图像(23、24)被变换。运动矢量从其确定。对于运动矢量的至少一个几何特征，参考值被设定。从运动矢量的所述至少一个几何特征和各相应参考值之间的差异，误差值被确定。取决于误差值，新的投影参数被确定(30)。

Description

机动车辆摄像头系统的在线标定

技术领域

本发明涉及用于机动车辆的摄像头系统和用于标定该摄像头系统的方法。摄像头系统具有至少一个摄像头，其由来自机动车辆的环境的摄像头图像、由此视频图像产生图像序列。摄像头系统的计算装置从预确定虚拟视角(例如，该环境的平面视图)从所述至少一个摄像头的摄像头图像分别产生该环境的虚拟视图。

本发明提供一种车辆视频系统的在线标定方法，其基于鱼眼上执行的运动估计和在车辆移动时一个或多个摄像头捕获的地表面的透视矫正图像帧。该方法可估计每个摄像头相对于车辆运动方向和地平面的空间取向(俯仰-侧滑-横滚)。其还可估计每个摄像头相对于地平面的高度。另外，其可提供这些参数的改进，以进一步优化视频系统产生的虚拟平面视图的拼接质量。

背景技术

为了产生虚拟视图，每个摄像头图像通过变换或投影而变换。该投影必须考虑每个摄像头的空间取向或空间方向，由此相应摄像头对环境的实际视角。摄像头的空间取向例如通过其观察角度、偏航角度和/或横滚角度。每个摄像头的空间取向决定投影的投影参数，通过其，摄像头图像由实际视角变换为虚拟视角。这些投影参数必须通过标定适应于每个摄像头的实际空间取向。

用于标定机动车辆的摄像头系统的方法由WO2012/139636A1已知。在此，在虚拟视图的多个变换摄像头图像的序列中，在变换摄像头图像中确定的环境的至少两个特征的运动轨迹被确定。运动轨迹导致与平行四边形相对的几何图形。通过该方法，摄像头的不正确调整的俯仰、侧滑、横滚角度(相对于运动方向和地平面)可被补偿。

发明内容

本发明基于执行机动车辆系统中的每个摄像头相对于车辆纵向轴线和地面平面的空间取向和Z位置(高度)的标定的目的。

该目的通过独立权利要求的主题解决。本发明的有利改进通过从属权利要求的特征显现。

根据本发明，提供了一种用于标定机动车辆的摄像头系统的方法。在此，以下摄像头系统作为基础。摄像头系统的至少一个摄像头分别相继地从机动车辆环境产生摄像头图像。摄像头系统的计算装置通过投影从预确定虚拟视角从所述摄像头图像分别产生该环境的虚拟视图。特别地，虚拟视角是环境的平面视图，由此是鸟瞰视图。由此为每个摄像头形成的被变换的摄像头图像优选地构成或组合至总视图，特别是全景视图。特别地对于平面视图，导致对完全包围机动车辆的机动车辆环境的鸟瞰视图。虚拟视图例如可显示在显示装置上，例如屏幕上，作为显示器图像。由此，可提供停车辅助。

根据本发明的方法包括以下步骤。计算装置识别机动车辆沿预设定运动方向的运动。特别地，识别直的车辆运动，由此直着向前的行进。通过沿运动方向的被识别行进，对每个摄像头，计算装置分别经过至少一次标定循环。

在每个标定循环中，计算装置执行以下步骤。基于投影的当前投影参数，相应的摄像头的两个摄像头图像被变换。每个被变换摄像头图像由此代表来自预确定虚拟视角的环境。由于机动车辆执行运动，这两个摄像头图像不同之处在于，这两个变换的摄像头图像的第一个的图像特征移动一距离，这取决于在第二变换摄像头图像中的运动。但是，只有在真实空间中的特征一致地移动相同量，这是由于线性运动逼近。由于还没标定的系统以及虚拟视图(例如，平面视图)的透视误差，该移动对于跨过图像测量的图像特征是不一致的，即它们的运动矢量是不相同的。通过将第一被变换的摄像头图像的每一个图像特征连接至第二被变换的摄像头图像中的相同图像特征，分别导致运动矢量。基于被变换的摄像头图像，由此，多个运动矢量在虚拟视图中确定。在此，每个运动矢量特别地描述运动的长度和/或运动的方向以及未标定系统的虚拟平面视图的透视误差。对于直运动，需要沿侧向方向合理间隔开的至少两个运动矢量，从而为每个摄像头计算俯仰-偏航-横滚角。实践中，更多的运动矢量需要能够检测和否定异常值。通过本发明的方法，可从相同帧获得这些运动矢量。还将可行的是，它们在不同帧中获得，在该情况下，每帧中需要至少一个运动矢量。

对于运动矢量的至少一个几何特征，特别是长度和/或方向，各参考值取决于运动方向被设定。换句话说，基于运动方向，确定运动矢量应具有哪个几何特征。由此，名义运动矢量或参考矢量可例如取决于运动方向被确定。例如，参考矢量可具有名义长度和/或名义方向。从运动矢量的所述至少一个几何特征和各相应参考值之间的差异，例如，用于长度和/或方向的参考值确定误差值。换句话说，运动矢量与参考矢量的偏差被确定。取决于误差值，新的投影参数被由当前投影参数确定。所提到的误差值可例如形成为绝对误差的和、均方误差的和或类似方法。例如，可为每个几何特征形成运动矢量的实际值和参考值的差。

通过本发明，产生优势：不仅横滚角，而且例如不正确调整的摄像头俯仰角和/或侧滑角可基于虚拟图中的运动矢量通过改变投影参数、由此通过确定新的投影参数而被补偿。横滚角是根据所利用的旋转机制摄像头绕其光轴或车辆横向轴线的旋转位置。偏航角描述摄像头绕车辆垂直轴线的旋转位置。俯仰角描述摄像头绕车辆横向轴线的旋转位置。通过车辆垂直轴线(Z轴线)、车辆纵向轴线(X轴线)和车辆横向轴线(Y轴线)，机动车辆技术背景下已知的通常指定将被理解。在汽车中典型的是具有作为纵向轴线的X和作为横向轴线的Y——该传统在此使用。

所提的投影可例如是透视变换，如本领域所已知的。计算装置可例如通过控制器或多个控制的组件或通过DSP(数字信号处理器)或机动车辆的中央处理器装置提供。每个运动矢量可基于相应图像特征在两个被变换摄像头图像的图像对中确定。为了检测和将这样的图像特征彼此关联，例如，可提供SIFT算法(SIFT-尺度不变特征变换)或SURF算法(SURF-加速鲁棒特征)。这样的特征检测和匹配提供来自第一被变换摄像头图像的每一个图像特征和来自第二被变换摄像头图像的图像特征的特征对，其中，图像特征视觉地(optically)彼此对应。优选地，代替像SIFT或SURF这样的特征检测器，可执行两个感兴趣帧之间的预限定数量图像块(在网格上的布置)的直接相关，且为超过阈值而否定偏离在运动场中的局部趋势的运动矢量。这是与利用特征检测器且等待图像中出现的可在下一帧中匹配的良好特征根本不同的方式。该追踪方法原则上非常类似于用于视频压缩的运动估计。这不意味着，不可以使用高级的特征检测器，诸如SIFT或SURF(以及许多其他的)来匹配特征，但这可以具有过度杀伤力，因为虚拟平面视图自动地为匹配的块提供所需的移位和尺度不变性(具有一定容差)。但是，为了增强追踪性能，可在两个虚拟平面视图上在匹配它们之前运行带通滤波器，诸如高斯差分或高斯拉普拉斯算子。这提供了弱光和/或不良天气条件中的明显改进。

在优选实施例中，所述至少一个摄像头的至少一个空间取向——特别是俯仰角(俯仰)和/或偏航角(偏航)和/或横滚角(横滚)——通过投影参数描述，特别是新的投影参数。除此之外或与之替换地，摄像头在机动车辆中的安装高度通过投影参数描述，特别是新的投影参数。通过空间取向和/或安装高度标定为或改变为新的投影参数，图像特征的图像运动在虚拟视图中产生，其对应于机动车辆的运动方向。特别地，通过机动车辆的直着向前的行进，在虚拟视图中的像素直着移动，且特别地边缘平行于显示器图像的边缘，其没有横向或对角线地跨过显示装置。

在一实施例中，所述至少一个摄像头捕获行进地面作为环境，运动矢量基于行进地面的纹路被确定。由此，产生优势：本方法可独立于特殊图像特征形成，诸如角部、轮廓或边缘。由此，运动矢量可独立于情况而形成。

在一实施例中，每个摄像头的多个运动矢量在虚拟视图中被确定。为此，每个被变换的摄像头图像可分为邻接彼此或重叠的图像块阵列。为每个图像块确定运动矢量。由此，产生优势：误差值基于多个运动矢量确定，它们在整个被变换的摄像头图像上均匀布置。由此，误差在统计学上变得更鲁棒。统计异常值可也被补偿。应注意，所述至少两个运动矢量由相同对或不同对沿侧向方向间隔开的被变换图像获得，以便计算俯仰-偏航-横滚角。

在一个实施例中，误差值在每个标定循环中迭代地减小。为此，中间投影参数在每次迭代中取决于误差值通过预确定价值函数确定。价值函数是用于误差值的计算规则。中间投影参数可例如基于价值函数的数学偏差被确定。数学偏差可用于确定用于投影参数的梯度，通过其，迭代优化方法可以本身已知的方式执行，例如，高斯-牛顿方法。还可以的是，将问题构想为线性方程的超定(overdetermined)系统，且通过线性最小二乘法技术解决。基于中间投影参数，虚拟视图中的运动矢量通过投影重新变换、即重新投影而改变或重新取向。在此，特别地，仅运动矢量被投影。即，摄像头图像的新投影和运动矢量的重新计算可被省略。

这节省了计算能力。迭代由此终止。迭代重复，直到误差值满足预确定优化准则。例如，优化准则可预设定为，误差值必须小于预确定最大值，或误差值已经通过与之前迭代有关的值改变，该值小于预确定最小变量。通过本实施例，产生优势：在优化准则方面最佳的新投影参数可基于仅两个摄像头图像确定。

在一实施例中，多个运动矢量例如以所述方式确定。随着沿运动方向行进，机动车辆的直着向前的行进——由此直线运动——被识别。由此，运动矢量的几何特征有利地导致，其可被特别简单和可靠地检查和/或优化。作为几何特征，检查运动矢量是否彼此平行和/或平行于虚拟视图的图像边缘和/或同样长。通过机动车辆的直运动，这些几何特征足以关于俯仰角、偏航角和/或横滚角标定每个摄像头。

为了检查机动车辆的直运动中的所提及的几何特征，存在特别优选的实施例。在此，对于与车辆横向轴线平行取向的每个运动矢量的y分量，y参考值0被设定，且对于与车辆纵向轴线平行取向的x部件，运动矢量的所有x分量的平均值设定为x参考值。均方差的和形成为误差值。在y分量的实际值和y参考值以及x分量实际值和x参考值的差之间以所述的方式计算差值。由此，产生优势：根据优化准则，所述迭代最小化可特别地以高效计算方式通过误差值执行。同时实现所有定向矢量同样长且平行于行进方向取向。

在一实施例中，为了从各摄像头的图像序列选择两个摄像头图像，在这两个摄像头图像的第一个和这两个摄像头图像的第二个之间跳过图像序列的至少一个摄像头图像。由此，产生优势：所述至少一个定向矢量具有矢量长度，其大于最小长度。该实施例特别地通过机动车辆的行进速度执行，其小于最小速度。最小速度特别地范围为2km/h至25km/h。可设置为，标定循环仅在机动车辆的行进速度处于与其预确定速度区间中时执行。该速度区间例如为10km/h至30km/h的范围，特别地为15km/h至25km/h的范围。原理上，除了速度大于零之外，不存在约束。

在一实施例中，如果每个摄像头确定多个运动矢量，至少一个运动矢量作为异常值被删除。如果对误差值的贡献或输入大于运动矢量的最大部分或预确定最大值，运动矢量分类为异常值。除此之外或与之替换地，如果运动矢量违反关于在其紧邻处的其余运动矢量的近似准则，运动矢量分类为异常值。应仅与邻近矢量比较。未标定虚拟视图的透视畸变自然导致远隔的运动矢量之间的大偏差。优选地，在价值函数中假定平地面。不平整地面(包括路缘)实际上在标定中注入误差，因此，应利用检测其且在其发生时排除其的机制。但是，当地面是平的但是倾斜时，不能将其与非倾斜地面区分开。在大多数情况下，这样的误差在多个标定循环上被自然地平均掉。用于不平地面(诸如路缘)的检测机制是检测在不同地面高度上的运动矢量长度中的突然变化。未标定系统的透视误差导致运动矢量长度中的一致变化，但是路缘导致可被检测到的突然变化。

应注意，矢量长度与标定系统中的物体高度直接有关。这意味着较高的地面在虚拟平面视图中给出明显较大的运动，且因此较长的运动矢量。

在一实施例中，每个摄像头执行多个标定循环。对于每个标定循环，新的投影参数分别被确定。由不同的标定类型，相应的新投影参数被组合到各个平均的投影参数。例如，这可通过递推平均(移动平均)执行。换句话说，投影参数被平滑。递推平均例如通过滤波器可行，其实现为IIR滤去(IIR-无线脉冲响应)，例如指数下降脉冲响应。采用平均投影参数作为相应的下一标定循环中的所述投影的当前投影参数的基准。由此，产生优势：标定快速收敛。另外，在确定投影参数时的估计误差被补偿。

在一实施例中，执行多个标定循环，平均误差值从其中一个标定循环的误差值和从至少一个之前的标定循环的相应误差值确定。新的投影参数仅在平均误差值大于预确定临界值时被确定。否则，标定循环终止而没有新的投影参数被确定。由此，导致用于标定的触发函数。例如，误差值可对于每一对摄像头图像被多次确定，且由此误差信号可被连续提供。如果误差信号超过触发值或临界值，实际标定通过确定新参数值而被执行，直到平均误差值再次减小到临界值以下。在此，滞后(hysteresis)临界值可也被提供。

如上所述，多个摄像头可产生摄像头图像。多个摄像头的被变换的摄像头图像则可组合或构成至总视图，特别是全景视图。在一实施例中，其中，多个摄像头每个产生摄像头图像，形成至每个摄像头的运动矢量匹配至彼此。实际上，在每个摄像头的俯仰-偏航-横滚误差已经被补偿之后，同时由所有摄像头获得的所有运动矢量应具有相同的长度，因为它们描述直运动的相同量。可使用该信息来协调地调整每个摄像头的高度，以便在所有摄像头中实现相等的长度运动矢量。该技术考虑安装在车辆底盘上的摄像头的已知和固定的空间位置，且允许摄像头以受约束的方式通过从四个悬挂点旋转或升高底盘——这是在现实中发生的——而与之偏离。为了在没有对单个摄像头系统或车辆上的摄像头位置的之前了解时进行标定，可使用与其他传感器独立的车辆运动的量的测量，诸如发布在CAN或FlexRay总线上的车辆速度。由此，可计算运动矢量的期望长度，如果摄像头高度是正确的且补偿任何误差的话。该匹配通过调整作为投影参数的至少一个摄像头的安装高度而被实现。在一实施例中，两个摄像头之间的相对安装高度被调整，直到用于所有摄像头的运动矢量重合或至多在预确定容差值上不同。在一实施例中，其中一个摄像头随后被绝对标定。为此，摄像头的绝对安装高度取决于机动车辆的行进速度确定。取决于行进速度，用于运动矢量的矢量长度的参考值可对该摄像头被确定。例如，行进速度可经由机动车辆的通信总线被确定，特别是CAN总线(CAN-控制器区域网络)。可还设置为，绝对安装高度以所述方式在每个摄像头处被确定。

以下，描述三个可能性，其每个展现本发明的实施例，且特别地允许投影参数的迭代标定改变两个摄像头的被变换摄像头图像。第一和第二摄像头产生图像。在两个摄像头的被变换摄像头图像中，确定重叠误差值。用于第一和/或第二摄像头的新投影参数取决于重叠误差值被确定。三个所述实施例通过重叠误差值的以下的不同计算产生。

在替换实施例中，a)至少一个摄像头间运动矢量基于第一摄像头的被变换摄像头图像和第二摄像头的被变换摄像头图像确定。换句话说，确定第一摄像头的被变换摄像头图像的摄像头间运动矢量的起点和第二摄像头的被变换摄像头图像的摄像头间运动矢量的终点。重叠误差取决于所述至少一个摄像头间运动矢量的至少一个几何特征形成。特别地，在直着向前行进时，作为几何特征，检查摄像头间运动矢量是否平行于机动车辆的运动方向取向。

在替换实施例中，在被变换的摄像头图像的重叠区域中，图像块在第一摄像头的被变换摄像头图像中确定。图像块是图像区域，通过特征检测而被检测的图像特征定位在其中。在第二摄像头的被变换摄像头图像中，确定相应的图像块。换句话说，在第二摄像头的被变换摄像头图像的图像块被检测。图像块特别是纹路块。该特征相应地是特定纹路。重叠误差值取决于两个图像块的距离而被确定。在该块匹配中，重叠误差值通过新的投影参数减小，从而减小距离。

在替换实施例中，在重叠区域中，比较值由第一摄像头的被变换摄像头图像和第二摄像头的被变换摄像头图像在重叠区域中产生。比较值可例如是相关值。例如，两个被变换摄像头图像的重叠区域中的像素的亮度值可彼此相减，方差和可形成。重叠误差值取决于比较值而被确定。特别地，比较值被用作重叠误差值。由此，新的投影参数基于重叠区域中的纹路相关性而被确定。

用于机动车辆的摄像头系统——即，用于机动车辆的摄像头装置——也与本发明相关联。摄像头系统具有至少一个摄像头，分别用于由机动车辆的环境的摄像头照片产生摄像序列。优选地，提供多个摄像头。此外，提供计算装置，其适于通过投影从预确定虚拟视角从所述摄像头图像分别产生该环境的虚拟视图，该虚拟视角特别是该环境的平面视图。特别地，设置为，计算装置基于每个摄像头的每一个摄像头图像而产生被变换的摄像头图像，且将被变换的摄像头图像连接至总视图，特别地为全景视图。根据本发明的摄像头系统此外具有显示装置，用于显示由摄像头图像产生的虚拟视图，由此用于显示被变换的摄像头图像。特别地，由被变换的摄像头图像构成的总视图——优选地，机动车辆的平面视图——被产生和显示。在根据本发明的摄像头系统中，计算装置适于执行根据本发明的方法。

此外，具有根据本发明的摄像头系统的实施例的机动车辆与本发明相关联。在此，优选地设置为，摄像头系统具有多个摄像头，第一个摄像头的捕获范围向机动车辆旁边的第一侧向区域取向，第二个摄像头的捕获范围向机动车辆旁边的与第一侧向区域相反的第二侧向区域取向，第三个摄像头的捕获范围向机动车辆前面的前部区域取向，第四个摄像头的捕获范围向机动车辆后面的后部区域取向。优选地，摄像头系统适于由每个摄像头的每一个摄像头图像产生相应的被变换摄像头图像。由此产生的被变换的摄像头图像链接至全景视图，特别的平面视图。即，全景视图由被变换的摄像头图像产生。全景视图通过显示装置显示。显示装置可例如是用于机动车辆的中控台或仪表板的屏幕。

附图说明

在以下描述本发明的实施例中。这其中显示：

图1是根据本发明的机动车辆的示意图，

图2是虚拟平面视图的显示器图像的示意图，其通过图1的机动车辆的摄像头系统在标定之前产生，

图3是在摄像头系统标定之后的图2的平面视图，

图4是根据本发明的方法的实施例的流程图，

图5是来自摄像头系统的摄像头的摄像头图像的运动矢量，和

图6是在标定之后的图4的运动矢量。

具体实施方式

以下解释的实施例是本发明的优选实施例。但是在实施例中，实施例的所述部件每个表示要考虑的且彼此独立的本发明各个特征，其每个独立发展本发明且由此也以各个方式或并非所示组合的另一方式视为本发明的部件。此外，所述实施例可也被已经描述的本发明其他特征补充。

在图中，功能相同的元件每个被提供相同的附图标记。

图1示出机动车辆1，其可以是汽车，特别是小客车。在图1所示的例子中，机动车辆1可行进通过环境2。例如，机动车辆1可在行进地面上碾过或行进，该行进地面可以是马路。车道界定线4在图1中示例性示出。机动车辆1可沿向前的行进方向5在行进地面3上行进。例如，假定，机动车辆1执行直的车辆运动6。

机动车辆1可具有摄像头系统7。摄像头系统7可具有一个或多个摄像头8、9、10、11。在所示例子中，摄像头8可以是前摄像头，摄像头9、10分别可以是侧向摄像头，摄像头11可以是后摄像头。每个摄像头8、9、10、11可例如是视频摄像头。例如，每个摄像头8、9、10、11可分别构造为红外图像摄像头、黑白摄像头或彩色图像摄像头。每个摄像头8、9、10、11可以联接至计算装置12，其可例如通过控制器实现。计算装置12可适于接收每个摄像头8、9、10、11的图像数据。计算装置12可联接至显示装置13，其可例如是屏幕，其可例如布置在机动车辆内部中，例如在中控台或仪表板上。计算装置12可适于由摄像头图像产生显示器图像14，计算装置12可将该显示器图像显示在显示装置13上。

例如，可设置为，显示器图像14显示机动车辆1的虚拟平面视图15。为此，机动车辆1的图片16可也显示在显示器图像14中。显示器图像14可以是移动图像，由此是视频序列或图像序列。

虚拟平面视图15可在摄像头系统7中如下产生。每个摄像头8、9、10、11的各图像捕获范围或简称捕获范围17、18、19、20可向环境2中取向。特别地，捕获范围17、18、19、20可向行进地面3取向，从而每个摄像头8、9、10、11在其连续的摄像头图像21、22、23、24、25、26、27、28中从各个实际摄像头视角对行进地面3进行成像(image)，例如自20厘米至150厘米范围的安装高度。捕获范围17、18、19、20可具有成对的重叠区域O。

在以下，为了清楚，仅描述用于摄像头9的摄像头图像23、24的通过计算装置12的图像处理。该解释相应地应用于其余摄像头8、10和11。摄像头图像23、24通过投影P变换或透视地变形(distort)。投影P适于使每个摄像头图像23、24变形，从而行进地面3没有从摄像头9的视角展现，而是从虚拟平面视图15的期望预设定视角，由此从机动车辆1上方或顶部的视角。这样的投影可例如通过变换执行，特别是变换矩阵。用于所述投影的另外的设计还是矫正或几何变形或均衡化。用于执行这样的投影的方法本身从现有技术已知。

由摄像头图像23、24，被变换的摄像头图像23’、24’分别通过投影P产生。变换的摄像头图像23’、24’和摄像头8、10和11的相应的变换的摄像头图像可被传送至组合单元29。组合单元29可适于组合相应的摄像头图像，由此摄像头图像，其已经在相同时间点或在预确定时间间隔内捕获。投影P和组合装置29可例如设置为计算装置12的程序模块。

在例子中，示出变换的摄像头图像23’如何可与通过叠置或拼接将相应的变换摄像头图像21’、25’、27’匹配至虚拟平面视图15而组合。最后，机动车辆1的图片16可也被添加。最终的显示器图像14可则通过显示装置13输出。变换的摄像头图像21’、23’、25’、27’可具有配对的重叠区域O，其与捕获范围17、18、19、20的重叠区域O对应。

为了使得显示器图像14呈现现实的平面视图15，摄像头8、9、10、11的几何布置——特别是几何取向——将不得不彼此匹配。此外，每个摄像头8、9、10、11必须具有进入环境2的正确取向，因为可在显示器图像14中识别的物体的运动对应于实际车辆运动6。摄像头8、9、10、11的几何取向的误差可分别通过调整或标定投影参数值30分别对每个摄像头执行，用于投影P(在摄像头9的情况下)和其余(未示出)投影。

图2示出显示器图像14，如果摄像头8、9、10、11的几何取向的误差没有被补偿的话，其可产生。显示器图像14被示出。显示器图像14示例性地由变换的摄像头图像21’、23’、25’、27’形成。通过计算装置12，彼此邻接或彼此重叠的图像块32的矩阵或网格图案31——其一些在图2和图3中为清楚起见设置有附图标记——可被形成用于显示器图像14中的每个变换的摄像头图像21’、23’、25’、27’。为了每个图像块32，运动矢量33额外地由两个摄像头图像21至28产生，所述两个摄像头图像时间上连续地通过相应摄像头8、9、10、11产生。再次为了清楚，仅一些运动矢量提供由附图标记。

由两个时间上连续地捕获的摄像头图像或被变换的摄像头图像产生运动矢量本身从现有技术已知，且例如在WO 2012/139636A1中描述。运动矢量33可特别地基于在变换的摄像头图像21’至27’中成像的行进地面3的纹理34形成。在图2中示出，运动矢量33在直着向前行进中沿车辆1的行进方向6产生，其方向并没有平行于行进方向6取向。此外，可产生不同长度的运动矢量33。

在图3中，示出具有期望的投影参数值30的显示器图像14，其在摄像头系统7的标定之后产生。定向矢量33平行于行进方向6取向且同样长。在评价运动矢量33时，个别的运动矢量可作为异常值35排除。在图2和图3中，仅一些异常值35每个被提供由附图标记。如果行进地面3例如不平整时，则产生异常值35。

投影参数值30可例如指定(specify)摄像头9的安装高度。投影参数值30例如可还指定摄像头9的横滚角和/或俯仰角和/或倾斜角。为了确定用于标定摄像头系统7的投影参数值30，图4所示的方法可被执行。

所提出的方法要求大体直的运动且没有转向和在地表面上的少量的纹路(这在大多数情况下自然发生)。不像其他方法，其不要求任何特定的兴趣特征(诸如角部、轮廓或边缘)存在于图像上或者在多帧上追踪这些特征。给出所需的条件，可由两个相继的视频帧同时标定一个或多个摄像头。需注意，在实践中，当前标定保持为N个之前的标定的指数加权平均值，以将由于不平整地面或车辆运动中振荡导致的非永久变化滤除。尽管竞争方法没有引述它们的标定准确度或总时间，被预期的是本发明方法将在速度和准确度方面胜过它们，因为其可非常快速地产生可靠标定。

随后的步骤提供用于计算装置12的内部控制：

S1.给出所有摄像头的永久内部和当前外部标定(具有对每个摄像头的旋转和/或高度的误差的较高容差)，平面视图执行四个摄像头图像的鱼眼和透视矫正和拼接到单个虚拟平面视图中。这对所有摄像头的两个相继帧执行，以获得一对虚拟平面视图。

图像矫正可通过预计算查找表执行，且可包含抗混叠滤波器，以改善图像质量和追踪性能。产生的视图的变焦水平(zoom level)(每个像素的真实世界单元)可动态地适应于速度和/或照明和环境条件，以优化追踪性能。另外，帧可以非常慢的速度跳过，以增加在下一步骤中获得的运动矢量的有效长度和由此SNR。

S2.优选地，通过带通或高通空间滤波而增强虚拟平面视图，以改善困难环境或照明条件中的追踪性能。

S3.在一对虚拟平面视图图像中在感兴趣区域(每个摄像头一个ROI)内的相邻或重叠块的网格上执行运动估计，以获得而用于每个摄像头的运动矢量。对于一些或所有块，如果这些块的像素强度离差低于某阈值(即，所述块表示纹路较少的表面，诸如图像中非常暗或过度曝光的部分)，则可不执行块匹配。块匹配可通过典型的块匹配算法(BMA)实现，该算法还在用于视频压缩的运动估计中使用，且可利用来自CAN总线的里程数据辅助块匹配，以进行更高效的搜索预测。典型的块近似测量(BDM)可被使用，诸如一帧中的参考块的像素和下一帧的名义搜索区域的像素之间的绝对差的和(SAD)或平方差的和(SSD)。

S4.基于运动场的局部空间一致性否定明显的异常值，即，排除根据一些近似测量从它们的相邻运动矢量偏离超过某容差的运动矢量。任何不一致矢量被定义为“异常值”，其或者由于错误匹配或者由于错误物体(诸如移动物体、具有高度或不平整地面的物体)的真实匹配(genuine match)而发生。

S5.独立地经由价值函数(cost function)评价每个摄像头的当前标定质量，该价值函数来源于(derived from)地面平面上的运动矢量的简单几何属性。优选地，这些几何属性满足直的车辆运动，其可经由相关的CAN信号或通过运动矢量的附加处理被指示给算法，以检测车辆转向。

用于检测从镜像摄像头(mirror camera)转向的量的简单探索(heuristic)方法是，将线拟合到由运动矢量y分量和它们在图像上的水平位置(或等同地，它们在网格上的列指数)获得的数据点。该线的斜率代表车辆转向的量。

对于直的车辆运动，完全标定的系统应产生在虚拟平面视图上的运动矢量，其没有透视畸变，即，平行于图像扫描线且在所有摄像头上具有相同长度(图6)。即，所有运动矢量的绝对x分量的方差和绝对y分量的和应均为零。这可还表示为从零和从平均值的残余平方和(SSE)，且可具有导数形式，诸如均方误差(MSE)或均方根误差(RMSE)。

图5和图6示出透视畸变(图5)与非畸变I标定的运动矢量(图6)。对于具有权重{W1,W2,W3,...,Wn}的一组运动矢量{V1,V2,V3,...,Vn}，其中

x分量Xi的加权平均数

为

要被最小化的均方误差为

且，均方根标定误差为

该误差越小，标定越好，且通过暗示，虚拟平面视图的拼接质量越好。实际上，该误差包含各种来源的噪音，因此，其不可能是绝对零，除非在模拟的理想情况下。p

标定误差被反转(invert)，被归一化到特定范围(0至100)，且经由指数移动平均IIR滤波器滤波，以获得每个摄像头的当前标定质量的稳定指示器，用于标定过程的自诊断和触发。滤波器的平滑因子决定标定触发器的灵敏度。该信号被连续地监视(重复步骤S1至S5)，直到其掉到一定滞后阈值以下，在该情况下，标定过程在下一步骤中开始和重复，直到该质量达到一定满意水平。

应注意，标定质量在多个标定循环上不对称地收敛到稳定状态，这是由于在标定结果(随后)和其本身二者中应用的指数平滑。在实践中，给出正确的条件，稳定状态被非常快地实现，这是由于系统为每对帧产生一个标定的能力。

S6.通过最小化与在之前步骤中使用的价值函数类似的价值函数以评价标定误差，独立地标定每个摄像头的取向(俯仰-偏航-横滚)。通过将重新投影到地面平面上的运动矢量的残余平方和最小化，以最小二乘法执行优化。转换为空间偏置的时间延迟可包含在价值函数的计算中，以中和滚动快门的影响。

S7.利用每个摄像头的被标定取向将所有运动矢量重新投影到地面平面上，用于进一步处理。应注意，虚拟平面视图和块匹配的运动矢量在这阶段均不需要重新计算，因为可将标定矫正直接应用于现有矢量。图像处理仅在每个标定循环的起点处执行。

S8.检查重新投影的运动矢量的分量的残余误差和统计分布或聚类，以检测路缘或具有高度的其他大物体在图像中的存在。这样的物体可使标定准确度降级，这是由于所有矢量在地面表面上的假设。如果检测是肯定的，排除整组运动矢量，且从步骤1通过新的帧重新开始。替换地，保持优势聚类且进行到下一步。

应注意，步骤6的标定结果将自然地受到路缘或类似物体在图像中的存在影响。对于将图像分为两个半部的直的路缘，标定误差将主要地在摄像头绕车辆纵向轴线(运动方向)的旋转中显现，某种程度上稀释为运动矢量的双模式聚类。在大多数情况下，这不阻止检测。替换地，更高级的价值函数可用于中和路缘或密集道路拱形部的影响。这样的价值函数可包含用于地面表面的弯曲模型，或当计算运动矢量的残余误差时，假定两个不同的地面高度。

S9.对其余矢量重新评价价值函数，并去除那些贡献一定阈值以上的残余误差的那些矢量，以便进一步减小零星的异常值。重复步骤S6中的标定，然后进行到下一步骤。替换地，如果可用矢量的数量保持在一定阈值之上，则重复步骤S6、S7、(S8)和S9，直到不能去除更多的异常值。替换地，可使用全部RANSAC(随机抽样一致)算法，而没有在异常值否定步骤(S4)中或在标定(S9)期间去除任何异常值。另外，来自的块匹配步骤(S3)的多个相关峰可并入到RANSAC中，作为独立观察，每个块潜在地产生多于一个运动矢量。

S10.利用在CAN或FlexRay总线上公布的来自其他传感器(诸如车辆速度或轮转数(每分钟转数))的里程数据，独立地计算每个摄像头的绝对高度。替换地，如果这样的数据不可获得或不准确，通过考虑摄像头安装在车辆底盘(坚硬车体)上以及它们的运动被车辆底盘自悬挂系统的运动限制，由名义默认摄像头高度计算偏移。应注意，标定每个摄像头的取向不要求对其高度的现有了解，而标定高度要求对取向的准确了解。

S11.向被标定的外部值应用指数平滑，以便抑制由不平整地面或未检测异常值导致的观察噪音、车辆振荡和时间效果(temporary effect)。可还执行最终的合理性检查(sanity check)，以确保标定结果在一定的合理容差内。在下一标定循环和所有随后处理开始时，被滤波的值馈送到系统中，以便用作用于图像矫正的当前标定。

应注意，每个标定循环开始时，虚拟平面视图由上一个标定结果更新。因此，透视误差逐渐减小，直到标定不对称地收敛到稳定状态。在每个循环时改进的图像矫正还改善块匹配性能，这是由于匹配块的较高相似度。

尽管上述算法为大多数应用提供充分的标定准确度，其可适应为，通过考虑摄像头之间的重叠区域处或其附近的图像数据，进一步优化虚拟平面视图的拼接准确度。在这些区域中的有效分辨率的减小和不同视角使得块匹配更难。但是，由算法第一部分获得的标定结果为所提出的方法提供非常好的起点。将矫正的图像滤波以增强中频细节且抑制噪音可在该情况下明显改善块匹配。

在所述实施方式中，拼接区域中的视觉差异(visual discrepancy)通过同时改变摄像头高度、旋转和潜在地改变X-Y位置或一个或多个摄像头的外部参数的任何有用组合而最小化。最简单的是，仅摄像头高度被改变。优化可通过最小化残余平方和(几何误差)而以最小二乘法执行，类似的异常值否定和滤波机制可如以前那样应用。提出以下方法：

S12.1在拼接线附近跨过摄像头执行块匹配，以获得“摄像头之间”的运动矢量。然后，优化一个或多个摄像头的外部参数，以使得这些矢量平行于运动方向。这将确保沿横向方向(垂直于运动方向)的最优拼接准确度。

S12.2在两个摄像头之间共享的重叠区域O’(图2)中执行块匹配，以获得共用特征(纹路块)的位置。然后，通过最小化来自它们各摄像头的这些特征在地面平面上的重新投影之间的几何误差而优化一个或多个摄像头的外部参数。

S12.3优化一个或多个摄像头的外部参数，同时对于所涉及的每个摄像头在重叠区域O’重新计算图像矫正，以为每个重叠图像对获得最佳相关度。相关(correlation)可在重叠区域内在两个大的矩形纹路块之间执行。专用优化算法可被使用，或在一定预限定范围内一个或两个参数的排他搜索。对于每次标定尝试，新的相关必须在两个块之间执行，因此该方法计算上更昂贵。

Claims (15)

1.一种用于标定机动车辆(1)的摄像头系统(7)的方法，其中，所述摄像头系统(7)的至少一个摄像头(8-11)分别相继地从所述机动车辆(1)环境(2)产生摄像头图像(21-28)，且所述摄像头系统(7)的计算装置(12)通过投影(P)从预确定虚拟视角从所述摄像头图像(21-28)分别产生该环境(2)的虚拟视图(14)，其特征在于以下步骤：

a)所述计算装置(12)识别所述机动车辆(1)沿预确定运动方向(6)的直的车辆运动，

b)通过被识别的直的车辆运动，对每个摄像头(8-11)，所述计算装置(12)经过至少一次标定循环，其中，所述计算装置(12)执行以下步骤：

-所述摄像头(9)的摄像头图像(23、24)基于所述投影(P)的当前投影参数(30)变换，

-基于被变换的摄像头图像(23’、24’)在所述虚拟视图(14)中确定运动矢量(33)，

-对于所述运动矢量(33)的两个几何特征，各自相应的x和y参考值被设定，

-从运动矢量(33)的所述两个几何特征和所述各自相应的x和y参考值之间的差异确定误差值，和

-新的投影参数取决于所述误差值由所述当前的投影参数(30)确定；

其中，多个运动矢量(33)通过将每个被变换的摄像头图像(23’、24’)分为邻接彼此或重叠的图像块(32)的阵列(31)且为每个图像块(32)确定运动矢量(33)而被确定；

且其中，在每个标定循环中，通过取决于所述误差值确定中间投影参数，并且基于中间投影参数通过借助所述投影(P)重新变换而使仅所述虚拟视图(14)中的运动矢量(33)重新取向，所述误差值被迭代减小，直到所述误差值满足预确定的优化准则，使得对于每个运动矢量(33)的y分量，该y分量与车辆横向轴线平行取向，y参考值被设定为零，且对于与车辆纵向轴线平行取向的x分量，所述运动矢量(33)的所有x分量的平均值设定为x参考值，均方差的和形成为所述误差值。

2.如权利要求1所述的方法，其特征在于，所述虚拟视角是该环境(2)的平面视图。

3.根据权利要求1所述的方法，其特征在于，

所述至少一个摄像头(8-11)的至少一个空间取向通过所述投影参数(30)描述。

4.根据权利要求3所述的方法，其特征在于，

所述至少一个摄像头(8-11)的至少一个空间取向是俯仰角(俯仰)和/或偏航角(偏航)和/或横滚角(横滚)，和/或所述摄像头(8-11)在所述机动车辆(1)上的安装高度。

5.根据前述权利要求中的任一项所述的方法，其特征在于，

所述至少一个摄像头(8-11)捕获行进地面(3)作为所述环境(2)，所述运动矢量(33)基于所述行进地面(3)的纹路被确定。

6.根据前述权利要求1所述的方法，其特征在于，

为了从各摄像头(9)的图像序列选择两个摄像头图像(23、24)，在所述两个摄像头图像的第一个和所述两个摄像头图像的第二个之间跳过至少一个摄像头图像。

7.根据前述权利要求1所述的方法，其特征在于，

至少一个运动矢量——其中对所述误差值的贡献大于预确定的最大值和/或其违反关于其余运动矢量的近似准则——作为异常值(35)被从所述运动矢量(33)删除。

8.根据前述权利要求1所述的方法，其特征在于步骤：

-执行多个标定循环，和

-对于每个标定循环，新的投影参数(30)分别被确定，

-来自不同标定循环的相应新的投影参数(30)被组合到各平均投影参数，和

-采用平均投影参数(30)作为相应的下一标定循环中的所述投影(P)的当前投影参数(30)的基准。

9.根据前述权利要求1所述的方法，其特征在于步骤：

-执行多个标定循环，和

-由一个所述标定循环的误差值和至少一个之前标定循环的相应误差值，确定平均误差值，新的投影参数(30)仅在所述平均误差值大于预确定的临界值时被确定。

10.根据前述权利要求1所述的方法，其特征在于步骤：

多个摄像头(8-11)产生摄像头图像(21-28)，形成至每个摄像头(8-11)的所述运动矢量(33)通过调整作为投影参数(30)的所述摄像头的至少一个的安装高度匹配至彼此。

11.根据前述权利要求1所述的方法，其特征在于步骤：

-第一和第二摄像头(8-11)产生摄像头图像(21-28)，

-重叠误差值在所述两个摄像头(8-11)的被变换摄像头图像(21’-27’)中确定，所述第一和/或第二摄像头(8-11)的所述新的投影参数(30)取决于所述重叠误差值而确定，其中：

a)至少一个摄像头间运动矢量取决于所述第一摄像头图像(8-11)的被变换摄像头图像(21’-27’)和所述第二摄像头图像(8-11)的被变换摄像头图像(21’-27’)确定，所述重叠误差值取决于所述至少一个摄像头间运动矢量的至少一个几何特征形成，或

b)在重叠区域(0’)中，图像块在所述第一摄像头(8-11)的被变换摄像头图像(21’-27’)中确定，相应的图像块在所述第二摄像头的被变换摄像头图像(21’-27’)中确定，所述重叠误差值取决于所述两个图像块的距离而被确定，或

c)在重叠区域(0’)中，比较值由所述第一摄像头的被变换摄像头图像和所述第二摄像头的被变换摄像头图像在所述重叠区域(0’)产生，所述比较值被用作所述重叠误差值。

12.根据权利要求11所述的方法，其特征在于，所述比较值是相关值。

13.一种用于机动车辆(1)的摄像头系统(7)，包括：

-至少一个摄像头(8-11)，用于分别从所述机动车辆(1)的环境(2)的摄像头图像(21-28)中产生图像序列，和

-计算装置(12)，其适于通过投影(P)从预确定的虚拟视角从所述摄像头图像(21-28)中以该环境(2)的虚拟视图(14)分别产生被变换的摄像头图像(21’-27’)，

-显示装置(13)，用于显示所述被变换的摄像头图像(21’-27’)，特别地作为围绕机动车辆(1)的构成的全景视图，其特征在于，

所述计算装置(12)适于执行根据前述权利要求1-12中的任一项所述的方法。

14.根据权利要求13所述的摄像头系统(7)，其特征在于，该虚拟视角是该环境的平面视图。

15.一种机动车辆(1)，具有根据权利要求10所述的摄像头系统(7)，其中，所述摄像头系统(7)具有多个摄像头(8-11)，和

第一个摄像头(9)的捕获范围(18)向所述机动车辆(1)旁边的第一侧向区域取向，

第二个摄像头(10)的捕获范围(19)向所述机动车辆(1)旁边的与所述第一侧向区域相反的第二侧向区域取向，

第三个摄像头(8)的捕获范围(17)向所述机动车辆(1)前面的前部区域取向，以及

第四个摄像头(11)的捕获范围(20)向所述机动车辆(1)后面的后部区域取向，并且

所述摄像头系统(7)适于从每个摄像头(8-11)的每个摄像头图像(21、23、25、27)中产生相应的被变换的摄像头图像(21’、23’、25’、27’)，且从其产生全景视图，并且通过显示装置(13)显示所述全景视图。

Images