CN108141570B - 校准装置、校准方法以及校准程序存储介质 - Google Patents

Abstract

一种校准装置，其对搭载于车辆的摄像机进行校准，所述校准装置包括：图像获取部，其获取车辆的外部的图像；以及校准部，其使用在车辆的姿势变动前的图像与姿势变动后的图像之间对应的特征点来校准摄像机的侧倾角或纵倾角中的至少一个摄像机参数。

Description

校准装置、校准方法以及校准程序存储介质

技术领域

本发明涉及校准装置、校准方法以及校准程序存储介质。

背景技术

近年来，出于辅助驾驶员的驾驶的目的，推进了车载摄像机的普及。例如，对安装于车辆周围的多个摄像机的各影像进行视点变换并将该影像进行合成从而向驾驶员提示车辆周围的俯瞰影像的系统、使用对车辆外部的物体的位置进行测量的结果来控制车辆的系统等。

车载摄像机的精度取决于焦距、镜头畸变等光学特性、拍摄元件大小等摄像机固有参数(内部参数)、以及各摄像机的安装位置、角度(侧倾角、纵倾角、横摆角)的相关信息(外部参数)。将内部参数和外部参数合起来称为摄像机参数。

虽然摄像机按照基于规定设计值的位置、角度安装于车辆，但是此时产生误差，摄像机的精度会降低。因此，对来自摄像机参数的设计值的安装误差进行修正。这被称为校准或者校正。

校准要求高精度地修正误差，因此不采用机械调整摄像机的安装状态的方法，而是采用从拍摄图像来推定当前安装状态的方法。作为从拍摄图像来推定安装状态的方法，通常采用这样的方法：将打印在纸、板等上的校准用标识(也称为图案、校准图等)精密地设置在决定的位置而进行拍摄，以实际的拍摄图像与按设计值制造并设置的摄像机进行拍摄的情况下的影像一致的方式修正摄像机参数。

另外，这样的校准以往通常在摄像机的安装场所例如工厂等中的车辆出厂前进行。但最近，如专利文献1和专利文献2所公开的那样，提出了在行驶中通过使用例如白线等的物体作为校准用标识，即使在出厂后也能够进行校准。行驶中的校准具有也能够应对在出厂后后续可能发生的摄像机参数的变化的优点。

作为后续摄像机参数变化的原因之一，可以想到的是，针对车辆的物体装载状态根据情况而改变，例如，乘车人数的差异、乘坐位置的差异、载置物品的装载方式的差异等。像这样的装载状态变化时，车辆的姿势发生变化，并且相对于地面的摄像机的安装状态(即摄像机参数)发生变化。

现有技术文献

专利文献

专利文献1：国际公开第WO2012/143036号

专利文献2：国际公开第WO2012/139660号

发明内容

发明要解决的问题

但是，在专利文献1、专利文献2中公开的行驶中的校准中，存在如下问题：即使在装载状态变化后在车辆行驶一定距离之前也不能进行摄像机校准。

另外，在行驶中进行校准的情况下，由于白线等的校准用标识对于自身车辆总是相对移动，所以有无法提高校准的精度的可能。

在此，本发明的目的是提供一种校准装置、校准方法以及校准程序，其在摄像机参数可能随着针对车辆的物体的装载状态的变化而变化的情况下，能够尽快地进行校准。

解决问题的技术手段

根据本发明的第一形态，对搭载于车辆的摄像机进行校准的校准装置包括：图像获取部，其获取车辆的外部的图像；以及校准部，其使用在车辆的姿势变动前的图像与姿势变动后的图像之间对应的特征点来校准摄像机的侧倾角或纵倾角中的至少一个摄像机参数。

根据本发明的第二形态，对搭载于车辆的摄像机进行校准的校准方法获取车辆的外部的图像，在车辆的姿势变动前的图像与姿势变动后的图像之间使用对应的特征点来校准摄像机的侧倾角或纵倾角中的至少一个摄像机参数。

根据本发明的第三形态，使计算机执行搭载于车辆的摄像机的校准的校准程序产品包括：图像获取部，其获取车辆的外部的图像；以及校准部，其使用在车辆的姿势变动前的图像与起步时的图像之间对应的特征点来校准摄像机的侧倾角或纵倾角中的至少一个摄像机参数。

发明的效果

根据本发明，在摄像机参数可能随着针对车辆的物体的装载状态的变化而变化的情况下，能够尽快地进行校准。

附图说明

图1是系统构成的框图。

图2是出厂时的校准步骤的流程图。

图3是校准前的俯瞰影像。

图4是校准后的俯瞰影像。

图5是校准部的框图。

图6是图1所示的校准系统中的程序整体的流程图。

图7是姿势变动前后的影像。

图8是图1所示的校准系统中的特征选定处理的流程图。

图9是图1所示的校准系统中的校准处理的流程图。

图10是图1所示的校准系统中的校准处理的车辆姿势推定处理的流程图。

图11是表示向运算装置提供程序的情形的图。

具体实施方式

以下，参照附图说明本发明的校准装置、方法以及程序。

图1是表示本实施例的校准系统100的图。校准系统100主要具备：摄像机A、B、C、D；运算装置101；RAM102；ROM103；显示装置104；车速传感器105；转向角传感器106；偏航率传感器107；输入装置108；以及通信装置109。

摄像机A、B、C、D搭载于车辆，并且分别设置于车辆的前后左右。前后的摄像机例如设置于牌照附近，左右的摄像机例如设置于后视镜的下面。在图3、图4所示的例子中，摄像机A安装在车辆前侧，摄像机B安装在车辆后侧，摄像机C安装在车辆左侧，摄像机D安装在车辆右侧。摄像机A、B、C、D以光轴相对于地面平行或向下方的方式进行安装。

摄像机A、B、C、D按照事先确定的设计值来进行安装，但实际上通常会产生安装误差，该误差是未知的。摄像机A、B、C、D采用广角的鱼眼摄像机，以能够获取车辆整周的影像。鱼眼摄像机能够获取广角的影像，并且图像基于已知的畸变函数而畸变。由摄像机A、B、C、D拍摄到的4个影像被发送到运算装置101。

在运算装置101中，接收摄像机A、B、C、D、车速传感器105、转向角传感器106、偏航率传感器107、输入装置108、通信装置109等各种信息，并基于存储在ROM103中的程序等来进行运算。例如，进行以下运算：对从摄像机A、B、C、D输入的影像进行视点变换以及合成，并且生成从上方俯视地面这样的俯瞰影像。

具体地，运算装置101对于从摄像机A、B、C、D输入的影像，使用事先存储于ROM103等的已知的畸变函数从而生成除去了影像的畸变的影像，基于事先存储于ROM103等的已知的与摄像机安装相关的设计值等，视点变换以及合成为从俯瞰视点看到的影像。这样的处理通过以下方式实现：使用公知的摄像机的几何变换式，计算俯瞰视点影像的特定像素和与其相应的摄像机A、B、C、D的特定像素，将该像素的亮度值分配给俯瞰视点影像的像素。在对应的像素含有小数点，没有符合的像素的情况下，进行这样的处理：利用公知的亮度的插值处理来分配周围像素的中间亮度。

另外，使用车速传感器105、转向角传感器106、偏航率传感器107、以及通信装置109的输出结果来执行运算处理，或者按照输入装置108的输入结果来切换动作程序。

向RAM102写入运算装置101的运算处理过程所需要的数值数据、与运算途中的处理结果相对应的程序变量等。并且，在运算处理过程中根据需要而读出被写入的数据，来用于运算处理。另外，RAM102中还能存储由摄像机A、B、C、D拍摄到的影像数据等。

在ROM103中事先存储有例如执行校准的程序、程序所需要的信息中无需重写地利用的信息。事先存储的信息，例如为摄像机的设置位置、角度的设计值、摄像机的焦距、像素大小、光轴中心、畸变函数等摄像机参数。

显示装置104接收运算装置101的处理结果，使用显示器等向用户提供显示处理结果。例如，向驾驶员显示将摄像机A、B、C、D的4个影像进行视点变换以及合成而得的俯瞰影像。另外，显示装置104也能够仅显示拍摄车辆的后方的摄像机B的影像等，根据运算装置的输出，切换显示内容。

车速传感器105、转向角传感器106以及偏航率传感器107分别为观测车速、转向角、偏航率的传感器，并在运算装置101的运算处理中被利用。

输入装置108是例如开关、按钮等接受用户的操作的装置。用于校准功能的开或关、校准结果的初始化、校准方法的变更等。

在图2中，表示了产品出厂时的通常的车载摄像机校准步骤，对使用时可能出现的问题进行描述。首先，产品出厂时的车载摄像机校准按照例如，摄像机安装操作S201、乘车状态再现操作S202、位置调整操作S203、校准图拍摄操作S204、校准操作S205的顺序来实施。

在摄像机安装操作S201中，向车体安装摄像机。

乘车状态再现操作S202再现车辆中乘坐有乘坐人员的状态。例如，在驾驶席上实际乘坐驾驶员，或者装载具有与驾驶者的体重相当的重量的物体等，再现实际上会发生的乘车状态。实施乘车状态再现操作S202的理由在于，车辆的姿势根据乘车状态的不同而发生变化，伴随于此，相对于地面的摄像机的角度等发生变动。在摄像机的角度、位置与设计好的安装状态不同的情况下，在合成图像中的边界上产生偏移，或者在摄像机的位置测量中发生误差，因此需要在考虑该变动的角度的基础上实施校准。通过乘车状态再现，再现与其对应的摄像机安装状态。

位置调整操作S203将车辆与校准图调整成为预先确定好的位置关系。在通常的校准中，在校准图与摄像机的位置关系成为规定的位置关系之后，实施校准。

校准图拍摄操作S204通过安装于车辆的摄像机来拍摄校准图。

校准操作S205中，使用被拍摄到的图像来实施校准。此时，例如，通过公知的技术来实施校准。即，在摄像机按照设计被安装且校准图被设置在规定位置的情况下，计算校准图应该显现的位置，调整在程序中的图像变换所使用的摄像机参数，以使实际上拍摄到的图像中的校准图显现在其应该显现位置。

关于校准操作S205，例如，也可以利用即使校准图表与车辆的位置关系不定也能够进行校准的公知技术。在该情况下，不需要位置调整操作S203的步骤。但是，在利用这样的步骤实施校准的情况下，如在乘车状态再现操作S202中所实施的那样，总是实施在假定的特定的乘车状态的校准，若乘车状态与校准时不同，则在俯瞰影像的合成影像边界上会产生偏移，或者在摄像机的位置测量中产生误差。因此，仅是在特定的乘车状态下实施校准未必足够的。

为此，优选地的是增加动态校准，其根据乘车状态实施每次的校准。本发明在停车状态下实施该校准处理，而不是在车辆行驶中实施。以下将参照附图进行详细说明。

对于本实施例中的校准处理的概要进行说明。基本的想法是比较姿势变动前后的影像，并根据随着姿势变动而产生的影像的视觉差异来推定摄像机的位置和姿势。

在摄像机姿势发生了变动的情况下，根据距离影像中的物体的距离，物体在影像中的移动量会发生变化。例如，具有以下那样的性质：距离近的物体在影像中的变动量较大，距离远的物体在影像中的变动量较小。拍摄的摄像机影像本身仅包含二维信息，但由于其实际上基于三维信息，所以在拍摄时表现出这样的变化。利用该性质，观测姿势变动前后的影像中的物体的变动量，并根据该信息实施摄像机校准。

因此，在本实施例中，首先，在安装在车辆上的各摄像机A、B、C、D中，获取并存储姿势变动前的照相机图像。接下来，当发生姿势变动时，在各摄像机A、B、C、D中获取图像。然后，为了观测影像中的物体的变动量，求出在各摄像机A、B、C、D的姿势变动前后的影像间各像素的对应关系。求出该像素之间的对应关系时，在实际环境中操作时，在对应关系中含有误差，或者存在难以获取对应的情况，因此也进行包括应对这问题的处理。最后，根据求出的对应关系，实施推定包括姿势变动后的摄像机位置、姿势的摄像机参数的处理(即摄像机校准处理)。以上是处理的大致概要。详细的处理在之后进行叙述。

车辆的姿势变动由车辆姿势变动检测部检测。具体地，车辆姿势变动检测部基于负载传感器、姿势传感器的输出信息来检测车辆姿势的变动。但是，车辆姿势变动检测部除此以外，还可以是检测车的门的打开和关闭的检测部。这是因为，在门的打开和关闭的情况下，通常伴随有人的上下车、载置物品的装卸等某些姿势变动的动作，根据门的打开和关闭这样的动作来推定存在车辆姿势的变动从而进行检测。

图3、图4表示通过该校准处理，俯瞰影像会如何变化。图3是表示通过图2的S201～S205的步骤实施了在工厂的出厂前校准之后，与出厂前校准时不同的装载状态的情况下的俯瞰影像的例子。在俯瞰影像中有显示白线框。本来该白线框显示为矩形的形状，但是由于与假定的装载状态不同，因此相对于地面的摄像机角度、位置发生变化，在摄像机A、B、C、D的影像的合成边界处在白线上产生偏移。

在这样的情况下，在本实施例中，通过实施摄像机校准，能够校正俯瞰影像，以消除像图4那样的白线的偏移。此外，这并不意味着一定要利用图中所示的白线框进行校准。通过校准，不仅可以校正俯瞰影像，而且还能够准确地实施地面上的位置测量。

以下，对本实施例的校准处理进行说明。首先，图5是本实施例的校准系统100中的校准部的框图，具体在之后进行叙述，其具有特征点候补提取部404、特征点选定部405、移动体检测部502、特征点关联部406、车辆姿势推定部601、以及摄像机参数计算部602。特征点候补提取部404进行从摄像机A、B、C、D所拍摄的姿势变动前的影像中提取例如成为实施关联的候补的点来作为特征点的处理。特征点选定部405进行从特征点候补中选定用于特征点对应的候补点的处理。在移动体检测部502中，进行从影像中检测移动体的处理。特征点关联部406进行利用特征点候补和其对应区域信息来实施特征点的关联的处理。车辆姿势推定部601进行通过最优化方法求出4个摄像机的特征点最没有误差地进行关联的车辆姿势参数的处理。摄像机参数计算部602进行利用所得到的车辆姿势参数来计算4个摄像机参数的处理。

接下来，示出校准处理的步骤概要。首先，在车辆停止时获取并保存图像。然后，以车的门的打开和关闭、负载传感器、姿势传感器的输出信息的变化等作为触发，来获取车辆姿势变化后的图像。接着，实际上车辆姿势发生变动，并判定是否需要校准。当需要校准的情况下，随后实施车辆姿势变化前后的影像的特征点的关联。最后，使用关联的特征点来实施摄像机的校准。使得到的摄像机参数反映在利用摄像机参数的各应用程序中，例如，反映在生成俯瞰影像时的参数，或者反映在车辆后退时在显示装置104上表示当前的方向盘的转向角下的车辆的前进道路的预测轨迹线。

当像这样更新摄像机参数时，在俯瞰影像的情况下影像边界的偏移被消除，在预测轨迹线的情况下前进道路的显示被修正，并且更符合车辆的实际的前进道路。即使在包括4个摄像机的多个摄像机的情况下也能够实施。在多个摄像机的情况下，并不是直接推定各摄像机参数，而是通过车辆姿势推定多个摄像机的参数，由此能够提高精度和推定的稳定性。具体如下所述。

图6是表示本实施例的校准处理的流程图。校准处理通过程序来实现，在图1中的运算装置101中被加载而实施。

本实施例的校准处理包括传感器信息获取处理S401、距离信息获取处理S402、校准实施判定处理S403、特征点候补提取处理S404、特征选定处理S405、特征点关联处理S406以及校准处理S407。

在传感器信息获取处理S401中，获取摄像机A、B、C、D的影像以及车速传感器105、转向角传感器106、偏航率传感器107等各种传感器信息，并保存于RAM102中。关于摄像机A、B、C、D的影像，优选地具有完全同步地存储4个影像或者能够获取影像的偏移时间的某一方的结构。如果影像中存在同步偏移，则其作为校准的误差而表现出来。优选地，车速传感器105、转向角传感器106、偏航率传感器107等各种传感器信息与影像同步获取。

在距离信息获取处理S402中，获取来自各摄像机影像中所包括的物体或者特征点的距离信息。在该处理中获取到的距离信息被用于后续的特征选定处理S405中。距离信息可以使用摄像机影像、其他的距离测定传感器来获取。在使用摄像机影像来获取距离信息的情况下，例如利用公知的运动立体技术。在利用其他距离测量传感器的情况下，为了获得摄像机影像中的像素与其他的传感器的观测信息的对应关系，实施传感器之间的校准。

在校准实施判定处理S403中，检测姿势变动的有无，判定校准实施是否需要。例如，在仅通过摄像机影像来判断有无姿势变动的情况下，在构成俯瞰影像的所有4个影像中，关于拍摄影像边界区域附近的同一对象的共同拍摄部分，能够通过对图像上是否发生偏移进行判定而实现。例如，能够通过实施共同拍摄部分的图像匹配处理，并判断该匹配度的评价值是否超过预先指定的阈值来判定是否发生偏移。此外，图像匹配能够通过例如在去除目标区域内的平均值的差之后的亮度的差值的总和即ZSAD等来计算。或者也可以采用以下方法：使用陀螺传感器等直接推定车辆的姿势变化的传感器，来检测车辆上的装载状况的变化，由此判断是否需要实施校准。

在判断为需要校准实施的情况下，在如图5所示的特征点候补提取部404中，实施特征点候补提取处理S404。在没有变动不需要校准的情况下，返回传感器信息获取处理S401。

在特征点候补提取处理S404中，从摄像机A、B、C、D拍摄的姿势变动前的影像中，提取例如成为实施关联的候补的点作为特征点候补。在图7中示出了姿势变动前后的影像的例子。在摄像机A、B、C、D的每一个中，在已经获取的姿势变动前的影像与判断为需要实施校准的姿势变动后的影像之间，在之后的处理中实施对同一点进行拍摄的像素的关联。因此，在摄像机A、B、C、D的4个摄像机影像的每一个中，从姿势变动前的影像中提取实施关联的特征点候补。也可以从姿势变动后的影像中提取，并与姿势变动前的影像关联。此外，在图7中，为了便于图示，白线表示为黑的实线。

作为实施关联的特征点候补，例如在停车的场景中，优选包括路面上的停车框的角、在附近停车的车辆的轮廓点、墙的顶点、花纹中的一点等，在图像上包含能够明确地判断出对应位置的多个方向的边缘的拐角点。像这样理想的特征点候补例如是图7中以○来记载的点。但是，白线的直线部分的边缘难以确定对应部分，因此尽可能用别的比较好。例如，能够使用公知的哈里斯角点检测方法等，通过图像识别来从图像中提取这样的候补点。

在特征选定处理S405中，在图5所示的特征点选定部405中，从特征点候补中选定用于特征点对应的候补点。如图8所示，特征选定处理S405由对应区域计算处理S501、移动体检测处理S502、以及特征选择处理S503构成。

对应区域计算处理S501计算姿势变动前的图像中所包含的对应点候补能够位移的区域，并且不搜索该区域之外。由此，能够降低校准的运算负荷。关于负载装载引起的姿势变动，从装载的载置物品的搭载界限等中，能够在事先一定程度地预测变动范围。在该姿势变动范围中计算可能产生的对应的特征点的范围，并且将该范围外的特征点从关联时的候补中排除。

在此，在车辆姿势变动前后的图像中如果能够关联共通的特征点的话，即使该距离是未知的，也能够根据该特征点的图像上的位移来求出车辆姿势的变动角度。但是，即使是相同的姿势变动，根据到该特征点的距离，变动后的图像上的特征点的位移是不同的，因此在设定搜索区域以寻找对应点候补时，优选已知该点的距离信息。因此，使用在距离信息获取处理S402中得到的距离信息，在假定的车辆姿势变动范围中计算可能产生的特征点的范围。但是，由于距离信息中包含误差，所以包括规定的误差地计算变动范围。因此，从包括规定的误差的距离、假定的车辆姿势变动范围中，求出可能产生的特征点的对应范围。针对在特征点候补提取部S404中提出的各特征点计算对应范围。仅在该对应范围内实施关联。

在移动体检测处理S502中，图5所示的移动体检测部502从影像中检测移动体。实施特征点的关联时，选定与车辆姿势变动无关的进行运动的移动物体，并包含在关联中的话就无法得到正确的摄像机姿势的变动。为此，在本处理中检测移动体，并从特征点的关联中排除。在图7的(A)中，由虚线框包围的行人为应该排除的移动体。移动体的检测使用公知的光流检测等来实施。也可以利用其他方法来检测移动体。

在特征选择处理S503中，根据在对应区域计算处理S501中得到的对应点存在范围和在移动体检测处理S502中得到的移动物体的信息，选择实际用于关联的特征点。在这里，例如在车辆姿势变化前的影像中提取特征点并且实施与姿势变动后的影像相关联的情况下，对于车辆姿势变动前的影像，在特征点在移动物体上检测到的情况下，将其从特征点候补中排除。另外，对于车辆姿势变动后的影像，仅在对应区域计算处理S501中得到的各特征点候补的对应区域内实施用于关联的探索。该探索使用SAD、SSD、LK方法等。以上的处理是特征选定处理S405的求出特征点候补和其对应区域的处理。

在特征点关联处理S406中，如图5所示的特征点关联部406使用在特征点候补提取处理S404中得到的特征点候补和其对应区域信息来实施特征点的关联。在图7中，在表示姿势变动前的影像的图7的(A)与表示姿势变动后的影像的图7的(B)之间用虚线表示进行了关联的特征点。此外，还存在其他能够关联的特征点，为了方便图示，仅示出了对一部分的特征点的关联。

在摄像机A、B、C、D的每一个中实施特征点的关联。在使用姿势变动前的摄像机A、B、C、D的影像来实施特征点提取的情况下，分别对姿势变动后的摄像机A、B、C、D的影像实施关联。此时，求出特征点周边的图像最一致的部分，并将其作为对应点。图像的一致度是使用与从图像中提取的不依赖于亮度的特征量(例如边缘、边缘方向)等，而作为小区域(例如纵横各3个像素的9个像素)内的全部像素中的特征量差的总和等。使用依赖于亮度的特征量的方法在姿势变动前后中有空闲时间的情况下特征量可能变化很大，因此最好避免。此时，作为注意事项，在对应图像中一致的部分仅在由特征选定处理S405得到的对应区域内求出。另外，也同样求出相反的对应关系(对于姿势变动后的影像的姿势变动前的影像的对应点)，通过仅在两者的结果相同的情况下采用等方式，可以提高匹配的精度。

在校准处理S407中，使用通过特征点关联处理S406得到的特征点和与其对应的点的对应关系来实施校准。

例如，对4个摄像机的每一个实施校准处理S407。通过建立经由几何变换矩阵的方程式，该几何变换矩阵表示在各摄像机中的特征点对应，并对每个对应特征点联立得到的方程，求出作为未知的几何变换矩阵的各要素。如果能够得到几何变换矩阵的话，则能够从几何变换矩阵中分解与摄像机的位置、姿势相关的参数，并得到外部参数。外部参数是摄像机的旋转中心的三维位置和表示摄像机旋转角度的侧倾角、纵倾角、横摆角。

这里，侧倾角是以摄像机光轴作为旋转轴时的旋转角度，纵倾角是与图像的横轴方向相当的摄像机轴作为旋转轴时的旋转角度，横摆角是与图像的纵轴方向相当的摄像机轴作为旋转轴时的旋转角度。

具体地，该运算通过8点法这样的方法来进行。8点法是从两个视点拍摄的图像中获得该视点的相对姿势的方法，如果至少有8个特征点相关联，则通过推定基础矩阵，能够直接推定摄像机参数。8点法的详情是在例如“使用单镜头广角摄像机的室内三维环境建模和姿势推定，山崎公俊等”(単眼広角カメラを用いた屋内三次元環境モデリングと姿勢推定山崎公俊、他)(http://www.jsk.t.u-tokyo.ac.jp/～yamazaki/rp/ROBOMEC_08_yamazaki.pdf)中说明的方法。

或者，校准处理S407也可以由如图9所示的车辆姿势推定处理S601与摄像机参数计算处理S602构成。在这种情况下，在车辆姿势推定处理S601中进行上述的8点法的运算。

在车辆姿势推定处理S601中，为了求出各摄像机参数，求出车辆姿势参数。车辆姿势参数是车辆旋转中心的三维位置和车辆的侧倾角、纵倾角以及横摆角。并不是单独地求出各摄像机参数，而是通过车辆姿势求出摄像机参数。由此，推定的参数数量从以一个摄像机6个参数的合计4个摄像机的24个参数降低到车辆姿势的6个参数，使得参数推定处理稳定并且改善了精度。

另外，具有如下优点：即使在存在得不到特征点的摄像机影像，不能使用全部4个影像的情况下，通过车辆姿势推定也能够推定全部摄像机的参数。但是，在这种情况下，优选地，摄像机校准在姿势变动前已经实施，并且处于出现仅由姿势变动引起的误差的状态。这是因为在姿势变动前的摄像机校准没有被实施的情况下，即使使车辆姿势变动，也很难得到所有摄像机的正确的校准结果。

在车辆姿势推定处理S601中，在如图5所示的车辆姿势推定部601中，通过最优化方法求出4个摄像机的特征点最没有误差地进行关联的车辆姿势参数。在车辆姿势推定处理S601中，如图10所示，由车辆姿势参数变动量计算处理S701、车辆姿势参数更新处理S702以及目标函数评价处理S703构成。通过重复这些，并且通过最优化方法来得到4个摄像机的特征点最没有误差地进行关联的摄像机参数。在这里，将进行特征点关联时的误差量作为目标函数，实施车辆姿势参数的最优化，以使目标函数最小。

在车辆姿势参数变动量计算处理S701中，计算车辆姿势参数的微小变动量。在这里，求出目标函数的值变小的车辆姿势参数的微小变动量。目标函数的值变小的变动量能够使用数值微分等来求出。

在车辆姿势参数更新处理S702中，使用在车辆姿势参数变动量计算处理S701中求出的微小变动量来更新车辆姿势参数。

在目标函数评价处理S703中，为了评价所得到的车辆姿势参数的正确性而求出目标函数的值。目标函数是特征点和与其对应的对应候补点的坐标误差的平方误差的总和。使用所有摄像机中的被关联的特征点的平方误差的总和。但是，在被关联的特征点中包含错误的情况下，由于得不到良好的结果，因此像公知的RANSAC方法那样，以一定数量的采样而得的特征点来进行评价，将采样特征点组进行几种模式改变，可以在其中获取采用最好的结果作为评价值的方法。之后，实施收敛判断以判断目标函数值是否被最小化到极限。收敛判断是根据目标函数的值的转变来进行判断。例如，比较上一次目标函数的值时的差在预先设定较小的值以下的情况，判定为已收敛。

通过重复车辆姿势参数变动量计算处理S701、车辆姿势参数更新处理S702以及目标函数评价处理S703直到目标函数收敛，由此能够得到同时使摄像机的特征点最匹配的车辆姿势参数。

在摄像机参数计算处理S602中，摄像机参数计算部602使用得到的车辆姿势参数来计算4个摄像机参数。如果得到了车辆姿势参数的话，则能够通过坐标转换容易地计算对应的摄像机参数。

如上所述，根据本实施例的校准装置，当摄像机参数可能随着相对于车辆的装载状态变化等、车辆姿势的变动而变化的情况下，能够尽快地进行校准。

例如，车辆在停车状态下，即使车辆上的装载状态等发生了变化的情况下也能够进行摄像机校准，并且能够在每当装载状态改变时进行校正。例如，即使乘客在即将停放车辆之前下车，装载状态改变的情况下，也能够通过校准而正确地测量地面上的距离。即使在乘车状态发生变动的情况下也能够实现通过识别白线的位置来自动停车的功能等。另外，即使在停车前驾驶员以外的乘客下车，仅驾驶员实施停车的情况、在路边搭乘人后再起步的情况等中，也能够在装载状态改变之后立即进行校准。

此外，本发明不限定于上述的实施方式，包含各种变形方式。例如，为了易于理解地说明本发明，而对上述实施方式进行了详细地说明，但并没有限定于必须具备以上说明中的全部构成。另外，可以将某实施方式的构成的一部分置换成另一实施方式的构成，另外，也可以对某实施方式的构成追加另一实施方式的构成。另外，可以对实施方式的构成的一部分进行其它构成的追加、删除、置换。

另外，控制线和信息线示出了考虑为说明上需要的线，没有限定产品上必须显示全部的控制线和信息线。实际上也可以认为几乎全部的构成相互连接。

另外，可以使用单独地求出各摄像机参数的方法。在这里，在上述实施例中说明的8点法可以说是同时求出侧倾角、纵倾角以及横摆角的各摄像机参数的方法。另一方面，在单独地求出各摄像机参数的情况下，能够想到例如用白线这样的具有直线性的标识。当车辆姿势变动时，具有直线性的标识的倾斜角度在图像上变化，因此求出该倾斜角度成为与原来的图像相同的摄像机参数即可。

具体说明的话，例如在图3所表示那样，当车辆在前后方向下沉，车辆姿势变动时，由前方的摄像机A拍摄的一对白线离摄像机越远越宽，在后方的摄像机B中，离摄像机越远越窄。因此，通过利用该现象，能够校正纵倾角。另外，当车辆在左右方向下沉，车辆姿势变动时，由前方的摄像机A以及后方的摄像机B拍摄的一对白线在左右上视觉不同，左摄像机C以及右摄像机D分别拍摄的白线的视觉也会不同。因此，通过利用该现象，能够校正侧倾角。通过这种方式，能够对侧倾角或纵倾角，或者侧倾角以及纵倾角的两方的摄像机参数进行校准。

另外，在上述实施例中，虽然已经对关于使用车辆的姿势变动前后的图像来校准的例子进行了说明，但无论车辆的姿势是否变动，也可以使用车辆停止时的图像以及起步时的图像。在这种情况下，例如能够通过由车速传感器检测到的车速为0km/h、换挡位置成为驻车、由摄像机所拍摄的图像来检测出自身车辆相对于周围的环境没有移动的方式来判断车辆的停止。另外，例如能够通过由车速传感器检测到的车速超过0km/h、换挡位置从驻车变更到其他换档位置、由摄像机所拍摄的图像来检测出自身车辆相对于周围的环境移动、发动机的点火开关成为ON的方式来判断车辆的起步。

存储在运算装置101中的程序能够通过CD-ROM等的记录介质、经由互联网的数据信号来提供。图11是表示该情形的图。运算装置101经由CD-ROM901接收程序的提供。另外，运算装置101具有与通信线路902连接的功能。计算机903是提供上述程序的服务器计算机，并且将程序存储在硬盘904等的记录介质中。通信线路902是因特网、个人计算机通信等的通信线路、或者专用通信线路等。计算机903使用硬盘904读取程序，并经由通信线路902将程序发送到运算装置101。即，程序作为数据信号经由通信线路902被发送。像这样，程序能够作为记录介质、数据信号(载波)等的各种形式的计算机可读的计算机程序产品而提供。

以下的优先权基础申请的公开内容作为引用文并入本文。

日本专利申请2015年第205979号(2015年10月20日申请)

符号说明

100 校准系统

101 运算装置

104 显示装置

404 特征点候补提取部

405 特征点选定部

406 特征点关联部

502 移动体检测部

601 车辆姿势推定部

602 摄像机参数计算部。

Claims (8)

1.一种校准装置，其对搭载于车辆的摄像机进行校准，所述校准装置的特征在于，包括：

图像获取部，其获取所述车辆的外部的图像；以及

校准部，其使用在所述车辆的姿势变动前的图像与姿势变动后的图像之间对应的特征点，来校准所述摄像机的侧倾角或纵倾角中的至少一个摄像机参数，

所述校准部根据向所述车辆的物体的装载状况来设定特征点变动范围，并以所述车辆的姿势变动前的图像所包含的特征点作为基准，搜索在所述特征点变动范围内对应的特征点，

所述姿势变动前的图像是在所述车辆的停止时所拍摄的图像，

所述姿势变动后的图像是在所述车辆的起步时所拍摄的图像。

2.根据权利要求1所述的校准装置，其特征在于，包括：

车辆姿势变动检测部，其检测所述车辆的姿势变动，

在通过所述车辆姿势变动检测部检测到姿势变动的情况下，进行所述校准。

3.根据权利要求1所述的校准装置，其特征在于，

所述校准部包括：

特征点候补提取部，其从所述图像提取特征点候补；

特征选定部，其进行由所述特征点候补提取部提取出的特征点候补的选定；以及

特征点关联部，其将由所述特征选定部所选定的候补点在所述车辆的姿势变动前的图像与所述车辆的姿势变动后的图像之间进行关联，

使用由所述特征点关联部关联的特征点来进行校准。

4.根据权利要求1所述的校准装置，其特征在于，

所述校准部包括对所述车辆的周围的移动体进行检测的移动体检测部，

从所述车辆的姿势变动前的图像所包含的特征点之中选定所述移动体以外的特征点。

5.根据权利要求1所述的校准装置，其特征在于，

构成为对搭载于车辆的多个摄像机进行校准，

所述校准部包括：

车辆姿势推定部，其推定所述车辆的姿势；以及

摄像机参数计算部，其根据由所述车辆姿势推定部推定的所述车辆的姿势来计算所述多个摄像机的摄像机参数。

6.根据权利要求5所述的校准装置，其特征在于，

所述车辆姿势推定部设定目标函数，并且通过求出使该目标函数最小化的车辆姿势参数来推定车辆姿势。

7.一种校准方法，其对搭载于车辆的摄像机进行校准，所述校准方法的特征在于，

获取所述车辆的外部的图像，

使用在所述车辆的姿势变动前的图像与姿势变动后的图像之间对应的特征点，来校准所述摄像机的侧倾角或纵倾角中的至少一个摄像机参数，

根据向所述车辆的物体的装载状况来设定特征点变动范围，并以所述车辆的姿势变动前的图像所包含的特征点作为基准，搜索在所述特征点变动范围内对应的特征点，

所述姿势变动前的图像是在所述车辆的停止时所拍摄的图像，

所述姿势变动后的图像是在所述车辆的起步时所拍摄的图像。

8.一种校准程序存储介质，其特征在于，

所述校准程序存储介质上存储的校准程序使计算机执行搭载于车辆的摄像机的校准，所述校准程序执行如下步骤：

获取所述车辆的外部的图像，

使用在所述车辆的姿势变动前的图像与起步时的图像之间对应的特征点，来校准所述摄像机的侧倾角或纵倾角中的至少一个摄像机参数，

根据向所述车辆的物体的装载状况来设定特征点变动范围，并以所述车辆的姿势变动前的图像所包含的特征点作为基准，搜索在所述特征点变动范围内对应的特征点，

所述姿势变动前的图像是在所述车辆的停止时所拍摄的图像。

Images