CN102194226B - 摄像机校准装置 - Google Patents

Abstract

本发明涉及一种摄像机校准装置，提供利用停车场的白线，并利用白线的两个特征点和其交叉的两个方向的信息，进行各图像的位置调整。该摄像机校准装置包括：具有安装在车辆上的多个摄像机的摄像部；从各摄像机图像中检测停车框的两个特征点的特征点检测部；基于特征点和其交叉的两个方向的信息生成俯视图像的视点变换部；以及调整部，从俯视图像判别车辆与直线图像的边界位置并确定车辆图像的显示范围，改变俯视图像，使得显示范围的比例及位置为预先指定的值。

Description

摄像机校准装置

相关申请的参考

本申请以日本专利申请2010-045474(申请日：3/2/2010)为基础，并享受该申请的优先权权益。此申请的全部内容并入本申请作为参考。

技术领域

本发明的实施方式涉及一种摄像机校准装置。

背景技术

在现有技术中，有如下车载摄像装置，即、在车辆上搭载多个摄像机并获取拍摄了车辆周围(前方、后方、左侧、右侧)的图像，生成将各图像的视点变换为车辆上方的视点后的图像(俯视图像)并合成，进而合成本车的图像(幻灯图像等)，并作为俯视图像显示出来。通过显示俯视图像，易于把握本车及周围的状况，在将车辆驶入例如停车场等情况下，有助于驾驶员的驾驶。此外，俯视图像是从设定在本车的上方等假想视点来看的图像，通过改变假想视点的位置可改变俯视图像的观察方式。

然而，在现有的车载摄像机装置中，虽然将摄像机安装时的安装位置、安装角度、设置高度等设定为预先设计的值，但是，由于实际安装时产生误差，因而合成用各摄像机拍摄的图像时，合成图像的接合部分偏移，从而出现不连续。因此，出现了在拍摄区域内配置校正模式，并基于拍摄的校正模式来校正拍摄图像的坐标的校准(校正)装置。

例如在四台摄像机的拍摄区域中配置四个一边长度为1m～1.5m左右的正方形校正模式，在合成用各摄像机拍摄的图像时，利用各校正模式进行图像的位置调整的情况下，需要在地面等配置校准用的特殊校正模式，另外，为了指定本车位置，需要在正确的位置上配置校正模式。

另外，在检测由在停车场中画出的表示停车空间的白线相交而成的四个角(特征点)，并利用这四个特征点来计算摄像机参数(摄像机的安装位置、安装角度、焦距等)的校准装置的情况下，由于检测的特征点变多，因此，需要从偏离一定程度的位置进行检测。通过前后左右的摄像机检测特征点的情况下，为了改变车的朝向，移动量增多。另外，有必要手动调整本车位置或对车辆设定特征点。

发明内容

本发明要解决的课题是，提供一种可以利用停车场的白线并利用白线的两个特征点和交叉的两个方向的信息，进行各图像的位置调整的校准装置。

本发明涉及一种摄像机校准装置，其包括：摄像部，具有安装在车辆上的多个摄像机，通过所述多个摄像机拍摄所述车辆的周围；特征点检测部，从用所述多个摄像机拍摄的图像中识别表示停车框的直线图像，从各摄像机图像检测所述停车框的至少两个特征点；视点变换部，基于所述特征点检测部检测的所述特征点和其交叉的两个方向的信息，合成所述各摄像机的图像，并生成变换为从正上方观看的视点的俯视图像；调整部，从所述俯视图像判别所述车辆与所述直线图像的边界位置，并确定车辆图像的显示范围，以使所述显示范围相对于所述俯视图像的比例及位置为预先指定的值的方式改变所述俯视图像；以及摄像机数据存储部，存储基于所述改变的俯视图像计算的表示所述各摄像机的特性的摄像机参数。

根据上述构造的校准装置，由于利用了停车场的白线，因此，不必设定特殊的校正模式，另外，由于利用了白线的两个特征点和其交叉的双方向的信息，因此，不必为了校准而离开停车框进行拍摄。

附图说明

图1是示出实施方式的摄像机校准装置的结构框图。

图2是示出摄像机的配置的一例的平面图。

图3是示出将车辆停在停车场的情况的平面图。

图4A～图4C是示出拍摄停车场的白线时的三个模式的说明图。

图5A～图5C是示出模式A中用前方、左、右的摄像机拍摄的图像的说明图。

图6A～图6C是示出模式B中用后方、左、右的摄像机拍摄的图像的说明图。

图7A～图7C是示出模式C中用后方、左、右的摄像机拍摄的图像的说明图。

图8A～图8C是示出三维空间坐标系的定义的说明图。

图9A～图9C是示出调整后的后方、左、右的摄像机的图像的说明图。

图10是示出白线框的位置与车辆位置的偏移的说明图。

图11是示出俯视图像的显示区域中的本车的显示范围的说明图。

图12A～图12D是示出模式A、B的摄像机的调整图像的说明图。

图13是使调整图像为长方形的说明图。

图14是示出摄像机校准操作的流程图。

图15A、图15B是说明本实施方式的变形例中的特征点与角度的检测的说明图。

图16A～图16D是示出在模式D中用各摄像机拍摄的图像的说明图。

图17A～图17D是示出在模式D中白线因本车而消失的边界的说明图。

图18是示出模式F中的白线框的说明图。

图19是示出模式G中的白线框的说明图。

图20A～图20D是示出模式G中用各摄像机拍摄的图像的说明图。

图21是越过直线(白线)调整绝对位置时的说明图。

图22A～图22B是示出车辆是与白线或地面相同颜色的情况的说明图。

图23A～图23C是说明检测本车与白线的边界的说明图。

具体实施方式

以下参考附图来说明实施方式的摄像机校准装置。

(实施方式1)

图1是示出本实施方式涉及的摄像机校准装置的结构框图。摄像机校准装置包括：摄像部10、摄像机数据存储部20、特征点检测部21、空间重构部22、空间数据缓存器23、视点变换部24、显示模式存储部30、图像合成部40及显示部50。

摄像部10具有拍摄本车周围的影像的例如四台摄像机11、12、13、14。四台摄像机11、12、13、14分别拍摄车辆的前方、后方、左侧、右侧。另外各摄像机11～14可使用鱼眼摄像机等广角摄像机。关于各摄像机11～14的位置将在后面记述。

摄像机数据存储部20包含存储表示各摄像机(11～14)的特性的摄像机参数的摄像机参数表201。可以通过从用各摄像机11～14拍摄的图像中提取特征点，并基于特征点的信息计算获得摄像机参数。摄像机参数表示摄像机的安装位置、摄像机的安装角度、摄像机的镜头失真校正值、摄像机镜头的焦距等摄像机特性。如果获取用各摄像机(11～14)拍摄的图像的多个特征点与这些特征点在三维坐标系内的位置的对应关系，则可通过计算近似地求出摄像机参数。此外，日本特开2002-135765号公报记载了通过计算求出摄像机参数的方法。

特征点检测部21基于来自摄像机(11～14)的输入图像来检测车辆周围的例如路面上描画的停车场白线等路面上的特征点。空间重构部22基于摄像机参数生成映射到三维空间的空间模型的空间数据。另外，空间重构部22基于由特征点检测部21检测的路面上的特征点与车辆的当前位置来逐步改变空间模型。

空间数据缓存器23临时存储空间重构部22中生成的空间数据。视点变换部24设定假想视点，参考从空间数据缓存器23输出的空间数据生成从任意的假想视点看到的图像。

显示模式存储部30包含图像存储部31与映射表32。图像存储部31存储从正上方看的俯视图像或从斜后方等看的俯视图像。也就是说，摄像机11～14分别拍摄本车的周围，并基于拍摄的图像生成本车的背景图像，但背景图像上显示的只有实景。因此，为了在背景图像的指定位置上合成本车的俯视图像，预先将从正上方拍摄本车的图像或从斜后方看到的图像作为俯视图像存储在图像存储部31中。或者，生成表示本车的幻灯图像，并将该幻灯图像存储为俯视图像。拍摄的图像或幻灯图像不限于一张，可以存储多种并任意选择。

映射表32是存储用摄像机11～14拍摄的图像的像素数据与从假想视点观察本车的周边的背景图像的像素数据的对应关系的表，存储表示拍摄的图像的像素与背景图像的哪一像素对应的变换信息。

图像合成部40合成由视点变换部24进行了视点变换的图像(俯视图像)以及对应于显示模式存储部30输出的假想视点的本车图像(幻灯图像等)，并在显示部50上进行显示。另外，图像合成部40也可选择拍摄部10拍摄的任意摄像机图像并显示在显示部50上。

接着，参考图2说明摄像机11～14的配置例。本实施方式中配置四台摄像机11～14。图2是从正上方观察车辆1的图，例如在车辆1的前方部配置摄像机11、在后方部配置摄像机12。另外，在车辆1的左侧后视镜处配置摄像机13、在右侧后视镜处配置摄像机14。

这样，各摄像机11～14被配置在车辆1的四边上。各摄像机11～14可以是用于拍摄车辆1的四周的鱼眼摄像机。此外，在以下的说明中，称摄像机11为前方摄像机、摄像机12为后方摄像机、摄像机13为左摄像机、摄像机14为右摄像机。另外，也称具有摄像机11～14的车辆1为本车1。

以下，说明本实施方式涉及的摄像机校准装置的主要部分(特征点检测部21、空间重构部22、视点变换部24、摄像机数据存储部20、空间数据缓存器23)的操作。摄像机校准所需要的镜头失真校正在日本特开2002-135765号公报中有所记载，例如设置温度传感器与温度校正表来校正随着气温的上升或下降而变化的镜头失真。另外，设摄像机设置在车辆1的前后左右四个地方。

<相对位置调整>

本实施方式中，首先，将多台摄像机(11～14)如图2中说明的那样安装在车辆的前后左右。然后，在进行镜头失真校正后，设定图像为进行了视点变换的图像，使得摄像机在一定程度上朝向地面。此时，存储视点对于该图像的面的位置。

图3是示出将车辆1停在停车场的情况下的平面图。如图3所示，停车场的停车框设为表示停车空间的四个角的框和横向延伸的线，图像的获取模式设为三个模式。在停车场上画出表示停车框2的白线，停车框2包括前方的白线2a、后方的白线2b、左侧的白线2c、右侧的白线2d。接着，将车辆1几乎径直地停入停车场的停车框2内，并用多台摄像机(11～14)拍摄停车场的白线(2a～2d)，从而获取三个模式(模式A、B、C)的白线图像。

如图4A所示，模式A的图像表示使车辆1移动至偏离停车框2后方的位置，并用前方摄像机11、左摄像机13及右摄像机14拍摄停车框2的图像。如图4C所示，模式C的图像表示车辆1的前方移动至完全越过停车框2的白线2a的位置而拍摄的图像。另外，如图4B所示，模式B的图像表示车辆1移动至模式A与模式C之间的位置并拍摄的图像。此外，在图4A～4C以后，为了方便，用黑粗线表示停车框2的白线。

接着，通过从三个模式的图像中检测描画在地面上的白线(示出停车框的直线图像)来检测特征点。但检测特征点(白线)有各种方法。例如为了易于检测白线，将拍摄的图像数据转化为单色图像并输入，再通过图像处理器进行边缘提取处理。即将彩色图像数据变换为灰度数据(单色图像)，并设定灰度数据的亮度平均值或亮度的中央值等阈值。然后，像素间的亮度梯度等小于阈值时，作为边缘不检测，而大于等于阈值时，作为边缘进行检测。或检测变换为灰度数据的图像数据的各像素的亮度和与各像素邻接的像素的像素值的差分，并作为边缘，检测差分大的像素。如上所述，计算边缘的坐标，通过上述方法检测描画在地面上的白线。

图5(a)、(b)、(c)示出在模式A中用前方摄像机11、左摄像机13、右摄像机14拍摄的图像。图6(a)、(b)、(c)示出在模式B中用后方摄像机12、左摄像机13、右摄像机14拍摄的图像。图7(a)、(b)、(c)示出在模式C中用后方摄像机12、左摄像机13、右摄像机14拍摄的图像。图5(a)～图7(c)中，在旁边停有其他车辆的情况下，也会获取相邻车辆的图像，但这并无大碍。

从图5(a)～(c)的模式A的图像检测用前方摄像机11拍摄的特征点A1、A2和其交叉的两个方向。即不仅检测特征点A1、A2，还检测在特征点中白线交叉的两个方向。另外，检测用左摄像机13拍摄的特征点A1与用右摄像机14拍摄的特征点A2。特征点A1相当于白线2a与白线2c的交点，特征点A2相当于白线2a与白线2d的交点。

从图6(a)～(c)的模式B的图像检测用后方摄像机12拍摄的特征点B1、B2。另外，基于模式B的图像，检测用左摄像机13拍摄的特征点A1和其交叉的两个方向以及特征点B1，并检测用右摄像机14拍摄的特征点A2和交叉的两个方向以及特征点B2。特征点B1相当于白线2b与白线2c的交点，特征点B2相当于白线2b与白线2d的交点。

从图7(a)～(c)的模式C的图像检测用后方摄像机12拍摄的特征点B1、B2和其交叉的两个方向。另外，基于模式C的图像检测用左摄像机13拍摄的特征点A1和其交叉的两个方向，并检测用右摄像机14拍摄的特征点A2和其交叉的两个方向。此外，在图5(a)～(c)中，分别用圆围住特征点来表示它，但粗圆意味着检测特征点和其交叉的双方向。细虚线圆只意味着检测特征点。

另外，如模式A、B、C(图4)所示，车辆1移动之后，各摄像机的位置与各特征点的相对位置发生变化，故在检测特征点和其交叉的双方向的情况下，在没有过于离开特征点的位置即、易于感知交叉的双方向的位置进行检测。例如，在模式B(图6(a)～(c))与模式C(图7(a)～(c))中分别检测出特征点B1、B2的情况下，由于模式C一方易于把握交叉的两个方向，故不在模式B中检测特征点B1、B2的交叉的两个方向。此外，在检测特征点A1、A2、B1、B2的情况下，作为特征点，检测白线的中心线相交的点，但为了进一步提高精度，也可通过检测白线的端部，而不是白线的中心，并求出特征点或交叉的两个方向。

接着，将用各摄像机(11～14)拍摄的图像变换到从正上方看的视点。以各角度变为直角的方式，由模式A的两个特征点A1、A2以及其交叉的两个方向来计算前方摄像机11的图像。

这里，定义三维空间坐标系。例如，定义如下的三维坐标系：设与车辆1的后面平行的路面上的直线为x轴、设与车辆1的后面垂直的路面上的直线为y轴、设由路面向车辆方向垂直延伸的轴为z轴。在本坐标系中，将摄像机的位置设为(0，0，0)的情况下，关于摄像机的方向，将相对于x轴旋转的角度设为α、将相对于y轴旋转的角度设为β、将相对于z轴旋转的角度为γ。以下的三维空间坐标系或三维空间是指基于本定义的三维空间坐标系。

在定义了如图8(a)～(c)的坐标系的情况下，如下进行各轴的旋转计算。

x轴中心旋转

x′＝x

y′＝y·cos(α)+z·sin(α)

z′＝-y·sin(α)+z·cos(α)

y轴中心旋转

x′＝x·cos(β)+z·sin(β)

y′＝y

z′＝-x·sin(β)+z·cos(β)

z轴中心旋转

x′＝x·cos(γ)+y·sin(γ)

y′＝-x·sin(γ)+y·cos(γ)

z′＝z

使图像为进行了视点变换的图像(地面为-z方向)，使摄像机某种程度上朝向地面。因此，检测的特征点交叉的两个方向在某种程度上为直角。将摄像机的朝向设为-z方向，并如图8(a)～(c)所示的虚线那样进行图像的配置。图像相对于z轴垂直。

由上述位置的图像，计算检测出特征点和其交叉的两个方向所得的坐标。使双方向为适当的长度并作为两个坐标，对准特征点形成三个坐标。计算x轴旋转角度和y轴旋转角度，使得在-z方向看，各坐标的角度abc(b为特征点)为直角。

根据上述的x轴中心旋转和y轴中心旋转的计算式，旋转后的坐标变为：

x′＝x·cos(β)-y·sin(α)·sin(β)+z·cos(α)·sin(β)

y′＝y·cos(α)+z·sin(α)

z′＝-x·sin(β)-y·sin(α)·cos(β)+z·cos(α)·cos(β)。

为了使从摄像机视点向-z方向看时该坐标看似直角，只要变换为X＝x/(-z)、Y＝y/(-z)的坐标(X，Y)的直线ab与直线bc变为直角即可，所以，直线ab与直线bc相对于+x方向的倾角(二维直线的式子y＝ax+b中的a)为：

直线ab：(Y(a)-Y(b))/(X(a)-X(b))

直线bc：(Y(c)-Y(b))/(X(c)-X(b))

若该两个倾角相乘的值为-1则是直角。

该计算式表示为f1(α，β)＝0，从另一个特征点导出的计算式表示为f2(α，β)＝0。然后，使用非线性联立方程式(牛顿法)等求出α与β的解。由于非线性联立方程式(牛顿法)是一般性的问题，只予以简单地说明。导出两个解的牛顿法的方程式如下。

[公式1]

$\left(\begin{array}{cc}\mathrm{\&delta;f}1/\mathrm{\&delta;\&alpha;}& \mathrm{\&delta;f}1/\mathrm{\&delta;\&beta;}\\ \mathrm{\&delta;f}2/\mathrm{\&delta;\&alpha;}& \mathrm{\&delta;f}2/\mathrm{\&delta;\&beta;}\end{array}\right)\left(\begin{array}{c}\mathrm{\&Delta;\&alpha;}\\ \mathrm{\&Delta;\&beta;}\end{array}\right)=\left(\begin{array}{c}-f1(\mathrm{\&alpha;},\mathrm{\&beta;})\\ -f2(\mathrm{\&alpha;},\mathrm{\&beta;})\end{array}\right)$

“δf1/δα”是用α对函数f1(α，β)＝0进行偏微分的结果。另外，Δα与Δβ是导出的解，但由于是相对于最初设定的α与β的差分，故包含误差。设定地面方向，使α与β为接近0的值，因此，最初设α与β为0并代入值进行计算。然后，将得到的Δα与Δβ加到原来的值α与β上，多次计算并收敛，直到Δβ与Δβ大致变为0。

设定地面的方向，使α与β为接近0的值，因此，设α、β为-45度以上+45度以下(也可更宽)，使计算收敛(由于上述的方法中有多个收敛解，所以可引入限制)。通过此计算方法导出x轴旋转角度与y轴旋转角度。

同样地，由在模式C中的两个特征点B1、B2和其交叉的两个方向计算后方摄像机12的图像，使得各角度为直角。另外，由模式B的前方的特征点A1和其交叉的两个方向以及模式C的前方的特征点A1和其交叉的两个方向来计算左侧摄像机13的图像，使得各角度为直角。而且，由模式B的前方的特征点A2和其交叉的两个方向以及模式C的前方的特征点A2和其交叉的两个方向来计算右侧摄像机14的图像，使得各角度为直角。如上所述，根据计算结果将图像变换为从正上方看到的图像。

接着，使模式B的停车场框2对准方向。即、只是变换为从地面的正上方看的图像，只有各特征点A1、A2、B1、B2的角度变为直角，但方向是杂乱的。因此，为了使停车场框2对准方向，通过模式C的两个特征点B1、B2来调整(z轴旋转)后方摄像机12的图像，使其特征点变为正侧向。后方摄像机12由于相对前方摄像机11旋转了180度，故调整为左侧变为右侧、右侧变为左侧。

根据模式B的两个特征点A1、B1，调整左摄像机13的图像，使其特征点为正纵向，且前方为上侧、后方为下侧。根据模式B的两个特征点A2、B2，调整右摄像机14的图像，使其特征点为正纵向、前方为上侧、后方为下侧。此外，由于前方摄像机11的图像在模式B中不能获取特征点，故不进行方向的调整。这样，调整后的后方摄像机12、左摄像机13及右摄像机14的图像变为图9(a)～(c)所示。

接着，确定左右摄像机13、14的放大率，使得模式B中的左摄像机图像的两个特征点A1、B1之间的长度与右摄像机图像的两个特征点A2、B2间的长度相同。而且，确定后方的摄像机的放大率，使得模式B中的后方摄像机12的两个特征点B1、B2与左右的摄像机13、14的后方的特征点B1、B2一致，而且，模式C中的后方摄像机12的两个特征点B1、B2与左右摄像机13、14的后方的特征点B1、B2一致。

或者，输入白线框2的纵横比并确定后方摄像机12的放大率，使该纵横比为输入了模式B中的后方摄像机12的两个特征点B1、B2间的长度和左摄像机图像的两个特征点A1、B1间的长度或与右摄像机图像的两个特征点A2、B2间的长度的纵横比。

根据左右摄像机13、14与后方摄像机12中的放大率确定视点的相对高度，因此，根据该视点的高度，相对地面方向水平地移动，使得模式B中的后方摄像机12的两个特征点B1、B2与左右摄像机13、14的后方的特征点B1、B2一致，从而确定左右摄像机13、14与后方摄像机12的相对视点位置。

接着，确定前方摄像机11相对于地面方向的旋转角度、放大率及相对视点位置，使得模式A中的两个特征点A1、A2的图像与左右摄像机13、14的前方的特征点A1、A2图像一致。这样确定的白线框2的图像如图10所示。

然而，从图10可知，此图中尽管停车场的白线框2是垂直的，但不一定相对车辆1垂直。由于线的长度符合停车场的白线框2的长度，故车辆1的大小或大或小。白线框2的位置相对车辆1的位置或向左侧偏移或向右侧偏移。由于车辆1与白线框2的边界不清楚，因此，车辆进入了白线框2的影像。于是，接着进行绝对位置调整。

<绝对位置调整>

在图10中，处于未指定本车1的大小、位置、方向的状态，如图11那样，从此状态开始进行调整，使得本车当显示范围相对于俯视图像的显示区域R在预先确定的范围内。在图11中，用粗框表示的区域R是俯视图像的显示区域，由横宽w与纵长h限定。另外，本车的显示范围设纵长为a，横向的中心位置为x，纵向的中心位置为y。

首先，如图12所示，由模式A、B检测车辆1与地面的边界。检测方法是指定白线2因本车1而消失的位置(边界位置)的方法。停车场的白线2为直线，粗细不变的区域是白线的区域，其前端是边界。图12(a)是前方摄像机11的模式A中的调整图像(将特征点的角度调整为直角、将特征点调整为正侧向、对相对于其他摄像机的相对位置进行了调整的图像)，图12(b)是后方摄像机12的模式B中的调整图像。图12(c)是左摄像机13的模式B中的调整图像，图12(d)是右摄像机14的模式B中的调整图像。为了吸收误差，也可获取A、B、C各模式中的调整图像。

从上述调整图像即、图12(a)～(d)的图像每次两点检测边界位置。图12(a)中，分别用圆A3、A4表示边界位置，图12(b)中分别用圆A5、A6表示。另外，图12(c)中分别用圆B3、B4表示边界位置，图12(d)中用圆B5、B6表示。

然后，从检测的左右摄像机13、14的两点边界点做出边界线。然后，计算绝对角度，并调整各摄像机11、12、13、14的调整图像的方向或位置，使得边界线左右同时为最接近正纵向的角度。另外，也可使用前后摄像机11、12的图像来进行。在此情况下，计算绝对角度，并调整各摄像机11、12、13、14的调整图像的方向或位置，使得边界线前后同时为最接近正侧向的角度。

在上述的调整中各边界线有可能倾斜，因此，为了形成长方形，由各摄像机(11～14)图像中的四条边界线作出四边形。例如如图13所示，假定基于前方摄像机11的边界线为直线X1、基于后方摄像机12的边界线为直线X2、基于左摄像机13的边界线为直线Y1、基于右摄像机14的边界线为直线Y2，求出各边界线的交点，作出由各交点中的x轴方向与y轴方向的各自的最小值与最大值规定的长方形(用粗虚线表示)。

该长方形成为显示本车的幻灯图像(slide)等显示范围，改变俯视图像，使得显示框相对于俯视图像的比例及位置变为预先指定的值，并进行调整，使得俯视图像容纳在预先设定的显示区域R(图11)中。空间重构部22构成改变俯视图像的调整部。

如上所述，确定摄像机位置、摄像机的方向，并将摄像机参数存储在摄像机数据存储部20中。

图14是示出以上的操作的流程图。图14中，步骤S1是摄像机校准的开始步骤，在步骤S2中，将各摄像机(11～14)安装在车辆的前后·左右侧。接着，在步骤S3中，用A、B、C三种模式获取停车场的白线图像。在步骤S4中，调整图像(变换为灰度数据)，使其更容易检测白线，并检测各需要的特征点。在步骤S5中，在各摄像机中，以地面方向为-z方向，由各特征点和其交叉的两个方向计算x轴旋转角度与y轴旋转角度。而且，在步骤S6中，根据白线的框计算各摄像机的z轴旋转角度。

接着，在步骤S7中，计算左右摄像机13、14的放大率，使得左右摄像机13、14中的白线的纵轴长度相同。在步骤S8中，由模式B与模式C中的后方摄像机12的特征点来计算后方摄像机12的放大率。在步骤S9中，计算左右与后方摄像机的相对位置，使得模式B中的后方摄像机12的特征点的位置与左右摄像机13、14一致。然后，在步骤S10中，计算左右侧和前方摄像机的相对位置，使得模式A中的前方摄像机11的特征点的位置和左右摄像机13、14一致。

接着，在步骤S11中，检测白线因本车而消失的位置(从本车出现的位置)。在步骤S12中，从检测到的消失位置生成边界线。而且，在步骤S13中，计算绝对角度，使得左右摄像机13、14的边界线的平均变为正纵向，校正各摄像机拍摄的图像的方向或位置。在步骤S14中，通过前后左右的边界线计算各边界线的交点的x轴与y轴的最小值、最大值，将该区域(显示范围)作为车辆的显示区域。在步骤S15中，根据预先设定的车辆显示区域，确定各图像的放大率、位置，结束步骤S16。

这样，当车辆1停在白线框2中时，在俯视图像的显示区域R内显示方形的白线框2和停在白线框2内的本车1的幻灯图像，正常地合成用各摄像机11～14拍摄的图像，从而可消除接合处形成高度不同。而且，由于由各摄像机11～14检测至少两个特征点即可，校准变得简单。

接着，说明本实施方式的变形例。在知道各摄像机(11～14)的安装位置的距离的情况下，只是不知道摄像机的安装方向的状态。在此情况下，也可以不用移动车辆1后对各摄像机(11～14)检测两个特征点和其交叉的两个方向。

也就是说，如图15(a)的模式D那样，如果是在前后的摄像机11、12中各自能看到横穿的白线2a、2b，且在左右摄像机13、14中能看到两个特征点以及相对于各特征点的交叉的两个方向的状态的话，也可以不移动车辆。或者，如图15(b)的模式E那样，如果是左右摄像机13、14中各自能看到纵的白线2c、2d，且由前后的摄像机11、12能看到两个特征点以及相对于各特征点的交叉的两个方向的话，也可以不移动车辆。

参考图16(a)～(d)来说明模式D。图16(a)～(d)示出模式D中用各摄像机11～14拍摄的图像。从模式D的图像检测用前方摄像机11拍摄的特征点A11、A12以及用后方摄像机12拍摄的特征点B11、B12。而且，检测用左摄像机13拍摄的特征点A11、B11和用右摄像机14拍摄的特征点A12、B12以及各自的交叉的两个方向。

接着，根据前述的计算式进行旋转处理，使得左摄像机13与右摄像机14的图像中的两个特征点和其交叉的两个方向分别成为直角。而且，进行垂直于地面的方向的旋转，使得左右摄像机13、14的图像的白线变为正纵向。接着，根据左右摄像机13、14的高度可得知正纵向的白线的长度。根据该白线的端点的特征点与左右摄像机13、14的位置关系，计算前后的在摄像机11、12中映出的横线的特征点的间隔。根据在前后的摄像机11、12中映出的横线的特征点与前后的摄像机11、12的位置指定前后的摄像机11、12的方向。计算式如下。

以本车1的左前的特征点为例。设前方摄像机11的旋转前的左侧的特征点位置为(x，y，z)，设相对于前方摄像机11的安装位置的左侧摄像机13中的计算结果的特征点位置为(xa，ya，za)。设对特征点(x，y，z)进行x轴旋转、y轴旋转、z轴旋转后的坐标为(xb，yb，zb)，则xb、yb、zb是α、β、γ的函数。

由于(xa，ya，za)与(xb，yb，zb)是相对于前方摄像机11的坐标，因此，用于同样看到从摄像机视点向-z方向看时的顶点的计算式变为：

xa/(-za)＝xb/(-zb)

ya/(-za)＝yb/(-zb)。

然后，通过两个式子生成f1(α，β，γ)＝0与f2(α，β，γ)＝0两式。为了用非线性联立方程式(牛顿法)导出α、β、γ还需要一个式子，因此，可利用本车1的右前的特征点来准备好另一式子。利用这三个公式，求解非线性联立方程式即得出α、β、γ。

设定地面的方向，使得α与β为接近0的值，而且，由于前方摄像机11处于几乎没有进行z轴旋转的状态，所以，设α、β、γ为-45度以上+45度以下(也可更宽)，使计算收敛(由于上述的方法中有多个收敛解)。通过此计算方法导出x轴旋转角度、y轴旋转角度与z轴旋转角度。

指定的摄像机的方向是分别相对于白线的方向。因此，根据摄像机的安装位置计算白线相对于车辆从地面的垂直方向旋转了多少。接着，如果知道摄像机的位置相对于从车辆1的正上方看到的车辆与地面的边界偏离了多少，则根据该距离确定本车图像的显示位置和外部影像的显示位置的边界线。如果不明白，则如图17(a)～(d)所示，对各摄像机11～14至少找出一点的白线因本车1而消失的边界，将该点确定为本车图像的显示位置和外部影像的显示位置的边界线。

而且，在指定摄像机的安装位置的状态下，若车辆1较小，并通过朝向车辆侧的白线能够检测白线2的角度，那么，如图18所示的模式F，也可利用只有四角框的白线。

即如图4(a)～(c)或图15(a)、15(b)，需要从四角的白线框2向外侧延伸的白线是为了提高角度的精度。因此，即使用向内侧延伸的白线也能计算角度，因此，如果车辆1相对于白线框2在一定程度上比较小的话，即使用向内侧延伸的线也能达到角度计算的精度。

而且，近来的停车场如图19所示，存在不是四角的框而是双重线的情况。在这样的情况(模式G)下，如果指定了摄像机的安装位置，那么，将本车1设置到图19的位置并进行调整。然后，如图20(a)～(d)所示检测特征点。

如图20(b)，能检测特征点和交叉的两个方向的只有后方摄像机12的图像。在前方摄像机11的图像中，由于特征点A21、A22为曲线，所以，不能准确地检测角度。在后方摄像机12中的特征点B21～B24位于同一条线上，所以，可由连接上述特征点的线指定两个方向。

或者，也可以将前方摄像机11的图像中的特征点A21、A22的连接线与特征点A23～A26的直线的交点(虽有四点，但只要两点即可计算)作为假想的特征点，将特征点A21、A22的切线与特征点A23～A26的直线作为交叉的两个方向。

因此，通过后方摄像机12的图像的两个特征点B21、B24和其两个方向或者特征点B22、B23和其两个方向，用非线性联立方程式(牛顿法)等确定x轴旋转角度、y轴旋转角度，使得两个特征点的两个方向形成的角度为直角。接着，确定z轴旋转角度，使得两个特征点变为正侧向(但左侧与右侧相反)。

接着，用非线性联立方程式(牛顿法)等确定前方摄像机11的x轴旋转角度、y轴旋转角度、z轴旋转角度(考虑前摄像机与后摄像机的高度)，使得校正后的后方摄像机12中的四个特征点B21～B24和前方摄像机11中的四条线上的特征点A23～A26(图中能看到与本车的边界，但也没有必要是边界，也可以在线上)的横向(x)的坐标看起来在相同的位置。或通过前述的假想的特征点和交叉的两个方向确定前方摄像机11的x轴旋转角度、y轴旋转角度、z轴旋转角度。

为了提高精度，可将α、β、γ的函数之一设定为如下的计算式，即、检测前方摄像机11中的成为线端点的曲线的部分的两个特征点A21、A23(两个曲线位置与直线连接的位置为两个特征点)，且该检测的两个特征点的纵向(y)位置相同。而且，也可设定下述的计算式，即、该其个特征点A21、A22的横向(x)位置与后方摄像机12的左右的各两个特征点的中点(B21与B22的中点以及B23与B24的中点)相同。

由于能指定前方摄像机11与后方摄像机12的方向与位置，所以，计算前后摄像机11、12中的车辆1左侧白线的端点的特征点A23、B21，使其为左摄像机13中的摄像机位置基准。计算x轴、y轴、z轴旋转的各角度，使得以左摄像机13的位置为基准进行了x轴、y轴、z轴旋转的坐标与从左摄像机13看位于相同的位置看到左摄像机13中的特征点的检测结果。计算方法与模式D中说明的将前后的摄像机11、12置换为左右摄像机13、14后的方法相同。同样，计算右侧。车辆后方的特征点可以是双重线的任一侧。

或者设左摄像机13中的特征点B21、B22为两个特征点，各自的两个方向设为白线的方向与另一特征点(设特征点为B21的情况下为B22、设特征点为B22的情况下为B21)的方向，从而确定x轴旋转角度、y轴旋转角度。接着，也可确定z轴旋转角度，使得白线变为正纵向。对于右摄像机14，同样，也检测特征点B23、B24和其交叉的两个方向，并确定x轴旋转角度、y轴旋转角度、z轴旋转角度。

已指定的摄像机的方向是相对于各白线的方向。因此，根据摄像机的安装位置计算白线相对于车辆在地面的垂直方向上旋转了多少。接着，如果知道摄像机的位置相对于从车辆1的正上方看到的车辆与地面的边界偏离了多少，则根据该距离确定本车图像的显示位置与外部影像的显示位置的边界线。如果不知道，前后摄像机11、12对各摄像机找出至少一点(对多个进行平均或位于可信的位置的一方)白线因本车1而消失的边界，将该点确定为本车图像的显示位置与外部影像的显示位置的边界线。对于左右摄像机13、14，将车辆1的轮胎与地面的边界或对刹车的车辆的消失位置确定为边界线。

而且，在模式G那样的情况下，也可相对于白线使车辆1为横方向，检测两个特征点和其角度(两个方向)并计算。而且，如果知道白线的长度或纵横比，也可以将这些代入计算式中并减少计算量。

而且，对于绝对位置的调整，也可如图21那样越过直线(白线2)来调整。在此情况下，穿过白线2检测消失点、出现点，但对于穿过白线2检测边界，相对于车辆1的行进方向，希望是横向。而且优选车辆1的行进是直线地移动，使其尽量不带舵角。以此为前提，首先说明前方摄像机11中的边界检测方法。

如图21那样，最初检测白线2，测定白线2相对于被认为是行进方向的粗细。对于被认为是行进方向的方向，在垂直的方向上，具有适当的距离，进行多个地方的该测定。若行进方向未旋转，则获取的白线2的相对于行进方向的粗细不变。因此，在进一步前进的情况下，各位置的白线2的粗细变化的位置为本车1的边界。

如图22(a)所示，若车辆1是与白线2相同的颜色，则线变粗，相反地如图22(b)所示，车辆1与地面为相同的颜色，则线变细。然后，通过对各边界点进行最小2乘法等确定全体的边界。而且，后方摄像机12的图像也可用同样的处理确定边界。

接着，说明右摄像机14的图像中的边界检测方法。如图23(a)～(c)所示，最初检测白线2并测定该直线的方向，并测定相对于方向的粗细。接着，将对于白线2不能维持该直线的方向和粗细的地方确定为边界。图23(a)示出车辆1与白线2为相同的颜色的情况，图23(b)示出车辆1与地面为相同颜色的情况。

使本车1移动的同时多次进行以上的操作，通过对各边界点进行最小2乘法等来确定全体的边界。而且，如图23(c)所示，假定白线2映在本车1上，并被识别为方向与粗细不变的直线的情况，显然，其他边界点和位置偏移的情况除外。而且，左摄像机13也可用同样的处理确定边界。这样，可指定各摄像机图像的边界位置。

接着，为了使本车的方向相对于显示影像变为垂直，将通过左右摄像机13、14的图像求得的边界线的平均确定为本车1倾角。在校正了该倾角的状态下，通过前后的摄像机11、12图像的边界导出本车1的纵宽。而且，通过左右摄像机11、12图像的边界导出本车1的横宽。进一步通过该纵向宽度与横向宽度，指定本车1的中心位置。通过以上的结果与图11中设定的值指定本车1的位置、方向、大小。通过以上方法可简单地调整本车位置与方向。

此外，也可通过以相对位置调整得到的摄像机的位置来进行绝对位置的调整。即在左右摄像机13、14对车辆1的纵向距离相同的情况下，调整该位置为正侧向，设定各摄像机的位置为边界线。

而且，存在以下所述的各种的变形例。

(1)也可使车辆1相对于停车场的范围2在横向行驶来进行校准。由于横线偏离车辆，所以不需要突出四角的线，可通过向内侧延伸的线进行角度的计算。

(2)也可以检测映入左右摄像机影像中的前方的轮胎(或后方的轮胎)，确定本车的方向，使得该左右轮胎的位置相对于显示影像变为水平。也可使将影像变换为与地面垂直来进行轮胎的检测。这样就能处理复杂形状的车辆。

(3)为了容易检测白线的消失点，可以事先在本车上粘贴不反射的薄片。这样即使在白线反射到本车上时，也能准确地检测白线的消失点。

(4)在白线的消失位置与摄像机的视野相同的情况下，车辆的位置对于摄像机变得不可知。如果知道车辆的形状，则根据白线相对于前或后的任一摄像机中映出的车辆的消失位置进行显示即可。而且，在前与后两方的白线相对于车辆的消失位置都与摄像机的视野相同的情况下，可以用进入左右摄像机中的车辆的轮胎的位置来调整。由此也可在车辆未进入前后摄像机中时进行处理。

(5)说明了使用四台摄像机11～14的例子，但摄像机的数量可更多也可更少。

(6)在必须准确地设定俯视图像中的本车图像的位置等绝对距离的情况下，也可设定前后的轮胎间的距离、车宽、白线的距离等之一，并进行计算。而且，也可用加速度传感器或车速脉冲测出车速，从直线的移动量准确地判断距离。由此可准确地设定距离。

(7)为了提高调整精度，也可获取更多的图像。

(8)也可以连续测定车辆周围的全部和白线的消失位置，而不是不粗略地，确定车辆的形状并显示本车周围的影像。可用车辆的形状显示本车周围的影像。

(9)在左右摄像机图像中，轮胎跨过白线的情况下，本车的横向宽度为最大。可以将变为最大的两点设为轮胎的位置，并确定本车的方向。

(10)最后可手动地进行微调整。由此可适应于微小的偏移或偏好。

(11)也可使用车辆的方向盘的陀角、加速度传感器、陀螺等参数等。因此，可实现调整时间缩短或精度的提高。

(12)为了易于调整也可对特征点追加辅助线。由此易于识别停车框。而且可缩短计算时间。而且，辅助线可准备为薄片，也可画在地面上，辅助线可以是任何形态。

(13)为了减少计算误差，也可以多次获取各特征点，通过最小2乘法等计算来确定，使得白线即使凹陷或变薄等，也不成为问题。

(14)在白线框像长方形那样角度不为90度的情况下，如果知道角度的话，可以根据该角度进行计算。在例如平行四边形等角不为90度的情况下也可对应起来。

(15)由于用户的喜好不同，也可由各用户进行校准的设定(开启、关闭、程度等)。根据本实施方式，由于利用停车场的白线来进行校准，所以，无须特定的校正模式。而且，由于利用白线的两个特征点和其交叉的两个方向的信息，只检测至少两个特征点即可，无须过多地离开停车框，从而可减少车辆的移动量。而且，旁边停有车也无大碍。而且，可以将穿过描画在地面上的直线时的直线的消失点、出现点作为边界，通过该边界自动地进行本车的大小或方向等的指定。

尽管说明了一些实施方式，但这些实施方式仅仅是通过例子来表达的，并非意在限制发明的范围。这些创新的实施方式可以多种其他形式来实现，在不脱离发明的要旨的范围内，可以做出各种省略、替代与改变。这些实施方式或其变形，在包含在发明的范围或要旨中的同时，也包含在专利申请的范围中所述的发明与其均等范围中。

Claims (6)

1.一种摄像机校准装置，其特征在于，包括：

摄像部，具有安装在车辆上的多个摄像机，通过所述多个摄像机拍摄所述车辆的周围；

特征点检测部，从用所述多个摄像机拍摄的图像中识别表示停车框的直线图像，并从各摄像机图像检测所述停车框的至少两个特征点；

视点变换部，基于所述特征点检测部检测到的所述特征点和其交叉的双方向的信息，合成所述各摄像机的图像，并生成变换为从正上方观看的视点的俯视图像；

调整部，从所述俯视图像判别所述车辆的四条边与所述直线图像的边界位置，基于所述车辆的四条边和所述直线图像的边界位置设定边界线，将由所述边界线的交点坐标的最小值与最大值规定的区域确定为所述车辆图像的显示范围，以所述显示范围相对于所述俯视图像的比例及位置为预先指定的值的方式改变所述俯视图像；以及

摄像机数据存储部，存储基于所述改变的俯视图像计算的表示所述各摄像机的特性的摄像机参数。

2.根据权利要求1所述的摄像机校准装置，其特征在于，所述摄像部安装有用于拍摄所述车辆的前方、后方、左侧、右侧的四台摄像机。

3.根据权利要求1所述的摄像机校准装置，其特征在于，所述摄像部在移动所述车辆时在不同的位置上拍摄用白线区分的所述停车框，所述特征点检测部检测各位置上的所述特征点。

4.根据权利要求1所述的摄像机校准装置，其特征在于，所述摄像部在不同的位置拍摄用白线区分的所述停车框，所述特征点检测部检测所述白线交叉的两个特征点和其交叉的双方向。

5.根据权利要求1所述的摄像机校准装置，其特征在于，根据所述车辆的移动，所述调整部将所述直线图像因所述车辆而消失的位置或因所述车辆而出现的位置判别为所述边界位置。

6.根据权利要求5所述的摄像机校准装置，其特征在于，所述调整部基于所述车辆通过所述直线图像上时的所述直线图像的粗细变化判别所述边界位置。

Images