CN103136747B - 车载摄像系统及其校准方法 - Google Patents

Abstract

提供一种易于校准摄像部的内部参数和外部参数的车载摄像系统的校准方法。车载摄像系统（1）的校准方法的特征在于：从通过摄像部（307~310）拍摄的图像识别预先设定的具有直线部分的识别对象物，从图像抽取识别对象物的特征点，将该特征点投影于假想球面，基于形成在假想球面（601）的特征点列的形状推算摄像部（307~310）的内部参数，校准推算出的内部参数，并且基于该特征点计算图像的俯瞰视点，基于算出的该俯瞰视点推算摄像部（307~310）的外部参数，校准推算出的该外部参数。

Description

车载摄像系统及其校准方法

技术领域

本发明涉及对车辆周围的环境进行图像识别的车载摄像系统及其校准方法和校准程序。

背景技术

具有摄像部和图像处理装置的车载摄像系统以提高车辆的便利性、安全行驶以及汽车导航装置的高度的位置校正等为目的，其作用变得越发重要。随着图像处理技术的发展，不断开发出多种多样的识别路面或路上的标志或物体的技术。与此相伴，也开发出对车辆周围的环境进行图像识别，并进行防止车道脱离、避免冲突、汽车自动巡航（autocruise）等的车辆控制的技术，并不断推进实用化。在伴随车辆控制的情况下，需要用于测量识别对象物相对于车辆的相对位置的测量技术。当利用摄像机实施这种技术时，需要利用表示摄像机的位置和姿势的摄像机的外部参数和表示光轴位置、焦距、透镜畸变等的内部参数，寻找图像中的像素和实际空间上的位置的对应。虽然外部参数和内部参数是基于设计值而制造的，但是实际上必定包含误差，于是需要校正偏差的校准（calibration），以表示像素和实际空间的真正的对应关系。

现有技术文献

专利文献

专利文献1：日本特开2004-200819号公报

专利文献2：日本特开2008-011174号公报

发明内容

发明需要解决的课题

专利文献1中，记载有利用基准标识进行摄像机的光轴校正的技术。实施光轴校正时，需要准备基准标识。基准标识必须设置于与摄像 机的相对关系已确定的位置。若为车载摄像机的情况下，则需要在设置有摄像机的状态下决定摄像机的位置。也就是说，需要进行车辆定位的设备。由于定位设备需要成本，于是优选不进行定位就能够实现摄像机的校准的机构。

专利文献2是车辆正在行驶时，根据在道路上以高频率获得的道路标识的信息，校正车载摄像机的光轴并校正摄像机高度的方法。不需要校准用的设备投资，可以说，在成本方面具有优点。但是，能够通过这种方法进行校正的，只是车载摄像机的光轴和道路标识的信息，而无法校正透镜畸变、光轴中心等的内部参数和除摄像机的高度之外的设置位置等的外部参数。尤其，在鱼眼摄像机中，透镜畸变的影响很大，因此优选能够一并进行校正。

本发明是鉴于上述问题而完成的，其目的在于，提供一种能够容易地对摄像部的内部参数和外部参数进行校准的车载摄像系统及其校准方法和校准程序。

用于解决课题的技术方案

解决上述课题的本发明的车载摄像系统的校准方法构成为，对车辆周围进行拍摄，从所拍摄的图像识别预先设定的具有直线部分的识别对象物，从图像抽取识别对象物的特征点，将所抽取的特征点投影于假想球面，基于形成在该假想球面上的特征点列的形状推算摄像部的内部参数，校准推算出的该内部参数，基于所抽取的特征点计算图像的俯瞰视点，基于计算出的该俯瞰视点推算摄像部的外部参数，校准推算出的该外部参数。

另外，解决上述课题的本发明的车载摄像系统构成为，具有：对车辆周围进行拍摄的摄像部；特征点抽取部，其从通过该摄像部拍摄的图像，识别预先设定的具有直线部分的识别对象物，从图像抽取识别对象物的特征点；内部参数校准部，其将通过该特征点抽取部抽取的特征点投影于假想球面，基于形成在该假想球面的特征点列的形状推算摄像部的内部参数，校准推算出的该内部参数；和外部参数校准部，其基于通过特征点抽取部抽取的特征点计算图像的俯瞰视点，基于算出的该俯瞰视点推算所述摄像部的外部参数，校准推算出的该外部参数。

另外，由解决上述课题的本发明的图像处理装置执行的车载摄像系统的校准程序构成为，从通过车载摄像系统的摄像部拍摄的车辆周围的图像，识别预先设定的具有直线部分的识别对象物，从图像抽取识别对象物的特征点，将抽取的该特征点投影于假想球面，基于形成在该假想球面的特征点列的形状推算所述摄像部的内部参数，校准推算出的该内部参数，基于抽取的特征点计算图像的俯瞰视点，基于算出的该俯瞰视点推算摄像部的外部参数，校准推算出的该外部参数。

发明效果

根据本发明能够简单地对摄像部的内部参数和外部参数进行校准。另外，通过说明以下的实施方式，明确上述之外的课题、结构以及效果。

附图说明

图1是表示搭载有本实施方式的车载摄像系统的车辆的道路行驶状态的模型图。

图2是表示图像的畸变的图。

图3是说明畸变的图。

图4是表示本实施方式的车载摄像系统的构成例的图。

图5是表示本实施方式的车载摄像系统的另外的构成例的图。

图6是说明基于球面投影的内部参数的校准方法的图。

图7是表示有关曲线和直线的球面投影的差异的图。

图8是表示摄像机旋转的定义的图。

图9是说明外部参数（俯仰（pitch）、偏转（yaw）、摄像机高度）的校准方法的图。

图10是说明外部参数（滚转（roll）、平动）的校准方法的图。

附图符号

1车载摄像系统

105图像处理装置

301特征点抽取部

303内部参数校准部

304外部参数校准部

307~310摄像部

具体实施方式

下面，参照附图详细说明本实施方式。

图1是表示搭载有本实施方式的车载摄像系统的车辆的道路行驶状态的模型图。

如图1所示，车载摄像系统例如包括摄像部307、308、309、310、图像处理装置105。根据来自路面标志、道路标识等的图像信息，出于车辆的便利性的提高和安全行驶的监视目的，摄像部307、308、309、310以及图像处理装置105已被实用化，并且也能够利用于本发明的实施方式。

在本实施方式中，作为摄像部307、308、309、310安装有对车辆周围进行监视的四个摄像机，但是，只要安装数量为一个以上，则无论是多少个都可以。

另外，只要以能够对路面进行拍摄的状态加以安装，安装位置和姿势可以自由决定。另外，摄像机也可以使用红外线摄像机，而且在摄像机的视角、摄像元件的种类、透镜的特性等上面没有限制，能够利用各种摄像机。以后的表述中，如果没有特别的说明，提及到摄像部307、308、309、310之处全部同样没有限制。

图像处理装置105例如设置在车载摄像系统的ECU（ElectronicalControl Unit、电子控制单元）内，并通过执行预装的校准程序，实现后述的特征点抽取部301、内部参数校准部303、外部参数校准部304等的各内部功能。

图像处理装置105从利用摄像部307、308、309、310拍摄的图像，识别白线、路面标志等的预先设定的具有直线部分的识别对象物，并从图像抽取规定的特征点或特征线。并且，根据所抽取出的信息推算包含畸变的摄像机参数（光轴中心、畸变、像素的纵横比、焦距、设置摄像机的三维位置、设置姿势）。

在此，定义畸变。畸变是指，例如以如图2所示的光轴位置为中心，图像放射状地弯曲的状况。图2是表示图像的畸变的图，其为拍摄在平面上描绘的正方形的格子（四方形）的图像。畸变是指桶形畸变、枕形 畸变、鱼眼摄像机中设计的畸变。这些畸变，能够利用下述的公式（1）

【公式1】

r＝k₁θ+k₂θ³+k₃θ⁵+......(1)

这样的多项式近似。在此，θ表示光向透镜的入射角度。k₁、k₂、k₃……表示畸变系数，其决定畸变的形状。r表示当入射角为θ、畸变系数为k₁、k₂、k₃……时的距光轴中心的成像位置的距离。图3表示它们的关系。

图3是说明摄像机参数的图。

图3中，X、Y、Z为摄像机坐标轴，P为实际空间中的拍摄对象的点，f为焦距，c为光轴位置，p’_i为无畸变时的P的投影图像位置，p_i为受到畸变的影响的投影位置，x、y各自为拍摄平面的水平轴、垂直轴。z为光轴，φ表示在拍摄平面上以极坐标表示p_i时的偏角。通过推算k₁、k₂、k₃……，实现光轴图像中心畸变的校正。

关于鱼眼摄像机，是为了拍摄广泛区域，故意对鱼眼摄像机设置畸变。作为鱼眼模型的正投影方式、立体投影方式、等立体角投影方式中，能够以sin和tan的函数表述，因此只推算畸变模型式中的奇数次项即可。

接着，基于图4详细说明车载摄像系统。

图4、5是说明本实施方式的车载摄像系统的结构的图。

如图4所示，车载摄像系统包括摄像部307、308、309、310以及图像处理装置105。利用摄像部307、308、309、310拍摄的图像被传送至图像处理装置105。

在图像处理装置105中，首先，在特征点抽取部301中处理被输入的图像，抽取校准（calibration）所需的特征点。在本实施例中，作为特征点，抽取实际空间中的直线物体（白线、人行横道、停止线、有人行横道的标志、速度标志、建筑物的壁面、标识等）的边缘（edge）上的点列。只要在实际空间中为直线，就不问其对象。决定人行横道等进行识别的对象，并且当其能够识别时，实施将该边缘点列作为特征点的处理，从而能够实现。

另外，如图5所示，图像处理装置105也可以采用对利用摄像部307、308、309、310拍摄的图像施行边缘抽取，然后，对特征点筛选 部302输入边缘点列的形式。在特征点筛选部302中，对利用特征点抽取部301抽取的特征点实施处理。实施的处理是指排除校准中不需要的特征点。例如，在抽取白线的边缘点列时，有时也将曲线等的实际空间上的曲线结构作为边缘点列加以获取，因此有时需要排除特征点。在这种情况下实施。

内部参数校准部303中，利用由特征点抽取部301或由特征点抽取部301和特征点筛选部302所抽取的特征点，实施内部参数的校准。

关于畸变参数的校正方法的一个例子。畸变参数的推算是通过利用实际空间中应该为直线但由于透镜畸变而被拍摄为曲线状的线，以使曲线变成直线的方式调整畸变参数而实现的。以曲线上的点列为特征点，利用该特征点实施。作为其一种实现方法，有利用投影于球面上的特征点所示的性质而进行校准的方法。

利用图6、图7说明该校准方法。

图6是说明基于球面投影的内部参数的校准方法的图。考虑如图6所示的假想（虚拟）球面601。假想球面601设定为假想球面601的球中心O配置在与摄像部610的光轴在同轴上。具体而言，设定为假想球面601的光轴和摄像部610的光轴一致。假想球面601的光轴只要为通过原点的直线，就能够任意设定。

当利用摄像部610拍摄人行横道等的预先设定的具有直线部分的识别对象物602时，能得到摄像图像611。在摄像图像611上显示有对应于识别对象物602的直线部分621、622的直线612、613。当在假想球面601上投影有摄像图像611的直线612、613时，直线612、613成为假想球面上601的大圆603、604的一部分。大圆603、604是包括假想球面601的球中心O的截面外周圆。

图7表示与曲线和直线有关的球面投影的差异的图。如图7（a）所示，当拍摄图像710所示的摄像线711不为直线而弯曲时，即使投影于假想球面上，投影点702也脱离大圆701而不构成大圆701的一部分。另一方面，如图7（b）所示，当摄像线712为直线时，投影点704则构成大圆703的一部分。利用该性质，校准畸变。也就是说，如图7（c）所示，以使直线712的特征点列705成为大圆703的一部分706的方式调整畸变参数。

畸变参数的调整是通过将包括畸变参数的目的函数设计为当特征点列成为大圆的一部分时使其最小化，并且将使目的函数最小化的畸变参数通过最优化方法进行推算而实现的。目的函数例如为下述的公式（2）。

【公式2】

在此，n_l是根据将图像中被拍摄的第一条曲线上的特征点投影于球面上的点群中的第p个点p_lp推算出的法线矢量。该目的函数是意味着当特征点位于大圆上时，利用特征点列推算的大圆的法线矢量和表示实际的特征点的矢量应当正交的目的函数。在此，

。φ为将特征点p_lp映射于图像平面，以极坐标表示坐标时的偏角。另外，该目的函数利用将实际空间和图像坐标相关联的式子，包含有关光轴中心、单位摄像元件的纵横比、焦距、切线方向畸变等的参数，从而不仅能够校正畸变参数还能够校正各种内部参数。这些全部是实现的一个例子而已，也可以通过其他的内部参数推算方式推算参数。

接着说明外部参数的推算方式。

外部参数为实际空间上的摄像部的摄像机位置和摄像机姿势。摄像机位置为世界坐标系（x，y，z）中的摄像机的透镜中心（xc、yc、zc）（图8（d））。摄像部801的姿势，如图8所示，利用以摄像机坐标系的Z轴为旋转轴的滚转（roll、滚动）（图8（a））、以X轴为旋转轴的俯仰（pitch）（图8（b））、以Y轴为旋转轴的偏转（yaw）（图8（c））这3个旋转表示。对每个摄像机推算该六个参数。

外部参数校准部304中，利用从摄像部307、308、309、310输入的图像，和在内部参数校准部303中推算的畸变参数以及内部参数，实施校准。

下面，利用图9说明外部参数的校准方法的一个例子。

图9是说明外部参数（俯仰（pitch）、偏转（yaw）、摄像机高度）的校准方法的图，图9（a）是利用摄像部对识别对象物进行拍摄的实际的图像，图9（b）是俯瞰图像。

首先说明俯仰的求法。基于畸变校正后的特征点的性质推算以X轴为旋转轴的俯仰。

例如，实际的图像901所示的识别对象物911为路面标志，并且具有沿横向延伸的白线912和与白线912正交并沿车辆行驶方向延伸且在横向隔开规定间隔相互平行配置的多条平行白线913、913……。

当拍摄从正上方向下观察该识别对象物911的俯瞰图像902时，构成识别对象物911的平行白线913的边缘点列923应在俯瞰图像902中也平行。如果相反地考虑，这意味着构成识别对象物911的平行成分的边缘点列923成为平行的视点为从正上方向下观察识别对象物911的视点（俯瞰视点）。

因此，计算从现在的视点使俯仰（pitch）改变到哪一位置才能成为俯瞰视点，也同样计算按设计值设置有摄像机时的、直到成为俯瞰视点为止的俯仰变化量，并取这两个俯仰变化量的差，从而，能够推算偏离设计值的俯仰方向的光轴偏差量。并且，基于该光轴偏差量，能够校准作为外部参数的俯仰的参数。

对于从现在的视点使俯仰改变多少（到哪一位置）才能成为俯瞰视点，通过设计目的函数并使其关于俯仰最优化就能够算出该俯仰变化量。目的函数设为

即可。在此，v_p、v_q是在校正了内部参数的图像中表示近似边缘点列的直线的矢量。C表示图像中的直线的全部组合。其为当使构成图像中的平行成分的边缘点列的近似直线平行时取最小的值的函数。

能够利用有关俯仰的旋转矩阵

以

表示进行了视点变换的情况下的边缘点的坐标（u’、v’）。

在此（u、v）为视点变换前的图像坐标，s为投影于图像平面时的比例因子，A为内部参数矩阵。当用于得到通过最优化得到的俯瞰视点的俯仰角度设为用于根据设计值得到俯瞰视点的俯仰角度设为θ_ohv时，俯仰角度偏离设计值的偏差量Δθ可利用

得到。

但是，此时，也需要考虑车辆的状态。例如，俯仰角也受到伴随制动器或操舵所导致的载荷变化的车辆姿势变化的影响。为了正确地求出稳定状态中的偏差量，需要利用没有这种载荷变化时的摄像数据实施。例如利用从CAN取得制动器或操舵量的信息，并判断是否发生关于伴随制动器或操舵之类的载荷变化的姿势变化的动作之类的机构。

如果存在这样的机构，相反，也能够知道姿势变化量。这能够通过对发生载荷变化的情况和稳定状态各自求出用于得到俯瞰视点的俯仰角度，并计算其差量来实现。上述俯仰角度的偏差量的计算法全部是一个例子而已，也可以利用其它的手段求出。

接着，说明偏转（yaw）的求法。以直线的正交性931为基础推算偏转。关于偏转，也与俯仰的情况同样计算将偏转改变多少才能够成为理想的俯瞰视点。当偏转改变时，图9（a）所示的图像901的水平方向的白线912倾斜，与垂直方向的平行白线913的正交性改变。从理想的俯瞰视点进行拍摄时，如图9（b）的俯瞰图像902所示，这些直线912、913呈正交931的关系。于是，通过最优化方法等求出这些直线912、913互相正交的偏转。

即，计算从现在的视点使偏转改变多少才能成为俯瞰视点，也同样计算按设计值设置有摄像机时的、直到成为俯瞰视点为止的偏转变化量，并取这两个偏转变化量的差，从而，能够推算偏离设计值的偏转方向的光轴偏差量。并且，基于该光轴偏差量，能够校准作为外部参数的偏转的参数。

接着，说明摄像机高度的求法。以互相平行的直线的间隔为基础推算摄像机高度。例如，若为图9所示的识别对象物911时，则设定为各 平行白线913、913的间隔920处于一定的范围。通过调整俯瞰变换时的摄像机高度，能够生成各平行白线913、913的间隔成为一定的值的图像。

因此，例如，以摄像机高度为变量，设定当各直线的间隔成为规定值时变成最小的目的函数，并通过最优化方法求出使目的函数最小化的摄像机高度，从而，能够推算生成理想的俯瞰图的摄像机高度。

目的函数，例如设为

。在此，v_p和v_q假定为表示俯仰校正后的直线的矢量。b₂是俯仰校正后的各直线的第二主成分平均值，v_p·b₂表示v_p的第二主成分平均矢量方向成分。d_pq为以直线p和q的q为基准的第二主成分轴上的差分。N_p、N_q各自表示直线p上的特征点数、直线q上的特征点数。

由此，通过取得推算出的摄像机高度和按设计值设置有摄像机时的摄像机高度的差，能够推算偏离设计值的摄像机高度的偏差量。并且，基于该摄像机高度的偏差量，能够校准作为外部参数的摄像机高度的参数。

接着，利用图10说明滚转角度和平动成分的求法。

图10是说明外部参数（滚转（roll）、平动）的校准方法的图。图10（a）表示将前摄像机的图像变换至俯瞰视点的俯瞰图像，图10（b）表示将右摄像机的图像变换至俯瞰视点的俯瞰图像。在滚转角度和平动成分的校准中，利用通过上述的处理得到的参数所生成的俯瞰图。

车辆1003在前后左右搭载有四个摄像机作为摄像部，说明其中的前摄像机和右摄像机之间进行平动成分的校准的情况。其他摄像机的校正方法也相同。

最后，推算摄像机的滚转和位置（xc、yc、zc）。通过摄像机间的图像位置对位实施摄像机的滚转和位置推算。利用通过上述的手续求出的前摄像机的参数，制作变换至俯瞰视点的俯瞰图像1001。通过将前摄像机的图像变换为假定存在于俯瞰视点的俯瞰摄像机的图像，生成俯瞰图像。俯瞰摄像机的摄像机参数可以与想显示的影像相应地设定为所希望的参数。同样地，右摄像机也变换为从同一俯瞰摄像机观察的 俯瞰视点图像，并取得俯瞰图像1002。即，俯瞰图像1001和1002为从同一视点观察的图像。

如果已校准，则1001和1002的图像不会有偏差。但是，实际上，前后左右摄像机存在来自滚转和设置位置的设计值的误差导致的偏差。于是，以在俯瞰图像1001和俯瞰图像1002的图像中偏差消失的方式，推算滚转和摄像机位置（xc、yc、zc）。为了判断图像的偏差，在俯瞰摄像机图像中设定图像区域1003。该图像区域1003中，以使前、右摄像机的重复的摄像区域中的、作为共同的拍摄对象映照的区域的该区域的摄像机影像一致的方式，校正滚转和摄像机位置（xc、yc、zc）。

可以考虑各种校正方法，例如，以前摄像机的俯瞰影像为基准，以右摄像机的俯瞰影像与前摄像机俯瞰影像一致的方式校正滚转和摄像机位置（xc、yc、zc）。若是该校正方法，则当前摄像机的俯瞰影像显著偏离时，其他的摄像机的滚转和摄像机位置（xc、yc、zc）也会产生偏差，因此，也可以采用其他的校正方法。例如，当已知摄像机的设置位置的偏差较小时，由这些参数的误差导致的俯瞰图的偏差也小，因此，也可以先以只利用滚转使图像尽量一致的方式进行校正，最后对摄像机位置（xc、yc、zc）进行微修正。图像的位置对准中利用如Lucas-Kanade法这样的图像的最优化法。或者，也可以利用从该图像抽取的特征点、边缘直线的方程式等的特征信息，实施位置对准。

两个摄像机间的校正方法如上所述。同样地通过反复进行两个摄像机间的校正，实施四个摄像机的校正。例如，以前摄像机和右摄像机、前摄像机和左摄像机、左右摄像机和后摄像机这样的顺序实施。也可以为其他顺序。另外，也可以设法反复实施等。

图像的位置对准以各摄像机的图像辉度（亮度）或图像的边缘强度等的特征量一致的方式实施。当对各摄像机的平动成分和旋转参数进行微小改变时，俯瞰图像的视觉表现（visual performance）发生变化。通过改变这些参数，直到俯瞰图像一致为止，由此对图像进行位置对准。两个摄像机间（前摄像机和右摄像机）的视觉表现一致的平动和旋转参数成为通过最优化而求出的参数。

设计各摄像机的图像辉度（亮度）或图像的边缘强度一致时成为最小的目的函数，使目的函数最小化，从而实施俯瞰图像一致的参数 推算，即校准。或者，也可以不实施图像本身的位置对准，而以对应的直线的方程式一致的方式进行校正。

具体而言，计算图像中的白线的方程式，以在各图像间对应的白线的方程式一致的方式，实施图像的位置对准。所谓在各图像间对应的白线是指三维空间中的同一白线。通过使各摄像机的平动和旋转参数进行微小改变，使其变化到俯瞰图像一致，从而使白线方程式一致。设计对应的白线方程式一致时成为最小的目的函数，推算最小化的平动/旋转参数，从而实施校准。

根据具有上述构成的车载摄像系统1，只要已知平行性、直线性、间隔，就能够利用该性质对摄像机的内部参数和外部参数两者进行校准。例如，线宽的宽度虽然在某个范围变化，但是人行横道等能够成为用于校准的目标（target）。也就是说，不准备特别的基准标识或车辆用设备，也能够仅以道路标识进行校准。虽然高度的调整与白线的宽度的误差相应地发生变动，但是，不要求严格的位置表示的情况等中，能够期待效果。

但是，如果只能以人行横道进行校准，则能够校准的机会很少。优选仅以简单的行车道（lane）表示用的白线或行驶场景中的直线的结构物也能够进行校准。但是，本方式中仅以一条白线无法进行校准。因此，为了在行驶中设置尽量多的校准的机会，需要一边行驶一边收集信息，制作出校准所需的目标的信息。

于是，表示用于增加行驶中能够进行校准的场景的、上述校准所需的特征信息的获取方法。作为对象，表示行车道的白线等在道路中出现较多，且优选具有直线性和平行性的物体。关于间隔，在结构上能够进行某种程度的规定，并能够利用该间隔信息。但是，如果只拍摄白线一次，就只能得到一组的平行白线。由于进行校准时需要多条白线，因此信息不足。需要不仅在一处而且在别的位置拍摄的白线以及这些白线彼此的距离信息。

在别的位置拍摄的白线例如是能够在车道变更时等拍摄。当车道变更时，白线和车辆的相对位置变化较大，因此，当处于各种相对位置关系时，保存这些多条白线的坐标位置，就能够建立同时对多个白线进行拍摄的状况。对于不同方向的白线，则一边行驶，一边保存例如 停止线的边缘信息即可。虽然无法确保白线间的平行性，但是已能够确保一条白线的上升、下降边缘的平行性，并且由于需要满足其在图像的多处同时成立，因此其作为约束条件成立。例如，通过根据车辆的速度或舵角等计算特征点的移动方向和移动量，能够求出白线间的间隔信息。

如上所述，一边行驶，一边收集校准所需的信息并建立（制作出）目标（target），由此，在行驶当中就能够对内部参数和外部参数进行校正。也就是说，通过在不同的时刻拍摄同一白线并反复进行求出白线间的距离的处理，就能够根据一条白线取得多条平行直线和它们的间隔的信息。例如通过对表示行车道用的白线和停止线实施此处理，就能够构成校准目标。因此，当没有人行横道等适合于校准的识别对象物时，只要有白线等的直线结构物，也能够生成校准所需的特征信息。

下面说明具体的处理。

首先，在行驶中取得图像。将此刻设为时刻t。接着，识别该图像中的白线。将识别的白线的上升、下降边缘一起作为特征点进行抽取。接着，将所抽取的特征点信息存储于存储器中。接着，取得在下一个时刻t+1拍摄的图像。可以任意设定该时刻间隔。对在下一个时刻t+1拍摄的图像也进行白线识别，并将上升、下降边缘作为特征点进行抽取。此时，时刻t+1的特征点的相对位置与时刻t的特征点位置相比较，如果它改变规定的一定量以上，则将特征点存储于存储器中。一定量以上的改变是指，根据车辆的速度或舵角计算车辆的移动量，如果该量为一定量以上，则判断为发生了移动。另外，同时对车辆的移动量和移动方向也进行记录。也可以以被图像识别的特征点坐标为基础实施判断。车辆的移动量在计算校准所需的白线间的距离时利用。

在此，说明特征点间的间隔的测量的方法。将在某时刻t拍摄的特征点设为pt。在时刻t+1拍摄的同一特征点设为pt+1。通常，如果没有摄像机的设置信息等所需的信息就无法判断摄像机所拍摄的这两点的三维距离（实际空间中的距离）。但是，只要有车辆的速度和舵角的信息，就能够求出pt和pt+1的三维距离。这是因为pt和pt+1是从不同的地点拍摄的同一点，因此从摄像机观察的这两点的三维距离为车辆的移动量本身。因此，通过根据车辆的速度和舵角的信息，计算车辆移动的方 向或其大小，就能够求出pt和pt+1的三维距离。根据车辆的速度、舵角等推算车辆的移动量的技术是被称为航位推测法（deadreckoning）的通常使用的技术。

在时刻t+2、t+3反复进行上述的处理。由此收集校准所需的信息。也就是说，将时刻t的特征点坐标、t+1的特征点坐标、t+2的特征点坐标、t+3的特征点坐标、……和在各时刻所拍摄的特征点坐标保持在存储器中，存储信息，从而构成目标所需的信息。此时，在时刻t和时刻t+1拍摄的白线也可以不是同一白线。

实施目标的构成，直到在各摄像机图像中，至少在垂直方向记录两条白线及其间隔信息，在水平方向记录两条白线及其间隔信息。例如，能够利用分别在不同的相对位置拍摄停止线和行驶车道的白线的信息等。该特征点信息分布于畸变大的画面端的部分、畸变小的画面中央部分等，从图像的左端至右端、从上端至下端的广泛区域时，对校准精度的提高贡献更多，因此，优选尽量收集广泛区域的特征点信息。

另外，表示行驶车道的白线为虚线、实线、双重线等线种均可。能够从直线状的结构物抽取边缘即可。另外，也可以利用表示存在人行横道的道路标志等、具有直线成分的道路标识。

以上详述了本发明的实施方式，但是，本发明并不限于上述的实施方式，在请求保护的范围中所记载的不脱离本发明的精神的范围中，能够进行各种设计变更。例如，为了更加容易理解本发明，详细说明了上述的实施方式，但未必局限于具有所说明的全部的结构。另外，能够将某实施方式的结构的一部分替换为另一个实施方式的结构，并且，也能够在某实施方式的结构的中添加另一个实施方式的结构。并且，能够对各实施方式的结构的一部分进行其他结构的添加、删除或替换。

Claims (14)

1.一种校准方法，其为对车辆周围的环境进行图像识别的车载摄像系统的校准方法，该校准方法的特征在于：

通过摄像部在车辆行驶中按规定的时间间隔对车辆周围进行拍摄，

从所拍摄的图像识别预先设定的具有直线部分的识别对象物，从所述图像抽取所述识别对象物的特征点，

从所抽取的特征点中筛选并排除所述摄像部校准中不需要的特征点，

将通过该排除而留下的特征点的信息存储于存储器中，

根据该存储器蓄积的特征点的信息生成校准用所需的目标的信息，

利用该生成的目标的信息，校准所述摄像部的内部参数和外部参数，

在所述内部参数校准时，将所述目标的特征点投影于假想球面，基于形成在该假想球面上的特征点列的形状推算摄像部的内部参数，校准该推算出的内部参数，

在所述外部参数校准时，基于所述目标的特征点，计算从正上方向下观察所述识别对象物的俯瞰视点和所述图像的视点之间的角度，与所述俯瞰视点和设计值之间的角度的差，基于该计算的差值校准所述外部参数。

2.如权利要求1所述的校准方法，其特征在于：

所述目标的信息包括多个直线部分的平行性、正交性和间隔的信息，

在所述外部参数的校准时，基于所述平行性、正交性和间隔的信息，推算所述摄像部的外部参数，校准该推算出的外部参数。

3.如权利要求的2所述的校准方法，其特征在于：

在校准所述外部参数时，基于所述平行性的信息，推算所述摄像部的俯仰角的参数，校准该推算出的俯仰角的参数，

基于所述正交性的信息，推算所述摄像部的偏转角的参数，校准该推算出的偏转角的参数，

基于所述间隔的信息，推算所述摄像部的高度的参数，校准该推算出的高度的参数。

4.如权利要求的3所述的校准方法，其特征在于：

从实际空间将作为所述特征点的直线物体的边缘点列抽取，

从实际空间将作为所述校准不需要的特征点的曲线结构的边缘点列排除。

5.如权利要求4所述的校准方法，其特征在于：

利用多个摄像部，从相互不同的位置对同一识别对象物进行拍摄，

利用将由第一摄像部拍摄的图像的视点变换为所述俯瞰视点而得到的第一图像；和将由第二摄像部拍摄的图像的视点变换为所述俯瞰视点而得到的第二图像，对所述外部参数进行校准。

6.如权利要求5所述的校准方法，其特征在于：

作为所述内部参数，包括所述摄像部的透镜畸变；和光轴中心、单位摄像元件的纵横比、焦距中的至少一个，和/或作为外部参数，包括所述摄像部的三维位置和姿势状态。

7.如权利要求1至6任一所述的校准方法，其特征在于：

取得所述车辆的动作信息，

基于所述车辆的动作信息推算所述特征点的间隔，从而抽取所述特征点。

8.一种车载摄像系统，其对车辆周围的环境进行图像识别，该车载摄像系统的特征在于，包括：

对车辆周围进行拍摄的摄像部；

特征点抽取部，其从通过该摄像部在车辆行驶中按规定的时间间隔拍摄的图像，识别预先设定的具有直线部分的识别对象物，从所述图像抽取所述识别对象物的特征点；

特征点筛选部，从经该特征点抽取部抽取出的特征点中筛选并排除校准所述摄像部不需要的特征点；

存储经该特征点筛选部筛选而留下的特征点的存储器；

从该存储器蓄积的特征点的信息生成校准用所需的目标的信息的目标信息生成部；和

利用该生成的目标的信息，校准摄像部的内部参数和外部参数的内部参数校准部和外部参数校准部；

所述内部参数校准部，其将所述目标的特征点投影于假想球面，基于形成在该假想球面的特征点列的形状推算所述摄像部的内部参数，校准该推算出的该内部参数；

所述外部参数校准部，基于所述目标的特征点，计算从正上方向下观察所述识别对象物的俯瞰视点和所述图像的视点之间的角度，与所述俯瞰视点和设计值之间的角度的差，基于该计算的差值校准所述外部参数。

9.如权利要求8所述的车载摄像系统，其特征在于：

所述目标信息生成部生成的所述目标信息包括多个直线部分的平行性、正交性和间隔的信息，

所述外部参数校准部基于所述平行性、正交性和间隔的信息，推算所述摄像部的外部参数，校准该推算出的外部参数。

10.如权利要求9所述的车载摄像系统，其特征在于：

所述外部参数校准部，基于所述平行性的信息，推算所述摄像部的俯仰角的参数，校准该推算出的俯仰角的参数，基于所述正交性的信息，推算所述摄像部的偏转角的参数，校准该推算出的偏转角的参数，基于所述间隔信息，推算所述摄像部的高度的参数，校准该推算出的高度的参数。

11.如权利要求10所述的车载摄像系统，其特征在于：

所述特征点抽取部是从实际空间抽取直线物体的边缘点列，

所述特征点筛选部是从实际空间排除曲线结构的边缘点列。

12.如权利要求11所述的车载摄像系统，其特征在于：

具有能够从相互不同的位置对同一识别对象物进行拍摄的多个摄像部，

所述外部参数校准部，利用将由第一摄像部拍摄的图像的视点变换为所述俯瞰视点而得到的第一图像、和将由第二摄像部拍摄的图像的视点变换为所述俯瞰视点而得到的第二图像，对所述外部参数进行校准。

13.如权利要求12所述的车载摄像系统，其特征在于：

所述内部参数包括：所述摄像部的透镜畸变；和光轴中心、单位摄像元件的纵横比、焦距中的至少一个，和/或作为外部参数，包括所述摄像部的三维位置和姿势状态。

14.如权利要求8至13中任一所述的车载摄像系统，其特征在于：

具有取得所述车辆的动作信息的车辆动作信息取得部，

所述特征点抽取部，基于所述车辆的动作信息推算所述特征点的间隔，从而抽取所述特征点。