CN101065969A - 摄像机的校正方法及摄像机的校正装置 - Google Patents

Abstract

本发明提供一种摄像机的校正方法，其将包含至少四个点的坐标信息的平面状的校正标志(c1)配置于第一平面(S1)，将在其视野内包含校正标志的摄像机图像的图像面作为第二平面(S2)输入，对存在于第二平面上且与校正标志的规定部位相对应的点(c2)进行特定，基于第一平面和第二平面共同包含的至少四个点的对应关系，计算第一平面和第二平面之间的单应性，从而校正摄像机图像。例如，搭载在车辆上，使用在三维空间中的平面上的配置已知的四个点作为校正标志，并自动地对分别对应的摄像机图像中的四个点建立对应关系。

Description

摄像机的校正方法及摄像机的校正装置

技术领域

本发明涉及摄像机的校正方法及摄像机的校正装置，特别涉及对将三维空间投影于二维图像的摄像机产生的摄像机图像进行校正的摄像机的校正方法及摄像机的校正装置。

背景技术

以往，关于摄像机的校正方法，提出了各种方案，公知的其中之一的方法是，将形状预先已知且具特征的立体物作为校正用的标志而将其置于三维空间上，利用该立体物的特征点在摄像机的图像坐标系中如何被表示从而计算出摄像机参数的方法。

例如，在非专利文献1中公开了使用具有特征的立体物校正标志，计算出11自由度的摄像机参数的方法。其中，为确定摄像机参数，采用的方法是，将具有特征的立体物置于摄像机可摄像的位置，通过几何学计算出立体物在摄像机的图像坐标系中表示在哪个点，由三维空间确定摄像机参数。但是，如此在车辆上安装摄像机后，在进行摄像机校正的方法中，在摄像机是进行校正的对象物安装在车辆上的摄像机的情况下，需要在工厂等的车辆组装生产线上进行校正，但是在此种生产现场中操作性优良就成为条件。在生产现场如果采用放置具有特征的立体物进行校正的方法，则作为校正标志每次都要放置立体物，效率低，并且从防止灾害的观点出发，优选回避在附近放置三维立体物用于校正，并且进行摄像机校正的校正标志优选是如在工厂的地板上描画的图案那样，即使是操作者踩踏也没有问题的标志。

鉴于上述问题，在专利文献1中提出了：即使是在车辆的制造现场等进行摄像机的校正的情况下，也能够以简单的方法进行摄像机的校正的装置及方法，公开了通过将摄像机参数作为可设定的校正标志以能够在画面上的任意的点进行描画，从而在车辆组装生产线上可进行摄像机的校正的方法。

此外，非专利文献2也提出了一种方法，与上述非专利文献1所述的方法同样地，利用具有特征的立体物校正标志，将具有特征的立体物置于摄像机可摄像的位置，通过几何学计算出立体物在摄像机的图像坐标系中表示在哪个点，从而从三维空间确定摄像机参数。

并且，在下述的非专利文献3～5中，公开了作为本发明的基础的图像处理技术等的技术信息，但是关于此，作为本发明的实施方式的说明的一环以后叙述。

非专利文献1：日本特开2001-245326号公报

非专利文献1：Luc Robert著“Camera calibration without FeatureExtraction”Institute National de Recherche en Informatique Automatique、Research Report No.2204、1994年2月发行、1页至21页

非专利文献2：Roger Y.Tsai著“An Efficient and Accurate CameraCalibration Technique for 3D Machine Vision”、Proceedings of IEEEConference on Computer Vision and Pattern Recognition、Miami Beach，FL，1986年发行、364页至374页

非专利文献3：佐藤淳著“电脑影像”、Korona社、2001年10月01日初版第三次印刷发行、22页至41页

非专利文献4：Andrew Zisserman著“Geometric Framework for Vision I：Single View and Two-View Geometry”、[online]、1997年4月16日、[2004年9月3日检索]、Robotics Research Group.University of Oxford.、网址<URL:http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/EPSRC_SSAZ/epsrc_ssaz.html>

非专利文献5：Richard Hartley及Andrew Zisserman著“Multiple ViewGeometry in Computer Vision”、Cambridge University Press.2000年8月发行、11页至16页

但是，在所述专利文献1记载的摄像机的校正方法中，由于前提是除摄像机的外部参数的旋转分量以外，使用已知且预先设定的值，所以该值中残留有公差或误差。因此，直接使用在此被校正的参数，投影变换了的值中残留有误差。并且，即使在非专利文献2中，在图像面与三维路面之间的坐标变换关系中，由于前提为摄像机的内部参数和外部参数通过某些校正方法为已知，所以存在有可能产生与所述的非专利文献1中记载的方法同样的问题。

发明内容

因此，本发明的目的在于提供一种不仅不需要与摄像机的内部参数相关的信息，而且不需要与外部参数相关的信息，而可适当地进行摄像机的校正的摄像机的校正方法。

此外，本发明另外的目的还在于提供一种不仅不需要与摄像机的内部参数相关的信息，而且不需要与外部参数相关的信息，而可以适当地进行摄像机的校正的摄像机的校正装置，进而提供可搭载在车辆上的摄像机的校正装置。

为达成上述的目的，本发明为一种摄像机的校正方法，其对利用将三维空间投影于二维图像的摄像机拍摄的摄像机图像进行校正，该摄像机的校正方法，将包含至少四个点的坐标信息的平面状的校正标志配置于第一平面，将包含所述校正标志的所述摄像机图像的图像面作为第二平面输入，对存在于所述第二平面上且与所述校正标志的规定部位对应的点进行特定，基于所述第一平面和所述第二平面共同包含的所述至少四个点的对应关系，计算所述第一平面和所述第二平面之间的单应性，对摄像机图像进行校正。

在上述摄像机的校正方法中，也可以进一步，在所述第一平面上配置特定的标识及直线图案的至少一种，并作为所述校正标志。此外，也可以在所述第二平面上，使用直线、交点、及直线与交点的组合的至少一个，对与所述校正标志的规定的部位相对应的点进行特定。

并且本发明的摄像机的校正装置，具备：校正标志机构，其将包含至少四个点的坐标信息的平面状的校正标志配置在第一平面上而成；图像输入机构，其将包含所述校正标志的所述摄像机图像的图像面作为第二平面输入；对应点特定机构，其对存在于所述第二平面上且与所述校正标志的规定部位对应的点进行特定；以及单应性运算机构，其基于所述第一平面和所述第二平面共同包含的至少四个点的对应关系，计算所述第一平面和所述第二平面之间的单应性。在该摄像机的校正装置中，所述校正标志机构可以在所述第一平面上配置特定的标识及直线图案的至少一种，并作为所述校正标志。进一步，也可以所述对应点特定机构在所述第二平面上，使用直线、交点、及直线与交点的组合的至少一个，对与所述校正标志的规定的部位相对应的点进行特定。特别地，在车辆上搭载有所述摄像机、所述图像输入机构、所述对应点特定机构、及所述单应性运算机构。

进一步，摄像机的校正装置也可以构成为，具备：校正标志机构，其将包含至少四个点的坐标信息的平面状的校正标志配置在第一平面上而成；显示机构，其将包含所述校正标志的所述摄像机图像的图像面作为第二平面显示；标识显示机构，其在所述显示机构重叠显示规定的标识；调整机构，其使该标识显示机构的位置在由所述摄像机拍摄的图像坐标内变化；对应点特定机构，其通过该调整机构调整所述标识的位置关系，以使所述标识与所述校正标志的规定部位一致，在所述标识与所述校正标志一致时，作为在所述第二平面内的与所述第一平面上的特定部位相对应的点进行特定；以及单应性运算机构，其基于所述第一平面和所述第二平面共同包含的至少四个点的对应关系，计算所述第一平面和所述第二平面之间的单应性。

而且，可以构成为将包含上述标识显示机构的摄像机校正装置搭载在车辆上，并且所述校正标志相对于通过所述车辆中心的主轴左右配置。在此情况下，所述校正标志可以包含以所述车辆为基准的坐标系中的已知的四个点。例如，所述校正标志在所述第一平面上以黑白相间的方格花纹表示所述四个点，或者所述校正标志包含在所述第一平面上在所述四个点设置的光源。进而，所述校正标志包含停泊所述车辆时的停车区划的四角的四个点。

发明效果

如上构成的本发明达到如下效果。即，在上述摄像机的校正方法中，使用在三维空间中的平面上的配置已知的四个点作为校正标志，利用单应性求得两个图像间的四个点的变换关系，所以摄像机的焦距或原点位置等的摄像机的内部参数可以未知，并且搭载摄像机的高度或角度等的摄像机的外部参数也可未知，因此能够由简单的方法实现高精度的校正。

此外，根据上述摄像机的校正装置，使用在三维空间中的平面上的配置已知的四个点作为校正标志，并利用单应性对分别对应的摄像机图像中的四个点建立对应关系，所以即使摄像机的内部参数及外部参数都未知，也能够将摄像机图像中的四个点合适地复原为原三维空间中的平面上的四个点。在此情况下，摄像机的焦距或原点位置等的摄像机的内部参数可以未知，并且作为三维空间中的摄像机的位置及姿势的信息的摄像机的外部参数也可未知，所以摄像机的设置及安装条件被放宽。进一步，上述摄像机的校正装置能够搭载在车辆上，此情况下，使用在三维空间中的平面上的配置已知的四个点作为校正标志，并能够利用对应点特定机构自动地对分别对应的摄像机图像中的四个点建立对应关系，从而能够合适地进行摄像机的校正。

特别地，根据包含上述标识显示机构的摄像机的校正装置，使用在三维空间中的平面上的配置已知的四个点作为校正标志，并利用手动操作对分别对应的摄像机图像中的四个点建立对应关系，从而能够合适地进行摄像机的校正。并且，如果将该校正装置搭载在车辆上，并将校正标志相对于通过车辆中心的主轴左右配置，则能够设定各种形态的校正标记。例如，包含以车辆为基准的坐标系中的已知四个点，且在第一平面上由黑白相间的方格花纹表示该四个点，或者使用在第一平面上在该四个点上设置的光源的形态。进而，还可以为使用了停泊车辆时的停车区划的四角的四个点的形态。

附图说明

图1是表示本发明的一实施方式的摄像机的校正装置的主要结构的框图。

图2是表示本发明的其他实施方式的摄像机的校正装置的主要结构的框图。

图3是表示将本发明的图像处理适用于路面行驶车道检测装置的一实施方式的框图。

图4是表示提供给用于辅助停车的后视摄像机的校正标记的校正用目标配置例的俯视图。

图5是表示提供给前方监视用的摄像机的校正标志的校正用目标的配置例的俯视图。

图6是表示平面的路面的四个点以成为带状线的交点的方式构成的校正用目标部件的俯视图。

图7是表示平面的路面上的四个点以成为黑白相间的方格花纹的方式构成的校正用目标部件的俯视图。

图8是表示平面的路面上的四个点在四个点上埋设了小光源的校正用目标部件。

图9是表示输入开关的结构的一例的电路图。

图10是表示由手动检测与校正用目标上的四个点相当的图像上的位置的状况的图像的主视图。

图11是在将本发明的摄像机的校正装置搭载在车辆上的一实施方式中，表示摄像机图像变形的状况的图像的主视图。

图12是在将本发明的摄像机的校正装置搭载在车辆上的一实施方式中，表示摄像机图像变换为从上空观察的图像，从而检测出停车区划的状况的图像的主视图。

图13是在将本发明的摄像机的校正装置适用在了一般的摄像机图像的校正的实施方式中，表示对于建筑物的图像进行了投影变换的实验结果的说明图。

图14是在将本发明的摄像机的校正装置适用在了一般的摄像机图像的校正的实施方式中，表示对于走廊的壁面的图像进行了投影变换的实验结果的说明图。

图15是在将本发明的摄像机的校正装置适用在了一般的摄像机图像的校正的一实施方式中，表示拍摄了黑白相间的方格花纹的图案的图像变形的状况的图像的主视图。

图16是在将本发明的摄像机的校正装置适用在了一般的摄像机图像的校正的实施方式中，表示对于图15的图像进行了变形补正后，进行了投影变换的实验结果的说明图。

图17是表示一般的摄像机技术中的透视投影的说明图。

图18是表示一般的摄像机技术中的摄像机坐标和世界坐标的关系的说明图。

图19是表示一般的摄像机技术中的平面投影变换的说明图。

图20是表示一般的摄像机技术中的两个平面π及平面П的平面上的点的关系的说明图。

图中：

CM-摄像机；IM-图像输入机构；HM-单应性运算机构；ID-对应点特定机构；DS-显示机构；MK-标识显示机构；AJ-调整机构；SY-同步分离电路；FM-帧存储器；VC-图像处理部。

具体实施方式

以下，参照附图对具有上述结构的本发明的摄像机的校正方法的具体的一种实施方式进行说明。首先，对于作为本发明前提的摄像机技术，参照图17～图20进行说明，然后参照图1及图2说明本发明的实施方式。首先，如图17所示定义摄像机坐标系。即，如非专利文献3中说明的那样，以摄像机的光学中心C为坐标原点，使三维坐标的X轴和Y轴分别与图像面上的x轴及y轴平行，使Z轴相对于光轴l₀平行。将从光学中心C向图像面π垂直地引出的直线l₀称作“光轴”，将光轴与图像面的交点x_c称作“图像中心”。

图17中，在三维空间中具有(X，Y，Z)的坐标的点X＝[X，Y，Z]^T在二维图像上被投影于(x，y)的位置的点x＝[x，y]^T。在此，大写的X等表示三维，小写的x等表示二维。此外“^T”表示转置矩阵。如果焦距设为f＝1，如果将图17的二维图像上的点考虑为三维空间中的点，则其位置为(x，y，1)。从图17明确可知，在该摄像机的投影中，二维图像上的点的x与f的比和三维空间中的点的X与Z的比相等，此外，y与f的比和Y与Z的比相等。因而，在三维空间中的点与其投影像之间，下述[数1]式的关系成立，将此种投影称为“透视投影”。

[数1]

$x=\frac{X}{Z},y=\frac{Y}{Z}$

上述[数1]式的透视投影可以使用齐次坐标如下述[数2]式所示，由矩阵运算的形式表示。

[数2]

$\mathrm{\&lambda;}\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_1\\ X_2\\ X_3\\ X_4\end{array}\right]$

[数2]式中，λ为任意实数，且[数2]式与[数1]式表示相同的投影。并且，[数2]式可以如下述[数3]式那样简化表示。

[数3]

$\mathrm{\&lambda;}\tilde{x}=P_f\tilde{X}$

在上述[数3]式中，Pf如下述的[数4]。

[数4]

$P_f=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]$

但是，在计算机上处理的图像数据，其原点取在何处，或作为像素坐标值的细分方法或纵横比，根据设计可变。即，在计算机上处理的图像数据，基于与物理大小或位置无关的像素单位的像素坐标。因而，在将实际的摄像机模型化的情况下，需要从物理坐标x变换到图像坐标m。该变换是对原点位置对位用的平行移动、纵横的标度的变换及与焦距对应的标度变换进行组合来进行的，并如下所示。

[数5]

$\tilde{m}=A\tilde{x}$

此处，上述[数5]式的前段由[m₁，m₂，m₃]^T表示，且为图像坐标m＝[u，v]^T的齐次坐标，并设定为使下述[数6]式的等价关系成立。即，u＝m₁/m₃，v＝m₂/m₃。

[数6]

$\left[\begin{array}{c}{m}_1\\ m_2\\ m_3\end{array}\right]\&ap;\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

此外，A为将物理坐标x变换为图像坐标m的矩阵，由焦距f、图像中心的坐标(u₀，v₀)、u及v方向的标度因子k_u、k_v及剪切系数k_s，表示如下述[数7]。且，该“剪切系数”是产生保持平行性但不保持直角性这样的变形(剪切变形)的系数。

[数7]

$A=\left[\begin{array}{ccc}{\mathrm{fk}}_u& {\mathrm{fk}}_s& u_0\\ 0& {\mathrm{fk}}_v& v_0\\ 0& 0& 1\end{array}\right]$

通过上述[数3]及[数5]，三维空间中的点X相对于二维图像上的像素m如下述[数8]那样投影。此处，A称作“摄像机校正矩阵”，更详细地说，从上述[数7]明确可知，由于是通过摄像机的内部参数构成的矩阵，所以称作“摄像机的内部参数矩阵”。

[数8]

$\mathrm{\&lambda;}\tilde{m}=A{P}_f\tilde{X}$

接下来，考虑多个摄像机间的关系或即使是同一摄像机在多个位置上移动，或者，在考虑该摄像机与对象物的关系时，可以设定作为基准的坐标系。在此情况下，如图18所示，考虑的摄像机的数量或位置、相对于对象物共同确定的坐标被定义为“世界坐标”。利用三维的旋转R及平移T，如下述[数9]式那样，从该世界坐标(设为X_W)向摄像机坐标X变换。

[数9]

X＝RX_w+T

三维的旋转R及平移T分别由绕X轴旋转、绕Y轴旋转、绕Z轴旋转的旋转θ_x、θ_y、θ_z及X轴方向、Y轴方向、Z轴方向的平移T_X，T_Y，T_Z组成，分别如下述[数10]及[数11]表示。

[数10]

$R=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\&theta;}}_X& -\sin {\mathrm{\&theta;}}_X\\ 0& {\sin \mathrm{\&theta;}}_X& \cos {\mathrm{\&theta;}}_X\end{array}\right]\left[\begin{array}{ccc}{\cos \mathrm{\&theta;}}_Y& 0& \sin {\mathrm{\&theta;}}_Y\\ 0& 1& 0\\ -\sin {\mathrm{\&theta;}}_Y& 0& \cos {\mathrm{\&theta;}}_Y\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\&theta;}}_Z& -\sin {\mathrm{\&theta;}}_Z& 0\\ \sin {\mathrm{\&theta;}}_Z& \cos {\mathrm{\&theta;}}_Z& 0\\ 0& 0& 1\end{array}\right]$

[数11]

$T=\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right]$

所述的[数9]式如果使用齐次坐标则能够由下述[数12]式表示。

[数12]

$\tilde{X}=M{\tilde{X}}_w$

此处，M为组合了旋转R和平移T的4×4矩阵，如下述[数13]。即，M是由相对于世界坐标的姿势(旋转)及位置(平移)确定的矩阵。并且，这些旋转及平移称为“摄像机的外部参数”，与称呼所述A为“摄像机的内部参数矩阵”相对，称呼M为“摄像机的外部参数矩阵”。

[数13]

$M=\left[\begin{array}{cc}R& T\\ O^T& 1\end{array}\right]$

由上述的[数8]及[数12]，在世界坐标系中的三维空间的点X如下那样被投影于二维图像上的点m。

[数14]

$\mathrm{\&lambda;}\tilde{m}=P\tilde{X}$

在上述[数14]式中，P为由下述[数15]表示的3×4矩阵。且在[数14]式中，世界坐标X_W被X置换，但以后对于世界坐标和摄像机坐标不区别标记，都由X表示。

[数15]

P＝AP_fM

 ＝A[R T]

并且，将由上述[数14]式表示的摄像机模型称为“透视摄像机模型”。此外，P称为“透视摄像机矩阵”，由摄像机的内部参数及外部参数构成。因而，只要求得P，就能将其分解为A、R、T。并且，A、R、T都为已知，即，在P是已知的情况下，该摄像机称为“校正完成”，在这些为未知的情况下，称为“摄像机未校正”。因而，将求得A、R、T称为“摄像机的校正”。

在上述的“透视摄像机模型”中，摄像机矩阵P由A、R、T构成，但是，如果由3×4矩阵一般化地表示摄像机矩阵P，则如下述[数16]所述。

[数16]

$\mathrm{\&lambda;}\tilde{m}=P_p\tilde{X}$

上述的P_p是如下述[数17]这样的3×4矩阵。将由如此被一般化了的3×4矩阵表示的摄像机模型称为“投影摄像机模型”，P_p称为“投影摄像机矩阵”。

[数17]

$P_p=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]$

如上述[数17]所示，P_p为3×4矩阵，其要素的个数为12个。但是，上述[数16]式由齐次坐标表示，即使用常数对P_p倍增，也表示完全相同的摄像机模型，因此，其自由度不是12而是11。并且，“透视摄像机”能够由此种“投影摄像机”一般化。

接下来，如图19所示，如果将世界坐标限定在Z＝0的平面上，则能够将上述的3×4矩阵如下述[数18]式那样简化为3×3矩阵，但是该3×3矩阵表示一般的“平面投影变换”(单应性(homography))。

[数18]

$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{p}_{11}& p_{12}& p_{14}\\ p_{21}& p_{22}& p_{24}\\ p_{31}& p_{32}& p_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

此处，在考虑了图20所示的两个平面π和平面П时，在各自的平面上的点x和x′的关系能够如下述[数19]式那样表示。

[数19]

$\left[\begin{array}{c}{x}_1^{\&prime;}\\ x_2^{\&prime;}\\ x_3^{\&prime;}\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$

或者，使用3×3的正则矩阵(但是，行列式不为0)，也能够如下述[数20]那样表示，该H称为单应性。

[数20]

x′＝Hx

并且，上述的[数20]也能够由下述[数21]式那样表示。

[数21]

$x^{\&prime;}=\frac{x_1^{\&prime;}}{x_3^{\&prime;}}=\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}},$ $y^{\&prime;}=\frac{x_2^{\&prime;}}{x_3^{\&prime;}}=\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}}$

进而，在单应性H的要素中，对于在各平面中对应的点，可得到下述的[数22]及[数23]两个线性方程式。其表示平面上的任意的四个点可投影变换到其他的平面上的四个点。

[数22]

x′(h₃₁x+h₃₂y+h₃₃)＝h₁₁x+h₁₂y+h₁₃

[数23]

y′(h₃₁x+h₃₂y+h₃₃)＝h₂₁x+h₂₂y+h₂₃

本发明使用如上述的单应性运算从而进行摄像机的校正，其一种实施方式如图1所示。作为图1中的摄像机CM，只要是将三维空间投影到二维图像的摄像机，哪种形态都可以。在该实施方式中，具备：校正标志机构CL，其将包含至少四个点的坐标信息的平面状的校正标志(以c1为代表表示)配置在第一平面S1上而成；图像输入机构IM，其将在其视野内包含校正标志c1的摄像机图像的图像面作为第二平面S2输入；对应点特定机构ID，其对在第二平面S2上存在且与校正标志c1的规定部位对应的点(以c2为代表表示)进行特定；以及单应性运算机构HM，其基于在第一平面S1与第二平面S2共同包含的至少四点的对应关系，计算第一平面S1与第二平面S2之间的单应性。

关于上述的校正标志，例如在第一平面S1上配置特定的标识及直线图案的至少一种，从而形成校正标志c1，对此参照图6～图8以后叙述。此外，作为对应点特定机构ID，例如在第二平面S2上通过根据直线、交点、及直线与交点的组合的至少一个进行的处理，对与校正标志的规定部位对应的点进行特定，通过该对应点特定机构ID，能够自动地对在第二平面S2上存在且与校正标志c1的规定部位对应的点c2进行特定。而且，对此参照图3以后叙述。

并且，在图1所述的摄像机的校正装置中，只要使用在三维空间中的平面上的配置已知的四点(c1)作为校正标志，利用对应点特定机构ID，通过分别与对应的图像中的四点(c2)建立对应关系，从而即使摄像机的外部参数为未知，也能够将图像中的四点(c2)作为在原三维空间中的平面上的四点(c1)复原。在此情况下，不需要摄像机CM的设置及安装状态，例如摄像机的高度或倾斜角等三维空间中的摄像机的位置及姿势的信息即摄像机的外部参数，这些为未知也可，因此，摄像机CM的设置及安装条件被放宽，并且二维图像上的平面(S2)和三维空间内的平面(S1)之间的变换精度提高。对此，参照图12以后叙述。

本发明的摄像机等也可搭载在移动体上，如图2所示，例如能够将图1的装置原样搭载在车辆VH上。进一步，图2包含了已将摄像机的校正装置搭载在车辆上时的其他的实施方式。即，此处，具备：校正标志机构CL，其将包含至少四个点的坐标信息的平面状的校正标志(以c1为代表表示)配置在第一平面S1上而成；和显示机构DS，如虚线所示，其将在其视野内包含校正标志(c1)的摄像机图像的图像面作为第二平面S2′显示，并且还具备：标识显示机构MK，其在该显示机构DS重叠显示至少四点的规定的标识(以m1为代表表示)；以及调整机构AJ，其使该标识显示机构MK的位置在由摄像机CM拍摄的图像坐标内变化。在此情况下，利用调整机构AJ调整标识的位置关系，使得标识m1与校正指标(c1)的规定部位一致，在标识m1已经与校正指标(c1)一致时，由对应点特定机构ID，作为在第二平面S2′内的与第一平面S1上的特定部位(c1)对应的点(标识m1)而特定，在单应性运算机构HM中，基于在第一平面S1和第二平面S2′共同包含的至少四点的对应关系，对第一平面S1和第二平面S2′之间的单应性进行运算。由此，通过手动操作调整机构AJ，能够对在第二平面S2′内的与第一平面S1上的特定部位(c1)对应的点(标识m1)进行特定。关于这些具体的方式，参照图9及图10以后叙述。

进一步，将上述的摄像机的校正装置搭载在车辆上，例如，能够适用于用于把握车辆周边的状况的图像显示系统、识别道路的系统、检测障碍物的系统等，作为一例，图3表示适用在路面行驶车道检测装置的具体的构成例。在本实施方式中，在未图示的车辆的前方或后方安装有摄像机CM(例如CCD摄像机)，连续地对包括路面的车辆前方的视野进行摄像。摄像机CM的图像信号经由图像输入缓存器电路VB、同步分离电路SY而被A/D变换，并存储在帧存储器FM中。存储在该帧存储器FM中的图像数据在图像处理部VC被处理。图像处理部VC由图像数据控制部VP、变形补正部CP、对应点特定部SP、单应性运算部HP及识别处理部LP构成。

在图像处理部VC中，从帧存储器FM内的图像数据，由图像数据控制部VP读出指定了地址的数据，送到变形补正部CP，并在此进行变形补正处理。在如此被变形补正了的图像上，利用对应点特定部SP，在预先设定的称为ROI(Region of Interest)的窗口(关心区域)中，检测出与起到作为所述校正标志的作用的校正用目标的坐标点对应的位置。

校正用目标，例如图5所示配置在已知的位置，因为摄像机在规定的公差内搭载，所以校正用目标在图像上的位置大致确定。因而，以基于公差的平均值的图像上的位置为基准，考虑公差的范围和用于图像处理的余地(margin)，设定ROI的位置和尺寸。

并且，为检测校正用目标(图像上的对应点)，也可以使用角(corner)检测器(未图示)。作为角检测器，可以利用在图像处理领域众所周知的检测器(例如，Tomasi-Kanade检测器、哈利斯检测器(ハリス検出器)等)。

接下来，在单应性运算部HP中，如下述的[表1]所示，对于校正用目标的各四点，建立图像坐标和路面坐标的对应关系，该结果适用于所述[数19]式，从而计算单应性H。由此，一旦单应性H被确定，即使是下述的四点以外的任意坐标都可变换。

[表1]

目标号码	1	2	3	4
					图像坐标	(x1，y1)	(x2，y2)	(x3，y3)	(x4，y4)
路面坐标	(X1，Y1)	(X2，Y2)	(X3，Y3)	(X4，Y4)

并且，在识别处理部LP中，例如选择大致直线作为车道边界的位置，从而识别为道路边界线，即，对行驶车道的边界线进行特定，通过描画部DP及显示控制器DC输出图像信号，但是这些处理与本发明不直接相关，所以省略详细的说明。

接下来，作为校正标志的例子，图4表示对用于辅助停车的后视摄像机(back monitor camera)CMr的校正标志提供的校正用目标(以CTr为代表表示)的配置例。此外，图5表示对前方监视用的摄像机CMf的校正标志提供的校正用目标(以CTf为代表表示)的配置例。这些校正用目标CTf或者CTr的配置及其尺寸被设定成：根据拍摄它们的摄像机的分辨率或读取摄像机图像的图像存储器的分辨率，由于图像上的校正用目标的像的大小改变，所以能容易地在图像上检测、确认。

校正用目标CTf或者CTr在本实施方式中，相对于通过车辆中心的主轴(图4及图5的单点划线所示)左右对称地配置。这些校正用目标的配置，原理上只要四点已知，可以是矩形(正方形、长方形)、梯形等任意形状，不一定必须要相对于通过车辆的中心的主轴左右对称，在图4及图5中，考虑到易于理解性或易于操作性，及为简化说明而设为矩形。但是，必要的是校正用目标的四点已知，即，正确地知道以车辆为基准的坐标系中的校正用目标的四点的坐标。不过，在采用与本车的相对位置关系不成问题的用法的情况下，例如，表示路面的俯视图像，但此时，在不需要表示本车所处位置的情况下，只要正确知道四点的坐标即可，不需要知道本车和校正标志之间的位置关系。

而且，实际中使用图6～图8所示的校正用目标部件。在图6中，平面的路面RS上的四点构成为带状线的交点CTc。在图7中，平面的路面RS上的四点构成为黑白相间的方格花纹CTd。进而，在图8中，在平面的路面RS上的四点埋设有小光源(例如LED光源)CTe。不过，这些是从在摄像机图像中容易特定具有三维已知的坐标信息的位置的坐标的观点出发进行选择的，只要在摄像机图像中容易特定，也可以使用其它的校正用目标部件。

此外，在图3中，为检测校正用目标(图像上的对应点)，说明了可以使用角检测器(未图示)，但是在使用采用图6那样的带状线的校正用目标的情况下，可以检测水平及垂直的边界线，并求得其交点坐标。此外，在使用如图8所示的在平面内埋设的小光源CTe的情况下，也可以检测图像上的明亮区域，并求得其重心。

在上述图3的结构中，为自动地检测与校正用目标上的四点相当的图像上的位置的方法，但是，也可以通过手动检测。例如，有种方式是使在画面上显示的光标与校正用目标的位置一致，并读取该坐标，图10表示其一个例子。此处形成的结构是，利用在被变形补正后的图像中显示的停车区划白线的四角的点。并且，通过如图9所示的输入开关SW的操作，在画面上移动光标(没有图示)。作为该输入开关SW，如专利文献1所述，具有A～C的按钮，例如，可以利用A按钮改变光标的移动方向，利用B和C按钮，相对于光标的移动方向向顺向或逆向以规定的小步使光标上下、左右移动(并且，FCS1及FCS2为信号端子，GND为接地端子)。并且，例如，将来自图3所示的显示控制器DC的输出图像信号显示在监视显示器(未图示)上，从而能够一边观察该显示器一边使光标的位置移动。

并且，在图10中，虽然使用已被变形补正后的图像(因而，图10的上下的点描部分不是摄像机图像)，但并不限于此。即，变形补正系数已知，为求得变形补正后的坐标，使在画面上显示的光标与校正用目标的位置一致，在读取该坐标时使用的图像也可以是如图11所示那样的没有进行变形补正的原始图像。

并且，从图10所示那样进行了变形补正后的图像，如图12的上侧所示，检测出停车区划的四角的四个点，如果为使该等四个点与原停车区划的形状一致，而利用所述的单应性H进行变换，则如图12的下侧所示，复原到原长方形的停车区划。

接下来，表示通过所述的单应性H进行变换的其他的实验例。图13的左侧的图像为从倾斜方向拍摄建筑物的图像，在该图像中，原为长方形的四个点，如图13的右侧所示，进行投影变换后以复原到原来的长方形。该实验使用在非专利文献5的第14页记载的内容，图13表示将实际的图像线化地进行简化，点描部分不是实际的图像。从图13可以理解，建筑物的窗户原为矩形，从图像中取得窗框的四个点，并将其进行变换以复原到长方形。

同样地，图14表示使用在非专利文献5中记载的图像进行实验的例子。如图14的上侧所示，在具有内行的图像中，从倾斜方向拍摄的图像中的走廊右侧的壁面上，原为长方形的四个点，如图14的下侧所示，进行投影变换后以复原到原来的长方形。

此外，图15及图16图示了其他的实验例，拍摄由已知尺寸的正方形的集合制作的黑白相间的方格花纹的图案，在对图15的摄像机图像进行了变形修正后，进行投影变换。即使在图16中，原为长方形的四个点，如图16的下侧所示，复原为长方形。在上述的各实验中，无论哪个都使用了所述的单应性进行运算，是基于可以将图像中的任意四个点变换到其他的图像中的任意四个点的原理，摄像机的外部参数一概不需要，因而，不使用外部参数。即，在进行摄像机的校正时，不需要校正摄像机的外部参数。

如以上所述，若内部参数为未知(设为正对图像的变形进行补正)，只要使用在三维空间中的平面上的配置已知的任意四个点作为校正标志，则通过所述那样手动或自动地对分别对应的摄像机图像中的四个点建立对应关系，则即使摄像机的外部参数为未知，也能够将摄像机图像中的四个点复原为原三维空间中的平面上的四个点。在此情况下，不需要摄像机的设置及安装状态、例如摄像机的高度或倾斜角等三维空间中的摄像机的位置及姿势的信息即摄像机的外部参数R和T，因为这些为未知也可，所以放宽摄像机的设置及安装条件，并且二维图像上的平面和三维空间内的平面之间的变换精度得到提高。

并且，本发明不限定于搭载在上述的车辆等的移动体上的装置，也能够适用于使用摄像机图像的各种装置，并能够高精度地进行摄像机的校正。

Claims (13)

1.一种摄像机的校正方法，其对利用将三维空间投影于二维图像的摄像机拍摄的摄像机图像进行校正，

该摄像机的校正方法的特征在于，

将包含至少四个点的坐标信息的平面状的校正标志配置于第一平面，将包含所述校正标志的所述摄像机图像的图像面作为第二平面输入，对存在于所述第二平面上且与所述校正标志的规定部位对应的点进行特定，基于所述第一平面和所述第二平面共同包含的所述至少四个点的对应关系，计算所述第一平面和所述第二平面之间的单应性，对摄像机图像进行校正。

2.如权利要求1所述的摄像机的校正方法，其特征在于，

在所述第一平面上配置特定的标识及直线图案的至少一种，并作为所述校正标志。

3.如权利要求1所述的摄像机的校正方法，其特征在于，

在所述第二平面上，使用直线、交点、及直线与交点的组合的至少一个，对与所述校正标志的规定的部位相对应的点进行特定。

4.一种摄像机的校正装置，其对利用将三维空间投影于二维图像的摄像机拍摄的摄像机图像进行校正，

该摄像机的校正装置的特征在于，具备：

校正标志机构，其将包含至少四个点的坐标信息的平面状的校正标志配置在第一平面上而成；

图像输入机构，其将包含所述校正标志的所述摄像机图像的图像面作为第二平面输入；

对应点特定机构，其对存在于所述第二平面上且与所述校正标志的规定部位对应的点进行特定；以及

单应性运算机构，其基于所述第一平面和所述第二平面共同包含的至少四个点的对应关系，计算所述第一平面和所述第二平面之间的单应性。

5.如权利要求4所述的摄像机的校正装置，其特征在于，

所述校正标志机构在所述第一平面上配置特定的标识及直线图案的至少一种，并作为所述校正标志。

6.如权利要求4所述的摄像机的校正装置，其特征在于，

所述对应点特定机构在所述第二平面上，使用直线、交点、及直线与交点的组合的至少一个，对与所述校正标志的规定的部位相对应的点进行特定。

7.如权利要求4所述的摄像机的校正装置，其特征在于，

在车辆上搭载有所述摄像机、所述图像输入机构、所述对应点特定机构、及所述单应性运算机构。

8.一种摄像机的校正装置，其对利用将三维空间投影于二维图像的摄像机拍摄的摄像机图像进行校正，

该摄像机的校正装置的特征在于，具备：

校正标志机构，其将包含至少四个点的坐标信息的平面状的校正标志配置在第一平面上而成；

显示机构，其将包含所述校正标志的所述摄像机图像的图像面作为第二平面显示；

标识显示机构，其在所述显示机构重叠显示规定的标识；

调整机构，其使该标识显示机构的位置在由所述摄像机拍摄的图像坐标内变化；

对应点特定机构，其通过该调整机构调整所述标识的位置关系，以使所述标识与所述校正标志的规定部位一致，在所述标识与所述校正标志一致时，作为在所述第二平面内的与所述第一平面上的特定部位相对应的点进行特定；以及

单应性运算机构，其基于所述第一平面和所述第二平面共同包含的至少四个点的对应关系，计算所述第一平面和所述第二平面之间的单应性。

9.如权利要求8所述的摄像机的校正装置，其特征在于，

所述摄像机搭载在车辆上形成，且所述校正标志相对于通过所述车辆中心的主轴左右配置。

10.如权利要求9所述的摄像机的校正装置，其特征在于，

所述校正标志包含以所述车辆为基准的坐标系中的已知的四个点。

11.如权利要求10所述的摄像机的校正装置，其特征在于，

所述校正标志在所述第一平面上以黑白相间的方格花纹表示所述四个点。

12.如权利要求10所述的摄像机的校正装置，其特征在于，

所述校正标志包含在所述第一平面上在所述四个点设置的光源。

13.如权利要求9所述的摄像机的校正装置，其特征在于，

所述校正标志包含停泊所述车辆时的停车区划的四角的四个点。

Images