CN101236655B - 摄像机校正装置以及方法和车辆 - Google Patents

Abstract

本发明提供一种摄像机校正装置，具有求出用于把摄像机的摄影图像投影到规定面上的参数的参数导出机构，其特征在于，所述参数导出机构，根据来自所述摄像机的校正用摄影图像，求出所述参数，所述校正用摄影图像，包含配置在所述摄像机的摄影区域内的彼此不同的位置的、形状已知的多个校正图案。

Description

摄像机校正装置以及方法和车辆

技术领域

本发明涉及摄像机校正装置以及方法，其实现了用于把摄像机的摄影图像投影到规定面上所必要的校正处理。此外，涉及利用它们的车辆。

背景技术

伴随着近年的安全意识的提高，常常在汽车等车辆中搭载摄像机(车载摄像机)。特别是支援车辆后方的安全确认的后摄像机的准备正在盛行。该后摄像机的摄影图像在形成汽车导航的显示装置中显示，为了避免车辆和车辆后方的障碍物的碰撞而被利用。

为了避免这样的碰撞，重要的是驾驶员正确地把握车体和障碍物的距离。可是，通常向斜下设置后摄像机，所以原封不动显示该摄影图像时，难以正确把握距离。因此，已经提案了如下的技术：即通过对摄影图像进行坐标变换(换言之，图像变换)，生成从地面的上方观察的鸟瞰图并显示。

作为这样的坐标变换的手法，周知有使用透视投影变换的手法和平面射影变换的手法。无论使用哪种手法，为了以高精度进行坐标变换，有必要适当调整坐标变换用的变换参数。

在透视投影变换中，根据摄像机的安装角度和摄像机的设置高度等摄像机外部信息和摄像机的焦距(或者视场角)等摄像机内部信息，计算用于把摄影图像投影到设定平面(路面等)上的变换参数。因此，为了以高精度进行坐标变换，有必要正确把握摄像机外部信息。常常事先设计摄像机的安装角度或摄像机的设置高度等，但是在这些设计值与实际在车辆中设置时的它们之间，会产生误差，所以常常难以计测或者推测正确的变换参数。

在平面射影变换中，进行如下那样的校正作业：即在摄影区域内配置校正图案，根据拍摄的校正图案，求出表示拍摄图像的坐标(二维摄像机坐标)和变换图像的坐标(二维世界坐标)的对应关系的变换矩阵。该变换矩阵一般称作同形(ホモダラフィ)矩阵。根据平面射影变换，不需要摄像机外部信息或摄像机内部信息，此外，根据实际拍摄的校正图案，指定摄影图像和变换图像之间的对应坐标，所以不受摄像机的设置误差的影响(或者，难以受到)。

在使用平面射影变换时的校正作业中，通常在摄影区域全体配置校正图案，设定校正图案中包含的特征点的坐标值。图12(a)的符号300表示该校正作业时的摄像机的摄影图像。在与摄影图像300对应的例子中，在摄影区域全体配置包含坐标值为已知的4以上的特征点的方格花纹的校正图案。摄影图像300的点301～304是摄影图像300上的4个特征点。

然后，求出把这4个特征点在变换图像上变换到所希望的位置的同形(水モダラフィ)矩阵。图12(b)的符号310表示使用该同形矩阵进行坐标变换的变换图像(变换后的图像)。变换图像310的点301～304是变换图像310上的4个特征点。在变换图像310上，从地面的上方观察地没有变形地描写市松花纹。

可是，在这样的手法中，有必要定义覆盖摄影区域全体的坐标系，所以必须设置上述那样的大的校正图案。即在校正环境的配备上花费很多工夫，校正作业全体的负担增大。通常，设置在乘用车的后方的后摄像机以支援宽视野的安全确认的目的设置，所以常常是广角，由它拍摄的路面的范围变为4m×5m左右。在校正作业时，有必要准备具有4m×5m左右的尺寸的校正图案，并且有必要占有用于设置校正图案的地方。此外，在求出同形矩阵时，有必要设定校正图案中包含的特征点的坐标值。为了提高校正作业的效率，要求更简便的校正方法。

为了简化校正环境的配备，考虑使用在摄影区域的一部分配置的校正图案，计算变换参数(同形矩阵)的手法。即如图13(a)的摄影图像320所示，在摄影区域内的限制的小区域内配置4个特征点321～324，使用这4个特征点321～324，取得变换图像。为了便于说明，拍摄与图12(a)的摄影图像300的市松花纹相同的风景，但是在图13(a)所示的例子中，连接4个特征点321～324的小的四边形被捕捉为校正图案。

图13(b)的符号330表示由该手法取得的变换图像。使用校正时指定的4个特征点321～324，计算变换参数(同形矩阵)，在校正图案的周边，坐标变换的精度比较好，但是随着远离校正图案，设定的坐标值相对于4个特征点321～324的误差的影响增大，坐标变换的精度变差。

另外，也提出了使用在多个位置拍摄的图像，对基于平面射影变换的变换参数进行调整的手法。可是，在该手法中，有必要在多个图像之间设定公共的坐标(二维世界坐标)系，所以未解决在校正环境的配备上花费工夫的问题。

发明内容

本发明所涉及的第一摄像机校正装置，具有参数导出机构，所述参数导出机构求算用于把摄像机的摄影图像投影到规定面上的参数，其特征在于，所述参数导出机构根据来自所述摄像机的校正用摄影图像，求出所述参数，所述校正用摄影图像，包含：配置在所述摄像机的摄影区域内的相互不同的位置的、形状已知的多个校正图案。

具体而言，例如，所述多个校正图案，包含第一校正图案和第二校正图案；所述参数导出机构，基于所述校正用摄影图像上的所述第一校正图案的坐标信息和关于所述第一校正图案的形状的第一已知信息求出初始参数后，使用所述初始参数对所述校正用摄影图像上的所述校正图案进行坐标变换，根据该坐标变换后的所述第二校正图案的形状和与该形状相关的第二已知信息，调整所述初始参数，经过该调整，最终求出所述参数。

此外，所述第一校正图案至少包含4点的特征点，所述第一已知信息确定所述4点的特征点之间的相对位置关系。

本发明的第二摄像机校正装置，具有求算用于把摄像机的摄影图像投影到规定面上的参数的参数导出机构，其特征在于，所述参数导出机构，根据来自所述摄像机的校正用摄影图像，求出所述参数，所述校正用摄影图像，包含配置在所述摄像机的摄影区域内的、形状已知的校正图案，所述参数导出机构使用基于预先设定的信息的初始参数，对所述校正用摄影图像上的所述校正图案进行坐标变换，并根据该坐标变换后的所述校正图案的形状和关于该形状的已知信息，调整所述初始参数，经过该调整，最终求出所述参数。

本发明的车辆设置摄像机和图像处理装置，所述图像处理装置包含上述任何一项所记载的摄像机校正装置。

本发明的第一摄像机校正方法，求出用于把摄像机的摄影图像投影到规定面上的参数，其特征在于，  具有：参数导出步骤，其中根据来自所述摄像机的校正用摄影图像求出所述参数，在所述校正用摄影图像中包含配置在所述摄像机的摄影区域内的相互不同的位置的、形状已知的多个校正图案。

本发明的第二摄像机校正方法，求出用于把摄像机的摄影图像投影到规定面上的参数，其特征在于，具有：参数导出步骤，其中根据来自所述摄像机的校正用摄影图像，求出所述参数，在所述校正用摄影图像中包含有配置在所述摄像机的摄影区域内的、形状已知的校正图案，所述参数导出步骤，具有使用基于预先设定的信息的初始参数，对所述校正用摄影图像上的所述校正图案进行坐标变换，根据该坐标变换后的所述校正图案的形状和关于该形状的已知信息，调整所述初始参数的参数调整步骤，并经过该调整，最终求出所述参数。

本发明的意义乃至效果根据以下表示的实施方式所涉及的说明，变得更清楚。可是，以下的实施方式，不过是本发明的一个实施方式，本发明乃至各构成要件的用语的意义并不局限于以下的实施方式中记载的。

附图说明

图1是本发明实施方式所涉及的、从上方观察设置摄像机的车辆的图。

图2是本发明实施方式所涉及的视场支援系统的构成框图。

图3是表示本发明第1实施例所涉及的变换参数校正处理的步骤的程序流程图。

图4(a)～(c)是表示按照图3的变换参数校正处理，进行校正的样子的图。

图5是本发明第1实施例所涉及的、表示变换图像上的实际的校正图案的形状和变换图像上的理想的校正图案的形状的误差的图。

图6是表示本发明第2实施例所涉及的变换参数校正处理的步骤的流程图。

图7(a)和(b)是表示摄像机相对于图1的车辆的设置误差(旋转部分)的图。

图8(a)和(b)是用于说明本发明第2实施例的旋转校正的图。

图9是表示本发明的第3实施例所涉及的变换参数校正处理的步骤的流程图。

图10是从侧面观察图1的车辆的图，是表示摄像机相对于该车辆的安装状态的图。

图11是从上方观察描绘校正图案的校正板的图。

图12(a)和(b)是用于说明基于以往的平面射影变换的校正手法的问题的图。

图13(a)和(b)是用于说明基于以往的平面射影变换的校正手法的问题的图。

具体实施方式

以下，对于本发明的实施方式参照附图，具体进行说明。在参照的各图中，对相同的部分付与相同的符号，作为原则，省略关于相同的部分的重复的说明。以后说明第1实施例～3，但是首先，说明各实施方式中公共的事项或各实施方式中参照的事项。

图1是从上方观察汽车即车辆100的图。在车辆100的后部，设置作为摄像装置的摄像机1。在车辆100的后方一侧具有视野地把摄像机1设置在车辆100上。为了避免车辆100与障碍物等碰撞而设置这样的摄像机1。因此，通常在摄像机1的视野中也包含车辆100的一部分。在图1的例子中，在摄像机1的视野中包含设置在车辆100的车体后端的保险杆101。另外，作为车辆100，列举普通乘用车，但是车辆100也可以是普通乘用车以外(卡车)。

付与符号110的虚线扇形区域表示摄像机1的摄影区域。符号A1、A2和A3分别是摄像机1摄影区域内，并且配置在地面上的平面状(二维的)校正图案。校正图案A1～A3在进行摄像机1的校正时使用(后面描述细节)。另外，在以下的说明中，地面位于水平面上，“高度”表示以地面为基准的高度。

图2表示本发明实施方式所涉及的视场支援系统的构成框图。摄像机1进行摄影，把表示由摄影取得的图像(以下，也称作摄影图像)的信号发送给图像处理装置2。图像处理装置2把摄影图像通过视点变换，变换为鸟瞰图图像。可是，对于作为鸟瞰图图像的基础的摄影图像，实施透镜变形校正等图像处理，把该图像处理后的摄影图像变换为鸟瞰图图像。显示装置3把该鸟瞰图图像作为图像而显示。

鸟瞰图图像是把实际的摄像机1的摄影图像变换为从虚拟摄像机的视点(虚拟视点)观察的图像。更具体而言，鸟瞰图图像，是把实际的摄像机1的摄影图像变换为在铅直方向俯视地面的图像。这种图像变换一般也称作视点变换。通过显示这样的鸟瞰图图像，支援驾驶员的车辆后方的视场，车辆后方的安全确认变得容易。

作为摄像机1，例如使用应用CCD(Charge Coupled Devices)的摄像机、使用CMOS(Complementary Metal Oxide Semiconductor)摄像传感器的摄像机。图像处理装置2由集成电路形成。显示装置3由液晶显示面板形成。也可以把汽车导航系统等中包含的显示装置作为视场支援系统的显示装置3挪用。此外，图像处理装置2能作为汽车导航系统的一部分嵌入。图像处理装置2和显示装置3设置在车辆100的驾驶席附近。

为了支援宽视野的安全确认，摄像机1的视场角成为广角。因此，摄像机1的摄影区域具有例如4m×5m(米)左右的尺寸。在图1的例子中，使用3个比该摄影区域的尺寸更小的校正图案(A1～A3)。

校正图案A1～A3分别具有正方形形状，该正方形的一边的长度为1m左右。校正图案A1～A3没必要一定是全部相同的图案，为了便于说明，它们的形状为全部相同。这里的形状是也包含尺寸的概念。因此，校正图案A1～A3全部相同。在鸟瞰图图像上，各校正图案的形状理想上应该成为正方形。

各校正图案是正方形形状，所以具有4个特征点。在现在的例子的时候，4个特征点相对于形成正方形的4个顶点。图像处理装置2预先把各校正图案的形状作为已知信息识别。根据该已知信息，确定后面描述的变换图像上(实际空间上的)理想的校正图案(A1、A2或A3)的4个特征点之间的相对的位置关系。

校正图案的形状意味着通过连接该校正图案中包含的特征点，形成的图形的形状。例如，具有正方形形状的3个校正板为3个校正图案A1～A3，各校正板的4个角作为各校正图案的4个特征点处理。或者，例如，准备描画校正图案A1的校正板、描画校正图案A2的校正板、描画校正图案A3的校正板。这时，校正板自身的外形与校正图案的外形不一致。作为例子，图11表示描画校正图案A1的正方形的校正板200的平面图。校正板200成为白底，在校正板200的4角分别描画2个在1顶点彼此连接的涂黑的正方形。然后，校正板200的4角的2个涂黑的正方形的连接部分211～214相当于校正图案A1的特征点。

通过恰当选择校正板自身的颜色或者校正板上描画的花纹的颜色，摄像机1(和图像处理装置2)能明确地与路面等区别校正图案的各特征点。可是，在本实施方式中，以下，为了便于图示和说明，忽略校正板的存在，只着眼于校正图案。

各校正图案配置为纳入摄像机1的摄影区域内，但是其它配置的方法是自由的。即各校正图案的摄影区域内的配置位置是任意的，此外，不同的校正图案之间的位置关系也是任意的。可是，各校正图案配置在摄影区域内的彼此不同的位置。此外，以各校正图案不重叠的方式，彼此分离配置校正图案。从参照图13(a)和(b)说明的以往技术的问题的发生理由和后面描述的说明也能理解，但是为了提高校正的精度，跨某种程度宽的区域，分散配置3个校正图案。

为了生成鸟瞰图图像，用于把摄影图像变换为鸟瞰图图像的变换参数成为必要。图像处理装置2为例取得适当的鸟瞰图图像，即在鸟瞰图图像上，各校正图案的形状成为正方形(或者大致正方形)地校正变换参数，使用校正后的变换参数，把摄影图像变换为鸟瞰图图像。作为关于该校正处理的实施方式，以下，列举第1～第3实施例。

<第1实施例>

首先，说明第1实施例。图3是表示第1实施例的变换参数校正处理的步骤的程序流程图。步骤S1的处理由摄像机1(和图像处理装置2)实现，步骤S2～S5的各处理由图像处理装置2实现。

首先，在步骤S1中，在上述的摄影区域内配置校正图案A1～A3的状态下，使摄像机1进行摄影，取得摄影图像。把该摄影图像称作校正用摄影图像。在图4(a)中，符号121表示校正用摄影图像。此外，在图4(a)～(c)中，在图像上出现保险杆101的一部分。

接着，在步骤S2中，进行初始校正。在初始校正中，使用校正用摄影图像中包含的3个校正图案A1～A3中的任意一个校正图案，进行平面射影变换，计算相当于最终应该求出的变换参数的初始值的初始参数。该初始参数是用于取得鸟瞰图图像的同形矩阵的初始值。在计算初始参数时，使用哪个校正图案是任意的，但是现在使用位于中央的校正图案A1。

说明步骤S2的处理。把使用同形矩阵，对校正用摄影图像进行坐标变换(图像变换)，取得的图像称作校正用变换图像。在步骤S2中，把校正用摄影图像和校正用变换图像分别作为原图像和变换图像捕捉。用(x，y)表示原图像上的各点的坐标，用(X，Y)表示变换图像上的各点的坐标。使用同形矩阵H，如以下表达式(1)那样表示原图像上的坐标(x，y)和变换图像上的坐标(X，Y)的关系。同形矩阵H是3行3列的矩阵，用h₁～h₉表示该矩阵的各要素。h₉＝1(以h₉＝1的方式把矩阵标准化)。此外，从表达式(1)，坐标(x，y)和坐标(X，Y)的关系也能由以下表达式(2a)和(2b)表示。

$\left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)=H\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)...\left(1\right)$

$=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

$X=\frac{h_{1}x+h_{2}y+h_3}{h_{7}x+h_{8}y+h_9}...\left(2a\right)$

$Y=\frac{h_{4}x+h_{5}y+h_6}{h_{7}x+h_{8}y+h_9}...\left(2b\right)$

在步骤S2中，图像处理装置2对原图像进行边缘检测处理等，由此确定原图像上的校正图案A1的4个特征点的坐标值。确定的4个坐标值为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)。此外，按照预先识别的已知信息，确定变换图像上的校正图案A1的4个特征点的坐标值。确定的4个坐标值为(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)、(X₄，Y₄)。校正图案A1的形状是正方形，所以能把坐标值(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)、(X₄，Y₄)定义为(0，0)、(1，0)、(0，1)、(1，1)。

如果在原图像和变换图像之间知道4点的坐标值对应关系，则唯一决定同形矩阵。作为根据原图像和变换图像之间的4点的坐标值对应关系，求出同形矩阵(射影变换矩阵)的手法，使用众所周知的手法。例如，可以使用特开2004-342067号公报中记载的手法(特别是参照该公报的段落“0059”～“0069”)中记载的手法。即，以原图像上的坐标值(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)分别变换为变换图像上的坐标值(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)、(X₄，Y₄)的方式，求出同形矩阵H的要素h₁～h₈。实际上，以该变换的误差(特开2004-342067号公报的评价函数)最小化的方式，求出要素h₁～h₈。具有这里求出的要素h₁～h₈(h₉)的同形矩阵H是在步骤S2中应该求出的初始参数。

一旦，如果求出同形矩阵H，就按照所述表达式(2a)和(2b)，能把原图像上的任意的点变换为变换图像上的点。在图4(b)中，符号122表示步骤S2中的初始校正之后的变换图像(即使用初始参数变换的变换图像)。在该变换图像122中，位于中央的校正图案A1的形状成为正方形，但是通常，由于误差(坐标值指定误差)的原因，位于左右的校正图案A2和A3的形状不成为正方形。

在初始参数的计算后，评价变换图像上的实际的各校正图案的形状和理想的各校正图案的形状之间的误差，通过重复计算，以该误差最小化的方式进行变换参数的调整。

具体而言，在步骤S3中，首先，计算表示变换图像上的实际的各校正图案的形状和变换图像上的理想的各校正图案的形状之间的误差的误差评价值D。

参照图5，说明误差评价值D的计算方法。在图5中，付与符号140的正方形表示变换图像上的理想的校正图案(A1、A2或者A3)的形状。而付与符号150的四边形表示变换图像上的实际的校正图案(A1、A2或者A3)的形状。即四边形150表示使用同形矩阵，对校正用摄影图像上的校正图案进行坐标变换，取得的坐标变换后的校正图案的形状。如上所述，正方形140的形状对于图像处理装置2是已知的。

在图5中，符号141～144表示正方形140的4个顶点，符号151～154表示四边形150的4个顶点。按照所述表达式(2a)和(2b)，把原图像上的校正图案的各顶点(即各特征点)的坐标(x，y)变换为变换图像上的坐标(X，Y)，取得四边形150的各顶点151～154的坐标。该变换中使用的同形矩阵H的要素h₁～h₉一度在步骤S2中计算，但是在后面描述的步骤S5中，进行更新。在步骤S3中，使用最新的要素h₁～h₉计算各顶点151～154的坐标。

现在，在变换图像上，使顶点141和顶点151的坐标一致。而且，例如，将连接顶点141和顶点142的线段和连接顶点151和顶点152的线段重叠。即考虑以顶点141和顶点151的坐标一致并且所述2个线段重叠的方式把形状已知的正方形140配置到变换图像上。可是，在图5中，为了便于图示，把正方形140和四边形150错开一些表示。

在这时，设变换图像上的顶点142和顶点152之间的位置误差为d1，设顶点143和顶点153之间的位置误差为d2，设顶点144和顶点154之间的位置误差为d3。位置误差d1为变换图像上的顶点142和顶点152之间的距离。位置误差d2和d3也同样。

对于校正图案A1～A3，分别计算这样的位置误差d1～d3。即对于一个变换图像，计算9个位置误差。误差评价值D为这9个位置误差的总和。位置误差是对比的顶点之间的距离，所以总取0或者正的值。在表达式(3)示出了误差评价值D的计算式。在表达式(3)的右边，针对(d1+d2+d3)的∑，意味着取得校正图案的按个数的总和。

$D=\mathrm{\&Sigma;}\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}\mathrm{dn}...\left(3\right)$

在步骤S3中计算误差评价值D后，转移到步骤S4，判断误差评价值D是否为规定的阈值以下。误差评价值D不是阈值以下时，转移到步骤S5，变更变换参数。即调整同形矩阵的各要素h₁～h₉(从以前各要素进行变更)，返回到步骤S3。通过步骤S5，回到步骤S3时，使用调整后的各要素h₁～h₉，进行与上述同样的处理。

另一方面，误差评价值D是规定的阈值以下时，通过由步骤S3～S5构成的重复计算，判断变换参数最优化，把最终取得的变换参数(即由调整取得的最新的同形矩阵H)作为校正完毕的变换参数处理。在图4(c)中，符号123表示变换参数最优化后的变换图像(即用校正完毕变换参数变换后的变换图像)。然后，结束图3的变换参数校正处理。

实际上，例如，按照最新的同形矩阵H，生成表示原图像上的各坐标(x，y)和变换图像上的各坐标(X，Y)的对应关系的表数据，把它存储在未图示的存储器(查找表)中。如果使用该查找表，就能把摄影图像变换为鸟瞰图图像，在该鸟瞰图图像中，各校正图案变为正方形。这时，能把所述表数据捕捉为校正完毕变换参数。

另外，作为在步骤S3～S5中实现的变换参数的最优化的手法，能使用众所周知的手法。例如，可以使用多维的下降简化法(downhill simplexmethod)、鲍威尔法(Powell)等(例如，参照“William H.Press，“Numericalrecipe in C，基于C语言的数值计算的方法”，技术评论社，1993年发行”)。这些手法是众所周知的，所以省略这里的说明。

此外，作为从各图像检测特征点的手法，采用使用上述的图像处理的自动检测手法，但是也可以采用基于向操作部(未图示)的手动操作的手动检测手法。

图3的变换参数校正处理后，图2的图像处理装置2使用校正完毕变换参数，把由摄像机一个接一个取得的摄影图像一个接一个变换为鸟瞰图图像。这时，把各摄影图像作为原图像处理，并且把各鸟瞰图图像作为变换图像处理。因此，摄影图像上的各点的坐标由(x，y)表示，鸟瞰图图像上的各点的坐标由(X，Y)表示。图像处理装置2，把表示各鸟瞰图图像的影像信号提供给显示装置3。显示装置3把各鸟瞰图图像作为动画像显示。

在第1实施例中，用平面射影变换进行校正，所以能吸收摄像机的设置误差。此外，使用比摄影区域更小的校正图案，通过在摄影区域内自由配置它从而准备校正环境，所以与基于以往的平面射影变换的校正手法相比，校正环境的准备是简便的。在以往，使用小的校正图案时，存在校正精度下降的问题，但是使用多个形状已知的校正图案，执行变换参数的调整，取得了校正精度的提高效果。

构筑本实施方式所涉及的对于车辆的驾驶员的视场支援系统时，可以考虑，在校正环境的准备困难的销售店中，在停车场暂时配置校正图案而执行校正的使用方法。此外，能够期待如下效果：对于摄影区域，能大幅度地减小校正图案，所以能把校正图案(或者描画了校正图案的校正板)变为能容易搬运的尺寸，校正作业的负担减轻。

<第2实施例>

下面，说明实施方式2。图6是表示实施方式2的变换参数校正处理的步骤的程序流程图。实施方式2的变换参数校正处理由步骤S1～S5的各处理、步骤S6的处理构成。步骤S6的处理由图像处理装置2实现。

步骤S1～S5的各处理与第1实施例的它们相同。因此，省略重复的说明。可是，在实施方式2中，在步骤S4中，误差评价值D是规定的阈值以下时，通过由步骤S3～S5构成的重复计算，判断同形矩阵H最优化，并转移到步骤S6。

可是，为了车辆100的后方确认而设置的摄像机1，通常设置为能左右均等地没有倾斜地拍摄车辆100的后方。可是，通常，产生设置误差，所以在摄影图像中产生倾斜。例如，产生图7(a)所示的水平方向的旋转设置误差、图7(b)所示的摄像机1的围绕光轴1的旋转设置误差，它们使得摄影图像中产生倾斜。

参照表示与图4(c)相同的变换图像123的图8(a)。这样的设置误差本来应该与图像的水平方向平行，使图像上的保险杆101和地面上的边界线161倾斜。因此，在第2实施例中，在步骤S1～S5之后，以也校正该倾斜的方式进行角度调整。

具体而言，在步骤S6中，2点地设定变换图像123的保险杆101和地面的边界点。在图8(a)(和后面描述的图8(b))中，符号171和172表示设定的2个边界点，边界点171和172在边界线161上。而且，在变换图像123上，求出连接边界点171和172的直线和变换图像的水平线所成的角度θ(该角度θ是锐角)。水平线是在图像的水平方向延伸的线。另外，作为检测边界点的手法，采用使用图像处理的自动检测手法，也可以采用基于向操作部(不图示)的手动操作的手动检测手法。

如果将用于使变换图像123上的边界线161与图像的水平线平行的旋转矩阵设为R，就使用角度θ，通过以下表达式(4)，表示旋转矩阵R。

$R=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)...\left(4\right)$

图8(b)的符号124，表示根据旋转矩阵R，使变换图像123旋转，取得的图像。如果用(X，Y)表示基于旋转矩阵R的旋转校正前的图像(例如变换图像123)的各点的坐标，用(X’，Y’)表示基于旋转矩阵R的旋转校正后的图像(例如，图像124)的各点的坐标，以下表达式(5)的关系就成立。

$\left(\begin{array}{c}{X}^{\&prime;}\\ Y^{\&prime;}\end{array}\right)=R\left(\begin{array}{c}X\\ Y\end{array}\right)...\left(5\right)$

如果结束步骤S6的处理，就结束图6的变换参数校正处理。在实施方式2中，由步骤S3～S5的调整取得的最新的同形(ホモダラフィ)矩阵H和所述旋转矩阵R，被作为校正完毕变换参数处理。

实际上，根据最新的同形矩阵H和所述旋转矩阵R，生成表示原图像上的各坐标(x，y)和旋转校正后的图像上的各坐标(X’，Y’)的对应关系的表数据，把它存储在未图示的存储器(查找表)中。如果使用该查找表，就能把摄影图像变换为鸟瞰图图像，在该鸟瞰图图像中，各校正图案变为正方形，并且能校正由摄像机1的设置误差等引起的图像的倾斜。这时，也能把所述表数据捕捉为校正完毕变换参数。

图6的变换参数校正处理后，图2的图像处理装置2使用基于同形矩阵H和旋转矩阵R的校正完毕变换参数，把由摄像机1一个接一个取得的摄影图像变换为鸟瞰图图像。这时，把各摄影图像作为原图像处理，并且把各鸟瞰图图像作为旋转校正后的图像处理。因此，摄影图像上的各点的坐标由(x，y)表示，鸟瞰图图像上的各点的坐标由(X′，Y′)表示。图像处理装置2把表示各鸟瞰图图像的图像信号提供给显示装置3。显示装置3把各鸟瞰图图像作为动画像显示。

根据本实施方式，能校正主要由摄像机1的设置误差引起的图像的倾斜。当然，也能实现与第1实施例同样的效果。

<第3实施例>

下面，说明第3实施例。图9是表示第3实施例所涉及的变换参数校正处理的步骤的程序流程图。在第3实施例所涉及的变换参数校正处理中，用透视投影变换计算初始参数。计算初始参数之后的动作与第1实施例或者第2实施例同样。在图9的变换参数校正处理中，作为计算初始参数之后的动作，应用第2实施例的，但是也能应用第1实施例的(即也能省略步骤S6)。

图9的变换参数校正处理由步骤S11和S12的各处理、步骤S3～S6的各处理构成。步骤S3～S6的各处理与实施方式2的同样。

首先，在步骤S11中，进行初始校正。在初始校正中，用透视投影变换计算初始参数。关于透视投影变换，是众所周知的(例如，参照特开2006-287892号公报)。如果用(x_bu，y_bu)表示摄影图像上的各点的坐标，用(x_au，y_au)表示用透视投影变换把该摄影图像变换后的鸟瞰图图像上的各点的坐标，则用于把坐标(x_bu，y_bu)变换为(x_au，y_au)的表达式由以下表达式(6)表示。

$\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]=\left[\begin{array}{c}\frac{x_{\mathrm{bu}}(\mathrm{fh}\sin {\mathrm{\&theta;}}_a+H_a{y}_{\mathrm{au}}\cos {\mathrm{\&theta;}}_a)}{{\mathrm{fH}}_a}\\ \frac{\mathrm{fh}(f\cos {\mathrm{\&theta;}}_a-y_{\mathrm{bu}}\sin {\mathrm{\&theta;}}_a)}{H_a(f\sin {\mathrm{\&theta;}}_a+y_{\mathrm{bu}}\cos {\mathrm{\&theta;}}_a)}\end{array}\right]...\left(6\right)$

这里，θ_a是图10所示的地面和摄像机1的光轴所成的角度(其中，90°＜θ_a＜180°)。H是基于摄像机1的高度的量(摄像机坐标系和世界坐标系的高度方向的平行移动量)。F是摄像机1的焦距。如上所述，鸟瞰图图像是把实际的摄像机1的摄影图像变换为从虚拟摄像机的视点(虚拟视点)观察的图像，H_a表示该虚拟摄像机的高度。

θ_a、h、和H_a能捕捉为摄像机外部信息(摄像机1的外部参数)，f能捕捉为摄像机内部信息(摄像机1的内部参数)。将透视投影变换所必要的θ_a、h、f和H_a进行总称，称作透视投影用设定信息。透视投影用设定信息，例如在设计阶段中事先设定，并预先提供给图像处理装置2。

在图9所示的例子中，根据表达式(2)，作为初始参数，求出以下表达式(7)的同形矩阵H。从用于进行透视投影变换的表达式(6)求出同形矩阵H的手法是众所周知的。例如，可以如第1实施例中说明的那样，根据摄影图像和鸟瞰图图像之间的4点的坐标值对应关系，求出同形矩阵H。能够从表达式(6)取得4点的坐标值对应关系。

$\left(\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\\ 1\end{array}\right)=H\left(\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right)\left(\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\\ 1\end{array}\right)...\left(7\right)$

$=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right)\left(\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\\ 1\end{array}\right)$

步骤S11的初始参数的计算，例如在根据摄像机1向车辆100的安装状态，设定透视投影用设定信息(特别是θ_a和h)后，在图2的图像处理装置2中进行。可是，如果决定θ_a和h的、摄像机1的设置条件被确定，并且按照该设置条件决定安装摄像机1，则在图像处理装置2的设计阶段中，也可以根据包含该设置条件的透视投影用设定信息，预先计算初始参数。这在车辆制造时安装摄像机时是有效的。

在步骤S11之后，在步骤S12中，在把校正图案A1～A3配置在上述的摄影区域内的状态下，使摄像机1进行摄影，取得校正用摄影图像。与第1实施例同样，将使用在步骤S11中求出的同形矩阵H对该校正用摄影图像进行坐标变换所取得的图像称作校正用变换图像。如果把校正用摄影图像和校正用变换图像分别作为原图像和变换图像捕捉，与第1实施例同样，用(x，y)表示原图像上的各点的坐标，用(X，Y)表示变换图像上的各点的坐标，所述表达式(1)和表达式(2a)和(2b)就成立。

在步骤S11和S12中，求出初始参数，取得校正用摄影图像之后的处理与第2实施例的同样。即步骤S12之后，转移到步骤S3，计算所述误差评价值D，执行由步骤S3～S5构成的重复计算，并以误差评价值D变为规定的阈值以下的方式进行同形矩阵H的最优化。然后，在步骤S6中，求出倾斜校正用的旋转矩阵R。如果步骤S6结束，就结束图9的变换参数校正处理。在第3实施例中，由步骤S3～S5的调整取得的最新的同形矩阵H、上述旋转矩阵R，作为校正完毕变换参数，而被处理。

实际上，例如按照最新的同形矩阵H和所述旋转矩阵R，生成表示原图像上的各坐标(x，y)和旋转校正后的图像上的各坐标(X’，Y’)的对应关系的表数据，并把它存储在未图示的存储器(查找表)中。如果使用该查找表，就能把摄影图像变换为鸟瞰图图像，在该鸟瞰图图像中，各校正图案变为正方形，并且能校正摄像机1的设置误差等引起的图像的倾斜。这时，也能把上述表数据捕捉为校正完毕变换参数。

图9的变换图像校正处理后，图2的图像处理装置2使用基于同形矩阵H和旋转矩阵R的校正完毕变换参数，把由摄像机1一个接一个取得的摄影图像变换为鸟瞰图图像。这时，把各摄影图像作为原图像处理，并且把各鸟瞰图图像作为旋转校正后的图像处理。因此，摄影图像上的各点的坐标由(x，y)表示，鸟瞰图图像上的各点的坐标由(X′，Y′)表示。图像处理装置2把表示各鸟瞰图图像的影像信号提供给显示装置3。显示装置3把各鸟瞰图图像作为动画像显示。

通过透视投影变换，求出用于把摄影图像变换为鸟瞰图图像的变换参数时，该变换参数受到摄像机1的设置误差的影响，通常在鸟瞰图图像上应该观察到的正方形的校正图案，而没有呈现出到正方形。因此，如上所述，把通过透视投影变换求出的变换参数作为变换参数的初始值(初始参数)处理，利用形状已知的校正图案，调整变换参数。据此，能吸收摄像机1的设置误差。

此外，在第1实施例或第2实施例中，在车辆100设置摄像机1后，有必要在图像处理装置2内计算初始参数，但是在第3实施例中，能在设计阶段中求出该初始参数。即使不在设计阶段中求出初始参数，只通过提供透视投影用设定信息，就能容易计算初始参数。即在第3实施例中，能省略或者简化图像处理装置2内的初始参数的计算处理。

<变形等>

作为上述的实施方式所涉及的变形例或者注释事项，以下记载注释1～注释6。各注释中记载的内容只要没有矛盾，就能任意组合。

[注释1]

虽然例示了各校正图案的形状是正方形的情形，但是各校正图案的形状能为任意的形状。

[注释2]

在上述的各实施方式中，在校正用摄影图像中包含3个校正图案A1～A3，根据3个校正图案的各特征点，进行变换参数的调整，但是校正用摄影图像中应该包含的校正图案的总数为2以上就可以。在如第1实施例或2那样，用平面投影变换求出变换参数的初始值(初始参数)时，用初始参数计算用的校正图案(例如，校正图案A1)变换参数的初始值后，使用调整用的校正图案(例如，校正图案A2)调整它，就能取得上述的效果。另外，在上述的第1实施例或者2中，初始参数计算用的校正图案也兼顾作为调整用的校正图案的功能。

在第3实施例中，通过透视投影变换计算初始参数，所以也能省略初始参数计算用的校正图案。即也能够使校正用摄影图像中应该包含的校正图案的总数为1。即使校正图案为一个，也能取得摄像机1的设置误差的吸收效果。这时，一个校正图案作为调整用的校正图案起作用。

此外，虽然预想到调整效果的降低，但是所述调整用的校正图案的形状也可以是三角形或者线段。即调整用的校正图案中包含的特征点的总数为3或2。即使调整用的校正图案的形状是线段且只包含2个特征点，如果该形状已知(变换图像上的2个特征点的相对位置关系已知)，就能根据变换图像上的调整用的校正图案的实际的形状和理想的形状之间的误差，把变换参数的初始值(初始参数)调整为更好的。

[注释3]

上述的鸟瞰图图像相当于把摄像机1的摄影图像投影到地面上的图像。即在上述的实施方式中，通过把摄像机1的摄影图像投影到地面上而生成鸟瞰图图像，但是应该投影摄影图像的面也能为地面以外的任意的规定面(例如规定平面)。

[注释4]

虽然列举使用作为车载摄像机的摄像机1的视场支援系统，说明本发明的实施方式，但是在车辆以外也能设置应该连接在图像处理装置2上的摄像机。即本发明对于设置在建筑物上的监视系统能够应用。在这种监视系统中，与上述的实施方式同样，把摄影图像投影到规定面上，把由投影取得的图像在显示装置上显示。

[注释5]

图2的图像处理装置2的功能能由硬件、软件、或者硬件和软件的组合实现。也可以把由图像处理装置2实现的功能的全部或者一部分记述为程序，在计算机上执行该程序，从而实现该功能的全部或者一部分。

[注释6]

在校正处理中进行变换参数的调整，导出校正完毕变换参数的参数导出机构内置在图像处理装置2中，具有该参数导出机构而进行摄像机的校正处理的摄像机校正装置，也内置在图像处理装置2中。参数导出机构，包含导出初始参数的初始参数导出机构和实施变换参数的调整的参数调整机构。校正处理后，图像处理装置2把摄影图像投影到规定面上，从而作为生成投影图像(在上述的实施方式中为鸟瞰图图像)的投影机构而起作用。

Claims (7)

1.一种摄像机校正装置，具有参数导出机构，所述参数导出机构求出用于把摄像机的摄影图像投影到规定面上的参数，其特征在于，

所述参数导出机构根据来自所述摄像机的校正用摄影图像，求出所述参数，

所述校正用摄影图像，包含：配置在所述摄像机的摄影区域内的相互不同的位置的、形状已知的多个校正图案，

所述多个校正图案，包含第一校正图案和第二校正图案，

所述参数导出机构，基于所述校正用摄影图像上的所述第一校正图案的坐标信息和与所述第一校正图案的形状相关的第一已知信息求出初始参数后，使用所述初始参数对所述校正用摄影图像上的所述第二校正图案进行坐标变换，根据该坐标变换后的所述第二校正图案的形状和与该形状相关的第二已知信息，调整所述初始参数，经过该调整，最终求出所述参数。

2.根据权利要求1所述的摄像机校正装置，其特征在于，

所述第一校正图案至少包含4点的特征点，

所述第一已知信息确定所述4点的特征点之间的相对位置关系。

3.一种摄像机校正装置，具有求出用于把摄像机的摄影图像投影到规定面上的参数的参数导出机构，其特征在于，

所述参数导出机构，根据来自所述摄像机的校正用摄影图像，求出所述参数，

所述校正用摄影图像，包含配置在所述摄像机的摄影区域内的、形状已知的校正图案，

所述参数导出机构使用基于预先设定的信息的初始参数，对所述校正用摄影图像上的所述校正图案进行坐标变换，并根据该坐标变换后的所述校正图案的形状和关于该形状的已知信息，调整所述初始参数，经过该调整，最终求出所述参数。

4.一种车辆，设置摄像机和图像处理装置，其特征在于，

所述图像处理装置包含权利要求1所述的摄像机校正装置。

5.一种车辆，设置摄像机和图像处理装置，

所述图像处理装置包含权利要求3所述的摄像机校正装置。

6.一种摄像机校正方法，求出用于把摄像机的摄影图像投影到规定面上的参数，其特征在于，

具有：

参数导出步骤，根据来自所述摄像机的校正用摄影图像求出所述参数，

在所述校正用摄影图像中包含配置在所述摄像机的摄影区域内的相互不同的位置的、形状已知的多个校正图案，

所述多个校正图案，包含第一校正图案和第二校正图案，

所述参数导出步骤中，基于所述校正用摄影图像上的所述第一校正图案的坐标信息和与所述第一校正图案的形状相关的第一已知信息求出初始参数后，使用所述初始参数对所述校正用摄影图像上的所述第二校正图案进行坐标变换，根据该坐标变换后的所述第二校正图案的形状和与该形状相关的第二已知信息，调整所述初始参数，经过该调整，最终求出所述参数。

7.一种摄像机校正方法，求出用于把摄像机的摄影图像投影到规定面上的参数，其特征在于，

具有：

参数导出步骤，根据来自所述摄像机的校正用摄影图像，求出所述参数，

在所述校正用摄影图像中包含有配置在所述摄像机的摄影区域内的、形状已知的校正图案，

所述参数导出步骤，具有使用基于预先设定的信息的初始参数，对所述校正用摄影图像上的所述校正图案进行坐标变换，根据该坐标变换后的所述校正图案的形状和关于该形状的已知信息，调整所述初始参数的参数调整步骤，并经过该调整，最终求出所述参数。

Images