CN101236654A - 照相机校正装置和方法、以及车辆 - Google Patents

Abstract

本发明提供一种照相机校正装置，包括参数导出单元，该参数导出单元求取将来自N台照相机(N是3以上的整数)的各摄影图像投影到规定面上进行合成用的参数，所述N台照相机由第一、第二、…和第N照相机构成，第i照相机与此外的N－1台照相机的某一个具有公共摄影区域(i是1以上且N以下的整数)，整体上存在多个公共摄影区域，所述参数导出单元基于各公共摄影区域内配置的校正图案的由各照相机得到的摄影结果，来求取所述参数，各校正图案相互独立配置。

Description

照相机校正装置和方法、以及车辆

技术领域

本发明涉及实现为了将照相机的摄影图像投影及合成到规定面上而需要的校正处理的照相机校正装置及照相机校正方法，还涉及利用了该照相机校正装置及照相机校正方法的车辆。

背景技术

随着近年来安全意识的提高，在汽车等车辆中搭载照相机(车载照相机)的情况增多。另外，正在开展不仅对照相机的影像进行显示，而且利用图像处理技术，使人观看更柔和的影像的研究。其中之一是通过对拍摄的图像进行坐标变换，生成如从地面上方眺望的鸟瞰图图像并进行显示。通过显示该鸟瞰图图像，驾驶者易于掌握车辆周边的状况。

进而，正在开发通过对从多个照相机获得的摄影图像进行几何变换而变换为全周鸟瞰图图像，并在显示装置上对其进行显示的视场支援系统。在该视场支援系统中，可将车辆全周的状况作为从上空观察的影像提示给驾驶者，因此，具有能从360度无死角地覆盖车辆的周边的优点。

图25中表示应用了这种视场支援系统的车辆的俯视图，图26中表示从左斜前方观察该车辆的图。在车辆的前后左右设置作为前照相机的照相机1F、作为后照相机的照相机1B、作为左照相机的照相机1L和作为右照相机的照相机1R。在图26中，将照相机1F和1L的各摄影区域作为斜线区域进行表示。在该视场支援系统中，利用坐标变换将各照相机的摄影图像投影到地面上后进行合成，从而生成作为合成图像的全周鸟瞰图图像并进行显示。图27中表示所显示的全周鸟瞰图图像900的示意图。在全周鸟瞰图图像900中，在车辆的前侧、右侧、左侧和后侧，分别描绘基于照相机1F、1R、1L和1B的摄影图像的鸟瞰图图像。

作为将照相机的摄影图像投影到地面的方法，存在基于透视投影变换的方法和基于平面射影变换的方法。

图28表示透视投影变换的概念图。通过透视投影变换，摄影图像的各点的坐标(x，y)被变换为鸟瞰图图像的坐标(X，Y)。由于鸟瞰图像是地面上的图像，因此高度方向的坐标(Z)为0。

在透视投影变换中，基于照相机的安装角度及照相机的设置高度等照相机外部信息、和照相机的焦点距离(或画角)等照相机内部信息，算出将摄影图像投影到设定平面(路面等)上用的变换参数。因此，为了高精度地进行坐标变换，需要准确地掌握照相机外部信息。照相机的安装角度和照相机的设置高度等大多在事先设计，但这些信息的设计值与实际设置在车辆中时这些信息之间存在误差，因此，坐标变换的精度劣化。结果，具有在合成图像的接合部分无法圆滑地接合各鸟瞰图图像的问题。

另一方面，平面射影变换中，在摄影区域配置校正图案，基于所拍摄的校正图案，进行求取表示摄影图像的坐标(二维照相机坐标)和鸟瞰图图像的坐标(二维全局坐标)的对应关系的变换矩阵这样的校正作业。该变换矩阵一般被称作单应(homography)矩阵。图29表示平面射影变换的概念图。通过平面射影变换，摄影图像的各点的坐标(x，y)被变换为鸟瞰图图像的坐标(x’，y’)。通过平面射影变换，无需照相机外部信息和照相机内部信息，另外，由于基于实际拍摄的校正图案来指定摄影图像与鸟瞰图图像之间的对应坐标，因此不会受到照相机的设置误差的影响(或不易受影响)。

将各照相机的摄影图像射影到地面上用的单应矩阵可基于坐标值已知的4以上个特征点来算出，为了将多个照相机的摄影图像射影到共用的合成图像上，需要在共用的二维坐标上设置各照相机所使用的特征点。即，需要定义如图30所示那样的对所有照相机共用的二维坐标系，且在该二维坐标系上按每个照相机指定四个以上的特征点的坐标值。

因此，在卡车等车辆中设置多个照相机，进行为获得全周鸟瞰图图像的各照相机的校正时，需要准备如覆盖各照相机的全部摄影区域这样的非常大的校正图案。在图30所示的例子中，在车辆周边设置覆盖各照相机的全部摄影区域的棋盘格状的校正图案，将棋盘格的交点用作特征点。这样的校正图案的尺寸例如具有车辆的纵横尺寸的两倍的大小，因此，在进行校正作业时需要占用大的场所，并且校正环境的配备比较费时，校正作业整体的负担增大。为了提高校正作业的效率，要求更简便的校正方法。

此外，还提出了利用在多个位置拍摄的图像，调整基于平面射影变换的变换参数的方法。但是，在该方法中，还需要设定在多个图像之间共用的坐标(二维全局坐标)系，因此，不能解决校正环境的配备费时的问题。

发明内容

本发明涉及的照相机校正装置包括参数导出单元，该参数导出单元求取将来自N台照相机的各摄影图像投影到规定面上进行合成用的参数，其中，N是3以上的整数，所述N台照相机由第一、第二、…和第N照相机构成，第i照相机与此外的N-1台照相机的某一个具有公共摄影区域，整体上存在多个公共摄影区域，其中，i是1以上且N以下的整数，所述参数导出单元基于各公共摄影区域内配置的校正图案的由各照相机得到的摄影结果来求取所述参数，各校正图案相互独立配置。

具体而言，例如，所述公共摄影区域至少分别存在于所述第一照相机与所述第二照相机之间、所述第二照相机与第三照相机之间、…及第N-1照相机与所述第N照相机之间。

并且，例如，所述参数导出单元将各摄影图像被投影且被合成的坐标定义为全局坐标，在将所述第N-1照相机与所述第N照相机之间的公共摄影区域内配置的校正图案称为关注校正图案的情况下，所述参数导出单元包括：第一参数导出单元，其利用由所述第一～所述第N-1照相机得到的各校正图案的摄影结果，求取对所述第一～所述第N-1照相机的各摄影图像进行坐标变换到所述全局坐标上用的第一参数；和第二参数导出单元，其基于利用所述第一参数将通过所述第N-1照相机拍摄的所述关注校正图案进行坐标变换到所述全局坐标上而得到的所述关注校正图案的坐标信息、和通过所述第N照相机拍摄的所述关注校正图案的坐标信息，求取对所述第N照相机的摄影图像进行坐标变换到所述全局坐标上用的第二参数；所述参数导出单元根据所述第一参数和所述第二参数求其所述参数。

另外，例如，所述参数导出单元将各摄影图像被投影且被合成的坐标定义为全局坐标，对于所述参数导出单元而言各校正图案的形状已知，该形状作为已知信息被预先识别，所述参数导出单元在利用由各照相机得到的各校正图案的摄影结果暂时求出所述参数之后，利用暂定的所述参数对由各照相机拍摄的各校正图案进行坐标变换到所述全局坐标上，基于该坐标变换后的各校正图案的形状和所述已知信息，对暂定的所述参数进行调整，经过该调整后最终求取所述参数。

本发明涉及的车辆，其中设置有N台照相机和图像处理装置，所述图像处理装置包括上述任一种照相机校正装置。

本发明涉及的照相机校正方法，求取将来自N台照相机的各摄影图像投影到规定面上进行合成用的参数，其中，N是3以上的整数，所述N台照相机由第一、第二、…和第N照相机构成，第i照相机与此外的N-1台照相机的某一个具有公共摄影区域，整体上存在多个公共摄影区域，其中，i是1以上且N以下的整数，该照相机校正方法基于各公共摄影区域内配置的校正图案的由各照相机得到的摄影结果，来求取所述参数，各校正图案相互独立配置。

本发明的意义或效果通过以下所示的实施方式的说明可进一步明确。其中，以下的实施方式只是本发明的一个实施方式，本发明甚至各构成要件的用语的意义并不限定于以下实施方式的记载。

附图说明

图1表示从上方观察应用本发明的实施方式的视场支援系统的车辆的俯视图，是表示向该车辆设置各照相机的状态的图；

图2是从左斜前方观察图1的车辆的图；

图3(a)～(d)是表示图1的车辆中设置的各照相机的摄影区域的图；

图4是汇总表示图1的车辆中设置的各照相机的摄影区域的图；

图5是本发明的实施方式的视场支援系统的构成框图；

图6是表示了各校正图案配置的情况的图1的车辆周边的上面视俯视图；

图7是从上方观察描绘了校正图案的校正片(plate)的图；

图8是表示图1的各照相机的摄影图像所对应的鸟瞰图图像的图；

图9是表示由图5的图像处理装置生成的全周鸟瞰图图像的图；

图10是表示本发明的第一实施例的校正处理的顺序的流程图；

图11是表示本发明的第一实施例涉及的在校正处理时获得的各校正用摄影图像例的图；

图12是表示本发明的第一实施例涉及的校正用摄影图像与鸟瞰图图像的变换例的图；

图13(a)是表示本发明的第一实施例涉及的单应矩阵的最佳化前的全周鸟瞰图图像的图，图13(b)是表示最佳化后的全周鸟瞰图图像的图；

图14是用于说明本发明的第一实施例涉及的单应矩阵的最佳化方法的图；

图15是表示本发明的第一实施例涉及的在不同照相机之间公共的校正图案的投影图形不同的状态的图；

图16是表示本发明的第二实施例涉及的校正处理的顺序的流程图；

图17(a)～(d)是表示本发明的第二实施例涉及的单应矩阵的最佳化方法的流程图；

图18(a)和(b)是用于说明本发明的第二实施例涉及的单应矩阵的最佳化方法的图；

图19是用于说明本发明的第二实施例涉及的单应矩阵的最佳化方法的图；

图20是表示本发明的第三实施例涉及的在全局坐标上固定的边的图；

图21是用于说明本发明的第三实施例涉及的单应矩阵的最佳化方法的图；

图22是表示本发明的第四实施例涉及的照相机的设置状态的图；

图23是表示本发明中应用的校正图案的变形例的图；

图24是表示使用了图23的校正图案时各鸟瞰图图像的刚体变换的情况的图；

图25是现有技术涉及的应用了视场支援系统的车辆的俯视图；

图26是从左斜前方观察图25的车辆的图；

图27是表示现有技术涉及的由视场支援系统显示的全周鸟瞰图图像的情况的图；

图28是透视投影变换的概念图；

图29是平面射影变换的概念图；

图30是用于说明以往的平面射影变换所对应的校正处理的图，是表示在多个照相机之间公共定义的坐标系(或校正图案)的图。

具体实施方式

下面，参照附图，对本发明的实施方式进行具体说明。在所参照的各图中，对同一部分标注同一标记，原则上省略与同一部分有关的重复的说明。后面对第一～第四实施例进行说明，首先对各实施例中公共的事项或在各实施例中参照的事项进行说明。

图1是从上方观察应用本实施方式涉及的视场支援系统的车辆100的俯视图，表示了向该车辆100设置照相机的状态。图2是从左斜前方观察车辆100的图。在图1和图2中，作为车辆100表示了卡车，但车辆100可以是卡车以外的车辆(普通乘用车等)。另外，车辆100配置在地面(例如路面)上。此外，在以下的说明中，地面是指水平面上，“高度”是表示以地面为基准的高度。

如图1所示，在车辆100的前部、右侧部、左侧部以及后部分别安装有照相机(摄像装置)1F、1R、1L和1B。另外，在本实施方式中，有时对照相机1F、1R、1L和1B不加以区分，将它们仅称为照相机或各照相机。

另外，如图2所示，照相机1F例如配置在车辆100的前视镜上部，照相机1L例如设置在车辆100的左侧面的最上部。在图2中未表示，但照相机1B例如设置在车辆100的后部的最上部，照相机1R例如设置在车辆100的右侧面的最上部。

将照相机1F、1R、1L和1B设置在车辆100上，使得照相机1F的光轴朝向车辆100的前方斜下方向、照相机1B的光轴朝向车辆100的后方斜下方向、照相机1L的光轴朝向车辆100的左方斜下方向、且照相机1R的光轴朝向车辆100的右方斜下方向。

图2中表示了各照相机的视野即各照相机的摄影区域。分别用2F、2R、2L和2B表示照相机1F、1R、1L和1B的摄影区域。此外，关于摄影区域2R和2B，在图2中仅表示了一部分。在图3(a)～(d)中表示从上方观察的摄影区域2F、2L、2B和2R，即，地面上的摄影区域2F、2L、2B和2R。另外，图4中表示将图3(a)～(d)所示的各摄影区域汇总为一个的图(关于斜线区域后述)。

照相机1F对位于车辆100前方的规定区域内的被摄体(包括路面)进行摄影。照相机1R对位于车辆100右侧的规定区域内的被摄体进行摄影。照相机1L对位于车辆100左侧的规定区域内的被摄体进行摄影。照相机1B对位于车辆100后方的规定区域内的被摄体进行摄影。

照相机1F和1L共同对车辆100的左斜前方的规定区域进行摄影。即，在车辆100的左斜前方的规定区域，摄影区域2F和2L重叠。将两个照相机的摄影区域重叠的部分称为公共摄影区域(公共摄影空间)，将照相机1F和1L的摄影区域重叠的部分(即，照相机1F与1L之间的公共摄影区域)用3_FL表示。图4中将公共摄影区域表示为斜线区域。

同样，如图4所示，在车辆100的右斜前方的规定区域摄影区域2F与2R重叠，形成二者的公共摄影区域3_FR，在车辆100的左斜后方的规定区域摄影区域2B与2L重叠，形成二者的公共摄影区域3_BL，在车辆100的右斜后方的规定区域摄影区域2B与2R重叠，形成二者的公共摄影区域3_BR。

图5表示本发明的实施方式涉及的视场支援系统的构成框图。各照相机(1F、1R、1L和1B)进行摄影，将表示基于拍摄所得到的图像(以下也称为摄影图像)的信号送到图像处理装置10中。图像处理装置10通过视点变换将各摄影图像变换为鸟瞰图图像，并通过对各鸟瞰图图像进行合成来生成一幅全周鸟瞰图图像。显示装置11将该全周鸟瞰图图像显示为影像。

其中，对成为鸟瞰图图像的基础的摄影图像实施透镜变形修正等图像处理，将该图像处理后的摄影图像变换为鸟瞰图图像。另外，实际上，基于后述的变换参数，将各摄影图像上的各点一并变换为全周鸟瞰图图像上的各点，因此不会生成各个鸟瞰图图像(其中，也可通过变换为各鸟瞰图图像来进行全周鸟瞰图图像的生成)。在通过图像合成来生成全周鸟瞰图图像时，与公共摄影区域对应的图像通过对要合成的图像间的像素值进行平均化来生成，或通过贴合以所定义的合成边界线为界进行合成的图像来生成。无论采用哪种方式，都按照在各鸟瞰图图像的接合部分圆滑地接合的方式进行图像合成。

鸟瞰图图像是将实际的照相机(例如照相机1F)的摄影图像变换为从假想照相机的视点(假想视点)观察的图像后的图像。更具体地说，鸟瞰图图像是将实际的照相机的摄影图像变换为沿铅直方向对地上面俯视的图像后的图像。这种图像变换一般也称为视点变换。通过显示这种相当于鸟瞰图图像的合成图像的全周鸟瞰图图像，易于支援驾驶者的视场，且进行车辆周边的安全确认。

作为照相机1F、1R、1L和1B，例如使用利用了CCD(Charge CoupledDevices)的照相机、利用了CMOS(Complementary Metal OxideSemiconductor)图像传感器的照相机。图像处理装置10例如由集成电路形成。显示装置11由液晶显示面板等形成。也可将汽车导航系统等包含的显示装置沿用作视场支援系统中的显示装置11。另外，图像处理装置10可作为汽车导航系统的一部分被组合。图像处理装置10和显示装置11例如设置在车辆100的驾驶座附近。

为了支援广视野的安全确认，各照相机的视场角为广角。因此，各照相机的摄影区域在地面上例如具有5m×10m(米)左右的大小。

为了生成全周鸟瞰图图像，需要用于根据各摄影图像生成全周鸟瞰图图像的变换参数。图像处理装置10在实际工作之前进行的校正处理中，对变换参数进行校正。在实际工作时，利用校正后的变换参数，根据如上所述的各摄影图像，生成全周鸟瞰图图像。本实施方式在该校正处理中具有特征，以下(主要)对该校正处理进行说明。

校正处理时，在各公共摄影区域内配置比各照相机的摄影区域的大小更小的校正图案。图6是表示了配置各校正图像的情况的车辆100周边的上面视俯视图。

如图6所示，在公共摄影区域3_FR、3_FL、3_BR和3_BR内，分别配置俯视状(二维)校正图案A1、A2、A3和A4。校正图案A1～A4配置在地面上。

校正图案A1～A4分别具有正方形形状，该正方形的一边的长度为1m～1.5m左右。无需使校正图案A1～A4全部为相同形状，但为了便于说明，设它们的形状完全相同。这里的形状是还包括大小的概念。因此，校正图案A1～A4完全相同。在鸟瞰图图像上，各校正图案的形状在理想情况下应该是正方形。

由于各校正图案是正方形形状，因此具有四个特征点。在当前的例子中，四个特征点相当于形成正方形的四个顶点。图像处理装置10将各校正图案的形状作为已知信息预先进行识别。通过该已知信息，确定全周鸟瞰图图像上(后述的全局坐标上)和鸟瞰图图像上的理想的校正图案(A1、A2、A3和A4)的四个特征点之间的相对位置关系。

校正图案的形状是指将该校正图案所包含的特征点连接起来而形成的图形的形状。例如，将具有正方形形状的四个校正片本身作为四个校正图案A1～A4，将各校正片的四个角作为各校正图案的四个特征点进行处理。或者，例如准备描绘了校正图案A1的校正片、描绘了校正图案A2的校正片、描绘了校正图案A3的校正片和描绘了校正图案A4的校正片。此时，校正片本身的外形与校正图案的外形不一致。作为例子，图7表示描绘了校正图案A1的正方形形状的校正片150的俯视图。校正图案150为白地，在校正片150的四个角，各描绘了两个通过1顶点相互连接的涂黑的正方形。并且，校正片150的四个角的两个涂黑的正方形的连接部分151～154相当于校正图案A1～A4的特征点。

通过适当选择校正片本身的颜色和校正片上描绘的花样的颜色，各照相机(及图像处理装置10)能将校正图案的各特征点与路面等明确地区别开来进行识别，不过，在本实施方式中，为了便于图示和说明，忽略校正片的存在，仅关注校正图案。

各校正图案按照收敛在各公共摄影区域内的方式配置，但在各校正图案的公共摄影区域内的配置位置是自由的。即，例如，校正图案A1只要收敛在公共摄影区域3_FR内，则校正图案A1的配置位置是任意的，能与校正图案A2～A4的配置位置无关地独立确定公共摄影区域3_FR内的校正图案A1的配置位置。对于校正图案A2～A4也同样。因此，在进行校正处理时，操作人员无需对配置位置进行特殊考虑，而适当地将各校正图案配置到各公共摄影区域内即可。

[校正处理方法的基本原理]

接着，对本实施方式涉及的校正处理方法的基本原理进行说明。其中，对摄影图像上的各点、鸟瞰图图像上的各点和全周鸟瞰图图像上的各点的对应关系进行说明。

将照相机1F、1R、1L和1B的摄影图像上的各点的坐标分别用(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)表示。图8中表示与各照相机的摄影图像对应的鸟瞰图图像。将与照相机1F、1R、1L和1B的摄影图像对应的鸟瞰图图像分别用50F、50R、50L、50B表示。图8所示的各鸟瞰图图像中，表示了各鸟瞰图图像上的校正图案(A1～A4)。

将鸟瞰图图像50F、50R、50L、50B上的各点的坐标分别用(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)、(X₄，Y₄)表示。摄影图像上的坐标(x_n，y_n)与鸟瞰图图像上的坐标(X_n，Y_n)的关系用单应矩阵如下述式(1)那样表示。这里，n是1、2、3或4，表示照相机的编号。单应矩阵H_n可利用平面射影变换或透视投影变换来求取。单应矩阵H_n是三行三列的矩阵，将单应矩阵H_n的各要素用h_n1～h_n9表示。进而，设h_n9＝1(按照使h_n9＝1的方式对矩阵进行标准化)。另外，根据式(1)，坐标(x_n，y_n)与坐标(X_n，Y_n)的关系也可由下述式(2a)和(2b)表示。

$\left(\begin{array}{c}{X}_n\\ Y_n\\ 1\end{array}\right)=H_n\left(\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_{n1}& h_{n2}& h_{n3}\\ h_{n4}& h_{n5}& h_{n6}\\ h_{n7}& h_{n8}& h_{n9}\end{array}\right)\left(\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right)\·\·\·\left(1\right)$

$=\left(\begin{array}{ccc}{h}_{n1}& h_{n2}& h_{n3}\\ h_{n4}& h_{n5}& h_{n6}\\ h_{n7}& h_{n8}& 1\end{array}\right)\left(\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right)$

$X_n=\frac{h_{n1}{x}_n+h_{n2}{y}_n+h_{n3}}{h_{n7}{x}_n+h_{n8}{y}_n+1}\·\·\·\left(2a\right)$

$Y_n=\frac{h_{n4}{x}_n+h_{n5}{y}_n+h_{n6}}{h_{n7}{x}_n+h_{n8}{y}_n+1}\·\·\·\left(2b\right)$

校正处理被分为初始校正阶段和调整阶段。在初始校正阶段，按照使全周鸟瞰图图像上的对应的校正图案的坐标大体一致的方式，通过刚体变换对各鸟瞰图图像进行坐标变换。即，例如，按照使鸟瞰图图像50F上的校正图案A1与鸟瞰图图像50R上的校正图案A1重叠的方式通过刚体变换使鸟瞰图图像50F与50R对位(参照图8)。刚体变换通过平行移动和旋转来实现。

图8中，曲线201、202、203和204表示校正图案的鸟瞰图图像间的对应关系，并且表示各刚体变换的图示。图像处理装置10预先识别由不同照相机捕捉的校正图案及特征点的对应关系。即，例如，预先识别照相机1F的摄影图像所包含的各校正图案和各特征点与照相机1R(或1L)的摄影图像所包含的哪一个校正图案和特征点对应。在其他照相机之间也同样。因此，能实现如上述的刚体变换。

分别用T₁、T₂、T₃、T₄表示针对鸟瞰图图像50F、50R、50L和50B的平行移动的平行移动矩阵，分别用R₁、R₂、R₃、R₄表示针对鸟瞰图图像50F、50R、50L和50B的旋转的旋转矩阵。

这样，在用(X’，Y’)表示全周鸟瞰图图像上的各点的坐标时，将摄影图像上的各点的坐标(x_n，y_n)利用单应矩阵H_n’根据下述式(3a)和(3b)坐标变换为全周鸟瞰图图像上的坐标(X’，Y’)。另外，平行移动矩阵T_n和旋转矩阵R_n由下述式(4a)和(4b)表示。另外，单应矩阵H_n’的各要素如下述式(5)那样表示。

$\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ 1\end{array}\right)={H_n}^{\′}\left(\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right)\·\·\·\left(3a\right)$

H_n′＝T_nR_nH_n…(3b)

$T_n=\left(\begin{array}{ccc}1& 0& t_{n1}\\ 0& 1& t_{n2}\\ 0& 0& 1\end{array}\right)\·\·\·\left(4a\right)$

$R_n=\left(\begin{array}{ccc}{r}_{n1}& r_{n2}& 0\\ r_{n3}& r_{n4}& 0\\ 0& 0& 1\end{array}\right)\·\·\·\left(4b\right)$

${H_n}^{\′}=\left(\begin{array}{ccc}{h_{n1}}^{\′}& {h_{n2}}^{\′}& {h_{n3}}^{\′}\\ {h_{n4}}^{\′}& {h_{n5}}^{\′}& {h_{n6}}^{\′}\\ {h_{n7}}^{\′}& {h_{n8}}^{\′}& 1\end{array}\right)\·\·\·\left(5\right)$

另外，将全周鸟瞰图图像上的坐标(坐标系)称为全局坐标(全局坐标系)。全局坐标与摄影图像或鸟瞰图图像上的坐标不同，是对各照相机公共地定义的坐标。

在初始校正阶段求取各单应矩阵H_n’，但在将摄影图像投影到地面上来生成鸟瞰图图像的过程中，因各种误差因素而会产生投影误差(距理想的投影位置的位置误差)。因此，在通过初始校正求取了各单应矩阵H_n’之后，在调整阶段，使针对H₁’～H₄’的各要素(8×4个要素)最佳化。最佳化例如通过使各校正图案中的特征点的投影误差最小化来实现。这样，通过使各单应矩阵最佳化，可得到在接合部圆滑地合成的精度高的全周鸟瞰图图像。图9表示所生成的全周鸟瞰图图像的示例。如图9所示，在图5的显示装置11上显示所获得的全周鸟瞰图图像中嵌入了车辆100的影像的图像。

以下，作为对上述校正处理进行具体说明的实施例，对第一～第四实施例进行了说明。某一实施例中记载的事项只要不矛盾则也可应用到其他实施例中。

《第一实施例》

对第一实施例进行说明。图10是表示第一实施例涉及的校正处理的顺序的流程图。第一实施例涉及的校正处理由步骤S11～S14的各处理构成，步骤S11由各照相机和图像处理装置10执行，步骤S12～S14由图像处理装置10执行。

首先，步骤S11中，在如上述那样(参照图6)将各校正图案配置到各公共摄影区域内的状态下使各照相机进行摄影，图像处理装置10从各照相机获得摄影图像。以下，将这里获得的摄影图像特别称为校正用摄影图像。图11中表示所获得的各校正用摄影图像的例子。图11中，标记301、302、303和304分别表示照相机1F、1R、1L和1B的校正用摄影图像。

接着，在步骤S12中，进行平面射影变换，对各校正用摄影图像进行鸟瞰图变换。这里，鸟瞰图变换是指将摄影图像(包括校正用摄影图像)变换为鸟瞰图图像的处理。作为例子，图12中表示通过对校正用摄影图像303进行鸟瞰图变换而得到的鸟瞰图图像313。如上所述，对成为鸟瞰图图像的基础的摄影图像(包括校正用摄影图像)实施透镜变形(distortion)修正等图像处理，将该图像处理后的摄影图像变换为鸟瞰图图像。

步骤S12中，求取用于对校正用摄影图像进行鸟瞰图变换的单应矩阵H_n。对求取单应矩阵H₁的方法进行说明。

图像处理装置10通过对照相机1F的校正用摄影图像实施边缘检测处理等，来确定照相机1F的校正用摄影图像上的校正图案A1的四个特征点。所确定的四个坐标值设为(x_A1a，y_A1a)、(x_A1b，y_A1b)、(x_A1c，y_A1c)和(x_A1d，y_A1d)。另外，根据预先识别的已知信息，确定照相机1F所对应的鸟瞰图图像上的校正图案A1的四个特征点的坐标值。所确定的四个坐标值设为(X_A1a，Y_A1a)、(X_A1b，Y_A1b)、(X_A1c，Y_A1c)和(X_A1d，Y_A1d)。由于校正图案A1的形状为正方形，因此，可将坐标值(X_A1a，Y_A1a)、(X_A1b，Y_A1b)、(X_A1c，Y_A1c)和(X_A1d，Y_A1d)例如定义为(0，0)、(1，0)、(0，1)和(1，1)。

在校正用摄影图像与鸟瞰图图像之间若知道四点的坐标值对应关系，则可求出单应矩阵H₁。基于这四点的坐标值对应关系来求取单应矩阵(射影变换矩阵)的方法是公知的，因此省略详细的说明。例如，使用特开2004-342067号公报所记载的方法(尤其是，参照该公报的段落[0059]～[0069]所记载的方法)即可。

对根据校正图案A1的四个特征点的坐标(坐标值)求取单应矩阵H₁的例子进行了说明，但也可根据校正图案A2的四个特征点的坐标(坐标值)求取单应矩阵H₁。为了便于说明，之前说明了基于校正图案A1和A2中的任一方的四个特征点来求取单应矩阵H₁的方法，但希望根据针对校正图案A1和A2的共计8个特征点的坐标(坐标值)求取单应矩阵H₁。

在通过仅基于校正图案A1(或A2)的四个特征点的单应矩阵H₁进行变换的鸟瞰图图像上，校正图案A1(或A2)的形状正确地为已知的正方形，但通常，校正图案A2(或A1)的形状并不是正方形。这是由校正用摄影图像中特定的特征点的坐标误差等引起的。在通过基于校正图案A1和A2的八个特征点的单应矩阵H₁进行变换的鸟瞰图图像上，投影误差扩散到校正图案A1和A2的双方上。在利用校正图案A1和A2的八个特征点的坐标时，按照使各特征点的投影误差的总和最小化的方式求出单应矩阵H₁即可。

关注于H₁对单应矩阵的计算方法进行了说明，对其他单应矩阵H₂～H₉也同样计算。若求出单应矩阵H_n，则能够根据上述式(2a)和(2b)，将校正用摄影图像上的任意点变换为鸟瞰图图像上的点。

在步骤S12接下来的步骤S13中，按照使对应的校正图案的坐标一致的方式，通过对步骤S12中得到的各鸟瞰图图像进行刚体变换(平行移动和旋转)来使其对位。将通过对照相机1F、1R、1L和1B的校正用摄影图像进行鸟瞰图变换而得到的鸟瞰图图像分别作为图8所示的鸟瞰图图像50F、50R、50L和50B。

具体而言，以鸟瞰图图像50F为基准，按照使鸟瞰图图像50F上的校正图案A1与鸟瞰图图像50R上的校正图案A1重叠的方式对鸟瞰图图像50R进行刚体变换，并且，按照使鸟瞰图图像50F上的校正图案A2与鸟瞰图图像50L上的校正图案A2重叠的方式对鸟瞰图图像50L进行刚体变换。进而，然后，按照使鸟瞰图图像50B上的校正图案A3和A4、与刚体变换后的鸟瞰图图像50R和50L上的校正图案A3和A4重叠的方式对鸟瞰图图像50B进行刚体变换。然后，根据各刚体变换中使用的移动平行矩阵T_n和旋转矩阵R_n计算单应矩阵H_n’(参照上述式(3b)等)。可认为这里算出的单应矩阵H_n’是最终应求取的单应矩阵H_n’的初始值，在接下来的步骤S14中被最佳化。即，步骤S13中，进行单应矩阵的初始校正。

通过刚体变换应重叠的校正图案的形状与已知的正方形不同，相互不一致的情况很多。此时，按照使对应的特征点间的位置误差的总和(在后述的图15的例子中，为(d1+d2+d3+d4))最小的方式进行刚体变换。另外，如上述例子那样，在以鸟瞰图图像50F为基准，对其他鸟瞰图图像进行刚体变换时，针对鸟瞰图图像50F的单应矩阵H₁和单应矩阵H₁’相同。

图13(a)表示通过步骤S13的刚体变换合成的图像、即刚刚进行初始校正后的全周鸟瞰图图像。图13(a)(和后述的图13(b))中，纸面上方与鸟瞰图图像50F对应，纸面下方与鸟瞰图图像50B对应。从标注了标记313和314的部分可见，校正图案A3和A4的部分被表示为两重。这是由于若使用如上述的刚体变换方法，则会对最后合成的鸟瞰图图像50B蓄积误差。

因此，在步骤S14中，仅对与照相机1B对应的单应矩阵H₄’进行最佳化。具体而言，假设刚体变换后的鸟瞰图图像50R和50L上的校正图案A3和A4的坐标位置上不包含误差，求取下述单应矩阵，该单元矩阵如图14所示那样，将照相机1B的校正用摄影图像上的校正图案A3和A4的各特征点的坐标变换为刚体变换后的鸟瞰图图像50R和50L上的校正图案A3和A4的各特征点的坐标。并且，将在此求出的单应矩阵作为最终的单应矩阵H₄’进行处理。

此外，为了便于说明，设为在步骤S13中对鸟瞰图图像50B进行刚体变换后求取单应矩阵H₄’的初始值，但如从步骤S14的处理内容可以理解，第一实施例中，在步骤S13的阶段无需计算单应矩阵H₄’。

图13(b)表示利用步骤S14的最佳化处理后的单应矩阵H_n’生成的全周鸟瞰图图像。在图13(b)中，可知在图13(a)的全周鸟瞰图图像中观测到的两重描绘等得到改善。

对步骤S14的处理内容的说明进行补充。通过鸟瞰图变换和刚体变换，各校正用摄影图像的各点被投影到全局坐标上的各点。

照相机1R的校正用摄影图像上的校正图案A3的各特征点通过单应矩阵H₂’被投影到全局坐标上，在全局坐标上，将与照相机1R对应的校正图案A3作为描绘了图15所示的四边形340的图案。

照相机1B的校正用摄影图像上的校正图案A3的各特征点通过单应矩阵H₄’被投影到全局坐标上，在全局坐标上，将与照相机1B对应的校正图案A3作为描绘了图15所示的四边形350的图案。

四边形340由与四个特征点向全局坐标上的投影点相当的四个顶点341～344形成，四边形350由与四个特征点向全局坐标上的投影点相当的四个顶点351～354形成。并且，顶点341、342、343和344分别与顶点351、352、353和354对应。

在全局坐标上，将顶点341与顶点351之间的位置误差、顶点342与顶点352之间的位置误差、顶点343与顶点353之间的位置误差、顶点344与顶点354之间的位置误差分别设为d1、d2、d3和d4。位置误差作为进行对比的顶点间的距离。例如，位置误差d1是顶点341与顶点351的距离。位置误差d2～d4也同样。对于在照相机1L和照相机1B之间相关的校正图案A4也同样会产生这样的位置误差。因此，在对单应矩阵H₄’进行最佳化时，参照与校正图案A3有关的四个位置误差和与校正图案A4有关的四个位置误差。设该总计八个位置误差的总和为误差评价值D_A。由于位置误差是进行对比的顶点间的距离，因此始终是0或正值。在式(6)中表示误差评价值D_A的计算式。在式(6)的右边，针对(d1+d2+d3+d4)的∑是指求取所参照的校正图案的个数量的总和。

$D_A=\mathrm{\Σ}\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\mathrm{di}\·\·\·\left(6\right)$

步骤S14中，求取使该误差评价值D_A最小化的单应矩阵H₄’。更具体而言，例如，通过反复运算来调整单应矩阵H₄’，直至误差评价值D_A达到规定的阈值以下。

在图10的步骤S13中算出的单应矩阵H₁’～H₃’和通过步骤S14最终算出的单应矩阵H₄’，被作为根据摄影图像生成全周鸟瞰图图像用的校正完毕变换参数进行处理。然后，结束图10的校正处理。

实际上，例如，根据校正完毕变换参数，生成表示摄影图像上的各坐标(x_n，y_n)与全周鸟瞰图图像上的各坐标(X’，Y’)的对应关系的表格数据，将其存储到未图示的存储器(查找表)中。若利用该表格数据，则可根据各照相机的摄影图像生成全周鸟瞰图图像，使该全周鸟瞰图图像所包含的投影误差足够小。此时，也可将上述表格数据捕捉为校正完毕变换参数。

此外，作为根据各图像检测特征点的方法，也可采用如上述那样的利用了图像处理的自动检测方法，还可采用基于对操作部(未图示)进行手动操作的手动检测方法。另外，作为用于使误差评价值D_A最小化的方法，可采用公知的方法。例如，使用多维的下降单纯形法(downhill simplexmethod)或鲍威尔(Powell)法等即可(例如，参照“William H.Press，「ニユ一メリカルレシピ·イン·シ一  C言語による数值計算のレシピ」(基于C语言的数值计算的方法)，技术评论社，1993年发行”)。由于这些方法是公知的，因此省略在此的说明。

在图10的校正处理后，图5的图像处理装置10将由各照相机逐个获得的各摄影图像利用校正完毕变换参数逐个变换为全周鸟瞰图图像。图像处理装置10向显示装置11供给表示各全周鸟瞰图图像的影像信号。显示装置11将各全周鸟瞰图图像作为运动图像进行显示。

这样，在第一实施例中，首先，通过平面射影变换，对照相机1F、1R和1L的各摄影图像进行投影，按照使公共的校正图案重叠的方式使各鸟瞰图图像对位，从而求取将照相机1F、1R和1L的各摄影图像进行坐标变换到全局坐标上用的单应矩阵H₁’～H₃’。接着，将由照相机1R和1L摄影的校正图案A3和A4利用单应矩阵H₂’、H₃’，坐标变换到全局坐标上。然后，基于通过该坐标变换获得的、全局坐标上的校正图案A3和A4的坐标信息和由照相机1B摄影的校正图案A3和A4的坐标信息(校正用摄影图像上的坐标信息)，按照使公共的校正图案的配置在全局坐标上大体一致的方式求取单应矩阵H₄’(参照图14)。将第一次求出的单应矩阵H₁’～H₃’和第二次求出的单应矩阵H₄’合并后的矩阵作为校正完毕变换参数进行处理。此时，图像处理装置10包括求取作为第一参数的单应矩阵H₁’～H₃’的第一参数导出单元、和求取作为第二参数的单应矩阵H₄’的第二参数导出单元。

根据本实施例，在校正处理时，操作人员无需对配置位置进行特殊考虑，而适当地将各校正图案配置到各公共摄影区域内即可。并且，能使各校正图案的大小比由所有照相机得到的全体摄影区域或各照相机的摄影区域足够小。因此，容易进行校正环境的配备。另外，不需要照相机的安装角度和照相机的配置高度等照相机外部信息或照相机的焦点距离等照相机内部信息，这也有助于校正作业的简化。另外，通过进行如步骤S14的调整处理，能在多个图像的接合部分进行圆滑的图像合成。

《第二实施例》

接着，对第二实施例进行说明。图16是表示第二实施例涉及的校正处理的顺序的流程图。第二实施例涉及的校正处理由步骤S11～S13的各处理和步骤S24的处理构成。步骤S11～S13的各处理与第一实施例(图10)中的这些步骤相同。

步骤S13中，应该按照使对应的校正图案的坐标一致的方式通过刚体变换对步骤S12中获得的各鸟瞰图图像进行对位后合成，但如在第一实施例中已经说明过的那样(参照图15等)，由于误差原因，通常，特征点在合成图像(全周鸟瞰图图像)上的投影点在两个照相机之间不完全一致。在第一实施例中，通过步骤S14来降低该投影点的不一致，但在第二实施例中，通过步骤S24来降低该投影点的不一致。图17(a)～(d)是特别关注了步骤S24的处理的表示图16的校正处理的流程的示意图。

第二实施例中，在步骤S12中进行了鸟瞰图变换之后，在步骤S13中对各鸟瞰图图像进行刚体变换后进行四幅鸟瞰图图像的对位，然后，转移到步骤S24。通过鸟瞰图变换和刚体变换，各校正用摄影图像的各点被投影为全局坐标上的各点。图17(a)表示刚刚进行了步骤S13的对位后的(刚刚进行初始校正之后)的、全局坐标上的各校正图案的情况。进而，在图18(a)中表示刚刚进行了步骤S13的对位之后的、校正图案A1向全局坐标上的投影图像。

照相机1F的校正用摄影图像上的校正图案A1的各特征点通过在步骤S13中算出的单应矩阵H₁’而投影到全局坐标上，在全局坐标上，照相机1F所对应的校正图案A1作为描绘了四边形370的图案。

照相机1R的校正用摄影图像上的校正图案A1的各特征点通过在步骤S13中算出的单应矩阵H₂’而投影到全局坐标上，在全局坐标上，照相机1R所对应的校正图案A1作为描绘了四边形380的图案。

四边形370由相当于四个特征点在全局坐标上的投影点的四个顶点371～374形成，四边形380由相当于四个特征点在全局坐标上的投影点的四个顶点381～384形成。并且，顶点371、372、373、374分别与顶点381、382、383、384对应。

图像处理装置10在全局坐标上求取顶点371与381的中点391、顶点372与382的中点392、顶点373与383的中点393、顶点374与384的中点394，并求取以中点391～394为四个顶点的四边形390。图18(b)中表示四边形390。四边形390相对于四边形370与380的平均四边形。图17(b)中表示算出平均四边形的阶段的示意图。由于误差原因，四边形370、380和390大多不会准确地成为已知的正方形。

如上所述，图像处理装置10对全局坐标上的校正图案的理想形状进行识别。图像处理装置10如图18(b)所示，认为该具有理想形状的正方形400与四边形390重叠，求取四边形390与正方形400之间的各顶点的位置误差的总和最小的正方形400的位置。与图15的四边形340与四边形350之间的(d1+d2+d3+d4)同样地计算位置误差的总和。在全局坐标上，在使四边形390与正方形400的重心一致的基础上，使正方形400绕重心旋转，探索上述总和的最小值。然后，将对该总和赋予最小值的正方形400的四个顶点确定为校正图案A1应投影的投影目标点。

同样，求取校正图案A2～A4应投影的投影目标点。图19中表示求出的各校正图案的各特征点的投影目标点(共计16点)。这样，由投影目标点形成的图形形状修正为正方形。图17(c)表示进行了该修正后的阶段的示意图。

然后，在步骤S24中，按照照相机1F的校正用摄影图像上的校正图案A1的四个特征点投影到针对校正图案A1的四个投影目标点上、且照相机1F的校正用摄影图像上的校正图案A2的四个特征点投影到针对校正图案A2的四个投影目标点上的方式，重新计算单应矩阵H₁’。实际上，完全满足该条件的单应矩阵H₁’大多情况下并不是唯一求得，因此，与通过上述误差评价值D_A的计算的单应矩阵的最佳化方法同样，按照使实际投影的点与投影目标点的位置误差(共计产生八个位置误差)的总和最小化的方式求取单应矩阵H₁’即可。

同样，对单应矩阵H₂’～H₄’也重新计算。例如，按照照相机1R的校正用摄影图像上的校正图案A1的四个特征点投影到针对校正图案A1的四个投影目标点上、且照相机1R的校正用摄影图像上的校正图案A3的四个特征点投影到针对校正图案A3的四个投影目标点上的方式，重新计算单应矩阵H₂’。图17(d)表示重新计算了各单应矩阵后得到的全周鸟瞰图图像。

通过步骤S24的重新计算而最终得到的单应矩阵H₁’～H₄’被作为根据摄影图像生成全周鸟瞰图图像用的校正完毕变换参数进行处理。然后，结束图16的校正处理。实际上，例如根据校正完毕变换参数，生成与第一实施例中说明过的同样的表格数据。此时，也可将该表格数据作为校正完毕变换参数。

在图16的校正处理后，图5的图像处理装置10将由各照相机逐个获得的各摄影图像利用校正完毕变换参数逐个变换为全周鸟瞰图图像。图像处理装置10向显示装置11供给表示各全周鸟瞰图图像的影像信号。显示装置11将各全周鸟瞰图图像作为运动图像进行显示。

这样，在第二实施例中，首先，在对公共的校正图案进行摄影的照相机之间(即照相机1F-1R之间、照相机1F-1L之间、照相机1B-1L之间、照相机1B-1R之间)独立地进行刚体变换，使得公共的校正图案的位置在全局坐标上大体一致，从而暂时求取单应矩阵H₁’～H₄’。接着，利用暂定的单应矩阵H₁’～H₄’，将各校正图案进行坐标变换到全局坐标上。然后，通过该坐标变换而得到的、全局坐标上的各校正图案的形状的修正，使单应矩阵H₁’～H₄’最佳化。

根据第二实施例，也能获得与第一实施例同样的效果。第二实施例所涉及的校正处理尤其在初始校正的精度不高的情况下有效。

《第三实施例》

接着，作为说明针对单应矩阵H₁’～H₄’的其他最佳化方法的实施例，对第三实施例进行说明。第三实施例相当于第二实施例的变形例。表示第三实施例涉及的校正处理的顺序的流程图与第二实施例涉及的流程图(图16)相同，第三实施例涉及的校正处理由步骤S11～S13和S24构成。但是，在第三实施例中，步骤S24中的单应矩阵H₁’～H₄’的最佳化方法与第二实施例不同。因此，以下，对作为与第二实施例的不同点的该最佳化方法进行说明。

在包括第三实施例的本实施方式中，将校正图案的形状作为正方形。正方形对具有一个自由度的旋转和具有两个自由度的平行移动而言不变。因此，一般的平面射影变换矩阵具有八个自由度，相对于此，本实施例中处理的单应矩阵(H_n或H_n’)的自由度在5以下。而且，在本实施例中，使全局坐标上的校正图案A1的一边固定。若使全局坐标上的校正图案A1的一边固定并且利用校正图案A2和A3的特征点的坐标信息，则可唯一确定全周鸟瞰图图像上的各鸟瞰图图像的配置位置。若使全局坐标上的校正图案A1的一边固定，则将单应矩阵H₁’和H₂’各自的自由度限制为4，单应矩阵H₃’和H₄’各自的自由度限制为5。考虑到该情况，仅将形成单应矩阵H₁’～H₄’的要素内共计18个要素h₁₁’～h₁₄’、h₂₁’～h₂₄’、h₃₁’～h₃₅’、h₄₁’～h₄₅’作为调整对象要素进行处理(参照上述式(5))，通过使这些调整对象要素最佳化来进行单应矩阵H₁’～H₄’的最佳化。若这些调整对象要素的值固定，则此外的要素(h₁₅’等)可唯一确定。

进一步具体说明。在全局坐标上使各鸟瞰图图像对位时，使鸟瞰图图像50F上的校正图案A1的一边与该一边所对应的鸟瞰图图像50R上的校正图案A1的一边完全重合，并且，唯一确定全局坐标上的该一边的两端坐标位置。即，按这种方式调整单应矩阵H₁’和H₂’。接着，在全局坐标上，按照鸟瞰图图像50F的校正图案A2与鸟瞰图图像50L的校正图案A2重合(大致重合)、且鸟瞰图图像50R的校正图案A3与鸟瞰图图像50B的校正图案A3重合(大致重合)的方式，通过鸟瞰图图像50L与50B的刚体变换进行对位，暂时求取单应矩阵H₃’和H₄’。

由此，如图20所示，全局坐标上的(换而言之，全周鸟瞰图图像上的)各鸟瞰图图像的配置位置唯一确定。图20中，标注了标记450的实线边表示在全局坐标上两端坐标位置唯一确定的边，该边450的长度与基于已知信息的已知的正方形的一边的长度相等。

将通过如上述的对位而求出的单应矩阵H_n’作为初始值，进行如下的调整处理。

图21表示利用单应矩阵H₁’的初始值，将照相机1F的校正用摄影图像投影到全局坐标上后的图像(即，上述的对位后的鸟瞰图图像50F)。图21中，四边形460和480分别表示实际的校正图案A1与A2的投影图形。标注了标记450的边与图20中的相应边相同。校正图案A1所对应的四边形460的一边与边450完全一致。

考虑按照将基于已知信息的已知的正方形470和490分别与四边形460和480大致重合的方式进行配置。此时，如图21所示，应用如下限制条件：使正方形470的一边与边450一致，使正方形490的一个顶点与四边形480的一个顶点一致，并且，使以一致的一个顶点为端点的一边在正方形490与四边形480之间重合。

此时，在四边形460与正方形470之间，两个顶点一致，另外两个顶点不一致(但也有一致的情况)。关于这另外的两个顶点，设对应的顶点间的位置误差为Δ₁和Δ₂。另一方面，在四边形480与正方形490之间，一个顶点一致，另外三个顶点不一致(但也有一致的情况)。关于这另外的三个顶点，设对应的顶点间的位置误差为Δ₃、Δ₄和Δ₅。

这样的位置误差在利用单应矩阵H₂’的初始值将照相机1R的校正用摄影图像投影到全局坐标上后的图像中也同样产生。在利用单应矩阵H₃’的初始值将照相机1L的校正用摄影图像投影到全局坐标上后的图像中，应用如下限制条件；校正图案A2的一个顶点与已知的正方形的一个顶点一致，并且使以一致的一个顶点为端点的一边在校正图案A2与已知的正方形之间重合。对于照相机1B与照相机1L的情况同样。由此，对于自由度为4的单应矩阵H₁’和H₂’而言，分别产生五个位置误差，对于自由度为5的单应矩阵H₃’和H₄’而言，分别产生六个位置误差。因此，根据5×2+6×2＝22，所产生的位置误差的总数为22。

在第三实施例中，将该共计22个位置误差的总和作为误差评价值D_B，按照使误差评价值D_B最小化的方式使各单应矩阵H_n’最佳化。使误差评价值D_B最小化的方法与第一实施例涉及的误差评价值D_A最小化的方法相同。

最佳化后的单应矩阵H₁’～H₄’作为根据摄影图像生成全周鸟瞰图图像用的校正完毕变换参数进行处理。然后，结束第三实施例涉及的校正处理。实际上，例如，根据校正完毕变换参数，生成与第一实施例中说明过的同样的表格数据。此时，也可将该表格数据作为校正完毕变换参数。

在校正处理后，图5的图像处理装置10将由各照相机逐个获得的各摄影图像利用校正完毕变换参数逐个变换为全周鸟瞰图图像。图像处理装置10向显示装置11供给表示各全周鸟瞰图图像的影像信号。显示装置11将各全周鸟瞰图图像作为运动图像进行显示。

《第四实施例》

上述第一～第三实施例中，在初始校正时利用平面射影变换。即，利用平面射影变换进行鸟瞰图变换，然后，通过刚体变换求取单应矩阵H_n’的初始值。但是，在进行初始校正时，也可取代平面射影变换，而利用透视投影变换。将利用透视投影变换的情况作为第四实施例进行说明。

关于透视投影变换是公知的(例如参照特开2006-287892号公报)。对通过透视投影变换将一台照相机的摄影图像变换为鸟瞰图图像的方法进行简单说明。用(x_bu、y_bu)表示摄影图像上的各点的坐标，用(x_au、y_au)表示该摄影图像由透视投影变换变换后的鸟瞰图图像上的各点的坐标，用于将坐标(x_bu、y_bu)变换为坐标(x_au、y_au)的式子如下述式(7)所示。

$\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]=\left[\begin{array}{c}\frac{x_{\mathrm{bu}}(\mathrm{fh}\sin {\mathrm{\θ}}_a+H_a{y}_{\mathrm{au}}{\cos \mathrm{\θ}}_a)}{{\mathrm{fH}}_a}\\ \frac{\mathrm{fh}({f\cos \mathrm{\θ}}_a-y_{\mathrm{bu}}{\sin \mathrm{\θ}}_a)}{H_a({f\sin \mathrm{\θ}}_a+y_{\mathrm{bu}}{\cos \mathrm{\θ}}_a)}\end{array}\right]\·\·\·\left(7\right)$

这里，θ_a如图22所示，是地面与照相机的光轴所成的角度(其中，90°＜θ_a＜180°)。此外，图22中，作为照相机的例子表示了照相机1B。h是基于照相机的高度的量(照相机坐标系与全局坐标系的、高度方向的平行移动量)。f是照相机的焦点距离。鸟瞰图图像是将实际的照相机的摄影图像变换为从假想照相机的视点(假想视点)观察的图像后的图像，H_a表示该假想照相机的高度。θ_a、h和H_a可作为照相机外部信息(照相机的外部参数)，f可作为照相机内部信息(照相机的内部参数)。利用基于这些信息的式(7)，对照相机的摄影图像中的各点进行坐标变换，可生成鸟瞰图图像。

图像处理装置10对透视投影变换中需要的各照相机有关的θ_a、h、f和H_a进行预先识别，基于式(7)，对各照相机的校正用摄影图像中的各点进行坐标变换，从而生成各鸟瞰图图像。然后，通过与第一～第三实施例中的某一个同样的方法对各鸟瞰图图像进行刚体变换，使各鸟瞰图图像对位。并且，根据该对位后的各鸟瞰图图像中的校正图案的各特征点的坐标(全局坐标上的坐标值)、与各校正用摄影图像中的校正图案的各特征点的坐标(校正用摄影图像上的坐标值)的对应关系，求取各单应矩阵H_n’的初始值。

在求出各单应矩阵H_n’的初始值之后的各单应矩阵H_n’的最佳化处理与第一～第三实施例中的某一个相同。

在本实施例中应用第一实施例时，按如下方式进行处理。即，在通过透视投影变换得到了各鸟瞰图图像之后，通过刚体变换仅对照相机1F、1R和1L所对应的鸟瞰图图像进行对位，根据该对位后的各鸟瞰图图像中的校正图案的各特征点的坐标(全局坐标上的坐标值)、与各校正用摄影图像中的校正图案的各特征点的坐标(校正用摄影图像上的坐标值)的对应关系，求取各单应矩阵H₁’～H₃’。并且，如在第一实施例中所述，使误差评价值D_A最小化来求取单应矩阵H₄’。

《变形等》

作为上述实施方式的变形例或注释事项，以下记载注释1～注释5。各注释所记载的内容只要不矛盾就可以任意组合。

[注释1]

进行平面射影变换时，在变换前图像与变换后图像之间需要四个特征点。考虑到该情况，在上述实施方式中，采用具有四个特征点的正方形作为校正图案的形状例。但校正图案的形状未必要为正方形。

尤其是，在进行变换为鸟瞰图图像之后的处理时，各校正图案所包含的特征点的总数在2以上即可。即，例如，如图23所示，在公共摄影区域3_FR、3_FL、3_BR和3_BL内，即使分别配置具有线段形状的校正图案a1、a2、a3和a4，也能进行通过针对各鸟瞰图图像的刚体变换的单应矩阵H_n’的调整。图24表示利用了校正图案a1～a4时的刚体变换的情况。各校正图案a1～a4包括线段的两端作为特征点，全局坐标上的线段的长度已知。若在各公共摄影区域内配置的各校正图案包括两个以上的线段的长度，则通过参照全局坐标上理想情况下应一致的投影点之间的位置误差，可更好地调整单应矩阵H_n’。

[注释2]

上述的鸟瞰图图像相当于将各照相机的摄影图像投影到地面上后的图像。即，上述实施方式中，通过将各照相机的摄影图像投影到地面上后进行合成，来生成全周鸟瞰图图像，但摄影图像应被投影的面也可为地面以外的任意的规定面(例如规定平面)。

[注释3]

以利用了作为车载照相机的照相机1F、1R和1B的视场支援系统为例对本发明的实施方式进行了说明，但也可将应与图像处理装置10连接的各照相机设置在车辆以外。即，本发明也可对建筑物等中设置的监视系统应用。在这种监视系统中，与上述实施方式同样，来自多个照相机的各摄影图像被投影到规定面上后进行合成，从而在显示装置上显示合成图像。

[注释4]

图5的图像处理装置10的功能可通过硬件、软件、或硬件与软件的组合来实现。将由图像处理装置10实现的功能的全部或一部分记述为程序，也可通过在计算机上执行该程序，来实现该功能的全部或一部分。

[注释5]

在校正处理时进行变换参数的调整后导出校正完毕变换参数的参数导出单元内置于图像处理装置10中，包括该参数导出单元并进行照相机的校正处理的照相机校正装置也内置于图像处理装置10中。另外，参数导出单元包括暂时求取变换参数(单应矩阵H_n’)的暂定参数导出单元、调整暂定变换参数的参数调整单元。在校正处理后，图像处理装置10发挥通过将摄影图像投影到规定面上后进行合成来生成合成图像(在上述实施方式中为全周鸟瞰图图像)的合成图像生成单元。

Claims (6)

1、一种照相机校正装置，包括参数导出单元，该参数导出单元求取将来自N台照相机的各摄影图像投影到规定面上进行合成用的参数，其中，N是3以上的整数，

所述N台照相机由第一、第二、…和第N照相机构成，

第i照相机与此外的N-1台照相机的某一个具有公共摄影区域，整体上存在多个公共摄影区域，其中，i是1以上且N以下的整数，

所述参数导出单元基于各公共摄影区域内配置的校正图案的由各照相机得到的摄影结果，来求取所述参数，

各校正图案相互独立配置。

2、根据权利要求1所述的照相机校正装置，其特征在于，

所述公共摄影区域至少分别存在于所述第一照相机与所述第二照相机之间、所述第二照相机与第三照相机之间、…及第N-1照相机与所述第N照相机之间。

3、根据权利要求2所述的照相机校正装置，其特征在于，

所述参数导出单元，在将各摄影图像被投影且被合成的坐标定义为全局坐标，

将所述第N-1照相机与所述第N照相机之间的公共摄影区域内配置的校正图案称为关注校正图案的情况下，

所述参数导出单元包括：

第一参数导出单元，其利用由所述第一～所述第N-1照相机得到的各校正图案的摄影结果，求取用于将所述第一～所述第N-1照相机的各摄影图像进行坐标变换到所述全局坐标上的第一参数；和

第二参数导出单元，其基于利用所述第一参数将由所述第N-1照相机拍摄的所述关注校正图案进行坐标变换到所述全局坐标上而得到的所述关注校正图案的坐标信息、和由所述第N照相机拍摄的所述关注校正图案的坐标信息，求取用于将所述第N照相机的摄影图像进行坐标变换到所述全局坐标上的第二参数；

所述参数导出单元根据所述第一参数和所述第二参数求取所述参数。

4、根据权利要求1所述的照相机校正装置，其特征在于，

所述参数导出单元将各摄影图像被投影且被合成的坐标定义为全局坐标，

对于所述参数导出单元而言各校正图案的形状为已知，该形状作为已知信息被预先识别，

所述参数导出单元在利用由各照相机得到的各校正图案的摄影结果暂时求出所述参数之后，利用暂定的所述参数将由各照相机拍摄的各校正图案进行坐标变换到所述全局坐标上，基于该坐标变换后的各校正图案的形状和所述已知信息，对暂定的所述参数进行调整，经过该调整后最终求取所述参数。

5、一种车辆，其中设置有N台照相机和图像处理装置，所述图像处理装置包括权利要求1所述的照相机校正装置。

6、一种照相机校正方法，求取将来自N台照相机的各摄影图像投影到规定面上进行合成用的参数，其中，N是3以上的整数，

所述N台照相机由第一、第二、…和第N照相机构成，

第i照相机与此外的N-1台照相机的某一个具有公共摄影区域，整体上存在多个公共摄影区域，其中，i是1以上且N以下的整数，

该照相机校正方法基于各公共摄影区域内配置的校正图案的由各照相机得到的摄影结果，来求取所述参数，

各校正图案相互独立配置。

Images