CN101971207A - 图像处理装置及方法、驾驶辅助系统、车辆 - Google Patents

Abstract

本发明提供一种图像处理装置及方法、驾驶辅助系统、车辆。从通过设置在车辆中的摄像机得到的摄像机图像中提取四个特征点，另一方面，设定应由摄像机图像生成的偏差校正图像上的四个基准点的位置，进行基于单应性矩阵的坐标变换，以使四个特征点的坐标值变换为四个基准点的坐标值。在偏差校正图像上，以图像中心线与车体中心线吻合的方式设定各坐标值。判定在所生成的偏差校正图像的整体区域内，是否包含不存在以摄像机图像的图像数据为基础的图像数据的图像缺欠区域，当包含它时，使两个基准点或四个基准点的位置左右对称地移动，并根据移动后的基准点的位置，再计算单应性矩阵。

Description

图像处理装置及方法、驾驶辅助系统、车辆

技术领域

本发明涉及针对来自摄像机的输入图像来实现图像处理的图像处理装置及方法。此外，本发明涉及利用它们的驾驶辅助系统及车辆。

背景技术

对车辆的驾驶者而言，车辆后方易于成为死角。于是，公开有以下方法，即：在车辆后部设置监视车辆后方的背面摄像机，并在驾驶座附近配置的显示装置中显示从背面摄像机得到的摄像机图像。

通常，由于车辆的结构或设计上的制约，如图15所示，背面摄像机多被安装在从车辆的后部中央偏移的位置(偏差位置)。在图15中，符号901表示背面摄像机。若存在这样的位置偏移，则在从背面摄像机得到的摄像机图像上，车体后部中心会不位于图像的中心线上。例如，即使将图像的中心线的位置与图像上的车体后部中心位置对齐，也会由于摄像机光轴从车体中心线偏移，所以实际空间上的车辆的移动与显示画面上的映像的移动不吻合，驾驶者会对边看映像边驾驶感到不协调。

于是，公开有以下方法，即：在从车辆的后部中央偏移的位置设置背面摄像机的情况下，根据摄像机图像的每个光栅的偏差量，以规定的倍率使摄像机图像内的规定范围进行伸缩(参照下述专利文献)。在该方法中，车辆的行驶方向上的车体中心线位于图像的中心线上，并且，以车辆的行驶方向上的车辆两端与图像的两端对应的方式，将摄像机图像左右分开，而个别地对左右的部分图像进行伸缩校正。

然而，在此方法中，由于用于进行校正的参数调整很复杂，在摄像机机的安装位置产生变更时，难于进行与其变更的对应。此外，由于将摄像机图像左右分开而个别地对左右的部分图像进行伸缩校正，所以左右图像的尺度变得不均匀。

此外，虽然着眼于在从车辆的后部中央偏移的位置上配置背面摄像机的情况，但存在背面摄像机的光轴方向相对于车辆的行驶方向倾斜的情形。在这种情况下，也会产生与上述相同的问题。

另一方面，一般公知以下方法，即：根据变换前图像上的四个特征点的坐标值与变换后图像上的四个基准点的坐标值的对应关系来设定单应性矩阵(homography matrix)，并根据该单应性矩阵来进行坐标变换。如果利用该坐标变换来适当地设定各坐标值，则能够生成图像上的车体后部中心位置与图像的中心线的位置吻合的偏差校正图像。但是，若使用的单应性矩阵不恰当，则在偏差校正图像中会产生图像的缺欠。

所谓图像的缺欠是指偏差校正图像的整体像在应出现的偏差校正图像的整体区域内包括图像缺欠区域。所谓图像缺欠区域是指不存在以摄像机图像的图像数据为基础的图像数据的区域。本来，根据以摄像机的拍摄结果为基础的摄像机图像的图像数据应生成偏差校正图像的全像素的图像数据，但若作为图像变换参数的单应性矩阵不合适，则偏差校正图像内的一部分图像的对应像素会在摄像机图像内不存在，结果，产生图像缺欠。

[专利文献1]JP特开2005-129988号公报

发明内容

于是，本发明的目的在于，提供一种能够与各种摄像机的安装位置或安装角度对应，并且能够抑制图像的缺欠的图像处理装置及图像校正方法。此外，本发明的目的还在于，提供利用它们的驾驶辅助系统及车辆。

本发明的图像处理装置，具有：图像获取单元，其根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像；图像变换单元，其通过坐标变换由所述输入图像生成变换图像，以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置；参数存储单元，其存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数；缺欠判定单元，其判定在使用所述参数存储单元所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内，是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域；和参数调整单元，其在判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时，通过变更所述基准点的位置来调整所述图像变换参数，以便抑制所述图像缺欠区域的产生。

上述图像处理装置，通过以输入图像上的特征点的位置与变换图像上的基准点的位置为基础的坐标变换来生成变换图像。此外，输入图像是以摄像机的拍摄结果为基础的图像，所以摄像机的安装位置及安装角度的状态被反映于输入图像上的特征点的位置。因此，能够生成与各种摄像机的安装位置或安装角度对应的变换图像，即使安装位置等发生变更，也能够易于生成与该变更后的安装位置等对应的图像变换参数。此时，根据图像变换参数，虽然有时变换图像的整体区域内包含图像缺欠区域，但通过参数调整单元会自动地抑制图像缺欠区域的产生。

具体而言，例如，所述参数调整单元，当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时，以减少所述图像缺欠区域的尺寸的方式，使所述基准点的位置向从所述变换图像的中心位置离开的方向移动，从而进行所述图像变换参数的调整。

如上所述，通过将基准点的位置从变换图像的中心位置离开，将缩小变换图像的视野范围，所以能够抑制图像缺欠区域的产生。

更具体而言，例如，所述特征点由包括第一及第二特征点的多个特征点构成，并且所述基准点由包括第一及第二基准点的多个基准点构成，所述第一及第二特征点分别与所述第一及第二基准点对应，所述参数调整单元，当判定为是所述变换图像的整体区域内且在比所述第二基准点更靠近所述第一基准点的区域包含有所述图像缺欠区域时，以减少所述图像缺欠区域的尺寸的方式，使所述第一基准点的位置向从所述中心位置离开的方向移动，另一方面，当判定为是所述变换图像的整体区域内且在比所述第一基准点更靠近所述第二基准点的区域包含有所述图像缺欠区域时，以减少所述图像缺欠区域的尺寸的方式，使所述第二基准点的位置在所述变换图像内向从所述中心位置离开的方向移动。

更具体而言，例如，当考虑为以将所述变换图像在水平或垂直方向上进行二分的中心线作为边界而将所述变换图像分割为第一及第二部分图像时，所述第一及第二基准点分别位于第一及第二部分图像内，所述参数调整单元，在使所述第一及第二基准点之中的一方的位置移动时，同时使另一方的基准点的位置也移动，以使所述第一及第二基准点的位置保持以所述中心线为对称轴呈线对称的关系。

于是，例如，在所述变换图像上，以使所述车辆的行驶方向上的所述车辆的车体中心线与所述中心线吻合的方式，来决定所述特征点的位置及移动前后的所述基准点的位置。

由此，在变换图像上，图像的中心线与车体中心线吻合，并且左右的图像的尺度均等。

此外，例如，通过所述图像变换参数来规定与所述变换图像内的各像素的坐标值对应的坐标变换前的坐标值，所述缺欠判定单元，在该坐标变换前的坐标值全部是所述输入图像内的坐标值时，判定为在所述变换图像的整体区域内未包含所述图像缺欠区域，在求出的所述坐标值中包含所述输入图像外的坐标值时，判定为在所述变换图像的整体区域内包含有所述图像缺欠区域。

本发明的驾驶辅助系统，具有所述摄像机及所述图像处理装置，且将基于由所述图像处理装置的图像变换单元所得到的变换图像的图像输出给显示单元。

本发明的车辆，设置有所述摄像机及所述图像处理装置。

本发明的图像处理方法，执行：图像获取步骤，根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像；图像变换步骤，通过坐标变换由所述输入图像生成变换图像，以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置；参数存储步骤，存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数；缺欠判定步骤，判定在使用所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内，是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域；和参数调整步骤，在判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时，通过变更所述基准点的位置来调整所述图像变换参数，以便抑制所述图像缺欠区域的产生。

(发明效果)

根据本发明，能够提供一种与各种摄像机安装位置或安装角度对应并且能够抑制图像缺欠的图像处理装置及图像校正方法。此外，能够提供利用它们的驾驶辅助系统及车辆。

本发明的意义或效果，通过以下所示的实施方式的说明会更加明确。但是，以下的实施方式，始终是本发明的一个实施方式，本发明乃至各构成要件的用语的意义，不局限于以下实施方式中所记载的意义。

附图说明

图1(a)及(b)分别是从上方看本发明的实施方式的车辆时的平面图及从侧面看车辆时的平面图。

图2是本发明的实施方式驾驶辅助系统的概略整体方框图。

图3(a)及(b)是分别表示从车辆后部中央偏移的位置设置了图2的摄像机的状态的图、及表示倾斜地设置图2的摄像机的状态的图。

图4是表示本发明的实施方式的单应性矩阵的初始值的计算动作的流程图。

图5是表示计算单应性矩阵的初始值时的摄像机的拍摄环境的图。

图6是表示本发明的实施方式的摄像机图像及偏差校正图像的图。

图7是用于说明本发明的实施方式的作为摄像机图像或偏差校正图像的矩形图像的结构的图。

图8是表示本发明的实施方式的偏差校正图像中产生了图像的缺欠的图。

图9是包括图像处理装置的功能方框图的图2的驾驶辅助系统的详细方框图。

图10是表示图2的驾驶辅助系统的动作的流程的流程图。

图11是表示在图9的图像处理装置内定义的XY坐标面上的偏差校正图像的外形的图。

图12(a)及(b)是分别表示没有图像缺欠时的摄像机图像与偏差校正图像的关系图、及有图像缺欠时的摄像机图像与偏差校正图像的关系图。

图13(a)、(b)及(c)是分别表示包括两个图像缺欠区域的偏差校正图像的图、该偏差图像的第一图像区域的放大图、及该偏差图像的第四图像区域的放大图。

图14是表示包括两个图像缺欠区域的其它偏差校正图像的图。

图15是表示现有技术中的在从车辆后部中央偏移的位置设置后部摄像机的状态的图。

图中：

1-摄像机，

2-图像处理装置，

3-显示装置，

4-操作部，

11-图像输入部，

12-镜头变形校正部，

13-图像变换部，

14-缺欠判定部，

15-参数调整部，

16-参数存储部，

17-显示用图像生成部。

具体实施方式

以下，对本发明的实施方式，参照附图来具体地进行说明。在所参照的各图中，对相同部分赋予相同符号，原则上省略与相同部分相关的重复说明。

图1(a)是从上方看汽车即车辆100的平面图。图1(b)是从侧面看车辆100的平面图。车辆100为配置在路面上的汽车。在车辆100的后部，设置有用于辅助车辆100后方的安全确认的摄像机1。摄像机1被设置在车辆100上，以使在车辆100的后方侧具有视野。带有符号105的虚线扇形区域，表示摄像机1的拍摄区域(视野)。摄像机1被向后下方设置，以使摄像机1的视野中包括车辆100附近的后方侧路面。此外，作为车辆100，虽然例示了普通乘用车，但车辆100也可以是普通乘用车以外(货车等)的车。路面是处于水平面上。

当前，以车辆100为基准，在现实空间(实际的空间)中，定义作为虚拟轴的X_C轴及Y_C轴。X_C轴及Y_C轴是路面上的轴，X_C轴与Y_C轴相互正交。在由X_C轴及Y_C轴构成的二维坐标系中，Y_C轴与车辆100的行驶方向平行，车辆100的车体中心线位于Y_C轴上。在此所谓车辆100的行驶方向是指车辆100直行时的行驶方向。此外，所谓车体中心线是指与车辆100的行驶方向平行的车体的中心线。更具体而言，所谓车体中心线，是指通过虚拟线111和虚拟线112之间的中心的线，虚拟线111是通过车辆100的右端且与Y_C轴平行的线，虚拟线112是通过车辆100的左端且与Y_C轴平行的线。此外，通过虚拟线113和虚拟线114之间的中心的线位于X_C轴上，虚拟线113是通过车辆100的前端且与X_C轴平行的线，虚拟线114是通过车辆100的后端且与X_C轴平行的线。虚拟线111～114，是路面上的虚拟线。此外，车辆100的右端与车辆100的车体的右端是相同含义。针对车辆100的左端也同样。

图2表示本发明的实施方式的驾驶辅助系统的概略整体方框图。驾驶辅助系统具有：摄像机1；图像处理装置2；显示装置3及操作部4。摄像机1，对位于车辆100周边的被摄体(包括路面)进行拍摄，将显示由拍摄得到的图像信号输出给图像处理装置2。图像处理装置2根据从摄像机1得到的图像生成显示用图像。图像处理装置2，将对生成的显示用图像进行显现的映像信号输出给显示装置3，显示装置3根据分配来的映像信号而将显示用图像显示为映像。操作部4是接收基于用户的操作的部位，用户的操作内容被传输给图像处理装置2。

由摄像机1的拍摄而得到的图像称为摄像机图像。由摄像机1的输出信号其本身所显现的摄像机图像，多受镜头变形的影响。因此，图像处理装置2，针对由摄像机1的输出信号其本身所显现的摄像机图像施行镜头变形校正，并根据镜头变形校正后的摄像机图像进行显示用图像的生成。只要没有特别声明，则以下所述的摄像机图像，是指镜头变形校正后的摄像机图像。但是，基于摄像机1的特性，有时也省略镜头变形校正处理。

作为摄像机1，使用采用CCD(Charge Coupled Devices)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等固体摄像元件的摄像机。图像处理装置2，例如由集成电路形成。显示装置3，由液晶显示面板等形成。也可以将导航系统等中包含的显示装置沿用为驾驶辅助系统中的显示装置3。此外，图像处理装置2可组成为导航系统的一部分。图像处理装置2及显示装置3，例如，被设置在车辆100的驾驶座附近。

理想状态而言，摄像机1正确地以朝向车辆后方的方式被配置在车辆后部中央。即，理想状态而言，摄像机1被设置在车辆100上，以使摄像机1的光轴位于包含Y_C轴的垂直面上。然而，由于车辆100的结构或设计上的制约或摄像机1的安装误差，如图3(a)所示，摄像机1大多被设置在从车辆后部中央偏移的位置上，或者如图3(b)所示，摄像机1的光轴大多不与包含Y_C轴的垂直面平行。在这种情况下，摄像机图像的中心线会从摄像机图像上的车体中心线偏移，或摄像机图像会相对于车辆100的行驶方向发生倾斜。本实施方式的驾驶辅助系统，具有生成和显示对这种图像的偏移或倾斜进行补偿的图像的功能。

将对图像的偏移或倾斜进行补偿后的图像称为偏差校正图像。偏差校正图像可通过对摄像机图像进行坐标变换而得到。可认为通过将摄像机图像变换为从与摄像机1的视点不同的虚拟视点看到的图像来生成偏差校正图像。这种坐标变换(或者基于该坐标变换的图像变换)被称为视点变换。

能够根据单应性矩阵(射影变换矩阵)来进行用于由摄像机图像得到偏差校正图像的坐标变换。图像处理装置2，根据摄像机1的拍摄结果而求出单应性矩阵，但暂时计算出的单应性矩阵在后面可被调整。首先，参照图4来说明单应性矩阵的计算方法。图4是表示单应性矩阵的初始值的计算动作的流程图。此外，图4中的步骤S4～S6的处理，例如，通过设置在图像处理装置2内的参数导出部(未图示)来执行。

首先，在步骤S1中，整备校正环境。作为典型的示例，假设：整备了如图5所示的校正环境。但是，以下的校正环境是理想的环境，实际上可含有误差。

首先，在车辆100上设置摄像机1，并在路面上配置车辆100，以使摄像机1的视野内容纳在路面上所描画的白线L1及L2。白线L1及L2，例如，是用于将停车场中的一个停车区划与其它停车区划相区分的标识。在路面上，白线L1与L2，是相互平行的线段，两线段的长度相等。而且，以Y_C轴为对称轴，白线L1与白线L2具有线对称关系。因此，Y_C轴与白线L1及L2平行并且Y_C轴与白线L1的距离和Y_C轴与白线L2的距离一致。此外，在图5中，摄像机1正确地以朝向车辆后方的方式被配置在车辆后部中央，如上所述，在该配置中可包含偏移。

分别以P1及P3来表示白线L1的两端点之中距摄像机1及车辆100远方的端点及近方的端点，分别以P2及P4来表示白线L2的两端点之中距摄像机1及车辆100远方的端点及近方的端点。为了说明的简化，可忽略各白线的粗细(X_C轴方向的长度)。在不忽略白线L1的粗细的情况下，可假设与Y_C轴平行的白线L1的中心线，并将该中心线上的白线L1的两端点作为端点P1及P3即可(针对白线L2也同样)。

在这样的校正环境下，在步骤S2中，使摄像机1进行拍摄而获取原始图像，并在步骤S3中对原始图像实施镜头变形校正。所谓原始图像，是指镜头变形校正前的摄像机图像。将对原始图像实施镜头变形校正后而得到的图像，如上所述，简称为摄像机图像。在步骤S3中得到的摄像机图像为图6所示的摄像机图像210。摄像机图像210内的点P1_A～P4_A，分别表示摄像机图像210上的端点P1～P4，将这些点称为特征点。此外，用符号220表示偏差校正图像，该偏差校正图像是根据由图4的处理应求出的单应性矩阵的初始值对摄像机图像210进行坐标变换后而得到的。

接着在步骤S4中，图像处理装置2，根据摄像机图像210的图像数据，从摄像机图像210提取特征点P1_A～P4_A，来检测出点P1_A～P4_A的位置。

作为提取图像内的白线的端点的方法可采用公知的方法。例如，可采用JP特开昭63-142478号公报、JP特开平7-78234号公报或国际公开号码WO00/7373号所记载的方法。即：例如，针对摄像机图像进行边缘提取处理之后，针对该边缘提取结果进而实施利用Hough变换等的直线提取处理，将得到的线段的端点提取为白线的端点。此外，也可以由用户的手动操作来决定特征点P1_A～P4_A的位置。此外，暂时根据摄像机图像210的图像数据来自动提取特征点P1_A～P4_A的位置之后，为了与提取误差对应，根据需要，也可以由用户通过手动操作将正确的特征点P1_A～P4_A的位置赋予图像处理装置2。

各特征点的位置，由摄像机图像210上的坐标值来表示。当前，作为定义摄像机图像及偏差校正图像的坐标面(坐标系)，假设：将X轴及Y轴设为坐标轴的二维XY坐标面(XY坐标系)。X轴及Y轴相互正交，以(x，y)来表示摄像机图像上的点的坐标值，另一方面，以(x′，y′)表示偏差校正图像上的点的坐标值。x及y，分别表示摄像机图像上的点的位置的X轴分量及Y轴分量。x′及y′分别表示偏差校正图像上的点的位置的X轴分量及Y轴分量。X轴与摄像机图像及偏差校正图像的水平方向(及水平线)平行，Y轴与摄像机图像及偏差校正图像的垂直方向(及垂直线)平行。X轴方向设为与图像的左右方向对应，并且，Y轴方向设为与图像的上下方向对应。此外，以0表示相当于X轴与Y轴的交点的XY坐标面上的原点。

此外，摄像机图像及偏差校正图像设为矩形图像。图7示出表示摄像机图像或偏差校正图像的矩形图像230。在图7中，直线241表示在垂直方向上将矩形图像230进行二分的水平中心线，直线242表示在水平方向上将矩形图像230进行二分的垂直中心线。水平中心线241与矩形图像230的水平线平行(与X轴平行)，垂直中心线242与矩形图像230的垂直线平行(与Y轴平行)。矩形图像230的整体区域被水平中心线241及垂直中心线242分割为4部分。分别将在水平中心线241的上侧且位于垂直中心线242的左侧的图像区域、在水平中心线241的上侧且位于垂直中心线242的右侧的图像区域、在水平中心线241的下侧且位于垂直中心线242的左侧的图像区域、在水平中心线241的下侧且位于垂直中心线242的右侧的图像区域称为第一、第二、第三及第四图像区域，分别将第一、第二、第三及第四图像区域内的图像称为第一、第二、第三及第四部分图像。此外，水平中心线241与垂直中心线242的交点240是矩形图像230的中心点。

在图4的步骤S4中决定了特征点P1_A～P4_A的位置之后，在步骤S5中，图像处理装置2决定应与特征点P1_A～P4_A对应的基准点P1_B～P4_B的位置。基准点P1_B～P4_B表示偏差校正图像上的端点P1～P4，各基准点的位置由偏差校正图像上的坐标值来表示。基准点P1_B～P4_B的位置，例如，被预先设定。或者，通过针对操作部4的操作，由用户指定基准点P1_B～P4_B的位置。

其中，基准点P1_B～P4_B分别设为位于偏差校正图像的第一～第四图像区域内的点。此外，特征点P1_A～P4_A分别设为位于摄像机图像中的第一～第四图像区域内的点。此外，在偏差校正图像中，左右对称地配置基准点P1_B及P3_B与P2_B及P4_B，以使垂直中心线与车体中心线吻合。即，按照基准点P1_B的位置与基准点P2_B的位置以偏差校正图像的垂直中心线为对称轴呈线对称关系，并且基准点P3_B的位置与基准点P4_B的位置以偏差校正图像的垂直中心线为对称轴呈线对称关系的方式，来决定在步骤S5中的P1_B～P4_B的位置的点。

若在步骤S4及S5中决定了四个特征点的坐标值(位置)及四个基准点的坐标值(位置)，则在步骤S6中，图像处理装置2，根据这些坐标值信息来计算单应性矩阵的初始值。当以H表示单应性矩阵时，摄像机图像上的坐标值(x，y)与偏差校正图像上的坐标值(x′，y′)的关系，如以下算式(1)所示。单应性矩阵H是三行三列的矩阵，以h₁～h₉表示该矩阵的各要素。而且，设为h₉＝1(以h₉＝1的方式对矩阵进行正规化)。此外，根据算式(1)，坐标值(x，y)与坐标值(x′，y′)的关系，能够由以下算式(2a)及(2b)表示。

[算式1]

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=H\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$ …(1)

$=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

[算式2]

$x^{\′}=\frac{h_{1}x+h_{2}y+h_3}{h_{7}x+h_{8}y+1}...\left(2a\right)$

$y^{\′}=\frac{h_{4}x+h_{5}y+h_6}{h_{7}x+h_{8}y+1}...\left(2b\right)$

作为根据四组坐标值对应关系而求出单应性矩阵的方法，可采用公知的方法。例如，可以采用JP特开2004-342067号公报中记载的方法(尤其，参照段落[0059]～[0069]中记载的方法)。在步骤S4中决定的特征点P1_A～P4_A的坐标值，分别设为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)及(x₄，y₄)，并且，在步骤S5中决定的基准点P1_B～P4_B的坐标值，分别设为(x₁′，y₁′)、(x₂′，y₂′)、(x₃′，y₃′)及(x₄′，y₄′)。这样，在步骤S6中，图像处理装置2，以使坐标值(x₁，y₁)、(x₂，y₂)、(x₃，y₃)及(x₄，y₄)分别变换为坐标值(x₁′，y₁′)、(x₂′，y₂′)、(x₃′，y₃′)及(x₄′，y₄′)的方式，求出单应性矩阵H的要素h₁～h₈的各值。实际上，以该变换的误差(JP特开2004-342067号公报中的评价系数)被最小化的方式求出要素h₁～h₈的各值。将具有在此求出的要素h₁～h₈的各值的单应性矩阵H作为应在步骤S6中求取的单应性矩阵的初始值。

一旦求出单应性矩阵，就能够根据上述算式(2a)及(2b)将摄像机图像上的任意点变换为偏差校正图像上的点，并在由任意的摄像机图像生成的偏差校正图像上，将垂直中心线与车体中心线吻合。实际上，例如，通过制成按照求出的单应性矩阵的表格数据，从而将其存储在图像处理装置2内的存储器中而生成查找表，并通过参照该表格数据由摄像机图像生成偏差校正图像。该表格数据或单应性矩阵，是对与偏差校正图像上的各像素的坐标值对应的摄像机图像上的坐标值(即，坐标变换前的坐标值)进行规定的参数。以下，将该参数称为图像变换参数。

此外，上述单应性矩阵的初始值的计算方法，始终是示例，只要在采用单应性矩阵的初始值而得到的偏差校正图像上，垂直中心线与车体中心线吻合，则如何计算它均可。

虽然通过如上所述求出图像变换参数，能在偏差校正图像上使垂直中心线与车体中心线吻合，但通过图像变换参数，如图8所示，在偏差校正图像内会产生图像的缺欠。

所谓图像的缺欠是指在应显现偏差校正图像的整体像的偏差校正图像的整体区域内包含图像缺欠区域。所谓图像缺欠区域是指不存在以摄像机图像的图像数据为基础的图像数据的区域。在图8中，带有符号251及252的斜线区域分别是图像缺欠区域。本来，由根据摄像机的拍摄结果的图像数据应生成偏差校正图像的全像素的图像数据，但若图像变换参数不合适，则偏差校正图像内的一部分的像素的对应像素会在摄像机图像内不存在，结果，产生图像缺欠。

即使在未正确地以朝向车辆后方的方式在车辆后部中央配置摄像机1的情况下，当知道以固定的位置及角度完全固定了摄像机1的安装位置及角度时，由于以车辆100作为基准的拍摄区域是不变的，所以能够考虑到摄像机1的安装状态，在驾驶辅助系统的设计阶段恰当地设定好图像变换参数。但是，在用户与准备车辆100分体设置摄像机1并按照车辆100的形状等在车辆100上设置摄像机1时，即使如上所述求出图像变换参数，若不看图像变换结果则也无法知道在偏差校正图像中是否产生图像缺欠。

本实施方式的驾驶辅助系统，具有用于排除图像的缺欠的针对图像变换参数的自动调整功能。以下，对该功能中关注的驾驶辅助系统的结构及动作进行说明。

图9包括图像处理装置2的功能方框图，是图2的驾驶辅助系统的详细方框图。图像处理装置2具有由符号11～17参照的各部位。图10是表示包括用于实现上述自动调整功能的动作的驾驶辅助系统的动作的流程的流程图。

首先，在步骤S11中，图像输入部11从摄像机1接收原始图像的输入。即，图像输入部11接收从摄像机1发送来的原始图像的图像数据，通过在帧存储器(未图示)中存储该图像数据来获取原始图像。所谓原始图像，如上所述，是指镜头变形校正前的摄像机图像。由于在应确保广视角的摄像机1中使用广角镜头，所以原始图像中包含变形。于是，在步骤S12中，镜头变形校正部12针对图像输入部11获取到的原始图像实施镜头变形校正。作为镜头变形校正的方法，可采用JP特开平5-176323号公报中记载的公知的任意方法。如上所述，将在原始图像中实施镜头变形校正后而得到的图像简称为摄像机图像。

在接着步骤S12的步骤S13中，图像变换部13读入参数存储部16所存储的图像变换参数。当初，参数存储部16，虽然存储有在图4的步骤S6中求出的图像变换参数(即，表示单应性矩阵的初始值的图像变换参数)，但如后所述，有时所存储的图像变换参数会被更新。在步骤S13中，读入最新的图像变换参数。接着在步骤S14中，图像变换部13，根据所读入的图像变换参数来对从镜头变形校正部12给予的摄像机图像进行坐标变换(视点变换)，从而生成偏差校正图像。

在步骤S14的处理之后，通过缺欠判定部14执行步骤S15的处理。缺欠判定部14对应在步骤S14生成的偏差校正图像中是否产生了图像的缺欠进行判定。缺欠判定部14，当在偏差校正图像的整体区域内包括图像缺欠区域时，判定为产生了图像的缺欠，当在偏差校正图像的整体区域内不包括图像缺欠区域时，判定为未产生图像的缺欠。

当判断为在偏差校正图像中产生了图像的缺欠时，从步骤S15转移至步骤S16，当判断为未产生图像的缺欠时，转移至步骤S17。

参照图11和图12(a)及(b)，对图像缺欠的意义及有无图像缺欠的判定方法进行补充说明。形成偏差校正图像的各像素应位于的XY坐标面上的坐标值被预先设定，根据其设定内容，XY坐标面上的偏差校正图像的外形位置也被预先确定。在图11和图12(a)及(b)中，带有符号270的框表示XY坐标面上的偏差校正图像的整体区域外形。在该框270内由二维排列的像素组生成偏差校正图像。

缺欠判定部14，根据在步骤S13中读入的图像变换参数，求出与框270内的各像素的坐标值(x′，y′)对应的坐标值(x，y)。于是，当求出的全部坐标值(x，y)是摄像机图像内的坐标值时，即，当能够由摄像机图像的图像数据得到形成偏差校正图像的整个像素的图像数据时，判定为未产生图像缺欠。另一方面，当在求出的全部坐标值(x，y)中存在摄像机图像以外的坐标值时，判定为产生了图像缺欠。图12(a)表示未产生图像缺欠时的坐标变换的情形，图12(b)表示产生了图像缺欠时的坐标变换的情形。在图12(a)及(b)中，框280表示XY坐标面上的摄像机图像的整体区域外形，且仅在框280内存在摄像机图像的图像数据。

当在步骤S15中判断为产生了图像的缺欠时，在步骤S16中，根据该判断结果，由参数调整部15进行图像变换参数的调整。

对步骤S16的调整方法进行说明。参数调整部15，当在形成偏差校正图像的整体区域的第一～第四图像区域之中(参照图7)的第一、第二、第三、第四图像区域内存在图像缺欠区域时，以减少其图像缺欠区域的大小的方式(最终，以图像缺欠区域完全消失的方式)，分别使基准点P1_B、P3_B、P2_B、P4_B的位置向从偏差校正图像的中心点离开的方向移动，根据移动后的基准点的位置，再计算图像变换参数。通过该再计算来进行调整。即，由该再计算而得到的新的图像变换参数是调整后的图像变换参数。参数存储部16存储的图像变换参数，由调整后的图像变换参数来更新。若从偏差校正图像的中心点离开基准点的位置，则偏差校正图像的视野范围变窄，所以图像缺欠区域难以产生。

此时，若按照保持基准点P1_B与基准点P2_B的位置以垂直中心线242为对称轴呈线对称关系的方式，使基准点P1_B与基准点P2_B之中的一方的基准点的位置移动，则另一方的基准点的位置也同时移动。同样，若按照保持基准点P3_B与基准点P4_B的位置以垂直中心线242为对称轴呈线对称关系的方式，使基准点P3_B与基准点P4_B之中的一方的基准点的位置移动，则另一方的基准点的位置也同时移动。由此，即使在以调整后的图像变换参数为基础的偏差校正图像中，垂直中心线与车体中心线也吻合，而且左右的图像的尺度均等。即，位于第一部分图像内的物体的图像上的水平方向的长度与位于第二部分图像内的物体的图像上的水平方向的长度，若两物体的尺寸在实际空间上相同，则相同。第三部分图像与第四部分图像的关系也同样。

对具体的基准点的移动方向及移动量的决定方法进行说明。当前假设：通过采用调整前的图像变换参数，在步骤S14中，得到图13(a)所示的偏差校正图像300的情况。设为：在偏差校正图像300的第一图像区域中存在图像缺欠区域301，在偏差校正图像300的第四图像区域中存在图像缺欠区域302。此外，图像缺欠区域302的一部分存在于第二图像区域。此外，由符号310来参照偏差校正图像300的中心点。此外，分别在图13(b)及(c)中表示偏差校正图像300的第一及第四图像区域的放大图。

参数调整部15分别着眼于偏差校正图像300的第一～第四图像区域，按照每个水平线计算所着眼的图像区域中包含的图像缺欠区域的水平方向像素数，并按照每个垂直线计算垂直方向像素数。关于第i图像区域中所包含的图像缺欠区域，所谓某一水平线的水平方向像素数是指属于该图像缺欠区域的像素并且位于该水平线上的像素的个数，所谓某一垂直线的垂直方向像素数是指属于该图像缺欠区域的像素并且位于该垂直线上的像素的个数(其中，i是1、2、3或4)。首先，着眼于第一图像区域，对基于该计算结果的处理进行说明。

参数调整部15，按照每条水平线，计算第一图像区域中包含的图像缺欠区域301的水平方向像素数，并且按照每条垂直线，计算垂直方向像素数，且求出计算出的水平方向像素数是预定的阈值TH_A以上的水平线数N_1A，并求出计算出的垂直方向像素数是预定的阈值TH_B以上的垂直线数N_1B。此外，水平线数N_1A与图13(b)所示的括弧330的尺寸成比例。

于是，当求出的水平线数N_1A大于等于1时，使基准点P1_B的位置向上侧(即，以从中心点310离开的方式向垂直方向)移动。能够根据水平线数N_1A来决定向上侧的移动量。例如，可随着水平线数N_1A增加，使向上侧的移动量增加。同样，当求出的垂直线数N_1B大于等于1时，使基准点P1_B的位置向左侧(即，以从中心点310离开的方式向水平方向)移动。能够根据垂直线数N_1B来决定向左侧的移动量。例如，可随着水平线数N_1B增加，使向左侧的移动量增加。但是，在图13(b)所示的示例中，由于N_1B＝0，所以不能进行向基准点P1_B的左侧移动。

此外，如上所述，若使基准点P1_B的位置移动，则同时基准点P2_B的位置也移动。图13(b)所示的示例的情况，由于使基准点P1_B的位置向上侧移动，所以同时基准点P2_B的位置也向上侧移动。基准点P1_B的移动量与基准点P2_B的移动量相同。

针对第四图像区域也实施同样的处理。即，参数调整部15，按照每条水平线，计算第四图像区域中包含的图像缺欠区域302的水平方向像素数，并且按照每条垂直线，计算垂直方向像素数，且求出计算出的水平方向像素数是预定的阈值TH_A以上的水平线数N_4A，并求出计算出的垂直方向像素数是预定的阈值TH_B以上的垂直线数N_4B。

于是，当求出的水平线数N_4A大于等于1时，使基准点P4_B的位置向下侧(即，以从中心点310离开的方式向垂直方向)移动。能够根据水平线数N_4A来决定向下侧的移动量。例如，可随着水平线数N_4A增加，使向下侧的移动量增加。同样，当求出的垂直线数N_4B大于等于1时，使基准点P4_B的位置向右侧(即，以从中心点310离开的方式向水平方向)移动。能够根据垂直线数N_4B来决定向右侧的移动量。例如，可随着水平线数N_4B增加，使向右侧的移动量增加。

此外，如上所述，若使基准点P4_B的位置移动，则同时基准点P3_B的位置也移动。图13(c)所示的示例的情况，由于使基准点P4_B的位置向右下侧移动，所以同时基准点P3_B的位置也向左下侧移动。基准点P4_B向下侧的移动量与基准点P3_B向下侧的移动量相同，基准点P4_B向右侧的移动量与基准点P3_B向左侧的移动量相同。

针对第二及第三图像区域也实施同样的处理。但是，按照以垂直中心线242为对称轴，基准点P1_B与基准点P2_B的位置总保持线对称的关系，并且以垂直中心线242为对称轴，基准点P3_B与基准点P4_B的位置总保持线对称的关系的方式，进行针对各基准点的位置的移动处理。

因此，在分别于如图14所示的第一及第二图像区域中得到存在图像缺欠区域的偏差校正图像的情况下，当判断为基于第一图像区域中包含的图像缺欠区域的尺寸应将基准点P1_B的位置向上侧移动五个像素，同时判断为基于第二图像区域中包含的图像缺欠区域的尺寸应将基准点P2_B的位置向上侧移动三个像素时，根据双方的判断结果来决定基准点P1_B及P2_B向上侧的移动量。例如，在针对基准点P1_B及P2_B而判断出的移动量之中，可以按照大的移动量来移动基准点P1_B及P2_B的位置。总之，在该数值例的情况下，可以使基准点P1_B及P2_B的位置都向上侧移动五个像素。

此外，摄像机图像中的特征点P1_A～P4_A的位置，虽然在图4的步骤S4的处理阶段被决定，但也可以在步骤S16的处理的阶段同时也对特征点P1_A～P4_A的位置进行调整。例如，为了与以摄像机图像的图像数据为基础的特征点P1_A～P4_A的提取误差对应，在步骤S16的处理阶段，根据需要，也可以由用户通过手动操作来调整特征点P1_A～P4_A的位置。此时，根据该调整后的特征点的位置和上述移动后的基准点的位置，再计算图像变换参数，通过该再计算而得到的新的图像变换参数被作为调整后的图像变换参数，更新存储在参数存储部16中。

在图10的步骤S16中调整图像变换参数之后，返回步骤S13，由图像变换部13读入已被更新存储的图像变换参数，执行采用了该已被更新存储的图像变换参数的步骤S14的图像变换及步骤S15的缺欠判定处理。因此，由步骤S13～S16构成的循环处理，直到在步骤S15中判断为未产生图像缺欠为止，被反复执行。

当在步骤S15中判断为未产生图像的缺欠时，未产生图像缺欠的最新的偏差校正图像的图像数据从图像变换部13发送给显示用图像生成部17(参照图9)。显示用图像生成部17，根据该最新的偏差校正图像的图像数据，生成显示用图像的图像数据，并将该显示用图像的图像数据输出给显示装置3。由此，在显示装置3中显示以不存在图像的缺欠的偏差校正图像为基础的显示用图像。显示用图像，例如，是偏差校正图像其本身，或者是对偏差校正图像实施了任意加工的图像，或者是对偏差校正图像附加了任意图像的图像。

根据本实施方式的驾驶辅助系统，适应摄像机1的安装状态而自动地调整图像变换参数，所以能够向驾驶者提示没有图像缺欠的映像。此外，当摄像机1相对于车辆100的安装位置或安装角度产生变更时，在该变更之后，若通过执行图4的步骤S1～S6的各处理来执行图10的步骤S11～S17的各处理，则自动调整图像变换参数，以便适应变更后的摄像机1的安装状态。总之，即使在摄像机1的安装位置或安装角度发生变更的情况下，也能够易于生成用于生成没有图像缺欠的映像的合适的图像变换参数。而且，根据本实施方式的驾驶辅助系统，与采用专利文献1中记载的方法的情况不同，能够将显示画面上的左右的图像的尺度设为均等。

《变形等》

作为上述实施方式的变形例或注释事项，以下，记为注释1～注释7。各注释中记载的内容，只要不矛盾，可任意地组合。

[注释1]

在上述示例中，当求出作为图像变换参数的单应性矩阵时，虽然将特征点的个数及基准点的个数设为四个，但它们的个数只要是四个以上则均可。众所周知，通过将它们的个数设为大于四个，能够提高图像变换的精度。

[注释2]

用于由摄像机图像生成偏差校正图像的图像变换方法(坐标变换方法)，可以不是基于单应性矩阵的方法。例如，也可以通过采用仿射(affine)变换或非线性变换的图像变换(坐标变换)，由摄像机图像生成偏差校正图像。

[注释3]

可以交换上述实施方式的说明文中的“水平”与“垂直”来考虑。即，在上述示例中，使车辆的行驶方向与图像的垂直方向对应，但也可以使车辆的行驶方向与图像的水平方向对应。

[注释4]

在上述的示例中，针对镜头变形校正后的图像而使图像变换参数发挥了作用，但也可以在图像变换部13的图像变换参数中加入用于进行镜头变形校正的图像变换，由原始图像直接生成偏差校正图像。此时，将在图9的图像输入部11中获取到的原始图像输入图像变换部13。于是，在参数存储部16中存储包括用于镜头变形校正的图像变换的图像变换参数，通过使该图像变换参数对原始图像起作用而生成偏差校正图像。

此外，根据使用的摄像机，有时镜头变形校正本身不需要。当镜头变形校正不需要时，从图9的图像处理装置2中削除镜头变形校正部12，将原始图像直接供给图像变换部13。

[注释5]

虽然对在车辆100的后部设置摄像机1以使在车辆100的后方侧具有视野的示例进行了描述，但也可以将摄像机1设置在车辆100的前部或侧方部，以使在车辆100的前方具有视野，或者在车辆100的侧方具有视野。

[注释6]

在上述的示例中，虽然在显示装置3中显示了基于由一个摄像机得到的摄像机图像的显示用图像，也可以在车辆100中设置多个摄像机(未图示)，并根据从这些多个摄像机(未图示)得到的多个摄像机图像来生成显示用图像。例如，除了摄像机1以外，还在车辆100上安装一台以上其它摄像机，将基于其它摄像机的摄像机图像的图像合成为基于摄像机1的摄像机图像的图像(在上述示例中，偏差校正图像)，能够将由该合成而得到的合成图像作为最终对显示装置3的显示用图像。该合成图像，例如，将车辆100的360°周边全周收为视野范围的图像。

[注释7]

图9的图像处理装置2，能够由硬件或硬件与软件的组合来实现。当使用软件来构成图像处理装置2时，针对在软件中实现的部位的方框图，是表示该部位的功能方框图。此外，可以将在图像处理装置2中实现的功能的全部或部分作为程序来记述，并通过在程序执行装置上执行该程序，实现其功能的全部或部分。

Claims (9)

1.一种图像处理装置，具有：

图像获取单元，其根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像；

图像变换单元，其通过坐标变换由所述输入图像生成变换图像，以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置；

参数存储单元，其存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数；

缺欠判定单元，其判定在使用所述参数存储单元所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内，是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域；和

参数调整单元，其当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时，通过变更所述基准点的位置来调整所述图像变换参数，以便抑制所述图像缺欠区域的产生。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述参数调整单元，当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时，以减少所述图像缺欠区域的尺寸的方式，使所述基准点的位置向从所述变换图像的中心位置离开的方向移动，从而进行所述图像变换参数的调整。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述特征点由包括第一及第二特征点的多个特征点构成，并且所述基准点由包括第一及第二基准点的多个基准点构成，所述第一及第二特征点分别与所述第一及第二基准点对应，

所述参数调整单元，

当判定为是所述变换图像的整体区域内且在比所述第二基准点更靠近所述第一基准点的区域包含有所述图像缺欠区域时，以减少所述图像缺欠区域的尺寸的方式，使所述第一基准点的位置向从所述中心位置离开的方向移动，另一方面，

当判定为是所述变换图像的整体区域内且在比所述第一基准点更靠近所述第二基准点的区域包含有所述图像缺欠区域时，以减少所述图像缺欠区域的尺寸的方式，使所述第二基准点的位置在所述变换图像内向从所述中心位置离开的方向移动。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述图像处理装置，当考虑为以将所述变换图像在水平或垂直方向上进行二分的中心线作为边界而将所述变换图像分割为第一及第二部分图像时，所述第一及第二基准点分别位于第一及第二部分图像内，

所述参数调整单元，在使所述第一及第二基准点之中的一方的位置移动时，同时使另一方的基准点的位置也移动，以使所述第一及第二基准点的位置保持以所述中心线为对称轴呈线对称的关系。

5.根据权利要求4所述的图像处理装置，其特征在于，

在所述变换图像上，以使所述车辆的行驶方向上的所述车辆的车体中心线与所述中心线吻合的方式，来决定所述特征点的位置及移动前后的所述基准点的位置。

6.根据权利要求1～5中任一项所述的图像处理装置，其特征在于，

所述图像处理装置，通过所述图像变换参数来规定与所述变换图像内的各像素的坐标值对应的坐标变换前的坐标值，

所述缺欠判定单元，在该坐标变换前的坐标值全部是所述输入图像内的坐标值时，判定为在所述变换图像的整体区域内未包含所述图像缺欠区域，在求出的所述坐标值中包含所述输入图像外的坐标值时，判定为在所述变换图像的整体区域内包含有所述图像缺欠区域。

7.一种驾驶辅助系统，

具有权利要求1～5中任一项所述的图像处理装置，并且

将基于变换图像的图像输出给显示单元，所述变换图像由所述图像处理装置的图像变换单元获得。

8.一种车辆，

设置有权利要求1～5中任一项所述的摄像机及图像处理装置。

9.一种图像处理方法，执行：

图像获取步骤，根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像；

图像变换步骤，通过坐标变换由所述输入图像生成变换图像，以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置；

参数存储步骤，存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数；

缺欠判定步骤，判定在使用所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内，是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域；和

参数调整步骤，当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时，通过变更所述基准点的位置来调整所述图像变换参数，以便抑制所述图像缺欠区域的产生。

Images