CN101861255A - 图像处理装置和方法、驾驶支持系统、车辆 - Google Patents

Abstract

将照相机朝向下方固定在车外后视镜的镜盒内，使不拘于车外后视镜的配置状态而车辆的前后轮和车辆侧面的下端(底部)收入视野内。对照相机所获取的原始图像实施镜头畸变校正后，通过对畸变校正图像实施边缘提取处理，检测畸变校正图像上的车辆侧面的下端，推定其下端延伸的方向(121)为畸变校正图像上的车辆方向。通过校正畸变校正图像，使该推定的车辆方向朝向图像上的垂直方向，从而生成方向校正图像，使切取了方向校正图像的一部分的图像显示于显示装置。

Description

图像处理装置和方法、驾驶支持系统、车辆

技术领域

本发明涉及对来自照相机的输入图像实施图像处理的图像处理装置和方法。另外本发明涉及利用了该图像处理装置和方法的驾驶支持系统和车辆。

背景技术

汽车等车辆的副驾驶席侧设置的车外后视镜(door mirror)的正下面和其正下面附近的前轮周边为驾驶员的死角。已经开发了利用照相机影像显示该死角的系统。例如，众所周知，在车外后视镜的镜盒(镜壳)内朝向下方设置小型照相机的系统(参照专利文献1)。

另一方面，将车外后视镜设为可动式并可收纳车外后视镜的车辆被普遍使用。通过将车外后视镜配置在收纳位置，车外后视镜向车外的伸出量减小，入库等变得容易。车外后视镜配置位置的变更，通过例如以铅直线为旋转轴的镜盒的旋转运动而实现。

然而，在这样的可动式车外后视镜的镜盒内朝向下方固定了照相机的情况下，使车外后视镜旋转，将车外后视镜的配置位置从通常位置变更为收纳位置时，伴随该变更来自照相机的输入图像也改变，显示的影像也改变。例如，根据车外后视镜的旋转而显示旋转的影像，前轮附近的能见度降低。

为了应对这样的可动式车外后视镜，提出了通过设置调整照相机角度的驱动机构，在收纳时也维持与通常时同样的一定的拍摄范围的方法(参加专利文献2)。

专利文献1：特开2000-16181号公报

专利文献2：特开2003-165384号公报

然而，在该方法中，因为需要一边与车外后视镜的驱动联动、一边高精度地调整照相机角度的驱动装置，所以在导致系统的成本上升的同时，结构也变得复杂化。另外，由车外后视镜的收纳位置和照相机的安装角度发生偏差、老化等带来的驱动装置的调整精度下降时，就无法获得期望的影像。另外，为获得期望的影像，对安装角度等的再调整需花费大量人工。

发明内容

对此本发明目的在于，提供对以期望的方式显示来自照相机的输入图像的系统的低价化和构造简单化有所贡献的图像处理装置和图像校正方法。另外，本发明目的在于提供利用了图像处理装置和图像校正方法的驾驶支持系统和车辆。

本发明所涉及的图像处理装置，其特征在于具有：图像获取单元，基于安装于车辆上并将车身的一部分纳入视野内的照相机的拍摄结果，获取输入图像；车辆方向推定单元，基于所述输入图像推定所述输入图像上的所述车辆的方向；和图像校正单元，基于推定的所述车辆的方向校正所述输入图像，生成输出图像。

具体来说比如，在所述车身的外侧安装对所述车身的配置状态可变更的突出体；所述照相机安装于所述突出体，随着所述配置状态的变更，所述照相机的视野发生改变；所述图像校正单元对所述输入图像执行用于降低随着所述配置状态的变更的所述输出图像上的所述车辆的方向的改变。

随着上述配置状态的变更，输入图像上的车辆的方向发生变化，但通过如上的结构，随着其变更的输出图像上的车辆的方向的改变被降低。结果可以使得配置状态的变更不被察觉，可显示期望方式的图像。在实现的时候，由于不需要照相机的驱动机构，所以可以实现包括图像处理装置的系统的低廉化和结构简单化。进一步地，由于从拍摄结果推定车辆的方向，基于其推定结果进行输入图像的校正，所以即使在照相机的安装角度等发生偏差的情况下，也可以容易地应对其偏差。

更具体地比如，所述图像校正单元，校正所述输入图像，使所述输出图像上的所述车辆的方向为规定的方向。

另外比如，所述车辆方向推定单元，通过检测沿对应于所述车辆的方向的方向延伸的所述输入图像上的边缘部，推定所述车辆的方向。

另外具体地比如，由所述车身上安装的可动式侧视镜形成所述突出体。

另外例如，该图像处理装置还具有：变更识别单元，识别所述突出体的配置状态的变更；所述车辆方向推定单元，在其识别后的且以识别时刻作为基准的定时，推定所述车辆的方向。

本发明所涉及的驾驶支持系统，其特征在于，具有上述照相机和图像处理装置，向显示单元输出通过所述图像处理装置的所述图像校正单元的校正而获得的图像。

本发明所涉及的车辆，其特征在于，设置了上述照相机和图像处理装置。

本发明所涉及的图像处理方法，基于安装于车辆上并将车身的一部分纳入视野内的照相机的拍摄结果，获取输入图像；基于所述输入图像推定所述输入图像上的所述车辆的方向；基于推定的所述车辆的方向校正所述输入图像。

发明效果

本发明对以期望的方式显示来自照相机的输入图像的系统的低价化和构造简单化有所贡献。

本发明的意义和效果，由以下所示的实施方式的说明而更加明了。然而以下的实施方式也只是本发明的一个实施方式，本发明和各构成要件的术语的意义不限制于以下的实施方式中的记载的内容。

附图说明

图1是从左侧观察应用了本发明的实施方式所涉及的驾驶支持系统的车辆的平面图。

图2(a)和(b)分别是从上方观察图1的车辆的平面图和从后方观察图1的车辆的平面图。

图3(a)和(b)是从后方观察图1的车辆的车外后视镜的平面图(通常时的平面图和收纳时的平面图)。

图4是本发明的实施方式所涉及的驾驶支持系统的模块图。

图5是表示本发明的实施方式所涉及的驾驶支持系统的整体工作流程的流程图。

图6(a)和(b)是分别表示图4的图像输入部所获取的原始图像、和通过对该原始图像实施镜头畸变校正所获得的畸变校正图像的图。

图7是表示图1的车外后视镜的收纳时所获得的畸变校正图像、和通过将其变形而获得的方向校正图像的图。

图8是表示车辆的门的样子例的图。

符号说明

10车辆

11车外后视镜

11a镜盒

11b镜面体

11c镜基座

12左侧面

13下端

14前轮

15后轮

16车体主体

21照相机

22图像处理装置

23显示装置

具体实施方式

以下对本发明的实施方式，参照附图进行具体说明。在所参照的各图中，对相同的部分附加相同的符号，原则上省略关于相同部分的重复的说明。

图1是从左侧看应用了本发明的实施方式所涉及的驾驶支持系统的车辆10的平面图。图2(a)是从上方看车辆10的平面图，图2(b)是从后方看车辆10的平面图。此外，图1中所示的车辆10为一般乘用车，但本发明的实施方式所涉及的驾驶支持系统对于任何车辆均可适用。

设车辆10位于路面上，设路面与水平面平行。在与路面平行的二维坐标系中，如下定义“前后左右”(该定义与一般想法相同)。车辆10在路面上直线前进时的车辆10的行进侧为“前”，其相反侧为“后”。在上述二维坐标系中与前后方向正交的方向为左右方向。“左”和“右”意思分别是从车辆10的驾驶席看前方时的“左”和“右”。进一步地，与路面正交的铅直方向为上下方向，天空侧为“上”，路面侧为“下”。

车身16中的前排的右侧设置驾驶席，并且在左侧设置副驾驶席。通过对车身16安装包括前后轮和车外后视镜的车辆部件，形成车辆10。车外后视镜是驾驶员用于确认车辆10的后方和后侧方的镜子，安装于前排门的车外侧。车外后视镜通常在车身16上安装2个，但现在只关注车身16的左侧(即，副驾驶席)安装的一个车外后视镜11。对车辆16各安装2个前后轮，但只关注车身16的左侧安装的一个前轮14和一个后轮15。从上方看车辆10时，车身16的形状大致为长方形，车外后视镜11在该长方形左侧突出地安装于车身16。符号12表示车身16的左侧面，符号13表示该左侧面12的下端。

在车外后视镜11的下部，安装用于将前轮14附近的驾驶者的死角作为影像捕捉的照相机21(例如内置)。车外后视镜11为可动式车外后视镜，也称为收纳式车外后视镜。图3(a)和(b)表示从后方看的车外后视镜11的平面图。图3(a)为通常时的平面图，图3(b)为收纳时的平面图。对于车身16，车外后视镜11的配置状态在通常时和收纳时是不同的。这里的配置状态也可以称为作为车外后视镜11的构成要素的镜盒11a的配置状态。以下，将通常时的配置状态称为通常状态，将收纳时的配置状态称为收纳状态。

车外后视镜11由镜盒11a、嵌入镜盒11a的镜面体11b、和镜基座11c所形成。镜基座11c的右端固定于车身16，通过镜基座11c的左端与镜盒11a的右端相接，而镜盒11a接合于镜基座11c。以镜盒11a与镜基座11c的接合部内的、与铅直线平行的轴作为旋转轴，镜盒11a可旋转。通过以该轴为旋转轴的镜盒11a旋转，车外后视镜11的配置状态变更。

使车辆10以一定速度行驶的情况等，通过车外后视镜11的镜面体11b驾驶者确认车辆10的后方和后侧方的情况下，使车外后视镜11的配置状态为通常状态。另一方面，欲将车辆10收纳于车库内的情况等，欲使车外后视镜11向车外伸出的量变小的情况下，使车外后视镜11的配置状态为收纳状态。例如，驾驶员通过操作车辆10中设置的操作按钮(未图示)，车外后视镜11的配置状态由通常状态变更为收纳状态，或由收纳状态变更为通常状态。

照相机21固定于镜盒11a的下方，镜盒11a旋转的同时，照相机21也旋转，伴随该旋转而照相机21的视野(换言之，拍摄区域)改变。然而，不拘于车外后视镜11的配置状态，照相机21形成为可拍摄包括前轮14附近和前轮14附近的下端13的车辆10的周边区域，同时照相机21的安装角度等被调整。进一步地，期望后轮15也可收入到照相机21的视野内。以下的说明中，不拘于车外后视镜11的配置状态，照相机21的视野内，包括前轮14和后轮15、以及前轮14和后轮15之间的下端13。

例如，使用广角镜形成照相机21，使照相机21的光轴方向与铅直方向一致。车外后视镜11(和镜盒11a)的旋转轴和照相机21的光轴不需要严格一致，但期望使两者大体一致。或者，在实际上能够拍摄应拍摄区域的范围内调整照相机21的光轴方向。当使照相机21的光轴方向与铅直方向一致时，车外后视镜11(和镜盒11a)的旋转轴与照相机21的光轴为一致，即使车外后视镜11的配置状态被变更，照相机21也能将大体相同的区域收入视野内。

图4中表示适用于车辆10的驾驶支持系统的模块图。图4的驾驶支援系统具备照相机21、图像处理装置22、和显示装置23。此外，驾驶支持系统中还具有总括控制系统全体的CPU(Central Processing Unit，中央处理器)、存储图像和程序的存储器等，而这些的图示被省略。

作为照相机21，使用采用例如CCD(Charge Coupled Devices，电荷耦合器件)的照相机，或采用CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)图像传感器的照相机。图像处理装置22由例如集成电路而形成。显示装置23由液晶显示器面板等形成。汽车导航系统等包括的显示装置，也可以作为驾驶支持系统的显示装置23而挪用。另外，图像处理装置22可作为汽车导航系统的一部分而组合。图像处理装置22和显示装置23设置于例如车辆10的驾驶席附近。

图像处理装置22具有由符号31～36参照的各部分。照相机21以规定的帧周期(例如1/30秒的周期)进行周期性的拍摄，依次向图像处理装置22发送表示由其拍摄获得的图像(以下称为“原始图像”)的图像数据。

参照图5概略说明基于1幅原始图像的图像由图像处理装置22经图像处理，显示于显示装置23为止的流程。图5为表示其流程的流程图。首先，获取来自照相机21的原始图像，原始图像的图像数据存储于帧存储器(未图示)(步骤S1)。对于其原始图像实施镜头畸变校正(步骤S2)，通过对镜头畸变校正后的图像实施边缘提取处理，检测图像上的左侧面12的下端13，从其检测结果推定图像上的车辆10的方向(以下称为车辆方向)(步骤S3和S4)。之后，通过图像变换参数的计算，几何变换镜头畸变校正后的图像，使推定的车辆方向在图像上面向期望的方向(步骤S5和S6)，切取其变换后的图像的一部分，切取图像在显示装置23上显示(步骤S7和S8)。此外，所谓的车辆方向，与一般的解释相同，与车辆10行驶时的车辆10的行进方向一致，与车辆10的前后方向同义。

对图像处理装置22内的各部分的工作进行详细说明。图像输入部31从照相机21接收原始图像的输入。也就是说，通过收取周期性送来的原始图像的图像数据，并将该图像数据存储在帧存储器(未图示)，而获取原始图像。由于为确保广视野角，照相机21中使用了广角镜，所以原始图像中包括畸变。对此，镜头畸变校正部32对图像输入部31获取的原始图像实施镜头畸变校正。作为镜头畸变校正的方法，可以利用如特开平5-176323号公报中记载的公知的任意的方法。镜头畸变校正后的原始图像以下也称为“畸变校正图像”。

图6(a)中以含有畸变的原始图像为例表示原始图像100，图6(b)中表示通过对其原始图像100实施镜头畸变校正所得的畸变校正图像。原始图像100的拍摄时的照相机21的视野内，沿车辆10的前后方向笔直延伸，路面上有路缘，图6(a)的符号101表示原始图像100上的路缘，同时图6(b)的符号111表示畸变校正图像110上的路缘。可见通过镜头畸变校正，图像上的路缘的畸变被除去。

另外，图6(a)中沿图的上下方向延伸的实线13a表示原始图像100上的下端13，涂满黑色的椭圆14a和15a分别表示原始图像100上的前轮14和后轮15(参照图1、图2(a)和(b))。图6(b)中沿图的上下方向延伸的实线13b表示畸变校正图像110上的下端13，涂满黑色的椭圆14b和15b分别表示畸变校正图像110上的前轮14和后轮15。此外，原始图像100为使车外后视镜11的配置状态为通常状态所得的图像。

边缘提取部33，通过对畸变校正图像应用微分滤波器或索贝尔滤波器(Sobel Filter)等任意的边缘提取滤波器，从畸变校正图像中提取畸变校正图像中的明亮度急剧变化的边缘部分。由此，至少畸变校正图像上的下端13作为边缘部分而提取。在图6(b)的畸变校正图像110的例的情况下，实线13b作为边缘部分被提取。

车辆方向推定部34从提取的边缘部分检测畸变校正图像上的下端13，将畸变校正图像上的下端13延伸的方向推定为畸变校正图像上的车辆方向。换言之，在图6(b)的畸变校正图像110的例的情况下，将实线13b的延伸方向推定为畸变校正图像上的车辆方向。实线13b多少有些弯曲，但用直线近似推定车辆方向为直线的方向。此外从抽取的边缘部分检测下端13从而推定车辆方向的过程中，可以利用公知的霍夫(Hough)变换。

下端13由于包括长而强的边缘成分，所以比较容易提取下端13的边缘部分，从提取结果检测畸变校正图像上的下端13。此外，由于畸变校正图像上下端13可能存在的区域是有限制的，所以可以预先限定进行边缘抽取的区域。也就是说，可以只在畸变校正图像的整体区域内预先决定的一部分区域作为对象进行边缘部分的提取处理，从其结果推定车辆方向。由此，在抑制车辆方向的错误检测的同时，减轻了处理的负担。

另外，在路面画有白线的地方进行车辆方向的推定时，有把画有白线的方向错误推定为车辆方向的可能性。对此，可以把畸变校正图像上的前后轮的轮胎作为特征部而捕捉，通过与其特征部一起检测而提高车辆方向的推定精度。也就是说，可以检测由边缘提取部33提取的直线状的边缘部分的两端是否存在前轮14和后轮15的轮胎，只有在检测出存在的情况下才判断该直线状的边缘部分为下端13的边缘部分，由其边缘部分推定车辆方向。

这样的情况下，车辆方向推定部34基于畸变校正图像，进行关注的直线状的边缘部分的两端是否存在前轮14和后轮15的轮胎的检测。确认例如在畸变校正图像上关注的直线状边缘部分的两端是否存在具有一定以上大小的黑色区域，或者该两端有无检测出椭圆形的边缘；在检测出存在其黑色区域的情况下，或是检测出其椭圆形的边缘的情况下，判断为关注的直线性的边缘部分的两端存在前轮14和后轮15的轮胎。

此外，虽然期望检测出前轮14和后轮15两者，但只检测出前轮14也可以。这样的情况下，检测由边缘提取部33提取的直线形的边缘部分的一端是否存在前轮14的轮胎，只在检测出存在的情况下才判断该直线形的边缘部分为下端13的边缘部分，由其边缘部分推定车辆方向。轮胎的存在/不存在的判别方法如上所述。

作为图像校正单元的图像变换部35，基于由车辆方向推定部34所推定的车辆方向而校正畸变校正图像。此校正后的图像称为方向校正图像。更具体地说，基于由车辆方向推定部34所推定的车辆方向，求出用于使方向校正图像上的车辆方向与预先设定的目标方向一致的图像变换参数，通过用该图像变换参数使畸变校正图像变形，生成方向校正图像。目标方向设为例如图像的垂直方向。这样的情况下，方向校正图像上的车辆方向与方向校正图像的垂直方向一致。

用于获得方向校正图像的变形，是指例如以仿射变换为代表的几何变换；图像变换参数，是指表示其几何变换内容的参数。车外后视镜11的旋转轴的方向和照相机21的光轴方向与铅直方向一致的情况下，用于获得方向校正图像的变形为图像旋转。

图7中，显示作为收纳时所得的畸变校正图像的典型例的畸变校正图像120，同时显示通过对此畸变校正图像120进行变形所得的方向校正图像130。图7中虚线121为由车辆方向推定部34推定的、沿着畸变校正图像120上的车辆方向的线；虚线131为沿着方向校正图像130上的车辆方向的线。可见方向校正图像130上的车辆方向，向着方向校正图像130的垂直方向。此外，畸变校正图像上的车辆方向在已经向着目标方向的情况下(也就是说，向着畸变校正图像的垂直方向的情况下)，图像变换部35不实施变形，畸变校正图像本身作为方向校正图像被输出。

假设照相机21的光轴方向与铅直方向不同的情况下，求用于使方向校正图像上的车辆方向与目标方向一致且定义方向校正图像的坐标面与路面平行的图像变换参数。这样的情况下的图像变换参数中，包括用于将畸变校正图像的坐标面投影至路面的矩阵(透视投影矩阵或射影变换矩阵)的分量。此矩阵的分量基于照相机21的安装角度和照相机21的设置高度等照相机外部信息，和照相机21的焦距等照相机内部信息而预先设定，或者基于照相机21的拍摄结果的照相机校准而预先设定的。

显示图像生成部36切取图像变换部35生成的方向校正图像的一部分，切取的图像(以下称为切取图像)的图像数据输出至显示装置23。由此，切取图像显示于显示装置23。在照相机21上使用广角镜的情况下，可拍摄很广的范围，但由于对驾驶员来说需要确认的区域是车辆附近，所以希望进行上面的切取。例如进行显示装置23的显示图像上的车辆方向与其正交方向相比拉长显示的切取。然而，也可以使显示装置23上显示方向校正图像本身。此外，也可以在方向校正图像的切取图像或方向校正图像本身上合成表示车速或地图等信息的图像，使合成后的图像在显示装置23上显示。

车辆方向的推定和基于其推定结果的图像变换参数的计算，也可以在每个原始图像的获取时进行，也可以使它们只在必要的时候进行。这样的情况下，事先保持先计算出的图像变换参数，并且在计算出新的图像变换参数之前，一直使用事先保持的图像变换参数进行畸变校正图像的变形。然后在新的图像变换参数计算出的时刻，应保持的图像变换参数更新为新的图像变换参数。

例如，也可以是用户来指示应执行车辆方向的推定和基于其推定结果的图像变换参数的计算和更新的定时。由用户的指示，例如为通过对未图示的操作部的操作转达给图像处理装置22。

或者也可以例如用于变更车外后视镜11的配置状态的操作按钮(未图示)被操作的时刻为基准，确定车辆方向的推定和基于其推定结果的图像变换参数的计算和更新的定时。对操作按钮的操作内容向图像处理装置22传输，图像处理装置22(详细而言为图像处理装置22内的变更识别部(未图示))根据其操作识别车外后视镜11的配置状态被变更。在其识别时刻起经过规定时间之后(换言之，对操作按钮从操作时刻经过规定时间之后)，实行车辆方向的推定，计算新的图像变换参数。此规定时间设定为长于用于变更车外后视镜11的配置状态的必要的驱动时间。

进一步或者例如，可以不是每当原始图像获取时，而是定期地进行车辆方向的推定和基于其推定结果的图像变换参数的计算和更新。根据定期的图像变换参数的计算和更新，定期进行实际的图像变换参数与理想的图像变换参数间的误差的修正。

随着车外后视镜11的配置状态的变更，原始图像和畸变校正图像上的车辆方向在改变，而本实施方式中，进行基于使方向校正图像上无该改变的图像变换参数的校正。由此，可以不拘于车外后视镜11的配置状态而一直对驾驶员显示车辆方向一定的图像。换言之，即使在车外后视镜11为收纳的状态下，可以向驾驶员显示与通常状态同样的影像。当实现时，由于不需要照相机21的驱动机构，可以低价、简单地形成系统。此外，随着车外后视镜11的配置状态的变更，方向校正图像上的车辆方向的变化，理想情况下完全被消除，但由于种种误差原因，也有无法完全消除的情况。由此，可以考虑将“消除”这样的表达替换为“降低”这样的表达。

另外，由于根据基于拍摄结果的图像推定图像上的车辆方向，可以基于其推定结果修正显示图像，所以即使在车外后视镜11的收纳位置等产生偏差的情况下，也能容易地应对。例如，由于由车外后视镜11和障碍物的冲撞而引起的车外后视镜11的收纳位置产生偏差的情况下，根据由用户的图像变换参数的再计算指示等，重新计算适应于其偏差的图像变换参数，显示对其偏差部分也作了修正的图像。

另外，举出了通过检测图像上的下端13而推定图像上的车辆方向的例子，然而也可以通过检测沿对应于车辆方向的方向而延伸的任意的边缘部(以下称为被检测边缘部)，而推定图像上的车辆方向。这种情况下的边缘提取部33和车辆方向推定部34的工作，与上述内容相同。也就是说，边缘提取部33从畸变校正图像提取边缘部分，从提取结果检测畸变校正图像上的被检测边缘部。然后，车辆方向推定部34推定畸变校正图像上的被检测边缘部延伸的方向为畸变校正图像上的车辆方向。下端13由于沿与车辆方向大致平行的方向延伸，所以是被检测边缘部的一种。当然，在现实空间上，被检测边缘部纳入照相机21的视野内。

例如，可以将在车辆10的门上安装的门嵌条(ドアモ一ル)作为被检测边缘部而利用。此门嵌条安装于门上，覆盖车辆10的门的边缘；门的下端部的门嵌条与下端13相同，沿着与车辆方向大致平行的方向延伸。由此，通过捕捉门嵌条作为被检测边缘部，可推定车辆方向。

或者例如也可以利用车辆10的门的下方设置的台阶(未图示)的端作为被检测边缘部。这里的台阶，是指车辆10为较大型车辆的情况下，在车辆10上安装的升降用的台阶；台阶的端，是指与车辆方向平行的台阶的端。台阶的端与下端13相同，沿与车辆方向大致平行的方向延伸。由此，通过捕捉台阶的端作为被检测边缘部，可推定车辆方向。

或者例如也可以利用车辆10的门的样子的边界线(未图示)作为被检测边缘部。例如，假设车辆10的门的车外侧的表面，由互不相同的第1颜色和第2颜色构成图案，其门的上半部和下半部的颜色各自为第1和第2颜色的情况。图8为从正面看该门的视图。这种情况下，其门上的涂有第1颜色的部分和第2颜色的部分的边界线，与下端13相同，沿与车辆方向大致平行的方向延伸。由此，通过捕捉其边界线作为被检测边缘部，可推定车辆方向。

此外，上面的例中，对镜头畸变校正后的图像使图像变换参数起作用，然而也可以将用于进行镜头畸变校正的图像变换(例如仿射变换)加入图像变换参数中，从原始图像一口气生成方向校正图像。这样的情况下，将原始图像输入至图像变换部35。然后，图像变换部35中，求出用于对原始图像实施基于镜头畸变校正和推定的车辆方向的变形的图像变换参数，通过使其图像变换参数作用于原始图像，生成方向校正图像。

另外，也有根据使用的照相机不同，而不需要镜头畸变校正本身的情况。镜头畸变校正为不需要的情况下，可以从图4的图像处理装置22删除镜头畸变校正部32，取代畸变校正图像将原始图像给予边缘提取部33和图像变换部35。

车外后视镜11自身或车外后视镜11的镜盒11a，安装于车身16的外侧，从车身16突出，可以说对车身16是突出体。然而，此突出体是如车外后视镜11的可动式突出体。假设车外后视镜中安装有照相机的情况下，本发明的实施方式的处理在上面所述，而护盖后视镜(fender mirror)中安装有照相机的情况下也可以作同样的处理。然而，此护盖后视镜是与上述的车外后视镜11相同的可动式的护盖后视镜。车外后视镜和护盖后视镜属于侧视镜(side mirror)。对于不分类为侧视镜的可动式的突出体也可以应用本发明。

另外，图4的图像处理装置22可通过硬件或硬件与软件的组合而实现。用软件构成图像处理装置22的情况下，由软件实现的部分的模块图，为表示其部分的功能模块图。另外，由图像处理装置22实现的功能的全部或是一部分，可以作为程序而记述，通过在程序执行装置上执行该程序，而实现其功能的全部或是一部分。

权利要求书(按照条约第19条的修改)

1.(补正后)一种图像处理装置，其特征在于包括：

图像获取单元，其基于安装于车辆上并将车身的一部分收入视野内的照相机的拍摄结果，获取输入图像；

车辆方向推定单元，其基于所述输入图像，通过检测沿对应于所述车辆的方向的方向延伸的所述输入图像上的边缘部，并且在沿该边缘部延伸的方向上检测所述车辆的轮胎，从而推定所述输入图像上的所述车辆的方向；和

图像校正单元，其基于所推定的所述车辆的方向，校正所述输入图像并生成输出图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

在所述车身的外侧安装对所述车身的配置状态可变更的突出体；

所述照相机安装于所述突出体，随着所述配置状态的变更，所述照相机的视野发生变化；

所述图像校正单元对所述输入图像执行校正，以便降低伴随所述配置状态的变更的所述输出图像上的所述车辆的方向的变化。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述图像校正单元校正所述输入图像，使所述输出图像上的所述车辆的方向成为规定的方向。

4.(删除)

5.根据权利要求2或权利要求3所述的图像处理装置，其特征在于，

由所述车身上安装的可动式侧视镜形成所述突出体。

6.根据权利要求2或权利要求3所述的图像处理装置，其特征在于，

还具有变更识别单元，其识别所述突出体的配置状态的变更；

所述车辆方向推定单元在识别后且以识别时刻作为基准的定时，推定所述车辆的方向。

7.一种驾驶支持系统，其特征在于，

具备权利要求1至权利要求3中的任意一项所述的照相机和图像处理装置；

向显示单元输出通过所述图像处理装置的所述图像校正单元的校正而获得的图像。

8.一种车辆，其特征在于，

设置了权利要求1至权利要求3中的任意一项所述的照相机和图像处理装置。

9.(补正后)一种图像处理方法，其特征在于，

基于安装于车辆上并将车身的一部分收入视野内的照相机的拍摄结果，获取输入图像；

基于所述输入图像，通过检测沿对应于所述车辆的方向的方向延伸的所述输入图像上的边缘部，并且在沿该边缘部延伸的方向上检测所述车辆的轮胎，从而推定所述输入图像上的所述车辆的方向；

基于推定的所述车辆的方向校正所述输入图像。

Claims (9)

1.一种图像处理装置，其特征在于包括：

图像获取单元，其基于安装于车辆上并将车身的一部分收入视野内的照相机的拍摄结果，获取输入图像；

车辆方向推定单元，其基于所述输入图像推定所述输入图像上的所述车辆的方向；和

图像校正单元，其基于所推定的所述车辆的方向，校正所述输入图像并生成输出图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

在所述车身的外侧安装对所述车身的配置状态可变更的突出体；

所述照相机安装于所述突出体，随着所述配置状态的变更，所述照相机的视野发生变化；

所述图像校正单元对所述输入图像执行校正，以便降低伴随所述配置状态的变更的所述输出图像上的所述车辆的方向的变化。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述图像校正单元校正所述输入图像，使所述输出图像上的所述车辆的方向成为规定的方向。

4.根据权利要求1至权利要求3中的任意一项所述的图像处理装置，其特征在于，

所述车辆方向推定单元通过检测沿对应于所述车辆的方向的方向延伸的所述输入图像上的边缘部，推定所述车辆的方向。

5.根据权利要求2或权利要求3所述的图像处理装置，其特征在于，

由所述车身上安装的可动式侧视镜形成所述突出体。

6.根据权利要求2或权利要求3所述的图像处理装置，其特征在于，

还具有变更识别单元，其识别所述突出体的配置状态的变更；

所述车辆方向推定单元在识别后且以识别时刻作为基准的定时，推定所述车辆的方向。

7.一种驾驶支持系统，其特征在于，

具备权利要求1至权利要求3中的任意一项所述的照相机和图像处理装置；

向显示单元输出通过所述图像处理装置的所述图像校正单元的校正而获得的图像。

8.一种车辆，其特征在于，

设置了权利要求1至权利要求3中的任意一项所述的照相机和图像处理装置。

9.一种图像处理方法，其特征在于，

基于安装于车辆上并将车身的一部分收入视野内的照相机的拍摄结果，获取输入图像；

基于所述输入图像推定所述输入图像上的所述车辆的方向；

基于所推定的所述车辆的方向校正所述输入图像。

Images