CN101978694B - 图像处理装置和方法、驾驶支持系统、车辆 - Google Patents

图像处理装置和方法、驾驶支持系统、车辆 Download PDF

Info

Publication number
CN101978694B
CN101978694B CN200980109377.8A CN200980109377A CN101978694B CN 101978694 B CN101978694 B CN 101978694B CN 200980109377 A CN200980109377 A CN 200980109377A CN 101978694 B CN101978694 B CN 101978694B
Authority
CN
China
Prior art keywords
image
video camera
parameter
transform
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980109377.8A
Other languages
English (en)
Other versions
CN101978694A (zh
Inventor
本乡仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101978694A publication Critical patent/CN101978694A/zh
Application granted granted Critical
Publication of CN101978694B publication Critical patent/CN101978694B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种驾驶支持系统，使用视点变换，从车载摄像机所得到的摄像机图像生成与第一和第二要素图像的合成图像相当的扩展俯瞰图图像来加以显示。第一要素图像是表示车辆附近情形的俯瞰图图像，第二要素图像是表示车辆远方情形的远方用图像。扩展俯瞰图图像是将摄像机图像变换到从虚拟摄像机的视点看到的图像而得到图像，第一要素图像生成时的虚拟摄像机的俯角是90度，第二要素图像的俯角小于90度。在根据实际的摄像机的倾斜角度等生成扩展俯瞰图图像时，自动判断是否发生了图像的丢失，在发生了图像的丢失的情况下，调整第一和第二要素图像的分界线的位置、虚拟摄像机的视点的高度等，使该丢失消失。

Description

图像处理装置和方法、驾驶支持系统、车辆
技术领域
本发明涉及对来自摄像机的输入图像实施图像处理的图像处理装置和方法。另外，本发明涉及使用了这些装置和方法的驾驶支持系统(drivingsupport system)和车辆。
背景技术
对车辆的驾驶者来说，车辆后方容易为死角。因此，提出了将监视容易为驾驶者的死角的区域的摄像机装载在车辆上，而将从摄像机得到的图像显示到配置在驾驶席附近的显示装置这种方法。另外，考虑到若原样显示从摄像机得到的图像，则难以把握远近感，还开发了将从摄像机得到的图像转换为俯瞰图图像加以显示的技术。
由于俯瞰图图像是从上空眺望车辆的图像，所以在显示屏幕上容易捕捉远近感，但是俯瞰图图像在其特性上视野范围窄。考虑该情形，提出了在对应于车辆附近的第1图像区域中显示俯瞰图图像，另一方面，在对应于车辆远方的第2图像区域中显示远方用图像的技术(例如，参考专利文献1)。
也将与第1图像区域的俯瞰图图像和第2图像区域的远方用图像的合成图像相当的图像称作扩展俯瞰图图像。图14(a)中的图像900表示从摄像机得到的摄像机图像的例子。图14(b)和(c)分别表示从摄像机图像900得到的俯瞰图图像910和扩展俯瞰图图像920。摄像机图像900通过拍摄在路面上描绘的2条平行白线而得到。另外，作为被摄体的人物位于该白线的侧面。由于车辆上设置的摄像机的俯角不是90度，所以摄像机图像900内的2条白线不平行，但是在俯瞰图图像910内的2条白线与实际空间上的情形相同，为平行。另外，图14(b)和(c)所示的斜线区域是通过摄像机没有拍摄到的区域(原先没有图像信息的区域)。图14(a)～(c)中，下方侧对应于车辆侧。
在扩展俯瞰图图像920上设置分界线921。并且，在位于分界线921的下方侧的第1图像区域上描绘从摄像机图像的第1部分图像得到的表示车辆附近情形的俯瞰图图像，在位于分界线921的上方侧的第2图像区域上描绘从摄像机图像的第2部分图像得到的表示车辆远方情形的远方用图像。
扩展俯瞰图图像920相当于通过视点变换，将摄像机图像900变换为从虚拟摄像机的视点看到的图像的情形。这时，如图15(a)所示，将第1图像区域内的俯瞰图图像的生成时的虚拟摄像机的俯角固定为90度，另一方面，如图15(b)所示，第2图像区域内的远方用图像生成时的虚拟摄像机的俯角小于90度，且随着越向图像的上方侧，其俯角从90度以预定的角度变化率慢慢接近实际摄像机的俯角(例如45度)。
因视野范围狭窄，在俯瞰图图像910上几乎没有描绘出作为被摄体的人物(俯瞰图图像910上仅描绘了脚部)，在扩展俯瞰图图像920中，与摄像机图像900相同程度地描绘该人物。若显示这种扩展俯瞰图图像，则可享受俯瞰图图像带来的容易把握远近感的优点，同时还可支持对车辆远方的视场。即，在大范围中可以得到好的可视性。
专利文献1：日本特开2006-287892号公报
在可生成扩展俯瞰图图像的驾驶支持系统中，事先设置用于从摄像机图像生成扩展俯瞰图图像的图像变换参数，在实际工作时，使用该图像变换参数来生成扩展俯瞰图图像。图像变换参数是对定义摄像机图像的坐标面上的坐标值和定义扩展俯瞰图图像的坐标面上的坐标值的对应关系进行规定的参数。为了生成扩展俯瞰图图像，需要实际的摄像机的倾斜角度和设置高度等的信息，图像变换参数根据该信息来加以设置。
在车辆的制造阶段中安装摄像机的情形等知道摄像机的倾斜角度和设置高度完全固定的情况下，通过根据上述信息来事先决定适当的图像变换参数，并持续原样使用该参数，而可一直生成适当的扩展俯瞰图图像。
但是，在用户与车辆单独地另外准备摄像机，并与车辆的形状等匹配来将摄像机设置在车辆上的情况下，由于摄像机的倾斜角度等没有保持为一定，所以需要对应于摄像机的倾斜角度等的变化来适当调整图像变换参数。在使用了不恰当的图像变换参数的情况下，在所生成的扩展俯瞰图图像内发生了图像的丢失。图16表示发生了该丢失的扩展俯瞰图图像的例子。
所谓图像的丢失是指在应表现扩展俯瞰图图像的整体像的扩展俯瞰图图像的整体区域内包含图像丢失区域。所谓图像丢失区域是指不存在基于摄像机图像的图像数据得到的图像数据的区域。图16上方的涂黑部分是图像丢失区域。本来应根据基于摄像机的拍摄结果得到的摄像机图像的图像数据，生成扩展俯瞰图图像的所有像素的图像数据，但是若图像变换参数不恰当，则摄像机图像内不存在扩展俯瞰图图像内的一部分像素的对应像素，结果发生了图像丢失。
在显示扩展俯瞰图图像的系统中，当然应尽量不发生图像丢失。
发明内容
因此，本发明所要解决的技术问题是提供一种可抑制通过坐标变换来自摄像机的图像而得到的变换图像上的图像丢失的图像处理装置和图像校正方法。另外，本发明所要解决的技术问题是还提供一种使用了该装置和方法的驾驶支持系统和车辆。
本发明的图像处理装置，其特征在于，包括：图像取得单元，根据拍摄车辆周边的摄像机的拍摄结果来取得输入图像；图像变换单元，通过坐标变换，将所述输入图像变换为变换图像，该变换图像包含从第1虚拟摄像机看到的第1要素图像和从与所述第1虚拟摄像机不同的第2虚拟摄像机看到的第2要素图像；参数存储单元，存储用于将所述输入图像变换为所述变换图像的图像变换参数；丢失判断单元，判断在使用所述参数存储单元中存储的图像变换参数而从所述输入图像得到的所述变换图像的整体区域内，是否包含不存在基于所述输入图像的图像数据得到的图像数据的图像丢失区域；和参数调整单元，在判断为在所述变换图像的整体区域内包含所述图像丢失区域时，调整所述图像变换参数，抑制所述图像丢失区域的发生。
由此，可以生成抑制了图像的丢失的变换图像。
具体上，例如，所述图像变换单元按照所述图像变换参数，将所述输入图像划分为包含出现距所述车辆的距离较短的被摄体的第1部分图像和出现距所述车辆的距离较长的被摄体的第2部分图像的多个部分图像，并通过将所述第1和第2部分图像分别变换为所述第1和第2要素图像而生成所述变换图像。
例如，设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟摄像机的俯角小，且以所述第1要素图像和所述第2要素图像的分界线为起点，随着离开所述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减小；所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，通过沿所述图像丢失区域的大小减小的方向来调整所述角度变化率，从而进行所述图像变换参数的调整。
如上这样，图像变换参数依赖于角度变化率，通过调整角度变化率，变换图像的视野范围变化。因此，通过调整角度变化率，可以抑制图像丢失区域的发生。
或者，例如，设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟摄像机的俯角小；所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，沿所述图像丢失区域的大小减小的方向，使所述第1要素图像和所述第2要素图像的分界线在所述变换图像内移动，由此来进行所述图像变换参数的调整。
由于第2虚拟摄像机的俯角比第1虚拟摄像机的俯角小，所以例如、若沿第2要素图像的图像尺寸缩小的方向使上述分界线在变换图像内移动，则变换图像的视野范围缩小。因此，可以通过调整分界线的位置来抑制图像丢失区域的发生。
或者，例如，所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，沿所述图像丢失区域的大小减小的方向来调整所述第1和第2虚拟摄像机的高度，由此进行所述图像变换参数的调整。
由于变换图像是将输入图像变换为从虚拟摄像机看到的图像而得到的，所以例如若使虚拟摄像机的高度降低，则可缩小变换图像的视野范围。因此，通过调整虚拟摄像机的高度可以抑制图像丢失区域的发生。
或者，例如、设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟摄像机的俯角小，且将所述第1要素图像和所述第2要素图像的分界线作为起点，随着离开所述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减小，所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，将所述角度变化率、所述变换图像上的所述分界线的位置、和所述第1和第2虚拟摄像机的高度分别作为第1、第2和第3调整对象处理，并通过沿抑制所述图像丢失区域发生的方向来调整第1～第3的调整对象内的其中1个以上，而进行所述图像变换参数的调整，并重复执行所述图像变换参数的调整，直到图像丢失区域不包含在所述变换图像的整体区域内。
具体上，例如，通过所述图像变换参数，来规定对应于所述变换图像内的各像素的坐标值的坐标变换前的坐标值；所述丢失判断单元在其坐标变换前的坐标值全部是所述输入图像内的坐标值的情况下，判断为所述变换图像的整体区域内不含有所述图像丢失区域，在所求出的所述坐标值中包含所述输入图像外的坐标值的情况下，判断为所述变换图像的整体区域内含有所述图像丢失区域。
本发明的驾驶支持系统，其特征在于，包括所述摄像机和所述图像处理装置，将基于由所述图像处理装置的图像变换单元得到的变换图像的图像输出到显示单元。
本发明的车辆，其特征在于，设有所述摄像机和所述图像处理装置。
本发明的图像处理方法，其特征在于，执行下述步骤：图像取得步骤，根据拍摄车辆周边的摄像机的拍摄结果来取得输入图像；图像变换步骤，通过坐标变换，将所述输入图像变换为变换图像，该变换图像包含从第1虚拟摄像机看到的第1要素图像和从与所述第1虚拟摄像机不同的第2虚拟摄像机看到的第2要素图像；参数存储步骤，存储用于将所述输入图像变换为所述变换图像的图像变换参数；丢失判断步骤，判断在使用所存储的所述图像变换参数而从所述输入图像得到的所述变换图像的整体区域内，是否包含不存在基于所述输入图像的图像数据得到的图像数据的图像丢失区域；和参数调整步骤，在判断为在所述变换图像的整体区域内包含所述图像丢失区域时，调整所述图像变换参数，抑制所述图像丢失区域的发生。
发明的效果
根据本发明，可以提供抑制了通过对来自摄像机的图像进行坐标变换而得到的变换图像上的图像丢失的图像处理装置和图像校正方法。另外，可以提供利用了这些装置和方法的驾驶支持系统和车辆。
本发明的意义和效果可通过下面所示的实施方式的说明来进一步明确。但是，下面的实施方式始终是本发明的一实施方式，本发明和各构成要件的用语的含义并不限于下面实施方式记载的内容。
附图说明
图1是本发明的实施方式的驾驶支持系统的示意结构框图；
图2是适用了图1的驾驶支持系统的车辆的外观侧面图；
图3是表示了摄像机的俯角和地面(水平面)的关系的图；
图4是表示摄像机的光学中心和定义摄像机图像的摄像机坐标面的关系的图；
图5是表示摄像机坐标面和俯瞰图坐标面的关系的图；
图6(a)是表示从图1的摄像机得到的摄像机图像的图，(b)是表示基于该摄像机图像的俯瞰图图像的图；
图7是表示由图1的图像处理装置生成的扩展俯瞰图图像的结构的图；
图8是表示摄像机图像和扩展俯瞰图图像的关系的图；
图9是表示从图6(a)的摄像机图像得到的扩展俯瞰图图像的图；
图10是包含图像处理装置的功能框图的图1的驾驶支持系统的详细框图；
图11是表示图1的驾驶支持系统的动作流程的流程图；
图12是表示在图10的图像处理装置内定义的俯瞰图坐标面上的扩展俯瞰图图像的外形的图；
图13(a)是图像没有丢失的情况下的摄像机图像和扩展俯瞰图图像的关系图；(b)是图像有丢失的情况下的摄像机图像和扩展俯瞰图图像的关系图；
图14(a)、(b)和(c)分别是表示现有技术的摄像机图像、俯瞰图图像和扩展俯瞰图图像的图；
图15(a)和(b)是在扩展俯瞰图图像的生成时假定的虚拟摄像机的图像图；
图16是示例发生了图像丢失的扩展俯瞰图图像的图。
图中：1-摄像机；2-图像处理装置；3-显示装置；11-图像输入部；12-透镜变形校正部(lens distortion correction portion)；13-图像变换部；14-丢失判断部；15-参数调整部；16-参数存储部；17-显示用图像生成部。
具体实施方式
下面，根据本发明的实施方式，来参考附图进行具体说明。在参考的各图中，对同一部分添加同一附图标记，并以省略与同一部分有关的重复说明作为原则。
图1表示本发明的实施方式的驾驶支持系统的示意结构框图。图1的驾驶支持系统包括摄像机1、图像处理装置2和显示装置3。摄像机1进行拍摄，并将表示通过拍摄得到的图像的信号输出到图像处理装置2。图像处理装置2从由摄像机1得到的图像中生成显示用图像。图像处理装置2将表示所生成的显示用图像的视频信号输出到显示装置3，显示装置3根据所提供的视频信号将显示用图像作为视频加以显示。
将通过摄像机1的拍摄得到的图像称作摄像机图像。摄像机1的输出信号本身表示的摄像机图像受透镜变形的影响多。因此，图像处理装置2对通过摄像机1的输出信号本身表示的摄像机图像实施透镜变形校正，并根据透镜变形校正后的摄像机图像来进行显示用图像的生成。只要不特别指出，以下所描述的摄像机图像是指透镜变形校正后的摄像机图像。但是，有时根据摄像机1的特性，省略透镜变形校正处理。
图2是表示适用图1的驾驶支持系统的车辆100的外观侧面图。如图2所示，在车辆100的后部向后方倾斜向下配置摄像机1。车辆100例如是汽车。水平面和摄像机1的光轴所成的角有图2中用θ表示的角度和用θ’表示的角度。关于作为观察者的某摄像机，一般将水平面和该摄像机的光轴所成的锐角称作俯角(或下视角)。角度θ’是摄像机1的俯角。现在，将角度θ作为摄像机1相对水平面的倾斜角度来捕捉。90度＜θ＜180度，且θ+θ’＝180度成立。
摄像机1拍摄车辆100的周边。尤其，将摄像机1设置在车辆100上，使得车辆100的后方侧具有视野。摄像机1的视野中包含位于车辆100的后方侧的路面。在下面的说明中，将地面设作水平面上，“高度”表示以地面为基准的高度。本实施方式中，地面与路面含义相同。
作为摄像机1，采用使用了CCD(Charge Coupled Devices)和CMOS(Complementary Metal Oxide Semiconductor)图像传感器等的固体摄像元件的摄像机。图像处理装置2例如由集成电路形成。显示装置3由液晶显示面板等形成。也可将汽车导航系统等中含有的显示装置用作驾驶支持系统的显示装置3。图像处理装置2可作为汽车导航系统的一部分组装。图像处理装置2和显示装置3设置在例如、车辆100的驾驶席附近。
[关于通常的俯瞰图图像]
图像处理装置2可通过使用坐标变换，将摄像机图像变换为从虚拟摄像机的视点看到的图像而生成俯瞰图图像。将从摄像机图像生成俯瞰图图像用的坐标变换称作“俯瞰变换”。图像处理装置2可生成如特开2006-287892号公报所描述的这种扩展俯瞰图图像，但是首先说明作为其基础的俯瞰变换。
参考图4和图5。将与摄像机1的光轴方向正交的面设作摄像机坐标面。图4和图5中，用面Pbu表示摄像机坐标面。摄像机坐标面是与摄像机的固体摄像元件的摄像面平行的摄像机图像的投影面，摄像机图像通过在摄像机坐标面上二维排列的各像素来形成。若用Oc表示摄像机1的光学中心，同时将通过光学中心Oc且与摄像机1的光轴方向平行的轴设作Z轴。将Z轴和摄像机坐标面的交点作为摄像机图像的中心点。将摄像机坐标面上的彼此正交的坐标轴设作Xbu轴和Ybu轴。Xbu轴和Ybu轴分别与摄像机图像的水平方向和垂直方向平行。并且，用坐标值(xbu，ybu)表示摄像机坐标面(和摄像机图像)上的某个像素的位置。Xbu轴和Ybu轴分别表示该像素在摄像机坐标面(和摄像机图像)上的水平位置和垂直位置。另外，用O表示包含摄像机坐标面的二维正交坐标面的原点。摄像机图像的垂直方向对应于距车辆100的距离方向，在摄像机坐标面上，若某个像素的Ybu轴分量(即、ybu)增大，则摄像机坐标面上的该像素与车辆100和摄像机1的距离增大。
将与地面平行的面设作俯瞰图坐标面。图5中，用面Pau表示俯瞰图坐标面。俯瞰图图像通过在俯瞰图坐标面上二维排列的各像素形成。将俯瞰图坐标面上的正交坐标轴设作Xau轴和Yau轴。Xau轴和Yau轴分别别与俯瞰图图像的水平方向和垂直方向平行。用坐标值(xau，yau)表示俯瞰图坐标面(和俯瞰图图像)上的某个像素的位置。xau和yau分别表示该像素在俯瞰图坐标面(和俯瞰图图像)上的水平位置和垂直位置。俯瞰图图像的垂直方向对应于距车辆100的距离方向，若俯瞰图坐标面上，某个像素的Yau轴分量(即、yau)增大，则俯瞰图坐标面上的该像素与车辆100和摄像机1的距离增大。
俯瞰图图像相当于将摄像机坐标面上定义的摄像机图像投影到俯瞰图坐标面上的图像，可通过公知的坐标变换来实现进行该投影用的俯瞰变换。例如、在使用透视投影变换的情况下，可以通过根据下述式(1)将摄像机图像上的各像素的坐标值(xbu，ybu)变换为俯瞰图图像上的坐标值(xau，yau)而生成俯瞰图图像。这里，f是摄像机1的焦点距离。H是配置摄像机1的高度(设置高度)、即摄像机1的视点高度。H是配置上述虚拟摄像机的高度，即虚拟摄像机的视点高度。
【式1】
Figure 000009
图6(a)表示摄像机图像200的例子，同时图6(b)表示通过俯瞰变换该摄像机图像所得到的俯瞰图图像210。摄像机图像200通过拍摄在路面上描绘的2条平行白线而得到。另外，作为被摄体的人物位于该白线的侧面。因摄像机1的倾斜角度θ不是90度，摄像机图像200内的2条白线不平行，但是俯瞰图图像210内的2条白线与实际空间上的白线相同而为平行。另外，图6(b)和后述的图9所示的斜线区域是通过摄像机1没有拍摄到的区域(原本没有图像信息的区域)。摄像机图像的整体区域的外形是矩形，但是因俯瞰变换的原理，俯瞰图图像的整体区域的外形不为矩形。
[关于扩展俯瞰图图像]
上述的俯瞰图图像是将摄像机图像变换为从虚拟摄像机的视点看到的图像的图像，在生成俯瞰图图像的情况下的虚拟摄像机的俯角为90度。即，该虚拟摄像机是沿铅直方向向下看地面的摄像机。若显示俯瞰图图像，则驾驶者容易捕捉图像上的车体和物体的距离感(换而言之是远近感)，但是俯瞰图图像在其特性上，视野范围窄。图像处理装置2可生成考虑了该情形的扩展俯瞰图图像。
图7表示扩展俯瞰图图像的结构。扩展俯瞰图图像的整体区域以分界线BL为分界而分割为第1和第2图像区域。将第1图像区域内的图像称作第1要素图像，将第2图像区域内的图像称作第2要素图像。图7的下方侧是车辆100所处的侧，在第1要素图像内有距车辆100的距离较近的被摄体，在第2要素图像内有距车辆100的距离较远的被摄体。即，第1要素图像内出现的被摄体比第2要素图像内出现的被摄体更位于车辆100和摄像机1的附近。
图7的上下方向与扩展俯瞰图图像的垂直方向一致，分界线BL与扩展俯瞰图图像的水平方向和水平线平行。将第1要素图像内的水平线内，位于最接近车辆100的水平线称作下端线LL。将第2要素图像内的水平线中，与分界线BL的距离最远的水平线称作上端线UL。对于扩展俯瞰图图像上的某点，随着该点从下端线LL向上端线UL，扩展俯瞰图图像上的该点与车辆100和摄像机1的距离变大。
与俯瞰图图像同样，扩展俯瞰图图像也是俯瞰图坐标面上的图像。只要不特别限定，将以下的说明中的俯瞰图坐标面解释为是指定义了扩展俯瞰图图像的坐标面的面。因此，俯瞰图坐标面(和扩展俯瞰图图像)上的某个像素的位置由坐标值(xau，yau)表示，xau和yau分别表示该像素在俯瞰图坐标面(和扩展俯瞰图图像)上的水平位置和垂直位置。Xau轴和Yau轴分别与扩展俯瞰图图像的水平方向和垂直方向平行。扩展俯瞰图图像的垂直方向对应于距车辆100的距离方向，在俯瞰图坐标面上，若某个像素的Yau轴分量(即、yau)增大，则俯瞰图坐标面上的该像素与车辆100和摄像机1的距离增大。扩展俯瞰图图像的水平线内，Yau轴分量最小的水平线与下端线LL一致，Yau轴分量最大的水平线与上端线UL一致。
参考图8，说明从摄像机图像生成扩展俯瞰图图像的方法的示意。在将摄像机图像分割为Ybu轴分量较小的区域(车辆附近的图像区域)内的部分图像221和Ybu轴分量较大的区域(车辆远方的图像区域)内的部分图像222来考虑的情况下，从部分图像221的图像数据生成第1要素图像，且从部分图像222的图像数据生成第2要素图像。
第1要素图像通过对部分图像221实施上述的俯瞰变换而得到。即，将部分图像221内的各像素的坐标值(xbu，ybu)通过下述式(2)和(3)变换为俯瞰图坐标面上的坐标值(xau，yau)，且将从具有该坐标变换后的坐标值的各像素形成的图像设作第1要素图像。式(2)是将式(1)中的θ替换为θA的式子。如从式(3)可以看出，在生成第1要素图像时，使用实际的摄像机1的倾斜角度θ作为式(2)中的θA。
【式2】
Figure 000010
【式3】
θA＝θ                         …(3)
另一方面，将部分图像222内的各像素的坐标值(xbu，ybu)根据式(2)和式(4)变换为俯瞰图坐标面上的坐标值(xau，yau)，并将由具有该坐标变换后的坐标值的各像素形成的图像作为第2要素图像。即，在生成第2要素图像时，作为式(2)中的θA，使用基于式(4)的θA。这里，Δyau是第2要素图像内关注的像素与分界线BL在俯瞰图坐标面上的距离。随着该关注的像素的坐标值的Yau轴分量(即、yau)与分界线BL的坐标值的Yau轴分量的差值增大，Δyau增大。Δθ是具有正值的角度变化率。可预先设置Δθ的值。其中，设置Δθ，使得θA一直为90度以上。在基于式(4)的情况下，每次生成一行的比分界线BL位于上方的图像时，用于坐标变换的角度θA向90度平滑减少，但是也可以是每生成多行时使角度θA变化。
【式4】
θA＝θ-Δyau ×Δθ                   …(4)
将如上这种从摄像机图像生成扩展俯瞰图图像用的坐标变换称作“扩展俯瞰变换”。作为例子，图9表示从图6(a)的摄像机图像200生成的扩展俯瞰图图像250。在扩展俯瞰图图像250内，相当于第1要素图像的部分中，描绘沿铅直方向往下看地面这种图像，在相当于第2要素图像的部分上描绘从倾斜方向往下看地面的图像。
因视野范围窄，在图6(b)的俯瞰图图像210上，几乎没有描绘出作为被摄体的人物(俯瞰图图像210上仅描绘了脚部)，在图9的扩展俯瞰图图像250中，使得人物与图6(a)的摄像机图像200相同程度地被描绘。若显示这种扩展俯瞰图图像，则可将较远方的区域作为视频来进行识别。
第1要素图像是通过视点变换，将从实际的摄像机1的视点看到的部分图像221变换为从虚拟摄像机的视点看到的图像而得到的图像。由于该情况下的视点变换使用实际的摄像机1的倾斜角度θ来进行，所以该虚拟摄像机的俯角是90度(其中可包含误差)。即，生成第1要素图像时虚拟摄像机的俯角是90度。
同样，第2要素图像是通过视点变换，将从实际的摄像机1的视点看到的部分图像222变换为从虚拟摄像机的视点看到的图像而得到的图像。其中，该情况下的视点变换使用比实际的摄像机1的倾斜角度θ小的角度θA来进行(参考式(4))，该虚拟摄像机的俯角未达到90度。即，生成第2要素图像时的虚拟摄像机的俯角未达到90度。为了方便，还将生成第1和第2要素图像时的虚拟摄像机分别称作第1和第2虚拟摄像机。随着Δyau增大，基于式(4)的角度θA向90度减少，随着式(2)的角度θA向90度减少，第2虚拟摄像机的俯角减小。若角度θA变为90度，则第2虚拟摄像机的俯角和实际的摄像机1的俯角相同。另外，第1虚拟摄像机的高度和第2虚拟摄像机的高度相同(共同为H)。
图像处理装置2根据上述式(2)～(4)，生成用于将摄像机图像变换为扩展俯瞰图图像的图像变换参数来加以存储。将摄像机图像变换为扩展俯瞰图图像用的图像变换参数也特别称作扩展变换参数。通过扩展变换参数，来指定俯瞰图坐标面(和扩展俯瞰图图像)上的像素的坐标值与摄像机坐标面(和摄像机图像)上的像素的坐标值的对应关系。还可以将扩展变换参数存储在查找表中。
[包含扩展变换参数的调整在内的驾驶支持系统的操作]
在清楚完全固定了摄像机1的倾斜角度和设置高度的情况下，若在驾驶支持系统的设计阶段预先适当设置上述的角度变化率Δθ、分界线BL的位置和虚拟摄像机的高度H，则可一直生成适当的扩展俯瞰图图像。但是，在用户与车辆100分开地另外准备摄像机1，并与车辆100的形状等相匹配而将摄像机1设置在车辆100上的情况下，由于没有将摄像机1的倾斜角度等保持为一定，所以需要对应于摄像机1的倾斜角度等的变化来适当调整扩展变换参数。本实施方式的驾驶支持系统中具有自动调整扩展变换参数的功能。说明关注于该功能的驾驶支持系统的结构和操作。
图10是包含图像处理装置2的功能框图在内的图1的驾驶支持系统的详细框图。图像处理装置2包括通过附图标记11～17参考的各部位。图11是表示驾驶支持系统的动作流程的流程图。
图10的参数存储部16是存储扩展变换参数的存储器。所存储的扩展变换参数的初始值在图11所示的步骤S1～S7构成的一系列处理的执行前来预先决定。例如，该初始值在校准模式中设置。在车辆100上设置了摄像机1后，若用户对驾驶支持系统施加预定的操作，则执行校准模式中的动作。在校准模式中，对未图示的操作部，若用户将表示摄像机1的倾斜角度和设置高度的信息提供给驾驶支持系统，则图像处理装置2根据该信息，来决定上述式(2)～式(4)中的θ和h各值。图像处理装置2使用这里决定的θ和h各值、预先设置的角度变化率Δθ的初始值、预先设置的分界线BL的初始位置和预先设置的虚拟摄像机的高度H的初始值，根据式(2)～式(4)来决定扩展变换参数的初始值。另外，图像处理装置2预先识别上述式(2)中的焦点距离f的值。另外，也可以是用户决定虚拟摄像机的高度H的初始值。
根据图11的流程图，来说明驾驶支持系统的动作。首先，在步骤S1中，图像输入部11从摄像机1接受原图像的输入。即，图像输入部11接受从摄像机1送来的原图像的图像数据，并将该图像数据存储到帧存储器(未图示)中，从而取得原图像。所谓原图像是指透镜变形校正前的摄像机图像。由于为确保大视野角而在摄像机1中使用广角透镜，所以原图像中含有变形。因此，在步骤S2中，透镜变形校正部12对图像输入部11取得的原图像实施透镜变形校正。作为透镜变形校正的方法，可以利用特开平5-176323号公报记载的这种公知的任意方法。如上述这样，仅将对原图像实施透镜变形校正而得到的图像称作摄像机图像。
在接着步骤S2的步骤S3中，图像变换部13读入参数存储部16中存储的扩展变换参数。如后所述，有时更新扩展变换参数。步骤S3中，读入最新的扩展变换参数。在接着的步骤S4中，图像变换部13根据所读取的扩展变换参数，扩展俯瞰变换从透镜变形校正部12提供的摄像机图像，生成扩展俯瞰图图像。
在步骤S4的处理后，通过丢失判断部14来执行步骤S5的处理。丢失判断部14判断步骤S4中应生成的扩展俯瞰图图像中是否发生了图像的丢失。所谓图像的丢失是指在应出现扩展俯瞰图图像的整体像的扩展俯瞰图图像的整体区域内包含图像丢失区域，在扩展俯瞰图图像的整体区域内包含图像丢失区域的情况下，判断为发生了图像的丢失。所谓图像丢失区域是指不存在基于摄像机图像的图像数据得到的图像数据的区域。图16表示发生了图像的丢失的扩展俯瞰图图像的例子。图16的上方的涂黑部分是图像丢失区域。本来应从基于摄像机的拍摄结果得到的摄像机图像的图像数据生成扩展俯瞰图图像的所有像素的图像数据，但是若图像变换参数不恰当，则扩展俯瞰图图像内的一部分像素的对应像素不存在于摄像机图像内，结果发生了图像丢失。
另外，作为丢失判断部14的判断对象的图像的丢失发生在扩展俯瞰图图像的第2图像区域内(参考图7和图16)。即，在产生图像丢失区域的情况下，其包含在第2图像区域内。另外，从扩展俯瞰变换的原理，以上端线UL为起点产生该图像的丢失。
在判断为扩展俯瞰图图像中发生图像的丢失的情况下，从步骤S5进入步骤S6，在判断为没有发生图像的丢失的情况下，进入步骤S7。
参考图12和图13(a)和(b)，来补充说明图像丢失的含义和有无图像丢失的判断方法。预先设置形成扩展俯瞰图图像的各像素应位于的在俯瞰图坐标面上的坐标值，根据该设置内容，还预先设置了俯瞰图坐标面上的扩展俯瞰图图像的外形位置。图12与图13(a)和(b)中，添加了附图标记270的框表示俯瞰图坐标面上的扩展俯瞰图图像的整体区域外形。在该框270内由二维排列的像素群生成扩展俯瞰图图像。
丢失判断部14根据步骤S3中读取的扩展变换参数，求出与框270内的各像素的坐标值(xau，yau)对应的摄像机坐标面上的坐标值(xbu，ybu)。并且，在所求出的所有坐标值(xbu，ybu)为摄像机图像内的坐标值的情况下，即，可从摄像机图像的图像数据得到形成扩展俯瞰图图像的所有像素的图像数据的情况下，判断为没有发生图像的丢失。另一方面，在所求出的所有坐标值(xbu，ybu)中存在摄像机图像外的坐标值的情况下，判断为发生了图像的丢失。图13(a)表示没有发生图像的丢失的情况下的坐标变换的情形，图13(b)表示发生了图像的丢失的情况下的坐标变换的情形。图13(a)和(b)中，框280表示摄像机坐标面上的摄像机图像的整体区域外形，仅框280内存在摄像机图像的图像数据。
在步骤S5中判断为发生了图像的丢失的情况下，在步骤S6中，根据其判断结果，参数调整部15进行扩展变换参数的调整。从原图像生成的扩展俯瞰图图像依赖于透镜变形校正、摄像机1的倾斜角度θ和设置高度h、角度变化率Δθ、分界线BL的位置和虚拟摄像机的高度H，但是其中透镜变形校正应依赖于摄像机1中使用的透镜的特性而决定，摄像机1的倾斜角度θ和设置高度h应依赖于摄像机1对车辆100的安装状态而决定。
因此，参数调整部15调整角度变化率Δθ、分界线BL的位置或虚拟摄像机的高度H，使得扩展俯瞰图图像的整体区域内含有的图像丢失区域的大小减小(最终使得完全没有图像丢失区域)。所谓图像丢失区域的大小是指图像丢失区域的图像尺寸。可以通过形成图像丢失区域的像素数来表示图像丢失区域的大小。
具体上，例如调整角度变化率Δθ，使得调整后的角度变化率Δθ比调整前的变化率小。即，对角度变化率Δθ进行减小校正。通过减小角度变化率Δθ，由于虚拟摄像机对第2要素图像内的某个像素的俯角与调整前相比更接近90度，所以车辆远方侧的视野范围变窄而难以发生图像丢失。能够预先确定角度变化率Δθ的每一次的减少量。或者，也可根据图像丢失区域的大小决定其减少量。将基于使用了调整后的角度变化率Δθ的式(2)～式(4)的扩展变换参数更新存储到参数存储部16中。
或者，例如，调整分界线BL的位置，使得调整后的分界线BL的位置比调整前的分界线位置更接近上端线UL。即，使分界线BL的Yau轴方向的坐标值增大。通过使分界线BL的位置向上端线UL侧移动，而减小第2要素图像的垂直图像大小，所以车辆远方侧的视野范围变窄而难以发生图像丢失。可以预先决定分界线BL的每一次的移动量。或者，也可根据图像丢失区域的大小来决定其移动量。将基于使用了调整后的分界线BL的位置的式(2)～式(4)的扩展变换参数更新存储到参数存储部16中。
或者，例如调整虚拟摄像机的高度H，使得调整后的虚拟摄像机的高度H比调整前的高度低。通过降低虚拟摄像机的高度H，扩展俯瞰图图像的整体的视野范围变窄，所以难以发生图像丢失。能够预先决定高度H的每一次的降低量。或者，也可根据图像丢失区域的大小来决定该降低量。将基于使用了调整后的高度H的基于式(2)～式(4)的扩展变换参数更新存储到参数存储部16中。
或者，例如可以将角度变化率Δθ、分界线BL的位置和虚拟摄像机的高度H分别作为第1、第2和第3调整对象来加以处理，并同时调整第1～第3调整对象内的2个以上的调整对象，使扩展俯瞰图图像的整体区域内含有的图像丢失区域的大小减小(最终完全没有图像丢失区域)。即，例如、可以同时调整角度变化率Δθ和分界线BL的位置，减小角度变化率Δθ，且使分界线BL的位置接近上端线UL。该情况下，将基于使用了调整后的角度变化率Δθ和分界线BL的位置的基于式(2)～式(4)的扩展变换参数更新存储到参数存储部16中。
在步骤S6中调整了扩展变换参数后，回到步骤S3，通过图像变换部13读取更新存储的扩展变换参数，并执行使用了该更新存储后的扩展变换参数的步骤S4的扩展俯瞰变换和步骤S5的丢失判断处理。因此，由步骤S3～S6构成的循环处理重复执行到步骤S5中判断为没有发生图像的丢失为止。
在步骤S5中判断为没有发生图像的丢失的情况下，将没有发生图像的丢失的最新扩展俯瞰图图像的图像数据从图像变换部13送到显示用图像生成部17(参考图10)。显示用图像生成部17根据该最新扩展俯瞰图图像的图像数据生成显示用图像的图像数据，并将该显示用图像的图像数据输出到显示装置3。由此，将基于不存在图像的丢失的扩展俯瞰图图像的显示用图像显示到显示装置3上。显示用图像例如是，扩展俯瞰图图像本身、或对扩展俯瞰图图像施加了任意加工后的图像、或、对扩展俯瞰图图像添加了任意图像后的图像。
根据本实施方式的驾驶支持系统，即使摄像机1的倾斜角度θ或设置高度H变化，也可与该变化相适应来自动调整扩展变换参数，所以可以向驾驶者提示不存在图像丢失的视频。
<<变形等>>
作为上述实施方式的变形例或注释事项，在下面描述注释1～注释4。各注释中记载的内容只要不矛盾，就可任意组合。
[注释1]
上述例子中，对透镜变形校正后的图像作用了扩展变换参数，但是也可将进行透镜变形校正用的图像变换添加到扩展变换参数中，而从原图像一次生成扩展俯瞰图图像。该情况下，将图10的图像输入部11中取得的原图像输入图像变换部13。然后，使还包含透镜变形校正用的图像变换的扩展变换参数存储到参数存储部16中，并将该扩展变换参数作用于原图像，从而生成扩展俯瞰图图像。
有时根据使用的摄像机，不需要透镜变形校正本身。在不需要透镜变形校正的情况下，也可从图10的图像处理装置2删除透镜变形校正部12，并将原图像直接提供给图像变换部13。
[注释2]
上面描述了将摄像机1设置在车辆100的后部，使得车辆100的后方侧具有视野的例子，但是也可将摄像机1设置在车辆100的前部或侧部，使得车辆100的前方侧具有视野，或车辆100的侧部具有视野。
[注释3]
上述例子中，将基于从1台摄像机得到的摄像机图像的显示用图像显示到显示装置3上，但是也可在车辆100上设置多个摄像机(未图示)，根据从该多个摄像机(未图示)得到的多个摄像机图像来生成显示用图像。例如，还可将摄像机1之外的1台以上其他摄像机安装在车辆100上，将基于其他摄像机的摄像机图像的图像合成到基于摄像机1的摄像机图像的图像(上述的例子中是扩展俯瞰图图像)，并将通过该合成得到的合成图像最终作为显示装置3上的显示用图像。该合成图像例如是将车辆100的360度周边整周收入视野范围的图像。
[注释4]
图10的图像处理装置2可通过硬件、或、硬件和软件的组合来加以实现。在使用软件构成图像处理装置2的情况下，对用软件实现的部位的框图表示该部位的功能框图。另外，将用图像处理装置2实现的功能的所有部分或一部分作为程序来描述，并在程序执行装置上执行该程序，从而可实现该功能的所有部分或一部分。

Claims (10)

1.一种图像处理装置，其特征在于，包括：
图像取得单元，根据拍摄车辆周边的摄像机的拍摄结果来取得输入图像；
图像变换单元，通过坐标变换，将所述输入图像变换为变换图像，该变换图像包含从第1虚拟摄像机看到的第1要素图像和从与所述第1虚拟摄像机不同的第2虚拟摄像机看到的第2要素图像；
参数存储单元，存储用于将所述输入图像变换为所述变换图像的图像变换参数；
丢失判断单元，判断在使用所述参数存储单元中存储的图像变换参数而从所述输入图像得到的所述变换图像的整体区域内，是否包含不存在基于所述输入图像的图像数据得到的图像数据的图像丢失区域；和
参数调整单元，在判断为在所述变换图像的整体区域内包含所述图像丢失区域时，调整所述图像变换参数，抑制所述图像丢失区域的发生。
2.根据权利要求1所述的图像处理装置，其特征在于：
所述图像变换单元按照所述图像变换参数，将所述输入图像划分为出现距所述车辆的距离较短的被摄体的第1部分图像和出现距所述车辆的距离较长的被摄体的第2部分图像，并通过将所述第1和第2部分图像分别变换为所述第1和第2要素图像，来生成所述变换图像。
3.根据权利要求2所述的图像处理装置，其特征在于：
设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟摄像机的俯角小，且以所述第1要素图像和所述第2要素图像的分界线为起点，随着离开所述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减小；
所述参数调整单元，在判断为在所述变换图像的整体区域内包含所述图像丢失区域时，通过沿所述图像丢失区域的大小减小的方向来调整所述角度变化率，从而进行所述图像变换参数的调整。
4.根据权利要求2所述的图像处理装置，其特征在于：
设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟摄像机的俯角小；
所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，沿所述图像丢失区域的大小减小的方向，使所述第1要素图像和所述第2要素图像的分界线在所述变换图像内移动，由此来进行所述图像变换参数的调整。
5.根据权利要求2所述的图像处理装置，其特征在于：
所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，沿所述图像丢失区域的大小减小的方向来调整所述第1和第2虚拟摄像机的高度，由此进行所述图像变换参数的调整。
6.根据权利要求2所述的图像处理装置，其特征在于：
设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟摄像机的俯角小，且以所述第1要素图像和所述第2要素图像的分界线作为起点，随着离开所述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减小，
所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，
将所述角度变化率、所述变换图像上的所述分界线的位置、和所述第1和第2虚拟摄像机的高度分别作为第1、第2和第3调整对象处理，并通过沿所述图像丢失区域的大小减小的方向来调整第1～第3调整对象内的其中1个以上，而进行所述图像变换参数的调整，并重复执行所述图像变换参数的调整，直到所述图像丢失区域不包含在所述变换图像的整体区域内为止。
7.根据权利要求1至6的任意一项所述的图像处理装置，其特征在于：
通过所述图像变换参数，来规定与所述变换图像内的各像素的坐标值对应的坐标变换前的坐标值；
所述丢失判断单元在该坐标变换前的坐标值全部是所述输入图像内的坐标值的情况下，判断为所述变换图像的整体区域内不含有所述图像丢失区域，在该坐标变换前的坐标值中包含所述输入图像外的坐标值的情况下，判断为所述变换图像的整体区域内含有所述图像丢失区域。
8.一种驾驶支持系统，其特征在于：
包括摄像机和权利要求1至6的任意一项所述的图像处理装置，将基于通过所述图像处理装置的图像变换单元得到的变换图像的图像输出到显示单元上。
9.一种车辆，其特征在于：
设置有摄像机和权利要求1至6的任意一项所述的图像处理装置。
10.一种图像处理方法，其特征在于，执行下述步骤：
图像取得步骤，根据拍摄车辆周边的摄像机的拍摄结果来取得输入图像；
图像变换步骤，通过坐标变换，将所述输入图像变换为变换图像，该变换图像包含从第1虚拟摄像机看到的第1要素图像和从与所述第1虚拟摄像机不同的第2虚拟摄像机看到的第2要素图像；
参数存储步骤，存储用于将所述输入图像变换为所述变换图像的图像变换参数；
丢失判断步骤，判断在使用所存储的所述图像变换参数而从所述输入图像得到的所述变换图像的整体区域内，是否包含不存在基于所述输入图像的图像数据得到的图像数据的图像丢失区域；和
参数调整步骤，在判断为在所述变换图像的整体区域内包含所述图像丢失区域时，调整所述图像变换参数，抑制所述图像丢失区域的发生。
CN200980109377.8A 2008-03-19 2009-02-03 图像处理装置和方法、驾驶支持系统、车辆 Expired - Fee Related CN101978694B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008071864A JP5222597B2 (ja) 2008-03-19 2008-03-19 画像処理装置及び方法、運転支援システム、車両
JP2008-071864 2008-03-19
PCT/JP2009/051747 WO2009116327A1 (ja) 2008-03-19 2009-02-03 画像処理装置及び方法、運転支援システム、車両

Publications (2)

Publication Number Publication Date
CN101978694A CN101978694A (zh) 2011-02-16
CN101978694B true CN101978694B (zh) 2012-12-05

Family

ID=41090735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980109377.8A Expired - Fee Related CN101978694B (zh) 2008-03-19 2009-02-03 图像处理装置和方法、驾驶支持系统、车辆

Country Status (5)

Country Link
US (1) US20110001826A1 (zh)
EP (1) EP2254334A4 (zh)
JP (1) JP5222597B2 (zh)
CN (1) CN101978694B (zh)
WO (1) WO2009116327A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049821A1 (de) * 2007-10-16 2009-04-23 Daimler Ag Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
CN102804762A (zh) * 2009-06-29 2012-11-28 松下电器产业株式会社 车载用影像显示装置
JP5172806B2 (ja) 2009-10-05 2013-03-27 株式会社エヌ・ティ・ティ・ドコモ 無線通信制御方法、移動端末装置及び基地局装置
TWI392366B (zh) 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5212422B2 (ja) * 2010-05-19 2013-06-19 株式会社富士通ゼネラル 運転支援装置
JP5724446B2 (ja) * 2011-02-21 2015-05-27 日産自動車株式会社 車両の運転支援装置
JP5124672B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
JP5971939B2 (ja) * 2011-12-21 2016-08-17 アルパイン株式会社 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
CN103802725B (zh) * 2012-11-06 2016-03-09 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
CN103879351B (zh) * 2012-12-20 2016-05-11 财团法人金属工业研究发展中心 车用影像监视系统
CN104937634B (zh) * 2012-12-26 2018-04-03 哈曼国际工业有限公司 用于生成环绕视图的方法和系统
CN103366339B (zh) * 2013-06-25 2017-11-28 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
WO2015003708A1 (en) * 2013-07-08 2015-01-15 Vestas Wind Systems A/S Transmission for a wind turbine generator
JP6255928B2 (ja) * 2013-11-15 2018-01-10 スズキ株式会社 俯瞰画像生成装置
EP2884460B1 (en) * 2013-12-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US20160129838A1 (en) * 2014-11-11 2016-05-12 Garfield Ron Mingo Wide angle rear and side view monitor
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
GB2556797B (en) * 2015-11-06 2018-10-24 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
US20170151909A1 (en) * 2015-11-30 2017-06-01 Razmik Karabed Image processing based dynamically adjusting surveillance system
US11232627B2 (en) 2016-03-25 2022-01-25 Outward, Inc. Arbitrary view generation
US10163250B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation
US11989821B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
US9996914B2 (en) 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
US11222461B2 (en) 2016-03-25 2022-01-11 Outward, Inc. Arbitrary view generation
US10163249B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11989820B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
US10163251B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
JP6742869B2 (ja) * 2016-09-15 2020-08-19 キヤノン株式会社 画像処理装置および画像処理方法
US10198841B2 (en) * 2016-11-30 2019-02-05 Gopro, Inc. Map view
CN109544460A (zh) * 2017-09-22 2019-03-29 宝沃汽车（中国）有限公司 图像矫正方法、装置及车辆
DE102017221839A1 (de) 2017-12-04 2019-06-06 Robert Bosch Gmbh Verfahren zur Positionsbestimmung für ein Fahrzeug, Steuergerät und Fahrzeug
JP6973302B2 (ja) * 2018-06-06 2021-11-24 トヨタ自動車株式会社 物標認識装置
US11481976B2 (en) 2018-11-27 2022-10-25 Renesas Electronics Corporation Instruction list generation
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
FR3098620B1 (fr) * 2019-07-12 2021-06-11 Psa Automobiles Sa Procédé de génération d’une représentation visuelle de l’environnement de conduite d’un véhicule
CN112092731B (zh) * 2020-06-12 2023-07-04 合肥长安汽车有限公司 一种汽车倒车影像自适应调节方法及其系统
CN114708571A (zh) * 2022-03-07 2022-07-05 深圳市德驰微视技术有限公司 基于域控制器平台的自动泊车的停车位标注方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统
CN1906943A (zh) * 2004-01-30 2007-01-31 株式会社丰田自动织机 视频图像位置关系修正设备,具有该视频图像位置关系修正设备的转向辅助设备和视频图像位置关系修正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3395195B2 (ja) 1991-12-24 2003-04-07 松下電工株式会社 画像歪み補正方式
EP2267656A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP4786076B2 (ja) * 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
JP4274785B2 (ja) * 2002-12-12 2009-06-10 パナソニック株式会社 運転支援画像生成装置
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4583883B2 (ja) * 2004-11-08 2010-11-17 パナソニック株式会社 車両用周囲状況表示装置
JP4461091B2 (ja) * 2004-11-30 2010-05-12 本田技研工業株式会社 位置検出装置及びその補正方法
EP1850595B1 (en) * 2005-02-15 2016-07-13 Panasonic Intellectual Property Management Co., Ltd. Periphery supervising device, and periphery supervising method
JP2007249814A (ja) * 2006-03-17 2007-09-27 Denso Corp 画像処理装置及び画像処理プログラム
JP2007258989A (ja) * 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906943A (zh) * 2004-01-30 2007-01-31 株式会社丰田自动织机 视频图像位置关系修正设备,具有该视频图像位置关系修正设备的转向辅助设备和视频图像位置关系修正方法
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2004-289225A 2004.10.14
JP特开2006-135797A 2006.05.25
JP特开2007-249814A 2007.09.27

Also Published As

Publication number Publication date
CN101978694A (zh) 2011-02-16
JP2009231936A (ja) 2009-10-08
JP5222597B2 (ja) 2013-06-26
WO2009116327A1 (ja) 2009-09-24
EP2254334A4 (en) 2013-03-06
US20110001826A1 (en) 2011-01-06
EP2254334A1 (en) 2010-11-24

Similar Documents

Publication Publication Date Title
CN101978694B (zh) 图像处理装置和方法、驾驶支持系统、车辆
US10434877B2 (en) Driver-assistance method and a driver-assistance apparatus
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
JP4596978B2 (ja) 運転支援システム
JP4257356B2 (ja) 画像生成装置および画像生成方法
US9992481B2 (en) Method and apparatus for processing surrounding images of vehicle
US8259173B2 (en) Image generating apparatus and image generating method
WO2009116328A1 (ja) 画像処理装置及び方法、運転支援システム、車両
JP4975592B2 (ja) 撮像装置
US20140314336A1 (en) Image processing device, image processing method, program for image processing device, recording medium, and image display device
WO2000064175A1 (fr) Dispositif de traitement d&#39;images et systeme de surveillance
US10354358B2 (en) Image generation device, coordinate transformation table creation device and creation method
KR101912396B1 (ko) 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
KR20160013337A (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
JP2009120135A (ja) 撮像装置
JP2007158695A (ja) 車載画像処理装置
JP3446277B2 (ja) 車両用周囲状況表示装置
US9807302B1 (en) Offset rolling shutter camera model, and applications thereof
US7953292B2 (en) Semiconductor integrated circuit device and rendering processing display system
JP4945315B2 (ja) 運転支援システム及び車両
CN113592704B (zh) 一种图像生成方法、装置及系统
JP6213727B2 (ja) 画像データ変換装置並びに運転支援装置およびナビゲーション装置およびカメラ装置
CN115883754A (zh) 图像处理方法、装置、车辆及计算机可读存储介质
CN116777755A (zh) 一种畸变矫正方法、装置、车载设备及车辆
CN112967173A (zh) 一种图像生成方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121205

Termination date: 20220203

CF01 Termination of patent right due to non-payment of annual fee