CN101438590A - 车辆周围图像提供装置和车辆周围图像提供方法 - Google Patents

车辆周围图像提供装置和车辆周围图像提供方法 Download PDF

Info

Publication number
CN101438590A
CN101438590A CNA2007800166895A CN200780016689A CN101438590A CN 101438590 A CN101438590 A CN 101438590A CN A2007800166895 A CNA2007800166895 A CN A2007800166895A CN 200780016689 A CN200780016689 A CN 200780016689A CN 101438590 A CN101438590 A CN 101438590A
Authority
CN
China
Prior art keywords
image
vehicle
edge
coordinate transform
seam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800166895A
Other languages
English (en)
Other versions
CN101438590B (zh
Inventor
铃木政康
赤健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN101438590A publication Critical patent/CN101438590A/zh
Application granted granted Critical
Publication of CN101438590B publication Critical patent/CN101438590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

在车辆周围图像提供装置1中，图像变换部53从由多个照相机模块10拍摄的图像中生成俯视图像205。另外，图像检测部54以俯视图像205为对象进行边缘检测。并且，图像检测部54判断检测出的边缘线之中跨越俯视图像205的接缝的边缘线的连续性，在跨越俯视图像205的接缝的边缘线不连续的情况下，进行如下图像处理：使离本车辆较远的一侧的边缘线与靠近本车辆的一侧的边缘线对合，由此使边缘线在接缝处连续。

Description

车辆周围图像提供装置和车辆周围图像提供方法
技术领域
本发明涉及一种车辆周围图像提供装置和车辆周围图像提供方法。
背景技术
以往，众所周知如下的车辆周围图像提供装置：利用多个照相机拍摄车辆周围，将得到的图像进行坐标转换来生成从虚拟视点观察车辆那样的图像并提示给驾驶员。这种车辆周围图像提供装置大多以地面为坐标变换的基准面来生成俯视图像，并将俯视图像提示给驾驶员，由此使驾驶员客观地认识地面上的白线等与本车辆之间的位置关系，帮助停车驾驶、靠边停车驾驶(例如参照专利文献1)。
另外，一般当从斜上方拍摄边缘位置离开地面的物体并对拍摄的图像进行坐标变换时，边缘位置被提示为偏离到与实际位置不同的位置。并且，其偏离量根据物体的摄影位置而不同。因而，如以往的车辆周围图像提供装置那样，在利用多个照相机拍摄物体并将坐标变换后的多个图像合成的情况下，边缘线在图像的接缝处不连续，对于驾驶员来说难以进行观察。
本发明是为了解决上述以往的问题而完成的，其目的在于提供一种能够维持驾驶员的安全性并且消除难以观察多个图像的接缝部分的情形的车辆周围图像提供装置和车辆周围图像提供方法。
专利文献1：日本特开2003-169323号公报
发明内容
本发明所涉及的车辆周围图像提供装置将车辆周围的图像提供给驾驶员。该车辆周围图像提供装置具备多个摄影单元、图像处理单元、边缘检测单元、判断单元、以及图像处理单元。多个摄影单元拍摄本车辆周围，并且分别拍摄各个不同的方向。图像处理单元以地面为基准面对由多个摄影单元拍摄的车辆周围的各个图像进行坐标变换来生成坐标变换图像，并将生成的各坐标变换图像合成来生成俯视图像。边缘检测单元对由图像处理单元生成的俯视图像进行边缘检测。判断单元判断由边缘检测单元检测出的边缘线中跨越坐标变换图像的接缝的边缘线的连续性。图像处理单元在跨越坐标变换图像的接缝的边缘线不连续的情况下，进行如下图像处理：使离本车辆较远的一侧的边缘线与靠近本车辆的一侧的边缘线对合，由此使边缘线在接缝处连续。
在本发明中，在跨越坐标变换图像的接缝的边缘线不连续的情况下，进行如下校正：使离本车辆较远的一侧的边缘线与靠近本车辆的一侧的边缘线对合，由此使边缘线在接缝处连续。即，在本发明中，使用图像处理进行使边缘线在图像的接缝处具有连续性的校正，并且使其它的边缘线与从本车辆看来实际位置与图像上的位置的偏离量较小的靠近本车辆的一侧的边缘线对合。因而，根据本发明能够维持驾驶员的安全性并且消除难以观察多个图像的接缝部分的情形。
附图说明
图1是本发明的第一实施方式所涉及的车辆周围图像提供装置的结构图。
图2是表示通过图1示出的图像变换部的坐标变换得到的俯视图像的一例的图。
图3是详细表示图1示出的图像检测部的边缘检测功能的图，示出俯视图像的一例。
图4是表示图1示出的图像检测部的立体判断功能的立体判断原理的图，(a)表示存在于地面上的立体物的判断原理，(b)表示存在于空中的立体物的判断原理。
图5是表示第一实施方式所涉及的车辆周围图像提供装置的详细动作的流程图。
图6是表示利用图5示出的步骤ST2的处理检测出的立体物的图。
图7是详细表示图5示出的第一图像校正处理(ST5)的处理的流程图。
图8是详细表示图7示出的步骤ST52的处理的图，(a)表示步骤ST52的处理之前的图像影像，(b)表示执行步骤ST52的处理时的图像影像，(c)表示执行步骤ST52的处理之后的图像影像。
图9是详细表示图7示出的步骤ST53和步骤ST54的处理的图，(a)表示步骤ST53的处理之前的图像影像，(b)表示执行步骤ST53的处理之后的图像影像，(c)表示执行步骤ST54的处理之后的图像影像。
图10是详细表示图5示出的第二图像校正处理(ST7)的处理的流程图。
图11是详细表示图10所示的流程图的图，(a)是执行图10所示的处理之前的护栏(guard rail)的图像影像，(b)是执行步骤ST71的处理之后的护栏的图像影像，(c)是执行步骤ST71的处理之后的护栏的第一图像影像，(d)是执行步骤ST71的处理之后的护栏的第二图像影像。
图12是表示第三图像校正处理的情形的图，(a)表示第三图像校正处理之前的图像影像，(b)表示第三图像校正处理之后的图像影像。
图13是详细表示图5示出的第三图像校正处理(ST8)的处理的流程图。
图14是详细表示图13所示的流程图的图，(a)是详细表示步骤ST81的图像影像，(b)是执行步骤ST82的处理之后的其它车辆的图像影像，(c)是执行步骤ST84的处理之后的其它车辆的图像影像。
图15是表示执行图5所示的处理之后的俯视图像的图，(a)表示第一俯视图像的例子，(b)表示第二俯视图像的例子。
图16是说明第一实施方式所涉及的车辆周围图像提供装置的变形例的图，(a)表示求出立体物的厚度的原理，(b)表示实施与厚度相应的校正处理所得到的俯视图像的例子。
图17是说明第二实施方式所涉及的车辆周围图像提供装置的处理的图，说明代替图5示出的步骤ST3的处理而执行的处理。
图18是表示第二实施方式所涉及的车辆周围图像提供装置的边缘检测方法的第一图。
图19是表示第二实施方式所涉及的车辆周围图像提供装置的边缘检测方法的第二图。
具体实施方式
下面，根据附图说明本发明的较佳的实施方式。
图1是本发明的第一实施方式所涉及的车辆周围图像提供装置的结构图。如该图所示，本实施方式所涉及的车辆周围图像提供装置1是将车辆周围的图像提供给驾驶员的装置，具备多个照相机模块10、车速传感器20、转向角传感器30、移动信号传感器40、图像处理装置50、监视器60、以及扬声器70。
多个照相机模块10是拍摄本车辆周围的模块，例如使用CCD照相机、CMOS照相机。如图1所示，该照相机模块10由第一照相机模块10a和第二照相机模块10b这两个模块构成，分别将拍摄不同方向得到的图像数据发送到图像处理装置50。此外，照相机模块10并不限于两个，至少设置两个即可，也可以设置三个以上。
车速传感器20是检测本车辆的车速的传感器。转向角传感器30是检测本车辆的转向角的传感器。位移信号传感器40是检测本车辆的移动位置(齿轮位置)的传感器。这些各结构20、30、40将检测结果输出到图像处理装置50。
图像处理装置50是对由照相机模块10拍摄的车辆周围的图像进行处理的装置，由第一输入缓冲器51a、第二输入缓冲器51b、表存储部52、图像变换部53、图像检测部54、CPU55、以及输出缓冲器56构成。
第一输入缓冲器51a事先输入并存储来自第一照相机模块10a的图像数据。另外，第二输入缓冲器51b也与第一输入缓冲器51a同样地事先输入并存储来自第二照相机模块10b的图像数据。
表存储部52存储以地面为基准面对由照相机模块10拍摄的车辆周围的图像进行坐标变换的地址变换表。图像变换部53使用存储在表存储部52中的地址变换表，对由多个照相机模块10拍摄的车辆周围的图像分别进行坐标变换来生成坐标变换图像。另外，图像变换部53将生成的坐标变换图像合成来生成如从上空观察本车辆那样的俯视图像。
在此，更详细地说明俯视图像的生成。图2是表示通过图1示出的图像变换部53的坐标变换得到的俯视图像的一例的图。此外，在图2的说明中，假设在车辆前方、两侧、以及后方分别各设置一个照相机模块10从而能够拍摄四个方向。
首先，在车辆停在停车框内的情况下，首先，利用前方侧的照相机模块10得到前部图像101。在前部图像101中拍摄有本车辆的车身101a和前侧的停车框101b。另外，利用后方侧的照相机模块10可得到后部图像102。在后部图像102中拍摄有本车辆的车身102a和前侧的停车框102b。
另外，利用右侧方侧的照相机模块10可得到右侧图像103，利用左侧方侧的照相机模块10可得到左侧图像104。在右侧图像103中拍摄有本车辆的车身103a和前侧的停车框103b，在左侧图像104中拍摄有本车辆的车身104a和前侧的停车框104b。
图像变换部53根据存储在表存储部52中的地址变换表对上述图像101～104分别进行坐标变换。即，图像变换部5对前部图像101进行坐标变换来生成从上空观察本车辆前方侧的坐标变换图像201，同样地，从后部图像102生成从上空观察本车辆后方侧的坐标变换图像202。另外，从右侧图像103生成从上空观察本车辆右侧方侧的坐标变换图像203，从左侧图像104生成从上空观察本车辆左侧方侧的坐标变换图像204。
然后，图像变换部53将生成的各坐标变换图像201～204合成，生成从上空观察本车辆周围的俯视图像205。此外，图像变换部53将本车辆的对象206配置在俯视图像205的中央部分。
再次参照图1。图像检测部54具备边缘检测功能和立体判断功能。边缘检测功能是对由图像变换部53生成的俯视图像进行边缘检测的功能。通过该边缘检测功能根据俯视图像上的各像素的颜色信息或亮度信息来进行边缘检测。
图3是详细表示图1示出的图像检测部54的边缘检测功能的图，示出俯视图像的一例。如该图所示，在俯视图像205中的前侧的坐标变换图像201中拍摄有墙壁301、杆302、以及路边石303。在它们之中路边石303也被拍摄在右侧的坐标变换图像203中。另外，在后部侧的坐标变换图像202上拍摄有白线304、护栏305、以及其它车辆306。它们之中的护栏305也被拍摄在右侧的坐标变换图像203中，白线304和其它车辆306也被拍摄在左侧的坐标变换图像204中。
边缘检测功能以如图3所示的俯视图像205为对象进行边缘检测。在此，路边石303、护栏305以及其它车辆306在俯视图像205的接缝a～d处产生偏离。
再次参照图1。立体判断功能是根据利用边缘检测功能检测出的边缘的状态等来判断立体物的存在及其类别的功能。更详细地说，根据利用边缘检测功能检测出的边缘的偏离状态来检测立体物的存在并且判断类别。
图4是表示图1示出的图像检测部54的立体判断功能的立体判断原理的图，(a)表示存在于地面上的立体物的判断原理，(b)表示存在于空中的立体物的判断原理。一般地，在将多个照相机模块10设置在车辆中的情况下，受到设置位置的限制。因此，很难将多个照相机模块10分别设置在同一高度。其结果，多个照相机模块10高度分别不同。
如图4的(a)所示，设为将第一照相机模块10a设置在与第二照相机模块10b相比更靠上方的位置。此时，关于存在于地面上的立体物、例如路边石303，识别延伸方式根据各照相机模块10a、10b的不同而不同。即，各照相机模块10a、10b将路边石303的下端位置识别为点303-1，但是上端位置的识别不同。第一照相机模块10a将路边石303的上端位置识别为连结自己10a与路边石303的上端位置的线1与地面接触的地点303-2。与此相对，第二照相机模块10b将路边石303的上端位置识别为连结自己10b与路边石303的上端位置的线2与地面接触的地点303-3。
然后，保持如上所述的识别差异，由图像变换部53进行坐标变换，因此在俯视图像205的接缝a处，路边石303如图3所示那样在边缘产生偏离。即，如图4的(a)所示，在一个坐标变换图像中路边石303被表现为从点303-1到点303-2为止的距离L1的物体，在另一个坐标变换图像中路边石303被表现为从点303-1到点303-3为止的距离L2(>L1)的物体。然后，在这种状态下将各坐标变换图像合成，因此导致在俯视图像205的接缝处在路边石303的边缘产生偏离。此外，由于路边石303的下端位置303-1接触地面，因此不产生边缘的偏离。
另外，如图4的(b)所示，关于存在于空中的立体物、例如护栏305，识别延伸方式也根据各照相机模块10a、10b的不同而不同。即，各照相机模块10a、10b对护栏305的下端位置和上端位置的识别不同。第一照相机模块10a将护栏305的下端位置识别为连结自己10a与护栏305的下端位置的线1与地面接触的地点305-1，将护栏305的上端位置识别为连结自己10a与护栏305的上端位置的线2与地面接触的地点305-2。与此相对，第二照相机模块10b将护栏305的下端位置识别为连结自己10b与护栏305的下端位置的线3与地面接触的地点305-3，将护栏305的上端位置识别为连结自己10b与护栏305的上端位置的线4与地面接触的地点305-4。
然后，保持如上所述的识别差异，由图像变换部53进行坐标变换，因此在俯视图像205的接缝b处，护栏305如图3所示那样在边缘产生偏离。即，如图4的(a)所示，在一个坐标变换图像中护栏305被表现为从点305-1到点305-2为止的距离L3的物体，在另一个坐标变换图像中护栏305被表现为从点305-3到点305-4为止的距离L4(>L3)的物体。然后，在这种状态下进行合成，因此导致在俯视图像205的接缝处产生两个边缘的偏离。
如上所述，立体判断功能根据利用边缘检测功能检测出的边缘中、跨越将各坐标变换图像201～204合成而得到的俯视图像205的接缝a～d的边缘的状态，判断该边缘是否是立体物的边缘。并且，立体判断功能在判断为边缘是立体物的边缘的情况下，从如图4的(a)和(b)那样的差异来判断立体物是存在于地面上、存在于空中、还是两者混杂的立体物。
再次参照图1。CPU 55控制整个图像处理装置50，控制图像变换部53和图像检测部54，例如由ASIC(Application SpecificIntegrated Circuit：专用集成电路)、LSI(Large Scale IntegratedCircuit：大规模集成电路)、FPGA(Field Programmable GateArray：现场可编程门阵列)、DSP(Digital Signal Processor：数字信号处理器)等设备构成。
输出缓冲器56存储通过图像变换部53进行坐标变换得到的俯视图像。该输出缓冲器56将所存储的俯视图像的信息输出到监视器60。
监视器60显示进行坐标变换得到的俯视图像。另外，监视器60在由图像检测部54判断为接缝a～d处的边缘是立体物的边缘的情况下强调显示该立体物。此时，监视器60例如将重叠图像叠加在俯视图像上的立体物上，来强调显示立体物。
扬声器70在由图像检测部54判断为接缝a～d处的边缘是立体物的边缘的情况下通过规定的声音通知驾驶员该立体物的存在。具体地说，扬声器70通过“噼、噼、噼”的蜂鸣声、“在左侧方有障碍物”等对话声来通知驾驶员立体物的存在。
接着，说明本实施方式所涉及的车辆周围图像提供装置1的动作的概要。首先，多个照相机模块10拍摄本车辆周围。接着，图像变换部53对由照相机模块10拍摄的图像进行坐标变换来生成多个坐标变换图像，将生成的坐标变换图像合成来制作俯视图像。
之后，图像检测部54利用边缘检测功能对俯视图像205进行边缘检测。在进行边缘检测之后，图像检测部54提取跨越接缝a～d的边缘。接着，图像检测部54提取跨越接缝a～d的边缘中存在偏离的边缘。即，图像检测部54通过提取跨越接缝a～d的边缘中存在偏离的边缘来判断边缘是否是立体物的边缘。
然后，图像检测部54针对判断为提取出的边缘、即判断为是立体物的边缘的边缘，判断是否是同一物体。有可能存在不同立体物的边缘偶然跨越接缝a～d那样被表现在俯视图像205上的情况，因此图像检测部54判断是否是同一物体。此时，图像检测部54提取构成边缘所跨越的接缝a～d的坐标变换图像201～204，比较在这些坐标变换图像201～204中的立体物的亮度或颜色信息，判断在各坐标变换图像201～204中的立体物是否是同一物体。
在判断为是同一物体的情况下，图像检测部54判断立体物是存在于地面上、存在于空中、还是两者混杂的立体物。图像检测部54用以下内容为基准来判断它们的类别。
首先，图像检测部54在判断为跨越接缝a～d的边缘是立体物的边缘的情况下，当该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处连续时，判断为立体物存在于地面上。
在此，在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处连续的情形表示离本车辆较近的一侧的边缘存在于地面上。即，如图3的路边石303所示，由于以地面为基准面进行坐标变换，因此存在于地面上的边缘不产生偏离。因此，图像检测部54在上述情况下判断为立体物存在于地面上。
另外，图像检测部54在判断为在接缝a～d处的边缘是立体物的边缘的情况下，在该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处不连续、并且离本车辆较近的一侧的边缘是没有屈折点的直线或曲线时，判断为立体物存在于空中。
在此，在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处不连续的情形表示离本车辆较近的一侧的边缘不存在于地面。即，本装置1以地面为基准面进行坐标变换，因此如图3的路边石303所示那样存在于地面的边缘不产生偏离，在接缝a～d处产生偏离的情形表示如图3的护栏305那样边缘存在于空中。另外，关于离本车辆较近的一侧的各个边缘是没有屈折点的直线或曲线的情形，有较大可能性不是由如图3所示的其它车辆306的轮胎和车身等那样两个以上的物体构成边缘，而是由一个物体构成边缘。因此，是存在于地面的立体物(例如轮胎)与存在于空中的立体物(例如车身)的混杂的可能性也较小。因此，图像检测部54在上述情况下判断为立体物存在于空中。
另外，图像检测部54在判断为在接缝a～d处的边缘是立体物的边缘的情况下，在该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处不连续、并且离本车辆较近的一侧的边缘中的至少一个具有屈折点时，判断为立体物是存在于地面上的立体物和存在于空中的立体物的两者混杂的立体物(以下称为混杂物)。
在此，在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处不连续的情形表示离本车辆较近的一侧的边缘不存在于地面。即，如图3的其它车辆306的车身部分那样，在接缝a～d处产生偏离的情形表示边缘存在于空中。另外，关于在离本车辆较近的一侧的边缘中的至少一个具有屈折点的情形，由如其它车辆306的轮胎和车身等那样两个以上的物体构成边缘的可能性较高，立体物是存在于地面上的立体物(轮胎)和存在于空中的立体物(车身)的混杂的可能性也很高。在这种情况下，从车身部分的边缘跨越接缝a～d、存在屈折点来看认为由轮胎支撑车身，从而图像检测部54判断为立体物是混杂物。
如上所述，在图像检测部54判断立体物的类别之后，图像变换部53根据立体物的类别来校正俯视图像205。此时，图像变换部53校正图像以消除跨越接缝a～d的边缘的偏离。并且，监视器60将立体物强调显示，扬声器70通过规定的声音通知驾驶员立体物的存在。
接着，说明本实施方式所涉及的车辆周围图像提供装置1的详细动作。图5是表示第一实施方式所涉及的车辆周围图像提供装置1的详细动作的流程图。在图像变换部53生成俯视图像205之后，图像检测部54如图5所示那样以俯视图像205为对象进行边缘检测(ST1)。此外，也可以与上述不同地对由各照相机模块10拍摄的图像进行边缘检测，对这些图像进行坐标变换。
接着，图像检测部54检测跨越接缝a～d而不连续的边缘(产生偏离的边缘)(ST2)。由此，图像检测部54检测立体物。
图6是表示通过图5示出的步骤ST2的处理检测出的立体物的图。如该图所示，通过步骤ST2的处理检测到路边石303、护栏305、以及其它车辆306。此外，与图3所示的俯视图像205比较可知，墙壁301和杆302由于没有跨越接缝a～d，因此在步骤ST2的处理中没有被检测到，白线304虽然跨越接缝c，但是在边缘没有产生偏离，因此在步骤ST2的处理中没有被检测到。
再次参照图5。在步骤ST2之后，图像检测部54指定立体物之中的一个立体物。即，以图6的例子进行说明，图像检测部54选择路边石303、护栏305、以及其它车辆306中的任一个，来执行之后的步骤ST3～步骤ST9的处理。
在选择立体物中的任一个之后，图像检测部54在该立体物跨越的各坐标变换图像201～204中对立体物的亮度或颜色信息进行比较，判断各坐标变换图像201～204中的立体物是否是同一物体(ST3)。由此，即使不同的立体物的边缘偶然跨越接缝a～d而被表现在俯视图像205上，也可防止将不同的立体物判断为同一物体。
在此，在判断为在各坐标变换图像201～204上的立体物不是同一物体的情况下(ST3：否)，处理转移到步骤ST9。另一方面，在判断为在各坐标变换图像201～204上的立体物是同一物体的情况下(ST3：是)，图像检测部54判断该立体物靠近本车辆的一侧的边缘是否连续(ST4)。
在判断为该立体物靠近本车辆的一侧的边缘连续的情况下(ST4：是)，图像检测部54判断为立体物存在于地面上。即，如图6示出的路边石303那样，是立体物并且靠近本车辆的一侧的边缘303a、303b连续，因此判断为立体物存在于地面上。
之后，图像变换部53执行第一图像校正处理，校正俯视图像(ST5)。然后，处理转移到步骤ST9。另一方面，在判断为该立体物靠近本车辆的一侧的边缘不连续的情况下(ST4：否)，图像检测部54判断该立体物靠近本车辆的一侧的各个边缘是否是没有屈折点的直线或者曲线(ST6)。
在判断为该立体物靠近本车辆的一侧的各个边缘是没有屈折点的直线或者曲线的情况下(ST6：是)，图像检测部54判断为立体物存在于空中。即，如图6示出的护栏305那样，是立体物并且靠近本车辆的一侧的边缘305a、305b不连续，因此判断为立体物存在于空中。特别是，由于边缘305a、305b的两者都是没有屈折点的直线或者曲线，因此也很难认为是混杂物。由此，图像检测部54判断为立体物存在于空中。
之后，图像变换部53执行第二图像校正处理，校正俯视图像(ST7)。然后，处理转移到步骤ST9。另一方面，在判断为该立体物靠近本车辆的一侧的各个边缘是具有屈折点的直线或者曲线的情况下(ST6：否)，图像检测部54判断为立体物是混杂物。即，如图6示出的其它车辆306那样，是立体物并且靠近本车辆的一侧的边缘306a、306b不连续，因此可判断为立体物存在于空中。可是，由于在边缘306a、306b处存在屈折点，因此是由两个以上的立体物构成的混杂物的可能性较大。因此，图像检测部54判断为立体物是混杂物。
之后，图像变换部53执行第三图像校正处理，校正俯视图像(ST8)。然后，处理转移到步骤ST9。在步骤ST9中，图像检测部54判断是否将所有立体物作为对象进行了处理(ST9)。在此，在判断为没有将所有立体物作为对象进行处理的情况下(ST9：否)，图像检测部54选择未处理的立体物，处理转移到步骤ST3。另一方面，在判断为将所有立体物作为对象进行了处理的情况下(ST9：是)，结束图5所示的处理。
接着，详细说明图5示出的第一图像校正处理(ST5)的处理。图7是详细表示图5示出的第一图像校正处理(ST5)的处理的流程图。首先，在第一图像校正处理中，图像变换部53判断立体物是否在各坐标变换图像中的某一个中到达俯视图像205的端部(ST51)。
在判断为立体物在各坐标变换图像中的某一个中到达俯视图像205的端部的情况下(ST51：是)，图像变换部53对没有到达俯视图像205的端部的坐标变换图像的立体物进行扩展处理，使其也到达俯视图像205的端部(ST52)。之后，处理转移到图5示出的步骤ST9。
图8是详细表示图7示出的步骤ST52的处理的图，(a)表示步骤ST52的处理之前的图像影像，(b)表示执行步骤ST52的处理时的图像影像，(c)表示执行步骤ST52的处理之后的图像影像。另外，设为在图8中示出对路边石303进行了处理时的图像影像。
如该图的(a)所示，路边石303离本车辆较近的一侧的边缘303a、303b连续，较远的一侧的边缘303c、303d不连续。并且，一个坐标变换图像201的路边石303离本车辆较远的一侧的边缘303c到达俯视图像205的端部。因此，图像变换部53在步骤ST52的处理中对没有到达俯视图像205的端部的坐标变换图像203的路边石303进行扩展处理，使其也到达俯视图像205的端部。
此时，图像变换部53进行如下处理：从没有到达俯视图像205的端部的坐标变换图像203的离本车辆较远的一侧的边缘303d起、绘出像素直到俯视图像205的端部为止。此时，图像变换部53沿着与离本车辆较近的一侧的边缘303b垂直的方向绘出像素。
另外，代替上述处理，图像变换部53进行如下处理：求出由通过坐标(Xb，Yb)和坐标(Xc，Yc)的直线、边缘303d、接缝a、以及俯视图像205的端部包围的区域400，并填充该区域400。
并且，代替上述处理，图像变换部53求出连结接缝a的坐标(Xa，Ya)和坐标(Xe，Ye)的线段、与连结接缝a的坐标(Xa，Ya)和坐标(Xd，Yd)的线段的长度之比。然后，图像变换部53进行如下处理：根据长度之比沿与离本车辆较近的一侧的边缘303b垂直的方向扩大坐标变换图像203的路边石303的像素。
通过以上处理中的任一个对俯视图像205进行处理，填充图8的(b)示出的区域400，如图8的(c)所示那样使双方的坐标变换图像201、203的路边石303到达俯视图像205的端部，驾驶员在监视器60中参照俯视图像205时可容易识别为同一物体。
再次参照图7。在判断为立体物在任一个坐标变换图像中都没有到达俯视图像205的端部的情况下(ST51：否)，图像变换部53对俯视图像进行处理，使得该立体物在每个坐标变换图像中离本车辆较远的一侧的各个边缘在接缝a～d处连续(ST53)。之后，图像变换部53通过步骤ST53的处理来执行处理，用预先决定的颜色填充到俯视图像205中没有像素信息的部分上(ST54)。之后，处理转移到图5示出的步骤ST9。
图9是详细表示图7示出的步骤ST53和步骤ST54的处理的图，(a)表示步骤ST53的处理之前的图像影像，(b)表示执行步骤ST53的处理之后的图像影像，(c)表示执行步骤ST54的处理之后的图像影像。另外，设为在图9中示出对路边石303进行处理时的图像影像。
首先，如图9的(a)所示，路边石303离本车辆较近的一侧的边缘303a、303b连续，较远的一侧的边缘303c、303d不连续。因此，图像变换部53在步骤ST53中使较远的一侧的边缘303c、303d在接缝a处连续。
此时，图像变换部53执行使俯视图像中的边缘移动的位移(shift)处理。即，图像变换部53计算从坐标(Xe，Ye)起直到坐标(Xd，Yd)为止的距离，使坐标变换图像201离本车辆较远的一侧的边缘303c位移上述距离(图9的(b))。然后，图像变换部53将比位移后的边缘303c远的立体部分、即图9的(c)示出的废弃区域的像素数据废弃。
另外，代替上述处理，图像变换部53还可以执行对坐标变换图像中的立体物的像素进行间除的间除处理、以及压缩坐标变换图像中的立体物的压缩处理中的至少一个。即，图像变换部53求出连结接缝a的坐标(Xa，Ya)和坐标(Xe，Ye)的线段、与连结接缝a的坐标(Xa，Ya)和坐标(Xd，Yd)的线段的长度之比。然后，图像变换部53根据长度之比进行对坐标变换图像201的路边石303的像素进行间除的间除处理，或者进行压缩坐标变换图像201的路边石303的压缩处理。
通过以上处理中的任一个，如图9的(c)所示，使两者的坐标变换图像201、203的较远的一侧的边缘303c、303d在接缝a处连续，容易使观察俯视图像205的利用者识别路边石303，从而驾驶员在监视器60中参照俯视图像205时能够不丧失与路边石303的距离感。
之后，图像变换部53执行位移处理、间除处理、压缩处理中的任一个，并执行用预先决定的颜色填充到俯视图像205上没有像素信息的部分(图9的(c)的废弃区域)中的处理。此时，图像变换部53通过涂上与地面相同的颜色，能够自然地表现俯视图像205。另外，图像变换部53通过涂上地面不存在的颜色(例如红、蓝)，可通知观察俯视图像205的利用者进行图像校正。
此外，在上述内容中，进行处理使得每个坐标变换图像的较远的一侧的边缘303c、303d中、远处的边缘303c与近处的边缘303d连续，但是并不限于此，也可以进行处理使得近处的边缘303d与远处的边缘303c连续。当进行该处理时，路边石303被较大地显示在俯视图像205上，也可以不像步骤ST54那样对失去像素信息的部分着色，从而能够减少俯视图像205由于着色反而变得不自然的可能性。另外，不需要步骤ST54的处理，能够使处理简单化。
接着，详细说明图5示出的第二图像校正处理(ST7)的处理。图10是详细表示图5示出的第二图像校正处理(ST7)的处理的流程图。首先，在第二图像校正处理中，图像变换部53使每个坐标变换图像的离本车辆较近的一侧的边缘连续(ST71)。此时，图像变换部53对立体物在每个坐标变换图像上离本车辆较近的一侧的边缘进行比较。然后，图像变换部53使坐标变换图像上的立体物移动，使得进行比较的边缘中离本车辆较远处的边缘与离本车辆较近处的边缘在接缝a～d处连续。
图11是详细表示图10所示的流程图的图，(a)是执行图10所示的处理之前的护栏305的图像影像，(b)是执行步骤ST71的处理之后的护栏305的图像影像，(c)是执行步骤ST71的处理之后的护栏305的第一图像影像，(d)是执行步骤ST71的处理之后的护栏305的第二图像影像。
如图11的(a)所示，如护栏305那样存在于空中的立体物离本车辆较近的一侧的边缘305a、305b不连续。因此，图像变换部53在步骤ST71的处理中使离本车辆较近的一侧的边缘305a、305b连续。
此时，图像变换部53计算从图11的(a)示出的坐标(Xb，Yb)起到坐标(Xa，Ya)为止的距离，使坐标变换图像203的护栏305移动该距离(图11的(b))。由此，使离本车辆较近的一侧的边缘305a、305b之中、远处的边缘305a与近处的边缘305b对合，两个边缘305a、305b在接缝b处连续。
此外，通过使远处的边缘305a与近处的边缘305b对合，可进行更合适的表现。即，当使近处的边缘305b与远处的边缘305a对合时，会在俯视图像205上表现为护栏305存在于比护栏305的实际存在位置更远的位置上。因此，有可能存在出乎意料地发生与车辆的接触的情况。因此，通过使远处的边缘305a与近处的边缘305b对合，在俯视图像205上表现为护栏305存在于更靠近本车辆的位置上，防止与预料外的车辆的接触。
再次参照图10。如上所述，在使每个坐标变换图像的离本车辆较近的一侧的边缘连续之后，图像变换部53判断立体物是否在各坐标变换图像的任一个中到达俯视图像205的端部(ST72)。在此，在判断为立体物在各坐标变换图像的任一个中到达俯视图像205的端部的情况下(ST72：是)，图像变换部53对没有到达俯视图像205的端部的坐标变换图像的立体物进行扩展处理使其也到达俯视图像205的端部(ST73)。之后，处理转移到图5示出的步骤ST9。此外，该步骤ST73的处理与图7示出的步骤ST52的处理相同，因此省略详细说明。
另一方面，在判断为立体物在各坐标变换图像的任一个中都没有到达俯视图像205的端部的情况下(ST72：否)，图像变换部53原样维持离本车辆较近处的边缘305a、305b的连续状态，对俯视图像进行处理使得该立体物在每个坐标变换图像中的离本车辆较远的一侧的各个边缘在接缝a～d处连续(ST74)。之后，图像变换部53通过步骤ST74的处理来执行处理，用预先决定的颜色填充到俯视图像205中没有像素信息的部分上(ST75)。之后，处理转移到图5示出的步骤ST9。
参照图11。如图11的(b)所示，即使移动坐标变换图像203的护栏305使离本车辆较近的一侧的边缘305a、305b连续，离本车辆较远的一侧的边缘305c、305d也不连续。具体地说，在坐标变换图像203中移动护栏305的情况下的边缘305c与接缝b的接点坐标为(Xd，Yd)。另一方面，在坐标变换图像202中离本车辆较远的一侧的边缘305d与接缝b的接点坐标为(Xc，Yc)。这样，即使进行步骤ST71的处理，离本车辆较远的一侧的边缘305c、305d也不连续。
因此，图像变换部53在步骤ST74中执行使离本车辆较远的一侧的边缘305c、305d连续的处理。此时，与图7示出的步骤ST53同样，图像变换部53使较远的一侧的边缘305c、305d在接缝b处连续。
并且，图像变换部53在步骤ST75中执行位移处理、间除处理、压缩处理中的任一个，并执行用预先决定的颜色填充到俯视图像205中没有像素信息的部分(图11的(c)的斜线部分)上的处理。该步骤ST75的处理与图5示出的步骤ST54的处理相同。
此外，不限于上述处理，图像变换部53也可以如图11的(d)所示那样进行处理。即，图像变换部53使每个坐标变换图像的较近的一侧的边缘305a、305b之中远处的边缘305a与近处的边缘305b连续，并且使每个坐标变换图像的较远一侧的边缘305c、305d中近处的边缘305d与远处的边缘305c连续。当进行该处理时，护栏305被较大地显示在俯视图像205上，也可以不像步骤ST75那样对失去像素信息的部分着色，能够减少俯视图像205由于着色反而变得不自然的可能性。另外，不需要步骤ST75的处理，能够使处理简单化。
接着，详细说明图5示出的第三图像校正处理(ST8)的处理。在第三图像校正处理中，对混杂物进行图像处理。图12是表示第三图像校正处理的情形的图，(a)表示第三图像校正处理之前的图像影像，(b)表示第三图像校正处理之后的图像影像。
如该图的(a)所示，混杂物由存在于地面上的立体物(轮胎)与存在于空中的立体物(车身)构成。一个坐标变换图像204的靠近本车辆的一侧的边缘306a包含前轮和车身，另一个坐标变换图像202的靠近本车辆的一侧的边缘306b包含后轮和车身。
在此，如第一和第二图像校正处理那样，例如当进行移动边缘306a等处理时，导致边缘306a有可能存在于比前轮与地面的接触点α更靠近本车辆的一侧的位置。即，在混杂物的情况下，需要进行如下的处理：不对存在于地面上的立体物移动边缘，仅对存在于空中的立体物移动边缘等。更详细地说，不能使边缘306a、306b存在于比连结前轮与地面的接触点α、和后轮与地面的接触点β的切线更靠近本车辆的一侧的位置。因此，在第三图像校正处理中，仅移动图12的(a)示出的坐标变换图像204的车身的边缘，如图12的(b)所示，需要使各坐标变换图像202、204的边缘306a、306b连续。
图13是详细表示图5示出的第三图像校正处理(ST8)的处理的流程图。首先，在第三图像校正处理中，图像变换部53求出混杂物的切线(ST81)。
图14是详细表示图13所示的流程图的图，(a)是详细表示步骤ST81的图像影像，(b)是执行步骤ST82的处理之后的其它车辆306的图像影像，(c)是执行步骤ST84的处理之后的其它车辆306的图像影像。
如该图的(a)所示，图像变换部53求出前轮与地面的接触点的坐标值(Xc，Yc)、和后轮与地面的接触点的坐标值(Xd，Yd)，求出通过所求出的坐标值的切线。
再次参照图13。在求出切线之后，图像变换部53使每个坐标变换图像中离本车辆较近的一侧的边缘连续(ST82)。此时，图像变换部53比较立体物在每个坐标变换图像中离本车辆较近的一侧的边缘，对坐标变换图像上的立体物进行压缩处理，使进行比较的边缘之中离本车辆较远处的边缘与离本车辆较近处的边缘在接缝a～d处连续。
如图14的(b)所示，由于其它车辆306中的车身存在于空中，因此离本车辆较近的一侧的边缘306a、306b不连续。具体地说，这些边缘306a、306b之中离本车辆较远处的边缘306a与接缝c在坐标(Xa，Ya)处接触，离本车辆较近处的边缘306b与接缝c在坐标(Xb，Yb)处接触。因此，图像变换部53在步骤ST82的处理中对坐标变换图像204中的其它车辆306进行压缩使得车身的边缘连续。此时，图像变换部53进行压缩处理使得其它车辆306不超过切线。
在进行压缩处理时，图像变换部53求出切线与其它车辆306的边缘之间的距离。在此，如图14的(a)所示，在坐标变换图像204中切线与其它车辆306的边缘之间的距离是A，在坐标变换图像202中切线与其它车辆306的边缘之间的距离是B(<A)。在这种情况下，图像变换部53将坐标变换图像204的其它车辆306压缩到B/A倍。由此，如图14的(b)所示，各坐标变换图像202、204的车身的边缘与切线之间的距离都是B。并且，两个边缘306a、306b与接缝c在坐标(Xb，Yb)处接触，这些边缘306a、306b连续。
再次参照图13。如上所述，在使每个坐标变换图像中离本车辆较近的一侧的边缘连续之后，图像变换部53执行步骤ST83～ST86的处理。由于该处理与图7示出的步骤ST51～ST54的处理相同，因此省略详细说明。
此外，坐标变换图像204的其它车辆306存在通过步骤ST82的压缩处理而靠近切线侧、从而失去像素信息的部分(图14的(b))，但是由于坐标变换图像202的其它车辆306到达图像端部，因此执行步骤ST84的处理，坐标变换图像204的其它车辆306被扩展到俯视图像205的图像端部，并表现为如图14的(c)所示那样。另外，在其它车辆306没有到达图像端部的情况下，也可以执行步骤ST86的处理，对失去像素信息的部分着色。
图15是表示执行图5所示的处理之后的俯视图像205的图，(a)表示第一俯视图像205的例子，(b)表示第二俯视图像205的例子。如图15的(a)所示，路边石303、护栏305、以及其它车辆306的边缘连续，与图3所示的俯视图像205进行比较，易于将立体物识别为同一物体。另外，如图15的(b)所示，在不对失去像素信息的部分着色的情况下也同样地，路边石303、护栏305、以及其它车辆306的边缘连续，易于识别立体物。
如上所述，车辆周围图像提供装置1对车辆周围的立体物判断类别，将俯视图像205作为对象实施合适的图像校正处理，使驾驶员容易识别车辆周围的立体物，消除距离感的丧失等问题。
图16是对第一实施方式所涉及的车辆周围图像提供装置1的变形例进行说明的图，(a)表示求出立体物的厚度的原理，(b)表示实施了与厚度相应的校正处理后的俯视图像205的例子。变形例所涉及的车辆周围图像提供装置1在判断为立体物存在于地面上的情况下，求出其厚度，根据其厚度对俯视图像205实施图像校正处理，并通过监视器60进行显示。此外，在图16中以立体物中的路边石303为例进行说明。
例如，如图16的(a)所示，在离开照相机模块10的距离S的位置上存在路边石303的第一个边缘，在距离S+I的位置上存在第二个边缘，在距离S+I+L的位置上存在第三个边缘。在此，照相机模块10的高度H是已知的值。因此，立体物的高度h为h＝I×H/(I+S)，立体物的厚度1为1＝{(H-h)×(S+I+L)/H}-S。图像检测部54的立体判断功能从上述运算式检测立体物的厚度1。
然后，图像变换部53实施校正处理使得路边石303的厚度为1。此时，由于靠近本车辆的一侧的边缘与地面接触，因此图像变换部53以靠近本车辆的一侧的边缘为基准，调整靠近本车辆的一侧的边缘与远处的边缘之间的间隔使得路边石303的厚度为1，并使各边缘在接缝a处连续。在进行该间隔调整时，图像变换部53执行位移处理、间除处理、压缩处理等，用预先决定的颜色对失去像素信息的部分着色。根据以上的变形例，能够以准确的厚度表现俯视图像205的立体物，更加易于理解地显示立体物，能够防止驾驶员丧失距离感。
这样，根据第一实施方式所涉及的车辆周围图像提供装置1，根据检测出的边缘中的、跨越将各坐标变换图像201～204合成得到的俯视图像205的接缝a～d的边缘的状态，判断该边缘是否是立体物的边缘。在此，如果跨越接缝a～d的边缘是立体物的边缘，边缘会由于多个照相机模块10的设置位置的关系而在接缝a～d处产生偏离。这样，能够从跨越接缝a～d的边缘的状态判断该边缘是否是立体物的边缘。
另外，在跨越接缝a～d的边缘是立体物的边缘的情况下，从该边缘的状态判断立体物是存在于地面上、存在于空中、或者两者混杂的立体物。在此，在立体物是存在于地面上的情况下，该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处连续。另外，在立体物存在于空中的情况下，该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝处产生偏离。在是两者混杂的立体物的情况下，该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处产生偏离，并且较近的一侧的边缘不构成为直线等而包含一个以上的屈折点。这样，可以从跨越接缝的边缘的状态判断立体物是存在于地面上、存在于空中、还是两者混杂的立体物。
因而，能够对车辆周围的立体物判断类别。
另外，在判断为跨越接缝a～d的边缘是立体物的边缘的情况下，对构成接缝a～d的各坐标变换图像201～204中的立体物的亮度或颜色信息进行比较，判断各坐标变换图像201～204中的立体物是否是同一物体，在判断为是同一物体的情况下，判断立体物的类别。由此，即使在俯视图像205中表现为不同的立体物的边缘偶然跨越接缝a～d，也能够减少将不同的立体物判断为同一物体并判断类别的频率。
另外，在判断为跨越接缝a～d的边缘是立体物的边缘的情况下，当该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处连续时，判断为立体物存在于地面上。在此，每个坐标变换图像的离本车辆较近的一侧的边缘在接缝a～d处连续的情形表示离本车辆较近的一侧的边缘存在于地面。即，由于以地面为基准面进行坐标变换，因此存在于地面的边缘不产生偏离。因此，在上述情况下，可判断为立体物存在于地面上。
另外，在判断为立体物存在于地面上的情况下，对俯视图像进行处理使得该立体物在每个坐标变换图像中较远的一侧的各个边缘在接缝处连续。在此，在立体物存在于地面上的情况下，如图4的(a)所示，立体物由于多个照相机模块10的设置位置的关系而倾斜识别的量不同。其结果，立体物的上端侧、即较远的一侧的边缘在俯视图像205的接缝a～d处表现为偏离，容易使驾驶员丧失从车辆到立体物的距离感。因此，进行处理使得较远的一侧的各个边缘在接缝a～d处连续以消除该偏离，由此能够抑制距离感的丧失。
另外，在判断为在接缝a～d处的边缘是立体物的边缘的情况下，当该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处不连续、并且离本车辆较近的一侧的边缘是没有屈折点的直线或曲线时，判断为立体物存在于空中。在此，每个坐标变换图像的离本车辆较近的一侧的边缘在接缝a～d处不连续的情形表示离本车辆较近的一侧的边缘包含不存在于地面的部分。即，由于以地面为基准面进行坐标变换，因此存在于地面的边缘应该不产生偏离，但是在接缝a～d处产生偏离的情形表示边缘包含存在于空中的部分。另外，关于离本车辆较近的一侧的各个边缘是没有屈折点的直线或曲线的情形，不是由如车辆的轮胎和车身等那样两个以上的物体构成边缘、而由一个物体构成边缘的可能性较大。因此，是存在于地面的立体物和存在于空中的立体物的混杂的可能性也较小。因此，在上述的情况下，能够判断为立体物存在于空中。
另外，在判断为立体物存在于空中的情况下，比较该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘，移动坐标变换图像中的立体物使进行比较的边缘之中离本车辆较远处的边缘与较近处的边缘在接缝a～d处连续。由此，每个坐标变换图像的离本车辆较近的一侧的边缘连续。此时，每个坐标变换图像的离本车辆较远的一侧的边缘仍然有可能产生偏离。
另外，在移动之后，原样维持离本车辆较近的一侧的边缘的连续状态并对俯视图像205进行处理，使得该立体物在每个坐标变换图像中离本车辆较远的一侧的各个边缘在接缝处连续。由此，离本车辆较远的一侧和较近的一侧的两个边缘都连续，使驾驶员容易识别立体物，能够抑制距离感的丧失。
另外，在判断为接缝a～d处的边缘是立体物的边缘的情况下，当该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘在接缝a～d处不连续、并且离本车辆较近的一侧的边缘中的至少一个具有屈折点时，判断为立体物存在于空中。在此，每个坐标变换图像中离本车辆较近的一侧的边缘在接缝处不连续的情形表示离本车辆较近的一侧的边缘至少包含不存在于地面的部分。即，由于以地面为基准面进行坐标变换，因此存在于地面的边缘应该不产生偏离，但是在接缝a～d处产生偏离的情形表示边缘包含存在于空中的部分。另外，关于离本车辆较近的一侧的边缘中的至少一个具有屈折点的情形，由如车辆的轮胎和车身等那样两个以上的物体构成边缘的可能性较大，立体物是存在于地面的立体物与存在于空中的立体物的混杂的可能性也较大。因此，在上述情况下，可以判断为立体物是存在于地面的立体物与存在于空中的立体物的混杂。
另外，在判断为立体物是存在于地面上的立体物与存在于空中的立体物的两者的混杂的情况下，求出该立体物在每个坐标变换图像中最靠近本车辆的一侧的点的坐标值，求出通过所求出的各坐标值的切线。由此，求出存在于地面上的立体物与存在于空中的立体物的两者混杂的立体物与地面的接触地点的坐标值，求出连结该接触地点的线。
另外，比较该立体物在每个坐标变换图像中离本车辆较近的一侧的边缘，对坐标变换图像上的立体物进行处理，使得进行比较的边缘之中离本车辆较远处的边缘与较近处的边缘在接缝处连续、并且立体物不超出上述接点。由此，每个坐标变换图像的离本车辆较近的一侧的边缘连续。并且，由于立体物不超出切线，因此不超过连结存在于地面上的立体物与存在于空中的立体物的两者混杂的立体物与地面的接触地点的线而对该混杂的立体物进行处理，在俯视图像205上不将立体物表现在比线靠近本车辆的一侧的位置上。此外，在这种情况下，每个坐标变换图像中离本车辆较远的一侧的边缘仍然有可能产生偏离。
另外，在进行处理之后，对俯视图像205进行处理使得该立体物在各坐标变换图像201～204之中离本车辆较远的一侧的各个边缘在接缝a～d处连续。由此，离本车辆较远的一侧和较近的一侧的两个边缘都连续，能够使驾驶员容易识别立体物。
根据上述内容，在俯视图像205上不将立体物表现在比线靠近本车辆的一侧的位置上，并且使离本车辆较近的一侧与较远的一侧的边缘连续，使驾驶员容易识别立体物，能够抑制距离感的丧失。
另外，执行位移处理、间除处理、以及压缩处理中的至少一个，并执行用预先决定的颜色填充在俯视图像205上没有像素信息的部分上的处理。由此，能够对驾驶员显示进行了图像处理的情形。特别是将通常在地面上不存在的颜色(红色等)设为预先决定的颜色的情况下，可以进一步对驾驶员显示进行了图像处理的情形。
另外，在跨越接缝a～d的立体物在坐标变换图像201～204中的任一个中到达俯视图像205的端部的情况下，进行处理使得没有到达俯视图像205的端部的坐标变换图像201～204的立体物也到达俯视图像205的端部。由此，能够不进行使离本车辆较远的一侧的边缘连续的处理，而显示为将跨越接缝a～d的立体物简单地识别为同一物体。
另外，在判断为在接缝a～d处的边缘是立体物的边缘的情况下，强调显示该立体物。因此，能够易于理解地对驾驶员通知被显示的俯视图像中的立体物。
另外，在判断为在接缝a～d处的边缘是立体物的边缘的情况下，由于通过规定的声音将该立体物的存在通知给驾驶员，因此能够从听觉上将立体物的有无通知给驾驶员。
另外，根据第一实施方式所涉及的车辆周围图像提供装置1的变形例，在判断为立体物存在于地面上的情况下，求出立体物的厚度，并根据求出的厚度调整立体物在每个坐标变换图像中离本车辆较近的一侧的边缘与较远的一侧的边缘的间隔，使较远的一侧的各个边缘在接缝a～d处连续。这样，根据立体物的厚度来调整各坐标变换图像201～204之中较近的一侧的边缘与较远的一侧的边缘的间隔，因此能够准确地表现俯视图像205的立体物的厚度，能够显示为实际上从正上方观察立体物。因而，能够易于理解地对驾驶员提示立体物。并且，由于使较远的一侧的各个边缘在接缝处连续，因此能够消除边缘之间的偏离，抑制距离感的丧失。
接着，说明本发明的第二实施方式。第二实施方式所涉及的车辆周围图像提供装置2与第一实施方式相同，但一部分处理内容不同。下面，说明与第一实施方式的不同点。
关于第二实施方式所涉及的车辆周围图像提供装置2，图5示出的步骤ST3的处理与第一实施方式不同。另外，第二实施方式所涉及的车辆周围图像提供装置2与第一实施方式不同之处在于，不对俯视图像205整体进行边缘检测，而是从俯视图像205中的一部分进行边缘检测。
图17是对第二实施方式所涉及的车辆周围图像提供装置2的处理进行说明的图，说明代替图5示出的步骤ST3的处理而执行的处理。多个照相机模块10的摄像区域分别与其它的照相机模块10重叠，图像变换部53在生成俯视图像205时将重叠部分数据废弃。
具体地进行说明。如图17所示，在俯视图像205中拍摄有路边石303。该路边石303跨越接缝a，因此也被拍摄在作为构成该接缝a的坐标变换图像201、203的坐标变换之前的图像的前部图像101和右侧图像103中。
在进行坐标变换时，图像变换部53不对全部的前部图像101进行坐标变换，而是将前部图像101的一部分废弃。因此，也不对在前部图像101中拍摄的路边石3031全部进行坐标变换，而是将一部分(图17示出的附图标记3031’的部分)废弃。另外，同样地，也不对在右侧图像103中拍摄的路边石3032全部进行坐标变换，而是将一部分(图17示出的附图标记3032’的部分)废弃。
在此，被废弃的部分是在前部图像101与右侧图像103中重叠的部分。即，在前部图像101与右侧图像103中拍摄了相同的部分，为了不对相同的部分重复进行坐标变换来得到俯视图像205，而将重叠部分废弃。
第二实施方式所涉及的图像检测部54对存在于该重叠部分的立体物的亮度或颜色信息进行比较，判断立体物是否是同一物体。由此，如果立体物是同一物体则比较相同部分的亮度或颜色信息，从而能够更正确地判断是否是同一物体。
接着，说明第二实施方式所涉及的边缘检测方法。图18是表示第二实施方式所涉及的车辆周围图像提供装置2的边缘检测方法的第一图，图19是表示第二实施方式所涉及的车辆周围图像提供装置2的边缘检测方法的第二图。
例如，如图18所示，在第二实施方式中将离开本车辆一定距离内作为第一区域401，将第一区域401的外侧的区域作为第二区域402，在本车辆的车速不足规定速度的情况下，图像检测部54不以第二区域402为对象进行边缘检测，而以第一区域401为对象进行边缘检测。另外，在规定速度以上的情况下，图像检测部54不以第一区域401为对象进行边缘检测，而以第二区域402为对象进行边缘检测。这样，在第二实施方式中，图像检测部54的边缘检测功能在本车辆的速度大于等于规定速度的情况下，与本车辆的速度不足规定速度的情况相比，以离本车辆更远的位置为对象进行边缘检测。
在此，在本车辆的速度较快的情况下，驾驶员需要观察离本车辆比较远的位置。另一方面，在本车辆的速度较慢的情况下，驾驶员需要观察本车辆附近。因此，在本车辆的速度大于等于规定速度的情况下，与本车辆的速度不足规定速度的情况相比，以离本车辆更远的位置为对象进行边缘检测，由此以驾驶员要观察的位置为对象进行边缘检测。
此外，如图18所示，并不限于如第一和第二区域401、402那样预先设定固定的区域的情况，也可以将区域的大小设为可变。
另外，如图19所示，在第二实施方式中，也可以根据转向角传感器30和位移信号传感器40的信息将本车辆的行进方向侧(特别是车身通过的区域)决定为边缘检测区域403，以该区域403为对象进行边缘检测，在其它的区域不进行边缘检测。由此，能够对有可能与本车辆接触的立体物进行边缘检测。此外，在图19所示的例子中，可以在车速较低时删除边缘检测区域403之中的远方侧，也可以在车速较高的情况下以更远处为对象进行边缘检测。
这样，根据第二实施方式所涉及的车辆周围图像提供装置2，与第一实施方式同样地，能够对车辆周围的立体物判断类别。另外，可判断为立体物存在于地面上，能够抑制距离感的丧失。另外，可判断为立体物存在于空中，并可判断为立体物是存在于地面的立体物与存在于空中的立体物的混杂。另外，能够对驾驶员进一步显示进行了图像处理的情形，能够进行显示使得将跨越接缝a～d的立体物简单地识别为同一物体。另外，能够易于理解地对驾驶员通知被显示的俯视图像中的立体物，并能够从听觉上将立体物的有无通知给驾驶员。
并且，根据第二实施方式，在判断为跨越接缝a～d的边缘是立体物的边缘的情况下，对构成该接缝a～d的坐标变换图像的坐标变换之前的图像之中存在于在生成俯视图像205时被废弃的部分的立体物的亮度或颜色信息进行比较，由此来判断在各坐标变换图像201～204中的立体物是否是同一物体，在判断为是同一物体的情况下，判断立体物的类别。在此，多个照相机模块10的摄像区域分别与其它的照相机模块10重叠，图像变换部53在生成俯视图像205时将重叠部分数据废弃。各照相机模块10在该重叠部分与其它的照相机模块10拍摄同一位置。因此，能够通过比较存在于在生成俯视图像205时被废弃的部分的立体物的亮度或颜色信息来比较同一部分的亮度或颜色信息，能够更正确地判断立体物是否是同一物体。
另外，在本车辆的速度大于等于规定速度的情况下，与本车辆的速度不足规定速度的情况相比，以在俯视图像上离本车辆更远的区域为对象进行边缘检测。在此，在本车辆的速度较快的情况下，驾驶员需要观察离本车辆较远的位置。另一方面，在本车辆的速度较慢的情况下，驾驶员需要观察本车辆附近。因此，在本车辆的速度大于等于规定速度的情况下，与本车辆的速度不足规定速度的情况相比，以在俯视图像上离本车辆更远的区域为对象进行边缘检测，由此能够以驾驶员要观察的位置的立体物为对象进行边缘检测。并且，能够限定进行边缘检测的区域，能够减轻处理负荷。
另外，在俯视图像上以本车辆的行进方向侧的区域为对象进行边缘检测，因此能够对有可能与本车辆接触的立体物进行边缘检测。并且，能够限定进行边缘检测的区域，能够减轻处理负荷。
以上，根据实施方式说明了本发明，但是本发明并不限于上述实施方式，在不脱离本发明要旨的范围内可以加以变更，也可以将各实施方式组合。
产业上的可利用性
本发明可应用于将车辆周围的图像提供给驾驶员的车辆周围图像提供装置。

Claims (10)

1.一种车辆周围图像提供装置，将车辆周围的图像提供给驾驶员，其特征在于，具备：
多个摄影单元，该多个摄影单元拍摄本车辆周围，并且分别拍摄不同的方向；
图像处理单元，其以地面为基准面对由上述多个摄影单元拍摄的车辆周围的各个图像进行坐标变换来生成坐标变换图像，并将生成的各坐标变换图像合成来生成俯视图像；
边缘检测单元，其对由上述图像处理单元生成的俯视图像进行边缘检测；
判断单元，其判断由边缘检测单元检测出的边缘线之中跨越坐标变换图像的接缝的边缘线的连续性；以及
图像处理单元，其在跨越坐标变换图像的接缝的边缘线不连续的情况下，进行如下图像处理：使离本车辆较远的一侧的边缘线与靠近本车辆的一侧的边缘线对合，由此使边缘线在接缝处连续。
2.根据权利要求1所述的车辆周围图像提供装置，其特征在于，
上述图像处理单元在存在多条跨越坐标变换图像的接缝的边缘线的情况下，在多条边缘线之中离本车辆较远的一侧的边缘线不连续的情况下，维持离本车辆较近的一侧的边缘线的连续性，并且使离本车辆较远的一侧的边缘线在接缝处连续。
3.根据权利要求1所述的车辆周围图像提供装置，其特征在于，
上述图像处理单元在跨越坐标变换图像的接缝的边缘线不连续的情况下，在边缘线具有屈折点的情况下，使边缘线不超出连结跨越接缝的曲折的边缘线之间的切线而使边缘线在接缝处连续。
4.根据权利要求1所述的车辆周围图像提供装置，其特征在于，
上述图像处理单元在存在多条跨越坐标变换图像的接缝的边缘线的情况下，在多条边缘线之中离本车辆较近的一侧的边缘线连续的情况下，维持离本车辆较近的一侧的边缘线的位置，并且使离本车辆较远的一侧的各边缘线在接缝处连续。
5.根据权利要求2所述的车辆周围图像提供装置，其特征在于，
具备判断跨越坐标变换图像的接缝的多条边缘线是否构成同一物体的单元，在判断为构成同一物体的情况下，上述图像处理单元确定存在于离本车辆较近的一侧的边缘线和存在于离本车辆较远的一侧的边缘线。
6.根据权利要求1至5中的任一项所述的车辆周围图像提供装置，其特征在于，
上述图像处理单元为了使边缘在接缝处连续而执行移动边缘的位移处理、对像素进行间除的间除处理、以及压缩图像的压缩处理中的至少一个。
7.根据权利要求6所述的车辆周围图像提供装置，其特征在于，
上述图像处理单元执行以下处理：将预先决定的颜色填充到执行上述位移处理、上述间除处理、以及上述压缩处理中的至少一个而在俯视图像中没有像素信息的部分中。
8.根据权利要求1至7中的任一项所述的车辆周围图像提供装置，其特征在于，
上述边缘检测单元在本车辆的速度大于等于规定速度的情况下，与本车辆的速度不足规定速度的情况相比，以在俯视图像上离本车辆更远的区域作为对象进行边缘检测。
9.根据权利要求1至8中的任一项所述的车辆周围图像提供装置，其特征在于，
上述边缘检测单元将俯视图像上本车辆的行进方向侧的区域作为对象进行边缘检测。
10.一种车辆周围图像提供方法，将车辆周围的图像提供给驾驶员，其特征在于，具有以下步骤：
拍摄本车辆周围的不同方向；
以地面为基准面将拍摄的本车辆周围的各个图像进行坐标变换来生成坐标变换图像，并将生成的各坐标变换图像合成来生成俯视图像；
对生成的俯视图像进行边缘检测；
判断检测出的边缘线中跨越坐标变换图像的接缝的边缘线的连续性；以及
进行如下图像处理：在跨越坐标变换图像的接缝的边缘线不连续的情况下，使离本车辆较远的一侧的边缘线与靠近本车辆的一侧的边缘线对合，由此使边缘线在接缝处连续。
CN2007800166895A 2006-05-09 2007-04-25 车辆周围图像提供装置和车辆周围图像提供方法 Active CN101438590B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP130269/2006 2006-05-09
JP2006130269 2006-05-09
PCT/JP2007/058961 WO2007129582A1 (ja) 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法

Publications (2)

Publication Number Publication Date
CN101438590A true CN101438590A (zh) 2009-05-20
CN101438590B CN101438590B (zh) 2011-07-13

Family

ID=38667690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800166895A Active CN101438590B (zh) 2006-05-09 2007-04-25 车辆周围图像提供装置和车辆周围图像提供方法

Country Status (5)

Country Link
US (1) US8243994B2 (zh)
EP (1) EP2018066B1 (zh)
JP (1) JP4956799B2 (zh)
CN (1) CN101438590B (zh)
WO (1) WO2007129582A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102189954A (zh) * 2010-03-02 2011-09-21 奥托立夫开发公司 用于机动车的驾驶辅助系统和方法
CN102483882A (zh) * 2009-09-14 2012-05-30 罗伯特·博世有限公司 用于在汽车的泊车辅助系统中显示障碍物的方法和装置
CN102653260A (zh) * 2012-05-09 2012-09-05 邝君 汽车定点定位引导系统
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
CN104380039A (zh) * 2012-07-31 2015-02-25 哈曼国际工业有限公司 使用单个相机检测障碍物的系统和方法
CN104469135A (zh) * 2013-09-18 2015-03-25 株式会社理光 图像处理系统
CN106030679A (zh) * 2014-01-23 2016-10-12 丰田自动车株式会社 车辆周围监视装置
CN106204521A (zh) * 2015-06-01 2016-12-07 东芝阿尔派·汽车技术有限公司 俯瞰图像生成装置
CN109163707A (zh) * 2018-09-06 2019-01-08 百度在线网络技术（北京）有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
TWI826119B (zh) * 2022-11-15 2023-12-11 瑞昱半導體股份有限公司 影像處理方法、系統以及非暫態電腦可讀取記錄媒體

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163165B2 (ja) * 2008-02-05 2013-03-13 日産自動車株式会社 車両周辺画像処理装置及び車両周辺状況提示方法
JP4557041B2 (ja) * 2008-04-18 2010-10-06 株式会社デンソー 車両用画像処理装置
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5235843B2 (ja) * 2009-11-16 2013-07-10 アルパイン株式会社 車両周辺監視装置および車両周辺監視方法
DE102010010912A1 (de) * 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
US9150156B2 (en) 2012-08-30 2015-10-06 Nissan North America, Inc. Vehicle mirror assembly
US9288446B2 (en) 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
US9057833B2 (en) 2012-09-28 2015-06-16 Nissan North America, Inc. Vehicle mirror assembly
JP6167824B2 (ja) * 2013-10-04 2017-07-26 アイシン精機株式会社 駐車支援装置
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2015098107A1 (ja) * 2013-12-24 2015-07-02 京セラ株式会社 画像処理装置、警報装置、および画像処理方法
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
US9403491B2 (en) 2014-08-28 2016-08-02 Nissan North America, Inc. Vehicle camera assembly
US9834141B2 (en) 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
US9880253B2 (en) 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
US9725040B2 (en) 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
JP6485160B2 (ja) * 2015-03-27 2019-03-20 セイコーエプソン株式会社 インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法
KR101709009B1 (ko) * 2015-08-18 2017-02-21 주식회사 와이즈오토모티브 어라운드 뷰 왜곡 보정 시스템 및 방법
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US10482626B2 (en) * 2018-01-08 2019-11-19 Mediatek Inc. Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same
EP4009628A4 (en) * 2019-08-02 2022-07-13 NISSAN MOTOR Co., Ltd. IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN110576796A (zh) * 2019-08-28 2019-12-17 浙江合众新能源汽车有限公司 一种标清360全景系统ui布局方法
KR102343052B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터를 기반으로 2d 이미지에서의 객체의 이동 경로를 식별하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236113A (ja) 1994-02-24 1995-09-05 Canon Inc 画像記録再生方法および画像記録再生装置
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP2001186512A (ja) 1999-12-27 2001-07-06 Toshiba Corp Ｘ線検査装置
JP3584194B2 (ja) 2000-02-22 2004-11-04 株式会社ホンダエレシス 白線検出方法および白線検出装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
ATE311725T1 (de) * 2001-09-07 2005-12-15 Matsushita Electric Ind Co Ltd Vorrichtung zum anzeigen der umgebung eines fahrzeuges und system zur bildbereitstellung
JP3819284B2 (ja) 2001-11-29 2006-09-06 クラリオン株式会社 車両周囲監視装置
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483882A (zh) * 2009-09-14 2012-05-30 罗伯特·博世有限公司 用于在汽车的泊车辅助系统中显示障碍物的方法和装置
CN102189954A (zh) * 2010-03-02 2011-09-21 奥托立夫开发公司 用于机动车的驾驶辅助系统和方法
CN102783143B (zh) * 2010-03-10 2015-04-01 歌乐牌株式会社 车辆用周围监视装置
US9142129B2 (en) 2010-03-10 2015-09-22 Clarion Co., Ltd. Vehicle surroundings monitoring device
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导系统
CN102653260A (zh) * 2012-05-09 2012-09-05 邝君 汽车定点定位引导系统
CN104380039A (zh) * 2012-07-31 2015-02-25 哈曼国际工业有限公司 使用单个相机检测障碍物的系统和方法
US9798936B2 (en) 2012-07-31 2017-10-24 Harman International Industries, Incorporated System and method for detecting obstacles using a single camera
CN104469135A (zh) * 2013-09-18 2015-03-25 株式会社理光 图像处理系统
CN104469135B (zh) * 2013-09-18 2017-11-28 株式会社理光 图像处理系统
CN106030679A (zh) * 2014-01-23 2016-10-12 丰田自动车株式会社 车辆周围监视装置
CN106030679B (zh) * 2014-01-23 2018-04-27 丰田自动车株式会社 车辆周围监视装置
CN106204521A (zh) * 2015-06-01 2016-12-07 东芝阿尔派·汽车技术有限公司 俯瞰图像生成装置
CN109163707A (zh) * 2018-09-06 2019-01-08 百度在线网络技术（北京）有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
US11042761B2 (en) 2018-09-06 2021-06-22 Baidu Online Network Technology (Beijing) Co., Ltd. Method and system for sensing an obstacle, and storage medium
TWI826119B (zh) * 2022-11-15 2023-12-11 瑞昱半導體股份有限公司 影像處理方法、系統以及非暫態電腦可讀取記錄媒體

Also Published As

Publication number Publication date
EP2018066A1 (en) 2009-01-21
CN101438590B (zh) 2011-07-13
EP2018066A4 (en) 2017-04-19
JP4956799B2 (ja) 2012-06-20
US8243994B2 (en) 2012-08-14
JPWO2007129582A1 (ja) 2009-09-17
US20090257659A1 (en) 2009-10-15
WO2007129582A1 (ja) 2007-11-15
EP2018066B1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
CN101438590B (zh) 车辆周围图像提供装置和车辆周围图像提供方法
US7317813B2 (en) Vehicle vicinity image-processing apparatus and recording medium
US7570286B2 (en) System and method for creating composite images
KR101491170B1 (ko) 차량 주위 화상 표시 시스템
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
EP1462762B1 (en) Circumstance monitoring device of a vehicle
JP6171593B2 (ja) 視差図からの対象追跡方法及びシステム
CN103237685B (zh) 盲区显示装置及方法
JP4956452B2 (ja) 車両用環境認識装置
CN103987582B (zh) 驾驶辅助装置
EP2233358B1 (en) Obstruction detecting apparatus
CN104956400A (zh) 移动对象识别器
CN104749780B (zh) 车辆用信息显示装置和车辆用信息显示方法
JP2010200240A (ja) 車両周囲俯瞰画像表示装置及び方法
EP3687165B1 (en) Display control device
JP2012136206A (ja) 駐車制御システム、及び、駐車制御方法
CN106855999A (zh) 汽车环视图像的生成方法及装置
US7652559B2 (en) Vehicle surroundings display unit and a method of displaying vehicle surroundings
JP2004147083A (ja) 運転支援装置
Shu et al. Vision based lane detection in autonomous vehicle
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
CN108290499A (zh) 带有自适应周围环境图像数据处理功能的驾驶员辅助系统
JP4661578B2 (ja) 移動体認識装置
JP2003189292A (ja) 車両周辺画像処理装置及び記録媒体
Magrabi Simulation of collision avoidance by navigation assistance using stereo vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant