CN101207802A - 驾驶支援方法和驾驶支援装置 - Google Patents

驾驶支援方法和驾驶支援装置 Download PDF

Info

Publication number
CN101207802A
CN101207802A CNA2007101694804A CN200710169480A CN101207802A CN 101207802 A CN101207802 A CN 101207802A CN A2007101694804 A CNA2007101694804 A CN A2007101694804A CN 200710169480 A CN200710169480 A CN 200710169480A CN 101207802 A CN101207802 A CN 101207802A
Authority
CN
China
Prior art keywords
column
imaginary plane
vehicle
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101694804A
Other languages
English (en)
Other versions
CN101207802B (zh
Inventor
洼田智气
冈部英文
高木实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN101207802A publication Critical patent/CN101207802A/zh
Application granted granted Critical
Publication of CN101207802B publication Critical patent/CN101207802B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019—Side or rear panels
    • B60R2011/0022—Pillars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种能够将特定对象物的图像良好地投影到立柱上的驾驶支援方法和驾驶支援装置。驾驶支援装置使用安装在车辆(C)上的摄像机，对车辆的立柱产生的死角区域进行拍摄，并将由摄像机所拍摄的图像投影在立柱内侧，该驾驶支援装置具有图像处理器，该图像处理器在路面标示上设定基准点(Pc)，在通过基准点(Pc)的位置设定假想平面(VP)，并且将从摄像机输入的图像数据坐标变换到假想平面(VP)上，而将被坐标变换到假想平面(VP)上的图像数据输出到投影仪。

Description

驾驶支援方法和驾驶支援装置
技术领域
本发明涉及一种驾驶支援方法和驾驶支援装置。
背景技术
一直以来，作为支援安全驾驶的装置，开发了一种由车载摄像机对成为驾驶员的死角的区域进行拍摄并在显示器等上进行显示的车载系统。作为所述系统之一，提出了一种由车载摄像机对由车辆的前立柱所产生的死角区域进行拍摄并在前立柱内侧显示拍摄图像的系统。前立柱是如下这样的部件：其是用于支撑前窗和车顶的左右支柱，从坐在驾驶席上的驾驶员角度观察位于斜前方，虽然遮蔽了驾驶员的一部分视野，但是为了确保安全性而必须确保给定的粗细。
如图12所示，上述系统具有：安装在车体上并能够对拍摄区域106进行拍摄的摄像机100、对从摄像机100输出的影像信号进行图像处理的图像处理器、将图像投影在前立柱101内侧的投影仪(省略图示)等。因此，从驾驶员位置102观察，由于处于就像能够透过前立柱101来识别外部背景那样的状态，因而在交叉路口等处，能够确认车辆前侧方的道路状况和位于前侧方的障碍物。
在将由摄像机100拍摄的影像信号投影到立柱101上时，由于摄像机100的视角和驾驶员的视角不一致，因而存在相对于驾驶员通过车窗识别的背景，投影在立柱101上的图像发生倾斜或偏移的问题。相对于此，在专利文献1中，将由摄像机所拍摄的图像投影变换到为了与驾驶员的视角相符而设定的假想平面(假想屏幕面)上。
专利文献1：JP特开2005-184225号公报。
但是，如图12所示，如果在距驾驶员位置102一定距离的位置定义假想平面103，则位于该一定距离位置之外的道路标示、信号、障碍物等在作为投影图像而被投影在立柱上时，有时不能恰当地被显示。也就是，如在图12示意性地所示那样在假想平面103上存在识别对象物104时，如图13所示那样，该识别对象物104作为图像104a而被投影在立柱101上不会失真。位于假想平面103之外位置的识别对象物105若作为图像105a而显示在立柱101上，则以相对通过车窗107、108观察到的实际背景而偏移或歪斜状态被显示。
因而，在诸如道路标示、行人这样的、驾驶员容易注视的障碍物没有位于假想平面103上时，由于这些障碍物以失真状态投影在立柱上，因而驾驶员有时感觉不协调。
发明内容
本发明是鉴于上述问题而提出的，其目的是提供一阵能够将特定对象物的图像良好地投影到立柱上的驾驶支援方法和驾驶支援装置。
为了解决上述问题，技术方案1记载的发明是一种驾驶支援方法，使用安装在车辆上的拍摄装置，对由所述车辆的立柱产生的死角区域进行拍摄，并将由所述拍摄装置所拍摄的图像显示在所述立柱的内侧，其特征在于，将车辆周边路面上的物体设定为描绘基准物，在通过该描绘基准物的位置上设定假想平面，并且将从所述拍摄装置输入的图像数据坐标变换到所述假想平面上，根据坐标变换后的所述图像数据，在所述立柱的内侧显示相当于由所述立柱产生的死角区域的图像。
技术方案2记载的发明是一种驾驶支援装置，使用安装在车辆上的拍摄装置，对由所述车辆的立柱产生的死角区域进行拍摄，并将由所述拍摄装置所拍摄的图像显示在所述立柱的内侧，其特征在于，该驾驶支援装置具有：对象物设定装置，其将车辆周边路面上的物体设定为描绘基准物；假想平面设定装置，其在通过所述描绘基准物的位置上设定假想平面；图像处理装置，其将从所述拍摄装置输入的图像数据坐标变换到所述假想平面上；输出控制装置，其根据被坐标变换到所述假想平面上的所述图像数据，在所述立柱的内侧显示相当于由所述立柱产生的死角区域的图像。
技术方案3记载的发明，在技术方案2记载的驾驶支援装置的基础上，其特征在于，所述对象物设定装置根据存储了路面标示或路面设置物的位置的地图数据，将所述路面标示或路面设置物设定为所述描绘基准物。
技术方案4记载的发明，在技术方案2记载的驾驶支援装置的基础上，其特征在于，该驾驶支援装置还具有对在路面上存在的障碍物进行检测的障碍物检测装置，所述对象物设定装置将所述障碍物设定为所述描绘基准物。
技术方案5记载的发明，在技术方案2～4中任一项记载的驾驶支援装置的基础上，在与所述假想平面交叉的位置上设定所述拍摄装置的拍摄面。
根据技术方案1记载的发明，由于在通过描绘基准物的位置上设定假想平面，并将图像数据坐标变换到该假想平面上，因而即使车辆移动，也能始终以不失真状态将描绘基准物显示在立柱内面上。
根据技术方案2记载的发明，由于驾驶支援装置在通过描绘基准物的位置上设定假想平面，并将图像数据坐标变换到该假想平面上，因而即使车辆移动，也能始终以不失真状态将描绘基准物的图像显示在立柱内面上。
根据技术方案3记载的发明，由于将路面标示或路面设置物设定为描绘基准物，因而能够以不失真状态将路面标示或路面设置物的图像显示在立柱上。另外，由于根据地图数据能够预先获得描绘基准物的位置，因而进行坐标变换的时机不会延迟，在接近描绘基准物时，能够不失真地显示该描绘基准物。
根据技术方案4记载的发明，由于将在路面上存在的障碍物设定为描绘基准物，因而能够不失真地显示需要驾驶员注视的行人等。
根据技术方案5记载的发明，由于拍摄装置的拍摄面设定在与假想平面交叉的位置上，因而能够使焦点与该假想平面上的物体、即描绘基准物一致地进行拍摄。因此，能够在立柱内面上清楚地显示描绘基准物。
附图说明
图1是本实施方式的驾驶支援系统的框图。
图2是用于对驾驶员的头部进行检测的位置检测传感器的说明图。
图3是摄像机的安装位置的说明图。
图4是假想平面的设定位置的说明图。
图5是假想平面和摄像机拍摄面的说明图。
图6是掩模图案的说明图。
图7是说明投影仪位置的车辆侧视图。
图8是说明投影有图像的立柱内面的说明图。
图9是投影仪的投影方向的说明图。
图10是本实施方式的投影顺序的说明图。
图11是其它例的摄像机拍摄面的说明图。
图12是现有假想平面位置的说明图。
图13是现有的立柱投影图像的说明图。
具体实施方式
下面，根据图1～10对将本发明具体化的一实施方式进行说明。图1是说明安装在汽车上的驾驶支援系统1的结构的框图。
驾驶支援系统1装载在车辆C(参考图3)上，如图1所示，其具有作为驾驶支援装置的驾驶支援单元2、显示器3、作为投影装置的投影仪4、扬声器5、作为拍摄装置的摄像机6、第一～第三位置检测传感器8a～8c。
驾驶支援单元2具有控制部10、非易失性主存储器11、ROM12、GPS接收部13。控制部10是CPU、MPU或ASIC等，根据存储在ROM12内的驾驶支援程序，实施各个处理的主控制。主存储器11临时存储控制部10的运算结果。
控制部10获取GPS接收部13从GPS卫星接收的卫星轨道信息和时间信息，并由无线电导航法计算出该车辆的绝对位置。另外，控制部10通过驾驶支援单元2的车辆侧I/F部，从设置在车辆C上的车速传感器30和陀螺仪31分别输入车速脉冲、角速度。然后，控制部10通过使用车速脉冲和角速度的自动导航法计算出距基准位置的相对位置，并与由无线电导航法所计算出的绝对位置组合，而确定本车位置。
另外，驾驶支援单元2具有地理数据存储部15。地理数据存储部15是内置硬盘或光盘等的外部存储介质。在该地理数据存储部15内存储有作为用于搜索至目的地路径的地图数据的各个路径网络数据(以下称作路径数据16)、和作为用于向显示器3输出地图画面3a的地图数据的各地图描绘数据17。
路径数据16是与对全国进行划分的网目(mesh)内的道路相关的数据。路径数据16具有各个网目的标示符、与表示交叉路口和道路端点的节点相关的节点数据、连接各个节点的各个道路链(link)标示符、道路链成本(linkcost)等数据。控制部10使用该路径数据16，来搜索至目的地的推荐路径，或判断车辆C是否接近交叉路口等引导地点。
另外，地图描绘数据17是用于描绘道路形状、背景等的数据，存储在对全国地图划分后的每个网目内。在该地图描绘数据17内存储有与道路标示和信号机等路面设置物相关的数据存储，道路标示是指中央线、划分路侧带的白线、斑马线、人行横道等。具体地说，与各地点的交叉路口或弯道建立关联地存储有道路标示的种类、道路标示的位置坐标、路面设置物的种类、路面设置物的位置坐标等。
如图1所示，驾驶支援单元2具有地图描绘处理器18。地图描绘处理器18从地理数据存储部15中读出用于描绘本车位置周边的地图的地图描绘数据17，并生成地图输出用的数据，将基于地图输出用数据的地图画面3a显示在显示器3上。另外，地图描绘处理器18将表示自车位置的自车位置指标3b重叠在该地图图面3a上。
另外，驾驶支援单元2具有声音处理器24。声音处理器24具有图中未示的声音文件，将用于引导例如至目的地的路径的声音从扬声器5中输出。进一步，驾驶支援单元2还具有外部输入I/F部25。外部输入I/F部25从与显示器3相邻的操作开关26、触摸面板式的显示器3输入基于用户的输入操作的输入信号，并输出到控制部10。
另外，驾驶支援单元2具有构成检测装置的传感器I/F部23。传感器I/F部23从第一～第三位置检测传感器8a～8c输入检测信号。第一～第三位置检测传感器8a～8c由超声波传感器构成，如图2所示，安装在驾驶室内、且坐在前排座椅F上的驾驶员D的周围。第一位置检测传感器8a安装在室内镜(省略图示)附近，位于与驾驶员D的头部D1相同高度的位置或比驾驶员D的头部稍高的位置。
第二位置检测传感器8b以位于驾驶员D的斜前方右侧的方式安装在门窗W2(参考图3)的上端附近。第三位置检测传感器8c安装在前排座椅F的左侧、且车顶R的内侧。从各个位置检测传感器8a～8c的未图示的传感器头发出的超声波在驾驶员D的头部D1反射。各个位置检测传感器8a～8c计测发出超声波至接收反射波的时间，根据该计测时间，分别计算出至头部D1的各个相对距离。另外，所计算出的各个相对距离通过传感部I/F部23输出到控制部10。此外，根据来自各个位置检测传感器8a～8c的信号，传感部I/F部23也可以计算出至头部D1的相对距离。
根据在坐在驾驶席的状态下标准体型的驾驶员D的头部D1可移动的头部移动范围、和第一～第三位置检测传感器8a～8c检测到的各个相对距离，控制部10使用三角测量由公知的方法获取头部中心位置Dc。
此外，如图1所示，驾驶支援单元2具有影像数据输入部22、和从影像数据输入部22输入图像数据IM的、作为对象物设定装置、假想平面设定装置、图像处理装置和输出控制装置的图像处理器20。影像数据输入部22基于控制部10的控制，对设置在车辆C上的摄像机6进行驱动，输入由摄像机6所拍摄的图像数据IM。
摄像机6是对彩色图像进行拍摄的摄像机，具有由透镜、反射镜等构成的光学机构、CCD摄像元件(均未图示)、自动聚焦机构等。如图3所示，该摄像机6安装在车辆C的前立柱P(以下简称为立柱P)的外侧上，其光轴朝向车辆C的前方。在本实施方式中，根据设置在车辆右侧的驾驶席，摄像机6安装在驾驶席右侧的立柱P上。该摄像机6对包含车辆C的前方右侧和车辆C右侧的一部分的拍摄区域Z1的背景进行拍摄。
驾驶支援单元2的图像处理器20通过影像数据输入部22从摄像机6获取图像数据IM。此外，图像处理器20进行图像处理，该图像处理用于对所获得的图像数据IM中由立柱P遮挡的区域进行剪切(trimming)，并且消除图像失真。被进行图像处理的数据输出到设置在驾驶室内的投影仪4(参考图7)，投影仪4将由立柱P遮挡的图像投影到立柱P的内侧。
详细地说，当控制部10根据路径数据16判断车辆C接近交叉路口或弯道处时，图像处理器20获取驾驶员D在交叉路口或弯道处容易注视到的识别对象物的坐标。在本实施方式中，图像处理器20根据地图描绘数据17获取作为描绘基准物的人行横道Z的坐标。例如，如图4所示，基于地图描绘数据17，获取标示在车辆前侧方的人行横道Z的基准点Pc的坐标。基准点Pc预先存储在地图描绘数据17内，或图像处理器20从存储在地图描绘数据17内的人行横道Z的所有坐标中进行设定。
若获取基准点Pc的坐标，则根据基准点Pc的坐标、第一～第三位置检测传感器8a～8c检测到的驾驶员D的头部中心位置Dc，确定假想平面VP的位置。假想平面VP是用于对设定了基准点Pc的人行横道Z的失真进行校正的平面，且是以驾驶员D的视点为原点，根据驾驶员D的视角而设定的假想面。在将由摄像机6所拍摄的图像数据IM坐标变换到假想平面VP上时，位于该假想平面VP上的物体不会偏移或倾斜地被显示。如图5所示，图像处理器20将该假想平面VP设定在包含基准点Pc且相对于直线La垂直的位置上，该直线La是对头部中心位置Dc和基准点Pc进行连接的直线。
如图4所示，车辆C从设定了假想平面VP的初始位置FP向图中双点划线所示位置移动，即使头部中心位置Dc和人行横道Z的基准点Pc的相对距离ΔL发生变化，图像处理器20仍将假想平面VP设定在通过基准点Pc且相对于直线La垂直的位置上。也就是，假想平面VP不会伴随着车辆C的前进而移动，始终设定在通过基准点Pc的位置上。如图4所示，在车辆转弯的情况下，由于对头部中心位置Dc和基准点Pc进行连接的直线La的倾角发生变化，因而伴随着该变化，假想平面VP也仅改变其角度。
另外，图像处理器20根据假想平面VP的位置来确定摄像机拍摄面CP。如图5所示，摄像机拍摄面CP是相对于摄像机6的光轴AX垂直的面。图像处理器20将该摄像机拍摄面CP设定在与假想平面VP交叉的位置上。在与假想平面VP交叉的面能够设定多个的情况下，选择在基准点Pc附近交叉的面。
若确定了该摄像机拍摄面CP，图像处理器20通过影像数据输入部22，使摄像机6的焦点调整到摄像机拍摄面CP上进行拍摄，获取图像数据IM。
若获取了图像数据IM，则对该图像数据IM中由立柱P遮挡的死角部分进行剪切。如图5所示，图像处理器20计算出通过驾驶员D的头部中心位置Dc和立柱P的各个端点P1、P2的接线L1、L2，将所述接线L1、L2内侧作为死角区域A。另外，对图像数据IM中相当于死角区域A的区域进行剪切，而生成立柱死角数据BD。
若获得了立柱死角数据BD，则图像处理器20将立柱死角数据BD投影变换到通过基准点Pc的假想平面VP上。该投影变换是将摄像机拍摄面CP中位于死角区域A内的死角部分CB的各个像素坐标变换到假想平面VP上的各个像素的处理，可以使用公知的坐标变换进行。
进而，根据存储在ROM12内的立柱形状41(参考图1)，图像处理器20将投影到假想平面VP上的投影图像调整变换为立柱P的3维形状，生成投影数据PD。
另外，图像处理器20针对投影数据PD，根据存储在ROM12内的掩模图案40(参考图1和图6)，生成用于输出到投影仪4的影像信号。如图6所示，掩模图案40是用于将掩模施加在投影数据PD上的数据，由沿着立柱P内面形状的图像显示区域40a、掩模40b构成。图像处理器20在图像显示区域40a的区域中读入投影数据PD，在掩模40b的区域内，生成用于投影仪4不显示的输出用数据OD。如果生成了该输出用数据OD，则图像处理器20将该输出用数据OD输出到投影仪4上。
如图7所示，投影仪4安装在车顶R的内侧、且驾驶员D所坐的前排座椅F的铅垂方向上方附近，该投影仪能够向车辆C右侧立柱P的内面上投影图像。如图8所示，在立柱P的内侧面Pa上贴着了按照立柱P形状切断而成的屏幕SC。投影仪4的焦点根据该屏幕SC而被调整。此外，在立柱P的内侧面Pa由能够接收从投影仪4输出的投影光并显示鲜明图像的材质和形状构成的情况下，也可以省略屏幕SC。
如图9所示，投影仪4对立柱P的屏幕SC射出投影光L，将图像投影在屏幕SC上。另外，因掩膜40b，不将图像投影在该屏幕SC周围的前窗W1或门窗W2上。
接着，根据图10对本实施方式的处理顺序进行说明。首先，驾驶支援单元2的控制部10等待开始将背景图像投影到立柱P内侧的投影模式(步骤S1)。例如，在通过操纵触摸面板、操作开关26，控制部10经由外部输入I/F部25接收到模式开始要求时，判断开始投影模式。或者，也可以根据来自点火模块(ignition module)(省略图示)的启动信号，判断开始投影模式。
若判断开始投影模式(在步骤S1中为“是”)，则控制部10根据路径数据16，等待车辆C接近交叉路口或弯道处(步骤S2)。具体地说，当控制部10判断车辆C目前位置进入距包含T字路的交叉路口或给定曲率以上的弯道给定距离的范围(例如200米)内，则判断接近交叉路口或弯道。
当判断接近交叉路口或弯道时(在步骤S2中为“是”)，控制部10使用各个位置检测传感器8a～8c，检测出驾驶员D的头部位置(步骤S3)。此时，控制部10通过传感器I/F部23获取从各个位置检测传感器8a～8c至头部D1的各个相对距离。然后，使用各个相对距离，根据三角测量原理，确定头部中心位置Dc。
若计算出头部中心位置Dc，则图像处理器20如上所述那样设定假想平面VP(步骤S4)。当车辆C接近交叉路口J(参考图4)时，根据地图描绘数据17获取人行横道Z的基准点Pc，将假想平面VP设定在通过该基准点Pc的位置上。当没有人行横道Z时，也可以使用车辆前方的停止线等道路标示。当车辆C接近弯道时，也可以在标示在道路上的中央线中曲率大的位置上取得基准点Pc。
进一步，图像处理器20设定摄像机拍摄面CP(步骤S5)。此时，以摄像机拍摄面CP和假想平面VP的交点重合在基准点Pc上、或通过基准点Pc附近的方式设定摄像机拍摄面CP。当摄像机拍摄面CP和假想平面VP未重合在基准点Pc上或其交点不位于基准点Pc附近时，至少以与假想平面VP交叉的方式设定摄像机拍摄面CP。此外，根据图像处理器20所设定的摄像机拍摄面CP，摄像机6将焦点调整到摄像机拍摄面CP上进行拍摄，获得图像数据IM(步骤S6)。
另外，图像处理器20如上所述那样设定由立柱P遮挡的死角区域A，并提取图像数据IM中相当于该死角区域A的区域(步骤S7)，生成立柱死角数据BD。
若生成了立柱死角数据BD，则图像处理器20对立柱死角数据BD进行图像处理(步骤S8)，具体地说，如上所述，将立柱死角数据BD投影变换到在步骤S4设定的假想平面VP上。进而，根据存储在ROM12上的立柱形状来变换投影变换到假想平面VP上的图像，而生成投影数据PD。此外，根据投影数据PD和掩模图案40，生成对除立柱P之外的区域进行掩模的输出用数据OD。
若生成输出用数据OD，则图像处理器20将该输出用数据OD输出到投影仪4。如图9所示，投影仪4将由立柱P遮挡的区域的图像投影到设置在立柱P内侧面Pa上的屏幕SC上(步骤S9)。由于显示在屏幕SC上的投影图像被预先投影变换到根据人行横道Z等道路标示所确定的假想平面VP上，因而，该道路标示相对通过前窗W1和门窗W2而识别的背景不会偏移或倾斜地被显示。因而，由于将至少在通过交叉路口或弯道时容易经常注视的道路标示不失真地投影到立柱P上，因而驾驶员不会感到不协调地能够识别由立柱P遮挡的图像。
若由图像处理器20将图像投影到立柱P上，则控制部10判断车辆C是否从交叉路口J或弯道离开(步骤S10)。若判断车辆C在交叉路口J或弯道内、或者位于其附近(步骤S10为“否”)，则返回步骤S3，反复进行检测头部位置(步骤S3)至投影图像(步骤S9)。也就是，由立柱P遮挡的图像被投影到立柱P上，直到车辆C从交叉路口J或弯道离开。
如果判断车辆C从交叉路口J或弯道离开(在步骤S10为“是”)，则控制部10判断是否需要结束投影模式(步骤S11)。结束触发信号是由操作触摸面板或操作开关26所带来的模式结束请求、或点火模块的关闭信号。一旦输入这些信号，则判断投影模式结束(在步骤S11中为“是”)，而结束处理。
根据上述实施方式，能够获得下述效果。
(1)在上述实施方式中，图像处理器20在车辆C接近交叉路口或弯道时，将假想平面VP始终设定在通过例如道路标示这样的对象物的基准点Pc的位置上。并且，将由摄像机6所拍摄的图像数据IM投影变换到该假想平面VP上。从而，即使车辆C移动，由于始终以不失真状态将驾驶员注视的对象物显示在立柱P内侧面Pa上，因而，不会使驾驶员感觉到不协调。
(2)在上述实施方式中，根据存储在地理数据存储部内的地图描绘数据17，获取道路标示等对象物的坐标，并将基准点Pc设定在该对象物上。因而，由于利用驾驶支援系统1所具有的地图描绘数据17而能够预先设定基准点Pc，因而从车辆C开始进入交叉路口J或弯道内的时刻起，能够在立柱P上显示不失真的图像。
(3)在上述实施方式中，图像处理器20将摄像机拍摄面CP设定在与假想平面VP交叉的位置上。因而，由于能够将焦点调整到假想平面VP上的道路标示等对象物上进行拍摄，所以能够在高对比度状态下显示该道路标示。
此外，上述实施方式能够进行下述变更。
在上述实施方式中，虽然根据地图描绘数据17设定道路标示的基准点Pc，但是也可以对从摄像机6所获得的图像数据IM实施白线识别处理，检测出道路标示的白线(或黄线)。然后，可以在所检测到的白线端部或中央处设定基准点Pc。
在上述实施方式中，根据人行横道Z等道路标示确定假想平面VP，但是确定假想平面V的位置的对象物也可以适当地变更。例如也可以根据信号机等路面设置物确定假想平面VP。此外，例如将计测至车辆前方的障碍物的相对距离的、作为障碍物检测装置的雷达等装载在车辆C上，当检测出行人、自行车等对象障碍物时，也可以根据障碍物确定假想平面VP。此外，在障碍物是否是诸如行人、自行车的判定上，使用特征检测等公知的图像处理。
表示人行横道等路面标示位置的数据例如可以从道路与车辆间通信或车辆与车辆间通信中获得，或从发送这些数据的服务器中获得。此外，表示行人等障碍物位置的数据也可以从其它车辆等外部装置接收。
在上述实施方式中，在不使用声音引导的情况下，也可以省略声音处理器24。
在上述实施方式中，虽然将摄像机拍摄面CP设定成与假想平面VP交叉，但是如图11所示，也可以将摄像机拍摄面CP设定在假想平面VP前面。例如也可以将摄像机拍摄面CP2设定在由假想平面VP中被立柱P遮挡的死角部分B1的端点B2、B3和摄像机6的视点V所包围的区域B内，且设定在假想平面VP和摄像机6之间。此时，提取出图像数据IM中与被立柱P遮挡的区域B相当的部分。然后，将提取的数据从摄像机拍摄面CP2投影变换到假想平面VP上。这样一来，也能够在立柱P上不失真地显示位于基准点Pc的道路标示、行人等识别对象物。
在上述实施方式中，虽然由投影仪4将图像投影在立柱P内侧面Pa上，但是也可以将作为薄型显示装置的显示器设置在立柱P内侧，从图像处理器20将输出用数据OD输出到该显示器。
在上述实施方式中，摄像机6设置在立柱P的外侧，并对由前立柱P遮挡的区域进行拍摄，但是摄像机6也可以设置在车辆后方或侧方等其它立柱上。例如，将摄像机6安装在车辆后方的后立柱外侧，由该摄像机6对由后立柱遮挡的区域进行拍摄。此时，将投影仪4设置在能够将图像投影在后立柱内面的位置上，图像处理器20根据由摄像机6所拍摄的图像数据，将由后立柱遮挡的死角区域的图像投影在后立柱内面上。从而，例如在车辆C朝向停车位后退时，由于驾驶员能够由投影图像确认被后立柱遮挡的停车位，因而能够容易地进行停车操作。另外，也可以在多个立柱P的外侧分别设置了1个摄像机6，并且对应于摄像机6的位置设置多台投影仪4。进而，也可以在1个立柱P上设置多个摄像机6。
在上述实施方式中，将投影仪4设置在车辆C的车顶R的内侧，但是投影仪4的位置只要是能够将图像投影在立柱P的内面上的位置即可，例如也可以设置在仪表板的上方(大致中央)等其它位置上。

Claims (5)

1.一种驾驶支援方法，使用安装在车辆上的拍摄装置，对由所述车辆的立柱产生的死角区域进行拍摄，并将由所述拍摄装置所拍摄的图像显示在所述立柱的内侧，其特征在于，
将车辆周边路面上的物体设定为描绘基准物，在通过该描绘基准物的位置上设定假想平面，并且将从所述拍摄装置输入的图像数据坐标变换到所述假想平面上，根据坐标变换后的所述图像数据，在所述立柱的内侧显示相当于由所述立柱产生的死角区域的图像。
2.一种驾驶支援装置，使用安装在车辆上的拍摄装置，对由所述车辆的立柱产生的死角区域进行拍摄，并将由所述拍摄装置所拍摄的图像显示在所述立柱的内侧，其特征在于，该驾驶支援装置具有：
对象物设定装置，其将车辆周边路面上的物体设定为描绘基准物；
假想平面设定装置，其在通过所述描绘基准物的位置上设定假想平面；
图像处理装置，其将从所述拍摄装置输入的图像数据坐标变换到所述假想平面上；
输出控制装置，其根据被坐标变换到所述假想平面上的所述图像数据，在所述立柱的内侧显示相当于由所述立柱产生的死角区域的图像。
3.根据权利要求2所述的驾驶支援装置，其特征在于，
所述对象物设定装置根据存储了路面标示或路面设置物的位置的地图数据，将所述路面标示或路面设置物设定为所述描绘基准物。
4.根据权利要求2所述的驾驶支援装置，其特征在于，
该驾驶支援装置还具有对在路面上存在的障碍物进行检测的障碍物检测装置，
所述对象物设定装置将所述障碍物设定为所述描绘基准物。
5.根据权利要求2～4中任一项所述的驾驶支援装置，其特征在于，
在与所述假想平面交叉的位置上设定所述拍摄装置的拍摄面。
CN2007101694804A 2006-12-20 2007-11-16 驾驶支援方法和驾驶支援装置 Expired - Fee Related CN101207802B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006343348 2006-12-20
JP2006343348 2006-12-20
JP2006-343348 2006-12-20

Publications (2)

Publication Number Publication Date
CN101207802A true CN101207802A (zh) 2008-06-25
CN101207802B CN101207802B (zh) 2011-11-02

Family

ID=39272214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101694804A Expired - Fee Related CN101207802B (zh) 2006-12-20 2007-11-16 驾驶支援方法和驾驶支援装置

Country Status (5)

Country Link
US (1) US8094192B2 (zh)
EP (1) EP1939040B1 (zh)
JP (1) JP4862774B2 (zh)
CN (1) CN101207802B (zh)
AT (1) ATE533667T1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081763A (zh) * 2012-01-17 2014-10-01 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
CN108688562A (zh) * 2017-04-10 2018-10-23 现代自动车株式会社 用于车辆的盲区的立柱显示系统
CN110647860A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 信息渲染方法、装置、设备和介质
CN113147582A (zh) * 2015-04-10 2021-07-23 麦克赛尔株式会社 具有影像投射部的车辆
US11194008B2 (en) 2019-10-25 2021-12-07 Toyota Motor Engineering And Manufacturing North America, Inc. Triangulation and calibration of electronic control units
CN114127822A (zh) * 2019-07-12 2022-03-01 日产自动车株式会社 信息处理装置、信息处理方法以及信息处理程序

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239380B2 (en) 2008-05-21 2016-01-19 Adc Automotive Distance Control Systems Gmbh Driver assistance system for avoiding collisions of a vehicle with pedestrians
DE102009006471A1 (de) * 2009-01-28 2010-09-02 Audi Ag Verfahren zum Betrieb einer Navigationseinrichtung eines Kraftfahrzeugs sowie Kraftfahrzeug hierfür
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
DE102010034853A1 (de) * 2010-08-18 2012-02-23 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Kraftfahrzeug mit Digitalprojektoren
US10246030B2 (en) * 2012-08-09 2019-04-02 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and driving assistance apparatus
CN103456167B (zh) * 2013-09-17 2015-08-26 重庆大学 基于关键区域的良好驾驶技术参数获取方法
JP6032219B2 (ja) * 2014-01-24 2016-11-24 トヨタ自動車株式会社 運転支援装置
GB2525653A (en) * 2014-05-01 2015-11-04 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
WO2016018320A1 (en) * 2014-07-30 2016-02-04 Johnson Controls Technology Company System for projecting an image within a vehicle interior
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
CN104504677B (zh) * 2014-11-17 2017-09-22 南京泓众电子科技有限公司 一种基于可变视角的图像生成方法
CN105405093B (zh) * 2015-11-12 2019-03-15 中国商用飞机有限责任公司 飞机驾驶舱视界增强系统和方法
CN106200626B (zh) * 2016-08-26 2018-07-27 上海瑞言信息科技有限公司 自然驾驶数据采集系统及其安全算法
JP6536521B2 (ja) * 2016-09-22 2019-07-03 株式会社デンソー 物体検知装置及び物体検知方法
WO2018061444A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 反射板、情報表示装置および移動体
WO2018129310A1 (en) * 2017-01-08 2018-07-12 Shanghai Yanfeng Jinqiao Automotive Trim Systems Co. Ltd System and method for image display on vehicle interior component
JP6897222B2 (ja) * 2017-03-27 2021-06-30 トヨタ自動車株式会社 フロントピラー構造
CN107392093B (zh) * 2017-06-14 2019-01-01 北京遥感设备研究所 一种基于机器学习和灰度投影算法相结合的铁轨识别系统
DE102017216822A1 (de) * 2017-09-22 2019-03-28 Continental Automotive Gmbh Vorrichtung und Verfahren zum Anpassen einer Bildverarbeitung basierend auf einer Form einer Anzeigeneinrichtung für ein Kraftfahrzeug
CN110610135A (zh) * 2019-08-19 2019-12-24 中国第一汽车股份有限公司 一种显示方法、装置、设备及存储介质
JP7400688B2 (ja) * 2020-10-19 2023-12-19 トヨタ自動車株式会社 表示装置及び表示方法
CN112298041A (zh) * 2020-11-06 2021-02-02 浙江合众新能源汽车有限公司 一种汽车透明a柱显示系统
CN112758015A (zh) * 2021-02-05 2021-05-07 的卢技术有限公司 一种用于投影车载a柱盲区的方法
JP2024004819A (ja) * 2022-06-29 2024-01-17 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3351984B2 (ja) * 1997-04-22 2002-12-03 国土交通省関東地方整備局長 作業用走行車の視界改善装置および方法
EP1115250B1 (en) * 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
DE50107054D1 (de) * 2001-08-21 2005-09-15 Ford Global Tech Llc Überwachungseinrichtung für Fahrzeuge
KR20040003216A (ko) * 2002-07-02 2004-01-13 기아자동차주식회사 차량의 전방필러에 의한 운전사각 모니터장치
JP2004064131A (ja) 2002-07-24 2004-02-26 Honda Motor Co Ltd 車両用表示装置
JP4329525B2 (ja) * 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP2005184225A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
JP4280648B2 (ja) * 2004-01-16 2009-06-17 株式会社ホンダロック 車両の視界補助装置
JP2005284485A (ja) * 2004-03-29 2005-10-13 Honda Motor Co Ltd 車両用死角視認装置
DE102004038822A1 (de) 2004-08-04 2006-03-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Säule, Fahrzeug und Verfahren zur Sichtbarmachung eines vor einer Säule liegenden Bereichs
JP2006044596A (ja) 2004-08-09 2006-02-16 Denso Corp 車両用表示装置
JP2006163756A (ja) * 2004-12-07 2006-06-22 Honda Lock Mfg Co Ltd 車両の視界補助装置
JP4683272B2 (ja) 2005-04-14 2011-05-18 アイシン・エィ・ダブリュ株式会社 車両外部表示方法及び表示装置
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081763A (zh) * 2012-01-17 2014-10-01 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
CN104081763B (zh) * 2012-01-17 2018-09-14 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
CN113147582A (zh) * 2015-04-10 2021-07-23 麦克赛尔株式会社 具有影像投射部的车辆
CN113147582B (zh) * 2015-04-10 2023-12-26 麦克赛尔株式会社 具有影像投射部的车辆
CN108688562A (zh) * 2017-04-10 2018-10-23 现代自动车株式会社 用于车辆的盲区的立柱显示系统
CN114127822A (zh) * 2019-07-12 2022-03-01 日产自动车株式会社 信息处理装置、信息处理方法以及信息处理程序
CN114127822B (zh) * 2019-07-12 2024-05-10 日产自动车株式会社 信息处理装置、信息处理方法以及信息处理程序
CN110647860A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 信息渲染方法、装置、设备和介质
US11194008B2 (en) 2019-10-25 2021-12-07 Toyota Motor Engineering And Manufacturing North America, Inc. Triangulation and calibration of electronic control units

Also Published As

Publication number Publication date
EP1939040A2 (en) 2008-07-02
CN101207802B (zh) 2011-11-02
ATE533667T1 (de) 2011-12-15
US20080151054A1 (en) 2008-06-26
JP2008174212A (ja) 2008-07-31
JP4862774B2 (ja) 2012-01-25
US8094192B2 (en) 2012-01-10
EP1939040A3 (en) 2010-10-06
EP1939040B1 (en) 2011-11-16

Similar Documents

Publication Publication Date Title
CN101207802B (zh) 驾驶支援方法和驾驶支援装置
CN109791738B (zh) 行驶辅助装置以及计算机程序
EP1961613B1 (en) Driving support method and driving support device
US8035575B2 (en) Driving support method and driving support apparatus
US8089512B2 (en) Driving support device, driving support method and computer program
CN101252679B (zh) 驾驶辅助方法及驾驶辅助装置
CN101106703B (zh) 驾驶支援方法以及驾驶支援装置
CN101277432A (zh) 驾驶辅助方法以及驾驶辅助装置
JP2006252389A (ja) 周辺監視装置
JP4747867B2 (ja) 車両用表示装置および車両用映像表示制御方法
CN101166269A (zh) 驾驶支援方法和驾驶支援装置
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2009123182A (ja) 安全確認判定装置および運転教示支援システム
JP5429986B2 (ja) 移動ロボットの遠方環境認識装置及び方法
JP4948338B2 (ja) 車間距離計測装置
JP2004120661A (ja) 移動体周辺監視装置
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
US20230154196A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
JP2023109019A (ja) 交通流計測システムおよび交通流計測方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111102

Termination date: 20201116

CF01 Termination of patent right due to non-payment of annual fee