CN101404122A - 驾驶支援装置、驾驶支援方法以及计算机程序 - Google Patents

驾驶支援装置、驾驶支援方法以及计算机程序 Download PDF

Info

Publication number
CN101404122A
CN101404122A CN200810145966.9A CN200810145966A CN101404122A CN 101404122 A CN101404122 A CN 101404122A CN 200810145966 A CN200810145966 A CN 200810145966A CN 101404122 A CN101404122 A CN 101404122A
Authority
CN
China
Prior art keywords
image
vehicle
mentioned
dead angle
travel conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200810145966.9A
Other languages
English (en)
Other versions
CN101404122B (zh
Inventor
冈部英文
国立智之
高木实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN101404122A publication Critical patent/CN101404122A/zh
Application granted granted Critical
Publication of CN101404122B publication Critical patent/CN101404122B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供一种驾驶支援装置、驾驶支援方法以及计算机程序,即使在拍摄图像的时刻与在显示器等上显示所拍摄的图像的时刻之间产生了延时的情况下,也能够正确地显示实际自身车辆的死角区域。通过摄像机(4)拍摄车辆(2)的周围环境,获取车辆(2)的行驶状况,考虑直到通过投影仪(5)对摄像机(4)所拍摄的拍摄图像进行投影的延时,计算出经过规定时间后因右侧前柱(12)而产生的驾驶员的死角区域,从摄像机(4)的拍摄图像中提取与计算出的死角区域相当的图像,通过投影仪(5)将所提取的图像投影在右侧前柱(12)的内侧面上。

Description

驾驶支援装置、驾驶支援方法以及计算机程序
技术领域
本发明涉及补全车辆死角方向上的视场的驾驶支援装置、驾驶支援方法以及计算机程序。
背景技术
近年来,随着导航系统的普及,装载有图像显示系统的车辆有所增加,其中,该图像显示系统可在车内的显示装置上显示车辆周边的情况。作为车辆周边的情况,例如有其它车的位置、障碍物的状况、中心线以及停车线等道路标线。
在此,车辆中存在所谓死角区域,即驾驶员无法以视觉确认周围情况的区域。例如,作为车辆的死角区域,存在车辆的后方、前柱(A柱)方向以及前方的保险杠下等区域。并且,通常驾驶员很难确认这种死角区域的状况,导致晚发觉车辆已接近人或障碍物。因此,通过设置在车辆上的摄像机等拍摄装置拍摄这些死角区域的周边状况,并且在车辆行驶中或者停车中由设置在车内的显示装置显示上述状况,从而对驾驶员进行辅助。
例如,在JP特开2005-184225号公报中记载有这样的技术:通过设置在门镜(后视镜)处的摄像机拍摄包含有因支撑天棚的柱而产生的死角的景色,基于驾驶员眼球的坐标、柱的坐标、摄像机的坐标以及拍摄方向,对图像进行修正,并通过投影仪将修正后的图像显示在各柱上。
专利文献1:JP特开2005-184225号公报(第8页~第11页、图6)。
然而,在上述的专利文献1所述的技术中,在摄像机拍摄图像的时刻与将所拍摄的图像显示在柱上的时刻之间会发生延时(time lag)。即,摄像机的拍摄处理、对所拍摄的图像的图像处理、在各柱上显示的显示处理至少需要一定的时间,所以无法在拍摄到图像的同时将摄像机所拍摄的图像显示在各柱上。因此,实际显示的图像是与驾驶员的死角区域不同的区域的图像。其结果,实际的死角区域与各柱上显示的图像区域相异,会导致驾驶员判断错误。
发明内容
本发明是为了解决上述现有问题而做出的发明,目的在于,提供一种驾驶支援装置、驾驶支援方法以及计算机程序,从拍摄的拍摄图像中提取与规定时间后的自身车辆的死角区域相当的图像,因此,即使在拍摄图像的时刻与在显示器等上显示所拍摄的图像的时刻之间产生了延时的情况下,也能够正确地显示实际自身车辆的死角区域。
为了达到上述目的,本发明的技术方案1提供一种驾驶支援装置,其特征在于,具有:拍摄单元,其拍摄自身车辆的周边环境,行驶状况获取单元,其获取自身车辆的行驶状况,图像提取单元,其利用上述行驶状况获取单元所获取的自身车辆的行驶状况,在上述拍摄单元所拍摄的拍摄图像内,提取与经过规定时间后的自身车辆的死角区域相当的图像,图像输出单元,其输出上述图像提取单元提取出的图像。
技术方案2所述的驾驶支援装置:在技术方案1所述的驾驶支援装置的基础上,其特征在于,上述图像提取单元具有:位置预测单元,其基于上述行驶状况获取单元所获取的自身车辆的行驶状况,预测经过规定时间后的自身车辆的位置,死角区域计算单元,其计算处于上述位置预测单元预测出的位置的自身车辆的死角区域;该驾驶支援装置利用上述死角区域计算单元的计算结果来提取图像。
技术方案2所述的驾驶支援装置:在技术方案1或2所述的驾驶支援装置的基础上.其特征在于,上述规定时间是指自上述拍摄单元拍摄周边环境起到上述图像输出单元输出拍摄图像为止的时间。
技术方案2所述的驾驶支援装置:在技术方案1~3中任意一项所述的驾驶支援装置的基础上,其特征在于,上述图像提取单元提取与因自身车辆的柱而产生的死角区域相当的图像,上述图像输出单元输出上述图像提取单元提取出的图像,从而在自身车辆的柱的内侧显示该图像。
技术方案5提供一种驾驶支援方法,特征在于,具有:拍摄步骤,拍摄自身车辆的周边环境,行驶状况获取步骤,获取自身车辆的行驶状况,图像提取步骤,利用上述行驶状况获取步骤所获取的自身车辆的行驶状况,在上述拍摄步骤所拍摄的拍摄图像内,提取与经过规定时间后的自身车辆的死角区域相当的图像,图像输出步骤,输出上述图像提取步骤提取出的图像。
技术方案6提供一种驾驶支援计算机程序,特征在于,该计算机程序安装在计算机上,并使计算机执行以下功能:拍摄功能,拍摄自身车辆的周边环境,行驶状况获取功能,获取自身车辆的行驶状况,图像提取功能,利用上述行驶状况获取功能所获取的自身车辆的行驶状况,在上述拍摄功能所拍摄的拍摄图像内,提取与经过规定时间后的自身车辆的死角区域相当的图像,图像输出功能,输出上述图像提取功能提取出的图像。
通过具有上述结构的技术方案1所述的驾驶支援装置,从拍摄的拍摄图像中提取与规定时间后的自身车辆的死角区域相当的图像,因此,即使例如在拍摄图像的时刻与在显示器等上显示所拍摄的图像的时刻之间产生了延时的情况下,也能够正确地显示实际自身车辆的死角区域。由此,实际车辆的周围情况与显示在显示器等上的车辆的周围情况不会出现差异,从而使驾驶员能够做出适当的判断。
另外,通过技术方案2所述的驾驶支援装置,预测规定时间后的自身车辆的位置,计算出该位置的死角区域,从而能够从拍摄图像中适当地提取拍摄出规定时间后车辆的周边状况的图像。
另外,通过技术方案3所述的驾驶支援装置,考虑在拍摄图像的时刻与输出图像的时刻之间产生延时,因此使实际车辆的周围情况与显示在显示器等上的车辆的周围情况不出现差异,能够适当的显示当前时刻车辆的周边情况,该当前时刻是显示图像的时刻。
另外,通过技术方案4所述的驾驶支援装置,特别对于因车辆的柱而产生的死角区域,将与该死角区域相当的图像显示在柱的内侧,因此,不会使驾驶员的视场变窄,而能够优化驾驶环境。另外,驾驶员通过以视觉来确认所投影的图像,能够正确地把握位于死角的对象物的状态。
通过技术方案5所述的驾驶支援方法,从拍摄的拍摄图像中提取与规定时间后的自身车辆的死角区域相当的图像,因此,即使例如在拍摄图像的时刻与在显示器等上显示所拍摄的图像的时刻之间产生了延时的情况下,也能够正确地显示实际自身车辆的死角区域。由此,实际车辆的周围情况与显示在显示器等上的车辆的周围情况不会出现差异,从而使驾驶员能够做出适当的判断。
通过技术方案6所述的计算机程序,从拍摄的拍摄图像中提取与规定时间后的自身车辆的死角区域相当的图像,因此,即使例如在拍摄图像的时刻与在显示器等上显示所拍摄的图像的时刻之间产生了延时的情况下,也能够正确地显示实际自身车辆的死角区域。由此,实际车辆的周围情况与显示在显示器等上的车辆的周围情况不会出现差异,从而使驾驶员能够做出适当的判断。
附图说明
图1是装载了本实施方式的驾驶支援装置的车辆2的外观图。
图2是示意表示本实施方式的驾驶支援装置的控制系统的框图。
图3是表示摄像机的设置状态的图。
图4是表示投影仪的投影结构的示意图。
图5是表示车辆的右侧前柱的图。
图6是本实施方式的图像投影处理程序的流程图。
图7是表示车辆直行时车辆的死角区域变化的图。
图8是表示车辆右转时车辆的死角区域变化的图。
图9是表示车辆左转时车辆的死角区域变化的图。
图10是表示步骤5所提取的图像范围的图。
图11是表示进行了步骤7的图像投影处理之后从自身车辆的驾驶员位置所见的视场风景的图。
具体实施方式
下面,参照附图,对本发明的驾驶支援装置的一个具体实施方式进行详细说明。在此,下面说明的本实施方式的驾驶支援装置1,利用设置在车辆外壁的摄像机来拍摄与车辆的死角区域相当的图像,并且在车内对驾驶员显示该图像,但是在本实施方式中,作为车辆的死角区域,特别将因车辆前柱而产生的死角区域作为对象。另外,作为显示与死角区域相当的图像的方法,在本实施方式中特别利用投影仪向前柱内侧投影,从而显示图像。
首先,利用图1和图2来说明本实施方式的驾驶支援装置1的概略结构。图1是装载了本实施方式的驾驶支援装置1的车辆2的外观图。图2是示意表示本实施方式的驾驶支援装置1的控制系统的框图。
如图1和图2所示,本实施方式的驾驶支援装置1由以下部分构成:对车辆2设置的驾驶支援ECU(行驶状况获取单元、图像提取单元、图像输出单元、位置预测单元、死角区域计算单元)3、摄像机(拍摄单元)4、投影仪5、摄像机参数DB6、图像DB7、头部位置检测传感器8、车速传感器9、方向盘传感器10、陀螺传感器11。
另外,驾驶支援ECU(Electronic Control Unit:电子控制单元)3是电子控制单元,在摄像机4所拍摄的拍摄图像内,特别提取与因右侧前柱12而产生的死角区域相当的图像,并进行图像投影处理(参照图6)等,在该图像投影处理中,通过投影仪5将该提取的图像投影在右侧前柱12的内侧。并且,驾驶支援ECU3可以兼用于控制导航装置的ECU。另外,驾驶支援ECU3的详细结构如后述。
摄像机4例如使用CCD等固体拍摄元件,其安装在车辆2的右侧前柱12的外侧,并将光轴方向L设置成与水平成规定角度向下。另外,如图3所示,摄像机4的光轴方向L朝向车辆2的右前方,将以光轴方向L为中心的规定范围,作为摄像机4能够拍摄到周边环境的拍摄区域15。并且,摄像机4在行驶时和停车时拍摄车辆2的右前方,暂时将该拍摄的拍摄图像(参照图10)存储在图像DB7中。然后,如后述,从拍摄图像中提取与因右侧前柱12而产生的死角区域相当的范围图像,并通过投影仪5将该提取的图像投影在右侧前柱12的内侧(参照图11)。并且,在本实施方式中,光轴方向L设定为与驾驶员16以视觉确认右侧前柱12的方向(即,驾驶员16朝向因右侧前柱12而产生的死角区域的方向)相同。
另外,投影仪5是由液晶面板和投影用的光源构成的所谓液晶投影仪。在本实施方式的驾驶支援装置1中对右侧前柱12投影图像,并且所投影的图像是拍摄因右侧前柱12而产生的死角区域而得的图像。在此,图4是表示投影仪5的投影结构的示意图,图5是表示车辆的右侧前柱12内侧的图。
如图1和图4所示,投影仪5设置在顶棚(roof)21内侧,并且处于驾驶员16所坐的前座22的铅直方向上方附近。另外,如图5所示,在右侧前柱12的内侧面,粘有按照柱的形状剪裁的屏幕24。并且,对应该屏幕24来调整投影仪5的焦点,将投影仪5的投影范围设定为与屏幕的被投影面一致。并且,如后述,通过投影仪5投影图像,对于形成车辆2的死角区域的右侧前柱12,显示透过右侧前柱12的图像(参照图11)。另外,作为投影仪5,可以取代液晶投影仪而使用DLP投影仪或LCOS投影仪。另外,在右侧前柱12的内侧面由能够接收投影仪5输出的投影光并可显示鲜明图像的材质以及形状构成时,则屏幕24可以省略。
另外,摄像机参数DB6是存储摄像机4相关的各种参数的存储单元。例如在本实施方式中,作为摄像机参数DB6所存储的信息,包括摄像机4相对于车辆2的设置位置、设置角度、拍摄范围、摄像机拍摄平面(参照图7)等。并且,驾驶支援ECU3利用存储在摄像机参数DB6中的各种参数,从摄像机4所拍摄的拍摄图像中提取与因右侧前柱12而产生的死角区域相当的图像。
另一方面,图像DB7是存储由摄像机4拍摄的拍摄图像的存储单元。并且,驾驶支援ECU3对存储在图像DB7中的拍摄图像实施规定的图像处理,从而做成用于投影仪5投影的投影数据。
另外,头部位置检测传感器8由多个超声波传感器构成,它们安装在车辆2内,并且位于坐在前座22上的驾驶员16的周围,并且安装在与驾驶员16的头部大致同高或略高于头部的位置。并且,在头部位置检测传感器8所发出的超声波被驾驶员16的头部反射时,驾驶支援ECU3对自发出超声波起到接收到反射波为止的时间进行计测,从而检测出头部的位置。并且在本实施方式中,驾驶支援ECU3基于头部位置检测传感器8的检测结果来计算车辆的死角区域。
另外,车速传感器9是用于检测车辆的移动距离和车速的传感器,对应车辆2的车轮旋转而产生脉冲,并向驾驶支援ECU3输出脉冲信号。并且,驾驶支援ECU3对所产生的脉冲信号进行计数,从而计算出车轮的旋转速度和移动距离。
另外,方向盘传感器10安装在方向盘装置的内部,是能够检测出方向盘的旋转角度的传感器。
陀螺传感器11是能够检测出车辆2的转弯角的传感器。另外,通过对陀螺传感器11所检测出的转弯角进行积分,从而能够计算出自身车辆的方位。
接着,利用图2对驾驶支援ECU3进行详细说明,驾驶支援ECU3以CPU31为核心而构成,CPU31连接有作为存储单元的ROM32以及RAM33。并且,ROM32存储有后述的图像投影处理程序(参照图6),除此之外还存储有用于控制摄像机4和投影仪5等所需的各种程序。另外,RAM33是暂时存储CPU31所计算的各种数据的存储器。
接着,基于图6,对具有上述结构的本实施方式的驾驶支援装置1的驾驶支援ECU3所执行的图像投影处理进行说明。图6是本实施方式的图像投影处理程序的流程图。在此,在车辆2的点火装置被接通(ON)后,或者用户通过操作面板(未图示)进行了规定的操作后,以规定间隔(例如每200ms)重复执行图像投影处理程序,该图像投影处理程序进行如下处理:从车辆2行驶时或停车时由摄像机4拍摄的拍摄图像内,特别提取与因右侧前柱12而产生的死角区域相当的图像,并通过投影仪5将该提取的图像投影在右侧前柱12的内侧。并且,以下图6的流程图所示的程序存储在驾驶支援ECU3所具备的ROM32或RAM33中,通过CPU31来执行。
在图像投影处理程序中,首先在步骤(以下略称为S)1中,CPU31通过摄像机4拍摄车辆行进方向右前方的周边环境,获取拍摄图像。并且,暂时将所获取的拍摄图像存储在图像DB7中。
接着,在S2中,CPU31基于方向盘传感器10的检测结果而获取自身车辆的操舵角。进一步,在S3中,CPU31基于车速传感器9的检测结果而获取自身车辆的车速。并且,上述S2和S3相当于行驶状况获取单元的处理。
接着,在S4中,CPU31利用在上述S2和S3中获取的自身车辆的行驶状况,来预测经过规定时间后的自身车辆的位置,进一步,计算处于预测出的位置的自身车辆的死角区域。并且,规定时间是指自摄像机4拍摄周边环境起到投影仪5输出拍摄图像(即,在屏幕24上显示拍摄图像)为止的时间,其值根据摄像机4或CPU31的性能决定。例如在本实施方式中取100ms。
下面,利用图7~图9,详细说明在上述S4中执行的经过规定时间后(即,显示拍摄图像的时刻)的自身车辆的死角区域的计算处理。并且,图7表示车辆2直行时的情况,图8表示车辆2右转时的情况,图9表示车辆2左转时的情况。
首先,在S4中,CPU31利用头部位置检测传感器8检测出驾驶员16的头部位置。接着,根据在上述S2和S3中获取的自身车辆的行驶状况来预测经过规定时间后的自身车辆的位置。进一步,基于预测出的自身车辆的位置,对经过规定时间后的驾驶员16的头部位置进行预测。
然后,CPU31基于经过规定时间后的驾驶员16的头部位置的预测结果、右侧前柱12相对于驾驶员16头部位置的位置和形状,来计算经过规定时间后因驾驶员16的右侧前柱12而产生的死角区域。并且,如图7~图9所示,从车辆的当前位置(即,拍摄出拍摄图像的地点)到经过规定时间后的位置(即,显示拍摄图像的地点)之间,因驾驶员16的右侧前柱12而产生的死角区域会因车辆的行驶轨迹而成为各不相同的区域。
然后,在S5中,CPU31从在上述S1中拍摄的拍摄图像中确定与在上述S4中计算出的死角区域相当的图像的范围,并提取所确定的范围的图像。在此,图10是表示摄像机4所拍摄的拍摄图像50的图。
下面,利用图7~图10来详细说明在上述S5中执行的图像提取处理。
首先,在S5中,如图7~图9所示,CPU31基于在上述S4中计算出的经过规定时间后因驾驶员16的右侧前柱12而产生的死角区域,设定经过规定时间后的假想平面X。在此,假想平面X是用于修正摄像机4的视场与驾驶员16的视场之间的偏差的平面,该平面以驾驶员16的视点为原点,并按照驾驶员的视角设定。另外,使该假想平面X与连接驾驶员16的预测头部位置与右侧前柱12的中心的线H垂直,并且将该假想平面X设定在与车辆2相距规定距离(例如10m)的位置上。
然后,CPU31获取摄像机拍摄平面Y。并且,预先根据摄像机4的设计值(解像度或相对于车体的设置角度等)等来决定摄像机拍摄平面Y,并将其存储在摄像机参数DB6中。另外,摄像机4按照摄像机拍摄平面Y进行调焦,从而进行拍摄。
接着,CPU31计算出重合区域P1~P2,该重合区域P1~P2是指在上述S4中计算出的经过规定时间后的驾驶员16的死角区域与假想平面X的重合区域。进而,计算视场区域,该视场区域是指使计算出的重合区域P1~P2与摄像机4的视场一致的视场区域(即,从摄像机所见的经过规定时间后的驾驶员的死角区域),从而,将计算出的视场区域与摄像机拍摄平面Y相重合的区域Q1~Q2确定为与规定时间后(显示拍摄图像的时刻)因车辆2的死角而产生的死角区域相当的图像范围51。
然后,从拍摄图像中提取图10所示那样确定的图像范围51的图像。
并且,在图10中,还表示与当前(即,摄像机拍摄时刻)位置的车辆2的死角区域相当的图像范围52。如图10所示,所提取的图像范围是与当前位置的车辆2的死角区域不同的区域,从而能够正确地提取图像输出时刻实际自身车辆的死角区域。另外,上述S4和S5相当于图像提取单元的处理。
接着,在步骤S6中,CPU31将在上述S5中提取的图像投影变换在假想平面上,生成投影数据。
下面,利用图7~图9,详细说明上述S6中执行的图像变换处理。
首先,在S6中,CPU31将在上述S5中提取的图像投影变换在假想平面X上。在该投影变换的处理中,对于摄像机拍摄平面Y内处于图像范围51内的图像的各像素,对应假想平面X的各像素而进行坐标变换,这里可以采用公知的坐标变换。
进而,按照ROM32中存储的右侧前柱12的形状,对投影变换在假想平面X上的图像进行变换,进一步为了通过投影仪5投影变换后的该图像,而按照投影仪5的位置进行坐标变换。在此,随着投影仪5输出的光入射到柱内侧面的角度发生变化,显示在右侧前柱12的内侧面上的图像会发生变形、放大或缩小。因此,例如预先在存储器等中存储映像(map)等,该映像是指投影变换后的上述图像各像素的坐标与对投影仪5输出的图像各像素的坐标相对应关联的映像,并且,基于该映像,进一步对投影变换后的图像进行坐标变换,从而做成输出至投影仪5的输出图像。然后,将坐标变换后的图像做成用于对投影仪5输出的投影数据。
然后,在步骤S7中,CPU31通过投影仪5输出所生成的投影数据,从而在设置于右侧前柱12的内侧面上的屏幕24上,投影被该柱遮住的区域的图像。此时,显示在屏幕24上的投影图像被投影变换在假想平面X上,因此如图11所示,该投影图像与透过前窗和门窗看到的背景之间无偏差无倾斜地显示。
因此,在右侧前柱12遮挡的位置存在人或驶入车辆等对象物的情况下,车辆2的驾驶员16也能够容易地把握其存在情况。另外,由于以更接近现实的形状来形成透过形成死角的右侧前柱12的图像,因此能够正确地把握位于死角的对象物的状态。并且,上述S7相当于图像输出单元的处理。
如上述详细说明,在本实施方式的驾驶支援装置1、驾驶支援装置1的驾驶支援方法以及驾驶支援装置1所执行的计算机程序中,通过摄像机4拍摄车辆2的周围环境(S1),获取车辆2的行驶状况(S2、S3),考虑直到通过投影仪5对摄像机4所拍摄的拍摄图像进行投影的延时,计算出经过规定时间后因右侧前柱12而产生的驾驶员的死角区域(S4),从摄像机4的拍摄图像中提取与计算出的死角区域相当的图像(S5),通过投影仪5将所提取的图像投影在右侧前柱12的内侧面上(S7),因此,即使在拍摄图像的时刻与显示图像的时刻之间产生了延时的情况下,也能够正确地显示实际自身车辆的死角区域。由此,实际车辆2的周围情况与显示在右侧前柱12的内侧面上的车辆的周围情况不会出现差异,从而使驾驶员能够做出适当的判断。
另外,由于预测规定时间后的车辆2的位置,并根据该位置来计算死角区域,因此能够从拍摄图像中提取拍摄出规定时间后的车辆2的周边状况的图像。
进一步,针对因车辆2的右侧前柱12而产生的死角区域,在右侧前柱12内侧显示与该死角区域相当的图像,因此,不会使驾驶员的视场变窄,而能够优化驾驶环境。另外,通过向假想平面X进行投影变换,能够以更接近现实的形状来形成透过形成死角的右侧前柱12的图像。因此,驾驶员通过以视觉来确认所投影的图像,能够正确地把握位于死角的对象物的状态。
另外,本发明并不被上述的实施方式所限定,在不脱离本发明构想的范围内可以有各种改良和变形。
例如,在本实施方式中,通过投影仪5对右侧前柱12投影与因右侧前柱12而产生的死角区域相当的图像,从而补全自身车辆的死角的视场,但也可以将与死角区域相当的图像显示在车内的柱内侧面的显示器上,从而补全自身车辆的死角的视场。
另外,可以只在车辆2接近交叉路口或弯道并与交叉路口或弯道处于规定距离内的情况下执行图像投影处理(图6)。此时,优选导航装置进行地图匹配处理,从而判断出车辆2已接近交叉路口或弯道并与交叉路口或弯道处于规定距离内。进一步,除了交叉路口和弯道以外,也可以在停车场的出入口或高速公路的合流带等很需要把握周围环境的情况下执行。
进而,在本实施方式中,在右侧前柱12的内侧面显示因处于驾驶员一侧的右侧前柱12而产生的死角区域,但也可以显示因处于副驾驶员座位一侧的左侧前柱而产生的死角区域。此时,将摄像机设置在左侧前柱上,在左侧前柱的内侧面显示从拍摄的图像范围内提取的图像。

Claims (6)

1.一种驾驶支援装置,其特征在于,具有:
拍摄单元,其拍摄自身车辆的周边环境;
行驶状况获取单元,其获取自身车辆的行驶状况;
图像提取单元,其利用上述行驶状况获取单元所获取的自身车辆的行驶状况,在上述拍摄单元所拍摄的拍摄图像内,提取与经过了规定时间后的自身车辆的死角区域相当的图像;
图像输出单元,其输出上述图像提取单元提取出的图像。
2.如权利要求1所述的驾驶支援装置,其特征在于,
上述图像提取单元具有:
位置预测单元,其基于上述行驶状况获取单元所获取的自身车辆的行驶状况,预测经过了规定时间后的自身车辆的位置,
死角区域计算单元,其计算处于上述位置预测单元预测出的位置的自身车辆的死角区域;
该驾驶支援装置利用上述死角区域计算单元的计算结果来提取图像。
3.如权利要求1或2所述的驾驶支援装置,其特征在于,上述规定时间是指自上述拍摄单元拍摄周边环境起到上述图像输出单元输出拍摄图像为止的时间。
4.如权利要求1~3中任意一项所述的驾驶支援装置,其特征在于,
上述图像提取单元提取与因自身车辆的柱而产生的死角区域相当的图像,
上述图像输出单元输出上述图像提取单元提取出的图像,从而在自身车辆的柱的内侧显示该图像。
5.一种驾驶支援方法,特征在于,包括:
拍摄步骤,拍摄自身车辆的周边环境;
行驶状况获取步骤,获取自身车辆的行驶状况;
图像提取步骤,利用上述行驶状况获取步骤所获取的自身车辆的行驶状况,在上述拍摄步骤所拍摄的拍摄图像内,提取与经过了规定时间后的自身车辆的死角区域相当的图像;
图像输出步骤,输出上述图像提取步骤提取出的图像。
6.一种计算机程序,其特征在于,安装在计算机上,并使计算机执行以下功能:
拍摄功能,拍摄自身车辆的周边环境;
行驶状况获取功能,获取自身车辆的行驶状况;
图像提取功能,利用由上述行驶状况获取功能所获取的自身车辆的行驶状况,在由上述拍摄功能所拍摄的拍摄图像内,提取与经过了规定时间后的自身车辆的死角区域相当的图像;
图像输出功能,输出由上述图像提取功能提取出的图像。
CN200810145966.9A 2007-10-02 2008-08-14 驾驶支援装置以及驾驶支援方法 Expired - Fee Related CN101404122B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-258641 2007-10-02
JP2007258641A JP4412380B2 (ja) 2007-10-02 2007-10-02 運転支援装置、運転支援方法及びコンピュータプログラム
JP2007258641 2007-10-02

Publications (2)

Publication Number Publication Date
CN101404122A true CN101404122A (zh) 2009-04-08
CN101404122B CN101404122B (zh) 2013-01-02

Family

ID=40091861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810145966.9A Expired - Fee Related CN101404122B (zh) 2007-10-02 2008-08-14 驾驶支援装置以及驾驶支援方法

Country Status (4)

Country Link
US (1) US8089512B2 (zh)
EP (1) EP2045132B1 (zh)
JP (1) JP4412380B2 (zh)
CN (1) CN101404122B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102845059A (zh) * 2010-04-15 2012-12-26 法雷奥开关和传感器有限责任公司 用于在车辆中的显示装置上显示图像的方法、驾驶员辅助系统和车辆
CN103818320A (zh) * 2014-03-14 2014-05-28 盛凯 驾驶舱用智能控制系统及控制方法
CN105580358A (zh) * 2013-09-27 2016-05-11 日产自动车株式会社 信息提示系统
CN107264405A (zh) * 2017-06-26 2017-10-20 上汽依维柯红岩商用车有限公司 用于消除盲区的车载系统及其控制方法
CN107615757A (zh) * 2015-05-29 2018-01-19 日产自动车株式会社 信息呈现系统
CN108463845A (zh) * 2016-12-08 2018-08-28 奥迪股份公司 用于提供与机动车环境相关的结果数据的方法
CN110226326A (zh) * 2017-04-03 2019-09-10 康蒂-特米克微电子有限公司 用于检测车辆的周围环境区域的摄像设备及方法
CN110901534A (zh) * 2019-11-14 2020-03-24 浙江合众新能源汽车有限公司 一种a柱透视实现方法及系统
CN111391755A (zh) * 2020-03-10 2020-07-10 京东方科技集团股份有限公司 盲区图像的显示方法、装置及系统
CN114268787A (zh) * 2021-12-20 2022-04-01 东软集团股份有限公司 基于ar-hud的延时补偿方法、装置、设备及存储介质

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
DE102010034853A1 (de) * 2010-08-18 2012-02-23 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Kraftfahrzeug mit Digitalprojektoren
US8733938B2 (en) 2012-03-07 2014-05-27 GM Global Technology Operations LLC Virtual convertible tops, sunroofs, and back windows, and systems and methods for providing same
WO2015013311A1 (en) * 2013-07-22 2015-01-29 Johnson Controls Technology Company Vehicle imaging system
JP2015027852A (ja) * 2013-07-30 2015-02-12 トヨタ自動車株式会社 運転支援装置
JP6176039B2 (ja) * 2013-10-02 2017-08-09 トヨタ自動車株式会社 運転支援装置
JP6032219B2 (ja) * 2014-01-24 2016-11-24 トヨタ自動車株式会社 運転支援装置
JP2015154337A (ja) * 2014-02-17 2015-08-24 株式会社デンソー 対象範囲設定装置、および対象範囲設定プログラム
JP5920380B2 (ja) * 2014-02-26 2016-05-18 トヨタ自動車株式会社 画像投影装置及び運転支援装置
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
GB2525653A (en) * 2014-05-01 2015-11-04 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
WO2016018320A1 (en) * 2014-07-30 2016-02-04 Johnson Controls Technology Company System for projecting an image within a vehicle interior
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
EP3334621A4 (en) * 2015-08-10 2019-03-13 Bayerische Motoren Werke Aktiengesellschaft SYSTEM, METHOD AND DEVICE FOR VEHICLE AND COMPUTER READABLE MEDIUM
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
US9902322B2 (en) 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
WO2017077652A1 (ja) * 2015-11-06 2017-05-11 株式会社島津製作所 移動型x線装置
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
JP6428665B2 (ja) * 2016-02-10 2018-11-28 三菱電機株式会社 空中映像表示装置
JP6728868B2 (ja) * 2016-03-28 2020-07-22 大日本印刷株式会社 表示装置、表示方法及び表示装置用プログラム
DE102016214046A1 (de) * 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems mit einer Datenbrille sowie ein Anzeigesystem mit einer Datenbrille
DE102016214316A1 (de) * 2016-08-03 2018-02-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines durch ein Fahrzeugteil zumindest teilverdeckten Objekts in einer Fahrzeugumgebung eines Kraftfahrzeugs
WO2018129310A1 (en) * 2017-01-08 2018-07-12 Shanghai Yanfeng Jinqiao Automotive Trim Systems Co. Ltd System and method for image display on vehicle interior component
KR102347689B1 (ko) * 2017-04-10 2022-01-05 현대자동차주식회사 차량의 사각존용 필러 디스플레이 장치
US10033978B1 (en) * 2017-05-08 2018-07-24 International Business Machines Corporation Projecting obstructed content over touch screen obstructions
JP2019014450A (ja) * 2017-07-10 2019-01-31 トヨタ自動車株式会社 車両用表示装置
JP2019073091A (ja) * 2017-10-13 2019-05-16 トヨタ自動車株式会社 車両用表示装置
KR102022980B1 (ko) 2017-12-01 2019-09-19 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
US20200384929A1 (en) * 2018-02-27 2020-12-10 Mitsubishi Electric Corporation On-vehicle display control system and display control method
US11353699B2 (en) 2018-03-09 2022-06-07 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
CA3021636A1 (en) 2018-10-22 2020-04-22 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11693239B2 (en) 2018-03-09 2023-07-04 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
US11244080B2 (en) 2018-10-09 2022-02-08 International Business Machines Corporation Project content from flexible display touch device to eliminate obstruction created by finger
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US10636116B1 (en) 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US10936064B2 (en) 2018-10-22 2021-03-02 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US10761604B2 (en) 2018-10-22 2020-09-01 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US10860099B2 (en) 2018-10-22 2020-12-08 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11635617B2 (en) 2019-04-23 2023-04-25 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质
CN112172798B (zh) * 2020-09-28 2022-02-01 惠州华阳通用电子有限公司 一种基于积水环境的泊车方法及存储介质
CN112356826B (zh) * 2020-10-28 2022-02-01 惠州华阳通用电子有限公司 一种辅助泊车方法及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
EP1167120B1 (en) * 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
US6809704B2 (en) * 2002-02-08 2004-10-26 Charles J. Kulas Reduction of blind spots by using display screens
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
JP2005184225A (ja) 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
JP4280648B2 (ja) * 2004-01-16 2009-06-17 株式会社ホンダロック 車両の視界補助装置
WO2006027563A1 (en) * 2004-09-06 2006-03-16 Mch Technology Limited View enhancing system for a vehicle
JP4583883B2 (ja) 2004-11-08 2010-11-17 パナソニック株式会社 車両用周囲状況表示装置
JP4683272B2 (ja) * 2005-04-14 2011-05-18 アイシン・エィ・ダブリュ株式会社 車両外部表示方法及び表示装置
JP2006303583A (ja) 2005-04-15 2006-11-02 Aisin Aw Co Ltd 車体外部表示装置及び車両外部表示装置の初期化方法
JP2006311272A (ja) * 2005-04-28 2006-11-09 Denso Corp 車両用映像表示装置
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
US9126533B2 (en) * 2007-02-23 2015-09-08 Aisin Aw Co., Ltd. Driving support method and driving support device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102845059A (zh) * 2010-04-15 2012-12-26 法雷奥开关和传感器有限责任公司 用于在车辆中的显示装置上显示图像的方法、驾驶员辅助系统和车辆
CN102845059B (zh) * 2010-04-15 2015-08-19 法雷奥开关和传感器有限责任公司 用于在车辆中的显示装置上显示图像的方法、驾驶员辅助系统和车辆
CN105580358A (zh) * 2013-09-27 2016-05-11 日产自动车株式会社 信息提示系统
CN105580358B (zh) * 2013-09-27 2017-07-07 日产自动车株式会社 信息提示系统
CN103818320A (zh) * 2014-03-14 2014-05-28 盛凯 驾驶舱用智能控制系统及控制方法
CN103818320B (zh) * 2014-03-14 2016-03-02 盛凯 驾驶舱用智能控制系统及控制方法
CN107615757B (zh) * 2015-05-29 2018-10-09 日产自动车株式会社 信息呈现系统
CN107615757A (zh) * 2015-05-29 2018-01-19 日产自动车株式会社 信息呈现系统
CN108463845A (zh) * 2016-12-08 2018-08-28 奥迪股份公司 用于提供与机动车环境相关的结果数据的方法
CN110226326A (zh) * 2017-04-03 2019-09-10 康蒂-特米克微电子有限公司 用于检测车辆的周围环境区域的摄像设备及方法
CN110226326B (zh) * 2017-04-03 2022-01-11 康蒂-特米克微电子有限公司 用于检测车辆的周围环境区域的摄像设备及方法
CN107264405A (zh) * 2017-06-26 2017-10-20 上汽依维柯红岩商用车有限公司 用于消除盲区的车载系统及其控制方法
CN110901534A (zh) * 2019-11-14 2020-03-24 浙江合众新能源汽车有限公司 一种a柱透视实现方法及系统
CN111391755A (zh) * 2020-03-10 2020-07-10 京东方科技集团股份有限公司 盲区图像的显示方法、装置及系统
CN114268787A (zh) * 2021-12-20 2022-04-01 东软集团股份有限公司 基于ar-hud的延时补偿方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20090086019A1 (en) 2009-04-02
EP2045132B1 (en) 2012-06-20
CN101404122B (zh) 2013-01-02
JP2009083764A (ja) 2009-04-23
US8089512B2 (en) 2012-01-03
JP4412380B2 (ja) 2010-02-10
EP2045132A2 (en) 2009-04-08
EP2045132A3 (en) 2010-06-02

Similar Documents

Publication Publication Date Title
CN101404122B (zh) 驾驶支援装置以及驾驶支援方法
TWI600559B (zh) 用於影像處理之系統及方法
JP4573242B2 (ja) 運転支援装置
JP4583883B2 (ja) 車両用周囲状況表示装置
CN105472317B (zh) 周边监视装置及周边监视系统
US20070239357A1 (en) Driving support method and driving support device
WO2005079060A1 (ja) 運転支援装置
JP2009017462A (ja) 運転支援システム及び車両
JP5471141B2 (ja) 駐車支援装置及び駐車支援方法
JP2009101718A (ja) 映像表示装置及び映像表示方法
JP6032034B2 (ja) 物体検知装置
JP4910787B2 (ja) 駐車支援装置および方法、駐車位置設定装置および方法、記録媒体、並びに、プログラム
JP2010028803A (ja) 駐車補助のための画像表示方法
JP2002354467A (ja) 車両周囲情報表示装置
JP2018142885A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP5273068B2 (ja) 車両周辺監視装置
JP5811623B2 (ja) 車両用監視装置
JP5226621B2 (ja) 車両用画像表示装置
JP5271186B2 (ja) 車両用画像表示装置
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP4857159B2 (ja) 車両運転支援装置
KR101295618B1 (ko) 사각 지대 표시 장치 및 방법
JP2004356846A (ja) 移動体周辺監視装置
JP5083137B2 (ja) 運転支援装置
JP2021111854A (ja) 車両用電子ミラーシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

Termination date: 20170814

CF01 Termination of patent right due to non-payment of annual fee