CN102596643B - 车辆夜间视野支持系统及其控制方法 - Google Patents

车辆夜间视野支持系统及其控制方法 Download PDF

Info

Publication number
CN102596643B
CN102596643B CN201080047902.0A CN201080047902A CN102596643B CN 102596643 B CN102596643 B CN 102596643B CN 201080047902 A CN201080047902 A CN 201080047902A CN 102596643 B CN102596643 B CN 102596643B
Authority
CN
China
Prior art keywords
display
vehicle
image
control unit
night vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080047902.0A
Other languages
English (en)
Other versions
CN102596643A (zh
Inventor
丰福邦彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN102596643A publication Critical patent/CN102596643A/zh
Application granted granted Critical
Publication of CN102596643B publication Critical patent/CN102596643B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种车辆夜间视野支持系统包括：红外相机(10)，其拍摄车辆前方的图像；主显示器(20)，其显示由红外相机拍摄的图像；副显示器(30)；以及控制单元(40)，当控制单元判定为在主显示器(20)上显示的图像中存在物体时，控制单元控制副显示器(30)以显示警告信息，并且，当控制单元推定为或检测到已经从所述显示图像消失的物体存在于驾驶员的视场内时，控制单元控制副显示器(30)以显示警告信息。

Description

车辆夜间视野支持系统及其控制方法
技术领域
本发明涉及车辆夜间视野支持系统及其控制方法，该车辆夜间视野支持系统在车载显示器上显示由安装在车辆上的红外相机在夜间拍摄的图像等，使得所拍摄的图像可以在车厢内被视觉地辨认。 
背景技术
已知一种现有的系统，其中例如即使在夜间也能够辨认行人的红外相机拍摄图像并接着在车厢中显示所拍摄的图像。 
与此相关，日本专利申请公开第2005-081860号(JP-A-2005-081860)描述了一种车辆显示系统。该车辆显示系统包括检测车辆前方的行驶环境的行驶环境检测装置，并根据检测到的行驶环境来将由图像拍摄装置(例如红外相机)拍摄的区域改变为广角。该车辆显示系统对作为车辆前方的行驶环境的、例如前方车辆的存在进行检测，并在存在前方车辆时将拍摄区域改变为广角。 
此外，日本专利申请公开第2005-088630号(JP-A-2005-088630)描述了一种车辆夜视系统。该车辆夜视系统基于由转向角传感器检测到的转向角信号来使图像拍摄装置(例如红外相机)在车辆横向上水平地转动。注意，图像拍摄装置与头灯同步地在车辆横向上水平地转动。 
顺便提及，由红外相机拍摄的图像被显示在安装于仪表板的中央部分处的显示装置(其也用于例如导航显示)等上，或者，被显示在抬头显示器(HUD)上。HUD是例如如下所述的显示装置：该显示装置将来自安装于仪表板的上部处的发光装置发射的光反射，以允许驾驶员从前挡风玻璃视觉辨认所发射的光。 
因而，已经存在将如下系统商用化的进程，该系统使用这样的多个显示装置基于由红外相机拍摄的图像来支持驾驶员的视觉。在此系统中，由 红外相机拍摄的图像例如被显示在安装于仪表板的中央部分处的主显示器等上，并且当显示图像包含警告对象物体(例如行人)时，诸如表示物体形状的图标之类的较高信息被显示在副显示器(例如HUD)上。 
但是，根据现有的系统，由于红外相机的视角与驾驶员的市场之间的差别，导致驾驶员体验到奇怪的感觉。 
考虑到分辨率、以及用于拍摄远离头灯的照明极限的位置处的图像的要求等，拍摄图像的红外相机的视角通常窄于驾驶员的视场。这是因为当图像拍摄范围被设定为广角时，远距离图像拍摄的精度降低。 
因此，在车辆前方的物体接近车辆并接着被车辆超过而到车辆后方的过程中，存在虽然物体尚未被红外相机拍摄到(或者虽然被红外相机拍摄到但是物体位于显示范围以外)然而驾驶员已经视觉辨认到物体的时段。在以上时段期间，驾驶员对以下情况体验到奇怪的感觉：虽然驾驶员视觉辨认到行人然而副显示器的警告信息消失了。 
此外，物体可以由驾驶员视觉辨认的情况仍然需要唤起在行驶时对物体的注意力。因此，当副显示器的警告信息消失时，这会导致支持不足。 
发明内容
本发明提供了车辆夜间视野支持系统及其控制方法，能够有助于更安全的行驶，而不会使驾驶员体验奇怪的感觉。 
本发明的第一方面提供了一种车辆夜间视野支持系统。该车辆夜间视野支持系统包括：红外相机，其拍摄车辆前方的图像；主显示器，其显示由所述红外相机拍摄的所述图像；副显示器；以及控制单元，所述控制单元判定在所述主显示器上的显示图像中是否存在物体，当所述控制单元判定为所述显示图像中存在所述物体时，所述控制单元控制所述副显示器以显示关于所述物体的警告信息，并且，所述控制单元推定或检测已经从所述显示图像消失的物体是否存在于驾驶员的视场内，当所述控制单元推定为或检测到已经从所述显示图像消失的所述物体存在于所述驾驶员的视场内时，所述控制单元控制所述副显示器以显示所述警告信息。 
本发明的第二方面提供了一种用于车辆夜间视野支持系统的控制方 法，所述车辆夜间视野支持系统包括：红外相机，其拍摄车辆前方的图像；主显示器，其显示由所述红外相机拍摄的所述图像；以及副显示器。所述控制方法包括以下步骤：判定在所述主显示器上的显示图像中是否存在物体；当判定为所述显示图像中存在所述物体时，控制所述副显示器以显示关于所述物体的警告信息；推定或检测已经从所述显示图像消失的物体是否存在于驾驶员的视场内；并且当推定为或检测到已经从所述显示图像消失的所述物体存在于所述驾驶员的视场内时，控制所述副显示器以显示所述警告信息。 
利用本发明的第一方面和第二方面，不仅在主显示器上显示的图像中存在例如行人的物体时，而且还在推定为或检测到已经从主显示器上显示的图像消失的物体存在于驾驶员的视场内时，均控制副显示器以显示警告信息。因此，可以有助于更安全的行驶，而不会使驾驶员体验奇怪的感觉。 
在本发明的各方面中，所述副显示器可以是抬头显示器。 
在本发明的各方面中，所述车辆夜间视野支持系统可以还包括：车速检测器，其检测车速；以及转向角检测器，其检测转向角，其中所述控制单元可以基于所述物体在所述显示图像中的位置来计算所述物体相对于所述车辆的相对位置，并且所述控制单元可以基于所述相对位置，并基于根据由所述车速检测器检测到的所述车速和由所述转向角检测器检测到的所述转向角计算得到的所述车辆的行驶状态，来推定已经从所述显示图像消失的所述物体是否存在于所述驾驶员的视场内。 
在本发明的各方面中，所述主显示器可以显示由所述红外相机所拍摄的所述图像相对于所拍摄的所述图像的水平方向的中心部分。 
附图说明
参考附图、根据示例实施例的下面的描述，本发明的前述以及其他的目的、特征和优势将变得清楚，其中相似的标记用来表示相似的元件并且其中： 
图1是根据本发明的第一和第二实施例的车辆夜间视野支持系统1和 2每个的系统结构的示例； 
图2是红外相机12的结构的示例； 
图3是示出车辆前方的红外图像和强调图像被显示在主显示器20上并且警告信息被显示在副显示器30上的状态的视图； 
图4是示出强调图像从主显示器20消失但是警告信息仍然被显示在副显示器30上的状态的视图； 
图5是示出红外相机12的图像拍摄范围与驾驶员的视场之间的关系的视图； 
图6是示出在判定为行人已经到达驾驶员的视场外部并因而关闭警告信息的状态的视图； 
图7是示出根据第一实施例由夜间视野支持ECU 40执行的特征处理的流程的流程图；并且 
图8是示出根据第二实施例由夜间视野支持ECU 40执行的特征处理的流程的流程图。 
具体实施方式
在下文中，将参考附图描述本发明的实施例。 
此后，将参照附图描述根据本发明的第一实施例的车辆夜间视野支持系统1。图1是根据本发明的第一实施例的车辆夜间视野支持系统1的系统结构的示例。车辆夜间视野支持系统1包括作为主要部件的红外相机装置10、主显示器20、副显示器30和夜间视野支持电子控制单元(ECU)40。 
红外相机装置10包括红外辐射装置和红外相机12。红外辐射装置例如安装到前隔栅，并想车辆前方辐射近红外线。红外相机12例如安装到前挡风玻璃的上中央部分的内侧，并拍摄车辆斜前方的图像。 
注意，红外相机装置10不限于辐射红外线由此拍摄反射光的装置，其可以是拍摄由于体温而从行人辐射的红外线的装置。此外，因为头等的辐射光和雾灯的辐射光包含红外线，所以红外相机装置10可以被构造为主要拍摄从行人反射的光。 
图2是红外相机12的结构的示例。红外相机12例如包括可视光切断滤光器13和电荷耦合器件(CCD)相机14。CCD相机14包括例如图像拍摄透镜15、图像传感器16和电子控制单元17。注意，红外相机12可以包括互补金属氧化物半导体(CMOS)相机等，代替CCD相机。可视光切断滤光器13例如粘在前挡风玻璃上。 
图像传感器16例如是隔行图像传感器。图像传感器16具有光电二极管、CCD和转移栅。光电二极管是执行光电转换的感光器并被布置为二维平面形状。CCD被布置为与光电二极管对应的二维平面形状。转移栅设置在光电二极管与CCD之间，并用作模拟开关。聚光微透镜被安装在每个光电二极管的前方(光拍摄透镜15侧)。注意，以上结构仅是示意性地说明以简单地描述图像传感器16的功能，并且可以允许用于功能改善等的任意设计变化。此外，图像传感器16不限于隔行图像传感器；其也可以是其CCD本身用作感光器的全帧转移或帧转移图像传感器。 
电子控制单元17是例如微计算机、电子电路等。电子控制单元17控制图像传感器16的各转移栅的开关时机，以调节红外相机12的快门速度或图像拍摄时段(例如，约每一秒数十次)。然后，电子控制单元17例如以预定增益来将从图像传感器16的输出电路输出的数据放大，并接着将放大数据作为图像数据输出到夜间视野支持ECU 40。 
这里，红外辐射装置的辐射范围基本与红外相机12的辐射范围一致。红外相机12的图像拍摄范围具有比头灯的辐射范围窄的角度，从而能够拍摄更远距离的图像。 
主显示器20是触摸板显示装置。主显示器20被安装在例如仪表板的中央部分处等，并使用视频图形阵列(VGA)作为图形系统来显示包括动态图像在内的图像。主显示器20检测由用户触摸显示表面引起的电压变化，从而辨认触摸位置。由此，各种GUI开关被设定在显示表面上，以允许用户进行各种输入操作。此外，允许各种操作的多个开关设置在主显示器20的显示表面的周围。 
主显示器20可以被共用为其他车载装置(例如导航系统)的显示/输入装置。在此情况下，主显示器20近在车辆夜间视野支持系统1处于工 作(在夜间)时用作主显示器20，并在夜间之外的其他时间期间用作其他车载装置的显示/输入装置。 
副显示器30例如是HUD。副显示器30将图像投射在前挡风玻璃上的显示位置处，以将图像显示为当从驾驶员的视点观察显示位置时看起来仿佛在视线的延伸的位置处存在图像那样的虚拟图像。 
副显示器30例如被容纳在形成于仪表板的上表面上的凹部中。副显示器30包括夜间显示器、反射器等。液晶显示器被布置在组合仪表的后侧并将显示光朝向车辆的行驶方向发射。反射器将从液晶显示器发射的光反射从而将反射光投射在挡风玻璃上。 
夜间视野支持ECU 40例如是微计算机，其中中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等经由总线彼此连接。夜间视野支持ECU 40还包括存储装置(例如硬盘驱动器(HDD)、数字万用盘(DVD)驱动器、紧凑盘可记录(CD-R)驱动器和电可擦除可编程只读存储器(EEPROM))、I/O接口、计时器、计数器等。存储装置存储由CPU执行的程序和数据。 
例如车速传感器50和转向角传感器52之类的车载传感器经由车载通信线路(例如多路复用通信线路)连接到夜间视野支持ECU 40。车速传感器50包括例如安装到车辆的各个车轮的车轮速度传感器和滑移控制计算机。滑移控制计算机将从各个车轮速度传感器输出的车轮速度脉冲信号转换为车速矩形波脉冲信号(车速信号)，并输出车速信号。各个车轮速度传感器例如包括磁性转子和有源传感器。在磁性转子中，橡胶填充有磁性粉末，然后正电极和负电极交替地沿着周向布置。有源传感器检测由于磁性转子的旋转导致的磁场变化。转向角传感器52例如布置在转向柱的内部，并输出转向角信号。装置之间经由多路复用通信线路进行的通信利用合适的通信协议来执行。通信协议例如包括低速主体通信模型、多媒体通信模型和FlexRay。低速主体通信模型通常是控制器局域网(CAN)或局域互联网(LIN)。多媒体通信协议通常是多媒体导向系统传输(MOST)。 
此外，夜间视野支持ECU 40包括作为主要功能模块的行人辨认单元 42、行人推定单元44和显示控制单元46。主要功能模块以CPU执行存储在存储装置中的程序的方式来发挥作用。注意，这些功能模块不需要基于完全不同的程序；一个程序可以包含实施了多个功能模块的部分。 
这里，由用户通过例如在主显示器20的显示表面上准备的GUI开关或者安装在主显示器20周围的开关发出的命令来激活车辆夜间视野支持系统1。或者，可以在由亮度传感器检测到的亮度低于预定值时自动地激活车辆夜间视野支持系统1。 
当车辆夜间视野支持系统1被激活时，由红外相机12拍摄的图像被显示在主显示器20上。 
行人辨认单元42判断在由红外相机12拍摄的图像(在本实施例中，拍摄的图像与主显示器20上显示的图像相同)中是否存在例如行人。在行人辨认单元42中对行人的辨认例如通过如下步骤来执行：从由红外相机12拍摄的图像提取特征点的步骤，以及对表示物体轮廓的一系列特征点进行模式匹配来判断物体是否是行人的步骤。特征点可以简单地界定为相邻像素之间的亮度差大于或等于预定值的点；或者，特征点可以使用用于这种图像处理的特定滤波器来提取。 
当行人辨认单元42判定为在由红外相机12拍摄的图像中存在行人时，显示控制单元46控制主显示器20以在辨认到行人的图像上叠加用于强调辨认到的行人的矩形轮廓(仅作为示例)。叠加矩形轮廓是所谓覆盖显示，并以将表示由红外相机12拍摄的图像的一部分像素值用期望的像素值替换的方式来执行。 
此外，当行人辨认单元42判定为由红外相机12拍摄的图像中存在行人时，显示控制单元46控制副显示器30以显示信息以将行人的存在通知给驾驶员，例如在期望位置处表示行人的图标。期望位置可以总是恒定的；但是其也可以例如取决于行人被辨认为处于车辆的右侧还是左侧而改变。此后，例如表示行人的图标之类的以上信息用术语警告信息来表示。 
通过以上控制，当车辆前方存在行人时，驾驶员首先看到副显示器30以辨认行人的存在，然后观看主显示器20以检查行人的位置和行为。通过这样处理，驾驶员可以安全地驾驶车辆而不发生碰撞等。图3是示出车 辆前方的红外图像和强调图像被显示在主显示器20上且警告信息被显示在副显示器30上的状态的视图。 
但是，如上所述，红外相机12的图像拍摄范围具有比头灯的辐射范围窄的角度，所以即使已经从主显示器20上显示的图像中消失的行人也可能仍然在驾驶员的视场(其被认为基本与头灯在夜间的辐射范围相当)内。图5是示出红外相机12的图像拍摄范围与驾驶员的视场之间的关系的视图。 
因此，如果显示控制单元46仅当行人辨认单元42判定为由红外相机12拍摄的图像中存在行人时(图5中(A)的情况)才在副显示器30上显示警告信息，则尽管已经从主显示器20上显示的图像小时的行人仍然在驾驶员的视场内，警告信息也从副显示器30消失。因此，驾驶员会体验到奇怪的感觉。 
因而，根据本实施例的车辆夜间视野支持系统1包括行人推定单元44，其推定(判定)从主显示器20上显示的图像消失的行人是否存在于驾驶员的视场内。即使当行人推定单元44推定为已经从主显示器20上显示的图像消失的行人存在于驾驶员的视场内时(图5中(B)的情况)，警告信息仍被显示在副显示器30上。 
行人推定单元44例如以如下步骤执行推定。首先，基于行人在图像上的位置来计算由行人辨认单元42辨认出的行人相对于车辆的相对位置(实际上，行人具有预定尺寸，所以脚部等用作基准点)。以例如距离和相对于车辆的中心轴线的方位角的组合的形式来计算相对位置。随后，基于从车速传感器50输入的车速信号和从转向角传感器52输入的转向角信号来计算车辆的速度矢量。然后，通过在行人位置不变的情况下分段地(通过改变积分的时间范围)对车辆的速度矢量进行积分，计算得到车辆的多个将来位置，从而计算在车辆到达行人首次落在驾驶员的视场以外的位置之前所花费的时段。可以推定为从行人辨认单元42辨认到行人的时刻到车辆到达行人落在驾驶员视场以外的位置的时刻的时段期间，行人存在于驾驶员的视场内。 
利用以上控制，当已经从主显示器20上显示的图像消失的行人仍然 在驾驶员的视场内时，副显示器30持续地提供警告信息。因此，可以防止驾驶员体验到奇怪的感觉。此外，行人仍然在驾驶员的视场内的这种状况仍然需要行驶时唤起对行人的注意力。因此，通过副显示器30的持续警告信息显示，可以有助于更安全的行驶。 
图4是示出强调图像从主显示器20消失但警告信息仍被显示在副显示器30上的状态的视图。 
然后，当从行人辨认单元42辨认到行人的时刻到车辆到达行人落在驾驶员的视场以外的时刻的时段已经经过时，行人推定单元44判定为在驾驶员的视场内不存在行人。当行人推定单元44判定为在驾驶员的视场内不存在行人时，显示控制单元46控制副显示器30以关闭警告信息显示。图6是示出判定为行人已经到达驾驶员的视场以外因而警告信息显示被关闭的状态的视图。 
此后，使用流程图来描述上述处理的流程。图7是示出根据第一实施例由夜间视野支持ECU 40执行的特征处理的流程的流程图。此流程在车辆夜间视野支持系统1处于工作时反复地执行。 
首先，行人辨认单元42判定由红外相机12拍摄的图像中是否存在行人(S100)。 
当行人辨认单元42判定为由红外相机12拍摄的图像中存在行人时，显示控制单元46控制主显示器20以强调图像上的行人(以显示强调图像)，并控制副显示器30显示警告信息(S102)。 
当行人辨认单元42判定为由红外相机12拍摄的图像中不存在行人时，行人推定单元44推定(判定)已经从主显示器20上显示的图像中消失的行人是否存在于驾驶员的视场内(S104) 
当行人推定单元44判定为已经从主显示器20上显示的图像中消失的行人存在于驾驶员的视场内时，显示控制单元46控制副显示器30以显示警告信息(S106)。 
另一方面，当行人推定单元44判定为已经从主显示器20上显示的图像中消失的行人不存在于驾驶员的视场内时，既不显示强调信息也不显示警告信息(S108)。 
利用根据上述实施例的车辆夜间视野支持系统1，当已经从主显示器20上显示的图像消失的行人仍然在驾驶员的视场内时，副显示器30持续地提供警告信息，所以可以防止驾驶员体验到奇怪的感觉。此外，通过在行驶时需要唤起注意力的状况下持续地进行副显示器30的警告信息显示，可以有助于更安全的行驶。 
此后，将描述根据本发明的第二实施例的车辆夜间视野支持系统2。车辆夜间视野支持系统2的硬件结构与根据第一实施例的车辆夜间视野支持系统1相同，所以将省略基本结构等的描述，并将具体描述与第一实施例的不同之处。 
当根据本实施例的车辆夜间视野支持系统2被激活时，由红外相机12拍摄的图像的排除了左右端部的仅中央部分被显示在主显示器20上。这样的显示意在例如避免强调图像的晃动。 
因此，即使当行人辨认单元42判定为由红外相机12拍摄的图像中存在行人，也存在如下可能性：在主显示器20上既不显示行人也不显示强调图像。 
在本实施例中，当在由红外相机12拍摄的图像的排除了左右端部的中央部分中存在行人时，在主显示器20上显示强调图像并在副显示器30上提供警告信息。 
另一方面，当在由红外相机12拍摄的图像的左右端部中存在行人时，或者当行人推定单元44推定为已经从主显示器20上显示的图像消失的行人存在于驾驶员的视场内时，在主显示器20上不显示强调图像，但在副显示器30上提供警告信息。 
即，当在由红外相机12拍摄的图像的排除了左右端部的中央部分中存在行人时，显示强调图像和警告信息两者。此外，当在由红外相机12拍摄的图像的左右端部中存在行人时(当通过图像辨认检测到行人的存在时)，或者当行人推定单元44推定为已经从主显示器20上显示的图像消失的行人存在于驾驶员的视场内时，仅显示警告信息。 
此后，将使用流程图描述上述处理的流程。图8是根据第二实施例由夜间视野支持ECU 40执行的特征处理的流程的流程图。此流程在车辆夜间视野支持系统1处于工作时反复地执行。 
首先，行人辨认单元42判定由红外相机12拍摄的图像中是否存在行人，行人辨认单元42还判定拍摄图像的中央部分中是否存在行人(S202)。 
当判定为在拍摄图像的中央部分中存在行人时，显示控制单元46控制主显示器20以显示行人的强调图像，并控制副显示器30以显示警告信息(S204)。 
此外，当行人辨认单元42判定为在拍摄图像的左右端部中存储行人时，显示控制单元46控制副显示器30以显示警告信息(S206)。 
另一方面，当行人辨认单元42判定为由红外相机12拍摄的图像中不存在行人时，行人推定单元44推定(判定)已经从主显示器20上显示的图像中消失的行人是否存在于驾驶员的视场内(S208) 
当行人推定单元44判定为已经从主显示器20上显示的图像中消失的行人存在于驾驶员的视场内时，显示控制单元46控制副显示器30以显示警告信息(S206)。 
当行人推定单元44判定为已经从主显示器20上显示的图像中消失的行人不存在于驾驶员的视场内时，既不显示强调信息也不显示警告信息(S210)。 
利用根据上述实施例的车辆夜间视野支持系统2，当已经从主显示器20上显示的图像消失的行人仍然在驾驶员的视场内时，副显示器30持续地提供警告信息，所以可以防止驾驶员体验到奇怪的感觉。此外，通过在行驶时需要唤起注意力的状况下持续地进行副显示器30的警告信息显示，可以有助于更安全的行驶。 
本发明的方面不限于上述实施例；可以在不偏离本发明的范围的情况下以各种形式进行修改或替换。 
例如，用于强调图像或警告信息的警告目标物体可以时非行人的物体。此外，主显示器20和副显示器30的具体实施例不限于以上实施例中描述的那些；而是，例如，可以将组合仪表中使用的显示单元用作副显示器30。 
此外，考虑到从驾驶员看到副显示器30上的警告信息时到驾驶员观看主显示器20时的时段，可以将该时段反映在控制中。 
本发明的方面可用于车辆制造、车辆零件制造等。 

Claims (10)

1.一种车辆夜间视野支持系统，其特征在于包括：
红外相机(10)，其拍摄车辆前方的图像；
主显示器(20)，其显示由所述红外相机拍摄的所述图像；
副显示器(30)；以及
控制单元(40)，所述控制单元判定在所述主显示器(20)上的显示图像中是否存在物体，当所述控制单元(40)判定为所述显示图像中存在所述物体时，所述控制单元控制所述副显示器(30)以显示关于所述物体的警告信息，并且，所述控制单元(40)推定或检测已经从所述显示图像消失的物体是否存在于驾驶员的视场内，当所述控制单元(40)推定为或检测到已经从所述显示图像消失的所述物体存在于所述驾驶员的视场内时，所述控制单元控制所述副显示器(30)以显示所述警告信息。
2.根据权利要求1所述的车辆夜间视野支持系统，其中，所述副显示器(30)是抬头显示器。
3.根据权利要求1或2所述的车辆夜间视野支持系统，还包括：
车速检测器(50)，其检测车速；以及
转向角检测器(52)，其检测转向角，其中
所述控制单元(40)基于所述物体在所述显示图像中的位置来计算所述物体相对于所述车辆的相对位置，并且
所述控制单元(40)基于所述相对位置，并基于根据由所述车速检测器(50)检测到的所述车速和由所述转向角检测器(52)检测到的所述转向角计算得到的所述车辆的行驶状态，来推定已经从所述显示图像消失的所述物体是否存在于所述驾驶员的视场内。
4.根据权利要求3所述的车辆夜间视野支持系统，其中
所述控制单元(40)基于所述车辆的所述行驶状态来计算所述车辆的将来位置，并且
所述控制单元(40)基于根据所述车辆的所述将来位置计算得到的所述物体首次落在所述驾驶员的视场之外时的所述车辆的位置，来推定已经从所述显示图像消失的所述物体是否存在于所述驾驶员的视场内。
5.根据权利要求4所述的车辆夜间视野支持系统，其中
直到所述车辆到达所述物体首次落在所述驾驶员的视场之外时的所述车辆的位置，所述控制单元(40)推定为已经从所述显示图像消失的所述物体存在于所述驾驶员的视场内。
6.根据权利要求1所述的车辆夜间视野支持系统，其中
所述主显示器(20)显示由所述红外相机(10)所拍摄的所述图像相对于所拍摄的所述图像的水平方向的中心部分。
7.根据权利要求6所述的车辆夜间视野支持系统，其中
所述控制单元(40)判定在所拍摄的所述图像中除了所述中心部分之外的图像中是否存在物体，并且，当所述控制单元(40)判定为在所拍摄的所述图像中除了所述中心部分之外的图像中存在物体时，所述控制单元控制所述副显示器(30)以显示所述警告信息。
8.根据权利要求1所述的车辆夜间视野支持系统，其中
当所述控制单元(40)判定为在所述显示图像中存在所述物体时，所述控制单元(40)控制所述主显示器(20)以在所述显示图像上强调所述物体。
9.根据权利要求1所述的车辆夜间视野支持系统，其中
所述物体是行人。
10.一种用于车辆夜间视野支持系统的控制方法，所述车辆夜间视野支持系统包括：红外相机，其拍摄车辆前方的图像；主显示器，其显示由所述红外相机拍摄的所述图像；以及副显示器，所述控制方法的特征在于包括以下步骤：
判定在所述主显示器上的显示图像中是否存在物体；
当判定为所述显示图像中存在所述物体时，控制所述副显示器以显示关于所述物体的警告信息；
推定或检测已经从所述显示图像消失的物体是否存在于驾驶员的视场内；并且
当推定为或检测到已经从所述显示图像消失的所述物体存在于所述驾驶员的视场内时，控制所述副显示器以显示所述警告信息。
CN201080047902.0A 2009-10-21 2010-10-07 车辆夜间视野支持系统及其控制方法 Expired - Fee Related CN102596643B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009242481A JP4952765B2 (ja) 2009-10-21 2009-10-21 車両用夜間視界支援装置
JP2009-242481 2009-10-21
PCT/IB2010/002532 WO2011048454A1 (en) 2009-10-21 2010-10-07 Vehicle night vision support system and control method for the same

Publications (2)

Publication Number Publication Date
CN102596643A CN102596643A (zh) 2012-07-18
CN102596643B true CN102596643B (zh) 2015-03-04

Family

ID=43432085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080047902.0A Expired - Fee Related CN102596643B (zh) 2009-10-21 2010-10-07 车辆夜间视野支持系统及其控制方法

Country Status (5)

Country Link
US (1) US9061632B2 (zh)
JP (1) JP4952765B2 (zh)
CN (1) CN102596643B (zh)
DE (1) DE112010004133B4 (zh)
WO (1) WO2011048454A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US9143703B2 (en) * 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
EP2759999B1 (en) * 2011-09-21 2016-07-27 Honda Motor Co., Ltd. Apparatus for monitoring surroundings of vehicle
JP5547159B2 (ja) * 2011-10-18 2014-07-09 本田技研工業株式会社 車両周辺監視装置
JP5604011B2 (ja) * 2011-10-31 2014-10-08 本田技研工業株式会社 車両周辺監視装置
JP5703192B2 (ja) * 2011-11-04 2015-04-15 本田技研工業株式会社 車両周辺監視装置
FR2985073B1 (fr) * 2011-12-22 2015-01-30 Carlos Leal Dispositif de prevention routiere par image satellite
US9487195B2 (en) 2012-09-04 2016-11-08 Toyota Jidosha Kabushiki Kaisha Collision avoidance assistance device and collision avoidance assistance method
JP6076017B2 (ja) * 2012-09-28 2017-02-08 矢崎総業株式会社 車両用表示装置
US9481301B2 (en) * 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
CN103395393B (zh) * 2013-08-13 2016-03-16 北京汽车研究总院有限公司 一种汽车前风挡投影系统及汽车
JP6287237B2 (ja) * 2014-01-17 2018-03-07 株式会社リコー 情報処理装置、情報処理方法及びプログラム
JP6252365B2 (ja) * 2014-06-11 2017-12-27 株式会社デンソー 安全確認支援システム、安全確認支援方法
US9262924B2 (en) * 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
US9469248B2 (en) * 2014-10-10 2016-10-18 Honda Motor Co., Ltd. System and method for providing situational awareness in a vehicle
US9588340B2 (en) 2015-03-03 2017-03-07 Honda Motor Co., Ltd. Pedestrian intersection alert system and method thereof
US9505346B1 (en) 2015-05-08 2016-11-29 Honda Motor Co., Ltd. System and method for warning a driver of pedestrians and other obstacles
KR101683509B1 (ko) * 2015-05-20 2016-12-07 현대자동차 주식회사 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법
WO2018003532A1 (ja) * 2016-06-29 2018-01-04 京セラ株式会社 物体検出表示装置、移動体及び物体検出表示方法
WO2018066307A1 (ja) * 2016-10-06 2018-04-12 富士フイルム株式会社 投写型表示装置、その表示制御方法及びプログラム
WO2018110724A1 (ko) * 2016-12-13 2018-06-21 주식회사 토비스 열에너지 정보를 표시하는 나이트 비젼 시스템 및 그 제어방법
DE102017100880A1 (de) 2017-01-18 2018-07-19 Visteon Global Technologies, Inc. Anzeigevorrichtung und Verfahren zur Anzeige in einem Fahrzeug
FR3062742B1 (fr) * 2017-02-07 2020-05-08 Peugeot Citroen Automobiles Sa Dispositif d’aide a la navigation routiere de nuit
US11345628B2 (en) * 2017-03-30 2022-05-31 Agc Glass Europe Glass for autonomous car
JP6925848B2 (ja) * 2017-04-13 2021-08-25 アルパイン株式会社 表示制御装置、表示制御方法及びカメラモニタリングシステム
WO2019039201A1 (ja) * 2017-08-23 2019-02-28 日本精機株式会社 車両用表示装置
US10175112B1 (en) 2017-12-14 2019-01-08 Adasky, Ltd Compact infrared camera for automotive safety and driving systems
US10666880B2 (en) 2017-10-31 2020-05-26 Adasky, Ltd. Infrared camera assembly for a vehicle
US11432375B2 (en) 2017-10-31 2022-08-30 Adasky, Ltd. Protective window for resistive heating
CN108055476B (zh) * 2017-11-23 2020-03-27 中国航空工业集团公司洛阳电光设备研究所 一种消除前视红外设备与平视显示器视觉误差的方法
JP7006235B2 (ja) * 2017-12-18 2022-01-24 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
CN108437891A (zh) * 2018-03-10 2018-08-24 佛山杰致信息科技有限公司 一种适用于夜间环境的智能驾驶系统及方法
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
US11153950B2 (en) * 2019-02-14 2021-10-19 Orlaco Products B.V. Replacement mirror system with IR LED overheating management
CN109795415A (zh) * 2019-02-19 2019-05-24 上海理工大学 一种智能夜视抬头显示设备
IL265495B (en) * 2019-03-19 2022-09-01 Rober Ohrenstein Method for travel authorization
JP7228472B2 (ja) * 2019-06-07 2023-02-24 本田技研工業株式会社 認識装置、認識方法、およびプログラム
US11706380B2 (en) 2020-09-17 2023-07-18 Adasky, Ltd. Radiometric camera with black body elements for screening infectious disease carriers and method for calibrating a thermal camera having internal black body elements
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
CN113071412A (zh) * 2021-05-17 2021-07-06 浙江工业大学 车载红外线监测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003306103A (ja) * 2002-04-12 2003-10-28 Honda Motor Co Ltd 警報表示装置
CN1473433A (zh) * 2001-06-13 2004-02-04 ��ʽ�����װ 车辆附近图像处理设备和记录媒体
CN1645915A (zh) * 2004-01-23 2005-07-27 日产自动车株式会社 车载夜视摄象机系统,显示装置和显示方法
WO2007135856A1 (ja) * 2006-05-19 2007-11-29 Pioneer Corporation 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3864406B2 (ja) * 1999-01-26 2006-12-27 マツダ株式会社 車両の表示装置
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
DE10253509A1 (de) * 2002-11-16 2004-06-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
JP2005081860A (ja) 2003-09-04 2005-03-31 Nissan Motor Co Ltd 車両用表示装置
JP4161861B2 (ja) 2003-09-12 2008-10-08 日産自動車株式会社 曲線道路用前照灯に連動した車両用暗視装置
DE102004033625B4 (de) 2004-07-12 2008-12-24 Continental Automotive Gmbh Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug
US8519837B2 (en) * 2005-09-08 2013-08-27 Johnson Controls Gmbh Driver assistance device for a vehicle and a method for visualizing the surroundings of a vehicle
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP2008040974A (ja) * 2006-08-09 2008-02-21 Denso Corp 運転支援装置
DE102006059033A1 (de) * 2006-12-14 2008-06-19 Volkswagen Ag Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung
DE102007045932B4 (de) * 2007-09-26 2013-10-02 Daimler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers eines Fahrzeuges
JP4852159B2 (ja) * 2010-02-24 2012-01-11 株式会社東芝 画像処理装置、画像処理方法および空調制御装置
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1473433A (zh) * 2001-06-13 2004-02-04 ��ʽ�����װ 车辆附近图像处理设备和记录媒体
JP2003306103A (ja) * 2002-04-12 2003-10-28 Honda Motor Co Ltd 警報表示装置
CN1645915A (zh) * 2004-01-23 2005-07-27 日产自动车株式会社 车载夜视摄象机系统,显示装置和显示方法
WO2007135856A1 (ja) * 2006-05-19 2007-11-29 Pioneer Corporation 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体

Also Published As

Publication number Publication date
US20120320207A1 (en) 2012-12-20
DE112010004133T5 (de) 2012-10-11
WO2011048454A8 (en) 2011-06-30
DE112010004133B4 (de) 2017-11-02
CN102596643A (zh) 2012-07-18
US9061632B2 (en) 2015-06-23
WO2011048454A1 (en) 2011-04-28
JP2011091549A (ja) 2011-05-06
JP4952765B2 (ja) 2012-06-13

Similar Documents

Publication Publication Date Title
CN102596643B (zh) 车辆夜间视野支持系统及其控制方法
US9902323B2 (en) Periphery surveillance apparatus and program
US10147323B2 (en) Driver assistance system with path clearance determination
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
JP4856612B2 (ja) 物体検出装置
JP6307895B2 (ja) 車両用周辺監視装置
CN111434105B (zh) 固态成像元件、成像装置和固态成像元件的控制方法
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
JP4980970B2 (ja) 撮像手段の調整装置および物体検出装置
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
CN111038383A (zh) 车辆及其控制方法
CN111345036A (zh) 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
JP4176558B2 (ja) 車両周辺表示装置
US20230098440A1 (en) Imaging device, imaging system, and imaging method
US11100353B2 (en) Apparatus of controlling region of interest of image and method for controlling the same
KR20110087085A (ko) 카메라 영상 표시 기능이 구비된 차량용 사이드 미러 시스템
JP6866212B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
EP4163642A1 (en) Solid-state imaging device, method for controlling solid-state imaging device, and movable body
JP7255257B2 (ja) 記録再生制御装置、記録再生制御方法、およびプログラム
JP7081481B2 (ja) 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
WO2022153888A1 (ja) 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム
JP7454177B2 (ja) 周辺監視装置、およびプログラム
EP4322516A1 (en) Information processing device and information processing method
JP6745465B1 (ja) 車両及びカメラモジュール
JP2021166021A (ja) 情報処理装置および情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150304

CF01 Termination of patent right due to non-payment of annual fee