CN103843326A - 图像显示装置及图像显示方法 - Google Patents

图像显示装置及图像显示方法 Download PDF

Info

Publication number
CN103843326A
CN103843326A CN201180073797.2A CN201180073797A CN103843326A CN 103843326 A CN103843326 A CN 103843326A CN 201180073797 A CN201180073797 A CN 201180073797A CN 103843326 A CN103843326 A CN 103843326A
Authority
CN
China
Prior art keywords
picture
image
vehicle
display
edge images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180073797.2A
Other languages
English (en)
Inventor
祖父江有华
冈村龙路
森本爱
日荣悠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN103843326A publication Critical patent/CN103843326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

在具备后方广角相机(11)以及对后方广角相机(11)拍摄到的后方图像进行显示的ECU(20)及显示器(30)的驾驶支援显示装置(1)中,ECU(20)的显示控制部(25)及显示器(30)将后方图像分割成左右的后侧方画面(204)及中央的后方画面(202)进行显示,因此驾驶员容易判别显示何处。显示控制部(25)及显示器(30)在左右的后侧方画面(204)及中央的后方画面(202)上不显示相同的图像,因此驾驶员容易判别后方图像中的物体与本车辆(100)的距离。显示控制部(25)实施对显示于左右的后侧方画面(204)上的后方图像的失真进行校正的失真校正,因此驾驶员能够观察到失真得到校正后的容易观察的后方图像。显示控制部(25)将左右的后侧方画面(204)的形状设成与失真校正对应的形状,因此驾驶员容易判别后方图像中的物体从何处接近。

Description

图像显示装置及图像显示方法
技术领域
本发明的一实施方式涉及一种对车辆的周边图像进行显示的图像显示装置及图像显示方法。
背景技术
在超低速行驶时,由于由本车辆产生的死角及由壁、相邻的其他车辆等遮挡物产生的死角,驾驶员想要观察的场所有时无法通过目视而观察到。因此,提出了如下装置:利用相机来拍摄由本车辆产生的死角、由遮挡物产生的死角,并使用显示器对拍摄到的图像进行显示。例如在专利文献1的装置中,对于利用具有180°的视角的广角相机拍摄到的图像,通常时将180°的视角中的120°的范围显示于显示器来作为驻车支援图像。当检测到障碍物时,该装置将180°的广角的范围显示于显示器来作为驻车支援图像。
专利文献1:日本特开2009-65483号公报
发明内容
然而,在上述技术中,180°的广角的范围的图像仅在检测到障碍物时显示。因此,无论障碍物是否接近于车辆,在未检测到障碍物时,180°的广角的范围的图像都不显示。而且,在上述技术中,仅在检测到障碍物时,驾驶员才能够确认180°的广角的范围的图像。因此,在对驾驶员显示容易观察且容易判别的图像这一点上存在改善的余地。
本发明的一实施方式考虑到这种实际情况而作出,提供一种能够对驾驶员显示更容易观察且更容易判别的图像的图像显示装置及图像显示方法。
本发明的一实施方式是一种图像显示装置,具备:图像取得单元,取得车辆的周边图像;以及图像显示单元,对图像取得单元所取得的周边图像进行显示,图像显示单元将周边图像分割成左侧方画面、中央画面及右侧方画面进行显示,实施对显示于左侧方画面及右侧方画面上的周边图像的失真进行校正的失真校正,并将左侧方画面及右侧方画面的形状设成与失真校正对应的形状。
根据该结构,在具备取得车辆的周边图像的图像取得单元以及对图像取得单元所取得的周边图像进行显示的图像显示单元的驾驶支援显示装置中,图像显示单元将周边图像分割成左侧方画面、中央画面及右侧方画面进行显示,因此驾驶员容易判别显示何处。而且,图像显示单元在左侧方画面、中央画面及右侧方画面上不显示相同的图像,因此驾驶员容易判别周边图像中的物体与本车辆的距离。而且,图像显示单元实施对显示于左侧方画面及右侧方画面上的周边图像的失真进行校正的失真校正,因此驾驶员能够观察到失真得到校正后的容易观察的周边图像。而且,图像显示单元将左侧方画面及右侧方画面的形状设成与失真校正对应的形状,因此驾驶员容易判别周边图像中的物体从何处接近。
在这种情况下,可以是,图像显示单元进行如下动作:实施对显示于左侧方画面及右侧方画面上的周边图像的由广角镜头的像差引起的失真进行校正的失真校正,越靠近左侧方画面的左侧方及右侧方画面的右侧方,则越减小左侧方画面及右侧方画面的上下宽度,将左侧方画面的外周设成具有朝向左侧上方的部分的形状,并将右侧方画面的外周设成具有朝向右侧上方的部分的形状。
根据该结构,图像显示单元实施对显示于左侧方画面及右侧方画面上的周边图像的由广角镜头的像差引起的失真进行校正的失真校正,越靠近左侧方画面的左侧方及右侧方画面的右侧方,则越减小左侧方画面及右侧方画面的上下的宽度,将左侧方画面的外周设成具有朝向左侧上方的部分的形状,将右侧方画面的外周设成具有朝向右侧上方的部分的形状。因此,将由于广角镜头的像差而朝向远方减小的失真校正后的周边图像例如是具有朝向左右上方的边的梯形。因此,驾驶员容易判别周边图像显现何处。而且,驾驶员容易判别周边图像中的物体从何处接近。
另外,可以是,图像显示单元进行如下动作:实施对显示于左侧方画面及右侧方画面上的周边图像的由广角镜头的像差引起的失真进行校正的失真校正,并使左侧方画面及右侧方画面的大小小于中央画面的大小。
根据该结构,图像显示单元实施对显示于左侧方画面及右侧方画面上的周边图像的由广角镜头的像差引起的失真进行校正的失真校正,使左侧方画面及右侧方画面的大小小于中央画面的大小。因此,将由于广角镜头的像差而朝向远方减小的失真校正后的周边图像的左侧方画面及右侧方画面的大小小于中央画面的大小,由此驾驶员容易判别周边图像显现何处。而且,驾驶员容易判别周边图像中的物体从何处接近。此外,由于仅减小左侧方画面及右侧方画面的大小,因此能够减轻装置的处理负载。
另外,可以是,图像显示单元在左侧方画面、中央画面及右侧方画面的各个画面之间空有间隔地进行显示。
根据该结构,图像显示单元在左侧方画面、中央画面及右侧方画面的各个画面之间空有间隔地进行显示。因此,驾驶员容易判别左侧方画面、中央画面及右侧方画面分别被分割。
另外,可以是,当左侧方画面及右侧方画面中任一画面上的周边图像中所显现的物体接近于车辆时,图像显示单元对表示物体的接近的驾驶支援显示进行显示。
根据该结构,当左侧方画面及右侧方画面中任一画面上的周边图像中所显现的物体接近于车辆时,图像显示单元对表示物体的接近的驾驶支援显示进行显示。因此,驾驶员即使注视着中央画面,也容易发现从侧方接近的物体。
另外,本发明的一实施方式是一种图像显示方法,包括如下步骤:图像取得步骤,取得车辆的周边图像;以及图像显示步骤,对通过图像取得步骤所取得的周边图像进行显示,图像显示步骤进行如下动作:将周边图像分割成左侧方画面、中央画面及右侧方画面进行显示,实施对显示于左侧方画面及右侧方画面上的周边图像的失真进行校正的失真校正,并将左侧方画面及右侧方画面的形状设成与失真校正对应的形状。
发明效果
根据本发明的一实施方式,能够对驾驶员显示更容易观察、更容易判别的图像。
附图说明
图1是表示实施方式的驾驶支援显示装置的结构的框图。
图2是表示适用实施方式的驾驶支援显示装置的状况的俯视图。
图3是表示实施方式的驾驶支援显示装置的基本动作的流程图。
图4是表示后方广角相机拍摄到的未处理的原始图像的图。
图5是表示在实施方式的驾驶支援显示系统的工作时接近的移动物不存在时的显示图像的图。
图6是表示在实施方式的驾驶支援显示系统的工作时接近的移动物存在时的显示图像的图。
图7是表示在实施方式的驾驶支援显示系统的非工作时接近的移动物不存在时的显示图像的图。
图8是表示在实施方式的驾驶支援显示系统的非工作时接近的移动物存在时的显示图像的图。
图9是表示在实施方式的驾驶支援显示装置的光流场的区域存在物体时的状况的俯视图。
图10是表示在实施方式的驾驶支援显示装置的光流场的区域存在物体时的驾驶支援的对象的俯视图。
图11是表示在实施方式的驾驶支援显示装置的图案匹配的区域存在物体时的状况的俯视图。
图12是表示在实施方式的驾驶支援显示装置的图案匹配的区域存在物体时的驾驶支援的对象的俯视图。
图13是表示实施方式的驾驶支援显示装置的与各支援区域及各对象物对应的动作的流程图。
图14是表示在实施方式的驾驶支援显示装置的光流场的区域存在移动物且在图案匹配的区域存在人时的显示图像的图。
图15是表示在实施方式的驾驶支援显示装置的图案匹配的区域存在人时的显示图像的图。
图16是表示另一实施方式的显示图像的图。
图17是表示另一实施方式的显示图像的图。
具体实施方式
以下,参照附图,说明本发明的实施方式的图像显示装置及图像显示方法。如图1所示,本实施方式的图像显示装置构成为驾驶支援显示装置1。驾驶支援显示装置1具备后方广角相机11、车速传感器12、转向角传感器13、ECU20及显示器30。本实施方式的驾驶支援显示装置1设于车辆,将车辆的后方的图像向驾驶员提供。
后方广角相机11是用于对车辆的后方的图像进行拍摄的一台相机。后方广角相机11是视角为180°左右的广角相机。车速传感器12是对车辆的车速进行检测的传感器。例如车速传感器12通过检测车辆的车轴的转速来检测车辆的车速。转向角传感器13是对车辆的转向角进行检测的传感器。档位传感器是检测车辆的变速器的档位是否处于后退(Reverse:R)的位置的传感器。
ECU(Electronic Control Unit:电子控制单元)20集中地控制驾驶支援显示装置1。ECU20是由CPU(Central Processing Unit:中央处理器)、ROM(Read Only Memory:只读存储器)、RAM(Random AccessMemory:随机存储器)等构成的电子控制单元。在ECU20中,将存储于ROM中的应用程序向RAM下载,并由CPU执行,由此执行与图像显示相关的各种运算处理。
ECU20在按照其功能进行分类时,具有移动物体检测部21、移动物轨道检测部22、移动物体位置/相对速度检测部23、危险度推定部24及显示控制部25。
移动物体检测部21如后述那样利用基于图案匹配的方法和基于光流场的方法来检测由后方广角相机11拍摄到的图像中的物体,其中,上述基于图案匹配的方法是通过进行图像与规定的图案的对照来检测显现于图像中的物体的方法,上述基于光流场的方法是通过对图像中的点随着时间的经过而移动的方向和速度进行解析来检测显现于图像中的物体的方法。另外,如后述那样,在通过图案匹配来检测物体时,移动物体检测部21也能够检测静止物体。
移动物轨道检测部22根据由移动物体检测部21检测到的图像中的物体的位置及移动和由车速传感器12及转向角传感器13检测到的车辆的移动来检测图像中的物体的轨道。
移动物体位置/相对速度检测部23基于由移动物轨道检测部22检测到的图像中的物体的轨道来检测图像中的物体的位置及与车辆的相对速度。
危险度推定部24基于由移动物体位置/相对速度检测部23检测到的图像中的物体的位置及相对速度来推定图像中的物体的危险度。
显示控制部25如后述那样,根据由移动物体位置/相对速度检测部23检测到的物体的位置及相对速度、由危险度推定部24所推定的危险度、由车速传感器12、转向角传感器13及档位传感器14检测到的车辆的状态,在显示器30显示用于对驾驶员的驾驶进行支援的驾驶支援显示。
显示器30显示由后方广角相机11拍摄到的后方图像。显示器30例如可以使用设于驾驶席附近的监视器、在前风挡玻璃等显示图像的平视显示器。
另外,在本实施方式中,驾驶支援显示装置1通过对由后方广角相机11拍摄到的图像进行图像识别来检测车辆附近的物体。然而,为了检测车辆附近的物体,也可以另外具备雷达、制导器、声纳等传感器。
以下,对本实施方式的驾驶支援显示装置1的动作进行说明。如图2所示,本实施方式的驾驶支援显示装置1在本车辆100后退且从驻车位置向道路出发时及本车辆100后退且向驻车位置驻车时用于对难以观察到本车辆100的后方的驾驶员的驾驶进行支援。驾驶支援显示装置1检测后方广角相机11的拍摄范围即支援区域A内的其他车辆V等,而向驾驶员报知。
首先,对本实施方式的驾驶支援显示装置1的基本动作进行说明。如图3所示,本实施方式的驾驶支援显示装置1的档位传感器14在本车辆100的变速器的档位处于后退的位置的期间为工作状态(S101)。
驾驶支援显示装置1的ECU20的显示控制部25判定车速传感器12及转向角传感器13的检测值是否满足在驾驶支援显示装置1的驾驶支援系统内报知来自侧方的移动物的系统的工作条件(S102)。
作为对移动物进行检测的方法,存在雷达、制导器、声纳及图像识别等,但根据传感器的性能、图像识别的精度,根据本车辆100的速度、转向角等条件而存在误检测或未检测等的可能性。误检测及未检测会使驾驶员对驾驶支援显示装置1的驾驶支援系统感到怀疑。因此,在本实施方式中,在速度、转向角为规定的阈值以上时将对来自侧方的移动物进行报知的驾驶支援系统设为非工作。
例如,如图2所示的状况那样,仅在本车辆100起步时,在驾驶支援显示装置1将本车辆100侧方的移动物体向驾驶员报知的情况下,能够将速度为0km/h附近的情况或者速度为0.1~3km/h以下或4km/h以下的情况设为将本车辆100侧方的移动物体向驾驶员报知的驾驶支援系统的工作条件。
在满足对侧方的移动物体进行报知的驾驶支援系统的工作条件的情况下(S102),显示控制部25将由后方广角相机11拍摄到的图像分割成三个而显示于显示器30(S103)。如图4的显示画面200所示,由后方广角相机11拍摄到的原始图像具有180°的视角。图像的左右端部由于广角物镜的像差,会产生越靠近左右端部则看起来越向上方变小的失真。
在本实施方式中,如图5所示,将由后方广角相机11拍摄到的图像分割成左右的后侧方画面204及中央的后方画面202这三个画面而显示于显示画面200上。左右的后侧方画面204及中央的后方画面202之间空有规定的间隔,以使驾驶员容易判别由后方广角相机11拍摄到的图像被分割。这种情况下的间隔可以设为2~10mm左右。
显示控制部25对左右的后侧方画面204的图像实施失真校正,即对由广角物镜的像差引起的失真进行校正。显示控制部25根据对左右的后侧方画面204所实施的失真校正,将左右的后侧方画面204显示成具有与画面的左右垂直的对边的梯形。显示控制部25以越靠近左后侧方画面204的左侧方及右后侧方画面204的右侧方则后侧方画面204的上下的宽度变得越窄的方式进行显示。而且,显示控制部25以左后侧方画面204的上下边朝向左上方且右后侧方画面204的上下边朝向右上方的方式进行显示。
显示控制部25以使中央的后方画面202成为长方形的方式进行显示。显示控制部25对显示范围标记206进行显示,该显示范围标记206表示左右的后侧方画面204及中央的后方画面202的图像是本车辆100的哪个位置的图像。而且,在本车辆100后退时,显示控制部25将用作驾驶员的驾驶基准的车宽线208显示于中央的后方画面202。由此,左右的后侧方画面204及中央的后方画面202的图像分别成为不同的图像。
在驾驶支援显示装置1的ECU20的移动物体检测部21通过后述的光流场的方法检测到其他车辆V等移动物体时(S104),如图6所示,显示控制部25显示从其他车辆V接近的方向将其他车辆V接近于本车辆100的一侧的后侧方画面204及后方画面202的一部分包围的移动物接近检测框210(S105)。移动物接近检测框210所包围的范围表示后侧方画面204及后方画面202的图像中的基于光流场的检测范围。另外,在本实施方式中,在本车辆100附近存在行人等静止物体时也向驾驶员报知,但关于此时的动作,在后面叙述。
在车速或转向角超过规定的阈值而不满足对侧方的移动物体进行报知的驾驶支援系统的工作条件时(S102),显示控制部25使驾驶支援系统的一部分不工作,如图7所示仅显示中央的后方画面202(S106)。在这种情况下,如图8所示,驾驶员能够通过后方画面202确认其他车辆V等物体接近于本车辆100附近。因此,即使在对侧方的移动物体进行报知的驾驶支援系统的非工作时,也能够利用驾驶支援显示装置1作为对本车辆100后退时的驾驶进行支援的监视器。而且,即使在对侧方的移动物体进行报知的驾驶支援系统的非工作时,也能够通过后述的基于图案匹配的方法来检测中央的后方画面202的图像中的行人等而向驾驶员报知。
以下,对本实施方式的驾驶支援显示装置1的检测物体的动作进行说明。如图9所示,在本实施方式中,在显示于后侧方画面204上的范围即光流场支援区域Aop中,通过对图像中的点随着时间的经过而移动的方向和速度进行解析,进行检测显现于图像上的物体的基于光流场的物体的检测。另一方面,在显示于后方画面202上的范围即图案匹配支援区域Apm中,通过进行图像与规定的图案的对照来进行检测显现于图像上的物体的基于图案匹配的物体的检测。
在图9的例子中,其他车辆V从光流场支援区域Aop向本车辆100接近,驾驶支援显示装置1的ECU20的移动物体检测部21通过光流场来检测其他车辆V。在图10的例子中,其他车辆V及行人P从光流场支援区域Aop向本车辆100接近,移动物体检测部21通过光流场来检测其他车辆V及行人P。无论在哪个例子中,都能够在光流场支援区域Aop中检测从远方接近的移动物体。无法在光流场支援区域Aop中检测静止物体。然而,若不是在本车辆100附近,则静止物体也不可能与本车辆100接触,因此在光流场支援区域Aop中,通过基于光流场的方法仅检测移动物体。
在图11的例子中,行人P从图案匹配支援区域Apm接近于本车辆100,驾驶支援显示装置1的ECU20的移动物体检测部21通过图案匹配来检测行人P。在图12的例子中,从图案匹配支援区域Apm向本车辆100存在有移动中的行人P及静止中的行人P,移动物体检测部21通过图案匹配来分别检测行人P。无论在哪个例子中,都能够在图案匹配支援区域Apm中检测本车辆100附近的移动物体及静止物体。在图案匹配支援区域Apm中,处于本车辆100移动的范围,静止物体可能与本车辆100接触,因此静止物体也需要检测。在图案匹配支援区域Apm中,移动物体检测部21作为对照用的图案而主要进行人的图案与图像中的物体的对照。另外,在本车辆100附近,也能够通过由声纳检测静止物体来应对。
如图13所示,在驾驶支援显示装置1的ECU20的移动物体检测部21检测到其他车辆V或人等移动物体接近于光流场支援区域Aop内且接近于支援区域A内时(S201),并且在移动物体检测部21检测到行人P等物体存在于图案匹配支援区域Apm内且存在于支援区域A内时(S202),ECU20的危险度推定部24根据物体的位置及相对速度来推定危险度(S203)。ECU20的显示控制部25基于危险度,使图14所示的将其他车辆V接近的一侧的后侧方画面204的一部分包围的移动物接近检测框210和将行人P包围的行人检测框212闪烁并显示于后方画面202及后侧方画面204(S204)。
物体的位置距本车辆100越近,则危险度推定部24将该物体的危险度推定得越高。物体与本车辆100的相对速度越大,则危险度推定部24将该物体的危险度推定得越高。危险度推定部24所推定的危险度越高,则显示控制部25越提前显示移动物接近检测框210及行人检测框212的时期。危险度推定部24所推定的危险度越高,则显示控制部25越缩短使移动物接近检测框210及行人检测框212闪烁的间隔。
或者,显示控制部25可以以危险度推定部24所推定的危险度越高则移动物接近检测框210及行人检测框212的亮度变得越高的方式进行显示。或者,显示控制部25可以显示为,随着危险度推定部24所推定的危险度变高而使移动物接近检测框210及行人检测框212的颜色发生变化。例如,显示控制部25可以显示为,随着危险度推定部24所推定的危险度变高而使上述检测框的颜色从绿色、黄色变化为红色。
在移动物体检测部21检测到其他车辆V或人等移动物体接近于光流场支援区域Aop内且接近于支援区域A内时(S201),并且移动物体检测部21未检测到行人P等物体存在于图案匹配支援区域Apm内且存在于支援区域A内时(S202),危险度推定部24根据物体的位置及相对速度来推定危险度(S205)。显示控制部25如上述那样基于危险度,使图6所示的将其他车辆V接近的一侧的后侧方画面204的一部分包围的移动物接近检测框210闪烁并显示于后侧方画面204(S206)。
在移动物体检测部21检测到其他车辆V或人等移动物体接近于光流场支援区域Aop内且接近于支援区域A内时(S201),并且移动物体检测部21检测到行人P等物体存在于图案匹配支援区域Apm内且存在于支援区域A内时(S207),危险度推定部24根据物体的位置及相对速度来推定危险度(S208)。显示控制部25如上述那样基于危险度而在后方画面202及后侧方画面204上闪烁地显示:将图15所示的将其他车辆V接近的一侧的后侧方画面204的一部分包围的移动物接近检测框210;和将行人P包围的行人检测框212(S204)。
根据本实施方式,在具备后方广角相机11和对后方广角相机11拍摄到的后方图像进行显示的ECU20及显示器30的驾驶支援显示装置1中,ECU20的显示控制部25及显示器30将后方图像分割成左右的后侧方画面204及中央的后方画面202进行显示,因此驾驶员容易判别显示何处。而且,显示控制部25及显示器30在左右的后侧方画面204及中央的后方画面202不显示相同的图像,因此驾驶员容易判别后方图像中的物体与本车辆100的距离。而且,显示控制部25实施失真校正,即对显示于左右的后侧方画面204上的后方图像的失真进行校正,因此驾驶员能够观察到失真得到校正后的容易观察的后方图像。而且,显示控制部25将左右的后侧方画面204的形状形成为与失真校正对应的形状,因此驾驶员容易判别后方图像中的物体从何处接近。
另外,显示控制部25实施失真校正,以对显示于左右的后侧方画面204上的周边图像的由广角物镜的像差引起的失真进行校正,越靠近左后侧方画面204的左侧方及右后侧方画面204的右侧方,则越减小后侧方画面204的上下宽度,左后侧方画面204的上下边成为朝向左侧上方的形状,右后侧方画面204的上下边成为具有朝向右上方的部分的梯形。因此,驾驶员容易判别后方图像显现何处。而且,驾驶员容易判别后方图像中的物体从何处接近。
另外,显示控制部25在左右的后侧方画面204及中央的后方画面202的各个画面之间空有间隔地进行显示。因此,驾驶员容易判别左右的后侧方画面204及中央的后方画面202分别被分割。
另外,在显现于左右的侧方画面204中的任一画面的后方图像上的物体接近于本车辆100时,显示控制部25对表示物体的接近的移动物接近检测框210进行显示。因此,驾驶员即使注视着中央的后方画面202,也容易发现从侧方接近的物体。
即,在本实施方式中,通过增大中央的后方画面202,容易使用显示画面200作为背向引导监视器。通过增大后方画面202并减小后侧方画面204进行显示,从侧方接近的物体在画面上减小。然而,即使驾驶员注视着中央的后方画面202,驾驶员通过移动物接近检测框210也容易发现从侧方接近的物体。而且,在本实施方式中,没有将画面从通常向广角切换的烦恼。
另外,根据本实施方式,在具备后方广角相机11和对后方广角相机11拍摄到的后方图像进行显示的ECU20及显示器30的驾驶支援显示装置1中,ECU20的显示控制部25及显示器30能够将后方图像分割成多个画面进行显示,并且能够显示对本车辆100的驾驶员的驾驶进行支援的移动物接近检测框210及行人检测框212,在显示移动物接近检测框210时和不显示移动物接近检测框210时,对所显示的画面的个数进行变更。因此,驾驶员更容易识别对移动物接近检测框210进行显示的系统的工作时和非工作时。
另外,显示控制部25能够将后方图像分割成左右的后侧方画面204及中央的后方画面202进行显示,在显示移动物接近检测框210及行人检测框212时,对左右的后侧方画面204及中央的后方画面202进行显示,在不显示移动物接近检测框210时,仅显示中央的后方画面202。因此,驾驶员容易识别对移动物接近检测框210进行显示的系统的工作时和非工作时。而且,即使在显示移动物接近检测框210的系统的非工作时,也会显示中央的后方画面202,因此能够将中央的后方画面202用于后方监视。
另外,在显现于左右的后侧方画面204上的物体接近于本车辆100时,显示控制部25对表示物体的接近的移动物接近检测框210进行显示。因此,驾驶员即使注视着中央画面,也容易发现从侧方接近的物体。
另外,在本车辆100的速度及转向角中的任一个为规定的阈值以上时,显示控制部25不显示移动物接近检测框210。作为对物体的接近进行检测的方法,存在雷达、制导器、声纳及图像识别等,但是在车辆的速度、转向角大时,存在误检测、未检测等的可能性。误检测、未检测会导致驾驶员对系统的怀疑。因此,在本车辆100的速度及转向角为阈值以上时,不显示移动物接近检测框210,由此能够防止接近于本车辆100的物体的误检测、未检测。
另外,根据本实施方式,在具备后方广角相机11和对后方广角相机11拍摄到的后方图像进行显示的ECU20及显示器30的驾驶支援显示装置1中,ECU20的显示控制部25及显示器30将后方图像分割成左右的后侧方画面204及中央的后方画面202进行显示,对于中央的后方画面202的图像,通过进行图像与规定的图案的对照来检测显现于图像上的物体,对于左右的后侧方画面204的图像,通过对图像中的点随着时间的经过而移动的方向和速度进行解析来检测显现于图像上的物体,对表示检测到的物体的存在的移动物接近检测框210或行人检测框212进行显示。因此,能够通过进行图像与规定的图案的对照的图案匹配的方法来检测在本车辆100正面附近停止的人、在本车辆100移动时存在于本车辆100正面附近的人等,并将检测到的人等的存在向驾驶员报知。而且,能够通过对图像中的点随着时间的经过而移动的方向和速度进行解析的光流场的方法来检测从本车辆100侧方的远方接近的人及车辆等,并将检测到的人及车辆等的存在向驾驶员报知。因此,能够根据物体的位置、速度及种类来更适当地检测并显示物体。
另外,在检测到显现于中央的后方画面202的图像上的行人P时,显示控制部25对包围行人P的行人检测框212进行显示,在检测到显现于左右的后侧方画面204中的任一画面的图像上的物体时,显示控制部25显示将检测到物体的左右的后侧方画面204中的任一画面的至少一部分包围的移动物接近检测框210。由此,驾驶员能够识别出在中央的后方画面202和左右的后侧方画面204上检测物体的方法不同。即,在中央的后方画面202和左右的后侧方画面204上改变框的包围方式,由此能够将在中央的后方画面上仅检测人这一情况通知给驾驶员。
多数情况下,驾驶员在起步时主要确认侧方,而在起步时及移动时确认后方中央。在移动时的情况下,由于需要更早地确认物体,因此通过利用行人检测框212包围物体,也能够识别物体的位置。
另外,本发明并未限定为上述的实施方式,当然在不脱离本发明的主旨的范围内能够施加各种变更。例如,在上述实施方式中的驾驶支援显示装置1的处理负载高时,如图16所示,只要根据失真校正来减小后侧方画面204’的大小即可。如上述那样,将检测到移动物这一情况向驾驶员报知的移动物接近检测框210根据检测到物体的范围进行变更。在后侧方画面204’内的情况下,可以仅在后侧方画面204’上显示移动物接近检测框210。
另外,在上述实施方式中,在驾驶支援系统的非工作时消去了后侧方画面204。然而,若在驾驶支援系统的非工作时消去后侧方画面204,则对于驾驶员而言,有时会存在尽管想要观察后侧方画面204但也观察不到这样的感觉。因此,如图17所示,在驾驶支援系统的非工作时,也可以显示后侧方画面204,并且在后侧方画面204上显示非工作显示线214。
工业实用性
根据上述的本发明的一实施方式的图像显示装置及图像显示方法,能够对驾驶员显示更容易观察、更容易判别的图像。
附图文字说明
1       驾驶支援显示装置
11      后方广角相机
12      车速传感器
13      转向角传感器
14      档位传感器
20      ECU
21      移动物体检测部
22      移动物轨道检测部
23      移动物体位置/相对速度检测部
24      危险度推定部
25      显示控制部
30      显示器
100     本车辆
200     显示画面
202     后方画面
204、204’  后侧方画面
206     显示范围标记
208     车宽线
210     移动物接近检测框
212     行人检测框
214     非工作显示线
A…     支援区域
Aop…   光流场支援区域
Apm…   图案匹配支援区域
V…     其他车辆
P…     行人

Claims (6)

1.一种图像显示装置,具备:
图像取得单元,取得车辆的周边图像;及
图像显示单元,对所述图像取得单元所取得的所述周边图像进行显示,
所述图像显示单元将所述周边图像分割成左侧方画面、中央画面及右侧方画面而进行显示,实施对显示于所述左侧方画面及所述右侧方画面上的所述周边图像的失真进行校正的失真校正,并将所述左侧方画面及所述右侧方画面的形状设成与所述失真校正对应的形状。
2.根据权利要求1所述的图像显示装置,其中,
所述图像显示单元实施对显示于所述左侧方画面及所述右侧方画面上的所述周边图像的由广角镜头的像差引起的失真进行校正的所述失真校正,越靠近所述左侧方画面的左侧方及所述右侧方画面的右侧方则越减小所述左侧方画面及所述右侧方画面的上下宽度,将所述左侧方画面的外周设成具有朝向左侧上方的部分的形状,并将所述右侧方画面的外周设成具有朝向右侧上方的部分的形状。
3.根据权利要求1所述的图像显示装置,其中,
所述图像显示单元实施对显示于所述左侧方画面及所述右侧方画面上的所述周边图像的由广角镜头的像差引起的失真进行校正的所述失真校正,并使所述左侧方画面及所述右侧方画面的大小小于所述中央画面的大小。
4.根据权利要求1~3中任一项所述的图像显示装置,其中,
所述图像显示单元在所述左侧方画面、所述中央画面及所述右侧方画面的各个画面之间空有间隔地进行显示。
5.根据权利要求1~4中任一项所述的图像显示装置,其中,
当所述左侧方画面及所述右侧方画面中任一画面上的所述周边图像中所显现的物体接近于所述车辆时,所述图像显示单元对表示所述物体的接近的驾驶支援显示进行显示。
6.一种图像显示方法,包括如下步骤:
图像取得步骤,取得车辆的周边图像;及
图像显示步骤,对通过所述图像取得步骤所取得的所述周边图像进行显示,
所述图像显示步骤中,将所述周边图像分割成左侧方画面、中央画面及右侧方画面而进行显示,实施对显示于所述左侧方画面及所述右侧方画面上的所述周边图像的失真进行校正的失真校正,并将所述左侧方画面及所述右侧方画面的形状设成与所述失真校正对应的形状。
CN201180073797.2A 2011-09-29 2011-09-29 图像显示装置及图像显示方法 Pending CN103843326A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/072467 WO2013046407A1 (ja) 2011-09-29 2011-09-29 画像表示装置及び画像表示方法

Publications (1)

Publication Number Publication Date
CN103843326A true CN103843326A (zh) 2014-06-04

Family

ID=47994514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073797.2A Pending CN103843326A (zh) 2011-09-29 2011-09-29 图像显示装置及图像显示方法

Country Status (5)

Country Link
US (1) US9299260B2 (zh)
EP (1) EP2763404B1 (zh)
JP (1) JP5871006B2 (zh)
CN (1) CN103843326A (zh)
WO (1) WO2013046407A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101635A (zh) * 2016-05-05 2016-11-09 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN109661688A (zh) * 2016-09-12 2019-04-19 日立汽车系统株式会社 影像输出系统
CN116916156A (zh) * 2023-08-16 2023-10-20 深圳金语科技有限公司 一种监视系统分视野显示方法及系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
CN104755355B (zh) 2012-10-23 2018-01-26 Tk控股公司 转向盘灯条
JP6266238B2 (ja) * 2013-07-03 2018-01-24 クラリオン株式会社 接近物検出システム、及び車両
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
CN106536280B (zh) 2014-07-23 2019-06-18 Tk控股公司 转向握柄灯条系统
US9580012B2 (en) * 2015-03-02 2017-02-28 Tk Holdings Inc. Vehicle object detection and notification system
CN107531265B (zh) 2015-04-24 2020-09-15 Tk控股公司 转向盘灯条
DE102015011536A1 (de) * 2015-09-02 2017-03-02 Man Truck & Bus Ag Spiegelersatzsystem als Kamera-Monitor-System (KMS) eines Kraftfahrzeugs, insbesondere eines Nutzfahrzeugs
JP6344417B2 (ja) * 2016-03-18 2018-06-20 トヨタ自動車株式会社 車両用表示装置
US10696217B2 (en) 2017-01-04 2020-06-30 Joyson Safety Systems Acquisition Vehicle illumination systems and methods
WO2019173750A1 (en) 2018-03-08 2019-09-12 Joyson Safety Systems Acquisition Llc Vehicle illumination systems and methods
DE112018006294B4 (de) * 2018-03-12 2023-10-05 Hitachi Astemo, Ltd. Fahrzeugsteuervorrichtung
JP7440235B2 (ja) * 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法
US11615542B2 (en) * 2019-11-14 2023-03-28 Panasonic Avionics Corporation Automatic perspective correction for in-flight entertainment (IFE) monitors
US20230082856A1 (en) * 2021-09-14 2023-03-16 Daniel Lutes Rear View Camera Assembly
JP7500527B2 (ja) * 2021-09-24 2024-06-17 キヤノン株式会社 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227214A1 (en) * 2005-04-11 2006-10-12 Valeo Vision Method, device and camera for detecting objects from digital images
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法
JP2010178018A (ja) * 2009-01-29 2010-08-12 Honda Motor Co Ltd 車両の周辺を画像表示するための装置
CN101846518A (zh) * 2004-09-30 2010-09-29 歌乐牌株式会社 泊车支援系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JPH09202180A (ja) * 1996-01-29 1997-08-05 Niles Parts Co Ltd 車載カメラ装置
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP2007221199A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ表示装置及び画像処理装置
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP4985250B2 (ja) 2007-09-06 2012-07-25 株式会社デンソー 駐車支援装置
DE102008034606A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
JP2010109483A (ja) 2008-10-28 2010-05-13 Honda Motor Co Ltd 車両周辺表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101846518A (zh) * 2004-09-30 2010-09-29 歌乐牌株式会社 泊车支援系统
US20060227214A1 (en) * 2005-04-11 2006-10-12 Valeo Vision Method, device and camera for detecting objects from digital images
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法
JP2010178018A (ja) * 2009-01-29 2010-08-12 Honda Motor Co Ltd 車両の周辺を画像表示するための装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101635A (zh) * 2016-05-05 2016-11-09 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN106101635B (zh) * 2016-05-05 2019-08-02 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN110139084A (zh) * 2016-05-05 2019-08-16 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN110139084B (zh) * 2016-05-05 2021-01-19 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN109661688A (zh) * 2016-09-12 2019-04-19 日立汽车系统株式会社 影像输出系统
US11023750B2 (en) 2016-09-12 2021-06-01 Hitachi Automotive Systems, Ltd. Video output system
CN109661688B (zh) * 2016-09-12 2021-10-15 日立安斯泰莫株式会社 影像输出系统
CN116916156A (zh) * 2023-08-16 2023-10-20 深圳金语科技有限公司 一种监视系统分视野显示方法及系统
CN116916156B (zh) * 2023-08-16 2023-12-05 深圳金语科技有限公司 一种监视系统分视野显示方法及系统

Also Published As

Publication number Publication date
EP2763404B1 (en) 2019-11-13
US20140232538A1 (en) 2014-08-21
JP5871006B2 (ja) 2016-03-01
JPWO2013046407A1 (ja) 2015-03-26
US9299260B2 (en) 2016-03-29
EP2763404A1 (en) 2014-08-06
WO2013046407A1 (ja) 2013-04-04
EP2763404A4 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
CN103843326A (zh) 图像显示装置及图像显示方法
CN103843325A (zh) 图像显示装置及图像显示方法
JP5421072B2 (ja) 接近物体検知システム
US10268905B2 (en) Parking assistance apparatus
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
CN106030679B (zh) 车辆周围监视装置
JP6045889B2 (ja) 車載用制御装置
JP5597454B2 (ja) 異常走行車両検出システムおよび道路監視プログラム
JP6642906B2 (ja) 駐車位置検出システム及びそれを用いた自動駐車システム
CN112349144A (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
JP2008222153A (ja) 合流支援装置
TWI533694B (zh) 車用障礙物偵測顯示系統
CN110226326B (zh) 用于检测车辆的周围环境区域的摄像设备及方法
JP4590962B2 (ja) 車両用周辺監視装置
JP2017159687A (ja) 駐車領域表示システム及びそれを用いた自動駐車システム
JP2002314989A (ja) 車両用周辺監視装置
CN102458923A (zh) 用于扩展可视区域的方法和设备
JP2008238927A (ja) 車両周辺画像表示装置
JP2009265802A (ja) 車両視界支援装置
JP4677820B2 (ja) 予測進路表示装置および予測進路表示方法
JP2002321579A (ja) 警告情報生成方法及び車両側方映像生成装置
JP4930432B2 (ja) 車両用周辺監視装置
JP5477394B2 (ja) 車両周辺監視装置
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP4176558B2 (ja) 車両周辺表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140604