CN103843325B - 图像显示装置及图像显示方法 - Google Patents

图像显示装置及图像显示方法 Download PDF

Info

Publication number
CN103843325B
CN103843325B CN201180073796.8A CN201180073796A CN103843325B CN 103843325 B CN103843325 B CN 103843325B CN 201180073796 A CN201180073796 A CN 201180073796A CN 103843325 B CN103843325 B CN 103843325B
Authority
CN
China
Prior art keywords
picture
image
drive supporting
display device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180073796.8A
Other languages
English (en)
Other versions
CN103843325A (zh
Inventor
祖父江有华
冈村龙路
森本爱
日荣悠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN103843325A publication Critical patent/CN103843325A/zh
Application granted granted Critical
Publication of CN103843325B publication Critical patent/CN103843325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

在具备后方广角相机(11)、对后方广角相机(11)所拍摄到的后方图像进行显示的ECU(20)及显示器(30)的驾驶支援显示装置(1)中,ECU(20)的显示控制部(25)及显示器(30)能够将后方图像分割成多个画面而进行显示,且能够显示对本车(100)的驾驶员的驾驶进行支援的移动物接近检测框(210)或行人检测框(212),在对移动物接近检测框(210)进行显示时和对移动物接近检测框(210)不进行显示时,改变进行显示的画面的个数。因此,驾驶员更容易识别对移动物接近检测框(210)进行显示的系统的工作时和非工作时。

Description

图像显示装置及图像显示方法
技术领域
本发明的一实施方式涉及一种对车辆的周边图像进行显示的图像显示装置及图像显示方法。
背景技术
在微低速行驶时,由于本车的死角及因壁或相邻的他车等遮挡物而产生的死角,驾驶员想要观察的场所有时无法通过目视看到。因此,提出了利用相机来拍摄本车的死角或因遮挡物而产生的死角、并使用显示器对所拍摄到的图像进行显示的装置。例如在专利文献1的装置中,对于利用具有180°的视角的广角相机所拍摄到的图像,通常时将180°的视角中的120°的范围显示在显示器上作为驻车支援图像。当检测出障碍物时,该装置将180°的广角的范围显示在显示器上作为驻车支援图像。
专利文献1:日本特开2009-65483号公报
发明内容
然而在上述的技术中,车辆以小于规定阈值的低速后退中的情况是上述的系统的工作条件。然而在上述技术中,例如车辆以阈值以上的高速后退中,在驾驶员未识别出装置的系统为非工作的情况下,尽管是系统的非工作的条件下,驾驶员也可能误解为能够接受系统的支援。这种情况下,即使画面中存在障碍物时,由于未切换成广角的图像,因此驾驶员可能误解为不存在障碍物而使车辆行驶。因此,以往的装置在系统的工作时和非工作时的识别容易度这点上还有改善的余地。
本发明的一实施方式考虑这种实际情况而作出,其目的在于提供一种更容易识别对驾驶员的驾驶进行支援的系统的工作时和非工作时的图像显示装置及图像显示方法。
本发明的一实施方式是一种图像显示装置,具备:图像取得单元,取得车辆的周边图像;及图像显示单元,显示图像取得单元所取得的周边图像,图像显示单元能够将周边图像分割成多个画面而进行显示,且能够对表示周边图像中所显现的物体的接近的驾驶支援显示进行显示,并且,在对驾驶支援显示进行显示时和对驾驶支援显示的至少一部分不进行显示时改变进行显示的画面的个数。
根据该结构,在具备取得车辆的周边图像的图像取得单元和对图像取得单元所取得的周边图像进行显示的图像显示单元的图像显示装置中,图像显示单元能够将周边图像分割成多个画面进行显示,且能够对表示周边图像中所显现的物体的接近的驾驶支援显示进行显示,在对驾驶支援显示进行显示时和对驾驶支援显示的至少一部分不进行显示时,改变进行显示的画面的个数。因此,驾驶员更容易识别对驾驶支援显示进行显示的系统的工作时和非工作时。
另外,图像显示单元能够将周边图像分割成左侧方画面、中央画面及右侧方画面而进行显示,在对驾驶支援显示进行显示时显示左侧方画面、中央画面及右侧方画面,并且,在对驾驶支援显示的至少一部分不进行显示时仅显示中央画面。
根据该结构,图像显示单元能够将周边图像分割成左侧方画面、中央画面及右侧方画面而进行显示,在对驾驶支援显示进行显示时显示左侧方画面、中央画面及右侧方画面,在对驾驶支援显示的至少一部分不进行显示时仅显示中央画面。因此,驾驶员容易识别对驾驶支援显示进行显示的系统的工作时和非工作时。而且,即使在对驾驶支援显示进行显示的系统的非工作时,也显示中央画面,因此也可以将中央画面用于周边监视。
另外,当左侧方画面及右侧方画面中任一画面上的周边图像中所显现的物体接近于车辆时,图像显示单元能够对表示物体的接近的驾驶支援显示进行显示。
根据该结构,当左侧方画面及右侧方画面中任一画面上的周边图像中所显现的物体接近于车辆时,图像显示单元对表示物体的接近的驾驶支援显示进行显示。因此,驾驶员即使注视中央画面,也容易发现从侧方接近的物体。
这种情况下,图像显示单元可以在车辆的速度及转向角中的任一个为规定阈值以上时对驾驶支援显示的至少一部分不进行显示。
根据该结构,图像显示单元在车辆的速度及转向角中的任一个为规定阈值以上时,不对驾驶支援显示进行显示。作为对物体的接近进行检测的方法,存在雷达、制导器、声纳及图像识别等,但在车辆的速度或转向角大的情况下,存在误检测或未检测等可能性。误检测或未检测会导致驾驶员对系统的不信任。因此,在车辆的速度及转向角为阈值以上时,通过对驾驶支援显示的至少一部分不进行显示,能够防止接近车辆的物体的误检测或未检测。
另外,本发明的一实施方式涉及一种图像显示方法,包括如下步骤:图像取得步骤,取得车辆的周边图像;及图像显示步骤,对由图像取得步骤取得的周边图像进行显示,图像显示步骤中,能够将周边图像分割成多个画面而进行显示,且能够对表示所述周边图像中所显现的物体的接近的驾驶支援显示进行显示,在对驾驶支援显示进行显示时和对驾驶支援显示的至少一部分不进行显示时,改变进行显示的画面的个数。
发明效果
根据本发明的一实施方式,更容易识别对驾驶员的驾驶进行支援的系统的工作时和非工作时。
附图说明
图1是表示实施方式的驾驶支援显示装置的结构的框图。
图2是表示适用实施方式的驾驶支援显示装置的状况的俯视图。
图3是表示实施方式的驾驶支援显示装置的基本动作的流程图。
图4是表示后方广角相机所拍摄到的未处理的原始图像的图。
图5是表示在实施方式的驾驶支援显示系统的工作时、不存在接近的移动物时的显示图像的图。
图6是表示在实施方式的驾驶支援显示系统的工作时、存在接近的移动物时的显示图像的图。
图7是表示在实施方式的驾驶支援显示系统的非工作时、不存在接近的移动物时的显示图像的图。
图8是是表示在实施方式的驾驶支援显示系统的非工作时、存在接近的移动物时的显示图像的图。
图9是表示在实施方式的驾驶支援显示装置的光流场的区域存在物体时的状况的俯视图。
图10是表示在实施方式的驾驶支援显示装置的光流场的区域存在物体时的驾驶支援的对象的俯视图。
图11是表示在实施方式的驾驶支援显示装置的图案匹配的区域存在物体时的状况的俯视图。
图12是表示在实施方式的驾驶支援显示装置的图案匹配的区域存在物体时的驾驶支援的对象的俯视图。
图13是表示实施方式的驾驶支援显示装置的与各支援区域及各对象物对应的动作的流程图。
图14是表示在实施方式的驾驶支援显示装置的光流场的区域存在移动物且在图案匹配的区域存在人时的显示图像的图。
图15是表示在实施方式的驾驶支援显示装置的图案匹配的区域存在人时的显示图像的图。
图16是表示其他实施方式的显示图像的图。
图17是表示其他实施方式的显示图像的图。
具体实施方式
以下,参照附图,说明本发明的实施方式的图像显示装置及图像显示方法。如图1所示,本实施方式的图像显示装置作为驾驶支援显示装置1而构成。驾驶支援显示装置1具备后方广角相机11、车速传感器12、转向角传感器13、ECU20及显示器30。本实施方式的驾驶支援显示装置1设于车辆,向驾驶员提供车辆的后方图像。
后方广角相机11是用于对车辆的后方图像进行拍摄的一台相机。后方广角相机11是视角为180°左右的广角相机。车速传感器12是对车辆的车速进行检测的传感器。例如车速传感器12通过检测车辆的车轴的旋转速度来检测车辆的车速。转向角传感器13是对车辆的转向角进行检测的传感器。档位传感器是检测车辆的变速器的档位是否处于后退(Reverse:R)的位置的传感器。
ECU(Electronic Control Unit:电子控制单元)20集中地控制驾驶支援显示装置1。ECU20是由CPU(Central Processing Unit:中央处理器)、ROM(Read Only Memory:只读存储器)、RAM(Random Access Memory:随机存储器)等构成的电子控制单元。在ECU20中,将存储在ROM中的应用程序下载到RAM中,由CPU执行,由此执行与图像显示相关的各种运算处理。
ECU20在按照其功能进行分类的情况下,具有移动物体检测部21、移动物轨道检测部22、移动物体位置/相对速度检测部23、危险度推定部24及显示控制部25。
移动物体检测部21如后述那样利用如下方法来检测由后方广角相机11所拍摄到的图像中的物体,该方法是:通过进行图像与规定图案的对照来检测显现在图像中的物体的基于图案匹配的方法;和通过对图像中的点随着时间的经过而移动的方向和速度进行解析来检测显现在图像中的物体的基于光流场的方法。此外,如后述那样,在通过图案匹配来检测物体的情况下,移动物体检测部21也能够检测静止物体。
移动物轨道检测部22根据由移动物体检测部21检测出的图像中的物体的位置及移动和由车速传感器12及转向角传感器13检测出的车辆的移动来检测图像中的物体的轨道。
移动物体位置/相对速度检测部23基于由移动物轨道检测部22检测出的图像中的物体的轨道来检测图像中的物体的位置和与车辆的相对速度。
危险度推定部24基于由移动物体位置/相对速度检测部23检测出的图像中的物体的位置及相对速度来推定图像中的物体的危险度。
显示控制部25如后述那样根据由移动物体位置/相对速度检测部23检测出的物体的位置及相对速度、由危险度推定部24推定出的危险度、由车速传感器12、转向角传感器13及档位传感器14检测出的车辆的状态,在显示器30上显示用于对驾驶员的驾驶进行支援的驾驶支援显示。
显示器30显示由后方广角相机11所拍摄到的后方图像。显示器30例如可以使用设置在驾驶席附近的监视器、在前挡风玻璃等上显示图像的平视显示器。
此外,在本实施方式中,驾驶支援显示装置1通过对由后方广角相机11所拍摄到的图像的图像识别来检测车辆附近的物体。然而,为了检测车辆附近的物体,也可以另外具备雷达、制导器、声纳等传感器。
以下,对本实施方式的驾驶支援显示装置1的动作进行说明。如图2所示,本实施方式的驾驶支援显示装置1在本车100后退而从驻车位置驶向道路的情况、及本车100后退而向驻车位置驻车的情况下适用,以对难以看到本车100的后方的驾驶员的驾驶进行支援。驾驶支援显示装置1检测后方广角相机11的拍摄范围即支援区域A内的他车V等,并向驾驶员报知。
首先,对本实施方式的驾驶支援显示装置1的基本动作进行说明。如图3所示,本实施方式的驾驶支援显示装置1的档位传感器14在本车100的变速器的档位处于后退的位置期间成为工作状态(S101)。
驾驶支援显示装置1的ECU20的显示控制部25判定车速传感器12及转向角传感器13的检测值是否满足在驾驶支援显示装置1的驾驶支援系统内报知来自侧方的移动物的系统的工作条件(S102)。
作为对移动物进行检测的方法,存在雷达、制导器、声纳及图像识别等,但根据传感器的性能、图像识别的精度,因本车100的速度、转向角等条件而存在误检测或未检测等可能性。误检测及未检测会使驾驶员对驾驶支援显示装置1的驾驶支援系统怀有不信任感。因此,在本实施方式中,在速度、转向角成为规定阈值以上的情况下将对来自侧方的移动物进行报知的驾驶支援系统设为非工作。
例如图2所示的状况那样,仅在本车100起步时,在驾驶支援显示装置1将本车100侧方的移动物体向驾驶员报知的情况下,能够将速度为0km/h附近的情况、或者速度为0.1~3km/h以下或4km/h以下的情况设为将本车100侧方的移动物体向驾驶员报知的驾驶支援系统的工作条件。
在对侧方的移动物体进行报知的驾驶支援系统的工作条件的情况下(S102),显示控制部25将由后方广角相机11所拍摄到的图像一分为三而显示在显示器30上(S103)。如图4的显示画面200所示,由后方广角相机11所拍摄到的原始图像具有180°的视角。图像的左右端部由于广角镜头的像差会产生越靠近左右端部则看起来越向上方变小的失真。
在本实施方式中,如图5所示,将由后方广角相机11所拍摄到的图像一分为三而分割成左右的后侧方画面204及中央的后方画面202并显示在显示画面200上。左右的后侧方画面204及中央的后方画面202之间隔开规定间隔,以使驾驶员能容易判别由后方广角相机11所拍摄到的图像被分割的情况。这种情况下的间隔可以设为2~10mm程度。
显示控制部25对左右的后侧方画面204的图像实施校正由广角镜头的像差引起的失真的失真校正。显示控制部25对应于对左右的后侧方画面204实施的失真校正,将左右的后侧方画面204显示成具有与画面的左右垂直的对边的梯形。显示控制部25将后侧方画面204显示成,随着靠近左后侧方画面204的左侧方及右后侧方画面204的右侧方,后侧方画面204的上下的宽度变窄。而且,显示控制部25将后侧方画面204显示成,左后侧方画面204的上下边朝向左上方且右后侧方画面204的上下边朝向右上方。
显示控制部25将中央的后方画面202显示成为长方形。显示控制部25对显示范围标记206进行显示,该显示范围标记206表示左右的后侧方画面204及中央的后方画面202的图像是本车100的哪个位置的图像。而且,在本车100后退时,显示控制部25将用作驾驶员的驾驶基准的车宽线208显示在中央的后方画面202上。由此,左右的后侧方画面204及中央的后方画面202的图像分别成为不同的图像。
驾驶支援显示装置1的ECU20的移动物体检测部21在通过后述的光流场的方法检测出他车V等移动物体时(S104),显示控制部25如图6所示那样地显示将他车V向本车100接近的一侧的后侧方画面204及后方画面202的一部分从他车V接近的方向包围的移动物接近检测框210(S105)。移动物接近检测框210包围的范围表示后侧方画面204及后方画面202的图像中的基于光流场的检测范围。此外,在本实施方式中,在本车100附近存在行人等静止物体的情况下也向驾驶员报知,但关于此时的动作,在后面叙述。
在车速或转向角超过规定阈值且不满足对侧方的移动物体进行报知的驾驶支援系统的工作条件时(S102),显示控制部25使驾驶支援系统的一部分不工作,如图7所示仅显示中央的后方画面202(S106)。这种情况下,如图8所示,驾驶员通过后方画面202能够确认他车V等物体接近本车100附近的情况。因此,即使在对侧方的移动物体进行报知的驾驶支援系统的非工作时,也可以利用驾驶支援显示装置1作为对本车100后退时的驾驶进行支援的监视器。而且,即使在对侧方的移动物体进行报知的驾驶支援系统的非工作时,也可以通过后述的基于图案匹配的方法,检测中央的后方画面202的图像中的行人等,向驾驶员报知。
以下,对本实施方式的驾驶支援显示装置1的检测物体的动作进行说明。如图9所示,在本实施方式中,在显示于后侧方画面204上的范围即光流场支援区域Aop中,通过解析图像中的点随着时间的经过而移动的方向和速度来进行检测显现在图像上的物体的基于光流场的物体的检测。另一方面,在显示于后方画面202上的范围即图案匹配支援区域Apm中,通过进行图像与规定图案的对照,来进行检测显现在图像上的物体的基于图案匹配的物体的检测。
在图9的例子中,他车V从光流场支援区域Aop向本车100接近,驾驶支援显示装置1的ECU20的移动物体检测部21通过光流场来检测他车V。在图10的例子中,他车V及行人P从光流场支援区域Aop向本车100接近,移动物体检测部21通过光流场来检测他车V及行人P。在任一例子中,在光流场支援区域Aop中,都能够检测从远方接近的移动物体。在光流场支援区域Aop中,无法检测静止物体。然而,只要不是在本车100附近,就不存在静止物体与本车100接触的可能性,因此在光流场支援区域Aop中,通过基于光流场的方法仅检测移动物体。
在图11的例子中,行人P从图案匹配支援区域Apm接近本车100,驾驶支援显示装置1的ECU20的移动物体检测部21通过图案匹配来检测行人P。在图12的例子中,存在从图案匹配支援区域Apm向本车100移动的行人P及静止的行人P,移动物体检测部21通过图案匹配来分别检测行人P。无论在哪个例子中,在图案匹配支援区域Apm中,都能够检测本车100附近的移动物体及静止物体。在图案匹配支援区域Apm中,是本车100移动的范围,存在静止物体与本车100接触的可能性,因此静止物体也需要检测。在图案匹配支援区域Apm中,移动物体检测部21主要进行人的图案与图像中的物体的对照来作为对照用的图案。此外,关于本车100附近,即使通过声纳来检测静止物体,也能够应对。
如图13所示,在驾驶支援显示装置1的ECU20的移动物体检测部21检测出他车V或人等移动物体向光流场支援区域Aop内且向支援区域A内接近的情况的情况下(S201),并且移动物体检测部21检测出行人P等物体存在于图案匹配支援区域Apm内且存在于支援区域A内的情况下(S202),ECU20的危险度推定部24根据物体的位置及相对速度来推定危险度(S203)。ECU20的显示控制部25基于危险度而在后方画面202及后侧方画面204上闪烁地显示:将图14所示的他车V所接近的一侧的后侧方画面204的一部分包围的移动物接近检测框210;和将行人P包围的行人检测框212(S204)。
物体的位置距本车100越近,危险度推定部24推定为该物体的危险度越高。物体的与本车100的相对速度越大,危险度推定部24推定为该物体的危险度越高。危险度推定部24所推定的危险度越高,显示控制部25越提前对移动物接近检测框210及行人检测框212进行显示的时期。危险度推定部24所推定的危险度越高,显示控制部25越缩短使移动物接近检测框210及行人检测框212闪烁的间隔。
或者,显示控制部25可以以危险度推定部24所推定的危险度越高则移动物接近检测框210及行人检测框212的亮度越高的方式进行显示。或者,显示控制部25也可以随着危险度推定部24所推定的危险度的升高而使移动物接近检测框210及行人检测框212的颜色发生变化地进行显示。例如,显示控制部25可以随着危险度推定部24所推定的危险度的升高、从蓝色、黄色变化为红色而进行显示。
在移动物体检测部21检测出他车V或人等移动物体向光流场支援区域Aop内接近且向支援区域A内接近的情况下(S201),并且移动物体检测部21未检测出行人P等物体存在于图案匹配支援区域Apm内且存在于支援区域A内的情况下(S202),危险度推定部24根据物体的位置及相对速度来推定危险度(S205)。显示控制部25如上述那样以危险度为基础,使将图6所示的他车V所接近的一侧的后侧方画面204的一部分包围的移动物接近检测框210在后侧方画面204上闪烁而进行显示(S206)。
在移动物体检测部21检测出他车V或人等移动物体接近光流场支援区域Aop内且接近支援区域A内的情况下(S201),并且移动物体检测部21检测出行人P等物体存在于图案匹配支援区域Apm内且存在于支援区域A内的情况下(S207),危险度推定部24根据物体的位置及相对速度来推定危险度(S208)。显示控制部25如上述那样基于危险度而在后方画面202及后侧方画面204上闪烁地显示:将图15所示的他车V所接近的一侧的后侧方画面204的一部分包围的移动物接近检测框210;和将行人P包围的行人检测框212(S204)。
根据本实施方式,在具备后方广角相机11和显示后方广角相机11所拍摄到的后方图像的ECU20及显示器30的驾驶支援显示装置1中,ECU20的显示控制部25及显示器30将后方图像分割成左右的后侧方画面204及中央的后方画面202进行显示,因此驾驶员容易判别显示何处。而且,显示控制部25及显示器30在左右的后侧方画面204及中央的后方画面202不再显示相同图像,因此驾驶员容易判别后方图像中的物体与本车100的距离。而且,显示控制部25实施对显示在左右的后侧方画面204上的后方图像的失真进行校正的失真校正,因此驾驶员能够看到校正了失真后的容易观察的后方图像。而且,显示控制部25将左右的后侧方画面204的形状形成为与失真校正对应的形状,因此驾驶员容易判别后方图像中的物体从何处接近。
另外,显示控制部25实施对显示在左右的后侧方画面204上的周边图像的广角镜头的像差所引起的失真进行校正的失真校正,越靠近左后侧方画面204的左侧方及右后侧方画面204的右侧方,则越缩窄后侧方画面204的上下的宽度,左后侧方画面204的上下的边形成朝向左上方的形状,右后侧方画面204的上下的边形成具有朝向右上方的部分的梯形。因此,驾驶员容易判别后方图像显现何处。而且,驾驶员容易判别后方图像中的物体从何处接近。
另外,显示控制部25在左右的后侧方画面204及中央的后方画面202各自之间隔开间隔进行显示。因此,驾驶员容易判别左右的后侧方画面204及中央的后方画面202分别被分割。
另外,在显现在左右的侧方画面204的任一后方图像上的物体接近本车100时,显示控制部25对表示物体的接近的移动物接近检测框210进行显示。因此,驾驶员即使注视中央的后方画面202,也容易发现从侧方接近的物体。
即,在本实施方式中,通过增大中央的后方画面202,容易使用显示画面200作为后退引导监视器。通过增大后方画面202并减小后侧方画面204进行显示,从侧方接近的物体在画面上减小。然而,即使驾驶员注视中央的后方画面202,驾驶员也容易通过移动物接近检测框210来发现从侧方接近的物体。而且,在本实施方式中,不存在将画面从普通向广角切换的麻烦。
另外,根据本实施方式,在具备后方广角相机11和对后方广角相机11所拍摄到的后方图像进行显示的ECU20及显示器30的驾驶支援显示装置1中,ECU20的显示控制部25及显示器30将后方图像分割成多个画面进行显示,且能够显示对本车100的驾驶员的驾驶进行支援的移动物接近检测框210及行人检测框212,在显示移动物接近检测框210时和不显示移动物接近检测框210时,对显示的画面的个数进行变更。因此,驾驶员更容易识别对移动物接近检测框210进行显示的系统的工作时和非工作时。
另外,显示控制部25能够将后方图像分割成左右的后侧方画面204及中央的后方画面202进行显示,在显示移动物接近检测框210及行人检测框212时,对左右的后侧方画面204及中央的后方画面202进行显示,在不显示移动物接近检测框210时,仅显示中央的后方画面202。因此,驾驶员容易识别对移动物接近检测框210进行显示的系统的工作时和非工作时。而且,即使在对移动物接近检测框210进行显示的系统的非工作时,中央的后方画面202也被显示,因此可以将中央的后方画面202用于后方监视。
另外,在显现于左右的后侧方画面204上的物体接近本车100时,显示控制部25对表示物体的接近的移动物接近检测框210进行显示。因此,驾驶员即使注视中央画面,也容易发现从侧方接近的物体。
另外,在本车100的速度及转向角中的任一个为规定阈值以上时,显示控制部25不显示移动物接近检测框210。作为对物体的接近进行检测的方法,存在雷达、制导器、声纳及图像识别等,但是在车辆的速度或转向角大的情况下,存在误检测或未检测等可能性。误检测或未检测会导致驾驶员对系统的不信任。因此,在本车100的速度及转向角为阈值以上时不显示移动物接近检测框210,由此能够防止接近本车100的物体的误检测或未检测。
另外,根据本实施方式,在具备后方广角相机11和对后方广角相机11所拍摄到的后方图像进行显示的ECU20及显示器30的驾驶支援显示装置1中,ECU20的显示控制部25及显示器30将后方图像分割成左右的后侧方画面204及中央的后方画面202进行显示,对于中央的后方画面202的图像,通过进行图像与规定图案的对照来检测显现在图像上的物体,对于左右的后侧方画面204的图像,对图像中的点随着时间的经过而移动的方向和速度进行解析,由此检测显现在图像上的物体,对表示所检测出的物体的存在的移动物接近检测框210或行人检测框212进行显示。因此,能够通过进行图像与规定图案的对照的图案匹配的方法来检测停止于本车100正面附近的人、本车100移动时存在于本车100正面附近的人等,并能够向驾驶员报知所检测出的人等的存在。而且,能够通过对图像中的点随着时间的经过而移动的方向和速度进行解析的光流场的方法来检测从本车100侧方的远方接近的人及车辆等,并能够向驾驶员报知所检测出的人及车辆等的存在。因此,能够根据物体的位置、速度及种类而更适当地检测并显示物体。
另外,显示控制部25在检测出显现于中央的后方画面202的图像上的行人P时对包围行人P的行人检测框212进行显示,在检测出显现在左右的后侧方画面204任一图像上的物体时,对将检测出物体的左右的后侧方画面204中的任一后侧方画面204的至少一部分包围的移动物接近检测框210进行显示。由此,驾驶员能够识别出在中央的后方画面202和左右的后侧方画面204中检测物体的方法不同。即,在中央的后方画面202和左右的后侧方画面204上改变框的包围方式,由此能够将在中央的后方画面上仅检测人的情况向驾驶员通知。
驾驶员大多主要在起步时确认侧方,而在起步时和移动时确认后方中央。在移动时的情况下,由于需要更迅速地确认物体,因此通过利用行人检测框212包围物体,也能够识别物体的位置。
此外,本发明并未限定为上述的实施方式,当然能够在不脱离本发明的主旨的范围内施加各种变更。例如,上述实施方式中的驾驶支援显示装置1的处理负载高的情况下,如图16所示,只要对应于失真校正而将后侧方画面204’的尺寸减小即可。如上述那样,将检测出移动物的情况向驾驶员报知的移动物接近检测框210根据检测出物体的范围进行变更。在后侧方画面204’内的情况下,可以仅在后侧方画面204’上显示移动物接近检测框210。
另外,在上述实施方式中,在驾驶支援系统的非工作时,将后侧方画面204删除。然而,若在驾驶支援系统的非工作时将后侧方画面204删除,则对于驾驶员而言,尽管想要观察后侧方画面204但有时会感觉看不到。因此,如图17所示,在驾驶支援系统的非工作时,也可以显示后侧方画面204,并且在后侧方画面204上显示非工作显示线214。
工业实用性
根据上述的本发明的一实施方式的图像显示装置及图像显示方法,更容易识别对驾驶员的驾驶进行支援的系统的工作时和非工作时。
附图标记说明
1 驾驶支援显示装置
11 后方广角相机
12 车速传感器
13 转向角传感器
14 档位传感器
20 ECU
21 移动物体检测部
22 移动物轨道检测部
23 移动物体位置/相对速度检测部
24 危险度推定部
25 显示控制部
30 显示器
100 本车
200 显示画面
202 后方图像
204、204’ 后侧方图像
206 显示范围标记
208 车宽线
210 移动物接近检测框
212 行人检测框
214 非工作显示线
A…支援区域
Aop…光流场区域
Apm…图案匹配区域
V…他车
P…行人

Claims (5)

1.一种图像显示装置,具备:
图像取得单元,取得车辆的周边图像;及
图像显示单元,显示所述图像取得单元所取得的所述周边图像,
所述图像显示单元能够将所述周边图像分割成多个画面而进行显示,且能够对表示所述周边图像中所显现的物体的接近的驾驶支援显示进行显示,并且,在对所述驾驶支援显示进行显示时和对所述驾驶支援显示的至少一部分不进行显示时,进行显示的所述画面的个数不同。
2.根据权利要求1所述的图像显示装置,其中,
所述图像显示单元能够将所述周边图像分割成左侧方画面、中央画面及右侧方画面而进行显示,在对所述驾驶支援显示进行显示时显示所述左侧方画面、所述中央画面及所述右侧方画面,并且,在对所述驾驶支援显示的至少一部分不进行显示时仅显示所述中央画面。
3.根据权利要求2所述的图像显示装置,其中,
当所述左侧方画面及所述右侧方画面中任一画面上的所述周边图像中所显现的物体接近于所述车辆时,所述图像显示单元对表示所述物体的接近的所述驾驶支援显示进行显示。
4.根据权利要求3所述的图像显示装置,其中,
所述图像显示单元在所述车辆的速度及转向角中的任一个为规定阈值以上时对所述驾驶支援显示的至少一部分不进行显示。
5.一种图像显示方法,包括如下步骤:
图像取得步骤,取得车辆的周边图像;及
图像显示步骤,对由所述图像取得步骤取得的所述周边图像进行显示,
所述图像显示步骤中,能够将所述周边图像分割成多个画面而进行显示,且能够对表示所述周边图像中所显现的物体的接近的驾驶支援显示进行显示,并且,在对所述驾驶支援显示进行显示时和对所述驾驶支援显示的至少一部分不进行显示时,进行显示的所述画面的个数不同。
CN201180073796.8A 2011-09-29 2011-09-29 图像显示装置及图像显示方法 Active CN103843325B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/072468 WO2013046408A1 (ja) 2011-09-29 2011-09-29 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
CN103843325A CN103843325A (zh) 2014-06-04
CN103843325B true CN103843325B (zh) 2017-04-12

Family

ID=47994515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073796.8A Active CN103843325B (zh) 2011-09-29 2011-09-29 图像显示装置及图像显示方法

Country Status (5)

Country Link
US (1) US9296336B2 (zh)
EP (1) EP2763405B1 (zh)
JP (1) JP5895941B2 (zh)
CN (1) CN103843325B (zh)
WO (1) WO2013046408A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP6100635B2 (ja) * 2012-12-13 2017-03-22 株式会社デンソー 移動体検出装置
JP6036548B2 (ja) * 2013-05-22 2016-11-30 株式会社デンソー 車両用の映像制御装置
JP6232759B2 (ja) 2013-06-07 2017-11-22 ソニー株式会社 情報処理装置、接近対象物通知方法及びプログラム
JP6184877B2 (ja) * 2014-01-09 2017-08-23 クラリオン株式会社 車両用外界認識装置
US9098753B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
JP6398675B2 (ja) 2014-12-09 2018-10-03 株式会社デンソー 画像生成装置
WO2016107674A1 (en) * 2014-12-31 2016-07-07 Daimler Ag Method supporting passengers of autonomous driving vehicles
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
US10150414B2 (en) 2016-07-08 2018-12-11 Ford Global Technologies, Llc Pedestrian detection when a vehicle is reversing
JP6620715B2 (ja) * 2016-10-20 2019-12-18 株式会社デンソー 画像認識装置
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Subaru 画像表示装置
CN110134155A (zh) * 2019-04-24 2019-08-16 薄涛 跟随幕布、控制方法、装置及存储介质
CN116916156B (zh) * 2023-08-16 2023-12-05 深圳金语科技有限公司 一种监视系统分视野显示方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JP3685574B2 (ja) * 1997-01-30 2005-08-17 大阪瓦斯株式会社 運転支援画像取り込み装置
JP4786076B2 (ja) 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP4985250B2 (ja) 2007-09-06 2012-07-25 株式会社デンソー 駐車支援装置
JP5470716B2 (ja) * 2008-02-28 2014-04-16 日産自動車株式会社 車両用画像表示システム及び画像表示装置並びに画像の強調方法
JP2010109483A (ja) * 2008-10-28 2010-05-13 Honda Motor Co Ltd 車両周辺表示方法
JP5262897B2 (ja) 2009-03-25 2013-08-14 株式会社デンソー 表示装置
JP2012034076A (ja) * 2010-07-29 2012-02-16 Alps Electric Co Ltd 車両用視覚補助システム及び該システムを備える車両
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統

Also Published As

Publication number Publication date
WO2013046408A1 (ja) 2013-04-04
CN103843325A (zh) 2014-06-04
US9296336B2 (en) 2016-03-29
US20140225723A1 (en) 2014-08-14
EP2763405A4 (en) 2015-01-21
JP5895941B2 (ja) 2016-03-30
EP2763405A1 (en) 2014-08-06
EP2763405B1 (en) 2017-06-28
JPWO2013046408A1 (ja) 2015-03-26

Similar Documents

Publication Publication Date Title
CN103843325B (zh) 图像显示装置及图像显示方法
JP5639283B2 (ja) 車両周辺監視装置
JP6045889B2 (ja) 車載用制御装置
JP5597454B2 (ja) 異常走行車両検出システムおよび道路監視プログラム
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US8660737B2 (en) Vehicle handling assistant apparatus
JP2011175468A (ja) 区画線検出装置
JP2010044561A (ja) 乗物搭載用監視装置
WO2013191078A1 (ja) 車両周辺対象物検出装置
KR101749873B1 (ko) 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
US10696228B2 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and program
KR20140054926A (ko) 사이드 영상 제공 장치 및 이를 포함하는 차량
JP2007128460A (ja) 衝突判定システム、衝突判定方法、コンピュータプログラム及び判定装置
KR101525516B1 (ko) 카메라 영상 처리 시스템 및 이의 오염 처리 방법
JP2007264717A5 (zh)
US7885430B2 (en) Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program
JP5997962B2 (ja) 車載レーンマーカ認識装置
JP4798576B2 (ja) 付着物検出装置
KR20170060449A (ko) 표지판 인식을 이용한 진입 가능 알림 시스템 및 방법
JP2016013890A (ja) クレーン車の障害物報知システム
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP2007286873A (ja) 車載周辺他車検出装置
KR101405327B1 (ko) 차량용 감지장치
KR101850030B1 (ko) 조도를 이용한 차선 변경 보조 방법 및 장치
JP5861584B2 (ja) ふらつき判定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant