CN102652327B - 车辆周边监视装置 - Google Patents

车辆周边监视装置 Download PDF

Info

Publication number
CN102652327B
CN102652327B CN201080055520.2A CN201080055520A CN102652327B CN 102652327 B CN102652327 B CN 102652327B CN 201080055520 A CN201080055520 A CN 201080055520A CN 102652327 B CN102652327 B CN 102652327B
Authority
CN
China
Prior art keywords
vehicle
image
object detection
detection portion
definite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080055520.2A
Other languages
English (en)
Other versions
CN102652327A (zh
Inventor
池田圭吾
门胁淳
加藤隆志
中村吉宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN102652327A publication Critical patent/CN102652327A/zh
Application granted granted Critical
Publication of CN102652327B publication Critical patent/CN102652327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

能够明确检测结果的正确性,并且使驾驶员能够直观把握物体存在的位置的周边监视装置,具有:物体检测部,检测车辆周围的物体;车辆图像生成部,生成以车辆上方为视点的车辆的图像;周围图像生成部,生成包括车辆的图像的车辆的周围图像;位置计算部,基于物体检测部的检测结果,计算周围图像中的对应的位置;明确显示部,在物体检测部的检测结果的确切度在预先设定的判断阈值以上时,对周围图像中的对应的位置进行明确显示,并且,在检测结果的确切度小于判断阈值时,对周围图像中的对应的区域进行明确显示。

Description

车辆周边监视装置
技术领域
本发明涉及用于报告车辆周围存在的物体的车辆周边监视装置。 
背景技术
以往,已经使用了对车辆驾驶员报告自身车辆周围存在的物体的车辆周边监视装置。作为这种技术,来源于由下述的专利文献1-3的记载。 
专利文献1记载的物体检测装置,具有通过雷达来测定物体的雷达检测单元以及通过图像来检测物体的图像检测单元,通过复合使用这些单元,来提高对车辆周边存在的物体的识别精度。另一方面,在物体距离车辆远的情况下,图像检测单元的识别精度变差(不好),因此,此时与从车辆到物体的距离近的情况相比,要放宽判断条件来进行判断。 
专利文献2记载的图像显示制御装置,对自身车辆周围存在的对象物进行检测,根据危险度来强调显示。危险度是根据自身车辆的速度、与对象物之间的距离、对象物的种类来决定的。 
专利文献3记载的车辆用周边监视装置,是对驾驶员的(视觉)死角区域进行监视的技术。该车辆用周边监视装置,在车辆前方具有用于拍摄死角区域的实际图像的实际图像拍摄单元。为了使驾驶员能够直观把握该实际图像的进深,针对该实际图像重叠显示出表示道路进深感的格子状网格图像。在到达了驾驶员能够通过肉眼确认死角区域的位置的情况下,停止格子状网格图像的重叠显示。 
现有技术文献 
专利文献 
专利文献1:JP特开2006-292475号公报 
专利文献2:JP特开2009-40107号公报 
专利文献3:JP特开2009-226978号公报 
发明内容
发明要解决的问题 
在专利文献1中,没有记载任何报告检测出物体的情况的方法。另外,就放宽判断条件而言,仅简单地对驾驶员传递存在障碍物的信息,无法同时保证障碍物的判断精度和安全性。即,无论判断精度如何,驾驶员都需要细心注意安全方面。因此,对判断精度(检测精度)低的障碍物也需要注意,有可能因精神疲劳而招致驾驶障碍(麻烦)。 
在专利文献2记载的物体检测装置中,在危险认知这点上缺乏直观性。在自身车辆与障碍物距离近的情况下,需要进一步提高危险等级进行报告,但在画面上无法直接表现出来。即,虽然能够报告出“非常危险”、“有些危险”,但无法实现“距离近,因此危险”、“虽然远,但仍有些危险”这样的表现。虽然可以增加报告方式(例如图标)的种类等,但种类的增加会导致系统复杂化和直观性下降。另外,在使用广角镜头来取得表示车辆周围状况的拍摄图像的情况下,驾驶员看到拍摄图像时,该拍摄图像有可能是变形的,特别难以识别与障碍物之间的距离以及方向。因此,在显示“非常危险”这样的图标的情况下,很难确定是否因距离作为对象的障碍物近而导致非常危险。 
专利文献3记载的车辆用周边监视装置,在格子状网格上用规定标识表示所识别的障碍物,并且在障碍物移动时显示箭头等。然而,没有公开危险等级的判断以及与此相伴的切换显示等。另外,在画面上方的空间显示格子状网格和障碍物图标,因此在确认所述空间显示的图标后,需要花费功夫使视线下移来确认其正下方的实际障碍物。因此,即使在画面下方的路面上重叠显示格子状网格,视觉确认性也会下降。 
本发明的目的在于,鉴于上述问题,提供一种车辆周边监视装置,能够明确地对驾驶员传达检测结果的正确性,并且能够通过报告而使驾驶员直观把握物体存在的位置。 
用于解决问题的手段 
为了达到上述目的,本发明的周边监视装置的特征结构在于,具有:物体检测部,其安装在车辆上,检测所述车辆周围的物体;车辆图像生成部,其生成以所述车辆的上方为视点的所述车辆的图像;周围图像生成部,其生成以所述视点观察时所见的所述车辆的周围图像,所述周围图像是将所述车辆的图像的周围划分为多个区域而成的;位置计算部,其基于所述物体检测部的检测结果,计算所述周围图像中的对应的位置;确切度判断部,其判断由所述物体检测部检测出的检测结果的确切度是否在预先设定的判断阈值以上;明确显示部,在所述检测结果的确切度小于所述判断阈值的情况下,该明确显示部基于所述位置计算部的计算结果,在所述周围图像中划分出的多个区域中,按照划分出的所述区域,对表示存在所述物体的区域进行明确显示,在所述检测结果的确切度在所述判断阈值以上的情况下,该明确显示部基于所述位置计算部的计算结果,与划分出的所述区域无关地,对所述周围图像中的表示存在所述物体的区域的位置进行明确显示。 
通过这种特征结构,驾驶员能够确认从上方观察车辆时的周围的状况,因此,能够直观把握车辆与物体的位置关系。另外,能够根据物体检测部检测出的检测结果,改变明确显示物体存在的方式。由此,驾驶员也能够明确理解物体检测部的检测的正确性。 
另外,优选地,所述物体检测部由检测方法不同的多个物体检测部构成;所述确切度判断部,在所述多个物体检测部中的至少两个物体检测部的检测结果之间存在相关关系的情况下,判断为所述确切度在所述判断阈值以上。 
通过这种结构,能够恰当地判断物体检测部的检测结果的确切度。因此,明确显示部能够根据检测结果的正确性来恰当地明确显示物体的存在。 
另外,优选地,所述至少两个物体检测部,包括第一物体检测部和第二物体检测部,所述第一物体检测部检测相对于所述车辆来说所述物体存在的方向,所述第二物体检测部至少检测在检测范围内存在的所述物体与所述车辆的距离,所述检测范围是指,从所述车辆开始以预先设定的规定角度规定的范围。 
通过这种结构,能够根据物体相对于车辆的方向以及车辆与物体的距离,来正确确定物体存在的位置。因此,能够对驾驶员进行正确性良好的报告。 
另外,优选地,所述第一物体检测部,通过对拍摄图像所含的物体进行图像识别,由此检测所述方向,所述拍摄图像是对所述车辆周围的状况进行拍摄而取得的图像,并且,所述第二物体检测部,基于在所述检测范围内发送的发送波与该发送波遇到物体后被反射的反射波之间的差,来检测所述距离;所述确切度判断部,在所述第一物体检测部检测出的所述方向被包含在由所述第二物体检测部检测出在与所述车辆相距规定距离处存在物体的检测范围内的情况下,判断为存在上述相关关系,进而判断为所述确切度在判断阈值以上。 
通过这种结构,确切度判断部能够恰当地判断第一物体检测部的检测结果与第二物体检测部的检测结果之间是否有相关关系,因此,能够针对这些检测结果的确切度进行恰当地判断。 
另外,所述第一物体检测部,通过对拍摄图像所含的物体进行图像识别,由此检测所述方向,所述拍摄图像是对所述车辆周围的状况进行拍摄而取得的图像,并且,所述第二物体检测部,基于在所述检测范围内发送的发送波与该发送波遇到物体后被反射的反射波之间的差,来检测所述距离;所述确切度判断部,通过图像识别来计算由所述第一物体检测部取得的拍摄图像所含的物体与所述车辆之间的距离,在该计算的结果与由所述第二物体检测部检测出的所述距离大致一致的情况下,判断为存在所述相关关系,进而判断为所述确切度在判断阈值以上。 
通过这种结构,确切度判断部能够恰当地判断第一物体检测部的检测结果与第二物体检测部的检测结果之间是否有相关关系,因此,能够针对这些检测结果的确切度进行恰当地判断。 
另外,优选地,所述明确显示部,在所述确切度在预先设定的判断阈值以上的情况下,在所述周围图像中的对应的位置上显示标志。 
通过这种结构,能够对驾驶员同时恰当地传递物体存在的信息以及物体检测部的检测结果的正确性高的信息。 
另外,优选地,所述明确显示部,在所述确切度小于预先设定的判断阈值的情况下,对所述周围图像中的对应的区域进行着色。 
通过这种结构,能够对驾驶员同时恰当地传递物体存在的信息以及物体检测部的检测结果的正确性低的信息。 
附图说明
图1是示意表示车辆周边监视装置的概略结构的框图。 
图2是表示车辆所安装的摄像头(camera)以及摄像头的拍摄范围的图。 
图3是表示车辆所安装的声纳(sound navigation ranging:声波定位仪)以及声纳的检测范围的图。 
图4是表示车辆的图像(image)以及周围图像的图。 
图5是表示在周围图像上明确显示车辆周围存在的物体的情况的一例的图。 
图6是车辆周边监视装置所进行的处理的流程图。 
具体实施方式
下面,详细说明本发明的实施方式。本发明的车辆周边监视装置100,具有对车辆50(参照图2)的周边进行监视的功能。更为详细来说,本车辆周边监视装置100具有如下功能:对车辆50周边存在的物体进行检测,通过报告,使车辆50的驾驶员直观识别出该物体的存在。图1是示意表示本发明的车辆周边监视装置100的概略结构的框图。该车辆周边监视装置100包括:物体检测部11、确切度判断部12、位置计算部13、车辆图像生成部14、周围图像生成部15、明确显示部16、显示图像生成部17、监视器18。就这样构成的车辆周边监视装置100而言,能够以CPU为核心,通过硬件或软件或这两者结合,来构建用于进行监视车辆50周边的各种处理的上述功能部。 
物体检测部11安装在车辆50上,用于检测该车辆50周围的物体。在本实施方式中,车辆50周围相当于车辆50的前方、后方、左侧方、右侧方。也能够做成对车辆50的前方、后方、左侧方、右侧方中的至少一方存在的物体进行检测的结构。另外,就物体而言,不限于移动物,也包括停止(静止)状态的物体。通过物体检测部11检测出这种物体,由此,车辆周边监视装置100将该物体识别为障碍物。 
物体检测部11由检测方法不同的多个物体检测部构成。检测方法是物体检测部11进行检测的方法。因此,检测方法不同是指,进行检测的方法种类不同。在本实施方式中,通过这样不同的检测方法,来检测物体相对于车辆50的方向以及物体与车辆50的距离。物体检测部11由这样的检测方法不同的多个物体检测部构成。在本实施方式中,为了容易理解,将多个物体检测部设为第一物体检测部21和第二物体检测部22这两个检测部进行说 明。 
第一物体检测部21检测相对于车辆50来说物体存在的方向和距离。在本实施方式中,使用安装在车辆50上的摄像头,来作为第一物体检测部21。在图2中,表示安装在车辆50上的摄像头。车辆50具有:前摄像头31、侧摄像头32、后摄像头33。前摄像头31用于获取通过拍摄车辆50前方的情景而得到的拍摄图像。前摄像头31例如由CCD(charge-coupled device:电荷耦合器件)摄像头等构成。如图2所示,这种前摄像头31装配在车辆50的前部(例如前栅等)。前摄像头31优选例如用鱼眼镜头构成,此时,能够获取至少包括图2的A所示的区域的情景在内的拍摄图像。 
侧摄像头32安装在车辆50的侧反光镜60上。另外,该侧摄像头32由一对侧摄像头32a、32b(左侧摄像头32a以及右侧摄像头32b)构成,这一对侧摄像头32a、32b用于获取对包括侧反光镜60的铅直下方在内的车辆50左侧方的情景以及右侧方的情景进行拍摄而得的拍摄图像。在本实施方式中,如图2所示,相对于车辆50的前进方向,将左侧方的侧反光镜60a所安装的摄像头作为左侧摄像头32a进行说明;相对于前进方向,将右侧方的侧反光镜60b所安装的摄像头作为右侧摄像头32b进行说明。另外,在不需要特别限定左侧摄像头32a和右侧摄像头32b中的某一个的情况下,仅记为侧摄像头32。 
左侧摄像头32a,对包括左侧方的侧反光镜60a的铅直下方在内的车辆50的左侧方的情景进行拍摄,从而获取拍摄图像。与上述前摄像头31同样地,侧摄像头32也优选用鱼眼镜头构成。此时,通过左侧摄像头32a,获取至少对图2的B所示的区域的情景进行拍摄而得的拍摄图像。右侧摄像头32b,对包括右侧方的侧反光镜60b的铅直下方在内的车辆50的右侧方的情景进行拍摄,从而获取拍摄图像。通过右侧摄像头32b,获取至少对图2的C所示的区域的情景进行拍摄而得的拍摄图像。 
后摄像头33,获取对车辆50的后方的情景进行拍摄而得的拍摄图像。如图2所示,后摄像头33安装在车辆50的后部(例如后保险杠或后部的嵌条等)。后摄像头33也优选例如用鱼眼镜头构成,此时,获取至少对图2的D所示的区域的情景进行拍摄而得的拍摄图像。这样,就各摄像头所拍摄的区域而言,能够在相互的边界部分相重叠。另外,虽然未图示,但上述区 域A-D也可以互不重叠。 
这些由各摄像头获取的拍摄图像,用于根据各摄像头的配设位置、配设角度等来确定从车辆观察时的物体存在的方向。各摄像头所获取的拍摄图像,被传递至后述的确切度判断部12以及位置计算部13。 
第二物体检测部22,至少检测从车辆50到检测范围内存在的物体的距离,所述检测范围是由预先设定的规定角度规定的范围。在本实施方式中,使用安装在车辆50上的声纳(例如红外线传感器)来作为第二物体检测部22。图3表示安装在车辆50上的声纳。在车辆50的前部具有四个声纳(声纳41~44),在后部也具有四个声纳(声纳45~48)。各声纳分别以所处的位置为中心,对在铅直方向以及水平方向上以规定角度规定的范围进行检测。在图3中,示出了俯视图,因此省略了铅直方向范围的图示。 
声纳41~44分别将图3的I~L所示的区域设定为检测区域。另外,声纳45~48分别将图3的U~X所示的区域设定为检测区域。声纳41~48在各自的检测区域内发送超声波来作为发送信号,并接收遇到物体而被反射的反射波。基于这些发送信号以及反射波的时间差,来检测车辆50与物体的距离。但是,在声纳41~44的检测结果中,虽然能够检测车辆50与物体的距离,但仅能够判断为其方向处于检测区域内(例如区域I)。这种检测过程是公知的,因此省略说明。各声纳检测出的检测结果,被传递至后述的确切度判断部12以及位置计算部13。 
车辆图像生成部14,生成以车辆50上方为视点的车辆50的图像IC。以车辆50上方为视点是指,俯视车辆50的视点。因此,也可以是从车辆50的斜前方俯视车辆50后方的视点,也可以是从车辆50的斜后方俯视车辆50前方的视点。另外,也可以是从车辆50的铅直上方俯视车辆50的视点。图4示出了这种车辆50的图像IC。在本实施方式中,如图4所示,例示出了以车辆50的铅直上方作为视点的情况。因此,车辆50的图像IC,相当于从铅直上方观察车辆50时示意表示车辆50的图像。该图像IC也可以是用摄像头等实际拍摄车辆而得的图像,也可以是绘制出来的图像(illustration)。由图像生成部14生成的图像IC,被传递至后述的位置计算部13以及显示图像生成部17。 
周围图像生成部15生成从上述视点观察时的车辆50的周围图像IA,该 图像IA是在车辆50的图像IC周围划分多个区域而成的。车辆50的周围图像IA是示意表示车辆50周围的状况的图像。该周围图像IA,是利用与上述车辆图像生成部14生成的车辆50的图像IC的视点相同的视点而生成的。在该周围图像IA上重叠描画划分线77。由此,周围图像IA被划分为多个区域。 
图4表示在纵向以及横向描画了这种划分线77的例子(格子状的划分)。这种划分线77仅为一个例子,当然也可以使用其它方式进行描画。周围图像生成部15针对周围图像IA来描画划分线77。由周围图像生成部15生成的描画有划分线77的周围图像IA,被传递至后述的位置计算部13以及显示图像生成部17。 
位置计算部13,基于物体检测部11的检测结果,来计算(物体)在周围图像IA中的对应位置。物体检测部11是指第一物体检测部21以及第二物体检测部22,分别相当于摄像头以及声纳。在此,如上述那样,摄像头检测物体相对于车辆50的方向,声纳检测车辆50与物体的距离。另一方面,图4所示的周围图像IA,是以车辆50上方为视点示意表示车辆50周围图像。因此,在周围图像IA上,无法直接单纯表示摄像头以及声纳的检测结果。因此,位置计算部13基于摄像头以及声纳的检测结果,计算周围图像IA上(物体)的位置,即,计算将周围图像IA作为二维平面时(物体)的坐标。位置计算部13计算出的计算结果,被传递至后述的明确显示部16。 
确切度判断部12,判断由物体检测部11检测出的检测结果的确切度是否在预先设定的判断阈值以上。由物体检测部11检测出的检测结果是指第一结果和第二结果,所述第一结果表示作为第一物体检测部21的摄像头所检测出的从车辆50观察时所见的物体的方向,所述第二结果表示作为第二物体检测部22的声纳所检测出的车辆50与物体的距离。确切度相当于正确度(正确性)。因此,确切度判断部12判断检测结果的正确度是否在预先设定的判断阈值以上。 
在此,确切度判断部12,在两个物体检测部11的检测结果有相关关系的情况下,判断为确切度在判断阈值以上。在本实施方式中,两个物体检测部11是指第一物体检测部21以及第二物体检测部22。这些检测结果有相关关系是指,第一结果和第二结果之间有相关关系,所述第一结果表示作为第 一物体检测部21的摄像头所检测出的从车辆50观察时所见的物体的方向,所述第二结果表示作为第二物体检测部22的声纳所检测出的车辆与物体的距离。 
即,作为第一物体检测部21的摄像头,对拍摄车辆50周围的状况而取得的拍摄图像所含的物体通过图像识别来进行检测,由此检测出物体存在的方向;作为第二物体检测部22的声纳,基于在以预先设定的规定角度规定的检测范围内发送的发送波与该发送波遇到物体而被反射的反射波之间的差,来检测车辆50与物体的距离;此时,确切度判断部12,在物体方向被包含在特定检测范围内的情况下,能够判断为确切度在判断阈值以上,所述物体方向是指第一物体检测部21所检测出的物体的方向,所述特定检测范围是指第二物体检测部22检测出在与车辆50相距规定距离处存在该物体时的检测范围。 
另外,确切度判断部12也能够通过图像识别来计算由第一物体检测部21取得的拍摄图像所含的物体与车辆50之间的距离,在该计算的结果与第二物体检测部22检测出的距离大致一致的情况下,判断为有相关关系,进而判断为确切度在判断阈值以上。 
在此,在由作为第一物体检测部21使用的摄像头所取得的拍摄图像中,位于远处的物体被缩小显示。因此,随着远离车辆50,第一物体检测部21的检测结果的正确性逐渐变差(变得不好)。因此,确切度判断部12在难以确定由第一物体检测部21取得的拍摄图像所含的物体时,判断为确切度小于判断阈值。该判断结果被传递至后述的明确显示部16。 
明确显示部16,在检测结果的确切度在判断阈值以上的情况下,基于位置计算部13的计算结果,在周围图像IA中明确显示(物体的)对应的位置,并且,在检测结果的确切度小于判断阈值的情况下,基于位置计算部13的计算结果,在周围图像IA中明确显示(物体的)对应的区域。检测结果的确切度是否在判断阈值以上,是由上述确切度判断部12判断的。基于第一物体检测部21以及第二物体检测部22的检测结果的周围图像IA上(物体的)对应的位置,是通过位置计算部13计算并传递的。 
如上述,在检测结果的确切度在判断阈值以上的情况下,从车辆50观察时所见的物体的方向以及距离的正确度高,因此,明确显示部16对其对 应的位置进行明确显示。具体来说,明确显示部16,在确切度为预先设定的判断阈值以上的情况下,在周围图像IA中的对应的位置上显示标志。这种标志在图5中被表示为附图标记P1、P2。这样,在确切度为预先设定的判断阈值以上的情况下,与划分线77以及被该划分线77划分的区域无关地,显示用于表示物体存在的标志。换言之,在确切度为预先设定的判断阈值以上的情况下,与划分线77以及被该划分线77划分的区域无关地,在对应的位置上显示用于表示物体存在的标志。 
另一方面,在检测结果的确切度小于判断阈值的情况下,从车辆50观察时所见的物体的方向以及距离的正确度低,因此,明确显示部16对其对应的区域进行明确显示。具体来说,明确显示部16,在确切度小于预先设定的判断阈值的情况下,对周围图像IA中的对应的区域进行着色。这种被着色的区域,在图5中被表示为附图标记R1、R2。这样,在确切度小于预先设定的判断阈值的情况下,按照被划分线77划分的区域,来显示用于表示物体存在的区域。此外,这种明确显示,是对显示图像生成部17中的从周围图像生成部15传来的周围图像IA实施的。 
显示图像生成部17,生成用于在监视器18上显示的显示图像。显示图像是指,由车辆图像生成部14生成的车辆50的图像IC以及由周围图像生成部15生成的周围图像IA。还包括在该周围图像IA上重叠明确显示的标志以及着色的区域。该显示图像被传递至监视器18进行显示。实时进行该显示,随着车辆50的移动或物体的移动,在监视器18上进行显示。这样,在监视器18上通过显示来报告车辆50周围存在的物体,从而使得驾驶员能够直观把握车辆50周围的状况,并且还能够知晓其正确性。 
下面,针对本车辆周边监视装置100检测到物体时的报告相关的处理进行说明。图6是车辆周边监视装置100的处理的流程图。此外,该流程图仅示出了处理的一例,处理顺序并不仅限于此。即,当然能够适当地调换处理顺序。 
首先,车辆图像生成部14生成以车辆50的上方为视点的车辆50的图像IC,并且,周围图像生成部15生成与车辆50的图像IC的视点相同的车辆50的周围图像IA(步骤#01)。 
在第一物体检测部21检测到物体(步骤#02:第一物体检测部)并且第 二物体检测部22也检测到物体的情况下(步骤#03:“是”),确切度判断部12对其检测结果的确切度进行判断。如果确切度判断部12判断为确切度在预先设定的判断阈值以上,即,如果第一物体检测部21的检测结果与第二物体检测部22的检测结果之间有相关关系(步骤#04:“是”),则位置计算部13基于这些检测结果来计算周围图像IA中的物体存在的位置(步骤#05)。 
明确显示部16用标志将这样计算出的位置标注在周围图像IA上明确显示(步骤#06)。由此,能够对车辆50的驾驶员报告物体存在,并且能够使驾驶员知晓该物体的检测正确性高。 
回到步骤#02,在第二物体检测部22检测到物体(步骤#02:第二物体检测部)并且第一物体检测部21也检测到物体的情况下(步骤#07:“是”),确切度判断部12对其检测结果的确切度进行判断。如果确切度判断部12判断为确切度在预先设定的判断阈值以上,即,如果第一物体检测部21的检测结果与第二物体检测部22的检测结果之间有相关关系(步骤#04:“是”),则位置计算部13基于这些检测结果来计算周围图像IA中的物体存在的位置(步骤#05)。 
明确显示部16用标志将这样计算出的位置标注在周围图像IA上明确显示(步骤#06)。由此,能够对车辆50的驾驶员报告物体存在,并且,能够使驾驶员知晓表示该物体存在的报告的确切度高。 
在步骤#02中由第一物体检测部21检测到物体(步骤#02:第一物体检测部),但第二物体检测部22没有检测到物体的情况下(步骤#03:“否”),或者,在步骤#02中由第二物体检测部22检测到物体(步骤#02:第二物体检测部),但第一物体检测部21没有检测到物体的情况下(步骤#07:“否”),或者,在步骤#04中判断为第一物体检测部21的检测结果与第二物体检测部22的检测结果之间没有相关关系的情况下(步骤#04:“否”),位置计算部13基于各自的检测结果,来计算周围图像IA中的物体存在的区域(步骤#08)。 
明确显示部16在周围图像IA上对这样计算出的区域进行着色来明确显示(步骤#09)。由此,能够对车辆50的驾驶员报告物体存在,并且能够使驾驶员知晓该物体的检测正确性低。此外,在步骤#02中,在第一物体检测 部21以及第二物体检测部22两者都没有检测到物体的情况下,可以保留处理(待机)直到至少一方检测到物体为止,也可以报告在车辆50周围不存在物体。本车辆周边监视装置100,按照该流程图来对车辆50的驾驶员报告周围状况。 
〔其它实施方式〕 
在上述实施方式中,说明了物体检测部11包括第一物体检测部21以及第二物体检测部22的情况。然而,本发明的应用范围并不仅限于此。物体检测部11也可以由三个以上的检测部构成,另外,也可以通过一个物体检测部11来检测不同的检测对象。这样的物体检测部11,也能够恰当地检测出物体相对于车辆50的方向以及车辆50与物体的距离。 
在上述实施方式中,说明了在车辆50的前部及后部分别安装了四个第二物体检测部22的情况。然而,本发明的应用范围并不仅限于此。也可以在前部以及后部分别安装三个以下的第二物体检测部22,也可以安装五个以上的第二物体检测部22。当然,也可以在前部和后部分别安装不同个数的第二物体检测部22。另外,第二物体检测部22也可以仅安装在前部或仅安装在后部。 
在上述实施方式中,说明了明确显示部16通过对(物体)所对应的区域进行着色来明确显示的情况。然而,本发明的应用范围并不仅限于此。明确显示部16也可以对(物体)所对应的区域进行立体显示来实现明确显示。另外,明确显示部16也可以对(物体)所对应的整个区域进行着色,也可以对该区域的外周部分的划分线77进行着色。另外,着色也可以是半透明显示。当然,通过这样的明确显示,也能够对车辆50的驾驶员恰当地报告车辆50周围存在的物体。 
在上述实施方式中,说明了明确显示部16在(物体)所对应的位置显示标志的情况。然而,本发明的应用范围并不仅限于此。例如,在物体是移动物的情况下,明确显示部16进行移动预测来标注箭头,由此显示标志。通过这样的明确显示,车辆50的驾驶员能够识别出物体是移动物,并且,还能够注意到物体的移动方向。 
产业上的可利用性 
本发明能够用于报告车辆周围存在的物体的车辆周边监视装置。 
附图标记的说明 
11:物体检测部 
12:确切度判断部 
13:位置计算部 
14:车辆图像生成部 
15:周围图像生成部 
16:明确显示部 
17:显示图像生成部 
18:监视器 
21:第一物体检测部 
22:第二物体检测部 

Claims (7)

1.一种车辆周边监视装置,其特征在于,具有:
物体检测部,其安装在车辆上,检测所述车辆周围的物体,
车辆图像生成部,其生成以所述车辆的上方为视点的所述车辆的图像,
周围图像生成部,其生成以所述视点观察时所见的所述车辆的周围图像,所述周围图像是将所述车辆的图像的周围划分为多个区域而成的,
位置计算部,其基于所述物体检测部的检测结果,计算所述周围图像中的对应的位置,
确切度判断部,其判断由所述物体检测部检测出的检测结果的确切度是否在预先设定的判断阈值以上,
明确显示部,在所述检测结果的确切度小于所述判断阈值的情况下,该明确显示部基于所述位置计算部的计算结果,在所述周围图像中划分出的多个区域中,按照划分出的所述区域,对表示存在所述物体的区域进行明确显示,在所述检测结果的确切度在所述判断阈值以上的情况下,该明确显示部基于所述位置计算部的计算结果,与划分出的所述区域无关地,对所述周围图像中的表示存在所述物体的区域的位置进行明确显示。
2.如权利要求1所述的车辆周边监视装置,其特征在于,
所述物体检测部,由检测方法不同的多个物体检测部构成,
所述确切度判断部,在所述多个物体检测部中的至少两个物体检测部的检测结果之间存在相关关系的情况下,判断为所述确切度在所述判断阈值以上。
3.如权利要求2所述的车辆周边监视装置,其特征在于,
所述至少两个物体检测部,包括第一物体检测部和第二物体检测部,所述第一物体检测部检测相对于所述车辆来说所述物体存在的方向,所述第二物体检测部至少检测在检测范围内存在的所述物体与所述车辆的距离,所述检测范围是指,从所述车辆开始以预先设定的规定角度规定的范围。
4.如权利要求3所述的车辆周边监视装置,其特征在于,
所述第一物体检测部,通过对拍摄图像所含的物体进行图像识别,由此检测所述方向,所述拍摄图像是对所述车辆周围的状况进行拍摄而取得的图像,并且,
所述第二物体检测部,基于在所述检测范围内发送的发送波与该发送波遇到物体后被反射的反射波之间的差,来检测所述距离,
所述确切度判断部,在所述第一物体检测部检测出的所述方向被包含在由所述第二物体检测部检测出在与所述车辆相距规定距离处存在物体的检测范围内的情况下,判断为存在上述相关关系,进而判断为所述确切度在判断阈值以上。
5.如权利要求3所述的车辆周边监视装置,其特征在于,
所述第一物体检测部,通过对拍摄图像所含的物体进行图像识别,由此检测所述方向,所述拍摄图像是对所述车辆周围的状况进行拍摄而取得的图像,并且,
所述第二物体检测部,基于在所述检测范围内发送的发送波与该发送波遇到物体后被反射的反射波之间的差,来检测所述距离,
所述确切度判断部,通过图像识别来计算由所述第一物体检测部取得的拍摄图像所含的物体与所述车辆之间的距离,在该计算的结果与由所述第二物体检测部检测出的所述距离大致一致的情况下,判断为存在所述相关关系,进而判断为所述确切度在判断阈值以上。
6.如权利要求1~5中任意一项所述的车辆周边监视装置,其特征在于,
所述明确显示部,在所述确切度在预先设定的判断阈值以上的情况下,在所述周围图像中的对应的位置上显示标志。
7.如权利要求1所述的车辆周边监视装置,其特征在于,
所述明确显示部,在所述确切度小于预先设定的判断阈值的情况下,对所述周围图像中的表示存在所述物体的区域进行着色。
CN201080055520.2A 2010-02-24 2010-12-21 车辆周边监视装置 Active CN102652327B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-039317 2010-02-24
JP2010039317A JP5505702B2 (ja) 2010-02-24 2010-02-24 車両周辺監視装置
PCT/JP2010/072974 WO2011104984A1 (ja) 2010-02-24 2010-12-21 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN102652327A CN102652327A (zh) 2012-08-29
CN102652327B true CN102652327B (zh) 2015-03-11

Family

ID=44506419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080055520.2A Active CN102652327B (zh) 2010-02-24 2010-12-21 车辆周边监视装置

Country Status (5)

Country Link
US (1) US9073483B2 (zh)
EP (1) EP2541525B1 (zh)
JP (1) JP5505702B2 (zh)
CN (1) CN102652327B (zh)
WO (1) WO2011104984A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5723561B2 (ja) * 2010-09-29 2015-05-27 富士重工業株式会社 運転支援装置
ES2635739T3 (es) * 2012-10-17 2017-10-04 Iveco Magirus Ag Vehículo utilitario con sistema de supervisión para supervisar la posición de los estabilizadores
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
JP6044528B2 (ja) * 2013-12-02 2016-12-14 株式会社デンソー 周辺移動体位置表示装置
WO2015104860A1 (ja) * 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP5866545B1 (ja) * 2014-03-06 2016-02-17 パナソニックIpマネジメント株式会社 表示制御装置および表示制御プログラム
JP5861072B2 (ja) 2014-03-06 2016-02-16 パナソニックIpマネジメント株式会社 表示制御装置、表示装置および表示制御プログラム
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6322812B2 (ja) * 2014-08-21 2018-05-16 パナソニックIpマネジメント株式会社 情報管理装置、車両、および、情報管理方法
JP6396932B2 (ja) * 2016-02-08 2018-09-26 日本電信電話株式会社 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム
WO2017170979A1 (ja) * 2016-03-31 2017-10-05 古河電気工業株式会社 監視装置および監視方法
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Soken 表示制御装置
WO2018105135A1 (ja) * 2016-12-06 2018-06-14 本田技研工業株式会社 車両周辺情報取得装置および車両
CN106772383B (zh) * 2016-12-31 2019-03-22 智车优行科技(北京)有限公司 车辆周围物体的检测呈现方法、装置和系统、车辆
FR3062836B1 (fr) * 2017-02-10 2019-04-26 Valeo Schalter Und Sensoren Gmbh Procede et systeme de determination d'un indice de confiance associe a un objet d'un environnement d'un vehicule
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Soken 映像出力装置及び映像生成プログラム
JP6791106B2 (ja) * 2017-12-06 2020-11-25 株式会社デンソー 周辺認識装置及び周辺認識方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2006021641A (ja) * 2004-07-08 2006-01-26 Nissan Motor Co Ltd 車両周辺表示装置とその表示方法
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
JP2007022471A (ja) * 2005-07-21 2007-02-01 Alpine Electronics Inc 周辺他車通知装置
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置
JP2008058234A (ja) * 2006-09-01 2008-03-13 Toyota Motor Corp 車両用障害物検知装置
CN101396989A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
JP2009104330A (ja) * 2007-10-22 2009-05-14 Fujitsu Ten Ltd 死角車両検出システム、路側装置、車載装置および死角車両検出方法
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117071A (ja) 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP4428277B2 (ja) 2005-04-07 2010-03-10 トヨタ自動車株式会社 物体検出装置
JP2009040107A (ja) 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
US8054201B2 (en) 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP2009226978A (ja) 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
US8825100B2 (en) * 2008-08-11 2014-09-02 Blackberry Limited Method and system for providing a power boost for a wireless communication link using a subset of subcarrier frequencies of the wireless communication link channel as a reduced bandwidth channel
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
JP2006021641A (ja) * 2004-07-08 2006-01-26 Nissan Motor Co Ltd 車両周辺表示装置とその表示方法
JP2007022471A (ja) * 2005-07-21 2007-02-01 Alpine Electronics Inc 周辺他車通知装置
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置
JP2008058234A (ja) * 2006-09-01 2008-03-13 Toyota Motor Corp 車両用障害物検知装置
CN101396989A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
JP2009104330A (ja) * 2007-10-22 2009-05-14 Fujitsu Ten Ltd 死角車両検出システム、路側装置、車載装置および死角車両検出方法
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置

Also Published As

Publication number Publication date
CN102652327A (zh) 2012-08-29
WO2011104984A1 (ja) 2011-09-01
JP5505702B2 (ja) 2014-05-28
JP2011175485A (ja) 2011-09-08
EP2541525A1 (en) 2013-01-02
EP2541525B1 (en) 2022-05-11
EP2541525A4 (en) 2017-03-15
US20120300077A1 (en) 2012-11-29
US9073483B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
CN102652327B (zh) 车辆周边监视装置
US9013579B2 (en) Vehicle surrounding-area monitoring apparatus
KR101095234B1 (ko) 시선처 추정 장치 및 운전 지원 장치
EP2163428B1 (en) Intelligent driving assistant systems
KR100466458B1 (ko) 운전지원장치
KR101656162B1 (ko) 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차
CN104608692A (zh) 停车辅助系统及其方法
CN109085598A (zh) 用于车辆的障碍物探测系统
CN103139595B (zh) 基于车辆的成像系统的功能诊断和验证
KR100929689B1 (ko) 스테레오 영상 정보를 이용한 차량용 사고기록 장치 및 그 제어 방법
KR102176376B1 (ko) 물체 거리 측정 장치 및 방법
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
US11231716B2 (en) Method and apparatus for determining trailer dimensions in a motor vehicle
JP2023515267A (ja) ライダー計測においてブルーミングを認識するための方法及び装置
Frémont et al. Visual confirmation of mobile objects tracked by a multi-layer lidar
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치
JP2006044517A (ja) ミラー制御装置
JP7135579B2 (ja) 物体検知装置
KR102036593B1 (ko) 악천후 출동차량용 전후방 감시시스템
CN114206674A (zh) 周边影像生成装置、周边影像生成方法以及程序
JP6718295B2 (ja) 周辺監視装置及び周辺監視方法
EP3916621A1 (en) Method and system for assessing the reliability and integrity of an object detection unit
KR101544790B1 (ko) 차량의 물체 검출장치 및 그 검출방법
KR101605551B1 (ko) 물체 검출장치 및 그 검출방법
CN212604814U (zh) 大型作业机械设备的盲区探测预警装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant