CN109643495A - 周边监视装置及周边监视方法 - Google Patents

周边监视装置及周边监视方法 Download PDF

Info

Publication number
CN109643495A
CN109643495A CN201780052847.6A CN201780052847A CN109643495A CN 109643495 A CN109643495 A CN 109643495A CN 201780052847 A CN201780052847 A CN 201780052847A CN 109643495 A CN109643495 A CN 109643495A
Authority
CN
China
Prior art keywords
information
vehicle
image
wave
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780052847.6A
Other languages
English (en)
Other versions
CN109643495B (zh
Inventor
前田优
原田岳人
松浦充保
柳川博彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN109643495A publication Critical patent/CN109643495A/zh
Application granted granted Critical
Publication of CN109643495B publication Critical patent/CN109643495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

一种周边监视装置适用于车辆(50)，该车辆(50)具备：测距传感器(22)，发射探测波并接收所述探测波的反射波；以及摄像装置(21)，拍摄自身车辆周边。所述周边监视装置具备：信息获取部，获取存在于自身车辆周边的物体(52～55)的距离信息、方位信息及物体宽度信息作为对所述物体的所述测距传感器的检测信息；区域设定部，基于在所述信息获取部中获取的所述距离信息、所述方位信息及所述物体宽度信息，在由所述摄像装置拍摄得到的图像上设定要施行图像处理的图像处理区域(61)；以及物体识别部，通过对在所述区域设定部中设定的图像处理区域施行图像处理来识别所述物体。

Description

周边监视装置及周边监视方法
相关申请的交叉引用
本申请基于2016年8月29日申请的日本申请号2016-167182号，并在此引用其记载内容。
技术领域
本公开涉及周边监视装置及周边监视方法，详细地，涉及适用于具备测距传感器及摄像装置的车辆的周边监视装置及周边监视方法。
背景技术
以往，已知一种车辆周边监视系统，其利用摄像装置、测距传感器检测存在于车辆周边的物体，并在车载的显示装置显示该物体，或者为了避免与物体接触而进行警告(例如，参照专利文献1)。在专利文献1中公开有如下技术，即，将摄像装置拍摄得到的拍摄图像被视角变换得到的视角变换图像中的、从基于由超声波探测器检测出的障碍物的检测距离确定的地点至基于摄像装置的高度及障碍物的临时高度计算出的检测结束地点为止的范围设定为图像处理区域，并通过对该图像处理区域实施图像处理获取障碍物的高度。
专利文献1：日本特开2005-318541号公报
发明内容
在对图像的一部分实施图像处理来识别物体时，若图像处理区域过大，则导致图像处理耗费时间，由此存在实际的车辆周围的环境与为了唤起注意而向驾驶人员提供信息之间的时间偏差变大的问题。另一方面，若将图像处理区域设定得过小，则存在物体不能充分地包含在所设定的图像处理区域内而导致物体的识别精度降低的问题。
本公开是鉴于上述课题而做出的，其目的之一在于，提供一种能够高精度且尽快地识别存在于车辆周边的物体的信息的周边监视装置及周边监视方法。
本公开为了解决上述课题，采用了以下的手段。
本公开涉及一种适用于车辆周边监视装置，该车辆具备：测距传感器，发射探测波并接收所述探测波的反射波；以及摄像装置，拍摄自身车辆周边。本公开的一方式的周边监视装置具备：信息获取部，获取存在于自身车辆周边的物体的距离信息、方位信息及物体宽度信息作为所述物体的所述测距传感器的检测信息；区域设定部，基于在所述信息获取部中获取的所述距离信息、所述方位信息及所述物体宽度信息，在由所述摄像装置拍摄得到的图像中设定要施行图像处理的图像处理区域；以及物体识别部，对在所述区域设定部设定的图像处理区域施行图像处理来识别所述物体。。
在上述结构中，基于测距传感器对物体的检测信息，在摄像装置拍摄得到的图像中设定图像处理区域。此时，不仅利用距离信息还利用物体的方位信息及物体宽度信息作为物体的检测信息来设定图像处理区域。由此，能够在图像上的与物体存在的位置对应的区域，设定与各物体的物体宽度对应的大小的图像处理区域。该情况下，在通过图像处理进行物体识别时，通过使图像中的与物体对应的部分成为图像处理的对象，从而能够减少对物体不存在的部分的无用的图像处理，能够减轻处理负荷。由此，根据上述结构，能够高精度且尽快地识别存在于车辆的周围的物体的信息。
附图说明
关于本公开的上述目的以及其它目的、特征及优点，参照附图并通过下述的详细描述会变得更加明确。在该附图中：
图1是示出车辆周边监视系统的概略结构的图。
图2是说明获取物体的方位信息的方法的图。
图3是示出设定图像处理区域的处理的具体方式的图。
图4是说明获取物体的反射面信息的方法的图。
图5是示出图像处理的处理顺序的流程图。
图6是示出利用物体的朝向信息来设定图像处理区域的处理的具体方式的图。
图7是示出利用物体的朝向信息来设定图像处理区域的处理的具体方式的图。
具体实施方式
以下，参照附图说明实施方式。此外，对以下的各实施方式中的同一或等同的部分，在图中标注同一附图标记，对同一附图标记的部分引用其说明。
首先，参照图1，说明本实施方式的车辆周边监视系统20。本实施方式的车辆周边监视系统20搭载于车辆(以下，称为“自身车辆50”)，如图1所示，该车辆周边监视系统20具备作为摄像装置的车载相机21、作为测距传感器的超声波传感器22以及作为周边监视装置的监视ECU30。
车载相机21例如由CCD相机、CMOS图像传感器、近红外线相机等单目相机或立体相机构成。车载相机21在自身车辆50的前部安装于车宽方向中央的规定高度(例如，前部保险杠上方的位置)，拍摄朝向车辆前方以规定角度范围扩展的区域。
超声波传感器22是检测到存在于自身车辆50的周围的障碍物为止的距离的传感器。在本实施方式中，在自身车辆50的前部及后部的各保险杠以沿车宽方向排列的方式隔开规定间隔安装有多个传感器。例如在前方保险杠设置有作为超声波传感器22的多个传感器，该多个传感器包括在车宽的中心线51的附近在相对于中心线51的对称位置安装的二个中心传感器23、24、在自身车辆50的左角及右角分别安装的二个角传感器25、26、及在自身车辆50的左侧及右侧分别安装的侧方传感器27、28。
在图1示出车载相机21的拍摄区域E及超声波传感器22的检测区域F。此外，在图1中为了方便关于超声波传感器22仅示出了中心传感器23、24的检测区域。在本实施方式中，各超声波传感器22的检测距离为比车载相机21的拍摄距离短的距离(例如，数十厘米至1～2米左右)。
在自身车辆50除了设置有车载相机21及超声波传感器22之外，还设置有检测车速的车速传感器34、检测转向操作角的转向操作角传感器35等各种传感器。
监视ECU30是具备CPU、ROM、RAM、I/O等的计算机，通过由CPU执行安装于ROM的程序，基于车载相机21及超声波传感器22的物体检测结果，实现用于支援自身车辆50的行驶的各功能。具体地，监视ECU30将自身车辆50的周边状况显示到车载的显示装置36，或者，自身车辆50与存在于自身车辆50的周边的物体存在接触的可能性时使警报装置37进行工作来对驾驶人员进行警告。或者，也可以通过将所识别的物体检测信息向驾驶支援装置输出，使驾驶支援装置执行用于避免与物体的接触的制动控制、转向控制等各种控制。
在显示装置36显示图像时，监视ECU30实施这样的控制，即，将车载相机21拍摄得到的拍摄图像，变换为从在自身车辆50的上方设定的假想视角观察路面的鸟瞰图像，并将鸟瞰图像显示到显示装置36的控制。显示装置36设置于驾驶人员能够视觉辨认的位置(例如仪表板)。此外，也可以在显示装置36显示拍摄图像。
接着，说明超声波传感器22的物体检测。监视ECU30向超声波传感器22输出控制信号，以命令超声波传感器22以规定的发射周期(例如，以数百毫秒间隔)发射超声波。另外，基于在超声波传感器22的发射至接收为止的时间即反射波时间，计算物体为止的距离。
详细地，超声波传感器22接收自身发射的探测波的反射波作为直接波，并获取其反射波时间作为距离信息。另外，接收与发射探测波的传感器不同的传感器发射的探测波的反射波作为间接波，并获取其反射波时间作为距离信息。监视ECU30根据通过直接波获取的距离信息及通过间接波获取的距离信息，利用三角测量的原理，计算表示以自身车辆50作为基准位置的物体的相对位置的坐标(x，y)来作为存在于自身车辆50的周边的物体的方位信息。
利用图2说明关于物体40的方位信息的计算方法。在图2中以俯视方式示出了作为相邻的二个超声波传感器22的第一传感器22a及第二传感器22b、以及存在于自身车辆50的前方的物体55。在图2中将第一传感器22a作为发射探测波并接收直接波的直接检测传感器，将第二传感器22b作为接收其他传感器发射的超声波的反射波(间接波)的间接检测传感器。直接检测传感器及间接检测传感器是进行三角测量的二个传感器(关于图4也相同)。
在图2中，基于第一传感器22a接收的直接波，计算第一传感器22a的位置A与物体55的反射点O之间的往复距离(2AO)作为L1。另外，基于第二传感器22b接收的间接波，计算位置A及反射点O与第二传感器22b的位置B之间的距离(AO+OB)作为L2。如图2所示，根据直接波，能够掌握物体55存在于以位置A为中心且以线段AO为半径的圆S1上，根据间接波，能够掌握物体55存在于AO+OB为恒定的椭圆S2上。该情况下，能够识别物体55的反射点O存在于圆S1与椭圆S2的相交点。由此，通过求出反射点O的坐标(x，y)，能够计算出物体55的相对位置。
接着，详细说明利用车载相机21拍摄得到的图像识别存在于自身车辆50的周边的物体的处理。在本实施方式中，监视ECU30通过对车载相机21拍摄得到的图像上的与超声波传感器22的物体检测信息匹配的区域的图像施行图像处理，获取与物体相关的详细信息(例如，物体的种类、物体的高度信息等)作为物体识别处理。
具体地，如图1所示，监视ECU30具备信息获取部31、区域设定部32及物体识别部33。信息获取部31获取车载相机21拍摄得到的拍摄图像及超声波传感器22检测得到的物体的检测信息。区域设定部32出信息获取部31输入超声波传感器22的对物体的检测信息，其基于所输入的该检测信息，将车载相机21拍摄得到的拍摄图像的一部分区域设定为施行图像处理的区域(以下，称为“图像处理区域”)。例如，基于根据超声波传感器22的反射波获取的距离信息，设定拍摄图像的一部分区域作为图像处理区域。物体识别部33对拍摄图像中的由区域设定部32设定的图像处理区域施行图像处理。
监视ECU30基于通过这样的图像处理获取的物体的信息实施如下控制，即，在显示装置36显示存在于自身车辆50的周边的物体，或者在判定为存在与自身车辆50接触的可能性的物体的情况下，使警报装置37进行工作来发出警报。该情况下，在物体识别处理中，由于对拍摄图像的一部分区域施行图像处理，因此与对拍摄图像的全部区域施行图像处理的情况相比，能够减轻图像处理的处理负荷。由此得以向驾驶人员迅速提供与当前自身车辆50所在的周围环境相关的信息。
在此，若图像处理区域相对于图像上的物体的大小过大，则导致图像处理耗费时间，存在自身车辆50的当前的周围环境与向驾驶人员提供的信息之间的时间滞后变大的可能性。另一方面，若图像处理区域相对于图像上的物体的大小过小，则存在物体不能充分地包含在所设定的图像处理区域内而导致物体的识别精度降低的可能性。
因此，在本实施方式中，区域设定部32利用物体的距离信息、方位信息及物体宽度信息作为超声波传感器22的物体检测信息，并基于这些距离信息、方位信息及物体宽度信息设定图像处理区域。由此，对拍摄图像上的物体设定具有与其物体的位置及物体宽度对应的位置和大小的图像处理区域。此外，监视ECU30作为信息获取部31、区域设定部32及物体识别部33发挥功能。
图3是示出在拍摄图像60设定的图像处理区域61(61a～61c)的具体方式的图。图3中的(a)部分表示在自身车辆50的前方存在其他车辆52及标识53的情况，其中的(b)表示在自身车辆50的前方存在其他车辆52及立式标志牌54(例如，工程引导标志牌、停车场标志牌等)的情况。在图3中假定将这些物体52～54通过超声波传感器22检测的情况。
监视ECU30基于由超声波传感器22获取的物体的距离信息、方位信息及物体宽度信息，设定拍摄图像60上的图像处理区域61。在本实施方式中，根据通过超声波传感器22获取的物体的距离信息及方位信息，设定图像处理区域61的基准位置(例如中心点)，并在包括所设定的该基准位置的区域设定与物体宽度信息及距离信息对应的大小的图像处理区域61。关于物体宽度信息，在本实施方式中，基于从超声波传感器22发射的探测波被反射而作为反射波接收时的物体的反射面相关的信息(以下，称为“反射面信息”)来获取。关于反射面信息将后述。
关于图像处理区域61，在本实施方式中，设定为具有与自身车辆50的车宽方向(左右方向)平行的左右宽度及与车宽方向垂直的上下宽度的矩形区域。在图3的情况下，对于其他车辆52，设定左右宽度为W1且上下宽度为H1的图像处理区域61a，对于标识53，设定左右宽度为W2且上下宽度为H2的图像处理区域61b。对于立式标志牌54，设定左右宽度为W3且上下宽度为H3的图像处理区域61c。
在图3的拍摄图像60上，左右宽度W1～W3是根据超声波传感器22获取的各物体的物体宽度及检测距离来设定的。具体地，物体宽度越大，则将左右宽度设定为越大的值。另外，检测距离越短，则将左右宽度设定为越大的值。上下宽度H1～H3可以是预先确定的规定值，也可以根据检测距离确定。另外，也可以是与根据拍摄图像的边缘识别出的物体的高度对应的值。在基于检测距离设定上下宽度的情况下，也可以在检测距离越短时将上下宽度设定为越大的值。
在此，说明物体的反射面信息。在利用超声波传感器22的测距结果获取物体的反射面信息时，将直接反射点与间接反射点存在于同一平面的情况作为前提，通过根据物体表面的多个反射点检测面成分的面模型进行。
图4是说明获取反射点信息的计算模型的图。此外，在图4中，将存在于车辆前方的物体55通过第一传感器22a及第二传感器22b检测，并且在物体55的外表面存在直接反射点P及间接反射点Q。
第一传感器22a接收的直接波相对于物体55以最短距离，即与物体55垂直地反射。图4中的X是经过将反射波作为直接波接收的第一传感器22a及直接反射点P的直线与经过将反射波作为间接波接收的第二传感器22b及间接反射点Q的直线之间的相交点。另外，第一传感器22a与相交点X之间的中间点为直接反射点P，经过直接反射点P且和AX垂直相交的垂直线与BX之间的相交点为间接反射点Q。各反射点P、Q是在物体55的外表面上并排的二个点。能够通过求出这些二个反射点P、Q的坐标，求出作为反射面线段的PQ。
在基于通过直接波的距离计测结果及通过间接波的距离计测结果来求出反射面线段PQ时，监视ECU30首先基于通过直接波的计测距离L1及通过间接波的计测距离L2来求出相交点X(相交点计算部)，并基于该相交点X计算直接反射点P(反射点计算部)。另外，获取经过直接反射点P并且沿与连接直接反射点P和第一传感器22a的直线垂直的朝向延伸的反射面线段PQ作为反射面信息(信息获取部)。
监视ECU30还通过改变超声波传感器22的组合，求出车宽方向上的不同位置的多个反射面线段。并且，针对接近的多个反射面线段，在基于各反射面线段的端点坐标及线段倾斜度判定为属于同一物体的情况下，结合这些多个反射面线段。由此，对存在于自身车辆50的周围的物体55，能够基于反射面信息掌握自身车辆50的车宽方向上的大小(物体宽度信息)以及相对于车宽方向的倾斜度(朝向信息)。
此外，上述面模型在物体具有比较大的平面且其平面为反射面的情况下尤其有效。在不能通过面模型推定物体宽度的情况下，例如基于从拍摄图像提取的边缘推定物体宽度，并设定与所推定出的该物体宽度对应的大小的图像处理区域。
接着，参照图5的流程图，说明本实施方式的图像处理的处理顺序。该处理由监视ECU30以规定周期执行。
在图5中，在步骤S11中，获取车载相机21拍摄得到的拍摄图像。在接下来的步骤S12中，获取物体的距离信息、方位信息及物体宽度信息作为超声波传感器22的物体检测信息(信息获取部)。此时，物体宽度信息根据反射面信息获取，在不能获取反射面信息的情况下，利用图像边缘检测物体宽度。
在接下来的步骤S13中，基于步骤S12中获取的物体的距离信息、方位信息及物体宽度信息，设定拍摄图像上的图像处理区域61(区域设定部)。此时，物体宽度越大，或检测距离越短，则图像处理区域61的左右方向的宽度设定为越大。
在接下来的步骤S14中，对步骤S13中设定的图像处理区域执行图像处理，进行物体识别(物体识别部)。在该图像处理中，获取物体的种类(例如车辆、步行者、二轮车等)及物体的高度等这样的与物体相关的详细信息。例如，关于物体的种类，通过对从图像处理区域的一部分图像提取的特征点进行图案匹配，判别该物体的种类。另外，关于物体的高度，将图像处理区域的一部分图像变换为鸟瞰图像，并根据变换后的该鸟瞰图像求出物体的高度。步骤S14的处理结束，则本一系列动作结束。
此外，可以根据自身车辆50的移动来跟踪步骤S13中设定的图像处理区域61。或者，也可以基于通过超声波传感器22新得到的物体检测信息，每次更新图像处理区域61。
根据以上详细说明的本实施方式，可得到一下的优异效果。
在基于超声波传感器22的对物体55的检测信息设定车载相机21拍摄得到的图像上的图像处理区域61时，采用这样的结构，即，不仅利用距离信息还利用物体55的方位信息及物体宽度信息作为物体55的检测信息，设定图像处理区域61。通过这样的结构，能够在与物体55存在的位置对应的区域，设定与物体宽度对应的大小的图像处理区域。由此，在通过图像处理进行物体识别时，能够对与物体对应的部分充分进行图像处理，而对物体不存在的部分(例如背景等)减少无用的图像处理，从而能够减轻处理负荷。因此，根据上述结构，能够高精度且尽快地识别存在于自身车辆50的周围的物体55。
采用这样的结构，即，基于超声波传感器22检测出的物体55的反射面信息获取物体宽度信息，并利用所获取的该物体宽度信息设定图像处理区域61。具体地，监视ECU30计算经过第一传感器22a及直接反射点P的直线与经过第二传感器22b及间接反射点Q的直线之间的相交点X，并基于相交点X计算直接反射点P，进而，获取经过直接反射点P并且沿与连接直接反射点P及第一传感器22a的直线以规定角度交叉的朝向延伸的交叉直线作为物体55的反射面信息。通过利用超声波传感器22所获取的物体55的反射面信息，能够高精度掌握物体55的朝向及与大小对应的物体宽度。
采用这样的结构，即，使用多个超声波传感器22，利用直接波及间接波获取物体的方位信息及物体宽度信息。该情况下，通过利用三角测量的原理，能够可靠地掌握物体的方位信息及反射面信息。另外，根据物体的反射面信息，能够从超声波传感器22的检测结果掌握物体表面的平面部分的朝向及大小。
关于超声波传感器22存在这样的情况，即，对草及灌木、石子、轮挡等这样的原本不需唤起注意的物体也容易进行反应，即便是实际上安全的行驶状况，也对驾驶人员进行唤起注意的情况。另外，超声波传感器22将与车辆比较近的区域作为检测区域，所以需要对超声波传感器22所检测出的物体进行较迅速的物体识别以及对驾驶人员的唤起注意。关于这一点，在具备超声波传感器22作为测距传感器的系统中，采用基于物体的距离信息、方位信息及物体宽度信息设定图像处理区域61的结构，由此能够对存在于车辆周边的物体，在减轻处理负荷的基础上，能够利用图像高精度识别与该物体相关的详细信息。另外，由于能够迅速且高精度地识别物体的信息，对于基于该信息判定为的确需要唤起注意的物体，能够在可靠的时机对驾驶人员唤起注意，另一方面，能够对接触的可能性低的物体不进行不需要的唤起注意。
(其他实施方式)
本公开并不限定于上述实施方式，例如也可以如下实施。
·在上述实施方式中，也可以利用基于物体的反射面信息获取的物体的朝向信息设定图像处理区域61。在设定图像处理区域61时，通过考虑相对于自身车辆50的车宽方向的物体的朝向，能够以使物体充分地包含在区域内的同时使图像处理区域61的大小尽量小的方式进行微调。具体地，对于相对于自身车辆50的车宽方向倾斜规定角度θ的物体55(参照图6的(b)部分)，与和自身车辆50正对的物体55(参照图6的(a)部分)相比，小地设定图像处理区域61的左右宽度(W5＜W4)。此时，规定角度θ越大，即相对于车宽方向的倾斜越大，则将左右宽度设定得越小。另外，也可以根据规定角度θ可变地设定上下宽度，具体地，可以在规定角度θ越大时将上下宽度设定得越大。
·作为利用物体的朝向信息设定图像处理区域61的结构，如图7所示，也可以采用根据基于反射面信息获取的物体的朝向来设定图像处理区域61的左右宽度的延伸方向的结构。通过这样的结构，能够设定具有与物体55的朝向对应的适当的位置及大小的图像处理区域61。具体地，在物体55的反射面55a与自身车辆50正对的情况下，如图7的(a)部分所示，将左右的边线62a与上下的边线62b垂直交叉的区域设定为图像处理区域61。另一方面，在物体55的反射面55a与自身车辆50不正对而相对于自身车辆50的车宽方向倾斜的情况下，如图7的(b)部分所示，将被上下的边线62b及以规定角度θ倾斜的左右的边线62a包围的区域设定为图像处理区域61。
·在上述实施方式中，采用这样的结构，即，根据利用多个超声波传感器22通过直接波获取的距离信息及通过间接波获取的距离信息，利用三角测量的原理获取物体的方位信息及物体宽度信息。也可以取代上述结构，利用单个超声波传感器22基于与自身车辆50的移动相伴的反射点的历史记录，获取物体的方位信息及物体宽度信息。即，也可以通过利用单个超声波传感器22得到的距离信息及车辆信息(例如车速、转向操作角等)的移动三角测量原理，获取物体的方位信息及物体宽度信息。
·在上述实施方式中，采用超声波传感器22基于所获取的物体的反射面信息获取物体宽度信息的结构，但由超声波传感器22获取物体宽度信息的方法并不限定于此。例如，也可以采用基于超声波传感器22的检测点序列获取物体55的物体宽度信息的结构。
·在上述实施方式中，在车载相机21拍摄得到的拍摄图像上设定图像处理区域61，但也可以在将拍摄图像从俯瞰视角变换得到的鸟瞰图像上情况设定图像处理区域的情况下适用本公开的结构。
·对于超声波传感器22所检测出的物体，基于与自身车辆50的行驶状态相关的信息，判定与自身车辆50接触的可能性是否低。并且，可采用这样的构成，即，对于判定为与自身车辆50接触的可能性低的物体，不在车载相机21拍摄得到的图像中设定图像处理区域61，而对判定为与自身车辆50接触的可能性不低的物体，设定图像处理区域61。通过这样的结构，能够对存在与自身车辆50接触的可能性的物体适当地进行唤起注意的同时尽量减轻图像处理的处理负荷。作为自身车辆50的与行驶状态相关的信息例如包括车速、转向操作角等。该情况下，监视ECU30作为接触判定部发挥功能。例如，在图3中，在自身车辆50的驾驶人员向右转向操作的情况下，不对超声波传感器22所检测出的物体中的标识53及立式标志牌54设定图像处理区域61，而对其他车辆52设定图像处理区域61。
·可采用如下构成，即，基于与自身车辆50的行驶状态相关的信息，在车载相机21拍摄得到的图像上，仅对识别为存在自身车辆50与物体接触的可能性的区域设定图像处理区域61。
·在由超声波传感器22获取了多个物体的检测信息，并且这些多个物体存在于图像上的规定的接近度范围内的情况下，也可以以包含存在于该接近度范围内的多个物体的方式设定一个图像处理区域。存在这样的情况，即，通过超声波传感器22识别出了分离的多个物体，但在图像上该多个物体重叠而被视为一个物体。通过考虑到这样的情况而采用上述结构，能够对重叠的图像目标对象一同进行图像处理，从而能够减轻处理负荷。
·也可以采用这样的结构，即，对超声波传感器22所获取的物体检测信息中的反射率随时间大幅波动的物体，将对该物体临时设定的图像处理区域保持规定时间。通过这样的结构，即使在物体检测的结果存在波动(Hunting)的情况下，也将临时设定的图像处理区域添加为进行图像处理的区域，能够抑制物体的检测遗漏。
·在上述实施方式中，说明了车载相机21搭载于自身车辆50的前方的情况，但对车载相机21的搭载位置及数量并不特别限定，也可适用于搭载于自身车辆50的后方或侧方的车载相机21。
·在上述实施方式中，采用了具备超声波传感器22作为测距传感器的结构，但例如也可以适用于具备毫米波雷达和激光雷达等的结构。
·上述的各部件是概念性的，并不限定于上述实施方式。例如，可将一个部件所具备的功能分散到多个部件来实现，或者可将多个部件所具备的功能通过一个部件来实现。
本公开是依据实施例描述的，但不应理解为本公开限定于该实施例或结构。本公开还包括各种变形例及等同范围内的变形。除此之外，各种组合及方式、以及在这些组合及方式仅包括一个要素或包括一个要素以上或包括一个要素以下得到的其他组合及方式也属于本公开的范畴及思想范围内。

Claims (7)

1.一种周边监视装置，适用于车辆(50)，该车辆(50)具备：测距传感器(22)，发射探测波并接收所述探测波的反射波；以及摄像装置(21)，拍摄自身车辆周边，其中，
所述周边监视装置具备：
信息获取部，获取存在于自身车辆周边的物体(52～55)的距离信息、方位信息及物体宽度信息作为所述测距传感器对所述物体的检测信息；
区域设定部，基于在所述信息获取部获取的所述距离信息、所述方位信息及所述物体宽度信息，在由所述摄像装置拍摄得到的图像中设定要施行图像处理的图像处理区域(61)；以及
物体识别部，对在所述区域设定部设定的图像处理区域施行图像处理来识别所述物体。
2.根据权利要求1所述的周边监视装置，其中，
所述信息获取部基于由所述测距传感器检测出的所述物体的反射面信息获取所述物体宽度信息，
所述区域设定部利用基于所述反射面信息获取的所述物体宽度信息设定所述图像处理区域。
3.根据权利要求1或2所述的周边监视装置，其中，
所述信息获取部基于由所述测距传感器检测出的所述物体的反射面信息获取所述物体的朝向信息，
所述区域设定部利用基于所述反射面信息而获取到的所述朝向信息来设定所述图像处理区域。
4.根据权利要求1至3中任一项所述的周边监视装置，其中，
所述车辆具备多个所述测距传感器，
所述信息获取部利用由所述测距传感器中的发射了所述探测波的第一传感器(22a)接收的反射波亦即直接波、及由所述测距传感器中的与发射了所述探测波的传感器不同的第二传感器(22b)接收的反射波亦即间接波，来获取所述方位信息及所述物体宽度信息。
5.根据权利要求1至4中任一项所述的周边监视装置，其中，
还具备接触判定部，该接触判定部基于与所述车辆的行驶状态相关的信息，来判定由所述测距传感器检测出的物体与所述车辆接触的可能性是否低，
所述区域设定部对于由所述接触判定部判定为与所述车辆接触的可能性低的物体，不在由所述摄像装置拍摄得到的图像中设定所述图像处理区域。
6.根据权利要求1至5中任一项所述的周边监视装置，其中，
所述测距传感器是超声波传感器。
7.一种周边监视方法，适用于车辆(50)，该车辆(50)具备：测距传感器(22)，发射探测波并接收所述探测波的反射波；以及摄像装置(21)，拍摄自身车辆周边，其中，所述周边监视方法包括：
获取存在于所述车辆的周边的物体(52～55)的距离信息、方位信息及物体宽度信息作为所述测距传感器对所述物体的检测信息，
基于所获取的所述距离信息、所述方位信息及所述物体宽度信息，在由所述摄像装置拍摄得到的图像中设定要施行图像处理的图像处理区域(61)，
对所设定的该图像处理区域施行图像处理来识别所述物体。
CN201780052847.6A 2016-08-29 2017-08-03 周边监视装置及周边监视方法 Active CN109643495B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016167182A JP6722066B2 (ja) 2016-08-29 2016-08-29 周辺監視装置及び周辺監視方法
JP2016-167182 2016-08-29
PCT/JP2017/028265 WO2018043028A1 (ja) 2016-08-29 2017-08-03 周辺監視装置及び周辺監視方法

Publications (2)

Publication Number Publication Date
CN109643495A true CN109643495A (zh) 2019-04-16
CN109643495B CN109643495B (zh) 2022-05-17

Family

ID=61301893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780052847.6A Active CN109643495B (zh) 2016-08-29 2017-08-03 周边监视装置及周边监视方法

Country Status (5)

Country Link
US (1) US10885354B2 (zh)
JP (1) JP6722066B2 (zh)
CN (1) CN109643495B (zh)
DE (1) DE112017004333B4 (zh)
WO (1) WO2018043028A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551196A (zh) * 2020-04-23 2020-08-18 上海悠络客电子科技股份有限公司 一种检修工位上是否有车辆的检测方法
CN114067608A (zh) * 2020-08-06 2022-02-18 丰田自动车株式会社 车载检测装置及检测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012852A1 (ja) * 2018-07-11 2020-01-16 クラリオン株式会社 測位支援装置及び測位支援方法
JP6930512B2 (ja) * 2018-10-19 2021-09-01 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
DE102018129876B3 (de) * 2018-11-27 2020-04-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer geometrischen Eigenschaft eines Objekts mittels einer Geradengleichung, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Ultraschallsensorvorrichtung
US11353578B2 (en) * 2019-02-28 2022-06-07 Zoox, Inc. Recognizing radar reflections using position information
US11410545B2 (en) * 2019-07-19 2022-08-09 Ford Global Technologies, Llc Dynamic vehicle perimeter definition and reporting
KR102333240B1 (ko) * 2019-12-18 2021-12-01 현대모비스 주식회사 차량용 물체 인식 장치 및 방법
CN115244594B (zh) * 2020-03-24 2023-10-31 三菱电机株式会社 信息处理装置和信息处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125679A1 (en) * 2004-11-26 2006-06-15 Omron Corporation Image processing system for mounting to a vehicle
CN101395492A (zh) * 2006-03-01 2009-03-25 丰田自动车株式会社 物体检测装置
JP2012164275A (ja) * 2011-02-09 2012-08-30 Toyota Motor Corp 画像認識装置
WO2013024509A1 (ja) * 2011-08-16 2013-02-21 三菱電機株式会社 物体検知装置
US20160116585A1 (en) * 2014-10-22 2016-04-28 Denso Corporation Object detection apparatus
CN105549019A (zh) * 2014-10-22 2016-05-04 株式会社电装 物体检测装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263699B2 (ja) 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
JP3212218B2 (ja) 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JP2003194938A (ja) * 2001-12-25 2003-07-09 Denso Corp 障害物検知装置
DE102005015088B4 (de) 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP4315117B2 (ja) 2004-04-02 2009-08-19 株式会社デンソー 車両周辺監視システム
JP4396400B2 (ja) 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP4598653B2 (ja) 2005-05-13 2010-12-15 本田技研工業株式会社 衝突予知装置
JP4123259B2 (ja) * 2005-09-02 2008-07-23 トヨタ自動車株式会社 物体検出装置および物体検出方法
US8560169B2 (en) * 2007-12-18 2013-10-15 Honda Motor Co., Ltd. Vehicular parking feasibility determining system, vehicular parking space detection system and vehicular movable range detection system
JP4453775B2 (ja) 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
JP6333412B2 (ja) * 2014-12-26 2018-05-30 三菱電機株式会社 障害物検知装置
JP2016167182A (ja) 2015-03-10 2016-09-15 アズビル株式会社 制御プログラム作成装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125679A1 (en) * 2004-11-26 2006-06-15 Omron Corporation Image processing system for mounting to a vehicle
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
CN101395492A (zh) * 2006-03-01 2009-03-25 丰田自动车株式会社 物体检测装置
JP2012164275A (ja) * 2011-02-09 2012-08-30 Toyota Motor Corp 画像認識装置
WO2013024509A1 (ja) * 2011-08-16 2013-02-21 三菱電機株式会社 物体検知装置
US20160116585A1 (en) * 2014-10-22 2016-04-28 Denso Corporation Object detection apparatus
CN105549017A (zh) * 2014-10-22 2016-05-04 株式会社电装 物体检测装置
CN105549019A (zh) * 2014-10-22 2016-05-04 株式会社电装 物体检测装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551196A (zh) * 2020-04-23 2020-08-18 上海悠络客电子科技股份有限公司 一种检修工位上是否有车辆的检测方法
CN114067608A (zh) * 2020-08-06 2022-02-18 丰田自动车株式会社 车载检测装置及检测方法
CN114067608B (zh) * 2020-08-06 2023-10-10 丰田自动车株式会社 车载检测装置及检测方法

Also Published As

Publication number Publication date
US20200210722A1 (en) 2020-07-02
JP2018037737A (ja) 2018-03-08
CN109643495B (zh) 2022-05-17
JP6722066B2 (ja) 2020-07-15
US10885354B2 (en) 2021-01-05
WO2018043028A1 (ja) 2018-03-08
DE112017004333B4 (de) 2023-09-28
DE112017004333T5 (de) 2019-05-09

Similar Documents

Publication Publication Date Title
CN109643495A (zh) 周边监视装置及周边监视方法
CN112014845B (zh) 一种车辆障碍物定位方法、装置、设备及存储介质
CN106101590B (zh) 雷达视频复合数据探测与处理系统及探测与处理方法
CN106463059B (zh) 障碍物信息管理装置
EP2513602B1 (en) Position and orientation determination using movement data
EP3792660B1 (en) Method, apparatus and system for measuring distance
CN107633683B (zh) 用于车辆超载的非现场执法管理系统
CN105549019B (zh) 物体检测装置
CN109544990A (zh) 一种基于实时电子地图识别可用泊车位的方法及系统
CN110412978A (zh) 作业车
CN104380137A (zh) 通过图像辅助的角度确定功能来间接测距的方法和手持测距设备
CN106291535A (zh) 一种障碍物检测装置、机器人及避障系统
CN107406073A (zh) 用于在无碰撞性方面监视要由车辆驶过的额定轨迹的方法和设备
JP2010134878A (ja) 立体物出現検知装置
CN113710988A (zh) 用于识别环境传感器的功能能力的方法、控制仪和车辆
CN109343079A (zh) 一种测距避障方法及避障装置
US11158192B2 (en) Method and system for detecting parking spaces which are suitable for a vehicle
JP2012225111A (ja) 建設車両周辺の作業者検出装置
KR20100086589A (ko) 지그비의 수신신호세기를 이용한 지능형 이동로봇의 이동 대상물 추적 제어 장치 및 그 방법
CN115808324B (zh) 一种中小跨径桥梁轻量化安全管理监测方法及系统
WO2018169467A1 (en) A vehicle with a crane with object detecting device
CN112598932A (zh) 一种基于车路协同技术的汽车防碰撞预警模型
CN115485582A (zh) 用于识别激光雷达测量中的光晕的方法和装置
Roshchin Application of a Machine Vision System for Controlling the Spatial Position of Construction Equipment
JP3954053B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant