CN101223416A - 物体检测装置 - Google Patents

物体检测装置 Download PDF

Info

Publication number
CN101223416A
CN101223416A CNA2006800255589A CN200680025558A CN101223416A CN 101223416 A CN101223416 A CN 101223416A CN A2006800255589 A CNA2006800255589 A CN A2006800255589A CN 200680025558 A CN200680025558 A CN 200680025558A CN 101223416 A CN101223416 A CN 101223416A
Authority
CN
China
Prior art keywords
detection device
detecting unit
article detection
vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800255589A
Other languages
English (en)
Inventor
白石达也
高城泰宏
土田淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101223416A publication Critical patent/CN101223416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车载的物体检测装置，对与物体的距离相当量(距离本身或立体照相机中的视差等)进行检测，所述物体检测装置的特征在于，包括：第一检测单元(2R，2L)，对到物体的距离相当量进行检测；第二检测单元(3)，以与第一检测单元(2R，2L)不同的检测原理对到物体的距离相当量进行检测；判断单元(4)，判断第一检测单元(2R，2L)和第二检测单元(3)是否检测的是同一物体；判定单元(4)，当判断为检测同一物体时，判定是否将第二检测单元(3)检测出的距离相当量用于第一检测单元(2R，2L)检测出的距离相当量的检测误差的评价。

Description

物体检测装置
技术领域
本发明涉及对与物体的距离相当量(距离本身或与距离相对应的视差等)进行检测的车载的物体检测装置。
背景技术
根据多个输入图像、即通常被称为立体图像的一对图像，利用视差来检测与物体的距离的物体检测装置是公知的，日本专利公开特开2001-272210号公报(以下称为“专利文献1”)也公开了上述物体检测装置。在这样的物体检测装置中，由于时效变化等的缘故，在视差(距离相当量)上可能会产生偏差。在专利文献1记载的物体检测装置中，由立体照相机摄得采样图案，将通过搜索立体图像上的相应点(在立体图像的右图像和左图像上表示同一部分的点)而计算出的视差与根据从样品图的大小计算出的距离而计算出的视差加以比较，从而对立体照相机的视差偏差进行修正。
发明内容
然而，在专利文献1记载的物体检测装置中，由于使用固定采样图案，即，使用大小及其设置距离被预先确定了的采样来进行修正，因此无法实现所谓的在线(online)修正。所谓在线修正是指在立体照相机在正常使用的过程中同时进行修正。另外，在专利文献1记载的物体检测装置中，即使能够进行在线修正，如果使用全部的检测结果，当混入检测精度较低数据时，也无法正确修正。因此，本发明的目的在于提供一种可以准确地在线修正距离相当量的物体检测装置。
本发明的第一方案提供一种车载的物体检测装置，对到物体的距离相当量进行检测，所述物体检测装置的特征在于，包括：第一检测单元，对到物体的距离相当量进行检测；第二检测单元，以与第一检测单元不同的检测原理对到物体的距离相当量进行检测；判断单元，判断第一检测单元和第二检测单元是否检测的是同一物体；判定单元，当判断为检测同一物体时，判定是否将第二检测单元检测出的距离相当量用于第一检测单元检测出的距离相当量的检测误差的评价。
根据第一方案的物体检测装置，在检测同一物体的数据之中，通过仅使用可以推定为能正确测定距离的数据来比较距离相当量，即使不使用特别的条件/装置，也可以准确地判断偏差，从而进行异常判定/偏差的修正。
本发明的第二方案在第一方案的物体检测装置基础上的特征在于，当第二检测单元的同一物体的检测频率高时，判定单元判定为用于评价。
根据第二方案的物体检测装置，如果检测频率较高，可以进行异常判定/偏差的修正。
本发明的第三方案在第一方案的物体检测装置基础上的特征在于，当第一检测单元或第二检测单元检测出的到同一物体的距离相当量处于规定范围内时，判定单元判定为用于评价。
根据第三方案的物体检测装置，由于各检测单元具有防备范围，因此可以提高防备范围内的距离检测精度。
本发明的第四方案在第一方案的物体检测装置基础上的特征在于，规定范围为除距离相当量在附近或远方之外的范围。
根据第四方案的物体检测装置，当为立体照相机传感器时，仅使用20m～40m的范围的数据。当使用防备范围附近的数据进行修正时，在防备范围内检测结果会产生偏差，在防备范围的远方不使用立体照相机的检测结果，因此无需修正。
本发明的第五方案在第一方案的物体检测装置基础上的特征在于，具有行驶稳定状态判断单元，对车辆行驶状态是否处于稳定行驶状态进行判断，当判定为稳定行驶状态时，判定单元判定为用于评价。
根据第五方案的物体检测装置，通过在稳定行驶状态时判定，可以进行正确的判定。
本发明的第六方案在第五方案的物体检测装置基础上的特征在于，当车辆处于停车状态当中或高速行驶状态当中时，行驶稳定状态判断单元判断为稳定行驶状态。
根据第六方案的物体检测装置，具体地说，使用车速为0km/h或40km/h以上时的数据。在极低车速时可以稳定地检测物体，但是在0km/h～40km/h时，例如在市区内行驶或在十字路口改变行进方向等有可能会丢掉检测的物体或者移动到画面的边缘，从而恐怕无法稳定地检测物体，因此不予采用。相反地，当车速为40km/h以上时，由于可以预想其状态暂且延续的可能性高，因此可以通过作为数据予以采用，进行异常判定、偏差的修正。
本发明的第七方案在第五方案的物体检测装置基础上的特征在于，当车辆在直线道路或平坦道路上行驶时，行驶稳定状态判断单元判断为稳定行驶状态。
根据第七方案的物体检测装置，由于无需担心物体会移动到检测精度劣化的检测范围的边缘，因此可以获得稳定的数据。
本发明的第八方案在第五方案的物体检测装置基础上的特征在于，当车辆在市区内行驶时，行驶稳定状态判断单元判断为不处于稳定行驶状态。
根据第八方案的物体检测装置，当在检测精度劣化的市区行驶时，通过不利用检测结果，仅可以获得市区非行驶时的稳定的数据。并且，第五、七、八方案可以利用提示信息等外部信息进行判断。另外，当车辆的加减速度较大时也可以判断为不处于稳定行驶状态。
本发明的第九方案在第一方案的物体检测装置基础上的特征在于，第一检测单元或第二检测单元检测相对于车辆的物体的横向位置、即相对横向位置，当同一物体的相对横向位置处于规定范围内时，判定单元判定为用于评价。
根据第九方案的物体检测装置，由于在相对横向位置产生偏移、检测范围的边缘检测精度劣化，因此可以通过不采用数据，进行异常判定/偏差的修正。
本发明的第十方案在第一方案的物体检测装置基础上的特征在于，根据车辆的行驶环境的天气或亮度，判定单元对是否用于评价进行判定。
根据第十方案的物体检测装置，当天气为雨天或较暗时，可以通过不采用检测精度低的数据，进行异常判定/偏差的修正。
本发明的第十一方案在第一～十方案中任一方案的物体检测装置基础上的特征在于，当判定为第一、第二检测单元检测出的距离相当量存在偏差时，根据第二检测单元的距离相当量来修正第一检测单元的距离相当量。
根据第十一方案的物体检测装置，可以通过根据一个检测单元的检测结果来修正另一个检测单元的检测结果，进行异常判定、偏差的修正。另外，也可以在判断为存在偏差时向用户通知异常。
本发明的第十二方案在第一～十一方案中任一方案的物体检测装置基础上的特征在于，第一检测单元为使用多个摄像单元的图像的图像测距传感器，第二检测单元为使用毫米波的毫米波测距传感器。
根据第十二方案的物体检测装置，立体照相机的视差由于安装而结果会有所差异，当要求安装精度低时容易产生偏差。另一方面，毫米波与立体照相机相比可以稳定地计算出正确的距离。因此，可以以毫米波的检测结果为基础，进行立体照相机的检测结果的异常判定、修正。
另外，第二～十方案的判断、判定是独立的判断，可以进行任意组合。
附图说明
图1是装载本发明的物体检测装置的一实施方式的车辆构成图；
图2是修正控制流程图(前半部分)；
图3是修正控制流程图(后半部分)；
图4是将立体照相机的检测距离和毫米波传感器的检测距离之差作为纵轴、将其被检测物体和车辆的距离L作为横轴时的数据分布图；
图5是将图4的纵轴转换为立体图像的视差(像素数)的图。
具体实施方式
以下，参照附图来说明本发明的物体检测装置的一实施方式。如图1所示，本实施方式的物体检测装置装载在车辆1上。物体检测装置包括：图像获取部(摄像单元)2R，2L；毫米波传感器(毫米波雷达：第二检测单元)3；处理部(判定单元/行驶稳定状态判断单元)，该处理部使用各种过滤器对通过摄像单元2R，2L获得的图像进行处理或对毫米波传感器3的检测结果进行处理。摄像单元2R，2L为在横向方向上设定一定间隔而配置的一对CCD照相机(第一检测单元：图像测距传感器：立体照相机)。处理部为物体检测ECU4，其根据通过CCD照相机2R，2L获得的一对输入图像进行各种运算，并包括CPU、GPU以及ROM·RAM等。
一对CCD照相机2R，2L埋置在车辆1的车厢内的内部后视镜背面。一对CCD照相机2R，2L具有相同的性能、规格，它们的设置间隔和焦离等被预先存储在物体检测ECU4内的ROM等中。在正常情况下，当车辆1置于平坦道路上时，一对CCD照相机2R，2L的光轴与路面平行。另外，一对CCD照相机2R，2L的光轴在正常情况下互相平行，并且相对于车辆1的前后方向中心线也平行。
毫米波传感器3向车辆1的前方照射毫米波，利用其反射波，来检测与车辆1前方的物体的距离。另外，虽然没有图示，但是在物体检测ECU4上也连接有检测车辆行驶状态和行驶环境的车速传感器5、横摆率传感器6、加减速度传感器(上下、前后)、检测是否降雨的雨量传感器7、检测车内外的亮度的照度(亮度)传感器8、检测转向盘的转向角的转向角传感器9、以及导航装置10。并且，雨量传感器7和照度传感器8通过外部环境检测装置11连接在物体检测ECU4上。另外，导航装置10具有GPS12，并且也与通过通信接收外部信息的外部信息接收装置13连接。外部信息接收装置13也直接连接在物体检测ECU4上。
当通过CCD照相机2R，2L(立体照相机)检测对象物时，首先，通过一对CCD照相机2R，2L获得前方图像。由于一对CCD照相机2R，2L留出规定的间隔而进行设置，因此所摄来的一对图像并不完全相同，在两个图像之间产生与所谓肉眼的视差相当的偏差(以下，该偏差也称为视差)。即，对两个图像上表示同一物体的点(以下，将该一对点称为对应点)的视差会根据来自CCD照相机2R，2L的方向及距离而不同。因此，可以根据图像上的位置(二维座标轴上的座标：通常以左右任一个图像为基准)和视差，计算出实际的三维空间(与此相应的三维座标轴)上的座标，即，与车辆1的距离。
下面参照图2和图3的流程图，来说明由本实施方式的物体检测装置进行的对CCD照相机2R，2L的经年变化等引起的检测误差的修正控制(以及，与其后的物体的距离检测控制)。首先，通过CCD照相机2R，2L获得立体图像(步骤200)。然后，基于获得的立体图像，物体检测ECU4对物体(有时也称为物标)进行检测(步骤205)。对立体图像的物体检测如上述那样进行。此时当进行物体检测时，对于与物体的距离，既可以作为距离自身计算出，也可以是与距离相应的视差。
与步骤200，205并行，通过毫米波传感器3扫描车辆1的前方，获得其输出(步骤210)。然后，根据该输出结果，物体检测ECU4对物体(步骤215)进行检测。步骤205，215之后，在CCD照相机2R，2L检测出的物体和通过毫米波传感器3检测出的物体之中，对被认为是相同的物体进行指定(确认)(步骤220)。此工序也称为合并。
合并结束后，对涉及同一物体的CCD照相机2R，2L的检测结果和毫米波传感器3的检测结果加以比较，计算出CCD照相机2R，2L的平均偏差量(步骤225)。步骤225之后，首先，对车辆条件是否成立进行判定(步骤230)。所谓车辆条件为表示车辆1的状态适于进行修正的状态，即车辆1的动作稳定的状态(对于立体图像和毫米波这两者稳定地进行物体检测的状态)的条件。
具体地说，车速(通过车速传感器5测得)是否处于规定速度为车辆条件之一。这里是指车速是否为0、或是否处于表示车辆为某种程度的高度(这是因为，如果为高车速区域，则驾驶员的转向操纵量会较少)的规定范围内[阈值ThL1＜车速V＜ThH]。例如，ThL1＝40km/h，ThH＝100km/h。另外一个车辆条件为|曲率半径R|＞阈值Thc是否成立。曲率半径R可以通过对CCD照相机2R，2L获得的图像进行白线检测而检测出，或者根据横摆率传感器和转向角传感器的检测结果而计算出。这是因为，如果曲率半径R较大(当车辆1在直线道路上行驶时)，则驾驶员的转向操作会较少。
车辆条件的另一个条件为车辆1的|颠簸(pitch)变化|＜阈值Thp。所谓颠簸变化小是指在平坦道路上行驶，适合修正。车辆1的颠簸变化可以通过对CCD照相机2R，2L获得的图像进行白线检测，根据左右白线的延长线交点位置的上下移动而检测出来，或者根据颠簸传感器、悬架行程传感器以及上下加速度传感器等检测结果而计算出来。当上述三个条件全部成立时，车辆条件成立。当车辆条件不成立时，返回到图2的流程图的起始点。
另一方面，当车辆条件成立时，接着对毫米波条件是否成立进行判断(步骤235)。所谓毫米波条件为表示可以通过毫米波传感器3高精度地检测出与物体的距离的状态的条件。其条件之一为车辆1的|横向位置座标|＜阈值Thw是否成立。这是因为，尽可能处于车辆1的正前方的方向检测距离精度高。车辆横向位置的原点为车道中心，车辆1的左右中心为代表点。在通过左右白线确定的车道内存在车辆1即可。这可以由CCD照相机2R，2L的获得图像白线检测，判断是否处于车道内。
下一个毫米波条件为本车线概率＞阈值ThJ是否成立。所谓本车线概率(检测频率)是指前方的物体位于本车线内且以某种程度连续处于那些位置。可以说该本车线概率越大毫米波传感器3的检测精度越高。另外，下一个毫米波条件为与前方物体的|相对速度|＜阈值ThR是否成立。可以说相对速度的大小越小毫米波传感器3的检测精度越高。
下一个毫米波条件为毫米波传感器3的灵敏度阈值为高阈值。通常，毫米波传感器根据对象物将用于反射光的检测的灵敏度阈值区分为高阈值和低阈值。所谓高阈值是用于检测对象为车辆或铁板等反射率高的物体的情形。所谓低阈值是用于检测对象为行人等反射率低的物体的情形。这里，当使用高阈值高精度地进行物体检测时，毫米波条件之一成立。
下一个毫米波条件为数据不是所谓的外插数据。虽然可以连续地检测出前方物体，但是由于某些条件也可以产生连续检测之中的一次(或者多次)无法检测的情形。在这样的情形下，有时可以以前后的数据为基础，将无法检测的一次(或者多次)的数据补全来完成。将该补全称为外插。这里，当用于修正的数据不是外插数据时，毫米波条件之一成立。当上述五个条件全部成立时毫米波条件成立。当毫米波条件不成立时，返回到图2的流程图的起始点。
当毫米波条件成立时，接着对立体条件是否成立进行判断(步骤240)。所谓立体条件为表示通过立体图像可以高精度检测出到物体的距离的状态的条件。其条件之一为在步骤250中检测出的距离(或者与视差相对应的距离)是否处于规定的范围内[阈值ThL2＜车速V＜Thu]。当过近时，存在仅立体图像的一个拍摄到物体的情况等，精度差。并且，这里，由于当毫米波传感器3过近(例如，不足5m)时也没有精度，因此该立体条件也包括该毫米波传感器3的条件。另一方面，立体图像对物体的检测距离存在极限，该极限为上限Thu。例如，ThL2＝5m，Thu＝40m。
另一立体条件与上述毫米波条件之一相同，为车辆1的|横向位置座标|＜阈值Thw是否成立。车辆横向位置的原点为车道中心，车辆1的左右中心为代表点。在通过左右白线确定的车道内存在车辆1即可。这是因为，尽可能处于车辆1的正前方的方向检测距离精度高。当上述两个条件成立时，立体条件成立。当立体条件不成立时，返回到图2的流程图的起始点。
当步骤240为肯定结论时，对检测数据数是否为规定的数据数ThD以上，且在步骤225中计算出的平均偏差量是否大于规定的阈值Thz进行判定(步骤245)。这里，由于当数据数较少时没有可靠性，因此需要某种程度的数据数，并且当偏差量少时无需进行修正。
步骤245之后，求出视差修正值(步骤250)。这里，图4示出了将立体照相机2R，2L的检测距离与毫米波传感器3的检测距离之差作为纵轴、将该被检测物体与车辆1的距离L作为横轴时的数据分布。这些数据是准备了多辆车辆1(由于经年变化等立体照相机2R，2L的调整会有所不同)，并将这些测量结果描绘在图形上而得到的。另外，数据处于20[m]＜L＜40[m]的范围内。
由图4可知，与车辆1的距离越远，立体照相机2R，2L的检测距离与毫米波传感器3的检测距离之差越大(离散)。对此，将图4的纵轴转换为立体图像的视差(像素数)的图表示在图5中。由图5可知，如果作为视差表示，则在全部的范围(20[m]＜L＜40[m])内立体照相机2R，2L的检测视差与毫米波传感器3的检测距离之差收敛在大概固定的范围内。这也是显而易见的，因为例如，在视差为2像素的情况下，如果与物体的距离较近则其误差较小，但是如果与物体的距离较远，则其误差较大。
因此，这里，如图5所示，对于视差，求出涉及全部数据的平均值，将其作为视差修正值而计算出(图5中的虚线)。毫米波传感器3的检测结果比立体照相机2R，2L精度高。因而，可以通过将该视差修正值与立体照相机2R，2L的检测结果(视差：距离相当量)相加(如果为负值，则为相减)，来修正立体照相机2R，2L的检测结果(步骤255)。使用通过视差修正值修正的视差进行三维转换，最终计算出与物体的距离(步骤260)，并将其输出(步骤265)。
本发明并不限于上述实施方式。例如，除了上述实施方式中的图2和图3的流程图的步骤230～240的各条件以外，也可以将车辆1的行驶环境的天气或亮度作为条件。当下雨时(通过雨量传感器7检测)，由于立体照相机2R，2L(或者毫米波传感器3)的检测精度下降，而可以不进行修正(偏差的评价)，或者当车辆1的周边的亮度较暗时(通过照度传感器8检测)由于立体照相机2R，2L(或者毫米波传感器3)的检测精度下降，也可以不进行修正。或者，当用导航装置10判断出车辆1在市区内行驶时，也可以不进行修正(偏差的评价)。这是因为，当在市区内行驶时，车辆的行驶状态难以稳定。

Claims (12)

1.一种车载的物体检测装置，对到物体的距离相当量进行检测，所述物体检测装置的特征在于，包括：
第一检测单元，对到物体的距离相当量进行检测；
第二检测单元，以与所述第一检测单元不同的检测原理对到物体的距离相当量进行检测；
判断单元，判断所述第一检测单元和第二检测单元是否检测的是同一物体；
判定单元，当判断为检测同一物体时，判定是否将所述第二检测单元检测出的距离相当量用于所述第一检测单元检测出的距离相当量的检测误差的评价。
2.如权利要求1所述的物体检测装置，其特征在于，
当所述第二检测单元的所述同一物体的检测频率高时，所述判定单元判定为用于评价。
3.如权利要求1所述的物体检测装置，其特征在于，
当所述第一检测单元或所述第二检测单元检测出的到所述同一物体的距离相当量处于规定范围内时，所述判定单元判定为用于评价。
4.如权利要求3所述的物体检测装置，其特征在于，所述规定范围为除距离相当量在附近或远方之外的范围。
5.如权利要求1所述的物体检测装置，其特征在于，
具有行驶稳定状态判断单元，该行驶稳定状态判断单元对所述车辆行驶状态是否处于稳定行驶状态进行判断，
当判定为稳定行驶状态时，所述判定单元判定为用于评价。
6.如权利要求5所述的物体检测装置，其特征在于，
当车辆处于停车当中或高速行驶当中时，所述行驶稳定状态判断单元判断为稳定行驶状态。
7.如权利要求5所述的物体检测装置，其特征在于，
当车辆在直线道路或平坦道路上行驶时，所述行驶稳定状态判断单元判断为稳定行驶状态。
8.如权利要求5所述的物体检测装置，其特征在于，
当车辆在市区内行驶时，所述行驶稳定状态判断单元判断为不处于稳定行驶状态。
9.如权利要求1所述的物体检测装置，其特征在于，
所述第一检测单元或所述第二检测单元检测相对于车辆的物体的横向位置、即相对横向位置，当所述同一物体的相对横向位置处于规定范围内时，所述判定单元判定为用于评价。
10.如权利要求1所述的物体检测装置，其特征在于，
所述判定单元根据车辆的行驶环境的天气或亮度，对是否用于评价进行判定。
11.如权利要求1～10中任一项所述的物体检测装置，其特征在于，
当判定为所述第一、第二检测单元检测出的距离相当量存在偏差时，根据所述第二检测单元的距离相当量来修正所述第一检测单元的距离相当量。
12.如权利要求1～11中任一项所述的物体检测装置，其特征在于，
所述第一检测单元为使用多个摄像单元的图像的图像测距传感器，所述第二检测单元为使用毫米波的毫米波测距传感器。
CNA2006800255589A 2005-07-13 2006-07-12 物体检测装置 Pending CN101223416A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005204656A JP2007024590A (ja) 2005-07-13 2005-07-13 物体検出装置
JP204656/2005 2005-07-13

Publications (1)

Publication Number Publication Date
CN101223416A true CN101223416A (zh) 2008-07-16

Family

ID=37637270

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800255589A Pending CN101223416A (zh) 2005-07-13 2006-07-12 物体检测装置

Country Status (5)

Country Link
US (1) US20090122136A1 (zh)
EP (1) EP1909064A1 (zh)
JP (1) JP2007024590A (zh)
CN (1) CN101223416A (zh)
WO (1) WO2007007906A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102160100A (zh) * 2008-09-18 2011-08-17 日产自动车株式会社 驾驶动作辅助设备和驾驶动作辅助方法
CN104052986A (zh) * 2013-03-12 2014-09-17 株式会社理光 检测用具、立体照相机检测装置以及检测方法
CN104106105A (zh) * 2012-03-02 2014-10-15 日产自动车株式会社 立体物检测装置
CN104520913A (zh) * 2012-07-03 2015-04-15 歌乐株式会社 车载环境识别装置
CN104930998A (zh) * 2015-06-03 2015-09-23 中国农业大学 智能除草机及其刀苗距优化方法、刀苗信息优化系统
CN105015469A (zh) * 2014-04-25 2015-11-04 本田技研工业株式会社 物体检测装置以及物体检测方法
CN105118054A (zh) * 2015-08-03 2015-12-02 长安大学 一种基于ccd单目测距的驾驶考试系统
CN105264587A (zh) * 2013-07-08 2016-01-20 本田技研工业株式会社 物体识别装置
TWI551490B (zh) * 2014-02-12 2016-10-01 Yamaha Motor Co Ltd Photographic apparatus, vehicle and image correction method
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
CN107241916A (zh) * 2015-01-21 2017-10-10 株式会社电装 车辆的行驶控制装置以及行驶控制方法
CN107408339A (zh) * 2015-02-16 2017-11-28 田山修 汽车中的接近体警报装置
CN109581358A (zh) * 2018-12-20 2019-04-05 奇瑞汽车股份有限公司 障碍物的识别方法、装置及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014445A (ja) * 2007-07-03 2009-01-22 Konica Minolta Holdings Inc 測距装置
US7733266B2 (en) 2007-09-06 2010-06-08 Honda Motor Co., Ltd. Control target recognition system and vehicle object detection system
JP4385065B2 (ja) * 2007-09-06 2009-12-16 本田技研工業株式会社 車両用物体検知装置
JP4416039B2 (ja) * 2008-03-19 2010-02-17 日本電気株式会社 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
JP5280768B2 (ja) * 2008-08-18 2013-09-04 本田技研工業株式会社 車両周辺監視装置
JP5223632B2 (ja) * 2008-12-01 2013-06-26 トヨタ自動車株式会社 異常診断装置
JP4815488B2 (ja) 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
JP5051468B2 (ja) * 2008-12-25 2012-10-17 トヨタ自動車株式会社 センサ校正装置、及び、センサ校正方法
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
EP2641774B1 (en) * 2010-11-19 2018-03-07 Toyota Jidosha Kabushiki Kaisha Control apparatus and control method for electrically driven vehicle
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
US9066085B2 (en) 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
JP6032017B2 (ja) * 2013-01-10 2016-11-24 トヨタ自動車株式会社 運転制御装置および運転制御方法
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
JP6668594B2 (ja) * 2014-02-25 2020-03-18 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
WO2016134241A1 (en) * 2015-02-19 2016-08-25 Brian Mullins Wearable device having millimeter wave sensors
JP6365385B2 (ja) * 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
EP3136291A1 (de) * 2015-08-31 2017-03-01 Continental Automotive GmbH Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung
US10670697B2 (en) * 2015-09-30 2020-06-02 Sony Corporation Signal processing apparatus, signal processing method, and object detection system
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
DE102018201685A1 (de) * 2018-02-05 2019-08-08 Robert Bosch Gmbh Verfahren zu einer Steuerung eines Detektionsgeräts
JP7152884B2 (ja) * 2018-06-15 2022-10-13 日立Astemo株式会社 車両用物体検知装置
CN110837775A (zh) * 2019-09-30 2020-02-25 合肥合工安驰智能科技有限公司 一种基于二值化网络的井下机车行人及距离检测方法
CN110794452B (zh) * 2019-11-08 2022-02-18 深圳市深创谷技术服务有限公司 检测构件和可移动感测装置
JP7277412B2 (ja) * 2020-04-10 2023-05-18 株式会社Soken 物標追跡装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2861431B2 (ja) * 1991-03-04 1999-02-24 トヨタ自動車株式会社 車載用測距装置
JP2900737B2 (ja) * 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP4104233B2 (ja) * 1998-12-03 2008-06-18 株式会社日立製作所 走行環境認識装置
US6515597B1 (en) * 2000-01-31 2003-02-04 Matsushita Electric Industrial Co. Ltd. Vicinity display for car
US6657176B2 (en) * 2000-04-12 2003-12-02 Autonetworks Technologies, Ltd. On-vehicle image pick-up apparatus and method of setting image pick-up direction
EP1285842B1 (en) * 2001-08-23 2008-05-28 Nissan Motor Co., Ltd. Driving-assist system
JP2003121547A (ja) * 2001-10-18 2003-04-23 Fuji Heavy Ind Ltd 車外監視装置
JP4019736B2 (ja) * 2002-02-26 2007-12-12 トヨタ自動車株式会社 車両用障害物検出装置
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
EP1401125A3 (en) * 2002-09-20 2006-05-31 Victor Company of Japan, Ltd. Optical wireless communication system
JP3841047B2 (ja) * 2002-12-05 2006-11-01 株式会社デンソー 車間制御装置
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2005025692A (ja) * 2003-07-04 2005-01-27 Suzuki Motor Corp 車両用情報提供装置
EP1881450A1 (en) * 2005-05-10 2008-01-23 Olympus Corporation Image processing apparatus, image processing method, and image processing program

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102160100A (zh) * 2008-09-18 2011-08-17 日产自动车株式会社 驾驶动作辅助设备和驾驶动作辅助方法
CN104106105A (zh) * 2012-03-02 2014-10-15 日产自动车株式会社 立体物检测装置
CN104520913A (zh) * 2012-07-03 2015-04-15 歌乐株式会社 车载环境识别装置
CN104052986A (zh) * 2013-03-12 2014-09-17 株式会社理光 检测用具、立体照相机检测装置以及检测方法
CN104052986B (zh) * 2013-03-12 2016-09-21 株式会社理光 检测用具、立体照相机检测装置以及检测方法
CN105264587B (zh) * 2013-07-08 2017-04-26 本田技研工业株式会社 物体识别装置
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
CN105264587A (zh) * 2013-07-08 2016-01-20 本田技研工业株式会社 物体识别装置
TWI551490B (zh) * 2014-02-12 2016-10-01 Yamaha Motor Co Ltd Photographic apparatus, vehicle and image correction method
CN105015469B (zh) * 2014-04-25 2017-07-04 本田技研工业株式会社 物体检测装置以及物体检测方法
CN105015469A (zh) * 2014-04-25 2015-11-04 本田技研工业株式会社 物体检测装置以及物体检测方法
CN107241916A (zh) * 2015-01-21 2017-10-10 株式会社电装 车辆的行驶控制装置以及行驶控制方法
CN107241916B (zh) * 2015-01-21 2021-08-24 株式会社电装 车辆的行驶控制装置以及行驶控制方法
CN107408339A (zh) * 2015-02-16 2017-11-28 田山修 汽车中的接近体警报装置
CN104930998A (zh) * 2015-06-03 2015-09-23 中国农业大学 智能除草机及其刀苗距优化方法、刀苗信息优化系统
CN104930998B (zh) * 2015-06-03 2017-12-01 中国农业大学 智能除草机及其刀苗距优化方法、刀苗信息优化系统
CN105118054A (zh) * 2015-08-03 2015-12-02 长安大学 一种基于ccd单目测距的驾驶考试系统
CN105118054B (zh) * 2015-08-03 2018-09-14 长安大学 一种基于ccd单目测距的驾驶考试系统
CN109581358A (zh) * 2018-12-20 2019-04-05 奇瑞汽车股份有限公司 障碍物的识别方法、装置及存储介质

Also Published As

Publication number Publication date
WO2007007906A1 (ja) 2007-01-18
EP1909064A1 (en) 2008-04-09
US20090122136A1 (en) 2009-05-14
JP2007024590A (ja) 2007-02-01

Similar Documents

Publication Publication Date Title
CN101223416A (zh) 物体检测装置
US10696227B2 (en) Determining a road surface characteristic
CA2987373C (en) Position estimation device and position estimation method
JP5912200B2 (ja) 複数のセンサーを用いる物体検出方法及びシステム
US9495875B2 (en) Obstacle evaluation technique
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
CN102016921B (zh) 图像处理装置
US11460851B2 (en) Eccentricity image fusion
CN105984464A (zh) 车辆控制装置
CN105937912A (zh) 车辆的地图数据处理装置
CN102649408A (zh) 车道偏离警报装置以及车道偏离警报系统
CN103116988B (zh) 基于tof相机的车流量及车型检测方法
CN102673560A (zh) 识别拐弯机动的方法和驾驶员辅助系统
CN101933326B (zh) 车辆周围监测装置、车辆
CN113805145B (zh) 动态激光雷达对准
CN110843786A (zh) 用于确定和显示涉水状况的方法和系统及具有该系统的车辆
CN110550041B (zh) 一种基于云端数据共享的路面附着系数估计方法
CN103868516A (zh) 用于确定道路基础设施的位置和/或类型的方法和装置
EP3905121A1 (en) Vehicle system with a safety mechanism and method of operation thereof
JP4850531B2 (ja) 車載レーダ装置
CN112078580A (zh) 用于确定对象与行车带的重合度的方法，装置和存储介质
Ahlers et al. Cooperative laserscanner pre-data-fusion
JP2020153908A (ja) 環境認識装置
WO2021170140A1 (zh) 一种车道结构检测方法及装置
WO2021215199A1 (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080716