CN102084408A - 物体检测装置 - Google Patents

物体检测装置 Download PDF

Info

Publication number
CN102084408A
CN102084408A CN2009801125548A CN200980112554A CN102084408A CN 102084408 A CN102084408 A CN 102084408A CN 2009801125548 A CN2009801125548 A CN 2009801125548A CN 200980112554 A CN200980112554 A CN 200980112554A CN 102084408 A CN102084408 A CN 102084408A
Authority
CN
China
Prior art keywords
check point
image section
point data
detected
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801125548A
Other languages
English (en)
Other versions
CN102084408B (zh
Inventor
名波刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN102084408A publication Critical patent/CN102084408A/zh
Application granted granted Critical
Publication of CN102084408B publication Critical patent/CN102084408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的目的在于提供一种物体检测装置，其能够降低因雷达的检测结果和图像处理的检测结果在时间上的偏差而引起的误差的影响，从而能够提高物体检测精度。物体检测装置(1)的物体检测部(10)具有：图像部分搜索单元(22)，其参照被雷达检测部(14)检测出的检测点数据而对由图像拍摄部(12)所拍摄的图像数据进行搜索，从而检测出与检测对象物体对应的图像部分；检测点提取单元(24)，其从被雷达检测部(14)检测出的检测点数据中提取与检测对象物体对应的检测点数据；图像部分修正单元(26)，其按照由检测点提取单元(24)所提取的检测点数据，来对由图像部分搜索单元(22)检测出的图像部分的位置进行修正。

Description

物体检测装置
技术领域
本发明涉及一种根据雷达的检测结果和拍摄装置的拍摄图像而对物体进行检测的物体检测装置。
背景技术
一直以来，在车辆的碰撞防止系统等中，为了避免与前面车辆或对面车辆等的其他车辆的碰撞，而采用对其他车辆的位置等进行检测的物体检测装置。作为该物体检测装置为，有一种根据对由雷达检测出的检测结果和由照相机所拍摄的图像进行结合的传感器融合技术的识别处理来检测物体的装置。
在原理上，通过雷达无法计算出检测对象物体的宽度，但能够获得距该物体的距离信息。另一方面，通过单镜头照相机不能求出距检测对象物体的距离，但能够检测出物体的宽度等。传感器融合技术为，结合这些多个传感器的功能而对物体进行检测的方法。关于传感器融合技术的物体检测，到目前为止进行了各种研究。
例如，在专利文献1中记载了一种检测方法，该检测方法利用雷达的检测结果来对照相机的拍摄图像进行处理，并根据雷达的测距距离和通过图像处理而得到的车辆特征量(车宽等)，来识别并检测前面车辆等。
专利文献1：日本特开2005-141517号公报
发明内容
本发明所要解决的问题
但是，在上述的传感器融合技术的物体检测中，由于利用雷达的检测结果来处理图像数据，因此图像处理结果的获取，与获取单独使用雷达时的检测结果相比更需要时间。因此，在现有的传感器融合技术中，存在如下问题，即，因图像处理的检测结果在时间上的滞后，而导致由图像处理所识别的物体位置相对于实际的物体位置产生偏差。
本发明是鉴于所述情况而作成的，其目的在于，提供一种能够降低由图像处理所识别的物体位置的偏差，从而能够提高物体检测精度的物体检测装置。
用于解决问题的方法
为了达成上述目的，本发明所涉及的物体检测装置的特征在于，具有：图像拍摄部，其对规定范围进行拍摄并获得图像数据；雷达检测部，其向规定范围内的多个不同方向照射电磁波，并针对由该电磁波所照射的各个方向，分别获取包括距存在于该方向上的物体的距离数据在内的检测点数据；物体检测部，其根据由图像拍摄部所拍摄的图像数据和由雷达检测部检测出的检测点数据，来检测规定的检测对象物体，其中，物体检测部具有：图像部分搜索单元，其参照被雷达检测部检测出的检测点数据而对由图像拍摄部所拍摄的图像数据进行搜索，从而检测出对应于检测对象物体的图像部分；检测点提取单元，其从被雷达检测部检测出的检测点数据中提取与检测对象物体相对应的检测点数据；图像部分修正单元，其按照由检测点提取单元所提取的检测点数据，来对由图像部分搜索单元检测出的图像部分的位置进行修正。
根据上述结构的物体检测装置，图像拍摄部获取对规定范围进行了拍摄后的图像数据，且雷达检测部获取在该范围内的多个不同方向上的检测点数据。而且，物体检测部通过对图像数据以及检测点数据进行处理，从而修正对应于检测对象物体的图像部分的位置。在该物体检测部的处理中，执行对由图像拍摄部所拍摄的图像数据进行搜索，并对与检测对象物体相对应的图像部分进行检测的处理。此外，执行从被雷达检测部检测出的多个检测点数据中提取与检测对象物体相对应的检测点数据的处理。然后，执行按照所提取的检测点数据，而对图像部分的位置进行修正的处理。由于通过以上一系列的处理，而对与检测对象物体相对应的图像部分的位置进行修正，因此降低了由图像处理所识别的物体位置的偏差，从而能够提高物体的检测精度。
在上述的物体检测装置中，优选为，图像部分修正单元对图像部分的位置进行修正时，使图像部分的端部与由检测点提取单元所提取的检测点数据构成的区域的端部相一致。根据该结构，由于对图像部分的位置进行修正时，使图像部分的端部与由对应于检测对象物体的检测点数据构成的区域的端部相一致，因此能够高精度地对与检测对象物体相对应的图像部分的位置进行修正，从而能够提高物体的检测精度。
在上述的物体检测装置中，优选为，当由检测点提取单元所提取的检测点数据处于图像部分的外侧时，图像部分修正单元对图像部分的位置进行修正。根据该结构，通过在对应于检测对象物体的检测点数据处于图像部分的外侧时，对该图像部分的位置进行修正，从而能够修正存在误差的图像部分的位置，因此能够提高物体检测精度。
在上述的物体检测装置中，优选为，在图像部分修正单元中使用的检测点数据为，在图像部分搜索单元中使用的图像数据被拍摄之后所检测出的检测点数据。根据该结构，由于使用在图像数据拍摄之后被检测出的检测点数据来修正图像部分的位置，因此从旧的图像数据中搜索出的图像部分根据新的检测数据而被修正，从而能够提高物体的检测精度。
在上述的物体检测装置中，优选为，物体检测部还具有物体信息运算单元，该物体信息运算单元根据由检测点提取单元所提取的检测点数据和被图像部分修正单元修正了位置的图像部分，而运算出与检测对象物体相关的信息。根据该结构，由于根据与检测对象物体相对应的检测点数据和被修正了位置的图像部分，而执行对与检测对象物体相关的信息进行运算的处理，因此能够提高检测对象物体的检测精度。
在上述的物体检测装置中，优选为，检测对象物体为车辆。根据该结构，能够提高车辆的检测精度，其中，所述车辆存在于设置有物体检测装置的位置的周围。
发明效果
根据本发明所涉及的物体检测装置，能够降低由图像处理所识别的物体位置的偏差，从而能够提高物体检测精度。
附图说明
图1为表示本发明的理想实施方式所涉及的物体检测装置的结构框图。
图2为表示本实施方式中的物体检测装置的处理的流程图。
图3为表示本实施方式中的检测点数据以及图像部分的第1位置关系的主视图。
图4为表示本实施方式中的检测点数据以及图像部分的第2位置关系的主视图。
图5为表示本实施方式中的检测点数据以及图像部分的第3位置关系的主视图。
符号说明
1…碰撞防止装置；10…物体检测装置；12…单镜头照相机(图像拍摄部)；14…毫米波雷达(雷达检测部)；16…物体检测部；20…照相机ECU；22…图像部分搜索单元；24…检测点提取单元；26…图像部分修正单元；30…DSSECU；32…物体信息运算单元；34…碰撞判断单元；50…图像部分；G、H…图像数据；p…检测点数据
具体实施方式
下面，参照附图，对本发明的理想实施方式进行详细说明。
图1为，表示本发明的理想实施方式所涉及的碰撞防止装置1的结构框图。本实施方式的碰撞防止装置1为，用于防止与道路上的障碍物发生碰撞的装置，且被构成为具有物体检测装置10和制动部40。
物体检测装置10为，检测规定的检测对象物体(其他车辆和掉落物体等的障碍物)的装置，并具有单镜头照相机12、毫米波雷达14和物体检测部16。物体检测部16具有照相机ECU20和DSS(Driver Support System：驾驶员支持系统)ECU30。
单镜头照相机12为，被安装在本车辆的前部并用于拍摄本车辆前方的图像的图像拍摄部。单镜头照相机12每隔规定时间拍摄本车辆前方的规定范围而生成图像数据，并向照相机ECU20依次输出所生成的图像数据。
毫米波雷达14为，被安装在本车辆前部的单镜头照相机12附近并用于对本车辆前方的物体进行检测的雷达检测部。毫米波雷达14，在和单镜头照相机12所拍摄的本车辆前方的规定范围相同的范围内，沿左右方向以及上下方向扫描毫米波带的电波，并通过检测其反射波，从而获取包括距存在于该范围内的物体的距离数据在内的检测点数据。即，毫米波雷达14向规定范围内的多个不同的方向照射毫米波带域的电波，针对被照射了该电磁波的各个方向，而获取包括距存在于该方向上的物体的距离数据在内的检测点数据。毫米波雷达14每隔规定时间获取检测点数据，并向照相机ECU20和DSSECU30依次输出所获取的检测点数据。
物体检测部16为，被搭载于本车辆上并根据图像数据和检测点数据而检测规定的检测对象物体，并对本车辆和检测对象物体发生碰撞的可能性进行判断的构件。物体检测部16的处理通过照相机ECU20以及DSSECU30而执行。
照相机ECU20为，从图像数据中检测出规定检测对象物体的图像部分的图像处理部。照相机ECU20被连接在单镜头照相机12上，从而获取从单镜头照相机12所输出的图像数据。照相机ECU20通过对图像数据进行处理，从而检测出存在于本车辆前方的检测对象物体的图像部分。为了检测规定检测对象物体的图像部分，照相机ECU20采用周知的各种图像处理方法即可。
在本实施方式中，照相机ECU20被连接在毫米波雷达14上，从而获取从毫米波雷达14输出的多个检测点数据。照相机ECU20从获取自毫米波雷达14的多个检测点数据中提取与检测对象物体对应的检测点数据，并参照所提取的检测点数据对检测对象物体的图像部分的位置进行修正。照相机ECU20在对检测对象物体的图像部分的位置进行修正后，向DSSECU30输出包括修正完成的检测对象物体的图像部分在内的图像数据。
DSSECU30为，根据检测点数据以及图像数据来运算检测对象物体的位置和宽度等信息的传感器融合处理装置。DSSECU30被连接在毫米波雷达14以及照相机ECU20上，从而获取从毫米波雷达14输出的检测点数据，且获取从照相机ECU20输出的修正后的图像部分数据。DSSECU30通过对检测点数据和修正后的图像部分数据进行处理，从而运算出存在于本车辆前方的规定检测对象物体的位置和宽度等的特征量信息。而且，DSSECU30根据该运算结果，对本车辆和检测对象物体发生碰撞的可能性进行判断，并向制动部40输出判断结果。
此外，在DSSECU30中所处理的检测点数据，从毫米波雷达14直接被输出至DSSECU30，而在DSSECU30中所处理的图像数据，由单镜头照相机12输出后，经过在照相机ECU20中的图像处理后再到达DSSECU30。因此，当对同时在DSSECU30中所处理的检测点数据以及图像数据进行比较时，则图像数据在时间上迟于检测点数据。但是，在本实施方式中，由于在照相机ECU20中对检测对象物体的图像部分的位置进行修正，因此，降低了因时间延迟而造成的物体位置的偏差。
如图1所示，照相机ECU20具有图像部分搜索单元22、检测点提取单元24和图像部分修正单元26，而DSSECU30具有物体信息运算单元32和碰撞判断单元34。这些单元分别是将物体检测部16的处理的一部分作为物体检测部16的结构来显示的。关于这些单元，将在后文叙述的物体检测部16的动作说明中进行说明。此外，照相机ECU20以及DSSECU30，例如以包括CPU、ROM、RAM在内的电脑为主体而构成。
制动部40为进行制动控制的构件，在该制动控制中，制动部40对制动器(未图示)进行控制，从而向本车辆施加制动力。即，制动部40从DSSECU30获取与检测对象物体发生碰撞的可能性的判断结果，并在判断为存在碰撞的可能性时，通过控制制动器而向本车辆施加制动力，从而避免和检测对象物体的接触。
下面，参照图2对碰撞防止装置1的动作进行说明。图2为，表示物体检测部16、即照相机ECU20以及DSSECU30的处理的流程图。以下的处理是从发动机启动到发动机停止之间反复被执行的。另外，在以下说明中，以另一辆车辆面向搭载有物体检测部10的本车辆的前方行驶的情况为列进行说明。
首先，在步骤S1中，照相机ECU20获取从单镜头照相机12输出的图像数据，并从所获取的图像数据中搜索规定的检测对象物体(其他车辆或掉落物体等的障碍物)的图像部分。为了搜索与规定的检测对象物体相对应的图像部分，照相机ECU20可采用各种周知的图像处理方法。例如，当其他车辆在本车辆的前方行驶时，照相机ECU20从单镜头照相机12获取拍摄有其他车辆的图像数据G，并搜索其他车辆的图像部分50(参照图3、图4(a)、图5(a))。另外，步骤S1相当于图像部分搜索单元22。
下面，在步骤S2中，照相机ECU20获取从毫米波雷达14输出的多个检测点数据，并按照各个物体对多个检测点数据进行分组。照相机ECU20，例如以在本车辆前方的毫米波雷达14的扫描范围内得到的检测点数据中，照射方向以及距离数据的值互相接近的多个检测点数据，作为对应于一个物体的检测点数据而进行分组。在这里，各个检测点数据由毫米波带的电波所照射的方向上的数据和到物体的距离的数据构成。照相机ECU20对各个已分组的检测点数据，进行从毫米波雷达14的坐标系向单镜头照相机12的坐标系的坐标变换，并对各个检测点数据在图像数据G上的对应位置P进行运算(参照图3、图4(a)、图5(a))。
其次，在步骤S3中，照相机ECU20对在步骤S2中所分组的检测点数据是否分别与在步骤S1中所搜索的检测对象物体的图像部分相对应进行判断。当被分组的检测点数据和检测对象物体的图像部分在图像数据上位于重叠的位置时，则照相机ECU20判断为该被分组的检测点数据与检测对象物体相对应，并前进至步骤S4。另一方面，当被分组的检测点数据中的任何一个均不与检测对象物体的图像部分相对应时，则照相机ECU20结束处理。另外，由于通过步骤S2以及步骤S3的处理而提取对应于检测对象物体的检测点数据，因此步骤S2以及步骤S3相当于检测点提取单元24。
其次，在步骤S4中，照相机ECU20对与检测对象物体相对应的检测点数据是否在检测对象物体的图像部分的范围内进行判断。在这里，在照相机ECU20判断为与检测对象物体相对应的检测点数据在检测对象物体的图像部分的横向宽度范围内时，则前进至步骤S8。另一方面，当照相机ECU20判断为与检测对象物体相对应的检测点数据不在检测对象物体的图像部分的横向宽度范围内时，则前进至步骤S5。
例如在图3所示的情况下，照相机ECU20判断为与其他车辆相对应的检测点数据p的位置在其他车辆的图像部分50的横向宽度范围内，从而向DSSECU30直接输出图像数据G，并前进至步骤S8。另一方面，例如在图4(a)或者图5(a)所示的情况下，照相机ECU20判断为与其他车辆相对应的检测点数据p的位置不在其他车辆的图像部分50的横向宽度范围内，从而前进至步骤S5。
其次，在步骤S5中，照相机ECU20对与检测对象物体相对应的检测点数据的位置是否向检测对象物体的图像部分的右侧或者左侧中的某一侧偏移进行判断。在这里，当照相机ECU20判断为与检测对象物体相对应的检测点数据的位置向检测对象物体的图像部分的右侧偏移时，则前进至步骤S6。另一方面，当照相机ECU20判断为与检测对象物体相对应的检测点数据的位置向检测对象物体的图像部分的左侧偏移时，则前进至步骤S7。
例如在图4(a)所示的情况下，照相机ECU20判断为与其他车辆相对应的检测点数据p向其他车辆的图像部分50的右侧偏移，从而前进至步骤S6。另一方面，例如在图5(a)所示的情况下，照相机ECU20判断为与其他车辆相对应的检测点数据p向其他车辆的图像部分50的左侧偏移，从而前进至步骤S7。
在步骤S6中，照相机ECU20按照与检测对象物体相对应的检测点数据而向右侧修正检测对象物体的图像部分的位置。更详细来说，照相机ECU20通过使检测对象物体的图像部分的右端部，与由对应于检测对象物体的检测点数据构成的区域的右端部相一致，从而高精度地对检测对象物体的图像部分的位置进行修正。照相机ECU20向DSSECU30输出包括位置修正后的检测对象物体的图像部分在内的图像数据。
在步骤S7中，照相机ECU20按照与检测对象物体相对应的检测点数据而向左侧修正检测对象物体的图像部分的位置。更详细来说，照相机ECU20通过使检测对象物体的图像部分的左端部，与由对应于检测对象物体的检测点数据构成的区域的左端部相一致，从而高精度地对检测对象物体的图像部分的位置进行修正。照相机ECU20向DSSECU30输出包括位置修正后的检测对象物体的图像部分在内的图像数据。
例如在图4(a)所示的情况下，照相机ECU20通过使其他车辆的图像部分50的右端部，与由对应于其他车辆的检测点数据p构成的区域的右端部相一致，从而获得图4(b)所示的图像数据H。此外，例如在图5(a)所示的情况下，照相机ECU20通过使其他车辆的图像部分50的左端部，与由对应于其他车辆的检测点数据p构成的区域的左端部相一致，从而获得图5(b)所示的图像数据H。而且，步骤S4～步骤S6相当于图像部分修正单元26。
通过上述的本实施方式的处理，消除或者降低了因图像处理所需要的时间而引起的、检测对象物体的图像部分的位置偏移。即，照相机ECU20从单镜头照相机12获取图像数据并进行图像处理后，再获取来自毫米波雷达14的检测点数据。而且，照相机ECU20按照与检测对象物体相对应的检测点数据，而对从图像数据中搜索出的检测对象物体的图像部分的位置进行修正。根据该处理，由于利用时间上更为新的检测点数据来对检测对象物体的图像部分的位置进行修正，因此消除或者降低了检测对象物体的图像部分的位置偏移，从而实现检测对象物体的检测精度的提高。
下面，转移至DSSECU30的处理。在步骤S8中，DSSECU30获取来自毫米波雷达14的检测点数据，且获取来自照相机ECU20的图像数据。在这里，DSSECU30所获取的检测点数据和被用于所述照相机ECU20的处理的检测点数据是在同一时间所生成的数据，或者在极为接近的时间所生成的数据。因此，对于DSSECU30所获取的检测点数据，也消除或者降低了检测对象物体的图像部分的位置偏移。
下面，在步骤S9中，DSSECU30根据检测点数据以及图像数据，来运算与检测对象物体相关的信息。即，DSSECU30根据被包含在与检测对象物体相对应的检测点数据中的方向数据以及距离数据、和修正后的检测对象物体的图像部分，而运算出检测对象物体的位置和宽度等的信息。而且，步骤S7以及步骤S8相当于物体信息运算单元32。
根据由上述的处理运算出的检测对象物体的位置和宽度等，DSSECU30对本车辆和检测对象物体发生碰撞的可能性进行判断，并向制动部40输出判断结果。而且，该处理相当于碰撞判断单元34。
制动部40从DSSECU30获取本车辆和检测对象物体发生碰撞的可能性的判断结果。而且，制动部40在获取了表示本车辆和检测对象物体存在发生碰撞的可能性的判断结果时，通过对制动器进行控制，而向本车辆施加制动力，从而避免和检测对象物体的接触。
在本实施方式中，由于DSSECU30根据已修正了检测对象物体的图像部分的位置的图像数据H，来运算与检测对象物体相关的位置和宽度等的信息，因此能够提高检测对象物体的检测精度。而且，由于DSSECU30根据提高了检测精度的检测对象物体信息，而可靠地对本车辆与检测对象物体发生碰撞的可能性进行判断，因此能够防止碰撞可能性的误判断，从而能够避免必要的控制不被执行的情况或者不需要的控制被执行的情况。
以上，虽然对本发明的适合的实施方式进行了详细叙述，但本发明的物体检测装置并不限定于上述的实施方式。在上述的实施方式中，虽然以检测其他车辆的情况为一例进行了说明，但也可以在其他的实施方式中，检测其他车辆以外的检测对象物体。
此外，虽然在上述实施方式中，当与检测对象物体相对应的检测点数据从检测对象物体的图像部分偏移时，照相机ECU20使检测对象物体的图像部分的端部与由对应于检测对象物体的检测点数据构成的区域的端部相一致，但本发明并不限定于此。还可以是，照相机ECU20对检测对象物体的图像部分进行移动，从而使从检测对象物体的图像部分偏移的检测点数据处于检测对象物体的图像部分的范围内。
此外，虽然在上述实施方式中，照相机ECU20向左右方向修正对应于检测对象物体的图像部分的位置，但也可以向上下方向修正对应于检测对象物体的图像部分的位置。此外，照相机ECU20还可以向上下方向以及左右方向的两方向修正对应于检测对象物体的图像部分的位置。
此外，虽然在本实施方式中，照相机ECU20被构成为，具有检测点提取单元24和图像部分修正单元26，但在其他的实施方式中，也可以取代照相机ECU20而使DSSECU30被构成为具有检测点提取单元24和图像部分修正单元26。
此外，虽然在本实施方式中采用毫米波雷达14作为雷达检测部，但雷达检测部也可为照射其他波长的电磁波的构件，例如可以采用激光雷达作为雷达检测部。
产业上的可利用性
根据本发明所涉及的物体检测装置，能够降低由图像处理所识别的物体位置的偏移，从而能够提高物体检测精度。

Claims (6)

1.一种物体检测装置，其特征在于，具有：
图像拍摄部，其对规定范围进行拍摄并获得图像数据；
雷达检测部，其向所述规定范围内的多个不同方向照射电磁波，并针对由该电磁波所照射的各个方向，分别获取检测点数据，该检测点数据包括距存在于该方向上的物体的距离数据；
物体检测部，其根据由所述图像拍摄部所拍摄的图像数据和由所述雷达检测部检测出的检测点数据，来检测规定的检测对象物体，
其中，所述物体检测部具有：
图像部分搜索单元，其参照由所述雷达检测部检测出的检测点数据而对由所述图像拍摄部所拍摄的图像数据进行搜索，从而检测出对应于所述检测对象物体的图像部分；
检测点提取单元，其从被所述雷达检测部检测出的检测点数据中提取对应于所述检测对象物体的检测点数据；
图像部分修正单元，其按照由所述检测点提取单元提取的所述检测点数据，对由所述图像部分搜索单元检测出的所述图像部分的位置进行修正。
2.如权利要求1所述的物体检测装置，其特征在于，所述图像部分修正单元，以使所述图像部分的端部与由所述检测点提取单元所提取的所述检测点数据所构成的区域的端部相一致的方式，对所述图像部分的位置进行修正。
3.如权利要求1或者2所述的物体检测装置，其特征在于，当由所述检测点提取单元所提取的所述检测点数据处于所述图像部分的外侧时，所述图像部分修正单元对所述图像部分的位置进行修正。
4.如权利要求1～3中任意一项所述的物体检测装置，其特征在于，在所述图像部分修正单元中使用的检测点数据为，在所述图像部分搜索单元中使用的图像数据被拍摄之后所检测出的检测点数据。
5.如权利要求1～4中任意一项所述的物体检测装置，其特征在于，所述物体检测部还具有物体信息运算单元，该物体信息运算单元根据由所述检测点提取单元所提取的所述检测点数据和被所述图像部分修正单元修正了位置的图像部分，而运算出与所述检测对象物体相关的信息。
6.如权利要求1～5中任意一项所述的物体检测装置，其特征在于，所述检测对象物体为车辆。
CN200980112554.8A 2008-09-05 2009-09-01 物体检测装置 Active CN102084408B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-228812 2008-09-05
JP2008228812A JP4434296B1 (ja) 2008-09-05 2008-09-05 物体検出装置
PCT/JP2009/065251 WO2010026959A1 (ja) 2008-09-05 2009-09-01 物体検出装置

Publications (2)

Publication Number Publication Date
CN102084408A true CN102084408A (zh) 2011-06-01
CN102084408B CN102084408B (zh) 2015-11-25

Family

ID=41797127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980112554.8A Active CN102084408B (zh) 2008-09-05 2009-09-01 物体检测装置

Country Status (5)

Country Link
US (1) US8466827B2 (zh)
JP (1) JP4434296B1 (zh)
CN (1) CN102084408B (zh)
DE (1) DE112009001686B4 (zh)
WO (1) WO2010026959A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584098A (zh) * 2012-09-03 2015-04-29 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
CN105247592A (zh) * 2013-05-31 2016-01-13 丰田自动车株式会社 车辆的驾驶支援装置及车载计算机
CN105283775A (zh) * 2013-04-12 2016-01-27 株式会社日立制作所 移动机器人以及音源位置推定系统
CN106205209A (zh) * 2014-12-30 2016-12-07 现代摩比斯株式会社 利用激光扫描器的车辆追踪位置修正系统及方法
JP2018097688A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 物体検出装置、物体検出方法
CN108692699A (zh) * 2017-04-11 2018-10-23 现代自动车株式会社 用于防撞辅助的车辆和方法
CN111583716A (zh) * 2020-04-29 2020-08-25 浙江吉利汽车研究院有限公司 一种车辆避障方法、装置、电子设备及存储介质
CN112528763A (zh) * 2020-11-24 2021-03-19 浙江大华汽车技术有限公司 一种目标检测方法、电子设备和计算机存储介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135830B2 (en) * 2010-02-18 2015-09-15 Xsight Systems Ltd. Airport travel surface edge lighting and foreign object detection system and method
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
JP5416026B2 (ja) * 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
JP5455772B2 (ja) * 2010-04-27 2014-03-26 本田技研工業株式会社 車両の周辺監視装置
EP3312629A3 (en) 2011-02-21 2018-06-13 Transrobotics, Inc. System and method for sensing an object's dimensions
JP5874252B2 (ja) * 2011-09-07 2016-03-02 株式会社Ihi 対象物との相対位置計測方法と装置
CN104508720B (zh) * 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
EP3828591A1 (en) 2012-10-05 2021-06-02 Transrobotics, Inc. Systems and methods for high resolution distance sensing and applications
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9167214B2 (en) 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
US9557415B2 (en) * 2014-01-20 2017-01-31 Northrop Grumman Systems Corporation Enhanced imaging system
JP6459659B2 (ja) * 2014-03-18 2019-01-30 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
EP3164859B1 (en) * 2014-07-03 2022-08-31 GM Global Technology Operations LLC Vehicle radar methods and systems
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
DE102015116586A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
DE102015116574A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
US10137904B2 (en) * 2015-10-14 2018-11-27 Magna Electronics Inc. Driver assistance system with sensor offset correction
US10359779B2 (en) 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
JP6536521B2 (ja) * 2016-09-22 2019-07-03 株式会社デンソー 物体検知装置及び物体検知方法
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
KR102494260B1 (ko) * 2016-12-06 2023-02-03 주식회사 에이치엘클레무브 차량의 주행 지원 장치 및 이의 구동 방법
US10816970B2 (en) 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10453351B2 (en) 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
JP6818907B2 (ja) * 2017-11-20 2021-01-27 三菱電機株式会社 障害物認識装置および障害物認識方法
KR101921074B1 (ko) * 2017-11-23 2018-11-22 (주) 모토텍 차량의 aeb 구동을 위한 센서 퓨전 시스템
CN108363060A (zh) * 2018-01-19 2018-08-03 上海思岚科技有限公司 一种动态障碍物检测方法及设备
US10875662B2 (en) 2018-04-19 2020-12-29 Aurora Flight Sciences Corporation Method of robot manipulation in a vibration environment
US10850397B2 (en) 2018-04-19 2020-12-01 Aurora Flight Sciences Corporation System and method for providing in-cockpit actuation of aircraft controls
US11399137B2 (en) 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
US11037453B2 (en) 2018-10-12 2021-06-15 Aurora Flight Sciences Corporation Adaptive sense and avoid system
US11151810B2 (en) 2018-10-12 2021-10-19 Aurora Flight Sciences Corporation Adaptable vehicle monitoring system
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
US11703593B2 (en) 2019-04-04 2023-07-18 TransRobotics, Inc. Technologies for acting based on object tracking
CN113095108B (zh) * 2019-12-23 2023-11-10 中移物联网有限公司 一种疲劳驾驶检测方法及装置
JP7290104B2 (ja) 2019-12-23 2023-06-13 株式会社デンソー 自己位置推定装置、方法及びプログラム
CN111401208B (zh) * 2020-03-11 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098224A1 (en) * 2002-07-03 2004-05-20 Fuji Jukogyo Kabushiki Kaisha Identical object determination method and apparatus and displacement correction method and apparatus
CN1779483A (zh) * 2004-11-26 2006-05-31 欧姆龙株式会社 车载用图像处理装置
JP4534846B2 (ja) * 2005-04-13 2010-09-01 トヨタ自動車株式会社 物体検出装置
JP4726621B2 (ja) * 2005-12-13 2011-07-20 アルパイン株式会社 車載センサの補正装置
JP4882428B2 (ja) * 2006-03-06 2012-02-22 株式会社豊田中央研究所 環境認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
DE10229334B4 (de) * 2002-06-29 2010-09-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
NL1023016C2 (nl) * 2003-03-25 2004-09-30 Tno Detectiesysteem, werkwijze voor het detecteren van objecten en computerprogramma daarvoor.
DE10324895A1 (de) 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
JP4074577B2 (ja) 2003-11-07 2008-04-09 ダイハツ工業株式会社 車両検出方法及び車両検出装置
US20060091654A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. Sensor system with radar sensor and vision sensor
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP4193886B2 (ja) * 2006-07-26 2008-12-10 トヨタ自動車株式会社 画像表示装置
US8189857B2 (en) * 2007-09-07 2012-05-29 EDH Holding (Pty) Ltd Methods and processes for detecting a mark on a playing surface and for tracking an object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098224A1 (en) * 2002-07-03 2004-05-20 Fuji Jukogyo Kabushiki Kaisha Identical object determination method and apparatus and displacement correction method and apparatus
CN1779483A (zh) * 2004-11-26 2006-05-31 欧姆龙株式会社 车载用图像处理装置
JP4534846B2 (ja) * 2005-04-13 2010-09-01 トヨタ自動車株式会社 物体検出装置
JP4726621B2 (ja) * 2005-12-13 2011-07-20 アルパイン株式会社 車載センサの補正装置
JP4882428B2 (ja) * 2006-03-06 2012-02-22 株式会社豊田中央研究所 環境認識装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584098A (zh) * 2012-09-03 2015-04-29 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
CN104584098B (zh) * 2012-09-03 2017-09-15 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
US9989626B2 (en) 2013-04-12 2018-06-05 Hitachi, Ltd. Mobile robot and sound source position estimation system
CN105283775A (zh) * 2013-04-12 2016-01-27 株式会社日立制作所 移动机器人以及音源位置推定系统
CN105283775B (zh) * 2013-04-12 2018-04-06 株式会社日立制作所 移动机器人以及音源位置推定系统
CN105247592A (zh) * 2013-05-31 2016-01-13 丰田自动车株式会社 车辆的驾驶支援装置及车载计算机
CN106205209A (zh) * 2014-12-30 2016-12-07 现代摩比斯株式会社 利用激光扫描器的车辆追踪位置修正系统及方法
CN106205209B (zh) * 2014-12-30 2019-01-04 现代摩比斯株式会社 利用激光扫描器的车辆追踪位置修正系统及方法
JP2018097688A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 物体検出装置、物体検出方法
CN108692699A (zh) * 2017-04-11 2018-10-23 现代自动车株式会社 用于防撞辅助的车辆和方法
CN108692699B (zh) * 2017-04-11 2021-11-12 现代自动车株式会社 用于防撞辅助的车辆和方法
CN111583716A (zh) * 2020-04-29 2020-08-25 浙江吉利汽车研究院有限公司 一种车辆避障方法、装置、电子设备及存储介质
CN112528763A (zh) * 2020-11-24 2021-03-19 浙江大华汽车技术有限公司 一种目标检测方法、电子设备和计算机存储介质

Also Published As

Publication number Publication date
DE112009001686B4 (de) 2024-08-01
WO2010026959A1 (ja) 2010-03-11
JP4434296B1 (ja) 2010-03-17
CN102084408B (zh) 2015-11-25
JP2010061567A (ja) 2010-03-18
DE112009001686T5 (de) 2012-01-12
US8466827B2 (en) 2013-06-18
US20110050482A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
CN102084408A (zh) 物体检测装置
US10852732B2 (en) Deep learning based self-driving car, deep learning based self-driving control device, and deep learning based self-driving control method
CN103863321B (zh) 碰撞判断设备和防碰撞设备
JP4858574B2 (ja) 物体検出装置
JP6361366B2 (ja) 物体認識装置
JP6988200B2 (ja) 車両制御装置
JP2018092483A (ja) 物体認識装置
JP6468136B2 (ja) 走行支援装置及び走行支援方法
CN106574961B (zh) 使用多个物体检测单元的物体识别装置
WO2016047689A1 (ja) ビームセンサの軸ずれ量推定装置
US10339393B2 (en) Demarcation line recognition apparatus
JP6614108B2 (ja) 車両制御装置、車両制御方法
US10435019B2 (en) Course prediction method and course prediction device
US20180361854A1 (en) Target determination apparatus and driving assistance system
US10032084B2 (en) Image processing apparatus
CN104620297A (zh) 速度算出装置、速度算出方法以及碰撞判定装置
CN105480227A (zh) 主动驾驶技术中基于红外雷达与视频图像信息融合的方法
JP4052291B2 (ja) 車両用画像処理装置
JP2006011570A (ja) カメラキャリブレーション方法及びカメラキャリブレーション装置
US10909850B2 (en) Movement track detection apparatus, moving object detection apparatus, and movement track detection method
US10810448B2 (en) Image-capturing device
US11156466B2 (en) Lane determination device
US10053092B2 (en) Road environment recognition device, vehicle control device, and vehicle control method
JP5717416B2 (ja) 運転支援制御装置
KR102019383B1 (ko) 차량 추적 장치 및 그것의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant