CN106574961B - 使用多个物体检测单元的物体识别装置 - Google Patents

使用多个物体检测单元的物体识别装置 Download PDF

Info

Publication number
CN106574961B
CN106574961B CN201580041368.5A CN201580041368A CN106574961B CN 106574961 B CN106574961 B CN 106574961B CN 201580041368 A CN201580041368 A CN 201580041368A CN 106574961 B CN106574961 B CN 106574961B
Authority
CN
China
Prior art keywords
mentioned
axis
unit
object detection
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580041368.5A
Other languages
English (en)
Other versions
CN106574961A (zh
Inventor
松元郁佑
高木亮
矶贝晃
相泽一郎
土田淳
佐藤公一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Publication of CN106574961A publication Critical patent/CN106574961A/zh
Application granted granted Critical
Publication of CN106574961B publication Critical patent/CN106574961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及使用多个物体检测单元的物体识别装置。作为移动体的车辆(50)搭载作为第一物体检测单元的拍摄装置(11)以及作为第二物体检测单元的雷达装置(12)。物体识别装置(10)具备：学习第一物体检测单元的基准轴(X1)的轴偏离量的轴偏离学习单元、实施基于第一物体检测单元以及第二物体检测单元的物体检测结果来判定第二物体检测单元的基准轴中是否发生轴偏离的轴偏离判定处理的轴偏离判定单元、以及基于轴偏离学习单元对轴偏离量的学习结果来使通过轴偏离判定处理所获取到的与第二物体检测单元的轴偏离有关的信息无效的无效化单元。

Description

使用多个物体检测单元的物体识别装置
技术领域
本公开涉及物体识别装置，特别是涉及搭载在移动体上的物体识别装置。
背景技术
以往已知一种用于提高车辆的行驶安全性的技术。例如作为物体识别装置，在车辆上搭载毫米波雷达、激光雷达等物体检测传感器，对前行车辆、行人、障碍物等存在于车辆周边的物体进行检测。物体识别装置基于该物体检测结果来进行用于提高车辆的行驶安全性的各种控制。
在该物体识别装置中，在安装在车辆上的物体检测传感器中发生基准轴的偏离(光轴的偏离)的情况下，考虑到物体检测传感器的物体检测区域从本来应检测的区域偏离，物体的检测精度降低。所述的情况下，用于提高车辆的行驶安全性的各种控制的精度有可能降低。
因此，以往提出各种用于检测物体检测传感器的轴偏离的技术。例如在日本特开2004－205398号公报中公开了在搭载有相机以及雷达装置的车辆中，根据基于车辆行驶中由相机拍摄到的图像所检测出的灭点和激光束的送出方向来检测激光束的送出方向和车辆前进方向之间的误差，并进行激光束的送出方向的修正。
专利文献1:日本特开2004－205398号公报
在使用由拍摄装置拍摄到的图像来检测雷达装置的轴偏离的情况下，若在发生拍摄装置的基准轴(拍摄轴)的偏离的状况下实施该检测处理，则不能够精度良好地检测雷达装置的轴偏离，有可能导致误判定。
发明内容
本公开是鉴于上述情况而完成的，其目的在于提供一种能够在判定是否发生移动体上所搭载的物体检测单元的基准轴的偏离的处理中抑制误判定的物体识别装置。
本公开如下那样构成。
本公开涉及被应用于移动体(50)的物体识别装置，上述移动体(50) 搭载有第一物体检测单元(11)以及第二物体检测单元(12)作为对规定的可检测区域内所存在的物体进行检测的物体检测单元。技术方案1 所记载的物体检测装置的特征在于，上述可检测区域分别包含基准轴 (X1、X2)，具备：轴偏离学习单元，学习上述第一物体检测单元的基准轴的轴偏离量；轴偏离判定单元，实施基于上述第一物体检测单元以及上述第二物体检测单元的物体检测结果来判定上述第二物体检测单元的基准轴中是否发生轴偏离的轴偏离判定处理；以及无效化单元，基于上述轴偏离学习单元对上述轴偏离量的学习结果来使通过上述轴偏离判定处理所获取到的与上述第二物体检测单元的轴偏离有关的信息无效。
认为在使用第一物体检测单元的物体检测结果来判定是否发生第二物体检测单元的基准轴的偏离的情况下，第二物体检测单元的轴偏离判定的判定精度根据第一物体检测单元的轴偏离量的学习结果而改变。例如在第一物体检测单元的轴偏离量的学习结果是表示该学习的精度并不那样高的结果的情况下，第二物体检测单元的轴偏离判定有可能导致误判定。着眼于这一点，在上述结构中，基于第一物体检测单元的基准轴的轴偏离量的学习结果来使至此获取到的与第二物体检测单元的基准轴的偏离有关的信息无效。根据该结构，能够在判定是否发生第二物体检测单元的基准轴的偏离的处理中抑制误判定。
附图说明
在附图：
图1是表示物体识别装置的示意结构的框图。
图2是表示拍摄装置以及雷达装置的移动体中的配置的图。
图3是表示发生拍摄轴偏离的情况下的检测距离的偏离的示意图。
图4是表示雷达轴偏离判定处理的具体方式的时间图。
图5是表示雷达轴偏离判定处理的处理顺序的流程图。
图6是表示复位判定处理的处理顺序的流程图。
图7是表示与灭点的学习状态对应的计数器复位定时的时间图。
图8是表示其它的实施方式的具体方式的时间图。
具体实施方式
以下，参照附图，对将移动体的物体识别装置具体化的实施方式进行说明。本实施方式所涉及的物体识别装置10被搭载在作为移动体的车辆上。拍摄装置11以及雷达装置12对包括车辆的前方的可检测区域内所存在的物体进行识别。使用图1以及图2，对本实施方式的物体识别装置10的示意结构进行说明。
拍摄装置11是车载相机，由CCD相机、CMOS图像传感器、近红外线相机等构成。拍摄装置11对包括本车辆50的行驶道路的周边环境进行拍摄，生成表示该拍摄到的图像的图像数据并依次输出至物体识别装置10。本实施方式的拍摄装置11被设置在本车辆50的例如前风挡玻璃的上端附近，对以拍摄轴X1为中心朝向车辆前方以规定角度θ1的范围扩展的区域61进行拍摄(参照图2)。此外，拍摄装置11可以是单眼相机，也可以是立体相机。
雷达装置12是通过发送电磁波(即，雷达波)作为发送波并接收其反射波来检测物体的装置。例如由毫米波雷达、激光雷达等构成。雷达装置12被安装在本车辆50的前部，通过雷达信号扫描以光轴X2为中心朝向车辆前方扩展规定角度θ2(θ2＜θ1)的范围的区域62。而且，基于从朝向车辆前方发送电磁波到接收反射波为止的时间来创建测距数据，并将该创建成的测距数据依次输出至物体识别装置10。测距数据包括物体存在的方位、距离物体的距离以及相对速度的信息。
此外，以作为拍摄装置11的基准轴的拍摄轴X1和作为雷达装置12 的基准轴的光轴X2与相对于本车辆50行驶的路面(行驶路面)水平的方向同一方向的方式将拍摄装置11以及雷达装置12安装在本车辆50 上。另外，拍摄装置11的可检测区域61和雷达装置12的可检测区域 62相互至少一部分的区域重复。拍摄装置11相当于“第一物体检测单元”，雷达装置12相当于“第二物体检测单元”。
物体识别装置10是具备CPU、RAM、ROM以及I/O等的计算机。物体识别装置10具备白线识别部13、流运算部14、灭点运算部20以及雷达轴偏离检测部30，CPU通过执行ROM中所安装的程序来实现这些各功能。
白线识别部13输入由拍摄装置11拍摄到的图像，对该图像所包含的作为道路划分线的白线进行识别。在白线识别部13中，例如基于图像的水平方向上的亮度变化率等从拍摄图像数据提取作为白线的候补的边缘点，并按照每一帧依次存储该提取出的边缘点。而且，基于存储的白线的边缘点的历史记录来识别白线。流运算部14输入由拍摄装置 11拍摄到的图像，并使用该输入的图像数据来运算光流作为图像中的各点的运动矢量(流运算单元)。在流运算部14中，例如基于空间的亮度分布的变化按照每个像素运算运动矢量。
灭点运算部20具备基准值推断部21、灭点学习部22、和学习值存储部25。基准值推断部21从白线识别部13输入与白线的位置等有关的信息(白线信息)，并且，从流运算部14输入与光流有关的信息(流信息)，执行用于使用这些输入数据来求出灭点(Focus ofExpansion； FOE)的各种处理。
基准值推断部21基于由拍摄装置11拍摄到的图像数据来计算灭点。具体而言，基准值推断部21使用从白线识别部13输入的白线信息、从流运算部14输入的流信息来计算灭点。例如在使用白线信息的情况下，将存在于车辆周边的一对白线的交点推断为灭点，并将该值(基准灭点) 存储于ROM。此外，在车辆出厂时，作为灭点而将初始值预先存储在 ROM中。例如基于表示拍摄装置11的安装状态的参数(例如安装高度、拍摄轴的俯角等)、与拍摄装置11的拍摄功能有关的参数(例如像素数、焦距等)来设定初始值。
灭点学习部22执行用于计算伴随拍摄装置11的安装高度、轴向发生变化而产生的灭点的定常的偏离量(拍摄轴X1的轴偏离量)的灭点学习。具体而言，灭点学习部22具备执行根据白线信息所计算出的灭点的学习的第一学习部23、和执行根据流信息所计算出的灭点的学习的第二学习部24。第一学习部23以及第二学习部24的各自的学习值(灭点学习值)在每当学习的执行时在学习值存储部25中被存储、更新。
在灭点学习部22中，伴随本车辆50的启动开关(例如点火开关等) 接通而开始灭点学习。另外，在本实施方式中，考虑拍摄装置11的安装高度、轴向根据车辆的积载状态、行驶状态而变化，伴随于此，灭点的位置也变化，在启动开关接通后灭点学习暂时完成后也依次执行灭点学习。
学习值存储部25例如由电可改写数据的非易失性存储器 (EEPROM等)构成。物体识别装置10通过以灭点为指标解析图像数据，从而例如推断本车辆50相对于行驶道路的行驶状态、与前方车辆的位置关系等或识别行人。
但是，基于图像的白线识别比光流的运算花费时间。因此，在本车辆50的启动开关接通后，基于光流的灭点学习完成的时刻比基于白线识别的灭点学习完成的时刻早。另一方面，对于灭点学习的学习精度，使用白线识别的精度比使用光流的精度高。因此，在本实施方式中，在本车辆50的启动开关接通后，至基于白线识别的灭点学习完成为止，使用通过光流所计算出的学习值来进行图像数据的解析处理，在基于白线识别的灭点学习完成后，使用通过白线识别所计算出的学习值来进行图像数据的解析处理。
雷达轴偏离检测部30具备相机物标检测部31、雷达物标检测部32、轴偏离信息运算部33、轴偏离判定部34以及复位判定部35。
相机物标检测部31输入由拍摄装置11拍摄到的图像，对该图像所包含的物标(相机物标)进行检测。雷达物标检测部32输入来自雷达装置12的测距数据，对该输入数据所包含的物标(雷达物标)进行检测。轴偏离信息运算部33基于相机物标检测部31的检测结果、和雷达物标检测部32的检测结果来判定雷达装置12是否发生光轴偏离。
具体而言，轴偏离信息运算部33分别输入与由相机物标检测部31 检测出的相机物标、以及由雷达物标检测部32检测出的雷达物标有关的信息。在轴偏离信息运算部33中进行相机物标检测计数器CA以及轴偏离判定计数器CJ的运算。详细而言，在本车辆50的前方存在物体 (例如前行车辆)，至少通过相机物标检测部31检测到与该物体对应的物标的情况下，按照规定周期使相机物标检测计数器CA自加1。另外，在由雷达物标检测部32检测到可能与由相机物标检测部31检测出的物标同一物体的物标的情况下，使轴偏离判定计数器CJ自加1。此外，相机物标检测计数器CA以及轴偏离判定计数器CJ相当于“与光轴偏离有关的信息”。
在轴偏离判定部34中，基于从轴偏离信息运算部33输入的相机物标检测计数器CA以及轴偏离判定计数器CJ来判定是否发生雷达装置 12的光轴偏离。具体而言，通过计算轴偏离判定计数器CJ相对于相机物标检测计数器CA的比率，并比较该比率CJ/CA和判定值THA2 来进行。此时，在CJ/CA＜THA2的情况下判定为有光轴偏离。复位判定部35针对相机物标检测计数器CA以及轴偏离判定计数器CJ，决定将这些数据输出给轴偏离判定部34还是无效。
以下，详细地对由复位判定部35执行的相机物标检测计数器CA以及轴偏离判定计数器CJ的复位判定处理进行说明。复位判定部35从学习值存储部25输入灭点学习值，并基于该输入的灭点学习值来决定是否将相机物标检测计数器CA以及轴偏离判定计数器CJ复位。
具体而言，复位判定部35基于学习值存储部25中所存储的灭点学习值，将过去FOE信用标志Ftr设定为0或1，并将设定的标志Ftr输出给轴偏离信息运算部33。该过去FOE信用标志Ftr是表示是否将相机物标检测计数器CA以及轴偏离判定计数器CJ复位的信息。在轴偏离信息运算部33中，如果输入的过去FOE信用标志Ftr为1，则将相机物标检测计数器CA以及轴偏离判定计数器CJ的计测值保持原样地保持。另一方面，如果过去FOE信用标志Ftr为0，则将相机物标检测计数器CA以及轴偏离判定计数器CJ复位为零，从最初重做计数器的计测。此外，通过轴偏离信息运算部33以及复位判定部35构成“无效化单元”。
执行复位判定处理的理由如下。在拍摄轴X1发生轴偏离的情况下，将该轴偏离角度的量误认为通过图像识别所得的与物体的距离。图3示意性地表示由拍摄轴X1的轴偏离所引起的相机物标的距离偏离。此外，在图3中假定没有发生光轴偏离的情况。
对于从本车辆50到同一物体(图3中前行车辆55)的检测距离，若比较拍摄装置11的检测结果和雷达装置12的检测结果，则在拍摄轴 X1没有发生轴偏离的状态下，检测距离的差比较小为Δd1。与此相对，在拍摄轴X1比例如相对于行驶路面水平的位置向上偏离规定角度θ3 的情况下，检测距离的差比较大为Δd2。该情况下，尽管在拍摄装置11 和雷达装置12中检测同一物体，但是有可能产生在图像处理中没有识别为2个物标(相机物标和雷达物标)是同一物体。在所述的情况下，认为轴偏离判定计数器CJ的计测值的置信度变低，在雷达轴偏离判定处理发生误判定。此外，由这种拍摄轴偏离所引起的检测距离的偏离被灭点学习改善(TA2→TA1)。
另外，在车辆的驾驶开始时，灭点的学习状态对于光流以及白线识别的哪个都从是学习未完成的状态移至基于光流的学习完成状态，之后，变化为基于白线识别的学习完成状态。另外，认为伴随这样的学习状态的变化，在雷达轴偏离判定处理开始后，灭点的学习结果的置信度，换句话说学习后的灭点的相对于真值的偏离量变化。例如在基于白线识别的灭点学习还未完成的状态、和基于白线识别的灭点学习完成的状态中，学习结果的置信度不同，在前者中处于与后者相比，相对于真值的偏离量变大，学习结果的置信度变低的趋势。
因此，在本实施方式中，根据灭点学习的学习结果来使相机物标检测计数器CA以及轴偏离判定计数器CJ无效化。具体而言，在雷达轴偏离判定处理开始后，如果灭点的学习结果的置信度没有改变，则保持原样继续相机物标检测计数器CA以及轴偏离判定计数器CJ的计数。另一方面，在雷达轴偏离判定处理开始后，灭点的学习结果的置信度变化了的情况下，将相机物标检测计数器CA以及轴偏离判定计数器CJ 复位，从最初重做雷达轴偏离判定处理。
接下来，使用图4的时间图，对基于灭点的学习结果的计数器CA、 CJ的复位判定处理的具体方式进行说明。图4中，(a)表示点火开关 (IG开关)的开/关的变动，(b)表示相机物标检测计数器CA以及轴偏离判定计数器CJ的值的变动，(c)表示灭点的学习状态的变动。此外，在图4中，假定在IG开关接通的时刻存在前行车辆的情况。
若在时刻t10使IG开关接通，则开始相机物标检测计数器CA的计数。另外，在检测到可能与相机物标同一物体的雷达物标的情况下，轴偏离判定计数器CJ计数与该检测数(检测频率)对应的量。在图4中，由于发生雷达装置12的光轴偏离，所以CJ＜CA。
在IG开关刚接通之后，基于光流的灭点学习以及基于白线识别的灭点学习还未完成，在学习值存储部25中保持原样存储前次的车辆行驶结束时所存储的学习值。因此，在至开始基于光流的灭点学习为止的 t10～t11的期间中，使用前次学习值FOE_A来进行图像处理。
在从IG开关的接通经过了规定时间T1后的时刻t11，输出用于开始基于光流的灭点学习的指令。此外，规定时间T1设定用于获取光流的运算所需的图像数据的时间(例如数十秒)。
此处，在基于光流所计算出的灭点相对于前次学习值FOE_A比较大地偏离的情况下，推断为相机物标检测计数器CA的计数开始后，灭点的学习结果的置信度变化了。这种情况下，在本实施方式中，相机物标检测计数器CA以及轴偏离判定计数器CJ被复位为零，从最初重做用于雷达轴偏离判定的计数。特别是在本实施方式中，在基于光流的灭点(FOE_C)稳定的时刻t12，计算前次学习值FOE_A与基于光流的灭点FOE_C的偏离量的绝对值ΔFOE(C－A)，并通过该计算出的ΔFOE(C－A)，判定为灭点学习的学习结果的置信度有变化。
在从基于光流的灭点学习的开始指令再经过了规定时间T2(例如数分钟)的时刻t13，在基于白线识别的灭点学习完成的情况下也进行同样的处理。具体而言，若根据基于光流的灭点FOE_C与基于白线识别的灭点(FOE_D)的偏离量的绝对值ΔFOE(D－C)而判定为灭点的学习结果的置信度变化了，则将相机物标检测计数器CA以及轴偏离判定计数器CJ复位为零，从最初重做用于雷达轴偏离判定的计数。
接下来，使用图5以及图6的流程图，对由本实施方式的雷达轴偏离检测部执行的处理的顺序进行说明。这些处理由物体识别装置10的 CPU每隔规定周期反复执行。
首先，对图5的雷达轴偏离判定处理进行说明。在图5中，在步骤 S101中，判定过去FOE信用标志Ftr是否设置为0。如果Ftr＝0则进入步骤S102，将相机物标检测计数器CA以及轴偏离判定计数器CJ复位为0。另一方面，如果Ftr＝1则不执行步骤S102的处理而进入步骤S103。
在步骤S103中，输入由拍摄装置11拍摄到的图像，判定该输入的图像中是否包括物标(相机物标)。在没有检测出相机物标的情况下保持原样结束本程序，而在检测出相机物标的情况下进入步骤S104，使相机物标检测计数器CA自加1。
在紧接着的步骤S105中，判定雷达装置12是否检测出视为与相机物标同一物体的物标。在检测出的情况下进入步骤S106，使轴偏离判定计数器CJ自加1。另一方面，在没有检测出的情况下不执行步骤S106 的处理而进入步骤S107。
在步骤S107中，判定相机物标检测计数器CA是否大于判定值 THA1(例如数千次)。如果CA＞THA1则进入步骤S108，判定轴偏离判定计数器CJ相对于相机物标检测计数器CA的比率(CJ/CA)是否小于判定值THA2。如果比率CJ/CA为判定值THA2以上则进入步骤 S110，将相机物标检测计数器CA以及轴偏离判定计数器CJ复位为零。另一方面，在比率CJ/CA小于判定值THA2的情况下，进入步骤S109，判定为发生雷达装置12的光轴偏离，并存储该判定结果。之后，进入步骤110，将相机物标检测计数器CA以及轴偏离判定计数器CJ复位为零，结束本程序。
接下来，对图6的复位判定处理进行说明。在图6中，在步骤S201 中，判定基于白线识别的灭点学习是否完成。如果基于白线识别的灭点学习还未完成则进入步骤S202，判定基于光流的灭点学习是否完成。此处，判定是否示出通过光流所计算出的灭点稳定的值，在判定为稳定的情况下基于光流来计算灭点学习值(FOE_C)。是否示出通过光流所计算出的灭点稳定的值基于灭点的垂直面内的分散来判定，在分散小于规定值的情况下进行肯定判定。在判定为通过光流所计算出的灭点稳定，基于光流计算出灭点学习值(FOE_C)的情况下，进入步骤S203，判定初始值或者前次学习值(FOE_A)与基于光流的灭点学习值FOE _C的偏离量的绝对值ΔFOE(C－A)是否小于判定值THF1(置信度判定单元)。而且，如果ΔFOE(C－A)＜THF1则进入步骤S204，在过去FOE信用标志Ftr设置1。另一方面，如果不是ΔFOE(C－A) ＜THF1则进入步骤S205，在过去FOE信用标志Ftr设置0。
此外，基于光流的灭点稳定之前、以及基于光流的灭点学习未完成的情况下，在步骤S202进行否定判定，进入步骤S204。该情况下，由于在过去FOE信用标志Ftr设置1，所以不进行计数器复位。
而且，若基于白线识别的灭点学习完成，则在步骤S201中进行肯定判定，进入步骤S206。在步骤S206中，判定基于光流的灭点学习值 FOE_C与基于白线识别的灭点学习值FOE_D的偏离量的绝对值Δ FOE(D－C)是否小于判定值THF2(置信度判定单元)。而且，如果ΔFOE(D－C)＜THF2则进入步骤S207，在过去FOE信用标志Ftr 设置1。另一方面，如果不是ΔFOE(D－C)＜THF2则进入步骤S208，在过去FOE信用标志Ftr设置0。
图7是表示与灭点的学习状态对应的复位定时的时间图。图中，(a) 示出初始值(或者前次学习值)相对于真值为正，基于光流的灭点从真值偏离的情况，(b)示出初始值(或者前次学习值)从真值偏离，基于光流的灭点相对于真值为正的情况，(c)以及(d)示出初始值(或者前次学习值)以及基于光流的灭点都从真值偏离的情况。此外，在(c) 中假定基于光流的灭点的与真值的偏离量比(d)小的情况。图7中，“A”为IG开关的接通定时，“B”为基于光流的灭点学习的开始定时，“C”为基于光流的灭点稳定的定时，“D”为基于白线识别的灭点学习的完成定时，分别与图4中的A～D对应。
在通过光流所计算出的灭点稳定的定时C、以及基于白线识别的灭点学习的完成定时D的至少任意一个定时进行相机物标检测计数器CA 以及轴偏离判定计数器CJ的复位。例如在(a)以及(c)的场景中，前次学习值FOE_A与基于光流的灭点学习值FOE_C的偏离量的绝对值ΔFOE(C－A)较大、且基于光流的灭点学习值FOE_C与基于白线识别的灭点学习值FOE_D的偏离量的绝对值ΔFOE(D－C)较大。此时，在定时C以及定时D将计数器CA、CJ复位。另外，在(b) 的场景中，仅在定时C将计数器CA、CJ复位，在(d)的场景中，仅在定时D将计数器CA、CJ复位。
根据以上详述的本实施方式，得到如下的优异的效果。
基于学习拍摄装置11的拍摄轴X1的轴偏离量的灭点学习的学习结果，使至此获取到的与雷达装置12的光轴X2的偏离有关的信息无效。在使用拍摄装置11的物体检测结果来判定是否发生雷达装置12的光轴偏离的情况下，雷达装置12的光轴偏离判定的精度根据拍摄装置11的轴偏离量的学习结果而改变。这一点，根据上述构成，能够在判定是否发生雷达装置12的光轴偏离的处理中抑制误判定。
具体而言，为如下的结构：在雷达轴偏离判定处理开始后，检测出灭点学习的学习结果相对于真值的置信度发生变化的情况下，使与光轴偏离有关的信息即计数器CA、CJ无效化。在雷达轴偏离判定处理开始后，灭点学习的学习结果中产生置信度的变化的情况下，若基于与真值的偏离量大的灭点来进行图像处理，则雷达轴偏离判定的判定精度变低。因此，有时发生误判定。考虑这一点，采用使在灭点学习的学习结果有疑问的状况下获取到的与光轴偏离有关的信息无效化的结构。由此，能够尽可能地避免雷达轴偏离判定的误判定。
对于基于白线识别的灭点学习，学习结果的置信度高的不利一面是至学习完成为止需要一定程度的时间(例如数分钟～数十分钟)。因此，在至基于白线识别的灭点学习完成为止的期间中，需要使用前次的车辆驾驶时的学习值，或使用通过置信度比基于白线识别的灭点学习低的其它学习单元所得到的学习值例如基于光流的灭点学习值来进行图像处理。另一方面，在本实施方式的雷达轴偏离判定处理中，使用由拍摄装置11拍摄到的图像数据。因此，考虑学习过的灭点从真值偏离的情况成为误判定的情况。鉴于这一点，为在车辆的驾驶开始后，在基于白线识别的灭点学习完成的时刻，基于灭点的学习结果，更具体而言灭点学习结果的置信度来使与光轴偏离有关的信息无效的结构。根据这种结构，在雷达轴偏离判定处理中，能够在适当的定时使计数器CA、CJ无效化，并能够适当地抑制因无法充分确保灭点学习的学习精度而引起的误判定。另外，在确保灭点学习的学习精度的状况下，能够也在基于白线识别的灭点学习完成之前实施雷达轴偏离判定处理。
在基于光流的灭点学习中，车辆的驾驶开始后的能够尽可能提前完成学习的不利一面是有时与基于白线识别的灭点学习相比学习精度低，发生相对于真值偏离。在本实施方式中，由于在无法充分确保灭点学习结果的置信度的状况下计测出的计数器CA、CJ被无效，所以基于白线识别的灭点学习完成之前开始雷达轴偏离判定处理的情况下也能够抑制雷达轴偏离的误判定。
本实施方式中，为在搭载拍摄装置11以及雷达装置12作为物体检测单元的车辆中，基于拍摄装置11以及雷达装置12的物体检测结果来实施雷达装置12的轴偏离判定的结构。一般由于在拍摄装置11和雷达装置12中物体的检测范围、检测精度不同，所以通过搭载两装置来进行物体检测能够弥补彼此的弱点。另外，通过组合拍摄装置11和雷达装置12，能够使用拍摄装置11的图像数据来检测雷达装置12的光轴偏离。
(其它的实施方式)
本公开并不限于上述实施方式，例如可以如下那样实施。
在上述实施方式中，因灭点学习的学习结果的置信度发生变化而将与光轴偏离有关的信息(相机物标检测计数器CA以及轴偏离判定计数器CJ)复位的情况下，事先保持复位前的计数器CA、CJ。而且，为将计数器CA、CJ复位后，检测出该复位的计数器的计测期间中的灭点学习的学习结果的置信度被确保规定以上的情况下，使用复位前的信息来实施之后的雷达轴偏离判定处理的结构。根据上述结构，通过活用在灭点学习的学习结果的置信度被确保的状况下所获取到的计数器 CA、CJ，能够缩短至确定雷达装置12的轴偏离发生为止的时间。
图8用时间图表示上述结构的复位判定处理的具体方式。图8中， (a)～(c)与图4相同。在图8中，考虑在通过光流所计算出的灭点稳定的时刻t22，前次学习值FOE_A与基于光流的灭点学习值FOE_ C的偏离量的绝对值ΔFOE(C－A)较大的情况。该情况下，在时刻t22中，存储当前时刻的相机物标检测计数器CA以及轴偏离判定计数器CJ(信息保持单元)。接着，将相机物标检测计数器CA以及轴偏离判定计数器CJ复位(无效化单元)。之后，在时刻t23，在基于白线识别的灭点学习完成的情况下，若检测出时刻t22以前所实施的灭点学习的学习结果的置信度被确保规定以上，则在时刻t23使时刻t22中的计数器恢复。此处，“时刻t22以前所实施的灭点学习的学习结果的置信度被确保规定以上”例如基于灭点学习的学习结果来检测。具体而言，在基于光流的灭点学习值(FOE_C)与基于白线识别的灭点学习值 (FOE_D)的偏离量的绝对值ΔFOE(D－C)大于判定值THF2、且前次学习值FOE_A与基于白线识别的灭点学习值FOE_D的偏离量的绝对值ΔFOE(D－A)小于判定值THF3的情况下，时刻t22以前的灭点学习的学习结果的置信度被确保规定以上。该情况下，在基于白线识别的灭点学习完成的时刻t23中，不需要从最初重做雷达装置12 的轴偏离判定，因此，能够尽可能地提前确定是否发生雷达装置12的轴偏离。
在上述实施方式中，作为一个例子，对点火开关被接通到基于白线识别的灭点学习完成为止的期间中所实施的雷达轴偏离判定处理进行了说明。然而，也可以在基于白线识别的灭点学习完成之后的期间所实施的雷达轴偏离判定处理应用本公开。基于白线识别的灭点学习若精度高、学习暂时完成，则之后，学习值的变化比较小。然而，充分地考虑例如因车辆的积载状态、行驶状态的变化而拍摄轴X1的轴向变化、灭点的位置变化。因此，即使基于白线识别的灭点学习暂时完成后的期间所实施的雷达轴偏离判定处理，也通过基于灭点学习的学习结果来使与光轴偏离有关的信息(计数器)无效化，能够在雷达装置12的雷达轴偏离判定处理中抑制误判定。
在上述实施方式中，对应用于作为灭点学习而实施基于光流的灭点学习、和基于白线识别的灭点学习的结构的情况进行了说明。然而，也可以应用于仅实施基于光流的灭点学习以及基于白线识别的灭点学习中的任意一个的结构。例如在不实施基于光流的灭点学习的结构的情况下，在图4中，仅基于白线识别的灭点学习完成的时刻(D)成为计数器复位定时。
如果判定第二物体检测单元的轴偏离的轴偏离判定单元为基于第一物体检测单元以及第二物体检测单元的物体检测结果来进行的结构则并不限于上述结构。例如也可以为如下的结构：通过根据基于车辆行驶中拍摄到的图像所检测出的灭点、和从雷达装置12送出的信号的送出方向来检测出信号的送出方向与车辆的前进方向的误差，从而进行雷达装置12的轴偏离判定。
在上述实施方式中，作为在雷达轴偏离判定处理开始后，检测灭点学习的学习结果的置信度发生变化的置信度判定单元，而采用了检测灭点学习值的大小的变化的结构。具体而言，通过对前次学习值FOE _A与基于光流的灭点学习值FOE_C的偏离量的绝对值ΔFOE(C－ A)、以及基于光流的灭点学习值FOE_C与基于白线识别的灭点学习值FOE(FOE_D)的偏离量的绝对值ΔFOE(D－C)和判定值进行比较来进行。置信度判定单元的结构并不限于此，也可以例如基于灭点学习值的变化的程度(微分值)来检测。
在上述实施方式中，可以为在基于比率CJ/CA判定为有光轴偏离后，基于灭点学习的学习结果来使基于比率CJ/CA的轴偏离判定结果，即有光轴偏离的判定结果无效的结构。换句话说，此时，基于比率 CJ/CA的轴偏离判定结果相当于“与第二物体检测单元的轴偏离有关的信息”。
在上述实施方式中，对第一物体检测单元为拍摄装置11，第二物体检测单元为雷达装置12的情况进行了说明，但第一物体检测单元以及第二物体检测单元的组合并不限于上述。例如也可以在具备多个雷达装置(第一雷达装置、第二雷达装置)作为第一物体检测单元以及第二物体检测单元的系统应用本公开。具体而言，为在基于第一雷达装置以及第二雷达装置的物体检测结果来判定第二雷达装置的光轴中是否发生轴偏离的结构中，基于第一雷达装置的光轴中的轴偏离量的学习结果来使与第二雷达装置的轴偏离有关的信息无效的结构。
在上述实施方式的图3中，例举在拍摄装置11中发送垂直面内的轴偏离的情况下的一个例子来进行了说明，但并不限于垂直面内的轴偏离，在发生水平面内的轴偏离的情况也能够应用本公开。
第一物体检测单元以及第二物体检测单元的可检测区域并不限于车辆前方，也可以例如是车辆的后方、侧方。另外，第一物体检测单元以及第二物体检测单元的安装位置也没有特别限制。
在上述实施方式中，使用拍摄装置以及雷达装置作为物体检测单元，但并不限于此，也可以采用例如发送波使用超声波来检测物体的声纳。
在上述实施方式中，例举搭载在车辆上的物体识别装置的一个例子进行了说明，但也能够例如搭载在有轨车辆、船舶、飞机等移动体上。符号说明
10…物体识别装置，11…拍摄装置(第一物体检测单元)，12…雷达装置(第二物体检测单元)，13…白线识别部，14…流运算部，20…灭点运算部，22…灭点学习部，23…第一学习部，24…第二学习部，25…学习值存储部，30…雷达轴偏离检测部，31…相机物标检测部，32…雷达物标检测部，33…轴偏离信息运算部，34…轴偏离判定部，35…复位判定部，50…本车辆，X1…拍摄轴(基准轴)，X2…光轴(基准轴)。

Claims (6)

1.一种物体识别装置，其特征在于，
上述物体识别装置被应用于移动体，上述移动体搭载有第一物体检测单元以及第二物体检测单元作为对规定的可检测区域内所存在的物体进行检测的物体检测单元，
上述可检测区域分别包含基准轴，
上述物体识别装置具备：
轴偏离学习单元，学习上述第一物体检测单元的基准轴的轴偏离量；
轴偏离判定单元，实施基于在由上述第一物体检测单元检测出物体时进行计数的物体检测计数器、以及在由上述第二物体检测单元检测出视为与由上述第一物体检测单元检测出的物体是同一物体的物体时进行计数的轴偏离判定计数器来判定上述第二物体检测单元的基准轴中是否发生轴偏离的轴偏离判定处理；以及
无效化单元，基于上述轴偏离学习单元对上述轴偏离量的学习结果来使上述物体检测计数器以及上述轴偏离判定计数器复位。
2.根据权利要求1所述的物体识别装置，其中，
具备置信度判定单元，该置信度判定单元基于上述轴偏离学习单元对上述轴偏离量的学习结果来判定上述轴偏离判定处理开始后上述学习结果相对于真值的置信度是否发生变化，
上述无效化单元在通过上述置信度判定单元判定为上述学习结果的置信度发生变化的情况下，使上述物体检测计数器以及上述轴偏离判定计数器复位。
3.根据权利要求2所述的物体识别装置，其中，
具备信息保持单元，该信息保持单元对被上述无效化单元复位之前的上述物体检测计数器以及上述轴偏离判定计数器进行保持，
在通过上述无效化单元使上述物体检测计数器以及上述轴偏离判定计数器复位之后，检测出获取到该复位的上述物体检测计数器以及上述轴偏离判定计数器时的上述学习结果相对于上述真值的置信度被确保为规定以上的情况下，使用被上述信息保持单元保持的上述物体检测计数器以及上述轴偏离判定计数器来实施上述轴偏离判定处理。
4.根据权利要求1～3中的任意一项所述的物体识别装置，其中，
上述第一物体检测单元是对包括道路的周边环境进行拍摄的拍摄装置，
上述物体识别装置具备划分线识别单元，该划分线识别单元基于由上述第一物体检测单元拍摄到的图像来识别上述道路的划分线，
上述轴偏离学习单元包括基于与由上述划分线识别单元识别出的划分线有关的信息即划分线信息来学习上述第一物体检测单元的基准轴的轴偏离量的单元，
上述无效化单元在上述移动体的驾驶开始后，在上述轴偏离学习单元完成基于上述划分线信息的上述轴偏离量的学习的时刻，基于上述学习结果来使上述物体检测计数器以及上述轴偏离判定计数器复位。
5.根据权利要求4所述的物体识别装置，其中，
具备流运算单元，该流运算单元基于由上述第一物体检测单元拍摄到的图像来运算光流，
上述轴偏离学习单元包括：基于上述划分线信息来学习上述第一物体检测单元的基准轴的轴偏离量的第一学习单元、和基于由上述流运算单元运算出的光流来学习上述第一物体检测单元的基准轴的轴偏离量的第二学习单元，
上述无效化单元在上述移动体的驾驶开始后，在上述轴偏离学习单元完成基于上述划分线信息的上述轴偏离量的学习的时刻以及在完成基于上述划分线信息的上述轴偏离量的学习之前的期间中，基于上述学习结果来使上述物体检测计数器以及上述轴偏离判定计数器复位。
6.根据权利要求1～3中的任意一项所述的物体识别装置，其中，
上述第一物体检测单元是对包括道路的周边环境进行拍摄的拍摄装置，上述第二物体检测单元是通过送出发送波并接收该送出的发送波来检测上述物体的探测装置。
CN201580041368.5A 2014-08-06 2015-08-04 使用多个物体检测单元的物体识别装置 Active CN106574961B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-160680 2014-08-06
JP2014160680A JP6396714B2 (ja) 2014-08-06 2014-08-06 物体認識装置
PCT/JP2015/072111 WO2016021606A1 (ja) 2014-08-06 2015-08-04 複数の物体検出手段を用いた物体認識装置

Publications (2)

Publication Number Publication Date
CN106574961A CN106574961A (zh) 2017-04-19
CN106574961B true CN106574961B (zh) 2019-09-13

Family

ID=55263868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041368.5A Active CN106574961B (zh) 2014-08-06 2015-08-04 使用多个物体检测单元的物体识别装置

Country Status (6)

Country Link
US (1) US10422871B2 (zh)
JP (1) JP6396714B2 (zh)
KR (1) KR101961571B1 (zh)
CN (1) CN106574961B (zh)
DE (1) DE112015003605B4 (zh)
WO (1) WO2016021606A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390459B2 (ja) * 2015-02-10 2018-09-19 株式会社デンソー 光軸ずれ検出装置
US10852418B2 (en) * 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
JP6637472B2 (ja) * 2017-07-06 2020-01-29 本田技研工業株式会社 情報処理方法及び情報処理装置
DE102017118083B4 (de) 2017-08-09 2022-11-24 Sick Ag Sensor zur Erfassung eines Objekts und Verfahren zum Einstellen eines Schaltpunktes
JP6986962B2 (ja) * 2017-12-28 2021-12-22 株式会社デンソーテン カメラずれ検出装置およびカメラずれ検出方法
JP7127356B2 (ja) * 2018-05-14 2022-08-30 富士通株式会社 データ収集方法、データ収集プログラムおよび情報処理装置
JP6973302B2 (ja) * 2018-06-06 2021-11-24 トヨタ自動車株式会社 物標認識装置
KR20200040391A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더의 보완 장치 및 방법
US11557061B2 (en) * 2019-06-28 2023-01-17 GM Cruise Holdings LLC. Extrinsic calibration of multiple vehicle sensors using combined target detectable by multiple vehicle sensors
JP7412254B2 (ja) * 2020-04-02 2024-01-12 三菱電機株式会社 物体認識装置および物体認識方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150062A (zh) * 2008-06-27 2011-08-10 丰田自动车株式会社 物体检测装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3331882B2 (ja) * 1995-12-27 2002-10-07 株式会社デンソー 車両用障害物検出装置の中心軸偏向量算出装置，中心軸偏向量補正装置，および車間制御装置
JPH11142520A (ja) * 1997-11-06 1999-05-28 Omron Corp 測距装置の軸調整方法及び軸ずれ検出方法並びに測距装置
US6714156B1 (en) * 2002-11-22 2004-03-30 Visteon Global Technologies, Inc. Method for correcting radar misalignment
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP4019933B2 (ja) * 2002-12-26 2007-12-12 日産自動車株式会社 車両用レーダ装置およびレーダの光軸調整方法
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
EP1584946A3 (en) * 2004-04-02 2006-03-22 Omron Corporation Method of adjusting monitor axis of optical sensors
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP5146716B2 (ja) * 2007-03-01 2013-02-20 マツダ株式会社 車両用障害物検知装置
JP2008232887A (ja) * 2007-03-22 2008-10-02 Omron Corp 物体検知装置、および照射軸調整方法
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP5328491B2 (ja) 2009-06-02 2013-10-30 三菱電機株式会社 レーダ画像処理装置
JP5551892B2 (ja) * 2009-06-19 2014-07-16 富士通テン株式会社 信号処理装置、及びレーダ装置
JP5416026B2 (ja) * 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
WO2015085338A1 (de) * 2013-12-13 2015-06-18 Fts Computertechnik Gmbh Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs
JP6428270B2 (ja) 2014-02-10 2018-11-28 株式会社デンソー 軸ずれ検出装置
US9286679B2 (en) * 2014-07-22 2016-03-15 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150062A (zh) * 2008-06-27 2011-08-10 丰田自动车株式会社 物体检测装置

Also Published As

Publication number Publication date
DE112015003605B4 (de) 2023-02-09
JP2016038261A (ja) 2016-03-22
KR20170041775A (ko) 2017-04-17
US10422871B2 (en) 2019-09-24
CN106574961A (zh) 2017-04-19
WO2016021606A1 (ja) 2016-02-11
DE112015003605T5 (de) 2017-04-27
DE112015003605T8 (de) 2017-05-18
US20170227634A1 (en) 2017-08-10
JP6396714B2 (ja) 2018-09-26
KR101961571B1 (ko) 2019-03-22

Similar Documents

Publication Publication Date Title
CN106574961B (zh) 使用多个物体检测单元的物体识别装置
CN106796648B (zh) 用于检测对象的系统和方法
US20200003573A1 (en) Top-down refinement in lane marking navigation
CN110171405B (zh) 基于检测对象制动车辆的系统和方法
WO2016203515A1 (ja) 走行車線判別装置および走行車線判別方法
CN103781685A (zh) 车辆用自主行驶控制系统
JP2018092483A (ja) 物体認識装置
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
US20150363653A1 (en) Road environment recognition system
CN104870256A (zh) 车载用控制装置
CN107209997A (zh) 车辆的行驶控制装置以及行驶控制方法
JP2017138660A (ja) 物体検出方法、物体検出装置、およびプログラム
KR20180067199A (ko) 객체 인식 장치 및 방법
JP2017198566A (ja) レーンマーカ認識装置、自車両位置推定装置
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
US10810448B2 (en) Image-capturing device
JPWO2018070022A1 (ja) 自己位置推定方法及び自己位置推定装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
US9958868B2 (en) Moving object controller, moving object control method, and integrated circuit
KR102019383B1 (ko) 차량 추적 장치 및 그것의 동작 방법
US20200250838A1 (en) Method and device for checking the plausibility of a flow vector hypothesis
WO2022190169A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
CN113140120B (zh) 确定交通指示信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant