CN107490794B - 物体辨识处理装置、物体辨识处理方法及自动驾驶系统 - Google Patents

物体辨识处理装置、物体辨识处理方法及自动驾驶系统 Download PDF

Info

Publication number
CN107490794B
CN107490794B CN201710403858.6A CN201710403858A CN107490794B CN 107490794 B CN107490794 B CN 107490794B CN 201710403858 A CN201710403858 A CN 201710403858A CN 107490794 B CN107490794 B CN 107490794B
Authority
CN
China
Prior art keywords
fusion
combination
signals
processing unit
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710403858.6A
Other languages
English (en)
Other versions
CN107490794A (zh
Inventor
秋山智广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107490794A publication Critical patent/CN107490794A/zh
Application granted granted Critical
Publication of CN107490794B publication Critical patent/CN107490794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/874—Combination of several systems for attitude determination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明与以往的物体辨识处理装置相比，提供了能正确地辨识本车与周边物体之间的距离及该周边物体的位置的物体辨识处理装置。本发明涉及的物体辨识处理装置(1)包括：将由多个物体检测部(3、4)检测到的车辆周边的物体的检测信息信号进行融合、并作为物体融合信号来进行输出的物体融合处理部(6)；为了物体融合信号的组合而对物体融合信号的候选进行选择的同一物体融合结果组合候选选择处理部(7)；对选择出的物体融合信号的组合是否为同一物体的物体融合信号的组合进行判定的同一物体融合结果组合判定处理部(10)；以及基于该判定结果来对车辆周边的物体进行辨识的同一物体融合组合整合处理部(11)。

Description

物体辨识处理装置、物体辨识处理方法及自动驾驶系统
技术领域
本发明涉及物体辨识处理装置、物体辨识方法及自动驾驶系统
背景技术
以往，在汽车的自动驾驶技术、预防安全驾驶技术中，物体辨识处理装置具备车载用测距装置。该车载用测距装置对自己的车辆(以下称为本车)与本车的周边物体之间的距离等进行测定。该测定的值被减轻本车与前方的物体发生冲突时的损害的冲突损害减轻制动系统、本车跟随前方车辆的自适应巡航控制系统、以及本身自动地停车至停车位的自动停车系统等所有效使用。即，该车载用测距装置是用于提高本车的驾驶安全以及本车的舒适驾驶的装置，有效使用于车辆用应用程序中。
该车载用测距装置中，搭载有多个传感器，作为提高本车对周边物体的感测性能的技术，有整合多个传感器的传感器融合技术。例如，专利文件1中，使用观测精度不同的多个传感器所测定的值，测定本车与本车的周边物体之间的距离，并且测定该周边物体的位置。
该专利文件1的该传感器融合技术中，在本车追尾前方车辆的过程中，多个传感器中、高精度的传感器检测本车的前方车辆(高精度的传感器不检测本车的周边物体)，低精度的传感器检测本车的周边物体，测定本车与周边物体之间的距离。该车载用测距装置利用该测定到的距离，每隔规定时间生成该周边物体的位置的变化的履历(以下称为航迹)。
现有技术文献
专利文献
专利文献1：日本专利第5896823号公报
发明内容
发明所要解决的技术问题
该专利文献1的该传感器融合技术中，例如在高精度的传感器检测本车的周边物体并且低精度的传感器也检测本车的周边物体的情况下，成为多个传感器检测同一对象物体(该周边物体)的情况。即，成为精度不同的传感器检测同一对象物体的情况。其结果是，由高精度的传感器测定出的距离和由低精度的传感器测定出的距离会得到不同的值。由此，生成两个航迹：基于由高精度的传感器测定出的距离所生成的航迹、和基于由低精度的传感器测定出的距离所生成的航迹。其结果是，专利文件1的传感器融合技术中，存在对一个对象物体产生多个航迹的问题。
本发明是为了解决上述问题而完成的，提供了一种物体辨识处理装置，与以往的物体辨识处理装置相比，能正确地辨识本车与周边物体之间的距离以及该周边物体的位置。
解决技术问题所采用的技术方案
本发明的物体辨识处理装置包括：物体融合处理部，该物体融合处理部将由多个物体检测部检测到的车辆周边的物体的检测信息信号进行融合，并作为物体融合信号进行输出；同一物体融合结果组合候选选择处理部，该同一物体融合结果组合候选选择处理部为了所述物体融合信号的组合而对物体融合信号的候选进行选择；同一物体融合结果组合判定处理部，该同一物体融合结果组合判定处理部对选择出的物体融合信号的组合是否为同一物体的物体融合信号的组合进行判定；以及同一物体融合组合整合处理部，该同一物体融合组合整合处理部基于该判定结果，来对车辆周边的物体进行辨识。
发明效果
根据该发明，与以往的物体辨识处理装置相比，能正确地对本车与周边物体之间的距离以及该周边物体的位置进行辨识。
附图说明
图1是表示本发明的实施方式1所涉及的物体辨识处理装置的框图。
图2A是表示本发明的实施方式1所涉及的物体辨识处理的流程图(前半)。
图2B是表示本发明的实施方式1所涉及的物体辨识处理的流程图(后半)。
图3是本发明的实施方式1所涉及的物体辨识处理装置的硬件结构图。
具体实施方式
实施方式1
本发明的实施方式1中，对具有如下处理的物体辨识处理装置及物体辨识处理方法进行说明：即，判定多个传感器输出的融合信号的组合是否为同一对象的融合信号，并将判定为是同一物体的融合信号的组合进行整合。
该多个传感器的输出有周边物体相对于本车的相对位置、周边物体相对于本车的相对速度、周边物体的识别信息(车、人等)、传感器检测精度、传感器识别可靠度等。在将多个传感器的周边物体相对于本车的相对位置进行组合的情况下，利用传感器的检测精度对各个相对位置加权并求和而得到的值成为辨识结果的相对位置。在将多个传感器的周边物体的识别信息进行组合的情况下，传感器识别可靠度较大的传感器的识别信息成为辨识结果的识别结果。综上所述，所谓整合是指将多个传感器的输出进行上文所述那样的组合。
以下，基于图1、图2A、图2B对本发明的实施方式1涉及的物体辨识处理装置进行说明。图1是将本发明实施方式1涉及的物体辨识处理装置1与车辆控制部2一并表示的框结构图。另外，图1中的箭头表示信号的流动。
搭载了本发明涉及的物体辨识处理装置1的车辆包括第一物体检测部3以及第二物体检测部4作为多个传感器，第一物体检测部3以及第二物体检测部4例如由毫米波雷达、激光雷达、摄像头、超声波传感器、车车间通信设备(称为多辆车之间的通信设备)等装置构成。第一物体检测部3以及第二物体检测部4测定本车与其周边物体之间的距离、以及相对位置，测定到的距离、相对位置作为距离信号、相对位置信号输出至物体消失检测部5。另外，物体检测信息由距离信号、相对位置信号构成。再有，作为第一物体检测部3以及第二物体检测部4的输出的物体检测信息中除了距离信号以及相对位置信号，还附加有物体识别信息、速度信息。
另外，这里搭载于本车的第一物体检测部3和第二物体检测部4可以如双方均为毫米波雷达这样分别使用相同种类的装置，另外也可以如第一物体检测部3为毫米波雷达、第二物体检测部4为摄像头这样使用不同种类的装置。再有，第一物体检测部3和第二物体检测部4可以具有相同的感测精度，也可以具有不同的感测精度。
物体消失检测部5是检测第一物体检测部3以及第二物体检测部4中的周边物体的检测遗漏(以下称为消失)并对其次数进行计数的处理部。
物体融合处理部6输入作为第一物体检测部3以及第二物体检测部4的输出的物体检测信息以及由物体消失检测部5检测到的物体检测消失次数。另外，物体融合处理部6中，进行第一物体检测部3的物体检测信息与第二物体检测部4的物体检测信息的融合。
同一物体融合结果组合候选选择处理部7是从由物体融合处理部6所融合的物体融合结果中选择同一物体的融合结果的组合候选的处理部。即，选择融合结果的组合候选。该处理相当于下文所述的图2A的步骤S101到步骤S111。
高可靠度同一物体融合结果组合候选提取处理部8是从同一物体的融合结果的组合候选中提取物体检测信息的检测可靠度较高的融合结果组合的处理部。该处理相当于下文所述的图2A、图2B的步骤S121到步骤S122以及步骤S104。
物体检测次数计数器9是计算由物体融合处理部6融合后的物体检测次数之和的处理部。
同一物体融合结果组合判定处理部10是对来自高可靠度同一物体融合结果组合候选提取处理部8的信号是否为同一物体的融合信号进行判定的处理部。该处理相当于下文所述的图2B的步骤S131到步骤S134以及步骤S104。
同一物体融合组合整合处理部11是将判定为是同一物体的融合信号的组合的组合进行整合的处理部。该处理相当于下文所述的图2B的步骤S141以及步骤S104。
最后，车辆控制部2基于物体辨识处理装置1的辨识结果，控制本车的偏航角速度、转向角、本车速度等本车的运动。
如上文所述，图1所示的物体辨识处理装置中，物体消失检测部5检测第一物体检测部3以及第二物体检测部4的物体的消失，并作为物体消失信号进行输出，接收到这些信号的物体融合处理部6将由多个物体检测部检测出的多个该物体的检测信息信号进行融合并作为物体融合信号进行输出。同一物体融合结果组合候选选择处理部7为了该物体融合信号的组合，选择该物体融合信号的候选，高可靠度同一物体融合结果组合候选提取处理部8从该候选中选择物体检测信息的检测可靠度较高的融合结果组合。物体检测次数计数器9计算由物体融合处理部6融合后的物体检测次数之和。同一物体融合结果组合判定处理部10判定选择出的该物体的融合信号的组合是否为同一物体的融合信号，同一物体融合组合整合处理部11基于该判定结果来对该车辆周边的物体进行辨识。
针对以上说明的图1的各结构的动作，以下进一步详细地进行说明。
同一物体融合结果组合候选选择处理部7基于物体运动各要素差条件，为了物体融合信号的组合而对该物体融合信号的候选进行选择。
这里，所谓物体运动各要素差条件是指，关于物体融合处理部6中的处理所产生的多个物体融合的结果，包含(1)该物体的位置差异、(2)该物体的速度差异、(3)该物体的加速度差异中的至少一项，在物体融合处理部6对物体融合信号附加物体特征信息信号并进行输出的情况下，同一物体融合结果组合候选选择处理部7也能基于该物体识别信息来对物体运动各要素差条件进行变更。
物体融合处理部6对物体融合信号附加物体特征信息信号(如下文所述)并进行输出的情况下，同一物体融合结果组合候选选择处理部7基于从物体融合处理部6输入的物体特征信息信号，为了物体融合信号的组合而对该物体融合信号的候选进行选择。另外，该物体特征信息信号包含该物体的朝向、该物体的识别信息、该物体的色彩、该物体的接收电平中的至少一项。
高可靠度同一物体融合结果组合候选提取处理部8基于从第一物体检测部3以及第二物体检测部4输入的检测可靠度条件信号(如后文所述)，为了包含有该检测可靠度条件信号中所包含的检测可靠度条件的物体融合信号的组合，而对同一物体的融合结果的组合候选进行筛选。
这里，所谓检测可靠度条件是指，包含(1)物体融合处理部6无法融合物体的检测信息信号的次数(换言之是物体融合信号的消失次数)、(2)该物体的检测位置、(3)该物体的检测可靠度、(4)该物体的检测的推算误差中的至少一项。
在最新的n处理周期中(n为自然数)所选择出的物体融合信号的组合中，在最新的n处理周期中的物体的融合所利用的该物体检测的次数为同一物体融合结果组合判定阈值以上的情况下，同一物体融合结果组合判定处理部10判定为是同一物体融合结果组合。另外，在最新的n处理周期中的物体的融合所利用的多个该物体的检测信息信号全部由同一个物体检测部(即第一物体检测部3以及第二物体检测部4中的任意一个)检测到的情况下，同一物体融合结果组合判定处理部10不判定是否为同一物体的物体融合信号，另外生成了物体融合信号的组合候选的物体检测部(即第一物体检测部3以及第二物体检测部4中的任一个)在同一时刻检测到同一物体融合结果组合候选的情况下，同一物体融合结果组合判定处理部10不判定是否为同一物体的物体融合信号。
同一物体融合组合整合处理部11基于多个物体的融合信号的平均值、中央值、众数值、最短垂直位置、或考虑了物体的融合信号的推算误差的进行加权并进行整合而得到的值中的至少一个值，来对该车辆周边的物体进行辨识。
另外，同一物体融合组合整合处理部11也能基于附加于该物体的融合信号的该物体识别信息信号，来决定多个物体融合信号中所包含的相对位置、相对速度、以及相对加速度的平均值、中央值、众数值、最短垂直位置、或考虑的物体融合信号的推算误差的进行加权并进行整合后的值中的至少一个值，并基于所决定的值来辨识该本车周边的物体。例如，在利用平均值来运算辨识结果的情况下，将多个物体的融合信号作为航迹1、航迹2，在航迹1的相对位置x1、航迹2的相对位置x2时，物体的辨识信号的相对位置成为(x1+x2)/2。
另外，关于考虑物体融合结果的推算误差来进行加权并进行整合的方法，若以物体辨识结果的水平位置为例进行说明，则如下式所示。另外，a(其中0≤a≤1)由航迹1以及航迹2的推算误差所确定。
在航迹1的水平位置的推算误差大于航迹2的水平位置的推算误差的情况下，a为小于0.5的值，在航迹1的水平位置的推算误差小于航迹2的水平位置的推算误差的情况下，a为大于0.5的值。
物体辨识结果的水平位置＝a×航迹1的水平位置+(1-a)×航迹2的水平位置
另外，在垂直位置、水平速度、垂直速度中考虑了物体的融合信号的推算误差来进行加权并进行整合的方法也相同。
如上文所述，同一物体融合组合整合处理部11利用最新的n处理周期中的物体融合信号，来对本车周边的物体进行辨识。
接着，利用图2A以及图2B对实施方式1的物体辨识处理装置1的动作处理进行详细说明。图2A以及图2B是表示物体辨识处理装置1的动作处理的流程图。
如图1、图2A以及图2B所示，向同一物体融合结果组合候选选择处理部7输入的是从全部的物体融合信号中选择出的两个物体的融合信号，分别设为航迹1、航迹2。这里，所谓航迹是指每隔规定的时间该周边物体的位置的变化的履历。
首先，步骤S101中，判定在航迹1、航迹2双方是否有物体识别信息。在步骤S101中，判定为航迹1、航迹2双方有物体识别信息的情况下(步骤S101为“是”)，前进至步骤S102，判定航迹1、航迹2是否为相同物体的识别信号。
在步骤S102中，判定为航迹1、航迹2是相同物体的识别信号的情况下(步骤S102为“是”)，在步骤S103中设定物体运动各要素差阈值1作为物体运动各要素阈值。
在步骤S102中，判定为航迹1、航迹2不是相同物体的识别信号的情况下(步骤S102为“否”)，前进至步骤S104，判定为航迹1、航迹2的组合为同一物体的融合信号的整合处理对象外，结束本处理。
其原因在于，在步骤S102的判定中，若判定航迹1、航迹2的物体的识别信号不同，则判断为航迹1、航迹2为不同对象的融合结果的可能性较高，设为同一物体的融合信号的整合处理对象外，由此，能降低不同物体的融合信号的误整合的可能性。
在步骤S101中，判定为不是航迹1、航迹2双方均有物体识别信息的情况下(步骤S101为“否”)，前进至步骤S105，判定航迹1、航迹2中任一方是否有物体识别信息。
在步骤S105中，判定为航迹1、航迹2中任一方有物体识别信息的情况下(步骤S105为“是”)，前进至步骤S106设定物体运动各要素差阈值2作为物体运动各要素阈值。
另外，在步骤S105中，判定为航迹1、航迹2中均没有物体识别信息的情况下(步骤S105为“否”)，前进至步骤S107设定物体运动各要素差阈值3作为物体运动各要素阈值。
另外，这里，关于物体运动各要素阈值的设定，例如与在航迹1、航迹2中任一方有物体识别信息的情况下(步骤S105为“是”)、或在航迹1、航迹2双方均没有物体识别信息的情况下(步骤S105为“否”)所设定的物体运动各要素阈值相比，使在航迹1、航迹2为相同的物体识别信息的情况下(步骤S102为“是”)所设定的物体运动各要素阈值较高。
由此，在物体的识别信号相同的情况下，是同一物体的可能性较高，因此通过提高阈值，放宽同一物体判定基准，降低存在是不同的物体识别信息的可能性的情况下的物体运动各要素差阈值，从而能降低不同的物体的融合信号的误整合的可能性。
另外，步骤S101、步骤S102以及步骤S105中如上文所述基于物体识别信息来进行判定，但也可以使用物体的朝向、色彩、接收电平，基于物体识别信息的判定也同样地，在航迹1、航迹2的物体的朝向、色彩、接收电平大不相同的情况下，航迹1、航迹2的组合判定为同一物体融合结果整合处理对象外。
接着，在步骤S111中，在最新的n处理周期的航迹1、航迹2上，各个周期的航迹1、航迹2的水平位置差、垂直位置差、水平速度差、垂直速度差全部在步骤S103、步骤S106、或步骤S107中所决定的物体运动各要素差阈值以下的情况下(步骤S111为“是”)，前进至步骤S121。
反之，在步骤S111中，在最新的n处理周期的航迹1、航迹2上，各个周期的航迹1、航迹2的水平位置差、垂直位置差、水平速度差、垂直速度差只要有一个大于步骤S103、步骤S106、或步骤S107中所决定的物体运动各要素差阈值的情况下(步骤S111为“否”)，则前进至步骤S104，航迹1、航迹2的组合判定为同一物体的融合信号的整合处理对象外，结束本处理。
另外，步骤S111中，例如像以下的数学式所示那样设定对各个运动各要素的值进行加权后的运动各要素差评价值，可以使运动各要素差评价值在小于规定阈值的情况作为同一物体的融合信号整合处理对象，在大于等于规定阈值的情况下作为同一物体的融合信号整合处理对象外。
运动各要素差评价值＝c×水平位置差+d×垂直位置差+e×水平速度差+f×垂直速度差
其中(c、d、e、f为任意值)
如上文所述，在组合提取中，在航迹1、航迹2的物体运动各要素差在物体运动各要素差阈值以下的情况下，将航迹1、航迹2设为同一物体的融合信号的组合候选，从而能降低产生不同的物体的融合信号的误整合的可能性。
接着，在步骤S121中，在最新的n处理周期的航迹1、航迹2上，同一周期中航迹1、航迹2均与物体检测部的检测信息无关联的次数(即，由物体消失检测部5检测到的物体检测消失次数)在规定的阈值(例如n/3次)以下的情况下(步骤S121为“是”)，前进至步骤S122，判定航迹1、航迹2是同一物体的融合信号组合候选，前进至步骤S131。
反之，在步骤S121中，在最新的n处理周期中的航迹1、航迹2上，由生成了航迹1、航迹2的物体消失检测部5所计算出的物体检测消失次数大于n/3次的情况下(步骤S121为“否”)，前进至步骤S104，判定航迹1、航迹2的组合是同一物体的融合信号的整合处理对象外，结束本处理。
即，在最新的n处理周期中，由生成了航迹1、航迹2的物体消失检测部5所计算出的物体检测消失次数大于n/3次的情况下，判断为航迹1、航迹2的一方或双方的检测可靠度较低，是航迹1、航迹2的组合为同一物体的融合信号的整合处理对象外，从而能降低不同物体的融合信号的误整合的可能性。
这里，也可以基于航迹1、航迹2的检测位置、推算误差，将检测可靠度较低的组合作为同一物体的融合信号的整合处理对象外。另外，在航迹1、航迹2具有检测可靠度信息的情况下，也可以直接利用检测可靠度信息将检测可靠度较低的组合作为同一物体的融合信号的整合处理对象外。
另外，上述步骤S121以及步骤S122的处理是从通过步骤S101到步骤S111的处理(即，同一物体融合结果组合候选选择处理部7)所选择出的组合中提取可靠性更高的组合、使得例如物体检测部的检测可靠度较高的处理，将这些处理省略也没有问题。
接着，在步骤S131中，最新的n处理周期中利用多个物体检测部的检测信息来生成航迹1、航迹2的情况下(步骤S131为“是”)，前进至步骤S132。
反之，在步骤S131中，最新的n处理周期中利用同一物体检测部的检测信息来生成航迹1、航迹2的情况下(步骤S131为“否”)，前进至步骤S104，判定为航迹1、航迹2的组合为同一物体的融合信号的整合处理对象外，结束本处理。
即，在最新的n处理周期中仅利用同一物体检测部的检测信息来生成航迹1、航迹2的情况下，判断为是不同对象的融合结果的可能性较高，将航迹1、航迹2设为同一物体的融合信号的整合处理对象外。由此，能降低不同物体的融合信号的误整合的可能性。
接着，在步骤S132中，最新的n处理周期中均未由同一周期且同一物体检测部的检测信息生成航迹1、航迹2的情况下(步骤S132为“是”)，前进至步骤S133。
反之，在步骤S132中，最新的n处理周期中由同一周期且同一物体检测部的检测信息生成航迹1、航迹2的情况下(步骤S132为“否”)，前进至步骤S104，判定为航迹1、航迹2的组合为同一物体的融合信号的整合处理对象外，结束本处理。
接着，在步骤S133中，在最新的n处理周期中，航迹1、航迹2的生成所利用的由物体检测次数计数器9所计算出的物体检测次数之和在规定的检测次数阈值、例如3×(2×n)/5以下的情况下(步骤S133为“是”)，前进至步骤S134，同一物体融合结果组合判定为处理部10判定航迹1、航迹2的组合为同一物体的融合信号的组合。
反之，在步骤S133中，在最新的n处理周期中，航迹1、航迹2的生成所利用的由物体检测次数计数器9所计算出的物体检测次数之和比规定的检测次数阈值、例如3×(2×n)/5要多的情况下(步骤S133为“否”)，前进至步骤S104，判定为航迹1、航迹2的组合为同一物体的融合信号的整合处理对象外，结束本处理。
即，与航迹1、航迹2为不同物体的融合信号的情况相比，在航迹1、航迹2为相同物体的融合信号的情况下，判断为最新的n处理周期中判断航迹1、航迹2的生成所利用的物体检测次数之和变低，在最新的n处理周期中航迹1、航迹2的生成所利用的物体检测次数之和大于规定的检测次数阈值、例如3×(2×n)/5的情况下，将航迹1、航迹2设为同一物体的融合信号的整合处理对象外。由此，能降低不同物体的融合信号的误整合的可能性。
接着，在步骤S141中，通过航迹1、航迹2的各运动各要素的平均值生成新建航迹，删除本次的航迹1、航迹2，结束该处理。对全部的物体的融合信号的组合实施该一系列的处理。
这里，生成了航迹1、航迹2的各运动各要素的平均值，但也可以生成中央值、众数值、最短垂直位置、或考虑了航迹1、航迹2各自的推算误差来进行加权的新建航迹。
除此之外，多个航迹的整合方法也可以基于物体的融合信号的物体识别信息来决定。
另外，也可以利用过去m处理周期中(m为自然数)的航迹1、航迹2的数据，来生成平均值、中央值、众数值、最短垂直位置、或考虑了航迹1、航迹2各自的推算误差进行加权的新建航迹。
另外，本实施方式中设为从全部物体的融合信号中所选择出的两个物体的融合信号，但也可以选择三个以上的物体的融合信号来实施。
车辆控制部2利用由物体辨识处理装置1所获得的本车与本车周边物体之间的距离、该周边物体的位置等信息，来进行减轻本车与前方物体发生冲突时的损害的冲突损害减轻制动系统、跟随前方车辆的自适应巡航控制系统的控制等。即，基于该物体辨识处理装置1所产生的物体的辨识结果，能进行本车的自动驾驶。
另外，物体辨识处理装置1如图3所示的硬件的一例那样，由处理器100和储存装置101构成。虽然储存装置未图示，但具备随机存取储存器等易失性储存装置、和闪存等非易失性的辅助储存装置。另外，也可以具备硬盘这样的辅助储存装置来代替闪存。处理器100执行从储存装置101输入的程序。该情况下，从辅助储存装置经由易失性储存装置向处理器100输入程序。另外，处理器100可以将运算结果等数据输出至储存装置101的易失性储存装置，也可以经由易失性储存装置将数据保存至辅助储存装置。
另外，本发明在其发明的范围内可对实施方式进行适当变形、省略。
工业上的实用性
如上文所述那样，本发明与以往的装置相比进一步提高了物体的辨识精度，因此对用于辨识物体的物体辨识装置、物体辨识方法适用。
标号说明
1 物体辨识处理装置
2 车辆控制部
3 第一物体检测部
4 第二物体检测部
5 物体消失检测部
6 物体融合处理部
7 同一物体融合结果组合候选选择处理部
8 高可靠度同一物体融合结果组合候选提取处理部
9 物体检测次数计数器
10 同一物体融合结果组合判定处理部
11 同一物体融合组合整合处理部
100 处理器
101 储存装置

Claims (18)

1.一种物体辨识处理装置，
该物体辨识处理装置利用多个物体检测部对车辆周边的物体进行检测，从各个该物体检测部输入该物体的检测信息，所述物体辨识处理装置的特征在于，包括：
物体融合处理部，该物体融合处理部将由所述多个物体检测部检测到的所述多个物体的检测信息信号进行融合，并作为物体融合信号进行输出；
同一物体融合结果组合候选选择处理部，该同一物体融合结果组合候选选择处理部为了所述物体融合信号的组合而对该物体融合信号的候选进行选择；
同一物体融合结果组合判定处理部，该同一物体融合结果组合判定处理部对该选择出的所述物体融合信号的组合是否为同一物体的物体融合信号的组合进行判定；以及
同一物体融合组合整合处理部，该同一物体融合组合整合处理部基于所述同一物体融合结果组合判定处理部的判定结果，来对所述车辆周边的物体进行辨识。
2.如权利要求1所述的物体辨识处理装置，其特征在于，
还包括高可靠度同一物体融合结果组合候选提取处理部，该高可靠度同一物体融合结果组合候选提取处理部从由所述同一物体融合结果组合候选选择处理部所选择出的候选中提取物体检测信息的检测可靠度较高的所述物体融合信号的组合，
所述同一物体融合结果组合判定处理部对由所述高可靠度同一物体融合结果组合候选提取处理部所提取出的所述物体融合信号的组合是否为同一物体的物体融合信号的组合进行判定。
3.如权利要求2所述的物体辨识处理装置，其特征在于，
所述高可靠度同一物体融合结果组合候选提取处理部基于从所述物体检测部输入的检测可靠度条件信号，为了物体融合信号的组合，选择所述物体融合信号的候选。
4.如权利要求3所述的物体辨识处理装置，其特征在于，
所述高可靠度同一物体融合结果组合候选提取处理部选择包含所述检测可靠度条件的物体融合信号作为候选，所述检测可靠度条件包含于从所述物体检测部输入的检测可靠度条件信号。
5.如权利要求3或4所述的物体辨识处理装置，其特征在于，
所述检测可靠度条件是指，包含所述物体融合处理部无法融合物体的检测信息信号的次数、该物体的检测位置、该物体的检测可靠度以及该物体的检测的推算误差中的至少一项。
6.如权利要求1所述的物体辨识处理装置，其特征在于，
所述同一物体融合结果组合候选选择处理部基于物体运动各要素差条件，为了物体融合信号的组合，而选择该物体融合信号的候选。
7.如权利要求6所述的物体辨识处理装置，其特征在于，
所述物体运动各要素差条件是指，关于所述物体融合处理部中的多个物体的融合的结果，包含该物体的位置的差异、该物体的速度的差异以及该物体的加速度的差异中的至少一项差异。
8.如权利要求6所述的物体辨识处理装置，其特征在于，
所述物体融合处理部在对所述物体融合信号附加物体特征信息信号并输出的情况下，基于物体识别信息来对所述物体运动各要素差条件进行变更。
9.如权利要求8所述的物体辨识处理装置，其特征在于，
所述物体融合处理部在对所述物体融合信号附加所述物体特征信息信号并输出的情况下，所述同一物体融合结果组合候选选择处理部基于从所述物体融合处理部输入的所述物体特征信息信号，为了所述物体融合信号的组合，而对所述物体融合信号的候选进行选择。
10.如权利要求8或9所述的物体辨识处理装置，其特征在于，
所述物体特征信息信号包含该物体的朝向、该物体的识别信息、该物体的色彩以及该物体的接收电平中的至少一项。
11.如权利要求1所述的物体辨识处理装置，其特征在于，
在最新的n处理周期中(n为自然数)所选择的所述物体融合信号的组合中，在最新的n处理周期中的物体的融合所利用的所述物体检测的次数为同一物体融合信号的组合判定阈值以上的情况下，所述同一物体融合结果组合判定处理部判定为是同一物体的融合结果组合。
12.如权利要求1所述的物体辨识处理装置，其特征在于，
关于最新的n处理周期中(n为自然数)所选择的所述物体融合信号的组合，在最新的n处理周期中的物体的融合所利用的多个该物体的检测信息信号全部由同一物体检测部检测到的情况下，所述同一物体融合结果组合判定处理部不判定是否为同一物体的融合结果组合。
13.如权利要求1所述的物体辨识处理装置，其特征在于，
在生成了所述物体融合信号的组合候选的该物体检测部在同一时刻检测到所述同一物体的融合结果组合候选的情况下，所述同一物体融合结果组合判定处理部不判定是否为同一物体的融合结果组合。
14.如权利要求1所述的物体辨识处理装置，其特征在于，
所述同一物体融合组合整合处理部基于多个所述物体融合信号的平均值、或物体融合信号的推算误差值，来对该车辆周边的物体进行辨识。
15.如权利要求1所述的物体辨识处理装置，其特征在于，
所述同一物体融合组合整合处理部基于附加至所述物体融合信号的物体识别信息信号，来决定多个物体融合信号的平均值、或物体融合信号的推算误差值，基于所决定的值来对该车辆周边的物体进行辨识。
16.如权利要求14或15所述的物体辨识处理装置，其特征在于，
所述同一物体融合组合整合处理部利用最新的n处理周期中的所述物体融合信号，来对该车辆周边的物体进行辨识。
17.一种自动驾驶系统，其特征在于，
包括车辆控制部，该车辆控制部基于如权利要求1至16的任一项所述的物体辨识处理装置的输出，来对车辆的动作进行控制。
18.一种物体辨识方法，其特征在于，包括：
第一步骤，在该第一步骤中，由多个物体检测部对车辆周边的物体进行检测，从各个该物体检测部输入该物体的检测信息；
第二步骤，在该第二步骤中，将由所述多个物体检测部所检测到的所述多个该物体的检测信息信号进行融合，并作为物体融合信号进行输出；
第三步骤，在该第三步骤中，为了所述物体融合信号的组合而对该物体融合信号的候选进行选择；
第四步骤，在该第四步骤中，对该选择出的所述物体融合信号的组合是否为同一物体的物体融合信号的组合进行判定；以及
第五步骤，在该第五步骤中，基于该判定结果，来对该车辆周边的物体进行辨识。
CN201710403858.6A 2016-06-10 2017-06-01 物体辨识处理装置、物体辨识处理方法及自动驾驶系统 Active CN107490794B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016116285A JP6256531B2 (ja) 2016-06-10 2016-06-10 物体認識処理装置、物体認識処理方法および自動運転システム
JP2016-116285 2016-06-10

Publications (2)

Publication Number Publication Date
CN107490794A CN107490794A (zh) 2017-12-19
CN107490794B true CN107490794B (zh) 2020-10-16

Family

ID=60572939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710403858.6A Active CN107490794B (zh) 2016-06-10 2017-06-01 物体辨识处理装置、物体辨识处理方法及自动驾驶系统

Country Status (4)

Country Link
US (1) US10460467B2 (zh)
JP (1) JP6256531B2 (zh)
CN (1) CN107490794B (zh)
DE (1) DE102017209772A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554169B2 (ja) * 2015-06-10 2019-07-31 株式会社日立製作所 物体認識装置及び物体認識システム
EP3459827B1 (en) * 2017-09-25 2022-07-27 Volvo Car Corporation Method and system for automated parking of a vehicle
US10691969B2 (en) * 2017-11-06 2020-06-23 EagleSens Systems Corporation Asynchronous object ROI detection in video mode
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
DE112018007601T5 (de) * 2018-05-14 2021-02-04 Mitsubishi Electric Corporation Objektdetektionsvorrichtung und Objektdetektionsverfahren
US10852420B2 (en) 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
CN108985314A (zh) * 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标检测方法及设备
WO2020009060A1 (ja) * 2018-07-02 2020-01-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
JP7135908B2 (ja) * 2019-02-04 2022-09-13 トヨタ自動車株式会社 衝突前制御装置
CN110007754B (zh) * 2019-03-06 2020-08-28 清华大学 手与物体交互过程的实时重建方法及装置
US11993289B2 (en) 2019-05-23 2024-05-28 Hitachi Astemo, Ltd. Vehicle control system and vehicle control method
CN110320912A (zh) * 2019-07-10 2019-10-11 苏州欧博智慧机器人有限公司 激光与视觉slam融合的agv定位导航装置及方法
CN110435642A (zh) * 2019-08-06 2019-11-12 吉利汽车研究院（宁波）有限公司 数据融合方法、装置及存储介质
JP7397609B2 (ja) * 2019-09-24 2023-12-13 株式会社Subaru 走行環境認識装置
CN113470105A (zh) * 2020-03-31 2021-10-01 清华大学 远距离测量瞳孔大小的装置及其方法
JP7412254B2 (ja) * 2020-04-02 2024-01-12 三菱電機株式会社 物体認識装置および物体認識方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232411A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
CN101231340A (zh) * 2007-12-29 2008-07-30 四川川大智胜软件股份有限公司 多雷达系统航迹融合处理时的误差配准方法
CN103052968A (zh) * 2010-08-03 2013-04-17 松下电器产业株式会社 物体检测装置、物体检测方法及程序
CN103926564A (zh) * 2014-03-21 2014-07-16 成都民航空管科技发展有限公司 一种多源监视数据的融合方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5470762A (en) * 1977-11-16 1979-06-06 Seiko Instr & Electronics Ltd Semiconductor device
JPS5724955A (en) * 1980-07-23 1982-02-09 Fuji Xerox Co Ltd Correcting device for zigzag movement
JPS5896123A (ja) 1981-12-01 1983-06-08 Mitsugi Aoyama 二段圧縮して熱風着火させる省エネ無公害エンジン
JPS5896823A (ja) 1981-12-02 1983-06-09 Nisshin Steel Co Ltd 着色用ステンレス鋼板の製造法
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP4712562B2 (ja) * 2006-01-13 2011-06-29 富士重工業株式会社 車両の前方立体物認識装置
JP4684960B2 (ja) * 2006-07-07 2011-05-18 富士重工業株式会社 車両の衝突防止支援システム
JP5470762B2 (ja) * 2008-07-08 2014-04-16 富士通株式会社 物体検出装置、物体検出プログラム、および物体検出方法
JP5896823B2 (ja) 2012-04-26 2016-03-30 三菱電機株式会社 目標追尾装置及び目標追尾方法
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
US9216688B2 (en) * 2013-03-15 2015-12-22 Adil Ansari System and method for blindzone object detection
EP2865575B1 (en) * 2013-10-22 2022-08-24 Honda Research Institute Europe GmbH Confidence estimation for predictive driver assistance systems based on plausibility rules
FR3020616B1 (fr) * 2014-04-30 2017-10-27 Renault Sas Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
KR101644370B1 (ko) * 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
JP6690952B2 (ja) * 2016-01-25 2020-04-28 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232411A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
CN101231340A (zh) * 2007-12-29 2008-07-30 四川川大智胜软件股份有限公司 多雷达系统航迹融合处理时的误差配准方法
CN103052968A (zh) * 2010-08-03 2013-04-17 松下电器产业株式会社 物体检测装置、物体检测方法及程序
CN103926564A (zh) * 2014-03-21 2014-07-16 成都民航空管科技发展有限公司 一种多源监视数据的融合方法及装置

Also Published As

Publication number Publication date
JP6256531B2 (ja) 2018-01-10
DE102017209772A1 (de) 2018-01-18
CN107490794A (zh) 2017-12-19
US20170358102A1 (en) 2017-12-14
JP2017220157A (ja) 2017-12-14
US10460467B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
US9731728B2 (en) Sensor abnormality detection device
EP3379289A1 (en) Automated vehicle object detection system with camera image and radar data fusion
US8798907B2 (en) On-vehicle apparatus, preceding vehicle position determining apparatus, and preceding vehicle position determining method
JP2007310741A (ja) 立体物認識装置
JP6793883B2 (ja) 車両走行制御装置、車両走行制御方法、制御回路および記憶媒体
CN103781685A (zh) 车辆用自主行驶控制系统
KR102045135B1 (ko) 자동차의 측방 주변 영역 내의 종방향 연장 정지 물체를 분류하는 방법, 운전자 보조 시스템 및 자동차
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
US10996317B2 (en) Object detection apparatus and object detection method
CN111615641B (zh) 用于探测关键横向运动的方法和设备
KR20150028258A (ko) 정보 이용을 위한 방법 및 시스템
CN111103587A (zh) 用于预测同时并线车辆的方法和设备及包括其的车辆
JP5067091B2 (ja) 衝突判定装置
US10717436B2 (en) Method and device for monitoring an area ahead of a vehicle
US10935977B2 (en) Lane assignment system
CN113330448A (zh) 用于车辆的传感器数据融合的方法和装置
JP2012088285A (ja) 障害物認識装置及び障害物認識方法
JP6555132B2 (ja) 移動物体検出装置
US20050004719A1 (en) Device and method for determining the position of objects in the surroundings of a motor vehicle
US20180372860A1 (en) Object detection device and object detection method
US11555913B2 (en) Object recognition device and object recognition method
US20100019951A1 (en) Method for determining a variable
US20230260147A1 (en) Signal processing device
CN115516543B (zh) 物体识别装置、路径生成装置、停车辅助装置、物体识别系统、路径生成系统及停车辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant