CN108062095B - 在概率框架内使用传感器融合的物体追踪 - Google Patents

在概率框架内使用传感器融合的物体追踪 Download PDF

Info

Publication number
CN108062095B
CN108062095B CN201711068459.5A CN201711068459A CN108062095B CN 108062095 B CN108062095 B CN 108062095B CN 201711068459 A CN201711068459 A CN 201711068459A CN 108062095 B CN108062095 B CN 108062095B
Authority
CN
China
Prior art keywords
sensor
output
trajectory
feature
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711068459.5A
Other languages
English (en)
Other versions
CN108062095A (zh
Inventor
刘东冉
斯内哈·卡德托塔德
马科斯·保罗·杰拉尔多·卡斯特罗
吉内什·J·杰恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108062095A publication Critical patent/CN108062095A/zh
Application granted granted Critical
Publication of CN108062095B publication Critical patent/CN108062095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184—Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/72—Electric energy management in electromobility

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种控制器从诸如摄像机、LIDAR传感器、RADAR传感器和超声波传感器的多个传感器接收输出。对应于物体的传感器输出被分配至轨迹片段。对应于该物体的任何传感器的后续输出也被分配至该轨迹片段。根据分配至该轨迹片段的传感器输出，例如通过卡尔曼滤波来计算该物体的轨迹。对于分配至该轨迹片段的每个传感器输出，例如使用贝叶斯概率更新来更新概率。当该概率满足阈值条件时，确定物体存在并且生成警报或相对于该物体的预期位置执行自主障碍物避免。

Description

在概率框架内使用传感器融合的物体追踪
技术领域
本发明涉及例如用于在自主车辆中使用的执行障碍物检测。
背景技术
目前可在车辆中找到的大多数主动和被动的安全特征在很大程度上依赖于传感器(超声波、摄像机、RADAR(雷达)等)来精确地检测、分类以及追踪动态环境中的物体。诸如紧急制动辅助系统、前方碰撞辅助系统等的大多数主动的特征旨在在可能会导致人身伤害或财产损失的固体物体(例如，墙壁、电线杆、行人、汽车)的情况下进行制动。
传感器数据具有几个问题，例如噪声、稀疏和不准确。除此之外，“重影物体”有出现在不同的场景中的倾向。这些数据缺陷可以造成由主动安全特征导致的不必要的干预，并且由被动安全特征反复警告驾驶员而导致不便。在这些情况下，区分障碍物和准确检测障碍物出现时间的能力对于确保车辆用户的舒适体验至关重要。
本文公开的系统和方法提供了使用传感器数据进行障碍物检测的改进方法。
发明内容
根据本发明，提供一种方法，该方法包含由车辆控制器执行以下操作：
接收多个传感器输出，该多个传感器输出中的每个指示物体的存在，多个传感器具有多个不同的感测模式；
根据多个传感器输出的每个传感器输出更新概率；和
确定该概率足够高以执行相对于该物体的碰撞避免。
根据本发明的一个实施例，该方法中多个不同的感测模式包括二维摄像机影像、无线电探测和测距(RADAR)、光探测和测距(LIDAR)和超声波中的至少两个。
根据本发明的一个实施例，该方法还包含：对于多个传感器输出的每个输出：
识别每个输出中的特征；
确定特征中的一个对应于物体；和
将该特征分配给表示该物体的轨迹片段。
根据本发明的一个实施例，该方法还包含确定轨迹片段的轨迹。
根据本发明的一个实施例，该方法还包含通过相对于分配给轨迹片段的多个特征执行卡尔曼滤波来确定轨迹片段的轨迹。
根据本发明的一个实施例，该方法还包含根据多个传感器输出中的每个传感器输出来更新概率通过以下方式进行：通过为分配给轨迹片段的每个特征更新与轨迹片段相关联的概率。
根据本发明的一个实施例，该方法中更新概率包含对分配给轨迹片段的每个特征执行贝叶斯概率更新。
根据本发明的一个实施例，该方法还包含：
响应于检测到指示存在物体的多个传感器输出中的最小数量的连续传感器输出而创建轨迹片段。
根据本发明的一个实施例，该方法还包含：
响应于(a)检测到指示存在物体的多个传感器输出中的最小数量的连续传感器输出和(b)最小数量的连续传感器输出指示与预期的物体行为一致的物体的移动二者，而创建轨迹片段。
根据本发明的一个实施例，该方法还包含：
响应于确定概率足够高以执行相对于该物体的碰撞避免，而致动转向致动器、加速器致动器和制动致动器中的至少一个，以有效地避开物体。
根据本发明，提供一种系统，包含：
具有多个感测模式的多个传感器；
可操作地连接至多个传感器的车辆控制器，该车辆控制器被编程用于进行以下操作：
从多个传感器接收多个传感器输出；
识别指示存在物体的多个传感器输出的一部分；
根据多个传感器输出的该部分的每个传感器输出来更新概率；和
如果概率满足阈值条件，则确定该物体存在。
根据本发明的一个实施例，其中多个传感器包括二维摄像机、无线电探测和测距(RADAR)传感器、光探测和测距(LIDAR)传感器以及超声波传感器中的至少两个。
根据本发明的一个实施例，其中该车辆控制器还被编程用于进行以下操作：
识别多个传感器输出中的每个输出中的多个特征；和
如果多个特征中的特征指示存在物体，则将该特征分配给表示该物体的轨迹片段。
根据本发明的一个实施例，其中该车辆控制器还被编程用于根据分配至轨迹片段的特征来确定轨迹片段的轨迹。
根据本发明的一个实施例，其中该车辆控制器还被编程用于通过相对于分配给轨迹片段的特征执行卡尔曼滤波来确定轨迹片段的轨迹。
根据本发明的一个实施例，其中该车辆控制器还被编程用于更新分配给轨迹片段的每个特征的概率。
根据本发明的一个实施例，其中该车辆控制器还被编程用于通过对分配给轨迹片段的每个特征执行贝叶斯概率更新来更新概率。
根据本发明的一个实施例，其中该车辆控制器还被编程用于响应于检测到指示存在物体的多个传感器输出中的最小数量的连续传感器输出而创建轨迹片段。
根据本发明的一个实施例，其中该车辆控制器还被编程用于响应于(a)检测到指示存在物体的多个传感器输出中的最小数量的连续传感器输出和(b)最小数量的连续传感器输出指示与预期的物体行为一致的物体的移动二者，而创建轨迹片段。
根据本发明的一个实施例，其中该车辆控制器还被编程用于如果概率符合阈值条件，则致动转向致动器、加速器致动器和制动致动器中的至少一个，以有效避开该物体。
附图说明
为了容易理解本发明的优点，将通过参考附图中所示的具体实施例来描述上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是限制其范围，本发明将通过使用附图用额外的特征和细节来进行描述和解释，其中：
图1是用于实施本发明的实施例的系统的示意性框图；
图2是适用于实施根据本发明的实施例的方法的示例性计算装置的示意性框图；
图3是交通中的包含传感器的车辆的示意图；
图4是根据本发明的实施例的使用传感器输出追踪物体的方法的过程流程图；
图5是用于确定传感器输出是否应当被分配至轨迹片段(tracklet)的方法的过程流程图；和
图6示出了根据本发明的实施例识别的轨迹片段的发展。
具体实施方式
参考图1，系统100可以包括容纳在车辆内的控制器102。车辆可以包括本领域已知的任何车辆。车辆可以具有本领域已知的任何车辆的所有结构和特征，包括：车轮、连接至车轮的传动系、连接至传动系的发动机、转向系统、制动系统、和包括在车辆中的本领域已知的其它系统。
如本文更详细地讨论，控制器102可以执行自主导航和避免碰撞。控制器102可以从一个或多个成像设备104接收一个或多个图像流。例如，一个或多个摄像机可以被安装至车辆并且输出由控制器102接收的图像流。控制器102可以从一个或多个传感器106接收一个或多个数据流。例如，控制器可以被连接至安装至车辆的一个或多个其他传感器106。传感器可以包括RADAR(无线电探测和测距)传感器、LIDAR(光探测和测距)传感器、SONAR(声音导航和测距)传感器、超声波传感器等。
成像设备104和其他传感器106通过多个不同的模式来检测环境，并且提供多种方式来检测同一物体。本文公开的系统和方法提供了一种方法，在该方法中，可以将成像设备104和其他传感器106的输出融合，以更大的确定性检测潜在的障碍物，并且避免由于传感器噪声引起的误报。
碰撞避免模块108可以包括传感器融合模块110a。传感器融合模块110a可以包括数据关联模块112a，该数据关联模块112a被编程用于将成像设备104和其他传感器106的输出中的特征与“轨迹片段”相关联。在数据是从成像设备104和其他传感器106的输出获得的情况下，每个轨迹片段包括对应于物体的数据或数据的表示。如下所述，轨迹片段可以包括物体的轨迹和物体在由轨迹片段指示的位置处实际存在的概率。数据关联模块112a响应于物体的初始检测而创建轨迹片段，并且响应于物体的后续感测来更新轨迹片段。在下面参照图4和6更详细地描述传感器数据与轨迹片段的关联。
传感器融合模块110a可以包括追踪模块112b。追踪模块112b根据分配给它的传感器数据确定每个轨迹片段的轨迹。特别地，追踪模块112b可以实施卡尔曼滤波(Kalmanfilter)，卡尔曼滤波通过去除传感器噪声来估计由轨迹片段表示的物体的轨迹。
传感器融合模块110a可以包括概率模块112c。每次在任何成像设备104或传感器106的输出中感测到物体时，如上所述更新轨迹片段。在一些实施例中，概率模块112c还可以更新概率，使得每次感测到物体时，概率增加。概率表示物体在由轨迹片段指示的位置处实际存在的可能性。概率可以根据贝叶斯统计模型(Bayesian statistical model)来进行计算，并根据贝叶斯概率更新技术(Bayesian probability update technique)随着物体的每次感测而进行更新。可以根据下面参照图4描述的方法来执行概率的更新。
碰撞避免模块108还可以包括障碍物识别模块110b、碰撞预测模块110c和决策模块110d。障碍物识别模块110b分析一个或多个图像流并且识别包括人、动物、车辆、建筑物、路沿以及其他物体和结构的潜在障碍物。特别地，障碍物识别模块110b可以识别图像流中的车辆图像。障碍物识别模块110b可以识别由通过传感器融合模块创建和更新的轨迹片段指示的障碍物。例如，具有超过阈值的概率的轨迹片段可以被障碍物识别模块110b确定为实际的障碍物。
碰撞预测模块110c基于车辆的当前轨迹或当前预期路径以及障碍物的轨迹来预测哪些障碍物可能与车辆碰撞。决策模块110d可以做出停止、加速、转向等决定，以避开障碍物。碰撞预测模块110c预测潜在碰撞的方式以及决策模块110d采取行动以避免潜在碰撞的方式可以根据自主车辆领域已知的任何方法或系统。
决策模块110d可以通过致动控制车辆的方向和速度的一个或多个致动器114来控制车辆的轨迹。例如，致动器114可以包括转向致动器116a、加速器致动器116b和制动致动器116c。可以根据自主车辆领域已知的这种致动器的任何实施方式来配置致动器116a-116c。
应当注意，尽管本文描述的方法被描述为用于自主车辆，但是人类驾驶的车辆仍然可以从根据本文所述的方法的障碍物识别中获益。
图2是示出示例性计算装置200的框图。计算装置200可以用于执行各种过程，例如本文所讨论的过程。控制器102可以具有计算装置200的一些或全部属性。
计算装置200包括一个或多个处理器202、一个或多个存储装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)装置210和显示装置230，所有这些装置都连接至总线212。处理器202包括执行储存在存储装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202还可以包括各种类型的计算机可读介质，例如高速缓冲存储器。
存储装置204包括各种计算机可读介质，例如易失性存储器(例如，随机存取存储器(RAM)214)和/或非易失性存储器(例如，只读存储器(ROM)216))。存储装置204还可以包括诸如闪速存储器的可重写ROM。
大容量存储装置208包括各种计算机存储介质，例如磁带、磁盘、光盘、固态存储器(例如闪速存储器)等等。如图2所示，特指的大容量存储装置是硬盘驱动器224。各种驱动器也可以包括在大容量存储装置208中，以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置208包括可移动介质226和/或不可移动介质。
I/O装置210包括允许将数据和/或其他信息输入到计算装置200或从计算装置200中检索数据和/或其他信息的各种设备。示例性I/O装置210包括光标控制装置、键盘、按键、麦克风、监视器或其他显示装置、扬声器、网络界面卡、调制解调器、镜头、CCD(电荷耦合器件)或其他图像捕获装置等。
显示装置230包括能向计算装置200的一个或多个用户显示信息的任何类型的装置。示例性显示装置230包括监视器、显示终端、视频投影装置等。
接口206包括允许计算装置200与其他系统、装置或计算环境交互的各种接口。示例性接口206包括任何数量的不同的网络接口220，例如与局域网络(LAN)、广域网络(WAN)、无线网络和互联网的接口。其他接口包括用户界面218和外围装置接口222。接口206还可以包括一个或多个外围接口，例如用于指示装置(鼠标、追踪板等)、键盘等的接口。
总线212允许处理器202、存储装置204、接口206、大容量存储装置208、I/O装置210和显示装置230彼此通信，以及与连接至总线212的其他装置或部件通信。总线212表示诸如系统总线、PCI(外设部件互连标准)总线、IEEE(电气与电子工程师协会)1394总线、USB(通用串行)总线等几种类型的总线结构中的一种或多种。
为了说明的目的，程序和其他可执行程序部件在本文中被示出为独立框，但是应当理解，这种程序和部件在不同时间可以驻留在计算装置200的不同存储部件中，并且由处理器202执行。替代地，本文描述的系统和过程可以由硬件或硬件、软件和/或固件的组合来实施。例如，一个或多个专用集成电路(ASIC)可以被编程用于执行本文所述的系统和过程中的一个或多个。
现在转到图3，多车道交通中的车辆300a-300d可以在相同或相反方向的车道中行驶。还可以存在诸如行人、动物、标志、碎片等的其它障碍物。
容纳控制器102的车辆300a可以具有前向传感器106a、106b，诸如LIDAR、RADAR、超声波或其他传感器。车辆300还可以包括前向摄像机104a、104b。前向摄像机104a、104b可以实施双目视觉，使得物体的三维位置可以由摄像机104a、104b的输出来确定。传感器106a、106b的输出也可以是三维数据的形式，例如以点云的形式，其中每个点指示检测到物体的位置。其他传感器可以检测车辆300a的侧方或后方区域中的物体。
摄像机104a、104b和传感器106a、106b的输出包括车辆300a的周围环境的三维模型。这些模型将包括表示摄像机104a、104b和传感器106a、106b的视野中的物体(例如，其他车辆300b-300d)的特征。每个这些特征将被分配给每次检测到该特征时更新的轨迹片段。
图4示出了方法400，按照该方法400由控制器102创建和更新轨迹片段。方法400可以包括接收传感器数据402。接收传感器数据402可以包括从各个传感器104a、104b、106a、106b接收数据。例如，可以对从传感器104a、104b、106a、106b中的任一传感器接收到的数据的每一帧执行方法400。替代地，可以根据方法400同时处理从多个传感器104a、104b、106a、106b接收到的数据的帧。在一些实施例中，传感器104a、104b、106a、106b可以具有不同的帧率，从而执行单独的处理。
方法400可以包括识别传感器数据中的特征404。步骤404可以包括如本领域已知的用于识别传感器数据中的物体的任何技术。步骤404可以包括识别传感器数据中与诸如车辆、人、动物、标志、建筑物或可能存在的任何其它物体的物体的存在一致的特征。
步骤404的输出可以是每个表示检测到的特征的数据物体的列表。数据物体可以包括诸如中心坐标的特征的位置、特征的范围、边界框或立方体的总体积或表面积或大小或顶点位置、或其他数据。存在检测物体的各种传感器104a、104b、106a、106b，并且每个可以定义其自身的坐标系。因此，步骤404的位置数据可以从检测到特征的传感器的坐标系转换成公共坐标系，例如将传感器104a、104b、106a、106b中的一个的坐标系指定为公共坐标系。可以通过校准步骤来确定该转换，其中使用各种传感器104a、104b、106a、106b来检测已知位置处的物体，并且评估传感器输出以将传感器输出映射至公共坐标系。
方法400可以包括评估该特征是否已经被分配至现有的轨迹片段406。每个轨迹片段可以是包含在步骤404处识别的特征的一些或全部数据(例如，位置和范围)的数据物体。轨迹片段还可以包括轨迹。因此，步骤406可以包括确定特征是否具有与现有轨迹片段相对应的位置和范围(例如在现有轨迹片段的位置和范围的一些公差值范围内)。轨迹片段可以包括轨迹，使得可以从轨迹确定物体的预测位置。因此，步骤406可以包括确定特征的大小和范围是否对应于现有轨迹片段的范围和预测位置(例如在这些值的一些公差范围内)。
如果不是，则可以创建轨迹片段408。在一些实施例中，仅当满足某些条件时，例如重复检测到最少数量的数据帧和/或行为符合实际物体的特征，那么创建检测到的特征的轨迹片段。例如，可以通过执行图5的方法500来执行步骤408，步骤408可以包括在某些情况下避免创建轨迹片段。
如果发现存在相应的轨迹片段406，则方法400可以包括更新该轨迹片段410。例如，在步骤404处识别的特征的位置和范围可以作为测量的最新位置和范围增加至轨迹片段。更新410可以包括将来自步骤404的数据物体的数据增加至轨迹片段，并且对于来自步骤404的数据执行卡尔曼滤波和从步骤404执行对于方法400的先前迭代。如本领域已知的，卡尔曼滤波可以用于使用各种传感器输出的物体追踪，以便消除传感器噪声并且提供物体的轨迹的估计。
方法400可以包括更新在步骤410处更新或在步骤408处创建的轨迹片段的概率412。在一些实施例中，更新412可以包括根据贝叶斯统计模型来处理在步骤404处识别的特征，其中处理每个传感器输出以确定对由轨迹片段表示的物体存在的概率的影响。对于现有的轨迹片段，步骤412可以包括使用在步骤404处识别的特征来执行贝叶斯概率更新。
在一些实施例中，更新轨迹片段概率412可以包括更新概率，使得仅识别由轨迹片段表示的物体的次数确定的概率。在其他实施例中，其他数据可以被包含至统计模型中，诸如其中步骤404识别特征的传感器的变化、位置数据相对于卡尔曼滤波的轨迹的变化，或其他因素。在一些实施例中，到特征的距离可以是更新概率412的因素，使得与更远离车辆300a的特征相比，更接近车辆300a的特征增加更多概率。
概率更新步骤412使得能够融合多个传感器的输出，这是因为每次由任何传感器检测到与轨迹片段相对应的物体时，概率将增加。因此，可以使用具有不同感测模式的各种传感器来确认物体的位置，以便避免由于单个传感器或传感器的类型的输出中的噪声引起的误报。
如果发现在步骤412处更新的概率满足一些阈值置信水平414，则可以采取一个或多个动作。例如，在该位置处并且具有轨迹片段中记录的轨迹的物体可以被增加至一组潜在的障碍物中416，并且可以相对于该组障碍物执行碰撞避免。
在一些实施例中，如果车辆300a和物体的轨迹指示碰撞将在没有轴承变化的情况下发生，则可能产生对驾驶员的警报。这在车辆300a不是自主车辆或者与可能的人类干预一起半自主地进行操作的情况下是特别有用的。
参考图5，所示方法500可以在方法400的步骤408处执行，以便确定是否为在一个或多个传感器的输出中检测到的特征创建轨迹片段。
方法500可以包括从传感器数据(例如其位置、范围、形状等)识别特征的属性502。方法500还可以包括确定特征是否是该特征在一组N个连续传感器帧中的第N次出现，其中N是整数，诸如从10到30的整数，优选地为20。传感器帧可以表示从特定的传感器104a、104b、106a、106b获得的一组数据。N个传感器帧可以是来自同一传感器或具有不同感测模式的多个传感器的传感器帧。该特征是否在N个连续帧中存在可以包括确定具有步骤502的属性(范围、位置、形状等)的特征在N个连续帧中存在。
方法500还可以包括评估N个连续帧中的特征的位置的变化是否与实际物体一致504。物体可以移动，因此，N个连续帧是否包括可能对应于同一物体的特征可以包括确定具有一致的位置和/或形状的特征在N个帧中存在506，并且呈现与实际轨迹一致(例如具有对应于实际物体的速度、加速度、转弯半径等)的帧之间的位置变化。
如果发现步骤504和506的条件被满足，则可以创建包括包括在N个连续帧的特征中的数据或由该数据推断出的值的轨迹片段。如果不满足，则方法500可以在不为该特征创建轨迹片段的情况下结束。假如随后满足步骤504和506中的一个或两个的条件，则可以在方法500的后续迭代中创建轨迹片段。
参考图6，所示的图示出了轨迹片段随时间的变化。特征600a-600c表示在第一传感器的输出中检测到的特征，特征602a、602b表示在第二传感器的输出中检测到的特征，以及特征604表示在第三传感器的输出中检测到的特征。第一、第二和第三传感器可以是具有不同感测模式的不同类型的传感器，例如，基于透镜的摄像机、LIDAR传感器、RADAR传感器、超声波传感器等。
一经检测到特征600a，就可以例如响应于执行方法500来创建轨迹片段。初始概率P(0)被计算，该初始概率P(0)指示：基于在传感器输出找到的特征600a，物体实际上存在的置信度。
在随后的时间点，特征600b和602a被检测到和确定为属于与特征600a相同的轨迹片段，例如由于位于特征600a的轨迹606a上、具有到特征600a的公差以内的距离、具有与特征600a相同的范围和/或形状、或一些其它标准。
可以基于特征600a和较新特征600b、602a来计算轨迹片段的更新轨迹606b。如上所述，可以通过对这些特征600a、600b、602a进行卡尔曼滤波来计算轨迹606b。
计算更新的概率P(1)，该更新的概率P(1)指示：考虑到特征600a、600b和602a，轨迹片段表示实际物体的置信度。如上所述，这可以包括基于特征600b、602a来执行贝叶斯概率更新。
在稍后的时间点，检测到特征600c、602b和604并且将其与轨迹片段相关联。如上所述计算另一更新的轨迹片段606c，并且基于最近的特征600c、602b、604计算更新的概率P(2)。在某些时刻，概率P(2)变得足够大，使得物体被确定是真实的。因此，车辆控制器102可以相对于物体执行障碍物避免。
在图6的示例中，当在远距离处首先检测到物体时，存在与该物体相对应的几个特征。随着物体越来越近，越来越多的特征被检测到，并且用于更新轨迹片段。因此，概率对这些特征随时间的影响进行合计使得当物体成为潜在危险时，概率将超过阈值，并且可以执行障碍物避免。
与此相比，与随着时间来自多个传感器的多个特征一起不与轨迹片段相关联的特征将不会超过阈值并且将被忽略。这将包括对应于不接近车辆300a的物体的特征以及作为传感器噪声而不是实际物体的结果的检测到的特征。
在上述公开中，已经参考了构成本发明的一部分的附图，并且在附图中通过图示的方式示出了可以实施本公开的具体实施方式。应当理解，在不脱离本公开的范围的情况下，可以使用其他实施方式并且可以改变结构。说明书中参考“一个实施例”、“实施例”、“示例性实施例”等，表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括特定的特征、结构或特性。此外，这样的语句不一定指代相同的实施例。另外，当结合实施例描述特定的特征、结构或特性时，认为结合不管是否明确描述的其他实施例来影响这些的特征、结构或特性是在本领域技术人员的知识范围内。
本发明所公开的系统、设备和方法的实施方式可以包含或利用包括计算机硬件的专用或通用计算机，例如，比如，本发明所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实施方式还可以包括用于运载或储存计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。储存计算机可执行指令的计算机可读介质是计算机存储介质(装置)。运载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制，本公开的实施方式可以包含至少两种明显不同的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、CD-ROM(只读光盘)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储装置、或者可以用于存储计算机可执行指令或数据结构的形式的所需的程序代码并且可以由通用或专用计算机访问的任何其他介质。
本发明所公开的设备系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合中的一个)传输或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，传输介质可以用于以计算机可执行指令或数据结构的形式运载计算机可执行指令或数据结构的形式的期望的程序代码，并且可以由通用或专用计算机访问。
计算机可执行指令包含，例如，在处理器执行时使通用计算机、专用计算机或专用处理装置来执行某个功能或功能组的指令和数据。计算机可执行指令可以是，例如，二进制文件、诸如汇编语言的中间格式指令、或者甚至是源代码。虽然主题已经用特定于结构特征和/或方法动作的语言描述，但是应当理解，所附权利请求中限定的主题不一定限于上述所描述的特征或行为。更确切地说，所描述的特征和行为被公开为实现权利请求的示例性形式。
本领域技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实施本公开，包括内联车辆计算机、个人计算机、台式计算机、便携计算机、消息处理器、手提式装置、多处理器系统、基于微处理器或可编程的消费性电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(掌上电脑)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储装置二者中。
此外，在适当的情况下，本发明所描述的功能可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行。例如，一个或多个专用集成电路(ASIC)可以被编程用于执行本发明所描述的系统和过程中的一个或多个。在整个说明书和权利要求书中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以由不同的名称指代。本文档不打算区分名称不同而非功能不同的部件。
应当注意，上述传感器实施例可以包含计算机硬件、软件、固件或其任何组合来执行其功能的至少一部分。例如，传感器可以包括被配置用于在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。这些示例性装置设置在本发明中的目的是说明，并不旨在限制。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实施。
本公开的至少一些实施例已经针对包含储存在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。这样的软件当在一个或多个数据处理装置中执行时，使装置如本文所述地运行。
虽然上面已经描述了本公开的各种实施例，但是应当理解，它们仅仅是作为示例而非限制来提出的。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的广度和范围不应该由上述示例性实施例中的任何一个来限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的提出了前面的描述。它不是穷举的，也不是将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，前述的替代性的实施方式可用于期望形成本发明的另外的混合实施例的任何组合。
在不脱离其精神或本质特征的情况下，本发明可以以其他具体形式实施。所描述的实施例在所有方面被认为仅是说明性的而不是限制性的。因此，本发明的范围由所附权利要求而不是前面的描述来表示。在权利要求的等同物的意图和范围内的所有变化将被包含在其范围内。

Claims (15)

1.一种障碍物检测方法，包含由车辆控制器执行以下操作：
接收多个传感器输出，所述多个传感器输出中的每个指示物体的存在，多个传感器具有多个不同的感测模式；
检测从所述多个传感器中的第一传感器接收的所述多个输出中的第一输出中的第一特征；
创建对应于所述第一特征的轨迹片段，所述轨迹片段具有根据所述第一输出确定的第一位置和轨迹；
在接收到来自所述第一传感器的所述第一输出之后，检测从所述第一传感器接收的所述多个输出中的第二输出中的第二特征；
执行根据所述第二输出确定的所述第二特征的第二位置与所述轨迹片段的所述第一位置和所述轨迹相对应的第一确定；
响应于所述第一确定，根据所述第二输出更新所述轨迹片段的所述第一位置和所述轨迹，并根据所述第二输出增加与所述轨迹片段相关联的概率；和
确定所述概率足够高以执行相对于所述物体的碰撞避免。
2.根据权利要求1所述的方法，其中所述多个不同的感测模式包括二维摄像机影像、无线电探测和测距(RADAR)、光探测和测距(LIDAR)和超声波中的至少两个。
3.根据权利要求1所述的方法，还包含：
在接收到来自所述第一传感器的所述第一输出之后，检测从所述多个传感器中的第二传感器接收的所述多个输出的第三输出中的第三特征；
执行根据所述第三输出确定的所述第三特征的第三位置与所述轨迹片段的所述第一位置和所述轨迹相对应的第二确定；
响应于所述第二确定，根据所述第三输出更新所述轨迹片段的所述第一位置和所述轨迹，并根据所述第三输出增加与所述轨迹片段相关联的概率。
4.根据权利要求3所述的方法，进一步包含通过相对于所述第一特征、所述第二特征和所述第三特征执行卡尔曼滤波来确定所述轨迹片段的所述轨迹。
5.根据权利要求3所述的方法，其中更新所述概率包含对所述第一特征、所述第二特征和所述第三特征执行贝叶斯概率更新。
6.根据权利要求3所述的方法，还包含：
响应于检测到指示存在所述物体的所述多个传感器输出中的最小数量的连续传感器输出而创建所述轨迹片段。
7.根据权利要求3所述的方法，还包含：
响应于(a)检测到指示存在所述物体的所述多个传感器输出中的最小数量的连续传感器输出和(b)所述最小数量的连续传感器输出指示与预期的物体行为一致的所述物体的移动二者，而创建所述轨迹片段。
8.根据权利要求1所述的方法，还包含：
响应于确定所述概率足够高以执行相对于所述物体的碰撞避免，而致动转向致动器、加速器致动器和制动致动器中的至少一个以有效地避开所述物体。
9.一种障碍物检测系统，包含：
具有多个感测模式的多个传感器；
可操作地连接至所述多个传感器的车辆控制器，所述车辆控制器被编程用于进行以下操作：
从所述多个传感器接收多个传感器输出；检测从所述多个传感器中的第一传感器接收的所述多个输出中的第一输出中的第一特征；
创建对应于所述第一特征的轨迹片段，所述轨迹片段具有根据所述第一输出确定的第一位置和轨迹；
在接收到来自所述第一传感器的所述第一输出之后，检测从所述第一传感器接收的所述多个输出中的第二输出中的第二特征；
执行根据所述第二输出确定的所述第二特征的第二位置与所述轨迹片段的所述第一位置和所述轨迹相对应的第一确定；
响应于所述第一确定，根据所述第二输出更新所述轨迹片段的所述第一位置和所述轨迹，并根据所述第二输出增加与所述轨迹片段相关联的概率；和
如果所述概率满足阈值条件，则确定物体存在。
10.根据权利要求9所述的系统，其中所述多个传感器包括二维摄像机、无线电探测和测距(RADAR)传感器、光探测和测距(LIDAR)传感器以及超声波传感器中的至少两个。
11.根据权利要求9所述的系统，其中所述车辆控制器还被编程用于进行以下操作：
在接收到来自所述第一传感器的所述第一输出之后，检测从所述多个传感器中的第二传感器接收的所述多个输出的第三输出中的第三特征；
执行根据所述第三输出确定的所述第三特征的第三位置与所述轨迹片段的所述第一位置和所述轨迹相对应的第二确定；
响应于所述第二确定，根据所述第三输出更新所述轨迹片段的所述第一位置和所述轨迹，并根据所述第三输出增加与所述轨迹片段相关联的概率。
12.根据权利要求11所述的系统，其中所述车辆控制器还被编程用于通过相对于所述第一特征、所述第二特征和所述第三特征执行卡尔曼滤波来确定所述轨迹片段的所述轨迹。
13.根据权利要求11所述的系统，其中所述车辆控制器还被编程用于通过对所述第一特征、所述第二特征和所述第三特征执行贝叶斯概率更新来更新所述概率。
14.根据权利要求11所述的系统，其中所述车辆控制器还被编程用于响应于检测到指示存在所述物体的所述多个传感器输出中的最小数量的连续传感器输出而创建所述轨迹片段。
15.根据权利要求11所述的系统，其中所述车辆控制器还被编程用于响应于(a)检测到指示存在所述物体的所述多个传感器输出中的最小数量的连续传感器输出和(b)所述最小数量的连续传感器输出指示与预期的物体行为一致的所述物体的移动二者，而创建所述轨迹片段。
CN201711068459.5A 2016-11-08 2017-11-03 在概率框架内使用传感器融合的物体追踪 Active CN108062095B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/346,210 US10160448B2 (en) 2016-11-08 2016-11-08 Object tracking using sensor fusion within a probabilistic framework
US15/346,210 2016-11-08

Publications (2)

Publication Number Publication Date
CN108062095A CN108062095A (zh) 2018-05-22
CN108062095B true CN108062095B (zh) 2022-08-02

Family

ID=60664855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711068459.5A Active CN108062095B (zh) 2016-11-08 2017-11-03 在概率框架内使用传感器融合的物体追踪

Country Status (6)

Country Link
US (1) US10160448B2 (zh)
CN (1) CN108062095B (zh)
DE (1) DE102017125963A1 (zh)
GB (1) GB2558726A (zh)
MX (1) MX2017014181A (zh)
RU (1) RU2017134401A (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6194520B1 (ja) * 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
US10421452B2 (en) * 2017-03-06 2019-09-24 GM Global Technology Operations LLC Soft track maintenance
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US11573573B2 (en) 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
CN110501709B (zh) * 2018-05-18 2023-03-07 财团法人工业技术研究院 目标检测系统、自主车辆以及其目标检测方法
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
JP7027279B2 (ja) * 2018-08-07 2022-03-01 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN108983213B (zh) * 2018-09-07 2021-01-01 百度在线网络技术（北京）有限公司 障碍物静止状态的确定方法、装置、设备及存储介质
CN111629947B (zh) * 2018-12-26 2023-05-26 百度时代网络技术（北京）有限公司 自动驾驶车辆的用于生成参考线的方法和系统
KR20200085982A (ko) 2019-01-07 2020-07-16 삼성전자주식회사 차량의 주행을 보조하는 전자 장치 및 방법
US11846949B2 (en) 2019-02-19 2023-12-19 Crown Equipment Corporation Systems and methods for calibration of a pose of a sensor relative to a materials handling vehicle
US11280897B2 (en) 2019-03-31 2022-03-22 Waymo Llc Radar field of view extensions
CN110267206B (zh) * 2019-05-21 2020-11-17 中国联合网络通信集团有限公司 用户位置预测方法及装置
CN110221307B (zh) * 2019-05-28 2022-12-13 哈尔滨工程大学 一种多被动声纳非合作多目标线谱信息融合方法
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
CN110346004B (zh) * 2019-08-16 2020-08-21 杭州山科智能科技股份有限公司 一种双声道超声时差法的流量测量数据融合方法
DE102019123483B4 (de) 2019-09-02 2021-12-09 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
US11069161B2 (en) * 2019-09-30 2021-07-20 Ford Global Technologies, Llc Adaptive sensor fusion
US20230406359A1 (en) * 2022-06-15 2023-12-21 Gm Cruise Holdings Llc Collision imminent detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104816697A (zh) * 2014-02-05 2015-08-05 丰田自动车株式会社 防碰撞控制装置
CN104925053A (zh) * 2014-03-18 2015-09-23 沃尔沃汽车公司 增加自主驾驶安全和/或舒适性的车辆、车辆系统和方法
CN105365817A (zh) * 2014-08-18 2016-03-02 福特全球技术公司 影响车辆的运动动力学的方法和装置
CN105807630A (zh) * 2015-01-21 2016-07-27 福特全球技术公司 虚拟传感器试验台

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10118707A1 (de) * 2001-04-12 2002-10-17 Bosch Gmbh Robert Verfahren zur Kollisionsverhinderung bei Kraftfahrzeugen
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
DE10258287A1 (de) * 2002-12-13 2004-06-24 Robert Bosch Gmbh Verfahren und Einrichtung zur Objektdetekrierung
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
US7266477B2 (en) 2005-06-22 2007-09-04 Deere & Company Method and system for sensor signal fusion
JP4896482B2 (ja) * 2005-10-06 2012-03-14 富士重工業株式会社 衝突判定装置
JP2007333486A (ja) * 2006-06-13 2007-12-27 Denso Corp 車両用障害物検知装置
DE102008001648A1 (de) * 2008-05-08 2009-11-12 Robert Bosch Gmbh Fahrerassistenzverfahren zum Bewegen eines Kraftfahrzeugs und Fahrerassistenzvorrichtung
JP2010070061A (ja) * 2008-09-18 2010-04-02 Toyota Motor Corp 車両走行支援装置
DE102009006214B4 (de) 2009-01-27 2022-10-13 Volkswagen Ag Verfahren zum Bereitstellen einer Umfeldrepräsentation eines Fahrzeugs
JP5407952B2 (ja) * 2009-06-18 2014-02-05 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
US8527445B2 (en) 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
KR20130026933A (ko) * 2011-09-06 2013-03-14 현대모비스 주식회사 차량 충돌 방지 장치와 방법
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随系统和方法
US8705797B2 (en) 2012-03-07 2014-04-22 GM Global Technology Operations LLC Enhanced data association of fusion using weighted Bayesian filtering
US9129211B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
US9255989B2 (en) 2012-07-24 2016-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking on-road vehicles with sensors of different modalities
CN103988241A (zh) * 2012-11-13 2014-08-13 株式会社东芝 检测装置、方法以及程序
US8892304B2 (en) * 2013-01-08 2014-11-18 Ford Global Technologies, Llc Adaptive crash height adjustment using active suspensions
EP2799902A1 (en) 2013-04-30 2014-11-05 Baselabs GmbH Method and apparatus for the tracking of multiple objects
EP2865575B1 (en) * 2013-10-22 2022-08-24 Honda Research Institute Europe GmbH Confidence estimation for predictive driver assistance systems based on plausibility rules
EP2952993B1 (en) * 2014-06-05 2018-04-25 Softbank Robotics Europe Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
US10539669B2 (en) * 2014-10-08 2020-01-21 Texas Instruments Incorporated Three dimensional (3D) tracking of objects in a radar system
DE102015201706A1 (de) * 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Sensormessungen eines Fahrzeugumfeldes bei geringer Querauflösung
CN105128737A (zh) * 2015-08-27 2015-12-09 苏州经贸职业技术学院 用于汽车的测距系统
CN105372654B (zh) 2015-12-14 2017-12-12 财团法人车辆研究测试中心 障碍物分类可靠度量化的方法
US9785846B2 (en) * 2015-12-23 2017-10-10 Automotive Research & Test Center Method for quantifying classification confidence of obstructions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104816697A (zh) * 2014-02-05 2015-08-05 丰田自动车株式会社 防碰撞控制装置
CN104925053A (zh) * 2014-03-18 2015-09-23 沃尔沃汽车公司 增加自主驾驶安全和/或舒适性的车辆、车辆系统和方法
CN105365817A (zh) * 2014-08-18 2016-03-02 福特全球技术公司 影响车辆的运动动力学的方法和装置
CN105807630A (zh) * 2015-01-21 2016-07-27 福特全球技术公司 虚拟传感器试验台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Object Existence Probability Fusion using Dempster-Shafer Theory in a High-Level Sensor Data Fusion Architecture;Michael Aeberhard 等;《2011 IEEE Intelligent Vehicles Symposium》;20110609;770-775 *

Also Published As

Publication number Publication date
US10160448B2 (en) 2018-12-25
CN108062095A (zh) 2018-05-22
DE102017125963A1 (de) 2018-05-09
GB201718172D0 (en) 2017-12-20
GB2558726A (en) 2018-07-18
RU2017134401A (ru) 2019-04-03
MX2017014181A (es) 2018-10-02
US20180126984A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
CN108062095B (zh) 在概率框架内使用传感器融合的物体追踪
US10228693B2 (en) Generating simulated sensor data for training and validation of detection models
US10849543B2 (en) Focus-based tagging of sensor data
CN108116408B (zh) 多传感器概率对象和自动制动
JP6494719B2 (ja) 交通信号マップ作成及び検出
CN114901534A (zh) 对象检测以及跟踪
EP3438953A1 (en) Information processing device
US20180211119A1 (en) Sign Recognition for Autonomous Vehicles
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
CN113044059A (zh) 用于车辆的安全系统
US10336252B2 (en) Long term driving danger prediction system
EP2654028A1 (en) Orientation sensitive traffic collision warning system
CN115038628A (zh) 对象速度和/或偏航率检测和跟踪
CN108073893B (zh) 使用距离数据检测植物
US11926318B2 (en) Systems and methods for detecting a vulnerable road user in an environment of a vehicle
KR20210038852A (ko) 조기 경보 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
CN112735163B (zh) 确定目标物体静止状态的方法、路侧设备、云控平台
JP2011198266A (ja) 危険判定装置及びプログラム
TWI823613B (zh) 防撞預警方法、車載裝置及儲存介質
US20230267718A1 (en) Systems and methods for training event prediction models for camera-based warning systems
EP4325251A1 (en) High throughput point cloud processing
JP2024062325A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant