CN112009467A - 用于自动驾驶系统的冗余环境感知跟踪 - Google Patents

用于自动驾驶系统的冗余环境感知跟踪 Download PDF

Info

Publication number
CN112009467A
CN112009467A CN202010482859.6A CN202010482859A CN112009467A CN 112009467 A CN112009467 A CN 112009467A CN 202010482859 A CN202010482859 A CN 202010482859A CN 112009467 A CN112009467 A CN 112009467A
Authority
CN
China
Prior art keywords
hypotheses
sensor
environmental information
sensors
electronic processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010482859.6A
Other languages
English (en)
Other versions
CN112009467B (zh
Inventor
S.鲁特
T.B.古斯纳
T.V.基恩勒
O.F.施温特
A.埃尔
J.C.穆勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112009467A publication Critical patent/CN112009467A/zh
Application granted granted Critical
Publication of CN112009467B publication Critical patent/CN112009467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4023—Type large-size vehicles, e.g. trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于自动驾驶系统的冗余环境感知跟踪。一个示例实施例提供了一种车辆的自动驾驶系统，该系统包括多个传感器、存储器和电子处理器。该电子处理器被配置成：从该多个传感器接收公共视野的环境信息；基于该环境信息来生成与公共视野内的对象有关的多个假设，该多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；基于该多个假设的子集来确定对象的对象状态，其中该子集包括排除来自该至少一个传感器的环境信息的至少一个假设集合；以及基于所确定的对象状态来执行车辆操控。

Description

用于自动驾驶系统的冗余环境感知跟踪
相关申请的交叉引用
本申请要求于2019年5月30日提交的美国临时申请No. 62/854,804的优先权和权益，该美国临时申请的整个内容通过引用并入本文。
背景技术
驾驶员辅助和自动驾驶系统正在变得日益流行。这种系统取决于来自多种不同传感器的环境信息，以便检测车辆的周围环境。通过检测车辆周围的对象（及其移动），系统能够根据所检测到的对象及其移动来驾驶车辆。
附图说明
附图与下面的详细描述一起被并入说明书中且形成说明书的一部分，并用于进一步图示包括要求保护的发明的构思的实施例，且解释那些实施例的各种原理和优势，在附图中，遍及分离的视图，相似的附图标记指代相同的或功能上类似的要素。
图1是根据一些实施例的自动驾驶系统的框图。
图2是根据一些实施例的图示了基于由图1的系统实现的环境信息确定对象的过程的过程模型。
图3是根据一些实施例的图示了处理由图1的系统实现的冗余的所检测到的环境信息的方法的流程图。
图4是根据一些实施例的图示了图1的自动驾驶系统的车辆周围的环境的图。
图5是根据一些实施例的图示了根据图2的方法而生成的多个假设的图表。
本领域技术人员应当领会，图中的要素是为了简明和清楚而图示的，而未必按比例绘制。例如，图中的要素中的一些的尺寸可以相对于其他要素而夸大，以帮助改进对本发明实施例的理解。
在适当时已经由附图中的传统符号表示装置和方法部件，从而仅示出与理解本发明实施例相关的那些具体细节，以便不以对受益于本文的描述的本领域技术人员来说将显而易见的细节使本公开模糊。
具体实施方式
如上所指出，驾驶员辅助和自动驾驶（本文统称为自动驾驶）取决于具有许多重叠视野的多种传感器，以便检测车辆周围的区域（本文称为车辆的周围环境）内的对象（汽车、行人、车道标志线、路缘等）。使用传感器信息，自动驾驶系统确定对象的位置和移动。系统然后基于所确定的位置和/或移动来控制（驾驶）车辆。重要的是，对象的位置和移动应当被准确地确定，使得车辆被适当地操纵以避免碰撞。
另外，尽管本公开聚焦于自动驾驶，但本公开不限于自动驾驶。例如，本公开还可以用于在监控应用（例如，在建筑物和/或车辆上安装以跟踪行人、车辆或其他合适对象的多个传感器）或确定对象的对象状态的任何其他应用中检测对象。下面关于所列举的示例21-40来具体阐述本公开的监控方面。
一个示例实施例提供了一种车辆的自动驾驶系统，该系统包括多个传感器、存储器、以及通信耦合到该存储器和该多个传感器的电子处理器。该电子处理器被配置成：从该多个传感器接收公共视野的环境信息；基于该环境信息来生成与公共视野内的对象有关的多个假设，该多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；基于该多个假设的子集来确定对象的对象状态，其中该子集包括排除来自第一传感器类型的该至少一个传感器的环境信息的至少一个假设集合；以及基于所确定的对象状态来执行车辆操控。
另一示例实施例提供了一种操作自动驾驶系统的方法。该方法包括：利用电子处理器从多个传感器接收公共视野的环境信息。该方法包括：利用电子处理器基于环境信息来生成与公共视野内的对象有关的多个假设，该多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合。该方法包括：利用电子处理器检测与第一传感器类型的该至少一个传感器相关联的误差。该方法包括：利用电子处理器基于该多个假设的子集来确定对象的对象状态，其中该子集包括排除来自第一传感器类型的该至少一个传感器的环境信息的至少一个假设集合。该方法还包括：利用电子处理器基于所确定的对象状态来执行车辆操控。
又一示例实施例提供了一种包括指令的非瞬变计算机可读介质，该指令在由电子处理器执行时使该电子处理器执行操作集合。该操作集合包括：从多个传感器接收公共视野的环境信息。该操作集合包括：基于环境信息来生成与公共视野内的对象有关的多个假设，该多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合。该操作集合包括：检测与第一传感器类型的该至少一个传感器相关联的误差。该操作集合包括：基于该多个假设的子集来确定对象的对象状态，其中该子集包括排除来自第一传感器类型的该至少一个传感器的环境信息的至少一个假设集合。该操作集合还包括：基于所确定的对象状态来执行车辆操控。
在详细地解释本发明的任何实施例之前，应当理解，本发明在其应用方面不限于在以下描述中阐述或在以下附图中图示的部件的构造和布置的细节。本发明有其他实施例的能力，且被实践或以各种方式实施。例如，尽管本文描述的示例按照自动驾驶系统，但在进一步的实施例中，本文描述的方法可以被应用于驾驶辅助系统。还应当理解，术语“车辆”指代任何类型的交通系统，包括但不限于汽车、摩托车、无人机、摩托车、小船等等。
为了易于描述，本文呈现的示例系统中的一些或全部是利用其部件部分中的每一个的单个范例图示的。一些示例可能未描述或图示系统的所有部件。其他示例实施例可以包括更多或更少的每一个所图示的部件，可以组合一些部件，或者可以包括附加或可替换的部件。
图1是根据一些实施例的示例自动驾驶系统100。系统100包括车辆405，车辆405包括电子处理器105、存储器110、输入/输出接口115、多个传感器120和收发器125。在一些实施例中，系统100还包括多个传感器130，该多个传感器130被安装到车辆405外部和附近的基础设施。如上所解释，在可替换实施例中，系统100包括监控设备而不是车辆405，该监控设备包括分别与电子处理器105、存储器110、输入/输出接口115、多个传感器120和收发器125类似的电子处理器、存储器、输入/输出接口、多个传感器和收发器，如本文所描述的那样。
所图示的部件连同其他各种模块和部件一起可以由或通过一个或多个连接而耦合到彼此，该一个或多个连接包括例如在其间实现通信的控制或数据总线。鉴于本文提供的描述，针对各种模块和部件之间的互连和信息交换而对控制和数据总线的使用对本领域技术人员来说将是明显的。应当理解，自动驾驶系统100的一些部件可以被并入/集成在车辆（例如，图4的车辆405）内，例如，车辆的通信系统和/或车辆的电气系统（未示出）。
电子处理器105获得和提供信息（例如，从存储器110、输入/输出接口115和/或多个传感器120），并通过执行一个或多个软件指令或模块来处理该信息，该一个或多个软件指令或模块能够被存储在例如存储器110的随机存取存储器（“RAM”）区域或存储器110的只读存储器（“ROM”）或者另一非瞬变计算机可读介质（未示出）中。软件可以包括固件、一个或多个应用、程序数据、滤波器、规则、一个或多个程序模块和其他可执行指令。电子处理器105被配置成从存储器110进行检索并除其他以外执行与本文描述的控制过程和方法相关的软件。
存储器110可以包括一个或多个非瞬变计算机可读介质，且包括程序储存区域和数据储存区域。程序储存区域和数据储存区域可以包括不同类型的存储器的组合，如本文所描述的那样。存储器110可以采取任何非瞬变计算机可读介质的形式。
输入/输出接口115被配置成经由一个或多个用户输入设备或接口来接收输入，并经由一个或多个用户输出设备来提供系统输出。输入/输出接口115从车辆405内部和外部两者的设备获得信息和信号，以及将信息和信号提供给车辆405内部和外部两者的设备（例如，在一个或多个有线和/或无线连接上）。输入/输出接口115耦合到该多个传感器120。该多个传感器120提供到输入/输出接口115的输入。该多个传感器120包括遍及车辆405定位的不同类型的传感器。该多个传感器130被安装在车辆405外部和附近的基础设施上。该多个传感器120和该多个传感器130可以包括但不限于雷达（radar）传感器、激光雷达（lidar）传感器、图像传感器、超声传感器或其他合适传感器。应当理解，该多个传感器120和130中的每一个可以包括相同类型的多于一个传感器。
为了易于描述，将该多个传感器120描述为具有重叠视野（该视野是在其中相应传感器正在进行监视的车辆405的周围环境的区域）。另外，为了易于描述且为了避免冗余描述，下面仅描述该多个传感器120。然而，下面的描述不限于该多个传感器120，而是等同地适用于该多个传感器120和该多个传感器130的组合，其中该多个传感器120和该多个传感器130组合以形成更多个传感器。
如下面更详细描述的那样，在其中该多个传感器120中的每一个的视野重合的该重叠区域被称作“公共视野”。系统100还可以包括与本文描述的该多个传感器120分离（但类似）的附加传感器，其共享不同的公共视野。传感器的视野的范围取决于该传感器的配置。因此，该多个传感器120可以具有不同大小（和深度）的视野。
在一些实施例中，收发器125被配置用于无线耦合到无线网络。可替换地或另外，车辆405可以包括用于接收到有线网络（例如，以太网）的连接的连接器或端口（未示出）。电子处理器105被配置成操作收发器125以从其接收输入并提供系统输出或者全部两者的组合。收发器125从车辆405内部和外部两者的设备（在一些实施例中，包括从通信控制器）获得信息和信号，以及将信息和信号提供给车辆405内部和外部两者的设备。
在一些实施例中，收发器125可以从在车辆405附近和外部的基础设施上安装的多个传感器130获得信息和信号，以及将信息和信号提供给在车辆405附近和外部的基础设施上安装的多个传感器130。在这些实施例中，收发器125被配置成与车联万物（V2X）无线网络进行通信。
在其他实施例中，收发器125可以从在车辆405附近和外部的其他车辆上安装的多个传感器130获得信息和信号，以及将信息和信号提供给在车辆405附近和外部的其他车辆上安装的多个传感器130。在这些实施例中，收发器125被配置成与V2X无线网络和/或车辆到车辆（V2V）无线网络进行通信。
图2根据一些实施例图示了由自动驾驶系统实现的过程模型200。为了易于描述，应当按照图1的系统100（特别地，电子处理器105）描述模型200。如上所描述，自动驾驶系统100从该多个传感器120接收信息（传感器测量205）。车辆405周围的环境内的（一个或多个）对象可以由通过来自该多个传感器120的数据的融合（框210）而形成的自动驾驶系统100确定。
确定对象可以包括不仅确定对象相对于车辆405的位置，而且确定对象相对于车辆405的移动的速度和方向中的一个或多个，并识别对象是什么（对象分类）（例如，辨别对象是汽车、摩托车、人还是自行车）。上面描述的对象的一个或多个属性的确定在本文中统称为“对象状态”。基于对象状态，由电子处理器105执行的功能确定是否应当存在对对象的反应以及对对象的反应应当是什么（输出220）。
传感器信息的融合（框210）涉及由电子处理器105执行的一个或多个预测模型、人工智能、深度学习和/或对象跟踪过程（框215）。在对象跟踪过程中，当利用来自多个传感器/源的信息时，多于一个可能对象状态可以由电子处理器105确定。每一个可能状态（这里是基于来自任何数目和类型的传感器120的信息来确定的）被称作关联假设。对象状态然后由电子处理器105基于关联假设来确定。关联假设（以及因此，所确定的对象状态）由电子处理器105基于从传感器120接收到的新信息来周期性地（每一个周期被称作循环）监视和更新。
用于随时间利用和管理多个关联假设的一些途径包括例如多假设跟踪（MHT）和随机有限集合（RFS）过程，其包括标签多伯努利（LMB）滤波器。尽管多个关联假设允许跟踪中的鲁棒性，但一个传感器中的误差（尤其是在错误的但似乎合理的测量的情况下）可能不是立即确定的。这可能是尤其针对单个传感器中的系统误差（例如，由于不正确校准、因所检测到的表面的反射的角度读取误差、由深度学习对具体对象的不正确测量等而引起）的情况。这种误差可能导致对所确定的对象状态的不正确更新，且可能导致跟踪丢失。因此，系统100可以执行由于更新而引起的不正确车辆操控。
上面提及的途径能够基于随时间的后续测量来整理出错误假设。特别地，通过摆脱（删减）包含错误跟踪到测量关联（随机误差）的假设、同时保持随时间的若干个其他假设来改进跟踪性能。用于保持假设的数目可行的方法是通过在删减不太可能的假设的同时合并类似假设。然而，在系统误差（像上面描述的那些）的情况下，上面提及的途径可能不检测这种受影响的假设。
如本文所使用，“误差”可能是关于传感器的问题（通常地，传感器故障），诸如未对准，或者“误差”可能是误检测（其可能是丢失或从现实的偏移或类似情况）。误检测是预期的，且可能难以与传感器故障区分开。通常，当传感器同时具有针对大多数跟踪的误差或者传感器随故障成熟化时间针对大多数跟踪而丢失时，将报告传感器故障。
图3是根据一些实施例的图示了在车辆周围的环境中确定对象的示例方法300的流程图。方法300对抗全部两种类型的上面提及的“误差”而言是鲁棒的，这是因为即使在存在未检测到的个体传感器误差时，方法300也构建起不同假设。
作为示例，方法300被描述为由系统100执行以及特别地由电子处理器105执行。然而，应当理解，在一些实施例中，方法300的部分可以由其他设备执行。
为了易于描述，结合图4进一步描述方法300。图4图示了车辆405和对象415（在所图示的实施例中，汽车）。对象415邻近于（在周围的环境内）车辆405。如上所提及，该多个传感器120中的每一个具有在其中它们进行监视的视野。在所图示的实施例中，例如，视野410A对应于该多个传感器120中的第一传感器120A，并且视野410B对应于该多个传感器120中的第二传感器120B。在其中两者相交的区域被称作公共视野410C。为了易于描述，按照第一和第二传感器120A和120B描述公共视野410C。应当理解，在进一步的实施例中，更多传感器可以基于它们相应的视野而与公共视野410C相关联。
返回到图3，在框305处，电子处理器105从该多个传感器120接收公共视野（例如，公共视野410C）的环境信息。如上所提及，该多个传感器120包括各种类型的传感器，其包括但不限于雷达传感器、图像传感器、激光雷达传感器和其他合适传感器。因此，可以在不同介质（例如基于图像的、基于超声的等）中捕获从该多个传感器120接收到的环境信息。
在框310处，电子处理器105基于环境信息来生成与公共视野（例如，公共视野410C）内的对象（例如，图4的对象415）有关的多个假设。该多个假设包括使用除来自至少一个传感器的环境信息外的所接收到的环境信息而确定的至少一个假设集合。换言之，使用来自除该多个传感器120中的至少一个外的所有多个传感器120的环境信息来生成假设。因此，在存在或检测到与该至少一个传感器相关联的误差的情况下，存在未受由该至少一个传感器执行的任何错误/不准确测量影响的至少一个假设集合。
例如，为了检测与第一传感器类型的该至少一个传感器相关联的误差，电子处理器105可以被配置成：在基于从该多个假设接收到的附加环境信息来随时间更新该多个假设的同时，检测该多个假设中的第二假设从该多个假设中的第一假设的发散。下面关于图5更详细地描述该误差检测。
在框315处，电子处理器105基于该多个假设的子集来确定对象415的对象状态，该子集包括使用除来自至少一个传感器的环境信息外的所接收到的环境信息而确定的假设。换言之，电子处理器105能够确定对象状态而不取决于错误测量。
在框320处，电子处理器105基于所确定的对象状态来执行车辆操控。车辆操控包括：基于所确定的对象状态来操纵和/或影响车辆405的速度（加速/制动）。例如，在图4中，对象415的所确定的对象状态可以是：对象415是左车道中的车辆，以每小时x英里直线驾驶。电子处理器105可以相应地控制车辆405保持停止在右车道中且仅在对象415已经经过车辆405之后并线到左车道中。由电子处理器105基于所确定的对象状态对车辆操控的确定可以是使用一个或多个自动驾驶技术来执行的，为了简洁，这里不讨论该一个或多个自动驾驶技术。
在一些实施例中，针对每个传感器确定附加假设，该传感器中的每一个排除从相应传感器接收到的信息。在进一步的实施例中，计算下述附加假设：该附加假设排除来自该多个传感器120中的属于相同传感器类型的一个或多个传感器的信息。例如，该多个传感器120的传感器类型可以包括雷达、视频和激光雷达的组合。因此，电子处理器105将确定“无雷达信息”假设、“无视频信息”假设和“无激光雷达信息”假设，连同并入有来自该多个传感器120中的所有传感器的测量结果的假设。
另外或可替换地，在一些示例中，该多个传感器120可以包括传感器类型的组合或单个传感器类型（例如，仅激光雷达、仅雷达或仅视频）。在这些示例中，电子处理器105可以确定“no_lidar1”假设、“no_lidar2”假设和“no_lidar3”假设，连同并入有来自该多个传感器120中的所有传感器的测量结果的假设。因此，响应于检测到与任一个传感器（或类型）相关联的误差，可以在对象状态的确定中利用未基于来自（一个或多个）有缺陷传感器的信息而确定的（一个或多个）假设（同时可以从对象状态的确定中排除受影响和/或基于这种信息的假设中的一个或多个）。简言之，电子处理器105可以基于排除来自传感器类型的环境信息的假设或者在更高粒度级别处基于排除来自具体有缺陷传感器的环境信息的假设来确定对象状态。
在对象的跟踪的混合物表示内（例如，在LMB滤波器的情况下），可以通过存储被并入混合物分布的每一个分量中的传感器类型并避免具体分量的删减和合并而不论权重和到其他状态分量的距离如何，来应用方法300。为了节约存储器和计算负荷，在一些实施例中，电子处理器105将标记（例如，“consistent_with_no_radar（与无雷达一致）”）指派给其关联传感器测量（这里，雷达）具有非常高可能性的分量。在高斯分布的状态的情况下，这对应于非常小的马氏（Mahalanobis）距离，该马氏距离对应于预期测量和实际测量几乎相同这一事实。在一些实施例中，电子处理器105进一步被配置成基于所检测到的误差来确定传感器退化。特别地，LMB（如果分量被简化到针对每一个高斯混合物分布的一个单个对象，则该LMB可以被简化到伯努利分布）的不同状态分量的状态估计之间的距离可以被用作用于传感器退化识别的特征。用于识别这一点的可能方式是时间序列分析或者多于两个传感器的永久偏离。
图5是使用第一传感器类型和第二传感器类型（例如，分别为雷达和激光雷达）的随时间的混合物分布500（被图示为左到右增加）的图示。在时间步骤A处，两个传感器类型的测量结果彼此一致，并且因此，它们相应的多个假设501A和501B重合（被图示为重叠的圆）。在时间步骤B处，接收来自第一传感器类型的测量结果502A（被标示为白色的星）。测量结果502A与第二传感器类型的假设501B不冲突，并且因此，全部两个传感器类型的假设继续在时间步骤B处重合。在时间步骤C处，来自第二传感器类型的测量结果（该测量结果被图示为黑色的星503A）使第二传感器类型的假设501B偏离于第一传感器类型的假设501A。由于第一传感器类型的假设的部分排除来自第二传感器类型的信息，因此时间步骤C处的重叠假设可能未被合并，并且时间步骤D处的非常不可能的假设501A（其可能性由于被标示为星503B的第二传感器类型的第二所接收到的测量结果而降低）未被删减。在步骤E处，并入有来自第一传感器的新测量结果（星502B），并且第一传感器类型的假设501A因而未受在第二传感器类型中经历的系统误差影响。
以下是根据本公开的各种方面的系统、方法和非瞬变计算机可读介质的所列举的示例。
示例1：一种车辆的自动驾驶系统，所述系统包括：多个传感器；存储器；以及通信耦合到所述存储器和所述多个传感器的电子处理器，所述电子处理器被配置成：从所述多个传感器接收公共视野的环境信息；基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及基于所确定的对象状态来执行车辆操控。
示例2：如示例1所述的自动驾驶系统，其中所述电子处理器进一步被配置成：基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
示例3：如示例2所述的自动驾驶系统，其中所述电子处理器进一步被配置成检测与所述第一传感器类型的所述至少一个传感器相关联的误差，并且其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
示例4：如示例1至3中任一项所述的自动驾驶系统，其中所述多个传感器包括从由下述各项构成的组中选择的两个或更多个传感器：一个或多个雷达传感器、一个或多个激光雷达传感器、一个或多个图像传感器以及一个或多个超声传感器。
示例5：如示例1至4中任一项所述的自动驾驶系统，其中所述多个传感器中的第一传感器是雷达传感器，并且其中所述多个传感器中的第二传感器是激光雷达传感器。
示例6：如示例5所述的自动驾驶系统，其中基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合，所述电子处理器进一步被配置成：至少部分地基于从所述雷达传感器和所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第一假设集合；至少部分地基于从所述雷达传感器接收到的环境信息而不基于从所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第二假设集合；以及至少部分地基于从所述激光雷达传感器接收到的环境信息而不基于从所述雷达传感器接收到的环境信息，来生成所述多个假设的第三假设集合。
示例7：如示例6所述的自动驾驶系统，其中基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合，所述电子处理器进一步被配置成：基于所述第三假设集合来确定所述对象的对象状态。
示例8：如示例1至7中任一项所述的自动驾驶系统，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
示例9：一种操作自动驾驶系统的方法，所述方法包括：利用电子处理器从多个传感器接收公共视野的环境信息；利用所述电子处理器基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；利用所述电子处理器基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及利用所述电子处理器基于所确定的对象状态来执行车辆操控。
示例10：如示例9所述的方法，进一步包括：利用所述电子处理器基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
示例11：如示例10所述的方法，进一步包括：利用所述电子处理器检测与所述第一传感器类型的所述至少一个传感器相关联的误差，其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
示例12：如示例9至11中任一项所述的方法，其中所述多个传感器包括从由下述各项构成的组中选择的两个或更多个传感器：一个或多个雷达传感器、一个或多个激光雷达传感器、一个或多个图像传感器以及一个或多个超声传感器。
示例13：如示例9至12中任一项所述的方法，其中所述多个传感器中的第一传感器是雷达传感器，并且其中所述多个传感器中的第二传感器是激光雷达传感器。
示例14：如示例13所述的方法，其中基于所述环境信息来生成与所述公共视野内的对象有关的多个假设进一步包括：至少部分地基于从所述雷达传感器和所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第一假设集合；至少部分地基于从所述雷达传感器接收到的环境信息而不基于从所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第二假设集合；以及至少部分地基于从所述激光雷达传感器接收到的环境信息而不基于从所述雷达传感器接收到的环境信息，来生成所述多个假设的第三假设集合。
示例15：如示例14所述的方法，其中基于所述多个假设的子集来确定所述对象的对象状态、其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合进一步包括：基于所述第三假设集合来确定所述对象的对象状态。
示例16：如示例9至15中任一项所述的方法，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
示例17：一种包括指令的非瞬变计算机可读介质，所述指令在由电子处理器执行时使所述电子处理器执行操作集合，所述操作集合包括：从多个传感器接收公共视野的环境信息；基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及基于所确定的对象状态来执行车辆操控。
示例18：如示例17所述的非瞬变计算机可读介质，其中所述操作集合进一步包括：基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
示例19：如示例18所述的非瞬变计算机可读介质，其中所述操作集合进一步包括：检测与所述第一传感器类型的所述至少一个传感器相关联的误差，其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
示例20：如示例17至19中任一项所述的非瞬变计算机可读介质，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
示例21：一种监控系统，该系统包括：多个传感器；存储器；以及通信耦合到所述存储器和所述多个传感器的电子处理器，所述电子处理器被配置成：从所述多个传感器接收公共视野的环境信息；基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及基于所确定的对象状态来跟踪所述对象。
示例22：如示例21所述的监控系统，其中所述电子处理器进一步被配置成：基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
示例23：如示例22所述的监控系统，其中所述电子处理器进一步被配置成检测与所述第一传感器类型的所述至少一个传感器相关联的误差，并且其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
示例24：如示例21至23中任一项所述的监控系统，其中所述多个传感器包括从由下述各项构成的组中选择的两个或更多个传感器：一个或多个雷达传感器、一个或多个激光雷达传感器、一个或多个图像传感器以及一个或多个超声传感器。
示例25：如示例21至24中任一项所述的监控系统，其中所述多个传感器中的第一传感器是雷达传感器，并且其中所述多个传感器中的第二传感器是激光雷达传感器。
示例26：如示例25所述的监控系统，其中基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合，所述电子处理器进一步被配置成：至少部分地基于从所述雷达传感器和所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第一假设集合；至少部分地基于从所述雷达传感器接收到的环境信息而不基于从所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第二假设集合；以及至少部分地基于从所述激光雷达传感器接收到的环境信息而不基于从所述雷达传感器接收到的环境信息，来生成所述多个假设的第三假设集合。
示例27：如示例26所述的监控系统，其中基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合，所述电子处理器进一步被配置成：基于所述第三假设集合来确定所述对象的对象状态。
示例28：如示例21至27中任一项所述的监控系统，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
示例29：一种操作监控系统的方法，所述方法包括：利用电子处理器从多个传感器接收公共视野的环境信息；利用所述电子处理器基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；利用所述电子处理器基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及利用所述电子处理器基于所确定的对象状态来跟踪所述对象。
示例30：如示例29所述的方法，进一步包括：利用所述电子处理器基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
示例31：如示例30所述的方法，进一步包括：利用所述电子处理器检测与所述第一传感器类型的所述至少一个传感器相关联的误差，其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
示例32：如示例29至31中任一项所述的方法，其中所述多个传感器包括从由下述各项构成的组中选择的两个或更多个传感器：一个或多个雷达传感器、一个或多个激光雷达传感器、一个或多个图像传感器以及一个或多个超声传感器。
示例33：如示例29至32中任一项所述的方法，其中所述多个传感器中的第一传感器是雷达传感器，并且其中所述多个传感器中的第二传感器是激光雷达传感器。
示例34：如示例33所述的方法，其中基于所述环境信息来生成与所述公共视野内的对象有关的多个假设进一步包括：至少部分地基于从所述雷达传感器和所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第一假设集合；至少部分地基于从所述雷达传感器接收到的环境信息而不基于从所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第二假设集合；以及至少部分地基于从所述激光雷达传感器接收到的环境信息而不基于从所述雷达传感器接收到的环境信息，来生成所述多个假设的第三假设集合。
示例35：如示例34所述的方法，其中基于所述多个假设的子集来确定所述对象的对象状态、其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合进一步包括：基于所述第三假设集合来确定所述对象的对象状态。
示例36：如示例29至35中任一项所述的方法，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
示例37：一种包括指令的非瞬变计算机可读介质，所述指令在由电子处理器执行时使所述电子处理器执行操作集合，所述操作集合包括：从多个传感器接收公共视野的环境信息；基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及基于所确定的对象状态来跟踪所述对象。
示例38：如示例37所述的非瞬变计算机可读介质，其中所述操作集合进一步包括：基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
示例39：如示例38所述的非瞬变计算机可读介质，其中所述操作集合进一步包括：检测与所述第一传感器类型的所述至少一个传感器相关联的误差，其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
示例40：如示例37至39中任一项所述的非瞬变计算机可读介质，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
在前述说明书中，已经描述了具体实施例。然而，本领域技术人员领会，在不脱离如所附权利要求中阐述的本发明范围的情况下可以作出各种修改和改变。相应地，说明书和附图应在说明性意义上看待，而不是在限制性意义上看待，并且所有这种修改意在被包括在目前教导的范围内。
益处、优势、对问题的解决方案以及可使任何益处、优势或解决方案出现或变得更显著的（一个或多个）任何要素不应被理解为任何或所有权利要求的关键、所必需或实质的特征或要素。本发明仅由包括在如所发布的那些权利要求的本申请和所有等同物未决期间作出的任何修改的所附权利要求来限定。
此外，在本文档中，诸如第一和第二、顶和底等等之类的关系术语可以仅用于将一个实体或动作与另一实体或动作区分开，而不必然要求或暗示这种实体或动作之间的任何实际的这种关系或次序。术语“涵盖”、“涵盖着”、“具有”、“具有着”、“包括”、“包括着”、“包含”、“包含着”或其任何其他变型意在覆盖非排他的包括，使得涵盖、具有、包括、包含要素列表的过程、方法、物件或装置不仅包括那些要素，而且可以包括未明确列出或者对这种过程、方法、物件或装置来说固有的其他要素。在没有更多约束的情况下，“涵盖”、“具有”、“包括”、“包含”所继续的要素不排除在涵盖、具有、包括、包含该要素的过程、方法、物件或装置中存在附加相同要素。术语“一”和“一个”被定义为一个或多个，除非本文以其他方式明确声明。术语“基本上”、“实质上”、“近似”、“大约”或其任何其他版本被定义为接近于如本领域技术人员所理解的那样，并且在一个非限制性实施例中，该术语被定义为处于10%内，在另一实施例中，处于5%内，在另一实施例中，处于1%内，并且在另一实施例中，处于0.5%内。如本文所使用的术语“耦合”被定义为连接，尽管不必然直接连接且不必然机械连接。以某种方式“配置”的设备或结构以至少该方式配置，但也可以以未列出的方式配置。
应当领会，一些实施例可以由一个或多个通用或专用处理器（或“处理设备”）组成，该一个或多个通用或专用处理器诸如是微处理器、数字信号处理器、定制处理器和现场可编程门阵列（FPGA）、以及控制该一个或多个处理器结合某些非处理器电路实现本文描述的方法和/或装置的功能中的一些、大多数或全部的独特存储程序指令（包括软件和固件两者）。可替换地，一些或全部功能可以由状态机实现或者在一个或多个专用集成电路（ASIC）中实现，该状态机不具有所存储的程序指令，在该一个或多个专用集成电路（ASIC）中，每一个功能或某些功能的一些组合被实现为定制逻辑。当然，可以使用两种途径的组合。
此外，实施例可以被实现为在其上存储有计算机可读代码的计算机可读储存介质，该计算机可读代码用于将计算机（例如，包括处理器）编程成执行如本文描述和要求保护的方法。这种计算机可读储存介质的示例包括但不限于硬盘、CD-ROM、光学储存设备、磁储存设备、ROM（只读存储器）、PROM（可编程只读存储器）、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）和闪速存储器。进一步预期，尽管由例如可用时间、当前技术和经济考虑促使出可能显著的努力和许多设计选择，但本领域技术人员在被本文公开的构思和原理引导时将能够容易地利用最少实验生成这种软件指令和程序和IC。
本公开的摘要被提供以允许读者快速弄清技术公开的本质。它是在理解它不会用于解释或限制权利要求的范围或含义的情况下提交的。在前述具体实施方式中，可以看出，出于精简本公开的目的，在各种实施例中将各种特征成组在一起。该公开方法不应被解释为反映要求保护的实施例要求比在每一个权利要求中明确记载的特征更多的特征这一意图。相反，如所附权利要求所反映，发明主题在于单个所公开的实施例的并非所有特征。因此，所附权利要求特此并入到具体实施方式中，其中每一个权利要求独立地作为分别要求保护的主题。

Claims (20)

1.一种车辆的自动驾驶系统，所述系统包括：
多个传感器；
存储器；以及
通信耦合到所述存储器和所述多个传感器的电子处理器，所述电子处理器被配置成：
从所述多个传感器接收公共视野的环境信息；
基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；
基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及
基于所确定的对象状态来执行车辆操控。
2.如权利要求1所述的自动驾驶系统，其中所述电子处理器进一步被配置成：基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
3.如权利要求2所述的自动驾驶系统，其中所述电子处理器进一步被配置成检测与所述第一传感器类型的所述至少一个传感器相关联的误差，并且其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
4.如权利要求1所述的自动驾驶系统，其中所述多个传感器包括从由下述各项构成的组中选择的两个或更多个传感器：
一个或多个雷达传感器；
一个或多个激光雷达传感器；
一个或多个图像传感器；以及
一个或多个超声传感器。
5.如权利要求1所述的自动驾驶系统，其中所述多个传感器中的第一传感器是雷达传感器，并且其中所述多个传感器中的第二传感器是激光雷达传感器。
6.如权利要求5所述的自动驾驶系统，其中基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合，所述电子处理器进一步被配置成：
至少部分地基于从所述雷达传感器和所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第一假设集合；
至少部分地基于从所述雷达传感器接收到的环境信息而不基于从所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第二假设集合；以及
至少部分地基于从所述激光雷达传感器接收到的环境信息而不基于从所述雷达传感器接收到的环境信息，来生成所述多个假设的第三假设集合。
7.如权利要求6所述的自动驾驶系统，其中基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合，所述电子处理器进一步被配置成：基于所述第三假设集合来确定所述对象的对象状态。
8.如权利要求1所述的自动驾驶系统，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
9.一种操作自动驾驶系统的方法，所述方法包括：
利用电子处理器从多个传感器接收公共视野的环境信息；
利用所述电子处理器基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；
利用所述电子处理器基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及
利用所述电子处理器基于所确定的对象状态来执行车辆操控。
10.如权利要求9所述的方法，进一步包括：
利用所述电子处理器基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
11.如权利要求10所述的方法，进一步包括：
利用所述电子处理器检测与所述第一传感器类型的所述至少一个传感器相关联的误差，
其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
12.如权利要求9所述的方法，其中所述多个传感器包括从由下述各项构成的组中选择的两个或更多个传感器：
一个或多个雷达传感器；
一个或多个激光雷达传感器；
一个或多个图像传感器；以及
一个或多个超声传感器。
13.如权利要求9所述的方法，其中所述多个传感器中的第一传感器是雷达传感器，并且其中所述多个传感器中的第二传感器是激光雷达传感器。
14.如权利要求13所述的方法，其中基于所述环境信息来生成与所述公共视野内的对象有关的多个假设进一步包括：
至少部分地基于从所述雷达传感器和所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第一假设集合；
至少部分地基于从所述雷达传感器接收到的环境信息而不基于从所述激光雷达传感器接收到的环境信息，来生成所述多个假设的第二假设集合；以及
至少部分地基于从所述激光雷达传感器接收到的环境信息而不基于从所述雷达传感器接收到的环境信息，来生成所述多个假设的第三假设集合。
15.如权利要求14所述的方法，其中基于所述多个假设的子集来确定所述对象的对象状态、其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合进一步包括：基于所述第三假设集合来确定所述对象的对象状态。
16.如权利要求9所述的方法，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
17.一种包括指令的非瞬变计算机可读介质，所述指令在由电子处理器执行时使所述电子处理器执行操作集合，所述操作集合包括：
从多个传感器接收公共视野的环境信息；
基于所述环境信息来生成与所述公共视野内的对象有关的多个假设，所述多个假设包括排除来自第一传感器类型的至少一个传感器的环境信息的至少一个假设集合；
基于所述多个假设的子集来确定所述对象的对象状态，其中所述子集包括排除来自所述第一传感器类型的所述至少一个传感器的环境信息的至少一个假设集合；以及
基于所确定的对象状态来执行车辆操控。
18.如权利要求17所述的非瞬变计算机可读介质，其中所述操作集合进一步包括：基于从所述多个传感器接收到的附加环境信息来随时间更新所述多个假设。
19.如权利要求18所述的非瞬变计算机可读介质，其中所述操作集合进一步包括：检测与所述第一传感器类型的所述至少一个传感器相关联的误差，其中基于所述多个假设的子集来确定所述对象的对象状态响应于检测到与所述第一传感器类型的所述至少一个传感器相关联的误差。
20.如权利要求17所述的非瞬变计算机可读介质，其中所述子集包括其他假设，所述其他假设包括来自所述第一传感器类型的其他传感器的环境信息。
CN202010482859.6A 2019-05-30 2020-06-01 用于自动驾驶系统的冗余环境感知跟踪 Active CN112009467B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962854804P 2019-05-30 2019-05-30
US62/854804 2019-05-30

Publications (2)

Publication Number Publication Date
CN112009467A true CN112009467A (zh) 2020-12-01
CN112009467B CN112009467B (zh) 2023-10-31

Family

ID=73264906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482859.6A Active CN112009467B (zh) 2019-05-30 2020-06-01 用于自动驾驶系统的冗余环境感知跟踪

Country Status (3)

Country Link
US (2) US10981568B2 (zh)
CN (1) CN112009467B (zh)
DE (1) DE102020206660A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113501008A (zh) * 2021-08-12 2021-10-15 东风悦享科技有限公司 一种基于强化学习算法的自动驾驶行为决策方法
CN114056351A (zh) * 2021-11-26 2022-02-18 文远苏行(江苏)科技有限公司 自动驾驶方法及装置
CN114084129A (zh) * 2021-10-13 2022-02-25 武汉光庭信息技术股份有限公司 一种基于融合的车辆自动驾驶控制方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11555910B2 (en) * 2019-08-02 2023-01-17 Motional Ad Llc Merge-split techniques for sensor data filtering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
US8565481B1 (en) * 2011-05-26 2013-10-22 Google Inc. System and method for tracking objects
CN104502900A (zh) * 2015-01-13 2015-04-08 武汉大学 一种单频网雷达多目标跟踪方法
US20170075355A1 (en) * 2015-09-16 2017-03-16 Ford Global Technologies, Llc Vehicle radar perception and localization
CN109291929A (zh) * 2017-07-24 2019-02-01 通用汽车环球科技运作有限责任公司 用于自动驾驶系统的深度集成融合架构

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774158B2 (en) * 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
DE102005002504A1 (de) 2005-01-19 2006-07-27 Robert Bosch Gmbh Fahrerassistenzsystem mit Fahrschlauchprädiktion
EP2005361A1 (de) 2006-03-22 2008-12-24 Daimler AG Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
EP3832419A1 (en) * 2016-12-23 2021-06-09 Mobileye Vision Technologies Ltd. Navigational system with imposed constraints
US10109198B2 (en) 2017-03-08 2018-10-23 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
US10754033B2 (en) 2017-06-30 2020-08-25 Waymo Llc Light detection and ranging (LIDAR) device range aliasing resilience by multiple hypotheses
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US20190050653A1 (en) 2018-09-28 2019-02-14 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
DE102018220892A1 (de) * 2018-12-04 2020-06-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur Generierung von Labelobjekten für die Umgebung eines Fahrzeugs
US20190126922A1 (en) 2018-12-27 2019-05-02 Intel Corporation Method and apparatus to determine a trajectory of motion in a predetermined region
US20210009121A1 (en) * 2020-09-24 2021-01-14 Intel Corporation Systems, devices, and methods for predictive risk-aware driving

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565481B1 (en) * 2011-05-26 2013-10-22 Google Inc. System and method for tracking objects
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
CN104502900A (zh) * 2015-01-13 2015-04-08 武汉大学 一种单频网雷达多目标跟踪方法
US20170075355A1 (en) * 2015-09-16 2017-03-16 Ford Global Technologies, Llc Vehicle radar perception and localization
CN106546977A (zh) * 2015-09-16 2017-03-29 福特全球技术公司 车辆雷达感知和定位
CN109291929A (zh) * 2017-07-24 2019-02-01 通用汽车环球科技运作有限责任公司 用于自动驾驶系统的深度集成融合架构

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113501008A (zh) * 2021-08-12 2021-10-15 东风悦享科技有限公司 一种基于强化学习算法的自动驾驶行为决策方法
CN113501008B (zh) * 2021-08-12 2023-05-19 东风悦享科技有限公司 一种基于强化学习算法的自动驾驶行为决策方法
CN114084129A (zh) * 2021-10-13 2022-02-25 武汉光庭信息技术股份有限公司 一种基于融合的车辆自动驾驶控制方法及系统
CN114056351A (zh) * 2021-11-26 2022-02-18 文远苏行(江苏)科技有限公司 自动驾驶方法及装置
CN114056351B (zh) * 2021-11-26 2024-02-02 文远苏行(江苏)科技有限公司 自动驾驶方法及装置

Also Published As

Publication number Publication date
US20200377086A1 (en) 2020-12-03
CN112009467B (zh) 2023-10-31
US11613255B2 (en) 2023-03-28
DE102020206660A1 (de) 2020-12-03
US20210213944A1 (en) 2021-07-15
US10981568B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
CN112009467B (zh) 用于自动驾驶系统的冗余环境感知跟踪
US11941985B2 (en) Vehicular environment estimation device
US9630625B2 (en) Apparatus and method for identifying surrounding vehicles
CN110796007B (zh) 场景识别的方法与计算设备
CN110867132B (zh) 环境感知的方法、装置、电子设备和计算机可读存储介质
CN112009468A (zh) 用于自动驾驶系统的多假设物体跟踪
US20220348211A1 (en) Method and Assistance Device for Assisting Driving Operation of a Motor Vehicle, and Motor Vehicle
CN115146694A (zh) 基于历史的不相容跟踪的标识
CN116022168A (zh) Ads感知系统感知的自由空间验证
JP6820762B2 (ja) 位置推定装置
US11912290B2 (en) Self-position estimation accuracy verification method and self-position estimation system
US20220327317A1 (en) Apparatus and method for predicting trajectory of surrounding vehicle
CN114466779B (zh) 在周围区域中定位车辆的方法和设备
CN112739599B (zh) 一种车辆变道行为识别方法及装置
CN113168763B (zh) 用于检查车辆的至少半自主行驶运行的方法、装置和介质
CN113442940A (zh) 监视用于识别车辆环境的车辆系统的方法
US20200370893A1 (en) Device and method for compensating for route of autonomous vehicle
US20230401841A1 (en) Abnormality determination apparatus, abnormality determination system, abnormality determination method and non-transitory computer-readable recording medium storing abnormality determination program
CN114902071A (zh) 用于抑制环境传感器的不确定性测量数据的方法
CN112818727A (zh) 一种道路约束确定方法及装置
US20230182728A1 (en) Collision determination apparatus, collision determination method, collision avoidance system
US20230227042A1 (en) Method for determining the reliability of objects
US20230176183A1 (en) V2x for sensor cross checks and diagnosis
CN113168774B (zh) 与位于陆地机动车辆附近的空间的一部分有关的占据参数的当前值的确定方法
US20230112318A1 (en) Ad or adas aided maneuvering of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant