CN113835408A - 用于自主驾驶交通工具的稳健多模态传感器融合 - Google Patents

用于自主驾驶交通工具的稳健多模态传感器融合 Download PDF

Info

Publication number
CN113835408A
CN113835408A CN202011510549.7A CN202011510549A CN113835408A CN 113835408 A CN113835408 A CN 113835408A CN 202011510549 A CN202011510549 A CN 202011510549A CN 113835408 A CN113835408 A CN 113835408A
Authority
CN
China
Prior art keywords
uncertainty
distribution data
neural networks
distribution
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011510549.7A
Other languages
English (en)
Inventor
N·阿户加
I·J·阿尔瓦雷兹
R·克里希南
I·J·恩迪乌尔
M·苏比达尔
O·提科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113835408A publication Critical patent/CN113835408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/026—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Traffic Control Systems (AREA)
  • Feedback Control In General (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及用于自主驾驶交通工具的稳健多模态传感器融合。公开了用于使用神经网络架构来估计预测不确定性度量的技术，该不确定性度量量化了应该对深度神经网络(DNN)结果放置多少信任。该技术包括测量神经网络的可靠的不确定性得分，该不确定性得分被广泛用于自动驾驶中的感知和决策任务。不确定性测量是针对模型不确定性和数据不确定性两者进行的，可以实现贝叶斯神经网络或其他类型的神经网络。

Description

用于自主驾驶交通工具的稳健多模态传感器融合
技术领域
本公开总体上涉及用于实现自主交通工具的多模态传感器融合的技术，并且具体地涉及使用神经网络相对于传感器和模型数据的不确定性进行建模和估计以提供可靠的和稳健的结果。
背景技术
自主交通工具(AV)配备有各种感测模态(诸如相机、光检测和测距(LIDAR)、雷达等)以感测其操作的环境。由这些传感器捕获的数据固有地是有噪声的并且是不确定的。具有一种用于融合这些多个模态的稳健机制是重要的，因为它可以帮助克服任何单个模态中的错误或故障。
附图说明
结合到本说明书并构成本说明书的一部分的附图图示本公开的各个方面，并且与说明书一起，进一步用于解释各个方面的原理，并使相关领域的技术人员能够制造和使用各个方面。
图1图示出根据本公开的各方面的用于实现更安全的驾驶控制和路径规划的示例架构。
图2图示出根据本公开的各个方面应用于活动识别的示例贝叶斯多模态融合框架示例。
图3图示出根据本公开的各个方面的使用拟合到每个层处的特征向量的每类参数分布的示例训练阶段。
图4图示出根据本公开的各方面的使用计算出的特征相对于经拟合的分布的可能性来推导出每层不确定性得分(最小对数似然)的示例推断阶段。
图5图示出根据本公开的各个方面的示出来自三种不同密度函数的AUPR得分的表。
图6图示出根据本公开的各个方面的示出来自三种不同密度函数的AUROC得分的表。
将参照附图描述本公开的示例性方面。其中要素第一次出现的附图通常由对应的附图标记中最左面的(多个)数字指示。
具体实施方式
在下面的描述中，阐述了众多具体细节以便提供对本公开的各个方面的完全理解。然而，对本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践各个方面，所描述各个方面包括结构、系统和方法。本文的描述和表示是由本领域的经验/技术人员使用来向本领域其他技术人员最有效地传递其工作的实质的手段。在其他实例中，未详细地描述公知的方法、过程、组件、和电路，以避免不必要地使本公开的各个方面变得模糊。
如上所述，对于AV而言，重要的是具有用于融合各种模态(例如传感器输入数据)的稳健机制，以确保安全和高效的AV操作。本文所描述的各方面的关注点是关于DNN估计预测不确定性度量的能力，该不确定性度量量化了应该置于DNN结果多少信任。常规地，深度神经网络(DNN)已被实现用于模态融合以实现AV中的感知(检测和分类)。然而，DNN不能为其输出提供可靠的置信度得分。最流行使用的得分是Softmax，Softmax会导致过度自信的预测是已知的，特别是当输入与训练数据不相似(分布外(OOD))时，或者已经被制作成攻击和“愚弄”网络。
因此，本文所描述的各方面是针对用于测量DNN的可靠不确定性得分的技术，DNN被广泛用于AV中的感知和决策任务。本文所描述的各方面被分为两个不同的部分，它们以两种不同的方式在该上下文中执行不确定性测量。下面将简要介绍这些部分中每个部分的内容，其中附加的细节在每个相应的部分中被介绍。
在第I节中，讨论了与针对自主交通工具(AV)应用使用不确定性感知多模态贝叶斯融合框架有关的各方面。在这些方面中，贝叶斯DNN被使用以对每个模态的传感数据进行建模和估计不确定性。然后，在融合期间赋予模态的重要性是基于其估计的不确定性，从而得到可靠和稳健的结果。在第II节中，讨论了与一旦训练完成利用参数化的概率分布对各层(深度特征)的输出进行建模有关的各方面。
图1图示出根据本公开的各方面的用于实现更安全的驾驶控制和路径规划的示例框架。如图1所示的框架100可以被实现为自主交通工具的一部分，尽管这是通过示例而非限制的方式。例如，本文在第I节和第II节两者中描述的各方面可以根据利用多模态传感器输入数据的融合的任何合适类型的应用和/或可能受益于此类传感器输入数据或所得到的环境模型数据结构的不确定性估计的应用、来实现框架100。
如图1所示的框架100包括分别耦合至任何合适数量N的神经网络104.1-104.N的任何合适数量N的传感器102.1-102.N。这些传感器102.1-102.N可以是其中实现框架100的AV或其他设备的一部分。例如，如图1所示，传感器102.1-102.N可以包括相机、LIDAR、热传感器、RADAR等。取决于框架100的特定应用和/或实现方式，本文所描述的各方面可以包括相比于图1中所示的那些传感器附加的、替代的或更少的传感器。
继续参考图1，框架100实现神经网络104.1-104.N，神经网络104.1-104.N可以被实现为神经网络或具有任何合适的架构和配置的其他合适的机器学习系统。例如，神经网络104.1-104.N可以被实现为贝叶斯深度神经网络(B-DNN)(如第I节所述)或非贝叶斯深度神经网络(DNN)(如第II节所述)，以计算相对于经由每个分别耦合的传感器接收到的数据的所估计的不确定性。本文所描述的各方面使用DNN和B-DNN作为示例而非限制，因为本文所描述的各方面可以实现任何合适类型的神经网络或机器学习以完成本文所描述的各种功能。
如下文将进一步讨论的那样，在第I节和第II节两者中所描述的各方面都实现了相同的共同框架100以实现每种情况下的各个方面。然而，如第I节中所讨论的各方面实现贝叶斯DNN，作为神经网络104.1-104.N中的每一个神经网络的一个示例，如下文参照图2进一步所讨论。然而，在第II节中进一步详述的各方面描述了使用非贝叶斯DNN的替代示例实现方式，并且因此依赖于概率特征建模。在任何情况下，应注意，因为在每个章节中描述的各方面使用与如图1所示的框架100相关联的类似架构，因此除非明确指出，否则相对于第I节描述的任何优点可以同样适用于第II节，反之亦然。
框架100用作用于稳健的多模态(LiDAR、视觉、RADAR等)传感器融合的不确定性感知框架，以实现更安全的驾驶控制和路径规划。为此，框架100进一步包括控制单元(或电路、电路系统或块)110、故障传感器检测(或输入不确定性检测)块(或电路、电路系统、或单元)112和模型不确定性块(或电路、电路系统或单元)114。在各个方面，控制单元110、输入不确定性检测块112和模型不确定性块114中的每一者都可以被实现为共同组件的一部分或被实现为彼此通信的分开的组件。作为示例，控制单元110、输入不确定性检测块112和模型不确定性块114可以被实现为一个或多个处理器、软件(例如机器可执行指令)、硬件组件或其组合，其中，该软件(例如机器可执行指令)被存储或在任何合适的存储器(未示出，但包括例如非暂态计算机可读介质)中并经由一个或多个处理器来执行。作为说明性示例，控制单元110、输入不确定性检测块112和模型不确定性块114可以被实现为共同的电子控制单元(ECU)(或其他合适的组件)的一部分或者被实现为分开的ECU(或其他合适的组件)的一部分，该ECU(或其他合适的组件)是其中实现框架100的AV的一部分。
与神经网络104.1-104.N、不确定性估计块(或电路、电路系统或单元)106.1-106.N以及门控块(或电路、电路系统、或单元)108.1-108.N相关联的功能同样可以与控制单元110相关联。附加地或替代地，与神经网络104.1-104.N、不确定性估计块106.1-106.N和门控块108.1-108.N相关联的功能可以由一个或多个处理器、软件(例如，机器可执行指令)、硬件组件或其组合来实现，其中，该软件(例如，机器可执行指令)被存储或在任何合适的存储器(未示出，但包括例如非暂态计算机可读介质)中并且经由一个或多个处理器来执行，这些处理器、软件、硬件组合或其组合可以是相比于上文相对于控制单元110、输入不确定性检测块112和模型不确定性块114所讨论的那些组件相同的组件或分开的组件。形成架构100(可替代地称为系统)的各种组件可以根据任何合适类型的通信链路和/或协议(诸如有线总线、互连、无线链路等)彼此耦合和/或通信。
第I节--用于自主交通工具(AV)的不确定性感知多模态贝叶斯融合框架
常规的多模态融合的解决方案通过堆叠特征向量和训练神经网络模型参数来使用早期融合或后期融合。这些方法在训练阶段期间学习各个模态的相对重要性，并且然后使用固定的融合参数，而不考虑推断时期间的输入数据分布。然而，这些技术对训练阶段之后获得的传感器融合假设固定的权重，因此具有缺点。例如，在推断阶段期间，当观察到新颖的输入数据(即训练分布中不存在的数据)时，会导致错误的决策。用于捕获AV应用的所有环境状况是艰巨的过程，因此需要一种在真实世界的场景中依赖于最确定的传感器而不是使用点估计的更稳健的方法。此外，这些传统技术在其决策中没有明确地捕获传感器漂移或故障。
为了克服这些问题，本节中描述的各方面是针对不确定性感知的多模态贝叶斯融合框架。在一方面，贝叶斯推断通过对模型参数的后验进行蒙特卡洛(Monte Carlo)采样来应用于变分层(variational layer)，这提供了预测分布以计算不确定性估计。本节中所描述的各方面由此基于从贝叶斯框架获得的不确定性估计来实现稳健的多模态传感器融合，以实现更安全的驾驶控制和路径规划，从而得到透明的路径规划和控制决策。因此，可以基于从神经网络104.1-104.N的最终分类层的输出获得的不确定性估计来检测传感器102.1-102.N的故障和/或随时间的漂移，该神经网络104.1-104.N在本节中被替代地称为贝叶斯深度神经网络(B-DNN)。本节中所描述的各方面还能够实现在经训练的模型无法做出可靠的预测时为自主驾驶选择训练数据的提示，否则经训练的模型无法做出可靠的预测会导致灾难性的情况。在这样做时，本节中所描述的各方面可靠地预测数据(偶然的)不确定性和模型(认知的)不确定性，并在适用时促进选择训练数据以改善整体模型预测。
关于训练数据，B-DNN 104.1-104.N、UE块106.1-106.N、门控块108.1-108.N、控制单元110、输入不确定性检测块112和模型不确定性块114例如可以形成同一共同组件(例如，ECU)的一部分并根据任何合适的技术(包括已知技术)进行训练以构成经训练的模型，并且取决于特定的应用和实现方式使用任何合适类型的训练数据。在一方面，B-DNN104.1-104.N可以实现变分层(例如高斯分布)。因此，B-DNN 104.1-104.N被训练成在DNN/B-DNN块104.1-104.N的每个相应的最终分类层处提供输出向量x。该向量x可以表示基于被馈送至每个相应的B-DNN 104.1-104.N的特定类型的传感器数据的多个类别组成的分类分布数据，多个类别诸如从根据AV应用环境模型数据结构中使用的分类器获得的不同的离散类别，例如，不同的离散类别的示例可以包括对象识别(行人、道路标志)和图像分割(可驾驶区域相对于不可驾驶区域)。
暂时忽略由UE块106.1-106.N和门控块108.1-108.N提供的功能，控制单元110根据架构100被训练并且被配置成接收由B-DNN 104.1-104.N中的每一者输出的分类分布并生成适当的环境模型数据结构。例如，控制单元110可以根据由B-DNN 104.1-104.N使用的、包括各种类型的多模态传感器输入的一组训练数据进行训练，以确保新的传感器输入数据能够使控制单元110生成适当的环境模型数据结构。当B-DNN 104.1-104.N接收到附加的传感器输入时，控制单元110可以用于动态地生成环境模型数据结构，该环境模型数据结构输出相应的分类分布，这些分类分布经由拟合经训练的模型的控制单元110接收和分析。例如，对于AV应用而言，训练数据可以包括允许控制单元110使用由B-DNN 104.1-104.N输出的分类分布对各个对象进行分类的道路场景、标志、行人、对象等。
应注意，神经网络通常被训练以获得最大似然估计，并且因此，SoftMax概率忽视模型参数和输入数据的不确定性，这最终可以导致预测的不确定性。本节所描述的各方面通过估计各个模态(例如传感器102.1-102.N)的不确定性(或置信度测量)来可靠地处置噪声和新颖数据。相比之下，已知常规的深度学习模型在有噪声的或新颖数据的情况下会失败从而导致可能是错误的过度自信的决策，因为SoftMax概率没有捕获整体模型的置信度。因此，为了确保控制单元110在由传感器102.1-102.N输出的传感器数据是故障的或经历传感器漂移的情况下、或者在如果传感器输入输出了当前训练数据对其不是良好拟合的新颖数据的情况下准确地继续生成环境模型数据结构，本节所描述的各方面对B-DNN 104.1-104.N的输出进行采样以确定不确定性度量。为此，各方面包括UE块106.1-106.N相对于由每个相应的B-DNN 104.1-104.N输出的分布数据来计算不确定性度量。然后，这些不确定性估计被用于对每个相应的传感器对由控制单元110用来计算环境模型数据结构的最终分类结果的贡献进行门控。
在一方面，UE块106.1-106.N被配置成计算相对于传感器102.1-102.N的不确定性估计，该不确定性估计被称为偶然(输入)不确定性，以及计算相对于输入数据多好地“拟合”当前经训练的模型的不确定性，该不确定性被称为认知的(模型)不确定性。因此，不确定性估计块106.1-106.N被配置成对每个相应的B-DNN 104.1-104.N输出的分布数据进行采样，该每个相应的B-DNN 104.1-104.N利用由各个模态(即传感器102.1-102.N)中的每一者提供的数据。在一方面，并且如下文进一步所讨论，根据门控块108.1-108.N用来对输入到控制单元110的传感器数据进行门控的门控函数，使用由UE块106.1-106.N计算的不确定性估计。以此方式，确保控制单元110接收基于可靠的传感器数据(即具有低不确定性)的分布数据，该可靠的传感器数据也拟合当前的经训练的模型。然后，分布数据被用于生成由AV用于理解和导航特定环境的环境模型数据结构。换言之，UE块106.1-106.N和门控块108.1-108.N确保由控制单元110实现可靠的传感器输入以构建环境模型数据结构。
为此，各方面包括，随着每个分别耦合的B-DNN 104.1-104.N接收和处理附加的传感器数据，UE块106.1-106.N在各个时间实例上计算针对每个传感器102.1-102.N的不确定性估计。也就是说，通过使用每个耦合的B-DNN 104.1-104.N的输出分类分布数据(该数据随着从传感器102.1-102.N接收到新的输入数据而改变)，UE块106.1-106.N动态地计算(例如连续地计算或按照任何合适的采样周期计算)偶然不确定性值和认知不确定性值。门控块108.1-108.N随时间监测这些不确定性值(或得分)，以决定特定传感器102.1-102.N是否故障和/或数据是否是新颖的，后者指示该模型需要被重新训练。
在各个方面，UE块106.1-106.N可以根据任何合适的技术来计算偶然不确定性(AU)和认知不确定性(EU)。例如，UE块106.1-106.N可以根据以下等式1来计算偶然不确定性(AU)，并根据以下等式2来计算认知不确定性(EU)，如下所示：
等式1：AU:＝
Figure BDA0002846267660000071
等式2：EU:＝
Figure BDA0002846267660000081
参照上面的等式1和等式2，(x,y)表示分别耦合的B-DNN 104.1-104.N的输入和输出，T表示蒙特卡洛样本的数量(参见附录)，k表示由相应的B-DNN 104.1-104.N输出的多类别分类器中的类别标识符，y∈{1,2,...K}，并且wt表示从后验p(w|X,Y)中采样的权重。
同样，本节所描述的各方面实现门控块108.1-108.N，该门控块108.1-108.N利用由每个UE块106.1-106.N提供的AU和EU不确定性估计来对被提供给控制单元110的分类分布数据进行门控。为此，门控块108.1-108.N可以被实现为用于促进该功能的任何合适类型的组件。在一方面，门控块108.1-108.N可以被实现为由架构100利用的神经网络模型中的另一层或子网络(例如，B-DNN 104.1-104.N的子层)，该另一层或子网络可以用于提供如图1的详细插图所示的门控函数。如在附录中进一步详细所讨论的那样，可以由UE块106.1-106.N使用预测分布来计算不确定性估计，该预测分布是通过根据每个分别耦合的B-DNN104.1-104.N的经学习的后验分布对权重进行采样而从T次蒙特卡洛前向传递获得的。继续参考图1，门控函数可以在以下等式3中表示。
等式3：
y＝(UE.(Wx+b))⊙x
参照上述等式3，UE(不确定性估计)表示标量，W表示矩阵，b表示向量，x表示分别耦合的B-DNN块104.1-104.N的最终分类层的输出向量，并且y表示门控函数的(具有与x相同的维度的)输出。此外，W和b是与分别耦合的B-DNN 104.1-104.N相关联的全连接层的参数，其中W表示权重，并且b表示偏置。门控函数操作以抑制由控制单元110基于由分别耦合的UE块106.1-106.N计算的不确定性估计标量值接收到的并且经处理的x的贡献。这样做允许使控制单元110使用所生成的环境模型数据结构(诸如对象检测(例如行人、汽车、交通标志检测)、自由空间检测、车道检测、语义检测等)对不同的感知任务实时地进行可靠的预测。以此方式，与具有较高不确定性估计值的传感器102.1-102.N相比，来自具有较低不确定性估计值的传感器102.1-102.N的输入对由控制单元110计算出的最终预测贡献更多。
在一方面，由UE块106.1-106.N输出的不确定性估计值也被提供给控制单元110，控制单元110随时间监测不确定性估计值，并且可以基于输入和模型不确定性估计值的水平来指示故障的传感器测量或因为需要添加新的训练数据而需要对模型进行更新。例如，控制单元110可以被配置成比较与传感器102.1-102.N的全部或子集相关联的不确定性估计值的历史。使用该信息，控制单元110可以有利地标识从传感器102.1-102.N接收到的数据点是新颖的，以及数据点在检测到针对传感器102.1-102.N的子集或大多数(例如大于50％、大于75％等)的较高的不确定性估计值时、需要被包括在训练阶段中。
在一方面，输入不确定性检测块112和模型不确定性检测块114可以与控制单元110集成、作为控制单元110的扩展、或与控制单元110分开，控制单元110可以被配置成分别地计算出于该目的的偶然(输入)不确定性和认知(模型)不确定性。如图1所示，可以以任何合适的方式计算偶然不确定性值和认知不确定性值以标识某些传感器102.1-102.N是否故障或是否需要更新训练数据。例如，偶然不确定性值和认知不确定性值可以从由UE块106.1-106.N计算出的那些不确定性值中进行时间平均。不确定性阈值U最优_阈值(Uoptimal_threshold)可以是可调整的值、预定值、或者基于特定应用、所期望的准确性、和/或测试数据来以其他方式选择的值。在任何情况下，各方面包括控制单元110标识传感器102.1-102.N中的一者或多者何时提供具有超过该被接受的不确定性阈值U最优_阈值的不确定性的数据。
作为示例，下面的表1表示一种算法的伪代码，该算法将由UE块106.1-106.N计算出的被监测到的偶然不确定性值和认知不确定性值与阈值进行比较，并且在偶然不确定性值和认知不确定性值超过相应的预定的最优阈值时，引起相应的触发动作。
Figure BDA0002846267660000091
Figure BDA0002846267660000101
表1
换言之，如表1所示的算法可以设置加权参数(事实)，该加权参数(事实)建立使用所测得的偶然不确定性值和认识不确定性值的时间追溯到多远以前。该参数可以是例如在实验上获得的参数、是预定值、是随时间调整的参数，等等。在任何情况下，表1中概括的算法可以连续地或者根据任何合适的采样周期将所测得的偶然不确定性值和认知不确定性值与相应的最优阈值U最优_阈值进行比较。当超过最优阈值时，各方面包括控制单元110在每种情况下采取适当的动作。
例如，偶然不确定性估计测量与各个模态相关联的输入数据不确定性。持续高的偶然不确定性指示故障的传感器。控制单元110依赖于从其他B-DNN 104.1-104.N总共接收到的数据，这些B-DNN利用来自其他传感器102.1-102.N的输入数据进行预测并且随后基于在传感器102.1-102.N中的每一者之间的与最优阈值的比较、在相应的偶然不确定性值超过针对传感器102.1-102.N中的一者的最优阈值时、标记故障的输入传感器。在此类情况中，控制单元110可以忽略来自该特定传感器的未来输入，或者将该传感器标记为是潜在故障的，这可能导致向用户或其中可以实现架构100的AV的其他合适的系统组件生成适当的通知。
此外，因为在训练阶段了解所有的极端情况是困难的，因此，具有一种可以标记新颖数据的数据收集的自动方法是重要的。本文所描述的各方面促进对传感器102.1-102.N中的大多数传感器的高认识不确定性估计的标识以指示数据点是新颖的并且需要被包括在训练阶段中。为此，如果认识不确定性值超过最优阈值，则控制单元110可以确定在某个时间段内获取的数据是新颖的，并且不拟合由架构100使用的当前经训练的模型。在此类情况中，随后控制单元110可以发起重新训练序列。此类重新训练步骤并入该新颖数据，以更新模型参数来处置未来的类似数据。
图2图示出根据本公开的各个方面应用于活动识别的示例贝叶斯多模态融合框架。如图2所示，在该示例中，不确定性感知多模态融合被应用于活动识别任务。继续该示例，来自传感器102.1、102.2的传感器输入通过被表示为B-DNN 104.1、104.2的相应的贝叶斯模型。贝叶斯模型用于对架构100中的每个参数的高斯分布的变分层进行建模。在推断阶段期间，考虑到从通过网络的多个蒙特卡洛前向传递获得的预测分布，经由UE块106.1、106.2获得各个传感器102.1-102.N的不确定性估计。
在图1所示的示例中，B-DNN 104.1、104.N提供表示不同离散类别的分布输出，不同离散类别诸如对象识别(行人、道路标志)和图像分割(可驾驶区域相对于不可驾驶区域)。在图2所示的应用示例中，B-DNN 104.1-104.N通过将分布置于模型参数上并捕获神经网络参数的后验不确定性来提供深度学习模型的概率解释，这在图2中关于DNN 104.1－104.N中的两个而示出。例如，图2中所示的B-DNN 104.1、104.2的输出是分类分布，该分类分布表示由多个类别组成的离散概率分布，这些类别在该示例中表示活动类别。换言之，继续参考图2，通过对模型参数的后验进行蒙特卡洛采样来对变分层应用贝叶斯推断，从而提供预测分布。然后根据如上文所描述的门控函数应用不确定性感知融合，以促进控制块110选择最可靠的传感器决策。可以利用如图1和图2所示的B-DNN 104.1-104.N以及用于不确定性量化的方法来标识的关于贝叶斯DNN的操作的附加细节被包括在附录部分中。
同样，UE块106.1、106.2可以通过使用从T次蒙特卡洛前向传递获得的预测分布对图2中所示的每个B-DNN 104.1、104.2输出的分类分布进行采样，来计算不确定性估计。这可以例如经由UE块106.1、106.2根据贝叶斯规则从经由B-DNN104.1-104.N实现的模型参数的经学习的后验分布中对权重进行采样，如在附录中进一步所讨论。因此，不确定性估计是基于该示例中的两个传感器102.1、102.2之间的加权平均，该加权平均用于根据本文所描述的门控函数来对不可靠的传感器数据的贡献进行门控。同样，与传感器102.1、102.N中的每一个传感器相关联的不确定性估计数据可由控制单元110随时间监测，以区分偶然不确定性和认识不确定性，并在检测到每个不确定性时采取特定类型的动作。
本节中所描述的各方面与非贝叶斯基线相比，对于Moments-in-Time(MiT，时间瞬间)视听活动识别数据集，将精度-召回率AUC提高了10.2％。该方法例如可应用于自动驾驶数据集(诸如BDD/Mapillari/KITTI)，在该数据集中，基于B-DNN的多传感器融合可显著地改善预测和路径规划任务的整体准确性。
综上所述，本节所描述的各方面在经训练的模型无法做出可靠的预测(原本可能导致灾难性的失败)时动态地选择训练数据。此外，不可靠的传感器输入数据的贡献可以适当地被门控在由控制单元110所做的决策之外。因此，各方面促进对输入数据的不确定性的标识，并得到可靠的、经改善的整体模型预测。
部分II—经由深度特征的概率建模对自主交通工具(AV)的DNN不确定性估计
在本节中，各方面集中于非贝叶斯深度神经网络(DNN)估计预测不确定性度量的能力，这些度量量化了应该对DNN结果放置多少信任。本节中的各方面集中于一旦训练完成，就利用参数化的概率分布对各层(深度特征)的输出进行建模。为此，本节中描述的各方面利用这样一种技术，其中，在推断阶段计算深度特征相对于先前学习的分布的可能性，并且然后使用该可能性来推导出可以将分布内样本与分布外(OOD)样本进行区分的不确定性估计。如下面进一步所讨论，为了执行特征建模，可以实现主成分分析(PCA)以降低特征的维度，并在适当的低维子空间中对分布进行建模。
本节中所描述的各方面对于对抗特定类型的恶意攻击是特别有利的。例如，在训练阶段试图利用漏洞的一类攻击被称为数据中毒。数据中毒是一种诱发攻击，其中攻击者在训练数据集中引入恶意样本，以破坏学习系统的完整性。这确保了经学习的模型在真实的样本上而不是在“后门的”样本上正确地起作用，攻击者利用“后门的”样本来让经训练的系统以任何所期望的方式表现。分布外(OOD)数据检测、对抗攻击缓解、和防御数据中毒攻击是具体问题的三个示例，它们强调了对DNN的可靠不确定性度量的需求。
不确定性估计一直是贝叶斯深度学习领域中的研究者的关注点。常规上，神经网络的参数由概率分布而不是单点值来表示。因此，参数是使用变分训练来学习，而推断在输出上生成预测分布，从该预测分布中可以提取各种预测不确定性度量(例如，预测均值、熵等)。其他常规的方法直接从经训练的(非贝叶斯)DNN中估计不确定性，而其他方法则利用来自(例如在DNN的最终输出层104.1-104.N处生成的)Softmax分布的概率来检测误分类样本或OOD样本。其他常规的技术包括在Softmax函数中引入温度缩放参数。然而，这些方法既无法评估分布外样本，也无法评估对抗样本。此外，此类常规的方法通常需要使用对抗样本进行对抗攻击检测，这通常是不可能的，因为此类数据不是先验可获得的。
相比之下，其他技术采用了一种提出将类条件多变量高斯分布拟合到DNN的预训练特征的生成方法。根据类条件多变量高斯分布拟合的置信度得分可以被定义为相对于最接近的类条件分布的“马哈拉诺比斯(Mahalanobis)距离”。虽然这种技术完成了对分布外样本和对抗样本两者的评估，但它也假设了同方差分布(即所有类别都具有相同的协方差)是无效的，并且会导致次优性能。
此外，上文第I节所描述的贝叶斯深度学习方法用于提供预测不确定性的估计，但需要大量的计算负担，因为需要对网络进行变分地重新训练，这可能会显著地更复杂。此外，在推断时，需要多次随机的前向传递，而不是生成输出所需的典型的单次前向传递，如上文所述。这些显著地增加了模型表示、计算成本和存储器方面的复杂度和要求。对于一些应用而言，这些要求可能是禁止的。
因此，本节中的各方面集中于一旦训练完成，就利用参数化的概率分布对DNN104.1-104.N的各个层(深度特征)的输出进行建模。在推断时，计算深度特征相对于先前学习的分布的可能性并将该可能性用于推导可以将分布内样本与OOD样本进行区分的不确定性估计。根据本节所描述的各方面，实现了用于对DNNs 104.1-104.N中的深度特征进行建模的两类多变量分布：高斯和高斯混合。另外，在特征建模之前，各方面包括使用主成分分析(PCA)来减少特征向量的维度，这导致在适当的低维子空间中对分布进行建模。因此，本节中所描述的各方面有利地提供了稳健的、可靠的和透明的深度学习系统。对于AV应用，这通过提供可靠的不确定性度量得到更安全的AV操作。
此外，并且与本节特别地相关的是，这可以使用非常小的计算开销来实现，特别是与上文在第I节中描述的贝叶斯DNN架构相比。例如本节中所描述的各方面可以共享与上文相对于第I节所讨论的相同的架构100。然而，如上所述，本节中所描述的各方面利用较低复杂度和较低功率的神经网络的使用，这些神经网络可以被实现为非贝叶斯深度神经网络，并且因此，贯穿本节，神经网络104.1-104.N可以替代地被称为DNN 104.1-104.N。为了更好地解释本节中的非贝叶斯DNN方面的实现方式，下面提供了整体技术的概要。
继续参考图1，一旦已完成对DNN 104.1-104.N的训练，就首先执行一次性离线过程。这包括首先将所有训练样本通过每个DNN 101.1-104.N以提取所期望的特征。这可以包括例如使用训练数据来代替由DNN 104.1-104.N在普通操作期间从传感器102.1-102.N接收到的传感器输入数据。在该训练过程期间使用训练数据可以确保控制单元110可以根据从DNN 104.1-104.N接收到的分布数据适当地对特征进行分类和提取。接下来，在每个模型层，对所提取的特征应用PCA来学习前m个主成分。例如，可以选择特征数量m，以便保留特征的一定可变性。例如，可以基于特定的应用、所期望的准确性等来选择特征数量m。例如，m可以表示要保留的特征的99.5％，或者其更小的量(例如95％、97％、99％等)。然后，通过将特征投射到前m个主成分上来降低所提取的特征的维度。接下来，在每个模型层处，并且针对每个类别而言来选择分布模型(例如，具有共享的协方差的高斯模型、具有分开的协方差的高斯模型、高斯混合模型(GMM)等)。例如，可以基于特定的实现方式或应用来选择特定的分布模型。一旦选定，各方面包括将对应的所提取的特征拟合到所选择的分布模型(即使用特征来估计模型参数)。一旦完成了该初始过程，DNN 104.1-104.N和整体架构100因此就根据本节所描述的各方面进行训练，其操作的细节在下文中进一步提供。
为此，参考图3，图3图示出根据本公开的各个方面的使用拟合到每个层处的特征向量的每类参数分布的示例训练阶段。如图3中所示的DNN架构300可以利用本文参照图1所示出和所描述的DNN 104.1-104.N中的一者或多者(或全部)来标识。因此，出于简明的目的，本文所讨论的训练过程是针对单个DNN 104.1-104.N提供的，但可以对图1中所示的DNN104.1-104.N中的每一者重复该训练过程。如图3所示，DNN架构300可以包括输入层302、输出层306、和任何合适数量的隐藏层306。DNN架构300可以根据任何合适类型的DNN架构(包括已知的架构)来实现。
继续参考图3，DNN架构300可以根据上述离线训练过程经由输入层302接收训练数据。一旦完成了上述训练步骤，本节中所描述的各方面包括：针对DNN 104.1-104.N中的每一者,将类条件概率分布拟合到相应的DNN 104.1-104.N的特征。例如，假设在上述离线训练阶段之后，DNN 104.1-104.N被训练成识别来自N个类别{Ck},k＝1,…,N的样本。使
Figure BDA0002846267660000162
表示DNN 104.1-104.N中的示例DNN的第
Figure BDA0002846267660000161
层处的输出，并且
Figure BDA0002846267660000163
为其维度。因此，通过将分布拟合到由训练样本引起的深度特征，本节中描述的各方面有效地定义了DNN 104.1-104.N中的每一者的深度特征空间上的生成模型。以此方式，如图3所示的训练阶段促进将每类别参数分布拟合到DNN 104.1-104.N的每个层处的特征向量。一旦DNN 104.1-104.N以此方式被训练，本节中所描述的各方面就能够在推断期间的随后操作期间将分布内样本与分布外(OOD)样本或对抗样本进行区分。下面将参照图4进一步详细讨论该过程。
图4图示出根据本公开的各方面的使用计算出的特征相对于经拟合的分布的可能性来推导出每个层不确定性得分(最小对数似然)的示例推断阶段。如图4所示，DNN架构400与如图3所示的DNN架构300相对应，其中图4表示经训练的DNN。例如，DNN架构400包括作为如上参照图3所描述的那样执行的训练的结果的一组经学习的分布402。如图4所示，经学习的分布402在DNN架构400的每一层处被提供。因此，在推断时，各方面包括在每个层处计算特征相对于经拟合的分布的可能性，以导出每个层不确定性得分406。这些每个层不确定性得分可以以任何合适的方式(诸如，最小对数似然)计算。在一方面，然后经由组合块404将每个层不确定性得分406进行组合以提供经组合的不确定性得分408和分类410。
在一方面中，每个层不确定性得分406可以参照图1以任何合适的方式并经由架构100的任何合适的组件进行组合。例如，组合块404可以表示控制器单元110的一部分、由架构100利用的神经网络模型中的附加层或子网络(例如，DNN 104.1-104.N的子层)、UE块106.1-106.N等。每个层不确定性得分406的组合可以以任何合适的方式(诸如经由逻辑回归)进行，以产生经组合的不确定性得分408。因此，经组合的不确定性得分408指示与由DNN架构400输出的分类410相关联的所计算的不确定性估计。然后，该经组合的不确定性得分408可用于根据合适的门控函数对提供给控制单元110的分类410进行门控，如上文第I节中所讨论。
此外，尽管本节所描述的各方面受益于非贝叶斯神经网络架构的较低复杂度和处理器密集型架构，但本节所描述的各方面与上述第I节所描述的各方面相比，可以实现相同或类似的功能。例如，图4中所引用的经组合的不确定性得分408可以利用本文所描述的偶然不确定性的UE估计来标识，该UE估计可以经由UE块106.1-106.N来计算并以类似的方式用于DNN 104.1-104.N中的每一者，以提供如上文第I节所描述的门控函数。这还可以包括例如针对DNN 104.1-104.N中的每一者随时间监测这些不确定性估计值，以计算偶然不确定性值，并且当偶然不确定性超过相应的阈值时，采取适当的动作(例如，将传感器标记为故障或发起对DNN104.1-104.N的重新训练)。
例如，各方面包括如上文在第I节中所讨论的每个DNN 104.1-104.N的经组合的不确定性得分408，该不确定性得分408表示偶然不确定性值。各方面包括如上文在第I节中所描述的仅实现偶然不确定性值、仅实现认知不确定性值或实现两者的组合的架构100。关于如上文在第I节所述的认知不确定性检测，应注意的是，可能需要附加的修改以根据第II节所描述的非贝叶斯DNN架构实现该功能。这些修改可以包括应用已知技术例如，以使用每个层不确定性得分406来进一步计算认知不确定性值。作为说明性示例，可以通过改变与经学习的分布402相关联的参数，或者通过改变应用于特征的降维(dimensionalityreduction)水平来获得认知不确定性。这将得到每个层的不确定性值的向量，而不是单个值，并且然后这些值可以按层被聚合以计算认知不确定性。
因此，在第II节中所描述的各方面还可以包括例如针对DNN 104.1-104.N中的每一者随时间监测这些不确定性估计值，以计算偶然不确定性值和/或认知不确定性值，并且当每个不确定性超过相应的阈值时，采取适当的动作(例如，将传感器标记为故障或发起对DNN104.1-104.N的重新训练)。
关于本文参照图4所描述的推断阶段，各方面包括在通过使用主成分分析(PCA)将分布拟合到由训练样本引起的深度特征之前，对特征执行降维。该推理与具有固有低维结构的真实世界数据有关，尽管该真实世界数据被嵌入非常高维的输入空间(即“流形假设(Manifold Hypothesis)”)。在对高维特征上的分布进行建模的上下文中，该问题使其自身表现为数据矩阵的秩亏损，使得无法估计对应的协方差矩阵。为了解决该问题，本文所描述的各方面将PCA实现为用于提取相关子空间的基本方法。
为了提供说明性示例，DNN架构400可以在针对给定样本进行推断时，执行通过如图4所示的DNN架构400的前向传递以生成该样本的特征。接下来，在DNN架构400的每一层处，通过将特征向量投射到先前在如上文参照图3所讨论的训练阶段期间所学习的前m个主成分上来减少特征向量。最后，为了获得不确定性，相对于先前学习的特征分布(即在训练阶段期间)计算PCA减少的特征向量的对数似然得分。在一方面，特定样本的特征的对数似然得分相对于经学习的分布402被计算，并用于导出不确定性估计。不确定性估计使得能够将分布内样本(其应该具有高的可能性)与分布外(OOD)样本或对抗样本(其应该具有低的可能性)进行区分。
在一方面，多变量高斯和高斯混合模型(GMM)的任何合适的组合可以被实现以对DNN架构400的各个层处的分布进行建模。这是有利的，因为DNN的外层(例如更接近输出层306的隐藏层304)的特征倾向于由更简单的高斯分布良好地表示，而内层(例如更接近输入层304的隐藏层304)的特征需要更精确的建模，对于更精确的建模来说，GMM是很好的拟合。在任一情况下，通过使用最大似然估计从训练阶段期间的训练集估计分布的参数。此外，并且当GMM被实现时，分布的参数根据混合中所选择的成分数量(即模型选择)进行估计。为此，各方面包括实现贝叶斯信息标准(BIC)以使过度复杂的模型不利。
本节中所描述的各方面引入了比典型DNN更多的计算。例如，学习分布需要由经完全训练的网络对训练集进行处理。然而，由于这是一次性的离线操作，因此主要关注的是关于在推断期间执行的附加的在线操作。处理开销的量取决于一些因素，这些因素包括网络架构、密度的选择、以及经由PCA降维的量。然而，引入的计算一般是例如不需要处理器密集型计算的矩阵-向量乘法。因此，与推断过程中通过网络的前向传递相比，本节所描述的各方面添加极小的处理开销。已经经由适当的测试和模拟验证了：发生这些附加的计算比处理新的传感器数据的实时速率快得多。通过在计算机处理器上运行的Python代码来执行本节所描述的各方面的测试。
本节中所描述的关于图像特征的方面的益处已经通过使用流行的DNN架构在MNIST和CIFAR10数据集上检测OOD图像和对抗生成的图像进行了实验验证。MNIST和CIFAR10被用作分布内数据集。对于MNIST，FashionMNIST和EMNIST Letters被用作OOD数据集。对于CIFAR10而言，使用SVHN数据集并且使用LSUN数据集的重设定尺寸的版本作为OOD数据集。为了测试对抗攻击，使用了快速梯度符号法(FGSM)攻击。在所有的实验中，经拟合的密度函数的参数由分布内数据集的训练分割来估计，而性能度量(AUPR、AUROC)在测试分割上被计算。使用AUPR和AUROC得分在表500、600中报告OOD检测性能，分别如图5和图6所示。实验表明，本节所描述的各方面以相当大的优势优于常规方法；在精度召回曲线下面积(AUPR)度量和接收者操作特征曲线下面积(AUROC)度量方面，高达13个百分点，指示与常规方法相比，OOD样本和对抗样本的检测被显著地改善。
示例
以下示例涉及进一步的各个方面。
示例1是一种电子控制单元(ECU)，包括：多个神经网络，多个神经网络中的每一个神经网络具有耦合至相应的自主交通工具(AV)传感器的输入，该自主交通工具(AV)传感器被配置成用于输出表示根据AV应用环境模型数据结构使用的一组不同类别的分布数据；多个不确定性估计单元，多个不确定性估计单元中的每一个不确定性估计单元被配置成用于使用从多个神经网络中的分别耦合的一个神经网络输出的分布数据来计算不确定性估计值，该不确定性估计值是相对于由耦合至多个神经网络中的分别耦合的一个神经网络的AV传感器提供的数据而言的；以及控制单元，该控制单元被配置成用于根据针对多个神经网络中的每一个神经网络计算出的相应的不确定性估计值，对多个神经网络中的每一个神经网络输出的分布数据进行门控，并用于使用经门控的分布数据来生成环境模型数据结构。
在示例2中，示例1的主题，其中多个神经网络中的每一个神经网络是贝叶斯深度神经网络(B-DNN)。
在示例3中，示例1-2中的一项或多项的主题，其中多个神经网络中的每一个神经网络是非贝叶斯深度神经网络(DNN)。
在示例4中，示例1-3中的一项或多项的主题，其中，多个不确定性估计单元中的每一个不确定性估计单元被配置成用于使用预测分布来计算不确定性估计值，该预测分布是通过对来自多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
在示例5中，示例1-4中的一项或多项的主题，其中，多个不确定性估计单元中的每一个不确定性估计单元被配置成用于使用从多个神经网络中的每个分别耦合的神经网络输出的分布数据来计算偶然不确定性值和认知不确定性值。
在示例6中，示例1-5中的一项或多项的主题，其中，控制单元被配置成用于：随时间监测不确定性估计值，并且当与AV传感器相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将该AV传感器标记为是有故障的。
在示例7中，示例1-6中的一项或多项的主题，其中，控制单元被配置成用于：随时间监测不确定性估计值，并且当与多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起多个神经网络的重新训练序列。
示例8是一种自主交通工具(AV)系统，包括：存储器，具有存储在其上的指令；以及一个或多个处理器，该一个或多个处理器被配置成用于执行存储在存储器上的指令以：经由分别耦合的自主交通工具(AV)传感器中的每一个传感器接收传感器数据，并输出分布数据的集合，分布数据的集合中的每一个分布数据表示根据AV应用环境模型数据结构使用的一组不同类别；计算分布数据的集合中的每一个分布数据的不确定性估计值；根据分别计算出的不确定性估计值对分布数据的集合中的每一个分布数据进行门控；并且使用经门控的分布数据来生成环境模型数据结构。
在示例9中，示例8的主题，其中，一个或多个处理器被配置成用于根据贝叶斯深度神经网络(B-DNN)架构输出分布数据的集合。
在示例10中，示例8-9中一项或多项的主题，其中，一个或多个处理器被配置成用于根据非贝叶斯深度神经网络(DNN)架构输出分布数据的集合。
在示例11中，示例8-10中的一项或多项的主题，其中，一个或多个处理器被配置成用于：根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构来输出分布数据的集合，并且其中，一个或多个处理器被配置成用于：使用预测分布来计算分布数据的集合中的每一个分布数据的相应的不确定性估计值，其中，该预测分布是通过对来自多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
在示例12中，示例8-11中的一项或多项的主题，其中，一个或多个处理器被配置成用于使用分布数据的集合中的每一个分布数据来计算偶然不确定性值和认知不确定性值。
在示例13中，示例8-12中的一项或多项的主题，其中，一个或多个处理器被配置成用于：随时间监测不确定性估计值，并且当与AV传感器相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将该AV传感器标记为是有故障的。
在示例14中，示例8-13中的一项或多项的主题，其中，一个或多个处理器被配置成用于：根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构来输出分布数据的集合，并且其中，一个或多个处理器被配置成用于：随时间监测不确定性估计值，并且当与多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起多个神经网络的重新训练序列。
示例15是一种具有存储在其上的指令的非暂态计算机可读介质，当该指令由一个或多个处理器执行时，使一个或多个处理器用于：经由分别耦合的自主交通工具(AV)传感器中的每一个传感器接收传感器数据，并输出分布数据的集合，分布数据的集合中的每一个分布数据表示根据AV应用环境模型数据结构使用的一组不同类别；计算分布数据的集合中的每一个分布数据的不确定性估计值；根据分别计算出的不确定性估计值对分布数据的集合中的每一个分布数据进行门控；并且使用经门控的分布数据来生成环境模型数据结构。
在示例16中，示例15的主题，其中，指令进一步包括当由一个或多个处理器执行时使一个或多个处理器用于根据贝叶斯深度神经网络(B-DNN)架构输出分布数据的集合的指令。
在示例17中，示例15-16中的一项或多项的主题，其中，指令包括当由一个或多个处理器执行时使一个或多个处理器进行以下操作的进一步的指令：根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构输出分布数据的集合，并使用预测分布来计算分布数据的集合中的每一个分布数据的相应的不确定性估计值，其中，该预测分布是通过对来自多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
在示例18中，示例15-17中的一项或多项的主题，其中，指令包括当由一个或多个处理器执行时使一个或多个处理器使用分布数据的集合中的每一个分布数据来计算偶然不确定度性和认知不确定度性的进一步的指令。
在示例19中，示例15-18中的一项或多项的主题，其中，指令包括当由一个或多个处理器执行时使一个或多个处理器进行以下操作的进一步的指令：随时间监测不确定性估计值，并且当与AV传感器相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将该AV传感器标记为是有故障的。
在示例20中，示例15-19中的一项或多项的主题，其中，指令包括当由一个或多个处理器执行时使一个或多个处理器进行以下操作的进一步的指令：根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构输出分布数据的集合，并且随时间监测不确定性估计值，并且当与多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起多个神经网络的重新训练序列
示例21是一种电子控制装置，包括：多个神经网络装置，多个神经网络装置中的每一个神经网络装置具有耦合至相应的传感器装置的输入以用于输出表示根据自主交通工具(AV)应用环境模型数据结构所使用的一组不同类别的分布数据；多个不确定性估计装置，多个不确定性估计装置中的每一个不确定性估计装置使用从多个神经网络装置中的分别耦合的神经网络装置输出的分布数据来计算不确定性估计值，该不确定性估计值是相对于由耦合至多个神经网络装置中的分别耦合的神经网络装置的传感器装置提供的数据而言的；以及控制装置，该控制装置用于根据针对多个神经网络装置中的每一个神经网络装置计算出的相应的不确定性估计值，对多个神经网络装置中的每一个神经网络装置输出的分布数据进行门控，并用于使用经门控的分布数据来生成环境模型数据结构。
在示例22中，示例21的主题，其中多个神经网络装置中的每一个神经网络装置是贝叶斯深度神经网络(B-DNN)。
在示例23中，示例21-22中的一项或多项的主题，其中多个神经网络装置中的每一个神经网络装置是非贝叶斯深度神经网络(DNN)。
在示例24中，示例21-23中的一项或多项的主题，其中，多个不确定性估计装置中的每一个不确定性估计装置使用预测分布来计算相应的不确定性估计值，其中，该预测分布是通过对来自多个神经网络装置中的每个分别耦合的神经网络装置的经学习的后验分布的权重进行采样而从通过多个神经网络装置中的每个分别耦合的神经网络装置的多次蒙特卡洛前向传递获得的。
在示例25中，示例21-24中的一项或多项的主题，其中，多个不确定性估计装置中的每一个不确定性估计装置使用从多个神经网络装置中的每个分别耦合的神经网络装置输出的分布数据来计算偶然不确定性值和认知不确定性值。
在示例26中，示例21-25中的一项或多项的主题，其中，控制装置随时间监测不确定性估计值，并且当与传感器装置相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将该传感器装置标记为是有故障的。
在示例27中，示例21-26中的一项或多项的主题，其中，控制装置随时间监测不确定性估计值，并且当与多个神经网络装置中的一个或多个神经网络装置相关联的认知不确定性值超过阈值认知不确定性值时、发起多个神经网络的重新训练序列。
示例28是一种自主交通工具装置，包括：存储器，具有存储在其上的指令；以及一个或多个处理装置，该一个或多个处理装置被配置成用于执行存储在存储器上的指令以：经由分别耦合的传感器装置中的每一个传感器装置接收传感器数据，并输出分布数据的集合，分布数据的集合中的每一个分布数据表示根据自主交通(AV)应用环境模型数据结构使用的一组不同类别；计算分布数据的集合中的每一个分布数据的不确定性估计值；根据分别计算出的不确定性估计值对分布数据的集合中的每一个分布数据进行门控；并且使用经门控的分布数据来生成环境模型数据结构。
在示例29中，示例28的主题，其中，一个或多个处理装置根据贝叶斯深度神经网络(B-DNN)架构输出分布数据的集合。
在示例30中，示例28-29中一项或多项的主题，其中，一个或多个处理装置根据非贝叶斯深度神经网络(DNN)架构输出分布数据的集合。
在示例31中，示例28-30中的一项或多项的主题，其中，一个或多个处理装置根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构来输出分布数据的集合，并且其中，一个或多个处理装置使用预测分布来计算分布数据的集合中的每一个分布数据的相应的不确定性估计值，其中，该预测分布是通过对来自多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
在示例32中，示例28-31中的一项或多项的主题，其中，一个或多个处理装置使用分布数据的集合中的每一个分布数据来计算偶然不确定性值和认知不确定性值。
在示例33中，示例28-32中的一项或多项的主题，其中，一个或多个处理装置随时间监测不确定性估计值，并且当与传感器装置相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将该传感器装置标记为是有故障的。
在示例34中，示例28-33中的一项或多项的主题，其中，一个或多个处理装置根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构来输出分布数据的集合，并且其中，一个或多个处理装置随时间监测不确定性估计值，并且当与多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时，发起多个神经网络的重新训练序列。
示例35是一种具有存储在其上的指令的非暂态计算机可读介质，当该指令由一个或多个处理装置执行时，使一个或多个处理装置用于：经由分别耦合的传感器装置中的每一个传感器装置接收传感器数据，并输出分布数据的集合，分布数据的集合中的每一个分布数据表示根据自主交通(AV)应用环境模型数据结构使用的一组不同类别；计算分布数据的集合中的每一个分布数据的不确定性估计值；根据分别计算出的不确定性估计值对分布数据集合中的每一个分布数据进行门控；并且使用经门控的分布数据来生成环境模型数据结构。
在示例36中，示例35的主题，其中，指令进一步包括当由一个或多个处理装置执行时使一个或多个处理装置用于根据贝叶斯深度神经网络(B-DNN)架构输出分布数据的集合的指令。
在示例37中，示例35-36中的一项或多项的主题，其中，指令包括当由一个或多个处理装置执行时使一个或多个处理装置进行以下操作的进一步的指令：根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构来输出分布数据的集合，并使用预测分布来对分布数据的集合中的每一个分布数据计算分布数据的集合中的每一个分布数据的相应的不确定性估计值，其中，该预测分布是通过对来自多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
在示例38中，示例35-37中的一项或多项的主题，其中，指令包括当由一个或多个处理装置执行时使一个或多个处理装置使用分布数据的集合中的每一个分布数据来计算偶然不确定度性和认知不确定度性的进一步的指令。
在示例39中，示例35-38中的一项或多项的主题，其中，指令包括当由一个或多个处理装置执行时使一个或多个处理装置进行以下操作的进一步的指令：随时间监测不确定性估计值，并且当与传感器装置相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将该传感器装置标记为是有故障的。
在示例40中，示例35-39中的一项或多项的主题，其中，指令包括当由一个或多个处理装置执行时使一个或多个处理装置进行以下操作的进一步的指令：根据其中神经网络中的每一个神经网络输出分布数据的集合中的相应的一个分布数据的神经网络架构来输出分布数据的集合，并且随时间监测不确定性估计值，并且当与多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起多个神经网络的重新训练序列
如所示出和所描述的设备。
如所示出和所描述的方法。
结论
具体方面的前述描述将如此充分地揭示本公开的一般性质，以至于其他人可以通过应用本领域技术内的知识就容易地修改和/或改变诸如这些具体方面之类的各种应用，而无需过度实验，而不背离本公开的一般概念。因此，基于本文展现的教导教示和指导，这些改编和修改旨在落入所公开各个方面的等同物的含义和范围内。应理解，本文中的措辞或术语是出于描述而非限制的目的，使得本说明书的术语或措辞将由本领域技术人员根据教示和指导来解释。
说明书中对“一个方面”、“方面”、“示例方面”等的引用指示所描述的方面可包括特定的特征、结构或特性，但是每个方面可以不一定包括该特定的特征、结构或特性。而且，此类短语不一定是指同一方面。此外，当结合方面描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他方面而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
本文所描述的示例性方面是出于说明性目的而提供的，而不是限制性的。其他示例性方面是可能的，并且可以对示例性方面进行修改。因此，说明书并不意味着限制本公开。相反，本公开的范围仅根据所附权利要求及其等价物来限定。
各个方面可实现为硬件(例如电路)、固件、软件或其组合。各方面还可实现为储存在机器可读介质上的指令，这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或传送机器(例如，计算设备)可读形式的信息的任何机制。例如，机器可读介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等等。进一步地，固件、软件、例程、指令在本文中可被描述为执行特定动作。然而，应当理解，此类描述仅仅是出于方便起见，并且此类动作实际上由计算设备、处理器、控制器、或其他设备执行固件、软件、例程、指令等而导致的。进一步地，任何实现方式变体可以由通用计算机执行。
出于本讨论的目的，术语处理电路摂或处理器电路摂应理解为(多个)电路、(多个)处理器、逻辑或其组合。例如，电路可以包括模拟电路、数字电路、状态机逻辑、其他结构电子硬件或其组合。处理器可以包括微处理器、数字信号处理器(DSP)、或其他硬件处理器。处理器可以利用指令“硬编码”，以根据本文描述的各个方面来执行相应的(多个)功能。可替代地，处理器可以访问内部和/或外部存储器以检索存储在存储器中的指令，当该指令由处理器执行时，执行与处理器相关联的(多个)相应功能，和/或与具有包含在其中的处理器的组件的操作相关的一个或多个功能和/或操作。
在本文所描述的一个或多个示例性方面中，处理电路可以包括存储数据和/或指令的存储器。存储器可以是任何公知的易失性和/或非易失性存储器，包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、和可编程只读存储器(PROM)。存储器可以是不可移动的、可移动的、或两者的组合。
附录
该附录是针对上文在第I节中所描述的各方面提供的，并进一步解释贝叶斯DNN模型的使用。这些模型可以例如作为如图1所示的DNN104.1-104.N的一部分来实现，并参照图2进一步描述。
贝叶斯DNN模型
给定具有输入x＝{x1,...,xN}及其对应的输出y＝{y1,...,yN}的训练数据集D＝{x,y}，在参数化贝叶斯设置中，我们希望将参数w上的分布推断作为表示DNN模型的函数y＝fw(x)。通过贝叶斯神经网络训练期间推断出的模型参数的后验，我们可以通过在从经学习的参数后验p(w│D)中抽取样本的同时、在模型可能性p(y│x,w)上传播，来预测新数据点的输出。
使用贝叶斯规则，从模型可能性中获得模型参数的后验分布，该后验分布用以下等式4表示，如下所示：
等式4：
Figure BDA0002846267660000281
计算后验分布p(w│D)通常是棘手的。实现分析上的易处理的推断的技术中的一些技术包括(i)基于马尔科夫链蒙特卡洛(MCMC)采样的概率推断，(ii)推测模型参数的易处理的近似后验分布的变分推断技术，以及(iii)蒙特卡洛退出近似推断。对于本文第I节所描述的各方面，上述技术中的任一种技术都可用于推测模型参数的近似后验分布。作为说明性的示例，使用变分推断提供进一步的细节。
变分推断使用基于梯度的优化技术，该技术为利用较简单的分布qθ(w)来逼近复杂的概率分布p(w|D)，该较简单的分布qθ(w)由变分参数θ进行参数化，同时最小化Kullback-Leibler(KL)散度。最小化KL散度相当于最大化对数证据下界(L)，如以下等式5中所表示，如下所示：
等式5：
L：＝∫qθ(w)，log p(y|x，w)dw-KL[qθ(w)||p(w)]
在经学习的后验分布上的预测分布是通过在从通过蒙特卡洛估计器的网络参数的后验分布中进行采样的同时、在预测阶段期间通过网络的多次随机前向传递而获得的。给定新的输入x*的情况下，输出y*的预测分布如等式6所表示，如下所示：
等式6：p(y*|x*，D)＝∫p(y*|x*，w)qθ(w)dw
Figure BDA0002846267660000282
wi～qθ(w)
其中，T表示蒙特卡洛样本的数量。
不确定性估计
可以使用预测分布来计算不确定性估计，该预测分布是通过对来自经学习的后验分布中的权重进行采样而从T次蒙特卡洛前向传递获得的。认知不确定性可以使用贝叶斯不一致主动学习(BALD)来评估，贝叶斯不一致主动学习(BALD)根据下面的等式7来量化参数后验分布和预测分布之间的相互信息，如下所示：
等式7：BALD：＝H(y*|x*，D)-Ep(w|D)[H(y*|x*，w)]
其中，H(y*|x*，D)是预测熵，该预测熵是偶然不确定性和认知不确定性的组合，由下面等式8给出，如下所示：
等式8：
Figure BDA0002846267660000291
其中，piμ是来自T个蒙特卡洛样本的第i个类别的预测平均概率，并且K为输出类别的总数。
全连接变分层中的权重可以通过均值场高斯分布进行建模，并且网络可以使用基于KL散度的贝叶斯变分推断进行训练。为了学习模型参数w的后验分布，可以使用变分推断方法来训练贝叶斯DNN 104.1-104.N。根据此类各方面，目标是将对数证据下限(ELBO)优化为成本函数。全连接变分层的模型参数由均值μ和方差σ2参数化，即qθ(w)＝Ν(w|μ,σ2)。这些变分层的参数是通过最小化负ELBO损失来优化的。

Claims (20)

1.一种电子控制单元ECU，所述电子控制单元ECU包括：
多个神经网络，所述多个神经网络中的每一个神经网络具有耦合至相应的自主交通工具AV传感器的输入，所述自主交通工具AV传感器被配置成用于输出表示根据AV应用环境模型数据结构使用的一组不同类别的分布数据；
多个不确定性估计单元，所述多个不确定性估计单元中的每一个不确定性估计单元被配置成用于使用从所述多个神经网络中的分别耦合的神经网络输出的所述分布数据来计算不确定性估计值，所述不确定性估计值是相对于由耦合至所述多个神经网络中的所述分别耦合的神经网络的所述AV传感器提供的数据而言的；以及
控制单元，所述控制单元被配置成用于根据针对所述多个神经网络中的每一个神经网络计算出的相应的不确定性估计值，对所述多个神经网络中的每一个神经网络输出的所述分布数据进行门控，并用于使用经门控的分布数据来生成环境模型数据结构。
2.如权利要求1所述的ECU，其特征在于，所述多个神经网络中的每一个神经网络是贝叶斯深度神经网络(B-DNN)。
3.如权利要求1所述的ECU，其特征在于，所述多个神经网络中的每一个神经网络是非贝叶斯深度神经网络(DNN)。
4.如权利要求1所述的ECU，其特征在于，所述多个不确定性估计单元中的每一个不确定性估计单元被配置成用于：使用预测分布来计算相应的不确定性估计值，所述预测分布是通过对来自所述多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过所述多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
5.如权利要求1所述的ECU，其特征在于，所述多个不确定性估计单元中的每一个不确定性估计单元被配置成用于：使用从所述多个神经网络中的每个分别耦合的神经网络输出的所述分布数据来计算偶然不确定性值和认知不确定性值。
6.如权利要求5所述的ECU，其特征在于，所述控制单元被配置成用于：随时间监测所述不确定性估计值，并且当与AV传感器相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将所述AV传感器标记为是有故障的。
7.如权利要求5所述的ECU，其特征在于，所述控制单元被配置成用于：随时间监测所述不确定性估计值，并且当与所述多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起所述多个神经网络的重新训练序列。
8.一种自主车辆AV系统，所述自主车辆AV系统包括：
存储器，具有存储于其上的指令；以及
一个或多个处理器，所述一个或多个处理器被配置成用于执行所述存储器上存储的所述指令以：
经由分别耦合的自主交通工具AV传感器中的每一个传感器接收传感器数据，并输出分布数据的集合，所述分布数据的集合中的每一个分布数据表示根据AV应用环境模型数据结构使用的一组不同类别；
计算所述分布数据的集合中的每一个分布数据的不确定性估计值；
根据分别计算出的不确定性估计值对所述分布数据的集合中的每一个分布数据进行门控；并且
使用经门控的分布数据来生成环境模型数据结构。
9.如权利要求8所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于根据贝叶斯深度神经网络(B-DNN)架构输出所述分布数据的集合。
10.如权利要求8所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于根据非贝叶斯深度神经网络(DNN)架构输出所述分布数据的集合。
11.如权利要求8所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于：根据在其中所述神经网络中的每一个神经网络输出所述分布数据的集合中的相应的一个分布数据的神经网络架构来输出所述分布数据的集合，并且
其中，所述一个或多个处理器被配置成用于：使用预测分布来计算所述分布数据的集合中的每一个分布数据的相应的不确定性估计值，所述预测分布是通过对来自所述多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过所述多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
12.如权利要求8所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于使用所述分布数据的集合中的每一个分布数据来计算偶然不确定性值和认知不确定性值。
13.如权利要求12所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于：随时间监测所述不确定性估计值，并且当与AV传感器相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将所述AV传感器标记为是有故障的。
14.如权利要求12所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于：根据其中所述神经网络中的每一个神经网络输出所述分布数据的集合中的相应的一个分布数据的神经网络架构来输出所述分布数据的集合，并且
其中所述一个或多个处理器被配置成用于：随时间监测所述不确定性估计值，并且当与所述多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起所述多个神经网络的重新训练序列。
15.一种方法，包括：
经由分别耦合的自主交通工具AV传感器中的每一个传感器接收传感器数据，并输出分布数据的集合，所述分布数据的集合中的每一个分布数据表示根据AV应用环境模型数据结构使用的一组不同类别；
计算所述分布数据的集合中的每一个分布数据的不确定性估计值；
根据分别计算出的不确定性估计值对所述分布数据的集合中的每一个分布数据进行门控；并且
使用经门控的分布数据来生成环境模型数据结构。
16.如权利要求15所述的方法，进一步包括：
根据贝叶斯深度神经网络(B-DNN)架构输出所述分布数据的集合。
17.如权利要求15所述的方法，进一步包括：
根据其中所述神经网络中的每一个神经网络输出所述分布数据的集合中的相应的一个分布数据的神经网络架构输出所述分布数据的集合，以及
使用预测分布来计算所述分布数据的集合中的每一个分布数据的相应的不确定性估计值，所述预测分布是通过对来自所述多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过所述多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。
18.如权利要求15所述的方法，进一步包括：
使用所述分布数据的集合中的每一个分布数据来计算偶然不确定性值和认知不确定性值。
19.如权利要求18所述的方法，进一步包括：
随着时间监测所述不确定性估计值，并且当与AV传感器相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将所述AV传感器标记为是有故障的。
20.如权利要求18所述的方法，进一步包括：
根据其中所述神经网络中的每一个神经网络输出所述分布数据的集合中的相应的一个分布数据的神经网络架构输出所述分布数据的集合，以及
随时间监测所述不确定性估计值，并且当与所述多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起所述多个神经网络的重新训练序列。
CN202011510549.7A 2020-06-24 2020-12-18 用于自主驾驶交通工具的稳健多模态传感器融合 Pending CN113835408A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/911,100 US11983625B2 (en) 2020-06-24 2020-06-24 Robust multimodal sensor fusion for autonomous driving vehicles
US16/911,100 2020-06-24

Publications (1)

Publication Number Publication Date
CN113835408A true CN113835408A (zh) 2021-12-24

Family

ID=72747794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011510549.7A Pending CN113835408A (zh) 2020-06-24 2020-12-18 用于自主驾驶交通工具的稳健多模态传感器融合

Country Status (3)

Country Link
US (1) US11983625B2 (zh)
EP (1) EP3929824A3 (zh)
CN (1) CN113835408A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184188A1 (zh) * 2022-03-29 2023-10-05 华为技术有限公司 一种自动驾驶系统中神经网络模型故障监测方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172390A1 (en) * 2019-03-21 2022-06-02 Five AI Limited Perception uncertainty
US10970645B1 (en) * 2020-05-08 2021-04-06 StradVision, Inc. Method for explainable active learning, to be used for object detector, by using Bayesian dual autoencoder and active learning device using the same
WO2021247081A1 (en) 2020-06-05 2021-12-09 Gatikai Inc. Method and system for data-driven and modular decision making and trajectory generation of an autonomous agent
US11790369B2 (en) * 2020-09-03 2023-10-17 Capital One Services, Llc Systems and method for enhanced active machine learning through processing of partitioned uncertainty
US20230385639A1 (en) * 2020-10-29 2023-11-30 Schlumberger Technology Corporation Cost function engineering for estimating uncertainty correlated with prediction errors
EP4009236A1 (en) * 2020-12-02 2022-06-08 Aptiv Technologies Limited Method for determining a semantic segmentation of an environment of a vehicle
CN113032776B (zh) * 2021-02-08 2022-08-05 浙江工业大学 面向特征嵌入中毒攻击的检测方法、装置和系统
CN112966773B (zh) * 2021-03-24 2022-05-31 山西大学 一种无人机飞行工况模式识别方法及系统
US11687621B2 (en) * 2021-03-29 2023-06-27 International Business Machines Corporation Multi-modal fusion techniques considering inter-modality correlations and computer model uncertainty
DE102021205274A1 (de) * 2021-05-21 2022-11-24 Robert Bosch Gesellschaft mit beschränkter Haftung Sichere Steuerung/Überwachung eines computergesteuerten Systems
US20220405573A1 (en) * 2021-06-18 2022-12-22 Ford Global Technologies, Llc Calibration for a distributed system
US11830257B2 (en) * 2021-10-14 2023-11-28 Valeo Schalter Und Sensoren Gmbh Method, apparatus, and non-transitory computer readable storage medium for confirming a perceived position of a traffic light
CN113963027B (zh) * 2021-10-28 2022-09-09 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
WO2023114396A1 (en) * 2021-12-16 2023-06-22 Gatik Ai Inc. Method and system for addressing failure in an autonomous agent
CN114330069B (zh) * 2021-12-31 2024-08-02 福州大学 深度神经网络和贝叶斯网络耦合建网的结构安全评估方法
WO2023194978A1 (en) * 2022-04-08 2023-10-12 Mobileye Vision Technologies Ltd. A safe and scalable model for culturally sensitive driving by automated vehicles using a probabilistic architecture
CN118427704A (zh) * 2024-06-28 2024-08-02 山东省计算中心（国家超级计算济南中心） 基于gru的变分自编码器的攻击和防御方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040024750A1 (en) * 2002-07-31 2004-02-05 Ulyanov Sergei V. Intelligent mechatronic control suspension system based on quantum soft computing
US11238334B2 (en) * 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11687770B2 (en) 2018-05-18 2023-06-27 Synaptics Incorporated Recurrent multimodal attention system based on expert gated networks
US11314258B2 (en) 2019-12-27 2022-04-26 Intel Corporation Safety system for a vehicle
US20220121691A1 (en) * 2020-10-20 2022-04-21 Here Global B.V. Method, apparatus, and system for machine learning-based persistence filtering

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184188A1 (zh) * 2022-03-29 2023-10-05 华为技术有限公司 一种自动驾驶系统中神经网络模型故障监测方法及装置

Also Published As

Publication number Publication date
US20200326667A1 (en) 2020-10-15
EP3929824A3 (en) 2022-01-26
US11983625B2 (en) 2024-05-14
EP3929824A2 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
CN113835408A (zh) 用于自主驾驶交通工具的稳健多模态传感器融合
Michelmore et al. Evaluating uncertainty quantification in end-to-end autonomous driving control
Cai et al. Real-time out-of-distribution detection in learning-enabled cyber-physical systems
EP3796228A1 (en) Device and method for generating a counterfactual data sample for a neural network
CN111507469B (zh) 对自动标注装置的超参数进行优化的方法和装置
US11657153B2 (en) System and method for detecting an adversarial attack
EP3848836A1 (en) Processing a model trained based on a loss function
JP7229308B2 (ja) 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム
KR20210002018A (ko) 뉴럴 네트워크의 글로벌 불확실성을 추정하기 위한 방법
US20240029467A1 (en) Modular Predictions For Complex Human Behaviors
US11606393B2 (en) Node classification in dynamic networks using graph factorization
Henne et al. Managing Uncertainty of AI-based Perception for Autonomous Systems.
CN113297572A (zh) 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN110059646A (zh) 训练动作规划模型的方法及目标搜索方法
WO2021169361A1 (zh) 时间序列数据的检测方法、装置、计算机设备及存储介质
CN114648633A (zh) 确定车辆环境的语义分割的方法
CN116343080A (zh) 一种动态稀疏关键帧视频目标检测方法、装置及存储介质
Segú et al. A general framework for uncertainty estimation in deep learning
CN117608959A (zh) 一种基于域对抗迁移网络的飞控系统状态监测方法
WO2020030722A1 (en) Sensor system including artificial neural network configured to perform a confidence measure-based classification or regression task
US20230297823A1 (en) Method and system for training a neural network for improving adversarial robustness
Yatbaz et al. Run-time introspection of 2d object detection in automated driving systems using learning representations
CN110333517B (zh) 障碍物感知方法、装置及存储介质
Zhou et al. Physical Invariant Subspace based Unsupervised Anomaly Detection for Internet of Vehicles
US20220019944A1 (en) System and method for identifying and mitigating ambiguous data in machine learning architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination