CN114648633A - 确定车辆环境的语义分割的方法 - Google Patents

确定车辆环境的语义分割的方法 Download PDF

Info

Publication number
CN114648633A
CN114648633A CN202111439975.0A CN202111439975A CN114648633A CN 114648633 A CN114648633 A CN 114648633A CN 202111439975 A CN202111439975 A CN 202111439975A CN 114648633 A CN114648633 A CN 114648633A
Authority
CN
China
Prior art keywords
neural network
uncertainty
radar
grid
weights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111439975.0A
Other languages
English (en)
Inventor
M·博朗
M·卢塞克
J·西格蒙德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN114648633A publication Critical patent/CN114648633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种确定车辆环境的语义分割的方法。经由处理装置，定义划分车辆的环境的单元的网格。从多个雷达传感器接收雷达点云，并且向各个网格单元指派雷达点云的至少一个特征。通过使用包括确定性权重的神经网络，提取各个网格单元的高级特征。定义网格单元的几个类。对于贝叶斯神经网络的层，概率性地确定各种权重集。经由贝叶斯神经网络，基于高级特征并且基于各种权重集来确定各个类的置信度值和各个网格单元的置信度值，以便确定各个网格单元的预测类以及该预测类的不确定性程度。

Description

确定车辆环境的语义分割的方法
技术领域
本公开涉及一种确定车辆环境的语义分割并估计该语义分割的不确定性程度的方法。
背景技术
对于驾驶员辅助系统，重要的是获得对车辆环境的可靠感知。如果将驾驶员辅助系统用于自主驾驶，这尤其适用。为了对车辆环境进行感知，许多现代车辆配备有提供以下信号的一个或更多个雷达传感器，该信号包括有关车辆附近的对象的信息，例如，这些对象相对于车辆的距离、这些对象的速度等。
因此，希望使用在车辆上可获的这种雷达信号，以便导出关于车辆周围区域的分割的假设。详细地，可以将车辆周围区域限定在包括网格单元的水平网格内。为了执行对车辆环境的感知，对于各个网格单元，要确定该单元例如是被占用的、无占用的还是观察不到的。这个过程和与车辆环境内的分割相关的类似过程也被称为语义分割。
近来已经使用神经网络执行了车辆环境的语义分割任务。这种神经网络的性能以及通常基于机器学习的任何算法的性能强烈地依赖于在训练期间可用于该网络或算法的信息的质量，即，该网络或算法可以从成对的输入和真值(ground truth)中提取的信息。
从车辆环境捕获的雷达数据固有地是有噪声的并且可以提供稀疏的信息。因此，被用于基于雷达数据的语义分割的神经网络的性能是有限的，并且与神经网络的预测有关的错误是很有可能的。甚至可能不可避免的是，神经网络偶尔无法执行语义分割任务。另外，在关于将输入数据映射至输出数据的参数或权重的训练之后，对于经学习的神经网络可能存在一些附加的不确定性。
迄今为止，将神经网络用于基于雷达数据的语义分割的算法还不能提供具有关于神经网络的预测的不确定性的定量评估。如果将该预测例如用于经由驾驶员辅助系统来对车辆进行导航，那么这种关于不确定性的缺失信息可能导致显著的事故。
因此，需要这样一种确定车辆环境的语义分割的方法和系统，即，其能够提供关于所得语义分割的不确定性的可靠信息。
发明内容
在一个方面，本公开致力于一种确定车辆的环境的语义分割的计算机实现方法，该车辆包括多个雷达传感器以及处理装置，该处理装置被配置成建立确定性神经网络和贝叶斯神经网络。所述方法包括特征提取阶段，该特征提取阶段包括：经由处理装定义对车辆的环境进行划分的单元的网格；从所述多个雷达传感器接收雷达点云；向各个网格单元指派雷达点云的至少一个特征；以及通过使用包括确定性权重的确定性神经网络来提取各个网格单元的高级特征。所述方法还包括分类阶段，该分类阶段包括：定义网格单元的几个类；针对贝叶斯神经网络的层，概率性地确定各种权重集；以及经由贝叶斯神经网络，基于高级特征并且基于各种权重集来估计各个类的置信度值和各个网格单元的置信度值。最后，所述方法包括后处理阶段，该后处理阶段包括：基于所估计的置信度值，针对各个网格单元来确定预测类以及该预测类的不确定性程度。
雷达点云包括来自车辆环境中的对象的雷达反射，并且是从可以在笛卡尔坐标系中组合的所述多个雷达传感器接收到的。详细地，各个雷达传感器包括对来自对象的反射进行检测的发送器和接收器。雷达点云的所述至少一个特征可以包括：每网格单元的雷达探测量、各个单元内的雷达探测的平均雷达截面等等。所述至少一个特征被从雷达点云的点传递至所指派的网格单元。例如，如果在某个网格单元内没有雷达探测，则该单元的所有特征被设定成零。
高级特征包括输入数据的空间局部相关性，即，雷达点云的所述至少一个特征相对于网格单元的空间局部相关性。因此，高级特征仅在神经网络的中间层内被数学地定义，并因此不会具有如同雷达点云的输入特征一样的与物理实体的直接关系。换句话说，当网络的各层从输入数据(即，从雷达点云的所述至少一个特征)提取高级特征时，确定性神经网络的特征提取层“自己决定”如何对有关图案(pattern)的信息进行编码。
特征提取阶段中的确定性神经网络可以是具有全连接层的卷积神经网络。例如，可以使用具有所谓的空洞(atrous)卷积和空洞空间金字塔池化(ASPP)的密集特征提取。
关于网格单元的类，例如，可以定义被标注为“无占用”、“占用”、“移动中”以及“未知”的四个类。在该示例中，后处理阶段向各个网格单元指派将这些类中的一个类，并且也确定各个网格单元的不确定性程度。由于通过贝叶斯神经网络来估计多于一个权重集以及多于一个置信度值，因此提供了用于估计置信度值和预测类的可变性，根据该可变性，除了例如基于输入数据的噪声的所谓的偶然不确定性(aleatoric uncertainty)之外，还估计了所谓的认知不确定性(epistemic uncertainty)或模型不确定性(model uncertainty),下面将详细描述。
语义分割的不确定性以及由此对车辆环境的感知的不确定性对于高级驾驶员辅助系统直到自主驾驶都是有用的，并且可以帮助避免急剧的事故。而且，对于特征提取阶段以及对于分类阶段，与完全贝叶斯神经网络相比，仅按照约需要概率分布数量的一半的方法来建立确定性和概率性神经网络的混合构造。因此，该方法在计算上是高效的，并因此在车辆的计算机系统上执行该方法是可行的。
所述方法可以包括以下特征中的一个或更多个特征：
不确定性程度可以包括认知不确定性和偶然不确定性。偶然不确定性可以是基于来自具有固定权重的确定性神经网络和贝叶斯神经网络的样本的预期熵来估计的。而且，可以基于贝叶斯神经网络的预期输出的熵来估计预测性不确定性(predictiveuncertainty)，并且将认知不确定性估计为预测性不确定性与偶然不确定性之间的差异。
在分类阶段，可以以预定次数的迭代来确定各种权重集，每次迭代皆提供各个类和各个网格单元的相应权重集和相应置信度值。在后处理阶段，可以计算各个类和各个网格单元的预定次数的迭代的相应置信度值的均值，并且各个网格单元的最高均值可以定义相应单元的预测类。
在分类阶段，可以针对贝叶斯神经网络的各个权重集来确定来自经学习的概率分布的样本。为了确定样本，可以使用高斯分布，以便近似后验分布。在每次迭代中，可以将高级特征于相应权重集进行卷积，该相应权重集可以从经学习的概率分布进行采样。在每次迭代中，可以将Softmax函数应用至高级特征与相应权重集的卷积的结果，以便针对相应迭代来估计各个类的归一化置信度值。在分类阶段，神经网络可以另选地包括漏失(dropout)层和各种确定性层。
雷达点云的所述至少一个特征可以包括：每单元的雷达探测量、各个单元的平均多普勒值、各个单元距雷达传感器的平均距离、各个单元的平均方位角和/或各个单元内的雷达探测的平均雷达截面。
根据实施方式，不确定性程度可以包括认知不确定性和偶然不确定性。通常，认知不确定性指的是关于被用于神经网络的模型参数或权重的不确定性。与此相反，偶然不确定性指的是由输入数据造成的不确定性，例如由生成雷达点云的雷达信号的噪声造成的不确定性，对于该雷达点云，将至少一个特征用作该方法的特征提取阶段的输入。分解认知不确定性和偶然不确定性中的不确定性程度对于使用该方法的输出的应用(例如，对于驾驶员辅助系统)而言可能是重要的。
偶然不确定性可以是基于来自确定性神经网络和贝叶斯神经网络的样本的预期熵来估计的。为了估计预期熵，整个神经网络(即，确定性神经网络和贝叶斯神经网络)可以具有固定权重。由于这种预期熵独立于网络参数的不确定性，并因此排它地依赖于输入数据，因此它可以是偶然不确定性的适当估计。而且，可以基于贝叶斯神经网络的预期输出的熵来估计预测性不确定性，并且可以将认知不确定性估计为预测性不确定性和已经基于权重的预期熵进行估计的偶然不确定性的差异。即，可以定义直接的方式以基于预期熵来估计认知不确定性。
根据另一实施方式，在分类阶段，以预定次数的迭代来确定各种权重集，其中，每次迭代皆提供各个类和各个网格单元的相应权重集和相应置信度值。由于用于确定权重集的预定次数的迭代，因此可以生成定义的可变性，以用于将贝叶斯神经网络应用于在该方法的第一阶段中提取的高级特征。可变性可以允许可靠地估计关于各个网格单元的预测类的不确定性。
在后处理阶段，可以计算各个类和各个网格单元的预定次数的迭代的相应置信度值的均值。各个网格单元的最高均值可以定义相应单元的预测类。计算迭代的均值可以是估计单元属于某一类的概率的直接方式。在概率性地确定贝叶斯神经网络的权重之后并且在将权重边缘化(marginalized)之前(即，在计算相应的均值之前)，可以将所有迭代的置信度值连结起来。这种边缘化可以经由蒙特卡罗(Monte Carlo)过程来执行。
根据另一实施方式，在分类阶段，针对贝叶斯神经网络的各个权重集确定来自经学习的概率分布的样本。此外，这些样本可以在每次迭代中与在该方法的第一阶段从雷达点云的一个或多个输入特征中提取的高级特征进行卷积。因此，从计算的观点来看，可以将成本相当高的概率分布的应用限制到该方法的第二或分类阶段，而第一或特征提取阶段依赖于确定性神经网络。因此，与包括所有相关层的完全贝叶斯神经网络相比，可以减少该方法的计算工作量。另外，通过选择包括可以在神经网络的训练阶段期间学习的参数的适当概率分布，可以改进为可靠确定各个单元的预测类的不确定性所需的可变性。
在每次迭代中，可以将Softmax函数应用至高级特征与相应权重集的卷积的结果，以便针对相应迭代来估计各个类的归一化置信度值。即，将Softmax函数应用于贝叶斯神经网络的最后一层的输出，以便提供归一化置信度值，该归一化置信度值对于网格的各个单元总计为一。详细地，可以将Softmax函数应用于贝叶斯神经网络的卷积层的输出。
为了在分类阶段确定来自经学习的概率分布的样本，可以使用高斯分布以便近似后验分布。如在贝叶斯神经网络领域中已知的，后验分布是不能用于直接计算的先验并且需要被适当地近似。对于需要低计算工作量的这种近似，使用高斯分布是直接的方式，这是因为该概率分布可以仅由作为参数的均值和标准偏差来控制。
根据另一实施方式，在分类阶段，神经网络可以包括漏失层和各种确定性层。在漏失层内，由特征提取阶段输出的一些高级特征的权重可以在应用另一些确定性层之前被随机地设定成零。由于被设定成零的高级特征的这种随机选择，因此，该方法的分类阶段可以被认为是概率性的，并且也被称为贝叶斯神经网络。在该实施方式中，来自如上所述的概率分布的采样可以由漏失层和另外的各种确定性层替换。由于本实施方式不需要概率分布，因此与上述依赖于来自概率分布的采样的实施方式相比，需要更少的参数和因此更少的存储器。
作为另一另选例，可以提供特征提取阶段和分类阶段两者的全贝叶斯架构。因此，两个阶段的权重可以基于从经学习的概率分布中采样来确定。这可以导致语义分割的改进结果，但是可能增加计算工作量，即，关于计算和存储器使用的成本。
雷达点云的所述至少一个特征可以包括：每单元的雷达探测量、各个单元的平均多普勒值、各个单元距雷达传感器的平均距离、各个单元的平均方位角和/或各个单元内的雷达探测的平均雷达截面。因此，这些特征中的一个或更多个特征可以直接从雷达点云导出并被指派给网格单元。
在另一方面，本公开致力于一种确定车辆环境的语义分割的系统。该系统包括多个雷达传感器以及被配置成建立确定性神经网络和贝叶斯神经网络的处理装置。该处理装置包括特征提取模块，该特征提取模块被配置成定义划分车辆环境的单元的网格；从所述多个雷达传感器接收雷达点云；向各个网格单元指派雷达点云的至少一个特征；以及通过使用包括确定性权重的确定性神经网络来提取各个网格单元的高级特征。该处理装置还包括分类模块，该分类模块被配置成定义网格单元的几个类；针对贝叶斯神经网络的层，概率性地确定各种权重集；以及经由贝叶斯神经网络，基于高级特征并且基于各种权重集来估计各个类的置信度值和各个网格单元的置信度值。该处理装置包括后处理模块，该后处理模块被配置成针对各个网格单元，基于所估计的置信度值来确定预测类以及该预测类的不确定性程度。
如本文所用，术语“模块”可以是指以下项、作为以下项的一部分，或者包括以下项：专用集成电路(ASIC)；电子电路；可组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器(共享、专用或组)；提供上述功能的其它合适组件；或者上述中的一些或全部的组合，诸如采用芯片上系统。术语模块可以包括存储由处理器执行的代码的存储器(共享、专用或组)。
总之，根据本公开的系统包括所述多个雷达传感器以及包括三个模块的处理装置，所述三个模块被安装在车辆中并且被配置成执行如上所述的相应方法的步骤。因此，上面针对所述方法描述的本公开的好处、优点对于根据本公开的系统也是有效的。
在另一方面，本公开致力于一种计算机系统，所述计算机系统被配置成执行本文所描述的计算机实现方法的若干或所有步骤。
该计算机系统可以包括处理单元、至少一个存储器单元以及至少一个非暂时性数据存储部。该非暂时性数据存储部和/或存储器单元可以包括计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
在另一方面，本公开致力于一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现方法的若干或所有步骤或各方面的指令。可以将计算机可读介质被配置为：诸如光盘或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁介质；固态驱动器(SSD)；只读存储器(ROM)；闪速存储器；等等。而且，可以将计算机可读介质配置为可经由诸如互联网连接的数据连接来访问的数据存储装置。计算机可读介质例如可以是在线数据存储库或云存储。
本公开还致力于一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
附图说明
本文结合以下示意性地示出的附图，对本公开的示例性实施方式和功能进行描述：
图1描绘了包括根据本公开的系统的车辆的图；
图2描绘了根据本公开的方法的不同阶段的概览；
图3显现了在图2所示的方法的分类阶段中使用的近似；
图4描绘了图2所示的方法的分类阶段的细节；
图5描绘了当执行图2所示的方法时，偶然不确定性与精度的相关性的示例；
图6描绘了当执行图2所示的方法时，认知不确定性与精度的相关性的示例；以及
图7描绘了执行语义分割的示例。
具体实施方式
图1示意性地描绘了配备有根据本公开的系统13的车辆11。系统13包括：用于监测车辆11的环境的多个雷达传感器15；以及处理装置17，该处理装置被配置成执行如下所述的方法，以便确定车辆11的环境的语义分割。系统13可以包括四个雷达传感器15，然而，雷达传感器15的确切数量不太重要，只要提供有用的雷达点云(参见下文)作为系统13的输入即可。
处理装置17包括：特征提取模块19、分类模块21以及后处理模块23。模块19、21、23中的各个模块被指派给根据本公开的方法的不同阶段31、33、35(参见图2)中的相应阶段。因此，模块19、21、23中的各个模块执行属于不同阶段31、33、35的方法步骤的相应部分。
对于车辆11的环境，由处理装置17限定单元27的网格25(参见图2)。网格25被限定在与车辆11当前行驶的车道相切的平面中。在该平面中，网格25沿x和y方向延伸，并因此包括Cx乘Cy个单元27的量。
雷达传感器15(参见图1)包括：用于将雷达信号发送到车辆11的环境中的发送器；以及用于检测所发送的雷达信号的反射的接收器。因此，雷达点云是由雷达传感器15提供的，其中，点云的各个点与网格单元27相关。另外，向各个网格单元指派雷达点云的特征29。特征29包括：每网格单元27的雷达探测量、各个单元27的平均多普勒值、相应单元27距雷达传感器15的平均距离、各个单元27内的平均方位角和/或雷达探测的平均雷达截面。将这些特征和单元27用作下述方法的输入数据。
图2描绘了根据本发明的方法的概述，该方法包括：特征提取阶段31、分类阶段33以及后处理阶段35。除了如上所述获取输入数据之外，特征提取阶段31还包括神经网络的特征提取层，并且分类阶段33包括也具有神经网络的多个层的贝叶斯分类头。因此，特征提取层和贝叶斯分类头一起形成包括同时被训练的层的神经网络。与此相反，后处理阶段基于神经网络的输出执行估计，以便生成该方法的希望输出。
特征提取阶段31的方法步骤是由特征提取模块19(参见图1)来执行的。特征提取阶段31的特征提取层是在各个层内具有确定性或固定权重的神经网络。对于雷达点云的被指派给Cx×Cy个网格单元27中的各个网格单元作为输入的F0个特征，特征提取阶段31的特征提取层生成也被指派给各个网格单元27的FE个高级特征37，从而为分类阶段33的层提供输入。
分类阶段33的方法步骤是由分类模块21(参见图1)执行的。分类阶段33的层形成贝叶斯神经网络，该贝叶斯神经网络依赖于各个层内的概率分布或概率权重。与特征提取阶段31的层中的固定权重相反，分类阶段33的贝叶斯神经网络中的权重是根据高斯分布来定义的。
对于分类阶段，定义NC个类以用于对车辆11的环境的网格单元27进行分类。例如，定义了具有相应的标签“无占用”、“占用”、“移动中”以及“未知”的四个类。这些类也对应于如图5和图6所示的相应图。因此，各个类的标注表示各个单元的属性。
而且，在分类阶段33，通过贝叶斯神经网络的各个层的权重来生成来自概率分布39(参见图4)的样本。该采样被重复NS次，以便获得NC个类的变化输出。这些输出表示各个单元的类置信度。将分类阶段33内的NS次重复或迭代41(也参见图4)的输出连结在一起，以便定义后处理阶段35的输入。
后处理阶段35的方法步骤是由后处理模块23(参见图1)来执行的。在后处理阶段35，针对各个单元，通过NS次迭代来使分类阶段33的输出边缘化，以便获得各个类的置信度值。因此，将由贝叶斯神经网络输出的置信度或概率的可变性边缘化。详细地，针对由迭代提供的概率值来计算各个类和各个单元的均值。各个单元的最高均值定义了预测类，即，对于本示例，相应的单元是被分类为无占用、占用、移动中还是未知。此外，估计各个预测类和各个单元的不确定性。
对贝叶斯神经网络的层的各个权重的NS次重复或迭代生成分类阶段33的输出的可变性。这种可变性允许估计各个单元的预测类的相应的认知不确定性(下面将描述)。因此，该方法提供被用于车辆11的环境的语义分割的各个单元的分类以及该分类的不确定性估计。这由图2右侧的两层的单元网格来表示，其中，一个网格层表示经分类的单元，而另一网格层表示认知不确定性和偶然不确定性的总和(下面也将描述)。
由于特征提取阶段31的神经网络包括确定性或固定权重，并且分类阶段33的贝叶斯神经网络包括概率权重，因此，生成包括确定性层和概率层的混合网络结构。由于贝叶斯神经网络所需的概率分布需要比特征提取阶段31的确定性权重高的计算工作量，因此与针对阶段31和33两者使用完全概率贝叶斯神经网络相比，计算工作量因该混合结构而大大减少。由于计算工作量的这种减少，因此，可以在车辆内的计算机系统上执行根据本公开的方法。
为了在特征提取阶段31执行特征提取，应用了所谓的空洞空间金字塔池化(ASPP)，该ASPP例如在2017年5月12日arXiv:1606.00915v2的Chen等人的“DeepLab:Semantic Image Segmentation with Deep Convolutional Nets,Atrous Convolution,and Fully Connected CRFs”中进行了详细描述。ASPP使用扩张卷积神经网络来执行语义分割任务。基于单元的高级特征37(由确定性特征提取阶段31生成)表示不能直接理解或者与上面提及的雷达点云的特征直接相关的空间局部相关性。换句话说，高级特征37仅存在于特征提取阶段31的确定性层与分类阶段33的概率层“之间”。
由后处理阶段35确定的不确定性包括所谓的偶然不确定性和所谓的认知不确定性。偶然不确定性涉及由输入造成的不确定性，例如由雷达传感器15(参见图1)接收的雷达信号的固有噪声而造成的不确定性。与此相反，认知不确定性涉及神经网络内的模型不确定性(即，关于其参数或权重的不确定性)，并且反映关于这样的模型的缺失知识，即，该模型生成作为输入提供的所收集的数据。
当使用神经网络对车辆的环境进行语义分割时，根据现有技术的系统主要仅考虑偶然不确定性。然而，偶然不确定性不能考虑在对网络进行训练时没有考虑到的情形的不确定性。因此，当执行网格单元27的语义分割时，为了提供对总不确定性的可靠预测，也必须考虑认知不确定性。
为了估计模型不确定性或认知不确定性，在贝叶斯神经网络中，即，在分类阶段33中，需要计算或近似所谓的后验分布p(W|X,Y)，这在贝叶斯概率理论领域中是公知的。在当前情况下，W是要在贝叶斯神经网络的层中使用的模型权重之一，而X和Y分别是用于训练神经网络的输入和输出数据。如还已知的，实际的后验分布通常不能直接进行计算(即，以分析方式)，因此需要通过包括由θ表示的参数的简化分布qθ(W)来近似。对于本示例，将高斯分布用于q，其中，参数θ是均值μ和标准偏差σ。详细地，对于后验分布p的近似，将高斯分布用作所谓的先验概率分布。对于与车辆环境的语义分割相关的本示例，使用μ＝0和σ＝1作为用于高斯分布的参数，该高斯分布被用作先验或初始分布(参见下文)，最后用于提供适合的结果。
另外，对于通过qθ(W)对后验分布的近似，应用所谓的变分推断(variationalinference)，其中，必须使实际的后验分布b与近似的高斯分布之间的所谓kullback-leibler散度(KL-散度)最小化。在Graves等人的“Practical variational inference forneural networks”，NIPS 2011中详细描述了变分推断的概念。图3描绘了变分推断的过程，其取自2016年12月5日Blei等人的：“Variational Inference:Foundations and ModernMethods”，NIPS 2016Tutorial。变化过程从θinit(q的起始参数)运行直到θopt(q的参数，使KL散度最小化)。经优化的Q与实际的后验分布p之间的剩余差异KL表示最小KL散度。总之，经由变分推断过程，被用作先验概率分布的高斯分布变成近似的后验概率分布。结果，在分类阶段33内针对贝叶斯神经网络的各个权重生成高斯分布。通过在整个神经网络的训练过程期间接收到的经学习的均值μ和经学习的标准偏差σ来参数化该高斯分布。
总之，在整个神经网络(即，确定性层和概率层)的训练期间，针对贝叶斯神经网络的权重来优化高斯分布，这对于整个方法的适当功能是根本的。通过将KL散度定义为损失然后通过反向传播对神经网络进行训练来该训练神经网络。换句话说，针对贝叶斯神经网络的权重训练高斯分布，同时训练特征提取层的确定性权重。
图4描绘了分类阶段33(还参见图2)的细节。利用从在图3的背景下描述的经学习的概率分布中采样的权重来对各个网格单元的高级特征37进行卷积。图4下部的放大部分中示出了各个高级特征f0、f1、…、fz的卷积。
对于各个卷积的结果，即，对于各个单元，应用所谓的Softmax函数或归一化指数函数，以便获得归一化置信度值。卷积和应用Softmax函数的过程被执行NS次，即，被执行NS次迭代41，其中，对于NS次迭代41中的每次迭代，从经学习的概率分布中采样新的权重。最后，连结所有迭代的归一化置信度值以形成被用作后处理阶段35的输入的张量。
在后处理阶段35(参见图2)，通过根据在分类阶段33执行的NS次迭代41(参见图4)期间的加权和或均值进行的近似来执行相对于贝叶斯神经网络的权重的边缘化。对NC个类中的各个类和各个网格单元27执行该边缘化。基于根据均值近似的这种边缘化，通过为各个单元选择具有最高均值的类，来确定各个单元的预测类，如上所述。
另外，后处理阶段35估计各个网格单元27的不确定性，即，关于预测类的不确定性。首先，在应用Softmax函数之后，将预测性不确定性计算为预测分布的熵，即，分类阶段33的输出的熵。详细地，预测性不确定性由下式给出：
H[y*|x*，D]＝-∑Cp(y*＝C|x*，D)x log p(y*|x*，D) (1)
如上所述，分布p可以通过对权重进行边缘化以及通过用近似分布qθ(W)替换后验分布来近似。通过应用蒙特卡罗采样，可以获得以下近似并且该近似可以被用于预测性不确定性的估计：
Figure BDA0003382597800000111
其中，K个权重是从近似的分布wK～qθ采样的。
可以将由式(1)定义的预测性不确定性分解成上述的认知不确定性和偶然不确定性之和。偶然不确定性被估计为针对网络样本的预期熵：
Ew～p(w|D)[H[y*|x*，D]] (3)
该术语定义了当权重被固定时的平均熵，并因此独立于网络参数中的不确定性，即，独立于认知不确定性。即，如式(3)中所定义的预期熵排它地取决于输入数据，并因此表示偶然不确定性。最后，通过从各个网格单元27的预测性不确定性中减去基于式(3)估计的偶然不确定性来估计认知不确定性。
根据另选实施方式，在分类阶段33，针对概率分布的采样可以由所谓的漏失层和执行确定性二维卷积的另一些层的组合来替换。在漏失层中，随机选择来自特征提取阶段31的高级特征中的一些，并且这些特征被以0.5的概率设定成零，以便在分类阶段的输出中获得可变性。这种可变性是估计不确定性所需的。另一些确定性卷积层在各个层中包括总是固定(即，在训练、测试以及应用神经网络期间)的权重。因此，由于漏失层内的随机选择，该另选实施方式的分类阶段仍可以被认为是概率性的。由于另选实施方式不需要概率分布，因此减少了该实施方式的计算工作量。
图5和图6描绘了所估计的不确定性与基于测试数据的神经网络预测的精度之间的相关性。图5描绘了被标注为“无占用”、“占用”、“移动中”以及“未知”的四个类中的各个类的偶然不确定性和精度的相关性，而图6描绘了认知不确定性和精度的相关性。应注意，精度是神经网络的已知关键评估度量。
在图5和图6的各个图的x轴上，呈现了相应的不确定性(偶然不确定性或认知不确定性)，而y轴指的是精度。详细地，为相应的不确定性定义十个分位数，其中，各个分位数指示10％、20％、…、最不确定的预测。图5和图6的所有曲线示出了针对随后减小的不确定性的在精度上的严格单调增加。结果，根据本公开的包括如上所述的混合神经网络的方法能够可靠地预测偶然不确定性和认知不确定性。
图7示出了经由如上所述的系统和方法来感知车辆11的环境的示例。在图7的左侧，示出了语义分割任务的结果。详细地，车辆11周围的网格25被描绘为包括：被分类为无占用的区域51、被分类为占用的区域53以及被分类为未知的区域55。另外，各个区域51、53、55内的强度表示如上所述估计的不确定性。即，暗点57表示高度不确定的区域，而亮区域包括具有低不确定性的单元27。
在图7的右侧，示出了车辆11的环境的对应相机图片，其中，当从车辆11向四个不同方向观看时拍摄这四个图片。61是沿向前方向拍摄的图片，63表示左侧，65表示右侧，而67是针对向后方向拍摄的。在前向图片61中，可以识别由箭头69指示的路桩，所述路桩限定了车辆11的车道。即，由相应的路桩占据的单元27显然不能随意行驶。
在图7的左侧，路桩所处的区域也由箭头69指示。然而，根据语义分割，路桩的区域错误地属于由该方法分类为无占用的区域51。
然而，除了语义分割之外，对于由暗点57指示的路桩所处的区域，通过该方法估计出非常高的不确定性。因此，由于另外考虑了不确定性，例如由暗点57指示的针对路桩所处区域的高不确定性，所以车辆11的高级驾驶员辅助系统能够防止车辆11与具有高度不确定的区域57相接触。在当前情况下，由于对被错误地分类为无占用的对应网格单元27估计出的高不确定性，因此可以防止与路桩相遇。
标号列表
11 车辆
13 系统
15 雷达传感器
17 处理装置
19 特征提取模块
21 分类模块
23 后处理模块
25 网格
27 单元
29 雷达点云的特征
31 特征提取阶段
33 分类阶段
35 后处理阶段
37 高级特征
39 概率分布
41 迭代
43 卷积
45 Softmax函数的应用
47 连结
51 无占用区域
53 被占用区域
55 未知区域
57 具有高不确定性的暗点
59 向前方向的图片
63 向左方向的图片
65 向右方向的图片
67 向后方向的图片
69 箭头

Claims (15)

1.一种确定车辆(11)的环境的语义分割的计算机实现方法，所述车辆包括处理装置(17)以及多个雷达传感器(15)，所述处理装置(17)被配置成建立确定性神经网络和贝叶斯神经网络，所述方法包括以下步骤：
i)特征提取阶段(31)，所述特征提取阶段包括
经由所述处理装置(17)定义划分所述车辆(11)的环境的单元(27)的网格(25)，
从所述多个雷达传感器(15)接收雷达点云，
向各个网格单元(27)指派所述雷达点云的至少一个特征(29)，以及
通过使用包括确定性权重的所述确定性神经网络来提取各个网格单元(27)的高级特征(37)，
ii)分类阶段(33)，所述分类阶段包括
定义所述网格单元(27)的几个类，
针对所述贝叶斯神经网络的层，概率性地确定各种权重集，以及
经由所述贝叶斯神经网络，基于所述高级特征(37)并且基于所述各种权重集来估计各个类的置信度值和各个网格单元(27)的置信度值，
ii)后处理阶段(35)，所述后处理阶段包括
针对各个网格单元(27)，基于所估计的置信度值来确定预测类以及所述预测类的不确定性程度。
2.根据权利要求1所述的方法，其中，所述不确定性程度包括认知不确定性和偶然不确定性。
3.根据权利要求2所述的方法，其中，所述偶然不确定性是基于来自所述确定性神经网络和所述贝叶斯神经网络的样本的预期熵来估计的。
4.根据权利要求3所述的方法，其中，为了在所述后处理阶段(35)中分解所述不确定性，基于所述贝叶斯神经网络的预期输出的熵来估计预测性不确定性，并且所述认知不确定性被估计为所述预测性不确定性与所述偶然不确定性之间的差异。
5.根据前述权利要求中任一项所述的方法，其中，在所述分类阶段(33)，以预定次数的迭代(41)确定各种权重集，每次迭代(41)提供各个类和各个网格单元(27)的相应权重集和相应置信度值。
6.根据权利要求5所述的方法，其中，在所述后处理阶段(35)，计算各个类和各个网格单元(27)的预定次数的迭代(41)的相应置信度值的均值，并且各个网格单元(27)的最高均值定义了相应单元(27)的所述预测类。
7.根据前述权利要求中任一项所述的方法，其中，在所述分类阶段(33)，针对所述贝叶斯神经网络的各个权重集确定来自经学习的概率分布(39)的样本。
8.根据权利要求5或6所述的方法，其中，在所述分类阶段(33)，在每次迭代(41)中，所述高级特征(37)与所述相应权重集进行卷积，所述相应权重集是根据来自经学习的概率分布(39)的样本确定的。
9.根据权利要求8所述的方法，其中，在每次迭代(41)中，将Softmax函数(45)应用至所述高级特征(37)与所述相应权重集的卷积(43)的结果，以便针对相应迭代(41)来估计各个类的归一化置信度值。
10.根据权利要求7至9中任一项所述的方法，其中，为了在所述分类阶段(33)中确定来自所述经学习的概率分布(39)的所述样本，使用高斯分布以便近似后验分布(39)。
11.根据权利要求1至6中任一项所述的方法，其中，在所述分类阶段(33)，所述神经网络包括漏失层和各种确定性层。
12.根据前述权利要求中任一项所述的方法，其中，所述雷达点云的所述至少一个特征(29)包括：每单元(27)的雷达探测量、各个单元(27)的平均多普勒值、各个单元(27)至所述雷达传感器(15)的平均距离、各个单元(27)的平均方位角和/或各个单元(27)内的雷达探测的平均雷达截面。
13.一种确定车辆(11)的环境的语义分割的系统，所述系统包括：
多个雷达传感器(15)；以及
处理装置(17)，所述处理装置(17)被配置成建立确定性神经网络和贝叶斯神经网络，并且所述处理装置包括：
i)特征提取模块(19)，所述特征提取模块被配置成
定义划分所述车辆(11)的环境的单元(27)的网格(25)，
从所述多个雷达传感器(15)接收雷达点云，
向各个网格单元(27)指派所述雷达点云的至少一个特征(29)，以及
通过使用包括确定性权重的所述确定性神经网络来提取各个网格单元(27)的高级特征(37)，
ii)分类模块(21)，所述分类模块被配置成
定义所述网格单元(27)的几个类，
针对所述贝叶斯神经网络的层，概率性地确定各种权重集，以及
经由所述贝叶斯神经网络，基于所述高级特征(37)并且基于所述各种权重集来估计各个类的置信度值和各个网格单元(27)的置信度值，
iii)后处理模块(23)，所述后处理模块被配置成
针对各个网格单元(27)，基于所估计的置信度值来确定预测类以及所述预测类的不确定性程度。
14.一种计算机系统，所述计算机系统被配置成执行根据权利要求1至12中任一项所述的计算机实现方法。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括执行根据权利要求1至12中任一项所述的计算机实现方法的指令。
CN202111439975.0A 2020-12-02 2021-11-30 确定车辆环境的语义分割的方法 Pending CN114648633A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20211270.2A EP4009236A1 (en) 2020-12-02 2020-12-02 Method for determining a semantic segmentation of an environment of a vehicle
EP20211270.2 2020-12-02

Publications (1)

Publication Number Publication Date
CN114648633A true CN114648633A (zh) 2022-06-21

Family

ID=73694863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111439975.0A Pending CN114648633A (zh) 2020-12-02 2021-11-30 确定车辆环境的语义分割的方法

Country Status (3)

Country Link
US (1) US12118797B2 (zh)
EP (1) EP4009236A1 (zh)
CN (1) CN114648633A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4012603B1 (en) * 2020-12-10 2023-12-06 Aptiv Technologies Limited Method for classifying a tracked object
US20220254042A1 (en) * 2021-02-11 2022-08-11 GM Global Technology Operations LLC Methods and systems for sensor uncertainty computations
DE102022212480A1 (de) 2022-11-23 2024-05-23 Stellantis Auto Sas Matrixlichtlenkung zur Objekterkennung für automatisiertes Fahren

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451620A (zh) * 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于多任务学习的场景理解方法
CN110738242A (zh) * 2019-09-25 2020-01-31 清华大学 一种深度神经网络的贝叶斯结构学习方法及装置
CN110751199A (zh) * 2019-10-15 2020-02-04 南京航空航天大学 一种基于贝叶斯神经网络的卫星异常检测方法
WO2020053611A1 (en) * 2018-09-12 2020-03-19 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
US20200326718A1 (en) * 2019-04-09 2020-10-15 Robert Bosch Gmbh Control and monitoring of physical system based on trained bayesian neural network
US20200326667A1 (en) * 2020-06-24 2020-10-15 Intel Corporation Robust multimodal sensor fusion for autonomous driving vehicles

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816185B1 (en) * 2018-09-04 2023-11-14 Nvidia Corporation Multi-view image analysis using neural networks
EP3942527A1 (en) * 2019-03-21 2022-01-26 Five AI Limited Depth extraction
US11691650B2 (en) * 2019-07-08 2023-07-04 Uatc, Llc Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
US11885907B2 (en) * 2019-11-21 2024-01-30 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US10732261B1 (en) * 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning
US11790369B2 (en) * 2020-09-03 2023-10-17 Capital One Services, Llc Systems and method for enhanced active machine learning through processing of partitioned uncertainty
US11623661B2 (en) * 2020-10-12 2023-04-11 Zoox, Inc. Estimating ground height based on lidar data
EP3985552A1 (en) * 2020-10-14 2022-04-20 Deep Safety GmbH System for detection and management of uncertainty in perception systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451620A (zh) * 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于多任务学习的场景理解方法
WO2020053611A1 (en) * 2018-09-12 2020-03-19 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle
US20200326718A1 (en) * 2019-04-09 2020-10-15 Robert Bosch Gmbh Control and monitoring of physical system based on trained bayesian neural network
CN110738242A (zh) * 2019-09-25 2020-01-31 清华大学 一种深度神经网络的贝叶斯结构学习方法及装置
CN110751199A (zh) * 2019-10-15 2020-02-04 南京航空航天大学 一种基于贝叶斯神经网络的卫星异常检测方法
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
US20200326667A1 (en) * 2020-06-24 2020-10-15 Intel Corporation Robust multimodal sensor fusion for autonomous driving vehicles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEFAN DEPEWEG: "Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning", HTTPS://DOI.ORG/10.48550/ARXIV.1710.07283, 19 October 2017 (2017-10-19), pages 1 *

Also Published As

Publication number Publication date
US20220172485A1 (en) 2022-06-02
US12118797B2 (en) 2024-10-15
EP4009236A1 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
Michelmore et al. Evaluating uncertainty quantification in end-to-end autonomous driving control
Feng et al. A review and comparative study on probabilistic object detection in autonomous driving
CN114269620B (zh) 机器人系统的性能测试
CN114648633A (zh) 确定车辆环境的语义分割的方法
US11531899B2 (en) Method for estimating a global uncertainty of a neural network
CN112541520A (zh) 用于为神经网络生成反事实数据样本的设备和方法
Hu et al. A framework for probabilistic generic traffic scene prediction
CN114207541B (zh) 轨线预测
EP3985552A1 (en) System for detection and management of uncertainty in perception systems
Chan et al. Application of decision rules for handling class imbalance in semantic segmentation
CN1940591A (zh) 使用传感器融合进行目标跟踪的系统和方法
US11816914B2 (en) Modular predictions for complex human behaviors
US11392804B2 (en) Device and method for generating label objects for the surroundings of a vehicle
JP2017076289A (ja) パラメータ決定装置、パラメータ決定方法及びプログラム
CN117246358A (zh) 自动驾驶辅助系统用线路板及其方法
CN112418432A (zh) 分析多个物理对象之间的相互作用
EP3767534A1 (en) Device and method for evaluating a saliency map determiner
CN111435457A (zh) 对传感器获取的采集进行分类的方法
CN116611500A (zh) 用于训练神经网络的方法及装置
CN116324904A (zh) 用于注释传感器数据的方法和系统
Sicking et al. Approaching neural network uncertainty realism
Cotra et al. Lidar-based methods for tracking and identification
Donadi et al. Improving Generalization of Synthetically Trained Sonar Image Descriptors for Underwater Place Recognition
US20230351741A1 (en) Method and device for training a neural network
CN113963027B (zh) 不确定性检测模型的训练、不确定性的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240305

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right