CN112446413A - 用于机器学习模块的难度适应训练 - Google Patents

用于机器学习模块的难度适应训练 Download PDF

Info

Publication number
CN112446413A
CN112446413A CN202010884586.8A CN202010884586A CN112446413A CN 112446413 A CN112446413 A CN 112446413A CN 202010884586 A CN202010884586 A CN 202010884586A CN 112446413 A CN112446413 A CN 112446413A
Authority
CN
China
Prior art keywords
training
difficulty
data
input data
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010884586.8A
Other languages
English (en)
Inventor
K·帕特尔
张丹
M·法伊弗
W·H·柏鲁奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112446413A publication Critical patent/CN112446413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种用于获得和/或扩充用于机器学习模块（1）的训练数据集（11*）的方法（100），其包括：提供（110）用关于给定问题的标签（13a）标注的训练输入数据的样本（11a）；从训练输入数据的样本（11a）和相关联的标签（13a）获得（120）难度函数（14），该难度函数（14）提供了关于给定问题评估样本（11a）的难度（14a）的度量；获得（130）训练输入数据的至少一个候选样本（15）和/或其在工作空间（20）中的表示（25）；借助于难度函数（14），计算（140）关于给定问题评估此候选样本（15）和/或其表示（25）的难度（14a）的量度；以及响应于此难度满足预定标准（150），将候选样本（15）包括（160）在训练数据集（11*）中。

Description

用于机器学习模块的难度适应训练
本发明涉及出于这样的分类其特别适合于具有高度可变的不确定性的安全关键应用的目的的机器学习模块的训练。
背景技术
为了许多安全关键任务的自动化，诸如在道路交通中车辆的至少部分自动化驾驶，设想了使用可训练的机器学习模块。例如，这样的模块可以从车辆周围的环境中获取物理测量数据，并且给对象分类，该对象诸如是道路标记、道路标志、行人或其他车辆。使用这样的模块的附带好处是，基于对有限数量情况的训练，即使在不是训练的一部分的情况下，也可以合理预期车辆正确运转。从这个意义上讲，可以将训练过程视为类似于针对人类驾驶员的训练过程。人类驾驶员在训练过程期间只花了几十个小时在驾驶，但是然后就预期操控在一生中可能出现的任何意外情况。
对于这个和其他安全关键应用，知晓机器学习模块的输出的不确定性是至关重要的。例如，这样的不确定性可能是由物理测量数据的差的质量（诸如差的能见度条件），由在某些情况下（诸如，被卡车部分遮挡的汽车）识别某些对象的固有困难、或甚至由故意利用“对抗”模式操纵道路标志或相机（这可能欺骗机器学习模块进行误分类）而引起的。
US 2019/122 120 A1公开了一种用于为生成对抗网络（GAN）扩充训练数据集的方法。为了扩充，可以使用由生成器生成的样本，以及来自训练数据集的未标记样本。
US 2018/373 963 A1公开了一种图像分类系统，其将两个有区别的分类器的输出聚合。一个分类器是被训练成标识和识别通常出现的对象的常见实例分类器。另一分类器是稀有实例分类器，其被训练成计算稀有度分数，该稀有度分数表示输入图像被常见实例分类器正确分类的可能性。
发明内容
本发明由所附权利要求限定。呈现了未被权利要求覆盖的实施例和示例以说明要求保护的发明，并且便于对要求保护的发明的理解。
发明的公开内容
本发明提供了一种用于获得和/或扩充用于机器学习模块的训练数据集的方法，该机器学习模块要将输入数据映射到关于给定的待解决问题而言是有意义的输出数据。这样的问题的一个主要示例是根据物理测量数据对对象的分类。
术语“机器学习模块”应当具体包括：体现了利用可调整参数进行参数化并理想地具有高一般化能力的功能的模块。在训练机器学习模块时，可以具体地调整参数，使得在将训练输入值馈送到模块中时，尽可能准确地复制相关联的地面真值标签。具体地，机器学习模型可以包括或者是人工神经网络。
在该方法的过程中，提供了训练输入数据的样本。每个这样的样本都与标签相关联。关于待解决问题，此标签构成“地面真值”。即，如果机器学习模块将训练输入数据的样本映射到与此样本的标签相对应的输出数据（例如，它将停止标志的照片映射到“停止标志”），则这关于给定问题被认为是有意义的。
根据训练输入数据的样本和相关联的标签，难度函数其被配置成将训练输入数据的样本或其在工作空间中的表示映射到关于给定问题来评估此样本的难度的度量。例如，难度可以是当要对物理测量数据实行对象的分类时出现的不确定性的度量。
如以上所提到的，难度可能变化的原因很多。例如，正如每个人类驾驶员知晓的，在夜间或在大雨中在远处识别对象更困难。在其中照明微弱且车辆移动非常快的情况下，相机图片的运动模糊也可能会阻碍对象的识别。即使在最佳条件下，某些对象也具有彼此混淆的固有可能性。例如，在德国，一组交通信号灯中的绿灯可能采用指向右边的箭头的形式，以指示从不允许其他人（诸如行人）越过进行右转的车辆的路径的意义上说，右转被允许且不受阻碍。但是，也有一个类似的标志，其具有非常不同的含义。可能紧挨着红灯固定一固定标志，该固定标志具有涂在其上的指向右边的绿色箭头。这指示即使红灯亮着也允许右转，但是所有这样做的车辆必须首先停下，并且还要注意十字路口交通。即，当红灯是针对一个方向的红灯时，垂直方向上的其他车辆具有绿灯，并且如果一辆这样的车辆从左向右即将到来，则尽管标志上有绿色箭头，红灯时右转也是不可能的。
引入新的交通标志也可能引起混淆的危险。例如，在德国，最近引入的“Umweltzone”标志指明其中仅允许满足某些低排放标准的车辆通过的区域。它由里面具有黑色单词“Umwelt”的红色圆圈和圆圈下面的黑色单词“Zone”组成。该标志的布局与早就知道的“30 km/h zone”标志的布局相同；仅有的区别是圆圈内是“Umwelt”而不是大数字“30”。因此，重复使用布局的缺点在于两个标志可能会混淆。
获得训练输入数据的至少一个候选样本和/或其在工作空间中的表示。借助于难度函数，计算出关于给定问题评估此候选样本和/或其在工作空间中的表示的难度的度量。响应于此难度满足预定标准，将候选样本包括在训练数据集中。
在这里，工作空间可以是其中以任何其他方式更容易、更快、更准确或更有利地获得或评估难度函数的任何空间。例如，如果待解决问题是分类，则挑选以下工作空间可能是有利的，在该工作空间中，样本属于相同类别聚类，并且聚类彼此分离。
此方法的有利效果是双重的。
首先，在收集用于训练的物理测量数据期间，某些情况可能比其他情况更经常发生。例如，如果数据是通过安装在车辆上的相机收集的，则交通标志将以与其在数据被收集的区域中的使用情况相对应的频率分布出现。当前，这种频率分布是通过人类驾驶员的需要所规定的，并且在许多方面对于训练识别对象的机器学习模块而言不是最佳的。例如，停车标志和让路标志被设计成具有有区别的形状，使得即使在最不利的环境下（诸如被雪完全覆盖），也可以识别它们的含义。机器学习模块可能需要在不同成像条件下的那些的很少样本，然后就可以一直信任它来识别这些重要标志。但是那些标志在最经常使用的标志当中，使得它们在数据集中出现得比必要的更经常得多。另一方面，有许多标志的确没有那么频繁出现，但是仍然非常重要。指示铁路道口的标志、以及警告驾驶员不要驶离码头进入水中的标志是这样的标志的示例。根据以上描述的方法，如果已经有足够的训练输入数据来识别停车标志和让路标志，并且将下一个具有停车标志或让路标志的训练图像馈送到训练中，则难度函数将认为此训练图像的难度非常低，并且冗余的训练图像将不会使其纳入最终训练数据集中。另一方面，如果到目前为止，训练只遇到很少的码头警告标志，那么具有这样的标志的下一个图像将收到非常高的难度等级。因此，其非常有可能在最终训练数据集中被接受。
即，训练数据集的组成可以被较好剪裁为实际需要的内容，以便变得更好。可以专门挑选新的培训数据来解决学习中的弱点。同时，可以从训练数据集中消除冗余信息。与以前可能的情况相比，可以利用更小的训练数据集并利用更少的训练时间来实现给定的精确度。
其次，由难度函数产生的难度等级可以被用来改善机器学习模块关于其输出的不确定性的自我评估。在安全关键应用中，机器学习模块输出的不确定性可以至少与输出本身一样重要。例如，高的不确定性可能指示输出根本不应该被信任。如将在下面更详细地讨论的，不确定性的精确量化可以被用来触发许多有用的动作来应对该不确定性。例如，如果能见度变差，则可以使用来自雷达传感器的数据来补充来自相机的数据。在最坏的情况下，机器学习模块可能指示其无法适当地操控情况，并且向人类操作员寻求帮助或从流动的交通中去除至少部分自动化的车辆。
如前面讨论的，在特别有利的实施例中，待解决问题包括：将输入数据的每个记录映射到输出数据的记录，该输出数据的记录针对多个离散类别的集合中的每个类别，指示输入数据的记录属于相应类别的概率和/或置信度。然后，难度函数可以包括：基于训练输入数据的样本和相关联的标签，训练判别式分类器，其将训练输入数据的样本和/或其在工作空间中的表示映射到指示此训练输入数据的样本属于离散类别中的每一个的概率和/或置信度的分类。然后，由难度函数确定的难度取决于此分类。
在这里，术语“记录”不要被理解为要求“记录”具有与“样本”根本不同的数据类型。而是，两者都处于同一空间中。术语“记录”是更通用的术语，并且“样本”是特殊种类的记录，其是训练数据集的一部分，或者被评估以包括在训练数据集中。在机器学习领域中，术语“样本”要表达有限训练数据集正被用来对未知的地面真值数据分布进行采样。
通过训练判别式分类器，机器学习模块到某种程度“学习如何学习”。一旦建立了判别式分类器，就可以对照难度的预定标准来检查训练输入数据的另外的候选样本，该难度凭借分类器的训练而与机器学习模块的待解决问题相关联。这些候选样本可能来自任何来源。例如，如果新的训练数据是通过以车辆在周围驾驶并利用安装在车辆上的相机记录图像而获取的，那么可以对照难度的标准来测试整个图像流。然后可以仅选择满足标准的图像以用于包括在训练数据集中。以这种方式，可以使用与待解决问题相关联的定量标准、以动机良好的方式实行大量新获取的物理测量数据（诸如图像）的第一梳出。这与在将第一次梳理委托给人类的情况下将要做的内容不同。例如，当要对图像进行分类时，使图像的分类更加困难的特征不必在图像中在视觉上如此突出，以至于这会吸引人们的注意。甚至有可能通过以下来故意阻碍机器学习模块对图像的分类：引入使分类被改变的不明显的修改（“对抗示例”）。
在特别有利的实施例中，由难度函数确定的难度至少部分地基于分类的歧义。例如，如果判别式分类器的输出是softmax分数，则该分数在可能的类别当中的质量分布指示歧义。如果softmax分数的质量集中在类别的特定子集上，而所有其他类别仅接收很少的总质量，则这指示特定子集中的类别之间的特定歧义。为了训练机器学习模块以更好地解决这样的歧义，可以利用处于类别之间的边界线上的样本故意地丰富训练数据集。机器学习模块可以从此种类的样本中学习到比其仅从相应类别的清晰示例中可以学习到的多得多。这种情况类似于学习如何驾驶飞机。关键部分不是学习如何实施例行飞行。而是，关键部分是操控各种各样的紧急事件，其中正确的动作将恢复对飞机的控制，错误的动作将使飞机毁灭，并且哪个动作是正确的动作并非立刻显而易见。
难度函数可以使用的另一度量是分类的熵。如果softmax分数的熵高，则这是歧义的另一特殊情况，其中区别在于可能涉及许多类别。而且，甚至可能无法辨别softmax分数优先选择哪个类别。
在另外的特别有利的实施例中，候选样本与对应于由判别式分类器所确定的分类的标签相关联。以这种方式，可以以好得多的精确度来确定最终训练的机器学习模块中的分类的不确定性，从而抵消了机器学习模块变得“过于自信”的趋势。
在标记训练数据时，这通常通过人类工作来实行，这可能使标记成为工作流程中的所有步骤中最昂贵的步骤。例如，给予人类图像和标注图像中出现的某些对象或特征的任务。人类擅长对图像中是否存在某个对象进行分类，但是难度的确定难以量化并且是非常主观的。因此，在大多数先前使用的训练数据集中，标签是“独热编码”或“硬编码”，其为训练输入数据的每个样本准确地分配了一个类别，而不论达到此标签的选择实际上有多么容易或多么困难。相比之下，已经使用判别式分类器确定的新标签是“软”标签，从某种意义上说，它可以包括连续区间（例如，0到1之间）中的值。由于由判别式分类器确定的分类也被用于确定难度，因此新的“软”标签反映了难度。这将减少机器学习模块进行分类的置信度。
在另外的特别有利的实施例中，挑选工作空间，使得：训练输入数据的样本关于给定问题的相似度与这些样本在工作空间中的表示之间的距离的相关程度比其与这些样本之间的距离相关的程度相同或更高。例如，通过挑选适当的工作空间，训练输入数据的样本的表示可以形成与分类的可用类别相对应的聚类。
这进而使工作空间成为特别有价值的工具，以用于故意取得具有某些属性的训练输入数据的样本，该属性关于当使用机器学习模块对它们进行分类时将遇到的难度。在另外特别有利的实施例中，在工作空间内针对训练输入数据的候选样本的候选表示来实行搜索。搜索由难度函数指导，在此示例中，该难度函数在工作空间中操作。从工作空间获得候选表示，使得由难度函数确定的难度满足预定标准。然后，将此获得的候选表示变换成候选样本，然后可以将该候选样本添加到训练数据集。
候选表示可以多么精确地变换为候选样本取决于对工作空间的具体选择、以及取决于挑选以用于创建此工作空间的具体方法。在另外特别有利的实施例中，基于训练输入数据的样本，一起训练用于将这些样本变换为工作空间中的表示的编码器和用于根据表示来重构这些样本的解码器。实行训练，其中目的在于重构的结果与最终从中得出它们的相应样本最佳匹配。通过以这种方式训练编码器-解码器架构，基于经训练的编码器根据训练输入数据的样本产生的表示，自动创建工作空间。换句话说，基于训练输入数据，学习了数据流形，并且可以在此流形上实行对具有关于难度的期望属性的表示的搜索。同时，解码器允许将找到的候选表示直接变换为训练输入数据的所寻找的候选样本。
特别地，训练输入数据的给定样本在工作空间中的表示很可能比样本本身具有更小的维度，即，以更少数量的元素来表征。然后，该表示是压缩的表示，并且搜索空间在编码器与解码器之间形成某种程度的“信息瓶颈”。创建这样的“信息瓶颈”是使训练输入数据的样本关于给定问题的相似度以更高程度与工作空间中的这些表示之间的距离相关的一种可能方式。换句话说，如果训练输入数据的样本关于给定问题是相似的，则它们在工作空间中的表示倾向于移动到一起。如果样本关于给定问题是不同的，则它们在工作空间中的表示倾向于移动分开。
例如，可以使用基于变分自动编码器（VAE-GAN）的生成对抗网络。此布置包括：编码器E
Figure 734204DEST_PATH_IMAGE001
（z|x），其将训练输入数据的样本x从数据获取空间X映射到工作空间Z中的表示z。该布置进一步包括：解码器G
Figure 681038DEST_PATH_IMAGE001
（x′|z），其将表示z从空间Z往回映射到数据获取空间X中的训练输入数据的样本x′。该布置进一步包括：鉴别器Dω（X），其评估来自其被给予的数据获取空间X的样本是一直驻留于此空间X中的训练输入数据的真实样本x，还是其是通过VAE-GAN从空间X到空间Z并且返回X的变换的最终结果x′。编码器、解码器和鉴别器一起训练。编码器和解码器的合集努力产生更好的“伪”样本x'，而鉴别器努力改进其区分“伪”样本x'与真实样本x的能力。在完成对VAE-GAN的训练之后，x'与x无法区分，所以当作为搜索的结果在空间Z中找到候选表示z时，空间X中的反向变换样本x'可以像任何其他真实训练样本一样，被用作训练机器学习模块的训练样本。
可以在训练编码器-解码器架构之后，训练将空间Z中的样本z映射到类别y的判别式分类器Cγ（y|z）。然而，同时训练判别式分类器和编码器-解码器架构是有利的。这允许编码器和解码器加快训练过程。替换地，分类器也可以采用形式Cγ（y|x'），即，它可以对重构样本x'工作。
在另外特别有利的实施例中，搜索的实行包括：基于工作空间中的表示，通过解决工作空间中关于优值函数的优化问题来获得候选表示，其中，优值函数至少部分地基于难度函数。
以这种方式，倘若合适的优值函数是可用的，就可以相对快速地获得适合于特定目的的训练输入数据的新样本。凭借优化，已经保证了此新样本将满足关于根据难度函数的难度的预定标准。
例如，考虑到与类别标签y相关联的样本x，这可以被编码器E
Figure 726354DEST_PATH_IMAGE002
（z|x）变换为表示z。位于当前类别y与另一类别y'≠y的类别边界上的新表示z'然后可以通过解决以下优化（“类别目标扰动”）来获得：
Figure 652722DEST_PATH_IMAGE004
然后可以借助于解码器G
Figure 529411DEST_PATH_IMAGE002
（x'|z）将获得的z′变换成所寻求的新样本x′。此新样本x'展示了来自至少两个类别的属性，并且软标签（即，判别式分类器Cγ的softmax输出）通过将大部分质量跨那两个或更多个类别分布而反映了这一点。
在另一示例中，考虑到具有或不具有标签的样本x，这可以被编码器E
Figure 617453DEST_PATH_IMAGE002
（z|x）再次变换为表示z。具有最大熵的新表示然后可以通过解决以下优化来获得：
Figure 150065DEST_PATH_IMAGE006
所获得的z′可以再次借助于解码器G
Figure 709485DEST_PATH_IMAGE002
（x'|z）被变换成所寻求的新样本x′。此新样本x'展示了来自可能多个类别的特征，并且具有非常高的熵。
在另一特别有利的实施例中，搜索的实行包括：从工作空间绘制随机表示，并且评估这些随机表示是否满足预定标准。这可能涉及绘制许多样本，并且逐个检查它们，所以它可能是计算上密集的。但是，它为确定满足难度标准的新样本打开了道路，对于所述新样本，没有优值函数可用。例如，在与安全相关的应用中，具体的难度函数和难度标准可以由监管约束条件规定，所以不可能用利用优值函数更易于处理的某物来代替它们。
本发明还提供了一种用于训练机器学习模块的方法。此方法开始于使用上述方法获得和/或扩充训练数据集。在那之后，对机器学习模块的可训练参数进行优化。训练输入数据的样本由机器学习模块进行处理以产生输出数据。优化了机器学习模块的参数，使得输出数据与关联于训练输入数据的样本的相应标签最佳匹配。以这种方式，丰富的训练数据集中的知识（即应当如何操控不清楚和模糊情况）被变换为机器学习模块的行为，该行为将此知识一般化为在其预期的应用中使用机器学习模块期间发生的新情况。
如前面讨论的，评估由传感器获取的物理测量数据是已由至少一个传感器获取的机器学习模块的重要应用领域。因此，本发明还提供了一种用于评估物理测量数据的方法。
在此方法的过程中，提供了机器学习模块。使用上述方法训练机器学习模块。使用至少一个传感器来获取物理测量数据。将物理测量数据作为输入数据提供给经训练的机器学习模块。经训练的机器学习模块将输入数据映射到输出数据以及相关联的不确定性。
在本领域中已经进行了许多努力来提高输出数据的精确度。但是，具体地对于安全关键应用，准确了解不确定性可能至少与输出数据（诸如图像中的对象分类）本身一样重要。在这种情况下，最期望的是，机器学习模块内确定的不确定性实际上与输出数据的精确度相匹配，即，机器学习模块关于其自身情况相关的精确度的自我评估是正确的。如果情况是这样，则机器学习模块的不确定性就被叫作“已校准”。基于这样的已校准的不确定性，可以在依赖于机器学习模块的输出数据的技术系统中采取适当的动作。通过上述方法产生的训练数据集准许机器学习模块在训练中实现这样的校准。
在特别有利的实施例中，从机器学习模块根据策略所确定的输出数据来计算致动信号，并且向车辆、向分类系统、向安全监视系统、向质量控制系统和/或向医学成像系统提供此致动信号。该策略取决于与输出数据相关联的不确定性。
例如，如果不确定性高，则这样的策略可能会更加保守，并且依赖于输出数据（其然后结果是不正确或不适当的）可能具有不良后果。在至少部分自动化的车辆的示例中，取决于对车辆前方道路上的对象的分类有多么确定，不同的策略可能是适当的。如果将对象归类为任何人类驾驶员会碾过的纸箱或其他垃圾块，并且这种分类是非常确定的，则车辆以当前速度继续并且碾过对象就是适当的。急刹车可能会作为完全的意外带给其他驾驶员，可能会引起追尾碰撞。如果对象是任何人类驾驶员都会为其刹车的某物（诸如会损坏车辆的硬物），并且这种分类是非常确定的，则完全应用刹车是适当的，因为它最有可能避免损坏。但是，如果分类是不确定的，则更适当的是采取即使在分类错误的情况下也很有可能避免损坏的策略。例如，可以在较温和的减速下应用刹车，其允许其他驾驶员做出反应，并且同时可以计算绕着对象的自由路径以在结果不应当碾过对象的情况下做准备。
所确定的不确定性也可以被积极主动使用，以便改进针对具体应用的机器学习模块的进一步训练。在另外特别有利的实施例中，响应于从至少一个输入数据的记录产生的不确定性满足预定标准，可以将输入数据的记录存储在存储器中以供稍后的分析和/或标记。替换地或以组合形式，可以确定的是，输入数据的记录对应于关于机器学习模块要解决的问题的极端情况。
例如，当通过安装在车辆上的相机收集用于机器学习模块的进一步训练的图像时，合期望的是专门捕获机器学习模块仍可以从中学习新东西的数据。当驾驶车辆以捕获数据时，仅有可能在有限的程度上故意引起数据中这种情况的出现。相反，人仅能等待这样的情况发生。通过监视不确定性，有可能在线发现输入数据的新记录是否是机器学习模块的未来训练可以从中受益的记录。因此，有可能立即丢弃进一步的训练并不感兴趣的数据，以免压垮车辆板载的有限存储容量。例如，被发现令人感兴趣的数据可以稍后由人类专家标记或被发送到标记服务。这些资源是昂贵的，所以将它们的使用仅集中在令人感兴趣的输入数据的记录上是有利的。
在另外特别有利的实施例中，借助于多个有区别的传感器获取物理测量数据，例如所述传感器可以借助不同的物理模态来获取测量数据。例如，感测可见光的相机可以与雷达、超声或LIDAR传感器进行组合。
将来自传感器中的每一个的物理测量数据作为输入数据提供给经训练的机器学习模块。对于来自每个传感器的数据，从机器学习模块获得与每个传感器相对应的相应的输出数据和不确定性。至少部分地基于相应的不确定性，将相应的输出数据融合成最终结果。
以这种方式，不同的传感器可以池化其能力，以便最终得出输出数据和从这样的输出数据产生的致动信号，其对于在更宽泛的类别情况中由传感器感测的情况是适当的。
例如，如果相机图像被用作用于对车辆进行至少部分自动驾驶的主要信息源，则可能出现其中图像不是真正确凿并且不确定性高的情况。可能有差的照明，或者对象可能被其他对象部分遮挡。在实时驾驶期间的这样的情况下，没有时间详细分析相机图像出了什么问题以及可以使用哪个其他传感器来纠正此具体缺陷。通过比较不确定性，无论究竟是什么使得来自一个传感器的数据变得不确定，都可以自动确定哪个传感器为评估手边的情况提供了最有用的信息。
具体地，在采用对抗模式进行攻击的情况下，这还提供了自动故障切换。精心制作了这样的对抗模式，以引起输入数据的变化，这进而引发误分类。不可能的是：同一个对抗模式将能够以相同的方式改变由不同的物理对比机制所捕获的输入数据以引发确切相同的误分类，而同时又对人类而言保持不显眼。例如，固定到停车标志上的对抗性贴纸可能会使得基于相机的对象检测将停车标志误分类为“70 km/h限速”标志。但是，此贴纸对于仍然检测到由金属制成的八边形的雷达传感器而言将是完全不可见的。
上述方法可以全部或部分地是计算机实现的。因此，本发明还涉及一种具有机器可读指令的计算机程序，该机器可读指令在由一个或多个计算机执行时使一个或多个计算机实行上述方法中的一个或多个。从这个意义上来说，能够执行编程指令的车辆和其他设备的电子控制单元也被理解成是计算机。
该计算机程序可以体现在任何种类的非暂时性存储介质上或其中，和/或被实现为可下载产品。可下载产品是可以购买并经由网络连接立即递送的产品，以便消除了对有形介质的物理递送的需要。
另外，可以向计算机提供计算机程序、非暂时性存储介质和/或可下载产品。
在下文中，使用附图与本发明的优选实施例一起描述另外的有利的选项。
附图说明
附图示出了：
图1 用于获得和/或扩充训练数据集11*的方法100的示例性实施例；
图2数据获取空间X与工作空间Z，20之间的关系；
图3 MNIST图像数据集的类别“6”与“0”之间的示例性平滑过渡；
图4 用于训练机器学习模块1的方法200的示例性实施例；
图5用于评估物理测量数据3a的方法300的示例性实施例；
图6 用于包括在训练数据集11*中的具有高歧义的示例性模糊候选样本15；
图7 对E-MNIST数据集（图7a）、对Fashion MNIST数据集（图7b）以及对MNIST数据集（图7c）测量的对照精确度A的校准置信度C的示例性改进。
具体实施方式
图1是用于获得和/或扩充训练数据集11*的方法100的示例性实施例的流程图。在步骤11中，提供与标签13a相关联的训练输入数据的样本11a。
在步骤115中，可以挑选工作空间20，使得样本11a的相似度相比于其与这些样本11a之间的距离相关而在更高的程度上与工作空间20中的这些样本11a的表示21a之间的距离相关。这用于使有区别的类别彼此脱离，并且将样本11a聚类为不同的类别。在图2中更详细地解释了样本11a所在的数据获取空间X与工作空间20，Z之间的关系。
可以定义工作空间20，Z，并且根据步骤116，往返数据获取空间X的变换17、18全部一次性建立。在图2中更详细解释这一点。
在步骤120中，从样本11a和相关联的标签13a获得难度函数14。对于训练输入数据的样本11a，和/或对于这样的样本11a在工作空间20中的表示21a，此难度函数14输出关于给定问题（诸如对象分类）评估此样本11a的难度14a的度量。根据框121，可以训练判别式分类器16，并且难度函数14取决于为样本11a和/或为其表示21a输出的分类16a。
在步骤130中，获得训练输入数据的至少一个候选样本15以用于包括到训练数据集11*中。此候选样本15可以直接在数据获取空间X中获得，或者经由工作空间20间接获得。在盒130内部，示出了经由工作空间20间接获得候选样本15的示例性方式。
在步骤131中，在工作空间20内实行针对候选表示25的搜索，使得满足针对难度14a的标准150。在步骤132中，此候选表示25在训练输入数据的原始样本11a所在的数据获取空间X中被变换为候选样本15。在图1中示出了实行搜索131的两种示例性方式。
根据框131a，关于优值函数解决了工作空间20内部的优化问题。该优值函数至少部分地基于难度函数14，并且可以附加地基于针对难度14a的标准150，以便于确保优值函数的最优保证标准150得以满足。
在步骤140中，难度函数14被用来计算关于手边的问题评估候选样本的难度14a和/或其表示的度量。即，难度函数可以在数据获取空间X中或在工作空间20中操作，并且它可以包括来自两个空间的贡献的混合。
如果难度函数14利用判别式分类器16，则根据框141，此判别式分类器16输出的分类16a也可以被用来将候选样本15与标签相关联。
对照预定标准150来检查难度14a，该难度14a例如可以包括分类16a中的歧义和/或熵。例如，标准150可以包括阈值。例如，标准150还可以包括：从更大的候选样本15的集合中的具有“前n个”难度14a的候选样本15的选择。关于标准150，有完全的自由。
如果满足标准150（真值1），则候选样本15被包含在训练数据集11*中。
图2图示了一方面训练输入数据的样本11a存在其中的数据获取空间X与另一方面这些样本11a的表示21a存在其中的工作空间Z，20之间的关系和变换。对编码器17进行训练以将样本x，11a映射到表示21a，并且对解码器18进行训练以将表示21a往回映射到X中的重构样本x'，11a'。在鉴别器19的监督下，以自相一致的方式训练编码器17和解码器18，该鉴别器19测量重构样本x'，11a'与相应的原始样本x，11a的匹配程度，并且也被训练。判别式分类器16的训练可以与此训练进行组合，使得训练可以交换协同效应，并且减少总体计算时间。
如前面讨论的，可以将在X中对新的候选样本15的搜索简化成在Z中对新的候选表示z'，25的搜索。例如，这可能是有利的，因为在Z中存在用于优化的合适的优值函数。找到的候选表示25可以被变换成X中的候选样本x'，15。
图3图示了标准MNIST数据集上的各类别之间的平滑过渡。MNIST数据集包括：从0到9的手写数字的图像，相应地用从0到9的类别标签对它们进行标记。在工作空间Z，20中计算出平滑过渡，其是通过从X到Z训练编码器17、从Z到X训练解码器18以及训练鉴别器19来区分重构样本11a'和真实样本11a而创建的。然后将与图片（a）相对应的样本11a变换成Z中的表示21a，z，并且在那里，上面讨论的优化被变换为“针对类别的扰动”
Figure 643943DEST_PATH_IMAGE007
在这里，确定求和上限的数字c越高，则在δ上的优化将更多地将新创建的表示z'带向与目标类别y'相对应的图片的表示。为了形成图3中的图片（b）至（h），创建了具有增加的c值的新的表示z'，并且借助于解码器18将这些表示z'往回变换成X中的图片。这些图片对应于候选样本15。利用难度函数14进行的对这些候选样本15的分等级将最有可能揭示出：对于图片（d），最难以区分开其表示数字“6”还是数字“0”。因此，对应的样本15位于靠近类别“6”与“0”之间的Z中的类别边界处，并且此样本15将最有可能被选择以用于包括在训练数据集11*中。
图4是用于训练机器学习模块1的方法200的示例性实施例的流程图。在步骤210中，使用结合图1描述的方法100来获得和/或扩充训练数据集11*。在步骤220中，对机器学习模块1的可训练参数12进行优化，使得机器学习模块1的输出数据13最佳匹配与训练输入数据的样本11a相关联的标签13a。可以继续此训练，直到达到预定的终止标准为止。在那时，可训练参数12的值对应于完全训练的机器学习模块1*的值。
图5是用于评估已经使用至少一个传感器3获取的物理测量数据3a的示例性方法。在步骤310中，提供机器学习模块1。在步骤320中，使用结合图4所描述的方法200来训练此机器学习模块1。在步骤330中，使用至少一个传感器3来获取物理测量数据3a。在步骤340中，将物理测量数据3a作为输入数据11提供给经训练的机器学习模块1*。机器学习模块1*将此输入数据映射到输出数据13和相关联的不确定性13b。
根据框331，可以由多个传感器3获取物理测量数据3a。根据框341，然后可以将来自所有传感器的物理测量数据3a提供给经训练的机器学习模块1*，使得得到每个传感器3的相应的输出数据13和不确定性13b。根据框351，可以至少部分地基于不确定性13b将这些相应的输出数据13融合成最终结果。在步骤350的输出处，无论输出数据13和不确定性13b是基于仅来自一个传感器3的输入数据11，还是基于来自多个传感器3的输入数据11，它们都看起来是相同的。
图5示出了不确定性13b的两个示例性使用，与根据现有技术可能的情况相比，使用在根据方法100改进的训练数据集11*下的改进的训练200，可以准确得多地确定所述不确定性13b。
在步骤360中，根据策略从输出数据中计算出致动信号4，该策略进而取决于与输出数据13相关联的不确定性13b。在步骤370中，向车辆50、向分类系统60、向安全监视系统70、向质量控制系统80和/或向医学成像系统90提供致动信号4。
根据输入数据11的至少一个记录产生的不确定性13b也可以对照预定标准380来检查。如果满足此标准（真值1），则在步骤381中，将输入数据11的记录存储在存储器中，以供稍后的分析和/或标记。替换地或组合地，在步骤382中，确定的是，输入数据11的记录对应于需要特别注意的手边的问题的极端情况。
图6示出了用于包括在训练数据集11*中的模糊候选样本15的三个示例，该训练数据集11*可以被用来训练机器学习模块1以对来自MNIST数据集的手写数字进行分类。除了样本15中的每一个之外，还以阴影的形式示出了针对十个类别“0”至“9”的相应softmax分数的权重分布，其中较浓厚的阴影对应于较高的分数。
图片（a）具有来自数字“3”、“7”和“9”的特征。图片（b）具有来自数字“2”、“7”和“8”的特征。图片（c）具有来自数字“3”和“8”的特征。即使对于人类，也很难以仅将这些图片以高置信度归为一个类别。因此，这些图片中示出的样本15是用于包括在数据集11*中的良好候选者。
在图7中，机器学习模块1给予其输出数据13的置信度C对照精确度A进行了标绘，该精确度A是使用标记的验证数据（其尚不是培训的一部分）测量的。图7a至图7c是根据相同的方案但针对不同数据集产生的。在图7a至7c的每一个中，曲线a表示理想的校准状态，其中置信度C与精确度A精确地匹配。曲线b在从左到右查看时，表示基于相应的原始训练数据集的训练进度。曲线c表示基于扩充的训练数据集11*的训练进度。
图7a是在E-MNIST数据集上创建的，该数据集包含手写字母，这些字母要被归类为从“A”到“Z”的26个类别。图7b是在Fashion MNIST数据集上创建的，该数据集包含要分类的服装图像。图7c是在MNIST数据集上创建的。
对于所有三个数据集，显露出如下总体趋势：曲线c在大多数时候都更接近于理想曲线a，尽管存在其中曲线b更好的短区段。

Claims (18)

1.一种方法，包括：扩充用于机器学习模块（1）的训练数据集（11*），所述机器学习模块（1）要将输入图像数据（11）映射到关于使用方法进行图像分类而言是有意义的输出数据（13），所述方法包括：
• 提供（110）与标签（13a）相关联的训练输入数据的样本（11a），从某种意义上说如果机器学习模块（1）将此训练输入数据的样本（11a）映射到与标签（13a）对应的输出数据（13），则这关于图像分类而言被认为是有意义的；
• 从训练输入数据的样本（11a）和相关联的标签（13a）获得（120）难度函数（14），所述难度函数（14）被配置成将训练输入数据的样本（11a）或其在工作空间（20）中的表示（21a）映射到关于图像分类评估此样本（11a）的难度（14a）的度量；
• 获得（130）训练输入数据的至少一个候选样本（15）和/或其在工作空间（20）中的表示（25）；
• 借助于难度函数（14），计算（140）关于图像分类评估此候选样本（15）和/或其表示（25）的难度（14a）的度量；以及
• 响应于此难度满足预定标准（150），将候选样本（15）包括（160）在训练数据集（11*）中，
并且进一步包括：利用扩充的训练数据集（11*）来训练机器学习模块（1）。
2.根据权利要求1所述的方法（100），其中，图像分类包括：将输入数据（11）的每个记录映射到输出数据（13）的记录，所述输出数据（13）的记录针对多个离散类别的集合中的每个类别，指示输入数据的记录（11）属于相应类别的概率和/或置信度。
3.根据权利要求2所述的方法（100），其中，难度函数（14）的获得（120）包括：基于训练输入数据的样本（11a）和相关联的标签（13a），训练（121）判别式分类器（16），其将训练输入数据的样本（11a）和/或其在工作空间（20）中的表示（21a）映射到指示此训练输入数据的样本（11a）属于离散类别中的每一个的概率和/或置信度的分类（16a），并且其中，由难度函数（14）确定的难度（14a）取决于此分类（16a）。
4.根据权利要求3所述的方法（100），其中，由难度函数（14）确定的难度（14a）至少部分地基于分类（16a）的歧义。
5.根据权利要求3或4中任一项所述的方法（100），其中，由难度函数（14）确定的难度（14a）至少部分地基于分类（16a）的熵。
6.根据权利要求3至5中任一项所述的方法（100），进一步包括：将候选样本（15）与对应于由判别式分类器（16）确定的分类（16a）的标签相关联（141）。
7.根据权利要求1至6中任一项所述的方法（100），其中，挑选（115）工作空间（20），使得：训练输入数据的样本（11a）关于图像分类的相似度与这些样本（11a）在工作空间（20）中的表示（21a）之间的距离的相关程度比其与这些样本（11a）之间的距离的相关程度相同或更高。
8.根据权利要求7所述的方法（100），进一步包括：在工作空间（20）内实行（131）对训练输入数据的候选样本（15）的候选表示（25）的搜索，使得由难度函数（14）确定的难度（14a）满足预定标准（150），并且将此候选表示（25）变换（132）成候选样本（15）。
9.根据权利要求8所述的方法（100），其中，搜索的实行（131）包括：基于工作空间（20）中的表示（25），通过在工作空间（20）中求解关于优值函数的优化问题来获得（131a）候选表示（25），其中，优值函数至少部分地基于难度函数（14）。
10.根据权利要求8所述的方法（100），其中，搜索的实行（131）包括：从工作空间（20）绘制（131b）随机表示（25），并且评估这些随机表示（25）是否满足预定标准（150）。
11.根据权利要求1至10中任一项所述的方法（100），进一步包括：基于训练输入数据的样本（11a），训练（116）用于将这些样本（11a）变换为工作空间（20）中的表示（21a）的编码器（17）和用于从表示（21a）重构样本（11a）的解码器（18），使得重构的结果（11a'）与相应的样本（11a）最佳匹配。
12.一种用于评估物理测量数据（3a）的方法（300），其包括：
• 提供（310）机器学习模块（1）；
• 使用权利要求1所述的方法来训练（320）机器学习模块（1）；
• 使用至少一个传感器（3）来获取（330）物理测量数据（3a）；以及
• 将物理测量数据（3a）作为输入图像数据（11）提供（340）给经训练的机器学习模块（1*），使得经训练的机器学习模块（1*）将输入数据（11）映射（350）到输出数据（13）和相关联的不确定性（13b），所述输出数据（13）关于图像分类而言是有意义的。
13.根据权利要求12所述的方法，进一步包括：
• 根据取决于与输出数据（13）相关联的不确定性（13b）的策略，从输出数据（13）计算（360）致动信号（4）；以及
• 向车辆（50）、向分类系统（60）、向安全监视系统（70）、向质量控制系统（80）和/或向医学成像系统（90）提供（370）致动信号（4）。
14.根据权利要求12至13中任一项所述的方法（300），进一步包括：响应于从至少一个输入数据（11）的记录产生的不确定性（13b）满足预定标准（380）而：
• 将输入数据（11）的记录存储（381）在存储器中，以供稍后的分析和/或标记；和/或
• 确定（382）输入数据（11）的记录对应于关于机器学习模块（1）要解决的图像分类问题的极端情况。
15.根据权利要求12至14中任一项所述的方法（300），进一步包括：
• 借助于多个有区别的传感器（3）获取（331）物理测量数据（3a）；
• 将来自传感器（3）中的每一个的物理测量数据（3a）作为输入数据（11）提供（341）给经训练的机器学习模块（1*），以便获得与每个传感器（3）相对应的相应的输出数据（13）和不确定性（13b）；以及
• 至少部分地基于相应的不确定性（13b），将相应的输出数据（13）融合（351）成最终结果。
16.一种计算机程序，其包括机器可读指令，所述机器可读指令在由一个或多个计算机执行时使一个或多个计算机实行根据权利要求1至15中任一项所述的方法（100、200、300）。
17.一种非暂时性存储介质和/或可下载产品，其具有权利要求16所述的计算机程序。
18.一种计算机，其具有权利要求16所述的计算机程序、和/或具有权利要求17所述的非暂时性存储介质和/或可下载产品。
CN202010884586.8A 2019-08-29 2020-08-28 用于机器学习模块的难度适应训练 Pending CN112446413A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19194305.9A EP3786845A1 (en) 2019-08-29 2019-08-29 Difficulty-adaptive training for machine learning modules
EP19194305.9 2019-08-29

Publications (1)

Publication Number Publication Date
CN112446413A true CN112446413A (zh) 2021-03-05

Family

ID=67809292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010884586.8A Pending CN112446413A (zh) 2019-08-29 2020-08-28 用于机器学习模块的难度适应训练

Country Status (2)

Country Link
EP (1) EP3786845A1 (zh)
CN (1) CN112446413A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095133B (zh) * 2021-03-04 2023-12-29 北京迈格威科技有限公司 模型训练方法、目标检测方法及对应装置
CN115270997B (zh) * 2022-09-20 2022-12-27 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346724B2 (en) * 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers
US11120337B2 (en) * 2017-10-20 2021-09-14 Huawei Technologies Co., Ltd. Self-training method and system for semi-supervised learning with generative adversarial networks

Also Published As

Publication number Publication date
EP3786845A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
Völz et al. A data-driven approach for pedestrian intention estimation
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8634593B2 (en) Pixel-based texture-less clear path detection
US8611585B2 (en) Clear path detection using patch approach
JP7090105B2 (ja) 珍しい事例の分類
US8751154B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
US8812226B2 (en) Multiobject fusion module for collision preparation system
US8670592B2 (en) Clear path detection using segmentation-based method
US8890951B2 (en) Clear path detection with patch smoothing approach
US8917904B2 (en) Vehicle clear path detection
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
CN101929867B (zh) 使用道路模型的畅通路径检测
CN106503653A (zh) 区域标注方法、装置和电子设备
DE102010005290A1 (de) Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
WO2020007589A1 (en) Training a deep convolutional neural network for individual routes
CN112446413A (zh) 用于机器学习模块的难度适应训练
Vikas et al. Camera blockage detection in autonomous driving using deep neural networks
CN118259312B (zh) 一种基于激光雷达的车辆碰撞预警方法
Li et al. Perceptual Risk-Aware Adaptive Responsibility Sensitive Safety for Autonomous Driving
Triki et al. New Speed Limit Recognition System: Software and Hardware Validation.
Schöller Camera-based Perception for Autonomous Vessels at Sea
EP4064117A1 (en) Method for automatically executing a vehicle function, method for evaluating a computer vision method and evaluation unit for a vehicle
Girija et al. Road Traffic Accident Prediction using Deep Learning
Langenberg Deep Learning Metadata Fusion for Traffic Light to Lane Assignment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination