CN113095351A - 借助于初始标记的改善生成经标记的数据的方法 - Google Patents

Abstract

用于生成针对数据集的标记的方法，该方法包括：提供未标记的数据集，该数据集包括多个未标记的数据；针对所述未标记的数据集的数据生成初始标记；提供该初始标记作为第n个标记，其中n=1；执行迭代过程，其中针对n=1、2、3、...N的每个，所述迭代过程的第n个迭代包括如下步骤：利用经标记的数据集来训练模型以作为第n个经训练的模型，其中通过未标记的数据集的数据与第n个标记的组合来给出所述经标记的数据集；在使用第n个经训练的模型的情况下针对未标记的数据集的未标记的数据来预测第n个经预测的标记；根据至少包括所述第n个经预测的标记的标记集合来确定第（n+1）个标记。

Description

借助于初始标记的改善生成经标记的数据的方法

技术领域

本公开涉及一种用于生成针对数据集的标记的方法和所述方法的用于生成训练数据的应用，其中所述训练数据用于训练模型、尤其是神经网络。

背景技术

机器学习的方法、尤其是利用神经网络、尤其是深度神经网络（英文：Deep NeuralNetworks, DNN）进行学习的方法在许多问题情况下相对于常规的、用于模式识别的、未训练的方法而言明显占优。几乎所有这些方法都基于被监督的学习。

被监督的学习需要被注释的或被标记的数据作为训练数据。这种注释在下文中也称为标记，用作针对优化算法的目标输出。在此，给每个数据元素分派至少一个标记。

标记的质量可以影响到机器学习方法的经训练的模型的识别能力（Erkennungsleistung）。从现有技术中已知：手动标记用于训练机器学习方法的样本（Stichproben）。

本公开提供一种相对于现有技术而言经改善的用于生成标记的方法。

发明内容

一种实施方式涉及用于生成针对数据集的标记的方法，该方法包括：提供未标记的数据集，所述数据集包括多个未标记的数据；针对未标记的数据集的数据生成初始标记；提供所述初始标记作为第n个标记，其中n=1；执行迭代过程，其中针对n=1、2、3、...N其中的每个而言，迭代过程的第n个迭代包括如下步骤：利用经标记的数据集来训练模型以作为第n个经训练的模型，其中通过未标记的数据集的数据与第n个标记的组合来给出经标记的数据集；在使用第n个经训练的模型的情况下针对未标记的数据集的未标记的数据来预测（prädizieren）第n个经预测的标记；根据至少包括第n个经预测的标记的标记集合来确定第（n+1）个标记。

该方法基于：从初始标记出发来改善所述初始标记和生成其他标记并且在迭代方法中逐步改善标记、尤其是标记的质量。在此，充分利用经训练模型的用于泛化（Generalisierung）的能力和/或经训练模型的经由迭代而增加的精确度。

利用该方法所生成的标记可以与数据集一起被提供作为经标记的或者经注释的用于训练模型、尤其是神经网络的训练数据。

未标记的数据集的未标记的数据例如是真实的数据、尤其是传感器的测量值、尤其是多模态的（multimodal）数据。传感器根据不完全的、示例性的列举（Aufzählung）可以例如是雷达传感器、光学摄像机、超声传感器、激光雷达传感器或者红外传感器。这种传感器通常在机动车中或一般而言的机器人中的自主和部分自主的功能中得以应用。

针对最初尚未标记的数据，生成初始标记。本公开的方法的优点是：在该步骤中有错地生成标记便是足够的。标记的生成因此可以比较简单并且因此相对快速且低成本地实现。

然后，初始标记在迭代过程的第一个迭代中作为第一个标记被使用，其中在迭代过程的迭代中执行如下步骤：

在第一个迭代的步骤中，利用由未标记的数据集的数据与初始标记的组合构成的经标记的数据集来训练该模型，以作为第一个经训练的模型。在该迭代的接下来的步骤中，在使用第一个经训练的模型的情况下针对未标记的数据集来预测第一个经预测的标记。在接下来的步骤中，根据至少包括第一个经预测的标记的标记集合来确定第二个标记。用于确定标记的所述步骤有利地用于改善所述标记。一般而言，在此，对尽可能好的当前存在的标记作出适合的选择或者执行当前存在的标记的适合的组合或融合，以便确定针对下个迭代的训练的标记。

第二个标记然后在第二个迭代中被使用，以用于训练该模型来作为第二个经训练的模型。

按照另一实施方式而规定：确定第（n+1）个标记所基于的标记集合包括经预测的标记并且还包括第n个标记。然后，基于包括第n个标记和在该迭代中的第n个经预测的标记的集合来在第n个迭代中对第（n+1）个标记进行确定。

根据另一种实施方式而规定：只要是尚未满足品质标准（Gütekriterium）和/或中止标准，迭代过程的步骤就被重复地执行。品质标准例如包括：所产生的标记的质量或者该模型的预测品质（Prädiktionsgüte）。中止标准例如包括：超出或低于阈值，尤其是要执行的迭代的数目或者针对标记从一个迭代到下一个迭代来对进行的改变的值或者针对该标记的品质度量。标记的质量的评价（Beurteilung）和/或预测品质可以例如根据良好质量的经标记的参考样本来进行。替代地，可以基于模型的置信度（Konfidenz）来评价所述质量，其中所述置信度相对于经预测的标记而言附加地被输出。

根据另一实施方式而规定，确定第（n+1）个标记包括：确定最优标记。所述确定可以例如借助算法自动执行。在此，尤其是将第n个标记和第n个经预测的标记相互比较并且必要时将初始标记相互比较并且选择最好的、当前存在的标记。替代地，用于确定最佳标记的手动方法也是可能的。

根据另一种实施方式规定，手动地或者通过模式识别算法来针对未标记的数据生成初始标记。因为在该步骤中有错地生成标记便是足够的，所述生成可以比较简单并且因此相对快速且低成本地实现。这可以例如通过常规的、未训练的模式识别算法、尤其是以识别不准确性来自动地进行。尤其是也可能的是，使用鉴于其他数据集经训练的方法而并不适配于当前数据集。原则上，手动标记也是可能的。

为了改善在执行迭代过程期间对经训练的模型的泛化并且避免学习初始标记中的系统性错误，尤其也可能的是：尤其是在迭代过程开始时最初并不使用未标记的数据集的数据的信息的一部分。尤其可以有意义的是：最初并不使用对于通过未训练的模式识别算法来生成初始标记而言重要的这样的信息。在迭代过程的接下来的进程中，最终使用最初未使用的信息。对此的示例是：为了生成初始标记而使用在图像中的色彩信息，并且在迭代过程中最初并不提供该色彩信息，也即将原始的彩色图像转换成灰度图像。在迭代过程的接下来的进程中，可以添加色彩信息，其中于是可以相应地适配可训练的模型的架构，以便处理附加信息，例如处理彩色图像而并非灰度图像。

根据另一实施方式而规定，标记集合包括初始标记。然后，基于包括初始标记和在该迭代中经预测的第n个标记和必要时的第n个标记的集合进行：在第n个迭代中确定第（n+1）个标记。

根据另一实施方式而规定，该方法进一步包括：尤其是在模型的训练之前丢弃未标记的数据集的数据。被丢弃的数据然后在当前的迭代中并且尤其是也在接下来的迭代中不再予以考虑。尤其是，可以丢弃如下数据，针对所述数据而言，相应的第n个经预测的标记与相应的第n个标记有偏差。

根据另一实施方式而规定，确定第（n+1）个标记包括：根据标记集合来计算标记的尤其是经加权的平均值。权重可以有利地在迭代的期间这样被改变，使得随着迭代的次数增大而使得由模型所预测的标记对第（n+1）个标记占越来越大的份额并且使得初始标记对第（n+1）个标记占越来越小的份额。该过程能够尤其是在回归问题中应用。

根据另一实施方式而规定，该方法进一步包括：确定用于训练该模型的权重和/或使用权重以用于训练模型。有利地，在每个迭代中确定权重。例如，确定权重包括：针对未标记的数据集的相应数据由用于经训练的模型的置信度的度量来导出权重和/或针对数据集的相应数据由用于常规模型的置信度的度量来导出权重。有利地能够实现：错误标记的数据对经训练的模型的识别率具有较不强烈的影响。对于置信度替代地或附加地，也能够执行标记的比较并且将其包括（einbeziehen）到对权重的确定中。

根据另一实施方式而规定，在使用至少一个其他模型的情况下进行所述方法的步骤、尤其是用于在使用第n个经训练的模型的情况下针对未标记的数据集的未标记的数据来预测第n个经预测的标记的步骤和/或用于根据至少包括第n个经预测的标记的标记集合来确定第（n+1）个标记的步骤。 在该实施方式的上下文中可以规定：该模型是包括至少一个其他模型的用于对象识别并且尤其是用于定位的系统、在下文中简称为识别系统的部分。有利地，可以例如在与时间相关的数据情况下考虑：识别系统的适合的模型的连续性条件和/或时间上的相关性，尤其是用于执行该方法的步骤的移动模型。此外，也可以证明为有利的是，尤其是在使用常规方法、例如卡尔曼滤波的情况下将该模型嵌入到利用时间追踪的识别系统中。此外可以证明为有利的是，将模型嵌入到离线处理中，其中然后在特定时间点生成标记时不仅仅将过去的测量数据包括在内而且也将未来的测量数据包括在内。有利地，可以因此改善标记的质量。此外可以也证明为有利的是：将该模型也嵌入到基于多模态传感器数据来工作并且因此提供附加传感器数据的识别系统或融合系统中。

根据另一实施方式而规定，该方法进一步包括：提高模型的复杂度。可以规定：在每个迭代n，n= 1、2、3、...、N中提高模型的复杂度。有利地可以规定：在迭代过程开始时，也即在第一个迭代中并且在相对于迭代过程开始而言特定数目的进一步迭代中训练如下模型，该模型鉴于数学模型的类型更简单和/或鉴于模型的复杂度更简单和/或包含更小数目的在训练的范畴内要估计的参数。此外可以规定：在迭代过程期间，也即在该迭代过程的特定数目的进一步迭代之后训练如下模型，该模型鉴于数学模型的类型更复杂和/或鉴于该模型的复杂度更复杂和/或包含在训练的范畴内要估计的更大数目的参数。

另一实施方式涉及如下设备，其中该设备被构造用于执行根据所述实施方式的方法。

根据另一实施方式规定，该设备包括计算装置和存储装置，所述存储装置尤其是用于存储模型、尤其是神经网络。

根据另一实施方式规定，该设备包括至少一个其他模型，其中所述其他模型被构造为用于对象识别的系统的部分。

该方法尤其是适合用于，对传感器所记录的数据进行标记。所述传感器可以例如是摄像机、激光雷达传感器、雷达传感器、超声传感器。优选地，使用借助该方法所标记的用于训练模式识别算法、尤其是对象识别算法的数据。借助所述模式识别算法可以操控不同的技术系统并且例如达成诊断学方面的医学进步。尤其是适合的是，将借助经标记的数据所训练的对象识别算法在至少部分自动化的机器人中应用于控制系统中、尤其是行驶功能。因此，可以将其例如使用用于工业机器人，以便有针对性地处理、运输对象或者基于特定对象类别激活安全功能，例如关断。针对自动化机器人、尤其是自动化车辆，这样的对象识别算法可以有利地用于改善或实现行驶功能。尤其是，可以基于通过对象识别算法来识别对象进行对机器人、尤其是自动化车辆的横向和/或纵向引导。通过使用所述对象识别算法可以改善不同的行驶功能、例如紧急制动功能或者车道保持功能。

另一实施方式涉及一种计算机程序，其中该计算机程序包括计算机可读的指令，在通过计算机执行所述指令的情况下执行根据所述实施方式的方法。

另一实施方式涉及一种计算机程序产品，其中该计算机程序产品包括计算机可读的存储介质，根据所述实施方式的计算机程序被存储在所述计算机可读的存储介质上。

另一实施方式涉及根据所述实施方式的方法的和/或根据所述实施方式的设备的和/或根据所述实施方式的计算机程序的和/或根据所述实施方式的计算机程序产品的用于生成训练数据的应用，其中所述训练数据用于训练模型、尤其是神经网络。

另一实施方式涉及在训练数据中对针对数据集的标记的应用，其中所述标记利用根据所述实施方式的方法和/或利用根据所述实施方式的设备和/或利用根据所述实施方式的计算机程序和/或利用根据所述实施方式的计算机程序产品来生成，其中所述训练数据包括用于训练模型、尤其是神经网络的数据集。

本发明的其他特征、应用可能性和优点从对本发明实施例的接下来的描述中得出，其中所述实施例在附图中示出。在此，所有所描述的或示出的特征本身或者以任意组合的方式构成了本发明的主题，而无关于其在专利权利要求中的组合或者其引用关系以及无关于其在说明书或附图中的表达或示出。

附图说明

在附图中：

图1在流程图中示出方法的步骤的示意图；

图2a在根据第一优选实施方式的框图中示出根据第一优选实施方式的方法的示意图；

图2b在框图中示出图2a中的方法的替代性的示意图；

图3在框图中示出根据另一优选实施方式的方法的示意图；

图4在框图中示出根据另一优选实施方式的方法的示意图；和

图5在简化的框图中示出根据一种优选实施方式的设备。

具体实施方式

图1示出用于生成针对数据集D的标记L的方法100的步骤的示意图。该方法100包括如下步骤：

步骤110，用于提供包括多个未标记的数据的未标记的数据集D；

步骤120，用于生成针对未标记的数据集D的数据的初始标记L1；

步骤130，用于提供初始标记L1来作为第n个标记Ln，其中n=1，其中通过将未标记的数据集D与第n个标记Ln的组合能够提供经标记的数据集D_Ln；

步骤140，用于执行迭代过程，其中针对n=1、2、3、..N其中的每个而言，迭代过程的第n个迭代包括如下步骤：

利用经标记的数据集D_Ln训练141n模型M以作为第n个经训练的模型Mn，其中通过将未标记的数据集D的数据与第n个标记Ln的组合来给出经标记的数据集D_Ln；

在使用第n个经训练的模型Mn的情况下针对未标记的数据集D来预测142n第n个经预测的标记Ln’，其中产生经标记的数据集D_Ln’；

根据至少包括第n个经预测的标记Ln’的标记集合来确定143n第（n+1）个标记Ln+1。用于确定标记Ln+1的步骤143n有利地用于改善所述标记。一般而言，在此对尽可能好的当前存在的标记作出适合的选择或者执行当前存在的标记的适合的组合或融合，以便确定针对下个迭代的训练的标记。

未标记的数据集D的未标记的数据例如是真实的数据、尤其是传感器的测量值、尤其是多模态的（multimodal）数据。这样的传感器根据不完全的、示例性的列举（Aufzählung）例如是雷达传感器、光学摄像机、超声传感器、激光雷达传感器或者红外传感器。这种传感器通常在机动车或一般而言的机器人中的自主和部分自主的功能中得以应用。

针对数据集D的最初尚未标记的数据，在步骤120中生成初始标记L1。在该步骤中，有错地生成标记L1就足够。从初始标记L1出发，在该方法的过程中生成其他标记并且迭代地对其进行改善。初始标记L1的生成120因此可以比较简单并且因此相对快速且低成本地实现。

该方法的第一实施方式依据图2a和2b予以阐述，其中图2b是图2a的替代示图。该方法的步骤作为矩形被示意性示出，以数据集D以及标记的形式的数据作为圆柱形被示意性示出，在各个步骤和数据之间的过渡作为箭头被示意性示出并且数据流作为虚线箭头被示意性示出。

在步骤120中，针对未标记的数据集D的数据生成初始标记L1。通过将这种初始标记L1与数据集D组合产生了数据集D_L1的经标记的版本。

然后，在迭代过程的第一个迭代中使用初始标记L1来作为第一个标记Ln，其中n=1。在迭代过程的第一个迭代中执行如下步骤：

在第一个迭代的步骤1411中，利用通过将未标记的数据集D和初始标记L1组合所产生的经标记的数据集D_L1来训练模型M，作为第一个经训练的模型M1。在第一个迭代的步骤1421中，在使用第一个经训练的模型M1的情况下针对未标记的数据集D来预测第一个经预测的标记L1’。在步骤1431中，根据至少包括第一个经预测的标记L1’的标记集合来确定第二个标记L2。

第二个标记L2然后在用于训练1412模型M的迭代过程的第二个迭代中作为第二个经训练的模型M2被使用。

在第二个迭代的步骤1422中，在使用第二个经训练的模型M2的情况下针对未标记的数据集D来预测第二个经预测的标记L2’。在步骤1432中，根据至少包括第二个经预测的标记L2’的标记集合来确定第三个标记L3。

根据一种实施方式规定：确定第（n+1）个标记Ln+1所基于的标记集合还包括：经预测的标记Ln’并且还包括第n个标记Ln。然后，基于包括第n个标记Ln和在所述迭代中第n个经预测的标记Ln’的集合来在第n个迭代中确定第（n+1）个标记。

根据一种实施方式规定：所述标记集合进一步包括初始标记L1。然后，基于包括初始标记L1、第n个标记Ln和在所述迭代中第n个经预测的标记Ln’的集合来在第n个迭代中对第（n+1）个标记进行确定。

根据另一个实施方式而规定：只要是尚未满足品质标准（Gütekriterium）和/或中止标准，迭代过程的步骤141n、142n、143n就被重复地执行。品质标准例如包括：所产生（erzeugen）的标记Ln+1的质量或者模型M的预测品质。中止标准例如包括：超出或低于阈值，尤其是要执行的迭代的数目或者针对标记Ln+1从一个迭代到下一个迭代进行的改变的值或者针对该标记Ln+1的品质度量。标记Ln+1的质量的评价（Beurteilung）和/或预测品质可以例如根据良好质量的经标记的参考样本来进行。替代地，可以基于模型M的置信度（Konfidenz）来评价所述质量，其中所述置信度可以相对于经预测的标记而言附加地被输出。

根据另一实施方式而规定：尤其是紧接着迭代过程之后，将标记Ln+1作为针对数据集D的标记L、作为训练数据、尤其是作为训练样本来使用。

根据另一种实施方式而规定，确定143n第（n+1）个标记Ln+1包括：确定最佳标记。所述确定可以例如借助算法来自动执行。在此，尤其是将第n个标记Ln和第n个经预测的标记Ln‘相互比较并且必要时将初始标记L1相互比较并且选择最好的、当前存在的标记Ln+1，或者执行对当前存在的标记的适合的组合或融合。替代地，用于确定最佳标记Ln+1的手动方法也是可能的。

在步骤143n中，通过确定标记来对标记Ln+1作出选择。根据一种实施方式，对此使用适合的度量，以便确定不同标记版本Ln和Ln’的差。在回归问题情况下的可能度量尤其是在标记的向量空间（Vektorraum）中使用欧几里得距离。为了确定分类标记的距离，可以例如使用汉明距离（Hammingabstand）。

根据另一种实施方式而规定，手动地或者通过模式识别算法来针对未标记的数据生成120初始标记L1。因为在该步骤中有错地生成标记便是足够的，通过常规的、未训练的模式识别算法、尤其是以识别不准确性来自动地进行所述生成120。尤其是也可能的是，使用鉴于其他数据集经训练的方法而并不适配于当前数据集。原则上，手动标记也是可能的。

根据另一种实施方式而规定，该方法还包括：尤其是在模型M的训练141n之前丢弃未标记的数据集D的数据。被丢弃的数据然后在当前的第n个迭代中并且尤其是也在接下来的第（n+1）个迭代中不再予以考虑。尤其是，可以丢弃如下数据，针对所述数据而言，相应的第n个经预测的标记Ln’与相应的第n个标记Ln有偏差。

根据另一种实施方式而规定，确定第（n+1）个标记Ln+1 包括：根据标记集合来计算标记的尤其是经加权的平均值。权重可以有利地在迭代的过程中这样被改变，使得随着迭代的次数增大而使得由经训练的模型Mn所预测的标记对第（n+1）个标记Ln+1占越来越大的份额并且使得初始标记L1对第（n+1）个标记Ln+1占越来越小的份额。该过程能够尤其是在回归问题中应用。

根据另一种实施方式而规定：该方法还包括：确定用于训练该模型的权重和/或使用权重以用于训练模型。该方面现在依据图3予以阐述。根据所示出的实施方式，相对于用于确定标记Ln+1步骤143n而言附加地执行步骤145n。在步骤145n中，针对下个迭代n+1确定权重Gn+1。然后，在训练模型M时，在该迭代n+1中使用权重Gn+1。有利地，在每个迭代中执行步骤145n。例如，对权重Gn+1的确定145n通过如下方式来进行：针对未标记的数据集D的相应数据由用于经训练的模型Mn的置信度的度量来导出权重Gn+1和/或针对数据集D的相应数据由用于常规模型的置信度的度量来导出权重Gn+1。有利地能够实现：错误标记的数据对经训练的模型的识别率具有较不强烈的影响。对于置信度替代地或附加地，也能够执行标记的比较并且将其包括（einbeziehen）到对权重的确定中。

根据另一种实施方式而规定，在使用至少一个其他模型的情况下进行所述方法的步骤、尤其是用于在使用第n个经训练的模型的情况下针对未标记的数据集的未标记的数据来预测142n的第n个经预测的标记的步骤和/或用于根据至少包括第n个经预测的标记的标记集合来确定143n第（n+1）个标记的步骤。该实施方式在下文中依据图4予以阐述。根据所示出的实施方式规定：经训练的模型Mn是包括至少一个其他模型的用于对象识别并且尤其是用于定位的系统（在下文中简称为识别系统）的部分。根据所示出的实施方式的识别系统为了对象识别尤其是在使用追踪（Tracking）的情况下使用未训练的方法146、146n。经训练的模型Mn根据所示出的实施方式是单帧模型（Single-Frame Modell），从而使数据的处理、尤其是对标记Ln’的预测通过所述模型而基于所谓的单帧处理、即在特定时间点的数据的处理。其中例如包括：在特定时间点对各个摄像机图像的处理或者对激光雷达传感器的单个“扫描（Sweep）”的处理。准确地说，其涉及短时间段，因为通过传感器对单个帧的数据进行的检测需要一定时间。在此情况下，该模型Mn不使用数据的时间上的相关性，也就是说，通过模型Mn进行的识别分别使用仅一个特定帧的数据，针对该特定帧，来自时间上在该帧之前或之后的帧的数据并不被使用，而是无关于Mn地被处理。所述时间上的相关性仅仅被识别系统的未训练的组件使用，例如通过离线处理被使用。该组合的优点在于，经训练的模型的错误与离线处理的充分利用时间上的变化过程的组件的错误尽可能不相关并且因此能够得到平衡（ausgleichen sich）。

在图4中所示的实施方式的情况下也使用到由迭代n而得出的、经改善的标记Ln+1以用于训练下个迭代n+1。

针对在图4中所示的实施方式的应用的具体示例表示针对自主行驶的环境觉察。在此情况下，给车辆装备至少一个传感器，该传感器检测在车辆的环境中的静态的、也即不移动的对象以及动态的、也即移动的对象。有利地，该车辆可以装备有多个传感器，尤其是不同模态的传感器、例如由摄像机、雷达传感器、激光雷达传感器和/或超声传感器组成的组合。于是，其涉及多模态传感器组。使用如此装备的车辆，以便记录传感器数据的最初未标记的样本并且作为数据集D来存储。感知（Perception）或环境觉察的目标是：识别并且定位在车辆的环境中的静态的对象和动态的对象，并且因此产生包括时间上的变化过程在内的所述对象的符号表示（symbolische Repräsentation）。所述符号表示典型地通过所述对象的部分地取决于时间的属性（Attribute）来给出，例如针对对象种类的属性，如：PKW、LKW、行人、骑自行车的人、护栏、可绕过的或不可绕过的对象、车行道划线；以及其他属性，诸如：轴数目、大小、形状、位置、取向、速度、加速度、行驶方向指示器的状态等等。

经训练的用于在单个摄像机帧中、也即在摄像机的单个图像中识别对象和确定相关属性的模型Mn可以例如是卷积深度神经网络。经训练的用于依据点云、例如激光雷达传感器的单个传感器扫描或雷达传感器的扫描来识别对象的模型Mn可以同样例如是卷积深度神经网络（CNN），该卷积深度神经网络作为输入数据获得点云的2D投影或者在3D-CNN的情况下执行3D卷积，其中所述点云于是在常规的3D光栅中被呈现。替代性地，其可以涉及具有PointNet或PointNet++架构的深度神经网络，其中点云能够被直接处理。在步骤141n中对该模型Mn的训练可以依据标记Ln来进行。在此情况下，可以取决于相应模态地执行属性变换。例如，可以在摄像机图像的情况下进行：将被追踪的（tracken）对象的3D位置投影到摄像机图像中，也即例如投影到2D边界框。

在各个帧中被探测的对象可以例如借助于卡尔曼（Kalman）滤波器或扩展卡尔曼滤波器随着时间被追踪。对此，对象可以依据其与鉴于单帧级（Single-Frame-Ebene）的预测142n相应的属性的比较而关联到在前一时间步中已经已知的对象的经预测的属性，其中可以鉴于相应的测量时间点进行已经已知的对象的预测。可以依据物理的移动模型进行所述预测。然后，利用在单帧基础上由经训练的模型Mn所识别的或估计的与预测142n相应的属性可以执行对经预测的属性的更新。

未训练的其他模型146也可以包含用于离线处理的方法。例如，可以替代卡尔曼滤波器而使用卡尔曼平滑器、诸如Rauch-Tung-Striebel（劳赫董斯特里贝尔）滤波器。

在完全执行了迭代过程之后，存在一种感知系统（Perception-System），其由未训练的追踪方法和其中集成的最后迭代的至少一个经训练的模型Mn组成。该系统可以作为离线感知被使用，以便标记在迭代过程中不曾使用的其他传感器数据。因此，可以自动产生经标记的其他样本。如果以有在线能力的追踪来替代该感知系统的离线追踪，也即如果例如以不具有平滑器的卡尔曼滤波器来替代Rauch-Tung-Striebel平滑器并且继续使用鉴于单帧级的相同的经训练的模型，则能够在车辆中使用有在线能力的感知系统以用于实现自主行驶功能的环境觉察。为了减小对所需计算能力的要求，也可以针对感知系统的在线版本使用具有经减小的复杂度的经训练的单帧模型，所述经训练的单帧模型可以依据在迭代过程的最后迭代中所产生的标记Ln被训练和/或通过压缩和修剪（Pruning）由最后迭代的经训练的模型Mn来产生。

也能够类似地将针对自主行驶功能的用于实现离线感知和在线感知的迭代过程的所描述的应用转用到其他机器人。例如，可以将迭代过程应用于：实现家务机器人、护理机器人、施工机器人或园艺机器人的环境觉察。

根据另一种实施方式而规定，该方法100包括用于提高模型M的复杂度的步骤。有利地可以规定：在迭代的期间提高模型M的复杂度。有利地可以规定：在每个迭代n，n= 1、2、3、...、N中提高模型M的复杂度。

根据一种实施方式可以规定：在迭代过程开始时，也即在第一个迭代中并且在相对于迭代过程开始而言特定数目的其他迭代中训练如下模型，该模型鉴于数学模型的类型更简单和/或鉴于模型的复杂度更简单和/或包含更小数目的在训练的范畴内要估计的参数。

示例性地针对将该方法100应用于在使用期望最大化算法、即EM算法的情况下的分类问题来阐述具体实施方式。借助EM算法来估计：由数据集D的数据所计算的特征的类别特定的分布或者数据集D的数据的类别特定的分布。该分类例如在使用贝叶斯理论的情况下基于类别特定的概率的最大化。EM算法可以例如被采用用于估计高斯混合分布的参数。在使用高斯混合分布的情况下，可以增大模型复杂度，其方式为，增大对于每个混合（并且因此对于每个类别）所估计的高斯分布的数目。在该示例中，因此在迭代过程开始时使用比较小数目的高斯分布，并且在迭代期间不断提高该数目。

示例性地针对在使用尤其是深度的神经网络（英文：Deep Neural Networks,DNN）作为模型的情况下的该方法的应用来阐述其他具体实施方式。在该情况下，可以经由神经网络的架构来改变模型复杂度。层数目越大并且对于每个层而言的神经元数目越大，则一般而言在训练中所估计的参数的数目就越高并且因此该神经网络的复杂度就越高。在具体情况下，在这些层之间的链接（Verknüpfung）的类型也能够起到作用。

一般而言，尤其是通过提高该模型的在训练中要估计的参数的数目而引起的模型复杂度提高可以改善模型适配于训练数据，也即学习数据分布的能力。这有利地导致更好的识别能力。在一些情况下，模型的高复杂度也可导致更差的泛化能力和鉴于训练数据的所谓的过拟合。识别能力鉴于训练数据而言虽然在模型复杂度增大情况下进一步增高，然而却相反地鉴于未见的测试数据而言降低。针对训练可供使用的数据越少，过拟合就可能愈加构成问题。

在本文所公开的方法100中，这种效应可以是重要的，因为针对训练所使用的标记L1、L2、L3、...在迭代过程开始时要比重复执行迭代过程的迭代之后错误得更严重。因此，在该过程开始时所达到的识别能力要比在该过程结束时的识别能力更差。因此，可以例如有利的是，在该过程开始时达到良好的泛化能力并且避免过拟合。必要时，也可以证明为有利的是，由于模型的比较低的复杂度而接受一定的错误率。在迭代过程的进程中，标记的质量变得越来越好，从而使得具有更好质量的更多训练数据可供使用。于是，在达到标记的特定质量之后可以证明为有利的是，连续提高模型M的复杂度。该模型M的更高复杂度在特定质量的训练数据情况下一般而言也导致进一步改善识别能力。

作为在迭代方法的特定步骤中用于确定模型的适合的复杂度的标准可以例如采用错误率。尤其是，可以有利的是：将经预测的标记Ln’的错误率与特定训练样本的错误率相比较。如果经预测的标记Ln’的错误率更差，则可以有利的是，适配该模型的复杂度。

在下文中，以分类问题为例来阐述该方法的示例性应用。在分类问题情况下，应该给数据集D的每个数据元素分派来自离散标记的有限集合（Endliche Menge）的标记。但是，原则上，也可以类似地将该方法应用于回归问题，其中所述标记相应于特定的连续参数，其中应估计所述连续参数的大小。针对分类问题的典型示例例如是：依据图像数据，在文本文档、例如在所扫描的文本文档中识别字母，英文Optical Character Recognition（光学字符识别）。对此，通常将文本文档划分为各个分段，其中例如给单个字母分配单个分段。

在步骤120中，生成初始标记L1。所述初始标记L1具有错误率F1。在分类问题情况下，错误率例如被定义为：不正确的标记占数据或标记的总数的份额。

迭代过程的一个方面是通过经训练的模型Mn来对经预测的标记Ln’的错误率的改善。有利地，在迭代步骤i中所训练的模型Mi在应用到未标记的数据集D的情况下达到错误率Fi’，其中该错误率Fi’比标记Li的错误率Fi更好。为了能够在迭代中实现错误率的改善，也即Fi’< Fi，所使用的模型M的泛化能力可以是决定性的因素。该模型的泛化能力可以尤其是经由模型的复杂度提高被改善。此外，也可以基于用于根据至少包括第n个标记Ln和第n个经预测的标记Ln’的标记集合确定第（n+1）个标记Ln+1的步骤143n得到改善。在此并不强制性地需要在每个单个迭代中适用Fi’< Fi。通过多次进行迭代过程，实现标记质量的提高并且因此实现错误率的改善。例如，当在特定的剩余错误率情况下达到饱和时，结束该过程。

如果针对多个类别其中的每个单个类别的标记错误都是足够少见的，使得能够由该数据集的所有经标记数据的集合来导出的该类别到该类别的相应数据的特定特征的分配是唯一的，那么通过训练模型M而对在分类问题情况下的错误率的改善尤其是成功的。

该方法也能够应用在回归问题中。在回归问题情况下，初始标记有利地并不包含任何的在模型训练中会被学习的系统性错误，即所谓的偏差错误（Bias-Fehler）。

最后，图5示出了设备200，其中该设备200构造用于，执行根据所描述的实施方式的方法100。

该设备200包括计算装置210和存储装置220，尤其是用于存储模型、尤其是神经网络的存储装置220。该设备210例如包括用于输入和输出数据的接口230，尤其是用于输入数据集D的数据和/或初始标记L1以及用于输出标记Ln+1的接口230。计算装置210和存储装置220和接口230经由至少一个数据线路240连接。计算装置210和存储装置220可以被集成到微控制器中。该设备200也可以被构造为在服务器基础设施中的分布式系统。

根据所述实施方式而规定，计算装置210可以访问存储装置220a，在该存储装置220a上存储计算机程序PRG1，其中该计算机程序PRG1包括计算机可读的指令，在通过计算机、尤其是通过计算装置210执行所述指令的情况下执行根据所述实施方式的方法100。

根据另一实施方式而规定，该设备200包括至少一个其他模型250，其中所述其他模型250被构造为用于对象识别的系统260的部分。

其他实施方式涉及根据所述实施方式的方法100的和/或根据所述实施方式的设备200的和/或根据所述实施方式的计算机程序PRG1的和/或根据所述实施方式的计算机程序产品的用于生成训练数据的应用，其中所述训练数据用于训练模型、尤其是神经网络。

其他实施方式涉及在训练数据中对针对数据集D的标记Ln+1的应用、尤其是利用标记Ln+1来标记的数据集D_Ln+1的应用，其中所述标记Ln+1利用根据所述实施方式的方法100和/或利用根据所述实施方式的设备200和/或利用根据所述实施方式的计算机程序和/或利用根据所述实施方式的计算机程序产品PRG1来生成，其中所述训练数据包括用于训练模型、尤其是神经网络的数据集D。

其他应用例：医学图像识别和生物计量的人员识别。

该方法100和/或利用该方法100所生成的标记Ln+1可以尤其是被应用在用于模式识别、尤其是对象检测、对象分类和/或分割的系统中，尤其是在医学的图像识别的范围内、示例性地在分割或分类医学图像的范围内应用和/或在自主或部分自主的行驶的范围内和/或在生物计量的人员识别的范围内应用。所述应用在下文中以两个独立的示例来阐明，第一方是依据x光图像、计算机X光断层摄影图像（CT）或者磁共振断层摄影图像（MRT）来对医学干扰进行分类，第二方面是作为用于验证或标识人员的生物计量系统的元素而在图中对人脸进行定位。

该方法可以被应用在所述示例中，其方式为，首先记录相应域的图像的样本，所述样本构成最初未标记的数据集D。因此，例如获得特定的人类器官的CT图像的样本，在第二示例中为具有对人脸的摄影的样本。在人脸图像的样本情况下可以有利的是，代替单个的、彼此无关的摄影而使用视频序列，因为然后可以使用以随着时间的追踪来进行的根据图4的方法。

可以在这两个应用例中通过比较简单的启发式方法来进行步骤120，即生成初始的、有错的标记，以便获得图像的分割和/或分类的初始标记。具体的示例是：依据相应的亮度值和/或色彩值的简单阈值来进行像素级（Pixelebene）分割和/或依据整体图像和/或经分割的图像的所有亮度值或色彩值的分布进行基于规则的分类。在人脸定位的情况下，可以依据典型的肤色来进行图像的基于规则的分割。替代性地，在这两个应用情况下，手动标记是可能的，其中这由于对初始标记的质量的较小要求而能够相对快速且低成本地进行。

在迭代过程的进程中被训练并且针对预测被采用的模型M可以是卷积深度神经网络。在分类的应用情况下，可以使用输出层的独热编码（One-Hot-Encoding）。为了应用构成对象检测的特殊情况的人脸识别，可以针对该模型M例如使用深度神经网络架构YOLO（“YouOnly Look Once（你只用看一遍）”）、R-CNN（Region Proposal（区域候选） CNN）、快速R-CNN、更快速的R-CNN和/或Retinanet（视网膜网）。

因为初始标记的生成基于色彩信息，可以改善所述泛化，其方式为，在迭代过程开始时从图像中移除色彩信息，也即最初仅依据灰度图像在迭代步骤中进行训练和预测。在迭代过程的接下来的进程中，尤其是当起初错误地标记为“人脸”的图像部分不再导致CNN的假肯定性（Falsch-Positiv）预测时，可以再次添加色彩信息，从而能够使用整体信息。作为针对实现标记选择的示例，可以在分类医学干扰的应用情况下依据CNN的置信度来作出选择。这可以这样来实现，使得在迭代过程开始时仅仅采用具有高置信度的那些经预测的标记。所述置信度可以例如通过如下方式来被确定：在使用独热编码的情况下将输出层的与胜者类别（Gewinner-Klasse）相对应的神经元的输出值视为置信度。

在图像中定位人脸的应用情况下，当数据集D中存在视频序列时，可以将根据图4的方法与随着时间的追踪相结合。

Claims (18)

1.用于生成针对数据集（D）的标记（L）的方法（100），所述方法包括：

提供（110）未标记的数据集（D），所述数据集包括多个未标记的数据；

针对所述未标记的数据集的数据生成（120）初始标记（L1）；

提供（130）所述初始标记（L1）作为第n个标记（Ln），其中n=1；

执行（140）迭代过程，其中针对n=1、2、3、...N其中的每个而言，所述迭代过程的第n个迭代包括如下步骤：

利用经标记的数据集（D_Ln）来训练（141n）模型（M）以作为第n个经训练的模型（Mn），其中通过所述未标记的数据集（D）的数据与第n个标记（Ln）的组合来给出所述经标记的数据集（D_Ln）；

在使用所述第n个经训练的模型（Mn）的情况下针对所述未标记的数据集（D）的未标记的数据来预测（142n）第n个经预测的标记（Ln’）；

根据至少包括所述第n个经预测的标记（Ln’）的标记集合来确定（143n）第（n+1）个标记（Ln+1）。

2.根据权利要求1所述的方法（100），其中所述标记集合包括所述第n个标记（Ln）。

3.根据上述权利要求其中至少一项所述的方法，其中只要是尚未满足品质标准和/或中止标准，所述迭代过程的步骤（141n、142n、143n）就被重复地执行。

4.根据上述权利要求其中至少一项所述的方法（100），其中确定（143n）第（n+1）个标记（Ln+1）包括：确定最佳标记。

5.根据上述权利要求其中至少一项所述的方法（100），其中手动地或者通过模式识别算法来针对未标记的数据生成（120）所述初始标记（L1）。

6.根据上述权利要求其中至少一项所述的方法（100），其中所述标记集合包括所述初始标记（L1）。

7.根据上述权利要求其中至少一项所述的方法（100），其中所述方法还包括：在所述模型（M）的训练之前丢弃未标记的数据集（D）的数据。

8.根据上述权利要求其中至少一项所述的方法（100），其中确定第（n+1）个标记（Ln+1）包括：根据所述标记集合来计算标记的尤其是经加权的平均值。

9.根据上述权利要求其中至少一项所述的方法（100），其中所述方法（100）进一步包括：确定用于训练所述模型（M）的权重（G）和/或使用权重（G）以用于训练所述模型（M）。

10.根据上述权利要求其中至少一项所述的方法（100），其中在使用至少一个其他模型（250）的情况下进行所述方法（100）的步骤，尤其是用于在使用第n个经训练的模型（Mn）的情况下针对所述未标记的数据集（D）的所述未标记的数据预测（142n）第n个经预测的标记（Ln’）的步骤和/或用于根据至少包括所述第n个经预测的标记（Ln’）的标记集合来确定（143n）第（n+1）个标记（Ln+1）的步骤。

11.根据上述权利要求其中至少一项所述的方法（100），其中所述方法（100）进一步包括：提高所述模型（M）的复杂度。

12.设备（200），其中所述设备（200）被构造用于，执行根据权利要求1至11其中至少一项所述的方法（100）。

13.根据权利要求12所述的设备（200），其中所述设备（200）包括计算装置（210）和存储装置（220），所述存储装置尤其是用于存储模型（M）、尤其是神经网络。

14.根据权利要求12或13其中至少一项所述的设备（200），其中所述设备（200）包括至少一个其他模型（250），其中所述其他模型（250）被构造为用于对象识别的系统（260）的部分。

15.计算机程序（PRG1），其中所述计算机程序（PRG1）包括计算机可读的指令，在通过计算机执行所述指令的情况下执行根据权利要求1至11其中任一项所述的方法（100）。

16.计算机程序产品，其中所述计算机程序产品包括计算机可读的存储介质，在所述计算机可读的存储介质上存储根据权利要求15所述的计算机程序（PRG1）。

17.根据权利要求1至11其中至少一项所述的方法（100）的和/或根据权利要求12至14其中至少一项所述的设备（200）的和/或根据权利要求15所述的计算机程序（PRG1）的和/或根据权利要求16所述的计算机程序产品的用于生成训练数据的应用，其中所述训练数据用于训练模型、尤其是神经网络。

18.在训练数据中对针对数据集（D）的标签（Ln+1）的应用，其中利用根据权利要求1至11其中至少一项所述的方法（100）和/或利用根据权利要求12至14其中至少一项所述的设备（200）和/或利用根据权利要求15所述的计算机程序（PRG1）和/或利用根据权利要求16所述的计算机程序产品生成所述标记（Ln+1），其中所述训练数据包括用于训练模型、尤其是神经网络的数据集（D）。

Images