CN113095350A - 用于生成尤其用于训练神经网络的加标签的数据的方法 - Google Patents

用于生成尤其用于训练神经网络的加标签的数据的方法 Download PDF

Info

Publication number
CN113095350A
CN113095350A CN202011524064.3A CN202011524064A CN113095350A CN 113095350 A CN113095350 A CN 113095350A CN 202011524064 A CN202011524064 A CN 202011524064A CN 113095350 A CN113095350 A CN 113095350A
Authority
CN
China
Prior art keywords
subset
model
tagged
nth
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011524064.3A
Other languages
English (en)
Inventor
C·哈斯-舒茨
H·赫特林
R·斯陶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113095350A publication Critical patent/CN113095350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

用于生成尤其用于训练神经网络的加标签的数据的方法。本公开涉及用于生成尤其用于神经网络的加标签的数据、例如训练数据的方法（100，1000）和设备（200）。

Description

用于生成尤其用于训练神经网络的加标签的数据的方法
技术领域
本公开涉及一种用于生成尤其用于未加标签的数据的标签的方法。所得到的加标签的数据例如可以被用作训练数据，尤其用于神经网络。
此外，本公开涉及一种用于执行第一方法和/或其他方法的设备。
背景技术
机器学习、尤其利用神经网络、尤其深度神经网络（英语：Deep Neural Network，DNN）进行学习的方法在许多问题的情况下胜过经典的未经训练的用于模式识别的方法。几乎所有这些方法都基于监督式学习。
监督式学习需要带注释的或加标签的数据作为训练数据。在下文中也称为标签的这些注释用作优化算法的目标输出。在此给每个数据元素分配至少一个标签。
标签的质量可能对机器学习方法的经训练的模型的识别性能有影响。从现有技术中已知手动地给用于训练机器学习方法的样本加标签。
发明内容
本公开提供相对于现有技术改进的用于生成标签的方法。
一种实施方式涉及一种用于生成用于数据集的标签的方法，该方法包括：
提供未加标签的数据集，所述未加标签的数据集包括未加标签的数据的第一子集和未加标签的数据的至少一个与第一子集不相交的其他子集；
通过生成用于第一子集的标签来生成加标签的第一子集并且提供加标签的第一子集作为第n个加标签的第一子集，其中n=1；
执行迭代过程，其中迭代过程的第n次迭代针对每个n=1、2、3、...N包括如下步骤：
利用第n个加标签的第一子集训练第一模型作为第n个经训练的第一模型；
通过在使用第n个经训练的第一模型的情况下预测用于其他子集的标签来生成第n个加标签的其他子集；
利用第n个加标签的其他子集训练另一模型作为第n个经训练的其他模型；
通过在使用第n个经训练的其他模型的情况下预测用于第一子集的标签来生成第（n+1）个加标签的第一子集。
该方法基于，从加标签的第一子集出发，在迭代方法中训练第一模型和其他模型，并且由此逐步改进利用模型预测的标签、尤其标签的质量。在此，利用用于泛化的经训练的模型的能力和/或经训练的模型的随迭代增加的精度。
未加标签的数据集或第一和其他子集的未加标签的数据例如是实际数据、尤其传感器的测量值、尤其多模数据。所述传感器例如根据不完全的示例性的列举可以是雷达传感器、光学摄像机、超声传感器、激光雷达传感器或红外传感器。这种传感器通常使用在机动车中的自主和半自主功能中或一般使用在机器人中。
针对第一子集的首先还未加标签的数据，生成标签。所公开的方法的优点是，在该步骤中有错误地生成标签就足够了。标签的生成因此可以比较简单地并且因此相对快速地和成本低地实现。
生成用于第一子集的标签例如在使用自动方法的情况下进行。可以被证明为有利的是，使用未经训练的方法、尤其经典的模式识别算法，对于所述模式识别算法而言不需要训练数据。尤其也可能的是，使用在其他数据集上训练的方法，而不与当前数据集适配。也可以设想如下实施方式，在所述实施方式中手动地生成用于第一子集的标签。
为了在执行迭代过程期间改进经训练的模型的泛化并且为了避免学习初始标签中的系统错误，尤其也可能的是，尤其在迭代过程开始时首先不使用未加标签的数据集的数据的信息的一部分。尤其可能合理的是，首先并不使用这种信息，所述信息对于通过未经训练的模式识别算法生成初始标签而言是重要的。在迭代过程的进一步进程中，可以最后使用首先未被利用的信息。对此的示例是，为了生成初始标签使用图像中的颜色信息，并且在迭代过程中首先不提供颜色信息，即将原始彩色图像转换为灰度值图像。在迭代过程的进一步进程中，可以添加颜色信息，其中于是可以相应地适配可训练的模型的架构，以便处理附加信息、例如彩色图像而不是灰度值图像。
可以被证明为有利的是，第一子集和其他子集大致、尤其刚好一样大，或包括大致、尤其刚好一样大数量的未加标签的数据。
所公开的方法的优点在于，在迭代过程的进程中在每个步骤中利用如下数据执行第一模型和其他模型的训练，所述数据与相应模型紧接着执行预测所针对的数据不相交。这样可以避免，在迭代开始时在标签中存在的错误在相应模型的训练期间传播并且继续传播直至迭代过程结束。相应的模型的训练因此在每次迭代中重新从“零”（英语“fromscratch”）开始。因此不仅仅进行先前的迭代的模型的适配。由此改进相应的模型和整个方法的泛化能力并且因此扩展该方法的可应用性。有利地，两个或更多不相交的子集的交替使用因此改进泛化并且抑制过度适配（Überanpassung）（英语Overfitting（过度拟合））。
利用该方法生成的标签可以与数据集一起作为加标签的或所注释的训练数据被提供用于训练模型、尤其神经网络。
根据另一实施方式规定，在迭代过程的第n次迭代之后利用第n个加标签的第一子集和/或第n个加标签的其他子集训练最终模型。通过将第一子集和其他子集组合可以提高、尤其加倍用于训练最终模型的训练数据的大小。这样，可以有利地提高由此得到的最终模型的预测质量。所得到的模型于是可以被用于预测用于整个数据集的标签。有利地，通过借助最终模型进行预测可以生成优化版本的用于数据集的标签。
根据另一实施方式规定，加标签的数据集和/或最终的加标签的数据集通过借助最终模型预测用于数据集的标签来生成。有利地，通过借助最终模型进行预测可以生成优化版本的用于数据集的标签并且因此生成优化的加标签的数据集。
根据另一实施方式规定，通过利用初始模型预测标签来生成加标签的第一子集。可以被证明为有利的是，初始模型包括未经训练的模型、尤其经典的模式识别算法，对于所述模式识别算法而言不需要训练数据。
根据另一实施方式规定，初始模型在先前的步骤中利用带标签的初始子集来训练，并且初始子集与第一子集和其他子集不相交。初始子集的加标签例如手动地进行。
根据另一实施方式规定，初始子集小于第一子集或包括比第一子集更小数量的数据，和/或小于其他子集或包括比其他子集更小数量的数据。这例如可以如下被证明为有利的：初始子集可以比较低成本地手动地被加标签。生成用于第一子集和其他子集的标签于是如上文所描述的那样在迭代过程中进行。
根据另一实施方式规定，只要还不满足质量标准和/或中止标准，迭代过程的步骤就重复地被实施。质量标准例如包括所产生的标签的质量或模型的预测质量。中止标准例如包括超过或低于阈值、尤其要执行的迭代的次数或用于标签从一次迭代到下一迭代的改变的值或用于标签的质量级别。预测质量和/或标签的质量的评价例如可以根据良好质量的加标签的参考样本进行。替代地，可以基于模型的置信度评价质量，所述置信度除了所预测的标签之外被输出。为此目的，置信度可以被归一化，其中例如可以执行归一化，其方式是，使用针对该步骤通过预测所获得的加标签的数据集的一部分。在此情况下，该部分并不被用于训练。
根据另一实施方式规定，第一模型和/或其他模型和/或初始模型和/或最终模型包括神经网络、尤其深度神经网络。
根据另一实施方式规定，该方法此外包括：提高第一模型和/或其他模型的复杂度。可以规定，在每次迭代n中提高第一模型和/或其他模型的复杂度，n=1、2、3、...N。也可以规定，与迭代过程的最后迭代的第一模型和/或其他模型的复杂度相比提高最终模型的复杂度。
有利地可以规定，在迭代过程开始时，即在第一次迭代中并且在确定数量的相对于在迭代过程开始时的其他迭代中训练第一模型和/或其他模型，第一模型和/或其他模型在数学模型的类型方面更简单和/或在模型的复杂度方面更简单和/或包含更小数量的在训练范围中要估计的参数。此外于是可以规定，在迭代过程期间，即在迭代过程的确定数量的其他迭代之后训练第一模型和/或其他模型，所述第一模型和/或其他模型在数学模型的类型方面更复杂和/或在模型的复杂度方面更复杂和/或包含更高数量的在训练范围中要估计的参数。
另一实施方式涉及一种用于生成用于数据集的标签的方法，该方法包括：
提供未加标签的数据集，所述未加标签的数据集包括未加标签的数据的第一子集和未加标签的数据的至少一个与第一子集不相交的其他子集，其中所述子集包括至少一个第一次子集和第二次子集，尤其k个次子集，其中k=1、2、3...K，其中k说明相应的次子集的索引；
通过生成用于第一子集的标签来生成初始的加标签的子集；
利用初始的加标签的子集来训练模型作为第n个经训练的模型，其中n=1；
执行迭代过程，其中迭代过程的第n次迭代针对每个n=1、2、3、...N包括如下步骤：
通过借助第n个经训练的模型预测用于第k个次子集的标签来生成第n个加标签的次子集；
利用第n个加标签的次子集来训练模型作为第（n+1）个经训练的模型。在另一实施方式中，第（n+1）个经训练的模型利用第k个加标签的次子集和初始的加标签的子集来训练。
在一种实施方式中，迭代过程的迭代的次数N等于次子集的数目K。在该实施方式中，因此将一直经历迭代过程，直至针对每个次子集已预测了标签刚好一次并且利用这样加标签的次子集中的每一个已执行了训练刚好一次。
在另一实施方式中，迭代过程的迭代的次数N小于次子集的数目K。在此情况下，并不使用所有次子集。这在如下情况下可能是合理的：在应用所有次子集之前，基于中止标准结束迭代过程。
在另一实施方式中，迭代过程的迭代的次数N大于次子集的数目K。在此情况下，一些或所有次子集被使用多于一次。在此情况下例如在迭代过程的第n次迭代中可以使用第(((n-1) modulo K)+1)个次子集。
该方法基于，从初始的加标签的子集出发，在迭代方法中训练模型并且逐步地改进利用模型预测的标签、尤其标签的质量。在此，利用用于泛化的经训练的模型的能力和/或经训练的模型的随迭代过程的迭代增加的精度。
未加标签的数据集或第一和其他子集的未加标签的数据例如是实际数据、尤其传感器的测量值、尤其多模数据。所述传感器例如根据不完全的示例性的列举可以是雷达传感器、光学摄像机、超声传感器、激光雷达传感器或红外传感器。这种传感器通常使用在机动车中的自主和半自主功能中或一般使用在机器人中。
针对第一子集的首先还未加标签的数据，生成初始标签。生成用于第一子集的初始标签例如手动地进行。也可以设想如下实施方式，在所述实施方式中在使用半自动或自动方法的情况下、尤其在使用典型的模式识别算法的情况下生成初始标签。
可以被证明为有利的是，第一子集小于其他子集或包括比其他子集更小数据的数据。此外可以被证明为有利的是，其他子集的次子集大致、尤其刚好一样大，或包括大致、尤其刚好一样大数量的未加标签的数据。
所公开的方法的优点在于，在迭代过程的进程中在每个步骤中利用如下数据执行模型的训练，所述数据至少部分地与该模型紧接着执行预测所针对的数据不相交。这样可以避免，在迭代过程开始时在标签中存在的错误在模型的训练期间传播并且继续保持直至迭代过程结束。在迭代过程的每次迭代中使用未被看到的次子集。在相应的迭代中经训练的模型因此被应用于次子集，所述次子集在先前的迭代中没有被用于训练模型。
为了在每次迭代中产生改进的模型，执行重新的训练，其中使用相应迭代的加标签的次子集。在另一实施方式中，附加地可以将初始的加标签的子集用于训练。
利用该方法生成的标签可以与数据集一起作为加标签的或所注释的训练数据被提供用于训练模型、尤其神经网络。
根据另一实施方式规定，在迭代过程的第n次迭代之后通过借助经训练的模型预测用于其他子集的标签来生成另一加标签的子集。该步骤有利地可以通过将第n个经训练的模型应用于未加标签的数据集来进行。
根据另一实施方式规定，生成加标签的数据集，该加标签的数据集包括初始的加标签的子集和其他加标签的子集。该步骤有利地在迭代过程的第n次迭代之后、尤其在迭代过程结束之后被实施。
根据另一实施方式规定，利用加标签的数据集来训练最终模型和/或借助最终模型通过预测用于数据集的标签来生成加标签的数据集。有利地，通过借助最终模型进行预测可以生成优化版本的用于数据集的标签并且因此生成优化的加标签的数据集。
根据另一实施方式规定，只要还不满足质量标准和/或中止标准，迭代过程的步骤就重复地被实施。质量标准例如包括所产生的标签的质量或模型的预测质量。中止标准例如包括超过或低于阈值、尤其要执行的迭代的次数或用于标签从一次迭代到下一迭代的改变的值或用于标签的质量级别。预测质量和/或标签的质量的评价例如可以根据良好质量的加标签的参考样本进行。替代地，可以基于模型的置信度评价质量，所述置信度除了所预测的标签之外被输出。为此目的，置信度可以被归一化，其中例如可以执行归一化，其方式是，使用针对该步骤通过预测所获得的加标签的数据集的一部分。在此情况下，该部分并不被用于训练。要执行的迭代的次数例如可以经由其他子集的次子集的数量预先给定。根据一种实施方式可以规定，在经历根据次子集的数量的迭代次数之后利用已经使用的次子集重新经历迭代过程，使得迭代的次数总计大于次子集的数量。
根据另一实施方式规定，模型和/或最终模型包括神经网络、尤其深度神经网络。
根据另一实施方式规定，该方法此外包括：提高模型的复杂度。可以规定，在每次迭代n中提高模型的复杂度，n=1、2、3、...N。有利地可以规定，在迭代过程开始时，即在第一次迭代中并且在确定数量的相对于在迭代过程开始时的其他迭代中训练模型，所述模型在数学模型的类型方面更简单和/或在模型的复杂度方面更简单和/或包含更小数量的在训练范围中要估计的参数。此外于是可以规定，在迭代过程期间，即在迭代过程的确定数量的其他迭代之后训练模型，所述模型在数学模型的类型方面更复杂和/或在模型的复杂度方面更复杂和/或包含更高数量的在训练范围中要估计的参数。
另一实施方式涉及一种设备，其中所述设备构成为实施根据上文所描述的实施方式的一种或多种方法。
根据另一实施方式规定，所述设备包括计算装置和存储装置，尤其用于存储至少一个模型、尤其神经网络。
另一实施方式涉及一种计算机程序，其中所述计算机程序包括计算机可读的指令，在所述指令通过计算机实施时实施根据上文所描述的实施方式的一种或多种方法。
另一实施方式涉及一种计算机程序产品，其中所述计算机程序产品包括计算机可读的存储介质，在所述存储介质上存储有根据所述实施方式的计算机程序。
另一实施方式涉及根据上文所描述的实施方式的至少一种方法和/或根据所述实施方式的设备和/或根据所述实施方式的计算机程序和/或根据所述实施方式的计算机程序产品用于生成训练数据的应用，所述训练数据用于训练模型、尤其神经网络。
另一实施方式涉及加标签的数据集的应用，其中加标签的数据集利用根据所述实施方式的方法和/或利用根据所述实施方式的设备和/或利用根据所述实施方式的计算机程序和/或利用根据所述实施方式的计算机程序产品来生成，用于训练模型、尤其神经网络。
例如可以设想使用在分类方法、识别方法、尤其生物识别方法、尤其语音识别、面部识别、虹膜识别或尤其对象探测、对象跟踪等中。
同样可以设想使用在“终身学习（Life-long-Learning）”方案中。这种方案的特色在于在方法的使用期间进一步训练。
该方法尤其适合于给由传感器记录的数据加标签。所述传感器例如可以是摄像机、激光雷达传感器、雷达传感器、超声传感器。优选地，将借助该方法加标签的数据用于训练模式识别算法、尤其对象识别算法。借助该模式识别算法可以操控不同的技术系统并且例如获得在诊断方面的医学进步。尤其，借助加标签的数据训练的对象识别算法适合于使用在控制系统、尤其驾驶功能中、至少半自动化的机器人中。这样，所述对象识别算法例如可以被用于工业机器人，以便有针对性地处理对象、运输对象或基于特定的对象类别激活安全功能、例如关断。对于自动化机器人、尤其自动化车辆而言，这种对象识别算法可以有利地用于改进或实现驾驶功能。尤其，基于通过对象识别算法识别对象可以进行机器人、尤其自动化车辆的横向和/或纵向引导。不同的驾驶功能、如紧急制动功能或车道保持功能可以通过使用这些对象识别算法来改进。
附图说明
本发明的其他的特征、应用可能性和优点从本发明的实施例的随后的描述中得出，所述实施例在附图的图中呈现。在此，所有所描述的或所呈现的特征本身或以任意的组合构成本发明的主题，与其在权利要求中的结合或其引用无关以及与其在说明书中或在附图中的表述或图示无关。在此，方法步骤示意性地作为矩形呈现，数据示意性地作为圆柱形呈现，在各个方法步骤和数据之间的过渡作为箭头呈现，并且数据流作为虚线箭头呈现。
在附图中：
图1以流程图示出第一方法的步骤的示意图；
图2以框图示出根据优选的第一实施方式的第一方法的示意图；
图3以框图示出根据另一优选的实施方式的该方法的示意图；
图4以流程图示出另一方法的步骤的示意图；
图5以框图示出根据一种实施方式的另一方法的示意图；
图6以框图示出根据另一实施方式的该另一方法的示意图；以及
图7以简化的框图示出根据一种优选的实施方式的设备。
具体实施方式
图1示出用于生成用于数据集S的标签、尤其最终标签L_f的方法100的步骤的示意图。该方法100包括如下步骤：
用于提供未加标签的数据集S的步骤110，所述数据集包括未加标签的数据的第一子集SA和未加标签的数据的至少一个与第一子集不相交的其他子集SB；
用于通过生成用于第一子集SA的标签L_A_1来生成加标签的第一子集SA_L_1的步骤120，
和用于提供加标签的第一子集SA_L_1作为第n个加标签的第一子集SA_L_n的步骤130，其中n=1；
用于执行迭代过程的步骤140，其中针对每个n=1、2、3、...N，迭代过程的第n次迭代包括如下步骤：
用于利用第n个加标签的第一子集SA_L_n训练第一模型MA作为第n个经训练的第一模型MA_n的步骤141n；
用于通过在使用经训练的模型MA_n的情况下预测用于其他子集SB的标签L_B_n来生成第n个加标签的其他子集SB_L_n的步骤142n；
用于利用第n个加标签的其他子集SB_L_n训练另一模型MB作为第n个经训练的其他模型MB_n的步骤143n；
用于通过在使用第n个经训练的其他模型MB_n的情况下预测用于第一子集SA的标签 L_A_n+1来生成第（n+1）个加标签的第一子集SA_L_n+1的步骤144n。
根据所呈现的实施方式，该方法此外包括用于利用第n个加标签的第一子集SA_L_n和/或第n个加标签的其他子集SB_L_n训练150最终模型M_f的步骤。步骤150在迭代过程的第n次迭代之后实施。
根据所呈现的实施方式，该方法此外包括用于通过借助最终模型M_f预测用于数据集S的标签L_f来生成加标签的数据集S_L_f的步骤160。
方法100的优点在于，在迭代过程140的进程中在每次迭代中利用如下数据执行未经训练的第一模型和其他模型MA、MB的训练，所述数据与相应的经训练的模型MA_n、MB_n紧接着执行预测所针对的数据不相交。这样可以避免，尤其在迭代开始时在标签L_A_1和L_B_1至L_A_N和L_B_N中存在的错误在相应的模型MA、MB的训练期间传播并且继续传播直至迭代过程结束。相应的模型MA、MB的训练因此在每次迭代中重新从“零”（英语“fromscratch”）开始。因此不仅仅进行先前的迭代的模型MA_n-1、MB_n-1的适配。由此改进相应的模型MA、MB和整个方法100的泛化能力并且因此扩展该方法100的可应用性。有利地，两个不相交的子集SA、SB的交替使用因此改进泛化并且抑制过度拟合。
该方法100的第一实施方式在下文中参考图2来解释。
未加标签的数据集S包括未加标签的数据的第一子集SA和未加标签的数据的与第一子集不相交的其他子集SB。
根据所呈现的实施方式，第一子集SA和其他子集SB大致、尤其刚好一样大，或包括大致、尤其刚好一样大数量的未加标签的数据。
在步骤120中，加标签的第一子集SA_L_1通过生成用于第一子集SA的标签L_A_1来生成，并且在步骤130中作为第n个加标签的第一子集SA_L_n提供，其中n=1。
生成用于第一子集SA的标签L_A_1例如在使用自动方法的情况下进行。该自动方法根据该实施方式可以包括未经训练的方法、尤其经典的模式识别算法，对于所述方法而言不需要训练数据。
只要未加标签的数据S是时间相关数据，该自动方法就例如也可以执行离线处理。在此，例如也可以将对各个帧操作的单帧方法、尤其基于深度学习的对象识别与利用时间一致性的方法、例如跟踪组合。
替代地，用于第一子集SA的标签L_A_1的生成也可以手动地进行。
为了更好的理解，迭代过程140的步骤由配备有附图标记140的框包围。
迭代过程的每第n次迭代针对每个n=1、2、3、...N包括如下步骤：
在步骤141n中，利用第n个加标签的第一子集SA_L_n训练第一模型MA，作为第n个经训练的第一模型MA_n；
在步骤142n中，通过在使用经训练的模型MA_n的情况下预测用于其他子集SB的标签L来生成第n个加标签的其他子集SB_L_n；
在步骤143n中，利用在步骤142n中生成的第n个加标签的其他子集SB_L_n生成模型MB，作为第n个经训练的其他模型MB_n；
在步骤144n中，通过在使用第n个经训练的其他模型MB_n的情况下预测用于第一子集SA的标签L_n+1来生成第（n+1）个加标签的第一子集SA_L_n+1。
在迭代过程140的进程中，在每个步骤中利用如下数据执行第一模型和其他模型MA、MB的训练，所述数据与相应的模型MA_n、MB_n紧接着执行预测所针对的数据不相交。
通过多次经历迭代过程140的迭代实现标签的质量的提高或错误率的减小。
例如，只要还不满足质量标准和/或中止标准，就实施迭代过程140。质量标准例如包括所产生的标签L_A_n和L_B_n的质量或第一模型和/或其他模型MA、MB的预测质量。中止标准例如包括超过或低于阈值、尤其要执行的迭代的次数或例如根据间距（Abstandsmaß）所计算的用于标签L_A_n和/或L_B_n从一次迭代到下一迭代的改变的值或用于标签L_A_n和/或L_B_n的质量级别。预测质量和/或标签L_A_n和/或L_B_n的质量的评价例如可以根据良好质量的加标签的参考样本进行。替代地，可以基于第一模型和/或其他模型MA、MB的置信度评价质量，所述置信度除了所预测的标签L_A_n和/或L_B_n之外被输出。为此目的，置信度可以被归一化，其中例如可以执行归一化，其方式是，可以使用针对该步骤通过预测所获得的加标签的数据集的一部分。在此情况下，该部分并不被用于训练。
在该迭代过程之后可以执行最终的训练过程。最终的训练过程例如包括图1中的步骤150、160。根据所呈现的实施方式，来自最后的第N次迭代的第（N+1）个加标签的第一子集SA_L_N+1和第N个加标签的其他子集SB_L_N被用于训练150最终模型M_f。最终模型M_f例如在最后的第N次迭代的标签L_A_N和L_B_N上被训练。
紧接着在步骤160中通过借助最终模型M_f预测用于数据集S的标签L_f来生成加标签的数据集S_L。
图3示出该方法100的另一实施方式。未加标签的数据集S除了第一和第二子集SA、SB之外包括初始子集SC。初始子集SC可以与第一和其他子集SA、SB同样不相交，然而也可能的是，SC是SA和/或SB的子集。
在步骤112中，尤其借助手动方法生成用于初始子集SC的标签L_C。
在步骤114中，利用加标签的初始子集SC_L训练初始模型MC。
根据该实施方式此外规定，通过利用经训练的初始模型MC预测标签来进行加标签的第一子集SA_L_n的生成120。
有利地，初始子集SC小于第一子集SA和/或小于其他子集SB或包括数量小于第一子集SA和/或其他子集SB的数据。这例如可以如下被证明为有利的：初始子集SC可以比较低成本地手动被加标签。
生成用于第一和其他子集SA、SB的标签于是利用参考图1和图2所描述的迭代过程140进行。
在SC是SA和/或SB的子集的情况下，针对不仅在SC中而且在SA和/或SB中出现的那些数据集元素（样本的试样）在迭代过程的迭代中预测新标签。在一种实施方式中，这些所预测的标签可以代替初始标签L_C，使得仅仅在开始时使用初始标签。在另一实施方式中，在迭代过程的迭代步骤中可以使用初始标签中的一些，而初始标签中的一些通过所预测的标签代替。这些标签中的哪些标签未改变地使用和哪些标签被代替可以在迭代过程的进程中改变，尤其由未改变地使用的标签与被代替的标签构成的比例可以改变。由此可以得出如下优点：如果初始标签是有错误的并且所预测的标签的质量在迭代过程的进程中超越初始迭代的质量，则在迭代过程开始时使用更大份额的未改变的初始标签并且在进一步的进程中使用更大份额的所预测的标签。而如果初始标签的质量是高的，则一般在迭代过程的所有迭代步骤中可以使用初始标签，使得不仅在SC中而且在SA和/或SB中出现的那些数据集元素的预测在迭代中不需要被执行。在此情况下，加标签的样本SC_L可以被称为参考样本。
图4示出用于生成用于数据集S的标签L_f的另一方法1000的步骤的示意图。该方法1000包括如下步骤：
用于提供未加标签的数据集S的步骤1100，所述未加标签的数据集包括未加标签的数据的第一子集SA和未加标签的数据的至少一个与第一子集不相交的其他子集SB。子集SB包括至少一个第一次子集（Unterteilmenge）SB_1和第二次子集SB_2，尤其K个次子集SB_k，其中k=1、2、3...K；
用于通过生成用于第一子集SA的标签L_A来生成初始的加标签的子集SA_L的步骤1200，
用于利用初始的加标签的子集SA_L训练模型M作为第n个经训练的模型M_n的步骤1300，其中n=1；
用于执行迭代过程的步骤1400，其中迭代过程的第n次迭代针对每个n=1、2、3、...N包括如下步骤：
用于通过借助第n个经训练的模型M_n预测用于第n个次子集SB_n的标签L_n来生成第n个加标签的次子集SB_n_L的步骤1410n；
用于利用第n个加标签的次子集SB_n_L和初始的加标签的子集SA_L训练模型M作为第（n+1）个经训练的模型M_n+1的步骤1420n。在另一替代的实施方式中，步骤1420n包括仅仅利用第n个加标签的次子集SB_n_L但是在没有初始的加标签的子集SA_L的情况下训练模型M作为第（n+1）个经训练的模型M_n+1。
根据所呈现的实施方式，方法1000此外包括用于通过预测用于其他子集SB的标签L来生成加标签的其他子集SB_L的步骤1500。该步骤有利地通过将第n个经训练的模型M_n应用于未加标签的其他子集SB来进行，所述未加标签的其他子集有利地包括次子集SB_1、SB_2、...SB_n。步骤1500在迭代过程1400的第n次迭代之后被实施。迭代过程的最后的第N次迭代在步骤1420N中产生模型M_N+1。
根据所呈现的实施方式，步骤1500此外包括生成加标签的数据集S_L，该加标签的数据集包括初始的加标签的子集SA_L和加标签的其他子集SB_L。
根据所呈现的实施方式，该方法100此外包括尤其可选的、用于利用加标签的数据集S_L训练最终模型M_f的步骤1600和尤其可选的、用于借助最终模型M_f通过预测用于数据集S的标签L来生成最终的加标签的数据集S_L_f的步骤1700。有利地，借助最终模型M_f通过预测可以生成优化版本的用于数据集S的标签并且因此生成优化的加标签的数据集S_L_f。
该方法1000的第一实施方式在下文中参考图5来解释。
未加标签的数据集S包括未加标签的数据的第一子集SA和未加标签的数据的尤其其他的子集SB。子集SB包括数量为n的次子集SB_n，其中n=1、2、3...N，尤其第一次子集SB_1，第二次子集SB_2等等。
可以被证明有利的是，第一子集SA小于其他子集SB或第一子集SA包括数量小于其他子集SB的数据。此外，可以被证明为有利的是，其他子集SB的次子集SB_1、SB_2、...SB_n大致、尤其刚好一样大，或包括大致、尤其刚好一样大数量的未加标签的数据。
在步骤1200中，通过生成用于第一子集SA的标签L来生成初始的加标签的子集SA_L。生成用于第一子集SA的初始标签例如手动地进行。也可以设想如下实施方式，在所述实施方式中，半自动地或自动地、尤其在使用经典的未经训练的模式识别算法的情况下或在使用经训练的模型的情况下进行初始标签L的生成。
在步骤1300中，利用初始的加标签的子集SA_L训练模型M，作为第n个经训练的模型M_n，其中n=1。
为了更好的理解，迭代过程1400的步骤由配备有附图标记1400的框包围。
迭代过程1400的每第n次迭代针对每个n=1、2、3、...N包括如下步骤：
用于通过借助第n个经训练的模型预测用于第n个次子集SB_n的标签L来生成第n个加标签的次子集SB_n_L的步骤1410n；
用于利用第n个加标签的次子集SB_n_L和初始的加标签的子集SA_L训练模型M作为第（n+1）个经训练的模型M_n+1的步骤1420n。
例如，只要还不满足质量标准和/或中止标准，就实施迭代过程1400。质量标准例如包括所产生的标签L的质量或模型M_n的预测质量。中止标准例如包括超过或低于阈值，尤其要执行的迭代的次数或用于标签L从一次迭代到下一迭代的改变的值或用于标签L的质量级别。预测质量和/或标签L的质量的评价例如可以根据良好质量的加标签的参考样本进行。替代地，可以基于模型M_n的置信度评价质量，所述置信度除了所预测的标签L之外被输出。为此目的，置信度可以被归一化，其中例如可以执行归一化，其方式是，使用针对该步骤通过预测所获得的加标签的数据集的一部分。在此情况下，该部分并不被用于训练。要执行的迭代的次数n例如可以经由其他子集SB的次子集SB_n的数量n预先给定。
图6示出图5中的方法1000，其中在图6中所呈现的方法1000的实施方式扩展了最终训练过程。最终训练可以在迭代过程之后执行。最终训练过程例如包括图4中的步骤1500、1600和1700。在步骤1500中，首先通过预测用于其他子集SB的标签L来生成加标签的其他子集SB_L。根据所呈现的实施方式，步骤1500此外包括生成加标签的数据集S_L，该加标签的数据集包括初始的加标签的子集SA_L和加标签的其他子集SB_L。
在步骤1600中利用加标签的数据集S_L训练最终模型M_f。在步骤1700中，借助经训练的最终模型M_f通过预测用于数据集S的标签L来生成最终的加标签的数据集S_L_f。有利地，可以借助最终模型M_f通过预测生成优化版本的用于数据集S的标签并且因此生成优化的加标签的数据集S_L_f。
可选地，在图4至6中所呈现的该方法的实施方式中可以设置有模型M的加权训练。
例如，可以规定，对第n个加标签的次子集SB_n_L的数据和初始的加标签的子集SA_L的数据进行加权以便训练模型M作为第（n+1）个经训练的模型M_n+1。
例如可以被证明为有利的是，对初始的加标签的子集SA_L的数据比第n个加标签的次子集SB_n_L的数据更高地进行加权。加权也可以在迭代过程1400的迭代期间被改变。在此上下文中，可以被证明为有利的是，初始的加标签的子集SA_L的数据在迭代过程1400开始时比在更高次迭代中更高地被加权。
也可以规定，模型M适合于并且被用于产生置信度。置信度于是此外可以被用于对第n个加标签的次子集SB_n_L的数据进行加权。为此目的，置信度可以被归一化，其中例如可以执行归一化，其方式是，使用通过预测所获得的加标签的数据集的一部分。在此情况下，该部分并不被用于训练模型M。
有利地，通过加权，错误地预测的标签尤其在迭代过程1400开始时产生不太严重的影响，使得利用少量迭代可以达到加标签的次子集SB_n_L的较高质量。
可选地，在图1至6中所呈现的方法100、1000的实施方式中可以设置用于提高模型复杂度的步骤。
有利地可以规定，在迭代期间提高模型M、MA、MB的复杂度。有利地可以规定，在每次迭代n中提高模型M、MA、MB的复杂度，其中n=1、2、3、...N。
根据一种实施方式可以规定，在迭代过程140、1400开始时，即在第一次迭代中并且在确定数量的相对于在迭代过程140、1400开始时进一步的迭代中训练模型M、MA、MB，所述模型在数学模型的类型方面更简单和/或在模型的复杂度方面更简单和/或包含更小数量的在训练的范围中要估计的参数。
一种具体的实施方式示例性地针对在使用期望最大化算法（EM算法）的情况下将方法100、1000应用于分类问题来解释。借助EM算法估计数据集S的数据的类别特定的分布或从数据集S的数据中计算出的特征的类别特定的分布。例如在使用贝叶斯定理的情况下，分类基于类别特定的概率的最大化。EM算法例如可以被用于估计高斯混合分布的参数。在使用高斯混合分布时，可以通过如下方式增加模型复杂度：增加针对每次混合（并且因此针对每个类别）所估计的高斯分布的数量。在该示例中，因此在迭代过程开始时将使用比较小数量的高斯分布，并且该数量将在迭代期间总是进一步被提高。
另一具体的实施方式示例性地针对在使用尤其深度神经网络（英语Deep NeuralNetwork, DNN）作为模型M、MA、MB的情况下应用该方法100、1000来解释。在此情况下，模型复杂度可以经由神经网络的架构来改变。层的数量越大并且每层的神经元的数量越大，一般而言在训练中所估计的参数的数量并且因此神经网络的复杂度就越高。在具体情况下，层之间的关联的类型也可以起作用。
一般而言，模型M、MA、MB的复杂度的提高尤其可以通过提高模型M、MA、MB的在训练中要估计的参数的数量、模型的与训练数据适配、即学习数据的分布的能力来改进。这有利地导致更好的识别性能。在一些情况下，模型M、MA、MB的高复杂度也可能导致更差的泛化能力和对训练数据的所谓的过度拟合。对训练数据的识别性能在升高的模型复杂度的情况下虽然进一步增高，然而另一方面对未被看到的测试数据的识别性能下降。可用于训练的数据越少，过度拟合就越可能是问题。
在这里所公开的方法100、1000中，该效果可能是重要的，因为被用于训练的标签L、例如L_A_n、L_B_n、L_f在迭代过程开始时与在重复实施迭代过程的迭代之后相比有更多错误。因此，在该过程开始时所获得的识别性能与在该过程结束时的识别性能相比可能更差。因此，例如可能有利的是，在该过程开始时实现良好的泛化能力并且避免过度拟合。必要时也可以被证明为有利的是，由于模型M、MA、MB的比较低的复杂度而容忍一定的错误率。在迭代过程的进程中，标签L的质量变得越来越好，使得更多具有更好质量的训练数据可用。在达到标签L的确定的质量之后于是可以被证明为有利的是，连续地提高模型M、MA、MB的复杂度。模型M、MA、MB的更高的复杂度在确定的质量的训练数据的情况下于是一般而言也导致识别性能的进一步改进。
在迭代方法的确定的步骤中作为用于确定模型M、MA、MB的合适的复杂度的标准例如可以使用错误率。尤其，所预测的标签L的错误率与确定的训练样本的错误率的比较可以是有利的。如果所预测的标签L的错误率更差，则可能有利的是，适配模型M、MA、MB的复杂度。
最后，图7示出设备200，其中所述设备200构成为实施根据所描述的实施方式的方法100和/或方法1000。
该设备200包括计算装置210和存储装置220，尤其用于存储模型、尤其神经网络。该设备210在该实例中包括用于输入和输出数据的接口230，尤其用于输入数据集S的数据和/或标签L和/或加标签的第一子集SA_L_1并且用于输出所生成的标签L和/或最终的加标签的数据集S_L_f。计算装置210和存储装置220和接口230经由至少一个数据线路240连接。计算装置210和存储装置220可以集成到微控制器中。设备200也可以构成为服务器基础设施中的分布式系统。
根据所述实施方式规定，计算装置210可以访问存储装置220a，在所述存储装置上存储有计算机程序PRG1，其中计算机程序PRG1包括计算机可读的指令，在所述指令由计算机、尤其由计算装置210实施时实施根据所述实施方式的方法100和/或方法1000。
在下文中以在用于生物语音识别的系统中的使用为例来解释方法100、1000的示例性使用。在其他生物识别方法、尤其面部设备、虹膜识别等中的使用同样是可设想的。
首先提供首先还未知的用户的、数据集S形式的小的语音材料集合。根据该集合，该系统可以在第一学习过程（所谓的“注册”）中学习用户。例如，子集SA_L或视实施方式而定SA_L_1或SC_L的加标签可以由用户自己进行。通过应用该方法100、1000于是随后生成加标签的子集SA_L_n、SB_L_n或SB_n_L并且必要时最后生成加标签的数据集S_L或S_L_f。
应用示例：自主或部分自主车辆的环境感知
方法100、1000的应用的另一具体示例是用于自主或部分自主驾驶的环境感知。在此情况下，车辆配备有至少一个传感器，所述传感器检测在车辆的环境中的静止的、即不可移动的和动态的、即可移动的对象。有利地，车辆可以配备多个传感器、尤其配备不同模态的传感器，例如配备由摄像机、雷达传感器、激光雷达传感器和/或超声传感器构成的组合。于是涉及多模传感器组。这样配备的车辆被用于记录传感器数据的首先未加标签的样本并且作为数据集D存储。感知或环境感知的目的是识别和定位车辆的环境中的静止的和动态的对象，并且因此产生这些对象的包括时间变化在内的符号表示。该符号表示典型地通过这些对象的部分地时间相关属性、例如对象类型、如客车（PKW）、载重汽车（LKW）、行人、自行车骑手、护栏，可驶越或不可驶越的对象、车道标记的属性、和其他属性、诸如轴的数量、尺寸、形状、位置、定向、速度、加速度、行驶方向指示器的状态等等给定。
用于识别对象和确定相关属性的经训练的模型MA、MB可以是用于传感器模态之一的至少一个子模型和另一融合子模型的组合。融合子模型可以包括深度神经网络架构，以便随着时间的过去进行数据的融合和/或进行不同传感器和/或模态的数据的融合。尤其，模型MA、MB可以是包含一个或多个单帧子网络的架构，其中所述单帧子网络中的每个单帧子网络执行单帧识别。可以包含在总架构中的融合子网络可以将单帧子网络的输出融合，并且实现随时间的融合和/或多模融合。尤其，可以针对用于随时间的融合的融合子网络的架构使用递归神经网络（英语“recurrent neural network”，RNN）。LSTM架构（英语“LongShort Term Memory（长短期记忆）”）在此情况下也可以被使用，以便能够在更长的时间间隔上更好地将信息包含到识别中。随时间的融合和/或不同传感器的融合和/或不同传感器模态的融合可以在深度神经网络中被实现为早期融合（英语“early fusion”），在此情况下输入变量以合适的方式被组合到神经网络中，例如作为多个通道（类似于RGB图像的概念）；此外融合可以被实现为晚期融合（英语“late fusion”），在此情况下多个彼此独立的神经网络的输出以合适的方式被组合，例如通过求平均值；融合也可以通过这两种类型的中间形式来实现（英语“middle fusion（中间融合）”），在此一般而言以合适的方式组合多个子网络的更复杂的特征，例如作为多个通道或通过相加。替代地，随时间的融合和/或不同传感器的融合和/或不同传感器模态的融合也可以利用未经训练的方案、尤其利用卡尔曼滤波器实现。
用于识别单个摄像机帧、即摄像机的单图像的单帧子网络例如可以是卷积深度神经网络。用于识别点云、例如激光雷达传感器的单个传感器扫描或雷达传感器的扫描的单帧子网络例如同样可以是卷积深度神经网络，其要么获得点云的2D投影作为输入数据要么在3D-CNN的情况下执行3D卷积，其中点云于是在规则的3D网格中被表示。替代地，可以涉及具有架构PointNet或PointNet++的深度神经网络，其中点云可以直接被处理。在步骤141n中模型MA的训练可以根据标签L_A_n进行。在步骤143n中模型MB的训练可以根据标签L_B_n进行。在此情况下，在与融合网络的训练无关地进行子网络的训练或除了融合网络的训练之外进行子网络的训练时可以根据相应的模态执行属性的变换。例如，在摄像机的图像中可以将被跟踪的对象的3D位置投影到摄像机图像中，即例如投影到2D包围盒（2D-Bounding-Boxen）。
替代于使用经训练的用于随时间的融合的方法，在各个帧中探测到的对象例如可以借助卡尔曼滤波器或扩展卡尔曼滤波器随着时间的过去来跟踪。在此情况下，至少一个单帧子模型可以包含在总模型MA、MB中。利用该单帧子模型可以预测对象的相关属性。根据这些所预测的属性可以根据与在先前的时间步骤中已经已知的对象的所预测的属性的比较进行所识别出的对象的关联，其中已经已知的对象的预测可以在相应的测量时刻进行。该预测可以根据物理运动模型进行。由单帧子模型预测的属性可以被用于更新关联的在测量时刻所预测的对象的属性。更新的结果是总模型MA、MB的预测142n、144n，其在该示例中分别包含具有卡尔曼滤波器或扩展卡尔曼滤波器的子模型和经训练的单帧模型。
如果随时间的融合利用可训练的模型、尤其利用DNN实现，则架构可以被选择，使得不仅在特定的时刻之前而且在该时刻之后的传感器数据可供DNN用于识别在该时刻的环境。因此涉及离线版本的识别系统。关于所估计的状态将来的信息的附加使用可以改进识别的精度和可靠性，这是以该形式实现的方法的优点。
如果替代于此利用未经训练的其他模型来实现所述融合，则包含用于离线处理的方法同样是可能的。例如，代替卡尔曼滤波器可以使用卡尔曼平滑器，诸如Rauch-Tung-Striebel滤波器。
在完全实施迭代过程之后，在两种情况下、即不仅在使用经训练的融合架构的情况下而且在使用未经训练的方法的情况下存在感知系统，该感知系统至少部分利用最后迭代的加标签的数据来训练。该系统可以用作离线感知，以便给其他传感器数据加标签，其他传感器数据未使用在迭代过程中。这样，其他加标签的样本可以自动地产生。如果用于该感知系统的融合的离线跟踪或经训练的离线架构利用具有在线能力的跟踪或具有在线能力的可训练的架构来代替，则该具有在线能力的感知系统可以在车辆中被用于实现自主驾驶功能的环境感知。
例如，Rauch-Tung-Striebel平滑器可以利用没有平滑器的卡尔曼滤波器来代替并且相同的经训练的模型可以在单帧层面上被继续使用。为了降低对所需的计算能力的要求，针对在线版本的感知系统也可以使用具有降低的复杂度的经训练的单帧模型，所述单帧模型可以根据在迭代过程的最后迭代中产生的标签或数据集S_L_f的最后标签来训练和/或可以由最后迭代的经训练的模型MN或MB_N或经训练的最终模型M_f产生压缩和裁剪。
在使用经训练的融合架构的情况下，该架构可以被修改，使得所述架构仅将分别位于过去的传感器数据用于识别在一个时刻的对象状态，使得在此情况下也形成具有在线能力的系统。
迭代过程用于实现自主驾驶功能的离线感知和在线感知的所描述的应用也可以类似地转用于其他机器人。例如，迭代过程可以被应用于实现家用机器人、护理机器人、建筑机器人或花园机器人的环境感知。
其他应用实施例：医学图像识别和生物人员识别
方法100和/或方法1000和/或利用方法100或方法1000生成的标签的另一应用尤其可以在用于模式识别、尤其对象检测、对象分类和/或分割的系统中进行，尤其在医学图像识别的领域中，例如分割或分类医学图像，和/或在生物人员识别的领域中。该应用在下文中借助两个独立的示例来阐明，一方面根据X射线图像、计算机断层扫描图像（CT）或磁共振断层扫描图像（MRT）分类医学疾病，并且另一方面在图像中定位面部作为用于验证或识别人员的生物系统的元件。
该方法在这些示例中通过如下方式来应用：首先记录相应域的图像的样本，所述样本首先是未加标签的数据集S。因此例如获得确定的人类器官的CT图像的样本，在第二示例中是具有面部的照片的样本。在面部图像的样本的情况下，可能有利的是，代替各个彼此独立的照片使用视频序列，因为该方法然后可以与随时间的跟踪一起使用，如结合用于自主或半自主机器人的环境感知的应用示例所描述的那样。
步骤120、即生成初始的有错误的标签在这两个应用示例中可以通过比较简单的启发方法进行，以便获得图像的分割和/或分类的初始标签。具体示例是在像素级上根据相应的亮度值和/或色值的简单的阈值的分割和/或根据整个图像和/或被分割图像的所有亮度值或色值的分布的基于规则的分类。在面部定位的情况下，图像的基于规则的分割可以根据典型的皮肤颜色进行。替代地，在两个应用情况下手动加标签是可能的，其中这由于对初始标签的质量的低要求而可以相对快速地和低成本地进行。
在迭代过程的进程中被训练的并且被用于预测的模型MA和MB可以分别是卷积深度神经网络。在分类的应用情况下，可以使用输出层的独热编码（One-Hot-Encoding）。针对为对象检测的特殊情况的面部识别的应用，例如可以将深度神经网络架构YOLO（“You OnlyLook Once（你只需看一次）”）、R-CNN（“Region Proposal CNN（区域建议CNN）”）、快速R-CNN、更快速R-CNN和/或视网膜（Retinanet）之一用于模型MA和MB。
由于初始标签的生成基于颜色信息，所以泛化可以通过如下方式改进：在迭代过程开始时从图像中去除颜色信息，即首先在迭代步骤中仅仅根据灰度值图像进行训练和预测。在迭代过程的进一步进程中，尤其当图像的初始错误地作为“面部”被加标签的部分不再导致CNN的假阳性预测时，可以再次添加颜色信息，使得可以利用整个信息。
在定位图像中的面部的应用情况下，当在数据集S中存在视频序列时，可以将根据图4的方法与随时间的跟踪组合。

Claims (21)

1.一种用于生成用于数据集（S）的标签（L）的方法（100），所述方法（100）包括：
提供（110）未加标签的数据集（S），所述未加标签的数据集包括未加标签的数据的第一子集（SA）和未加标签的数据的至少一个与所述第一子集不相交的其他子集（SB）；
通过生成用于所述第一子集（SA）的标签（L_A_1）来生成加标签的第一子集（SA_L_1）并且提供（130）所述加标签的第一子集（SA_L_1）作为第n个加标签的第一子集（SA_L_n），其中n=1；
执行（140）迭代过程，其中所述迭代过程的第n次迭代针对每个n=1、2、3、...N包括如下步骤：
利用所述第n个加标签的第一子集（SA_L_n）来训练（141n）第一模型（MA）作为第n个经训练的第一模型（MA_n）；
通过在使用所述经训练的模型（MA_n）的情况下预测用于所述其他子集（SB）的标签（L_B_n）来生成（142n）第n个加标签的其他子集（SB_L_n）；
利用所述第n个加标签的其他子集（SB_L_n）来训练（143n）其他模型（MB）作为第n个经训练的其他模型（MB_n）；
通过在使用所述第n个经训练的其他模型（MB_n）的情况下预测用于所述第一子集（SA）的标签（L_A_n+1）来生成（144n）第（n+1）个加标签的第一子集（SA_L_n+1）。
2.根据权利要求1所述的方法（100），其中在所述迭代过程（140）的第n次迭代之后利用所述第n个加标签的第一子集（SA_L_n）和/或所述第n个加标签的其他子集（SB_L_n）来训练（150）最终模型（M_f）。
3.根据权利要求2所述的方法（100），其中通过借助所述最终模型（M_f）预测用于所述数据集（S）的标签（L_f）来生成（160）加标签的数据集（S_L）和/或最终的加标签的数据集（S_L_f）。
4.根据上述权利要求中的至少一个或多个所述的方法（100），其中所述生成（120）加标签的第一子集（SA_L_1）通过利用初始模型（MC）预测标签来进行。
5.根据上一权利要求所述的方法（100），其中所述初始模型（MC）在先前的步骤中利用加标签的初始子集（SC_L）来训练（114），其中所述初始子集（SC）与所述第一子集和所述其他子集（SA，SB）尤其不相交。
6.根据上一权利要求所述的方法（100），其中所述初始子集（SC）小于所述第一子集（SA）和/或小于所述其他子集（SB）。
7.根据上述权利要求中至少一个所述的方法（100），其中只要还不满足质量标准和/或中止标准，所述迭代过程（140）的步骤（141n，142n，143n）就重复地被实施。
8.根据上述权利要求中至少一个所述的方法（100），其中所述第一模型（MA）和/或所述其他模型（MB）和/或所述初始模型（MC）和/或所述最终模型（M_f）包括神经网络、尤其深度神经网络。
9.根据上述权利要求中至少一个所述的方法（100），其中所述方法（100）此外包括：提高所述第一模型和/或所述其他模型和/或所述最终模型的复杂度。
10.一种用于生成用于数据集（S）的标签（L）的方法（1000），所述方法包括：
提供（1100）未加标签的数据集（S），所述未加标签的数据集包括未加标签的数据的第一子集（SA）和未加标签的数据的至少一个尤其与所述第一子集不相交的其他子集（SB），其中所述子集SB包括至少一个第一次子集SB_1和第二次子集SB_2，尤其k个次子集（SB_k），其中k=1、2、3…K；
通过生成用于所述第一子集（SA）的标签（L_A）来生成 （1200）初始的加标签的子集（SA_L），和
利用所述初始的加标签的子集（SA_L）来训练（1300）模型（M）作为第n个经训练的模型（M_n），其中n=1；
执行（1400）迭代过程，其中所述迭代过程的第n次迭代针对每个n=1、2、3、...N包括如下步骤：
通过借助所述第n个经训练的模型（M_n）预测用于第k个次子集（SB_k）的标签（L_B_n）来生成（1410n）第n个加标签的次子集（SB_n_L）；
利用所述第n个加标签的次子集（SB_n_L）和/或所述初始的加标签的子集（SA_L）来训练（1420n）所述模型（M）作为第（n+1）个经训练的模型（M_n+1）。
11.根据权利要求10所述的方法（1000），其中在所述迭代过程（1400）的第N次迭代之后通过借助所述经训练的模型（M_N）预测用于所述其他子集（SB）和/或用于所述第一子集（SA）的标签（L_B_f和/或L_A_f）来生成（1500）加标签的最终的其他子集SB_L_f和/或SA_L_f。
12.根据权利要求10或11中至少一个所述的方法（1000），其中生成（1500）包括所述初始的加标签的子集（SA_L）和加标签的其他子集（SB_L_f）的加标签的数据集S_L。
13.根据权利要求10至12中至少一个所述的方法（1000），其中利用所述加标签的数据集（S_L）来训练（1600）最终模型（M_f）和/或借助所述最终模型（M_f）通过预测用于所述数据集（S）的标签（L_S_f）来生成（1700）加标签的数据集（S_L_f）。
14.根据上述权利要求10至13中至少一个所述的方法（1000），其中只要还不满足质量标准和/或中止标准，所述迭代过程（1400）的步骤（1410n，1420n）就重复地被实施。
15.根据上述权利要求10至14中至少一个所述的方法（1000），其中所述模型（M）和/或所述最终模型（M_f）包括神经网络、尤其深度神经网络。
16.根据上述权利要求10至15中至少一个所述的方法（1000），其中所述方法（1000）此外包括：提高所述模型（M）和/或所述最终模型（M_f）的复杂度。
17.一种设备（200），其中所述设备（200）构成为实施根据权利要求1至9中至少一个所述的方法（100）和/或根据权利要求10至16中至少一个所述的方法（1000）。
18.根据权利要求17所述的设备（200），其中所述设备（200）包括计算装置（210）和存储装置（220），尤其用于存储至少一个模型（M，MA，MB，MC，M_f）、尤其神经网络。
19.一种计算机程序（PRG1），其中所述计算机程序（PRG1）包括计算机可读的指令，在所述指令通过计算机实施时实施根据权利要求1至9中任一个所述的方法（100）和/或根据权利要求10至16中至少一个所述的方法（1000）。
20.一种计算机程序产品，其中所述计算机程序产品包括计算机可读的存储介质，在所述存储介质上存储有根据权利要求19所述的计算机程序（PRG1）。
21.根据权利要求1至9中至少一个所述的方法（100）和/或根据权利要求10至16中至少一个所述的方法（1000）和/或根据权利要求17至18中至少一个所述的设备（200）和/或根据权利要求19所述的计算机程序（PRG1）和/或根据权利要求20所述的计算机程序产品用于生成训练数据的应用，所述训练数据用于训练模型、尤其神经网络。
CN202011524064.3A 2019-12-23 2020-12-22 用于生成尤其用于训练神经网络的加标签的数据的方法 Pending CN113095350A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102019220522.4 2019-12-23
DE102019220522 2019-12-23
DE102020200499.4A DE102020200499A1 (de) 2019-12-23 2020-01-16 Verfahren zum Generieren von gelabelten Daten, insbesondere für das Training eines neuronalen Netzes, unter Verwendung ungelabelter, partitionierter Stichproben
DE102020200499.4 2020-01-16

Publications (1)

Publication Number Publication Date
CN113095350A true CN113095350A (zh) 2021-07-09

Family

ID=76206434

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011524102.5A Pending CN113095351A (zh) 2019-12-23 2020-12-22 借助于初始标记的改善生成经标记的数据的方法
CN202011524064.3A Pending CN113095350A (zh) 2019-12-23 2020-12-22 用于生成尤其用于训练神经网络的加标签的数据的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011524102.5A Pending CN113095351A (zh) 2019-12-23 2020-12-22 借助于初始标记的改善生成经标记的数据的方法

Country Status (3)

Country Link
US (2) US20210192345A1 (zh)
CN (2) CN113095351A (zh)
DE (2) DE102020200503A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021211054A1 (de) 2021-10-01 2023-04-06 Continental Automotive Technologies GmbH Verfahren und Vorrichtungen zum Aufbauen eines Trainingsdatensatzes
KR102651012B1 (ko) * 2021-11-24 2024-03-25 (주)스마트레이더시스템 4차원 레이더 신호처리 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418431B1 (en) * 1998-03-30 2002-07-09 Microsoft Corporation Information retrieval and speech recognition based on language models
US20130097103A1 (en) * 2011-10-14 2013-04-18 International Business Machines Corporation Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set
US20190228268A1 (en) * 2016-09-14 2019-07-25 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell image segmentation using multi-stage convolutional neural networks

Also Published As

Publication number Publication date
US20210224646A1 (en) 2021-07-22
DE102020200499A1 (de) 2021-06-24
US20210192345A1 (en) 2021-06-24
DE102020200503A1 (de) 2021-06-24
CN113095351A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Khosroshahi et al. Surround vehicles trajectory analysis with recurrent neural networks
US10037471B2 (en) System and method for image analysis
Caicedo et al. Active object localization with deep reinforcement learning
US8175782B2 (en) Adaptive driver assistance systems with robust estimation of object properties
WO2018162933A1 (en) Improved object recognition system
KR102306658B1 (ko) 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
Ciberlin et al. Object detection and object tracking in front of the vehicle using front view camera
EP3752955A1 (en) Image segmentation
Palazzo et al. Domain adaptation for outdoor robot traversability estimation from RGB data with safety-preserving loss
Dequaire et al. Deep tracking on the move: Learning to track the world from a moving vehicle using recurrent neural networks
CN113095350A (zh) 用于生成尤其用于训练神经网络的加标签的数据的方法
US11551084B2 (en) System and method of robust active learning method using noisy labels and domain adaptation
CN115699103A (zh) 一种使用可解释自聚焦注意预测行为的方法和装置
CN116523823A (zh) 用于半监督对象检测的鲁棒伪标签生成的系统和方法
JP2022164640A (ja) マルチモーダル自動ラベル付けと能動的学習のためのデータセットとモデル管理のためのシステムと方法
Gepperth et al. Biased competition in visual processing hierarchies: A learning approach using multiple cues
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
EP4050510A1 (en) Object information calculation method and system
CN117355848A (zh) 计算机控制系统的安全控制/监测
US20210279506A1 (en) Systems, methods, and devices for head pose determination
Fayyad Out-of-distribution detection using inter-level features of deep neural networks
JP2021197184A (ja) 分類器を訓練及びテストするためのデバイス及び方法
Tian et al. Tracking vulnerable road users with severe occlusion by adaptive part filter modeling
Kaur et al. Pedestrian and Vehicle detection in automotive embedded systems using deep neural networks
Ranjbar et al. Scene novelty prediction from unsupervised discriminative feature learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination