CN113128550A - 用于数据有效的主动机器学习的设备和计算机实现的方法 - Google Patents

用于数据有效的主动机器学习的设备和计算机实现的方法 Download PDF

Info

Publication number
CN113128550A
CN113128550A CN202110039638.6A CN202110039638A CN113128550A CN 113128550 A CN113128550 A CN 113128550A CN 202110039638 A CN202110039638 A CN 202110039638A CN 113128550 A CN113128550 A CN 113128550A
Authority
CN
China
Prior art keywords
data
model
unannotated
annotated
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110039638.6A
Other languages
English (en)
Inventor
C·哈塞-许茨
P·莫勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113128550A publication Critical patent/CN113128550A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

用于主动机器学习的设备和计算机实现的方法，其中提供（206）带注释数据，其中根据所述带注释数据对模型进行训练（208）以对所述数据进行分类，其中根据所述带注释数据，就通过所述模型对所述带注释数据进行分类的正确性的置信度而言对这样训练的模型进行校准（210），其中利用这样校准的模型为未注释数据确定（212）对所述未注释数据进行分类的正确性的置信度，以及其中从所述未注释数据中为所述主动机器学习采集置信度满足标准的未注释数据。

Description

用于数据有效的主动机器学习的设备和计算机实现的方法
背景技术
受监视的学习用作许多应用的基础。尤其是用在相机图像的分类、传感器测量中的对象探测或用于语音到文本的转换。
受监视的学习大多需要大量的所谓训练数据，包括标记，即注释。获得这些训练数据可能是非常费事的。
发明内容
一种用于主动机器学习的计算机实现的方法规定，提供带注释数据，其中根据所述带注释数据对模型进行训练以对所述数据进行分类，其中根据所述带注释数据，就通过所述模型对所述带注释数据进行分类的正确性的置信度而言对这样训练的模型进行校准，其中利用这样校准的模型为未注释数据确定对所述未注释数据进行分类的正确性的置信度，以及其中从所述未注释数据中为所述主动机器学习采集其置信度满足标准的未注释数据。由此减少了总共需要的注释耗费。
优选地提供未注释数据的集合，其中从未注释数据的所述集合中选择子集合，其中通过特别是手动地、半自动地或自动地注释来自所述子集合的未注释数据来确定所述带注释数据。如果给定最初未标记的、即未注释的样本，则在第一步骤中仅标记、即注释一小部分数据。例如可以随机选择所述子集合。
优选地，所述子集合包括为所述主动机器学习采集的未注释数据。由此借助于合适的采集函数来选择要注释的下一部分。
所述置信度可以根据通过所述模型的分类是否正确的至少一个概率来定义所述置信度。由此选择了特别适合于所述训练的数据。
优选地，所述标准为来自所述未注释数据的模式定义了两个类别，与可以由所述模型将所述模式分类到的其他类别相比，这两个类别具有最大的概率，其中从所述未注释数据中采集以下模式，即，针对这些模式所述两个类别的概率之差超过阈值。特别是对于深度神经网络而言，这代表了更快且更好的采集函数。例如，首先借助于温度缩放对经过训练的深度神经网络进行校准，然后将置信度差用作采集函数。
优选地对所述模型进行迭代地训练和校准，其中检查是否满足终止标准，并且其中当满足所述终止标准时结束所述主动机器学习。这逐渐改善了准确性。
所述终止标准可以为通过所述模型对带注释数据或未注释数据进行分类的准确性定义基准，其中当所述分类的准确性达到或超过所述基准时，所述终止标准得以满足。由此一直迭代地训练到期望的准确性为止。
优选地，根据所述带注释数据的正确分类的预期比例和所述带注释数据的正确分类的经验比例来校准所述模型的至少一个参数。
优选地，为了在所述方法的第一次迭代中确定所述带注释数据，随机地选择未注释数据。
优选地，为所述子集合从所述未注释数据中仅选择尚未为所述子集合采集的数据。
用于主动机器学习的设备被构造为执行所述方法。
附图说明
从下面的描述和附图中得出其他有利的实施方式。在附图中：
图1示出了用于主动机器学习的设备的示意图，
图2示出了用于主动机器学习的方法中的步骤。
具体实施方式
图1中示出的用于主动机器学习的设备100被构造为执行以下描述的方法。
设备100包括计算装置102和至少一个用于数据的存储器，所述计算装置特别是一个或多个处理器。设备100包括模型104。
设备100可以被构造为用于数字图像处理，在所述数字图像处理中通过模型104对数字图像进行分类。以下使用基于模型104的采集函数。在该示例中，模型104是单个深度神经网络。模型104也可以由多个特别是深度神经网络形成或具有其他体系架构。
用于机器学习的系统106可以包括设备100、用于检测数字图像的检测装置108以及用于机器的操控装置110。系统106可以被构造为根据将检测到的数字图像分类到多个类别中的一个类别中来操控所述机器。所述机器可以是车辆或机器人。代替对数字图像的分类，可以规定用于在传感器测量中探测对象或用于语音到文本转换的分类。代替检测数字图像，可以使用常用传感器测量，诸如例如来自雷达或激光雷达传感器的3D传感器测量。
基于图2描述用于主动机器学习的计算机实现的方法。使用所述方法来训练模型104，然后可以在系统106中使用该模型。所述方法假设已经设定了模型104的体系架构，并且已经初始化了模型104的参数。在该示例中，模型104是深度神经网络，其超参数定义了输入层、输出层以及输入层和输出层之间的大量隐藏层。所述深度神经网络的参数被如下确定。
尤其是深度神经网络可能具有不佳的校准。为了确定合适的校准，将基于置信度的正确预测的预期比例与正确预测的经验比例进行比较。从所述深度神经网络输出的置信度与测试样本上的经验准确性不一致。
为了所述校准在该示例中使用温度缩放方法。该方法被描述在Guo，C., Pleiss，G., Sun，Y., &Weinberger，K.Q.（2017年8月）.On calibration of modern neuralnetworks. In Proceedings of the 34th International Conference on MachineLearning-Volume 70(1321-1330页). JMLR. org中。
这意味着在训练了模型104之后执行所述校准。在所述校准之后，网络的置信度与经验准确性的一致性比校准前更好。
在该示例中，如在Luo, Tong等人的“Active learning to recognize multipletypes of plankton”，Journal of Machine Learning Research，2005年4月6日：589-613中所描述的那样形成具有最高概率的两个类别之差。
两个类别之差在所述方法中用作采集函数。该采集函数比形成例如整体平均值更好且更快。因此，经过校准的差提供更好的结果。
所述方法基于受监视的学习。对于受监视的学习，需要包括标记（即注释）的训练数据。这些注释用作目标输出，以便能够应用优化算法。取决于应用，创建这样的训练数据集是非常费事的。3D传感器测量（即例如点云，如可以由雷达或激光雷达传感器提供的点云）的标记非常费事并且需要专业知识。在医学成像领域，从数字图像中获得训练数据也可能是非常费事的。
可以随机地初始化模型104的参数，所述模型在该示例中即是深度人工神经网络。
在步骤202中提供未注释数据的集合。所述未注释数据包括模式，在该示例中是数字图像或数字图像的表示。然后执行步骤204。
在步骤204中，从未注释数据的集合中选择用于确定带注释数据的子集合。所述子集合包括为所述主动机器学习采集的未注释数据。
在所述方法的第一次迭代中，在步骤204中从未注释数据的集合中随机选择所述子集合。
优选地，在步骤204中为所述子集合从所述未注释数据中仅选择尚未在先前迭代中为所述子集合采集的数据。
然后执行步骤206。
在步骤206中提供带注释数据。可以通过对来自所述子集合的未注释数据进行手动、半自动或自动注释来确定所述带注释数据。为此，例如显示数字图像并由人设置标记。也可以使用自动化的标记方法。
然后执行步骤208。
在步骤208中根据所述带注释数据对模型104（在该示例中为深度神经网络）进行训练，以对所述数据进行分类。例如，借助于梯度下降方法（例如ADAM）通过利用来自所述子集合的带注释数据进行受监视的学习来进行所述训练。
然后执行步骤210。
在步骤210中，根据所述带注释数据就通过所述模型对所述带注释数据进行分类的正确性的置信度而言来校准这样训练的模型104。在该示例中，根据通过所述模型的分类是否正确的至少一个概率来定义所述置信度。
例如，根据所述带注释数据的正确分类的预期比例和所述带注释数据的正确分类的经验比例，对模型104的至少一个参数进行校准。
在该示例中使用了温度缩放，其中将输入X和标记Y的完美校准指定为
Figure 246496DEST_PATH_IMAGE001
，
其中
Figure 861279DEST_PATH_IMAGE002
是分类，
Figure 410072DEST_PATH_IMAGE003
是与该分类关联的置信度。
正确分类的预期比例通过正确分类的预期值指定。正确分类的经验比例根据所述带注释数据以及通过模型104对所述带注释数据的分类来确定。为了进行所述校准，确定模型104（即深度神经网络）的以下参数，所述参数将以下指定的预期校准误差最小化：
Figure 435797DEST_PATH_IMAGE004
。
然后执行步骤212。
在步骤212中，利用这样校准的模型对所述未注释数据确定所述未注释数据的分类正确性的置信度。
从所述未注释数据中为主动机器学习采集其置信度满足标准的未注释数据。
在该示例中，使用根据“决胜法”（breaking ties）方案的主动学习，以改善多类别分类的置信度。因此，将argmaxpP(p)分配给类别表示x，使得P(a)给定类别a的最大概率，而P(b)给定类别b的第二最大概率。在这种情况下，从所述未注释数据中消除使得P(a)和P(b)之间的差最小的数据。
该标准为来自所述未注释数据的模式定义了两个类别，这里为类别a和类别b，与可以由所述模型将所述模式分类到的其他类别相比，这两个类别具有最大概率，这里是P(a)和P(b)。采集来自所述未注释数据的以下模式，对于这些模式所述两个类别的概率之差（这里为差P(a)-P(b)）超过阈值。可以根据所述其他类别的概率来定义所述阈值。例如，通过与瞬时最大概率P(a)和瞬时第二最大概率P(b)之间的差P(a)- P(b)相比较的两个类别的概率之差来定义所述阈值。
优选地，迭代地对模型104进行训练和校准。
在此，可以在步骤214中检查是否满足终止标准，并且当满足所述终止标准时结束所述主动机器学习。
在该示例中，这意味着以该顺序或其他顺序重复执行步骤202至214。
所述终止标准可以为通过所述模型对带数据注释或未注释数据进行分类的准确性定义基准。例如，如果所述分类的准确性达到或超过所述基准，则满足所述终止标准。
例如，当存在高质量的带注释数据时，可以检查对所述深度神经网络的校准。例如，将所述深度神经网络的置信度（例如0.8）与经验准确性进行比较。在校准正确的情况下那将是例如80％正确的预测。
可以将不同的采集函数用于给定的网络体系架构。可以通过比较达到特定的准确性所需的训练数据量来对所述不同的采集函数进行比较。

Claims (12)

1.一种用于主动机器学习的计算机实现的方法，其特征在于，提供（206）带注释数据，其中根据所述带注释数据对模型进行训练（208）以对所述数据进行分类，其中根据所述带注释数据，就通过所述模型对所述带注释数据进行分类的正确性的置信度而言对这样训练的模型进行校准（210），其中利用这样校准的模型为未注释数据确定（212）对所述未注释数据进行分类的正确性的置信度，以及其中从所述未注释数据中为所述主动机器学习采集置信度满足标准的未注释数据。
2.根据权利要求1所述的方法，其特征在于，提供（202）未注释数据的集合，其中从未注释数据的所述集合中选择（204）子集合，其中通过特别是手动地、半自动地或自动地注释来自所述子集合的未注释数据来确定（206）所述带注释数据。
3.根据权利要求2所述的方法，其特征在于，所述子集合包括为所述主动机器学习采集的未注释数据。
4.根据前述权利要求中任一项所述的方法，其特征在于，根据通过所述模型的分类是否正确的至少一个概率来定义所述置信度。
5.根据权利要求4所述的方法，其特征在于，所述标准为来自所述未注释数据的模式定义了两个类别，与能够由所述模型将所述模式分类到的其他类别相比，所述两个类别具有最大的概率，其中从所述未注释数据中采集以下模式，即，针对这些模式所述两个类别的概率之差超过阈值。
6.根据前述权利要求中任一项所述的方法，其特征在于，对所述模型进行迭代地训练和校准，其中检查（214）是否满足终止标准，并且其中当满足所述终止标准时结束所述主动机器学习。
7.根据权利要求6所述的方法，其特征在于，所述终止标准为通过所述模型对带注释数据或未注释数据进行分类的准确性定义基准，其中当所述分类的准确性达到或超过所述基准时，所述终止标准得以满足。
8.根据前述权利要求中任一项所述的方法，其特征在于，根据所述带注释数据的正确分类的预期比例和所述带注释数据的正确分类的经验比例来校准（210）所述模型的至少一个参数。
9.根据前述权利要求中任一项所述的方法，其特征在于，为了在所述方法的第一次迭代中确定所述带注释数据，随机地选择（204）未注释数据。
10.根据前述权利要求中任一项所述的方法，其特征在于，为所述子集合从所述未注释数据中仅选择（204）尚未为所述子集合采集的数据。
11.一种用于主动机器学习的设备（100），其特征在于，所述设备（100）被构造为执行根据权利要求1至10中任一项所述的方法。
12.一种计算机程序，其特征在于，所述计算机程序包括计算机可读指令，在由计算机执行所述计算机可读指令时运行根据权利要求1至10中任一项所述的方法。
CN202110039638.6A 2020-01-14 2021-01-13 用于数据有效的主动机器学习的设备和计算机实现的方法 Pending CN113128550A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020200340.8A DE102020200340A1 (de) 2020-01-14 2020-01-14 Vorrichtung und computerimplementiertes Verfahren für dateneffizientes aktives maschinelles Lernen
DE102020200340.8 2020-01-14

Publications (1)

Publication Number Publication Date
CN113128550A true CN113128550A (zh) 2021-07-16

Family

ID=76542462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110039638.6A Pending CN113128550A (zh) 2020-01-14 2021-01-13 用于数据有效的主动机器学习的设备和计算机实现的方法

Country Status (3)

Country Link
US (1) US20210216912A1 (zh)
CN (1) CN113128550A (zh)
DE (1) DE102020200340A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727284B2 (en) 2019-12-12 2023-08-15 Business Objects Software Ltd Interpretation of machine learning results using feature analysis
US20210264312A1 (en) * 2020-02-21 2021-08-26 Sap Se Facilitating machine learning using remote data
US11580455B2 (en) 2020-04-01 2023-02-14 Sap Se Facilitating machine learning configuration
US20220036134A1 (en) * 2020-07-31 2022-02-03 Netapp, Inc. Methods and systems for automated document classification with partially labeled data using semi-supervised learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010357B2 (en) * 2004-03-02 2011-08-30 At&T Intellectual Property Ii, L.P. Combining active and semi-supervised learning for spoken language understanding
US11720649B2 (en) * 2019-04-02 2023-08-08 Edgeverve Systems Limited System and method for classification of data in a machine learning system

Also Published As

Publication number Publication date
US20210216912A1 (en) 2021-07-15
DE102020200340A1 (de) 2021-07-15

Similar Documents

Publication Publication Date Title
CN113128550A (zh) 用于数据有效的主动机器学习的设备和计算机实现的方法
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
JP6941123B2 (ja) 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
JP5558412B2 (ja) 識別器を特定のシーン内のオブジェクトを検出するように適応させるためのシステム及び方法
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
EP2672396A1 (en) Method for annotating images
Ennadifi et al. Wheat diseases classification and localization using convolutional neural networks and GradCAM visualization
Lei et al. Attention-guided multi-branch convolutional neural network for mitosis detection from histopathological images
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN112507861A (zh) 一种多层卷积特征融合的行人检测方法
CN110458022B (zh) 一种基于域适应的可自主学习目标检测方法
CN110956615A (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
JP7150918B2 (ja) 試料の検査のためのアルゴリズムモジュールの自動選択
CN112560957A (zh) 一种神经网络训练、检测方法、装置及设备
JP5776694B2 (ja) 物体識別向けの学習装置、学習システム、学習方法、及び学習プログラム
JP2020516897A (ja) 検査方法及び検査設備
Devereux et al. A new approach for crack detection and sizing in nuclear reactor cores
Aristoteles et al. Identification of human sperm based on morphology using the you only look once version 4 algorithm
Tian et al. Unsupervised road anomaly detection with language anchors
CN113283396A (zh) 目标对象的类别检测方法、装置、计算机设备和存储介质
CN117765432A (zh) 一种基于动作边界预测的中学理化生实验动作检测方法
CN114422450B (zh) 基于多源网络流量数据的网络流量分析方法和装置
CN116957051A (zh) 一种优化特征提取的遥感图像弱监督目标检测方法
WO2024011853A1 (zh) 人体图像质量检测方法、装置、电子设备及存储介质
Zhu et al. A bidirectional self-rectifying network with Bayesian modeling for vision-based crack detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination