CN114386614A - 用于训练机器学习系统的方法和装置 - Google Patents

用于训练机器学习系统的方法和装置 Download PDF

Info

Publication number
CN114386614A
CN114386614A CN202111157189.1A CN202111157189A CN114386614A CN 114386614 A CN114386614 A CN 114386614A CN 202111157189 A CN202111157189 A CN 202111157189A CN 114386614 A CN114386614 A CN 114386614A
Authority
CN
China
Prior art keywords
representation
output signal
training
machine learning
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111157189.1A
Other languages
English (en)
Inventor
G·纽曼
M·沃尔普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114386614A publication Critical patent/CN114386614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种用于训练机器学习系统的计算机实现的方法，该机器学习系统被配置为：基于至少一个第一输入信号以及多个第二输入信号和第二输出信号来确定第一输出信号，其中第一输出信号表征带有不确定性的分类和/或回归，该方法包括如下步骤：确定彼此保持上下文关系的多个训练输入信号，其中每个训练输入信号分配有对应的训练输出信号；将多个训练输入信号和训练输出信号划分成多个第二训练输入信号和第二训练输出信号并且划分成至少一个第一训练输入信号和至少一个第一训练输出信号；确定多个第二训练输入信号和第二训练输出信号的上下文表示；确定针对第一训练输入信号的预测输出信号；确定损失值，其表征在预测输出信号与第一训练输出信号之间的区别。

Description

用于训练机器学习系统的方法和装置
技术领域
本发明涉及一种用于训练机器学习系统的方法、一种用于运行机器学习系统的方法、一种训练系统、一种计算机程序和一种机器可读存储介质。
背景技术
Marta Garnelo等人的“Conditional Neural Processes”，https://arxiv.org/abs/1807.01613v1，2018年7月4日公开了一种用于借助于条件神经过程（英文ConditionalNeural Process）来确定输出信号的方法。
本发明的优点
很多至少部分自动化设备或者至少部分自动化系统为了自动化运行而使用机器学习系统。机器人例如可以使用机器学习系统来对该机器人的周围环境进行分类，比如以便介于该周围环境的摄像机图像来对该周围环境中的对象进行分类。此外，也可设想的是：该机器人替代分类而将机器学习系统用于回归，例如以便借助于该周围环境的摄像机图像来确定距被分类的对象的距离。
机器学习系统通常被构造为：基于输入信号（例如输入图像）来确定关于该输入图像的预测（例如对象的类型和位置或者距对象的距离）。在下文，机器学习系统的性能可以被理解成表征该机器学习系统用来正确预测所希望的结果的平均能力的值。
现代机器学习系统通常基于神经网络，因为神经网络通常在不同的技术问题的情况下都能够实现非常高的性能。神经网络的缺点在于：这些神经网络通常无法确定关于这些神经网络的预测的经过良好校准的不确定性。这意味着：即使在预测错误或不精确的情况下，神经网络也常常输出该预测是正确的高的确定性。
利用具有独立权利要求1的特征的方法来被训练的机器学习系统的优点在于：该机器学习系统可以确定关于预测的经过良好校准的不确定性。有利地，该方法通过高斯过程（英文Gaussian Processes）和神经网络的特征的组合来获得该特性。相比于高斯过程和神经网络的其它组合，诸如条件神经过程，根据具有独立权利要求1的特征的方法来被训练的机器学习系统实现了更好的性能。
发明内容
在第一方面，本发明涉及一种用于训练机器学习系统的计算机实现的方法，其中该机器学习系统被配置为：基于至少一个第一输入信号以及多个第二输入信号和与这些第二输入信号对应的第二输出信号来确定与该第一输入信号对应的第一输出信号，其中该第一输出信号表征带有不确定性的分类和/或带有不确定性的回归，其中该方法为了该训练而包括如下步骤：
• 确定多个训练输入信号，所述多个训练输入信号彼此保持上下文关系，其中每个训练输入信号都分配有对应的训练输出信号；
• 将多个训练输入信号和训练输出信号划分成多个第二训练输入信号和对应的第二训练输出信号并且划分成至少一个第一训练输入信号和至少一个对应的第一训练输出信号；
• 确定多个第二训练输入信号和第二训练输出信号的上下文表示；
• 借助于该机器学习系统的解码器并且基于所确定的上下文表示和该第一训练输入信号来确定针对该至少一个第一训练输入信号的预测输出信号；
• 确定损失值，该损失值表征在该预测输出信号与该第一训练输出信号之间的区别，其中该损失值基于损失函数来被确定，其中该损失函数表征正态分布的概率密度函数或对数化概率密度函数；
• 确定该编码器和/或该解码器的多个参数关于该损失值的梯度；
• 基于所确定的梯度来改变所述多个参数。
所述多个训练输入信号例如可以包含来自序列的输入信号，例如视频的各个图像和/或音频信号的采样点。训练输出信号可以表征该序列的输入信号的相对应的注释，例如在图像中的对象的位置。
优选地，所述多个训练输入信号可以随机地被划分成多个第二训练输入信号和多个第一训练输入信号。然而，也可以使用预先限定的划分。例如可设想的是：机器学习系统应该被用于预测第二输入信号和第二输出信号的序列的延续。在这种情况下，可以是有利的是：将训练输入信号的序列细分为使得该序列的第一部分被用作多个第二训练输入信号并且其余的训练输入信号被用作多个第一训练输入信号。
由于训练输出信号被分配给训练输入信号，所以对训练输入信号的划分也可以被理解成对训练输出信号的划分。
优选地，训练方法的所描述的步骤迭代地被重复，以便对机器学习系统进行训练。在每次训练迭代中，针对机器学习系统可以优选地确定新的训练输入信号和新的训练输出信号，并且这样可以利用各种输入信号和输出信号来训练机器学习系统。
训练输入信号和对应的训练输出可以优选地由计算机实现的数据库来提供，对于每次训练迭代来说，可以从该数据库中随机调用相对应的训练输入信号和训练输出信号。
训练输入信号和对应的训练输出信号也可以共同被理解成训练数据。
不同于基于变分推理（英文Variational Inference）的训练方法，所描述的训练方法可以被理解成确定性的。该特性减少了训练时间，原因在于不必针对相同的训练数据确定机器学习系统的不同的模型参数，而这比如在基于变分推理来进行训练时是必需的。训练时间的减少引起：在固定的时间间隔内，机器学习系统可以利用更多训练数据来被训练。反过来，因而通过该训练方法可以改善机器学习系统的性能。
尽管在该损失函数的所使用的形式的情况下忽略了在第一训练输入信号的序列的元素之间的可能的相关，但是发明人可以令人吃惊地发现：在训练时利用该损失函数仍然并且有利地可以提高机器学习系统的性能。
优选地，该机器学习系统被设立为使得该机器学习系统为了确定第一输出信号而主要执行如下步骤：
• 借助于该机器学习系统的编码器来确定多个潜在表示，其中所述多个潜在表示中的潜在表示基于至少一个第二输入信号和与该第二输入信号对应的第二输出信号来被确定，其中该第二输入信号和该第二输出信号表征第一输入信号的上下文并且该潜在表示包括第一表示和第二表示，其中第一表示表征期望值而且第二表示表征方差；
• 基于所述多个潜在表示中的潜在表示的第一表示来确定第三表示，其中第三表示表征这些第一表示的累积；
• 基于所述多个潜在表示中的潜在表示的第二表示来确定第四表示，其中第四表示表征这些第二表示的累积；
• 借助于该机器学习系统的解码器来确定该第一输出信号，其中该解码器基于该第三表示和该第四表示和该第一输入信号来确定该第一输出信号。
该机器学习系统可以被理解为使得该机器学习系统通过输出信号来确定至少一个第一输入信号的分类和/或回归，其中第一输出信号不仅基于第一输入信号来被确定而且在至少一个其它的第二输入信号和与该第二输入信号对应的第二输出信号的上下文中被确定。但是，优选地，尤其可以使用多个第二输入信号以及相对应地多个与之对应的第一输出信号。在这种情况下，该第二输入信号或者这些第二输入信号可以被视为与第一输入信号保持上下文关系。
第二输出信号可以被理解为使得该第二输出信号表征对应的第二输入信号的分类和/或回归。因而，提供给机器学习系统的上下文可以被理解为使得针对特定的输入信号向该机器学习系统表明：怎样的输出信号正确和/或符合期望或者可以被接受。
与仅基于第一输入信号来确定第一输出信号的其它机器学习系统相比，通过将第二输入信号和第二输出信号包含在内，向该机器学习系统输送明显更多的信息。因而，第二输入信号和对应的第二输出信号可以被理解成定向点，基于这些定向点，该机器学习系统针对第一输入信号来确定第一输出信号。
在这种情况下，术语“上下文”可以被理解成关系，在该关系中，该第二输入信号和第二输出信号或者这些第二输入信号和第二输出信号与第一输入信号有关。
例如可设想的是：多个第二输入信号表征相对应的多个时间点，而第二输出信号分别表征音频信号的在相应的时间点的采样点。第一输入信号例如可以表征不存在采样点并且应该由该机器学习系统来预测采样点的时间点。接着，第一输入信号可以由该机器学习系统在第二输入信号和第二输出信号的上下文中确定。
在另一示例中，可设想的是：应该基于图像的视频序列和在这些图像上分别探测到的对象来确定在图像中所探测到的对象将来向哪里移动。在这种情况下，视频序列的图像或其拍摄时间点可以被理解成第二输入信号，其中对象的位置是相应第二输出信号。例如可能会选择将来的时间点作为第一输入信号，并且第一输出信号接着可以在该将来的时间点并且在借助于该上下文（即第二输入信号和第二输出信号）的情况下被确定。
第一和第二输入信号的上下文可以以各种方式来被设计。例如可设想的是：第二输入信号包括图像的其像素值已知的像素、即图像的其像素值已知的部分，而第一输入信号包含该图像的其像素值未知的像素。可设想的是：机器学习系统在这种情况下被设立为：基于第二输入信号、即已知的像素和像素值来确定第一输入信号、即未知的像素值。
尤其也可设想的是：关于多个第一输入信号的多个第一输出信号基于相同的上下文来被确定。在视频序列的示例中，例如可设想的是：可以确定对象在不同的将来时间点的位置。
第一输出信号可表征至少一个实数值的回归的期望值以及方差。替选地，可设想的是：该输出信号也可表征分类以及与该分类相关的不确定性。例如，第一输出信号的第一表示可包括向量，该向量包括针对相对应的多个类别的多个Logit值。第二表示可包括实数值的向量，其中这些实数值中的每个实数值都表征这些Logit值之一的方差、即不确定性。
第一输入信号和第二输入信号尤其可以是序列的部分，如上文在这些示例中所描述的那样。通常，第一输入信号和第二输入信号可以被理解成由随机过程生成。
因而，该机器学习系统能够根据与第一输入信号保持上下文关系的第二输入信号和第二输出信号来确定关于第一输入信号的第一输出信号。由此，该机器学习系统有利地能够不仅从第一输入信号中提取信息而且从与第一输入信号保持上下文关系的第二输入信号和第二输出信号中提取信息。
可设想的是：第一输入信号和/或第二输入信号至少包括图像的部分，尤其是借助于传感器、例如摄像机传感器、激光雷达（LIDAR）传感器、雷达传感器、超声传感器或热像仪所确定的图像的部分。替选地，该图像也可以借助于基于计算机的方法来人工生成，例如借助于已在计算机中建模的虚拟世界或者基于机器学习方法来人工生成。替选地或附加地，可设想的是：第一输入信号和/或第二输入信号至少包括音频信号的部分，尤其是借助于麦克风所确定的音频信号的部分。替选地，可设想的是：该音频信号被人工生成，例如通过借助于计算机的数字合成或者通过机器学习方法来被人工生成。替选地或附加地，可设想的是：第一输入信号和/或第二输入信号包括机器的传感器的传感器记录、尤其是如下传感器的传感器记录，这些传感器确定功耗和/或电压和/或转速和/或速度和/或温度和/或压力和/或力。
表示通常可以被理解成单个或多个数值。尤其是，表示可以是标量、向量、矩阵或张量。也可设想的是：表示由多个标量和/或多个向量和/或多个矩阵和/或多个张量组成。潜在表示例如包括第一和第二表示。
潜在表示可以被理解为使得该潜在表示表征包含在第二输入信号和与该第二输入信号对应的第二输出信号中的信息。该信息可以被理解成至少部分地表征该上下文。在此，该潜在表示的形式可以由编码器来确定。例如可设想的是：第一表示和第二表示分别是向量或张量。
第三和第四表示可以被理解为使得两个表示共同表征上下文表示，即该上下文的累积信息。
机器学习系统的编码器可以被理解为使得该编码器分别针对第二输入信号和第二输出信号来确定潜在表示。
由于机器学习系统可以被理解成可微函数的链（Verkettung），所以为了训练该机器学习系统可以使用用于确定该机器学习系统的梯度的错误恢复算法（英文backpropagation algorithm（反向传播算法））。基于该错误恢复算法，机器学习系统可以优选地通过梯度下降法来被训练。
相对于其它基于上下文的机器学习系统而言的一个重要优点在于：潜在表示可以被理解成来自某处。经此，可以表达关于潜在表示的精确值的不确定性的形式。例如，潜在表示的第二表示可表征高方差。这可以被理解为使得编码器关于第二输入信号和第二输出信号的精确的潜在表示不确定。
与已知方法相比，包含不确定性允许对潜在表示的明显更好的累积。这是因为基于所确定的不确定性可以执行对所确定的潜在表示的加权，以便确定第三和第四表示、即上下文表示。由此，表征高方差并且借此表征高不确定性的潜在表示可以有利地不被包含在该累积中或者以低权重被包含在该累积中。经此，该上下文表示包含明显更多的信息。发明人可以发现：所描述的该机器学习系统的构造在训练之后引起该机器学习系统的性能改善。
还可设想的是：机器学习系统利用多个第一训练输入信号和训练输出信号来被训练，其中该损失值按照第一公式
Figure 654443DEST_PATH_IMAGE002
来被确定，其中
Figure 100002_DEST_PATH_IMAGE003
是多个第一训练输入信号，
Figure 214737DEST_PATH_IMAGE004
是相应被分配给这些第一训练输入信号的训练输出信号，
Figure 100002_DEST_PATH_IMAGE005
是正态分布的概率密度函数，
Figure 799434DEST_PATH_IMAGE006
是预测输出信号的借助于解码器所确定的第一表示，
Figure 100002_DEST_PATH_IMAGE007
是预测输出信号的借助于解码器所确定的第二表示，其中所确定的第一表示被用作概率密度函数的期望值并且所确定的第二表示被用作概率密度函数的方差或协方差矩阵。
Figure 546810DEST_PATH_IMAGE003
可以被理解成多个第一训练输入信号并且
Figure 960474DEST_PATH_IMAGE004
可以被理解成多个与这些第一训练输入信号对应的第一训练输出信号，其中
Figure 47378DEST_PATH_IMAGE008
可以被理解成第一训练输入信号或第一训练输出信号的数目。
Figure 100002_DEST_PATH_IMAGE009
可以被理解成所述多个第一训练输入信号中的第
Figure 572950DEST_PATH_IMAGE010
个元素并且
Figure 100002_DEST_PATH_IMAGE011
可以被理解成与
Figure 276463DEST_PATH_IMAGE009
对应的第一训练输出信号。
对于仅使用一个第一训练输入信号
Figure 493818DEST_PATH_IMAGE012
和一个对应的第一训练输出信号
Figure 700808DEST_PATH_IMAGE011
的情况来说，可以使用相同的损失函数，其中在第一公式中省去总和。
按照第一公式来确定该损失值的优点在于：机器学习系统在每次训练迭代中都可以利用不同数目的第一训练输入信号或第二训练信号来被训练。经此，机器学习系统相对于不同数目的第二输入信号而言变得鲁棒，对于所述不同数目的第二输入信号来说，在推理时间应该确定上下文表示。经此，该机器学习系统的性能提高。
还可设想的是：第四表示按照第二公式
Figure 79837DEST_PATH_IMAGE014
来被确定，其中
Figure 100002_DEST_PATH_IMAGE015
是第四表示，
Figure 83696DEST_PATH_IMAGE016
是关于第四表示的先验假设，
Figure 100002_DEST_PATH_IMAGE017
是多个第二输入信号和第二输出信号中的第
Figure 573584DEST_PATH_IMAGE010
个输入信号和第
Figure 697397DEST_PATH_IMAGE010
个输出信号的潜在表示的由编码器所确定的第二表示，而且
Figure 716169DEST_PATH_IMAGE018
表明逐元素的倒数值。
逐元素的倒数值可以被理解为使得在表示中的每个值都被其倒数值所更换。
第二公式还可以被理解为使得首先确定第二表示的逐元素的倒数值，将这些逐元素的倒数值相加，将先验表示加到总和中并且从结果中重新确定逐元素的倒数值。
按照第二公式对第四表示的确定能够实现：第二表示的累积基于通过这些第二表示所表征的不确定性。经此，与表征高的确定性的第二表示相比，表征高不确定性的第二表示可以有利地在更小的程度上被考虑。
按照第二公式来确定第四表示的另一优点在于：除了所确定的第二表示之外，可以将先验知识、即关于第四表示的先验表示一并包含在对第四表示的确定中。这引起第四表示的改善，因为可以将进一步的先验知识一并引入到机器学习系统的预测中。因而，该改善引起上下文表示的改善并且借此引起机器学习系统的性能改善。
还可设想的是：第三表示按照第三公式
Figure 909122DEST_PATH_IMAGE020
来被确定，其中
Figure 100002_DEST_PATH_IMAGE021
是第三表示，
Figure 202700DEST_PATH_IMAGE022
是关于第三表示的先验假设，
Figure 100002_DEST_PATH_IMAGE023
是多个第二输入信号和第二输出信号中的第
Figure 712179DEST_PATH_IMAGE010
个输入信号和第
Figure 449322DEST_PATH_IMAGE010
个输出信号的潜在表示的由编码器所确定的第一表示，
Figure 83565DEST_PATH_IMAGE015
是第三表示，
Figure 446414DEST_PATH_IMAGE017
是多个第二输入信号和第二输出信号中的第
Figure 13661DEST_PATH_IMAGE010
个输入信号和第
Figure 374235DEST_PATH_IMAGE010
个输出信号的潜在表示的由编码器所确定的第二表示，
Figure 558092DEST_PATH_IMAGE024
表明逐元素的乘法并且
Figure 100002_DEST_PATH_IMAGE025
表明逐元素的除法。
第三公式可以被理解为使得确定潜在表示的第一表示的加权和，其中第二表示被用作加权因子。此外，关于第三值的先验假设、即预假设被加到该总和，以便确定第三表示。
按照第三公式来确定第四表示能够实现：第一表示的累积基于通过第二表示所表征的不确定性。经此，与表征高的确定性的第一表示相比，表征高不确定性的第一表示可以有利地在更小的程度上被考虑。
按照所提到的公式来确定第三表示的另一优点在于：除了所确定的第一表示之外，可以将先验知识、即关于第三表示的先验表示一并包含在对第三表示的确定中。这引起第三表示的改善，因为可以将进一步的先验知识一并引入到机器学习系统的预测中。因而，该改善引起上下文表示的改善并且借此引起机器学习系统的性能改善。
还可设想的是：编码器包括神经网络，该神经网络被设立为：基于多个第二输入信号和第二输出信号来确定所述多个潜在表示中的潜在表示的第一表示和第二表示。
优点在于：神经网络可以比来自机器学习领域的其它方法更好地确定第一和第二表示。经此，进一步改善了机器学习系统的性能。
替选地，可设想的是：编码器包括第一神经网络，该第一神经网络被设立为基于多个第二输入信号来确定所述多个潜在表示中的潜在表示的第一表示；而且编码器包括第二神经网络，该第二神经网络被设立为基于多个第二输入信号来确定所述多个潜在表示中的潜在表示的第二表示。
发明人可以令人吃惊地查明：所描述的将两个分开的神经网络用于确定潜在表示的第一表示或第二表示引起了机器学习系统的性能改善。
还可设想的是：解码器包括神经网络，该神经网络被设立为基于第三表示和第四表示和第一输入信号来确定第一输出信号，其中该神经网络尤其被设立为确定第一表示和第二表示。
优点在于：神经网络可以比来自机器学习领域的其它方法更好地确定输出信号的第一和第二表示。经此，进一步改善了机器学习系统的性能。
替选地，可设想的是：解码器包括第一神经网络，该第一神经网络被设立为基于第三表示和第一输入信号来确定第一输出信号的第一表示；而且解码器包括第二神经网络，该第二神经网络被设立为基于第四表示和第一输入信号来确定第一输出信号的第二表示。
发明人可以令人吃惊地查明：所描述的将两个分开的神经网络用于确定第一输出信号的第一表示或第二表示引起了机器学习系统的性能改善。
附图说明
随后，本发明的实施方式参考随附的附图更详细地予以阐述。在附图中：
图1示意性示出了机器学习系统的构造；
图2示意性示出了用于根据机器学习系统的输出信号来操控执行器的控制系统的构造；
图3示意性示出了用于控制至少部分自主机器人的实施例；
图4示意性示出了用于控制生产系统的实施例；
图5示意性示出了用于控制访问系统的实施例；
图6示意性示出了用于控制监控系统的实施例；
图7示意性示出了用于控制私人助理的实施例；
图8示意性示出了用于训练机器学习系统的训练系统的实施例。
具体实施方式
图1示出了机器学习系统（60），该机器学习系统被设立为基于多个（63）第二输入信号（
Figure 177161DEST_PATH_IMAGE026
）和被分配给这些第二输入信号的第二输出信号（
Figure 100002_DEST_PATH_IMAGE027
）以及第一输入信号（
Figure 661232DEST_PATH_IMAGE028
）来确定第一输出信号（
Figure 100002_DEST_PATH_IMAGE029
）。
在此，第二输出信号（
Figure 989445DEST_PATH_IMAGE027
）可以被理解成被分配给第二输入信号（
Figure 880172DEST_PATH_IMAGE026
）的注释。第二输出信号（
Figure 788085DEST_PATH_IMAGE027
）例如可以由人类分配给第二输入信号（
Figure 595504DEST_PATH_IMAGE026
）。替选地或附加地，可设想的是：第二输出信号（
Figure 94618DEST_PATH_IMAGE027
）表征通过机器学习系统（60）对第二输入信号（
Figure 925171DEST_PATH_IMAGE026
）的第一预测，其中该第一预测发生在对第一输出信号（
Figure 902354DEST_PATH_IMAGE029
）的确定之前。
第一输入信号（
Figure 79127DEST_PATH_IMAGE028
）和/或第二输入信号（
Figure 952405DEST_PATH_IMAGE026
）和/或第二输出信号（
Figure 66991DEST_PATH_IMAGE027
）尤其可以包括数值或者由这些数值组成，其中这些数值可以以标量、向量、矩阵或张量的形式存在。
机器学习系统在编码器（61）中接收多个（63）第二输入信号（
Figure 113445DEST_PATH_IMAGE026
）和被分配给这些第二输入信号的第二输出信号（
Figure 629877DEST_PATH_IMAGE027
）。编码器（61）优选地被设立为：针对每个第二输入信号（
Figure 674056DEST_PATH_IMAGE026
）和与该第二输入信号对应的第二输出信号（
Figure 26671DEST_PATH_IMAGE027
）来确定潜在表示（
Figure 876816DEST_PATH_IMAGE030
），其中该潜在表示包括表征期望值的第一表示（
Figure 100002_DEST_PATH_IMAGE031
），而且该潜在表示包括表征方差的第二表示（
Figure 982175DEST_PATH_IMAGE032
）。
编码器（61）优选地包括两个神经网络，其中编码器（61）的第一神经网络被设立为基于第二输入信号（
Figure 259572DEST_PATH_IMAGE026
）和第二输出信号（
Figure 350018DEST_PATH_IMAGE027
）来确定第一表示（
Figure 941536DEST_PATH_IMAGE031
），并且编码器（61）的第二神经网络被设立为基于第二输入信号（
Figure 432560DEST_PATH_IMAGE026
）和第二输出信号（
Figure 615280DEST_PATH_IMAGE027
）来确定第二表示（
Figure 395017DEST_PATH_IMAGE032
）。
为了处理第二输入信号（
Figure 586964DEST_PATH_IMAGE026
）和对应的第二输出信号（
Figure 417648DEST_PATH_IMAGE027
），这些数值例如可以被串接成向量，接着该向量可以被移交给编码器（61）。替选地，也可设想的是：解码器（61）的神经网络被设立为使得这些神经网络分别具有两个输入端并且第二输入信号（
Figure 240110DEST_PATH_IMAGE026
）和对应的第二输出信号（
Figure 303881DEST_PATH_IMAGE027
）可以通过这两个输入端分别单独地被移交。
这些潜在表示（
Figure 768361DEST_PATH_IMAGE030
）被累积以形成上下文表示（
Figure DEST_PATH_IMAGE033
），其中该上下文表示（
Figure 702819DEST_PATH_IMAGE033
）包括表征该累积的期望值的第三表示（
Figure 7767DEST_PATH_IMAGE021
）而且包括表征该累积的方差的第四表示（
Figure 230938DEST_PATH_IMAGE015
）。优选地，第三表示（
Figure 764687DEST_PATH_IMAGE021
）按照公式
Figure 84810DEST_PATH_IMAGE020
来被确定，并且第四表示（
Figure 780234DEST_PATH_IMAGE015
）按照公式
Figure 756280DEST_PATH_IMAGE014
来被确定，其中
Figure 844453DEST_PATH_IMAGE022
是关于第三表示的先验假设，
Figure 753503DEST_PATH_IMAGE016
是关于第四表示的先验假设，
Figure 88669DEST_PATH_IMAGE023
是潜在表示的由编码器（61）所确定的第一表示，
Figure 348749DEST_PATH_IMAGE015
是第三表示，
Figure 224302DEST_PATH_IMAGE017
是潜在表示的由编码器（61）所确定的第二表示，
Figure 456700DEST_PATH_IMAGE024
表明逐元素的乘法，
Figure 743194DEST_PATH_IMAGE018
表明表示的逐元素的求逆（Invertierung）并且
Figure 756149DEST_PATH_IMAGE025
表明第二表示的逐元素的除法。
第三表示（
Figure 373075DEST_PATH_IMAGE021
）和第四表示（
Figure 256717DEST_PATH_IMAGE015
）可以被理解成上下文表示（z）。
优选地，可以选择零元素，作为针对第三表示（
Figure 730424DEST_PATH_IMAGE021
）的先验假设。如果第三表示（
Figure 902779DEST_PATH_IMAGE021
）是标量，则该零元素可以是值零。对于第三表示（
Figure 870867DEST_PATH_IMAGE021
）是向量的情况来说，该零元素可以是零向量，并且对于以矩阵或张量为形式的第三表示（
Figure 874595DEST_PATH_IMAGE021
）来说，该零元素可以是完全用零来填充的矩阵或张量。
优选地，可以选择一元素，作为针对第四表示（
Figure 519203DEST_PATH_IMAGE015
）的先验假设。如果第四表示（
Figure 178854DEST_PATH_IMAGE015
）是标量，则该一元素可以是值一。对于第四表示（
Figure 199900DEST_PATH_IMAGE015
）是向量的情况来说，该一元素可以是单位向量，并且对于以矩阵或张量为形式的第四表示（
Figure 307402DEST_PATH_IMAGE015
）来说，该一元素可以是完全用一来填充的矩阵或张量。
优选地，第三表示（
Figure 326173DEST_PATH_IMAGE021
）和第四表示（
Figure 269859DEST_PATH_IMAGE015
）的维数相同。这可以被理解为使得上下文表示（
Figure 829016DEST_PATH_IMAGE033
）的先验假设是标准正态分布，必要时是多元标准正态分布。
接着，上下文表示（
Figure 745019DEST_PATH_IMAGE033
）和第一输入信号（
Figure 997009DEST_PATH_IMAGE028
）被移交给机器学习系统（60）的解码器（62）。解码器（62）被设立为根据第一输入信号（
Figure 178723DEST_PATH_IMAGE028
）和上下文表示（
Figure 479254DEST_PATH_IMAGE033
）来确定第一输出信号（
Figure 46502DEST_PATH_IMAGE029
）。第一输出信号（
Figure 469393DEST_PATH_IMAGE029
）包括：第一表示，该第一表示表征机器学习系统（60）的关于第一输入信号（
Figure 325353DEST_PATH_IMAGE028
）的预测的期望值；和第二表示，该第二表示表征该预测的方差。这可以被理解为使得机器学习系统（60）以第一输出信号（
Figure 226313DEST_PATH_IMAGE029
）来提供带有不确定性的预测。在此，该预测可表征第一输入信号（
Figure 434353DEST_PATH_IMAGE028
）的分类。替选地或附加地，可设想的是：该预测表征实数值、实数向量、实数矩阵或实数张量的回归。
优选地，第一输出信号（
Figure 762566DEST_PATH_IMAGE029
）的第一表示和第二表示的维数与第二输出信号（
Figure 105823DEST_PATH_IMAGE027
）相同。
解码器（62）优选地包括两个神经网络，其中解码器（62）的第一神经网络确定第一输出信号（
Figure 810473DEST_PATH_IMAGE029
）的第一表示并且解码器（62）的第二神经网络确定该输出信号（
Figure 352313DEST_PATH_IMAGE029
）的第二表示。
为了处理第一输入信号（
Figure 54690DEST_PATH_IMAGE028
）和上下文表示（
Figure 432713DEST_PATH_IMAGE033
），第一输入信号（
Figure 941055DEST_PATH_IMAGE028
）和上下文表示（
Figure 806242DEST_PATH_IMAGE033
）所包括的数值可以被串接，并且该串接可以被移交给解码器（62）的神经网络。替选地，也可设想的是：解码器（62）的神经网络分别具有针对第一输入信号（
Figure 476258DEST_PATH_IMAGE028
）和上下文表示（
Figure 590845DEST_PATH_IMAGE033
）的单独的输入端。
在其它实施方式（未示出）中，可设想的是：机器学习系统（60）分别针对多个第一输入信号（
Figure 886566DEST_PATH_IMAGE028
）确定第一输出信号（
Figure 606260DEST_PATH_IMAGE029
）。这可以被理解为使得机器学习系统（60）可以处理一批（英文Batch（批量））第一输入信号（
Figure 712756DEST_PATH_IMAGE028
）。
图2示出了在其周围环境（20）中与控制系统（40）交互的执行器（10），其中控制系统（40）包括机器学习系统（60）并且执行器（10）根据机器学习系统（60）的至少一个第一输出信号（
Figure 49060DEST_PATH_IMAGE029
）来被控制。
以优选地均匀的时间间隔以传感器（30）、尤其是如摄像机传感器那样的成像传感器来检测周围环境（20），该传感器也可以通过多个传感器来给出，例如立体摄像机。传感器（30）的传感器信号（S）——或在有多个传感器的情况下每个传感器信号（S）——被传送给控制系统（40）。因此，控制系统（40）接收传感器信号（S）的序列。控制系统（40）据此来确定操控信号（A），这些操控信号被传输给执行器（10）。
控制系统（40）在可选的接收单元（50）中接收传感器（30）的传感器信号（S）的序列，该接收单元将传感器信号（S）的序列转换成第一输入信号（x）的序列（替选地也可以直接各采用传感器信号（S）作为输入信号（x））。第一输入信号（x）例如可以是传感器信号（S）的片段或者对该传感器信号的进一步处理。换言之，根据传感器信号（S）来确定第一输入信号（x）。第一输入信号（x）的序列被输送给机器学习系统（60）。 附加地，向机器学习系统（60）输送多个（63）第二输入信号和第二输出信号。所述多个（63）第二输入信号和第二输出信号可以被理解成第一输入信号（x）的上下文（63）。
机器学习系统（60）优选地通过参数（φ）来被参数化，这些参数寄存在参数存储器（P）中并且由该参数存储器来提供。
机器学习系统（60）根据输入信号（x）并且根据上下文（63）来确定第一输出信号（y）。输出信号（y）被输送给可选的改型单元（80），该改型单元据此来确定操控信号（A），这些操控信号被输送给执行器（10），以便相对应地对执行器（10）进行操控。
执行器（10）接收操控信号（A），相对应地被操控并且实施相对应的行动。在这种情况下，执行器（10）可包括（不一定在结构上集成的）操控逻辑，该操控逻辑根据操控信号（A）来确定接着用来操控执行器（10）的第二操控信号。
在其它实施方式中，控制系统（40）包括传感器（30）。在另外其它实施方式中，替选地或附加地，控制系统（40）也包括执行器（10）。
在其它优选的实施方式中，控制系统（40）包括至少一个处理器（45）和至少一个机器可读存储介质（46），在该机器可读存储介质上存储有命令，当这些命令在该至少一个处理器（45）上被执行时，这些命令促使控制系统（40）实施按照本发明的方法。
在替选的实施方式中，替代于执行器（10）或除了该执行器之外，还设置显示单元（10a）。
图3示出了控制系统（40）可以如何被用于控制至少部分自主机器人、这里是至少部分自主机动车（100）。
机动车（100）例如可拥有多个传感器（30），例如不同类型的传感器（30），比如激光雷达传感器、摄像机传感器和/或超声传感器。优选地，这些传感器（30）建造在车辆中。在这种情况下，第一输入信号（x）可以被理解成输入图像。
可设想的是：机器学习系统被设立为标识能在输入图像（x）上识别出的对象。因而，第一输出信号（y）可以表征对象的位置，以及关于该位置的方差，该方差可以被理解成关于对象的精确位置的不确定性。上下文（63）例如可以包括在时间上发生在过去的输入图像（x），对于这些输入图像来说，在先前的时间点已经探测到了对象。在这种情况下，机器学习系统（60）可以被理解为使得该机器学习系统应该基于过去的输入图像和在这些输入图像上所探测到的对象来确定在当前的输入图像上的对象位置。
替选地，可设想的是：该上下文包括车辆的其它传感器（30）的输入图像。在这种情况下，机器学习系统（60）可以被理解成执行传感器信号（S）的融合，其中该融合的结果带有不确定性。
优选地布置在机动车（100）中的执行器（10）例如可以是机动车（100）的刹车装置、驱动装置或转向装置。 接着，操控信号（A）可以被确定为使得该执行器或这些执行器（10）被操控为使得尤其是当涉及某些类型的对象、例如行人时，机动车（100）例如防止与由机器学习系统（60）所标识的对象相撞。
替选地或附加地，可以利用操控信号（A）来操控显示单元（10a），而且例如可以呈现所标识的对象。也可设想的是：显示单元（10a）利用操控信号（A）被操控为使得如果确定机动车（100）即将与所标识的对象之一相撞，则该显示单元输出光学或声音报警信号。这也可以通过触觉报警信号来实现，例如通过机动车（100）的方向盘的振动来实现。
替选地，该至少部分自主机器人也可以是其它移动机器人（未绘出），例如是这种通过飞行、漂浮、潜水或步行来移动的机器人。该移动机器人例如也可以是至少部分自主割草机或者至少部分自主清洁机器人。在这些情况下，操控信号（A）也可以被确定为使得该移动机器人的驱动装置和/或转向装置被操控为使得该至少部分自主机器人例如防止与由机器学习系统（60）所标识的对象相撞。
图4示出了如下实施例，在该实施例中，控制系统（40）被用于操控生产系统（200）的生产机器（11），其方式是对控制该生产机器（11）的执行器（10）进行操控。生产机器（11）例如可以是用于冲压、锯切、钻孔和/或切割的机器。还可设想的是：生产机器（11）构造为借助于抓具来抓取制成品（12a、12b）。
那么，传感器（30）例如可以是视频传感器，该视频传感器例如检测传送带（13）的传送区，其中在传送带（13）上可能存在制成品（12a、12b）。在这种情况下，输入信号（x）是输入图像（x）。机器学习系统（60）例如可以被设立为基于输入信号（x）来确定在传送带上的制成品（12a、12b）的位置。接着，控制生产机器（11）的执行器（10）可以根据所确定的制成品（12a、12b）的位置来被操控。例如，执行器（10）可以被操控为使得该执行器在制成品（12a、12b）的预先确定的部位来对制成品（12a、12b）进行冲压、锯切、钻孔和/或切割。
可以向机器学习系统移交发生在过去的时间点的输入信号（x）和制成品（12a、12b）的分别在其上确定的位置，作为上下文（63）。
还可设想的是：机器学习系统（60）构造为替代于位置或除了位置之外确定制成品（12a、12b）的其它特性。尤其可设想的是：机器学习系统（60）确定制成品（12a、12b）是否有缺陷和/或损坏。在这种情况下，执行器（10）可以被操控为使得生产机器（11）将有缺陷的和/或损坏的制成品（12a、12b）剔除。
图5示出了如下实施例，在该实施例中，控制系统（40）被用于控制访问系统（300）。访问系统（300）可包括物理访问控制装置、例如门（401）。传感器（30）尤其可以是视频传感器或热成像传感器，该视频传感器或热成像传感器被设立为检测在门（401）前面的区域。借助于机器学习系统（60），可以解读所检测到的图像。机器学习系统（60）尤其可以探测在被传送给该机器学习系统的输入图像（x）上的人员。如果同时检测到了多个人员，则例如可以通过这些人员（即对象）彼此间的关联来特别可靠地确定这些人员的身份，例如通过对这些人员的运动的分析来特别可靠地确定这些人员的身份。
可以向机器学习系统（60）传送发生在过去的时间点的输入信号（x）和分别在其上探测到的人员，作为上下文（63）。
执行器（10）可以是锁，该锁根据操控信号（A）来激活访问控制装置或者不激活访问控制装置，例如将门（401）打开或者不打开。为此，可以根据借助于机器学习系统（60）针对输入图像（x）所确定的输出信号（y）来选择操控信号（A）。例如可设想的是：输出信号（y）包括表征由机器学习系统（60）所探测到的人员的身份的信息，而且基于该人员的身份来选择操控信号（A）。
替代物理访问控制装置，也可以设置逻辑访问控制装置。
图6示出了如下实施例，在该实施例中，控制系统（40）被用于控制监控系统（400）。该实施例与在图5中示出的实施例的区别在于：替代执行器（10），设置显示单元（10a），该显示单元由控制系统（40）来操控。例如，传感器（30）可以记录输入图像（x），在该输入图像上能识别出至少一个人员，而且该至少一个人员的位置可以借助于机器学习系统（60）来被探测。接着，输入图像（x）可以被呈现在显示单元（10a）上，其中所探测到的任务可以用颜色突出地来被呈现。
图7示出了如下实施例，在该实施例中，控制系统（40）被用于控制私人助理（250）。优选地，传感器（30）是光学传感器，例如视频传感器或热成像传感器，该光学传感器接收用户（249）的手势的图像。
根据传感器（30）的信号，控制系统（40）确定私人助理（250）的操控信号（A），例如其方式是机器学习系统（60）执行手势识别。接着，将所确定的该操控信号（A）传送给私人助理（250）并且该私人助理因此相对应地被操控。所确定的操控信号（A）尤其可以被选择为使得该操控信号对应于用户（249）所设想的所希望的操控。该所设想的所希望的操控可以根据由机器学习系统（60）识别出的手势来予以确定。接着，控制系统（40）可以根据所设想的所希望的操控来选择用于传送给私人助理（250）的操控信号（A）和/或选择用于传送给与所设想的所希望的操控相对应的私人助理（250）的操控信号（A）。
该相对应的操控例如可包含：私人助理（250）从数据库中调用信息并且以对于用户（249）来说可接收到的方式来重现这些信息。
替代私人助理（250），也可以设置家用电器（未绘出），尤其是洗衣机、炉灶、烤箱、微波炉或洗碗机，以便相对应地被操控。
替代手势控制，也可设想的是：私人助理（250）也可以通过用户（249）的语音指令来被控制。上下文（63）例如可表征音频传感器（30）的音频信号的采样时间点和采样值的序列，其中机器学习系统（60）构造为针对其它采样时间点来预测其它采样值。接着，该上下文和这些其它采样时间点和所预测的采样值例如可以被移交给分类器，该分类器基于其输入来确定语音指令的分类。
图8示出了用于借助于训练数据集（T）来训练控制系统（40）的机器学习系统（60）的训练系统（140）的实施例。训练数据集（T）优选地包括输入信号（xi）的多个序列，这些序列被用于训练机器学习系统（60），其中训练数据集（T）还针对各一个输入信号（xi）包括所希望的输出信号（yi），该输出信号与输入信号（xi）对应并且表征输入信号（xi）的分类和/或回归。
为了进行训练，训练数据单元（150）访问计算机实现的数据库（St2），其中该数据库（St2）提供训练数据集（T）。训练数据单元（150）根据训练数据集（T）优选地随机确定输入信号的至少一个序列和对应的所希望的输出信号。然后，训练数据单元（150）优选地随机将该序列的第一输入信号划分成第一多个输入信号（
Figure 836887DEST_PATH_IMAGE009
）和第二多个输入信号（
Figure 473405DEST_PATH_IMAGE034
）。替选地，也可设想的是：该序列在预先限定的点处被分开，以便确定所述第一多个（
Figure 235956DEST_PATH_IMAGE009
）和所述第二多个（
Figure 528397DEST_PATH_IMAGE034
）。
所述第二多个输入信号（
Figure 651073DEST_PATH_IMAGE034
）和与这些输入信号对应的输出信号作为上下文被提供给机器学习系统（60），而所述第一多个输入信号（
Figure 407677DEST_PATH_IMAGE009
）作为第一输入信号被提供给机器学习系统（60）。基于这些输入，机器学习系统（60）针对所述第一多个（
Figure 793659DEST_PATH_IMAGE009
）中的每个输入信号都确定对应的输出信号（
Figure DEST_PATH_IMAGE035
）。因而，在该确定之后，对于所述第一多个（
Figure 150560DEST_PATH_IMAGE009
）中的每个输入信号来说分别存在所确定的输出信号（
Figure 280190DEST_PATH_IMAGE035
）和所希望的输出信号（
Figure 625720DEST_PATH_IMAGE011
）。
所希望的输出信号（
Figure 244921DEST_PATH_IMAGE011
）和所确定的输出信号（
Figure 246375DEST_PATH_IMAGE035
）被传送给更改单元（180）。
接着，基于所希望的输出信号（
Figure 976433DEST_PATH_IMAGE011
）和所确定的输出信号（
Figure 192782DEST_PATH_IMAGE035
），更改单元（180）确定针对机器学习系统（60）的新参数（
Figure 920567DEST_PATH_IMAGE036
）。为此，更改单元（180）借助于损失函数（英文：LossFunction）将所希望的输出信号（
Figure 206055DEST_PATH_IMAGE011
）与所确定的输出信号（
Figure 5383DEST_PATH_IMAGE035
）进行比较。该损失函数确定第一损失值，该第一损失值表征所确定的输出信号（
Figure 59927DEST_PATH_IMAGE035
）与所希望的输出信号（yi）的偏离程度。
优选地，该损失函数按照公式
Figure 958613DEST_PATH_IMAGE038
来确定该损失值，其中
Figure 980664DEST_PATH_IMAGE003
是第一多个输入信号，
Figure 318105DEST_PATH_IMAGE004
表征关于所述第一多个输入信号的输出信号，
Figure 430417DEST_PATH_IMAGE005
是正态分布的概率密度函数，
Figure 827901DEST_PATH_IMAGE006
是解码器（62）针对所述第一多个中的输入信号
Figure 822401DEST_PATH_IMAGE009
和潜在表示的第三表示
Figure 901216DEST_PATH_IMAGE021
的第一输出，
Figure 415505DEST_PATH_IMAGE007
是解码器（62）针对输入信号
Figure 983889DEST_PATH_IMAGE009
和潜在表示的第四表示
Figure 465686DEST_PATH_IMAGE015
的第二输出，其中该第一输出被用作概率密度函数的期望值并且该第二输出被用作概率密度函数的方差或协方差矩阵。借助于机器学习系统（60）的编码器（61）并且基于所述第二多个（
Figure 82613DEST_PATH_IMAGE034
）来确定潜在表示的第三表示（
Figure 231834DEST_PATH_IMAGE021
）和第四表示（
Figure 948949DEST_PATH_IMAGE015
）。
更改单元（180）基于第一损失值来确定新参数（
Figure 121304DEST_PATH_IMAGE036
）。在该实施例中，这借助于梯度下降法、优选地随机梯度下降法（Stochastic Gradient Descent）、Adam或者AdamW来实现。
所确定的新参数（
Figure 338659DEST_PATH_IMAGE036
）被存储在模型参数存储器（St1）中。优选地，所确定的新参数（
Figure 342387DEST_PATH_IMAGE036
）作为参数（
Figure DEST_PATH_IMAGE039
）被提供给机器学习系统（60）。
在其它优选的实施例中，所描述的训练被迭代地重复预先限定的数目的迭代步骤，或者被迭代地重复直至第一损失值低于预先限定的阈值为止。替选地或附加地，也可设想的是：当关于测试或验证数据集的平均的第一损失值低于预先限定的阈值时，结束该训练。在这些迭代中的至少一次迭代中，在先前的迭代中所确定的新参数（
Figure 721416DEST_PATH_IMAGE036
）被用作机器学习系统（60）的参数（
Figure 194117DEST_PATH_IMAGE039
）。
此外，训练系统（140）可包括至少一个处理器（145）和至少一个机器可读存储介质（146），该机器可读存储介质包含指令，当这些指令通过处理器（145）来被执行时，这些指令促使该训练系统（140）实施根据本发明的这些方面中的任一项所述的训练方法。
术语“计算机”包括用于运行可预先给定的计算规则的任意设备。这些计算规则可以以软件的形式存在，或者以硬件的形式存在，或者也可以以软件和硬件的混合形式存在。
通常，“多个”可以被理解成索引化，也就是说给所述多个中的每个元素分派唯一的索引，优选地通过将连续的整数分派给包含在所述多个中的元素来给所述多个中的每个元素分派唯一的索引。优选地，如果“多个”包括
Figure 152845DEST_PATH_IMAGE040
个元素，其中
Figure 11080DEST_PATH_IMAGE040
是在所述多个中的元素的数目，则给这些元素分派从1至N的整数。

Claims (15)

1.一种用于训练机器学习系统（60）的计算机实现的方法，其中该机器学习系统被配置为：基于至少一个第一输入信号（x）以及多个第二输入信号（
Figure DEST_PATH_IMAGE001
）和与这些第二输入信号对应的第二输出信号（
Figure 652416DEST_PATH_IMAGE002
）来确定与该第一输入信号（x）对应的第一输出信号（y），其中该第一输出信号（y）表征带有不确定性的分类和/或带有不确定性的回归，其中该方法为了该训练而包括如下步骤：
• 确定多个训练输入信号，所述多个训练输入信号彼此保持上下文关系，其中每个训练输入信号都分配有对应的训练输出信号；
• 将多个训练输入信号和训练输出信号划分成多个（
Figure DEST_PATH_IMAGE003
）第二训练输入信号和对应的第二训练输出信号并且划分成至少一个第一训练输入信号（
Figure 648185DEST_PATH_IMAGE004
）和至少一个对应的第一训练输出信号（
Figure DEST_PATH_IMAGE005
）；
• 确定多个（
Figure 693502DEST_PATH_IMAGE003
）第二训练输入信号和第二训练输出信号的上下文表示（
Figure 885449DEST_PATH_IMAGE006
）；
• 借助于该机器学习系统（60）的解码器（62）并且基于所确定的上下文表示（
Figure 73722DEST_PATH_IMAGE006
）和该第一训练输入信号（
Figure 630606DEST_PATH_IMAGE004
）来确定针对该至少一个第一训练输入信号（
Figure 179530DEST_PATH_IMAGE004
）的预测输出信号（
Figure DEST_PATH_IMAGE007
）；
• 确定损失值，该损失值表征在该预测输出信号（
Figure 706326DEST_PATH_IMAGE007
）与该第一训练输出信号（
Figure 109626DEST_PATH_IMAGE005
）之间的区别，其中该损失值基于损失函数来被确定，其中该损失函数表征正态分布的概率密度函数或对数化概率密度函数；
• 确定编码器（61）和/或解码器（62）的多个参数关于该损失值的梯度；
• 基于所确定的梯度来改变所述多个参数。
2.根据权利要求1所述的方法，其中借助于该机器学习系统（60）对该第一输出信号（y）的确定包括如下步骤：
• 借助于该机器学习系统（60）的编码器（61）来确定多个潜在表示（
Figure 634148DEST_PATH_IMAGE008
），其中所述多个潜在表示中的潜在表示（
Figure 434482DEST_PATH_IMAGE008
）基于至少一个第二输入信号（
Figure 905915DEST_PATH_IMAGE001
）和与该第二输入信号（
Figure 226038DEST_PATH_IMAGE001
）对应的第二输出信号（
Figure 187041DEST_PATH_IMAGE002
）来被确定，其中该第二输入信号（
Figure 163087DEST_PATH_IMAGE001
）和该第二输出信号（
Figure 969369DEST_PATH_IMAGE002
）表征该第一输入信号（x）的上下文并且该潜在表示（
Figure 160310DEST_PATH_IMAGE008
）包括第一表示（
Figure DEST_PATH_IMAGE009
）和第二表示，其中该第一表示（
Figure 761056DEST_PATH_IMAGE009
）表征期望值而且该第二表示（
Figure 286715DEST_PATH_IMAGE010
）表征方差；
• 基于所述多个潜在表示中的潜在表示（
Figure 99950DEST_PATH_IMAGE008
）的第一表示（
Figure 394665DEST_PATH_IMAGE009
）来确定第三表示（
Figure DEST_PATH_IMAGE011
），其中该第三表示（
Figure 687018DEST_PATH_IMAGE011
）表征这些第一表示（
Figure 434394DEST_PATH_IMAGE009
）的累积；
• 基于所述多个潜在表示中的潜在表示（
Figure 848058DEST_PATH_IMAGE008
）的第二表示（
Figure 934963DEST_PATH_IMAGE010
）来确定第四表示（
Figure 674249DEST_PATH_IMAGE012
），其中该第四表示（
Figure 394074DEST_PATH_IMAGE012
）表征这些第二表示（
Figure 549112DEST_PATH_IMAGE010
）的累积；
• 借助于该机器学习系统（60）的解码器（62）来确定该第一输出信号（y），其中该解码器（62）基于该第三表示（
Figure 552840DEST_PATH_IMAGE011
）和该第四表示（
Figure 463027DEST_PATH_IMAGE012
）和该第一输入信号（x）来确定该第一输出信号（y）。
3.根据权利要求2所述的方法，其中在确定该损失值的步骤中，其中通过该解码器（62）所确定的预测输出信号（
Figure 919416DEST_PATH_IMAGE007
）的第一表示被用作该概率密度函数的期望值并且通过该解码器（62）所确定的预测输出信号（
Figure 878145DEST_PATH_IMAGE007
）的第二表示被用作该概率密度函数的方差或协方差矩阵。
4.根据权利要求2或3所述的方法，其中该机器学习系统（60）利用多个第一训练输入信号和训练输出信号来被训练，其中该损失值按照公式
Figure 985647DEST_PATH_IMAGE014
来被确定，其中
Figure DEST_PATH_IMAGE015
是多个第一训练输入信号，
Figure 535577DEST_PATH_IMAGE016
是相应被分配给这些第一训练输入信号的训练输出信号，
Figure DEST_PATH_IMAGE017
是正态分布的概率密度函数，
Figure 276000DEST_PATH_IMAGE018
是该预测输出信号（
Figure 38420DEST_PATH_IMAGE007
）的借助于该解码器（62）所确定的第一表示，
Figure DEST_PATH_IMAGE019
是该预测输出信号（
Figure 298631DEST_PATH_IMAGE007
）的借助于该解码器（62）所确定的第二表示，其中所确定的第一表示被用作该概率密度函数的期望值并且所确定的第二表示被用作该概率密度函数的方差或协方差矩阵。
5.根据权利要求2至4中任一项所述的方法，其中在确定该第四表示（
Figure 222725DEST_PATH_IMAGE012
）的步骤中，该第四表示（
Figure 919285DEST_PATH_IMAGE012
）按照公式
Figure DEST_PATH_IMAGE021
来被确定，其中
Figure 750975DEST_PATH_IMAGE022
是关于该第四表示（
Figure 833070DEST_PATH_IMAGE012
）的先验假设，
Figure DEST_PATH_IMAGE023
是多个第二输入信号（
Figure 724802DEST_PATH_IMAGE001
）和第二输出信号（
Figure 908659DEST_PATH_IMAGE002
）中的第
Figure 809619DEST_PATH_IMAGE024
个输入信号和第
Figure 434635DEST_PATH_IMAGE024
个输出信号的潜在表示（
Figure 513581DEST_PATH_IMAGE008
）的由该编码器（61）所确定的第二表示（
Figure 919154DEST_PATH_IMAGE010
），而且
Figure DEST_PATH_IMAGE025
表明逐元素的倒数值。
6.根据权利要求2至5中任一项所述的方法，其中在确定该第三表示（
Figure 358226DEST_PATH_IMAGE011
）的步骤中，该第三表示（
Figure 165645DEST_PATH_IMAGE011
）按照公式
Figure DEST_PATH_IMAGE027
来被确定，其中
Figure 648448DEST_PATH_IMAGE028
是关于该第三表示（
Figure 541317DEST_PATH_IMAGE011
）的先验假设，
Figure DEST_PATH_IMAGE029
是多个第二输入信号（
Figure 518501DEST_PATH_IMAGE001
）和第二输出信号（
Figure 180426DEST_PATH_IMAGE002
）中的第
Figure 601174DEST_PATH_IMAGE024
个输入信号和第
Figure 919023DEST_PATH_IMAGE024
个输出信号的潜在表示（
Figure 965477DEST_PATH_IMAGE008
）的由该编码器（61）所确定的第一表示（
Figure 481909DEST_PATH_IMAGE009
），
Figure 526088DEST_PATH_IMAGE012
是第三表示，
Figure 393550DEST_PATH_IMAGE023
是所述多个第二输入信号（
Figure 244961DEST_PATH_IMAGE001
）和第二输出信号（
Figure 819161DEST_PATH_IMAGE002
）中的第
Figure 96559DEST_PATH_IMAGE024
个输入信号和第
Figure 920158DEST_PATH_IMAGE024
个输出信号的潜在表示（
Figure 511677DEST_PATH_IMAGE008
）的由该编码器（61）所确定的第二表示（
Figure 2701DEST_PATH_IMAGE010
），
Figure 936153DEST_PATH_IMAGE030
表明逐元素的乘法并且
Figure DEST_PATH_IMAGE031
表明逐元素的除法。
7.根据权利要求2至6中任一项所述的方法，其中该编码器（61）包括神经网络，该神经网络被设立为：基于多个第二输入信号（
Figure 512628DEST_PATH_IMAGE001
）和第二输出信号（
Figure 438996DEST_PATH_IMAGE002
）来确定这些潜在表示（
Figure 518947DEST_PATH_IMAGE008
）的第一表示（
Figure 341410DEST_PATH_IMAGE009
）和第二表示（
Figure 654448DEST_PATH_IMAGE010
）。
8.根据权利要求2至6中任一项所述的方法，其中该编码器（61）包括第一神经网络，该第一神经网络被设立为基于多个第二输入信号（
Figure 384507DEST_PATH_IMAGE001
）和第二输出信号（
Figure 522227DEST_PATH_IMAGE002
）来确定这些潜在表示（
Figure 577908DEST_PATH_IMAGE008
）的第一表示（
Figure 863396DEST_PATH_IMAGE009
）；而且该编码器（61）包括第二神经网络，该第二神经网络被设立为基于所述多个第二输入信号（
Figure 334828DEST_PATH_IMAGE001
）和第二输出信号（
Figure 140104DEST_PATH_IMAGE002
）来确定这些潜在表示（
Figure 366686DEST_PATH_IMAGE008
）的第二表示（
Figure 77153DEST_PATH_IMAGE010
）。
9.根据权利要求2至8中任一项所述的方法，其中该解码器（62）包括神经网络，该神经网络被设立为基于该第三表示（
Figure 149014DEST_PATH_IMAGE011
）和该第四表示（
Figure 589223DEST_PATH_IMAGE012
）和该第一输入信号（x）来确定该第一输出信号（y）。
10.根据权利要求2至8中任一项所述的方法，其中该解码器（62）包括第一神经网络，该第一神经网络被设立为基于该第三表示（
Figure 658810DEST_PATH_IMAGE011
）和该第一输入信号（x）来确定该第一输出信号（y）的第一表示；而且该解码器（62）包括第二神经网络，该第二神经网络被设立为基于该第四表示（
Figure 168158DEST_PATH_IMAGE012
）和该第一输入信号（x）来确定该第一输出信号的第二表示。
11.一种用于运行机器学习系统（60）的计算机实现的方法，所述方法具有如下步骤：
• 根据权利要求1至10中任一项来训练该机器学习系统（60）；
• 借助于经训练的机器学习系统（60）来确定针对第一输入信号（x）的第一输出信号（y）。
12.根据权利要求11所述的方法，其中基于所确定的第一输出信号（y）来相对应地运行设备（100、200、250、300、400）。
13.一种训练装置（140），所述训练装置被设立为实施根据权利要求1至10中任一项所述的方法。
14.一种计算机程序，所述计算机程序被设立为当所述计算机程序被处理器（45、145）执行时实施根据权利要求1至12中任一项所述的方法。
15.一种机器可读存储介质（46、146），在其上存储有根据权利要求14所述的计算机程序。
CN202111157189.1A 2020-10-02 2021-09-30 用于训练机器学习系统的方法和装置 Pending CN114386614A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020212515.5A DE102020212515A1 (de) 2020-10-02 2020-10-02 Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems
DE102020212515.5 2020-10-02

Publications (1)

Publication Number Publication Date
CN114386614A true CN114386614A (zh) 2022-04-22

Family

ID=80738033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111157189.1A Pending CN114386614A (zh) 2020-10-02 2021-09-30 用于训练机器学习系统的方法和装置

Country Status (3)

Country Link
US (1) US20220108184A1 (zh)
CN (1) CN114386614A (zh)
DE (1) DE102020212515A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3993212A1 (en) * 2020-10-30 2022-05-04 ABB Schweiz AG Machine learning -based method for increasing lifetime of a battery energy storage system
US20220174867A1 (en) * 2020-12-04 2022-06-09 Scythe Robotics, Inc. Autonomous lawn mower
EP4273752A1 (en) * 2022-05-02 2023-11-08 Robert Bosch GmbH Device and method for detecting anomalies in technical systems

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111727441A (zh) 2018-02-09 2020-09-29 渊慧科技有限公司 实现用于高效学习的条件神经过程的神经网络系统

Also Published As

Publication number Publication date
US20220108184A1 (en) 2022-04-07
DE102020212515A1 (de) 2022-04-07

Similar Documents

Publication Publication Date Title
CN114386614A (zh) 用于训练机器学习系统的方法和装置
US20220051138A1 (en) Method and device for transfer learning between modified tasks
Zeng et al. Pixel modeling using histograms based on fuzzy partitions for dynamic background subtraction
JP2021089731A (ja) クラス分類器を訓練するための装置および方法
CN114386449A (zh) 用于借助于机器学习系统来确定输出信号的方法
EP3783538A1 (en) Analysing interactions between multiple physical objects
US20220076124A1 (en) Method and device for compressing a neural network
US20230260259A1 (en) Method and device for training a neural network
CN113994349A (zh) 用于训练机器学习系统的方法和设备
JP2023118101A (ja) 機械学習システムに対する敵対的パッチを特定するための装置及び方法
US20230091396A1 (en) Device and method for generating training data for a machine learning system
CN113947208A (zh) 用于创建机器学习系统的方法和设备
CN114861929A (zh) 以改进的方式训练针对图像处理的机器学习系统
EP4357977A1 (en) Device and method for determining an encoder configured image analysis
US20240169225A1 (en) Method and apparatus for creating a machine learning system
US20230306265A1 (en) Method and device for determining an optimal architecture of a neural network
EP3975064A1 (en) Device and method for training a classifier using an invertible factorization model
EP4156097A1 (en) Device and method for determining a semantic segmentation and/or an instance segmentation of an image
JP7395396B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP4343619A1 (en) Method for regularizing a neural network
EP3975054A1 (en) Device and method for classifying an input signal using an invertible factorization model
CN116467618A (zh) 确定关于传感器信号的预测的融合的方法和设备
CN116467587A (zh) 用于连续机器学习不同任务的序列的方法和设备
CN115705500A (zh) 用于创建机器学习系统的方法和设备
CN113989801A (zh) 用于创建自动创建机器学习系统的系统的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination