CN114386449A - 用于借助于机器学习系统来确定输出信号的方法 - Google Patents

用于借助于机器学习系统来确定输出信号的方法 Download PDF

Info

Publication number
CN114386449A
CN114386449A CN202111157383.XA CN202111157383A CN114386449A CN 114386449 A CN114386449 A CN 114386449A CN 202111157383 A CN202111157383 A CN 202111157383A CN 114386449 A CN114386449 A CN 114386449A
Authority
CN
China
Prior art keywords
representation
output signal
training
determined
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111157383.XA
Other languages
English (en)
Inventor
G·纽曼
M·沃尔普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114386449A publication Critical patent/CN114386449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种用于借助于机器学习系统来确定第一输出信号的计算机实现的方法，其中第一输出信号表征第一输入信号的分类或回归并且输出信号包括：第一表示，该第一表示表征该分类或该回归的期望值；和第二表示，该第二表示表征该分类或该回归的方差，其中该方法为了该确定而包括如下步骤：借助于编码器来确定多个潜在表示；基于所述多个潜在表示中的潜在表示的第一表示来确定第三表示，其中第三表示表征这些第一表示的累积；基于所述多个潜在表示中的潜在表示的第二表示来确定第四表示，其中第四表示表征这些第二表示的累积；借助于解码器来确定该第一输出信号，其中该解码器基于该第三表示和该第四表示和该第一输入信号来确定该第一输出信号。

Description

用于借助于机器学习系统来确定输出信号的方法
技术领域
本发明涉及一种用于借助于机器学习系统来确定输出信号的方法、一种用于训练机器学习系统的方法、一种训练系统、一种计算机程序和一种机器可读存储介质。
背景技术
Marta Garnelo等人的“Conditional Neural Processes”，https://arxiv.org/abs/1807.01613v1，2018年7月4日公开了一种用于借助于条件神经过程（英文ConditionalNeural Process）来确定输出信号的方法。
本发明的优点
很多至少部分自动化设备或者至少部分自动化系统为了自动化运行而使用机器学习系统。机器人例如可以使用机器学习系统来对该机器人的周围环境进行分类，比如以便介于该周围环境的摄像机图像来对该周围环境中的对象进行分类。此外，也可设想的是：该机器人替代分类而将机器学习系统用于回归，例如以便借助于该周围环境的摄像机图像来确定距被分类的对象的距离。
机器学习系统通常被构造为：基于输入信号（例如输入图像）来确定关于该输入图像的预测（例如对象的类型和位置或者距对象的距离）。在下文，机器学习系统的性能可以被理解成表征该机器学习系统用来正确预测所希望的结果的平均能力的值。
现代机器学习系统通常基于神经网络，因为神经网络通常在不同的技术问题的情况下都能够实现非常高的性能。神经网络的缺点在于：这些神经网络通常无法确定关于这些神经网络的预测的经过良好校准的不确定性。这意味着：即使在预测错误或不精确的情况下，神经网络也常常输出该预测是正确的高的确定性。
被设立为执行具有独立权利要求1的特征的方法的机器学习系统的优点在于：该机器学习系统可以通过该方法来确定关于预测的经过良好校准的不确定性。有利地，该方法通过高斯过程（英文Gaussian Processes）和神经网络的特征的组合来获得该特性。相比于高斯过程和神经网络的其它组合，诸如条件神经过程，被设立为执行具有独立权利要求1的特征的方法的机器学习系统实现了更好的性能。
发明内容
在第一方面，本发明涉及一种用于借助于机器学习系统来确定第一输出信号的计算机实现的方法，其中该第一输出信号表征第一输入信号的分类和/或回归并且该输出信号包括：第一表示，该第一表示表征该分类和/或该回归的期望值；和第二表示，该第二表示表征该分类和/或该回归的方差，其中该方法为了该确定而包括如下步骤：
• 借助于该机器学习系统的编码器来确定多个潜在表示，其中所述多个潜在表示中的潜在表示基于至少一个第二输入信号和与该第二输入信号对应的第二输出信号来被确定，其中该第二输入信号和该第二输出信号表征第一输入信号的上下文并且该潜在表示包括第一表示和第二表示，其中第一表示表征期望值而且第二表示表征方差；
• 基于所述多个潜在表示中的潜在表示的第一表示来确定第三表示，其中第三表示表征这些第一表示的累积；
• 基于所述多个潜在表示中的潜在表示的第二表示来确定第四表示，其中第四表示表征这些第二表示的累积；
• 借助于该机器学习系统的解码器来确定该第一输出信号，其中该解码器基于该第三表示和该第四表示和该第一输入信号来确定该第一输出信号。
该方法可以被理解为使得该方法通过第一输出信号来确定至少一个第一输入信号的分类和/或回归，其中第一输出信号不仅基于第一输入信号来被确定而且在至少一个其它的第二输入信号和与该第二输入信号对应的第二输出信号的上下文中被确定。但是，优选地，尤其可以使用多个第二输入信号以及相对应地多个与之对应的第二输出信号作为上下文。在这种情况下，该第二输入信号或者这些第二输入信号可以被视为与第一输入信号保持上下文关系。
第二输出信号可以被理解为使得该第二输出信号表征对应的第二输入信号的分类和/或回归。因而，提供给机器学习系统的上下文可以被理解为使得针对特定的输入信号向该机器学习系统表明：怎样的输出信号正确或符合期望或可以被接受。
与仅基于第一输入信号来确定第一输出信号的其它机器学习系统相比，通过将第二输入信号和第二输出信号包含在内，向该机器学习系统输送明显更多的信息。因而，第二输入信号和对应的第二输出信号可以被理解成定向点，基于这些定向点，该机器学习系统针对第一输入信号来确定第一输出信号。
在这种情况下，术语“上下文”可以被理解成关系，在该关系中，该第二输入信号和第二输出信号或者这些第二输入信号和第二输出信号与第一输入信号有关。
例如可设想的是：多个第二输入信号表征相对应的多个时间点，而第二输出信号分别表征音频信号的在相应的时间点的采样点。第一输入信号例如可以表征不存在采样点并且应该由该机器学习系统来预测采样点的时间点。接着，第一输入信号可以由该机器学习系统在第二输入信号和第二输出信号的上下文中确定。
在另一示例中，可设想的是：应该基于图像的视频序列和在这些图像上分别探测到的对象来确定在图像中所探测到的对象将来向哪里移动。在这种情况下，视频序列的图像或其拍摄时间点可以被理解成第二输入信号，其中对象的位置是相应第二输出信号。例如可能会选择将来的时间点作为第一输入信号，并且第一输出信号接着可以在该将来的时间点并且在借助于该上下文（即第二输入信号和第二输出信号）的情况下被确定。
第一和第二输入信号的上下文可以以各种方式来被设计。例如可设想的是：第二输入信号包括图像的其像素值已知的像素、即图像的其像素值已知的部分，而第一输入信号包含该图像的其像素值未知的像素。可设想的是：机器学习系统在这种情况下被设立为：基于第二输入信号、即已知的像素和像素值来确定第一输入信号、即未知的像素值。
尤其也可设想的是：关于多个第一输入信号的多个第一输出信号基于相同的上下文来被确定。在视频序列的示例中，例如可设想的是：对象的在不同的将来时间点的位置可以基于相同数目的到目前为止的时间点来被确定。
第一输出信号可表征至少一个实数值的回归的期望值以及方差。替选地，可设想的是：该输出信号也可表征分类以及与该分类相关的不确定性。例如，第一输出信号的第一表示可包括向量，该向量包括针对相对应的多个类别的多个Logit值。第二表示可包括实数值的向量，其中这些实数值中的每个实数值都表征这些Logit值之一的方差、即不确定性。
第一输入信号和第二输入信号尤其可以是序列的部分，如上文在这些示例中所描述的那样。通常，第一输入信号和第二输入信号可以被理解成由随机过程生成。
因而，该方法能够根据与第一输入信号保持上下文关系的第二输入信号和第二输出信号来确定关于第一输入信号的第一输出信号。由此，该方法有利地能够不仅从第一输入信号中提取信息而且从与第一输入信号保持上下文关系的第二输入信号和第二输出信号中提取信息。
可设想的是：第一输入信号和/或第二输入信号至少包括图像的部分，尤其是借助于传感器、例如摄像机传感器、激光雷达（LIDAR）传感器、雷达传感器、超声传感器或热像仪所确定的图像的部分。替选地，该图像也可以借助于基于计算机的方法来人工生成，例如借助于已在计算机中建模的虚拟世界或者基于机器学习方法来人工生成。替选地或附加地，可设想的是：第一输入信号和/或第二输入信号至少包括音频信号的部分，尤其是借助于麦克风所确定的音频信号的部分。替选地，可设想的是：该音频信号被人工生成，例如通过借助于计算机的数字合成或者通过机器学习方法来被人工生成。替选地或附加地，可设想的是：第一输入信号和/或第二输入信号包括机器的传感器的传感器记录、尤其是如下传感器的传感器记录，这些传感器确定功耗和/或电压和/或转速和/或速度和/或温度和/或压力和/或力。
表示通常可以被理解成单个或多个数值。尤其是，表示可以是标量、向量、矩阵或张量。也可设想的是：表示由多个标量和/或多个向量和/或多个矩阵和/或多个张量组成。潜在表示例如包括第一和第二表示。
潜在表示可以被理解为使得该潜在表示表征包含在第二输入信号和与该第二输入信号对应的第二输出信号中的信息。该信息可以被理解成至少部分地表征该上下文。在此，该潜在表示的形式可以由编码器来确定。例如可设想的是：第一表示和第二表示分别是向量或张量。
第三和第四表示可以被理解为使得两个表示共同表征上下文表示，即该上下文的累积信息。
机器学习系统的编码器可以被理解为使得该编码器分别针对第二输入信号和第二输出信号来确定潜在表示。
相对于其它基于上下文的机器学习系统而言的一个重要优点在于：通过该方法可以将潜在表示理解成来自随机变量。经此，可以表达关于潜在表示的精确值的不确定性的形式。例如，潜在表示的第二表示可表征高方差。这可以被理解为使得编码器关于第二输入信号和第二输出信号的精确的潜在表示不确定。
与已知方法相比，包含不确定性允许对潜在表示的明显更好的累积。这是因为基于所确定的不确定性可以执行对所确定的潜在表示的加权，以便确定第三和第四表示、即上下文表示。由此，表征高方差并且借此表征高不确定性的潜在表示可以有利地不被包含在该累积中或者以低权重被包含在该累积中。经此，该上下文表示包含明显更多的信息。发明人可以发现：所描述的方法引起机器学习系统的性能改善。
还可设想的是：第四表示按照第一公式
Figure 71955DEST_PATH_IMAGE001
来被确定，其中
Figure 136732DEST_PATH_IMAGE002
是第四表示，
Figure 814838DEST_PATH_IMAGE003
是关于第四表示的先验假设，
Figure 842837DEST_PATH_IMAGE004
是多个第二输入信号和第二输出信号中的第
Figure 289998DEST_PATH_IMAGE005
个输入信号和第
Figure 10830DEST_PATH_IMAGE005
个输出信号的潜在表示的由编码器所确定的第二表示，而且
Figure 441811DEST_PATH_IMAGE006
表明逐元素的倒数值。
逐元素的倒数值可以被理解为使得在表示中的每个值都被其倒数值所更换。
第一公式还可以被理解为使得首先确定第二表示的逐元素的倒数值，将这些逐元素的倒数值相加，将先验表示加到总和中并且从结果中重新确定逐元素的倒数值。
按照第一公式对第四表示的确定能够实现：第二表示的累积基于通过这些第二表示所表征的不确定性。经此，与表征高的确定性的第二表示相比，表征高不确定性的第二表示可以有利地在更小的程度上被考虑。
按照第一公式来确定第四表示的另一优点在于：除了所确定的第二表示之外，可以将先验知识、即关于第四表示的先验表示一并包含在对第四表示的确定中。这引起第四表示的改善，因为可以将进一步的先验知识一并引入到机器学习系统的预测中。因而，该改善引起上下文表示的改善并且借此引起机器学习系统的性能改善。
还可设想的是：第三表示按照第二公式
Figure 273501DEST_PATH_IMAGE008
来被确定，其中
Figure 591481DEST_PATH_IMAGE009
是第三表示，
Figure 483214DEST_PATH_IMAGE010
是关于第三表示的先验假设，
Figure 135912DEST_PATH_IMAGE011
是多个第二输入信号和第二输出信号中的第
Figure 505713DEST_PATH_IMAGE005
个输入信号和第
Figure 193047DEST_PATH_IMAGE005
个输出信号的潜在表示的由编码器所确定的第一表示，
Figure 255680DEST_PATH_IMAGE002
是第三表示，
Figure 385222DEST_PATH_IMAGE004
是多个第二输入信号和第二输出信号中的第
Figure 824294DEST_PATH_IMAGE005
个输入信号和第
Figure 100555DEST_PATH_IMAGE005
个输出信号的潜在表示的由编码器所确定的第二表示，
Figure 334090DEST_PATH_IMAGE012
表明逐元素的乘法并且
Figure 695801DEST_PATH_IMAGE013
表明逐元素的除法。
第二公式可以被理解为使得确定潜在表示的第一表示的加权和，其中第二表示被用作加权因子。此外，关于第三值的先验假设、即预假设被加到该总和，以便确定第三表示。
按照第二公式来确定第四表示能够实现：第一表示的累积基于通过第二表示所表征的不确定性。经此，与表征高的确定性的第一表示相比，表征高不确定性的第一表示可以有利地在更小的程度上被考虑。
按照所提到的公式来确定第三表示的另一优点在于：除了所确定的第一表示之外，可以将先验知识、即关于第三表示的先验表示一并包含在对第三表示的确定中。这引起第三表示的改善，因为可以将进一步的先验知识一并引入到机器学习系统的预测中。因而，该改善引起上下文表示的改善并且借此引起机器学习系统的性能改善。
还可设想的是：编码器包括神经网络，该神经网络被设立为：基于多个第二输入信号和第二输出信号来确定所述多个潜在表示中的潜在表示的第一表示和第二表示。
优点在于：神经网络可以比来自机器学习领域的其它方法更好地确定第一和第二表示。经此，进一步改善了机器学习系统的性能。
替选地，可设想的是：编码器包括第一神经网络，该第一神经网络被设立为基于多个第二输入信号来确定所述多个潜在表示中的潜在表示的第一表示；而且编码器包括第二神经网络，该第二神经网络被设立为基于多个第二输入信号来确定所述多个潜在表示中的潜在表示的第二表示。
发明人可以令人吃惊地查明：所描述的将两个分开的神经网络用于确定潜在表示的第一表示或第二表示引起了机器学习系统的性能改善。
还可设想的是：解码器包括神经网络，该神经网络被设立为基于第三表示和第四表示和第一输入信号来确定第一输出信号，其中该神经网络尤其被设立为确定第一表示和第二表示。
优点在于：神经网络可以比来自机器学习领域的其它方法更好地确定输出信号的第一和第二表示。经此，进一步改善了机器学习系统的性能。
替选地，可设想的是：解码器包括第一神经网络，该第一神经网络被设立为基于第三表示和第一输入信号来确定第一输出信号的第一表示；而且解码器包括第二神经网络，该第二神经网络被设立为基于第四表示和第一输入信号来确定第一输出信号的第二表示。
发明人可以令人吃惊地查明：所描述的将两个分开的神经网络用于确定第一输出信号的第一表示或第二表示引起了机器学习系统的性能改善。
还可设想的是：用于确定输出信号的方法包括对机器学习系统的训练，其中该训练包括如下步骤：
• 确定多个训练输入信号，所述多个训练输入信号彼此保持上下文关系，其中每个训练输入信号都分配有对应的训练输出信号；
• 将多个训练输入信号和训练输出信号划分成多个第二训练输入信号和对应的第二训练输出信号并且划分成至少一个第一训练输入信号和至少一个对应的第一训练输出信号；
• 基于所述多个第二训练输入信号和这些第二训练输出信号来确定第三表示和第四表示；
• 借助于机器学习系统的解码器并且基于所确定的第三表示和所确定的第四表示和第一训练输入信号来确定针对该至少一个第一训练输入信号的预测输出信号；
• 确定损失值，该损失值表征在该预测输出信号与该第一训练输出信号之间的区别；
• 确定该编码器和/或该解码器的多个参数关于该损失值的梯度；
• 基于所确定的梯度来改变所述多个参数。
所述多个训练输入信号例如可以包含来自序列的输入信号，例如视频的各个图像和/或音频信号的采样点。训练输出信号可以表征该序列的输入信号的相对应的注释，例如在图像中的对象的位置。
优选地，所述多个训练输入信号可以随机地被划分成多个第二训练输入信号和多个第一训练输入信号。然而，也可以使用预先限定的划分。例如可设想的是：机器学习系统应该被用于预测第二输入信号和第二输出信号的序列的延续。在这种情况下，可以是有利的是：将训练输入信号的序列细分为使得该序列的第一部分被用作多个第二训练输入信号并且其余的训练输入信号被用作多个第一训练输入信号。
由于训练输出信号被分配给训练输入信号，所以对训练输入信号的划分也可以被理解成对训练输出信号的划分。
优选地，训练方法的所描述的步骤迭代地被重复，以便对机器学习系统进行训练。在每次训练迭代中，针对机器学习系统可以优选地确定新的训练输入信号和新的训练输出信号，并且这样可以利用各种输入信号和输出信号来训练机器学习系统。
训练输入信号和对应的训练输出可以优选地由计算机实现的数据库来提供，对于每次训练迭代来说，可以从该数据库中随机调用相对应的训练输入信号和训练输出信号。
训练输入信号和对应的训练输出信号也可以共同被理解成训练数据。
由于机器学习系统可以被理解成可微函数的链（Verkettung），所以为了训练该机器学习系统可以使用用于确定梯度的错误恢复算法（英文backpropagation algorithm（反向传播算法））。基于该错误恢复算法，机器学习系统可以优选地通过梯度下降法来被训练。
不同于基于变分推理（英文Variational Inference）的训练方法，所描述的训练方法可以被理解成确定性的。该特性减少了训练时间，原因在于不必针对相同的训练数据确定机器学习系统的不同的模型参数，而这比如在基于变分推理来进行训练时是必需的。训练时间的减少引起：在固定的时间间隔内，机器学习系统可以利用更多训练数据来被训练。反过来，因而通过该训练方法可以改善机器学习系统的性能。
尤其可设想的是：该损失值基于损失函数来被确定，其中该损失函数表征正态分布的概率密度函数或对数化概率密度函数，其中通过解码器所确定的预测输出信号的第一表示被用作该概率密度函数的期望值并且通过解码器所确定的预测输出信号的第二表示被用作该概率密度函数的方差或协方差矩阵。
尽管在该损失函数的这种特殊形式的情况下忽略了在第一训练输入信号的序列的元素之间的可能的相关，但是发明人可以令人吃惊地发现：在训练时利用该损失函数仍然并且有利地可以提高机器学习系统的性能。
尤其可设想的是：机器学习系统利用多个第一训练输入信号和训练输出信号来被训练，其中该损失值按照第三公式
Figure 407405DEST_PATH_IMAGE014
来被确定，其中
Figure 803751DEST_PATH_IMAGE015
是多个第一训练输入信号，
Figure 224500DEST_PATH_IMAGE016
是相应被分配给这些第一训练输入信号的训练输出信号，
Figure 73507DEST_PATH_IMAGE017
是正态分布的概率密度函数，
Figure 588802DEST_PATH_IMAGE018
是预测输出信号的借助于解码器所确定的第一表示，
Figure 839655DEST_PATH_IMAGE019
是预测输出信号的借助于解码器所确定的第二表示，其中所确定的第一表示被用作概率密度函数的期望值并且所确定的第二表示被用作概率密度函数的方差或协方差矩阵。
Figure 414992DEST_PATH_IMAGE015
可以被理解成多个第一训练输入信号并且
Figure 751296DEST_PATH_IMAGE016
可以被理解成多个与这些第一训练输入信号对应的第一训练输出信号，其中
Figure 70282DEST_PATH_IMAGE020
可以被理解成第一训练输入信号或第一训练输出信号的数目。
Figure 175641DEST_PATH_IMAGE021
可以被理解成所述多个第一训练输入信号中的第
Figure 171148DEST_PATH_IMAGE022
个元素并且
Figure 729168DEST_PATH_IMAGE023
可以被理解成与
Figure 851845DEST_PATH_IMAGE021
对应的第一训练输出信号。
对于仅使用一个第一训练输入信号
Figure 77290DEST_PATH_IMAGE024
和一个对应的第一训练输出信号
Figure 994430DEST_PATH_IMAGE023
的情况来说，可以使用相同的损失函数，其中在第三公式中省去总和。
按照第三公式来确定该损失值的优点在于：机器学习系统在每次训练迭代中都可以利用不同数目的第一训练输入信号或第二训练信号来被训练。经此，机器学习系统相对于不同数目的第二输入信号而言变得鲁棒，对于所述不同数目的第二输入信号来说，在推理时间应该确定上下文表示。经此，该机器学习系统的性能提高。
附图说明
随后，本发明的实施方式参考随附的附图更详细地予以阐述。在附图中：
图1示意性示出了机器学习系统的构造；
图2示意性示出了用于根据机器学习系统的输出信号来操控执行器的控制系统的构造；
图3示意性示出了用于控制至少部分自主机器人的实施例；
图4示意性示出了用于控制生产系统的实施例；
图5示意性示出了用于控制访问系统的实施例；
图6示意性示出了用于控制监控系统的实施例；
图7示意性示出了用于控制私人助理的实施例；
图8示意性示出了用于训练机器学习系统的训练系统的实施例。
具体实施方式
图1示出了机器学习系统（60），该机器学习系统被设立为基于多个（63）第二输入信号（
Figure 305326DEST_PATH_IMAGE025
）和被分配给这些第二输入信号的第二输出信号（
Figure 966114DEST_PATH_IMAGE026
）以及第一输入信号（
Figure 531219DEST_PATH_IMAGE027
）来确定第一输出信号（
Figure 884840DEST_PATH_IMAGE028
）。
在此，第二输出信号（
Figure 417452DEST_PATH_IMAGE026
）可以被理解成被分配给第二输入信号（
Figure 616353DEST_PATH_IMAGE025
）的注释。第二输出信号（
Figure 550811DEST_PATH_IMAGE026
）例如可以由人类分配给第二输入信号（
Figure 75333DEST_PATH_IMAGE025
）。替选地或附加地，可设想的是：第二输出信号（
Figure 829662DEST_PATH_IMAGE026
）表征通过机器学习系统（60）对第二输入信号（
Figure 97832DEST_PATH_IMAGE025
）的第一预测，其中该第一预测发生在对第一输出信号（
Figure 401644DEST_PATH_IMAGE028
）的确定之前。
第一输入信号（
Figure 831488DEST_PATH_IMAGE027
）和/或第二输入信号（
Figure 338693DEST_PATH_IMAGE025
）和/或第二输出信号（
Figure 144975DEST_PATH_IMAGE026
）尤其可以包括数值或者由这些数值组成，其中这些数值可以以标量、向量、矩阵或张量的形式存在。
机器学习系统在编码器（61）中接收多个（63）第二输入信号（
Figure 788446DEST_PATH_IMAGE025
）和被分配给这些第二输入信号的第二输出信号（
Figure 654770DEST_PATH_IMAGE026
）。编码器（61）优选地被设立为：针对每个第二输入信号（
Figure 383692DEST_PATH_IMAGE025
）和与该第二输入信号对应的第二输出信号（
Figure 744397DEST_PATH_IMAGE026
）来确定潜在表示（
Figure 507954DEST_PATH_IMAGE029
），其中该潜在表示包括表征期望值的第一表示（
Figure 279601DEST_PATH_IMAGE030
），而且该潜在表示包括表征方差的第二表示（
Figure 761398DEST_PATH_IMAGE031
）。
编码器（61）优选地包括两个神经网络，其中编码器（61）的第一神经网络被设立为基于第二输入信号（
Figure 909482DEST_PATH_IMAGE025
）和第二输出信号（
Figure 527546DEST_PATH_IMAGE026
）来确定第一表示（
Figure 470094DEST_PATH_IMAGE030
），并且编码器（61）的第二神经网络被设立为基于第二输入信号（
Figure 173608DEST_PATH_IMAGE025
）和第二输出信号（
Figure 374651DEST_PATH_IMAGE026
）来确定第二表示（
Figure 847220DEST_PATH_IMAGE031
）。
为了处理第二输入信号（
Figure 226249DEST_PATH_IMAGE025
）和对应的第二输出信号（
Figure 682638DEST_PATH_IMAGE026
），这些数值例如可以被串接成向量，接着该向量可以被移交给编码器（61）。替选地，也可设想的是：解码器（61）的神经网络被设立为使得这些神经网络分别具有两个输入端并且第二输入信号（
Figure 172525DEST_PATH_IMAGE025
）和对应的第二输出信号（
Figure 765181DEST_PATH_IMAGE026
）可以通过这两个输入端分别单独地被移交。
这些潜在表示（
Figure 315111DEST_PATH_IMAGE029
）被累积以形成上下文表示（
Figure 478370DEST_PATH_IMAGE032
），其中该上下文表示（
Figure 771948DEST_PATH_IMAGE032
）包括表征该累积的期望值的第三表示（
Figure 219110DEST_PATH_IMAGE033
）而且包括表征该累积的方差的第四表示（
Figure 939941DEST_PATH_IMAGE034
）。优选地，第三表示（
Figure 105343DEST_PATH_IMAGE033
）按照公式
Figure 937033DEST_PATH_IMAGE036
来被确定，并且第四表示（
Figure 238702DEST_PATH_IMAGE034
）按照公式
Figure 130434DEST_PATH_IMAGE038
来被确定，其中
Figure 596899DEST_PATH_IMAGE039
是关于第三表示的先验假设，
Figure 232280DEST_PATH_IMAGE040
是关于第四表示的先验假设，
Figure 654034DEST_PATH_IMAGE041
是潜在表示的由编码器（61）所确定的第一表示，
Figure 716668DEST_PATH_IMAGE034
是第三表示，
Figure 591083DEST_PATH_IMAGE042
是潜在表示的由编码器（61）所确定的第二表示，
Figure 30154DEST_PATH_IMAGE043
表明逐元素的乘法，
Figure 306415DEST_PATH_IMAGE044
表明表示的逐元素的求逆（Invertierung）并且
Figure 290682DEST_PATH_IMAGE045
表明第二表示的逐元素的除法。
第三表示（
Figure 652394DEST_PATH_IMAGE033
）和第四表示（
Figure 629577DEST_PATH_IMAGE034
）可以被理解成上下文表示（z）。
优选地，可以选择零元素，作为针对第三表示（
Figure 25923DEST_PATH_IMAGE033
）的先验假设。如果第三表示（
Figure 430360DEST_PATH_IMAGE033
）是标量，则该零元素可以是值零。对于第三表示（
Figure 13788DEST_PATH_IMAGE033
）是向量的情况来说，该零元素可以是零向量，并且对于以矩阵或张量为形式的第三表示（
Figure 794662DEST_PATH_IMAGE033
）来说，该零元素可以是完全用零来填充的矩阵或张量。
优选地，可以选择一元素，作为针对第四表示（
Figure 45515DEST_PATH_IMAGE034
）的先验假设。如果第四表示（
Figure 135699DEST_PATH_IMAGE034
）是标量，则该一元素可以是值一。对于第四表示（
Figure 206424DEST_PATH_IMAGE034
）是向量的情况来说，该一元素可以是单位向量，并且对于以矩阵或张量为形式的第四表示（
Figure 525409DEST_PATH_IMAGE034
）来说，该一元素可以是完全用一来填充的矩阵或张量。
优选地，第三表示（
Figure 630769DEST_PATH_IMAGE033
）和第四表示（
Figure 377008DEST_PATH_IMAGE034
）的维数相同。这可以被理解为使得上下文表示（
Figure 200607DEST_PATH_IMAGE032
）的先验假设是标准正态分布，必要时是多元标准正态分布。
接着，上下文表示（
Figure 57705DEST_PATH_IMAGE032
）和第一输入信号（
Figure 33882DEST_PATH_IMAGE027
）被移交给机器学习系统（60）的解码器（62）。解码器（62）被设立为根据第一输入信号（
Figure 951023DEST_PATH_IMAGE027
）和上下文表示（
Figure 996339DEST_PATH_IMAGE032
）来确定第一输出信号（
Figure 657128DEST_PATH_IMAGE028
）。第一输出信号（
Figure 737079DEST_PATH_IMAGE028
）包括：第一表示，该第一表示表征机器学习系统（60）的关于第一输入信号（
Figure 825121DEST_PATH_IMAGE027
）的预测的期望值；和第二表示，该第二表示表征该预测的方差。这可以被理解为使得机器学习系统（60）以第一输出信号（
Figure 357733DEST_PATH_IMAGE028
）来提供带有不确定性的预测。在此，该预测可表征第一输入信号（
Figure 822213DEST_PATH_IMAGE027
）的分类。替选地或附加地，可设想的是：该预测表征实数值、实数向量、实数矩阵或实数张量的回归。
优选地，第一输出信号（
Figure 271517DEST_PATH_IMAGE028
）的第一表示和第二表示的维数与第二输出信号（
Figure 530460DEST_PATH_IMAGE026
）相同。
解码器（62）优选地包括两个神经网络，其中解码器（62）的第一神经网络确定第一输出信号（
Figure 550369DEST_PATH_IMAGE028
）的第一表示并且解码器（62）的第二神经网络确定该输出信号（
Figure 818539DEST_PATH_IMAGE028
）的第二表示。
为了处理第一输入信号（
Figure 607504DEST_PATH_IMAGE027
）和上下文表示（
Figure 37348DEST_PATH_IMAGE032
），第一输入信号（
Figure 544553DEST_PATH_IMAGE027
）和上下文表示（
Figure 101567DEST_PATH_IMAGE032
）所包括的数值可以被串接，并且该串接可以被移交给解码器（62）的神经网络。替选地，也可设想的是：解码器（62）的神经网络分别具有针对第一输入信号（
Figure 745038DEST_PATH_IMAGE027
）和上下文表示（
Figure 611363DEST_PATH_IMAGE032
）的单独的输入端。
在其它实施方式（未示出）中，可设想的是：机器学习系统（60）分别针对多个第一输入信号（
Figure 340285DEST_PATH_IMAGE027
）确定第一输出信号（
Figure 950258DEST_PATH_IMAGE028
）。这可以被理解为使得机器学习系统（60）可以处理一批（英文Batch（批量））第一输入信号（
Figure 713814DEST_PATH_IMAGE027
）。
图2示出了在其周围环境（20）中与控制系统（40）交互的执行器（10），其中控制系统（40）包括机器学习系统（60）并且执行器（10）根据机器学习系统（60）的至少一个第一输出信号（
Figure 751040DEST_PATH_IMAGE028
）来被控制。
以优选地均匀的时间间隔以传感器（30）、尤其是如摄像机传感器那样的成像传感器来检测周围环境（20），该传感器也可以通过多个传感器来给出，例如立体摄像机。传感器（30）的传感器信号（S）——或在有多个传感器的情况下每个传感器信号（S）——被传送给控制系统（40）。因此，控制系统（40）接收传感器信号（S）的序列。控制系统（40）据此来确定操控信号（A），这些操控信号被传输给执行器（10）。
控制系统（40）在可选的接收单元（50）中接收传感器（30）的传感器信号（S）的序列，该接收单元将传感器信号（S）的序列转换成第一输入信号（x）的序列（替选地也可以直接各采用传感器信号（S）作为输入信号（x））。第一输入信号（x）例如可以是传感器信号（S）的片段或者对该传感器信号的进一步处理。换言之，根据传感器信号（S）来确定第一输入信号（x）。第一输入信号（x）的序列被输送给机器学习系统（60）。附加地，向机器学习系统（60）输送多个（63）第二输入信号和第二输出信号。所述多个（63）第二输入信号和第二输出信号可以被理解成第一输入信号（x）的上下文（63）。
机器学习系统（60）优选地通过参数（φ）来被参数化，这些参数寄存在参数存储器（P）中并且由该参数存储器来提供。
机器学习系统（60）根据输入信号（x）并且根据上下文（63）来确定第一输出信号（y）。输出信号（y）被输送给可选的改型单元（80），该改型单元据此来确定操控信号（A），这些操控信号被输送给执行器（10），以便相对应地对执行器（10）进行操控。
执行器（10）接收操控信号（A），相对应地被操控并且实施相对应的行动。在这种情况下，执行器（10）可包括（不一定在结构上集成的）操控逻辑，该操控逻辑根据操控信号（A）来确定接着用来操控执行器（10）的第二操控信号。
在其它实施方式中，控制系统（40）包括传感器（30）。在另外其它实施方式中，替选地或附加地，控制系统（40）也包括执行器（10）。
在其它优选的实施方式中，控制系统（40）包括至少一个处理器（45）和至少一个机器可读存储介质（46），在该机器可读存储介质上存储有命令，当这些命令在该至少一个处理器（45）上被执行时，这些命令促使控制系统（40）实施按照本发明的方法。
在替选的实施方式中，替代于执行器（10）或除了该执行器之外，还设置显示单元（10a）。
图3示出了控制系统（40）可以如何被用于控制至少部分自主机器人、这里是至少部分自主机动车（100）。
机动车（100）例如可拥有多个传感器（30），例如不同类型的传感器（30），比如激光雷达传感器、摄像机传感器和/或超声传感器。优选地，这些传感器（30）建造在车辆中。在这种情况下，第一输入信号（x）可以被理解成输入图像。
可设想的是：机器学习系统被设立为标识能在输入图像（x）上识别出的对象。因而，第一输出信号（y）可以表征对象的位置，以及关于该位置的方差，该方差可以被理解成关于对象的精确位置的不确定性。上下文（63）例如可以包括在时间上发生在过去的输入图像（x），对于这些输入图像来说，在先前的时间点已经探测到了对象。在这种情况下，机器学习系统（60）可以被理解为使得该机器学习系统应该基于过去的输入图像和在这些输入图像上所探测到的对象来确定在当前的输入图像上的对象位置。
替选地，可设想的是：该上下文包括车辆的其它传感器（30）的输入图像。在这种情况下，机器学习系统（60）可以被理解成执行传感器信号（S）的融合，其中该融合的结果带有不确定性。
优选地布置在机动车（100）中的执行器（10）例如可以是机动车（100）的刹车装置、驱动装置或转向装置。接着，操控信号（A）可以被确定为使得该执行器或这些执行器（10）被操控为使得尤其是当涉及某些类型的对象、例如行人时，机动车（100）例如防止与由机器学习系统（60）所标识的对象相撞。
替选地或附加地，可以利用操控信号（A）来操控显示单元（10a），而且例如可以呈现所标识的对象。也可设想的是：显示单元（10a）利用操控信号（A）被操控为使得如果确定机动车（100）即将与所标识的对象之一相撞，则该显示单元输出光学或声音报警信号。这也可以通过触觉报警信号来实现，例如通过机动车（100）的方向盘的振动来实现。
替选地，该至少部分自主机器人也可以是其它移动机器人（未绘出），例如是这种通过飞行、漂浮、潜水或步行来移动的机器人。该移动机器人例如也可以是至少部分自主割草机或者至少部分自主清洁机器人。在这些情况下，操控信号（A）也可以被确定为使得该移动机器人的驱动装置和/或转向装置被操控为使得该至少部分自主机器人例如防止与由机器学习系统（60）所标识的对象相撞。
图4示出了如下实施例，在该实施例中，控制系统（40）被用于操控生产系统（200）的生产机器（11），其方式是对控制该生产机器（11）的执行器（10）进行操控。生产机器（11）例如可以是用于冲压、锯切、钻孔和/或切割的机器。还可设想的是：生产机器（11）构造为借助于抓具来抓取制成品（12a、12b）。
那么，传感器（30）例如可以是视频传感器，该视频传感器例如检测传送带（13）的传送区，其中在传送带（13）上可能存在制成品（12a、12b）。在这种情况下，输入信号（x）是输入图像（x）。机器学习系统（60）例如可以被设立为基于输入信号（x）来确定在传送带上的制成品（12a、12b）的位置。接着，控制生产机器（11）的执行器（10）可以根据所确定的制成品（12a、12b）的位置来被操控。例如，执行器（10）可以被操控为使得该执行器在制成品（12a、12b）的预先确定的部位来对制成品（12a、12b）进行冲压、锯切、钻孔和/或切割。
可以向机器学习系统移交发生在过去的时间点的输入信号（x）和制成品（12a、12b）的分别在其上确定的位置，作为上下文（63）。
还可设想的是：机器学习系统（60）构造为替代于位置或除了位置之外确定制成品（12a、12b）的其它特性。尤其可设想的是：机器学习系统（60）确定制成品（12a、12b）是否有缺陷和/或损坏。在这种情况下，执行器（10）可以被操控为使得生产机器（11）将有缺陷的和/或损坏的制成品（12a、12b）剔除。
图5示出了如下实施例，在该实施例中，控制系统（40）被用于控制访问系统（300）。访问系统（300）可包括物理访问控制装置、例如门（401）。传感器（30）尤其可以是视频传感器或热成像传感器，该视频传感器或热成像传感器被设立为检测在门（401）前面的区域。借助于机器学习系统（60），可以解读所检测到的图像。机器学习系统（60）尤其可以探测在被传送给该机器学习系统的输入图像（x）上的人员。如果同时检测到了多个人员，则例如可以通过这些人员（即对象）彼此间的关联来特别可靠地确定这些人员的身份，例如通过对这些人员的运动的分析来特别可靠地确定这些人员的身份。
可以向机器学习系统（60）传送发生在过去的时间点的输入信号（x）和分别在其上探测到的人员，作为上下文（63）。
执行器（10）可以是锁，该锁根据操控信号（A）来激活访问控制装置或者不激活访问控制装置，例如将门（401）打开或者不打开。为此，可以根据借助于机器学习系统（60）针对输入图像（x）所确定的输出信号（y）来选择操控信号（A）。例如可设想的是：输出信号（y）包括表征由机器学习系统（60）所探测到的人员的身份的信息，而且基于该人员的身份来选择操控信号（A）。
替代物理访问控制装置，也可以设置逻辑访问控制装置。
图6示出了如下实施例，在该实施例中，控制系统（40）被用于控制监控系统（400）。该实施例与在图5中示出的实施例的区别在于：替代执行器（10），设置显示单元（10a），该显示单元由控制系统（40）来操控。例如，传感器（30）可以记录输入图像（x），在该输入图像上能识别出至少一个人员，而且该至少一个人员的位置可以借助于机器学习系统（60）来被探测。接着，输入图像（x）可以被呈现在显示单元（10a）上，其中所探测到的任务可以用颜色突出地来被呈现。
图7示出了如下实施例，在该实施例中，控制系统（40）被用于控制私人助理（250）。优选地，传感器（30）是光学传感器，例如视频传感器或热成像传感器，该光学传感器接收用户（249）的手势的图像。
根据传感器（30）的信号，控制系统（40）确定私人助理（250）的操控信号（A），例如其方式是机器学习系统（60）执行手势识别。接着，将所确定的该操控信号（A）传送给私人助理（250）并且该私人助理因此相对应地被操控。所确定的操控信号（A）尤其可以被选择为使得该操控信号对应于用户（249）所设想的所希望的操控。该所设想的所希望的操控可以根据由机器学习系统（60）识别出的手势来予以确定。接着，控制系统（40）可以根据所设想的所希望的操控来选择用于传送给私人助理（250）的操控信号（A）和/或选择用于传送给与所设想的所希望的操控相对应的私人助理（250）的操控信号（A）。
该相对应的操控例如可包含：私人助理（250）从数据库中调用信息并且以对于用户（249）来说可接收到的方式来重现这些信息。
替代私人助理（250），也可以设置家用电器（未绘出），尤其是洗衣机、炉灶、烤箱、微波炉或洗碗机，以便相对应地被操控。
替代手势控制，也可设想的是：私人助理（250）也可以通过用户（249）的语音指令来被控制。上下文（63）例如可表征音频传感器（30）的音频信号的采样时间点和采样值的序列，其中机器学习系统（60）构造为针对其它采样时间点来预测其它采样值。接着，该上下文和这些其它采样时间点和所预测的采样值例如可以被移交给分类器，该分类器基于其输入来确定语音指令的分类。
图8示出了用于借助于训练数据集（T）来训练控制系统（40）的机器学习系统（60）的训练系统（140）的实施例。训练数据集（T）优选地包括输入信号（xi）的多个序列，这些序列被用于训练机器学习系统（60），其中训练数据集（T）还针对各一个输入信号（xi）包括所希望的输出信号（yi），该输出信号与输入信号（xi）对应并且表征输入信号（xi）的分类和/或回归。
为了进行训练，训练数据单元（150）访问计算机实现的数据库（St2），其中该数据库（St2）提供训练数据集（T）。训练数据单元（150）根据训练数据集（T）优选地随机确定输入信号的至少一个序列和对应的所希望的输出信号。然后，训练数据单元（150）优选地随机将该序列的第一输入信号划分成第一多个输入信号（
Figure 216526DEST_PATH_IMAGE021
）和第二多个输入信号（
Figure 364610DEST_PATH_IMAGE046
）。替选地，也可设想的是：该序列在预先限定的点处被分开，以便确定所述第一多个（
Figure 982673DEST_PATH_IMAGE021
）和所述第二多个（
Figure 190801DEST_PATH_IMAGE046
）。
所述第二多个输入信号（
Figure 894315DEST_PATH_IMAGE046
）和与这些输入信号对应的输出信号作为上下文被提供给机器学习系统（60），而所述第一多个输入信号（
Figure 846090DEST_PATH_IMAGE021
）作为第一输入信号被提供给机器学习系统（60）。基于这些输入，机器学习系统（60）针对所述第一多个（
Figure 318660DEST_PATH_IMAGE021
）中的每个输入信号都确定对应的输出信号（
Figure 697688DEST_PATH_IMAGE047
）。因而，在该确定之后，对于所述第一多个（
Figure 639231DEST_PATH_IMAGE021
）中的每个输入信号来说分别存在所确定的输出信号（
Figure 129118DEST_PATH_IMAGE047
）和所希望的输出信号（
Figure 721773DEST_PATH_IMAGE023
）。
所希望的输出信号（
Figure 6124DEST_PATH_IMAGE023
）和所确定的输出信号（
Figure 532832DEST_PATH_IMAGE047
）被传送给更改单元（180）。
接着，基于所希望的输出信号（
Figure 826411DEST_PATH_IMAGE023
）和所确定的输出信号（
Figure 273572DEST_PATH_IMAGE047
），更改单元（180）确定针对机器学习系统（60）的新参数（
Figure 994404DEST_PATH_IMAGE048
）。为此，更改单元（180）借助于损失函数（英文：LossFunction）将所希望的输出信号（
Figure 894227DEST_PATH_IMAGE023
）与所确定的输出信号（
Figure 725916DEST_PATH_IMAGE047
）进行比较。 该损失函数确定第一损失值，该第一损失值表征所确定的输出信号（
Figure 43896DEST_PATH_IMAGE047
）与所希望的输出信号（yi）的偏离程度。
优选地，该损失函数按照公式
Figure 935629DEST_PATH_IMAGE050
来确定该损失值，其中
Figure 322748DEST_PATH_IMAGE015
是第一多个输入信号，
Figure 223708DEST_PATH_IMAGE016
表征关于所述第一多个输入信号的输出信号，
Figure 645462DEST_PATH_IMAGE017
是正态分布的概率密度函数，
Figure 708096DEST_PATH_IMAGE018
是解码器（62）针对所述第一多个中的输入信号
Figure 582511DEST_PATH_IMAGE021
和潜在表示的第三表示
Figure 5271DEST_PATH_IMAGE033
的第一输出，
Figure 281532DEST_PATH_IMAGE019
是解码器（62）针对输入信号
Figure 515067DEST_PATH_IMAGE021
和潜在表示的第四表示
Figure 876778DEST_PATH_IMAGE034
的第二输出，其中该第一输出被用作概率密度函数的期望值并且该第二输出被用作概率密度函数的方差或协方差矩阵。借助于机器学习系统（60）的编码器（61）并且基于所述第二多个（
Figure 853961DEST_PATH_IMAGE046
）来确定潜在表示的第三表示（
Figure 984728DEST_PATH_IMAGE033
）和第四表示（
Figure 654744DEST_PATH_IMAGE034
）。
更改单元（180）基于第一损失值来确定新参数（
Figure 254484DEST_PATH_IMAGE048
）。在该实施例中，这借助于梯度下降法、优选地随机梯度下降法（Stochastic Gradient Descent）、Adam或者AdamW来实现。
所确定的新参数（
Figure 35358DEST_PATH_IMAGE048
）被存储在模型参数存储器（St1）中。优选地，所确定的新参数（
Figure 20631DEST_PATH_IMAGE048
）作为参数（
Figure 595969DEST_PATH_IMAGE051
）被提供给机器学习系统（60）。
在其它优选的实施例中，所描述的训练被迭代地重复预先限定的数目的迭代步骤，或者被迭代地重复直至第一损失值低于预先限定的阈值为止。替选地或附加地，也可设想的是：当关于测试或验证数据集的平均的第一损失值低于预先限定的阈值时，结束该训练。在这些迭代中的至少一次迭代中，在先前的迭代中所确定的新参数（
Figure 932273DEST_PATH_IMAGE048
）被用作机器学习系统（60）的参数（
Figure 251259DEST_PATH_IMAGE051
）。
此外，训练系统（140）可包括至少一个处理器（145）和至少一个机器可读存储介质（146），该机器可读存储介质包含指令，当这些指令通过处理器（145）来被执行时，这些指令促使该训练系统（140）实施根据本发明的这些方面中的任一项所述的训练方法。
术语“计算机”包括用于运行可预先给定的计算规则的任意设备。这些计算规则可以以软件的形式存在，或者以硬件的形式存在，或者也可以以软件和硬件的混合形式存在。
通常，“多个”可以被理解成索引化，也就是说给所述多个中的每个元素分派唯一的索引，优选地通过将连续的整数分派给包含在所述多个中的元素来给所述多个中的每个元素分派唯一的索引。优选地，如果“多个”包括
Figure 356618DEST_PATH_IMAGE052
个元素，其中
Figure 102857DEST_PATH_IMAGE052
是在所述多个中的元素的数目，则给这些元素分派从1至N的整数。

Claims (15)

1.一种用于借助于机器学习系统（60）来确定第一输出信号（y）的计算机实现的方法，其中该第一输出信号（y）表征第一输入信号（x）的分类和/或回归并且该输出信号（y）包括：第一表示，该第一表示表征该分类和/或该回归的期望值；和第二表示，该第二表示表征该分类和/或该回归的方差，其中该方法为了该确定而包括如下步骤：
• 借助于该机器学习系统（60）的编码器（61）来确定多个潜在表示（
Figure 15927DEST_PATH_IMAGE001
），其中所述多个潜在表示中的潜在表示（
Figure 667488DEST_PATH_IMAGE001
）基于至少一个第二输入信号（
Figure 165334DEST_PATH_IMAGE002
）和与该第二输入信号（
Figure 294964DEST_PATH_IMAGE002
）对应的第二输出信号（
Figure 843757DEST_PATH_IMAGE003
）来被确定，其中该第二输入信号（
Figure 400640DEST_PATH_IMAGE002
）和该第二输出信号（
Figure 402094DEST_PATH_IMAGE003
）表征该第一输入信号（x）的上下文并且该潜在表示（
Figure 335415DEST_PATH_IMAGE001
）包括第一表示（
Figure 722403DEST_PATH_IMAGE004
）和第二表示，其中该第一表示（
Figure 450188DEST_PATH_IMAGE004
）表征期望值而且该第二表示（
Figure 938938DEST_PATH_IMAGE005
）表征方差；
• 基于所述多个潜在表示中的潜在表示（
Figure 410371DEST_PATH_IMAGE001
）的第一表示（
Figure 668177DEST_PATH_IMAGE004
）来确定第三表示（
Figure 832442DEST_PATH_IMAGE006
），其中该第三表示（
Figure 808488DEST_PATH_IMAGE006
）表征这些第一表示（
Figure 801721DEST_PATH_IMAGE004
）的累积；
• 基于所述多个潜在表示中的潜在表示（
Figure 179612DEST_PATH_IMAGE001
）的第二表示（
Figure 249200DEST_PATH_IMAGE005
）来确定第四表示（
Figure 712542DEST_PATH_IMAGE007
），其中该第四表示（
Figure 525777DEST_PATH_IMAGE007
）表征这些第二表示（
Figure 758175DEST_PATH_IMAGE005
）的累积；
• 借助于该机器学习系统（60）的解码器（62）来确定该第一输出信号（y），其中该解码器（62）基于该第三表示（
Figure 264243DEST_PATH_IMAGE006
）和该第四表示（
Figure 949302DEST_PATH_IMAGE007
）和该第一输入信号（x）来确定该第一输出信号（y）。
2.根据权利要求1所述的方法，其中该第四表示（
Figure 815496DEST_PATH_IMAGE007
）按照公式
Figure 902401DEST_PATH_IMAGE009
来被确定，其中
Figure 579370DEST_PATH_IMAGE010
是关于该第四表示（
Figure 751725DEST_PATH_IMAGE007
）的先验假设，
Figure 906763DEST_PATH_IMAGE011
是多个第二输入信号（
Figure 113753DEST_PATH_IMAGE002
）和第二输出信号（
Figure 961624DEST_PATH_IMAGE003
）中的第
Figure 621275DEST_PATH_IMAGE012
个输入信号和第
Figure 569551DEST_PATH_IMAGE012
个输出信号的潜在表示（
Figure 365469DEST_PATH_IMAGE001
）的由该编码器（61）所确定的第二表示（
Figure 384241DEST_PATH_IMAGE005
），而且
Figure 531188DEST_PATH_IMAGE013
表明逐元素的倒数值。
3.根据权利要求1或2中任一项所述的方法，其中该第三表示（
Figure 293608DEST_PATH_IMAGE006
）按照公式
Figure 209611DEST_PATH_IMAGE015
来被确定，其中
Figure 133705DEST_PATH_IMAGE016
是关于该第三表示（
Figure 17216DEST_PATH_IMAGE006
）的先验假设，
Figure 317748DEST_PATH_IMAGE017
是多个第二输入信号（
Figure 353837DEST_PATH_IMAGE002
）和第二输出信号（
Figure 183252DEST_PATH_IMAGE003
）中的第
Figure 304792DEST_PATH_IMAGE012
个输入信号和第
Figure 409014DEST_PATH_IMAGE012
个输出信号的潜在表示（
Figure 34031DEST_PATH_IMAGE001
）的由该编码器（61）所确定的第一表示（
Figure 814774DEST_PATH_IMAGE004
），
Figure 158031DEST_PATH_IMAGE007
是第三表示，
Figure 65944DEST_PATH_IMAGE011
是所述多个第二输入信号（
Figure 811046DEST_PATH_IMAGE002
）和第二输出信号（
Figure 513423DEST_PATH_IMAGE003
）中的第
Figure 78396DEST_PATH_IMAGE012
个输入信号和第
Figure 524421DEST_PATH_IMAGE012
个输出信号的潜在表示（
Figure 373297DEST_PATH_IMAGE001
）的由该编码器（61）所确定的第二表示（
Figure 246575DEST_PATH_IMAGE005
），
Figure 564424DEST_PATH_IMAGE018
表明逐元素的乘法并且
Figure 548561DEST_PATH_IMAGE019
表明逐元素的除法。
4.根据权利要求1至3中任一项所述的方法，其中该编码器（61）包括神经网络，该神经网络被设立为：基于多个第二输入信号（
Figure 268255DEST_PATH_IMAGE002
）和第二输出信号（
Figure 312434DEST_PATH_IMAGE003
）来确定这些潜在表示（
Figure 117579DEST_PATH_IMAGE001
）的第一表示（
Figure 905407DEST_PATH_IMAGE004
）和第二表示（
Figure 728875DEST_PATH_IMAGE005
）。
5.根据权利要求1至3中任一项所述的方法，其中该编码器（61）包括第一神经网络，该第一神经网络被设立为基于多个第二输入信号（
Figure 943956DEST_PATH_IMAGE002
）和第二输出信号（
Figure 970818DEST_PATH_IMAGE003
）来确定这些潜在表示（
Figure 296757DEST_PATH_IMAGE001
）的第一表示（
Figure 725464DEST_PATH_IMAGE004
）；而且该编码器（61）包括第二神经网络，该第二神经网络被设立为基于多个第二输入信号（
Figure 111446DEST_PATH_IMAGE002
）和第二输出信号（
Figure 891183DEST_PATH_IMAGE003
）来确定这些潜在表示（
Figure 270081DEST_PATH_IMAGE001
）的第二表示（
Figure 553295DEST_PATH_IMAGE005
）。
6.根据权利要求1至5中任一项所述的方法，其中该解码器（62）包括神经网络，该神经网络被设立为基于该第三表示（
Figure 375757DEST_PATH_IMAGE006
）和该第四表示（
Figure 377211DEST_PATH_IMAGE007
）和该第一输入信号（x）来确定该第一输出信号（y）。
7.根据权利要求1至5中任一项所述的方法，其中该解码器（62）包括第一神经网络，该第一神经网络被设立为基于该第三表示（
Figure 310532DEST_PATH_IMAGE006
）和该第一输入信号（x）来确定该第一输出信号（y）的第一表示；而且该解码器（62）包括第二神经网络，该第二神经网络被设立为基于该第四表示（
Figure 448252DEST_PATH_IMAGE007
）和该第一输入信号（x）来确定该第一输出信号的第二表示。
8.根据上述权利要求中任一项所述的方法，其中用于确定该输出信号（y）的方法包括对该机器学习系统（60）的训练，其中该训练包括如下步骤：
• 确定多个训练输入信号，所述多个训练输入信号彼此保持上下文关系，其中每个训练输入信号都分配有对应的训练输出信号；
• 将多个训练输入信号和训练输出信号划分成多个（
Figure 441616DEST_PATH_IMAGE020
）第二训练输入信号和对应的第二训练输出信号并且划分成至少一个第一训练输入信号（
Figure 930366DEST_PATH_IMAGE021
）和至少一个对应的第一训练输出信号（
Figure 651067DEST_PATH_IMAGE022
）；
• 基于所述多个（
Figure 643293DEST_PATH_IMAGE020
）第二训练输入信号和这些第二训练输出信号来确定第三表示（
Figure 807558DEST_PATH_IMAGE006
）和第四表示（
Figure 518025DEST_PATH_IMAGE007
）；
• 借助于该机器学习系统（60）的解码器（62）并且基于所确定的第三表示（
Figure 793149DEST_PATH_IMAGE006
）和所确定的第四表示（
Figure 171041DEST_PATH_IMAGE007
）和该第一训练输入信号（
Figure 240628DEST_PATH_IMAGE021
）来确定针对该至少一个第一训练输入信号（
Figure 953238DEST_PATH_IMAGE021
）的预测输出信号（
Figure 766473DEST_PATH_IMAGE023
）；
• 确定损失值，该损失值表征在该预测输出信号（
Figure 998871DEST_PATH_IMAGE023
）与该第一训练输出信号（
Figure 239360DEST_PATH_IMAGE022
）之间的区别；
• 确定该编码器（61）和/或该解码器（62）的多个参数关于该损失值的梯度；
• 基于所确定的梯度来改变所述多个参数。
9.根据权利要求8所述的方法，其中该损失值基于损失函数来被确定，其中该损失函数表征正态分布的概率密度函数或对数化概率密度函数，其中通过该解码器（62）所确定的预测输出信号（
Figure 189998DEST_PATH_IMAGE023
）的第一表示被用作该概率密度函数的期望值并且通过该解码器（62）所确定的预测输出信号（
Figure 806924DEST_PATH_IMAGE023
）的第二表示被用作该概率密度函数的方差或协方差矩阵。
10.根据权利要求8或9所述的方法，其中该机器学习系统（60）利用多个第一训练输入信号和训练输出信号来被训练，其中该损失值按照公式
Figure 628250DEST_PATH_IMAGE025
来被确定，其中
Figure 572065DEST_PATH_IMAGE026
是多个第一训练输入信号，
Figure 744420DEST_PATH_IMAGE027
是相应被分配给这些第一训练输入信号的训练输出信号，
Figure 899458DEST_PATH_IMAGE028
是正态分布的概率密度函数，
Figure 106448DEST_PATH_IMAGE029
是该预测输出信号（
Figure 688739DEST_PATH_IMAGE023
）的借助于该解码器（62）所确定的第一表示，
Figure 348391DEST_PATH_IMAGE030
是该预测输出信号（
Figure 307119DEST_PATH_IMAGE023
）的借助于该解码器（62）所确定的第二表示，其中所确定的第一表示被用作该概率密度函数的期望值并且所确定的第二表示被用作该概率密度函数的方差或协方差矩阵。
11.根据上述权利要求中任一项所述的方法，其中根据该第一输出信号（y）来运行设备（100、200、250、300、400）。
12.一种机器学习系统（60），所述机器学习系统被设立为实施根据权利要求1至11中任一项所述的方法。
13.一种训练装置（140），所述训练装置被设立为实施根据权利要求8至10中任一项所述的方法。
14.一种计算机程序，所述计算机程序被设立为当所述计算机程序被处理器（45、145）执行时实施根据权利要求1至11中任一项所述的方法。
15.一种机器可读存储介质（46、146），在其上存储有根据权利要求14所述的计算机程序。
CN202111157383.XA 2020-10-02 2021-09-30 用于借助于机器学习系统来确定输出信号的方法 Pending CN114386449A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020212514.7 2020-10-02
DE102020212514.7A DE102020212514A1 (de) 2020-10-02 2020-10-02 Verfahren zur Ermittlung eines Ausgabesignals mittels eines maschinellen Lernsystems

Publications (1)

Publication Number Publication Date
CN114386449A true CN114386449A (zh) 2022-04-22

Family

ID=80738048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111157383.XA Pending CN114386449A (zh) 2020-10-02 2021-09-30 用于借助于机器学习系统来确定输出信号的方法

Country Status (3)

Country Link
US (1) US20220108152A1 (zh)
CN (1) CN114386449A (zh)
DE (1) DE102020212514A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220174865A1 (en) * 2020-12-04 2022-06-09 Scythe Robotics, Inc. Autonomous lawn mower

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3707645A1 (en) 2018-02-09 2020-09-16 Deepmind Technologies Limited Neural network systems implementing conditional neural processes for efficient learning

Also Published As

Publication number Publication date
DE102020212514A1 (de) 2022-04-07
US20220108152A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
CN114386614A (zh) 用于训练机器学习系统的方法和装置
US20220051138A1 (en) Method and device for transfer learning between modified tasks
JP2021089731A (ja) クラス分類器を訓練するための装置および方法
CN113994349A (zh) 用于训练机器学习系统的方法和设备
CN114386449A (zh) 用于借助于机器学习系统来确定输出信号的方法
CN114154633A (zh) 用于压缩神经网络的方法和设备
CN113971433A (zh) 预测对象的轨迹的方法和系统
US20230260259A1 (en) Method and device for training a neural network
JP2023118101A (ja) 機械学習システムに対する敵対的パッチを特定するための装置及び方法
US20230091396A1 (en) Device and method for generating training data for a machine learning system
CN113947208A (zh) 用于创建机器学习系统的方法和设备
CN113887696A (zh) 用于创建机器学习系统的方法和设备
US20220230416A1 (en) Training of machine learning systems for image processing
EP4357977A1 (en) Device and method for determining an encoder configured image analysis
US20240169225A1 (en) Method and apparatus for creating a machine learning system
EP3975064A1 (en) Device and method for training a classifier using an invertible factorization model
EP4343619A1 (en) Method for regularizing a neural network
US20230306265A1 (en) Method and device for determining an optimal architecture of a neural network
JP7395396B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20230022777A1 (en) Method and device for creating a machine learning system including a plurality of outputs
EP3975054A1 (en) Device and method for classifying an input signal using an invertible factorization model
EP4296910A1 (en) Device and method for determining adversarial perturbations of a machine learning system
CN116467618A (zh) 确定关于传感器信号的预测的融合的方法和设备
JP2023046313A (ja) 画像のセマンティックセグメンテーション及び／又はインスタンスセグメンテーションを決定するための装置及び方法
CN115705500A (zh) 用于创建机器学习系统的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination