CN115482513A - 使预训练的机器学习系统适配于目标数据的设备和方法 - Google Patents

Abstract

提供了使预训练的机器学习系统适配于目标数据的设备和方法。一种计算机实现方法，用于使已经在第一训练数据集上训练的预训练的机器学习系统适配于第二数据集，其中第二数据集具有与第一数据集不同的特性。此外，提出了用于部分地撤销第一与第二训练数据集之间的分布移位的输入变换模块（2）。

Description

使预训练的机器学习系统适配于目标数据的设备和方法

技术领域

本发明涉及一种用于使已经在第一训练数据集上训练的预训练的机器学习系统适配于第二数据集的方法，以及一种用于操作致动器、计算机程序和机器可读存储介质、分类器、控制系统和训练系统的方法。

背景技术

深度神经网络通常在不同于训练时间数据分布的数据分布上展现出差的性能。先前的工作证明：对数据移位（data shift）的测试时间适配（例如，使用熵最小化）有效地改进了关于所移位分布的性能，参见例如：Wang等人的“Fully test-time adaptation byentropy minimization”，arXiv preprint arXiv：2006.10726（2020），在https://arxiv.org/abs/2006.10726可在线获得。

ROSHNI SAHOO等人的“Unsupervised Domain Adaptation in the Absence ofSource Data”，ARXIV.ORG，CORNELL UNIVERSITY LIBRARY，201 OLIN LIBRARY CORNELLUNIVERSITY ITHACA，NY 14853，20 July 2020提出了一种用于使源分类器适配于目标域的无监督方法，该目标域沿着自然轴（诸如，亮度和对比度）从源域而变化。

JIAN LIANG等人的“Source Data-absent Unsupervised Domain Adaptationthrough Hypothesis Transfer and Labeling Transfer”，ARXIV.ORG，CORNELLUNIVERSITY LIBRARY，201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA，NY 14853，1 June2021提出了一种被称为源假设转移（Source HypOthesis Transfer，SHOT）的新方法，该新方法通过将目标数据特征拟合到冻结的源分类模块（表示分类假设）来学习目标域的特征提取模块。具体地，SHOT利用信息最大化和自监督学习两者以用于特征提取模块学习，以确保目标特征经由相同的假设与未见过的源数据的特征隐式地对准。

本发明的优点

随着越来越多的这种机器学习模型被部署到现实世界中，对域移位（分布外的泛化）的鲁棒性变得越来越重要，现实世界常常证明与用于训练这些模型的数据集显著不同。因此，向机器学习模型提供用于适配于数据分布中的可能改变的手段是重要的，这些改变中的许多改变是不能够提前预见的。

本发明聚焦于完全测试时间适配设置，其中仅需要来自目标分布的未标注的数据。这允许适配任意的预训练网络。更精确地，提出了一种新的损失，该新的损失通过解决熵最小化的早熟收敛和不稳定性来改进测试时间适配。这是通过用非饱和替代项来替换熵、并且添加基于逐批熵最大化的多样性正则化器来实现的，该正则化器可以防止收敛到平凡的折叠解（trivial collapsed solution）。

此外，还提出了模型扩充，该模型扩充向网络预置（prepend）输入变换模块，该输入变换模块可以部分地撤销（undo）测试时间分布移位。令人惊讶的是，可以在没有任何目标域标注或源域数据的情况下仅仅基于以端到端方式的完全测试时间适配损失来学习这种预处理。

这些适配具有如下优点：改进了预训练的图像分类器对常见破坏的鲁棒性，并且可以用很少的努力（例如，仅通过几个时期（epoch）重新训练所选参数）来恢复分类准确度的下降。由于仅需要目标分布的未标注的数据，因此仅必须收集目标分布的数据，并且不需要标注。

发明内容

在第一方面，提出了一种用于使预训练的机器学习系统适配于第二数据集的计算机实现方法。在预训练的情况下可以理解的是，该机器学习系统已经被训练，直到其参数的改变相对低（例如，小于预定义阈值）和/或已经存在收敛行为（例如，损失的改变低于针对损失的预定义阈值）。预训练的机器学习系统已经在第一训练数据集上被训练。第一训练数据集源自于源训练数据分布，并且第二数据集源自于目标训练数据分布。

第二数据集具有与第一数据集不同的特性。源训练数据分布与目标数据分布的不同之处在于，它表征了相同的对象，但是对象和/或样本的一般出现（general occurrence）是不同的。不同的特性可以通过对第一数据集的样本进行扩充来给出。优选地，第一和第二数据集的可能标注是相同的。更精确地，在第一训练数据中表示的相同对象也在第二训练数据集中被表示。然而，它们可能发生轻微的修改，例如被噪声破坏、或改变的取向、或其他特性被改变。可以说，可以对来自源分布的图像应用所有修改以获得第二训练数据，使得保留对象的特性，例如轮廓。所述修改可以是常见的破坏，如由真实世界影响所激发的潜在随机图像变换，例如该破坏可以用于评估模型的鲁棒性。例如，经仿真的破坏，诸如噪声、模糊、天气影响和数字图像变换、或甚至对抗式噪声分布。或者，数据扩充的混合也是可能的。实际上，可以通过在例如不同的传感器设置和/或传感器配置/布置的不同构造的情况下记录传感器值来获得第二数据集。

用于适配预训练的机器学习系统的方法包括以下步骤：

a. 接收来自第二数据集的多个样本。有趣的是，这些样本不一定必须是标注的。

b. 估计接收到的样本的预期标注的出现的第一分布

。可以以标注表征了数据集中包含的类别的方式来理解标注。预期标注可以是第一数据集的相同标注。所假定的是，对于许多实际设置，

的先验知识是可用的，例如，在类别上的均匀分布。定义分布

的目的是为了避免折叠解（collapsed solution），即折叠成太窄的分布，诸如始终预测相同或非常少的类别。

c. 确定针对接收到的样本的子集的每个样本的输出。

d. 取决于机器学习系统的所确定的输出的出现来估计标注的第二分布

。该分布是从来自机器学习系统的（软）预测在第二数据集上的分布而获得的。

e. 确定表征了第一分布

与第二分布

之间的散度的第一损失函数L _div ，其中第一损失函数L _div 取决于预训练的机器学习系统的参数。

f. 调整机器学习的参数，使得第一损失L _div 减小。要注意的是，如果损失函数是负定义的，则减少损失函数以用于调整参数的步骤也可以通过增加损失函数来实行。

一般来说，通过置信度最大化的自监督可能导致折叠平凡解，这使得该网络仅预测单个或一组独立于输入样本的类别。为了克服该问题，可以仅使用第一损失函数。它鼓励该网络在不同的样本上做出不同的类别预测。可以示出的是，这稳定了该网络对未标注的测试样本的适配。更精确地，它通过促进网络预测中的多样性来防止机器学习系统折叠到平凡解，并且避免折叠到平凡的、高置信度的解。

所提出的是，第一损失函数L _div 的散度是第一和第二分布

之间的Kullback-Leibler散度。使用KL散度的优点在于：它测量第二分布

与真实分布

相差多少。降低该度量使分布

与真实分布

匹配。

此外，所提出的是，通过迄今为止确定的输出之上的移动平均值来迭代地确定第二分布。这可以以以下方式来理解：第二分布通过针对样本的当前子集确定的所有输出之上或针对接收到的样本的所有先前确定的输出之上的移动平均值来确定。

此外，所提出的是，重复执行上述步骤c-f。对于每一次重复，重新组装接收到的数据样本的子集（例如，通过从接收到的样本中有放回地抽取（draw with put back），或以其他方式），其中第二分布

附加地是取决于先前确定的第二分布

来确定的，该先前确定的第二分布

已经在步骤c-f的（立即执行的）先前重复中被确定，其已经针对先前接收到的样本的特定不同子集被确定，其中第二分布

和先前确定的第二分布

一起被加权。要注意的是，步骤c-f的所述重复可以针对若干个时期而重复。

此外，所提出的是，通过接收到的样本的当前子集之上的移动平均值，先前的第二分布

比第二分布

被更强地加权。

此外，所提出的是，第一分布本质上是第一训练数据的类别的出现的均匀分布。在适配机器学习系统之前，第一分布应当是固定的。基于第二数据集的先验知识，假定该分布的选择是已知的。

在本发明的第二方面，提出了第二损失函数（L _conf ）作为本发明的第一方面的第一损失函数的替代或补充。第二损失函数表征了预训练的机器学习系统的输出与伪标注之间的（负）对数似然比。该伪标注是取决于机器学习系统针对接收到的样本的当前子集的输出来估计的，其中调整预训练的机器学习系统的参数，以要么减小第一或第二损失函数、要么减小第一和第二损失函数两者。如果使用两个损失函数的组合，则优选地，两个损失函数被组合加权，其中第一损失函数比第二损失函数被更强地加权。

明确提出的是，使用对数似然比来克服通常使用的熵最小化的缺陷，其中高置信度预测不再显著地对损失做出贡献，这是因为这些预测仅针对高置信度预测提供消失的梯度。第二方面的所提出的损失函数基于负对数似然比具有关于梯度的非饱和损失的优点，使得来自高置信度自监督的梯度仍然对测试时间适配做出贡献。已经示出的是，通过使用第一和/或第二损失函数，有可能在完全测试时间适配中改进数据移位下的网络性能。将第一和第二损失函数进行组合的优点在于：可以示出，仅需要训练后的5个时期来充分地适配该模型。

所提出的是，伪标注是对机器学习系统的输出的独热编码（onehot-encoding），或者伪标注确切地是机器学习系统的输出。由此，不需要接收到的样本的标注。替代地，如果存在基础真值（ground truth）标注，也可以使用它们来代替伪标注。因此，有可能将一些标注整合到无标注方法中。

在本发明的第三方面，提出了一种计算机实现的扩充的机器学习系统，其中参数化输入变换模块的输出与被配置成或更具体地被训练成用于对图像进行分类的预训练的机器学习系统的输入连接，其中输入变换模块被配置成至少线性地变换其输入，并且进一步被配置成将其经变换的输入输入到预训练的机器学习系统。

所提出的是，输入变换模块被配置成至少部分地撤销其输入的域移位，使得其输出相对接近训练数据分布的原始输入，在该训练数据分布上已经训练了预训练的机器学习系统。

优选地，使用本发明的第一和/或第二方面的所提出的损失函数、即不需要任何目标域标注或源数据以完全测试时间适配的方式来训练该模块。它旨在部分地撤销手头的数据移位。这帮助进一步改进在常见破坏的情况下的有挑战性的图像分类基准上的性能。此外，这减少了预训练模型的适配量。

此外，所提出的是，输入变换模块包括与线性变换模块串联连接的另外的机器学习系统

，其中该另外的机器学习系统

被配置成对输入变换模块的输入进行非线性变换，其中线性变换模块被配置成取决于表征线性变换的参数

对其输入进行线性变换。所述参数

可以例如表征偏移、缩放、或移位或者旋转等。

此外，所提出的是，在另外的机器学习系统

与线性变换模块之间，互连了加法模块，其中加法模块包括至少两个输入，其中第一输入被配置成接收另外的机器学习系统

的输出，并且第二输入被配置成接收输入变换模块的输入，其中加法模块被配置成对其输入进行加权求和，并且将该总和输出到线性变换模块。

此外，所提出的是，输入变换模块的输出具有与输入变换模块的输入相同的尺寸/形状。

此外，所提出的是，另外的机器学习系统是神经网络，其至少包括卷积层、归一化层和具有ReLU的层。

在本发明的第四方面，提出了一种用于参数化输入变换模块的计算机实现方法。该方法包括以下步骤：接收预训练的机器学习系统和来自第二数据集的多个样本。随后，将输出变换模块的输出与预训练的机器学习系统的输入进行连接。在所连接的输入变换模块和机器学习系统的推理期间，然后将输入变换模块的输入从输入变换模块的输入通过输入变换模块并且通过预训练的机器学习系统传播到预训练的机器学习系统的输出。

在连接步骤之后，它接着是确定本发明第一/第二方面的第一和/或第二损失函数，以及根据本发明第一/第二方面来至少调整输入变换模块的参数。

此外，所提出的是，以输入变换模块针对预训练的机器学习系统实行其输入的身份映射这种方式来初始化输入变换模块的参数。

此外，所提出的是，在根据本发明的前述方面中的任一个的参数适配期间，适配预训练的机器学习系统的归一化层的仿射参数。

此外，所提出的是，取决于第一和/或第二损失函数关于所述参数的所确定梯度来调整预训练的机器学习系统的参数。

对于上述方面中的每一个，所提出的是，该机器学习系统是用于对从成像传感器获得的输入信号进行分类的分类器。

对于上述方面中的每一个，所提出的是，该机器学习系统是至少包括归一化层的神经网络(f _θ )，其中该网络中的归一化层的仅逐通道仿射参数被适配。如果预训练的网络最初不包括这种层，则在实行适配之前添加它是可能的。

在本发明的另外方面，提出了一种用于使用分类器来对传感器信号进行分类的计算机实现方法。所述分类器是利用根据本发明前述方面中的任一个的方法来适配的，该方法包括以下步骤：从成像传感器接收包括数据的传感器信号，确定取决于所述传感器信号的输入信号，以及将所述输入信号馈送到所述分类器中以获得表征所述输入信号的分类的输出信号。

在本发明的另外方面，一种计算机实现方法，用于使用利用根据前述方面中的任一个的方法所训练的分类器来提供用于控制致动器的致动器控制信号。取决于分类器的输出信号来确定致动器控制信号，其可以如先前部分所描述的那样来确定。所提出的是，致动器控制至少部分自主的机器人和/或制造机器和/或访问控制系统。

在本发明的另外方面，提出了一种用于操作致动器的控制系统。所述控制系统包括根据本发明的前述方面中的任一个所适配的分类器，并且被配置成根据所述分类器的输出来操作所述致动器。

所述分类器（例如，神经网络）可以被赋予这种结构，该结构可被训练以标识和区分例如成像传感器图像中的行人和/或车辆和/或道路标志和/或交通灯和/或道路表面和/或人类面部和/或医学异常。替代地，所述分类器（例如，神经网络）可以被赋予这种结构，该结构可被训练以标识音频传感器信号中的口头命令。

要注意的是，本发明的所有方面都可以用于测试时间适配。当训练（源）数据在测试时间不可用时，该场景考虑该设置。例如，将具有内置道路分割模型的汽车被出售给客户时。不可能预测这种汽车将在何种不利条件下使用，但是分割模型必须能够适配，以便实行其工作。出于此目的，可以使用可用破坏的多个未标注的示例以用于无监督的数据移位适配。然而，本发明也可以在训练期间使用。例如，如果该模型在一些验证数据上表现不佳，则通过本发明在这些数据上调整预训练模型是可能的，其中验证数据的示例可以被视为目标分布。

附图说明

将参考以下各图更详细地讨论本发明的实施例。各图示出了：

图1 用于调整预训练的机器学习系统的流程图；

图2A和2B 用于预训练的机器学习系统的输入变换模块；

图3 控制至少部分自主的机器人的控制系统；

图4 控制制造机器的控制系统；

图5 控制访问控制系统的控制系统；

图6 控制监控系统的控制系统；

图7 控制自动个人助理的控制系统；

图8 控制成像系统的控制系统；

图9 用于控制分类器的训练系统。

具体实施方式

给定已经针对给定任务（例如，ImageNet对象分类或对象检测或语义图像分割）在源数据集上被预训练的机器学习系统、特别是神经网络，在下面的若干个实施例中，提出了使用本发明在没有人类注释的情况下使所述机器学习系统适配于测试数据集。测试数据集（见过的或未见过的）的分布在适配期间保持未知，并且在下文中被称为目标分布。

优选地，该机器学习系统被适配于针对给定数量N个时期的小批（mini-batch）设置中的测试数据（令人惊讶的是，N可以是小的，例如N∈[1;5]）。为了适配于新的测试数据分布，从源数据集上的先前训练来重新使用机器学习系统参数。在每个小批中，将一批测试样本作为输入提供给该机器学习系统，并且可以使用所提出的自监督损失和/或输入变换模块的适配参数来适配该机器学习系统中的归一化层的逐通道仿射参数。

在针对N个时期的适配后，可以将该机器学习系统用于在来自相同测试分布的相同适配数据或未见过的数据上的测试目的。

为了使预训练的机器学习系统在训练数据/测试数据的目标分布上适配，下文中讨论了若干个实施例。可以将实施例分组成：通过使用专门设计的损失函数来以无监督方式训练预训练的机器学习系统的第一一般方法；以及通过在前面并且串联地将输入变换模块连接到预训练的机器学习系统的第二方法。要注意的是，若干个实施例可以分离地使用，或者以彼此任何组合的方式使用。在下文中，该机器学习系统示例性地是预训练的神经网络，在下文中也被称为预训练网络。

第一实施例涉及第一损失函数，第一损失函数可以被称为“类别分布匹配”损失函数。第一损失函数由如下性质来表征：所述损失函数鼓励适配数据集X上的该预训练网络的预测，该预测匹配于目标分布

，其中X是来自该预训练网络的训练数据的目标分布D'和源分布D的（未标注）样本。要注意的是，就数据的出现而言，这两个分布是不同的：D≠D'，例如，目标分布包括相同的图像，但是它们被噪声破坏。所述损失函数可以帮助避免测试时间适配折叠到太窄的分布，诸如始终预测相同或非常少的类别。

假定目标域D'上的类别分布

的知识，所提出的是，向该损失添加一项，该项鼓励预训练网络在X上的（软）预测的经验分布，以匹配该分布

。

具体地，令

是该预训练网络的（软）预测的分布估计。Kullback-Leibler散度

可以用作损失项，其描述了这两个分布之间的差异。KL的其他替代方案是全变差距离（total variation distance）、海灵格距离（Hellinger distance）和陆地移动距离（earth mover's distance）。我们使用KL是因为它对于测量两个分布之间的散度是简单的。

由于所估计的分布

取决于该预训练网络的参数ϕ，并且是连续适配的，因此需要在每批级别上被重新估计。因为从头开始重新估计

将在计算上是昂贵的。取而代之，所提出的是，使用跟踪ϕ的改变的运行估计，如下：令

是在迭代t−1的所估计的分布，并且

，其中

是该预训练模型在来自目标分布的n个输入

的小批上的预测（置信度）。滑动平均值可以经由

来更新。优选地，

等于0.9。然后，第一损失函数被定义如下：

（等式1）：

要注意的是，目标分布

可以先验选择为均匀分布，其中预期所有的类别同等分布出现。如果该目标分布的某些类别明显出现得更频繁，则这些类别的预期出现可以在目标分布

中增加。

第二实施例涉及第二损失函数，第二损失函数可以被称为“置信度最大化”损失函数。第二损失函数由如下性质来表征：所述损失函数鼓励个体数据点上的高置信度预测。

在标注以数据x _t 的独热编码参考y _t 的形式可用于目标域（这对于本发明来说是不需要的）的情况下，可以通过设置参考y ^r =y _t 并且使用用于期望适配的损失

来使用受监督的交叉熵损失。由于完全测试时间适配假定没有标注信息可用，因此受监督的交叉熵损失是不适用的，并且需要使用针对y ^r 的其他选项。在下文中，针对参考输出y ^r 提出了两个优选选项。

一个选项是硬伪标注。也就是说，经由

基于网络预测y _t 来定义参考y ^r ，其中onehot()创建独热参考，其中1对应于

中具有最大置信度的类别c，并且0针对其他类别。

另一个选项是使用软伪标注，即：

。

虽然硬伪标注和软伪标注两者明显被激发，但它们在与基于梯度的优化器结合的情况下不是最优的，因为来自低置信度预测的自监督占主导（至少在稍后的训练阶段期间）。为了解决该问题，提出了构建类似于上述损失函数L _sup 的第二损失函数，然而第二损失函数不是基于交叉熵H，而是取而代之地基于负对数似然比R：

（等式2）：

当熵H以0为下限时，如果

趋向于1，则R可以变得任意小。对于高置信度预测，该性质有利地引发非消失梯度。

将硬似然比插入针对对数似然比的等式中，硬似然比损失可以被定义为：

（等式3）：

假定该预训练网络的最后一层是softmax层，输出被给定为

，其中o是该网络的logit，则损失函数

可以重写为：

（等式4）：

其中

，并且e是欧拉数。

为了以与熵损失类似的方式来计及自我标注期间的网络预测中的不确定性，还提出了软似然比损失如下：

（等式5）：

对于softmax输出层，该等式可以被重写为如下：

（等式6）：

在优选实施例中，结合利用两个损失函数：

，其中δ是缩放因子，并且L _conf 是L _hlr 或/和L _slr 。

通过逐像素地应用损失，所提出的损失函数也可以直接用于诸如语义分割之类的任务。

图1示意性地示出了用于针对目标分布调整经训练的网络的方法的流程图，其中可以使用上面提出的损失函数。

图1的所描绘的方法从步骤S11开始。在步骤S11中，接收预训练网络。替代地，代替于接收已经预训练的网络，可以在步骤S11中在来自源分布D的训练数据上训练该网络。训练数据可以是在第一制造工厂中捕获的图像。

在步骤S11已经结束之后，实行以下步骤S12。在该步骤中，接收来自目标分布D'的数据样本。替代地，有可能收集来自目标分布D'的传感器数据。来自目标分布的数据可以是在第二制造工厂中捕获的图像。还可能的是，所述数据是利用与训练数据图像不同的相机设置获取的。具有来自目标分布的更大数量的数据样本是有益的。然而，即使使用少量的数据样本，也可以看到显著的改进，例如，在1.2M训练数据样本上训练的网络当在具有最少5000个数据样本的目标数据分布上适配时示出了显著的改进。

之后，接着是步骤S13。在该步骤中，使通过步骤S11获得的网络适配于步骤S12的接收到的（传感器）数据。在步骤S13中，以如下这种方式来适配预训练网络的参数：即，例如通过梯度下降来最小化第一损失函数或第二损失函数或两个损失函数的组合。

在利用第二损失函数（L _slr , L _hlr ）中的一个进行训练期间，已经示出：冻结该网络的顶部层是有益的。在这种情况下，由于第二损失函数，诸如批归一化之类的归一化层阻止了“logit爆炸”。类似于如上面的现有技术所记载的Wong等人，优选地，在步骤S13期间仅优化该预训练网络的参数的子集。

步骤S13可以针对若干个批次而重复，精确的传感器数据通常是步骤S12。附加地，针对若干个时期来重复步骤S13也是可能的。

在通过步骤S13对该预训练网络的适配已经结束之后，实行随后的可选步骤S14。在该步骤中，将步骤S13的经调整的网络传送到给定应用。这可以例如是其中步骤S13的经适配的网络被用于第二制造工厂的情况。在使该预训练网络适配于从第二制造工厂收集的传感器数据之后，将经调整的神经网络传送到第二制造工厂。这可以例如通过将经适配的网络下载到第二制造工厂来进行。

如果经调整的网络已经被传送到第二制造工厂，则在随后的步骤S15中，根据所传送的网络的预定义任务来应用所传送的网络，该网络已经针对该预定义任务而被预训练。示例性地，经调整的网络可以接收从第二制造工厂的当前生产过程收集的传感器数据，第二制造工厂的致动器取决于所传送的网络的输出被控制。要注意的是，该致动器也可以被给出用于其他应用。图3和随后的图示出了具有致动器的其他应用的示例，针对这些应用，可以应用经调整的网络。

该方法然后结束。

在另外的实施例中，提出了用于预训练网络的输入变换模块。针对该附加组件的动机是增加g的可表达性，使得它可以学习以（部分地）撤销该域移位（

）。

输入变换模块可以被定义为如下：

（等式7）：

其中

并且

，其中n _i 是输入通道的数量，并且

是具有相同输入和输出形状的网络，并且

标示逐元素乘法。具体地，β和γ实现了逐通道仿射变换，并且τ实现了未改变的输入和通过

变换的输入的凸组合。

通过选择β=0且γ=1并且τ=1=0，我们确保了初始化时d(x)=x。原则上，

可以任意选择。优选地，

是3×3卷积、组归一化和ReLU的简单堆叠。在更复杂的变换

的情况下，其他实施例是可能的。

输入变换模块的参数和该预训练网络的参数可以被称为调制参数

，其中

是该预训练网络的子集参数。也就是说，仅能够适配预训练网络

的参数

的子集。更精确地，在保持卷积内核或其他权重的参数不改变的同时，仅适配该预训练网络的归一化层的仿射参数。附加地，使批归一化统计信息（如果有的话）适配于目标分布。

请注意，所提出的方法适用于包含具有逐通道仿射变换的归一化层的任何预训练网络。即使对于没有这种仿射变换层的网络，也可以将仿射变换层添加到f中，这些仿射变换层作为模型扩充的一部分被初始化为同一的。

图2A示例性地示出了输入变换模块2，输入变换模块2对预训练网络26的输入数据进行预处理。输入样本x被转发到另外的网络

以及模块22，模块22通过将输入乘以因子τ来对该输入进行加权。

模块21通过因子

对另外的网络

的输出进行加权。两个加权输出然后被转发到模块23。模块23对两个加权输出进行求和，并且将该总和转发到模块24。模块24将模块23的输出乘以γ。在最后的模块25中，偏移β被添加到模块24的结果，并且作为d(x)被输出。

图2B示出了输入变换模块2关于预训练网络26的布置。输入变换模块连接到预训练的机器学习模型的输入。输入变换模块2和预训练网络26的组合是扩充的机器学习系统（3）。

除了图1之外，有可能的是，在优化该预训练网络之前，在S11与S12之间或S12与S13之间添加子步骤。

该子步骤可以包括通过在该预训练网络之前连接根据图2B的输入变换模块2来修改该预训练网络。

在随后的优化步骤S13中，参数ϕ或仅输入变换模块2的参数被优化。

图3中示出的是致动器10的一个实施例，致动器10可以取决于根据图1的经调整的网络的所确定的输出被控制。致动器10与控制系统40交互。在优选均匀间隔的距离处，传感器30感测致动器系统的状况。传感器30可以包括若干个传感器。优选地，传感器30是取得环境图像的光学传感器。传感器30的输出信号S（或者，在传感器30包括多个传感器的情况下是每个传感器的输出信号S）被传输到控制系统40，该输出信号S对感测到的状况进行编码。

由此，控制系统40接收传感器信号S的流。然后，它取决于传感器信号S的流来计算一系列致动器控制命令A，这些致动器控制命令A然后被传输到致动器10。

控制系统40在可选的输入变换模块2中接收传感器30的传感器信号S的流，该输入变换模块2在图3中未示出。输入变换模块将传感器信号S预处理成输入信号x。替代地，在没有输入变换模块的情况下，每个传感器信号S可以直接取作输入信号x。输入信号x可以例如作为来自传感器信号S的摘录而给出。输入信号x包括与传感器30所记录的图像相对应的图像数据。换句话说，输入信号x是根据传感器信号S来提供的。

输入信号x然后被传递以调整网络，在该实施例中，该网络是图像分类器60。

分类器60从输入信号x确定输出信号y。输出信号y包括向输入信号x指派一个或多个标注的信息。输出信号y被传输到可选的转换单元80，该转换单元80将输出信号y转换成控制命令A。致动器控制命令A然后被传输到致动器10，以用于相应地控制致动器10。替代地，输出信号y可以直接取作控制命令A。

致动器10接收致动器控制命令A，被相应地控制，并且实行与致动器控制命令A相对应的动作。致动器10可以包括控制逻辑，该控制逻辑将致动器控制命令A变换成另外的控制命令，该控制命令然后用于控制致动器10。

在另外的实施例中，控制系统40可以包括传感器30。在甚至另外的实施例中，控制系统40替代地或附加地可以包括致动器10。

在一个实施例中，分类器60可以被设计成标识前方道路上的车道，例如通过将道路表面和所述道路上的标记物进行分类，并且将车道标识为所述标记物之间的道路表面的片块（patch）。基于导航系统的输出，然后可以选择用于追随所选路径的合适车道，并且取决于当前车道和所述目标车道，然后可以决定车辆60是切换车道还是停留在所述当前车道中。然后，可以通过例如从对应于所述标识的动作的数据库中检索预定义运动模式来计算控制命令A。

同样地，在标识道路标志或交通灯时，取决于道路标志的所标识类型或所述交通灯的所标识状态，然后可以从例如数据库中检索对车辆60的可能运动模式的对应约束，可以计算与所述约束相称的车辆60的未来路径，并且可以计算所述致动器控制命令A以操纵该车辆从而执行所述轨迹。

同样地，在标识行人和/或车辆时，可以估计所述行人和/或车辆的预计未来行为，并且基于所述估计的未来行为，然后可以选择轨迹以便避免与所述行人和/或所述车辆的碰撞，并且可以计算所述致动器控制命令A以操纵该车辆从而执行所述轨迹。

在仍另外的实施例中，可以设想控制系统40控制显示器10a而不是致动器10。

此外，控制系统40可以包括处理器45（或多个处理器）和至少一个机器可读存储介质46，在该机器可读存储介质46上存储有指令，这些指令如果被实行，则使得控制系统40实行根据本发明的一个方面的方法。

在优选实施例中，控制系统40用于控制至少部分自主的机器人，例如至少部分自主的车辆100。

传感器30可以包括一个或多个视频传感器、和/或一个或多个雷达传感器、和/或一个或多个超声传感器、和/或一个或多个LiDAR传感器、和/或一个或多个位置传感器（如例如GPS）。这些传感器中的一些或全部优选地但不一定集成在车辆100中。

替代地或附加地，传感器30可以包括用于确定致动器系统的状态的信息系统。这种信息系统的一个示例是确定环境20中的天气的当前或未来状态的天气信息系统。

例如，使用输入信号x，分类器60可以例如检测至少部分自主的机器人附近的对象。输出信号y可以包括表征了对象位于至少部分自主的机器人附近何处的信息。然后可以根据该信息来确定控制命令A，例如以避免与所述检测到的对象碰撞。

优选地集成在车辆100中的致动器10可以由车辆100的制动器、推进系统、引擎、传动系或转向装置来给出。致动器控制命令A可以被确定使得致动器（或多个致动器）10被控制，使得车辆100避免与所述检测到的对象碰撞。检测到的对象也可以根据分类器60认为它们最可能是什么（例如，行人或树木）而被分类，并且致动器控制命令A可以取决于该分类来确定。

在另外的实施例中，至少部分自主的机器人可以由另一个移动机器人（未示出）来给出，该另一个移动机器人可以例如通过飞行、游泳、潜水或步行来移动。移动机器人尤其可以是至少部分自主的割草机，或至少部分自主的清洁机器人。在所有上述实施例中，致动器命令控制A可以被确定为使得移动机器人的推进单元和/或转向装置和/或制动器被控制，使得移动机器人可以避免与所述标识的对象碰撞。

在另外的实施例中，至少部分自主的机器人可以由园艺机器人（未示出）来给出，该园艺机器人使用传感器30、优选地是光学传感器来确定环境20中的植物的状态。致动器10可以是用于喷洒化学品的喷嘴。取决于所标识的植物种类和/或所标识的植物状态，可以确定致动器控制命令A以使得致动器10向植物喷洒适当量的适当化学品。

在甚至另外的实施例中，至少部分自主的机器人可以由家用电器（未示出）来提供，该家用电器如例如洗衣机、炉子、烤箱、微波炉或洗碗机。传感器30（例如，光学传感器）可以检测将经历该家庭电器进行的处理的对象的状态。例如，在家用电器是洗衣机的情况下，传感器30可以检测洗衣机内的衣物的状态。然后可以取决于衣物的检测到的材料来确定致动器控制信号A。

图4中示出的是一实施例，其中控制系统40用于控制制造系统200的制造机器11，例如冲压刀具、刀具或枪钻，例如作为生产线的一部分。控制系统40控制致动器10，致动器10又控制制造机器11。

传感器30可以由光学传感器给出，该光学传感器捕获例如制造产品12的性质。分类器60可以根据这些捕获的性质来确定制造产品12的状态。控制制造机器11的致动器10然后可以取决于所确定的制造产品12的状态来控制，用于制造产品12的后续制造步骤。或者，可以设想，致动器10在随后的制造产品12的制造期间取决于所确定的制造产品12的状态来控制。

图5中示出的是其中控制系统控制访问控制系统300的实施例。访问控制系统可以被设计为物理地控制访问。它可以例如包括门401。传感器30被配置成检测与决定是否准许访问相关的场景。它可以例如是用于提供图像或视频数据来检测人员面部的光学传感器。分类器60可以被配置成例如通过将身份与存储在数据库中的已知的人员进行匹配来解释该图像或视频数据，从而确定该人员的身份。然后可以取决于分类器60的解释、例如根据所确定的身份来确定致动器控制信号A。致动器10可以是锁，该锁取决于致动器控制信号A来准许或不准许访问。非物理的、逻辑的访问控制也是可能的。

图6中示出的是其中控制系统40控制监控系统400的实施例。该实施例在很大程度上与图5中所示的实施例相同。因此，将仅详细描述不同的方面。传感器30被配置成检测监控下的场景。控制系统不一定控制致动器10，而是控制显示器10a。例如，机器学习系统60可以确定场景的分类，例如由光学传感器30检测到的场景是否可疑。然后，被传输到显示器10a的致动器控制信号A可以例如被配置成使得显示器10a取决于所确定的分类来调整所显示的内容，例如突出显示被机器学习系统60认为可疑的对象。

图7中示出的是其中控制系统40用于控制自动个人助理250的实施例。传感器30可以是例如用于接收用户249的手势的视频图像的光学传感器。替代地，传感器30也可以是例如用于接收用户249的语音命令的音频传感器。

控制系统40然后确定用于控制自动个人助理250的致动器控制命令A。致动器控制命令A是根据传感器30的传感器信号S来确定的。传感器信号S被传输到控制系统40。例如，分类器60可以被配置成例如实行手势识别算法来标识用户249做出的手势。控制系统40然后可以确定致动器控制命令A，以用于传输到自动个人助理250。然后，它将所述致动器控制命令A传输到自动个人助理250。

例如，致动器控制命令A可以是根据由分类器60识别的所标识的用户手势来确定。然后，它可以包括使得自动个人助理250从数据库中检索信息并且以适合用户249接收的形式来输出该检索到的信息的信息。

在另外的实施例中，可以设想的是，代替于自动个人助理250，控制系统40控制根据所标识的用户手势被控制的家用电器（未示出）。家用电器可以是洗衣机、炉子、烤箱、微波炉或洗碗机。

图8中示出的是用于控制成像系统500（例如MRI装置、x射线成像装置或超声成像装置）的控制系统40的实施例。传感器30可以例如是成像传感器。机器学习系统60然后可以确定感测到的图像的全部或部分的分类。然后可以根据该分类来选择致动器控制信号A，从而控制显示器10a。例如，机器学习系统60可以将感测到的图像的区域解释为潜在异常的。在这种情况下，致动器控制信号A可以被确定为使得显示器10a显示成像并且突出显示潜在异常的区域。

图9中示出的是用于调整预训练网络26和/或输入变换模块2的训练系统140的实施例。训练数据单元51确定输入信号x，这些输入信号x被传递到预训练网络26。例如，训练数据单元150可以访问计算机实现的数据库St ₂，在该数据库St ₂中存储了训练数据的集合X。集合X由输入信号x _i 组成。

预训练网络26被配置成从输入信号x _i 计算输出信号。这些输出信号也被传递到评估单元53。

评估单元53根据图1中描述的方法取决于来自评估单元的输入来确定更新的参数。更新的参数被传输到参数存储装置St ₁以替换当前参数。

此外，训练系统140可以包括处理器54（或多个处理器）和至少一个机器可读存储介质55，在该机器可读存储介质55上存储有指令，这些指令如果被实行，则使得控制系统140实行根据本发明的一个方面的方法。

如果处理器54是具有能够执行快速半精度计算（即，比全精度计算更快）的张量核的GPU，则优选地使用提供显著加速的混合精度算法来实行上述方法。

术语“计算机”覆盖了用于处理预定义计算指令的任何设备。这些计算指令可以采用软件的形式，或者采用硬件的形式，或者也可以采用软件和硬件的混合形式。

进一步理解的是，这些过程能够不仅完全在所描述的软件中实现。它们也可以在硬件中实现，或者以软件和硬件的混合形式来实现。

Claims (11)

1.一种计算机实现的扩充的机器学习系统（3），其中参数化输入变换模块（2）的输出与预训练的机器学习系统（26）的输入连接，其中预训练的机器学习系统（26）被配置成用于对图像进行分类，其中所述输入变换模块（2）被配置成至少线性地变换其输入，并且进一步被配置成将其经变换的输入输入到所述预训练的机器学习系统（26），

其中所述输入变换模块（2）被配置成至少部分地撤销其输入的域移位，使得其输出变得相对接近训练数据分布的原始输入，在所述训练数据分布上已经训练了所述预训练的机器学习系统（26），

其中所述输入变换模块（2）包括与线性变换模块（24、25）串联连接的另外的机器学习系统

，其中所述另外的机器学习系统

被配置成对所述输入变换模块（2）的输入进行非线性变换，其中所述线性变换模块（24、25）被配置成取决于表征线性变换的参数

对其输入进行线性变换，

其特征在于，在所述另外的机器学习系统

与所述线性变换模块（24、25）之间，互连了加法模块（23），并且所述加法模块（23）包括至少两个输入，并且第一输入被配置成接收所述另外的机器学习系统

的输出，并且第二输入被配置成接收所述输入变换模块（2）的输入，并且所述加法模块（23）被配置成对其输入进行加权求和，并且将总和输出到所述线性变换模块。

2.根据权利要求1所述的机器学习系统（3），其中所述输入变换模块（2）的输出具有与所述输入变换模块（2）的输入相同的尺寸/形状。

3.根据权利要求1或2所述的机器学习系统（3），其中所述另外的机器学习系统是神经网络，其至少包括卷积层、归一化层和具有ReLU的层。

4.一种用于参数化输入变换模块（2）的计算机实现方法，包括以下步骤：

接收预训练的机器学习系统（26）和来自第二数据集的多个样本；

将所述输入变换模块（2）的输出与所述预训练的机器学习系统（26）的输入进行连接；

接收来自第二数据集的多个样本；

估计接收到的样本的预期标注的第一分布

；

由与所述输入变换模块（2）连接的所述预训练的机器学习系统（26）来确定针对接收到的样本的子集的每个样本的输出；

取决于所述机器学习系统的所确定的输出的出现来估计标注的第二分布

；

确定表征了第一分布

与第二分布

之间的散度的第一损失函数L _div ，其中第一损失函数L _div 取决于至少所述输入变换模块（2）的参数，并且特别地取决于所述机器学习系统（26）的参数，

其中第一损失函数L _div 的散度是第一和第二分布

之间的Kullback-Leibler散度，并且其中通过迄今为止确定的输出之上的移动平均值来迭代地确定第二分布；以及

调整至少所述输入变换模块（2）的参数、并且特别是所述机器学习系统（26）的参数，使得第一损失L _div 减小。

5.根据权利要求4所述的方法，其中第一分布本质上是第一训练数据的类别的出现的均匀分布。

6.根据权利要求4或5中任一项所述的方法，其中确定第二损失函数（L _conf ），其中第二损失函数表征了所述预训练的机器学习系统（26）的输出与伪标注之间的（负）对数似然比，其中所述伪标注是取决于所述机器学习系统针对接收到的样本的当前子集的输出来估计的，

其中调整至少所述输入变换模块（2）的参数、并且特别是所述机器学习系统（26）的参数，以要么减小第一或第二损失函数、要么减小第一和第二损失函数两者，并且

其中所述伪标注是对所述机器学习系统的输出的独热编码，或者所述伪标注是所述机器学习系统的输出。

7.根据权利要求4至6中任一项所述的方法，其中以所述输入变换模块（2）针对所述预训练的机器学习系统（26）实行其输入的身份映射这种方式来初始化所述输入变换模块（2）的参数。

8.根据权利要求4至7中任一项所述的方法，其中在适配期间，适配所述预训练的机器学习系统（26）的归一化层的仿射参数。

9.根据权利要求4至8中任一项所述的方法，其中所述预训练的机器学习系统（26）是用于对从传感器（30）获得的输入信号（x）进行分类的分类器（60）。

10.一种包括指令的计算机程序，当所述程序由处理器（45、54）执行时，所述指令使得处理器（45、54）实行根据权利要求4至9中任一项所述的方法。

11.一种机器可读存储介质（46、55），在其上存储了根据权利要求10所述的计算机程序。

Images