CN116467587A - 用于连续机器学习不同任务的序列的方法和设备 - Google Patents

Abstract

提出了一种用于对函数(H)进行参数化的方法，所述函数针对大量不同的数据集输出机器学习系统的理想参数化。为此先后基于多个训练数据集进行机器学习系统的第一次教导(S13)，其中针对每个训练数据集存储所述机器学习系统的各个优化的参数化。然后同时基于所有数据集进行所述机器学习系统的第二次教导(S14)，其中存储所述机器学习系统的最优参数化。接着优化(S15)所述函数(H)的参数化，使得在给定所述第一次教导的最优参数化的情况下所述函数输出分配给所述第二次教导的最优参数化。

Description

用于连续机器学习不同任务的序列的方法和设备

技术领域

本发明涉及一种使用投影函数进行连续机器学习的方法和一种设备、一种计算机程序和一种机器可读存储介质，它们分别被设置为执行该方法。

背景技术

深度学习的连续学习(英语：Continuous learning，CL)涉及按顺序学习多个任务T₁，...T_n的问题，即诸如神经网络的机器学习系统首先基于T₁训练，然后基于T₂训练，以此类推。这种方案的一个常见问题是该方案会导致灾难性的遗忘。这意味着在基于任务n训练了神经网络之后，基于任务1，...，n-1的性能严重退化，即神经网络“忘记”了这些任务。相反，当基于所有任务一起训练时(也称为多任务处理)，神经网络能够成功学习所有任务。

Mirzadeh、Seyed Iman等人的″Linear mode connectivity in multitask andcontinual learning.″arXiv预印本arXiv：2010.04495公开了一种算法，该算法强制连续学习的先后学习的最小值表现得像多任务解那样。

发明内容

本发明代表一种元学习方案，其中在离线阶段，学习通过投影函数H：w_cl→w_mt将连续学习的参数化w_cl投影为多任务解w_mt。然后可以在离线阶段之后将经过学习的投影函数H用于将连续学习的参数化w_cl投影为新任务的多任务解w_mt，而无需存储来自先前任务的数据。

a)出于计算的原因和b)在数据保护至关重要的应用情况中(例如，不同的任务可能与来自不同最终用户的数据有关)出于数据保护的原因这是有利的。

换言之，具有独立权利要求1的特征的本发明的优点是本发明特别节省存储器，因为不需要存储来自先前看到的任务的数据。因此，本发明可以在具有特别小的存储器的系统上执行。

本发明的其他方面是独立权利要求的主题。有利的扩展是从属权利要求的主题。

在第一方面，本发明涉及一种用于对函数进行参数化的计算机实现的方法，所述函数针对大量不同的数据集输出机器学习系统的理想参数化。

该方法从提供多个(不同的)训练数据集(T₁，...，T_n)开始，其中向每个数据集分配唯一的索引(k)。训练数据集优选地被结构化为，使得训练数据集包括训练输入变量和分别分配给训练输入变量的训练输出变量。训练数据集可以彼此不同，使得各个数据集的训练输出变量不同，例如表征不同的对象。附加地或替代地，训练输入变量也可以彼此不同，例如不同数据集的训练输入变量表示不同的对象。唯一的索引可以理解为索引中的每个值都存在一次，因此每个数据集都具有不同的索引值。优选地使用直接连续的数字序列作为索引。

然后可以提供待参数化的函数并且所述函数优选地初始随机参数化。

然后多次重复以下步骤i-iv的序列：

i.从分配给训练数据集的多个索引中随机抽取一个索引(k∈1＜＝k＜＝n)；

ii对机器学习系统进行第一次教导，其中先后基于索引小于或等于抽取的索引的各个数据集教导所述机器学习系统。术语“教导”一般可以理解为优化所述机器学习系统的参数，使得所述机器学习系统学习相应数据集内的关联，以输出该数据集的训练输出变量。可以使用梯度下降方法来执行所述教导。在第一次教导期间，针对步骤ii中使用的各个数据集存储机器学习系统的为此在当前情况下优化的参数化换句话说，在第一次教导期间基于数据集(T₁，...，T_k)执行所谓的连续学习。

iii.基于索引小于或等于抽取的索引的所有数据集对所述机器学习系统进行第二次教导。存储在此情况下获得的所述机器学习系统的最优参数化。换句话说，这里基于数据集(T₁，...，T_k)执行多任务学习，以便基于抽取的所有训练数据集实现所述机器学习系统的合适参数化因此第一次教导与第二次教导的不同之处在于，在第一次教导期间基于各个数据集的教导先后进行，而在第二次教导期间同时使用这些数据集。

iv.然后将第一次教导的参数化分配给第二次教导的参数化。因此将连续学习的参数化分配给多任务学习的参数化。

接下来进行函数(H)的参数化(θ)的优化，使得在给定第一次教导的参数化的情况下通过所述函数(H)输出分配给第二次教导的参数化。

建议所述函数(H)的参数化(θ)的优化以最小化成本函数的方式进行，其中所述成本函数表征由所述函数输出的参数化与在第二次教导期间确定的参数化之间的差和/或所述机器学习系统基于由所述函数输出的参数化的预测精度与所述机器学习系统基于在第二次教导期间确定的参数化的预测精度之间的差。

形式上，所述函数的参数(θ)的优化可以如下给出：优选地，成本函数(L)是回归成本函数。一种替代方案是，所述成本函数不是在“参数空间”中而是在“函数空间”中最小化。即，如果N是由w参数化的机器学习系统(例如神经网络以及任何其他模型)，则所述优化可以如下所示：/>

这种替代方案的优点是，一定数量的参数w不一定必须相同，但机器学习系统使用其参数实现的输出却必须相同。在这种情况下，成本函数L可以是分类问题的典型成本函数，例如交叉熵。

除了通过该替代方案可以提供具有不同大小并因此具有不同数量的参数的机器学习系统的优点之外，由此还可以提供具有量化权重的机器学习系统。

此外建议，在第一次教导期间先后基于数据集教导所述机器学习系统，其中将所述数据集用于基于所述数据集的先后教导的顺序根据所述数据集的索引来进行。此外，优选地基于所述数据集的置换顺序重新执行第一次教导，其中也将在此情况下获得的所述机器学习系统的优化参数化分配给来自第二次教导的参数化。因此，扩大了用于优化所述函数的训练数据集，从而改进了函数(H)的泛化。

还建议，对于第二次教导，所述机器学习系统具有比第一次教导时更小的体系架构，或者在第二次教导之后所述机器学习系统在其体系架构方面被压缩，其中所述函数(H)被参数化为使得所述函数(H)基本上将第一次教导的参数化映射为第二次教导的参数化。这具有产生压缩的机器学习系统的优点，所述压缩的机器学习系统也可以在计算机资源特别有限的系统上执行。

还建议，所述机器学习系统对于第二次教导具有量化参数，或者所述机器学习系统的参数在第二次教导之后被量化(例如使用已知的量化方法)，其中所述函数(H)被参数化为使得所述函数(H)将第一次教导的参数化映射为量化的参数化。该过程的优点是可以通过量化的参数化实现特别节省存储器的机器学习系统。

此外建议，所述函数是线性函数或神经网络。特别优选地，所述函数是超网络，参见：https：//arxiv.org/pdf/1609.09106.pdf。

所述函数(H)附加地还可以依赖于机器学习系统的体系架构，即所述函数附加地获得一个变量作为输入变量，该变量表征所述机器学习系统的体系架构。于是函数(H)优选地是图神经网络。

在本发明的第二方面，建议了一种用于对机器学习系统进行后教导的计算机实现的方法，使得所述机器学习系统保留其先前的特性，也就是基于先前教导所述机器学习系统的数据集基本上保留了其良好的性能。因此，特性可以是分类准确度、错误率或等。

第二方面的方法开始于提供所述机器学习系统的当前参数化(w)和根据本发明的第一方面创建的函数(H)。接下来是提供新的数据集(T_j+1)并基于新的数据集教导所述机器学习系统以获得最优参数化接下来是通过使用借助于所述函数根据所述最优参数化确定的参数化/>来适配所述机器学习系统的参数化。

在本发明的另一方面，建议了一种使用根据本发明第二方面的经过后教导的机器学习系统作为用于对传感器信号进行分类的分类器的计算机实现的方法。所述分类器是通过根据本发明前述方面之一的方法而被采用的，具有以下步骤：接收包括来自图像传感器的数据的传感器信号，确定取决于所述传感器信号的输入信号，以及将所述输入信号馈入所述分类器以获得表征所述输入信号的分类的输出信号。

此外，针对本发明的所有方面建议所述机器学习系统的输入变量是图像并且所述机器学习系统是图像分类器。

所述图像分类器将输入图像分配给预给定分类的一个或多个类别。例如，批量生产的、名义上相同的产品的图像可以用作输入图像。所述图像分类器例如可以被训练为将输入图像分配给至少两个可能类别中的一个或多个，所述至少两个可能类别代表相应产品的质量评估。

诸如神经网络的图像分类器可以配备有这样一种结构，该图像分类器可以被训练为例如标识和区分成像传感器图像中的行人和/或车辆和/或交通标志和/或交通信号灯和/或路面和/或人脸和/或医学异常。替代地，诸如神经网络的分类器可以配备有这样一种结构，该结构可以被训练为标识音频传感器信号中的语音命令。

图像的概念原则上包括布置在二维或多维网格中的任何信息分布。例如，这些信息可以是使用任何成像模态(例如使用光学相机、使用热成像仪或使用超声)记录的图像像素的强度值。然而，任何其他数据，例如音频数据、雷达数据或激光雷达数据，也可以转换为图像，然后以相同的方式加以分类。

此外，建议将根据本发明前述方面的具有参数化的机器学习系统用于基于计算机的视觉(英语：computer vision)，特别是用于图像分类。

此外建议，所述机器学习系统根据传感器检测的传感器变量来确定输出变量，然后可以根据所述输出变量借助于例如控制单元来确定控制变量。

所述控制变量可以用于控制技术系统的致动器。所述技术系统例如可以是至少部分自主的机器、至少部分自主的车辆、机器人、工具、机器或诸如无人机的飞行对象。输入变量可以例如根据检测到的传感器数据来加以确定并提供给所述机器学习系统。传感器数据可以由所述技术系统的传感器(例如相机)检测或者替代地可以从外部接收。

在另外的方面，本发明涉及一种设备和一种计算机程序，它们分别被设置为执行上述方法，以及一种机器可读存储介质，所述计算机程序存储在所述机器可读存储介质上。

附图说明

下面参考附图更详细地解释本发明的实施方式。在附图中：

图1示意性地示出了本发明实施方式的流程图；

图2示意性地示出了用于控制至少部分自主的机器人的实施例；

图3示意性地示出了用于控制制造系统的实施例；

图4示意性地示出了用于控制访问系统的实施例；

图5示意性地示出了用于控制监视系统的实施例；

图6示意性地示出了用于控制个人助理的实施例；

图7示意性地示出了用于控制医学成像系统的实施例；

图8示意性地示出了训练设备。

具体实施方式

下面假设一个连续学习问题。这意味着先后基于不同数据集(在本关联中也称为不同任务)来训练机器学习系统(例如神经网络)。也就是在给定任务T₁，...，T_n的情况下，基于这些任务顺序地训练神经网络N。

这可以通过伪算法如下来执行：

1)基于T₁训练N以求解T₁，这导致机器学习系统关于T₁的最优参数化

2)基于T₂(从出发)训练N以求解T₂，这导致关于T₂的最优参数化/>

3)重复上述步骤直至T_n。

不幸的是，这种方法会遭受灾难性的遗忘，这意味着权重为的机器学习系统N在i≠j的所有任务T_i情况下的性能都很差。

另一方面，已经表明，在另一种环境(多任务环境)中——在该环境中基于所有先前任务共同训练机器学习系统N，在所有任务情况下的性能都很强。

多任务设置可以通过伪算法如下来执行：

1)基于T₁训练N以求解T₁，这导致最优参数化

2)基于T₂ 和基于T₁训练N以求解T₂和T₁，这导致最优参数化

3)重复步骤2)直到T_n。

在这种情况下，具有参数化的N的性能在所有j＜＝i的任务T_j情况下都很强，但前提是在基于T_i训练时可以访问T_j，其中j＜＝i。

建议离线元学习阶段，在该阶段中教导带有参数θ的投影算子H，目标是将连续学习解投影为多任务解/>而无需访问/>投影H的参数θ是在离线阶段借助于元学习(Meta-Learning)学习的，然后可以在在线/测试时间阶段重复使用。

与其相关的伪代码可以如下所示：

阶段I[用于学习参数θ的元学习阶段-离线阶段]：

提供任务T₁，...，T_n；

对θ进行初始化；

具有以下步骤的循环：

1)抽取任务索引k：1＜＝k＜＝n；

2)用T₁，...，T_k执行CL以获得参数化其中优选抽取k个随机任务并且特别优选地改变这些任务的顺序；

3)用T₁，...，T_k执行多任务学习以获得

4)通过来优化θ；

阶段II[元测试-在线阶段]：

提供机器学习系统N的当前参数化w；

如果存在新任务T_j+1：

1)针对T_j+1教导机器学习系统N(w)以获得最优参数化

2)将机器学习系统的参数化适配为

投影H在这里可以通过任何可参数化函数给出，例如线性映射或通过神经网络。阶段I中第4行中的成本函数(英语：loss function)可以是差值的任何度量，例如回归损失或任何范数。

图1示意性地示出了用于参数化函数(H)的方法的流程图(20)，所述函数针对大量不同数据集输出机器学习系统的理想参数化。

在第一步骤中，提供(S11)多个训练数据集(T₁，...，T_n)，其中向每个训练数据集分配一个索引(k)。

然后多次重复以下步骤：

随机选择(S12)一个索引(k∈1＜＝k＜＝n)。先后基于所分配的索引小于或等于抽取的索引的训练数据集进行机器学习系统的第一次教导(S13)，其中针对每个训练数据集存储所述机器学习系统的各个优化的参数化同时基于所分配的索引小于或等于抽取的索引的所有数据集进行机器学习系统的第二次教导(S14)，其中存储所述机器学习系统的最优参数化/>将第一次教导(S13)的参数化分配给第二次教导(S14)的参数化。

在步骤(S12-S14)重复足够多次之后，例如直到满足终止标准为止，对函数(H)的参数化(θ)进行优化(S15)，使得在给定第一次教导的参数化的情况下所述函数输出分配给第二次教导的参数化/>可以使用诸如SGD或反向传播的已知训练算法来进行优化(S15)。

在结束步骤S15之后，可以结束该方法并且可以输出参数化的函数。

可以想到，在步骤S15之后还可以执行进一步的步骤，例如当存在新的训练数据集时，机器学习系统针对该新的训练数据集也应当具有良好的预测精度，其中机器学习系统对先前使用的数据集的性能不应恶化。然后可以执行以下步骤。

提供(S16)机器学习系统的当前参数化(w)和步骤S15之后的函数(H)。

提供(S16)新数据集(T_j+1)。

基于新数据集(T_j+1)教导(S17)机器学习系统，以获得针对新数据集的新的最优参数化

借助于函数(H)根据新的最优参数化确定基于所有数据集实现良好性能的参数化，并且使用函数(H)输出的参数化来适配(S18)机器学习系统的参数化。

在步骤S18之后获得的机器学习系统可以如下所解释地使用。

图2示意性地示出了具有控制系统40的致动器。以优选规则的时间间隔使用传感器30，特别是诸如视频传感器的成像传感器来检测环境20，传感器30也可以通过多个传感器给定，例如立体摄像机。还可以想到其他成像传感器，例如雷达、超声或激光雷达。也可以想到热成像仪。将传感器30的传感器信号S——或者在多个传感器的情况下每个传感器信号S——传送到控制系统40。控制系统40因此接收传感器信号S的序列。控制系统40从中确定操控信号A，将该操控信号A传输到致动器10。致动器10可以将接收到的控制命令转换为机械运动或物理变量的变化。致动器10可以例如将控制命令A转换为电气的、液压的、气动的、热的、磁的和/或机械的运动或引起变化。具体但非限制性的示例是电动机、电活性聚合物、液压缸、压电致动器、气动致动器、伺服机构、螺线管、步进电机等。

控制系统40在可选的接收单元50中接收传感器30的传感器信号S序列，该接收单元将传感器信号S序列转换为输入图像x序列(替代地，也可以将每个传感器信号S直接采用为输入图像x)。例如，输入图像x可以是传感器信号S的片段或进一步处理。输入图像x包括视频记录的各个帧。换句话说，根据传感器信号S来确定输入图像x。将输入图像x序列输送到来自步骤S18的神经网络，在本实施例中为人工神经网络60。

人工神经网络60优选地通过参数来予以参数化，所述参数存储在参数存储器中并且由该参数存储器提供。

人工神经网络60从输入图像x中确定输出变量y。这些输出变量y可以特别是包括输入图像x的分类和语义分割。将输出变量y输送到可选的整形单元80，该整形单元从中确定将输送到致动器10以对应地操控致动器10的操控信号A。输出变量y包括关于传感器30已检测到的对象的信息。

致动器10接收操控信号A，被对应地操控并执行对应的动作。致动器10在此情况下可以包括(不一定在结构上集成的)操控逻辑，所述操控逻辑从操控信号A中确定第二操控信号，然后用该第二操控信号来操控致动器10。

在进一步的实施方式中，控制系统40包括传感器30。在还进一步的实施方式中，控制系统40替代地或附加地还包括致动器10。

在进一步的优选实施方式中，控制系统40包括一个或多个处理器45和至少一个机器可读存储介质46，在所述机器可读存储介质上存储有指令，当指令在处理器45上执行时，所述指令促使控制系统40执行根据本发明的方法。

在替代实施方式中，替代或附加于致动器10地设置显示单元10a，该显示单元可以显示控制系统40的输出变量。

在其他实施方式中，显示单元10a可以是回放设备的输出接口，例如显示器、光源、扬声器、振动电机等，所述输出接口可以用于产生感官可感知的输出信号。

在图2的优选实施方式中，控制系统40被设置为控制致动器，这里是至少部分自主的机器人的致动器，所述至少部分自主的机器人这里是至少部分自主的机动车辆100。传感器30可以是例如优选地布置在机动车辆100中的视频传感器。

优选地布置在机动车辆100中的致动器10可以是例如机动车辆100的制动器、驱动器或转向系统。于是操控信号A可以被确定为，使得按照以下方式操控一个或多个致动器10，即，机动车辆100例如防止与由人工神经网络60可靠标识的对象碰撞，特别是当所述对象是特定类别的对象，例如行人时。

替代地，至少部分自主的机器人还可以是其他移动机器人(未示出)，例如是通过飞行、游泳、潜水或步行来移动的机器人。所述移动机器人还可以是例如至少部分自主的割草机或至少部分自主的清洁机器人。在这些情况下，操控信号A也可以被确定为，使得按照以下方式操控移动机器人的驱动器和/或转向系统，即，至少部分自主的机器人例如防止与由人工神经网络60标识的对象碰撞。

图3示出了一种实施例，其中控制系统40用于操控制造系统200的制造机器11，其方式是操控控制该制造机器11的致动器10。制造机器11可以是例如用于冲压、锯切、钻孔和/或切割的机器。

于是传感器30可以是例如光学传感器，其例如检测制成品12a、12b的特性。可能的是，这些制成品12a、12b是可移动的。可以根据所检测的制成品12a、12b的分配来操控控制制造机器11的致动器10，从而制造机器11对应地执行制成品12a、12b中的正确制成品的后续加工步骤。还可能的是，通过标识制成品12a、12b中相同制成品的正确特性(即，没有错配)，制造机器11对应地适配相同的制造步骤以加工后续的制成品。

图4示出了一种实施例，其中控制系统40被设置为控制访问系统300。访问系统300可以包括物理访问控制，例如门401。视频传感器30被设置为检测人员。可以借助于对象标识系统60来解释所检测的图像。如果同时检测多个人员，则可以通过将这些人员(即对象)彼此关联来例如特别可靠地确定人员的身份，例如通过分析人员的运动。致动器10可以是锁，其根据操控信号A来解除访问控制或不解除访问控制，例如打开门401或不打开门401。为此，可以根据对象标识系统60的解释来选择操控信号A，例如根据所确定的人员身份。代替物理访问控制，也可以设置逻辑访问控制。

图5示出了一种实施例，其中控制系统40用于控制监视系统400。该实施例与图5所示的实施例的不同之处在于，代替致动器10设置了由控制系统40操控的显示单元10a。例如，人工神经网络60可以可靠地确定由视频传感器30记录的对象的身份以根据该身份例如推断哪些对象是可疑的，然后可以选择操控信号A，使得该对象由显示单元10a彩色地突出显示。

图6示出了一种实施例，其中控制系统40被设置为控制个人助理250。传感器30优选地是接收用户249的手势图像的光学传感器。

根据传感器30的信号，控制系统40确定个人助理250的操控信号A，其方式是例如由神经网络执行手势识别。然后将所确定的操控信号A传送到个人助理250并且因此对应地操控该个人助理。所确定的操控信号A可以特别是被选择为，使得它对应于由用户249进行的假定的期望操控。可以根据由人工神经网络60识别的手势来确定所述假定的期望操控。控制系统40然后可以根据所述假定的期望操控来选择操控信号A以传送到个人助理250，和/或与所述假定的期望操控对应地选择操控信号A以传送到个人助理250。

对应的操控例如可以包括：个人助理250从数据库中检索信息并以用户249可接受的方式再现所述信息。

代替个人助理250，也可以设置家用电器(未示出)，特别是洗衣机、电炉、烤箱、微波炉或洗碗机，以对应地加以操控。

图7示出了一种实施例，其中控制系统40用于控制医学成像系统500，例如MRT设备、X射线设备或超声设备。传感器30可以例如由成像传感器给定，由控制系统40来操控显示单元10a。例如，神经网络60可以确定由所述成像传感器记录的区域是否显眼，然后可以选择操控信号A，使得该区域由显示单元10a彩色地突出显示。

图8示意性地示出了包括提供器51的训练设备500，所述提供器从训练数据集中提供输入图像。将输入图像输送到待训练的神经网络52，所述神经网络从中确定输出变量。将输出变量和输入图像输送到评估器53，评估器53从中确定将传送到参数存储器P并替换那里的当前参数的更新的超参数/参数。评估器53例如被设置为执行根据图1的方法的步骤S13和S14以及S17。

由训练设备500执行的方法可以实现为计算机程序地存储在机器可读存储介质54上并由处理器55执行。

术语“计算机”包括用于处理可预给定的计算规则的任何设备。这些计算规则可以以软件形式存在，或者以硬件形式存在，或者以软件和硬件的混合形式存在。

Claims (10)

1.一种用于对函数(H)进行参数化的方法，所述函数针对大量不同的数据集输出机器学习系统的参数化，

包括以下步骤：

提供(S11)多个训练数据集(T₁，...，T_n)，其中向每个训练数据集分配一个索引(k)；

多次重复以下步骤i-iv的序列：

i.随机抽取(S12)一个索引(k∈1＜＝k＜＝n)；

ii.先后基于所分配的索引小于或等于抽取的索引的训练数据集进行所述机器学习系统的第一次教导(S13)，其中针对每个训练数据集存储所述机器学习系统的各个优化的参数化

iii.基于所分配的索引小于或等于抽取的索引的所有数据集进行所述机器学习系统的第二次教导(S14)，其中存储所述机器学习系统的最优参数化

iv.将所述第一次教导(S13)的最优参数化分配给所述第二次教导(S14)的参数化；

优化(S15)所述函数(H)的参数化(θ)，使得在给定所述第一次教导的最优参数化的情况下所述函数(H)输出分配给所述第二次教导的最优参数化/>

2.根据权利要求1所述的方法，其中，所述函数(H)的参数化(θ)的优化以最小化成本函数的方式进行，其中所述成本函数表征由所述函数(H)输出的参数化与在所述第二次教导期间确定的参数化之间的差和/或所述机器学习系统基于由所述函数(H)输出的参数化的预测精度与所述机器学习系统基于所述第二次教导的参数化的预测精度之间的差。

3.根据前述权利要求中任一项所述的方法，其中，对于所述第二次教导(S14)，所述机器学习系统具有比所述第一次教导(S13)时更小的体系架构，和/或在所述第二次教导之后所述机器学习系统在其体系架构方面被压缩，其中所述函数(H)被参数化为使得所述函数(H)基本上将所述第一次教导的参数化映射为所述第二次教导的参数化。

4.根据前述权利要求中任一项所述的方法，其中，所述机器学习系统对于所述第二次教导(S14)具有量化参数，或者所述机器学习系统的参数在所述第二次教导(S14)之后被量化，其中所述函数(H)被参数化为使得所述函数(H)将所述第一次教导的参数化映射为分配给所述第二次教导的量化的参数化。

5.根据前述权利要求中任一项所述的方法，其中，所述函数(H)是线性函数或神经网络。

6.一种用于对机器学习系统进行后教导的方法，使得所述机器学习系统保留其先前学习的特性，包括以下步骤：

提供(S16)所述机器学习系统的当前参数化(w)和根据前述权利要求之一的函数(H)；

提供(S16)新数据集(T_j+1)；

基于所述新数据集(T_j+1)教导(S17)所述机器学习系统，以获得针对所述新数据集的新的最优参数化

借助于所述函数(H)根据所述新的最优参数化来适配(S18)所述机器学习系统的参数化。

7.根据权利要求6所述的方法，其中，所述机器学习系统使用经过适配的参数根据第一变量确定第二变量，其中所述第一变量表征技术系统的运行状态或所述技术系统的环境的状态，并且其中所述第二变量表征所述技术系统的运行状态、用于操控所述技术系统的操控变量或用于调节所述技术系统的额定变量。

8.一种被设置为执行根据前述权利要求中任一项所述的方法的设备。

9.一种计算机程序，包括指令，当该程序由计算机执行时，所述指令促使所述计算机执行根据权利要求1至7中任一项所述的方法。

10.一种机器可读存储介质(146、148)，其上存储有根据权利要求9所述的计算机程序。