CN111630534A - 用于分析模型的协作机器学习的方法 - Google Patents

Abstract

一种用于分析模型AM的机器学习的方法，所述分析模型AM包括在不同客户（A，B）的任务t之间共享的核心模型组件CMC，并且包括特定于个体客户（A，B）的客户任务t的专用模型组件SMC，其中，基于由不同客户（A，B）的客户场所（2A，2B）的机器（3A，3B）提供的本地数据LD在本地数据LD不离开相应的客户场所（2A，2B）的情况下来协作地执行分析模型AM的机器学习。

Description

用于分析模型的协作机器学习的方法

本发明涉及一种用于执行分析模型的协作机器学习的方法，该分析模型可以部署在诸如不同客户的制造工厂之类的客户场所的客户计算设备上。

机器学习是一种用于工业过程优化的工具，其可以用于多种多样不同的应用中，例如用于机床的优化、用于数字电网中的故障检测、用于增加风力涡轮机的效率、用于执行工厂自动化过程监视、用于执行传感器数据的分析或例如燃气涡轮机中的排放减少。

机器学习算法的开发是数据驱动的，并且典型地牵涉创建感兴趣系统的参数化数据模型，以及利用大量过程数据训练数据模型。数据模型高效地学习被调查系统的行为，例如以做出预测或优化过程。数据模型的质量通常与可用于训练相应数据模型的数据量直接相关。通常，如果更多的数据可用，则训练可以导致更好执行的数据模型。

因此，存在不同客户的兴趣，即执行类似的过程来汇集他们的数据，以训练由不同的客户通常使用的数据模型来生成提供更高性能的数据模型。然而，执行类似过程的不同客户经常是竞争对手，并且有兴趣保持他们的本地数据不公开并且希望将工业数据保持在其本地客户场所内。

因此，本发明的目的是要提供一种用于分析模型的机器学习的方法，所述方法允许优化不同客户的工业过程。

根据本发明的第一方面，该目的通过包括权利要求1的特征的用于分析模型的机器学习的方法来实现。

根据本发明的第一方面，本发明提供了一种用于分析模型的机器学习的方法，所述分析模型包括在不同客户的任务之间共享的核心模型组件，并且包括特定于个体客户的客户任务的专用模型组件，其中基于由不同客户的客户场所的机器提供的本地数据在本地数据不离开相应的客户场所的情况下来协作地执行分析模型的机器学习。

在根据本发明的第一方面的用于分析模型的机器学习的方法的可能实施例中，特定于相关联的客户任务的分析模型由第三方后端部署在指派的客户计算设备上，所述指派的客户计算设备特别是位于客户的客户场所处并且连接到处理实体的边缘计算设备、特别是提供本地数据的相应客户的机器、特别是由相应机器生成的工业数据和/或机器数据。

在根据本发明第一方面的方法的另一个可能的实施例中，基于本地数据——特别是本地工业数据——可以在指派的客户计算设备上执行部署的客户任务特定的分析模型，以提供分析模型的模型更新，其中更新的共享核心模型组件由客户计算设备经由接口作为候选核心模型组件传送到第三方后端。

在根据本发明第一方面的方法的另一个可能的实施例中，第三方后端组合所传送的接收的候选核心模型组件，以提供全局候选核心模型组件。

在根据本发明第一方面的方法的另一个可能的实施例中，如果核实了部署的分析模型性能优于相应的候选分析模型，则用包括所提供的全局候选核心模型组件的候选分析模型替换部署在客户的指派客户计算设备上的分析模型。

在根据本发明第一方面的方法的可能实施例中，分析模型包括神经网络，神经网络包括若干个网络层。

在根据本发明第一方面的方法的可能实施例中，核心模型组件包括在不同客户的任务之间共享的神经网络的一个或多个底层。

在根据本发明第一方面的方法的另一个可能实施例中，专用模型组件包括特定于相关联客户任务的神经网络的一个或多个顶层。

在根据本发明第一方面的方法的仍另一个可能的实施例中，由第三方后端使用由第三方提供和/或由客户提供的可用测试数据来执行核实。

在根据本发明第一方面的方法的仍另一个可能的实施例中，通过分析包括所提供的全局候选核心模型组件的候选分析模型来执行核实。

在根据本发明第一方面的方法的另一个可能的实施例中，通过测试被部署在客户场所的客户计算设备上的候选分析模型来执行核实。

在可能的实施例中，在安全计算设备中执行核实。

在根据本发明第一方面的方法的另一个可能的实施例中，在第三方后端处和/或在每个客户的客户场所上维护和管理包括核心模型组件并且包括专用模型组件的每个完整分析模型的多个模型版本。

在根据本发明第一方面的方法的可能实施例中，分析模型的模型版本包括分析模型的生产模型版本、分析模型的局部模型版本和分析模型的全局模型版本。

在根据本发明第一方面的方法的仍另一个可能的实施例中，分析模型的生产模型版本在客户场所处的生产过程期间在生产模式下对过程或工业数据可执行。

在根据本发明第一方面的方法的另一个可能的实施例中，分析模型的局部模型版本在开发模式下可执行，其具有特定于相关联的客户任务的专用模型组件并且具有固定的核心模型组件，所述专用模型组件在任务特定的本地数据基础上进行更新。

在根据本发明第一方面的方法的仍另一个可能的实施例中，分析模型的全局模型版本在开发模式下可执行，并且具有特定于相关联的客户任务的专用模型组件并且具有核心模型组件，所述专用模型组件在任务特定的本地数据基础上进行更新，所述核心模型组件在遍及跨所有客户的客户场所之上的所有兼容任务中的本地数据基础上进行更新。

在根据本发明第一方面的方法的仍另一个可能的实施例中，使用本地测试数据来本地监视由分析模型的全局模型版本提供的性能和由分析模型的全局模型版本提供的性能。

在根据本发明第一方面的方法的仍另一个可能的实施例中，如果由分析模型的全局模型版本提供的性能优于由分析模型的局部模型版本提供的性能，则局部模型版本的核心模型组件和专用模型组件被分析模型的全局模型版本的对应模型组件替换。

在根据本发明第一方面的方法的另一个可能的实施例中，如果由分析模型的全局模型版本提供的性能或由分析模型的局部模型版本提供的性能优于由分析模型的生产模型版本提供的性能，则用提供最佳或最高性能的分析模型的模型版本替换分析模型的生产模型版本。

在根据本发明第一方面的方法的仍另一个可能的实施例中，分析模型的模型版本的替换取决于由分析模型的模型版本提供的性能和/或取决于匿名阈值来被自动执行。

在根据本发明第一方面的方法的仍另一个可能的实施例中，任务包括推理任务以及用于改进分析模型的学习任务，在推理任务的情况下，应用分析模型来接收本地数据。

在根据本发明第一方面的方法的另一个可能的实施例中，客户计算设备包括边缘计算设备，所述边缘计算设备将位于客户场所的机器和/或工业过程的接收到的本地数据供给到客户场所的本地数据集中器，所述客户场所的本地数据集中器收集和/或聚合从边缘计算设备接收到的本地数据，并且经由客户场所网关将它们转发到中央第三方云后端。

根据第二方面，本发明进一步提供了一种包括权利要求17的特征的工业系统。

根据第二方面，本发明提供了一种工业系统，所述工业系统包括：不同客户的客户场所，其中每个客户场所包括提供应用于客户计算设备的本地数据的一个或多个机器，所述客户计算设备已经部署了分析模型，所述分析模型包括在不同客户的任务之间共享的核心模型组件并且包括特定于个体客户的客户任务的专用模型组件；以及包括第三方后端，所述第三方后端适于组合通过在本地数据上被训练的分析模型的更新的共享核心模型组件而形成的候选核心模型组件，以生成全局候选核心模型组件，并且如果核实了部署的分析模型性能优于对应的候选分析模型，则用包括全局候选核心模型组件的候选分析模型来替换被部署在指派的客户计算设备上的分析模型。

在下文中，参考附图更详细地描述本发明不同方面的可能实施例。

图1示出了用于图示根据本发明的系统和方法的操作的示意图；

图2示出了用于图示根据本发明第一方面的用于分析模型的机器学习的方法的可能示例性实施例的流程图；

图3、图4、图5图示了用于解释由图2中图示的方法执行的不同步骤的框图；

图6示出了用于图示分析模型的不同版本的另一个示意图，所述分析模型可以用于根据本发明的方法和系统的特定实施例中。

如可以在图1中看到的，分析模型AM可以包括两种类型的模型组件。分析模型AM可以包括不同种类的分析模型，例如包括若干个神经网络层的神经网络NN。存在多种多样不同的数据模型和/或分析模型AM，其可以用于在工业系统中实现的宽范围的目的和应用。图1中图示的分析模型AM包括在不同客户Cust的任务t之间共享的核心模型组件CMC。分析模型AM进一步包括特定于个体客户Cust的客户任务t的专用模型组件SMC。在图1的图示示例中，存在m个不同的客户Cust，他们可以运行不同的车间或制造工厂，所述车间或制造工厂包括各自的生成机器或者工业或过程数据作为相应客户场所的本地数据LD的工业设备或机器，也如图1中所图示。每个客户Cust可以执行数量为n的不同任务。也如图1中所图示，相应分析数据模型AM的专用模型组件SMC特定于客户任务t。在图1中所示的示例中，第一客户的第一客户场所站点Cust1可以在相应客户场所站点的本地数据LD基础上来执行n1任务t。

图1中示意性地图示的分析模型AM可以例如包括神经网络NN，该神经网络NN包括若干个神经网络层。在这种情况下，核心模型组件CMC可以包括神经网络NN的一个或多个底层，所述一个或多个底层可以在不同客户Cust的不同任务t之间共享。神经网络NN的底层是神经网络NN的接收侧上的层。此外，专用模型组件SMC可以包括神经网络NN的一个或多个顶层，所述一个或多个顶层特定于相关联的客户任务t并且使用由神经网络NN的一个或多个底层提供的过程数据。数据模型或分析模型AM由在任务t之间共享的模型组件组成，所述模型组件即核心模型组件CMC和分别特定于任务t和客户Cust的专用模型组件SMC。

利用根据本发明的方法，基于由不同客户Cust的客户场所或制造工厂处的机器或工业设备提供的本地数据LD在本地数据LD不离开相应的客户场所的情况下来协作地执行分析模型AM（诸如神经网络NN）的机器学习。

共享模型组件、即核心模型组件CMC可以使用贯穿所有兼容任务t以及客户可用的机器数据或工业数据进行更新，其服务于跨所有任务t之上有益的一般特征提取器的目的。兼容指代解决两个不同任务t牵涉共同（抽象）子目标的假设。相比之下，任务和客户特定的模型组件SMC是单独学习或者专门从本地可用的本地数据LD中学习的，其用作构建在全局操作的核心模型组件CMC的顶部上的细化模块。分析模型AM的模型核心可以由核心模型组件CMC组成并且可以具有复杂的结构，所述复杂的结构要求大量的数据被高效地训练。给定核心模型，局部学习任务在复杂性方面可以显著降低，其仅要求在这些特定或专用模型组件SMC中低复杂性的数据模型，并且确实要求数量级更少的数据被高效地训练。

图2示出了根据本发明第一方面的用于分析模型AM的机器学习的方法的可能示例性实施例的流程图。在该方法的图示实施例中，该方法包括四个主要步骤。在第一步骤S1中，特定于相关联的客户任务t的分析模型AM由第三方后端7部署在指派的客户计算设备上，所述指派的客户计算设备位于相应客户的客户场所处并且连接到提供本地数据LD的相应客户的机器或工业设备。本地数据LD可以包括由连接到客户计算设备的机器生成或提供的机器数据。

在进一步的步骤S2中，基于本地数据LD，在指派的客户计算设备上执行部署的客户任务特定的分析模型AM，以提供分析模型AM的模型更新。在步骤S2中，更新的共享核心模型组件CMC作为候选核心模型组件被传送到第三方后端7。

在进一步的步骤S3中，第三方后端7组合接收到的传送的候选核心模型组件，以提供全局候选核心模型组件。

在进一步的步骤S4中，如果核实了部署的分析模型AM性能优于相应的候选分析模型AM，则用包括所提供的全局候选核心模型组件的候选分析模型AM替换部署在客户Cust的指派客户计算设备上的分析模型AM。在可能的实施例中，在步骤S4中执行的核实可以由第三方后端7使用由第三方提供或由客户提供的可用测试数据来执行。在可能的实施例中，可以通过分析包括所提供的全局候选核心模型组件的候选分析模型AM来执行核实。在可能的实施例中，可以通过测试被部署在不同客户场所处的客户计算设备上的候选分析模型AM来执行测试。

图3、图4、图5图示根据本发明第一方面的用于分析模型AM的协作机器学习的方法的不同步骤。图3、图4、图5示意性地图示工业系统1，该工业系统1包括两个不同客户CustA、B的不同客户场所2A、2B。每个客户Cust场所可以包括车间或制造工厂，该车间或制造工厂包括多个不同的工业设备或机器，也如图3中所图示。在图3中所示的实施例中，第一客户A的客户场所2A包括3A-1至3A-N的不同的工业机器。第二客户B的另一客户场所2B包括3B-1至3B-M的不同的工业设备或机器。每个客户场所2A、2B可以包括若干个客户计算设备（CCM），特别是边缘计算设备。在图3中图示的示例中，第一客户A的客户场所站点2A包括连接到相关联的工业设备3A-1至3A-N的N个客户计算设备4A-1至4A-N。若干个工业设备连接到一个共同的客户计算设备也是可能的。在图示的实施例中，不同的客户计算设备4A、4B经由工厂网络或本地网络5A、5B连接到处理单元6A、6B，该处理单元6A、6B可以适于执行数据聚合或数据集中，并且可以可选地用作网关，该网关向不同于客户A、B的第三受信方的第三方后端7提供接口。可以在云中实现第三方后端7。如在图3中所图示的，（虚线）分析模型AM可以由第三方后端7部署到处于客户场所2A、2B上的客户计算设备CCD 4A、4B中。客户场所2A、2B的客户计算设备4A、4B可以连接到工业设备3A、3B以接收机器或工业数据。不同的客户计算设备4A、4B可以执行推理任务、学习任务或者推理和学习任务二者。在学习任务中，分析模型AM被应用于新接收的工业数据。在学习任务中，接收到的数据用于改进分析模型AM。在可能的实施例中，客户计算设备4A、4B可以包括边缘计算设备。这些边缘计算设备可以直接连接到工业设备或机器3A、3B。替代地，客户计算设备4A、4B可以经由网络接口接收工业设备3A、3B的机器数据，即本地数据LD。处理单元6A、6B可以充当数据集中器，并且从相应客户站点的许多不同的客户计算设备4A、4B收集数据。此外，处理单元6A、6B可以作为网关来操作，以向工业系统1的第三方后端7提供数据连接。如在图3中所图示的，第三方后端7在步骤S1中在客户计算设备4A、4B上和/或在处理单元6A、6B上部署分析模型AM，所述分析模型AM可以由客户场所2A、2B的不同任务t使用。分析模型AM被部署到客户站点2A、2B的客户计算设备4A、4B和/或处理单元6A、6B，并且被特别地定制用于个体客户任务t。分析模型AM可以在步骤S1中由第三方后端7部署，第三方后端7可以安装在网络云的服务器上。分析模型AM被指派到例如制造工厂的客户场所上的不同客户计算设备4A、4B。

图4图示根据本发明第一方面的方法的另一个步骤S2。图4图示用于模型更新的执行和本地训练，该模型更新基于客户场所2A、2B自己的机器或工业本地数据LD而直接在客户场所2A、2B上发生。在步骤S2中，基于由工业设备3A、3B提供的本地数据LD，在指派的客户计算设备4A、4B上执行部署的客户任务特定的分析模型AM，以提供分析模型AM的模型更新。然后，这些分析模型AM的更新的共享核心模型组件CMC作为候选核心模型组件CMC经由数据接口或网关6A、6B传送到第三方后端7。客户计算设备4A、4B将本地分析模型AM应用于它们自己的本地数据LD，并且可以并行执行学习任务，以便基于它们自己的本地数据LD产生模型更新。由每个客户场所2A、2B交付的更新至少包括对分析模型AM的共享核心模型组件CMC的更新。在可能的实施例中，由每个客户场所交付的更新还可以可选地包括更新的分析模型AM的特定专用模型组件SMC。更新的模型组件可以包括例如形成分析数据模型AM的神经网络NN的权重值w。发送到第三方后端7的信息或数据至少包含对于分析模型AM的共享核心模型组件CMC的更新。在可能的实施例中，可能的是：在将更新发送到第三方后端7之前首先发生对来自若干个机器的模型更新的聚合。此外，可能的是：在已经执行了若干个相同的制造步骤之后执行随时间取平均。客户场所站点2A、2B的客户Cust可选地可以在该阶段应用其自己的隐私措施，例如对模型更新添加某些扰动。

在进一步的步骤S3中，第三方后端7可以组合传送的（局部）候选核心模型组件CMC，以提供全局候选核心模型组件gcCMC。如果核实了部署的分析模型AM性能优于相应的候选分析模型AM，则第三方可以在步骤S4中用包括全局候选核心模型组件gcCMC的候选分析模型来替换被部署在客户的指派客户计算设备4A、4B上的分析模型AM。在可能的实施例中，核实可以在中央第三方后端7中发生。可以由第三方后端7在可能的实现中使用可用的测试数据TD或由第三方自身提供的测试数据集或者通过使用由不同客户A、B提供的测试数据TD来执行核实。此外，第三方后端7可以适于自己分析更新，即执行统计分析并且在它们之间执行比较。

在另一个可能的实施例中，可以通过分析包括所提供的全局候选核心模型组件gcCMC的候选分析模型cAM来执行核实。在可能的实施例中，可以通过测试被部署在不同客户场所2A、2B的客户计算设备4A、4B上的候选分析模型cAM来执行核实。可选地，可以通过在第三方的客户场所上安全地部署和执行部分模型更新以便对它们进行测试来执行核实。基于测试结果，第三方后端7可以维护每个客户任务t的模型版本，并且更新在生产中使用的模型。

在可能的实施例中，在第三方后端7处和/或在客户A、B的客户场所2A、2B上管理和维护每个完整分析模型AM的不同模型版本。完整分析模型AM包括核心模型组件CMC和专用模型组件SMC二者。在可能的实施例中，由第三方后端7或在客户A、B的客户场所2A、2B来维护和管理每个分析模型AM的三个不同模型版本。这些模型版本包括分析模型AM的生产模型版本PMV-AM、分析模型AM的局部模型版本LMV-AM和分析模型AM的全局模型版本GMV-AM。图6中还图示分析模型AM的这三个不同的模型版本。

图6中在左侧图示的分析模型的生产模型版本PMV-AM可以在客户场所处执行的生产过程期间在生产模式下对工业数据LD执行。

在图6的中间图示的分析模型的局部模型版本LMV-AM在开发模式下可执行。分析模型的局部模型版本LMV-AM包括特定于相关联的客户任务t的专用模型组件SMC并且包括固定的核心模型组件CMC，所述专用模型组件SMC在任务特定的本地数据LD基础上进行更新。

分析模型的全局模型版本GMV-AM也在开发模式下可执行，并且包括特定于相关联的客户任务t的专用模型组件SMC并且进一步包括核心模型组件CMC，所述专用模型组件SMC在任务特定的本地数据LD基础上进行更新，所述核心模型组件CMC在遍及跨所有客户的客户场所之上的所有兼容任务t中的本地数据LD基础上进行更新。

在图6中，图示在本地数据LD基础上的模型组件更新。图6中所示的锁定符号和更新符号指示相应的模型组件是否通过数据得到更新。

分析模型的生产模型版本PMV-AM（图6，左侧）仅通过复制分析模型的局部模型版本LMV-AM而不是通过数据进行更新。

在分析模型的局部模型版本LMV-AM（图6，在中间）中，仅任务特定的模型组件SMC从任务特定的本地数据LD进行更新，并且核心模型组件CMC是固定的（锁定符号）。

在分析模型的全局模型版本GMV-AM（图6，右侧）中，核心模型组件CMC基于来自跨所有客户之上的所有兼容任务t的数据进行更新，并且任务特定的数据基于任务特定的本地数据LD进行更新。

在分析模型的全局模型版本GMV-AM性能优于分析模型的局部模型版本LMV-AM的情况下，用分析模型的全局模型版本GMV-AM替换分析模型的局部模型版本LMV-AM。图示的机制适于保护针对客户Cust处的任务t的局部生产模型性能。在可能的实施例中，第三方后端7或每个客户Cust为每个任务t维护充足大小的本地标签数据集（测试数据集），核心模型组件CMC和任务特定的模型组件SMC都没有为了训练目的而暴露给所述本地标签数据集（测试数据集）。该测试数据集可以用作独立的测试集合来近似和执行由不同模型版本针对对应的任务t提供的性能基准测试。

使用该测试数据集，为核心模型组件CMC和专用模型组件SMC实现半自动或全自动版本控制系统是可能的。操作数据模型的更新可以按需求被执行，或者基于模型版本在本地提供的基准测试数据集上的性能来被自动执行。出于该目的，第三方后端7或每个客户Cust可以维护完整分析模型AM的三个本地副本或版本，其包括核心模型组件CMC和用于每个个体客户和每个任务t的专用模型组件SMC。这三个本地副本在图6中图示。在工业系统1的操作期间，第一个本地副本、即分析模型的生产模型版本PMV-AM在生产模式下运行。另外两个本地副本——包括分析模型的局部模型版本LMV-AM和分析模型的全局模型版本GMV-AM——在系统的开发模式下运行。分析模型的生产模型版本PMV-AM是在每个客户的每个本地任务t上操作的模型，并且其更新可以按需求被安排或被自动安排。客户本身或第三方后端7可以按需求安排更新。替代地，自动——例如基于观察到的性能——安排更新是可能的。

在开发模式下可执行的两个模型版本——即分析模型的局部模型版本LMV-AM和分析模型的全局模型版本GMV-AM——不在本地任务t上操作，而是用作对于生产期间运行的模型的同步候选，所述生产期间运行的模型即分析模型的生产模型版本PMV-AM。对于第一个开发分析模型，例如图6中在中间图示的分析模型的局部模型版本LMV-AM，仅图示的任务t的特定模型组件SMC基于从本地任务t收集的本地数据LD进行更新。分析模型的局部模型版本LMV-AM类似于可以在核心模型组件CMC的稳定版本上操作的更新模型。

另一方面，可以在开发模式下运行的第二模型版本——即图6中在右侧图示的分析模型的全局模型版本GMV-AM——可以被完全更新，其中使用从本地任务t收集的本地数据LD更新专用模型组件SMC，并且基于所有兼容客户和任务t的工业或机器数据LD来异步更新核心模型组件CMC，如图6中所图示。可以使用本地测试数据集在本地监视分析模型的局部和全局模型版本（LMV-AM、GMV-AM）二者的性能。在可能的实施例中，实现了不同的更新规则。

在可能的实施例中，使用本地测试数据集在本地监视由分析模型的局部模型版本LMV-AM提供的性能和由分析模型的全局模型版本GMV-AM提供的性能。如果由分析模型的全局模型版本GMV-AM提供的性能优于由分析模型的局部模型版本LMV-AM提供的观察性能，则分析模型的局部模型版本LMV-AM的核心模型组件CMC和专用模型组件SMC被分析模型的全局模型版本GMV-AM的对应模型组件替换。因此，如果全局模型版本优于局部模型版本，则局部模型版本LMV-AM的核心模型组件CMC和专用模型组件SMC被来自全局模型版本GMV-AM的那些模型组件替换，也如图6中所图示。

进一步的更新规则如下。如果由分析模型的全局模型版本GMV-AM提供的性能或者由分析模型的局部模型版本LMV-AM提供的性能优于由分析模型的生产模型版本PMV-AM提供的性能，则用提供最佳性能的分析模型AM的模型版本替换分析模型的生产模型版本PMV-AM。

这些更新可以只要满足预先指定的条件（例如性能或匿名阈值）就被自动执行，或者由客户或由第三方手动执行。

针对每个客户和任务特定的模型提供的不同模型版本的管理可以在第三方后端7处或直接在每个客户的客户场所上执行。

如果在第三方后端7处管理不同的模型版本，则使得来自每个客户的测试数据集对第三方后端7可用是必要的。在这种情况下，针对共享核心模型组件CMC以及特定模型组件SMC二者的更新由客户场所2A、2B发送到实现更新规则的第三方后端7。在该实施例中，第三方后端7仅需要在每次更新之后将分析模型的生产模型版本PMV-AM交付回到每个客户场所2A、2B。

在替代实施例中，多个模型版本的管理直接在每个客户的场所2A、2B上执行。当来自每个客户的测试数据集在第三方后端7处不可用时，可以应用该选项。在这种情况下，监视不同模型版本的性能可以基于测试数据集，并且直接在客户场所上执行。为此，第三方后端7可以将用于每个分析模型AM的所有管理模型版本部署到客户场所。替代地，这些模型版本可以直接在客户场所处生成。对于该最后的替代实施例，客户可以仅将用于分析模型AM的共享核心模型部分CMC的更新发送到第三方后端7，并且第三方后端7将这些更新分发给其他客户，以便允许他们在其场所上独立地实现更新规则。

对于上述不同的实现选项，第三方后端7可以可选地采取措施，以确保没有来自任何给定客户的敏感数据暴露给任何其他客户。关于客户过程的敏感数据可以包含在模型更新中，即具体地包含在交付给客户的核心模型组件CMC中，因为这些基于从许多不同的客户场所接收的数据。

在替代实施例中，例如通过将来自不同客户的许多更新汇集在一起，或者通过执行更新的扰动，第三方后端7确保在将每个核心模型组件部分CMC交付给其他客户之前对其进行匿名化。

在另一个替代实施例中，在客户场所以安全的方式管理模型的更新，使得分析模型AM的敏感部分以及更新对于接收客户是不可见的。为了使这成为可能，在可能的实施例中，安全计算元件或设备8A、8B可以由第三方操作，并且部署在客户场所2A、2B、即如图5中图示的其制造工厂上。在可能的实施例中，该安全计算设备8A、8B可以提供完全在运行后端7的第三方的控制之下的执行环境，在该后端7中发生模型更新。安全计算设备8A、8B可以由常规计算设备形成，或者在一些情况下要求更高的安全保证，安全计算设备8A、8B可以包括硬件安全模块或任何其他类型的防篡改计算设备。安全计算设备8A、8B可以包括物理保护设备，在所述物理保护设备中，所有内部数据都被加密，并且任何对物理访问安全计算设备8A、8B的尝试都导致加密密钥的破坏。

在可能的实施例中，运行后端7的第三方能够将加密和签名的分析模型AM以及更新部署到安全计算设备8A、8B以供评估。第三方后端7可以直接部署来自其他客户的分析模型AM的共享核心模型组件CMC的更新，或者直接部署整个分析模型AM、即分析模型AM的局部或全局模型版本。客户A、B可以保持对于进入和走出安全计算设备8A、8B的流量的完全控制。也就是说，客户A、B控制模型更新的交付（即使它不具有对于内容的可见性）和测试数据TD到安全计算设备8A、8B的进给。更重要地，客户A、B可以控制从安全计算设备8A、8B本身朝向第三方后端7生成的流量的量。这向客户提供保证，所述保证即，客户自己的数据不离开其客户场所2A、2B。例如，对于要测试的每个分析模型AM，安全计算设备8A、8B可能仅产生包含测试集合性能的测试结果TR或小响应。提供执行函数f(x,w)的通用分析模型AM是可能的，其中x是输入数据，并且w包括模型系数。测试性能可以例如由以下均方误差给出

其中x_i是第i个测试输入，并且y_i是第i个预期输出。可以计算跨所有N个测试数据集之上的总和。独立于测试数据集的大小，可以将小数据包作为测试结果TR发送回到第三方后端7。反馈回到第三方后端7的消息的大小可以向客户A、B提供保证，所述保证即，即使客户A、B不能看到加密的消息，他们的测试过程数据TD也未曾泄露到第三方后端7。安全第三方设备8A、8B可以使用所供给的测试数据TD来执行模型更新验证，该测试数据TD可以从如图5中所示的本地数据库9A、9B中读取。

在可能的实施例中，安全计算设备8A、8B可以执行以下步骤。

在第一步骤中，安全计算设备8A、8B从第三方后端7接收分析模型AM（包括解密和完整性核实）。替代地，安全计算设备8A、8B可以仅接收模型更新，并且基于更新在内部生成和管理每个分析模型AM的多个模型版本。

在进一步的步骤中，安全计算设备8A、8B可以在由客户提供的测试数据集TD上执行模型版本。

在进一步的步骤中，安全计算设备8A、8B可以对于具有测试性能（包括加密和签名）的第三方后端7生成响应或测试结果TR。

在另一个可能的实施例中，安全计算设备8A、8B可以执行测试数据集TD的完整性核实（例如，以确保相同的测试数据集已经被客户选择用于不同的更新，或者更新已经在与第三方达成一致的情况下被执行）。在可能的实现中，测试数据集TD的完整性核实可以包括对于不同数据集的散列值的存储。

根据本发明第一方面的方法使得能够基于由许多不同方（即客户）提供的本地数据LD来协作开发分析模型AM（例如，机器学习分析模型），从而实现更高的性能。在同时，根据本发明第一方面的方法确保由每一方或客户A、B在不需要与第三方共享本地数据LD的情况下在本地处理过程数据LD，因此对于大数据量更高效，并且更适合于具有隐私顾虑的客户。

此外，根据本发明第一方面的方法确保没有性能降级，因为管理每个分析模型AM的多个模型版本，它们的性能被监视，并且在工业系统1的操作期间仅使用最佳模型候选。

此外，根据本发明的方法确保每个客户A、B不能看到来自其他方或客户的个体模型更新，因此该方法保护了包含在分析模型AM中的潜在敏感过程数据或本地数据LD的隐私。在根据本发明的方法和系统1中，不同的分布式模型训练技术与由第三方后端7执行的模型核实和/或模型版本控制步骤相组合。第三方后端7能够基于由其他客户提供的相关更新来更新任务t上针对每个个体客户使用的分析模型AM的部分。核实步骤可以以不同的方式执行，并且可以包括不同技术的组合，所述不同技术诸如使用测试数据（例如，属于第三方的测试数据或由客户提供的测试数据）、分析更新（统计分析、比较），或者通过在其他客户场所上安全地部署部分分析模型AM更新来在不暴露敏感信息或数据的情况下实现个体模型更新。

利用根据本发明的方法和系统，可能的是：改进在不同应用中提供的数据分析服务，所述不同应用包括例如机床系统的优化、数字电网中的故障检测、风力涡轮机效率增加、工厂自动化过程监视、列车传感器数据的实时分析或者燃气涡轮机中的排放控制。通过使用更大的可用数据集合来提供改进的分析数据模型AM是可能的，所述更大的可用数据集合甚至是来自不愿意共享他们自己的过程数据或工业数据LD、或者顾虑隐私泄露或害怕竞争对手采取的恶意动作的客户A、B。

在过程数据或工业数据LD上的模型执行可以在边缘计算设备4A、4B上本地执行或者在专用设备中执行，所述专用设备诸如属于客户场所2A、2B的服务器数据集中器或网关6A、6B。在可能的实施例中，过程数据或工业数据LD在分析模型的生产模型版本PMV-AM上执行。模型更新可以在客户计算设备4A、4B上生成，或者在单独的专用设备上生成，或者在所述二者上生成。例如，集中器或网关单元6A、6B可以在将客户模型的更新发送到第三方后端7之前执行它们的第一次合并。在可能的实施例中，客户场所2A、2B可以提供过滤器来执行数据过滤或者执行在该阶段出于隐私原因对模型系数的扰动。

由第三方后端7对接收到的模型更新的核实以及对更新的任务和客户特定的模型的生成可以以不同的方式发生。在测试数据可用的情况下，核实可以直接在第三方后端7中发生，或者通过在客户场所上、例如在由第三方运行的安全计算设备8A、8B上安全地部署和执行部分分析模型AM。

在可能的实施例中，甚至分析模型AM的操作模型版本也可以被保持和管理。在这种情况下，模型执行和学习可以直接在由第三方控制的安全计算设备8A、8B上发生。

Claims (17)

1.一种用于分析模型AM的机器学习的方法，所述分析模型AM包括在不同客户（A，B）的任务t之间共享的核心模型组件CMC，并且包括特定于个体客户（A，B）的客户任务t的专用模型组件SMC，

其中，基于由不同客户（A，B）的客户场所（2A，2B）的机器（3A，3B）提供的本地数据LD在本地数据LD不离开相应的客户场所（2A，2B）的情况下来协作地执行分析模型AM的机器学习。

2.根据权利要求1所述的用于分析模型AM的机器学习的方法，

所述方法包括以下步骤：

（a）将特定于相关联的客户任务t的分析模型AM由第三方后端（7）部署（S1）在指派的客户计算设备CCD（4A，4B）上，所述指派的客户计算设备CCD（4A，4B）位于客户（A，B）的客户场所（2A，2B）处并且连接到提供本地数据LD的相应客户（A，B）的机器（3A，3B）；

（b）基于本地数据LD训练（S2）在指派的客户计算设备CCD（4A，4B）上执行的部署的客户任务特定的分析模型AM，以提供分析模型AM的模型更新，以及将其更新的共享核心模型组件CMC作为候选核心模型组件cCMC传送到第三方后端（7）；

（c）由第三方后端（7）组合（S3）所传送的候选核心模型组件cCMC，以提供全局候选核心模型组件gcCMC；和

（d）如果核实了部署的分析模型AM性能优于相应的候选分析模型cAM，则用包括所提供的全局候选核心模型组件gcCMC的候选分析模型cAM替换（S4）部署在客户的指派的客户计算设备CCD（4A，4B）上的分析模型AM。

3.根据权利要求1或2所述的方法，其中分析模型AM包括神经网络NN，所述神经网络NN包括若干个神经网络层。

4.根据权利要求3所述的方法，其中核心模型组件CMC包括在不同客户的任务t之间共享的神经网络NN的一个或多个底部神经网络层，并且其中专用模型组件SMC包括特定于相关联客户任务t的神经网络NN的一个或多个顶部神经网络层。

5.根据前述权利要求1至4中任一项所述的方法，其中由第三方后端（7）使用由第三方提供和/或由客户提供的可用测试数据（TD）来执行所述核实。

6.根据前述权利要求1至5中任一项所述的方法，其中通过分析包括所提供的全局候选核心模型组件gcCMC的候选分析模型cAM来执行所述核实。

7.根据前述权利要求1至6中任一项所述的方法，其中通过测试被部署在客户场所（2A，2B）的客户计算设备CCD（4A，4B）上的候选分析模型cAM来执行所述核实。

8.根据前述权利要求1至7中任一项所述的方法，其中，在安全计算设备（8A，8B）中的客户场所（2A，2B）上执行所述核实。

9.根据前述权利要求1至8中任一项所述的方法，其中在第三方后端（7）处和/或在每个客户的客户场所（2A，2B）上维护和管理包括核心模型组件CMC并且包括专用模型组件SMC的每个完整分析模型AM的多个模型版本。

10.根据权利要求9所述的方法，其中分析模型AM的模型版本包括

-分析模型AM的生产模型版本（PMV-AM），其在客户场所处的生产过程期间在生产模式下对过程数据可执行，

-分析模型AM的局部模型版本（LMV-AM），其在开发模式下可执行，具有特定于相关联的客户任务t的专用模型组件SMC并且具有固定的核心模型组件CMC，所述专用模型组件SMC在任务特定的本地数据LD基础上进行更新，

-分析模型AM的全局模型版本（GMV-AM），其在开发模式下可执行，并且具有特定于相关联的客户任务t的专用模型组件SMC并且具有核心模型组件CMC，所述专用模型组件SMC在任务特定的本地数据LD基础上进行更新，所述核心模型组件CMC在遍及跨所有客户的客户场所之上的所有兼容任务t中的本地数据LD基础上进行更新。

11.根据权利要求10所述的方法，其中使用本地测试数据来本地监视由分析模型AM的局部模型版本（LMV-AM）提供的性能和由分析模型AM的全局模型版本（GMV-AM）提供的性能。

12.根据权利要求11所述的方法，其中，如果由分析模型的全局模型版本（GMV-AM）提供的性能优于由分析模型的局部模型版本（LMV-AM）提供的性能，则局部模型版本（LMV-AM）的核心模型组件CMC和专用模型组件SMC被分析模型的全局模型版本（GMV-AM）的对应模型组件替换。

13.根据权利要求11或12所述的方法，其中，如果由分析模型的全局模型版本（GMV-AM）提供的性能或由分析模型的局部模型版本（LMV-AM）提供的性能优于由所执行的分析模型的生产模型版本（PMV-AM）提供的性能，则用提供最佳性能的分析模型AM的模型版本替换分析模型的生产模型版本（PMV-AM）。

14.根据前述权利要求1至13 中任一项所述的方法，其中，分析模型AM的模型版本的替换取决于由分析模型AM的模型版本提供的性能和/或取决于匿名阈值来被自动执行。

15.根据前述权利要求1至14中任一项所述的方法，其中，任务t包括推理任务以及用于改进分析模型AM的学习任务，在推理任务中，应用分析模型AM来接收本地数据LD。

16.根据前述权利要求1至15中任一项所述的方法，其中，客户计算设备（4A，4B）包括边缘计算设备，所述边缘计算设备将位于客户场所（2A，2B）的机器的接收到的本地数据LD供给到客户场所（2A，2B）的数据集中器，所述客户场所（2A，2B）的数据集中器收集和/或聚合从不同的客户计算设备（4A，4B）接收到的本地数据LD，以通过客户场所网关（6A，6B）将它们转发到中央第三方云后端（7）。

17.一种工业系统（1），包括

-不同客户（A、B）的客户场所（2A、2B），

其中每个客户场所（2A，2B）包括一个或多个机器（3A，3B），所述一个或多个机器（3A，3B）向客户计算设备（4A，4B）提供本地数据LD，所述客户计算设备（4A，4B）已经部署了分析模型AM，所述分析模型AM包括在不同客户的任务t之间共享的核心模型组件CMC以及特定于个体客户的客户任务t的专用模型组件SMC；和

-第三方后端（7），其适于组合通过在本地数据LD上被训练的分析模型AM的更新的共享核心模型组件CMC而形成的候选核心模型组件cCMC，以生成全局候选核心模型组件gcCMC，并且如果核实了部署的分析模型AM性能优于对应的候选分析模型cAM，则用包括生成的全局候选核心模型组件gCMC的候选分析模型cAM来替换被部署在指派的客户计算设备（4A，4B）上的分析模型AM。

Images