CN116097288A - 联合学习系统中的语义学习 - Google Patents

Abstract

提供了一种用于利用语义学习增强的联合学习的方法、计算机系统和计算机程序产品。聚合器可以从分布式计算设备接收集群信息。集群信息可以与分布式计算设备的样本数据中的所识别的集群有关。聚合器可以集成集群信息以定义类别。该集成可以包括识别所识别的集群中的任何冗余集群。类别的数量可以对应于来自分布式计算设备的集群的总数减去任何冗余集群。深度学习模型可以从聚合器发送到分布式计算设备。深度学习模型可以包括具有可以对应于所定义的类别的节点的输出层。聚合器可以接收由分布式计算设备执行的联合学习的结果。联合学习可以训练深度学习模型。

Description

联合学习系统中的语义学习

背景技术

本发明总地涉及深度学习模型领域，具体涉及用于深度学习模型的联合学习(federated learning)。

在联合学习系统中，一组多个设备或多方一起工作以开发和协作地训练一个深度学习模型，例如预测模型，而不与参与模型训练的其他设备或各方共享或透露个体方的原始数据。因为处理的数据越多，模型将被训练得越好，所以使用多方及其数据进行深度学习训练将导致更好的训练和更好的模型。聚合器从各个设备或各方接收信息，并且编译或聚合该信息以微调深度学习模型。在一些情况下，聚合器对来自各方的信息求平均以便调整深度学习模型。在联合学习系统中，网络中的各种设备的数据可以用于训练模型，而无需设备通过云共享在个体计算设备或电话上的个体原始数据。聚合器可以将经调整的深度学习模型发送到各个设备，而无需这些设备从其他设备接收原始数据。因此，联合学习帮助实现个体设备的原始数据的私密性，同时仍允许多方一起工作以训练深度学习模型。联合学习防止对手还原数据变换以找到与特定方匹配的原始训练数据。

Bonawitz等人的“Towards Federated Learning At Scale System Design”描述了联合学习(“FL”)是一种分布式机器学习方法，其使得能够训练驻留在诸如移动电话的设备上的大量分散数据。Bonawitz等人还说FL解决了数据的私密性、所有权和本地性(locality)的基本问题。

Prakash等人的美国专利申请公开号2019/0138934A1公开了为了联合学习，每个客户端计算节点获取全局模型，使用其本地数据更新全局模型，并将更新的模型传送到中央服务器。然而，Prakash等人公开了，应当基于异构计算节点所经历的网络条件和操作约束的知识，在异构计算节点之间平衡计算。

已知的联合学习系统具有的缺点是，它们是基于假设不同方对数据进行标记、不同方将使用相同的数据标记、以及不同方知道所有可能的数据类别而构建的。实际上，各方通常将不知道其它各方使用的标记。第一方可以给予样本的标记可能不同于第二方给予该样本的标记。例如，一些方可能认为兔子是宠物，而其他方可能认为兔子是食物。有时，诸如医院的各方不被允许提前共享他们的数据和标记。此外，可能出现不能很好地拟合静态模型结构的新样本。例如，在用于识别食物图片的模型中，当地的一方将理解诸如AREPA(玉米饼)的当地食物，而分散在全世界的其他方则不理解该当地食物。更新模型结构需要重新训练所有本地模型，这将消耗大量时间和能量。

发明内容

根据一个示例性实施例，一种方法、计算机系统和计算机程序产品可以执行联合学习。聚合器可以从分布式计算设备接收集群信息。集群信息可以与分布式计算设备的样本数据中的所识别的集群有关。聚合器可以包括至少一个处理器。聚合器可以集成集群信息以定义类别。该集成可以包括识别所识别的集群中的任何冗余集群。类别的数量可以对应于来自分布式计算设备的集群的总数减去任何冗余集群。深度学习模型可以从聚合器发送到分布式计算设备。深度学习模型可以包括具有节点的输出层。节点可以对应于所定义的类别。聚合器可以接收由分布式计算设备执行的联合学习的一个或多个结果。联合学习可以训练深度学习模型。

利用该实施例，即使不同的各方对相同的样本类型给出不同的名称，也可以在深度学习系统中准确地且适当地代码化(codify)用于数据样本的标记。联合学习中的深度学习模型被定制为适应不同参与者的语义含义，使得参与者可以独立地使用其正确的唯一语义标记，同时仍然贡献于联合学习系统。

在附加的示例性实施例中，聚合器可以向分布式计算设备提供自动编码器。分布式计算设备的各个计算设备可以通过自动编码器运行各个计算设备的样本数据，以产生自动编码器输出。各个计算设备可以通过聚类算法运行自动编码器输出以从样本数据识别集群。可以将集群信息从分布式计算设备发送到聚合器。

利用该实施例，可以改进联合学习系统以具有改进的准确性，从而正确地识别馈送到系统中的数据样本的标记和类别。

另一示例性实施例可以附加地包括经由分布式计算设备中的计算设备根据计算设备的语义含义来命名类别中的类别的步骤。

利用该实施例，作为联合学习深度学习网络中的分布式计算设备的系统的一部分的个体参与方可以提供他们自己的语义定义，以便标记由网络中的其他参与方共享的组。

补充示例性实施例可以附加地包括在集群信息被发送到聚合器之前经由分布式计算设备匿名化集群信息的步骤。

利用该实施例，可以维护客户数据的私密性，使得各个方可以参与联合学习，而不暴露其私有客户和其他个体原始数据。

另一示例性实施例可以附加地包括在联合学习期间经由分布式计算设备中的第一计算设备检查新类别的步骤。该检查可以包括第一计算设备向自动编码器馈送新样本，以及执行异常检测以检测偏离类别的新样本。该偏离超过预定义阈值。

这样，可以以节省计算资源的加速方式将在联合学习期间出现的新类别添加到深度学习模型中。

附图说明

本发明的这些和其它目的、特征和优点将从以下结合附图阅读的对其说明性实施例的详细描述中变得显而易见。附图的各种特征不是按比例的，因为图示是为了清楚地帮助本领域技术人员结合详细描述理解本发明。在附图中：

图1示出了根据至少一个实施例的联网计算机环境；

图2是示出根据至少一个实施例的利用语义学习增强的联合学习过程工作流的过程的操作流程图；

图3示出了根据至少一个实施例实现的自动编码器和聚类技术的结构；

图4示出了根据至少一个实施例的集群信息集成的示例；

图5示出了根据至少一个实施例的联网计算机环境，其中联合学习网络的各个计算设备被加载了组织成集群的数据样本；

图6示出了深度学习模型的层的示例；

图7是根据至少一个实施例的图1中描绘的计算机和服务器的内部和外部组件的框图；

图8是根据本公开的实施例的包括图1中描绘的计算机系统的说明性云计算环境的框图；以及

图9是根据本公开的实施例的图7的说明性云计算环境的功能层的框图。

具体实施方式

本文公开了所要求保护的结构和方法的详细实施例；然而，可以理解，所公开的实施例仅仅是对可以以各种形式实施的所要求保护的结构和方法的说明。然而，本发明可以以许多不同的形式实施，并且不应被解释为限于这里阐述的示例性实施例。相反，提供这些示例性实施例是为了使本公开透彻和完整，并将本发明的范围完全传达给本领域技术人员。在描述中，可以省略公知的特征和技术的细节，以避免不必要地模糊所呈现的实施例。

以下描述的示例性实施例提供了一种用于利用语义学习增强的联合学习的系统、方法和程序产品。本实施例具有准确地和适当地代码化联合学习系统中的每个参与者或参与方的标记的能力，即使某些样本对于不同的参与者或参与方具有不同的语义含义。本实施例还使得能够以加速的方式将新的类别添加到深度学习模型中，而不需要贯穿所有各方的完全重新训练。因此，本实施例节省了联合学习系统的计算和训练资源，并且允许联合学习系统提高其对参与的每一方的样本的私有语义标记和唯一样本的适应性。

参考图1，描述了根据一个实施例的示例性联网计算机环境100。在一些实施例中，联网计算机环境100可以被认为是联合学习系统。联网计算机环境100可包括多个计算机，即第一计算机102a、第二计算机102b和第三计算机102c。图1示出了在联网计算机环境100中的三个这样的客户端计算机，但是实际上在联网计算机环境100中可以有更多这样的客户端计算机。如下面参考图7所解释的，第一计算机102a、第二计算机102b和第三计算机102c中的每一个可以包括能够运行和存储联合学习程序110a、110b、110c的一个或多个处理器和存储器。联网计算机环境100还可包括能够运行可与数据库114和通信网络116交互的联合学习程序110d的服务器112。联网计算机环境100可以包括多个服务器112，仅示出了其中一个。通信网络116可以包括各种类型的通信网络，例如广域网(WAN)、局域网(LAN)、电信网络、无线网络、公共交换网络和/或卫星网络。应当理解，图1仅提供了一种实现的说明，而不暗示对其中可实现不同实施例的环境的任何限制。可以基于设计和实现要求对所描述的环境进行许多修改。

第一计算机102a、第二计算机102b和第三计算机102c可以经由通信网络116与服务器计算机112通信。通信网络116可以包括诸如有线、无线通信链路或光纤电缆的连接。如将参考图7讨论的，服务器计算机112可以分别包括内部组件902a和外部组件904a，并且第一客户端计算机102a、第二客户端计算机102b和第三客户端计算机102c可以分别包括内部组件902b和外部组件904b。服务器计算机112还可以在云计算服务模型中操作，诸如软件即服务(SaaS)、平台即服务(PaaS)或基础设施即服务(IaaS)。服务器112还可以位于云计算部署模型中，诸如私有云、社区云、公共云或混合云。第一计算机102a、第二计算机102b和第三计算机102c可以是例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板计算机、台式计算机或能够运行程序、访问网络和访问数据库114的任何类型的计算设备。根据本实施例的各种实现，联合学习程序110a、110b、110c、110d可以与可以嵌入在各种存储设备中的数据库114交互，该存储设备诸如但不限于计算机/移动设备102、联网服务器112或云存储服务。

根据本实施例，使用客户端计算机或服务器计算机112的用户可以使用联合学习程序110a、110b、110c、110d来执行利用语义学习增强的联合学习，以训练深度学习模型。下面参考图2-图9更详细地解释利用语义学习增强的联合学习方法。

服务器计算机112可以被认为是作为联合学习系统的一部分的聚合器。对于联合学习，聚合器可以向联合学习系统中的所有可用方发出查询，例如，聚合器可以向图1和图5所示的联网计算机环境100中的第一计算机102a、第二计算机102b和第三计算机102c中的每一个发出查询。每一方具有其自己的数据集。在联合学习系统中，各方不能看到系统中的其它各方的原始数据。每一方可具有其自己的本地学习模型。由聚合器进行的查询可以是关于本地学习模型的当前模型参数对于各方是什么的询问。查询可以导致各方向聚合器提供一些信息。聚合器可以基于该方的数据集询问对特定问题的回答是什么。各方可以基于其自己的本地数据生成其自己的回答。在一些情况下，各方可以具有本地学习模型，该本地学习模型被存储在客户端计算机内并在客户端计算机内操作，客户端计算机帮助生成回复。各方生成其回复并将其回复发送回聚合器。在聚合器从所有方或从足够的各方接收到回复使得阈值被超过之后，聚合器执行所有回复的聚合或组合，并且使用该结果来更新由聚合器维护的并且在聚合器计算机中存储和操作的机器学习模型。在已经执行了这些训练/调整会话或循环中的若干个之后，然后由聚合器产生最终机器学习模型，例如全局模型或神经网络，并且与所有各方共享，例如与第一计算机102a、第二计算机102b和第三计算机102c共享。原始数据保留在每一方的站点。对于在联合学习系统中实现的图1所示的实施例，服务器计算机112被配置成向第一计算机102a、第二计算机102b和第三计算机102c提交查询，以执行该聚合步骤来生成全局模型或神经网络，然后将全局模型或神经网络发送给第一计算机102a、第二计算机102b和第三计算机102c。

联合学习可以例如在IoT(物联网)网络中或在智能电话的网络中实现。在这些情况下，许多方可以参与训练。网络中的各种设备的数据可以用于训练深度学习模型，而设备不必通过云共享在各个设备或智能电话上的个体原始数据。原始数据将包括各方的身份数据。其中身份数据已被移除的匿名数据至少在一些实施例中可以不被认为是原始数据。

在另一可能的实现中，市场中的竞争者可以一起工作并且使用联合学习来训练模型，同时还保护其客户的信息的私密性。与较早描述的系统相比，这种竞争者一起工作的情况可以包括较少的各方帮助训练该系统。在这种情况下，例如，联合学习可以由多个银行用来训练系统以检测洗钱，而银行不必共享或公开个体客户的个体原始银行数据。

在另一情形中，联合学习还可在各个设备具有连通性约束并且几乎没有机会将其信息共享到云的情况下实现。例如，火星上的机器人不具有许多数据传输机会来将其数据传输到地球或绕地球轨道运行的卫星。本地设备可以在本地训练模型，然后可以在其较少的传输机会期间传输其经训练的模型，而不是传输其对原始数据的整个编译。包括特征和标记的本地数据集将由所有者/个体方保存，并且联合学习系统中的其他实体将不能访问联合学习系统中的其他方的本地数据集。

联合学习系统在某些情况下在预测性键入或预测性语音中实现。联合学习系统可以被实现为对图像进行分类或对音频信号进行分类。

联合学习系统可以通过使用安全聚合来保护各方的原始数据不与其他方共享。当一方具有唯一样本以添加到深度学习模型中时，该信息可以匿名地提供给聚合器。因此，聚合器可能能够识别样本来自联合学习系统的各方中的某处，而不知道样本来自联合学习系统的哪个特定方或机器。各方可以与聚合器共享本地模型和/或训练样本大小的模型参数或模型权重。各方也可以与聚合器共享基于本地数据集计算的梯度。如果这些参数或权重或梯度单独与聚合器共享，则包括特征和各个标记的原始数据可以在该方的计算设备处保持私有。

现在参考图2，示出了图示用于利用语义学习增强的深度学习的示例性过程200的操作流程图。在该过程200中，联合学习程序110a、110b、110c、110d将根据至少一个实施例采取动作。

如图2所示，过程200包括用语义学习增强的示例性深度学习过程。过程200可以在步骤202中以聚合器将自动编码器发送到联合学习系统的计算设备来开始。自动编码器可经由通信网络116发送，如以上参考图1所讨论的，该通信网络可包括各种类型的通信网络，诸如广域网(WAN)、局域网(LAN)、电信网络、无线网络、公共交换网络和/或卫星网络，并且可包括诸如有线、无线通信链路或光纤电缆的连接。

在至少一些实施例中，该自动编码器可以是预先训练的自动编码器。为了训练深度学习模型，类别的总数应当是固定的并且是静态的，并且应当提供对那些类别的定义。因此，对于自动编码器的预先训练，操作者可基于先前深度学习模型的经验或基于关于预期将用深度学习模型接收和分析的潜在样本的有根据的猜测来输入多个类别和这些类别的定义。然而，训练自动编码器可以是无监督的，使得在训练期间不需要标记。当图像被馈送到自动编码器中时，自动编码器的编码器从图像中提取高级特征。自动编码器的解码器可以使用所提取的特征来重构图像。编码器和解码器一起帮助形成自动编码器。使用预先训练的自动编码器有助于减少训练时间并提高自动编码器的性能。在一些情况下，自动编码器可以被预先训练而不知道类别的数量。使用预先训练的自动编码器有助于自动编码器的一般化。

以下参考图3描述的自动编码器可包括深度学习模型。自动编码器接收数据作为输入，并使用深度学习模型从每个数据样本中提取高级特征向量。深度学习模型可以是神经网络，例如卷积神经网络。

在过程200的步骤204中，联合学习系统的各个计算设备，例如图1所示的第一计算机102a、第二计算机102b和第三计算机102c，训练在步骤202中接收的自动编码器，并因此产生经训练的自动编码器。下面将描述的图3示出了自动编码器及其组件的示例。自动编码器的这种训练通过各方运行或将其样本或样本数据馈送到自动编码器中作为自动编码器的学习模型的输入来进行。然后，对每一方使用损失函数来逐渐调整自动编码器的学习模型的参数。运行损耗函数并产生损耗量，逐渐调整参数以试图减少损耗量，并再次运行损耗函数。损失函数测量自动编码器的性能。

步骤204可包括由各个计算设备，例如由联合学习系统的第一计算机102a、第二计算机102b和第三计算机102c对自动编码器的顺序训练。在顺序训练中，自动编码器可以首先被发送到特定的计算设备，例如发送到第一计算机102a，它首先训练自动编码器以形成部分训练的自动编码器。第一计算机102a然后可以将该部分训练的自动编码器发送到另一计算设备，例如发送到第二计算机102b。该另一计算设备还可通过将其自己的数据馈送到深度学习模型中并重复地运行用于引导的损失函数以逐渐调整深度学习模型的参数来进一步训练该部分训练的自动编码器。由于该进一步训练，该另一计算设备将产生进一步训练的自动编码器。

这种部分训练的自动编码器从一个计算设备到另一个计算设备的传递可以直接通过通信网络116发生，或者可以经由接收部分训练的自动编码器并将部分训练的自动编码器转发到下一个计算设备的聚合器发生。后一种情况经常发生，因为在许多联合学习系统中，各方不知道联合学习系统中的其它各方是谁，因此，将不知道如何向另一方发送他们的部分训练的模型。因此，在该实施例中，聚合器将用于促进该转移，因为聚合器将知道并存储有关于联合学习系统中的各方/计算设备是谁的信息。无论聚合器是否用作转移的促进者，或者无论各方是否知道其它各方并且能够直接转移，由一方接着另一方进行的这种自动编码器训练可以被认为是顺序训练。

第二计算机102b可以将进一步训练的自动编码器传递或发送到附加计算设备，例如发送到第三计算机102c。这种传递可以直接发生或者经由如上所述的聚合器发生，并且任一种方式都可以使用通信网络116。附加计算设备可以将其样本馈送到该进一步训练的自动编码器中，并运行损失函数以引导深度学习模型参数的逐渐调整。这种附加的训练可以产生经训练的自动编码器或准备向所有方分发(disburse)的自动编码器。

在一些实施例中，在聚合器请求自动编码器之前，可以在联合学习系统的每个计算设备或每方中执行自动编码器的这种训练或顺序训练。可替换地，聚合器可以在自动编码器已被联合学习系统的大多数设备/方训练之后请求自动编码器。与所有各方帮助训练自动编码器的实施例相比，使用由大多数进行的训练将节省一些时间和资源。

在自动编码器的顺序训练期间，自动编码器本身(包括其神经网络/学习模型)从一方传递到另一方，但不传递包括原始特征和原始标记的原始数据。各方对自动编码器的顺序训练也可被认为是各方对自动编码器的协作训练。

在步骤206中，计算设备将经训练的自动编码器发送回聚合器。这种发送可以经由通信网络116发生。在至少一些实施例中，最后的计算设备，例如图1所示的第三计算机102c，将把自动编码器发送回聚合器。如果在大多数但不是所有方已经训练了自动编码器之后，聚合器请求自动编码器，则将自动编码器发送给聚合器的方将不是自动编码器的所有方中的最后一方。

在至少一些实施例中，对于全部与自动编码器的训练相关的步骤202-206，不需要或不执行聚类技术。在过程200的这些实施例中，在步骤202-206中不需要通过聚类算法提交样本数据。

在聚合器从联合学习系统的计算设备接收回经训练的自动编码器之后，在步骤208中，聚合器与计算设备(例如与联合学习系统的所有计算设备)共享经训练的自动编码器。这种共享可以经由通信网络116发生。当各方对自动编码器的训练顺序地发生时，这种与所有各方共享最终经训练的自动编码器给所有各方提供了由所有各方或大多数各方或一定数量的各方执行的自动编码器的完整训练的好处。与仅由一方针对数据进行训练的自动编码器相比，这种共享为各方提供了改进的自动编码器。

在至少一些实施例中，自动编码器将包括聚类算法。在各种实施例中，聚类算法可以是K均值聚类算法、均值偏移聚类算法、带噪声的应用的基于密度的空间聚类(DBSCAN)、使用高斯混合模型(GMM)的期望最大化(EM)聚类、或凝聚分层聚类。

在步骤210中，每个计算设备，例如第一计算机102a、第二计算机102b和第三计算机102c中的每一个，通过经训练的自动编码器运行其样本数据，以产生自动编码器输出。自动编码器输出可以是输入数据的高级表示，并且具体可以是向量。向量可以包括多个变量或参数，例如三个或更多个变量或参数，甚至多达100个或更多个变量或参数。这些变量或参数可以被称为特征值。在识别动物的图片的深度学习模型中，自动编码器可识别关于每个图像的各种特征，诸如大小、附肢的数量、耳形等，其可帮助深度学习模型对动物进行分类。这些特征可以是通过将样本馈送通过对样本进行分析的自动编码器而确定的变量或参数。在图像被馈送到自动编码器的实施例中，自动编码器分析图像并且可以分析图像的像素。

在步骤212中，每个计算设备，例如第一计算机102a、第二计算机102b和第三计算机102c中的每一个，通过聚类算法运行自动编码器输出以识别样本数据中的集群。聚类算法可以存在于每个计算设备中。可替换地，聚类算法可以存在于从聚合器接收的自动编码器中。在一些实施例中，聚类算法可以是K均值聚类算法、均值偏移聚类算法、带噪声的应用的基于密度的空间聚类(DBSCAN)、使用高斯混合模型(GMM)的期望最大化(EM)聚类、或凝聚分层聚类。图3示出了自动编码器的示例，该自动编码器与自动编码器输出传递通过聚类算法的特征配对。图3的上部示出了从输出样本运行通过聚类算法而生成的集群的示例。

将自动编码器输出馈送通过聚类算法将为每个自动编码器输出产生相应的数据点，即代表每个样本的数据点。这些数据点可以在图中绘制。例如，在具有三个特征的自动编码器模型中，三维图可用于绘制数据点。在三维图上大体落在一起的数据点通常被认为属于特定的数据集群。在至少一些实施例中，样本数据或自动编码器输出的每个集群将具有质心，即集群的中心，并且将具有半径。在图表中离质心的距离小于半径的数据点被认为属于该集群。图3的上部示出了数据点的多个集群的示例，并且示出了特定集群的质心和半径。为了简单起见，并且更容易地解释该构思，使用具有可以在聚类算法中与三维图配对的三个特征的自动编码器模型作为示例。在许多将被使用的自动编码器模型中，自动编码器模型将使用远多于三个的特征。例如，自动编码器模型可以包括多达一百或更多的特征。聚类技术仍然可以利用具有更多特征的这些模型来实现。

在过程200的步骤214中，各方，例如第一计算机102a、第二计算机102b和第三计算机102c，对由聚类算法生成的集群信息运行匿名化技术。这种匿名化导致生成自动编码器输出的私有表示。匿名化技术可以是一般化技术。对于匿名化技术，可以从集群信息中移除身份属性，例如显式标识符。因此，当聚合器从联合学习系统的一方接收匿名化集群信息集时，聚合器可能不能够识别哪个方发送了该集群信息集，尽管聚合器可能能够识别发送方属于他们的联合学习系统。例如，在集群信息被发送到聚合器之前，可以从集群信息中移除生成集群信息的一方的任何名称。

可以根据步骤214执行各种匿名化技术。在抑制匿名化技术中，用诸如“**”的特殊匿名符号代替元组或属性值。因此，通过抑制匿名化，原始数据值在整个集群信息中被替换为某一匿名值。在一般化匿名化技术中，属性值被语义上不变但不太特定的值所替代。例如，如果参与方识别信息包括关于参与方/参与者的位置的信息，则参与方的城市或州可以被参与方/参与者的位置的国家代替。在分桶(bucketization)匿名化技术中，敏感信息被保留，但是与任何识别信息分开或分隔。因此，利用分桶匿名化，聚合器可以从样本数据接收特征，但是将不能识别一些特定样本数据来自哪一方。在扰动匿名化技术中，敏感信息不被删除但是被随机改变。因此，由聚合器接收的改变的信息是不正确的，并且聚合器知道哪个信息被改变，但是外部方将不知道哪个信息被改变。可以通过水平和垂直地对信息的列/行进行分区并且然后随机地对分区进行排序来执行切片匿名化，使得发送的最终信息具有被分组在一起的特征，但是不以完全链接信息集的方式。切片匿名化可以进一步用敏感特征的加密来补充。

在过程200的步骤216中，各方，例如第一计算机102a、第二计算机102b和第三计算机102c，将集群信息发送到聚合器，例如发送到服务器计算机112。各方可以使用通信网络116来发送该集群信息。集群信息在被发送之前可能已经被匿名化。

在过程200的步骤218，聚合器，例如服务器计算机112，集成集群信息以定义多个类别。这种集成是处理集群信息的一种方式。由聚合器执行的集成可以包括识别所识别的集群中的任何冗余集群，并且可以包括所定义的类别的数量对应于来自分布式计算设备的集群的总数减去任何冗余集群的特征。在至少一些实施例中，集群信息可以包括与集群的质心有关的质心信息，并且聚合器可以比较质心信息以识别任何冗余集群。例如，如果来自各方的质心位于小于预定义的新的集群阈值距离的距离内，则聚合器可以认为质心属于应当针对类别的计数来合并或融合的冗余集群。附加地或替换地，如果第一集群的半径与第二集群的半径重叠，则聚合器可认为具有相应半径的质心属于应当针对类别的计数来合并的冗余集群。聚合器可以确定所接收的每个质心与作为联合学习系统的所有组的集群信息的一部分的每个其它质心之间的距离。而且，聚合器可以对集群信息运行新的聚类技术以识别集群的总数。如果在步骤214中已经匿名化集群信息，则这种新的聚类是特别可能的，因为聚合器将能够访问特征信息，尽管聚合器将不知道特定特征信息来自哪些方。对于这里执行的K均值聚类技术，不需要选择质心之间的预定义阈值距离，因为K均值聚类算法可以解决并且确定哪些数据点组构成单独的集群。

在过程200的步骤220中，聚合器，例如服务器计算机112，向联合学习系统中的所有计算设备，例如向第一计算机102a、第二计算机102b和第三计算机102c中的所有计算设备发送合并了多个类别的深度学习模型。聚合器可以使用通信网络116来发送该深度学习模型。在至少一些实施例中，该深度学习模型可以是神经网络，例如，卷积神经网络。深度学习模型包括具有节点的输出层。节点对应于在步骤218中定义的已定义类别。图6将在下面讨论并示出深度学习模型的层的示例，包括具有节点的输出层。由于来自步骤218的集成以及在步骤220中发送的模型中的类别数据的插入，可以认为各方协作地训练深度学习模型。在执行步骤220的第一实例中，通常将单独发送上述深度学习模型。作为执行过程200的后续循环中的该步骤220的一部分，除了发送更新的深度学习模型之外，聚合器还可以发送其中已结合了新的类别的更新的自动编码器。下面将描述的步骤226解释了如果以后发现新的类别，则可能需要将另一个更新的自动编码器发送给各方。

在过程200的步骤222中，计算设备，例如第一计算机102a、第二计算机102b和第三计算机102c，为多个类别中的至少一些类别分配新的语义含义。在学习识别诸如动物图片的图像的模型的示例中，如果一方认为兔子是食物并且聚合器已经将兔子识别为模型的类别之一，则该方可以在从聚合器接收到类别之后将“食物”分配为该种类的标记。如果同一联合学习系统中的另一方认为兔子是宠物，则该方可以在从聚合器接收到类别之后将“宠物”分配为该种类的标记。即使第一方和另一方具有用于相同样本类别的唯一且不同的语义标记，系统仍将运行以执行联合学习。

在过程200的步骤224中，计算设备，例如第一计算机102a、第二计算机102b和第三计算机102c，利用多个类别运行联合学习。因此，计算设备接收新样本，并将这些新样本馈送到从聚合器接收的深度学习模型中。计算设备将定期地向聚合器传输其深度学习训练的结果。深度学习结果的这种传输可以经由通信网络116发生。如上所述，联合学习在系统中的各方共享数据以训练模型/系统，同时仍保留其原始数据的私密性时发生。可以发送匿名数据而不是原始数据，以用于联合学习。因此，一些信息被共享以实现模型训练，但是原始样本数据不与聚合器或与其他方共享。作为步骤224的一部分，聚合器可以从分布式计算设备接收由分布式计算设备执行的联合学习的一个或多个结果。

在过程200的步骤226中，各方周期性地并且在本地检查以确定是否添加了新的集群。为了执行该检查，各方可以将新的样本馈送到它们在步骤220中从聚合器接收到的更新的自动编码器。在自动编码器特征空间中，执行异常检测以检测任何新的数据点/特征与已知类别的集群的显著偏离。对于异常检测，可以测量从新样本的数据点到其他集群的质心的距离。当该距离超过预定义阈值时，可以将该新数据点视为异常。可以测量从新样本的数据点到其他集群的最接近的其他已知数据点的距离，并且当该距离超过预定义阈值时，可以将该新数据点视为异常。可以使用其他聚类算法来执行异常检测。可以实现诸如基于密度的技术的许多异常检测技术。当异常的数量显著高时，或者相对于一段时间内异常的平均数量或者相对于总测试样本的数量，可以向聚合器发送标志或警告消息以警告聚合器需要重新定义类别。可替换地，当一方在本地确认了现有类别之外的单个新数据点时，可以向聚合器发送标志或警告消息以警告聚合器需要重新定义类别。如果样本与现有类别的偏离超过预定义阈值，则该样本可被认为属于新集群。新数据类别本身的信息可以与警告信号一起发送。该新数据类别信息可用于通知聚合器，并可由聚合器用于帮助从步骤202开始重新训练自动编码器，或者该新数据类别信息可跳过第一自动编码器训练，并且作为步骤218中重新集成集群信息以定义新的类别集合的一部分。关于新的潜在集群的该集群信息可以在与警告标志一起被发送到聚合器之前被该方匿名化。换句话说，在关于新的可能集群的集群信息被发送到聚合器之前，步骤214可以在该点被重复。聚合器可以将新的类别添加到类别以形成新的类别集合。新的类别对应于新的样本。可以将新的类别集合从聚合器发送到分布式计算设备。然后，可以经由聚合器和分布式计算设备执行附加的联合学习，以进一步训练深度学习模型。执行附加联合学习包括使用新的类别集合作为深度学习模型的输出层的新节点。

为了执行步骤226，将数据样本馈送到更新的自动编码器。为了执行步骤224，将数据样本馈送到从聚合器接收的深度学习模型。因此，在过程200期间的一些实例和时间中，数据样本可以并行地馈送到更新的自动编码器和深度学习模型两者。

在过程200的步骤228中，执行关于是否应当针对系统或仅针对联合学习系统的特定设备停止深度学习的检查。如果检查导致肯定的停止决定，则可以针对整个联合学习系统整体停止深度学习和联合学习，或者可以针对联合学习系统的个体设备停止深度学习和联合学习。如果检查导致否定的停止决定，则过程可以循环回到步骤224，其中联合学习继续，然后循环回到步骤226，其中执行对新的集群的另一检查。在默认设置中，将给予步骤228肯定的回答以继续深度学习/联合学习。作为步骤228的一部分，联合学习程序110a、110b、110c可以生成并提供图形用户界面(GUI)提示，以询问计算设备的用户是否要停止深度/联合学习。如果用户向GUI提供肯定的回答，则个体计算设备可以向聚合器发送消息以向聚合器通知该肯定的回答。在许多实施例中，新标记/类别的识别将是由个体计算设备执行的自动化过程。识别可以是新的数据点被添加到训练数据集中、一些数据样本被一致地错误分类、或者一方由于外部知识决定他们想要增加本地集群的数量的结果。

利用过程200，可以在联合学习过程中训练模型，同时允许由各方提供语义标记，并且同时避免可能昂贵的附加人工干预或预处理。过程200也可以针对已经收集了感兴趣的样本但不具有相同标记的两个不同域来实现。

自动编码器可以是例如香草自动编码器(vanilla autoencoder)、稀疏自动编码器、多层自动编码器或卷积自动编码器。在至少一个实施例中，自动编码器可以是前馈、具有输入层的非循环神经网络、输出层、以及将输入层连接到输出层的一个或多个隐藏层。输出层可以具有与输入层相同数量的节点。输出层帮助重构输入。在至少一些实施例中，自动编码器可以被认为是无监督学习模型，其不需要标记的输入来实现深度学习。

图3示出了在根据本发明的至少一个实施例中使用的自动编码器300的结构。自动编码器300通常包括对样本数据302进行编码和解码的编码器304和解码器317。

编码器304编码样本数据302以生成向量，并将样本数据302嵌入到潜在空间中。向量是样本数据302的高级表示。在一个实施例中，样本数据302是动物的图像，并且自动编码器生成对动物图像的特征进行分类的向量。编码器304包括第一滤波器306a、第二滤波器306b和第三滤波器306c作为自动编码器300的输入层。随着样本数据前进通过第一滤波器306a、第二滤波器306b和第三滤波器306c的滤波器系列，样本数据逐渐减少。在平坦化层308中，自动编码器300可以将编码器304的输出平坦化成用于输出的所需维度。平坦化层308产生被馈送到嵌入层310的向量。嵌入层310可以产生嵌入点，这些嵌入点可以被馈送到聚类算法311中以产生聚类图312。可以将嵌入点视为自动编码器输出。在至少一些实施例中，在自动编码器输出通过聚类算法311之前，降低自动编码器输出的维数。

嵌入数据可以通过聚类算法311以产生聚类图312。聚类算法311可作为自动编码器300的一部分被包括，或者可以是运行自动编码器的个体主机计算设备的单独组件。在一些实施例中，聚类算法层可以连接到嵌入层310。图3所示的聚类图312是通过K均值聚类算法产生的。当使用K-均值聚类算法时，可以选择或计算k值作为表示预期的类别数量的启发法。然后，可以根据需要执行利用k值的调整，以减少损失函数。在一个示例中，k被选择或计算为十。当选择k时，k值可以作为自变量输入到聚类算法中。至少一个实施例可以包括模糊k均值聚类方法，因为深度聚类可能需要预先知道类别的数量。当通过算法计算k时，可以使用分区熵算法、分区系数算法或其它算法。

向量可以通过扩展层315传递回来，然后可以被馈送到具有第一解码层318a、第二解码层318b和第三解码层318c的解码器317。通过第一解码层318a、第二解码层318b和第三解码层318c馈送扩展向量帮助重构原始输入数据。重构图像作为输出样本数据集320输出。

图3示出了根据至少一个实施例的聚类图312。该聚类图可由联合学习系统的个体计算设备生成。通过生成聚类图，个体计算设备可以生成每个集群的集群信息。例如，在图2所示的过程200的步骤216中，可以将集群信息传递到聚合器。可替换地，如图4所示，可以在聚合器从联合学习系统的各个计算设备接收到集群信息之后，由聚合器生成系统聚类图400。

图3的上部所示的聚类图312示出了当某一方将其样本馈送到自动编码器300中时，生成十个集群，即集群314a-j。集群314a被示为具有质心316和半径318。与质心316的距离小于半径318的长度的所有样本点/向量可以被认为属于集群314a。半径318的末端表示集群314a的边界。有可能没有属于集群314a的样本点/向量位于质心316处，因为质心316是属于集群314a的样本点/向量的平均值。尽管在图3中仅将集群314a示为具有质心316和半径318，但是实际上所有其它集群314b-j也将具有它们自己的相应质心和它们自己的相应半径。在图2所示的过程200的步骤216中，可以从个体计算设备向聚合器分别发送关于集群314a-j以及关于它们的所有质心和半径的集群信息。使用质心信息作为集群信息的一部分而不是使用个体原始数据样本作为集群信息的一部分的这个特征有助于保护每一方的个体原始数据的私密性。即使聚合器可以使用质心信息来重构质心，聚合器仍然通常不能找到各个数据点或者不能将各个数据点与参与联合学习系统的任何特定方进行匹配。

图4示出了系统聚类图400的示例，其中来自联合学习系统的所有设备的集群和/或集群信息已经被聚合器组合或集成在一起。在图4所示的实施例中，聚合器最初集成从全部分布式或全部各个计算设备接收的九个集群。为了帮助原始数据不与其他方共享，各个计算设备已将质心信息和半径信息传递到聚合器，但不传递来自聚类图312的各个数据点且不传递个体原始数据。因此，图3示出了聚类的质心和半径，而不是各个数据点。各个计算设备还可以传递关于属于每个集群的数据点的数量的信息。在图3中，示出了质心402a-402i。每个质心402a-402i也将具有其自己的半径，尽管为了简单起见，半径404a、404b、404c和404h被示出为与质心402a、402b、402c和402h相关联。聚合器将检查，并且在一个实施例中，利用特定阈值，与质心402b和402c相关联的两个集群将被识别为彼此冗余，因为它们各自的质心402b、402c之间的距离小于阈值。在一些实施例中，可以选择0.5、1.0或1.5的阈值。可替换地，聚合器可以识别出与质心402b相关联的集群的半径404b和与质心402c相关联的集群的半径404c重叠，并且为此可以认为与质心402b和402c相关联的两个集群彼此冗余。

因此，在生成深度学习模型以发送到联合学习系统的所有方或参与者或各个分布式计算设备时，如步骤218和220所发生的，聚合器将与两个质心402b和402c相关联的两个集群组合成单个集群或单个质心。聚合器可以简单地指定新质心以放置在两个质心402b和402c之间的中间点。可替换地，聚合器可以向两个质心402b和402c中具有较大数量的数据点的质心给予较大的权重。因此，聚合器将在图4的实施例中所示的深度学习模型的输出层中提供总共九个输出节点，在一些情况下，输出层将被称为logit层。这九个输出节点对应于由各个方或由各个分布式计算设备识别的集群的总数，但是由于集群及其质心402b和402c被认为是冗余的并且被认为是相同的集群，所以该数量减少了一个。

图4示出半径404a和404h大于半径404b、404c。半径的大小可以取决于数据点的散布以及附近是否存在其他集群或质心。

图5示出了图1中所见的联网计算机环境100，但是在该实例中，第一计算机102a、第二计算机102b和第三计算机102c被加载了来自数据样本的图像组。在该实施例中，深度学习模型将被训练以识别动物图片。每个图像将具有由个体计算设备提供的其自己的标记。第一计算机102a具有第一计算机第一图像组502a、第一计算机第二图像组502b和第一计算机第三图像组502c。在所示的实施例中，第一计算机第一图像组502a是猫图片的集合。第一计算机第二图像组502b是兔子图片的集合，但是操作第一计算机102a的参与者认为兔子是“食物”。第一计算机第三图像组502c是狗图片的集合。第二计算机102b具有第二计算机第一图像组504a、第二计算机第二图像组504b和第二计算机第三图像组504c。在所示的实施例中，第二计算机第一图像组504a是猫图片的集合。第二计算机第二图像组504b是兔子图片的集合，但是操作第二计算机102b的参与者认为兔子是“宠物”。第二计算机第三图像组504c是鱼图片的集合。第三计算机102c具有第三计算机第一图像组506a和第三计算机第二图像组506b。在所示的实施例中，第三计算机第一图像组506a是狗图片的集合。第三计算机第二图像组506b是鱼图片的集合。

这些图像组是由各个计算设备，例如由第一计算机102a、第二计算机102b和第三计算机102c通过从聚合器接收的经训练的自动编码器运行其图像的各个数据样本而形成的，该经训练的自动编码器例如从具有联合学习程序110d的服务器计算机112接收。自动编码器提供自动编码器输出，该输出在通过聚类算法311馈送时将生成表示图像组的集群314。

当关于集群314的集群信息被传递到聚合器时，聚合器集成集群信息以识别深度学习模型的类别的总数。尽管来自第一计算机第一图像组502a的猫图像与来自第二计算机第一图像组504a的猫图像不同，使得两个接收的集群的数据点和它们的集群质心不同，但是聚合器识别出这两个集群重叠并且是冗余的，并且将它们组合为单个集群。虽然来自第二计算机第三图像组504c和来自第三计算机第二图像组506b的鱼图像不相同，使得数据点和它们的集群质心不相同，但是聚合器识别出这两个聚类重叠并且是冗余的，并且将它们组合为单个集群。尽管来自第一计算机第三图像组502c和来自第三计算机第一图像组506a的狗图像不相同，使得数据点和它们的集群质心不相同，但是聚合器识别出这两个聚类重叠并且是冗余的，并且将它们组合为单个集群。

来自第一计算机第二图像组502b和第二计算机第二图像组504b的兔子图像彼此相似或相同，但第一计算机102a将其兔子组命名为“食物”，第二计算机102b将其兔子组命名为“宠物”。聚合器可以分析包括数据样本的质心以及可选地包括数据样本的半径和数量的集群信息，以识别第一计算机第二图像组502b和第二计算机第二图像组504b将属于相同的集群，因为这两个集群重叠并且是冗余的。聚合器将这两组组合成单个集群。可替换地，在从第一计算机102a、第二计算机102b和第三计算机102c到聚合器的集群信息的第一传递中，集群不被标记，使得即使第一计算机102a和第二计算机102b的操作者对于它们的组/集群具有唯一的语义含义，聚合器也通过分析和集成集群信息来正确地识别集群的重叠和冗余。在这方面，不必为了训练自动编码器300而执行类别的标记。

聚合器识别出从分布式计算设备(在这种情况下，从第一计算机102a、第二计算机102b和第三计算机102c)接收的集群的总数是八-三个来自第一计算机102a，三个来自第二计算机102b，以及两个来自第三计算机102b。尽管所接收的集群的总数是八，但是聚合器基于所识别的冗余集群对的数量来减少该总数。因为聚合器确定四对集群是冗余的，所以聚合器将集群的总数(八个)减少了四，以实现联合学习系统中的深度学习的四个类别的总数。两个猫组被认为是彼此冗余的。两个兔子组被认为是彼此冗余的。两个狗组被认为是彼此冗余的。两个鱼组被认为是彼此冗余的。因此，通过执行集群信息的集成和分析，聚合器识别出用于深度学习模型的该实施例的集群的总数是四。

然后，聚合器生成具有四个输出节点的深度学习模型，以传递到分布式计算设备，在这种情况下，传递到第一计算机102a、第二计算机102b和第三计算机102c。例如，图6示出了具有第一输入层602、第二输入层604和输出层606的深度学习模型600。在第一情况下，输出层606将具有四个节点，以对应于通过由聚合器执行的集成所确定的四个类别。第一节点608a将用于猫类别的图像。第二节点608b将用于兔子类别的图像。第三节点608c将用于狗类别的图像。第四节点608d将用于图像的鱼类别。

在聚合器在步骤220中将深度学习模型600传递给分布式计算设备之后，在根据图5和图6的这种情况下传递给第一计算机102a、第二计算机102b和第三计算机102c，分布式计算设备在步骤224中有机会根据它们自己的语义偏好或含义来命名所接收的类别。

第一计算机102a可以命名前三个类别——“猫”、“食物”和“狗”，而留下第四类别空白，因为它没有属于第四类别的样本。聚合器还可以发送用于诸如类别1、类别2、类别3、类别4等的各种类别的通用标记。可替换地，如果聚合器发送填充有名称的类别，则第一计算机102a可以留下由聚合器提供的第四类别的名称，例如，可以留下第四类别的“鱼”名称，同时仍然根据用于“食物”的其自己的语义来重命名第二组(兔子组)，因为他们相信兔子是要被吃的。

第二计算机102b可以分别命名第一类别、第二类别和第四类别——“猫”、“宠物”和“鱼”，而留下第三类别空白，因为它没有属于第三类别(在这种情况下属于狗类别)的样本。可替换地，如果聚合器发送填充有名称的类别，则第一计算机102a可以为聚合器提供的第三类别留下名称“狗”，同时仍然根据其自己的、兔子作为宠物被饲养的含义来重命名第二组(兔子组)。命名适用于由计算设备执行的样本拟合。

第三计算机102a可以命名第三类别和第四类别——“狗”和“鱼”，而使第一类别和第二类别空白，因为它没有属于第一类别或第二类别的样本，并且没有属于兔子集群或猫集群的样本。可替换地，如果聚合器发送填充有名称的类别，则第一计算机102a可以留下由聚合器提供的第一类别和第二类别的名称，例如“猫”和“兔子”，同时还接受聚合器为第三类别和第四类别提供的名称狗和鱼。

在图5和图6所示的上述实施例之后，如果在进一步的步骤226中，分布式计算设备之一，例如第一计算机102a，接收到鸟图像的样本并将这些图像馈送到从聚合器接收的更新的自动编码器中，则在第一计算机102a处的更新的自动编码器可以识别鸟样本不位于其它四个集群中的任何一个附近。在更新的自动编码器的特征空间中，可以执行异常检测以检测距四个已知类别的四个集群的显著偏离。当异常的数量显著高时，或者相对于在一段时间内输入的鸟图像的平均数量或者相对于总测试样本的数量，可以向聚合器发送标志以警告聚合器需要重新定义类别。在一些实施例中，当第一数据点被检测为异常时，可以向聚合器发送标志以警告聚合器需要重新定义类别。

聚合器可以将关于新的鸟图像集群的集群信息与其他集群信息集成以验证应当创建新的集群。如果聚合器对验证满意，例如，由于同意鸟图像质心不靠近任何其他质心，则聚合器可以将第五节点608e添加到深度学习模型600和更新的自动编码器，并且可以将该更新的深度学习模型和更新的自动编码器发送到联合学习系统中的所有分布式计算设备，例如，发送到图1和图5所示的实施例的所有第一计算机102a、第二计算机102b和第三计算机102c。然后，每个分布式计算设备将再次有机会为第五节点608e和与其相关联的集群提供它们自己的语义本地定义，接受由聚合器为第五节点608e提供的标记或名称，或者不为第五节点608e选择名称，这在本地计算设备没有落入与第五节点608e相关联的集群内的样本时可能是有利的。

在以上参考图5和图6描述的实施例中，馈入联合学习系统并由其识别的样本数据包括动物的图像。在识别说出的简单音频短语的替代实施例中，遵循图2所示过程200的原理将是类似的。具有识别音频短语的增强语义学习的联合学习系统中的各方可将短语分成问题、问候、侮辱或补充的组。不同参与方可以根据特定参与者/参与方操作的文化背景或文化环境来确定说出的相同音频短语是侮辱、问候或补充。各方和聚合器可以一起工作以执行关于形成集群和类别以及用于确定音频短语的类型并且具有对应于所识别的集群的节点的深度学习模型的步骤202至228。该系统可以依赖于音调识别以及语音到文本转换，以生成关于所说出和记录的特定音频短语的向量，并分析所说出的音频短语。过程200还可应用于向诸如个人计算机或智能电话等计算设备中预测性地键入单词。为了分析文本或语音数据，可以实现诸如word2vec的方法以将原始数据映射到数值向量，使得神经网络可以理解和分析数据。

可以理解，图2-图6仅提供了某些实施例的说明，而不暗示对如何实现不同实施例的任何限制。可以基于设计和实现要求对所描述的实施例进行许多修改。

如以上实施例中所述，通过语义学习增强的联合学习程序110a、110b、110c、110d可通过允许更准确地进行深度学习系统的训练，同时还提高学习系统的灵活性并降低添加模型类别所需的计算能力，以及同时更高效地协调联合学习，来提高计算机或计算机系统的功能。

图7是根据本发明的说明性实施例的图1中所示的计算机的内部和外部组件的框图900。应当理解，图7仅提供了一种实现的说明，而不暗示对其中可实现不同实施例的环境的任何限制。可以基于设计和实现要求对所描述的环境进行许多修改。

数据处理系统902、904代表能够执行机器可读程序指令的任何电子设备。数据处理系统902、904可以代表智能电话、计算机系统、PDA或其他电子设备。可由数据处理系统902、904表示的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、网络PC、小型计算机系统和包括任何上述系统或设备的分布式云计算环境。

用户客户端计算机102和网络服务器112可以包括图7中所示的内部组件902a、b和外部组件904a、b的相应集合。内部组件902a、b的集合中的每一个包括一个或多个处理器906、在一个或多个总线912上的一个或多个计算机可读RAM 908和一个或多个计算机可读ROM 910、以及一个或多个操作系统914和一个或多个计算机可读有形存储设备916。分别在第一计算机102a、第二计算机102b和第三计算机102c中的一个或多个操作系统914、软件程序108和联合学习程序110a、110b、110c以及网络服务器112中的联合学习程序110d可以存储在一个或多个计算机可读有形存储设备916上，以便由一个或多个处理器906经由一个或多个RAM 908(通常包括高速缓冲存储器)来执行。在图7所示的实施例中，每个计算机可读有形存储设备916是内部硬盘驱动器的磁盘存储设备。可替换地，每个计算机可读有形存储设备916是半导体存储设备，诸如ROM 910、EPROM、闪存或任何其它能够存储计算机程序和数字信息的计算机可读有形存储设备。

每组内部组件902a、b还包括R/W驱动器或接口918，以从一个或多个便携式计算机可读有形存储设备920读取和向其写入，便携式计算机可读有形存储设备诸如CD-ROM、DVD、记忆棒、磁带、磁盘、光盘或半导体存储设备。诸如软件程序108和联合学习程序110a、110b、110c、110d之类的软件程序可以存储在一个或多个相应的便携式计算机可读有形存储设备920上，经由相应的R/W驱动器或接口918读取，并加载到相应的硬盘驱动器916中。

每组内部组件902a、b还可以包括网络适配器(或交换端口卡)或接口922，例如TCP/IP适配卡、无线Wi-Fi接口卡、或者3G或4G无线接口卡或其他有线或无线通信链路。第一计算机102a、第二计算机102b和第三计算机102c中的软件程序108和联合学习程序110a、110b、110c以及网络服务器计算机112中的联合学习程序110d可以经由网络(例如因特网、局域网或其他广域网)以及相应的网络适配器或接口922从外部计算机(例如服务器)下载。从网络适配器(或交换机端口适配器)或接口922，分别在第一计算机102a、第二计算机102b和第三计算机102c中的软件程序108和联合学习程序110a、110b、110c以及在网络服务器计算机112中的联合学习程序110d被加载到相应的硬盘驱动器916中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。

外部组件904a、b的集合中的每一个可以包括计算机显示监视器924、键盘926和计算机鼠标928。外部组件904a、b还可以包括触摸屏、虚拟键盘、触摸板、定点设备和其他人机接口设备。内部组件902a、b的集合中的每一个还包括设备驱动器930，以对接到计算机显示监视器924、键盘926和计算机鼠标928。设备驱动器930、R/W驱动器或接口918以及网络适配器或接口922包括硬件和软件(存储在存储设备916和/或ROM 910中)。

本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质，计算机可读程序指令用于使处理器执行本发明的各方面。

计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码设备，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。

本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者以一种或多种编程语言(包括面向对象的编程语言，例如Smalltalk、C++等)和过程编程语言(例如“C”编程语言或类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。

在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。

这些计算机可读程序指令可以被提供给计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实现中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以作为一个步骤来实现，同时、基本同时、以部分或全部时间重叠的方式执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。

应当理解，尽管本公开包括关于云计算的详细描述，但是本文所陈述的教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知或以后开发的任何其它类型的计算环境来实现。

云计算是一种服务递送模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池的方便的按需网络访问，可配置计算资源可以以最小的管理努力或与服务的提供者的交互来快速供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。

特性如下：

按需自助：云消费者可以单方面地自动地根据需要提供计算能力，诸如服务器时间和网络存储，而不需要与服务的提供者进行人工交互。

广域网接入：能力在网络上可用，并且通过促进由异构的薄或厚客户端平台(例如，移动电话、膝上型计算机和PDA)使用的标准机制来访问。

资源池化：提供者的计算资源被池化以使用多租户模型来服务多个消费者，其中不同的物理和虚拟资源根据需求被动态地分配和重新分配。存在位置无关的感觉，因为消费者通常不控制或不知道所提供的资源的确切位置，但是能够在较高抽象级别(例如国家、州或数据中心)指定位置。

快速弹性：可以快速且弹性地提供功能，在某些情况下可以自动地提供功能，以快速向外扩展并快速释放以快速向内扩展。对于消费者，可用于提供的能力通常看起来不受限制，并且可以在任何时间以任何数量购买。

测量服务：云系统通过利用在适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某一抽象级别的计量能力来自动地控制和优化资源使用。可以监视、控制和报告资源使用，从而为所利用服务的提供者和消费者两者提供透明度。

服务模型如下：

软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用。应用可通过诸如web浏览器(例如，基于web的电子邮件)的瘦客户端界面从各种客户端设备访问。消费者不管理或控制包括网络、服务器、操作系统、存储、或甚至各个应用能力的底层云基础设施，可能的例外是有限的特定于用户的应用配置设置。

平台即服务(PaaS)：提供给消费者的能力是将消费者创建或获取的应用部署到云基础设施上，该消费者创建或获取的应用是使用由提供者支持的编程语言和工具创建的。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但具有对部署的应用和可能的应用托管环境配置的控制。

基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其它基本计算资源，该软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施，但具有对操作系统、存储、部署的应用的控制，以及可能对选择的联网组件(例如，主机防火墙)的有限控制。

部署模型如下：

私有云：云基础设施仅为组织操作。它可以由组织或第三方管理，并且可以存在于内部或外部。

社区云：云基础设施由若干组织共享，并且支持具有共享关注(例如，任务、安全要求、策略和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于内部或外部。

公有云：云基础设施可用于一般公众或大型工业群体，并且由销售云服务的组织拥有。

混合云：云基础设施是两个或更多云(私有、社区或公有)的组合，其保持唯一实体，但是通过使数据和应用能够移植的标准化或私有技术(例如，用于云之间的负载平衡的云突发)绑定在一起。

云计算环境是面向服务的，其焦点在于无状态、低耦合、模块性和语义互操作性。在云计算的核心是包括互连节点的网络的基础设施。

现在参考图8，描绘了说明性云计算环境1000。如图所示，云计算环境1000包括云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点800，该本地计算设备例如个人数字助理(PDA)或蜂窝电话1000A、台式计算机1000B、膝上型计算机1000C和/或汽车计算机系统1000N。节点800可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中，诸如如上文描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境1000提供基础设施、平台和/或软件作为服务，云消费者不需要为其维护本地计算设备上的资源。应当理解，图8中所示的计算设备1000A-N的类型仅旨在说明，并且计算节点800和云计算环境1000可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算设备通信。云计算节点800可以具有与图7中所示的客户端计算机102和图1中所示的计算机102a、102b、102c类似或相同的结构以及内部和外部组件。

现在参考图9，示出了由云计算环境1000提供的一组功能抽象层1100。应当预先理解，图9中所示的组件、层和功能仅旨在说明，并且本发明的实施例不限于此。如所描绘的，提供了以下层和相应的功能：

硬件和软件层1102包括硬件和软件组件。硬件组件的示例包括：主机1104；基于RISC(精简指令集计算机)架构的服务器1106；服务器1108；刀片服务器1110；存储设备1112；以及网络和联网组件1114。在一些实施例中，软件组件包括网络应用服务器软件1116和数据库软件1118。

虚拟化层1120提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器1122；虚拟存储1124；虚拟网络1126，包括虚拟私有网络；虚拟应用和操作系统1128；以及虚拟客户端1130。

在一个示例中，管理层1132可以提供下面描述的功能。资源供应1134提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价1136提供了在云计算环境中利用资源时的成本跟踪，以及用于消耗这些资源的记帐或开发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户1138为消费者和系统管理员提供对云计算环境的访问。服务级别管理1140提供云计算资源分配和管理，使得满足所需的服务级别。服务级别协议(SLA)规划和履行1142提供对云计算资源的预先安排和采购，其中根据SLA预期未来需求。

工作负载层1144提供了可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：映射和导航1146；软件开发和生命周期管理1148；虚拟课堂教育交付1150；数据分析处理1152；事务处理1154；以及语义联合学习1156。联合学习程序110a、110b、110c、110d提供了一种即使在处理联合学习系统中的各个计算设备的唯一语义命名优选项时也能准确地执行联合学习的方式。

本文所用的术语仅是为了描述特定实施例的目的，而不是要限制本发明。如本文所用，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示。还将理解，术语“包括”、“包含”、“含有”、“具有”等在本说明书中使用时指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。

已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所公开的实施例。在不背离所描述的实施例的范围的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或使本领域的其他普通技术人员能够理解本文所公开的实施例。

Claims (20)

1.一种用于联合学习的计算机实现的方法，所述方法包括：

经由聚合器从分布式计算设备接收集群信息，其中所述集群信息与所述分布式计算设备的样本数据中的所识别的集群有关，并且其中所述聚合器包括至少一个处理器；

经由所述聚合器集成所述集群信息以定义类别，其中所述集成包括识别所述所识别的集群之中的任何冗余集群，并且其中所述类别的数量对应于来自所述分布式计算设备的集群的总数减去任何冗余集群；

从所述聚合器向所述分布式计算设备发送深度学习模型，其中所述深度学习模型包括具有节点的输出层，其中所述节点对应于所定义的类别；以及

由所述聚合器接收由所述分布式计算设备执行的联合学习的一个或多个结果，其中所述联合学习训练所述深度学习模型。

2.根据权利要求1所述的方法，还包括：

经由所述聚合器向所述分布式计算设备提供自动编码器；

经由所述分布式计算设备的各个计算设备，通过所述自动编码器运行所述各个计算设备的样本数据以产生自动编码器输出；

经由所述各个计算设备通过聚类算法运行所述自动编码器输出以从所述样本数据识别所述集群；以及

将所述集群信息从所述分布式计算设备发送到所述聚合器。

3.根据权利要求1所述的方法，还包括：

经由所述分布式计算设备执行所述联合学习。

4.根据权利要求1所述的方法，其中每个集群包括质心；

其中所述集群信息包括质心信息，其中所述质心信息与所述质心有关；并且

其中识别任何冗余集群包括比较所述集群的所述质心的所述质心信息。

5.根据权利要求4所述的方法，其中如果两个集群的质心之间的距离小于预定义的阈值，则所述聚合器将所述两个集群定义为冗余的。

6.根据权利要求1所述的方法，还包括：

经由所述分布式计算设备中的计算设备，根据所述计算设备的语义含义来命名所述类别中的类别。

7.根据权利要求2所述的方法，还包括：

在所述集群信息被发送到所述聚合器之前，经由所述分布式计算设备匿名化所述集群信息。

8.根据权利要求2所述的方法，还包括：

由所述聚合器向所述分布式计算设备发送初始自动编码器以供执行；

经由所述分布式计算设备顺序训练所述初始自动编码器以生成所述自动编码器；以及

将所述自动编码器从所述分布式计算设备中的最后的计算设备发送到所述聚合器。

9.根据权利要求8所述的方法，其中所述顺序训练包括：

经由所述分布式计算设备中的第一计算设备训练所述初始自动编码器以产生部分训练的自动编码器；

将所述部分训练的自动编码器从所述第一计算设备发送到所述分布式计算设备中的第二计算设备；

经由所述第二计算设备训练所述部分训练的自动编码器以产生进一步训练的自动编码器；

将所述进一步训练的自动编码器从所述第二计算设备发送到附加计算设备；以及

通过所述附加计算设备训练所述进一步训练的自动编码器以产生所述自动编码器，其中所述附加计算设备是所述最后的计算设备。

10.根据权利要求8所述的方法，其中所述初始自动编码器是预先训练的自动编码器。

11.根据权利要求2所述的方法，还包括：

经由所述分布式计算设备中的第一计算设备在所述联合学习期间检查新类别，其中所述检查包括所述第一计算设备向所述自动编码器馈送新样本并且执行异常检测以检测偏离所述类别的所述新样本，并且其中所述偏离超过预定义阈值。

12.根据权利要求11所述的方法，还包括：

经由所述第一计算设备向所述聚合器通知所述偏离；

经由所述聚合器将新类别添加到所述类别以形成新的类别集合，其中所述新类别对应于所述新样本；

从所述聚合器向所述分布式计算设备发送所述新的类别集合；以及

经由所述聚合器和所述分布式计算设备执行附加的联合学习，以进一步训练所述深度学习模型，其中所述附加的联合学习的执行包括使用所述新的类别集合作为所述深度学习模型的所述输出层的新节点。

13.根据权利要求2所述的方法，其中所述聚类算法是所述自动编码器的一部分。

14.一种用于利用语义学习增强的联合学习的计算机系统，所述计算机系统包括：

一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储介质、以及存储在所述一个或多个计算机可读有形存储介质中的至少一个上的程序指令，所述程序指令用于由所述一个或多个处理器中的至少一个经由所述一个或多个计算机可读存储器中的至少一个来执行，其中所述计算机系统能够执行一种方法，所述方法包括：

从分布式计算设备接收集群信息，其中所述集群信息与所述分布式计算设备的样本数据中的所识别的集群有关；

集成所述集群信息以定义类别，其中所述集成包括识别所述所识别的集群中的任何冗余集群，并且其中所述类别的数量对应于来自所述分布式计算设备的所述集群的总数减去任何冗余集群；

向所述分布式计算设备发送深度学习模型，其中所述深度学习模型包括具有节点的输出层，其中所述节点对应于所定义的类别；以及

接收由所述分布式计算设备执行的联合学习的一个或多个结果，其中所述联合学习训练所述深度学习模型。

15.根据权利要求14所述的计算机系统，其中所述方法进一步包括：

向所述分布式计算设备提供自动编码器。

16.根据权利要求15所述的计算机系统，其中所述自动编码器包括聚类算法。

17.根据权利要求14所述的计算机系统，其中每个集群包括质心；

其中所述集群信息包括质心信息，其中所述质心信息与所述质心有关；并且

其中识别任何冗余集群包括所述计算机系统比较所述集群的所述质心的所述质心信息。

18.根据权利要求17所述的计算机系统，其中如果两个集群的质心之间的距离小于预定义的阈值，则所述计算机系统将所述两个集群定义为冗余的。

19.根据权利要求15所述的计算机系统，其中所述方法还包括：

将初始自动编码器发送到所述分布式计算设备中的第一计算设备以供执行；

从所述第一计算设备接收部分训练的自动编码器；

将所述部分训练的自动编码器发送到所述分布式计算设备中的第二计算设备；

从所述第二计算设备接收进一步训练的自动编码器；

将所述进一步训练的自动编码器发送到所述分布式计算设备中的附加计算设备；以及

从所述附加计算设备接收所述自动编码器。

20.一种用于利用语义学习增强的联合学习的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有随其体现的程序指令，所述程序指令能够由处理器执行以使所述处理器执行一种方法，所述方法包括：

从分布式计算设备接收集群信息，其中所述集群信息与所述分布式计算设备的样本数据中的所识别的集群有关；

集成所述集群信息以定义类别，其中所述集成包括识别所述所识别的集群中的任何冗余集群，并且其中所述类别的数量对应于来自所述分布式计算设备的所述集群的总数减去任何冗余集群；

向所述分布式计算设备发送深度学习模型，其中所述深度学习模型包括具有节点的输出层，其中所述节点对应于所定义的类别；以及

接收由所述分布式计算设备执行的联合学习的一个或多个结果，其中所述联合学习训练所述深度学习模型。

Images