CN110262819B - 一种联邦学习的模型参数更新方法及装置 - Google Patents

Abstract

本发明实施例涉及机器学习领域，尤其涉及一种联邦学习的模型参数更新方法及装置，用以降低模型参数有损压缩带来的误差，提高联邦学习模型的准确性。本发明实施例包括：第一端接收第二端发送的第一联邦模型参数，对第一联邦模型参数进行更新得到第二联邦模型参数；第一端将第二联邦模型参数有损压缩得到压缩模型参数，并将压缩模型参数解压缩得到有损模型参数；第一端根据有损模型参数与第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；第一端将压缩模型参数、有损压缩误差以及抖动参数向第二端发送，以使第二端将压缩模型参数解压缩得到有损模型参数，并根据有损压缩误差、抖动参数以及有损模型参数确定第三联邦模型参数。

Description

一种联邦学习的模型参数更新方法及装置

技术领域

本发明涉及机器学习领域，尤其涉及一种联邦学习的模型参数更新方法及装置。

背景技术

联邦学习是一个机器学习框架，能帮助不同机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据联合使用和建模。具体地说，联邦学习要解决这样一个问题：在企业各自数据不出本地的前提下，通过加密机制下的参数交换与优化，建立一个虚拟的共有模型。这个共有模型的性能类似于将各方数据聚合到一块训练出来的模型。该数据联合建模方案不泄露用户隐私且符合数据安全保护的原则。

当前联邦学习对模型进行建模训练时，主要是采用客户端-服务器的架构方案。服务器负责初始化模型参数，然后将模型参数下发到客户端。客户端对接收到的模型参数在本地进行参数更新，再返回给服务器。服务器之后做参数的聚合，通常是进行平均运算。更新后的模型重新下发到客户端，循环往复，直到收敛为止。

客户端在本地进行参数更新后，通常会将参数有损压缩后再传输，以节约返回给服务器时占用的带宽。当模型参数经过压缩传输回服务器后，服务器使用这些模型参数的均值或者是加权平均值作为聚合模型的参数。然而，模型参数进行有损压缩后通常会损失一部分信息，直接将参数平均或加权平均并不会消除这部分损失带来的影响，会给模型计算带来较大的误差。

发明内容

本申请提供一种联邦学习的模型参数更新方法及装置，用以降低模型参数有损压缩带来的误差，提高联邦学习模型的准确性。

本发明实施例提供的一种联邦学习的模型参数更新方法，包括：

第一端接收第二端发送的第一联邦模型参数，对所述第一联邦模型参数进行更新得到第二联邦模型参数；

所述第一端将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；

所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；

所述第一端将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差以及所述抖动参数确定第三联邦模型参数。

一种可选的实施例中，所述第一端根据所述有损模型参数与所述联邦模型参数之间的差距，确定有损压缩误差，包括：

所述第一端将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；

针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；

将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。

一种可选的实施例中，所述向量化集合的有损压缩误差根据以下公式确定：

其中，e_i为第i个向量化集合的有损压缩误差，m_i为第i个向量化集合，n_i为第i个向量化集合中参数的数目，φ(m_i)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。

一种可选的实施例中，所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定抖动参数，包括：

所述第一端将所述有损压缩误差作为随机噪声的标准差；

所述第一端选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；

所述第一端将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；

所述第一端将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。

本发明实施例还提供一种联邦学习的模型参数更新装置，包括：

收发单元，用于接收第二端发送的第一联邦模型参数；

更新单元，用于对所述第一联邦模型参数进行更新得到第二联邦模型参数；

抖动单元，用于将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；

所述收发单元，还用于将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。

一种可选的实施例中，所述抖动单元，具体用于：

将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；

针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；

将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。

一种可选的实施例中，所述抖动单元，具体用于根据以下公式确定所述向量化集合的有损压缩误差：

其中，e_i为第i个向量化集合的有损压缩误差，m_i为第i个向量化集合，n_i为第i个向量化集合中参数的数目，φ(m_i)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。

一种可选的实施例中，所述抖动单元，具体用于：

将所述有损压缩误差作为随机噪声的标准差；

选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；

将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；

将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。

本发明实施例还提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上所述的方法。

本发明实施例中，第一端接收第二端发送的第一联邦模型参数，并对第一联邦模型参数进行更新得到第二联邦模型参数。第一端将更新后的第二联邦模型参数进行有损压缩得到压缩模型参数，再将压缩模型参数解压缩得到有损模型参数。第一端根据有损模型参数与第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数，并将有损压损误差以及抖动参数与压缩模型参数一起向第二端发送。第二端将接收到的压缩模型参数解压缩得到有损模型参数，并根据有损压缩误差以及抖动参数确定第三联邦模型参数。本发明实施例中第二端在对压缩模型解压后，利用抖动参数来抵消有损压缩带来的误差，从而降低有损压缩对模型训练造成的不利影响，降低了误差率，提高了联邦学习模型的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种可能的系统构架的结构示意图；

图2为本发明实施例提供的一种联邦学习的模型参数更新方法的流程示意图；

图3为本发明具体实施例提供的联邦学习的模型参数更新方法的流程示意图；

图4为本发明实施例提供的一种区块链中投票装置的结构示意图；

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明实施例所适用的一种系统架构，包括服务器101以及多个客户端102。其中，服务器101用于初始化模型参数，然后将模型参数下发到客户端102。客户端102对接收到的模型参数在本地进行更新，再返回给服务器101。服务器101将多个客户端102发送的模型参数进行聚合，通常是进行平均运算，再将处理后的模型参数重新下发到客户端102，循环往复，直到收敛为止。

服务器101可以是计算机等网络设备。服务器101可以是一个独立的设备，也可以是多个服务器所形成的服务器集群。优选地，服务器101可以采用云计算技术进行信息处理。客户端102安装于终端上，终端可以是手机、平板电脑或者是专用的手持设备等具有无线通信功能的电子设备，也可以是个人计算机(personal computer，简称PC)，笔记本电脑，服务器等有线接入方式连接上网的设备。终端可以是一个独立的设备，也可以是多个终端所形成的终端集群。优选地，终端可以采用云计算技术进行信息处理。

客户端102可以通过INTERNET网络与服务器101进行通信，也可以通过全球移动通信系统(Global System for Mobile Communications，简称GSM)、长期演进(long termevolution，简称LTE)系统等移动通信系统与服务器101进行通信。

为了便于理解，下面对本发明实施例中可能涉及的名词进行定义和解释。

抖动：抖动(Dither)是一种故意造成的噪音用以随机化量化误差，阻止大幅度拉升图像时导致的像色带(banding)这样的问题。常用在数字声音和数字视频数据处理中，也常用在激光唱片中。

联邦学习：联邦机器学习(Federated Machine Learning)是一种加密的分布式机器学习技术，参与各方可以在不披露底层数据和底层数据的加密(混淆)形态的前提下共建模型。它可以实现各个企业的自有数据不出本地，通过加密机制下的参数交换方式，就能在不违反数据隐私法规情况下，建立一个虚拟的共有模型。在这样一个机制下，参与各方的身份和地位相同，成功实现了打通“数据孤岛”走向“共同富裕”的目标。

数据压缩(Compression)：用最少的数码来表示信号，从而占用更少的磁盘存储空间和更短的传输时间，数据之所以能被压缩并能保证数据可用，主要是因为数据中间常存在一些多余成分，即冗余度；数据间尤其是相邻的数据之间，常存在着相关性；人们在欣赏音像节目时，由于耳、目对信号的时间变化和幅度变化的感受能力都有一定的极限，如人眼对影视节目有视觉暂留效应，人眼或人耳对低于某一极限的幅度变化已无法感知等，因而可将信号中这部分感觉不出的分量压缩掉或“掩蔽掉”。数据压缩的方式包括有损压缩，是经过压缩、解压的数据与原始数据不同但是非常接近的压缩方法。有损压缩又称破坏型压缩，即将次要的信息数据压缩掉，牺牲一些质量来减少数据量，使压缩比提高。

量化(Quantization)：就是把经过抽样得到的瞬时值将其幅度离散，即用一组规定的电平，把瞬时抽样值用最接近的电平值来表示。经过抽样的图像，只是在空间上被离散成为像素(样本)的阵列。而每个样本灰度值还是一个由无穷多个取值的连续变化量，必须将其转化为有限个离散值，赋予不同码字才能真正成为数字图像。这种转化称为量化。

为了减少模型参数传输过程中有损压缩带来的影响，基于上述架构，本发明实施例提供了一种联邦学习的模型参数更新方法，如图2所示，本发明实施例提供的联邦学习的模型参数更新方法包括以下步骤：

步骤201、第一端接收第二端发送的第一联邦模型参数，对所述第一联邦模型参数进行更新得到第二联邦模型参数。

步骤202、所述第一端将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数。

步骤203、所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数。

步骤204、所述第一端将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。

其中，第一端为客户端，第二端为服务器端；也可以为第一端为服务器端，第二端为客户端，这里不做限制。同时，一般来说，对于同一个联邦学习模型，客户端的数量为多个，服务器的数量为一个。本发明实施例对于客户端和服务器的数量均为举例，不作限制。

本发明实施例以第一端为客户端，第二端为服务器端为例进行说明。上述第一联邦模型参数为经客户端接收到的服务器发送的模型参数，第二联邦模型参数为客户端进行参数更新后得到的模型参数。第三联邦模型参数为对因有损压缩再解压缩而损失了一部分信息的模型参数进行抖动处理后得到的最终的模型参数。

本发明实施例中，第一端接收第二端发送的第一联邦模型参数，并对第一联邦模型参数进行更新得到第二联邦模型参数。第一端将更新后的第二联邦模型参数进行有损压缩得到压缩模型参数，再将压缩模型参数解压缩得到有损模型参数。第一端根据有损模型参数与第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数，并将有损压损误差以及抖动参数与压缩模型参数一起向第二端发送。第二端将接收到的压缩模型参数解压缩得到有损模型参数，并根据有损压缩误差以及抖动参数确定第三联邦模型参数。本发明实施例中第二端在对压缩模型解压后，利用抖动参数来抵消有损压缩带来的误差，从而降低有损压缩对模型训练造成的不利影响，降低了误差率，提高了联邦学习模型的准确性。

常用的联邦学习框架可以支持各种模型，如支持向量机(Support VectorMachine,SVM)、逻辑回归(logistics regression，LR)等线性模型，也可以支持深度神经网络(Deep Neural Network，DNN)模型。这些模型通常具有一定的结构性，由于不同的结构对精确度的要求不同，因此，同一个模型中的不同结构有损压缩的比例不同，从而针对不同结构确定不同的有损压缩误差，以此满足不同结构的精确度。所述第一端根据所述有损模型参数与所述联邦模型参数之间的差距，确定有损压缩误差，包括：

所述第一端将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；

针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；

将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。

具体实施过程中，对于联邦模型M，根据结构将其划分为{m₁,m₂,…m_i…,m_L}共L个向量化集合，其中，L为联邦模型中结构的总数目，m_i为第i个结构参数的向量化集合。对于不同的联邦模型，在深度神经网络模型中可以认为具有L个网络层，每一个网络层对应一个向量化集合；而在线性模型中，则可以对模型参数进行结构性分段，得到L个向量化集合。

本发明实施例中，对于第二联邦模型参数中的一个向量化集合，将向量化集合有损压缩再解压缩后得到有损集合，并将有损集合与未进行有损压缩的原始向量化集合进行比较，从而确定该向量化集合的有损压缩误差。再将所有L个向量化集合的有损压缩误差进行组合，作为该第二联邦模型参数的有损压缩误差。这里估计有损压缩误差的具体方式不限。

一种可选的实施例中，所述向量化集合的有损压缩误差根据以下公式确定：

其中，e_i为第i个向量化集合的有损压缩误差，m_i为第i个向量化集合，n_i为第i个向量化集合中参数的数目，φ(m_i)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。这里，有损压缩误差可以看做更新后向量化集合中参数与有损集合中参数的范数L_p的均值。

相应的，整个第二联邦模型参数的有损压缩误差可以表示如下：

e＝{e₁,e₂,…e_i…,e_L}……公式2

同时，第一端还根据有损模型参数与第二联邦模型参数之间的差距，确定抖动参数，包括：

所述第一端将所述有损压缩误差作为随机噪声的标准差；

所述第一端选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；

所述第一端将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；

所述第一端将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。

为了便于描述，首先定义修正的有损模型参数为M'，即为进行抖动处理后的有损模型参数，则第三联邦模型参数可以依照以下公式计算获得：

M'＝φ(M)+γD……公式3

其中，M'为修正的有损模型参数；φ(M)为将第二联邦模型参数有损压缩再解压缩得到的有损模型参数；D为均值为0，标准差为有损压缩误差即e的随机噪声；γ为抖动参数。

一种可选的实施过程中，可以利用网格搜索的方式选择最优的抖动参数γ。首先对γ分别取值为

其中G为网格数，使得γ的数量为N个，可以依据客户端的运算资源选取G的值。即若客户端的运算资源较多，可使G的取值较大；若客户端的运算资源较少，则使G的取值较小。

之后，针对每一个γ的取值，再结合随机噪声D，生成R个M'。将这R个M'与原第二联邦模型参数进行对比，从而计算每个M'的准确率。将R个M'的准确率取平均或者计算中间值，作为该γ的分数。

最后，将分数最高的γ作为抖动参数。

特殊的，若客户端的运算资源十分少，可以直接将γ取值为1。

客户端确定了有损压缩误差e和抖动参数γ后，将其与压缩模型参数一同向服务器发送。

对于服务器而言，服务器将压缩模型参数解压缩得到有损模型参数，并根据有损压缩误差、抖动参数以及有损模型参数确定第三联邦模型参数。由于一个服务器会连接有多个客户端，因此，服务器需要将接收到的多个客户端的模型参数进行加权平均。当然，除了加权平均，也可以进行其它方式的聚合处理，本发明实施例对此仅为举例，不做限制。举例来说，假设有K台客户端连接至服务器，客户端分别为{C₁,C₂,…C_j…,C_K}，其中服务器将第j台客户端的压缩模型参数解压缩得到的有损模型参数为φ(M_j)。现有技术中，服务器根据以下公式计算最终的联邦模型参数：

其中，M_agg为最终的联邦模型参数，φ(M_j)为第j客户端的有损模型参数，ε_j为第j客户端的权重。

在本发明实施例中，服务器将压缩模型参数解压缩得到有损模型参数后，会利用接收到的有损压缩误差确定随机噪声，利用随机噪声对有损模型进行抖动处理后得到最终的第三联邦模型参数。一种具体的实现方式中，服务器根据以下公式计算第三联邦模型参数：

其中，M_agg-d为第三联邦模型参数；γ_j为第j客户端的抖动参数；D_j为均值为0，标准差为e_j的随机噪声；e_j为第j客户端的有损压缩误差。

上述随机噪声可以为高斯随机噪声，或者其它噪声，如椒盐噪声等，本发明实施例仅为举例，不做限制。

特殊的，若只有服务器只连接了一台客户端，即上述公式5中的系数K为1，则此时服务器根据以下公式计算该客户端的第三联邦模型参数：

M_agg-d＝φ(M)+γD……公式6

需要说明的是，上述实施例以第一端为客户端，第二端为服务器为例进行介绍。相应的，当服务器向客户端发送联邦模型参数时，也需要将联邦模型参数进行有损压缩。因此，服务器也会确定出有损压缩误差和抖动参数，并将有损压缩误差和抖动参数与压缩后的联邦模型参数发送至各个客户端。这样，客户端在对联邦模型参数解压缩后，也可以根据有损压缩误差和抖动参数对解压缩后的联邦模型参数进行抖动处理，从而减小有损压缩带来的误差。

为了更清楚地理解本发明，下面以具体实施例对上述流程进行详细描述，具体实施例的步骤如图3所示，包括：

步骤S301：服务器向客户端发送第一联邦模型参数。

步骤S302：客户端将第一联邦模型参数进行更新，得到第二联邦模型参数。

步骤S303：客户端将第二联邦模型参数有损压缩得到压缩模型参数，再将压缩模型参数解压缩得到有损模型参数。

步骤S304：客户端将第二联邦模型参数按照结构划分为L个向量化集合。

步骤S305：针对一个向量化集合，客户端根据有损集合与向量化集合之间的差距，确定向量化集合的有损压缩误差。再将L个向量化集合的有损压缩误差组合为第二联邦模型参数的有损压缩误差。

步骤S306：客户端将有损压缩误差作为高斯随机噪声的标准差。

步骤S307：客户端选取N个数量的待选参数，并针对任一待选参数，结合有损模型参数以及高斯随机噪声，确定修正的有损模型参数。

步骤S308：客户端将所有修正的有损模型参数与第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数。

步骤S309：客户端将准确度最高的修正的有损模型参数对应的待选参数作为抖动参数。

步骤S310：客户端向服务器发送压缩模型参数、有损压缩误差以及抖动参数。

步骤S311：服务器将压缩模型参数解压缩得到有损模型参数。

步骤S312：服务器根据有损压缩误差、抖动参数以及有损模型参数确定第三联邦模型参数。

本发明实施例还提供了一种联邦学习的模型参数更新装置，如图4所示，包括：

收发单元401，用于接收第二端发送的第一联邦模型参数；

更新单元402，用于对所述第一联邦模型参数进行更新得到第二联邦模型参数；

抖动单元403，用于将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；

所述收发单元401，还用于将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。

可选的，所述抖动单元403，具体用于：

将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；

针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；

将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。

可选的，所述抖动单元403，具体用于根据以下公式确定所述向量化集合的有损压缩误差：

其中，e_i为第i个向量化集合的有损压缩误差，m_i为第i个向量化集合，n_i为第i个向量化集合中参数的数目，φ(m_i)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。

可选的，所述抖动单元403，具体用于：

将所述有损压缩误差作为高斯随机噪声的标准差；

选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述高斯随机噪声，确定修正的有损模型参数；

将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；

将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。

基于相同的原理，本发明还提供一种电子设备，如图5所示，包括：

包括处理器501、存储器502、收发机503、总线接口504，其中处理器501、存储器502与收发机503之间通过总线接口504连接；

所述处理器501，用于读取所述存储器502中的程序，执行下列方法：

接收第二端发送的第一联邦模型参数，对所述第一联邦模型参数进行更新得到第二联邦模型参数；

将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；

根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；

将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种联邦学习的模型参数更新方法，其特征在于，包括：

第一端接收第二端发送的第一联邦模型参数，对所述第一联邦模型参数进行更新得到第二联邦模型参数；

所述第一端将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；

所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；

所述第一端将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。

2.如权利要求1所述的方法，其特征在于，所述第一端根据所述有损模型参数与所述联邦模型参数之间的差距，确定有损压缩误差，包括：

所述第一端将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；

针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；

将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。

3.如权利要求2所述的方法，其特征在于，所述向量化集合的有损压缩误差根据以下公式确定：

其中，e_i为第i个向量化集合的有损压缩误差，m_i为第i个向量化集合，n_i为第i个向量化集合中参数的数目，φ(m_i)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。

4.如权利要求1所述的方法，其特征在于，所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定抖动参数，包括：

所述第一端将所述有损压缩误差作为随机噪声的标准差；

所述第一端选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；

所述第一端将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；

所述第一端将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。

5.一种联邦学习的模型参数更新装置，其特征在于，包括：

收发单元，用于接收第二端发送的第一联邦模型参数；

更新单元，用于对所述第一联邦模型参数进行更新得到第二联邦模型参数；

抖动单元，用于将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；

所述收发单元，还用于将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。

6.如权利要求5所述的装置，其特征在于，所述抖动单元，具体用于：

将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；

针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；

将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。

7.如权利要求6所述的装置，其特征在于，所述抖动单元，具体用于根据以下公式确定所述向量化集合的有损压缩误差：

其中，e_i为第i个向量化集合的有损压缩误差，m_i为第i个向量化集合，n_i为第i个向量化集合中参数的数目，φ(m_i)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。

8.如权利要求5所述的装置，其特征在于，所述抖动单元，具体用于：

将所述有损压缩误差作为随机噪声的标准差；

选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；

将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；

将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1～4任一所述方法。

Images