CN110378487A - 横向联邦学习中模型参数验证方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种横向联邦学习中模型参数验证方法、装置、设备及介质，用以解决现有技术存在的由于无法识别无效模型参数，导致模型训练的效率和精确度较低的问题。具体为：通过服务器将各个模型训练设备上报的模型参数下发至除自身的模型训练设备之外的其他模型训练设备进行误差评估，使得服务器可以获得各个模型参数的误差值集合，从而可以根据各个模型参数的误差值集合，筛选出无效模型参数，进而在模型训练过程中，在确定下一个模型训练周期使用的初始模型参数时，可以剔除这些无效模型参数，从而有效地解决了由于无法识别无效模型参数，导致模型训练的效率和精确度较低的问题，提高了模型训练的效率和精确度。

Description

横向联邦学习中模型参数验证方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种横向联邦学习中模型参数验证方法、装置、设备及介质。

背景技术

“机器学习”是人工智能的核心研究领域之一，而如何在满足隐私保护和数据安全的前提下，利用多个机构的数据作进一步的机器学习，是机器学习领域研究的一个趋势，在此背景下，提出了“联邦学习”的概念，其中，横向联邦学习是联邦学习的一个分类，是指在训练样本数据的数据特征一致，用户群体不一致的情况下，按照用户维度(即横向)对训练样本数据进行切分，并选取数据特征基本相同而用户不完全相同的训练样本数据进行模型训练。

目前，基于横向联邦学习的模型训练系统主要包括分散在各地、各机构的模型训练设备以及管理各个模型训练设备并控制模型训练的服务器。其中，基于横向联邦学习的模型训练方法是，服务器向各个模型训练设备下发初始模型参数；各个模型训练设备利用本地训练样本数据和初始模型参数进行模型训练，得到更新后的模型参数并返回至服务器；服务器根据各个模型训练设备返回的模型参数，确定下一个模型训练周期使用的初始模型参数。

实际应用中，采用这种基于横向联邦学习的模型训练方法，可以在服务器确定满足收敛条件时获得精准度较高的机器学习模型，进而，各个模型训练设备就可以利用该机器学习模型进行相应的数据处理。

然而，在模型训练过程中，可能出现模型训练设备向服务器提供无效模型参数的情况，这些无效模型参数会影响模型训练的效率和精确度，如何识别无效模型参数是横向联邦学习领域需要考虑的问题。

发明内容

本申请实施例提供了一种横向联邦学习中模型参数验证方法、装置、设备及介质，用以解决现有技术存在的由于无法识别无效模型参数，导致模型训练的效率和精确度较低的问题，具体的，本申请实施例提供的技术方案如下：

一方面，本申请实施例提供了一种应用于服务器的横向联邦学习中模型参数验证方法，包括：

获取设定时间范围内横向联邦学习系统中各个模型训练设备上报的模型参数，并将各个模型参数下发至各个模型训练设备，其中，各个模型参数不下发至各自对应的模型训练设备；

接收各个模型训练设备针对接收到的每一个模型参数返回的误差值，其中，模型参数的误差值是模型训练设备将本地训练样本数据输入基于模型参数的本地机器学习模型，得到模型输出结果后，对模型输出结果和标准模型输出结果进行误差评估获得的；

以各个模型参数为维度，对接收到的所有误差值进行统计，得到各个模型参数各自的误差值集合；

从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

在一种可能的实施方式中，将各个模型参数下发至各个模型训练设备，包括：

针对每一个模型参数，从除模型参数对应的模型训练设备之外的其他所有模型训练设备中，随机选取多个模型训练设备，并将模型参数下发至随机选取的多个模型训练设备中。

在一种可能的实施方式中，从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数，包括：

基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布；

调用设定检测算法，对各个模型参数各自的误差值分布进行异常检测，得到异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

在一种可能的实施方式中，基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布，包括：

分别对各个模型参数各自的误差值集合进行拟合，得到各个模型参数各自的误差值分布曲线，并分别将各个模型参数各自的误差值分布曲线确定为各个模型参数各自的误差值分布；

或者，分别对各个模型参数各自的误差值集合进行统计，得到各个模型参数各自的误差值分布直方图，并分别将各个模型参数各自的误差值分布直方图确定为各个模型参数各自的误差值分布。

在一种可能的实施方式中，设定检测算法包括但不限于巴氏距离测量算法、奇异值和异常值检测算法、肖维勒准则、格拉布斯准则中的任意一种。

在一种可能的实施方式中，本申请实施例提供的横向联邦学习中模型参数验证方法还包括：

确定无效模型参数对应的模型训练设备；

对模型训练设备上报的无效模型参数的数量进行累计，得到模型训练设备当前上报的无效模型参数的数量；

确定模型训练设备当前上报的无效模型参数的数量不小于设定阈值时，从横向联邦学习系统中剔除模型训练设备。

另一方面，本申请实施例提供了一种应用于模型训练设备的横向联邦学习中模型参数验证方法，包括：

接收服务器下发的各个模型参数；

针对各个模型参数，分别将本地训练样本数据输入基于各个模型参数的本地机器学习模型，得到各个模型参数各自的模型输出结果；

分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值；

将各个模型参数各自的误差值返回至服务器。

在一种可能的实施方式中，分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值，包括：

分别将各个模型参数各自的模型输出结果和标准模型输出结果输入设定损失函数，获得各个模型参数各自的损失值；

将各个模型参数各自的损失值确定为各个模型参数各自的误差值。

另一方面，本申请实施例提供了一种应用于服务器的横向联邦学习中模型参数验证装置，包括：

下发单元，用于获取设定时间范围内横向联邦学习系统中各个模型训练设备上报的模型参数，并将各个模型参数下发至各个模型训练设备，其中，各个模型参数不下发至各自对应的模型训练设备；

接收单元，用于接收各个模型训练设备针对接收到的每一个模型参数返回的误差值，其中，模型参数的误差值是模型训练设备将本地训练样本数据输入基于模型参数的本地机器学习模型，得到模型输出结果后，对模型输出结果和标准模型输出结果进行误差评估获得的；

统计单元，用于以各个模型参数为维度，对接收到的所有误差值进行统计，得到各个模型参数各自的误差值集合；

验证单元，用于从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

在一种可能的实施方式中，在将各个模型参数下发至各个模型训练设备时，下发单元具体用于：

针对每一个模型参数，从除模型参数对应的模型训练设备之外的其他所有模型训练设备中，随机选取多个模型训练设备，并将模型参数下发至随机选取的多个模型训练设备中。

在一种可能的实施方式中，在从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数时，验证单元具体用于：

基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布；

调用设定检测算法，对各个模型参数各自的误差值分布进行异常检测，得到异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

在一种可能的实施方式中，在基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布时，验证单元具体用于：

分别对各个模型参数各自的误差值集合进行拟合，得到各个模型参数各自的误差值分布曲线，并分别将各个模型参数各自的误差值分布曲线确定为各个模型参数各自的误差值分布；

或者，分别对各个模型参数各自的误差值集合进行统计，得到各个模型参数各自的误差值分布直方图，并分别将各个模型参数各自的误差值分布直方图确定为各个模型参数各自的误差值分布。

在一种可能的实施方式中，验证单元调用的设定检测算法包括但不限于巴氏距离测量算法、奇异值和异常值检测算法、肖维勒准则、格拉布斯准则中的任意一种。

在一种可能的实施方式中，本申请实施例提供的应用于服务器的横向联邦学习中模型参数验证装置还包括：

剔除单元，用于确定无效模型参数对应的模型训练设备，并对模型训练设备上报的无效模型参数的数量进行累计，得到模型训练设备当前上报的无效模型参数的数量，以及确定模型训练设备当前上报的无效模型参数的数量不小于设定阈值时，从横向联邦学习系统中剔除模型训练设备。

另一方面，本申请实施例提供了一种应用于模型训练设备的横向联邦学习中模型参数验证装置，包括：

接收单元，用于接收服务器下发的各个模型参数；

输入单元，用于针对各个模型参数，分别将本地训练样本数据输入基于各个模型参数的本地机器学习模型，得到各个模型参数各自的模型输出结果；

评估单元，用于分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值；

返回单元，用于将各个模型参数各自的误差值返回至服务器。

在一种可能的实施方式中，在分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值时，评估单元具体用于：

分别将各个模型参数各自的模型输出结果和标准模型输出结果输入设定损失函数，获得各个模型参数各自的损失值；

将各个模型参数各自的损失值确定为各个模型参数各自的误差值。

另一方面，本申请实施例还提供了一种模型参数验证设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的应用于服务器的横向联邦学习中模型参数验证方法；或者，实现本申请实施例提供的应用于模型训练设备的横向联邦学习中模型参数验证方法。

另一方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的应用于服务器的横向联邦学习中模型参数验证方法；或者，实现本申请实施例提供的应用于模型训练设备的横向联邦学习中模型参数验证方法。

本申请实施例的有益效果如下：

本申请实施例中，通过将各个模型训练设备上报的模型参数随机下发至除自身对应的模型训练设备之外的其他模型训练设备进行模型输出结果的误差评估，可以获得各个模型参数的误差值集合，从而可以根据各个模型参数的误差值集合，筛选出异常误差值集合对应的模型参数为无效模型参数，进而，在模型训练过程中，在确定下一个模型训练周期使用的初始模型参数时，可以剔除这些无效模型参数，从而有效地解决了由于无法识别无效模型参数，导致模型训练的效率和精确度较低的问题。

此外，通过将各个模型参数随机下发至除各个模型参数各自的模型训练设备之外的其他模型训练设备进行模型输出结果的误差评估，使得误差评估后获得的各个模型参数的误差值集合的精准度更高，进而，在确保了无效模型参数的识别精准度的同时，提高了模型训练的效率和精确度。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1A为本申请实施例中存在非法模型训练设备的横向联邦学习系统的系统架构示意图；

图1B为本申请实施例中横向联邦学习系统的系统架构示意图；

图2A为本申请实施例中横向联邦学习中模型参数验证方法的流程示意图；

图2B为本申请实施例中误差值分布曲线存在明显差异的示意图；

图3为本申请实施例中的横向联邦学习中模型参数验证方法的具体流程示意图；

图4为本申请实施例中采用“模型参数验证条件是当前模型训练周期结束”为具体应用场景的横向联邦学习中模型参数验证方法的流程示意图；

图5为本申请实施例中应用于服务器的横向联邦学习中模型参数验证装置的功能结构示意图；

图6为本申请实施例中应用于模型训练设备的横向联邦学习中模型参数验证装置的功能结构示意图；

图7为本申请实施例中的模型参数验证设备的硬件结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本申请，首先对本申请中提及的技术用语进行说明。

1、模型参数，为在机器学习过程中自动更新的参数。例如，权重、偏置。

2、模型参数的误差值，为将训练样本数据输入基于该模型参数的本地机器学习模型，得到模型输出结果后，该模型输出结果和标准模型输出结果的差异值，本申请实施例中，误差值可以使但不限于是：损失值。

3、模型参数的误差值分布，为该模型参数对应的误差值集合包含的各个误差值的分布状态，本申请实施例中，误差值分布可以使但不限于是：误差值分布曲线、误差值分布直方图。

4、收敛条件，为横向联邦学习过程的结束条件，本申请实施例中，收敛条件可以是但不限于是：当前模型训练周期获得的各个模型参数的损失值的平均值与上一个模型训练周期获得的各个模型参数的损失值的平均值之间的差值不大于设定阈值。

5、模型参数验证条件，为用于触发模型参数验证的条件，本申请实施例中，模型参数验证条件可以是但不限于是：到达设定周期，当前模型训练周期结束，设定事件发生。

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在横向联邦学习系统中，很可能出现部分模型训练设备向服务器上报无效模型参数的情况，例如，如图1A所示的横向联邦学习系统中的模型训练设备6和模型训练设备7，目前，服务器还无法识别这些模型训练设备提供的无效模型参数，服务器使用这些无效模型参数进行模型训练时可能会影响模型训练的效率和精确度。

为此，本申请实施例中，参阅图1B所示，横向联邦学习系统中，服务器101和各个模型训练设备102可通过互联网进行通信连接，服务器101确定满足模型参数验证条件时，获取设定时间范围内横向联邦学习系统中各个模型训练设备102上报的模型参数，并将各个模型参数随机下发至除自身对应的模型训练设备102之外的其他模型训练设备102；各个模型训练设备102接收到服务器101下发的各个模型参数时，针对各个模型参数，分别将本地训练样本数据输入基于各个模型参数的本地机器学习模型，得到各个模型参数各自的模型输出结果，并分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值，将各个模型参数各自的误差值返回至所述服务器101；服务器101接收各个模型训练设备102针对接收到的每一个模型参数返回的误差值，并以各个模型参数为维度，对接收到的所有误差值进行统计，得到各个模型参数各自的误差值集合，从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

这样，通过将各个模型训练设备102上报的模型参数随机下发至除自身对应的模型训练设备102之外的其他模型训练设备102进行模型输出结果的误差评估，可以获得各个模型参数的误差值集合，从而可以根据各个模型参数的误差值集合，筛选出异常误差值集合对应的模型参数为无效模型参数，进而，在模型训练过程中，在确定下一个模型训练周期使用的初始模型参数时，可以剔除这些无效模型参数，从而有效地解决了由于无法识别无效模型参数，导致模型训练的效率和精确度较低的问题，此外，通过将各个模型参数随机下发至除各个模型参数各自对应的模型训练设备102之外的其他模型训练设备102进行模型输出结果的误差评估，使得误差评估后获得的各个模型参数的误差值集合的精准度更高，进而，在确保了无效模型参数的识别精准度的同时，提高了模型训练的效率和精确度。

在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。

本申请实施例提供了一种横向联邦学习中模型参数验证方法，参阅图2A所示，本申请实施例提供的横向联邦学习中模型参数验证方法的流程如下：

步骤201：服务器101获取设定时间范围内横向联邦学习系统中各个模型训练设备102上报的模型参数。

实际应用中，为了能够对模型参数进行区分，模型训练设备102在上报模型参数时，还可以将该模型参数的参数标识与该模型参数一同上报至服务器101。

其中，模型参数的参数标识可以由该模型参数对应的模型训练设备102的设备标识以及该模型参数的序号组成。

例如：假设模型参数为权重λ₁和偏置σ₁，该模型参数对应的模型训练设备102的设备标识为C₁，模型训练设备C₁为该模型参数配置的序号为M₁，则该模型参数的参数标识可以是但不限于是M₁_C₁。

进一步的，本申请实施例中，服务器101可以在确定满足模型参数验证条件时，获取设定时间范围内横向联邦学习系统中各个模型训练设备102上报的模型参数。

其中，若模型参数验证条件是到达设定周期，则设定时间范围可以是设定周期所对应的时间范围；若模型参数验证条件是当前模型训练周期结束，则设定时间范围可以是模型训练周期；若模型参数验证条件是设定事件发生，则设定时间范围可以是根据实际需求设定的指定时间范围。

例如：假设模型参数验证条件是当前模型训练周期结束，则服务器101可以在确定当前模型训练周期结束时，获取当前训练周期内横向联邦学习系统中各个模型训练设备102上报的模型参数。

又如：假设模型参数验证条件是接收到模型参数验证指令，即设定事件发生，则服务器101可以在确定接收到模型参数验证指令时，获取该模型参数训练指令携带的指定时间范围，并获取该指定时间范围内横向联邦学习系统中各个模型训练设备102上报的模型参数。

再如：假设模型参数验证条件是到达12h，即设定周期，则服务器101可以在确定到达12h时，获取12h内横向联邦学习系统中各个模型训练设备102上报的模型参数。

步骤202：服务器101将各个模型参数下发至各个模型训练设备102，其中，各个模型参数不下发至各自对应的模型训练设备102。

本申请实施例中，为了确保对各个模型参数的有效性验证的公平性和准确性，服务器101在下发每一个模型参数时，可以从除该模型参数对应的模型训练设备102之外的其他所有模型训练设备102中，随机选取多个模型训练设备102，并将该模型参数下发至随机选取的该多个模型训练设备102中。

在具体实施时，服务器101随机选取的该多个模型训练设备102可以是除该模型参数对应的模型训练设备102之外的其他所有模型训练设备102，也可以是除该模型参数对应的模型训练设备102之外的其他所有模型训练设备102中的部分模型训练设备102。具体选取方式，本申请不作限定。

实际应用中，服务器101在将该模型参数下发至随机选取的该多个模型训练设备102中时，还可以将该模型参数的参数标识与该模型参数一同下发至随机选取的该多个模型训练设备102中。

例如：假设横向联邦学习系统中有10个模型训练设备102，分别为模型训练设备C₁～C₁₀；模型训练设备C₁上报的模型参数为权重λ₁和偏置σ₁，该模型参数的参数标识为M₁_C₁，则：

服务器101可以将模型训练参数“权重λ₁，偏置σ₁”和该模型训练参数对应的参数标识“M₁_C₁”随机下发至除模型训练设备C₁之外的其他所有模型训练设备102，即模型训练设备C₂～C₉。

服务器101也可以将模型训练参数“权重λ₁，偏置σ₁”和该模型训练参数对应的参数标识“M₁_C₁”随机下发至除模型训练设备C₁之外的其他所有模型训练设备102中的部分模型训练设备102，比如，模型训练设备C₂、模型训练设备C₃和模型训练设备C₅等。

步骤203：模型训练设备102接收服务器101下发的各个模型参数，并针对各个模型参数，分别将本地训练样本数据输入基于各个模型参数的本地机器学习模型，得到各个模型参数各自的模型输出结果。

例如：假设模型训练设备C₂接收到了服务器101下发的模型参数“权重λ₁，偏置σ₁”和该模型训练参数对应的参数标识“M₁_C₁”以及模型参数“权重λ₅，偏置σ₅”和该模型训练参数对应的参数标识“M₅_C₅”，则：

模型训练设备C₂接收到服务器101下发的模型训练参数“权重λ₁，偏置σ₁”和参数标识“M₁_C₁”后，可以将本地训练样本数据“X1”输入基于模型训练参数“权重λ₁，偏置σ₁”的本地机器学习模型M“y＝λ₁x+σ₁”，得到模型参数“权重λ₁，偏置σ₁”的模型输出结果为“Y₁_C₂”。

模型训练设备C₂接收到服务器101下发的模型训练参数“权重λ₅，偏置σ₅”和参数标识“M₅_C₅”后，可以将本地训练样本数据“X2”输入基于模型训练参数“权重λ₅，偏置σ₅”的本地机器学习模型M“y＝λ₁x+σ₁”，得到模型参数“权重λ₅，偏置σ₅”的模型输出结果为“Y₅_C₂”。

步骤204：模型训练设备102分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值。

在具体实施时，模型训练设备102可以分别将各个模型参数各自的模型输出结果和标准模型输出结果输入设定损失函数，获得各个模型参数各自的损失值，并将各个模型参数各自的损失值确定为各个模型参数各自的误差值。

例如：假设设定损失函数为E＝ψ(Y＇，Y)，其中，Y＇表征本地训练样本数据X对应的标准模型输出结果，Y表征给定本地训练样本数据X和本地机器学习模型M的模型输出结果，ψ(Y＇，Y)表征评估标准模型输出结果和模型输出结果之间的损失值的函数；模型参数“权重λ₁，偏置σ₁”对应的模型输出结果为“Y₁_C₂”，模型输出结果“Y₁_C₂”对应的标准模型输出结果为“Y₁＇”；模型参数“权重λ₅，偏置σ₅”对应的模型输出结果为“Y₅_C₂”，模型输出结果“Y₅_C₂”对应的标准模型输出结果为“Y₅＇”，则：

模型训练设备102可以将模型参数“权重λ₁，偏置σ₁”对应的模型输出结果“Y₁_C₂”和标准模型输出结果“Y₁＇”输入损失函数“E＝ψ(Y＇，Y)”，得到模型参数“权重λ₁，偏置σ₁”的损失值“E₁_C₂”。

模型训练设备102可以将模型参数“权重λ₅，偏置σ₅”对应的模型输出结果“Y₅_C₂”和标准模型输出结果“Y₅＇”输入损失函数“E＝ψ(Y＇，Y)”，得到模型参数“权重λ₅，偏置σ₅”的损失值“E₅_C₂”。

步骤205：模型训练设备102将各个模型参数各自的误差值返回至服务器101。

本申请实施例中，模型训练设备102可以将各个模型参数各自的误差值批量返回至服务器101，也可以将各个模型参数各自的误差值一次性地全部返回至服务器101。具体方式本申请不做限定。

实际应用中，模型训练设备102在将各个模型参数各自的误差值返回至服务器101时，还可以将各个模型参数各自的参数标识与各个模型参数各自的误差值一同返回至服务器101。

例如：假设模型参数“权重λ₁，偏置σ₁”对应的损失值为“E₁_C₂”，参数标识为“M₁_C₁”；模型参数“权重λ₅，偏置σ₅”对应的损失值为“E₅_C₂”，参数标识为“M₅_C₅”，则：

模型训练设备102可以将模型参数“权重λ₁，偏置σ₁”对应的损失值“E₁_C₂”和参数标识“M₁_C₁”以及模型参数“权重λ₅，偏置σ₅”对应的损失值“E₅_C₂”和参数标识“M₅_C₅”返回至服务器101。

步骤206：服务器101接收各个模型训练设备102针对接收到的每一个模型参数返回的误差值，并以各个模型参数为维度，对接收到的所有误差值进行统计，得到各个模型参数各自的误差值集合。

例如：假设服务器101接收到的所有误差值包括：参数标识“M₁_C₁”对应的损失值“E₁_C₂”，参数标识“M₂_C₃”对应的损失值“E₂_C₁”，参数标识“M₅_C₅”对应的损失值“E₅_C₁”，参数标识“M₂_C₃”对应的损失值“E₂_C₂”，参数标识“M₁_C₁”对应的损失值“E₁_C₃”，“M₁_C₁”对应的损失值“E₁_C₄”，参数标识“M₅_C₅”对应的损失值“E₅_C₂”，“M₁_C₁”对应的损失值“E₁_C₅”，参数标识“M₅_C₅”对应的损失值“E₅_C₃”，参数标识“M₂_C₃”对应的损失值“E₂_C₄”，参数标识“M₅_C₅”对应的损失值“E₅_C₄”，参数标识“M₂_C₃”对应的损失值“E₂_C₅”，则：

服务器101可以确定模型参数的统计维度为“M₁_C₁”、“M₅_C₅”和“M₂_C₃”三个维度，并以“M₁_C₁”、“M₅_C₅”和“M₂_C₃”为维度，对接收到的所有误差值进行统计，获得“M₁_C₁”这一维度对应的误差值集合为{E₁_C₂，E₁_C₃，E₁_C₄，E₁_C₅}，即模型参数“权重λ₁，偏置σ₁”的误差值集合为{E₁_C₂，E₁_C₃，E₁_C₄，E₁_C₅}，并获得“M₅_C₅”这一维度对应的误差值集合为{E₅_C₁，E₅_C₂，E₅_C₃，E₅_C₄}，即模型参数“权重λ₅，偏置σ₅”对应的误差值集合为{E₅_C₁，E₅_C₂，E₅_C₃，E₅_C₄}，以及获得“M₂_C₃”这一维度对应的误差值集合为{E₂_C₁”，E₂_C₂，E₂_C₄，E₂_C₅}，即模型参数“权重λ₂，偏置σ₂”对应的误差值集合为{E₂_C₁”，E₂_C₂，E₂_C₄，E₂_C₅}。

步骤207：服务器101从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

在具体实施时，服务器101在从各个模型参数各自的误差值集合中，筛选出异常误差值集合时，可以采用但不限于以下方式：

首先，服务器101基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布。

具体的，在一种可能实施方式中，服务器101可以分别对各个模型参数各自的误差值集合进行拟合，得到各个模型参数各自的误差值分布曲线，并分别将各个模型参数各自的误差值分布曲线确定为各个模型参数各自的误差值分布。

在另一种可能的实施方式中，服务器101还可以分别对各个模型参数各自的误差值集合进行统计，得到各个模型参数各自的误差值分布直方图，并分别将各个模型参数各自的误差值分布直方图确定为各个模型参数各自的误差值分布。

然后，服务器101调用设定检测算法，对各个模型参数各自的误差值分布进行异常检测，得到异常误差值集合。

本申请实施例中，服务器101调用的设定检测算法可以是但不限于是：巴氏距离测量算法、奇异值和异常值检测算法、肖维勒准则、格拉布斯准则中的任意一种。

最后，服务器101将异常误差值集合对应的模型参数确定为无效模型参数。

例如：假设模型参数“权重λ₁，偏置σ₁”的误差值集合为{E₁_C₂，E₁_C₃，E₁_C₄，E₁_C₅}；模型参数“权重λ₅，偏置σ₅”对应的误差值集合为{E₅_C₁，E₅_C₂，E₅_C₃，E₅_C₄}；模型参数“权重λ₂，偏置σ₂”对应的误差值集合为{E₂_C₁”，E₂_C₂，E₂_C₄，E₂_C₅}，则：

服务器101可以对误差值集合{E₁_C₂，E₁_C₃，E₁_C₄，E₁_C₅}包含的各个损失值进行拟合，获得模型参数“权重λ₁，偏置σ₁”的误差值分布曲线L₁。

服务器101可以对误差值集合{E₂_C₁，E₂_C₂，E₂_C₄，E₂_C₅}包含的各个损失值进行拟合，获得模型参数“权重λ₂，偏置σ₂”的误差值分布曲线L₂。

服务器101可以对误差值集合{E₅_C₁，E₅_C₂，E₅_C₃，E₅_C₄}包含的各个损失值进行拟合，获得模型参数“权重λ₅，偏置σ₅”的误差值分布曲线L₅。

服务器101可以调用奇异值和异常值检测算法，对误差值分布曲线L₁、误差值分布曲线L₅和误差值分布曲线L₂进行异常检测。

如图2B所示，服务器101若检测出误差值分布曲线L₅与误差值分布曲线L₁和误差值分布曲线L₂存在明显差异，则可以确定误差值分布曲线L₅对应的误差值集合{E₅_C₁，E₅_C₂，E₅_C₃，E₅_C₄}为异常误差值集合。

服务器101可以将异常误差值集合{E₅_C₁，E₅_C₂，E₅_C₃，E₅_C₄}对应的模型参数“权重λ₅，偏置σ₅”确定为无效模型参数。

进一步的，本申请实施例中，服务器101在识别出无效模型参数后，还可以根据无效模型参数来识别非法模型训练设备102，具体的，服务器101在根据无效模型参数来识别非法模型训练设备102时，可以采用但不限于以下方式：

首先，服务器101确定该无效模型参数对应的模型训练设备102。

然后，服务器101对该模型训练设备102上报的无效模型参数的数量进行累计，得到该模型训练设备102当前上报的无效模型参数的数量。

最后，服务器101确定该模型训练设备102当前上报的无效模型参数的数量不小于设定阈值时，认为该模型训练设备102为非法模型训练设备102。

此种情况下，服务器101可以从横向联邦学习系统中剔除该非法模型训练设备102，从而有效地解决了该非法模型训练设备102在不作出贡献的同时获取联邦利益的问题。

例如：假设无效模型参数为权重λ₅，偏置σ₅，则：

服务器101可以确定该无效模型参数“权重λ₅，偏置σ₅”对应的模型训练设备102是模型训练设备C₅，并对模型训练设备C₅上报的无效模型参数的数量进行累计，得到模型训练设备C₅当前上报的无效模型参数的数量为5，以及确定模型训练设备C₅当前上报的无效模型参数的数量“5”不小于设定阈值5，此时，服务器101可以认为模型训练设备C₅为非法模型训练设备102，并将模型训练设备C₅从横向联邦学习系统中剔除。

下面对本申请实施例提供的横向联邦学习中模型参数验证方法作进一步详细说明，参阅图3所示，本申请实施例提供的横向联邦学习中模型参数验证方法的具体流程如下：

步骤301：服务器101确定满足模型参数验证条件时，获取设定时间范围内横向联邦学习系统中各个模型训练设备102上报的模型参数和该模型参数对应的参数标识。

步骤302：服务器101针对每一个模型参数，从除该模型参数对应的模型训练设备102之外的其他所有模型训练设备102中，随机选取多个模型训练设备102。

步骤303：服务器101针对每一个模型参数，将该模型参数和该模型参数对应的参数标识下发至为该模型参数随机选取的多个模型训练设备102中。

步骤304：模型训练设备102接收服务器101下发的各个模型参数和各个模型参数各自的参数标识，并针对各个模型参数，分别将本地训练样本数据输入基于各个模型参数的本地机器学习模型，得到各个模型参数各自的模型输出结果。

步骤305：模型训练设备102分别将各个模型参数各自的模型输出结果和标准模型输出结果输入设定损失函数，获得各个模型参数各自的损失值，并将各个模型参数各自的损失值确定为各个模型参数各自的误差值。

步骤306：模型训练设备102将各个模型参数各自的误差值和参数标识返回至服务器101。

步骤307：服务器101接收各个模型训练设备102针对接收到的每一个模型参数返回的误差值和参数标识，并以各个模型参数为维度，基于各个误差值对应的参数标识，对接收到的所有误差值进行统计，得到各个模型参数各自的误差值集合。

步骤308：服务器101分别对各个模型参数各自的误差值集合进行统计，得到各个模型参数各自的误差值分布直方图，并分别将各个模型参数各自的误差值分布直方图确定为各个模型参数各自的误差值分布。

步骤309：服务器101调用巴氏距离测量算法，对各个模型参数各自的误差值分布进行异常检测，得到异常误差值集合。

步骤310：服务器101将异常误差值集合对应的模型参数确定为无效模型参数。

步骤311：服务器101确定该无效模型参数对应的模型训练设备102。

步骤312：服务器101对该模型训练设备102上报的无效模型参数的数量进行累计，得到该模型训练设备102当前上报的无效模型参数的数量。

步骤313：服务器101确定该模型训练设备102当前上报的无效模型参数的数量不小于设定阈值时，认为该模型训练设备102为非法模型训练设备102。

步骤314：服务器101从横向联邦学习系统中剔除该非法模型训练设备102。

本申请实施例中，通过将各个模型训练设备102上报的模型参数随机下发至除自身对应的模型训练设备102之外的其他模型训练设备102进行模型输出结果的误差评估，可以获得各个模型参数的误差值集合，从而可以根据各个模型参数的误差值集合，筛选出异常误差值集合对应的模型参数为无效模型参数，进而，在模型训练过程中，在确定下一个模型训练周期使用的初始模型参数时，可以剔除这些无效模型参数，从而有效地解决了由于无法识别无效模型参数，导致模型训练的效率和精确度较低的问题，而且，随机下发各个模型训练设备102上报的模型参数，可以使各个模型参数的误差值集合的精准度更高，进而，在确保了无效模型参数的识别精准度的同时，提高了模型训练的效率和精确度。

下面采用“模型参数验证条件是当前模型训练周期结束”为具体应用场景，对本申请实施例提供的横向联邦学习中模型参数验证方法作进一步详细说明，参阅图4所示，本申请实施例提供的横向联邦学习中模型参数验证方法的具体流程如下：

步骤401：服务器101确定到达模型训练周期时，生成初始模型参数。

步骤402：服务器101将初始模型参数下发至各个模型训练设备102。

步骤403：模型训练设备102接收到服务器101下发的初始模型参数时，将本地训练样本数据输入基于该初始模型参数的本地机器学习模型，得到初始模型参数的模型输出结果。

步骤404：模型训练设备102调用预设的损失函数，基于初始模型参数的模型输出结果和标准模型输出结果，计算初始模型参数的损失值。

步骤405：模型训练设备102调用预设的梯度下降算法，计算初始模型参数的梯度值，并基于该梯度值，对该初始模型参数进行更新，得到模型参数。

步骤406：模型训练设备102将模型参数和损失值上报至服务器101。

步骤407：服务器101接收到各个模型训练设备102上报的模型参数和损失值后，确定当前模型训练周期结束。

步骤408：服务器101获取当前训练周期内各个模型训练设备102上报的模型参数。

步骤409：服务器101针对每一个模型参数，从除该模型参数对应的模型训练设备102之外的其他所有模型训练设备102中，随机选取多个模型训练设备102。

步骤410：服务器101针对每一个模型参数将该模型参数和该模型参数的参数标识下发至随机选取的多个模型训练设备102中。

步骤411：模型训练设备102接收到服务器101下发的各个模型参数时，针对各个模型参数，分别将本地训练样本数据输入基于各个模型参数的本地机器学习模型，得到各个模型参数各自的模型输出结果。

步骤412：模型训练设备102分别将各个模型参数各自的模型输出结果和标准模型输出结果输入设定损失函数，获得各个模型参数各自的损失值，并将各个模型参数各自的损失值确定为各个模型参数各自的误差值。

步骤413：模型训练设备102将各个模型参数各自的误差值和参数标识返回至服务器101。

步骤414：服务器101接收到各个模型训练设备102返回的误差值和参数标识时，以各个模型参数为维度，根据各个误差值对应的参数标识，对接收到的所有误差值进行统计，得到各个模型参数各自的误差值集合。

步骤415：服务器101基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布曲线。

步骤416：服务器101调用奇异值和异常值检测算法，对各个模型参数各自的误差值分布曲线进行异常检测，得到各个异常误差值集合。

步骤417：服务器101将各个异常误差值集合各自对应的模型参数确定为无效模型参数。

步骤418：服务器101确定各个无效模型参数各自对应的模型训练设备102，并对各个模型训练设备102上报的无效模型参数的数量进行累计，得到各个模型训练设备102当前上报的无效模型参数的数量。

步骤419：服务器101从各个模型训练设备102中，筛选出当前上报的无效模型参数的数量不小于设定阈值的模型训练设备102并确定为非法模型训练设备102。

步骤420：服务器101从横向联邦学习系统中剔除筛选出的各个非法模型训练设备102。

步骤421：服务器101基于当前模型训练周期内各个模型训练设备102上报的损失值，确定平均损失值。

步骤422：服务器101判断平均损失值是否不大于设定阈值，若是，则确定已满足收敛条件，并结束模型训练；若否，则执行步骤423。

步骤423：服务器101从各个模型训练设备102上报的模型参数中，删除无效模型参数，得到各个有效模型参数。

步骤424：服务器101基于各个有效模型参数，生成初始模型参数，并返回步骤402。

值得说的是，本申请实施例中，服务器101可以并行执行步骤418～步骤420和步骤421～步骤424，也可以顺序执行步骤418～步骤420和步骤421～步骤424，具体执行顺序本申请不作限定。

基于上述实施例，本申请实施例提供了一种应用于服务器101的横向联邦学习中模型参数验证装置，参阅图5所示，本申请实施例提供的应用于服务器101的横向联邦学习中模型参数验证装置500至少包括：

下发单元501，用于获取设定时间范围内横向联邦学习系统中各个模型训练设备102上报的模型参数，并将各个模型参数下发至各个模型训练设备102，其中，各个模型参数不下发至各自对应的模型训练设备102；

接收单元502，用于接收各个模型训练设备102针对接收到的每一个模型参数返回的误差值，其中，模型参数的误差值是模型训练设备102将本地训练样本数据输入基于模型参数的本地机器学习模型，得到模型输出结果后，对模型输出结果和标准模型输出结果进行误差评估获得的；

统计单元503，用于以各个模型参数为维度，对接收到的所有误差值进行统计，得到各个模型参数各自的误差值集合；

验证单元504，用于从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

在一种可能的实施方式中，在将各个模型参数下发至各个模型训练设备102时，下发单元501具体用于：

针对每一个模型参数，从除模型参数对应的模型训练设备102之外的其他所有模型训练设备102中，随机选取多个模型训练设备102，并将模型参数下发至随机选取的多个模型训练设备102中。

在一种可能的实施方式中，在从各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数时，验证单元504具体用于：

基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布；

调用设定检测算法，对各个模型参数各自的误差值分布进行异常检测，得到异常误差值集合，并将异常误差值集合对应的模型参数确定为无效模型参数。

在一种可能的实施方式中，在基于各个模型参数各自的误差值集合，获得各个模型参数各自的误差值分布时，验证单元504具体用于：

分别对各个模型参数各自的误差值集合进行拟合，得到各个模型参数各自的误差值分布曲线，并分别将各个模型参数各自的误差值分布曲线确定为各个模型参数各自的误差值分布；

或者，分别对各个模型参数各自的误差值集合进行统计，得到各个模型参数各自的误差值分布直方图，并分别将各个模型参数各自的误差值分布直方图确定为各个模型参数各自的误差值分布。

在一种可能的实施方式中，验证单元504调用的设定检测算法包括但不限于巴氏距离测量算法、奇异值和异常值检测算法、肖维勒准则、格拉布斯准则中的任意一种。

在一种可能的实施方式中，本申请实施例提供的应用于服务器101的横向联邦学习中模型参数验证装置500还包括：

剔除单元505，用于确定无效模型参数对应的模型训练设备102，并对模型训练设备102上报的无效模型参数的数量进行累计，得到模型训练设备102当前上报的无效模型参数的数量，以及确定模型训练设备102当前上报的无效模型参数的数量不小于设定阈值时，从横向联邦学习系统中剔除模型训练设备102。

基于上述实施例，本申请实施例还提供了一种应用于模型训练设备102的横向联邦学习中模型参数验证装置，参阅图6所示，本申请实施例提供的应用于模型训练设备102的横向联邦学习中模型参数验证装置600至少包括：

接收单元601，用于接收服务器101下发的各个模型参数；

输入单元602，用于针对各个模型参数，分别将本地训练样本数据输入基于各个模型参数的本地机器学习模型，得到各个模型参数各自的模型输出结果；

评估单元603，用于分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值；

返回单元604，用于将各个模型参数各自的误差值返回至服务器101。

在一种可能的实施方式中，在分别对各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得各个模型参数各自的误差值时，评估单元603具体用于：

分别将各个模型参数各自的模型输出结果和标准模型输出结果输入设定损失函数，获得各个模型参数各自的损失值；

将各个模型参数各自的损失值确定为各个模型参数各自的误差值。

需要说明的是，本申请实施例提供的两种横向联邦学习中模型参数验证装置解决技术问题的原理与本申请实施例提供的横向联邦学习中模型参数验证方法相似，因此，本申请实施例提供的两种横向联邦学习中模型参数验证装置的实施可以参见本申请实施例提供的横向联邦学习中模型参数验证方法的实施，重复之处不再赘述。

在介绍了本申请实施例提供的横向联邦学习中模型参数验证方法及装置之后，接下来，对本申请实施例提供的模型参数验证设备进行简单介绍。

参阅图7所示，本申请实施例提供的模型参数验证设备700至少包括：处理器71、存储器72和存储在存储器72上并可在处理器71上运行的计算机程序，处理器71执行计算机程序时实现本申请实施例提供的应用于服务器101的横向联邦学习中模型参数验证方法；或者，实现本申请实施例提供的应用于模型训练设备102的横向联邦学习中模型参数验证方法。

需要说明的是，图7所示的模型参数验证设备700仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例提供的模型参数验证设备700还可以包括连接不同组件(包括处理器71和存储器72)的总线73。其中，总线73表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。

存储器72可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)721和/或高速缓存存储器722，还可以进一步包括只读存储器(ReadOnly Memory，ROM)723。

存储器72还可以包括具有一组(至少一个)程序模块724的程序工具725，程序模块724包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

模型参数验证设备700也可以与一个或多个外部设备74(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与模型参数验证设备700交互的设备通信(例如手机、电脑等)，和/或，与使得模型参数验证设备700能与一个或多个其它模型参数验证设备700进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口75进行。并且，模型参数验证设备700还可以通过网络适配器76与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器76通过总线73与模型参数验证设备700的其它模块通信。应当理解，尽管图7中未示出，可以结合模型参数验证设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。

此外，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的应用于服务器101的横向联邦学习中模型参数验证方法；或者，实现本申请实施例提供的应用于模型训练设备102的横向联邦学习中模型参数验证方法。具体地，该可执行程序可以内置在模型参数验证设备700中，这样，模型参数验证设备700就可以通过执行内置的可执行程序实现本申请实施例提供的应用于服务器101的横向联邦学习中模型参数验证方法；或者，实现本申请实施例提供的应用于模型训练设备102的横向联邦学习中模型参数验证方法。

此外，本申请实施例提供的应用于服务器101的横向联邦学习中模型参数验证方法以及应用于模型训练设备102的横向联邦学习中模型参数验证方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在模型参数验证设备700上运行时，该程序代码用于使模型参数验证设备700执行本申请实施例提供的应用于服务器101的横向联邦学习中模型参数验证方法；或者，执行本申请实施例提供的应用于模型训练设备102的横向联邦学习中模型参数验证方法。

本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种横向联邦学习中模型参数验证方法，应用于服务器，其特征在于，包括：

获取设定时间范围内横向联邦学习系统中各个模型训练设备上报的模型参数，并将所述各个模型参数下发至所述各个模型训练设备，其中，所述各个模型参数不下发至各自对应的模型训练设备；

接收所述各个模型训练设备针对接收到的每一个模型参数返回的误差值，其中，模型参数的误差值是模型训练设备将本地训练样本数据输入基于所述模型参数的本地机器学习模型，得到模型输出结果后，对所述模型输出结果和标准模型输出结果进行误差评估获得的；

以所述各个模型参数为维度，对接收到的所有误差值进行统计，得到所述各个模型参数各自的误差值集合；

从所述各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将所述异常误差值集合对应的模型参数确定为无效模型参数。

2.如权利要求1所述的横向联邦学习中模型参数验证方法，其特征在于，将所述各个模型参数下发至所述各个模型训练设备，包括：

针对每一个模型参数，从除所述模型参数对应的模型训练设备之外的其他所有模型训练设备中，随机选取多个模型训练设备，并将所述模型参数下发至随机选取的所述多个模型训练设备中。

3.如权利要求1所述的横向联邦学习中模型参数验证方法，其特征在于，从所述各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将所述异常误差值集合对应的模型参数确定为无效模型参数，包括：

基于所述各个模型参数各自的误差值集合，获得所述各个模型参数各自的误差值分布；

调用设定检测算法，对所述各个模型参数各自的误差值分布进行异常检测，得到异常误差值集合，并将所述异常误差值集合对应的模型参数确定为无效模型参数。

4.如权利要求3所述的横向联邦学习中模型参数验证方法，其特征在于，基于所述各个模型参数各自的误差值集合，获得所述各个模型参数各自的误差值分布，包括：

分别对所述各个模型参数各自的误差值集合进行拟合，得到所述各个模型参数各自的误差值分布曲线，并分别将所述各个模型参数各自的误差值分布曲线确定为所述各个模型参数各自的误差值分布；或者，

分别对所述各个模型参数各自的误差值集合进行统计，得到所述各个模型参数各自的误差值分布直方图，并分别将所述各个模型参数各自的误差值分布直方图确定为所述各个模型参数各自的误差值分布。

5.如权利要求3所述的横向联邦学习中模型参数验证方法，其特征在于，所述设定检测算法包括但不限于巴氏距离测量算法、奇异值和异常值检测算法、肖维勒准则、格拉布斯准则中的任意一种。

6.如权利要求1-5任一项所述的横向联邦学习中模型参数验证方法，其特征在于，还包括：

确定所述无效模型参数对应的模型训练设备；

对所述模型训练设备上报的无效模型参数的数量进行累计，得到所述模型训练设备当前上报的无效模型参数的数量；

确定所述模型训练设备当前上报的无效模型参数的数量不小于设定阈值时，从所述横向联邦学习系统中剔除所述模型训练设备。

7.一种横向联邦学习中模型参数验证方法，应用于模型训练设备，其特征在于，包括：

接收服务器下发的各个模型参数；

针对所述各个模型参数，分别将本地训练样本数据输入基于所述各个模型参数的本地机器学习模型，得到所述各个模型参数各自的模型输出结果；

分别对所述各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得所述各个模型参数各自的误差值；

将所述各个模型参数各自的误差值返回至所述服务器。

8.如权利要求7所述的横向联邦学习中模型参数验证方法，其特征在于，分别对所述各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得所述各个模型参数各自的误差值，包括：

分别将所述各个模型参数各自的模型输出结果和标准模型输出结果输入设定损失函数，获得所述各个模型参数各自的损失值；

将所述各个模型参数各自的损失值确定为所述各个模型参数各自的误差值。

9.一种横向联邦学习中模型参数验证装置，应用于服务器，其特征在于，包括：

下发单元，用于获取设定时间范围内横向联邦学习系统中各个模型训练设备上报的模型参数，并将所述各个模型参数下发至所述各个模型训练设备，其中，所述各个模型参数不下发至各自对应的模型训练设备；

接收单元，用于接收所述各个模型训练设备针对接收到的每一个模型参数返回的误差值，其中，模型参数的误差值是模型训练设备将本地训练样本数据输入基于所述模型参数的本地机器学习模型，得到模型输出结果后，对所述模型输出结果和标准模型输出结果进行误差评估获得的；

统计单元，用于以所述各个模型参数为维度，对接收到的所有误差值进行统计，得到所述各个模型参数各自的误差值集合；

验证单元，用于从所述各个模型参数各自的误差值集合中，筛选出异常误差值集合，并将所述异常误差值集合对应的模型参数确定为无效模型参数。

10.一种横向联邦学习中模型参数验证装置，应用于模型训练设备，其特征在于，包括：

接收单元，用于接收服务器下发的各个模型参数；

输入单元，用于针对所述各个模型参数，分别将本地训练样本数据输入基于所述各个模型参数的本地机器学习模型，得到所述各个模型参数各自的模型输出结果；

评估单元，用于分别对所述各个模型参数各自的模型输出结果和标准模型输出结果进行误差评估，获得所述各个模型参数各自的误差值；

返回单元，用于将所述各个模型参数各自的误差值返回至所述服务器。

11.一种模型参数验证设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的横向联邦学习中模型参数验证方法；或者，实现如权利要求7-8任一项所述的横向联邦学习中模型参数验证方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-6任一项所述的横向联邦学习中模型参数验证方法；或者，实现如权利要求7-8任一项所述的横向联邦学习中模型参数验证方法。