CN116306990A - 一种模型的处理方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种模型的处理方法、装置及设备，该方法包括：接收服务器下发的目标模型；获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

Description

一种模型的处理方法、装置及设备

技术领域

本文件涉及计算机技术领域，尤其涉及一种模型的处理方法、装置及设备。

背景技术

在云服务器上使用用户数据训练一个模型，并将该模型用于服务用户的方式，已经在当前的互联网服务中十分常见，然而，上述方式必然依赖于云服务器对用户隐私数据的采集和分析。目前，关于用户数据隐私安全相关的法律法规与行业规范越来越成熟，用户自身对于隐私数据的安全也越来越重视，以服务端为数据分析处理的范式已经不再适用于当前的数据处理要求。

针对上述情况，提出了一种分布式机器学习技术—联邦学习，通过联邦学习，可以将计算过程和数据大部分保留在用户本地，使用向云服务器发送模型更新所需要的梯度信息代替发送原始的用户数据，实现了用户数据的可用不可见。然而，在向服务器上传梯度信息时，会包含中间梯度信息，攻击者可以通过该中间梯度信息进行分析，可以还原出一部分原始数据，从而造成隐私数据泄露，此外，当终端设备较多时，服务器与终端设备之间存在大量的通信，这样会造成很大的通信开销。为此，需要提供一种隐私保护能力更优、通信开销更优的技术方案。

发明内容

本说明书实施例的目的是提供一种隐私保护能力更优、通信开销更优的技术方案。

为了实现上述技术方案，本说明书实施例是这样实现的：

本说明书实施例提供的一种模型的处理方法，所述方法包括：接收服务器下发的目标模型。获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

本说明书实施例提供的一种模型的处理方法，所述方法包括：接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

本说明书实施例提供的一种模型的处理装置，所述装置包括：模型接收模块，接收服务器下发的目标模型。梯度获取模块，获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。差分隐私模块，对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。梯度发送模块，将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

本说明书实施例提供的一种模型的处理装置，所述装置包括：差分梯度接收模块，接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。聚合模块，对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。解码模块，对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。模型更新模块，基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

本说明书实施例提供的一种模型的处理设备，所述模型的处理设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收服务器下发的目标模型。获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

本说明书实施例提供的一种模型的处理设备，所述模型的处理设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：接收服务器下发的目标模型。获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；

图1为本说明书一种模型的处理系统的结构示意图；

图2A为本说明书一种模型的处理方法实施例；

图2B为本说明书一种模型的处理过程的示意图；

图3为本说明书另一种模型的处理过程的示意图；

图4为本说明书又一种模型的处理过程的示意图；

图5A为本说明书另一种模型的处理方法实施例；

图5B为本说明书又一种模型的处理过程的示意图；

图6为本说明书又一种模型的处理过程的示意图；

图7为本说明书又一种模型的处理过程的示意图；

图8为本说明书一种模型的处理装置实施例；

图9为本说明书另一种模型的处理装置实施例；

图10为本说明书一种模型的处理设备实施例。

具体实施方式

本说明书实施例提供一种模型的处理方法、装置及设备。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

本说明书实施例提供一种联邦学习机制，对于联邦学习，如图1所示，其系统架构可以包括用户的终端设备和服务器，其中，服务器中可以包括需要训练的模型，服务器可以将该模型下发给每个用户的终端设备，用户的终端设备可以将服务器下发的模型作为初始模型，并可以通过终端设备中的样本数据对该初始模型进行训练，确定模型训练后该模型对应的梯度信息，然后，对该梯度信息进行符号化处理，并基于预设的概率分布规则对符号化后的梯度信息进行采样处理，进而再通过编码得到差分隐私梯度信息提供给服务器，以便服务器更新其模型。具体处理可以参见下述实施例中的具体内容。

实施例一

如图2A和图2B所示，本说明书实施例提供一种模型的处理方法，该方法的执行主体可以为终端设备，其中，该终端设备可以如手机、平板电脑等一定终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等。该方法具体可以包括以下步骤：

在步骤S202中，接收服务器下发的目标模型。

其中，服务器可以是用于训练目标模型的服务器，也可以是与目标模型所属的业务的后台服务器等，具体可以根据实际情况设定，本说明书实施例对此不做限定。目标模型可以是通过指定的算法构建的模型，其中的指定的算法可以包括分类算法、神经网络算法等，具体可以根据实际情况设定，本说明书实施例对此不做限定。目标模型可以用于进行数据识别(具体如指纹识别、人脸识别、文本识别等)，或者，可以用于进行预定风险(具体如欺诈风险或非法交易风险等)的检测等。

在实施中，在云服务器上使用用户数据训练一个模型，并将该模型用于服务用户的方式，已经在当前的互联网服务中十分常见，然而，上述方式必然依赖于云服务器对用户隐私数据的采集和分析。目前，关于用户数据隐私安全相关的法律法规与行业规范越来越成熟，用户自身对于隐私数据的安全也越来越重视，以服务端为数据分析处理的范式已经不再适用于当前的数据处理要求。

针对上述情况，提出了一种分布式机器学习技术—联邦学习，通过联邦学习，可以将计算过程和数据大部分保留在用户本地，使用向云服务器发送模型更新所需要的梯度信息代替发送原始的用户数据，实现了用户数据的可用不可见。同时，用户可以直接使用端侧模型进行模型推理和业务决策，极大地缩小了数据处理的延迟时间。然而，即便如此，上述方式仍然会发生隐私泄露，而且会增加通信开销，具体地，通常在向服务器上传梯度信息时，会包含中间梯度信息，攻击者可以通过该中间梯度信息进行分析，可以还原出一部分原始数据，从而造成隐私数据泄露，此外，当终端设备较多时，服务器与终端设备之间存在大量的通信，这样会造成很大的通信开销，特别是当前的模型越来越大，当成百上千的终端设备在较短的时间间隔内向服务端发送数据时，更会加剧服务器的通信开销，甚至造成链路崩溃等。

通常，可以通过差分隐私的联邦学习机制对隐私数据进行保护，即通过在服务器侧或者终端设备侧对梯度信息先进行裁剪再对其加入噪声，然后通过带噪的梯度进行模型更新。如果在服务器侧实现对梯度的裁剪和添加噪声，则必须依赖于一个可信的服务器。如果在终端设备侧对梯度进行裁剪和添加噪声，则服务器很难校验终端设备是否真实的执行了上述操作，这可能会导致容易受到拜占庭攻击，同时，用于裁剪梯度的梯度阈值是一个对模型性能很相关的超参数，这会带来一个困难的超参数调优问题，不仅如此，上述操作并没有给通信带来增益，终端设备在每个通信轮次期间仍然需要上传或下载与模型大小相同的量的信息。为此，需要提供一种隐私保护能力更优、通信开销更优的技术方案。本说明书实施例提供一种可实现的技术方案，具体可以包括以下内容。

对于联邦学习，如图1所示，服务器中可以包括需要训练的模型(即目标模型)，服务器可以将目标模型下发给每个用户的终端设备，用户的终端设备可以将服务器下发的目标模型作为初始模型，以便后续可以通过终端设备中的样本数据对该初始模型进行模型训练。

在步骤S204中，获取用于训练目标模型的样本数据，并基于该样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息。

在实施中，为了训练终端设备中的目标模型，需要使用相应的样本数据，该样本数据可以根据目标模型的需求而设定，在实际应用中，用户通过终端设备处理某些业务时，终端设备可以存储相关数据，当到达指定的周期或间隔一定的时长时，终端设备可以获取上述指定周期内或间隔的时长内产生的相关数据，可以将获取的上述数据作为用于训练目标模型的样本数据，其中，该样本数据中可以包括用于训练目标模型的标签信息。具体如，对于在线金融机构中的金融交易业务，在线金融机构(尤其是互联网金融机构)每天会有大量的金融交易，上述金融交易可以是针对某一个用户的金融交易，也可以是针对多个不同的指定用户的金融交易，基于此，可以记录每个金融交易的相关信息(例如可以包括用户的行为信息、交易双方的账户信息、交易金额、交易时间和交易地点等)，可以将记录的每个金融交易的相关信息作为样本数据等。

通过上述方式获取样本数据后，可以将目标模型中的模型参数进行初始化，得到初始的模型参数，进而得到初始的目标模型，可以将上述样本数据输入到目标模型中，得到相应的输出结果，基于得到的输出结果，结合样本数据的标签信息，通过预设的损失函数，确定目标模型的损失信息，可以基于该损失信息确定模型训练后目标模型对应的梯度信息。

需要说明的是，模型训练后目标模型对应的梯度信息可以是上述得到的梯度信息，还可以是根据指定的处理方式对上述得到的梯度信息进一步处理(例如，可以设定编码器，并使用该编码器对上述梯度信息进行编码处理)，得到的处理结果作为模型训练后目标模型对应的梯度信息等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S206中，对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。

其中，符号化处理可以是将梯度信息中每个维度的数值从浮点型数值压缩成指定的符号，然后，可以使用包含指定符号的符号梯度信息对目标模型进行优化处理，这样，可以解决在大规模分布式机器学习中对于梯度信息的频繁且大量的通信造成的性能瓶颈问题。概率分布规则可以是指用于表述随机变量取值的概率规律的规则，事件的概率表示一次试验中某一个结果发生的可能性大小，若要全面了解试验，则必须知道试验的全部可能结果及各种可能结果发生的概率，即随机试验的概率分布。概率分布规则可以包括多种，例如二项分布、伯努利分布等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实施中，为了减少传输给服务器的数据的数据量，可以根据实际情况，设定少量的符号，具体如，可以设定2个或3个符号，如“+1”和“-1”，或者，“A”、“B”和“C”等，具体可以根据实际情况设定，本说明书实施例对此不做限定。然后，可以根据预设的映射规则，将目标模型对应的梯度信息中的每个维度的信息映射到上述少量的符号上，例如，可以将梯度信息中大于第一阈值的维度的信息映射到“A”，将梯度信息中小于第二阈值的维度的信息映射到“C”，将梯度信息中大于第二阈值且小于第一阈值的维度的信息映射到“B”，其中，第一阈值大于第二阈值，上述仅是一种可实现的映射方式，在实际应用中，还可以包括多种不同的映射方式，具体可以根据实际情况设定，在此不再赘述。通过上述的映射处理，可以实现对目标模型对应的梯度信息进行符号化处理，从而得到目标模型对应的符号梯度信息。

为了保护目标模型对应的梯度信息，可以对上述符号梯度信息进行差分隐私处理，具体地，可以采用随机响应机制对符号梯度信息进行保护，即可以根据实际情况预先设定概率分布规则，可以根据该概率分布规则对符号梯度信息进行采样处理，得到相应的采样结果(即采样后的符号梯度信息)。可以根据实际情况预先设定编码规则，例如根据概率分布规则中的概率分布调整采样结果对应的符号，具体地，可以基于概率分布规则，使用该编码规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，例如，可以根据概率分布规则中的概率分布的不同，采用编码规则重新调整采样结果对应的符号，可以将符号梯度信息重新采样编码，得到差分隐私梯度信息，其中，差分隐私梯度信息中可以保持编码后的符号的数量保持不变，也可以减少编码后的符号的数量，具体可以根据实际情况设定。

在步骤S208中，将差分隐私梯度信息发送给服务器，差分隐私梯度信息用于触发服务器基于差分隐私梯度信息对服务器中存储的目标模型进行更新。

在实施中，终端设备可以将上述得到的差分隐私梯度信息上传至服务器，服务器接收到该差分隐私梯度信息后，可以对差分隐私梯度信息进行解码处理，得到相应的符号梯度信息，并可以通过符号梯度信息还原出相应的梯度信息，并可以使用该梯度信息更新服务器中存储的目标模型的模型参数，进而得到更新后的目标模型，之后，可以将更新后的目标模型下发到指定的终端设备。如果更新后的目标模型满足指定的收敛条件，则不需要对目标模型再进行更新，如果更新后的目标模型不满足指定的收敛条件，则可以指示终端设备重新执行上述步骤202～步骤S208的处理，直到更新后的目标模型满足指定的收敛条件为止。

本说明书实施例提供一种模型的处理方法，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例二

如图3所示，本说明书实施例提供一种模型的处理方法，该方法的执行主体可以为终端设备，其中，该终端设备可以如手机、平板电脑等一定终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等。该方法具体可以包括以下步骤：

在步骤S302中，接收服务器下发的目标模型。

在步骤S304中，获取用于训练目标模型的样本数据，并基于该样本数据对目标模型进行模型训练，得到目标模型对应的初始梯度信息。

在实施中，可以从终端设备中获取用于训练目标模型的样本数据，或者，终端设备可以记录用户执行某业务的过程中输入的数据，当需要对目标模型进行训练时，可以从记录的数据中获取用于训练目标模型的样本数据等，具体可以根据实际情况设定。然后，可以使用该样本数据对目标模型进行模型训练，并将模型训练得到的梯度信息作为目标模型对应的初始梯度信息。

在步骤S306中，获取目标模型的历史梯度信息，基于历史梯度信息和初始梯度信息，通过自适应优化算法，确定目标模型对应的梯度信息，自适应优化算法包括Adam算法或Adagrad算法。

其中，Adam(Adaptive Moment Estimation，自适应矩估计)算法可以是对梯度信息的一阶动量(或一阶矩估计，即梯度的均值)和二阶动量(或二阶矩估计，即梯度的未中心化的方差)进行综合考虑，计算出更新步长的优化算法。Adagrad算法可以使得学习率学习数据的特征自动调整其大小，从而减低模型训练不充分的问题出现。

在实施中，可以根据实际情况获取目标模型的历史梯度信息，具体如，如果目标模型还未经历模型训练过程，则可以获取初始化后的历史梯度信息，如果目标模型已经经过模型训练过程，则可以获取本次模型训练的前一次模型训练中产生的梯度信息，可以将该梯度信息作为上述获取的历史梯度信息，此外，也可以获取本次模型训练之前的任意一次模型训练中产生的梯度信息，可以将该梯度信息作为上述获取的历史梯度信息等，具体可以根据实际情况设定。然后，可以根据Adam算法或Adagrad算法所设定的计算方式，基于历史梯度信息和初始梯度信息，计算得到目标模型对应的梯度信息，具体可以基于Adam算法或Adagrad算法所设定的计算方式处理，在此不再赘述。

上述步骤S306中的基于历史梯度信息和初始梯度信息，通过自适应优化算法，确定目标模型对应的梯度信息的处理可以多种多样，以下提供一种可选的处理方式，具体可以包括以下步骤A2和步骤A4的处理。

在步骤A2中，基于历史梯度信息确定历史梯度信息对应的一阶动量和二阶动量。

在实施中，终端设备中可以存储有不同历史梯度信息对应的一阶动量和二阶动量，当需要获取某一个历史梯度信息对应的一阶动量和二阶动量时，可以从历史梯度信息中取出本次模型训练的前一次模型训练中产生的历史梯度信息对应的一阶动量和二阶动量，如历史梯度信息对应的一阶动量可以为m_{i,t-1}，历史梯度信息对应的二阶动量可以为v_{i,t-1}，其中，t表示第t次模型训练轮次(即本次模型训练的轮次)，i表示模型参数。

在步骤A4中，基于历史梯度信息对应的一阶动量和二阶动量，以及目标模型对应的初始梯度信息，确定初始梯度信息对应的一阶动量和二阶动量，并基于初始梯度信息对应的一阶动量和二阶动量，确定目标模型对应的梯度信息。

在实施中，可以将历史梯度信息对应的一阶动量和目标模型对应的初始梯度信息输入到下述公式中，得到初始梯度信息对应的一阶动量。

m_{i,t}＝₁*m_{i,t-1}+(1-₁)*g_i

其中，₁表示指数衰减率，g_i表示目标模型对应的初始梯度信息。

可以将历史梯度信息对应的一阶动量、历史梯度信息对应的二阶动量和目标模型对应的初始梯度信息输入到下述公式中，得到初始梯度信息对应的二阶动量。

v_{i,t}＝₂*v_{i,t-1}+(1-₂)*[₁*m_{i,t-1}+(1-₁)*g_i]²

其中，₂表示指数衰减率。

通过上述方式得到初始梯度信息对应的一阶动量和二阶动量后，可以对初始梯度信息对应的一阶动量和二阶动量进行融合计算，得到的计算结果可以作为目标模型对应的梯度信息，例如，可以将初始梯度信息对应的一阶动量和二阶动量输入下述公式进行计算，得到的计算结果可以作为目标模型对应的梯度信息。

g’_i＝m_{i,t}/sqrt(v_{i,t})

其中，g’_i表示目标模型对应的梯度信息。

在实际应用中，还可以通过其它融合计算的方式计算得到目标模型对应的梯度信息，例如，可以将m_{i,t}/sqrt(v_{i,t})的计算结果乘以预设参数，得到的计算作为目标模型对应的梯度信息，或者，也可以将m_{i,t}+sqrt(v_{i,t})的计算结果作为目标模型对应的梯度信息等，具体可以根据实际情况设定。

在进行符号优化之前使用了本地自适应策略，这样，可以最大程度上保证了符号优化前梯度信息的平滑性，可以使得符号优化最大程度地不受异常值的影响。

上述步骤A4中的基于历史梯度信息对应的一阶动量和二阶动量，以及目标模型对应的初始梯度信息，确定初始梯度信息对应的一阶动量和二阶动量的处理可以多种多样，以下提供一种可选的处理方式，具体可以包括以下步骤A42和步骤A44的处理。

在步骤A42中，基于历史梯度信息对应的一阶动量和目标模型对应的初始梯度信息，确定初始梯度信息对应的一阶动量。

步骤A42的具体处理方式可以参见上述相关内容，在此不再赘述。

在步骤A44中，基于历史梯度信息对应的二阶动量和初始梯度信息对应的一阶动量，确定初始梯度信息对应的二阶动量。

在实施中，可以将历史梯度信息对应的二阶动量和初始梯度信息对应的一阶动量输入到下述公式中，得到初始梯度信息对应的二阶动量。

v_{i,t}＝₂*v_{i,t-1}+(1-₂)*m_{i,t}^2。

通过上述方式得到目标模型对应的梯度信息，由于目标模型对应的梯度信息中包含的信息量较大，如果多个终端设备同时向服务器上传梯度信息，则会增加服务器的通信开销，为此，可以对上述梯度信息进行符号优化，以降低服务器的通信开销，具体可以参见下述步骤S308的处理。

在步骤S308中，将目标模型对应的梯度信息在每个轴中数值大于预设阈值的梯度信息置为第一符号，并将目标模型对应的梯度信息在每个轴中数值小于预设阈值的梯度信息置为第二符号，得到目标模型对应的符号梯度信息，第一符号与第二符号不同。

其中，预设阈值可以包括多种，例如0或1等，具体可以根据实际情况设定，本说明书实施例对此不做限定。第一符号和第二符号可以是多种，例如，第一符号和第二符号可以都是数字，也可以都是字母，还可以是指定的字符，还可以是一个为数字，另一个为字母等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实际应用中，上述步骤S308中的预设阈值可以为0，第一符号可以为+1，第二符号可以为-1，则可以将目标模型对应的梯度信息在每个轴中数值大于0的梯度信息置为+1，并将目标模型对应的梯度信息在每个轴中数值小于0的梯度信息置为-1，最终得到的结果即为目标模型对应的符号梯度信息，这样，目标模型对应的符号梯度信息可以看作一个二元向量，其每个轴都在+1和-1两个符号之间取值，每个终端设备在每一次的模型训练轮次中都会拥有一个符号梯度信息，这样可以大大降低通信开销。

为了保护用户的隐私数据，可以采用随机响应的差分隐私机制对上传的符号梯度信息进行保护，具体可以参见下述步骤S310～步骤S314的处理。

在步骤S310中，基于预设的概率分布规则对符号梯度信息进行采样处理，得到多个采样点构成的采样后的符号梯度信息。

其中，概率分布规则可以是包括两个概率的分布规则，例如，针对某试验，该试验包括两种试验结果，一种试验结果的概率可以为第一概率(可以用p表示)，另一种试验结果的概率可以为第二概率(可以用q表示)，其中，第二概率q＝1-p，为了表述方便，也可以将第一概率对应的试验结果使用“0”表示，可以将第二概率对应的试验结果使用“1”表示等。

在实施中，基于预设的概率分布规则对符号梯度信息进行采样处理，在采样的过程中，可以记录相应的采样点的信息，以及每个采样点对应的概率或试验结果，例如，针对其中的第一采样点，可以记录第一采样点的相关信息(具体如第一采样点的位置、标识等)，还可以记录第一采样点对应的概率为第一概率p(相应的试验结果为1)等。最终可以通过多个采样点构成采样后的符号梯度信息。

在步骤S312中，针对采样后的符号梯度信息中的每个采样点，如果基于概率分布规则确定采样点对应概率分布规则中包含的两个不同概率中的第一概率，且采样点为第二符号，则将采样点的第二符号删除。

在实际应用中，如果基于概率分布规则确定采样点对应概率分布规则中包含的两个不同概率中的第一概率，且采样点为第二符号，则将采样点的第二符号删除，同时，如果采样点为第一符号，则可以不做任何处理，即可以保持采样点为第一符号不变。在本说明书的另一个实施例中，上述情况下，如果采样点为第二符号，则将采样点的第二符号删除，同时，也可以将该采样点的符号梯度信息设置为0等，具体可以根据实际情况设定。

在步骤S314中，针对采样后的符号梯度信息中的每个采样点，如果基于概率分布规则确定采样点对应所述概率分布规则中包含的两个不同概率中的第二概率，则基于概率分布规则对采样点重新进行采样处理，并将重新采样的采样点的符号梯度信息根据概率分布规则中包含的相应的概率重新赋值，最终得到差分隐私梯度信息。

在实施中，例如，针对采样后的符号梯度信息中的某个采样点，如果基于概率分布规则确定采样点对应所述概率分布规则中包含的两个不同概率中的第二概率，则基于概率分布规则对采样点重新进行采样处理，如果重新采样的采样点对应第一概率，则可以将该重新采样的采样点的符号删除(如果该重新采样的采样点为第一符号，则将该第一符号删除，如果该重新采样的采样点为第二符号，则将该第二符号删除)，如果重新采样的采样点对应第二概率，则可以将该重新采样的采样点的符号梯度信息设置为新的符号或者也可以设置为第一符号或第二符号等，具体可以根据实际情况设定，通过上述方式可以大大提高用户隐私数据的安全性。

在实际应用中，上述步骤S314中的概率分布规则可以包括伯努利分布，第一概率为伯努利分布中0对应的概率，第二概率为伯努利分布中1对应的概率，则上述步骤S314中将重新采样的采样点的符号梯度信息根据概率分布规则中包含的相应的概率重新赋值的处理可以多种多样，以下提供一种可选的处理方式，具体可以包括以下步骤B2和步骤B4的处理。

在步骤B2中，如果重新采样的采样点对应第一概率，则将重新采样的采样点的符号梯度信息设置为0。

在步骤B4中，如果重新采样的采样点对应第二概率，则将重新采样的采样点的符号梯度信息设置为+1。

通过上述步骤B2和步骤B4的处理，可以将符号梯度信息从每个轴都在+1和-1两个符号之间取值的二元向量，变成每个轴都在+1和0两者之间取值的二元向量。

需要说明的是，概率分布规则中第二概率越大，可以得到的编码结果(或差分隐私处理结果)的安全性更高，此外，考虑到后续解码的准确性，可以选择合适的概率分布规则进行上述编码处理。

在步骤S316中，将差分隐私梯度信息发送给服务器，差分隐私梯度信息用于触发服务器基于差分隐私梯度信息对服务器中存储的目标模型进行更新。

需要说明的是，服务器后续可以将更新后的目标模型下发到指定的终端设备。如果更新后的目标模型满足指定的收敛条件，则不需要对目标模型再进行更新，如果更新后的目标模型不满足指定的收敛条件，则可以指示终端设备重新执行上述步骤302～步骤S316的处理，直到更新后的目标模型满足指定的收敛条件为止，基于此，上述步骤S302中的目标模型还可以是服务器通过接收到的终端设备发送的差分隐私梯度信息对服务器中存储的目标模型进行更新，且确定更新后的目标模型不满足预设的收敛条件的情况下下发的模型。

基于上述处理，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间是原始梯度信息的1/32，可以实现理论上32倍的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，相比较于添加高斯噪声的差分隐私处理方式，可以避免梯度裁剪，同时可以实现更加严格的差分隐私保护程度。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，采用了先对梯度信息做自适应优化处理，然后再转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值。同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

本说明书实施例提供一种模型的处理方法，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例三

以下结合具体的应用场景对本说明书实施例提供一种模型的处理方法进行详细说明，其中的目标模型可以为针对预设风险的风险防控模型，样本数据可以为不同用户之间的历史交易数据，具体可以包括如用户的行为信息、交易双方的账户信息、交易金额、交易时间和交易地点等，概率分布规则为参数为p的伯努利分布。

如图4所示，本说明书实施例提供一种模型的处理方法，该方法的执行主体可以为终端设备，其中，该终端设备可以如手机、平板电脑等一定终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等。该方法具体可以包括以下步骤：

在步骤S402中，接收服务器下发的针对预设风险的风险防控模型。

其中，预设风险可以包括欺诈风险、非法交易风险中的一种或多种。

在步骤S404中，获取用于训练风险防控模型的不同用户之间的历史交易数据，并基于该历史交易数据对风险防控模型进行模型训练，得到风险防控模型对应的初始梯度信息。

在步骤S406中，获取风险防控模型的历史梯度信息，基于历史梯度信息确定历史梯度信息对应的一阶动量和二阶动量。

在步骤S408中，基于历史梯度信息对应的一阶动量和风险防控模型对应的初始梯度信息，确定初始梯度信息对应的一阶动量。

在步骤S410中，基于历史梯度信息对应的二阶动量和初始梯度信息对应的一阶动量，确定初始梯度信息对应的二阶动量，并基于初始梯度信息对应的一阶动量和二阶动量，确定风险防控模型对应的梯度信息。

在步骤S412中，将风险防控模型对应的梯度信息在每个轴中数值大于0的梯度信息置为+1，并将风险防控模型对应的梯度信息在每个轴中数值小于0的梯度信息置为-1，最终得到风险防控模型对应的符号梯度信息。

在步骤S414中，基于参数为p的伯努利分布对符号梯度信息进行采样处理，得到多个采样点构成的采样后的符号梯度信息。

在步骤S416中，针对采样后的符号梯度信息中的每个采样点，如果某采样点对应伯努利分布中试验结果0，且该采样点为-1，则将该采样点的符号梯度信息设置为0，如果某采样点对应伯努利分布中试验结果0，且该采样点为+1，则将该采样点的符号梯度信息保持不变。

在步骤S418中，针对采样后的符号梯度信息中的每个采样点，如果基于参数为p的伯努利分布确定某采样点对应伯努利分布中试验结果1，则基于参数为p的伯努利分布对上述采样点重新进行采样处理，如果重新采样的采样点对应伯努利分布中试验结果0，则将重新采样的采样点的符号梯度信息设置为0，如果重新采样的采样点对应伯努利分布中试验结果1，则将重新采样的采样点的符号梯度信息设置为1，最终得到差分隐私梯度信息。

在步骤S420中，将差分隐私梯度信息发送给服务器，差分隐私梯度信息用于触发服务器基于差分隐私梯度信息对服务器中存储的风险防控模型进行更新。

服务器后续可以将更新后的风险防控模型下发到指定的终端设备。如果更新后的风险防控模型满足指定的收敛条件，则不需要对风险防控模型再进行更新，如果更新后的风险防控模型不满足指定的收敛条件，则可以指示终端设备重新执行上述步骤402～步骤S420的处理，直到更新后的风险防控模型满足指定的收敛条件为止。

本说明书实施例提供一种模型的处理方法，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例四

如图5A和图5B所示，本说明书实施例提供一种模型的处理方法，该方法的执行主体可以为服务器，其中，该服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。该方法具体可以包括以下步骤：

在步骤S502中，接收终端设备上传的目标模型的差分隐私梯度信息，该差分隐私梯度信息是终端设备基于获取的用于训练目标模型的样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，并对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。

在步骤S504中，对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。

在实施中，对接收到的差分隐私梯度信息进行聚合处理可以包括多种实现方式，例如，可以将接收到的差分隐私梯度信息中的数值相加，得到的结果作为聚合后的差分隐私梯度信息，或者，也可以将接收到的差分隐私梯度信息中的数值进行加权求和，得到的结果作为聚合后的差分隐私梯度信息等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S506中，对聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。

在实施中，对聚合后的差分隐私梯度信息进行解码处理的目的是为了尽可能通过聚合后的差分隐私梯度信息准确地还原真实的符号梯度信息的聚合结果，为了可以通过多种不同的方式来准确还原真实的符号梯度信息的聚合结果，例如，可以基于上述编码过程，设置上述编码过程的逆处理过程，可以基于该逆处理过程构建相应的解码器，可以通过该解码器对聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息，具体如，上述编码过程为基于概率分布规则将符号梯度信息映射为指定编码符号，则相应的解码过程可以为基于概率分布规则将指定编码符号反向映射为符号梯度信息，从而可以得到相应的目标符号梯度信息。此外，还可以通过聚合后的差分隐私梯度信息与符号梯度信息的聚合结果之间满足的条件等预先设置相应的算法，通过该算法可以计算得到相应的目标符号梯度信息等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S508中，基于目标符号梯度信息对目标模型进行更新，得到更新后的目标模型。

在实施中，服务器可以对目标符号梯度信息进行还原，具体还原方式可以包括多种，例如上述的映射与反向映射的方式等，具体可以根据实际情况设定，通过对目标符号梯度信息进行还原，可以得到目标模型对应的梯度信息，可以基于目标模型对应的梯度信息对目标模型的模型参数进行更新，进而得到更新后的目标模型，之后，可以将更新后的目标模型下发到指定的终端设备。如果更新后的目标模型满足指定的收敛条件，则不需要对目标模型再进行更新，如果更新后的目标模型不满足指定的收敛条件，则可以指示终端设备重新执行上述步骤502～步骤S508的处理，直到更新后的目标模型满足指定的收敛条件为止。

本说明书实施例提供一种模型的处理方法，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例五

如图6所示，本说明书实施例提供一种模型的处理方法，该方法的执行主体可以为服务器，其中，该服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。该方法具体可以包括以下步骤：

在步骤S602中，接收终端设备上传的目标模型的差分隐私梯度信息，该差分隐私梯度信息是终端设备基于获取的用于训练目标模型的样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，并对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。

在步骤S604中，对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。

在实施中，对接收到的差分隐私梯度信息进行聚合处理可以包括多种实现方式，例如，可以将接收到的差分隐私梯度信息中的数值相加，得到的结果作为聚合后的差分隐私梯度信息，或者，也可以将接收到的差分隐私梯度信息中的数值进行加权求和，得到的结果作为聚合后的差分隐私梯度信息等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

对于概率分布规则中包含两个不同概率(可以参见上述概率分布规则为二项分布或伯努利分布)的情况，可以通过下述步骤S606和步骤S608的处理对聚合后的差分隐私梯度信息进行解码处理。

在步骤S606中，基于聚合后的差分隐私梯度信息、进行聚合处理的差分隐私梯度信息的数量和概率分布规则中包含的两个不同概率，通过预设算法得到相应的计算结果。

在实施中，如果参与聚合的差分隐私梯度信息的数量为N，对于第k个轴，原始的符号梯度信息为+1的数量为a，聚合后的差分隐私梯度信息为b，则真实的符号梯度信息的聚合结果可以为2a-N，为了对聚合后的差分隐私梯度信息进行解码处理得到准确的符号梯度信息的聚合结果，相应的计算目的即为通过b去无偏估计2a-N，具体如下：可以计算在期望意义下a个+1输出的b值为b＝(1-p)a+Np^2；于是倒推可以得到a＝(b-Np^2)/(1-p)；于是符号梯度信息的聚合结果2a-N＝(2(b-Np^2)/(1-p))-N。基于上述内容，可以将聚合后的差分隐私梯度信息、进行聚合处理的差分隐私梯度信息的数量和概率分布规则中包含的两个不同概率，以及参与聚合的差分隐私梯度信息的数量N，代入公式2a-N＝(2(b-Np^2)/(1-p))-N中，可以得到2a-N的结果(即计算结果)。

在步骤S608中，基于得到的计算结果确定目标符号梯度信息。

在实施中，可以直接将得到的计算结果作为目标符号梯度信息，或者，也可以再对得到的计算结果进行指定处理(如将得到的计算结果乘以预设的权重或将得到的计算结果加上预设的数值等)，最终得到的处理结果作为目标符号梯度信息等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S610中，基于目标符号梯度信息对目标模型进行更新，得到更新后的目标模型。

本说明书实施例提供一种模型的处理方法，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例六

以下结合具体的应用场景对本说明书实施例提供一种模型的处理方法进行详细说明，其中的目标模型可以为针对预设风险的风险防控模型，样本数据可以为不同用户之间的历史交易数据，具体可以包括如用户的行为信息、交易双方的账户信息、交易金额、交易时间和交易地点等，概率分布规则为参数为p的伯努利分布。

如图7所示，本说明书实施例提供一种模型的处理方法，该方法的执行主体可以为服务器，其中，该服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。该方法具体可以包括以下步骤：

在步骤S702中，接收终端设备上传的针对预设风险的风险防控模型的差分隐私梯度信息，该差分隐私梯度信息是终端设备基于获取的用于训练风险防控模型的不同用户之间的历史交易数据对风险防控模型进行模型训练，确定模型训练后风险防控模型对应的梯度信息，并对风险防控模型对应的梯度信息进行符号化处理，得到风险防控模型对应的符号梯度信息，基于参数为p的伯努利分布对符号梯度信息进行采样处理，并基于参数为p的伯努利分布对采样后的符号梯度信息进行编码处理后得到的信息。

在步骤S704中，对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。

在步骤S706中，基于聚合后的差分隐私梯度信息、进行聚合处理的差分隐私梯度信息的数量和参数为p的伯努利分布，通过预设算法得到相应的计算结果。

在步骤S708中，基于得到的计算结果确定目标符号梯度信息。

在步骤S710中，基于目标符号梯度信息对风险防控模型进行更新，得到更新后的风险防控模型。

本说明书实施例提供一种模型的处理方法，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例七

以上为本说明书实施例提供的模型的处理方法，基于同样的思路，本说明书实施例还提供一种模型的处理装置，如图8所示。

该模型的处理装置包括：模型接收模块801、梯度获取模块802、差分隐私模块803和梯度发送模块804，其中：

模型接收模块801，接收服务器下发的目标模型；

梯度获取模块802，获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；

差分隐私模块803，对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；

梯度发送模块804，将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

本说明书实施例中，所述梯度获取模块802，包括：

初始梯度获取单元，基于所述样本数据对所述目标模型进行模型训练，得到所述目标模型对应的初始梯度信息；

适应优化单元，获取所述目标模型的历史梯度信息，基于所述历史梯度信息和所述初始梯度信息，通过自适应优化算法，确定目标模型对应的梯度信息，所述自适应优化算法包括Adam算法或Adagrad算法。

本说明书实施例中，所述适应优化单元，基于所述历史梯度信息确定所述历史梯度信息对应的一阶动量和二阶动量；基于所述历史梯度信息对应的一阶动量和二阶动量，以及所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量和二阶动量，并基于所述初始梯度信息对应的一阶动量和二阶动量，确定目标模型对应的梯度信息。

本说明书实施例中，所述适应优化单元，基于所述历史梯度信息对应的一阶动量和所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量；基于所述历史梯度信息对应的二阶动量和所述初始梯度信息对应的一阶动量，确定所述初始梯度信息对应的二阶动量。

本说明书实施例中，所述差分隐私模块803，将所述目标模型对应的梯度信息在每个轴中数值大于预设阈值的梯度信息置为第一符号，并将所述目标模型对应的梯度信息在每个轴中数值小于所述预设阈值的梯度信息置为第二符号，得到所述目标模型对应的符号梯度信息，所述第一符号与所述第二符号不同。

本说明书实施例中，所述预设阈值为0，所述第一符号为+1，所述第二符号为-1。

本说明书实施例中，所述差分隐私模块803，包括：

采样单元，基于预设的概率分布规则对所述符号梯度信息进行采样处理，得到多个采样点构成的采样后的符号梯度信息；

差分隐私单元，针对所述采样后的符号梯度信息中的每个采样点，执行以下处理，以得到差分隐私梯度信息：如果基于所述概率分布规则确定所述采样点对应所述概率分布规则中包含的两个不同概率中的第一概率，且所述采样点为所述第二符号，则将所述采样点的第二符号删除；如果基于所述概率分布规则确定所述采样点对应所述概率分布规则中包含的两个不同概率中的第二概率，则基于所述概率分布规则对所述采样点重新进行采样处理，并将重新采样的采样点的符号梯度信息根据所述概率分布规则中包含的相应的概率重新赋值。

本说明书实施例中，所述概率分布规则包括伯努利分布，所述第一概率为所述伯努利分布中0对应的概率，所述第二概率为所述伯努利分布中1对应的概率，所述差分隐私单元，如果所述重新采样的采样点对应第一概率，则将所述重新采样的采样点的符号梯度信息设置为0；如果所述重新采样的采样点对应第二概率，则将所述重新采样的采样点的符号梯度信息设置为1。

本说明书实施例中，所述样本数据为不同用户之间的历史交易数据，所述目标模型为针对预设风险的风险防控模型，所述预设风险包括欺诈风险、非法交易风险中的一种或多种。

本说明书实施例中，所述目标模型是所述服务器通过接收到的终端设备发送的差分隐私梯度信息对所述服务器中存储的目标模型进行更新，且确定更新后的目标模型不满足预设的收敛条件的情况下下发的模型。

本说明书实施例提供一种模型的处理装置，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例八

基于同样的思路，本说明书实施例还提供一种模型的处理装置，如图9所示。

该模型的处理装置包括：差分梯度接收模块901、聚合模块902、解码模块903和模型更新模块904，其中：

差分梯度接收模块901，接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息；

聚合模块902，对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息；

解码模块903，对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息；

模型更新模块904，基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

本说明书实施例中，所述概率分布规则中包含两个不同概率，所述解码模块903，包括：

解码单元，基于所述聚合后的差分隐私梯度信息、进行聚合处理的差分隐私梯度信息的数量和所述概率分布规则中包含的两个不同概率，通过预设算法得到相应的计算结果；

符号梯度确定单元，基于得到的计算结果确定所述目标符号梯度信息。

本说明书实施例提供一种模型的处理装置，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例九

以上为本说明书实施例提供的模型的处理装置，基于同样的思路，本说明书实施例还提供一种模型的处理设备，如图10所示。

所述模型的处理设备可以为上述实施例提供终端设备或服务器等。

模型的处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1001和存储器1002，存储器1002中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1002可以是短暂存储或持久存储。存储在存储器1002的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对模型的处理设备中的一系列计算机可执行指令。更进一步地，处理器1001可以设置为与存储器1002通信，在模型的处理设备上执行存储器1002中的一系列计算机可执行指令。模型的处理设备还可以包括一个或一个以上电源1003，一个或一个以上有线或无线网络接口1004，一个或一个以上输入输出接口1005，一个或一个以上键盘1006。

具体在本实施例中，模型的处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型的处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

接收服务器下发的目标模型；

获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；

对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；

将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

此外，具体在本实施例中，模型的处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型的处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息；

对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息；

对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息；

基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于模型的处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供一种模型的处理设备，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

实施例十

进一步地，基于上述图2A到图7所示的方法，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令信息，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令信息在被处理器执行时，能实现以下流程：

接收服务器下发的目标模型；

获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；

对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；

将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

此外，在另一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令信息在被处理器执行时，能实现以下流程：

接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息；

对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息；

对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息；

基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于上述一种存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供一种存储介质，通过接收服务器下发的目标模型，然后，获取用于训练目标模型的样本数据，并基于样本数据对目标模型进行模型训练，确定模型训练后目标模型对应的梯度信息，之后对目标模型对应的梯度信息进行符号化处理，得到目标模型对应的符号梯度信息，基于预设的概率分布规则对符号梯度信息进行采样处理，并基于概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，最终，可以将差分隐私梯度信息发送给服务器，服务器可以基于差分隐私梯度信息对服务器中存储的目标模型进行更新，这样，通过使用符号梯度信息在通信过程中进行数据传输，所需要的梯度信息的存储空间大大缩减，可以实现一定倍数的通信开销的压缩。同时，使用了随机响应机制实现了差分隐私处理，从而可以避免进行梯度裁剪，同时可以实现更加严格的差分隐私保护能力。此外，为了避免单次模型训练轮次中出现异常值以及为了加快目标模型收敛，将梯度信息转换成符号梯度信息，这样转换成的符号梯度信息更具备优化参考价值，同时符号优化还可以在梯度聚合过程中防御拜占庭攻击，最大程度地减小了拜占庭攻击的风险。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器，使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (16)

1.一种模型的处理方法，所述方法包括：

接收服务器下发的目标模型；

获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；

对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；

将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

2.根据权利要求1所述的方法，所述基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，包括：

基于所述样本数据对所述目标模型进行模型训练，得到所述目标模型对应的初始梯度信息；

获取所述目标模型的历史梯度信息，基于所述历史梯度信息和所述初始梯度信息，通过自适应优化算法，确定目标模型对应的梯度信息，所述自适应优化算法包括Adam算法或Adagrad算法。

3.根据权利要求2所述的方法，所述基于所述历史梯度信息和所述初始梯度信息，通过自适应优化算法，确定目标模型对应的梯度信息，包括：

基于所述历史梯度信息确定所述历史梯度信息对应的一阶动量和二阶动量；

基于所述历史梯度信息对应的一阶动量和二阶动量，以及所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量和二阶动量，并基于所述初始梯度信息对应的一阶动量和二阶动量，确定目标模型对应的梯度信息。

4.根据权利要求3所述的方法，所述基于所述历史梯度信息对应的一阶动量和二阶动量，以及所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量和二阶动量，包括：

基于所述历史梯度信息对应的一阶动量和所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量；

基于所述历史梯度信息对应的二阶动量和所述初始梯度信息对应的一阶动量，确定所述初始梯度信息对应的二阶动量。

5.根据权利要求1-4中任一项所述的方法，所述对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，包括：

将所述目标模型对应的梯度信息在每个轴中数值大于预设阈值的梯度信息置为第一符号，并将所述目标模型对应的梯度信息在每个轴中数值小于所述预设阈值的梯度信息置为第二符号，得到所述目标模型对应的符号梯度信息，所述第一符号与所述第二符号不同。

6.根据权利要求5所述的方法，所述预设阈值为0，所述第一符号为+1，所述第二符号为-1。

7.根据权利要求6所述的方法，所述基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，包括：

基于预设的概率分布规则对所述符号梯度信息进行采样处理，得到多个采样点构成的采样后的符号梯度信息；

针对所述采样后的符号梯度信息中的每个采样点，执行以下处理，以得到差分隐私梯度信息：

如果基于所述概率分布规则确定所述采样点对应所述概率分布规则中包含的两个不同概率中的第一概率，且所述采样点为所述第二符号，则将所述采样点的第二符号删除；

如果基于所述概率分布规则确定所述采样点对应所述概率分布规则中包含的两个不同概率中的第二概率，则基于所述概率分布规则对所述采样点重新进行采样处理，并将重新采样的采样点的符号梯度信息根据所述概率分布规则中包含的相应的概率重新赋值。

8.根据权利要求7所述的方法，所述概率分布规则包括伯努利分布，所述第一概率为所述伯努利分布中0对应的概率，所述第二概率为所述伯努利分布中1对应的概率，所述将重新采样的采样点的符号梯度信息根据所述概率分布规则中包含的相应的概率重新赋值，包括：

如果所述重新采样的采样点对应第一概率，则将所述重新采样的采样点的符号梯度信息设置为0；

如果所述重新采样的采样点对应第二概率，则将所述重新采样的采样点的符号梯度信息设置为1。

9.根据权利要求1所述的方法，所述样本数据为不同用户之间的历史交易数据，所述目标模型为针对预设风险的风险防控模型，所述预设风险包括欺诈风险、非法交易风险中的一种或多种。

10.根据权利要求1所述的方法，所述目标模型是所述服务器通过接收到的终端设备发送的差分隐私梯度信息对所述服务器中存储的目标模型进行更新，且确定更新后的目标模型不满足预设的收敛条件的情况下下发的模型。

11.一种模型的处理方法，所述方法包括：

接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息；

对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息；

对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息；

基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

12.根据权利要求11所述的方法，所述概率分布规则中包含两个不同概率，所述对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息，包括：

基于所述聚合后的差分隐私梯度信息、进行聚合处理的差分隐私梯度信息的数量和所述概率分布规则中包含的两个不同概率，通过预设算法得到相应的计算结果；

基于得到的计算结果确定所述目标符号梯度信息。

13.一种模型的处理装置，所述装置包括：

模型接收模块，接收服务器下发的目标模型；

梯度获取模块，获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；

差分隐私模块，对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；

梯度发送模块，将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

14.一种模型的处理装置，所述装置包括：

差分梯度接收模块，接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息；

聚合模块，对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息；

解码模块，对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息；

模型更新模块，基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

15.一种模型的处理设备，所述模型的处理设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

接收服务器下发的目标模型；

获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；

对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；

将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。

16.一种模型的处理设备，所述模型的处理设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息；

对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息；

对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息；

基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。

Images