CN113536667B - 联邦模型训练方法、装置、可读存储介质及设备 - Google Patents

联邦模型训练方法、装置、可读存储介质及设备 Download PDF

Info

Publication number
CN113536667B
CN113536667B CN202110693782.1A CN202110693782A CN113536667B CN 113536667 B CN113536667 B CN 113536667B CN 202110693782 A CN202110693782 A CN 202110693782A CN 113536667 B CN113536667 B CN 113536667B
Authority
CN
China
Prior art keywords
model
target
result
training data
gradient value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110693782.1A
Other languages
English (en)
Other versions
CN113536667A (zh
Inventor
朱瑶
孟丹
李宏宇
李晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongdun Technology Co ltd
Tongdun Holdings Co Ltd
Original Assignee
Tongdun Technology Co ltd
Tongdun Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongdun Technology Co ltd, Tongdun Holdings Co Ltd filed Critical Tongdun Technology Co ltd
Priority to CN202110693782.1A priority Critical patent/CN113536667B/zh
Publication of CN113536667A publication Critical patent/CN113536667A/zh
Application granted granted Critical
Publication of CN113536667B publication Critical patent/CN113536667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种联邦模型训练方法、装置及可读存储介质，方法包括：获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，采用目标损失函数，对第一模型的第一模型参数进行链式求导得到目标梯度值计算公式，基于目标梯度值计算公式、第一回归结果、第二回归结果、以及第一训练数据的标签数据，确定第一模型参数更新过程中的目标中间结果，基于目标梯度值计算公式、目标中间结果、以及第一训练数据，计算第一模型参数的目标梯度值，基于第一模型参数的目标梯度值、以及第一模型的预设学习率，确定第一模型的新模型参数，并采用新模型参数更新第一模型参数，提高了模型的预测效果的准确性。

Description

联邦模型训练方法、装置、可读存储介质及设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种联邦模型训练方法、装置、可读存储介质及设备。
背景技术
近年来，由于机器学习的广泛应用，基于机器学习或者深度学习的方法逐渐被应用于各个技术领域并且取得了巨大的成功。例如各机构可以通过机器学习训练预测模型，并通过预测模型进行人脸检测、语音识别、文字/手写体识别等。
由于各机构间存储的数据特征不同，为了同时保证数据安全和用户隐私，机构之间不能直接互通数据，若机构需要预测模型，仅能基于机构自身存储的数据进行训练，因此，如何通过联邦学习进行预测，并提高预测效果是本领域技术人员需解决的技术问题。
发明内容
本发明实施例的目的在于提供一种联邦模型训练方法、装置、可读存储介质及设备，以提供一种通过联邦学习进行预测，并提高预测效果的方案。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种联邦模型训练方法，执行于第一参与方，所述方法包括：
获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，其中，所述第一回归结果为所述第一模型基于所述第一模型的第一模型参数和第一训练数据确定的，所述第二回归结果为所述第二模型基于所述第二模型的第二模型参数和第二训练数据确定的；
采用目标损失函数，对所述第一模型的第一模型参数进行链式求导，以确定所述第一模型参数的目标梯度值计算公式；
基于所述目标梯度值计算公式、所述第一回归结果、所述第二回归结果、以及所述第一训练数据的标签数据，确定所述第一模型参数更新过程中的目标中间结果；
基于所述目标梯度值计算公式、所述目标中间结果、以及所述第一训练数据，计算所述第一模型参数的目标梯度值；
基于所述第一模型参数的目标梯度值、以及所述第一模型的预设学习率，确定所述第一模型的新模型参数，并采用所述新模型参数更新所述第一模型参数，以对所述第一模型进行训练。
在本发明实施的第二方面，还提供了一种联邦模型训练方法，执行于第二参与方，所述方法包括：
从第一参与方获取目标中间结果，其中，所述目标中间结果为所述第一参与方基于第一参与方计算的目标梯度值计算公式、所述第一参与方的第一模型的第一回归结果、第二参与方的第二模型的第二回归结果、以及所述第一模型的第一训练数据的标签数据，确定的所述第一模型参数更新过程中的结果，所述目标梯度值计算公式为所述第一参与方采用目标损失函数，对所述第一模型的第一模型参数进行链式求导获得的；
采用所述目标损失函数，对所述第二模型的第二模型参数进行链式求导，以确定所述第二模型的第二模型参数的目标梯度值计算公式；
基于第二模型的第二模型参数的目标梯度值计算公式、所述目标中间结果、以及所述第二模型的第二训练数据，计算所述第二模型的第二模型参数的目标梯度值；
基于所述第二模型参数的目标梯度值、以及与所述第二模型和所述第一模型均对应的预设学习率，确定所述第二模型的新模型参数，并采用所述新模型参数更新所述第二模型参数，以对所述第二模型进行训练。
在本发明实施的第三方面，还提供了一种联邦模型训练装置，设置于第一参与方，所述装置包括：
获取模块，用于获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，其中，所述第一回归结果为所述第一模型基于所述第一模型的第一模型参数和第一训练数据确定的，所述第二回归结果为所述第二模型基于所述第二模型的第二模型参数和第二训练数据确定的；
第一确定模块，用于采用目标损失函数，对所述第一模型的第一模型参数进行链式求导，以确定所述第一模型参数的目标梯度值计算公式；
第二确定模块，用于基于所述目标梯度值计算公式、所述第一回归结果、所述第二回归结果、以及所述第一训练数据的标签数据，确定所述第一模型参数更新过程中的目标中间结果；
计算模块，用于基于所述目标梯度值计算公式、所述目标中间结果、以及所述第一训练数据，计算所述第一模型参数的目标梯度值；
训练模块，用于基于所述第一模型参数的目标梯度值、以及所述第一模型的预设学习率，确定所述第一模型的新模型参数，并采用所述新模型参数更新所述第一模型参数，以对所述第一模型进行训练。
在本发明实施的第四方面，还提供了一种联邦模型训练装置，设置于第二参与方，所述装置包括：
获取模块，用于从第一参与方获取目标中间结果，其中，所述目标中间结果为所述第一参与方基于第一参与方计算的目标梯度值计算公式、所述第一参与方的第一模型的第一回归结果、第二参与方的第二模型的第二回归结果、以及所述第一模型的第一训练数据的标签数据，确定的所述第一模型参数更新过程中的结果，所述目标梯度值计算公式为所述第一参与方采用目标损失函数，对所述第一模型的第一模型参数进行链式求导获得的；
确定模块，用于采用所述目标损失函数，对所述第二模型的第二模型参数进行链式求导，以确定所述第二模型的第二模型参数的目标梯度值计算公式；
计算模块，用于基于第二模型的第二模型参数的目标梯度值计算公式、所述目标中间结果、以及所述第二模型的第二训练数据，计算所述第二模型的第二模型参数的目标梯度值；
训练模块，用于基于所述第二模型参数的目标梯度值、以及与所述第二模型和所述第一模型均对应的预设学习率，确定所述第二模型的新模型参数，并采用所述新模型参数更新所述第二模型参数，以对所述第二模型进行训练。
在本发明实施的又一方面，还提供了一种联邦模型训练设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的方法的步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的方法。
本实施例提供的联邦模型训练方法，通过获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，采用目标损失函数，对第一模型的第一模型参数进行链式求导，以确定第一模型参数的目标梯度值计算公式，基于目标梯度值计算公式、第一回归结果、第二回归结果、以及第一训练数据的标签数据，确定第一模型参数更新过程中的目标中间结果，基于目标梯度值计算公式、目标中间结果、以及第一训练数据，计算第一模型参数的目标梯度值，基于第一模型参数的目标梯度值、以及第一模型的预设学习率，确定第一模型的新模型参数，并采用新模型参数更新第一模型参数，以对第一模型进行训练，从而实现在保护数据安全和用户隐私的情况下，实现基于多方的数据也即实现联邦学习进行联邦建模，从而提高了训练后的模型的预测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中提供的一种联邦模型训练方法的步骤流程图；
图2为本发明实施例中提供的另一种联邦模型训练方法的步骤流程图；
图3为本发明实施例中提供的一种联邦模型训练装置的结构示意图；
图4为本发明实施例中提供的另一种联邦模型训练装置的结构示意图。
具体实施方式
由于各机构间存储的数据不同，为了同时保障数据安全和用户隐私，机构之间不能直接互通数据，若机构需要训练预测模型，仅能基于机构自身存储的数据进行训练，导致机构得到的训练后的预测模型的预测效果不理想的问题。例如银行机构存储有用户的姓名、性别、年龄、用户身份证信息、是否有逾期未还款账单等用户数据，而其他机构例如第三方支付机构存储有用户姓名、支出消费数据等，银行机构与第三方支付机构之间不能直接互通数据，导致银行机构无法直接利用第三方支付机构的数据来提升信贷风控模型的预测效果。
为了解决上述技术问题，本发明实施例提供了一种联邦模型训练方法。参照图1，图1为本发明实施例中提供的一种联邦模型训练方法的步骤流程图。该方法执行于第一参与方，第一参与方例如可以为银行机构部署的服务器，该方法包括如下步骤：
步骤101、获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果。
其中，第一回归结果为第一模型基于第一模型的第一模型参数和第一训练数据确定的，第二回归结果为第二模型基于第二模型的第二模型参数和第二训练数据确定的。
在第一训练数据和第二训练数据为线性可分的数据集的情况下，第一模型和第二模型均为线性支持向量机；第一回归结果等于第一模型参数和第一训练数据的乘积，第二回归结果等于第二模型参数和第二训练数据的乘积，目标梯度值等于目标中间结果与第一训练数据的乘积。其中，第一训练数据和第二训练数据可以选取开源数据集UCI的BreastCancer Wisconsin数据集数据，是一份经典且常用的二分类数据集。共569条数据，每条数据总计30个特征变量。可将30个特征变量分配给两方，以进行两方联邦，具体可按照实际情况进行分配，例如一方拥有20个特征变量，另一方拥有10个特征变量，或者两方均拥有15个特征变量。其中任意一方的特征变量的个数大于0小于30、且两方的特征变量的个数的总和为30。
支持向量机(Support Vector Machine，简称SVM)是在统计学习理论基础上构造的一种通用学习机器。SVM在机器学习以及模式识别中往往会发挥不错的性能，自开始出现至今一直不断发展，SVM得益于监督学习的特性，可以应用到很多统计范畴的问题中，包括分类、回归等，而且SVM的另一优势是通过结构风险最小化(Structural RiskMinimization,SRM)原则来提高模型的泛化性能，并且也支持VC维理论。
在第一训练数据和第二训练数据为线性可分的数据集的情况下，第一模型和第二模型均为线性支持向量机；第一回归结果等于第一模型参数和第一训练数据的乘积，第二回归结果等于第二模型参数和第二训练数据的乘积，目标梯度值等于目标中间结果与第一训练数据的乘积。
为了便于介绍本发明实施例，本实施例中用P1代表第一参与方，用P2代表第二参与方，第二参与方的个数可以为多个，在此以一个第二参与方为例进行介绍。第一训练数据和第二训练数据为线性可分的数据集的情况下，第一参与方P1和第二参与方P2的本方模型均为线性支持向量机时，在此介绍第一回归结果和第二回归结果。若第一模型和第二模型的回归结果以U(i)表示，则第一回归结果可以用U(1)表示，第二回归结果用U(2)表示。
第一模型参数指第一参与方P1的本方模型的模型参数，第一模型参数以θ(1)表示；第一训练数据指第一参与方P1的本方训练数据，第一训练数据以X(1)表示；第一训练数据的标签数据以Y表示。第二模型参数指第二参与方P2的本方模型的模型参数，第二模型参数以θ(2)表示；第二训练数据指第二参与方P2的本方训练数据，第二训练数据以X(2)表示。U(1)＝θ(1)TX(1)，U(2)＝θ(2)TX(2)。线性支持向量机的模型参数的维度是训练数据的一个训练样本的特征数。
步骤102、采用目标损失函数，对第一模型的第一模型参数进行链式求导，以确定第一模型参数的目标梯度值计算公式。
支持向量机的目标损失函数例如为Hinge损失函数L，其中N为训练数据包括的训练样本的总个数，xj表示训练数据中的一个样本，yj表示xj的标签，yj属于标签数据Y中的一个元素。根据链式求导法则，第一参与方P1和第二参与方P2分别计算并得到本方模型参数更新的梯度值/>其中i为大于等于1且小于等于参与方的总个数之间的整数，例如，若有一个第一参与方和一个第二参与方，则参与方的总个数等于2，i的值等于1或2。则第一模型参数的目标梯度值计算公式其中，Y表示第一模型的第一训练数据的标签数据，C表示第一模型参数更新过程中的中间结果的表示符号。
步骤103、基于目标梯度值计算公式、第一回归结果、第二回归结果、以及第一训练数据的标签数据，确定第一模型参数更新过程中的目标中间结果。
其中，步骤103基于目标梯度值计算公式、第一回归结果、第二回归结果、以及第一训练数据的标签数据，确定第一模型参数更新过程中的目标中间结果，可以通过如下步骤实现：
基于第一回归结果、第二回归结果、第一训练数据的标签数据、以及预设函数，确定第一模型参数更新过程中的中间结果；
基于目标梯度值计算公式、标签数据以及中间结果，确定第一模型参数更新过程中的目标中间结果；
其中，预设函数用于在目标矩阵中目标元素值小于1的情况下，将目标元素值更新为1，在目标元素值大于等于1的情况下，将目标元素值更新为0，以得到中间结果，目标矩阵为第一回归结果与第二回归结果的和与标签数据进行点乘后得到的矩阵。
本实施例中以C表示第一模型参数更新过程中的中间结果，C＝-δ(Y·(U(1)+U(2)))，预设函数δ表示用于在目标矩阵中目标元素值小于1的情况下，将目标元素值更新为1，在目标元素值大于等于1的情况下，将目标元素值更新为0；其中，目标矩阵为Y·(U(1)+U(2))。根据目标矩阵和预设函数δ，可以计算中间结果C。
基于目标梯度值计算公式、标签数据以及中间结果，确定第一模型参数更新过程中的目标中间结果。例如，第一模型参数的目标梯度值计算公式为：可知目标中间结果以Y·C表示，目标中间结果等于标签数据与中间结果进行点乘后得到的矩阵。
需要说明的是，第一参与方可以通过秘密分享加密方法，使第二参与方得到目标中间结果，以使第二参与方基于目标中间结果，更新第二模型参数。具体的，P1可通过秘密分享加密方法，使P2得到目标中间结果，以使第二参与方基于目标中间结果，更新第二模型参数。P1可以直接算出目标中间结果，目标是通过秘密分享加密方法，在不泄露标签数据和第一训练数据的情况下，实现P2能够得到目标中间结果，从而可以保证数据隐私性和安全性。例如，P2采用目标损失函数，对第二模型的第二模型参数进行链式求导，确定第二模型参数的目标梯度值计算公式后，基于第二模型的第二模型参数的目标梯度值计算公式、目标中间结果、以及第二模型的第二训练数据，计算第二模型的第二模型参数的目标梯度值。
第二模型参数的目标梯度值计算公式为：第二参与方通过链式求导获得的目标梯度值计算公式、目标中间结果、以及第二训练数据，可以计算出第二模型参数的目标梯度值为(Y·C)X(2)。P2基于P2计算出的目标梯度值(Y·C)X(2)、以及预设学习率η，确定第二模型的新模型参数，并采用第二模型的新模型参数更新第二模型参数，以对第二模型进行训练，P2的新模型参数等于/>P2采用新模型参数更新第二模型参数θ(2)，以完成对第二模型的一次训练过程。预设学习率例如选取0.01，Epoch选取2，训练batch size规模选取64。一个Epoch就是将所有训练样本训练一次的过程。当一个Epoch的样本(也就是所有的训练样本)数量可能太过庞大(对于计算机而言)，就需要把它分成多个小块，也就是分成多个Batch来进行训练，每个Batch的batchsize可以为64。
秘密分享(secret sharing，简称SS)是一种共享秘密的技术，通过某种方法将秘密拆分，从N个信道同时发送，即使有信道存在恶意者，也无法恢复秘密。秘密分享能在计算前后始终保持秘密在参与方之间分享，并且在计算过程中不会泄漏参与方的敏感数据。秘密分享支持任意数量参与方之间的秘密分享，还支持加法、乘法、点乘、比较等常用运算。
矩阵秘密分享的思想是首先将各参与方的数据矩阵分别拆分成矩阵碎片，拆分要求是矩阵碎片之和等于原数据矩阵。然后参与方利用矩阵碎片信息生成秘密碎片用于共享和传播。
步骤104、基于目标梯度值计算公式、目标中间结果、以及第一训练数据，计算第一模型参数的目标梯度值。
步骤105、基于第一模型参数的目标梯度值、以及第一模型的预设学习率，确定第一模型的新模型参数，并采用新模型参数更新第一模型参数，以对第一模型进行训练。
P1计算出目标中间结果Y·C后，基于目标梯度值计算公式 目标中间结果、第一训练数据，计算第一模型参数的目标梯度值/>P1基于目标梯度值/>以及第一模型的预设学习率η，确定第一模型的新模型参数。并采用新模型参数替换第一模型参数，以完成一次训练过程。其中，P1的新模型参数等于/>η表示预设学习率。采用新模型参数/>更新θ(1)，完成一次训练过程。P1和P1均完成一次训练过程后，P1采用P1的新模型参数和第一训练数据计算新的第一回归结果，P2采用P2的新模型参数和第二训练数据计算新的第二回归结果。P1获取新的第一回归结果和新的第二回归结果，并重复执行步骤102至步骤105，以完成对第一模型的下一次训练过程，直至训练至收敛或完成迭代次数，以得到训练后的第一模型。
经联邦线性支持向量机算法训练后，数据集AUC值达到0.98，KS值达到0.96，结果表明联邦线性支持向量机算法建模预测效果良好。
上述介绍了第一训练数据和第二训练数据为线性可分的数据集的情况下，第一参与方P1和第二参与方P2的本方模型均为线性支持向量机时，对第一模型的训练过程。下面介绍在第一训练数据和第二训练数据为非线性可分的数据集的情况下，第一模型和第二模型均为非线性支持向量机时，对第一模型的训练过程：
对于非线性数据集，非线性支持向量机算法原理是利用非线性映射把数据从低维空间映射到高维空间，使得在低维空间线性不可分的问题转化为高维空间中线性可分。然后在高维空间中利用线性可分情形下的方法寻找最优超平面。非线性支持向量机算法引入核函数概念，采用将高维空间的内积转化为原始低维空间的核函数矩阵来进行计算。
在第一训练数据和第二训练数据为非线性可分的数据集的情况下，第一模型和第二模型均为非线性支持向量机；第一回归结果等于第一模型参数与第一核函数矩阵的乘积，第二回归结果等于第二模型参数与第二核函数矩阵的乘积，第一核函数矩阵为关于第一训练数据的核函数矩阵，第二核函数矩阵为关于第二训练数据的核函数矩阵；第一模型参数的目标梯度值等于目标中间结果与目标核函数矩阵的乘积，目标核函数矩阵为关于第一训练数据的核函数矩阵。
其中，第一训练数据和第二训练数据可选取开源数据集UCI的Breast CancerWisconsin数据集数据，是一份经典且常用的二分类数据集。共569条数据，总计30个特征变量。可将30个特征变量分配给两方，以进行两方联邦，具体的分配方式可根据实际情况设定，例如一方拥有20个特征变量，另一方拥有10个特征变量，或者两方均拥有15个特征变量。其中任意一方的特征变量的个数大于0小于30、且两方的特征变量的个数的总和为30。
第一模型参数指第一参与方P1的本方模型的模型参数，第一模型参数以α(1)表示；第一训练数据指第一参与方P1的本方训练数据，第一训练数据以X(1)表示；第一训练数据的标签数据以Y表示。第二模型参数指第二参与方P2的本方模型的模型参数，第二模型参数以α(2)表示；第二训练数据指第二参与方P2的本方训练数据，第二训练数据以X(2)表示。假设非线性支持向量机通过非线性映射将输入的样本的特征数目从低维空间映射到高维空间，例如样本的特征数目由原来的几维或几十维映射到到几百维，甚至上千维。低维输入空间存在核函数κ(x，y)，恰好等于在高维特征空间的内积运算，即：/> 核函数的引入可以在不知道非线性映射函数且数据非线性可分时，进行支持向量算法求解，其中，非线性支持向量机的模型参数的维度是训练数据的batch size的大小，例如，第一训练数据的batch size的大小为64，则第一模型参数以α(1)的维度是64维。由线性支持向量机求解过程可知，模型参数θ可以由特征数据线性表示为：P1和P2计算本地模型的回归结果U(i)表示为：
即U(1)＝α(1)M1(X(1))，U(2)＝α(2)M2(X(2))，其中，Mi(X(i))为核函数矩阵，
当核函数κ(xi，xj)取高斯核函数时，其中，σ表示核函数参数，N表示训练数据中的样本个数。
非线性支持向量机的目标损失函数和线性支持向量机的目标损失函数一致，均为Hinge损失函数。根据链式求导法则，第一参与方P1和第二参与方P2分别计算并得到本方模型参数的新梯度值第一模型参数的目标梯度值计算公式/>其中，Y表示第一模型的第一训练数据的标签数据，C表示第一模型参数更新过程中的中间结果。
非线性支持向量机的第一模型参数更新过程中的中间结果的计算方法与线性支持向量机的第一模型参数更新过程中的中间结果的计算方法相同。非线性支持向量机的第一模型参数更新过程中的中间结果C＝-δ(Y·(U(1)+U2)，预设函数δ表示用于在目标矩阵中目标元素值小于1的情况下，将目标元素值更新为1，在目标元素值大于等于1的情况下，将目标元素值更新为0；
P1基于目标梯度值计算公式标签数据以及中间结果，确定第一模型参数更新过程中的目标中间结果。目标中间结果以Y·C表示，目标中间结果等于标签数据与中间结果进行点乘后得到的矩阵。P1计算出目标中间结果Y·C后，基于目标梯度值计算公式/> 目标中间结果、第一训练数据，计算第一模型参数的目标梯度值/>P1基于目标梯度值/>以及预设学习率η，确定第一模型的新模型参数。并采用新模型参数替换第一模型参数，以完成一次训练过程。
P1可通过秘密分享加密方法，使P2得到目标中间结果，以使第二参与方基于目标中间结果，更新第二模型参数。此过程与上述的第一模型和第二模型均为线性支持向量机时，与P2分享目标中间结果的过程类似。第二模型参数的目标梯度值计算公式第二参与方根据本地计算出的目标梯度值计算公式、目标中间结果、以及第二训练数据，可以计算出第二模型参数的目标梯度值为P2的新模型参数等于/>之后P1采用P1的新模型参数和第一训练数据计算新的第一回归结果，P2采用P2的新模型参数和第二训练数据计算新的第二回归结果。P1重复执行步骤201至步骤204，以完成对第一模型的下一次训练过程。
非线性支持向量机算法模型在批量梯度下降方法下训练的超参数选取：预设学习率例如选取0.01，Epoch选取100，训练batch size规模选取64，核函数选取高斯核函数，核函数gamma值选取10。
经联邦非线性支持向量机算法训练后，数据集AUC值达到0.95，KS值达到0.90，结果表明，联邦非线性支持向量机算法建模预测效果良好。
本发明实施例提供的联邦模型训练方法，通过获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，采用目标损失函数，对第一模型的第一模型参数进行链式求导，以确定第一模型参数的目标梯度值计算公式，基于目标梯度值计算公式、第一回归结果、第二回归结果、以及第一训练数据的标签数据，确定第一模型参数更新过程中的目标中间结果，基于目标梯度值计算公式、目标中间结果、以及第一训练数据，计算第一模型参数的目标梯度值，基于第一模型参数的目标梯度值、以及第一模型的预设学习率，确定第一模型的新模型参数，并采用新模型参数更新第一模型参数，以对第一模型进行训练，从而实现在保护数据安全和用户隐私的情况下，实现基于多方的数据进行联邦建模，从而提高了训练后的模型的预测效果的准确性。
参照图2，图2是本发明实施例提供的另一种联邦模型训练方法的步骤流程图，该方法包括如下步骤：
步骤201、从第一参与方获取目标中间结果。
其中，目标中间结果为第一参与方基于第一参与方计算的目标梯度值计算公式、第一参与方的第一模型的第一回归结果、第二参与方的第二模型的第二回归结果、以及第一模型的第一训练数据的标签数据，确定的第一模型参数更新过程中的结果，目标梯度值计算公式为第一参与方采用目标损失函数，对第一模型的第一模型参数进行链式求导获得的；具体的，可以通过秘密分享加密方法，从第一参与方获取目标中间结果。
步骤202、采用目标损失函数，对第二模型的第二模型参数进行链式求导，以确定第二模型的第二模型参数的目标梯度值计算公式。
步骤203、基于第二模型的第二模型参数的目标梯度值计算公式、目标中间结果、以及第二模型的第二训练数据，计算第二模型的第二模型参数的目标梯度值。
步骤204、基于第二模型参数的目标梯度值、以及与第二模型和第一模型均对应的预设学习率，确定第二模型的新模型参数，并采用新模型参数更新第二模型参数，以对第二模型进行训练。
本实施例中的各步骤的解释可以参照图1对应的实施例中的描述，此处不再赘述。
本发明实施例提供的联邦模型训练方法，通过秘密分享加密方法，从第一参与方获取目标中间结果，采用目标损失函数，对第二模型的第二模型参数进行链式求导，以确定第二模型的第二模型参数的目标梯度值计算公式，基于第二模型的第二模型参数的目标梯度值计算公式、目标中间结果、以及第二模型的第二训练数据，计算第二模型的第二模型参数的目标梯度值，基于第二模型参数的目标梯度值、以及与第二模型和第一模型均对应的预设学习率，确定第二模型的新模型参数，并采用新模型参数更新第二模型参数，以对第二模型进行训练，从而实现在保护数据安全和用户隐私的情况下，实现基于多方的数据进行联邦建模，从而提高了训练后的模型的预测效果的准确性。
参照图3，图3为本发明实施例提供的一种联邦模型训练装置的结构示意图，该装置300设置于第一参与方，包括：
获取模块310，用于获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，其中，所述第一回归结果为所述第一模型基于所述第一模型的第一模型参数和第一训练数据确定的，所述第二回归结果为所述第二模型基于所述第二模型的第二模型参数和第二训练数据确定的；
第一确定模块320，用于采用目标损失函数，对所述第一模型的第一模型参数进行链式求导，以确定所述第一模型参数的目标梯度值计算公式；
第二确定模块330，用于基于所述目标梯度值计算公式、所述第一回归结果、所述第二回归结果、以及所述第一训练数据的标签数据，确定所述第一模型参数更新过程中的目标中间结果；
计算模块340，用于基于所述目标梯度值计算公式、所述目标中间结果、以及所述第一训练数据，计算所述第一模型参数的目标梯度值；
训练模块350，用于基于所述第一模型参数的目标梯度值、以及所述第一模型的预设学习率，确定所述第一模型的新模型参数，并采用所述新模型参数更新所述第一模型参数，以对所述第一模型进行训练。
本发明实施例提供的联邦模型训练装置，通过获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，采用目标损失函数，对第一模型的第一模型参数进行链式求导，以确定第一模型参数的目标梯度值计算公式，基于目标梯度值计算公式、第一回归结果、第二回归结果、以及第一训练数据的标签数据，确定第一模型参数更新过程中的目标中间结果，基于目标梯度值计算公式、目标中间结果、以及第一训练数据，计算第一模型参数的目标梯度值，基于第一模型参数的目标梯度值、以及第一模型的预设学习率，确定第一模型的新模型参数，并采用新模型参数更新第一模型参数，以对第一模型进行训练，从而实现在保护数据安全和用户隐私的情况下，实现基于多方的数据进行联邦建模，从而提高了训练后的模型的预测效果的准确性。
可选的，所述第二确定模块330，具体用于基于所述第一回归结果、所述第二回归结果、所述第一训练数据的标签数据、以及预设函数，确定所述第一模型参数更新过程中的中间结果；
基于所述目标梯度值计算公式、所述标签数据以及所述中间结果，确定所述第一模型参数更新过程中的目标中间结果；
其中，所述预设函数用于在目标矩阵中目标元素值小于1的情况下，将所述目标元素值更新为1，在所述目标元素值大于等于1的情况下，将所述目标元素值更新为0，以得到所述中间结果，所述目标矩阵为所述第一回归结果与所述第二回归结果的和与所述标签数据进行点乘后得到的矩阵。
可选的，在所述第一训练数据和所述第二训练数据为线性可分的数据集的情况下，所述第一模型和所述第二模型均为线性支持向量机；所述第一回归结果等于所述第一模型参数和所述第一训练数据的乘积，所述第二回归结果等于所述第二模型参数和所述第二训练数据的乘积，所述第一模型参数的目标梯度值等于所述目标中间结果与所述第一训练数据的乘积。
可选的，在所述第一训练数据和所述第二训练数据为非线性可分的数据集的情况下，所述第一模型和所述第二模型均为非线性支持向量机；所述第一回归结果等于所述第一模型参数与第一核函数矩阵的乘积，所述第二回归结果等于所述第二模型参数与第二核函数矩阵的乘积，所述第一核函数矩阵为关于所述第一训练数据的核函数矩阵，所述第二核函数矩阵为关于所述第二训练数据的核函数矩阵；所述第一模型参数的目标梯度值等于所述目标中间结果与目标核函数矩阵的乘积，所述目标核函数矩阵为关于所述第一训练数据的核函数矩阵。
参照图4，图4为本发明实施例提供的另一种联邦模型训练装置的结构示意图，该装置400设置于第二参与方，该装置400包括：
获取模块410，用于从第一参与方获取目标中间结果，其中，所述目标中间结果为所述第一参与方基于第一参与方计算的目标梯度值计算公式、所述第一参与方的第一模型的第一回归结果、第二参与方的第二模型的第二回归结果、以及所述第一模型的第一训练数据的标签数据，确定的所述第一模型参数更新过程中的结果，所述目标梯度值计算公式为所述第一参与方采用目标损失函数，对所述第一模型的第一模型参数进行链式求导获得的；
确定模块420，用于采用所述目标损失函数，对所述第二模型的第二模型参数进行链式求导，以确定所述第二模型的第二模型参数的目标梯度值计算公式；
计算模块430，用于基于第二模型的第二模型参数的目标梯度值计算公式、所述目标中间结果、以及所述第二模型的第二训练数据，计算所述第二模型的第二模型参数的目标梯度值；
训练模块440，用于基于所述第二模型参数的目标梯度值、以及与所述第二模型和所述第一模型均对应的预设学习率，确定所述第二模型的新模型参数，并采用所述新模型参数更新所述第二模型参数，以对所述第二模型进行训练。
另外，本发明实施例还提供一种联邦模型训练装置，该联邦模型训练装置包括处理器，存储器以及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述实施例的联邦模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的联邦模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程直播交互终端设备的处理器以产生一个机器，使得通过计算机或其他可编程直播交互终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程直播交互终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程直播交互终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种联邦模型训练方法、装置及可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种联邦模型训练方法，其特征在于，执行于第一参与方，所述方法包括：
获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，其中，所述第一回归结果为所述第一模型基于所述第一模型的第一模型参数和第一训练数据确定的，所述第二回归结果为所述第二模型基于所述第二模型的第二模型参数和第二训练数据确定的；所述第一参与方为银行的服务器，所述第二参与方为第三方支付机构的服务器；
采用目标损失函数，对所述第一模型的第一模型参数进行链式求导，以确定所述第一模型参数的目标梯度值计算公式；
基于所述目标梯度值计算公式、所述第一回归结果、所述第二回归结果、以及所述第一训练数据的标签数据，确定所述第一模型参数更新过程中的目标中间结果；
基于所述目标梯度值计算公式、所述目标中间结果、以及所述第一训练数据，计算所述第一模型参数的目标梯度值；
基于所述第一模型参数的目标梯度值、以及所述第一模型的预设学习率，确定所述第一模型的新模型参数，并采用所述新模型参数更新所述第一模型参数，以对所述第一模型进行训练；
所述基于所述目标梯度值计算公式、所述第一回归结果、所述第二回归结果、以及所述第一训练数据的标签数据，确定所述第一模型参数更新过程中的目标中间结果，包括：
基于所述第一回归结果、所述第二回归结果、所述第一训练数据的标签数据、以及预设函数，确定所述第一模型参数更新过程中的中间结果；
基于所述目标梯度值计算公式、所述标签数据以及所述中间结果，确定所述第一模型参数更新过程中的目标中间结果；
其中，所述预设函数用于在目标矩阵中目标元素值小于1的情况下，将所述目标元素值更新为1，在所述目标元素值大于等于1的情况下，将所述目标元素值更新为0，以得到所述中间结果，所述目标矩阵为所述第一回归结果与所述第二回归结果的和与所述标签数据进行点乘后得到的矩阵。
2.根据权利要求1所述的方法，其特征在于，
在所述第一训练数据和所述第二训练数据为线性可分的数据集的情况下，所述第一模型和所述第二模型均为线性支持向量机；所述第一回归结果等于所述第一模型参数和所述第一训练数据的乘积，所述第二回归结果等于所述第二模型参数和所述第二训练数据的乘积，所述第一模型参数的目标梯度值等于所述目标中间结果与所述第一训练数据的乘积。
3.根据权利要求1所述的方法，其特征在于，
在所述第一训练数据和所述第二训练数据为非线性可分的数据集的情况下，所述第一模型和所述第二模型均为非线性支持向量机；所述第一回归结果等于所述第一模型参数与第一核函数矩阵的乘积，所述第二回归结果等于所述第二模型参数与第二核函数矩阵的乘积，所述第一核函数矩阵为关于所述第一训练数据的核函数矩阵，所述第二核函数矩阵为关于所述第二训练数据的核函数矩阵；所述第一模型参数的目标梯度值等于所述目标中间结果与目标核函数矩阵的乘积，所述目标核函数矩阵为关于所述第一训练数据的核函数矩阵。
4.一种联邦模型训练方法，其特征在于，执行于第二参与方，所述方法包括：
从第一参与方获取目标中间结果，其中，所述目标中间结果为所述第一参与方基于第一参与方计算的目标梯度值计算公式、所述第一参与方的第一模型的第一回归结果、第二参与方的第二模型的第二回归结果、以及所述第一模型的第一训练数据的标签数据，确定的所述第一模型参数更新过程中的结果，所述目标梯度值计算公式为所述第一参与方采用目标损失函数，对所述第一模型的第一模型参数进行链式求导获得的；所述第一参与方为银行的服务器，所述第二参与方为第三方支付机构的服务器；
采用所述目标损失函数，对所述第二模型的第二模型参数进行链式求导，以确定所述第二模型的第二模型参数的目标梯度值计算公式；
基于第二模型的第二模型参数的目标梯度值计算公式、所述目标中间结果、以及所述第二模型的第二训练数据，计算所述第二模型的第二模型参数的目标梯度值；
基于所述第二模型参数的目标梯度值、以及与所述第二模型和所述第一模型均对应的预设学习率，确定所述第二模型的新模型参数，并采用所述新模型参数更新所述第二模型参数，以对所述第二模型进行训练；
其中，所述目标中间结果为所述第一参与方基于所述第一回归结果、所述第二回归结果、所述第一训练数据的标签数据、以及预设函数，确定所述第一模型参数更新过程中的中间结果，并基于所述第一模型参数的目标梯度值计算公式、所述标签数据以及所述中间结果，确定出的所述第一模型参数更新过程中的结果；
其中，所述预设函数用于在目标矩阵中目标元素值小于1的情况下，将所述目标元素值更新为1，在所述目标元素值大于等于1的情况下，将所述目标元素值更新为0，以得到所述中间结果，所述目标矩阵为所述第一回归结果与所述第二回归结果的和与所述标签数据进行点乘后得到的矩阵。
5.一种联邦模型训练装置，其特征在于，设置于第一参与方，所述装置包括：
获取模块，用于获取第一参与方的第一模型的第一回归结果、以及第二参与方的第二模型的第二回归结果，其中，所述第一回归结果为所述第一模型基于所述第一模型的第一模型参数和第一训练数据确定的，所述第二回归结果为所述第二模型基于所述第二模型的第二模型参数和第二训练数据确定的；所述第一参与方为银行的服务器，所述第二参与方为第三方支付机构的服务器；
第一确定模块，用于采用目标损失函数，对所述第一模型的第一模型参数进行链式求导，以确定所述第一模型参数的目标梯度值计算公式；
第二确定模块，用于基于所述目标梯度值计算公式、所述第一回归结果、所述第二回归结果、以及所述第一训练数据的标签数据，确定所述第一模型参数更新过程中的目标中间结果；
计算模块，用于基于所述第一模型参数的目标梯度值计算公式、所述目标中间结果、以及所述第一训练数据，计算所述第一模型参数的目标梯度值；
训练模块，用于基于所述第一模型参数的目标梯度值、以及所述第一模型的预设学习率，确定所述第一模型的新模型参数，并采用所述新模型参数更新所述第一模型参数，以对所述第一模型进行训练；
所述第二确定模块，具体用于：
基于所述第一回归结果、所述第二回归结果、所述第一训练数据的标签数据、以及预设函数，确定所述第一模型参数更新过程中的中间结果；
基于所述目标梯度值计算公式、所述标签数据以及所述中间结果，确定所述第一模型参数更新过程中的目标中间结果；
其中，所述预设函数用于在目标矩阵中目标元素值小于1的情况下，将所述目标元素值更新为1，在所述目标元素值大于等于1的情况下，将所述目标元素值更新为0，以得到所述中间结果，所述目标矩阵为所述第一回归结果与所述第二回归结果的和与所述标签数据进行点乘后得到的矩阵。
6.根据权利要求5所述的装置，其特征在于，
在所述第一训练数据和所述第二训练数据为线性可分的数据集的情况下，所述第一模型和所述第二模型均为线性支持向量机；所述第一回归结果等于所述第一模型参数和所述第一训练数据的乘积，所述第二回归结果等于所述第二模型参数和所述第二训练数据的乘积，所述第一模型参数的目标梯度值等于所述目标中间结果与所述第一训练数据的乘积。
7.根据权利要求5所述的装置，其特征在于，
在所述第一训练数据和所述第二训练数据为非线性可分的数据集的情况下，所述第一模型和所述第二模型均为非线性支持向量机；所述第一回归结果等于所述第一模型参数与第一核函数矩阵的乘积，所述第二回归结果等于所述第二模型参数与第二核函数矩阵的乘积，所述第一核函数矩阵为关于所述第一训练数据的核函数矩阵，所述第二核函数矩阵为关于所述第二训练数据的核函数矩阵；所述第一模型参数的目标梯度值等于所述目标中间结果与目标核函数矩阵的乘积，所述目标核函数矩阵为关于所述第一训练数据的核函数矩阵。
8.一种联邦模型训练装置，其特征在于，设置于第二参与方，所述装置包括：
获取模块，用于通过秘密分享加密方法，从第一参与方获取目标中间结果，其中，所述目标中间结果为所述第一参与方基于第一参与方计算的目标梯度值计算公式、所述第一参与方的第一模型的第一回归结果、第二参与方的第二模型的第二回归结果、以及所述第一模型的第一训练数据的标签数据，确定的所述第一模型参数更新过程中的结果，所述目标梯度值计算公式为所述第一参与方采用目标损失函数，对所述第一模型的第一模型参数进行链式求导获得的；所述第一参与方为银行的服务器，所述第二参与方为第三方支付机构的服务器；
确定模块，用于采用所述目标损失函数，对所述第二模型的第二模型参数进行链式求导，以确定所述第二模型的第二模型参数的目标梯度值计算公式；
计算模块，用于基于第二模型的第二模型参数的目标梯度值计算公式、所述目标中间结果、以及所述第二模型的第二训练数据，计算所述第二模型的第二模型参数的目标梯度值；
训练模块，用于基于所述第二模型参数的目标梯度值、以及与所述第二模型和所述第一模型均对应的预设学习率，确定所述第二模型的新模型参数，并采用所述新模型参数更新所述第二模型参数，以对所述第二模型进行训练；
其中，所述目标中间结果为所述第一参与方基于所述第一回归结果、所述第二回归结果、所述第一训练数据的标签数据、以及预设函数，确定所述第一模型参数更新过程中的中间结果，并基于所述第一模型参数的目标梯度值计算公式、所述标签数据以及所述中间结果，确定出的所述第一模型参数更新过程中的结果；
其中，所述预设函数用于在目标矩阵中目标元素值小于1的情况下，将所述目标元素值更新为1，在所述目标元素值大于等于1的情况下，将所述目标元素值更新为0，以得到所述中间结果，所述目标矩阵为所述第一回归结果与所述第二回归结果的和与所述标签数据进行点乘后得到的矩阵。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的联邦模型训练方法的步骤。
10.一种联邦模型训练设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的联邦模型训练方法的步骤。
CN202110693782.1A 2021-06-22 2021-06-22 联邦模型训练方法、装置、可读存储介质及设备 Active CN113536667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110693782.1A CN113536667B (zh) 2021-06-22 2021-06-22 联邦模型训练方法、装置、可读存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693782.1A CN113536667B (zh) 2021-06-22 2021-06-22 联邦模型训练方法、装置、可读存储介质及设备

Publications (2)

Publication Number Publication Date
CN113536667A CN113536667A (zh) 2021-10-22
CN113536667B true CN113536667B (zh) 2024-03-01

Family

ID=78096454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693782.1A Active CN113536667B (zh) 2021-06-22 2021-06-22 联邦模型训练方法、装置、可读存储介质及设备

Country Status (1)

Country Link
CN (1) CN113536667B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4203386A1 (en) * 2021-12-21 2023-06-28 Siemens Aktiengesellschaft Decentralized computing unit

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255444A (zh) * 2018-08-10 2019-01-22 深圳前海微众银行股份有限公司 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109325584A (zh) * 2018-08-10 2019-02-12 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110288094A (zh) * 2019-06-10 2019-09-27 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法及装置
CN110851785A (zh) * 2019-11-14 2020-02-28 深圳前海微众银行股份有限公司 纵向联邦学习优化方法、装置、设备及存储介质
CN110865628A (zh) * 2019-10-25 2020-03-06 清华大学深圳国际研究生院 基于工况数据的新能源汽车电控系统故障预测方法
CN111178524A (zh) * 2019-12-24 2020-05-19 中国平安人寿保险股份有限公司 基于联邦学习的数据处理方法、装置、设备及介质
CN111738361A (zh) * 2020-07-31 2020-10-02 支付宝(杭州)信息技术有限公司 业务模型的联合训练方法及装置
CN112000988A (zh) * 2020-08-28 2020-11-27 深圳前海微众银行股份有限公司 因子分解机回归模型构建方法、设备及可读存储介质
CN112052960A (zh) * 2020-09-07 2020-12-08 深圳前海微众银行股份有限公司 纵向联邦建模方法、装置、设备及计算机可读存储介质
CN112347500A (zh) * 2021-01-11 2021-02-09 腾讯科技（深圳）有限公司 分布式系统的机器学习方法、装置、系统、设备及存储介质
CN112508203A (zh) * 2021-02-08 2021-03-16 同盾控股有限公司 一种联邦数据聚类方法、装置、计算机设备及存储介质
WO2021083276A1 (zh) * 2019-10-29 2021-05-06 深圳前海微众银行股份有限公司 横向联邦和纵向联邦联合方法、装置、设备及介质
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN112861165A (zh) * 2021-03-17 2021-05-28 深圳前海微众银行股份有限公司 模型参数更新方法、装置、设备、存储介质及程序产品
CN112949866A (zh) * 2021-03-25 2021-06-11 深圳前海微众银行股份有限公司 泊松回归模型的训练方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936960B1 (en) * 2019-08-09 2021-03-02 Advanced New Technologies Co., Ltd. Determining model parameters using secret sharing

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325584A (zh) * 2018-08-10 2019-02-12 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN109255444A (zh) * 2018-08-10 2019-01-22 深圳前海微众银行股份有限公司 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110288094A (zh) * 2019-06-10 2019-09-27 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法及装置
CN110865628A (zh) * 2019-10-25 2020-03-06 清华大学深圳国际研究生院 基于工况数据的新能源汽车电控系统故障预测方法
WO2021083276A1 (zh) * 2019-10-29 2021-05-06 深圳前海微众银行股份有限公司 横向联邦和纵向联邦联合方法、装置、设备及介质
CN110851785A (zh) * 2019-11-14 2020-02-28 深圳前海微众银行股份有限公司 纵向联邦学习优化方法、装置、设备及存储介质
CN111178524A (zh) * 2019-12-24 2020-05-19 中国平安人寿保险股份有限公司 基于联邦学习的数据处理方法、装置、设备及介质
CN111738361A (zh) * 2020-07-31 2020-10-02 支付宝(杭州)信息技术有限公司 业务模型的联合训练方法及装置
CN112000988A (zh) * 2020-08-28 2020-11-27 深圳前海微众银行股份有限公司 因子分解机回归模型构建方法、设备及可读存储介质
CN112052960A (zh) * 2020-09-07 2020-12-08 深圳前海微众银行股份有限公司 纵向联邦建模方法、装置、设备及计算机可读存储介质
CN112347500A (zh) * 2021-01-11 2021-02-09 腾讯科技（深圳）有限公司 分布式系统的机器学习方法、装置、系统、设备及存储介质
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN112508203A (zh) * 2021-02-08 2021-03-16 同盾控股有限公司 一种联邦数据聚类方法、装置、计算机设备及存储介质
CN112861165A (zh) * 2021-03-17 2021-05-28 深圳前海微众银行股份有限公司 模型参数更新方法、装置、设备、存储介质及程序产品
CN112949866A (zh) * 2021-03-25 2021-06-11 深圳前海微众银行股份有限公司 泊松回归模型的训练方法、装置、电子设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Chen Zhang等.A survey on federated learning.Knowledge-Based Systems.2021,1-11. *
Li Li等.A review of applications in federated learning.Computers & Industrial Engineering.2020,1-15. *
Shiqiang Wang等.Adaptive Federated Learning in Resource Constrained Edge Computing Systems.IEEE Journal on Selected Areas in Communications.2019,1205 - 1221. *
基于Logistic回归的数据分类问题研究;邹晓辉;;智能计算机与应用(第06期);139-143 *
邹晓辉.基于Logistic回归的数据分类问题研究.智能计算机与应用.2016,(06),142-143+146. *
郝志峰.数据科学与数学建模.华中科技大学出版社,2019,107-108. *

Also Published As

Publication number Publication date
CN113536667A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN112562741B (zh) 一种基于点积自注意力卷积神经网络的歌声检测方法
Macêdo et al. Enhancing batch normalized convolutional networks using displaced rectifier linear units: A systematic comparative study
Niimi Deep learning for credit card data analysis
CN111882426B (zh) 业务风险分类器训练方法、装置、设备及存储介质
US20210090547A1 (en) Small-footprint flow-based models for raw audio
Oune et al. Latent map Gaussian processes for mixed variable metamodeling
Ngufor et al. Extreme logistic regression
Baggenstoss Uniform manifold sampling (UMS): Sampling the maximum entropy pdf
CN113536667B (zh) 联邦模型训练方法、装置、可读存储介质及设备
Shin et al. Physics-informed variational inference for uncertainty quantification of stochastic differential equations
Ma et al. A novel approach to minimal reservoir computing
Yu et al. Diffusion-based data augmentation for nuclei image segmentation
Coşkun et al. Credit risk analysis using boosting methods
Ye et al. A multi-attribute controllable generative model for histopathology image synthesis
CN115374863A (zh) 样本生成方法、装置、存储介质和设备
Zhao et al. Pareto-based many-objective convolutional neural networks
Barak et al. Improving Deep Learning Forecast using Variational AutoEncoders
Bittner et al. Private speech classification with secure multiparty computation
Zhang et al. Data Leakage with Label Reconstruction in Distributed Learning Environments
Boutaib et al. Path classification by stochastic linear recurrent neural networks
Chen et al. Edgevit: Efficient visual modeling for edge computing
Fuchs et al. Graph augmentation for neural networks using matching-graphs
CN116010804B (zh) 基于深度学习与知识迁移的物联网设备小样本识别方法
de Almeida et al. Feature importance analysis of non-coding dna/rna sequences based on machine learning approaches
Zhu et al. An Improved Hybrid Model for Nonlinear Regression with Missing Values Using Deep Quasi‐Linear Kernel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant