CN113902122A - 联邦模型协同训练方法、装置、计算机设备及存储介质 - Google Patents
联邦模型协同训练方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113902122A CN113902122A CN202110989877.8A CN202110989877A CN113902122A CN 113902122 A CN113902122 A CN 113902122A CN 202110989877 A CN202110989877 A CN 202110989877A CN 113902122 A CN113902122 A CN 113902122A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- data
- federal
- data servers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 215
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002776 aggregation Effects 0.000 claims abstract description 15
- 238000004220 aggregation Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 19
- 210000002569 neuron Anatomy 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000000644 propagated effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 9
- 238000010801 machine learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了联邦模型协同训练方法、装置、计算机设备及存储介质。所述方法包括：构建全局共享的联邦模型；将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；判断所述联邦模型的精度是否符合要求；若不符合要求，则获取来自多个数据服务器上传的训练参数；对多个所述训练参数进行聚合操作，以得到操作结果；根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。通过实施本发明实施例的方法可实现训练过程的稳定性高，且训练速率高。
Description
技术领域
本发明涉及计算机，更具体地说是指联邦模型协同训练方法、装置、计算机设备及存储介质。
背景技术
现实生活中，除了少数巨头公司能够支撑人工智能技术的实现，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据保护，陆续出台相关政策，数据在安全合规的前提下自由流动，成了大势所趋；在用户和企业角度下，商业公司所拥有的数据往往都有巨大的潜在价值。两个公司甚至公司间的部门都要考虑利益的交换，往往这些机构不会提供各自数据与其他公司做与单的聚合，导致即使在同一个公司内，数据也往往以孤岛形式出现。基于以上不足以支撑实现、不允许粗暴交换、不愿意贡献价值三点，导致了现在大量存在的数据孤岛，以及隐私保护问题，多纬度数据之间无法相互依存，在进行补贴兑付时并不能从多个维度进行分析。
为了能从多个维度对补贴兑付进行补充，现有的技术是将多方机构的数据分别上传至总服务器，进行联合建模，根据建立所得的模型进行分析，但是在进行模型训练时如果出现网络连接不稳定，容易出现学习超时和异常退出，不稳定性高，且在总服务器上会占用大量的计算资源和时间，训练速率低。
因此，有必要设计一种新的方法，实现训练过程的稳定性高，且训练速率高。
发明内容
本发明的目的在于克服现有技术的缺陷，提供联邦模型协同训练方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：联邦模型协同训练方法，包括：
构建全局共享的联邦模型；
将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；
判断所述联邦模型的精度是否符合要求；
若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数；
对多个所述训练参数进行聚合操作，以得到操作结果；
根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
其进一步技术方案为：所述联邦模型包括输入层、隐藏层以及输出层，所述输入层包括28*28个神经元，隐藏层有12个神经元，输出层有10个神经元。
其进一步技术方案为：所述联邦模型的训练迭代次数为20次，步长为0.01，且所述联邦模型的损失函数为交叉熵损失函数，采用随机梯度下降法通过误差反向传播，以计算所述联邦模型的参数更新值。
其进一步技术方案为：所述将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数，包括：
将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传参数，以更新模型的训练参数。
其进一步技术方案为：所述全同态加密四元组包括KeyGen密钥生成函数、Enc加密函数、Dec解密函数以及Eval评估函数。
其进一步技术方案为：所述对多个所述训练参数进行聚合操作，以得到操作结果，包括：
对所述训练参数进行累加和加权平均，并设置初始乖离率，以得到操作结果。
本发明还提供了联邦模型协同训练装置，包括：
模型构建单元，用于构建全局共享的联邦模型；
下发单元，用于将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；
判断单元，用于判断所述联邦模型的精度是否符合要求；
参数获取单元，用于若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数；
聚合单元，用于对多个所述训练参数进行聚合操作，以得到操作结果；
更新单元，用于根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
其进一步技术方案为：所述下发单元，用于将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传训练参数，以更新模型的训练参数。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过在服务器上构建全局共享的联邦模型，并将联邦模型下发至多个数据服务器进行训练，采用联邦机器学习的方式可使得训练稳定性高，且将多个数据服务器训练所得的参数脱敏后上传至服务器进行聚合操作，更新联邦模型的参数，进行训练过程的迭代直至联邦模型的精度符合要求，分成多个数据服务器进行训练，可提高训练速率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的联邦模型协同训练方法的应用场景示意图；
图2为本发明实施例提供的联邦模型协同训练方法的流程示意图；
图3为本发明实施例提供的联邦模型协同训练装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的联邦模型协同训练方法的应用场景示意图。图2为本发明实施例提供的联邦模型协同训练方法的示意性流程图。该联邦模型协同训练方法应用于服务器中。该服务器主要执行联邦模型的构建以及多方数据服务器上传的参数的聚合操作，更新联邦模型的参数，多方数据服务器则执行联邦模型的训练，不同数据服务器携带的本地数据不同，比如数据服务器A是区县数据服务器，数据服务器B是企业数据服务器；数据服务器C是政策数据服务器，不同数据服务器从不同的角度对联邦模型进行训练，以通过数字化手段统计企业兑付补贴详情，并进行联邦机器学习建立共享模型分析补贴兑付问题，并从区县纬度、企业维度、政策的维度全方位清晰呈现数据内容。
图2是本发明实施例提供的联邦模型协同训练方法的流程示意图。如图2所示，该方法包括以下步骤S110至S170。
S110、构建全局共享的联邦模型。
在本实施例中，联邦模型是指用于后续采用不同数据进行训练的联邦机器学习网络。
具体地，所述联邦模型包括输入层、隐藏层以及输出层，所述输入层包括28*28个神经元，隐藏层有12个神经元，输出层有10个神经元。
在本实施例中，所述联邦模型的训练迭代次数为20次，步长为0.01，且所述联邦模型的损失函数为交叉熵损失函数，采用SGD(随机梯度下降，Stochastic GradientDescent)法通过误差反向传播，以计算所述联邦模型的参数更新值。
S120、将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
在本实施例中，训练参数是人为通过经验判断设定，后通过训练更新。
区县、企业、政策等数据服务器提供具有相同数据结构的数据协同训练共享的机器学习模型即所述联邦模型。
所述联邦模型的训练迭代次数为20次，步长为0.01，且所述联邦模型的损失函数为交叉熵损失函数，采用随机梯度下降法通过误差反向传播，以计算所述联邦模型的参数更新值。
具体地，将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传，以更新模型的训练参数。
所述全同态加密为四元组，包括KeyGen密钥生成函数、Enc加密函数、Dec解密函数以及Eval评估函数。
各个数据服务器在同意参与模型的训练后从服务器处下载联邦模型，联邦模型训练开始前，数据服务器以1:7的比例将本地数据分为测试数据和训练数据，并在本地开始联邦模型的训练，当损失函数值小于预期设置值时训练结束。训练结束后，各个数据服务器通过FHE(全同态加密，Fully Homomorphic Encryption)的方式上传参数。
S130、判断所述联邦模型的精度是否符合要求；
如果训练后的联邦模型的精度满足要求，则不再进行更新参数和迭代。
S140、若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数。
在本实施例中，训练参数是通过多个数据服务器在本地脱敏后上传至服务器。
S150、对多个所述训练参数进行聚合操作，以得到操作结果。
在本实施例中，操作结果是指根据训练参数进行处理后得到的联邦模型的参数更新值。
具体地，对所述训练参数进行累加和加权平均，并设置初始乖离率，以得到操作结果。
服务器对汇总的参数进行累加并进行加权平均，初始乖离率设置为0，得到的参数为本次更新的联邦模型的参数，也就是利用得到的参数更新联邦模型，以形成新的联邦模型，损失函数值较小的数据服务器的乖离率值增大，反之减小。以此为循环，服务器与各个数据服务器进行多次训练，直到得到最终的联邦模型，也就是精度符合要求的联邦模型。
S160、根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
具体是利用得到参数更新联邦模型的参数。
S170、若所述联邦模型的精度符合要求，则利用联邦模型进行补贴兑付情况的分析。
联邦模型聚焦全市所有企业政策补贴情况，使用联邦学习框架，从各个数据持有方获得脱敏后的本地训练模型，通过数字化手段统计企业兑付补贴详情并进行联邦机器学习建立共享的模型分析补贴兑付问题，并从区县纬度、企业维度、政策的维度全方位清晰呈现数据内容。
联邦模型的联邦学习过程中“训练可暂停”，如果发生多方之间的网络异常造成超时，待网络恢复正常后，联邦学习模型可从上次的断点开始继续训练，而避免重新开始。且将训练过程下发至不同的数据服务器进行训练，可以减少在总服务器上会占用的计算资源和时间，且采用联邦机器学习可以使得训练过程的稳定性高，分成多个数据服务器进行训练，多个数据服务器可同时执行，以此提高训练速率。
采用训练好的联邦模型对补贴兑付情况的分析进行分析时，可充分调研政府对企服务和全周期治理模式，全程跟进企业生命周期，以呈现企业常态运行情况、精准预警研判风险、高效应对处置突发事件的要求，探索应用场景，接入实时企业兑现数据，包括兑付情况、个人兑付情况、等；接入动态“亲清在线”平台数据，包括政策兑付数据、行政许可数据，服务驾驶舱全景应用场景，充分且实时掌握全市企业数据，作为政府精细化社会治理提供数据分析研判的基础，为企业提供更高效、更便捷、更优质的服务，不断完善城市治理现代化数字系统解决方案。
上述的联邦模型协同训练方法，通过在服务器上构建全局共享的联邦模型，并将联邦模型下发至多个数据服务器进行训练，采用联邦机器学习的方式可使得训练稳定性高，且将多个数据服务器训练所得的参数脱敏后上传至服务器进行聚合操作，更新联邦模型的参数，进行训练过程的迭代直至联邦模型的精度符合要求，分成多个数据服务器进行训练，可提高训练速率。
图3是本发明实施例提供的一种联邦模型协同训练装置300的示意性框图。如图3所示，对应于以上联邦模型协同训练方法，本发明还提供一种联邦模型协同训练装置300。该联邦模型协同训练装置300包括用于执行上述联邦模型协同训练方法的单元，该装置可以被配置于服务器中。具体地，请参阅图3，该联邦模型协同训练装置300包括模型构建单元301、下发单元302、判断单元303、参数获取单元304、聚合单元305、更新单元306以及分析单元307。
模型构建单元301，用于构建全局共享的联邦模型；下发单元302，用于将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；判断单元303，用于判断所述联邦模型的精度是否符合要求；参数获取单元304，用于若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数；聚合单元305，用于对多个所述训练参数进行聚合操作，以得到操作结果；更新单元306，用于根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。分析单元307，用于若所述联邦模型的精度符合要求，则利用联邦模型进行补贴兑付情况的分析。
在一实施例中，所述下发单元302，用于将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传参数，以更新训练参数。
在一实施例中，所述聚合单元305，用于对所述训练参数进行累加和加权平均，并设置初始乖离率，以得到操作结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述联邦模型协同训练装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述联邦模型协同训练装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种联邦模型协同训练方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种联邦模型协同训练方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
构建全局共享的联邦模型；将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；判断所述联邦模型的精度是否符合要求；若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数；对多个所述训练参数进行聚合操作，以得到操作结果；根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
其中，所述联邦模型包括输入层、隐藏层以及输出层，所述输入层包括28*28个神经元，隐藏层有12个神经元，输出层有10个神经元。
所述联邦模型的训练迭代次数为20次，步长为0.01，且所述联邦模型的损失函数为交叉熵损失函数，采用随机梯度下降法通过误差反向传播，以计算所述联邦模型的参数更新值。
在一实施例中，处理器502在实现所述将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数步骤时，具体实现如下步骤：
将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传参数，以更新模型训练参数。
其中，所述全同态加密为四元组，包括KeyGen密钥生成函数、Enc加密函数、Dec解密函数以及Eval评估函数。
在一实施例中，处理器502在实现所述对多个所述训练参数进行聚合操作，以得到操作结果步骤时，具体实现如下步骤：
对所述训练参数进行累加和加权平均，并设置初始乖离率，以得到操作结果。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
构建全局共享的联邦模型；将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；判断所述联邦模型的精度是否符合要求；若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数；对多个所述训练参数进行聚合操作，以得到操作结果；根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
其中，所述联邦模型包括输入层、隐藏层以及输出层，所述输入层包括28*28个神经元，隐藏层有12个神经元，输出层有10个神经元。
所述联邦模型的训练迭代次数为20次，步长为0.01，且所述联邦模型的损失函数为交叉熵损失函数，采用随机梯度下降法通过误差反向传播，以计算所述联邦模型的参数更新值。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数步骤时，具体实现如下步骤：
将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传参数，以更新模型的训练参数。
其中，所述全同态加密为四元组，包括KeyGen密钥生成函数、Enc加密函数、Dec解密函数以及Eval评估函数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对多个所述训练参数进行聚合操作，以得到操作结果步骤时，具体实现如下步骤：
对所述训练参数进行累加和加权平均，并设置初始乖离率，以得到操作结果。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.联邦模型协同训练方法，其特征在于，包括：
构建全局共享的联邦模型；
将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；
判断所述联邦模型的精度是否符合要求；
若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数；
对多个所述训练参数进行聚合操作，以得到操作结果；
根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
2.根据权利要求1所述的联邦模型协同训练方法，其特征在于，所述联邦模型包括输入层、隐藏层以及输出层，所述输入层包括28*28个神经元，隐藏层有12个神经元，输出层有10个神经元。
3.根据权利要求1所述的联邦模型协同训练方法，其特征在于，所述联邦模型的训练迭代次数为20次，步长为0.01，且所述联邦模型的损失函数为交叉熵损失函数，采用随机梯度下降法通过误差反向传播，以计算所述联邦模型的参数更新值。
4.根据权利要求1所述的联邦模型协同训练方法，其特征在于，所述将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数，包括：
将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传训练参数，以更新模型的训练参数。
5.根据权利要求4所述的全同态加密方法，所述四元组包括KeyGen密钥生成函数、Enc加密函数、Dec解密函数以及Eval评估函数。
6.根据权利要求1所述的联邦模型协同训练方法，其特征在于，所述对多个所述训练参数进行聚合操作，以得到操作结果，包括：
对所述训练参数进行累加和加权平均，并设置初始乖离率，以得到操作结果。
7.联邦模型协同训练装置，其特征在于，包括：
模型构建单元，用于构建全局共享的联邦模型；
下发单元，用于将所述联邦模型下发至同意参与模型训练的多个数据服务器，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数；
判断单元，用于判断所述联邦模型的精度是否符合要求；
参数获取单元，用于若所述联邦模型的精度不符合要求，则获取来自多个数据服务器上传的训练参数；
聚合单元，用于对多个所述训练参数进行聚合操作，以得到操作结果；
更新单元，用于根据所述操作结果更新所述联邦模型，并执行所述将所述联邦模型下发至同意参与模型训练的多个数据服务器中，以由数据服务器依据本地数据进行所述联邦模型的训练，以得到训练参数。
8.根据权利要求7所述的联邦模型协同训练装置，其特征在于，所述下发单元，用于将所述联邦模型下发至同意参与模型训练的多个数据服务器，数据服务器将本地数据分为测试数据和训练数据，并利用训练数据在本地进行所述联邦模型的训练，当损失函数值小于预期设置值时停止所述联邦模型的训练，数据服务器通过全同态加密的方式上传训练参数，以更新模型训练参数。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110989877.8A CN113902122A (zh) | 2021-08-26 | 2021-08-26 | 联邦模型协同训练方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110989877.8A CN113902122A (zh) | 2021-08-26 | 2021-08-26 | 联邦模型协同训练方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113902122A true CN113902122A (zh) | 2022-01-07 |
Family
ID=79188083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110989877.8A Pending CN113902122A (zh) | 2021-08-26 | 2021-08-26 | 联邦模型协同训练方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902122A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742235A (zh) * | 2022-04-15 | 2022-07-12 | 中国电信股份有限公司 | 联邦学习方法、数据分析模型训练方法及装置、存储介质 |
| CN114819182A (zh) * | 2022-04-15 | 2022-07-29 | 支付宝(杭州)信息技术有限公司 | 用于经由多个数据拥有方训练模型的方法、装置及系统 |
| CN115131171A (zh) * | 2022-01-18 | 2022-09-30 | 杭州安脉盛智能技术有限公司 | 储能电站运行监测模型的训练方法及储能电站的监控系统 |
| CN115828022A (zh) * | 2023-02-21 | 2023-03-21 | 中国电子科技集团公司第十五研究所 | 一种数据识别方法、联邦训练模型、装置和设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443063A (zh) * | 2019-06-26 | 2019-11-12 | 电子科技大学 | 自适性保护隐私的联邦深度学习的方法 |
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| US20200050951A1 (en) * | 2018-08-09 | 2020-02-13 | International Business Machines Corporation | Collaborative distributed machine learning |
| CN111600707A (zh) * | 2020-05-15 | 2020-08-28 | 华南师范大学 | 一种在隐私保护下的去中心化联邦机器学习方法 |
| CN111738775A (zh) * | 2020-07-03 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 一种用户支付意愿预测模型的训练方法及系统 |
| CN112862011A (zh) * | 2021-03-31 | 2021-05-28 | 中国工商银行股份有限公司 | 基于联邦学习的模型训练方法、装置及联邦学习系统 |
| CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
| CN113159289A (zh) * | 2021-04-26 | 2021-07-23 | 平安科技（深圳）有限公司 | 基于神经网络的联邦模型的训练方法、装置及计算机设备 |
| CN113269359A (zh) * | 2021-05-20 | 2021-08-17 | 深圳易财信息技术有限公司 | 用户财务状况预测方法、设备、介质及计算机程序产品 |
-
2021
- 2021-08-26 CN CN202110989877.8A patent/CN113902122A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200050951A1 (en) * | 2018-08-09 | 2020-02-13 | International Business Machines Corporation | Collaborative distributed machine learning |
| CN110443063A (zh) * | 2019-06-26 | 2019-11-12 | 电子科技大学 | 自适性保护隐私的联邦深度学习的方法 |
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| CN111600707A (zh) * | 2020-05-15 | 2020-08-28 | 华南师范大学 | 一种在隐私保护下的去中心化联邦机器学习方法 |
| CN111738775A (zh) * | 2020-07-03 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 一种用户支付意愿预测模型的训练方法及系统 |
| CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
| CN112862011A (zh) * | 2021-03-31 | 2021-05-28 | 中国工商银行股份有限公司 | 基于联邦学习的模型训练方法、装置及联邦学习系统 |
| CN113159289A (zh) * | 2021-04-26 | 2021-07-23 | 平安科技（深圳）有限公司 | 基于神经网络的联邦模型的训练方法、装置及计算机设备 |
| CN113269359A (zh) * | 2021-05-20 | 2021-08-17 | 深圳易财信息技术有限公司 | 用户财务状况预测方法、设备、介质及计算机程序产品 |
Non-Patent Citations (2)
| Title |
|---|
| 何雯等: "基于联邦学习的企业数据共享探讨", 《信息与电脑(理论版)》 * |
| 刘扬: "面向联邦学习的共享数据湖建设探讨", 《网络安全和信息化》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131171A (zh) * | 2022-01-18 | 2022-09-30 | 杭州安脉盛智能技术有限公司 | 储能电站运行监测模型的训练方法及储能电站的监控系统 |
| CN114742235A (zh) * | 2022-04-15 | 2022-07-12 | 中国电信股份有限公司 | 联邦学习方法、数据分析模型训练方法及装置、存储介质 |
| CN114819182A (zh) * | 2022-04-15 | 2022-07-29 | 支付宝(杭州)信息技术有限公司 | 用于经由多个数据拥有方训练模型的方法、装置及系统 |
| CN114819182B (zh) * | 2022-04-15 | 2024-05-31 | 支付宝(杭州)信息技术有限公司 | 用于经由多个数据拥有方训练模型的方法、装置及系统 |
| CN115828022A (zh) * | 2023-02-21 | 2023-03-21 | 中国电子科技集团公司第十五研究所 | 一种数据识别方法、联邦训练模型、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113902122A (zh) | 联邦模型协同训练方法、装置、计算机设备及存储介质 | |
| CN113469373B (zh) | 基于联邦学习的模型训练方法、系统、设备及存储介质 | |
| US11074514B2 (en) | Confidence intervals for anomalies in computer log data | |
| CN114297722A (zh) | 一种基于区块链的隐私保护异步联邦共享方法及系统 | |
| CN112632013A (zh) | 一种基于联邦学习的数据安全可信共享方法和装置 | |
| KR101989330B1 (ko) | 데이터 처리 애플리케이션의 검사 | |
| WO2022218231A1 (zh) | 联合更新业务模型的方法及装置 | |
| CN109242250A (zh) | 一种基于模糊熵权法与云模型的用户行为可信度检测方法 | |
| CN107483292B (zh) | 用于云平台的动态监控方法 | |
| US20240176906A1 (en) | Methods, apparatuses, and systems for collaboratively updating model by multiple parties for implementing privacy protection | |
| EP3811239B1 (en) | Metric-based content editing system | |
| Arouj et al. | Towards energy-aware federated learning on battery-powered clients | |
| WO2017071369A1 (zh) | 一种预测用户离网的方法和设备 | |
| CN113112032A (zh) | 基于联邦学习的航班延误预测系统及方法 | |
| US20190220924A1 (en) | Method and device for determining key variable in model | |
| US20090240476A1 (en) | Method and device for forecasting computational needs of an application | |
| Robinson | Exploring the relationship between simulation model accuracy and complexity | |
| CN113626866A (zh) | 一种面向联邦学习的本地化差分隐私保护方法、系统、计算机设备及存储介质 | |
| CN118211268A (zh) | 基于扩散模型的异构联邦学习隐私保护方法及系统 | |
| CN111080235A (zh) | 数据处理方法、装置、电子设备及计算机可读介质 | |
| CN113761070A (zh) | 区块链情报数据共享激励方法、系统、设备和介质 | |
| WO2023109246A1 (zh) | 一种面向断点隐私保护的方法、装置、设备及介质 | |
| CN116384502B (zh) | 联邦学习中参与方价值贡献计算方法、装置、设备及介质 | |
| CN117033997A (zh) | 数据切分方法、装置、电子设备和介质 | |
| Shi et al. | Analysis and research of the campus network user's behavior based on k-means clustering algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220107 |