CN113627085B - 横向联邦学习建模优化方法、设备、介质 - Google Patents
横向联邦学习建模优化方法、设备、介质 Download PDFInfo
- Publication number
- CN113627085B CN113627085B CN202110962524.9A CN202110962524A CN113627085B CN 113627085 B CN113627085 B CN 113627085B CN 202110962524 A CN202110962524 A CN 202110962524A CN 113627085 B CN113627085 B CN 113627085B
- Authority
- CN
- China
- Prior art keywords
- model
- local
- passport
- embedded
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 106
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种横向联邦学习建模优化方法、设备、介质及程序产品，所述横向联邦学习建模优化方法包括：获取第一本地训练样本和护照嵌入样本数据，依据具备护照嵌入模块的本地私有模型和本地共享模型，将第一本地训练样本和护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签；基于第一输出预测标签对应的模型损失，迭代更新本地私有模型和本地共享模型；将迭代更新后的本地共享模型发送至横向联邦服务器，以供横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型；接收横向联邦服务器发送的全局共享模型，并依据全局共享模型，优化本地私有模型，得到目标私有模型。本申请解决了横向联邦学习建模效率低的技术问题。
Description
技术领域
本申请涉及金融科技（Fintech）的人工智能技术领域，尤其涉及一种横向联邦学习建模优化方法、设备、介质。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术（如分布式、人工智能等）应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着计算机软件和人工智能、大数据云服务应用的不断发展，隐私保护是联邦学习中的一个重要问题，如何寻找到一个可以保护隐私并且不影响模型准确率和效率的方法是急迫的需求，目前，横向联邦学习建模过程中通常利用同态加密以及多方安全计算等隐私保护技术来保护数据隐私，多方安全计算涉及到复杂的密码学操作，因此通信和计算开销都较大，影响横向联邦学习建模的效率，而同态加密的计算开销同样极大，进而会导致横向联邦学习建模的效率较低，所以，现有的横向联邦学习的效率较低。
发明内容
本申请的主要目的在于提供一种横向联邦学习建模优化方法、设备、介质及程序产品，旨在解决现有技术中横向联邦学习效率低的技术问题。
为实现上述目的，本申请提供一种横向联邦学习建模优化方法，应用于参与方设备，所述横向联邦学习建模优化方法包括：
获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签；
基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型；
将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型；
接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型。
本申请还提供一种横向联邦学习建模优化装置，所述横向联邦学习建模优化装置为虚拟装置，且所述横向联邦学习建模优化装置应用于参与方设备，所述横向联邦学习建模优化装置包括：
映射模块，用于获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签；
迭代更新模块，用于基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型；
发送模块，用于将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型；
优化模块，用于接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型。
本申请还提供一种横向联邦学习建模优化设备，所述横向联邦学习建模优化设备为实体设备，所述横向联邦学习建模优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述横向联邦学习建模优化方法的程序，所述横向联邦学习建模优化方法的程序被处理器执行时可实现如上述的横向联邦学习建模优化方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现横向联邦学习建模优化方法的程序，所述横向联邦学习建模优化方法的程序被处理器执行时实现如上述的横向联邦学习建模优化方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的横向联邦学习建模优化方法的步骤。
本申请提供了一种横向联邦学习建模优化方法、设备、介质及程序产品，相比于现有技术采用的依据同态加密或者多方安全计算等隐私保护技术进行横向联邦学习建模的技术手段，本申请首先获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签，进而基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型，进而将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型，进而接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型，其中，由于本地私有模型中具备护照嵌入模块，可将为模型的输出嵌入护照，而本地共享模型又是基于具备护照嵌入的第一输出预测标签进行更新的，进而即使不对本地共享模型进行加密，横向联邦服务器在没有护照嵌入样本数据的情况下，仅仅根据本地共享模型无法反推出参与方的本地私有模型的模型参数以及本地样本，进而保护了横向联邦学习中参与方的数据隐私，同时在本申请所实施的整个横向联邦学习建模中，不涉及数据的加密，节约了横向联邦学习建模过程中大量的计算开销，进而克服了现有技术中横向联邦学习建模过程中通常利用同态加密以及多方安全计算等隐私保护技术来保护数据隐私，多方安全计算涉及到复杂的密码学操作，因此通信和计算开销都较大，影响横向联邦学习建模的效率，而同态加密的计算开销同样极大，进而会导致横向联邦学习建模的效率较低，所以，提升了横向联邦学习建模的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请横向联邦学习建模优化方法第一实施例的流程示意图；
图2为本申请横向联邦学习建模优化方法中所述护照嵌入模块的示意图；
图3为本申请横向联邦学习建模优化方法中横向联邦学习建模优化的系统架构图；
图4为本申请横向联邦学习建模优化方法第二实施例的流程示意图；
图5为本申请横向联邦学习建模优化方法中联邦训练的流程示意图；
图6为本申请实施例中横向联邦学习建模优化方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种横向联邦学习建模优化方法，在本申请横向联邦学习建模优化方法的第一实施例中，参照图1，所述横向联邦学习建模优化方法包括：
步骤S10，获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签；
在本实施例中，需要说明的是，所述横向联邦学习建模优化方法应用于横向联邦学习的联邦参与方对应的参与方设备，且每一联邦参与方均具备各自的护照嵌入模块的本地私有模型、本地共享模型以及各自的护照嵌入样本数据，其中，所述本地私有模型至少包括一护照嵌入模块，各联邦参与方的护照嵌入样本数据可设置不同，且由于本地私有模型不需要发送至横向联邦服务器进行聚合，进而各联邦参与方的本地私有模型可设置为不同的异构模型，例如，联邦参与方A的本地私有模型可以为图像特征提取模型，联邦参与方B的本地私有模型可以为声音特征提取模型，联邦参与方C的本地私有模型可以为文本特征提取模型等。
另外地，需要说明的是，所述护照嵌入样本数据可以为图片、文字或者特定的编码矩阵等，所述本地私有模型至少包括一护照嵌入模块，用于将所述护照嵌入样本数据嵌入所述第一本地训练样本在所述本地私有模型中的模型中间输出，并与所述第一本地训练样本共同转换为模型最终输出，其中，所述模型中间输出为本地私有模型的中间网络层的输出，所述模型最终输出为本地私有模型的输出层产生的输出，例如，假设本地私有模型包括一输入层、10层隐藏层和一输出层，则输入层的输出与10个隐藏层的输出均可作为所述模型中间输出。
获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签，具体地，获取第一本地训练样本和护照嵌入样本数据，进而将所述第一本地训练样本通过所述本地私有模型的输入层输入所述本地私有模型，以及将所述护照嵌入样本数据通过护照嵌入模块输入所述本地私有模型，并执行模型预测，得到具备护照嵌入的第一中间输出结果，进而将所述第一中间输出结果输入所述本地共享模型执行模型预测，将所述第一中间输出结果映射为具备护照嵌入的第一输出预测标签。
其中，所述依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签的步骤包括：
步骤S11，依据所述具备护照嵌入模块的本地私有模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一中间输出结果；
在本实施例中，需要说明的是，所述本地私有模型至少包括一护照嵌入模块，所述护照嵌入样本数据至少包括一所述护照嵌入模块对应的护照嵌入样本。
依据所述具备护照嵌入模块的本地私有模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一中间输出结果，具体地，将所述第一本地训练样本输入本地私有模型后，通过所述本地私有模型中各护照嵌入模块，分别将各所述护照嵌入模块对应的护照嵌入样本嵌入所述第一本地训练样本对应的模型中间输出，并在模型预测执行完毕后，由所述本地私有模型的输出层输出具有护照嵌入的第一中间输出结果。
其中，所述护照嵌入样本数据至少包括一护照嵌入样本，所述依据所述具备护照嵌入模块的本地私有模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一中间输出结果的步骤包括：
步骤S111，基于所述本地私有模型中处于所述护照嵌入模块之前的第一部分神经网络，将所述第一本地训练样本转换为本地模型中间输出；
在本实施例中，需要说明的是，所述护照嵌入样本的数量与本地私有模型中护照嵌入模块的数量相对应，一所述本地私有模型对应一护照嵌入模块。所述本地私有模型为神经网络模型，所述第一部分神经网络为所述本地私有模型中产生作为所述护照嵌入模块的输入的模型中间输出所对应的部分神经网络，可用于将第一本地训练样本转换为所述护照嵌入模块的部分输入。
基于所述本地私有模型中处于所述护照嵌入模块之前的第一部分神经网络，将所述第一本地训练样本转换为本地模型中间输出，具体地，在将所述第一本地训练样本输入所述本地私有模型之后，通过所述本地私有模型中处于所述护照嵌入模块之前的第一部分本地私有模型，将所述第一本地训练样本映射为本地模型中间输出。
步骤S112，基于所述护照嵌入模块，将所述本地模型中间输出和所述护照嵌入样本共同转换为护照嵌入模块输出；
在本实施例中，需要说明的是，所述护照嵌入样本数据至少包括一护照嵌入模块对应的护照嵌入样本。
基于所述护照嵌入模块，将所述本地模型中间输出和所述护照嵌入样本共同转换为护照嵌入模块输出，具体地，基于所述护照嵌入模块，通过将所述护照嵌入样本嵌入所述护照嵌入模块针对于所述本地模型中间输出生成的嵌入模块输出，获得护照嵌入模块输出。
其中，所述护照嵌入模块包括护照嵌入层和模型神经网络层，
所述基于所述护照嵌入模块，将所述本地模型中间输出和所述护照嵌入样本共同转换为护照嵌入模块输出的步骤包括：
步骤A10，基于所述模型神经网络层，将所述本地模型中间输出线性变换为待嵌入网络层输出，以及将所述护照嵌入样本线性变换为待嵌入护照；
步骤A20，基于所述护照嵌入层中的护照函数，将所述待嵌入护照转换为护照嵌入参数；
步骤A30，基于所述待嵌入网络层输出和所述护照嵌入参数，生成所述护照嵌入模块输出。
在本实施例中，具体地，将所述本地模型中间输出和所述护照嵌入样本输入模型神经网络层，将所述本地模型中间输出变换为待嵌入网络层输出，以及将所述护照嵌入样本变换为待嵌入护照，进而依据所述护照嵌入层中的护照函数，将所述待嵌入护照转换为护照嵌入参数，其中，所述护照嵌入参数包括第一护照嵌入参数和第二护照嵌入参数，进而通过计算所述待嵌入网络层输出与第一护照嵌入参数之间的目标乘积，以及所述目标乘积与所述第二护照嵌入参数之间的和，对所述待嵌入网络层输出进行护照嵌入，生成所述护照嵌入模块输出，如图2所示为所述护照嵌入模块的示意图，其中，为所述本地模型中间输出，/>为所述护照嵌入样本，/>为所述待嵌入网络层输出，/>为所述待嵌入护照，/>为所述第一护照嵌入参数，/>为所述第二护照嵌入参数，/>为所述护照嵌入模块输出。
步骤S113，基于所述本地私有模型中处于所述护照嵌入模块之后的第二部分神经网络，将所述护照嵌入模块输出转换为所述具备护照嵌入的第一中间输出结果。
在本实施例中，需要说明的是，所述第二部分神经网络为所述本地私有模型中将所述护照嵌入模块的输出作为输入的部分神经网络，可用于将所述护照嵌入模块的输出转换为所述第一中间输出结果。
基于所述本地私有模型中处于所述护照嵌入模块之后的第二部分神经网络，将所述护照嵌入模块输出转换为所述具备护照嵌入的第一中间输出结果，具体地，通过所述本地私有模型中处于所述护照嵌入模块之后的第二部分神经网络，将所述护照嵌入模块输出映射为所述第一中间输出结果。
另外地，需要说明的是，所述第一部分神经网络和所述第二部分神经网络中还可以设置护照嵌入模块，且护照嵌入模块的工作过程可参照步骤S111至步骤S113中的内容，在此不再赘述。
步骤S12，依据所述本地共享模型，将所述具备护照嵌入的第一中间输出结果映射为所述第一输出预测标签。
在本实施例中，依据所述本地共享模型，将所述具备护照嵌入的第一中间输出结果映射为所述第一输出预测标签，具体地，将所述具备护照嵌入的第一中间输出结果输入所述本地共享模型中执行模型预测，将所述具备护照嵌入的第一中间输出结果映射为本地共享模型最终输出，进而通过预设激活函数，将所述本地共享模型最终输出转换为所述第一输出预测标签。
步骤S20，基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型；
在本实施例中，基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型，具体地，获取第一本地训练样本对应的预设真实标签，并依据所述预设真实标签和所述第一输出预测标签，计算模型损失，进而依据所述模型损失计算的模型梯度，更新所述本地私有模型和所述本地共享模型，进而判断所述本地私有模型和所述本地共享模型是否达到预设模型迭代更新次数，若所述本地私有模型和所述本地共享模型达到预设模型迭代更新次数，提取当前的本地共享模型作为迭代更新后的本地共享模型，若所述本地私有模型和所述本地共享模型未达到预设模型迭代更新次数，则返回执行步骤：获取第一本地训练样本和护照嵌入样本数据。
步骤S30，将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型；
在本实施例中，需要说明的是，所述联邦参与方的数量至少为2。
将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型，具体地，将迭代更新后的本地共享模型发送至横向联邦服务器，进而所述横向联邦服务器依据预设聚合规则，对各联邦参与方发送的迭代更新后的本地共享模型进行聚合，得到全局共享模型，其中，所述预设聚合规则包括加权求和以及加权平均等。
步骤S40，接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型。
在本实施例中，接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型，具体地，接收所述横向联邦服务器反馈的全局共享模型，并获取第二本地训练样本和护照嵌入样本数据，将所述第二本地训练样本和所述护照嵌入样本数据依次通过迭代优化的本地私有模型和固定的全局共享模型，得到具备护照嵌入的第二输出预测标签，进而依据所述第二输出预测标签计算的模型损失，通过反向传播的方式优化本地私有模型，得到目标私有模型，其中，由于全局共享模型为横向联邦学习的全局模型，进而全局共享模型输出第二输出预测标签为全局预测标签，而本地私有模型的输出为全局共享模型的输入，通过反向传播的方式优化本地私有模型，可促使本地私有模型的输出逐渐向全局共享模型对应的全局输入靠拢，也即，促使本地私有模型学习到各联邦参与方的全局样本的分布，进而实现了在不对数据进行加密或者差分的情况下，促使各联邦参与方的本地私有模型间接进行横向联邦的目的，虽然增加了额外的模型训练开销，但是额外增加的模型训练开销远远小于基于同态加密或者差分隐私进行横向联邦学习建模所增加的计算开销和通信开销，所以，提升了横向联邦学习建模的效率。
另外地，对于通常的横向联邦学习框架，由于各联邦参与方的本地模型需要在横向联邦服务器处聚合为全局模型，进而各联邦参与方的本地模型的结构应当相同，也即，现有的横向联邦学习只能局限于在各联邦参与方的同构模型的基础上进行，横向联邦学习建模的局限性较大，而由于本申请实施例中进行聚合为本地共享模型，各本地共享模型需要为同构模型，但是各联邦参与方的本地私有模型并不直接参与模型聚合，进而各本地私有模型可以为异构模型，也即不同联邦参与方的本地私有模型之间可以互为异构模型，进而实现了在异构模型的基础上进行横向联邦学习建模的目的，降低了横向联邦学习建模的局限性。
如图3所示为本申请实施例中横向联邦学习建模优化的系统架构图，其中，客户端1、客户端2以及客户端N均为联邦参与方，服务器端为横向联邦服务器，X1、X2和XN均为各联邦参与方的本地训练样本，例如第一本地训练样本等，私有神经网络、/>以及/>为各联邦参与方的本地私有模型，共享神经网络/>、/>以及/>为各联邦参与方的本地共享模型，/>、/>以及/>为各联邦参与方的本地共享模型生成的输出预测标签，/>、/>以及/>为各联邦参与方的本地训练样本对应的真实标签，/>、/>以及/>为基于各联邦参与方的输出预测标签计算的模型损失，护照嵌入网络模型为所述护照嵌入模块，所述本地私有模型为嵌入了护照嵌入模块的神经网络模型，所述本地共享模型为不包括护照嵌入模块的神经网络模型，/>为所述全局共享模型，其中，所述全局共享模型由各联邦参与方的本地共享模型进行聚合得到。
本申请实施例提供了一种横向联邦学习建模优化方法，相比于现有技术采用的依据同态加密或者多方安全计算等隐私保护技术进行横向联邦学习建模的技术手段，本申请实施例首先获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签，进而基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型，进而将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型，进而接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型，其中，由于本地私有模型中具备护照嵌入模块，可将为模型的输出嵌入护照，而本地共享模型又是基于具备护照嵌入的第一输出预测标签进行更新的，进而即使不对本地共享模型进行加密，横向联邦服务器在没有护照嵌入样本数据的情况下，仅仅根据本地共享模型无法反推出参与方的本地私有模型的模型参数以及本地样本，进而保护了横向联邦学习中参与方的数据隐私，同时在本申请所实施的整个横向联邦学习建模中，不涉及数据的加密，节约了横向联邦学习建模过程中大量的计算开销，进而克服了现有技术中横向联邦学习建模过程中通常利用同态加密以及多方安全计算等隐私保护技术来保护数据隐私，多方安全计算涉及到复杂的密码学操作，因此通信和计算开销都较大，影响横向联邦学习建模的效率，而同态加密的计算开销同样极大，进而会导致横向联邦学习建模的效率较低，所以，提升了横向联邦学习建模的效率。
进一步地，参照图4，基于本申请第一实施例，在本申请另一实施例中，
所述依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型的步骤包括：
步骤S41，将所述本地共享模型更新为所述全局共享模型；
在本实施例中，将所述本地共享模型替换更新为所述全局共享模型。
步骤A42，在固定所述全局共享模型的条件下，迭代训练优化所述本地私有模型，得到训练优化后的本地私有模型；
在本实施例中，在固定所述全局共享模型的条件下，迭代训练优化所述本地私有模型，得到训练优化后的本地私有模型，具体地，获取第二本地训练样本，进而依据所述本地私有模型和所述全局共享模型，将所述第二本地训练样本和所述护照嵌入样本数据转换为具备护照嵌入的第二输出预测标签，依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下，反向传播更新所述本地私有模型，若本地私有模型满足预设更新结束条件，则将反向传播更新后的本地私有模型作为训练优化后的本地私有模型，若本地私有模型不满足预设更新结束条件，则返回执行步骤：获取第二本地训练样本，其中，所述预设更新结束条件包括迭代预设更新次数阈值以及达到预设学习率阈值等，固定所述全局共享模型的目的在于不对全局共享模型进行更新，使得全局共享模型在迭代训练本地私有模型时保持不变，以供本地私有模型持续地利用全局共享模型间接地进行横向联邦学习。
其中，所述在固定所述全局共享模型的条件下，迭代训练优化所述本地私有模型，得到训练优化后的本地私有模型的步骤包括：
步骤S421，获取第二本地训练样本，并依据所述本地私有模型，将所述第二本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第二中间输出结果；
在本实施例中，需要说明的是，所述护照嵌入样本数据至少包括一护照嵌入模块对应的护照嵌入样本。
获取第二本地训练样本，并依据所述本地私有模型，将所述第二本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第二中间输出结果，具体地，将所述第二本地训练样本输入本地私有模型后，通过所述本地私有模型中各护照嵌入模块，分别将各所述护照嵌入模块对应的护照嵌入样本嵌入所述第二本地训练样本对应的第二模型中间输出，并在模型预测执行完毕后，由所述本地私有模型的输出层输出具有护照嵌入的第二中间输出结果。
步骤S422，依据所述全局共享模型，将所述第二中间输出结果映射为第二输出预测标签；
在本实施例中，依据所述全局共享模型，将所述第二中间输出结果映射为第二输出预测标签，具体地，将所述具备护照嵌入的第二中间输出结果输入所述本地共享模型中执行模型预测，将所述具备护照嵌入的第二中间输出结果映射为第二本地共享模型最终输出，进而通过预设激活函数，将所述第二本地共享模型最终输出转换为所述第二输出预测标签。
步骤S423，依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下迭代优化所述本地私有模型。
在本实施例中，依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下迭代优化所述本地私有模型，具体地，依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下，反向传播更新所述本地私有模型，并判断反向传播更新后的本地私有模型是否满足预设迭代优化结束条件，若反向传播更新后的本地私有模型满足预设更新结束条件，则将反向传播更新的本地私有模型作为迭代优化的本地私有模型，若反向传播更新后的本地私有模型不满足预设更新结束条件，则返回执行步骤:获取第二本地训练样本，其中，所述预设更新结束条件包括达到预设迭代次数阈值和/或达到预设学习率阈值等。
其中，所述依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下迭代优化所述本地私有模型的步骤包括：
步骤B10，依据所述第二输出预测标签计算的模型损失和固定的全局共享模型，计算所述本地私有模型对应的模型更新梯度；
在本实施例中，依据所述第二输出预测标签计算的模型损失和固定的全局共享模型，计算所述本地私有模型对应的模型更新梯度，具体地，基于所述第二输出预测标签与所述第二本地训练样本对应的真实标签之间的差异度，计算所述第二输出预测标签对应模型损失，进而依据所述第二输出预测标签计算的模型损失，在固定全局共享模型的条件下，通过反向传播计算针对于所述本地私有模型对应的模型更新梯度。
步骤B20，依据所述模型更新梯度，更新所述本地私有模型，并判断更新后的本地私有模型是否满足预设更新结束条件；
在本实施例中，依据所述模型更新梯度，更新所述本地私有模型，并判断更新后的本地私有模型是否满足预设更新结束条件，具体地，依据所述模型更新梯度，更新所述本地私有模型，并保持所述全局共享模型不变，进而判断更新后的本地私有模型是否满足预设更新结束条件。
步骤B30，若满足，则将所述更新后的本地私有模型作为所述训练优化后的本地私有模型；
步骤B40，若不满足，则返回执行步骤：获取第二本地训练样本。
在本实施例中，若更新后的本地私有模型满足预设更新结束条件，则判定所述本地私有模型更新结束，并将所述更新后的本地私有模型作为所述训练优化后的本地私有模型，若更新后的本地私有模型不满足预设更新结束条件，则返回执行步骤：获取第二本地训练样本。
步骤S43，若所述训练优化后的本地私有模型与所述全局共享模型均满足预设联邦训练结束条件，则将所述训练优化后的本地私有模型作为所述目标私有模型；
步骤S44，若所述训练优化后的本地私有模型与所述全局共享模型未均满足预设联邦训练结束条件，则返回执行步骤：获取第一本地训练样本和护照嵌入样本数据。
在本实施例中，需要说明的是，所述预设联邦训练结束条件包括迭代最大迭代次数阈值以及模型损失收敛等。
如图5所示为本申请实施例中联邦训练的流程示意图，其中，私有神经网络为所述本地私有模型，私有护照Pn为所述护照嵌入样本数据，护照嵌入网络模块为所述护照嵌入模块，共享神经网络为所述本地共享模型，/>为本地训练样本，包括第一本地训练样本和第二本地训练样本，/>为输出预测标签，包括第一输出预测标签和第二输出预测标签，/>为本地训练样本对应的真实标签，/>为模型损失，服务器为所述横向联邦服务器。
本申请实施例提供了一种横向联邦学习建模优化方法，也即将所述本地共享模型更新为所述全局共享模型，进而在固定所述全局共享模型的条件下，迭代训练优化所述本地私有模型，得到训练优化后的本地私有模型，进而若所述训练优化后的本地私有模型与所述全局共享模型均满足预设联邦训练结束条件，则将所述训练优化后的本地私有模型作为所述目标私有模型，进而若所述训练优化后的本地私有模型与所述全局共享模型未均满足预设联邦训练结束条件，则返回执行步骤：获取第一本地训练样本和护照嵌入样本数据，其中，由于全局共享模型为横向联邦学习的全局模型，本地私有模型的输出为全局共享模型的输入，进而在固定所述全局共享模型的条件下优化本地私有模型，可促使本地私有模型的输出逐渐向全局共享模型对应的全局输入靠拢，也即，可促使本地私有模型学习到各联邦参与方的全局样本的分布，进而实现了在不对数据进行加密或者差分的情况下，促使各联邦参与方的本地私有模型间接进行横向联邦的目的，虽然增加了额外的模型训练开销，但是额外增加的模型训练开销远远小于基于同态加密或者差分隐私进行横向联邦学习建模所增加的计算开销和通信开销，所以，提升了横向联邦学习建模的效率。
参照图6，图6是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图6所示，该横向联邦学习建模优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该横向联邦学习建模优化设备还可以包括矩形用户接口、网络接口、摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏（Display）、输入子模块比如键盘（Keyboard），可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
本领域技术人员可以理解，图6中示出的横向联邦学习建模优化设备结构并不构成对横向联邦学习建模优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及横向联邦学习建模优化程序。操作系统是管理和控制横向联邦学习建模优化设备硬件和软件资源的程序，支持横向联邦学习建模优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与横向联邦学习建模优化系统中其它硬件和软件之间通信。
在图6所示的横向联邦学习建模优化设备中，处理器1001用于执行存储器1005中存储的横向联邦学习建模优化程序，实现上述任一项所述的横向联邦学习建模优化方法的步骤。
本申请横向联邦学习建模优化设备具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种横向联邦学习建模优化装置，所述横向联邦学习建模优化装置应用于参与方设备，所述横向联邦学习建模优化装置包括：
映射模块，用于获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签；
迭代更新模块，用于基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型；
发送模块，用于将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型；
优化模块，用于接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型。
可选地，所述映射模块还用于：
依据所述具备护照嵌入模块的本地私有模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一中间输出结果；
依据所述本地共享模型，将所述具备护照嵌入的第一中间输出结果映射为所述第一输出预测标签。
可选地，所述护照嵌入样本数据至少包括一护照嵌入样本，所述映射模块还用于：
基于所述本地私有模型中处于所述护照嵌入模块之前的第一部分神经网络，将所述第一本地训练样本转换为本地模型中间输出；
基于所述护照嵌入模块，将所述本地模型中间输出和所述护照嵌入样本共同转换为护照嵌入模块输出；
基于所述本地私有模型中处于所述护照嵌入模块之后的第二部分神经网络，将所述护照嵌入模块输出转换为所述具备护照嵌入的第一中间输出结果。
可选地，所述护照嵌入模块包括护照嵌入层和模型神经网络层，所述映射模块还用于：
基于所述模型神经网络层，将所述本地模型中间输出线性变换为待嵌入网络层输出，以及将所述护照嵌入样本线性变换为待嵌入护照；
基于所述护照嵌入层中的护照函数，将所述待嵌入护照转换为护照嵌入参数；
基于所述待嵌入网络层输出和所述护照嵌入参数，生成所述护照嵌入模块输出。
可选地，所述优化模块还用于：
将所述本地共享模型更新为所述全局共享模型；
在固定所述全局共享模型的条件下，迭代训练优化所述本地私有模型，得到训练优化后的本地私有模型；
若所述训练优化后的本地私有模型与所述全局共享模型均满足预设联邦训练结束条件，则将所述训练优化后的本地私有模型作为所述目标私有模型；
若所述训练优化后的本地私有模型与所述全局共享模型未均满足预设联邦训练结束条件，则返回执行步骤：获取第一本地训练样本和护照嵌入样本数据。
可选地，所述优化模块还用于：
获取第二本地训练样本，并依据所述本地私有模型，将所述第二本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第二中间输出结果；
依据所述全局共享模型，将所述第二中间输出结果映射为第二输出预测标签；
依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下迭代优化所述本地私有模型。
可选地，所述优化模块还用于：
依据所述第二输出预测标签计算的模型损失和固定的全局共享模型，计算所述本地私有模型对应的模型更新梯度；
依据所述模型更新梯度，更新所述本地私有模型，并判断更新后的本地私有模型是否满足预设更新结束条件；
若满足，则将所述更新后的本地私有模型作为所述训练优化后的本地私有模型；
若不满足，则返回执行步骤：获取第二本地训练样本。
本申请横向联邦学习建模优化装置的具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的横向联邦学习建模优化方法的步骤。
本申请可读存储介质具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的横向联邦学习建模优化方法的步骤。
本申请计算机程序产品具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (9)
1.一种横向联邦学习建模优化方法，应用于参与方设备，其特征在于，所述横向联邦学习建模优化方法包括：
获取第一本地训练样本和护照嵌入样本数据，并依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签；
基于所述第一输出预测标签对应的模型损失，迭代更新所述本地私有模型和所述本地共享模型；
将迭代更新后的本地共享模型发送至横向联邦服务器，以供所述横向联邦服务器对各联邦参与方发送的本地共享模型进行聚合，得到全局共享模型；
接收所述横向联邦服务器发送的全局共享模型，并依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型。
2.如权利要求1所述横向联邦学习建模优化方法，其特征在于，所述依据具备护照嵌入模块的本地私有模型和本地共享模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一输出预测标签的步骤包括：
依据所述具备护照嵌入模块的本地私有模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一中间输出结果；
依据所述本地共享模型，将所述具备护照嵌入的第一中间输出结果映射为所述第一输出预测标签。
3.如权利要求2所述横向联邦学习建模优化方法，其特征在于，所述护照嵌入样本数据至少包括一护照嵌入样本，
所述依据所述具备护照嵌入模块的本地私有模型，将所述第一本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第一中间输出结果的步骤包括：
基于所述本地私有模型中处于所述护照嵌入模块之前的第一部分神经网络，将所述第一本地训练样本转换为本地模型中间输出；
基于所述护照嵌入模块，将所述本地模型中间输出和所述护照嵌入样本共同转换为护照嵌入模块输出；
基于所述本地私有模型中处于所述护照嵌入模块之后的第二部分神经网络，将所述护照嵌入模块输出转换为所述具备护照嵌入的第一中间输出结果。
4.如权利要求3所述联邦学习建模优化方法，其特征在于，所述护照嵌入模块包括护照嵌入层和模型神经网络层，
所述基于所述护照嵌入模块，将所述本地模型中间输出和所述护照嵌入样本共同转换为护照嵌入模块输出的步骤包括：
基于所述模型神经网络层，将所述本地模型中间输出线性变换为待嵌入网络层输出，以及将所述护照嵌入样本线性变换为待嵌入护照；
基于所述护照嵌入层中的护照函数，将所述待嵌入护照转换为护照嵌入参数；
基于所述待嵌入网络层输出和所述护照嵌入参数，生成所述护照嵌入模块输出。
5.如权利要求1所述横向联邦学习建模优化方法，其特征在于，所述依据所述全局共享模型，优化所述本地私有模型，得到目标私有模型的步骤包括：
将所述本地共享模型更新为所述全局共享模型；
在固定所述全局共享模型的条件下，迭代训练优化所述本地私有模型，得到训练优化后的本地私有模型；
若所述训练优化后的本地私有模型与所述全局共享模型均满足预设联邦训练结束条件，则将所述训练优化后的本地私有模型作为所述目标私有模型；
若所述训练优化后的本地私有模型与所述全局共享模型未均满足预设联邦训练结束条件，则返回执行步骤：获取第一本地训练样本和护照嵌入样本数据。
6.如权利要求5所述横向联邦学习建模优化方法，其特征在于，所述在固定所述全局共享模型的条件下，迭代训练优化所述本地私有模型，得到训练优化后的本地私有模型的步骤包括：
获取第二本地训练样本，并依据所述本地私有模型，将所述第二本地训练样本和所述护照嵌入样本数据映射为具备护照嵌入的第二中间输出结果；
依据所述全局共享模型，将所述第二中间输出结果映射为第二输出预测标签；
依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下迭代优化所述本地私有模型。
7.如权利要求6所述横向联邦学习建模优化方法，其特征在于，所述依据所述第二输出预测标签计算的模型损失，在固定所述全局共享模型的条件下迭代优化所述本地私有模型的步骤包括：
依据所述第二输出预测标签计算的模型损失和固定的全局共享模型，计算所述本地私有模型对应的模型更新梯度；
依据所述模型更新梯度，更新所述本地私有模型，并判断更新后的本地私有模型是否满足预设更新结束条件；
若满足，则将所述更新后的本地私有模型作为所述训练优化后的本地私有模型；
若不满足，则返回执行步骤：获取第二本地训练样本。
8.一种横向联邦学习建模优化设备，其特征在于，所述横向联邦学习建模优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述横向联邦学习建模优化方法的程序，
所述存储器用于存储实现横向联邦学习建模优化方法的程序；
所述处理器用于执行实现所述横向联邦学习建模优化方法的程序，以实现如权利要求1至7中任一项所述横向联邦学习建模优化方法的步骤。
9.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现横向联邦学习建模优化方法的程序，所述实现横向联邦学习建模优化方法的程序被处理器执行以实现如权利要求1至7中任一项所述横向联邦学习建模优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962524.9A CN113627085B (zh) | 2021-08-20 | 2021-08-20 | 横向联邦学习建模优化方法、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962524.9A CN113627085B (zh) | 2021-08-20 | 2021-08-20 | 横向联邦学习建模优化方法、设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113627085A CN113627085A (zh) | 2021-11-09 |
| CN113627085B true CN113627085B (zh) | 2024-01-09 |
Family
ID=78387041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110962524.9A Active CN113627085B (zh) | 2021-08-20 | 2021-08-20 | 横向联邦学习建模优化方法、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113627085B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092769B (zh) * | 2022-01-20 | 2022-06-14 | 国网江西省电力有限公司电力科学研究院 | 基于联邦学习的变电站多场景巡检分析方法 |
| CN114331388B (zh) * | 2022-02-08 | 2022-08-09 | 湖南红普创新科技发展有限公司 | 基于联邦学习的薪资计算方法、装置、设备及存储介质 |
| CN114169339B (zh) * | 2022-02-14 | 2022-05-17 | 北京智源人工智能研究院 | 医疗命名实体识别模型训练方法、识别方法及联邦学习系统 |
| CN114676845A (zh) * | 2022-02-18 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 模型训练方法和装置、业务预测方法和装置 |
| CN114710330B (zh) * | 2022-03-22 | 2023-01-24 | 华东师范大学 | 一种基于异构分层联邦学习的异常检测方法 |
| CN114997420B (zh) * | 2022-08-03 | 2022-12-16 | 广州中平智能科技有限公司 | 基于分割学习和差分隐私融合的联邦学习系统和方法 |
| CN115775010B (zh) * | 2022-11-23 | 2024-03-19 | 国网江苏省电力有限公司信息通信分公司 | 基于横向联邦学习的电力数据共享方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019086553A1 (en) * | 2017-10-31 | 2019-05-09 | Twinpeek | Privacy management |
| CN111275207A (zh) * | 2020-02-10 | 2020-06-12 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
| EP3736744A1 (fr) * | 2019-05-07 | 2020-11-11 | Idemia Identity & Security France | Procédé de classification sécurisée d'une donnée d'entrée au moyen d'un réseau de neurones à convolution |
| CN112926073A (zh) * | 2021-03-17 | 2021-06-08 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、设备、介质及计算机程序产品 |
| CN112966168A (zh) * | 2021-03-11 | 2021-06-15 | 支付宝(杭州)信息技术有限公司 | 实现隐私保护的业务标签查询方法及装置 |
-
2021
- 2021-08-20 CN CN202110962524.9A patent/CN113627085B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019086553A1 (en) * | 2017-10-31 | 2019-05-09 | Twinpeek | Privacy management |
| EP3736744A1 (fr) * | 2019-05-07 | 2020-11-11 | Idemia Identity & Security France | Procédé de classification sécurisée d'une donnée d'entrée au moyen d'un réseau de neurones à convolution |
| CN111275207A (zh) * | 2020-02-10 | 2020-06-12 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
| CN112966168A (zh) * | 2021-03-11 | 2021-06-15 | 支付宝(杭州)信息技术有限公司 | 实现隐私保护的业务标签查询方法及装置 |
| CN112926073A (zh) * | 2021-03-17 | 2021-06-08 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、设备、介质及计算机程序产品 |
Non-Patent Citations (4)
| Title |
|---|
| AI与人的新三定律;杨强;智能系统学报;第15卷(第4期);811-817 * |
| DeepIPR Deep Neural Network Ownership Verification With Passports;Lixin Fan;IEEE;6122-6139 * |
| WAFFLE:Watermarking in Federated Learning;BuseG.A.Tekgul;arXiv;第1-14页 * |
| 基于秘密分享和梯度选择的高效安全联邦学习;董业;侯炜;陈小军;曾帅;;计算机研究与发展(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113627085A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113627085B (zh) | 横向联邦学习建模优化方法、设备、介质 | |
| CN110782042B (zh) | 横向联邦和纵向联邦联合方法、装置、设备及介质 | |
| CN110245510B (zh) | 用于预测信息的方法和装置 | |
| Nguyen et al. | Federated learning for internet of things: A comprehensive survey | |
| CN109284313B (zh) | 基于半监督学习的联邦建模方法、设备及可读存储介质 | |
| CN110428058B (zh) | 联邦学习模型训练方法、装置、终端设备及存储介质 | |
| CN114091617A (zh) | 联邦学习建模优化方法、电子设备、存储介质及程序产品 | |
| CN111428881A (zh) | 识别模型的训练方法、装置、设备及可读存储介质 | |
| CN113505882B (zh) | 基于联邦神经网络模型的数据处理方法、相关设备及介质 | |
| CN113627086B (zh) | 横向联邦学习建模优化方法、设备、介质及程序产品 | |
| CN111241567A (zh) | 基于秘密共享的纵向联邦学习方法、系统及存储介质 | |
| CN111062493B (zh) | 基于公共数据的纵向联邦方法、装置、设备及介质 | |
| CN112785002A (zh) | 模型构建优化方法、设备、介质及计算机程序产品 | |
| Miao et al. | Federated deep reinforcement learning based secure data sharing for Internet of Things | |
| CN110059623B (zh) | 用于生成信息的方法和装置 | |
| CN113297175A (zh) | 数据处理方法、装置、系统和可读存储介质 | |
| CN111612167A (zh) | 机器学习模型的联合训练方法、装置、设备及存储介质 | |
| CN111652381A (zh) | 数据集贡献度评估方法、装置、设备及可读存储介质 | |
| CN113869533A (zh) | 联邦学习建模优化方法、设备、可读存储介质及程序产品 | |
| CN113792892A (zh) | 联邦学习建模优化方法、设备、可读存储介质及程序产品 | |
| CN114091572A (zh) | 模型训练的方法、装置、数据处理系统及服务器 | |
| CN113505896A (zh) | 纵向联邦学习建模优化方法、设备、介质及程序产品 | |
| CN113722738A (zh) | 数据保护方法、装置、介质及电子设备 | |
| CN112565404A (zh) | 数据处理方法、边缘服务器、中心服务器和介质 | |
| US20210027478A1 (en) | Method and device for determining geometric transformation relation for images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |