CN113516254A - 横向联邦学习建模优化方法、设备、介质及程序产品 - Google Patents
横向联邦学习建模优化方法、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN113516254A CN113516254A CN202110859994.2A CN202110859994A CN113516254A CN 113516254 A CN113516254 A CN 113516254A CN 202110859994 A CN202110859994 A CN 202110859994A CN 113516254 A CN113516254 A CN 113516254A
- Authority
- CN
- China
- Prior art keywords
- model
- local
- global
- sample
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种横向联邦学习建模优化方法、设备、介质及程序产品，应用于第一设备，所述横向联邦学习建模优化方法包括：接收第二设备下发的全局表征映射模型；利用对比学习和全局表征映射模型，优化本地表征映射模型；第二设备利用对比学习和上传的优化后的本地表征映射模型，迭代训练得到目标全局表征映射模型；接收第二设备下发的目标全局表征映射模型，并利用对比学习和目标全局表征映射模型，迭代训练得到目标本地表征映射模型；基于携带样本标签的标签样本，对目标本地表征映射模型对应的样本预测模型进行基于横向联邦学习的模型微调训练优化，得到目标横向联邦预测模型。本申请解决了横向联邦学习建模的应用场景的局限性高的技术问题。
Description
技术领域
本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种横向联邦学习建模优化方法、设备、介质及程序产品。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着计算机软件和人工智能、大数据云服务应用的不断发展，在横向联邦学习场景中，通常需要各参与方拥有大量的具备样本标签的标签样本，进而各参与方即可在本地利用大量的标签样本迭代训练更新本地模型，进而将迭代训练更新后的样本发送至横向联邦服务器进行聚合，即可得到全局模型，但是，当横向联邦学习的参与方的样本中拥有标签的样本的比例较低时，将由于各参与方中可利用进行横向联邦学习的样本较少，无法保证全局模型的精度，所以，当前的横向联邦学习建模方法只能局限于各参与方拥有大量的标签样本的应用场景中，所以，现有的横向联邦学习建模的应用场景的局限性较高。
发明内容
本申请的主要目的在于提供一种横向联邦学习建模优化方法、设备、介质及程序产品，旨在解决现有技术中横向联邦学习建模的应用场景的局限性高的技术问题。
为实现上述目的，本申请提供一种横向联邦学习建模优化方法，所述横向联邦学习建模优化方法应用于第一设备，所述横向联邦学习建模优化方法包括：
接收第二设备下发的全局表征映射模型；
基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型；
基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型。
本申请提供一种横向联邦学习建模优化方法，所述横向联邦学习建模优化方法应用于第二设备，所述横向联邦学习建模优化方法包括：
获取全局表征映射模型，并将所述全局表征映射模型下发至各第一设备，以供所述第一设备基于本地私有样本数据，在所述全局表征映射模型与本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
接收各所述第一设备上传的优化后的本地表征映射模型，并基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
将所述目标全局表征映射模型下发至各所述第一设备，以供所述第一设备基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，并基于所述本地私有训练样本数据中的携带样本标签的标签样本，对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行模型微调训练，得到目标横向联邦预测模型。
本申请还提供一种横向联邦学习建模优化装置，所述横向联邦学习建模优化装置为虚拟装置，且所述横向联邦学习建模优化装置应用于第一设备，所述横向联邦学习建模优化装置包括：
接收模块，用于接收第二设备下发的全局表征映射模型；
对比学习训练模块，用于基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
上传模块，用于将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
对比学习优化模块，用于接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型；
模型微调模块，用于基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型。
本申请还提供一种横向联邦学习建模优化装置，所述横向联邦学习建模优化装置为虚拟装置，且所述横向联邦学习建模优化装置应用于第二设备，所述横向联邦学习建模优化装置包括：
模型下发模块，用于获取全局表征映射模型，并将所述全局表征映射模型下发至各第一设备，以供所述第一设备基于本地私有样本数据，在所述全局表征映射模型与本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
对比学习训练模块，用于接收各所述第一设备上传的优化后的本地表征映射模型，并基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
反馈模块，用于将所述目标全局表征映射模型下发至各所述第一设备，以供所述第一设备基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，并基于所述本地私有训练样本数据中的携带样本标签的标签样本，对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行模型微调训练，得到目标横向联邦预测模型。
本申请还提供一种横向联邦学习建模优化设备，所述横向联邦学习建模优化设备为实体设备，所述横向联邦学习建模优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述横向联邦学习建模优化方法的程序，所述横向联邦学习建模优化方法的程序被处理器执行时可实现如上述的横向联邦学习建模优化方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现横向联邦学习建模优化方法的程序，所述横向联邦学习建模优化方法的程序被处理器执行时实现如上述的横向联邦学习建模优化方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的横向联邦学习建模优化方法的步骤。
本申请提供了一种横向联邦学习建模优化方法、设备、介质及程序产品，相比于现有技术采用的各参与方在本地利用大量的标签样本迭代训练更新本地模型，进而将本迭代训练更新后的样本发送至横向联邦服务器进行聚合，即可得到全局模型的技术手段，本申请首先接收第二设备下发的全局表征映射模型，进而基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型，进而实现了利用对比学习促使本地表征映射模型学习所述全局表征映射模型对应的表征的目的，进而将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，进而可拉近各优化后的表征映射模型输出的表征之间的距离，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，进而可实现拉近全局表征映射模型输出的全局表征与各优化后的本地表征映射模型输出的本地样本表征的目的，所以实现了利用对比学习促使全局表征映射模型学习所有参与方的表征的目的，进而获得利用所有参与方的无标签样本进行联合训练得到的目标全局表征映射模型，进而第一设备接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，即可得到学习到全局表征的目标本地表征映射模型，进而基于所述本地私有训练样本数据中的携带样本标签的标签样本，即可在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型，其中，由于目标特征提取模型已经学习到了各第一设备中的全局样本特征，进而基于少量的携带样本标签的标签样本，对具备所述目标特征提取模型的样本预测模型进行基于横向联邦学习的模型微调训练，即可促使样本预测模型学习到全局样本表征到全局样本标签的映射，进而得到目标横向联邦预测模型，进而实现了利用各横向联邦学习的参与方的无标签样本以及少量的标签样本，构建目标横向联邦预测模型的目的，也即，实现了在横向联邦学习的参与方的样本中拥有标签的样本的比例较低时，构建目标横向联邦预测模型的目的，所以克服了当横向联邦学习的参与方的样本中拥有标签的样本的比例较低时，将由于各参与方中可利用进行横向联邦学习的样本较少，无法保证全局模型的精度，所以，当前的横向联邦学习建模方法只能局限于各参与方拥有大量的标签样本的应用场景中的技术缺陷，降低了横向联邦学习建模的应用场景的局限性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请横向联邦学习建模优化方法第一实施例的流程示意图；
图2为本申请横向联邦学习建模优化方法第二实施例的流程示意图；
图3为本申请横向联邦学习建模优化方法中横向联邦学习建模优化方法的系统框架图；
图4为本申请实施例中横向联邦学习建模优化方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种横向联邦学习建模优化方法，应用于第一设备，在本申请横向联邦学习建模优化方法的第一实施例中，参照图1，所述横向联邦学习建模优化方法包括：
步骤S10，接收第二设备下发的全局表征映射模型；
在本实施例中，需要说明的是，所述第一设备为横向联邦学习的联邦参与方，所述第二设备为横向联邦学习的联邦服务器，其中，所述联邦参与方在本地维护各自的本地表征映射模型，所述联邦服务器维护全局表征映射模型，所述第二设备将全局表征映射模型分别下发至各第一设备，其中，需要说明的是，所述联邦服务器为可信中心节点，可部署除各所述联邦参与方之外的设备上，也可直接部署在某一联邦参与方中。
步骤S20，基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
在本实施例中，基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型，具体地，依据所述全局表征映射模型，将所述本地私有样本数据中各本地私有训练样本映射至预设第一目标表征空间，得到各全局训练样本表征，并依据所述本地表征映射模型，将所述本地私有样本数据中各本地私有训练样本映射至预设第一目标表征空间，得到各本地训练样本表征，进而依据每一所述全局训练样本表征与每一所述本地训练样本表征之间的相似度，计算对比学习损失，进而依据所述对比学习损失计算的模型梯度，优化所述本地表征映射模型，得到优化后的本地表征映射模型。
其中，所述基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型的步骤包括：
步骤S21，在所述本地私有样本数据中提取各本地私有训练样本；
在本实施例中，需要说明的是，每次从所述本地私有样本数据中提取的本地私有训练样本的数量至少为1。
步骤S22，基于所述本地表征映射模型，将各所述本地私有训练样本映射为本地训练样本表征，以及基于所述全局表征映射模型，将各所述本地私有训练样本映射为全局训练样本表征；
在本实施例中，基于所述本地表征映射模型，将各所述本地私有训练样本映射为本地训练样本表征，以及基于所述全局表征映射模型，将各所述本地私有训练样本映射为全局训练样本表征，具体地，将各所述本地私有训练样本分别输入本地表征映射模型，分别将各所述本地私有训练样本映射至预设第一目标表征空间，得到各所述本地私有训练样本对应的本地训练样本表征，并将各所述本地私有训练样本分别输入全局表征映射模型，分别将各所述本地私有训练样本映射至预设第一目标表征空间，得到各所述本地私有训练样本对应的全局训练样本表征，其中，需要说明的是，所有处于所述预设第一目标表征空间的样本表征具备相同的表征维度，而相同的表征维度之间可进行对比计算，例如，5阶张量A与5阶张量B可认为处于同一表征维度，100位的向量C和100位的向量D也可认为处于同一表征维度，所以，表征维度既可以表示为张量的阶数，也可以表示为向量的位数等。
其中，所述本地表征映射模型包括本地特征提取模型和本地表征转换模型，所述全局表征映射模型包括全局特征提取模型和全局表征转换模型，
所述基于所述本地表征映射模型，将各所述本地私有训练样本映射为本地训练样本表征，以及基于所述全局表征映射模型，将各所述本地私有训练样本映射为全局训练样本表征的步骤包括：
步骤S221，基于所述本地特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各本地特征提取样本表征，以及基于所述全局特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各全局特征提取样本表征；
在本实施例中，基于所述本地特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各本地特征提取样本表征，以及基于所述全局特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各全局特征提取样本表征，具体地，基于所述本地特征提取模型，对各所述本地私有训练样本分别进行特征提取，以分别将各所述本地私有训练样本映射至预设第一表征空间，得到各本地特征提取样本表征，并基于所述全局特征提取模型，对各所述本地私有训练样本分别进行特征提取，以分别将各所述本地私有训练样本映射至预设第二表征空间，得到各全局特征提取样本表征，其中，所述预设第一表征空间与预设第二表征空间可以重叠，也可以不重叠。
步骤S222，基于所述本地表征转换模型，分别将各所述本地特征提取样本表征映射至预设第一目标表征空间，得到各所述本地训练样本表征，以及基于所述全局表征转换模型，分别将所述全局特征提取样本表征映射至所述预设第一目标表征空间，得到各所述全局训练样本表征。
在本实施例中，基于所述本地表征转换模型，分别将各所述本地特征提取样本表征映射至预设第一目标表征空间，得到各所述本地训练样本表征，以及基于所述全局表征转换模型，分别将所述全局特征提取样本表征映射至所述预设第一目标表征空间，得到各所述全局训练样本表征，具体地，分别将各所述本地特征提取样本表征输入本地表征转换模型，对各所述本地特征提取样本表征分别进行表征转换，以分别将各所述本地特征提取样本表征由预设第一表征空间映射至预设第一目标表征空间，得到各所述本地训练样本表征，并分别将各所述全局特征提取样本表征输入全局表征转换模型，对各所述全局特征提取样本表征分别进行表征转换，以分别将各所述全局特征提取样本表征由预设第二表征空间映射至预设第一目标表征空间，得到各所述全局训练样本表征。
步骤S23，基于各所述本地训练样本表征与各所述全局训练样本表征两两之间的相似度，计算第一全局对比学习损失；
在本实施例中，基于各所述本地训练样本表征与各所述全局训练样本表征两两之间的相似度，计算第一全局对比学习损失，具体地，在各所述全局训练样本表征中确定每一所述本地训练样本表征对应的正样本表征与各负样本表征，进而依据每一所述本地训练样本表征与对应的正样本表征之间的相似度，以及分别与对应的各负样本表征之间的相似度，计算第一全局对比学习损失，其中，所述依据每一所述本地训练样本表征与对应的正样本表征之间的相似度，以及分别与对应的各负样本表征之间的相似度，计算第一全局对比学习损失的步骤包括：
依据每一所述本地训练样本表征与对应的正样本表征之间的相似度，以及分别与对应的各负样本表征之间的相似度，计算每一所述本地训练样本表征对应的对比学习损失，进而将各所述本地训练样本表征对应的对比学习损失进行累加，得到所述第一全局对比学习损失，其中，计算所述对比学习损失的计算公式如下：
其中，LN为所述对比学习损失，f(x)T为所述本地训练样本表征，f(x+)为所述正样本表征，
为第j个负样本表征，N-1为所述负样本表征的数量，其中，所述对比学习损失可拉近本地训练样本表征与对应的正样本表征之间的距离，以及拉远所述本地训练样本表征与对应的负样本表征之间的距离，进而对于基于对比学习损失优化的本地表征映射模型，可在学习第一设备本地的样本表征的同时，还可以学习到全局表征映射模型对应的全局样本表征，而由于全局表征映射模型是在所有联邦参与方的样本表征的基础上进行优化的，进而实现了促使本地表征映射模型间接学习多个联邦学习参与方中全局的样本表征的目的。
其中，所述在各所述全局训练样本表征中确定每一所述本地训练样本表征对应的正样本表征与各负样本表征的步骤包括：
在各所述全局训练样本表征中查找与所述本地训练样本表征对应同一本地私有训练样本的样本表征作为所述本地训练样本表征对应的正样本表征，进而将各所述全局训练样本表征中除所述正样本表征之外的各其他样本表征作为所述本地训练样本表征对应的各负样本表征。
步骤S24，基于所述第一全局对比学习损失，优化所述本地表征映射模型，得到所述优化后的本地表征映射模型。
在本实施例中，基于所述第一全局对比学习损失，优化所述本地表征映射模型，得到所述优化后的本地表征映射模型，具体地，判断所述第一全局对比学习损失是否收敛，若所述第一全局对比学习损失收敛，则将所述本地表征映射模型作为优化后的本地表征映射模型，若所述第一全局对比学习损失未收敛，则基于所述第一全局对应学习损失计算的模型梯度，更新所述本地表征映射模型，并返回执行步骤：在所述本地私有样本数据中提取各本地私有训练样本。
步骤S30，将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
在本实施例中，将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型，具体地，将所述优化后的本地表征映射模型上传至所述第二设备，进而所述第二设备接收各第一设备发送的优化后的本地表征映射模型，进而第二设备在联邦公有训练样本数据中提取公有训练样本，其中，每次提取公有训练样本的数量至少为1，进而将所述公有训练样本分别输入各所述优化后的本地表征映射模型以及全局表征映射模型，得到各所述优化后的本地表征映射模型输出的第一公有训练样本表征和所述全局表征映射模型输出的第二公有训练样本表征，进而依据各所述第一公有训练样本之间的相似度，计算第二全局对比损失，并依据所述第二公有训练样本分别与各所述第一公有训练样本之间的相似度，计算第三全局对比损失，进而依据所述第二全局对比损失和所述第三全局对比损失，对各所述优化后的本地表征映射模型与所述全局表征映射模型进行更新，以优化所述全局表征映射模型，得到目标全局表征映射模型。
其中，所述依据所述第二全局对比损失和所述第三全局对比损失，对各所述优化后的本地表征映射模型与所述全局表征映射模型进行更新，以优化所述全局表征映射模型，得到目标全局表征映射模型的步骤包括：
判断所述第二全局对比损失和所述第三全局对比损失是否均收敛，若所述第二全局对比损失和所述第三全局对比损失均收敛，则将所述全局表征映射模型作为所述目标全局表征映射模型，若所述第二全局对比损失和所述第三全局对比损失未均收敛，则依据所述第二全局对比损失和所述第三全局对比损失，对各所述优化后的本地表征映射模型与所述全局表征映射模型进行更新，得到更新后的全局表征映射模型，并将更新后的全局表征映射模型下发至各第一设备，以供所述第一设备返回执行步骤：接收第二设备下发的全局表征映射模型。
步骤S40，接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型；
在本实施例中，接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，具体地，接收所述第二设备下发的目标全局表征映射模型，并在所述本地私有训练样本数据提取各目标本地训练样本，其中，从所述本地私有训练样本数据中提取目标本地训练样本的数量至少为1，进而依据所述目标全局表征映射模型，将各所述目标本地训练样本映射至预设第一目标表征空间，得到各目标全局样本表征，并依据所述本地表征映射模型，将各所述目标本地训练样本映射至预设第一目标表征空间，得到各目标本地样本表征，进而依据每一所述目标本地样本表征与每一所述目标全局样本表征之间的相似度，计算第四全局对比损失，进而依据所述第四全局对比损失计算的模型梯度，优化所述本地表征映射模型，得到目标本地表征映射模型，其中，步骤S40的具体实施过程可参照步骤S21至步骤S24中的步骤内容，在此不再赘述。
步骤S50，基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型。
在本实施例中，需要说明的是，所述标签样本在所述本地私有训练样本数据中的样本占比不大于预设样本比例，也即所述本地私有训练样本数据中拥有标签的样本的样本占比不大于预设样本比例，样本占比较低，所述目标本地表征映射模型包括目标特征提取模型和目标表征转换模型。
基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型，具体地，在所述本地私有训练样本数据中提取携带样本标签的标签样本以及所述标签样本对应的训练样本标签，进而依据所述标签样本和对应的训练样本标签，在预设模型微调条件下对具备所述目标特征提取模型的样本预测模型进行迭代训练更新至预设迭代次数，将所述样本预测模型上传至第二设备，进而第二设备接收各第一设备发送的样本预测模型，并对各样本预测模型进行聚合，得到聚合样本预测模型，进而第二设备将所述聚合样本预测模型下发至各第一设备，所述第一设备依据所述聚合样本预测模型，优化本地维护的样本预测模型，得到所述目标横向联邦预测模型，其中，所述预设模型微调条件包括学习率在预设学习率范围内、模型更新步长在预设模型更新步长范围内以及模型迭代训练次数在预设模型迭代次数范围内等，而由于仅仅是对样本预测模型进行模型微调训练，而不是从一个全新的模型进行训练，进而只需少量的标签样本，即可将样本预测模型训练更新为目标横向联邦预测模型。
其中，所述基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型的步骤包括：
步骤S51，基于所述标签样本和所述标签样本对应的训练样本标签，在所述预设模型微调条件下对所述样本预测模型进行迭代训练优化，得到优化后的样本预测模型；
在本实施例中，基于所述标签样本和所述标签样本对应的训练样本标签，在所述预设模型微调条件下对所述样本预测模型进行迭代训练优化，得到优化后的样本预测模型，具体地，将所述标签样本输入所述样本预测模型，对所述标签样本执行模型预测，得到预测样本标签，进而依据所述预测样本标签和所述训练样本标签之间的相似度，计算标签预测损失，进而依据所述标签预测损失计算的模型梯度，在预设模型微调条件下优化所述样本预测模型，并获取所述优化后的样本预测模型的迭代次数，若所述优化后的样本预测模型的迭代次数达到预设迭代次数，则执行步骤：将所述优化后的样本预测模型上传至所述第二设备，若所述优化后的样本预测模型的迭代次数未达到预设迭代次数，则执行步骤：在所述本地私有训练样本数据中提取携带样本标签的标签样本以及所述标签样本对应的训练样本标签，例如，可设置预设迭代次数为500次，则第一设备每将所述样本预测模型在本地迭代训练优化500次，向所述第二设备上传一次所述优化后的样本预测模型，也即进行一次横向联邦。
其中，所述样本预测模型包括目标特征提取模型和分类模型，所述将所述标签样本输入所述样本预测模型，对所述标签样本执行模型预测，得到预测样本标签的步骤包括：
将所述标签样本输入目标特征提取模型，得到所述标签样本对应的目标特征提取表征，进而将所述目标特征提取表征输入分类模型，对所述目标特征提取表征进行分类，以将所述目标特征提取表征映射为分类标签，得到预测样本标签，其中，预测样本标签即为所述分类标签。
步骤S52，将所述优化后的样本预测模型上传至所述第二设备，以供所述第二设备对各所述第一设备发送的优化后的样本预测模型进行聚合，得到聚合样本预测模型；
在本实施例中，将所述优化后的样本预测模型上传至所述第二设备，以供所述第二设备对各所述第一设备发送的优化后的样本预测模型进行聚合，得到聚合样本预测模型，具体地，将所述优化后的样本预测模型上传至所述第二设备，进而所述第二设备接收各第一设备发送的优化后的样本预测模型，并根据预设聚合规则，对各所述优化后的样本预测模型进行聚合，得到聚合样本预测模型，其中，预设聚合规则包括加权平均以及加权求和等。
步骤S53，接收所述第二设备下发的聚合样本预测模型，并依据所述聚合样本预测模型，在所述预设模型微调条件下对所述样本预测模型进行训练优化，得到所述目标横向联邦预测模型。
在本实施例中，接收所述第二设备下发的聚合样本预测模型，并依据所述聚合样本预测模型，在所述预设模型微调条件下对所述样本预测模型进行训练优化，得到所述目标横向联邦预测模型，具体地，接收所述第二设备下发的聚合样本预测模型，并依据所述聚合样本预测模型，在所述预设模型微调条件下对所述样本预测模型进行训练优化，判断训练优化后的样本预测模型是否满足预设迭代训练结束条件，若满足，则将训练优化后的样本预测模型作为目标横向联邦预测模型，若不满足，则返回执行步骤：在所述本地私有训练样本数据中提取携带样本标签的标签样本以及所述标签样本对应的训练样本标签，其中，所述依据所述聚合样本预测模型，在所述预设模型微调条件下对所述样本预测模型进行训练优化的步骤包括：
在预设模型微调条件下将所述样本预测模型直接替换更新为聚合样本预测模型，得到训练优化后的样本预测模型；或者在所述样本预测模型和所述聚合样本预测模型之间进行模型蒸馏，以促使所述样本预测模型学习所述聚合样本预测模型的模型知识，得到训练优化后的样本预测模型；或者在所述样本预测模型和所述聚合样本预测模型之间进行对比学习训练，以促使所述样本预测模型学习所述聚合样本预测模型的模型知识，得到训练优化后的样本预测模型。
本申请实施例提供了一种横向联邦学习建模优化方法，相比于现有技术采用的各参与方在本地利用大量的标签样本迭代训练更新本地模型，进而将本迭代训练更新后的样本发送至横向联邦服务器进行聚合，即可得到全局模型的技术手段，本申请实施例首先接收第二设备下发的全局表征映射模型，进而基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型，进而实现了利用对比学习促使本地表征映射模型学习所述全局表征映射模型对应的表征的目的，进而将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，进而可拉近各优化后的表征映射模型输出的表征之间的距离，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，进而可实现拉近全局表征映射模型输出的全局表征与各优化后的本地表征映射模型输出的本地样本表征的目的，所以实现了利用对比学习促使全局表征映射模型学习所有参与方的表征的目的，进而获得利用所有参与方的无标签样本进行联合训练得到的目标全局表征映射模型，进而第一设备接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，即可得到学习到全局表征的目标本地表征映射模型，进而基于所述本地私有训练样本数据中的携带样本标签的标签样本，即可在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型，其中，由于目标特征提取模型已经学习到了各第一设备中的全局样本特征，进而基于少量的携带样本标签的标签样本，对具备所述目标特征提取模型的样本预测模型进行基于横向联邦学习的模型微调训练，即可促使样本预测模型学习到全局样本表征到全局样本标签的映射，进而得到目标横向联邦预测模型，进而实现了利用各横向联邦学习的参与方的无标签样本以及少量的标签样本，构建目标横向联邦预测模型的目的，也即，实现了在横向联邦学习的参与方的样本中拥有标签的样本的比例较低时，构建目标横向联邦预测模型的目的，所以克服了当横向联邦学习的参与方的样本中拥有标签的样本的比例较低时，将由于各参与方中可利用进行横向联邦学习的样本较少，无法保证全局模型的精度，所以，当前的横向联邦学习建模方法只能局限于各参与方拥有大量的标签样本的应用场景中的技术缺陷，降低了横向联邦学习建模的应用场景的局限性。
进一步地，参照图2，在本申请另一实施例中，所述横向联邦学习建模优化方法应用于第二设备，所述横向联邦学习建模优化方法包括：
步骤A10，获取全局表征映射模型，并将所述全局表征映射模型下发至各第一设备，以供所述第一设备基于本地私有样本数据，在所述全局表征映射模型与本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
在本实施例中，需要说明的是，所述全局表征映射模型可以为第二设备初始化的表示映射模型，也可以为步骤S30中的更新后的全局表征映射模型，其中，所述更新后的全局表征映射模型的获取过程如下：
若所述第二全局对比损失和所述第三全局对比损失未均收敛，则依据所述第二全局对比损失和所述第三全局对比损失，对各所述优化后的本地表征映射模型与所述全局表征映射模型进行更新，得到更新后的全局表征映射模型。
获取全局表征映射模型，并将所述全局表征映射模型下发至各第一设备，以供所述第一设备基于本地私有样本数据，在所述全局表征映射模型与本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型，具体地，获取全局表征映射模型，并将所述全局表征映射模型分别下发至各第一设备，进而第一设备依据所述全局表征映射模型，将所述本地私有样本数据中各本地私有训练样本映射至预设第一目标表征空间，得到各全局训练样本表征，并依据所述本地表征映射模型，将所述本地私有样本数据中各本地私有训练样本映射至预设第一目标表征空间，得到各本地训练样本表征，进而第一设备依据每一所述全局训练样本表征与每一所述本地训练样本表征之间的相似度，计算对比学习损失，进而依据所述对比学习损失计算的模型梯度，优化所述本地表征映射模型，得到优化后的本地表征映射模型，其中，第一设备得到优化后的本地表征映射模型的具体过程可参照步骤S21至步骤S24中的内容，在此不再赘述。
步骤A20，接收各所述第一设备上传的优化后的本地表征映射模型，并基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
在本实施例中，接收各所述第一设备上传的优化后的本地表征映射模型，并基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型，具体地，接收各第一设备发送的优化后的本地表征映射模型，进而在联邦公有训练样本数据中提取公有训练样本，其中，每次提取公有训练样本的数量至少为1，进而将所述公有训练样本分别输入各所述优化后的本地表征映射模型以及全局表征映射模型，得到各所述优化后的本地表征映射模型输出的第一公有训练样本表征和所述全局表征映射模型输出的第二公有训练样本表征，进而依据各所述第一公有训练样本表征之间的相似度，计算第二全局对比损失，并依据所述第二公有训练样本表征分别与各所述第一公有训练样本表征之间的相似度，计算第三全局对比损失，进而依据所述第二全局对比损失和所述第三全局对比损失，对各所述优化后的本地表征映射模型与所述全局表征映射模型进行更新，以优化所述全局表征映射模型，得到目标全局表征映射模型。
其中，所述基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型的步骤包括：
步骤A21，在所述联邦公有训练样本数据中提取各公有训练样本；
再本实施例中，需要说明地是，每次从所述联邦公有训练样本数据中提取的公有训练样本的数量至少为1。
步骤A22，依据各所述优化后的本地表征映射模型，分别将各所述公有训练样本分别映射为分别对应的各第一公有训练样本表征，以及依据所述全局表征映射模型，分别将各所述公有训练样本映射为第二公有训练样本表征；
在本实施例中，依据各所述优化后的本地表征映射模型，分别将各所述公有训练样本分别映射为分别对应的各第一公有训练样本表征，以及依据所述全局表征映射模型，分别将各所述公有训练样本映射为第二公有训练样本表征，具体地，依据每一所述优化后的本地表征映射模型，分别将各所述公有训练样本映射至预设第二目标表征空间，得到每一所述公有训练样本对应的各第一公有训练样本表征，其中，一所述优化后的本地表征映射模型输出一所述公有训练样本对应的第一公有训练样本表征，另外地，依据所述全局表征映射模型，分别将各所述公有训练样本映射至所述预设第二目标表征空间，得到每一所述公有训练样本对应的第二公有训练样本表征，其中，需要说明的是，所有处于所述预设第二目标表征空间的样本表征具备相同的表征维度。
其中，所述优化后的本地表征映射模型包括局部特征提取模型和局部表征转换模型，所述全局表征映射模型包括全局特征提取模型和全局表征转换模型，
所述依据各所述优化后的本地表征映射模型，分别将各所述公有训练样本分别映射为分别对应的各第一公有训练样本表征，以及依据所述全局表征映射模型，分别将各所述公有训练样本映射为第二公有训练样本表征的步骤包括：
步骤A221，基于各所述局部特征提取模型，分别对各所述公有训练样本进行特征提取，得到各所述公有训练样本分别对应的各第一特征提取样本表征，以及基于所述全局特征提取模型，分别对各所述公有训练样本进行特征提取，得到各所述公有训练样本对应的第二特征提取样本表征；
在本实施例中，具体地，对每一所述公有训练样本均执行以下步骤：
基于各所述局部特征提取模型，分别对所述公有训练样本进行特征提取，以分别将所述公有训练样本映射至各所述局部特征提取模型对应的局部表征空间，得到所述公有训练样本对应的各第一特征提取样本表征，另外地，基于所述全局特征提取模型，对所述公有训练样本进行特征提取，以将所述公有训练样本映射至所述全局特征提取模型对应的全局表征空间，得到所述公有训练样本对应的第二特征提取样本表征。
步骤A222，基于各所述局部表征转换模型，分别将各所述第一特征提取样本表征映射至预设第二目标表征空间，得到各所述第一特征提取样本表征分别对应的第一公有训练样本表征，以及基于所述全局表征转换模型，分别将各所述第二特征提取样本表征映射至所述预设第二目标表征空间，得到各所述第二公有训练样本表征。
在本实施例中，具体地，对每一所述第一特征提取表征均执行以下步骤：
将所述第一特征提取表征分别输入各局部表征转换模型，分别对所述第一特征提取表征分别进行表征转换，以分别将所述第一特征提取表征由各局部表征空间映射至预设第二目标表征空间，得到各所述第一特征提取样本表征对应的第一公有训练样本表征；另外地，对每一所述第二特征提取表征均执行以下步骤：
将所述第二特征提取表征输入全局表征转换模型，对所述第二特征提取表征进行表征转换，以将所述第二特征提取表征由全局表征空间映射至预设第二目标表征空间，得到所述第二特征提取表征对应的第二公有训练样本表征。
步骤A23，基于各所述第一公有训练样本表征之间的相似度，计算第二全局对比损失；
在本实施例中，所述第二全局对比损失的计算公式如下：
其中，L1为所述第二全局对比损失，K为所述第一公有训练样本表征的数量，L(zi，zj)为第i个第一公有训练样本表征与第j个第一公用训练样本表征之间的对比学习损失，zi为第i个第一公有训练样本表征，zj为第j个第一公有训练样本表征，其中，L(zi，zj)的计算方式具体可参照步骤S23中的对比学习方式，在此不在赘述。
步骤A24，基于所述第二公有训样本表征分别与各所述第一公有训练样本表征之间的相似度，计算第三全局对比损失；
在本实施例中，所述第三全局对比损失的计算公式如下：
其中，L2为所述第二全局对比损失，K为所述第一公有训练样本表征的数量，L(zi，zg)为第i个第一公有训练样本表征与第二公用训练样本表征之间的对比学习损失，zi为第i个第一公有训练样本表征，zg为所述第二公有训练样本表征，其中，L(zi，zg)的计算方式具体可参照步骤S23中的对比学习方式，在此不在赘述。
步骤A25，依据所述第二全局对比损失和所述第三全局对比损失，迭代更新各所述优化后的本地表征映射模型以及所述全局表征映射模型，以优化所述全局表征映射模型，得到所述目标全局表征映射模型。
在本实施例中，具体地，依据所述第二全局对比损失和所述第三全局对比损失，计算模型总损失，进而判断所述模型总损失是否收敛，若所述模型总损失收敛，则将所述全局表征映射模型作为所述目标全局表征映射模型，若所述模型总损失未收敛，则依据所述模型总损失，分别计算针对于各所述优化后的本地表征映射模型的第一模型梯度，以及计算针对于所述全局表征映射模型的第二模型梯度，进而依据各所述第一模型梯度，分别更新对应的优化后的本地表征映射模型，并依据所述第二模型梯度，更新所述全局表征映射模型，并获取所述全局表征映射模型的迭代次数，若所述全局表征映射模型的迭代次数达到预设目标迭代次数，则返回执行步骤：将所述全局表征映射模型下发至各第一设备，若所述全局表征映射模型的迭代次数未达到预设目标迭代次数，则返回执行步骤：在联邦公有训练样本数据中提取公有训练样本。
另外地，需要说明地是，所述模型总损失由所述第二全局对比损失和所述第三全局对比损失进行聚合得到，其中，聚合地方式包括加权求和以及求平均等。
步骤A30，将所述目标全局表征映射模型下发至各所述第一设备，以供所述第一设备基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，并基于所述本地私有训练样本数据中的携带样本标签的标签样本，对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行模型微调训练，得到目标横向联邦预测模型。
在本实施例中，需要说明的是，所述第一设备基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，并基于所述本地私有训练样本数据中的携带样本标签的标签样本，对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行模型微调训练，得到目标横向联邦预测模型的具体过程可参照步骤S40至步骤S50中的步骤，在此不再赘述。
另外地，如图3所示为横向联邦学习建模优化方法的系统框架图，其中，Server为所述第二设备，Client为第一设备，Client1为第1个第一设备，Client N为第N个第一设备，X1和XN均为所述本地私有训练样本，Base为特征提取模型，project为表征转换模型，Baseg为全局特征提取模型，projectg为全局表征转换模型，Base1至BaseN均为局部特征提取模型，project1至projectN均为局部表征转换模型，Baseg，new和projectg，new为第二设备中更新后的全局特征提取模型和全局表征转换模型，Xpub为公有训练样本，Contrastive loss为所述第一全局对比损失，Client align loss为所述第二全局对比损失，Global align loss为所述第三全局对比损失。
本申请实施例提供一种横向联邦学习建模优化方法，相比于现有技术采用的各参与方在本地利用大量的标签样本迭代训练更新本地模型，进而将本迭代训练更新后的样本发送至横向联邦服务器进行聚合，即可得到全局模型的技术手段，本申请实施例首先获取全局表征映射模型，并将所述全局表征映射模型下发至各第一设备，以供所述第一设备基于本地私有样本数据，在所述全局表征映射模型与本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型，进而接收各所述第一设备上传的优化后的本地表征映射模型，并基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，进而可拉近各优化后的表征映射模型输出的表征之间的距离，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，进而可实现拉近全局表征映射模型输出的全局表征与各优化后的本地表征映射模型输出的本地样本表征的目的，所以实现了利用对比学习促使全局表征映射模型学习所有参与方的表征的目的，进而获得利用所有参与方的无标签样本进行联合训练得到的目标全局表征映射模型，进而将所述目标全局表征映射模型下发至各所述第一设备，第一设备即可基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，并基于所述本地私有训练样本数据中的携带样本标签的标签样本，对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行模型微调训练，得到目标横向联邦预测模型，其中，由于目标特征提取模型已经学习到了各第一设备中的全局样本特征，进而基于少量的携带样本标签的标签样本，对具备所述目标特征提取模型的样本预测模型进行基于横向联邦学习的模型微调训练，即可促使样本预测模型学习到全局样本表征到全局样本标签的映射，进而得到目标横向联邦预测模型，进而实现了利用各横向联邦学习的参与方的无标签样本以及少量的标签样本，构建目标横向联邦预测模型的目的，也即，实现了在横向联邦学习的参与方的样本中拥有标签的样本的比例较低时，构建目标横向联邦预测模型的目的，所以克服了当横向联邦学习的参与方的样本中拥有标签的样本的比例较低时，将由于各参与方中可利用进行横向联邦学习的样本较少，无法保证全局模型的精度，所以，当前的横向联邦学习建模方法只能局限于各参与方拥有大量的标签样本的应用场景中的技术缺陷，降低了横向联邦学习建模的应用场景的局限性。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示，该横向联邦学习建模优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该横向联邦学习建模优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图4中示出的横向联邦学习建模优化设备结构并不构成对横向联邦学习建模优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及横向联邦学习建模优化程序。操作系统是管理和控制横向联邦学习建模优化设备硬件和软件资源的程序，支持横向联邦学习建模优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与横向联邦学习建模优化系统中其它硬件和软件之间通信。
在图4所示的横向联邦学习建模优化设备中，处理器1001用于执行存储器1005中存储的横向联邦学习建模优化程序，实现上述任一项所述的横向联邦学习建模优化方法的步骤。
本申请横向联邦学习建模优化设备具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种横向联邦学习建模优化装置，所述横向联邦学习建模优化装置应用于第一设备，所述横向联邦学习建模优化装置包括：
接收模块，用于接收第二设备下发的全局表征映射模型；
对比学习训练模块，用于基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
上传模块，用于将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
对比学习优化模块，用于接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型；
模型微调模块，用于基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型。
可选地，所述对比学习训练模块还用于：
在所述本地私有样本数据中提取各本地私有训练样本；
基于所述本地表征映射模型，将各所述本地私有训练样本映射为本地训练样本表征，以及基于所述全局表征映射模型，将各所述本地私有训练样本映射为全局训练样本表征；
基于各所述本地训练样本表征与各所述全局训练样本表征两两之间的相似度，计算第一全局对比学习损失；
基于所述第一全局对比学习损失，优化所述本地表征映射模型，得到所述优化后的本地表征映射模型。
可选地，所述本地表征映射模型包括本地特征提取模型和本地表征转换模型，所述全局表征映射模型包括全局特征提取模型和全局表征转换模型，所述对比学习训练模块还用于：
基于所述本地特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各本地特征提取样本表征，以及基于所述全局特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各全局特征提取样本表征；
基于所述本地表征转换模型，分别将各所述本地特征提取样本表征映射至预设第一目标表征空间，得到各所述本地训练样本表征，以及基于所述全局表征转换模型，分别将所述全局特征提取样本表征映射至所述预设第一目标表征空间，得到各所述全局训练样本表征。
可选地，所述模型微调模块还用于：
基于所述标签样本和所述标签样本对应的训练样本标签，在所述预设模型微调条件下对所述样本预测模型进行迭代训练优化，得到优化后的样本预测模型；
将所述优化后的样本预测模型上传至所述第二设备，以供所述第二设备对各所述第一设备发送的优化后的样本预测模型进行聚合，得到聚合样本预测模型；
接收所述第二设备下发的聚合样本预测模型，并依据所述聚合样本预测模型，在所述预设模型微调条件下对所述样本预测模型进行训练优化，得到所述目标横向联邦预测模型。
本申请横向联邦学习建模优化装置的具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种横向联邦学习建模优化装置，所述横向联邦学习建模优化装置应用于第二设备，所述横向联邦学习建模优化装置包括：
模型下发模块，用于获取全局表征映射模型，并将所述全局表征映射模型下发至各第一设备，以供所述第一设备基于本地私有样本数据，在所述全局表征映射模型与本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
对比学习训练模块，用于接收各所述第一设备上传的优化后的本地表征映射模型，并基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
反馈模块，用于将所述目标全局表征映射模型下发至各所述第一设备，以供所述第一设备基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，并基于所述本地私有训练样本数据中的携带样本标签的标签样本，对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行模型微调训练，得到目标横向联邦预测模型。
可选地，所述对比学习训练模块还用于：
在所述联邦公有训练样本数据中提取各公有训练样本；
依据各所述优化后的本地表征映射模型，分别将各所述公有训练样本分别映射为分别对应的各第一公有训练样本表征，以及依据所述全局表征映射模型，分别将各所述公有训练样本映射为第二公有训练样本表征；
基于各所述第一公有训练样本表征之间的相似度，计算第二全局对比损失；
基于所述第二公有训样本表征分别与各所述第一公有训练样本表征之间的相似度，计算第三全局对比损失；
依据所述第二全局对比损失和所述第三全局对比损失，迭代更新各所述优化后的本地表征映射模型以及所述全局表征映射模型，以优化所述全局表征映射模型，得到所述目标全局表征映射模型。
可选地，所述优化后的本地表征映射模型包括局部特征提取模型和局部表征转换模型，所述全局表征映射模型包括全局特征提取模型和全局表征转换模型，所述对比学习训练模块还用于：
基于各所述局部特征提取模型，分别对各所述公有训练样本进行特征提取，得到各所述公有训练样本分别对应的各第一特征提取样本表征，以及基于所述全局特征提取模型，分别对各所述公有训练样本进行特征提取，得到各所述公有训练样本对应的第二特征提取样本表征；
基于各所述局部表征转换模型，分别将各所述第一特征提取样本表征映射至预设第二目标表征空间，得到各所述第一特征提取样本表征分别对应的第一公有训练样本表征，以及基于所述全局表征转换模型，分别将各所述第二特征提取样本表征映射至所述预设第二目标表征空间，得到各所述第二公有训练样本表征。
本申请横向联邦学习建模优化装置的具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的横向联邦学习建模优化方法的步骤。
本申请可读存储介质具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的横向联邦学习建模优化方法的步骤。
本申请计算机程序产品具体实施方式与上述横向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (10)
1.一种横向联邦学习建模优化方法，其特征在于，应用于第一设备，所述横向联邦学习建模优化方法包括：
接收第二设备下发的全局表征映射模型；
基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
将所述优化后的本地表征映射模型上传至所述第二设备，以供所述第二设备基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
接收所述第二设备下发的目标全局表征映射模型，并基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型；
基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型。
2.如权利要求1所述横向联邦学习建模优化方法，其特征在于，所述基于本地私有样本数据，在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型的步骤包括：
在所述本地私有样本数据中提取各本地私有训练样本；
基于所述本地表征映射模型，将各所述本地私有训练样本映射为本地训练样本表征，以及基于所述全局表征映射模型，将各所述本地私有训练样本映射为全局训练样本表征；
基于各所述本地训练样本表征与各所述全局训练样本表征两两之间的相似度，计算第一全局对比学习损失；
基于所述第一全局对比学习损失，优化所述本地表征映射模型，得到所述优化后的本地表征映射模型。
3.如权利要求2所述横向联邦学习建模优化方法，其特征在于，所述本地表征映射模型包括本地特征提取模型和本地表征转换模型，所述全局表征映射模型包括全局特征提取模型和全局表征转换模型，
所述基于所述本地表征映射模型，将各所述本地私有训练样本映射为本地训练样本表征，以及基于所述全局表征映射模型，将各所述本地私有训练样本映射为全局训练样本表征的步骤包括：
基于所述本地特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各本地特征提取样本表征，以及基于所述全局特征提取模型，对各所述本地私有训练样本分别进行特征提取，得到各全局特征提取样本表征；
基于所述本地表征转换模型，分别将各所述本地特征提取样本表征映射至预设第一目标表征空间，得到各所述本地训练样本表征，以及基于所述全局表征转换模型，分别将所述全局特征提取样本表征映射至所述预设第一目标表征空间，得到各所述全局训练样本表征。
4.如权利要求1所述横向联邦学习建模优化方法，其特征在于，所述基于所述本地私有训练样本数据中的携带样本标签的标签样本，在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化，得到目标横向联邦预测模型的步骤包括：
基于所述标签样本和所述标签样本对应的训练样本标签，在所述预设模型微调条件下对所述样本预测模型进行迭代训练优化，得到优化后的样本预测模型；
将所述优化后的样本预测模型上传至所述第二设备，以供所述第二设备对各所述第一设备发送的优化后的样本预测模型进行聚合，得到聚合样本预测模型；
接收所述第二设备下发的聚合样本预测模型，并依据所述聚合样本预测模型，在所述预设模型微调条件下对所述样本预测模型进行训练优化，得到所述目标横向联邦预测模型。
5.一种横向联邦学习建模优化方法，其特征在于，应用于第二设备，所述横向联邦学习建模优化方法包括：
获取全局表征映射模型，并将所述全局表征映射模型下发至各第一设备，以供所述第一设备基于本地私有样本数据，在所述全局表征映射模型与本地表征映射模型之间对比学习训练优化，得到优化后的本地表征映射模型；
接收各所述第一设备上传的优化后的本地表征映射模型，并基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型；
将所述目标全局表征映射模型下发至各所述第一设备，以供所述第一设备基于所述本地私有训练样本数据，在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化，得到目标本地表征映射模型，并基于所述本地私有训练样本数据中的携带样本标签的标签样本，对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行模型微调训练，得到目标横向联邦预测模型。
6.如权利要求5所述横向联邦学习建模优化方法，其特征在于，所述基于联邦公有训练样本数据，在各所述优化后的本地表征映射模型之间进行对比学习训练优化，以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化，得到目标全局表征映射模型的步骤包括：
在所述联邦公有训练样本数据中提取各公有训练样本；
依据各所述优化后的本地表征映射模型，分别将各所述公有训练样本分别映射为分别对应的各第一公有训练样本表征，以及依据所述全局表征映射模型，分别将各所述公有训练样本映射为第二公有训练样本表征；
基于各所述第一公有训练样本表征之间的相似度，计算第二全局对比损失；
基于所述第二公有训样本表征分别与各所述第一公有训练样本表征之间的相似度，计算第三全局对比损失；
依据所述第二全局对比损失和所述第三全局对比损失，迭代更新各所述优化后的本地表征映射模型以及所述全局表征映射模型，以优化所述全局表征映射模型，得到所述目标全局表征映射模型。
7.如权利要求6所述横向联邦学习建模优化方法，其特征在于，所述优化后的本地表征映射模型包括局部特征提取模型和局部表征转换模型，所述全局表征映射模型包括全局特征提取模型和全局表征转换模型，
所述依据各所述优化后的本地表征映射模型，分别将各所述公有训练样本分别映射为分别对应的各第一公有训练样本表征，以及依据所述全局表征映射模型，分别将各所述公有训练样本映射为第二公有训练样本表征的步骤包括：
基于各所述局部特征提取模型，分别对各所述公有训练样本进行特征提取，得到各所述公有训练样本分别对应的各第一特征提取样本表征，以及基于所述全局特征提取模型，分别对各所述公有训练样本进行特征提取，得到各所述公有训练样本对应的第二特征提取样本表征；
基于各所述局部表征转换模型，分别将各所述第一特征提取样本表征映射至预设第二目标表征空间，得到各所述第一特征提取样本表征分别对应的第一公有训练样本表征，以及基于所述全局表征转换模型，分别将各所述第二特征提取样本表征映射至所述预设第二目标表征空间，得到各所述第二公有训练样本表征。
8.一种横向联邦学习建模优化设备，其特征在于，所述横向联邦学习建模优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述横向联邦学习建模优化方法的程序，
所述存储器用于存储实现横向联邦学习建模优化方法的程序；
所述处理器用于执行实现所述横向联邦学习建模优化方法的程序，以实现如权利要求1至4或者5至7中任一项所述横向联邦学习建模优化方法的步骤。
9.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现横向联邦学习建模优化方法的程序，所述实现横向联邦学习建模优化方法的程序被处理器执行以实现如权利要求1至4或者5至7中任一项所述横向联邦学习建模优化方法的步骤。
10.一种程序产品，所述程序产品为计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4或者5至7中任一项所述横向联邦学习建模优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859994.2A CN113516254A (zh) | 2021-07-28 | 2021-07-28 | 横向联邦学习建模优化方法、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859994.2A CN113516254A (zh) | 2021-07-28 | 2021-07-28 | 横向联邦学习建模优化方法、设备、介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113516254A true CN113516254A (zh) | 2021-10-19 |
Family
ID=78068747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110859994.2A Pending CN113516254A (zh) | 2021-07-28 | 2021-07-28 | 横向联邦学习建模优化方法、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516254A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642547A (zh) * | 2021-10-18 | 2021-11-12 | 中国海洋大学 | 一种基于密度聚类的无监督域适应人物重识别方法及系统 |
| CN117934931A (zh) * | 2024-01-16 | 2024-04-26 | 广州杰鑫科技股份有限公司 | 一种模型更新方法、装置、光缆智能运维系统和存储介质 |
-
2021
- 2021-07-28 CN CN202110859994.2A patent/CN113516254A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642547A (zh) * | 2021-10-18 | 2021-11-12 | 中国海洋大学 | 一种基于密度聚类的无监督域适应人物重识别方法及系统 |
| CN117934931A (zh) * | 2024-01-16 | 2024-04-26 | 广州杰鑫科技股份有限公司 | 一种模型更新方法、装置、光缆智能运维系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113516255B (zh) | 联邦学习建模优化方法、设备、可读存储介质及程序产品 | |
| CN110782042B (zh) | 横向联邦和纵向联邦联合方法、装置、设备及介质 | |
| KR20200109230A (ko) | 뉴럴 네트워크 생성 방법 및 장치 | |
| CN109740018B (zh) | 用于生成视频标签模型的方法和装置 | |
| CN113516254A (zh) | 横向联邦学习建模优化方法、设备、介质及程序产品 | |
| CN113095512A (zh) | 联邦学习建模优化方法、设备、介质及计算机程序产品 | |
| CN113037783B (zh) | 一种异常行为检测方法及系统 | |
| CN112785002A (zh) | 模型构建优化方法、设备、介质及计算机程序产品 | |
| CN113657483A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| US11743150B2 (en) | Automated root cause analysis of underperforming video streams by using language transformers on support ticket systems | |
| CN111340220A (zh) | 用于训练预测模型的方法和装置 | |
| CN113869533A (zh) | 联邦学习建模优化方法、设备、可读存储介质及程序产品 | |
| CN111787280A (zh) | 基于边缘计算的视频实时目标追踪方法及装置 | |
| CN113505896A (zh) | 纵向联邦学习建模优化方法、设备、介质及程序产品 | |
| CN111241746B (zh) | 向前模型选择方法、设备和可读存储介质 | |
| CN111784401A (zh) | 下单率预测方法、装置、设备及可读存储介质 | |
| CN116432037A (zh) | 一种在线迁移学习方法、装置、设备和存储介质 | |
| CN113792892A (zh) | 联邦学习建模优化方法、设备、可读存储介质及程序产品 | |
| CN113591709B (zh) | 动作识别方法、装置、设备、介质和产品 | |
| CN111078202A (zh) | 业务架构模型维护方法、装置、电子设备和介质 | |
| WO2024051707A1 (zh) | 训练推荐模型的方法、推荐资源的方法及其装置 | |
| CN114299539B (zh) | 一种模型训练方法、行人重识别方法和装置 | |
| CN116401372A (zh) | 知识图谱表示学习方法、装置、电子设备及可读存储介质 | |
| CN113793298A (zh) | 肺结节检测模型构建优化方法、设备、存储介质及产品 | |
| CN110502715B (zh) | 点击概率的预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |