CN111445030A - 基于逐步回归法的联邦建模方法、设备和可读存储介质 - Google Patents

基于逐步回归法的联邦建模方法、设备和可读存储介质 Download PDF

Info

Publication number
CN111445030A
CN111445030A CN202010241599.3A CN202010241599A CN111445030A CN 111445030 A CN111445030 A CN 111445030A CN 202010241599 A CN202010241599 A CN 202010241599A CN 111445030 A CN111445030 A CN 111445030A
Authority
CN
China
Prior art keywords
model
round
target
feature
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010241599.3A
Other languages
English (en)
Inventor
吴玙
范涛
马国强
魏文斌
谭明超
郑会钿
陈天健
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010241599.3A priority Critical patent/CN111445030A/zh
Publication of CN111445030A publication Critical patent/CN111445030A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于逐步回归法的联邦建模方法、设备和可读存储介质,所述基于逐步回归法的联邦建模方法包括:获取待训练模型,并接收第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合,基于待剔除标签特征数据集合和待加入标签特征数据集合,通过第二设备进行纵向联邦建模,对待训练模型进行执行预设循环训练流程,以在待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对待训练模型进行循环更新,直至循环更新后的待训练模型满足预设循环结束条件,获得目标建模模型。本申请解决了纵向联邦建模效率低且效果差的技术问题。

Description

基于逐步回归法的联邦建模方法、设备和可读存储介质
技术领域
本申请涉及金融科技(Fintech)的机器学习技术领域,尤其涉及一种基于逐步回归法的联邦建模方法、设备和可读存储介质。
背景技术
随着金融科技,尤其是互联网科技金融的不断发展,越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域,但金融业也对技术提出了更高的要求,如对金融业对应待办事项的分发也有更高的要求。
随着互联网科技金融的不断发展,联邦学习的应用也越来越广泛,在纵向联邦学习场景中,参与联邦学习的标签提供方和特征提供方均会提供训练特征,并基于这些训练特征通过进行联邦学习来对本地模型进行训练更新,但是,在这些训练特征中,通常会存在对本地模型的训练帮助较少的非显著特征,所以,这些非显著特征在增加了进行纵向联邦学习时的计算量的同时,却对纵向联邦学习的贡献极小,进而降低了纵向联邦学习时的计算效率和计算效果,进而导致了纵向联邦学习的模型建模效率低且效果差,所以,现有技术中存在纵向联邦建模效率低且效果差的技术问题。
发明内容
本申请的主要目的在于提供一种基于逐步回归法的联邦建模方法、设备和可读存储介质,旨在解决现有技术中纵向联邦建模效率低且效果差的技术问题。
为实现上述目的,本申请提供一种基于逐步回归法的联邦建模方法,所述基于逐步回归法的联邦建模方法应用于第一设备,所述基于逐步回归法的联邦建模方法包括:
获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合;
基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
为实现上述目的,本申请还提供一种基于逐步回归法的联邦建模方法,所述基于逐步回归法的联邦建模方法应用于第二设备,所述基于逐步回归法的联邦建模方法包括:
获取待训练模型,并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合;
基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
为实现上述目的,本申请还提供一种基于逐步回归法的联邦建模方法,所述基于逐步回归法的联邦建模方法应用于第三设备,所述基于逐步回归法的联邦建模方法包括:
接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数,生成特征编码集合;
确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一模型训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备基于所述第一模型训练数据,通过与所述第二设备进行纵向联邦建模,获取模型损失值集合,并将所述模型损失值集合发送至所述第三设备,其中,所述第二设备用于基于所述第二模型训练数据,与所述第一设备进行纵向联邦建模,以协助所述第一设备获取所述模型损失值集合;
接收所述第一设备反馈的模型损失值集合,并基于预设模型选择策略,在所述模型损失值集合中选取目标模型损失值,并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备,以供所述第一设备和所述第二设备确定目标建模模型。
本申请还提供一种基于逐步回归法的联邦建模装置,所述基于逐步回归法的联邦建模装置为虚拟装置,且所述基于逐步回归法的联邦建模装置应用于第一设备,所述基于逐步回归法的联邦建模装置包括:
确定模块,用于获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合;
循环模块,用于基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
可选地,所述循环模块包括:
确定子模块,用于基于所述待剔除标签特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环标签特征;
迭代训练子模块,用于基于各所述第一轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,获得第一轮待选取模型集合,其中,所述第二设备用于基于获取的各第一轮剔除循环数据特征,与所述第一设备进行纵向联邦建模;
协调交互子模块,用于基于所述第一轮待选取模型集合,通过与所述第三设备进行协调交互,确定所述第一轮循环目标特征,并在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
第一判定子模块,用于确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
第二判定子模块,用于若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除标签特征数据集合、所述待加入标签特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环标签特征和各第二轮剔除循环标签特征;
循环子模块,用于基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
可选地,所述迭代训练子模块包括:
第一确定单元,用于在所述待训练模型中剔除所述第一轮剔除循环标签特征,确定所述待训练模型对应的第一标签特征表示矩阵;
第一迭代训练单元,用于基于所述第一标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环标签模型,其中,所述第二设备用于基于获取的第一数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第一数据特征表示矩阵对应各所述第一轮剔除循环数据特征;
第二确定单元,用于确定各所述第一轮剔除循环标签特征对应的第二标签特征表示矩阵;
第二迭代训练单元,用于基于所述第二标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环数据模型,其中,所述第二设备用于在所述待训练模型中剔除所述第一轮剔除循环数据特征,以确定所述待训练模型对应的第二数据特征表示矩阵,以基于所述第二数据特征表示矩阵,与所述第一设备进行纵向联邦建模。
可选地,所述协调交互子模块包括:
发送单元,用于获取所述第一轮待选取模型集合对应的模型损失值集合,并将所述模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述模型损失值集合中确定目标模型损失值,并将所述目标模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备基于所述第一轮循环目标特征编码,确定所述第一轮循环目标模型;
接收单元,用于接收所述第三设备反馈的所述第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征。
可选地,所述循环子模块包括:
第一联邦单元,用于基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型;
第二联邦单元,用于基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型;
协调单元,用于与所述第三设备进行协调交互,确定各所述第二轮剔除循环模型和各所述第二轮加入循环模型共同对应的第二轮循环目标特征,并基于所述第二轮循环目标特征,确定第二轮循环目标模型,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
确定单元,用于确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
循环单元,用于若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第二设备进行纵向联邦建模,并与所述第三设备进行协调交互,对所述第二轮循环目标模型执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
可选地,所述第一联邦单元包括:
第一获取子单元,用于获取各所述第二轮剔除循环标签特征对应的第三标签特征表示矩阵;
第一联邦子单元,用于基于所述第三标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第一联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环数据特征,以确定所述第一轮循环目标模型对应的第三数据特征表示矩阵,以基于所述第三数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
第一更新子单元,用于基于所述第一联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环数据方模型;
第一确定子单元,用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环标签特征,并确定所述第一轮循环目标模型对应的第四标签特征表示矩阵;
第二联邦子单元,用于基于所述第四标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第二联邦梯度,其中,所述第二设备用于基于获取的第四数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第四数据特征表示矩阵对应各所述第二轮剔除循环数据特征;
第二更新子单元,用于基于所述第二联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环标签方模型。
可选地,所述第二联邦单元包括:
第二获取子单元,用于获取各所述第二轮加入循环标签特征对应的第五标签特征表示矩阵;
第三联邦子单元,用于基于所述第五标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第三联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中加入所述第二轮加入循环数据特征,以确定所述第一轮循环目标模型对应的第五数据特征表示矩阵,以基于所述第五数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
第三更新子单元,用于基于所述第三联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环数据方模型;
第二确定子单元,用于将所述第二轮加入循环标签特征加入所述第一轮循环目标模型,并确定所述第一轮循环目标模型对应的第六标签特征表示矩阵;
第四联邦子单元,用于基于所述第六标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第四联邦梯度,其中,所述第二设备用于基于获取的第六数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第六数据特征表示矩阵对应各所述第二轮加入循环数据特征;
第四更新子单元,用于基于所述第四联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环标签方模型。
可选地,所述基于逐步回归法的联邦建模装置还包括:
第一确定模块,用于确定预设模型存储数据库中是否存在目标模型,其中,所述目标模型中的各目标特征与所述中间模型中的各模型特征相同;
提取模块,用于若所述预设模型存储数据库中存在所述目标模型,则提取所述目标模型作为所述中间模型,以获取所述目标建模模型。
为实现上述目的,本申请还提供一种基于逐步回归法的联邦建模装置,所述基于逐步回归法的联邦建模装置为虚拟装置,且所述基于逐步回归法的联邦建模装置应用于第二设备,所述基于逐步回归法的联邦建模装置包括:
接收模块,用于获取待训练模型,并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合;
循环模块,用于基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
可选地,所述循环模块包括:
第一确定子模块,用于基于所述待剔除数据特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环数据特征;
迭代训练子模块,用于基于各所述第一轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,以协助所述第一设备获取第一轮待选取模型集合,并将所述第一轮待选取模型集合对应的模型损失值集合发送至所述第三设备;
第二确定子模块,用于接收所述第三设备基于所述模型损失值集合发送的第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征,以在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
判定子模块,用于确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
第三确定子模块,用于若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除数据特征数据集合、所述待加入数据特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环数据特征和各第二轮剔除循环数据特征;
循环子模块,用于基于各所述第二轮加入循环数据特征和各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
可选地,所述循环子模块包括:
第一迭代训练单元,用于基于各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮剔除循环模型集合,并将所述第二轮剔除循环模型集合对应的剔除模型损失值集合发送至所述第三设备;
第二迭代训练单元,用于基于各所述第二轮加入循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮加入循环模型集合,并将所述第二轮加入循环模型集合对应的加入模型损失值集合发送至所述第三设备;
接收单元,接收所述第三设备基于所述剔除模型损失值集合和所述加入模型损失值集合反馈的第二轮循环目标特征编码,并基于所述第二轮循环目标特征编码,确定所述第二轮循环目标特征,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
确定单元,用于在所述第二轮剔除循环模型集合和所述第二轮加入循环模型集合中确定所述第二轮循环目标特征对应的第二循环目标模型;
第一判定单元,用于确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
第二判定单元,用于若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第一设备进行纵向联邦建模,对所述第二轮循环目标模执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
为实现上述目的,本申请还提供一种基于逐步回归法的联邦建模装置,所述基于逐步回归法的联邦建模装置为虚拟装置,且所述基于逐步回归法的联邦建模装置应用于第三设备,所述基于逐步回归法的联邦建模装置包括:
第一生成模块,用于接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数,生成特征编码集合;
第二生成模块,用于确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一模型训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备基于所述第一模型训练数据确定各待加入标签特征,并基于各所述待加入标签特征,通过与所述第二设备进行纵向联邦建模,获取模型损失值集合,并将所述模型损失值集合发送至所述第三设备,其中,所述第二设备用于基于所述第二模型训练数据,确定所述第二模型训练对应的各待加入数据特征,并基于各所述待加入数据特征,与所述第一设备进行纵向联邦建模,以协助所述第一设备获取所述模型损失值集合;
模型选择模块,用于接收所述第一设备反馈的模型损失值集合,并通过预设模型选择策略,在所述模型损失值集合中选取目标模型损失值,并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备,以供所述第一设备和所述第二设备确定目标建模模型。
可选地,所述模型选择模块包括:
计算子模块,用于基于所述预设模型选择策略,计算所述模型损失值集合对应的标准值计算结果;
选取子模块,用于基于所述标准值计算结果,在所述模型损失值集合中选取目标模型损失值。
本申请还提供一种基于逐步回归法的联邦建模设备,所述基于逐步回归法的联邦建模设备为实体设备,所述基于逐步回归法的联邦建模设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于逐步回归法的联邦建模方法的程序,所述基于逐步回归法的联邦建模方法的程序被处理器执行时可实现如上述的基于逐步回归法的联邦建模方法的步骤。
本申请还提供一种可读存储介质,所述可读存储介质上存储有实现基于逐步回归法的联邦建模方法的程序,所述基于逐步回归法的联邦建模方法的程序被处理器执行时实现如上述的基于逐步回归法的联邦建模方法的步骤。
本申请通过获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合,进而基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。也即,本申请提供了一种基于逐步回归法进行纵向联邦建模的方法,也即,在获取待训练模型、待剔除标签特征数据集合和待加入标签特征数据集合之后,即可基于所述待剔除标签特征数据集合和待加入标签特征数据集合,通过与所述第二设备进行联邦建模,对所述待训练模型进行执行预设循环训练流程,即可实现在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。也即,本申请实现了在所述预设循环训练流程中逐步剔除对模型贡献度低的特征,且逐步选取对模型贡献度高的特征加入模型进行训练,以获取训练效果好的模型的目的,进而提高了联邦建模时的模型建模效果,且由于剔除各目标剔除特征是在所述预设循环训练流程中逐渐剔除模型的,且各目标加入特征是在所述预设循环训练流程中逐渐加入模型的,也即,在所述预设循环训练流程的每一轮循环训练中,在模型中剔除的特征均为对模型贡献度最低的特征,向模型中加入的特征均为对模型贡献度最高的特征,进而模型中已经存在的特征始终是对模型贡献度高的特征,进而避免了模型中同时存在多个对模型贡献度低的特征的情况发生,进而减少了联邦建模时关于对模型贡献度低的特征的计算流程,提高了联邦建模时的模型建模效率,所以,解决了纵向联邦建模效率低且效果差的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请基于逐步回归法的联邦建模方法第一实施例的流程示意图;
图2为本申请基于逐步回归法的联邦建模方法中当所述第一轮循环待选取模型为泊松回归模型时,计算所述第一联邦梯度的流程示意图;
图3为本申请基于逐步回归法的联邦建模方法第二实施例的流程示意图;
图4为本申请基于逐步回归法的联邦建模方法第三实施例的流程示意图;
图5为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供一种基于逐步回归法的联邦建模方法,参照图1,在本申请基于逐步回归法的联邦建模方法的第一实施例中,基于逐步回归法的联邦建模方法应用于第一设备,所述基于逐步回归法的联邦建模方法包括:
步骤S10,获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合;
在本实施例中,需要说明的是,在执行接收所述第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合的步骤之前,所述第一设备与所述第二设备需将预设模型训练参数发送至与所述第三设备,其中,所述预设模型训练参数包括特征数量和样本数量,以供所述第三设备基于所述预设模型训练参数,生成所述预设模型训练参数对应的待剔除标签特征数据集合和待加入标签特征数据集合。
在执行获取待训练模型的步骤之前,所述第一设备需要与所述第一设备联邦关联的第二设备进行样本对齐,获得公共样本ID,其中,所述第一设备和所述第二设备将基于所述公共样本ID对应的样本进行纵向联邦建模,其中,所述公共样本ID为所述第一设备和所述第二设备的公共样本的标识,所述标识包括字符串,编码,例如用户手机号、用户身份证号等。
另外地,需要说明的是,所述第一设备为标签提供方,也即,在进行纵向联邦建模时,所述第一设备提供的样本是带有样本标签的,其中,所述样本标签为所述样本的标识,例如,当样本标签为负一时,则标识所述样本数据对应的用户为非优质客户,当样本标签为正一时,则标识所述样本数据对应的用户为优质客户等,所述第二设备为特征提供方,也即,在进行纵向联邦时,所述第一设备提供的样本是不带有样本标签的,所述第一设备和所述第二设备均为进行纵向联邦建模的联邦参与方,所述第三设备为进行纵向联邦的协调方,所述协调方用于协调所述第一设备和所述第二设备进行纵向联邦建模,例如,进行模型选择和优化梯度等,所述预设模型训练参数包括特征数量和样本数量,所述待训练模型为所述第一设备和所述第二设备进行联邦建模而获得的,其中,所述联邦建模包括纵向联邦建模和横向联邦建模,所述待训练模型对应存在一个或者多个模型变量,其中,所述模型变量包括待剔除模型变量和待加入模型变量,其中,所述待剔除模型变量为已在所述待训练模型中的模型变量,所述待加入模型变量为不在所述待训练模型中的模型变量,且每一所述待剔除模型变量对应一待剔除训练特征,每一所述待加入模型变量对应一待加入训练特征,其中,所述待剔除训练特征包括所述第一设备持有的待剔除标签特征和所述第二设备持有的待剔除数据特征,所述待加入训练特征包括所述第一设备持有待加入标签特征和所述第二设备持有的待加入数据特征,例如,假设所述待训练模型为线性模型,对应的表达式为Y=β01X12X2+…+βnXn,其中,(β1,β2,…,βn)中的元素即为各所述待剔除模型变量,对应地,(X1,X2,…,Xn)中的元素即为各所述待剔除训练特征,另外地,所述待剔除标签特征数据集合包括待剔除标签特征编码集合和待剔除模型变量集合,其中,所述剔除待剔除模型变量集合包括一个或者多个所述待剔除模型变量,所述待剔除标签特征编码集合包括一个或者多个待剔除标签特征编码,其中,所述待剔除标签特征编码为所述待剔除标签特征的标识,且所述待加入标签特征数据集合包括待加入标签特征编码集合和待加入模型变量集合,其中,所述待加入模型变量集合包括一个或者多个所述待加入模型变量,所述待加入标签特征编码集合包括一个或者多个待加入标签特征编码,其中,所述待加入标签特征编码为所述待加入标签特征的标识。
获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合,具体地,从预设模型存储数据库中提取所述待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合,其中,所述第三设备用于基于第一设备发送的预设模型训练参数中的特征数量,生成所述待加入标签特征编码集合,例如,假设所述特征数量为k,则所述待加入标签特征编码集合为(1,2,3…,k),进而基于所述预设模型训练参数中的待剔除特征数量,生成所述待剔除标签特征编码集合,进一步地,获取所有在所述待训练模型中的待剔除模型变量,获得待剔除模型变量集合,并获取所有不在所述待训练完全性中的待加入模型变量,获得待加入模型变量集合,进而基于所述待加入标签特征编码集合和所述待加入模型变量集合,生成所述待加入标签特征数据集合,并基于所述待剔除标签特征编码集合和所述待剔除模型变量集合,生成所述待剔除标签特征数据集合,其中,所述待剔除标签特征数据集合和所述待加入标签特征数据集合均可使用表的形式进行存储,另外地,所述第三设备将基于所述第二设备发送的特征提供方模型训练参数,生成所述特征提供方模型训练参数对应的待剔除数据特征数据集合和待加入数据特征数据集合,其中,所述特征提供方模型训练参数包括特征数量,所述待剔除数据特征数据集合包括所述待剔除模型变量集合和待剔除数据特征编码集合,其中,所述待剔除数据特征编码集合包括一个或者多个待剔除数据特征编码,所述待剔除数据方编码为所述待剔除数据特征的标识,另外地,所述待加入数据特征数据集合包括所述待加入模型变量集合和待加入数据特征编码集合,其中,所述待加入数据特征编码集合包括一个或者多个待加入数据特征编码,所述待加入数据方编码为所述待加入数据特征的标识。
进一步地,接收所述第三设备发送的所述待剔除标签特征数据集合和所述待加入标签特征数据集合,并分别获取所述待剔除标签特征数据集合中的待剔除标签特征编码集合和所述待加入标签特征数据集合中的待加入标签特征编码集合,进而确定所述待剔除标签特征编码集合中的各待剔除标签特征编码和所述待剔除标签特征集中各待剔除标签特征之间的第一映射关系,其中,所述第一映射关系包括所述待剔除标签特征编码和所述待剔除标签特征之间的一一映射关系,并确定所述待加入标签特征编码集合中的各待加入标签特征编码和所述待加入标签特征集中各待加入标签特征之间的第二映射关系,其中,所述第二映射关系包括所述待加入标签特征编码和所述待加入标签特征之间的一一映射关系。
步骤S20,基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型;
在本实施例中,需要说明的是,所述预设循环训练流程包括一轮或者多轮循环,各轮所述循环包括第一轮循环和第二轮循环,所述待训练模型由所述第一设备提供各所述待剔除标签特征和所述第二提供各所述待剔除数据特征,并进行纵向联邦建模而获得,所述第一设备和所述第二设备持有相同的所述待训练模型,所述预设循环训练流程包括第一轮循环和第二轮循环,所述目标剔除特征包括第一轮循环目标特征和第二轮剔除循环目标特征,所述目标加入特征包括第二轮加入循环目标特征,所述目标剔除特征包括第二轮剔除循环目标特征。
基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型,具体地,基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行所述第一轮循环,以在所述待训练模型中剔除符合预设剔除贡献度标准的所述第一轮循环目标特征,获得第一轮循环目标模型,并确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足预设循环结束条件,则将所述待训练完全模型作为所述目标建模模型,若所述第一轮循环目标模型不满足预设循环结束条件,则通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行执行所述第二轮循环,以在所述第一轮循环目标模型中剔除符合预设剔除贡献度标准的所述第二轮剔除循环目标特征,或者向所述第一轮循环目标模型中加入符合预设加入贡献度标准的第二轮加入循环目标特征,获得第二轮循环目标模型,并确定所述第二轮循环目标模型是否满足预设循环结束条件,若所述第二轮循环目标模型满足预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型,若所述第二轮循环目标模型不满足预设循环结束条件,通过与所述第二设备进行纵向联邦建模,则对所述第二轮循环目标模型执行所述预设循环训练流程的下一轮循环,以在所述第二轮循环目标模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述第二轮循环目标模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述第二轮循环目标模型进行循环更新,直至循环更新后的所述第二轮循环目标模型满足预设循环结束条件,获得目标建模模型,其中,所述预设循环结束条件包括本轮循环获得的循环目标模型对应的AIC(Akaike information criterion,赤池信息准则)值大于上一轮循环获得的循环目标模型对应的AIC值、本轮循环获得的循环目标模型对应的BIC(BayesianInformation Criterion,贝叶斯信息准则)值大于上一轮循环获得的循环目标模型对应的BIC值和本轮循环中最小P(p-value,假定值)值大于预设P值阀值等。
其中,需要说明的是,所述目标建模模型包括风控模型,其中,所述风控模型为用于评估用户贷款风险的机器学习模型,例如,假设所述第一设备属于银行A,则各所述待剔除标签特征和各所述待加入标签特征均为银行A中各目标用户的标签方用户特征,且各所述待剔除标签特征在所述待训练模型中,各所述待加入标签特征不在所述待训练模型中,其中,所述标签方用户特征包括年龄、性别、存款数额、A银行贷款记录、信用评分等,各所述第一目标用户是带有样本标签的,其中,所述样本标签为银行A对各所述目标用户的标识,例如,可设定当样本标签为正时,则表明目标用户为低风险用户,当样本标签为负时,则表明目标用户为高风险用户等,且所述第二设备属于银行B,则各所述待剔除数据特征和各所述待加入数据特征均为银行B中各目标用户的数据方用户特征,且各所述待剔除数据特征在所述待训练模型中,各所述待加入数据特征不在所述待训练模型中,其中,所述数据方用户特征包括年龄、性别、B银行贷款记录等,进而基于各所述待剔除标签特征、各所述待剔除数据特征、各所述待加入标签特征和各所述待加入数据特征,A银行与B银行进行纵向联邦建模,并执行所述预设循环训练流程,剔除所述待训练模型中对模型贡献度低的特征,并将对所述待训练模型贡献度高的特征加入所述待训练模型,即可获得所述风控模型,进而若各所述目标用户中的用户A的信息发生改变时,则需要重新对用户A进行用户贷款风险评估,具体地,将用户A对应的样本数据输入所述风控模型,对用户A进行用户贷款风险评估,获得贷款风险评分,其中,所述贷款风险评分为用户贷款风险的标识,例如,可设定当用户当贷款风险评分高于80分时,则判定用户贷款风险低,当用户贷款风险评分低于60分时,则判定用户贷款风险高等,其中,由于所述风控模型是基于进行纵向联邦建模和执行所述预设循环训练流程而获得的,进而所述风控模型中不存在对模型贡献度低的特征,也即,所述风控模型为基于对模型贡献度高的特征进行纵向联邦建模而获得的,进而提高了风控模型的建模效果和建模效率,进而使得风控模型对各所述目标用户的贷款风险评估更准确,也即,提高了风控模型的贷款风险评估准确率。
其中,所述预设循环训练流程包括第一轮循环和第二轮循环,各所述目标剔除特征包括第一轮循环目标特征,
所述基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型的步骤包括:
步骤S21,基于所述待剔除标签特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环标签特征;
在本实施例中,基于所述待剔除标签特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环标签特征,具体地,获取所述待剔除标签特征数据集合中各待剔除标签特征编码,并通过将各所述待剔除标签特征编码分别赋予各所述待剔除标签特征,获得所述第一轮循环对应的各第一轮剔除循环标签特征,其中,一所述待剔除标签特征对应一所述第一轮剔除循环标签特征。
步骤S22,基于各所述第一轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,获得第一轮待选取模型集合,其中,所述第二设备用于基于获取的各第一轮剔除循环数据特征,与所述第一设备进行纵向联邦建模;
在本实施例中,需要说明的是,所述第一轮待选取模型集合包括一个或者多个第一轮剔除循环标签模型和一个或者多个第一轮剔除循环数据模型,
基于各所述第一轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,获得第一轮待选取模型集合,其中,所述第二设备用于基于获取的各第一轮剔除循环数据特征,与所述第一设备进行纵向联邦建模,具体地,针对于每一所述第一轮剔除循环标签特征,均执行以下步骤:
在所述待训练模型中剔除所述第一轮剔除循环标签特征和所述第一轮剔除循环标签特征对应的待剔除模型变量,以确定所述待训练模型对应的第一标签特征表示矩阵,其中,所述第一标签特征表示矩阵为存储剔除的所述第一轮剔除循环标签特征之外的其他各所述第一轮剔除循环标签特征对应的样本数据编码的特征表示矩阵,其中,所述特征表示矩阵的每一行对应一样本,其中,所述样本包括一个或者多个样本数据,所述样本数据编码为所述样本数据的标识,所述特征表示矩阵的每一列对应一特征,所述特征表示矩阵的每一位对应一所述样本数据编码,进而对所述待训练模型进行初始化,获得第一初始训练模型,进而基于所述第一标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述第一初始训练模型进行迭代训练,直至所述第一初始训练模型满足预设迭代结束条件,获得第一轮剔除循环标签模型,其中,所述第二设备用于基于获取的第一数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第一数据特征表示矩阵对应各所述第一轮剔除循环数据特征,进而针对于每一所述第一轮剔除循环数据特征,均执行以下步骤:
确定所述待训练模型对应的第二标签特征表示矩阵,其中,所述第二标签特征表示矩阵为存储了各所述第一轮剔除循环标签特征对应的样本数据编码的特征表示矩阵,进而对所述待训练模型进行初始化,获得第二初始训练模型,进而基于所述第二标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述第二初始训练模型进行迭代训练,直至所述第二初始训练模型满足预设迭代结束条件,获得第一轮剔除循环数据模型,其中,所述第二设备用于在所述待训练模型中剔除所述第一轮剔除循环数据特征,以确定所述待训练模型对应的第二数据特征表示矩阵,以基于所述第二数据特征表示矩阵,与所述第一设备进行纵向联邦建模,进而在获得各所述第一轮剔除循环标签模型和各所述第一轮剔除循环数据模型后,将各所述第一轮剔除循环标签模型和各所述第一轮剔除循环数据模型共同对应的模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述模型损失值集合中确定目标模型损失值,并将所述模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备确定第一轮循环目标模型和所述第一轮循环目标特征,进而所述第一设备接收所述第一轮循环目标特征编码,并确定相对应的所述第一轮循环目标模型。
其中,所述第一轮待选取模型集合包括一个或者多个第一轮剔除循环标签模型和一个或者多个第一轮剔除循环数据模型,
所述基于各所述第一轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,获得第一轮待选取模型集合,其中,所述第二设备用于基于获取的各第一轮剔除循环数据特征,与所述第一设备进行纵向联邦建模的步骤包括:
针对于每一所述第一轮剔除循环标签特征,均执行以下步骤:
步骤S221,在所述待训练模型中剔除所述第一轮剔除循环标签特征,确定所述待训练模型对应的第一标签特征表示矩阵;
在本实施例中,在所述待训练模型中剔除所述第一轮剔除循环标签特征,确定所述待训练模型对应的第一标签特征表示矩阵,具体地,在所述待训练模型中剔除所述第一轮剔除循环标签特征,并获取所述待训练模型中的其他各所述第一轮剔除循环标签特征共同对应的第一标签特征表示矩阵。
步骤S222,基于所述第一标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环标签模型,其中,所述第二设备用于基于获取的第一数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第一数据特征表示矩阵对应各所述第一轮剔除循环数据特征;
在本实施例中,基于所述第一标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环标签模型,其中,所述第二设备用于基于获取的第一数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第一数据特征表示矩阵对应各所述第一轮剔除循环数据特征,具体地,将所述第一标签特征表示矩阵对应的样本数据输入所述待训练模型,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代次数,则与所述第二设备进行纵向联邦建模,计算第一方梯度,并将所述第一方梯度发送至所述第三设备,其中,所述第二设备用于基于第一数据特征表示矩阵,通过与所述第一设备进行纵向联邦,计算第二方梯度,并将所述第二方梯度发送至所述第三设备,其中,所述第一数据特征表示矩阵为各所述第一轮剔除循环数据特征共同对应的特征表示矩阵,以供所述第三设备基于预设联邦规则计算所述第一方梯度和所述第二方梯度共同对应的第一轮标签方联邦梯度,其中,所述预设联邦规则包括求平均、求和等,并将所述第一轮标签方联邦梯度分别反馈至所述第一设备和所述第二设备,以供所述第二设备确定第一轮剔除循环标签模型,进而接收所述第三设备发送的第一轮标签方联邦梯度,并基于所述第一轮标签方联邦梯度,对所述待训练模型进行更新,并确定更新后的所述待训练模型是否满足预设迭代结束条件,若更新后的所述待训练模型满足预设迭代结束条件,则将更新后的所述待训练模型作为所述第一轮剔除循环标签模型,若更新后的所述待训练模型不满足预设迭代结束条件,则通过与所述第二设备进行纵向联邦建模,持续更新所述待训练模型,直至更新后的所述待训练模型满足预设迭代结束条件。
针对于每一所述第一轮剔除循环数据特征,均执行以下步骤:
步骤S223,确定各所述第一轮剔除循环标签特征对应的第二标签特征表示矩阵;
在本实施例中,需要说明的是,所述第二标签特征表示矩阵为各所述第一轮剔除循环标签特征对应的特征表示矩阵。
步骤S224,基于所述第二标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环数据模型,其中,所述第二设备用于在所述待训练模型中剔除所述第一轮剔除循环数据特征,以确定所述待训练模型对应的第二数据特征表示矩阵,以基于所述第二数据特征表示矩阵,与所述第一设备进行纵向联邦建模。
在本实施例中,基于所述第二标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环数据模型,其中,所述第二设备用于在所述待训练模型中剔除所述第一轮剔除循环数据特征,以确定所述待训练模型对应的第二数据特征表示矩阵,以基于所述第二数据特征表示矩阵,与所述第一设备进行纵向联邦建模,具体地,将所述第二标签特征表示矩阵对应的样本数据输入所述待训练模型,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代次数,则与所述第二设备进行纵向联邦建模,计算第三方梯度,并将所述第三方梯度发送至所述第三设备,其中,所述第二设备用于基于第二数据特征表示矩阵,通过与所述第一设备进行纵向联邦,计算第四方梯度,并将所述第四方梯度发送至所述第三设备,其中,所述第二数据特征表示矩阵为所述第二设备在持有的待训练模型中剔除所述第一轮剔除循环数据特征后,所述待训练模型中其他各所述第一轮剔除循环数据特征共同对应的特征表示矩阵,以供所述第三设备基于预设联邦规则计算所述第三方梯度和所述第四方梯度共同对应的第一轮数据方联邦梯度,并将所述第一轮数据方联邦梯度分别反馈至所述第一设备和所述第二设备,以供所述第二设备确定第一轮剔除循环数据模型,进而接收所述第三设备发送的第一轮数据方联邦梯度,并基于所述第一轮数据方联邦梯度,对所述待训练模型进行更新,并确定更新后的所述待训练模型是否满足预设迭代结束条件,若更新后的所述待训练模型满足预设迭代结束条件,则将更新后的所述待训练模型作为所述第一轮剔除循环数据模型,若更新后的所述待训练模型不满足预设迭代结束条件,则通过与所述第二设备进行纵向联邦建模,持续更新所述待训练模型,直至更新后的所述待训练模型满足预设迭代结束条件。
步骤S23,基于所述第一轮待选取模型集合,通过与所述第三设备进行协调交互,确定所述第一轮循环目标特征,并在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
在本实施例中,基于所述第一轮待选取模型集合,通过与所述第三设备进行协调交互,确定所述第一轮循环目标特征,并在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型,具体地,将所述第一轮待选取模型集合对应的模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述模型损失值集合中确定目标模型损失值,并将所述目标模型损失值对应的第一轮循环目标特征编码发送至所述第一设备,其中,所述第一轮循环目标特征编码为所述第一轮循环目标特征的标识,进而接收所述第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定第一轮循环目标特征,进而在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型,其中,所述第一轮循环目标特征为各所述第一轮剔除循环标签特征之一或者各所述第一轮剔除循环数据特征之一。
其中,所述基于所述第一轮待选取模型集合,通过与所述第三设备进行协调交互,确定所述第一轮循环目标特征的步骤包括:
步骤S231,获取所述第一轮待选取模型集合对应的模型损失值集合,并将所述模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述模型损失值集合中确定目标模型损失值,并将所述目标模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备基于所述第一轮循环目标特征编码,确定所述第一轮循环目标模型;
在本实施例中,具体地,获取第一轮待选取模型集合对应的模型损失值集合,其中,所述模型损失值集合包括各所述第一轮剔除循环标签模型对应的模型损失值和各所述第一轮剔除循环数据模型对应的模型损失值,其中,所述模型损失值为迭代训练结束时训练模型对应的损失函数值,其中,所述训练模型包括各所述第一轮剔除循环标签模型和各所述第一轮剔除循环数据模型,进而将所述模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,计算所述模型损失值集合中各模型损失值对应的模型标准值,进而基于各所述模型标准值,确定目标模型损失值,进而将所述目标模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备基于所述第一轮循环目标特征编码,确定所述第一轮循环目标模型,其中,所述模型标准值包括AIC值、BIC值和P值等,且当所述预设模型选择策略为AIC时,则对应的所述模型标准值为AIC值,当所述预设模型选择策略为BIC时,则对应的所述模型标准值为BIC值,当所述预设模型选择策略为p-value时,则对应的所述模型标准值为P值。
步骤S232,接收所述第三设备反馈的所述第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征。
在本实施例中,需要说明的是,所述第一轮循环目标特征编码为第一轮循环目标特征的标识,所述第一轮循环目标特征为在进行第一轮循环时,从所述待训练模型中剔除的待剔除特征,且剔除所述第一轮循环目标特征后,获得所述第一轮循环目标模型,例如,假设所述待训练模型中包括特征A、特征B和特征C,在进行了第一轮循环后,确定剔除特征A,则特征A为所述第一轮循环目标特征,进而所述第一轮循环目标模型只包括特征B和特征C。
步骤S24,确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
在本实施例中,具体地,确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则跳出所述预设循环训练流程,并将所述待训练模型作为所述目标建模模型。
步骤S25,若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除标签特征数据集合、所述待加入标签特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环标签特征和各第二轮剔除循环标签特征;
在本实施例中,若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除标签特征数据集合、所述待加入标签特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环标签特征和各第二轮剔除循环标签特征,具体地,确定所述第一轮循环目标特征的归属,若所述第一轮循环目标特征属于第一设备,则在所述待剔除标签特征集中剔除所第一轮循环目标特征,获得所述第二轮待剔除标签特征集,并将所述第一轮循环目标特征加入所述待加入标签特征集,获得第二轮待加入标签特征集,则所述第二设备的第二轮待剔除数据特征集包括各所述待剔除数据特征,所述第二设备的第二轮待加入数据特征集包括各所述待加入数据特征,若所述第一轮循环目标特征属于第二设备,则将各所述待剔除标签特征的集合作为所述第二轮待剔除标签特征集,并将各所述待加入标签特征的集合作为所述第二轮待加入标签特征集,则所述第二设备将在各所述待剔除数据特征中剔除所述第一轮循环目标特征,获得所述第二轮待剔除数据特征集,并将所述第一轮循环目标特征加入各所述待加入数据特征,获得第二轮待加入数据特征集。
步骤S26,基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
在本实施例中,需要说明的是,所述预设循环训练流程包括一轮或者多轮循环,且在进行所述循环训练的第一轮循环时,需从所述待训练模型中剔除一个待剔除训练特征和对应的待剔除模型变量,其中,所述待剔除训练特征为属于所述第一设备的待剔除标签特征或者为属于所述第二设备的待剔除数据特征,此时,无法向所述待训练模型中加入所述待加入训练特征,其中,所述待加入训练特征为属于所述第一设备的待加入标签特征或者为属于所述第二设备的待加入数据特征,且在进行所述循环训练的末轮循环时,此时,所述待训练模型中只包括由第一设备提供的一个特征和由所述第二设备提供的一个特征,且只能向所述待训练模型加入所述待加入训练特征,不能向所述待训练模型中剔除所述待剔除训练特征,另外地,在进行所述循环训练的除所述第一轮循环和所述末轮循环之外的其他循环时,需同时在所述待训练模型中剔除所述待剔除训练特征,并向所述待训练模型中加入所述待加入训练特征,另外地,需要说明的是,所述待剔除训练特征在所述待训练模型中,所述待加入训练特征在所述待训练模型之外,且所述第一设备和所述第二设备持有相同的第一轮循环目标模型,所述第二轮剔除循环标签特征集包括一个或者多个第二轮剔除循环标签特征,所述第二轮加入循环标签特征集包括一个或者多个第二轮加入循环标签特征,所述预设循环训练流程包括第二轮循环。
基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型,具体地,基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型,进而基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型,进而与所述第三设备进行协调交互,在各所述第二轮加入循环模型和各所述第二轮剔除循环模型中选取第二轮循环目标模型,并确定第二轮循环目标特征编码,且若所述第二轮循环目标特征编码对应的第二轮循环目标特征属于所述第二轮待剔除标签特征集或者第二设备的第二轮待剔除数据特征集,则所述第二轮循环目标特征为符合预设剔除贡献度标准的各目标剔除特征之一,若第二轮循环目标特征属于所述第二轮待加入标签特征集或者所述第二设备的第二轮待加入数据特征集,则所述第二轮循环目标特征为符合预设加入贡献度标准的各目标加入特征之一,进而判断所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足预设循环结束条件,则将所述第二轮循环目标模型作为所述目标建模模型,若所述第二轮循环目标模型不满足预设循环结束条件,则对所述第二轮循环目标模型进行所述循环训练的下一轮循环,直至通过进行所述循环训练获得的循环目标模型满足预设循环结束条件,获得所述目标建模模型,其中,所述循环目标模型包括进行所述循环训练的各轮循环获得的目标模型,所述循环目标模型包括所述第一轮循环目标模型和第二轮循环目标模型。
另外地,在获得所述目标建模模型之后,还可基于步骤S10至步骤S40,重复进行所述目标建模模型的建立,直至所述目标建模模型不再更新或者循环训练次数达到预设最大循环训练次数,则获得最优目标建模模型。
其中,所述基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型的步骤包括:
步骤S261,基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型;
在本实施例中,基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型,具体地,针对于与每一所述第二轮剔除循环标签特征,均执行以下步骤:
基于所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,计算所述第二轮剔除循环标签特征对应的剔除联邦梯度,进而基于各所述剔除联邦梯度,分别对所述第一轮循环目标模型进行更新,并确定更新后的所述第一轮循环目标模型是否满足预设迭代结束条件,若更新后的所述第一轮循环目标模型满足预设迭代结束条件,则将更新后的所述第一轮循环目标模型作为所述第二轮剔除循环模型,进而获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型,若更新后的所述第一轮循环目标模型不满足预设迭代结束条件,则通过与所述第二设备进行联邦建模,继续对所述第一轮循环目标模型进行更新,直至更新后的所述第一轮循环目标模型满足预设迭代结束条件,获得所述第二轮剔除循环标签特征对应的第二轮剔除循环模型。
其中,所述第二设备在进行纵向联邦建模时,提供一个或者多个第二轮剔除循环数据特征,各所述第二轮剔除循环模型包括一个或者多个第二轮剔除循环标签方模型和一个或者多个第二轮剔除循环数据方模型,所述第一设备和所述第二设备均持有所述第一轮循环目标模型,
所述基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型的步骤包括:
针对于每一所述第二轮剔除循环数据特征,均执行以下步骤:
步骤A10,获取各所述第二轮剔除循环标签特征对应的第三标签特征表示矩阵;
在本实施例中,需要说明的是,所述第三标签特征表示矩阵为存储了各所述第二轮剔除循环标签特征对应的样本数据的特征表示矩阵,其中,所述第三标签特征表示矩阵的每一列对应一所述第二轮剔除循环标签特征,所述第三标签特征表示矩阵的每一行对应一训练样本,所述训练样本包括各所述第二轮剔除循环标签特征对应的样本数据。
步骤A20,基于所述第三标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第一联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环数据特征,以确定所述第一轮循环目标模型对应的第三数据特征表示矩阵,以基于所述第三数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
在本实施例中,基于所述第三标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第一联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环数据特征,以确定所述第一轮循环目标模型对应的第三数据特征表示矩阵,以基于所述第三数据特征表示矩阵,与所述第一设备进行纵向联邦建模,具体地,针对每一所述第二轮剔除循环数据特征,则执行以下步骤:
将所述第三标签特征表示矩阵输入所述第一轮循环目标模型,对所述第一轮循环目标模型进行迭代训练,直至达到预设迭代次数,获得第一模型输出值,接收所述第二设备发送的第一辅助中间参数变量,其中,所述第一辅助中间参数变量由所述第二设备通过计算获取的第三数据特征表示矩阵和模型参数向量的乘积而获得,其中,所述第三数据特征表示矩阵为剔除了一个所述第二轮剔除循环数据特征的各所述第二轮剔除循环数据特征对应的特征表示矩阵,所述模型参数向量为所述第一轮循环目标模型中的各待训练模型参数组成的向量,例如,假设所述第一轮循环目标模型对应的表达式为Y=β01X12X2+…+βnXn,其中,β1、β2、…、βn即为各所述待训练模型参数,进而(β1,β2,…,βn)即为所述第一模型参数变量,进一步地,基于所述第三标签特征表示矩阵和所述第一轮循环目标模型对应的模型参数向量,计算第二辅助中间参数变量,进而基于所述第一辅助中间参数变量、所述第二辅助中间参数变量和所述第一模型输出值,计算第一中间参数,并基于所述第一中间参数和所述第三标签特征表示矩阵,计算第一标签方梯度,并将所述第一标签方梯度发送至所述第三设备,将所述第一中间参数发送至所述第二设备,以供所述第二设备基于所述第一中间参数和所述第三数据特征表示矩阵,计算第一数据方梯度,并将所述第一数据方梯度发送至所述第三设备,以供所述第三设备基于所述第一标签方梯度、所述第一数据方梯度和所述预设联邦规则,计算第一联邦梯度,其中,所述预设联邦规则包括求和、求平均等,进而将所述第一联邦梯度分别发送至所述第一设备和所述第二设备,以供所述第二设备确定第二轮剔除循环数据方模型,其中,图2所示为当所述第一轮循环目标模型为泊松回归模型时,计算所述第一联邦梯度的流程示意图,其中,标签提供方A为所述第一设备,特征提供方B为所述第二设备,微众C为所述第三设备,wxA和exp(wxA)均为所述第二辅助中间参数变量,wxB和exp(wxB)均为所述第一辅助中间参数变量,y为所述第一模型输出值,d为所述第一中间参数,由第一设备发送至第三设备的gB为所述第一标签方梯度,由第二设备发送至第三设备的gA为所述第一数据方梯度,由所述第三设备发送至所述第一设备的gB为所述第一联邦梯度,由所述第三设备发送至所述第二设备的gA为所述第一联邦梯度,[]为加密符号,表示符号内的数据被加密了。
步骤A30,基于所述第一联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环数据方模型;
在本实施例中,基于各所述第一联邦梯度,分别对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得各所述第二轮剔除循环数据特征对应的所述第二轮剔除循环数据方模型,具体地,基于所述第一联邦梯度,对所述第一轮循环目标模型进行更新,并确定更新后的所述第一轮循环目标模型是否满足所述预设迭代结束条件,若更新后的所述第一轮循环目标模型满足所述预设迭代结束条件,则将更新后的所述第一轮循环目标模型作为所述第二轮剔除循环数据方模型,若更新后的所述第一轮循环目标模型不满足所述预设迭代结束条件,则通过与所述第二设备进行纵向联邦建模,继续对所述第一轮循环目标模型进行更新,直至更新后的所述第一轮循环目标模型满足所述预设迭代结束条件。
针对于每一所述第二轮剔除循环标签特征,均执行以下步骤:
步骤A40,在所述第一轮循环目标模型中剔除所述第二轮剔除循环标签特征,并确定所述第一轮循环目标模型对应的第四标签特征表示矩阵;
在本实施例中,需要说明的是,所述第四标签特征表示矩阵为所述第一轮循环目标模型中除剔除的所述第二轮剔除循环标签特征之外其他各所述第二轮剔除循环标签特征共同对应的特征表示矩阵。
步骤A50,基于所述第四标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第二联邦梯度,其中,所述第二设备用于基于获取的第四数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第四数据特征表示矩阵对应各所述第二轮剔除循环数据特征;
在本实施例中,需要说明的是,所述第四标签特征表示矩阵为存储了所述剔除循环标签方特征集中各元素对应的样本数据的特征表示矩阵。
基于所述第四标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第二联邦梯度,其中,所述第二设备用于基于获取的第四数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第四数据特征表示矩阵对应各所述第二轮剔除循环数据特征,具体地,将所述剔除循环标签方特征集对应的第四标签特征表示矩阵输入所述第一轮循环目标模型,对所述第一轮循环目标模型进行迭代训练,直至达到预设迭代次数,获得第二模型输出值,接收所述第二设备发送的第三辅助中间参数变量,其中,所述第三辅助中间参数变量由所述第二设备通过计算获取的第四数据特征表示矩阵和和所述第四数据特征表示矩阵对应模型参数向量的乘积而获得,其中,所述第四数据特征表示矩阵为所述第二剔除循环数据方特征集对应的特征表示矩阵,进一步地,基于所述第四标签特征表示矩阵和所述模型参数向量,计算第四辅助中间参数变量,进而基于所述第三辅助中间参数变量、所述第四辅助中间参数变量和所述第二模型输出值,计算第二中间参数,并基于所述第二中间参数和所述第四标签特征表示矩阵,计算第二标签方梯度,并将所述第二标签方梯度发送至所述第三设备,将所述第二中间参数发送至所述第二设备,以供所述第二设备基于所述第二中间参数和所述第四数据特征表示矩阵,计算第二数据方梯度,并将所述第二数据方梯度发送至所述第三设备,以供所述第三设备基于所述第二标签方梯度、所述第二标签方梯度和所述预设联邦规则,计算第二联邦梯度,进而将所述第二联邦梯度分别发送至所述第一设备和所述第二设备,以供所述第二设备确定第二轮剔除循环标签方模型。
步骤A60,基于所述第二联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环标签方模型。
在本实施例中,基于所述第二联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环标签方模型,具体地,基于所述第二联邦梯度,对所述第一轮循环目标模型进行更新,并确定更新后的所述第一轮循环目标模型是否满足所述预设迭代结束条件,若更新后的所述第一轮循环目标模型满足所述预设迭代结束条件,则将更新后的所述第一轮循环目标模型作为所述第二轮剔除循环标签方模型,若更新后的所述第一轮循环目标模型不满足所述预设迭代结束条件,则通过与所述第二设备进行纵向联邦建模,继续对所述第一轮循环目标模型进行更新,直至更新后的所述第一轮循环目标模型满足所述预设迭代结束条件。
步骤S262,基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型;
在本实施例中,基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型,具体地,基于各所述第二轮加入循环标签特征,通过与所述第二设备进行联邦交互,计算各所述第二轮加入循环标签特征对应的加入联邦梯度,进而基于各所述加入联邦梯度,分别对所述第一轮循环目标模型进行更新,并确定更新后的所述第一轮循环目标模型是否满足预设迭代结束条件,若更新后的所述第一轮循环目标模型满足预设迭代结束条件,则将更新后的所述第一轮循环目标模型作为所述第二轮加入循环模型,进而获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型,若更新后的所述第一轮循环目标模型不满足预设迭代结束条件,则通过与所述第二设备进行联邦建模,继续对所述第一轮循环目标模型进行更新,直至更新后的所述第一轮循环目标模型满足预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型。
其中,所述第二设备在进行纵向联邦建模时提供了一个或者多个第二轮加入循环数据特征,各所述第二轮加入循环模型包括一个或者多个第二轮加入循环标签方模型和一个或者多个第二轮加入循环数据方模型,所述第一设备和所述第二设备均持有所述第一轮循环目标模型,
所述基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型的步骤包括:
针对于每一所述第二轮加入循环数据特征,均执行以下步骤:
步骤B10,获取各所述第二轮加入循环标签特征对应的第五标签特征表示矩阵;
在本实施例中,需要说明的是,所述第五标签特征表示矩阵为存储了各所述第二轮剔除循环标签特征对应的样本数据的特征表示矩阵。
步骤B20,基于所述第五标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第三联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中加入所述第二轮加入循环数据特征,以确定所述第一轮循环目标模型对应的第五数据特征表示矩阵,以基于所述第五数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
在本实施例中,基于所述第五标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第三联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中加入所述第二轮加入循环数据特征,以确定所述第一轮循环目标模型对应的第五数据特征表示矩阵,以基于所述第五数据特征表示矩阵,与所述第一设备进行纵向联邦建模,具体地,将所述第五标签特征表示矩阵对应的样本数据输入所述第一轮循环目标模型,对所述第一轮循环目标模型进行迭代训练,直至达到预设迭代次数,获得第三模型输出值,并接收所述第二设备发送的第五辅助中间参数变量,其中,所述第五辅助中间参数变量由所述第二设备通过计算获取的第五数据特征表示矩阵和所述第五数据特征表示矩阵对应的模型参数向量的乘积而获得,其中,所述第五数据特征表示矩阵为加入了一个所述第二轮加入循环数据特征的各所述第二轮加入循环数据特征对应的特征表示矩阵,所述模型参数变量为加入所述第二轮加入循环数据特征后所述第一轮循环目标模型中的各待训练模型参数组成的向量,进一步地,基于所述第五标签特征表示矩阵和所述第一轮循环目标模型对应的模型参数向量,计算第六辅助中间参数变量,进而基于所述第五辅助中间参数变量、所述第六辅助中间参数变量和所述第三模型输出值,计算第三中间参数,并基于所述第三中间参数和所述第五标签特征表示矩阵,计算第三标签方梯度,并将所述第三标签方梯度发送至所述第三设备,将所述第三中间参数发送至所述第二设备,以供所述第二设备基于所述第三中间参数和所述第五数据特征表示矩阵,计算第三数据方梯度,并将所述第三数据方梯度发送至所述第三设备,以供所述第三设备基于所述第三标签方梯度、所述第三标签方梯度和所述预设联邦规则,计算第三联邦梯度,进而将所述第三联邦梯度分别发送至所述第一设备和所述第二设备,以供所述第二设备确定第二轮加入循环数据方模型。
步骤B30,基于所述第三联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环数据方模型;
在本实施例中,基于所述第三联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环数据方模型,具体地,基于所述第三联邦梯度,对所述第一轮循环目标模型进行更新,并确定更新后的所述第一轮循环目标模型是否满足所述预设迭代结束条件,若更新后的所述第一轮循环目标模型满足所述预设迭代结束条件,则将更新后的所述第一轮循环目标模型作为所述第二轮加入循环数据方模型,若更新后的所述第一轮循环目标模型不满足所述预设迭代结束条件,则通过与所述第二设备进行纵向联邦建模,继续对所述第一轮循环目标模型进行更新,直至更新后的所述第一轮循环目标模型满足所述预设迭代结束条件。
针对于每一所述第二轮加入循环标签特征,均执行以下步骤:
步骤B40,将所述第二轮加入循环标签特征加入所述第一轮循环目标模型,并确定所述第一轮循环目标模型对应的第六标签特征表示矩阵;
在本实施例中,需要说明的是,所述第六标签特征表示矩阵为存储了所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征共同对应的样本数据的特征表示矩阵。
步骤B50,基于所述第六标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第四联邦梯度,其中,所述第二设备用于基于获取的第六数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第六数据特征表示矩阵对应各所述第二轮加入循环数据特征;
在本实施例中,具体地,将所述第六标签特征表示矩阵输入所述第一轮循环目标模型,对所述第一轮循环目标模型进行迭代训练,直至达到预设迭代次数,获得第四模型输出值,并接收所述第二设备发送的第七辅助中间参数变量,其中,所述第七辅助中间参数变量由所述第二设备通过计算获取的第六数据特征表示矩阵和所述第六数据特征表示矩阵对应的模型参数向量的乘积而获得,其中,所述第六数据特征表示矩阵为各所述第二轮剔除循环数据特征对应的特征表示矩阵,所述模型参数变量为所述第一轮循环目标模型中的各待训练模型参数组成的向量,进一步地,基于所述第六标签特征表示矩阵和所述第一轮循环目标模型对应的模型参数向量,计算第八辅助中间参数变量,进而基于所述第七辅助中间参数变量、所述第八辅助中间参数变量和所述第四模型输出值,计算第四中间参数,并基于所述第四中间参数和所述第五标签特征表示矩阵,计算第四标签方梯度,并将所述第四标签方梯度发送至所述第三设备,将所述第四中间参数发送至所述第二设备,以供所述第二设备基于所述第四中间参数和所述第六数据特征表示矩阵,计算第四数据方梯度,并将所述第四数据方梯度发送至所述第三设备,以供所述第三设备基于所述第四标签方梯度、所述第四标签方梯度和所述预设联邦规则,计算第二联邦梯度,进而将所述第二联邦梯度分别发送至所述第一设备和所述第二设备,以供所述第二设备确定第二轮加入循环标签方模型。
步骤B60,基于所述第四联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环标签方模型。
在本实施例中,具体地,基于所述第二联邦梯度,对所述第一轮循环目标模型进行更新,并确定更新后的所述第一轮循环目标模型是否满足所述预设迭代结束条件,若更新后的所述第一轮循环目标模型满足所述预设迭代结束条件,则将更新后的所述第一轮循环目标模型作为所述第二轮加入循环标签方模型,若更新后的所述第一轮循环目标模型不满足所述预设迭代结束条件,则通过与所述第二设备进行纵向联邦建模,继续对所述第一轮循环目标模型进行更新,直至更新后的所述第一轮循环目标模型满足所述预设迭代结束条件。
步骤S263,与所述第三设备进行协调交互,确定各所述第二轮剔除循环模型和各所述第二轮加入循环模型共同对应的第二轮循环目标特征,并基于所述第二轮循环目标特征,确定第二轮循环目标模型,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
在本实施例中,与所述第三设备进行协调交互,确定各所述第二轮剔除循环模型和各所述第二轮加入循环模型共同对应的第二轮循环目标特征,并基于所述第二轮循环目标特征,确定第二轮循环目标模型,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准,具体地,将各所述第二轮剔除循环模型和各所述第二轮加入循环模型共同对应的第二轮模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述第二轮模型损失值集合中选取第二轮目标模型损失值,并将所述第二轮目标模型损失值对应的第二轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备确定第二循环目标模型,进而接收所述第三设备发送的第二轮循环目标特征编码,并基于所述第二轮循环目标特征,确定第二轮循环目标模型,其中,所述第二轮模型损失值集合包括各所述第二轮剔除循环模型的模型损失值和各所述第二轮加入循环模型的模型损失值,其中,若所述第二轮循环目标特征编码对应的第二轮循环目标特征属于各所述第二轮剔除循环标签特征或者各所述第二轮剔除循环数据特征,则所述第二轮循环目标特征为各所述目标剔除特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准,若所述第二轮循环目标特征编码对应的第二轮循环目标特征属于各所述第二轮加入循环标签特征或者各所述加入循环数据特征,则所述第二轮循环目标特征为各所述目标剔除特征之一,且所述第二轮循环特征满足所述预设加入贡献度标准。
步骤S264,确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
步骤S265,若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第二设备进行纵向联邦建模,并与所述第三设备进行协调交互,对所述第二轮循环目标模型执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
在本实施例中,若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第二设备进行纵向联邦建模,并与所述第三设备进行协调交互,对所述第二轮循环目标模型执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型,具体地,若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第二设备进行联邦交互,且与所述第三设备进行协调交互,对所述第二轮循环目标进行所述预设循环训练流程的下一轮循环,以在所述第二循环目标模型中剔除符合所述预设剔除贡献度标准的各所述目标剔除特征,或者在所述第二循环目标模型中加入符合所述预设加入贡献度标准的各所述目标加入特征,直至通过所述循环训练获得的所述循环目标模型满足所述预设循环结束条件,将所述循环目标模型作为所述目标建模模型。
其中,所述预设循环训练流程包括一轮或者多轮循环过程,且在进行每一所述循环过程中,均会产生多个中间模型,
所述基于逐步回归法的联邦建模方法还包括:
在进行每一所述循环过程之前,均执行以下步骤:
步骤C10,确定预设模型存储数据库中是否存在目标模型,其中,所述目标模型中的各目标特征与所述中间模型中的各模型特征相同;
在本实施例中,需要说明的是,所述中间模型包括在所述循环训练的每一轮循环中产生的模型,例如,各所述第一轮剔除循环模型、各所述第二轮剔除循环模型和各所述第二轮加入循环模型等,且各所述中间模型在产生后,均会在所述预设模型存储数据库进行存储备份。
在本实施例中,确定预设模型存储数据库中是否存在目标模型,其中,所述目标模型中的各目标特征与所述中间模型中的各模型特征相同,具体地,在每一次进行迭代训练之前,确定预设模型存储数据库中是否存在目标模型,其中,所述目标模型中的各目标特征与所述中间模型中的各模型特征相同,所述中间模型为所述迭代训练的训练结果产物。
步骤C20,若所述预设模型存储数据库中存在所述目标模型,则提取所述目标模型作为所述中间模型,以获取所述目标建模模型。
在本实施例中,若所述预设模型存储数据库中存在所述目标模型,则提取所述目标模型作为所述中间模型,以获取所述目标建模模型,具体地,若所述预设模型存储数据库中存在所述目标模型,则提取所述目标模型作为所述中间模型,以供所述第三设备基于所述中间模型的模型标准值,协助所述第一设备和所述第二设备确定所述循环训练的每一轮循环的循环目标模型,以获取所述目标建模模型。
本实施例通过获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合,进而基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。也即,本实施例提供了一种基于逐步回归法进行纵向联邦建模的方法,也即,在获取待训练模型、待剔除标签特征数据集合和待加入标签特征数据集合之后,即可基于所述待剔除标签特征数据集合和待加入标签特征数据集合,通过与所述第二设备进行联邦建模,对所述待训练模型进行执行预设循环训练流程,即可实现在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。也即,本实施例实现了在所述预设循环训练流程中逐步剔除对模型贡献度低的特征,且逐步选取对模型贡献度高的特征加入模型进行训练,以获取训练效果好的模型的目的,进而提高了联邦建模时的模型建模效果,且由于剔除各目标剔除特征是在所述预设循环训练流程中逐渐剔除模型的,且各目标加入特征是在所述预设循环训练流程中逐渐加入模型的,也即,在所述预设循环训练流程的每一轮循环训练中,在模型中剔除的特征均为对模型贡献度最低的特征,向模型中加入的特征均为对模型贡献度最高的特征,进而模型中已经存在的特征始终是对模型贡献度高的特征,进而避免了模型中同时存在多个对模型贡献度低的特征的情况发生,进而减少了联邦建模时关于对模型贡献度低的特征的计算流程,提高了联邦建模时的模型建模效率,所以,解决了纵向联邦建模效率低且效果差的技术问题。
进一步地,参照图3,基于本申请中第一实施例,在本申请的另一实施例中,所述基于逐步回归法的联邦建模方法应用于第二设备,所述基于逐步回归法的联邦建模方法包括:
步骤D10,获取待训练模型,并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合;
在本实施例中,获取待训练模型,并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合,具体地,从预设模型存储数据库中提取所述待训练模型,并将预设模型训练参数发送至与所述第一设备协调关联的第三设备,以供所述第三设备基于所述预设模型训练参数中的待加入特征数量,生成所述待加入数据特征编码集合,基于所述预设模型训练参数中的待剔除特征数量,生成所述待剔除数据特征编码集合,进一步地,获取所有在所述待训练模型中的待剔除模型变量,获得待剔除模型变量集合,并获取所有不在所述待训练完全性中的待加入模型变量,获得待加入模型变量集合,进而基于所述待加入标签特征编码集合和所述待加入模型变量集合,生成所述待加入数据特征数据集合,并基于所述待剔除数据特征编码集合和所述待剔除模型变量集合,生成所述待剔除数据特征数据集合,其中,所述待剔除数据特征数据集合和所述待加入数据特征数据集合均可使用表的形式进行存储,另外地,所述第三设备将基于所述第一设备发送的特征提供方模型训练参数,生成所述标签提供方模型训练参数对应的待剔除标签特征数据集合和待加入标签特征数据集合,其中,所述标签提供方模型训练参数包括特征数量,所述待剔除标签特征数据集合包括所述待剔除模型变量集合和待剔除标签特征编码集合,其中,所述待剔除标签特征编码集合包括一个或者多个待剔除标签特征编码,其中,所述待剔除标签特征编码为所述待剔除标签特征的标识,另外地,所述待加入标签特征数据集合包括所述待加入模型变量集合和待加入标签特征编码集合,其中,所述待加入标签特征编码集合包括一个或者多个待加入标签特征编码,其中,所述待加入标签特征编码为所述待加入标签特征的标识,进一步地,接收所述第三设备发送的所述待剔除数据特征数据集合和所述待加入数据特征数据集合,并分别获取所述待剔除数据特征数据集合中的待剔除数据特征编码集合和所述待加入数据特征数据集合中的待加入数据特征编码集合,进而确定所述待剔除数据特征编码集合中的各待剔除数据特征编码和所述待剔除数据特征集中各待剔除数据特征之间的第一映射关系,其中,所述第一映射关系包括所述待剔除数据特征编码和所述待剔除数据特征之间的一一映射关系,并确定所述待加入数据特征编码集合中的各待加入数据特征编码和所述待加入数据特征集中各待加入数据特征之间的第二映射关系,其中,所述第二映射关系包括所述待加入数据特征编码和所述待加入数据特征之间的一一映射关系。
步骤D20,基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型;
在本实施例中,需要说明的是,所述待训练模型中包括各所述待剔除标签特征和各所述待剔除数据特征,所述第一设备和所述第二设备持有相同的所述待训练模型,所述预设循环训练流程包括第一轮循环和第二轮循环,所述目标剔除特征包括第一轮循环目标特征和第二轮剔除循环目标特征,所述目标加入特征包括第二轮加入循环目标特征。
基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型,具体地,基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第一设备进行纵向联邦建模,对所述待训练模型进行执行所述第一轮循环,以在所述待训练模型中剔除符合预设剔除贡献度标准的所述第一轮循环目标特征,获得第一轮循环目标模型,并确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足预设循环结束条件,则将所述待训练完全模型作为所述目标建模模型,若所述第一轮循环目标模型不满足预设循环结束条件,则通过与所述第一设备进行纵向联邦建模,对所述待训练模型进行执行所述第二轮循环,以在所述第一轮循环目标模型中剔除符合预设剔除贡献度标准的所述第二轮剔除循环目标特征,或者向所述第一轮循环目标模型中加入符合预设加入贡献度标准的第二轮加入循环目标特征,获得第二轮循环目标模型,并确定所述第二轮循环目标模型是否满足预设循环结束条件,若所述第二轮循环目标模型满足预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型,若所述第二轮循环目标模型不满足预设循环结束条件,通过与所述第一设备进行纵向联邦建模,则对所述第二轮循环目标模型执行所述预设循环训练流程的下一轮循环,以在所述第二轮循环目标模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述第二轮循环目标模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述第二轮循环目标模型进行循环更新,直至循环更新后的所述第二轮循环目标模型满足预设循环结束条件,获得目标建模模型,其中,所述预设循环结束条件包括本轮循环获得的循环目标模型对应的AIC(Akaike information criterion,赤池信息准则)值大于上一轮循环获得的循环目标模型对应的AIC值、本轮循环获得的循环目标模型对应的BIC(Bayesian InformationCriterion,贝叶斯信息准则)值大于上一轮循环获得的循环目标模型对应的BIC值和本轮循环中最小P(p-value,假定值)值大于预设P值阀值等。
其中,所述预设循环训练流程包括第一轮循环和第二轮循环,各所述目标剔除特征包括第一轮循环目标特征,
所述基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型的步骤包括:
步骤D21,基于所述待剔除数据特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环数据特征;
在本实施例中,基于所述待剔除标签特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环标签特征,具体地,获取所述待剔除数据特征数据集合中各待剔除数据特征编码,并确定各所述待剔除数据特征编码与各所述待剔除数据特征的一一对应关系,获得所述第一轮循环对应的各第一轮剔除循环数据特征,其中,一所述待剔除数据特征对应一所述第一轮剔除循环数据特征。
步骤D22,基于各所述第一轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,以协助所述第一设备获取第一轮待选取模型集合,并将所述第一轮待选取模型集合对应的模型损失值集合发送至所述第三设备;
在本实施例中,在本实施例中,需要说明的是,所述第一轮待选取模型集合包括一个或者多个第一轮剔除循环标签模型和一个或者多个第一轮剔除循环数据模型,
基于各所述第一轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,以协助所述第一设备获取第一轮待选取模型集合,并将所述第一轮待选取模型集合对应的模型损失值集合发送至所述第三设备,具体地,针对于每一所述第一轮剔除循环数据特征,均执行以下步骤:
在所述待训练模型中剔除所述第一轮剔除循环数据特征和所述第一轮剔除循环数据特征对应的待剔除模型变量,以确定所述待训练模型对应的第一数据特征表示矩阵,其中,所述第一数据特征表示矩阵为存储了除所述第一轮剔除循环数据特征之外的其他各所述第一轮剔除循环数据特征对应的样本数据的特征表示矩阵,其中,所述特征表示矩阵的每一行对应一样本,其中,所述样本包括一个或者多个样本数据,所述特征表示矩阵的每一列对应一特征,所述特征表示矩阵的每一位对应一个样本数据对应的编码,进而对所述待训练模型进行初始化,获得初始训练模型,进而基于所述第一数据特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述初始训练模型进行迭代训练,直至所述初始训练模型满足预设迭代结束条件,以协助所述第一设备获取第一轮剔除循环标签模型,其中,所述第一设备用于基于获取的第一标签特征表示矩阵,与所述第二设备进行纵向联邦建模,其中,所述第一标签特征表示矩阵对应各所述第一轮剔除循环标签特征,进而针对于每一所述第一轮剔除循环标签特征,均执行以下步骤:
确定所述待训练模型对应的第二数据特征表示矩阵,其中,所述第二数据特征表示矩阵为存储了各所述第一轮剔除循环数据特征对应的样本数据的特征表示矩阵,进而对所述待训练模型进行初始化,获得初始训练模型,进而基于所述第二数据特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述初始训练模型进行迭代训练,直至所述初始训练模型满足预设迭代结束条件,以协助所述第一设备获取第一轮剔除循环数据模型,其中,所述第一设备用于在所述待训练模型中剔除所述第一轮剔除循环标签特征,以确定所述待训练模型对应的第二标签特征表示矩阵,以基于所述第二标签特征表示矩阵,与所述第二设备进行纵向联邦建模,进而所述第一设备在获得各所述第一轮剔除循环标签模型和各所述第一轮剔除循环数据模型后,将各所述第一轮剔除循环标签模型和各所述第一轮剔除循环数据模型共同对应的模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述模型损失值集合中确定目标模型损失值,并将所述模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第一设备确定第一轮循环目标模型和所述第一轮循环目标特征。
步骤D23,接收所述第三设备基于所述模型损失值集合发送的第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征,以在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
在本实施例中,需要说明的是,所述第一轮循环目标特征编码为所述第一轮循环目标特征的标识。
步骤D24,确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
在本实施例中,具体地,确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则跳出所述预设循环训练流程,并将所述待训练模型作为所述目标建模模型。
步骤D25,若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除数据特征数据集合、所述待加入数据特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环数据特征和各第二轮剔除循环数据特征;
在本实施例中,若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除数据特征数据集合、所述待加入数据特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环数据特征和各第二轮剔除循环数据特征,具体地,确定所述第一轮循环目标特征的归属,若所述第一轮循环目标特征属于第一设备,则在所述待剔除标签特征集中剔除所第一轮循环目标特征,获得所述第二轮待剔除标签特征集,并将所述第一轮循环目标特征加入所述待加入标签特征集,获得第二轮待加入标签特征集,则所述第二设备的第二轮待剔除数据特征集包括各所述待剔除数据特征,所述第二设备的第二轮待加入数据特征集包括各所述待加入数据特征,若所述第一轮循环目标特征属于第二设备,则将各所述待剔除标签特征的集合作为所述第二轮待剔除标签特征集,并将各所述待加入标签特征的集合作为所述第二轮待加入标签特征集,则所述第二设备将在各所述待剔除数据特征中剔除所述第一轮循环目标特征,获得所述第二轮待剔除数据特征集,并将所述第一轮循环目标特征加入各所述待加入数据特征,获得第二轮待加入数据特征集。
步骤D26,基于各所述第二轮加入循环数据特征和各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
在本实施例中,需要说明的是,所述预设循环训练流程包括一轮或者多轮循环,且在进行所述循环训练的第一轮循环时,需从所述待训练模型中剔除一个待剔除训练特征和对应的待剔除模型变量,其中,所述待剔除训练特征包括属于所述第一设备的待剔除标签特征和属于所述第二设备的待剔除数据特征,此时,无法向所述待训练模型中加入所述待加入训练特征,其中,所述待加入训练特征包括属于所述第一设备的待加入标签特征和属于所述第二设备的待加入数据特征,且在进行所述循环训练的末轮循环时,此时,所述待训练模型中只包括由第一设备提供的一个特征和由所述第二设备提供的一个特征,且只能向所述待训练模型加入所述待加入训练特征,不能向所述待训练模型中剔除所述待剔除训练特征,另外地,在进行所述循环训练的除所述第一轮循环和所述末轮循环之外的其他循环时,需同时在所述待训练模型中剔除所述待剔除训练特征,并向所述待训练模型中加入所述待加入训练特征,另外地,需要说明的是,所述待剔除训练特征在所述待训练模型中,所述待加入训练特征在所述待训练模型之外,且所述第一设备和所述第二设备持有相同的第一轮循环目标模型,所述第二轮剔除循环标签特征集包括一个或者多个第二轮剔除循环标签特征,所述第二轮加入循环标签特征集包括一个或者多个第二轮加入循环标签特征,所述预设循环训练流程包括第二轮循环。
其中,所述基于各所述第二轮加入循环数据特征和各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型的步骤包括:
步骤D261,基于各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮剔除循环模型集合,并将所述第二轮剔除循环模型集合对应的剔除模型损失值集合发送至所述第三设备;
在本实施例中,基于各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮剔除循环模型集合,并将所述第二轮剔除循环模型集合对应的剔除模型损失值集合发送至所述第三设备,具体地,基于各所述第二轮剔除循环数据特征,通过与所述第二设备进行纵向联邦建模,计算各所述第二轮剔除循环数据特征对应的剔除联邦梯度,进而基于各所述剔除联邦梯度,分别对所述第一轮循环目标模型进行更新,以协助所述第一设备获取第二轮剔除循环模型集合,并将所述第二轮剔除循环模型集合对应的剔除模型损失值集合发送至所述第三设备。
步骤D262,基于各所述第二轮加入循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮加入循环模型集合,并将所述第二轮加入循环模型集合对应的加入模型损失值集合发送至所述第三设备;
在本实施例中,基于各所述第二轮加入循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮加入循环模型集合,并将所述第二轮加入循环模型集合对应的加入模型损失值集合发送至所述第三设备,具体地,基于各所述第二轮加入循环数据特征,通过与所述第二设备进行联邦交互,计算各所述第二轮加入循环数据特征对应的加入联邦梯度,进而基于各所述加入联邦梯度,分别对所述第一轮循环目标模型进行更新,以协助所述第一设备获取第二轮加入循环模型集合,并将所述第二轮加入循环模型集合对应的加入模型损失值集合发送至所述第三设备。
步骤D263,接收所述第三设备基于所述剔除模型损失值集合和所述加入模型损失值集合反馈的第二轮循环目标特征编码,并基于所述第二轮循环目标特征编码,确定所述第二轮循环目标特征,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
步骤S264,在所述第二轮剔除循环模型集合和所述第二轮加入循环模型集合中确定所述第二轮循环目标特征对应的第二循环目标模型;
在本实施例中,具体地,接收所述第三设备基于所述剔除模型损失值集合和所述加入模型损失值集合反馈的第二轮循环目标特征编码,其中,所述第三设备用于基于预设模型选择策略,在所述剔除模型损失值集合和所述加入模型损失值集合反馈中选取第二轮目标模型损失值,并将所述第二轮目标模型损失值对应的第二轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备确定第二循环目标模型,进而接收所述第三设备发送的第二轮循环目标特征编码,并基于所述第二轮循环目标特征,确定第二轮循环目标模型,其中,所述第二轮模型损失值集合包括各所述第二轮剔除循环模型的模型损失值和各所述第二轮加入循环模型的模型损失值,其中,若所述第二轮循环目标特征编码对应的第二轮循环目标特征属于各所述第二轮剔除循环标签特征或者各所述第二轮剔除循环数据特征,则所述第二轮循环目标特征为各所述目标剔除特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准,若所述第二轮循环目标特征编码对应的第二轮循环目标特征属于各所述第二轮加入循环标签特征或者各所述加入循环数据特征,则所述第二轮循环目标特征为各所述目标剔除特征之一,且所述第二轮循环特征满足所述预设加入贡献度标准。
步骤S265,确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
步骤S266,若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第一设备进行纵向联邦建模,对所述第二轮循环目标模执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
在本实施例中,若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第一设备进行纵向联邦建模,对所述第二轮循环目标模执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型,具体地,若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第二设备进行联邦交互,且与所述第三设备进行协调交互,对所述第二轮循环目标进行所述预设循环训练流程的下一轮循环,以在所述第二循环目标模型中剔除符合所述预设剔除贡献度标准的各所述目标剔除特征,或者在所述第二循环目标模型中加入符合所述预设加入贡献度标准的各所述目标加入特征,直至通过所述循环训练获得的所述循环目标模型满足所述预设循环结束条件,将所述循环目标模型作为所述目标建模模型。
本实施例通过获取待训练模型,并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合;
基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。也即,本实施例提供了一种协助所述第一设备获取目标建模模型的方法,也即,通过与所述第一设备进行纵向联邦建模,对所述待训练模型进行循环训练,进而协助所述第一设备对所述待训练模型进行循环训练,获得所述目标建模模型,进而实现了协助第一设备逐步剔除对模型贡献度低的特征,并逐步选取对模型贡献度高的特征加入模型进行训练,以获取训练效果好的模型的目的,进而提高了联邦建模时的模型建模效果,进而在将每一所述待加入数据特征加入模型之前或者在将每一所述待剔除数据特征从模型中进行剔除之前,模型中已经存在的特征始终是对模型贡献度高的特征,进而避免了模型中同时存在多个对模型贡献度低的特征的情况发生,进而减小了联邦建模时的计算量,提高了联邦建模时的模型建模效率,所以,为解决了纵向联邦建模效率低且效果差的技术问题奠定了基础。
进一步地,参照图4,基于本申请中第一实施例和第二实施例,在本申请的另一实施例中,所述基于逐步回归法的联邦建模方法应用于第三设备,所述基于逐步回归法的联邦建模方法包括:
步骤E10,接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数,生成特征编码集合;
在本实施例中,所述模型训练参数包括特征数量和样本数量。
接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数,生成特征编码集合,具体地,接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数中的特征数量,生成特征编码集合,例如,假设所述特征数量为k,则生成的特征编码集合为(1,2,3,…,k)。
步骤E20,确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一模型训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备基于所述第一模型训练数据确定各待加入标签特征,并基于各所述待加入标签特征,通过与所述第二设备进行纵向联邦建模,获取模型损失值集合,并将所述模型损失值集合发送至所述第三设备,其中,所述第二设备用于基于所述第二模型训练数据,确定所述第二模型训练对应的各待加入数据特征,并基于各所述待加入数据特征,与所述第一设备进行纵向联邦建模,以协助所述第一设备获取所述模型损失值集合;
在本实施例中,需要说明的是,所述待训练模型变量集合包括一个或者多个待训练模型变量,所述待训练模型变量为不在模型中的需要进行训练更新的模型参数,所述第一模型训练数据包括待训练模型变量集合和属于第一设备的第一特征编码集合,所述第一特征编码集合包括一个或者多个第一特征编码,所述第一特征编码为所述第一设备中各待加入标签特征的标识,所述第二模型训练数据包括待训练模型变量集合和属于第二设备的第二特征编码集合,所述第二特征编码集合包括一个或者多个第二特征编码,所述第二特征编码为所述第二设备中各待加入数据特征的标识。
确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一模型训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备基于所述第一模型训练数据确定各待加入标签特征,并基于各所述待加入标签特征,通过与所述第二设备进行纵向联邦建模,获取模型损失值集合,并将所述模型损失值集合发送至所述第三设备,其中,所述第二设备用于基于所述第二模型训练数据,确定所述第二模型训练对应的各待加入数据特征,并基于各所述待加入数据特征,与所述第一设备进行纵向联邦建模,以协助所述第一设备获取所述模型损失值集合,具体地,确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备和所述第二设备同时在所述待训练模型变量集合中选取目标训练变量加入预设基础模型,获得初始训练模型,进而所述第一设备基于所述第一特征编码集合选取多个待加入标签特征分别加入所述初始训练模型,通过与所述第二设备进行纵向联邦建模,计算模型损失值集合,其中,在进行纵向联邦建模时,所述第二设备将基于所述第二特征编码集合选取多个待加入数据特征分别加入所述初始训练模型。
步骤E30,接收所述第一设备反馈的模型损失值集合,并基于预设模型选择策略,在所述模型损失值集合中选取目标模型损失值,并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备,以供所述第一设备和所述第二设备确定目标建模模型。
在本实施例中,需要说明的时,所述预设模型选择策略包括适用于所有参数模型的第一类型模型选择策略和适用于线性模型的第二类型模型选择策略。
接收所述第一设备反馈的模型损失值集合,并基于预设模型选择策略,在所述模型损失值集合中选取目标模型损失值,并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备,以供所述第一设备和所述第二设备确定目标建模模型,具体地,接收所述第一设备反馈的模型损失值集合,并基于预设模型选择策略,计算所述模型损失值集合中各元素对应的标准值,获得标准值计算结果,基于所述标准值计算结果,在所述模型损失值集合中选取目标模型损失值,基于所述模型标准值对应的目标特征编码更新并存储所述第一模型训练数据和所述第二模型训练数据,并将更新后的所述第一模型训练数据发送至所述第一设备,将更新后的所述第二模型训练数据发送至第二设备,以供所述第一设备基于更新后的所述第一模型训练数据确定第一轮循环目标模型,所述第二设备基于更新后的所述第二模型训练数据确定第一轮循环目标模型,进而所述第一设备和所述第二设备将基于所述第一轮循环目标模型继续进行循环训练,获得循环目标模型,直至所述循环目标模型达到预设循环结束条件,将所述循环目标模型作为所述目标建模模型,其中,所述循环目标模型包括第一循环模型模型。
其中,所述基于预设模型选择策略,在所述模型损失值集合中选取目标模型损失值的步骤包括:
步骤E31,基于所述预设模型选择策略,计算所述模型损失值集合对应的标准值计算结果;
在本实施例中,需要说明的是,所述第一类型模型选择策略包括AIC和BIC,所述标准值计算结果包括一个或者多个模型标准值,当所述预设模型选择策略为AIC时,对应的所述模型标准值为AIC值,当所述预设模型选择策略为BIC时,对应的所述模型标准值为BIC值,所述第二类型模型选择策略包括p-value,当所述预设模型选择策略为p-value时,对应的所述模型标准值为P值。
步骤E32,基于所述标准值计算结果,在所述模型损失值集合中选取目标模型损失值。
在本实施例中,基于所述标准值计算结果,在所述模型损失值集合中选取目标模型损失值,具体地,在所述标准值计算结果中选取最小模型标准值,并将所述最小模型标准值对应的模型损失值作为所述目标模型损失值。
本实施例通过接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数,生成特征编码集合,进而确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一模型训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备基于所述第一模型训练数据确定各待加入标签特征,并基于各所述待加入标签特征,通过与所述第二设备进行纵向联邦建模,获取模型损失值集合,并将所述模型损失值集合发送至所述第三设备,其中,所述第二设备用于基于所述第二模型训练数据,确定所述第二模型训练对应的各待加入数据特征,并基于各所述待加入数据特征,与所述第一设备进行纵向联邦建模,以协助所述第一设备获取所述模型损失值集合,进而接收所述第一设备反馈的模型损失值集合,并基于预设模型选择策略,在所述模型损失值集合中选取目标模型损失值,并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备,以供所述第一设备和所述第二设备确定目标建模模型。也即,本实施例提供了一种通过协调所述第一设备和所述第二设备进行纵向联邦建模和协助第一设备确定循环目标模型,协助所述第一设备和所述第二设备对所述初始训练进行循环训练的方法,也即,通过计算联邦梯度协调所述第一设备和所述第二设备进行纵向联邦建模,通过选取目标模型损失值协助第一设备确定循环目标模型,进而协助了所述第一设备和所述第二设备对所述初始训练模型进行循环训练,获得所述目标建模模型,所以,为解决纵向联邦建模效率低且效果差的技术问题奠定了基础。
参照图5,图5是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图5所示,该基于逐步回归法的联邦建模设备可以包括:处理器1001,例如CPU,存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地,该基于逐步回归法的联邦建模设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard),可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图5中示出的基于逐步回归法的联邦建模设备结构并不构成对基于逐步回归法的联邦建模设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图5所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及基于逐步回归法的联邦建模程序。操作系统是管理和控制基于逐步回归法的联邦建模设备硬件和软件资源的程序,支持基于逐步回归法的联邦建模程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与基于逐步回归法的联邦建模系统中其它硬件和软件之间通信。
在图5所示的基于逐步回归法的联邦建模设备中,处理器1001用于执行存储器1005中存储的基于逐步回归法的联邦建模程序,实现上述任一项所述的基于逐步回归法的联邦建模方法的步骤。
本申请基于逐步回归法的联邦建模设备具体实施方式与上述基于逐步回归法的联邦建模方法各实施例基本相同,在此不再赘述。
本申请实施例提供一种基于逐步回归法的联邦建模装置,所述基于逐步回归法的联邦建模装置应用于第一设备,所述基于逐步回归法的联邦建模装置包括:
确定模块,用于获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合;
循环模块,用于基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
可选地,所述循环模块包括:
确定子模块,用于基于所述待剔除标签特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环标签特征;
迭代训练子模块,用于基于各所述第一轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,获得第一轮待选取模型集合,其中,所述第二设备用于基于获取的各第一轮剔除循环数据特征,与所述第一设备进行纵向联邦建模;
协调交互子模块,用于基于所述第一轮待选取模型集合,通过与所述第三设备进行协调交互,确定所述第一轮循环目标特征,并在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
第一判定子模块,用于确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
第二判定子模块,用于若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除标签特征数据集合、所述待加入标签特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环标签特征和各第二轮剔除循环标签特征;
循环子模块,用于基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
可选地,所述迭代训练子模块包括:
第一确定单元,用于在所述待训练模型中剔除所述第一轮剔除循环标签特征,确定所述待训练模型对应的第一标签特征表示矩阵;
第一迭代训练单元,用于基于所述第一标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环标签模型,其中,所述第二设备用于基于获取的第一数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第一数据特征表示矩阵对应各所述第一轮剔除循环数据特征;
第二确定单元,用于确定各所述第一轮剔除循环标签特征对应的第二标签特征表示矩阵;
第二迭代训练单元,用于基于所述第二标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环数据模型,其中,所述第二设备用于在所述待训练模型中剔除所述第一轮剔除循环数据特征,以确定所述待训练模型对应的第二数据特征表示矩阵,以基于所述第二数据特征表示矩阵,与所述第一设备进行纵向联邦建模。
可选地,所述协调交互子模块包括:
发送单元,用于获取所述第一轮待选取模型集合对应的模型损失值集合,并将所述模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述模型损失值集合中确定目标模型损失值,并将所述目标模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备基于所述第一轮循环目标特征编码,确定所述第一轮循环目标模型;
接收单元,用于接收所述第三设备反馈的所述第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征。
可选地,所述循环子模块包括:
第一联邦单元,用于基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型;
第二联邦单元,用于基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型;
协调单元,用于与所述第三设备进行协调交互,确定各所述第二轮剔除循环模型和各所述第二轮加入循环模型共同对应的第二轮循环目标特征,并基于所述第二轮循环目标特征,确定第二轮循环目标模型,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
确定单元,用于确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
循环单元,用于若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第二设备进行纵向联邦建模,并与所述第三设备进行协调交互,对所述第二轮循环目标模型执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
可选地,所述第一联邦单元包括:
第一获取子单元,用于获取各所述第二轮剔除循环标签特征对应的第三标签特征表示矩阵;
第一联邦子单元,用于基于所述第三标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第一联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环数据特征,以确定所述第一轮循环目标模型对应的第三数据特征表示矩阵,以基于所述第三数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
第一更新子单元,用于基于所述第一联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环数据方模型;
第一确定子单元,用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环标签特征,并确定所述第一轮循环目标模型对应的第四标签特征表示矩阵;
第二联邦子单元,用于基于所述第四标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第二联邦梯度,其中,所述第二设备用于基于获取的第四数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第四数据特征表示矩阵对应各所述第二轮剔除循环数据特征;
第二更新子单元,用于基于所述第二联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环标签方模型。
可选地,所述第二联邦单元包括:
第二获取子单元,用于获取各所述第二轮加入循环标签特征对应的第五标签特征表示矩阵;
第三联邦子单元,用于基于所述第五标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第三联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中加入所述第二轮加入循环数据特征,以确定所述第一轮循环目标模型对应的第五数据特征表示矩阵,以基于所述第五数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
第三更新子单元,用于基于所述第三联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环数据方模型;
第二确定子单元,用于将所述第二轮加入循环标签特征加入所述第一轮循环目标模型,并确定所述第一轮循环目标模型对应的第六标签特征表示矩阵;
第四联邦子单元,用于基于所述第六标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第四联邦梯度,其中,所述第二设备用于基于获取的第六数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第六数据特征表示矩阵对应各所述第二轮加入循环数据特征;
第四更新子单元,用于基于所述第四联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环标签方模型。
可选地,所述基于逐步回归法的联邦建模装置还包括:
第一确定模块,用于确定预设模型存储数据库中是否存在目标模型,其中,所述目标模型中的各目标特征与所述中间模型中的各模型特征相同;
提取模块,用于若所述预设模型存储数据库中存在所述目标模型,则提取所述目标模型作为所述中间模型,以获取所述目标建模模型。
本申请基于逐步回归法的联邦建模装置的具体实施方式与上述基于逐步回归法的联邦建模方法各实施例基本相同,在此不再赘述。
为实现上述目的,本申请实施例还提供一种基于逐步回归法的联邦建模装置,所述基于逐步回归法的联邦建模方法应用于第二设备,所述基于逐步回归法的联邦建模装置包括:
接收模块,用于获取待训练模型,并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合;
循环模块,用于基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
可选地,所述循环模块包括:
第一确定子模块,用于基于所述待剔除数据特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环数据特征;
迭代训练子模块,用于基于各所述第一轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,以协助所述第一设备获取第一轮待选取模型集合,并将所述第一轮待选取模型集合对应的模型损失值集合发送至所述第三设备;
第二确定子模块,用于接收所述第三设备基于所述模型损失值集合发送的第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征,以在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
判定子模块,用于确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
第三确定子模块,用于若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除数据特征数据集合、所述待加入数据特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环数据特征和各第二轮剔除循环数据特征;
循环子模块,用于基于各所述第二轮加入循环数据特征和各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
可选地,所述循环子模块包括:
第一迭代训练单元,用于基于各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮剔除循环模型集合,并将所述第二轮剔除循环模型集合对应的剔除模型损失值集合发送至所述第三设备;
第二迭代训练单元,用于基于各所述第二轮加入循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮加入循环模型集合,并将所述第二轮加入循环模型集合对应的加入模型损失值集合发送至所述第三设备;
接收单元,接收所述第三设备基于所述剔除模型损失值集合和所述加入模型损失值集合反馈的第二轮循环目标特征编码,并基于所述第二轮循环目标特征编码,确定所述第二轮循环目标特征,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
确定单元,用于在所述第二轮剔除循环模型集合和所述第二轮加入循环模型集合中确定所述第二轮循环目标特征对应的第二循环目标模型;
第一判定单元,用于确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
第二判定单元,用于若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第一设备进行纵向联邦建模,对所述第二轮循环目标模执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
本申请基于逐步回归法的联邦建模装置的具体实施方式与上述基于逐步回归法的联邦建模方法各实施例基本相同,在此不再赘述。
为实现上述目的,本申请实施例还提供一种基于逐步回归法的联邦建模装置,所述基于逐步回归法的联邦建模方法应用于第三设备,所述基于逐步回归法的联邦建模装置包括:
第一生成模块,用于接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数,生成特征编码集合;
第二生成模块,用于确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一模型训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备基于所述第一模型训练数据确定各待加入标签特征,并基于各所述待加入标签特征,通过与所述第二设备进行纵向联邦建模,获取模型损失值集合,并将所述模型损失值集合发送至所述第三设备,其中,所述第二设备用于基于所述第二模型训练数据,确定所述第二模型训练对应的各待加入数据特征,并基于各所述待加入数据特征,与所述第一设备进行纵向联邦建模,以协助所述第一设备获取所述模型损失值集合;
模型选择模块,用于接收所述第一设备反馈的模型损失值集合,并通过预设模型选择策略,在所述模型损失值集合中选取目标模型损失值,并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备,以供所述第一设备和所述第二设备确定目标建模模型。
可选地,所述模型选择模块包括:
计算子模块,用于基于所述预设模型选择策略,计算所述模型损失值集合对应的标准值计算结果;
选取子模块,用于基于所述标准值计算结果,在所述模型损失值集合中选取目标模型损失值。
本申请基于逐步回归法的联邦建模装置的具体实施方式与上述基于逐步回归法的联邦建模方法各实施例基本相同,在此不再赘述。
本申请实施例提供了一种可读存储介质,且所述可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于逐步回归法的联邦建模方法的步骤。
本申请可读存储介质具体实施方式与上述基于逐步回归法的联邦建模方法各实施例基本相同,在此不再赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (15)

1.一种基于逐步回归法的联邦建模方法,其特征在于,所述基于逐步回归法的联邦建模方法应用于第一设备,所述基于逐步回归法的联邦建模方法包括:
获取待训练模型,并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合;
基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
2.如权利要求1所述基于逐步回归法的联邦建模方法,其特征在于,所述预设循环训练流程包括第一轮循环和第二轮循环,各所述目标剔除特征包括第一轮循环目标特征,
所述基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合,通过与所述第一设备联邦关联的第二设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型的步骤包括:
基于所述待剔除标签特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环标签特征;
基于各所述第一轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,获得第一轮待选取模型集合,其中,所述第二设备用于基于获取的各第一轮剔除循环数据特征,与所述第一设备进行纵向联邦建模;
基于所述第一轮待选取模型集合,通过与所述第三设备进行协调交互,确定所述第一轮循环目标特征,并在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除标签特征数据集合、所述待加入标签特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环标签特征和各第二轮剔除循环标签特征;
基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
3.如权利要求2所述基于逐步回归法的联邦建模方法,其特征在于,所述第一轮待选取模型集合包括一个或者多个第一轮剔除循环标签模型和一个或者多个第一轮剔除循环数据模型,
所述基于各所述第一轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,获得第一轮待选取模型集合,其中,所述第二设备用于基于获取的各第一轮剔除循环数据特征,与所述第一设备进行纵向联邦建模的步骤包括:
针对于每一所述第一轮剔除循环标签特征,均执行以下步骤:
在所述待训练模型中剔除所述第一轮剔除循环标签特征,确定所述待训练模型对应的第一标签特征表示矩阵;
基于所述第一标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环标签模型,其中,所述第二设备用于基于获取的第一数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第一数据特征表示矩阵对应各所述第一轮剔除循环数据特征;
针对于每一所述第一轮剔除循环数据特征,均执行以下步骤:
确定各所述第一轮剔除循环标签特征对应的第二标签特征表示矩阵;
基于所述第二标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,对所述待训练模型进行迭代训练,直至所述待训练模型满足预设迭代结束条件,获得第一轮剔除循环数据模型,其中,所述第二设备用于在所述待训练模型中剔除所述第一轮剔除循环数据特征,以确定所述待训练模型对应的第二数据特征表示矩阵,以基于所述第二数据特征表示矩阵,与所述第一设备进行纵向联邦建模。
4.如权利要求2所述基于逐步回归法的联邦建模方法,其特征在于,所述基于所述第一轮待选取模型集合,通过与所述第三设备进行协调交互,确定所述第一轮循环目标特征的步骤包括:
获取所述第一轮待选取模型集合对应的模型损失值集合,并将所述模型损失值集合发送至所述第三设备,以供所述第三设备基于预设模型选择策略,在所述模型损失值集合中确定目标模型损失值,并将所述目标模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备,以供所述第二设备基于所述第一轮循环目标特征编码,确定所述第一轮循环目标模型;
接收所述第三设备反馈的所述第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征。
5.如权利要求2所述基于逐步回归法的联邦建模方法,其特征在于,所述基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型的步骤包括:
基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型;
基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型;
与所述第三设备进行协调交互,确定各所述第二轮剔除循环模型和各所述第二轮加入循环模型共同对应的第二轮循环目标特征,并基于所述第二轮循环目标特征,确定第二轮循环目标模型,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第二设备进行纵向联邦建模,并与所述第三设备进行协调交互,对所述第二轮循环目标模型执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
6.如权利要求5所述基于逐步回归法的联邦建模方法,其特征在于,所述第二设备在进行纵向联邦建模时,提供一个或者多个第二轮剔除循环数据特征,各所述第二轮剔除循环模型包括一个或者多个第二轮剔除循环标签方模型和一个或者多个第二轮剔除循环数据方模型,所述第一设备和所述第二设备均持有所述第一轮循环目标模型,
所述基于各所述第二轮剔除循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到预设迭代结束条件,获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型的步骤包括:
针对于每一所述第二轮剔除循环数据特征,均执行以下步骤:
获取各所述第二轮剔除循环标签特征对应的第三标签特征表示矩阵;
基于所述第三标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第一联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环数据特征,以确定所述第一轮循环目标模型对应的第三数据特征表示矩阵,以基于所述第三数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
基于所述第一联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环数据方模型;
针对于每一所述第二轮剔除循环标签特征,均执行以下步骤:
在所述第一轮循环目标模型中剔除所述第二轮剔除循环标签特征,并确定所述第一轮循环目标模型对应的第四标签特征表示矩阵;
基于所述第四标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第二联邦梯度,其中,所述第二设备用于基于获取的第四数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第四数据特征表示矩阵对应各所述第二轮剔除循环数据特征;
基于所述第二联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮剔除循环标签方模型。
7.如权利要求5所述基于逐步回归法的联邦建模方法,其特征在于,所述第二设备在进行纵向联邦建模时提供了一个或者多个第二轮加入循环数据特征,各所述第二轮加入循环模型包括一个或者多个第二轮加入循环标签方模型和一个或者多个第二轮加入循环数据方模型,所述第一设备和所述第二设备均持有所述第一轮循环目标模型,
所述基于各所述第二轮加入循环标签特征,通过与所述第二设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,直至所述第一轮循环目标模型达到所述预设迭代结束条件,获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型的步骤包括:
针对于每一所述第二轮加入循环数据特征,均执行以下步骤:
获取各所述第二轮加入循环标签特征对应的第五标签特征表示矩阵;
基于所述第五标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第三联邦梯度,其中,所述第二设备用于在所述第一轮循环目标模型中加入所述第二轮加入循环数据特征,以确定所述第一轮循环目标模型对应的第五数据特征表示矩阵,以基于所述第五数据特征表示矩阵,与所述第一设备进行纵向联邦建模;
基于所述第三联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环数据方模型;
针对于每一所述第二轮加入循环标签特征,均执行以下步骤:
将所述第二轮加入循环标签特征加入所述第一轮循环目标模型,并确定所述第一轮循环目标模型对应的第六标签特征表示矩阵;
基于所述第六标签特征表示矩阵,通过与所述第二设备进行纵向联邦建模,计算第四联邦梯度,其中,所述第二设备用于基于获取的第六数据特征表示矩阵,与所述第一设备进行纵向联邦建模,其中,所述第六数据特征表示矩阵对应各所述第二轮加入循环数据特征;
基于所述第四联邦梯度,对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足所述预设迭代结束条件,获得所述第二轮加入循环标签方模型。
8.如权利要求1所述基于逐步回归法的联邦建模方法,其特征在于,所述预设循环训练流程包括一轮或者多轮循环过程,且在进行每一所述循环过程中,均会产生多个中间模型,
所述基于逐步回归法的联邦建模方法还包括:
在进行每一所述循环过程之前,均执行以下步骤:
确定预设模型存储数据库中是否存在目标模型,其中,所述目标模型中的各目标特征与所述中间模型中的各模型特征相同;
若所述预设模型存储数据库中存在所述目标模型,则提取所述目标模型作为所述中间模型,以获取所述目标建模模型。
9.一种基于逐步回归法的联邦建模方法,其特征在于,所述基于逐步回归法的联邦建模方法应用于第二设备,所述基于逐步回归法的联邦建模方法包括:
获取待训练模型,并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合;
基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型。
10.如权利要求9所述基于逐步回归法的联邦建模方法,其特征在于,所述预设循环训练流程包括第一轮循环和第二轮循环,各所述目标剔除特征包括第一轮循环目标特征,
所述基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合,通过与所述第二设备联邦关联的第一设备进行纵向联邦建模,对所述待训练模型进行执行预设循环训练流程,以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征,或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征,以对所述待训练模型进行循环更新,直至循环更新后的所述待训练模型满足预设循环结束条件,获得目标建模模型的步骤包括:
基于所述待剔除数据特征数据集合,确定所述第一轮循环对应的各第一轮剔除循环数据特征;
基于各所述第一轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述待训练模型进行迭代训练,以协助所述第一设备获取第一轮待选取模型集合,并将所述第一轮待选取模型集合对应的模型损失值集合发送至所述第三设备;
接收所述第三设备基于所述模型损失值集合发送的第一轮循环目标特征编码,并基于所述第一轮循环目标特征编码,确定所述第一轮循环目标特征,以在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型;
确定所述第一轮循环目标模型是否满足预设循环结束条件,若所述第一轮循环目标模型满足所述预设循环结束条件,则将所述待训练模型作为所述目标建模模型;
若所述第一轮循环目标模型不满足所述预设循环结束条件,则基于所述待剔除数据特征数据集合、所述待加入数据特征数据集合和所述第一轮循环目标特征,确定所述第二轮循环对应的各第二轮加入循环数据特征和各第二轮剔除循环数据特征;
基于各所述第二轮加入循环数据特征和各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型。
11.如权利要求10所述基于逐步回归法的联邦建模方法,其特征在于,所述基于各所述第二轮加入循环数据特征和各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,对所述第一轮循环目标模型执行所述预设循环训练流程,以在所述第一轮循环目标模型中剔除各所述目标剔除特征,或者向所述第一轮循环目标模型中各所述目标加入特征,以对所述第一轮循环目标模型进行循环更新,直至所述第一轮循环目标模型满足预设循环结束条件,获得目标建模模型的步骤包括:
基于各所述第二轮剔除循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮剔除循环模型集合,并将所述第二轮剔除循环模型集合对应的剔除模型损失值集合发送至所述第三设备;
基于各所述第二轮加入循环数据特征,通过与所述第一设备进行纵向联邦建模,分别对所述第一轮循环目标模型进行迭代训练更新,以协助所述第一设备获取第二轮加入循环模型集合,并将所述第二轮加入循环模型集合对应的加入模型损失值集合发送至所述第三设备;
接收所述第三设备基于所述剔除模型损失值集合和所述加入模型损失值集合反馈的第二轮循环目标特征编码,并基于所述第二轮循环目标特征编码,确定所述第二轮循环目标特征,其中,所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一,且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准;
在所述第二轮剔除循环模型集合和所述第二轮加入循环模型集合中确定所述第二轮循环目标特征对应的第二循环目标模型;
确定所述第二轮循环目标模型是否满足所述预设循环结束条件,若所述第二轮循环目标模型满足所述预设循环结束条件,则将所述第一轮循环目标模型作为所述目标建模模型;
若所述第二轮循环目标模型不满足所述预设循环结束条件,则通过与所述第一设备进行纵向联邦建模,对所述第二轮循环目标模执行所述预设循环训练流程,直至所述第二循环目标模型满足所述预设循环结束条件,获得所述目标建模模型。
12.一种基于逐步回归法的联邦建模方法,其特征在于,所述基于逐步回归法的联邦建模方法应用于第三设备,所述基于逐步回归法的联邦建模方法包括:
接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数,并基于所述模型训练参数,生成特征编码集合;
确定待训练模型变量集合,并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据,并将所述第一模型训练数据发送至所述第一设备,将所述第二模型训练数据发送至所述第二设备,以供所述第一设备基于所述第一模型训练数据,通过与所述第二设备进行纵向联邦建模,获取模型损失值集合,并将所述模型损失值集合发送至所述第三设备,其中,所述第二设备用于基于所述第二模型训练数据,与所述第一设备进行纵向联邦建模,以协助所述第一设备获取所述模型损失值集合;
接收所述第一设备反馈的模型损失值集合,并基于预设模型选择策略,在所述模型损失值集合中选取目标模型损失值,并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备,以供所述第一设备和所述第二设备确定目标建模模型。
13.如权利要求12所述基于逐步回归法的联邦建模方法,其特征在于,所述基于预设模型选择策略,在所述模型损失值集合中选取目标模型损失值的步骤包括:
基于所述预设模型选择策略,计算所述模型损失值集合对应的标准值计算结果;
基于所述标准值计算结果,在所述模型损失值集合中选取目标模型损失值。
14.一种基于逐步回归法的联邦建模设备,其特征在于,所述基于逐步回归法的联邦建模设备包括:存储器、处理器以及存储在存储器上的用于实现所述基于逐步回归法的联邦建模方法的程序,
所述存储器用于存储实现基于逐步回归法的联邦建模方法的程序;
所述处理器用于执行实现所述基于逐步回归法的联邦建模方法的程序,以实现如权利要求1至8或9至11或12至13中任一项所述基于逐步回归法的联邦建模方法的步骤。
15.一种可读存储介质,其特征在于,所述可读存储介质上存储有实现基于逐步回归法的联邦建模方法的程序,所述实现基于逐步回归法的联邦建模方法的程序被处理器执行以实现如权利要求1至8或9至11或12至13中任一项所述基于逐步回归法的联邦建模方法的步骤。
CN202010241599.3A 2020-03-30 2020-03-30 基于逐步回归法的联邦建模方法、设备和可读存储介质 Pending CN111445030A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010241599.3A CN111445030A (zh) 2020-03-30 2020-03-30 基于逐步回归法的联邦建模方法、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010241599.3A CN111445030A (zh) 2020-03-30 2020-03-30 基于逐步回归法的联邦建模方法、设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN111445030A true CN111445030A (zh) 2020-07-24

Family

ID=71652611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010241599.3A Pending CN111445030A (zh) 2020-03-30 2020-03-30 基于逐步回归法的联邦建模方法、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111445030A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836767A (zh) * 2021-03-03 2021-05-25 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备、存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836767A (zh) * 2021-03-03 2021-05-25 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN110428058B (zh) 联邦学习模型训练方法、装置、终端设备及存储介质
CN110782042A (zh) 横向联邦和纵向联邦联合方法、装置、设备及介质
CN111428883A (zh) 基于向后法的联邦建模方法、设备和可读存储介质
CN108520470B (zh) 用于生成用户属性信息的方法和装置
CN111368901A (zh) 基于联邦学习的多方联合建模方法、设备和介质
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN113627085B (zh) 横向联邦学习建模优化方法、设备、介质
CN111428884A (zh) 基于向前法的联邦建模方法、设备和可读存储介质
CN111667056B (zh) 用于搜索模型结构的方法和装置
CN111898767B (zh) 数据处理方法、装置、设备及介质
CN111860868A (zh) 训练样本构建方法、装置、设备及计算机可读存储介质
CN113283222B (zh) 自动化报表生成方法、装置、计算机设备及存储介质
CN111241745A (zh) 逐步模型选择方法、设备及可读存储介质
CN113688986A (zh) 纵向联邦预测优化方法、设备、介质及计算机程序产品
CN111241746B (zh) 向前模型选择方法、设备和可读存储介质
CN112966754A (zh) 样本筛选方法、样本筛选装置及终端设备
CN111475628A (zh) 会话数据处理方法、装置、计算机设备和存储介质
CN111210022A (zh) 向后模型选择方法、设备及可读存储介质
CN110335165B (zh) 一种链路预测方法和装置
CN118410146A (zh) 基于大语言模型的交叉检索方法、装置、设备及存储介质
CN113505896A (zh) 纵向联邦学习建模优化方法、设备、介质及程序产品
CN111445030A (zh) 基于逐步回归法的联邦建模方法、设备和可读存储介质
CN114358023A (zh) 智能问答召回方法、装置、计算机设备及存储介质
CN113516254A (zh) 横向联邦学习建模优化方法、设备、介质及程序产品
CN108876422B (zh) 用于信息推广的方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination