CN111368314A - 基于交叉特征的建模、预测方法、装置、设备及存储介质 - Google Patents

基于交叉特征的建模、预测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111368314A
CN111368314A CN202010129318.5A CN202010129318A CN111368314A CN 111368314 A CN111368314 A CN 111368314A CN 202010129318 A CN202010129318 A CN 202010129318A CN 111368314 A CN111368314 A CN 111368314A
Authority
CN
China
Prior art keywords
cross
feature
encrypted
equipment
recommendation request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010129318.5A
Other languages
English (en)
Inventor
郑文琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010129318.5A priority Critical patent/CN111368314A/zh
Publication of CN111368314A publication Critical patent/CN111368314A/zh
Priority to PCT/CN2020/134740 priority patent/WO2021169477A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Abstract

本发明公开了一种基于交叉特征的建模、预测方法、设备、装置及存储介质，所述方法包括：根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量，而后利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值，并基于所述梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。在数据不出本地的情况下，同时完成设备内特征分量之间的特征交叉以及设备间特征分量之间的特征交叉，增加了推荐模型的复杂度，从而提升模型的推荐预测能力。

Description

基于交叉特征的建模、预测方法、装置、设备及存储介质
技术领域
本发明涉及机器学习技术领域，尤其涉及一种基于交叉特征的建模、预测方法、装置、设备及存储介质。
背景技术
随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。
纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合训练机器学习模型。例如两个参与者A和B，可以使用纵向联邦学习来帮助A和B构建联合机器学习预测模型，帮助A和B向他们的客户提供更好的服务。但是，现有的纵向联邦学习建模时仅考虑A和B各自的特征，模型的推荐预测能力受限。
发明内容
本发明的主要目的在于提供一种基于交叉特征的建模、预测方法、装置、设备及存储介质，旨在实现增加纵向联邦学习的模型复杂度，提升模型的推荐预测能力。
为实现上述目的，本发明提供一种基于交叉特征的建模方法，应用于参与建模的第一设备，所述第一设备与第二设备通信连接，所述基于交叉特征的建模方法包括以下步骤：
根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量；
利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值，并基于所述梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。
可选地，所述根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量的步骤包括：
根据所述可交换加密算法对所述第一设备对应的统计量进行加密，得到第一加密统计量；
发送所述第一加密统计量至所述第二设备,以使所述第二设备反馈第二加密统计量，其中，所述第二设备根据所述可交换加密算法对所述第二设备对应的统计量进行加密，得到第二加密统计量；
接收所述第二设备发送的第二加密统计量，基于所述第一加密统计量以及所述第二加密统计量，计算得到所述第一设备对应的加密交叉特征统计量。
可选地，所述利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值的步骤包括：
发送所述第一设备对应的加密交叉特征统计量至协调方，以使所述协调方反馈所述梯度值，其中，所述协调方对接收到的第一设备对应的加密交叉特征统计量以及第二设备对应的加密交叉特征统计量，进行解密操作，得到解密后的交叉特征统计量，并利用解密后的交叉特征统计量计算得到所述梯度值。
为实现上述目的，本发明还提供一种基于交叉特征的预测方法，应用于参与预测第一设备，所述基于交叉特征的预测方法包括以下步骤：
在接收到推荐请求时，获取所述推荐请求对应的推荐请求数据；
基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数；
对所述推荐请求数据进行加密，并发送加密的推荐请求数据至所述第二设备，以供所述第二设备计算并反馈加密的第二预测分数以及加密的第二设备对应的统计量，其中，所述第二设备在接收到加密的推荐请求数据时，获取所述推荐请求数据中用户设备号对应的第二特征数据，基于可交换加密算法、第二推荐模型、所述第二特征数据以及所述推荐请求数据，得到加密的第二预测分数以及加密的第二设备对应的统计量；
基于接收到的加密的第二设备对应的统计量，确定交叉特征对应的第三预测分数；
基于所述第一预测分数、所述加密的第二预测分数以及所述第三预测分数，得到所述推荐请求数据对应的目标得分。
可选地，所述基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数的步骤包括：
获取所述推荐请求数据中用户设备号对应的第一特征数据；
基于所述第一推荐模型、所述第一特征数据以及所述推荐请求数据，得到所述推荐请求对应的第一预测分数和第一设备对应的统计量。
可选地，所述基于接收到的第二设备对应的加密统计量，确定交叉特征对应的第三预测分数的步骤包括：
基于所述第一设备对应的统计量以及所述第二设备对应的加密统计量，计算得到交叉特征对应的统计量；
基于所述交叉特征对应的统计量确定交叉特征对应的第三预测分数。
可选地，所述获取所述推荐请求数据中用户设备号对应的第一特征数据的步骤包括：
在所述第一设备的用户映射库中，根据所述用户设备号查找第一特征数据。
可选地，所述基于交叉特征的建模装置包括：
计算模块，用于根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量；
训练模块，用于利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值，并基于所述梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。
可选地，所述基于交叉特征的预测装置包括：
获取模块，用于在接收到推荐请求时，获取所述推荐请求对应的推荐请求数据；
处理模块，用于基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数；
发送模块，用于对所述推荐请求数据进行加密，并发送加密的推荐请求数据至所述第二设备，以供所述第二设备计算并反馈加密的第二预测分数以及加密的第二设备对应的统计量，其中，所述第二设备在接收到加密的推荐请求数据时，获取所述推荐请求数据中用户设备号对应的第二特征数据，基于可交换加密算法、第二推荐模型、所述第二特征数据以及所述推荐请求数据，得到加密的第二预测分数以及加密的第二设备对应的统计量；
确定模块，用于基于接收到的加密的第二设备对应的统计量，确定交叉特征对应的第三预测分数；
预测模块，用于基于所述第一预测分数、所述加密的第二预测分数以及所述第三预测分数，得到所述推荐请求数据对应的目标得分
为实现上述目的，本发明还提供一种基于交叉特征的建模设备，所述基于交叉特征的建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于交叉特征的建模程序，所述基于交叉特征的建模程序被所述处理器执行时实现如上所述的基于交叉特征的建模方法的步骤。
为实现上述目的，本发明还提供一种基于交叉特征的预测设备，所述基于交叉特征的预测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于交叉特征的预测程序，所述基于交叉特征的预测程序被所述处理器执行时实现如上所述的基于交叉特征的预测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于交叉特征的建模程序，所述基于交叉特征的建模程序被处理器执行时实现如上所述的基于交叉特征的建模方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于交叉特征的预测程序，所述基于交叉特征的预测程序被处理器执行时实现如上所述的基于交叉特征的预测方法的步骤。
本发明根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的交叉特征统计量，而后利用所述第一设备对应的交叉特征统计量计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。在数据不出本地的情况下，同时完成设备内特征分量之间的特征交叉以及设备间特征分量之间的特征交叉，增加了推荐模型的复杂度，从而提升模型的推荐预测能力。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明基于交叉特征的建模方法第一实施例的流程示意图；
图3为本发明实施例涉及的一种样本数据示意图；
图4为本发明基于交叉特征的预测方法第一实施例的流程示意图；
图5为本发明基于交叉特征的建模装置实施例的功能模块示意图；
图6为本发明基于交叉特征的预测装置实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为基于交叉特征的建模设备的硬件运行环境的结构示意图。本发明实施例基于交叉特征的建模设备可以是PC，也可以是智能手机、智能电视机、平板电脑、便携计算机等具有显示功能的终端设备。
如图1所示，该基于交叉特征的建模设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的系统结构并不构成对终端系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于交叉特征的建模程序和预测程序。
在图1所示的系统中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(客户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于交叉特征的建模程序和预测程序。
在本实施例中，终端系统包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的基于交叉特征的建模程序，其中，处理器1001调用存储器1005中存储的基于交叉特征的建模程序时，执行本申请各个实施例提供的基于交叉特征的建模方法和预测方法的步骤。
基于上述的结构，提出基于交叉特征的建模方法和预测方法的各个实施例。
本发明实施例提供了基于交叉特征的建模方法和预测方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
参照图2，图2为本发明基于交叉特征的建模方法第一实施例的流程示意图。在本实施例中，所述基于交叉特征的建模方法包括：
步骤S10，根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量；
具体地，步骤S10包括：
步骤S11，根据所述可交换加密算法对所述第一设备对应的统计量进行加密，得到第一加密统计量；
步骤S12，发送所述第一加密统计量至所述第二设备,以使所述第二设备反馈第二加密统计量，其中，所述第二设备根据所述可交换加密算法对所述第二设备对应的统计量进行加密，得到第二加密统计量；
步骤S13，接收所述第二设备发送的第二加密统计量，基于所述第一加密统计量以及所述第二加密统计量，计算得到所述第一设备对应的加密交叉特征统计量。
在本实施例中，第一设备与第二设备预先建立通信连接。第一设备和第二设备的本地数据在用户维度上有重叠部分，在数据特征上有不相同的部分(可能完全不相同)，第一设备与第二设备采用各自的本地数据进行样本对齐，确定双方的共有用户和不同的数据特征，第一设备将本地数据中共有用户的数据作为训练数据，第二设备将本地数据中共有用户的数据中与第一设备数据特征不同的数据作为训练数据，也即最终确定的第一样本数据和第二样本数据中用户是相同的，数据特征不相同。第一设备和第二设备进行样本对齐的方式可采用现有的样本对齐技术，在此不进行详细赘述。例如，图3为第一设备和第二设备中的样本数据示意图，第一设备本地数据中包括3个用户{U1，U2，U3}，数据特征包括{X1，X2，X3}，第二设备本地数据包括3个用户{U1，U2，U4}，数据特征包括{X4，X5}。样本对齐后，第一设备确定的训练数据是用户U1和U2在数据特征X1、X2和X3下的数据，第二设备确定的训练数据是用户U1和U2在数据特征X4和X5下的数据。
具体地，本申请提出的是基于交叉特征的纵向联邦模型学习的一轮模型参数更新过程中，第一设备与第二设备之间以加密形式交互用于模型训练的统计量，统计量包括：预估结果、部分损失值、部分特征的梯度等中间结果，其中，加密采用同态加密算法，由第一设备和第二设备共同信任的第三方协调方产生公钥和私钥，并把公钥发送给第一设备和第二设备进行加密，第一设备和第二设备将加密的统计量发送到协调方解密，然后根据解密后的统计量中的梯度值更新第一设备的本地模型和第二设备的本地模型。在数据不出本地的情况下，同时完成设备内特征分量之间的特征交叉以及设备间特征分量之间的特征交叉，增加了推荐模型的复杂度，从而提升模型的推荐预测能力。
进一步地，第一设备中每条数据包含用户ID、商品ID以及相应的用户特征、商品特征和上下文特征，第二设备中每条记录至少要包含用户ID以及相应的用户特征。在有用户特征的场景下，交叉特征对推荐系统效果的提升帮助非常大。首先，第一设备与第二设备各自初始化自己的模型参数，第一设备与第二设备分别计算各自的统计量，统计量包括：预估结果、部分损失值、部分特征的梯度等中间结果，加密后传送给对方。针对第一设备中每条数据，第一设备基于收到的加密的第二设备加密统计量，计算得到设备间的交叉特征统计量，即第一设备对应的交叉特征统计量。
需要说明的是，基于第一设备与第二设备的数据和各自的初始化模型，计算一个基于两方数据的损失误差。该误差事实上包括三部分误差：1)仅考虑第一设备内部特征交叉的损失误差fA；2)仅考虑第二设备内部特征交叉的损失误差fB；3)考虑设备间特征交叉的损失误差fAB，其中，损失误差计算采用因子分解机的损失函数。
步骤S20，利用所述第一设备对应的交叉特征统计量计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。
具体地，步骤S20包括：发送所述第一设备对应的加密交叉特征统计量至协调方，以使所述协调方反馈所述梯度值，其中，所述协调方对接收到的第一设备对应的加密交叉特征统计量以及第二设备对应的加密交叉特征统计量，进行解密操作，得到解密后的交叉特征统计量，并利用解密后的交叉特征统计量计算得到所述梯度值。
在本实施例中，利用第一设备数据、收到的加密的第二设备的统计量，第一设备的统计量，计算得到第一设备对应的交叉特征统计量，此时第一设备对应的交叉特征统计量是被加密的，将第一设备对应的交叉特征统计量发送到协调方进行解密，协调方此时还会收到第二设备对应的交叉特征统计量，协调方将解密后第一设备对应的交叉特征统计量和第二设备对应的交叉特征统计量进行综合计算，得到第一设备中模型参数对应的梯度值，将梯度值发回给第一设备，第一设备利用梯度值更新本地模型参数。同时，协调方检测是否满足预设停止条件，如果不满足预设停止条件，则继续下一轮迭代训练；直到协调方检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。
第二设备的第二推荐模型训练过程与第一设备的第一推荐模型训练过程相同，即根据预设的可交换加密算法对第一设备和第二设备各自的统计量进行加密交换，计算得到所述第二设备对应的交叉特征统计量；第二设备利用所述第二设备对应的交叉特征统计量计算得到所述第二设备中模型参数对应的加密梯度值，并基于所述加密梯度值更新所述第二设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第二设备的第二推荐模型。
具体地，第二设备利用第二设备数据、收到的加密的第一设备的统计量，第二设备的统计量，计算得到第二设备对应的交叉特征统计量，此时第二设备对应的交叉特征统计量是被加密的，将第二设备对应的交叉特征统计量发送到协调方进行解密，协调方此时还会收到第一设备对应的交叉特征统计量，协调方将解密后第二设备对应的交叉特征统计量和第一设备对应的交叉特征统计量进行综合计算，得到第二设备中模型参数对应的梯度值，将梯度值发回给第二设备，第二设备利用第二梯度值更新本地模型参数。同时，协调方检测是否满足预设停止条件，如果不满足预设停止条件，则继续下一轮迭代训练；直到协调方检测到满足预设停止条件时，得到训练完成的第二设备的第二推荐模型。
本实施例提出的基于交叉特征的建模方法，根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量，而后利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值，并基于所述梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。在数据不出本地的情况下，同时完成设备内特征分量之间的特征交叉以及设备间特征分量之间的特征交叉，增加了推荐模型的复杂度，从而提升模型的推荐预测能力。
进一步的，参照图4，根据基于交叉特征的建模方法第一实施例，本发明基于交叉特征的预测方法第一实施例提供一种基于交叉特征的预测方法，所述基于交叉特征的预测方法应用于第一设备，所述基于交叉特征的预测方法包括：
步骤A10，在接收到推荐请求时，获取所述推荐请求对应的推荐请求数据；
在本实施例中，第一终端接收到推荐请求时，获取推荐请求对应的推荐请求数据，其中，推荐请求数据至少包括用户设备号、商品特征和上下文特征等。
用户设备号即手机或其他智能终端的设备码，英文缩写为：IMEI，即国际移动设备身份码，由15位数字组成。通俗的讲，设备号就是智能终端的身份证，这是出厂时就分配好的，在全世界的移动设备中是唯一的。通常情况下，一个智能终端的设备码为一个用户单独所有，故在本发明中每个推荐请求以用户设备号为标识符，即一个用户设备号代表一个用户，根据目标得分，预测该用户是否会购买该商品的可能性。
步骤A20，基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数；
具体地，步骤A20包括：
步骤A21，获取所述推荐请求数据中用户设备号对应的第一特征数据；
具体地，步骤A21包括：在所述第一设备的用户映射库中，根据所述用户设备号查找第一特征数据。
步骤A22，基于所述第一推荐模型、所述第一特征数据以及所述推荐请求数据，得到所述推荐请求对应的第一预测分数和第一设备对应的统计量。
在本实施例中，第一设备接收到推荐请求获取到推荐请求数据后，需要将推荐请求数据中的用户设备号，转换为第一设备可以识别的用户，即第一设备通过查找事先已经建立的用户映射库，在用户映射库中，根据用户设备号查找用户本地特征数据，也就是第一特征数据。
进一步地，根据第一特征数据、推荐请求数据、训练好的第一推荐模型，得到该推荐请求数据中用户设备号第一预测分数以及第一设备对应的统计量。其中，第一预测分数是指，根据第一设备中的用户特征数据，对用户是否会购买该商品的可能性的预测值。第一推荐模型为根据上述的基于交叉特征的建模方法得到，具体为根据第一设备对应的梯度值更新模型参数，直到模型收敛，得到训练好的第一推荐模型，第一设备对应的梯度值为根据第一设备对应的加密交叉特征统计量确定，加密交叉特征统计量为基于第一设备对应的第一加密统计量和第二设备对应的第二加密统计量得到的。
步骤A30，对所述推荐请求数据进行加密，并发送加密的推荐请求数据至所述第二设备，以供所述第二设备计算并反馈加密的第二预测分数以及加密的第二设备对应的统计量，其中，所述第二设备在接收到加密的推荐请求数据时，获取所述推荐请求数据中用户设备号对应的第二特征数据，基于可交换加密算法、第二推荐模型、所述第二特征数据以及所述推荐请求数据，得到加密的第二预测分数以及加密的第二设备对应的统计量；
在本实施例中，第一设备将推荐请求数据加密后，发送到第二设备，第二设备进一步根据推荐请求数据计算第二预测分数以及第二设备对应的统计量。
具体地，第二设备接收到加密的推荐请求数据后，第二设备也需要将推荐请求数据中的用户设备号，转换为第二设备可以识别的用户，即第二设备通过查找事先已经建立的用户映射库，在用户映射库中，根据用户设备号查找用户特征数据，即第二特征数据。
进一步地，基于第二特征数据、加密的推荐请求数据、训练好的第二推荐模型，得到该推荐请求数据中用户设备号第二预测分数以及第二设备对应的统计量。其中，第二预测分数是指，根据第二设备中的用户特征数据，对用户是否会购买该商品的可能性的预测值。发送加密的第二预测分数以及加密的第二设备对应的统计量至所述第一设备。第二推荐模型为根据上述的基于交叉特征的建模方法得到，具体为根据第二设备对应的梯度值更新模型参数，直到模型收敛，得到训练好的第二推荐模型，第二设备对应的梯度值为根据第二设备对应的加密交叉特征统计量确定，加密交叉特征统计量为基于第二设备对应的第二加密统计量和第一设备对应的第一加密统计量得到的。
步骤A40，基于接收到的加密的第二设备对应的统计量，确定交叉特征对应的第三预测分数；
具体地，步骤A40包括：
步骤A41，基于所述第一设备对应的统计量以及所述第二设备对应的加密统计量，计算得到交叉特征对应的统计量；
步骤A42，基于所述交叉特征对应的统计量确定交叉特征对应的第三预测分数。
在本实施例中，第一设备根据计算得到的第一设备对应的统计量，以及接收到的第二设备对应的加密统计量，计算得到设备间特征交叉对应的预测分数，即第三预测分数。其中，第三预测分数是指，根据第一设备和第二设备中的用户特征的特征交叉，对用户是否会购买该商品的可能性的预测值。
步骤A50，基于所述第一预测分数、所述加密的第二预测分数以及所述第三预测分数，得到所述推荐请求数据对应的目标得分。
在本实施例中，第一设备将加密的第二预测分数发送到协调方进行解密，得到第二预测分数，然后将第一预测分数、第二预测分数和第三预测分数进行求和，得到推荐请求数据对应的目标得分。
本实施例提出的基于交叉特征的推荐方法，在接收到推荐请求时，获取所述推荐请求对应的推荐请求数据，而后基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数，接下来对所述推荐请求数据进行加密，并发送加密的推荐请求数据至所述第二设备，以供所述第二设备计算并反馈加密的第二预测分数以及加密的第二设备对应的统计量，然后基于接收到的加密的第二设备对应的统计量，确定交叉特征对应的第三预测分数，最后基于所述第一预测分数、所述加密的第二预测分数以及所述第三预测分数，得到所述推荐请求数据对应的目标得分。利用训练好的基于交叉特征的推荐模型进行预测，推荐模型不但包括设备内特征分量之间的特征交叉，还包括设备间特征分量之间的特征交叉，推荐模型的复杂度高，从而模型的推荐预测值更精准。
本发明进一步提供一种基于交叉特征的建模装置，参照图5，图5为本发明基于交叉特征的建模装置实施例的功能模块示意图。
计算模块10，用于根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量；
训练模块20，用于利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值，并基于所述梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。
进一步地，所述计算模块10还用于：
根据所述可交换加密算法对所述第一设备对应的统计量进行加密，得到第一加密统计量；
发送所述第一加密统计量至所述第二设备,以使所述第二设备反馈第二加密统计量，其中，所述第二设备根据所述可交换加密算法对所述第二设备对应的统计量进行加密，得到第二加密统计量；
接收所述第二设备发送的第二加密统计量，基于所述第一加密统计量以及所述第二加密统计量，计算得到所述第一设备对应的加密交叉特征统计量。
进一步地，所述训练模块20还用于：
发送所述第一设备对应的加密交叉特征统计量至协调方，以使所述协调方反馈所述梯度值，其中，所述协调方对接收到的第一设备对应的加密交叉特征统计量以及第二设备对应的加密交叉特征统计量，进行解密操作，得到解密后的交叉特征统计量，并利用解密后的交叉特征统计量计算得到所述梯度值
本发明进一步提供一种基于交叉特征的预测装置，参照图6，图6为本发明基于交叉特征的预测装置实施例的功能模块示意图。
获取模块10，用于在接收到推荐请求时，获取所述推荐请求对应的推荐请求数据；
处理模块20，用于基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数；
发送模块30，用于对所述推荐请求数据进行加密，并发送加密的推荐请求数据至所述第二设备，以供所述第二设备计算并反馈加密的第二预测分数以及加密的第二设备对应的统计量，其中，所述第二设备在接收到加密的推荐请求数据时，获取所述推荐请求数据中用户设备号对应的第二特征数据，基于可交换加密算法、第二推荐模型、所述第二特征数据以及所述推荐请求数据，得到加密的第二预测分数以及加密的第二设备对应的统计量；
确定模块40，用于基于接收到的加密的第二设备对应的统计量，确定交叉特征对应的第三预测分数；
预测模块50，用于基于所述第一预测分数、所述加密的第二预测分数以及所述第三预测分数，得到所述推荐请求数据对应的目标得分
进一步地，所述处理模块20还用于：
获取所述推荐请求数据中用户设备号对应的第一特征数据；
基于所述第一推荐模型、所述第一特征数据以及所述推荐请求数据，得到所述推荐请求对应的第一预测分数和第一设备对应的统计量。
进一步地，所述确定模块40还用于：
基于所述第一设备对应的统计量以及所述第二设备对应的加密统计量，计算得到交叉特征对应的统计量；
基于所述交叉特征对应的统计量确定交叉特征对应的第三预测分数。
进一步地，所述处理模块20还用于：
在所述第一设备的用户映射库中，根据所述用户设备号查找第一特征数据。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于交叉特征的建模程序，所述基于交叉特征的建模程序被处理器执行时实现如下所述的基于交叉特征的建模方法的步骤。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于交叉特征的预测程序，所述基于交叉特征的预测程序被处理器执行时实现如下所述的基于交叉特征的预测方法的步骤。
本发明基于交叉特征的建模设备和存储介质的各实施例，均可参照本发明基于交叉特征的建模方法各个实施例，或者基于交叉特征的预测设备和存储介质的各实施例，均可参照本发明基于交叉特征的预测方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种基于交叉特征的建模方法，其特征在于，应用于参与建模的第一设备，所述第一设备与第二设备通信连接，所述基于交叉特征的建模方法包括：
根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量；
利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值，并基于所述梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。
2.如权利要求1所述基于交叉特征的建模方法，其特征在于，所述根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量的步骤包括：
根据所述可交换加密算法对所述第一设备对应的统计量进行加密，得到第一加密统计量；
发送所述第一加密统计量至所述第二设备,以使所述第二设备反馈第二加密统计量，其中，所述第二设备根据所述可交换加密算法对所述第二设备对应的统计量进行加密，得到第二加密统计量；
接收所述第二设备发送的第二加密统计量，基于所述第一加密统计量以及所述第二加密统计量，计算得到所述第一设备对应的加密交叉特征统计量。
3.如权利要求1所述基于交叉特征的建模方法，其特征在于，所述利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值的步骤包括：
发送所述第一设备对应的加密交叉特征统计量至协调方，以使所述协调方反馈所述梯度值，其中，所述协调方对接收到的第一设备对应的加密交叉特征统计量以及第二设备对应的加密交叉特征统计量，进行解密操作，得到解密后的交叉特征统计量，并利用解密后的交叉特征统计量计算得到所述梯度值。
4.一种基于交叉特征的预测方法，其特征在于，应用于参与预测的第一设备，所述第一设备与第二设备通信连接，所述基于交叉特征的预测方法包括：
在接收到推荐请求时，获取所述推荐请求对应的推荐请求数据；
基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数；
对所述推荐请求数据进行加密，并发送加密的推荐请求数据至所述第二设备，以供所述第二设备计算并反馈加密的第二预测分数以及加密的第二设备对应的统计量，其中，所述第二设备在接收到加密的推荐请求数据时，获取所述推荐请求数据中用户设备号对应的第二特征数据，基于可交换加密算法、第二推荐模型、所述第二特征数据以及所述推荐请求数据，得到加密的第二预测分数以及加密的第二设备对应的统计量；
基于接收到的加密的第二设备对应的统计量，确定交叉特征对应的第三预测分数；
基于所述第一预测分数、所述加密的第二预测分数以及所述第三预测分数，得到所述推荐请求数据对应的目标得分。
5.如权利要求4所述基于交叉特征的预测方法，其特征在于，所述基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数的步骤包括：
获取所述推荐请求数据中用户设备号对应的第一特征数据；
基于所述第一推荐模型、所述第一特征数据以及所述推荐请求数据，得到所述推荐请求对应的第一预测分数和第一设备对应的统计量。
6.如权利要求5所述基于交叉特征的预测方法，其特征在于，所述基于接收到的第二设备对应的加密统计量，确定交叉特征对应的第三预测分数的步骤包括：
基于所述第一设备对应的统计量以及所述第二设备对应的加密统计量，计算得到交叉特征对应的统计量；
基于所述交叉特征对应的统计量确定交叉特征对应的第三预测分数。
7.如权利要求5所述基于交叉特征的预测方法，其特征在于，所述获取所述推荐请求数据中用户设备号对应的第一特征数据的步骤包括：
在所述第一设备的用户映射库中，根据所述用户设备号查找第一特征数据。
8.一种基于交叉特征的建模装置，其特征在于，所述基于交叉特征的建模装置包括：
计算模块，用于根据预设的可交换加密算法对所述第一设备和所述第二设备各自的统计量进行加密交换，计算得到所述第一设备对应的加密交叉特征统计量；
训练模块，用于利用所述第一设备对应的加密交叉特征统计量，确定所述第一设备中模型参数对应的梯度值，并基于所述梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的第一推荐模型。
9.一种基于交叉特征的预测装置，其特征在于，所述基于交叉特征的预测装置包括：
获取模块，用于在接收到推荐请求时，获取所述推荐请求对应的推荐请求数据；
处理模块，用于基于所述推荐请求数据以及第一推荐模型，得到所述推荐请求对应的第一预测分数；
发送模块，用于对所述推荐请求数据进行加密，并发送加密的推荐请求数据至所述第二设备，以供所述第二设备计算并反馈加密的第二预测分数以及加密的第二设备对应的统计量，其中，所述第二设备在接收到加密的推荐请求数据时，获取所述推荐请求数据中用户设备号对应的第二特征数据，基于可交换加密算法、第二推荐模型、所述第二特征数据以及所述推荐请求数据，得到加密的第二预测分数以及加密的第二设备对应的统计量；
确定模块，用于基于接收到的加密的第二设备对应的统计量，确定交叉特征对应的第三预测分数；
预测模块，用于基于所述第一预测分数、所述加密的第二预测分数以及所述第三预测分数，得到所述推荐请求数据对应的目标得分。
10.一种基于交叉特征的建模设备，其特征在于，所述基于交叉特征的建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于交叉特征的建模程序，所述基于交叉特征的建模程序被所述处理器执行时实现如权利要求1至3中任一项所述的基于交叉特征的建模方法的步骤。
11.一种基于交叉特征的预测设备，其特征在于，所述基于交叉特征的建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于交叉特征的建模程序，所述基于交叉特征的建模程序被所述处理器执行时实现如权利要求4至7中任一项所述的基于交叉特征的建模方法的步骤。
12.一种存储介质，其特征在于，所述存储介质上存储有基于交叉特征的建模程序，所述基于交叉特征的建模程序被处理器执行时实现如权利要求1至3中任一项所述的基于交叉特征的建模方法的步骤。
13.一种存储介质，其特征在于，所述存储介质上存储有基于交叉特征的预测程序，所述基于交叉特征的预测程序被处理器执行时实现如权利要求4至7中任一项所述的基于交叉特征的预测方法的步骤。
CN202010129318.5A 2020-02-28 2020-02-28 基于交叉特征的建模、预测方法、装置、设备及存储介质 Pending CN111368314A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010129318.5A CN111368314A (zh) 2020-02-28 2020-02-28 基于交叉特征的建模、预测方法、装置、设备及存储介质
PCT/CN2020/134740 WO2021169477A1 (zh) 2020-02-28 2020-12-09 基于交叉特征的建模、预测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010129318.5A CN111368314A (zh) 2020-02-28 2020-02-28 基于交叉特征的建模、预测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111368314A true CN111368314A (zh) 2020-07-03

Family

ID=71208263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010129318.5A Pending CN111368314A (zh) 2020-02-28 2020-02-28 基于交叉特征的建模、预测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111368314A (zh)
WO (1) WO2021169477A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169477A1 (zh) * 2020-02-28 2021-09-02 深圳前海微众银行股份有限公司 基于交叉特征的建模、预测方法、装置、设备及存储介质
CN113505894A (zh) * 2021-06-02 2021-10-15 北京航空航天大学 纵向联邦学习线性回归和逻辑回归模型训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807967A (zh) * 2017-10-13 2018-03-16 平安科技（深圳）有限公司 实时推荐方法、电子设备及计算机可读存储介质
CN110110229A (zh) * 2019-04-25 2019-08-09 深圳前海微众银行股份有限公司 一种信息推荐方法及装置
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN110837653A (zh) * 2019-11-07 2020-02-25 深圳前海微众银行股份有限公司 标签预测方法、装置以及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410135B2 (en) * 2015-05-21 2019-09-10 Software Ag Usa, Inc. Systems and/or methods for dynamic anomaly detection in machine sensor data
CN110245510B (zh) * 2019-06-19 2021-12-07 北京百度网讯科技有限公司 用于预测信息的方法和装置
CN111368314A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 基于交叉特征的建模、预测方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807967A (zh) * 2017-10-13 2018-03-16 平安科技（深圳）有限公司 实时推荐方法、电子设备及计算机可读存储介质
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN110110229A (zh) * 2019-04-25 2019-08-09 深圳前海微众银行股份有限公司 一种信息推荐方法及装置
CN110837653A (zh) * 2019-11-07 2020-02-25 深圳前海微众银行股份有限公司 标签预测方法、装置以及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIANG YANG 等: ""Federated Machine Learning: Concept and Applications"", pages 4, Retrieved from the Internet <URL:https://arXiv.org/abs/1902.04885> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169477A1 (zh) * 2020-02-28 2021-09-02 深圳前海微众银行股份有限公司 基于交叉特征的建模、预测方法、装置、设备及存储介质
CN113505894A (zh) * 2021-06-02 2021-10-15 北京航空航天大学 纵向联邦学习线性回归和逻辑回归模型训练方法及装置
CN113505894B (zh) * 2021-06-02 2023-12-15 北京航空航天大学 纵向联邦学习线性回归和逻辑回归模型训练方法及装置

Also Published As

Publication number Publication date
WO2021169477A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
CN111428881B (zh) 识别模型的训练方法、装置、设备及可读存储介质
CN109165725B (zh) 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109255444B (zh) 基于迁移学习的联邦建模方法、设备及可读存储介质
CN110633805B (zh) 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN110189192B (zh) 一种信息推荐模型的生成方法及装置
CN113159327B (zh) 基于联邦学习系统的模型训练方法、装置、电子设备
CN110633806A (zh) 纵向联邦学习系统优化方法、装置、设备及可读存储介质
WO2022247576A1 (zh) 一种数据处理方法、装置、设备及计算机可读存储介质
WO2021159798A1 (zh) 纵向联邦学习系统优化方法、设备及可读存储介质
JP7095140B2 (ja) 特徴抽出に基くマルチモデルトレーニング方法及び装置、電子機器と媒体
CN110851869A (zh) 敏感信息处理方法、设备及可读存储介质
CN109241770B (zh) 基于同态加密的信息值计算方法、设备及可读存储介质
CN111428887B (zh) 一种基于多个计算节点的模型训练控制方法、装置及系统
CN111325352B (zh) 基于纵向联邦学习的模型更新方法、装置、设备及介质
CN111401277A (zh) 人脸识别模型更新方法、装置、设备和介质
CN110807528A (zh) 特征相关性计算方法、设备及计算机可读存储介质
CN111241559A (zh) 训练模型保护方法、装置、系统、设备和计算机存储介质
CN111368314A (zh) 基于交叉特征的建模、预测方法、装置、设备及存储介质
CN112231309A (zh) 纵向联邦数据统计的去重方法、装置、终端设备及介质
CN112381000A (zh) 基于联邦学习的人脸识别方法、装置、设备及存储介质
CN111368196A (zh) 模型参数的更新方法、装置、设备及可读存储介质
CN116502732B (zh) 基于可信执行环境的联邦学习方法以及系统
CN112949866A (zh) 泊松回归模型的训练方法、装置、电子设备及存储介质
CN111414636A (zh) 识别模型的更新方法、装置、设备及存储介质
CN110851794A (zh) 媒体文件上链方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination