CN111159761A - 一种模型训练方法及装置 - Google Patents

一种模型训练方法及装置 Download PDF

Info

Publication number
CN111159761A
CN111159761A CN201911329796.4A CN201911329796A CN111159761A CN 111159761 A CN111159761 A CN 111159761A CN 201911329796 A CN201911329796 A CN 201911329796A CN 111159761 A CN111159761 A CN 111159761A
Authority
CN
China
Prior art keywords
data
user
terminal
encrypted
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911329796.4A
Other languages
English (en)
Other versions
CN111159761B (zh
Inventor
刘博�
郑文琛
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911329796.4A priority Critical patent/CN111159761B/zh
Publication of CN111159761A publication Critical patent/CN111159761A/zh
Application granted granted Critical
Publication of CN111159761B publication Critical patent/CN111159761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种模型训练方法及装置，其中方法为：第一终端获取点击数据和转化数据混合后加密的混合数据；所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据；所述第一终端根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，将所述加密的模型参数发送至第二终端；所述第一终端接收所述第二终端解密后的模型参数；所述解密后的模型参数用于所述第一终端根据所述转化预估模型生成转化预估概率。

Description

一种模型训练方法及装置
技术领域
本发明涉及金融科技(Fintech)领域和计算机软件领域，尤其涉及一种模型训练方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链(Blockchain)、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。目前，金融科技领域中的推荐信息投放尤其重要，是拓展金融产品客户的主要渠道。信息推荐源对信息推送的需求愈发强烈，不同场景下不同用户行为与信息推送诉求存在显著关系，根据用户的不同行为可以对用户进行针对性信息推送。
因此，信息推荐源需要对待推送信息的用户的行为进行预测。目前的方式是直接给终端大量的用户的转化数据，让终端构建用户转化行为相关的预测模型，但这种通过预测模型来评估待推送信息的用户的行为可能会泄露转化用户隐私的风险。另外的方式中，直接使用终端自己积累的转化数据，但一个终端的转化数据由较少，对不同标签值的用户数据区分程度不够明显，即很多用户数据的特征很接近，仅标签值的差异较大，从而在预测模型的训练过程中，对特征的区分不明显，导致用户行为的预测模型泛化能力较差。因此，目前没有泛化能力较强并保护用户隐私的预测模型，是一个亟待解决的问题。
发明内容
本申请提供一种模型训练方法及装置，解决了现有技术中没有泛化能力较强并保护用户隐私的预测模型的问题。
第一方面，本申请提供一种模型训练方法，包括：第一终端获取点击数据和转化数据混合后加密的混合数据；所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据；所述特征表达模型用于区分所述曝光数据和所述加密的混合数据；所述第一终端根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，将所述加密的模型参数发送至第二终端；所述第一终端接收所述第二终端解密后的模型参数；所述解密后的模型参数用于所述第一终端根据所述转化预估模型生成转化预估概率。
上述方法中，第一终端获取点击数据和转化数据混合后加密的混合数据；第一终端并不知悉混合数据中的转化用户，由于特征表达模型用于区分所述曝光数据和所述加密的混合数据，因此，所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据对数据特征的区分更加明显，进一步地，第一终端根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，并接收解密后的模型参数，从而可以得到一个泛化能力更强且能保护用户隐私的转化预估模型。
一种可选实施方式中，所述特征表达模型是根据所述曝光数据和所述加密的混合数据基于最小化预设损失函数训练得到的；所述预设损失函数表征了曝光数据之间的聚合程度，以及表征了点击数据和转化数据之间的聚合程度。
由于所述特征表达模型是根据所述曝光数据和所述加密的混合数据基于最小化预设损失函数训练得到的，而预设损失函数表征了曝光数据之间的聚合程度，以及表征了点击数据和转化数据之间的聚合程度，因此可以通过设置预设损失函数来训练一个区分点击数据和转化数据的特征表达模型。
一种可选实施方式中，所述第一终端获取待评估用户的第一用户特征；所述第一终端将所述待评估用户的第一用户特征输入所述转化预估模型，基于所述解密后的模型参数，获得所述待评估用户的转化预估概率。
当第一终端获取到待评估用户的第一用户特征后，可以通过训练好的转化预估模型，基于所述解密后的模型参数，获得所述待评估用户的转化预估概率，从而提供了一种对所述待评估用户进行转化预估的方法。
一种可选实施方式中，所述转化预估模型中包括所述点击数据的第一基准特征，以及转化数据的第二基准特征；所述方法还包括：所述第一终端获取待评估用户的第二用户特征；所述第一终端通过待评估用户的第二用户特征分别与所述第一基准特征及所述第二基准特征的关系，确定所述待评估用户的转化预估概率。
上述方法中，训练的转化预估模型中包括第一基准特征以及第二基准特征，第一终端可以仅通过待评估用户的用户特征分别与所述第一基准特征及所述第二基准特征的关系做简单运算，即可确定所述待评估用户的转化预估概率，从而提升了待评估用户的转化预估概率的效率。
一种可选实施方式中，所述第一终端通过待评估用户的第二用户特征分别与所述第一基准特征及所述第二基准特征的关系，确定所述待评估用户的转化预估概率，包括：所述第一终端通过所述特征表达模型将所述第二用户特征转换为第三用户特征；所述第一终端确定所述第三用户特征与所述第一基准特征的第一欧氏距离；所述第一终端根据所述第三用户特征与所述第二基准特征的第二欧氏距离；所述第一终端根据所述第一欧氏距离与所述第二欧氏距离的距离差值，确定所述待评估用户的转化预估概率。
上述方法中，所述第一终端通过所述特征表达模型将所述第二用户特征转换为第三用户特征，并分别计算得到第一欧氏距离和第二欧氏距离，显然，第一欧氏距离和第二欧氏距离能评估第三用户特征与第一基准特征、第二基准特征的相似性，进一步增加了转化预估模型的预估准确率。
一种可选实施方式中，所述第二终端存有多个转化用户的用户标识；所述加密的混合数据的标签值是所述第二终端将所述多个转化用户的用户标识与多个点击用户的用户标识匹配得到的；所述第一终端获取点击数据和转化数据混合后加密的混合数据之前，还包括：所述第一终端向所述第二终端发送所述多个点击用户的用户标识。
上述方式下，第一终端先向第二终端发送所述多个点击用户的用户标识，由于所述第二终端存有多个转化用户的用户标识，因此所述第二终端可以将所述多个转化用户的用户标识与多个点击用户的用户标识匹配得到加密的混合数据的标签值，因此第一终端并不知悉哪些转化用户在第二终端存有用户标识；既得到了可以用于训练的加密的混合数据，又保护了用户隐私。
第二方面，本申请提供一种模型训练方法，包括：第二终端获取来自第一终端的加密的模型参数；所述加密的模型参数是所述第一终端根据加密的特征表达数据得到的转化预估模型的未解密参数；所述特征表达数据是所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型得到的；所述加密的混合数据为所述第一终端根据点击数据和转化数据混合后加密的数据；所述第二终端将所述加密的模型参数加密为解密后的模型参数，并将所述解密后的模型参数发送至所述第一终端。
上述方法中，第二终端获取来自第一终端的加密的模型参数，而加密的模型参数是所述第一终端根据加密的特征表达数据得到的转化预估模型的未解密参数，由于特征表达模型用于区分所述曝光数据和所述加密的混合数据，得到加密的特征表达数据对数据特征的区分更加明显，进一步地，所述第二终端将所述加密的模型参数加密为解密后的模型参数，并将所述解密后的模型参数发送至所述第一终端，从而可以得到一个泛化能力更强且能保护用户隐私的转化预估模型。
第三方面，本申请提供一种模型训练装置，包括：获取模块，用于获取点击数据和转化数据混合后加密的混合数据；训练模块，用于根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据；所述特征表达模型用于区分所述曝光数据和所述加密的混合数据；根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，将所述加密的模型参数发送至第二终端；接收所述第二终端解密后的模型参数；所述解密后的模型参数用于所述装置根据所述转化预估模型生成转化预估概率。
一种可选实施方式中，所述特征表达模型是根据所述曝光数据和所述加密的混合数据基于最小化预设损失函数训练得到的；所述预设损失函数表征了曝光数据之间的聚合程度，以及表征了点击数据和转化数据之间的聚合程度。
一种可选实施方式中，所述获取模块还用于：获取待评估用户的第一用户特征；所述训练模块还用于：将所述待评估用户的第一用户特征输入所述转化预估模型，基于所述解密后的模型参数，获得所述待评估用户的转化预估概率。
一种可选实施方式中，所述转化预估模型中包括所述点击数据的第一基准特征，以及转化数据的第二基准特征；所述获取模块还用于：获取待评估用户的第二用户特征；所述训练模块还用于：通过所述待评估用户的第二用户特征分别与所述第一基准特征及所述第二基准特征的关系，确定所述待评估用户的转化预估概率。
一种可选实施方式中，所述训练模块具体用于：所述第一终端通过所述特征表达模型将所述第二用户特征转换为第三用户特征；所述第一终端确定所述第三用户特征与所述第一基准特征的第一欧氏距离；所述第一终端根据所述第三用户特征与所述第二基准特征的第二欧氏距离；所述第一终端根据所述第一欧氏距离与所述第二欧氏距离的距离差值，确定所述待评估用户的转化预估概率。
上述第三方面及第三方面各个实施方式的有益效果，可以参考上述第一方面及第一方面各个实施方式的有益效果，这里不再赘述。
第四方面，本申请提供一种模型训练装置，包括：获取模块，用于获取来自第一终端的加密的模型参数；所述加密的模型参数是所述第一终端根据加密的特征表达数据得到的转化预估模型的未解密参数；所述特征表达数据是所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型得到的；所述加密的混合数据为所述第一终端根据点击数据和转化数据混合后加密的数据；训练模块，用于将所述加密的模型参数加密为解密后的模型参数，并将所述解密后的模型参数发送至所述第一终端。
第五方面，本申请提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个实施方式的方法。
第六方面，本申请提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个实施方式的方法。
附图说明
图1为本申请实施例提供的一种模型训练方法的步骤流程示意图；
图2为本申请实施例提供的一种模型训练方法可应用的架构示意图；
图3为本申请实施例提供的一种模型训练装置的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互结合。
在金融机构(银行机构、保险机构或证券机构)在进行业务(如银行的贷款业务、存款业务等)运转过程中，金融科技领域中的信息推送尤其重要，是拓展金融产品客户的主要渠道。信息推荐源对投放效果数据的需求愈发强烈，不同场景下不同用户行为与信息推送诉求存在显著关系，根据用户的不同行为可以对用户进行针对性投放。但目前直接给终端大量的用户的转化数据构建用户转化行为相关的预测模型的方式，存在泄露转化用户隐私的风险。另外的方式中，直接使用终端自己积累的转化数据，但一个终端的转化数据由较少，对不同标签值的用户数据区分程度不够明显，即很多用户数据的特征很接近，仅标签值的差异较大，从而在预测模型的训练过程中，对特征的区分不明显，导致用户行为的预测模型泛化能力较差。因此，目前没有泛化能力较强并保护用户隐私的预测模型，是一个亟待解决的问题。这种情况不符合银行等金融机构的需求，无法保证金融机构各项业务的高效运转。
为此，如图1所示，本申请提出一种模型训练方法，包括以下步骤：
步骤101：第一终端获取点击数据和转化数据混合后加密的混合数据。
步骤102：所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据。
所述特征表达模型用于区分所述曝光数据和所述加密的混合数据。
步骤103：所述第一终端根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，将所述加密的模型参数发送至第二终端。
步骤104：所述第一终端接收所述第二终端解密后的模型参数；所述解密后的模型参数用于所述第一终端根据所述转化预估模型生成转化预估概率。
转化预估概率为点击数据了推送信息的用户发生转化行为的概率。
步骤101～步骤103中，第一终端可以为信息推荐平台；第二终端可以为信息推荐源。需要说明的是，对于信息推送来说，用户的行为可以分为三个阶段：曝光数据、点击数据、转化。曝光数据指信息推送给了用户，如在用户的网页上插入推荐信息；点击数据指用户点击数据了所推送的推荐信息；转化用户发生了转化行为。因此，曝光数据为推送了信息但未发生点击数据行为的用户特征数据；点击数据为点击数据了推送信息但未发生转化行为的用户特征数据；转化数据为点击数据了推送信息且发生转化行为的用户特征数据。举例来说，转化行为是注册、购买等点击数据后的进一步的预设行为。所以用户在点击数据之前必然推送了信息，用户在发生转化行为之前必然要点击数据所推送的信息。
步骤101之前的一种可选实施方式如下：
(1)所述第一终端向第二终端发送所述多个点击用户的用户标识。
(2)所述第一终端接收所述第二终端反馈的所述多个点击用户标识及加密标签值。
所述点击用户的加密标签值是所述第二终端根据转化用户与所述点击用户匹配后获得的，所述加密标签值对应所述点击数据标签值或转化标签值，即匹配成功的点击用户的加密标签值对应转化标签值，匹配不成功的点击用户的加密标签值对应点击数据标签值。其中，加密算法可以为同态加密算法。
用户的标签值的具体取值可以包括三种：曝光标签值、点击数据标签值、转化标签值。如果用户的标签值为曝光标签值，如曝光标签值设为0，则表征该用户为推送了信息但未发生点击数据行为的用户；如果用户的标签值为点击数据标签值，如点击数据标签值设为1，则表征用户为点击数据了推送信息但未发生转化行为的用户；如果用户的标签值为转化标签值，如转化标签值设为2，则表征该用户为点击数据了推送信息且发生转化行为的用户。
(3)所述第一终端根据第二终端反馈的所述多个点击用户标识及加密标签值，将该用户标识的加密标签值与该用户标识的点击数据的用户特征一同作为加密的混合数据。
举例来说，某个用户的标识为X1；在(1)中，信息推荐平台端向信息推荐源端发送X1。信息推荐源端接收到X1后，可以在信息推荐源端的本地转化数据中搜索，是否存在X1。如果存在，则将X1的标签值置为转化标签值，否则，将X1的标签值置为点击数据标签值。然后信息推荐源端将X1的标签值加密，得到加密标签值[X1]PK,并进行(2)(3)。在(3)中，信息推荐平台端根据获得了，X1、[X1]pk,便将[X1]pk作为信息推荐平台端中X1的标签值。
步骤102中，所述特征表达模型是根据所述曝光数据和所述加密的混合数据基于最小化预设损失函数训练得到的；所述预设损失函数表征了曝光数据之间的聚合程度，以及表征了点击数据和转化数据之间的聚合程度。
步骤103中，由于第一终端是根据所述加密的特征表达数据得到转化预估模型，因此生成的是加密的模型参数，不能直接得到预估转化概率，因此向第二终端发送加密的模型参数。第二终端再根据对点击数据和转化数据加密的算法得出解密后的模型参数。
步骤104中，所述第一终端接收所述第二终端解密后的模型参数后，便能直接得到转化预估概率。
步骤104之后的一种可选实施方式中，所述第一终端获取待评估用户的第一用户特征；所述第一终端将所述待评估用户的第一用户特征输入所述转化预估模型，基于所述解密后的模型参数，获得所述待评估用户的转化预估概率。
这种方式是直接根据训练获得的转化预估模型获得所述待评估用户的转化预估概率。其中，待评估用户为未参与转化预估模型模型训练的新用户，第一用户特征是待评估用户的特征信息。具体来说，特征信息可以包括以下至少一项：用户的属性特征，用户所推荐信息的信息特征和用户所推荐场景的场景特征，属性特征指用户的基础属性，如年龄、性别等，信息特征指推荐信息的基础属性，如推荐信息的格式、布局，场景特征指将推荐资源推荐给用户的场景，如推荐的地点、触发推荐的用户操作。在之后的叙述中，还涉及到第二用户特征和第三用户特征，均是包含上述至少一项的特征信息，但与第一用户特征是不同的特征信息。
另一种实施方式中，训练出的所述转化预估模型中可以包括所述点击数据的第一基准特征，以及转化数据的第二基准特征。第一基准特征表征点击数据但未发生转化行为的特征的平均水平，以及用第二基准特征表征点击数据了推荐信息并进行消费用户的数据，可以按照以下方式确定待评估用户的转化预估概率：
所述第一终端获取待评估用户的第二用户特征；所述第一终端通过所述待评估用户的第二用户特征分别与所述第一基准特征及所述第二基准特征的关系，确定所述待评估用户的转化预估概率。这种方式下，仅需要做简单运算即可确定所述待评估用户的转化预估概率，提升了待评估用户的转化预估概率的效率。
具体来说，该方式包括：
步骤(1)所述第一终端通过所述特征表达模型将所述第二用户特征转换为第三用户特征。
步骤(2)所述第一终端确定所述第三用户特征与所述第一基准特征的第一欧氏距离。
步骤(3)所述第一终端根据所述第三用户特征与所述第二基准特征的第二欧氏距离。
步骤(4)所述第一终端根据所述第一欧氏距离与所述第二欧氏距离的距离差值，确定所述待评估用户的转化预估概率。
需要说明的是，步骤(4)中的第一欧氏距离表征了第三用户特征与第一基准特征的相似性，第二欧氏距离表征了第三用户特征与第二基准特征的相似性，通过差值可以得出第三用户特征与转化数据的相似性更高，还是与点击数据的相似性更高。
步骤101～步骤103的方法中，第一终端获取点击数据和转化数据混合后加密的混合数据；第一终端并不知悉混合数据中的转化用户，由于特征表达模型用于区分所述曝光数据和所述加密的混合数据，因此，所述第一终端根据特征表达模型，对曝光数据、所述加密的混合数据进行转化后，得到加密的特征表达数据，加密的特征表达数据中对曝光数据、加密的混合数据的数据特征的区分更加明显，进一步地，第一终端根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，并接收解密后的模型参数，从而可以得到一个泛化能力更强且能保护用户隐私的转化预估模型。
下面结合图2，以一具体实施例详细说明图1示出的方法。
本方案由两方服务组成，信息推荐平台端服务与信息推荐源端服务。第一终端对应信息推荐平台端；第二终端对应信息推荐源端。信息推荐平台端旨在利用多种多样的信息获取方式推送信息推荐源端的推荐信息。在信息推送的过程中，信息推荐平台端累计曝光用户和点击用户以及对应的用户标识。信息推荐平台端P利用自身的曝光数据和点击数据力图优化推荐信息效果。曝光数据包括曝光用户标识
Figure BDA0002329281320000101
及相应的用户特征
Figure BDA0002329281320000102
点击数据包括点击用户标识
Figure BDA0002329281320000103
及相应的用户特征
Figure BDA0002329281320000111
信息推荐平台端仅包括曝光数据
Figure BDA0002329281320000112
和点击数据
Figure BDA0002329281320000113
因此，信息推荐平台端仅拥有
Figure BDA0002329281320000114
仅根据
Figure BDA0002329281320000115
只能预估用户点击数据率，对信息推送的点击数据效果优化。但缺乏转化数据，就无法预估用户转化率，进而也不能优化信息推送的转化效果。由于用户转化行为是在信息推荐源端发生的，因此信息推荐源端A在本端获取转化数据，而转化数据中每条样本数据都和一个转化用户的标识相对应，因此信息推荐源端A也能拥有转化用户的用户标识
Figure BDA0002329281320000116
并在信息推荐平台端P进行信息推送。特别注意的是，转化用户需要严格的数据安全保护。
本申请中的模型训练方法包括三部分，如图2所示：1、转化保护；2、转化预估模型建立；3、推荐信息转化效果优化。
1、转化保护：
信息推荐源端转化用户数据的安全是本方案的首要考量目标。本申请提出转化保护技术实现该目标。转化保护利用某推荐信息产生的点击数据与转化数据进行混合后加密。该技术使得包括信息推荐平台端在内的其他方无法区分据，从而成功保护转化数据。转化保护技术由数据混合和数据加密两步组成：
数据混合：信息推荐源端从信息推荐平台端安全地获取其推荐信息的点击用户的用户标识
Figure BDA0002329281320000117
而后信息推荐源端将获取点击用户标识
Figure BDA0002329281320000118
后与信息推荐源端的转化用户进行匹配。若用户i同时出现为点击用户和转化用户，则用户表示i对应的标签置为1，即
Figure BDA0002329281320000119
若用户i仅为点击用户，则用户标识i对应的标签为0，即：
Figure BDA00023292813200001110
显然，用户标识i对应的0或1表征了用户点击数据后是否转化。
数据加密：信息推荐源端可以利用同态加密算法等加密算法，严格保护是否转化这一信息的安全。具体地说，信息推荐源端利用同态加密方法生成一对私钥sk和公钥pk。然后，信息推荐源端利用公钥将每个用户i对应的是否转化的标签加密，即{i:[[0,1]]pk}。最后信息推荐源端将该加密标签提交于信息推荐平台端。
2、转化预估模型的建立：
信息推荐平台端从信息推荐源端获取所有点击用户对应的加密的转化标签，而后通过与信息推荐平台的数据匹配可以获得用户标签、是否转化、以及用户特征的三元组数据，也就是混合后的加密数据。例如，对于用户i，三元组数据为
Figure BDA0002329281320000121
另外，信息推荐平台端拥有未加密的曝光数据
Figure BDA0002329281320000122
点击数据
Figure BDA0002329281320000123
及曝光数据和点击数据分别对应的用户特征。
信息推荐平台端结合使用曝光数据、点击数据、和加密的转化数据建立转化预估模型f(x|θ)。给定用户特征x，f(x|θ)输出预估转化率。具体地说，首先，转化预估模型利用曝光数据
Figure BDA0002329281320000124
点击数据
Figure BDA0002329281320000125
及转化数据学习数据的特征表达数据
Figure BDA0002329281320000126
和
Figure BDA0002329281320000127
需要说明的是，曝光数据与点击数据由信息推荐平台端直接获取，信息推荐平台端可以使用神经网络训练特征表达模型。该神经网络通过最小化以下预设损失函数(1)学习特征表达函数h(x)→e。该损失函数试图使得特征表达模型具有区分曝光数据与点击数据及转化数据的能力。值得注意的，特征表达模型可以使用海量的曝光数据与点击数据及转化数据以提升泛化能力。
Figure BDA0002329281320000128
基于上述方法，可以获得点击用户及转化用户的新的三元组
Figure BDA0002329281320000129
其中，[[0,1]]pk是表示用户是否转化的加密标签，
Figure BDA00023292813200001210
是转化数据对应的特征表达数据，
Figure BDA00023292813200001211
是点击数据对应的特征表达数据。另外，为了更好的区分点击数据与转化数据。本申请中可以建立以下函数(2)：
Figure BDA00023292813200001212
其中
Figure BDA00023292813200001213
用于评估新的待评估用户的特征表达e与转化数据对应的特征表达数据
Figure BDA00023292813200001214
的相似性，
Figure BDA00023292813200001215
在加密空间评估新的待评估用户的特征表达e与点击数据对应的特征表达数据
Figure BDA0002329281320000131
的相似性。具体来说，
Figure BDA0002329281320000132
可以为第一基准特征，通过第一基准特征来评估，那么
Figure BDA0002329281320000133
Figure BDA0002329281320000134
为第一欧式距离；
Figure BDA0002329281320000135
可以为第二基准特征，通过第二基准特征来评估，那么
Figure BDA0002329281320000136
为第二欧式距离。会通过
Figure BDA0002329281320000137
Figure BDA0002329281320000138
来对参数[[θ]]pk进行训练，最终得到该转化率预估函数。由于转化率预估函数构建时函数结构是固定的，只有参数[[θ]]pk未知，最终转化率预估函数以加密的参数[[θ]]pk形式存在。
之后，信息推荐源端首先从信息推荐平台端获取加密的转化预估模型参数[[θ]]pk。为使得线上的实时转化预测成为可能，也就是说让信息推荐源端也有能力实时得到预估转化率，那么信息推荐源端使用私钥sk解密转化预估参数并拥有解密的θ。最终，信息推荐源端将解密的转化预估参数提交给信息推荐平台端。
信息推荐平台端获取信息推荐源端解密的转化预估模型参数θ。当任一用户和信息推荐源端请求时，信息推荐平台端基于特征表达和转化预估模型参数θ来获得用户的预估转化率。
而信息推荐平台端还可以根据预估转化率实时决定信息推送的成本。举例来说，当用户i的特征x到达后，通过特征表达模型，将信息推荐源端请求x转化为ex,i，再将ex,i输入到转化预估模型，获得该信息推荐源端请求对应的转化预估概率P(ex,i)。可通过以下方式根据P(ex,i)确定是否投放以及信息推送的成本：
设定一概率阈值，如0.6，当P(ex,i)大于或等于概率阈值0.6时，就投放推荐信息给用户i；反之，不投放推荐信息给用户i。再根据P(ex,i)确定信息推送的成本，用户i的信息推送的成本需与P(ex,i)呈正相关，即认为预估转化概率越高的用户越值得投放。另外，当P(ex,i)小于或等于概率阈值0.6时，可以设置用户i的信息推送的成本为0。
如图3所示，本申请提供一种模型训练装置，包括：获取模块301，用于获取点击数据和转化数据混合后加密的混合数据；训练模块302，用于根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据；所述特征表达模型用于区分所述曝光数据和所述加密的混合数据；根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，将所述加密的模型参数发送至第二终端；接收所述第二终端解密后的模型参数；所述解密后的模型参数用于所述装置根据所述转化预估模型生成转化预估概率。
一种可选实施方式中，所述特征表达模型是根据所述曝光数据和所述加密的混合数据基于最小化预设损失函数训练得到的；所述预设损失函数表征了曝光数据之间的聚合程度，以及表征了点击数据和转化数据之间的聚合程度。
一种可选实施方式中，所述获取模块301还用于：获取待评估用户的第一用户特征；所述训练模块302还用于：将所述待评估用户的第一用户特征输入所述转化预估模型，基于所述解密后的模型参数，获得所述待评估用户的转化预估概率。
一种可选实施方式中，所述转化预估模型中包括所述点击数据的第一基准特征，以及转化数据的第二基准特征；所述获取模块301还用于：获取待评估用户的第二用户特征；所述训练模块302还用于：通过所述待评估用户的第二用户特征分别与所述第一基准特征及所述第二基准特征的关系，确定所述待评估用户的转化预估概率。
一种可选实施方式中，所述训练模块302具体用于：所述第一终端通过所述特征表达模型将所述第二用户特征转换为第三用户特征；所述第一终端确定所述第三用户特征与所述第一基准特征的第一欧氏距离；所述第一终端根据所述第三用户特征与所述第二基准特征的第二欧氏距离；所述第一终端根据所述第一欧氏距离与所述第二欧氏距离的距离差值，确定所述待评估用户的转化预估概率。
图3示出的装置还可以为令一种模型训练装置，该装置的具体包括：获取模块301，用于获取来自第一终端的加密的模型参数；所述加密的模型参数是所述第一终端根据加密的特征表达数据得到的转化预估模型的未解密参数；所述特征表达数据是所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型得到的；所述加密的混合数据为所述第一终端根据点击数据和转化数据混合后加密的数据；训练模块302，用于将所述加密的模型参数加密为解密后的模型参数，并将所述解密后的模型参数发送至所述第一终端。。
本申请实施例提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行本申请实施例提供的一种模型训练方法及任一可选方法。
本申请实施例提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行本申请实施例提供的一种模型训练方法及任一可选方法。
最后应说明的是：本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种模型训练方法，其特征在于，包括：
第一终端获取点击数据和转化数据混合后加密的混合数据；
所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据；所述特征表达模型用于区分所述曝光数据和所述加密的混合数据；
所述第一终端根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，将所述加密的模型参数发送至第二终端；
所述第一终端接收所述第二终端解密后的模型参数；所述解密后的模型参数用于所述第一终端根据所述转化预估模型生成转化预估概率。
2.如权利要求1所述的方法，其特征在于，所述特征表达模型是根据所述曝光数据和所述加密的混合数据基于最小化预设损失函数训练得到的；所述预设损失函数表征了曝光数据之间的聚合程度，以及表征了点击数据和转化数据之间的聚合程度。
3.如权利要求1所述的方法，其特征在于，还包括：
所述第一终端获取待评估用户的第一用户特征；
所述第一终端将所述待评估用户的第一用户特征输入所述转化预估模型，基于所述解密后的模型参数，获得所述待评估用户的转化预估概率。
4.如权利要求1所述的方法，其特征在于，所述转化预估模型中包括所述点击数据的第一基准特征，以及转化数据的第二基准特征；所述方法还包括：
所述第一终端获取待评估用户的第二用户特征；
所述第一终端通过所述待评估用户的第二用户特征分别与所述第一基准特征及所述第二基准特征的关系，确定所述待评估用户的转化预估概率。
5.如权利要求4所述的方法，其特征在于，所述第一终端通过待评估用户的第二用户特征分别与所述第一基准特征及所述第二基准特征的关系，确定所述待评估用户的转化预估概率，包括：
所述第一终端通过所述特征表达模型将所述第二用户特征转换为第三用户特征；
所述第一终端确定所述第三用户特征与所述第一基准特征的第一欧氏距离；
所述第一终端根据所述第三用户特征与所述第二基准特征的第二欧氏距离；
所述第一终端根据所述第一欧氏距离与所述第二欧氏距离的距离差值，确定所述待评估用户的转化预估概率。
6.如权利要求1-4任一所述的方法，其特征在于，所述第二终端存有多个转化用户的用户标识；所述加密的混合数据的标签值是所述第二终端将所述多个转化用户的用户标识与多个点击用户的用户标识匹配得到的；所述第一终端获取点击数据和转化数据混合后加密的混合数据之前，还包括：
所述第一终端向所述第二终端发送所述多个点击用户的用户标识。
7.一种模型训练方法，其特征在于，包括：
第二终端获取来自第一终端的加密的模型参数；所述加密的模型参数是所述第一终端根据加密的特征表达数据得到的转化预估模型的未解密参数；所述特征表达数据是所述第一终端根据曝光数据、所述加密的混合数据，根据特征表达模型得到的；所述加密的混合数据为所述第一终端根据点击数据和转化数据混合后加密的数据；
所述第二终端将所述加密的模型参数加密为解密后的模型参数，并将所述解密后的模型参数发送至所述第一终端。
8.一种模型训练装置，其特征在于，包括：
获取模块，用于获取点击数据和转化数据混合后加密的混合数据；
训练模块，用于根据曝光数据、所述加密的混合数据，根据特征表达模型，得到加密的特征表达数据；所述特征表达模型用于区分所述曝光数据和所述加密的混合数据；根据所述加密的特征表达数据得到转化预估模型，生成加密的模型参数，将所述加密的模型参数发送至第二终端；接收所述第二终端解密后的模型参数；所述解密后的模型参数用于所述装置根据所述转化预估模型生成转化预估概率。
9.一种计算机设备，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至7中任意一项所述的方法被执行。
10.一种存储介质，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至7中任意一项所述的方法被执行。
CN201911329796.4A 2019-12-20 2019-12-20 一种模型训练方法及装置 Active CN111159761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911329796.4A CN111159761B (zh) 2019-12-20 2019-12-20 一种模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911329796.4A CN111159761B (zh) 2019-12-20 2019-12-20 一种模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN111159761A true CN111159761A (zh) 2020-05-15
CN111159761B CN111159761B (zh) 2022-06-24

Family

ID=70557672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911329796.4A Active CN111159761B (zh) 2019-12-20 2019-12-20 一种模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN111159761B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140379424A1 (en) * 2013-06-24 2014-12-25 Psychability Inc. Systems and methods to utilize subscriber history for predictive analytics and targeting marketing
CN106533650A (zh) * 2016-11-17 2017-03-22 浙江工商大学 面向云端的交互型隐私保护方法和系统
CN108520181A (zh) * 2018-03-26 2018-09-11 联想(北京)有限公司 数据模型训练方法和装置
CN110400164A (zh) * 2019-05-13 2019-11-01 腾讯科技（北京）有限公司 数据确定方法和装置、存储介质及电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140379424A1 (en) * 2013-06-24 2014-12-25 Psychability Inc. Systems and methods to utilize subscriber history for predictive analytics and targeting marketing
CN106533650A (zh) * 2016-11-17 2017-03-22 浙江工商大学 面向云端的交互型隐私保护方法和系统
CN108520181A (zh) * 2018-03-26 2018-09-11 联想(北京)有限公司 数据模型训练方法和装置
CN110400164A (zh) * 2019-05-13 2019-11-01 腾讯科技（北京）有限公司 数据确定方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN111159761B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN110189192B (zh) 一种信息推荐模型的生成方法及装置
Mandal et al. PrivFL: Practical privacy-preserving federated regressions on high-dimensional data over mobile networks
CN113516256B (zh) 基于秘密共享、同态加密的无第三方联邦学习方法及系统
CN112182644A (zh) 一种数据处理方法、装置和电子设备
CN111741020B (zh) 基于数据隐私保护的公共数据集确定方法、装置及系统
CN111027981B (zh) 多方联合训练针对IoT机具的风险评估模型的方法及装置
CN110213202B (zh) 标识加密匹配方法和装置、标识处理方法和装置
CN113722753A (zh) 基于区块链的隐私数据处理方法、装置及系统
CN104765884B (zh) 一种https网页的指纹识别方法
CN114611008A (zh) 基于联邦学习的用户服务策略确定方法、装置及电子设备
CN114172655B (zh) 一种安全多方计算数据系统、方法、设备及数据处理终端
CN111160961B (zh) 一种信息推荐方法及装置
CN115238172A (zh) 基于生成对抗网络和社交图注意力网络的联邦推荐方法
CN112380404B (zh) 数据过滤方法、装置及系统
Tang et al. Privacy-preserving hybrid recommender system
CN113468440A (zh) 一种基于sf-盲过滤协议的位置隐私保护的匿名查询方法
CN112948883A (zh) 保护隐私数据的多方联合建模的方法、装置和系统
CN110175283B (zh) 一种推荐模型的生成方法及装置
CN111159761B (zh) 一种模型训练方法及装置
US10650083B2 (en) Information processing device, information processing system, and information processing method to determine correlation of data
CN113537516B (zh) 分布式机器学习模型的训练方法、装置、设备和介质
WO2021120227A1 (zh) 一种信息推荐方法及装置
CN109815715A (zh) 一种数据加密方法和相关装置
CN115599959A (zh) 数据共享方法、装置、设备及存储介质
CN114610994A (zh) 基于联合预测的推送方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant