CN111738441B - 兼顾预测精度和隐私保护的预测模型训练方法及装置 - Google Patents

兼顾预测精度和隐私保护的预测模型训练方法及装置 Download PDF

Info

Publication number
CN111738441B
CN111738441B CN202010759897.1A CN202010759897A CN111738441B CN 111738441 B CN111738441 B CN 111738441B CN 202010759897 A CN202010759897 A CN 202010759897A CN 111738441 B CN111738441 B CN 111738441B
Authority
CN
China
Prior art keywords
prediction
feature
privacy
loss
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010759897.1A
Other languages
English (en)
Other versions
CN111738441A (zh
Inventor
王力
周俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010759897.1A priority Critical patent/CN111738441B/zh
Publication of CN111738441A publication Critical patent/CN111738441A/zh
Application granted granted Critical
Publication of CN111738441B publication Critical patent/CN111738441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Bioethics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Informatics (AREA)

Abstract

本说明书实施例提供一种兼顾预测精度和隐私保护的预测模型训练方法及装置。预测模型包括特征提取层和预测层，在对预测模型进行训练时，针对包含第一对象的第一原始特征和第一标签的第一样本，可以从第一原始特征中提取第一对象在多个隐私属性方面的第一实际值；将第一原始特征输入特征提取层，得到第一提取特征；将第一提取特征输入预测层，得到第一预测信息；基于第一预测信息与第一标签之间的差异确定第一预测损失；将第一提取特征输入预先训练的隐私保护模型，得到第一对象在多个隐私属性方面的第一预测值，基于第一预测值和第一实际值之间的差异，确定第二预测损失；向减小第一预测损失、增大第二预测损失的方向，更新所述特征提取层。

Description

兼顾预测精度和隐私保护的预测模型训练方法及装置
技术领域
本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及兼顾预测精度和隐私保护的预测模型训练方法及装置。
背景技术
随着计算机技术的不断发展，通过机器学习的方式训练预测模型，并利用预测模型进行业务预测的应用范围越来越广泛。例如，预测模型可以被训练以用于基于用户特征对用户进行分类，例如把用户分成高风险用户或低风险用户。在推荐系统的应用中，预测模型可以根据用户特征，向用户推荐商品、商店或其他信息，使得用户可以更容易地获取到需要的信息。预测系统还可以基于事件的事件特征进行预测等等。精确的预测系统能提供很好的预测结果和服务，但是过于精确的预测模型可能会给相关的用户、企业带来隐私泄露的疑虑，也增加了恶意者通过窃取用户账号、企业账号并结合预测模型来盗取隐私信息的风险。
因此，希望能有改进的方案，可以训练兼顾预测精度和隐私保护的预测模型，进而提高对象的隐私安全性。
发明内容
本说明书一个或多个实施例描述了兼顾预测精度和隐私保护的预测模型训练方法及装置，以便训练兼顾预测精度和隐私保护的预测模型，进而提高对象的隐私安全性。具体的技术方案如下。
第一方面，实施例提供了一种兼顾预测精度和隐私保护的预测模型训练方法，通过服务器执行；所述预测模型包括特征提取层和预测层；所述方法包括：
获取训练集中任意的第一样本，所述第一样本包括第一对象的第一原始特征和对应的第一标签；
从所述第一原始特征中提取所述第一对象在多个隐私属性方面的第一实际值；
将所述第一原始特征输入所述特征提取层，得到所述第一对象的第一提取特征；
将所述第一提取特征输入所述预测层，得到第一预测信息；基于所述第一预测信息与所述第一标签之间的差异，确定第一预测损失；
将所述第一提取特征输入预先训练的隐私保护模型，得到所述第一对象在多个隐私属性方面的第一预测值，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失；
向减小所述第一预测损失、增大所述第二预测损失的方向，更新所述特征提取层。
在一种实施方式中，所述隐私保护模型采用以下方式训练得到：
获取所述训练集中任意的第二样本，所述第二样本包括第二对象的第二原始特征；
从所述第二原始特征中提取所述第二对象在多个隐私属性方面的第二实际值；
将所述第二原始特征输入所述特征提取层，得到所述第二对象的第二提取特征；
将所述第二提取特征输入隐私保护模型，得到所述第二对象在多个隐私属性方面的第二预测值，基于所述第二预测值和所述第二实际值之间的差异，确定第三预测损失；
向减小所述第三预测损失的方向，更新所述隐私保护模型。
在一种实施方式中，所述隐私保护模型包括特征网络和激活层；所述将所述第一提取特征输入预先训练的隐私保护模型的步骤，包括：
将所述第一提取特征输入所述特征网络，得到转换特征，将所述转换特征输入所述激活层，得到所述第一对象在多个隐私属性方面的第一预测值。
在一种实施方式中，所述更新所述特征提取层的步骤，包括：
基于所述第一预测损失减去所述第二预测损失的差值或加权差值，构建合成预测损失，向减小所述合成预测损失的方向，更新所述特征提取层。
在一种实施方式中，所述基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失的步骤，包括：
基于多个隐私属性对应的第一预测值和第一实际值的差异，分别确定多个隐私属性对应的子预测损失；
基于多个子预测损失，确定所述第二预测损失。
在一种实施方式中，所述基于多个子预测损失，确定所述第二预测损失的步骤，包括：
基于多个子预测损失的和，确定所述第二预测损失。
在一种实施方式中，所述基于多个子预测损失，确定所述第二预测损失的步骤，包括：
将多个子预测损失中的最大值确定为所述第二预测损失。
在一种实施方式中，所述从所述第一原始特征中提取所述第一对象在多个隐私属性方面的第一实际值的步骤，包括：
将多个隐私属性与所述第一原始特征中的多个特征属性进行匹配，并基于匹配的特征属性的特征值确定对应的隐私属性的实际值，基于多个隐私属性的实际值确定所述第一实际值。
在一种实施方式中，所述预测模型用于针对输入对象的原始特征进行业务预测；对象包括用户、商品、事件中的一种。
在一种实施方式中，所述第一原始特征包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征；当对象为用户时，所述特征组还包括用户身体指标特征。
在一种实施方式中，所述隐私保护模型包括递归神经网络；所述递归神经网络包括循环神经网络RNN或长短期记忆网络LSTM。
第二方面，实施例提供了一种兼顾预测精度和隐私保护的预测模型训练装置，部署在服务器中；所述预测模型包括特征提取层和预测层；所述装置包括：
样本获取模块，配置为，获取训练集中任意的第一样本，所述第一样本包括第一对象的第一原始特征和对应的第一标签；
标签提取模块，配置为，从所述第一原始特征中提取所述第一对象在多个隐私属性方面的第一实际值；
特征提取模块，配置为，将所述第一原始特征输入所述特征提取层，得到所述第一对象的第一提取特征；
第一损失模块，配置为，将所述第一提取特征输入所述预测层，得到第一预测信息；基于所述第一预测信息与所述第一标签之间的差异，确定第一预测损失；
第二损失模块，配置为，将所述第一提取特征输入预先训练的隐私保护模型，得到所述第一对象在多个隐私属性方面的第一预测值，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失；
模型更新模块，配置为，向减小所述第一预测损失、增大所述第二预测损失的方向，更新所述特征提取层。
在一种实施方式中，该装置还包括隐私训练模块，用于采用以下方式训练得到所述隐私保护模型：
获取所述训练集中任意的第二样本，所述第二样本包括第二对象的第二原始特征；
从所述第二原始特征中提取所述第二对象在多个隐私属性方面的第二实际值；
将所述第二原始特征输入所述特征提取层，得到所述第二对象的第二提取特征；
将所述第二提取特征输入隐私保护模型，得到所述第二对象在多个隐私属性方面的第二预测值，基于所述第二预测值和所述第二实际值之间的差异，确定第三预测损失；
向减小所述第三预测损失的方向，更新所述隐私保护模型。
在一种实施方式中，所述隐私保护模型包括特征网络和激活层；所述第二损失模块，将所述第一提取特征输入预先训练的隐私保护模型时，包括：
将所述第一提取特征输入所述特征网络，得到转换特征，将所述转换特征输入所述激活层，得到所述第一对象在多个隐私属性方面的第一预测值。
在一种实施方式中，所述模型更新模块，具体配置为：
基于所述第一预测损失减去所述第二预测损失的差值或加权差值，构建合成预测损失，向减小所述合成预测损失的方向，更新所述特征提取层。
在一种实施方式中，所述第二损失模块，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失时，包括：
基于多个隐私属性对应的第一预测值和第一实际值的差异，分别确定多个隐私属性对应的子预测损失；
基于多个子预测损失，确定所述第二预测损失。
在一种实施方式中，所述第二损失模块，基于多个子预测损失，确定所述第二预测损失时，包括：
基于多个子预测损失的和，确定所述第二预测损失。
在一种实施方式中，所述第二损失模块，基于多个子预测损失，确定所述第二预测损失时，包括：
将多个子预测损失中的最大值确定为所述第二预测损失。
在一种实施方式中，所述标签提取模块，具体配置为：
将多个隐私属性与所述第一原始特征中的多个特征属性进行匹配，并基于匹配的特征属性的特征值确定对应的隐私属性的实际值，基于多个隐私属性的实际值确定所述第一实际值。
在一种实施方式中，所述预测模型用于针对输入对象的原始特征进行业务预测；对象包括用户、商品、事件中的一种。
在一种实施方式中，所述第一原始特征包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征；当对象为用户时，所述特征组还包括用户的身体指标特征。
在一种实施方式中，所述隐私保护模型包括递归神经网络；所述递归神经网络包括循环神经网络RNN或长短期记忆网络LSTM。
第三方面，实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面中任一项所述的方法。
第四方面，实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面中任一项所述的方法。
根据本说明书实施例提供的方法及装置，通过减小第一预测损失来更新特征提取层，能够提高预测模型的预测精度；通过增大第二预测损失来更新特征提取层，能够减小预测模型在隐私属性方面的泄露，通过向减小第一预测损失、增大第二预测损失的方向，更新特征提取层，能够训练兼顾预测精度和对象的隐私保护的预测模型，进而提高对象的隐私安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书披露的一个实施例的实施框架示意图；
图2为实施例提供的兼顾预测精度和隐私保护的预测模型训练方法的一种流程示意图；
图3为实施例提供的兼顾预测精度和隐私保护的预测模型训练装置的一种示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施框架示意图。其中，预测模型可以用于针对输入对象的原始特征进行业务预测。预测模型包括特征提取层和预测层。特征提取层用于确定输入对象的原始特征的提取特征，预测层用于基于特征提取层确定的提取特征对对象进行预测，得到预测信息。
用于训练预测模型的样本包含对象的原始特征和对应的标签。其中，对象可以包括用户、商品、事件中的任意一种。预测模型所进行的业务预测包括分类、推荐或在某方面进行预测等。例如当对象为用户时，预测模型可以用于对输入用户进行分类，例如可以确定用户属于高风险用户或者低风险用户；预测模型还可以用于对输入用户进行推荐，例如确定用户针对多个推荐项是否会进行点击。当对象为商品时，预测模型可以用于对输入商品进行分类，例如预测商品适用于哪一种用户群体等。当对象是事件时，可以预测该事件针对预设环境产生的影响度，或者可以预测该事件带来的将是正向影响或者负向影响。本说明书中的预测模型具体可以进行多种业务预测，用于训练预测模型的样本也可以对应于多种对象，只要是用于输入预测模型的原始特征包含对象的隐私信息，则可以适用于本说明书提供的实施例。
当样本的种类和预测目标不同时，对应的标签也不同，通过预测模型得到的预测信息也不同。在一种应用场景中，当预测模型用于针对输入用户进行推荐时，标签可以包括用户针对多个推荐项是否进行过点击的标注信息，而预测信息可以包括用户针对多个推荐项是否会进行点击的信息。基于该预测信息，可以向用户进行推荐，例如将预测信息中表示用户会进行点击的推荐项推荐给用户。这样能够很好地向用户推荐信息，使得用户更容易获取到需要的信息。上述多个推荐项可以是预先设置的，其数量可以为2个以上，推荐项的种类包括以下至少一种：商品、商店、活动等。
在推荐场景的一种具体应用中，用户在某服务平台执行了某查看行为之后，服务平台的服务器可以基于用户的查看行为以及用户的其他信息，得到用户的原始特征，将用户的原始特征输入预测模型，得到该用户针对多个推荐项是否会进行点击的预测结果，并可以基于该预测结果，向用户展示一些商品、商店或者活动等推荐信息。上述推荐过程是基于对用户的原始特征中隐含信息的提取而进行的。当从原始特征中提取的特征更加个性化时，推荐的信息会更加精准。但是一些恶意者，可能会盗取用户账号，通过冒充用户而从服务平台中获取到推荐信息，并可能会基于精准的推荐信息反推出用户的隐私信息，例如反推出用户的年龄、性别、收入等等。
在风控场景中，可以将用户的原始特征输入预测模型，预测模型用于确定输入的用户属于高风险用户（非正常用户）或者低风险用户（正常用户）。预测模型可以从用户的原始特征中提取更深层的特征信息，并基于提取的特征信息对用户进行分类。恶意者可能会基于分类结果并结合其他信息反推用户的隐私信息。
其中，对象的原始特征可以包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征。当对象为用户时，上述特征组还可以包括用户的身体指标特征。例如，当对象为用户时，用户的基本属性特征可以包括用户的性别、年龄、收入、所在地等，用户的历史行为特征可以包括用户历史的交易行为、支付行为、购买行为等，用户的关联关系特征可以包括与用户存在关联关系的其他用户、公司、地区等，用户的交互特征可以包括用户在某个网站进行的点击、查看、参与的某个活动等特征，用户的身体指标特征可以包括用户的各项体检指标特征等。
当对象是事件时，事件中涉及的个人的信息、企业的信息等也属于隐私信息。在对事件的业务预测中，也可能存在无法兼顾预测精度和隐私保护的问题。
因此，为了兼顾预测精度和对对象的隐私保护，希望预测模型能够保持一定的预测精度，并提高对对象的隐私保护。为此，本说明书实施例提供了一种兼顾预测精度和隐私保护的预测模型训练方法。参见图1，采用训练集中的样本对预测模型进行训练，样本包括对象的原始特征和标签。在训练时，将训练集中的样本即对象的原始特征输入特征提取层，得到提取特征，将提取特征输入预测层，得到预测信息，基于该预测信息和标签的差异确定预测损失1；将提取特征输入隐私保护模型，得到该对象在多个隐私属性方面的预测值，并基于该预测值与从原始特征中提取的该对象在多个隐私属性方面的实际值的差异，确定预测损失2。结合预测损失1和预测损失2，向减小预测损失1、增大预测损失2的方向，更新特征提取层。
上述多个隐私属性可以是预先根据隐私保护的规定设置的。例如，隐私属性可以包括以下种类中的至少一种，身体隐私、行动隐私、行为隐私、身份隐私、个人收入隐私、个人经历隐私等。例如，当对象为用户时，隐私属性具体可以包括年龄属性、性别属性、收入属性、住址属性等等；当对象为事件时，隐私属性可以包括事件涉及的各类对象的隐私属性。
本说明书提供的实施例中，预测损失1能够体现预测模型的推荐精度，预测损失2能够体现预测模型的隐私保护程度，或者说是隐私泄露程度。通过减小预设损失1，增大预测损失2的方向调节特征提取层的模型参数，能够尽可能兼顾预测精度和隐私保护。这样也能提高隐私安全性。下面结合具体实施例进行说明。
图2为实施例提供的兼顾预测精度和隐私保护的预测模型训练方法的一种流程示意图。该方法通过服务器执行，该服务器可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。例如，服务器可以由某服务平台来实现。预测模型包括特征提取层和预测层。预测模型可以采用任意的神经网络进行训练，包括深度神经网络、卷积神经网络、循环神经网络等。该方法包括以下步骤S210~S260。
步骤S210，获取训练集中任意的第一样本。本实施例中以第一样本为例来说明对每个样本的处理过程，也就是，针对训练集中的每个样本，均可以进行类似处理。
第一样本包括第一对象的第一原始特征T1和对应的第一标签L1。第一标签L1可以是预测标签，也可以是分类标签。当第一标签为分类标签时，第一标签可以包括针对单个分类任务的标注信息，也可以包括针对多个分类任务的标注信息。在分类任务中，第一标签L1可以采用向量来表示。例如，在推荐场景的多分类任务中，第一标签L1包括第一对象针对多个推荐项是否进行过点击的标注信息，例如多个推荐项包括商品1、商品2和商品3，第一标签L1可以表示为（1，1，0），表示第一对象对推荐项中的商品1和商品2进行过点击，对商品3未进行过点击，即采用1表示点击过，采用0表示未点击过。以上仅仅为一种举例，并不表示对本说明书进行的限定。
第一原始特征T1与上文提到的原始特征具有相同特征含义。第一原始特征可以包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征。当对象为用户时，上述特征组还可以包括用户的身体指标特征等。第一原始特征可以采用特征向量表示，其中包括多个特征属性。
本说明书中提到的“第一”“第二”或“第三”等，仅仅是为了便于区分和描述，并不具有任何限定意义。
步骤S220，从第一原始特征T1中提取第一对象在多个隐私属性方面的第一实际值A1。该第一实际值A1可以理解为第一对象在多个隐私属性方面的标签值。通过从第一原始特征T1中提取第一实际值A1，实际上将第一样本构建成了以第一实际值A1为标签的另一种样本，用于确定后续的第二预测损失。
第一实际值A1可以理解为多个隐私属性方面对应值的组合，属于多任务问题。第一实际值A1可以采用向量来表示。例如，多个隐私属性包括年龄、性别和收入，第一实际值A1可以表示为（1，1，3），这表示第一对象的年龄处于区间1，性别为男，收入处于区间3。其中，可以预先设置年龄这个隐私属性对应多个区间，例如区间1，表示12至25岁；区间2，表示26至42岁；区间3，表示43至60岁。预先设置例如1表示性别为男，0表示性别为女。预先设置收入也对应于不同的区间，此处不再举例。
在从第一原始特征T1中提取第一实际值A1时，具体可以将多个隐私属性与第一原始特征T1中的多个特征属性进行匹配，并基于匹配的特征属性的特征值确定对应的隐私属性的实际值，基于多个隐私属性的实际值得到第一实际值A1。
步骤S230，将第一原始特征T1输入特征提取层，得到第一对象的第一提取特征E1。特征提取层基于模型参数和输入的第一原始特征T1，可以提取得到第一提取特征E1，该第一提取特征E1是第一对象的更深层特征信息的表达。
步骤S240，将第一提取特征E1输入预测层，得到第一预测信息y11，基于第一预测信息y11与第一标签L1之间的差异，确定第一预测损失Loss1。预测层基于输入的第一提取特征E1可以确定第一对象的第一预测信息y11。在推荐场景中，第一预测信息y11可以包括第一对象针对多个推荐项是否会点击的预测信息，在确定第一预测损失Loss1时，可以针对每个推荐项，确定其预测信息与第一标签的差值，将多个推荐项对应的差值进行求和，得到第一预测损失Loss1。
步骤S250，将第一提取特征E1输入预先训练的隐私保护模型，得到第一对象在多个隐私属性方面的第一预测值y12，基于第一预测值y12和第一实际值A1之间的差异，确定第二预测损失Loss2。隐私保护模型用于根据其模型参数和第一提取特征E1，确定第一对象在多个隐私属性方面的第一预测值y12。
本步骤中在确定第二预测损失Loss2时，具体可以基于多个隐私属性对应的第一预测值y12和第一实际值A1的差异，分别确定多个隐私属性对应的子预测损失，基于多个子预测损失，确定第二预测损失。例如，隐私属性包括年龄、性别和收入，某用户在这三个隐私属性方面的第一实际值表示为（1，1，3），隐私保护模型得到该用户在这三个隐私属性方面的第一预测值，可以表示为（1，0，2），则在确定第二预测损失时，可以将年龄属性对应的差值（1减去1）确定为子预测损失1，将性别属性对应的差值（1减去0）确定为子预测损失2，将收入属性对应的差值（3减去1）确定为子预测损失3，基于这三个子预测损失确定第二预测损失。以上第一实际值和第一预测值的表示方式仅仅为一种举例，实际应用中每一隐私属性项的值也可以采用概率来表示。
在一种实施方式中，可以基于多个子预测损失的和，确定第二预测损失。例如，直接将多个子预测损失的和确定为第二预测损失，或者对该和乘上或者加上一定值后的结果确定为第二预测损失。
在另一种实施方式中，可以将多个子预测损失中的最大值确定为第二预测损失。这样可以既达到利用隐私保护模型的预测结果的目的，又简化处理流程。
在一种实施方式中，隐私保护模型可以包括特征网络和激活层。在本步骤中将第一提取特征E1输入预先训练的隐私保护模型时，可以将第一提取特征E1输入特征网络，得到转换特征，并将该转换特征输入激活层，得到第一对象在多个隐私属性方面的第一预测值y12。其中，特征网络基于其模型参数和第一提取特征E1可以确定转换特征。激活层可以是利用激活函数实现的计算层，其中激活函数例如可以包括softmax函数、sigmoid函数等。
隐私保护模型模仿恶意者进行攻击，并尝试利用第一提取特征来尽可能探测对象的隐私信息。基于预先训练隐私保护模型推测对象的隐私信息，能够使得推测结果更加准确，也就是能使得得到的第一预测值尽可能准确。
步骤S260，向减小第一预测损失Loss1、增大第二预测损失Loss2的方向，更新特征提取层。其中，第一预测损失Loss1表示预测模型的预测结果与标签值之间的差异，体现预测模型的预测精度。第一预测损失越小，说明预测精度越大。第二预测损失Loss2表示隐私保护模型的预测结果与标签值之间的差异，体现预测模型的隐私保护程度。第二预测损失越大，说明基于第一提取特征E1能够探测到的对象隐私信息越少，也就是预测模型对对象的隐私保护程度较高。因此，向减小第一预测损失、增大第二预测损失的方向更新特征提取层，能够使得预测模型兼顾预测精度和对对象的隐私保护。
对特征提取层进行更新，可以理解为对特征提取层的模型参数进行更新。具体可以，基于第一预测损失和第二预测损失，利用反向传播算法，确定特征提取层的模型参数梯度，利用该模型参数梯度和特征提取层的模型参数，确定特征提取层更新后的模型参数。其中，确定的模型参数梯度是基于减小第一预测损失、增大第二预测损失得到。
在一种实施方式中，步骤S260中更新特征提取层时，可以基于第一预测损失Loss1减去第二预测损失Loss2的差值或加权差值，构建合成预测损失，向减小合成预测损失的方向，更新特征提取层。例如，合成预测损失可以表示为（Loss1-αLoss2），其中α为第二预测损失的权重，取值可以在0至1之间。通过设置α的取值，可以调节第一预测损失和第二预测损失之间的权重分配。在这种实施方式中，将第二预测损失前面的符号设置为负号，能够使得在对合成预测损失（Loss1-αLoss2）取最小值时，达到减小第一预测损失Loss1、增大第二预测损失Loss2的效果。
在向减小合成预测损失的方向，更新特征提取层时，可以利用反向传播算法确定特征提取层的模型参数梯度，利用该模型参数梯度和特征提取层的模型参数，确定特征提取层更新后的模型参数。
上述步骤S210~S260为一次模型迭代训练过程。为了训练得到更好的预测模型，可以多次迭代执行上述过程。也就是在步骤S260之后基于特征提取层更新后的模型参数，返回执行步骤S210。
上述模型迭代训练过程的停止条件可以包括，迭代训练次数达到某个预设次数阈值，或者迭代训练时长达到某个预设时长，或者预测损失（例如合成预测损失）小于设定的损失阈值等等。
本实施例，通过减小第一预测损失、增大第二预测损失的方式调整特征提取层的模型参数，能够使得整个预测模型兼顾预测精度和对对象隐私数据的保护。
回顾一下步骤S210~S260的执行过程，上述实施例是以第一样本为一个样本为例进行说明，在另一实施例中，也可以针对一批样本执行上述步骤S210~步骤S250，分别得到每个样本的第一预测损失和第二预测损失，并对该批样本的第一预测损失求和，对该批样本的第二预测损失求和，向减小第一预测损失和值、增大第二预测损失和值的方向，更新特征提取层。本实施例中，对一批样本确定预测损失，然后再更新特征提取层，这样能够减少对特征提取层的更新次数，更易于训练过程的实施。
在本说明书的另一实施例中，可以预先对隐私保护模型进行训练，以得到预测准确性较高的隐私保护模型。具体可以采用以下步骤1~步骤5的方式，训练得到隐私保护模型。
步骤1，获取训练集中任意的第二样本，第二样本包括第二对象的第二原始特征。用于训练隐私保护模型的样本，可以与用于训练预测模型的样本完全不同，也可以有部分重叠。针对第二原始特征的说明可以参见步骤S210中针对第一原始特征的说明，可以直接将第一原始特征替换为第二原始特征，所得到的实施方式均适用于本实施例，具体说明此处不再赘述。
步骤2，从第二原始特征中提取第二对象在多个隐私属性方面的第二实际值。本步骤的执行过程可以参见步骤S220中的说明，并可以通过直接将第一原始特征替换为第二原始特征，将第一对象替换为第二对象即可，所得到的实施方式均适用于本实施例，具体说明此处不再赘述。
步骤3，将第二原始特征输入特征提取层，得到第二对象的第二提取特征。本步骤的执行过程可以参见步骤S230中的说明，并可以通过直接将第一原始特征替换为第二原始特征，将第一对象替换为第二对象即可，所得到的实施方式均适用于本实施例，具体说明此处不再赘述。
步骤4，将第二提取特征输入隐私保护模型，得到第二对象在多个隐私属性方面的第二预测值，基于第二预测值和第二实际值之间的差异，确定第三预测损失。隐私保护模型用于根据其模型参数和第二提取特征，确定第二对象在多个隐私属性方面的第二预测值。在本实施例中，隐私保护模型的模型参数是待更新参数，其初始值可以预先设定，或者随机确定。
本实施例中，基于第二预测值和第二实际值之间的差异，确定第三预测损失的步骤，可以参见步骤S250中提供的实施方式，并将其中的第一预测值替换为第二预测值，将第一实际值替换为第二实际值，将第二预测损失替换为第三预测损失即可，所得到的实施方式均适用于本实施例，具体说明此处不再赘述。
在一种实施方式中，隐私保护模型可以包括特征网络和激活层。在本步骤中将第二提取特征输入隐私保护模型时，可以将第二提取特征输入特征网络，得到转换特征，并将该转换特征输入激活层，得到第二对象在多个隐私属性方面的第二预测值。其中，特征网络基于其模型参数和第二提取特征可以确定转换特征。
步骤5，向减小第三预测损失的方向，更新隐私保护模型。更新隐私保护模型，可以理解为更新其模型参数。当隐私保护模型可以包括特征网络和激活层时，可以更新特征网络中的模型参数。在一种实施方式中，可以基于反向传播算法和第三预测损失确定隐私保护模型的模型参数梯度，利用该模型参数梯度和隐私保护模型的模型参数，确定隐私保护模型更新后的模型参数。
针对隐私保护模型的训练过程的停止条件可以包括，迭代训练次数达到预设次数阈值，或者迭代训练时长达到预设时长，或者第三预测损失小于预设损失阈值等等。
为了提高隐私保护模型的预测准确性，在另一实施例中，隐私保护模型可以采用递归神经网络来实现。例如，递归神经网络可以包括循环神经网络（Recurrent NeuralNetwork，RNN）或长短期记忆网络（Long Short-Term Memory，LSTM）。在将第一提取特征或第二提取特征输入递归神经网络时，可以根据预先设定的时序规则，将第一提取特征或第二提取特征划分成时序特征，并将划分得到的时序特征输入递归神经网络。递归神经网络可以提取到更深层、更准确的特征信息，进而使得预测结果更准确。当隐私保护模型对对象的隐私属性预测得更准确时，采用图2所示的方法训练得到的预测模型也会更加准确。
在本实施例中，当对象的原始特征中包含序列性质的特征属性时，例如原始特征包括历史行为特征，该历史行为特征是基于不同时间的历史行为信息中提取时，针对对象的原始特征所提取得到的第一提取特征或第二提取特征也包含时序特征内容。在这种情况中，采用递归神经网络训练隐私保护模型也会更加适用。
上述步骤1~步骤5为一次迭代过程，可以多次执行该迭代训练过程，以便训练得到更准确的隐私保护模型。在另一种实施方式中，也可以采用批量样本的方式对隐私保护模型进行训练。
回归上述实施例提供的预测模型的训练和隐私保护模型的训练过程。在一种实施方式中，可以先单独对预测模型进行多次迭代训练，使得预测模型中的特征提取层具有一定的准确性，再采用上述实施例中的步骤1~步骤5对隐私保护模型进行多次迭代训练，使得隐私保护模型具有一定的准确性，然后再采用图2所示实施例对预测模型进行训练。上述训练过程可以循环执行。
上述内容对本说明书的特定实施例进行了描述，其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行，并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的，或者可能是有利的。
图3为实施例提供的兼顾预测精度和隐私保护的预测模型训练装置的一种示意性框图。该装置300部署在服务器中，该服务器可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。该装置实施例与图2所示方法实施例相对应。其中，预测模型包括特征提取层和预测层。装置300包括：
样本获取模块310，配置为，获取训练集中任意的第一样本，所述第一样本包括第一对象的第一原始特征和对应的第一标签；
标签提取模块320，配置为，从所述第一原始特征中提取所述第一对象在多个隐私属性方面的第一实际值；
特征提取模块330，配置为，将所述第一原始特征输入所述特征提取层，得到所述第一对象的第一提取特征；
第一损失模块340，配置为，将所述第一提取特征输入所述预测层，得到第一预测信息；基于所述第一预测信息与所述第一标签之间的差异，确定第一预测损失；
第二损失模块350，配置为，将所述第一提取特征输入预先训练的隐私保护模型，得到所述第一对象在多个隐私属性方面的第一预测值，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失；
模型更新模块360，配置为，向减小所述第一预测损失、增大所述第二预测损失的方向，更新所述特征提取层。
在一种实施方式中，该装置300还包括隐私训练模块（图中未示出），用于采用以下方式训练得到所述隐私保护模型：
获取所述训练集中任意的第二样本，所述第二样本包括第二对象的第二原始特征；
从所述第二原始特征中提取所述第二对象在多个隐私属性方面的第二实际值；
将所述第二原始特征输入所述特征提取层，得到所述第二对象的第二提取特征；
将所述第二提取特征输入隐私保护模型，得到所述第二对象在多个隐私属性方面的第二预测值，基于所述第二预测值和所述第二实际值之间的差异，确定第三预测损失；
向减小所述第三预测损失的方向，更新所述隐私保护模型。
在一种实施方式中，所述隐私保护模型包括特征网络和激活层；第二损失模块350，将所述第一提取特征输入预先训练的隐私保护模型时，包括：
将所述第一提取特征输入所述特征网络，得到转换特征，将所述转换特征输入所述激活层，得到所述第一对象在多个隐私属性方面的第一预测值。
在一种实施方式中，所述模型更新模块360，具体配置为：
基于所述第一预测损失减去所述第二预测损失的差值或加权差值，构建合成预测损失，向减小所述合成预测损失的方向，更新所述特征提取层。
在一种实施方式中，所述第二损失模块350，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失时，包括：
基于多个隐私属性对应的第一预测值和第一实际值的差异，分别确定多个隐私属性对应的子预测损失，基于多个子预测损失，确定所述第二预测损失。
在一种实施方式中，所述第二损失模块350，基于多个子预测损失，确定所述第二预测损失时，包括：
基于多个子预测损失的和，确定所述第二预测损失。
在一种实施方式中，所述第二损失模块350，基于多个子预测损失，确定所述第二预测损失时，包括：
将多个子预测损失中的最大值确定为所述第二预测损失。
在一种实施方式中，所述标签提取模块320，具体配置为：
将多个隐私属性与所述第一原始特征中的多个特征属性进行匹配，并基于匹配的特征属性的特征值确定对应的隐私属性的实际值，基于多个隐私属性的实际值确定所述第一实际值。
在一种实施方式中，所述预测模型用于针对输入对象的原始特征进行业务预测；对象包括用户、商品、事件中的一种。
在一种实施方式中，所述第一原始特征包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征；当对象为用户时，所述特征组还包括用户的身体指标特征。
在一种实施方式中，所述隐私保护模型包括递归神经网络；所述递归神经网络包括循环神经网络RNN或长短期记忆网络LSTM。
上述装置实施例与方法实施例相对应，具体说明可以参见方法实施例部分的描述，此处不再赘述。装置实施例是基于对应的方法实施例得到，与对应的方法实施例具有同样的技术效果，具体说明可参见对应的方法实施例。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图1至图2任一项所述的方法。
本说明书实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图1至图2任一项所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于存储介质和计算设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是，以上所述仅为本发明实施例的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (22)

1.一种兼顾预测精度和隐私保护的预测模型训练方法，通过服务器执行；所述预测模型包括特征提取层和预测层，所述预测模型用于针对输入对象的原始特征进行业务预测；对象包括用户、商品、事件中的一种；所述方法包括：
获取训练集中任意的第一样本，所述第一样本包括第一对象的第一原始特征和对应的第一标签；
从所述第一原始特征中提取所述第一对象在多个隐私属性方面的第一实际值；
将所述第一原始特征输入所述特征提取层，得到所述第一对象的第一提取特征；
将所述第一提取特征输入所述预测层，得到第一预测信息；基于所述第一预测信息与所述第一标签之间的差异，确定第一预测损失；
将所述第一提取特征输入预先训练的隐私保护模型，得到所述第一对象在多个隐私属性方面的第一预测值，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失；
向减小所述第一预测损失、增大所述第二预测损失的方向，更新所述特征提取层。
2.根据权利要求1所述的方法，其中，所述隐私保护模型采用以下方式训练得到：
获取所述训练集中任意的第二样本，所述第二样本包括第二对象的第二原始特征；
从所述第二原始特征中提取所述第二对象在多个隐私属性方面的第二实际值；
将所述第二原始特征输入所述特征提取层，得到所述第二对象的第二提取特征；
将所述第二提取特征输入隐私保护模型，得到所述第二对象在多个隐私属性方面的第二预测值，基于所述第二预测值和所述第二实际值之间的差异，确定第三预测损失；
向减小所述第三预测损失的方向，更新所述隐私保护模型。
3.根据权利要求1所述的方法，所述隐私保护模型包括特征网络和激活层；所述将所述第一提取特征输入预先训练的隐私保护模型的步骤，包括：
将所述第一提取特征输入所述特征网络，得到转换特征，将所述转换特征输入所述激活层，得到所述第一对象在多个隐私属性方面的第一预测值。
4.根据权利要求1所述的方法，所述更新所述特征提取层的步骤，包括：
基于所述第一预测损失减去所述第二预测损失的差值或加权差值，构建合成预测损失，向减小所述合成预测损失的方向，更新所述特征提取层。
5.根据权利要求1所述的方法，所述基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失的步骤，包括：
基于多个隐私属性对应的第一预测值和第一实际值的差异，分别确定多个隐私属性对应的子预测损失；
基于多个子预测损失，确定所述第二预测损失。
6.根据权利要求5所述的方法，所述基于多个子预测损失，确定所述第二预测损失的步骤，包括：
基于多个子预测损失的和，确定所述第二预测损失。
7.根据权利要求5所述的方法，所述基于多个子预测损失，确定所述第二预测损失的步骤，包括：
将多个子预测损失中的最大值确定为所述第二预测损失。
8.根据权利要求1所述的方法，所述从所述第一原始特征中提取所述第一对象在多个隐私属性方面的第一实际值的步骤，包括：
将多个隐私属性与所述第一原始特征中的多个特征属性进行匹配，并基于匹配的特征属性的特征值确定对应的隐私属性的实际值，基于多个隐私属性的实际值确定所述第一实际值。
9.根据权利要求1所述的方法，所述第一原始特征包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征；当对象为用户时，所述特征组还包括用户身体指标特征。
10.根据权利要求9所述的方法，所述隐私保护模型包括递归神经网络；所述递归神经网络包括循环神经网络RNN或长短期记忆网络LSTM。
11.一种兼顾预测精度和隐私保护的预测模型训练装置，部署在服务器中；所述预测模型包括特征提取层和预测层；所述预测模型用于针对输入对象的原始特征进行业务预测；对象包括用户、商品、事件中的一种；所述装置包括：
样本获取模块，配置为，获取训练集中任意的第一样本，所述第一样本包括第一对象的第一原始特征和对应的第一标签；
标签提取模块，配置为，从所述第一原始特征中提取所述第一对象在多个隐私属性方面的第一实际值；
特征提取模块，配置为，将所述第一原始特征输入所述特征提取层，得到所述第一对象的第一提取特征；
第一损失模块，配置为，将所述第一提取特征输入所述预测层，得到第一预测信息；基于所述第一预测信息与所述第一标签之间的差异，确定第一预测损失；
第二损失模块，配置为，将所述第一提取特征输入预先训练的隐私保护模型，得到所述第一对象在多个隐私属性方面的第一预测值，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失；
模型更新模块，配置为，向减小所述第一预测损失、增大所述第二预测损失的方向，更新所述特征提取层。
12.根据权利要求11所述的装置，还包括隐私训练模块，用于采用以下方式训练得到所述隐私保护模型：
获取所述训练集中任意的第二样本，所述第二样本包括第二对象的第二原始特征；
从所述第二原始特征中提取所述第二对象在多个隐私属性方面的第二实际值；
将所述第二原始特征输入所述特征提取层，得到所述第二对象的第二提取特征；
将所述第二提取特征输入隐私保护模型，得到所述第二对象在多个隐私属性方面的第二预测值，基于所述第二预测值和所述第二实际值之间的差异，确定第三预测损失；
向减小所述第三预测损失的方向，更新所述隐私保护模型。
13.根据权利要求11所述的装置，所述隐私保护模型包括特征网络和激活层；所述第二损失模块，将所述第一提取特征输入预先训练的隐私保护模型时，包括：
将所述第一提取特征输入所述特征网络，得到转换特征，将所述转换特征输入所述激活层，得到所述第一对象在多个隐私属性方面的第一预测值。
14.根据权利要求11所述的装置，所述模型更新模块，具体配置为：
基于所述第一预测损失减去所述第二预测损失的差值或加权差值，构建合成预测损失，向减小所述合成预测损失的方向，更新所述特征提取层。
15.根据权利要求11所述的装置，所述第二损失模块，基于所述第一预测值和所述第一实际值之间的差异，确定第二预测损失时，包括：
基于多个隐私属性对应的第一预测值和第一实际值的差异，分别确定多个隐私属性对应的子预测损失；
基于多个子预测损失，确定所述第二预测损失。
16.根据权利要求15所述的装置，所述第二损失模块，基于多个子预测损失，确定所述第二预测损失时，包括：
基于多个子预测损失的和，确定所述第二预测损失。
17.根据权利要求15所述的装置，所述第二损失模块，基于多个子预测损失，确定所述第二预测损失时，包括：
将多个子预测损失中的最大值确定为所述第二预测损失。
18.根据权利要求11所述的装置，所述标签提取模块，具体配置为：
将多个隐私属性与所述第一原始特征中的多个特征属性进行匹配，并基于匹配的特征属性的特征值确定对应的隐私属性的实际值，基于多个隐私属性的实际值确定所述第一实际值。
19.根据权利要求11所述的装置，所述第一原始特征包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征；当对象为用户时，所述特征组还包括用户的身体指标特征。
20.根据权利要求19所述的装置，所述隐私保护模型包括递归神经网络；所述递归神经网络包括循环神经网络RNN或长短期记忆网络LSTM。
21.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项所述的方法。
22.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。
CN202010759897.1A 2020-07-31 2020-07-31 兼顾预测精度和隐私保护的预测模型训练方法及装置 Active CN111738441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010759897.1A CN111738441B (zh) 2020-07-31 2020-07-31 兼顾预测精度和隐私保护的预测模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010759897.1A CN111738441B (zh) 2020-07-31 2020-07-31 兼顾预测精度和隐私保护的预测模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN111738441A CN111738441A (zh) 2020-10-02
CN111738441B true CN111738441B (zh) 2020-11-17

Family

ID=72656896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010759897.1A Active CN111738441B (zh) 2020-07-31 2020-07-31 兼顾预测精度和隐私保护的预测模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN111738441B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487479B (zh) * 2020-12-10 2023-10-13 支付宝(杭州)信息技术有限公司 一种训练隐私保护模型的方法、隐私保护方法及装置
CN114363671B (zh) * 2021-12-31 2024-03-19 北京达佳互联信息技术有限公司 多媒体资源推送方法、模型训练方法、装置、存储介质
CN114443896B (zh) * 2022-01-25 2023-09-15 百度在线网络技术（北京）有限公司 数据处理方法和用于训练预测模型的方法
CN115238826B (zh) * 2022-09-15 2022-12-27 支付宝(杭州)信息技术有限公司 一种模型训练的方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210233A (zh) * 2019-04-19 2019-09-06 平安科技（深圳）有限公司 预测模型的联合构建方法、装置、存储介质及计算机设备
CN110765458A (zh) * 2019-09-19 2020-02-07 浙江工业大学 一种基于深度学习的恶意软件检测方法及其装置
CN111125735A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
US20200150645A1 (en) * 2018-05-07 2020-05-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN111210912A (zh) * 2020-01-14 2020-05-29 上海恩睦信息科技有限公司 一种帕金森预测方法及装置
CN111291401A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于隐私保护的业务预测模型训练方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647921B (zh) * 2019-09-02 2024-03-15 腾讯科技（深圳）有限公司 一种用户行为预测方法、装置、设备及存储介质
CN111310814A (zh) * 2020-02-07 2020-06-19 支付宝(杭州)信息技术有限公司 利用不平衡正负样本对业务预测模型训练的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200150645A1 (en) * 2018-05-07 2020-05-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN110210233A (zh) * 2019-04-19 2019-09-06 平安科技（深圳）有限公司 预测模型的联合构建方法、装置、存储介质及计算机设备
CN110765458A (zh) * 2019-09-19 2020-02-07 浙江工业大学 一种基于深度学习的恶意软件检测方法及其装置
CN111125735A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111210912A (zh) * 2020-01-14 2020-05-29 上海恩睦信息科技有限公司 一种帕金森预测方法及装置
CN111291401A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于隐私保护的业务预测模型训练方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Risk prediction in life insurance industry using supervised learning algorithms;Noorhannah Boodhun 等;《Complex & Intelligent Systems》;20180407;第145-154页 *
机器学习中的隐私攻击与防御;刘睿瑄 等;《软件学报》;20191205;第866-892页 *

Also Published As

Publication number Publication date
CN111738441A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738441B (zh) 兼顾预测精度和隐私保护的预测模型训练方法及装置
EP3703332B1 (en) Graph structure model training and junk account identification
CN110598847B (zh) 处理交互序列数据的方法及装置
Menon et al. Predicting accurate probabilities with a ranking loss
Haque et al. Fusion: An online method for multistream classification
US8712952B2 (en) Method and system for selecting a target with respect to a behavior in a population of communicating entities
CN111737546B (zh) 确定实体业务属性的方法及装置
CN104823188A (zh) 针对在线系统中的用户动作的定制化预测器
CN111915023A (zh) 一种基于联邦学习的超参数确定方法及装置
CN111738534B (zh) 多任务预测模型的训练、事件类型的预测方法及装置
CN111400754A (zh) 保护用户隐私的用户分类系统的构建方法及装置
CN113379042B (zh) 保护数据隐私的业务预测模型训练方法及装置
Tomani et al. Towards trustworthy predictions from deep neural networks with fast adversarial calibration
US20230360071A1 (en) Actionable kpi-driven segmentation
Safa et al. An artificial neural network classification approach for improving accuracy of customer identification in e-commerce
CN111008335A (zh) 一种信息处理方法、装置、设备及存储介质
CN110348947B (zh) 对象推荐方法及装置
Anand et al. Using deep learning to overcome privacy and scalability issues in customer data transfer
Amin et al. Cyber security and beyond: Detecting malware and concept drift in AI-based sensor data streams using statistical techniques
CN116307671A (zh) 风险预警方法、装置、计算机设备、存储介质
Lukita et al. Predictive and Analytics using Data Mining and Machine Learning for Customer Churn Prediction
CN110796379B (zh) 业务渠道的风险评估方法、装置、设备及存储介质
US20210133782A1 (en) Advanced segmentation with superior conversion potential
CN110263959B (zh) 点击率预估方法、装置、机器设备和计算机可读存储介质
CA3072444A1 (en) System and method for dynamic synthesis and transient clustering of semantic attributions for feedback and adjudication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant