CN112784990A - 一种成员推断模型的训练方法 - Google Patents

一种成员推断模型的训练方法 Download PDF

Info

Publication number
CN112784990A
CN112784990A CN202110086880.9A CN202110086880A CN112784990A CN 112784990 A CN112784990 A CN 112784990A CN 202110086880 A CN202110086880 A CN 202110086880A CN 112784990 A CN112784990 A CN 112784990A
Authority
CN
China
Prior art keywords
sample
detection sample
response data
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110086880.9A
Other languages
English (en)
Inventor
张斌
陈岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110086880.9A priority Critical patent/CN112784990A/zh
Publication of CN112784990A publication Critical patent/CN112784990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种成员推断模型的训练方法。所述方法包括：获取探测样本的特征值，并将所述探测样本的特征值送入目标模型，以获取目标模型针对探测样本的响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入特征，将探测样本的类别作为标签，训练成员推断模型。

Description

一种成员推断模型的训练方法
技术领域
本说明书涉及信息技术领域，特别涉及一种成员推断模型的训练方法。
背景技术
成员推断(或称为成员推理、成员探测)是指数据持有者通过API获得模型的响应数据并在此基础上推测输入数据(或称为特征数据)是否属于模型的训练集。成员推断具有一定的威胁。现实中，模型的训练集可能来源于涉及实体隐私的敏感数据库，一旦数据持有者推断出某个ID属于含有敏感信息的训练集，很有可能造成实体隐私的泄露。
因此，有必要在模型设计之初来测试其抵御成员推断的能力，以提高模型的安全性，避免潜在的隐私泄露风险。
发明内容
本说明书实施例之一提供一种成员推断模型的训练方法。所述方法包括：获取探测样本的特征值，将探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。
本说明书实施例之一提供一种成员推断模型的训练系统。所述系统包括第一输入模块、类别确定模块和成员推断模型训练模块；所述第一输入模块用于获取探测样本的特征值，并将探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；所述类别确定模块用于获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；所述成员推断模型训练模块用于将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。
本说明书实施例之一提供一种成员推断模型的训练装置。所述装置包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的成员推断的场景示意图；
图2是根据本说明书一些实施例所示的成员推断模型的训练场景示意图；
图3是根据本说明书一些实施例所示的成员推断模型的训练系统的示例性模块图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的成员推断的场景示意图。如图1所示，场景100可以包括服务端110、用户端120和网络130。
服务端110可基于训练好的机器学习模型提供数据服务，如预测服务。服务提供商可以对数据持有者(用户)隐藏模型及其训练算法的细节，只向用户提供访问模型的API(Application Programming Interface，应用编程接口)，即将模型作为一个黑盒。用户端120通过网络130与服务端110进行数据交互，具体的，用户可以通过模型提供的API向模型传输输入数据并获得模型的响应数据。以神经网络模型为例，该响应数据可以是softmax层输出的预测向量，每个向量位对应一个类别且反映预测对象属于该类别的概率。
然而，对于提供预测服务的API，通过有限次的访问(调用)该API，可以基于返回的预测值反推模型的具体参数和/或结构，或者结合输入模型的特征值和模型输出的预测值训练出一个替代模型。
成员推断(或称为成员推理、成员探测)是指数据持有者通过访问API获得模型的响应数据并在此基础上推测输入数据(或称为特征数据)是否属于模型的训练集。通常，机器学习模型在训练样本和非训练样本上的表现(可通过指标来量化)存在一定差异，数据持有者可以利用这一点实现成员推断。在一些实施例中，可以训练用于成员推断的机器学习模型(简称成员推断模型)，对于单个对象/ID，成员推断模型的训练样本的特征数据可基于该对象对应的目标模型的特征数据和响应数据获得，成员推断模型的训练样本的标签指示该对象是否属于目标模型的训练集。关于成员推断模型的更多细节，可以参考图2及其相关说明。
成员推断具有一定的威胁。现实中，模型的训练集可能来源于涉及实体隐私的敏感数据库，一旦数据持有者推断出某个ID属于含有敏感信息的训练集，很有可能造成实体隐私的泄露。例如，数据持有者了解到某医疗模型的训练集来自存储有患有特定疾病的患者信息的数据库，当推测出某个ID属于该医疗模型的训练集后，数据持有者有足够信心认为该ID患有该疾病，从而造成了患者隐私的泄露。因此，有必要在模型设计之初测试其抵御成员推断的能力，以提高模型的安全性，避免潜在的隐私泄露风险。为此，本说明书一些实施例提供了一种成员推断模型的训练方法，以此得到的成员推断模型可以用于测试其他模型(如提供某数据服务的机器学习模型)对抗成员攻击的能力。
在一些实施例中，服务端110可以是独立的服务器或者服务器组，该服务器组可以是集中式的或者分布式的。
在一些实施例中，用户端120可以包括各类计算设备，如智能电话、平板电脑、膝上型计算机、服务器等等。
在一些实施例中，服务器可以是区域的或者远程的。在一些实施例中，服务器可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
在一些实施例中，网络130可以包括有线网络和/或无线网络。例如，网络130可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。
图2是根据本说明书一些实施例所示的成员推断模型的训练场景示意图。如图2所示，训练场景可以包括生成器210、目标模型220和成员推断模型230。
生成器210可以基于获得的输入生成作为目标模型220的输入的特征值。鉴于生成器210生成的特征值未必属于用于训练目标模型220的真实样本，可将生成器210生成的特征值称作构造样本的特征值，或表述为生成器210生成了构造样本。生成器210的作用在于，尽可能生成真实的(目标模型的)训练样本以供成员推断模型230的训练。
目标模型220基于对象(如样本)的特征值输出响应数据(如预测结果)，也称为目标模型220针对对象(如样本)的响应数据。在一些实施例中，可以通过访问目标模型220的API(将构造样本的特征值输入API)，来获取目标模型针对构造样本的响应数据。在一些实施例中，可以通过有限次的API访问获得目标模型220的替代模型，进而将构造样本的特征值送入替代模型并将替代模型输出的响应数据作为目标模型220针对构造样本的响应数据。
在一些实施例中，本说明书中提及的特征值可以指图片、文本、音频等数据的特征值。其中，特征值可以是一维数值、向量、矩阵等形式的。
考虑到真实样本的分布通常具有随机性，为了使生成器210生成的构造样本的分布同样具有随机性，可以将随机生成的第一输入(记为z)送入生成器210。在一些实施例中，第一输入可以满足高斯分布。具体地，可以基于高斯分布的随机数函数生成第一输入，也可以从服从高斯分布的数据集合中采样得到第一输入。
可以理解，对于不同的目标模型220，生成器210的输出的结构可以是不同的。例如，目标模型220的输入为特征向量时，生成器210的输出也可以是向量且与特征向量具有相同维度。但对于不同的目标模型220，生成器210的输入的结构可以是相同的。例如，对于任意目标模型220，生成器210的输入都可以是一维数值。
前文提到，机器学习模型在训练样本和非训练样本上的表现(可通过指标来量化)通常存在一定差异。具体而言，目标模型220针对训练样本的响应数据的置信度通常大于目标模型220针对非训练样本的响应数据的置信度。通俗理解，置信度反映了机器学习模型对其响应数据的可靠(正确)性的“信心”，可靠的响应数据应当与样本(对象)的真实标签相匹配。例如，响应数据可以包含预测类别以及该预测类别为真实标签(类别)的概率，该概率即可作为响应数据的置信度。
可以理解，目标模型220针对构造样本的响应数据的置信度大小影响着该构造样本是否为目标模型220的训练集的成员(即是否属于目标模型220的训练集)。因此，可以设定阈值并基于目标模型220针对任一构造样本的响应数据的置信度与设定阈值的比较结果确定该构造样本的类别，该类别指示该构造样本是否为目标模型220的训练集的成员。作为示例，可以将构造样本的响应数据的置信度与设定阈值进行比较，若置信度大于设定阈值，则将该构造样本的类别确定为正样本，正样本指示该构造样本为目标模型220的训练集的成员，否则，将该构造样本的类别确定为负样本，负样本指示该构造样本不是目标模型220的训练集的成员。如图2所示，根据关联于目标模型输出的响应数据的阈值条件，可将生成器210生成的一批构造样本分为两类(不妨记为in和out)。其中，in表示构造样本属于目标模型220的训练集，out表示构造样本不属于目标模型220的训练集。
可以理解，in/out可作为标签用于训练成员推断模型230。另外，可以将构造样本的特征值以及目标模型220针对该构造样本的响应数据作为用于训练成员推断模型的特征(输入)。
在一些实施例中，响应数据可以是机器学习模型基于获得的特征值输出的预测向量。作为示例，在分类任务中，预测向量的每一位对应一个类别(向量位的数量即所有可能的类别的数量)，该向量位反映该类别为样本(对象)的真实标签(类别)的概率。以目标模型220为神经网络模型为例，用于计算信息熵的预测向量可以是softmax层的输出。进一步地，响应数据的置信度可以基于该响应数据的信息熵确定。不难理解，熵反映的是信息的混乱程度，比如数据在均匀分布时信息熵会最大，而在one-hot(如某一类别对应的概率为1)的情况下熵会比较小。对于响应数据，信息熵越小时，其置信度较大。仅作为示例，假定预测向量中每一位为对象或训练样本属于相应类别的概率，预测向量{p_i}的信息熵可按照如下公式计算：
Figure BDA0002911083790000051
其中，Entropy表示信息熵，i是类别的编号(标识)，p_i为对象的真实标签为类别i的概率，所有可能的类别有N个，即
Figure BDA0002911083790000052
log()为对数函数，底(未示出)可以取2或更大的数。
需要说明的是，生成器210的初始参数和/或结构可能不支持生成足够比例的正样本(类别为in)甚至无法生成正样本，进而导致训练出的成员推断模型230的效果不佳甚至因缺少正样本导致无法训练成员推断模型230。因此，可以调整生成器210的结构和/或参数(可视作对生成器210的优化)，以调整生成器210的正样本生成率。其中，正样本生成率为生成器210生成的(一批)构造样本中被确定为in类别的构造样本的比例。
应当理解，上述用于成员推断(确定in/out类别)的阈值可根据经验人为设定。
在暂未确定阈值的情况下，可以通过一批构造样本对应的置信度的平均大小来判断这批构造样本对应的正样本生成率。如此，可以在平均置信度最大(取决于响应数据的置信度的具体实现)的批次停止对生成器210的优化，将优化好的生成器210生成构造样本用于训练成员推断模型230。其中，可以基于优化好的生成器210生成的一批构造样本对应的置信度确定用于成员推断的阈值。
以信息熵为例，可以将平均信息熵最小的一批构造样本用于训练成员推断模型230。假设所需的正样本生成率为10％(上下允许一定偏差)，可以对单批次构造样本对应的信息熵进行大小排序(不去重)，从最小的信息熵处开始截取数量为10％的信息熵，并将位于截取部分的末端的信息熵确定为用于成员推断(确定in/out类别)的阈值。
除了通过生成器210生成构造样本外，在一些实施例中，也可以将现实世界中真实存在的样本，或可称为真实样本，的特征值输入目标模型，以获得用于训练成员推断模型230的特征(输入)和标签。这里的真实样本可以是从公开数据集中获取，或者来自于某生产领域真实产生的样本。在一些实施例中，可以将基于生成器210生成的构造样本以及前述真实样本统称为探测样本。在一些实施例中，可以基于目标模型的预测功能从已有的数据集中选择探测样本，如针对用于人脸识别的目标模型，可以获取包括人脸的图像样本，又或者针对用于对话内容意图分类的目标模型，可以获取用户与客服间的对话文本样本。对于这些真实样本，可以进一步基于目标模型的输入特征值的数量及类型，从真实样本中提取相应的特征值。参考前述内容对真实样本的特征值进行处理，得到响应数据及其类别，真实样本的特征值以及目标模型220针对该样本的响应数据作为用于训练成员推断模型的特征(输入)，真实样本的类别作为用于训练成员推断模型的标签。
应当理解，训练出的成员推断模型230可用于测试目标模型220防御成员推断的能力。具体地，可以通过差分隐私保护等技术对目标模型220进行调整，以降低成员推断模型230的成员推断成功率。差分隐私技术可以在模型训练过程中或者在最终的模型参数中，为敏感信息(如梯度信息)添加随机噪声，以增加模型提取、训练集探测等的难度，从而增加成员推断的难度。
应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
图3是根据本说明书一些实施例所示的成员推断模型的训练系统的示例性模块图。如图3所示，系统300可以包括第一输入模块310、类别确定模块320和成员推断模型训练模块330。
第一输入模块310可以用于将探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据。参考前述实施例，这里的探测样本可以指构造样本，也可以指真实样本。
类别确定模块320可以用于获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员。
成员推断模型训练模块330可以用于将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。
关于系统300及其模块的更多细节，可以参考图2及其相关描述。
应当理解，图3所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，第一输入模块310和类别确定模块320可以是两个模块，也可以合并为一个模块。诸如此类的变形，均在本说明书的保护范围之内。
本说明书实施例可能带来的有益效果包括但不限于：(1)成员推断模型的训练可以作为一个整体进行，即可以实现端对端的训练，相对基于影子模型的爬山算法、对抗生成网络等方案更易于实现，不存在或难以出现模式崩溃、难以收敛、生成的数据样本的模态较为单一等问题，可以减少训练成本；(2)采用了置信度作为优化构造样本的指标，置信度能够较好地反映出所生成数据的信息，从而有利于生成高质量的构造样本(目标模型的训练样本)；(3)对样本的模态没有任何要求，无论是图像、文本、视频等均适用于本说明书实施例提供的成员推断模型的训练方法，并且此方法可应用于ImageNet之类的大型数据集，而其他方法只适用于一些规模较小的数据集，例如MNIST、CIFAR10等；(4)借助训练出的成员推断模型，可以测试目标模型防御成员推断的能力，进而可以协助提高目标模型防御成员推断的能力。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种成员推断模型的训练方法，其中，包括：
获取探测样本的特征值，并将所述探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；
获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；
将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。
2.如权利要求1所述的方法，其中，所述探测样本的类别包括正样本和负样本；其中，正样本指示所述探测样本为目标模型训练集的成员，负样本指示所述探测样本不是目标模型训练集的成员；
所述基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，包括：
当所述置信度大于所述设定阈值时，将对应的探测样本的类别确定为正样本，否则，将对应的探测样本的类别确定为负样本。
3.如权利要求1所述的方法，其中，所述获取探测样本的特征值，包括：
随机生成第一输入；
将第一输入送入生成器，以获得探测样本的特征值。
4.如权利要求3所述的方法，其中，还包括：
调整生成器的参数和/或结构，以调整所述生成器的正样本生成率；所述正样本生成率为所述生成器生成的构造样本中，被确定为所述目标模型训练集的成员的构造样本的比例。
5.如权利要求3所述的方法，其中，所述设定阈值基于调整参数和/或结构后的生成器生成的多个构造样本的置信度确定。
6.如权利要求3所述的方法，其中，所述第一输入满足高斯分布。
7.如权利要求1所述的方法，其中，所述目标模型针对样本的响应数据为所述目标模型基于该样本的特征值得到的预测向量。
8.如权利要求1所述的方法，其中，所述响应数据的置信度基于所述响应数据的信息熵确定。
9.一种成员推断模型的训练装置，其中，包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如权利要求1～8中任一项所述的方法。
10.一种成员推断模型的训练系统，其中，包括第一输入模块、类别确定模块和成员推断模型训练模块；
所述第一输入模块用于获取探测样本的特征值，并将所述探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；
所述类别确定模块用于获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；
所述成员推断模型训练模块用于将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。
CN202110086880.9A 2021-01-22 2021-01-22 一种成员推断模型的训练方法 Pending CN112784990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086880.9A CN112784990A (zh) 2021-01-22 2021-01-22 一种成员推断模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086880.9A CN112784990A (zh) 2021-01-22 2021-01-22 一种成员推断模型的训练方法

Publications (1)

Publication Number Publication Date
CN112784990A true CN112784990A (zh) 2021-05-11

Family

ID=75758484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086880.9A Pending CN112784990A (zh) 2021-01-22 2021-01-22 一种成员推断模型的训练方法

Country Status (1)

Country Link
CN (1) CN112784990A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420322A (zh) * 2021-05-24 2021-09-21 阿里巴巴新加坡控股有限公司 模型训练、脱敏方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2551798A1 (en) * 2011-07-28 2013-01-30 Fundació CTM Centre Tecnològic Genetic algorithm-based training of an ANFIS for electric energy consumption forecasting
CN105516020A (zh) * 2015-12-22 2016-04-20 桂林电子科技大学 一种基于本体知识推理的并行网络流量分类方法
CN108595916A (zh) * 2018-05-10 2018-09-28 浙江工业大学 基于生成对抗网络的基因表达全谱推断方法
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110493262A (zh) * 2019-09-17 2019-11-22 武汉思普崚技术有限公司 一种改进分类的网络攻击检测方法及系统
CN110516812A (zh) * 2019-07-19 2019-11-29 南京航空航天大学 基于对抗样本的抗成员推理攻击的ai模型隐私保护方法
US20200082272A1 (en) * 2018-09-11 2020-03-12 International Business Machines Corporation Enhancing Data Privacy in Remote Deep Learning Services
CN111079946A (zh) * 2019-12-20 2020-04-28 支付宝(杭州)信息技术有限公司 模型训练方法、成员探测装置的训练方法及其系统
WO2020132137A1 (en) * 2018-12-19 2020-06-25 Abnormal Security Corporation Threat detection platforms for detecting, characterizing, and remediating email-based threats in real time
CN111563590A (zh) * 2020-04-30 2020-08-21 华南理工大学 一种基于生成对抗模型的主动学习方法
CN111723901A (zh) * 2019-03-19 2020-09-29 百度在线网络技术（北京）有限公司 神经网络模型的训练方法及装置
CN111738405A (zh) * 2020-05-11 2020-10-02 南京航空航天大学 一种基于生成对抗网络的用户级成员推理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2551798A1 (en) * 2011-07-28 2013-01-30 Fundació CTM Centre Tecnològic Genetic algorithm-based training of an ANFIS for electric energy consumption forecasting
CN105516020A (zh) * 2015-12-22 2016-04-20 桂林电子科技大学 一种基于本体知识推理的并行网络流量分类方法
CN108595916A (zh) * 2018-05-10 2018-09-28 浙江工业大学 基于生成对抗网络的基因表达全谱推断方法
US20200082272A1 (en) * 2018-09-11 2020-03-12 International Business Machines Corporation Enhancing Data Privacy in Remote Deep Learning Services
WO2020132137A1 (en) * 2018-12-19 2020-06-25 Abnormal Security Corporation Threat detection platforms for detecting, characterizing, and remediating email-based threats in real time
CN111723901A (zh) * 2019-03-19 2020-09-29 百度在线网络技术（北京）有限公司 神经网络模型的训练方法及装置
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110516812A (zh) * 2019-07-19 2019-11-29 南京航空航天大学 基于对抗样本的抗成员推理攻击的ai模型隐私保护方法
CN110493262A (zh) * 2019-09-17 2019-11-22 武汉思普崚技术有限公司 一种改进分类的网络攻击检测方法及系统
CN111079946A (zh) * 2019-12-20 2020-04-28 支付宝(杭州)信息技术有限公司 模型训练方法、成员探测装置的训练方法及其系统
CN111563590A (zh) * 2020-04-30 2020-08-21 华南理工大学 一种基于生成对抗模型的主动学习方法
CN111738405A (zh) * 2020-05-11 2020-10-02 南京航空航天大学 一种基于生成对抗网络的用户级成员推理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHMED SALEM ET AL: "ML-Leaks: Model and Data IndependentMembership Inference Attacks and Defenses on", 《ARXIV.ORG》 *
REZA SHOKRI ET AL: "Membership Inference Attacks Against Machine Learning Models", 《ARXIV.ORG》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420322A (zh) * 2021-05-24 2021-09-21 阿里巴巴新加坡控股有限公司 模型训练、脱敏方法、装置、电子设备及存储介质
CN113420322B (zh) * 2021-05-24 2023-09-01 阿里巴巴新加坡控股有限公司 模型训练、脱敏方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP6633188B2 (ja) 画像ベースのｃａｐｔｃｈａチャレンジ
US20190228006A1 (en) Blockchain-based verification of machine learning
US20190102603A1 (en) Method and apparatus for determining image quality
EP3582150A1 (en) Method of knowledge transferring, information processing apparatus and storage medium
CN112818023B (zh) 在关联云业务场景下的大数据分析方法及云计算服务器
US20190258937A1 (en) Training neural networks using a variational information bottleneck
US20180189950A1 (en) Generating structured output predictions using neural networks
US10637826B1 (en) Policy compliance verification using semantic distance and nearest neighbor search of labeled content
CN109816200B (zh) 任务推送方法、装置、计算机设备和存储介质
WO2018093935A1 (en) Training neural networks using a clustering loss
US11501101B1 (en) Systems and methods for securing machine learning models
CN110855648B (zh) 一种网络攻击的预警控制方法及装置
CN111079186B (zh) 数据分析的方法、装置、设备和存储介质
CN109271957B (zh) 人脸性别识别方法以及装置
CN111079946A (zh) 模型训练方法、成员探测装置的训练方法及其系统
EP3640814A1 (en) User-friendly explanation production using generative adversarial networks
CN112395857B (zh) 基于对话系统的语音文本处理方法、装置、设备及介质
CN108875057B (zh) 用于确定数据主题的方法、装置、设备和计算机可读介质
US20240086736A1 (en) Fault detection and mitigation for aggregate models using artificial intelligence
WO2019056496A1 (zh) 图片复审概率区间生成方法及图片复审判定方法
US11847230B2 (en) Learning device estimating apparatus, learning device estimating method, risk evaluation apparatus, risk evaluation method, and program
CN112784990A (zh) 一种成员推断模型的训练方法
CN117725594A (zh) 智能合约的多重复合检测方法、装置、设备及存储介质
US11861003B1 (en) Fraudulent user identifier detection using machine learning models
CN115809466B (zh) 基于stride模型的安全需求生成方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511

RJ01 Rejection of invention patent application after publication