CN110874471A - 保护隐私安全的神经网络模型的训练方法和装置 - Google Patents

保护隐私安全的神经网络模型的训练方法和装置 Download PDF

Info

Publication number
CN110874471A
CN110874471A CN201911137260.2A CN201911137260A CN110874471A CN 110874471 A CN110874471 A CN 110874471A CN 201911137260 A CN201911137260 A CN 201911137260A CN 110874471 A CN110874471 A CN 110874471A
Authority
CN
China
Prior art keywords
decision
layer
neural network
network model
making
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911137260.2A
Other languages
English (en)
Other versions
CN110874471B (zh
Inventor
翁海琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201911137260.2A priority Critical patent/CN110874471B/zh
Publication of CN110874471A publication Critical patent/CN110874471A/zh
Priority to TW109115223A priority patent/TWI745958B/zh
Priority to PCT/CN2020/103605 priority patent/WO2021098255A1/zh
Application granted granted Critical
Publication of CN110874471B publication Critical patent/CN110874471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种保护隐私安全的神经网络模型的训练方法和装置，方法包括：获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。能够防止攻击者探测到神经网络模型的训练数据。

Description

保护隐私安全的神经网络模型的训练方法和装置
技术领域
本说明书一个或多个实施例涉及人工智能领域，尤其涉及保护隐私安全的神经网络模型的训练方法和装置。
背景技术
在人工智能领域，神经网络模型广泛部署于各种实际场景，例如，人脸检测、商品推荐等。神经网络模型在取得高有效性、精确度的同时，也过度记忆了训练集中的数据信息，这些数据信息会被攻击者通过某些特定的手法(如成员推断攻击和模型窃取攻击)探测到，从而导致训练数据泄露。这些训练数据可能涉及用户隐私信息。
因此，希望能有改进的方案，能够提供一种保护隐私安全的神经网络模型的训练方法，以防止攻击者探测到神经网络模型的训练数据。
发明内容
本说明书一个或多个实施例描述了一种保护隐私安全的神经网络模型的训练方法和装置，能够防止攻击者探测到神经网络模型的训练数据。
第一方面，提供了一种保护隐私安全的神经网络模型的训练方法，方法包括：
获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；
确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；
根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。
在一种可能的实施方式中，所述初步训练调整所述目标神经网络模型中各中间层的参数。
在一种可能的实施方式中，所述确定所述多个中间层中的决策重要层和决策无关层，包括：
将所述成员样本和非成员样本作为评测样本组成评测数据集；
将任一评测样本输入所述目标神经网络模型，得到所述目标神经网络模型的各中间层分别输出的该评测样本的各中间层特征；
根据评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层。
进一步地，所述将所述成员样本和非成员样本作为评测样本组成评测数据集，包括：
从所述第一数量个成员样本中抽取第二数量个成员样本；所述第二数量小于所述第一数量；
获取第三数量个非成员样本，所述非成员样本的分布与所述成员样本的分布相同；
所述第二数量个成员样本和所述第三数量个非成员样本作为评测样本组成评测数据集。
进一步地，所述根据评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层，包括：
将评测样本的各中间层特征进行降维处理后作为可解释分类器的样本特征，将该评测样本是否为成员样本作为样本标签，对所述可解释分类器进行训练；
根据训练后的可解释分类器，确定各中间层中的决策重要层和决策无关层。
进一步地，所述将评测样本的各中间层特征进行降维处理，包括：
针对每一个中间层，训练一个自编码器；
利用各中间层对应的自编码器对评测样本的该中间层的中间层特征进行降维处理。
进一步地，所述可解释分类器为树模型或逻辑回归模型。
在一种可能的实施方式中，所述方法还包括：
更换所述部分神经元后，再重复所述再次训练。
在一种可能的实施方式中，所述一定概率为百分之50。
第二方面，提供了一种保护隐私安全的神经网络模型的训练装置，装置包括：
获取单元，用于获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；
确定单元，用于确定所述获取单元获取的所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；
训练单元，用于根据所述获取单元获取的所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，首先获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；然后确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；最后根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。由上可见，本说明书实施例，在对目标神经网络模型进行初步训练后，基于各中间层的表现，确定出决策重要层和决策无关层，针对决策重要层和决策无关层采取不同的调参策略对目标神经网络模型进行再次训练，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数，从而能够防止攻击者探测到神经网络模型的训练数据。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的保护隐私安全的神经网络模型的训练方法流程图；
图3示出根据一个实施例的保护隐私安全的神经网络模型的训练装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及保护隐私安全的神经网络模型的训练。具体地，基于一种白盒场景，可以理解的是，在白盒场景下可以知道神经网络模型的模型结构及参数情况。参照图1，本说明书实施例，在采用常规方法根据训练数据集中的各成员样本对目标神经网络模型进行初步训练后，基于评测样本对目标神经网络模型进行安全性评审，评测样本为成员样本或非成员样本。其中，提取对应于评测样本的目标神经网络模型的各中间层特征，基于各中间层特征和该评测样本是否为成员样本对可解释分类器进行训练，通过对可解释分类器进行分析确定决策重要层和决策无关层，再基于该分析结果对目标神经网络模型进行有针对性的微调，从而防止模型泄露隐私信息。
图2示出根据一个实施例的保护隐私安全的神经网络模型的训练方法流程图，该方法可以基于图1所示的实施场景。如图2所示，该实施例中保护隐私安全的神经网络模型的训练方法包括以下步骤：步骤21，获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；步骤22，确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；步骤23，根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。下面描述以上各个步骤的具体执行方式。
首先在步骤21，获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本。可以理解的是，上述初步训练可以采取常规的训练方式，上述训练数据集可以用于对目标神经网络模型进行训练。
在一个示例中，所述初步训练调整所述目标神经网络模型中各中间层的参数。
然后在步骤22，确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度。可以理解的是，决策重要层可以为一层或多层，决策无关层也可以为一层或多层。
在一个示例中，将所述成员样本和非成员样本作为评测样本组成评测数据集；将任一评测样本输入所述目标神经网络模型，得到所述目标神经网络模型的各中间层分别输出的该评测样本的各中间层特征；根据评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层。
可以理解的是，如果所述目标神经网络模型含有n个中间层，则每个评测样本对应n个中间层特征，即n张特征图(feature map)，记为M_1，M_2，…，M_n。
可以理解的是，成员样本是指所述训练数据集中的样本。非成员样本是指所述训练数据集外部的样本。
进一步地，可以通过如下方式构建评测数据集：
从所述第一数量个成员样本中抽取第二数量个成员样本；所述第二数量小于所述第一数量；
获取第三数量个非成员样本，所述非成员样本的分布与所述成员样本的分布相同；
所述第二数量个成员样本和所述第三数量个非成员样本作为评测样本组成评测数据集。
进一步地，将评测样本的各中间层特征进行降维处理后作为可解释分类器的样本特征，将该评测样本是否为成员样本作为样本标签，对所述可解释分类器进行训练；根据训练后的可解释分类器，确定各中间层中的决策重要层和决策无关层。
进一步地，针对每一个中间层，训练一个自编码器(autoencoders)；利用各中间层对应的自编码器对评测样本的该中间层的中间层特征进行降维处理。可选地，降维处理后，中间层特征的维度为1。将自编码器中间输出结果作为降维后的特征。
其中，自编码器是一类在非监督学习中使用的人工神经网络，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习。
本说明书实施例中，还可以采用自编码器之外的其他方法对中间层特征进行降维处理，例如，主成分分析(principal component analysis，PCA)方法。
其中，可解释分类器属于一种可解释模型，可解释模型指的是模型的决策方式可以被人类专家所理解。
在一个示例中，所述可解释分类器为树模型或逻辑回归模型。上述树模型例如Xgboost分类器，Xgboost分类器是一种提升树模型，它将多种树模型集成在一起，形成一个功能强大的分类器。Xgboost分类器可以寻找出在其决策过程中起重要作用的特征，而该特征对应于目标神经网络模型的中间层特征，从而可以知道Xgboost分类器是根据哪些中间层特征来判断评测样本是否为成员样本，而这些中间层特征将会泄露模型的隐私数据。可以将Xgboost分类器决策主要依赖的中间层定义为决策重要层，其余的中间层定义为决策无关层。
最后在步骤23，根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。可以理解的是，上述对模型再次训练的过程相当于对模型进行微调。
本说明书实施例基于Dropout原理，Dropout是一种神经网络正则化技术，通过阻止训练数进行复杂的自适应性防止模型过拟合。
在一个示例中，更换所述部分神经元后，再重复所述再次训练。
在一个示例中，所述一定概率为百分之50。
通过本说明书实施例提供的方法，首先获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；然后确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；最后根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。由上可见，本说明书实施例，在对目标神经网络模型进行初步训练后，基于各中间层的表现，确定出决策重要层和决策无关层，针对决策重要层和决策无关层采取不同的调参策略对目标神经网络模型进行再次训练，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数，从而能够防止攻击者探测到神经网络模型的训练数据。
根据另一方面的实施例，还提供一种保护隐私安全的神经网络模型的训练装置，该装置用于执行本说明书实施例提供的保护隐私安全的神经网络模型的训练方法。图3示出根据一个实施例的保护隐私安全的神经网络模型的训练装置的示意性框图。如图3所示，该装置300包括：
获取单元31，用于获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；
确定单元32，用于确定所述获取单元31获取的所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；
训练单元33，用于根据所述获取单元31获取的所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。
可选地，作为一个实施例，所述初步训练调整所述目标神经网络模型中各中间层的参数。
可选地，作为一个实施例，所述确定单元32，包括：
构建子单元，用于将所述成员样本和非成员样本作为评测样本组成评测数据集；
特征提取子单元，用于将所述构建子单元得到的任一评测样本输入所述目标神经网络模型，得到所述目标神经网络模型的各中间层分别输出的该评测样本的各中间层特征；
确定子单元，用于根据所述特征提取子单元得到的评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层。
进一步地，所述构建子单元，具体用于：
从所述第一数量个成员样本中抽取第二数量个成员样本；所述第二数量小于所述第一数量；
获取第三数量个非成员样本，所述非成员样本的分布与所述成员样本的分布相同；
所述第二数量个成员样本和所述第三数量个非成员样本作为评测样本组成评测数据集。
进一步地，所述确定子单元，具体用于：
将评测样本的各中间层特征进行降维处理后作为可解释分类器的样本特征，将该评测样本是否为成员样本作为样本标签，对所述可解释分类器进行训练；
根据训练后的可解释分类器，确定各中间层中的决策重要层和决策无关层。
进一步地，所述将评测样本的各中间层特征进行降维处理，包括：
针对每一个中间层，训练一个自编码器；
利用各中间层对应的自编码器对评测样本的该中间层的中间层特征进行降维处理。
进一步地，所述可解释分类器为树模型或逻辑回归模型。
可选地，作为一个实施例，所述装置还包括：
更新单元，用于更换所述部分神经元后，再使所述训练单元33重复所述再次训练。
可选地，作为一个实施例，所述一定概率为百分之50。
通过本说明书实施例提供的装置，首先获取单元31获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；然后确定单元32确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；最后训练单元33根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。由上可见，本说明书实施例，在对目标神经网络模型进行初步训练后，基于各中间层的表现，确定出决策重要层和决策无关层，针对决策重要层和决策无关层采取不同的调参策略对目标神经网络模型进行再次训练，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数，从而能够防止攻击者探测到神经网络模型的训练数据。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (20)

1.一种保护隐私安全的神经网络模型的训练方法，所述方法包括：
获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；
确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；
根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。
2.如权利要求1所述的方法，其中，所述初步训练调整所述目标神经网络模型中各中间层的参数。
3.如权利要求1所述的方法，其中，所述确定所述多个中间层中的决策重要层和决策无关层，包括：
将所述成员样本和非成员样本作为评测样本组成评测数据集；
将任一评测样本输入所述目标神经网络模型，得到所述目标神经网络模型的各中间层分别输出的该评测样本的各中间层特征；
根据评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层。
4.如权利要求3所述的方法，其中，所述将所述成员样本和非成员样本作为评测样本组成评测数据集，包括：
从所述第一数量个成员样本中抽取第二数量个成员样本；所述第二数量小于所述第一数量；
获取第三数量个非成员样本，所述非成员样本的分布与所述成员样本的分布相同；
所述第二数量个成员样本和所述第三数量个非成员样本作为评测样本组成评测数据集。
5.如权利要求3所述的方法，其中，所述根据评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层，包括：
将评测样本的各中间层特征进行降维处理后作为可解释分类器的样本特征，将该评测样本是否为成员样本作为样本标签，对所述可解释分类器进行训练；
根据训练后的可解释分类器，确定各中间层中的决策重要层和决策无关层。
6.如权利要求5所述的方法，其中，所述将评测样本的各中间层特征进行降维处理，包括：
针对每一个中间层，训练一个自编码器；
利用各中间层对应的自编码器对评测样本的该中间层的中间层特征进行降维处理。
7.如权利要求5所述的方法，其中，所述可解释分类器为树模型或逻辑回归模型。
8.如权利要求1所述的方法，其中，所述方法还包括：
更换所述部分神经元后，再重复所述再次训练。
9.如权利要求1所述的方法，其中，所述一定概率为百分之50。
10.一种保护隐私安全的神经网络模型的训练装置，所述装置包括：
获取单元，用于获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；
确定单元，用于确定所述获取单元获取的所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；
训练单元，用于根据所述获取单元获取的所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。
11.如权利要求10所述的装置，其中，所述初步训练调整所述目标神经网络模型中各中间层的参数。
12.如权利要求10所述的装置，其中，所述确定单元，包括：
构建子单元，用于将所述成员样本和非成员样本作为评测样本组成评测数据集；
特征提取子单元，用于将所述构建子单元得到的任一评测样本输入所述目标神经网络模型，得到所述目标神经网络模型的各中间层分别输出的该评测样本的各中间层特征；
确定子单元，用于根据所述特征提取子单元得到的评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层。
13.如权利要求12所述的装置，其中，所述构建子单元，具体用于：
从所述第一数量个成员样本中抽取第二数量个成员样本；所述第二数量小于所述第一数量；
获取第三数量个非成员样本，所述非成员样本的分布与所述成员样本的分布相同；
所述第二数量个成员样本和所述第三数量个非成员样本作为评测样本组成评测数据集。
14.如权利要求12所述的装置，其中，所述确定子单元，具体用于：
将评测样本的各中间层特征进行降维处理后作为可解释分类器的样本特征，将该评测样本是否为成员样本作为样本标签，对所述可解释分类器进行训练；
根据训练后的可解释分类器，确定各中间层中的决策重要层和决策无关层。
15.如权利要求14所述的装置，其中，所述将评测样本的各中间层特征进行降维处理，包括：
针对每一个中间层，训练一个自编码器；
利用各中间层对应的自编码器对评测样本的该中间层的中间层特征进行降维处理。
16.如权利要求14所述的装置，其中，所述可解释分类器为树模型或逻辑回归模型。
17.如权利要求10所述的装置，其中，所述装置还包括：
更新单元，用于更换所述部分神经元后，再使所述训练单元重复所述再次训练。
18.如权利要求10所述的装置，其中，所述一定概率为百分之50。
19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项的所述的方法。
CN201911137260.2A 2019-11-19 2019-11-19 保护隐私安全的神经网络模型的训练方法和装置 Active CN110874471B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911137260.2A CN110874471B (zh) 2019-11-19 2019-11-19 保护隐私安全的神经网络模型的训练方法和装置
TW109115223A TWI745958B (zh) 2019-11-19 2020-05-07 保護隱私安全的神經網路模型的訓練方法和裝置
PCT/CN2020/103605 WO2021098255A1 (zh) 2019-11-19 2020-07-22 保护隐私安全的神经网络模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911137260.2A CN110874471B (zh) 2019-11-19 2019-11-19 保护隐私安全的神经网络模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN110874471A true CN110874471A (zh) 2020-03-10
CN110874471B CN110874471B (zh) 2021-02-23

Family

ID=69717119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911137260.2A Active CN110874471B (zh) 2019-11-19 2019-11-19 保护隐私安全的神经网络模型的训练方法和装置

Country Status (3)

Country Link
CN (1) CN110874471B (zh)
TW (1) TWI745958B (zh)
WO (1) WO2021098255A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416753A (zh) * 2020-11-02 2021-02-26 中关村科学城城市大脑股份有限公司 一种城市大脑应用场景数据规范化管理方法、系统及设备
WO2021098255A1 (zh) * 2019-11-19 2021-05-27 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置
CN112948836A (zh) * 2020-11-16 2021-06-11 支付宝(杭州)信息技术有限公司 保护神经网络模型安全的方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283537B (zh) * 2021-06-11 2024-03-26 浙江工业大学 面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置
CN114579866A (zh) * 2022-03-18 2022-06-03 北京有竹居网络技术有限公司 推荐模型的训练方法以及物品推荐方法、系统和相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504441A (zh) * 2014-12-09 2015-04-08 河海大学 基于敏感性的madaline神经网络构建方法及其装置
WO2016145516A1 (en) * 2015-03-13 2016-09-22 Deep Genomics Incorporated System and method for training neural networks
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108776836A (zh) * 2018-06-08 2018-11-09 电子科技大学 一种基于vhe的隐私保护神经网络的训练及预测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756754B (zh) * 2017-07-28 2023-04-07 创新先进技术有限公司 一种训练模型的方法及装置
US10999247B2 (en) * 2017-10-24 2021-05-04 Nec Corporation Density estimation network for unsupervised anomaly detection
CN108520303A (zh) * 2018-03-02 2018-09-11 阿里巴巴集团控股有限公司 一种推荐系统构建方法及装置
CN109952582B (zh) * 2018-09-29 2023-07-14 区链通网络有限公司 一种强化学习模型的训练方法、节点、系统及存储介质
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110262855B (zh) * 2019-05-28 2022-03-29 东华大学 车联网中基于背景信息的成员推测攻击原型系统
CN110874471B (zh) * 2019-11-19 2021-02-23 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504441A (zh) * 2014-12-09 2015-04-08 河海大学 基于敏感性的madaline神经网络构建方法及其装置
WO2016145516A1 (en) * 2015-03-13 2016-09-22 Deep Genomics Incorporated System and method for training neural networks
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108776836A (zh) * 2018-06-08 2018-11-09 电子科技大学 一种基于vhe的隐私保护神经网络的训练及预测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098255A1 (zh) * 2019-11-19 2021-05-27 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置
CN112416753A (zh) * 2020-11-02 2021-02-26 中关村科学城城市大脑股份有限公司 一种城市大脑应用场景数据规范化管理方法、系统及设备
CN112948836A (zh) * 2020-11-16 2021-06-11 支付宝(杭州)信息技术有限公司 保护神经网络模型安全的方法及装置
CN112948836B (zh) * 2020-11-16 2022-05-17 支付宝(杭州)信息技术有限公司 保护神经网络模型安全的方法及装置

Also Published As

Publication number Publication date
TWI745958B (zh) 2021-11-11
WO2021098255A1 (zh) 2021-05-27
CN110874471B (zh) 2021-02-23
TW202121263A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110874471B (zh) 保护隐私安全的神经网络模型的训练方法和装置
CN111898758B (zh) 一种用户异常行为识别方法、装置及计算机可读存储介质
Long et al. Understanding membership inferences on well-generalized learning models
CN111310814A (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
US6397200B1 (en) Data reduction system for improving classifier performance
EP3812988A1 (en) Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same
US20190318099A1 (en) Using Gradients to Detect Backdoors in Neural Networks
EP3812970A1 (en) Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
CN111783442A (zh) 入侵检测方法、设备和服务器、存储介质
CN113297572B (zh) 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN111753881A (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN114692156B (zh) 内存片段恶意代码入侵检测方法、系统、存储介质及设备
CN112765607A (zh) 一种神经网络模型后门攻击检测方法
CN115186816B (zh) 一种基于决策捷径搜索的后门检测方法
KR20220052839A (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
CN111783853A (zh) 一种基于可解释性的检测并恢复神经网络对抗样本方法
EP4127984B1 (en) Neural network watermarking
CN112613032A (zh) 基于系统调用序列的主机入侵检测方法及装置
CN114285587A (zh) 域名鉴别方法和装置、域名分类模型的获取方法和装置
CN113010888B (zh) 一种基于关键神经元的神经网络后门攻击防御方法
WO2022063840A1 (en) A method of training a submodule and preventing capture of an ai module
EP4007979A1 (en) A method to prevent capturing of models in an artificial intelligence based system
US20240061932A1 (en) A Method of Training a Submodule and Preventing Capture of an AI Module
Kim et al. Research on autoencdoer technology for malware feature purification
CN111369352B (zh) 联合建模方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant