CN112100628A - 保护神经网络模型安全的方法及装置 - Google Patents

保护神经网络模型安全的方法及装置 Download PDF

Info

Publication number
CN112100628A
CN112100628A CN202011280172.0A CN202011280172A CN112100628A CN 112100628 A CN112100628 A CN 112100628A CN 202011280172 A CN202011280172 A CN 202011280172A CN 112100628 A CN112100628 A CN 112100628A
Authority
CN
China
Prior art keywords
model
network layer
determining
index value
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011280172.0A
Other languages
English (en)
Other versions
CN112100628B (zh
Inventor
王力
周俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011280172.0A priority Critical patent/CN112100628B/zh
Priority to CN202110137427.6A priority patent/CN112948836B/zh
Publication of CN112100628A publication Critical patent/CN112100628A/zh
Application granted granted Critical
Publication of CN112100628B publication Critical patent/CN112100628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种保护神经网络模型安全的方法，包括：获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；针对其中任意的第一网络层，在固定其他网络层参数的情况下，利用上述训练数据对该第一网络层进行第一调参，得到第一微调模型；确定该第一微调模型对应预设性能指标的第一指标值，该预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在上述训练数据上的训练损失之间的相对大小；同理，利用训练数据和测试数据对该第一网络层进行第二调参，得到第二微调模型，并确定第二指标值；基于第一指标值和第二指标值的相对大小，确定第一网络层对应的信息敏感度，在其大于预定阈值的情况下，对第一网络层进行安全处理。

Description

保护神经网络模型安全的方法及装置
技术领域
本说明书实施例涉及数据安全技术领域，尤其涉及一种保护神经网络模型安全的方法及装置。
背景技术
目前，利用大量数据训练神经网络，使得神经网络具有良好的预测效果，是业界的经典做法。神经网络会记住数据的特点，从而在预测时给出准确的预测结果。但是，当训练数据是用户个人信息等敏感或隐私数据时，训练出的神经网络携带大量敏感、隐私信息，如果直接将模型全部曝光，很容易被攻击者或者灰产通过模型攻击，窃取模型中携带的敏感信息。
因此，需要一种方案，可以在保证模型预测性能的同时，实现对神经网络模型安全的保护，以防止敏感隐私信息的泄露。
发明内容
在本说明书描述的保护神经网络模型安全的方法及装置中，通过对训练好的模型中每一层携带的敏感信息进行测算，然后对携带较多敏感信息的网络层进行安全处理，可以提升预测效率、保证预测性能，并实现隐私保护。
根据第一方面，提供一种保护神经网络模型安全的方法，包括：获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；确定所述第二微调模型对应所述预设性能指标的第二指标值；基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。
在一个实施例中，确定所述第一微调模型对应预设性能指标的第一指标值，包括：确定所述第一微调模型在所述测试数据上的第一测试损失；确定所述第一微调模型在所述训练数据上的第一训练损失；基于所述第一测试损失和第一训练损失的差值，确定所述第一指标值。
在一个实施例中，确定所述第一网络层对应的信息敏感度，包括：确定所述第一指标值和第二指标值的差值；将所述差值与所述第一指标值之间比值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之间比值的绝对值，确定为所述信息敏感度。
在一个实施例中，对所述第一网络层进行安全处理，包括：将所述第一网络层部署到可信执行环境TEE。
在一个具体的实施例中，在将所述第一网络层部署到可信执行环境TEE之后，所述方法还包括：响应于对所述神经网络模型的使用请求，获取待预测的目标样本；通过在所述第一网络层针对所述目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。
在一个实施例中，对第一网络层进行安全处理，包括：在所述第一网络层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。
在一个实施例中，对所述第一网络层进行安全处理，包括：将经过所述第二调参后的第二网络层部署到可信执行环境TEE。
根据第二方面，提供一种保护神经网络模型安全的装置，包括：模型获取单元，配置为获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；第一调参单元，配置为针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；第一值确定单元，配置为确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；第二调参单元，配置为在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；第二值确定单元，配置为确定所述第二微调模型对应所述预设性能指标的第二指标值；敏感度确定单元，配置为基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；安全处理单元，配置为在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所描述的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所描述的方法。
在本说明书实施例披露的保护神经网络模型的方法及装置中，通过对神经网络模型中各个网络层进行敏感信息测算，确定出多个网络层中的敏感层，然后仅需对敏感层进行安全处理。如此，可以保证模型的正常运行性能和效率，同时，实现对神经网络模型隐私安全的可靠保护，并有效减少对模型进行隐私保护产生的资源消耗。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的保护神经网络模型安全的实施场景架构图；
图2示出根据一个实施例的保护神经网络模型安全的方法流程图；
图3示出根据一个实施例的保护神经网络模型安全的装置结构图。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
如前所述，如果将训练好的神经网络模型全部曝光，很容易被攻击者或灰产通过模型攻击，窃取到模型中的敏感信息。比如说，攻击者在拿到神经网络模型后，可以通过对其进行可视化处理，推断出网络层中记住的统计特征，例如，假定神经网络模型用于决策是否向用户提供某项服务，其中某个网络层记住的特征可能是：若用户年龄大于52岁，则不提供借款服务，此时，攻击者可以通过修改用户年龄（如将54岁修改为48岁），使得非法用户能够使用借款服务。又比如说，攻击者拿到神经网络模型后，可以通过多次查询，观察神经网络模型某一层中输出数据的数据分布，从而推断出其中记住的敏感、隐私特征。
因此，在将训练好的神经网络模型交付使用的同时，需要对保护神经网络模型的安全，从而防止神经网络模型中携带的敏感、隐私数据的泄露。
在一种实施方式中，可以把训练好的模型全部部署到到可信执行环境TEE（Trusted Execution Environment）中。然而，TEE内存有限，尤其是端上设备的内存更小（如16M），将整个模型当如到TEE中不太现实，即使全部部署到，TEE中计算速度较慢，也会对模型预测性能、时效产生较大的影响。
基于以上，发明人提出一种保护神经网络模型安全的方法，通过对神经网络层中的每个网络层分别进行敏感信息测算，从而对携带敏感信息较多的层进行安全处理，进而提升预测效率，同时实现隐私保护。
图1示出根据一个实施例的保护神经网络模型安全的实施场景架构图。如图1所示，神经网络训练装置利用训练数据S，训练得到多层神经网络，其中某一层（第L层）的神经网络参数为ΦL；为了确定每一层的敏感信息量，依次将训练好的每一层的参数，复制到微调（Fine Tune）装置。该装置分两路，第一路是再次仅利用训练数据S，对要探查的这一层神经网络的参数ΦL进行微调（固定其他所有层的参数保持不变），对ΦL进行更新，第二路是利用训练数据S和测试数据T，对要探查的这一层神经网络的参数ΦL进行微调（固定其他所有层的参数保持不变），对ΦL进行更新；对ΦL分别进行两路微调后，根据敏感信息测算装置计算ΦL的信息敏感度，信息敏感度是用于量化神经网络层携带的敏感信息量的指标；在根据信息敏感度判断出第L层属于神经网络敏感层的情况下，将其送入TEE中进行硬件层级的保护。之后，可以根据在线请求，利用神经网络模型正常输出模型预测结果。
下面，对本说明书实施例披露的上述方法的实施步骤进行展开介绍。
图2示出根据一个实施例的保护神经网络模型安全的方法流程图，所述方法的执行主体可以是任何具有计算、处理能力的装置、平台、服务器和设备集群等。如图2所示，所述方法包括以下步骤：
步骤S210，获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；步骤S220，针对上述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用上述训练数据对上述第一网络层进行第一调参，得到与上述神经网络模型对应的第一微调模型；步骤S230，确定上述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；步骤S240，在固定上述其他网络层参数的情况下，利用上述训练数据和测试数据对上述第一网络层进行第二调参，得到与上述神经网络模型对应的第二微调模型；步骤S250，确定上述第二微调模型对应上述预设性能指标的第二指标值；步骤S260，基于上述第一指标值和上述第二指标值的相对大小，确定上述第一网络层对应的信息敏感度；步骤S270，在上述信息敏感度大于预定阈值的情况下，对上述第一网络层进行安全处理。
针对以上步骤，首先需要说明的是，上述“第一网络层”、“第一调参”和“第一微调模型”等中的“第一”，“第二调参”等中的“第二”，以及类似用语，均是为了区分同类事物，不具有排序等其他限定作用。
然后，为便于理解本方案中对神经网络敏感层的测算逻辑，对发明人设计上述预测性能指标、第一指标值、第二指标值和信息敏感度的巧思进行介绍。具体而言，不同网络层对训练用数据（对网络层进行训练的数据，不限于上述训练数据）的记录或者说记忆能力不同，相应地，对于隐私训练数据，若网络层的记忆能力越强，则其对隐私训练数据的记忆能力也会越强，再者，发明人想到模型的测试数据和训练数据之间的数据分布，或多或少存在一定的差异性，由此设计出能够精准确定网络层记忆能力的指标和相关测算方式。
不妨假定某网络层对训练用数据的记忆能力较强，那么，第一微调模型是利用上述训练数据进行再训练而得到，其对训练数据的拟合会更好，相应地，在计算第一指标值时，其在训练数据上的训练损失会减少，在测试数据上的测试损失会增加，因而第一指标值会偏大；而第二微调模型是利用上述训练数据和测试数据进行再训练而得到，训练数据和测试数据混淆在一起，使得模型无法分辨，因其记忆能力较强，会同时学到测试数据和训练数据的分布，因而在计算第二指标值时，其在训练数据上的训练损失会增加，在测试数据上的测试损失会减小，因为第二指标值会偏小。因此，第一指标值和第二指标值的相对大小，可以反映出对应网络层对训练用数据的记忆能力，在训练用数据是敏感信息时，则反映出网络层记录的敏感信息量。如此，通过计算第一指标值、第二指标值，以及基于该两个指标值的相对大小而确定的信息敏感度，可以实现对神经网络层所携带敏感信息量的测算。
以上步骤具体如下：
首先，在步骤S210，获取神经网络模型，其中包括利用训练数据训练得到的多个网络层。其中，神经网络模型用于执行针对业务对象的预测任务。在一个实施例中，业务对象包括用户、商户、商品、事件等。在一个具体的实施例中，其中事件可以是交易事件、登录事件、下载事件、注册事件、投诉事件等。在一个实施例中，上述预测任务可以是分类任务或回归任务，具体预测业务对象的分类或回归值。
根据一个具体的实施例，上述预测任务可以是用户分类或用户评分，如用户群体划分、用户信用评分、用户风险评分等；相应地，上述训练数据可以包括用户样本，其中包括用户特征和用户类别标签。在一个更具体的实施例中，用户特征包括用户个人信息和用户行为特征，其中用户个人信息可以包括性别、年龄、职业等，用户行为特征可以包括消费特征（如消费金额、消费频次）、活跃度（如登录某电商平台的频次、使用时长）。在一个更具体的实施例中，用户类别标签可以是信用等级标签，如高、中或低；或者，可以是风险等级标签，如有风险和无风险；或者，可以是群体类别标签，如高消费人群、中消费人群和低消费人群。
根据另一个具体的的实施例，上述预测任务可以是商品分类或商品评分，如商品热度预测等；相应地，上述训练数据可以包括商品样本，其中包括商品特征和商品类别标签。在一个更具体的实施例中，商品特征可以包括商品产地、价格、品类、有效期、包装、销量等。在一个更具体的实施例中，商品类别标签可以是热度标签，如爆款商品、热门商品和冷门商品等。
根据又一个具体的实施例，上述预测任务可以是事件分类或事件评分，如事件风险评分、事件满意度评分等；相应地，上述训练数据可以包括事件样本，其中包括事件特征和事件类别标签。在一个更具体的实施例中，事件特征可以包括事件发生的时间、网络地址、地理位置、涉及金额等。在一个更具体的实施例中，事件类别标签可以是风险类别标签，如高风险、中风险和低风险等。
另一方面，在一个实施例中，上述神经网络模型可以实现为深度神经网络DNN（Deep Neural Networks），卷积神经网络CNN（Convolutional Neural Networks）和循环神经网络RNN（RecurrentNeural Networks）。
需说明，在一个实施例中，本步骤中可以包括：获取训练数据，利用训练数据训练上述神经网络模型，得到训练好的神经网络模型。在另一个实施例中，本步骤可以包括：获取已经训练好的神经网络模型。此外，上述神经网络模型中包括训练好的多个神经网络层（或简称多个网络层），需要理解，该多个网络层中通常不包括输入层，因为输入层中并未发生计算。
以上，可以获得利用训练数据训练好的神经网络模型。然后，针对其中多个网络层中的任意的第一网络层，执行步骤S220-步骤S270。需要说明，步骤S220至步骤S270的执行顺序不唯一，只要能够确定出神经网络敏感层并实现对其的安全处理即可。
在步骤S220，在固定其他网络层参数的情况下，利用上述训练数据对第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型。也就是说，第一微调模型中包括经过第一调参后的第一网络层，以及在第一调参中参数固定的其他网络层。在一个实施例中，其中第一调参可以使用梯度下降法实现，如随机梯度下降SGD（stochasticgradient descent）和批量梯度下降BGD(Batch Gradient Descent)等。
基于得到的第一微调模型，执行步骤S230，确定该第一微调模型对应预设性能指标的第一指标值。其中预设性能指标的指标值取决于：对应模型在测试数据上的测试损失和在上述训练数据上的训练损失之间的相对大小。
需说明，上述相对大小可以通过差值或比值进行衡量。在一个实施例中，预设性能指标的指标值正相关于，上述测试损失和训练损失之间的差值。在一个例子中，该指标值的计算式如下：
err=α*（LT-LS） （1）
其中，err表示预设性能指标；α为超参，例如，可以设定为1或0.5；LT表示测试损失，LS表示训练损失。
在另一个实施例中，指标值正相关于，上述测试损失和训练损失之间的比值。在一个例子中，该指标值的计算式如下：
err=α*LT/LS （2）
其中，err表示预设性能指标；α为超参，例如，可以设定为1或0.5；LT表示测试损失，LS表示训练损失。
另一方面，在一个实施例中，本步骤可以包括：先确定所述第一微调模型在所述测试数据上的第一测试损失，以及确定所述第一微调模型在所述训练数据上的第一训练损失；然后，基于该第一测试损失和第一训练损失的差值，确定第一指标值err1，或者，就要该第一测试损失和第一训练损失的比值，确定第一指标值err1。
由上，可以确定出第一微调模型对应预设性能指标的第一指标值。另一方面，在通过执行上述步骤S220和步骤S230以确定第一指标值的同时、之前或之后，可以执行步骤S240和步骤S250以确定第二指标值。
在步骤S240，在固定上述其他网络层参数的情况下，利用上述训练数据和上述测试数据对第一网络层进行第二调参，得到与神经网络模型对应的第二微调模型。也就是说，第二微调模型中包括经过第二调参后的第一网络层，以及在第二调参中参数固定的其他网络层（与第一调参中参数固定的其他网络层相同）。
进一步，在步骤S250，确定所述第二微调模型对应上述预设性能指标的第二指标值。在一个实施例中，本步骤可以包括：先确定所述第二微调模型在所述测试数据上的第二测试损失，以及确定所述第二微调模型在所述训练数据上的第二训练损失；然后，基于该第二测试损失和第二训练损失的差值，确定第二指标值err2，或者，就要该第二测试损失和第二训练损失的比值，确定第二指标值err2。
需要说明，对步骤S240和步骤S250的描述，还可以相应参见对上述步骤S220和步骤S230的描述，不另作赘述。
由上，可以确定第一微调模型对应的第一指标值，以及，确定第二微调模型对应的第二指标值。进而执行步骤S260，基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度。需要说明，信息敏感度是对网络层记录上述训练数据中的多少的量化指标。并且，第一指标值和第二指标值的相对大小，同样可以用差值或比值来衡量。
在一个实施例中，本步骤可以包括：确定第一指标值和第二指标值的差值；将该差值与第一指标值之间比值的绝对值，确定为信息敏感度。具体可以用以下公式表示这一计算过程：
P=|(err1-err2)/err1| （3）
其中，P表示信息敏感度；err1表示第一指标值；err2表示第二指标值。
在另一个实施例中，本步骤可以包括：确定第一指标值和第二指标值的差值；将该差值与第二指标值之间比值的绝对值，确定为信息敏感度。具体可以用以下公式表示这一计算过程：
P=|(err1-err2)/err2| （4）
其中，P表示信息敏感度；err1表示第一指标值；err2表示第二指标值。
在又一实施例中，本步骤可以包括：确定第一指标值和第二指标值的比值，将该比值的绝对值或该比值的绝对值得倒数，确定为信息敏感度。具体可以用以下公式表示这一计算过程：
Figure 301113DEST_PATH_IMAGE001
（5）
其中，P表示信息敏感度；err1表示第一指标值；err2表示第二指标值。
由上，可以确定出第一网络层对应的信息敏感度，指示第一网络层针对上述训练数据携带的数据量。
进一步，在步骤S270，在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。否则，因第一网络层携带的敏感数据较少或有限，无需进行安全处理。
在一个实施例中，上述安全处理可以是对第一网络层中的参数进行差分隐私处理。具体地，在该第一网络层的网络参数中添加用于实现差分隐私的噪声，将添加噪声后的网络参数作为第一网络层的最终网络层参数。如此，可以有效抵御攻击者对模型发起的查询攻击。需理解，差分隐私是一种对数据隐私安全性的形式化定义，其保证在对全部数据进行建模分析的同时并不泄露个体单条数据的信息。差分隐私的实现，是大数据建模分析需求之下，对于个体隐私安全性的极为合理的保证。
在另一个实施例中，上述安全处理可以是将第一网络层部署到TEE环境中，如此可以实现对第一网络层的硬件层级的保护。进一步，在一个具体的实施例中，在将第一网络层部署到TEE环境之后，上述方法还可以包括：响应于对上述神经网络模型的使用请求，获取待预测的目标样本；通过在第一网络层针对该目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。如此，可以同时抵御针对模型的白盒攻击（攻击者获知模型结构和参数）和黑盒场景（攻击者没有获知模型结构和参数）下的查询攻击。
需要说明，在另一种实施方式中，上述步骤S270还可以实施为：在上述信息敏感度大于预定阈值的情况下，对经过第二调参后的第二网络层进行安全处理，例如，对网络层参数添加差分隐私噪声，或者将其部署到TEE中。
综上，在本说明书实施例披露的保护神经网络模型安全的方法中，通过对神经网络模型中各个网络层进行敏感信息测算，确定出多个网络层中的敏感层，然后仅对敏感层进行安全处理。如此，可以保证模型的正常运行性能和效率，同时，实现对神经网络模型隐私安全的可靠保护，并有效减少对模型进行隐私保护产生的资源消耗。
图3示出根据一个实施例的保护神经网络模型安全的装置结构图，所述装置可以实现为任何具有计算、处理能力的平台、服务器或设备集群。如图3所示，所述装置包括：
模型获取单元810，配置为获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；第一调参单元820，配置为针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；第一值确定单元830，配置为确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；第二调参单元840，配置为在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；第二值确定单元850，配置为确定所述第二微调模型对应所述预设性能指标的第二指标值；敏感度确定单元860，配置为基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；安全处理单元870，配置为在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。
在一个实施例中，所述第一值确定单元830具体配置为：确定所述第一微调模型在所述测试数据上的第一测试损失；确定所述第一微调模型在所述训练数据上的第一训练损失；基于所述第一测试损失和第一训练损失的差值，确定所述第一指标值。
在一个实施例中，所述敏感度确定单元860具体配置为：确定所述第一指标值和第二指标值的差值；将所述差值与所述第一指标值之间比值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之间比值的绝对值，确定为所述信息敏感度。
在一个实施例中，所述安全处理单元870具体配置为：将所述第一网络层部署到可信执行环境TEE。
在一个实施例中，所述装置还包括样本预测单元880，配置为：响应于对所述神经网络模型的使用请求，获取待预测的目标样本；通过在所述第一网络层针对所述目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。
在一个实施例中，所述安全处理单元870具体配置为：在所述第一网络层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。
在一个实施例中，所述安全处理单元870具体配置为：将经过所述第二调参后的第二网络层部署到可信执行环境TEE。
综上，采用本说明书实施例披露的保护神经网络模型安全的装置，通过对神经网络模型中各个网络层进行敏感信息测算，确定出多个网络层中的敏感层，然后仅对敏感层进行安全处理。如此，可以保证模型的正常运行性能和效率，同时，实现对神经网络模型隐私安全的可靠保护，并有效减少对模型进行隐私保护产生的资源消耗。
如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (16)

1.一种保护神经网络模型安全的方法，包括：
获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；
针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；
确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；
在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；
确定所述第二微调模型对应所述预设性能指标的第二指标值；
基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；
在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。
2.根据权利要求1所述的方法，其中，确定所述第一微调模型对应预设性能指标的第一指标值，包括：
确定所述第一微调模型在所述测试数据上的第一测试损失；
确定所述第一微调模型在所述训练数据上的第一训练损失；
基于所述第一测试损失和第一训练损失的差值，确定所述第一指标值。
3.根据权利要求1所述的方法，其中，确定所述第一网络层对应的信息敏感度，包括：
确定所述第一指标值和第二指标值的差值；
将所述差值与所述第一指标值之间比值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之间比值的绝对值，确定为所述信息敏感度。
4.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：
将所述第一网络层部署到可信执行环境TEE。
5.根据权利要求4所述的方法，其中，在将所述第一网络层部署到可信执行环境TEE之后，所述方法还包括：
响应于对所述神经网络模型的使用请求，获取待预测的目标样本；
通过在所述第一网络层针对所述目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。
6.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：
在所述第一网络层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。
7.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：
将经过所述第二调参的第二网络层部署到可信执行环境TEE。
8.一种保护神经网络模型安全的装置，包括：
模型获取单元，配置为获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；
第一调参单元，配置为针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；
第一值确定单元，配置为确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；
第二调参单元，配置为在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；
第二值确定单元，配置为确定所述第二微调模型对应所述预设性能指标的第二指标值；
敏感度确定单元，配置为基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；
安全处理单元，配置为在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。
9.根据权利要求8所述的装置，其中，所述第一值确定单元具体配置为：
确定所述第一微调模型在所述测试数据上的第一测试损失；
确定所述第一微调模型在所述训练数据上的第一训练损失；
基于所述第一测试损失和第一训练损失的差值，确定所述第一指标值。
10.根据权利要求8所述的装置，其中，所述敏感度确定单元具体配置为：
确定所述第一指标值和第二指标值的差值；
将所述差值与所述第一指标值之间比值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之间比值的绝对值，确定为所述信息敏感度。
11.根据权利要求8所述的装置，其中，所述安全处理单元具体配置为：
将所述第一网络层部署到可信执行环境TEE。
12.根据权利要求11所述的装置，其中，所述装置还包括样本预测单元，配置为：
响应于对所述神经网络模型的使用请求，获取待预测的目标样本；
通过在所述第一网络层针对所述目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。
13.根据权利要求8所述的装置，其中，所述安全处理单元具体配置为：
在所述第一网络层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。
14.根据权利要求8所述的装置，其中，所述安全处理单元具体配置为：
将经过所述第二调参的第二网络层部署到可信执行环境TEE。
15.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。
16.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
CN202011280172.0A 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置 Active CN112100628B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011280172.0A CN112100628B (zh) 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置
CN202110137427.6A CN112948836B (zh) 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011280172.0A CN112100628B (zh) 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110137427.6A Division CN112948836B (zh) 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置

Publications (2)

Publication Number Publication Date
CN112100628A true CN112100628A (zh) 2020-12-18
CN112100628B CN112100628B (zh) 2021-02-05

Family

ID=73784596

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011280172.0A Active CN112100628B (zh) 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置
CN202110137427.6A Active CN112948836B (zh) 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110137427.6A Active CN112948836B (zh) 2020-11-16 2020-11-16 保护神经网络模型安全的方法及装置

Country Status (1)

Country Link
CN (2) CN112100628B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420322A (zh) * 2021-05-24 2021-09-21 阿里巴巴新加坡控股有限公司 模型训练、脱敏方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705708A (zh) * 2019-10-10 2020-01-17 上海交通大学 卷积神经网络模型的压缩方法、装置及计算机存储介质
CN111210018A (zh) * 2019-12-31 2020-05-29 北京航空航天大学 一种提升深度神经网络模型鲁棒性的方法及装置
CN111340107A (zh) * 2020-02-25 2020-06-26 山东大学 基于卷积神经网络代价敏感学习的故障诊断方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443182B2 (en) * 2018-06-25 2022-09-13 International Business Machines Corporation Privacy enhancing deep learning cloud service using a trusted execution environment
CN110162993B (zh) * 2018-07-17 2024-01-05 腾讯科技（深圳）有限公司 脱敏处理方法、模型训练方法、装置和计算机设备
JP7439125B2 (ja) * 2019-03-26 2024-02-27 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 保護されたデータに対する分散型プライバシー保全コンピューティング
CN110751291B (zh) * 2019-10-29 2021-02-12 支付宝(杭州)信息技术有限公司 实现安全防御的多方联合训练神经网络的方法及装置
CN110874471B (zh) * 2019-11-19 2021-02-23 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置
CN111260053A (zh) * 2020-01-13 2020-06-09 支付宝(杭州)信息技术有限公司 使用可信执行环境来进行神经网络模型训练的方法和装置
CN111400754B (zh) * 2020-03-11 2021-10-01 支付宝(杭州)信息技术有限公司 保护用户隐私的用户分类系统的构建方法及装置
CN111475855B (zh) * 2020-06-24 2020-12-25 支付宝(杭州)信息技术有限公司 实现隐私保护的数据处理方法及装置
CN111523146B (zh) * 2020-07-03 2020-09-29 支付宝(杭州)信息技术有限公司 实现隐私保护的数据处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705708A (zh) * 2019-10-10 2020-01-17 上海交通大学 卷积神经网络模型的压缩方法、装置及计算机存储介质
CN111210018A (zh) * 2019-12-31 2020-05-29 北京航空航天大学 一种提升深度神经网络模型鲁棒性的方法及装置
CN111340107A (zh) * 2020-02-25 2020-06-26 山东大学 基于卷积神经网络代价敏感学习的故障诊断方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420322A (zh) * 2021-05-24 2021-09-21 阿里巴巴新加坡控股有限公司 模型训练、脱敏方法、装置、电子设备及存储介质
CN113420322B (zh) * 2021-05-24 2023-09-01 阿里巴巴新加坡控股有限公司 模型训练、脱敏方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112100628B (zh) 2021-02-05
CN112948836A (zh) 2021-06-11
CN112948836B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US10037584B2 (en) Obtaining social relationship type of network subjects
US10755196B2 (en) Determining retraining of predictive models
US11475235B2 (en) Clustering techniques for machine learning models
Suchacka et al. Detection of internet robots using a Bayesian approach
WO2019161027A1 (en) System and method for bot detection
CN109635206B (zh) 融合隐式反馈和用户社会地位的个性化推荐方法及系统
Chatterjee et al. A unified approach of testing coverage‐based software reliability growth modelling with fault detection probability, imperfect debugging, and change point
Park et al. Testing for a unit root against transitional autoregressive models
Inoue et al. Bivariate change-point modeling for software reliability assessment with uncertainty of testing-environment factor
CN112100628B (zh) 保护神经网络模型安全的方法及装置
CN116560794A (zh) 虚拟机的异常处理方法和装置、介质和计算机设备
CN111897706A (zh) 服务器性能预测方法、装置、计算机系统和介质
CN114090204A (zh) 一种资源预测方法及装置
CN113850669A (zh) 用户分群方法、装置、计算机设备及计算机可读存储介质
Kadron et al. Feedback-driven side-channel analysis for networked applications
US12052230B2 (en) Machine learning techniques for object authentication
CN108037979B (zh) 基于含隐变量贝叶斯网的虚拟机性能下降评估方法
US20140039983A1 (en) Location evaluation
CN110472191B (zh) 一种动态自适应的服务评价计算方法及装置
TWI768857B (zh) 模型分類的過程中防止模型竊取的方法及裝置
CN112200577B (zh) 结合云计算分析的区块链支付处理方法及大数据服务中心
US20220129783A1 (en) Acceptance Status Classification of Product-Related Data Structures Using Models With Multiple Training Periods
Haque et al. An Imperfect SRGM based on NHPP
Wu et al. A quality model for evaluating encryption-as-a-service
CN110008098B (zh) 评估业务流程中的节点的运行状况的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant