CN115510440B - 一种基于nes算法的黑盒模型反演攻击方法及系统 - Google Patents

一种基于nes算法的黑盒模型反演攻击方法及系统 Download PDF

Info

Publication number
CN115510440B
CN115510440B CN202211155036.8A CN202211155036A CN115510440B CN 115510440 B CN115510440 B CN 115510440B CN 202211155036 A CN202211155036 A CN 202211155036A CN 115510440 B CN115510440 B CN 115510440B
Authority
CN
China
Prior art keywords
model
target
nes
search distribution
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211155036.8A
Other languages
English (en)
Other versions
CN115510440A (zh
Inventor
刘小垒
易鸣
殷明勇
胥迤潇
许思博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Original Assignee
COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS filed Critical COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Priority to CN202211155036.8A priority Critical patent/CN115510440B/zh
Publication of CN115510440A publication Critical patent/CN115510440A/zh
Application granted granted Critical
Publication of CN115510440B publication Critical patent/CN115510440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Virology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于NES算法的黑盒模型反演攻击方法及系统，属于人工智能安全领域，解决现有技术中基于优化的反演攻击方法实用性相对较低，和基于模型训练的反演攻击方法隐藏性差、耗时长等问题。本发明基于给定的数据集训练一对GAN模型，包括与被攻击模型的输入类型相同的G模型和对G模型的输出进行评分的D模型，其中，被攻击模型即为目标模型；基于训练好的G模型和D模型，结合目标模型的输出，对目标模型发起反演攻击得到重构图像。本发明用于黑盒模型反演攻击。

Description

一种基于NES算法的黑盒模型反演攻击方法及系统
技术领域
一种基于NES算法的黑盒模型反演攻击方法及系统，用于黑盒模型反演攻击，属于人工智能安全领域。
背景技术
信息技术的发展极大的丰富了数据的来源，机器学习作为一种以数据为驱动的技术，在近些年迎来了蓬勃发展的机遇。在机器学习模型被部署到各行各业发挥作用的同时，各种安全问题也随之出现。由于机器学习模型在训练过程中需要海量的数据，不可避免会涉及到一些敏感信息，这些数据通过改变模型参数而在模型中留下痕迹，攻击者可以通过隐私攻击技术获取此类痕迹中蕴含的隐私信息，而传统数据管理中关于隐私保护的方法无法起到有效的保护作用。
模型反演攻击（也称模型逆向攻击）是一种针对已部署机器学习模型的隐私攻击技术，攻击者通过利用模型的输出来反向推测重构该模型训练数据中的敏感信息。现有的模型反演攻击方法可分为两种：
（1）基于优化的反演攻击方法：此类方法假设攻击者能获取目标模型预测过程的中间变量，并通过梯度下降来重构模型中的数据，但在现实场景中，攻击者往往只能获得模型最后的预测结果，导致此类攻击方法的实用性相对较低；
（2）基于模型训练的反演攻击方法：这种方法通过训练另一个模型（记为反演模型）来重构目标模型的数据，此方法可在黑盒情况下发起攻击，但在训练反演模型的过程中需要不断与目标模型交互，每条训练数据都需要输入到目标模型中以获取预测概率进而计算训练损失。其与目标模型交互次数过多，一方面，容易被受害者察觉（即隐藏性差），另一方面，目标模型往往有交互频率的限制，从而会进一步增大此类方法的耗时。
发明内容
针对上述研究的问题，本发明的目的在于提供一种基于NES算法的黑盒模型反演攻击方法及系统，解决现有技术中基于优化的反演攻击方法实用性相对较低，和基于模型训练的反演攻击方法隐藏性差、耗时长等问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于NES算法的黑盒模型反演攻击方法，包括如下步骤：
步骤1、基于给定的数据集训练一对GAN模型，包括与被攻击模型的输入类型相同的G模型和对G模型的输出进行评分的D模型，其中，被攻击模型即为目标模型，数据集中数据的类型与目标模型一致；
步骤2、基于训练好的G模型和D模型，结合目标模型的输出，对目标模型发起反演攻击得到重构图像。
进一步，所述步骤1中的G模型为Generator生成模型，D模型为Discriminator鉴别器。
进一步，所述步骤2的具体步骤为：
步骤2.1：初始化一个输入向量，并输入Generator生成模型得到输出/>；
步骤2.2：利用NES算法计算的更新目标/>，即通过从搜索分布中随机采样并评估后更新搜索分布来得到优化后的更新目标/>，其中，NES算法是一种黑盒优化方法；
步骤2.3：将更新目标输入Discriminator鉴别器，得到评分为/>，若该的评分未达到给定的阈值/>，则采用白盒优化方法更新Generator生成模型的输入向量/>，更新后转到步骤2.1继续执行；否则，即为目标模型/>中目标类别的重构图像，白盒优化方法包括快速梯度下降法和投影梯度下降法。
进一步，所述步骤2.2的具体步骤为：
步骤2.21、将作为搜索分布的期望/>，并初始化搜索分布的参数θ，其中，以θ为参数的搜索分布的期望为/>，/>表示将矩阵/>转化为向量；
步骤2.22、从参数为的搜索分布中随机采样得到向量/>，并将/>转化为矩阵形式/>，并输入目标模型/>，得到目标模型/>中目标类别的预测概率/>，其中，/>的初始值为1，/>表示第/>轮迭代中搜索分布的参数/>，/>表示第/>个向量/>；
步骤2.23、若得到个次采样的向量/>及预测概率/>，对所有预测概率取均值，记预测概率均值为/>，否则，转到步骤2.22继续采样，其中，/>表示第/>个向量/>的预测概率；
步骤2.24、若第轮迭代中，预测概率均值/>达到给定的阈值/>，得到搜索分布的参数为/>，并转到步骤2.25，否则，根据NES算法更新搜索分布的参数/>，并转到步骤2.22执行第/>轮迭代；
步骤2.25、利用求期望，并将期望作为更新目标，记期望为/>，则/>为/>的更新目标。
进一步，所述步骤2.24中，根据NES算法更新搜索分布的参数的具体步骤为：
根据NES算法更新搜索分布的参数：/>，其中：
；
；
；
其中，为更新步长，/>表示对/>的各个分量求偏导，/>为以/>为参数的搜索分布在目标模型上得分的期望，/>表示以/>为参数的搜索分布上/>的概率密度，/>是/>的逆矩阵，/>为费歇尔信息矩阵，/>中的T指的是矩阵转置。
一种基于NES算法的黑盒模型反演攻击系统，包括：
模型训练模块：基于给定的数据集训练一对GAN模型，包括与被攻击模型的输入类型相同的G模型和对G模型的输出进行评分的D模型，其中，被攻击模型即为目标模型，数据集中数据的类型与目标模型一致；
反演攻击模块：基于训练好的G模型和D模型，结合目标模型的输出，对目标模型发起反演攻击得到重构图像。
进一步，所述模型训练模块中的G模型为Generator生成模型，D模型为Discriminator鉴别器。
进一步，所述反演攻击模块的具体实现步骤为：
步骤2.1：初始化一个输入向量，并输入Generator生成模型得到输出/>；
步骤2.2：利用NES算法计算的更新目标/>，即通过从搜索分布中随机采样并评估后更新搜索分布来得到优化后的更新目标/>，其中，NES算法是一种黑盒优化方法；
步骤2.3：将更新目标输入Discriminator鉴别器，得到评分为/>，若该的评分未达到给定的阈值/>，则采用白盒优化方法更新Generator生成模型的输入向量/>，更新后转到步骤2.1继续执行；否则，/>即为目标模型/>中目标类别的重构图像，白盒优化方法包括快速梯度下降法和投影梯度下降法。
进一步，所述反演攻击模块中步骤2.2的具体步骤为：
步骤2.21、将作为搜索分布的期望/>，并初始化搜索分布的参数θ，其中，以θ为参数的搜索分布的期望为/>，/>表示将矩阵/>转化为向量；
步骤2.22、从参数为的搜索分布中随机采样得到向量/>，并将/>转化为矩阵形式/>，并输入目标模型/>，得到目标模型/>中目标类别的预测概率/>，其中，/>的初始值为1，/>表示第/>轮迭代中搜索分布的参数/>，/>表示第/>个向量/>；
步骤2.23、若得到个次采样的向量/>及预测概率/>，对所有预测概率取均值，记预测概率均值为/>，否则，转到步骤2.22继续采样，其中，/>表示第/>个向量/>的预测概率；
步骤2.24、若第轮迭代中，预测概率均值/>达到给定的阈值/>，得到搜索分布的参数为/>，并转到步骤2.25，否则，根据NES算法更新搜索分布的参数/>，并转到步骤2.22执行第/>轮迭代；
步骤2.25、利用求期望，并将期望作为更新目标，记期望为/>，则/>为/>的更新目标。
进一步，所述反演攻击模块中步骤2.24中，根据NES算法更新搜索分布的参数的具体步骤为：
根据NES算法更新搜索分布的参数：/>，其中：
；
；
；
其中，为更新步长，/>表示对/>的各个分量求偏导，/>为以/>为参数的搜索分布在目标模型上得分的期望，/>表示以/>为参数的搜索分布上/>的概率密度，/>是/>的逆矩阵，/>为费歇尔信息矩阵，/>中的T指的是矩阵转置。
本发明同现有技术相比，其有益效果表现在：
一、本发明与基于优化的反演攻击方法相比泛用性更高：
GAN模型通过训练一对模型（即：Generative 生成模型和Discriminative 鉴别器）进行零和博弈来提高模型的生成和判别能力，以便于生成重构的敏感信息，可在黑盒条件下实施进攻，具有更高的泛用性；
二、 本发明与基于模型训练的反演攻击方法，本发明隐蔽性更强，且攻击效果更好：
由于本发明在训练GAN模型时无需与目标模型交互，仅在优化阶段会进行交互，相比于基于模型训练的反演攻击方法，其隐蔽性更高，另外，由于本发明利用NES算法对目标模型（目标模型为被攻击模型，为黑盒情况）进行黑盒梯度估计，并利用梯度下降方法对GAN模型（GAN模型为攻击者训练的模型，属于白盒情况）的生成数据进行白盒优化，能有效提高重构数据的准确性，其攻击效果更好。
附图说明
图1为本发明中得到重构图像的流程示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
一种基于NES算法的黑盒模型反演攻击方法，包括如下步骤：
步骤1、基于给定的数据集训练一对GAN模型，包括与被攻击模型的输入类型相同的G模型和对G模型的输出进行评分的D模型，其中，被攻击模型即为目标模型，可为人脸识别模型，数据集为PubFig数据集或CelebA数据集等；G模型为Generator生成模型（其输入为向量，输出为图片），D模型为Discriminator鉴别器（其输入为图片，输出为评分）。具体为：用公开数据集（PubFig数据集或CelebA数据集或者自己构造数据集（比如，亲自拍照标注）等）训练一对GAN模型（即Generator生成模型及Discriminator鉴别器），其中，Generator生成模型的输出类型与被攻击模型（黑盒情况下，攻击者只知道被攻击模型的输出结果）的输入类型相同（例如，被攻击模型以人像作为输入时，Generator生成模型的输出为人像图片）；Discriminator鉴别器的输入为Generator生成模型的输出，输出为评分。
步骤2、基于训练好的G模型和D模型，结合目标模型的输出，对目标模型发起反演攻击得到重构图像。
具体步骤为：
步步骤2.1：随机初始化一个输入向量，并输入Generator生成模型得到输出，输入向量z初始化的方式不仅限于随机初始化，或可利用白盒优化方法通过已有图片反向构造；
步骤2.2：利用NES算法计算的更新目标/>，即通过从搜索分布中随机采样并评估后更新搜索分布来得到优化后的更新目标/>，其中，NES算法是一种黑盒优化方法；
具体步骤为：
步骤2.21、将作为搜索分布的期望/>，并初始化搜索分布的参数θ（作为第一轮迭代的参数），其中，以θ为参数的搜索分布的期望为/>，/>表示将矩阵G(z)转化为向量；以多元高斯分布为例，/>为多元高斯分布的期望，/>为多元高斯分布的协方差矩阵，记多元高斯分布为/>，其中，/>初始化为/>,/>初始化为对角矩阵，记搜索分布的参数为/>；
步骤2.22、从参数为的搜索分布中随机采样得到向量/>，并将/>转化为矩阵形式/>，并输入目标模型/>，得到目标模型/>中目标类别（指的是目标模型中的某一个类别，攻击者利用反演攻击来构建该类别对应的数据，例如，通过名字还原出人脸图像，某一个具体的名字为攻击者的目标类别）的预测概率/>，其中，/>的初始值为1，/>表示第/>轮迭代中搜索分布的参数/>，/>表示第/>个向量/>；
步骤2.23、若得到次采样的向量/>及预测概率/>，对所有预测概率取均值，记预测概率均值为/>，否则，转到步骤2.22继续采样，其中，/>表示第/>个向量/>的预测概率；
步骤2.24、若第轮迭代中，预测概率均值/>达到给定的阈值/>，得到搜索分布的参数为/>，并转到步骤2.25，否则，根据NES算法更新搜索分布的参数/>，并转到步骤2.22执行第/>轮迭代；
根据NES算法更新搜索分布的参数的具体步骤为：
根据NES算法更新搜索分布的参数：/>，其中：
；
；
；
其中，为更新步长，/>表示对/>的各个分量求偏导，/>为以/>为参数的搜索分布在目标模型上得分的期望，/>表示以/>为参数的搜索分布上/>的概率密度，/>是/>的逆矩阵，/>为费歇尔信息矩阵，/>中的T指的是矩阵转置。
以多元高期分布为例：：/>
以的更新公式为例：
其中，
根据上式即可对进行更新，参数/>的更新同理，最终得到更新后的参数。
步骤2.25、利用求期望，并将期望作为更新目标，记期望为/>，则/>为/>的更新目标。
步骤2.3：将更新目标输入Discriminator鉴别器，得到评分为/>，若该的评分未达到给定的阈值/>，则采用白盒优化方法更新Generator生成模型的输入向量/>，更新后转到步骤2.1继续执行；否则，/>即为目标模型/>中目标类别的重构图像，白盒优化方法包括快速梯度下降法和投影梯度下降法。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (2)

1.一种基于NES算法的黑盒模型反演攻击方法，其特征在于，包括如下步骤：
步骤1、基于给定的数据集训练一对GAN模型，包括与被攻击模型的输入类型相同的G模型和对G模型的输出进行评分的D模型，其中，被攻击模型即为目标模型，数据集中数据的类型与目标模型一致；
步骤2、基于训练好的G模型和D模型，结合目标模型的输出，对目标模型发起反演攻击得到重构图像;
所述步骤2的具体步骤为：
步骤2.1：初始化一个输入向量，并输入Generator生成模型得到输出/>；
步骤2.2：利用NES算法计算的更新目标/>，即通过从搜索分布中随机采样并评估后更新搜索分布来得到优化后的更新目标/>，其中，NES算法是一种黑盒优化方法；
步骤2.3：将更新目标输入Discriminator鉴别器，得到评分为/>，若/>该的评分未达到给定的阈值/>，则采用白盒优化方法更新Generator生成模型的输入向量/>，更新后转到步骤2.1继续执行；否则，/>即为目标模型/>中目标类别的重构图像，白盒优化方法包括快速梯度下降法和投影梯度下降法；
所述步骤1中的G模型为Generator生成模型，D模型为Discriminator鉴别器；
所述步骤2.2的具体步骤为：
步骤2.21、将作为搜索分布的期望/>，并初始化搜索分布的参数θ，其中，以θ为参数的搜索分布的期望为/>，/>表示将矩阵/>转化为向量；
步骤2.22、从参数为的搜索分布中随机采样得到向量/>，并将/>转化为矩阵形式，并输入目标模型/>，得到目标模型/>中目标类别的预测概率/>，其中，/>的初始值为1，/>表示第/>轮迭代中搜索分布的参数/>，/>表示第/>个向量/>；
步骤2.23、若得到个次采样的向量/>及预测概率/>，对所有预测概率取均值，记预测概率均值为/>，否则，转到步骤2.22继续采样，其中，表示第/>个向量/>的预测概率；
步骤2.24、若第轮迭代中，预测概率均值/>达到给定的阈值/>，得到搜索分布的参数为/>，并转到步骤2.25，否则，根据NES算法更新搜索分布的参数/>，并转到步骤2.22执行第/>轮迭代；
步骤2.25、利用求期望，并将期望作为更新目标，记期望为/>，则/>为/>的更新目标；
所述步骤2.24中，根据NES算法更新搜索分布的参数的具体步骤为：
根据NES算法更新搜索分布的参数：/>，其中：
；
；
；
其中，为更新步长，/>表示对/>的各个分量求偏导，/>为以/>为参数的搜索分布在目标模型上得分的期望，/>表示以/>为参数的搜索分布上/>的概率密度，/>是/>的逆矩阵，/>为费歇尔信息矩阵，/>中的T指的是矩阵转置。
2.一种基于NES算法的黑盒模型反演攻击系统，其特征在于，包括：
模型训练模块：基于给定的数据集训练一对GAN模型，包括与被攻击模型的输入类型相同的G模型和对G模型的输出进行评分的D模型，其中，被攻击模型即为目标模型，数据集中数据的类型与目标模型一致；
反演攻击模块：基于训练好的G模型和D模型，结合目标模型的输出，对目标模型发起反演攻击得到重构图像；
所述模型训练模块中的G模型为Generator生成模型，D模型为Discriminator鉴别器；
所述反演攻击模块的具体实现步骤为：
步骤2.1：初始化一个输入向量，并输入Generator生成模型得到输出/>；
步骤2.2：利用NES算法计算的更新目标/>，即通过从搜索分布中随机采样并评估后更新搜索分布来得到优化后的更新目标/>，其中，NES算法是一种黑盒优化方法；
步骤2.3：将更新目标输入Discriminator鉴别器，得到评分为/>，若/>该的评分未达到给定的阈值/>，则采用白盒优化方法更新Generator生成模型的输入向量/>，更新后转到步骤2.1继续执行；否则，/>即为目标模型/>中目标类别的重构图像，白盒优化方法包括快速梯度下降法和投影梯度下降法；
所述反演攻击模块中步骤2.2的具体步骤为：
步骤2.21、将作为搜索分布的期望/>，并初始化搜索分布的参数θ，其中，以θ为参数的搜索分布的期望为/>，/>表示将矩阵/>转化为向量；
步骤2.22、从参数为的搜索分布中随机采样得到向量/>，并将/>转化为矩阵形式，并输入目标模型/>，得到目标模型/>中目标类别的预测概率/>，其中，/>的初始值为1，/>表示第/>轮迭代中搜索分布的参数/>，表示第/>个向量/>；
步骤2.23、若得到个次采样的向量/>及预测概率/>，对所有预测概率取均值，记预测概率均值为/>，否则，转到步骤2.22继续采样，其中，表示第/>个向量/>的预测概率；
步骤2.24、若第轮迭代中，预测概率均值/>达到给定的阈值/>，得到搜索分布的参数为/>，并转到步骤2.25，否则，根据NES算法更新搜索分布的参数/>，并转到步骤2.22执行第/>轮迭代；
步骤2.25、利用求期望，并将期望作为更新目标，记期望为/>，则/>为/>的更新目标；
所述反演攻击模块中步骤2.24中，根据NES算法更新搜索分布的参数的具体步骤为：
根据NES算法更新搜索分布的参数：/>，其中：
；
；
；
其中，为更新步长，/>表示对/>的各个分量求偏导，/>为以/>为参数的搜索分布在目标模型上得分的期望，/>表示以/>为参数的搜索分布上/>的概率密度，/>是/>的逆矩阵，/>为费歇尔信息矩阵，/>中的T指的是矩阵转置。
CN202211155036.8A 2022-09-21 2022-09-21 一种基于nes算法的黑盒模型反演攻击方法及系统 Active CN115510440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211155036.8A CN115510440B (zh) 2022-09-21 2022-09-21 一种基于nes算法的黑盒模型反演攻击方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211155036.8A CN115510440B (zh) 2022-09-21 2022-09-21 一种基于nes算法的黑盒模型反演攻击方法及系统

Publications (2)

Publication Number Publication Date
CN115510440A CN115510440A (zh) 2022-12-23
CN115510440B true CN115510440B (zh) 2023-09-08

Family

ID=84506311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211155036.8A Active CN115510440B (zh) 2022-09-21 2022-09-21 一种基于nes算法的黑盒模型反演攻击方法及系统

Country Status (1)

Country Link
CN (1) CN115510440B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390688B (zh) * 2023-12-12 2024-04-05 齐鲁工业大学(山东省科学院) 一种基于监督训练的模型反演方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019057489A1 (de) * 2017-09-20 2019-03-28 Siemens Aktiengesellschaft Verfahren und trainingsdatengenerator zum konfigurieren eines technischen systems sowie steuereinrichtung zum steuern des technischen systems
CN111507384A (zh) * 2020-04-03 2020-08-07 厦门大学 一种黑盒深度模型对抗样本生成方法
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN111967006A (zh) * 2020-08-13 2020-11-20 成都考拉悠然科技有限公司 基于神经网络模型的自适应黑盒对抗攻击方法
CN112819109A (zh) * 2021-04-19 2021-05-18 中国工程物理研究院计算机应用研究所 针对黑盒对抗样本攻击的视频分类系统安全性增强方法
CN113935396A (zh) * 2021-09-09 2022-01-14 哈尔滨工业大学（深圳） 基于流形理论的对抗样本攻击方法及相关装置
CN113936764A (zh) * 2021-10-28 2022-01-14 苏州良医汇网络科技有限公司 一种医疗报告单照片中敏感信息脱敏方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019057489A1 (de) * 2017-09-20 2019-03-28 Siemens Aktiengesellschaft Verfahren und trainingsdatengenerator zum konfigurieren eines technischen systems sowie steuereinrichtung zum steuern des technischen systems
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN111507384A (zh) * 2020-04-03 2020-08-07 厦门大学 一种黑盒深度模型对抗样本生成方法
CN111967006A (zh) * 2020-08-13 2020-11-20 成都考拉悠然科技有限公司 基于神经网络模型的自适应黑盒对抗攻击方法
CN112819109A (zh) * 2021-04-19 2021-05-18 中国工程物理研究院计算机应用研究所 针对黑盒对抗样本攻击的视频分类系统安全性增强方法
CN113935396A (zh) * 2021-09-09 2022-01-14 哈尔滨工业大学（深圳） 基于流形理论的对抗样本攻击方法及相关装置
CN113936764A (zh) * 2021-10-28 2022-01-14 苏州良医汇网络科技有限公司 一种医疗报告单照片中敏感信息脱敏方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Distance-weighted Exponential Natural Evolution Strategy for Implicitly Constrained Black-Box Function Optimization;Masahiro Nomura 等;《IEEE》;1099-1106 *

Also Published As

Publication number Publication date
CN115510440A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
Nguyen et al. Plug & play generative networks: Conditional iterative generation of images in latent space
Dinh et al. Nice: Non-linear independent components estimation
Fabius et al. Variational recurrent auto-encoders
CN111429885B (zh) 一种将音频片段映射为人脸嘴型关键点的方法
Barbalau et al. Black-box ripper: Copying black-box models using generative evolutionary algorithms
CN111507384B (zh) 一种黑盒深度模型对抗样本生成方法
CN115510440B (zh) 一种基于nes算法的黑盒模型反演攻击方法及系统
CN115658954B (zh) 一种基于提示学习的跨模态检索对抗防御方法
Ding et al. Task-driven deep transfer learning for image classification
Kumar et al. Memory optimized deep learning based face recognization
US20220101122A1 (en) Energy-based variational autoencoders
Zhu et al. Curriculum enhanced supervised attention network for person re-identification
CN116862080B (zh) 一种基于双视角对比学习的碳排放预测方法及系统
Huang et al. Incremental kernel null foley-sammon transform for person re-identification
CN115719085B (zh) 一种深度神经网络模型反演攻击防御方法及设备
Li et al. Visual privacy protection via mapping distortion
Chhabra et al. Attack agnostic adversarial defense via visual imperceptible bound
US20220101145A1 (en) Training energy-based variational autoencoders
Ullah et al. Low resolution face recognition using enhanced srgan generated images
Zha et al. Intensifying The Consistency of Pseudo Label Refinement for Unsupervised Domain Adaptation Person Re-Identification
CN113837048B (zh) 基于少样本注意力的车辆重识别方法
US20240070956A1 (en) Method, electronic device, and computer program product for video processing
CN114972904B (zh) 一种基于对抗三元组损失的零样本知识蒸馏方法及系统
Lin et al. Perceptual regularization: Visualizing and learning generalizable representations
Zhao et al. Template matching via bipartite graph and graph attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant