CN114677556A - 神经网络模型的对抗样本生成方法及相关设备 - Google Patents

神经网络模型的对抗样本生成方法及相关设备 Download PDF

Info

Publication number
CN114677556A
CN114677556A CN202210204381.XA CN202210204381A CN114677556A CN 114677556 A CN114677556 A CN 114677556A CN 202210204381 A CN202210204381 A CN 202210204381A CN 114677556 A CN114677556 A CN 114677556A
Authority
CN
China
Prior art keywords
training
neural network
discriminator
data set
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210204381.XA
Other languages
English (en)
Inventor
王玉龙
刘俊
王东霞
苏森
徐鹏
双锴
程祥
张忠宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
32802 Troops Of People's Liberation Army Of China
Beijing University of Posts and Telecommunications
Original Assignee
32802 Troops Of People's Liberation Army Of China
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 32802 Troops Of People's Liberation Army Of China, Beijing University of Posts and Telecommunications filed Critical 32802 Troops Of People's Liberation Army Of China
Priority to CN202210204381.XA priority Critical patent/CN114677556A/zh
Publication of CN114677556A publication Critical patent/CN114677556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种神经网络模型的对抗样本生成方法及相关设备，所述方法包括：基于生成对抗网络，首先获取与神经网络模型的攻击需求对应的原始数据集；之后对神经网络模型进行预训练，得到预训练模型；根据原始数据集对生成对抗网络的生成器、判别器和预训练模型进行迭代训练，最终得到目标生成器；并通过目标生成器生成对抗样本。该方法不受限于数据集的情况及具体模型，根据不同数据集的情况，可以对指定模型进行生成器的训练，方便地提升了对抗样本的生成效率。

Description

神经网络模型的对抗样本生成方法及相关设备
技术领域
本申请涉及深度学习技术领域，尤其涉及一种神经网络模型的对抗样本生成方法及相关设备。
背景技术
近年来，深度神经网络作为人工智能的一个重要分支，在图像识别、语音识别、智能驾驶、医疗健康等领域都取得了惊人的成果。神经网络可以将原始数据转化为一种规律性模式，通过模拟大脑神经元进行建立连接、信息传递等过程。深度神经网络在如今大数据驱动的创新中，起到关键的推动作用。
研究发现，深度神经网络很容易受到微小输入扰动的干扰，这些干扰人类无法察觉却会引起机器的错误，这个引起错误的数据叫做对抗样本。对抗样本即在数据中加入细微扰动，会导致模型以较高的置信度给出错误的输出，这也是机器学习算法研究的一个盲点。对抗攻击现象的存在严重制约了神经网络的应用范围，在安全性要求高的场景中必须确保网络具有足够的鲁棒性。因此，为了保障神经网络的安全性，对抗样本的生成问题显得尤为重要。
发明内容
有鉴于此，本申请的目的在于提出一种神经网络模型的对抗样本生成方法及相关设备。
基于上述目的，本申请提供了一种神经网络模型的对抗样本生成方法，包括：
获取与所述神经网络模型的攻击需求对应的原始数据集；
根据所述原始数据集对所述神经网络模型进行预训练，得到预训练模型；
根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器；
通过所述目标生成器生成所述对抗样本。
进一步的，所述根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，包括：
对于每一轮迭代训练执行如下操作：
对多维高斯分布进行采样，得到所述预训练模型的中间层的参数的多个候选解；
将所述预训练模型的中间层的参数替换为所述候选解，得到分别对应于多个所述候选解的多个候选神经网络模型；
根据多个所述候选神经网络模型的参数，从所述原始数据集中生成训练数据集；
根据所述训练数据集，从多个所述候选神经网络模型中选出目标神经网络模型；
将所述训练数据集输入到所述生成器中，得到所述训练数据集的扰动；
将所述训练数据集与所述扰动叠加，得到叠加数据集，将所述叠加数据集输入到所述判别器中，得到所述判别器的损失；根据所述叠加数据集对所述目标神经网络模型进行训练，得到新的目标神经网络模型；
根据所述新的目标神经网络模型的中间层的参数，对所述多维高斯分布进行更新得到下一轮迭代中的多维高斯分布；根据所述判别器的损失，对所述判别器进行更新得到下一轮迭代中的判别器；根据所述下一轮迭代中的判别器对所述生成器进行更新，得到下一轮迭代中的生成器。
进一步的，所述生成器通过蒸馏模型训练得到。
进一步的，所述候选神经网络模型的参数，包括：所述候选神经网络模型的隐藏层的层数、每层神经元的数量、输入层的结构和输出层的结构。
进一步的，所述判别器的损失通过交叉熵函数计算。
进一步的，所述根据所述判别器的损失，对所述判别器进行更新得到下一轮迭代中的判别器，包括：
根据所述判别器的损失，通过Wasserstein距离对所述判别器的损失函数进行优化，得到所述下一轮迭代中的判别器。
进一步的，所述根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器，还包括：
预先设置迭代轮数阈值，当迭代轮数达到所述迭代轮数阈值时，停止迭代训练，输出这一轮迭代训练出的生成器作为所述目标生成器。
基于同一构思，本申请还提供了一种神经网络模型的对抗样本生成装置，包括：
获取模块，被配置为获取与所述神经网络模型的攻击需求对应的原始数据集；
预训练模块，被配置为根据所述原始数据集对所述神经网络模型进行预训练，得到预训练模型；
迭代模块，被配置为根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器；
生成模块，被配置为通过所述目标生成器生成所述对抗样本。
基于同一构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述的方法。
基于同一构思，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机实现如上任一项所述的方法。
从上面所述可以看出，本申请提供的神经网络模型的对抗样本生成方法，基于生成对抗网络，首先获取与神经网络模型的攻击需求对应的原始数据集；之后对神经网络模型进行预训练，得到预训练模型；根据原始数据集对生成对抗网络的生成器、判别器和预训练模型进行迭代训练，最终得到目标生成器；并通过目标生成器生成对抗样本。该方法不受限于数据集的情况及具体模型，根据不同数据集的情况，可以对指定模型进行生成器的训练，方便地提升了对抗样本的生成效率。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的神经网络模型的对抗样本生成方法流程图；
图2为本申请实施例的迭代训练方法流程图；
图3为本申请实施例的神经网络模型的对抗样本生成装置结构示意图；
图4为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，对抗样本的生成问题在神经网络的应用中占有重要的地位。
申请人在实现本申请的过程中发现，对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本，导致模型以高置信度给出一个错误的输出。在正则化背景下，通过对抗训练减少原有独立同分布的测试集的错误率——在对抗扰动的训练集样本上训练网络。深度学习对抗训练，就是通过在对抗样本上训练模型。既然深度学习的对抗样本是由于模型的线性特征所导致，那就可以设计一种快速的方法来产生对抗样本进行对抗训练。通过利用对抗样本训练，对抗样本上的误分率被大大降低。同时选择原始模型产生的对抗样本作为训练数据可以训练得到具有更高抵抗力的模型。对于误分的对抗样本，对抗训练得到的模型的置信度依然很高。所以通过对抗训练能够提高深度学习的对于对抗样本的抗干扰能力。
对抗训练有助于体现积极正则化与大型函数族结合的力量。纯粹的线性模型，如逻辑回归，由于它们被限制为线性而无法抵抗对抗样本。神经网络能够将函数从接近线性转化为局部近似恒定，从而可以灵活地捕获到训练数据中的线性趋势同时学习抵抗局部扰动。
有鉴于此，本申请的一个或多个实施例提供了一种神经网络模型的对抗样本生成方案，基于生成对抗网络，首先获取与神经网络模型的攻击需求对应的原始数据集；之后对神经网络模型进行预训练，得到预训练模型；根据原始数据集对生成对抗网络的生成器、判别器和预训练模型进行迭代训练，最终得到目标生成器；并通过目标生成器生成对抗样本。下面对本申请各具体实施例的技术方案进行说明。
参考图1，本说明书一个实施例的神经网络模型的对抗样本生成方法，包括以下步骤：
步骤S101、获取与所述神经网络模型的攻击需求对应的原始数据集；
在本步骤中，在获取原始数据集的过程中，需要根据待优化的神经网络模型的使用场景，或者测试场景，选择原始数据集。
在本实施例中，原始数据集可以是现有的公开数据集,例如CIFAR-10、MNIST等，也可以是被上传的自定义数据集。原始数据的表现形式为“像素级矩阵数据存储的图片”。原始数据用于进行神经网络模型的训练，例如对分类系统，目标识别等神经网络模型进行训练。本申请中，原始数据有两个用途，一是用于训练待优化的神经网络模型；另一用途则是在后续步骤中生成迭代训练需要的训练数据集。
步骤S102、根据所述原始数据集对所述神经网络模型进行预训练，得到预训练模型；
在本步骤中，利用所述原始数据集对所述神经网络模型进行预训练，以得到预训练模型。在优化开始前，待优化的预训练模型是通过原始数据集训练好的神经网络模型。预训练模型可使用经典网络结构或者自定义网络结构，将原始数据集输入到神经网络模型中，配合神经网络模型完成预训练。
在一些实施方式中，根据使用者的设备和模型应用场景的需求，选用不同的预训练模型。作为一个示例，例如ResNet34，Inception v3等神经网络模型，ResNet34，Inception v3的区别在于两种神经网络模型的结构层数不同。在需要快速的获取优化模型的情况下，可以使用结构层数较少的神经网络模型，例如ResNet34。在需要获得相对安全的模型的情况下，可以使用结构层数较多的神经网络模型，例如Inception v3。
步骤S103、根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器；
在本步骤中，通过生成对抗网络对预训练模型受攻击的随机性进行建模。生成对抗网络包含两个网络，即生成器网络和判别器网络。在训练时，判别器网络的作用是区分生成器生成的样本和真实样本，而生成器网络的作用是生成尽可能接近真实样本的生成样本从而有效地捕捉真实数据的分布特征。训练完成后，生成器可以用于生成对抗样本。
在本步骤中，重复进行迭代，直至满足预先设定的终止条件。判断是否满足预先设定的终止条件，当判别器损失达到指定阈值时，算法停止运行，得到的生成器即所需的目标生成器。
在一些实施例中，参考图2，对于步骤中的根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，其具体可以包括：
对于每一轮迭代训练执行如下操作：
步骤S201、对多维高斯分布进行采样，得到所述预训练模型的中间层的参数的多个候选解；
在本步骤中，首先将所述预训练模型的中间层变化建模为多维高斯分布。具体的，提取待优化的预训练模型的中间层参数，所提取的预训练模型的中间层包括除第一层和最后一层外的所有网络层。将所述预训练模型的中间层参数的解空间，建模为多维高斯分布N(μ，σ2C)。其中，μ为分布的均值，σ为学习步长，C为协方差矩阵。以待优化的预训练模型的中间层参数值作为高斯分布的初始均值μ0；然后在预设的区间内初始化学习步长σ0；作为一个具体的示例，在0.0001-0.1区间内初始化学习步长σ0；在一些实施例中，以0.1初始化学习步长σ0会使训练的过程更快得到结果。
步骤S202、将所述预训练模型的中间层的参数替换为所述候选解，得到分别对应于多个所述候选解的多个候选神经网络模型；
在本步骤中，在当前多维高斯分布内抽样采集出所有候选解集合，每一个候选解对应一个候选神经网络模型；将采样获得的中间层参数替换待优化的预训练模型的中间层参数，获得多个候选神经网络模型。
步骤S203、根据多个所述候选神经网络模型的参数，从所述原始数据集中生成训练数据集；
在本步骤中，训练数据集的生成是基于待优化的预训练模型的结构和模型参数的，在生成训练数据集时，先获取待优化的预训练模型的具体结构和模型参数，包括深度神经网络的隐藏层层数，每层神经元数量，输入层，输出层等。再根据上述参数对原始数据集进行处理以生成训练数据集。
步骤S204、根据所述训练数据集，从多个所述候选神经网络模型中选出目标神经网络模型；
在本步骤中，多个所述候选神经网络模型中每个候选神经网络模型的模型参数都有部分差别，因此，可以从多个所述候选神经网络模型中选出最适合训练数据集的候选神经网络模型作为目标神经网络模型。
步骤S205、将所述训练数据集输入到所述生成器中，得到所述训练数据集的扰动；
在本步骤中，生成器会根据训练数据集生成对应的扰动，以完成对抗神经网络的迭代训练。
步骤S206、将所述训练数据集与所述扰动叠加，得到叠加数据集，将所述叠加数据集输入到所述判别器中，得到所述判别器的损失；根据所述叠加数据集对所述目标神经网络模型进行训练，得到新的目标神经网络模型；
在本步骤中，扰动和训练数据集叠加后得到了对抗样本，将对抗样本和正常样本(即训练数据集)同时输入到判别器中，判别器会对正常样本和对抗样本进行二分类，判断生成器添加的扰动是否可以使判别器发生误分类，即是否可以骗过判别器。同时，将对抗样本输入到目标神经网络模型中，对目标神经网络模型进行训练，得到新的目标神经网络模型。
在本步骤中，判别器将对抗样本与正常样本进行判别，判别结果可以指示对抗样本相对于正常样本的真实程度。
步骤S207、根据所述新的目标神经网络模型的中间层的参数，对所述多维高斯分布进行更新得到下一轮迭代中的多维高斯分布；根据所述判别器的损失，对所述判别器进行更新得到下一轮迭代中的判别器；根据所述下一轮迭代中的判别器对所述生成器进行更新，得到下一轮迭代中的生成器。
在本步骤中，从新的目标神经网络模型中，获取其中间层参数，更新多维高斯分布的均值、协方差等参数，计算得到新的多维高斯分布。
步骤S104、通过所述目标生成器生成所述对抗样本。
在本实施例中，生成对抗网络是通过训练得到的，涉及两个神经网络的训练，即判别器和生成器网络。生成对抗网络的训练以对生成器网络和判别器网络进行交替训练的方式进行，二者以博弈的形式交替优化以下目标函数：
Figure BDA0003530855010000081
其中，pdata表示数据集的分布，为概率论中常用的一种表示；▽为求梯度的算符；E(a)为对a求均值；λ为惩罚系数，xk为样本(即合成数据)，
Figure BDA0003530855010000082
为插值后的样本，
Figure BDA0003530855010000083
∈为从均匀分布[0,1]采样得到的插值系数。隐变量z(通常为服从高斯分布的随机噪声)通过生成器网络G产生生成样本，对于判别器D来说，这是一个二分类问题，V(D，G)为二分类问题中常见的交叉熵损失。为了保证V(D,G)取得最大值，所以通常会训练迭代k次判别器，然后再迭代1次生成器(k通常取1即可)。生成对抗网络的训练步骤可以表示为：
初始化生成器网络G和判别器网络D两个网络的参数。
从训练集抽取n个样本，以及生成器网络利用定义的噪声分布生成n个样本。固定生成器网络G，训练判别器网络D，使其尽可能区分真假。
循环更新k次判别器网络D之后，更新1次生成器网络G，使判别器网络尽可能区分不了真假。
多次更新迭代后，理想状态下，最终判别器网络D无法区分某样本到底是来自真实的训练样本集合，还是来自生成器网络G生成的样本即可，此时辨别的概率为0.5，完成训练。
在本实施例中，样本的个数n，循环的次数k都是根据实际情况选择的。
特别地，判别器网络用于区分正常样本和生成器网络生成的对抗样本，而生成器网络则致力于生成被判别器网络视为“真实”的合成记录。
从上面所述可以看出，本申请实施例的神经网络模型的对抗样本生成方法，基于生成对抗网络，首先获取与神经网络模型的攻击需求对应的原始数据集；之后对神经网络模型进行预训练，得到预训练模型；根据原始数据集对生成对抗网络的生成器、判别器和预训练模型进行迭代训练，最终得到目标生成器；并通过目标生成器生成对抗样本。该方法不受限于数据集的情况及具体模型，根据不同数据集的情况，可以对指定模型进行生成器的训练，方便地提升了对抗样本的生成效率。
在另外一些实施例中，前述实施例中所述的生成器是通过蒸馏模型训练得到的。
在本实施例中，主要为了在黑盒攻击的情况下生成扰动。黑盒攻击是指，假设对抗着不知道训练数据集或者模型的先验知识，通过使用与训练集不相交的数据对黑盒模型进行提取。在该情况下可以根据黑盒模型的输出制作蒸馏模型，利用蒸馏模型训练生成器，以提升生成器模型的黑盒攻击效果。
在另外一些实施例中，前述实施例中所述的候选神经网络模型的参数，包括：所述候选神经网络模型的隐藏层的层数、每层神经元的数量、输入层的结构和输出层的结构。
在另外一些实施例中，前述实施例中所述的判别器的损失通过交叉熵函数计算。
在本实施例中，交叉熵在对抗神经网络的判别器中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。
在另外一些实施例中，前述实施例中所述的根据所述判别器的损失，对所述判别器进行更新得到下一轮迭代中的判别器，包括：
根据所述判别器的损失，通过Wasserstein距离对所述判别器的损失函数进行优化，得到所述下一轮迭代中的判别器。
在本实施例中，Wasserstein距离度量两个几率分布之间的距离。Wessertein距离相比相关的KL散度和JS散度的优点在于：即便两个分布的支撑集没有重叠或者重叠很是少，仍然能反映两个分布的远近。而JS散度在此状况下是常量，KL散度可能无心义。
在另外一些实施例中，前述实施例中所述的根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器，还包括：
预先设置迭代轮数阈值，当迭代轮数达到所述迭代轮数阈值时，停止迭代训练，输出这一轮迭代训练出的生成器作为所述目标生成器。
在本实施例中，迭代运算可以根据满足预设的迭代轮数结束。
从上面所述可以看出，本申请实施例的神经网络模型的对抗样本生成方法，运用生成对抗网络对目标模型受攻击的随机性进行建模，通过Wasserstein距离和生成对抗网络技术的结合，在确保网络对于已知攻击的效果的前提下，进而生成攻击成功率高的对抗样本，同时提升了半白盒攻击和黑盒攻击的攻击成功率。该方法不受限于数据集的情况及具体模型，根据不同数据集的情况，对指定目标模型进行生成器的训练，方便地提升了对抗样本的生成效率与攻击成功率。
需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种神经网络模型的对抗样本生成最终。
参考图3，所述神经网络模型的对抗样本生成装置，包括：
获取模块301，被配置为获取与所述神经网络模型的攻击需求对应的原始数据集；
预训练模块302，被配置为根据所述原始数据集对所述神经网络模型进行预训练，得到预训练模型；
迭代模块303，被配置为根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器；
生成模块304，被配置为通过所述目标生成器生成所述对抗样本。
在另外一些实施例中，迭代模块303，还被配置为：
对于每一轮迭代训练执行如下操作：
对多维高斯分布进行采样，得到所述预训练模型的中间层的参数的多个候选解；
将所述预训练模型的中间层的参数替换为所述候选解，得到分别对应于多个所述候选解的多个候选神经网络模型；
根据多个所述候选神经网络模型的参数，从所述原始数据集中生成训练数据集；
根据所述训练数据集，从多个所述候选神经网络模型中选出目标神经网络模型；
将所述训练数据集输入到所述生成器中，得到所述训练数据集的扰动；
将所述训练数据集与所述扰动叠加，得到叠加数据集，将所述叠加数据集输入到所述判别器中，得到所述判别器的损失；根据所述叠加数据集对所述目标神经网络模型进行训练，得到新的目标神经网络模型；
根据所述新的目标神经网络模型的中间层的参数，对所述多维高斯分布进行更新得到下一轮迭代中的多维高斯分布；根据所述判别器的损失，对所述判别器进行更新得到下一轮迭代中的判别器；根据所述下一轮迭代中的判别器对所述生成器进行更新，得到下一轮迭代中的生成器。
在另外一些实施例中，迭代模块303中的生成器通过蒸馏模型训练得到。
在另外一些实施例中，迭代模块303中的候选神经网络模型的参数，包括：所述候选神经网络模型的隐藏层的层数、每层神经元的数量、输入层的结构和输出层的结构。
在另外一些实施例中，迭代模块303中的判别器的损失通过交叉熵函数计算。
在另外一些实施例中，迭代模块303，还被配置为：
根据所述判别器的损失，通过Wasserstein距离对所述判别器的损失函数进行优化，得到所述下一轮迭代中的判别器。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的神经网络模型的对抗样本生成方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的神经网络模型的对抗样本生成方法。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的神经网络模型的对抗样本生成方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的神经网络模型的对抗样本生成方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的神经网络模型的对抗样本生成方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种神经网络模型的对抗样本生成方法，其特征在于，包括：
获取与所述神经网络模型的攻击需求对应的原始数据集；
根据所述原始数据集对所述神经网络模型进行预训练，得到预训练模型；
根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器；
通过所述目标生成器生成所述对抗样本。
2.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，包括：
对于每一轮迭代训练执行如下操作：
对多维高斯分布进行采样，得到所述预训练模型的中间层的参数的多个候选解；
将所述预训练模型的中间层的参数替换为所述候选解，得到分别对应于多个所述候选解的多个候选神经网络模型；
根据多个所述候选神经网络模型的参数，从所述原始数据集中生成训练数据集；
根据所述训练数据集，从多个所述候选神经网络模型中选出目标神经网络模型；
将所述训练数据集输入到所述生成器中，得到所述训练数据集的扰动；
将所述训练数据集与所述扰动叠加，得到叠加数据集，将所述叠加数据集输入到所述判别器中，得到所述判别器的损失；根据所述叠加数据集对所述目标神经网络模型进行训练，得到新的目标神经网络模型；
根据所述新的目标神经网络模型的中间层的参数，对所述多维高斯分布进行更新得到下一轮迭代中的多维高斯分布；根据所述判别器的损失，对所述判别器进行更新得到下一轮迭代中的判别器；根据所述下一轮迭代中的判别器对所述生成器进行更新，得到下一轮迭代中的生成器。
3.根据权利要求1所述的方法，其特征在于，所述生成器通过蒸馏模型训练得到。
4.根据权利要求2所述的方法，其特征在于，所述候选神经网络模型的参数，包括：所述候选神经网络模型的隐藏层的层数、每层神经元的数量、输入层的结构和输出层的结构。
5.根据权利要求2所述的方法，其特征在于，所述判别器的损失通过交叉熵函数计算。
6.根据权利要求2所述的方法，其特征在于，所述根据所述判别器的损失，对所述判别器进行更新得到下一轮迭代中的判别器，包括：
根据所述判别器的损失，通过Wasserstein距离对所述判别器的损失函数进行优化，得到所述下一轮迭代中的判别器。
7.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器，还包括：
预先设置迭代轮数阈值，当迭代轮数达到所述迭代轮数阈值时，停止迭代训练，输出这一轮迭代训练出的生成器作为所述目标生成器。
8.一种神经网络模型的对抗样本生成装置，其特征在于，包括：
获取模块，被配置为获取与所述神经网络模型的攻击需求对应的原始数据集；
预训练模块，被配置为根据所述原始数据集对所述神经网络模型进行预训练，得到预训练模型；
迭代模块，被配置为根据所述原始数据集对生成器、判别器和所述预训练模型进行迭代训练，响应于确定迭代后的所述判别器的损失达到预设的阈值，将迭代后的所述生成器作为目标生成器；
生成模块，被配置为通过所述目标生成器生成所述对抗样本。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行根据权利要求1至7中任意一项所述的方法。
CN202210204381.XA 2022-03-03 2022-03-03 神经网络模型的对抗样本生成方法及相关设备 Pending CN114677556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210204381.XA CN114677556A (zh) 2022-03-03 2022-03-03 神经网络模型的对抗样本生成方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210204381.XA CN114677556A (zh) 2022-03-03 2022-03-03 神经网络模型的对抗样本生成方法及相关设备

Publications (1)

Publication Number Publication Date
CN114677556A true CN114677556A (zh) 2022-06-28

Family

ID=82072360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210204381.XA Pending CN114677556A (zh) 2022-03-03 2022-03-03 神经网络模型的对抗样本生成方法及相关设备

Country Status (1)

Country Link
CN (1) CN114677556A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777046A (zh) * 2023-05-11 2023-09-19 中国科学院自动化研究所 交通预训练模型构建和交通预测方法、装置及电子设备
WO2024108472A1 (zh) * 2022-11-24 2024-05-30 北京京东方技术开发有限公司 模型训练方法及装置、文本图像处理方法、设备、介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024108472A1 (zh) * 2022-11-24 2024-05-30 北京京东方技术开发有限公司 模型训练方法及装置、文本图像处理方法、设备、介质
CN116777046A (zh) * 2023-05-11 2023-09-19 中国科学院自动化研究所 交通预训练模型构建和交通预测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109891897B (zh) 用于分析媒体内容的方法
CN109754078A (zh) 用于优化神经网络的方法
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN114677556A (zh) 神经网络模型的对抗样本生成方法及相关设备
JP2021174556A (ja) 自動運転における機能テスト方法に基づくセマンティックな敵対的生成
CN113239914B (zh) 课堂学生表情识别及课堂状态评估方法、装置
CN114187483A (zh) 生成对抗样本的方法、检测器的训练方法及相关设备
CN113298096A (zh) 训练零样本分类模型的方法、系统、电子设备及存储介质
CN113778256A (zh) 具有触摸屏的电子设备及其触摸解锁方法
CN115439708A (zh) 一种图像数据处理方法和装置
Viet‐Uyen Ha et al. High variation removal for background subtraction in traffic surveillance systems
CN115601629A (zh) 模型训练方法、图像识别方法、介质、装置和计算设备
Dong et al. Multi‐task learning method for classification of multiple power quality disturbances
CN115496144A (zh) 配电网运行场景确定方法、装置、计算机设备和存储介质
CN117150402A (zh) 基于生成式对抗网络的电力数据异常检测方法及模型
CN117454187B (zh) 一种基于频域限制目标攻击的集成模型训练方法
CN115374950A (zh) 样本检测方法、样本检测装置、电子设备及存储介质
CN113435531B (zh) 零样本图像分类方法、系统、电子设备及存储介质
CN114358278A (zh) 神经网络模型的训练方法及装置
CN110889290B (zh) 文本编码方法和设备、文本编码有效性检验方法和设备
CN112861601A (zh) 生成对抗样本的方法及相关设备
CN116976491A (zh) 一种信息预测方法、装置、设备、存储介质及程序产品
Khetarpal et al. Power quality disturbance signal segmentation and classification based on modified BI‐LSTM with double attention mechanism
CN115062685A (zh) 一种故障诊断方法、装置、电子设备及存储介质
Alaql et al. No‐reference image quality metric based on multiple deep belief networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination