CN114758113A - 对抗样本防御训练方法、分类预测方法及装置、电子设备 - Google Patents

对抗样本防御训练方法、分类预测方法及装置、电子设备 Download PDF

Info

Publication number
CN114758113A
CN114758113A CN202210320331.8A CN202210320331A CN114758113A CN 114758113 A CN114758113 A CN 114758113A CN 202210320331 A CN202210320331 A CN 202210320331A CN 114758113 A CN114758113 A CN 114758113A
Authority
CN
China
Prior art keywords
training
sample
training set
supervised
unsupervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210320331.8A
Other languages
English (en)
Inventor
李卓蓉
韩志科
金苍宏
吴明晖
石龙翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University City College ZUCC
Original Assignee
Zhejiang University City College ZUCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University City College ZUCC filed Critical Zhejiang University City College ZUCC
Priority to CN202210320331.8A priority Critical patent/CN114758113A/zh
Publication of CN114758113A publication Critical patent/CN114758113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种对抗样本防御训练方法、分类预测方法及装置、电子设备，所述方法包括：获取训练样本；对所述训练样本进行预处理，构建第一训练集；对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型；从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练；利用训练好的模型对待测数据进行分类预测。通过无监督的鲁棒预训练和有监督的微调，本发明能够有效提高基于深度学习模型的人工智能系统的安全性、准确性和泛化性。

Description

对抗样本防御训练方法、分类预测方法及装置、电子设备
技术领域
本申请涉及人工智能安全领域，具体涉及一种对抗样本防御训练方法、分类预测方法及装置、电子设备。
背景技术
近年来，机器学习尤其是深度学习的算法和模型得到了极大的发展，其应用遍布人工智能各个方面，例如：机器视觉、语音识别、自然语言处理、无人驾驶等，均取得了巨大成功。尽管机器学习算法在许多场景下，其表现甚至超过人类，然而，当输入并非呈自然发生时，机器学习系统还远远没有达到人类水平，表现出致命的缺陷。对抗样本就是一种典型的、极具攻击性的非自然呈现的输入，通过在正常样本中添加精心设计的不明显扰动，能够导致原本分类精度极高的深度神经网络彻底失效。
随着基于深度神经网络的人工智能系统在各个应用领域的流行，对抗样本将成为巨大威胁。例如，在基于人脸识别的身份验证系统中，攻击方可利用对抗样本非法获得授权；在自动驾驶场景中，攻击方可利用对抗样本干扰系统对交通信号的识别从而引发严重的交通事故，等等。因此，提高深度学习模型对对抗样本攻击的防御能力迫在眉睫。
目前已经提出了多种对抗样本的防御方法，这些方法大致可分为两类：
(1)基于鲁棒性增强的防御方法：通过改变模型的网络结构、训练过程，以及对输入数据进行预处理等方式，使深度神经网络在遭到对抗攻击时仍能准确将对抗样本分类。典型方法包括：对抗训练、防御性降噪预处理、防御性蒸馏等。尽管这些方法已取得一定成效，但由于在训练中使用了大量有标注训练样本，造成了对于标注样本的过度依赖，导致训练所得模型仅对特定类型的对抗样本有较好性能，缺乏对训练过程中未见类型的对抗样本和不同攻击强度对抗样本的适用性。
(2)基于检测的防御方法：通过学习对抗样本和常规样本之间的差别，正确识别出对抗样本，通过拒绝对抗样本进入模型中达到防止干扰的目的。由于检测器从本质上来说是一个二分类器：对良性样本和对抗样本进行区分，因此，训练过程同样过于依赖标注样本来构建决策边界，导致泛化性较差，不能对多种干扰有效。
发明内容
鉴于此，本申请实施例的目的是提供一种对抗样本防御训练方法、分类预测方法及装置、电子设备。
根据本申请实施例的第一方面，提供一种对抗样本防御训练方法，包括：
获取训练样本；
对所述训练样本进行预处理，构建第一训练集；
对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；
对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；
利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型；
从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练。
进一步地，所述随机变换选自翻转、截取、填充、遮挡、对比度变换和亮度变换。
进一步地，所述无监督鲁棒预训练的损失函数
Figure RE-GDA0003643761730000031
的形式化表示如下：
Figure RE-GDA0003643761730000032
其中，E表示期望，χ表示数据集的概率分布，θ表示深度神经网络的参数，
Figure RE-GDA0003643761730000033
表示无监督学习的损失函数，T(x)表示原始样本x的扩增样本，Λunsup(x)表示基于无监督学习的损失函数生成的对抗样本，
Figure RE-GDA0003643761730000034
表示无监督鲁棒预训练的特征提取器参数，
Figure RE-GDA0003643761730000035
表示预训练的分类器参数。
进一步地所述有监督训练的损失函数
Figure RE-GDA0003643761730000036
的形式化表示如下：
Figure RE-GDA0003643761730000037
其中，Ω表示第一训练集中有标注样本的概率分布函数，x和y分别表示有标注的原始样本及其对应的标注信息，
Figure RE-GDA0003643761730000038
表示有监督学习的损失函数，Λsup(x)表示在有监督训练过程中生成的对抗样本，
Figure RE-GDA0003643761730000039
表示有监督训练的特征提取器参数，
Figure RE-GDA00036437617300000310
表示有监督训练的分类器参数。
进一步地，对于所述第一训练集中的每一个样本，生成对应的对抗样本
在原始样本x上叠加对抗扰动δ生成对抗样本，即，Λ(x)＝x+δ，其中，对抗扰动δ的形式化表示为：
Figure RE-GDA00036437617300000311
其中，
Figure RE-GDA00036437617300000312
是机器学习模型在概率分布为χ的数据集上的训练损失函数，θ是模型的参数化表示，p表示范数，||.||p表示p范数下的幅值，ε表示对抗扰动的幅值上限；
对应地，无监督预训练过程中，对抗样本的生成方式的形式化表示如下：
Figure RE-GDA0003643761730000041
其中，Λunsup(x)和δunsup分别表示无监督预训练过程中的对抗样本和对抗扰动；
有监督训练过程中，对抗样本的生成方式的形式化表示如下：
Figure RE-GDA0003643761730000042
其中，Λsup(x)和δsup分别表示有监督训练过程中的对抗样本和对抗扰动。
根据本申请实施例的第二方面，提供一种对抗样本防御训练装置，包括：
获取单元，用于获取训练样本；
第一构建单元，用于对所述训练样本进行预处理，构建第一训练集；
第二构建单元，用于对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；
第三构建单元，用于对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；
第一训练单元，用于利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型；
第二训练单元，用于从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练。
根据本申请实施例的第三方面，提供一种分类预测方法，包括：
获取待分类预测的数据；
利用第一方面所述的对抗样本防御训练方法训练好的模型对待分类预测的数据进行分类预测，得到分类预测结果。
进一步地，分类预测的形式化表示如下：
Figure RE-GDA0003643761730000051
其中，
Figure RE-GDA0003643761730000052
表示待测数据xt在经训练好的特征提取器
Figure RE-GDA0003643761730000053
进行特征提取后，由训练好的分类器
Figure RE-GDA0003643761730000054
输出的预测类别；
Figure RE-GDA0003643761730000055
是无监督预训练得到的特征提取器
Figure RE-GDA0003643761730000056
或是有监督微调后得到的特征提取器
Figure RE-GDA0003643761730000057
或在无监督预训练和有监督微调过程中共用相同的分类器，即
Figure RE-GDA0003643761730000058
Figure RE-GDA0003643761730000059
是有监督微调后的分类器
Figure RE-GDA00036437617300000510
根据本申请实施例的第四方面，提供一种分类预测装置，包括：
第二获取单元，用于获取待分类预测的数据；
分类预测单元，用于利用第一方面所述的对抗样本防御训练方法训练好的模型对待分类预测的数据进行分类预测，得到分类预测结果。
根据本申请实施例的第五方面，提供一种电子设备，包括；
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第三方面所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请通过设计无监督的鲁棒预训练来充分利用现有数据(包括已标注样本以及无标注样本)，从而有效克服现有技术对标注样本的严重依赖、缓解防御训练中标签信息缺乏的问题。首先，在无监督的预训练阶段，以对比学习方式充分挖掘现有数据的有用特征，并通过融入对抗训练的思想来使预训练模型具防御性，有效克服对抗样本对深度学习模型的造成的干扰；然后，在有监督的微调阶段，由于所载入的经过预训练的特征提取器已具备一定的判别性和鲁棒性，因此，该阶段只需少量目标领域的标注数据和轻量级训练，即可获得理想的预测性能。进而，本申请能够有效提高基于深度神经网络的人工智能系统在应用中的准确性、泛化性以及安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本发明实施例1提供的一种对抗样本防御训练方法的流程图。
图2为本发明实施例1提供的一种对抗样本防御训练方法的示意图。
图3为本发明实施例2提供的一种对抗样本防御训练装置的结构示意图。
图4为本发明实施例3提供的一种预测分类方法的流程图。
图5为本发明实施例4提供的一种预测分类装置的结构示意图。
图6为本发明实施例5提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
实施例1：
请参照图1，图1是本发明第一实施例提供的一种防御训练方法的流程图，下面将对图1所示的流程进行详细阐述，所述方法包括：
S100：获取训练样本。
具体地，所述训练样本，包括：获取有标注的原始样本及其对应的标注信息；或，获取无标注的原始样本。
作为一种实施方式，在所述训练样本为图像数据时，该数据是通过肉眼直接观察到的内容，例如，人脸、轮船的图片等，而非经过图像识别系统所识别的内容；在其他可行的实施方式中，所述训练样本还可以是音频数据，或，同时包含图像数据和音频数据的视频数据。
S200：对所述训练样本进行预处理，构建第一训练集。
具体地，所述预处理，包括：获取所述原始训练样本并表征为数据矩阵；对数据矩阵进行降噪处理；对数据矩阵进行尺寸缩放；对数据矩阵进行归一化处理。
作为一种实施方式，在所述原始训练样本为图像数据时，获取所述原始训练样本并表征为RGB(Red Green Blue)三原色数据矩阵，其中，R、G、B的取值范围为0-255。例如，对于一个颜色是海军蓝(NavyBlue)的像素点，由于其三原色值分别为R＝0，G＝0，B＝128，因此可表示为(0，0，128)。因此，通过与图像格式(例如，jpg格式)相匹配的解码器对图像数据进行解码，可将该样本表征为数据矩阵。
可以理解的是，所述对数据矩阵进行降噪处理，是利用滤波器去除数据中的背景噪声、增强有助于识别的信号，从而在一定程度上破坏对抗样本的扰动。优选地，本实施例采用高斯曲率滤波方法，在降低图像数据噪音的同时有效保留边缘特征及纹理细节。
可以理解的是，所述对数据矩阵进行尺寸缩放，是为了使输入数据符合神经网络对输入尺寸的要求。在本实施例中，由于采用了ResNet18作为深度神经网络模型，因此，缩放的目标尺寸为224*224。
优选地，本实施例采用的缩放方式为：首先，将原始图像通过双立方插值法放大到目标尺寸的1.2倍，然后，在随机位置裁剪出目标尺寸大小的图像，既引入了增强模型泛化能力的随机性，又可满足模型对输入尺寸的要求。在其他可选的实施例中，还可以采用最近插值法、双线性插值法等。
优选地，本实施例对数据矩阵按如下方式进行归一化处理：
Figure RE-GDA0003643761730000081
其中x是图像数据的像素值，μ是像素均值，σ是像素标准差，x′是归一化后的像素值。
S300：对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集。
具体地，所述随机变换选自：翻转、截取、填充、遮挡、对比度变换和亮度变换。可以理解的是，随机变换的目的是通过引入随机性和增加样本多样性，以改善模型泛化性。
作为一种实施方式，所述翻转，可以采用随机水平翻转，或上下翻转。
作为一种实施方式，所述截取，可以以图像中心点为中心，截取出固定尺寸的图像，例如，[0.8倍的图像宽，0.8倍的图像高]，可以理解的是，倍数的取值可以按需调整。
可以理解的是，所述填充，是对小于输入尺寸要求的数据矩阵进行四周填充，使其符合深度神经网络对输入的尺寸要求。作为一种实施方式，本实施例采用四周0元素填充(zero-padding)，此方式简单、高效。
优选地，本实施例采用CutMix技术实现矩阵元素遮挡；采用Colour distortion和灰度化实现图像亮度和对比度的变化。在其他可行的实施方式中，还可以采用Cutout技术实现矩阵元素遮挡；采用Colour Jitter实现图像色彩变化。
为进一步改善模型的泛化性，本实施例进一步利用随机信号对上述常规变换进行选取和重新排列，并按重新排列后的顺序将所选变换操作依次应用于第一训练集中的每一个样本上。
S400：对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集。
具体地，所述对抗样本是通过在原始样本x上叠加对抗扰动δ来生成的，即，Λ(x)＝x+δ，其中，对抗扰动δ的形式化表示为：
Figure RE-GDA0003643761730000091
其中，
Figure RE-GDA0003643761730000092
是机器学习模型在数据集χ上的训练损失函数，θ是模型的参数化表示，p表示范数，ε表示对抗扰动的幅值。
作为一种实施方式，当所述深度神经网络的任务是图像分类是，l可以是交叉熵函数。
在实际实施过程中，对于上述优化问题，可采用多种不同方法求解，例如：快速梯度符号法(Fast gradient sign method，FGSM)，基于投影梯度下降(Projected GradientDescend，PGD)的方法，以及对比度下降攻击(Contrast Reduction Attack， CRD)等。
优选地，本实施例采用PGD方法生成对抗扰动，以获得扰动更小、攻击性更强的对抗样本。基于PGD的对抗样本生成方式可形式化表示为：
Figure RE-GDA0003643761730000093
其中，x′表示对抗样本，下标t+1和t分别表示第t+1次和第t次迭代，α表示步长，本实施例中取α＝2/255，sign是符号函数，S表示有效的对抗扰动幅值，
Figure RE-GDA0003643761730000101
表示将像素值投影至有效取值范围的投影算子，
Figure RE-GDA0003643761730000102
表示深度神经网络分类模型的损失函数
Figure RE-GDA0003643761730000103
对x′t的每个像素点求负梯度，y表示样本真正类别，θ表示深度神经网络分类模型的参数，在本实施例中，
Figure RE-GDA0003643761730000104
的幅值为8/255，以使得对抗扰动不易被肉眼察觉。
优选地，所述对抗样本的初始值x′0通过如下方式确定：
Figure RE-GDA0003643761730000105
其中，x表示原始样本，ε表示像素值的初始最大扰动幅值，同样地，此处ε也设为8/255，random(一1，1)表示和原始样本x尺寸相同的、取值范围在(-1，1)内的随机向量。
S500：利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型。
具体地，所述深度神经网络，其结构，可以由：人工设计而成；或，
机器自动生成。
构建深度神经网络需根据性能指标、训练样本数量和可获得的算力资源等多个方面进行综合考虑。较小的网络训练速度较快但预测精度不高，相反，较大的网络收敛慢但预测精度更优。优选地，本实施例利用由人工设计而成的深度神经网络模型ResNet18，以兼顾训练效率和效果。在其他可行的实施方式中，可以采用人工设计的其他网络，例如：GoogleNet，Transformer等；还可以通过自动深度学习(AutoDL)来生成候选网络集并搜索出适合的网络结构。
具体地，所述深度神经网络，包括：特征提取器；以及，分类器。
优选地，在前述构建Resnet18深度神经网络的基础上，选取ResNet18网络最后一个全连接层作为分类器，并将其余层作为本实施例的特征提取器，本实施例所采用的特征提取器与分类器，共同构成了Resnet18网络原型。在本实施例中，特征提取器的输出维度设为512维，既能充分提取特征，又能避免维度过高而带来的复杂计算。在其他可能的实施方式中，特征提取器的输出维度可以按需调整，例如，对于小型数据集和网络，特征提取器可以是256维，反之，维度可以设为1024维或更高。
具体地，所述分类器，包括：全连接分类器，相似度分类器，和深度神经网络原型。
优选地，本实施例在预训练阶段采用相似度分类器，以在扩增样本和对抗样本上实施更有效的对比学习，在微调过程中，本实施例采用全连接分类器，从而，在目标数据集或下游任务上只需对全连接层进行训练即可实现模型对目标数据集的拟合，以及保证模型在下游任务上的表现力。
所述无监督鲁棒预训练，其损失函数
Figure RE-GDA0003643761730000111
的形式化表示如下：
Figure RE-GDA0003643761730000112
其中，E表示期望，
Figure RE-GDA0003643761730000113
表示无监督学习的损失函数，T(x)表示原始样本x∈χ的扩增样本，Λunsup(x)表示基于无监督学习的损失函数生成的对抗样本，θe表示深度神经网络中特征提取器的参数，
Figure RE-GDA0003643761730000114
表示预训练的分类器参数。
优选地，本实施例中用于训练模型的x∈χ包含了有标注样本和无标注样本，以充分利用所有可用的训练样本。由于此阶段是无监督训练，因此，对于有标注的样本，只需将图像本身输入网络，而不需将标注信息一同输入。在其他可能的实施方式中，x∈χ也可以仅包含无标注样本。
优选地，本实施例所采用的无监督学习的损失函数
Figure RE-GDA0003643761730000115
的形式化表示如下：
Figure RE-GDA0003643761730000116
其中，i，j，k是样本的索引，exp表示指数函数，sim表示cosine相似性度量，τ是温度参数，在本实施例中τ的取值为1，1[k≠i]∈{0，1}是一个指示函数，当且仅当k≠i时，其取值为1，否则，取值为0。
Figure RE-GDA0003643761730000117
表示参数为θe特征提取器。
优选地，在本实施例中，
Figure RE-GDA0003643761730000118
表示输入数据x经过ResNet18网络最后一个平均池化层之后所输出的特征。k的数量是2n，表示训练是在一对对的样本上通过对比学习来进行。优选地，本实施例在原始样本x的扩增样本T(x)及原始样本对应的对抗样本Λunsup(x)进行对比学习，其好处在于，这是一种无监督的学习方式，因此有效克服了现有防御方法对标注数据严重依赖的问题。
基于上述优选的实施方式，在本实施例的无监督预训练过程中，对抗样本的生成方式的形式化表示如下：
Figure RE-GDA0003643761730000121
其中，Λunsup(x)和δunsup分别表示无监督预训练过程中的对抗样本和对抗扰动。
作为一种实施方式，本实施例在无监督预训练过程中采用随机梯度下降法进行迭代训练，动量项系数为0.9，权值衰减系数为2×10-4，学习率为0.1。
作为一种实施方式，本实例采用批量迭代，在每一个训练轮次中，将原始训练样本进行随机乱序并划分为m个小批量，并基于上述鲁棒性增强目标函数进行m次模型参数更新；重复n个训练轮次，直至完成模型训练。
优选地，训练设置如下：m＝100，n＝1000。
S600：从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练。
具体地，所述有监督训练，其损失函数
Figure RE-GDA0003643761730000122
的形式化表示如下：
Figure RE-GDA0003643761730000123
其中，(x，y)∈Ω表示第一训练集中有标注的样本，y表示标注信息，
Figure RE-GDA0003643761730000124
表示有监督学习的损失函数，Λsup(x)表示在有监督训练过程中生成的对抗样本，
Figure RE-GDA0003643761730000125
表示有监督训练的分类器参数。
优选地，本实施例采用交叉熵作为有监督学习的损失函数
Figure RE-GDA0003643761730000126
基于上述优选的实施方式，在本实施例的有监督预训练过程中，对抗样本的生成方式的形式化表示如下：
Figure RE-GDA0003643761730000127
其中，Λsup(x)和δsup分别表示有监督训练过程中的对抗样本和对抗扰动。
需要说明的是，本发明实施例的方法是一个先“预训练”然后再“训练”的方法，例如，通过网络爬虫等技术，可以获得很多无标签数据，这些数据对训练神经网络是有效的，但由于没有标注，不具备所谓的判别性，所以，还需要加一个监督训练过程，用有标注数据进行有监督训练，也称，微调，之所以是微调，是因为，这时候只需很少量的标注数据即可。例如，10000个无标签样本预训练+100个有监督样本微调，可以获得接近甚至优于直接用5000个有标签样本进行训练的效果。这很符合实际应用，因为实际应用中，标注数据很昂贵，而无标注数据很易获得。训练示意图如图2所示。
实施例2：
请参照图3，图3是本发明第二实施例提供的一种防御训练装置400的结构框图。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面将对图3所示的结构框图进行阐述，所示装置包括：
获取单元410，用于：获取训练样本；
第一构建单元420，用于：对所述训练样本进行预处理，构建第一训练集；
第二构建单元430，用于：对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；
第三构建单元440，用于：对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；
第一训练单元450，用于：利用所述第二训练集和第三训练集对所述神经网络进行无监督鲁棒预训练，获得预训练模型；
第二训练单元460，用于：从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练。
本实施例对防御训练装置400的各功能单元实现各自功能的过程，请参见上述图1所示实施例中描述的内容，此处不再赘述。
综上所述，本发明各实施例提出的对抗样本防御训练方法、装置及电子设备，将常规分类任务下的预训练与对抗分类下的防御训练进行结合，能有效防御对抗样本攻击。在训练方面，相比直接使用原始标注数据集进行训练，本发明能够在标注数据不足的情况下，通过自生成大量标注信息进行有监督学习，从而大大缓解了对人工标注数据的依赖；在应用方面，使用本发明方法可获得鲁棒的预训练模型，从而在硬件上执行最终任务时，只需经过轻量级微调即可获得既具鲁棒性、又具准确性的模型，从而提高最终产品的适用性以及可靠性。
实施例3：
本发明实施例提供一种分类预测方法，如图4所示，包括：
步骤11，获取待分类预测的数据；
步骤12，利用上述的对抗样本防御训练方法训练好的模型对待分类预测的数据进行分类预测，得到分类预测结果。
具体地，对待测数据进行分类预测的形式化表示如下：
Figure RE-GDA0003643761730000141
其中，
Figure RE-GDA0003643761730000142
表示待测数据xt在经训练好的特征提取器
Figure RE-GDA0003643761730000143
进行特征提取后，由训练好的分类器
Figure RE-GDA0003643761730000144
输出的预测类别。
作为一种实施方式，本实施例在无监督预鲁棒训练和有监督微调训练中所使用的特征提取器相同，以复用已在较大规模无监督数据集上进行充分表征学习的特征提取器。
作为一种实施方式，在有监督微调训练结束后，如有新的标注样本，可在经过所述预处理后加入到第一训练集进行重新预训练和微调，也可以直接加入到有标注样本集中进行微调训练。
作为一种实施方式，有监督学习阶段的分类器是一个单层的全连接分类器，输入维度为512，输出维度为目标类别个数。作为一种实施方式，本实施例在公开数据集CIFAR-10上进行训练和测试，并采用ResNet18作为深度神经网络结构；本发明方法不受数据集和神经网络的具体选取限制。对于CIFAR-10数据集，由于目标类别为10，因此分类器是一个从512维到10维的全连接映射，该实施方式简单易操作，可根据目标数据集的类别数对分类器进行灵活调整，而且，单层的全连接分类器由于参数不多，训练起来比较高效，适合实际应用场景。
应该理解，以上所述的实施例只是本发明的一种较佳方案，本发明不受具体采用的深度神经网络结构、数据预处理、数据变换、对抗样本生成方法、特征提取器、分类器、相似性度量方式、损失函数等的限制，无论现有的深度神经网络结构、数据预处理、数据变换、对抗样本生成方法、特征提取器、分类器、相似性度量方式、损失函数还是将来开发的深度神经网络结构、数据预处理、数据变换、对抗样本生成方法、特征提取器、分类器、相似性度量方式、损失函数，都可以应用于根据本发明实施例的防御训练方法中，并且也应该包括在本发明的保护范围内。
实施例4：
相应的，本发明实施例还提供一种分类预测装置，如图5所示，包括：
第二获取单元21，用于获取待分类预测的数据；
分类预测单元22，用于利用上述的对抗样本防御训练方法训练好的模型对待分类预测的数据进行分类预测，得到分类预测结果。
实施例5：
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的对抗样本防御训练方法或分类预测方法。如图6所示，为本发明实施例提供的一种对抗样本防御训练装置或分类预测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的对抗样本防御训练方法或分类预测方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/ 或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对抗样本防御训练方法，其特征在于，包括：
获取训练样本；
对所述训练样本进行预处理，构建第一训练集；
对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；
对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；
利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型；
从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练。
2.如权利要求1所述的方法，其特征在于，所述随机变换选自翻转、截取、填充、遮挡、对比度变换和亮度变换。
3.如权利要求1所述的方法，其特征在于，所述无监督鲁棒预训练的损失函数
Figure FDA0003570276510000011
的形式化表示如下：
Figure FDA0003570276510000012
其中，E表示期望，χ表示数据集的概率分布，θ表示深度神经网络的参数，lunsup表示无监督学习的损失函数，T(x)表示原始样本x的扩增样本，Λunsup(x)表示基于无监督学习的损失函数生成的对抗样本，
Figure FDA0003570276510000013
表示无监督鲁棒预训练的特征提取器参数，
Figure FDA0003570276510000014
表示预训练的分类器参数。
4.如权利要求1所述的方法，其特征在于，所述有监督训练的损失函数
Figure FDA0003570276510000015
的形式化表示如下：
Figure FDA0003570276510000021
其中，Ω表示第一训练集中有标注样本的概率分布函数，x和y分别表示有标注的原始样本及其对应的标注信息，lsup表示有监督学习的损失函数，Λsup(x)表示在有监督训练过程中生成的对抗样本，
Figure FDA0003570276510000022
表示有监督训练的特征提取器参数，
Figure FDA0003570276510000023
表示有监督训练的分类器参数。
5.如权利要求1所述的方法，其特征在于，对于所述第一训练集中的每一个样本，生成对应的对抗样本
在原始样本x上叠加对抗扰动δ生成对抗样本，即，Λ(x)＝x+δ，其中，对抗扰动δ的形式化表示为：
Figure FDA0003570276510000024
其中，l是机器学习模型在概率分布为χ的数据集上的训练损失函数，θ是模型的参数化表示，p表示范数，||.||p表示p范数下的幅值，ε表示对抗扰动的幅值上限；
对应地，无监督预训练过程中，对抗样本的生成方式的形式化表示如下：
Figure FDA0003570276510000025
其中，Λunsup(x)和δunsup分别表示无监督预训练过程中的对抗样本和对抗扰动；
有监督训练过程中，对抗样本的生成方式的形式化表示如下：
Figure FDA0003570276510000026
其中，Λsup(x)和δsup分别表示有监督训练过程中的对抗样本和对抗扰动。
6.一种对抗样本防御训练装置，其特征在于，包括：
获取单元，用于获取训练样本；
第一构建单元，用于对所述训练样本进行预处理，构建第一训练集；
第二构建单元，用于对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；
第三构建单元，用于对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；
第一训练单元，用于利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型；
第二训练单元，用于从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练。
7.一种分类预测方法，其特征在于，包括：
获取待分类预测的数据；
利用权利要求1所述的对抗样本防御训练方法训练好的模型对待分类预测的数据进行分类预测，得到分类预测结果。
8.如权利要求7所述的方法，其特征在于，分类预测的形式化表示如下：
Figure FDA0003570276510000031
其中，
Figure FDA0003570276510000032
表示待测数据xt在经训练好的特征提取器
Figure FDA0003570276510000033
进行特征提取后，由训练好的分类器
Figure FDA0003570276510000034
输出的预测类别；
Figure FDA0003570276510000035
是无监督预训练得到的特征提取器
Figure FDA0003570276510000036
或是有监督微调后得到的特征提取器
Figure FDA0003570276510000037
或在无监督预训练和有监督微调过程中共用相同的分类器，即
Figure FDA0003570276510000038
Figure FDA0003570276510000039
是有监督微调后的分类器
Figure FDA00035702765100000310
9.一种分类预测装置，其特征在于，包括：
第二获取单元，用于获取待分类预测的数据；
分类预测单元，用于利用权利要求1所述的对抗样本防御训练方法训练好的模型对待分类预测的数据进行分类预测，得到分类预测结果。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5、7-8任一项所述的方法。
CN202210320331.8A 2022-03-29 2022-03-29 对抗样本防御训练方法、分类预测方法及装置、电子设备 Pending CN114758113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210320331.8A CN114758113A (zh) 2022-03-29 2022-03-29 对抗样本防御训练方法、分类预测方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210320331.8A CN114758113A (zh) 2022-03-29 2022-03-29 对抗样本防御训练方法、分类预测方法及装置、电子设备

Publications (1)

Publication Number Publication Date
CN114758113A true CN114758113A (zh) 2022-07-15

Family

ID=82326466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210320331.8A Pending CN114758113A (zh) 2022-03-29 2022-03-29 对抗样本防御训练方法、分类预测方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN114758113A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081643A (zh) * 2022-07-20 2022-09-20 北京瑞莱智慧科技有限公司 对抗样本生成方法、相关装置及存储介质
CN116913259A (zh) * 2023-09-08 2023-10-20 中国电子科技集团公司第十五研究所 结合梯度引导的语音识别对抗防御方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081643A (zh) * 2022-07-20 2022-09-20 北京瑞莱智慧科技有限公司 对抗样本生成方法、相关装置及存储介质
CN115081643B (zh) * 2022-07-20 2022-11-08 北京瑞莱智慧科技有限公司 对抗样本生成方法、相关装置及存储介质
CN116913259A (zh) * 2023-09-08 2023-10-20 中国电子科技集团公司第十五研究所 结合梯度引导的语音识别对抗防御方法及装置
CN116913259B (zh) * 2023-09-08 2023-12-15 中国电子科技集团公司第十五研究所 结合梯度引导的语音识别对抗防御方法及装置

Similar Documents

Publication Publication Date Title
Marra et al. A full-image full-resolution end-to-end-trainable CNN framework for image forgery detection
Akhtar et al. Defense against universal adversarial perturbations
Amerini et al. Localization of JPEG double compression through multi-domain convolutional neural networks
CN110941794B (zh) 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
Walia et al. Fusion of handcrafted and deep features for forgery detection in digital images
CN112183468A (zh) 一种基于多注意力联合多级特征的行人再识别方法
CN114758113A (zh) 对抗样本防御训练方法、分类预测方法及装置、电子设备
CN111160102B (zh) 人脸防伪识别模型的训练方法、人脸防伪识别方法及装置
CN110751018A (zh) 一种基于混合注意力机制的群组行人重识别方法
CN109657715B (zh) 一种语义分割方法、装置、设备及介质
Sun et al. A face spoofing detection method based on domain adaptation and lossless size adaptation
Phan et al. Tracking multiple image sharing on social networks
CN113128481A (zh) 一种人脸活体检测方法、装置、设备及存储介质
Mareen et al. Comprint: Image forgery detection and localization using compression fingerprints
CN115240280A (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN112215780A (zh) 基于类特征修复融合的图像取证对抗性攻击防御方法
Jameel et al. Detecting deepfakes with deep learning and gabor filters
CN116824695A (zh) 一种基于特征去噪的行人再识别非局部防御方法
CN116188439A (zh) 一种基于身份识别概率分布的伪造换脸图像检测方法和装置
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
Xuan et al. Scalable fine-grained generated image classification based on deep metric learning
Hirofumi et al. Did You Use My GAN to Generate Fake? Post-hoc Attribution of GAN Generated Images via Latent Recovery
CN114638356A (zh) 一种静态权重引导的深度神经网络后门检测方法及系统
Kour et al. A fast block-based technique to detect copy-move forgery in digital images
Aminu et al. Detection of image manipulation with convolutional neural network and local feature descriptors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination