CN114169409A - 一种对抗样本生成方法及装置 - Google Patents

一种对抗样本生成方法及装置 Download PDF

Info

Publication number
CN114169409A
CN114169409A CN202111370606.0A CN202111370606A CN114169409A CN 114169409 A CN114169409 A CN 114169409A CN 202111370606 A CN202111370606 A CN 202111370606A CN 114169409 A CN114169409 A CN 114169409A
Authority
CN
China
Prior art keywords
target area
matrix
target
noise
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111370606.0A
Other languages
English (en)
Inventor
史宏志
赵坤
鲁璐
葛沅
温东超
崔星辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN202111370606.0A priority Critical patent/CN114169409A/zh
Publication of CN114169409A publication Critical patent/CN114169409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种对抗样本生成方法及装置，包括：将原始样本中的区域划分为目标区域和非目标区域；所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；确定所述原始样本的梯度噪声，分别为所述目标区域和所述非目标区域动态分配不同的步长；基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，得到与所述原始样本对应的对抗样本；所述非目标区域的干扰强度强于所述目标区域的干扰强度。本申请通过在目标区域微小扰动、非目标区域高扰动，从而能够在人眼不易觉察的情况下增大扰动噪声幅度和噪声信息能量强度，以提高对抗样本的攻击性，使得被训练后的网络模型更具鲁棒性。

Description

一种对抗样本生成方法及装置
技术领域
本发明涉及人工智能技术领域，特别涉及一种对抗样本生成方法、装置、设备及存储介质。
背景技术
在计算机视觉技术领域，深度神经网络技术广泛应用于目标识别应用中，具有代表性的有人脸识别、自动驾驶识别等。随着目标识别技术的不断发展和被越来越多的生产生活领域引入，目标识别技术的安全问题也逐渐暴露，日益引起人们重视，深度神经网络模型的安全性面临着诸多挑战。对抗样本攻击针对深度神经网络缺陷，通过添加肉眼难以察觉的干扰噪声生成对抗样本，使得网络模型对对抗样本的识别判断产生误判，误导目标识别系统行为，从而达到逃逸或者目标识别结果指向性误导的效果。
现有技术中，对抗样本生成方法包括快速梯度符号攻击(FGSM，fast gradientsign method)、投影梯度下降攻击(PGD，Project Gradient Descent)等攻击方法，核心理论是通过添加网络模型损失增加方向梯度噪声构造对抗攻击样本，达到降低正确识别结果概率，增加错误识别结果概率的效果。这类对抗样本噪声本质为微小、高频扰动，容易被采用高频滤波等消除噪声的防御方法防御且简单的增加扰动幅度极容易被肉眼察觉发现。
因此，如何在肉眼难以觉察的情况下提高对抗样本攻击性是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种对抗样本生成方法、装置、设备及存储介质，能够在人眼不易觉察的情况下增大扰动噪声幅度和噪声信息能量强度，以提高对抗样本的攻击性，使得被训练后的网络模型更具鲁棒性。
其具体方案如下：
本申请的第一方面提供了一种对抗样本生成方法，包括：
将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；
确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；
基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。
可选的，所述将原始样本中的区域划分为目标区域和非目标区域，包括：
利用目标检测算法对所述原始样本进行处理以得到所述将原始样本的所述目标区域和所述非目标区域，并确定所述目标区域中的目标识别类型。
可选的，所述确定所述原始样本的梯度噪声，包括：
如果生成的所述对抗样本用于有目标攻击场景，则以有目标攻击场景中的目标识别类型权重对所述原始样本对应矩阵进行求导计算，得到所述原始样本的梯度矩阵；
如果生成的对抗样本用于无目标攻击场景，则以所述原始样本的目标识别类型权重对所述原始样本对应矩阵进行求导计算并对计算结果取反后得到所述原始样本的梯度矩阵。
可选的，所述分别为所述目标区域和所述非目标区域动态分配不同的步长，包括：
设置初始值为第一预设阈值的步长矩阵，并基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数及预设最大干扰幅度对所述步长矩阵进行变换计算，得到变换计算后的步长矩阵；其中，变换计算后的步长矩阵中包含为所述目标区域和所述非目标区域动态分配的步长。
可选的，所述基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数及预设最大干扰幅度对所述步长矩阵进行变换计算，包括：
基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数、预设最大干扰幅度及第一关系式对所述步长矩阵进行变换计算；
所述第一关系式为：
Figure BDA0003362324730000031
其中，Lij为所述步长矩阵中第i行、第j列的元素，N为所述目标区域对应矩阵的元素个数，M为所述梯度矩阵的元素个数，T为预设最大干扰幅度，B1为所述目标区域对应矩阵，B2为所述非目标区域对应矩阵。
可选的，所述基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本，包括：
利用所述梯度矩阵和变换计算后的步长矩阵对所述原始样本对应矩阵进行噪声加权计算，以得到与所述原始样本对应的对抗样本。
可选的，所述利用所述梯度矩阵和变换计算后的步长矩阵对所述原始样本对应矩阵进行噪声加权计算，包括：
利用所述梯度矩阵和变换计算后的步长矩阵基于第二关系式对所述原始样本对应矩阵进行噪声加权计算；
所述第二关系式为：
Figure BDA0003362324730000032
其中，X'ij为噪声加权计算后的所述原始样本，Gij为所述梯度矩阵，Lij为变换计算后的步长矩阵。
可选的，所述基于所述步长和梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声之后，还包括：
判断添加干扰噪声后的所述原始原本中的所述目标区域中的目标识别类型是否为预设类型，如果是，则将添加干扰噪声后的所述原始原本确定为与所述原始样本对应的对抗样本；
如果否，则将添加干扰噪声后的所述原始原本作为输入样本进行迭代计算，以使所述目标区域中的目标识别类型为预设类型。
可选的，所述将添加干扰噪声后的所述原始原本作为输入样本进行迭代计算之后，还包括：
判断迭代次数是否大于第二预设阈值，如果是，则判定对抗样本生成失败，如果否，则继续进行迭代计算。
本申请的第二方面提供了一种对抗样本生成装置，包括：
划分模块，用于将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；
动态分配模块，用于确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；
噪声添加模块，用于基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。
本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述对抗样本生成方法。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述对抗样本生成方法。
本申请中，先将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；然后确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；最后基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。可见，本申请通过为原始样本的目标区域和非目标区域动态分配不同的步长以结合对应的梯度噪声添加干扰噪声，达到目标区域微小扰动、非目标区域高扰动的效果，从而能够在人眼不易觉察的情况下增大扰动噪声幅度和噪声信息能量强度，以提高对抗样本的攻击性，使得被训练后的网络模型更具鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种抗样本生成方法流程图；
图2为本申请提供的一种抗样本生成装置结构示意图；
图3为本申请提供的一种抗样本生成电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有生成对抗样本生成的方法添加的噪声本质为微小、高频扰动，容易被采用高频滤波等消除噪声的防御方法防御且简单的增加扰动幅度极容易被肉眼察觉发现。针对上述技术缺陷，本申请提供一种对抗样本生成方案，通过在目标区域微小扰动、非目标区域高扰动，从而能够在人眼不易觉察的情况下增大扰动噪声幅度和噪声信息能量强度，以提高对抗样本的攻击性，使得被训练后的网络模型更具鲁棒性。
图1为本申请实施例提供的一种对抗样本生成方法流程图。参见图1所示，该对抗样本生成方法包括：
S11：将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域。
本实施例中，将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域。可以利用目标检测算法对所述原始样本X进行处理以得到所述将原始样本X的所述目标区域和所述非目标区域，并确定所述目标区域中的目标识别类型。区别于传统基于梯度攻击的对抗样本生成方式中对输入数据整体做噪声扰动的方式，本实施例依据肉眼对检测目标区域更重点关注，对检测目标区域外关注度较低的大脑信号处理注意力机制，通过对原始样本X进行目标检测，目标检测可以使用现有目标识别神经网络模型，获得目标区域B1、非目标区域B2以及目标识别类型Y。
一般来说，对抗样本的生成过程为迭代计算的结果，因此，若首次迭代则以原始样本X作为输入进行目标识别推理获得目标识别类型Y以及目标区域B1、非目标区域B2。若非首次迭代，则以上次噪声加权后的得到的样本X’作为输入进行目标识别推理获得新目标识别类型Y。另外，所述目标区域B1和所述非目标区域B2以矩阵的形式存在，保留对应的目标框作为后续迭代过程中动态生成噪声步长判定范围标准，对B1范围内外执行不同动态步长计算方法。
S12：确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长。
本实施例中，先确定所述原始样本的梯度噪声，然后分别为所述目标区域和所述非目标区域动态分配不同的步长。其中，所述原始样本的梯度噪声即为所述目标区域B1和所述非目标区域B2的梯度噪声。本实施例根据有无目标攻击的不同，采用不同的输出Y分类结果对X进行求导后获得当前输入的梯度矩阵G，并对G矩阵进行符号化，例如，对于大于0的矩阵元素置1，对于等于0的矩阵元素置0，对于小于0的矩阵元素置-1。
在一种实施例中，如果生成的所述对抗样本用于有目标攻击场景，则以有目标攻击场景中的目标识别类型权重对所述原始样本对应矩阵进行求导计算，得到所述原始样本的梯度矩阵G。也即若攻击为有目标攻击，即明确将识别结果Y[i]替换为Y[j]的攻击方式，则以Y[j]识别得分对X进行求导计算梯度矩阵G。在另一种实施例中，如果生成的对抗样本用于无目标攻击场景，则以所述原始样本的目标识别类型权重对所述原始样本对应矩阵进行求导计算并对计算结果取反后得到所述原始样本的梯度矩阵G。也即若攻击为无目标攻击，则将识别结果Y[i]替换为Y[～i]即可，则以Y[i]识别得分对X进行求导计算梯度并取反得到梯度矩阵G。需要说明的是，有目标攻击场景为训练模型输出的识别类型Y为预设类型，无目标攻击场景为训练模型输出的识别类型Y不限定预设类型。
本实施例中，关于步长分配的过程，首先设置初始值为第一预设阈值的步长矩阵，如设置步长矩阵L并初始化为固定值0.07。当然，所述第一预设阈值也可根据学习速度灵活配置。然后基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数及预设最大干扰幅度对所述步长矩阵进行变换计算，得到变换计算后的步长矩阵；其中，变换计算后的步长矩阵中包含为所述目标区域和所述非目标区域动态分配的步长。以实现对输入样本的识别目标区域和非目标区域进行动态分配步长，调整噪声分布和能量强度，迭代生成对抗基于高频滤波的防御方法的对抗样本。
具体来说，基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数、预设最大干扰幅度及第一关系式对所述步长矩阵进行变换计算。
假设B1矩阵元素个数为N，G矩阵元素个数为M，则将L矩阵进行变换，T为预设最大干扰幅度阈值，如可设置为0.1，也可根据实际情况灵活配置为大于L初始步长值的阈值，则所述第一关系式为：
Figure BDA0003362324730000071
其中，Lij为所述步长矩阵中第i行、第j列的元素，N为所述目标区域对应矩阵的元素个数，M为所述梯度矩阵的元素个数，T为预设最大干扰幅度，B1为所述目标区域对应矩阵，B2为所述非目标区域对应矩阵。
S13：基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。
本实施例中，基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本。对目标区域B范围内外设置不同步长并与生成的梯度噪声加权后添加到原始图像上作为对抗样本。其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。通过对原始样本不同区域，有针对性的进行噪声权重调整，降低目标区域干扰强度，增强非目标区域干扰强度，在不显著增加肉眼敏感度的前提下，增加整体噪声分布的不规律性和噪声信号能量强度，克服传统基于梯度噪声的对抗样本生成方法中容易被针对性防御的缺陷。
本实施例中，利用所述梯度矩阵和变换计算后的步长矩阵对所述原始样本对应矩阵进行噪声加权计算，以得到与所述原始样本对应的对抗样本。具体来说，利用所述梯度矩阵和变换计算后的步长矩阵基于第二关系式对所述原始样本对应矩阵进行噪声加权计算。所述第二关系式为：
Figure BDA0003362324730000081
其中，X'ij为噪声加权计算后的所述原始样本，Gij为所述梯度矩阵，Lij为变换计算后的步长矩阵。
在此基础上，有目标攻击场景，还需要判断添加干扰噪声后的所述原始原本中的所述目标区域中的目标识别类型是否为预设类型，如果是，则将添加干扰噪声后的所述原始原本确定为与所述原始样本对应的对抗样本，如果否，则将添加干扰噪声后的所述原始原本作为输入样本进行迭代计算，以使所述目标区域中的目标识别类型为预设类型。重复执行上述样本生成步骤，直至获得Y为前一轮迭代的有/无目标攻击效果则结束，表示获得一个成功攻击样本。在基于迭代的对抗样本生成过程中，可重复多次上述操作，最终获得对目标区域微小扰动，目标区域外高扰动的效果，但由于肉眼对目标区域的变化更加敏感，难以察觉攻击行为。
另外，在迭代次数超过预设最大迭代次数的情况下获得攻击样本失败，为此需要判断迭代次数是否大于第二预设阈值，如果是，则判定对抗样本生成失败，如果否，则继续进行迭代计算。对每一次迭代生成的样本进行推理、梯度计算、步长矩阵更新以及添加新噪声攻击样本生成，直至生成满足攻击目标的对抗样本生成或者达到预定迭代次数终止。
可见，本申请实施例先将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；然后确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；最后基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。本申请实施例通过为原始样本的目标区域和非目标区域动态分配不同的步长以结合对应的梯度噪声添加干扰噪声，达到目标区域微小扰动、非目标区域高扰动的效果，从而能够在人眼不易觉察的情况下增大扰动噪声幅度和噪声信息能量强度，以提高对抗样本的攻击性，使得被训练后的网络模型更具鲁棒性。
参见图2所示，本申请实施例还相应公开了一种对抗样本生成装置，包括：
划分模块11，用于将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；
动态分配模块12，用于确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；
噪声添加模块13，用于基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。
可见，本申请实施例先将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；然后确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；最后基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。本申请实施例通过为原始样本的目标区域和非目标区域动态分配不同的步长以结合对应的梯度噪声添加干扰噪声，达到目标区域微小扰动、非目标区域高扰动的效果，从而能够在人眼不易觉察的情况下增大扰动噪声幅度和噪声信息能量强度，以提高对抗样本的攻击性，使得被训练后的网络模型更具鲁棒性。
在一些具体实施例中，所述划分模块11，具体用于利用目标检测算法对所述原始样本进行处理以得到所述将原始样本的所述目标区域和所述非目标区域，并确定所述目标区域中的目标识别类型。
在一些具体实施例中，所述动态分配模块12，具体包括：
第一确定单元，用于如果生成的所述对抗样本用于有目标攻击场景，则以有目标攻击场景中的目标识别类型权重对所述原始样本对应矩阵进行求导计算，得到所述原始样本的梯度矩阵；
第二确定单元，用于如果生成的对抗样本用于无目标攻击场景，则以所述原始样本的目标识别类型权重对所述原始样本对应矩阵进行求导计算并对计算结果取反后得到所述原始样本的梯度矩阵；
步长分配单元，用于设置初始值为第一预设阈值的步长矩阵，并基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数及预设最大干扰幅度对所述步长矩阵进行变换计算，得到变换计算后的步长矩阵；其中，变换计算后的步长矩阵中包含为所述目标区域和所述非目标区域动态分配的步长。
在一些具体实施例中，所述步长分配单元，具体用于基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数、预设最大干扰幅度及第一关系式对所述步长矩阵进行变换计算；
所述第一关系式为：
Figure BDA0003362324730000101
其中，Lij为所述步长矩阵中第i行、第j列的元素，N为所述目标区域对应矩阵的元素个数，M为所述梯度矩阵的元素个数，T为预设最大干扰幅度，B1为所述目标区域对应矩阵，B2为所述非目标区域对应矩阵。
在一些具体实施例中，所述噪声添加模块13，具体用于利用所述梯度矩阵和变换计算后的步长矩阵对所述原始样本对应矩阵进行噪声加权计算，以得到与所述原始样本对应的对抗样本。
在一些具体实施例中，所述噪声添加模块13，具体还用于利用所述梯度矩阵和变换计算后的步长矩阵基于第二关系式对所述原始样本对应矩阵进行噪声加权计算；
所述第二关系式为：
Figure BDA0003362324730000111
其中，X'ij为噪声加权计算后的所述原始样本，Gij为所述梯度矩阵，Lij为变换计算后的步长矩阵。
在一些具体实施例中，所述对抗样本生成装置还包括：
判断模块，用于判断添加干扰噪声后的所述原始原本中的所述目标区域中的目标识别类型是否为预设类型，如果是，则将添加干扰噪声后的所述原始原本确定为与所述原始样本对应的对抗样本；
迭代模块，用于如果否，则将添加干扰噪声后的所述原始原本作为输入样本进行迭代计算，以使所述目标区域中的目标识别类型为预设类型。
在一些具体实施例中，所述迭代模块还用于判断迭代次数是否大于第二预设阈值，如果是，则判定对抗样本生成失败，如果否，则继续进行迭代计算。
进一步的，本申请实施例还提供了一种电子设备。图3是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图3为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的对抗样本生成方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的对抗样本生成方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的原始样本。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的对抗样本生成方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的对抗样本生成方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种对抗样本生成方法，其特征在于，包括：
将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；
确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；
基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。
2.根据权利要求1所述的对抗样本生成方法，其特征在于，所述将原始样本中的区域划分为目标区域和非目标区域，包括：
利用目标检测算法对所述原始样本进行处理以得到所述将原始样本的所述目标区域和所述非目标区域，并确定所述目标区域中的目标识别类型。
3.根据权利要求2所述的对抗样本生成方法，其特征在于，所述确定所述原始样本的梯度噪声，包括：
如果生成的所述对抗样本用于有目标攻击场景，则以有目标攻击场景中的目标识别类型权重对所述原始样本对应矩阵进行求导计算，得到所述原始样本的梯度矩阵；
如果生成的对抗样本用于无目标攻击场景，则以所述原始样本的目标识别类型权重对所述原始样本对应矩阵进行求导计算并对计算结果取反后得到所述原始样本的梯度矩阵。
4.根据权利要求3所述的对抗样本生成方法，其特征在于，所述分别为所述目标区域和所述非目标区域动态分配不同的步长，包括：
设置初始值为第一预设阈值的步长矩阵，并基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数及预设最大干扰幅度对所述步长矩阵进行变换计算，得到变换计算后的步长矩阵；其中，变换计算后的步长矩阵中包含为所述目标区域和所述非目标区域动态分配的步长。
5.根据权利要求4所述的对抗样本生成方法，其特征在于，所述基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数及预设最大干扰幅度对所述步长矩阵进行变换计算，包括：
基于所述目标区域对应矩阵的元素个数、所述梯度矩阵的元素个数、预设最大干扰幅度及第一关系式对所述步长矩阵进行变换计算；
所述第一关系式为：
Figure FDA0003362324720000021
其中，Lij为所述步长矩阵中第i行、第j列的元素，N为所述目标区域对应矩阵的元素个数，M为所述梯度矩阵的元素个数，T为预设最大干扰幅度，B1为所述目标区域对应矩阵，B2为所述非目标区域对应矩阵。
6.根据权利要求5所述的对抗样本生成方法，其特征在于，所述基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本，包括：
利用所述梯度矩阵和变换计算后的步长矩阵对所述原始样本对应矩阵进行噪声加权计算，以得到与所述原始样本对应的对抗样本。
7.根据权利要求6所述的对抗样本生成方法，其特征在于，所述利用所述梯度矩阵和变换计算后的步长矩阵对所述原始样本对应矩阵进行噪声加权计算，包括：
利用所述梯度矩阵和变换计算后的步长矩阵基于第二关系式对所述原始样本对应矩阵进行噪声加权计算；
所述第二关系式为：
Figure FDA0003362324720000022
其中，X'ij为噪声加权计算后的所述原始样本，Gij为所述梯度矩阵，Lij为变换计算后的步长矩阵。
8.根据权利要求1至7任一项所述的对抗样本生成方法，其特征在于，所述基于所述步长和梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声之后，还包括：
判断添加干扰噪声后的所述原始原本中的所述目标区域中的目标识别类型是否为预设类型，如果是，则将添加干扰噪声后的所述原始原本确定为与所述原始样本对应的对抗样本；
如果否，则将添加干扰噪声后的所述原始原本作为输入样本进行迭代计算，以使所述目标区域中的目标识别类型为预设类型。
9.根据权利要求8所述的对抗样本生成方法，其特征在于，所述将添加干扰噪声后的所述原始原本作为输入样本进行迭代计算之后，还包括：
判断迭代次数是否大于第二预设阈值，如果是，则判定对抗样本生成失败，如果否，则继续进行迭代计算。
10.一种对抗样本生成装置，其特征在于，包括：
划分模块，用于将原始样本中的区域划分为目标区域和非目标区域；其中，所述目标区域为视觉系统关注度高的区域，所述非目标区域为视觉系统关注度低的区域；
动态分配模块，用于确定所述原始样本的梯度噪声，并分别为所述目标区域和所述非目标区域动态分配不同的步长；
噪声添加模块，用于基于所述步长和所述梯度噪声分别对所述目标区域和所述非目标区域添加干扰噪声，以得到与所述原始样本对应的对抗样本；其中，所述非目标区域的干扰强度强于所述目标区域的干扰强度。
CN202111370606.0A 2021-11-18 2021-11-18 一种对抗样本生成方法及装置 Pending CN114169409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111370606.0A CN114169409A (zh) 2021-11-18 2021-11-18 一种对抗样本生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111370606.0A CN114169409A (zh) 2021-11-18 2021-11-18 一种对抗样本生成方法及装置

Publications (1)

Publication Number Publication Date
CN114169409A true CN114169409A (zh) 2022-03-11

Family

ID=80479555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111370606.0A Pending CN114169409A (zh) 2021-11-18 2021-11-18 一种对抗样本生成方法及装置

Country Status (1)

Country Link
CN (1) CN114169409A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722812A (zh) * 2022-04-02 2022-07-08 尚蝉(浙江)科技有限公司 一种多模态深度学习模型脆弱性的分析方法和系统
CN114937180A (zh) * 2022-03-30 2022-08-23 北京百度网讯科技有限公司 对抗样本的生成方法、装置及电子设备
CN115223010A (zh) * 2022-07-08 2022-10-21 广东省智能网联汽车创新中心有限公司 一种智能驾驶目标检测场景的对抗样本生成方法及系统
CN117113418A (zh) * 2023-10-18 2023-11-24 武汉大学 基于迭代优化的抗图像增强数据脱敏方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168484A (zh) * 2014-08-19 2014-11-26 河海大学 一种基于视觉注意机制的视频水印方法
US20170244980A1 (en) * 2016-02-18 2017-08-24 Mathieu Monnier Method for Processing High Dynamic Range Video in Order to Improve Perceived Visual Quality of Encoded Content
CN109948663A (zh) * 2019-02-27 2019-06-28 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN110516677A (zh) * 2019-08-23 2019-11-29 上海云绅智能科技有限公司 一种神经网络识别模型、目标识别方法及系统
CN112215151A (zh) * 2020-10-13 2021-01-12 电子科技大学 一种利用3d对抗样本增强目标检测系统抗干扰能力的方法
CN113449783A (zh) * 2021-06-17 2021-09-28 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
CN113469965A (zh) * 2021-06-25 2021-10-01 中国人民解放军陆军工程大学 一种利用掩模限制扰动噪声的对抗样本生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168484A (zh) * 2014-08-19 2014-11-26 河海大学 一种基于视觉注意机制的视频水印方法
US20170244980A1 (en) * 2016-02-18 2017-08-24 Mathieu Monnier Method for Processing High Dynamic Range Video in Order to Improve Perceived Visual Quality of Encoded Content
CN109948663A (zh) * 2019-02-27 2019-06-28 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN110516677A (zh) * 2019-08-23 2019-11-29 上海云绅智能科技有限公司 一种神经网络识别模型、目标识别方法及系统
CN112215151A (zh) * 2020-10-13 2021-01-12 电子科技大学 一种利用3d对抗样本增强目标检测系统抗干扰能力的方法
CN113449783A (zh) * 2021-06-17 2021-09-28 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
CN113469965A (zh) * 2021-06-25 2021-10-01 中国人民解放军陆军工程大学 一种利用掩模限制扰动噪声的对抗样本生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREA TORSELLO: ""Sampling Relevant Points for Surface Registration"", 《2011 INTERNATIONAL CONFERENCE ON 3D IMAGING, MODELING, PROCESSING, VISUALIZATION AND TRANSMISSION》, 18 July 2011 (2011-07-18) *
唐倩;: "基于边缘检测的半脆弱水印算法研究", 计算机工程, no. 11, 5 June 2011 (2011-06-05) *
杨弋鋆: ""面向智能驾驶视觉感知的对抗样本攻击与防御方法综述"", 《南京信息工程大学学报》, 28 November 2019 (2019-11-28) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937180A (zh) * 2022-03-30 2022-08-23 北京百度网讯科技有限公司 对抗样本的生成方法、装置及电子设备
CN114722812A (zh) * 2022-04-02 2022-07-08 尚蝉(浙江)科技有限公司 一种多模态深度学习模型脆弱性的分析方法和系统
CN115223010A (zh) * 2022-07-08 2022-10-21 广东省智能网联汽车创新中心有限公司 一种智能驾驶目标检测场景的对抗样本生成方法及系统
CN117113418A (zh) * 2023-10-18 2023-11-24 武汉大学 基于迭代优化的抗图像增强数据脱敏方法及系统
CN117113418B (zh) * 2023-10-18 2024-01-16 武汉大学 基于迭代优化的抗图像增强数据脱敏方法及系统

Similar Documents

Publication Publication Date Title
CN114169409A (zh) 一种对抗样本生成方法及装置
CN110851835B (zh) 图像模型检测方法、装置、电子设备及存储介质
CN107330461B (zh) 基于情感与信任的协同过滤推荐方法
WO2021189364A1 (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111475797B (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
CN109922032B (zh) 用于确定登录账户的风险的方法、装置、设备及存储介质
Li et al. A semi-supervised learning approach for detection of phishing webpages
CN110717522A (zh) 图像分类网络的对抗防御方法及相关装置
CN104967629A (zh) 网络攻击检测方法及装置
US20230068238A1 (en) Method and apparatus for processing image, electronic device and storage medium
CN112508120B (zh) 学生模型训练方法、装置、设备、介质和程序产品
CN108647683B (zh) 一种基于频域加噪的字符对抗验证码生成方法和系统
CN113505854A (zh) 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN107231382A (zh) 一种网络威胁态势评估方法及设备
Terhörst et al. Pixel-level face image quality assessment for explainable face recognition
CN114399630A (zh) 基于信念攻击和显著区域扰动限制的对抗样本生成方法
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
CN114612688B (zh) 对抗样本生成方法、模型训练方法、处理方法及电子设备
CN114581732A (zh) 一种图像处理及模型训练方法、装置、设备和存储介质
CN114913378A (zh) 一种基于综合类激活映射的图像分类可解释方法
CN117454187A (zh) 一种基于频域限制目标攻击的集成模型训练方法
CN116894242A (zh) 轨迹验证码的识别方法、装置、电子设备及存储介质
CN113673581B (zh) 硬标签黑盒深度模型对抗样本的生成方法、存储介质
CN113360617B (zh) 异常识别方法、装置、设备和存储介质
CN115346072A (zh) 图像分类模型的训练方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination