CN114444579B - 通用扰动获取方法、装置、存储介质及计算机设备 - Google Patents

通用扰动获取方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN114444579B
CN114444579B CN202111678925.8A CN202111678925A CN114444579B CN 114444579 B CN114444579 B CN 114444579B CN 202111678925 A CN202111678925 A CN 202111678925A CN 114444579 B CN114444579 B CN 114444579B
Authority
CN
China
Prior art keywords
disturbance
disturbance noise
sample image
prediction result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111678925.8A
Other languages
English (en)
Other versions
CN114444579A (zh
Inventor
田天
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202111678925.8A priority Critical patent/CN114444579B/zh
Publication of CN114444579A publication Critical patent/CN114444579A/zh
Application granted granted Critical
Publication of CN114444579B publication Critical patent/CN114444579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及图像处理领域，并提供了一种通用扰动获取方法、装置、存储介质及计算机设备。其中方法包括：获取样本图像集，所述样本图像集包括多个样本图像；将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布；根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数；将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果；根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；将所述目标扰动噪声作为目标通用扰动并输出。上述方法能够有效提高通用扰动攻击的鲁棒性。

Description

通用扰动获取方法、装置、存储介质及计算机设备
技术领域
本申请实施例涉及图像处理领域，尤其是涉及一种通用扰动获取方法、装置、存储介质及计算机设备。
背景技术
在图像识别的场景中，经常需要在输入图像中添加通用扰动，来对输入图像进行攻击，从而使图像分类模型错误地识别输入图像。
目前，通常采用生成式对抗网络来生成图像的通用扰动。然而，这种生成通用扰动的方式，并没有考虑现实世界的变换所带来的影响，例如，当输入图像的拍摄角度发生变化时，在图像识别过程中这种变化可能会抵消添加的通用扰动，从而使通用扰动对输入图像的攻击失效，即无法保证通用扰动攻击的鲁棒性。
发明内容
本申请实施例提供了一种通用扰动获取方法、装置、存储介质及计算机设备，主要在于能够提高通用扰动攻击的鲁棒性。
第一方面中，本申请实施例提供了一种通用扰动获取方法，该方法包括：
获取样本图像集，所述样本图像集包括多个样本图像；
将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布；
根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数；
将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果；
根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；
将所述目标扰动噪声作为目标通用扰动并输出。
第二方面中，本申请实施例提供了一种实施上述通用扰动获取方法的通用扰动获取装置，该装置包括：
输入输出模块，用于获取样本图像集，所述样本图像集包括多个样本图像；
处理模块，用于将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布；根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数；将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果；根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；将所述目标扰动噪声作为目标通用扰动并输出。
在一个实施例中，所述处理模块，具体用于将初始扰动添加到第一样本图像后，输入图像分类模型；获取所述图像分类模型的第一预测结果；若所述第一预测结果为失败，则获取历史扰动噪声，以及从所述样本图像集中选择候选样本图像；所述历史扰动噪声包括历史样本图像输入所述图像分类模型后对应的历史预测结果为失败时生成的扰动噪声，以及所述第一样本图像输入所述图像分类模型后对应的第一预测结果为失败时生成的扰动噪声；将所述历史扰动噪声添加到所述候选样本图像后，输入所述图像分类模型；获取所述图像分类模型的第二预测结果；若所述第二预测结果为失败，则将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中，直至攻击参数值大于预设攻击参数值，则将大于所述预设攻击参数值时获取的历史扰动噪声输出并作为所述目标通用扰动。
在一个实施例中，所述处理模块，还具体用于根据所述第二预测结果和所述候选样本图像对应的实际结果，构建预测损失函数；根据所述候选样本图像与添加历史扰动噪声后的候选样本图像之间的距离，构建距离损失函数；基于所述距离损失函数对应的权重参数，将所述预测损失函数与所述距离损失函数相减；当预测损失函数与所述距离函数函数的差值达到最大时，输出所述第二预测结果对应的扰动噪声，并将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中。
在一个实施例中，所述处理模块，还具体用于对所述第二预测结果对应的扰动噪声进行扰动范数限制，得到限制后的扰动噪声；将所述第二预测结果对应的限制后的扰动噪声更新到所述历史扰动噪声中。
在一个实施例中，所述处理模块，还具体用于将与所述第二预测结果对应的扰动噪声的范数距离最小的扰动噪声，确定为所述限制后的扰动噪声，其中，所述范数距最小的扰动噪声满足预设扰动范数限制。
在一个实施例中，所述处理模块，还具体用于根据所述各样本图像的预测结果，确定攻击成功的样本图像数量；根据所述攻击成功的样本图像数量和所述样本图像集对应的总样本图像数量，计算针对所述样本图像集的攻击参数值。
在一个实施例中，所述处理模块，还具体用于根据所述变换矩阵特征的概率分布，随机获取变换矩阵特征；基于获取的所述变换矩阵特征，构建图像分类模型的损失函数。
在一个实施例中，所述处理模块，还用于若不存在所述攻击参数值大于所述预设攻击参数值的目标扰动噪声，则根据所述变换矩阵特征的概率分布，重新获取变换矩阵特征；基于重新获取的所述变换矩阵特征，构建所述图像分类模型的损失函数。
在一个实施例中，所述处理模块，还用于将所述样本图像集对应的子图像集输入所述图像分类模型，得到所述子图像集中各样本图像的预测结果；根据所述子图像集中各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声。
第三方面中，本申请实施例提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述通用扰动获取方法。
第四方面中，本申请实施例供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述通用扰动获取方法。
本申请实施例提供的一种通用扰动获取方法、装置、存储介质及计算机设备，首先获取样本图像集，所述样本图像集包括多个样本图像，之后将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布，并根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数，与此同时，将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果，并根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声，最终将所述目标扰动噪声作为目标通用扰动并输出。上述方法由于利用了样本图像的变换矩阵特征的概率分布，构建图像分类模型的损失函数，因此在构建损失函数的过程中充分考虑了现实世界的变换所带来的影响，利用该损失函数训练得到的目标通用扰动，在图像识别的过程中无法被实现世界的变换抵消，从而能够提高通用扰动攻击的鲁棒性，同时能够提高对图像分类模型的攻击效率和攻击成功率。
上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请实施例的进一步理解，构成本申请的一部分，本申请实施例的示意性实施例及其说明用于解释本申请实施例，并不构成对本申请实施例的不当限定。在附图中：
图1示出了本申请实施例实施例提供的一种通用扰动获取方法的场景示意图；
图2示出了本申请实施例实施例提供的一种通用扰动获取方法的流程示意图；
图3示出了本申请实施例实施例提供的通用扰动攻击的原理图；
图4示出了本申请实施例实施例提供的一种通用扰动获取装置的结构示意图；
图5示出了本申请实施例实施例提供的一种计算机设备的内部结构示意图；
图6示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图；
图7示出了本申请实施例提供的一种服务器结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
本申请供了一种通用扰动获取方法、装置、存储介质及计算机设备，可用于生成鲁棒性较高的通用扰动，以及利用通用扰动对图像分类模型进行攻击的场景，例如，利用人脸图像集生成鲁棒性较高的通用扰动，并利用该通用扰动对用于人脸识别的图像分类模型进行攻击。该方法可用于终端设备或服务器侧。
本申请实施例提供的方案涉及人工智能(Artificial Intelligence，AI)、自然语言处理(Nature Language processing，NLP)、机器学习(Machine Learning，ML)等技术，具体通过如下实施例进行说明:
其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
NLP是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
针对人工智能领域的人脸识别方向，本申请可以利用人脸图像集生成攻击鲁棒性较高的通用扰动，并通过在人脸图像集的人脸图像中添加通用扰动扰动，使图像分类模型无法对添加扰动后的人脸图像进行准确识别，从而实现对图像分类模型的攻击。
其中，需要特别说明的是，本申请实施例涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。
在如图1所示的场景示意图中，可以利用终端设备对人脸图像进行采集，进而生成样本图像集，采集的人脸图像可能会存在拍摄角度的变化，这种现实世界的变换，在对人脸图像进行识别的过程中，会抵消掉添加的通用扰动，即图像分类模型依旧可以准确地识别人脸图像，从而导致通用扰动对人脸图像攻击失败。为解决上述技术问题，本申请主要提供以下技术方案：通过将样本图像集中的每张人脸图像与原始图像进行比对，获取变换矩阵特征的概率分布，并依据该变换矩阵特征的概率分布，构建损失函数，能够在构建损失函数的过程中，充分考虑现实世界的变换对通用扰动的影响，进一步地，将人脸图像输入至图像分类模型进行人脸识别，根据人脸图像对应的分类结果，利用该损失函数不断地对扰动噪声进行迭代，直至输出攻击参数值大于预设攻击参数值的目标通用扰动，该目标通用扰动在人脸识别过程中不会被现实世界的变换抵消，由此能够提高目标通用扰动的鲁棒性。
通过以上技术方案，在构建损失函数的过程中充分考虑了现实世界的变换所带来的影响，利用该损失函数训练得到的目标通用扰动，在图像识别的过程中无法被实现世界的变换抵消，从而能够提高通用扰动攻击的鲁棒性，同时能够提高对图像分类模型的攻击效率和攻击成功率。
本申请实施例的执行主体为能够获取通用扰动的装置，如服务器或者终端设备，具体可以执行以下步骤，如图2所示：
201、获取样本图像集，所述样本图像集包括多个样本图像。
其中，样本图像集中包括用于训练图像分类模型的多个样本图像，样本图像具体可以为人脸图像、动物图像或者包含其他待识别物体的图像，本申请实施例并不对样本图像中的待识别内容做具体限定，图像分类模型可以对样本图像进行分类，如利用图像分类模型对人脸图像进行识别，确定人物的特定身份，或者利用图像分类模型对动物图像中的动物进行识别，确定动物所属的类别。
202、将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布。
其中，原始图像为不存在拍摄角度偏差和光圈的图像，例如，从正面拍摄的人脸图形。对于本申请实施例，在对样本图像进行采集拍摄的过程中，可能会存在一些变换，如拍摄的图像可能存在光圈，或者图像的拍摄角度发生了变化，这种现实世界的变换可能会抵消掉用于攻击图像的通用扰动，从而导致通用扰动攻击的鲁棒性较差，为了克服这一缺陷，本申请实施例在获取通用扰动时，会考虑实现世界的变换所带来的影响，即将样本图像对应的变换矩阵特征加入至构建的损失函数中。
具体地，将样本图像集中的多个样本图像分别与原始图像进行比对，得到多个样本图像分别对应的变换矩阵特征，之后根据每种变换矩阵特征对应的数量和变换矩阵特征对应的总数量，可以得到变换矩阵特征对应的概率分布。例如，样本图像的数量为100个，通过与原始图像进行比对，得到60个变换矩阵特征A，30个变换变换矩阵特征B和10个变换矩阵特征C，由此可以确定变换矩阵特征A对应的概率分布为60％，变换矩阵特征B对应的概率分布为30％，变换矩阵特征C对应的概率分布为10％。
203、根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数。
具体地，根据变换矩阵特征的概率分布，抽取多个变换矩阵特征，之后根据多个变换矩阵特征，生成多个变换函数，例如，变换矩阵特征为A，生成的变换函数为t(x)＝A·x，进一步地，在利用样本图像的预测结果和实际结果构建损失函数的过程中，将多个变换函数加入至损失函数，以便利用该损失迭代训练得到的目标通用扰动，能够不受现实世界变换的影响，提高通用扰动攻击的鲁棒性。
204、将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果。
其中，预测结果实质为利用图像分类模型对各样本图形进行分类的结果。例如，样本图像为动物图像，利用图像分类模型对动物图像进行分类，得到动图图像中待识别动物对应的分类结果，如猴子、大象、猫和狗等，再比如，样本图像为人脸图像，利用图像分类模型对人脸图像进行识别，得到人脸图像中人物的特定身份。
对于本申请实施例，为了获取各个样本图像对应的预测结果，需要在各个样本图像中添加扰动噪声，并将添加扰动后的样本图像依次输入至图像分类模型中进行分类，得到各个样本图像对应的预测结果。
具体的，先确定初始扰动，之后将初始扰动加入至第一张样本图像中，得到第一张对抗样本图像，接着将第一张对抗样本图像输入至图像分类模型进行分类，得到第一张样本图像对应的预测结果，如果第一张样本图像对应的预测结果与实际结果不同，则说明对第一张样本图像攻击成功；如果第一张样本图像对应的预测结果与实际相同，则说明对第一张样本图像攻击失败。
进一步地，如果对第一张样本图像攻击成功，则直接将初始扰动添加至第二张样本图像中；如果对第一张样本图像攻击失败，则利用构建的损失函数对该初始扰动进行更新，得到更新后的扰动噪声。进一步地，将更新后的扰动噪声加入至第二张样本图像中，得到第二张对抗样本图像，并将第二张对抗样本图像输入至图像分类模型进行分类，得到第二张样本图像对应的预测结果。
由此按照上述方式能够得到各样本图像对应的预测结果，以便根据该预测结果，利用损失函数对初始扰动进行更新，获取目标通用扰动。
205、根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声。
其中，预设攻击参数值实质上为预设攻击精度，预设攻击参数值可以根据实际的业务需求进行设定，如设定预设攻击参数值为80％。
具体地，根据各样本图像对应的预测结果，计算攻击参数值，如果该攻击参数值大于预设攻击参数值，则将大于预设攻击参数值时更新的扰动噪声输出并作为目标通用扰动；如果该攻击参数值小于或者等于预设攻击参数值，则重新抽取多个变换矩阵特征，生成多个变换函数，与此同时，重新构建损失函数，并利用该损失函数重复上述迭代训练的过程。
206、将所述目标扰动噪声作为目标通用扰动并输出。
本实施例提供的通用扰动获取方法，首先获取样本图像集，所述样本图像集包括多个样本图像，之后将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布，并根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数，与此同时，将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果，并根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声，最终将所述目标扰动噪声作为目标通用扰动并输出。上述方法由于利用了样本图像的变换矩阵特征的概率分布，构建图像分类模型的损失函数，因此在构建损失函数的过程中充分考虑了现实世界的变换所带来的影响，利用该损失函数训练得到的目标通用扰动，在图像识别的过程中无法被实现世界的变换抵消，从而能够提高通用扰动攻击的鲁棒性，同时能够提高对图像分类模型的攻击效率和攻击成功率。
在一个实施例中，为了获取攻击鲁棒性更高的目标通用扰动，可以利用预先构建好的损失函数不断地初始扰动进行更新迭代，由于构建损失函数的过程中考虑了现实世界的变换所带来的影响，因此利用该损失函数得到的目标通用扰动具有更高的鲁棒性。具体来说，获取目标通用扰动可以通过以下方法实现：将初始扰动添加到第一样本图像后，输入图像分类模型；获取所述图像分类模型的第一预测结果；若所述第一预测结果为失败，则获取历史扰动噪声，以及从所述样本图像集中选择候选样本图像；所述历史扰动噪声包括历史样本图像输入所述图像分类模型后对应的历史预测结果为失败时生成的扰动噪声，以及所述第一样本图像输入所述图像分类模型后对应的第一预测结果为失败时生成的扰动噪声；将所述历史扰动噪声添加到所述候选样本图像后，输入所述图像分类模型；获取所述图像分类模型的第二预测结果；若所述第二预测结果为失败，则将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中，直至攻击参数值大于预设攻击参数值，则将大于所述预设攻击参数值时获取的历史扰动噪声输出并作为所述目标通用扰动。其中，第一样本图像为样本图像集中的任意一张图像，初始扰动可以为0。
进一步地，将第二预测结果对应的扰动噪声更新到历史扰动噪声中可以通过以下方法实现：根据所述第二预测结果和所述候选样本图像对应的实际结果，构建预测损失函数；根据所述候选样本图像与添加历史扰动噪声后的候选样本图像之间的距离，构建距离损失函数；基于所述距离损失函数对应的权重参数，将所述预测损失函数与所述距离损失函数相减；当预测损失函数与所述距离函数函数的差值达到最大时，输出所述第二预测结果对应的扰动噪声，并将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中。
构建的损失函数的具体公式如下：
F(r；c)＝Et～T[l(c(t(xi+v+r))，ytarget)]-λ·Et～T[d(t(xi+v+r)，t(x))]
其中，F(r；c)为构建的损失函数，该损失函数主要包括两部分，第一部分为l(c(t(xi+v+r)),ytarget)，表示分类任务的预测损失函数，c(t(xi+v+r))为添加扰动后的样本图像对应的预测结果，ytarget为样本图像对应的实际结果，xi为样本图像集中的任意一个样本图像，v为历史扰动噪声，r为扰动偏差变量，c为图像分类模型，t为变换函数，根据变换矩阵特征的概率分布，随机抽取一定数量的变换矩阵特征，生成一定数量的变换函数，加入到分类任务的预测损失函数中，Et～T为关于概率分布的期望，
Figure BDA0003453368160000111
代表多个变换函数下的损失结果的平均值，第二部分为d(t(xi+v+r),t(x))，d代表添加扰动后的样本图像与添加扰动前的样本图像之间的距离损失函数，同理将变换函数加入到距离损失函数中，Et～T[d(t(xi+v+r),t(x))]代表多个变换函数下的距离的平均值，λ为权重参数，可以根据实际的业务需求设定权重参数值。
在对样本图像集进行攻击的过程中，希望图像分类模型无法准确地对添加扰动后的样本图像进行分类，同时要保证添加扰动后的样本图像与添加扰动前的样本图像尽可能接近，即分类任务的损失函数值越大越好，距离函数值越小越好，因此在每轮利用损失函数对扰动噪声进行更新迭代的过程中，当F(r；c)取最大值时，输出扰动偏差变量r对应的值，并对扰动噪声进行更新。
具体地，首先从样本图像集中抽取第一张样本图像，将初始扰动添加到第一张样本图像中，得到第一张样本图像对应的对抗样本，之后利用多个变换函数分别对第一张样本图像和第一张样本图像对应的对抗样本进行变换处理，得到变换后的对抗样本和变换后的第一张样本图像。
进一步地，将变换后的对抗样本和变换后的第一张样本图像分别输入图像分类模型进行分类，得到第一张样本图像对应的预测结果，针对任意一个变换函数，如果第一张样本图像对应的预测结果和第一张样本图像对应的实际结果相同，则确定对第一张样本图像攻击失败，即当c(t(x1+v0))＝c(t(x1))时，确定对第一张样本图像攻击失败，其中，x1为第一张样本图像，v0为初始扰动，t为多个变换函数中的任意一个变换函数。当确定对第一张样本图像攻击失败时，利用构建的损失函数对初始扰动进行更新迭代，得到第一张样本图像对应的扰动噪声，并将其更新到历史扰动噪声中。
进一步地，从样本图像集中随机抽取第二张图像图样，作为候选样本图像，并将历史扰动噪声中第一张样本图像对应的扰动噪声添加到第二张样本图像中，得到第二张样本图像对应的对抗样本，之后利用多个变换函数分别对第二张样本图像和第二张样本图像对应的对抗样本进行变换处理，得到变换后的对抗样本和变换后的第二张样本图像，将变换后的对抗样本和变换后的第二张样本图像分别输入图像分类模型进行分类，得到第二张样本图像对应的预测结果。
针对任意一个变换函数，如果第二张样本图像对应的预测结果和第二张样本图像对应的实际结果不同，则确定对第二张样本图像攻击成功，即当c(t(x2+v1))≠c(t(x2))时，确定对第二张样本图像攻击成功，其中，x2为第二张样本图像，v1为历史扰动噪声中第一张样本图像对应的扰动噪声，此时不需要利用损失函数对扰动噪声进行更新迭代，直接将第一张样本图像对应的扰动噪声添加到从样本图像集中随机抽取的第三张样本图像中，再利用分类模型对其进行分类；如果第二张样本图像对应的预测结果和第二张样本图像对应的实际结果相同c(t(x2+v1))＝c(t(x2))，则确定对第二张样本图像的攻击失败，并利用构建的损失函数对第一张样本图像对应的扰动噪声进行更新迭代，得到第二张样本图像对应的扰动噪声，同时将第二张样本图像对应的扰动噪声更新到历史扰动噪声中。
例如，第二张样本图像对应的预测结果为苹果，而第二张样本图像对应的实际结果也为苹果，则说明对第二张样本图像攻击失败，利用上述损失函数对添加的扰动噪声进行更新迭代，当损失函数F(r；c)取得最大值时，输出扰动偏差变量r对应的值，并对添加的扰动噪声v1进行更新，由此得到第二张样本图像对应的扰动噪声，并将第二张样本图像对应的扰动噪声更新到历史扰动噪声中。进一步地，再随机从样本图像集中抽取第三张样本图像，将历史扰动噪声添加到第三张样本图像，并重复上述步骤，直至每个样本图像均完成上述处理过程，之后根据每个样本图像对应的预测结果和实际结果，计算攻击参数值，如果攻击参数值大于预设攻击参数值，则将当前的历史扰动噪声确定为目标通用扰动。
在一个实施例中，考虑到通用扰动的隐蔽性，还可以对更新的扰动噪声进行范数限制，范数限制可以通过以下方法实现：对所述第二预测结果对应的扰动噪声进行扰动范数限制，得到限制后的扰动噪声；将所述第二预测结果对应的限制后的扰动噪声更新到所述历史扰动噪声中。进一步地，所述对所述第二预测结果对应的扰动噪声进行扰动范数限制，得到限制后的扰动噪声，包括：将与所述第二预测结果对应的扰动噪声的范数距离最小的扰动噪声，确定为所述限制后的扰动噪声，其中，所述范数距离最小的扰动噪声满足预设扰动范数限制。
具体地，在进行范数限制的过程中，要保证限制后的扰动噪声与更新的扰动噪声之间满足距离要求，同时还要保证限制后的扰动噪声自身也满足距离要求，范数限制的具体公式如下：
argmind(t(v+r),t(v'))，满足d(t(v'))≤ξ
其中，ξ为预设扰动范数限制，可以根据实际的业务需求进行设定，v+r为更新的扰动噪声，v'为限制后的扰动噪声，即在每次利用损失函数对扰动噪声进行更新迭代后，还可以对更新的扰动噪声进行范数限制，并将满足范数限制要求的扰动噪声更新到历史扰动噪声中。
在一个实施例中，在样本图像集中的每个样本图像经过上述处理之后，需要计算当前的攻击参数值，攻击参数值的计算可以通过以下方法实现：根据所述各样本图像的预测结果，确定攻击成功的样本图像数量；根据所述攻击成功的样本图像数量和所述样本图像集对应的总样本图像数量，计算针对所述样本图像集的攻击参数值。
攻击参数值的具体计算公式如下：
Figure BDA0003453368160000131
其中，m为样本图像集中的样本图像的数量，针对任意一个样本图像xi，如果c(t(xi+v))≠c(t(xi))，则说明对样本图像xi攻击成功，累计加1；如果c(t(xi+v))＝c(t(xi))，则说明对样本图像xi攻击失败，不进行累计，由此按照上述公式能够得到攻击参数值。
进一步地，如果
Figure BDA0003453368160000132
则说明本次迭代过程中没有得到满足精度要求的目标通用扰动，需要重新抽取变换矩阵特征，生成相同数量的变换函数，加入到损失函数中，重复上述过程，直至得到满足精度要求的目标通用扰动；如果
Figure BDA0003453368160000133
则将最后更新的扰动噪声作为目标通用扰动输出。其中，δ为期望精度，1-δ为预设攻击参数值。
在一个实施例中，构建损失函数时，根据变换矩阵特征对应的概率分布，从多个变换矩阵特征中抽取预设数量的变换矩阵特征，之后根据该预设数量的变换矩阵特征，生成预设数量的变换函数，并将生成的变换函数加入至构建的损失函数中，例如，根据概率分布，随机从多个变换矩阵特征中抽取5个变换矩阵特征，根据这5个变换矩阵特征，生成5个变换函数加入至损失函数中，以便在构建损失函数的过程中，考虑现实世界的变换所带来的影响，从而能够提高通用扰动攻击的鲁棒性。
在一个实施例中，如果在本次迭代的过程中没有找到大于预设攻击参数值的目标通用扰动，则基于变换矩阵特征对应的概率分布，重新抽取预设数量的变换矩阵特征，并基于重新抽取的变换矩阵特征，生成预设数量的变换函数，将其加入到损失函数中，之后利用该损失函数迭代更新扰动噪声，直至获取到大于预设扰动参数值的目标通用扰动，停止迭代。基于此，所述方法包括：若不存在所述攻击参数值大于所述预设攻击参数值的目标扰动噪声，则根据所述变换矩阵特征的概率分布，重新获取变换矩阵特征；基于重新获取的所述变换矩阵特征，构建所述图像分类模型的损失函数。需要说明的是，每次构建损失函数时，加入的变换函数的数量相同。
在一个实施例中，为了提高目标通用扰动的获取效率，可以仅采用样本图像集中的部分样本图像，获取目标通用扰动，基于此，所述方法包括：将所述样本图像集对应的子图像集输入所述图像分类模型，得到所述子图像集中各样本图像的预测结果；根据所述子图像集中各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声。
在一个实施例中，在得到目标通用扰动之后，可以将目标通用扰动添加到样本图像集中的每张样本图像上，图像分类模型便无法对添加扰动后的样本图像进行有效识别，从而能够对整个数据集起到卓越的攻击效果，如图3所示。此外，在样本图像添加目标通用扰动后，可以将添加扰动后的样本图像打印出来，然后贴到相应的实物上，从而能够对现实世界的实际物体进行攻击，进一步地，也可以将添加扰动后的样本图像进行3D打印，直接生成现实世界的攻击物体。
进一步的，作为上述各个实施例具体实施方式的细化和扩展，为了完整说明本实施例的实施过程，下面通过具体的实施例对本申请提供的通用扰动获取方法做进一步说明。
在本实施例中，主要包括两个模块，第一个模块是将样本图像集中的每个样本图像与原始图像进行比对，确定变换矩阵特征的概率分布，并根据该变换矩阵特征的概率分布，构建图像分类模型的损失函数；第二个模块是利用该损失函数，对初始扰动进行更新迭代，直至获取攻击参数值大于预设攻击参数值的目标扰动噪声。具体实施方式包括：
步骤1，确定变换矩阵特征的概率分布。
将图像分类模型的样本图像集中的每张样本图像与原始样本图像进行比对，得到每张样本图像对应的变换矩阵特征，进而能够得到整个变换矩阵特征的概率分布。之后基于该概率分布，随机获取变换矩阵特征，生成预设数量的变换函数，加入到损失函数中。
步骤2，获取目标通用扰动。
首先从样本图像集中随机抽取第一张样本图像，将初始扰动添加到第一张样本图像后，输入至图像分类模型进行分类，如果第一张样本图像对应的预测结果和实际结果相同，则说明对第一张样本图像的攻击失败，利用构建的损失函数对初始扰动进行更新，得到第一张样本图像对应的扰动噪声，并将其更新到历史扰动噪声中，进一步地，从样本图像集中随机抽取第二张样本图像，将历史扰动噪声添加到第二张样本图像后，输入至图像分类模型进行分类，如果第二张样本图像对应的预测结果和实际结果相同，则不对第一张样本图像对应的扰动噪声进行更新；如果第二张样本图像对应的预测结果和实际结果不同，则利用损失函数对第一张样本图像对应的扰动噪声进行更新，得到第二张样本图像对应的扰动噪声，并将第二张样本图像对应的扰动噪声更新到历史扰动噪声中，重复上述过程，当样本图像集中的每个样本图像均处理完后，计算攻击参数值，如果计算的攻击参数值大于预设攻击参数值，则将当前的历史扰动噪声输出并作为目标通用扰动。
本实施例提供的通用扰动获取方法，由于利用了样本图像的变换矩阵特征的概率分布，构建图像分类模型的损失函数，因此在构建损失函数的过程中充分考虑了现实世界的变换所带来的影响，利用该损失函数训练得到的目标通用扰动，在图像识别的过程中无法被实现世界的变换抵消，从而能够提高通用扰动攻击的鲁棒性，同时能够提高对图像分类模型的攻击效率和攻击成功率。
图1或图2所对应的实施例中所提及的任一技术特征也同样适用于本申请实施例中的图4所对应的实施例，后续类似之处不再赘述。
以上对本申请实施例中一种通用扰动获取方法进行说明，以下对执行上述通用扰动获取方法的通用扰动获取装置进行介绍。
参阅图4，如图4所示的一种通用扰动获取装置的结构示意图，其可应用于对抗攻击、对抗训练等领域，该装置可用于获取通用扰动，使用该通用扰动对图像分类模型的输入图像进行攻击。本申请实施例中的通用扰动获取装置30能够实现对应于上述图1所对应的实施例中所执行的通用扰动获取方法的步骤。通用扰动获取装置30实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述通用扰动获取装置30可包括输入输出模块31、处理模块32和显示模块33，所述处理模块32、所述输入输出模块31和所述显示模块33的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。例如，所述处理模块32可用于控制所述输入输出模块31的输入输出操作，以及控制所述显示模块33的显示操作，具体来说，所述输入输出模块31可用于执行获取样本图像集、向所述图像分类模型输入子图像集等操作。
一些实施方式中，所述输入输出模块31，可以用于获取样本图像集，所述样本图像集包括多个样本图像；
所述处理模块32，可以用于将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布；根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数；将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果；根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；将所述目标扰动噪声作为目标通用扰动并输出。
在具体应用场景中，所述处理模块32，具体可以用于将初始扰动添加到第一样本图像后，输入图像分类模型；获取所述图像分类模型的第一预测结果；若所述第一预测结果为失败，则获取历史扰动噪声，以及从所述样本图像集中选择候选样本图像；所述历史扰动噪声包括历史样本图像输入所述图像分类模型后对应的历史预测结果为失败时生成的扰动噪声，以及所述第一样本图像输入所述图像分类模型后对应的第一预测结果为失败时生成的扰动噪声；将所述历史扰动噪声添加到所述候选样本图像后，输入所述图像分类模型；获取所述图像分类模型的第二预测结果；若所述第二预测结果为失败，则将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中，直至攻击参数值大于预设攻击参数值，则将大于所述预设攻击参数值时获取的历史扰动噪声输出并作为所述目标通用扰动。
在具体应用场景中，所述处理模块32，还具体可以用于根据所述第二预测结果和所述候选样本图像对应的实际结果，构建预测损失函数；根据所述候选样本图像与添加历史扰动噪声后的候选样本图像之间的距离，构建距离损失函数；基于所述距离损失函数对应的权重参数，将所述预测损失函数与所述距离损失函数相减；当预测损失函数与所述距离函数函数的差值达到最大时，输出所述第二预测结果对应的扰动噪声，并将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中。
在具体应用场景中，所述处理模块32，还具体可以用于对所述第二预测结果对应的扰动噪声进行扰动范数限制，得到限制后的扰动噪声；将所述第二预测结果对应的限制后的扰动噪声更新到所述历史扰动噪声中。
在具体应用场景中，所述处理模块32，还具体可以用于将与所述第二预测结果对应的扰动噪声的范数距离最小的扰动噪声，确定为所述限制后的扰动噪声，其中，所述范数距最小的扰动噪声满足预设扰动范数限制。
在具体应用场景中，所述处理模块32，还具体可以用于根据所述各样本图像的预测结果，确定攻击成功的样本图像数量；根据所述攻击成功的样本图像数量和所述样本图像集对应的总样本图像数量，计算针对所述样本图像集的攻击参数值。
在具体应用场景中，所述处理模块，还具体可以用于根据所述变换矩阵特征的概率分布，随机获取变换矩阵特征；基于获取的所述变换矩阵特征，构建图像分类模型的损失函数。
在具体应用场景中，所述处理模块32，还可以用于若不存在所述攻击参数值大于所述预设攻击参数值的目标扰动噪声，则根据所述变换矩阵特征的概率分布，重新获取变换矩阵特征；基于重新获取的所述变换矩阵特征，构建所述图像分类模型的损失函数。
在具体应用场景中，所述处理模块32，还可以用于将所述样本图像集对应的子图像集输入所述图像分类模型，得到所述子图像集中各样本图像的预测结果；根据所述子图像集中各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声。
本实施例提供的通用扰动获取装置，由于利用了样本图像的变换矩阵特征的概率分布，构建图像分类模型的损失函数，因此在构建损失函数的过程中充分考虑了现实世界的变换所带来的影响，利用该损失函数训练得到的目标通用扰动，在图像识别的过程中无法被实现世界的变换抵消，从而能够提高通用扰动攻击的鲁棒性，同时能够提高对图像分类模型的攻击效率和攻击成功率。
上面从模块化功能实体的角度对本申请实施例中实施通用扰动获取方法的通用扰动获取装置进行了描述，下面从硬件处理的角度分别对本申请实施例中的服务器和终端设备进行描述。需要说明的是，在本申请实施例图4所示的实施例中的收发模块对应的实体设备可以为输入/输出单元，处理模块对应的实体设备可以为处理器，显示模块所对应的实体设备可以是显示屏等显示单元。图4所示的装置30可以具有如图5所示的结构，当图4所示的装置30具有如图5所示的结构时，图5中的处理器和收发器能够实现前述对应该装置30的装置实施例提供的处理模块32和输入输出模块31相同或相似的功能，图5中的中央存储器存储处理器执行上述通用扰动获取的方法时需要调用的程序代码。在本申请实施例图4所示的实施例中的输入输出模块31所对应的实体设备可以为输入输出接口，处理模块32对应的实体设备可以为处理器。
本申请实施例还提供了另一种终端设备，如图6所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、销售终端(英文全称：Point of Sales，英文简称：POS)、车载电脑等任意终端设备，以终端为手机为例：
图6示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图6，手机包括：射频(英文全称：Radio Frequency，英文简称：RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(英文全称：wirelessfidelity，英文简称：WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图5中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对手机的各个构成部件进行具体的介绍：
RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文简称：LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文简称：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，英文简称：GPRS)、码分多址(英文全称：Code Division Multiple Access，英文简称：CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access,英文简称：WCDMA)、长期演进(英文全称：LongTerm Evolution，英文简称：LTE)、电子邮件、短消息服务(英文全称：Short MessagingService，英文简称：SMS)等。
存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文简称：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode,英文简称：OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图4中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路10560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声音信号输出；另一方面，传声器1562将收集的声音信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了W-iFi模块1570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。
手机还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的处理器1580还具有控制执行以上由图3所示的通用扰动装置30执行的通用扰动获取方法流程。
图7是本申请实施例提供的一种服务器结构示意图，该服务器1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：centralprocessing units，英文简称：CPU)1622(例如，一个或一个以上处理器)和存储器1632，一个或一个以上存储应用程序1642或数据1644的存储介质1630(例如一个或一个以上海量存储设备)。其中，存储器1632和存储介质1630可以是短暂存储或持久存储。存储在存储介质1630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1622可以设置为与存储介质1630通信，在服务器1620上执行存储介质1630中的一系列指令操作。
服务器1620还可以包括一个或一个以上电源1626，一个或一个以上有线或无线网络接口1650，一个或一个以上输入输出接口1658，和/或，一个或一个以上操作系统1641，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
例如，上述实施例中由通用扰动获取装置30所执行的步骤可以基于该图7所示的服务器1620的结构。例如上述实施例中由图4所示的通用扰动获取装置30所执行的步骤可以基于该图6所示的服务器结构。例如，所述处理器1622通过调用存储器1632中的指令，执行以下操作：
输入输出接口1658，可以用于获取样本图像集，所述样本图像集包括多个样本图像；
处理器1622，可以用于将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布；根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数；将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果；根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；将所述目标扰动噪声作为目标通用扰动并输出。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种通用扰动获取方法，其特征在于，所述方法包括：
获取样本图像集，所述样本图像集包括多个样本图像；
将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布；
根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数；
将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果；
根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；
将所述目标扰动噪声作为目标通用扰动并输出；
所述将所述样本图像集输入图像分类模型，得到各样本图像的预测结果，包括：
将初始扰动添加到第一样本图像后，输入图像分类模型；
获取所述图像分类模型的第一预测结果；
若所述第一预测结果为失败，则获取历史扰动噪声，以及从所述样本图像集中选择候选样本图像；
将所述历史扰动噪声添加到所述候选样本图像后，输入所述图像分类模型；
获取所述图像分类模型的第二预测结果；
所述根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数，包括：
根据所述变换矩阵特征的概率分布，抽取多个变换矩阵特征，并根据所述多个变换矩阵特征，生成多个变换函数；
根据所述变换函数以及所述概率分布的期望，构建所述损失函数。
2.根据权利要求1所述的方法，其特征在于，所述历史扰动噪声包括历史样本图像输入所述图像分类模型后对应的历史预测结果为失败时生成的扰动噪声，以及所述第一样本图像输入所述图像分类模型后对应的第一预测结果为失败时生成的扰动噪声；
所述根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；将所述目标扰动噪声作为目标通用扰动，包括：
若所述第二预测结果为失败，则将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中，直至攻击参数值大于预设攻击参数值，则将大于所述预设攻击参数值时获取的历史扰动噪声输出并作为所述目标通用扰动。
3.根据权利要求2所述的方法，其特征在于，所述将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中，包括：
根据所述第二预测结果和所述候选样本图像对应的实际结果，构建预测损失函数；
根据所述候选样本图像与添加历史扰动噪声后的候选样本图像之间的距离，构建距离损失函数；
基于所述距离损失函数对应的权重参数，将所述预测损失函数与所述距离损失函数相减；
当预测损失函数与所述距离损失函数的差值达到最大时，输出所述第二预测结果对应的扰动噪声，并将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中。
4.根据权利要求2所述的方法，其特征在于，在所述将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中之前，所述方法还包括：
对所述第二预测结果对应的扰动噪声进行扰动范数限制，得到限制后的扰动噪声；
所述将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中，包括：
将所述第二预测结果对应的限制后的扰动噪声更新到所述历史扰动噪声中。
5.根据权利要求4所述的方法，其特征在于，所述对所述第二预测结果对应的扰动噪声进行扰动范数限制，得到限制后的扰动噪声，包括：
将与所述第二预测结果对应的扰动噪声的范数距离最小的扰动噪声，确定为所述限制后的扰动噪声，其中，所述范数距离最小的扰动噪声满足预设扰动范数限制。
6.根据权利要求2至5任一项所述的方法，其特征在于，在所述直至攻击参数值大于预设攻击参数值，则将大于所述预设攻击参数值时获取的历史扰动噪声输出并作为所述目标通用扰动之前，所述方法还包括：
根据所述各样本图像的预测结果，确定攻击成功的样本图像数量；
根据所述攻击成功的样本图像数量和所述样本图像集对应的总样本图像数量，计算针对所述样本图像集的攻击参数值。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数，包括：
根据所述变换矩阵特征的概率分布，随机获取变换矩阵特征；
基于获取的所述变换矩阵特征，构建图像分类模型的损失函数。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
若不存在所述攻击参数值大于所述预设攻击参数值的目标扰动噪声，则根据所述变换矩阵特征的概率分布，重新获取变换矩阵特征；
基于重新获取的所述变换矩阵特征，构建所述图像分类模型的损失函数。
9.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
将所述样本图像集对应的子图像集输入所述图像分类模型，得到所述子图像集中各样本图像的预测结果；
根据所述子图像集中各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声。
10.一种通用扰动获取装置，其特征在于，包括：
输入输出模块，用于获取样本图像集，所述样本图像集包括多个样本图像；
处理模块，用于将所述多个样本图像分别与原始图像进行比对，获取变换矩阵特征的概率分布；根据所述变换矩阵特征的概率分布构建图像分类模型的损失函数；将所述样本图像集输入所述图像分类模型，得到各样本图像的预测结果；根据各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声；将所述目标扰动噪声作为目标通用扰动并输出；
所述处理模块，具体用于将初始扰动添加到第一样本图像后，输入图像分类模型；获取所述图像分类模型的第一预测结果；若所述第一预测结果为失败，则获取历史扰动噪声，以及从所述样本图像集中选择候选样本图像；将所述历史扰动噪声添加到所述候选样本图像后，输入所述图像分类模型；获取所述图像分类模型的第二预测结果；
所述处理模块，还用于根据所述变换矩阵特征的概率分布，抽取多个变换矩阵特征，并根据所述多个变换矩阵特征，生成多个变换函数；
根据所述变换函数以及所述概率分布的期望，构建所述损失函数。
11.根据权利要求10所述的装置，其特征在于，
所述历史扰动噪声包括历史样本图像输入所述图像分类模型后对应的历史预测结果为失败时生成的扰动噪声，以及所述第一样本图像输入所述图像分类模型后对应的第一预测结果为失败时生成的扰动噪声；
所述处理模块，具体用于若所述第二预测结果为失败，则将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中，直至攻击参数值大于预设攻击参数值，则将大于所述预设攻击参数值时获取的历史扰动噪声输出并作为所述目标通用扰动。
12.根据权利要求11所述的装置，其特征在于，
所述处理模块，还具体用于根据所述第二预测结果和所述候选样本图像对应的实际结果，构建预测损失函数；根据所述候选样本图像与添加历史扰动噪声后的候选样本图像之间的距离，构建距离损失函数；基于所述距离损失函数对应的权重参数，将所述预测损失函数与所述距离损失函数相减；当预测损失函数与所述距离损失函数的差值达到最大时，输出所述第二预测结果对应的扰动噪声，并将所述第二预测结果对应的扰动噪声更新到所述历史扰动噪声中。
13.根据权利要求11所述的装置，其特征在于，
所述处理模块，还具体用于对所述第二预测结果对应的扰动噪声进行扰动范数限制，得到限制后的扰动噪声；将所述第二预测结果对应的限制后的扰动噪声更新到所述历史扰动噪声中。
14.根据权利要求13所述的装置，其特征在于，
所述处理模块，还具体用于将与所述第二预测结果对应的扰动噪声的范数距离最小的扰动噪声，确定为所述限制后的扰动噪声，其中，所述范数距离最小的扰动噪声满足预设扰动范数限制。
15.根据权利要求11至14任一项所述的装置，其特征在于，
所述处理模块，还具体用于根据所述各样本图像的预测结果，确定攻击成功的样本图像数量；根据所述攻击成功的样本图像数量和所述样本图像集对应的总样本图像数量，计算针对所述样本图像集的攻击参数值。
16.根据权利要求10至14任一项所述的装置，其特征在于，
所述处理模块，还具体用于根据所述变换矩阵特征的概率分布，随机获取变换矩阵特征；基于获取的所述变换矩阵特征，构建图像分类模型的损失函数。
17.根据权利要求16所述的装置，其特征在于，
所述处理模块，还具体用于若不存在所述攻击参数值大于所述预设攻击参数值的目标扰动噪声，则根据所述变换矩阵特征的概率分布，重新获取变换矩阵特征；基于重新获取的所述变换矩阵特征，构建所述图像分类模型的损失函数。
18.根据权利要求10至14任一项所述的装置，其特征在于，
所述处理模块，还用于将所述样本图像集对应的子图像集输入所述图像分类模型，得到所述子图像集中各样本图像的预测结果；根据所述子图像集中各样本图像的预测结果确定攻击参数值大于预设攻击参数值的目标扰动噪声。
19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202111678925.8A 2021-12-31 2021-12-31 通用扰动获取方法、装置、存储介质及计算机设备 Active CN114444579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111678925.8A CN114444579B (zh) 2021-12-31 2021-12-31 通用扰动获取方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111678925.8A CN114444579B (zh) 2021-12-31 2021-12-31 通用扰动获取方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN114444579A CN114444579A (zh) 2022-05-06
CN114444579B true CN114444579B (zh) 2022-10-28

Family

ID=81365316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111678925.8A Active CN114444579B (zh) 2021-12-31 2021-12-31 通用扰动获取方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN114444579B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743081B (zh) * 2022-05-10 2023-06-20 北京瑞莱智慧科技有限公司 模型训练方法、相关装置及存储介质
CN115081643B (zh) * 2022-07-20 2022-11-08 北京瑞莱智慧科技有限公司 对抗样本生成方法、相关装置及存储介质
CN115496924A (zh) * 2022-09-29 2022-12-20 北京瑞莱智慧科技有限公司 一种数据处理方法、相关设备及存储介质
CN117496000B (zh) * 2023-12-29 2024-05-17 北京宏锐星通科技有限公司 干扰模板图像的生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245598A (zh) * 2019-06-06 2019-09-17 北京瑞莱智慧科技有限公司 对抗样本生成方法、装置、介质和计算设备
CN111930634A (zh) * 2020-09-09 2020-11-13 北京瑞莱智慧科技有限公司 模型处理方法、装置、介质和计算设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839265B2 (en) * 2018-11-12 2020-11-17 Sap Se Platform for preventing adversarial attacks on image-based machine learning models
US20200250304A1 (en) * 2019-02-01 2020-08-06 Nec Laboratories America, Inc. Detecting adversarial examples
EP3739516A1 (en) * 2019-05-17 2020-11-18 Robert Bosch GmbH Classification robust against multiple perturbation types
US11768932B2 (en) * 2019-06-28 2023-09-26 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks
CN110516695A (zh) * 2019-07-11 2019-11-29 南京航空航天大学 面向医学图像分类的对抗样本生成方法及系统
CN111242166A (zh) * 2019-12-30 2020-06-05 南京航空航天大学 一种通用对抗扰动生成方法
WO2021189364A1 (zh) * 2020-03-26 2021-09-30 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111738373B (zh) * 2020-08-28 2022-09-02 北京瑞莱智慧科技有限公司 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN113627597B (zh) * 2021-08-12 2023-10-13 上海大学 一种基于通用扰动的对抗样本生成方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245598A (zh) * 2019-06-06 2019-09-17 北京瑞莱智慧科技有限公司 对抗样本生成方法、装置、介质和计算设备
CN111930634A (zh) * 2020-09-09 2020-11-13 北京瑞莱智慧科技有限公司 模型处理方法、装置、介质和计算设备

Also Published As

Publication number Publication date
CN114444579A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN114444579B (zh) 通用扰动获取方法、装置、存储介质及计算机设备
CN110009052B (zh) 一种图像识别的方法、图像识别模型训练的方法及装置
CN110321965B (zh) 物体重识别模型的训练方法、物体重识别的方法及装置
US11275907B2 (en) Machine translation method, apparatus, computer device, and storage medium
WO2020199926A1 (zh) 一种图像识别网络模型训练方法、图像识别方法及装置
CN109993125B (zh) 模型训练方法、人脸识别方法、装置、设备及存储介质
CN108228270B (zh) 启动资源加载方法及装置
JP6553747B2 (ja) 人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体
CN110597957B (zh) 一种文本信息检索的方法及相关装置
CN113190646B (zh) 一种用户名样本的标注方法、装置、电子设备及存储介质
CN114334036A (zh) 一种模型训练的方法、相关装置、设备以及存储介质
CN117332844A (zh) 对抗样本生成方法、相关装置及存储介质
CN110019648B (zh) 一种训练数据的方法、装置及存储介质
CN110390102B (zh) 一种情感分析的方法和相关装置
CN116486463A (zh) 图像处理方法、相关装置及存储介质
CN115081643B (zh) 对抗样本生成方法、相关装置及存储介质
CN115239941B (zh) 对抗图像生成方法、相关装置及存储介质
CN113569043A (zh) 一种文本类别确定方法和相关装置
CN116257657B (zh) 数据处理方法、数据查询方法、相关装置及存储介质
CN115412726B (zh) 视频真伪检测方法、装置及存储介质
CN116994102A (zh) 一种网络模型的评估方法、装置以及存储介质
CN112750427A (zh) 一种图像处理方法、装置及存储介质
CN114171114A (zh) 药物靶点预测模型的构建方法、装置、存储介质及电子设备
CN118035765A (zh) 文本相似度匹配方法、装置、存储介质及电子设备
CN117152565A (zh) 模型训练方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant