CN110210573A - 对抗图像的生成方法、装置、终端及存储介质 - Google Patents

对抗图像的生成方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110210573A
CN110210573A CN201910502774.7A CN201910502774A CN110210573A CN 110210573 A CN110210573 A CN 110210573A CN 201910502774 A CN201910502774 A CN 201910502774A CN 110210573 A CN110210573 A CN 110210573A
Authority
CN
China
Prior art keywords
processing result
initial pictures
image
updated
confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910502774.7A
Other languages
English (en)
Other versions
CN110210573B (zh
Inventor
吴保元
樊艳波
张勇
李志锋
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910502774.7A priority Critical patent/CN110210573B/zh
Publication of CN110210573A publication Critical patent/CN110210573A/zh
Application granted granted Critical
Publication of CN110210573B publication Critical patent/CN110210573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种对抗图像的生成方法、装置、终端及存储介质，属于机器学习领域。该方法在生成对抗图像的过程中，可以根据图像处理模型对更新后的初始图像的处理结果，对用于更新初始图像的对抗扰动量进行更新。因此可以确保基于更新后的对抗扰动量对初始图像进行更新时，图像处理模型对更新后的初始图像的处理结果满足约束条件的概率更高，即更新后的初始图像的对抗攻击成功的概率更高，从而有效提高了对抗图像的生成效率。

Description

对抗图像的生成方法、装置、终端及存储介质
技术领域
本申请涉及机器学习领域，特别涉及一种对抗图像的生成方法、装置、终端及存储介质。
背景技术
在机器学习领域，为了验证基于深度神经网络训练得到的图像分类模型的可靠性，可以采用对抗图像对图像分类模型进行对抗攻击。其中，对抗图像可以是基于目标图像生成的图像，且人类观察者无法明显察觉两个图像的区别。若图像分类模型将对抗图像和目标图像识别为不同的类别，则可以确定对抗攻击成功。
相关技术中，在生成对抗图像时，可以采用随机变量不断对初始图像进行更新，每次更新后可以获取图像分类模型对该更新后的初始图像的分类结果。若根据该分类结果确定对抗攻击成功，则可以继续对更新后的初始图像进行更新；若对抗攻击不成功，则可以放弃上一次的更新，并重新对该初始图像进行更新。直至更新后的初始图像对抗攻击成功，且与目标图像的差异小于一定阈值时，可以将该更新后的初始图像确定为对抗图像。
但是，该方法在采用随机变量更新初始图像的过程中，仅可以根据图像分类模型的输出结果确定是否接收上一次的更新，对抗图像的生成效率较低。
发明内容
本发明实施例提供了一种对抗图像的生成方法、装置、终端及存储介质，可以解决相关技术中的对抗图像生成效率较低的问题。所述技术方案如下：
一方面，提供了一种对抗图像的生成方法，所述方法包括：
将对抗扰动量与初始图像叠加，以更新所述初始图像；
获取图像处理模型对更新后的所述初始图像的处理结果；
若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异收敛，则将更新后的所述初始图像确定为对抗图像；
若所述处理结果不满足对抗攻击的约束条件，或者若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，则根据所述处理结果更新所述对抗扰动量，并继续执行更新所述初始图像和获取处理结果的操作。
另一方面，提供了一种对抗图像的生成装置，所述装置包括：
第一更新模块，用于将对抗扰动量与初始图像叠加，以更新所述初始图像；
获取模块，用于获取图像处理模型对更新后的所述初始图像的处理结果；
确定模块，用于若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异收敛，则将更新后的所述初始图像确定为对抗图像；
第二更新模块，用于若所述处理结果不满足对抗攻击的约束条件，或者若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，则根据所述处理结果更新所述对抗扰动量，并继续执行更新所述初始图像和获取处理结果的操作。
可选的，所述第二更新模块，用于：
根据所述处理结果与前次处理结果的差值更新所述对抗扰动量；
其中，所述前次处理结果为所述图像处理模型对上一次更新后的所述初始图像的处理结果。
可选的，所述对抗扰动量为服从目标概率分布的N维随机变量，所述N为所述初始图像包括的像素个数，且所述N为大于1的整数；所述第二更新模块，包括：
第一更新子模块，用于若所述处理结果不满足对抗攻击的约束条件，根据所述处理结果与前次处理结果的差值，减小所述目标概率分布的协方差矩阵中对角线元素的元素值；
第二更新子模块，用于若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，根据所述处理结果与前次处理结果的差值，增大所述目标概率分布的协方差矩阵中对角线元素的元素值。
可选的，所述目标概率分布为均值为0，标准差为δ2C的高斯分布，δ为大于0且小于1的第一超参数，C为所述协方差矩阵；
所述第一更新子模块，用于：根据所述处理结果与前次处理结果的差值ΔP，减小所述协方差矩阵中每个对角线元素的元素值，减小后的第i个对角线元素的元素值Cii满足：
其中，c-为大于0且小于1的第二超参数，zi为所述对抗扰动量中的第i个元素，i为不大于N的正整数。
可选的，所述第二更新子模块，用于：
更新叠加扰动量s，更新后的叠加扰动量s满足：
其中，所述叠加扰动量s的初始值为初始的所述对抗扰动量，c0为大于0且小于1的第三超参数，m为大于1的第四超参数；
根据更新后的叠加扰动量s，以及所述处理结果与前次处理结果的差值ΔP，增大所述协方差矩阵中每个对角线元素的元素值，增大后的第i个对角线元素的元素值Cii满足：
其中，c+为大于0且小于1的第五超参数，si为所述叠加扰动量s中的第i个元素，i为不大于N的正整数。
可选的，所述第一更新模块，用于：
将对抗扰动量与所述初始图像叠加，得到叠加量；调整所述叠加量，以更新所述初始图像；
其中，调整后的所述叠加量与所述目标图像之间的差异，为所述初始图像与所述目标图像之间的差异的η倍，η为大于0且小于1的第六超参数。
可选的，所述第二更新模块，还用于若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，或者若所述处理结果不满足对抗攻击的约束条件，根据对抗攻击的成功概率更新所述第六超参数η，所述第六超参数η的更新幅度与所述成功概率正相关，所述成功概率为所述图像处理模型对更新后的所述初始图像的总处理次数中，处理结果满足所述约束条件的次数的占比。
又一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的对抗图像的生成方法。
再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的对抗图像的生成方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例提供了一种对抗图像的生成方法、装置、终端及存储介质，该方法在基于对抗扰动量对初始图像进行更新，以生成对抗图像过程中，可以根据图像处理模型对更新后的初始图像的处理结果，对该对抗扰动量进行更新。因此可以确保基于更新后的对抗扰动量对初始图像进行更新时，图像处理模型对更新后的初始图像的处理结果满足约束条件的概率更高，即更新后的初始图像的对抗攻击成功的概率更高，从而有效提高了对抗图像的生成效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的对抗图像的生成方法所涉及的一种实施环境的结构示意图；
图2是本发明实施例提供的一种对抗图像的生成方法的流程图；
图3是本发明实施例提供的另一种对抗图像的生成方法的流程图；
图4是本发明实施例提供的又一种对抗图像的生成方法的流程图；
图5是本发明实施例提供的一种对抗图像的生成装置的结构示意图；
图6是本发明实施例提供的一种第二更新模块的结构示意图；
图7是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1，其示出了本发明实施例提供的对抗图像的生成方法所涉及的一种实施环境的结构示意图。该实施环境可以包括终端01和服务器02。该终端01可以为计算机、平板电脑、智能手机、车载导航仪、多媒体播放器或者可穿戴式设备等。该服务器02可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。并且该终端01与服务器02之间可以通过有线或无线网络建立连接。
该服务器02中可以部署有图像处理模型，例如图像分类模型、图像识别模型或图像检测模型等基于机器学习的方法训练得到的人工智能(Artificial Intelligence，AI)模型。其中图像识别模型可以为人脸识别模型、车牌识别模型或者路标识别模型等。图像检测模型可以为物体检测模型等。
终端01可以向该服务器02发送初始图像，服务器02可以采用图像处理模型对该初始图像进行处理，并向终端01反馈处理结果。终端01进而可以基于目标图像以及该处理结果对初始图像进行更新，直至该图像处理模型对该更新后的初始图像的处理结果满足对抗攻击的约束条件，且更新后的初始图像与目标图像之间的差异收敛时，可以将该更新后的初始图像确定为对抗图像。其中，该对抗攻击的约束条件可以为：图像处理模型对更新后的初始图像的处理结果与对目标图像的处理结果的差值大于差值阈值。因此图像处理模型对更新后的初始图像的处理结果满足对抗攻击的约束条件即相当于：更新后的初始图像对图像处理模型对抗攻击成功。
需要说明的是，该实施环境中也可以仅包括终端01，而不包括该服务器02，该图像处理模型可以直接部署于终端01中。在该实现方式中，终端01也可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
本发明实施例提供的对抗图像的生成方法可以应用于黑盒对抗攻击中，黑盒对抗攻击是指待攻击的图像处理模型的结构和参数未知，只能通过获取图像处理模型的处理结果来生成该对抗图像。
对图像处理模型的对抗攻击可以分为目标攻击和非目标攻击两种类型。其中，非目标攻击可以是指：图像处理模型对该对抗图像的处理结果与该图像处理模型对目标图像的处理结果不同，例如两个处理结果的差值大于差值阈值。目标攻击可以是指：图像处理模型对该对抗图像的处理结果为特定的处理结果，该特定的处理结果不同于图像处理模型对目标图像的处理结果。
示例的，以图像处理模型为图像分类模型F为例，假设目标图像为x，若图像分类模型F将该目标图像x识别为第t类，即t＝argmaxkP(k|x)，则非目标攻击的约束条件可以表示为：t≠argmaxkP(k|y)，即图像分类模型F将该对抗图像y识别为非第t类。
若图像分类模型F将目标图像x识别为非第t类，即t≠argmaxkP(k|x)，则目标攻击的约束条件可以表示为：t＝argmaxkP(k|y)，即图像分类模型F将该对抗图像y识别为第t类。
其中，P(k|x)可以是指图像分类模型F将该目标图像x识别为第k类的概率(即后验概率)，P(k|y)可以是指图像分类模型F将该对抗图像y识别为第k类的概率，k为大于1的正整数。
因此，在本发明实施例中，对初始图像不断进行更新以构造对抗图像y的过程，可以采用数学建模的方式建模为以下约束优化问题：
上述约束优化问题可以理解为：求取满足约束条件C(P(t|y))的y中使得D(x,y)最小的y。对于非目标攻击，约束条件C(P(t|y))满足：C(P(t|y))≡[t≠argmaxkP(k|y)]；对于目标攻击，约束条件C(P(t|y))满足：C(P(t|y))≡[t＝argmaxkP(k|y)]。其中，D(x,y)可以是指目标图像x与对抗图像y的差异。
根据上述分析可知，对图像分类模型F的对抗攻击可以理解为：构造一个对抗图像y，使得对抗图像y与目标图像x的视觉差异小到人眼无法察觉，并使后验概率P(t|x)与P(t|y)产生足够的差异。
可选的，在本发明实施例中，目标图像x和对抗图像y均可以采用N维列向量表示，N为目标图像包括的像素的个数，N为大于1的整数，且目标图像x和对抗图像y包括的像素的个数相等。相应的，D(x,y)可以表示两个列向量之间的距离，例如可以为欧氏距离。
图2是本发明实施例提供的一种对抗图像的生成方法的流程图。该方法可以方法可以由对抗图像的生成设备执行，该对抗图像的生成设备可以是图1所示实施环境中的终端01。本发明实施例以该对抗图像的生成设备为终端为例进行说明。参考图2，该方法可以包括：
步骤101、将对抗扰动量与初始图像叠加，以更新该初始图像。
该对抗扰动量可以为N维随机变量，N为初始图像包括的像素个数，且N为大于1的整数。并且，该N维随机变量可以服从目标概率分布，即该N维随机变量可以是对目标概率分布进行采样得到的。该初始图像可以为终端预先获取到，对待攻击的图像处理模型对抗攻击成功的图像。也即是，图像处理模型对该初始图像的处理结果满足对抗攻击的约束条件。终端直接将该对抗扰动量与初始图像进行叠加，即可实现对初始图像的更新。
假设待攻击的图像处理模型为图像分类模型F，图像分类模型F将目标图像x识别为第t类。则对于非目标攻击，图像处理模型F应当将该初始图像y识别为非第t类。因此对于非目标攻击，该初始图像y可以为终端随机生成的噪声图像。而对于目标攻击，图像处理模型F应当将该初始图像y的识别为第t类。因此对于目标攻击，该初始图像y可以为该目标图像x。
步骤102、获取图像处理模型对更新后的该初始图像的处理结果。
在本发明实施例中，终端可以将更新后的该初始图像输入至图像处理模型，并获取该图像处理模型对更新后的该初始图像的处理结果。
示例的，若该图像处理模型为图像分类模型，则该处理结果可以为图像分类模型对该更新后的该初始图像的分类结果。该分类结果可以包括图像分类模型将该更新后的该初始图像识别为不同类别的概率中的前k(top-k)个概率。
步骤103、若该处理结果满足对抗攻击的约束条件，且更新后的初始图像与目标图像之间的差异收敛，则将更新后的初始图像确定为对抗图像。
若该处理结果满足对抗攻击的约束条件，则终端可以确定更新后的初始图像对该图像处理模型的对抗攻击成功。同时，若该更新后的初始图像与目标图像之间的差异收敛，则终端可以确定当前更新后的初始图像已满足对抗攻击的要求，即该更新后的初始图像为上述约束优化问题的最优解，因此可以将该更新后的初始图像确定为对抗图像。
其中，对于非目标攻击，该约束条件可以为：该图像处理模型对更新后的该初始图像的处理结果与对该目标图像的处理结果的差值大于差值阈值。该差值阈值可以为终端中预先存储的固定值。对于目标攻击，该约束条件可以为：该图像处理模型对更新后的该初始图像的处理结果为预先设定的特定的处理结果，该特定的处理结果不同于图像处理模型对该目标图像的处理结果。
示例的，对于非目标攻击，若图像处理模型将目标图像识别为第t类，则该约束条件C(P(t|y))可以表示为C(P(t|y))≡[t≠argmaxkP(k|y)]。在该约束条件下，差值阈值可以为0，即图像处理模型对更新后的该初始图像的处理结果与对该目标图像的处理结果不同时即满足非目标攻击的约束条件。对于目标攻击，若图像处理模型将目标图像识别为非第t类，则该约束条件C(P(t|y))可以表示为：C(P(t|y))≡[t＝argmaxkP(k|y)]。
步骤104、若该处理结果不满足对抗攻击的约束条件，或者若该处理结果满足对抗攻击的约束条件，且更新后的初始图像与目标图像之间的差异不收敛，则更新该对抗扰动量。执行步骤101。
在本发明实施例中，终端在检测到该处理结果满足对抗攻击的约束条件，但更新后的初始图像与目标图像之间的差异不收敛时，或者检测到该处理结果不满足对抗攻击的约束条件时，可以确定当前更新后的初始图像还不满足对抗攻击的要求，即该更新后的初始图像还不是上述约束优化问题的最优解，因此可以更新该对抗扰动量，并基于该更新后的对抗扰动量，继续执行上述步骤101和步骤102，直至得到对抗图像。
可选的，终端可以根据该处理结果与前次处理结果的差值更新该对抗扰动量，且对该对抗扰动量的更新幅度，可以与该处理结果和前次处理结果的差值相关。例如对于非目标攻击，对该对抗扰动量的更新幅度，可以与该差值负相关；对于目标攻击，对该对抗扰动量的更新幅度，可以与该差值正相关。其中，该前次处理结果为该图像处理模型对上一次更新后的该初始图像的处理结果。
综上所述，本发明实施例提供了一种对抗图像的生成方法，该方法在基于对抗扰动量对初始图像进行更新，以生成对抗图像过程中，可以根据图像处理模型对更新后的初始图像的处理结果，对该对抗扰动量进行更新。因此可以确保基于更新后的对抗扰动量对初始图像进行更新时，图像处理模型对更新后的初始图像的处理结果满足约束条件的概率更高，即更新后的初始图像的对抗攻击成功的概率更高，从而有效提高了对抗图像的生成效率。
图3是本发明实施例提供的另一种对抗图像的生成方法的流程图。该方法可以方法可以由对抗图像的生成设备执行，该对抗图像的生成设备可以是图1所示实施环境中的终端01。本发明实施例以该对抗图像的生成设备为终端为例进行说明。参考图3，该方法可以包括：
步骤201、获取初始图像。
该初始图像可以为终端预先获取到的，对待攻击的图像处理模型对抗攻击成功的图像。也即是，图像处理模型对该初始图像的处理结果满足对抗攻击的约束条件。
假设待攻击的图像处理模型为图像分类模型F，图像分类模型F将目标图像x识别为第t类。则对于非目标攻击，图像处理模型F应当将该初始图像y识别为非第t类。因此对于非目标攻击，该初始图像可以为终端随机生成的噪声图像。而对于目标攻击，图像处理模型F应当将该初始图像y的识别为第t类。因此对于目标攻击，该初始图像可以为该目标图像。
步骤202、获取对抗扰动量。
该对抗扰动量可以为N维随机变量，N为初始图像包括的像素个数，且N为大于1的整数。并且，该N维随机变量可以服从目标概率分布，即该N维随机变量可以是对目标概率分布进行采样得到的。其中，该目标概率分布可以为高斯分布、拉普拉斯分布或者伯努利分布等。
可选的，在本发明实施例中，该目标概率分布可以为均值为0，标准差为δ2C的高斯分布，δ为大于0且小于1的第一超参数，C为该高斯分布的协方差矩阵，且C为N×N的矩阵。即该对抗扰动量z可以是对高斯分布采样得到，该对抗扰动量z满足：z～N(0,δ2C)。
在本发明实施例中，为了提高计算效率，可以将初始的协方差矩阵C设置为对角矩阵，即N维的对抗扰动量z中的各个分量相互独立。该对角矩阵中每个对角元素的初始元素值可以为1。
可选的，该N维的对抗扰动量z中的每个分量可以对应于初始图像y中的一个像素。例如，对抗扰动量z中的第i个分量即对应于初始图像y中的第i个像素。因此，若沿着对抗扰动量z中第i个分量更新初始图像y能够对抗攻击成功的概率越大，则在后续调整对抗扰动量时，可以将协方差矩阵C中第i个对角线元素Cii的元素值也调整的越大。即第i个对角线元素Cii的元素值与沿着第i个分量更新初始图像y能够对抗攻击成功的概率成正比。
步骤203、将对抗扰动量与初始图像叠加，得到叠加量。
在本发明实施例中，该初始图像y可以采用N维列向量表示，该N维列向量中的第i个分量可以代表第i个像素。终端将对抗扰动量z与初始图像y叠加，即可得到叠加量y+z。
步骤204、调整该叠加量，以更新该初始图像。
调整后的叠加量与目标图像之间的差异，可以为初始图像与目标图像之间的差异的η倍，该η为大于0且小于1的第六超参数。也即是，调整后的叠加量y+z满足：D(x,y+z)＝ηD(x,y)，D表示两个图像的差异。之后，终端可以将该调整后的叠加量y+z确定为更新后的初始图像y，即y＝y+z。
示例的，终端可以以目标图像x为圆心，以ηD(x,y)为半径构造球体，然后将该叠加量y+z映射至球体的球面。该叠加量y+z在球面的映射点即为调整后的叠加量y+z，由此可以使得该调整后的叠加量y+z满足：D(x,y+z)＝ηD(x,y)。
由于第六超参数η为大于0且小于1的数，例如可以为0.01或者0.001，因此对叠加量y+z进行调整后，可以保证调整后的叠加量y+z相比于更新前的初始图像y更靠近目标图像x，即调整后的叠加量y+z与目标图像x之间的差异D(x,y+z)更小。从而可以确保在不断更新该初始图像y的过程中，该更新后的初始图像y与目标图像x之间的差异D(x,y)能够不断减小。
步骤205、获取图像处理模型对更新后的该初始图像的处理结果。
终端可以将更新后的该初始图像输入至图像处理模型，并获取该图像处理模型对更新后的该初始图像的处理结果。
示例的，若该图像处理模型为图像分类模型，则该处理结果可以为图像分类模型对该更新后的该初始图像的分类结果。该分类结果可以包括图像分类模型将该更新后的该初始图像识别为不同类别的概率中的前k个概率，该前k个概率是指将更新后的该初始图像识别为不同类别的概率从大到小排序后的前k个概率。
步骤206、检测该处理结果是否满足对抗攻击的约束条件。
若该处理结果不满足对抗攻击的约束条件，则终端可以确定该更新后的初始图像对抗攻击失败，并可以执行步骤207。若该处理结果满足对抗攻击的约束条件，则终端可以确定该更新后的初始图像对抗攻击成功，并可以继续执行步骤208。
对于非目标攻击，该约束条件可以为：该图像处理模型对更新后的该初始图像的处理结果与对该目标图像的处理结果的差值大于差值阈值。该差值阈值可以为终端中预先存储的固定值。对于目标攻击，该约束条件可以为：该图像处理模型对更新后的该初始图像的处理结果为预先设定的特定的处理结果，该预先设定的特定的处理结果不同于图像处理模型对该目标图像的处理结果。
示例的，对于非目标攻击，该约束条件可以表示为：t≠argmaxkP(k|y)，即图像分类模型F将该更新后的初始图像y识别为非第t类。若终端检测到图像分类模型输出的前k个概率中，概率最大的分类为第t类，则可以确定该处理结果不满足对抗攻击的约束条件。若概率最大的分类不为第t类，则可以确定该处理结果满足对抗攻击的约束条件。
对于目标攻击，该约束条件可以表示为：t＝argmaxkP(k|y)，即图像分类模型F将该更新后的初始图像y识别为第t类。若终端检测到图像分类模型输出的前k个概率中，概率最大的分类不为第t类，则可以确定该处理结果不满足对抗攻击的约束条件。若概率最大的分类为第t类，则可以确定该处理结果满足对抗攻击的约束条件。
步骤207、减小目标概率分布的协方差矩阵中对角线元素的元素值。执行步骤211。
若终端检测到图像处理模型输出的处理结果不满足对抗攻击的约束条件，则可以确定对抗攻击失败，并可以根据当前处理结果与前次处理结果的差值，减小目标概率分布的协方差矩阵中对角线元素的元素值，从而实现对该对抗扰动量的更新。其中，每个对角线元素的元素值的减小幅度可以与该差值负相关，且第i个对角线元素的元素值的减小幅度可以与该第i个对角线元素的元素值的大小正相关。
在图像处理模型输出的处理结果不满足对抗攻击的约束条件(即对抗攻击失败)时，减小协方差矩阵中对角线元素的元素值，可以确保采用该更新后的对抗扰动量再次对初始图像进行更新时，该更新后的初始图像对抗攻击成功的概率能够提高。
示例的，假设该目标概率分布为为均值为0，标准差为δ2C的高斯分布，C为该高斯分布的协方差矩阵。则根据该图像处理模型的处理结果与前次处理结果的差值ΔP，减小该协方差矩阵中每个对角线元素的元素值后，减小后的第i个对角线元素的元素值Cii可以满足：
其中，c-为大于0且小于1的第二超参数，例如可以为0.01或者0.001。zi为该对抗扰动量z中的第i个元素，i为不大于N的正整数。对于非目标攻击，ΔP可以定义为前次处理结果减去当前的处理结果得到的差值。对于目标攻击，ΔP可以定义为当前的处理结果减去前次处理结果得到的差值。若该图像处理模型为图像分类模型，图像分类模型将目标图像识别为第t类，则该处理结果和前次处理结果均可以是指图像分类模型将更新后的初始图像y识别为第t类的概率P(t|y)。
由于对于目标攻击，P(t|y)越大，满足约束条件的概率越高，则参考上述元素值Cii的更新公式可以看出，如果ΔP为负，则表明当前处理结果相比于前次处理结果，满足约束条件的概率降低，因此exp(-ΔP)大于1，对元素值Cii减小幅度较大。如果ΔP为正，则表明当前处理结果相比于前次处理结果，满足约束条件的概率有所提升，因此exp(-ΔP)小于1，对元素值Cii减小幅度较小。
参考上述元素值Cii的更新公式可以看出，如果基于对抗扰动量z更新得到的初始图像对抗攻击失败，则可以降低对抗扰动量z的协方差矩阵中的元素值Cii，从而降低下次沿着对抗扰动量z中第i个分量更新初始图像的概率。
步骤208、检测更新后的初始图像与目标图像之间的差异是否收敛。
若终端检测到图像处理模型输出的处理结果满足对抗攻击的约束条件，则可以确定对抗攻击成功，并可以继续检测更新后的初始图像与目标图像之间的差异D(x,y)是否收敛。即检测当前确定出的差异D(x,y)与之前确定出的差异D(x,y)的差值是否小于收敛阈值。
若更新后的初始图像与目标图像之间的差异D(x,y)收敛，则终端可以确定该更新后的初始图像满足对抗攻击的要求，可以执行步骤209。若更新后的初始图像与目标图像之间的差异D(x,y)不收敛，则终端可以确定该更新后的初始图像还不满足对抗攻击的要求，可以执行步骤210。
步骤209、将更新后的初始图像确定为对抗图像。
若该处理结果满足对抗攻击的约束条件，且该更新后的初始图像与目标图像之间的差异收敛，则终端可以确定当前更新后的初始图像已满足对抗攻击的要求。即当前更新后的初始图像为上述约束优化问题的最优解，此时终端可以将该更新后的初始图像确定为对抗图像。
步骤210、增大该目标概率分布的协方差矩阵中对角线元素的元素值。
若终端检测到图像处理模型输出的处理结果满足对抗攻击的约束条件，但更新后的初始图像与目标图像之间的差异不收敛，则可以根据图像处理模型的处理结果与前次处理结果的差值，增大目标概率分布的协方差矩阵中对角线元素的元素值，从而实现对该对抗扰动量的更新。其中，每个对角线元素的元素值的增大幅度可以与该差值正相关。
由于协方差矩阵中对角线元素的元素值均增大，因此可以确保采用该更新后的对抗扰动量再次对初始图像进行更新时，该更新后的初始图像对抗攻击成功的概率能进一步提高。
示例的，假设该目标概率分布为均值为0，标准差为δ2C的高斯分布，C为该高斯分布的协方差矩阵。则终端增大该目标概率分布的协方差矩阵中对角线元素的元素值时，可以先更新叠加扰动量s，该更新后的叠加扰动量s满足：
其中，该叠加扰动量s的初始值可以为初始获取到的该对抗扰动量z，c0为大于0且小于1的第三超参数，m为大于1的第四超参数，例如m可以为2。根据上述公式可知，该叠加扰动量s也为N维的随机变量。由于终端在每次对抗攻击成功后才对该叠加扰动量s进行更新，因此该叠加扰动量s也可以理解为用于记录之前所有可行解(即对抗攻击成功的对抗扰动量)的轨迹的搜索路径。
之后，终端可以根据该更新后的叠加扰动量s，以及图像处理模型的处理结果与前次处理结果的差值ΔP，增大该协方差矩阵中每个对角线元素的元素值，增大后的第i个对角线元素的元素值Cii满足：
其中，c+为大于0且小于1的第五超参数，例如可以为0.01或者0.001。si为该叠加扰动量s中的第i个元素，i为不大于N的正整数。
对于非目标攻击，ΔP可以定义为前次处理结果减去当前的处理结果得到的差值。对于目标攻击，ΔP可以定义为当前的处理结果减去前次处理结果得到的差值。若该图像处理模型为图像分类模型，图像分类模型将目标图像识别为第t类，则该处理结果和前次处理结果均可以是指图像分类模型将更新后的初始图像y识别为第t类的概率P(t|y)。
参考上述元素值Cii的更新公式可以看出，由于ΔP的取值可能为正，也可能为负，因此exp(ΔP)的取值可能大于1也可能小于1。由于对于目标攻击，P(t|y)越大越好；对于非目标攻击，P(t|y)越小越好，则结合上述对ΔP的定义以及元素值Cii的更新公式可知，对元素值Cii的增大幅度与ΔP正相关，且与si正相关。
上述更新可以理解为：如果上一次根据对抗扰动量z更新初始图像时，沿着对抗扰动量z中的第i个分量对抗攻击成功的概率较高，则在后续的更新过程中，沿着第i个分量继续更新的对抗攻击成功的概率也会比较高，因此可以增加Cii，从而引导搜索沿着第i个分量继续前进，即增大沿对抗扰动量z中第i个分量更新初始图像的概率。并且，Cii的更新幅度，还依赖于处理结果(例如后验概率)的改变值ΔP，从而使搜索沿着更有可能对抗攻击成功的区域进行。
步骤211、根据对抗攻击的成功概率更新第六超参数。执行步骤202。
在本发明实施例中，终端在每次基于更新后的初始图像对图像处理模型进行对抗攻击后，还可以统计对抗攻击的成功概率，该成功概率为终端采用更新后的初始图像对该图像处理模型对抗攻击成功的次数与对抗攻击的总次数的比值。也即是，该图像处理模型对该更新后的初始图像的总处理次数中，处理结果满足该约束条件的次数的占比。
其中，该第六超参数η的更新幅度与该成功概率Psucc正相关。示例的，该更新后的第六超参数η可以满足：η＝η·exp(Psucc-ε)，其中，ε为大于0且小于1的第六超参数，该第六超参数ε可以为终端中预先设定的固定值。例如，该第六超参数ε可以为0.2。
参考上述第六超参数η的更新公式可以看出，当成功概率Psucc大于ε时，更新后的第六超参数η增大。结合上述步骤204的描述可知，下次更新该初始图像y时，更新后的初始图像y与目标图像x之间的差异D(x,y)的减小幅度将增大，更新后的初始图像y的对抗攻击成功的概率降低，从而可以降低成功概率Psucc。
当成功概率Psucc小于ε时，更新后的第六超参数η减小。结合上述步骤204的描述可知，下次更新该初始图像y时，更新后的初始图像y与目标图像x之间的差异D(x,y)的减小幅度将减小，更新后的初始图像y的对抗攻击成功的概率提高，从而可以提高该成功概率Psucc。
通过上述方式对第六超参数η进行更新，可以使得对抗攻击的成功概率始终保持在ε附近。由此即保证了更新初始图像时的灵活性，又保证了对抗攻击的效率，即对抗图像的生成效率。
终端在完成对该协方差矩阵中的元素值和第六超参数η的更新后，可以继续执行上述步骤202，也即是，可以基于更新后的对抗扰动量，以及第六超参数η继续对上一次更新后的初始图像进行更新，直至得到满足对抗要求的对抗图像。
需要说明的是，本发明实施例提供的对抗图像的生成方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤211可以根据情况进行删除；或者步骤211可以与步骤210或步骤207同时执行，或者可以在步骤210或步骤207之前执行；又或者，步骤210和步骤211还可以在步骤208之前执行。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供了一种对抗图像的生成方法，该方法在基于对抗扰动量对初始图像进行更新，以生成对抗图像过程中，可以根据图像处理模型对更新后的初始图像的处理结果，对该对抗扰动量进行更新。因此可以确保基于更新后的对抗扰动量对初始图像进行更新时，图像处理模型对更新后的初始图像的处理结果满足约束条件的概率更高，即更新后的初始图像的对抗攻击成功的概率更高，从而有效提高了对抗图像的生成效率。
下面以图像处理模型为部署在服务器中的物体识别模型为例，并以对抗攻击为目标攻击为例，对本发明实施例提供的对抗图像的生成方法进行介绍。参考图4，该对抗图像的生成方法可以包括：
步骤301、获取初始图像。
假设对物体识别模型进行目标攻击时的目标类别为第t类，则终端获取到的该初始图像y可以为被物体识别模型识别为第t类的目标图像x。
步骤302、获取物体识别模型输出的前k个后验概率。
终端可以调用该服务器的应用程序编程接口(Application ProgrammingInterface，API)，将该初始图像输入至物体识别模型，并获取该物体识别模型输出的多个概率中排序靠前的前k个后验概率P(k|y)。
步骤303、检测后验概率P(t|y)是否为最大后验概率。
若该获取到的前k个后验概率中，物体识别模型将该初始图像y识别为第t类的后验概率P(t|y)不为最大后验概率，则终端可以确定对抗攻击失败，并可以执行步骤304；若该后验概率P(t|y)为最大后验概率，则终端可以确定对抗攻击成功，并可以执行步骤305。
步骤304、采用第一更新方式更新该初始图像。执行步骤302。
该第一更新方式可以包括上述实施例中步骤207、步骤211以及步骤202至步骤204所示的方法，此处不再赘述。终端更新完成该初始图像后，可以继续执行步骤302。
步骤305、检测D(x,y)是否收敛。
若终端检测到后验概率P(t|y)为最大后验概率，则可以继续检测D(x,y)是否收敛。若D(x,y)收敛，终端可以执行步骤306；若D(x,y)不收敛，则终端可以执行步骤307。
步骤306、将该初始图像确定为对抗图像。
若D(x,y)收敛，终端可以确定该初始图像满足目标攻击的要求，进而可以将其确定为对抗图像。
步骤307、采用第二更新方式更新该初始图像。执行步骤302。
若D(x,y)不收敛，终端可以采用第二更新方式继续对该初始图像进行更新。该第二更新方式可以包括上述实施例中步骤210、步骤211以及步骤202至步骤204所示的方法，此处不再赘述。之后，终端可以继续执行步骤302，直至得到对抗图像。
本发明实施例提供的对抗图像的生成方法，可以在不获取被攻击的图像处理模型的结构和参数的情况下，快速地实现对该图像处理模型的对抗攻击。该方法不依赖于待攻击的模型的结构，可以检测被攻击的模型的漏洞，从而改善模型的安全性，增强模型在AI领域的性能优势。并且，本发明实施例提供的方法充分利用了模型返回的处理结果和以往搜索信息来更新对抗扰动量的概率分布函数，从而更好地引导新的搜索点，可以提高攻击效率
本发明实施例还提供了一种对抗图像的生成装置，该装置可以是图1所示实施环境中的终端01，也可以设置在终端01上。如图5所示，该装置可以包括：
第一更新模块401，用于将对抗扰动量与初始图像叠加，以更新该初始图像。
获取模块402，用于获取图像处理模型对更新后的该初始图像的处理结果。
确定模块403，用于若该处理结果满足对抗攻击的约束条件，且更新后的该初始图像与目标图像之间的差异收敛，将更新后的该初始图像确定为对抗图像。
第二更新模块404，用于若该处理结果不满足对抗攻击的约束条件，或者若该处理结果满足对抗攻击的约束条件，且更新后的该初始图像与目标图像之间的差异不收敛，则根据该处理结果更新该对抗扰动量，并继续执行更新该初始图像和获取处理结果的操作。
可选的，该第二更新模块404可以用于：
根据该处理结果与前次处理结果的差值更新该对抗扰动量，其中，该前次处理结果为该图像处理模型对上一次更新后的该初始图像的处理结果。
可选的，该对抗扰动量为服从目标概率分布的N维随机变量，该N为该初始图像包括的像素个数。如图6所示，该第二更新模块404可以包括：
第一更新子模块4041，用于若该处理结果不满足对抗攻击的约束条件，根据该处理结果与前次处理结果的差值，减小该目标概率分布的协方差矩阵中对角线元素的元素值。
第二更新子模块4042，用于若该处理结果满足对抗攻击的约束条件，且更新后的该初始图像与目标图像之间的差异不收敛，根据该处理结果与前次处理结果的差值，增大该目标概率分布的协方差矩阵中对角线元素的元素值。
可选的，该目标概率分布为均值为0，标准差为δ2C的高斯分布，δ为大于0且小于1的第一超参数，C为该协方差矩阵；
该第一更新子模块4041，可以用于：根据该处理结果与前次处理结果的差值ΔP，减小该协方差矩阵中每个对角线元素的元素值，减小后的第i个对角线元素的元素值Cii满足：
其中，c-为大于0且小于1的第二超参数，zi为该对抗扰动量中的第i个元素，i为不大于N的正整数。
该第二更新子模块4042，可以用于：更新叠加扰动量s，更新后的叠加扰动量s满足：
其中，该叠加扰动量s的初始值为初始的该对抗扰动量，c0为大于0且小于1的第三超参数，m为大于1的第四超参数；
根据更新后的叠加扰动量s，以及该处理结果与前次处理结果的差值ΔP，增大该协方差矩阵中每个对角线元素的元素值，增大后的第i个对角线元素的元素值Cii满足：
其中，c+为大于0且小于1的第五超参数，si为该叠加扰动量s中的第i个元素，i为不大于N的正整数。
可选的，该第一更新模块401可以用于：
将对抗扰动量与该初始图像叠加，得到叠加量；调整该叠加量，以更新该初始图像；
其中，调整后的该叠加量与该目标图像之间的差异，为该初始图像与该目标图像之间的差异的η倍，η为大于0且小于1的第六超参数。
可选的，该第二更新模块404还可以用于：
若该处理结果满足对抗攻击的约束条件，且更新后的该初始图像与目标图像之间的差异不收敛，或者若该处理结果不满足对抗攻击的约束条件，根据对抗攻击的成功概率更新该第六超参数η；
其中，该第六超参数η的更新幅度与该成功概率正相关，该成功概率为该图像处理模型对更新后的该初始图像的总处理次数中，处理结果满足该约束条件的次数的占比。
综上所述，本发明实施例提供了一种对抗图像的生成装置，该装置在基于对抗扰动量对初始图像进行更新，以生成对抗图像过程中，可以根据图像处理模型对更新后的初始图像的处理结果，对该对抗扰动量进行更新。因此可以确保基于更新后的对抗扰动量对初始图像进行更新时，图像处理模型对更新后的初始图像的处理结果满足约束条件的概率更高，即更新后的初始图像的对抗攻击成功的概率更高，从而有效提高了对抗图像的生成效率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7示出了本发明一个示例性实施例提供的终端700的结构框图。该终端700可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的对抗图像的生成方法。
在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种对抗图像的生成方法，其特征在于，所述方法包括：
将对抗扰动量与初始图像叠加，以更新所述初始图像；
获取图像处理模型对更新后的所述初始图像的处理结果；
若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异收敛，则将更新后的所述初始图像确定为对抗图像；
若所述处理结果不满足对抗攻击的约束条件，或者若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，则根据所述处理结果更新所述对抗扰动量，并继续执行更新所述初始图像和获取处理结果的操作。
2.根据权利要求1所述的方法，其特征在于，所述根据所述处理结果更新所述对抗扰动量，包括：
根据所述处理结果与前次处理结果的差值更新所述对抗扰动量；
其中，所述前次处理结果为所述图像处理模型对上一次更新后的所述初始图像的处理结果。
3.根据权利要求2所述的方法，其特征在于，所述对抗扰动量为服从目标概率分布的N维随机变量，所述N为所述初始图像包括的像素个数，且所述N为大于1的整数；
若所述处理结果不满足对抗攻击的约束条件，所述根据所述处理结果与前次处理结果的差值更新所述对抗扰动量，包括：
根据所述处理结果与前次处理结果的差值，减小所述目标概率分布的协方差矩阵中对角线元素的元素值，所述元素值的减小幅度与所述差值负相关；
若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，所述根据所述处理结果与前次处理结果的差值更新所述对抗扰动量，包括：
根据所述处理结果与前次处理结果的差值，增大所述目标概率分布的协方差矩阵中对角线元素的元素值，所述元素值的增大幅度与所述差值正相关。
4.根据权利要求3所述的方法，其特征在于，所述目标概率分布为均值为0，标准差为δ2C的高斯分布，δ为大于0且小于1的第一超参数，C为所述协方差矩阵；
所述根据所述处理结果与前次处理结果的差值，减小所述目标概率分布的协方差矩阵中对角线元素的元素值，包括：
根据所述处理结果与前次处理结果的差值ΔP，减小所述协方差矩阵中每个对角线元素的元素值，减小后的第i个对角线元素的元素值Cii满足：
其中，c-为大于0且小于1的第二超参数，zi为所述对抗扰动量中的第i个元素，i为不大于N的正整数。
5.根据权利要求3所述的方法，其特征在于，所述目标概率分布为均值为0，标准差为δ2C的高斯分布，δ为大于0且小于1的第一超参数，C为所述协方差矩阵；
所述根据所述处理结果与前次处理结果的差值，增大所述目标概率分布的协方差矩阵中对角线元素的元素值，包括：
更新叠加扰动量s，更新后的叠加扰动量s满足：
其中，所述叠加扰动量s的初始值为初始的所述对抗扰动量，c0为大于0且小于1的第三超参数，m为大于1的第四超参数；
根据更新后的叠加扰动量s，以及所述处理结果与前次处理结果的差值ΔP，增大所述协方差矩阵中每个对角线元素的元素值，增大后的第i个对角线元素的元素值Cii满足：
其中，c+为大于0且小于1的第五超参数，si为所述叠加扰动量s中的第i个元素，i为不大于N的正整数。
6.根据权利要求1至5任一所述的方法，其特征在于，所述将对抗扰动量与初始图像叠加，以更新所述初始图像，包括：
将对抗扰动量与所述初始图像叠加，得到叠加量；
调整所述叠加量，以更新所述初始图像；
其中，调整后的所述叠加量与所述目标图像之间的差异，为所述初始图像与所述目标图像之间的差异的η倍，η为大于0且小于1的第六超参数。
7.根据权利要求6所述的方法，其特征在于，若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，或者若所述处理结果不满足对抗攻击的约束条件，所述方法还包括：
根据对抗攻击的成功概率更新所述第六超参数η，所述第六超参数η的更新幅度与所述成功概率正相关，所述成功概率为所述图像处理模型对更新后的所述初始图像的总处理次数中，处理结果满足所述约束条件的次数的占比。
8.一种对抗图像的生成装置，其特征在于，所述装置包括：
第一更新模块，用于将对抗扰动量与初始图像叠加，以更新所述初始图像；
获取模块，用于获取图像处理模型对更新后的所述初始图像的处理结果；
确定模块，用于若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异收敛，则将更新后的所述初始图像确定为对抗图像；
第二更新模块，用于若所述处理结果不满足对抗攻击的约束条件，或者若所述处理结果满足对抗攻击的约束条件，且更新后的所述初始图像与目标图像之间的差异不收敛，则根据所述处理结果更新所述对抗扰动量，并继续执行更新所述初始图像和获取处理结果的操作。
9.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的对抗图像的生成方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的对抗图像的生成方法。
CN201910502774.7A 2019-06-11 2019-06-11 对抗图像的生成方法、装置、终端及存储介质 Active CN110210573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502774.7A CN110210573B (zh) 2019-06-11 2019-06-11 对抗图像的生成方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502774.7A CN110210573B (zh) 2019-06-11 2019-06-11 对抗图像的生成方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110210573A true CN110210573A (zh) 2019-09-06
CN110210573B CN110210573B (zh) 2023-01-06

Family

ID=67791991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502774.7A Active CN110210573B (zh) 2019-06-11 2019-06-11 对抗图像的生成方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110210573B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN111340214A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
CN111767786A (zh) * 2020-05-11 2020-10-13 北京航空航天大学 基于三维动态交互场景的对抗攻击方法和装置
CN112333402A (zh) * 2020-10-20 2021-02-05 浙江大学 一种基于声波的图像对抗样本生成方法及系统
CN112418332A (zh) * 2020-11-26 2021-02-26 北京市商汤科技开发有限公司 一种图像处理的方法及装置、图像生成的方法及装置
CN112633306A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN113283377A (zh) * 2021-06-10 2021-08-20 重庆师范大学 一种人脸隐私保护方法、系统、介质及电子终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316281A1 (en) * 2016-04-28 2017-11-02 Microsoft Technology Licensing, Llc Neural network image classifier
CN108615048A (zh) * 2018-04-04 2018-10-02 浙江工业大学 基于扰动进化对图像分类器对抗性攻击的防御方法
CN109036389A (zh) * 2018-08-28 2018-12-18 出门问问信息科技有限公司 一种对抗样本的生成方法及装置
CN109492582A (zh) * 2018-11-09 2019-03-19 杭州安恒信息技术股份有限公司 一种基于算法对抗性攻击的图像识别攻击方法
CN109599109A (zh) * 2018-12-26 2019-04-09 浙江大学 针对白盒场景的对抗音频生成方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316281A1 (en) * 2016-04-28 2017-11-02 Microsoft Technology Licensing, Llc Neural network image classifier
CN108615048A (zh) * 2018-04-04 2018-10-02 浙江工业大学 基于扰动进化对图像分类器对抗性攻击的防御方法
CN109036389A (zh) * 2018-08-28 2018-12-18 出门问问信息科技有限公司 一种对抗样本的生成方法及装置
CN109492582A (zh) * 2018-11-09 2019-03-19 杭州安恒信息技术股份有限公司 一种基于算法对抗性攻击的图像识别攻击方法
CN109599109A (zh) * 2018-12-26 2019-04-09 浙江大学 针对白盒场景的对抗音频生成方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SEYED-MOHSEN MOOSAVI-DEZFOOLI 等: "DeepFool: a simple and accurate method to fool deep neural networks", 《ARXIV》 *
SEYED-MOHSEN MOOSAVI-DEZFOOLI 等: "Universal adversarial perturbations", 《ARXIV》 *
易平 等: "人工智能对抗攻击研究综述", 《上海交通大学学报》 *
马玉琨 等: "一种面向人脸活体检测的对抗样本生成算法", 《软件学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633306A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN112633306B (zh) * 2019-09-24 2023-09-22 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN110705652B (zh) * 2019-10-17 2020-10-23 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN111340214B (zh) * 2020-02-21 2021-06-08 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
WO2021164334A1 (zh) * 2020-02-21 2021-08-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置、对抗图像的产生方法及装置、电子设备及存储介质
CN111340214A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
CN111767786A (zh) * 2020-05-11 2020-10-13 北京航空航天大学 基于三维动态交互场景的对抗攻击方法和装置
CN111767786B (zh) * 2020-05-11 2023-01-24 北京航空航天大学 基于三维动态交互场景的对抗攻击方法和装置
CN112333402A (zh) * 2020-10-20 2021-02-05 浙江大学 一种基于声波的图像对抗样本生成方法及系统
CN112418332A (zh) * 2020-11-26 2021-02-26 北京市商汤科技开发有限公司 一种图像处理的方法及装置、图像生成的方法及装置
CN112418332B (zh) * 2020-11-26 2022-09-23 北京市商汤科技开发有限公司 一种图像处理的方法及装置、图像生成的方法及装置
CN113283377A (zh) * 2021-06-10 2021-08-20 重庆师范大学 一种人脸隐私保护方法、系统、介质及电子终端

Also Published As

Publication number Publication date
CN110210573B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN110210573A (zh) 对抗图像的生成方法、装置、终端及存储介质
US11517099B2 (en) Method for processing images, electronic device, and storage medium
US20210337138A1 (en) Method and apparatus for controlling a plurality of virtual characters, device, and storage medium
CN110148178B (zh) 相机定位方法、装置、终端及存储介质
US20230277937A1 (en) Enabling of assist function
CN108619721A (zh) 虚拟场景中的距离信息显示方法、装置及计算机设备
CN109284445B (zh) 网络资源的推荐方法、装置、服务器及存储介质
US11574009B2 (en) Method, apparatus and computer device for searching audio, and storage medium
KR102602074B1 (ko) 가상 환경에서 가상 물체를 관찰하는 방법 및 디바이스, 및 판독 가능한 저장 매체
CN109712224A (zh) 虚拟场景的渲染方法、装置及智能设备
CN109558837B (zh) 人脸关键点检测方法、装置及存储介质
CN110222789A (zh) 图像识别方法及存储介质
CN110288332A (zh) 银行卡绑定的系统、方法、装置、设备及存储介质
CN110147852A (zh) 图像识别的方法、装置、设备及存储介质
CN110368689A (zh) 游戏界面的显示方法、系统、电子设备及存储介质
CN109522863A (zh) 耳部关键点检测方法、装置及存储介质
CN109917910A (zh) 线型技能的显示方法、装置、设备及存储介质
CN108363982A (zh) 确定对象数量的方法及装置
CN108536295A (zh) 虚拟场景中的对象控制方法、装置及计算机设备
CN109166150A (zh) 获取位姿的方法、装置存储介质
CN109886208A (zh) 物体检测的方法、装置、计算机设备及存储介质
CN111144365A (zh) 活体检测方法、装置、计算机设备及存储介质
CN109992685A (zh) 一种检索图片的方法及装置
CN110275655A (zh) 歌词显示方法、装置、设备及存储介质
CN114130023A (zh) 虚拟对象的切换方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant