CN110245598A - 对抗样本生成方法、装置、介质和计算设备 - Google Patents

对抗样本生成方法、装置、介质和计算设备 Download PDF

Info

Publication number
CN110245598A
CN110245598A CN201910491156.7A CN201910491156A CN110245598A CN 110245598 A CN110245598 A CN 110245598A CN 201910491156 A CN201910491156 A CN 201910491156A CN 110245598 A CN110245598 A CN 110245598A
Authority
CN
China
Prior art keywords
image
sample
resisting
whitepack
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910491156.7A
Other languages
English (en)
Other versions
CN110245598B (zh
Inventor
萧子豪
董胤蓬
杨定澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN201910491156.7A priority Critical patent/CN110245598B/zh
Publication of CN110245598A publication Critical patent/CN110245598A/zh
Application granted granted Critical
Publication of CN110245598B publication Critical patent/CN110245598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了对抗样本生成的方法，包括：获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；将所述第一样本图像叠加所述干扰图像，生成对抗样本。本发明利用白盒替代模型生成对抗样本，可以提升攻击效率，快速检测图像识别模型是否存在潜在漏洞，提高图像识别模型的评估，提升图像识别模型的安全性。此外，本发明的实施方式提供了一种对抗样本生成装置、介质和计算设备。

Description

对抗样本生成方法、装置、介质和计算设备
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及对抗样本生成方法、装置、介质和计算设备。
背景技术
图像识别作为计算机视觉中的一个重要的任务，由于深度神经网络的带动，也取得了巨大的发展。并且图像识别系统在金融/支付，公共交通以及罪犯识别等现实场景中有很多的应用。虽然图像识别系统取得了很大的成功与实际应用，但是这些系统还无法完全确保具备足够的安全性。
近几年来，深度学习在图像、语音和自然语言等领域取得突破性成果。但是，对于一些可以达到很高准确识别率的深度神经网络模型，在对抗环境中却也很容易受到攻击。在对抗环境中，深度神经网络模型会被输入一些基于正常样本恶意构造的对抗样本(例如，图片或者语音信息)，在对抗样本的攻击下，深度神经网络模型会做出错误的预测。因此，采用对抗样本对深度神经网络进行攻击可以检测出深度神经网络模型潜在的漏洞，继而用于评估和提升深度神经网络模型的安全性。
目前，市面上大部分图像识别系统都是黑盒封装、只提供摄像头输入的一体化设备，无法知悉具体的模型结构和参数，这类系统的安全性难以验证。
发明内容
有鉴于此，本发明的目的在于提供一种对抗样本生成方法，能够针对无法知悉具体的模型结构和参数的黑盒模型生成有效的对抗样本，所述方法包括：
获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；
基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
将所述第一样本图像叠加所述干扰图像，生成对抗样本。
本发明还提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行前述任一对抗样本生成方法。
本发明还提供一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行前述任一对抗样本生成方法。
本发明实施例提供了一种对抗样本生成方法、装置、介质和计算设备，针对图像识别模型，利用白盒替代模型可以提升攻击效率，从而快速检测图像识别模型是否存在潜在漏洞，可以提高图像识别模型的评估，提升图像识别模型的安全性，此外，本发明针对不同的攻击方式，可以普遍使用。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的本发明的人脸识别模型的攻击流程的场景示意图；
图2为本发明实施例提供的一种对抗样本生成方法的流程示意图；
图3为本发明实施例在LFW(Labeled Faces in the Wild)户外脸部检测数据集上对人脸验证进行全脸噪声数字世界伪装攻击的示意图；
图4为本发明实施例在LFW数据集上对人脸验证进行眼镜噪声数字世界伪装攻击的示意图；
图5为本发明实施例在志愿者身上对人脸验证进行物理世界伪装攻击的结果；
图6为本发明实施例在LFW数据集上对人脸验证进行数字世界伪装攻击的攻击成功率；
图7为本发明实施例在LFW数据集上对人脸验证进行物理世界伪装攻击的损坏率。
图8为本发明实施例提供的一种对抗样本生成装置的模块示意图
图9为本发明实施例提供的一种计算机可读存储介质的示意图；
图10为本发明实施例提供的一种计算设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中，需要理解的是，所涉及的术语
LFW(Labeled Faces in the Wild)表示户外脸部检测数据集；
白盒模型是指攻击者能够操控和获取模型的全部信息；
黑盒模型是指攻击者只能操纵模型的输入和获取模型的输出；
Global Perturbations表示全局扰动图像；
Target Identity表示识别目标，也即受害样本的图像；
Real Image表示真实图片，也即攻击样本的图像；
Perturbation表示扰动图像；
Adv.Image表示对抗样本；
Success rate表示攻击成功率；
Local Perturbations表示局部扰动；
Destruction rate表示损坏率。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
本发明所提供的对抗样本生成方法，能够在不获取目标图像识别模型的内部结构以及参数的基础上，利用白盒替代模型，通过随机采样图像变换和基于动量的迭代优化方法进行优化，得到约束于图像某个位置的对抗噪声，基于该对抗噪声对目标图像识别模型进行攻击检测，以评估目标图像识别模型的安全性。
本发明所提供的对抗样本生成方法能够针对各种目标对象的图像识别模型生成对抗样本(例如人脸、动植物和车辆等等)，在本发明的一个实施方式中，以人脸识别模型为例进行说明。图1为本发明实施例提供的本发明的人脸识别模型的攻击流程的场景示意图。如图1所示，可以将该攻击流程分为数字世界和物理世界，数字世界即生成对抗噪声的过程，物理世界即攻击样本佩戴制作出的对抗噪声后，基于佩戴有对抗噪声的图像对目标人脸识别模型进行攻击的过程。
如图1中所示，在数字世界中，首先可以通过采样人脸姿态、光照等变换(模拟不同的拍摄条件)对攻击样本的人脸图像进行人脸变换，将人脸变换后的图像传输至白盒替代模型，以通过动量迭代式优化器求解白盒替代模型的目标函数，从而生成攻击样本的人脸图像的特定区域的干扰图像，即图中所示的数字世界对抗噪声。进一步地，将所述对抗噪声制作出来，攻击者(攻击样本)佩戴上制作出的对抗噪声。再通过图像采集设备采集此时攻击者的人脸图像(该人脸图像包含有对抗噪声)，基于该人脸图像攻击目标人脸识别模型(即图中所示的黑盒受害模型)，示例性地，将攻击者的人脸图像和受害者的图像一起输入该目标人脸识别模型，该目标人脸识别模型将该攻击者与受害者判断为来自相同个体(或者相同样本)。
为了能够清楚地描述本发明实施例，使得本领域技术人员能够准确、清楚地理解本发明的技术方案，下面结合一些开源的人脸识别模型作为研究对象进行描述。
在本发明实施例中，以人脸识别模型为例进行对抗样本生成。首先选取3个开源的模型作为研究对象，示例性地，分别以Facenet，CosFace和ArcFace为例。这些模型在人脸识别领域最常用的数据集LFW上取得了当前最好的性能。另外，选取某商业公司在网上开放的人脸验证API作为研究对象，该商业公司在市面上推出了大量的人脸验证产品。本实施选取LFW数据集中1000对人脸图片作为研究对象，衡量所提攻击方法的攻击效率，进而说明其攻击性能。
下面参考图2来描述根据本发明示例性实施方式的对抗样本生成方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
在本实施方式中，所述方法包括：
步骤210，获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；
示例地，首先获取来自攻击对象的图像。其中，图像可以是人脸图像(例如图1中的攻击者的图像)，动物图像、车辆图像或者其他物体的图像，所述图像均可以是通过图像采集装置(例如，摄像头)实时采集的，也可以来自图像数据库。
步骤220，基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像(对抗噪声)；
其中，预设的白盒替代模型可以是已知的任一开源模型，例如，针对于人脸识别，所述预设的白盒替代模型可以是Facenet、CosFace和ArcFace三个开源的模型中的任意一个，因此，在本发明中，能够获取这些模型的全部信息(内部结构和参数)，例如，能够获取白盒替代模型的人脸相似度函数，进而构建目标函数并进行求解得到对抗样本。在本实施方式中，所述第一样本图像为人脸图像，此时，所述特定区域可以包括人脸局部区域或人脸全部区域。
在本实施方式中，所述对抗样本满足：
与第一样本图像在无穷范数下的距离不大于扰动值∈；
在特定区域外的图像与第一样本图像特定区域外的图像一致。
可以理解的是，所述对抗样本输入所述图像识别模型后，能够使所述图像识别模型得到错误的识别结果。
在本实施方式的一个实施例中，将求解所述目标函数的约束优化问题进行形式化归纳，具体的，求解所述预设的白盒替代模型的目标函数为：
s.t.|xadv-xsrc|∞≤∈
xadv⊙(1-M)＝xsrc⊙(1-M)
其中，E为数学期望，为图像变换的集合，T为任一图像变换，表示T服从概率分布L为所述预设的白盒替代模型中基于第一样本图像和对抗样本得到的识别对象的相似度函数，xsrc为所述第一样本图像，xadv为所述对抗样本，|·|∞是无穷范数，∈是最大可能的扰动值，M是一个二值矩阵用于约束扰动的区域，⊙是向量逐元素乘积。
需要说明的是，M可以被定义为脸部装饰品(如覆盖脸部部分区域的眼镜或覆盖脸部全部区域的面具)的形状，以便得到对抗样本后，方便的制作对抗噪声。
表示随机变量L在概率分布下的数学期望，s.t.|xadv-xsrc|∞≤∈以及xadv⊙(1-M)＝xsrc⊙(1-M)分别表示对抗样本满足与第一样本图像在无穷范数下的距离不大于扰动值∈；以及在特定区域外的图像与第一样本图像特定区域外的图像一致。
需要说明的是，在本实施方式中，以图像变换指代拍摄条件(此处的拍摄条件不仅仅是指拍摄时拍摄场景和拍摄设备等的变化，例如光影变化，还指拍摄对象的一些变化，比如拍摄对象为人脸时，还包括表情变化等)，具体的，图像变换T至少可以包括投影变换、图像旋转、光照变换、图像放缩、加高斯噪声。在另一些实施例中，当所述识别对象为人脸时，所述图像变换还包括人脸表情变换、人脸头部方向变换中的至少一种。
可以理解的是，针对于图像识别模型的攻击有很多种不同的目标，比如伪装攻击、闪避攻击等，针对于不同的攻击形式，识别对象的相似度函数也不尽相同，具体的，针对于闪避攻击，即所述图像的识别模型基于对抗样本得到的错误的识别结果包括从所述对抗样本中识别出的对象不是攻击对象，所述识别对象的相似度函数为：
其中，为所述攻击对象的图像集，f为所述预设的白盒替代模型的输出表示，·为向量点乘，|·|2表示L2范数。
而针对于伪装攻击，即所述图像的识别模型基于对抗样本得到的错误的识别结果包括从所述对抗样本中识别出的对象为受害对象，此时不仅仅需要攻击对象的图像，还需要受害对象的图像，所述方法还包括：
获取第二样本图像，其中，所述第二样本图像为受害对象的图像；
然后基于所述第一样本图像和第二样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
此时，针对于伪装攻击，所述识别对象的相似度函数为：
其中，是所述受害对象的图像集，·是向量点乘，|·|2表示L2范数，f为所述预设的白盒替代模型的输出表示。
接下来，将识别对象的相似函数带入目标函数公式，随机采样图像变换并基于动量的迭代方法对上述目标函数进行求解，具体的，求解过程可以包括如下步骤：首先，从所述图像变换的集合中获取任一图像变换；然后，对所述预设的白盒替代模型进行梯度计算，以得到所述识别对象的相似度函数的梯度；最后，基于所述梯度更新所述动量和图像，以得到所述对抗样本。
考虑到，图像变换的情况多种多样，无法遍历所有的图像变换(即无法将所有的图像变化都采样)，在本实施方式的一个实施例中，采用基于蒙特卡洛的方法对图像变换进行采样。
具体的，更新动量和图像，可以通过如下公式实现：
x＝proj(x+M⊙α·sign(g))
其中，g表示动量，μ表示动量的衰减速度(取值范围是[0,1])，表示所述识别对象的相似度函数的梯度，|·|1是L1范数，x为表示图像的变量，proj表示将变量投影回约束范围内，α(正数)表示梯度下降的步长，sign是符号函数。
具体的，本实施例中，首先通过所述第一样本图像(攻击对象的图像)xsrc对所述表示图像的变量x进行初始化，然后基于上述步骤对动量g和图像x进行迭代更新，最终得到的图像即为对抗样本(x＝xadv)，在不断的迭代过程后，得到所述对抗样本(干扰图像/对抗噪声也在过程中不断迭代)，此时，容易得到所述干扰图像(对抗噪声)。
接下来，执行步骤230，将所述第一样本图像叠加所述干扰图像，生成对抗样本。
示例性的，可以将所述干扰图像制作成实体样本(例如可以将所述干扰图像打印成实体样本)，然后采集佩戴所述实体样本的所述攻击对象的图像，以得到叠加干扰图像的所述对抗样本。
可以理解的是，上文中所述的打印可以是将所述干扰图像打印到类似于纸张的平面媒介上的特定区域(形状)，也可以是3D打印为相应的事物(如面具或眼镜)。
本发明实施例提供了一种对抗样本生成方法，针对黑盒图像识别模型，利用白盒替代模型生成对抗样本，可以提升攻击效率，从而快速检测图像识别模型是否存在潜在漏洞，可以提高图像识别模型的评估，提升图像识别模型的安全性，此外，本发明针对不同的攻击方式，可以普遍使用。
例如，将某商业公司的图像识别API作为目标图像识别模型，该模型只能操纵模型的输入和输出。将包含有对抗噪声的第一样本图像和第二样本图像输入该API，该API模型能够判断这两张图片是否来自于同一个个体。在本实施例中，可以对该API模型进行伪装攻击，将给定的包含有对抗噪声的第一样本图像错误地识别为受害样本，从而实现对该API的攻击入侵。或者，使用该API进行图像验证，通过本发明实施例的伪装攻击，指定包含有对抗噪声的第一样本图像和第二样本图像，使得该API将其错分为同一个体。
为了能够更清楚地理解本发明实施例，下面结合图3-图5进一步举例描述。
图3中左侧第一列为受害样本的人脸图像，第二列为攻击样本的人脸图像，经过如前述实施例中对抗样本的生成方法，生成了第三列中的扰动图像(对抗噪声，该对抗噪声为脸部全局的对抗噪声)，将该对抗噪声附着在攻击样本的人脸上生成如第四列的人脸图像，以第四列的人脸图对前述API进行伪装攻击，使得API将第四列的人脸图像和第一列的同行的人脸图像判断为同一个体。
图4中所示实施例与图3不同的是，该对抗噪声为眼镜(或者眼镜部位)的对抗噪声，其只附着在攻击样本的眼部区域，而使得API将第四列的人脸图像和第一列的同行的人脸图像判断为同一个体。
图5中所示实施例与前述图3和图4所示实施例原理和结果相同，在此不再赘述。
图6为本发明实施例在LFW数据集上对人脸验证进行数字世界伪装攻击的攻击成功率；图7为本发明实施例在LFW数据集上对人脸验证进行物理世界伪装攻击的损坏率(其中Attack栏目下的内容为几种不同的攻击方法)。
下面将结合附图对本发明提供的装置进行说明。图8为本发明实施例提供的一种对抗样本生成装置的结构示意图，所述装置包括：
第一获取模块810，被配置为获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；
干扰图像生成模块820，被配置为基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
对抗样本生成模块830，被配置为将所述第一样本图像叠加所述干扰图像，生成对抗样本。
在本发明的一个实施例中，所述对抗样本满足：
与第一样本图像在l∞无穷范数下的距离不大于扰动值∈；
在特定区域外的图像与第一样本图像特定区域外的图像一致。
在本发明的有一个实施例中，所述对抗样本输入所述图像识别模型后，能够使所述图像识别模型得到错误的识别结果。
在本发明的再一个实施例中，求解所述预设的白盒替代模型的目标函数为：
s.t.|xadv-xsrc|∞≤∈
xadv⊙(1-M)＝xsrc⊙(1-M)
其中，E为数学期望，为图像变换的集合，T为任一图像变换，表示T服从概率分布L为所述预设的白盒替代模型中基于第一样本图像和对抗样本得到的识别对象的相似度函数，xsrc为所述第一样本图像，xadv为所述对抗样本，|·|∞是无穷范数，∈是最大可能的扰动值，M是一个二值矩阵用于约束扰动的区域，⊙是向量逐元素乘积。
在本发明的另一个实施例中，表示随机变量L在概率分布下的数学期望，s.t.|xadv-xsrc|∞≤∈以及xadv⊙(1-M)＝xsrc⊙(1-M)分别表示对抗样本满足与第一样本图像在无穷范数下的距离不大于扰动值∈；以及在特定区域外的图像与第一样本图像特定区域外的图像一致。
在本发明的另一个实施例中，错误的识别结果包括从所述对抗样本中识别出的对象不是攻击对象。
在本发明的另一个实施例中，所述识别对象的相似度函数为：
其中，为所述攻击对象的图像集，f为所述预设的白盒替代模型的输出表示，·为向量点乘，|·|2表示L2范数。
在本发明的另一个实施例中，所述装置还包括：
第二获取模块，被配置为获取第二样本图像，其中，所述第二样本图像为受害对象的图像；
所述干扰图像生成模块820，还被配置为基于所述第一样本图像和第二样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像。
在本发明的另一个实施例中，错误的识别结果包括从所述对抗样本中识别出的对象为受害对象。
在本发明的另一个实施例中，所述识别对象的相似度函数为：
其中，是所述受害对象的图像集，·是向量点乘，|·|2表示L2范数，f为所述预设的白盒替代模型的输出表示。
在本发明的另一个实施例中，所述干扰图像生成模块820还包括：
计算子模块，被配置为采用基于蒙特卡洛和基于动量的迭代方法对所述预设的白盒替代模型的目标函数进行求解。
在本发明的另一个实施例中，所述图像变换至少包括投影变换、图像旋转、光照变换、图像放缩和加高斯噪声中的一种。
在本发明的另一个实施例中，当所述识别对象为人脸时，所述图像变换还包括人脸表情变换和人脸头部方向变换中的至少一种。
在本发明的另一个实施例中，所述计算子模块包括：
图像变换获取单元，被配置为从所述图像变换的集合中获取任一图像变换；
梯度计算单元，被配置为对所述预设的白盒替代模型进行梯度计算，以得到所述识别对象的相似度函数的梯度；
更新单元，被配置为基于所述梯度更新动量和图像，以得到所述对抗样本。
在本发明的另一个实施例中，通过如下公式更新所述动量和图像：
x＝proj(x+M⊙α·sign(g))
其中，g表示动量，μ表示动量的衰减速度，表示所述识别对象的相似度函数的梯度，|·|1是L1范数，x为表示图像的变量，proj表示将变量投影回约束范围内，α表示梯度下降的步长，sign是符号函数。
在本发明的另一个实施例中，所述μ的取值范围是[0,1]。
在本发明的另一个实施例中，所述α为正数。
在本发明的另一个实施例中，所述装置还包括：
实体样本制作模块，被配置为样本将所述干扰图像制作成实体样本。
在本发明的另一个实施例中，所述对抗样本生成模块830还被配置为采集佩戴所述实体样本的所述攻击对象的图像，以得到叠加干扰图像的所述对抗样本。
在本发明的另一个实施例中，所述第一样本图像为人脸图像时，所述特定区域包括人脸局部区域或人脸全部区域。
本发明实施例提供的对抗样本生成装置，与上述实施例提供的对抗样本生成方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供一种计算设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的对抗样本生成方法的步骤。
图9示出了适于用来实现本发明实施方式的示例性计算设备90的框图，该计算设备90可以是计算机系统或服务器。图9显示的计算设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元901，系统存储器902，连接不同系统组件(包括系统存储器902和处理单元901)的总线903。
计算设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器902可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)9021和/或高速缓存存储器9022。计算设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM9023可以用于读写不可移动的、非易失性磁介质(图9中未显示，通常称为“硬盘驱动器”)。尽管未在图9中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线903相连。系统存储器902中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块9024的程序/实用工具9025，可以存储在例如系统存储器902中，且这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备90也可以与一个或多个外部设备904(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且，计算设备90还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器906通过总线903与计算设备90的其它模块(如处理单元901等)通信。应当明白，尽管图9中未示出，可以结合计算设备90使用其它硬件和/或软件模块。
处理单元901通过运行存储在系统存储器902中的程序，从而执行各种功能应用以及数据处理，例如，获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；将所述第一样本图像叠加所述干扰图像，生成对抗样本。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了对抗样本生成装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的对抗样本生成方法的步骤。
接下来，参考图10对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图10，其示出的计算机可读存储介质为光盘100，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；将所述第一样本图像叠加所述干扰图像，生成对抗样本；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
通过上述的描述，本发明的实施例提供了以下的方案，但不限于此：
1.一种对抗样本生成方法，其特征在于，所述方法包括：
获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；
基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
将所述第一样本图像叠加所述干扰图像，生成对抗样本。
2.根据方案1所述的方法，其特征在于，所述对抗样本满足:
与第一样本图像在l∞无穷范数下的距离不大于扰动值∈；
在特定区域外的图像与第一样本图像特定区域外的图像一致。
3.根据方案2所述的方法，其特征在于，所述对抗样本输入所述图像识别模型后，能够使所述图像识别模型得到错误的识别结果。
4.根据方案3所述的方法，其特征在于，求解所述预设的白盒替代模型的目标函数为：
s.t.|xadv-xsrc|∞≤∈
xadv⊙(1-M)＝xsrc⊙(1-M)
其中，E为数学期望，为图像变换的集合，T为任一图像变换，表示T服从概率分布L为所述预设的白盒替代模型中基于第一样本图像和对抗样本得到的识别对象的相似度函数，xsrc为所述第一样本图像，xadv为所述对抗样本，|·|∞是无穷范数，∈是最大可能的扰动值，M是一个二值矩阵用于约束扰动的区域，⊙是向量逐元素乘积。
5.根据方案4所述的方法，其特征在于，表示随机变量L在概率分布下的数学期望，s.t.|xadv-xsrc|∞≤∈以及xadv⊙(1-M)＝xsrc⊙(1-M)分别表示对抗样本满足与第一样本图像在无穷范数下的距离不大于扰动值∈；以及在特定区域外的图像与第一样本图像特定区域外的图像一致。
6.根据方案3-5任一所述的方法，其特征在于，错误的识别结果包括从所述对抗样本中识别出的对象不是攻击对象。
7.根据方案6所述的方法，其特征在于，所述识别对象的相似度函数为：
其中，为所述攻击对象的图像集，f为所述预设的白盒替代模型的输出表示，·为向量点乘，|·|2表示L2范数。
8.根据方案4或5所述的方法，其特征在于，所述方法还包括：
获取第二样本图像，其中，所述第二样本图像为受害对象的图像；
基于所述第一样本图像和第二样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
执行将所述第一样本图像叠加所述干扰图像的步骤，生成对抗样本。
9.根据方案8所述的方法，其特征在于，错误的识别结果包括从所述对抗样本中识别出的对象为受害对象。
10.根据方案9所述的方法，其特征在于，所述识别对象的相似度函数为：
其中，是所述受害对象的图像集，·是向量点乘，|·|2表示L2范数，f为所述预设的白盒替代模型的输出表示。
11.根据方案7或10所述的方法，其特征在于，采用基于蒙特卡洛和基于动量的迭代方法对所述预设的白盒替代模型的目标函数进行求解。
12.根据方案11所述的方法，其特征在于，所述图像变换至少包括投影变换、图像旋转、光照变换、图像放缩和加高斯噪声中的一种。
13.根据方案12所述的方法，其特征在于，当所述识别对象为人脸时，所述图像变换还包括人脸表情变换和人脸头部方向变换中的至少一种。
14.根据方案13所述的方法，其特征在于，基于蒙特卡洛和基于动量的迭代方法对所述预设的白盒替代模型的目标函数进行求解包括：
从所述图像变换的集合中获取任一图像变换；
对所述预设的白盒替代模型进行梯度计算，以得到所述识别对象的相似度函数的梯度；
基于所述梯度更新动量和图像，以得到所述对抗样本。
15.根据方案14所述的方法，其特征在于，通过如下公式更新所述动量和图像：
x＝proj(x+M⊙α·sign(g))
其中，g表示动量，μ表示动量的衰减速度，表示所述识别对象的相似度函数的梯度，|·|1是L1范数，x为表示图像的变量，proj表示将变量投影回约束范围内，α表示梯度下降的步长，sign是符号函数。
16.根据方案15所述的方法，其特征在于，所述μ的取值范围是[0,1]。
17.根据方案15或16所述的方法，其特征在于，所述α为正数。
18.根据方案1所述的方法，其特征在于，所述方法还包括：将所述干扰图像制作成实体样本。
19.根据方案18所述的方法，其特征在于，将所述第一样本图像叠加所述干扰图像，包括：
采集佩戴所述实体样本的所述攻击对象的图像，以得到叠加干扰图像的所述对抗样本。
20.根据方案1所述的方法，其特征在于，所述第一样本图像为人脸图像时，所述特定区域包括人脸局部区域或人脸全部区域。
21.一种对抗样本生成装置，其特征在于，所述装置包括：
第一获取模块，被配置为获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；
干扰图像生成模块，被配置为基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
对抗样本生成模块，被配置为将所述第一样本图像叠加所述干扰图像，生成对抗样本。
22.根据方案21所述的装置，其特征在于，所述对抗样本满足：
与第一样本图像在l∞无穷范数下的距离不大于扰动值∈；
在特定区域外的图像与第一样本图像特定区域外的图像一致。
23.根据方案22所述的装置，其特征在于，所述对抗样本输入所述图像识别模型后，能够使所述图像识别模型得到错误的识别结果。
24.根据方案23所述的装置，其特征在于，求解所述预设的白盒替代模型的目标函数为：
s.t.|xadv-xsrc|∞≤∈
xadv⊙(1-M)＝xsrc⊙(1-M)
其中，E为数学期望，为图像变换的集合，T为任一图像变换，表示T服从概率分布L为所述预设的白盒替代模型中基于第一样本图像和对抗样本得到的识别对象的相似度函数，xsrc为所述第一样本图像，xadv为所述对抗样本，|·|∞是无穷范数，∈是最大可能的扰动值，M是一个二值矩阵用于约束扰动的区域，⊙是向量逐元素乘积。
25.根据方案24所述的装置，其特征在于，表示随机变量L在概率分布下的数学期望，s.t.|xadv-xsrc|∞≤∈以及xadv⊙(1-M)＝xsrc⊙(1-M)分别表示对抗样本满足与第一样本图像在无穷范数下的距离不大于扰动值∈；以及在特定区域外的图像与第一样本图像特定区域外的图像一致。
26.根据方案23-25任一所述的装置，其特征在于，错误的识别结果包括从所述对抗样本中识别出的对象不是攻击对象。
27.根据方案26所述的装置，其特征在于，所述识别对象的相似度函数为：
其中，为所述攻击对象的图像集，f为所述预设的白盒替代模型的输出表示，·为向量点乘，|·|2表示L2范数。
28.根据方案24或25所述的装置，其特征在于，所述装置还包括：
第二获取模块，被配置为获取第二样本图像，其中，所述第二样本图像为受害对象的图像；
所述干扰图像生成模块，还被配置为基于所述第一样本图像和第二样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像。
29.根据方案28所述的装置，其特征在于，错误的识别结果包括从所述对抗样本中识别出的对象为受害对象。
30.根据方案29所述的装置，其特征在于，所述识别对象的相似度函数为：
其中，是所述受害对象的图像集，·是向量点乘，|·|2表示L2范数，f为所述预设的白盒替代模型的输出表示。
31.根据方案27或30所述的装置，其特征在于，所述干扰图像生成模块还包括：
计算子模块，被配置为采用基于蒙特卡洛和基于动量的迭代方法对所述预设的白盒替代模型的目标函数进行求解。
32.根据方案31所述的装置，其特征在于，所述图像变换至少包括投影变换、图像旋转、光照变换、图像放缩和加高斯噪声中的一种。
33.根据方案32所述的装置，其特征在于，当所述识别对象为人脸时，所述图像变换还包括人脸表情变换和人脸头部方向变换中的至少一种。
34.根据方案33所述的装置，其特征在于，所述计算子模块包括：
图像变换获取单元，被配置为从所述图像变换的集合中获取任一图像变换；
梯度计算单元，被配置为对所述预设的白盒替代模型进行梯度计算，以得到所述识别对象的相似度函数的梯度；
更新单元，被配置为基于所述梯度更新动量和图像，以得到所述对抗样本。
35.根据方案34所述的装置，其特征在于，通过如下公式更新所述动量和图像：
x＝proj(x+M⊙α·sign(g))
其中，g表示动量，μ表示动量的衰减速度，表示所述识别对象的相似度函数的梯度，|·|1是L1范数，x为表示图像的变量，proj表示将变量投影回约束范围内，α表示梯度下降的步长，sign是符号函数。
36.根据方案35所述的装置，其特征在于，所述μ的取值范围是[0,1]。
37.根据方案35或36所述的装置，其特征在于，所述α为正数。
38.根据方案21所述的装置，其特征在于，所述装置还包括：
实体样本制作模块，被配置为样本将所述干扰图像制作成实体样本。
39.根据方案38所述的装置，其特征在于，所述对抗样本生成模块还被配置为采集佩戴所述实体样本的所述攻击对象的图像，以得到叠加干扰图像的所述对抗样本。
40.根据方案21所述的装置，其特征在于，所述第一样本图像为人脸图像时，所述特定区域包括人脸局部区域或人脸全部区域。
41.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述方案1-20任一所述的对抗样本生成方法。
42.一种计算设备，所述计算设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述方案1-20任一所述的对抗样本生成方法。

Claims (10)

1.一种对抗样本生成方法，其特征在于，所述方法包括：
获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；
基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
将所述第一样本图像叠加所述干扰图像，生成对抗样本。
2.根据权利要求1所述的方法，其特征在于，所述对抗样本满足：
与第一样本图像在l∞无穷范数下的距离不大于扰动值∈；
在特定区域外的图像与第一样本图像特定区域外的图像一致。
3.根据权利要求2所述的方法，其特征在于，所述对抗样本输入所述图像识别模型后，能够使所述图像识别模型得到错误的识别结果。
4.根据权利要求3所述的方法，其特征在于，求解所述预设的白盒替代模型的目标函数为：
s.t.|xadv-xsrc|∞≤∈
xadv⊙(1-M)＝xsrc⊙(1-M)
其中，E为数学期望，为图像变换的集合，T为任一图像变换，表示T服从概率分布L为所述预设的白盒替代模型中基于第一样本图像和对抗样本得到的识别对象的相似度函数，xsrc为所述第一样本图像，xadv为所述对抗样本，|·|∞是无穷范数，∈是最大可能的扰动值，M是一个二值矩阵用于约束扰动的区域，⊙是向量逐元素乘积。
5.一种对抗样本生成装置，其特征在于，所述装置包括：
第一获取模块，被配置为获取第一样本图像，其中，所述第一样本图像为攻击对象的图像；
干扰图像生成模块，被配置为基于所述第一样本图像，以预设的白盒替代模型的识别对象的相似度函数在不同拍摄条件下的数学期望为目标函数进行求解，生成特定区域的干扰图像；
对抗样本生成模块，被配置为将所述第一样本图像叠加所述干扰图像，生成对抗样本。
6.根据权利要求5所述的装置，其特征在于，所述对抗样本满足：
与第一样本图像在l∞无穷范数下的距离不大于扰动值∈；
在特定区域外的图像与第一样本图像特定区域外的图像一致。
7.根据权利要求6所述的装置，其特征在于，所述对抗样本输入所述图像识别模型后，能够使所述图像识别模型得到错误的识别结果。
8.根据权利要求7所述的装置，其特征在于，求解所述预设的白盒替代模型的目标函数为：
s.t.|xadv-xsrc|∞≤∈
xadv⊙(1-M)＝xsrc⊙(1-M)
其中，E为数学期望，为图像变换的集合，T为任一图像变换，表示T服从概率分布L为所述预设的白盒替代模型中基于第一样本图像和对抗样本得到的识别对象的相似度函数，xsrc为所述第一样本图像，xadv为所述对抗样本，|·|∞是无穷范数，∈是最大可能的扰动值，M是一个二值矩阵用于约束扰动的区域，⊙是向量逐元素乘积。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-4任一所述的对抗样本生成方法。
10.一种计算设备，所述计算设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1-4任一所述的对抗样本生成方法。
CN201910491156.7A 2019-06-06 2019-06-06 对抗样本生成方法、装置、介质和计算设备 Active CN110245598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910491156.7A CN110245598B (zh) 2019-06-06 2019-06-06 对抗样本生成方法、装置、介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910491156.7A CN110245598B (zh) 2019-06-06 2019-06-06 对抗样本生成方法、装置、介质和计算设备

Publications (2)

Publication Number Publication Date
CN110245598A true CN110245598A (zh) 2019-09-17
CN110245598B CN110245598B (zh) 2020-10-09

Family

ID=67886155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910491156.7A Active CN110245598B (zh) 2019-06-06 2019-06-06 对抗样本生成方法、装置、介质和计算设备

Country Status (1)

Country Link
CN (1) CN110245598B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN110764958A (zh) * 2019-09-24 2020-02-07 华中科技大学 一种基于eeg的脑机接口回归系统白盒目标攻击方法
CN111104982A (zh) * 2019-12-20 2020-05-05 电子科技大学 一种标签无关的跨任务对抗样本生成方法
CN111275106A (zh) * 2020-01-19 2020-06-12 支付宝(杭州)信息技术有限公司 对抗样本生成方法、装置及计算机设备
CN111340008A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111476228A (zh) * 2020-04-07 2020-07-31 海南阿凡题科技有限公司 针对场景文字识别模型的白盒对抗样本生成方法
CN111626925A (zh) * 2020-07-24 2020-09-04 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN111881707A (zh) * 2019-12-04 2020-11-03 马上消费金融股份有限公司 图像翻拍检测方法、身份验证方法、模型训练方法及装置
CN111930634A (zh) * 2020-09-09 2020-11-13 北京瑞莱智慧科技有限公司 模型处理方法、装置、介质和计算设备
CN111949993A (zh) * 2020-08-18 2020-11-17 北京瑞莱智慧科技有限公司 模型安全性评估方法、介质、装置和计算设备
CN111967592A (zh) * 2020-07-09 2020-11-20 中国电子科技集团公司第三十六研究所 基于分离正负扰动生成对抗图像机器识别的方法
CN112000578A (zh) * 2020-08-26 2020-11-27 支付宝(杭州)信息技术有限公司 人工智能系统的测试方法和装置
CN112200243A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种基于低问询图像数据的黑盒对抗样本生成方法
CN112329931A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN112329894A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法、装置和计算设备
CN112329929A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN112487479A (zh) * 2020-12-10 2021-03-12 支付宝(杭州)信息技术有限公司 一种训练隐私保护模型的方法、隐私保护方法及装置
WO2021056746A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 图像模型检测方法、装置、电子设备及存储介质
CN112633306A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN113066002A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 对抗样本的生成方法、神经网络的训练方法、装置及设备
CN113378118A (zh) * 2020-03-10 2021-09-10 百度在线网络技术（北京）有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
CN113407939A (zh) * 2021-06-17 2021-09-17 电子科技大学 面向黑盒攻击的替代模型自动选取方法、存储介质及终端
CN113435264A (zh) * 2021-06-08 2021-09-24 广州紫为云科技有限公司 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
CN114065872A (zh) * 2021-11-26 2022-02-18 杭州涿溪脑与智能研究所 基于特征重构的可见光图像通用对抗扰动构建方法及系统
CN114333029A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 模板图像生成方法、装置及存储介质
CN114387647A (zh) * 2021-12-29 2022-04-22 北京瑞莱智慧科技有限公司 对抗扰动生成方法、装置及存储介质
CN114444579A (zh) * 2021-12-31 2022-05-06 北京瑞莱智慧科技有限公司 通用扰动获取方法、装置、存储介质及计算机设备
CN114511644A (zh) * 2022-01-21 2022-05-17 电子科技大学 一种基于深度学习的自适应数字伪装方法
CN114998657A (zh) * 2022-06-17 2022-09-02 北京百度网讯科技有限公司 一种用于生成添加干扰后的图像的方法和装置
CN115862036A (zh) * 2022-12-14 2023-03-28 北京瑞莱智慧科技有限公司 信息干扰模型训练方法、信息干扰方法、相关装置及介质
CN117874530A (zh) * 2024-03-13 2024-04-12 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 对抗样本检测方法、装置、设备、介质和产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
US20180225823A1 (en) * 2017-02-09 2018-08-09 Siemens Healthcare Gmbh Adversarial and Dual Inverse Deep Learning Networks for Medical Image Analysis
CN108520268A (zh) * 2018-03-09 2018-09-11 浙江工业大学 基于样本选择和模型进化的黑盒对抗性攻击防御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225823A1 (en) * 2017-02-09 2018-08-09 Siemens Healthcare Gmbh Adversarial and Dual Inverse Deep Learning Networks for Medical Image Analysis
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
CN108520268A (zh) * 2018-03-09 2018-09-11 浙江工业大学 基于样本选择和模型进化的黑盒对抗性攻击防御方法

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021056746A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 图像模型检测方法、装置、电子设备及存储介质
CN110764958B (zh) * 2019-09-24 2020-09-18 华中科技大学 一种基于eeg的脑机接口回归系统白盒目标攻击方法
CN112633306B (zh) * 2019-09-24 2023-09-22 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN112633306A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN110764958A (zh) * 2019-09-24 2020-02-07 华中科技大学 一种基于eeg的脑机接口回归系统白盒目标攻击方法
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN110705652B (zh) * 2019-10-17 2020-10-23 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN111881707A (zh) * 2019-12-04 2020-11-03 马上消费金融股份有限公司 图像翻拍检测方法、身份验证方法、模型训练方法及装置
CN111881707B (zh) * 2019-12-04 2021-09-14 马上消费金融股份有限公司 图像翻拍检测方法、身份验证方法、模型训练方法及装置
CN111104982B (zh) * 2019-12-20 2021-09-24 电子科技大学 一种标签无关的跨任务对抗样本生成方法
CN111104982A (zh) * 2019-12-20 2020-05-05 电子科技大学 一种标签无关的跨任务对抗样本生成方法
CN111275106A (zh) * 2020-01-19 2020-06-12 支付宝(杭州)信息技术有限公司 对抗样本生成方法、装置及计算机设备
CN111340180B (zh) * 2020-02-10 2021-10-08 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN117034212A (zh) * 2020-03-10 2023-11-10 百度在线网络技术（北京）有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
CN113378118A (zh) * 2020-03-10 2021-09-10 百度在线网络技术（北京）有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
CN113378118B (zh) * 2020-03-10 2023-08-22 百度在线网络技术（北京）有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
CN111476228A (zh) * 2020-04-07 2020-07-31 海南阿凡题科技有限公司 针对场景文字识别模型的白盒对抗样本生成方法
CN111340008B (zh) * 2020-05-15 2021-02-19 支付宝(杭州)信息技术有限公司 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统
CN111340008A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统
CN111723865B (zh) * 2020-06-19 2021-07-16 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN111967592B (zh) * 2020-07-09 2023-12-05 中国电子科技集团公司第三十六研究所 基于分离正负扰动生成对抗图像机器识别的方法
CN111967592A (zh) * 2020-07-09 2020-11-20 中国电子科技集团公司第三十六研究所 基于分离正负扰动生成对抗图像机器识别的方法
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN111626925A (zh) * 2020-07-24 2020-09-04 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN111949993B (zh) * 2020-08-18 2021-07-09 北京瑞莱智慧科技有限公司 模型安全性评估方法、介质、装置和计算设备
CN111949993A (zh) * 2020-08-18 2020-11-17 北京瑞莱智慧科技有限公司 模型安全性评估方法、介质、装置和计算设备
CN112000578A (zh) * 2020-08-26 2020-11-27 支付宝(杭州)信息技术有限公司 人工智能系统的测试方法和装置
CN111930634B (zh) * 2020-09-09 2021-01-15 北京瑞莱智慧科技有限公司 模型处理方法、装置、介质和计算设备
CN111930634A (zh) * 2020-09-09 2020-11-13 北京瑞莱智慧科技有限公司 模型处理方法、装置、介质和计算设备
CN112200243A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种基于低问询图像数据的黑盒对抗样本生成方法
CN112200243B (zh) * 2020-10-09 2022-04-26 电子科技大学 一种基于低问询图像数据的黑盒对抗样本生成方法
CN112487479A (zh) * 2020-12-10 2021-03-12 支付宝(杭州)信息技术有限公司 一种训练隐私保护模型的方法、隐私保护方法及装置
CN112487479B (zh) * 2020-12-10 2023-10-13 支付宝(杭州)信息技术有限公司 一种训练隐私保护模型的方法、隐私保护方法及装置
CN112329931B (zh) * 2021-01-04 2021-05-07 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN112329931A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN112329894A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法、装置和计算设备
CN112329929A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN113066002A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 对抗样本的生成方法、神经网络的训练方法、装置及设备
CN113435264A (zh) * 2021-06-08 2021-09-24 广州紫为云科技有限公司 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
CN113407939A (zh) * 2021-06-17 2021-09-17 电子科技大学 面向黑盒攻击的替代模型自动选取方法、存储介质及终端
CN113407939B (zh) * 2021-06-17 2022-08-05 电子科技大学 面向黑盒攻击的替代模型自动选取方法、存储介质及终端
CN114065872A (zh) * 2021-11-26 2022-02-18 杭州涿溪脑与智能研究所 基于特征重构的可见光图像通用对抗扰动构建方法及系统
CN114387647A (zh) * 2021-12-29 2022-04-22 北京瑞莱智慧科技有限公司 对抗扰动生成方法、装置及存储介质
CN114444579A (zh) * 2021-12-31 2022-05-06 北京瑞莱智慧科技有限公司 通用扰动获取方法、装置、存储介质及计算机设备
CN114444579B (zh) * 2021-12-31 2022-10-28 北京瑞莱智慧科技有限公司 通用扰动获取方法、装置、存储介质及计算机设备
CN114333029A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 模板图像生成方法、装置及存储介质
CN114511644B (zh) * 2022-01-21 2023-06-09 电子科技大学 一种基于深度学习的自适应数字伪装方法
CN114511644A (zh) * 2022-01-21 2022-05-17 电子科技大学 一种基于深度学习的自适应数字伪装方法
CN114998657A (zh) * 2022-06-17 2022-09-02 北京百度网讯科技有限公司 一种用于生成添加干扰后的图像的方法和装置
CN114998657B (zh) * 2022-06-17 2024-04-05 北京百度网讯科技有限公司 一种用于生成添加干扰后的图像的方法和装置
CN115862036A (zh) * 2022-12-14 2023-03-28 北京瑞莱智慧科技有限公司 信息干扰模型训练方法、信息干扰方法、相关装置及介质
CN115862036B (zh) * 2022-12-14 2024-02-23 北京瑞莱智慧科技有限公司 信息干扰模型训练方法、信息干扰方法、相关装置及介质
CN117874530A (zh) * 2024-03-13 2024-04-12 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 对抗样本检测方法、装置、设备、介质和产品

Also Published As

Publication number Publication date
CN110245598B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN110245598A (zh) 对抗样本生成方法、装置、介质和计算设备
Zou et al. Deep learning-based gait recognition using smartphones in the wild
Kumar et al. Multimodal gait recognition with inertial sensor data and video using evolutionary algorithm
Ullah et al. AI-assisted edge vision for violence detection in IoT-based industrial surveillance networks
CN108154075A (zh) 经由单次学习的群体分析法
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
Li et al. Attentive spatial–temporal summary networks for feature learning in irregular gait recognition
CN110705652B (zh) 对抗样本及其生成方法、介质、装置和计算设备
Huang et al. Sign language recognition using real-sense
CN107203745A (zh) 一种基于跨域学习的跨视角动作识别方法
CN113254927B (zh) 一种基于网络防御的模型处理方法、装置及存储介质
CN113111963B (zh) 一种黑盒攻击行人重识别系统的方法
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
Krzeszowski et al. Articulated body motion tracking by combined particle swarm optimization and particle filtering
CN109948439A (zh) 一种活体检测方法、系统及终端设备
Guo et al. Gesture recognition based on HMM-FNN model using a Kinect
CN114241587B (zh) 人脸活体检测对抗鲁棒性的评估方法及装置
WO2021042544A1 (zh) 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质
Nguyen et al. Physical Adversarial Attacks for Surveillance: A Survey
Dharmalingam et al. Vector space based augmented structural kinematic feature descriptor for human activity recognition in videos
CN110502961A (zh) 一种面部图像检测方法及装置
CN108875445A (zh) 一种行人再识别方法及装置
CN112488985A (zh) 图像质量确定方法、装置及设备
Liu et al. Digital twins by physical education teaching practice in visual sensing training system
Kaur et al. Improved Facial Biometric Authentication Using MobileNetV2

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190917

Assignee: Beijing Intellectual Property Management Co.,Ltd.

Assignor: Beijing Ruili Wisdom Technology Co.,Ltd.

Contract record no.: X2023110000073

Denomination of invention: Method, device, medium, and computing equipment for adversarial sample generation

Granted publication date: 20201009

License type: Common License

Record date: 20230531