CN113780123A - 一种对抗样本生成方法、系统、计算机设备和存储介质 - Google Patents

一种对抗样本生成方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN113780123A
CN113780123A CN202111001380.7A CN202111001380A CN113780123A CN 113780123 A CN113780123 A CN 113780123A CN 202111001380 A CN202111001380 A CN 202111001380A CN 113780123 A CN113780123 A CN 113780123A
Authority
CN
China
Prior art keywords
interference noise
key points
sample
face
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111001380.7A
Other languages
English (en)
Other versions
CN113780123B (zh
Inventor
顾钊铨
罗慧丽
陈植钦
谢文嵘
胡卫雄
吴坚鹏
史亚文
乔佳诚
王乐
田志宏
唐可可
张登辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202111001380.7A priority Critical patent/CN113780123B/zh
Publication of CN113780123A publication Critical patent/CN113780123A/zh
Application granted granted Critical
Publication of CN113780123B publication Critical patent/CN113780123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种对抗样本生成方法、系统、计算机设备和存储介质，所述方法包括：对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵；将原始人脸图像和经过初始化的干扰噪声输入神经网络进行训练，得到第一干扰噪声；将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声；将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本；根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。本发明能够更加精准地实现局部攻击的对抗样本生成效果，提高了人脸对抗样本的抗感知能力和抗检测能力。

Description

一种对抗样本生成方法、系统、计算机设备和存储介质
技术领域
本发明涉及人工智能安全技术领域，特别是涉及一种基于人脸关键点的有目标攻击的对抗样本生成方法。
背景技术
近年来，由于神经网络强大的表征能力，计算机视觉得到了很大的发展，尤其是在人脸识别领域，神经网络更是扮演着极其重要的角色，而在神经网络的安全方面，针对人脸识别的神经网络模型的对抗样本也层出不穷。
目前，现有的对抗攻击类型通常依据攻击方法对原始图像的修改程度分为全局的图像攻击和局部的图像攻击。全局的图像攻击以基于梯度的攻击方法为代表，对整张图片产生扰动，生成对抗样本，常用方法如快速符号梯度法(FGSM)、基础迭代攻击(BIM)等；局部的图像攻击是只对局部的像素值进行修改，生成对抗样本，常用方法如单像素攻击方法、人脸的物理域攻击等。
这两类方法在使用过程中都存在一定的局限性，全局的图像攻击是对整张人脸图像的像素值做更改，扰动的幅度很大，并且没有从损失角度来考虑生成的对抗图像本身的平滑性，导致对抗样本图像的抗感知能力和抗检测能力不佳；局部的图像攻击虽然减小了扰动的幅度，但是产生对抗样本的效率低下，并且成功率较低。
发明内容
为了解决上述问题，本发明的目的是提供一种能够对原始样本的扰动幅度小，并且结合人脸本身的特性，提高对抗样本生成率和攻击成功率的基于人脸关键点的有目标攻击的对抗样本生成方法、系统、计算机设备和存储介质。
第一方面，本发明实施例提供了一种基于人脸关键点的有目标攻击的对抗样本生成方法，所述方法包括：
对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵；
将原始人脸图像和经过初始化的干扰噪声输入神经网络进行训练，得到第一干扰噪声；
将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声；
将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本；
根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。
进一步地，所述将原始人脸图像和经过初始化的干扰噪声输入神经网络进行训练，得到第一干扰噪声的步骤包括：
将原始人脸图像与初始化的干扰噪声相加合并，并输入神经网络进行前向计算，得到第一输出向量；
将目标人脸图像输入神经网络进行前向计算，得到第二输出向量；
计算所述第一输出向量和第二输出向量的余弦距离、L2距离和TV损失，并将所述余弦距离、L2距离和TV损失相加求和得到总损失；
根据所述总损失对干扰噪声进行调整，得到第一干扰噪声。
进一步地，所述对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵的步骤包括：
采用dlib算法库中CNN-based人脸关键点检测算法，对原始人脸图像进行人脸关键点检测，得到人脸的关键点；
根据预设的选择条件，选取所述关键点中的部分关键点，得到掩码区域。
进一步地，采用如下公式得到所述相对应的掩码矩阵：
Figure BDA0003233450540000031
其中，Mij表示掩码矩阵M第i行第j列的值，Xij表示原始人脸图像第i行第j列的像素点位于掩码区域D里。
进一步地，采用如下公式对所述对抗样本进行多轮迭代计算，得到最终的对抗样本：
Figure BDA0003233450540000032
其中，
Figure BDA0003233450540000033
表示第t+1轮的对抗样本，
Figure BDA0003233450540000034
表示第t轮的对抗样本，Nt+1表示第t+1轮的干扰噪声。
进一步地，所述经过初始化的干扰噪声选用的初始化方法为Xavier初始化方法。
进一步地，所述预设的迭代条件为预设的最大迭代次数或预设的所述神经网络训练时参数的最小阈值。
第二方面，本发明实施例提供了一种人脸关键点的有目标攻击的对抗样本生成系统，所述系统包括：
干扰噪声修正模块，用于将原始人脸图像和初始化后的干扰噪声输入神经网络进行训练，得到第一干扰噪声；
干扰噪声限制模块，用于将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声；
对抗样本生成模块，用于将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本；
对抗样本迭代模块，用于根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种基于人脸关键点的有目标攻击的对抗样本生成方法、系统、计算机设备和存储介质，通过所述方法，结合人脸本身的特征点来进行干扰噪声的限制，更精准的实现局部攻击的对抗样本生成效果，使对抗样本的生成更高效，并且提供了攻击成功率；同时由于结合了人脸本身的特性减少了对抗样本相对于原始样本的扰动，从而提高了人脸对抗样本的抗感知能力和抗检测能力，这对于现有的人工智能安全领域来说是非常有意义的。
附图说明
图1是本发明实施例中基于人脸关键点的有目标攻击的对抗样本生成方法的流程示意图；
图2是本发明实施例中对抗样本生成方法的又一实施例的流程示意图；
图3是图1中得到相对应的掩码矩阵的具体流程图；
图4是图1中得到第一干扰噪声的具体流程图；
图5是本发明实施例中基于人脸关键点的有目标攻击的对抗样本生成系统的结构示意图；
图6是本发明实施例中计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提出的一种基于人脸关键点的有目标攻击的对抗样本生成方法，其中，包括步骤S10～S50：
步骤S10，对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵。
其中，可以采用dlib库中的关键点检测算法，对原始人脸图像进行检测，根据关键点得到的掩码区域，根据掩码区域来构造相应的掩码矩阵，如图3所示，具体步骤包括：
步骤S101，采用dlib算法库中CNN-based人脸关键点检测算法，对原始人脸图像进行人脸关键点检测，得到人脸的关键点；
步骤S102，根据预设的选择条件，选取所述关键点中的部分关键点，得到掩码区域。
其中，采用CNN-based人脸关键点检测算法对原始人脸图像进行人脸关键点检测，可以得到人脸的多个特征点，并从特征点选取部分作为关键点。根据实际检测，本实施例通过采用CNN-based人脸关键点检测算法，得到人脸图像的68个特征点，并从中选取存储脸颊的17个点和眉毛的2个中间的，一共19个关键点，以此构建掩码区域。当然，并不局限于上述数量的特征点和关键点，其仅作为优先方案解释而非限定本实施例关键点检测和掩码区域的构建过程。
建立与原始人脸图像大小一致的掩码矩阵，并初始化为零，根据射线法判断人脸图像中的像素点是否在掩码区域内，如果在，则将掩码矩阵中相对应位置的值置为1，否则，将相对应位置的值置为0，即采用如下公式得到与掩码区域相对应的掩码矩阵：
Figure BDA0003233450540000051
其中，Mij表示掩码矩阵M第i行第j列的值，Xij表示原始人脸图像第i行第j列的像素点位于掩码区域D里。
通过使用射线法建立的掩码矩阵，消除了原始图像中人脸的背景区域的干扰，获取到了人脸关键点所在的关键区域，从而可以实现对干扰噪声进行干扰区域的限制。
步骤S20，将原始人脸图像和经过初始化的干扰噪声输入神经网络进行训练，得到第一干扰噪声。
其中，构建的干扰噪声尺寸与原始图像的尺寸相同，采用Xavier_normal方式对干扰噪声进行初始化，并将干扰噪声作为变量，输入神经网络进行训练，采用反向传播算法进行调整，从而得到第一干扰噪声，如图4所示，具体实现步骤包括：
步骤S201，将原始人脸图像与初始化的干扰噪声相加合并，并输入神经网络进行前向计算，得到第一输出向量；
步骤S202，将目标人脸图像输入神经网络进行前向计算，得到第二输出向量；
步骤S203，计算所述第一输出向量和第二输出向量的余弦距离、L2距离和TV损失，并将所述余弦距离、L2距离和TV损失相加求和得到总损失；
步骤S204，根据所述总损失对干扰噪声进行调整，得到第一干扰噪声。
具体的，第一输出向量和第二输出向量的余弦距离采用如下公式进行计算：
Figure BDA0003233450540000061
其中，V1代表第一输出向量，V2代表第二输出向量；
采用如下公式计算L2距离：
Figure BDA0003233450540000062
其中，h和w分别代表图像的高和宽，c表示图像是3通道，A表示原始图像和干扰噪声相加合并生成的样本图像，X表示原始图像，i和j表示图像中的像素点。
采用如下公式计算TV损失：
Figure BDA0003233450540000071
其中，i和j表示图像中的像素点，A表示原始图像和干扰噪声相加合并生成的样本图像，β表示超参数，一般默认为2。
采用如下公式计算总损失：
loss＝cosloss+L2loss+TVloss
根据总损失函数，使用反向传播算法对干扰噪声进行调整，从而得到第一干扰噪声。其中，L2loss是通过计算对抗样本与原始图像的距离，从而减小了对原始图像的扰动；TVloss是通过计算相邻像素的差的平方，来减小对抗图像相邻像素的差异，从而使生成的图像更加的平滑。
步骤S30，将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声。
通过将第一干扰矩阵与掩码矩阵相乘，来限制人脸关键点特征以外的不敏感区域，从而屏蔽掉干扰噪声的部分非关键区域，更加精准地实现局部攻击的对抗样本生成效果；并通过对干扰噪声进行高斯滤波，进一步的抑制噪声和平滑图像。
步骤S40，将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本。
通过将处理后的干扰噪声叠加在原始人脸图像上完成一轮对抗样本的生成，使对抗样本更专注于人脸关键点特征区域，从而使局部攻击的对抗样本生成效果更加的精准。
步骤S50，根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。
采用如下公式对所述对抗样本进行多轮迭代计算，得到最终的对抗样本：
Figure BDA0003233450540000081
其中，
Figure BDA0003233450540000082
表示第t+1轮的对抗样本，
Figure BDA0003233450540000083
表示第t轮的对抗样本，Nt+1表示第t+1轮的干扰噪声。
预设的迭代条件可以是预先设定的最大迭代次数，当迭代次数达到该值时，停止迭代计算，生成最终对抗样本；迭代条件也可以是预先设定的神经网络训练时参数达到的最小阈值，如当第一输出向量和第二输出向量的距离小于设定的阈值时，停止迭代，并生成最终对抗样本。根据实际情况采用多种方式对迭代次数进行限制，从而使对抗样本的生成方式更加灵活，效果更加准确。
下面结合附图2对本实施例基于人脸关键点的有目标攻击的对抗样本生成方法的整个过程进行详细描述，图2给出了本实施例的完整的对抗样本生成过程。
本发明实施例可以分为人脸掩码区域矩阵生成和基于反向传播的干扰噪声迭代生成两个部分，如图2的101-102人脸掩码区域矩阵生成部分所示，将原始人脸样本图像X和目标人物图像T的尺寸调整为112*112大小，通过dlib库中的关键点检测算法例如CNN-based关键点检测定位出样本图像的关键点位置，选择预定的关键点，根据射线法得到核心位置；构建大小为112*112的掩码矩阵M，并初始化为零，参照核心位置相对应的位置和大小，将掩码矩阵M相对应的区域置为1，非核心区域则置为0，从而完成掩码矩阵M的构造。
如图2的103-109基于反向传播的干扰噪声迭代生成部分所示，采用Xavier算法初始化噪声图像N0，在之后进行的K轮迭代中，以第t+1轮迭代为例：假设第t轮迭代的干扰噪声为Nt，将原始人脸样本图像X和干扰噪声Nt相加合并输入神经网络模型，通过前向计算得到第一输出向量V1，并且将目标人物图像T输入模型，通过前向计算得到第二输出向量V2；计算V1和V2之间的cosloss，计算原始图像X和干扰噪声Nt相加合并生成的对抗图像和原始图像X之间的L2loss，并且计算对抗图像的TVloss，通过三种损失值的相加求和，得到总损失loss；根据loss使用反向传播算法调整Nt；将掩码矩阵M与干扰噪声Nt进行矩阵相乘得到干扰区域限制的干扰噪声Nt+1，并且对Nt+1进行高斯滤波，消除高斯噪声；将滤波后的干扰噪声Nt+1与第t轮生成的对抗样本
Figure BDA0003233450540000091
相加合并，从而生成第t+1轮的对抗样本
Figure BDA0003233450540000092
当迭代次数达到最大迭代轮数K或当V1和V2的距离小于设定的阈值时，停止迭代计算，完成最终的对抗样本的构造。
本发明实施例提供的基于人脸关键点的有目标攻击的对抗样本生成方法，相比以往的直接使用干扰噪声叠加在原始图像上进行修改，对整张图片都会产生扰动的算法，本发明通过一个掩码矩阵来限制人脸关键点特征以外的不敏感区域，将关键点以外的干扰噪声进行屏蔽，更加精准地实现局部攻击的对抗样本生成效果，同时提高了对抗样本的生成效率和攻击成功率。
请参阅图5，基于同一发明构思，本发明第二实施例提供的基于人脸关键点的有目标攻击的对抗样本生成系统，包括：
关键点检测模块10，用于对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵；
干扰噪声修正模块20，用于将原始人脸图像和初始化后的干扰噪声输入神经网络进行训练，得到第一干扰噪声；
干扰噪声限制模块30，用于将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声；
对抗样本生成模块40，用于将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本；
对抗样本迭代模块50，用于根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。
本发明实施例提出的基于人脸关键点有目标攻击的对抗样本生成系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。上述基于人脸关键点有目标攻击的对抗样本生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图6，一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人脸关键点的有目标攻击的对抗样本生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比途中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
此外，本发明实施例还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种基于人脸关键点的有目标攻击的对抗样本生成方法、系统、计算机设备及存储介质，其对抗样本生成方法通过对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵；将原始人脸图像和经过初始化的干扰噪声输入神经网络进行训练，得到第一干扰噪声；将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声；将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本；根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。该方法通过结合人脸本身的特征点来进行干扰噪声的限制，更加精准地实现局部攻击的对抗样本生成效果，这样既实现了高效的对抗样本生成，拥有较高的攻击成功率，又结合了人脸本身的特性减少了对抗样本相对于原始样本的扰动，提高了人脸对抗样本的抗感知能力和抗检测能力。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于人脸关键点的有目标攻击的对抗样本生成方法，其特征在于，包括：
对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵；
将原始人脸图像和经过初始化的干扰噪声输入神经网络进行训练，得到第一干扰噪声；
将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声；
将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本；
根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。
2.根据权利要求1所述的基于人脸关键点的有目标攻击的对抗样本生成方法，其特征在于，所述对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵的步骤包括：
采用dlib算法库中CNN-based人脸关键点检测算法，对原始人脸图像进行人脸关键点检测，得到人脸的关键点；
根据预设的选择条件，选取所述关键点中的部分关键点，得到掩码区域。
3.根据权利要求1所述的基于人脸关键点的有目标攻击的对抗样本生成方法，其特征在于，所述将原始人脸图像和经过初始化的干扰噪声输入神经网络进行训练，得到第一干扰噪声的步骤包括：
将原始人脸图像与初始化的干扰噪声相加合并，并输入神经网络进行前向计算，得到第一输出向量；
将目标人脸图像输入神经网络进行前向计算，得到第二输出向量；
计算所述第一输出向量和第二输出向量的余弦距离、L2距离和TV损失，并将所述余弦距离、L2距离和TV损失相加求和得到总损失；
根据所述总损失对干扰噪声进行调整，得到第一干扰噪声。
4.根据权利要求1所述的基于人脸关键点的有目标攻击的对抗样本生成方法，其特征在于，采用如下公式得到所述相对应的掩码矩阵：
Figure FDA0003233450530000021
其中，Mij表示掩码矩阵M第i行第j列的值，Xij表示原始人脸图像第i行第j列的像素点位于掩码区域D里。
5.根据权利要求1所述的基于人脸关键点的有目标攻击的对抗样本生成方法，其特征在于，采用如下公式对所述对抗样本进行多轮迭代计算，得到最终的对抗样本：
Figure FDA0003233450530000022
其中，
Figure FDA0003233450530000023
表示第t+1轮的对抗样本，
Figure FDA0003233450530000024
表示第t轮的对抗样本，Nt+1表示第t+1轮的干扰噪声。
6.根据权利要求1所述的基于人脸关键点的有目标攻击的对抗样本生成方法，其特征在于，所述经过初始化的干扰噪声选用的初始化方法为Xavier初始化方法。
7.根据权利要求1所述的基于人脸关键点的有目标攻击的对抗样本生成方法，其特征在于，所述预设的迭代条件为预设的最大迭代次数或预设的所述神经网络训练时参数的最小阈值。
8.一种基于人脸关键点的有目标攻击的对抗样本生成系统，其特征在于，所述系统包括：
关键点检测模块，用于对原始人脸图像进行人脸关键点检测，得到人脸的关键点，根据所述关键点构成的掩码区域，得到相对应的掩码矩阵；
干扰噪声修正模块，用于将原始人脸图像和初始化后的干扰噪声输入神经网络进行训练，得到第一干扰噪声；
干扰噪声限制模块，用于将所述第一干扰噪声与所述掩码矩阵相乘，得到干扰区域限制的第二干扰噪声，对所述第二干扰噪声进行高斯滤波，得到第三干扰噪声；
对抗样本生成模块，用于将所述第三干扰噪声与所述原始人脸图像相叠加，得到对抗样本；
对抗样本迭代模块，用于根据预设的迭代条件对所述对抗样本进行多轮迭代计算，得到最终的对抗样本。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111001380.7A 2021-08-27 2021-08-27 一种对抗样本生成方法、系统、计算机设备和存储介质 Active CN113780123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111001380.7A CN113780123B (zh) 2021-08-27 2021-08-27 一种对抗样本生成方法、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111001380.7A CN113780123B (zh) 2021-08-27 2021-08-27 一种对抗样本生成方法、系统、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113780123A true CN113780123A (zh) 2021-12-10
CN113780123B CN113780123B (zh) 2023-08-08

Family

ID=78840143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111001380.7A Active CN113780123B (zh) 2021-08-27 2021-08-27 一种对抗样本生成方法、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113780123B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818958A (zh) * 2022-05-10 2022-07-29 马上消费金融股份有限公司 对抗样本的生成、模型训练、图像识别方法和装置
CN114882323A (zh) * 2022-07-08 2022-08-09 第六镜科技(北京)集团有限责任公司 对抗样本生成方法、装置、电子设备及存储介质
CN114998707A (zh) * 2022-08-05 2022-09-02 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置
CN115439377A (zh) * 2022-11-08 2022-12-06 电子科技大学 一种增强对抗图像样本迁移性攻击的方法
WO2023122955A1 (zh) * 2021-12-28 2023-07-06 华为技术有限公司 图像处理方法、装置和存储介质
CN117240979A (zh) * 2023-11-15 2023-12-15 清华大学 一种基于对抗鲁棒训练的人脸图像预保护方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN112949678A (zh) * 2021-01-14 2021-06-11 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN112949678A (zh) * 2021-01-14 2021-06-11 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023122955A1 (zh) * 2021-12-28 2023-07-06 华为技术有限公司 图像处理方法、装置和存储介质
CN114818958A (zh) * 2022-05-10 2022-07-29 马上消费金融股份有限公司 对抗样本的生成、模型训练、图像识别方法和装置
CN114818958B (zh) * 2022-05-10 2023-07-18 马上消费金融股份有限公司 对抗样本的生成、模型训练、图像识别方法和装置
CN114882323A (zh) * 2022-07-08 2022-08-09 第六镜科技(北京)集团有限责任公司 对抗样本生成方法、装置、电子设备及存储介质
CN114882323B (zh) * 2022-07-08 2022-10-14 第六镜科技(北京)集团有限责任公司 对抗样本生成方法、装置、电子设备及存储介质
CN114998707A (zh) * 2022-08-05 2022-09-02 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置
CN114998707B (zh) * 2022-08-05 2022-11-04 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置
WO2024027068A1 (zh) * 2022-08-05 2024-02-08 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置
CN115439377A (zh) * 2022-11-08 2022-12-06 电子科技大学 一种增强对抗图像样本迁移性攻击的方法
CN117240979A (zh) * 2023-11-15 2023-12-15 清华大学 一种基于对抗鲁棒训练的人脸图像预保护方法及装置
CN117240979B (zh) * 2023-11-15 2024-01-26 清华大学 一种基于对抗鲁棒训练的人脸图像预保护方法及装置

Also Published As

Publication number Publication date
CN113780123B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN113780123B (zh) 一种对抗样本生成方法、系统、计算机设备和存储介质
JP7346510B2 (ja) ニューラルネットワークプロセッサにおけるベクトル計算ユニット
CN108615072B (zh) 在硬件中执行平均池化
Liu et al. Deep proximal unrolling: Algorithmic framework, convergence analysis and applications
KR102137264B1 (ko) 카메라 포즈 추정 장치 및 방법
Tanaka Statistical-mechanical approach to image processing
RU2424561C2 (ru) Обучение сверточных нейронных сетей на графических процессорах
US11080833B2 (en) Image manipulation using deep learning techniques in a patch matching operation
CN113408743A (zh) 联邦模型的生成方法、装置、电子设备和存储介质
CN110796253A (zh) 生成对抗网络的训练方法及设备
JP2014527210A (ja) オプティカルフローを決定するためのコンテンツ適応型システム、方法、及び装置
US20160187861A1 (en) Systems and methods to adaptively select execution modes
CN111783083A (zh) 一种防御算法的推荐方法及装置
Jiang et al. Difnet: Semantic segmentation by diffusion networks
CN113034391B (zh) 一种多模式融合水下图像增强方法、系统及应用
CN112330569A (zh) 模型训练方法、文本去噪方法、装置、设备及存储介质
CN106683108A (zh) 确定视频帧中平坦区域的方法、装置及电子设备
Gao et al. Atmospheric Scattering Model Induced Statistical Characteristics Estimation for Underwater Image Restoration
Wang et al. A variational histogram equalization method for image contrast enhancement
KR102239588B1 (ko) 이미지 처리 방법 및 장치
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
Shumitskaya et al. Towards adversarial robustness verification of no-reference image-and video-quality metrics
CN116824232A (zh) 一种数据填充式的深度神经网络图像分类模型对抗训练方法
US10593056B2 (en) Image processing apparatus and method
Goel et al. Fast locally optimal detection of targeted universal adversarial perturbations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant