CN117671755A - 对抗样本识别模型训练方法、装置、电子设备及存储介质 - Google Patents
对抗样本识别模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117671755A CN117671755A CN202311368875.2A CN202311368875A CN117671755A CN 117671755 A CN117671755 A CN 117671755A CN 202311368875 A CN202311368875 A CN 202311368875A CN 117671755 A CN117671755 A CN 117671755A
- Authority
- CN
- China
- Prior art keywords
- pattern
- challenge
- sample
- recognition model
- disturbance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003909 pattern recognition Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 78
- 238000012545 processing Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 20
- 230000008485 antagonism Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 15
- 238000005728 strengthening Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000006854 communication Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000003607 modifier Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010023 transfer printing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例公开一种对抗样本识别模型训练方法、装置、电子设备及存储介质,先根据人脸图案确定第一对抗扰动图案并进行处理,得到第二对抗扰动图案以及确定第二对抗扰动图案的边缘特征;根据第二对抗扰动图案的边缘特征和人脸图案,确定对抗图案样本;利用对抗图案样本训练预设的初始对抗样本识别模型。本申请获取对抗扰动图案的边缘特征,再将对抗扰动图案的边缘特征与待测试的人脸图案结合,得到最终的对抗图案样本,并利用对抗图案样本训练对抗样本识别模型。通过加强边缘特征,使得在训练对抗样本识别模型的过程中,可以聚焦于对抗样本的边缘区域,对抗样本识别模型更易收敛,以提高对抗样本识别模型的训练效率和性能。
Description
技术领域
本申请涉及图像识别技术领域,具体涉及一种对抗样本识别模型训练方法、装置、电子设备及存储介质。
背景技术
随着人脸识别技术的广泛应用,人脸识别系统安全问题日益受到广泛关注。传统的人脸识别安全措施如活体检测等能够防御假体攻击、打印照片攻击和视频播放攻击等,但是对于技术性更强的对抗样本攻击的防御能力相对薄弱。学术研究表明,基于神经网络实现的人脸识别技术在理论上存在对抗样本攻击漏洞,难以通过算法架构设计来修复。目前对抗样本检测是防御对抗样本攻击的有效手段之一,但是对抗样本的形式变化和其本身具有的隐蔽性对对抗样本检测任务带来巨大挑战。
发明内容
本申请提供一种对抗样本识别模型训练方法、装置、电子设备及存储介质通过生成效果更好的对抗样本,从而提高对抗样本识别模型的性能。
第一方面,本申请提供一种对抗样本识别模型训练方法,所述方法包括:
获取待测试的人脸图案,并根据所述人脸图案确定第一对抗扰动图案;
对所述第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定所述第二对抗扰动图案的边缘特征;
根据所述第二对抗扰动图案的边缘特征和所述人脸图案,确定对抗图案样本;
利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
在本申请一些实施方式中,所述对所述第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定所述第二对抗扰动图案的边缘特征,包括:
对所述第一对抗扰动图案进行锐化处理,得到锐化后的第二对抗扰动图案;
利用预设边缘特征提取模型对所述第二对抗扰动图案进行边缘特征提取,得到初始边缘特征;
去除所述初始边缘特征中的噪声,得到所述第二对抗扰动图案的边缘特征。
在本申请一些实施方式中,所述根据所述第二对抗扰动图案的边缘特征和所述人脸图案,确定对抗图案样本,包括:
计算所述第二对抗扰动图案的边缘特征与所述人脸图案之间的数量积,得到所述对抗图案样本。
在本申请一些实施方式中,所述利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型,包括:
将所述对抗图案样本带入所述初始对抗样本识别模型,得到所述对抗图案样本的对抗特征;
获取所述对抗图案样本的目标对抗特征,并根据所述目标对抗特征与所述对抗特征确定所述对抗图案样本的对抗特征损失值。
在本申请一些实施方式中,所述利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型,还包括:
判断所述对抗特征损失值是否不大于预设损失值阈值;
若所述对抗特征损失值大于预设损失值阈值,则根据所述边缘特征确定所述第二对抗扰动图案的边缘区域权重矩阵;
根据所述边缘区域权重矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案;
根据新的第一对抗扰动图案,重新训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
在本申请一些实施方式中,所述根据所述边缘区域权重矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案,包括:
获取所述第一对抗扰动图案对应的初始梯度矩阵;
根据所述边缘区域权重矩阵更新所述初始梯度矩阵,得到新的梯度矩阵;
根据新的梯度矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案。
在本申请一些实施方式中,所述根据所述边缘区域权重矩阵更新所述初始梯度矩阵,得到新的梯度矩阵,包括:
计算所述边缘区域权重矩阵和所述初始梯度矩阵之间的数量积,得到新的梯度矩阵。
第二方面,本申请实施例提供一种对抗样本识别模型训练装置,
所述训练装置包括:
图像获取模块,用于获取待测试的人脸图案,并根据所述人脸图案确定第一对抗扰动图案;
边缘特征提取模块,用于对所述第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定所述第二对抗扰动图案的边缘特征;
对抗图案样本生成模块,用于根据所述第二对抗扰动图案的边缘特征和所述人脸图案,确定对抗图案样本;
模型训练模块,用于利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
在本申请一些实施方式中,所述边缘特征提取模块具体用于:
对所述第一对抗扰动图案进行锐化处理,得到锐化后的第二对抗扰动图案;
利用预设边缘特征提取模型对所述第二对抗扰动图案进行边缘特征提取,得到初始边缘特征;
去除所述初始边缘特征中的噪声,得到所述第二对抗扰动图案的边缘特征。
在本申请一些实施方式中,对抗图案样本生成模块具体用于:
计算所述第二对抗扰动图案的边缘特征与所述人脸图案之间的数量积,得到所述对抗图案样本。
在本申请一些实施方式中,模型训练模块具体用于:
将所述对抗图案样本带入所述初始对抗样本识别模型,得到所述对抗图案样本的对抗特征;
获取所述对抗图案样本的目标对抗特征,并根据所述目标对抗特征与所述对抗特征确定所述对抗图案样本的对抗特征损失值。
在本申请一些实施方式中,模型训练模块具体用于:
判断所述对抗特征损失值是否不大于预设损失值阈值;
若所述对抗特征损失值大于预设损失值阈值,则根据所述边缘特征确定所述第二对抗扰动图案的边缘区域权重矩阵;
根据所述边缘区域权重矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案;
根据新的第一对抗扰动图案,重新训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
在本申请一些实施方式中,模型训练模块具体用于:
获取所述第一对抗扰动图案对应的初始梯度矩阵;
根据所述边缘区域权重矩阵更新所述初始梯度矩阵,得到新的梯度矩阵;
根据新的梯度矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案。
在本申请一些实施方式中,模型训练模块具体用于:
计算所述边缘区域权重矩阵和所述初始梯度矩阵之间的数量积,得到新的梯度矩阵。
第三方面,本申请提供一种电子设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面任一项所述的对抗样本识别模型训练方法中的步骤。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行如第一方面任一项所述的对抗样本识别模型训练方法中的步骤。
第五方面,本申请实施例提供一种芯片,该芯片中包括与终端设备的收发器耦合的处理器,用于执行本申请实施例第一方面提供的技术方案。
第六方面,本申请实施例提供一种芯片系统,该芯片系统包括处理器,用于支持终端设备实现上述第一方面中所涉及的功能,例如,生成或者处理上述第一方面提供的对抗样本识别模型训练方法中所涉及的对抗样本。
在一种可能的设计中,上述芯片系统还包括存储器,该存储器用于保存终端必需的程序指令和数据。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
第七方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面提供的对抗样本识别模型训练方法。
本申请实施例中提供一种对抗样本识别模型训练方法、装置、电子设备及存储介质,相对于现有技术中数字世界的对抗样本难以在真实物理世界实现,以及通过补丁得到的对抗样本容易被模型检测出来,均使得对抗样本识别模型的性能无法有效提升的问题;本申请获取待测试的人脸图案,并根据人脸图案确定第一对抗扰动图案;对第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定第二对抗扰动图案的边缘特征;根据第二对抗扰动图案的边缘特征和人脸图案,确定对抗图案样本;利用对抗图案样本训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛。本申请通过首先获取对抗扰动图案的边缘特征,再将对抗扰动图案的边缘特征与待测试的人脸图案结合,得到最终的对抗图案样本,并利用对抗图案样本训练对抗样本识别模型。通过加强边缘特征,使得在训练对抗样本识别模型的过程中,可以聚焦于对抗样本的边缘区域,对抗样本识别模型更容易收敛,从而提高对抗样本识别模型的训练效率和性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的网络架构示意图;
图2是本申请实施例中提供的对抗样本识别模型训练方法的一个实施例流程示意图;
图3为本申请实施例提供的确定边缘特征的一个实施例流程示意图;
图4为本申请实施例提供的对抗样本识别模型的训练过程一个实施例流程示意图;
图5为本申请实施例提供的对抗样本识别模型的一个实施例完整流程示意图;
图6为本申请实施例提供的对抗样本识别模型训练装置的一个实施例示意图;
图7是本申请实施例提供的电子设备的结构示意图;
图8是本申请实施例提供的终端结构示意图;
图9是本申请实施例提供的一种服务器结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有说明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语″模块″或″单元″可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式″一″、″一个″、″所述″和″该″也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞″包括″是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被″连接″或″耦接″到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的″连接″或″耦接″可以包括无线连接或无线耦接。这里使用的措辞″和/或″包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
请参照图1,本申请还提供一对抗样本识别模型训练系统,如图1所示,该对抗样本识别模型训练系统包括计算设备100,计算设备100中集成有本申请提供的对抗样本识别模型的训练装置和/或对抗样本识别装置。本申请实施例中,计算设备100可以是终端设备或者服务器。
本申请实施例中,在计算设备100为服务器的情况下,该服务器可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本申请实施例中所描述的服务器,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。本申请的实施例中,服务器与客户端之间可通过任何通信方式实现通信,包括但不限于,基于第三代合作伙伴计划(3rd Generation Partnership Project,3GPP)、长期演进(Long Term Evolution,LTE)、全球互通微波访问(Worldwide Interoperability forMicrowave Access,WiMAX)的移动通信,或基于TCP/IP协议族(TCP/IP Protocol Suite,TCP/IP)、用户数据报协议(User Datagram Protocol,UDP)协议的计算机网络通信等。
可以理解的是,当本申请实施例中所使用的计算设备100为终端设备时,终端设备可以是既包括接收硬件和发射硬件的设备,即具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种终端设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的计算设备100具体可以是台式终端或移动终端,计算设备100具体可以手机、平板电脑、笔记本电脑等中的一种。
本申请实施例涉及的终端设备,还可以是指向用户提供语音和/或数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语音和/或数据。例如,个人通信业务(英文全称:Personal Communication Service,英文简称:PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop,英文简称:WLL)站、个人数字助理(英文全称:Personal Digital Assistant,英文简称:PDA)等设备。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本申请方案一种应用场景,并不构成对本申请方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的计算设备,或者计算设备网络连接关系,例如图1中仅示出1个计算设备,可以理解的,该抗样本识别模型训练系统还可以包括一个或多个其他计算设备,或/且一个或多个与计算设备100网络连接的其他计算设备,具体此处不作限定。
另外,如图1所示,该对抗样本识别模型训练系统还可以包括存储器200,用于存储原始数据、中间数据以及结果数据。
本申请实施例中,存储器200可以是云存储器,云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
目前,存储系统的存储方法为:创建逻辑卷,在创建逻辑卷时,就为每个逻辑卷分配物理存储空间,该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据,也就是将数据存储在文件系统上,文件系统将数据分成许多部分,每一部分是一个对象,对象不仅包含数据而且还包含数据标识(ID,ID entity)等额外的信息,文件系统将每个对象分别写入该逻辑卷的物理存储空间,且文件系统会记录每个对象的存储位置信息,从而当客户端请求访问数据时,文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程,具体为:按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID,Redundant Array ofIndependent Disk)的组别,预先将物理存储空间划分成分条,一个逻辑卷可以理解为一个分条,从而为逻辑卷分配了物理存储空间。
需要说明的是,图1所示的对抗样本识别模型训练系统的场景示意图仅仅是一个示例,本申请实施例描述的对抗样本识别模型训练系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着对抗样本识别模型训练系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请实施例提供的方案涉及人工智能(Artificial Intelligence,AI)、计算机视觉技术(Computer Vision,CV)、机器学习(Machine Learning,ML)等技术,具体通过如下实施例进行说明:
其中,AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
AI技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括对抗扰动生成、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
基于神经网络实现的人脸识别技术在理论上存在对抗样本攻击漏洞,难以通过算法架构设计来修复。目前对抗样本检测是防御对抗样本攻击的有效手段之一,但是对抗样本的形式变化和其本身具有的隐蔽性对对抗样本检测任务带来巨大挑战。为了提升对抗样本检测模型性能,需要研究更隐蔽和攻击能力更强的对抗样本,从而完善对抗样本检测数据集。在这方面,现有技术提出了一种能够在数字图像中实现无法察觉的对抗性贴片攻击的方法,以及一种基于Morphing的对抗样本生成方法,还包括一种基于GAN生成图像的对抗样本生成方法。现有的对抗样本生成识别模型进行训练时使用的对抗样本都是在数字世界生成对抗样本,不考虑物理世界可实现性,而物理世界对抗样本对人脸识别系统的威胁性远远高于数字世界对抗样本。在物理世界对抗样本生成方面,现有技术提出了物理世界对抗眼镜攻击方法、或是物理世界对抗贴纸攻击方法、或是一种物理世界对抗帽子攻击方法。但是这类物理世界对抗样本面积较大,特征明显,很容易被对抗样本检测模型检出。因此对对抗样本检测模型的性能进一步提升的意义不大。
本申请实施例提供的对抗样本识别模型训练方法,适用于人脸识别系统安全评测场景,主要是通过生成真实物理世界的对抗样本来攻击人脸识别系统,以测试人脸识别系统的鲁棒性。即利用人脸识别系统中的神经网络模型识别待检测数据中的对抗样本,检测人脸识别系统对于对抗样本这种异常值或意外情况的抵抗能力。下面结合具体实施例进行详细说明。
如图2所示,为本申请实施了提供的一种对抗样本识别模型训练方法,包括步骤201-204,具体如下:
201、获取待测试的人脸图案,并根据人脸图案确定第一对抗扰动图案。
本申请提供的对抗样本识别模型训练方法,主要通过生成效果更好的对抗样本,并将效果更好的对抗样本作为对抗样本识别模型的训练样本,以得到识别效果更好的对抗样本识别模型,从而更好的识别出待检测数据中的对抗样本,提高对抗样本识别模型的识别准确率。对于本申请来说,需要在原有的对抗样本的基础上生成性能更好的对抗样本,因此首先需要在真实物理世界获取到待测试的人脸图案,或者说包含人脸图案的照片;即人脸图案为真实物理世界的图案。再根据人脸图案生成第一对抗扰动图案,第一对抗扰动图案通常为数字世界的图案。第一对抗扰动图案即为对抗样本,对抗样本通常是在原始样本(即人脸图案)在添加微小的扰动而形成的数字世界的样本,相较于原有真实物理世界的样本,此类样本转换到真实物理世界后得到的图片也发生了改变,但改变通常不影响肉眼判断,甚至于肉眼不可见。但对抗样本可以使训练好的模型以高置信度得出与原有样本不同的输出。因此需要利用对抗样本进行模型训练,以更好的识别出待测试的人脸图案中的对抗样本。在本申请实施例中,根据人脸图案生成第一对抗扰动图案的方法可以参考现有技术,此处不做限定;且需要说明的是,此处生成的对抗样本(即第一对抗扰动图案)不能直接作为训练样本来进行模型训练。
202、对第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定第二对抗扰动图案的边缘特征。
前述根据人脸图案生成第一对抗扰动图案是利用现有常规的手段生成的,第一对抗扰动图案并不能直接用于模型训练,还需要对第一对抗扰动图案进行进一步处理,得到新的对抗扰动图案,利用新的对抗扰动图案进行模型训练。
如图3所示,获取第二对抗扰动图案的边缘特征可以包括如下步骤:
301、对第一对抗扰动图案进行锐化处理,得到锐化后的第二对抗扰动图案。
302、利用预设边缘特征提取模型对第二对抗扰动图案进行边缘特征提取,得到初始边缘特征。
对于本申请来说,不需要生成大面积的对抗样本,通过对抗样本的颜色和内容实现对抗效果;而是在传统的对抗样本的基础上进行边缘特征提取,弱化原有大面积的对抗样本中的具体图案内容,只保留对抗图案中的边缘信息,并利用边缘信息进行攻击。
在实际的对抗样本识别场景中,需要识别的对抗样本大多都是真实物理世界的图片数据,若仅保留边缘信息可大大减少将数字世界的数据转换到真实物理世界的难度,从而提高对抗样本识别模型的性能。而对于本申请来说,在对第一对抗扰动图案进行锐化处理前,还需要获取人脸图案中的人脸尺寸数据,并根据人脸尺寸数据对第一对抗扰动图案进行初始化,即根据人脸尺寸数据尽量去除第一对抗扰动图案中的内容像素,而保留第一对抗扰动图案中的边缘线条部分。接着再对初始化后的第一对抗扰动图案进行锐化处理,加强第一对抗扰动图案中的边缘线条部分。对抗扰动图案的边缘线条部分相较于保留内容像素的对抗扰动图案来说,图案的内容更少使得将图案从数字世界转换到真实物理世界的难度更低,从而更加容易得到真实物理世界的对抗样本,即真实物理世界的对抗扰动图案。
303、去除初始边缘特征中的噪音,得到第二对抗干扰图案的边缘特征。
在获取了初始边缘特征后,还不能直接利用初始边缘特征确定对抗样本。这是因为在获取第二对抗扰动图案的过程中,可能增强了某些会影响识别的其他特征;因此还需要对识别出的初始边缘特征进行整理,去除初始边缘特征中的杂乱线条,仅保留较为明显的边缘特征。
在一个具体实施例中,可以利用预设的边缘特征提取模型中的边缘特征提取模块h(*)对锐化后的第二对抗扰动图案进行特征提取,获取初始边缘特征E;再使用边缘特征修饰器对初始边缘特征E进行整理,去除初始边缘特征中的杂乱线条,仅保留明显的边缘特征。其中,边缘特征提取模块h(*)可以为Canny算法、Sobel算法或者其他具有边缘特征提取的相关算法等,此次不做限定。而边缘特征修饰器可以为可导高通滤波器。
在一个具体实施例中,边缘特征提取算法可以为Canny算法,使用的边缘特征修饰器可以为:
其中,E即为获取到的初始边缘特征;a为缩放系数,可以控制经过特征修饰器后保留的边缘特征的特征量。
203、利用第二对抗扰动图案的边缘特征和人脸图案,确定对抗图案样本。
在前述实施例中,获取到第二对抗扰动图案的边缘特征后,还需要根据第二对抗扰动图案的边缘特征进一步确定用于进行模型训练的对抗图案样本。具体地,可以根据第二对抗扰动图案的边缘特征和人脸图案确定对抗图案样本。
在一个具体实施例中,可以计算第二对抗扰动图案的边缘特征与人脸图案之间的数量积,得到对抗图案样本。之所以还需要利用人脸图案是因为,获取到的边缘特征本质上是在数字世界获取到的像素,并不是一个真实的图片或图像;还需要将边缘特征转换到真实物理世界,以作为真实物理世界的对抗图案样本,即得到真实世界的可以输入神经网络模型的图片。
在一个具体场景中,可以将获取到的边缘特征通过手绘或转印等方式实现在人脸图案,或者说包括人脸图案的真实物理图片上。这样生成真实物理世界的对抗样本,相较于基于对抗补丁得到的真实物理世界的对抗样本来说,不需要额外的像素载体,直接将扰动绘制在人脸上,大大提升了对抗扰动的隐蔽性。且边缘特征形式的对抗扰动相较于带有细节的对抗样本,这种方式绘制得到对抗样本的难度更低,且引入的非活体成本更少,更难被神经网络模型检测出。通过提升对抗样本中对抗扰动的隐蔽性,以及减少对抗样本中的非活体成分,从而提高对抗样本被检测出的难度,进而提高对抗样本识别模型的性能。
204、利用对抗图案样本训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛,得到对抗样本识别模型。
在利用第二对抗扰动图案的边缘特征和人脸图案获取到对抗图案样本后,就可以将对抗图案样本作为训练集来进行模型训练。具体地,可以利用对抗图案样本训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛,此时认为训练后的对抗样本识别模型满足要求,可以停止训练,得到对抗样本识别模型。
本申请实施例中提供一种对抗样本识别模型训练方法,首先获取待测试的人脸图案,并根据人脸图案确定第一对抗扰动图案;对第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定第二对抗扰动图案的边缘特征;根据第二对抗扰动图案的边缘特征和人脸图案,确定对抗图案样本;利用对抗图案样本训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛。本申请通过首先获取对抗扰动图案的边缘特征,再将对抗扰动图案的边缘特征与待测试的人脸图案结合,得到最终的对抗图案样本,并利用对抗图案样本训练对抗样本识别模型。通过加强边缘特征,使得在训练对抗样本识别模型的过程中,可以聚焦于对抗样本的边缘区域,对抗样本识别模型更容易收敛,从而提高对抗样本识别模型的训练效率和性能。
在本申请一些实施方式中,通过训练得到对抗样本识别模型可以包括:
401、将对抗图案样本带入初始对抗样本识别模型,得到对抗图案样本的对抗特征。
402、获取对抗图案样本的目标对抗特征,并根据目标对抗特征与对抗特征确定对抗图案样本的对抗特征损失值。
403、判断对抗特征损失值是否不大于预设损失值阈值。
本申请中存在一个初始对抗样本识别模型,可以利用前面获取的对抗图案样本对初始对抗样本识别模型进行训练,得到性能更好的对抗样本识别模型。首先需要将对抗图案样本输入初始对抗样本识别模型中,得到对抗图案样本的对抗特征fadv。
在利用初始对抗样本识别模型确定了对抗图案样本的对抗特征后,还需要根据对抗特征计算对抗特征损失值,主要是计算对抗特征fadv和目标对抗特征ftar之间的差异。其中,目标对抗特征ftar是人为标注的第二对抗扰动图案中的特征。计算得到对抗特征损失值后,还需要判断对抗特征损失值是否大于预设损失值阈值,若是不大于预设损失值阈值,则可以确定此次训练得到的神经网络模型已经满足要求,可以停止训练。
404、若对抗特征损失值大于预设损失值阈值,则根据边缘特征确定第二对抗扰动图案的边缘区域权重矩阵。
405、根据边缘区域权重矩阵更新第一对抗扰动图案,得到新的第一对抗扰动图案。
若是对抗特征损失值大于预设损失值阈值,则说明此次训练得到神经网络模型尚未收敛,还需要调整神经网络模型中的参数以及获取新的训练样本,并对神经网络模型重新进行训练。
对于本申请实施例来说,需要获取新的训练样本重新进行训练;而获取新的训练样本可以通过梯度矩阵和权重矩阵确定。具体地,首先根据边缘此轮训练得到的边缘特征确定第二对抗扰动图案的边缘区域权重矩阵;这是因为本申请中主要关注图案的边缘区域以及对应的边缘特征,因此获取的是边缘区域权重矩阵。还需要根据边缘区域权重矩阵更新初始的对抗样本,即更新第一对抗扰动图案,得到新的对抗扰动图案。
在上述实施例中,还需要获取第一对抗扰动图案对应的初始梯度矩阵,具体可以通过梯度回传实现,具体步骤可以参考现有技术此处不做限定。再根据边缘区域权重矩阵更新初始梯度矩阵,得到新的梯度矩阵;根据新的梯度矩阵更新第一对抗扰动图案,得到新的第一对抗扰动图案。其中,更新后的梯度矩阵就是新的第一对抗扰动图案对应的梯度矩阵,因此可以利用新的梯度矩阵更新第一对抗扰动图案,反向得到新的第一对抗扰动图案。
在一个具体实施例中,可以对边缘特征做高斯模糊,得到边缘区域权重矩阵W,具体可以为:W=Gaussian Blur(E),再获取此时的第一对抗扰动图案的梯度矩阵G;用边缘区域权重矩阵W和梯度矩阵G做数量积,得到加权后的新的梯度矩阵G′,具体如下:
G′=W⊙G
需要说明的是,上述实施例中的梯度矩阵是针对整个对抗扰动图案来说的,而不是对抗扰动图案中的边缘区域。
406、根据新的第一对抗扰动图案,重新训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛,得到对抗样本识别模型。
在获取了新的第一对抗扰动图案后,就可以重新对新的第一对抗扰动图案进行锐化,得到边缘区域增强后的新的第二对抗扰动图案;并利用边缘特征提取模块对新的第二对抗扰动图案进行特征提取和去噪,得到新的边缘特征。同样利用新的边缘特征对模型进行训练,得到新的对抗特征fadv,并再次计算损失值以及判断损失值是否不大于损失值阈值。若是损失值大于损失值阈值,则获取此时的第一对抗扰动图案的新的边缘区域权重矩阵W和新的梯度矩阵,再重新计算得到又一个新的梯度矩阵,并再次更新第一对抗扰动图案。其中,更新第一对抗扰动图案是一个逐步的过程,每一次更新都是在上一次更新得到的第一对抗扰动图案的基础上进行更新的,而不是在第一次获取的第一对抗扰动图案的基础上更新;同理对于边缘区域权重矩阵W来说也是获取最新的第一扰动图案的边缘区域权重矩阵,以及在最新的梯度矩阵的基础上再次更新梯度矩阵。
如图5所示,为本申请实施例提供的对抗样本识别模型的一个实施例完整流程示意图。在图5中首先需要获取待测试的人脸图案,根据人脸图案确定新的对抗样本;将新的对抗样本带入初始对抗样本识别模型中,识别出此时的对抗样本的对抗特征。计算对抗特征与目标对抗特征之间的损失值,以判断是否需要重新训练模型。若是损失值大于预设损失值阈值,则可以利用边缘注意力机制得到新的对抗样本对应的梯度矩阵,并将新的梯度矩阵放入优化器中以更新原有的第一对抗扰动图案,得到新的第一对抗扰动图案。同样地,对新的第一对抗扰动图案进行锐化以及边缘特征提取处理,得到新的边缘特征,再利用新的边缘特征得到新的对抗样本,重新对模型进行训练,直至模型收敛,结束训练,得到最终的对抗样本识别模型。
为便于更好的实施本申请实施例提供的对抗样本识别模型训练方法,本申请实施例还提供一种基于上述对抗样本识别模型训练方法的装置。其中名词的含义与上述对抗样本识别模型训练方法中相同,具体实现细节可以参考方法实施例中的说明。
如图6所示,为本申请实施例提供的对抗样本识别模型训练装置的一个实施例示意图,可以包括:
图像获取模块601,用于获取待测试的人脸图案,并根据人脸图案确定第一对抗扰动图案。
边缘特征提取模块602,用于对第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定第二对抗扰动图案的边缘特征。
对抗图案样本生成模块603,用于根据第二对抗扰动图案的边缘特征和人脸图案,确定对抗图案样本。
模型训练模块604,用于利用对抗图案样本训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛,得到对抗样本识别模型。
本申请实施例中提供一种对抗样本识别模型训练装置,首先获取待测试的人脸图案,并根据人脸图案确定第一对抗扰动图案;对第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定第二对抗扰动图案的边缘特征;根据第二对抗扰动图案的边缘特征和人脸图案,确定对抗图案样本;利用对抗图案样本训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛。本申请通过首先获取对抗扰动图案的边缘特征,再将对抗扰动图案的边缘特征与待测试的人脸图案结合,得到最终的对抗图案样本,并利用对抗图案样本训练对抗样本识别模型。通过加强边缘特征,使得在训练对抗样本识别模型的过程中,可以聚焦于对抗样本的边缘区域,对抗样本识别模型更容易收敛,从而提高对抗样本识别模型的训练效率和性能。
在本申请一些实施方式中,边缘特征提取模块602具体可用于:
对第一对抗扰动图案进行锐化处理,得到锐化后的第二对抗扰动图案;
利用预设边缘特征提取模型对第二对抗扰动图案进行边缘特征提取,得到初始边缘特征;
去除初始边缘特征中的噪声,得到第二对抗扰动图案的边缘特征。
在本申请一些实施方式中,对抗图案样本生成模块603具体可用于:计算第二对抗扰动图案的边缘特征与人脸图案之间的数量积,得到对抗图案样本。
在本申请一些实施方式中,模型训练模块604具体可用于:将对抗图案样本带入初始对抗样本识别模型,得到对抗图案样本的对抗特征;
获取对抗图案样本的目标对抗特征,并根据所目标对抗特征与对抗特征确定对抗图案样本的对抗特征损失值。
在本申请一些实施方式中,模型训练模块604具体可用于:
判断对抗特征损失值是否不大于预设损失值阈值;
若对抗特征损失值大于预设损失值阈值,则根据边缘特征确定第二对抗扰动图案的边缘区域权重矩阵;
根据边缘区域权重矩阵更新第一对抗扰动图案,得到新的第一对抗扰动图案;
根据新的第一对抗扰动图案,重新训练预设的初始对抗样本识别模型,直至初始对抗样本识别模型收敛,得到对抗样本识别模型。
在本申请一些实施方式中,模型训练模块604具体可用于:
获取第一对抗扰动图案对应的初始梯度矩阵;
根据边缘区域权重矩阵更新初始梯度矩阵,得到新的梯度矩阵;
根据新的梯度矩阵更新第一对抗扰动图案,得到新的第一对抗扰动图案。
在本申请一些实施方式中,模型训练模块604具体可用于:
计算边缘区域权重矩阵和初始梯度矩阵之间的数量积,得到新的梯度矩阵。
本申请实施例还提供一种电子设备,如图7所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器701是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器702内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器701可包括一个或多个处理核心;优选的,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作存储介质、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作存储介质、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。
电子设备还包括给各个部件供电的电源703,优选的,电源703可以通过电源管理存储介质与处理器701逻辑相连,从而通过电源管理存储介质实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电存储介质、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元704,该输入单元704可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器701会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中,并由处理器701来运行存储在存储器702中的应用程序,从而实现上述对抗样本识别模型训练方法实施例中的步骤。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种对抗样本识别模型训练方法中的步骤。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种对抗样本识别模型训练方法中的步骤,因此,可以实现本申请实施例所提供的任一种对抗样本识别模型训练方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
当本申请实施例中计算设备为终端设备时,本申请实施例还提供了一种终端设备,如图8所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、销售终端设备(Point of Sales,POS)、车载电脑等任意终端设备,以终端设备为手机为例:
图8示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图8,手机包括:射频(Radio Frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图8中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier,LNA)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General PacketRadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(LiquidCrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图8中,触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一手机,或者将音频数据输出至存储器1020以便进一步处理。
Wi-Fi属于短距离无线传输技术,手机通过Wi-Fi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了Wi-Fi模块1070,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理单元;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池),可选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。在本申请实施例中,该手机所包括的处理器1080还具有控制执行以上由视频鉴伪装置执行的对抗样本识别模型训练方法流程。
本申请实施例还提供了一种服务器,请参阅图9,图9是本申请实施例提供的一种服务器结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(英文全称:central processing units,英文简称:CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图中未示出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等等。
上述实施例中对抗样本识别模型训练方法中的步骤可以基于该图9所示的服务器1100的结构。例如,所述中央处理器1122通过调用存储器1132中的指令,执行以下操作:
获取待测试的人脸图案,并根据所述人脸图案确定第一对抗扰动图案;对所述第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定所述第二对抗扰动图案的边缘特征;根据所述第二对抗扰动图案的边缘特征和所述人脸图案,确定对抗图案样本;利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍,本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请实施例的限制。
Claims (10)
1.一种对抗样本识别模型训练方法,其特征在于,所述方法包括:
获取待测试的人脸图案,并根据所述人脸图案确定第一对抗扰动图案;
对所述第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定所述第二对抗扰动图案的边缘特征;
根据所述第二对抗扰动图案的边缘特征和所述人脸图案,确定对抗图案样本;
利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
2.根据权利要求1所述的对抗样本识别模型训练方法,其特征在于,所述对所述第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定所述第二对抗扰动图案的边缘特征,包括:
对所述第一对抗扰动图案进行锐化处理,得到锐化后的第二对抗扰动图案;
利用预设边缘特征提取模型对所述第二对抗扰动图案进行边缘特征提取,得到初始边缘特征;
去除所述初始边缘特征中的噪声,得到所述第二对抗扰动图案的边缘特征。
3.根据权利要求1所述的对抗样本识别模型训练方法,其特征在于,所述根据所述第二对抗扰动图案的边缘特征和所述人脸图案,确定对抗图案样本,包括:
计算所述第二对抗扰动图案的边缘特征与所述人脸图案之间的数量积,得到所述对抗图案样本。
4.根据权利要求1所述的对抗样本识别模型训练方法,其特征在于,所述利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型,包括:
将所述对抗图案样本带入所述初始对抗样本识别模型,得到所述对抗图案样本的对抗特征;
获取所述对抗图案样本的目标对抗特征,并根据所述目标对抗特征与所述对抗特征确定所述对抗图案样本的对抗特征损失值。
5.根据权利要求4所述的对抗样本识别模型训练方法,其特征在于,所述利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型,还包括:
判断所述对抗特征损失值是否不大于预设损失值阈值;
若所述对抗特征损失值大于预设损失值阈值,则根据所述边缘特征确定所述第二对抗扰动图案的边缘区域权重矩阵;
根据所述边缘区域权重矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案;
根据新的第一对抗扰动图案,重新训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
6.根据权利要求5所述的对抗样本识别模型训练方法,其特征在于,所述根据所述边缘区域权重矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案,包括:
获取所述第一对抗扰动图案对应的初始梯度矩阵;
根据所述边缘区域权重矩阵更新所述初始梯度矩阵,得到新的梯度矩阵;
根据新的梯度矩阵更新所述第一对抗扰动图案,得到新的第一对抗扰动图案。
7.根据权利要求6所述的对抗样本识别模型训练方法,其特征在于,所述根据所述边缘区域权重矩阵更新所述初始梯度矩阵,得到新的梯度矩阵,包括:
计算所述边缘区域权重矩阵和所述初始梯度矩阵之间的数量积,得到新的梯度矩阵。
8.一种对抗样本识别模型训练装置,其特征在于,所述训练装置包括:
图像获取模块,用于获取待测试的人脸图案,并根据所述人脸图案确定第一对抗扰动图案;
边缘特征提取模块,用于对所述第一对抗扰动图案进行处理,得到第二对抗扰动图案并确定所述第二对抗扰动图案的边缘特征;
对抗图案样本生成模块,用于根据所述第二对抗扰动图案的边缘特征和所述人脸图案,确定对抗图案样本;
模型训练模块,用于利用所述对抗图案样本训练预设的初始对抗样本识别模型,直至所述初始对抗样本识别模型收敛,得到所述对抗样本识别模型。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的对抗样本识别模型训练方法中的步骤。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的对抗样本识别模型训练方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311368875.2A CN117671755A (zh) | 2023-10-20 | 2023-10-20 | 对抗样本识别模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311368875.2A CN117671755A (zh) | 2023-10-20 | 2023-10-20 | 对抗样本识别模型训练方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117671755A true CN117671755A (zh) | 2024-03-08 |
Family
ID=90083449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311368875.2A Pending CN117671755A (zh) | 2023-10-20 | 2023-10-20 | 对抗样本识别模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117671755A (zh) |
-
2023
- 2023-10-20 CN CN202311368875.2A patent/CN117671755A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209423B (zh) | 一种基于电子相册的图像管理方法、装置以及存储介质 | |
CN114387647B (zh) | 对抗扰动生成方法、装置及存储介质 | |
JP6553747B2 (ja) | 人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体 | |
CN116310745B (zh) | 图像处理方法、数据处理方法、相关装置及存储介质 | |
CN115937638B (zh) | 模型训练方法、图像处理方法、相关装置及存储介质 | |
CN110555171A (zh) | 一种信息处理方法、装置、存储介质及系统 | |
CN114722937A (zh) | 一种异常数据检测方法、装置、电子设备和存储介质 | |
CN116486463B (zh) | 图像处理方法、相关装置及存储介质 | |
CN115239941B (zh) | 对抗图像生成方法、相关装置及存储介质 | |
CN117332844A (zh) | 对抗样本生成方法、相关装置及存储介质 | |
CN117671755A (zh) | 对抗样本识别模型训练方法、装置、电子设备及存储介质 | |
CN115412726B (zh) | 视频真伪检测方法、装置及存储介质 | |
CN114943639B (zh) | 图像获取方法、相关装置及存储介质 | |
CN116308978B (zh) | 视频处理方法、相关装置及存储介质 | |
CN111756705B (zh) | 活体检测算法的攻击测试方法、装置、设备及存储介质 | |
CN117079356A (zh) | 一种对象鉴伪模型构建方法、虚假对象检测方法及装置 | |
CN114499903B (zh) | 一种人脸识别场景中的数据传输方法以及相关装置 | |
CN117237228A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN117788972A (zh) | 对抗防御样本生成方法、装置、电子设备及存储介质 | |
CN117742522A (zh) | 终端触控优化方法、装置、电子设备及存储介质 | |
CN116935172A (zh) | 图像处理方法、相关装置及存储介质 | |
CN117765349A (zh) | 对抗样本的生成方法、相关装置及存储介质 | |
CN117058567A (zh) | 视频鉴伪方法、相关装置及存储介质 | |
CN116363490A (zh) | 伪造对象检测方法、相关装置及存储介质 | |
CN117132851A (zh) | 一种对抗补丁处理方法、相关装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |