CN116071581A - 对抗攻击图像的识别及其识别模型的训练方法、系统 - Google Patents

对抗攻击图像的识别及其识别模型的训练方法、系统 Download PDF

Info

Publication number
CN116071581A
CN116071581A CN202211686235.1A CN202211686235A CN116071581A CN 116071581 A CN116071581 A CN 116071581A CN 202211686235 A CN202211686235 A CN 202211686235A CN 116071581 A CN116071581 A CN 116071581A
Authority
CN
China
Prior art keywords
image
feature
risk
risk feature
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211686235.1A
Other languages
English (en)
Inventor
曹佳炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202211686235.1A priority Critical patent/CN116071581A/zh
Publication of CN116071581A publication Critical patent/CN116071581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种对抗攻击图像的识别及其识别模型的训练方法、系统,其中,对抗攻击图像的识别方法包括:获取待识别的目标图像,获取目标图像对应的风险特征并确定风险特征的类型,所述风险特征的类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使目标图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;进而,基于所述风险特征的类型,确定所述目标图像是否为对抗攻击图像。该方案能够从风险特征的引入因素(真性/假性)角度,识别目标图像是否为对抗攻击图像,从而提高了对于对抗攻击图像的识别准确率。

Description

对抗攻击图像的识别及其识别模型的训练方法、系统
技术领域
本说明书涉及图像识别技术领域,尤其涉及一种对抗攻击图像的识别及其识别模型的训练方法、系统。
背景技术
随着互联网技术的飞速发展,生物特征识别(例如人脸识别)的应用范围也越来越广泛。以人脸识别场景为例,在实际应用中,人脸识别系统可能会受到对抗攻击的挑战。其中,对抗攻击是一种对图像本身或者对图像的采集过程进行攻击的技术手段,使得人脸识别系统发生误判。例如,假设用户A的人脸区域粘贴有对抗贴纸的情况下,人脸识别系统对用户A的人脸图像进行识别时,可能将用户A识别为用户B,这会导致人脸识别系统的安全性降低。因此,人脸识别系统需要具有对抗攻击图像的识别能力。
一些相关技术为了识别对抗攻击图像,可以预先利用样本图像(包括对抗攻击图像和正常人脸图像)训练得到图像分类器。人脸识别系统采集到人脸图像后,将人脸图像输入图像分类器,以检测该人脸图像是否为对抗攻击图像。若是对抗攻击图像,则过滤该人脸图像,不再进行后续的人脸识别流程。然而,实际应用中发现,上述图像分类器对于对抗攻击图像的识别准确率不高,例如,可能会将正常人脸图像识别为对抗攻击图像,导致正常用户无法完成人脸识别流程。
发明内容
本说明书提供一种对抗攻击图像的识别及其识别模型的训练方法、系统,能够提高对抗攻击图像的识别准确率。
第一方面,本说明书提供一种对抗攻击图像的识别方法,包括:获取待识别的目标图像;获取所述目标图像对应的风险特征并确定所述风险特征的类型,所述风险特征的类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使所述目标图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;以及基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像。
在一些实施例中,所述方法还包括:对所述目标图像进行初分类,确定所述目标图像的初分类结果,所述初分类结果指示所述目标图像是否为所述对抗攻击图像;以及所述基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像,包括:基于所述风险特征的类型和所述初分类结果,确定所述目标图像是否为所述对抗攻击图像。
在一些实施例中,所述基于所述风险特征的类型和所述初分类结果,确定所述目标图像是否为所述对抗攻击图像,包括:在所述初分类结果指示所述目标图像为所述对抗攻击图像时,基于所述风险特征的类型从第一操作和第二操作中择一执行,其中,所述第一操作包括:确定所述风险特征的类型为所述假性风险特征,则确定所述目标图像不是所述对抗攻击图像,以及所述第二操作包括:确定所述风险特征的类型为所述真性风险特征,则确定所述目标图像是所述对抗攻击图像。
在一些实施例中,所述基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像,包括:基于所述风险特征的类型,从第一操作和第二操作中择一执行,其中,所述第一操作包括:确定所述风险特征的类型为所述假性风险特征,则确定所述目标图像不是所述对抗攻击图像,以及所述第二操作包括:确定所述风险特征的类型为所述真性风险特征,则确定所述目标图像是所述对抗攻击图像。
在一些实施例中,获取所述目标图像对应的风险特征并确定所述风险特征的类型,包括:通过预先训练的对抗攻击图像识别模型,获取所述目标图像对应的风险特征并确定所述风险特征的类型,其中,所述对抗攻击图像识别模型是利用样本图像和所述样本图像的标注信息训练得到的,所述标注信息包括:所述样本图像的标注风险特征和所述标注风险特征的标注类型,所述标注类型包括所述假性风险特征或所述真性风险特征。
在一些实施例中,所述对抗攻击图像识别模型包括:特征提取网络、风险特征感知网络和风险特征分类网络;以及通过对抗攻击图像识别模型获取所述目标图像对应的风险特征并确定所述风险特征的类型,包括:通过所述特征提取网络对所述目标图像进行特征提取,得到图像特征,通过所述风险特征感知网络对所述图像特征进行感知处理,得到所述风险特征,以及通过所述风险特征分类网络对所述风险特征进行分类处理,以确定所述风险特征的类型。
在一些实施例中,所述风险特征包括多个特征维度的子特征;以及通过所述风险特征分类网络对所述风险特征进行分类处理,以确定所述风险特征的类型,包括:通过所述风险特征分类网络对所述多个特征维度的子特征分别进行分类处理,得到每个特征维度的子特征为假性风险特征的概率,以及基于所述多个特征维度的子特征各自对应的所述概率,确定所述风险特征的类型。
在一些实施例中,所述对抗攻击图像识别模型还包括图像分类网络;在通过所述特征提取网络对所述目标图像进行特征提取,得到图像特征之后,所述方法还包括:通过所述图像分类网络对所述图像特征进行初分类处理,得到所述目标图像的初分类结果,所述初分类结果指示所述目标图像是否为所述对抗攻击图像;以及所述基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像,包括:基于所述风险特征的类型和所述初分类结果,确定所述目标图像是否为所述对抗攻击图像。
在一些实施例中,所述目标图像为包含生物特征的图像,所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。
在一些实施例中,所述风险特征包括下述中的至少一项:所述目标图像中所述生物特征对应区域的颜色信息,所述目标图像中所述生物特征对应区域的纹理信息,所述目标图像中所述生物特征对应区域的模糊信息,所述目标图像中所述生物特征对应区域的亮度信息,所述目标图像中所述生物特征对应区域的妆容信息,以及所述目标图像中所述生物特征对应区域的被遮挡信息。
第二方面,本说明书还提供一种对抗攻击图像识别模型的训练方法,包括:获取训练样本集合,所述训练样本集合包括:多个样本图像和每个所述样本图像的第一标注信息,所述第一标注信息包括:所述样本图像对应的第一标注风险特征、以及所述第一标注风险特征的标注类型,所述标注类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使所述样本图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;通过预设模型获取所述样本图像对应的第一预测风险特征,并确定所述第一预测风险特征的预测类型;根据所述第一预测风险特征、所述第一预测风险特征的预测类型、所述第一标注风险特征、所述第一标注风险特征的标注类型,对所述预设模型进行迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到所述对抗攻击图像识别模型。
在一些实施例中,所述预设模型包括:特征提取网络、风险特征感知网络和风险特征分类网络;以及所述通过预设模型获取所述样本图像对应的第一预测风险特征,并确定所述第一预测风险特征的预测类型,包括:通过所述特征提取网络对所述样本图像进行特征提取,得到预测图像特征,通过所述风险特征感知网络对所述预测图像特征进行感知处理,得到所述第一预测风险特征,以及通过所述风险特征分类网络对所述第一预测风险特征进行分类处理,得到所述第一预测风险特征的预测类型。
在一些实施例中,对所述预设模型进行迭代训练,包括:根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络和所述风险特征感知网络进行第一迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到训练后的所述特征提取网络和所述风险特征感知网络;以及根据所述第一预测风险特征的预测类型和所述第一标注风险特征的标注类型,对所述风险特征分类网络进行第二迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到训练后的所述风险特征分类网络。
在一些实施例中,所述第一标注信息还包括:所述样本图像的标注图像类型,所述标注图像类型为所述对抗攻击图像或正常图像;所述预设模型还包括图像分类网络,在通过所述特征提取网络对所述样本图像进行特征提取,得到预测图像特征之后,所述方法还包括:通过所述图像分类网络基于所述预测图像特征对所述样本图像进行分类处理,得到所述样本图像的预测图像类型;以及所述根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络和所述风险特征感知网络进行第一迭代训练,包括:根据所述第一预测风险特征、所述第一标注风险特征、所述预测图像类型、以及所述标注图像类型,对所述特征提取网络和所述风险特征感知网络进行所述第一迭代训练。
在一些实施例中,根据所述第一预测风险特征、所述第一标注风险特征、所述预测图像类型、以及所述标注图像类型,对所述特征提取网络和所述风险特征感知网络进行所述第一迭代训练,包括:基于所述预测风险特征和所述标注风险特征之间的差异,确定第一损失函数;基于所述预测图像类型和所述标注图像类型之间的差异,确定第二损失函数;基于所述第一损失函数和所述第二损失函数,确定第一目标损失函数;以及以最小化所述第一目标损失函数为训练目标,调整所述特征提取网络和所述风险特征感知网络的网络参数。
在一些实施例中,所述根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络和所述风险特征感知网络进行第一迭代训练,包括交替执行如下步骤:固定所述特征提取网络的网络参数,根据所述第一预测风险特征和所述第一标注风险特征,对所述风险特征感知网络的网络参数进行N轮调整;以及固定所述风险特征感知网络的网络参数,根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络的网络参数进行M轮调整。
在一些实施例中,根据所述第一预测风险特征的预测类型和所述第一标注风险特征的标注类型,对所述风险特征分类网络进行第二迭代训练,包括:基于所述第一预测风险特征的预测类型和所述第一标注风险特征的标注类型之间的差异,确定第二目标损失函数;以及以最小化所述第二目标损失函数为训练目标,调整所述风险特征分类网络的网络参数,直至所述风险特征分类网络收敛。
在一些实施例中,所述训练样本集合是采用如下方式得到的:在目标场景下进行图像采集,并将采集到的图像作为所述样本图像;获取已训练的多个专家模型,并分别利用每个所述专家模型对所述样本图像进行识别处理,得到所述样本图像的候选风险特征、以及所述候选风险特征的候选类型;根据所述多个专家模型各自识别得到的所述候选风险特征,确定所述样本图像对应的所述第一标注风险特征;以及根据所述多个专家模型各自识别得到的所述候选风险特征的候选类型,确定所述第一标注风险特征的标注类型。
在一些实施例中,在得到所述对抗攻击图像识别模型之后,所述方法还包括:从所述多个样本图像中获取至少一个目标样本图像,所述目标样本图像被所述对抗攻击图像识别模型识别为所述对抗攻击图像;获取所述目标样本图像的第二标注信息,所述第二标注信息包括:所述目标样本图像对应的第二标注风险特征、以及所述第二标注风险特征的标注类型,所述第二标注信息的置信度高于所述第一标注信息的置信度;通过所述对抗攻击图像识别模型获取所述目标样本图像对应的第二预测风险特征,并确定所述第二预测风险特征的预测类型;以及根据所述第二预测风险特征、所述第二预测风险特征的预测类型、所述第二标注风险特征、所述第二标注风险特征的标注类型,对所述对抗攻击图像识别模型进行微调训练,得到微调后的对抗攻击图像识别模型。
在一些实施例中,所述样本图像为包含生物特征的图像,所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。
在一些实施例中,所述第一标注风险特征包括下述中的至少一项:所述样本图像中所述生物特征对应区域的颜色信息,所述样本图像中所述生物特征对应区域的纹理信息,所述样本图像中所述生物特征对应区域的模糊信息,所述样本图像中所述生物特征对应区域的亮度信息,所述样本图像中所述生物特征对应区域的妆容信息,以及所述样本图像中所述生物特征对应区域的被遮挡信息。
由以上技术方案可知,本说明书提供的对抗攻击图像的识别及其识别模型的训练方法、系统,其中,对抗攻击图像的识别方法包括:获取待识别的目标图像,获取目标图像对应的风险特征并确定风险特征的类型,所述风险特征的类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使目标图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;进而,基于所述风险特征的类型,确定所述目标图像是否为对抗攻击图像。该方案通过获取目标图像对应的风险特征并确定风险特征的类型,使得能够从风险特征的引入因素(真性/假性)角度,识别目标图像是否为对抗攻击图像,从而提高了对于对抗攻击图像的识别准确率。
本说明书提供的对抗攻击图像的识别及其识别模型的训练方法、系统的其他功能将在以下说明中部分列出。本说明书提供的对抗攻击图像的识别及其识别模型的训练方法、系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的实施例提供的一种图像识别应用场景示意图;
图2示出了根据本说明书的实施例提供的一种计算设备的硬件结构图;
图3示出了根据本说明书的实施例提供的一种图像识别方法的流程图;
图4示出了根据本说明书的实施例提供的一种对抗攻击图像识别模型的网络结构示意图;
图5示出了根据本说明书的实施例提供的一种识别模型的训练方法的流程图;以及
图6示出了根据本说明书的实施例提供的一种识别模型的训练过程的示意图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
为了方便描述,本说明书将对以下描述将会出现的术语进行如下解释:
对抗攻击:是一种对图像本身或者对图像的采集过程进行攻击的技术手段,通过该技术手段能够使得图像识别系统发生误判。以人脸识别场景为例,例如,可以在用户A的人脸区域粘贴对抗贴纸或者穿戴对抗眼镜(通常面积较小,一般在人脸的50%以下),并对用户A进行人脸采集得到人脸图像。该人脸图像被人脸识别系统进行人脸识别时,会将用户A识别为用户B。又例如,还可以对用户A的人脸图像添加一些扰动,使得人脸识别系统对该扰动后的人脸图像进行人脸识别时,将用户A识别为用户B。
对抗攻击图像:表示一种图像类型。在本申请中将经受过对抗攻击的图像称为对抗攻击图像,将没有经受过对抗攻击的图像称为非对抗攻击图像或正常图像。
在对本说明书具体实施例说明之前,先对本说明书的应用场景进行如下介绍:
本说明书提供的对抗攻击图像的识别方法(后文简称图像识别方法)可以应用在需要进行身份验证的场景中,比如,基于人脸的身份识别场景,或者基于其他生物特征的身份识别场景。当确定目标图像不是对抗攻击图像(即没有经受过对抗攻击图像)时,才对目标图像进行下一步的身份验证流程。其中,对抗攻击图像的识别方法可以视为一种图像分类方法,可以将图像分类为对抗攻击图像或非对抗攻击图像,应用于需要识别图像是否经受过对抗攻击的任意场景。例如,在人脸识别(例如人脸支付、人脸门禁、人脸考勤等)场景中,在采集到人脸图像后,可以采用本说明书提供的对抗攻击图像的识别方法对人脸图像进行识别,以确定该人脸图像是否为对抗攻击图像。若不是对抗攻击图像,则继续执行后续的人脸识别流程,若是对抗攻击图像,则无需执行后续的人脸识别流程,从而提高人脸识别的安全性。在本申请中,对抗攻击图像的识别方法也可以称为对抗攻击的检测方法。
需要说明的是,上述人脸识别场景只是本说明是提供的多个使用场景中的一个,本说明书提供的对抗攻击图像的识别方法不仅可以应用于人脸识别场景,还可以应用于基于生物特征进行图像识别的所有场景。本领域技术人员应当明白,本说明书所述的对抗攻击图像的识别方法应用于其他使用场景也在本说明书的保护范围内。
图1示出了根据本说明书的实施例提供的一种图像识别应用场景示意图。图像识别系统001(以下简称系统001)可以应用于任意场景的图像识别,比如,基于人脸支付场景下的图像识别、基于人脸门禁场景的图像识别、基于人脸考勤场景的图像识别,等等,如图1所示,系统001可以包括目标用户100、客户端200、服务器300以及网络400。
目标用户100可以为触发对抗攻击图像识别的用户,目标用户100可以在客户端200上进行操作以触发对抗攻击图像的识别流程。例如,目标用户100可以在支付服务中,通过一系列操作进入到刷脸支付环节,或者,在门禁场景中,通过将人脸置于人脸检测范围内,或者,在信息查询类场景中,通过一系列操作进入到刷脸验证环节,从而触发对抗攻击图像的识别功能。
客户端200可以为具有图像采集模组的设备。客户端200可以响应于目标用户100的操作而通过图像采集模组采集得到目标图像(例如人脸图像)。在一些实施例中,所述对抗攻击图像的识别方法可以在客户端200上执行,此时,客户端200可以存储有执行本说明书描述的图像识别方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,对抗攻击图像识别模型的训练方法(后文简称识别模型的训练方法)可以在客户端200上执行,此时,客户端200可以存储有执行本说明书描述的识别模型的训练方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,客户端200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示,客户端200可以与服务器300进行通信连接。在一些实施例中,服务器300可以与多个客户端200进行通信连接。在一些实施例中,客户端200可以通过网络400与服务器300交互,以接收或发送消息等,比如接收或发送人脸图像或人脸特征,例如二维特征和/或三维特征。在一些实施例中,客户端200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容,或其任意组合。在一些实施例中,所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备,或其任意组合。在一些实施例中,所述智能家居设备可包括智能电视、台式电脑等,或任意组合。在一些实施例中,所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等,或其任意组合。在一些实施例中,所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容,或其中的任何组合。例如,所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中,所述机动车辆的内置设备可包括车载计算机、车载电视等。在一些实施例中,客户端200中的图像采集模组可以是二维图像采集模组(比如RGB摄像头),也可以是二维图像采集模组(比如RGB摄像头)和深度图像采集模组(比如3D结构光摄像头、激光探测器,等等)相结合的混合模组。在一些实施例中,客户端200可以是具有定位技术的设备,用于定位客户端200的位置。
在一些实施例中,客户端200可以安装有一个或多个应用程序(APP)。所述APP能够为目标用户100提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于:网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中,客户端200上可以安装有目标APP。所述目标APP能够指示图像采集模组对目标用户100进行图像/视频采集,从而得到目标图像。在一些实施例中,所述目标用户100可以通过所述目标APP触发对抗攻击图像的识别请求,所述目标APP可以响应于所述请求,执行本说明书描述的图像识别方法。在一些实施例中,所述目标用户100可以通过目标APP触发识别模型的训练请求,所述目标APP可以响应于该请求,执行本说明书描述的识别模型的训练方法。所述图像识别方法以及识别模型的训练方法将在后面的内容中详细介绍。
服务器300可以是提供各种服务的服务器,例如对客户端200上采集的目标图像提供对抗攻击图像识别支持的后台服务器。在一些实施例中,图像识别方法可以在服务器300上执行,此时,服务器300可以存储有执行本说明书描述的图像识别方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,识别模型的训练方法可以在服务器300上执行,此时,服务器300可以存储有执行本说明书描述的识别模型的训练方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,服务器300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。服务器300可以与多个客户端200通信连接,并接收客户端200发送的数据。服务器300可以本地服务器,也可以为云端服务器。
网络400用以在客户端200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示,客户端200和服务器300可以同网络400连接,并且通过网络400互相传输信息或数据。在一些实施例中,网络400可以是任何类型的有线或无线网络,也可以是其组合。比如,网络400可以包括电缆网络,有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。在一些实施例中,网络400可以包括一个或多个网络接入点。例如,网络400可以包括有线或无线网络接入点,如基站或互联网交换点,通过该接入点,客户端200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。
应该理解,图1中的客户端200、服务器300和网络400的数目仅仅是示意性的。根据实现需要,可以具有任意数目的客户端200、服务器300和网络400。
需要说明的是,本说明书提供的图像识别方法可以完全在客户端200上执行,也可以完全在服务器300上执行,还可以部分在客户端200上执行,部分在服务器300上执行。本说明书提供的识别模型的训练方法可以完全在客户端200上执行,也可以完全在服务器300上执行,还可以部分在客户端200上执行,部分在服务器300上执行。
图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。计算设备600可以执行本说明书描述的图像识别方法,或者执行本说明书描述的识别模型的训练方法。所述图像识别方法以及识别模型的训练方法在本说明书中的其他部分介绍。计算设备600可以对应图1中的客户端200,也可以对应图1中的服务器300,还可以同时对应图1中的客户端200和服务器300。
如图2所示,计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中,计算设备600还可以包括通信端口650和内部通信总线610。同时,计算设备600还可以包括I/O组件660。
内部通信总线610可以连接不同的系统组件,包括存储介质630、处理器620和通信端口650。
I/O组件660支持计算设备600和其他组件之间的输入/输出。
通信端口650用于计算设备600同外界的数据通信,比如,通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。
存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的图像识别方法/识别模型的训练方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时,至少一个处理器620读取所述至少一个指令集,并且根据所述至少一个指令集的指示,执行本说明书提供的图像识别方法/识别模型的训练方法。处理器620可以执行图像识别方法/识别模型的训练方法包含的步骤。处理器620可以是一个或多个处理器的形式,在一些实施例中,处理器620可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(RISC),专用集成电路(ASIC),特定于应用的指令集处理器(ASIP),中心处理单元(CPU),图形处理单元(GPU),物理处理单元(PPU),微控制器单元,数字信号处理器(DSP),现场可编程门阵列(FPGA),高级RISC机器(ARM),可编程逻辑器件(PLD),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中计算设备600中仅描述了一个处理器620。然而,应当注意,本说明书中计算设备600还可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本说明书中计算设备600的处理器620执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
图3示出了根据本说明书的实施例提供的一种图像识别方法P100的流程图。如前,计算设备600可以执行本说明书的图像识别方法P100。具体地,处理器620可以读取存储在其本地存储介质中的指令集,然后根据指令集的规定,执行本说明书描述的图像识别方法P100。如图3所示,方法P100可以包括:
S110:获取待识别的目标图像。
例如,目标图像可以为客户端200利用图像采集模组对目标用户100进行采集到的图像。目标图像可以为包含目标用户100的生物特征的图像。该目标图像可用于对目标用户100的身份信息进行识别或验证。在一些实施例中,上述生物特征可以包括人脸、指纹、掌纹或虹膜中的至少一种。也就是说,上述目标图像可以为人脸图像,或者,上述目标图像可以为指纹图像,或者,上述目标图像可以为掌纹图像,或者,上述目标图像可以为虹膜图像。
S120:获取所述目标图像对应的风险特征并确定所述风险特征的类型,所述风险特征的类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使所述目标图像以预设概率被分类为对抗攻击图像的特征,真性风险特征是指由对抗攻击引入的风险特征,假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征。
在本申请中,风险特征是目标图像的图像特征中的一部分特征,可以理解为可能使目标图像被分类为对抗攻击图像的特征。风险特征为大多数对抗攻击图像所具有的特征。在本申请的设计阶段,可以预先对大量的对抗攻击图像进行特征分析,统计出大多数对抗攻击图像通常在哪些特征维度具有特定的表现,进而将这些特征维度定义为风险元素。例如,对抗攻击图像的人脸区域的颜色、材质等通常不一致,因此,可以将人脸区域的颜色信息、人脸区域的纹理信息定义为风险元素。这样在S120中,处理器620可以基于预先定义的风险元素来获取目标图像对应的风险特征。
在本申请设计阶段,发明人在预先定义风险元素的过程中发现,一些元素(例如人脸局部区域的颜色一致性、人脸局部区域的材质一致性性)不仅会在对抗攻击图像中具有特定表现,也可能会在非对抗攻击图像(正常图像)中具有特定表现。例如,在人脸采集过程中,可能由于光学、饰品反光等原因导致人脸区域的颜色、材质等呈现不一致的情况。因此,在定义风险元素时,可以获取大量的对抗攻击图像,以及历史识别中被误识别为对抗攻击图像的正常图像,通过对这些对抗攻击图像和误识别的正常图像的图像特征进行综合分析,预先定义风险元素。应理解,基于这些风险元素能够较为全面的获取到目标图像中可能使目标图像被分类为对抗攻击图像的风险特征。也就是说,上述S120可以包括:处理器620基于预先定义的多个风险元素获取目标图像对应的风险特征,上述多个风险元素是基于对真正的对抗攻击图像和误识别为对抗攻击图像的正常图像进行特征分析得到的。
在一些实施例中,风险特征可以包括下述中的至少一项:
(1)所述目标图像中生物特征对应区域的颜色信息。例如,以目标图像为人脸图像为例,上述的颜色信息可以包括脸部不同局部区域(例如左半边脸和右半边脸,或者上半边脸和下半边脸等)之间的颜色是否一致,还可以包括不同局部区域之间的颜色一致程度/颜色不一致程度。
(2)所述目标图像中生物特征对应区域的纹理信息。例如,以目标图像为人脸图像为例,上述的纹理信息可以包括脸部不同局部区域(例如左半边脸和右半边脸,或者上半边脸和下半边脸等)之间的纹理是否一致,还可以包括不同局部区域之间的纹理一致程度/纹理不一致程度。
(3)所述目标图像中生物特征对应区域的模糊信息。例如,以目标图像为人脸图像为例,上述的模糊信息可以包括脸部是否存在局部模糊,还可以包括模糊的类型、模糊的程度等信息。其中,模糊的类型可以包括高斯模糊、动态模糊、和径向模糊等。
(4)所述目标图像中生物特征对应区域的亮度信息。例如,以目标图像为人脸图像为例,上述的亮度信息可以包括脸部是否存在局部过暗或过亮。其中,上述过暗可以是指亮度低于第一阈值,过亮可以是指亮度高于第二阈值。
(5)所述目标图像中生物特征对应区域的妆容信息。例如,以目标图像为人脸图像为例,上述的妆容信息可以包括脸部区域是否存在浓妆,还可以包括浓妆的类型、浓妆对应的器官部位等信息。
(6)所述目标图像中生物特征对应区域的被遮挡信息。例如,以目标图像为人脸图像为例,上述的被遮挡信息可以包括脸部是否存在被遮挡区域,还可以包括被遮挡区域的大小、被遮挡区域的位置、遮挡物的类型等信息。
如前所述,由于预先定义的风险元素是基于对真正的对抗攻击图像和误识别为对抗攻击图像的正常图像进行特征分析得到的,因此,基于上述风险元素在目标图像中获取的风险特征可能是由真正的对抗攻击引入的,也可能是由除对抗攻击之外的其他因素(例如光照、首饰反光等因素)引入的。本申请为了描述方便,引入风险特征的类型的概念,从风险特征的引入因素是否为对抗攻击的维度,将风险特征的类型划分为真性风险特征和假性风险特征。应理解,真性风险特征和假性风险特征均表示风险特性的类型。其中,真性风险特征是指由对抗攻击(即真正的对抗攻击技术,例如在脸部粘贴贴纸,或者在目标图像中添加扰动等因素)引入的风险特征,假性风险特征是指除由所述对抗攻击之外的其他因素(例如光照、首饰反光等因素)引入的风险特征。
举例说明,假设在用户A的人脸局部区域张贴对抗贴纸,对用户A进行人脸采集得到人脸图像。由于贴纸的影响,人脸图像中局部区域之间的纹理不一致。另外受到采集过程光照等因素的影响,人脸图像中局部区域之间的颜色不一致。对于该人脸图像而言,“局部区域之间的纹理不一致”是由于对抗攻击因素引入的,因此该风险特征的类型为真性风险特征,“局部区域之间的光照不一致”是由于光照等因素引入的,因此该风险特征的类型为假性风险特征。
S130:基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像。
在本申请中,由于风险特征的类型表征了该风险特征是否由真正的对抗攻击引入,因此,处理器620可以基于风险特征的类型,确定目标图像是否为对抗攻击图像。
在一些实施例中,处理器620可以基于风险特征的类型,在第一操作和第二操作中择一执行,其中,第一操作包括:若风险特征的类型为假性风险特征,则确定目标图像不是对抗攻击图像,第二操作包括:若风险特征的类型为真性风险特征,则确定目标图像是对抗攻击图像。
应理解,由于风险特征的类型表征了该风险特征是否由真正的对抗攻击引入,因此,上述实施例基于风险特征的类型来识别目标图像是否为对抗攻击图像,能够提高对于对抗攻击图像的识别准确率。具体而言,在风险特征由真正的对抗攻击引入的情况下,才将目标图像识别为对抗攻击图像,而在风险特征由其他因素引入的情况下,不会将目标图像识别为对抗攻击图像,能够避免将正常图像(即非对抗攻击图像)误识别为对抗攻击图像,从而避免对正常用户的身份验证流程造成打扰。
在一些实施例中,本说明书描述的图像识别方法P100还可以包括:S140:对目标图像进行初分类,确定目标图像的初分类结果,所述初分类结果指示目标图像是否为对抗攻击图像。例如,初分类结果可以包括:目标图像被分类为对抗攻击图像的概率。需要说明的是,本申请对于对目标图像进行初分类的方式不作限定。在一些实施例中,处理器620可以采用已训练的图像分类网络来对目标图像进行初分类,例如,处理器620将目标图像输入图像分类网络,图像分类网络通过对目标图像的特征进行分析,输出目标图像为对抗攻击图像的概率。该概率大于或等于预设阈值,表明目标图像被初分类为对抗攻击图像,该概率小于预设阈值,表明目标图像被分类为非对抗攻击图像。上述的图像分类网络可以为相关技术中的图像分类器,也可以为本说明书后文描述的对抗攻击图像识别模型中的图像分类网络。
需要说明的是,本申请对于S140和S120的执行顺序不作限定,S140可以先于S120执行,也可以在S120之后执行,还可以与S120并行执行。
处理器620通过执行S140得到目标图像的初分类结果、并通过执行S120得到风险特征的类型之后,在S130中,处理器620可以基于初分类结果和风险特征的类型,确定目标图像是否为对抗攻击图像。在一些实施例中,处理器620可以基于风险特征的类型对初分类结果进行修正,以确定目标图像是否为对抗攻击图像。由于风险特征的类型表征了该风险特征是否由真正的对抗攻击引入,因此,处理器620在目标图像的初分类结果的基础上,基于风险特征的类型对初分类结果进行修正,能够从风险特征的引入元素的角度,增加对识别结果的可解释性,从而提高对于对抗攻击图像的识别准确率。
在一些实施例中,基于风险特征的类型对初分类结果进行修正可以包括:在所述初分类结果指示目标图像为对抗攻击图像时,基于风险特征的类型从第一操作和第二操作中择一执行,其中,所述第一操作包括:若风险特征的类型为假性风险特征,则确定目标图像不是对抗攻击图像,第二操作包括:若风险特征的类型为真性风险特征,则确定目标图像是对抗攻击图像。
具体而言,在初分类结果指示目标图像为对抗攻击图像的情况下,风险特征的类型存在如下两种情况。情况1:风险特征的类型为真性风险特征,该情况下,说明风险特征是由真正的对抗攻击引入的,基于风险特征对目标图像的识别结果与初分类结果一致(均是对抗攻击图像),因此,该情况下将目标图像识别为对抗攻击图像。情况2:风险特征的类型为假性风险特征,该情况下,说明风险特征是由除对抗攻击之外的其他元素引入的,认为该初分类结果的准确性不高,在确定目标特征的最终识别结果时重点考虑风险特征的类型,因此,该情况下将目标图像确定为非对抗攻击图像。
应理解,上述实施例中,在初分类结果指示目标图像为对抗攻击图像的情况下,当风险特征的类型为假性风险特征时,将目标图像识别为非对抗攻击图像,实现了基于风险特征的类型对初分类结果的修正,提高了对于对抗攻击图像的识别准确率,并且,避免了由于除对抗攻击之外的其他因素导致目标图像被误分类为对抗攻击图像,从而避免了由于误识别对正常用户的身份验证流程造成的干扰。
在一些实施例中,在所述初分类结果指示目标图像为非对抗攻击图像(即正常图像)时,可以无需考虑风险特征的类型,直接将初分类结果作为最终的识别结果,即,直接将目标图像识别为不是对抗攻击图像。在一些实施例中,在所述初分类结果指示目标图像为非对抗攻击图像时,也可以进一步考虑风险特征的类型,即基于风险特征的类型对初分类结果进行修正。例如,若风险特征的类型为假性风险特征,则确定目标图像为非对抗攻击图像,若风险特征的类型为真性风险特征,则确定目标图像为对抗攻击图像。具体原理与前述类似,此处不作赘述。应理解,上述实施例中,在初分类结果指示目标图像为对非抗攻击图像的情况下,当风险特征的类型为真性风险特征时,将目标图像识别为对抗攻击图像,能够避免将对抗攻击图像误识别为正常图像,从而提高了身份验证的安全性。
在一些实施例中,上述S120可以通过预先训练的对抗攻击图像识别模型来实现。具体而言,处理器620通过预先训练的对抗攻击图像识别模型,获取目标图像对应的风险特征并确定风险特征的类型。其中,对抗攻击图像识别模型可以是采用人工智能算法预先训练得到的机器学习模型。对抗攻击图像识别模型具有将目标图像识别为对抗攻击图像或非对抗攻击图像的能力。例如,将目标图像输入对抗攻击图像识别模型,对抗攻击图像识别模型能够对目标图像进行处理,从而获取目标图像对应的风险特征,并确定风险特征的类型。在一些实施例中,对抗攻击图像识别模型可以是利用样本图像和所述样本图像的标注信息训练得到的,所述标注信息包括:所述样本图像的标注风险特征和所述标注风险特征的标注类型。其中,标注风险特征是指被标注为风险特征的特征。所述标注类型包括假性风险特征或真性风险特征。上述标注信息使得训练后的模型具有从目标图像中获取风险特征并确定风险特征的类型的能力。其中,对于模型训练方法在本说明书的其他部分介绍,此处不作赘述。
图4示出了根据本说明书的实施例提供的一种对抗攻击图像识别模型的网络结构示意图。如图4所示,在一些实施例中,对抗攻击图像识别模型400可以包括:特征提取网络401、风险特征感知网络402和风险特征分类网络403。上述3个网络依次连接。需要说明的是,本申请对于各部分网络的内部结构不作限定。例如,特征提取网络401和风险特征感知网络402可以采用卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)或其他任意可行的网络结构,风险特征分类网络403可以采用多层感知机模型(MLP)或者其他具有分类功能的网络结构。
继续参见图4,将目标图像输入对抗攻击图像识别模型400,通过对抗攻击图像识别模型400获取目标图像对应的风险特征并确定风险特征的类型可以包括:
(1)通过特征提取网络401对目标图像进行特征提取,得到图像特征。
(2)通过风险特征感知网络402对图像特征进行感知处理,得到风险特征。
其中,上述感知处理的过程可以理解为,风险特征感知网络402对图像特征进行分析,从图像特征中进一步提取出预先定义的风险元素相关的特征,作为风险特征。
(3)通过风险特征分类网络403对风险特征进行分类处理,以确定风险特征的类型。
例如,风险特征分类网络403可以输出风险特征为假性风险特征的概率。当该概率大于或等于预设阈值时,表示风险特征的类型为假性风险特征,当该概率小于预设概率时,表示风险特征的类型为真性风险特征。
在一些实施例中,风险特征感知网络402对图像特征进行感知处理,其输出的风险特征可以包括多个特征维度的子特征。每个特征维度可以对应一种风险元素,上述多个特征维度可以包括颜色维度、纹理维度、模糊维度、亮度维度、妆容维度、以及被遮挡维度中的至少一种。风险特征分类网络403可以对所述多个特征维度的子特征分别进行分类处理,得到每个特征维度的子特征为假性风险特征的概率,进而,基于所述多个特征维度的子特征各自对应的概率,确定风险特征的类型。在一些实施例中,可以将所述多个特征维度的子特征各自对应的概率进行加权平均,得到平均概率。若平均概率大于或等于预设阈值,则确定风险特征的类型为假性风险特征;若平均概率小于预设阈值,则确定风险特征的类型为真性风险特征。应理解,通过综合考虑多个特征维度的子特征各自对应的概率来确定风险特征的类型,提高了风险特征的类型的准确性。
继续参见图4,在一些实施例中,对抗攻击图像识别模型400还可以包括图像分类网络404,图像分类网络404与特征提取网络401连接。在通过特征提取网络401对目标图像进行特征提取得到图像特征之后,还可以通过图像分类网络404对图像特征进行初分类处理,得到目标图像的初分类结果,所述初分类结果指示目标图像是否为对抗攻击图像。
图4所示的对抗攻击图像识别模型400中,特征提取网络402之后同时包括两个网络分支,网络分支1为图像分类网络404所在的网络分支,网络分支2为风险特征感知网络402和风险特征分类网络403所形成的网络分支。这两个网络分支为并联关系。图像特征提取网络401输出图像特征之后,一方面图像特征被输入至图像分类网络404进行初分类,并得到初分类结果,另一方面图像特征被输入至风险特征感知网络402和风险特征分类网络403所形成的网络分支,并得到风险特征的类型。这样,对抗攻击图像识别模型400的输出包括两部分,一部分为初分类结果,另一部分为风险特征的类型。进一步,处理器620可以基于初分类结果和风险特征的类型,综合确定目标图像是否为对抗攻击图像,该部分的具体实现方式以及效果已在前文进行详细描述,此处不作赘述。
应理解,由于图4所示的对抗攻击图像识别模型中同时包括上述两个网络分支,因此在对目标图像进行识别时,使用一个模型即可同时得到目标图像的初分类结果以及风险特征的类型,进而基于初分类结果和风险特征的类型,确定目标图像是否为对抗攻击图像,提高了图像识别的效率。
上文描述了利用已训练的对抗攻击图像识别模型来识别目标图像是否为对抗攻击图像的过程,下面针对对抗攻击图像识别模型的训练过程进行介绍。
图5示出了根据本说明书的实施例提供的一种识别模型的训练方法P200的流程图。如前,计算设备600可以执行本说明书的识别模型的训练方法P200。具体地,处理器620可以读取存储在其本地存储介质中的指令集,然后根据指令集的规定,执行本说明书描述的识别模型的训练方法P200。如图5所示,方法P200可以包括:
S210:获取训练样本集合,所述训练样本集合包括:多个样本图像和每个样本图像的第一标注信息,第一标注信息包括:样本图像对应的第一标注风险特征、以及第一标注风险特征的标注类型,所述标注类型包括假性风险特征或真性风险特征。
其中,所述风险特征是指能够使所述样本图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征。需要说明的是,针对风险特征、真性风险特征、以及假性风险特征的相关解释已在前文进行详细描述,此处不作赘述。
在一些实施例中,所述样本图像为包含生物特征的图像,所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。也就是说,上述样本图像可以为人脸图像,或者,上述样本图像可以为指纹图像,或者,上述样本图像可以为掌纹图像,或者,上述样本图像可以为虹膜图像。在一些实施例中,所述第一标注风险特征包括下述中的至少一项:所述样本图像中生物特征对应区域的颜色信息、所述样本图像中生物特征对应区域的纹理信息、所述样本图像中生物特征对应区域的模糊信息、所述样本图像中生物特征对应区域的亮度信息、所述样本图像中生物特征对应区域的妆容信息、以及所述样本图像中生物特征对应区域的被遮挡信息。
在一些实施例中,训练样本集合可以是采用如下方式得到的:在目标场景下进行图像采集,并将采集到的图像作为样本图像;通过对样本图像进行人工标注,得到样本图像的第一标注信息。
在一些实施例中,训练样本集合可以是采用如下方式得到的:在目标场景下进行图像采集,并将采集到的图像作为样本图像;获取已训练的多个专家模型,并分别利用每个专家模型对样本图像进行识别处理,得到样本图像的候选风险特征、以及候选风险特征的候选类型;根据所述多个专家模型各自识别得到的所述候选风险特征,确定所述样本图像对应的所述第一标注风险特征;根据所述多个专家模型各自识别得到的所述候选风险特征的候选类型,确定所述第一标注风险特征的标注类型。
S220:通过预设模型获取所述样本图像对应的第一预测风险特征,并确定所述第一预测风险特征的预测类型。
其中预设模型为待训练的模型。在一些实施例中,预设模型的网络结构可以如图4所示,例如,预设模型可以包括:特征提取网络、风险特征感知网络和风险特征分类网络。基于图4所示的模型结构,S220可以具体包括:通过特征提取网络对样本图像进行特征提取,得到预测图像特征,通过风险特征感知网络对预测图像特征进行感知处理,得到第一预测风险特征,通过风险特征分类网络对第一预测风险特征进行分类处理,得到第一预测风险特征的预测类型。应理解,预设模型中各网络单元的具体处理过程可以参见前文相关内容的描述,此处不作赘述。
S230:根据所述第一预测风险特征、所述第一预测风险特征的预测类型、所述第一标注风险特征、所述第一标注风险特征的标注类型,对所述预设模型进行迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到所述对抗攻击图像识别模型。
应理解,在通过预设模型预测得到第一预测风险特征、以及第一预测风险特征的预测类型之后,可以基于上述预测结果与第一标注信息(即第一标注风险特征、以及第一标注风险特征的标注类型)之间的差异,对预设模型的模型参数进行调整,从而不断对预设模型进行迭代训练,使得模型预测结果与第一标注信息之间的差异不断变小,提高模型的预测能力。
在一些实施例中,上述对预设模型的迭代训练过程可以包括:首先,根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络和所述风险特征感知网络进行第一迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到训练后的所述特征提取网络和所述风险特征感知网络。进而,根据所述第一预测风险特征的预测类型和所述第一标注风险特征的标注类型,对所述风险特征分类网络进行第二迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到训练后的所述风险特征分类网络。也就是说,在迭代训练过程中,可以对模型中的不同网络单元进行分阶段训练,例如,第一阶段先对特征提取网络和风险特征感知网络进行训练,待这两个网络单元收敛之后,再对风险特征分类网络进行训练。应理解,通过分阶段进行训练,能够降低每个阶段的训练计算量,有利于提高整体的训练效率。
在一些实施例中,上述第一迭代训练过程可以交替执行如下步骤:(1)固定特征提取网络的网络参数,根据第一预测风险特征和第一标注风险特征,对风险特征感知网络的网络参数进行N轮调整;(2)固定风险特征感知网络的网络参数,根据第一预测风险特征和第一标注风险特征,对特征提取网络的网络参数进行M轮调整。其中,在对风险特征感知网络或者特征提取网络的网络参数进行调整时,可以采用基于神经结构搜索(NeuralArchitecture Search,NAS)的方式,调整网络结构,使得网络结构不断精简。通过这种交替式的迭代训练,能够提高模型训练效率,同时提升模型的性能,降低模型的计算量。需要说明的是,上述M和N可以为任意取值。在一些实施例中,考虑到特征提取网络相对于风险特征感知网络的模型结构体量较大,为了提高模型训练效率,M的取值可以小于N的取值,例如,M=1,N=10。
在一些实施例中,上述第二迭代训练过程可以包括:基于所述第一预测风险特征的预测类型和第一标注风险特征的标注类型之间的差异,确定第二目标损失函数,进而,以最小化第二目标损失函数为训练目标,调整风险特征分类网络的网络参数,直至风险特征分类网络收敛。
在一些实施例中,如图4所示,预设模型还可以包括图像分类网络,图像分类网络与特征提取网络连接。特征提取网络对样本图像进行特征提取,得到预测图像特征之后,图像分类网络可以基于预测图像特征对样本图像进行分类处理,得到样本图像的预测图像类型。其中,图像分类网络可以采用预先训练好的分类器,也可以采用待训练的分类器。
其中,当图像分类网络采用预先训练好的分类器时,在第一迭代训练过程中,可以利用图像分类网络对样本图像的分类结果。具体的,样本图像的第一标注信息还可以包括样本图像的标注图像类型,标注图像类型为对抗攻击图像或正常图像。相应的,上述第一迭代训练过程可以包括:根据第一预测风险特征、第一标注风险特征、预测图像类型以及标注图像类型,对特征提取网络和风险特征网络进行第一迭代训练。
在一些实施例中,处理器620可以基于预测风险特征和标注风险特征之间的差异,确定第一损失函数,基于预测图像类型和标注图像类型之间的差异,确定第二损失函数,基于所述第一损失函数和所述第二损失函数,确定第一目标损失函数。例如,处理器620可以将第一损失函数和第二损失函数之和,确定为第一目标损失函数,如下述公式所示:
Loss1=Lossadv-cls+Lossrisk-cls
其中,Lossadv-cls为第二损失函数,表示预测图像类型和标注图像类型之间的差异,Lossrisk-cls为第一损失函数,表示预测风险特征和标注风险特征之间的差异,Loss1为第一目标损失函数。
进而,以最小化第一目标损失函数为训练目标,调整特征提取网络和风险特征感知网络的网络参数,直至特征提取网络和风险特征感知网络达到收敛条件。
应理解,上述实施例通过在模型训练过程中,利用图像分类网络的分类结果,能够在不影响图像分类网络的分类准确性的前提下,实现对特征提取网络、风险特征感知网络、以及风险特征分类网络的训练,从而,训练后的识别模型一方面能够准确输出风险特征及风险特征的类型,另一封面能够准确的输出目标图像的初分类结果。
当图像分类网络采用待训练的分类器时,在第一迭代训练过程中,还可以对图像分类网络进行协同训练。应理解,上述协同训练过程中,第一目标损失函数的确定过程与前面的描述相同,不同之处在于:在确定出第一目标损失函数之后,以最小化第一目标损失函数为训练目标,调整特征提取网络、风险特征感知网络以及图像分类网络的网络参数,直至上述3个网络单元达到收敛条件。应理解,通过上述协同训练过程,使得训练后的识别模型一方面能够准确输出风险特征及风险特征的类型,另一方面能够较为准确的输出目标图像的初分类结果。
在一些实施例中,在S230得到对抗攻击图像识别模型之后,还可以对模型进行进一步的微调训练。其中,微调训练的过程可以包括:从所述多个样本图像中获取至少一个目标样本图像,所述目标样本图像被所述对抗攻击图像识别模型识别为对抗攻击图像;获取所述目标样本图像的第二标注信息,所述第二标注信息包括:目标样本图像对应的第二标注风险特征、以及第二标注风险特征的标注类型,所述第二标注信息的置信度高于所述第一标注信息的置信度。在一些实施例中,所述第二标注信息可以是人工标注得到的。进而,通过对抗攻击图像识别模型获取目标样本图像对应的第二预测风险特征,并确定所述第二预测风险特征的预测类型;根据第二预测风险特征、第二预测风险特征的预测类型、第二标注风险特征、第二标注风险特征的标注类型,对所述对抗攻击图像识别模型进行微调训练,得到微调后的对抗攻击图像识别模型。应理解,本申请通过对识别模型进行进一步的微调训练,能够进一步提高模型的识别性能。
相关技术在多个不同应用场景中通常使用相同的识别模型。能够理解,由于不同应用场景下采集到的图像通常具有一定的差异,因此同一识别模型在不同应用场景下可能会具有不同的识别性能,当所有应用场景均使用同一识别模型时,会出现在不同应用场景的安全水位不同的情况。为此,本申请可以针对每个应用场景,分别采用上述训练方法训练得到适用于该应用场景的识别模型,从而使得不同应用场景均可以达到较高的安全水位。图6示出了根据本说明书的实施例提供的一种识别模型的训练过程的示意图。如图6所示,识别模型的训练过程可以包括:
(1)利用已标注的训练数据,训练得到多个不同的专家模型。
其中,上述训练数据可以包括:多个样本图像以及每个样本图像的标注信息。上述多个样本图像可以来自于同一个应用场景,或者来自于多个不同的应用场景。每个样本图像的标注信息可以包括样本图像的标注风险特征、标注风险特征的标注类型、以及样本图像的标注图像类型。利用上述已标注的训练数据,采用图5所示的识别模型的训练方法可以训练得到专家模型。其中,专家模型的结构可以参见图4所示模型结构。应理解,在训练过程中,通过设置不同的训练初值可以得到多个不同的专家模型。本申请对于专家模型的数量不作限定,图6中以5个专家模型为例进行示意。
(2)在目标场景下进行图像采集,并将采集到的图像作为样本图像,利用上述多个专家模型对样本图像进行自动标注,得到样本图像的自动标注信息,这样,样本图像以及样本图像的自动标注信息形成训练样本集合。
具体的,将未标注的样本图像输入每个专家模型,每个专家模型对样本图像进行处理,输出样本图像的候选风险特征以及候选风险特征的候选类型。应理解,由于多个专家模型互不相同,因此多个专家模型的输出结果也可能有所不同。因此,可以综合考虑多个专家模型的输出结果,确定样本图像的自动标注信息。具体的,处理器620可以根据多个专家模型各自识别得到的候选风险特征,确定样本图像对应的自动标注风险特征。例如,若5个专家模型中存在3个或以上专家模型识别到样本图像中人脸局部区域之间颜色不一致,则将“人脸局部区域之间颜色不一致”该特征标注为样本图像的风险特征。进一步的,处理器620可以根据多个专家模型各自识别得到的候选风险特征的候选类型,确定自动标注风险特征的标注类型。例如,若5个专家模型中存在3个或以上专家模型识别到“人脸局部区域之间颜色不一致”该风险特征的类型为真性风险特征,则将“人脸局部区域之间颜色不一致”该风险特征标注的类型标注为真性风险特征。
本申请通过采用多个专家模型对目标场景下的未标注的样本图像进行自动标注,得到样本图像的自动标注信息,从而得到该目标场景对应的训练样本集合。该训练样本集合可用于对该目标场景的识别模型进行训练。应理解,通常上述自动标注过程,降低了实际应用场景中训练样本集合的获取/标注难度。
(3)利用训练样本集合对预设模型进行训练,得到对抗攻击图像识别模型。
应理解,此处的训练过程可以参见图5描述的训练过程,此处不作赘述。本阶段的训练可以称为一阶段训练。
(4)从训练样本集合中挑选部分样本图像作为目标样本图像,对目标样本图像进行人工标注,得到目标样本图像的人工标注信息。
例如,一些实施例可以从训练样本集合中随机挑选被模型识别为对抗攻击图像的样本图像,作为目标样本图像。由于挑选出的目标样本图像数量可以较少,因此对目标样本图像进行人工标注不会造成较高的标注成本。应理解,目标样本图像的人工标注信息的置信度高于上述自动标注信息。
(5)利用目标样本图像及其人工标注信息对对抗攻击图像识别模型进行微调训练,得到微调后的对抗攻击图像识别模型。
本阶段的训练可以称为二阶段训练。应理解,由于目标样本图像的人工标注信息的置信度高于上述自动标注信息的置信度,因此,利用目标样本图像及其人工标注信息对识别模型进行微调训练,能够进一步提高识别模型的识别性能,使得微调后的对抗攻击图像识别模型的识别准确率更高。
经过上述步骤(1)至(5)的训练过程可以得到对抗攻击图像识别模型,可以将该模型部署到目标场景,并用于对目标图像进行对抗攻击识别。在一些实施例中,在将模型部署到目标场景之后,随着时间累积目标场景下的样本图像逐渐丰富,因此,可以每个一段时间利用新的样本图像对模型进行再次训练,从而不断提供模型的识别性能。
由图6所示的模型训练过程可见,无论需要在哪种应用场景下部署识别模型,即使该应用场景下不存在已标注的样本图像,也可以采用图6所示的模型训练过程,自适应的生成该应用场景的训练样本集合,进而利用训练样本集合自适应的训练得到适用于该应用场景的识别模型。这样,使得不同应用场景下识别模型均具有较高的识别性能。
综上所述,本说明书提供的对抗攻击图像的识别方法P100,包括:获取待识别的目标图像,获取目标图像对应的风险特征并确定风险特征的类型,所述风险特征的类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使目标图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;进而,基于所述风险特征的类型,确定所述目标图像是否为对抗攻击图像。该方案通过获取目标图像对应的风险特征并确定风险特征的类型,使得能够从风险特征的引入因素角度,识别目标图像是否为对抗攻击图像,从而提高了对于对抗攻击图像的识别准确率。
本说明书提供的对抗攻击图像识别模型的训练方法P200,包括:获取训练样本集合,所述训练样本集合包括:多个样本图像和每个样本图像的第一标注信息,第一标注信息包括:样本图像对应的第一标注风险特征、以及第一标注风险特征的标注类型,所述标注类型包括假性风险特征或真性风险特征,其中,风险特征是指能够使样本图像以预设概率被分类为对抗攻击图像的特征,真性风险特征是指由对抗攻击引入的风险特征,假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;通过预设模型获取样本图像对应的第一预测风险特征,并确定所述第一预测风险特征的预测类型,根据第一预测风险特征、第一预测风险特征的预测类型、第一标注风险特征、第一标注风险特征的标注类型,对预设模型进行迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到对抗攻击图像识别模型。该方案通过上述训练过程,使得对抗攻击图像识别模型具有获取目标图像的风险特征并确定风险特征的类型的能力。这样,对抗攻击图像识别模型能够从风险特征的引入因素角度,识别目标图像是否为对抗攻击图像,从而提高了对于对抗攻击图像的识别准确率。
本说明书另一方面提供一种非暂时性存储介质,存储有至少一组用来进行图像识别或识别模型的训练的可执行指令。当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施本说明书所述的图像识别方法P100或识别模型的训练方法P200的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在计算设备600上运行时,所述程序代码用于使计算设备600执行本说明书描述的图像识别方法P100或识别模型的训练方法P200的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码,并可以在计算设备600上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (23)

1.一种对抗攻击图像的识别方法,包括:
获取待识别的目标图像;
获取所述目标图像对应的风险特征并确定所述风险特征的类型,所述风险特征的类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使所述目标图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;以及
基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像。
2.根据权利要求1所述的方法,其中,所述方法还包括:对所述目标图像进行初分类,确定所述目标图像的初分类结果,所述初分类结果指示所述目标图像是否为所述对抗攻击图像;以及
所述基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像,包括:基于所述风险特征的类型和所述初分类结果,确定所述目标图像是否为所述对抗攻击图像。
3.根据权利要求2所述的方法,其中,所述基于所述风险特征的类型和所述初分类结果,确定所述目标图像是否为所述对抗攻击图像,包括:
在所述初分类结果指示所述目标图像为所述对抗攻击图像时,基于所述风险特征的类型从第一操作和第二操作中择一执行,其中,
所述第一操作包括:确定所述风险特征的类型为所述假性风险特征,则确定所述目标图像不是所述对抗攻击图像,以及
所述第二操作包括:确定所述风险特征的类型为所述真性风险特征,则确定所述目标图像是所述对抗攻击图像。
4.根据权利要求1所述的方法,其中,所述基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像,包括:
基于所述风险特征的类型,从第一操作和第二操作中择一执行,其中,
所述第一操作包括:确定所述风险特征的类型为所述假性风险特征,则确定所述目标图像不是所述对抗攻击图像,以及
所述第二操作包括:确定所述风险特征的类型为所述真性风险特征,则确定所述目标图像是所述对抗攻击图像。
5.根据权利要求1所述的方法,其中,获取所述目标图像对应的风险特征并确定所述风险特征的类型,包括:通过预先训练的对抗攻击图像识别模型,获取所述目标图像对应的风险特征并确定所述风险特征的类型,
其中,所述对抗攻击图像识别模型是利用样本图像和所述样本图像的标注信息训练得到的,所述标注信息包括:所述样本图像的标注风险特征和所述标注风险特征的标注类型,所述标注类型包括所述假性风险特征或所述真性风险特征。
6.根据权利要求5所述的方法,其中,所述对抗攻击图像识别模型包括:特征提取网络、风险特征感知网络和风险特征分类网络;以及
通过对抗攻击图像识别模型获取所述目标图像对应的风险特征并确定所述风险特征的类型,包括:
通过所述特征提取网络对所述目标图像进行特征提取,得到图像特征,
通过所述风险特征感知网络对所述图像特征进行感知处理,得到所述风险特征,以及
通过所述风险特征分类网络对所述风险特征进行分类处理,以确定所述风险特征的类型。
7.根据权利要求6所述的方法,其中,所述风险特征包括多个特征维度的子特征;以及
通过所述风险特征分类网络对所述风险特征进行分类处理,以确定所述风险特征的类型,包括:
通过所述风险特征分类网络对所述多个特征维度的子特征分别进行分类处理,得到每个特征维度的子特征为假性风险特征的概率,以及
基于所述多个特征维度的子特征各自对应的所述概率,确定所述风险特征的类型。
8.根据权利要求6所述的方法,其中,所述对抗攻击图像识别模型还包括图像分类网络;
在通过所述特征提取网络对所述目标图像进行特征提取,得到图像特征之后,所述方法还包括:通过所述图像分类网络对所述图像特征进行初分类处理,得到所述目标图像的初分类结果,所述初分类结果指示所述目标图像是否为所述对抗攻击图像;以及
所述基于所述风险特征的类型,确定所述目标图像是否为所述对抗攻击图像,包括:基于所述风险特征的类型和所述初分类结果,确定所述目标图像是否为所述对抗攻击图像。
9.根据权利要求1所述的方法,其中,所述目标图像为包含生物特征的图像,所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。
10.根据权利要求9所述的方法,其中,所述风险特征包括下述中的至少一项:
所述目标图像中所述生物特征对应区域的颜色信息,
所述目标图像中所述生物特征对应区域的纹理信息,
所述目标图像中所述生物特征对应区域的模糊信息,
所述目标图像中所述生物特征对应区域的亮度信息,
所述目标图像中所述生物特征对应区域的妆容信息,以及
所述目标图像中所述生物特征对应区域的被遮挡信息。
11.一种对抗攻击图像识别模型的训练方法,包括:
获取训练样本集合,所述训练样本集合包括:多个样本图像和每个所述样本图像的第一标注信息,所述第一标注信息包括:所述样本图像对应的第一标注风险特征、以及所述第一标注风险特征的标注类型,所述标注类型包括假性风险特征或真性风险特征,其中,所述风险特征是指能够使所述样本图像以预设概率被分类为对抗攻击图像的特征,所述真性风险特征是指由对抗攻击引入的风险特征,所述假性风险特征是指除由所述对抗攻击之外的其他因素引入的风险特征;
通过预设模型获取所述样本图像对应的第一预测风险特征,并确定所述第一预测风险特征的预测类型;
根据所述第一预测风险特征、所述第一预测风险特征的预测类型、所述第一标注风险特征、所述第一标注风险特征的标注类型,对所述预设模型进行迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到所述对抗攻击图像识别模型。
12.根据权利要求11所述的方法,其中,所述预设模型包括:特征提取网络、风险特征感知网络和风险特征分类网络;以及
所述通过预设模型获取所述样本图像对应的第一预测风险特征,并确定所述第一预测风险特征的预测类型,包括:
通过所述特征提取网络对所述样本图像进行特征提取,得到预测图像特征,通过所述风险特征感知网络对所述预测图像特征进行感知处理,得到所述第一预测风险特征,以及
通过所述风险特征分类网络对所述第一预测风险特征进行分类处理,得到所述第一预测风险特征的预测类型。
13.根据权利要求12所述的方法,其中,对所述预设模型进行迭代训练,包括:
根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络和所述风险特征感知网络进行第一迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到训练后的所述特征提取网络和所述风险特征感知网络;以及
根据所述第一预测风险特征的预测类型和所述第一标注风险特征的标注类型,对所述风险特征分类网络进行第二迭代训练,直至达到预设的迭代次数或者达到预设收敛条件,得到训练后的所述风险特征分类网络。
14.根据权利要求13所述的方法,其中,所述第一标注信息还包括:所述样本图像的标注图像类型,所述标注图像类型为所述对抗攻击图像或正常图像;
所述预设模型还包括图像分类网络,在通过所述特征提取网络对所述样本图像进行特征提取,得到预测图像特征之后,所述方法还包括:通过所述图像分类网络基于所述预测图像特征对所述样本图像进行分类处理,得到所述样本图像的预测图像类型;以及
所述根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络和所述风险特征感知网络进行第一迭代训练,包括:根据所述第一预测风险特征、所述第一标注风险特征、所述预测图像类型、以及所述标注图像类型,对所述特征提取网络和所述风险特征感知网络进行所述第一迭代训练。
15.根据权利要求14所述的方法,其中,根据所述第一预测风险特征、所述第一标注风险特征、所述预测图像类型、以及所述标注图像类型,对所述特征提取网络和所述风险特征感知网络进行所述第一迭代训练,包括:
基于所述预测风险特征和所述标注风险特征之间的差异,确定第一损失函数;
基于所述预测图像类型和所述标注图像类型之间的差异,确定第二损失函数;
基于所述第一损失函数和所述第二损失函数,确定第一目标损失函数;以及
以最小化所述第一目标损失函数为训练目标,调整所述特征提取网络和所述风险特征感知网络的网络参数。
16.根据权利要求13所述的方法,其中,所述根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络和所述风险特征感知网络进行第一迭代训练,包括交替执行如下步骤:
固定所述特征提取网络的网络参数,根据所述第一预测风险特征和所述第一标注风险特征,对所述风险特征感知网络的网络参数进行N轮调整,所述N为大于或等于1的整数;以及
固定所述风险特征感知网络的网络参数,根据所述第一预测风险特征和所述第一标注风险特征,对所述特征提取网络的网络参数进行M轮调整,所述M为大于或等于1的整数。
17.根据权利要求13所述的方法,其中,根据所述第一预测风险特征的预测类型和所述第一标注风险特征的标注类型,对所述风险特征分类网络进行第二迭代训练,包括:
基于所述第一预测风险特征的预测类型和所述第一标注风险特征的标注类型之间的差异,确定第二目标损失函数;以及
以最小化所述第二目标损失函数为训练目标,调整所述风险特征分类网络的网络参数,直至所述风险特征分类网络收敛。
18.根据权利要求11所述的方法,其中,所述训练样本集合是采用如下方式得到的:
在目标场景下进行图像采集,并将采集到的图像作为所述样本图像;
获取已训练的多个专家模型,并分别利用每个所述专家模型对所述样本图像进行识别处理,得到所述样本图像的候选风险特征、以及所述候选风险特征的候选类型;
根据所述多个专家模型各自识别得到的所述候选风险特征,确定所述样本图像对应的所述第一标注风险特征;以及
根据所述多个专家模型各自识别得到的所述候选风险特征的候选类型,确定所述第一标注风险特征的标注类型。
19.根据权利要求11所述的方法,其中,在得到所述对抗攻击图像识别模型之后,所述方法还包括:
从所述多个样本图像中获取至少一个目标样本图像,所述目标样本图像被所述对抗攻击图像识别模型识别为所述对抗攻击图像;
获取所述目标样本图像的第二标注信息,所述第二标注信息包括:所述目标样本图像对应的第二标注风险特征、以及所述第二标注风险特征的标注类型,所述第二标注信息的置信度高于所述第一标注信息的置信度;
通过所述对抗攻击图像识别模型获取所述目标样本图像对应的第二预测风险特征,并确定所述第二预测风险特征的预测类型;以及
根据所述第二预测风险特征、所述第二预测风险特征的预测类型、所述第二标注风险特征、所述第二标注风险特征的标注类型,对所述对抗攻击图像识别模型进行微调训练,得到微调后的对抗攻击图像识别模型。
20.根据权利要求11所述的方法,其中,所述样本图像为包含生物特征的图像,所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。
21.根据权利要求20所述的方法,其中,所述第一标注风险特征包括下述中的至少一项:
所述样本图像中所述生物特征对应区域的颜色信息,
所述样本图像中所述生物特征对应区域的纹理信息,
所述样本图像中所述生物特征对应区域的模糊信息,
所述样本图像中所述生物特征对应区域的亮度信息,
所述样本图像中所述生物特征对应区域的妆容信息,以及
所述样本图像中所述生物特征对应区域的被遮挡信息。
22.一种对抗攻击图像的识别系统,包括:
至少一个存储介质,存储有至少一个指令集,用于进行对抗攻击图像的识别;以及
至少一个处理器,同所述至少一个存储介质通信连接,
其中,当所述对抗攻击图像的识别系统运行时,所述至少一个处理器读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行权利要求1-10中任一项所述的对抗攻击图像的识别方法。
23.一种对抗攻击图像识别模型的训练系统,包括:
至少一个存储介质,存储有至少一个指令集,用于进行对抗攻击图像识别模型的训练;以及
至少一个处理器,同所述至少一个存储介质通信连接,
其中,当所述对抗攻击图像识别模型的训练系统运行时,所述至少一个处理器读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行权利要求11-21中任一项所述的对抗攻击图像识别模型的训练方法。
CN202211686235.1A 2022-12-27 2022-12-27 对抗攻击图像的识别及其识别模型的训练方法、系统 Pending CN116071581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211686235.1A CN116071581A (zh) 2022-12-27 2022-12-27 对抗攻击图像的识别及其识别模型的训练方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211686235.1A CN116071581A (zh) 2022-12-27 2022-12-27 对抗攻击图像的识别及其识别模型的训练方法、系统

Publications (1)

Publication Number Publication Date
CN116071581A true CN116071581A (zh) 2023-05-05

Family

ID=86172635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211686235.1A Pending CN116071581A (zh) 2022-12-27 2022-12-27 对抗攻击图像的识别及其识别模型的训练方法、系统

Country Status (1)

Country Link
CN (1) CN116071581A (zh)

Similar Documents

Publication Publication Date Title
US12014571B2 (en) Method and apparatus with liveness verification
US10445574B2 (en) Method and apparatus for iris recognition
US20230274577A1 (en) Device and method with image matching
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
EP3440593B1 (en) Method and apparatus for iris recognition
CN107423690A (zh) 一种人脸识别方法及装置
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
CN112016525A (zh) 非接触式指纹采集方法和装置
CN113128481A (zh) 一种人脸活体检测方法、装置、设备及存储介质
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
CN112232159A (zh) 指纹识别的方法、装置、终端及存储介质
CN115240280A (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN112232157B (zh) 指纹区域检测方法、装置、设备、存储介质
US11087121B2 (en) High accuracy and volume facial recognition on mobile platforms
Soelistio et al. Circle-based eye center localization (CECL)
CN116311546A (zh) 活体检测方法和系统
CN116433955A (zh) 对抗攻击的检测方法及系统
CN115578768A (zh) 图像检测网络的训练方法、图像检测方法和系统
CN115984977A (zh) 活体检测方法和系统
CN115880530A (zh) 对抗攻击的检测方法和系统
CN116071581A (zh) 对抗攻击图像的识别及其识别模型的训练方法、系统
CN112232152A (zh) 非接触式指纹识别方法、装置、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination