CN111738735A - 一种图像数据处理方法、装置和相关设备 - Google Patents

一种图像数据处理方法、装置和相关设备 Download PDF

Info

Publication number
CN111738735A
CN111738735A CN202010715663.7A CN202010715663A CN111738735A CN 111738735 A CN111738735 A CN 111738735A CN 202010715663 A CN202010715663 A CN 202010715663A CN 111738735 A CN111738735 A CN 111738735A
Authority
CN
China
Prior art keywords
target
image
sample
attack
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010715663.7A
Other languages
English (en)
Other versions
CN111738735B (zh
Inventor
吴双
谢加浩
丁守鸿
姚太平
尹邦杰
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010715663.7A priority Critical patent/CN111738735B/zh
Publication of CN111738735A publication Critical patent/CN111738735A/zh
Application granted granted Critical
Publication of CN111738735B publication Critical patent/CN111738735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像数据处理方法、装置和相关设备,该方法包括:对获取到的包含目标对象的目标图像进行网格化处理,得到目标图像对应的网格图像块;通过目标防御网络模型从网格图像块中提取第一类型特征和第二类型特征,将第一类型特征和第二类型特征进行特征拼接,得到与目标图像相关联的图像块拼接特征;根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,得到目标图像对应的物理攻击检测结果;若物理攻击检测结果指示目标图像中存在满足攻击检测条件的网格图像块,则将目标对象确定为攻击对象,以拒绝将目标图像传输至对象识别模型。采用本申请,可以提高攻击检测的准确性,以确保对象识别的可靠性。

Description

一种图像数据处理方法、装置和相关设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像数据处理方法、装置和相关设备。
背景技术
目前,当用户在使用某些软件(例如,软件X)的时候,会通过刷脸的方式访问这些软件的业务显示界面。比如,用户A可以通过刷脸的方式访问软件X,以执行与该用户A相关联的业务(例如,支付业务)。但是,另一用户(例如,非法攻击用户B)通常可以通过特定的攻击贴图(比如,可以佩戴特定的眼镜饰品)来伪装成该用户A,达到非法访问到该软件X的目的,进而可以让终端误识别该非法攻击用户B为用户A来执行前述支付业务。由此可见,现有的终端在进行刷脸业务时,可以对采集到的图像数据进行人脸识别的过程中进行活体检测,但是由于用户A和非法攻击用户B的人脸主体部分均属于活体,进而在非法攻击用户B通过物理攻击的方式伪装成用户A时,将难以对这两个用户进行区别,以至于存在将非法攻击用户B误识别为用户A的风险,从而难以确保人脸识别的可靠性。
发明内容
本申请提供一种图像数据处理方法、装置和相关设备,可以提高攻击检测的准确性,以确保对象识别的可靠性。
本申请实施例一方面提供一种图像数据处理方法,包括:
获取包含目标对象的目标图像,对目标图像进行网格化处理,得到目标图像对应的网格图像块;
获取目标图像对应的目标防御网络模型,通过目标防御网络模型从网格图像块中提取第一类型特征和第二类型特征,将第一类型特征和第二类型特征进行特征拼接,得到与目标图像相关联的图像块拼接特征;
根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,得到网格图像块对应的物理攻击检测结果;
若物理攻击检测结果指示目标图像中存在满足攻击检测条件的网格图像块,则将目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
本申请实施例一方面提供一种图像数据处理装置,包括:
目标图像获取模块,用于获取包含目标对象的目标图像,对目标图像进行网格化处理,得到目标图像对应的网格图像块;
拼接特征确定模块,用于获取目标图像对应的目标防御网络模型,通过目标防御网络模型从网格图像块中提取第一类型特征和第二类型特征,将第一类型特征和第二类型特征进行特征拼接,得到与目标图像相关联的图像块拼接特征;
攻击检测模块,用于根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,得到网格图像块对应的物理攻击检测结果;
攻击对象确定模块,用于若物理攻击检测结果指示目标图像中存在满足攻击检测条件的网格图像块,则将目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
其中,目标图像获取模块包括:
图像序列获取单元,用于若应用客户端对应的业务类型属于第一分类场景,则在与应用客户端相关联的前置摄像头开启时,调用前置摄像头采集与目标用户相关联的目标图像序列;目标图像序列包含至少一个用户图像数据;
人脸检测单元,用于从目标图像序列的至少一个用户图像数据中获取目标用户图像数据,对目标用户图像数据进行人脸检测,得到人脸检测结果;
目标图像获取单元,用于基于人脸检测结果,从目标用户图像数据中获取目标用户的人脸对应的图像,将获取到的图像作为包含目标对象的目标图像;目标对象为目标用户的人脸;
图像裁剪单元,用于获取用于对目标图像进行网格化处理的网格参数,基于网格参数对目标图像进行裁剪处理,得到目标图像对应的网格图像块。
其中,图像序列获取单元包括:
采集界面输出子单元,用于响应针对应用客户端的访问触发操作,输出应用客户端对应的图像采集界面;
摄像头启动子单元,用于在应用客户端对应的业务类型属于第一分类场景时,启动与应用客户端相关联的前置摄像头;
图像数据输出子单元,用于在前置摄像头对应的采集时长内,对执行触发操作的目标用户的至少一个图像数据进行采集,将采集到的至少一个图像数据输出至图像采集界面;
图像序列确定子单元,用于将图像采集界面上显示的至少一个图像数据确定为与目标用户相关联的目标图像序列。
其中,目标图像获取单元包括:
面部区域确定子单元,用于若人脸检测结果指示目标用户图像数据中存在属于人脸类型的目标特征点,则基于目标特征点在目标用户图像数据中确定目标用户的人脸所在的面部区域;
面部区域截取子单元,用于从目标用户图像数据中截取面部区域,在面部区域中将目标用户的人脸作为目标对象,在面部区域中将目标对象对应的图像作为目标图像。
其中,网格图像块的数量为多个;
拼接特征确定模块包括:
目标防御模型获取单元,用于获取目标图像对应的目标防御网络模型;目标防御网络模型包括:第一特征提取器和第二特征提取器;
第一特征提取单元,用于通过第一特征提取器从每个网格图像块中提取统计图像特征,将提取到的每个网格图像块的统计图像特征分别确定为第一类型特征;
第二特征提取单元,用于通过第二特征提取器从每个网格图像块中提取神经网络特征,将提取到的每个网格图像块的神经网络特征分别确定为第二类型特征;
特征拼接单元,用于将每个网格图像块的第一类型特征和对应网格图像块的第二类型特征进行特征拼接,得到每个网格图像块的拼接特征,将每个网格图像块的拼接特征确定为与目标图像相关联的图像块拼接特征。
其中,目标防御网络模型包括:分类器;分类器具有对目标图像中的网格图像块所属的分类类型进行分类的功能;
攻击检测模块包括:
匹配度确定单元,用于将图像块拼接特征输入至目标防御网络模型中的分类器,由分类器确定图像块拼接特征与分类器中的多个样本属性特征之间的匹配度;匹配度用于表征图像块拼接特征分别与每个样本属性特征属于相同分类类型的概率;
最大匹配度确定单元,用于基于匹配度,在多个样本属性特征中获取与图像块拼接特征具有最大匹配度的样本属性特征,将具有最大匹配度的样本属性特征作为目标样本属性特征;
攻击结果确定单元,用于将目标样本属性特征对应的样本标签信息作为图像块拼接特征对应的目标分类类型,基于目标分类类型以及与目标分类类型相关联的最大匹配度,确定对目标图像中的网格图像块进行分类后的物理攻击检测结果。
其中,一个网格图像块对应一个物理攻击检测结果;多个样本属性特征对应的样本标签信息包含攻击类标签信息;
攻击对象确定模块包括:
检测条件获取单元,用于获取目标防御网络模型对应的攻击检测条件;
图像块确定单元,用于若物理攻击检测结果中存在目标分类类型属于攻击类标签信息的物理攻击检测结果,则在网格图像块中将目标分类类型对应的网格图像块,确定为满足攻击检测条件的网格图像块;
攻击对象确定单元,用于将目标图像中所包含的目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
其中,装置还包括:
提示信息生成模块,用于将满足攻击检测条件的网格图像块确定为异常图像块,在目标图像中确定异常图像块所属区域的位置信息,基于位置信息和目标分类类型,生成针对目标用户的异常提示信息;
提示信息输出模块,用于将异常提示信息输出至应用客户端对应的反馈界面;反馈界面上包括用于指示目标用户执行触发操作的业务控件;
目标图像更新模块,用于响应针对业务控件的触发操作,发起用于访问应用客户端的访问请求,基于访问请求对目标图像进行更新。
其中,多个样本属性特征对应的样本标签信息包含非攻击类标签信息;
装置还包括:
正常对象确定模块,用于若物理攻击检测结果中存在目标分类类型均属于非攻击类标签信息的物理攻击检测结果,则在网格图像块中将目标分类类型对应的网格图像块,均确定为不满足攻击检测条件的网格图像块;
正常对象确定模块,还用于在目标图像中将不满足攻击检测条件的网格图像块均确定为正常图像块;
正常对象确定模块,还用于在基于每个正常图像块将目标对象确定为非攻击对象时,允许将目标图像输入至与目标防御网络模型具有关联关系的人脸识别模型,以使人脸识别模型对目标图像中的目标对象对应的用户进行身份验证。
其中,目标图像获取模块还包括:
图像数据采集单元,用于若应用客户端对应的业务类型属于第二分类场景,则在与应用客户端相关联的后置摄像头开启时,调用后置摄像头采集在摄像头的摄像范围中的标识信息的标识图像数据;
标识区域确定单元,用于在标识图像数据中确定标识信息所属的标识区域,将标识区域中的标识信息作为目标对象,在标识图像数据中截取标识区域,将标识区域对应的图像数据作为包含目标对象的目标图像;
图像块确定单元,用于获取用于对目标图像进行网格化处理的网格参数,基于网格参数对目标图像进行裁剪处理,得到目标图像对应的网格图像块。
本申请实施例一方面提供一种图像数据处理方法,包括:
获取与样本对象相关联的训练样本信息和训练样本信息的样本标签信息;训练样本信息中包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;训练样本信息的样本标签信息包括:第一样本信息对应的非攻击类标签信息和第二样本信息对应的攻击类标签信息;
对训练样本信息进行网格化处理,得到训练样本信息对应的样本图像块;
通过初始防御网络模型从样本图像块中提取第一样本特征和第二样本特征,将第一样本特征和第二样本特征进行特征拼接,得到与训练样本信息相关联的样本拼接特征;
基于样本拼接特征、非攻击类标签信息和攻击类标签信息对初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型。
本申请实施例一方面提供一种图像数据处理装置,包括:
训练样本获取模块,用于获取与样本对象相关联的训练样本信息和训练样本信息的样本标签信息;训练样本信息中包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;训练样本信息的样本标签信息包括:第一样本信息对应的非攻击类标签信息和第二样本信息对应的攻击类标签信息;
网格处理模块,用于对训练样本信息进行网格化处理,得到训练样本信息对应的样本图像块;
样本特征提取模块,用于通过初始防御网络模型从样本图像块中提取第一样本特征和第二样本特征,将第一样本特征和第二样本特征进行特征拼接,得到与训练样本信息相关联的样本拼接特征;
防御模型训练模块,用于基于样本拼接特征、非攻击类标签信息和攻击类标签信息对初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型。
其中,训练样本获取模块包括:
第一样本确定单元,用于获取包含样本对象的初始图像数据,将初始图像数据作为用于对对初始防御网络模型进行训练的第一样本信息,将第一样本信息的标签信息确定为非攻击类标签信息;
攻击图像确定单元,用于获取与初始防御网络模型具有关联关系的对象识别模型,通过对象识别模型确定与初始图像数据相关联的攻击图像数据;
第二样本确定单元,用于基于攻击图像数据和初始图像数据,生成包含攻击图像数据的叠加图像数据,将叠加图像数据作为用于对初始防御网络模型进行训练的第二样本信息,将第二样本信息的标签信息确定为攻击类标签信息;
训练样本确定单元,用于将第一样本信息和第二样本信息确定为训练样本信息,将非攻击类标签信息和攻击类标签信息作为所训练样本信息的样本标签信息。
本申请实施例一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,存储器用于存储计算机程序,处理器用于调用计算机程序,以执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序包括程序指令,上述程序指令被处理器执行时,执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例一方面中的方法。
本申请实施例中的计算机设备在获取到包含目标对象的目标图像时,可以对目标图像进行网格化处理,以将目标图像划分成一个或者多个网格,这里将不对划分后的网格的数量进行限定。应当理解,本申请实施例可以将每个网格对应的图像统称为网格图像块。此外,可以理解的是,这里的目标对象可以为人脸识别场景下的某个用户的人脸,可选的,这里的目标对象还可以为标识识别场景下的某个物体的标识信息,这里将不对目标对象的具体类型进行限定。进一步的,计算机设备可以将目标图像给到训练好的目标防御网络模型,以通过该目标防御网络模型从前述划分后的网格图像块中提取第一类型特征和第二类型特征,进而可以将提取出的第一类型特征和第二类型特征进行拼接处理,以得到与该目标图像相关联的图像块拼接特征;可以理解的是,本申请实施例通过对从每个网格图像块所提取到的第一类型特征和第二类型特征进行拼接处理后,可以提高后续对每个网格图像块所属的分类类型进行分类的准确性。进一步的,计算机设备可以根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,以得到目标图像对应的物理攻击检测结果。可以理解的是,在本申请实施例中的物理攻击检测结果中可以包含每个网格图像块对应的物理攻击检测结果,所以,该计算机设备可以在检测到这些物理攻击检测结果中存在满足攻击检测条件的网格图像块对应的物理攻击检测结果时,确定目标图像中存在满足攻击检测条件的网格图像块,进而可以间接地确定出该目标对象为攻击对象,并可以拒绝将该目标图像传输至与该目标防御网络模型具有关联关系的对象识别模型。由此可见,采用本申请实施例在进行对象识别之前,可以预先将目标图像划分成一系列的网格图像块,进而可以通过目标防御模型对每个网格图像块进行物理攻击检测,以识别每个网格图像块所属的分类类型,进而可以提高攻击检测的准确性。此外,本申请实施例在通过目标防御网络模型识别出每个网格图像块所属的分类类型之后,可以将每个网格图像块所属的分类类型统称为目标图像对应的物理攻击检测结果,这样,计算机设备在检测到这些网格图像块中存在满足攻击检测条件的网格图像块,则可以快速确定出目标对象可能为携带物理攻击饰品的攻击对象,进而无需继续将目标图像传输给对象识别模型进行对象识别,进而可以确保对象识别的可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种进行数据交互的场景示意图;
图3是本申请实施例提供的一种图像数据处理方法的流程示意图;
图4是本申请实施例提供的一种目标图像序列的场景示意图;
图5是本申请实施例提供的一种获取网格图像块的场景示意图;
图6是本申请实施例提供的一种对目标图像中的网格图像块所属的分类类型进行分类的场景示意图;
图7是本申请实施例提供的一种图像数据处理方法的流程示意图;
图8是本申请实施例提供的一种得到训练样本信息的场景示意图;
图9是本申请实施例提供的得到样本图像块的场景示意图;
图10是本申请实施例提供的一种在人脸识别场景下应用目标防御网络模型的流程示意图;
图11是本申请实施例提供的一种图像数据处理方法;
图12a是本申请实施例提供的一种训练初始防御网络模型的流程示意图;
图12b是本申请实施例提供的一种训练初始防御网络模型的场景示意图;
图13是本申请实施例提供的一种图像数据处理装置的结构示意图;
图14是本申请实施例提供的一种计算机设备的示意图;
图15是本申请实施例提供的一种图像数据处理装置的结构示意图;
图16是本申请实施例提供的一种计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案属于人工智能领域下的机器学习((Machine Learning,ML)。可以理解的是,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示,该网络架构可以包括用户终端集群、业务服务器2000,其中,可以理解的是,这里的用户终端集群可以包括一个或者多个用户终端,这里将不对用户终端集群中的用户终端的数量进行限制。其中,如图1所示,用户终端集群可以包含多个用户终端,具体可以包含图1所示的用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n。如图1所示,用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n可以和业务服务器2000进行网络连接,以便于第一用户终端集群中的每个用户终端可以通过该网络连接与业务服务器2000进行数据交互。比如,在对象识别场景下,用户终端集群中的每个用户终端均可以用于获取包含目标对象的目标图像。这里的对象识别场景具体可以包含人脸识别场景、标识识别场景等,这里将不对对象识别场景进行一一列举。
其中,可以理解的是,本申请实施例中的每个用户终端中均可以集成有已经训练好的防御网络模型(即用于进行物理攻击检测的目标防御网络模型),这样,当这些用户终端中的任意一个用户终端在获取到包含目标对象的目标图像时,可以对这些目标图像进行网格化处理,以将该目标图像裁剪成一个或者多个网格图像块,进而通过该训练好的防御网络模型对这些网格图像块进行归类处理,以得到每个网格图像块的分类类型,以提高攻击检测的准确性。此外,可以理解的是,本申请实施例在得到每个网格图像块的分类类型之后,可以通过每个网格图像块的分类类型间接确定出目标对象的属性,进而可以在确定目标对象的属性属于攻击属性时,将目标对象确定为攻击对象,从而可以拒绝将目标图像传输给与目标防御网络模型具有关联关系的对象识别模型,以确保对象识别的可靠性。
应当理解,本申请实施例可以将训练之前的防御网络模型统称为初始防御网络模型,并将对初始防御网络模型进行训练后所得到的新的防御网络模型统称为目标防御网络模型。另外,本申请实施例还可以在该用户终端集群中,选择一个用户终端作为目标用户终端,进而可以在目标用户终端获取到包含目标对象的目标图像时,将该目标图像发送给上述业务服务器2000,以通过集成在上述业务服务器2000中的目标防御网络模型进行物理攻击检测,这样,可以利用业务服务器2000的计算能力,提高物理攻击检测的效率。
其中,可以理解的是,这里的目标用户终端可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等具有图像采集功能的智能终端。例如,本申请实施例可以将图1所示的用户终端3000a作为目标用户终端,该目标用户终端中可以运行一个或者多个应用客户端,当这些应用客户端中的某个应用客户端(例如,客户端A)运行在目标用户终端中时,可以通过该客户端A调用该目标用户终端中的摄像头(这里的摄像头可以包含前置摄像头和后置摄像头)进行图像采集,以根据采集到的一个或者多个图像数据确定出包含目标对象的目标图像。应当理解,目标用户终端所采集到的一个或者多个图像数据均可以统称为图像帧,这里不对采集到的图像帧的数量进行限定。其中,这些应用客户端具体可以包括社交客户端、支付客户端、门禁客户端、多媒体客户端(例如,视频客户端)、娱乐客户端(例如,游戏客户端)、教育客户端、自动驾驶客户端、办公客户端等具有图像数据采集功能的客户端。
其中,如图1所示的业务服务器2000可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器,这里将不对其进行限定。
为便于理解,本申请实施例以当前运行在目标用户终端中的应用客户端为上述社交客户端为例,以阐述通过目标防御网络模型对在该社交客户端中对目标图像中的网格图像块进行归类处理的具体过程。
进一步的,请参见图2,图2是本申请实施例提供的一种进行数据交互的场景示意图。如图2所示的目标用户终端可以为上述图1所示的用户终端3000a。如图2所示的目标用户终端的可以在应用客户端所对应的图像采集界面上,显示由目标用户终端中的摄像头所采集到的与目标用户相关联的一个或者多个图像数据。
其中,为便于理解,本申请实施例以这里的应用客户端为上述社交客户端为例,当图2所示的目标用户需要通过该社交客户端执行刷脸业务时,可以在该目标用户终端上显示图2所示的图像采集界面。此时,该目标用户终端可以调用与该应用客户端相关联的摄像头,可以理解的是,在该刷脸业务所对应的第一分类场景下,调用的与该应用客户端相关联的摄像头可以为前置摄像头。这样,目标用户终端在获取到与该目标用户相关联的一个或者多个图像数据时,可以将这些图像数据输出显示在该图像采集界面上。可以理解的是,这里的第一分类场景可以为上述人脸识别场景。
为便于理解,本申请实施例以获取到的包含该目标用户的一个图像数据为例,该图像数据可以为通过上述前置摄像头对该目标用户的脸部进行拍照而得到的面部图像数据,此时,该目标用户终端可以直接将该包含该目标用户的人脸的面部图像数据作为目标图像。应当理解,在上述第一分类场景(即人脸识别场景)下,该目标图像中的目标对象可以为图2所示的目标用户的人脸。
如图2所示,该目标用户终端可以将该目标图像发送给图2所示的业务服务器,这里的业务服务器可以为上述图1所对应实施例中的业务服务器2000。如图2所示,该业务服务器中可以集成图2所示的目标防御网络模型10a。如图2所示,该目标防御网络模型10a中可以包含图2所示的特征提取器30a和特征提取器30b以及分类器50a。如图2所示,业务服务器在获取到目标图像之后,可以基于获取到的用于对目标图像进行网格化处理的网格参数(例如,3×3个),对目标图像进行裁剪处理,以得到图2所示的9个网格图像块。如图2所示的网格图像块具体可以包含图2所示的网格图像块1、网格图像块2、网格图像块3、网格图像块4、网格图像块5、网格图像块6、网格图像块7、网格图像块8和网格图像块9。
其中,可以理解的是,图2所示的网格图像块20a可以为对目标图像进行裁剪后所得到的多个网格图像块中的任意一个网格图像块。为便于理解,本申请实施例以该网格图像块为图2所示的网格图像块1为例,以阐述通过图2所示的目标防御网络模型10a对该网格图像块1所属的分类类型进行预测的具体过程。
其中,特征提取器30a可以用于从图2所示的网格图像块20a中提取第一类型特征,这里的第一类型特征具体可以包含颜色直方图对应的颜色直方图特征、梯度直方图对应的梯度直方图特征和LBP(Local Binary Patterns)直方图对应的局部二值模式特征等传统类型特征,本申请实施例可以将由特征提取器30a所提取到传统类型特征统称为统计图像特征。
其中,特征提取器30b可以用于从图2所示的网格图像块20a(例如,网格图像块1)中提取第二类型特征,该特征提取器30b可以包括卷积神经网络(Convolutional NeuralNetworks,简称CNN)模型中的卷积层和池化层。其中,该CNN模型中的卷积层可以用于从图2所示的网格图像块20a(例如,网格图像块1)中提取到卷积图像特征,并可以将提取到的卷积图像特征给到该CNN模型的池化层进行池化处理,以通过该卷积神经网络模型中的池化层输出图2所示的网格图像块20a(例如,网格图像块1)的池化特征,应当理解,本申请实施例可以将由池化层输出的池化特征统作为第二类型特征。
其中,可以理解的是,卷积层中的卷积核可以用于在网格图像块20a(例如,网格图像块1)中输出对卷积核覆盖区域中的不同位置上的局部图像之间的局部依赖关系,这些局部依赖关系所对应的局部特征即为该卷积核所输出的卷积图像特征。可以理解的是,本申请实施例可以将由卷积神经网络模型的池化层所提取到的池化特征统称为上述第二类型特征。应当理解,这里的卷积图像特征和池化特征可以统称为该卷积神经网络模型的神经网络特征。
其中,可以理解的是,本申请实施例可以通过上述用于提取第一类型特征的特征提取器30a和用于提取第二类型特征的特征提取器30b进行多个维度的特征提取,进而可以将提取到的不同维度的特征进行特征拼接,以丰富特征提取的多样性,进而在将特征拼接后的拼接特征给到图2所示的分类器之后,可以提高对网格图像块20a(例如,网格图像块1)进行分类处理的准确性。
其中,如图2所示,本申请实施例中的业务服务器可以通过图2所示的带有分类功能的全连接层40a,将由特征提取器30a输出的第一类型特征和由特征提取器30b输出的第二类型特征进行特征融合(也可以称之为特征拼接),并可以将特征融合后的融合特征(也可以称之为特征拼接后的拼接特征)统称为与该目标图像相关联的图像块拼接特征。如图2所示,本申请实施例还可以将该图像块拼接特征给到图2所示的分类器50a,以通过该分类器50a对网格图像块20a(例如,网格图像块1)所属的分类类型进行预测,进而可以将预测得到的该网格图像块1的分类类型统称为该网格图像块1对应的物理攻击检测结果。
应当理解,本申请实施例通过该目标防御网络模型10a对于上述9个网格图像块中的其他网格图像块(例如,网格图像块2、网格图像块3、网格图像块4、网格图像块5、网格图像块6、网格图像块7、网格图像块8和网格图像块9)所属的分类类型进行预测的具体实现方式,可以参见对上述网格图像块1的描述,这里将不再继续进行赘述。
可以理解的是,本申请实施例可以通过图2所示的目标防御网络模型,得到每个网格图像块对应的物理攻击检测结果,若服务器检测到这些物理攻击检测结果中存在满足攻击检测条件的物理攻击检测结果,则将满足攻击检测条件的物理攻击检测结果所对应的网格图像块确定为满足攻击检测条件的网格图像块,进而可以快速地将目标对象确定为攻击对象,进而可以在目标对象为攻击对象时,拒绝将目标图像传输给图2所示的对象识别模型10b。
可选的,可以理解的是,这里的对象识别模型10b可以用于对图2所示的目标用户的目标对象(即人脸)进行身份验证,比如,当上述目标图像的网格图像块中均不存在满足攻击检测条件的网格图像块时,则可以允许该业务服务器将目标对象传输给该对象识别模型10b,以使该对象识别模型10b对该目标用户的人脸进行身份验证,进而可以在身份验证成功时,确定完成一次刷脸业务。
其中,可以理解的是,图2所示的目标防御网络模型为针对上述初始防御网络模型进行模型训练后所得到的防御网络模型,这意味着在模型训练阶段中所构建的初始防御网络模型也可以包含图2所示的目标初始防御网络模型中的分类器和用于进行多维度特征提取的特征提取器,比如,具体可以包含训练前的特征提取器30a、训练前的特征提取器30b、训练前的带有分类功能的全连接层40a。可以理解的是,这里的目标防御网络模型的模型参数(例如,模型参数2)不同于初始防御网络模型的模型参数(例如,模型参数1),这是因为在初始防御网络模型的训练过程中,会不断对初始防御网络模型中的模型参数进行调整,以便于后续可以继续对调整模型参数后的初始防御网络模型进行迭代训练,直到迭代训练后的初始防御网络模型具有最小损失函数时,认为训练后的初始防御网络模型满足模型收敛条件,进而可以将具有最小损失函数值的训练后的初始防御网络模型确定为目标防御网络模型。
可选的,可以理解的是,当上述图1所示的业务服务器2000为其他应用客户端(例如,自动驾驶客户端)所对应的后台服务器时,可以接收该自动驾驶客户端的图像采集界面上所显示的图像数据。可以理解的是,该自动驾驶客户端对应的业务类型可以属于第二分类场景,例如,该第二分类场景可以为上述标识识别场景。例如,在上述标识识别场景下,该自动驾驶客户端的图像采集界面上所显示的图像数据,可以为运行有该自动驾驶客户端的用户终端(例如,车载终端)在行驶过程中通过摄像头(例如,后置摄像头)所拍摄得到的包含交通标识信息的标识图像数据。可以理解的是,该自动驾驶客户端在通过后置摄像头采集到标识图像数据之后,可以直接将拍摄得到的包含交通标识信息的图像数据作为目标图像。可选的,该车载终端还可以在采集到的标识图像数据中确定标识信息(即前述交通标识信息)所属的标识区域,进而可以将该标识区域中的交通标识信息作为目标对象,此时,车载终端可以在标识图像数据中截取该标识区域,以将该标识区域所对应的图像数据作为包含目标对象的目标图像。
进一步的,可以理解的是,车载终端还可以将目标图像发送给上述业务服务器2000,以使业务服务器2000可以获取用于对目标图像进行网格化处理的网格参数,进而可以基于网格参数对目标图像进行裁剪处理,以得到目标图像对应的网格图像块。其中,可以理解的是,业务服务器2000对目标图像中的网格图像块进行归类的具体实现方式,可以一并参照上述图2所对应实施例中对社交客户端所上传的目标图像中的网格图像块1进行归类的具体过程的描述,这里将不再继续进行赘述。
可选的,当上述目标防御模型集成在车载终端中时,还可以直接在该车载终端对目标图像中的网格图像块进行归类处理,进而可以在离线的情况下,快速实现对网格图像块进行攻击检测的效率,这样,车载终端对应的车载用户还可以在离线的情况下继续通过攻击检测后所确定的具有安全属性(即非攻击属性)的目标对象进行自动驾驶,比如,这里的目标对象可以为交通标识信息中的限速标识信息等。其中,可以理解的是,车载终端对目标图像中的网格图像块进行归类的具体实现方式,可以一并参照上述图2所对应实施例中对社交客户端所上传的目标图像中的网格图像块1进行归类的具体过程的描述,这里将不再继续进行赘述。
其中,业务服务器2000获取目标图像、通过目标防御网络模型对目标图像中的网格图像块所属的分类类型进行预测的具体实现方式可以参见下述图3-图12b所对应实施例的描述。
进一步地,请参见图3,图3是本申请实施例提供的一种图像数据处理方法的流程示意图。其中,可以理解的是,本申请实施例提供的方法可以由计算机设备执行,这里的计算机设备包括但不限于用户终端或服务器。为便于理解,本申请实施例以该计算机设备为用户终端为例,以阐述在该用户终端中对获取到的目标图像中的网格图像块进行分类的具体过程。其中,这里的用户终端可以为上述图2所对应实施例中的目标用户终端,该目标用户终端中运行有上述应用客户端。如图3所示,该方法至少可以包括下述步骤S101-步骤S104:
步骤S101,获取包含目标对象的目标图像,对目标图像进行网格化处理,得到目标图像对应的网格图像块。
具体的,计算机设备可以基于上述应用客户端对应的业务类型的不同,确定出相应业务类型所属的业务场景,比如,这里的业务场景具体可以包含人脸识别场景和标识识别场景等。其中,人脸识别场景可以为上述刷脸业务对应的第一分类场景;同理,标识识别场景可以为上述自动驾驶业务对应的第二分类场景。应当理解,在本申请实施例中,若应用客户端对应的业务类型属于第一分类场景,则计算机设备可以在与应用客户端相关联的前置摄像头开启时,调用前置摄像头采集与目标用户相关联的目标图像序列;其中,目标图像序列可以包含至少一个用户图像数据;进一步的,计算机设备可以从目标图像序列的至少一个用户图像数据中获取目标用户图像数据,并可以对目标用户图像数据进行人脸检测,得到人脸检测结果;进一步的,计算机设备可以基于人脸检测结果,从用户图像数据中获取目标用户的人脸对应的图像,并可以将获取到的图像作为包含目标对象的目标图像;此时,目标对象可以为目标用户的人脸;进一步的,计算机设备可以获取用于对目标图像进行网格化处理的网格参数,并可以基于网格参数对目标图像进行裁剪处理,以得到目标图像对应的网格图像块。可选的,若应用客户端对应的业务类型属于第二分类场景,则计算机设备可以在与应用客户端相关联的后置摄像头开启时,调用后置摄像头采集在摄像头的摄像范围中的标识信息的标识图像数据;进一步的,计算机设备可以在标识图像数据中确定标识信息所属的标识区域,将标识区域中的标识信息作为目标对象,在标识图像数据中截取标识区域,将标识区域对应的图像数据作为包含目标对象的目标图像;同理,计算机设备也可以获取用于对目标图像进行网格化处理的网格参数,进而可以基于网格参数对目标图像进行裁剪处理,以得到目标图像对应的网格图像块。
其中,可以理解的是,在第一分类场景下,运行在计算机设备(例如,上述目标用户终端)中的应用客户端具体可以包含一些与人脸识别业务相关的客户端,比如,基于人脸进行终端解锁的客户端、基于人脸进行应用登录的客户端,基于人脸进行远程验证的客户端、基于人脸进行门禁解锁的客户端、基于人脸进行线下支付的客户端、基于人脸进行考勤的客户端以及自动刷脸通关终端等。
其中,可以理解的是,在本申请实施例的第一业务场景下,计算机设备(比如,目标用户终端)可以在调用摄像头(例如,前置摄像头或者后置摄像头)采集到包含人脸的图像数据时,直接将采集到的包含人脸的图像数据作为目标图像。
可选的,为确保人脸识别的准确性,该计算机设备(即目标用户终端)可以自动根据终端中所运行的应用客户端所获取到的业务指令,快速确定该应用客户端当前执行业务的业务类型,进而可以自动选择调用与该应用客户端的业务类型相匹配的摄像头。比如,在人脸识别场景下,可以默认调用与该应用客户端相关联的前置摄像头,进而可以在前置摄像头开启的情况下,通过该前置摄像头采集到与目标用户相关联的至少一个图像帧。为便于理解,进一步的,请参见图4,图4是本申请实施例提供的一种目标图像序列的场景示意图。如图4所示的持有用户终端B的用户A即为前述目标用户。如图4的用户终端B为运行有上述应用客户端的目标用户终端。为便于理解,本申请实施例以该用户终端B中运行的应用客户端为支付客户端为例,以基于人脸进行线下支付业务。
比如,当用户A确认执行该线下支付业务时,可以在该用户终端B中输出图4的图像采集界面100a,以通过该图像采集界面100a上所显示的图像数据帮助用户A调整自己与摄像终端的距离,进而可以采集到该用户A在目标状态(例如,该用户A的人脸在图像数据的正中央)下的图像数据。
其中,如图4所示,用户终端B可以通过前置摄像头采集到图4所示的多个图像数据,多个图像数据具体可以包含图4所示的图像数据1a、图像数据1b、…、图像数据1m和图像数据1n,应当理解,用户终端B采集到这些图像数据时,可以基于每个图像数据的图像采集时间戳的先后依次将其输出显示在图4所示的图像采集界面100a上,进而可以将基于图像采集时间戳依次显示在图像采集界面上的这些图像数据称之为图4所示的目标图像序列。
可选的,用户终端B还可以通过前置摄像头对该用户A进行拍照,以通过拍照的方式得到图4所示的多个图像数据中的一个或者多个图像数据。应当理解,本申请实施例可以将图4所示的多个图像数据中的每个图像数据统称为图像帧。所以,图4所示的目标图像序列200a中具体可以包含至少一个图像帧。可以理解的是,当用户终端通过前置摄像头以录像的方式采集到图4所示的多个图像数据时,可以根据录像所得的这些图像数据确定得到图4所示的目标图像序列200a。
比如,上述用户A可以在图像采集界面100a显示文本提示信息,以使该用户A可以在前置摄像头的采集时长内,根据该文本提示信息做出相应的动作,例如,眨眼、张嘴,向左转动等,进而可以确保上述摄像头(例如,前置摄像头)可以采集得到图4所示的目标图像序列200a。应当理解,该目标图像序列200a中可以包含该用户A在目标状态(例如,该用户A的人脸在图像数据的正中央)下的图像数据。为提高人脸识别的准确性,计算机设备在得到上述目标图像序列200a之后,可以将该目标图像序列中的每个图像数据一并作为候选图像数据,以进行面部状态检测,进而可以在这些候选图像数据中,将该用户A在目标状态(例如,该用户A的人脸在图像数据的正中央)下的候选图像数据统称为从该目标图像序列200a中获取到的目标用户图像数据,以进行后续的人脸定位。
可选的,本申请实施例还可以将目标图像序列200a中的图像帧遍历作为候选图像数据,以对候选图像数据中的用户的面部状态进行检测,直到检测到候选图像数据中存在处于目标状态的目标用户的图像数据时,则无需对后面的候选图像数据进行面部状态检测,进而可以将检测到的该用户A在目标状态(例如,该用户A的人脸在图像数据的正中央)下的图像数据作为目标图像数据,以便于后续可以快速对目标用户图像数据中的人脸进行定位检测。
在进行对象定位的过程中,为便于与上述标识识别场景下的图像数据进行区别,本申请实施例可以在人脸识别场景下,将该前述目标图像序列200a中的图像数据统称为该用户A(即目标用户)对应的用户图像数据,进而可以在这些用户图像数据中确定出目标用户图像数据的情况下,可以进一步在该目标用户图像数据中对人脸进行定位检测,以在该目标用户图像数据中定位出人脸所在的面部区域。可选的,在标识识别场景下,可以将通过后置摄像头所采集到的图像数据统称为标识图像数据,进而可以在标识图像数据中确定出标识信息所属的标识区域。应当理解,本申请实施例可以将人脸所在的面部区域和标识信息所属的标识区域统称为上述目标图像。
为便于理解,进一步的,请参见图5,是本申请实施例提供的一种获取网格图像块的场景示意图。如图5所示的目标用户图像数据可以为上述图4所对应实施例中的目标图像序列200a中的图像数据1b,即该图像数据1b即为从上述多个用户图像数据中所筛选出的目标用户在上述目标状态下的用户图像数据。为便于进行区别,本申请实施例可以将在前述目标图像序列中所筛选出的处于特定状态下的目标用户的用户图像数据统称为目标用户图像数据,具体的,请参见图5所对应的目标用户图像数据的示意图。
如图5所示,计算机设备(例如,上述图4所示的用户终端B)在得到目标用户图像数据之后,可以进一步对目标用户图像数据中的人脸进行定位检测,以得到对该目标用户图像数据进行人脸检测后的人脸检测结果。若人脸检测结果指示目标用户图像数据中存在属于人脸类型的目标特征点,则计算机设备可以基于这些目标特征点在目标用户图像数据中确定目标用户的人脸所在的面部区域;进一步的,计算机设备可以从目标用户图像数据中截取面部区域,以在面部区域中将目标用户的人脸作为目标对象,并在面部区域中将目标对象对应的图像作为目标图像。
比如,计算机设备可以识别上述目标用户图像数据中存在属于该用户A(即目标用户)的人脸的目标特征点之后,将这些目标特征点所构成的区域确定为该用户A的人脸所属的面部区域,进而可以在该目标用户图像数据中截取包含该用户A的人脸的面部区域,并可以将截取到的面部区域作为图5所示的目标图像。此时,该目标图像中所包含的该用户A的人脸即为上述目标对象。
进一步的,计算机设备可以获取用于对图4所示的目标图像进行网格化处理的网格参数(例如,3×3个网格),进而可以基于该网格参数对图5所示的目标图像进行裁剪处理,以得到图5所示的目标图像对应的网格图像块。如图5所示,该目标图像的网格图像块可以包含9个网格所对应的图像数据,本申请实施例可以将每个网格所对应的图像数据统称为网格图像块,以便于后续可以进一步执行下述步骤S102,以将这9个网格图像块中的每个网格图像块给到目标防御网络模型进行特征提取。可以理解的是,本申请实施例将不对用于进行网格裁剪后的网格图像块的数量进行具体限定。
需要注意的是,在进行网格裁剪的过程中,可以将目标图像均匀地划分成多个尺寸大小相同的网格图像块,还可以将目标图像划分成多个尺寸大小不同的网格图像块,这里将不对用于进行网格裁剪的网格参数的具体形式进行限定。
步骤S102,获取目标图像对应的目标防御网络模型,通过目标防御网络模型从网格图像块中提取第一类型特征和第二类型特征,将第一类型特征和第二类型特征进行特征拼接,得到与目标图像相关联的图像块拼接特征;
具体的,计算机设备在执行完上述步骤S101之后,可以在得到的网格图像块的数量为多个时,进一步获取该目标图像对应的目标防御网络模型;其中,目标防御网络模型可以包括:第一特征提取器和第二特征提取器;进一步的,计算机设备可以通过第一特征提取器从每个网格图像块中提取统计图像特征,以将提取到的每个网格图像块的统计图像特征分别确定为第一类型特征;同理,计算机设备可以通过第二特征提取器从每个网格图像块中提取神经网络特征,将提取到的每个网格图像块的神经网络特征分别确定为第二类型特征;这里的第一特征提取器可以为上述图2所对应实施例中的特征提取器30a,这里的第二特征提取器可以为上述图2所对应实施例中的特征提取器30b。进一步的,计算机设备可以将每个网格图像块的第一类型特征和对应网格图像块的第二类型特征进行特征拼接,以得到每个网格图像块的拼接特征,进而可以将每个网格图像块的拼接特征确定为与目标图像相关联的图像块拼接特征。
其中,通过第一特征提取器提取第一类型特征的具体实现方式,可以参见上述图2所对应实施例中对上述网格图像块1中的第一类型特征的描述,这里将不再继续进行赘述。同理,通过第二特征提取器提取第二类型特征的具体实现方式,可以参见上述图2所对应实施例中对上述网格图像块1中的第二类型特征的描述,这里将不再继续进行赘述。
应当理解,在本申请实施例中,目标防御网络模型还可以包括:分类器;这里的分类器具有对目标图像中的网格图像块所属的分类类型进行分类的功能。所以,当计算机设备通过目标防御网络模型提取到每个网格图像块的第一类特征和第二类型特征之后,可以得到每个网格图像块的拼接特征。其中,获取每个网格图像块的拼接特征的具体实现方式,可以参见上述图2所对应实施例中对上述网格图像块1中的拼接特征的描述,这里将不再继续进行赘述。
步骤S103,根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,得到网格图像块对应的物理攻击检测结果;
具体的,计算机设备可以将上述步骤S102所得到的每个网格图像块的图像块拼接特征输入至目标防御网络模型中的分类器,这里的分类器可以为上述图2所对应实施例中的分类器50a,进而可以由该分类器(例如,分类器50a)确定每个图像块拼接特征与分类器中的多个样本属性特征之间的匹配度;这里的匹配度可以用于表征图像块拼接特征分别与每个样本属性特征属于相同分类类型的概率;可以理解的是,在物理攻击检测的过程中,通过分类器所确定的属于某个具有攻击属性的分类类型的概率的值越大,则表明目标图像中存在物理攻击的可能性越大,反之,通过分类器所确定的属于某个具有攻击属性的分类类型的概率值越小,则表明目标图像中存在物理攻击的可能性越小。进一步的,计算机设备可以基于这些匹配度,在多个样本属性特征中获取与图像块拼接特征具有最大匹配度的样本属性特征,进而可以将具有最大匹配度的样本属性特征作为目标样本属性特征;进一步的,计算机设备可以将目标样本属性特征对应的样本标签信息作为图像块拼接特征对应的目标分类类型,进而可以基于目标分类类型以及与目标分类类型相关联的最大匹配度,确定对目标图像中的对应网格图像块进行分类后的物理攻击检测结果。
其中,可以理解的是,一个网格图像块可以对应一个物理攻击检测结果;该分类器中的多个样本属性特征对应的样本标签信息包含攻击类标签信息和非攻击类标签信息;这里的攻击类标签信息具体可以包含眼镜框贴图攻击、额头贴图攻击以及口罩贴图攻击等攻击类的标签信息。应当理解,这里的攻击类标签信息为具有攻击属性的分类类型所对应的标签信息。同理,这里的非攻击类标签信息为具有非攻击属性(也可以称之为正常属性)的分类类型所对应的标签信息。
为便于理解,进一步的,请参见图6,图6是本申请实施例提供的一种对目标图像中的网格图像块所属的分类类型进行分类的场景示意图。为便于理解,本申请实施例以同一用户在两种不同状态下的目标图像为例,以阐述通过图6所示的目标防御网络模型对这两种目标图像(例如,目标图像1和目标图像2)进行物理攻击检测的具体过程。
其中,如图6所示的网格图像块300a可以为对正常状态下的目标图像(例如,前述目标图像1,该目标图像1中的目标用户(例如,上述用户A)的人脸上未佩戴任何具有攻击属性的饰品,即该目标图像1中的用户A的人脸上未佩戴任何攻击贴图),此时,该网格图像块300a可以为对正常状态下的目标用户的人脸所在的面部区域进行网格裁剪后所得到的图像块。如图6所示,计算机设备可以将对目标图像1进行网格裁剪后所得到的9个网格图像块(例如,网格图像块A1、网格图像块A2、…、网格图像块A9)输入到图6所示的目标防御网络模型,以通过该目标防御网络模型对该目标图像1中的这9个网格图像块进行物理攻击检测,以得到每个网格图像块对应的物理攻击检测结果。
其中,如图6所示,网格图像块A1属于攻击类标签信息的概率值为PA1=0.006;网格图像块A2属于攻击类标签信息的概率值为PA2=0.008;网格图像块A3属于攻击类标签信息的概率值为PA3=0.004;网格图像块A4属于攻击类标签信息的概率值为PA4=0.010;网格图像块A5属于攻击类标签信息的概率值为PA5=0.004;网格图像块A6属于攻击类标签信息的概率值为PA6=0.009;网格图像块A7属于攻击类标签信息的概率值为PA7=0.007;网格图像块A8属于攻击类标签信息的概率值为PA8=0.003;网格图像块A9属于攻击类标签信息的概率值为PA9=0.005;
其中,可以理解的是,在该目标图像1的这9个网格图像块对应的物理攻击检测结果中,由于每个网格图像块对应的概率值均小于攻击检测条件中的攻击检测阈值(例如,0.5),因此,计算机设备可以快速确定该目标图像1的这9个网格图像块中均不存在满足攻击检测条件的网格图像块,进而可以间接确定该目标图像1中的目标对象的属性为非攻击属性,进而可以将这里的目标对象确定为正常对象(也可以称之为非攻击对象),即通过该目标防御网络模型可以准确地验证出该用户A的人脸上确实是未佩戴任何物理攻击贴图,此时,计算机设备可以将该目标图像1给到与目标防御网络模型具有关联关系的对象识别模型,以使用该对象识别模型进一步进行身份验证,以判断该目标用户是否为合法用户。
可选的,如图6所示的网格图像块300b可以为对攻击状态下的目标图像(例如,前述目标图像2,该目标图像2中的目标用户(例如,上述用户A)的人脸上佩戴有具有攻击属性的眼镜饰品,即该目标图像2中的用户A的人脸上佩戴有眼镜攻击贴图),此时,该网格图像块300b可以为对攻击状态下的目标用户的人脸所在的面部区域进行网格裁剪后所得到的图像块。如图6所示,计算机设备可以将对目标图像2进行网格裁剪后所得到的另外9个网格图像块(例如,网格图像块B1、网格图像块B2、…、网格图像块B9)输入到图6所示的目标防御网络模型,以通过该目标防御网络模型对该目标图像2中的这9个网格图像块进行物理攻击检测,以得到每个网格图像块对应的物理攻击检测结果。
其中,如图6所示,网格图像块B1属于攻击类标签信息的概率值为PB1=0.006;网格图像块B2属于攻击类标签信息的概率值为PB2=0.008;网格图像块B3属于攻击类标签信息的概率值为PB3=0.004;网格图像块B4属于攻击类标签信息的概率值为PB4=1.000;网格图像块B5属于攻击类标签信息的概率值为PB5=1.000;网格图像块B6属于攻击类标签信息的概率值为PB6=0.951;网格图像块B7属于攻击类标签信息的概率值为PB7=0.010;网格图像块B8属于攻击类标签信息的概率值为PB8=0.004;网格图像块B9属于攻击类标签信息的概率值为PB9=0.009;
其中,可以理解的是,由于在该目标图像2的这9个网格图像块对应的物理攻击检测结果中,发现网格图像块对应的概率值(例如,网格图像块B4的概率值,网格图像块B5的概率值以及网格图像块B6的概率值)大于攻击检测条件中的攻击检测阈值(例如,0.5),因此,该计算机设备可以快速确定该目标图像2的这9个网格图像块中存在满足攻击检测条件的网格图像块,进而可以间接确定该目标图像1中的目标对象的属性为攻击属性,并可以将这里的目标对象确定为攻击对象。应当理解,本申请实施例所得到的网格图像块B4、网格图像块B5、网格图像块B6的概率值,可以用于表示网格图像块B4、网格图像块B5、网格图像块B6属于上述眼镜攻击贴图的概率,概率值越大,则表明这三个网格图像块(网格图像块B4、网格图像块B5、网格图像块B6)属于眼镜攻击贴图的可能性越高。
可以理解的是,本申请实施例可以在获取到每个网格图像块的图像块拼接特征与多个样本属性特征之间的匹配度时,可以根据这些匹配度,在多个样本属性特征中获取与图像块拼接特征具有最大匹配度的样本属性特征,进而可以将具有最大匹配度的样本属性特征作为目标样本属性特征;应当理解,此时,计算机设备可以将目标样本属性特征对应的样本标签信息(例如,前述眼镜攻击贴图的标签信息)作为图像块拼接特征对应的目标分类类型,进而可以基于目标分类类型以及与目标分类类型相关联的最大匹配度,在目标图像中确定对应网格图像块属于该目标分类类型的概率,可以理解的是,本申请实施例可以将每个网格图像块属于某个分类类型(即目标分类类型)的概率统称为每个网格图像块对应的物理攻击检测结果。
其中,由于本申请实施例通过该目标防御网络模型可以准确地验证出目标图像2中的这3个网格图像块(网格图像块B4、网格图像块B5、网格图像块B6)的目标分类类型确实为眼镜攻击贴图,此时,计算机设备可以进一步执行下述步骤S104,以拒绝将该目标图像2给到与目标防御网络模型具有关联关系的对象识别模型。
步骤S104,若物理攻击检测结果指示目标图像中存在满足攻击检测条件的网格图像块,则将目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
应当理解,计算机设备在根据物理攻击检测结果确定出目标图像(例如,上述图6中的目标图像2)中存在满足攻击检测条件的一个或者多个网格图像块时,则可以直接将该目标图像中的目标对象确定为攻击对象,进而可以拒绝将该目标图像传输至与该目标防御网络模型具有关联关系的对象识别模型。
其中,可以理解的是,该对象识别模型可以级联集成在该目标防御网络模型中,进而可以在该计算机设备为上述目标用户终端时,在目标用户终端中自动进行身份验证。比如,以上述应用客户端为基于人脸进行终端解锁的客户端(例如,客户端Y)为例,运行有该客户端Y的计算机设备可以在确定目标对象为正常对象时,将目标图像传输至与该目标防御网络模型具有关联关系的对象识别模型,以在该目标用户终端中进行身份验证,进而可以在该目标用户终端的本地完成身份验证的情况下,对该目标用户终端的锁屏界面进行解锁操作,进而可以提供一种安全地,高效地终端解锁方式。
本申请实施例中的计算机设备在获取到包含目标对象的目标图像时,可以对目标图像进行网格化处理,以将目标图像划分成一个或者多个网格,这里将不对划分后的网格的数量进行限定。应当理解,本申请实施例可以将每个网格对应的图像统称为网格图像块。此外,可以理解的是,这里的目标对象可以为人脸识别场景下的某个用户的人脸,可选的,这里的目标对象还可以为标识识别场景下的某个物体的标识信息,这里将不对目标对象的具体类型进行限定。进一步的,计算机设备可以将目标图像给到训练好的目标防御网络模型,以通过该目标防御网络模型从前述划分后的网格图像块中提取第一类型特征和第二类型特征,进而可以将提取出的第一类型特征和第二类型特征进行拼接处理,以得到与该目标图像相关联的图像块拼接特征;可以理解的是,本申请实施例通过对从每个网格图像块所提取到的第一类型特征和第二类型特征进行拼接处理后,可以提高后续对每个网格图像块所属的分类类型进行分类的准确性。进一步的,计算机设备可以根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,以得到目标图像对应的物理攻击检测结果。可以理解的是,在本申请实施例中的物理攻击检测结果中可以包含每个网格图像块对应的物理攻击检测结果,所以,该计算机设备可以在检测到这些物理攻击检测结果中存在满足攻击检测条件的网格图像块对应的物理攻击检测结果时,确定目标图像中存在满足攻击检测条件的网格图像块,进而可以间接地确定出该目标对象为攻击对象,并可以拒绝将该目标图像传输至与该目标防御网络模型具有关联关系的对象识别模型。由此可见,采用本申请实施例在进行对象识别之前,可以预先将目标图像划分成一系列的网格图像块,进而可以通过目标防御模型对每个网格图像块进行物理攻击检测,以识别每个网格图像块所属的分类类型,进而可以提高攻击检测的准确性。此外,本申请实施例在通过目标防御网络模型识别出每个网格图像块所属的分类类型之后,可以将每个网格图像块所属的分类类型统称为目标图像对应的物理攻击检测结果,这样,计算机设备在检测到这些网格图像块中存在满足攻击检测条件的网格图像块,则可以快速确定出目标对象可能为携带物理攻击饰品的攻击对象,进而无需继续将目标图像传输给对象识别模型进行对象识别,进而可以确保对象识别的可靠性。
进一步的,请参见图7,图7是本申请实施例提供的一种图像数据处理方法的流程示意图。其中,可以理解的是,本申请实施例提供的方法可以由计算机设备执行,这里的计算机设备包括但不限于用户终端或服务器。为便于理解,本申请实施例以计算机为用户终端为例,该用户终端可以为上述图2所对应实施例中的目标用户终端,如图7所示,该方法至少可以包括下述步骤S201-步骤S211;
步骤S201,获取与样本对象相关联的训练样本信息和训练样本信息的样本标签信息;
具体的,计算机设备可以获取包含样本对象的初始图像数据,并可以将初始图像数据作为用于对对初始防御网络模型进行训练的第一样本信息,并可以将第一样本信息的标签信息确定为非攻击类标签信息,即这里的第一样本信息可以为计算机设备所获取到的未携带任何攻击贴图的样本图像。应当理解,这里的样本对象可以为用户的人脸,还可以为标识信息。为便于理解,本申请实施例可以以第一样本信息为获取到的包含N(例如,12044)个用户的人脸的配准图像数据为例,以阐述根据这N个配准图像数据训练初始防御网络模型的具体过程。其中,可以理解的是,在模型训练阶段,这里的配准图像数据可以为该计算机设备从包含这N个用户的样本图像数据中所截取到的人脸在图片正中央这一状态下的图像数据。可以理解的是,这N个用户的初始图像数据可以来自于N个不同用户终端,且这N个用户的初始图像数据的尺寸可以相同,即计算机设备从上述样本图像数据中截取到对应用户的人脸后,可以进一步对人脸所在区域的尺寸进行缩放处理。进一步的,计算机设备可以获取与初始防御网络模型具有关联关系的对象识别模型,进而可以通过对象识别模型确定与初始图像数据相关联的攻击图像数据,这里的攻击图像数据可以包括但不限于上述额头攻击贴图、眼镜攻击贴图以及口罩攻击贴图等具有攻击属性的攻击贴图;进一步的,计算机设备可以基于攻击图像数据和初始图像数据,生成包含攻击图像数据的叠加图像数据,并可以将叠加图像数据作为用于对初始防御网络模型进行训练的第二样本信息,并可以将第二样本信息的标签信息确定为攻击类标签信息;进一步的,计算机设备可以将第一样本信息和第二样本信息确定为训练样本信息,进而可以将非攻击类标签信息和攻击类标签信息作为所训练样本信息的样本标签信息。
其中,训练样本信息中可以包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;训练样本信息的样本标签信息可以包括:第一样本信息对应的非攻击类标签信息和第二样本信息对应的攻击类标签信息;
为便于理解,进一步的,请参见图8,是本申请实施例提供的一种得到训练样本信息的场景示意图。如图8所示的图像数据C可以为上述计算机设备所获取到的包含N(例如,12044)个用户的人脸的配准图像数据中的任意一个配准数据。可以理解的是,在模型训练阶段,本申请实施例中可以将这N个配准图像数据中的任意一个配准图像数据统称为初始图像数据。为便于理解,本申请实施例以运行在上述计算机设备中的应用客户端为支付客户端为例。这里的计算机设备可以从该支付客户端对应的服务器上获取前述N个用户的配准图像数据,进而可以将获取到的这N个用户的这些配准图像数据统称为第一样本信息。
比如,如图8所示,计算机设备可以将图8所示的图像数据C作为用于对初始防御网络模型进行训练的第一样本信息,可以理解的是,对于该图像数据C可以为进行过支付业务的用户D的人脸所对应的图像数据,所以,对于该图像数据C而言,由于在该图像数据C中的人脸上并未携带任何具有攻击属性的攻击贴图,进而可以将该第一样本信息的标签信息确定为非攻击类标签信息。
进一步的,如图8所示,为复现物理对抗攻击,本申请实施例中的计算机设备可以进一步获取与初始防御网络模型具有关联关系的对象识别模型,以通过对象识别模型生成与初始图像数据相关联的攻击图像数据,比如,可以通过对抗攻击算法和人脸数据分别生成图8所示的攻击图像数据1和攻击图像数据2。这里的攻击图像数据1为眼镜攻击贴图,这里的攻击图像数据2为额头攻击贴图(比如,可以为额头上的眉毛攻击贴图),以企图通过该攻击图像数据2更改图像数据C中的用户D的眉毛的形状,比如,可以通过物理贴图的方式在该用户D的眉毛由弯弯的眉毛上叠加图8所示的一字眉。
可以理解的是,本申请实施例在通过对抗攻击算法生成攻击贴图之后,可以将贴图随机地放置在人脸的指定范围区域。比如,可以将图8所示的攻击图像数据1(即眼镜攻击贴图)随机的放在该用户D的眼睛所在的区域,以得到图8所示的叠加图像数据1。同理,计算机设备可以将图8所示的攻击图像数据2(即额头攻击贴图)随机的放在该用户D的额头所在的区域,以得到图8所示的叠加图像数据2。此时,计算机设备可以将这些叠加图像数据(例如,图8所示的叠加图像数据1和叠加图像数据2)作为用于对初始防御网络模型进行训练的第二样本信息,进而可以将第二样本信息的标签信息确定为攻击类标签信息。比如,对于叠加图像数据1而言,其标签信息可以为眼镜攻击贴图的标签信息,同理,对于叠加图像数据2而言,其标签信息可以为额头攻击贴图的标签信息。
进一步的,如图8所示,计算机设备可以将图8所示的第一样本信息和第二样本信息确定为训练样本信息,并可以将该第一样本信息的非攻击类标签信息和第二样本信息的攻击类标签信息作为训练样本信息的样本标签信息。
应当理解,对于上述N个用户的配准图像数据而言,均可以通过对抗攻击算法生成如上述图8所示的不同类型的攻击贴图,进而在将这些攻击贴图叠加在配准图像数据中的指定区域中时,可以得到类似于图8所示的叠加图像数据,基于此,本申请实施例可以得到大量的用于训练初始防御网络模型的样本信息。可以理解的是,本申请实施例在得到这些样本信息时,可以将这些样本信息中的一部分作为训练样本信息,一部分作为测试样本信息,进而可以在训练好初始防御网络模型的情况下,通过测试样本信息验证训练好的初始防御网络模型的可靠性。
步骤S202,对训练样本信息进行网格化处理,得到训练样本信息对应的样本图像块;
为便于理解,本申请实施例以训练样本信息为上述图8所对应实施例中的图像数据C、叠加图像数据1和叠加图像数据2为例,以阐述在模型训练的过程中,对每个样本信息进行网格裁剪的具体过程。
为便于理解,进一步的,请参见图9,是本申请实施例提供的得到样本图像块的场景示意图。如图9所示,样本信息10a可以为上述图8所对应实施例中的图像数据C。本申请实施例可以获取对训练样本信息进行网格化处理的网格参数(例如,上述3×3个网格),进而可以基于网格参数对样本信息10a进行网格裁剪,以得到样本信息10a对应的样本图像块(例如,图9所示的9个样本图像块20a)。同理,本申请实施例可以基于该网格参数对图9所示的样本信息10b进行网格裁剪,以得到该样本信息10b对应的样本图像块(例如,图9所示的9个样本图像块20b);以此类推,本申请实施例可以基于该网格参数对图9所示的样本信息10c进行网格裁剪,以得到该样本信息10c对应的样本图像块(例如,图9所示的9个样本图像块20c)。
应当理解,本申请实施例在得到每个训练样本信息的样本图像块之后,可以进一步执行下述步骤S203。
步骤S203,通过初始防御网络模型从样本图像块中提取第一样本特征和第二样本特征,将第一样本特征和第二样本特征进行特征拼接,得到与训练样本信息相关联的样本拼接特征;
其中,可以理解的是,计算机设备对每个训练样本信息的样本图像块中提取述第一样本特征和第二样本特征的具体实现方式,可以一并参见上述图2所对应实施例中对从网格图像块1中提取述第一类型特征和第二类型特征的描述,这里将不再继续进行赘述。
步骤S204,基于样本拼接特征、非攻击类标签信息和攻击类标签信息对初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型;
具体的,可以理解的是,计算机设备在基于样本拼接特征、非攻击类标签信息和攻击类标签信息对初始防御网络模型进行训练的过程中,可以预测得到每个样本图像块所属分类类型的概率,进而就可以基于预测得到的概率确定每个样本图像块所属的训练样本信息的预测标签信息。由于每个训练样本信息均对应一个真实标签信息,所以,计算机设备可以基于预测得到的预测标签信息和真实标签信息之间的差异,确定用于对初始防御网络模型中的模型参数进行调整的初始损失函数值。可以理解的是,若计算机设备确定初始损失函数值不满足模型收敛条件,则可以基于初始损失函数值调整初始防御网络模型中的模型参数,进而可以基于上述训练样本信息对调整后的初始防御网络模型进行迭代训练,进而可以在迭代次数达到迭代次数阈值时,确定迭代训练后的初始防御网络模型的目标损失函数值满足模型收敛条件,进而可以将满足模型收敛条件时的初始防御网络模型作为目标防御网络模型,以便于后续可以继续执行下述步骤S205-步骤S211。
步骤S205,获取包含目标对象的目标图像,对目标图像进行网格化处理,得到目标图像对应的网格图像块;
步骤S206,获取目标图像对应的目标防御网络模型,通过目标防御网络模型从网格图像块中提取第一类型特征和第二类型特征,将第一类型特征和第二类型特征进行特征拼接,得到与目标图像相关联的图像块拼接特征;
步骤S207,根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,得到网格图像块对应的物理攻击检测结果;
步骤S208,若物理攻击检测结果指示目标图像中存在满足攻击检测条件的网格图像块,则将目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
其中,步骤S205-步骤S208的具体实现方式可以参见上述图3所对应实施例中对确定攻击对象的具体过程的描述,这里将不再继续赘述。
可选的,应当理解,计算机设备在执行完上述步骤S208之后,还可以将满足攻击检测条件的网格图像块确定为异常图像块,进而可以在目标图像中确定异常图像块所属区域的位置信息,并可以基于位置信息和目标分类类型,生成针对目标用户的异常提示信息(比如,眼睛所在区域存在具有攻击属性的攻击贴图,请重新采集图像数据等文本提示信息),并可以进一步将异常提示信息输出至应用客户端对应的反馈界面;反馈界面上包括用于指示目标用户执行触发操作的业务控件(例如,重新采集控件);此时,计算机设备可以响应针对业务控件的触发操作,发起用于二次访问应用客户端的访问请求,进而基于访问请求重新获取到新的目标图像。
可选的,步骤S209,若物理攻击检测结果中存在目标分类类型均属于非攻击类标签信息的物理攻击检测结果,则在网格图像块中将目标分类类型对应的网格图像块,均确定为不满足攻击检测条件的网格图像块;
步骤S210,在目标图像中将不满足攻击检测条件的网格图像块均确定为正常图像块;
步骤S211,在基于每个正常图像块将目标对象确定为非攻击对象时,允许将目标图像输入至与目标防御网络模型具有关联关系的人脸识别模型,以使人脸识别模型对目标图像中的目标对象对应的用户进行身份验证。
其中,步骤S209-步骤S211的具体实现方式可以参见上述图6所对应实施例中对目标图像1的描述,这里将不再继续进行赘述。为便于理解,进一步的,请参见图10,是本申请实施例提供的一种在人脸识别场景下应用目标防御网络模型的流程示意图。如图10所示,当计算机设备为上述目标用户终端时,可以在该计算机设备中执行步骤S11,以采集对象人脸信息,比如,可以得到包含上述目标用户的人脸的目标图像,进一步的,计算机设备可以执行步骤S12,以通过防御模型判断该目标对象是否为攻击人脸。其中,计算机设备在执行步骤S13之后,若判断出目标对象属于攻击人脸,则直接执行步骤S14。可以理解的是,计算机设备判断出目标对象属于攻击人脸的具体实现方式,可以参见上述图6所对应实施例中对目标图像2的描述,这里将不再继续进行赘述。同理,可选的,计算机设备在执行完步骤S13之后,若判断出目标对象不属于攻击人脸,则继续执行步骤S15。应当理解,计算机设备判断出目标对象不属于攻击人脸的具体实现方式,可以参见上述图6所对应实施例中对目标图像1的描述,这里将不再继续进行赘述。
可选的,应当理解,对于应用客户端对应的业务类型属于第二分类场景的情况下,计算机设备可以将通过后置摄像头所采集到的图像数据确定为标识图像数据,进而可以在标识图像数据中确定出属于标识信息的标识区域。应当理解,计算机设备从标识图像数据中截取标识区域的具体实现方式,可以一并参见上述图3所对应实施例中对从目标用户图像数据中截取目标图像的具体过程的描述,这里将不再继续进行赘述。
本申请实施例中的计算机设备在获取到包含目标对象的目标图像时,可以对目标图像进行网格化处理,以将目标图像裁剪成一个或者多个网格,这里将不对裁剪后的网格的数量进行限定。应当理解,本申请实施例可以将每个网格对应的图像统称为网格图像块。此外,可以理解的是,这里的目标对象可以为人脸识别场景下的某个用户的人脸,可选的,这里的目标对象还可以为标识识别场景下的某个物体的标识信息,这里将不对目标对象的具体类型进行限定。进一步的,计算机设备可以将目标图像给到训练好的目标防御网络模型,以通过该目标防御网络模型从前述划分后的网格图像块中提取第一类型特征和第二类型特征,进而可以将提取出的第一类型特征和第二类型特征进行拼接处理,以得到与该目标图像相关联的图像块拼接特征;可以理解的是,本申请实施例通过对从每个网格图像块所提取到的第一类型特征和第二类型特征进行拼接处理后,可以提高后续对每个网格图像块所属的分类类型进行分类的准确性。进一步的,计算机设备可以根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,以得到目标图像对应的物理攻击检测结果。可以理解的是,在本申请实施例中的物理攻击检测结果中可以包含每个网格图像块对应的物理攻击检测结果,所以,该计算机设备可以在检测到这些物理攻击检测结果中存在满足攻击检测条件的网格图像块对应的物理攻击检测结果时,确定目标图像中存在满足攻击检测条件的网格图像块,进而可以间接地确定出该目标对象为攻击对象,并可以拒绝将该目标图像传输至与该目标防御网络模型具有关联关系的对象识别模型。由此可见,采用本申请实施例在进行对象识别之前,可以预先将目标图像划分成一系列的网格图像块,进而可以通过目标防御模型对每个网格图像块进行物理攻击检测,以识别每个网格图像块所属的分类类型,进而可以提高攻击检测的准确性。此外,本申请实施例在通过目标防御网络模型识别出每个网格图像块所属的分类类型之后,可以将每个网格图像块所属的分类类型统称为目标图像对应的物理攻击检测结果,这样,计算机设备在检测到这些网格图像块中存在满足攻击检测条件的网格图像块,则可以快速确定出目标对象可能为携带物理攻击饰品的攻击对象,进而无需继续将目标图像传输给对象识别模型进行对象识别,进而可以确保对象识别的可靠性。
进一步的,请参见图11,图11是本申请实施例提供的一种图像数据处理方法,该方法可以由上述计算机设备执行,其中,该方法可以包含以下步骤S301-步骤S304;
步骤S301,获取与样本对象相关联的训练样本信息和训练样本信息的样本标签信息;
其中,训练样本信息中包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;训练样本信息的样本标签信息包括:第一样本信息对应的非攻击类标签信息和第二样本信息对应的攻击类标签信息;
步骤S302,对训练样本信息进行网格化处理,得到训练样本信息对应的样本图像块;
步骤S303,通过初始防御网络模型从样本图像块中提取第一样本特征和第二样本特征,将第一样本特征和第二样本特征进行特征拼接,得到与训练样本信息相关联的样本拼接特征;
步骤S304,基于样本拼接特征、非攻击类标签信息和攻击类标签信息对初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型;
其中,步骤S301-步骤S304的具体实现方式可以参见上述图7所对应实施例中对训练初始防御网络模型的描述,这里将不再继续进行赘述。为便于理解,进一步的,请参见图12a,是本申请实施例提供的一种训练初始防御网络模型的流程示意图。如图12a所示,计算机设备可以执行步骤S21,以利用对象识别模型生成攻击数据,这里的攻击数据可以为上述图7所对应实施例中的训练样本信息,进一步的,计算机设备可以执行步骤S22,进而可以将攻击数据切成网格,以得到训练样本信息的样本图像块,进一步的,计算机设备可以执行步骤S23,以将网格化的攻击数据(即训练样本信息的样本图像块)给到防御模型,这里的防御模型可以为上述图7所对应实施例中的初始防御网络模型。进一步的,计算机设备可以执行步骤S24,以比较防御模型输出的预测结果与期望的目标值之间的差异,进而可以执行步骤S25,以得到用于对初始防御网络模型的模型参数进行调整的目标函数(这里可以为目标损失函数的函数值)。应当理解,当目标函数不满足模型收敛条件时,则可以确定迭代次数未达到迭代次数阈值,进而需要重新执行步骤S22,以进行新一轮的迭代训练,直接该计算出的目标函数满足模型收敛条件时,则完成对初始防御网络模型的迭代训练,进而可以将迭代训练后的初始防御网络模型作为目标防御网络模型。
另外,可以理解的是,本申请实施例通过采用不同样本标签信息的训练样本信息对初始防御网络模型进行训练,可以得到通用的目标防御网络模型,从而在采用目标防御网络模型对后续所获取到的目标图像中的网格图像块进行对象分类时,可以在目标图像中有效地辨别出属于不同分类类型的攻击贴图,进而可以确保对象分类的准确性。
可以理解的是,在模型训练阶段,我们可以将上述迭代训练后的初始防御网络模型作为过渡防御网络模型,进而可以根据过渡防御网络模型和对象识别模型,继续对过渡防御网络模型的模型参数进行优化,以训练得到上述目标防御网络模型。应当理解,本申请实施例在训练好上述目标防御网络模型之后,可以利用目标防御网络模型有效地防御模型的多任务攻击。即本申请实施例在采用训练好的目标防御网络模型对目标图像进行预测的过程中,不仅可以在目标图像中识别出属于不同分类类型的攻击贴图,还可以有效地防御对模型自身的攻击,这样,当目标图像中存在比上述攻击贴图更复杂的其他类型的非法攻击时,仍可以通过该训练好的目标防御网络模型来增强模型的可靠性和鲁棒性。
为便于理解,进一步的,请参见图12b,是本申请实施例提供的一种训练初始防御网络模型的场景示意图。为便于理解,本申请实施例以人脸识别场景下的防御网络模型的训练为例,以阐述在人脸识别场景下通过初始防御网络模型对人脸识别模型进行定向攻击训练的具体过程。其中,如图12b所示的图像数据50a可以为用于训练初始防御网络模型的初始图像数据,这里的初始图像数据可以为计算机设备所获取到的包含样本对象(例如,用户E)的配准图像数据。在模型训练的阶段,本申请实施例可以将图像数据50a作为上述第一样本信息,并将第一样本信息的标签信息确定为非攻击类标签信息。如图12b所示,在图像数据50a中的区域80a为样本对象(即用户E)的人脸上所指定的攻击位置区域。该攻击位置区域可以用于放置具有攻击属性的攻击贴图(比如,额头攻击贴图)。
如图12b所示,计算机设备可以将图像50a给到图12b所示的对象识别模型40b,进而可以通过该对象识别模型40b确定与初始图像数据(即图像数据50a)相关联的攻击图像数据,这里的攻击图像数据可以包括但不限于上述额头攻击贴图;进一步的,计算机设备可以基于攻击图像数据和初始图像数据(即图像数据50a),生成图12b所示的图像60a,应当理解,这里的图像60a即为上述包含攻击图像数据的叠加图像数据。此时,计算机设备可以将叠加图像数据作为用于对初始防御网络模型进行训练的第二样本信息,并可以将第二样本信息的标签信息确定为攻击类标签信息。进一步的,计算机设备可以将第一样本信息(例如,图像数据50a)和第二样本信息(例如,图像数据60a)确定为训练样本信息,进而可以将非攻击类标签信息和攻击类标签信息作为所训练样本信息的样本标签信息。
其中,可以理解的是,为复现物理对抗攻击,本申请实施例在通过图12b所示的对象识别模型40a生成攻击图像数据(例如,额头攻击贴图)之后,可以将该额头攻击贴图放置在图12b所示的区域80a,进而可以得到图12b所示的图像数据60a(即上述包含攻击图像数据的叠加图像数据)。应当理解,在计算机设备将图12b所示的图像60a给到对象识别模型40a之前,可以将该图像60a预先给到图12b所示的防御网络模型40b,以通过该防御网络模型40b对该图像60a中的样本图像块进行多维度的特征提取,进而可以将提取到的多个维度的特征进行拼接处理,以得到每个样本图像块的样本块拼接特征,进而可以通过该防御网络模型40b中的分类器对每个样本图像块所属的分类类型进行归类,以根据样本攻击检测结果判断是应该拒绝还是接收。比如,当计算机设备将第二样本信息(例如,图像60a)给到图12b所示的防御网络模型40b时,可以有效地识别出图像60a中具有攻击属性的攻击贴图为额头攻击贴图,进而可以对图像60a进行拒绝。
应当理解,与此同时,计算机设备还可以通过图12b所示的对象识别模型40a计算图像50a与图像60a之间的余弦相似度损失值(即图12b所示的损失值11)。应当理解,损失值11的值越大,则可以确保生成的携带攻击类标签信息的第二样本信息与该样本对象的初始图像数据之间的相似性越小,以至于可以通过图12b所示的损失值1通反向优化待叠加在图像数据50a上的区域80a中的贴图的纹理信息,以使图12b所示的对象识别模型认不出自己时,可以确保此时所生成的第二样本信息基本上不同于图12b所示的图像50a。如图12b所示,计算机设备还可以通过对象识别模型40a计算图像60a(即攻击样本)和图像70b(这里可以为上述用户E所希望伪装成的其他用户,例如,用户F)的另一余弦相似度(即图12b所示的相似度1)。
其中,可以理解的是,这里的相似度1的值越大,则表明在图像数据60a中的具有攻击属性的用户E的人脸,可以尽可能的与图像数据70a中的用户F的人脸相似,即计算机设备会认为用户E伪装成用户F的可能性越大,所以,在采用这样的攻击样本对初始防御网络模型(例如,图12b所示的防御网络模型40b)进行定向攻击训练之后,可以提高训练后的初始防御网络模型对攻击样本进行物理攻击检测的准确性。
其中,在定向攻击训练的过程中,损失值1可以用如下公式(1)表示:
Figure 628556DEST_PATH_IMAGE001
公式(1);
Figure 580332DEST_PATH_IMAGE002
公式(2);
Figure 318480DEST_PATH_IMAGE003
公式(3)
其中,在上公式(1)中,Lsim=损失值11,Lsim为上述余弦相似度损失值;Ltv=损失值12,Ltv为攻击贴图的梯度损失值。其中,公式(2)中的
Figure 838455DEST_PATH_IMAGE004
可以表示图像a和图像b之间的余弦相似度。这里的图像a可以为图12b所示的图像50a,图像b可以为图12b所示的图像60a。即
Figure 294844DEST_PATH_IMAGE005
可以为图12b所示的对象识别模型40a(这里为人脸识别模型)所输出的攻击样本(即图12b所示的图像60a)与原始样本(即图12b所示的图像50a)之间的余弦相似度。在公式(2)中的ea i用于表示使用图12b所示的对象识别模型40a对图像a进行对象识别时所提取到的第i维的特征向量,且公式(2)中eb i用于表示使用图12b所示的对象识别模型40a对图像b进行对象识别时所提取到的第i维的特征向量;这里的i为小于或者等于n的正整数,这里的n为对图像a和图像b进行对象识别时所得到的特征向量的总维度。其中,公式(3)中的
Figure 909365DEST_PATH_IMAGE006
可以为通过人脸数据和对抗攻击算法所生成的攻击贴图,
Figure 502020DEST_PATH_IMAGE007
可以为攻击贴图(例如,上述额头攻击贴图)在图12b所示的区域80a的水平方向(即x方向)上的梯度值;同理,
Figure 51950DEST_PATH_IMAGE008
可以为攻击贴图(例如,上述额头攻击贴图)在图12b所示的区域80a的垂直方向(即y方向)上的梯度值。
可选的,如图12b所示,考虑到防御网络模型40b本身为神经网络模型,同样存在二次攻击的风险,所以,本申请实施例在对图12b所示的防御网络模型40b(即初始防御网络模型)进行训练的过程中,还可以进行多任务对抗训练,进而可以得到具有迁移攻击特性的样本,这样可以防止某些具有强攻击性的样本绕过防御攻击模型,进而可以提升防御网络模型40b本身的安全性。可以理解的是,在多任务攻击对抗训练的过程中,计算机设备可以采用定向攻击训练中所获取到的配准图像数据进行多任务对抗训练。
比如,如图12b所示,计算机设备可以在对初始防御网络模型进行定向攻击训练之后,得到过渡防御网络模型,并将该过渡防御网络模型与对象识别模型进行多任务对抗训练。这里的过渡防御网络模型可以为图12b所示的多任务攻击中的防御网络模型40b,这里的对象识别模型可以为图12b所示的多任务攻击中的对象识别模型40a。此时,目标函数的损失值可以为图12b所示的损失值2。即该损失值2可以在上述公式(1)的基础上增加一个防御网络模型40b对应的损失值22;此时目标函数的损失值2可以用下述公式表示:
Figure 871002DEST_PATH_IMAGE009
公式(4);
在公式(4)中,
Figure 164580DEST_PATH_IMAGE010
可以为图12b所示的损失值21,该损失值21的计算方式可以参见对上述公式(1)和公式(2)的描述,这里将不再继续进行赘述。其中,Ltv的计算方式可以参见对上述公式(3)的描述,这里将不再继续进行赘述。其中,β攻击贴图的梯度损失值的权重。其中,Lcls为防御网络模型40b对应的分类损失值,α是该分类损失值的权重。α和β的和等于1。该防御网络模型40b的卷积神经网络部分可以为任意卷积神经网络模型(比如,这里的卷积神经网络模型可以包含MobileNet+SE结构模型),其中,SE结构模型可以为一种用于加强特征提取的注意力模型,通过该注意力模型可以增强该卷积神经网络模型中的各个通道之间的相关性。这里的MobileNet模型可以具备对每个样本图像块进行特征提取和特征分类的功能。
其中,防御网络模型40b对应的分类损失值的计算公式请参见下述公式(5):
Figure 22462DEST_PATH_IMAGE011
公式(5)
在公式(5)中,N为对图像50b进行网格裁剪后所得到的样本图像块的总数量。
Figure 743294DEST_PATH_IMAGE012
为图像50b中的第k个样本图像块被防御网络模型40b归类为第c类的概率。c的取值可以为0(例如,属于攻击类标签信息的分类类型),也可以为1(例如,属于非攻击类标签信息的分类类型)。其中,
Figure 908696DEST_PATH_IMAGE013
为图像50b中的第k个样本图像块确实属于第c类的概率。
其中,如图12b所示的图像60b为计算机设备通过同时攻击对象识别模型40a和防御网络模型40b所生产的攻击样本。这样,在将图12b中的图像60b给到防御网络模型之后,可以进行网格裁剪,进而可以通过裁剪后的样本图像块确定出该用户E对应的图像60b中不存在具有攻击属性的贴图,进而可以接受该图像60b,以将该图给到图12b所示的对象识别模型40a。如图12b所示,计算机设备可以通过对象识别模型40a中的相似度计算公式计算图像60b和图像70a之间的余弦相似度,即可以得到图12b所示的相似度2。可以理解的是,当该相似度2的值小于相似阈值(例如,0.7)时,可以认为图像60b中用户E的人脸与图像70a中的用户F的人脸确实不具备相似性,进而可以间接确定该用户E为非攻击对象。
应当理解,对于上述计算机设备获取到的所有配准图像数据而言,均可以用于进行图12b所示的初始防御网络模型的训练,进而可以将训练后的初始防御网络模型确定为目标防御网络模型。
为便于理解,进一步的,请参见表1,是本申请实施例提供的一种采用目标防御网络模型和采用传统神经网络模型对目标图像中的物理攻击贴图进行防御的部分对比关系表。
表1
攻击类型 网络模型1 网络模型2 网络模型3 网络模型4 防御网络模型
贴图1 90.96% 45.86% 75.18% 62.08% 0%
贴图2 81.71% 41.63% 46.51% 50.36% 4.76%
其中,表1所示的部分关系对比中的贴图1可以为上述图8所对应实施例中的攻击图像数据1(即眼镜贴图攻击),额头贴图攻击,贴图2可以为上述图8所对应实施例中的攻击图像数据2(即额头贴图攻击)。当采用携带这些攻击贴图的攻击样本的整个原图,分别对网络模型1(即MobileNet模型)进行物理攻击时,攻破该网络模型1的百分比可达90.96%和81.71%,这意味着网络模型1对这类物理攻击的防御能力较弱。同理,如上述表1所示,当采用携带这些攻击贴图的攻击样本的整个原图,对网络模型2、网络模型3和网络模型4进行物理攻击时,攻破这些传统网络模型的百分比可参见上述表1,显然,网络模型2、网络模型3和网络模型4对直接采用原图提取神经网络特征的方式进行物理防御攻击的防御能力是存在不足的。其中,网络模型2可以为ResNet模型,网络模型3可以为DenseNet,网络模型4可以为Inception-v3模型。但是,当采用本申请实施例所公开的防御网络模型(即MobileNet +SE结构模型所构成的上述目标防御网络模型)可以对获取到的目标图像进行网格裁剪,进而可以针对裁剪后的任意一个网格图像块的图像块拼接特征(即上述神经网络特征+传统统计特征)进行物理攻击检测,以提高对物理攻击检测的准确度,进而可以增强防御模型的防御能力。即本申请实施例可以通过该目标防御网络模型中的分类器快速且准确地对相应网格图像块所属的分类类型,如果分类类型属于上述攻击类标签信息,则可以拒绝将目标图像给到上述对象识别模型,进而可以确保对象识别的可靠性。
进一步地,请参见图13,图13是本申请实施例提供的一种图像数据处理装置的结构示意图。上述图像数据处理装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像数据处理装置1可以为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。其中,该图像数据处理装置1可以包括:目标图像获取模块11、拼接特征确定模块12、攻击检测模块13、攻击对象确定模块14、提示信息生成模块15,提示信息输出模块16,目标图像更新模块17,正常对象确定模块18。
目标图像获取模块11,用于获取包含目标对象的目标图像,对目标图像进行网格化处理,得到目标图像对应的网格图像块;
其中,目标图像获取模块11包括:图像序列获取单元111,人脸检测单元112,目标图像获取单元113,图像裁剪单元114;可选的,目标图像获取模块11还包括:图像数据采集单元115,标识区域确定单元116,图像块确定单元117;
图像序列获取单元111,用于若应用客户端对应的业务类型属于第一分类场景,则在与应用客户端相关联的前置摄像头开启时,调用前置摄像头采集与目标用户相关联的目标图像序列;目标图像序列包含至少一个用户图像数据;
其中,图像序列获取单元111包括:采集界面输出子单元1111,摄像头启动子单元1112,图像数据输出子单元1113和图像序列确定子单元1114;
采集界面输出子单元1111,用于响应针对应用客户端的访问触发操作,输出应用客户端对应的图像采集界面;
摄像头启动子单元1112,用于在应用客户端对应的业务类型属于第一分类场景时,启动与应用客户端相关联的前置摄像头;
图像数据输出子单元1113,用于在前置摄像头对应的采集时长内,对执行触发操作的目标用户的至少一个图像数据进行采集,将采集到的至少一个图像数据输出至图像采集界面;
图像序列确定子单元1114,用于将图像采集界面上显示的至少一个图像数据确定为与目标用户相关联的目标图像序列。
其中,采集界面输出子单元1111,摄像头启动子单元1112,图像数据输出子单元1113和图像序列确定子单元1114的具体实现方式可以参见上述图1所对应实施例中对确定目标图像序列的具体过程的描述,这里将不再继续进行赘述。
人脸检测单元112,用于从目标图像序列的至少一个用户图像数据中获取目标用户图像数据,对目标用户图像数据进行人脸检测,得到人脸检测结果;
目标图像获取单元113,用于基于人脸检测结果,从目标用户图像数据中获取目标用户的人脸对应的图像,将获取到的图像作为包含目标对象的目标图像;目标对象为目标用户的人脸;
其中,目标图像获取单元113包括:面部区域确定子单元1131和面部区域截取子单元1132;
面部区域确定子单元1131,用于若人脸检测结果指示目标用户图像数据中存在属于人脸类型的目标特征点,则基于目标特征点在目标用户图像数据中确定目标用户的人脸所在的面部区域;
面部区域截取子单元1132,用于从目标用户图像数据中截取面部区域,在面部区域中将目标用户的人脸作为目标对象,在面部区域中将目标对象对应的图像作为目标图像。
其中,面部区域确定子单元1131和面部区域截取子单元1132的具体实现方式可以参见上述图3所对应实施例中对获取目标图像的具体过程的描述,这里将不再继续进行赘述。
图像裁剪单元114,用于获取用于对目标图像进行网格化处理的网格参数,基于网格参数对目标图像进行裁剪处理,得到目标图像对应的网格图像块。
可选的,图像数据采集单元115,用于若应用客户端对应的业务类型属于第二分类场景,则在与应用客户端相关联的后置摄像头开启时,调用后置摄像头采集在摄像头的摄像范围中的标识信息的标识图像数据;
标识区域确定单元116,用于在标识图像数据中确定标识信息所属的标识区域,将标识区域中的标识信息作为目标对象,在标识图像数据中截取标识区域,将标识区域对应的图像数据作为包含目标对象的目标图像;
图像块确定单元117,用于获取用于对目标图像进行网格化处理的网格参数,基于网格参数对目标图像进行裁剪处理,得到目标图像对应的网格图像块。
其中,图像序列获取单元111,人脸检测单元112,目标图像获取单元113,图像裁剪单元114的具体实现方式可以参见上述图3所对应实施例中的包含人脸的目标图像的描述,这里将不再继续进行赘述。可选的,图像数据采集单元115,标识区域确定单元116,图像块确定单元117的具体实现方式可以参见上述图7所对应实施例中对交通标识信息的描述,这里将不再继续进行赘述。
拼接特征确定模块12,用于获取目标图像对应的目标防御网络模型,通过目标防御网络模型从网格图像块中提取第一类型特征和第二类型特征,将第一类型特征和第二类型特征进行特征拼接,得到与目标图像相关联的图像块拼接特征;
其中,网格图像块的数量为多个;
拼接特征确定模块12包括:目标防御模型获取单元121,第一特征提取单元122,第二特征提取单元123和特征拼接单元124;
目标防御模型获取单元121,用于获取目标图像对应的目标防御网络模型;目标防御网络模型包括:第一特征提取器和第二特征提取器;
第一特征提取单元122,用于通过第一特征提取器从每个网格图像块中提取统计图像特征,将提取到的每个网格图像块的统计图像特征分别确定为第一类型特征;
第二特征提取单元123,用于通过第二特征提取器从每个网格图像块中提取神经网络特征,将提取到的每个网格图像块的神经网络特征分别确定为第二类型特征;
特征拼接单元124,用于将每个网格图像块的第一类型特征和对应网格图像块的第二类型特征进行特征拼接,得到每个网格图像块的拼接特征,将每个网格图像块的拼接特征确定为与目标图像相关联的图像块拼接特征。
其中,目标防御模型获取单元121,第一特征提取单元122,第二特征提取单元123和特征拼接单元124的具体实现方式可以参见上述图3所对应实施例中对确定图像块拼接特征的描述,这里将不再继续进行赘述。
攻击检测模块13,用于根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,得到网格图像块对应的物理攻击检测结果;
其中,目标防御网络模型包括:分类器;分类器具有对目标图像中的网格图像块所属的分类类型进行分类的功能;
攻击检测模块13包括:匹配度确定单元131,最大匹配度确定单元132和攻击结果确定单元133;
匹配度确定单元131,用于将图像块拼接特征输入至目标防御网络模型中的分类器,由分类器确定图像块拼接特征与分类器中的多个样本属性特征之间的匹配度;匹配度用于表征图像块拼接特征分别与每个样本属性特征属于相同分类类型的概率;
最大匹配度确定单元132,用于基于匹配度,在多个样本属性特征中获取与图像块拼接特征具有最大匹配度的样本属性特征,将具有最大匹配度的样本属性特征作为目标样本属性特征;
攻击结果确定单元133,用于将目标样本属性特征对应的样本标签信息作为图像块拼接特征对应的目标分类类型,基于目标分类类型以及与目标分类类型相关联的最大匹配度,确定对目标图像中的网格图像块进行分类后的物理攻击检测结果。
其中,匹配度确定单元131,最大匹配度确定单元132和攻击结果确定单元133的具体实现方式可以参见上述图3所对应实施例中对物理攻击检测结果的描述,这里将不再继续进行赘述。
攻击对象确定模块14,用于若物理攻击检测结果指示目标图像中存在满足攻击检测条件的网格图像块,则将目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
其中,一个网格图像块对应一个物理攻击检测结果;多个样本属性特征对应的样本标签信息包含攻击类标签信息;
攻击对象确定模块14包括:检测条件获取单元141,图像块确定单元142和攻击对象确定单元143;
检测条件获取单元141,用于获取目标防御网络模型对应的攻击检测条件;
图像块确定单元142,用于若物理攻击检测结果中存在目标分类类型属于攻击类标签信息的物理攻击检测结果,则在网格图像块中将目标分类类型对应的网格图像块,确定为满足攻击检测条件的网格图像块;
攻击对象确定单元143,用于将目标图像中所包含的目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
其中,检测条件获取单元141,图像块确定单元142和攻击对象确定单元143的具体实现方式可以参见上述图3所对应实施例中对确定攻击对象的具体过程的描述,这里将不再继续进行赘述。
可选的,提示信息生成模块15,用于将满足攻击检测条件的网格图像块确定为异常图像块,在目标图像中确定异常图像块所属区域的位置信息,基于位置信息和目标分类类型,生成针对目标用户的异常提示信息;
提示信息输出模块16,用于将异常提示信息输出至应用客户端对应的反馈界面;反馈界面上包括用于指示目标用户执行触发操作的业务控件;
提示信息输出模块17,用于响应针对业务控件的触发操作,发起用于访问应用客户端的访问请求,基于访问请求对目标图像进行更新。
可选的,其中,多个样本属性特征对应的样本标签信息包含非攻击类标签信息;
正常对象确定模块18,用于若物理攻击检测结果中存在目标分类类型均属于非攻击类标签信息的物理攻击检测结果,则在网格图像块中将目标分类类型对应的网格图像块,均确定为不满足攻击检测条件的网格图像块;
正常对象确定模块18,还用于在目标图像中将不满足攻击检测条件的网格图像块均确定为正常图像块;
正常对象确定模块18,还用于在基于每个正常图像块将目标对象确定为非攻击对象时,允许将目标图像输入至与目标防御网络模型具有关联关系的人脸识别模型,以使人脸识别模型对目标图像中的目标对象对应的用户进行身份验证。
其中,目标图像获取模块11、拼接特征确定模块12、攻击检测模块13、攻击对象确定模块14的具体实现方式可以参见上述图3所对应实施例中对确定攻击对象的具体过程的描述,这里将不再继续进行赘述。可选的,提示信息生成模块15,提示信息输出模块16,目标图像更新模块17,正常对象确定模块18的具体实现方式,可以参见上述图7所对应实施例中对异常图像块和正常图像块的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图14,图14是本申请实施例提供的一种计算机设备的示意图。如图14所示的计算机设备1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图14所示,作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图14所示的计算机设备1000中,网络接口1004主要用于提供网络通信功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取包含目标对象的目标图像,对目标图像进行网格化处理,得到目标图像对应的网格图像块;
获取目标图像对应的目标防御网络模型,通过目标防御网络模型从网格图像块中提取第一类型特征和第二类型特征,将第一类型特征和第二类型特征进行特征拼接,得到与目标图像相关联的图像块拼接特征;
根据图像块拼接特征、目标防御网络模型,对网格图像块进行物理攻击检测,得到网格图像块对应的物理攻击检测结果;
若物理攻击检测结果指示目标图像中存在满足攻击检测条件的网格图像块,则将目标对象确定为攻击对象,拒绝将目标图像传输至与目标防御网络模型具有关联关系的对象识别模型。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3或图7所对应实施例中对该图像数据处理方法的描述,也可执行前文图13所对应实施例中对该图像数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的计算机设备1000所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图3或图7所对应实施例中对上述图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
进一步的,请参见图15,图15是本申请实施例提供的一种图像数据处理装置的结构示意图。该图像数据处理装置2可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像数据处理装置2可以为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。该图像数据处理装置2可以包含训练样本获取模块21、网格处理模块22、样本特征提取模块23、防御模型训练模块24;
训练样本获取模块21,用于获取与样本对象相关联的训练样本信息和训练样本信息的样本标签信息;训练样本信息中包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;训练样本信息的样本标签信息包括:第一样本信息对应的非攻击类标签信息和第二样本信息对应的攻击类标签信息;
其中,训练样本获取模块21包括:第一样本确定单元211,攻击图像确定单元212,第二样本确定单元213和训练样本确定单元214;
第一样本确定单元211,用于获取包含样本对象的初始图像数据,将初始图像数据作为用于对对初始防御网络模型进行训练的第一样本信息,将第一样本信息的标签信息确定为非攻击类标签信息;
攻击图像确定单元212,用于获取与初始防御网络模型具有关联关系的对象识别模型,通过对象识别模型确定与初始图像数据相关联的攻击图像数据;
第二样本确定单元213,用于基于攻击图像数据和初始图像数据,生成包含攻击图像数据的叠加图像数据,将叠加图像数据作为用于对初始防御网络模型进行训练的第二样本信息,将第二样本信息的标签信息确定为攻击类标签信息;
训练样本确定单元214,用于将第一样本信息和第二样本信息确定为训练样本信息,将非攻击类标签信息和攻击类标签信息作为所训练样本信息的样本标签信息。
其中,第一样本确定单元211,攻击图像确定单元212,第二样本确定单元213和训练样本确定单元214的具体实现方式可以参见上述图7所对应实施例中对获取训练样本信息的具体过程的描述,这里将不再继续进行赘述。
网格处理模块22,用于对训练样本信息进行网格化处理,得到训练样本信息对应的样本图像块;
样本特征提取模块23,用于通过初始防御网络模型从样本图像块中提取第一样本特征和第二样本特征,将第一样本特征和第二样本特征进行特征拼接,得到与训练样本信息相关联的样本拼接特征;
防御模型训练模块24,用于基于样本拼接特征、非攻击类标签信息和攻击类标签信息对初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型。
其中,训练样本获取模块21、网格处理模块22、样本特征提取模块23、防御模型训练模块24的具体实现方式可以参见上述图7所对应实施例中对步骤S201-步骤S204的描述,这里将不再继续进行赘述;另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图16,图16是本申请实施例提供的一种计算机设备的示意图。如图16所示的计算机设备3000可以包括:至少一个处理器3001,例如CPU,至少一个网络接口3004,用户接口3003,存储器3005,至少一个通信总线3002。其中,通信总线3002用于实现这些组件之间的连接通信。其中,网络接口3004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器3005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器3005可选地还可以是至少一个位于远离前述处理器3001的存储装置。如图16所示,作为一种计算机存储介质的存储器3005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图16所示的计算机设备3000中,网络接口3004主要用于提供网络通信功能;而用户接口3003主要用于为用户提供输入的接口;而处理器3001可以用于调用存储器3005中存储的设备控制应用程序,以实现:
获取与样本对象相关联的训练样本信息和训练样本信息的样本标签信息;训练样本信息中包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;训练样本信息的样本标签信息包括:第一样本信息对应的非攻击类标签信息和第二样本信息对应的攻击类标签信息;
对训练样本信息进行网格化处理,得到训练样本信息对应的样本图像块;
通过初始防御网络模型从样本图像块中提取第一样本特征和第二样本特征,将第一样本特征和第二样本特征进行特征拼接,得到与训练样本信息相关联的样本拼接特征;
基于样本拼接特征、非攻击类标签信息和攻击类标签信息对初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型。
应当理解,本申请实施例中所描述的计算机设备3000可执行前文图7或图11所对应实施例中对该图像数据处理方法的描述,也可执行前文图15所对应实施例中对该图像数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的计算机设备3000所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图7或图11所对应实施例中对上述图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
可以理解的是,本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前文图3、图7或者图11所对应实施例中对图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (16)

1.一种图像数据处理方法,其特征在于,包括:
获取包含目标对象的目标图像,对所述目标图像进行网格化处理,得到所述目标图像对应的网格图像块;
获取所述目标图像对应的目标防御网络模型,通过所述目标防御网络模型从所述网格图像块中提取第一类型特征和第二类型特征,将所述第一类型特征和所述第二类型特征进行特征拼接,得到与所述目标图像相关联的图像块拼接特征;
根据所述图像块拼接特征、所述目标防御网络模型,对所述网格图像块进行物理攻击检测,得到所述网格图像块对应的物理攻击检测结果;
若所述物理攻击检测结果指示所述目标图像中存在满足攻击检测条件的网格图像块,则将所述目标对象确定为攻击对象,拒绝将所述目标图像传输至与所述目标防御网络模型具有关联关系的对象识别模型。
2.根据权利要求1所述的方法,其特征在于,所述获取包含目标对象的目标图像,对所述目标图像进行网格化处理,得到所述目标图像对应的网格图像块,包括:
若应用客户端对应的业务类型属于第一分类场景,则在与所述应用客户端相关联的前置摄像头开启时,调用所述前置摄像头采集与目标用户相关联的目标图像序列;所述目标图像序列包含至少一个用户图像数据;
从所述目标图像序列的至少一个用户图像数据中获取目标用户图像数据,对所述目标用户图像数据进行人脸检测,得到人脸检测结果;
基于所述人脸检测结果,从所述目标用户图像数据中获取所述目标用户的人脸对应的图像,将获取到的图像作为包含目标对象的目标图像;所述目标对象为所述目标用户的人脸;
获取用于对所述目标图像进行网格化处理的网格参数,基于所述网格参数对所述目标图像进行裁剪处理,得到所述目标图像对应的网格图像块。
3.根据权利要求2所述的方法,其特征在于,所述若应用客户端对应的业务类型属于第一分类场景,则在与所述应用客户端相关联的前置摄像头开启时,调用所述前置摄像头采集与目标用户相关联的目标图像序列,包括:
响应针对应用客户端的访问触发操作,输出所述应用客户端对应的图像采集界面;
在应用客户端对应的业务类型属于第一分类场景时,启动与所述应用客户端相关联的前置摄像头;
在所述前置摄像头对应的采集时长内,对执行所述触发操作的目标用户的至少一个图像数据进行采集,将采集到的所述至少一个图像数据输出至所述图像采集界面;
将所述图像采集界面上显示的所述至少一个图像数据确定为与所述目标用户相关联的目标图像序列。
4.根据权利要求2所述的方法,其特征在于,所述基于所述人脸检测结果,从所述目标用户图像数据中获取所述目标用户的人脸对应的图像,将获取到的图像作为包含目标对象的目标图像,包括:
若所述人脸检测结果指示所述目标用户图像数据中存在属于人脸类型的目标特征点,则基于所述目标特征点在所述目标用户图像数据中确定所述目标用户的人脸所在的面部区域;
从所述目标用户图像数据中截取所述面部区域,在所述面部区域中将所述目标用户的人脸作为目标对象,在所述面部区域中将所述目标对象对应的图像作为目标图像。
5.根据权利要求1所述的方法,其特征在于,所述网格图像块的数量为多个;
所述获取所述目标图像对应的目标防御网络模型,通过所述目标防御网络模型从所述网格图像块中提取第一类型特征和第二类型特征,将所述第一类型特征和所述第二类型特征进行特征拼接,得到与所述目标图像相关联的图像块拼接特征,包括:
获取所述目标图像对应的目标防御网络模型;所述目标防御网络模型包括:第一特征提取器和第二特征提取器;
通过所述第一特征提取器从每个所述网格图像块中提取统计图像特征,将提取到的每个所述网格图像块的统计图像特征分别确定为第一类型特征;
通过所述第二特征提取器从每个所述网格图像块中提取神经网络特征,将提取到的每个所述网格图像块的神经网络特征分别确定为第二类型特征;
将每个所述网格图像块的第一类型特征和对应所述网格图像块的第二类型特征进行特征拼接,得到每个所述网格图像块的拼接特征,将每个所述网格图像块的拼接特征确定为与所述目标图像相关联的图像块拼接特征。
6.根据权利要求1所述的方法,其特征在于,所述目标防御网络模型包括:分类器;所述分类器具有对所述目标图像中的所述网格图像块所属的分类类型进行分类的功能;
所述根据所述图像块拼接特征、所述目标防御网络模型,对所述网格图像块进行物理攻击检测,得到所述网格图像块对应的物理攻击检测结果,包括:
将所述图像块拼接特征输入至所述目标防御网络模型中的所述分类器,由所述分类器确定所述图像块拼接特征与所述分类器中的多个样本属性特征之间的匹配度;所述匹配度用于表征所述图像块拼接特征分别与每个样本属性特征属于相同分类类型的概率;
基于所述匹配度,在所述多个样本属性特征中获取与所述图像块拼接特征具有最大匹配度的样本属性特征,将所述具有最大匹配度的样本属性特征作为目标样本属性特征;
将所述目标样本属性特征对应的样本标签信息作为所述图像块拼接特征对应的目标分类类型,基于所述目标分类类型以及与所述目标分类类型相关联的最大匹配度,确定对所述目标图像中的所述网格图像块进行分类后的物理攻击检测结果。
7.根据权利要求6所述的方法,其特征在于,一个网格图像块对应一个物理攻击检测结果;所述多个样本属性特征对应的样本标签信息包含攻击类标签信息;
所述若所述物理攻击检测结果指示所述目标图像中存在满足攻击检测条件的网格图像块,则将所述目标对象确定为攻击对象,拒绝将所述目标图像传输至与所述目标防御网络模型具有关联关系的对象识别模型,包括:
获取所述目标防御网络模型对应的攻击检测条件;
若所述物理攻击检测结果中存在所述目标分类类型属于所述攻击类标签信息的物理攻击检测结果,则在所述网格图像块中将所述目标分类类型对应的网格图像块,确定为满足所述攻击检测条件的网格图像块;
将所述目标图像中所包含的所述目标对象确定为攻击对象,拒绝将所述目标图像传输至与所述目标防御网络模型具有关联关系的对象识别模型。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
将满足所述攻击检测条件的网格图像块确定为异常图像块,在所述目标图像中确定所述异常图像块所属区域的位置信息,基于所述位置信息和所述目标分类类型,生成针对所述目标用户的异常提示信息;
将所述异常提示信息输出至所述应用客户端对应的反馈界面;所述反馈界面上包括用于指示所述目标用户执行触发操作的业务控件;
响应针对所述业务控件的触发操作,发起用于访问所述应用客户端的访问请求,基于所述访问请求对所述目标图像进行更新。
9.根据权利要求7所述的方法,其特征在于,所述多个样本属性特征对应的样本标签信息包含非攻击类标签信息;
所述方法还包括:
若所述物理攻击检测结果中存在所述目标分类类型均属于所述非攻击类标签信息的物理攻击检测结果,则在所述网格图像块中将所述目标分类类型对应的网格图像块,均确定为不满足所述攻击检测条件的网格图像块;
在所述目标图像中将不满足所述攻击检测条件的网格图像块均确定为正常图像块;
在基于每个所述正常图像块将所述目标对象确定为非攻击对象时,允许将所述目标图像输入至与所述目标防御网络模型具有关联关系的人脸识别模型,以使所述人脸识别模型对所述目标图像中的所述目标对象对应的用户进行身份验证。
10.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若应用客户端对应的业务类型属于第二分类场景,则在与所述应用客户端相关联的后置摄像头开启时,调用所述后置摄像头采集在所述摄像头的摄像范围中的标识信息的标识图像数据;
在所述标识图像数据中确定所述标识信息所属的标识区域,将所述标识区域中的所述标识信息作为所述目标对象,在所述标识图像数据中截取所述标识区域,将所述标识区域对应的图像数据作为包含所述目标对象的目标图像;
获取用于对所述目标图像进行网格化处理的网格参数,基于所述网格参数对所述目标图像进行裁剪处理,得到所述目标图像对应的网格图像块。
11.一种图像数据处理方法,其特征在于,包括:
获取与样本对象相关联的训练样本信息和所述训练样本信息的样本标签信息;所述训练样本信息中包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;所述训练样本信息的样本标签信息包括:所述第一样本信息对应的非攻击类标签信息和所述第二样本信息对应的攻击类标签信息;
对所述训练样本信息进行网格化处理,得到所述训练样本信息对应的样本图像块;
通过所述初始防御网络模型从所述样本图像块中提取第一样本特征和第二样本特征,将所述第一样本特征和所述第二样本特征进行特征拼接,得到与所述训练样本信息相关联的样本拼接特征;
基于所述样本拼接特征、所述非攻击类标签信息和所述攻击类标签信息对所述初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型。
12.根据权利要求11所述的方法,其特征在于,所述获取与样本对象相关联的训练样本信息和所述训练样本信息的样本标签信息,包括:
获取包含样本对象的初始图像数据,将所述初始图像数据作为用于对对初始防御网络模型进行训练的第一样本信息,将所述第一样本信息的标签信息确定为非攻击类标签信息;
获取与所述初始防御网络模型具有关联关系的对象识别模型,通过所述对象识别模型确定与所述初始图像数据相关联的攻击图像数据;
基于所述攻击图像数据和所述初始图像数据,生成包含所述攻击图像数据的叠加图像数据,将所述叠加图像数据作为用于对所述初始防御网络模型进行训练的第二样本信息,将所述第二样本信息的标签信息确定为攻击类标签信息;
将所述第一样本信息和所述第二样本信息确定为训练样本信息,将所述非攻击类标签信息和所述攻击类标签信息作为所训练样本信息的样本标签信息。
13.一种图像数据处理装置,其特征在于,包括:
目标图像获取模块,用于获取包含目标对象的目标图像,对所述目标图像进行网格化处理,得到所述目标图像对应的网格图像块;
拼接特征确定模块,用于获取所述目标图像对应的目标防御网络模型,通过所述目标防御网络模型从所述网格图像块中提取第一类型特征和第二类型特征,将所述第一类型特征和所述第二类型特征进行特征拼接,得到与所述目标图像相关联的图像块拼接特征;
攻击检测模块,用于根据所述图像块拼接特征、所述目标防御网络模型,对所述网格图像块进行物理攻击检测,得到所述网格图像块对应的物理攻击检测结果;
攻击对象确定模块,用于若所述物理攻击检测结果指示所述目标图像中存在满足攻击检测条件的网格图像块,则将所述目标对象确定为攻击对象,拒绝将所述目标图像传输至与所述目标防御网络模型具有关联关系的对象识别模型。
14.一种图像数据处理装置,其特征在于,包括:
训练样本获取模块,用于获取与样本对象相关联的训练样本信息和所述训练样本信息的样本标签信息;所述训练样本信息中包含用于对初始防御网络模型进行训练的第一样本信息和第二样本信息;所述训练样本信息的样本标签信息包括:所述第一样本信息对应的非攻击类标签信息和所述第二样本信息对应的攻击类标签信息;
网格处理模块,用于对所述训练样本信息进行网格化处理,得到所述训练样本信息对应的样本图像块;
样本特征提取模块,用于通过所述初始防御网络模型从所述样本图像块中提取第一样本特征和第二样本特征,将所述第一样本特征和所述第二样本特征进行特征拼接,得到与所述训练样本信息相关联的样本拼接特征;
防御模型训练模块,用于基于所述样本拼接特征、所述非攻击类标签信息和所述攻击类标签信息对所述初始防御网络模型进行训练,将训练后的初始防御网络模型确定为用于对目标图像中的目标对象进行预测的目标防御网络模型。
15.一种计算机设备,其特征在于,包括:处理器、存储器、网络接口;
所述处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以执行如权利要求1-12任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如权利要求1-12任一项所述的方法。
CN202010715663.7A 2020-07-23 2020-07-23 一种图像数据处理方法、装置和相关设备 Active CN111738735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010715663.7A CN111738735B (zh) 2020-07-23 2020-07-23 一种图像数据处理方法、装置和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010715663.7A CN111738735B (zh) 2020-07-23 2020-07-23 一种图像数据处理方法、装置和相关设备

Publications (2)

Publication Number Publication Date
CN111738735A true CN111738735A (zh) 2020-10-02
CN111738735B CN111738735B (zh) 2021-07-13

Family

ID=72657383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010715663.7A Active CN111738735B (zh) 2020-07-23 2020-07-23 一种图像数据处理方法、装置和相关设备

Country Status (1)

Country Link
CN (1) CN111738735B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231570A (zh) * 2020-10-26 2021-01-15 腾讯科技(深圳)有限公司 推荐系统托攻击检测方法、装置、设备及存储介质
CN112364918A (zh) * 2020-11-10 2021-02-12 深圳力维智联技术有限公司 异常识别方法、终端和计算机可读存储介质
CN113536978A (zh) * 2021-06-28 2021-10-22 杭州电子科技大学 一种基于显著性的伪装目标检测方法
CN113537332A (zh) * 2021-07-09 2021-10-22 浙江御安信息技术有限公司 基于大数据的物联网设备信息采集方法
CN113792661A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN116385375A (zh) * 2023-03-17 2023-07-04 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372475A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Method and System for Vascular Disease Detection Using Recurrent Neural Networks
CN107832712A (zh) * 2017-11-13 2018-03-23 深圳前海微众银行股份有限公司 活体检测方法、装置和计算机可读存储介质
CN108038456A (zh) * 2017-12-19 2018-05-15 中科视拓(北京)科技有限公司 一种人脸识别系统中的防欺骗方法
CN110348322A (zh) * 2019-06-19 2019-10-18 西华师范大学 基于多特征融合的人脸活体检测方法及设备
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
CN111160286A (zh) * 2019-12-31 2020-05-15 中国电子科技集团公司信息科学研究院 一种视频真伪鉴别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372475A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Method and System for Vascular Disease Detection Using Recurrent Neural Networks
CN107832712A (zh) * 2017-11-13 2018-03-23 深圳前海微众银行股份有限公司 活体检测方法、装置和计算机可读存储介质
CN108038456A (zh) * 2017-12-19 2018-05-15 中科视拓(北京)科技有限公司 一种人脸识别系统中的防欺骗方法
CN110348322A (zh) * 2019-06-19 2019-10-18 西华师范大学 基于多特征融合的人脸活体检测方法及设备
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
CN111160286A (zh) * 2019-12-31 2020-05-15 中国电子科技集团公司信息科学研究院 一种视频真伪鉴别方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CDA数据分析师: "机器学习中的"维度"是什么?", 《知乎-HTTPS://ZHUANLAN.ZHIHU.COM/P/59357783》 *
GUSTAVO BOTELHO DE SOUZA等: "On the Learning of Deep Local Features for Robust Face Spoofing Detection", 《ARXIV:1806.07492V2 [CS.CV]》 *
KEVIN EYKHOLT等: "Robust Physical-World Attacks on Deep Learning Visual Classification", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
SIGAI: "人脸识别中的活体检测算法综述", 《知乎-HTTPS://ZHUANLAN.ZHIHU.COM/P/44904820》 *
ZAHID AKHTAR等: "Face Spoof Attack Recognition Using Discriminative Image Patches", 《JOURNAL OF ELECTRICAL AND COMPUTER ENGINEERING》 *
工业前沿: "支付宝推出的刷脸支付是基于"活体检测"技术做支撑", 《贤集网-HTTPS://WWW.XIANJICHINA.COM/NEWS/DETAILS_59647.HTML》 *
芸源妈: "马云发布会刷脸支付", 《腾讯视频-HTTPS://V.QQ.COM/X/PAGE/H09281GLNBV.HTML》 *
郭斯羽: "《面向检测的图像处理技术》", 31 August 2015, 湖南大学出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231570A (zh) * 2020-10-26 2021-01-15 腾讯科技(深圳)有限公司 推荐系统托攻击检测方法、装置、设备及存储介质
CN112231570B (zh) * 2020-10-26 2024-04-16 腾讯科技(深圳)有限公司 推荐系统托攻击检测方法、装置、设备及存储介质
CN112364918A (zh) * 2020-11-10 2021-02-12 深圳力维智联技术有限公司 异常识别方法、终端和计算机可读存储介质
CN112364918B (zh) * 2020-11-10 2024-04-02 深圳力维智联技术有限公司 异常识别方法、终端和计算机可读存储介质
CN113536978A (zh) * 2021-06-28 2021-10-22 杭州电子科技大学 一种基于显著性的伪装目标检测方法
CN113536978B (zh) * 2021-06-28 2023-08-18 杭州电子科技大学 一种基于显著性的伪装目标检测方法
CN113537332A (zh) * 2021-07-09 2021-10-22 浙江御安信息技术有限公司 基于大数据的物联网设备信息采集方法
CN113537332B (zh) * 2021-07-09 2023-02-24 浙江御安信息技术有限公司 基于大数据的物联网设备信息采集方法
CN113792661A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN116385375A (zh) * 2023-03-17 2023-07-04 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质
CN116385375B (zh) * 2023-03-17 2023-10-20 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN111738735B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN111738735B (zh) 一种图像数据处理方法、装置和相关设备
WO2021073364A1 (zh) 一种人脸活体检测方法、装置、设备及存储介质
Nguyen et al. Use of a capsule network to detect fake images and videos
CN111461089B (zh) 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN108829900B (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
JP5010905B2 (ja) 顔認証装置
CN111274928B (zh) 一种活体检测方法、装置、电子设备和存储介质
CN111611873A (zh) 人脸替换检测方法及装置、电子设备、计算机存储介质
EP3555799B1 (en) A method for selecting frames used in face processing
CN111914811B (zh) 图像数据处理方法、装置、计算机设备以及存储介质
Rathgeb et al. Makeup presentation attacks: Review and detection performance benchmark
CN111695502A (zh) 用于人脸识别的特征更新方法、装置和计算机设备
CN113657195A (zh) 人脸图像识别方法、设备、电子装置和存储介质
CN111667275A (zh) 用户身份识别方法、装置、设备及其介质
CN111860346A (zh) 动态手势识别方法、装置、电子设备及存储介质
Rathgeb et al. Detection of makeup presentation attacks based on deep face representations
Shao et al. Federated test-time adaptive face presentation attack detection with dual-phase privacy preservation
CN113569824B (zh) 模型处理方法、相关设备、存储介质及计算机程序产品
CN109886084A (zh) 基于陀螺仪的人脸认证方法、电子设备及存储介质
CN115082992A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
CN114495188A (zh) 一种图像数据处理方法、装置和相关设备
Chi et al. Toward robust deep learning systems against deepfake for digital forensics
CN114596638A (zh) 人脸活体检测方法、装置及存储介质
Favorskaya et al. Fake face image detection using deep learning-based local and global matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030154

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant