CN112800941B - 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统 - Google Patents

基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统 Download PDF

Info

Publication number
CN112800941B
CN112800941B CN202110104889.8A CN202110104889A CN112800941B CN 112800941 B CN112800941 B CN 112800941B CN 202110104889 A CN202110104889 A CN 202110104889A CN 112800941 B CN112800941 B CN 112800941B
Authority
CN
China
Prior art keywords
face
network
auxiliary information
information embedded
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110104889.8A
Other languages
English (en)
Other versions
CN112800941A (zh
Inventor
李琦
单彩峰
王卫宁
孙哲南
董潇潇
王海滨
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cas Artificial Intelligence Research Qingdao Co ltd
Original Assignee
Cas Artificial Intelligence Research Qingdao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cas Artificial Intelligence Research Qingdao Co ltd filed Critical Cas Artificial Intelligence Research Qingdao Co ltd
Priority to CN202110104889.8A priority Critical patent/CN112800941B/zh
Publication of CN112800941A publication Critical patent/CN112800941A/zh
Application granted granted Critical
Publication of CN112800941B publication Critical patent/CN112800941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统，包括：获取人脸图像，获取人脸关键点位置；根据所述人脸关键点位置，对所述人脸图像进行预处理操作；将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。所述方案通过非对称的多分类方法和非对称三元组损失，一方面引导算法发现多种攻击类型的特征，另一方面拉大真实人脸类别与其他多种假人脸攻击类别的距离，从而提高算法对攻击类型的泛化性和在实际应用中的实用性。

Description

基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
技术领域
本公开属于人工智能、模式识别和数字图像处理等技术领域，尤其涉及一种基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
人脸反欺诈，别称活体检测、人脸表示攻击检测等，旨在判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击(如：纸张打印图像、电子屏幕中的图像或视频、面具等)。常用的人脸表示攻击工具有纸张、电子屏幕、3D面具等。
近年来，随着人工智能和深度学习的发展，人脸识别技术在我们的日常生活中得到了广泛的应用，如设备解锁、门禁、人脸支付等；同时，其安全问题也受到越来越多的关注。发明人发现，与指纹、虹膜等其他生物特征相比，人脸更容易获取，但在恶意环境中，这种优势变成了弱点，攻击者使用有效用户的照片或视频很容易欺骗人脸识别系统。另一方面，随着科技的发展，如3D面具等更复杂的攻击工具越来越多，使得人脸识别系统面临更大的威胁；近年来，人脸反欺诈技术取得了一定的进展，但现有工作在处理复杂的欺骗攻击和应用于实际场景方面仍存在困难。
发明内容
本公开为了解决上述问题，提供了一种基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统，有效提高了人脸反欺诈检测算法对攻击类型的泛化性和在实际应用中的实用性。
根据本公开实施例的第一个方面，提供了一种基于非对称辅助信息嵌入网络的人脸反欺诈方法，包括：
获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；
将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。
进一步的，所述预处理操作包括：根据两只眼睛的中心关键点坐标旋转所述人脸图像，使得两只眼睛的中心位于同一水平线上；
根据两只眼睛中心的间距或两眼中心点到嘴巴中心点的距离，以两眼中心点为基准点，以预设比例剪裁人脸。
进一步的，所述非对称辅助信息嵌入网络包括顺序连接的输入层、主干网络、深度图生成辅助网络、反射图生成辅助网络、二分类辅助网络和多分类辅助网络。
进一步的，所述非对称辅助信息嵌入网络的训练包括：预先建立非对称辅助信息嵌入网络，然后将预设标准大小的人脸图像输入到所述非对称辅助信息嵌入网络中，对所述非对称辅助信息嵌入网络进行训练，直至所述非对称辅助信息嵌入网络模型收敛而完成训练。
进一步的，将预设标准大小的人脸图像输入到所述非对称辅助信息嵌入网络中，对所述非对称辅助信息嵌入网络进行训练的步骤具体包括：
将预设标准大小的人脸图像经输入层输入主干网络中，得到三个层次的特征，分别为低层特征、中层特征和高层特征；
将所述低层特征、中层特征和高层特征输入所述深度和反射图生成辅助网络中，得到预设大小的深度图和反射图，然后计算深度图均方误差损失值和反射图均方误差损失值；
将所述高层特征输入二分类辅助网络中，得到二分类概率结果，然后计算二分类交叉熵损失值；
将所述高层特征输入多分类辅助网络中，得到多分类概率结果，然后计算多分类交叉熵损失值；
使用高层特征计算非对称三元组损失值；
将所述深度图均方误差损失值、反射图图均方误差损失值、二分类交叉熵损失值、多分类交叉熵损失值和非对称三元组损失值加权组合在一起，得到总损失值；
根据所述总损失值，利用梯度反向传播算法迭代调整所述非对称辅助信息嵌入网络的权值直至收敛。
进一步的，将所述置信度列表中的每一个值与所述置信度阈值进行对比，得到所述人脸图像中所有人脸的反欺诈检测结果，其对比方法为：
当置信度不小于置信度阈值时，判断为真实人脸；
当置信度小于置信度阈值时，判断为假人脸。
根据本公开实施例的第二个方面，提供了一种基于非对称辅助信息嵌入网络的人脸反欺诈系统，包括：
图像获取单元，其配置为获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
预处理单元，其配置为根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
检测单元，其配置为将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。
根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法。
根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法。
与现有技术相比，本公开的有益效果是：
(1)本公开所述方案通过非对称的多分类方法和非对称三元组损失，一方面引导算法发现多种攻击类型的特征，另一方面拉大真实人脸类别与其他多种假人脸攻击类别的距离，从而提高算法对攻击类型的泛化性和在实际应用中的实用性。
(2)通过本公开所述方案，提高了虚假人脸的判别精度，通过将所述方法集成入现有的人脸识别系统中，有效解决了攻击者使用有效用户的照片或视频轻松欺骗人脸识别系统的问题。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例一中所述的基于非对称辅助信息嵌入网络的人脸反欺诈方法的流程图；
图2为本公开实施例一中所述的非对称辅助信息嵌入网络的结构框图；
图3为本公开实施例一中所述的非对称辅助信息嵌入网络中多尺度空间注意力融合模块的详细结构框图。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。实施例一：
本实施例的目的是提供一种基于非对称辅助信息嵌入网络的人脸反欺诈方法。
一种基于非对称辅助信息嵌入网络的人脸反欺诈方法，包括：
获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；
将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。
进一步的，所述方法通过非对称的多分类方法和非对称三元组损失，一方面引导算法发现多种攻击类型的特征，另一方面拉大真实人脸类别与其他多种假人脸攻击类别的距离，从而提高算法对攻击类型的泛化性和在实际应用中的实用性。
为使本公开的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本公开作进一步详细的说明。
如图1所示，本公开提供的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法，具体包括以下步骤：
步骤100：对于需要进行人脸反欺诈检测的任意一张人脸图像，检测获取其人脸位置，并根据所获取的人脸位置，检测获取人脸图像的人脸关键点位置；
步骤200：根据所述人脸图像的人脸关键点位置，对所述人脸图像进行预处理操作；
步骤300：预先建立非对称辅助信息嵌入网络，然后将预设标准大小的人脸图像输入到所述非对称辅助信息嵌入网络中，对所述非对称辅助信息嵌入网络进行训练，直至所述非对称辅助信息嵌入网络模型收敛而完成训练；
步骤400：将所述经过预处理操作的人脸图像，输入到所述完成训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；
步骤500：根据实际情况，预先设定置信度阈值，将所述置信度列表中的每一个值与所述置信度阈值进行对比，得到所述人脸图像中所有人脸的反欺诈检测结果。
在步骤100中，所述人脸位置和人脸关键点位置可使用现有的人脸检测器和人脸关键点检测器获取，人脸检测器如MTCNN、RetinaFace等；人脸关键点检测器如PFLD等。
在步骤100中，所述人脸位置是指人脸在图像中所处的位置信息，通常包括人脸左上角(或中心点)在图像中的像素坐标，以及人脸的宽度和高度。所述人脸关键点位置是指预设的一些人脸关键点的像素坐标，人脸关键点通常包括眼睛、鼻子、嘴巴、脸部轮廓等对人脸特征比较重要的部位。
在步骤100中，所述任意一张人脸图像中可能包含多个人脸，在后续步骤中，以单独的人脸为处理对象。
步骤200具体包括以下两个子步骤：
步骤201：根据两只眼睛的中心关键点坐标旋转所述人脸图像，使得两只眼睛的中心位于同一水平线上；
步骤202：根据两只眼睛中心的间距或两眼中心点到嘴巴中心点的距离，以两眼中心点为基准点，以预设比例剪裁人脸。
其中，步骤201可称为人脸对齐操作，其目的是为了获得归一化的人脸图像，以便后期的人脸特征提取。
其中，步骤202可称为人脸剪裁操作，多数情况下使用两只眼睛中心的间距作为剪裁距离，当人脸姿态的yaw角较大时，两只眼睛中心的间距较小，此时可使用两眼中心到嘴巴中心的距离作为剪裁距离。记剪裁距离为d，常用的剪裁比例有，以两眼中心为基准点，上、下、左、右分别取d/2、3*d/2、d、d；2d、2d、2d、2d；等。
在步骤300中，所述非对称辅助信息嵌入网络包括输入层、主干网络、深度图生成辅助网络、反射图生成辅助网络、二分类辅助网络和多分类辅助网络，如图2所示；
其中，所述主干网络可选用图像识别的经典卷积神经网络，如ResNet、VGG等；
其中，所述深度图和反射图生成辅助网络，主要包括多尺度空间注意力融合模块，其网络结构如图3所示；
其中，所述二分类辅助网络主要包括全连接层；
其中，所述多分类辅助网络可选用全连接层或ArcMargin层。
在步骤300中，所述预设标准大小的人脸图像是指：训练集(例如CelebA-Spoof数据集)中，任意一张经预处理操作，并缩放到标准大小(例如：128x128)的人脸图像。
在步骤300中，所述将预设标准大小的人脸图像输入到所述非对称辅助信息嵌入网络中，对所述非对称辅助信息嵌入网络进行训练具体包括以下子步骤：
步骤301：将预设标准大小的人脸图像经输入层输入主干网络中，得到三个层次的特征，分别为低层特征、中层特征和高层特征；
步骤302：将所述低层特征、中层特征和高层特征输入所述深度和反射图生成辅助网络中，得到预设大小的深度图和反射图，然后计算深度图均方误差损失值和反射图均方误差损失值；
步骤303：将所述高层特征输入二分类辅助网络中，得到二分类概率结果，然后计算二分类交叉熵损失值；
步骤304：将所述高层特征输入多分类辅助网络中，得到多分类概率结果，然后计算多分类交叉熵损失值；
步骤305：使用高层特征计算非对称三元组损失值；
步骤306：将所述深度图均方误差损失值、反射图均方误差损失值、二分类交叉熵损失值、多分类交叉熵损失值和非对称三元组损失值加权组合在一起，得到总损失值；
步骤307：根据所述总损失值，利用梯度反向传播算法迭代调整所述非对称辅助信息嵌入网络的权值直至收敛。
其中，所述二分类包括真、假两类；
其中，所述多分类包括真、假1、假2…假n，共n+1(n>1)类。
其中，所述最终损失分为两大部分，分别是几何损失和语义损失。几何损失包括深度图均方误差损失和反射图均方误差损失；语义损失包括二分类交叉熵损失、多分类交叉熵损失和非对称三元组损失。
所述深度图均方误差损失的计算公式为：
Figure BDA0002916988060000081
其中，w和h是所述深度图的预设宽度和高度，Dpred为所述深度图生成辅助网络输出的深度图像，Dgt为所述预设标准大小人脸图像的深度真值图，其中，真实人脸图像的深度真值图使用PRNet算法获取，假人脸图像的深度真值图的像素值全为零。
所述反射图均方误差损失的计算公式为：
Figure BDA0002916988060000082
/>
其中，w和h是所述反射图的预设宽度和高度，Rpred为所述反射图生成辅助网络输出的反射图像，Rgt为所述预设标准大小人脸图像的反射真值图，其中，真实人脸图像的反射真值图的像素值全为零，假人脸图像的反射真值图使用perceptual-reflection-removal算法获取。
所述二分类交叉熵损失的计算公式为：
LBC＝-ylogp-(1-y)log(1-p)
其中，p为所述二分类辅助网络输出的二分类概率结果中标签值为1的概率值，y为所述预设标准大小人脸图像的真实标签值。
所述多分类交叉熵损失的计算公式为：
Figure BDA0002916988060000091
其中，K为类别数量，pc为所述多分类辅助网络输出的多分类概率结果中标签值为c的概率值，当所述预设标准大小人脸图像的真实标签值为c时，yc的值为1；当所述预设标准大小人脸图像的真实标签值不为c时，yc的值为0。
所述非对称三元组损失的计算公式为：
Figure BDA0002916988060000092
其中，xa，xp，xn是一组三元组样本，xp与xa的标签相同，xp与xn的标签不同，特别的，可以限制两个标签中必须有一个是真实人脸类别的标签；f为主干网络的映射函数，即f(x)为高层特征；α为预设的边界值。
在步骤300中，对所述非对称辅助信息嵌入网络进行训练，直至所述非对称辅助信息嵌入网络模型收敛而完成训练，具体包括：
根据以下公式计算总损失值L：
Figure BDA0002916988060000093
其中，a1，a2，a3，a4，a5为加权系数，满足a1+a2+a3+a4+a5＝1；
以总损失值L为目标函数，通过最小化L进行迭代优化；
利用梯度反向传播算法更新所述非对称辅助信息嵌入网络的权值直至收敛。
在步骤400中，获得所述人脸图像对应的判断为真实人脸的置信度列表，是因为：
所述任意一张人脸图像中可能包含多个人脸，经预处理操作后可能得到多个预设标准大小的人脸图像，因此结果为列表。
在步骤500中，根据实际情况，预先设定置信度阈值，具体分为：
当实际要求较高时，如支付场景等，可设定较高的置信度阈值，如0.9等；
当实际要求适中时，如屏幕解锁等，可设定适中的置信度阈值，如0.7、0.5等。
在步骤500中，将所述置信度列表中的每一个值与所述置信度阈值进行对比，得到所述人脸图像中所有人脸的反欺诈检测结果，其对比方法为：
当置信度不小于置信度阈值时，判断为真实人脸；
当置信度小于置信度阈值时，判断为假人脸。
实施例二：
本实施例的目的是提供一种基于非对称辅助信息嵌入网络的人脸反欺诈系统。
一种基于非对称辅助信息嵌入网络的人脸反欺诈系统，包括：
图像获取单元，其配置为获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
预处理单元，其配置为根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
检测单元，其配置为将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。
实施例三：
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法，包括：
获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；
将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。
实施例四：
本实施例的目的是提供一种非暂态计算机可读存储介质。
一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法，包括：
获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；
将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。
上述实施例提供的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统可以实现，具有广阔的应用前景。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种基于非对称辅助信息嵌入网络的人脸反欺诈方法，其特征在于，包括：
获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；
将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果；
所述非对称辅助信息嵌入网络包括：顺序连接的输入层、主干网络、深度图生成辅助网络、反射图生成辅助网络、二分类辅助网络和多分类辅助网络；其中，主干网络可选用图像识别的经典卷积神经网络；深度图和反射图生成辅助网络，主要包括多尺度空间注意力融合模块；二分类辅助网络主要包括全连接层；多分类辅助网络可选用全连接层或ArcMargin层；
其中，所述多尺度空间注意力融合模块用于提取包含不同尺度特征的融合特征，所述多尺度空间注意力融合模块的结构包括三个并行的分支结构，每个分支结构采用不同尺度卷积核的空间注意力模块进行特征提取，并将每个分支结构提取的特征进行拼接；
其中，将预设标准大小的人脸图像输入到所述非对称辅助信息嵌入网络中，对非对称辅助信息嵌入网络进行训练，步骤具体包括：将预设标准大小的人脸图像经输入层输入主干网络中，得到三个层次的特征，分别为低层特征、中层特征和高层特征；将所述低层特征、中层特征和高层特征输入所述深度和反射图生成辅助网络中，得到预设大小的深度图和反射图，然后计算深度图均方误差损失值和反射图均方误差损失值；将所述高层特征输入二分类辅助网络中，得到二分类概率结果，然后计算二分类交叉熵损失值；将所述高层特征输入多分类辅助网络中，得到多分类概率结果，然后计算多分类交叉熵损失值；使用高层特征计算非对称三元组损失值；将所述深度图均方误差损失值、反射图均方误差损失值、二分类交叉熵损失值、多分类交叉熵损失值和非对称三元组损失值加权组合在一起，得到总损失值；根据所述总损失值，利用梯度反向传播算法迭代调整所述非对称辅助信息嵌入网络的权值直至收敛。
2.如权利要求1所述的一种非对称辅助信息嵌入网络的人脸反欺诈方法，其特征在于，所述预处理操作包括：根据两只眼睛的中心关键点坐标旋转所述人脸图像，使得两只眼睛的中心位于同一水平线上；
根据两只眼睛中心的间距，以两眼中心点为基准点，以预设比例剪裁人脸。
3.如权利要求1所述的一种非对称辅助信息嵌入网络的人脸反欺诈方法，其特征在于，所述预处理操作还可以为：根据两只眼睛的中心关键点坐标旋转所述人脸图像，使得两只眼睛的中心位于同一水平线上；
根据两眼中心点到嘴巴中心点的距离，以两眼中心点为基准点，以预设比例剪裁人脸。
4.如权利要求1所述的一种非对称辅助信息嵌入网络的人脸反欺诈方法，其特征在于，所述非对称辅助信息嵌入网络的训练包括：预先建立非对称辅助信息嵌入网络，然后将预设标准大小的人脸图像输入到所述非对称辅助信息嵌入网络中，对所述非对称辅助信息嵌入网络进行训练，直至所述非对称辅助信息嵌入网络模型收敛而完成训练。
5.如权利要求1所述的一种非对称辅助信息嵌入网络的人脸反欺诈方法，其特征在于，将所述置信度列表中的每一个值与所述置信度阈值进行对比，得到所述人脸图像中所有人脸的反欺诈检测结果，其对比方法为：
当置信度不小于置信度阈值时，判断为真实人脸；
当置信度小于置信度阈值时，判断为假人脸。
6.一种基于非对称辅助信息嵌入网络的人脸反欺诈系统，执行权利要求1～5之一所述的非对称辅助信息嵌入网络的人脸反欺诈方法，其特征在于，包括：
图像获取单元，其配置为获取人脸图像，检测其人脸位置区域，并根据所述人脸位置区域获取人脸关键点位置；
预处理单元，其配置为根据所述人脸关键点位置，对所述人脸图像进行预处理操作；
检测单元，其配置为将所述经过预处理操作的人脸图像输入到预训练的非对称辅助信息嵌入网络中，获得所述人脸图像对应的判断为真实人脸的置信度列表；将所述置信度列表中的值与预设的置信度阈值进行对比，获得所述人脸图像中所有人脸的反欺诈检测结果。
7.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的一种基于非对称辅助信息嵌入网络的人脸反欺诈方法。
CN202110104889.8A 2021-01-26 2021-01-26 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统 Active CN112800941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110104889.8A CN112800941B (zh) 2021-01-26 2021-01-26 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110104889.8A CN112800941B (zh) 2021-01-26 2021-01-26 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统

Publications (2)

Publication Number Publication Date
CN112800941A CN112800941A (zh) 2021-05-14
CN112800941B true CN112800941B (zh) 2023-06-06

Family

ID=75811850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110104889.8A Active CN112800941B (zh) 2021-01-26 2021-01-26 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统

Country Status (1)

Country Link
CN (1) CN112800941B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609944A (zh) * 2021-07-27 2021-11-05 东南大学 一种静默活体检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置
CN109934195A (zh) * 2019-03-21 2019-06-25 东北大学 一种基于信息融合的反欺骗三维人脸识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152983A2 (en) * 2018-02-05 2019-08-08 Board Of Trustees Of Michigan State University System and apparatus for face anti-spoofing via auxiliary supervision
CN109886141B (zh) * 2019-01-28 2023-06-06 同济大学 一种基于不确定性优化的行人再辨识方法
CN110263666B (zh) * 2019-05-29 2021-01-19 西安交通大学 一种基于非对称多流的动作检测方法
CN111080643A (zh) * 2019-12-31 2020-04-28 上海鹰瞳医疗科技有限公司 基于眼底图像的糖尿病及相关疾病的分类方法及设备
CN112800997B (zh) * 2020-04-10 2024-01-05 支付宝(杭州)信息技术有限公司 一种活体检测方法、装置及设备
CN111680176B (zh) * 2020-04-20 2023-10-10 武汉大学 基于注意力与双向特征融合的遥感图像检索方法及系统
CN111767906B (zh) * 2020-09-01 2020-11-27 腾讯科技（深圳）有限公司 人脸检测模型训练方法、人脸检测方法、装置及电子设备
CN112070058A (zh) * 2020-09-18 2020-12-11 深延科技(北京)有限公司 人脸面部复合情感表情识别方法及系统
AU2020102556A4 (en) * 2020-10-01 2020-11-19 Ci, Yuming Mr Psychological state analysis method based on facial micro-expression
CN112183491A (zh) * 2020-11-04 2021-01-05 北京百度网讯科技有限公司 表情识别模型及训练方法、识别方法、装置和计算设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置
CN109934195A (zh) * 2019-03-21 2019-06-25 东北大学 一种基于信息融合的反欺骗三维人脸识别方法

Also Published As

Publication number Publication date
CN112800941A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN110569756B (zh) 人脸识别模型构建方法、识别方法、设备和存储介质
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
Deb et al. Look locally infer globally: A generalizable face anti-spoofing approach
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
US20240013572A1 (en) Method for face detection, terminal device and non-transitory computer-readable storage medium
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
CN113614731A (zh) 使用软生物特征的认证验证
CN113111880B (zh) 证件图像校正方法、装置、电子设备及存储介质
CN111783629A (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN115240280A (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN110443184A (zh) 身份证信息提取方法、装置及计算机存储介质
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN112800941B (zh) 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
CN113128428B (zh) 基于深度图预测的活体检测方法和相关设备
CN111881803B (zh) 一种基于改进YOLOv3的畜脸识别方法
Diaa A Deep Learning Model to Inspect Image Forgery on SURF Keypoints of SLIC Segmented Regions
CN112016437A (zh) 一种基于人脸视频关键帧的活体检测方法
CN112906508B (zh) 一种基于卷积神经网络的面部活体检测方法
CN111553202B (zh) 进行活体检测的神经网络的训练方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant