CN116229551A - 一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统 - Google Patents

一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统 Download PDF

Info

Publication number
CN116229551A
CN116229551A CN202310196667.2A CN202310196667A CN116229551A CN 116229551 A CN116229551 A CN 116229551A CN 202310196667 A CN202310196667 A CN 202310196667A CN 116229551 A CN116229551 A CN 116229551A
Authority
CN
China
Prior art keywords
face
feature
convolution
picture
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310196667.2A
Other languages
English (en)
Inventor
龚汝洪
杜振锋
周晓清
周燕
曾凡智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Etonedu Co ltd
Original Assignee
Guangdong Etonedu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Etonedu Co ltd filed Critical Guangdong Etonedu Co ltd
Priority to CN202310196667.2A priority Critical patent/CN116229551A/zh
Publication of CN116229551A publication Critical patent/CN116229551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统，包括：S1、将人脸图片及其对应的傅里叶变换频谱图进行特征加权；S2、通过梯度特征提取网络，获得人脸局部细粒度特征和人脸差异信息；S3、通过局部特征对齐网络，对真实人脸和不同欺骗类型进行特征空间聚类，进一步增强欺骗人脸的检测效果；通过全局平均池化层、全连接层以及softmax分类器，对所获取的人脸特征进行分类，识别人脸是否为欺骗人脸。本发明增强了原始输入人脸图片包含的语义信息，不仅利用融合卷积与大尺度的中心差分卷积，充分提取人脸的细粒度特征与差异信息，而且基于欺骗特征对齐检测网络分割真实人脸与欺骗人脸的特征空间，增强人脸防欺骗检测性能。

Description

一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统
技术领域
本发明涉及人脸识别的技术领域，尤其是指一种人脸细粒度特征差异性学习的人脸防欺骗方法、系统、存储介质及计算设备。
背景技术
人脸识别技术以其便捷性和卓越的准确性已应用于签到、移动支付等一些交互式智能应用中。然而，现有的人脸识别系统是容易受到从打印、重放、化妆、面具等欺骗攻击从而通过系统认证。因此，检测人脸防欺骗技术作为人脸识别系统的一种安全措施，越来越受到学术界和工业界的重视。现有的人脸防欺骗方法可以分为两大类，基于手工制作特征的传统方法和基于深度学习的方法。基于传统手工特征的表示攻击检测方法都是基于人类面部活动线索和手工特征进行设计的，这需要丰富的任务感知先验知识进行设计。随着深度学习技术的发展和大量可获得的公开人脸防欺骗数据集，包含各种不同的人脸防欺骗的攻击种类、光照变化、低分辨率等条件，以应对不同场景下的训练需求，从而帮助人脸防欺骗技术性能得到大幅提高。
发明内容
本发明的第一目的在于解决现有人脸防欺骗技术的局限性与泛化能力低等问题，提供一种人脸细粒度特征差异性学习的人脸防欺骗方法，通过辅助信息的特征提取对输入人脸图片进行加权融合的特征增强的方式，增强输入人脸图片的特征信息；并且在特征增强后的人脸图片中采用梯度特征提取的方法，利用人脸局部梯度差异信息的特征，获取真实人脸与欺骗人脸的差异信息，同时使用局部特征聚合网络，结合注意力机制对输入人脸图进行局部特征筛选，获取人脸欺骗区域的特征空间，提高人脸欺骗区域的辨识度，进一步提高人脸防欺骗检测的效率。
本发明的第二目的在于提出了一种人脸细粒度特征差异性学习的人脸防欺骗系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现：一种人脸细粒度特征差异性学习的人脸防欺骗方法，包括以下步骤：
S1、将输入人脸图片转换为傅里叶变换频谱图，通过卷积操作获得傅里叶变换频谱图特征权重，将特征权重与输入人脸图片进行特征加权，得到特征增强的人脸图片；
S2、通过梯度特征提取网络，对特征增强后的人脸图片进行特征提取，获得深层的人脸特征；其中，所述梯度特征提取网络为三层结构，第一层为人脸局部细粒度特征提取模块，其采用的是卷积核大小3×3和卷积核大小为1×1所构成的融合卷积层，第二层为提取人脸局部梯度差异信息的特征提取模块，其采用的是大小为5×5的中心差分卷积；第三层是用于进行整合特征图各通道特征，输出人脸特征信息；
S3、通过局部特征聚合网络，利用人脸特征信息将真实人脸和欺骗人脸进行特征空间聚类分割，进一步增强欺骗人脸的检测效果；通过全局平均池化层、全连接层以及softmax分类器，对所获取的人脸特征信息及特征空间进行分类，识别人脸是否为欺骗人脸。
进一步，所述步骤S1包括以下步骤：
S101、对人脸图片进行变换，生成相对应的傅里叶变换频谱图，变换如下公式：
Figure BDA0004107442270000031
式中，F(u,v)代表图片的傅里叶变换频谱图，u和v代表变换后的频域值，x(h,w)代表图片中在某个点的像素值；h，w分别代表图片某个点的像素值的高和宽的坐标值；H和W分别代表图片高和宽，j代表复数；
S102、将输入的人脸图片和对应的傅里叶变换频谱图进行二值化操作，分别得到对应的二值化图；
S103、通过卷积核对傅里叶变换频谱图进行操作，得到人脸辅助信息特征与对应的加权值；
S104、将人脸辅助信息特征根据加权值与输入的原始人脸进行融合，得到特征增强后的人脸图片。
进一步，所述步骤S2包括以下步骤：
S201、对于特征增强后的人脸图片，通过融合卷积层提取人脸细粒度特征信息；
S202、提出一个5×5的中心差分卷积，其能划分成25个局部感受野区域R，在输入特征图x上采样局部感受野区域，通过加权求和聚合采样值，其关系表示为：
Figure BDA0004107442270000032
式中，R代表局部感受野区域，F(k0)代表k0位置上的卷积结果，k0代表特征图当前滑动窗口的中心位置，kn代表特征图局部感受野区域R中的第n个位置，w代表卷积权重，x(k0)代表卷积当前滑动窗口在k0位置上的值，x(k0+kn)代表卷积当前滑动窗口在局部感受野区域R中的第n个位置上的值，
Figure BDA0004107442270000033
代表5×5滑动窗口中的卷积乘法运算；
S203、采用大小为1×1的卷积核对各通道上的特征信息进行梳理融合降为输出人脸特征信息V，并通过通道注意力机制融合人脸信息，表示为：
Y＝F·V
其中，Y为融合人脸信息，F为5×5中心差分卷积输出特征图，·表示空间中3×3滑动窗口中的卷积乘法运算。
进一步，所述步骤S3包括以下步骤：
S301、将人脸图片输入到局部特征聚合网络中获得人脸特征信息，通过注意力机制对人脸欺骗区域进行定位；
S302、对人脸欺骗区域进行卷积操作，在真人脸和欺骗人脸的特征空间中进行聚类；
S303、对聚类后的人脸欺骗区域进行判断，通过全局平均池化层、全连接层后送入softmax分类器进行分类，根据分类输出概率得分作为欺骗特征对齐检测网络的结果以判别此图片是否为真实人脸，此结果与梯度特征提取网络一起进行梯度训练优化，则整个网络的损失函数L为：
L＝(1-λ)L1+λL2
式中，L1表示梯度特征提取网络的二元交叉熵损失，L2表示欺骗特征对齐检测网络的softmax交叉熵损失，λ为L1和L2损失函数的融合比例系数；
S304、将梯度特征提取网络和局部特征聚合网络各自的输出得分通过权重进行融合，通过全连接层和softmax分类器，输出输入的人脸图片为真实人脸和欺骗人脸的得分，最后根据比较得分，获得最大得分的所属类别，即可判断出该人脸图片是否为欺骗人脸。
本发明的第二目的通过下述技术方案实现：一种人脸细粒度特征差异性学习的人脸防欺骗系统，用于实现上述的人脸细粒度特征差异性学习的人脸防欺骗方法，包括：
特征增强模块，用于将人脸的辅助信息即傅里叶变换频谱图所提取的特征加权到输入的原始人脸图中，提高人脸局部的特征信息，得到特征增强的人脸图片；
人脸特征提取模块，通过梯度特征提取网络对特征增强后的人脸图片进行特征提取，获得深层的人脸特征；其中，所述梯度特征提取网络为三层结构，第一层为人脸局部细粒度特征提取模块，其采用的是卷积核大小3×3和卷积核大小为1×1所构成的融合卷积层，第二层为提取人脸局部梯度差异信息的特征提取模块，其采用的是大小为5×5的中心差分卷积；第三层是用于进行整合特征图各通道特征，输出人脸特征信息；
人脸识别模块，通过局部特征聚合网络，利用人脸特征信息将真实人脸和欺骗人脸进行特征空间聚类分割，进一步增强欺骗人脸的检测效果；通过全局平均池化层、全连接层以及softmax分类器，对所获取的人脸特征信息及特征空间进行分类，识别人脸是否为欺骗人脸。
本发明的第三目的通过下述技术方案实现：一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的人脸细粒度特征差异性学习的人脸防欺骗方法。
本发明的第四目的通过下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的人脸细粒度特征差异性学习的人脸防欺骗方法。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明利用人脸图可提供的额外辅助信息对输入人脸图片进行特征增强。相比于其它方法，为输入的人脸图片做了一定的预处理，丰富了人脸图片可提取的特征，强化了真实人脸与欺骗人脸在源数据上的差异。因此在相同数据集的训练下，实现了更好的性能结果。
2、本发明采用梯度特征提取网络，将不同大小的卷积核进行融合使用，并利用大尺度的中心差分卷积进行特征提取，使网络结构在宽度上得到了扩张，用更细致的卷积核提取出人脸的细粒度特征信息。
3、本发明采用局部特征聚合网络，利用注意力机制的特征定位欺骗人脸的区域，并基于此区域进行特征对齐输出欺骗的聚类，对真实人脸和欺骗人脸在特征空间上划分开来，输出的聚类将输入到梯度特征提取网络中，并用来辅助最终的判别结果的分数占比，进一步提高检测的准确率。
附图说明
图1为本发明方法的流程示意图。
图2为辅助信息特征增强流程图。
图3为梯度特征提取网络的构架图。其中3×3CONV代表卷积核大小为3×3的卷积运算；1×1CONV代表卷积核大小为1×1的卷积运算；5×5CDC代表卷积大小为5×5的中心差分卷积运算。
图4为部特征聚合网络的架构图。其中3×3CONV代表卷积核大小为3×3的卷积运算；Attention Mechanism代表注意力机制；Feature Aligment Block代表特征对齐模块；softmax为分类器；score为预测得分。
图5为本发明系统的架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
参见图1所示，本实施例公开了一种人脸细粒度特征差异性学习的人脸防欺骗方法，包括以下步骤：
S1、将人脸图片及其对应的傅里叶变换频谱图通过通过卷积操作获得傅里叶变换频谱图特征权重，将特征权重与输入人脸图片进行特征融合，参见图2所示，具体过程如下：
S101、对人脸图片像进行变换，生成相对应的傅里叶变换频谱图，变换如下公式：
Figure BDA0004107442270000071
其中，F(u,v)代表图片的傅里叶变换频谱图，u和v代表变换后的频域值，x(h,w)代表图片中在某个点的像素值，h，w分别代表图片某个点的像素值的高和宽的坐标值，H和W分别代表图片高和宽，j代表复数。
S102、将输入的人脸图片和对应的傅里叶变换频谱图进行二值化操作，分别得到对应的二值化图；
S103、通过卷积核对傅里叶变换频谱图进行操作，得到人脸辅助信息特征与对应的加权值；
S104、将人脸辅助信息特征根据加权值与输入的原始人脸进行融合，得到特征增强后的人脸图片。
S2、通过梯度特征提取网络，对特征加权后的人脸图进行特征提取，获得深层的人脸特征；其中，所述梯度特征提取网络主要由三层构成。第一层为人脸局部细粒度特征提取模块，其采用的是卷积核大小3×3和卷积核大小为1×1所构成的融合卷积层，第二层为提取人脸局部梯度差异信息的特征提取模块，其采用的是大小为5×5的中心差分卷积；第三层是用于进行整合特征图各通道特征，输出人脸特征信息，参见图3所示，具体过程如下：
S201、对于特征增强后的人脸图片，通过融合卷积层提取人脸细粒度特征信息；
S202、提出一个5×5的中心差分卷积，其可划分成25个局部感受野区域R，在输入特征图x上采样局部感受野区域，通过加权求和聚合采样值，其关系可表示为：
Figure BDA0004107442270000081
其中R代表局部感受野区域，F(k0)代表k0位置上的卷积结果，k0代表特征图当前滑动窗口的中心位置，kn代表特征图局部感受野区域R中的第n个位置，w代表卷积权重，x(k0)代表卷积当前滑动窗口在k0位置上的值，x(k0+kn)代表卷积当前滑动窗口在局部感受野区域R中的第n个位置上的值，
Figure BDA0004107442270000082
代表5×5滑动窗口中的卷积乘法运算。
S203、采用大小为1×1的卷积核对各通道上的特征信息进行梳理融合降为输出人脸特征信息V，并通过通道注意力机制融合人脸信息，可表示为：
Y＝F·V
其中，Y为融合人脸信息，F为5×5中心差分卷积输出特征图，·表示空间中3×3滑动窗口中的卷积乘法运算。
S3、通过局部特征聚合网络，对真实人脸和欺骗人脸进行特征空间聚类分割，进一步增强欺骗人脸的检测效果，参见图4所示，通过全局平均池化层、全连接层以及softmax分类器，对所获取的人脸特征信息及特征空间进行分类，识别人脸是否为欺骗人脸，具体过程如下：
S301、对人脸图输入到欺骗特征对齐检测网络中，通过注意力机制对人脸欺骗区域进行定位。
S302、对人脸欺骗区域进行卷积操作，在真人脸和欺骗人脸的特征空间中进行聚类。
S303、对聚类后的人脸欺骗区域进行判断，通过全局平均池化层、全连接层后送入softmax分类器进行分类，根据分类输出概率得分作为局部特征聚合网络的结果以判别此图片是否为真实人脸，此结果与梯度特征提取网络一起进行梯度训练优化，则整个网络的损失函数为：
L＝(1-λ)L1+λL2
其中，L1表示梯度特征提取网络的二元交叉熵损失，L2表示局部特征聚合网络的softmax交叉熵损失，λ为L1和L2损失函数的融合比例系数。
S304、将梯度特征提取网络和欺骗特征对齐检测网络各自的输出得分通过一定权重进行融合，通过全连接层和softmax分类器，输出该输入人脸图片为真实人脸和欺骗人脸的得分，最后根据比较得分，获得最大得分的所属类别，即可判断出该人脸图片是否为欺骗人脸。
实施例2
本实施例公开了一种人脸细粒度特征差异性学习的人脸防欺骗系统，用于实现实施例1所述的人脸细粒度特征差异性学习的人脸防欺骗方法，如图5所示，该系统包括以下功能模块：
特征增强模块，用于将人脸的辅助信息即傅里叶变换频谱图所提取的特征加权到输入的原始人脸图中，提高人脸局部的特征信息，得到特征增强的人脸图片；
人脸特征提取模块，通过梯度特征提取网络对特征增强后的人脸图片进行特征提取，获得深层的人脸特征；其中，所述梯度特征提取网络为三层结构，第一层为人脸局部细粒度特征提取模块，其采用的是卷积核大小3×3和卷积核大小为1×1所构成的融合卷积层，第二层为提取人脸局部梯度差异信息的特征提取模块，其采用的是大小为5×5的中心差分卷积；第三层是用于进行整合特征图各通道特征，输出人脸特征信息；
人脸识别模块，通过局部特征聚合网络，利用人脸特征信息将真实人脸和欺骗人脸进行特征空间聚类分割，进一步增强欺骗人脸的检测效果；通过全局平均池化层、全连接层以及softmax分类器，对所获取的人脸特征信息及特征空间进行分类，识别人脸是否为欺骗人脸。
实施例3
本实施例公开了一种存储介质，存储有程序，所述程序被处理器执行时，实现实施例1所述的人脸细粒度特征差异性学习的人脸防欺骗方法。
本实施例中的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
实施例4
本实施例公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例1所述的人脸细粒度特征差异性学习的人脸防欺骗方法。
本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑、可编程逻辑控制器(PLC，Programmable Logic Controller)、或其它具有处理器功能的终端设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种人脸细粒度特征差异性学习的人脸防欺骗方法，其特征在于，包括以下步骤：
S1、将输入人脸图片转换为傅里叶变换频谱图，通过卷积操作获得傅里叶变换频谱图特征权重，将特征权重与输入人脸图片进行特征加权，得到特征增强的人脸图片；
S2、通过梯度特征提取网络，对特征增强后的人脸图片进行特征提取，获得深层的人脸特征；其中，所述梯度特征提取网络为三层结构，第一层为人脸局部细粒度特征提取模块，其采用的是卷积核大小3×3和卷积核大小为1×1所构成的融合卷积层，第二层为提取人脸局部梯度差异信息的特征提取模块，其采用的是大小为5×5的中心差分卷积；第三层是用于进行整合特征图各通道特征，输出人脸特征信息；
S3、通过局部特征聚合网络，利用人脸特征信息将真实人脸和欺骗人脸进行特征空间聚类分割，进一步增强欺骗人脸的检测效果；通过全局平均池化层、全连接层以及softmax分类器，对所获取的人脸特征信息及特征空间进行分类，识别人脸是否为欺骗人脸。
2.根据权利要求1所述的一种人脸细粒度特征差异性学习的人脸防欺骗方法，其特征在于，所述步骤S1包括以下步骤：
S101、对人脸图片进行变换，生成相对应的傅里叶变换频谱图，变换如下公式：
Figure FDA0004107442250000011
式中，F(u,v)代表图片的傅里叶变换频谱图，u和v代表变换后的频域值，x(h,w)代表图片中在某个点的像素值；h，w分别代表图片某个点的像素值的高和宽的坐标值；H和W分别代表图片高和宽，j代表复数；
S102、将输入的人脸图片和对应的傅里叶变换频谱图进行二值化操作，分别得到对应的二值化图；
S103、通过卷积核对傅里叶变换频谱图进行操作，得到人脸辅助信息特征与对应的加权值；
S104、将人脸辅助信息特征根据加权值与输入的原始人脸进行融合，得到特征增强后的人脸图片。
3.根据权利要求2所述的一种人脸细粒度特征差异性学习的人脸防欺骗方法，其特征在于，所述步骤S2包括以下步骤：
S201、对于特征增强后的人脸图片，通过融合卷积层提取人脸细粒度特征信息；
S202、提出一个5×5的中心差分卷积，其能划分成25个局部感受野区域R，在输入特征图x上采样局部感受野区域，通过加权求和聚合采样值，其关系表示为：
Figure FDA0004107442250000021
式中，R代表局部感受野区域，F(k0)代表k0位置上的卷积结果，k0代表特征图当前滑动窗口的中心位置，kn代表特征图局部感受野区域R中的第n个位置，w代表卷积权重，x(k0)代表卷积当前滑动窗口在k0位置上的值，x(k0+kn)代表卷积当前滑动窗口在局部感受野区域R中的第n个位置上的值，
Figure FDA0004107442250000022
代表5×5滑动窗口中的卷积乘法运算；
S203、采用大小为1×1的卷积核对各通道上的特征信息进行梳理融合降为输出人脸特征信息V，并通过通道注意力机制融合人脸信息，表示为：
Y＝F·V
其中，Y为融合人脸信息，F为5×5中心差分卷积输出特征图，·表示空间中3×3滑动窗口中的卷积乘法运算。
4.根据权利要求3所述的一种人脸细粒度特征差异性学习的人脸防欺骗方法，其特征在于，所述步骤S3包括以下步骤：
S301、将人脸图片输入到局部特征聚合网络中获得人脸特征信息，通过注意力机制对人脸欺骗区域进行定位；
S302、对人脸欺骗区域进行卷积操作，在真人脸和欺骗人脸的特征空间中进行聚类；
S303、对聚类后的人脸欺骗区域进行判断，通过全局平均池化层、全连接层后送入softmax分类器进行分类，根据分类输出概率得分作为局部特征聚合网络的结果以判别此图片是否为真实人脸，此结果与梯度特征提取网络一起进行梯度训练优化，则整个网络的损失函数L为：
L＝(1-λ)L1+λL2
式中，L1表示梯度特征提取网络的二元交叉熵损失，L2表示局部特征聚合网络的softmax交叉熵损失，λ为L1和L2损失函数的融合比例系数；
S304、将梯度特征提取网络和局部特征聚合网络各自的输出得分通过权重进行融合，通过全连接层和softmax分类器，输出输入的人脸图片为真实人脸和欺骗人脸的得分，最后根据比较得分，获得最大得分的所属类别，即可判断出该人脸图片是否为欺骗人脸。
5.一种人脸细粒度特征差异性学习的人脸防欺骗系统，其特征在于，用于实现权利要求1至4中任一项所述的人脸细粒度特征差异性学习的人脸防欺骗方法，包括：
特征增强模块，用于将人脸的辅助信息即傅里叶变换频谱图所提取的特征加权到输入的原始人脸图中，提高人脸局部的特征信息，得到特征增强的人脸图片；
人脸特征提取模块，通过梯度特征提取网络对特征增强后的人脸图片进行特征提取，获得深层的人脸特征；其中，所述梯度特征提取网络为三层结构，第一层为人脸局部细粒度特征提取模块，其采用的是卷积核大小3×3和卷积核大小为1×1所构成的融合卷积层，第二层为提取人脸局部梯度差异信息的特征提取模块，其采用的是大小为5×5的中心差分卷积；第三层是用于进行整合特征图各通道特征，输出人脸特征信息；
人脸识别模块，通过局部特征聚合网络，利用人脸特征信息将真实人脸和欺骗人脸进行特征空间聚类分割，进一步增强欺骗人脸的检测效果；通过全局平均池化层、全连接层以及softmax分类器，对所获取的人脸特征信息及特征空间进行分类，识别人脸是否为欺骗人脸。
6.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1至4中任一项所述的人脸细粒度特征差异性学习的人脸防欺骗方法。
7.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1至4中任一项所述的人脸细粒度特征差异性学习的人脸防欺骗方法。
CN202310196667.2A 2023-03-01 2023-03-01 一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统 Pending CN116229551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310196667.2A CN116229551A (zh) 2023-03-01 2023-03-01 一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310196667.2A CN116229551A (zh) 2023-03-01 2023-03-01 一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统

Publications (1)

Publication Number Publication Date
CN116229551A true CN116229551A (zh) 2023-06-06

Family

ID=86582112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310196667.2A Pending CN116229551A (zh) 2023-03-01 2023-03-01 一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统

Country Status (1)

Country Link
CN (1) CN116229551A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496601A (zh) * 2023-12-28 2024-02-02 华东交通大学 基于细分类和对抗域泛化的人脸活体检测系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496601A (zh) * 2023-12-28 2024-02-02 华东交通大学 基于细分类和对抗域泛化的人脸活体检测系统及方法
CN117496601B (zh) * 2023-12-28 2024-04-05 华东交通大学 基于细分类和对抗域泛化的人脸活体检测系统及方法

Similar Documents

Publication Publication Date Title
Yang et al. Deeperlab: Single-shot image parser
Wu et al. ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features
Chen et al. Saliency detection via the improved hierarchical principal component analysis method
Chuang et al. Vehicle licence plate recognition using super-resolution technique
Zhang et al. Face anti-spoofing detection based on DWT-LBP-DCT features
Su et al. Hierarchical image resampling detection based on blind deconvolution
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Zhao et al. Semantic segmentation of remote sensing image based on regional self-attention mechanism
CN116229551A (zh) 一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统
CN111104924B (zh) 一种识别低分辨率商品图像的处理算法
Liang et al. Car detection and classification using cascade model
Li et al. Enhanced bird detection from low-resolution aerial image using deep neural networks
Wang et al. U‐Net: A Smart Application with Multidimensional Attention Network for Remote Sensing Images
Sharma et al. Deep convolutional neural network with ResNet-50 learning algorithm for copy-move forgery detection
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
Xiang et al. Crowd density estimation method using deep learning for passenger flow detection system in exhibition center
CN112966629B (zh) 基于图像变换和BoF模型的遥感图像场景分类方法
Sanyal et al. Traffic sign recognition on Indian database using wavelet descriptors and convolutional neural network ensemble
Sedik et al. AI-enabled digital forgery analysis and crucial interactions monitoring in smart communities
CN115359304B (zh) 一种面向单幅图像特征分组的因果不变性学习方法及系统
Bandarupally et al. Detection of Military Targets from Satellite Images using Deep Convolutional Neural Networks
Gan et al. Highly accurate end-to-end image steganalysis based on auxiliary information and attention mechanism
Lin et al. A deep learning based bank card detection and recognition method in complex scenes
Yang et al. FDS_2D: rethinking magnitude-phase features for DeepFake detection
Dong et al. SiameseDenseU‐Net‐based Semantic Segmentation of Urban Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination