CN115063870A - 一种基于面部动作单元的伪造视频人像检测方法 - Google Patents

一种基于面部动作单元的伪造视频人像检测方法 Download PDF

Info

Publication number
CN115063870A
CN115063870A CN202210811762.4A CN202210811762A CN115063870A CN 115063870 A CN115063870 A CN 115063870A CN 202210811762 A CN202210811762 A CN 202210811762A CN 115063870 A CN115063870 A CN 115063870A
Authority
CN
China
Prior art keywords
data
action unit
video
face
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210811762.4A
Other languages
English (en)
Other versions
CN115063870B (zh
Inventor
廖广军
袁若萱
王宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Police College (guangdong Public Security Management Institute Of Justice)
Original Assignee
Guangdong Police College (guangdong Public Security Management Institute Of Justice)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Police College (guangdong Public Security Management Institute Of Justice) filed Critical Guangdong Police College (guangdong Public Security Management Institute Of Justice)
Priority to CN202210811762.4A priority Critical patent/CN115063870B/zh
Publication of CN115063870A publication Critical patent/CN115063870A/zh
Application granted granted Critical
Publication of CN115063870B publication Critical patent/CN115063870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明属于伪造视频人像检测技术领域，具体是一种基于面部动作单元的伪造视频人像检测方法，步骤1：提取面部动作单元数据及头部旋转角度数据；步骤2：构建面部运动特征矩阵；步骤3：数据降维；步骤4：分类器的训练与检测。本发明提供的一种基于面部动作单元的伪造视频人像检测方法，直接通过利用面部动作单元采集程序提取到的数据进行分析并检测，改进了数据通过核函数映射到高维空间的思路，改用数据降维的新思路，不用额外提取更多无法检测到的面部编码系统中的数据，同时，在检测结果的基础上，对比人脸数据库，排查出伪造视频中的原始人物。

Description

一种基于面部动作单元的伪造视频人像检测方法
技术领域
本发明属于伪造视频人像检测技术领域，具体是一种基于面部动作单元的伪造视频人像检测方法。
背景技术
现有的国内外伪造检测技术主要分为基于具体伪影的视觉深度伪造检测，基于数据驱动的视觉深度伪造检测，基于信息不一致的视觉深度伪造检测，以及其他类型视觉深度伪造检测四种类型。虽然上述检测方法在针对伪造视频生成过程中，由于伪造技术缺陷而产生伪造痕迹的伪造人脸视频中检测效果不错，但是随着深度伪造检测技术的发展，深度伪造生成技术也会相应地改进，未来的伪造人脸视频与原始视频在视觉上的区别在于人脸不同，而脸部动作、头部姿态、眼神光等特征将基本保持一致性，同时伪造技术缺陷产生的伪造痕迹将减少，过去检测方法的检测效果也将会降低。
胡晓瑞等人在《基于面部动作编码系统的表情生成对抗网络》基于面部动作表情编码系统提出了一种创新的人脸表情合成方法，通过控制表示不同面部动作单元激活程度的一维目标条件向量，对输入的单张人脸图像，在保持图中人物信息和其他部分不变的情况下只改变目标条件向量对应部位纹理，生成与目标表情编码一致的人脸图像。
Yuming Gu等人在《Agarwal Protecting World Leaders Against Deep FakesCVPRW2019paper》中利用面部动作编码系统，将面部动作单元运用在深度伪造检测中，结合头部姿势提取人像变化过程中的强度、频率特征，将这些特征导入SVM中，让分类器学习不同人的特征范围，从而实现伪造人像视频的检测。但是该方法需要原始视频数据集足够大，才可划分个人特征范围，实现检测伪造视频。即该方法的局限在于不适用原始数据集小的情况。而在现实生活中，若发生普通人被换脸视频侵害时，上述方法不能很好的检测出是否伪造视频，因为对于普通人很难构建出足够大的原始视频数据集去供分类器学习个人特征范围。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于面部动作单元的伪造视频人像检测方法，直接通过利用面部动作单元(简称“AU”)采集程序提取到的数据进行分析并检测，改进了数据通过核函数映射到高维空间的思路，改用数据降维的新思路，不用额外提取更多无法检测到的面部编码系统中的数据，同时，在检测结果的基础上，对比人脸数据库，排查出伪造视频中的原始人物。
为解决上述技术问题，本发明采用的技术方案是：
一种基于面部动作单元的伪造视频人像检测方法，其特征在于，包括下述步骤：
步骤1：获取面部动作单元数据及头部旋转角度数据：通过面部动作单元采集模块获取人像视频中的面部动作单元数据和头部旋转角度数据；
步骤2：构建面部运动特征矩阵：将提取到的面部动作单元序列以及头部旋转角度序列按照编号排列，将同一视频生成的各组面部动作单元数据以及头部旋转角度数据根据时间维度t和序列个数n构建特定的人像信息矩阵Xt*n，并通过比较同一视频生成的各组人像信息矩阵间各序列的余弦相似度，得到不同序列之间相似度，从而反应面部动作单元以及头部旋转运动间的总体特征，通过余弦相似度分析，得到各组人像信息矩阵间各序列之间的相关特征序列，每个样本的特征序列构建生成面部运动特征矩阵；
步骤3：数据降维：对生成的面部运动特征矩阵进行数据降维，得到特征向量，根据特征值的大小确定信息的贡献率，根据信息贡献率大小，选择贡献率最大的特征值对应的特征向量；
步骤4：分类器的训练与检测：将真假人像视频得到的两两特征向量与检测对象的人脸数据库得到的特征向量进行相似性比较，得到两两特征向量之间的距离，从而得到真假视频与检测对象原始视频人脸特征的差异程度，将多组得到的距离进行二分类，通过运用极大似然法进行参数估计，从而训练得到分类器，通过分类器分类检测待测视频是否为伪造人脸视频。
作为优选的技术方案，所述步骤3中，运用主成分分析的方法对生成的所述面部运动特征矩阵进行数据降维。
作为优选的技术方案，所述步骤4中，通过frechet距离进行所述相似性比较。
作为优选的技术方案，所述步骤4中，运用二元logistic进行所述二分类。
和现有技术相比，本发明提供的一种基于面部动作单元的伪造视频人像检测方法，一方面降低了伪造视频检测的运算条件和检测成本，只需要面部动作单元采集模块(程序)提取得到的人脸数据即可进行深度伪造检测，与将数据通过核函数映射到高维空间进行分类的思路相比，本方法采用数据降维的新思路并结合frechet距离进行相似性分析，大大降低了检测的运算量；另一方面，本方法采用极大似然法对分类器进行参数估计且参数的估计结果基于样本，因此训练的分类器具有较高的稳定性。另外，本方法提供的检测思路不局限于区分伪造，为进一步排查伪造人像视频的原始人物提供可能，进一步提高公安工作的排查效率。
以下将结合附图对本发明的构思、工作过程及产生的效果作进一步说明，以充分地理解本发明的目的、特征和效果。
附图说明
图1是实施例中基于面部动作单元的伪造视频人像检测方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处说描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
如图1所示，一种基于面部动作单元的伪造视频人像检测方法，包括如下步骤：
S1、提取面部动作单元数据及头部旋转角度数据：
通过面部动作单元采集模块获取人像视频中的面部动作单元数据和头部旋转角度数据。
S2、构建面部运动特征矩阵：
将提取到的不同面部动作单元(简称“AU”)序列以及头部旋转姿势序列按照编号排列，由于同一视频生成的人脸数据的时间维度相同，因此在此基础上将提取到的序列构建成人像信息矩阵，设该矩阵为X，通过矩阵相似度比较的思想，将同一视频生成的各组AU数据以及头部旋转数据根据时间维度t和序列个数n构建特定的人像信息矩阵，并通过比较同一视频生成的Xt×n与Xt×n间各序列之间的余弦相似度，得到不同序列之间相似度，从而反应AU及头部旋转运动间的总体特征，通过余弦相似度分析，得到人像信息矩阵间各序列之间的长度为
Figure BDA0003738210300000051
的相关特征序列，每个样本的特征序列构建成面部运动特征矩阵。
S3、数据降维：
运用主成分分析(PCA)的方法对生成的面部运动特征矩阵进行数据降维。设XN×153＝[X1N，X2N，...，X153N]，S为之间的协方差矩阵，设最大投影方差为J，单位向量为ui，||ui||＝1。根据PCA原理，设不同维度间向量的最大投影方差为J，单位向量为，||ui||＝1，则：
Figure BDA0003738210300000052
Figure BDA0003738210300000053
Figure BDA0003738210300000054
(1)(2)式由拉格朗日求得
L(u，λ)＝uiSui T+λ(1-uiui T)
Figure BDA0003738210300000055
因此得到S＝λ，根据上述推导，我们可以推出，特征值的大小反映了信息的贡献率。由此得到153维的特征向量。根据信息贡献率大小，选择贡献率最大的特征值对应的特征向量。
S4、分类器的训练与检测：
将真假人像视频得到的两两特征向量与检测对象的人脸数据库得到的特征向量通过frechet距离进行相似性比较，得到两两特征向量之间的距离，从而得到真假视频与检测对象原始视频人脸特征的差异程度。将多组得到的距离运用二元logistic进行二分类，通过运用极大似然法进行参数估计，从而训练得到分类器，通过分类器分类检测待测视频是否为伪造人脸视频。
设生成的特征向量为z，预测概率为p，遍历编号i＝1，...，n(n＝2)，分类结果Yi＝0，1，将真假人像视频得到的前两个特征向量联合，形成联合序列Z
Figure BDA0003738210300000061
根据极大似然的思想，得到
Figure BDA0003738210300000062
将(3)式取对数得到：
Figure BDA0003738210300000063
(4)式中p值的计算公式可以结合下式进行转换：
Figure BDA0003738210300000064
(5)式转换得到：
Figure BDA0003738210300000071
即最终转换成，让待估计参数(回归系数)估计，而且估计得到的InL最大。即让InL最大时得到的回归系数，即为最终模型的回归系数，从而训练得到分类器。
本发明提供的一种基于面部动作单元的伪造视频人像检测方法，一方面，本方法降低了伪造视频检测的运算条件和检测成本，只需要面部动作单元采集模块(程序)提取得到的人脸数据即可进行深度伪造检测。与将数据通过核函数映射到高维空间进行分类的思路相比，本方法采用数据降维的新思路并结合frechet距离进行相似性分析，大大降低了检测的运算量。另一方面，本方法采用极大似然法对分类器进行参数估计且参数的估计结果基于样本，因此训练的分类器具有较高的稳定性。同时，本方法提供的检测思路不局限于区分伪造，为进一步排查伪造人像视频的原始人物提供可能，进一步提高公安工作的排查效率。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (4)

1.一种基于面部动作单元的伪造视频人像检测方法，其特征在于，包括下述步骤：
步骤1：获取面部动作单元数据及头部旋转角度数据：通过面部动作单元采集模块获取人像视频中的面部动作单元数据和头部旋转角度数据；
步骤2：构建面部运动特征矩阵：将提取到的面部动作单元序列以及头部旋转角度序列按照编号排列，将同一视频生成的各组面部动作单元数据以及头部旋转角度数据根据时间维度t和序列个数n构建特定的人像信息矩阵Xt*n，并通过比较同一视频生成的各组人像信息矩阵间各序列的余弦相似度，得到不同序列之间相似度，从而反应面部动作单元以及头部旋转运动间的总体特征，通过余弦相似度分析，得到各组人像信息矩阵间各序列之间的相关特征序列，每个样本的特征序列构建生成面部运动特征矩阵；
步骤3：数据降维：对生成的面部运动特征矩阵进行数据降维，得到特征向量，根据特征值的大小确定信息的贡献率，根据信息贡献率大小，选择贡献率最大的特征值对应的特征向量；
步骤4：分类器的训练与检测：将真假人像视频得到的两两特征向量与检测对象的人脸数据库得到的特征向量进行相似性比较，得到两两特征向量之间的距离，从而得到真假视频与检测对象原始视频人脸特征的差异程度，将多组得到的距离进行二分类，通过运用极大似然法进行参数估计，从而训练得到分类器，通过分类器分类检测待测视频是否为伪造人脸视频。
2.根据权利要求1所述的基于面部动作单元的伪造视频人像检测方法，其特征在于，所述步骤3中，运用主成分分析的方法对生成的所述面部运动特征矩阵进行数据降维。
3.根据权利要求1所述的基于面部动作单元的伪造视频人像检测方法，其特征在于，所述步骤4中，通过frechet距离进行所述相似性比较。
4.根据权利要求1所述的基于面部动作单元的伪造视频人像检测方法，其特征在于，所述步骤4中，运用二元logistic进行所述二分类。
CN202210811762.4A 2022-07-08 2022-07-08 一种基于面部动作单元的伪造视频人像检测方法 Active CN115063870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210811762.4A CN115063870B (zh) 2022-07-08 2022-07-08 一种基于面部动作单元的伪造视频人像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210811762.4A CN115063870B (zh) 2022-07-08 2022-07-08 一种基于面部动作单元的伪造视频人像检测方法

Publications (2)

Publication Number Publication Date
CN115063870A true CN115063870A (zh) 2022-09-16
CN115063870B CN115063870B (zh) 2024-04-30

Family

ID=83205895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210811762.4A Active CN115063870B (zh) 2022-07-08 2022-07-08 一种基于面部动作单元的伪造视频人像检测方法

Country Status (1)

Country Link
CN (1) CN115063870B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751110A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 一种活体检测方法和装置
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR101815697B1 (ko) * 2016-10-13 2018-01-05 주식회사 에스원 위조 얼굴 판별 장치 및 방법
WO2018166515A1 (zh) * 2017-03-16 2018-09-20 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
KR20210144064A (ko) * 2020-05-21 2021-11-30 경일대학교산학협력단 페이크 얼굴 검출 장치 및 검출 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751110A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 一种活体检测方法和装置
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR101815697B1 (ko) * 2016-10-13 2018-01-05 주식회사 에스원 위조 얼굴 판별 장치 및 방법
WO2018166515A1 (zh) * 2017-03-16 2018-09-20 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
KR20210144064A (ko) * 2020-05-21 2021-11-30 경일대학교산학협력단 페이크 얼굴 검출 장치 및 검출 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BEIBEI LIU: "Double-Stream Segmentation Network with Temporal Self-attention for Deepfake Video Detection", 《DIGITAL FORENSICS AND WATERMARKING 》, 21 January 2022 (2022-01-21) *
S SARKAR: "Individualized Fake Video Detection Using Facial and Head Dynamics", 31 December 2019 (2019-12-31) *
李旭嵘: "一种基于双流网络的Deepfakes检测技术", 《信息安全学报》, 15 March 2020 (2020-03-15), pages 84 - 91 *
陈鹏: "融合全局时序和局部空间特征的伪造人脸视频检测方法", 《信息安全学报》, 15 March 2020 (2020-03-15), pages 73 - 83 *

Also Published As

Publication number Publication date
CN115063870B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
Tran et al. Representation learning by rotating your faces
US5842194A (en) Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
Lu Image analysis for face recognition
Guillamet et al. Classifying faces with nonnegative matrix factorization
Ameur et al. Fusing Gabor and LBP feature sets for KNN and SRC-based face recognition
Mostofa et al. Deep gan-based cross-spectral cross-resolution iris recognition
Zhang et al. Facial expression recognition using sparse representation
Pali et al. An extensive survey on feature extraction techniques for facial image processing
Li et al. A statistical PCA method for face recognition
Kar et al. High performance human face recognition using independent high intensity gabor wavelet responses: a statistical approach
CN108564061A (zh) 一种基于二维主元分析的图像识别方法和系统
US11138417B2 (en) Automatic gender recognition utilizing gait energy image (GEI) images
George et al. Face recognition on surgically altered faces using principal component analysis
Adekunle et al. Feature extraction techniques for iris recognition system: A survey
Li et al. LBP-like feature based on Gabor wavelets for face recognition
CN115063870B (zh) 一种基于面部动作单元的伪造视频人像检测方法
Yan et al. Coupled kernel-based subspace learning
YA Feature extraction techniques for iris recognition system: A survey
Sang et al. Local Gabor Fisher classifier for face recognition
CN113553895A (zh) 一种基于人脸正面化的多姿态人脸识别方法
Blessy et al. Deep Learning Approach to Offline Signature Forgery Prevention
Li et al. 3D face detection and face recognition: state of the art and trends
El-Tarhouni et al. Finger-Knuckle-print recognition using dynamic thresholds completed local binary pattern descriptor
Aghdaie et al. Attention Augmented Face Morph Detection
Sun et al. A Genetic Algorithm Based Approach for 3D Face Recognition: Using Geometric Face Modeling and Labeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant