CN111797702A - 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法 - Google Patents

基于空间局部二值模式与光流梯度的人脸伪造视频检测方法 Download PDF

Info

Publication number
CN111797702A
CN111797702A CN202010528622.7A CN202010528622A CN111797702A CN 111797702 A CN111797702 A CN 111797702A CN 202010528622 A CN202010528622 A CN 202010528622A CN 111797702 A CN111797702 A CN 111797702A
Authority
CN
China
Prior art keywords
optical flow
face
degrees
magnitude
binary pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010528622.7A
Other languages
English (en)
Inventor
马廷淮
俞特
田青
荣欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010528622.7A priority Critical patent/CN111797702A/zh
Publication of CN111797702A publication Critical patent/CN111797702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，首先，对人脸视频中的人脸进行定位分割，得到人脸区域图像块序列；其次，从该序列中提取空间3D局部二值模式描述符；然后，利用光流法估计人脸视频的运动模式，结合方向梯度直方图构建真假人脸视频的运动特征；最后，联合两种特征并利用支持向量机进行训练，对真假人脸进行伪造检测。本发明从动态纹理的角度考虑伪造人脸视频，与基于深度学习的方法相比较，将大大降低时间消耗；且最终的特征能够从全局局部两个角度辨识真假人脸，充分描述视频的全局运动特征，提高伪造人脸视频检测的精度。

Description

基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
技术领域
本发明属于机器学习与数字取证结合的领域，具体涉及一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法。
背景技术
随着技术的进步，对人脸视频内容的伪造或篡改的现象层出不穷，因此对视频的数字取证也成伪了信息安全中的一个重要研究方向。近年来，人脸视频伪造问题受到人们的广泛关注。个人隐私如何保护，视频能否作为有效的法律证据，都成为了目前急需解决的问题。伪造人脸视频作为一种基于深度生成模型的人脸视频伪造方法，在构建模型时使用了一种自编解码架构。在模型的训练阶段，输入人脸图像通过仿射变换被扭曲，自编码器通过训练将这种任意随机扭曲的人脸进行还原重建。针对不同身份的人脸需要各自训练其自编码器，然而编码器的权重是共享的，而解码器的权重与身份是高度相关的。因此在测试即换脸阶段，通过组合不同身份的输入图像与解码器，可以实现人脸身份的交换而保持表情动作不变。整个训练过程包含：1)获取正常人脸照片；2)扭曲变换人脸照片；3)编码器编码向量；4)解码器解码向量；5)还原正常人脸照片等五个步骤。后续的人脸伪造技术在自编码器的框架之上，又引入了生成对抗网络技术，不但降低了同等条件下的模型参数量和模型复杂度，同时使生成的人脸更为清晰，大大降低了对原图的依赖，显著提升了换脸的效果。人脸伪造算法通常需要大量的图像和视频数据来训练模型创建逼真的图像和视频，但是名人政要等公众人物的视频和图片在网上很容易获取，所以它们很容易就成了人脸伪造技术的原始数据。伪造人脸技术制作的第一个视频出现在2017年，一位名人的脸被换到色情视频中。这在一定程度上对被换脸人物的形象造成了损坏。伪造人脸视频算法一旦被恶意用来制作政治人物演讲视频，将可能影响政治选举、导致金融市场混乱，甚至可能引起国家之间的紧张局势，对世界安全构成严重威胁。
尽管如今已经有大量伪造人脸检测研究方法被提出，但是还存在一些明显的缺陷与不足。大多数针对伪造人脸视频的检测算法将视频分解成独立的帧，在帧内进进行伪造检测。这类方法只考虑了基于图像的伪造瑕疵，而伪造算法在生成人脸视频时，并没有引入时域信息，因此在时间尺度上残留了大量可以用来区分真假人脸的特征。然而大部分检测方法只关注了帧级别的篡改痕迹，而没有关注到时间域上的篡改痕迹。现有的基于特征的篡改方法均是从单一的角度进行检测，例如基于眨眼的方法，基于嘴型的方法，基于呼吸频率的方法与基于相机噪声的方法，都是提取了单一的特征，没有联合视频中可能存在的所有瑕疵。其他基于图像瑕疵的方法大多直接利用深度学习模型，无法直观的提取真假人脸的差异，也难以结合其他方面的篡改特征，检测精度上仍然存在着很大的上升空间。
发明内容
发明目的：本发明提供一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，能大大降低时间消耗，且能够从全局、局部两个角度辨识真假人脸，充分描述视频的全局运动特征，提高伪造人脸视频检测的精度。
技术方案：本发明所述的一种基于空间局部二值模式与光流梯度的伪造人脸视频检测方法，包括以下步骤：
(1)对待检测的人脸伪造视频进行帧级别的分解，得到一个连续的帧序列；
(2)对于步骤(1)中裁剪得到的连续人脸图像块序列，设定三个时空轴T、X、Y，在XY、XT和YT这3个正交平面上分别计算局部二值模式；
(3)采用均匀模式的
Figure BDA0002534565800000021
算子进行特征提取，nj＝59(j＝0，1，2)，获取第j平面上的中心像素点x，y，t的LBP值；其中，R表示局部二值模式的计算半径，8表示对半径为R的环形区域上的8个采样点的领域进行LBP编码，u2表示该局部二值模式计算的是二次跳变的情况，nj表示第j时空平面上的二值模式类别数，均等于59；
(4)将3个平面的局部二值模式直方图按照XY、XT、YT的顺序串联起来，构成联合特征；
(5)对步骤(1)中获得的人脸图像块序列，利用Horn-Schunck光流算法计算运动光流，得出四维平面坐标的向量(x，y，u，v)；将其转换为极坐标(x，y，r，θ)，r为点(x，y)上光流的大小，θ为该点的光流方向；
(6)将光流方向分成B个方向柱，以360°/B为间隔，光流大小分成M个数量级；计算单帧图像的方向－数量级光流梯度直方图时，根据每个像素点上光流的方向和大小投票到相应的方向柱数量级上；
(7)在获得每一帧人脸图像块的方向－数量级的光流梯度直方图特征的基础上，计算每一帧累积的方向－数量级的光流梯度直方图特征向量来表示N帧连续图像序列的运动特征；
(8)将步骤(4)获得的联合特征和步骤(7)获得的运动特征的特征序列链接并使用支持向量机进行训练并分类，对真假人脸进行伪造检测。
进一步地，所述步骤(1)包括以下步骤：
(11)对于检测到的每一帧，利用多任务卷积神经网络识别并定位图像中的人脸，裁剪出人脸图像块并进行缩放，得到人脸区域图像块序列；
(12)从该序列中提取空间3D局部二值模式描述符。
进一步地，所述步骤(3)包括以下步骤：
(31)将三维局部二值模式的直方图定义为：
Figure BDA0002534565800000031
其中，
i＝0，1，...，nj-1；j＝0，1，2
其中，fj(x，y，t)表示在第j平面上的中心像素点(x，y，t)的LBP值，j表示平面的编号，j＝0表示XY平面，j＝1表示XT平面，j＝2表示YT平面；nj是在第j个平面上由LBP算子产生的二元模式数量；
(32)对空间3D-LBP直方图进行归一化的操作：
Figure BDA0002534565800000032
(33)将输入的面部图像分成p×p个子块，然后分别计算每个子块的局部LBP直图。
进一步地，所述步骤(6)包括以下步骤
(61)将光流方向分成8个方向柱，分别为[0°,45°],[45°,90°],[90°,135°],[135°,180],[180°,225],[225°,270°],[270°,315°],[315°,360°]；
(62)光流大小分成4个数量级[0,0.5],(0.5,1.5],(1.52],(2,+∞)；
(63)为了避免出现零的情况，将每个方向柱的数量级上的值初始化为1；其中，方向θ通过以下公式进行计算
θ＝tan-1(u/v)
其中：
Figure BDA0002534565800000041
1≤b≤B
其中，b表示索引，表示第几个方向柱。
进一步地，所述步骤(7)包括以下步骤：
(71)对于一段人脸视频A有Q帧图像，即A＝{I1，I2，...IQ}，第q帧图像的方向－数量级的光流梯度直方图用G(Iq)表示；从I1到IQ连续Q帧图像序列的累积方向－数量级的光流梯度直方图Gq为：
Figure BDA0002534565800000042
(72)为避免不同面部动作或者不同人相同表情的特征之间的数量级差别较大，对所得到的上述特征进行归一化处理：
Figure BDA0002534565800000043
Figure BDA0002534565800000044
其中，Ga(l，8，4)表示第l个子网格，8个方向柱上，4个数量级；Gle表示第l个子网格，8方向柱上所有数量级上值的和。
有益效果：与现有技术相比，本发明的有益效果：1、本发明从空间局部二值模式与光流梯度特征的角度考虑，结合传统的局部二模式算子并将其扩展到视频序列中，从图像序列构成的两个时空轴上同时考虑面部纹理的变化，挖掘出真假人脸在运动时面部纹理细节上的差异，有效捕捉各种伪造算法留下的肌肤纹理失真、运动瑕疵和面部肌肉僵硬等缺点；2、基于分块的方法，不仅能加强算子对于局部纹理的描述性能，也能够保证对于整幅人脸特征的表征，从全局、局部两个角度辨识真假人脸；3、同时利用光流方法估计人脸视频序列中的运动场，将辨别真假人脸的特征集中在运动方面，通过构建统计直方图的方法突出真假人脸的差异，利用光流得到的运动场是对于全局像素运动的估计，结合传统的梯度方向直方图思想，构造出光流场的梯度-数量直方图；4、本方案从动态纹理的角度考虑伪造人脸视频，与基于深度学习的方法相比较，将大大降低时间消耗，而且最终的特征能够从全局局部两个角度辨识真假人脸，充分描述视频的全局运动特征，提高伪造人脸视频检测的精度。
附图说明
图1为本发明的流程图；
图2为空间三维局部二值模式直方图的构建方法示意图；
图3为提取视频的光流梯度直方图的示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
本发明提出一种一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，如图1所示，具体包括以下步骤：
(1)对一个包含人脸的视频，首先对视频进行帧级别的分解，得到一个连续的帧序列。对于检测到的每一帧，我们利用多任务卷积神经网络(MTCNN)识别并定位图像中的人脸，并裁剪出人脸图像块并缩放至(224,224)作为本方案中后续利用的人脸图像序列。
(2)对于步骤(1)中获得的人脸图像块序列，设定三个时空轴T、X、Y。如图2所示，在XY、XT和YT这3个正交平面上分别计算局部二值模式，其中，T表示时间轴，XY分别表示空间的横轴和纵轴。
(3)采用均匀模式的
Figure BDA0002534565800000051
算子进行特征提取，nj＝59(j＝0，1，2)；fj(x，y，t)表示在第j平面上的中心像素点(x，y，t)的LBP值；其中，R表示局部二值模式的计算半径，8表示对半径为R的环形区域上的8个采样点的领域进行LBP编码，u2表示该局部二值模式计算的是二次跳变的情况，nj表示第j时空平面上的二值模式类别数，均等于59。采用计算两次跳变的匀模式LBP共有：2(0次跳变)+0(1次跳变)+8*(8-1)(2次跳变)+1(其他情况)＝59种类别数。
将三维局部二值模式(3D-LBP)的直方图定义为：
Figure BDA0002534565800000061
其中，
i＝0，1，...，nj-1；j＝0，1，2
其中，j表示平面的编号，j＝0表示XY平面，j＝1表示XT平面，j＝2表示YT平面；nj是在第j个平面上由LBP算子产生的二元模式数量。
对空间3D-LBP直方图进行归一化的操作：
Figure BDA0002534565800000062
将输入的面部图像分成p×p个子块，然后分别计算每个子块的局部LBP直图。
(4)将3个平面的局部二值模式直方图按照XY、XT、YT的顺序串联起来，构成最终的联合直方图特征，最终构建的联合直方图特征如图2所示。
(5)对步骤(1)中获得的人脸图像块序列，利用Horn-Schunck光流算法(HS光流算法)计算运动光流，得出四维平面坐标的向量(x，y，u，v)；将其转换为极坐标(x，y，r，θ)，r为点(x，y)上光流的大小，θ为该点的光流方向，如图3所示，没相邻帧均能得到一组方向梯度图。
(6)将光流方向分成B个方向柱，以360°/B为间隔，光流大小分成M个数量级；计算单帧图像的方向－数量级光流梯度直方图时，根据每个像素点上光流的方向和大小投票到相应的方向柱数量级上，如图3所示，该步骤将方向梯度图转化为方向梯度直方图。
此处，将光流方向分成8个方向柱，分别为[0°,45°],[45°,90°],[90°,135°],[135°,180],[180°,225],[225°,270°],[270°,315°],[315°,360°]；光流大小分成4个数量级[0,0.5],(0.5,1.5],(1.52],(2,+∞)；为了避免出现零的情况，将每个方向柱的数量级上的值初始化为1。其中，方向θ通过以下公式进行计算：
θ＝tan-1(u/v)
其中：
Figure BDA0002534565800000063
1≤b≤B
其中，b代表索引，表示第几个方向柱。
(7)在获得每一帧人脸图像块的方向－数量级的光流梯度直方图特征的基础上，计算每一帧累积的方向－数量级的光流梯度直方图特征向量来表示N帧连续图像序列的运动特征。
对于一段人脸视频A有Q帧图像，即A＝{I1，I2，...IQ}，第q帧图像的方向－数量级的光流梯度直方图用G(Iq)表示。从I1到IQ连续Q帧图像序列的累积方向－数量级的光流梯度直方图Gq为：
Figure BDA0002534565800000071
为避免不同面部动作或者不同人相同表情的特征之间的数量级差别较大，对所得到的上述特征进行归一化处理。
Ga(l，8，4)←Ga(l，8，4)/Gle
Figure BDA0002534565800000072
其中，Ga(l，8，4)表示第l个子网格，8个方向柱上，4个数量级；Gle表示第l个子网格，8方向柱上所有数量级上值的和。
(8)将以上两个特征序列链接并使用支持向量机进行训练并分类，对真假人脸进行伪造检测。
通过对Celeb-DF伪造人脸数据集上进行测试，得到的结果如表1所示：
表1本发明所提出方法的精度与对比
Figure BDA0002534565800000073
本发明与著名的CNN-LSTM架构相比，特征向量长度在CNN-LSTM中指代其CNN骨干输出的特征长度。可以看出，在相同特征向量长度，本发明下精度更高，而在特征向量长度较短时，本发明所提出的方法仍然能保持很高精度。

Claims (5)

1.一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，包括以下步骤：
(1)对待检测的人脸伪造视频进行帧级别的分解，得到一个连续的帧序列；
(2)对于步骤(1)中裁剪得到的连续人脸图像块序列，设定三个时空轴T、X、Y，在XY、XT和YT这3个正交平面上分别计算局部二值模式；
(3)采用均匀模式的
Figure FDA0002534565790000011
算子进行特征提取，nj＝59(j＝0，1，2)，获取第j平面上的中心像素点(x，y，t)的LBP值；其中，R表示局部二值模式的计算半径，8表示对半径为R的环形区域上的8个采样点的领域进行LBP编码，u2表示该局部二值模式计算的是二次跳变的情况，nj表示第j时空平面上的二值模式类别数，均等于59；
(4)将3个平面的局部二值模式直方图按照XY、XT、YT的顺序串联起来，构成联合特征；
(5)对步骤(1)中获得的人脸图像块序列，利用Horn-Schunck光流算法计算运动光流，得出四维平面坐标的向量(x，y，u，v)；将其转换为极坐标(x，y，r，θ)，r为点(x，y)上光流的大小，θ为该点的光流方向；
(6)将光流方向分成B个方向柱，以360°/B为间隔，光流大小分成M个数量级；计算单帧图像的方向-数量级光流梯度直方图时，根据每个像素点上光流的方向和大小投票到相应的方向柱数量级上；
(7)在获得每一帧人脸图像块的方向-数量级的光流梯度直方图特征的基础上，计算每一帧累积的方向-数量级的光流梯度直方图特征向量来表示N帧连续图像序列的运动特征；
(8)将步骤(4)获得的联合特征和步骤(7)获得的运动特征的特征序列链接并使用支持向量机进行训练并分类，对真假人脸进行伪造检测。
2.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(1)包括以下步骤：
(11)对于检测到的每一帧，利用多任务卷积神经网络识别并定位图像中的人脸，裁剪出人脸图像块并进行缩放，得到人脸区域图像块序列；
(12)从该序列中提取空间3D局部二值模式描述符。
3.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(3)包括以下步骤：
(31)将三维局部二值模式的直方图定义为：
其中，
i＝0，1，...，nj-1；j＝0，1，2
其中，fj(x，y，t)表示在第j平面上的中心像素点(x，y，t)的LBP值，j表示平面的编号，j＝0表示XY平面，j＝1表示XT平面，j＝2表示YT平面；nj是在第j个平面上由LBP算子产生的二元模式数量，在本发明中等于59；
(32)对空间3D-LBP直方图进行归一化的操作：
Figure FDA0002534565790000022
(33)将输入的面部图像分成p×p个子块，然后分别计算每个子块的局部LBP直图。
4.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(6)包括以下步骤
(61)将光流方向分成8个方向柱，分别为[0°，45°]，[45°，90°]，[90°，135°]，[135°，180]，[180°，225]，[225°，270°]，[270°，315°]，[315°，360°]；
(62)光流大小分成4个数量级[0，0.5]，(0.5，1.5]，(1.52]，(2，+∞)；
(63)为了避免出现零的情况，将每个方向柱的数量级上的值初始化为1；
其中，方向θ通过以下公式进行计算
θ＝tan-1(u/v)
其中：
Figure FDA0002534565790000023
1≤b≤B
其中，b表示索引，表示第几个方向柱。
5.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(7)包括以下步骤：
进一步地，所述步骤(7)包括以下步骤：
(71)对于一段人脸视频A有Q帧图像，即A＝{I1，I2，...IQ}，第q帧图像的方向-数量级的光流梯度直方图用G(Iq)表示；从I1到IQ连续Q帧图像序列的累积方向一数量级的光流梯度直方图Gq为：
Figure FDA0002534565790000031
(72)为避免不同面部动作或者不同人相同表情的特征之间的数量级差别较大，对所得到的上述特征进行归一化处理：
Figure FDA0002534565790000032
Figure FDA0002534565790000033
其中，Ga(l，8，4)表示第l个子网格，8个方向柱上，4个数量级；Gle表示第l个子网格，8方向柱上所有数量级上值的和。
CN202010528622.7A 2020-06-11 2020-06-11 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法 Pending CN111797702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010528622.7A CN111797702A (zh) 2020-06-11 2020-06-11 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010528622.7A CN111797702A (zh) 2020-06-11 2020-06-11 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法

Publications (1)

Publication Number Publication Date
CN111797702A true CN111797702A (zh) 2020-10-20

Family

ID=72804316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010528622.7A Pending CN111797702A (zh) 2020-06-11 2020-06-11 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法

Country Status (1)

Country Link
CN (1) CN111797702A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580526A (zh) * 2020-12-22 2021-03-30 中南大学 基于视频监控的学生课堂行为识别系统
CN113158818A (zh) * 2021-03-29 2021-07-23 青岛海尔科技有限公司 用于识别伪造视频的方法、装置和设备
CN113239857A (zh) * 2021-05-27 2021-08-10 京东科技控股股份有限公司 视频合成方法及其装置
CN113989713A (zh) * 2021-10-28 2022-01-28 杭州中科睿鉴科技有限公司 基于视频帧序预测的深度伪造检测方法
CN117935382A (zh) * 2024-03-25 2024-04-26 中科数测(无锡)科技有限公司 一种基于光流图时空特征的人脸活体检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933414A (zh) * 2015-06-23 2015-09-23 中山大学 一种基于wld-top的活体人脸检测方法
CN107451575A (zh) * 2017-08-08 2017-12-08 济南大学 一种身份认证系统中的人脸防欺骗检测方法
CN107967440A (zh) * 2017-09-19 2018-04-27 北京工业大学 一种基于多区域变尺度3d-hof的监控视频异常检测方法
CN108197586A (zh) * 2017-12-12 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN109325426A (zh) * 2018-09-03 2019-02-12 东南大学 一种基于三正交平面时空特征的黑烟车检测方法
CN110458063A (zh) * 2019-07-30 2019-11-15 西安建筑科技大学 防视频、照片欺骗的人脸活体检测方法
CN111126190A (zh) * 2019-12-10 2020-05-08 武汉大学 一种基于自由能理论和动态纹理分析的伪装人脸识别方法
US20200175260A1 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Depth image based face anti-spoofing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933414A (zh) * 2015-06-23 2015-09-23 中山大学 一种基于wld-top的活体人脸检测方法
CN107451575A (zh) * 2017-08-08 2017-12-08 济南大学 一种身份认证系统中的人脸防欺骗检测方法
CN107967440A (zh) * 2017-09-19 2018-04-27 北京工业大学 一种基于多区域变尺度3d-hof的监控视频异常检测方法
CN108197586A (zh) * 2017-12-12 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN109325426A (zh) * 2018-09-03 2019-02-12 东南大学 一种基于三正交平面时空特征的黑烟车检测方法
US20200175260A1 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Depth image based face anti-spoofing
CN110458063A (zh) * 2019-07-30 2019-11-15 西安建筑科技大学 防视频、照片欺骗的人脸活体检测方法
CN111126190A (zh) * 2019-12-10 2020-05-08 武汉大学 一种基于自由能理论和动态纹理分析的伪装人脸识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GUOYING ZHAO等: "Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 29, no. 6, pages 920 *
TIAGO DE FREITAS PEREIRA等: "LBP-TOP based countermeasure against face spoofing attacks", 《COMPUTER VISION》, pages 1 - 12 *
TIAN CHANG等: "Micro-Expression Recognition Using Optical Flow and Local Binary Patterns on Three Orthogonal Planes", 《CHINESE CHI \'19: PROCEEDINGS OF THE SEVENTH INTERNATIONAL SYMPOSIUM OF CHINESE CHI》, pages 44 *
张轩阁等: "基于光流与LBP-TOP特征结合的微表情识别", 《吉林大学学报（信息科学版）》, vol. 33, no. 5, pages 516 - 523 *
郭利等: "累积方向-数量级光流梯度直方图的人体动作识别", 《智能系统学报》, vol. 9, no. 1, pages 104 - 108 *
高旭: "基于动态序列图像的人脸表情特征提取与识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 10, pages 138 - 893 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580526A (zh) * 2020-12-22 2021-03-30 中南大学 基于视频监控的学生课堂行为识别系统
CN113158818A (zh) * 2021-03-29 2021-07-23 青岛海尔科技有限公司 用于识别伪造视频的方法、装置和设备
CN113239857A (zh) * 2021-05-27 2021-08-10 京东科技控股股份有限公司 视频合成方法及其装置
CN113239857B (zh) * 2021-05-27 2023-11-03 京东科技控股股份有限公司 视频合成方法及其装置
CN113989713A (zh) * 2021-10-28 2022-01-28 杭州中科睿鉴科技有限公司 基于视频帧序预测的深度伪造检测方法
CN117935382A (zh) * 2024-03-25 2024-04-26 中科数测(无锡)科技有限公司 一种基于光流图时空特征的人脸活体检测方法

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN111797702A (zh) 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
Miao et al. F 2 trans: High-frequency fine-grained transformer for face forgery detection
CN112418041B (zh) 一种基于人脸正面化的多姿态人脸识别方法
Jia et al. Inconsistency-aware wavelet dual-branch network for face forgery detection
Fei et al. Exposing AI-generated videos with motion magnification
Baek et al. Generative adversarial ensemble learning for face forensics
Kim et al. Exposing fake faces through deep neural networks combining content and trace feature extractors
Nam et al. Deep convolutional neural network for identifying seam-carving forgery
Yu et al. Manipulation classification for jpeg images using multi-domain features
Gao et al. TBNet: A two-stream boundary-aware network for generic image manipulation localization
CN114333002A (zh) 基于图深度学习和人脸三维重建的微表情识别方法
Liu et al. Image deblocking detection based on a convolutional neural network
Hongmeng et al. A detection method for deepfake hard compressed videos based on super-resolution reconstruction using CNN
Liu et al. Overview of image inpainting and forensic technology
Tang et al. Detection of GAN-synthesized image based on discrete wavelet transform
Zhao et al. Detecting deepfake video by learning two-level features with two-stream convolutional neural network
Lu et al. An interpretable image tampering detection approach based on cooperative game
Huang et al. DS-UNet: A dual streams UNet for refined image forgery localization
CN114842524A (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
CN114612991A (zh) 攻击人脸图片的转换方法及装置、电子设备及存储介质
CN113553895A (zh) 一种基于人脸正面化的多姿态人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination