CN111914633B - 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 - Google Patents
基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 Download PDFInfo
- Publication number
- CN111914633B CN111914633B CN202010574901.7A CN202010574901A CN111914633B CN 111914633 B CN111914633 B CN 111914633B CN 202010574901 A CN202010574901 A CN 202010574901A CN 111914633 B CN111914633 B CN 111914633B
- Authority
- CN
- China
- Prior art keywords
- face
- video
- frame
- feature
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 123
- 238000012549 training Methods 0.000 claims abstract description 61
- 230000001815 facial effect Effects 0.000 claims abstract description 54
- 238000013145 classification model Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012706 support-vector machine Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 210000000887 face Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用，该方法步骤包括：将待检测视频解码为帧序列并逐帧保存；检测各帧的人脸区域并提取人脸特征点的坐标值；根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；计算相邻帧上对应面部向量在空间位置上的偏转角；将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；将训练样本的特征向量输入支持向量机训练生成分类模型；训练后的分类模型对待检测视频帧进行分类，判断视频是否存在篡改。本发明利用人脸生物信号的固有特征进行检测，具有较好的检测效果，利用面部向量的时域特征来捕捉篡改视频的痕迹，具有良好的通用性。
Description
技术领域
本发明涉及换脸视频篡改检测技术领域，具体涉及一种基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用。
背景技术
随着计算能力的提升、数据的爆炸式增长，人工智能又迎来了新的发展浪潮，近年来利用深度网络生成换脸视频的技术成为一个热门话题，逼真的换脸效果导致检测难度越来越大，换脸视频的制作方式也越来越简便，这些换脸技术的滥用对社会造成了不良影响，恶意的篡改不仅导致个人肖像权受到侵犯，甚至给社会治安带来重大威胁，因此针对换脸视频篡改检测技术的研究具有十分重要的意义。
目前技术中有关检测换脸篡改问题时大多都只基于单帧图像进行检测，但由于换脸视频的篡改是逐帧进行换脸操作，单帧内的换脸效果已经达到很高的水平，往往给检测带来较大的难度，故只考虑单帧图像的篡改分析具有局限性，未考虑到图像帧在时域上的关联性导致检测效果不佳。另外现有技术中的换脸视频篡改检测技术流行使用深度神经网络进行检测，此类技术在库内进行测试准确率可高达90％以上，具有较好的检测效果，但多数算法泛化性能不足，跨库测试时准确率出现严重下降，且计算复杂度高，需要耗费大量时间。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于人脸特征时域稳定性的换脸视频篡改检测方法。
本发明的第二目的在提供一种基于人脸特征时域稳定性的换脸视频篡改检测系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
一种基于人脸特征时域稳定性的换脸视频篡改检测方法，包括下述步骤：
将待检测视频解码为帧序列并逐帧保存；
检测各帧的人脸区域并提取人脸特征点的坐标值；
比较各个特征点在时域上的变化程度计算特征点的活跃度，根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；
计算相邻帧上对应面部向量在空间位置上的偏转角；
将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；
将训练样本的特征向量输入支持向量机，训练并生成分类模型；
采用训练后的分类模型对待检测视频帧进行分类，逐帧判断视频是否存在篡改。
作为优选的技术方案，所述将待检测视频解码为帧序列并逐帧保存，具体步骤包括：
采用FFmpeg工具将视频进行解码，把视频解码成帧序列F1,F2,F3,…,FN，其中，N为单个视频的帧数，将每个视频的帧序列保存为独立文件夹并排序。
作为优选的技术方案，所述检测各帧的人脸区域并提取人脸特征点的坐标值，具体步骤包括：
遍历读取所有视频文件路径，通过关键点预测器对视频帧图像进行人脸的识别，提取出人脸特征点坐标值并写入文件中。
作为优选的技术方案，根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量，具体步骤包括：
将所述特定特征点划分为五官特征点集合A和轮廓特征点集合B；
将集合A与集合B的特征点两两连接求坐标的差值，将所有特征点Pa与所有特征点Pb进行有向连接，记录连线向量为：
其中，特征点Pa坐标为Pa(xa,ya)∈A，特征点Pb坐标为Pb(xb,yb)∈B。
作为优选的技术方案，计算相邻帧上对应面部向量在空间位置上的偏转角，具体步骤包括：
将Fi与Fi+1帧相应特征点面部向量
投影到同一平面，使用向量内积计算两个向量间的偏转角度/>
具体计算公式如下：
其中，
为Fi帧与Fi+1帧的偏转角，/>
和/>
分别为Fi帧和Fi+1帧上特征点Pa连接到特征点Pb的面部向量，/>
和/>
分别表示/>
和/>
的长度。
作为优选的技术方案，所述将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量，特征向量具体表示为：
其中，N为单个视频的帧数。
作为优选的技术方案，所述采用训练后的分类模型对待检测视频帧进行分类，逐帧判断视频是否存在篡改，具体步骤包括：
选取训练集与测试集，将训练集的特征向量输入支持向量机中进行训练，计算出相邻两帧的训练集特征向量θTrain，采用缩放参数μ进行数据缩放、交叉验证，训练生成分类模型；
在测试集上计算出相邻两帧的测试集特征向量θTest，将测试集特征向量θTest输入支持向量机中，采用缩放参数μ进行数据缩放，训练后的分类模型对测试集进行检测及标签分类，最后输出二分类结果，逐帧判断视频是否存在篡改。
为了到达上述第二目的，本发明采用以下技术方案：
一种基于人脸特征时域稳定性的换脸视频篡改检测系统，包括：视频解码模块、人脸特征点提取模块、面部向量构建模块、偏转角计算模块、特征向量构建模块、分类模型训练模块和验证模块；
所述视频解码模块用于将待检测视频解码为帧序列并逐帧保存；
所述人脸特征点提取模块用于检测各帧的人脸区域并提取人脸特征点的坐标值；
所述面部向量构建模块用于比较各个特征点在时域上的变化程度计算特征点的活跃度，根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；
所述偏转角计算模块用于计算相邻帧上对应面部向量在空间位置上的偏转角；
所述特征向量构建模块用于将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；
所述分类模型训练模块用于将训练样本的特征向量输入支持向量机，训练并生成分类模型；
所述验证模块用于采用训练后的分类模型对待检测视频帧进行分类，逐帧判断视频是否存在篡改。
为了达到上述第三目的，本发明采用以下技术方案：
一种存储介质，存储有程序，所述程序被处理器执行时实现上述基于人脸特征时域稳定性的换脸视频篡改方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述基于人脸特征时域稳定性的换脸视频篡改方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明将生物信号中的人脸五官与轮廓的相对位置固定性应用到换脸视频的篡改检测当中，结合时域信息，利用换脸视频在人脸替换时造成的不平滑现象来区分真假视频，为换脸视频的篡改检测提供了一种有效途径。
(2)本发明根据人脸各部分的活跃程度以及换脸篡改视频的缺陷，将人脸特征点区分为三大类，各类特征点在时域上变化的活跃程度可以用来描述真假视频的差异，引入面部向量构建了独有的描述人脸五官特征点与轮廓特征点相对位置的方法，面部向量在时域上的变化适用于换脸篡改检测的场景。
(3)本发明利用人脸生物信号的固有特征进行检测，具有较好的检测效果，良好的通用性，能有效区分真假脸视频帧，且具有较好的库内以及跨库测试结果，检测换脸视频基于前后两帧的一致性，可以对单独两帧图像来判断其真伪，不需要整段视频也可以参与训练与分类。
(4)本发明利用生物信号的固有特征进行检测，提升了检测效果，具有良好的通用性，该检测方法不涉及复杂运算，能在普通计算机上较为快速地完成，具有较好的实时性。
附图说明
图1为本实施例基于人脸特征时域稳定性的换脸视频篡改检测方法的数据预处理流程示意图；
图2为本实施例基于人脸特征时域稳定性的换脸视频篡改检测方法的训练测试阶段流程示意图；
图3为本实施例真假脸视频的人脸特征点标记图；
图4为本实施例部分特征点的活跃性测试图；
图5为本实施例人脸特征点根据活跃度分为三大类的示意图；
图6为本实施例计算前后帧对应特征点的面部向量偏转角的投影示意图；
图7为本实施例数据库随机选取样本的可视化分类结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1、图2所示，本实施例提供一种基于人脸特征时域稳定性的换脸视频篡改检测方法，利用换脸视频在换脸时存在的帧间不连续现象进行篡改检测。
真实视频在自然状态下是成像设备连续采集的，因而两帧之间时域相关性较高；但换脸视频是由单帧图像经过换脸后再编码生成，换脸视频相邻帧之间时域相关性相对较弱，利用真假脸在时域一致性的差异来进行篡改检测。人脸五官与轮廓的相对位置固定性为人特有的生物特征，利用人脸特征点的坐标来标记人脸五官与轮廓，人脸五官特征点与轮廓特征点的相对位置应保持固定。由于假脸是视频解码后对单帧人脸进行替换，每帧人脸在替换时候不会考虑前后帧的关联，从而会出现换脸视频中的人脸生物面部有跳跃等不平滑现象。因此，本实施例主要通过人脸特征在时域上的变化来衡量真假脸视频中人脸生物特征的连续性，从而区分真脸视频和换脸视频。
本实施例以人脸篡改检测数据库Celeb_DF与deepfakeDetection(DFD)为例，详细介绍基于人脸特征时域稳定性的换脸篡改检测方法的具体实施过程，具体包括下述步骤：
S1：将待检测视频解码为帧序列并逐帧保存；
在本实施例中，以数据库DFD中一对场景为talking_against_wall的真假视频为例，使用FFmpeg工具将视频进行解码，把视频解码成帧序列F1,F2,F3,…,FN，其中N为单个视频的帧数，将每个视频的帧序列保存为独立文件夹并排序，以防不同视频产生相互干扰；
S2：检测各帧的人脸区域并提取人脸特征点的坐标值；
在本实施例中，具体采用对文件夹遍历读取所有视频文件路径，采用DLib工具包读取分帧图像的人脸特征点，利用shape_predictor关键点预测器提取出人脸68个特征点P1,P2,P3,…,P68坐标，特征点标记了人脸的五官与轮廓的位置，将上述坐标保存在landmark文件中；
如图3所示，左图为真实人脸的特征点，右图为对应换脸视频人脸特征点；
S3：计算特定成对特征点的连线向量作为面部向量；
在本实施例中，具体步骤如下：
作为先验性实验的一部分，衡量人脸特征点在真脸视频与换脸视频中的活跃程度，通过比较各个特征点在时域上的变化程度来计算特征点的活跃度，如图4所示，以特征点25与29为例，表示了特征点在时间轴上真假脸不同的变化情况。计算出特征点25在真脸视频中的前后帧的坐标偏移量‖(xi+1-xi),(yi+1-yi)‖方差为0.45，假脸视频中为0.81；特征点29在真脸视频中的前后帧的坐标偏移量方差为0.35，假脸为1.71；真脸视频相较于假脸视频具有更小的变化。如图4所示，左边两个子图展示了特征点坐标在真脸视频上的变化，曲线较平缓表示该特征点在真脸视频中较稳定；右边两个子图展示了特征点坐标在换脸视频上的变化，起伏较大表示该特征点在换脸视频表现较为活跃。
由于人脸内部特征点的稳定部分为鼻梁与下眼皮等位置，此类特征点在真脸视频中表现较稳定，而在换脸视频制作过程中由于分帧又重新编码合成视频，会导致这些特征点出现跳跃等前后帧不连续的情况，可作为人脸五官特征点，人脸外轮廓的特征点被视为在人脸替换时可能未被影响的边缘特征点，人脸轮廓特征点具有较稳定的特性，可作为本实施例中的人脸轮廓特征点。
先将各个特征点在时域上的变化情况进行分析，结合生物特征中的人脸五官特征点与轮廓特征点相对位置的固定性，由日常经验区分出一部分稳定点与活跃点，通过实验对这些特征点进行再一次筛选，通过实验提取出各个特征点在时域上的坐标变化来衡量抖动情况，具体采用方法为计算各个特征点在前后帧坐标变化方差，来衡量其特征点的运动剧烈程度，再利用Feature_selection工具包对特征进行进一步筛选，使用variance_threshold，select_k_best，svc_select，tree_select函数对特征进行层次筛选。
通过上述步骤可将人脸特征点分为三类特征点集合，如图5所示，第一类特征点为菱形特征点，表示五官特征点，表现为，在真脸视频中比较连续稳定而在换脸视频可能会出现跳跃抖动等情况，集中于人脸内部较为稳定的点，如鼻梁、下眼皮等部分，用于区分真假脸视频的特征，记为五官特征点集合A＝{P20,P25,P28,P29,P30,P31,P32,P33,P34,P35,P36,P37,P40,P41,P42,P43,P46,P47,P48}；
第二类特征点为三角形状特征点，表示轮廓特征点，集中于人脸两颊轮廓部分，被认为是假脸制作时可能未被替换的外脸轮廓部分，用于标定人脸固定不变轮廓点的位置，记为轮廓特征点集合B＝{P2,P3,P4,P5,P13,P14,P15,P16}；剩余第三类特征点为圆形特征点，表现为真脸及换脸视频中变化较一致，此类特征点作为特征区分的意义较小，故在本实施例中舍弃未用，记为舍弃特征点集合C。
读取步骤S1中保存的人脸特征点坐标landmark文件，将集合A与集合B的特征点两两连接求坐标的差值，将所有特征点Pa(xa,ya)∈A与所有特征点Pb(xb,yb)∈B进行有向连接，其中：
a∈{20,25,28,29,30,31,32,33,34,35,36,37,40,41,42,43,46,47,48}；
b∈{2,3,4,5,13,14,15,16}；
记录其面部向量
由于A集合有19个特征点，B集合有8个特征点，集合的元素两两相连求面部向量，共生成152维面部向量集
这些特征点的相连可以视为将人脸五官特征点与轮廓特征点相连，生成的特征用于衡量人脸五官特征点与轮廓特征点的相对位置，将向量保存成Facial Vector(后述简称为FV)变量。
FV所保存的特征点面部向量信息代表的是人脸五官特征点与轮廓特征点相对位置，如特征点P34与特征点P5的面部向量
代表了鼻尖到右脸颊轮廓上一点的向量。一帧图像的FV共包括了152个面部向量，这些值为衡量人脸五官特征点与轮廓特征点相对位置提供了有效依据。
S4：计算相邻帧上对应面部向量在空间位置上的偏转角；
具体步骤如下：
FV用于衡量一帧图像中人脸五官特征点与轮廓特征点信息，表示的是人脸生物特征的空间信息，由于脸部结构因人而异，该信息直接利用到真假脸区分中效果不佳，而该面部向量在时间轴上的变化可以反应出前后两帧的人脸特征变化。真脸视频中人脸五官特征点与轮廓特征点相对位置较为固定，而换脸视频中人脸五官的位置相对于外轮廓会有所跳跃，因此可利用时域上的五官特征点与轮廓特征点位置的相对变化区分真假脸视频。时域上的变化可以通过计算前后两帧的FV差值来衡量，将FV变量中对应特征点Pa,Pb(Pa∈A,Pb∈B)的面部向量投影到同一平面，通过向量内积计算两个面部向量的偏转角度值，使用该偏转角度的变化程度来衡量人脸特征在时域上的连续性，进而区分真假脸视频。如图6所示，图中为计算前后帧对应特征点的面部向量偏转角的投影示意图，Fi帧与Fi+1帧鼻子上一特征点P29与轮廓一特征点P16的面部向量为
将两个面部向量投影到同一平面，计算其向量的偏转角度值/>
具体计算公式如下：
Fi帧与Fi+1帧对应特征点Pa,Pb面部向量为
与/>
使用向量内积公式计算Fi与Fi+1帧相应面部向量的余弦值/>
具体计算公式如下：
其中，
为Fi帧与Fi+1帧的偏转角，/>
和/>
分别为Fi帧与Fi+1帧特征点Pa到特征点Pb的面部向量，/>
和/>
分别表示/>
和/>
的长度。
S5：将相邻两帧所有面部向量的偏转角度值作为特征值构造特征向量；
计算出上述的偏转角度
a,b取值个数分别为19和8，故偏转角度/>
共有19×8＝152个取值，Fi帧与Fi+1帧共计算出k＝152个面部向量的偏转角度值，构成152维特征向量/>
S6：训练阶段，将训练样本的特征向量输入支持向量机，训练并生成分类模型；
将训练样本的特征向量输入SVM中进行训练，在训练集上计算出相邻两帧的152维特征向量θTrain，使用缩放参数μ将上述152维特征进行数据缩放，输入SVM中进行训练学习，选择较优的交叉验证参数生成训练模型Model，记录训练参数g、c；
S7：测试阶段，利用训练所得模型对待测视频帧进行分类，逐帧判断是否存在篡改；
利用训练所得模型对待测视频的特征进行检测，具体采用在测试集上计算出相邻两帧的152维特征向量θTest，使用上述训练时使用的数据缩放参数μ，保持测试集与训练集数据采用相同的缩放处理，采用上述生成的训练模型Model对测试集的数据进行测试与标签分类。
在本实施例中，将Celeb_DF与DFD数据库中所有视频通过上述预处理步骤，计算出前后两帧的152维特征向量θi。Celeb_DF数据库训练集样本数为92262(真脸样本36872/换脸样本55390)，测试集样本数为59735(20286/39449)。DFD数据库训练集样本数为189286(84770/104516)，测试集样本数为46713(20399/26314)。
将上述训练集特征输入SVM中进行训练、分类，得出算法在数据库上运行的准确率。具体如下：
1、使用scale数据包对上述数据库的训练集与测试集进行数据缩放，对于所有数据集进行的缩放使用相同的参数μ；
2、使用grid数据包对训练集的特征进行交叉验证，选择出较优的训练参数g、c用于后述的训练；
3、使用上述较优的训练参数g、c在训练集上进行训练，训练的结果为训练集模型文件Model；
使用上述的训练集模型文件Model，在测试集上进行预测分类，最后输出二分类结果，判定该帧是否经过篡改。
如图7所示，图中展示了正负样本的分类效果的可视化结果，使用DFD数据库测试集的随机样本共5087个(正样本2465/负样本2622)，图中的“○”为正样本的标记，表示真实视频的样本分布情况，“×”为负样本的标记，表示换脸视频的样本分布情况。图中所示正负样本可以较好的区分开，证明本实施例方法的有效性。
本实施例针对Celeb_DF与DFD数据库，如下表1所示，得到了库内测试结果。
表1库内实验结果
使用Celeb_DF数据库的训练集进行训练得到模型ModelCele_DF，在DFD数据库的测试集上进行测试。以及使用DFD数据库的训练集训练得到模型ModelDFD，在Celeb_DF数据库的测试集进行测试，如下表2所示，得到了跨库测试结果。
表2跨库实验结果
由上述分析与实验结果可知，利用人脸面部特征时域稳定性可以有效地区分真假脸视频。
本实施例将视频中连续两帧人脸面部特征应用到换脸视频的篡改检测中，考虑了人脸特有的五官与轮廓相对位置固定的生物特征。将人脸特征点区分为三大类，各类特征点在时域上变化的活跃程度可以用来描述真假视频的差异。将人脸五官特征点与轮廓特征点进行有向连接，引入面部向量构建了独有的描述人脸五官与轮廓相对位置的方法。利用了换脸视频在分帧重新编码合成视频时造成的不平滑现象，通过计算前后两帧人脸面部向量的偏转角变化来判断视频的真假，为换脸视频的篡改检测提供了一种有效途径。
本实施例在数据库的库内与跨库测试中表现出了较好的性能，具有较好的通用性与稳定性。若要进一步提高其测试准确度，可以将单帧测试结果作为整段视频的参考依据，设定阈值来判断整段视频的真假。
本实施例针对人脸在相邻帧前后位置移动幅度较小、转头幅度不大的视频，在充分考虑视频帧时域信息的基础上，利用生物信号中人脸五官特征点与轮廓特征点相对位置的固定关系来判断视频是否发生篡改。为了描述人脸五官特征点与轮廓特征点的稳定程度，通过测试人脸特征点的活跃程度，选择了部分的人脸特征点作为篡改检测的依据，具体表现为某些人脸五官特征点在真脸中较稳定而假脸出现时域跳跃的情况，将这些五官特征点与相对固定的外脸轮廓特征点相连接形成面部向量，该面部向量可以用于描述人脸的五官特征点与轮廓特征点的相对距离，通过面部向量在时域上的变化情况来区分真脸与换脸视频。真脸视频由成像设备连续生成，人脸五官特征点与轮廓特征点的位置会保持相对固定且连续，而换脸视频是由多张假脸图像重新编码生成，单张换脸时并未考虑器官在时域上的连续性，五官特征点与轮廓特征点所构成的面部向量在真假脸视频上差异明显，可作为检测假脸的依据。将前后两帧的对应面部向量投影到同一平面上计算其向量偏转角，真脸相对于假脸具有更小更集中的偏转角度值。利用人脸生物信号固有特征进行检测，具有良好的检测效果，并具有较好的通用性。
本实施例还提供一种基于人脸特征时域稳定性的换脸视频篡改检测系统，包括：视频解码模块、人脸特征点提取模块、面部向量构建模块、偏转角计算模块、特征向量构建模块、分类模型训练模块和验证模块；
在本实施例中，视频解码模块用于将待检测视频解码为帧序列并逐帧保存；人脸特征点提取模块用于检测各帧的人脸区域并提取人脸特征点的坐标值；面部向量构建模块用于比较各个特征点在时域上的变化程度计算特征点的活跃度，根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；偏转角计算模块用于计算相邻帧上对应面部向量在空间位置上的偏转角；特征向量构建模块用于将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；分类模型训练模块用于将训练样本的特征向量输入支持向量机，训练并生成分类模型；验证模块用于采用训练后的分类模型对待检测视频帧进行分类，逐帧判断视频是否存在篡改。
本实施例还提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现上述基于人脸特征时域稳定性的换脸视频篡改方法。
本实施例还提供一种计算设备，所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现上述基于人脸特征时域稳定性的换脸视频篡改方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于人脸特征时域稳定性的换脸视频篡改检测方法，其特征在于，包括下述步骤：
将待检测视频解码为帧序列并逐帧保存；
检测各帧的人脸区域并提取人脸特征点的坐标值；
比较各个特征点在时域上的变化程度计算特征点的活跃度，根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；
根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量，具体步骤包括：
将所述特定特征点划分为五官特征点集合A和轮廓特征点集合B；
将集合A与集合B的特征点两两连接求坐标的差值，将所有特征点Pa与所有特征点Pb进行有向连接，记录连线向量为：
其中，特征点Pa坐标为Pa(xa,ya)∈A，特征点Pb坐标为Pb(xb,yb)∈B；
将Fi与Fi+1帧相应特征点面部向量
投影到同一平面，使用向量内积计算两个向量间的偏转角度/>
具体计算公式如下：
其中，
为Fi帧与Fi+1帧的偏转角，/>
和/>
分别为Fi帧和Fi+1帧上特征点Pa连接到特征点Pb的面部向量，/>
和/>
分别表示/>
和/>
的长度；
计算相邻帧上对应面部向量在空间位置上的偏转角；
将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；
将训练样本的特征向量输入支持向量机，训练并生成分类模型；
采用训练后的分类模型对待检测视频帧进行分类，逐帧判断视频是否存在篡改；
所述采用训练后的分类模型对待检测视频帧进行分类，逐帧判断视频是否存在篡改，具体步骤包括：
选取训练集与测试集，将训练集的特征向量输入支持向量机中进行训练，计算出相邻两帧的训练集特征向量θTrain，采用缩放参数μ进行数据缩放、交叉验证，训练生成分类模型；
在测试集上计算出相邻两帧的测试集特征向量θTest，将测试集特征向量θTest输入支持向量机中，采用缩放参数μ进行数据缩放，训练后的分类模型对测试集进行检测及标签分类，最后输出二分类结果，逐帧判断视频是否存在篡改。
2.根据权利要求1所述的基于人脸特征时域稳定性的换脸视频篡改检测方法，其特征在于，所述将待检测视频解码为帧序列并逐帧保存，具体步骤包括：
采用FFmpeg工具将视频进行解码，把视频解码成帧序列F1,F2,F3,…,FN，其中，N为单个视频的帧数，将每个视频的帧序列保存为独立文件夹并排序。
3.根据权利要求1所述的基于人脸特征时域稳定性的换脸视频篡改检测方法，其特征在于，所述检测各帧的人脸区域并提取人脸特征点的坐标值，具体步骤包括：
遍历读取所有视频文件路径，通过关键点预测器对视频帧图像进行人脸的识别，提取出人脸特征点坐标值并写入文件中。
4.根据权利要求1所述的基于人脸特征时域稳定性的换脸视频篡改检测方法，其特征在于，所述将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量，特征向量具体表示为：
其中，N为单个视频的帧数。
5.一种基于人脸特征时域稳定性的换脸视频篡改检测系统，其特征在于，用于实现上述权利要求1-4任一项所述基于人脸特征时域稳定性的换脸视频篡改检测方法，包括：视频解码模块、人脸特征点提取模块、面部向量构建模块、偏转角计算模块、特征向量构建模块、分类模型训练模块和验证模块；
所述视频解码模块用于将待检测视频解码为帧序列并逐帧保存；
所述人脸特征点提取模块用于检测各帧的人脸区域并提取人脸特征点的坐标值；
所述面部向量构建模块用于比较各个特征点在时域上的变化程度计算特征点的活跃度，根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；
所述偏转角计算模块用于计算相邻帧上对应面部向量在空间位置上的偏转角；
所述特征向量构建模块用于将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；
所述分类模型训练模块用于将训练样本的特征向量输入支持向量机，训练并生成分类模型；
所述验证模块用于采用训练后的分类模型对待检测视频帧进行分类，逐帧判断视频是否存在篡改。
6.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4任一项所述的基于人脸特征时域稳定性的换脸视频篡改方法。
7.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-4任一项所述的基于人脸特征时域稳定性的换脸视频篡改方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574901.7A CN111914633B (zh) | 2020-06-22 | 2020-06-22 | 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574901.7A CN111914633B (zh) | 2020-06-22 | 2020-06-22 | 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914633A CN111914633A (zh) | 2020-11-10 |
| CN111914633B true CN111914633B (zh) | 2023-06-30 |
Family
ID=73226939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574901.7A Active CN111914633B (zh) | 2020-06-22 | 2020-06-22 | 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914633B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541473B (zh) * | 2020-12-24 | 2023-01-24 | 华南理工大学 | 基于人脸面部向量时空域特征的换脸视频检测方法及应用 |
| CN112734696B (zh) * | 2020-12-24 | 2023-01-13 | 华南理工大学 | 基于多域特征融合的换脸视频篡改检测方法及系统 |
| CN112927202B (zh) * | 2021-02-25 | 2022-06-03 | 华南理工大学 | 多时域多特征结合的Deepfake视频检测方法及系统 |
| CN112818915A (zh) * | 2021-02-25 | 2021-05-18 | 华南理工大学 | 基于3dmm软生物特征的深度伪造视频检测方法及系统 |
| CN113449657B (zh) * | 2021-07-05 | 2022-08-30 | 中山大学 | 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 |
| CN113887527B (zh) * | 2021-11-04 | 2022-08-26 | 北京智慧眼信息技术有限公司 | 人脸图像处理方法、装置、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893984A (zh) * | 2016-04-29 | 2016-08-24 | 北京工业大学 | 一种基于面部特征的脸谱的人脸投影方法 |
| CN110443203A (zh) * | 2019-08-07 | 2019-11-12 | 中新国际联合研究院 | 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法 |
| CN110807396A (zh) * | 2019-10-28 | 2020-02-18 | 华南理工大学 | 基于光照方向一致性的换脸视频篡改检测方法及系统 |
| CN110826440A (zh) * | 2019-10-28 | 2020-02-21 | 华南理工大学 | 一种基于眼动特征的换脸视频篡改检测方法及系统 |
| CN110929635A (zh) * | 2019-11-20 | 2020-03-27 | 华南理工大学 | 基于信任机制下面部交并比的假脸视频检测方法及系统 |
-
2020
- 2020-06-22 CN CN202010574901.7A patent/CN111914633B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893984A (zh) * | 2016-04-29 | 2016-08-24 | 北京工业大学 | 一种基于面部特征的脸谱的人脸投影方法 |
| CN110443203A (zh) * | 2019-08-07 | 2019-11-12 | 中新国际联合研究院 | 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法 |
| CN110807396A (zh) * | 2019-10-28 | 2020-02-18 | 华南理工大学 | 基于光照方向一致性的换脸视频篡改检测方法及系统 |
| CN110826440A (zh) * | 2019-10-28 | 2020-02-21 | 华南理工大学 | 一种基于眼动特征的换脸视频篡改检测方法及系统 |
| CN110929635A (zh) * | 2019-11-20 | 2020-03-27 | 华南理工大学 | 基于信任机制下面部交并比的假脸视频检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 具有双重检测机制的图像篡改检测算法;胡永健;张尚凡;刘贝;谭莉玲;;华南理工大学学报(自然科学版)(第04期);第16-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914633A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914633B (zh) | 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 | |
| Yang et al. | MTD-Net: Learning to detect deepfakes images by multi-scale texture difference | |
| Khodabakhsh et al. | Fake face detection methods: Can they be generalized? | |
| CN106228129B (zh) | 一种基于matv特征的人脸活体检测方法 | |
| CN108229308A (zh) | 目标对象识别方法、装置、存储介质和电子设备 | |
| Chen et al. | Driver fatigue detection based on facial key points and LSTM | |
| Guo et al. | Robust attentive deep neural network for detecting gan-generated faces | |
| CN107316322A (zh) | 视频跟踪方法和装置、以及对象识别方法和装置 | |
| CN101510257A (zh) | 一种人脸相似度匹配方法及装置 | |
| CN110349152A (zh) | 人脸图像质量检测方法及装置 | |
| CN110263712A (zh) | 一种基于区域候选的粗精行人检测方法 | |
| CN106650670A (zh) | 活体人脸视频的检测方法及装置 | |
| Hu et al. | Exemplar-based recognition of human–object interactions | |
| Luo et al. | SFA: small faces attention face detector | |
| CN111598132A (zh) | 一种人像识别算法性能评测方法和装置 | |
| CN113537027A (zh) | 基于面部划分的人脸深度伪造检测方法及系统 | |
| CN112116592A (zh) | 图像检测方法、图像检测模型的训练方法、装置和介质 | |
| Guo et al. | Open-eye: An open platform to study human performance on identifying ai-synthesized faces | |
| Liu et al. | Visual object tracking with partition loss schemes | |
| Raghavendra et al. | Robust 2D/3D face mask presentation attack detection scheme by exploring multiple features and comparison score level fusion | |
| Yang et al. | HeadPose-Softmax: Head pose adaptive curriculum learning loss for deep face recognition | |
| RU2175148C1 (ru) | Способ идентификации человека | |
| Jiang et al. | A classroom concentration model based on computer vision | |
| Liu et al. | An experimental evaluation of recent face recognition losses for deepfake detection | |
| CN107066943B (zh) | 一种人脸检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |