CN112818915A - 基于3dmm软生物特征的深度伪造视频检测方法及系统 - Google Patents
基于3dmm软生物特征的深度伪造视频检测方法及系统 Download PDFInfo
- Publication number
- CN112818915A CN112818915A CN202110207575.0A CN202110207575A CN112818915A CN 112818915 A CN112818915 A CN 112818915A CN 202110207575 A CN202110207575 A CN 202110207575A CN 112818915 A CN112818915 A CN 112818915A
- Authority
- CN
- China
- Prior art keywords
- feature
- appearance
- video
- facial behavior
- 3dmm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000006399 behavior Effects 0.000 claims abstract description 86
- 230000001815 facial effect Effects 0.000 claims abstract description 84
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000014509 gene expression Effects 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical group [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于3DMM软生物特征的深度伪造视频检测方法及系统，该方法包括下述步骤：视频预处理，选取人脸图像帧并输入至3DMM模型提取得到形状、纹理、表情与姿态四种特征向量；构建面部行为特征提取网络，提取人物特定面部行为特征；构建度量学习损失函数，训练面部行为特征提取网络；构建外貌特征提取模块；基于人物身份信息构建面部行为特征参考集和外貌特征参考集；提取待检测人物视频的面部行为特征与外貌特征，与参考集特征向量进行相似度匹配；设定外貌特征相似度阈值，并利用特征匹配一致性进行真假分类。本发明利用软生物特征对深度伪造视频进行检测，适用于特定重要人物，具有较高的检测准确度。
Description
技术领域
本发明涉及人脸检测识别技术领域，具体涉及一种基于3DMM软生物特征的深度伪造视频检测方法及系统。
背景技术
深度伪造指的是使用深度学习技术对人脸进行篡改，将源视频人脸替换目标视频人脸，同时保留目标人脸的表情信息，生成逼真的深度伪造人脸视频。由于深度伪造人脸视频可能会被滥用于违法行为，因此研究针对深度伪造视频的检测技术具有十分重要的意义。
现有大多数深度伪造视频检测技术只是检测像素尺度上的伪造痕迹来判别视频真假，如视觉伪影，几何形变等，忽视了深度伪造视频所隐含的生物特征信息。此外，现有大多数深度伪造视频检测技术只停留在二维层面去获取人脸特征，无法有效的表现人脸的深度信息与姿态信息。因此难以满足跨库检测准确率的需求，存在泛化能力较弱等问题。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于3DMM软生物特征的深度伪造视频检测方法，本发明利用3DMM模型检测深度伪造视频人物所展现的面部行为与外貌不一致性，有效提高网络模型的泛化能力。
本发明的第二目的在于提供一种基于3DMM软生物特征的深度伪造视频检测系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于3DMM软生物特征的深度伪造视频检测方法，包括下述步骤：
视频预处理，选取多张人脸图像帧；
将选取的人脸图像帧输入至3DMM模型，提取得到3DMM人脸参数化特征向量，包括形状、纹理、表情和姿态特征向量；
构建面部行为特征提取网络，将所述表情与姿态特征向量拼接后作为面部行为特征训练集，输入所述面部行为特征提取网络；
构建度量学习损失函数，训练所述面部行为特征提取网络，训练完成后保存网络权重；
构建外貌特征提取模块，将所述形状与纹理特征向量进行拼接，取拼接后特征向量时间维度上的平均值作为外貌特征；
基于人物身份信息构建面部行为特征参考集和外貌特征参考集；
提取待检测人物视频的面部行为特征与外貌特征，与面部行为特征参考集和外貌特征参考集的特征向量进行相似度匹配，得到外貌特征相似度最大的人物标签和面部行为特征相似度最大的人物标签；
设定外貌特征相似度阈值，若外貌特征对应人物标签与面部行为特征对应人物标签一致，且计算得到的外貌余弦相似度大于等于外貌特征相似度阈值时，则判定测试视频为真，否则为假。
作为优选的技术方案，所述选取多张人脸图像帧，具体采用连续选取或间隔选取方式，并采用人脸识别算法检测人脸区域，裁剪人脸区域图像，采用双线性插值统一调整大小。
作为优选的技术方案，所述3DMM模型利用人脸数据库先构造一个平均人脸形变模型，作为基础模型，修改参数使人脸模型发送形变，人脸模型表示为：
其中，S表示人脸形状，T表示纹理，
为平均人脸形状，Aid为形状PCA主成分，αid为形状参数，Aexp为表情PCA主成分，αexp为表情参数，
为平均纹理，Atex为纹理PCA主成分，αtex为纹理参数，
所述形状特征向量即
维度为i；
所述纹理特征向量即
维度为t；
所述表情特征向量即
维度为e；
所述姿态特征向量即三维姿态角度
作为优选的技术方案，所述面部行为特征提取网络基于神经网络ResNet-34，将神经网络ResNet-34最后一层全连接层输出为512维，获取512维的面部行为特征
作为优选的技术方案，所述度量学习损失函数具体表示为：
其中，m为批样本数量128，
为正例对样本集合，
为负例对样本集合，Sik为样本对之间的余弦相似度，α，β，λ为超参数。
作为优选的技术方案，所述基于人物身份信息构建面部行为特征参考集和外貌特征参考集，具体步骤包括：
收集特定身份人物的不同角度、不同场景下面部视频，并通过面部行为特征提取网络与外貌特征提取模块，构建基于人物身份信息的面部行为特征参考集和外貌特征参考集。
为了达到上述第二目的，本发明采用以下技术方案：
本发明提供一种基于3DMM软生物特征的深度伪造视频检测系统，包括：视频预处理模块、3DMM特征提取模块、面部行为网络构建模块、度量学习损失函数构建模块、训练参数更新模块、外貌特征提取模块、参考集构建模块、特征匹配模块和判别分类模块；
所述视频预处理模块用于视频预处理，选取多张人脸图像帧；
所述3DMM特征提取模块用于提取3DMM人脸参数化特征向量，所述3DMM人脸参数化特征向量包括形状、纹理、表情和姿态特征向量；
所述面部行为网络构建模块用于构建面部行为网络，提取面部行为特征；
所述度量学习损失函数构建模块用于构建度量学习损失函数；
所述训练参数更新模块用于根据损失值更新网络权重系数，在面部行为网络训练完成后保存注意力网络的模型和权重；
所述外貌特征提取模块用于将所述形状与纹理特征向量进行拼接，取拼接后特征向量时间维度上的平均值作为外貌特征；
所述参考集构建模块用于构建面部行为特征参考集和外貌特征参考集；
所述特征匹配模块用于提取待检测人物视频的面部行为特征与外貌特征，与面部行为特征参考集和外貌特征参考集的特征向量进行相似度匹配，得到外貌特征相似度最大的人物标签和面部行为特征相似度最大的人物标签；
所述判别分类模块用于设定外貌特征相似度阈值，判别视频真假性，若外貌特征对应人物标签与面部行为特征对应人物标签一致，且计算得到的外貌余弦相似度大于等于外貌特征相似度阈值时，则判定测试视频为真，否则为假。
为了达到上述第三目的，本发明采用以下技术方案：
一种存储介质，存储有程序，所述程序被处理器执行时实现如上述基于3DMM软生物特征的深度伪造视频检测方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于3DMM软生物特征的深度伪造视频检测方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用了3DMM模型提取人脸参数化特征的技术方案，保证了对人脸深度与姿态信息的良好提取能力。
(2)本发明采用软生物特征，从生物特征角度检测深度伪造视频真假，相比于像素级痕迹检测方法，本发明达到了模型泛化能力较高的技术效果。
(3)本发明通过构建度量学习损失函数，有效提取不同人物特有的面部行为特征。
(4)本发明采用基于人物身份的判别方法，通过预先建立参考集，可有效保障特定重要人物不受深度伪造视频困扰，具有较高的检测精度。
附图说明
图1为本发明基于3DMM软生物特征的深度伪造视频检测方法的整体流程示意图；
图2为本发明三维重建人脸示意图；
图3为本发明面部行为特征提取网络的训练流程示意图；
图4为本发明不同外貌特征相似度阈值在不同数据库上的准确度曲线示意图；
图5为本发明基于3DMM软生物特征的深度伪造视频检测方法的测试流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
在本实施例中，数据库采用VoxCeleb2、FaceForensics++和DFD三个数据库。VoxCeleb2由牛津大学制作，从Youtube视频网站上提取6112位名人共1128246段真实视频，为提高模型训练速度，本实施例只采用其中27207段视频，包含354位人物。FaceForensics++数据集由德国慕尼黑工业大学制作，包含1000段真实视频，1000段深度伪造视频，并使用H.264编解码器分别合成压缩率0(C0)、压缩率23(C23)和压缩率40(C40)三种不同压缩程度的视频。DFD数据集由谷歌公司联合Jigsaw公司共同制作，包含28位人物共363段真实视频，3068段深度伪造视频。与FaceForensics++数据集类似，DFD数据集也将视频分为三种不同压缩程度的视频。本实施例主要基于框架Pytorch-1.1.0来实现，实验所用显卡为TITANXP，系统为ubuntu16.04，CUDA版本为9.0.0，cudnn版本为7.1.4。使用OpenCV的VideoCapture类读取数据集视频，得到视频各帧图像。
如图1所示，本实施例提供一种基于3DMM软生物特征的深度伪造视频检测方法，包括下述步骤：
S1、视频预处理，获取连续图像帧，采用人脸识别算法检测人脸区域，裁剪得到统一尺寸的人脸图像；
在本实施例中，具体步骤包括：视频图像帧选取方式包括连续和间隔两种方式，为保证动作的连续性，本实施例采用连续帧选取方式。基于特征有效提取与算法时间复杂度的折中考虑，本实施例选取帧数n＝100，即从视频中顺序提取100张连续图像帧，利用dlib库中的人脸识别算法检测人脸区域，裁剪人脸区域图像，并用双线性插值统一调整大小为256×256；
S2、输入连续人脸图像至3DMM模型，提取得到形状、纹理、表情与姿态四种特征向量；
在本实施例中，具体步骤为：利用3DMM模型权重，将上述100张连续人脸图像帧输入3DMM模型，对每一帧提取形状特征向量
纹理特征向量
表情特征向量
以及三维姿态角度
本实施例的3DMM模型，将三维人脸视为一组线性对象，利用人脸数据库先构造一个平均人脸形变模型，作为基础模型，修改参数使人脸模型发送形变。
人脸模型参数化公式为：
其中，S表示人脸形状，T表示纹理，
为平均人脸形状，Aid为形状PCA主成分，αid为形状参数，Aexp为表情PCA主成分，αexp为表情参数。
为平均纹理，Atex为纹理PCA主成分，αtex为纹理参数，
Aid与Atex来自BFM模型，Aexp来自FaceWarehouse模型。
形状特征向量即
维度为i；纹理特征向量即
维度为t；表情特征向量即
维度为e；姿态特征向量即三维人脸重建估计的三维姿态角度
因此，一个三维人脸由αid、αtex、αexp唯一确定，如图2所示，三维人脸重建通过改变形状参数αid与纹理参数αtex可生成具有相同表情而身份不同的三维人脸，通过改变表情参数αexp可在当前人脸身份下生成不同表情的三维人脸。在本实施例中，三维人脸重建用于提取人脸参数化特征向量，后续参与面部行为特征提取网络的输入以及提取外貌特征。
S3、构建面部行为特征提取网络，将表情与姿态特征向量拼接后作为训练集输入网络；
如图3所示，修改神经网络ResNet-34最后一层全连接层输出为512维，作为面部行为特征提取网络；考虑面部行为特征主要为时域上表情与姿态动作的变化，用连续100张人脸图像提取表情特征
与姿态特征
拼接后输入面部行为特征提取网络，利用度量学习损失函数将每个人物的面部行为特征向量聚在一起，获取512维的面部行为特征
通过面部行为特征提取网络，提取出人物独特的面部行为特征。
S4、模型训练：构建度量学习损失函数，训练面部行为特征提取网络，学习人物独特的面部行为特征，训练完成后保存网络权重；
对面部行为特征提取网络进行训练，设置最大训练迭代次数为20000，采用SGD优化器作为训练优化器，初始学习率为0.01，采用学习率随训练迭代次数衰减策略，训练的批尺寸为128，其中包含16个人物，每个人物有8段表情特征与姿态特征的拼接向量作为模型输入。
在本实施例中，采用度量学习损失函数；
其中m为批样本数量128，
为正例对样本集合，
为负例对样本集合，Sik为样本对之间的余弦相似度，α，β，λ为超参数，且α＝2，β＝40，λ＝0.5；
在本实施例中，采用学习率随训练迭代次数衰减策略。训练后期学习率过大导致模型会有较大波动，使得损失函数的值围绕最小值徘徊，始终难以达到最优。采用学习率随训练迭代次数衰减策略能避免此类问题。具体公式为：
其中，LR(e)表示学习率，e表示迭代次数，Emax表示最大训练迭代次数，base_初始学习率，power表示学习率衰减指数。在训练时，设置baselr＝0.01，Emax＝20000，power＝0.9。
以损失函数最小化为目标，利用卷积神经网络的反向传播机制，根据损失值更新网络权重，当训练次数达到最大训练周期轮数时停止训练，保存在验证集上表现最佳的神经网络权重；
S5、构建外貌特征提取模块，将形状与纹理特征向量进行拼接，取拼接后向量时间维度上的平均值作为外貌特征；
将形状与纹理特征向量进行拼接，即考虑外貌特征主要表示为人脸形状与颜色纹理信息，故利用连续100张人脸图像提取形状特征
与纹理特征
将αt,id与αt,tex进行拼接，取其平均值得到外貌特征
S6、模型应用
本发明主要适用于特定身份人物，采用特征相似度匹配方式，因此需要收集特定身份人物的不同角度、不同场景下面部视频，并通过面部行为特征提取网络与外貌特征提取模块，构建基于人物身份信息的面部行为特征参考集B和外貌特征参考集F；
给定待检测视频数据，对视频数据分帧处理，并利用dlib库人脸检测器提取100张连续人脸图像帧，通过面部行为特征提取网络与外貌特征提取模块，提取得到面部行为特征ft与外貌特征bt；与面部行为特征参考集B和外貌特征参考集F里的特征向量进行余弦相似度匹配，得到外貌特征相似度最大的人物标签ia和面部行为特征相似度最大的人物标签ib，即：
其中，Bi表示面部行为特征参考集B中第i个特征向量，Fi表示外貌特征参考集F中第i个特征向量。
如图4所示，考虑不同外貌特征相似度阈值在FF++与DFD数据库上对准确度的影响，发现阈值为0.95时在两种数据库上都具有较高的平均准确率。因此设定外貌特征相似度阈值τa＝0.95。若ia＝ib且外貌余弦相似度(计算向量之间的余弦相似度)ca≥τa，则判定测试视频为真，否则为假，具体步骤包括：设定外貌特征相似度阈值τa，当ia＝ib，即外貌特征对应人物标签与面部行为特征对应人物标签一致时，且当外貌特征相似度大于阈值τa，判定测试视频为真，否则判定测试视频为假。
如图5所示，本实施例将上述步骤得到的模型作为测试模型进行测试，测试阶段的网络结构与训练阶段的网络结构相同；本实施例深度伪造视频检测算法性能评价指标是错误接受率(False Acceptance Rate，FAR)、错误拒绝率(False Rejection Rate,FRR)、半错误率(Half Total Error Rate，HTER)。错误接受率(FAR)指算法把深度伪造图像判断成真实人脸图像的比率；错误拒绝率(FRR)指算法把真实人脸图像判断成深度伪造图像的比率；FRR与FAR的均值即为半错误率(HTER)，计算公式为：
为了证明本发明的有效性以及检验本方法的泛化性能，将本发明方法与论文《Detecting Deep-Fake Videos from Appearance and Behavior》方法进行对比。使用同样的VoxCeleb2数据库样本进行训练，并设置在验证集表现最好的外貌相似度阈值，论文方法为0.86，本发明方法为0.95。测试视频为FaceForensics++(FF++)、DFD数据集的C0压缩率视频，采用准确率、HTER，作为检验指标，HTER越小，AUC越大，表示算法效果越好。其中，准确率实验结果如下表1所示，HTER实验结果如下表2所示：
表1准确率实验结果
表2 HTER实验结果
由表1，表2可知，本发明方法在FF++与DFD数据库上比论文方法都具有较高的平均准确率。对于FF++数据库，本发明方法比论文方法平均准确率提高了6.15％，特别是对于FF++数据库的真实视频检测准确率提高了12.34％，对于DFDC数据库，本发明方法比论文方法平均准确率提高了0.92％，虽然对DFD真实视频检测准确率下降了1.99％，但对深度伪造视频检测准确率提高了3.83％。实验结果证明，本发明方法不同数据库上都具有较好的准确精度，能较好的保障特定重要人物不受深度伪造技术干扰。
实施例2
本实施例提供一种基于3DMM软生物特征的深度伪造视频检测系统，包括：视频预处理模块、3DMM特征提取模块、面部行为网络构建模块、度量学习损失函数构建模块、训练参数更新模块、外貌特征提取模块、参考集构建模块、特征匹配模块和判别分类模块；
在本实施例中，视频预处理模块用于视频预处理，选取多张人脸图像帧；
在本实施例中，3DMM特征提取模块用于提取3DMM人脸参数化特征向量，所述3DMM人脸参数化特征向量包括形状、纹理、表情和姿态特征向量；
在本实施例中，面部行为网络构建模块用于构建面部行为网络，提取面部行为特征；
在本实施例中，度量学习损失函数构建模块用于构建度量学习损失函数；
在本实施例中，训练参数更新模块用于根据损失值更新网络权重系数，在面部行为网络训练完成后保存注意力网络的模型和权重；
在本实施例中，外貌特征提取模块用于将所述形状与纹理特征向量进行拼接，取拼接后特征向量时间维度上的平均值作为外貌特征；
在本实施例中，参考集构建模块用于构建面部行为特征参考集和外貌特征参考集；
在本实施例中，特征匹配模块用于提取待检测人物视频的面部行为特征与外貌特征，与面部行为特征参考集和外貌特征参考集的特征向量进行相似度匹配，得到外貌特征相似度最大的人物标签和面部行为特征相似度最大的人物标签；
在本实施例中，判别分类模块用于设定外貌特征相似度阈值，判别视频真假性，若外貌特征对应人物标签与面部行为特征对应人物标签一致，且计算得到的外貌余弦相似度大于等于外貌特征相似度阈值时，则判定测试视频为真，否则为假。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现实施例1的基于3DMM软生物特征的深度伪造视频检测方法。
实施例4
本实施例提供一种计算设备，所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于3DMM软生物特征的深度伪造视频检测方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.一种基于3DMM软生物特征的深度伪造视频检测方法，其特征在于，包括下述步骤：
视频预处理，选取多张人脸图像帧；
将选取的人脸图像帧输入至3DMM模型，提取得到3DMM人脸参数化特征向量，包括形状、纹理、表情和姿态特征向量；
构建面部行为特征提取网络，将所述表情与姿态特征向量拼接后作为面部行为特征训练集，输入所述面部行为特征提取网络；
构建度量学习损失函数，训练所述面部行为特征提取网络，训练完成后保存网络权重；
构建外貌特征提取模块，将所述形状与纹理特征向量进行拼接，取拼接后特征向量时间维度上的平均值作为外貌特征；
基于人物身份信息构建面部行为特征参考集和外貌特征参考集；
提取待检测人物视频的面部行为特征与外貌特征，与面部行为特征参考集和外貌特征参考集的特征向量进行相似度匹配，得到外貌特征相似度最大的人物标签和面部行为特征相似度最大的人物标签；
设定外貌特征相似度阈值，若外貌特征对应人物标签与面部行为特征对应人物标签一致，且计算得到的外貌余弦相似度大于等于外貌特征相似度阈值时，则判定测试视频为真，否则为假。
2.根据权利要求1所述的基于3DMM软生物特征的深度伪造视频检测方法，其特征在于，所述选取多张人脸图像帧，具体采用连续选取或间隔选取方式，并采用人脸识别算法检测人脸区域，裁剪人脸区域图像，采用双线性插值统一调整大小。
3.根据权利要求1所述的基于3DMM软生物特征的深度伪造视频检测方法，其特征在于，所述3DMM模型利用人脸数据库先构造一个平均人脸形变模型，作为基础模型，修改参数使人脸模型发送形变，人脸模型表示为：
其中，S表示人脸形状，T表示纹理，
为平均人脸形状，Aid为形状PCA主成分，αid为形状参数，Aexp为表情PCA主成分，αexp为表情参数，
为平均纹理，Atex为纹理PCA主成分，αtex为纹理参数，
所述形状特征向量即
维度为i；
所述纹理特征向量即
维度为t；
所述表情特征向量即
维度为e；
所述姿态特征向量即三维姿态角度
4.根据权利要求1所述的基于3DMM软生物特征的深度伪造视频检测方法，其特征在于，所述面部行为特征提取网络基于神经网络ResNet-34，将神经网络ResNet-34最后一层全连接层输出为512维，获取512维的面部行为特征
5.根据权利要求1所述的基于3DMM软生物特征的深度伪造视频检测方法，其特征在于，所述度量学习损失函数具体表示为：
其中，m为批样本数量128，
为正例对样本集合，
为负例对样本集合，Sik为样本对之间的余弦相似度，α，β，λ为超参数。
6.根据权利要求1所述的基于3DMM软生物特征的深度伪造视频检测方法，其特征在于，所述基于人物身份信息构建面部行为特征参考集和外貌特征参考集，具体步骤包括：
收集特定身份人物的不同角度、不同场景下面部视频，并通过面部行为特征提取网络与外貌特征提取模块，构建基于人物身份信息的面部行为特征参考集和外貌特征参考集。
7.一种基于3DMM软生物特征的深度伪造视频检测系统，其特征在于，包括：视频预处理模块、3DMM特征提取模块、面部行为网络构建模块、度量学习损失函数构建模块、训练参数更新模块、外貌特征提取模块、参考集构建模块、特征匹配模块和判别分类模块；
所述视频预处理模块用于视频预处理，选取多张人脸图像帧；
所述3DMM特征提取模块用于提取3DMM人脸参数化特征向量，所述3DMM人脸参数化特征向量包括形状、纹理、表情和姿态特征向量；
所述面部行为网络构建模块用于构建面部行为网络，提取面部行为特征；
所述度量学习损失函数构建模块用于构建度量学习损失函数；
所述训练参数更新模块用于根据损失值更新网络权重系数，在面部行为网络训练完成后保存注意力网络的模型和权重；
所述外貌特征提取模块用于将所述形状与纹理特征向量进行拼接，取拼接后特征向量时间维度上的平均值作为外貌特征；
所述参考集构建模块用于构建面部行为特征参考集和外貌特征参考集；
所述特征匹配模块用于提取待检测人物视频的面部行为特征与外貌特征，与面部行为特征参考集和外貌特征参考集的特征向量进行相似度匹配，得到外貌特征相似度最大的人物标签和面部行为特征相似度最大的人物标签；
所述判别分类模块用于设定外貌特征相似度阈值，判别视频真假性，若外貌特征对应人物标签与面部行为特征对应人物标签一致，且计算得到的外貌余弦相似度大于等于外貌特征相似度阈值时，则判定测试视频为真，否则为假。
8.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述基于3DMM软生物特征的深度伪造视频检测方法。
9.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-6任一项所述基于3DMM软生物特征的深度伪造视频检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110207575.0A CN112818915A (zh) | 2021-02-25 | 2021-02-25 | 基于3dmm软生物特征的深度伪造视频检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110207575.0A CN112818915A (zh) | 2021-02-25 | 2021-02-25 | 基于3dmm软生物特征的深度伪造视频检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112818915A true CN112818915A (zh) | 2021-05-18 |
Family
ID=75865342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110207575.0A Pending CN112818915A (zh) | 2021-02-25 | 2021-02-25 | 基于3dmm软生物特征的深度伪造视频检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818915A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315798A (zh) * | 2023-11-20 | 2023-12-29 | 齐鲁工业大学(山东省科学院) | 一种基于身份脸型特征的深度伪造检测方法 |
| CN117690061A (zh) * | 2023-12-27 | 2024-03-12 | 中邮消费金融有限公司 | 深度伪造视频检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106384106A (zh) * | 2016-10-24 | 2017-02-08 | 杭州非白三维科技有限公司 | 一种基于三维扫描的反欺诈人脸识别系统 |
| CN110222573A (zh) * | 2019-05-07 | 2019-09-10 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备及存储介质 |
| CN110706339A (zh) * | 2019-09-30 | 2020-01-17 | 北京市商汤科技开发有限公司 | 三维人脸重建方法及装置、电子设备和存储介质 |
| CN111914633A (zh) * | 2020-06-22 | 2020-11-10 | 华南理工大学 | 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 |
| CN112288851A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种基于双支流网络的三维人脸建模方法 |
-
2021
- 2021-02-25 CN CN202110207575.0A patent/CN112818915A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106384106A (zh) * | 2016-10-24 | 2017-02-08 | 杭州非白三维科技有限公司 | 一种基于三维扫描的反欺诈人脸识别系统 |
| CN110222573A (zh) * | 2019-05-07 | 2019-09-10 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备及存储介质 |
| CN110706339A (zh) * | 2019-09-30 | 2020-01-17 | 北京市商汤科技开发有限公司 | 三维人脸重建方法及装置、电子设备和存储介质 |
| CN111914633A (zh) * | 2020-06-22 | 2020-11-10 | 华南理工大学 | 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 |
| CN112288851A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种基于双支流网络的三维人脸建模方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHRUTI AGARWAL等: "A Detecting Deep-Fake Videos from Appearance and Behavior", 《ARXIV》 * |
| YU DENG: "Accurate 3D Face Reconstruction With Weakly-Supervised Learning From Single Image to Image Set", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315798A (zh) * | 2023-11-20 | 2023-12-29 | 齐鲁工业大学(山东省科学院) | 一种基于身份脸型特征的深度伪造检测方法 |
| CN117315798B (zh) * | 2023-11-20 | 2024-03-12 | 齐鲁工业大学(山东省科学院) | 一种基于身份脸型特征的深度伪造检测方法 |
| CN117690061A (zh) * | 2023-12-27 | 2024-03-12 | 中邮消费金融有限公司 | 深度伪造视频检测方法、装置、设备及存储介质 |
| CN117690061B (zh) * | 2023-12-27 | 2024-05-17 | 中邮消费金融有限公司 | 深度伪造视频检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2014368997B2 (en) | System and method for identifying faces in unconstrained media | |
| CN108108807B (zh) | 学习型图像处理方法、系统及服务器 | |
| CN104616316B (zh) | 基于阈值矩阵和特征融合视觉单词的人物行为识别方法 | |
| CN111160264B (zh) | 一种基于生成对抗网络的漫画人物身份识别方法 | |
| CN112464865A (zh) | 一种基于像素和几何混合特征的人脸表情识别方法 | |
| CN112784763A (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| Danisman et al. | Intelligent pixels of interest selection with application to facial expression recognition using multilayer perceptron | |
| CN111401521B (zh) | 神经网络模型训练方法及装置、图像识别方法及装置 | |
| CN112883896B (zh) | 一种基于bert网络的微表情检测方法 | |
| CN112560710B (zh) | 一种用于构建指静脉识别系统的方法及指静脉识别系统 | |
| CN111814611A (zh) | 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统 | |
| CN112818915A (zh) | 基于3dmm软生物特征的深度伪造视频检测方法及系统 | |
| CN115862091A (zh) | 基于Emo-ResNet的面部表情识别方法、装置、设备和介质 | |
| CN108268863B (zh) | 一种图像处理方法、装置和计算机存储介质 | |
| Meena et al. | Facial expression recognition using graph signal processing on HOG | |
| Kaur et al. | Comparative study of facial expression recognition techniques | |
| CN115862120B (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 | |
| Reale et al. | Facial action unit analysis through 3d point cloud neural networks | |
| Liu et al. | A3GAN: An attribute-aware attentive generative adversarial network for face aging | |
| Sajid et al. | Hybrid generative–discriminative approach to age-invariant face recognition | |
| Jiang et al. | C2SPoint: A classification-to-saliency network for point cloud saliency detection | |
| Yang et al. | Finding badly drawn bunnies | |
| Wang et al. | A study of convolutional sparse feature learning for human age estimate | |
| Jang et al. | Color channel-wise recurrent learning for facial expression recognition | |
| Li et al. | Face Recognition Model Optimization Research Based on Embedded Platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210518 |