CN111950497B - 一种基于多任务学习模型的ai换脸视频检测方法 - Google Patents
一种基于多任务学习模型的ai换脸视频检测方法 Download PDFInfo
- Publication number
- CN111950497B CN111950497B CN202010844086.1A CN202010844086A CN111950497B CN 111950497 B CN111950497 B CN 111950497B CN 202010844086 A CN202010844086 A CN 202010844086A CN 111950497 B CN111950497 B CN 111950497B
- Authority
- CN
- China
- Prior art keywords
- video
- face
- loss function
- model
- false
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明请求保护一种基于多任务学习模型的AI换脸视频检测方法,属于计算机视觉与深度学习领域,包括以下步骤:预先训练基于多任务学习的模型来检测被修改的换脸视频,并为每个查询定位修改的区域,此模型为自动编码器包括一个Y型自动解码器。利用半监督学习方法来提高网络的生成性,利用多任务之前共享有价值的信息,减少激活损失函数、分割损失函数和重建损失函数的总和,并使用优化器进行优化,进而提高性能。对于视频输入检测,对所有帧的概率进行求平均,得出输入为真或假的概率。本发明有利提高AI换脸视频检测。
Description
技术领域
本发明属于计算机视觉与深度学习领域,具体涉及一种基于计算机与深度学习算法的虚假视频检测方法,用于快速准确判定虚假生成的视频文件以及定位视频篡改部位。
背景技术
伴随着深度学习的发展,AI换脸技术越来越多,技术也越来越成熟,AI换脸的效果也越来越好,伴随着AI换脸这项技术的发展,也带来不少的负面影响。随着市面上AI换脸软件的泛滥,越来越多的人利用一部手机和一些照片就能合成虚假的视频,对社会产生了严重的影响,因此需要对视频的真实性进行鉴别。
目前公开的AI换脸视频检测中,仅仅是从单一的特征去检测,例如基于眨眼的,基于嘴型的,基于皮肤边缘的,导致检测性能不佳。计算过程中,大多数检测方法把整个图像考虑计算,大大增加计算费用,从而不能高效并准确检测换脸视频。
本发明主要提出一种利用多任务学习模型解决了AI换脸视频检测不能高效并且准确的问题。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于多任务学习模型的AI换脸视频检测方法。本发明的技术方案如下:
一种基于多任务学习模型的AI换脸视频检测方法,其包括以下步骤:
S1:预先下载用于虚假视频生成的算法,利用自有的数据生成虚假视频和未修改的视频,其中分为训练集、验证集和测试集;
S2:预先训练多任务学习特征提取模型,再将训练好的特征提取模型保存;所述特征模型为一个自动编码器,自动编码器带有一个Y型解码器,Y型解码器在激活、分割和重建任务之间共享有价值的信息,通过调整总损失函数,以提高整体性能。Y型解码器以半监督的方式训练;
S3:输入待检测视频,对待检测视频进行预处理,预处理包括对图像脸部进行提取,将预处理后的视频放入步骤S2训练好的特征模型进行分类和细分;
S4:到最后的激活层输出视频每帧篡改概率以及与该输入视频每帧相对应的分割图,对视频每帧篡改概率进行求平均,最后得出输入是否为虚假视频。
进一步的,所述步骤S1中用于虚假视频生成的算法选用DeepFake、Face2Face和FaceSwap在内的相关开源算法。
进一步的,在步骤S1中用于训练的虚假视频为3000个,未修改的视频为1000个,其中每个数据集分为720个视频用于训练,140个视频用于验证,140个用于测试,每个训练视频只用200帧来训练,验证和测试视频采用10帧用于验证和测试,并裁剪面部区域。
进一步的,所述自动编码器可以在分类、分段和重建过程共享有价值信息,从而减少损失来提高性能,具体的损失函数如下:
激活损失函数:
其中N是样本数,ai,1和ai,0是激活值并且定义为L1范数对应的半潜特征,c为给定类,hi为潜在特征,K为hi,c的特征数;yi表示给定标签,hi,c表示激活潜在特征。
分割损失函数:
其中N是样本数,si为分割部分,mi为真实部分;
重建损失函数:
总损失函数:
L=ractLact+rsegLseg+rrecLrec
ract、rseg、rrec表示Lact、Lseg、Lrec的权重,这个三个权重相等(等于1),L为总损失,为三个损失的加权总和,通过调整总损失函数,提高整体性能。
进一步的,所述步骤S3还使用滑动窗口方法来分割脸部区域。
进一步的,所述步骤S3进行分类和细分,得出脸部区域和每帧篡改概率,具体步骤包括:
所述的多任务学习模型的训练方式为利用真是视频提取的样本与随机参数输入至DeepFake、FaceSwap和Face2Face模型中生成模型提取的样本进行对比学习,所述样本分割人脸区域,由多任务学习模型识别出虚假人脸区域眨眼不自然表情拼接,对真假视频进行分类,从而定义损失函数。
本发明的优点及有益效果如下:
本发明的创新主要是设计了一种多任务学习模型去检测AI换脸视频,通过执行一项任务获得信息的信息与另一项任务共享,从而增强了这两项任务的性能,相比以往的检测模型,单独去使用一个标准检测,计算费用减少并且准确率有所提高。
附图说明
图1是本发明提供优选实施例一种基于多任务学习模型的换脸模型检测方法网络概述图;
图2为本发明的带有Y型解码器的自动编码器网络结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
如图1所示,预先下载用于虚假视频生成的算法,利用自有的数据生成虚假视频和未修改的视频,其中分为训练集、验证集和测试集;
所述用于虚假视频生成的算法为DeepFake、Face2Face和FaceSwap相关开源算法,数据集来自开源的FaceForensics和FaceForensics++,所述用于的虚假视频为3000个,未修改的视频为1000个,其中每个数据集分为720个视频用于训练,140个视频用于验证,140个用于测试,每个训练视频只用200帧来训练,验证和测试视频采用10帧用于验证和测试,并裁剪面部区域,减少计算费用。。
如图1所示,所述检测网络概述,视频输入,再将输入视频进行预处理,预处理包括对图像脸部进行提取。再将预处理的放入预先训练好的多人学习模型,进行分类和细分,得出脸部区域和每帧篡改概率,对每帧的篡改概率汇总得出视频是否为AI换脸视频。
预先训练特征提取模型,再将训练好的特征提取模型保存;
如图2所示,设计了一个自动编码器,带有一个Y型解码器,用于检测和分割操作面部图像,带有Y型解码器的自动编码器。将编码特征的激活用于分类。到最后的激活层输出图片篡改概率以及与该输入图像相对应的分割图,进行特征提取后的解码器和Y型自编码器可以在分类、分段和重建过程共享有价值信息,从而减少损失来提高性能,具体的损失函数如下:
激活损失函数:
其中N是样本数,ai,1和ai,0是激活值并且定义为L1范数对应的半潜特征,c为给定类,hi为潜在特征,k为hi,c的特征数;
分割损失函数:
其中N是样本数,si为分割部分,mi为真实部分;
重建损失函数:
总损失函数:
L=ractLact+rsegLseg+rrecLrec
L为总损失,为三个损失的加权总和。
在实际检测过程中,输入视频,进行预处理,分类,利用多任务学习模型对脸部区域定位和所有帧的概率求平均,得出输入为真或假的概率结论。
本发明提出一种检测AI换脸视频方法,能够快速检测出AI换脸视频并定位篡改区域,采用仅仅考虑面部区域,减少了计算费用问题,采用了多任务学习模型,提高了AI换脸视频检测的准确率。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (5)
1.一种基于多任务学习模型的AI换脸视频检测方法,其特征在于,包括以下步骤:
S1:预先下载用于虚假视频生成的算法,利用自有的数据生成虚假视频和未修改的视频,其中分为训练集、验证集和测试集;
S2:预先训练多任务学习特征提取模型,再将训练好的特征提取模型保存;所述特征提取模型为一个自动编码器,自动编码器带有一个Y型解码器,Y型解码器在激活、分割和重建任务之间共享有价值的信息,通过调整总损失函数,以提高整体性能,Y型解码器以半监督的方式训练;
S3:输入待检测视频,对待检测视频进行预处理,预处理包括对图像脸部进行提取,将预处理后的视频放入步骤S2训练好的特征模型进行分类和细分;
S4:到最后的激活层输出视频每帧篡改概率以及与输入视频每帧相对应的分割图,对视频每帧篡改概率进行求平均,最后得出输入是否为虚假视频;
所述自动编码器可以在分类、分段和重建过程共享有价值信息,从而减少损失来提高性能,具体的损失函数如下:
激活损失函数:
其中N是样本数,ai,1和ai,0是激活值并且定义为L1范数对应的半潜特征,c为给定类,hi为潜在特征,K为hi,c的特征数;yi表示给定标签,hi,c表示激活潜在特征;
分割损失函数:
其中N是样本数,si为分割部分,mi为真实部分;
重建损失函数:
总损失函数:
L=ractLact+rsegLseg+rrecLrec
ract、rseg、rrec表示Lact、Lseg、Lrec的权重,这个三个权重相等且等于1,L为总损失,为三个损失的加权总和,通过调整总损失函数,提高整体性能。
2.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法,其特征在于,所述步骤S1中用于虚假视频生成的算法选用DeepFake、Face2Face和FaceSwap在内的相关开源算法。
3.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法,其特征在于,在步骤S1中用于训练的虚假视频为3000个,未修改的视频为1000个,其中每个数据集分为720个视频用于训练,140个视频用于验证,140个用于测试,每个训练视频只用200帧来训练,验证和测试视频采用10帧用于验证和测试,并裁剪面部区域。
4.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法,其特征在于,所述步骤S3还使用滑动窗口方法来分割脸部区域。
5.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法,其特征在于,所述步骤S3进行分类和细分,具体步骤包括:
所述的多任务学习模型的训练方式为利用真是视频提取的样本与随机参数输入至DeepFake、FaceSwap和Face2Face模型中生成模型提取的样本进行对比学习,所述样本分割人脸区域,由多任务学习模型识别出虚假人脸区域眨眼不自然表情拼接,对真假视频进行分类,从而定义损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010844086.1A CN111950497B (zh) | 2020-08-20 | 2020-08-20 | 一种基于多任务学习模型的ai换脸视频检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010844086.1A CN111950497B (zh) | 2020-08-20 | 2020-08-20 | 一种基于多任务学习模型的ai换脸视频检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111950497A CN111950497A (zh) | 2020-11-17 |
CN111950497B true CN111950497B (zh) | 2022-07-01 |
Family
ID=73358901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010844086.1A Active CN111950497B (zh) | 2020-08-20 | 2020-08-20 | 一种基于多任务学习模型的ai换脸视频检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111950497B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580521B (zh) * | 2020-12-22 | 2024-02-20 | 浙江工业大学 | 一种基于maml元学习算法的多特征真假视频检测方法 |
CN112580520B (zh) * | 2020-12-22 | 2024-02-20 | 浙江工业大学 | 一种基于模仿学习的Deepfake检测方法 |
CN113014914B (zh) * | 2021-01-27 | 2022-11-01 | 北京市博汇科技股份有限公司 | 一种基于神经网络的单人换脸短视频的识别方法和系统 |
CN113011357B (zh) * | 2021-03-26 | 2023-04-25 | 西安电子科技大学 | 基于时空融合的深度伪造人脸视频定位方法 |
CN113486785A (zh) * | 2021-07-01 | 2021-10-08 | 深圳市英威诺科技有限公司 | 基于深度学习的视频换脸方法、装置、设备及存储介质 |
CN113344777B (zh) * | 2021-08-02 | 2021-10-15 | 中国科学院自动化研究所 | 基于三维人脸分解的换脸与重演方法及装置 |
CN114220051B (zh) * | 2021-12-10 | 2023-07-28 | 马上消费金融股份有限公司 | 视频处理方法、应用程序的测试方法及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109102462A (zh) * | 2018-08-01 | 2018-12-28 | 中国计量大学 | 一种基于深度学习的视频超分辨率重建方法 |
US10552977B1 (en) * | 2017-04-18 | 2020-02-04 | Twitter, Inc. | Fast face-morphing using neural networks |
CN111353395A (zh) * | 2020-02-19 | 2020-06-30 | 南京信息工程大学 | 一种基于长短期记忆网络的换脸视频检测方法 |
CN111353392A (zh) * | 2020-02-18 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 换脸检测方法、装置、设备及存储介质 |
CN111368764A (zh) * | 2020-03-09 | 2020-07-03 | 零秩科技(深圳)有限公司 | 一种基于计算机视觉与深度学习算法的虚假视频检测方法 |
CN111476727A (zh) * | 2020-03-26 | 2020-07-31 | 南京信息工程大学 | 一种面向换脸视频检测的视频运动增强方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330408B (zh) * | 2017-06-30 | 2021-04-20 | 北京乐蜜科技有限责任公司 | 视频处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-20 CN CN202010844086.1A patent/CN111950497B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10552977B1 (en) * | 2017-04-18 | 2020-02-04 | Twitter, Inc. | Fast face-morphing using neural networks |
CN109102462A (zh) * | 2018-08-01 | 2018-12-28 | 中国计量大学 | 一种基于深度学习的视频超分辨率重建方法 |
CN111353392A (zh) * | 2020-02-18 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 换脸检测方法、装置、设备及存储介质 |
CN111353395A (zh) * | 2020-02-19 | 2020-06-30 | 南京信息工程大学 | 一种基于长短期记忆网络的换脸视频检测方法 |
CN111368764A (zh) * | 2020-03-09 | 2020-07-03 | 零秩科技(深圳)有限公司 | 一种基于计算机视觉与深度学习算法的虚假视频检测方法 |
CN111476727A (zh) * | 2020-03-26 | 2020-07-31 | 南京信息工程大学 | 一种面向换脸视频检测的视频运动增强方法 |
Non-Patent Citations (3)
Title |
---|
Efficient Dense-Field Copy–Move Forgery Detection;Davide Cozzolino等;《 IEEE Transactions on Information Forensics and Security》;20150710;全文 * |
关于人脸关键点检测的若干问题研究;崔馨方;《中国优秀硕士学位论文全文数据库信息科技辑》;20200515;全文 * |
融合全局时序和局部空间特征的伪造人脸视频检测方法;陈鹏等;《信息安全学报》;20200315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111950497A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111950497B (zh) | 一种基于多任务学习模型的ai换脸视频检测方法 | |
CN111311563B (zh) | 一种基于多域特征融合的图像篡改检测方法 | |
CN111126258B (zh) | 图像识别方法及相关装置 | |
CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
CN111368764B (zh) | 一种基于计算机视觉与深度学习算法的虚假视频检测方法 | |
CN111339913A (zh) | 一种视频中的人物情绪识别方法及装置 | |
CN112016500A (zh) | 基于多尺度时间信息融合的群体异常行为识别方法及系统 | |
CN111401374A (zh) | 基于多任务的模型训练方法、字符识别方法及装置 | |
CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
CN111901627B (zh) | 视频处理方法、装置、存储介质及电子设备 | |
CN112580521B (zh) | 一种基于maml元学习算法的多特征真假视频检测方法 | |
CN111814611A (zh) | 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统 | |
CN113762138A (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
CN111598153A (zh) | 数据聚类的处理方法、装置、计算机设备和存储介质 | |
CN111507467A (zh) | 神经网络模型的训练方法、装置、计算机设备及存储介质 | |
CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
CN114639150A (zh) | 情绪识别方法、装置、计算机设备和存储介质 | |
CN116741159A (zh) | 音频分类及模型的训练方法、装置、电子设备和存储介质 | |
CN114005019B (zh) | 一种翻拍图像识别方法及其相关设备 | |
CN114358249A (zh) | 目标识别模型训练、目标识别方法及装置 | |
CN111626197B (zh) | 一种基于人体行为识别网络模型的识别方法 | |
CN116883900A (zh) | 一种基于多维生物特征的视频真伪鉴别方法和系统 | |
Bikku et al. | Deep Residual Learning for Unmasking DeepFake | |
CN115393867A (zh) | 文本识别模型生成方法、文本识别方法、设备及存储介质 | |
CN115100128A (zh) | 一种基于伪影噪声的深度伪造检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |