CN113609952B - 基于密集卷积神经网络的深度伪造视频频域检测方法 - Google Patents

基于密集卷积神经网络的深度伪造视频频域检测方法 Download PDF

Info

Publication number
CN113609952B
CN113609952B CN202110874517.3A CN202110874517A CN113609952B CN 113609952 B CN113609952 B CN 113609952B CN 202110874517 A CN202110874517 A CN 202110874517A CN 113609952 B CN113609952 B CN 113609952B
Authority
CN
China
Prior art keywords
video
neural network
convolutional neural
frequency domain
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110874517.3A
Other languages
English (en)
Other versions
CN113609952A (zh
Inventor
孙磊
毛秀青
张洪蒙
汤桂花
郭松辉
李作辉
戴乐育
郭松
窦睿彧
胡翠云
赵锟
张帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202110874517.3A priority Critical patent/CN113609952B/zh
Publication of CN113609952A publication Critical patent/CN113609952A/zh
Application granted granted Critical
Publication of CN113609952B publication Critical patent/CN113609952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于密集卷积神经网络的深度伪造视频频域检测方法，包括：步骤1，对视频进行预处理：对真实和伪造视频进行分帧处理；对所述视频中的人脸进行定位，扩大选框后进行人脸图像提取，并利用2D‑DCT变换至频域；所述伪造视频包括深度伪造视频；步骤2，构建密集卷积神经网络并基于步骤1得出的频域数据进行训练；所述密集卷积神经网络包括密集块及过渡模块；步骤3，基于训练后的密集卷积神经网络检测深度伪造视频。本发明在训练密集卷积神经网络时，以频域图像为单位对卷积神经网络检测模型进行训练，最后对频域图像检测结果融合判断后得出视频的检测结果。无论视频压缩在时域产生多少冗余特征，都不影响最终的检测效果。

Description

基于密集卷积神经网络的深度伪造视频频域检测方法
技术领域
本发明属于网络安全技术领域，尤其涉及一种基于密集卷积神经网络的深度伪造视频频域检测方法。
背景技术
极其逼真的深度伪造视频对国家安全等方方面面产生了重大威胁，在社交网络的加持下，如果被敌方恶意利用深度伪造技术针对性的生成视频，极有可能会用来操纵舆情，抹黑国家重要人物，煽动恐怖和暴力情绪，破坏社会安全和国家稳定。针对这一威胁，国内外开展的深度伪造视频的检测研究已经有了相关的模型与方法，平常社交网络上传播的视频由于带宽约束、存储空间限制等因素通常经过压缩后进行传输，而视频压缩引入的降质技术使得当前检测模型难以训练、泛化性能下降、对深度伪造人脸视频的检测准确率降低。
现有检测深度伪造假脸视频的方法，从伪造视频中变换人脸的拼接处伪影入手，构建深度视频分类器，使用真实和伪造视频的特征对其进行训练，最后使用训练好的分类器进行分类。这种方法缺陷是：对于强压缩的视频，这种方法的误判率很高，而产生这个缺陷的根本原因就是：强压缩视频中出现了大量的冗余特征，导致基于伪影分类的分类器难以捕捉有效差异特征。
发明内容
本发明针对现有检测深度伪造假脸视频的方法对于强压缩的视频误判率高的问题，提出一种基于密集卷积神经网络的深度伪造视频频域检测方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于密集卷积神经网络的深度伪造视频频域检测方法，包括：
步骤1，对视频进行预处理：对真实和伪造视频进行分帧处理；对真实和伪造视频中的人脸进行定位，扩大选框后进行人脸图像提取；将提取出的人脸图像利用2D-DCT变换至频域；所述伪造视频包括深度伪造视频；
步骤2，构建密集卷积神经网络并基于步骤1得出的频域数据进行训练；所述密集卷积神经网络包括密集块及过渡模块；
步骤3，基于训练后的密集卷积神经网络检测深度伪造视频。
进一步地，所述步骤1包括：
步骤1.1：使用OpenCV对真实和伪造视频进行分帧处理；
步骤1.2：使用Dlib对真实和伪造视频中的人脸进行定位，将原始矩形框扩大1.5倍后进行人脸图像提取；
步骤1.3：将提取出的人脸图像利用2D-DCT变换至频域。
进一步地，所述步骤2包括：
步骤2.1：构建密集块，所述密集块由批量归一化层、激活函数层、卷积层构成，层与层之间采用密集连接方式，各层特征能够在输入层和输出层间高速传递；
步骤2.2：构建过渡模块，所述过渡模块由1×1的卷积层以及池化层构成；
步骤2.3：将密集块与过渡模块结合，并将卷积神经网络结构进行修改，使其能完成二分类，采用交叉熵损失函数作为损失函数，完成密集卷积神经网络构建；
步骤2.4：通过步骤1生成的频域数据训练所构建的密集卷积神经网络。
进一步地，所述步骤3包括：
步骤3.1：接收一个待检测视频；所述待检测视频包括深度伪造视频；
步骤3.2：将视频进行分帧处理；
步骤3.3：提取人脸图像后通过2D-DCT转化为频域数据；
步骤3.4：将步骤3.3中所述频域数据输入训练好的密集卷积神经网络进行检测，并输出频域数据所属视频帧的检测准确率；
步骤3.5：取所有帧检测准确率的平均值作为该视频最终的检测准确率。
与现有技术相比，本发明具有的有益效果：
本发明在训练密集卷积神经网络时，以频域图像为单位对卷积神经网络检测模型进行训练，最后对频域图像检测结果融合判断后得出视频的检测结果，无论视频压缩在时域产生多少冗余特征，都不影响最终的检测效果。
附图说明
图1为本发明实施例一种基于密集卷积神经网络的深度伪造视频频域检测方法的基本流程图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
如图1所示，一种基于密集卷积神经网络的深度伪造视频频域检测方法，包括：
步骤S101，对视频进行预处理：对真实和伪造视频进行分帧处理；对真实和伪造视频中的人脸进行定位，扩大选框后进行人脸图像提取；将提取出的人脸图像利用2D-DCT变换至频域；所述伪造视频包括深度伪造（假脸）（压缩）视频；
步骤S102，构建密集卷积神经网络并基于步骤S101得出的频域数据进行训练；所述密集卷积神经网络包括密集块及过渡模块；
步骤S103，基于训练后的密集卷积神经网络检测深度伪造（假脸）（压缩）视频。
进一步地，所述步骤S101包括：
步骤S101.1：使用OpenCV对真实和伪造视频进行分帧处理；
步骤S101.2：使用Dlib对视频中的人脸进行定位，扩大选框后进行提取，因为提取视频帧中的人脸部分可以去除不利于检测的环境干扰信息，并可以使网络更专注于人脸的细微特征提取，从而提高验证以及测试的准确率。但原始dlib定位人脸的矩形框在一定情况下并不能将全脸包裹进来，故将原始矩形框扩大1.5倍后进行提取；
步骤S101.3：将提取出的人脸图像利用二维离散余弦变换2D-DCT变换至频域，即首先沿着列计算一个DCT，然后沿着行计算一个DCT，绘制DCT频谱时将DCT系数描绘为热图。
进一步地，所述步骤S102包括：
步骤S102.1：构建密集块，所述密集块由批量归一化层、激活函数层、卷积层构成，层与层之间采用密集连接方式，各层特征能够在输入层和输出层间高速传递，确保层间信息流动的最大化；
步骤S102.2：构建过渡模块，所述过渡模块由1×1的卷积层以及池化层构成；在进行池化操作之后，输出特征图的大小改变，无法进行密集连接操作，因此在密集块之间需要以上操作进行过渡；
步骤S102.3：将密集块与过渡模块结合，并将卷积神经网络结构进行修改，使其能完成二分类，采用交叉熵损失函数作为损失函数，完成密集卷积神经网络构建；
步骤S102.4：通过步骤S101.3生成的频域数据训练所构建的密集卷积神经网络。
进一步地，所述步骤S103包括：
步骤S103.1：接收一个待检测视频；具体地，该待检测视频可以为深度伪造（假脸）（压缩）视频；
步骤S103.2：将视频进行分帧处理；
步骤S103.3：提取人脸图像后通过2D-DCT转化为频域数据；
步骤S103.4：将步骤S103.3中所述频域数据输入训练好的密集卷积神经网络进行检测，并输出频域数据所属视频帧的检测准确率；
步骤S103.5：取所有帧检测准确率的平均值作为该视频最终的检测准确率。
综上，本发明在训练密集卷积神经网络时，以频域图像为单位对卷积神经网络检测模型进行训练，最后对频域图像检测结果融合判断后得出视频的检测结果，无论视频压缩在时域产生多少冗余特征，都不影响最终的检测效果。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于密集卷积神经网络的深度伪造视频频域检测方法，其特征在于，包括：
步骤1，对视频进行预处理：对真实和伪造视频进行分帧处理；对真实和伪造视频中的人脸进行定位，扩大选框后进行人脸图像提取；将提取出的人脸图像利用2D-DCT变换至频域；所述伪造视频包括深度伪造视频；
步骤2，构建密集卷积神经网络并基于步骤1得出的频域数据进行训练；所述密集卷积神经网络包括密集块及过渡模块；
所述步骤2包括：
步骤2.1：构建密集块，所述密集块由批量归一化层、激活函数层、卷积层构成，层与层之间采用密集连接方式，各层特征能够在输入层和输出层间高速传递；
步骤2.2：构建过渡模块，所述过渡模块由1×1的卷积层以及池化层构成；
步骤2.3：将密集块与过渡模块结合，并将卷积神经网络结构进行修改，使其能完成二分类，采用交叉熵损失函数作为损失函数，完成密集卷积神经网络构建；
步骤2.4：通过步骤1生成的频域数据训练所构建的密集卷积神经网络；
步骤3，基于训练后的密集卷积神经网络检测深度伪造视频；
所述步骤3包括：
步骤3.1：接收一个待检测视频；所述待检测视频包括深度伪造视频；
步骤3.2：将视频进行分帧处理；
步骤3.3：提取人脸图像后通过2D-DCT转化为频域数据；
步骤3.4：将步骤3.3中所述频域数据输入训练好的密集卷积神经网络进行检测，并输出频域数据所属视频帧的检测准确率；
步骤3.5：取所有帧检测准确率的平均值作为该视频最终的检测准确率。
2.根据权利要求1所述的基于密集卷积神经网络的深度伪造视频频域检测方法，其特征在于，所述步骤1包括：
步骤1.1：使用OpenCV对真实和伪造视频进行分帧处理；
步骤1.2：使用Dlib对真实和伪造视频中的人脸进行定位，将原始矩形框扩大1.5倍后进行人脸图像提取；
步骤1.3：将提取出的人脸图像利用2D-DCT变换至频域。
CN202110874517.3A 2021-07-30 2021-07-30 基于密集卷积神经网络的深度伪造视频频域检测方法 Active CN113609952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110874517.3A CN113609952B (zh) 2021-07-30 2021-07-30 基于密集卷积神经网络的深度伪造视频频域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110874517.3A CN113609952B (zh) 2021-07-30 2021-07-30 基于密集卷积神经网络的深度伪造视频频域检测方法

Publications (2)

Publication Number Publication Date
CN113609952A CN113609952A (zh) 2021-11-05
CN113609952B true CN113609952B (zh) 2023-08-15

Family

ID=78338861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110874517.3A Active CN113609952B (zh) 2021-07-30 2021-07-30 基于密集卷积神经网络的深度伪造视频频域检测方法

Country Status (1)

Country Link
CN (1) CN113609952B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444881A (zh) * 2020-04-13 2020-07-24 中国人民解放军国防科技大学 伪造人脸视频检测方法和装置
CN111967427A (zh) * 2020-08-28 2020-11-20 广东工业大学 一种伪造人脸视频鉴别方法、系统和可读存储介质
CN112507300A (zh) * 2020-12-04 2021-03-16 中国人民解放军战略支援部队信息工程大学 基于eID的电子签名系统及电子签名验证方法
CN112734696A (zh) * 2020-12-24 2021-04-30 华南理工大学 基于多域特征融合的换脸视频篡改检测方法及系统
CN112836729A (zh) * 2021-01-19 2021-05-25 中南大学 一种图像分类模型的构建方法和图像分类方法
CN113011357A (zh) * 2021-03-26 2021-06-22 西安电子科技大学 基于时空融合的深度伪造人脸视频定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444881A (zh) * 2020-04-13 2020-07-24 中国人民解放军国防科技大学 伪造人脸视频检测方法和装置
CN111967427A (zh) * 2020-08-28 2020-11-20 广东工业大学 一种伪造人脸视频鉴别方法、系统和可读存储介质
CN112507300A (zh) * 2020-12-04 2021-03-16 中国人民解放军战略支援部队信息工程大学 基于eID的电子签名系统及电子签名验证方法
CN112734696A (zh) * 2020-12-24 2021-04-30 华南理工大学 基于多域特征融合的换脸视频篡改检测方法及系统
CN112836729A (zh) * 2021-01-19 2021-05-25 中南大学 一种图像分类模型的构建方法和图像分类方法
CN113011357A (zh) * 2021-03-26 2021-06-22 西安电子科技大学 基于时空融合的深度伪造人脸视频定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yuyang Qian et.al.Thinking in Frequency: Face Forgery Detection by Mining Frequency-Aware Clues.《European Conference on Computer Vison》.2020,第86-103页. *

Also Published As

Publication number Publication date
CN113609952A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
Ross et al. Security in smart cities: A brief review of digital forensic schemes for biometric data
Do et al. Forensics face detection from GANs using convolutional neural network
CN111445454B (zh) 一种图像真伪鉴别方法及其在证照识别中的应用
Feng et al. JPEG recompression detection
CN108921764A (zh) 一种基于生成对抗网络的图像隐写方法及系统
CN111597983B (zh) 基于深度卷积神经网络实现生成式虚假人脸图像鉴定的方法
CN108764270A (zh) 一种利用卷积神经网络集成的信息隐藏检测方法
CN108537133A (zh) 一种基于监督学习深度自编码器的人脸重构方法
CN110457996B (zh) 基于vgg-11卷积神经网络的视频运动对象篡改取证方法
CN110210498A (zh) 基于残差学习卷积融合网络的数字图像设备取证系统
Yao et al. CGNet: Detecting computer-generated images based on transfer learning with attention module
CN113011332A (zh) 基于多区域注意力机制的人脸伪造检测方法
Yu et al. Manipulation classification for jpeg images using multi-domain features
Goodwin et al. Blind video tamper detection based on fusion of source features
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
CN113689382A (zh) 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统
Chetty et al. Digital video tamper detection based on multimodal fusion of residue features
CN115546864A (zh) 一种基于自注意力机制的双分支人脸伪造检测方法
CN103903271B (zh) 一种针对自然图像和基于dwt压缩篡改图像的图像的取证方法
Tanaka et al. Fake-image detection with Robust Hashing
CN113298689B (zh) 一种大容量图像隐写方法
Xu et al. Exposing fake images generated by text-to-image diffusion models
CN113609952B (zh) 基于密集卷积神经网络的深度伪造视频频域检测方法
CN116311482A (zh) 人脸伪造检测方法、系统、设备及存储介质
CN108537762B (zh) 基于深度多尺度网络的二次jpeg压缩图像取证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant