CN113506272A - 一种虚假视频的检测方法及系统 - Google Patents

一种虚假视频的检测方法及系统 Download PDF

Info

Publication number
CN113506272A
CN113506272A CN202110794865.XA CN202110794865A CN113506272A CN 113506272 A CN113506272 A CN 113506272A CN 202110794865 A CN202110794865 A CN 202110794865A CN 113506272 A CN113506272 A CN 113506272A
Authority
CN
China
Prior art keywords
video
false
disturbance
training
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110794865.XA
Other languages
English (en)
Other versions
CN113506272B (zh
Inventor
杜晓宇
唐金辉
徐锦成
洪凯
王健
郭俊波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Konami Sports Club Co Ltd
Original Assignee
Nanjing University of Science and Technology
People Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology, People Co Ltd filed Critical Nanjing University of Science and Technology
Priority to CN202110794865.XA priority Critical patent/CN113506272B/zh
Publication of CN113506272A publication Critical patent/CN113506272A/zh
Application granted granted Critical
Publication of CN113506272B publication Critical patent/CN113506272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种虚假视频的检测方法及系统，方法包括：获取待检测视频；对待检测视频进行帧提取处理，得到多张待检测视频帧；将多张待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的。本发明通过对待检测视频进行真假检测和扰动检测，提高了虚假视频的检测精度。

Description

一种虚假视频的检测方法及系统
技术领域
本发明涉及视频检测技术领域，特别是涉及一种虚假视频的检测方法及系统。
背景技术
近几年来，随着虚假视频生成算法飞速发展，没有任何技术背景的人通过相机等软件即可简单地完成换脸操作。使得网络上产生大量实际不存在的虚假图像和视频。当这些伪造品被用于不正当的目的时，会导致严重的安全问题。因此，虚假视频的检测技术的研究刻不容缓。
目前的虚假视频检测技术取得了一定的研究成果，大量基于卷积神经网络的模型在检测一些公开的虚假视频数据集时的检测精度接近100％。但是，卷积神经网络容易受到对抗性攻击，也就是说，一个原本训练完成的卷积神经网络模型，最初可以成功分辨出虚假视频，但是在虚假视频中添加微小的扰动，例如添加一些微小的噪声，就会导致模型同样的样本产生不同的判断，造成模型的检测性能显着下降。对抗攻击的典型解决方案是对抗训练，即在训练过程中，使用对抗攻击样本，迫使模型学习抵抗这种攻击，但这种方式由于局限于特定的攻击方式，因此极大限制了模型的鲁棒性。此外，可以使用消除噪声扰动的方法来进行消除对抗攻击。但是这种去噪方法不仅消除了对抗性扰动，同时会消除虚假视频中固有的特征，影响检测结果。
因此，亟需一种虚假视频的检测技术，能够提高虚假视频的检测精度。
发明内容
本发明的目的是提供一种虚假视频的检测方法及系统，能够提高虚假视频的检测精度。
为实现上述目的，本发明提供了如下方案：
一种虚假视频的检测方法，包括：
获取待检测视频；
对所述待检测视频进行帧提取处理，得到多张待检测视频帧；
将多张所述待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；所述虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；所述虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的。
可选的，在所述获取待检测视频之前，还包括：
获取虚假视频训练集；
对所述虚假视频训练集中的虚假视频和真实视频均进行帧提取处理，得到多张虚假视频训练帧和多张真实视频训练帧；
分别在多张所述虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片；
利用多张所述真实视频训练帧、多张所述虚假视频训练帧和多张所述局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到所述虚假视频检测模型。
可选的，所述分别在多张所述虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片，具体包括：
分别提取多张所述虚假视频训练帧的虚假区域，得到多张虚假区域图片；
利用快速梯度符号法对每张所述虚假区域图片均进行扰动处理，得到多张扰动后的虚假区域图片；
将每张所述虚假视频训练帧中的虚假区域替换为扰动后的虚假区域图片，得到多张局部扰动图片。
可选的，所述利用多张所述真实视频训练帧、多张所述虚假视频训练帧和多张所述局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到所述虚假视频检测模型，具体包括：
以多张所述真实视频训练帧和多张所述虚假视频训练帧为输入，以所述真实视频训练帧和所述虚假视频训练帧对应的视频真假为输出，对所述第一卷积神经网络进行训练，得到所述虚假图像检测子模型；
以多张所述真实视频训练帧和多张所述局部扰动图片作为输入，以所述真实视频训练帧和所述局部扰动图片是否含有扰动为输出，对所述第二卷积神经网络进行训练，得到所述扰动检测子模型。
可选的，所述将多张所述待检测视频帧均输入虚假视频检测模型中，得到视频检测结果，具体包括：
将多张所述待检测视频帧均输入所述虚假图像检测子模型中，得到真实视频帧和虚假视频帧；
将所述真实视频帧输入所述扰动检测子模型中，得到含有扰动的真实视频帧和不含扰动的真实视频帧；
将虚假视频帧、以及含有扰动的真实视频帧在所述待检测视频中对应的部分确定为虚假视频部分；
将不含扰动的真实视频帧在所述待检测视频中对应的部分确定为真实视频部分。
一种虚假视频的检测系统，包括：
待检测视频获取模块，用于获取待检测视频；
待检测视频帧提取模块，用于对所述待检测视频进行帧提取处理，得到多张待检测视频帧；
视频识别模块，用于将多张所述待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；所述虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；所述虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的。
可选的，所述系统，还包括：
虚假视频训练集获取模块，用于获取虚假视频训练集；
训练帧提取模块，用于对所述虚假视频训练集中的虚假视频和真实视频均进行帧提取处理，得到多张虚假视频训练帧和多张真实视频训练帧；
局部扰动图片生成模块，用于分别在多张所述虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片；
虚假视频检测模型训练模块，用于利用多张所述真实视频训练帧、多张所述虚假视频训练帧和多张所述局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到所述虚假视频检测模型。
可选的，所述局部扰动图片生成模块，具体包括：
虚假区域图片提取单元，用于分别提取多张所述虚假视频训练帧的虚假区域，得到多张虚假区域图片；
虚假区域图片生成单元，用于利用快速梯度符号法对每张所述虚假区域图片均进行扰动处理，得到多张扰动后的虚假区域图片；
局部扰动图片生成单元，用于将每张所述虚假视频训练帧中的虚假区域替换为扰动后的虚假区域图片，得到多张局部扰动图片。
可选的，所述虚假视频检测模型训练模块，具体包括：
虚假图像检测子模型训练单元，用于以多张所述真实视频训练帧和多张所述虚假视频训练帧为输入，以所述真实视频训练帧和所述虚假视频训练帧对应的视频真假为输出，对所述第一卷积神经网络进行训练，得到所述虚假图像检测子模型；
扰动检测子模型训练单元，用于以多张所述真实视频训练帧和多张所述局部扰动图片作为输入，以所述真实视频训练帧和所述局部扰动图片是否含有扰动为输出，对所述第二卷积神经网络进行训练，得到所述扰动检测子模型。
可选的，所述视频识别模块，具体包括：
虚假图像检测单元，用于将多张所述待检测视频帧均输入所述虚假图像检测子模型中，得到真实视频帧和虚假视频帧；
扰动检测单元，用于将所述真实视频帧输入所述扰动检测子模型中，得到含有扰动的真实视频帧和不含扰动的真实视频帧；
虚假视频部分确定单元，用于将虚假视频帧、以及含有扰动的真实视频帧在所述待检测视频中对应的部分确定为虚假视频部分；
真实视频部分确定单元，用于将不含扰动的真实视频帧在所述待检测视频中对应的部分确定为真实视频部分。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种虚假视频的检测方法及系统，方法包括：获取待检测视频；对待检测视频进行帧提取处理，得到多张待检测视频帧；将多张待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的。本发明通过对待检测视频进行真假检测和扰动检测，提高了虚假视频的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的虚假视频的检测方法流程图；
图2为本发明实施例所提供的虚假视频检测模型示意图；
图3为本发明实施例所提供的局部扰动图片生成过程示意图；
图4为本发明实施例所提供的虚假视频的检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种虚假视频的检测方法及系统，能够提高虚假视频的检测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例所提供的虚假视频的检测方法流程图，如图1所示，本发明提供了一种虚假视频的检测方法，包括：
步骤101：获取待检测视频；
步骤102：对待检测视频进行帧提取处理，得到多张待检测视频帧；
步骤103：将多张待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的，虚假视频检测模型如图2所示，其中，D-detector和P-detector分别表示虚假图像检测子模型和扰动检测子模型；fake和real分别表示虚假视频检测模型的判别结果为假或为真。
具体的，本发明提供的虚假视频的检测方法，在步骤101之前，还包括：
获取虚假视频训练集；
对虚假视频训练集中的虚假视频和真实视频均进行帧提取处理，得到多张虚假视频训练帧和多张真实视频训练帧；
分别在多张虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片；
利用多张真实视频训练帧、多张虚假视频训练帧和多张局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到虚假视频检测模型。
其中，分别在多张虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片，具体包括：
分别提取多张虚假视频训练帧的虚假区域，得到多张虚假区域图片；
利用快速梯度符号法对每张虚假区域图片均进行扰动处理，得到多张扰动后的虚假区域图片；
将每张虚假视频训练帧中的虚假区域替换为扰动后的虚假区域图片，得到多张局部扰动图片。
利用多张真实视频训练帧、多张虚假视频训练帧和多张局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到虚假视频检测模型，具体包括：
以多张真实视频训练帧和多张虚假视频训练帧为输入，以真实视频训练帧和虚假视频训练帧对应的视频真假为输出，对第一卷积神经网络进行训练，得到虚假图像检测子模型；
以多张真实视频训练帧和多张局部扰动图片作为输入，以真实视频训练帧和局部扰动图片是否含有扰动为输出，对第二卷积神经网络进行训练，得到扰动检测子模型。
步骤103，具体包括：
将多张待检测视频帧均输入虚假图像检测子模型中，得到真实视频帧和虚假视频帧；
将真实视频帧输入扰动检测子模型中，得到含有扰动的真实视频帧和不含扰动的真实视频帧；
将虚假视频帧、以及含有扰动的真实视频帧在待检测视频中对应的部分确定为虚假视频部分；
将不含扰动的真实视频帧在待检测视频中对应的部分确定为真实视频部分。
具体的，本发明基于学习区域扰动样本对虚假视频检测进行对抗防御，具体步骤如下：
步骤(1)：先将训练集(训练集中视频的虚假区域为人脸区域)视频等间隔的提取出T帧，对这T帧使用人脸检测模型检测到人脸区域，为了包含更多的信息，避免可能的人脸边缘信息丢失，对该人脸区域扩大1.3倍进行裁剪，将虚假视频检测任务转换为虚假图像检测任务。
步骤(2)：对于任意类型的图像X，以及对应的标签y，使用快速梯度符号方法(FSGM)生成对抗攻击图像
Figure BDA0003162296930000071
公式如下：
Figure BDA0003162296930000072
其中sgn(·)为符号函数，即根据梯度信息得到的符号，
Figure BDA0003162296930000073
为梯度，L为计算的损失函数，θ为模型参数，∈为控制扰动程度的超参数，∈的取值较小时产生的扰动人眼不可见。
对图像X进行多次FSGM对抗攻击，得到全局扰动图像。
Figure BDA0003162296930000074
其中，Xt为第t次迭代的扰动图像，Xt+1为第t+1次迭代的扰动图像，ClipX，S(·)表示约束扰动的量级，α为控制扰动程度的超参数，S为扰动范围的超参数，经过多轮迭代最终获得的图像表示为
Figure BDA0003162296930000075
步骤(3)：使用全局扰动图像
Figure BDA0003162296930000076
替代原图X中的人脸区域，得到区域扰动图像，如图3所示。
步骤3-1：对原始图像X使用人脸关键点检测算法，得到N个人脸关键点坐标，由于对抗攻击通常发生在未知的区域范围内，因此从这N个点中随机选择K个点作为需要扰动的范围，将K个点围成的区域即对应凸包区域记为M。
步骤3-2：对于步骤3-1中获得的区域M，利用XceptionNet结构结合原始图像X和扰动图像Xadv，获得仅在局部区域扰动的图像
Figure BDA0003162296930000081
公式如下：
Figure BDA0003162296930000082
其中⊙表示按元素对应相乘，Xadv表示在X上进行全局扰动后的结果。
步骤(4)：基于以上步骤得到的图片对模型进行训练
模型训练阶段，按照步骤(1)-(3)公开的虚假视频数据集进行处理，对虚假图像检测子模型和扰动检测子模型进行训练，虚假图像检测子模型和扰动检测子模型均使用交叉熵损失函数进行训练，公式如下：
Loss＝-(ylna+(1-y)ln(1-a))
其中，a表示预测结果，y为标签。
步骤(5)：模型测试
对于训练好的模型，输入测试样本数据，经过第一阶段虚假图像检测子模型，当输出结果为1，则判断该样本为虚假类别，不需要第二阶段的预测；如果输出结果为0，则不能判断真假，需要将样本传递给扰动检测子模型，当扰动检测子模型也输出0(不含扰动)，则预测图片为真实类别；如果扰动检测子模型输出为1(含有扰动)，表示该图像被人为的修改过，应判定为为虚假类型。
虚假图像检测子模型，公式如下：
yD＝f(D)(X1)
其中，yD表示虚假检测模块的预测结果，f(D)表示虚假检测模块，X1表示局部扰动图片。
扰动检测子模型，公式如下：
yP＝f(P)(X2)
其中，yP表示虚假检测模块的预测结果，f(P)表示虚假检测模块，X2表示虚假图像检测子模型判定为真的图片。
综上，虚假视频检测模型ypre的，公式如下：
Figure BDA0003162296930000083
图4为本发明实施例所提供的虚假视频的检测系统结构示意图，如图4所示，本发明还提供了一种虚假视频的检测系统，包括：
待检测视频获取模块401，用于获取待检测视频；
待检测视频帧提取模块402，用于对待检测视频进行帧提取处理，得到多张待检测视频帧；
视频识别模块403，用于将多张待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的。
本发明提供的虚假视频的检测系统，还包括：
虚假视频训练集获取模块，用于获取虚假视频训练集；
训练帧提取模块，用于对虚假视频训练集中的虚假视频和真实视频均进行帧提取处理，得到多张虚假视频训练帧和多张真实视频训练帧；
局部扰动图片生成模块，用于分别在多张虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片；
虚假视频检测模型训练模块，用于利用多张真实视频训练帧、多张虚假视频训练帧和多张局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到虚假视频检测模型。
具体的，局部扰动图片生成模块，具体包括：
虚假区域图片提取单元，用于分别提取多张虚假视频训练帧的虚假区域，得到多张虚假区域图片；
虚假区域图片生成单元，用于利用快速梯度符号法对每张虚假区域图片均进行扰动处理，得到多张扰动后的虚假区域图片；
局部扰动图片生成单元，用于将每张虚假视频训练帧中的虚假区域替换为扰动后的虚假区域图片，得到多张局部扰动图片。
其中，虚假视频检测模型训练模块，具体包括：
虚假图像检测子模型训练单元，用于以多张真实视频训练帧和多张虚假视频训练帧为输入，以真实视频训练帧和虚假视频训练帧对应的视频真假为输出，对第一卷积神经网络进行训练，得到虚假图像检测子模型；
扰动检测子模型训练单元，用于以多张真实视频训练帧和多张局部扰动图片作为输入，以真实视频训练帧和局部扰动图片是否含有扰动为输出，对第二卷积神经网络进行训练，得到扰动检测子模型。
视频识别模块403，具体包括：
虚假图像检测单元，用于将多张待检测视频帧均输入虚假图像检测子模型中，得到真实视频帧和虚假视频帧；
扰动检测单元，用于将真实视频帧输入扰动检测子模型中，得到含有扰动的真实视频帧和不含扰动的真实视频帧；
虚假视频部分确定单元，用于将虚假视频帧、以及含有扰动的真实视频帧在待检测视频中对应的部分确定为虚假视频部分；
真实视频部分确定单元，用于将不含扰动的真实视频帧在待检测视频中对应的部分确定为真实视频部分。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种虚假视频的检测方法，其特征在于，所述方法，包括：
获取待检测视频；
对所述待检测视频进行帧提取处理，得到多张待检测视频帧；
将多张所述待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；所述虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；所述虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的。
2.根据权利要求1所述的虚假视频的检测方法，其特征在于，在所述获取待检测视频之前，还包括：
获取虚假视频训练集；
对所述虚假视频训练集中的虚假视频和真实视频均进行帧提取处理，得到多张虚假视频训练帧和多张真实视频训练帧；
分别在多张所述虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片；
利用多张所述真实视频训练帧、多张所述虚假视频训练帧和多张所述局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到所述虚假视频检测模型。
3.根据权利要求2所述的虚假视频的检测方法，其特征在于，所述分别在多张所述虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片，具体包括：
分别提取多张所述虚假视频训练帧的虚假区域，得到多张虚假区域图片；
利用快速梯度符号法对每张所述虚假区域图片均进行扰动处理，得到多张扰动后的虚假区域图片；
将每张所述虚假视频训练帧中的虚假区域替换为扰动后的虚假区域图片，得到多张局部扰动图片。
4.根据权利要求2所述的虚假视频的检测方法，其特征在于，所述利用多张所述真实视频训练帧、多张所述虚假视频训练帧和多张所述局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到所述虚假视频检测模型，具体包括：
以多张所述真实视频训练帧和多张所述虚假视频训练帧为输入，以所述真实视频训练帧和所述虚假视频训练帧对应的视频真假为输出，对所述第一卷积神经网络进行训练，得到所述虚假图像检测子模型；
以多张所述真实视频训练帧和多张所述局部扰动图片作为输入，以所述真实视频训练帧和所述局部扰动图片是否含有扰动为输出，对所述第二卷积神经网络进行训练，得到所述扰动检测子模型。
5.根据权利要求1所述的虚假视频的检测方法，其特征在于，所述将多张所述待检测视频帧均输入虚假视频检测模型中，得到视频检测结果，具体包括：
将多张所述待检测视频帧均输入所述虚假图像检测子模型中，得到真实视频帧和虚假视频帧；
将所述真实视频帧输入所述扰动检测子模型中，得到含有扰动的真实视频帧和不含扰动的真实视频帧；
将虚假视频帧、以及含有扰动的真实视频帧在所述待检测视频中对应的部分确定为虚假视频部分；
将不含扰动的真实视频帧在所述待检测视频中对应的部分确定为真实视频部分。
6.一种虚假视频的检测系统，其特征在于，所述系统，包括：
待检测视频获取模块，用于获取待检测视频；
待检测视频帧提取模块，用于对所述待检测视频进行帧提取处理，得到多张待检测视频帧；
视频识别模块，用于将多张所述待检测视频帧均输入虚假视频检测模型中，得到视频检测结果；所述虚假视频检测模型包括虚假图像检测子模型和扰动检测子模型；所述虚假图像检测子模型和扰动检测子模型是利用扰动处理后的虚假视频训练集分别对第一卷积神经网络和第二卷积神经网络进行训练得到的。
7.根据权利要求6所述的虚假视频的检测系统，其特征在于，所述系统，还包括：
虚假视频训练集获取模块，用于获取虚假视频训练集；
训练帧提取模块，用于对所述虚假视频训练集中的虚假视频和真实视频均进行帧提取处理，得到多张虚假视频训练帧和多张真实视频训练帧；
局部扰动图片生成模块，用于分别在多张所述虚假视频训练帧中的虚假区域添加扰动，得到多张局部扰动图片；
虚假视频检测模型训练模块，用于利用多张所述真实视频训练帧、多张所述虚假视频训练帧和多张所述局部扰动图片，对第一卷积神经网络和第二卷积神经网络进行训练，得到所述虚假视频检测模型。
8.根据权利要求7所述的虚假视频的检测系统，其特征在于，所述局部扰动图片生成模块，具体包括：
虚假区域图片提取单元，用于分别提取多张所述虚假视频训练帧的虚假区域，得到多张虚假区域图片；
虚假区域图片生成单元，用于利用快速梯度符号法对每张所述虚假区域图片均进行扰动处理，得到多张扰动后的虚假区域图片；
局部扰动图片生成单元，用于将每张所述虚假视频训练帧中的虚假区域替换为扰动后的虚假区域图片，得到多张局部扰动图片。
9.根据权利要求7所述的虚假视频的检测系统，其特征在于，所述虚假视频检测模型训练模块，具体包括：
虚假图像检测子模型训练单元，用于以多张所述真实视频训练帧和多张所述虚假视频训练帧为输入，以所述真实视频训练帧和所述虚假视频训练帧对应的视频真假为输出，对所述第一卷积神经网络进行训练，得到所述虚假图像检测子模型；
扰动检测子模型训练单元，用于以多张所述真实视频训练帧和多张所述局部扰动图片作为输入，以所述真实视频训练帧和所述局部扰动图片是否含有扰动为输出，对所述第二卷积神经网络进行训练，得到所述扰动检测子模型。
10.根据权利要求6所述的虚假视频的检测系统，其特征在于，所述视频识别模块，具体包括：
虚假图像检测单元，用于将多张所述待检测视频帧均输入所述虚假图像检测子模型中，得到真实视频帧和虚假视频帧；
扰动检测单元，用于将所述真实视频帧输入所述扰动检测子模型中，得到含有扰动的真实视频帧和不含扰动的真实视频帧；
虚假视频部分确定单元，用于将虚假视频帧、以及含有扰动的真实视频帧在所述待检测视频中对应的部分确定为虚假视频部分；
真实视频部分确定单元，用于将不含扰动的真实视频帧在所述待检测视频中对应的部分确定为真实视频部分。
CN202110794865.XA 2021-07-14 2021-07-14 一种虚假视频的检测方法及系统 Active CN113506272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110794865.XA CN113506272B (zh) 2021-07-14 2021-07-14 一种虚假视频的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110794865.XA CN113506272B (zh) 2021-07-14 2021-07-14 一种虚假视频的检测方法及系统

Publications (2)

Publication Number Publication Date
CN113506272A true CN113506272A (zh) 2021-10-15
CN113506272B CN113506272B (zh) 2024-02-13

Family

ID=78013228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110794865.XA Active CN113506272B (zh) 2021-07-14 2021-07-14 一种虚假视频的检测方法及系统

Country Status (1)

Country Link
CN (1) CN113506272B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060248569A1 (en) * 2005-05-02 2006-11-02 Lienhart Rainer W Video stream modification to defeat detection
US20200089995A1 (en) * 2018-09-14 2020-03-19 Faceshield Inc. Disruption of face detection
CN111476727A (zh) * 2020-03-26 2020-07-31 南京信息工程大学 一种面向换脸视频检测的视频运动增强方法
CN111626925A (zh) * 2020-07-24 2020-09-04 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN111738217A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 生成人脸对抗补丁的方法和装置
CN112215251A (zh) * 2019-07-09 2021-01-12 百度（美国）有限责任公司 用于使用基于特征分散的对抗训练来防御对抗攻击的系统和方法
US20210042529A1 (en) * 2019-08-07 2021-02-11 Zerofox, Inc. Methods and systems for detecting deepfakes
CN112464245A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 一种面向深度学习图像分类模型的泛化的安全性评估方法
WO2021068487A1 (zh) * 2019-10-12 2021-04-15 深圳壹账通智能科技有限公司 人脸识别模型构建方法、装置、计算机设备和存储介质
CN113076557A (zh) * 2021-04-02 2021-07-06 北京大学 一种基于对抗攻击的多媒体隐私保护方法、装置及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060248569A1 (en) * 2005-05-02 2006-11-02 Lienhart Rainer W Video stream modification to defeat detection
US20200089995A1 (en) * 2018-09-14 2020-03-19 Faceshield Inc. Disruption of face detection
CN112215251A (zh) * 2019-07-09 2021-01-12 百度（美国）有限责任公司 用于使用基于特征分散的对抗训练来防御对抗攻击的系统和方法
US20210042529A1 (en) * 2019-08-07 2021-02-11 Zerofox, Inc. Methods and systems for detecting deepfakes
WO2021068487A1 (zh) * 2019-10-12 2021-04-15 深圳壹账通智能科技有限公司 人脸识别模型构建方法、装置、计算机设备和存储介质
CN111476727A (zh) * 2020-03-26 2020-07-31 南京信息工程大学 一种面向换脸视频检测的视频运动增强方法
CN111626925A (zh) * 2020-07-24 2020-09-04 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN111738217A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 生成人脸对抗补丁的方法和装置
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN112464245A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 一种面向深度学习图像分类模型的泛化的安全性评估方法
CN113076557A (zh) * 2021-04-02 2021-07-06 北京大学 一种基于对抗攻击的多媒体隐私保护方法、装置及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
APURVA GANDHI: ""Adversarial Perturbations Fool Deepfake Detectors"", 《2020 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
暴雨轩: ""深度伪造视频检测技术综述"", 《计算机科学》 *
暴雨轩;芦天亮;杜彦辉;: "深度伪造视频检测技术综述", 计算机科学, no. 09 *
洪凯: ""基于自监督的虚假视频检测"", 《基于自监督的虚假视频检测》 *

Also Published As

Publication number Publication date
CN113506272B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
Hu et al. A novel image steganography method via deep convolutional generative adversarial networks
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN112950581B (zh) 质量评估方法、装置和电子设备
Lerch-Hostalot et al. Unsupervised steganalysis based on artificial training sets
CN109961444B (zh) 图像处理方法、装置及电子设备
CN111598182B (zh) 训练神经网络及图像识别的方法、装置、设备及介质
CN111652290B (zh) 一种对抗样本的检测方法及装置
CN113674140A (zh) 一种物理对抗样本生成方法及系统
CN110348475A (zh) 一种基于空间变换的对抗样本增强方法和模型
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN108537119A (zh) 一种小样本视频识别方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN112884147B (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN111738054A (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN116311214B (zh) 车牌识别方法和装置
CN111783812A (zh) 违禁图像识别方法、装置和计算机可读存储介质
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
CN110689066B (zh) 一种人脸识别数据均衡与增强相结合的训练方法
CN115511910B (zh) 面向视频跟踪的对抗攻击方法、系统、介质、设备及终端
Irshad et al. IMGCAT: An approach to dismantle the anonymity of a source camera using correlative features and an integrated 1D convolutional neural network
CN116958809A (zh) 一种特征库迁移的遥感小样本目标检测方法
CN113762382B (zh) 模型的训练及场景识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant