CN114565880A - 一种基于光流追踪的伪造视频检验方法、系统及设备 - Google Patents

一种基于光流追踪的伪造视频检验方法、系统及设备 Download PDF

Info

Publication number
CN114565880A
CN114565880A CN202210455467.XA CN202210455467A CN114565880A CN 114565880 A CN114565880 A CN 114565880A CN 202210455467 A CN202210455467 A CN 202210455467A CN 114565880 A CN114565880 A CN 114565880A
Authority
CN
China
Prior art keywords
block
optical flow
convolution
convolution block
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210455467.XA
Other languages
English (en)
Other versions
CN114565880B (zh
Inventor
王中元
王闻捷
黄宝金
艾家欣
梁步云
韩镇
邹勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210455467.XA priority Critical patent/CN114565880B/zh
Publication of CN114565880A publication Critical patent/CN114565880A/zh
Application granted granted Critical
Publication of CN114565880B publication Critical patent/CN114565880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流追踪的伪造视频检验方法、系统及设备，首先对待检测视频数据集提取人脸，得到帧图像；然后构建并训练光流追踪神经网络，利用光流追踪神经网络，输入人脸视频，进行光流追踪；最后基于检测卷积神经网络，利用光流追踪数据对伪造视频进行检验。本发明通过光流追踪分析视频的运动与光线特征，从而发现伪造视频过程中产生的不一致性，得到更精准的伪造视频检验结果。本发明利用了物理学原理而非人的生理属性，而且由于光照线索不单存在于人脸视频，因此，本发明方法具有更好的普适性。

Description

一种基于光流追踪的伪造视频检验方法、系统及设备
技术领域
本发明属于人工智能安全技术领域，涉及一种深度伪造视频检验方法、系统及设备，具体涉及一种基于光流追踪的伪造视频检验方法、系统及设备。
技术背景
深度伪造（DeepFake）借助神经网络，将个人的声音、面部表情及身体动作拼接合成虚假内容。这种技术能对声音、图像或视频进行数字处理以模仿某特定人物，并且随着输入神经网络的训练样本量不断增加，生成的虚假内容会越来越逼真，使辨别信息真伪变得困难。
国内外对检测深度伪造人脸的研究既有传统机器学习方法，也有深度学习方法。2018年，Darius Afchar等采用了深度学习的方法对FaceSwap、DeepFake、Face2Face等软件生成的伪造人脸进行了检测。2019年6月，美国南加州大学和加州大学伯克利分校的研究人员合作研发出新AI工具，可识别出DeepFake虚假视频，其识别准确率达到92%。该工具可通过训练确定每个人讲话或做表情时面部各器官的特定细节动作，而虚假视频则没有这些细节。研究人员还计划通过识别人声的独特节奏和特征，来进一步提高AI识别假视频的成功率。2020年，微软亚洲研究院和北京大学联合提出了FaceShifter和FaceX-Ray，前者是一种高保真、能够感知遮挡的AI“换脸工具”，后者则是针对伪造人脸图像的通用检测工具，取得业界领先的性能的同时，所需数据量也少得多。
深度伪造视频往往将人脸作为伪造对象。视频中人脸的面部肌肉丰富，并且无时无刻不在运动，无法被深度伪造方法完美模拟，分析面部运动可以有效的对深度伪造视频进行鉴别。光流追踪技术通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向。据此，本发明提出一种基于光流追踪的伪造视频检验方法，将面部的光流追踪结果作为判断深度伪造视频的依据。
发明内容
对于真实视频来说，连续的帧之间物体的移动是连续一致的，隐含了视频原始的时序信息。而对于伪造视频来说，在产生伪造视频的过程中，面部的替换是逐帧实现的。在替换过程中产生的运动失真、扭曲不可避免的造成了一致性的缺失。因此，通过提取、识别视频中相邻两帧之间的差别可以帮助甄别、检验伪造视频。光流追踪是一种成熟可靠的物体运动追踪技术，可以精确的逐像素预测物体运动，非常适合于伪造视频检验。
基于上述原理，本发明提供了一种基于光流追踪的伪造视频检验方法、系统及设备。
本发明的方法所采用的技术方案是：一种基于光流追踪的伪造视频检验方法，包括以下步骤：
步骤1：对待检测视频数据集提取人脸，得到帧图像；
将待检测视频数据集中的视频逐帧转化为图像序列，提取RGB图像中的人脸，预处理人脸图像大小为预定大小；
步骤2：构建并训练光流追踪神经网络，利用光流追踪神经网络，输入人脸视频，进行光流追踪；
所述光流追踪神经网络，整体由特征/上下文信息编码器和迭代更新模块构成，包括第一7×7卷积块、第一残差块、第二残差块、第三残差块、第一3×3卷积块、第二7×7卷积块、第二3×3卷积块、第一1×1卷积块、第三3×3卷积块、第四3×3卷积块、门控循环单元、第五3×3卷积块和第二1×1卷积块组成；
所述第一7×7卷积块、第一残差块、第二残差块、第三残差块，第一3×3卷积块顺序连接，共同构成特征/上下文信息编码器，输入相邻的两帧图像，经过特征/上下文信息编码器，提取两张图像的特征并初始化相关性查找表，同时提取前一帧图像的上下文信息；
所述第二7×7卷积块与第二3×3卷积块顺序连接，所述第一1×1卷积块与第三3×3卷积块顺序连接，上述两者输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出输入所述门控循环单元；所述第五3×3卷积块和第二1×1卷积块顺序连接，所述门控循环单元输出作为门控循环单元下一节点隐状态，同时输入上述顺序连接卷积块。这个过程共同构成迭代更新模块，输入为光流信息、相关性查找表与上下文信息，在门控循环单元中迭代更新后输出光流向量的更新值；
所述第一7×7卷积块和第二7×7卷积块由一个7×7卷积层、一个归一化层和一个修正线性单元层构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块由一个3×3卷积层、一个归一化层和一个修正线性单元层构成；所述第一1×1卷积块、第二1×1卷积块由一个1×1卷积层、一个归一化层和一个修正线性单元层构成；所述第一残差块、第二残差块、第三残差块由两个3×3卷积层、一个修正线性单元层和一个归一化层构成；所述门控循环单元由三个3×3卷积层构成；
步骤3：基于检测卷积神经网络，利用光流追踪数据对伪造视频进行检验。
本发明的系统所采用的技术方案是：一种基于光流追踪的伪造视频检验系统，包括以下模块：
模块1，对待检测视频数据集提取人脸，得到帧图像；
将待检测视频数据集中的视频逐帧转化为图像序列，提取RGB图像中的人脸，预处理人脸图像大小为预定大小；
模块2，用于构建并训练光流追踪神经网络，利用光流追踪神经网络，输入人脸视频，进行光流追踪；
所述光流追踪神经网络，整体由特征/上下文信息编码器和迭代更新模块构成，包括第一7×7卷积块、第一残差块、第二残差块、第三残差块、第一3×3卷积块、第二7×7卷积块、第二3×3卷积块、第一1×1卷积块、第三3×3卷积块、第四3×3卷积块、门控循环单元、第五3×3卷积块和第二1×1卷积块组成；
所述第一7×7卷积块、第一残差块、第二残差块、第三残差块，第一3×3卷积块顺序连接，共同构成特征/上下文信息编码器，输入相邻的两帧图像，经过特征/上下文信息编码器，提取两张图像的特征并初始化相关性查找表，同时提取前一帧图像的上下文信息；
所述第二7×7卷积块与第二3×3卷积块顺序连接，所述第一1×1卷积块与第三3×3卷积块顺序连接，上述两者输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出输入所述门控循环单元；所述第五3×3卷积块和第二1×1卷积块顺序连接，所述门控循环单元输出作为门控循环单元下一节点隐状态，同时输入上述顺序连接卷积块。这个过程共同构成迭代更新模块，输入为光流信息、相关性查找表与上下文信息，在门控循环单元中迭代更新后输出光流向量的更新值；
所述第一7×7卷积块和第二7×7卷积块由一个7×7卷积层、一个归一化层和一个修正线性单元层构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块由一个3×3卷积层、一个归一化层和一个修正线性单元层构成；所述第一1×1卷积块、第二1×1卷积块由一个1×1卷积层、一个归一化层和一个修正线性单元层构成；所述第一残差块、第二残差块、第三残差块由两个3×3卷积层、一个修正线性单元层和一个归一化层构成；所述门控循环单元由三个3×3卷积层构成；
模块3，用于基于检测卷积神经网络，利用光流追踪数据对伪造视频进行检验。
本发明的设置所采用的技术方案是：一种基于光流追踪的伪造视频检验设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于光流追踪的伪造视频检验方法。
与现有的伪造人脸视频检测方案相比，本发明具有以下的优点与积极效果：
1）本发明通过光流追踪分析视频的运动与光线特征，从而发现伪造视频过程中产生的不一致性，得到更精准的伪造视频检验结果。
2）本发明利用了物理学原理而非人的生理属性，而且由于光照线索不单存在于人脸视频，因此，本发明方法具有更好的普适性。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的光流追踪神经网络结构图；
图3为本发明实施例的检测卷积神经网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于光流追踪的伪造视频检验方法，包括以下步骤：
步骤1：对待检测视频数据集提取人脸，得到帧图像；
将待检测视频数据集中的视频逐帧转化为图像序列，使用开源工具dlib提取RGB图像中的人脸，输出人脸图像大小为300 × 300；
步骤2：构建并训练光流追踪神经网络，利用光流追踪神经网络，输入人脸视频，进行光流追踪；
请见图2，本实施例的光流追踪神经网络，整体由特征/上下文信息编码器和迭代更新模块构成，包括第一7×7卷积块、第一残差块、第二残差块、第三残差块、第一3×3卷积块、第二7×7卷积块、第二3×3卷积块、第一1×1卷积块、第三3×3卷积块、第四3×3卷积块、门控循环单元、第五3×3卷积块和第二1×1卷积块组成；
本实施例中第一7×7卷积块、第一残差块、第二残差块、第三残差块，第一3×3卷积块顺序连接，共同构成特征/上下文信息编码器，输入相邻的两帧图像，经过特征/上下文信息编码器，提取两张图像的特征并初始化相关性查找表，同时提取前一帧图像的上下文信息；
本实施例中第二7×7卷积块与第二3×3卷积块顺序连接，第一1×1卷积块与第三3×3卷积块顺序连接，上述两者输出进行拼接后输入所述第四3×3卷积块，第四3×3卷积块输出输入所述门控循环单元；第五3×3卷积块和第二1×1卷积块顺序连接，门控循环单元输出作为门控循环单元下一节点隐状态，同时输入上述顺序连接卷积块。这个过程共同构成迭代更新模块，输入为光流信息、相关性查找表与上下文信息，在门控循环单元中迭代更新后输出光流向量的更新值；
本实施例中第一7×7卷积块和第二7×7卷积块由一个7×7卷积层、一个归一化层和一个修正线性单元层构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块由一个3×3卷积层、一个归一化层和一个修正线性单元层构成；第一1×1卷积块、第二1×1卷积块由一个1×1卷积层、一个归一化层和一个修正线性单元层构成；第一残差块、第二残差块、第三残差块由两个3×3卷积层、一个修正线性单元层和一个归一化层构成；门控循环单元由三个3×3卷积层构成；
本实施例采用的光流追踪神经网络，为训练好的光流追踪神经网络；其训练过程是，使用ADAM模型优化算法完成光流追踪神经网络的优化迭代，学习率设置为10-4；选用批尺寸为12以实现光流追踪神经网络的循环迭代；损失函数为：
Figure 774355DEST_PATH_IMAGE001
；
其中，
Figure 835852DEST_PATH_IMAGE002
表示参考标准，
Figure 681055DEST_PATH_IMAGE003
为超参数，
Figure 155898DEST_PATH_IMAGE004
；N表示输入视频序列总帧数， f i 表示所预测的第i帧光流。
使用基于GRU的迭代执行器，其隐状态的输出h t 用来预测光流的更新
Figure 183897DEST_PATH_IMAGE005
；最后
Figure 427797DEST_PATH_IMAGE006
，完成迭代；其中，为计算出最终的光流
Figure 679787DEST_PATH_IMAGE007
，需将 光流初始化为0，即
Figure 579609DEST_PATH_IMAGE008
。
在光流追踪神经网络的训练和评估过程中执行一次上采样操作，使得光流输出的1/8分辨率的图片与原始图片分辨率相吻合。
本实施例中，步骤2的具体实现包括以下子步骤：
步骤2.1：取连续两帧RGB图像
Figure 709502DEST_PATH_IMAGE009
，提取两张图像的特征
Figure 11170DEST_PATH_IMAGE010
，特征 的分辨率为原图的1/8，即
Figure 434061DEST_PATH_IMAGE011
；其中，
Figure 883497DEST_PATH_IMAGE012
表示特征提取网络，W、 H、D分别表示图像的长度、宽度和图像通道数，D=256；
步骤2.2：构建与特征/上下文信息编码器结构相同的上下文网络h 0 ，提取图像I 1的特征h 0 (I 1)；
步骤2.3：对于
Figure 253299DEST_PATH_IMAGE013
，采用k-最近邻算法， 通过将两个特征逐对点乘来计算相关性
Figure 206211DEST_PATH_IMAGE010
，对于
Figure 3266DEST_PATH_IMAGE014
， 保存h (h=8)个相关性最大的点坐标，生成稀疏相关性查找表
Figure 172954DEST_PATH_IMAGE015
；
Figure 346446DEST_PATH_IMAGE016
；
其中，i,j和k,l分别表示
Figure 419444DEST_PATH_IMAGE010
的坐标，d表示图像通道数，
Figure 449717DEST_PATH_IMAGE017
表示 坐标点
Figure 545849DEST_PATH_IMAGE018
之间的相关性值，
Figure 319770DEST_PATH_IMAGE019
表示对应图像特征在对 应坐标点上的值；
步骤2.4：分别用大小为{1，2，4，8}的核对得出的相关性查找表
Figure 748740DEST_PATH_IMAGE015
的后两个维度进行平均池化，从而构建出一个四层的相关性金字塔
Figure 887597DEST_PATH_IMAGE020
，其中
Figure 533342DEST_PATH_IMAGE021
；k=1,2,3,4；
这样做的目的是，保留前两维（也即I 1的信息）从而保持高分辨率的信息，使得光流追踪计算时可以检测到细小、快速运动的物体。
步骤2.5：定义光流
Figure 845375DEST_PATH_IMAGE022
，设预测产生的I 2中与I 1中的每个像素
Figure 830648DEST_PATH_IMAGE023
对应的像素位置为
Figure 202724DEST_PATH_IMAGE024
，定义一个
Figure 273448DEST_PATH_IMAGE025
邻域点集：
Figure 887707DEST_PATH_IMAGE026
；
其中，dx是整数，对于在该邻域内的所有点，可以看作是I 1上的像素x在I 2上的潜在 位置；
Figure 727487DEST_PATH_IMAGE027
表示dx是整数，r表示该领域的半径；
本实施例在
Figure 270463DEST_PATH_IMAGE028
层通过邻域
Figure 625221DEST_PATH_IMAGE029
来建立索引，邻域的半径r与层数k相 同，故建立了
Figure 482319DEST_PATH_IMAGE030
个像素的索引，将相关性金字塔的每一层都建立索引，并连接到一张特征 图。
步骤3：基于检测卷积神经网络，利用光流追踪数据对伪造视频进行检验。
请见图3，本实施例采用的检测卷积神经网络，包括3×3卷积块、第一5×5卷积块、第二5×5卷积块、第三5×5卷积块组成；3×3卷积块、第一5×5卷积块、第二5×5卷积块、第三5×5卷积块顺序连接，根据输入光流追踪结果对视频进行伪造检验。
3×3卷积块由一个3×3卷积层和一个2×2最大池化层构成；第一5×5卷积块、第二5×5卷积块由一个5×5卷积层和一个2×2最大池化层构成；第三5×5卷积块由一个5×5卷积层、一个2×2最大池化层和一个全连接层构成。
本实施例采用的为训练好的检测卷积神经网络；其训练过程包括以下步骤：
步骤3.1：构建训练集；
步骤3.2：利用光流追踪神经网络，对训练数据集进行光流追踪，并按是否伪造进行分类；
步骤3.3：将分类数据与标签输入检测卷积神经网络；使用ADAM模型优化算法，学习率设置为10-4；损失函数选择均方误差，可表示为：
Figure 238922DEST_PATH_IMAGE031
；
其中，n表示输入视频个数，
Figure 454265DEST_PATH_IMAGE032
为预测值，
Figure 499582DEST_PATH_IMAGE033
为标签值；选用批尺寸为256以实现 检测卷积神经网络的循环迭代，直至检测卷积神经网络收敛。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于光流追踪的伪造视频检验方法，其特征在于，包括以下步骤：
步骤1：对待检测视频数据集提取人脸，得到帧图像；
将待检测视频数据集中的视频逐帧转化为图像序列，提取RGB图像中的人脸，预处理人脸图像大小为预定大小；
步骤2：构建并训练光流追踪神经网络，利用光流追踪神经网络，输入人脸视频，进行光流追踪；
所述光流追踪神经网络，整体由特征/上下文信息编码器和迭代更新模块构成，包括第一7×7卷积块、第一残差块、第二残差块、第三残差块、第一3×3卷积块、第二7×7卷积块、第二3×3卷积块、第一1×1卷积块、第三3×3卷积块、第四3×3卷积块、门控循环单元、第五3×3卷积块和第二1×1卷积块组成；
所述第一7×7卷积块、第一残差块、第二残差块、第三残差块，第一3×3卷积块顺序连接，共同构成特征/上下文信息编码器，输入相邻的两帧图像，经过特征/上下文信息编码器，提取两张图像的特征并初始化相关性查找表，同时提取前一帧图像的上下文信息；
所述第二7×7卷积块与第二3×3卷积块顺序连接，所述第一1×1卷积块与第三3×3卷积块顺序连接，上述两者输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出输入所述门控循环单元；所述第五3×3卷积块和第二1×1卷积块顺序连接，所述门控循环单元输出作为门控循环单元下一节点隐状态，同时输入上述顺序连接卷积块；这个过程共同构成迭代更新模块，输入为光流信息、相关性查找表与上下文信息，在门控循环单元中迭代更新后输出光流向量的更新值；
所述第一7×7卷积块和第二7×7卷积块由一个7×7卷积层、一个归一化层和一个修正线性单元层构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块由一个3×3卷积层、一个归一化层和一个修正线性单元层构成；所述第一1×1卷积块、第二1×1卷积块由一个1×1卷积层、一个归一化层和一个修正线性单元层构成；所述第一残差块、第二残差块、第三残差块由两个3×3卷积层、一个修正线性单元层和一个归一化层构成；所述门控循环单元由三个3×3卷积层构成；
步骤3：基于检测卷积神经网络，利用光流追踪数据对伪造视频进行检验。
2.根据权利要求1所述的基于光流追踪的伪造视频检验方法，其特征在于，步骤2的具体实现包括以下子步骤：
步骤2.1：取连续两帧RGB图像
Figure 697766DEST_PATH_IMAGE001
，提取两张图像的特征
Figure 614906DEST_PATH_IMAGE002
，特征的分 辨率为原图的1/8，即
Figure 332326DEST_PATH_IMAGE003
；其中，
Figure 665219DEST_PATH_IMAGE004
表示特征提取网络，W、H、D分 别表示图像的长度、宽度和图像通道数；
步骤2.2：构建与特征/上下文信息编码器结构相同的上下文网络h 0 ，提取图像I 1的特征h 0 (I 1)；
步骤2.3：对于
Figure 479591DEST_PATH_IMAGE005
，采用k-最近邻算法，通过 将两个特征逐对点乘来计算相关性
Figure 738272DEST_PATH_IMAGE002
，对于
Figure 942988DEST_PATH_IMAGE006
，保存h 个相关性最大的点坐标，生成稀疏相关性查找表
Figure 141888DEST_PATH_IMAGE007
；
Figure 748450DEST_PATH_IMAGE008
；
其中，i,j和k,l分别表示
Figure 679497DEST_PATH_IMAGE002
的坐标，d表示图像通道数，
Figure 433826DEST_PATH_IMAGE009
表示坐标点
Figure 607056DEST_PATH_IMAGE010
之间的相关性值，
Figure 130442DEST_PATH_IMAGE011
表示对应图像特征在对应坐标 点上的值；
步骤2.4：分别用大小为{1，2，4，8}的核对得出的相关性查找表
Figure 497969DEST_PATH_IMAGE007
的 后两个维度进行平均池化，从而构建出一个四层的相关性金字塔
Figure 739595DEST_PATH_IMAGE012
，其 中
Figure 952401DEST_PATH_IMAGE013
；k=1,2,3,4；
步骤2.5：定义光流
Figure 533555DEST_PATH_IMAGE014
，设预测产生的I 2中与I 1中的每个像素
Figure 868722DEST_PATH_IMAGE015
对应 的像素位置为
Figure 33861DEST_PATH_IMAGE016
，定义一个
Figure 112676DEST_PATH_IMAGE017
邻域点集：
Figure 548336DEST_PATH_IMAGE018
；
其中，dx是整数，对于在该邻域内的所有点，可以看作是I 1上的像素x在I 2上的潜在位 置；
Figure 257666DEST_PATH_IMAGE019
表示dx是整数，r表示该领域的半径；
在
Figure 208305DEST_PATH_IMAGE020
层通过邻域
Figure 28493DEST_PATH_IMAGE021
来建立索引，邻域的半径r与层数k相同，故建立了
Figure 380977DEST_PATH_IMAGE022
个像素的索引，将相关性金字塔的每一层都建立索引，并连接到一张特征图。
3.根据权利要求1所述的基于光流追踪的伪造视频检验方法，其特征在于，步骤2中所述光流追踪神经网络，为训练好的光流追踪神经网络；其训练过程是，使用ADAM模型优化算法完成光流追踪神经网络的优化迭代，损失函数为：
Figure 759744DEST_PATH_IMAGE023
；
其中，
Figure 135361DEST_PATH_IMAGE024
表示参考标准，N表示输入视频序列总帧数，
Figure 555979DEST_PATH_IMAGE025
为超参数，f i 表示所预测的第i 帧光流。
4.根据权利要求1所述的基于光流追踪的伪造视频检验方法，其特征在于，步骤3中所述检测卷积神经网络，包括3×3卷积块、第一5×5卷积块、第二5×5卷积块、第三5×5卷积块组成；所述3×3卷积块、第一5×5卷积块、第二5×5卷积块、第三5×5卷积块顺序连接，根据输入光流追踪结果对视频进行伪造检验；
所述3×3卷积块由一个3×3卷积层和一个2×2最大池化层构成；所述第一5×5卷积块、第二5×5卷积块由一个5×5卷积层和一个2×2最大池化层构成；所述第三5×5卷积块由一个5×5卷积层、一个2×2最大池化层和一个全连接层构成。
5.根据权利要求1所述的基于光流追踪的伪造视频检验方法，其特征在于，步骤3中所述检测卷积神经网络，为训练好的检测卷积神经网络；其训练过程包括以下步骤：
步骤3.1：构建训练集；
步骤3.2：利用光流追踪神经网络，对训练数据集进行光流追踪，并按是否伪造进行分类；
步骤3.3：将分类数据与标签输入所述检测卷积神经网络；使用ADAM模型优化算法，损失函数选择为：
Figure 966231DEST_PATH_IMAGE026
；
其中，n表示输入视频个数，
Figure 79681DEST_PATH_IMAGE027
为预测值，
Figure 942595DEST_PATH_IMAGE028
为标签值；进行检测卷积神经网络循环迭 代，直至所述检测卷积神经网络收敛。
6.一种基于光流追踪的伪造视频检验系统，其特征在于，包括以下模块：
模块1，对待检测视频数据集提取人脸，得到帧图像；
将待检测视频数据集中的视频逐帧转化为图像序列，提取RGB图像中的人脸，预处理人脸图像大小为预定大小；
模块2，用于构建并训练光流追踪神经网络，利用光流追踪神经网络，输入人脸视频，进行光流追踪；
所述光流追踪神经网络，整体由特征/上下文信息编码器和迭代更新模块构成，包括第一7×7卷积块、第一残差块、第二残差块、第三残差块、第一3×3卷积块、第二7×7卷积块、第二3×3卷积块、第一1×1卷积块、第三3×3卷积块、第四3×3卷积块、门控循环单元、第五3×3卷积块和第二1×1卷积块组成；
所述第一7×7卷积块、第一残差块、第二残差块、第三残差块，第一3×3卷积块顺序连接，共同构成特征/上下文信息编码器，输入相邻的两帧图像，经过特征/上下文信息编码器，提取两张图像的特征并初始化相关性查找表，同时提取前一帧图像的上下文信息；
所述第二7×7卷积块与第二3×3卷积块顺序连接，所述第一1×1卷积块与第三3×3卷积块顺序连接，上述两者输出进行拼接后输入所述第四3×3卷积块，所述第四3×3卷积块输出输入所述门控循环单元；所述第五3×3卷积块和第二1×1卷积块顺序连接，所述门控循环单元输出作为门控循环单元下一节点隐状态，同时输入上述顺序连接卷积块；这个过程共同构成迭代更新模块，输入为光流信息、相关性查找表与上下文信息，在门控循环单元中迭代更新后输出光流向量的更新值；
所述第一7×7卷积块和第二7×7卷积块由一个7×7卷积层、一个归一化层和一个修正线性单元层构成；所述第一3×3卷积块、第二3×3卷积块、第三3×3卷积块、第四3×3卷积块、第五3×3卷积块由一个3×3卷积层、一个归一化层和一个修正线性单元层构成；所述第一1×1卷积块、第二1×1卷积块由一个1×1卷积层、一个归一化层和一个修正线性单元层构成；所述第一残差块、第二残差块、第三残差块由两个3×3卷积层、一个修正线性单元层和一个归一化层构成；所述门控循环单元由三个3×3卷积层构成；
模块3，用于基于检测卷积神经网络，利用光流追踪数据对伪造视频进行检验。
7.一种基于光流追踪的伪造视频检验设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的基于光流追踪的伪造视频检验方法。
CN202210455467.XA 2022-04-28 2022-04-28 一种基于光流追踪的伪造视频检验方法、系统及设备 Active CN114565880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210455467.XA CN114565880B (zh) 2022-04-28 2022-04-28 一种基于光流追踪的伪造视频检验方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210455467.XA CN114565880B (zh) 2022-04-28 2022-04-28 一种基于光流追踪的伪造视频检验方法、系统及设备

Publications (2)

Publication Number Publication Date
CN114565880A true CN114565880A (zh) 2022-05-31
CN114565880B CN114565880B (zh) 2022-07-19

Family

ID=81720952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210455467.XA Active CN114565880B (zh) 2022-04-28 2022-04-28 一种基于光流追踪的伪造视频检验方法、系统及设备

Country Status (1)

Country Link
CN (1) CN114565880B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486107A (zh) * 2023-06-21 2023-07-25 南昌航空大学 一种光流计算方法、系统、设备及介质
CN116524408A (zh) * 2023-05-09 2023-08-01 山东省人工智能研究院 基于面部特征增强以及光流评估的虚假视频检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262224B1 (en) * 2017-07-19 2019-04-16 The United States Of America As Represented By Secretary Of The Navy Optical flow estimation using a neural network and egomotion optimization
JP2020027659A (ja) * 2018-08-10 2020-02-20 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 畳み込み回帰型ニューラルネットワークを訓練させる方法、および訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法
CN112132871A (zh) * 2020-08-05 2020-12-25 天津(滨海)人工智能军民融合创新中心 一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端
WO2021211771A1 (en) * 2020-04-17 2021-10-21 Portland State University Systems and methods for optical flow estimation
CN113807318A (zh) * 2021-10-11 2021-12-17 南京信息工程大学 一种基于双流卷积神经网络和双向gru的动作识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262224B1 (en) * 2017-07-19 2019-04-16 The United States Of America As Represented By Secretary Of The Navy Optical flow estimation using a neural network and egomotion optimization
JP2020027659A (ja) * 2018-08-10 2020-02-20 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 畳み込み回帰型ニューラルネットワークを訓練させる方法、および訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法
WO2021211771A1 (en) * 2020-04-17 2021-10-21 Portland State University Systems and methods for optical flow estimation
CN112132871A (zh) * 2020-08-05 2020-12-25 天津(滨海)人工智能军民融合创新中心 一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端
CN113807318A (zh) * 2021-10-11 2021-12-17 南京信息工程大学 一种基于双流卷积神经网络和双向gru的动作识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IRENE AMERINI 等: "Deepfake Video Detection through Optical Flow based CNN", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP》 *
吕培建 等: "基于上下文以及多尺度信息融合的目标检测算法", 《计算机科学》 *
邹勤 等: "人脸伪造及检测技术综述", 《中国图象图形学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524408A (zh) * 2023-05-09 2023-08-01 山东省人工智能研究院 基于面部特征增强以及光流评估的虚假视频检测方法
CN116524408B (zh) * 2023-05-09 2024-02-02 山东省人工智能研究院 基于面部特征增强以及光流评估的虚假视频检测方法
CN116486107A (zh) * 2023-06-21 2023-07-25 南昌航空大学 一种光流计算方法、系统、设备及介质
CN116486107B (zh) * 2023-06-21 2023-09-05 南昌航空大学 一种光流计算方法、系统、设备及介质

Also Published As

Publication number Publication date
CN114565880B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
Ge et al. An attention mechanism based convolutional LSTM network for video action recognition
CN114565880B (zh) 一种基于光流追踪的伪造视频检验方法、系统及设备
CN112069896B (zh) 一种基于孪生网络融合多模板特征的视频目标跟踪方法
WO2022111236A1 (zh) 一种结合注意力机制的面部表情识别方法及系统
CN109948475B (zh) 一种基于骨架特征和深度学习的人体动作识别方法
CN111444881A (zh) 伪造人脸视频检测方法和装置
KR20200000824A (ko) 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
Kadam et al. Detection and localization of multiple image splicing using MobileNet V1
CN111667559B (zh) 一种基于深度迁移网络的多形态人脸情感生成方法
CN106650617A (zh) 一种基于概率潜在语义分析的行人异常识别方法
Haq et al. Boosting the face recognition performance of ensemble based LDA for pose, non-uniform illuminations, and low-resolution images
CN112801068B (zh) 一种视频多目标跟踪与分割系统和方法
CN112949647A (zh) 三维场景描述方法、装置、电子设备和存储介质
CN112883896A (zh) 一种基于bert网络的微表情检测方法
Xu et al. Face expression recognition based on convolutional neural network
CN112597324A (zh) 一种基于相关滤波的图像哈希索引构建方法、系统及设备
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN114821764A (zh) 一种基于kcf追踪检测的手势图像识别方法及系统
CN113920170A (zh) 结合场景上下文和行人社会关系的行人轨迹预测方法、系统及存储介质
CN114550268A (zh) 一种利用时空特征的深度伪造视频检测方法
Putra et al. Markerless human activity recognition method based on deep neural network model using multiple cameras
CN114066844A (zh) 一种基于注意力叠加与特征融合的肺炎x光片图像分析模型及分析方法
CN116311493A (zh) 一种基于编码解码架构的两阶段人-物交互检测方法
CN114863520B (zh) 一种基于c3d-sa的视频表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant