CN113627285A - 视频取证方法、系统和介质 - Google Patents

视频取证方法、系统和介质 Download PDF

Info

Publication number
CN113627285A
CN113627285A CN202110845207.9A CN202110845207A CN113627285A CN 113627285 A CN113627285 A CN 113627285A CN 202110845207 A CN202110845207 A CN 202110845207A CN 113627285 A CN113627285 A CN 113627285A
Authority
CN
China
Prior art keywords
residual
video
module
collusion
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110845207.9A
Other languages
English (en)
Inventor
李峰
肖灿
章登勇
吴鹏杰
朱文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202110845207.9A priority Critical patent/CN113627285A/zh
Publication of CN113627285A publication Critical patent/CN113627285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频取证方法、系统和介质，其中视频取证方法包括：获取目标视频；根据共谋算子获取所述目标视频中的每一图片帧对应的运动残差；将所述运动残差输入至训练完成后的高通滤波全卷积网络，得到所述高通滤波全卷积网络输出所述目标视频的取证结果。能够较好地对篡改的视频进行取证，取证效率高，有效降低了视频取证的难度，而且能够有效验证视频的原始性、完整性和真实性，具有较好的实用价值。

Description

视频取证方法、系统和介质
技术领域
本发明涉及视频取证技术领域，特别涉及一种视频取证方法、系统和介质。
背景技术
随着数字信息化时代的到来，数字图像、视频等媒体信息被广泛应用于人们的生活中，深刻地影响着人们生活。
在相关技术中，很难通过肉眼观察去判断视频的真假，只能根据视频内容、语义信息、视频逻辑和篡改痕迹来判断视频是否被篡改，即使是专业人员研究起来也比较浪费时间和精力，因此，需要借助某些工具或者特定的现代技术手段才可以高效率的辨别视频的真伪，并且才能够找到哪些视频片段是被篡改的，定位到相关的图片帧和位置。视频是由多个图片帧组成的，视频篡改的形式主要有帧删除、帧重复和帧插入等。同时，对于图像的各种修改也可以应用于视频上，实际传输中视频也会经过压缩等处理，视频取证的难度也会更高。
发明内容
本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种视频取证方法，能够较好地对篡改的视频进行取证，取证效率高，有效降低了视频取证的难度，而且能够有效验证视频的原始性、完整性和真实性，具有较好的实用价值。
本发明还提出一种具有上述视频取证方法的基于高通滤波全卷积网络的视频取证系统。
本发明还提出一种具有上述视频取证方法的计算机可读存储介质。
第一方面，本实施例提供了一种视频取证方法，包括以下步骤：
获取目标视频；
根据共谋算子获取所述目标视频中的每一图片帧对应的运动残差；
将所述运动残差输入至训练完成后的高通滤波全卷积网络，得到所述高通滤波全卷积网络输出所述目标视频的取证结果。
根据本发明实施例的视频取证方法，至少具有如下有益效果：
首先，获取需要分析的视频，视频是由多个图片帧组成的，视频篡改的形式主要有帧删除、帧重复和帧插入；伪造者想要在原始视频上去掉一个人，并不能直接在GOP结构上操作，而是需要将视频解压，得到独立的帧，再在每一帧上抹除那个人，最后将独立的帧重新压缩为视频。编码视频流中的每个GOP都可以视为本地时间窗口，GOP中的P帧(预测编码帧)/B帧(双向预测帧)实际上是相应I帧(帧内编码帧)的运动残差，也就是本地时间窗口中的每个帧的运动部分，对于视频中的每个帧，其运动残差包含该帧的帧内属性，还包含相应帧的帧间固有属性。本实施例提供的视频取证方法，在基于对象的篡改视频的取证工作上应用共谋算子提取运动残差，高通滤波全卷积网络来检测和定位，应用了上下文残差聚合来强化结果，能够很好地实现了对视频篡改的有效取证，取证效率高，能够有效验证视频的原始性、完整性和真实性，具有较好的实用价值。
根据本发明的一些实施例，所述根据共谋算子获取所述目标视频中的每一图片帧对应的运动残差，包括步骤：
对所述图片帧在时间窗口内使用共谋算子进行共谋操作得到共谋结果，根据所述共谋结果和所述图片帧计算得到运动残差。
根据本发明的一些实施例，所述将所述运动残差输入至训练完成后的高通滤波全卷积网络，得到所述高通滤波全卷积网络输出所述目标视频的取证结果，包括步骤：
将所述运动残差输入到高通滤波层，进行高通滤波处理后得到第一残差，所述第一残差用于表述增强篡改痕迹的所述运动残差；
对所述第一残差进行特征提取得到特征图；
对所述特征图执行上采样的连续转置卷积操作，生成具有逐像素预测的定位图；
根据所述图片帧和模糊图像计算得到上下文残差；
将所述上下文残差在聚合残差模块中计算得到缺失区域中的聚合残差；
将所述聚合残差添加到所述定位图中，得到取证结果。
对图片帧在时间窗口内使用共谋算子进行共谋操作得到共谋结果，根据共谋结果和图片帧计算得到运动残差；将运动残差输入到高通滤波层，进行高通滤波处理后得到第一残差，第一残差用于表述增强篡改痕迹的运动残差；对第一残差进行特征提取得到特征图；对特征图执行4倍上采样的两个连续转置卷积操作，生成具有逐像素预测的定位图；根据图片帧和模糊图像计算得到上下文残差；将上下文残差在注意力计算模块和注意力转移模块中计算得到缺失区域中的聚合残差；将聚合残差添加到定位图中，得到取证结果。
根据本发明的一些实施例，所述聚合残差模块包括注意力计算模块和注意力转移模块，所述注意力计算模块的输出端与所述注意力转移模块的输入端连接。
根据本发明的一些实施例，所述对所述第一残差进行特征提取得到特征图，包括步骤：
将所述第一残差输入到特征提取模块进行特征提取得到所述特征图，所述特征提取模块包括四个ResNet块，每个块由两个瓶颈单元组成，每个所述瓶颈单元都包括三个连续的卷积层和一个标识，所述卷基层通过所述标识跳过连接。
根据本发明的一些实施例，所述共谋算子包括最小共谋和中值共谋。
根据本发明的一些实施例，所述根据所述图片帧和模糊图像计算得到上下文残差，包括步骤：
将所述图片帧下采样，再进行上采样以获得与所述图片帧大小相同的模糊图像，所述模糊图像的高度和宽度都是512的整数倍数，使用所述图片帧减去所述模糊图像得到所述上下文残差。
根据本发明的一些实施例，所述高通滤波层包括3个3*3的高通滤波器。
第二方面，本实施例提供了一种基于高通滤波全卷积网络的视频取证系统，包括：
运动残差提取模块，用于提取待测图片帧对应的运动残差，所述运动残差提取模块的输入端与外部视频数据集连接，所述运动残差提取模块的输出端与预过滤模块的输入端连接；
预过滤模块，包括高通滤波全卷积网络，用于处理输入的运动残差，增强视频篡改操作留下的痕迹得到第一残差，所述预过滤模块的输出端与特征提取模块输入端连接；
特征提取模块，用于从所述第一残差中收集可区分的特征得到特征图，所述特征提取模块的输出端与上采样模块的输入端连接；
上采样模块,用于扩大空间分辨率，将所述特征图进行上采样生成逐像素的定位图，所述上采样模块的输出端与聚合残差模块的输出端连接；
聚合残差模块，包括注意力计算模块和注意力转移模块，所述注意力计算模块的输出端与所述注意力转移模块的输入端连接，所述聚合残差模块用于根据上下文残差计算得到聚合残差，将所述聚合残差添加到所述定位图以得到取证结果。
第三方面，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的视频取证方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中摘要附图要与说明书附图的其中一幅完全一致：
图1是本发明一个实施例提供的视频取证方法的流程图；
图2为本发明一个实施例提供的一种基于高通滤波全卷积网络的视频取证系统的结构示意图；
图3为本发明另一个实施例提供的一种视频取证方法上下文残差聚合机制的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
随着数字信息化时代的到来，数字图像、视频等媒体信息被广泛应用于我们的生活中，深刻地影响着我们的生活。通过视频伪造进行违法犯罪的例子越来越多，也对国家和社会的安全造成了威胁，为了保证视频的原始性、完整性、真实性，视频取证技术变得至关重要。
本发明提供了一种视频取证方法，在基于对象的篡改视频的取证工作上应用共谋算子提取运动残差，高通滤波全卷积网络来检测和定位，应用了上下文残差聚合来强化结果，能够很好地实现了对视频篡改的有效取证，取证效率高，能够有效验证视频的原始性、完整性和真实性，具有很好的实用价值。
下面结合附图，对本发明实施例作进一步阐述。
参照图1，图1是本发明一个实施例提供的视频取证方法的流程图，视频取证方法包括但不仅限于步骤S110至步骤S130。
步骤S110，获取目标视频；
步骤S120，根据共谋算子获取目标视频中的每一图片帧对应的运动残差；
步骤S130，将运动残差输入至训练完成后的高通滤波全卷积网络，得到高通滤波全卷积网络输出目标视频的取证结果。
在一实施例中，首先获取需要分析的视频，由于视频是包括多个图片帧的，对目标图片帧在时间窗口内使用共谋算子进行共谋操作得到共谋结果，将需要分析的视频中的所有帧分为三类：
(1)原始帧：未经压缩的原始压缩视频流中的帧。
(2)伪造帧：伪造视频流中经过篡改操作的帧。
(3)双重压缩帧：伪造视频中的帧没有被篡改，但仍经过重新压缩。
编码视频流中的每个GOP(Group of Pictures，画面组)结构都可以视为本地时间窗口，GOP结构中的P帧(预测编码帧)/B帧(双向预测帧)实际上是相应I帧(帧内编码帧)的运动残差，也就是，本地时间窗口中的每个帧的运动部分。对于视频中的每个帧，其运动残差包含该帧的帧内属性，还包含相应帧的帧间固有属性。但是，高级视频框架中GOP的灵活结构使基于GOP的视频取证方法无法实现。作为替代方案，采用共谋算子提取运动残差，然后，将得到的结果用作高通滤波全卷积网络的输入。
再将运动残差输入到高通滤波层，进行高通滤波处理后得到第一残差，第一残差用于表述增强篡改痕迹的运动残差；对第一残差进行特征提取得到特征图；对特征图执行4倍上采样的两个连续转置卷积操作，生成具有逐像素预测的定位图；根据图片帧和模糊图像计算得到上下文残差；将上下文残差在注意力计算模块和注意力转移模块中计算得到缺失区域中的聚合残差；将聚合残差添加到定位图中，得到取证结果。
本实施例提供的视频取证方法，在基于对象的篡改视频的取证工作上应用共谋算子提取运动残差，高通滤波全卷积网络来检测和定位，应用了上下文残差聚合来强化结果，能够很好地实现了对视频篡改的有效取证，取证效率高，能够有效验证视频的原始性、完整性和真实性，具有很好的实用价值。
在一实施例中，首先，获取目标视频，根据共谋算子获取目标视频中的每一图片帧对应的运动残差，对图片帧在时间窗口内使用共谋算子进行共谋操作得到共谋结果，根据共谋结果和图片帧计算得到运动残差，将运动残差输入至训练完成后的高通滤波全卷积网络，得到高通滤波全卷积网络输出目标视频的取证结果。
在一实施例中，首先，获取目标视频，根据共谋算子获取目标视频中的每一图片帧对应的运动残差，对图片帧在时间窗口内使用共谋算子进行共谋操作得到共谋结果，根据共谋结果和图片帧计算得到运动残差，将运动残差输入至训练完成后的高通滤波全卷积网络，得到高通滤波全卷积网络输出目标视频的取证结果。将运动残差输入到高通滤波层，进行高通滤波处理后得到第一残差，第一残差用于表述增强篡改痕迹的运动残差；对第一残差进行特征提取得到特征图；对特征图执行上采样的连续转置卷积操作，生成具有逐像素预测的定位图；根据图片帧和模糊图像计算得到上下文残差；将上下文残差在聚合残差模块中计算得到缺失区域中的聚合残差；将聚合残差添加到定位图中，得到取证结果。
在一实施例中，首先，获取目标视频，根据共谋算子获取目标视频中的每一图片帧对应的运动残差，对图片帧在时间窗口内使用共谋算子进行共谋操作得到共谋结果，根据共谋结果和图片帧计算得到运动残差，将运动残差输入至训练完成后的高通滤波全卷积网络，得到高通滤波全卷积网络输出目标视频的取证结果。将运动残差输入到高通滤波层，进行高通滤波处理后得到第一残差，第一残差用于表述增强篡改痕迹的运动残差，对第一残差进行特征提取得到特征图，对特征图执行上采样的连续转置卷积操作，生成具有逐像素预测的定位图，根据图片帧和模糊图像计算得到上下文残差，将上下文残差在聚合残差模块中计算得到缺失区域中的聚合残差，聚合残差模块包括注意力计算模块和注意力转移模块，注意力计算模块的输出端与注意力转移模块的输入端连接；再将聚合残差添加到定位图中，得到取证结果。
在一实施例中，高通滤波层包括三个3*3的高通滤波器，通过步长为1的深度卷积实现。具体来说，将输入图像的每个通道分别与一组高通滤波器内核进行卷积，然后将卷积结果连接在一起，作为后续网络层的输入，滤波器内核由三个一阶导数高通滤波器初始化，同时滤波器内核是可学习的。
在一实施例中，对第一残差进行特征提取得到特征图，包括步骤：将第一残差输入到特征提取模块进行特征提取得到特征图，特征提取模块包括四个ResNe t块，每个块由两个瓶颈单元组成，每个瓶颈单元都包括三个连续的卷积层和一个标识，卷基层通过标识跳过连接。特征提取模块基于ResNet v2构建，由四个ResNet块组成，每个块由两个瓶颈单元组成。通过共享可以减少参数，并提高内存和速度方面的效率。在每个瓶颈单元中，都有三个连续的卷积层和一个标识跳过连接，其中在每个卷积操作之前执行批量归一化和ReLu激活。三个卷积层的内核大小分别为1*1、3*3、1*1；对于大多数层而言，卷积步长为1，每个块的第二个单元中的最后一层的步长为2，这样做是为了方便合并和降低空间分辨率。
在一实施例中，图片帧为8位灰度静态图像，无需进行大量数据的训练，可以很容易的获取，效率得到提升，也可以很好地降低存储成本。
在一实施例中，共谋算子包括最小共谋和中值共谋。
在一实施例中，根据图片帧和模糊图像计算得到上下文残差，包括步骤：将图片帧下采样，再进行上采样以获得与图片帧大小相同的模糊图像，模糊图像的高度和宽度都是512的整数倍数，使用图片帧减去模糊图像得到上下文残差。
可以理解的是，将长度为N的解压缩视频帧序列表示为
Figure BDA0003180263110000081
式(1)中的F(k)＝(Fi，j (k))∈{0，...，255}n1×n2代表第k个解压缩的视频帧，它实际上是n1*n2的8位灰度静态图像。在目标视频帧序列的时间窗口内的一种共谋操作，该操作以窗口大小为L＝2×Lh+1(Lh是F(k)的左/右邻居数)的帧F(k)为中心，定义如下：
C(k)＝(Ci，j (k))
＝∈[(Fi，j (k-Lh))，...，(Fi，j (k))，...，(Fi，j (k+Lh))] (2)
式(2)中，C(k)是F(k)和∈的共谋结果。
可以理解的是，共谋算子□是一个聚合函数，将时间窗口中每个帧的相应坐标中的像素分组，以生成Ci，j (k)。
可以理解的是，F(k)的运动残差定义为：
R(k)＝|F(k)-C(k)|
＝(Ri，j (k))＝(|Fi，j (k)-Ci，j (k)|) (3)
式(3)中的|·|表示绝对值。
本实施例中，定义了两个共谋算子NMIN和∈MEDIAN，它们分别表示最小共谋和中值共谋。
Figure BDA0003180263110000091
Figure BDA0003180263110000092
式(4a)中l∈[-Lh，Lh]，式(4b)中
Figure BDA0003180263110000093
是Fi，j (k+1)的有序形式，很显然，C(k)∈{0，...，255}n1×n2，因此，F(k)-C(k)∈{-255，...，255}n1×n2，也就是说，R(k)∈{0，...，255}n1×n2。
综上，R(k)是8位灰度静态图像，在一定程度上，不需要进行大量数据的训练，可以很容易的获取，效率得到提升，也可以很好地降低存储成本。
另外，本申请还提供一种基于高通滤波全卷积网络的视频取证系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现：
如上述的视频取证方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
需要说明的是，基于高通滤波全卷积网络的视频取证系统包括：
运动残差提取模块，用于提取待测图片帧对应的运动残差，运动残差提取模块的输入端与外部视频数据集连接，运动残差提取模块的输出端与预过滤模块的输入端连接；
预过滤模块，包括高通滤波全卷积网络，用于处理输入的运动残差，增强视频篡改操作留下的痕迹得到第一残差，预过滤模块的输出端与特征提取模块输入端连接；
特征提取模块，用于从第一残差中收集可区分的特征得到特征图，特征提取模块的输出端与上采样模块的输入端连接；
上采样模块,用于扩大空间分辨率，将特征图进行上采样生成逐像素的定位图，上采样模块的输出端与聚合残差模块的输出端连接；
聚合残差模块，包括注意力计算模块和注意力转移模块，注意力计算模块的输出端与注意力转移模块的输入端连接，聚合残差模块用于根据上下文残差计算得到聚合残差，将聚合残差添加到定位图以得到取证结果。
参考图2和图3，图2为本发明一个实施例提供的一种基于高通滤波全卷积网络的视频取证系统的结构示意图，图3为本发明另一个实施例提供的一种视频取证方法上下文残差聚合机制的流程图。
预过滤模块包括三个3*3的高通滤波层，通过步长为1的深度卷积实现。具体来说，将输入图像的每个通道分别与一组高通滤波器内核进行卷积，然后将卷积结果连接在一起，作为后续网络层的输入。滤波器内核由三个一阶导数高通滤波器初始化，同时滤波器内核是可学习的。
特征提取模块基于ResNet v2构建，由四个ResNet块组成，每个块由两个瓶颈单元组成。通过共享可以减少参数，并提高内存和速度方面的效率。在每个瓶颈单元中，都有三个连续的卷积层和一个标识跳过连接，其中在每个卷积操作之前执行批量归一化和ReLu激活。三个卷积层的内核大小分别为1*1、3*3、1*1；对于大多数层而言，卷积步长为1，每个块的第二个单元中的最后一层的步长为2，这样做是为了方便合并和降低空间分辨率。
上采样模块，为了解决特征提取模块缩小了空间分辨率的问题，因此应用转置卷积以扩大空间分辨率。使用双线性核对转置卷积的核进行初始化，并使其在训练期间可被学习。为了提高训练的效率，采用了两阶段策略，即通过执行4倍上采样的两个连续转置卷积来扩大空间分辨率，两个转置卷积层的输出通道分别为64和4，内核为8*8。最后，使用步长为1的附加5*5卷积来减弱由转置卷积引入的棋盘伪像，同时将4通道输出转换为2通道对数。然后，将logit馈送到Softmax层进行分类，从而生成具有逐像素预测的定位图。
聚合残差模块，因为考虑到，对低分辨率修复结果直接进行简单的上采样只会产生较大而又模糊的结果。然而，将高频残差图像添加到较大的模糊图像会产生清晰的结果，细节和纹理丰富。
因此，使用一种上下文残差聚合机制通过对上下文补丁中的残差进行加权聚合来生成丢失内容的高频残差，因此仅需要网络的低分辨率预测即可。由于神经网络的卷积层仅需要在低分辨率的输入和输出上进行操作，因此可以很好地抑制存储成本和计算能力。此外，减轻了对高分辨率训练数据集的需求。
给定高分辨率的输入图像，首先将图像下采样至512×512，然后对其进行上采样以获得与原始输入大小相同的模糊的大图像。图像的高度和宽度不必相等，但必须是512的倍数。注意力分数由生成器的注意力计算模块计算。通过从原始输入中减去较大的模糊图像来计算上下文残差，然后通过上下文转移残差和注意力得分通过注意力转移模块计算缺失区域中的聚合残差。最后，将聚合残差添加到上采样的结果中。
训练时，上下文残留聚合通过使用上下文信息和上下文注意机制填充缺失区域。部署了上下文残留聚合机制来从上下文区域借用信息。但是，上下文残留聚合机制不仅从上下文中借用特征，而且还从残差中借用。通过获取缺失区域内部/外部补丁之间的区域相似度，在计算注意力分数时采用了上下文关注的概念。因此，上下文相关的特征和外部的残差可以转移到孔中，该机制涉及两个关键模块：注意力计算模块和注意力转移模块。
注意力分数是根据高级特征图P的区域相似性计算得出的。P分为小块，注意力计算模块计算缺失区域内外的小块之间的余弦相似度：
Figure BDA0003180263110000121
式(5)中Pi是从掩码外提取的第i块，Pj是掩码内的第j块。
使用softmax计算相似性分数得到每个补丁的注意力分数：
Figure BDA0003180263110000122
式(6)中N是缺失孔洞之外的补丁块数量，每个补丁大小为3×3，P为32×32，对于不同的孔尺寸，孔内切块的数量可以变化。统一使用1024×1024的矩阵来保存任何可能的补丁对之间的相似性得分，尽管其中只有一小部分有用。
从P获得注意力分数后，可以使用由注意力分数加权的上下文补丁来填充较低级特征图(P1)中的对应孔：
Figure BDA0003180263110000123
其中1∈1、2、3是层数，
Figure BDA0003180263110000124
是从缺失区域外部的Pl提取的第i个块，
Figure BDA0003180263110000125
是要在缺失区域内部填充的第j个块。N表示上下文补丁的数量(背景)。在计算了所有孔内的块之后，最终可以获得填充特征Pl。由于要素图的大小随图层的不同而变化，因此补丁的大小也应相应变化。假设特征图的大小为1282，并且从322个块计算注意力分数，则块大小应大于或等于(128/32)2＝42，以便可以覆盖所有像素。如果补丁大小大于4*4，则某些像素会重叠，网络后续可以学习适应，多尺度注意力转移和分数共享，在框架中，使用同一组注意力得分多次应用于注意力转移。
残差聚合的目标是计算孔区域的残差，以便可以恢复丢失内容的清晰细节。缺少内容的残差，可以通过汇总从先前步骤获得的加权上下文残差来计算：
Figure BDA0003180263110000131
式(7)中R是残差图像，Ri是从掩码外部的上下文残差图像中提取的第i块，而Rj是第j块要在掩码内部填充的。块的大小要适当地选择，以准确地覆盖到所有像素尽量不重叠，以确保填充的残差是与周围区域相一致。一旦获得了聚集的残差图像，将其添加到上采样模糊图像中，并获得清晰的结果。从而，降低高通滤波全卷积网络在定位过程中出现误判的概率，从一定程度上讲，是可以提高检测准确率的。
需要说明的是，本实施例中的基于高通滤波全卷积网络的视频取证系统，可以应用为实施例的系统架构中的基于高通滤波全卷积网络的视频取证系统，本实施例中的基于高通滤波全卷积网络的视频取证系统和实施例的系统架构中的基于高通滤波全卷积网络的视频取证系统具有相同的发明构思，因此这些实施例具有相同的实现原理以及技术效果，此处不再详述。
实现上述实施例的视频取证方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的视频取证方法，例如，执行以上描述的方法步骤S110至步骤S130。
另外，本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：
如上述的视频取证方法。
该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述基于高通滤波全卷积网络的视频取证系统实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的视频取证方法，例如，执行以上描述的方法步骤S110至步骤S130。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (10)

1.一种视频取证方法，其特征在于，包括以下步骤：
获取目标视频；
根据共谋算子获取所述目标视频中的每一图片帧对应的运动残差；
将所述运动残差输入至训练完成后的高通滤波全卷积网络，得到所述高通滤波全卷积网络输出所述目标视频的取证结果。
2.根据权利要求1所述的视频取证方法，其特征在于，所述根据共谋算子获取所述目标视频中的每一图片帧对应的运动残差，包括步骤：
对所述图片帧在时间窗口内使用共谋算子进行共谋操作得到共谋结果，根据所述共谋结果和所述图片帧计算得到所述运动残差。
3.根据权利要求1或2所述的视频取证方法，其特征在于，所述将所述运动残差输入至训练完成后的高通滤波全卷积网络，得到所述高通滤波全卷积网络输出所述目标视频的取证结果，包括步骤：
将所述运动残差输入到高通滤波层，进行高通滤波处理后得到第一残差，所述第一残差用于表述增强篡改痕迹的所述运动残差；
对所述第一残差进行特征提取得到特征图；
对所述特征图执行上采样的连续转置卷积操作，生成具有逐像素预测的定位图；
根据所述图片帧和模糊图像计算得到上下文残差；
将所述上下文残差在聚合残差模块中计算得到缺失区域中的聚合残差；
将所述聚合残差添加到所述定位图中，得到取证结果。
4.根据权利要求3所述的视频取证方法，其特征在于，所述聚合残差模块包括注意力计算模块和注意力转移模块，所述注意力计算模块的输出端与所述注意力转移模块的输入端连接。
5.根据权利要求3所述的视频取证方法，其特征在于，所述对所述第一残差进行特征提取得到特征图，包括步骤：
将所述第一残差输入到特征提取模块进行特征提取得到所述特征图，所述特征提取模块包括四个ResNet块，每个块由两个瓶颈单元组成，每个所述瓶颈单元都包括三个连续的卷积层和一个标识，所述卷基层通过所述标识跳过连接。
6.根据权利要求1所述的视频取证方法，其特征在于，所述共谋算子包括最小共谋和中值共谋。
7.根据权利要求3所述的视频取证方法，其特征在于，所述根据所述图片帧和模糊图像计算得到上下文残差，包括步骤：
将所述图片帧下采样，再进行上采样以获得与所述图片帧大小相同的模糊图像，所述模糊图像的高度和宽度都是512的整数倍数，使用所述图片帧减去所述模糊图像得到所述上下文残差。
8.根据权利要求3所述的视频取证方法，其特征在于，所述高通滤波层包括3个3*3的高通滤波器。
9.一种基于高通滤波全卷积网络的视频取证系统，其特征在于，包括：
运动残差提取模块，用于提取待测图片帧对应的运动残差，所述运动残差提取模块的输入端与外部视频数据集连接，所述运动残差提取模块的输出端与预过滤模块的输入端连接；
预过滤模块，包括高通滤波全卷积网络，用于处理输入的运动残差，增强视频篡改操作留下的痕迹得到第一残差，所述预过滤模块的输出端与特征提取模块输入端连接；
特征提取模块，用于从所述第一残差中收集可区分的特征得到特征图，所述特征提取模块的输出端与上采样模块的输入端连接；
上采样模块,用于扩大空间分辨率，将所述特征图进行上采样生成逐像素的定位图，所述上采样模块的输出端与聚合残差模块的输出端连接；
聚合残差模块，包括注意力计算模块和注意力转移模块，所述注意力计算模块的输出端与所述注意力转移模块的输入端连接，所述聚合残差模块用于根据上下文残差计算得到聚合残差，将所述聚合残差添加到所述定位图以得到取证结果。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任意一项所述的视频取证方法。
CN202110845207.9A 2021-07-26 2021-07-26 视频取证方法、系统和介质 Pending CN113627285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110845207.9A CN113627285A (zh) 2021-07-26 2021-07-26 视频取证方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110845207.9A CN113627285A (zh) 2021-07-26 2021-07-26 视频取证方法、系统和介质

Publications (1)

Publication Number Publication Date
CN113627285A true CN113627285A (zh) 2021-11-09

Family

ID=78380888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110845207.9A Pending CN113627285A (zh) 2021-07-26 2021-07-26 视频取证方法、系统和介质

Country Status (1)

Country Link
CN (1) CN113627285A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671094A (zh) * 2018-11-09 2019-04-23 杭州电子科技大学 一种基于频域分级的眼底图像血管分割方法
CN110457996A (zh) * 2019-06-26 2019-11-15 广东外语外贸大学南国商学院 基于vgg-11卷积神经网络的视频运动对象篡改取证方法
CN111709883A (zh) * 2019-03-01 2020-09-25 阿里巴巴集团控股有限公司 一种图像检测方法、装置及设备
CN112016406A (zh) * 2020-08-07 2020-12-01 青岛科技大学 一种基于全卷积网络的视频关键帧提取方法
CN112069717A (zh) * 2020-08-19 2020-12-11 五邑大学 基于多模态表征学习的磁暴预测方法、装置及存储介质
US20210150678A1 (en) * 2019-11-15 2021-05-20 Zili Yi Very high-resolution image in-painting with neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671094A (zh) * 2018-11-09 2019-04-23 杭州电子科技大学 一种基于频域分级的眼底图像血管分割方法
CN111709883A (zh) * 2019-03-01 2020-09-25 阿里巴巴集团控股有限公司 一种图像检测方法、装置及设备
CN110457996A (zh) * 2019-06-26 2019-11-15 广东外语外贸大学南国商学院 基于vgg-11卷积神经网络的视频运动对象篡改取证方法
US20210150678A1 (en) * 2019-11-15 2021-05-20 Zili Yi Very high-resolution image in-painting with neural networks
CN112016406A (zh) * 2020-08-07 2020-12-01 青岛科技大学 一种基于全卷积网络的视频关键帧提取方法
CN112069717A (zh) * 2020-08-19 2020-12-11 五邑大学 基于多模态表征学习的磁暴预测方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨启晗: "基于深度学习的图像篡改取证研究", 《中国知网硕士电子期刊网》, no. 6 *
章登勇: "语义对象级图像篡改被动取证技术研究", 《中国知网博士电子期刊》 *
章登勇等: "基于双分支网络的图像修复取证方法", 《网络与信息安全学报》, vol. 8, no. 6 *

Similar Documents

Publication Publication Date Title
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
US11861816B2 (en) System and method for detecting image forgery through convolutional neural network and method for providing non-manipulation detection service using the same
Zhang et al. A dense u-net with cross-layer intersection for detection and localization of image forgery
CN109635791B (zh) 一种基于深度学习的视频取证方法
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN112598579A (zh) 面向监控场景的图像超分辨率方法、装置及存储介质
CN114936605A (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN113269722A (zh) 生成对抗网络的训练方法、及高分辨率图像重建方法
CN112785480B (zh) 基于频域变换和残差反馈模块的图像拼接篡改检测方法
Kumar et al. Near lossless image compression using parallel fractal texture identification
Bibi et al. Digital image forgery detection using deep autoencoder and CNN features
CN114118227A (zh) 基于频域感知时空自注意力变换网络的视频编辑检测方法
WO2020043296A1 (en) Device and method for separating a picture into foreground and background using deep learning
CN115937022A (zh) 一种基于迭代残差学习的少样本图像修复方法
Xu et al. Missing data reconstruction in VHR images based on progressive structure prediction and texture generation
CN117541505A (zh) 基于跨层注意力特征交互和多尺度通道注意力的去雾方法
US20210201538A1 (en) Static channel filtering in frequency domain
Dhar et al. Interval type-2 fuzzy set and human vision based multi-scale geometric analysis for text-graphics segmentation
CN113727050B (zh) 面向移动设备的视频超分辨率处理方法、装置、存储介质
CN113627285A (zh) 视频取证方法、系统和介质
Nataraj et al. Seam carving detection and localization using two-stage deep neural networks
CN113033616B (zh) 高质量视频重建方法、装置、设备及存储介质
CN112258394B (zh) 数据处理方法、船只跟踪方法、装置、设备及存储介质
Zhang et al. Blind image quality assessment based on local quantized pattern
Bairi et al. PSCS-Net: Perception optimized image reconstruction network for autonomous driving systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination