CN118262276B - 视频的伪造检测方法、装置、电子设备及存储介质 - Google Patents
视频的伪造检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118262276B CN118262276B CN202410690798.0A CN202410690798A CN118262276B CN 118262276 B CN118262276 B CN 118262276B CN 202410690798 A CN202410690798 A CN 202410690798A CN 118262276 B CN118262276 B CN 118262276B
- Authority
- CN
- China
- Prior art keywords
- feature
- matrix
- diffusion
- tampering
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000009792 diffusion process Methods 0.000 claims abstract description 153
- 239000011159 matrix material Substances 0.000 claims abstract description 149
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 56
- 230000007704 transition Effects 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 19
- 238000005242 forging Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Storage Device Security (AREA)
Abstract
本申请实施例提供了一种视频的伪造检测方法、装置、电子设备及存储介质，属于生成式人工智能技术领域。方法包括：获取目标视频，将目标视频输入时序特征提取网络，得到初始篡改特征，目标视频包括多个视频帧；对初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列；根据水平篡改特征序列和垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；基于扩散关系度量矩阵进行检测，得到目标视频的检测结果，检测结果用于指示目标视频是否被伪造。本申请实施例提供的视频的伪造检测方法能够提高视频伪造检测的准确度。
Description
技术领域
本申请涉及生成式人工智能领域，尤其涉及一种视频的伪造检测方法、装置、电子设备及存储介质。
背景技术
人脸伪造技术是指利用计算机图像处理和人工智能技术，对现有的人脸图像进行修改、合成或生成，以产生虚假的、看似真实的人脸图像或视频。伪造检测是指利用计算机视觉和机器学习技术，对人脸图像或视频进行分析和判别，以确定其是否经过伪造或篡改，伪造检测的目标是识别和区分真实的人脸图像或视频与经过伪造的虚假内容。
相关技术中，针对视频中伪造人脸进行检测时主要关注伪造之后所造成的视频时序不一致特性，针对视频时序的局部特征进行分析，不能得到全面的伪造特征，降低了视频伪造检测的准确度。
发明内容
本申请实施例的主要目的在于提出一种视频的伪造检测方法、装置、电子设备及存储介质，能够提高视频伪造检测的准确度。
为实现上述目的，本申请实施例的第一方面提出了一种视频的伪造检测方法，所述方法包括：获取目标视频，将所述目标视频输入时序特征提取网络，得到初始篡改特征，所述目标视频包括多个视频帧；对所述初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，所述水平篡改特征序列用于指示所述视频帧中像素在水平方向的扩散结果，所述垂直篡改特征序列用于指示对应的所述像素在垂直方向的扩散结果；根据所述水平篡改特征序列和所述垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；基于所述扩散关系度量矩阵进行检测，得到所述目标视频的检测结果，所述检测结果用于指示所述目标视频是否被伪造。
在一些实施例中，所述对所述初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，包括：对所述初始篡改特征进行水平池化，得到水平方向的所述水平篡改特征序列；对所述初始篡改特征进行垂直池化，得到垂直方向的所述垂直篡改特征序列。
在一些实施例中，所述根据所述水平篡改特征序列和所述垂直篡改特征序列得到扩散关系矩阵，包括：根据所述初始篡改特征构建所述扩散关系矩阵的图节点；根据所述水平篡改特征序列和所述垂直篡改特征序列得到每个所述图节点的特征向量，并根据所述特征向量确定每两个所述图节点之间是否存在节点边；基于所述节点边和所述图节点对应的连通关系和缩放参数生成所述扩散关系矩阵。
在一些实施例中，所述图节点包括水平图节点和垂直图节点，所述特征向量包括水平特征向量和垂直特征向量，所述根据所述水平篡改特征序列和所述垂直篡改特征序列得到每个所述图节点的特征向量，并根据所述特征向量确定每两个所述图节点之间是否存在节点边，包括：根据所述水平篡改特征序列得到所述水平图节点的水平特征向量，并根据所述垂直篡改特征序列得到所述垂直图节点的垂直特征向量；基于水平特征向量或垂直特征向量，计算两两所述图节点之间的特征距离，根据所述特征距离确定所述图节点之间的特征相似度，若所述特征相似度大于零，所述图节点之间存在所述节点边。
在一些实施例中，所述基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵，包括：对所述扩散关系矩阵进行归一化，得到用于指示所述图节点之间转移概率的节点转移概率矩阵；根据节点转移概率矩阵计算每个矩阵元素的局部概率密度，基于所述局部概率密度和所述节点转移概率矩阵得到扩散关系相似度；以所述扩散关系相似度作为初始状态进行至少一次迭代，得到所述扩散关系度量矩阵。
在一些实施例中，所述对所述扩散关系矩阵进行归一化，得到用于指示所述图节点之间转移概率的节点转移概率矩阵，包括：对所述扩散关系矩阵进行列向量对角化处理得到对角连通矩阵；根据所述对角连通矩阵的逆矩阵和所述扩散关系矩阵得到节点转移概率矩阵。
在一些实施例中，所述基于所述扩散关系度量矩阵进行检测，得到所述目标视频的检测结果，包括：将所述扩散关系度量矩阵转换为关系向量；将所述关系向量输入伪造特征分类器进行分类预测，得到所述检测结果。
为实现上述目的，本申请实施例的第二方面提出了一种人脸视频伪造检测装置，包括：时序特征提取模块，用于获取目标视频，将所述目标视频输入时序特征提取网络，得到初始篡改特征，所述目标视频包括多个视频帧；方向性时序切分模块，用于对所述初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，所述水平篡改特征序列用于指示所述视频帧中像素在水平方向的扩散结果，所述垂直篡改特征序列用于指示对应的所述像素在垂直方向的扩散结果；扩散性模块，用于根据所述水平篡改特征序列和所述垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；检测模块，用于基于所述扩散关系度量矩阵进行检测，得到所述目标视频的检测结果，所述检测结果用于指示所述目标视频是否被伪造。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面实施例所述的方法。
为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面实施例所述的方法。
本申请提出的视频的伪造检测方法、装置、电子设备及存储介质,具有以下有益效果：获取目标视频，将目标视频输入时序特征提取网络，得到初始篡改特征，目标视频包括多个视频帧；对初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，水平篡改特征序列用于指示视频帧中像素在水平方向的扩散结果，垂直篡改特征序列用于指示对应的像素在垂直方向的扩散结果；根据水平篡改特征序列和垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；基于扩散关系度量矩阵进行检测，得到目标视频的检测结果，检测结果用于指示目标视频是否被伪造。在捕捉时序特征的基础上，还从扩散性建模的角度有效捕捉水平方向和垂直方向上的水平篡改特征序列和垂直篡改特征序列，对不同方向上的扩散行为进行量化和分析，对伪造特征的检测更全面，能够提高视频伪造检测的准确度。
附图说明
图1是本申请实施例提供的相关技术中对人脸进行伪造检测的示意图。
图2是本申请实施例提供的视频的伪造检测方法的流程图。
图3是本申请实施例提供的时序特征提取网络的示意图。
图4是图2中的步骤102的流程图。
图5是本申请实施例提供的方向性时序特征切分处理的示意图。
图6是图2中的步骤103的流程图。
图7是图6中的步骤302的流程图。
图8是本申请实施例提供的图节点的示意图。
图9是图2中的步骤103的另一流程图。
图10是图9中的步骤501的流程图。
图11是本申请实施例提供的扩散性建模的示意图。
图12是本申请实施例提供的视频的伪造检测方法的示意图。
图13是图2中的步骤104的流程图。
图14是本申请实施例提供的视频的伪造检测装置的功能模块示意图。
图15是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人脸伪造技术是指利用计算机图像处理和人工智能技术，对现有的人脸图像进行修改、合成或生成，以产生虚假的、看似真实的人脸图像或视频，通常分为人脸属性编辑技术、人脸交换技术以及人脸面部重现技术。人脸属性编辑技术的目标是对目标人脸的面部属性（如发型、嘴型等）进行自定义修改；人脸交换技术则是将两个不同的人脸进行全脸交换，以达到身份互换的目的；而人脸面部重现技术的目标是给定一个人脸，将目标人脸的面部属性完全迁移到该人脸中，达到属性匹配但身份不变的效果。
伪造检测（Forgery Detection）是一种通过分析图像、视频或其他数字媒体内容，以确定其是否经过伪造或篡改的技术和方法，旨在识别和鉴别出虚假、伪造或篡改的数字媒体，如照片、图像、视频等。伪造检测的目标是通过自动化技术来识别和区分真实的媒体内容与经过伪造或篡改的虚假内容，通常涉及计算机视觉、图像处理、模式识别和机器学习等领域的技术和方法。
人脸伪造技术是指利用计算机图像处理和人工智能技术，对现有的人脸图像进行修改、合成或生成，以产生虚假的、看似真实的人脸图像或视频。伪造检测是指利用计算机视觉和机器学习技术，对人脸图像或视频进行分析和判别，以确定其是否经过伪造或篡改，伪造检测的目标是识别和区分真实的人脸图像或视频与经过伪造的虚假内容。
随着生成式人工智能技术的快速发展，基于深度学习的人脸伪造技术能够被容易地使用、传播，该技术极大地提高了艺术创作行业的效率。然而，未经授权地使用伪造技术进行人脸数据伪造（例如捏造事实等），会对个人利益、信息安全以及国家网络空间安全造成巨大的损害。深度伪造检测研究开发有效的检测方案，保护人脸数据的认证完整性，避免未授权伪造的风险。请参阅图1，图1是本申请实施例提供的相关技术中对人脸进行伪造检测的示意图，待检测人脸首先输入到预先设计好的人工智能（深度学习）模型，比如多层感知机、卷积神经网络等，提取由伪造算法造成的不一致特征；提取后的特征需要通过分类器（如全连接网络、支持向量机等）的处理，分类器将会判断该特征属于真实人脸或伪造人脸。
在图像空域以及频域中，深度伪造操作会造成人脸图像面部区域与背景区域相交部分的渲染异常，同时，伪造后的图像高频内容也会出现一定程度的异常，这些异常都会被用作检测伪造痕迹的依据。同时，深度伪造会造成视频时序出现不一致的现象，即视频的连续性被破坏，这种不一致性也可以被看作伪造证据，这种不一致性有以下三个特点：局部性，即相邻区域具有相似的不一致现象；方向性，即不同运动方向（水平方向和垂直方向）的不一致现象存在差异；扩散性：一个区域的不一致现象会对其他区域的不一致现象造成影响。
相关技术中，针对视频中伪造人脸进行检测时主要关注伪造之后所造成的视频时序不一致特性，针对视频时序的局部特征进行分析，不能得到全面的伪造特征，降低了视频伪造检测的准确度。
基于此，本申请实施例提供了一种视频的伪造检测方法、装置、电子设备及存储介质，能够提高视频伪造检测的准确度。
本申请实施例提供的视频的伪造检测方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的视频的伪造检测方法。本申请实施例中视频的伪造检测方法可以通过如下实施例进行说明。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，例如，获取用户存储的数据以及用户的缓存数据访问请求时，均会先获得用户的许可或者同意。而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图2是本申请实施例提供的视频的伪造检测方法的一个可选的流程图，图2中的方法可以包括但不限于包括步骤101至步骤104。同时可以理解的是，本实施例对图2中步骤101至步骤104的顺序不做具体限定，可以根据实际需求调整步骤顺序或者减少、增加某些步骤。
步骤101，获取目标视频，将目标视频输入时序特征提取网络，得到初始篡改特征。
其中，目标视频包括多个视频帧。
以下对步骤101进行详细描述。
可以理解的是，目标视频是指进行伪造检测的待分析视频。视频帧是目标视频中的静态图像，它代表了视频在某个时间点上的内容。目标视频由多个连续的视频帧组成，视频帧按照一定的帧率连续播放，形成了连续的运动效果。
可以理解的是，初始篡改特征是指从目标视频中提取的用于表示可能的篡改或伪造的特征，这些特征表征视频中的局部纹理信息、颜色分布特征以及运动信息，描述目标视频中的异常或不一致情况，以及可能存在的篡改行为。
示例性的，时序特征提取网络（Temporal feature extraction network）是指用于从目标视频的视频帧序列中提取初始篡改特征的神经网络模型，这种网络具有对时间维度和空间维度进行建模的能力，能够捕捉视频序列中的动态信息，并提取出表示时序变化等信息的初始篡改特征。
请参阅图3，在一些实施例中，时序特征提取网络可以是多层非对称的空域时域卷积神经网络，同时考虑空间和时间维度的信息，从而更全面地捕捉目标视频中的特征和篡改迹象，目标视频作为时序特征提取网络的输入，目标视频包含T个视频帧，目标视频经过三层时空非对称卷积块，得到时序伪造特征，时序伪造特征的数据大小为T×N×W×H，其中，T为目标视频中视频帧的数目，N为时序伪造特征中特征图数量，W为特征图在水平方向的大小，H为特征图在垂直方向的大小;再对时序伪造特征在时序尺度进行平均，得到N×W×H数据大小的初始篡改特征。时空非对称卷积块包含了空域卷积（例如Conv 3×3，即卷积核的大小为3×3）和时域卷积（例如Conv 3×3，即卷积核的大小为3×3），以及空域下采样（Spatial Downsampling）操作。在时空非对称卷积块中，空域卷积和时域卷积的比例为3:1，在卷积操作中，空域卷积的计算量和参数数量较大，占据了主要部分，时域卷积的计算量和参数数量较小。空域下采样有助于减少特征图的尺寸，提取更高级别的特征，并减少后续计算的复杂性。时空非对称卷积块考虑了视频数据的时序性和空间局部性，通过结合空域卷积、时域卷积和空域下采样操作，能够在时域和空域上对目标视频进行有效的特征提取和降维。
步骤102，对初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列。
其中，水平篡改特征序列用于指示视频帧中像素在水平方向的扩散结果，垂直篡改特征序列用于指示对应的像素在垂直方向的扩散结果。
以下对步骤102进行详细描述。
可以理解的是，方向性时序特征切分处理是指对初始篡改特征分别进行水平池化层和垂直池化层处理，水平篡改特征序列为对初始篡改特征进行水平池化层处理后得到的特征序列，垂直篡改特征序列为对初始篡改特征进行垂直池化层处理后得到的特征序列。
参阅图4，对初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，可以包括以下步骤201至步骤202。
步骤201，对初始篡改特征进行水平池化，得到水平方向的水平篡改特征序列。
步骤202，对初始篡改特征进行垂直池化，得到垂直方向的垂直篡改特征序列。
以下对步骤201至步骤202进行详细描述。
在一些实施例中，参阅图5，已经从目标视频中提取了初始篡改特征，该特征表示可能的篡改或伪造情况，初始篡改特征的数据规模为N×L×L，其中N为特征图的数量，L为特征图在水平方向和垂直方向的大小，对初始篡改特征进行水平池化层处理，对其进行水平方向上的池化操作，将特征值整合压缩，以获取表示像素在水平方向扩散结果的水平篡改特征序列N×1×L，对初始篡改特征进行垂直方向上的池化操作，以获取表示像素在垂直方向扩散结果的垂直篡改特征序列N×L×1。
通过步骤201至步骤202，对初始篡改特征进行水平池化，得到水平方向的水平篡改特征，对初始篡改特征进行垂直池化，得到垂直方向的垂直篡改特征，方向性时序特征切分处理可以关注目标视频在水平方向上和垂直方向上的运动变化情况，以便捕捉可能的篡改迹象或异常情况，用于进一步的分析、处理或篡改检测任务。
步骤103，根据水平篡改特征序列和垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵。
可以理解的是，扩散关系矩阵是表示网络或系统中节点之间的连通性的矩阵，矩阵中的元素表示节点之间的关系强度或连接权重，如果矩阵中的数值越大，表示节点之间的连通性越强，即节点之间的扩散更容易发生。基于扩散关系矩阵进行扩散性建模，根据扩散关系矩阵定义网络或系统的结构，包括节点和节点之间的连通关系，例如矩阵的每个元素表示节点之间的连通性或连接权重，再选择适合的扩散模型进行扩散性建模。本申请实施例中扩散模型可以是独立级联模型（Independent Cascade Model）或线性阈值模型（Linear Threshold Model）等，目的是利用扩散模型描述不同时序下，节点之间的信息传播规则。扩散关系度量矩阵是指在进行扩散性建模后，通过迭代计算模拟信息传播过程，得到的稳定状态下的矩阵，该矩阵用于量化节点之间特征的相似性和人脸伪造技术对扩散性的影响，对伪造特征进行了显式建模，描述节点之间的扩散关系。
参阅图6，根据水平篡改特征序列和垂直篡改特征序列得到扩散关系矩阵，可以包括步骤301至步骤303。
步骤301，根据初始篡改特征构建扩散关系矩阵的图节点。
步骤302，根据水平篡改特征序列和垂直篡改特征序列得到每个图节点的特征向量，并根据特征向量确定每两个图节点之间是否存在节点边。
步骤303，基于节点边和图节点对应的连通关系和缩放参数生成扩散关系矩阵。
以下对步骤301至步骤303进行详细描述。
示例性的，根据初始篡改特征构建扩散关系矩阵的图节点，根据初始篡改特征在水平方向和垂直方向上的数据规模大小之和，构建相应数量的图节点，例如初始篡改特征的数据规模为N×L×L，其中N为特征图的数量，L为特征图在水平方向和垂直方向的大小，在水平方向和垂直方向上的数据规模均为L，构建2L个数量的图节点。构建的图节点和扩散关系矩阵仅代表了初始状态下的图结构，后续还需要进行扩散模拟和迭代计算，才能得到稳定状态下的扩散关系度量矩阵，在模拟过程中，扩散关系矩阵会根据节点之间的传播规则和扩散机制进行更新和调整，以模拟信息传播的过程。
参阅图7，图节点包括水平图节点和垂直图节点，特征向量包括水平特征向量和垂直特征向量，根据水平篡改特征序列和垂直篡改特征序列得到每个图节点的特征向量，并根据特征向量确定每两个图节点之间是否存在节点边，可以包括以下步骤401至步骤402。
步骤401，根据水平篡改特征序列得到水平图节点的水平特征向量，并根据垂直篡改特征序列得到垂直图节点的垂直特征向量。
步骤402，基于水平特征向量或垂直特征向量，计算两两图节点之间的特征距离，根据特征距离确定图节点之间的特征相似度，若特征相似度大于零，图节点之间存在节点边。
以下对步骤401至步骤402进行详细描述。
在一些实施例中，参阅图8，根据水平篡改特征序列得到水平图节点的水平特征向量，并根据垂直篡改特征序列得到垂直图节点的垂直特征向量，水平篡改特征序列的数据规模为N×1×L，根据水平篡改特征序列构建L个水平图节点f1、f2、…、fL，水平特征向量为f1(x11,x12,…,x1N)、f2(x21,x22,…,x2N)、…、fL(xL1,xL2,…,xLN)，其中x11,x12,…,xLN为水平篡改特征序列的数据；垂直篡改特征序列的数据规模为N×L×1，根据垂直篡改特征序列可以构建另外L个图节点，即垂直图节点fL+1、fL+2、…、f2L，垂直特征向量为fL+1(x(L+1)1,x(L+1)2,…,x(L+1)N)、fL+2(x(L+2)1,x(L+2)2,…,x(L+2)N)、…、f2L(x(2L)1,x(2L)2,…,x(2L)N),其中，x(L+1)1,x(L+1)2,…,x(2L)N为垂直篡改特征序列的数据。
示例性的，基于水平特征向量或垂直特征向量，计算两两图节点之间的特征距离，例如计算图节点f1的水平特征向量(x11,x12,…,x1N)和图节点f2的水平特征向量(x21,x22,…,x2N)之间的欧式距离作为特征距离，根据特征距离确定图节点之间的特征相似度，若特征相似度大于零，图节点之间存在节点边。
示例性的，图结构中具有2L个图节点，基于节点边和图节点对应的连通关系和缩放参数生成扩散关系矩阵，扩散关系矩阵的数据规模为2L×2L，如下所示：
其中，W为扩散关系矩阵，表示图节点fi和图节点fj之间的连通关系，值越大，图节点fi和图节点fj之间的连通性越强，更容易发生扩散；fi为第i个图节点的特征向量，fj为第j个图节点的特征向量，exp为自然指数函数，为可训练的缩放参数。
参阅图9，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵，包括以下步骤501至步骤503。
步骤501，对扩散关系矩阵进行归一化，得到用于指示图节点之间转移概率的节点转移概率矩阵。
以下对步骤501进行详细描述。
可以理解的是，对扩散关系矩阵进行归一化，归一化操作确保了每个图节点的转移概率之和为1，以保持概率的性质，节点转移概率矩阵是用于指示图节点之间转移概率的矩阵，描述从一个节点转移到另一个节点的概率分布情况，节点转移概率矩阵可以用于分析和模拟图节点之间的转移过程。
参阅图10，对扩散关系矩阵进行归一化，得到用于指示图节点之间转移概率的节点转移概率矩阵，可以包括以下步骤601至步骤602。
步骤601，对扩散关系矩阵进行列向量对角化处理得到对角连通矩阵。
步骤602，根据对角连通矩阵的逆矩阵和扩散关系矩阵得到节点转移概率矩阵。
以下对步骤601至步骤602进行详细描述。
示例性的，扩散关系矩阵为W，对扩散关系矩阵进行列向量对角化处理得到对角连通矩阵，其中，A为对角连通矩阵，diag为将列向量对角化的函数，W为扩散关系矩阵。对角连通矩阵A的逆矩阵，根据对角连通矩阵的逆矩阵和扩散关系矩阵得到节点转移概率矩阵，其中，是对角连通矩阵的逆矩阵，W为扩散关系矩阵。
步骤502，根据节点转移概率矩阵计算每个矩阵元素的局部概率密度，基于局部概率密度和节点转移概率矩阵得到扩散关系相似度。
示例性的，根据节点转移概率矩阵计算每个矩阵元素的局部概率密度，例如第k个矩阵元素的局部概率密度的计算如下所示：
其中，为第k个矩阵元素（即第k个图节点）在从第i个图节点与第j个图节点的扩散中的局部概率密度，为第i个图节点转移至第k个图节点的转移概率，为第j个图节点转移至第k个图节点的转移概率。
示例性的，基于局部概率密度和节点转移概率矩阵得到扩散关系相似度，扩散关系相似度是指两个图节点的扩散关系的计算差值，扩散关系相似度的计算如下所示:
其中，是第i个图节点与第j个图节点之间的扩散关系相似度，k是图节点中除第i个图节点和第j个图节点之外的所有节点，P(i,k)为第i个图节点转移至第k个图节点的转移概率，P(j,k)为第j个图节点转移至第k个图节点的转移概率，Gij(k)为第k个图节点的局部概率密度。
步骤503，以扩散关系相似度作为初始状态进行至少一次迭代，得到扩散关系度量矩阵。
示例性的，图节点按照计算得到的图节点间的转移概率进行游走，通过对扩散相似度进行至少一次迭代，得到稳定状态的扩散关系度量矩阵，扩散关系度量矩阵的计算如下所示:
其中，t是迭代轮次；Dt(i,j)是在第t轮迭代时，第i个图节点与第j个图节点之间的扩散距离，衡量第i个图节点和第j个图节点同时到达相同节点的概率差；k是图节点中除第i个图节点和第j个图节点之外的所有节点，代表矩阵P的t次方；Pt(i,k)是指第t轮迭代中，即经过t次游走后，第i个图节点转移至第k个图节点的转移概率；Pt(j,k)是指第t轮迭代中，第j个图节点转移至第k个图节点的转移概率；Gij(k)为第k个图节点的局部概率密度。
示例性的，参阅图11，图结构构建阶段根据初始篡改特征构建图节点，扩散关系矩阵描述图节点间的关系，图扩散关系计算阶段计算图节点之间的扩散关系相似度，图扩散阶段以扩散关系相似度作为初始状态进行至少一次迭代，得到扩散关系度量矩阵。
可以理解的是，以扩散关系相似度D(i,j)作为初始状态进行t次迭代后得到稳定的扩散关系度量矩阵Dt(i,j)，扩散关系度量矩阵Dt(i,j)衡量第i个图节点和第j个图节点同时到达相同节点的概率差，充分考虑了伪造特性中扩散性对图节点之间特征相似性的影响，从图扩散学习的角度为特征进行建模。
步骤104，基于扩散关系度量矩阵进行检测，得到目标视频的检测结果。
其中，检测结果用于指示目标视频是否被伪造。
以下对步骤104进行详细描述。
可以理解的是，参阅图12，将目标视频输入时序特征提取网络得到初始篡改特征，对初始篡改特征进行方向性时序特征切分处理，构建图节点进行伪造特征的图扩散学习，图节点的数量为2L时，得到扩散关系度量矩阵的大小为2L×2L，将扩散关系度量矩阵输入伪造特征分类器，得到对目标视频的检测结果，检测结果用于指示目标视频是否被伪造。伪造特征分类器可以使用各种机器学习算法或深度学习模型来实现。
参阅图13，基于扩散关系度量矩阵进行检测，得到目标视频的检测结果，可以包括步骤701至步骤702。
步骤701，将扩散关系度量矩阵转换为关系向量。
步骤702，将关系向量输入伪造特征分类器进行分类预测，得到检测结果。
以下对步骤701至步骤702进行详细描述。
示例性的，图节点的数量为2L时，得到扩散关系度量矩阵的大小为，将扩散关系度量矩阵转换为关系向量，按照行或列的顺序将矩阵的元素排列成一个一维向量，关系向量的维度为一维，数据大小为，输入伪造特征分类器进行分类预测，得到检测结果。
示例性的，伪造特征分类器可以是支持向量机，通过在特征空间中构造一个最优的超平面来进行分类判断；也可以是卷积神经网络（Convolutional Neural Network，CNN），自动从输入的关系向量中学习特征表示，并通过多个卷积层和全连接层进行分类判断。
通过上述步骤101至步骤104，获取目标视频，将目标视频输入时序特征提取网络，得到初始篡改特征，目标视频包括多个视频帧；对初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，水平篡改特征序列用于指示视频帧中像素在水平方向的扩散结果，垂直篡改特征序列用于指示对应的像素在垂直方向的扩散结果；根据水平篡改特征序列和垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；基于扩散关系度量矩阵进行检测，得到目标视频的检测结果，检测结果用于指示目标视频是否被伪造。在捕捉时序特征的基础上，还从扩散性建模的角度有效捕捉水平方向和垂直方向上的水平篡改特征序列和垂直篡改特征序列，对不同方向上的扩散行为进行量化和分析，对伪造特征的检测更全面，能够提高视频伪造检测的准确度。
请参阅图14，本申请实施例还提供一种视频的伪造检测装置，可以实现上述视频的伪造检测方法，视频的伪造检测装置包括：时序特征提取模块，用于获取目标视频，将目标视频输入时序特征提取网络，得到初始篡改特征，目标视频包括多个视频帧；方向性时序切分模块，用于对初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，水平篡改特征序列用于指示视频帧中像素在水平方向的扩散结果，垂直篡改特征序列用于指示对应的像素在垂直方向的扩散结果；扩散性模块，用于根据水平篡改特征序列和垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；检测模块，用于基于扩散关系度量矩阵进行检测，得到目标视频的检测结果，检测结果用于指示目标视频是否被伪造。
该视频的伪造检测装置的具体实施方式与上述视频的伪造检测方法的具体实施例基本相同，在此不再赘述。在满足本申请实施例要求的前提下，视频的伪造检测装置还可以设置其他功能模块，以实现上述实施例中的视频的伪造检测方法。
本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述视频的伪造检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图15，图15示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1501，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器1502，可以采用只读存储器（ReadOnlyMemory，ROM）、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1502可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1502中，并由处理器1501来调用执行本申请实施例的视频的伪造检测方法；
输入/输出接口1503，用于实现信息输入及输出；
通信接口1504，用于实现本设备与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信；
总线1505，在设备的各个组件（例如处理器1501、存储器1502、输入/输出接口1503和通信接口1504）之间传输信息；
其中处理器1501、存储器1502、输入/输出接口1503和通信接口1504通过总线1505实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述视频的伪造检测方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”和“若干”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。
Claims (10)
1.一种视频的伪造检测方法，其特征在于，包括：
获取目标视频，将所述目标视频输入时序特征提取网络，得到初始篡改特征，所述目标视频包括多个视频帧；
对所述初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，所述水平篡改特征序列用于指示所述视频帧中像素在水平方向的扩散结果，所述垂直篡改特征序列用于指示对应的所述像素在垂直方向的扩散结果；
根据所述水平篡改特征序列和所述垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；
基于所述扩散关系度量矩阵进行检测，得到所述目标视频的检测结果，所述检测结果用于指示所述目标视频是否被伪造。
2.根据权利要求1所述的视频的伪造检测方法，其特征在于，所述对所述初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，包括：
对所述初始篡改特征进行水平池化，得到水平方向的所述水平篡改特征序列；
对所述初始篡改特征进行垂直池化，得到垂直方向的所述垂直篡改特征序列。
3.根据权利要求2所述的视频的伪造检测方法，其特征在于，所述根据所述水平篡改特征序列和所述垂直篡改特征序列得到扩散关系矩阵，包括：
根据所述初始篡改特征构建所述扩散关系矩阵的图节点；
根据所述水平篡改特征序列和所述垂直篡改特征序列得到每个所述图节点的特征向量，并根据所述特征向量确定每两个所述图节点之间是否存在节点边；
基于所述节点边和所述图节点对应的连通关系和缩放参数生成所述扩散关系矩阵。
4.根据权利要求3所述的视频的伪造检测方法，其特征在于，所述图节点包括水平图节点和垂直图节点，所述特征向量包括水平特征向量和垂直特征向量，所述根据所述水平篡改特征序列和所述垂直篡改特征序列得到每个所述图节点的特征向量，并根据所述特征向量确定每两个所述图节点之间是否存在节点边，包括：
根据所述水平篡改特征序列得到所述水平图节点的水平特征向量，并根据所述垂直篡改特征序列得到所述垂直图节点的垂直特征向量；
基于水平特征向量或垂直特征向量，计算两两所述图节点之间的特征距离，根据所述特征距离确定所述图节点之间的特征相似度，若所述特征相似度大于零，所述图节点之间存在所述节点边。
5.根据权利要求3所述的视频的伪造检测方法，其特征在于，所述基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵，包括：
对所述扩散关系矩阵进行归一化，得到用于指示所述图节点之间转移概率的节点转移概率矩阵；
根据节点转移概率矩阵计算每个矩阵元素的局部概率密度，基于所述局部概率密度和所述节点转移概率矩阵得到扩散关系相似度；
以所述扩散关系相似度作为初始状态进行至少一次迭代，得到所述扩散关系度量矩阵。
6.根据权利要求5所述的视频的伪造检测方法，其特征在于，所述对所述扩散关系矩阵进行归一化，得到用于指示所述图节点之间转移概率的节点转移概率矩阵，包括：
对所述扩散关系矩阵进行列向量对角化处理得到对角连通矩阵；
根据所述对角连通矩阵的逆矩阵和所述扩散关系矩阵得到节点转移概率矩阵。
7.根据权利要求1至6任一项所述的视频的伪造检测方法，其特征在于，所述基于所述扩散关系度量矩阵进行检测，得到所述目标视频的检测结果，包括：
将所述扩散关系度量矩阵转换为关系向量；
将所述关系向量输入伪造特征分类器进行分类预测，得到所述检测结果。
8.一种人脸视频伪造检测装置，其特征在于，包括：
时序特征提取模块，用于获取目标视频，将所述目标视频输入时序特征提取网络，得到初始篡改特征，所述目标视频包括多个视频帧；
方向性时序切分模块，用于对所述初始篡改特征进行方向性时序特征切分处理，得到水平篡改特征序列和垂直篡改特征序列，所述水平篡改特征序列用于指示所述视频帧中像素在水平方向的扩散结果，所述垂直篡改特征序列用于指示对应的所述像素在垂直方向的扩散结果；
扩散性模块，用于根据所述水平篡改特征序列和所述垂直篡改特征序列得到扩散关系矩阵，基于扩散关系矩阵进行扩散性建模，得到扩散关系度量矩阵；
检测模块，用于基于所述扩散关系度量矩阵进行检测，得到所述目标视频的检测结果，所述检测结果用于指示所述目标视频是否被伪造。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的视频的伪造检测方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的视频的伪造检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410690798.0A CN118262276B (zh) | 2024-05-30 | 2024-05-30 | 视频的伪造检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410690798.0A CN118262276B (zh) | 2024-05-30 | 2024-05-30 | 视频的伪造检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118262276A CN118262276A (zh) | 2024-06-28 |
| CN118262276B true CN118262276B (zh) | 2024-08-06 |
Family
ID=91602788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410690798.0A Active CN118262276B (zh) | 2024-05-30 | 2024-05-30 | 视频的伪造检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118262276B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932544A (zh) * | 2020-10-19 | 2020-11-13 | 鹏城实验室 | 篡改图像检测方法、装置及计算机可读存储介质 |
| CN117496392A (zh) * | 2023-10-10 | 2024-02-02 | 中山大学 | 基于时序差异的深度伪造视频检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007072347A2 (en) * | 2005-12-22 | 2007-06-28 | Koninklijke Philips Electronics N.V. | System and method for processing video |
-
2024
- 2024-05-30 CN CN202410690798.0A patent/CN118262276B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932544A (zh) * | 2020-10-19 | 2020-11-13 | 鹏城实验室 | 篡改图像检测方法、装置及计算机可读存储介质 |
| CN117496392A (zh) * | 2023-10-10 | 2024-02-02 | 中山大学 | 基于时序差异的深度伪造视频检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118262276A (zh) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929622B (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN108764085B (zh) | 基于生成对抗网络的人群计数方法 | |
| CN111709408B (zh) | 图像真伪检测方法和装置 | |
| Cozzolino et al. | Splicebuster: A new blind image splicing detector | |
| EP3333768A1 (en) | Method and apparatus for detecting target | |
| CN114331829A (zh) | 一种对抗样本生成方法、装置、设备以及可读存储介质 | |
| CN110399820B (zh) | 一种公路路边景物视觉识别分析方法 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| Yadav et al. | An improved deep learning-based optimal object detection system from images | |
| CN112001362A (zh) | 一种图像分析方法、图像分析装置及图像分析系统 | |
| Wu et al. | Visual structural degradation based reduced-reference image quality assessment | |
| Chen et al. | Image splicing localization using residual image and residual-based fully convolutional network | |
| Siddiqui et al. | A robust framework for deep learning approaches to facial emotion recognition and evaluation | |
| CN114677611B (zh) | 数据识别方法、存储介质及设备 | |
| CN117291895A (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN118262276B (zh) | 视频的伪造检测方法、装置、电子设备及存储介质 | |
| Girish et al. | Inter-frame video forgery detection using UFS-MSRC algorithm and LSTM network | |
| Liu et al. | DH-GAN: Image manipulation localization via a dual homology-aware generative adversarial network | |
| Rush et al. | Feature Map Activation Analysis for Object Key-Point Detection | |
| CN118097566B (zh) | 基于深度学习的场景变动检测方法、装置、介质及设备 | |
| CN117390685B (zh) | 一种基于遗忘学习的行人重识别数据隐私保护方法和系统 | |
| CN114998990B (zh) | 一种工地人员安全行为识别方法及装置 | |
| CN115115871B (zh) | 图像识别模型的训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |