CN117557893A - 一种基于残差峰值的静态场景视频真伪鉴定方法及装置 - Google Patents

一种基于残差峰值的静态场景视频真伪鉴定方法及装置 Download PDF

Info

Publication number
CN117557893A
CN117557893A CN202410039271.1A CN202410039271A CN117557893A CN 117557893 A CN117557893 A CN 117557893A CN 202410039271 A CN202410039271 A CN 202410039271A CN 117557893 A CN117557893 A CN 117557893A
Authority
CN
China
Prior art keywords
video
static scene
scene video
residual
authenticity identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410039271.1A
Other languages
English (en)
Inventor
徐一波
陈友斌
申意萍
张志坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Micropattern Technology Development Co ltd
Original Assignee
Hubei Micropattern Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Micropattern Technology Development Co ltd filed Critical Hubei Micropattern Technology Development Co ltd
Priority to CN202410039271.1A priority Critical patent/CN117557893A/zh
Publication of CN117557893A publication Critical patent/CN117557893A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/95Pattern authentication; Markers therefor; Forgery detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种基于残差峰值的静态场景视频真伪鉴定方法及装置,涉及静态场景视频真伪鉴定技术领域,首先,使用解码器对一段视频流进行解码,得到连续多帧的视频流图像。然后,检测者选择一个需要检测的静态视频画面矩形区域,通常是视频中的背景区域,并从多帧的视频流图像画面中都截取该区域,得到同等尺寸的连续多帧的局部画面。接下来,计算相邻两帧的像素点数值的残差,得到一组残差图像,并计算各残差图像残差绝对值峰值的均值M。最后,查看根据M是否超过既定阈值,超过则判定为真实视频,否则判定为伪造视频。

Description

一种基于残差峰值的静态场景视频真伪鉴定方法及装置
技术领域
本发明涉及静态场景视频真伪鉴定技术领域,尤其是涉及一种基于残差峰值的静态场景视频真伪鉴定方法及装置。
背景技术
近年来,随着数字图像的广泛应用,在视频的可信度和内容的保护方面提出了越来越高的要求。
随着AIGC技术的发展,视频制作技术变得越来越先进,但同时也带来了伪造视频的泛滥。伪造视频是指通过技术手段对原始视频进行篡改、合成或重制,以达到误导观众、传播虚假信息、诈骗等目的。这些伪造视频可能涉及经济、社会等各个领域,对人们的生活和社会秩序造成严重影响。针对伪造视频的检测具有重要意义。现有的伪造视频的检测很多基于声学或光学一致性完成,往往需要结合动态的目标进行检验。运动目标一般会引入较大的信号噪声,影响检测效果。
因此亟需设计一种针对静态背景视频合成检测方法,提升对于利用图片或AIGC生成的静态伪造视频画面的检测效果。
发明内容
为了解决传统视频真伪检测技术对于静态背景视频合成检测效果较差的技术问题,本发明提供一种基于残差峰值的静态场景视频真伪鉴定方法及装置。采用如下的技术方案:
一种基于残差峰值的静态场景视频真伪鉴定方法,包括以下步骤:
步骤1,解码视频帧,对待检测静态场景视频流进行解码得到多帧视频流画面;
步骤2,截取像素矩阵,对步骤1的多帧视频流画面分别截取同一局部区域画面,并分别截取局部区域画面的像素构造矩阵;
步骤3,计算相邻残差峰值,分别根据多帧局部区域画面的像素构造矩阵计算得到残差矩阵,计算所有残差矩阵的各自峰值,并求峰值均值;
步骤4,真伪判定,设定真伪判断阈值,将步骤3中所得峰值均值与真伪判断阈值进行比较,若峰值均值小于真伪判断阈值,则判断待检测静态场景视频是伪造视频,反之则判断待检测静态场景视频是真实拍摄视频。
通过采用上述技术方案,规避了现有常规视频真伪鉴定算法中存在的运动目标信号对视频真伪鉴定的干扰作用,充分挖掘静态画面区域对真伪鉴定的贡献作用,分析视频静态场景中帧画面内容局部单一像素跳动幅度,并建立一个量化模型加以区分真伪视频在静态区域画面单个像素跳动幅度的差异性,相比机器学习等方法具有速度快、泛化性更好的优点。
可选的,步骤1的具体方法是:使用解码器对一段待检测静态场景视频流进行解码,得到连续n帧的视频流画面,分别记为
通过采用上述技术方案,得到连续n帧的视频流画面为后续的像素矩阵截取提供有效初始数据。
可选的,步骤2的具体方法是:从连续n帧的视频流画面中分别截取同一设定局部区域画面,得到同等尺寸的连续n帧的局部区域画面,分别取局部区域画面的像素构造矩阵,分别记为/>
可选的,局部区域画面是矩形区域,且局部区域画面的选取避开动态区域。
通过采用上述技术方案,具体检测时,需要选择一个静态视频画面矩形局部区域画面,局部区域画面通常是视频中的背景画面,并从多帧的视频流画面中都截取该区域,得到同等尺寸的连续n帧的局部画面,取画面的像素构造矩阵,记为,虽然是静态视频画面的真伪检测,但是实际上还是会存在时间流等动态区域,该裁剪过程可以有效去除视频中动态的画面,仅仅保留纯静态的画面内容,便于后续进行静态画面是否存在伪造判定。
可选的,步骤3的具体方法是:
分别对步骤2中获得的局部区域画面的像素构造矩阵计算图像像素矩阵的残差,可得到n-1个残差矩阵:
计算所有残差矩阵的各自峰值,并求峰值均值M:
其中是对矩阵/>元素求绝对值,/>是求矩阵/>中最大的元素,峰值均值M代表相邻视频帧像素扰动幅度。
通过采用上述技术方案,规避了现有常规视频真伪鉴定算法中存在的运动目标信号对视频真伪鉴定的干扰作用,充分挖掘静态画面区域对真伪鉴定的贡献作用,分析视频静态场景中帧画面内容局部单个像素跳动幅度,并建立一个量化模型加以区分真伪视频在静态区域画面单个像素跳动幅度的差异性,相比机器学习等方法具有速度快、泛化性更好的优点。
可选的,步骤4的具体方法是:设定真伪判断阈值T,将步骤3中所得峰值均值M与真伪判断阈值T进行比较,若M<T,则判断待检测静态场景视频是伪造视频,若M≥T则判断待检测静态场景视频是真实拍摄视频。
通过采用上述技术方案,将步骤3中所得峰值均值与阈值T进行比较,小于阈值T时表明视频静态画面相邻帧的像素差异较小,视频帧几乎无扰动,重复性很高,可判定为计算机合成的伪造视频。反之,说明视频帧在局部范围内存在较大的像素扰动,属于摄像头拍摄的真实拍摄视频。
一种基于残差峰值的静态场景视频真伪鉴定装置,包括数据录入模块、存储器、视觉处理芯片和处理器,所述数据录入模块与存储器通信连接,用于向存储器录入待检测静态场景视频流,所述存储器预装有根据一种基于残差峰值的静态场景视频真伪鉴定方法设计的静态场景视频真伪鉴定程序,视觉处理芯片和处理器和分别与存储器通信连接,视觉处理芯片调用存储器的待检测静态场景视频流执行解码视频帧和截取像素矩阵的视觉处理步骤,所述处理器与视觉处理芯片通信连接,基于视觉处理芯片的分析处理结果,运行静态场景视频真伪鉴定程序得出静态场景视频真伪鉴定结果。
可选的,还包括显示器,所述显示器与处理器通信连接,用于显示静态场景视频真伪鉴定程序的判断结果。
通过上述技术方案,可以实现对待检测静态场景视频流的输入后的自动分析检测,自动输出检测结果,并进行显示。
综上所述,本发明包括以下至少有益技术效果:
本发明能提供一种基于残差峰值的静态场景视频真伪鉴定方法及装置,能高效的对静态场景视频进行真伪鉴定,规避了现有常规视频真伪鉴定算法中存在的运动目标信号对视频真伪鉴定的干扰作用,充分挖掘静态画面区域对真伪鉴定的贡献作用,分析视频静态场景中帧画面内容局部单一像素跳动幅度,并建立一个量化模型加以区分真伪视频在静态区域画面单个像素跳动幅度的差异性,相比机器学习等方法具有速度快、泛化性更好的优点。
附图说明
图1是本发明一种基于残差峰值的静态场景视频真伪鉴定方法的流程示意图;
图2是本发明一种基于残差峰值的静态场景视频真伪鉴定装置的各部件连接示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明实施例公开一种基于残差峰值的静态场景视频真伪鉴定方法及装置。
参照图1和图2,一种基于残差峰值的静态场景视频真伪鉴定方法,包括以下步骤:
步骤1,解码视频帧,对待检测静态场景视频流进行解码得到多帧视频流画面;
步骤2,截取像素矩阵,对步骤1的多帧视频流画面分别截取同一局部区域画面,并分别截取局部区域画面的像素构造矩阵;
步骤3,计算相邻残差峰值,分别根据多帧局部区域画面的像素构造矩阵计算得到残差矩阵,计算所有残差矩阵的各自峰值,并求峰值均值;
步骤4,真伪判定,设定真伪判断阈值,将步骤3中所得峰值均值与真伪判断阈值进行比较,若峰值均值小于真伪判断阈值,则判断待检测静态场景视频是伪造视频,反之则判断待检测静态场景视频是真实拍摄视频。
通过采用上述技术方案,规避了现有常规视频真伪鉴定算法中存在的运动目标信号对视频真伪鉴定的干扰作用,充分挖掘静态画面区域对真伪鉴定的贡献作用,分析视频静态场景中帧画面内容局部单一像素跳动幅度,并建立一个量化模型加以区分真伪视频在静态区域画面单个像素跳动幅度的差异性,相比机器学习等方法具有速度快、泛化性更好的优点。
步骤1的具体方法是:使用解码器对一段待检测静态场景视频流进行解码,得到连续n帧的视频流画面,分别记为
通过采用上述技术方案,得到连续n帧的视频流画面为后续的像素矩阵截取提供有效初始数据。
步骤2的具体方法是:从连续n帧的视频流画面中分别截取同一设定局部区域画面,得到同等尺寸的连续n帧的局部区域画面,分别取局部区域画面的像素构造矩阵,分别记为/>
局部区域画面是矩形区域,且局部区域画面的选取避开动态区域。
通过采用上述技术方案,具体检测时,需要选择一个静态视频画面矩形局部区域画面,局部区域画面通常是视频中的背景画面,并从多帧的视频流画面中都截取该区域,得到同等尺寸的连续n帧的局部画面,取画面的像素构造矩阵,记为,虽然是静态视频画面的真伪检测,但是实际上还是会存在时间流等动态区域,该裁剪过程可以有效去除视频中动态的画面,仅仅保留纯静态的画面内容,便于后续进行静态画面是否存在伪造判定。
步骤3的具体方法是:
分别对步骤2中获得的局部区域画面的像素构造矩阵计算图像像素矩阵的残差,可得到n-1个残差矩阵:
计算所有残差矩阵的各自峰值,并求峰值均值M:
其中是对矩阵/>元素求绝对值,/>是求矩阵/>中最大的元素,峰值均值M代表相邻视频帧像素扰动幅度。
通过采用上述技术方案,规避了现有常规视频真伪鉴定算法中存在的运动目标信号对视频真伪鉴定的干扰作用,充分挖掘静态画面区域对真伪鉴定的贡献作用,分析视频静态场景中帧画面内容局部单一像素跳动幅度,并建立一个量化模型加以区分真伪视频在静态区域画面单个像素跳动幅度的差异性,相比机器学习等方法具有速度快、泛化性更好的优点。
步骤4的具体方法是:设定真伪判断阈值T,将步骤3中所得峰值均值M与真伪判断阈值T进行比较,若M<T,则判断待检测静态场景视频是伪造视频,若M≥T则判断待检测静态场景视频是真实拍摄视频。
通过采用上述技术方案,将步骤3中所得峰值均值与阈值T进行比较,小于阈值T时表明视频静态画面相邻帧的像素差异较小,视频帧几乎无扰动,重复性很高,可判定为计算机合成的伪造视频。反之,说明视频帧在局部范围内存在较大的像素扰动,属于摄像头拍摄的真实拍摄视频。
一种基于残差峰值的静态场景视频真伪鉴定装置,包括数据录入模块、存储器、视觉处理芯片和处理器,数据录入模块与存储器通信连接,用于向存储器录入待检测静态场景视频流,存储器预装有根据一种基于残差峰值的静态场景视频真伪鉴定方法设计的静态场景视频真伪鉴定程序,视觉处理芯片和处理器和分别与存储器通信连接,视觉处理芯片调用存储器的待检测静态场景视频流执行解码视频帧和截取像素矩阵的视觉处理步骤,处理器与视觉处理芯片通信连接,基于视觉处理芯片的分析处理结果,运行静态场景视频真伪鉴定程序得出静态场景视频真伪鉴定结果。
还包括显示器,显示器与处理器通信连接,用于显示静态场景视频真伪鉴定程序的判断结果。
可以实现对待检测静态场景视频流的输入后的自动分析检测,自动输出检测结果,并进行显示。
具体实施例,这里以一段监控视频画面为例进行说明:
解码视频帧:使用解码器对一段640×480视频流进行解码,得到连续5帧的视频流画面,记为
截取亮度矩阵:选择一个不包括顶部区域动态区域的640×440画面内容,顶部区域动态区域的画面内容为动态的计时器区域;
得到同等尺寸的连续5帧的640×440的局部区域画面。
这里取画面的亮度像素构造矩阵,也还可以取其他颜色分量,即亮度矩阵,记为
计算相邻残差峰值:计算相邻亮度矩阵的残差,可得到4个640×440残差图像,即残差矩阵
计算所有残差矩阵的各自峰值,并求峰值均值M。
;
真伪判定:将步骤3中所得峰值均值M与阈值T(如取20)进行比较,小于阈值T时表明视频静态画面相邻帧的像素差异较小,视频帧几乎无扰动,重复性很高,可判定为计算机合成。反之,说明视频帧在局部范围内存在较大的像素扰动,属于摄像头拍摄。
以上均为本发明的较佳实施例,并非以此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。

Claims (8)

1.一种基于残差峰值的静态场景视频真伪鉴定方法,其特征在于:包括以下步骤:
步骤1,解码视频帧,对待检测静态场景视频流进行解码得到多帧视频流画面;
步骤2,截取像素矩阵,对步骤1的多帧视频流画面分别截取同一局部区域画面,并分别截取局部区域画面的像素构造矩阵;
步骤3,计算相邻残差峰值,分别根据多帧局部区域画面的像素构造矩阵计算得到残差矩阵,计算所有残差矩阵的各自峰值,并求峰值均值;
步骤4,真伪判定,设定真伪判断阈值,将步骤3中所得峰值均值与真伪判断阈值进行比较,若峰值均值小于真伪判断阈值,则判断待检测静态场景视频是伪造视频,反之则判断待检测静态场景视频是真实拍摄视频。
2.根据权利要求1所述的一种基于残差峰值的静态场景视频真伪鉴定方法,其特征在于,步骤1的具体方法是:使用解码器对一段待检测静态场景视频流进行解码,得到连续n帧的视频流画面,分别记为
3.根据权利要求2所述的一种基于残差峰值的静态场景视频真伪鉴定方法,其特征在于,步骤2的具体方法是:从连续n帧的视频流画面中分别截取同一设定局部区域画面,得到同等尺寸的连续n帧的局部区域画面,分别取局部区域画面的像素构造矩阵,分别记为/>
4.根据权利要求3所述的一种基于残差峰值的静态场景视频真伪鉴定方法,其特征在于,局部区域画面是矩形区域,且局部区域画面的选取避开动态区域。
5.根据权利要求3所述的一种基于残差峰值的静态场景视频真伪鉴定方法,其特征在于,步骤3的具体方法是:
分别对步骤2中获得的局部区域画面的像素构造矩阵计算图像像素矩阵的残差,可得到n-1个残差矩阵:
计算所有残差矩阵的各自峰值,并求峰值均值M:
其中是对矩阵/>元素求绝对值,/>是求矩阵/>中最大的元素,峰值均值M代表相邻视频帧像素扰动幅度。
6.根据权利要求3所述的一种基于残差峰值的静态场景视频真伪鉴定方法,步骤4的具体方法是:设定真伪判断阈值T,将步骤3中所得峰值均值M与真伪判断阈值T进行比较,若M<T,则判断待检测静态场景视频是伪造视频,若M≥T则判断待检测静态场景视频是真实拍摄视频。
7.一种基于残差峰值的静态场景视频真伪鉴定装置,其特征在于:包括数据录入模块、存储器、视觉处理芯片和处理器,所述数据录入模块与存储器通信连接,用于向存储器录入待检测静态场景视频流,所述存储器预装有根据权利要求6所述的方法设计的静态场景视频真伪鉴定程序,视觉处理芯片和处理器和分别与存储器通信连接,视觉处理芯片调用存储器的待检测静态场景视频流执行解码视频帧和截取像素矩阵的视觉处理步骤,所述处理器与视觉处理芯片通信连接,基于视觉处理芯片的分析处理结果,运行静态场景视频真伪鉴定程序得出静态场景视频真伪鉴定结果。
8.根据权利要求7所述的一种基于残差峰值的静态场景视频真伪鉴定装置,其特征在于:还包括显示器,所述显示器与处理器通信连接,用于显示静态场景视频真伪鉴定程序的判断结果。
CN202410039271.1A 2024-01-11 2024-01-11 一种基于残差峰值的静态场景视频真伪鉴定方法及装置 Pending CN117557893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410039271.1A CN117557893A (zh) 2024-01-11 2024-01-11 一种基于残差峰值的静态场景视频真伪鉴定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410039271.1A CN117557893A (zh) 2024-01-11 2024-01-11 一种基于残差峰值的静态场景视频真伪鉴定方法及装置

Publications (1)

Publication Number Publication Date
CN117557893A true CN117557893A (zh) 2024-02-13

Family

ID=89815130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410039271.1A Pending CN117557893A (zh) 2024-01-11 2024-01-11 一种基于残差峰值的静态场景视频真伪鉴定方法及装置

Country Status (1)

Country Link
CN (1) CN117557893A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860414A (zh) * 2020-07-29 2020-10-30 中国科学院深圳先进技术研究院 一种基于多特征融合检测Deepfake视频方法
WO2023135518A1 (en) * 2022-01-12 2023-07-20 Nokia Technologies Oy High-level syntax of predictive residual encoding in neural network compression
CN116863218A (zh) * 2023-07-03 2023-10-10 西安建筑科技大学 一种基于关键鉴定部位的商品真伪鉴定方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860414A (zh) * 2020-07-29 2020-10-30 中国科学院深圳先进技术研究院 一种基于多特征融合检测Deepfake视频方法
WO2023135518A1 (en) * 2022-01-12 2023-07-20 Nokia Technologies Oy High-level syntax of predictive residual encoding in neural network compression
CN116863218A (zh) * 2023-07-03 2023-10-10 西安建筑科技大学 一种基于关键鉴定部位的商品真伪鉴定方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAYDE OLIAEI: "Videomotion forgery detection using motion residual and object tracking", 《MULTIMEDIA TOOLS AND APPLICATIONS》, 12 July 2023 (2023-07-12), pages 12651 - 12688 *

Similar Documents

Publication Publication Date Title
US9860446B2 (en) Flare detection and mitigation in panoramic images
US7982774B2 (en) Image processing apparatus and image processing method
JP2765674B2 (ja) データ供給装置
CN111310134B (zh) 屏幕水印生成方法、装置及设备
Singh et al. Detection of upscale-crop and splicing for digital video authentication
CN112422909B (zh) 一种基于人工智能的视频行为分析管理系统
Wandji et al. Detection of copy-move forgery in digital images based on DCT
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
JP3486229B2 (ja) 画像変化検出装置
CN111967345A (zh) 一种实时判定摄像头遮挡状态的方法
CN114422720B (zh) 视频浓缩方法、系统、装置和存储介质
KR101215666B1 (ko) 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품
US9832395B2 (en) Information processing method applied to an electronic device and electronic device having at least two image capturing units that have the same image capturing direction
CN110659627A (zh) 一种基于视频分割的智能视频监控方法
CN111460964A (zh) 一种广电传输机房低照度条件下运动目标检测方法
CN112560734B (zh) 基于深度学习的重获取视频检测方法、系统、设备及介质
Sharma et al. A review of passive forensic techniques for detection of copy-move attacks on digital videos
CN117557947B (zh) 一种基于均方误差的静态场景视频真伪鉴定方法及装置
CN117557893A (zh) 一种基于残差峰值的静态场景视频真伪鉴定方法及装置
CN104077738A (zh) 基于局部直方图特征的彩色图像水印方法
CN115937267A (zh) 一种基于多帧视频的目标轨迹追踪方法
CN116051477A (zh) 一种超高清视频文件的图像噪声检测方法及装置
CN112015231B (zh) 监控视频分区处理方法及系统
CN114897766A (zh) 一种码流异常检测方法、装置和计算机可读存储介质
CN114549270A (zh) 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination