CN113158818B - 用于识别伪造视频的方法、装置和设备 - Google Patents

用于识别伪造视频的方法、装置和设备 Download PDF

Info

Publication number
CN113158818B
CN113158818B CN202110334046.7A CN202110334046A CN113158818B CN 113158818 B CN113158818 B CN 113158818B CN 202110334046 A CN202110334046 A CN 202110334046A CN 113158818 B CN113158818 B CN 113158818B
Authority
CN
China
Prior art keywords
video
image
optical flow
feature map
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110334046.7A
Other languages
English (en)
Other versions
CN113158818A (zh
Inventor
潘威滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202110334046.7A priority Critical patent/CN113158818B/zh
Publication of CN113158818A publication Critical patent/CN113158818A/zh
Application granted granted Critical
Publication of CN113158818B publication Critical patent/CN113158818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture

Abstract

本申请涉及人工智能技术领域,公开一种用于识别伪造视频的方法,包括:获取待识别视频;获取待识别视频对应的图像集合;图像集合包括多个图像;获取图像集合的纹理特征和光流相似度;根据纹理特征和光流相似度识别待识别视频是否为伪造视频。相比于目前的识别算法,通过提取视频的纹理特征与视频帧之间的光流相似度识别伪造视频,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,还考虑了视频帧之间的光流变化,提高识别伪造视频的准确率。本申请还公开一种用于识别伪造视频的装置及设备。

Description

用于识别伪造视频的方法、装置和设备
技术领域
本申请涉及人工智能技术领域,例如涉及一种用于识别伪造视频的方法、装置和设备。
背景技术
目前,随着视频合成技术的发展,网络中出现了很多对视频图像进行篡改的伪造视频。伪造视频作为一种基于深度生成模型的视频伪造方法,在构建模型时使用了一种自编解码架构。这些伪造视频中,图像被篡改但是视频依然保持着视觉真实性,通过人工很难区分是真实视频还是伪造视频,造成个人安全隐患。所以,迫切需要一种有效的伪造识别方法。
在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:
由于目前的识别算法仅仅通过监视待识别视频的视频帧之间颜色纹理参数的区别进行识别,识别参数单一,识别的准确率低。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种用于识别伪造视频的方法、装置和设备,以解决当前识别伪造视频的算法准确率低的问题。
在一些实施例中,用于识别伪造视频的方法包括:
获取待识别视频;
获取所述待识别视频对应的图像集合;所述图像集合包括多个图像;
获取所述图像集合的纹理特征和光流相似度;
根据所述纹理特征和所述光流相似度识别所述待识别视频是否为伪造视频。
在一些实施例中,获取待识别视频对应的图像集合,包括:
从所述待识别视频提取待识别目标图像,将所述待识别目标图像确定为图像集合中的图像。
在一些实施例中,获取图像集合的纹理特征,包括:
获取单通道图像序列;所述单通道图像序列包括所述图像集合中各图像分别在不同颜色通道的单通道图像;
将所述单通道图像序列确定为所述图像集合的纹理特征。
在一些实施例中,获取视频帧集合的光流相似度,包括:
获取所述图像集合中各图像对应的灰度图,获得灰度图序列;
获取所述灰度图序列中相邻灰度图的各对应像素点之间的灰度值差值,获得灰度差值集合;
将所述灰度差值集合确定为所述图像集合的光流相似度。
在一些实施例中,根据纹理特征和光流相似度识别待识别视频是否为伪造视频,包括:
获取所述纹理特征对应的第一特征图;获取所述光流相似度对应的第二特征图;
根据所述第一特征图和所述第二特征图识别待识别视频是否为伪造视频。
在一些实施例中,获取纹理特征对应的第一特征图,包括:
通过第一预设神经网络模型对所述纹理特征进行卷积操作,获得纹理特征图;
对所述纹理特征图进行灰度转换,获得第一特征图。
在一些实施例中,获取所述光流相似度对应的第二特征图,包括:
通过第二预设神经网络模型对所述光流相似度进行卷积操作,获得光流特征图;
对所述光流特征图进行灰度转换,获得第二特征图。
在一些实施例中,根据第一特征图和第二特征图识别待识别视频是否为伪造视频,包括:
对所述第一特征图和所述第二特征图进行合并通道数,获得第三特征图;
将所述第三特征图输入预设的分类器,获得分类结果;
在所述分类结果满足预设条件的情况下,确定所述待识别视频为伪造视频。
在一些实施例中,用于识别伪造视频的装置,包括处理器和存储有程序指令的存储器,所述处理器被配置为在运行所述程序指令时,执行上述用于识别伪造视频的方法。
在一些实施例中,设备包括上述的用于识别伪造视频的装置。
本公开实施例提供的用于识别伪造视频的方法、装置和设备,可以实现以下技术效果:
相比于目前的识别算法,通过提取视频的纹理特征与视频帧之间的光流相似度识别伪造视频,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,还考虑了视频帧之间的光流变化,提高识别伪造视频的准确率。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1是本公开实施例提供的一个用于识别伪造视频的方法的示意图;
图2是本公开实施例提供的另一个用于识别伪造视频的方法的示意图;
图3是本公开实施例提供的一个用于识别伪造视频的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或多个实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开实施例的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
除非另有说明,术语“多个”表示两个或两个以上。
本公开实施例中,字符“/”表示前后对象是一种“或”的关系。例如,A/B表示:A或B。
术语“和/或”是一种描述对象的关联关系,表示可以存在三种关系。例如,A和/或B,表示:A或B,或,A和B这三种关系。
结合图1所示,本公开实施例提供一种用于识别伪造视频的方法,包括:
步骤S101,获取待识别视频;
步骤S102,获取待识别视频对应的图像集合;图像集合包括多个图像;
步骤S103,获取图像集合的纹理特征和光流相似度;
步骤S104,根据纹理特征和光流相似度识别待识别视频是否为伪造视频。
采用本公开实施例提供的用于识别伪造视频的方法,相比于目前的识别算法,通过提取视频的纹理特征与视频帧之间的光流相似度识别伪造视频,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,保留空域信息,还考虑了视频帧之间的光流变化,对于时域信息的提取也更加充分,提高识别伪造视频的准确率。
可选地,图像集合包括多个按照时间顺序排序的图像。通过对图像集合中的图像按照时间顺序排序,便于获取相邻图像之间的光流相似度,利用光流相似度识别伪造视频,提高准确性。
可选地,获取待识别视频对应的图像集合包括:从待识别视频提取待识别目标图像,将待识别目标图像确定为图像集合中的图像。首先检测待识别视频中的待识别目标,并提取出待识别视频中的待识别目标图像,对待识别目标图像进行对比,相比于对整个视频进行对比,更具有针对性,提高识别伪造视频的准确率。
可选地,图像集合中的图像格式为RGB(Red红色通道,Green绿色通道,Blue蓝色通道)格式。
可选地,从待识别视频提取待识别目标图像,包括:利用视频检测技术对待识别视频进行检测,并提取待识别视频中待识别目标的帧图像;利用双线性插值法对待识别目标的帧图像进行插值,获得待识别目标图像。可选地,视频检测技术包括MTCNN(Multi-taskconvolutional neural network,多任务卷积神经网络)。可选地,待识别目标包括人脸、猫脸、信号灯、车牌号等。通过双线性插值法将待识别目标的帧图像进行插值,对待识别目标图像的尺寸H1×W1进行统一,这样,便于图像之间的计算,提高识别算法的准确性;其中,H1为待识别目标图像的高,W1为待识别目标图像的宽。
在一些实施例中,在视频检测技术无法检测到待识别视频中待识别目标的情况下,将待识别视频确定为无法识别视频。由于待识别视频中存在可以被检测到的待识别目标才有识别的意义,如果输入的待识别视频中不含有任何待识别目标或者待识别目标的尺寸小于最低识别范围,那么将认为视频中不存在待识别目标,不需要对视频进行识别。
在一些实施例中,利用MTCNN检测并提取待识别视频中的人脸图像,获得人脸图像块;通过双线性插值法将人脸图像块进行插值,获得待识别目标图像,将待识别目标图像确定为图像集合的图像。可选地,待识别目标图像的尺寸为112×112。
可选地,获取图像集合的纹理特征,包括:获取单通道图像序列;单通道图像序列包括图像集合中各图像分别在不同颜色通道的单通道图像;将单通道图像序列确定为图像集合的纹理特征。这样,获取图像集合的纹理特征,将伪造视频的篡改图像的颜色纹理变化作为识别依据,充分利用空域信息,通过纹理变化对伪造视频进行识别,提高识别伪造视频的准确性。
可选地,获取单通道图像序列,包括:获取图像集合的图像分别在不同颜色通道的单通道图像并按照预设的颜色顺序排序,获得该图像对应的单通道图像组;将所有单通道图像组按照单通道图像组对应图像的时间顺序进行排序,获得单通道图像序列。在一些实施例中,单通道图像组的尺寸H2×W2×N1,H2为单通道图像组的图像的高,W2为单通道图像组的图像的宽,N1为单通道图像组的图像数量;单通道图像序列的尺寸H3×W3×N2,H3为单通道图像序列的图像的高,W3为单通道图像序列的图像的宽,N2为单通道图像序列的图像数量。可选地,单通道图像组的图像的高H2和单通道图像序列的图像的高H3均与待识别目标图像的高H1相等,单通道图像序列的图像的宽W2与单通道图像序列的图像的宽W3均与待识别目标图像的宽W1相等。
可选地,获取图像集合中各图像分别在不同颜色通道的单通道图像,包括:获取图像集合中各图像分别在RGB颜色空间上的R(Red,红色)通道图像、G(Green,绿色)通道图像和B(Blue,蓝色)通道图像。在一些实施例中,单通道图像序列包括T个按照时间顺序排列的单通道图像组,各单通道图像组包括3个按照R通道、G通道、B通道为序排列的单通道图像;其中,单通道图像序列的尺寸为112×112×3T,该单通道图像序列对应的单通道图像组的尺寸为112×112×3。通过将图像集合中各图像拆分为R通道、G通道、B通道为序排列的单通道图像,便于获取图像集合的纹理特征,将伪造视频的篡改图像的颜色纹理变化作为识别依据,充分利用空域信息,通过纹理变化对伪造视频进行识别,提高识别伪造视频的准确性。
可选地,获取视频帧集合的光流相似度包括:获取图像集合中各图像对应的灰度图,获得灰度图序列;获取灰度图序列中相邻灰度图的各对应像素点之间的灰度值差值,获得灰度差值集合;将灰度差值集合确定为图像集合的光流相似度。
可选地,获取图像集合中各图像对应的灰度图,包括:通过灰度图浮点算法获取图像集合中各图像对应的灰度图。
可选地,通过计算Gray(a)=(30·LR(a)+59·LG(a)+11·LB(a)+50)/100获取图像集合中图像对应灰度图的各像素的灰度值;其中,Gray(a)为灰度图的第a像素的灰度值,LR(a)为图像的第a像素在红色通道的亮度,LG(a)为图像的第a像素在绿色通道的亮度,LB(a)为图像的第a像素在蓝色通道的亮度,a为正整数。相比于多颜色通道图像,通过灰度图更能体现图像的光流特征,便于得到图像之间的光流相关度,考虑了视频帧之间的光流变化,对于待识别视频的时域信息的提取充分,提高识别伪造视频的准确性。
可选地,获取灰度图序列中相邻灰度图的各对应像素点之间的灰度值差值,包括:将灰度图序列中第n个灰度图的各像素点的灰度值分别减去第n+1个灰度图的对应像素点的灰度值,获得第n个灰度图与第n+1个灰度图各对应像素点之间的灰度值差值。这样,通过获取帧图像对应的灰度图之间的灰度值差值,获得图像集合的光流相似度,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,保留空域信息,还考虑了视频帧之间的光流变化,对于时域信息的提取也更加充分,提高识别伪造视频的准确性。
可选地,将图像集合中各图像对应的灰度图按照时间顺序进行排序,获得灰度图序列。在一些实施例中,灰度图序列的尺寸H4×W4×N3,H4为灰度图序列的灰度图的高,W4为灰度图序列的灰度图的宽,N3为灰度图序列的灰度图数量。可选地,灰度图序列的灰度图的高H4与待识别目标图像的高H1相等,灰度图序列的灰度图的宽W4与待识别目标图像的宽W1相等。
可选的,获取灰度图序列中相邻灰度图的各对应像素点之间的灰度值差值,并对各灰度值差值按照时间顺序进行排序,获得灰度差值集合。例如:灰度图序列中第n个灰度图与第n+1个灰度图的各对应像素点之间的灰度值差值,排序在第n+1个灰度图与第n+2个灰度图的各对应像素点之间的灰度值差值之前。
在一些实施例中,灰度图序列的灰度图数量N3为T;根据灰度图序列获取的灰度差值集合的灰度差值数量为T-1。
这样,通过获取帧图像对应的灰度图之间的灰度值差值,获得图像集合的光流相似度,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,保留空域信息,还考虑了视频帧之间的光流变化,对于时域信息的提取也更加充分,提高识别伪造视频的准确性。
可选地,根据纹理特征和光流相似度识别待识别视频是否为伪造视频包括:获取纹理特征对应的第一特征图;获取光流相似度对应的第二特征图;根据第一特征图和第二特征图识别待识别视频是否为伪造视频。这样,通过提取视频的纹理特征与视频帧之间的光流相似度识别伪造视频,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,保留空域信息,还考虑了视频帧之间的光流变化,对于时域信息的提取也更加充分,提高识别伪造视频的准确率。
可选地,获取纹理特征对应的第一特征图包括:通过第一预设神经网络模型对纹理特征进行卷积操作,获得纹理特征图;对纹理特征图进行灰度转换,获得第一特征图。
在一些实施例中,第一特征图的尺寸H5×W5×C1;其中,H5为第一特征图的高,W5为第一特征图的宽,C1为第一特征图的通道数。可选地,第一特征图的高H5等于单通道图像序列的图像的高H3,第一特征图的宽W5等于单通道图像序列的图像的宽W3
可选地,第一预设神经网络模型通过对3D(Dimensions,维度)卷积神经网络进行训练获得。相比于2D(Dimensions,维度)卷积神经网络无法考虑时间维度的帧间运动信息,卷积神经网络可以更好的捕捉时间和空间的特征信息,不仅利用伪造视频的静态痕迹,而且利用伪造视频中产生的动态变化模式来识别伪造视频,提高识别伪造视频的准确性。
可选地,通过第一预设神经网络模型对纹理特征进行卷积操作获得纹理特征图,包括:将纹理特征输入预设第一卷积序列长度的第一预设神经网络模型;根据纹理特征令卷积核在通道维度以第一预设步长进行滑动,获得纹理卷积图;通过预设合并规则对纹理卷积图进行合并,获得纹理特征图。可选地,第一卷积序列长度大于2且小于图像集合的图像数量。可选的,第一预设步长为1。可选地,预设合并规则包括:按照从前往后的顺序,对纹理卷积图中第m通道图片、第m+1通道图片和第m+2通道图片进行通道合并;其中,m为正整数。可选地,纹理卷积图的尺寸H6×W6×C2;其中,H6为纹理卷积图的高,W6为纹理卷积图的宽,C2为纹理卷积图的通道数。可选地,纹理特征图的尺寸H7×W7×C3;其中,H7为纹理特征图的高,W7为纹理特征图的宽,C3为纹理特征图的通道数。可选地,纹理卷积图的高H6等于单通道图像序列的图像的高H3,纹理卷积图的宽W6等于单通道图像序列的图像的宽W3。可选地,纹理特征图的高H7等于纹理卷积图的高H6,纹理特征图的宽W7等于纹理卷积图的宽W6
可选地,对纹理特征图进行灰度转换,获得第一特征图,包括:通过灰度图浮点算法对纹理特征图进行灰度转换,获得第一特征图。
可选地,通过计算Gray'(b)=(30·L'R(b)+59·L'G(b)+11·L'B(b)+50)/100获得第一特征图中各像素的灰度值;其中,Gray'(b)为第一特征图的第b像素的灰度值,L'R(b)为纹理特征图的第b像素在红色通道的亮度,L'G(b)为纹理特征图的第b像素在绿色通道的亮度,L'B(b)为纹理特征图的第b像素在蓝色通道的亮度,b为正整数。
在一些实施例中,纹理特征的尺寸为112×112×3T;预设第一卷积序列长度为t,第一预设神经网络模型在通道维度的长度为3t;将纹理特征输入卷积序列长度为t的第一预设神经网络模型;根据纹理特征令卷积核在通道维度以步长为1进行滑动,获得纹理卷积图;其中,纹理卷积图的尺寸112×112×3×(T-t);按照从前往后的顺序,对纹理卷积图中第p通道图片、第p+1通道图片和第p+2通道图片进行通道合并,获得纹理特征图;其中,纹理特征图的尺寸为112×112×(T-t);对纹理特征图进行灰度转换,获得第一特征图;其中,第一特征图的尺寸为112×112×(T-t)。
可选地,获取光流相似度对应的第二特征图包括:通过第二预设神经网络模型对光流相似度进行卷积操作,获得光流特征图;对光流特征图进行灰度转换,获得第二特征图。
在一些实施例中,第二特征图的尺寸H8×W8×C4;其中,H8为第二特征图的高,W8为第二特征图的宽,C4为第二特征图的通道数。可选地,第二特征图的高H8等于灰度图序列的灰度图的高H4,第二特征图的宽W8等于灰度图序列的灰度图的宽W4
可选地,第二预设神经网络模型通过对3D(Dimensions,维度)卷积神经网络进行训练获得。相比于2D(Dimensions,维度)卷积神经网络没有考虑时间维度的帧间运动信息,3D卷积神经网络可以更好的捕捉时间和空间的特征信息,不仅利用伪造视频的静态痕迹,而且利用伪造视频中产生的动态变化模式来识别伪造视频,提高识别伪造视频的准确性。
可选地,通过第二预设神经网络模型对光流相似度进行卷积操作,获得光流特征图,包括:将光流相似度输入预设第二卷积序列长度的第二预设神经网络模型;根据光流相似度令卷积核在通道维度以第二预设步长进行滑动,获得光流特征图。可选地,第二卷积序列长度大于2且小于图像集合的图片数量。可选地,第二预设步长为1。在一些实施例中,光流特征图的尺寸H9×W9×C5;其中,H9为光流特征图的高,W9为光流特征图的宽,C5为光流特征图的通道数。
可选地,对光流特征图进行灰度转换,获得第二特征图,包括:通过灰度图浮点算法对光流特征图进行灰度转换,获得第二特征图。
可选地,通过计算Gray”(c)=(30·L”R(c)+59·L”G(c)+11·L”B(c)+50)/100获得第二特征图中各像素的灰度值;其中,Gray”(c)为第二特征图的第c像素的灰度值,L”R(c)为光流特征图的第c像素在红色通道的亮度,L”G(c)为光流特征图的第c像素在绿色通道的亮度,L”B(c)为光流特征图的第c像素在蓝色通道的亮度,c为正整数。
在一些实施例中,光流相似度的高为112,光流相似度的宽为112,光流相似度中灰度值差值数量为T-1;将光流相似度输入卷积序列长度为t’的第二预设神经网络模型;根据光流相似度令卷积核在通道维度以步长为1进行滑动,获得光流特征图;其中,光流特征图的尺寸为112×112×(T-t’);对光流特征图进行灰度转换,获得第二特征图;其中,第二特征图的尺寸为112×112×(T-t’)。
可选地,根据第一特征图和第二特征图识别待识别视频是否为伪造视频包括:对第一特征图和第二特征图进行合并通道数,获得第三特征图;将第三特征图输入预设的分类器,获得分类结果;在分类结果满足预设条件的情况下,确定待识别视频为伪造视频。
在一些实施例中,第一特征图的尺寸为112×112×(T-t),第二特征图的尺寸为112×112×(T-t);根据第一特征图和第二特征图获得的第三特征图的高为112,第三特征图的宽为112,通道数为2(T-t)。
通过提取视频的纹理特征与视频帧之间的光流相似度识别伪造视频,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,保留空域信息,还考虑了视频帧之间的光流变化,对于时域信息的提取也更加充分,提高识别伪造视频的准确率。
可选地,分类器通过对2D卷积神经网络进行训练获得。可选地,分类器包括:从前往后依次设置卷积层、max-pooling(最大池化)层,fully-connected layer(全连接)层,非线性函数。可选地,将第三特征图输入预设的分类器获得分类结果,包括:将第三特征图通过卷积层和max-pooling(最大池化)层进行卷积计算和获取局部接受域中值最大的点,获得第一特征向量;将第一特征向量通过fully-connected layer(全连接)层进行线性变换,第二特征向量;将第二特征向量通过非线性函数进行线性组合,获得第三特征向量;将第三特征向量进行二分类处理,获得分类结果。可选地,分类结果包括多个二维特征向量。可选地,二维特征向量的参数包括[P0,P1];其中,P0为待识别视频为伪造视频的概率,P1为待识别视频为真实视频的概率。
可选地,在分类结果满足预设条件的情况下,确定待识别视频为伪造视频,包括:当分类结果中的二维特征向量满足预设条件的情况下,待识别视频为伪造视频。可选地,分类结果中的二维特征向量满足预设条件频包括:待识别视频为伪造视频的概率P0大于待识别视频为真实视频的概率P1且识别视频为伪造视频的概率P0大于预设阈值。可选地,预设阈值为0.5。
结合图2所示,本公开实施例提供一种用于识别伪造视频的方法,包括:
S201,获取待识别视频;
S202,利用视频检测技术对待识别视频进行检测,并提取待识别视频中待识别目标的帧图像;
S203,利用双线性插值法对待识别目标的帧图像进行插值,获得待识别目标图像;将待识别目标图像确定为图像集合中的图像;
S204,获取单通道图像序列;单通道图像序列包括图像集合中各图像分别在不同颜色通道的单通道图像;将单通道图像序列确定为图像集合的纹理特征;获取图像集合中各图像对应的灰度图,获得灰度图序列;获取灰度图序列中相邻灰度图的各对应像素点之间的灰度值差值,获得灰度差值集合;将灰度差值集合确定为图像集合的光流相似度;
S205,获取纹理特征对应的第一特征图;获取光流相似度对应的第二特征图;
S206,对第一特征图和第二特征图进行合并通道数,获得第三特征图;
S207,将第三特征图输入预设的分类器,获得分类结果;根据分类结果识别待识别视频是否为伪造视频。
现有技术中,对于在真实视频中插入一帧伪造图像帧的伪造视频,替换效果较为逼真,通过纹理特征识别伪造图像的识别算法的准确率较低,但是该伪造视频动态播放起来,帧图像之间的光流会有变化。本公开实施例提供的用于识别伪造视频的方法通过图像帧之间的光流相关度评估视频帧序列中的运动,对全局像素运动进行比较,将识别特征集中在光流运动方面,可以有效识别极短时间内插入的伪造图像帧,通过将纹理特征和光流相关度作为识别参数综合识别伪造视频,提高识别算法的准确率。
结合图3所示,本公开实施例提供一种用于识别伪造视频的装置,包括处理器(processor)100和存储器(memory)101。可选地,该装置还可以包括通信接口(Communication Interface)102和总线103。其中,处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令,以执行上述实施例的用于识别伪造视频的方法。
此外,上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器101作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述实施例中用于识别伪造视频的方法。
存储器101可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器101可以包括高速随机存取存储器,还可以包括非易失性存储器。
采用本公开实施例提供的用于识别伪造视频的装置,相比于目前的识别算法,通过提取视频的纹理特征与视频帧之间的光流相似度识别伪造视频,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,还考虑了视频帧之间的光流变化,提高识别伪造视频的准确率。
本公开实施例提供了一种设备,包含上述的用于识别伪造视频的装置。可选地,设备包括:智能手机、平板电脑、计算机、服务器等。
可选地,在设备为服务器的情况下,通过智能手机、平板电脑、计算机获取待识别视频。
该设备相比于目前的识别算法,通过提取视频的纹理特征与视频帧之间的光流相似度识别伪造视频,不仅将伪造视频的篡改图像的颜色纹理变化作为识别依据,还考虑了视频帧之间的光流变化,提高识别伪造视频的准确率。
本公开实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为执行上述用于识别伪造视频的方法。
本公开实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述用于识别伪造视频的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质,也可以是非暂态计算机可读存储介质。
以上描述和附图充分地示出了本公开的实施例,以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地,如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

Claims (9)

1.一种用于识别伪造视频的方法,其特征在于,包括:
获取待识别视频;
获取所述待识别视频对应的图像集合;所述图像集合包括多个图像;
获取所述图像集合的纹理特征和光流相似度;
根据所述纹理特征和所述光流相似度识别所述待识别视频是否为伪造视频;
所述获取图像集合的纹理特征,包括:获取单通道图像序列;所述单通道图像序列包括所述图像集合中各图像分别在不同颜色通道的单通道图像;将所述单通道图像序列确定为所述图像集合的纹理特征;
所述获取单通道图像序列,包括:获取所述图像集合的图像分别在不同颜色通道的单通道图像并按照预设的颜色顺序排序,获得所述图像对应的单通道图像组;将所有所述单通道图像组按照单通道图像组对应图像的时间顺序进行排序,获得单通道图像序列。
2.根据权利要求1所述的方法,其特征在于,获取待识别视频对应的图像集合,包括:
从所述待识别视频提取待识别目标图像,将所述待识别目标图像确定为图像集合中的图像。
3.根据权利要求1所述的方法,其特征在于,获取视频帧集合的光流相似度,包括:
获取所述图像集合中各图像对应的灰度图,获得灰度图序列;
获取所述灰度图序列中相邻灰度图的各对应像素点之间的灰度值差值,获得灰度差值集合;
将所述灰度差值集合确定为所述图像集合的光流相似度。
4.根据权利要求1至3任一项所述的方法,其特征在于,根据纹理特征和光流相似度识别待识别视频是否为伪造视频,包括:
获取所述纹理特征对应的第一特征图;获取所述光流相似度对应的第二特征图;
根据所述第一特征图和所述第二特征图识别待识别视频是否为伪造视频。
5.根据权利要求4所述的方法,其特征在于,获取纹理特征对应的第一特征图,包括:
通过第一预设神经网络模型对所述纹理特征进行卷积操作,获得纹理特征图;
对所述纹理特征图进行灰度转换,获得第一特征图。
6.根据权利要求4所述的方法,其特征在于,获取所述光流相似度对应的第二特征图,包括:
通过第二预设神经网络模型对所述光流相似度进行卷积操作,获得光流特征图;
对所述光流特征图进行灰度转换,获得第二特征图。
7.根据权利要求4所述的方法,其特征在于,根据第一特征图和第二特征图识别待识别视频是否为伪造视频,包括:
对所述第一特征图和所述第二特征图进行合并通道数处理,获得第三特征图;
将所述第三特征图输入预设的分类器,获得分类结果;
在所述分类结果满足预设条件的情况下,确定所述待识别视频为伪造视频。
8.一种用于识别伪造视频的装置,包括处理器和存储有程序指令的存储器,其特征在于,所述处理器被配置为在运行所述程序指令时,执行如权利要求1至7任一项所述的用于识别伪造视频的方法。
9.一种设备,其特征在于,包括如权利要求8所述的用于识别伪造视频的装置。
CN202110334046.7A 2021-03-29 2021-03-29 用于识别伪造视频的方法、装置和设备 Active CN113158818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334046.7A CN113158818B (zh) 2021-03-29 2021-03-29 用于识别伪造视频的方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334046.7A CN113158818B (zh) 2021-03-29 2021-03-29 用于识别伪造视频的方法、装置和设备

Publications (2)

Publication Number Publication Date
CN113158818A CN113158818A (zh) 2021-07-23
CN113158818B true CN113158818B (zh) 2023-04-07

Family

ID=76885557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334046.7A Active CN113158818B (zh) 2021-03-29 2021-03-29 用于识别伪造视频的方法、装置和设备

Country Status (1)

Country Link
CN (1) CN113158818B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
CN109657600A (zh) * 2018-12-14 2019-04-19 广东工业大学 一种视频区域移除篡改检测方法和装置
CN110197721A (zh) * 2019-05-06 2019-09-03 平安科技(深圳)有限公司 基于深度学习的肌腱状况评估方法、装置及存储介质
CN111611873A (zh) * 2020-04-28 2020-09-01 平安科技(深圳)有限公司 人脸替换检测方法及装置、电子设备、计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956618B (zh) * 2016-04-27 2021-12-03 云南昆钢集团电子信息工程有限公司 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法
CN106650670A (zh) * 2016-12-27 2017-05-10 北京邮电大学 活体人脸视频的检测方法及装置
CN110009621B (zh) * 2019-04-02 2023-11-07 广东工业大学 一种篡改视频检测方法、装置、设备及可读存储介质
CN111797702A (zh) * 2020-06-11 2020-10-20 南京信息工程大学 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN111967427A (zh) * 2020-08-28 2020-11-20 广东工业大学 一种伪造人脸视频鉴别方法、系统和可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
CN109657600A (zh) * 2018-12-14 2019-04-19 广东工业大学 一种视频区域移除篡改检测方法和装置
CN110197721A (zh) * 2019-05-06 2019-09-03 平安科技(深圳)有限公司 基于深度学习的肌腱状况评估方法、装置及存储介质
CN111611873A (zh) * 2020-04-28 2020-09-01 平安科技(深圳)有限公司 人脸替换检测方法及装置、电子设备、计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XianglingDing等.Detection of motion-compensated frame-rate up-conversion via optical flow-based prediction residue.《Optik》.2020,全文. *
徐仲勋.基于光流场和轮廓的目标跟踪方法研究.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2018,全文. *

Also Published As

Publication number Publication date
CN113158818A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US9158985B2 (en) Method and apparatus for processing image of scene of interest
TWI686774B (zh) 人臉活體檢測方法和裝置
CN107895150B (zh) 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估
Wu et al. Lane-mark extraction for automobiles under complex conditions
CN107909026B (zh) 基于小规模卷积神经网络年龄和/或性别评估方法及系统
US8103058B2 (en) Detecting and tracking objects in digital images
CN109308711B (zh) 目标检测方法、装置及图像处理设备
CN109740589B (zh) 视频模式中的异步对象roi检测方法及系统
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
Ozcelik et al. A vision based traffic light detection and recognition approach for intelligent vehicles
CN112016545A (zh) 一种包含文本的图像生成方法及装置
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
Bulugu Algorithm for license plate localization and recognition for tanzania car plate numbers
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
Jwaid et al. Study and analysis of copy-move & splicing image forgery detection techniques
CN113158818B (zh) 用于识别伪造视频的方法、装置和设备
JP2011087144A (ja) テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム
Sathiya et al. Pattern recognition based detection recognition of traffic sign using SVM
KR101681233B1 (ko) 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
Santhini et al. Crowd scene analysis using deep learning network
CN108399411B (zh) 一种多摄像头识别方法及装置
Bazmi et al. Increasing the Accuracy of Detection and Recognition in Visual Surveillance.
Mateus et al. Surveillance and management of parking spaces using computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant