CN102307301A - 一种基于关键帧的影音指纹生成方法 - Google Patents

一种基于关键帧的影音指纹生成方法 Download PDF

Info

Publication number
CN102307301A
CN102307301A CN201110143159A CN201110143159A CN102307301A CN 102307301 A CN102307301 A CN 102307301A CN 201110143159 A CN201110143159 A CN 201110143159A CN 201110143159 A CN201110143159 A CN 201110143159A CN 102307301 A CN102307301 A CN 102307301A
Authority
CN
China
Prior art keywords
frame
audio
video
fingerprint
directed graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110143159A
Other languages
English (en)
Other versions
CN102307301B (zh
Inventor
徐杰
隆克平
赵洪健
陈龙
闫朝喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN 201110143159 priority Critical patent/CN102307301B/zh
Publication of CN102307301A publication Critical patent/CN102307301A/zh
Application granted granted Critical
Publication of CN102307301B publication Critical patent/CN102307301B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于关键帧的影音指纹生成方法,首先通过基于最小顶点覆盖原理提取视频数据I帧中的多个关键帧,以此降低指纹的开销,然后利用I帧的DCT系数特性,选取关键帧直流系数x0和频率最小的N个低频交流系数x1,x2…,xN,通过量化编码生成一个N+1位的0/1序列,将关键帧的时间戳转换二进制序列,放置在N+1位的0/1序列前,构成该关键帧的M-1位的视频帧指纹。通过时间戳的匹配与同步性认证,利用异或运算的特性,将音、视频指纹合二为一进而产生影音指纹。此方法不仅实现了一种指纹同时认证多种媒体数据,而且大大缩小了指纹的开销,并对音视频节目的错播、误播、非法节目插播和篡改等问题具有一定的错误定位、检错修复能力。

Description

一种基于关键帧的影音指纹生成方法
技术领域
本发明属于网络传输内容安全及监控技术领域,更为具体地讲,涉及一种基于关键帧的影音指纹生成方法。
背景技术
随着网络的逐步开发以及传输业务的丰富多样,使得对网络“可管、可控、可信”的要求更加严格,也对网络传输内容安全和监控提出了新的挑战。由于利用现代技术很容易对网络媒体数据进行篡改及拷贝,所以对网络传输内容的安全与监控将是目前网络研究和建设的重要难题。
很明显,针对网络传输内容的安全问题,传统的信息安全技术难以满足要求。如利用信息加密技术,尽管使得数据传输过程中出现的非法攻击者无法从密文中获得机密信息,但是却造成了加密后的数据文件的可读性和易读性受到了损害,妨碍了信息在网络中的传输;同时,密码仅能在数据信息在从发送者到接收者的传输过程中进行数据的加密保护,一旦被第三方获得并成功解密后,数据信息的内容就会完全透明,从而失去传输内容保护的效果。另外目前出现的一些常见的内容监控技术,如基于关键字搜索拦截技术、地址过滤技术等大都是针对文本信息的内容监控技术,无法适用于音视频数据。
此外,针对数字音视频数据的内容识别与监控,有研究机构尝试引入数字水印技术。但是它仍然存在明显的弊端,如数字水印不仅会改变视频本身内容,而且必须在视频发布前完成嵌入。这使得数字水印技术用于音视频内容识别时,在精确度、实用性与扩展性等方面存在一定的局限性,无法很好地满足传输内容安全、版权保护、内容监控等方面日益增长的需求。
因此,基于上述网络传输内容安全与监控技术存在的缺陷,我们需要研究能实现网络音视频内容自动识别和实时监控的新技术、新方法。
数字指纹技术(Digital Fingerprinting),作为一种新兴的基于特征信息的认证技术应用于数字多媒体作品中,已经引起越来越多的研究者和相关企业的关注。所谓数字指纹,就是通过算法对数据进行综合计算得到的一个与内容高度相关的数字序列。与传统网络传输内容安全与监控技术及数字水印等技术相比,数字指纹的优势很明显:第一,数字指纹的提取是基于内容本身特征,不会改变原有音视频内容;第二,从音视频数据中提取的数字指纹与内容唯一对应,且具有较强鲁棒性;第三,数字指纹较其他内容识别技术,如数字水印,具有运算速度快、开销小、灵敏度高等特点,有助于实现快速匹配和认证。因此,指纹技术在信息内容识别方面的独特优势,为音视频网络传输安全与监控技术的研究和体系的建立,提供了一种新的有效方法和工具。
然而,目前对数字指纹技术的研究与应用大多集中在网络信息内容识别和版权仲裁方面,相关研究点也主要针对指纹准确率的问题上。如果要实现其在网络音视频内容安全与监控系统的成功运用,必须要在下面几大问题上取得突破。
快速提取及减小指纹开销:在网络音视频内容安全监控系统的研究中,时间就是生命,任何一刻都容不得马虎,必须尽量保证网络传输内容的实时监测,为此要求数字指纹唯一准确的同时,保证指纹的快速提取与低开销显得尤为重要;
音、视频数据的同时管理和监控:目前现有的音视频内容识别技术,多是单独利用音频或视频特征作为内容识别和分析的依据,很显然,在实际应用过程中单独利用某一种特征信息作为内容监控的依据不仅浪费资源,而且存在明显的安全漏洞,所以实现对音频和视频的统一识别与同时监测,是确保对网络传输内容安全全面监测的有效保障。
发明内容
本发明的目的在于克服现有技术的不足,提供一种快速、低开销、高准确度的基于关键帧的影音指纹生成方法。
为实现上述目的,本发明基于关键帧的影音指纹生成方法,其特征在于,包括以下步骤:
(1)、基于最小顶点覆盖原理的关键帧提取
对视频数据流进行解码,得到单个视频帧序列,然后,抽取其中的视频I帧,并将其作为无向图顶点;在无向图中,将顶点依据帧与帧之间的相似度进行连接,其边长与相似度成反比;对于无向图,进行以下处理:
1.1)、首先将与其他视频I帧相似度为0的顶点归到顶点集合C,并从无向图中移除;
1.2)、移除相似度低于设定值的边;
1.3)、将无向图中所有的顶点用访问标志进行标记,初始值为未被访问;
1.4)、然后计算所有顶点的度和邻接度,顶点的度表示与其连接的边数量,顶点的邻接度表示与其连接的所有顶点的度之和;
1.5)、在无向图中,选取邻接度最大的顶点,然后根据其数量n将顶点集合C复制为n个,依次将n个邻接度最大的顶点放入这n个顶点集合C中;将无向图复制为n幅,对每一幅无向图移除一个邻接度最大的顶点,得到n个分别移除一个邻接度最大顶点的无向图,同时,在这n个无向图中,原来与邻接度最大顶点连接的顶点标记为已被访问,移除与邻接度最大顶点连接的所有边;
1.6)、对n个无向图,进行步骤1.4)相同的处理,直到无向图中,所有的顶点均被标记为已被访问时为止,得到m个顶点集合Ci,i=1,2…,m;
1.7)、依次选择顶点集合Ci以外的各个顶点与顶点集合Ci内各点之间的最大相似度并求和,得到各个顶点集合Ci的求和Sum值,其中Sum值最大的顶点集合Ci中的顶点即为关键帧;
(2)、视频帧指纹的生成
2.1)、对于每一关键帧,在其压缩域提取到该帧的DCT系数,选取其直流系数x0和频率最小的N个低频交流系数x1,x2…,xN,然后对这些系数进行量化编码,得到二进制码序列Ai
2.2)、将该关键帧的时间戳转换二进制序列,放置在二进制码序列Ai的头部,构成该关键帧的M-1位的视频帧指纹;
(3)、影音指纹的合成
3.1)、首先对每帧音频数据进行快速傅里叶变换,得到对应的一系列频域值,并将音频频段划分成M个不重叠的频带,计算频域值落入各个频带中的数量;然后,计算相邻帧之间落入各个频带中频域值数量的差值,并量化为0或1,得到M-1位的音频帧指纹;
3.2)、对应每一视频帧指纹,利用其时间戳找到同步的音频帧指纹,然后通过异或运算将两者合二为一生成该时间戳对应的影音指纹;
3.3)、按照时间顺序,将不同时间对应的影音指纹有序排列,构成整段音视频数据对应的影音指纹。
本发明的发明目的是这样实现的:
本发明基于关键帧的影音指纹生成方法,首先通过基于最小顶点覆盖原理提取视频数据I帧中的多个关键帧,以此降低指纹的开销,然后利用I帧的DCT系数特性,选取关键帧直流系数x0和频率最小的N个低频交流系数x1,x2…,xN,通过量化编码生成一个N+1位的0/1序列,将关键帧的时间戳转换二进制序列,放置在N+1位的0/1序列前,构成该关键帧的M-1位的视频帧指纹,此过程简单易实现,大大降低了视频指纹提取的时间和空间复杂度。在此基础上,结合一种现有的M-1位音频指纹生成方法,通过时间戳的匹配与同步性认证,利用异或运算的特性,将两者合二为一进而产生影音指纹。此方法不仅实现了一种指纹同时认证多种媒体数据,而且大大缩小了指纹的开销,并对音视频节目的错播、误播、非法节目插播和篡改等问题具有一定的错误定位、检错修复能力。
附图说明
图1是本发明基于关键帧的影音指纹生成方法一种具体实施方式流程示意图;
图2是图1所示基于关键帧的影音指纹生成方法具体实例示意图;
图3是视频帧指纹的生成过程示意图;
图4是时间戳转换二进制序列过程示意图;
图5是检错、纠错信号序列图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
在本实施例中,如图1、2所示,本发明基于关键帧的影音指纹生成方法包括关键帧提取、视频指纹生成和音/视频指纹融合三大部分,以下为结合具体实施方式进行详细步骤描述:
(1)、基于最小顶点覆盖原理的关键帧提取
关键帧,又称为代表帧,是用来描述视频的关键图像帧,它反映视频的主要内容,又由于视频数据流中相邻画面具有很强的相似性,所以通过提取关键帧的方法来代替庞大的原始视频数据可有效降低开销。又根据国际MPEG标准,每段视频画面均由I、P、B三种类型帧组成,而且在编码过程中,每13帧就会出现一个I帧,相比于视频24帧/秒的画面频率来说,这意味着每秒的播放画面中会至少存在一个I帧,因此完全可以通过分析I帧间的相似性,提取关键帧以代表视频数据。
在本实施例中,首先使用FFmpeg工具包对视频数据流进行解码得到单个视频帧序列,然后利用视频帧AVFrame结构体的两个属性:key_frame和picty_type,抽取到其中的视频I帧。在本实施例中,如图3所示,抽取出的视频I帧8个,分别为I1~8
如图3所示,将视频I帧I1~8看作为高维特征空间中的点,与无向图G上的顶点相对应,顶点依据帧与帧之间的相似度进行连接,其边长与相似度成反比,相似度的值在0~1间。如此关键帧的提取就等价于无向图G的最小顶点覆盖集的求解问题,不同的是独立的视频I帧,如图中的视频I帧I8与其他视频I帧的相似度为0,直接将其归属为关键帧,在具体实施过程,可以将相似度低于某一值时,认为是0,在本实施例中,低于0.05,就视为为0。同时选取的点,即关键帧必须满足如下特点:能在指定大于设定值,在本实施例中,大于0.5内覆盖其他所有的点,并且保证选取的关键帧与顶点集合外所有点,即视频I帧的相似度之和尽可能大,以此确保顶点集合最具有代表性,具体步骤为:
1.1)、首先将与其他视频I帧相似度为0的顶点,即视频I帧归到顶点集合C,并从无向图G中移除。在本实施例中,如图3所示的顶点,即视频I帧I8归到顶点集合C,并从无向图G中移除。此时顶点集合C=(I8)
1.2)、移除相似度低于设定值的边。在本实施例中,移除所有相似度低于0.5的边。在本实施例中,如图3所示,视频I帧I1与视频I帧I2的相似度为0.31,将其连接的边移除,无向图G变为G1。
1.3)、将无向图G中所有的顶点用访问标志进行标记,初始值为未被访问。在本实施例中,如图3所示,用访问标志r0=0标记为未被访问。
1.4)、然后计算所有顶点的度D(v)和邻接度DL(v),其中,v表示顶点,v=I1,I2,…,I8,顶点的度表示与其连接的边数量,顶点的邻接度表示与其连接的所有顶点的度之和。
如图3所示,每一顶点括号内的数据依次为顶点的度D(v)、邻接度DL(v)和访问标记r0
1.5)、在无向图中,选取邻接度最大的顶点,然后根据其数量n将顶点集合C复制为n个,依次将n个邻接度最大的顶点放入这n个顶点集合C中。在本实施例中,如图3所示,无向图G1中有两个邻接度最大的顶点,即视频I帧I4、I5,先将顶点集合C进行复制为n=2个,在本实施例中,为了方便描述,分别标记为顶点集合C-1、C-2。依次选取邻接度最大的顶点,视频I帧I4、I5归入顶点集合C-1、C-2,此时,顶点集合C-1=(I8,I4),C-2=(I8,I5)。
在本实施例中,如图3所示,将无向图G1复制为n=2幅,分别标记为无向图G2-1,G2-2,对无向图G2-1移除邻接度最大的顶点,视频I帧I4,对无向图G2-2移除邻接度最大的顶点,视频I帧I5,然后,将无向图G2-1中与视频I帧I4连接的顶点标记为已被访问,用访问标志r0=1标记,移除与视频I帧I4连接的所有边;将无向图G2-2中与视频I帧I5连接的顶点标记为已被访问,用访问标志r0=1标记,移除与视频I帧I5连接的所有边。
1.6)、对n=2个无向图,无向图G2-1,G2-2,进行步骤1.4)相同的处理,直到无向图中,所有的顶点均被标记为已被访问时为止,得到m=2个顶点集合C1,C2。
在本实施例中,进行步骤1.4)相同的处理为分别将两个顶点集合C-1、C-2对应的无向图G1-1,G1-2进行步骤1.4)相同的处理,分别得到新的一个或多个顶点集合。
在本实施例中,对无向图G1-1进行处理,邻接度最大的顶点数量n=1,此时,不需要复制顶点集合C-1,直接将邻接度最大的顶点,即视频I帧I3放入顶点集合C-1,顶点集合C-1=(I8,I4,I3),然后视频I帧I3连接的顶点标记为已被访问,移除该顶点及与其连接的所有边,得到无向图G1-1-1,此时,所有顶点均被标记为已被访问,不再进行步骤1.4)相同的处理。
对于无向图G1-2进行处理,邻接度最大的顶点数量n=1,此时,不需要复制顶点集合C-2,顶点集合C-2=(I8,I5,I6),直接将邻接度最大的顶点,即视频I帧I6放入顶点集合C-2,然后视频I帧I6连接的顶点标记为已被访问,移除该顶点及与其连接的所有边,得到无向图G1-2-1,此时,所有顶点均被标记为已被访问,不再进行步骤1.4)相同的处理)。
将得到的顶点集合C-1、C-2重新编号为顶点集合Ci,i=1,2。
1.7)、在本实施例中,依次选择顶点集合C1以外的各个顶点,即I1、I2、I5、I6、I7与顶点集合C1内各顶点,即I3、I4、I8之间的最大相似度Max。如表1所示,I1与I3、I4、I8之间的相似度分别为0、0.85、0,选取I1与I3、I4、I8之间的最大相似0.85。对于I2、I5、I6、I7与顶点集合C1内各顶点的最大相似度依次类推。对最大相似度求和,得到各个顶点集合C1的求和Sum值为3.95,如表1(a)所示。
Figure BDA0000064875530000071
Sum=3.95                       Sum=3.89
表1
对于顶点集合C2的处理与顶点集合C1相同,其求和Sum值为3.89。这样其中Sum值最大的顶点集合C1中的顶点即为关键帧,即I3、I4、I8为要求的最小顶点覆盖集合。
(2)、视频帧指纹的生成
DCT变换是目前大多数视频编码标准的基础,在DCT域选取视频I帧的特征,由于可有效的同视频相关算法相结合,从而可大大降低算法的复杂度。与此同时,I帧内编码采用的恰好是DCT编码,故可不用解码即可直接在I帧的压缩域提取到DCT系数,由此可以利用选取恰当的DCT系数来代替I帧,然后再通过提取关键帧来作为视频数据的代表信息。下面是具体方法:
2.1)、对于每一关键帧,在其压缩域提取到该帧的DCT系数,选取其直流系数x0和频率最小的N个低频交流系数x1,x2…,xN,然后对这些系数进行量化编码,得到二进制码序列Ai
对于每个I帧,在DCT变换前常被分成8*8块,变换后对应生成64个DCT系数,包含一个直流系数(DC)和63个交流系数(AC),后者反映着I帧沿不同方向和不同速度变化的情况,其中左上角的AC与DC集中了该I帧的大部分能量。同时在AC中,低频系数(LF)由于其强敏感性可抵抗众多攻击。所以本发明通过选取DC系数外加部分低频交流系数来代表关键帧特征,实际上这就是视频帧指纹(VFF)。在本实施例中,选取了频率最小的N=5个低频交流系数x1,x2…,x5
为了与音频指纹有机融合,需要对选取的DCT系数进行进一步量化及编码,具体步骤如下:首先找出这些系数x0,x1,x2…,x5的最大值max和最小值min,确定量化系数Δ;
Δ = max - min 4 - - - ( 1 )
然后按照以下编码原则,将DCT系数xi分别进行对应译成二进制序列Ai
A i = 00 if min &le; x i < min + &Delta; 01 if min + &Delta; &le; x i < min + 2 &Delta; 10 if max - 2 &Delta; &le; x i < max - &Delta; 11 if max - &Delta; &le; x i &le; max - - - ( 2 )
此外,为了使得码流具有一定的错误预知能力,本发明将A0的2比特进行简单异或生成一位校验码t,在与由A0的两次简单重复生成的4比特,共同构成新二进制序列Ai的a0部分,如表2所示。
Figure BDA0000064875530000083
表2
这样在解码过程中,可以先通过比较1&2与3&4比特位是否相同来预先判定码流的变化与否,并且当确定由错误存在时,可以通过校验位t来进行初步纠正。
2.2)、将该关键帧的时间戳转换二进制序列,放置在二进制码序列Ai的头部,构成该关键帧的M-1位的视频帧指纹。
媒体数据传输时为保证音频流与视频流的同步,加时间戳是目前主流的技术,在本实施例中,如图4所示,时间信号(hh:mm:ss)被转换为17位的二进制流进行表示,如下图所示,将其放于二进制码序列Ai的头部,共同构成视频帧指纹(VFF)信息,其主要目的则是为音频指纹与视频指纹的同步融合提供依据和保障。
综上所述,在本实施例中,视频帧指纹是由部分代表性DCT系数与时间信号经过量化编码后形成的M-1位,即32位0/1序列,即不仅提取过程简单,而且指纹开销小,为其与音频指纹的快速融合提供了保障。
(3)、影音指纹的合成
如图2所示,首先对每帧音频数据进行快速傅里叶变换,得到对应的一系列频域值,并将音频频段划分成M=33个不重叠的频带,计算频域值落入各个频带中的数量;然后,计算相邻帧之间落入各个频带中频域值数量的差值,并量化为0或1,得到32位的0/1序列的音频帧指纹。
在本实施例中,如图2所示,对应每一视频帧指纹,利用其时间戳找到同步的音频帧指纹,然后通过异或运算将两者合二为一生成该时间戳对应的影音指纹。按照时间顺序,将不同时间对应的影音指纹有序排列,构成整段音视频数据对应的影音指纹。
音、视频指纹的结合得益于异或运算,不仅简单易操作,而且具有独特的自动检错、纠错能力。
在本实施例中,为了评价生成的影音指纹对音视频节目的错播、误播、非法节目插播和篡改等问题产生的相关错误的检错、纠错能力,使用保证音/视频流发送前的同步性媒体文件作为处理对象,分别提取音/视频指纹以及合成影音指纹,并设计了各种攻击实验,如故意错播、插播或误播,又如对传输中的媒体数据进行压缩攻击、剪切、旋转、低通滤波、中值滤波攻击等,以及模拟媒体数据在网络传输时遇到干扰,包括来自信道本身的随机噪声和AWGN高斯噪声等。本发明除了利用人类感知系统定性评价以外,还采用检错、纠错信号序列图来评价,如图5所示。
在图5中,假设其中音频数据遭到了攻击并导致提取的音频指纹AF发生了错误,图5中加粗线条表示,那么很容易在监测端发现实时产生的影音指纹AVMF与指纹库中存储的原始AVMF存在序列差异,通过比对即可轻松纠正,在此基础上,再与未出现错误的视频指纹VF做简单的异或运算即可轻松纠正音频指纹AF。图5中还显示了由纠正后的音频指纹AF与视频指纹VF重新合成后的AVMF与原始影音指纹完全相符。经过不同攻击和不同错误的重复实验,证明本发明的确能准确地反映有无错误产生,并能通过本文算法相应地纠正错误,对数字指纹应用于网络媒体内容安全监控与保护等领域提供了理论和技术依据
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于关键帧的影音指纹生成方法,其特征在于,包括以下步骤:
(1)、基于最小顶点覆盖原理的关键帧提取
对视频数据流进行解码,得到单个视频帧序列,然后,抽取其中的视频I帧,并将其作为无向图顶点;在无向图中,将顶点依据帧与帧之间的相似度进行连接,其边长与相似度成反比;对于无向图,进行以下处理:
1.1)、首先将与其他视频I帧相似度为0的顶点归到顶点集合C,并从无向图中移除;
1.2)、移除相似度低于设定值的边;
1.3)、将无向图中所有的顶点用访问标志进行标记,初始值为未被访问;
1.4)、计算所有顶点的度和邻接度,顶点的度表示与其连接的边数量,顶点的邻接度表示与其连接的所有顶点的度之和;
1.5)、在无向图中,选取邻接度最大的顶点,然后根据其数量n将顶点集合C复制为n个,依次将n个邻接度最大的顶点放入这n个顶点集合C中;将无向图复制为n幅,对每一幅无向图移除一个邻接度最大的顶点,得到n个分别移除一个邻接度最大顶点的无向图,同时,在这n个无向图中,原来与邻接度最大顶点连接的顶点标记为已被访问,移除与邻接度最大顶点连接的所有边;
1.6)、对n个无向图,进行步骤1.4)相同的处理,直到无向图中,所有的顶点均被标记为已被访问时为止,得到m个顶点集合Ci,i=1,2…,m;
1.7)、依次选择顶点集合Ci以外的各个顶点与顶点集合Ci内各点之间的最大相似度并求和,得到各个顶点集合Ci的求和Sum值,其中Sum值最大的顶点集合Ci中的顶点即为关键帧;
(2)、视频帧指纹的生成
2.1)、对于每一关键帧,在其压缩域提取到该帧的DCT系数,选取其直流系数x0和频率最小的N个低频交流系数x1,x2…,xN,然后对这些系数进行量化编码,得到二进制码序列Ai
2.2)、将该关键帧的时间戳转换二进制序列,放置在二进制码序列Ai的头部,构成该关键帧的M-1位的视频帧指纹;
(3)、影音指纹的合成
3.1)、首先对每帧音频数据进行快速傅里叶变换,得到对应的一系列频域值,并将音频频段划分成M个不重叠的频带,计算频域值落入各个频带中的数量;然后,计算相邻帧之间落入各个频带中频域值数量的差值,并量化为0或1,得到M-1位的音频帧指纹;
3.2)、对应每一视频帧指纹,利用其时间戳找到同步的音频帧指纹,然后通过异或运算将两者合二为一生成该时间戳对应的影音指纹;
3.3)、按照时间顺序,将不同时间对应的影音指纹有序排列,构成整段音视频数据对应的影音指纹。
2.根据权利要求1所述的基于关键帧的影音指纹生成方法,其特征在于,在步骤2.1)中,DCT系数进行量化编码为:
首先找出这些系数x0,x1,x2…,xN的最大值max和最小值min,确定量化系数Δ;
&Delta; = max - min 4 - - - ( 1 )
然后按照以下编码原则,将DCT系数xi分别进行对应译成二进制序列Ai
A i = 00 if min &le; x i < min + &Delta; 01 if min + &Delta; &le; x i < min + 2 &Delta; 10 if max - 2 &Delta; &le; x i < max - &Delta; 11 if max - &Delta; &le; x i &le; max - - - ( 2 ) ;
在步骤2.1)中,还有对将二进制码序列Ai进行以下处理:
二进制码序列Ai中的A0重复一次,然后在重复后的A0后加入校验位t,校验位t由A0的两个比特异或生成。
CN 201110143159 2011-05-30 2011-05-30 一种基于关键帧的影音指纹生成方法 Expired - Fee Related CN102307301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110143159 CN102307301B (zh) 2011-05-30 2011-05-30 一种基于关键帧的影音指纹生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110143159 CN102307301B (zh) 2011-05-30 2011-05-30 一种基于关键帧的影音指纹生成方法

Publications (2)

Publication Number Publication Date
CN102307301A true CN102307301A (zh) 2012-01-04
CN102307301B CN102307301B (zh) 2013-01-02

Family

ID=45381098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110143159 Expired - Fee Related CN102307301B (zh) 2011-05-30 2011-05-30 一种基于关键帧的影音指纹生成方法

Country Status (1)

Country Link
CN (1) CN102307301B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547477A (zh) * 2012-01-12 2012-07-04 合肥工业大学 一种基于轮廓波变换模型的视频指纹方法
CN102629484A (zh) * 2012-03-20 2012-08-08 秦汉香 监控影音文件播放的方法及系统
CN103729368A (zh) * 2012-10-13 2014-04-16 复旦大学 一种基于局部频谱图像描述子的鲁棒音频识别方法
CN104156423A (zh) * 2014-08-06 2014-11-19 聂秀山 基于整数规划的多尺度视频关键帧提取方法
CN104991953A (zh) * 2015-07-20 2015-10-21 成都纽捷那科技有限公司 一种基于倒排索引的粗细粒度视频检索方法
CN105072453A (zh) * 2015-07-21 2015-11-18 河海大学 一种面向移动终端的视频水印方法
CN106060568A (zh) * 2016-06-28 2016-10-26 电子科技大学 一种视频篡改检测及定位方法
CN109960960A (zh) * 2017-12-14 2019-07-02 中国移动通信集团安徽有限公司 视频指纹生成和匹配方法及装置、计算机设备和存储介质
CN110149529A (zh) * 2018-11-01 2019-08-20 腾讯科技(深圳)有限公司 媒体信息的处理方法、服务器及存储介质
CN115937441A (zh) * 2022-11-08 2023-04-07 泰瑞数创科技(北京)股份有限公司 低带宽环境下的三维协同标绘方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374234A (zh) * 2008-09-25 2009-02-25 清华大学 一种基于内容的视频拷贝监测方法及装置
CN101404750A (zh) * 2008-11-11 2009-04-08 清华大学 一种视频指纹的生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374234A (zh) * 2008-09-25 2009-02-25 清华大学 一种基于内容的视频拷贝监测方法及装置
CN101404750A (zh) * 2008-11-11 2009-04-08 清华大学 一种视频指纹的生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OZGUN CIRAKMAN,ET AL: "Key-frame based video fingerprinting by NMF", 《PROCEEDINGS OF 2010 IEEE 17TH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
朱亚玲等: "基于压缩域的Ⅰ帧提取算法", 《多媒体技术及其应用》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547477B (zh) * 2012-01-12 2014-01-15 合肥工业大学 一种基于轮廓波变换模型的视频指纹方法
CN102547477A (zh) * 2012-01-12 2012-07-04 合肥工业大学 一种基于轮廓波变换模型的视频指纹方法
CN102629484A (zh) * 2012-03-20 2012-08-08 秦汉香 监控影音文件播放的方法及系统
CN102629484B (zh) * 2012-03-20 2015-07-01 秦汉香 监控影音文件播放的方法及系统
CN103729368A (zh) * 2012-10-13 2014-04-16 复旦大学 一种基于局部频谱图像描述子的鲁棒音频识别方法
CN103729368B (zh) * 2012-10-13 2016-12-21 复旦大学 一种基于局部频谱图像描述子的鲁棒音频识别方法
CN104156423A (zh) * 2014-08-06 2014-11-19 聂秀山 基于整数规划的多尺度视频关键帧提取方法
CN104156423B (zh) * 2014-08-06 2017-09-29 山东财经大学 基于整数规划的多尺度视频关键帧提取方法
CN104991953A (zh) * 2015-07-20 2015-10-21 成都纽捷那科技有限公司 一种基于倒排索引的粗细粒度视频检索方法
CN105072453B (zh) * 2015-07-21 2018-07-24 河海大学 一种面向移动终端的视频水印方法
CN105072453A (zh) * 2015-07-21 2015-11-18 河海大学 一种面向移动终端的视频水印方法
CN106060568A (zh) * 2016-06-28 2016-10-26 电子科技大学 一种视频篡改检测及定位方法
CN106060568B (zh) * 2016-06-28 2018-12-18 电子科技大学 一种视频篡改检测及定位方法
CN109960960A (zh) * 2017-12-14 2019-07-02 中国移动通信集团安徽有限公司 视频指纹生成和匹配方法及装置、计算机设备和存储介质
CN110149529A (zh) * 2018-11-01 2019-08-20 腾讯科技(深圳)有限公司 媒体信息的处理方法、服务器及存储介质
CN110149529B (zh) * 2018-11-01 2021-05-28 腾讯科技(深圳)有限公司 媒体信息的处理方法、服务器及存储介质
CN115937441A (zh) * 2022-11-08 2023-04-07 泰瑞数创科技(北京)股份有限公司 低带宽环境下的三维协同标绘方法及其系统
CN115937441B (zh) * 2022-11-08 2023-09-05 泰瑞数创科技(北京)股份有限公司 低带宽环境下的三维协同标绘方法及其系统

Also Published As

Publication number Publication date
CN102307301B (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
CN102307301B (zh) 一种基于关键帧的影音指纹生成方法
CN103605950B (zh) 一种可信二维码中签名的隐藏方法及系统
CN102801947B (zh) 一种基于h264的语义信息传输与保护方法
CN102609890B (zh) 一种图像数字水印嵌入及检测系统
Anand et al. Joint watermarking-encryption-ECC for patient record security in wavelet domain
Upadhyay et al. Video authentication: Issues and challenges
CN110288504A (zh) 一种面向区块链数字教育平台的自动加水印方法
CN101977319A (zh) 基于视频特征及数字签名的视频隐蔽标签生成及认证方法
CN103425920A (zh) 基于音频信息的数字水印的数据库安全访问控制方法
CN102842053B (zh) 一种防伪图码标签及其制造方法
CN101860743B (zh) 基于mpeg-2标准的实时数字视频水印方法
CN101860744B (zh) 基于h.264标准的实时数字视频水印方法
CN102158768B (zh) 基于mp4文件封装格式的视频认证水印嵌入和提取方法
CN108491913B (zh) 一种含密美化qr码认证的方法
CN102164303A (zh) 视频版权保护方法、系统及视频发布方实体
CN102946531A (zh) 一种结合gop帧结构的视频水印方法与系统
CN111431698B (zh) 运用Haar变换和高斯分布的矢量空间数据加密方法
CN116127429A (zh) 一种基于符号映射编码和区块链的数据确权方法
CN105678678A (zh) 基于贝叶斯推理的群体相关视频加密方法
Zhu et al. Multimedia authentication and watermarking
Wu et al. A signal processing and randomization perspective of robust and secure image hashing
KR101549983B1 (ko) 다중변환 도메인에 입자군집최적화기법을 이용한 자기적응형 포렌식마크 삽입방법, 검출방법, 삽입장치 및 검출장치
Bianchi et al. TTP-free asymmetric fingerprinting protocol based on client side embedding
Yan et al. Motion trajectory based video authentication
CN101808241A (zh) 基于dct域的视频数字水印嵌入与检测系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

Termination date: 20150530

EXPY Termination of patent right or utility model