CN104142984B

CN104142984B - 一种基于粗细粒度的视频指纹检索方法

Info

Publication number: CN104142984B
Application number: CN201410344434.3A
Authority: CN
Inventors: 徐杰; 张毅; 孙健; 李乾坤
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2014-07-18
Filing date: 2014-07-18
Publication date: 2017-04-05
Anticipated expiration: 2034-07-18
Also published as: CN104142984A

Abstract

本发明公开了一种基于粗细粒度的视频指纹检索方法，通过分层分粒度的检索方式对视频指纹进行检索比对。利用局部敏感哈希算法对视频指纹数据库中的所有视频指纹和待检索视频指纹进行哈希处理，从而找到与待检索视频指纹最相似的视频指纹，完成粗粒度的查找，为有效降低视频检索的时间开销做好了准备；在细粒度查找时，通过基于生物序列比对技术BLAST改进的快速视频指纹匹配机制，快速找到待检索的视频指纹是否存在于视频指纹数据库中，还能进行视频片段的匹配查找，并根据视频指纹的特性确定待检索视频片段所属的完整视频及其在其中出现的具体时间位置，这样保证了视频查找的准确性和实时性。

Description

一种基于粗细粒度的视频指纹检索方法

技术领域

本发明属于视频指纹及数据检索领域，更为具体地讲，涉及一种基于粗细粒度的视频指纹检索方法。

背景技术

随着视频业务在互联网业务中所占的比重越来越大，能被网民所使用的视频资源也变得越来越多，诸如电视节目、原创视频、电影节目等等，遍布全网的各大视频业务提供商也建立了大量的视频数据库来存储这些视频资源，供网民浏览观看。与此同时，对网络视频业务的监管也越来越成为网监部门的业务重心。针对互联网上的视频业务，网监部门进行了大量的监控与管理，以保证其传播内容的安全性与合法性。然而，由于互联网上的视频资源极其庞大，无论是普通用户还是监管部门，想要从中查找某一视频往往需要输入尽可能详尽的内容，如片名、内容简介、主要演员、视频类型等等，而往往通过这些信息找到的视频很难符合要求或者根本找不到对应的视频资源；而当网民想要通过一个视频片段来找到该片段对应的完整视频时，就需要自行对片段进行信息的提取，如辨认片段中的场景、演员、情节等等，再将相应内容输入进行检索。显然这样的搜索具有很高的主观性，不能很准确且便捷地找到所需要的完整视频；当需要对某一视频资源的版权或完整性进行鉴别时，也唯有通过人工检验这一途径。显然人工检验存在着很大的主观性，容易因为这些因素导致的误差而引起不必要的纷争。

因此，目前基于视频关键字进行视频检索的方式已经无法适应目前发展越来越快速的视频业务的要求；同时，传统的人工检验或人工鉴别的方式由于其主观性较强，已经无法满足对视频版权鉴别和视频攻击检测等方面的需求。因此，在互联网视频业务进入高速发展的时代来临之际，为了能够更好的管理、监控和鉴别视频，亟需一个能够具有一定实时性，同时兼具较好的精确度的快速视频检索系统，能够实现对视频数据库内资源的快速检索、管理和鉴别等功能，保证用户能够简单、快捷、准确的找到自己所需的一个或多个视频。

斯坦福大学在1992年发表了一篇阐述“视频指纹”技术的学术文章，所述的视频指纹，就是指提取视频内容内在的特征信息，然后基于这些特征信息通过算法得到一个与视频唯一对应且能唯一标识视频的数字序列，它不需要在视频内嵌入任何信息，保持了视频的完整性。

相比于传统的视频水印或视频哈希等技术，视频指纹具有十分明显的优势：首先，视频指纹是基于视频内容进行提取的，与视频内容具有唯一的相关性，因此当视频内容发生改变时，很容易就能通过视频指纹反映出来；其次，视频指纹与内容的唯一对应的特性，也让通过视频指纹进行检索变得十分简单，只需要搜索视频指纹就能找到对应的视频，而无需自行输入诸多关键词；最后，视频指纹良好的鲁棒性和区分性，能够很好的满足互联网视频易受攻击的特点，保证视频受到攻击之后还具有较好的区分性，以便于鉴权等应用。因此，在互联网视频内容安全应用方面的研究也越来越偏向于视频指纹的研究和应用，它开拓了一种新的方法和思路。

当前，在视频指纹检索匹配方面，Dutta和Saha等人提出了利用假设检验的方式来进行视频特征序列的匹配，从而实现对视频拷贝进行检测，算法的开销较低，查找的准确率尚能接受，但所提取的特征序列健壮性较差，只能抵御普通的变换等攻击；Bronstein兄弟则比较创造性的提出了利用生物DNA序列比对算法对视频指纹序列进行比对的思想，该算法将视频指纹看作是与生物DNA类似的视频基因，同时利用在生物DNA序列的比对技术——FASTA算法来对视频指纹进行匹配检索，但由于FASTA算法步骤复杂，需要进行大量的计算、比对、回溯来找到两个序列的最佳比对，因此在时间效率上不够好，无法达到实时检测的要求。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于粗细粒度的视频指纹检索方法，能够很好平衡视频指纹的检索效率和检索开销，使视频指纹的检索能够保证一定的准确率，同时具有较好的实时性，以实现视频指纹快速检索的目的。

为实现上述发明目的，本发明一种基于粗细粒度的视频指纹检索方法，其特征在于，包括以下步骤：

(1)、构建哈希函数族

构建哈希函数g_i(x),i＝1，2，…，L，则整个哈希函数族的形式可表示为：g₁(x),g₂(x),...,g_L(x)，其中，L表示哈希函数族中哈希函数的个数，x表示哈希函数的输入；

(2)、构建哈希桶

将视频指纹数据库中库存的视频指纹作为哈希函数的输入，用构建的哈希函数族进行计算，每个视频指纹经过哈希函数族中L个哈希函数计算，得到L个哈希值；

所有视频指纹计算得到的哈希值有n个不同的哈希值，则建立n个哈希桶，哈希桶包括哈希桶存储位以及桶位，哈希桶存储位存储哈希值，将n个不同的哈希值分别存储到n个哈希桶的哈希桶存储位中，作为视频指纹的检索索引值；

将每个哈希桶中的哈希值对应的视频指纹存放在该哈希桶的桶位中；

(3)、基于局部敏感哈希算法的视频指纹粗粒度查找

将待检索的视频指纹q作为哈希函数的输入，用构建的哈希函数族进行计算，经过哈希函数族中L个哈希函数计算，得到L个哈希值，将所得到的L个哈希值分别作为检索索引值，分别与n个哈希桶中的哈希值存储位进行检索对比；如果找到与该L个哈希值中一个或多个具有相同哈希值的哈希桶，将检索到的每个哈希桶桶位中的所有视频指纹提取出来，组成候选视频指纹库，最后在这个候选视频指纹库中，依次对每条视频指纹与待检索的视频指纹进行汉明距离计算，选出汉明距离最短的视频指纹作为相似的视频指纹h，进入步骤(4)；如果没有找到与该L个哈希值中任何一个具有相同哈希值的哈希桶，则返回没有检索到的结果，检索结束；

(4)、基于改进的BLAST算法的视频指纹细粒度查找

(4.1)、设置窗口滑动步长N；

(4.2)、对待检索的视频指纹q和视频指纹h进行窗口值计算；

设置一滑动窗口，滑动窗口的起始位置为视频指纹的第一位，即滑动窗口第一位在视频指纹的第一位上，将该滑动窗口分别在待检索的视频指纹q以及视频指纹h上从起始位置向后滑动至末尾，每次滑动的长度为窗口滑动步长N，并计算出每次滑动时，滑动窗口所覆盖的二进制序列的值作为窗口值，并依次排列，构成窗口值序列；

(4.3)、比对待检索的视频指纹q与视频指纹h的窗口值；

将视频指纹h与待检索视频指纹q的窗口值序列的位置点同时从第一位依次向后移动，直到位置点前出现相同的窗口值为止，以视频指纹h、视频指纹q窗口值相同的位置点为基准即对齐，比对视频指纹h、视频指纹q该位置点前后的所有窗口值，并统计相似度，将视频指纹h以及相似度作为检索结果返回。

本发明的发明目的是这样实现的：

本发明基于粗细粒度的视频指纹检索方法，通过分层分粒度的检索方式对视频指纹进行检索比对。利用局部敏感哈希算法对视频指纹数据库中的所有视频指纹和待检索视频指纹进行哈希处理，从而找到与待检索视频指纹最相似的视频指纹，完成粗粒度的查找，为有效降低视频检索的时间开销做好了准备；在细粒度查找时，通过基于生物序列比对技术BLAST改进的快速视频指纹匹配机制，快速找到待检索的视频指纹是否存在于视频指纹数据库中，还能进行视频片段的匹配查找，并根据视频指纹的特性确定待检索视频片段所属的完整视频及其在其中出现的具体时间位置，这样保证了视频查找的准确性和实时性。

同时，本发明基于粗细粒度的视频指纹检索方法还具有以下有益效果：

(1)、较好的保证了视频指纹的检索精确度，粗细两种粒度的检索方式，使得视频指纹检索的结果能够尽可能的精确。

(2)、在保证检索精确度的前提下，尽可能的提高了视频指纹检索的实时性，使得视频指纹能够具有较短的检索时间，较好的平衡了检索效率和检索开销之间的矛盾。

(3)、提供了新型的视频检索方式，除了能够找出与目标指纹对应的视频指纹之外，还能找出视频片段所提取的视频指纹在完整视频中的出现时间，大大丰富了用户的检索类型，满足了不同需求的检索。

附图说明

图1是本发明基于粗细粒度的视频指纹检索方法的流程图；

图2是基于局部敏感哈希算法的视频指纹检索流程图；

表1是待检视频指纹序列第一步计算出二进制序列的所有窗口位置及对应十进制整数值的统计表。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于粗细粒度的视频指纹检索方法的流程图。

在本实施例中，如图1所示，本发明基于粗细粒度的视频指纹检索方法，包括以下步骤：

S1)、构建哈希函数族

构建哈希函数g_i(x),i＝1，2，…，L，则整个哈希函数族的形式可表示为：g₁(x),g₂(x),...,g_L(x)，其中，L表示整个哈希函数族中子集的个数；

其中，哈希函数的具体构建方法为：

a)、定义数据空间及其映射：对于哈希函数的输入x表示为x＝{x₁,x₂,...,x_d}，其属于d维空间，将d维空间P的点x映射到d'维空间H^d'另一个点x’方法为：，x'＝Unary_c(x₁)Unary_c(x₂)...Unary_c(x_d)，其中，Unary_c(x_i)表示x_i个1紧跟c-x_i个0，c表示空间P中点x的坐标最大值；例如：当c＝4时，哈希函数的输入x为{0,2,3,4}，则它映射到d'维空间H^d'的结果就为x'＝0000110011101111；

b)、构建一个哈希函数族：定义坐标集I＝{1,2,3,...,d'}，从坐标集I中取L个子集，分别把它们记为I₁,I₂，...,I_L；将x'|I_i定义为：d'维空间H^d'内的x'在子集I_i上的投影，也就是把子集I_i中的每一个坐标作为位置索引在x'中进行检索，将对应x'中每一个位置索引所对应的二进制值取出并按顺序排列，将排列的结果作为x'|I_i的值，即得到所需的哈希值，哈希函数表示为g_i(x)＝x'|I_i，i＝1，2，…，L，整个哈希函数族的形式就为g₁(x),g₂(x),...,g_L(x)；其中，x'|I_i的值是点x'的一个投影值，对于不同长度的视频指纹序列将会得到长度固定的一个投影值；例如：I₁＝{1,5,7,8}，d＝4,c＝4，x'＝0000110011101111对应的哈希函数的输入x即{0,2,3,4}，那么x'|I₁的值就是x'中第1位，第5位，第7位，第8位的二进制值，即x'|I₁＝0100；

S2)、构建哈希桶

利用构建的哈希函数族计算视频指纹数据库中库存的视频指纹，每个视频指纹计算得到L个哈希值；将计算得到的不同哈希值存放在不同哈希桶中，作为视频指纹的检索索引值，再将每个哈希桶中的哈希值对应的视频指纹存放在对应哈希桶的桶位中；

本实施例中，如图2所示，通过对视频指纹数据库中库存的视频指纹进行哈希计算，将不同哈希值的视频指纹存放在不同哈希桶中，而相同哈希值的视频指纹存放在同一个哈希桶，而哈希桶的个数与不同哈希值的个数相同，每个不同的哈希值存放于不同的哈希桶的哈希值存储位中，作为视频指纹的检索索引值，从图2可以看出，通过对视频指纹数据库中库存的所有视频指纹计算后，得到n个不同的哈希值，从而生成了n个哈希桶，再将n个不同的哈希值依次存放在n个哈希桶的哈希值存储位，将该哈希值对应的视频指纹依次存储在该哈希桶的桶位中；

例如，通过对p'＝0000110011101111进行哈希计算，得到L个哈希值，其中一个哈希值为0100，将0100存放在哈希桶1的哈希值存储位1，将0100对应的p'＝0000110011101111存入到哈希桶1的桶位1；

S3)、输入待检索视频指纹q；

S4)、视频指纹粗粒度查找；

通过构建的哈希函数族计算待检索视频指纹q，再利用所得到的哈希值在每个哈希桶中的哈希值存储位进行检索对比，找到与该哈希值相同的哈希桶，例如：通过对待检索视频指纹q进行哈希计算后，得到一个哈希值为0100，通过对所有哈希桶进行检索对比，找到哈希桶1中存储的哈希值与0100相同，从而找到了与0100相同的哈希桶；

再通过该哈希桶的桶位检索到视频指纹数据库中库存的视频指纹，即哈希桶1中桶位的所有视频指纹，将检索的所有视频指纹组成候选视频指纹库，最后在这个候选视频指纹库中，依次对每条视频指纹与待检索的视频指纹进行汉明距离计算，选出汉明距离最短的视频指纹作为相似的视频指纹h，并作为最后的查询结果，进入步骤S5)，关于两条视频指纹的汉明距离的计算方法为现有技术，在此不再赘述；如果没有找到与哈希值相同的哈希桶，则检索结束；

S5)、基于改进的BLAST算法的视频指纹细粒度查找

S5.1)、设置窗口滑动步长N；

待检的视频指纹包括完整视频指纹和视频片段指纹，将完整视频指纹的窗口滑动步长设为N＝16bit；视频片段指纹的窗口滑动步长设为N＝1bit；在本实施例中，待检的视频指纹为视频片段指纹；

S5.2)、对待检索视频指纹q和视频指纹h进行窗口值计算；

S5.3)、比对待检索视频指纹q与视频指纹h的窗口值；

本实施例中，设输入的视频指纹q为视频片段指纹，且视频指纹q为：0000110000110000000011001010100110111001；根据需求，设定一个16bit大小的窗口滑动窗口在每一个位置上都有一个对应的二进制序列和其对应十进制整数，如表1所示；

窗口位置	窗口对应十进制数	窗口对应二进制序列
			8	3120	0000110000110000
9	12480	0011000011000000
			10	49920	1100001100000000
11	3075	0000110000000011
			12	12300	0011000000001100
13	49202	1100000000110010
			14	202	0000000011001010
15	810	0000001100101010
			16	3241	0000110010101001
17	12966	0011001010100110
			18	51867	1100101010011011
19	10862	0010101001101110

20

43449

1010100110111001

表1

对于候选指纹数据库中选出的相似视频指纹利用16bit的窗口进行窗口值的计算，并以相同的步长在相似视频指纹上滑动，在进行匹配时，如果相似视频指纹的某一位置的窗口值与视频指纹q的某一窗口值相等，则继续比较该窗口值的前后部分，直到两条序列比对完成，最后统计出相似程度，返回结果。

假定候选指纹数据库内存储的一个相似视频指纹h为：000111111101000011000011000000001100101010011011100100000111，对其定义同样的匹配串的窗口，开始计算视频指纹h窗口位置在8时的窗口值为2036，没有一个待匹配串的窗口位置与之相等，于是将窗口后移1bit，继续计算，直到计算到位置为16的窗口值为12480，发现它和待匹配的窗口位置9的窗口值相等，那么再继续比较该位置之后的窗口值与待检索的视频指纹q的位置9之后的窗口值是否相等，以此类推，直至完成两条视频指纹的比较，得出两条视频指纹的相似度为止。

当视频指纹q进行检索时，在找到两条视频指纹的窗口值相同位置时，记录下该位置，当从该位置开始，后面连续的窗口值都与视频指纹q相同时，说明找到了一个合适的视频指纹，并将它与视频指纹h的相同位置作为视频片段在原始指纹中出现的位置并返回，该位置与视频指纹的结构相关。此时，设对视频每一秒的关键帧进行指纹特征提取，每一秒的视频指纹按时间顺序依次排列，组成完整的视频指纹，则从上面的计算比对结果中能够看出，待检索的视频指纹q与库存的视频指纹h从第16bit之后都相似，则能够说明该视频片段从第1秒开始与库存的视频指纹h相似，相似的部分时间长度即为视频指纹q的长度。这样，就完成了对视频片段指纹在完整视频中出现位置的检索。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种基于粗细粒度的视频指纹检索方法，其特征在于，包括以下步骤：

(1)、构建哈希函数族

构建哈希函数g_i(x),i＝1,2,…,L，则整个哈希函数族的形式可表示为：g₁(x),g₂(x),...,g_L(x)，其中，L表示哈希函数族中哈希函数的个数，x表示哈希函数的输入；

(2)、构建哈希桶

(3)、基于局部敏感哈希算法的视频指纹粗粒度查找

(4)、基于改进的BLAST算法的视频指纹细粒度查找

(4.1)、对待检索视频指纹q设置窗口滑动步长N；

(4.2)、对待检索的视频指纹q和视频指纹h进行窗口值计算；

(4.3)、比对待检索的视频指纹q与视频指纹h的窗口值；

2.根据权利要求1所述的基于粗细粒度的视频指纹检索方法，其特征在于，所述的哈希函数的具体构建方法为：

a)、定义数据空间及其映射：对于哈希函数的输入x表示为x＝{x₁,x₂,...,x_d}，其属于d维空间，将d维空间P的点x映射到d'维空间H^d'另一个点x’方法为，x'＝Unary_c(x₁)Unary_c(x₂)...Unary_c(x_d)，其中，Unary_c(x_i)表示x_i个1紧跟c-x_i个0，c表示空间P中点x的坐标最大值；

b)、构建一个哈希函数族：定义坐标集I＝{1,2,3,...,d'}，从坐标集I中取L个子集，分别把它们记为I₁,I₂，...,I_L；将x'|I_i定义为：d'维空间H^d'内的x'在子集I_i上的投影，也就是把子集I_i中的每一个坐标作为位置索引在x'中进行检索，将对应x'中每一个位置索引所对应的二进制值取出并按顺序排列，将排列的结果作为x'|I_i的值，即得到所需的哈希值，哈希函数表示为g_i(x)＝x'|I_i，i＝1,2,…,L，整个哈希函数族的形式就为g₁(x),g₂(x),...,g_L(x)；其中，x'|I_i的值是点x'的一个投影值，对于不同长度的视频指纹序列将会得到长度固定的一个投影值。

3.根据权利要求1所述的基于粗细粒度的视频指纹检索方法，其特征在于，所述的视频指纹包括完整视频指纹和视频片段指纹。

4.根据权利要求1所述的基于粗细粒度的视频指纹检索方法，其特征在于，所述步骤(4.1)中，待检索视频指纹q的窗口滑动步长N的设置为：如果待检索视频指纹q为完整视频指纹，则窗口滑动步长设置为N＝16bit；如果待检索视频指纹q为视频片段指纹，则窗口滑动步长设置为N＝1bit。