CN105302833A

CN105302833A - 一种基于内容的视频检索数学模型建立方法

Info

Publication number: CN105302833A
Application number: CN201410359465.6A
Authority: CN
Inventors: 武建文
Original assignee: SHANGHAI JIYU INDUSTRIAL Co Ltd
Current assignee: SHANGHAI JIYU INDUSTRIAL Co Ltd
Priority date: 2014-07-24
Filing date: 2014-07-24
Publication date: 2016-02-03

Abstract

本发明公开了一种基于内容的视频检索数学模型建立方法，为了解决基于内容的视频检索的效率较低的问题，本发明公开的方法包括：获取待检测视频帧的特征向量；根据视频指纹库中待比较敏感视频帧特征向量的索引号，以及预定义的转换规则，查找到对应的笛卡尔坐标；根据查找到的笛卡尔坐标，将待检测视频帧的特征向量发送给对应服务器的检索模块；检索模块判断待检测视频帧的特征向量和待比较敏感视频帧特征向量的相似度，由于应用内容寻址网络对视频指纹库进行合理组织，建立索引，获取待检测视频实例后，采用某种检索算法从指纹库中查找最匹配的敏感视频特征向量，使得视频检索的效率得到提高。

Description

一种基于内容的视频检索数学模型建立方法

技术领域

本发明属于多媒体数字视频应用领域，特别涉及一种基于内容的视频检索方法及系统。

背景技术

基于内容的视频检索(CBID)是能够根据视频内容快速搜索视频对象的技术。通过特征抽取将视频对象映射为高维向量空间中的点(即提取视频指纹)，这样就将视频对象的相似性搜索问题转化为高维空间中的最近邻查找问题。

对于海量数据而言，如何建立有效的索引结构师提高检索精度和效率的关键问题，现在比较流行的多维索引技术包括gridfile、k-d-B树、四叉树、Hb树、R树及其变种R+树和R*树等，这些都是基于空间或基于数据分布的划分方法，在维度不太高(10维以下)的情况下具有良好的性能。

多维索引技术还包括一些适合于更高维的索引方法，如向量近似法(VA-file)、LSH(LocalitySensitiveHashing，局部敏感哈希表)、空间填充曲线(space-fillingcurve)等。

现在技术中无论采用哪种多维索引技术都是在一台服务器中完成相关处理，这样基于内容的视频检索的效率较低。

发明内容

为了解决基于内容的视频检索的效率较低的问题，本发明实施例提供了一种基于内容的视频检索方法，该方法应用于内容寻址网络，在内容寻址网络笛卡尔坐标空间中的结点上设有多个服务器，包括：

获取模块获取待检测视频帧的特征向量；

查找模块根据视频指纹库中待比较敏感视频帧特征向量的索引号，以及预定义的转换规则，从内容寻址网络中各服务器的笛卡尔坐标中查找到对应保存有待比较敏感视频帧特征向量的服务器的笛卡尔坐标；

发送模块根据查找到的笛卡尔坐标，将待检测视频帧的特征向量发送给对应服务器的检索模块；

检索模块判断待检测视频帧的特征向量和待比较敏感视频帧特征向量的相似度，并确定匹配的敏感视频特征向量。

同时本发明实施例还提供一种基于内容的视频检索系统，包括：

视频指纹库：用于保存具有索引号的敏感视频帧特征向量，所述视频指纹库，均匀分布在内容寻址网络笛卡尔坐标空间结点上的多个服务器中；

获取模块：用于获取待检测视频帧的特征向量；

查找模块：用于根据视频指纹库中待比较敏感视频帧特征向量的索引号，以及预定义的转换规则，从各服务器的笛卡尔坐标中查找到对应保存有待比较敏感视频帧特征向量的服务器的笛卡尔坐标；

发送模块：用于根据查找到的笛卡尔坐标，将待检测视频帧的特征向量发送给对应服务器的检索模块；

检索模块：用于判断待检测视频帧的特征向量和待比较敏感视频帧特征向量的相似度，并确定匹配的敏感视频特征向量。

由上述本发明提供的具体实施方案可以看出，正是由于应用内容寻址网络对视频指纹库进行合理组织，建立索引，获取待检测视频实例后，采用某种检索算法从指纹库中查找最匹配的敏感视频特征向量，使得视频检索的效率得到提高。

附图说明

图1为本发明提供的第一实施例方法流程图；

图2为本发明提供的内容寻址网络示意图；

图3为本发明提供的第二实施例系统结构图

具体实施方式

为了解决基于内容的视频检索的效率较低的问题，本发明实施例提供一种基于内容的视频检索方法，以提高检索效率，适应大规模网络视频检索的需要。当用户输入待测视频实例时，采用一定的检索算法从指纹库中找出最匹配的敏感视频帧以及对应的敏感视频片段，并将所对应的相似敏感视频片段返回给用户。这里的视频指纹是指从原始视频数据中提取的视频帧特征向量，可代表该视频的内容。

其中，向量近似法能够解决精确最近邻检索的问题，而其他方法则只针对近似最近邻检索。由于视频指纹本身就是视频内容的近似表示，空间特征向量的最近邻并不意味着视频内容上的最近邻，所以即使是精确最近邻检索，也武保证得到最准确的查询结果。而且，在很多情况下，选择合适的近似查询算法可返回与精确查询算法相同的结果。且具有更高的效率。视频检索需要的是一个精度与效率的平衡。特别是在数据规模较大、对响应时间要求较高的场合，近似最近邻检索将发挥更加重要的作用，因此作为优选方案采用LSH(LocalitySensitiveHashing)算法。

LSH算法首先由lndyk和Motwani提出，利用统计学理论，可在保证一定正确率(以概率方式)的前提下，快速解决k-近邻查询问题。论文《SimilaritySearchinHighDimensionsviaHashing》给出了核算法的具体实现步骤，其基本思想是，对于点数据集，利用一组具有一定约束条件的哈希函数建立多个哈希表，使得在某种相似度量条件下，相似的点发生冲突的概率较大，而不相似的点发生冲突的概率相对较小。

本发明提供的第一实施例是以中国基于内容的视频检索方法，本实施例中采用LSH算法进行索引建立，LSH函数定义为：一组哈希函数H＝{h1，…，hm}，m为正整数，对于数据点P，q，若P，q之间的距离D(p，q)＜R，则P[hi(q)＝hi(p)]＞P1，若D(p，q)＜cR，则P[hi(q)＝hi(p)]＜P2。其中函数P(.)是概率函数，P1、P2为给定的概率，P1＞P2，i为随机数i∈{1，…，m}。这组哈希函数被称为以(R，cR，P1，P2)为参数的LSH函数组。其中数据点P，q对应本实施例中不同的敏感视频帧特征向量LSH函数为：其中向量满足正态分布(高斯分布)，w为任意实数，b为[0，w]之间的任意实数。方法流程如图1所示，包括：步骤101：将n个敏感视频帧特征向量映射到L个哈希表g中。

在视频指纹库中有n个敏感视频帧特征向量采用LSH算法进行索引建立，用L个哈希函数g(.)将n个敏感视频帧特征向量映射到L个哈希表g中，例如：有10个敏感视频帧特征向量和其中和被映射到哈希表g1中，其余5个和被映射到哈希表g2中，采用不同的哈希函数g(.)被映射到哈希表的敏感视频帧特征向量会不同，如和被映射到哈希表g1中，其余5个和被映射到哈希表g2中。

步骤102：各哈希表g中的敏感视频帧特征向量通过LSH函数进行散列，对所得结果再进行二次散列，每个哈希表中的敏感视频帧特征向量被映射到多个散列桶中。

其中哈希表(j＝1，2，...，L)，hi(.)∈H(i＝2，…k)，其中H为LSH函数族，即一组哈希函数H＝{h1，…，hm}。如对g1哈希表中的和进行二次散列，将和映射到7个散列桶中。哈希表表示采用函数将和映射到7个散列桶中。如通过将和映射到第一个散列桶，将和映射到第二个散列桶，通过将和映射到第三个散列桶，通过将和映射到第四个散列桶，将和映射到第五个散列桶，通过将和映射到第六个散列桶，将和映射到第七个散列桶。

步骤103：根据L个哈希表的编号及预定于一的转换规则，确定L个哈希表编号在内容寻址网络中对应的笛卡尔坐标。

将哈希表g1的编号表示为二进制序列x如0100001010.设其中d为虚拟空间的维度如d＝2，m为二进制序列x的位数10.将x从低位向高位进行分组，每8位为一组，共分为2组(最后一组可不满8位)，第一组为00001010，第二组为10，对应虚拟空间中的2维。计算每组的十进制值xi(i＝1，…，d)，第一组为10，第二组为1，为所对应的结点的第i维坐标，即0100001010对应的笛卡尔坐标为(2，1)。

在本实施例中采用哈希表g的编号作为敏感视频帧特征向量的索引号。

步骤104：根据哈希表g的编号和笛卡尔坐标的对应关系，将L个哈希表(内含映射到其中的敏感视频帧特征向量)分布在内容寻址网络中的N个服务器中保存，每个服务器在内容寻址网络中都具有对应的笛卡尔坐标，其中N≤L。

8号服务器(哈希表编号0100001010)对应的笛卡尔坐标为(2，1)，该服务器中保存有哈希表g1.其中具有笛卡尔坐标的各服务器的内容寻址网络示意图如图2所示。

步骤105：内容寻址网络中任意一服务器的获取模块获取待检测视频帧的特征向量

步骤106：获取的服务器的查找模块，依次根据待比较敏感视频帧特征向量所在哈希表的编号确定该哈希表所在服务器的笛卡尔坐标。

如待比较敏感视频帧特征向量在哈希表g1中，4号服务器的查找模块首先要确定哈希表g1所在8号服务器的笛卡尔坐标，根据哈希表g1的编号确定8号服务器对应的笛卡尔坐标为(2，1)。

步骤107：获取的服务器的发送模块将发送到存储待比较敏感视频帧特征向量所在的哈希表的服务器的检索模块。

4号服务器对应的笛卡尔坐标为(1，1)，因为笛卡尔坐标为(1，1)和笛卡尔坐标为(2，1)相邻，4号服务器的发送模块直接将发送到8号服务器的检索模块。

若获取模块获取待检测视频帧的特征向量的服务器不是4号服务器而是8号服务器，则8号服务器的发送模块直接发送到本服务器的检索模块。

步骤108：存储待比较敏感视频帧特征向量所在的哈希表的服务器的检索模块对进行二次散列，将其映射到哈希表的散列桶中。

检索模块对进行二次散列将其映射到哈希表g1的第一个散列桶中。

步骤109：取出与落入同意散列桶中的敏感视频帧特征向量，并计算其中的各敏感视频帧特征向量和的欧式距离，判断相互之间的相似的度，并确定匹配的敏感视频特征向量。

取出哈希表g1的第一个散列桶中的和并分别计算与的欧式距离，判断相互之间的相似度，并确定为与匹配的(相似的)敏感视频帧可证向量，直到得到足够多的相似的敏感视频帧特征向量，或与全部敏感视频帧特征向量比较完毕。

其中步骤102中为了保证LSH算法的性能，这里需要考虑俩个重要参数——哈希表g的个数L和哈希表中LSH函数h(.)的个数k。L和k的取值会直接影响到该算法的性能。考虑一下性能指标：索引建立时间：O(nLkt)，其中t为计算每个h(.)所需的时间，空间：O(nL)+保存数据点所需的空间，查询时间：应保证L和k具有如下的关系：

L = P_{1}^{- k} = {(\frac{1}{p_{1}})}^{k}

其中P1为如前所述LSH函数中所给定的概率。

本实施例中也可以采用如多维索引就技术如：gridfile、k-d-B树、四叉树、hB树、R树及其变种R+树和R*树等，这些都是基于空间或基于数据分布的划分方法，通过上述发放生成视频指纹库中各敏感视频帧特征向量的索引，具有不同索引号(如1-10000)的敏感视频帧特征向量，分布在内容寻址网络中的10个服务器中保存，每个服务器在内容寻址网络中都具有对应的笛卡尔坐标。在基于内容的视频检索时，其中3#服务器的获取模块获取待检测视频帧的特征向量后，3#服务器的查找模块根据待比较敏感视频帧向量的索引号1000，以及预定义的转换规则，从10个服务器的笛卡尔坐标中查找到对应保存的待比较敏感视频帧特征向量的服务器的笛卡尔坐标为(0，0)；3#服务器的发送模块根据查找到笛卡尔坐标(0，0)，将待检测视频帧的特征向量发送给2#服务器(笛卡尔坐标为(0，0))的检索模块；

2#服务器的检索模块判断待检测视频帧的特征向量和待比较敏感视频帧的特征向量的相似度。

本发明提供的第二实施例是一种基于美容的视频检索系统，其结构如图3所示，包括：

视频指纹库201：用于保存具有索引号的敏感视频帧的特征向量，所述视频指纹库，均匀分布在内容寻址网络笛卡尔坐标空间结点上的多个服务器中；

获取模块202：用于获取待检测视频帧的特征向量；

查找模块203：用于根据视频指纹库中待比较敏感视频帧的特征向量的索引号，以及预定义的转换规则，从各个服务器的笛卡尔坐标中查找到对应保存有待比较敏感视频帧的特征向量的服务器的笛卡尔坐标；

发送模块204：用于根据查找到的笛卡尔坐标，将待检测视频帧的特征向量发送给对应服务器的检索模块；

检索模块205：用于判断待检索视频帧的特征向量和待比较敏感视频帧的特征向量的相似度，并确定匹配的敏感视频帧的特征向量。

进一步，各服务器的视频指纹库201包括哈希表2011：用于保存敏感视频

帧的特征向量，所述哈希表的编号作为敏感视频帧特征向量的索引号；

所述系统还包括：

二次散列模块206：用于使用LSH算法对保存在各服务器哈希表中的各敏感视频帧特征向量进行散列，在对所得结果进行二次散列，得到多个散列桶；

哈希表2011包括多个散列桶20111：用于哈希表中的敏感视频帧特征向量进行两次散列后，保存进行两次散列后的敏感视频帧特征向量；

检索子模块2051：用于将待检测视频帧的特征向量进行两次散列，得到待检测视频帧的特征向量映射到的对应的散列桶；

判断待检测视频帧的特征向量和对应散列桶中待比较敏感视频帧特征向量的相似度。

进一步，二次散列模块206：还用于L个哈希函数g(.)将各敏感视频帧特征向量映射映射到保存在各服务器上的L歌哈希表gj后，通过k个LSH函数hi(.)对哈希表gj中的各敏感视频帧特征向量进行散列，即gj＝[h1(j)，...，hk(j)](j＝1，2，...，L)，hi(.)∈H(i-1，2，...，k)，H为LSH函数族。

进一步，检索模块205：还用于通过计算待检测视频帧的特征向量和待比较敏感视频帧特征向量的欧氏距离来判断相互之间相似度。

显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型是与本发明权利要求及其等统计数范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于内容的视频检索数学模型建立方法，其特征在于，在内容寻址网络笛卡尔坐标空间中的结点上设有多个服务器，该方法包括：

获取模块获取待检测视频帧的特征向量；

发送模块根据查找的笛卡尔坐标，将待检测视频帧的特征向量发送给对应服务器的检索模块；

2.如权利要求1所述的方法，其特征在于，查找到对应笛卡尔坐标步骤前还包括：

使用局部敏感哈希表LSH算法对保存在各服务器哈希表中的各敏感视频帧特征向量进行散列，得到多个散列桶，将各敏感视频帧特征向量映射到各散列桶中，同时将各哈希表的编号作为敏感视频帧特征向量的索引号；

发送待检测视频帧的特征向量给对应服务器的检索模块步骤后海包括：

将待检测视频帧的特征向量进行两次散列，得到待检测视频帧的特征向量映射到的对应的散列桶；

判断特征向量相似度的步骤具体为：

3.如权利要求2所述的方法，其特征在于，使用LSH算法对保存在各服务器哈希表中的各敏感视频帧特征向量进行散列具体为：

用L个哈希函数g(.)将各敏感视频帧特征向量映射到保存在各服务器上的L个哈希表gj中；通过K个LSH函数hi(.)对哈希表gj中的各敏感视频特征向量进行散列，即gj＝[h1(j)，..，hk(j)](j＝1，2，...，L)，hi(.)∈H(i＝1，2，..k)，H为LSH函数族。

4.如权利要求3所述的方法，气特征在于，使用LSH算法对保存在各服务器哈希表中的各敏感视频帧特征向量进行散列，哈希表的个数L和个哈希表中LSH函数hi(.)的个数K具有如下关系：或在LSH算法的LSH函数组H＝{h1，...，hm}中，其中的2个敏感视频帧特征向量之间的距离则其中R为预定义的距离，P1为预定义的概率值。

5.如权利要求3所述的方法，气特征在于，LSH函数为：其中向量满足正态分布(高斯分布)，w为任意实数，b为[0，w]之间的任意实数。

6.如权利要求2所述的方法，其特征在于比较特征向量相似度的步骤具体为：

通过计算待检测视频帧的特征向量和对应散列桶中待比较敏感视频帧特征向量的欧式距离来判断相互之间的相似度。

7.一种基于内容的视频检索系统，其特征在于，包括：

获取模块：用于获取待检测视频帧的特征向量；

检索模块：用于判断待检测视频帧的特征向量的相似度，并确定匹配的敏感视频特征向量。

8.如权利要求7所述的系统，其特征在于。

各服务器的视频指纹库包括哈希表：用于保存敏感视频帧特征向量，所述哈希表的编号作为敏感视频帧特征向量的索引号；

所述系统还包括；

二次散列模块：用于使用LSH算法对保存在各服务器哈希表中的各敏感视频帧特征向量进行散列，再对所得结果进行二次散列，得到多个散列桶；

哈希表包括多个数列桶：用于哈希表中的各敏感视频帧特征向量进行两次散列后保存进行两次散列后的敏感视频帧特征向量；

所述检索模块还包括：

检索子模块：用于将待检测视频帧的特征向量进行两次散列，得到待检测视频帧的特征向量映射到的对应散列桶；

9.如权利要求8所述的系统，其特征在于

二次散列模块：还用于用L个哈希函数g(.)将各敏感视频帧特征向量映射到保存在各服务器上的L个哈希表gj后，通过K个LSH函数hi(.)对哈希表gj中的各敏感视频帧特征向量进行散列，即gj＝[h1(j)，...，hk(j)](j＝1，2...，L)，hi(.)∈H(i＝1，2，..k)，H为LSH函数族。

10.如权利要求7所述的系统，其特征在于：

检索模块：还用于通过计算待检测视频帧的特征向量和待比较敏感视频帧特征向量的欧式距离来判断相互之间相似度。