CN104657383A - 一种基于关联特性的重复视频检测方法与系统 - Google Patents

一种基于关联特性的重复视频检测方法与系统 Download PDF

Info

Publication number
CN104657383A
CN104657383A CN201310594573.7A CN201310594573A CN104657383A CN 104657383 A CN104657383 A CN 104657383A CN 201310594573 A CN201310594573 A CN 201310594573A CN 104657383 A CN104657383 A CN 104657383A
Authority
CN
China
Prior art keywords
video
vector
module
inquiry
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310594573.7A
Other languages
English (en)
Other versions
CN104657383B (zh
Inventor
华宇
聂振华
冯丹
黄大彰
蔡娟
刘进军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201310594573.7A priority Critical patent/CN104657383B/zh
Publication of CN104657383A publication Critical patent/CN104657383A/zh
Application granted granted Critical
Publication of CN104657383B publication Critical patent/CN104657383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于计算机数据存储技术领域,公开了一种海量存储系统中基于关联特性的重复视频检测方法与系统,该方法利用位置灵敏哈希函数将重复视频或近似视频映射到索引表的同一个集合中,从而可以在查询时直接定位到相应集合进行查找,不需要遍历,极大地缩小了查询范围,提高了重复视频检测方法的查询速度。在集合内部,使用Cuckoo Hashing机制在整个索引表中进行扁平寻址,合理解决集合内的哈希冲突,使得索引表在整体上维护关联特性不影响查询速度,进而达到负载均衡的目的,有效提高了索引表的利用率。

Description

一种基于关联特性的重复视频检测方法与系统
技术领域
本发明属于计算机数据存储技术领域,更具体地,涉及一种基于关联特性的重复视频检测方法和系统。
背景技术
随着视频网站的出现,互联网上的视频数量和种类飞速增长,用户可以方便地通过网络上传或下载视频。但是在这些海量的网络视频中,存在着大量重复的或者近似重复的视频。已有研究表明,通过对特定关键词的视频搜索引擎的搜索结果进行分析,发现在搜索结果中平均存在27%的重复或近似重复的视频。对于个别查询结果,重复率甚至高达93%。这些大量重复的视频不仅浪费了存储空间,也给视频的有效管理带来不便,并且给用户在网络上搜索感兴趣的视频时返回过多的重复结果。因此为了提高网络视频的管理、搜索及浏览效率,需要高效的视频重复检测方法。
现有的重复视频检测方法存在以下问题:
(1)目前的研究仍然停留在提高查询结果准确度这一问题上,大部分方法都采用树形结构作为索引结构,没有更为有效的索引结构来支持快速查询。
(2)可扩展性差,当数据数目随着系统的扩展而变多时,现有方法的查询响应时间将显著增加。
(3)负载不均衡,对于不同类型的视频,索引结构差异很大,使得系统各个部分负载不均衡。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种基于关联特性的重复视频检测方法,旨在解决在海量存储系统中的重复视频检测问题,其能够充分地利用重复视频或近似视频间的关联特性,满足快速查询需求,并具有良好的可扩展性。
为实现上述目的,本发明提供了一种基于关联特性的重复视频检测方法,包括以下步骤:
(1)将视频数据服务器中的视频进行解码,提取关键帧;
(2)对上述关键帧提取局部特征点;
(3)将每个关键帧中的局部特征点映射到固定长度的特征向量中,每个关键帧一一对应一个固定长度的特征向量;
(4)对上述特征向量使用多个海明空间下的位置灵敏哈希函数计算得到其在索引表中的多个哈希值;
(5)根据得到的多个位置灵敏哈希函数值,按照Cuckoo Hashing机制构建本地索引表;
(6)本地索引表构建完成后,接收由控制节点转发的查询请求,在本地索引表上查询,并返回查询结果;其中,所述查询请求中包含有根据上述步骤(1)到(3)所生成的查询视频所对应的查询向量。
本发明方法利用重复视频或者近似视频之间的关联特性,对视频进行分组,将相同或相似的视频划分到索引表的同一集合之中,同时为了解决不同集合之间负载不均衡的问题,引入Cuckoo Hashing机制进一步使各个集合均匀的分布在整个索引表上,同时能够满足对于视频数据的高效查询操作。
进一步地,所述步骤(3)具体包括:
(3-1)对于每个关键帧,其中的每个局部特征点作为一个输入向量,该输入向量作为位置灵敏哈希函数的输入值;
(3-2)使用欧拉空间下的位置灵敏哈希函数对输入向量进行哈希计算,得到哈希值;
(3-3)根据得到的哈希值,修改固定长度特征向量的对应位及左右两个位共三个位的位值。
进一步地,所述步骤(5)具体包括:
(5-1)根据步骤(4)中得到的多个哈希值判断索引表中上述位置是否均已填充,若未填充,则将该特征向量插入空位;否则执行(5-2);
(5-2)从这多个位置中随机选择一个位置;
(5-3)将待插入向量插入到该位置,将该位置中原有的向量踢出;
(5-4)对于本次插入过程,统计其整体的踢出次数是否超过阈值,若已经超过阈值,则重新选择哈希函数,重新建立索引表;否则将被踢出的向量作为输入向量返回(4)继续执行。
基于关联特性的海明空间下的位置灵敏哈希函数划分成的集合大小可能不同,这里我们对集合内的数据,再根据Cuckoo Hashing机制进一步在整个索引表中进行扁平哈希,合理解决哈希冲突,使得索引表整体上维护关联特性的同时,进而达到负载均衡的效果,并且有效提高了索引表的利用率。
进一步地,所述步骤(6)具体包括:
(6-1)根据位置灵敏哈希函数,计算每个查询向量的多个位置灵敏哈希函数值;
(6-2)根据得到的位置灵敏哈希函数值,在索引表中进行查找,得到结果向量,计算该查询向量同结果向量的海明距离;
(6-3)根据海明距离,计算该查询向量同结果向量对应的视频间的相似度;
(6-4)合并查询视频的所有查询向量的查询结果,并根据相似度依次返回与该查询视频的重复或者相似的视频。
由于索引表的构建基于关联特性,所以和查询向量重复或者相近的关键帧必定位于同一集合中,而该集合正是由查询向量计算得到的多个位置构成,只需要并行查找这些位置即可,因此在O(1)时间完成查询过程。
优选地,所述步骤(2)中采用SIFT算法提取局部特征点。SIFT算法提取的局部特征点质量更高,在各种环境下稳定性更好。
通过本发明所构思的以上技术方案,与现有技术相比,本方法具有以下的有益效果:
1、充分利用了视频数据之间的关联特性。在步骤(5)中,具有相同或相近视频被划分到了索引表中的相同位置,从而可以有效地以集合的形式来管理这些相同或近似视频。
2、满足了可扩展性的要求。由于视频数据是根据关联特性被划分成了多个集合进行管理,整个系统视频数据数目的迅速增长只会引起各个集合的缓慢增长,从而保证了重复视频检测的效果与效率。
3、实现负载均衡的要求。根据关联特性划分的集合大小可能不同,对集合内的数据,根据Cuckoo Hashing机制在整个索引表中进行平行哈希,使得索引表整体达到负载均衡的效果,同时有效提高了索引表的利用率。
本发明的另一目的在于提供一种基于关联特性的重复视频检测系统,旨在解决在海量存储系统中的重复视频检测问题,其能够充分地利用重复视频或近似视频间的关联特性,满足快速查询需求,并具有良好的可扩展性。
为实现上述目的,本发明提供了一种基于关联特性的重复视频检测系统,包括本地索引生成模块、控制节点查询转发模块、本地结果生成模块和控制节点合并结果模块。所述本地索引生成模块,对每个数据节点的视频数据根据关联特性进行划分,构建本地索引表;所述控制节点查询转发模块,用于接收用户的视频查询请求,根据所述查询请求中的查询视频得到相应的一组特征向量,将这组特征向量转发到每个数据节点;所述本地结果生成模块,用于接收来自控制节点转发的查询请求,根据接收的特征向量在本地索引表中查询,得到本地查询结果,并将本地查询结果发送给控制节点;所述控制节点合并结果模块,用于接收来自数据节点的查询结果,并将所有查询结果进行合并,合并后的最终结果返回给用户。
进一步地,所述本地索引生成模块包括提取关键帧模块、提取局部特征点模块、特征向量构造模块、哈希函数计算模块、本地索引构建模块,其中:提取关键帧模块,用于将数据节点中的视频进行解码,提取关键帧;提取局部特征点模块,用于对上述提取的关键帧提取局部特征点;特征向量构造模块,用于将每个关键帧中的局部特征点映射到固定长度的特征向量中,每个关键帧一一对应一个固定长度的特征向量;哈希函数计算模块,用于对上述特征向量使用多个海明空间下的位置灵敏哈希函数计算得到其在索引表中的多个哈希值;本地索引构建模块,用于根据得到的多个位置灵敏哈希函数值,按照Cuckoo Hashing机制构建本地索引表。
进一步地,所述控制节点查询转发模块包括查询请求接收模块、提取查询视频关键帧模块、提取查询视频局部特征点模块、查询视频特征向量构造模块和特征向量转发模块,其中:所述查询请求接收模块,用于接收用户的视频查询请求,所述视频查询请求中包含有查询视频;提取查询视频关键帧模块,用于将查询请求中的查询视频进行解码,提取关键帧;提取查询视频局部特征点模块,用于对上述提取的关键帧提取局部特征点;查询视频特征向量构造模块,用于将每个关键帧中的局部特征点映射到固定长度的特征向量中,每个关键帧一一对应一个固定长度的特征向量;特征向量转发模块,用于将上述得到的特征向量转发到各数据节点。
通过本发明所构思的以上技术方案,与现有技术相比,本系统具有以下的有益效果:
1、充分利用了重复视频或近似视频数据之间的关联特性。由于采用了位置灵敏哈希函数,视频数据根据其关联特性被划分到不同集合中,重复视频或近似视频被划分到相同的集合中,从而可以有效地以集合为单位来管理所有视频数据。
2、满足了可扩展性的要求。由于各个数据节点之间是相互独立的,他们都是接收来自控制节点的查询请求,并返回结果。某一个数据节点的添加和删除,对整个重复视频检测集群没有破坏性影响,因此可以满足高可扩展性的要求。
3、实现负载均衡的要求。根据关联特性划分的集合大小可能不同,对集合内的数据,根据Cuckoo Hashing机制在整个索引表中进行平行哈希,使得索引表整体达到负载均衡的效果,同时有效提高了索引表的利用率。
附图说明
图1为本发明基于关联特性的重复视频检测方法的流程图;
图2为本发明基于关联特性的重复视频检测系统的结构示意图;
图3为本发明中步骤(3)的细化流程图;
图4为本发明中Cuckoo Hashing机制的计算流程图;
图5为本发明中相似性准则计算流程图;
图6为本发明中本地索引生成模块的结构示意图;
图7为本发明中查询过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明为基于关联特性的重复视频检测方法和系统,该方法利用重复视频或者近似视频之间的关联特性,对视频进行分组,将相同或相似的视频划分到索引表的同一集合之中,同时为了解决不同集合之间负载不均衡的问题,引入Cuckoo Hashing机制进一步使各个集合均匀的分布在整个索引表上,同时能够满足对于视频数据的高效查询操作。
如图1所示,本发明基于关联特性的重复视频检测方法包括以下步骤:
(1)将用于构建视频库的视频进行解码,提取关键帧,得到一系列关键帧图片,因此可以将视频看成由数量不等的关键帧图片构成;
目前我们看到的视频通常都是压缩视频,最常见的是由I,P,B三种帧构成。I帧是关键帧,属于帧内压缩,可以理解为是这一帧画面的完整保留。P帧表示的是这一帧跟之前的关键帧或P帧的差别,解码时需要用之前帧的数据加上本帧所表示的差别,生成最终画面;B帧是双向差别帧,记录本帧同前后帧的差别,解码时需要前后帧的数据,生成最终画面。
这里我们可以提取视频中的I帧,将I帧作为关键帧。
(2)将步骤(1)得到的关键帧,提取局部特征点,每个关键帧提取到数量不同的特征点;
具体地,可以采用SIFT算法、PCA-SIFT算法和SURF算法进行提取,这里我们优先采用SIFT算法提取局部特征点,因为SIFT算法提取的局部特征点质量更高,在各种环境下稳定性更好。
(3)至此,得到不同视频包含不同数量的关键帧,每个关键帧中包含数量不同的局部特征点。将每个关键帧中的局部特征点映射到固定长度的特征向量中,因此每个关键帧一一对应一个固定长度的特征向量,这里采用Bloom filter进行映射,其中的哈希函数使用欧拉空间下的位置灵敏哈希函数做计算,最后得到的向量是一个0和1组成的串;
如图3所示,本步骤包括以下子步骤,
(3-1)对于每个关键帧,其中的每个局部特征点作为一个输入向量,该输入向量作为位置灵敏哈希函数的输入值;
(3-2)使用欧拉空间下的位置灵敏哈希函数对输入向量进行哈希计算,得到哈希值;
(3-3)根据得到的哈希值,修改固定长度特征向量的对应位及左右两个位共三个位的位值;
例如,若固定长度特征向量的初始位值为0,则将哈希值的对应位及左右两个位修改为1,若固定长度特征向量的初始位值为1,则将哈希值的对应位及左右两个位修改为0。
将每个关键帧的所有局部特征点都分别映射到一个固定长度的特征向量上。这样做的原因是每个关键帧由于其内容的不同,导致提取的局部特征点的数量不同,而在步骤(4)中计算海明空间下的位置灵敏哈希函数值时需要使用固定长度的哈希函数与输入向量进行点积求和,以保证所有关键帧使用相同的哈希函数。因此将每个关键帧的局部特征点映射到一个固定长度的特征向量中。
该特征向量的长度设定需要根据实际情况进行设定,考虑的因素包括Bloom filter的误判率,计算开销,存储空间等等。
这里采用的是Bloom filter进行映射,但其中的哈希函数不是普通的随机函数,而是欧拉空间下的位置灵敏哈希函数,因为在肉眼来看几乎相同的两幅关键帧图片,提取的特征点其对应维度上的特征值很相近但也不完全相同,因此基于传统哈希函数的Bloom filter对于这种情况会失效,使用欧拉空间下的位置灵敏哈希函数可以解决该问题。
(4)对上述特征向量使用多个海明空间下的位置灵敏哈希函数计算得到其在索引表中的多个哈希值;
这里的位置灵敏哈希函数是基于海明空间产生的。普通的位置灵敏哈希函数是基于欧拉空间的,是服从p稳定分布的,其中p∈(0,2]。由步骤(3)得到的特征向量是由0和1组成的向量,不适用于欧拉空间,适用于海明空间,但海明空间下的位置灵敏哈希函数实际是由欧拉空间下的位置灵敏哈希函数近似得到的,p值越小越能更好的近似海明空间。因此这里使用尽可能小的p值来近似求得海明空间下的位置灵敏哈希函数。
(5)由步骤(4)得到该特征向量有几个哈希位置可以插入,按照CuckooHashing机制构建本地索引表;
如图4所示,本步骤包括以下子步骤,
(5-1)根据步骤(4)中得到的多个哈希值判断索引表中上述位置是否均已填充,若未填充,则将该特征向量插入空位;否则执行(5-2);
(5-2)从这多个位置中随机选择一个位置;
(5-3)将待插入向量插入到该位置,将该位置中原有的向量踢出;
(5-4)对于本次插入过程,统计其整体的踢出次数是否超过阈值,若已经超过阈值,则重新选择哈希函数,重新建立索引表;否则将被踢出的向量作为输入向量返回(4)继续执行。
基于关联特性的海明空间下的位置灵敏哈希函数划分成的集合大小可能不同,这里我们对集合内的数据,再根据Cuckoo Hashing机制进一步在整个索引表中进行扁平哈希,合理解决哈希冲突,使得索引表整体上维护关联特性的同时,进而达到负载均衡的效果,并且有效提高了索引表的利用率。
(6)本地索引表构建完成后,接收由控制节点转发的查询请求,在本地索引表上查询,并返回查询结果。
接收来自控制节点的查询请求,查询视频需要在控制节点上完成步骤步骤(1)到(3),将查询视频转换成一组查询向量,在数据节点上将每个查询向量根据海明空间下的位置灵敏哈希函数得到其在索引表中的多个位置。由于索引表的构建基于关联特性,所以和查询向量重复或者相近的关键帧必定位于同一集合中,而该集合正是由查询向量计算得到的多个位置构成,只需要并行查找这些位置即可,因此在O(1)时间完成查询过程。
完成查询后,得到的是一系列和关键帧一一对应的特征向量,这里根据相似性准则返回本地查询结果。
如图5所示,本步骤包括以下子步骤,
(6-1)接收由控制节点转发的查询请求,利用海明空间下的位置灵敏哈希函数,计算每个查询向量的多个位置灵敏哈希函数值;
(6-2)根据得到的哈希函数值,在索引表中进行查找,得到结果向量,计算该查询向量同结果向量的海明距离;
(6-3)根据海明距离,计算该查询向量同结果向量对应的视频间的相似度;
(6-4)最后,合并所有查询向量的查询结果,并根据相似度依次返回该查询请求的本地查询结果。
如图2所示,本发明基于关联特性的重复视频检测系统包括本地索引生成模块1、控制节点查询转发模块2、本地结果生成模块3、控制节点合并结果模块4。
本地索引生成模块1,对每个数据节点的视频数据根据关联特性进行划分,用以构建本地索引表;如图6,该模块包括提取关键帧模块11,提取局部特征点模块12,特征向量构造模块13,哈希函数计算模块14,本地索引构建模块15。
提取关键帧模块11将每个数据节点上的所有视频进行解码,提取关键帧;
提取局部特征点模块12根据提取的关键帧使用SIFT算法提取局部特征点;
特征向量构造模块13将每个关键帧中的局部特征点映射到固定长度的向量中,因此每个关键帧一一对应一个固定长度的特征向量;
哈希函数计算模块14根据上述得到的向量使用多个位置灵敏哈希函数计算得到其多个位置灵敏哈希值;
本地索引构建模块15,用于根据计算得到的位置灵敏哈希函数值,按照Cuckoo Hashing机制构建本地索引表;
控制节点查询转发模块2,用于接收用户的视频查询请求,根据所述查询请求中的查询视频,按照前述方法中的步骤(1)-(3)计算得到相应的一组特征向量,将这组特征向量转发到每个数据节点;
具体地,控制节点查询转发模块2包括:查询请求接收模块、提取查询视频关键帧模块、提取查询视频局部特征点模块、查询视频特征向量构造模块和特征向量转发模块,其中:
所述查询请求接收模块,用于接收用户的视频查询请求,所述视频查询请求中包含有查询视频;
提取查询视频关键帧模块,用于将查询请求中的查询视频进行解码,提取关键帧;
提取查询视频局部特征点模块,用于对上述提取的关键帧提取局部特征点;
查询视频特征向量构造模块,用于将每个关键帧中的局部特征点映射到固定长度的特征向量中,每个关键帧一一对应一个固定长度的特征向量;
特征向量转发模块,用于将上述得到的特征向量转发到各数据节点。
本地结果生成模块3接收来自控制节点转发的查询请求,根据接收的特征向量在本地索引表上查询,得到本地查询结果,并将本地查询结果发往控制节点;
控制节点合并结果模块4用于接收来自数据节点的查询结果,并将所有本地结果进行合并,合并后的最终结果返回给用户。
查询过程的总体示意图如图7所示,用户首先将查询请求发送到控制节点,通过控制节点查询转发模块将处理后的查询请求发送到每个数据节点上,通过本地结果生成模块3在本地索引表上进行查询,得到本地查询结果,将本地查询结果发送到控制节点,控制节点合并结果模块4接收并合并来自数据节点的本地查询结果,并将最后结果返回给用户。
举例说明插入的基本过程,现有一个视频V,通过步骤(1)提取5个关键帧,分别为I1,I2,I3,I4,I5,在步骤(2)分别提取局部特征点,个数分别是600,800,1120,753,982。在步骤(3)在欧拉空间下使用位置灵敏哈希函数的Bloom filter分别计算特征向量,本专利中特征向量的长度设定为1000,得到相应的特征向量分别为V1,V2,V3,V4,V5,因此该视频V转换为包含5个特征向量V1,V2,V3,V4,V5。在步骤(4)中分别对5个特征向量使用多个基于海明空间的位置灵敏哈希函数计算多个哈希值,并按步骤(5)中的Cuckoo Hashing机制插入到本地索引表中。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于关联特性的重复视频检测方法,其特征在于,包括以下步骤:
(1)将视频数据服务器中的视频进行解码,提取关键帧;
(2)对上述关键帧提取局部特征点;
(3)将每个关键帧中的局部特征点映射到固定长度的特征向量中,每个关键帧一一对应一个固定长度的特征向量;
(4)对上述特征向量使用多个海明空间下的位置灵敏哈希函数计算得到其在索引表中的多个哈希值;
(5)根据得到的多个位置灵敏哈希函数值,按照Cuckoo Hashing机制构建索引表;
(6)索引表构建完成后,接收由控制节点转发的查询请求,在索引表上查询,并返回查询结果;其中,所述查询请求中包含有根据上述步骤(1)到(3)所生成的查询视频所对应的查询向量。
2.根据权利要求1所述的视频检测方法,其特征在于,所述步骤(3)具体包括:
(3-1)对于每个关键帧,其中的每个局部特征点作为一个输入向量,该输入向量作为位置灵敏哈希函数的输入值;
(3-2)使用欧拉空间下的位置灵敏哈希函数对输入向量进行哈希计算,得到哈希值;
(3-3)根据得到的哈希值,修改固定长度特征向量的对应位及左右两个位共三个位的位值。
3.根据权利要求1或2所述的视频检测方法,其特征在于,所述步骤(5)具体包括:
(5-1)根据步骤(4)中得到的多个哈希值判断索引表中上述位置是否均已填充,若未填充,则将该特征向量插入空位;否则执行(5-2);
(5-2)从这多个位置中随机选择一个位置;
(5-3)将待插入向量插入到该位置,将该位置中原有的向量踢出;
(5-4)对于本次插入过程,统计其整体的踢出次数是否超过阈值,若已经超过阈值,则重新选择哈希函数,重新建立索引表;否则将被踢出的向量作为输入向量返回(4)继续执行。
4.根据权利要求1至3任一项所述的视频检测方法,其特征在于,所述步骤(6)具体包括:
(6-1)接收由控制节点转发的查询请求,利用海明空间下的位置灵敏哈希函数,计算每个查询向量的多个位置灵敏哈希函数值;
(6-2)根据得到的位置灵敏哈希函数值,在索引表中进行查找,得到结果向量,计算该查询向量同结果向量的海明距离;
(6-3)根据海明距离,计算该查询向量同结果向量对应的视频间的相似度;
(6-4)合并查询视频的所有查询向量的查询结果,并根据相似度依次返回与该查询视频的重复或者相似的视频。
5.根据权利要求1至4任一项所述的视频检测方法,其特征在于,所述步骤(2)中采用SIFT算法提取局部特征点。
6.一种基于关联特性的重复视频检测系统,其特征在于,包括本地索引生成模块、控制节点查询转发模块、本地结果生成模块、控制节点合并结果模块,其中:
所述本地索引生成模块,对每个数据节点的视频数据根据关联特性进行划分,构建本地索引表;
所述控制节点查询转发模块,用于接收用户的视频查询请求,根据所述查询请求中的查询视频得到相应的一组特征向量,将这组特征向量转发到每个数据节点;
所述本地结果生成模块,用于接收来自控制节点转发的查询请求,根据接收的特征向量在本地索引表中查询,得到本地查询结果,并将本地查询结果发送给控制节点;
所述控制节点合并结果模块,用于接收来自数据节点的查询结果,并将所有查询结果进行合并,合并后的最终结果返回给用户。
7.如权利要求6所述的系统,其特征在于,所述本地索引生成模块包括提取关键帧模块、提取局部特征点模块、特征向量构造模块、哈希函数计算模块、本地索引构建模块,其中:
提取关键帧模块,用于将数据节点中的视频进行解码,提取关键帧;
提取局部特征点模块,用于对上述提取的关键帧提取局部特征点;
特征向量构造模块,用于将每个关键帧中的局部特征点映射到固定长度的特征向量中,每个关键帧一一对应一个固定长度的特征向量;
哈希函数计算模块,用于对上述特征向量使用多个海明空间下的位置灵敏哈希函数计算得到其在索引表中的多个哈希值;
本地索引构建模块,用于根据得到的多个位置灵敏哈希函数值,按照Cuckoo Hashing机制构建本地索引表。
8.如权利要求6或7所述的系统,其特征在于,所述控制节点查询转发模块包括查询请求接收模块、提取查询视频关键帧模块、提取查询视频局部特征点模块、查询视频特征向量构造模块和特征向量转发模块,其中:
所述查询请求接收模块,用于接收用户的视频查询请求,所述视频查询请求中包含有查询视频;
提取查询视频关键帧模块,用于将查询请求中的查询视频进行解码,提取关键帧;
提取查询视频局部特征点模块,用于对上述提取的关键帧提取局部特征点;
查询视频特征向量构造模块,用于将每个关键帧中的局部特征点映射到固定长度的特征向量中,每个关键帧一一对应一个固定长度的特征向量;
特征向量转发模块,用于将上述得到的特征向量转发到各数据节点。
CN201310594573.7A 2013-11-22 2013-11-22 一种基于关联特性的重复视频检测方法与系统 Active CN104657383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310594573.7A CN104657383B (zh) 2013-11-22 2013-11-22 一种基于关联特性的重复视频检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310594573.7A CN104657383B (zh) 2013-11-22 2013-11-22 一种基于关联特性的重复视频检测方法与系统

Publications (2)

Publication Number Publication Date
CN104657383A true CN104657383A (zh) 2015-05-27
CN104657383B CN104657383B (zh) 2017-11-24

Family

ID=53248529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310594573.7A Active CN104657383B (zh) 2013-11-22 2013-11-22 一种基于关联特性的重复视频检测方法与系统

Country Status (1)

Country Link
CN (1) CN104657383B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156284A (zh) * 2016-06-24 2016-11-23 合肥工业大学 基于随机多视角哈希的大规模近重复视频检索方法
CN107423768A (zh) * 2017-08-02 2017-12-01 上海应用技术大学 基于surf和pca结合的图像哈希序列生成方法
CN108881947A (zh) * 2017-05-15 2018-11-23 阿里巴巴集团控股有限公司 一种直播流的侵权检测方法及装置
CN108959492A (zh) * 2018-06-25 2018-12-07 江苏大学 一种基于托普利兹核偏最小二乘的近重复视频检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162470A (zh) * 2007-11-16 2008-04-16 北京交通大学 一种基于分层匹配的视频广告识别方法
CN101937506A (zh) * 2010-05-06 2011-01-05 复旦大学 近拷贝视频检测方法
CN103218404A (zh) * 2013-03-20 2013-07-24 华中科技大学 一种基于关联特性的多维元数据管理方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162470A (zh) * 2007-11-16 2008-04-16 北京交通大学 一种基于分层匹配的视频广告识别方法
CN101937506A (zh) * 2010-05-06 2011-01-05 复旦大学 近拷贝视频检测方法
CN103218404A (zh) * 2013-03-20 2013-07-24 华中科技大学 一种基于关联特性的多维元数据管理方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUP ERHUSTER: "Cockoo hash", 《HTTPS://BAIKE.BAIDU.COM/HISTORY/COCKOO%20HASH/30432514》 *
刘大伟 等: "一种重复视频的快速检测算法", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156284A (zh) * 2016-06-24 2016-11-23 合肥工业大学 基于随机多视角哈希的大规模近重复视频检索方法
CN108881947A (zh) * 2017-05-15 2018-11-23 阿里巴巴集团控股有限公司 一种直播流的侵权检测方法及装置
CN107423768A (zh) * 2017-08-02 2017-12-01 上海应用技术大学 基于surf和pca结合的图像哈希序列生成方法
CN108959492A (zh) * 2018-06-25 2018-12-07 江苏大学 一种基于托普利兹核偏最小二乘的近重复视频检测方法

Also Published As

Publication number Publication date
CN104657383B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN106933854B (zh) 短链接处理方法、装置及服务器
CN105704041B (zh) 用于ccn路由的方法、系统、和存储介质
CN102054003B (zh) 网络信息推荐、建立网络资源索引的方法及系统
CN107451208B (zh) 一种数据搜索方法与装置
CN100445999C (zh) 一种数据存储及搜索方法
CN104809209A (zh) 社交网络信息流的显示方法、装置及服务器
CN102411582B (zh) 图片搜索方法、装置及客户端
WO2008043645B1 (en) Establishing document relevance by semantic network density
CN105224554A (zh) 推荐搜索词进行搜索的方法、系统、服务器和智能终端
CN112307366B (zh) 一种信息展示的方法、装置及计算机存储介质
CN104657383A (zh) 一种基于关联特性的重复视频检测方法与系统
CN103345493A (zh) 用于移动终端上的文本内容显示的方法、装置及系统
CN103581224A (zh) 推送信息的方法和装置
CN102868936A (zh) 存储视频日志的方法和系统
CN112231398A (zh) 数据存储方法、装置、设备及存储介质
CN103077217A (zh) 用于提供与查询序列相匹配的结果附加信息的方法、装置与设备
CN107305570B (zh) 一种数据检索方法及系统
CN105844230A (zh) 一种基于云平台的遥感影像分割方法
CN103077208A (zh) 统一资源定位符匹配处理方法及装置
CN110908995A (zh) 数据处理方法、装置以及设备
CN104933054A (zh) 缓存资源文件的url存储方法及装置、缓存服务器
CN111582967A (zh) 内容搜索方法、装置、设备及存储介质
CN102164309B (zh) 节目的处理方法和系统以及装置
CN107153674B (zh) 一种直播房间信息展示方法及系统
CN104866818A (zh) 一种用于搜索包含人脸的图片的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant