CN101807208B - 视频指纹快速检索方法 - Google Patents
视频指纹快速检索方法 Download PDFInfo
- Publication number
- CN101807208B CN101807208B CN201010133870.8A CN201010133870A CN101807208B CN 101807208 B CN101807208 B CN 101807208B CN 201010133870 A CN201010133870 A CN 201010133870A CN 101807208 B CN101807208 B CN 101807208B
- Authority
- CN
- China
- Prior art keywords
- fingerprint
- video
- line segment
- file
- retrieved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本发明揭示了一种视频指纹快速检索方法，包括以下步骤：A)将视频片段库中的每个视频片段提取指纹特征，并以指纹特征建立数据库；B)根据数据库建立哈希表；C)加载被检索视频文件，然后提取指纹特征；D)进行基于线段检测的指纹快速检索，本发明能快速检索大量指纹片段，提高视频指纹检索的效率和精度。
Description
技术领域
本发明涉及视频指纹领域，特别涉及一种视频指纹快速检索方法。
背景技术
视频指纹是一种软件识别、提取、压缩视频的技术，可以使产生的唯一的“指纹”来代表一个视频文件。视频指纹是一个新兴的技术，已经证明可以有效应用于音频数据预处理、哈希值的比较和数字水印等领域。视频指纹分析可以基于任何视觉的视频特征，包括(但不限于)，视频流中的关键帧序列分析，色彩和运动的变化等特征。一般来说，数字视频数据可以直接从文件中剥离出来，然后基于哈希值进行压缩。基于哈希值比较进行视频文件匹配的方法是有缺点的。因为，视频文件的匹配，只能依据视频数据文件或视频数据文件中的一部分中的数据完全相等。大部分情况下，不同的视频编码和数字处理可能会导致视频数字数据的微小改动，但是这种改变不会影响视频本身感知性(也就是人的视觉是感觉不到的)。因此，即使当两个视频片断是感性相同，当采用哈希值比较方法时，很可能失败。此外，如果想通过给出一些视频片段来识别一个视频也是不可能的。可以看出，这种基于哈希值比较的方法同样是不可能用于视频的相似匹配。数字视频指纹识别可以依据“指纹”来识别视频，视频文件可以是不同的分辨率(更大或更小)，也可以略加修改(对帧片段进行模糊、旋转、裁剪、加速、减速、插入元素)。视频指纹技术可以从视频文件中提取的可以唯一标识视频文件的特征，并存储这些特征。这样，就可以后通过比较提取的视频指纹来识别视频内容。对于数字视频数据，音频和视频都可以提取指纹，根据不同的应用领域会有不同的意义。一个视频指纹建立涉及使用专门的解码器对视频数据进行解码，然后应用特征提取算法提取视频的特征。视频指纹相对比原来的源文件内容，要少了很多。因此可以很容易在数据库中储存。他们可能被视为一种有损压缩的极端形式，不能用来重建原始视频内容。视频指纹与数字水印不同。数字水印是在视频内容中插入一个唯一的标识。也即是说，数字水印技术要改变视频文件的内容，为了识别视频文件，数字水必须被插入到视频文件中。以后，任何人任何时间都可以在视频文件中更改或删除数字水印。而视频指纹，可以识别任何内容，不管文件之前是否被更改过。考虑到现有的视频数量庞大，随着视频由用户上传的网站大量涌现，视频指纹识别技术面临着巨大的可扩展性的挑战。
随着视频网络的发展，视频节目呈海量增长之势，如何高效且有效地检索或监管视频内容成为一个重要的问题。视频指纹技术的出现为视频内容的监管和检索提供了一种高效且有效的方法。视频指纹技术中的关键技术是：(1)视频指纹的提取；和(2)视频指纹的检索。视频指纹的检索方法是否有效，直接决定了视频指纹检索的效率和精度。
在2002年的视觉信息最新进展国际会议上(Proceedings of Recent Advances in VisualInformation Systems 2002)，Oostveen和Kalker等人在《视频指纹的特征提取方法和数据库策略》(Feature Extraction and a Database Strategy for Video Fingerprinting)这篇文章中，提出了一种视频指纹检索方法。该检索方法有下面几个特点：(1)被用于检索的指纹文件是一个指纹片段，而数据库中则是大量的指纹文件；(2)采用的计算方法是将数据库中的大量的指纹文件做成哈希表，然后进行快速的检索；(3)若对数据库中的每个候选指纹片段与被用于检索的指纹片段进行汉明(Hamming)距离计算的话，则运算很大。
而在实际应用中，碰到的情况与之相反，也就是说：用于检索的指纹文件是一个指纹文件，而数据库中包含的则是一些指纹片段，例如反动、暴力、色情、诽谤等之类的违规视频片段。在此基础上，本发明提出一种基于线段检测的视频指纹检索系统。这里的视频指纹既可以是视频中的视频信号的指纹，也可以是视频中的音频信号的指纹，它们被统称为是视频指纹。
有鉴于此，本领域技术人员针对上述问题，提供了一种视频指纹快速检索方法。
方法内容
本发明提供了一种视频指纹快速检索方法，克服了现有技术的困难，以达到快速检索大量指纹片段，提高视频指纹检索的效率和精度的目的。
本发明采用如下技术方案：
本发明的一种视频指纹快速检索方法，其特征在于：包括以下步骤：
A)将视频片段库中的每个视频片段提取指纹特征，并以指纹特征建立数据库；
B)根据数据库建立哈希表；
C)加载被检索视频文件，然后提取指纹特征；
D)进行基于线段检测的指纹快速检索。
优选地，所述步骤A)中，所述提取指纹特征包括提取音频指纹特征或提取视频指纹特征。
优选地，所述步骤B)中，所述哈希表的键值是数据库中的指纹文件的子指纹。
优选地，所述步骤B)中，所述子指纹是32比特的二进制数。
优选地，所述步骤B)中，所述哈希表的值是指向文件号集合的指针。
优选地，所述步骤B)中，所述文件号集合包括对应键值的指纹文件的文件号。
优选地，所述步骤D)中，包括以下步骤：
D1)建立坐标系，其横轴为数据库中的文件号，纵轴为被检索的视频指纹文件的子指纹；
D2)通过哈希表的快速取值，形成坐标系中的若干线段；
D3)扫描该坐标系中的所有线段，将间隔距离小于K的线段连接成一个线段，得到的线段的集合称为L；
D4)在L内，过滤掉所有长度小于T的线段，得到过滤后的线段的集合FL；
D5)根据FL中一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离d，执行步骤D8)；
D6)判断FL中是否还有剩余线段，若是，则执行步骤D7)，若否，则被检索的视频指纹文件不是目标文件，程序结束；
D7)根据FL中剩余的一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离d，执行步骤D8)；
D8)判断d是否小于阈值D，若是，则被检索的视频指纹文件是目标文件，程序结束；若否，则执行步骤D6)；
其中，K是一个预先给定的阈值，且K＞0；
L为算法步骤过程中，将间隔距离小于K的线段连接成一个线段，得到的线段的集合；
T是预先给定的常数，且T＞0；在L内，过滤掉所有长度小于T的线段，得到过滤后的线段的集合称为FL；
d为根据FL中一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离；
D是预先给定的阈值，且D＞0。
优选地，所述步骤D)中，所述距离d是汉明距离。
由于采用了上述技术，本发明能快速检索大量指纹片段，提高视频指纹检索的效率和精度。
以下结合附图及实施例进一步说明本发明。
附图说明
图1为本发明的视频指纹快速检索方法的流程图；
图2为本发明的视频指纹快速检索方法的实施例流程图；
图3为本发明中哈希表的实施例图；
图4为本发明中进行线段检测的实施例图。
附图标记
A为准备阶段，B为线段检测阶段，C为验证阶段，D为哈希表，E为用于被检索的视频指纹文件，F为文件ID，G为过滤后的线段，H为过滤后的线段。
具体实施方式
下面通过图1至4来介绍本发明的一种具体实施例。
如图1至4所示，本发明的一种视频指纹快速检索方法，包括以下步骤：
A)将视频片段库中的每个视频片段提取指纹特征，并以指纹特征建立数据库；
B)根据数据库建立哈希表；
C)加载被检索视频文件，然后提取指纹特征；
D)进行基于线段检测的指纹快速检索。
所述步骤A)中，所述提取指纹特征包括提取音频指纹特征或提取视频指纹特征。
所述步骤B)中，所述哈希表的键值是数据库中的指纹文件的子指纹，所述子指纹是32比特的二进制数；所述哈希表的值是指向文件号集合的指针，所述文件号集合包括对应键值的指纹文件的文件号。
所述步骤D)中，包括以下步骤：
D1)建立坐标系，其横轴为数据库中的文件号，纵轴为被检索的视频指纹文件的子指纹；
D2)通过哈希表的快速取值，形成坐标系中的若干线段；
D3)扫描该坐标系中的所有线段，将间隔距离小于K的线段连接成一个线段，得到的线段的集合称为L；
D4)在L内，过滤掉所有长度小于T的线段，得到过滤后的线段的集合FL；
D5)根据FL中一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离d，执行步骤D8)；
D6)判断FL中是否还有剩余线段，若是，则执行步骤D7)，若否，则被检索的视频指纹文件不是目标文件，程序结束；
D7)根据FL中剩余的一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离d，执行步骤D8)；
D8)判断d是否小于阈值D，若是，则被检索的视频指纹文件是目标文件，程序结束；若否，则执行步骤D6)。
其中，K是一个预先给定的阈值，且K＞0；L为算法步骤过程中，将间隔距离小于K的线段连接成一个线段，得到的线段的集合；T是预先给定的常数，且T＞0；在L内，过滤掉所有长度小于T的线段，得到过滤后的线段的集合称为FL；d为根据FL中一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离；D是预先给定的阈值，且D＞0。
所述步骤D)中，所述距离d是汉明距离。汉明距离就是信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。
实际使用中，如图2至4所示本发明的具体实施例流程包括以下步骤：
1)将视频片段库中的每个视频片段进行指纹特征提取，这些指纹文件称为是数据库；
2)在数据库上建立哈希表，其特征在于哈希表的键值(key)是数据库中的指纹文件的子指纹，通常是一个32比特的二进制数，但不局限于是32比特；哈希表的值(value)是一个指针，该指针指向一个文件号(id)集合；该文件号集合是包含相应键值的指纹文件的文件号的集合。该集合中的元素具有唯一性，也就是说不存在重复的文件号。
3)在进行检索的时候，首先加载用于被检索的视频文件，然后进行指纹特征提取；
4)按下面的步骤进行基于线段检测的指纹快速检索：
5)以被检索的视频指纹文件的子指纹为纵轴，以数据库中的文件号为横轴，形成坐标系；
6)通过哈希表的快速取值，形成坐标系中的若干线段；
7)扫描该坐标系中的所有线段，将间隔距离小于K的线段连接成一个线段，得到的线段的集合称为L；
8)在L内，过滤掉所有长度小于T的线段，得到过滤后的线段的集合FL；
9)根据FL中每条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离d，这里的距离指的是汉明距离(Hamming distance)；
10)若d小于某个阈值D，则被检索的视频指纹文件被认为是目标文件，返回之；
11)否则，回到9)直到退出。
与现有技术相比，本发明能快速检索大量指纹片段，提高视频指纹检索的效率和精度。
综上可知，由于采用了上述技术，本发明与现有技术相比，本发明能快速检索大量指纹片段，提高视频指纹检索的效率和精度。以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡依本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。
Claims (7)
1.一种视频指纹快速检索方法，其特征在于：包括以下步骤：
A)将视频片段库中的每个视频片段提取指纹特征，并以指纹特征建立数据库；
B)根据数据库建立哈希表；
C)加载被检索视频文件，然后提取指纹特征；
D)进行基于线段检测的指纹快速检索，
所述的步骤D)中，包括以下步骤：
D1)建立坐标系，其横轴为数据库中文件号，纵轴为被检索的视频指纹文件的子指纹；
D2)通过哈希表的快速取值，形成坐标系中的若干线段；
D3)扫描该坐标系中的所有线段，将间隔距离小于K的线段连接成一个线段，得到的线段的集合称为L；
D4)在L内，过滤掉所有长度小于T的线段，得到过滤后的线段的集合FL；
D5)根据FL中一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离d，执行步骤D8)；
D6)判断FL中是否还有剩余线段，若是，则执行步骤D7)，若否，则被检索的视频指纹文件不是目标文件，程序结束；
D7)根据FL中剩余的一条线段的纵轴范围，计算被检索的视频指纹文 件和该线段所在文件号所对应的数据库中的指纹文件的距离d，执行步骤D8)；
D8)判断d是否小于阀值D，若是，则被检索的视频指纹文件是目标文件，程序结束；若否，则执行步骤D6)；
其中，K是一个预先给定的阀值，且K>0；
L为算法步骤过程中，将间隔距离小于K线段连接成一个线段，得到的线段的集合；
T是预先给定的常数，且T>0；在L内，过滤掉所有长度小于T的线段，得到过滤后的线段的集合称为FL；
d为根据FL中一条线段的纵轴范围，计算被检索的视频指纹文件和该线段所在文件号所对应的数据库中的指纹文件的距离；
D是预先给定的阀值，且D>0。
2.如权利要求1所述的视频指纹快速检测方法，其特征在于：所述步骤A)中，所述提取指纹特征包括提取音频指纹特征或提取视频指纹特征。
3.如权利要求1所述的视频指纹快速检索方法，其特征在于：所述步骤B)中，所述哈希表的键值是数据库中的指纹文件的子指纹。
4.如权利要求3所述的视频指纹快速检索方法，其特征在于：所述步骤B)中，所述子指纹是32比特的二进制数。
5.如权利要求1所述的视频指纹快速检索方法，其特征在于：所述步骤B)中，所述哈希表的值是指向文件号集合的指针。
6.如权利要求5所述的视频指纹快速检索方法，其特征在于：所述步 骤B)中，所述文件号集合包括对应键值的指纹文件的文件号。
7.如权利要求1所述的视频指纹快速检索方法，其特征在于：所述步骤D)中，所述距离d是汉明距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010133870.8A CN101807208B (zh) | 2010-03-26 | 2010-03-26 | 视频指纹快速检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010133870.8A CN101807208B (zh) | 2010-03-26 | 2010-03-26 | 视频指纹快速检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101807208A CN101807208A (zh) | 2010-08-18 |
| CN101807208B true CN101807208B (zh) | 2015-05-20 |
Family
ID=42609000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010133870.8A Expired - Fee Related CN101807208B (zh) | 2010-03-26 | 2010-03-26 | 视频指纹快速检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101807208B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096780B (zh) * | 2010-12-17 | 2013-01-02 | 华中科技大学 | 大规模用户环境下数字指纹的快速检测方法 |
| EP2731030A1 (en) * | 2012-11-13 | 2014-05-14 | Samsung Electronics Co., Ltd | Music information searching method and apparatus thereof |
| CN103021440B (zh) * | 2012-11-22 | 2015-04-22 | 腾讯科技（深圳）有限公司 | 一种音频流媒体的跟踪方法及系统 |
| CN103744973A (zh) * | 2014-01-11 | 2014-04-23 | 西安电子科技大学 | 基于多特征哈希的视频拷贝检测方法 |
| CN103929644B (zh) * | 2014-04-01 | 2018-08-31 | Tcl集团股份有限公司 | 一种视频指纹库建立、视频指纹识别方法及装置 |
| US9740775B2 (en) * | 2015-03-13 | 2017-08-22 | TCL Research America Inc. | Video retrieval based on optimized selected fingerprints |
| CN104994105B (zh) * | 2015-07-09 | 2018-03-20 | 国网智能电网研究院 | 一种Android智能终端安全认证方法 |
| US9836535B2 (en) * | 2015-08-25 | 2017-12-05 | TCL Research America Inc. | Method and system for content retrieval based on rate-coverage optimization |
| CN105721933A (zh) * | 2016-03-23 | 2016-06-29 | Tcl集团股份有限公司 | 广告视频信息库的创建方法、广告视频识别方法及装置 |
| CN106886768A (zh) * | 2017-03-02 | 2017-06-23 | 杭州当虹科技有限公司 | 一种基于深度学习的视频指纹算法 |
| CN109388729A (zh) * | 2017-08-14 | 2019-02-26 | 阿里巴巴集团控股有限公司 | 音频子指纹的检索方法、装置以及音频查询系统 |
| CN108520047B (zh) * | 2018-04-04 | 2021-05-14 | 南京信安融慧网络技术有限公司 | 一种视频特征信息检索方法 |
| CN109040843B (zh) * | 2018-09-14 | 2021-06-15 | 上海艾策通讯科技股份有限公司 | 分布式监测iptv业务内容合法性的方法和系统 |
| CN110149529B (zh) * | 2018-11-01 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 媒体信息的处理方法、服务器及存储介质 |
| CN112100318B (zh) * | 2020-11-12 | 2021-02-26 | 北京智慧星光信息技术有限公司 | 一种多维度信息合并方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1628303A (zh) * | 2002-02-06 | 2005-06-15 | 皇家飞利浦电子股份有限公司 | 基于杂乱数据的多媒体对象元数据的快速检索 |
| CN101673266A (zh) * | 2008-09-12 | 2010-03-17 | 未序网络科技（上海）有限公司 | 音频、视频内容的搜索方法 |
-
2010
- 2010-03-26 CN CN201010133870.8A patent/CN101807208B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1628303A (zh) * | 2002-02-06 | 2005-06-15 | 皇家飞利浦电子股份有限公司 | 基于杂乱数据的多媒体对象元数据的快速检索 |
| CN101673266A (zh) * | 2008-09-12 | 2010-03-17 | 未序网络科技（上海）有限公司 | 音频、视频内容的搜索方法 |
Non-Patent Citations (1)
| Title |
|---|
| Feature Extraction and a Database Strategy for Video Fingerprinting;Job Oostveen;《VISUAL 2002, LNCS 2314》;20021231;118-127 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101807208A (zh) | 2010-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101807208B (zh) | 视频指纹快速检索方法 | |
| Roussev | Data fingerprinting with similarity digests | |
| US20120087583A1 (en) | Video Signature Based on Image Hashing and Shot Detection | |
| US20020126872A1 (en) | Method, apparatus and programs for generating and utilizing content signatures | |
| Poisel et al. | Advanced file carving approaches for multimedia files. | |
| CN102880726B (zh) | 一种图像过滤方法及系统 | |
| CN1653821A (zh) | 水印嵌入和恢复 | |
| CN101673266A (zh) | 音频、视频内容的搜索方法 | |
| Ali et al. | A review of digital forensics methods for JPEG file carving | |
| Saracoglu et al. | Content based copy detection with coarse audio-visual fingerprints | |
| CN107423309A (zh) | 基于模糊哈希算法的海量互联网相似图片检测系统及方法 | |
| CN105024987A (zh) | 一种web业务日志的监测方法和装置 | |
| KR20120090101A (ko) | 디지털 비디오 고속 정합 시스템 | |
| CN114372267B (zh) | 一种基于静态域的恶意网页识别检测方法、计算机及存储介质 | |
| Mou et al. | Content-based copy detection through multimodal feature representation and temporal pyramid matching | |
| Abdullah et al. | Carving thumbnail/s and embedded JPEG files using image pattern matching | |
| Liu et al. | Multi-keywords carrier-free text steganography method based on Chinese pinyin | |
| JP2011180801A (ja) | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 | |
| Billard et al. | Making sense of unstructured flash-memory dumps | |
| CN101673263A (zh) | 视频内容的搜索方法 | |
| CN112347272B (zh) | 一种基于音视频动态特征的流式匹配方法和装置 | |
| CN113987500A (zh) | 一种恶意pdf文档检测方法、装置及电子设备 | |
| CN104869110A (zh) | 一种应用于入侵检测系统的ac算法 | |
| Thounaojam et al. | Video shot boundary detection using gray level cooccurrence matrix | |
| CN109657098A (zh) | 一种视频指纹提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200520 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Alibaba (China) Co.,Ltd. Address before: 200003 Shanghai Xuhui District Xietu Road No. 1238 Building No. 6, X2 Creative Park Patentee before: SHANGHAI TUDOU NETWORK TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210305 Address after: No. 699, Wangshang Road, Binjiang District, Hangzhou City, Zhejiang Province, 310052 Patentee after: Alibaba (China) Network Technology Co.,Ltd. Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Alibaba (China) Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150520 Termination date: 20210326 |