CN102214219B - 音视频内容检索系统及其方法 - Google Patents

Abstract

本发明公开一种音视频内容检索系统及方法，该检索方法至少包含：接收一音视频片断；提取该音视频片断每一帧的指纹特征；利用一抗干扰程度计算模型计算每帧指纹的抗干扰程度；对输入指纹序列的每帧指纹选择待匹配指纹块；对该输入指纹序列中的每帧指纹，在一标准指纹数据库中查询当前帧指纹对应的标准指纹输入库中的位置，并获得该当前帧指纹所在的待匹配指纹对应的标准指纹块；以及计算该待匹配指纹块与该标准指纹块的差异程度，并根据该差异程度判断检索结果，本发明通过先计算每帧指纹的抗干扰程度，并在计算输入指纹序列与标准指纹数据库的标准指纹的差异程度时，选择抗干扰程度高的指纹窗，可以大大提高检索的识别率。

Description

音视频内容检索系统及其方法

技术领域

本发明关于一种音视频内容检索系统及其方法，特别是关于一种基于可信度的音视频内容检索系统及其方法。

背景技术

随着网络和多媒体技术的迅猛发展，音视频媒体的数量呈爆炸性增长，人们对数字音视频内容进行准确有效地管理和访问变得十分困难。近年来，基于内容的音视频检索出现了许多新的研究和发展方向，音视频指纹技术应运而生。

音频指纹(audio fingerprinting)技术在很早以前就被提出，例如，Jaap Haitsma和Ton Kalke在2002年音乐搜索进展国际会议上发表了“一种高可靠性的音频指纹系统”(A Highly Robust Audio Fingerprinting System)，这种系统通过信号处理的方法，将音频文件中每隔一段时间(例如11.6ms)的音频信号，转化为一个32比特(bit)大小的指纹(fingerprint)，通过这种方法一个音频文件就可以被转换为一个指纹文件，系统在对所有的音频指纹文件做索引后，就可以快速的音频指纹检索了。

与音频指纹技术原理相似，视频指纹(video fingerprinting)系统将每一帧或者几帧转化为很小的指纹(例如32比特大小)，然后进行检索。例如国际专利号为WO2007/127590A2的“Method and system for fingerprinting digital videoobject based on multiresolution,multirat and temporal signatures”公开了一种将视频信号的每帧转化为84比特或132比特的视频指纹处理方法，通过这种方法一个视频文件就可以被转换成一个很小的指纹文件。

可见，现有的音视频指纹技术通常都是首先对输入的音视频内容进行指纹特征提取，然后按照指纹特征的帧序，按顺序在指纹数据库中进行倒排索引的检索。然而这种做法却存在如下问题：由于音视频的码率、格式和噪声干扰，会导致指纹特征变形，影响检索效果。那么如何在指纹特征变形的情况下，依然保证检索系统的识别性能，是当前亟待解决的问题。

综上所述，可知先前技术的音视频检索技术存在由于音视频码率、格式及噪声干扰导致指纹特征变形进而影响检索系统的识别性能的问题，因此实有必要提出改进的技术手段，来解决此一问题。

发明内容

为克服上述现有技术的音视频检索技术存在由于音视频码率、格式及噪声干扰导致指纹特征变形进而影响检索系统的识别性能的问题，本发明的主要目的在于提供一种基于音视频指纹可信度的音视频内容检索系统及其方法，其在指纹检索时根据指纹的可信度进行检索窗口的选择，可以大大提高检索的识别率。

为达上述及其它目的，本发明一种音视频内容检索系统，至少包括：

接收模组，用于接收一音视频片断；

指纹特征提取模组，用于提取该音视频片断每一帧的指纹特征，获得一输入指纹序列；

抗干扰程度计算模组，构建一抗干扰程度计算模型，依据该抗干扰程度计算模型计算该输入指纹序列中每帧指纹的抗干扰程度；

待匹配指纹块选择模组，用于对该输入指纹序列中每帧指纹对应的待匹配指纹块进行选择；

标准指纹块检索模组，对于该输入指纹序列的每一帧，依次在一标准指纹数据库中查寻当前帧指纹对应的标准指纹数据库中的位置，并获得该当前帧所在的待匹配指纹块对应的标准指纹块；以及

可信度计算模组，计算该当前帧指纹所在的待匹配指纹块与该标准指纹块的差异程度，并根据差异程度判断检索结果。

进一步地，该指纹特征提取模组通过计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分来获得每一帧的指纹特征。

进一步地，每帧指纹的抗干扰程度可通过原始能量差分数值的绝对值最高的若干维来计算获得。

进一步地，该抗干扰程度计算模型为：

$\mathrm{Robust}\left(n\right)={\mathrm{\Σ}}_{m=1}^{m=32}\mathrm{ABS}(E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1)));$

其中Robust(n)表示第n帧指纹的抗干扰程度，E(n,m)表示第n帧的第m个子带的能量。

进一步地，该输入指纹序列中的第n个指纹对应的K个指纹块的抗干扰程度计算通过如下公式进行：

$\mathrm{Robust}\_\mathrm{block}\left(k\right)={\mathrm{\Σ}}_{n=1}^{n=K}\mathrm{Robust}\_\mathrm{frame}\left(n\right),k=n-K+1,n-K+2,...,n$

进一步地，该待匹配指纹块选择模组根据该K个指纹块的抗干扰程度选择待匹配指纹块。

进一步地，待匹配指纹块选择模组根据该K个指纹块的抗干扰程度选择抗干扰程度最大的指纹块作为待匹配指纹块。

进一步地，该差异程度用比特位错误率表示，其计算公式如下：

比特位错误率=指纹块中不同的比特个数/指纹块中比特位个数；

进一步地，该可信度计算模组判断出该比特位错误率的值若小于一预设数值，则表示检索成功；否则则继续对该输入指纹序列的下一帧指纹进行可信度计算；若所有帧都不满足，则表示该标准指纹数据库中没有该音视频片断。

为达到上述及其他目的，本发明还提供一种音视频内容检索方法，该方法至少包括如下步骤：

接收一音视频片断；

提取该音视频片断每一帧的指纹特征，获得一输入指纹序列；

利用一抗干扰程度计算模型计算该输入指纹序列中每帧指纹的抗干扰程度；

对该输入指纹序列的每帧指纹选择待匹配指纹块；

对该输入指纹序列中的每一帧，在一标准指纹数据库中，查询当前帧指纹对应的标准指纹输入库中的位置，并获得该当前帧指纹所在的待匹配指纹对应的标准指纹块；以及

计算该带匹配指纹块与该标准指纹块的差异程度，并根据该差异程度判断检索结果。

进一步地，该对该输入指纹序列的每帧指纹选择待匹配指纹块的步骤进一步包括如下步骤：

计算第n个指纹对应的K个指纹块的抗干扰程度，计算公式如下：

$\mathrm{Robust}\_\mathrm{block}\left(k\right)={\mathrm{\Σ}}_{n=1}^{n=K}\mathrm{Robust}\_\mathrm{frame}\left(n\right),k=n-K+1,n-K+2,...,n;$

根据该K个指纹块的抗干扰程度选择该第n个指纹对应的待匹配指纹块。

进一步地，该差异程度用比特位错误率表示，其计算公式如下：

比特位错误率=指纹块中不同的比特个数/指纹块中比特位个数；

进一步地，该根据该差异程度判断检索结果的步骤进一步包括：若该比特位错误率的值若小于一预设数值，则表示检索成功；否则则继续对该输入指纹序列的下一帧指纹进行可信度计算；若所有帧都不满足，则表示该标准指纹数据库中没有该音视频片断。

与现有技术相比，本发明一种音视频内容检索系统及方法通过预先计算预先计算每一帧指纹的可信度(即抗干扰程度)，并在计算输入指纹序列与标准指纹数据库的标准指纹的差异程度时，选择抗干扰程度高的指纹窗，可以大大提高检索的识别率。

附图说明

图1为本发明一种音视频内容检索系统的系统架构图；

图2为本发明一种音视频内容检索方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种音视频内容检索系统的架构图，以下将先以图1来说明本发明的系统运作。如图1所示，本发明一种音视频内容检索系统至少包含接收模组101、指纹特征提取模组102、抗干扰程度计算模组103、输入指纹块选择模组104、标准指纹块检索模组105以及可信度计算模组106。

接收模组101用于接收一流媒体文件，该流媒体文件中至少包含一音视频片断，该音视频片断可以为音频文件，也可以是视频文件。

指纹特征提取模组102与接收模组101相连接，在接收模组101接收到音视频片断后，指纹特征提取模组102则提取该音视频片断中每一帧音频或每一帧视频的指纹特征，在此亦可称之为输入指纹序列，以下具体说明指纹特征提取模组102提取指纹特征的过程。

在此以提取音频指纹特征为例，首先，指纹特征提取模组102对于固定采样率的单声道音频，按固定帧移将音频分成若干毫秒的音频帧，并加汉明窗(Hanning Window)；其次，对每一帧做傅立叶变换，提取功率谱，将某段频带(例如300Hz-4000Hz)采用对数刻度均匀分为互不相交的33个子带,并计算每一帧的子带能量；最后，计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分，得到指纹特征值，计算公式如下

$F(n,m)=\left\{\begin{array}{c}1,E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1))>0\\ 0,E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1))\≤0\end{array}\right.$

其中用E(n,m)表示第n帧的第m个子带的能量，F(n,m)表示第n帧对应的指纹特征中的第m维特征。利用上述公式提取的特征共32个bit，正好一个long型数据的长度。可以看到，每一帧的每一维由原始的能量差分数值量化成了0或者1，如果能量差分数值的绝对值越大，该帧的该维就越难受到噪声干扰，如果原始能量差分数值的绝对值越小，该帧的该维就越容易受到噪声干扰。虽然本发明较佳实施例仅以能量差分方法来获得每帧的指纹特征，但本发明不以此为限，当然也可以通过频谱值、色彩值等其他方法来获得每帧的指纹特征，音频指纹特征的提取与现有技术类似，在此不予赘述。

与音频指纹特征提取类似，对于视频指纹特征的提取，既可以采取能量差分方法来获得，也可以通过频谱值、色彩值等其他方法来获得，音频指纹特征的提取与现有技术类似，在此不予赘述。

在指纹特征提取模组102提取出每一帧音频和每一帧视频的指纹特征后，抗干扰程度计算模组103则构建一抗干扰程度计算模型来计算输入指纹序列中每一帧指纹的抗干扰程度。对于每帧指纹的抗干扰程度，可以通过采用原始能量差分的数值来计算，也可以采用频谱值或色彩值来计算，本发明不以此为限，在本发明较佳实施例中，则仍以采用原始能量差分的数值来计算为例，抗干扰程度计算模型为：

$\mathrm{Robust}\_\mathrm{frame}\left(n\right)$

$={\mathrm{\Σ}}_{m=1}^{m=32}\mathrm{ABS}(E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1)));$

这里Robust_frame(n)表示第n帧指纹的抗干扰程度，E(n,m)表示第n帧的第m个子带的能量。

较佳的，每帧指纹的抗干扰程度还可以通过原始能量差分数值的绝对值最高的若干维来计算:

E_frame_sort(n,k)=sort_m=1,32(ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1))),

其中，sort()表示排序；则抗干扰程度计算模型可以为：

$\mathrm{Robust}\_\mathrm{frame}\left(n\right)={\mathrm{\Σ}}_{k=1}^{k=32}E\_\mathrm{aort}(E\_\mathrm{frane}\_\mathrm{sort}(n,k))$

表示计算每帧绝对值最高的第l维到第32维。

由于音视频帧的粒度太小，构不成有意义的单元，所以在匹配检索时需要粒度更大的音视频块作为检索时的单元。而对于音频片断的每帧指纹，其所在的指纹块是有多种选择的，例如，对于一个包含K帧的指纹块，某帧指纹候选的指纹块也有K种，待匹配指纹块选择模组104则用于对输入指纹序列中每帧指纹对应的待匹配指纹块进行选择。

在本发明较佳实施例中，假设输入指纹序列的某帧需在K个指纹块中选择待匹配指纹块，则根据这K种指纹块的抗干扰程度，选择抗干扰程度最大的几种指纹块，这样可以有效的提高本发明音视频内容检索算法的正确率。

输入指纹序列中的第n个指纹对应的K个指纹块的抗干扰程度计算如下：

$\mathrm{Robust}\_\mathrm{block}\left(k\right)={\mathrm{\Σ}}_{n=1}^{n=K}\mathrm{Robust}\_\mathrm{frame}\left(n\right),k=n-K+1,n-K+2,...,n$

待匹配指纹块选择模组104则可以根据这K个指纹块的抗干扰程度Robust_block(k)选出抗干扰程度最大的指纹块作为待匹配指纹块，Robust_block(k)最大值，表示该段指纹块的抗干扰程度最好，以此作为后续可信度计算的基础可提高本发明检索算法的正确率，当然，这里也可以选出最大的若干个来进行后续可信度的计算。

标准指纹块检索模组105，对输入指纹序列的每一帧，依次在标准指纹数据库中，查询该帧指纹对应的标准指纹数据库中的位置，并获得该帧所在的待匹配指纹块对应的标准指纹块。此处的检索可以采用现有技术的方式在标准指纹数据库中进行倒排索引的检索，此为习知技术，在此不予详述。

可信度计算模组106，计算输入指纹这一帧所在的待匹配指纹块与标准指纹数据库中标准指纹块的差异程度，并根据差异程度判断检索效果。具体来说，待匹配指纹块和标准指纹数据库中的标准指纹块的差异程度用比特位错误率BER(Bit Error Rate)表示，计算公式如下：

BER=指纹块中不同的比特个数/指纹块中比特位个数；

如果比特位错误率BER的值小于一预设数值，则表示检索成功；否则则对输入指纹序列的下一帧指纹进行如上操作。若所有帧都不满足，则表示标准指纹数据库中没有所输入的音视频片断。

图2为本发明一种音视频内容检索方法的步骤流程图。如图2所示，本发明一种音视频内容检索方法包括下列步骤：接收一音视频片断(步骤201)；提取该音视频片断的每一帧指纹特征，亦称为输入指纹序列(步骤202)；利用抗干扰程度计算模型计算输入指纹序列中每帧指纹的抗干扰程度(步骤203)；计算每帧指纹对应的K个指纹块的抗干扰程度，根据抗干扰程度选择待匹配指纹块(步骤204)；对输入指纹序列的每一帧，依次在标准指纹数据库中，查询该帧指纹对应的标准指纹数据库中的位置，并获得该帧所在的待匹配指纹块对应的标准指纹块(步骤205)；以及计算输入指纹这一帧所在的待匹配指纹块与标准指纹数据库中标准指纹块的差异程度，并根据差异程度判断检索效果(步骤206)。

对于步骤204中待匹配指纹块的选择，假设输入指纹序列的某帧需在K个指纹块中选择待匹配指纹块，则可根据这K种指纹块的抗干扰程度，选择抗干扰程度最大的几种指纹块，这样做的目的是提高本发明音视频内容检索算法的正确率。

输入指纹序列中的第n个指纹对应的K个指纹块的抗干扰程度计算可通过如下公式：

$\mathrm{Robust}\_\mathrm{block}\left(k\right)={\mathrm{\Σ}}_{n=1}^{n=K}\mathrm{Robust}\_\mathrm{frane}\left(n\right),k=n-K+1,n-K+2,...,n$

通过上述公式，则可以根据这K个指纹块的抗干扰程度Robust_block(k)选出抗干扰程度最大的指纹块作为待匹配指纹块，Robust_block(k)最大值，表示该段指纹块的抗干扰程度最好，以此作为后续可信度计算的基础可提高本发明检索算法的正确率，当然，这里也可以选出最大的若干个来进行后续可信度的计算。

而对于步骤206，具体来说，待匹配指纹块和标准指纹数据库中的标准指纹块的差异程度可用比特位错误率BER(Bit Error Rate)表示，其计算公式如下：

BER=指纹块中不同的比特个数/指纹块中比特位个数；

如果比特位错误率BER的值小于一预设数值，则表示检索成功；否则则对输入指纹序列的下一帧指纹进行如上操作。若所有帧都不满足，则表示标准指纹数据库中没有所输入的音视频片断。

综上所述，本发明一种音视频内容检索系统及方法通过预先计算预先计算每一帧指纹的可信度(即抗干扰程度)，并在计算输入指纹序列与标准指纹数据库的标准指纹的差异程度时，选择抗干扰程度高的指纹窗，可以大大提高检索的识别率。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (8)

1.一种音视频内容检索系统，至少包括：

接收模组，用于接收一音视频片断；

指纹特征提取模组，用于提取该音视频片断每一帧的指纹特征，获得一输入指纹序列；

抗干扰程度计算模组，构建一抗干扰程度计算模型，依据该抗干扰程度计算模型计算该输入指纹序列中每帧指纹的抗干扰程度，其中，该抗干扰程度计算模型为：

$\mathrm{Robust}\_\mathrm{frame}\left(n\right)$

$={\mathrm{\Σ}}_{m=1}^{m=32}\mathrm{ABS}(E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1))),$

其中Robust_frame（n）表示第n帧指纹的抗干扰程度，E(n,m)表示第n帧的第m个子带的能量；

待匹配指纹块选择模组，用于对该输入指纹序列中每帧指纹对应的待匹配指纹块进行选择，其中，该输入指纹序列中的第n个指纹对应的K个指纹块的抗干扰程度计算通过如下公式进行：

$\mathrm{Robust}\_\mathrm{block}\left(k\right)={\mathrm{\Σ}}_{n=1}^{n=K}\mathrm{Robust}\_\mathrm{frame}\left(n\right),$ k=n-K+1，n-K+2，…,n，待匹配指纹块选择模组根据该K个指纹块的抗干扰程度选择抗干扰程度最大的指纹块作为待匹配指纹块；

标准指纹块检索模组，对该输入指纹序列的每帧指纹，在一标准指纹数据库中查询当前帧指纹对应的标准指纹数据库中的位置，并获得该当前帧所在的待匹配指纹块对应的标准指纹块；以及

可信度计算模组，计算该当前帧指纹所在的待匹配指纹块与该标准指纹块的差异程度，并根据差异程度判断检索结果。

2.如权利要求1所述的音视频内容检索系统，其特征在于：该指纹特征提取模组通过计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分来获得每一帧的指纹特征。

3.如权利要求2所述的音视频内容检索系统，其特征在于：每帧指纹的抗干扰程度可通过原始能量差分数值的绝对值最高的若干维来计算获得。

4.如权利要求1所述的音视频内容检索系统，其特征在于：该差异程度用比特位错误率表示，其计算公式如下：

比特位错误率=指纹块中不同的比特个数/指纹块中比特位个数。

5.如权利要求4所述的音视频内容检索系统，其特征在于：该可信度计算模组判断出该比特位错误率的值若小于一预设数值，则表示检索成功；否则则继续对该输入指纹序列的下一帧指纹进行可信度计算；若所有帧都不满足，则表示该标准指纹数据库中没有该音视频片断。

6.一种音视频内容检索方法，至少包括如下步骤：

接收一音视频片断；

提取该音视频片断每一帧的指纹特征，获得一输入指纹序列；

利用一抗干扰程度计算模型计算该输入指纹序列中每帧指纹的抗干扰程度，其中，该抗干扰程度计算模型为：

$\mathrm{Robust}\_\mathrm{frame}\left(n\right)$

$={\mathrm{\Σ}}_{m=1}^{m=32}\mathrm{ABS}(E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1))),$

其中Robust_frame（n）表示第n帧指纹的抗干扰程度，E(n,m)表示第n帧的第m个子带的能量；

对该输入指纹序列的每帧指纹选择待匹配指纹块，其中，该输入指纹序列中的第n个指纹对应的K个指纹块的抗干扰程度计算通过如下公式进行：

$\mathrm{Robust}\_\mathrm{block}\left(k\right)={\mathrm{\Σ}}_{n=1}^{n=K}\mathrm{Robust}\_\mathrm{frame}\left(n\right),$ k=n-K+1，n-K+2，…,n，

待匹配指纹块选择模组根据该K个指纹块的抗干扰程度选择抗干扰程度最大的指纹块作为待匹配指纹块；

对该输入指纹序列中的每帧指纹，在一标准指纹数据库中查询当前帧指纹对应的标准指纹输入库中的位置，并获得该当前帧指纹所在的待匹配指纹对应的标准指纹块；以及

计算该待匹配指纹块与该标准指纹块的差异程度，并根据该差异程度判断检索结果。

7.如权利要求6所述的音视频内容检索方法，其特征在于，该差异程度用比特位错误率表示，其计算公式如下：

比特位错误率=指纹块中不同的比特个数/指纹块中比特位个数。

8.如权利要求7所述的音视频内容检索方法，其特征在于，该根据该差异程度判断检索结果的步骤进一步包括：若该比特位错误率的值若小于一预设数值，则表示检索成功；否则则继续对该输入指纹序列的下一帧指纹进行可信度计算；若所有帧都不满足，则表示该标准指纹数据库中没有该音视频片断。

Images