CN103294696A - 音视频内容检索方法及系统 - Google Patents

Abstract

本发明提供一种音视频内容检索方法及系统，预先计算输入音视频片段的每一帧指纹的抗干扰程度，然后在计算输入指纹与数据库的标准指纹的差异时，从包含该当前帧指纹在内的连续若干帧指纹中选择出抗干扰能力最强的多个非连续帧指纹作为待匹配指纹块，然后计算当前帧指纹所在待匹配指纹块和标准指纹块的差异程度，避免了由于包含该当前帧指纹在内的连续若干帧中存在的抗干扰能力很差的多个帧而影响识别性能的问题，有效地提高了检索的识别率。

Description

音视频内容检索方法及系统

技术领域

本发明涉及内容检索技术领域，尤其涉及一种音视频内容检索方法及系统。

背景技术

随着网络和多媒体技术的迅猛发展，音视频媒体的数量呈爆炸性增长，人们对数字音视频内容进行准确有效地管理和访问变得十分困难。近年来，基于内容的音视频检索出现了许多新的研究和发展方向，音视频指纹技术应运而生。

音频指纹(audio fingerprinting)技术在很早以前就被提出，例如，Jaap Haitsma和Ton Kalke在2002年音乐搜索进展国际会议上发表了“一种高可靠性的音频指纹系统”(A Highly Robust Audio Fingerprinting System)，这种系统通过信号处理的方法，将音频文件中每隔一段时间(例如11.6ms)的音频信号，转化为一个32比特(bit)大小的指纹(fingerprint)，通过这种方法一个音频文件就可以被转换为一个指纹文件，系统在对所有的音频指纹文件做索引后，就可以快速的音频指纹检索了。

与音频指纹技术原理相似，视频指纹(video fingerprinting)系统将每一帧或者几帧转化为很小的指纹(例如32比特大小)，然后进行检索。例如国际专利号为WO2007/127590A2的“Method and system for fingerprinting digital videoobject based on multiresolution，multirat and temporal signatures”公开了一种将视频信号的每帧转化为84比特或132比特的视频指纹处理方法，通过这种方法一个视频文件就可以被转换成一个很小的指纹文件。

目前，音视频指纹技术成为音视频检索的关键技术之一，现有的音视频指纹系统通常是先对输入的音视频进行指纹特征提取，然后按照指纹特征的帧序，按顺序在指纹数据库中进行倒排索引的检索，以快速高效的识别和检索出音视频内容。

然而，现有的音视频指纹系统中，音视频的码率、格式和噪声干扰会导致指纹特征变形，进而影响检索性能。

发明内容

本发明的目的在于提供一种音视频内容检索方法，在基于音视频指纹进行音视内容检索时，能根据指纹的先验容错度进行音视频片段的选择，提高音视频检索的识别率。

为解决上述问题，本发明提供一种音视频内容检索方法，包括：

接收一音视频片段；

提取该音视频片段每一帧的指纹特征，获得一输入指纹序列；

计算所述输入指纹序列中每帧指纹的抗干扰程度；

对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧指纹的待匹配指纹块；

依次对所述输入指纹序列中的每帧指纹，查询出该帧指纹在一标准指纹数据库中的位置，并计算该帧指纹所在的待匹配指纹块与标准指纹块的差异程度，当某帧指纹的差异程度小于预设值时，检索到所述音视频片段匹配的音视频内容。

进一步地，提取该音视频片段每一帧的指纹特征的步骤包括：

首先，对于固定采样率的单声道音视频，按固定帧移，将音视频分成若干毫秒的帧，加汉明窗；

然后，对每一帧做傅立叶变换，提取功率谱，将功率谱中某段频带采用对数刻度均匀分为互不相交的33个子带，并计算每一帧的子带能量；

接着，计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分，得到每一帧指纹特征值。

进一步地，计算所述输入指纹序列中每帧指纹的抗干扰程度的公式为：Roubust(n)＝ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1)))，

其中Robust(n)表示第n帧指纹的抗干扰程度，E(n，m)表示第n帧的第m个子带的能量。

进一步地，计算所述输入指纹序列中每帧指纹的抗干扰程度的公式为：

$\mathrm{Roubust}\left(n\right)=\underset{k=1}{\overset{k=32}{\mathrm{\Σ}}}E\_\mathrm{frame}\_\mathrm{sort}(n,k);$

其中Robust(n)表示第n帧指纹的抗干扰程度，

E_frame_sor＝sort_m＝1，32(ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1))))

E(n，m)表示第n帧的第m个子带的能量，sort()表示排序。

进一步地，每一帧指纹的抗干扰程度通过频谱值或色彩值来计算获得。

进一步地，所述差异程度用比特位错误率BER(Bit Error Rate)表示，其计算公式如下：

比特位错位率＝指纹块中不同的比特位个数/指纹块中比特位个数。

相应的，本发明还提供一种音视频内容检索系统，包括：

提取模块，用于接收一音视频片段，并提取该音视频片段每一帧的指纹特征，获得一输入指纹序列；

分析模块，用于计算所述输入指纹序列中每帧指纹的抗干扰程度，并在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧指纹的待匹配指纹块；

检索模块，用于依次对所述输入指纹序列中的每帧指纹，查询出该帧指纹在一标准指纹数据库中的位置，并计算该帧指纹所在的待匹配指纹块与标准指纹块的差异程度，当某帧指纹的差异程度小于预设值时，检索到所述音视频片段匹配的音视频内容。

进一步的，所述分析模块包括：

抗干扰程度单元，用于计算所述输入指纹序列中每帧指纹的抗干扰程度；

待匹配指纹块单元，用于对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧的待匹配指纹块。

进一步的，所述抗干扰程度单元通过原始能量差分数值、频谱值或色彩值来计算所述输入指纹序列中每帧指纹的抗干扰程度。

与现有技术相比，本发明提供的音视频内容检索方法及系统，预先计算输入音视频片段的每一帧指纹的抗干扰程度，然后在计算输入指纹与数据库的标准指纹的差异时，从包含该当前帧指纹在内的连续若干帧指纹中选择出抗干扰能力最强的多个非连续帧指纹作为待匹配指纹块，然后计算当前帧指纹所在待匹配指纹块和标准指纹块的差异程度，避免了由于包含该当前帧指纹在内的连续若干帧中存在的抗干扰能力很差的多个帧而影响识别性能的问题，有效地提高了检索的识别率。

附图说明

图1是本发明的音视频内容检索方法的流程图；

图2是本发明的音视频内容检索系统的架构示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的音视频内容检索方法及系统作进一步详细说明。

如图1所示，本实施例提供了一种音视频内容检索方法，包括以下步骤：

S1，接收一音视频片段；

S2，提取该音视频片段每一帧的指纹特征，获得一输入指纹序列；

S3，计算所述输入指纹序列中每帧指纹的抗干扰程度；

S4，对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧指纹的待匹配指纹块；

S5，依次对所述输入指纹序列中的每帧指纹，查询出该帧指纹在一标准指纹数据库中的位置，并计算该帧指纹所在的待匹配指纹块与标准指纹块的差异程度，当某帧指纹的差异程度小于预设值时，将检索到所述音视频片段匹配的音视频内容。

本实施例的步骤S2中，提取该音频片段每一帧的指纹特征的过程包括：

首先，对于固定采样率的单声道音频，按固定帧移，将音频分成若干毫秒的帧，加汉明窗(Hanning Window)；

然后，对每一帧做傅立叶变换，提取功率谱，将功率谱中某段频带采用对数刻度均匀分为互不相交的33个子带，并计算每一帧的子带能量；

接着，计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分，得到每一帧指纹特征值，计算公式如下

$F(n,m)=\left\{\begin{array}{c}1,E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1))>0\\ 0,E(n,m)-E(n,m+1)-(E(n-1,m)-E(n-1,m+1))\≤0\end{array}\right.$

其中用E(n，m)表示第n帧的第m个子带的能量，F(n，m)表示第n帧对应的指纹特征中的第m维特征。

利用上述公式提取的特征共32个bit，正好一个long型数据的长度。由此可以看到，每一帧的每一维由原始的能量差分数值量化成了0或者1，如果能量差分数值的绝对值越大，该帧的该维就越难受到噪声干扰，如果原始能量差分数值的绝对值越小，该帧的该维就越容易受到噪声干扰。

虽然本发明较佳实施例仅以原始能量差分数值的方法来获得每帧的指纹特征，但本发明不以此为限，当然也可以通过频谱值、色彩值等其他方法来获得每帧的指纹特征，在此不予赘述。

与音频指纹特征提取类似，对于视频指纹特征的提取，既可以采取原始的能量差分数值方法来获得，也可以通过频谱值、色彩值等其他方法来获得，视频指纹特征的提取为习知的现有技术，在此不予赘述。

本实施例的步骤S3可以通过如下公式计算所述输入指纹序列中每帧指纹的抗干扰程度：Roubust(n)＝ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1)))，其中Robust(n)表示第n帧指纹的抗干扰程度，E(n，m)表示第n帧的第m个子带的能量；还可以通过原始能量差分数值的绝对值最高的若干维来计算，公式如下：

$\mathrm{Roubust}\left(n\right)=\underset{k=1}{\overset{k=32}{\mathrm{\Σ}}}E\_\mathrm{frame}\_\mathrm{sort}(n,k);$

其中Robust(n)表示第n帧指纹的抗干扰程度，

E_frame_sor＝sort_m＝1，32(ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1))))，

E(n，m)表示第n帧的第m个子带的能量，sort()表示排序。

在对步骤S1接收的音视频片段的内容检索时，由于步骤S2划分的音视频帧的粒度太小，构不成有意义的单元，所以在检索匹配时需要粒度更大的音视频块(即待匹配指纹块)作为检索时的单元。在匹配时选取的待匹配指纹块一般由K帧构成。当前检索匹配的帧所在的待匹配指纹块和一标准指纹数据库中的标准指纹块的差异程度可以用比特位错误率BER(Bit Error Rate)表示，计算公式如下：

在进行检索时，先在标准指纹数据库中，查询出该当前帧指纹对应的标准指纹数据库中的位置(即所在的标准指纹块)，然后计算所述当前帧所在的待匹配指纹块和标准指纹库中的标准指纹块的BER。如果BER的值小于预设数值，则表示检索成功，即在标准指纹数据库中检索到输入的音视频片段所匹配的音视频内容；否则对输入指纹序列的下一帧指纹进行如上操作。如果所有帧都不满足，则表示标准指纹数据库中没有输入的音视频。

本发明的步骤S4依次对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干(L)帧指纹中选出抗干扰能力最强的多个(K)非连续帧指纹作为该帧指纹的待匹配指纹块，然后在步骤S5中计算BER，避免了直接采用包含该帧指纹在内的连续若干(L)帧指纹作为待匹配指纹快时，由于连续若干(L)帧指纹中存在的抗干扰能力很差的多个帧而影响识别性能的问题，有效地提高了检索的识别率。

如图1所示，本实施例中，从所述输入指纹序列的第一帧开始依次执行以下过程：

若当前帧指纹为第i帧，执行步骤S4：从包含该当前帧指纹的连续L帧指纹中选择出抗干扰能力最强的K帧指纹组成该当前帧的待匹配指纹块；

然后，执行步骤S51：在倒排索引的标准指纹数据库中，查询出该当前帧指纹所在位置，确定该当前帧指纹所在的标准指纹块；

接着，执行步骤S52：计算该当前帧指纹所在的待匹配指纹块与标准指纹块的差异程度；

然后，执行步骤S53：判断该当前帧指纹的差异程度是否小于预设值，若是，则在标准指纹数据库或其其对应的标准音视频数据库中检索到与所输入的音视频片段匹配的音视频内容，所述音视频内容的检索成功完成，可输出检索结果；若否，则执行步骤S54：判断是否检索到最后一帧，即所有帧是否均已检索，若否，继续下一帧的检索匹配，循环步骤S4、S51～S54，当所有帧均已检索，但均未发现其中某帧的差异程度是小于预设值的，此时，表示标准指纹数据库或其其对应的标准音视频数据库中中没有输入的音视频。

本发明的其他实施例中，若步骤S4已经依次对所述输入指纹序列中的每帧指纹选择了待匹配指纹块，则在S51～S54过程中，若当前帧指纹的差异程度不小于预设值，继续下一帧的检索匹配时可以直接循环步骤S51～S54。

在本发明的其他实施例中，也可以交换步骤S3和步骤S4的顺序，先选取出包含该当前帧的连续L个帧，然后计算这L个帧中每帧的抗干扰程度，然后从中选出抗干扰程度最大的K个帧，组成待匹配指纹块，再进行步骤S5以计算BER。若当前帧指纹的差异程度不小于预设值，继续下一帧的检索匹配时需循环步骤S3、S4、S51～S54。

如图2所示，本发明还提供一种音视频内容检索系统，包括：

提取模块21，用于接收一音视频片段，并提取该音视频片段每一帧的指纹特征，获得一输入指纹序列；

分析模块22，用于计算所述输入指纹序列中每帧指纹的抗干扰程度，并在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧指纹的待匹配指纹块；

检索模块23，用于依次对所述输入指纹序列中的每帧指纹，查询出该帧指纹在一标准指纹数据库中的位置，并计算该帧指纹所在的待匹配指纹块与标准指纹块的差异程度，当某帧指纹的差异程度小于预设值时，检索到所述音视频片段匹配的音视频内容。

本实施例中，所述指纹提取模块21提取该音视频片段每一帧的指纹特征的步骤包括：

首先，对于固定采样率的单声道音视频，按固定帧移，将音视频分成若干毫秒的帧，加汉明窗；

然后，对每一帧做傅立叶变换，提取功率谱，将功率谱中某段频带采用对数刻度均匀分为互不相交的33个子带，并计算每一帧的子带能量；

接着，计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分，得到每一帧指纹特征值。

本实施例中，所述分析模块22包括：

抗干扰程度单元221，用于计算所述输入指纹序列中每帧指纹的抗干扰程度；

待匹配指纹块单元222，用于对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧的待匹配指纹块。

其中，所述抗干扰程度单元221可以通过原始能量差分数值、频谱值或色彩值来计算所述输入指纹序列中每帧指纹的抗干扰程度。

本实施例中，所述检索模块23的差异程度用比特位错误率BER(Bit ErrorRate)表示，其计算公式如下：比特位错位率＝指纹块中不同的比特位个数/指纹块中比特位个数。

综上所述，本发明提供的音视频内容检索方法及系统，预先计算输入音视频片段的每一帧指纹的抗干扰程度，然后在计算输入指纹与数据库的标准指纹的差异时，从包含该当前帧指纹在内的连续若干帧指纹中选择出抗干扰能力最强的多个非连续帧指纹作为待匹配指纹块，然后计算当前帧指纹所在待匹配指纹块和标准指纹块的差异程度，避免了由于包含该当前帧指纹在内的连续若干帧中存在的抗干扰能力很差的多个帧而影响识别性能的问题，有效地提高了检索的识别率。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种音视频内容检索方法，其特征在于，包括：

接收一音视频片段；

提取该音视频片段每一帧的指纹特征，获得一输入指纹序列；

计算所述输入指纹序列中每帧指纹的抗干扰程度；

对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧指纹的待匹配指纹块；

依次对所述输入指纹序列中的每帧指纹，查询出该帧指纹在一标准指纹数据库中的位置，并计算该帧指纹所在的待匹配指纹块与标准指纹块的差异程度，当某帧指纹的差异程度小于预设值时，检索到所述音视频片段匹配的音视频内容。

2.如权利要求1所述的音视频内容检索方法，其特征在于，提取该音视频片段每一帧的指纹特征的步骤包括：

对于固定采样率的单声道音视频，按固定帧移，将音视频分成若干毫秒的帧，加汉明窗；

对每一帧做傅立叶变换，提取功率谱，将功率谱中某段频带采用对数刻度均匀分为互不相交的33个子带，并计算每一帧的子带能量；

计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分，得到每一帧指纹特征值。

3.如权利要求2所述的音视频内容检索方法，其特征在于，计算所述输入指纹序列中每帧指纹的抗干扰程度的公式为：

Roubust(n)＝ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1)))，

其中Robust(n)表示第n帧指纹的抗干扰程度，E(n，m)表示第n帧的第m个子带的能量。

4.如权利要求2所述的音视频内容检索方法，其特征在于，计算所述输入指纹序列中每帧指纹的抗干扰程度的公式为：

$\mathrm{Roubust}\left(n\right)=\underset{k=1}{\overset{k=32}{\mathrm{\Σ}}}E\_\mathrm{frame}\_\mathrm{sort}(n,k);$

其中Robust(n)表示第n帧指纹的抗干扰程度，

E_frame_sor＝sort_m＝1，32(ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1))))

E(n，m)表示第n帧的第m个子带的能量，sort()表示排序。

5.如权利要求1所述的音视频内容检索方法，其特征在于，每一帧指纹的抗干扰程度通过频谱值或色彩值来计算获得。

6.如权利要求1所述的音视频内容检索方法，其特征在于，所述差异程度用比特位错误率BER(Bit Error Rate)表示，其计算公式如下：

比特位错位率＝指纹块中不同的比特位个数/指纹块中比特位个数。

7.一种音视频内容检索系统，其特征在于，包括：

提取模块，用于接收一音视频片段，并提取该音视频片段每一帧的指纹特征，获得一输入指纹序列；

分析模块，用于计算所述输入指纹序列中每帧指纹的抗干扰程度，并在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧指纹的待匹配指纹块；

检索模块，用于依次对所述输入指纹序列中的每帧指纹，查询出该帧指纹在一标准指纹数据库中的位置，并计算该帧指纹所在的待匹配指纹块与标准指纹块的差异程度，当某帧指纹的差异程度小于预设值时，检索到所述音视频片段匹配的音视频内容。

8.如权利要求7所述的音视频内容检索系统，其特征在于，所述提取模块提取该音视频片段每一帧的指纹特征的步骤包括：

对于固定采样率的单声道音视频，按固定帧移，将音视频分成若干毫秒的帧，加汉明窗；

对每一帧做傅立叶变换，提取功率谱，将功率谱中某段频带采用对数刻度均匀分为互不相交的33个子带，并计算每一帧的子带能量；

计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分，得到每一帧指纹特征值。

9.如权利要求7所述的音视频内容检索系统，其特征在于，所述分析模块包括：

抗干扰程度单元，用于计算所述输入指纹序列中每帧指纹的抗干扰程度；

待匹配指纹块单元，用于对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧的待匹配指纹块。

10.如权利要求7所述的音视频内容检索系统，其特征在于，所述抗干扰程度单元通过原始能量差分数值、频谱值或色彩值来计算所述输入指纹序列中每帧指纹的抗干扰程度。

11.如权利要求7所述的音视频内容检索系统，其特征在于，所述差异程度用比特位错误率BER(Bit Error Rate)表示，其计算公式如下：

比特位错位率＝指纹块中不同的比特位个数/指纹块中比特位个数。

Images