CN102254006B - 基于内容的互联网视频检索方法 - Google Patents

Abstract

本发明提出一种基于内容的互联网视频检索方法，包括：步骤一，从互联网上随机采集若干视频作为训练样本集，建立视频库，并提取训练样本集中所有视频中每帧的分块颜色直方图特征和亮度特征作为镜头分割判断依据。步骤二，根据步骤一中提取的两种特征对训练样本集中的所有视频进行自适应方式镜头分割，并得到镜头分割列表。步骤三，根据镜头分割列表以及特征对训练样本集中的所有视频提取关键帧以及获得关键帧的索引。步骤四，对于一个待检索视频，首先按照步骤一，二和三处理之后得到关键帧列表，然后采用一种新的软性判决方法进行快速定位和检索。本发明可以实现视频的快速定位和检索，有较快的处理速度和较高的检索效率和检索正确率。

Description

基于内容的互联网视频检索方法

技术领域

本发明涉及的是一种图像处理和模式识别技术领域的方法，特别是一种基于内容的互联网视频检索方法。

背景技术

网络视音频是目前国内外快速发展的新型媒体内容服务产业，以YouTube和Tudou为代表的新型网络视音频服务提供商成为了互联网经济的新宠。我国的网络视音频也正在得到飞速的发展。上海互联网视听网站数量居全国前列，用户覆盖全国，用户总量超过1.3亿。互联网视听节目传播的影响力越来越大，需要进行全面、有效管理，净化国内互联网视听节目传播环境，为青少年健康成长提供良好的网络氛围。但是目前对于政策、制度和管理的支持缺乏有效的监管手段和先进的技术平台，使得在管理技术与产业技术之间产生了一定的距离，导致了目前视音频产业发展遇到严重的瓶颈。因此，当前迫切需要提升视音频技术管理手段，弥合管理技术与行业技术的差距，通过行业管理部门与产业典型企业的密切合作，解决视音频产业发展的瓶颈。

经过对现有技术文献的检索发现，Weiming Hu，Niahua Xie等在《IEEETransactions on Systems，Man，and Cybernetics-Part C：Applications and Reviews》vol.99，PP 1-23，March.2011，(《IEEE学报之系统，人类和控制论-C部分：应用和回顾》2011年3月，第99卷，1-23页)上发表的“图像与视频检索技术与系统”(“A Survey on Visual Content-Based Video Indexing and Retrieval”)，该文中列举了近年来基于内容的视频索引和检索方法。对于视频的检索方法是：1)特征提取，对视频进行镜头分割；2)在每个镜头中提取关键帧；3)用每个关键帧的特征向量到数据库中进行匹配，最后得到检索的结果。然而，针对互联网上的视频，上述方法有以下的不足：第一，网络中的视频种类很多，一些在某些训练视频集中有效的特征不一定对于网络中的视频有效；第二，一些传统方法提取的关键帧往往有很多冗余，网络中视频繁多，关键帧过多会造成检索性能下降；第三，对网络中的视频进行分类时，视频库相当庞大，很多没有鉴别力的镜头和关键帧的存在会对检索结果造成很大影响。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于内容的互联网视频检索技术，从视频的角度，研究互联网视频的分析和检索技术，为互联网视音频节目内容分析、分类和研判提供信息和判据。

为了达到上述目的，本发明提出一种基于内容的互联网视频检索方法，包括如下步骤：

步骤一，从互联网上随机采集若干视频作为训练样本集，建立视频库，并提取所述训练样本集中所有视频中每帧的分块颜色直方图特征和亮度特征作为镜头分割判断依据；

步骤二，根据步骤一中提取的所述两种特征对所述训练样本集中的所有视频进行自适应方式镜头分割，并得到镜头分割列表；

步骤三，根据所述镜头分割列表以及所述两种特征对所述训练样本集中的所有视频提取关键帧以及获得关键帧的索引；

步骤四，对于一个待检索视频，首先按照步骤一，步骤二和步骤三的处理之后得到关键帧列表，然后采用软性判决方法进行快速定位和检索。

进一步的，所述提取颜色直方图特征和亮度特征，具体为：

根据视频中各图像帧的在RGB信道下的4*4分块颜色直方图提取颜色特征；

根据视频中各图像帧的平均亮度和方法方差亮度提取亮度特征。

进一步的，一个n bin的颜色直方图特征通过以下公式计算得到：

$\mathrm{Hist}\left(C_i\right)=\frac{n_i}{M\×N},$

其中，C_i代表第i个颜色bin，n_i代表第i个颜色bin中像素数，M×N代表总的像素数。

进一步的，所述图像帧的平均亮度通过以下公式计算得到：

$\mathrm{AvLu}\min \mathrm{ance}=\frac{{\mathrm{\Σ}}_{i=1}^{M\×N}(R_i+G_i+B_i)/3}{M\×N},$

其中，R，G，B代表图像三个通道的分量，M×N代表总的像素数。

进一步的，所述方差亮度通过以下公式计算得到：

$\mathrm{VarLu}\min \mathrm{ance}=\frac{{\mathrm{\Σ}}_{i=1}^{M\×N}{(\frac{(R_i+G_i+B_i)}{3}-\mathrm{AvLu}\min \mathrm{ance})}^2}{M\×N}.$

进一步的，所述自适应方式镜头分割，具体为：

①采用自适应阈值算法分别对步骤一中提取的两种特征集进行处理，得到两个镜头分割列表；

②取得所述两个镜头分割列表的并集作为待定列表；

③采用软性判决方法，通过S型函数得到每个待定镜头分割位置的置信概率，对最终的结果做出判断。

进一步的，所述提取关键帧以及获得关键帧的索引方法，具体为：

①将时间信息和颜色特征信息组合成综合信息；

②采用改进型K-Means算法聚类得到不同镜头的关键帧及其索引；

③采用尺度不变特征转换相似度匹配过滤掉同一个镜头中冗余的关键帧。

进一步的，所述软性判决方法，具体为：

①在关键帧数据库中，使用欧式距离计算公式计算每个关键帧与其他帧的最短距离；

②将所有的最短距离输入S型置信函数中得到每个关键帧索引的置信概率；

③待检索视频的关键帧列表进行匹配，得到置信概率列表；

④统计列表，总概率最大的视频就是定位视频。

进一步的，所述S型置信函数表达为：

y＝1-0.5×e^{(-(Dis tan ce-0.4)/10)}，

其中，Distance代表最短距离。

与现有技术相比，本发明具有如下有益效果：本发明依据互联网上视频的多样性，采用了一种新的基于内容的视频检索方法，克服了一些传统方法在性能和鲁棒性的不足。经过大量实验测试，本发明能够准确、高效的检索和快速定位视频，平均正确率高于90％。

附图说明

图1所示为本发明较佳实施例的基于内容的互联网视频检索方法流程图。

图2所示为本发明较佳实施例的每一帧子图分割和它们相应的权值示意图。

图3所示为本发明较佳实施例的S型函数的示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明的测试视频S100通过特征提取S200，镜头分割S300，关键帧提取S400处理后，结合训练样本集关键帧数据库S600，并通过软性判决检索S500处理后得到检索结构S700。

根据本发明较佳实施例，本实施例包括如下步骤：

步骤一，从互联网上随机采集1000个视频作为训练样本集，并提取训练样本集中所有视频中每帧的分块颜色直方图特征和亮度特征，具体如下：

①提取分块颜色直方图特征

一个n bin的颜色直方图特征可以通过以下公式计算得到。

$\mathrm{Hist}\left(C_i\right)=\frac{n_i}{M\×N}---\left(1\right)$

其中C_i代表第i个颜色bin，n_i代表第i个颜色bin中像素数。M×N代表总的像素数，直方图的bin：计算颜色直方图需要将颜色空间划分为若干小的颜色区间，即直方图的bin。

分块颜色直方图按照图2所示，每一帧都平均分成大小相同的16个子图，分别计算每个子图的64-bin颜色直方图特征。计算相邻帧之间的距离，同时引入权重矩阵。

$D_{\mathrm{is}\tan \mathrm{ce}}={\mathrm{\Σ}}_{b=1}^{16}{a}_b{\mathrm{\Σ}}_{i=1}^{64}|{\mathrm{hist}1}_{\mathrm{bi}}-{\mathrm{bist}2}_{\mathrm{bi}}|---\left(2\right)$

在公式2中，α_b是子图b的权值。选择此类权重矩阵的原因是在大多数情况下，图像帧中间的内容变化往往比边缘的内容变化更为剧烈。通过权值可以进一步扩大帧与帧之间的距离。同时，有些视频往往在底部嵌有字幕，这种权重矩阵还可以减少字幕对结果的影响。

②提取亮度特征

亮度特征是另一种颜色特征。由于此类特征计算简单，将它作为检测的第二特征。在同一个镜头中，因为场景固定，周围的环境亮度也确定，两个相邻帧之间的差异通常非常小。亮度特征的变化往往取决于摄像机的移动或者物体的运动。大多数突变镜头的边界位置，此类特征的变化非常剧烈因而很容易被识别出来。

亮度特征是图像的内在性质，一般有两种。第一种是颜色的平均亮度，可用公式(3)计算得到。

$\mathrm{AvLu}\min \mathrm{ance}=\frac{{\mathrm{\Σ}}_{i=1}^{M\×N}(R_i+G_i+B_i)/3}{M\×N}---\left(3\right)$

另一种是方差亮度可以用公式(4)计算得到。

$\mathrm{VarLu}\min \mathrm{ance}=\frac{{\mathrm{\Σ}}_{i=1}^{M\×N}{(\frac{(R_i+G_i+B_i)}{3}-\mathrm{AvLu}\min \mathrm{ance})}^2}{M\×N}---\left(4\right)$

应用这种特征的优点之一是直接使用了图像的R，G，B三个通道的分量，而不是像分块颜色直方图那样应用了降维。因此，在某些情况下，分块颜色直方图如果依然无法作出明确的判断，亮度差异可以补充判断。

平均亮度特征和方差亮度都非常有用，它们共同组合成为亮度特征。

步骤二，根据步骤一中提取的两种特征对训练样本集中的所有视频进行镜头分割，并得到镜头分割列表。

该方法命名为自适应阈值法，具体实现如下：

根据公式(2)，每两个相邻帧之间的分块颜色直方图特征的差异距离都可以计算得到。这样，如果一个视频包含N帧图像，这种距离就存在N-1个。这种距离值称为D-Matrix数据。

相同的，亮度特征的差异值(称为LMD-Matrix)也可以计算得到。和D-Matrix不同点在于LMD-Matrix只计算相邻两帧亮度特征的绝对值，它有两列，第一列是方差亮度的绝对值差，第二列是平均亮度的绝对值差。

引入了一种自适应滑动窗口。每时每刻滑动窗口内的帧数都在不停变化，同时这些帧之间的平均距离也在不停更新作为下一步的参考。

处理D-Matrix的算法如下：

1)初始化滑动窗口

将滑动窗口距离平均值(Mean)设定为D-Matrix的第一个数据，滑动窗口的长度(L)设定为1。

2)将帧间距离划分成3类

如果下一个值小于α*Mean，直接跳过循环(为了防止视频中会出现静态帧从而导致误检，α通常很小，本实施例中设为0.1)。如果下一个值大于β*Mean(本实施例中β设为20)，将帧序号插入突变镜头分割表(cut_list)中。如果下一个值在这两个阈值之间，L加1同时更新Mean。

3)重复上述步骤直到最终的cut_list。

处理LMD-Matrix的步骤如下：

1)初始化循环

假设n表示帧序号，N表示视频中帧的总数。

Mean1＝(LMD-Matrix(n-1，1)+LMD-Matrix(n+1，1))/2

Mean2＝(LMD-Matrix(n-1，2)+LMD-Matrix(n+1，2))/2.

2)开始循环

如果第一列中的数据大于对应的δ*Mean1，同时第二列中的数据大于δ*Mean2(本实施例中δ设为5)，则将此时的帧序号插入cut_list中。

3)设定n从2到N-1开始循环，得到最终的cut_list。

处理完这两个特征矩阵之后，得到的两个突变镜头分割表就可以作为软性联合判决法的输入了。

软性联合判决法具体如下：

软性联合判决法是突变镜头检测过程的最后一步。它的作用就是综合上一步得到的两个cut_list，并且得到最后的结果。

在获得最终的镜头分割表前，需要先得到这两个分割表的并集。

Final_list＝cutlist₁∪cutlist₂(5)

按照Final_list中保存的帧序号，回到D-Matrix和LMD-Matrix中获得两种比例参数，计算公式如(6)和(7)。

${\mathrm{Pro}}_{i1}=\frac{D-\mathrm{Matrix}\left({\mathrm{Finallist}}_i\right)}{{\mathrm{\Σ}}_{j={\mathrm{Finallist}}_{i-1}+1}^{{\mathrm{Finallist}}_i-1}D-\mathrm{Matrix}\left(j\right)/{\mathrm{Finallist}}_i-{\mathrm{Finallist}}_{i-1}-2}---\left(6\right)$

${\mathrm{Pro}}_{i2}=\frac{\mathrm{LMD}-\mathrm{Matrix}\left({\mathrm{Finallist}}_{i1}\right)}{\mathrm{LMD}-\mathrm{Matrix}({\mathrm{Finallist}}_i+\mathrm{1,1})+\mathrm{LMD}-\mathrm{Matrix}({\mathrm{Finallist}}_i-\mathrm{1,1})/2}---\left(7\right)$

公式中i代表第i个突变镜头，finallist_i表示第i个突变位置的帧序号。

引入两个S型函数(图3)，可以将上述得到的两种比例系数转化成概率(P₂ and P₂)形式。再根据公式(8)得到一个最终的概率值。

P＝εP₁+(1-ε)P₂(8)

其中ε是P₁的权重系数(本实施例中设为0.6)。

实例中处理D-Matrix和LMD-Matrix的两个S型函数分别为：

y＝1-0.5×e^(-(x-5)/4)(9)

y＝1-0.5×e^(-(x-10)/8)(10)

步骤三，根据镜头分割列表以及特征对训练样本集中的所有视频提取关键帧以及获得关键帧的索引。

改进型K-means算法具体如下：

1)将时间信息加入原始数据。如果一个镜头中的一帧是由n维(本实施例中n是66，包括分块颜色直方图的64维和亮度特征的2维)的向量描述的，那么增加一个时间参数(简单的方法是直接用帧序号除以镜头总帧数得到的值作为时间参数)后描述帧的向量成了n+1维。

2)设置初始的聚类数目为2。

3)第一次K-Means聚类后计算每个类心的平均欧式距离。

4)如果所有的平均距离都小于一个指定的阈值r(本实施例中r设为0.2)，那么终止循环，选择距离各个类心最近的帧作为关键帧。反之，聚类数目加一，重复步骤3直到所有的平均距离值都小于阈值r。

这种聚类算法不仅能够保证不遗漏时间信息，同时结果是每个镜头都至少有两个关键帧。

SIFT相似度匹配算法具体如下：

同时提取将要做匹配的图像的SIFT特征，然后根据特征描述子统计匹配的特征点数目，如果匹配数目和总特征点数目比值超过一个合适的阈值(本实施例中取阈值为0.8)的话，就认为这两幅图像相似，可以过滤掉其中任意一幅，反之则保留这两幅图像。

步骤四，对于一个待检索视频，首先按照步骤一，二和三处理之后得到关键帧列表，然后采用一种新的软性判决方法进行快速定位和检索。

软性判决方法也称最短距离权重算法，具体如下：

①根据欧式距离算法，计算样本数据库中每个关键帧和其特征最相似的关键帧之间的最短距离。

②将最短距离输入S型置信函数(本实施例中是y＝1-0.5×e^{(-(Dis tan ce-0.4)/10)})得到对应关键帧的置信概率。

③在样本数据库中分别匹配测试视频关键帧，得到最匹配的关键帧置信概率列表。

④统计概率列表，总概率最大的视频就是定位视频。

本实施例方法通过对1000个来自互联网上的视频作为样本集，从中随机选择了1000多个子视频进行检索测试，本实施例对这些子视频具有较高的正确识别率，平均错误率低于10％。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种基于内容的互联网视频检索方法，其特征在于，包括如下步骤：

步骤一，从互联网上随机采集若干视频作为训练样本集，建立视频库，并提取所述训练样本集中所有视频中每帧的分块颜色直方图特征和亮度特征作为镜头分割判断依据；

步骤二，根据步骤一中提取的所述两种特征对所述训练样本集中的所有视频进行自适应方式镜头分割，并得到镜头分割列表；

步骤三，根据所述镜头分割列表以及所述两种特征对所述训练样本集中的所有视频提取关键帧以及获得关键帧的索引；

步骤四，对于一个待检索视频，首先按照步骤一，步骤二和步骤三的处理之后得到关键帧列表，然后采用软性判决方法进行快速定位和检索；

所述自适应方式镜头分割，具体为：

①采用自适应阈值算法分别对步骤一中提取的两种特征集进行处理，得到两个镜头分割列表；

②取得所述两个镜头分割列表的并集作为待定列表；

③采用软性判决方法，通过S型函数得到每个待定镜头分割位置的置信概率，对最终的结果做出判断；

所述软性判决方法，具体为：

①在关键帧数据库中，使用欧式距离计算公式计算每个关键帧与其他帧的最短距离；

②将所有的最短距离输入S型置信函数中得到每个关键帧索引的置信概率；

③待检索视频的关键帧列表进行匹配，得到置信概率列表；

④统计列表，总概率最大的视频就是定位视频。

2.根据权利要求1所述的基于内容的互联网视频检索方法，其特征在于，所述提取分块颜色直方图特征和亮度特征，具体为：

根据视频中各图像帧的在RGB信道下的4*4分块颜色直方图提取颜色特征；

根据视频中各图像帧的平均亮度和方差亮度提取亮度特征。

3.根据权利要求2所述的基于内容的互联网视频检索方法，其特征在于，一个n bin的分块颜色直方图特征通过以下公式计算得到：

$\mathrm{Hist}\left(C_i\right)=\frac{n_i}{M\×N},$

其中，C_i代表第i个颜色bin，n_i代表第i个颜色bin中像素数，M×N代表总的像素数。

4.根据权利要求2所述的基于内容的互联网视频检索方法，其特征在于，所述图像帧的平均亮度通过以下公式计算得到：

$\mathrm{AvLu}\min \mathrm{ance}=\frac{{\mathrm{\Σ}}_{i=1}^{M\×N}(R_i+G_i+B_i)/3}{M\×N},$

其中，R，G，B代表图像三个通道的分量，M×N代表总的像素数。

5.根据权利要求4所述的基于内容的互联网视频检索方法，其特征在于，所述方差亮度通过以下公式计算得到：

$\mathrm{VarLu}\min \mathrm{ance}=\frac{{\mathrm{\Σ}}_{i=1}^{M\×N}{(\frac{(R_i+G_i+B_i)}{3}-\mathrm{AvLu}\min \mathrm{ance})}^2}{M\×N}.$

6.根据权利要求1所述的基于内容的互联网视频检索方法，其特征在于，所述提取关键帧以及获得关键帧的索引方法，具体为：

①将时间信息和颜色特征信息组合成综合信息；

②采用改进型K-Means算法聚类得到不同镜头的关键帧及其索引；

③采用尺度不变特征转换相似度匹配过滤掉同一个镜头中冗余的关键帧。

7.根据权利要求1所述的基于内容的互联网视频检索方法，其特征在于，所述S型置信函数表达为：

y＝1-0.5×θ^{(-(Distance-0.4)/10)}，

其中，Distance代表最短距离。

Images