CN103279581B - 一种利用紧凑视频主题描述子进行视频检索的方法 - Google Patents

Abstract

本发明公开了一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法，该方法包括以下步骤：提取视频局部特征并用聚类算法得到视频的词袋(BoW)特征；利用视频词袋特征训练有稀疏约束的非负无向主题模型来学习视频的主题特征；用训练好的主题模型推断视频的主题描述子，通过计算描述子之间的余弦距离来检索视频。本发明方法能够从高维的视频词袋特征中提取出低维并且稀疏的视频主题描述，从而大大提高了在大规模数据库以及带宽受限的移动搜索系统中的检索效率；同时该方法所训练的主题模型能够很好的挖掘视频的主题特征结构，因此提取出的主题描述子即使在维数很低的情况下仍然具有比原始的高维词袋特征更高的检索精确度。

Description

一种利用紧凑视频主题描述子进行视频检索的方法

技术领域

本发明涉及模式识别与机器学习领域，特别涉及一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法。

背景技术

最近几年，随着互联网以及各种多媒体终端的快速发展，上传到在线视频网站(如优酷、YouTube)上的视频数据量呈指数增长，并且大多数视频缺少文本标注。因此自动的学习紧凑的视频表示对于提高基于内容的网络视频检索的效率至关重要，特别是在带宽受限的移动视觉搜索系统当中。然而由于网络视频往往采集于不受控制的条件之下(例如来自不同的拍摄者、不同的设备)，其内容和清晰度具有很大的差异性。这给视频表示的学习带来了极大的挑战性。

传统的多媒体检索任务通常采用词袋表示的方法，但是词袋表示的高维特性使得其在大规模数据库上的检索效率非常低下。研究工作开始转向如何学习紧凑并且能够维持区分力的特征表示，例如局部特征向量降维、图像或视频帧的视觉签名压缩等。尽管如此，目前对整个视频的紧凑特征表示的研究仍处于空白阶段。为了弥补这一空缺，本发明提出了一种基于无向图模型的无监督方法自动的发掘隐含在视频词袋表示中的紧凑主题描述子来进行视频检索的方法。本发明利用视频数据库中所有视频而非单个视频的统计信息来实现描述子的紧性，从而很好的维持了其区分力。

发明内容

为了解决现有技术存在的缺陷，本发明提供一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法。

本发明所提出的一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法包括以下步骤：

步骤S1，将视频数据集中的部分视频作为视频训练集，剩下的视频作为视频测试集；

步骤S2，对所述视频数据集中的每一个视频提取其局部特征；

步骤S3，从提取得到的局部特征中随机抽取足够数量的局部特征，利用聚类算法训练得到一视觉词典，并利用该视觉词典对每一个视频的局部特征进行编码得到每个视频的词袋向量v；

步骤S4，将每一视频的词袋向量v建模为可见单元并作为主题模型的输入，将相应视频的主题描述子c建模为隐含单元并作为所述主题模型的输出，得到主题模型；

步骤S5，将所述视频训练集随机划分为多个子集，对于每一个子集分别计算所述主题模型的目标函数中的对数似然项和稀疏正则项对于可见单元的偏置参数a、隐含单元的偏置参数b和连接可见单元与隐含单元的权值W的梯度；

步骤S6，随机初始化偏置参数a、b和权值W的值，根据所述对数似然项和稀疏正则项对于偏置参数a、b和权值W的梯度，利用随机梯度下降法对偏置参数a、b和权值W分别进行更新直到所述主题模型的目标函数收敛到给定最小值或达到迭代停止条件，最后得到一个有稀疏约束的非负无向主题模型；

步骤S7，根据所述步骤S2和S3提取得到所述视频测试集中测试视频的词袋向量，并将所述测试视频和所述训练视频的词袋向量一并输入到所述步骤S6得到的有稀疏约束的非负无向主题模型中，利用隐含单元对可见单元的条件概率分别推断得到所述测试视频和训练视频的主题描述子；

步骤S8，分别计算所述测试视频的主题描述子与所述视频训练集中每一个训练视频的主题描述子之间的余弦距离，并根据所述余弦距离进行视频检索，得到与所述测试视频相似的视频。

由于本发明中用到的主题模型的隐含单元变量为非负值，因而学习到的视频主题描述子不仅能够表示每个视频主题是否存在，而且能够反映各个主题之间的相对重要性，从而更加具有区分力；同时主题模型的稀疏性约束使得学习到的主题描述子更加具有鲁棒性，并且更具有可解释性。

附图说明

图1是本发明利用紧凑视频主题描述子进行视频检索的方法流程图。

图2是根据本发明一实施例利用稀疏非负无向主题模型对视频建模的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明基于无向主题模型学习了一种紧凑的视频主题描述子，并将其用于网络视频检索。通过引入非负实值隐单元和稀疏约束正则项，本发明扩展了无向主题模型来使学习到的主题描述子更加具有区分力。同时本发明还给出了一种有效的方法来训练这个扩展的主题模型。

图1是本发明利用紧凑视频主题描述子进行视频检索的方法流程图，如图1所示，所述方法包括以下步骤：

步骤S1，将视频数据集中的部分视频作为视频训练集D，剩下的视频作为视频测试集；

步骤S2，对所述视频数据集中的每一个视频提取其局部特征；

所述局部特征，例如可以是用于描述场景和物体的SIFT(尺度不变特征变换)特征，描述运动的STIP(空时兴趣点)特征或者描述声音的MFCC(梅尔倒频谱参数)音频特征。

步骤S3，从提取得到的局部特征中随机抽取足够数量的局部特征，利用聚类算法(如K均值聚类算法)训练得到一视觉词典，并利用该视觉词典对每一个视频的局部特征进行编码得到每个视频的词袋向量v∈R^N，其中，v表示视频的词袋向量，N表示词袋向量的维数，则整个视频训练集可以表示为：其中，M表示视频训练集中视频的个数；

步骤S4，将每一视频的词袋向量v建模为可见单元并作为主题模型的输入，其中，所述词袋向量v服从多项分布，将相应视频的主题描述子c建模为隐含单元并作为所述主题模型的输出，其中所述主题描述子c服从非负高斯分布，得到主题模型，如图2所示，图2中，v代表视频词袋向量，c代表隐含的主题描述子，W为模型参数；

该步骤中，所述主题模型的目标函数写为：

$\underset{w,a,b}{\min }-\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\log P\left(v_m\right)+\mathrm{\λ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|E\left[c_m\right|v_m\left]\right|{|}_1---\left(1\right)$

其中，W表示连接可见单元与隐含单元的权值，a和b分别为可见单元和隐含单元的偏置参数，P(v_m)表示视频词袋向量v_m的边缘概率，λ为正则项系数，c_m表示相应视频的主题描述子，其维度为F，E[c_m|v_m]表示给定词袋向量v_m时主题描述子c_m的条件均值，||·||₁表示某一向量的L1范数， $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\log P\left(v_m\right)$ 为对数似然项， $\mathrm{\λ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|E\left[c_m\right|v_m\left]\right||}_1$ 为稀疏正则项。

步骤S5，将所述视频训练集D随机划分为多个子集，对于每一个子集分别计算所述主题模型的目标函数中的对数似然项和稀疏正则项对于可见单元的偏置参数a、隐含单元的偏置参数b和连接可见单元与隐含单元的权值W的梯度；

该步骤中，利用下式计算所述对数似然项和稀疏正则项对于权值W的梯度：

$\frac{1}{M_s}\underset{m=1}{\overset{M_s}{\mathrm{\&Sigma;}}}\frac{\&PartialD;\log P\left(v_m\right)}{\&PartialD;W_{\mathrm{ij}}}=<v_i{c}_j{>}_{\mathrm{data}}-<v_i{c}_j{>}_{\mathrm{mode}l}---\left(2\right)$

$\frac{1}{M_s}\underset{m=1}{\overset{M_s}{\mathrm{\&Sigma;}}}\frac{\&PartialD;{\left|\right|E\left[c_m\right|v_m\left|\right|}_1}{\&PartialD;W_{\mathrm{ij}}}=<v_i(\frac{1}{2}+\frac{1}{2}\mathrm{erf}\left(\frac{\sqrt{2}}{2}x\right)){>}_{\mathrm{data}}---\left(3\right)$

其中，W_ij表示每一个子集中连接一视频的第i个可见单元与第j个隐含单元的权值的均值，v_i表示词袋向量v_m的元素，i＝1…N，c_j表示主题描述子c_m的元素，j＝1…F，x＝Kb_j+∑_iW_ijv_i，K表示词袋向量v_m所包含的总词数，b_j表示每一个子集中所有视频的第j个隐含单元的偏置参数均值，M_s为某一子集中视频的个数，erf(.)为高斯误差函数，<.>_data表示对数据求均值，<.>_model表示模型分布下的期望。

所述对数似然项和稀疏正则项对于偏置参数a和b的梯度的计算与对权值W的梯度的计算类似，这里不再赘述。

步骤S6，随机初始化偏置参数a、b和权值W的值，根据所述对数似然项和稀疏正则项对于偏置参数a、b和权值W的梯度，利用随机梯度下降法对偏置参数a、b和权值W分别进行更新直到所述主题模型的目标函数收敛到给定最小值或达到迭代停止条件，最后得到一个有稀疏约束的非负无向主题模型；

该步骤中，利用下式对于所述权值W进行更新：

$W_{\mathrm{ij}}^t\&LeftArrow;W_{\mathrm{ij}}^{t-1}+\mathrm{\&alpha;}(<v_i{c}_j{>}_{\mathrm{data}}-<v_i{c}_j{>}_{\mathrm{recon}})---\left(4\right)$

$W_{\mathrm{ij}}^t\&LeftArrow;W_{\mathrm{ij}}^t-\mathrm{\&alpha;\&lambda;}<v_i(\frac{1}{2}+\frac{1}{2}\mathrm{erf}\left(\frac{\sqrt{2}}{2}x\right)){>}_{\mathrm{data}}---\left(5\right)$

其中，t表示迭代的次数，α表示更新步长，<.>_recon表示对一次吉布斯采样得到的重构值求均值。

对于偏置参数a和b的更新方式与对于权值W的更新方式类似，这里不再赘述。

步骤S7，根据所述步骤S2和S3提取得到所述视频测试集中测试视频的词袋向量，并将所述测试视频和所述训练视频的词袋向量一并输入到所述步骤S6得到的有稀疏约束的非负无向主题模型中，利用隐含单元对可见单元的条件概率分别推断得到所述测试视频和训练视频的主题描述子；

该步骤中，利用下式来推断所述测试视频和训练视频的主题描述子：

其中，P(c_j|v)表示给定视频的词袋向量v时c_j发生的条件概率，N(x，1)表示均值为x，方差为1的高斯分布，c_j为所述视频的主题描述子c中的第j项。

步骤S8，分别计算所述测试视频的主题描述子与所述视频训练集中每一个训练视频的主题描述子之间的余弦距离，并根据所述余弦距离进行视频检索，得到与所述测试视频相似的视频；其中，余弦距离越大表明两个视频之间的相关度就越大。

为了详细说明本发明的具体实施方式，接下来以某网络视频数据集为例对于本发明方法进行进一步的说明。所述网络视频数据集包含9317段从网络上收集的视频，共分为20类，其中包括事件视频如“篮球”、“生日”，物体视频如“狗”、“鸟”等。在使用本发明方法进行视频检索时：

步骤S1，将所述网络视频数据集中的4600个视频作为视频训练集，剩下的4717个视频作为视频测试集；

步骤S2，对所述网络视频训练集中的所有视频进行视频帧的下采样，每2秒采样一帧，然后检测每一个视频帧的局部关键点，并用128维的SIFT向量进行表示，得到相应视频的SIFT局部特征；

步骤S3，从提取得到的局部特征中随机抽取200万个SIFT特征，利用K均值聚类算法训练得到一个包含5000个视觉单词的视觉词典，并用该视觉词典对每一个视频的SIFT特征进行编码得到每个视频的5000维的词袋向量；

步骤S4，将每一视频的词袋向量建模为主题模型的可见单元，将相应视频的主题描述子建模为主题模型的隐含单元，设定视频主题描述子的维数为30，主题模型可见单元的个数为5000，隐含单元的个数为30，正则项系数λ为0.05；

步骤S5，将所述视频训练集随机划分为46个子集，每个子集包含100个视频，对于每一个子集按照式(2)和式(3)计算所述主题模型的目标函数中的对数似然项和稀疏正则项对于偏置参数a、b和权值W的梯度；

步骤S6，随机初始化偏置参数a、b和权值W的值，根据式(2)和(3)，利用随机梯度下降法按照式(4)和式(5)对偏置参数a、b和权值W分别进行更新来训练得到一个有稀疏约束的非负无向主题模型，这里更新的最大迭代次数设为300；

步骤S7，按照所述步骤S2和S3中的方法提取视频测试集中测试视频的5000维词袋向量，并将其与训练视频的词袋向量一并输入到所述步骤S6中训练得到的有稀疏约束的非负无向主题模型中，利用式(6)中隐含单元对可见单元的条件概率分别推断得到所述测试视频和训练视频的30维主题描述子；

步骤S8，分别计算所述测试视频的主题描述子与所述视频训练集中每一个训练视频的30维主题描述子之间的余弦距离，距离越大表明两个视频之间越相似，最后得到检索到的与所述测试视频相似的视频列表。

综上，本发明方法能够从高维的视频词袋特征中提取出低维并且稀疏的视频主题描述，从而大大提高了在大规模数据库以及带宽受限的移动搜索系统中的检索效率；同时该方法所训练的主题模型能够很好的挖掘视频的主题特征结构，因此提取出的主题描述子即使在维数很低的情况下仍然具有比原始的高维词袋特征更高的检索精确度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法，其特征在于，该方法包括以下步骤：

步骤S1，将视频数据集中的部分视频作为视频训练集，剩下的视频作为视频测试集；

步骤S2，对所述视频数据集中的每一个视频提取其局部特征；

步骤S3，从提取得到的局部特征中随机抽取足够数量的局部特征，利用聚类算法训练得到一视觉词典，并利用该视觉词典对每一个视频的局部特征进行编码得到每个视频的词袋向量v；

步骤S4，将每一视频的词袋向量v建模为可见单元并作为主题模型的输入，将相应视频的主题描述子c建模为隐含单元并作为所述主题模型的输出，得到主题模型；

步骤S5，将所述视频训练集随机划分为多个子集，对于每一个子集分别计算所述主题模型的目标函数中的对数似然项和稀疏正则项对于可见单元的偏置参数a、隐含单元的偏置参数b和连接可见单元与隐含单元的权值W的梯度；

步骤S6，随机初始化偏置参数a、b和权值W的值，根据所述对数似然项和稀疏正则项对于偏置参数a、b和权值W的梯度，利用随机梯度下降法对偏置参数a、b和权值W分别进行更新直到所述主题模型的目标函数收敛到给定最小值或达到迭代停止条件，最后得到一个有稀疏约束的非负无向主题模型；

步骤S7，根据所述步骤S2和S3提取得到所述视频测试集中测试视频的词袋向量和所述视频训练集中训练视频的词袋向量，并将所述测试视频和所述训练视频的词袋向量一并输入到所述步骤S6得到的有稀疏约束的非负无向主题模型中，利用隐含单元对可见单元的条件概率分别推断得到所述测试视频和训练视频的主题描述子；

步骤S8，分别计算所述测试视频的主题描述子与所述视频训练集中每一个训练视频的主题描述子之间的余弦距离，并根据所述余弦距离进行视频检索，得到与所述测试视频相似的视频；

其中，所述步骤S5中，所述主题模型的目标函数为：

其中，W表示连接可见单元与隐含单元的权值，a和b分别为可见单元和隐含单元的偏置参数，P(v_m)表示视频词袋向量v_m的边缘概率，M表示视频训练集中视频的个数，λ为正则项系数，c_m表示相应视频的主题描述子，其维度为F，表示给定词袋向量v_m时主题描述子c_m的条件均值，||·||₁表示某一向量的L1范数，为对数似然项，为稀疏正则项。

2.根据权利要求1所述的方法，其特征在于，所述局部特征为尺度不变特征变换特征、空时兴趣点特征或梅尔倒频谱参数音频特征。

3.根据权利要求1所述的方法，其特征在于，所述聚类算法为K均值聚类算法。

4.根据权利要求1所述的方法，其特征在于，所述词袋向量v服从多项分布，所述主题描述子c服从非负高斯分布。

5.根据权利要求1所述的方法，其特征在于，所述步骤S5中，利用下式计算所述对数似然项和稀疏正则项对于权值W的梯度：

$\frac{1}{M_s}\underset{m=1}{\overset{M_s}{\&Sigma;}}\frac{\&part;\log P\left(v_m\right)}{\&part;W_{ij}}=<v_i{c}_j{>}_{data}-<v_i{c}_j{>}_{model},$

其中，W_ij表示每一个子集中连接一视频的第i个可见单元与第j个隐含单元的权值的均值，P(v_m)表示词袋向量v_m的边缘概率，v_i表示词袋向量v_m的元素，i＝1…N，c_j表示主题描述子c_m的元素，j＝1…F，表示给定词袋向量v_m时主题描述子c_m的条件均值，||·||₁表示某一向量的L1范数，x＝Kb_j+∑_iW_ijv_i，K表示词袋向量v_m所包含的总词数，b_j表示每一个子集中所有视频的第j个隐含单元的偏置参数均值，M_s为某一子集中视频的个数，erf(.)为高斯误差函数，<.>_data表示对数据求均值，<.>_model表示模型分布下的期望。

6.根据权利要求1所述的方法，其特征在于，所述步骤S6中，利用下式对于所述权值W进行更新：

$W_{ij}^t\&LeftArrow;W_{ij}^{t-1}+\mathrm{\&alpha;}(<v_i{c}_j{>}_{data}-<v_i{c}_j{>}_{recon}),$

$W_{ij}^t\&LeftArrow;W_{ij}^t-\mathrm{\&alpha;}\mathrm{\&lambda;}<v_i(\frac{1}{2}+\frac{1}{2}erf(\frac{\sqrt{2}}{2}x\left)\right){>}_{data},$

其中，W_ij表示每一个子集中连接一视频的第i个可见单元与第j个隐含单元的权值的均值，t表示迭代的次数，α表示更新步长，v_i表示词袋向量v_m的元素，i＝1…N，c_j表示主题描述子c_m的元素，j＝1…F，<.>_data表示对数据求均值，<.>_recon表示对一次吉布斯采样得到的重构值求均值，λ为正则项系数，erf(.)为高斯误差函数，x＝Kb_j+∑_iW_ijv_i，K表示词袋向量v_m所包含的总词数，b_j表示每一个子集中所有视频的第j个隐含单元的偏置参数均值。

7.根据权利要求1所述的方法，其特征在于，所述步骤S7中，利用下式来推断所述测试视频和训练视频的主题描述子：

其中，P(c_j|v)表示给定视频的词袋向量v时c_j发生的条件概率，N(x，1)表示均值为x，方差为1的高斯分布，c_j为所述视频的主题描述子c中的第j项，j＝1…F，K表示词袋向量v所包含的总词数，b_j表示每一个子集中所有视频的第j个隐含单元的偏置参数均值，W_ij表示每一个子集中连接一视频的第i个可见单元与第j个隐含单元的权值的均值，v_i表示词袋向量v_m的元素，i＝1…N。

8.根据权利要求1所述的方法，其特征在于，所述步骤S8中，所述余弦距离越大表明两个视频之间的相关度就越大。