CN103559510B - 一种利用相关主题模型识别社会群体行为的方法 - Google Patents

Abstract

本发明公开了一种利用相关主题模型识别社会群体行为的方法，该方法包括以下步骤：利用相关主题模型对视频数据集中的视频进行建模；基于相关主题模型和视频训练集得到优化目标函数；在使得优化目标函数最大的情况下计算相关主题模型中的各个参数，训练得到包括分类器的相关主题模型；将视频测试集中测试视频的词袋表示输入到相关主题模型中，利用隐含单元对可见单元的条件概率推断得到测试视频的主题表示；将测试视频的主题表示送入分类器中，得到对于相应测试视频最后的识别结果。本发明能够提取出更具区分力的稀疏相关主题表示来弥补低层视频特征和类别标签之间的语义鸿沟，同时在缺乏标签数据的情况下仍然能够达到很好的识别性能。

Description

一种利用相关主题模型识别社会群体行为的方法

技术领域

本发明涉及机器学习与模式识别领域，特别涉及一种利用相关主题模型识别网络视频中无结构的社会群体行为的方法。

背景技术

网络视频的爆炸性增长使得自动视频分类对于视频的管理与检索十分重要。虽然传统的包含简单运动与行为的短视频片段的分类问题已经得到了很好的解决，但是对于网络视频中的复杂行为，特别是社会群体行为的识别，由于其无结构的行为上下文和复杂的多目标交互造成的语义鸿沟以及带有标签的视频数据的缺乏，仍然没有一个行之有效的方法。

本发明主要针对无结构的社会群体行为的识别，例如结婚舞会，生日聚会以及毕业典礼等。一般的方法是学习人工或半人工定义的语义概念作为视频的中层特征来帮助分类。尽管如此，这些人工定义的概念并不一定具有很好的区分力，并且很难扩展到更大的或者新的数据库上。为了发掘更为有效且更易扩展的中层特征，本发明提出了一种新的监督主题模型——相关主题模型，其利用稀疏贝叶斯学习从低层的视频词袋表示中自动的提取隐含的“相关”主题，并学习相应的稀疏分类器。

发明内容

为了解决现有技术存在的缺陷，本发明提供一种利用相关主题模型识别社会群体行为的方法。

本发明所提出的一种利用相关主题模型识别社会群体行为的方法包括以下步骤：

步骤S0，将视频数据集中的部分视频作为视频训练集D，剩下的视频作为视频测试集；

步骤S1，利用相关主题模型对所述视频数据集中的视频进行建模；

步骤S2，基于所述相关主题模型和所述视频训练集D得到优化目标函数；

步骤S3，在使得优化目标函数最大的情况下计算所述相关主题模型中的各个参数，训练得到包括分类器的所述相关主题模型；

步骤S4，将所述视频测试集中测试视频的词袋表示输入到所述步骤S3训练得到的相关主题模型中，利用隐含单元对可见单元的条件概率推断得到所述测试视频的主题表示；

步骤S5，将所述测试视频的主题表示送入所述步骤S3得到的分类器中，得到对于相应测试视频最后的识别结果。

由于本发明联合学习视频的主题表示和分类器，使得到的相关主题表示不仅能够很好的解释视频数据，而且能够对不同的视频类别具有很好的区分力；同时主题表示的稀疏性使得模型在缺乏标签数据的情况下仍然具有很好的识别性能。

附图说明

图1是本发明利用相关主题模型识别社会群体行为的方法流程图。

图2是利用相关主题模型对视频进行建模的示意图。

图3是两个不同视频类的相关主题表示的相关程度示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出了一种相关主题模型，并将其用于网络视频中无结构的社会群体行为识别。通过利用稀疏贝叶斯学习联合学习主题表示和分类器，相关主题模型使学习到的稀疏主题表示对于不同的视频类更加具有区分力，并且适用于缺乏标签数据的情况，同时本发明公开了一种有效的方法来训练相关主题模型。

图1是本发明利用相关主题模型识别社会群体行为的方法流程图，如图1所示，所述方法包括以下步骤：

步骤S0，将视频数据集中的部分视频作为视频训练集D，剩下的视频作为视频测试集；

步骤S1，利用相关主题模型对所述视频数据集中的视频进行建模；

图2是利用相关主题模型对视频进行建模的示意图，如图2所示，将视频的词袋表示建模为相关主题模型的可见单元v，其中所述词袋表示服从多项分布；将视频的主题表示t^r建模为相关主题模型的隐含单元h，其中所述主题表示服从非负高斯分布；连接可见单元和隐含单元的权重系数为W；将视频的分类器建模为主题表示t^r的线性组合，系数为η，图2中，y为视频类标签，α为先验参数；另外，视频类的条件分布由softmax函数确定：

$P\left(y\right|t^r,\mathrm{\η})=\frac{\exp \left({\mathrm{\η}}_y^T{t}^r\right)}{{\mathrm{\Σ}}_{y^{\′}=1}^C\exp \left({\mathrm{\η}}_{y^{\′}}^T{t}^r\right)}---\left(1\right)$

这里，分类器系数η的先验分布为均值为零、方差为α^-1的高斯分布，先验参数α服从Gamma分布，η_y表示视频类y的分类器系数，C表示视频类的个数，表示所有视频类求和；

步骤S2，基于所述相关主题模型和所述视频训练集D得到优化目标函数

所述步骤S2具体为：利用Jensens不等式和log-sum-exp(lse)函数的二次上界得到相关主题模型在所述视频训练集D上似然函数的下界，并以此为目标函数；

所述步骤S2进一步包括以下步骤：

步骤S21，基于所述相关主题模型得到其在所述视频训练集D上的似然函数：

$\log P(D;\mathrm{\θ})=\log \∫P({\{v_m,y_m,t_m^r\}}_{m=1}^M,\mathrm{\η},\mathrm{\α};\mathrm{\θ})d{\left\{t_m\right\}}_{m=1}^M\mathrm{d\ηd\α}---\left(2\right)$

其中，θ＝{W,a,b},W是连接可见和隐含单元的权重系数，a和b分别是可见和隐含单元的偏置，v_m表示训练集D中第m个视频的词袋表示，y_m表示第m个视频的类，表示第m个视频的主题表示，t_m表示在第m个隐含单元上的输入，m表示训练集D中视频的标号，M表示视频的个数。

步骤S22，使用变分分布 $Q({\left\{t_m\right\}}_{m=1}^M,\mathrm{\η},\mathrm{\α})=\left(\underset{m=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{F}{\mathrm{\Π}}}q\left(t_{\mathrm{mj}}\right)\right)q\left(\mathrm{\η}\right)q\left(\mathrm{\α}\right)$ 近似后验分布q(.)表示对每一变量的变分后验分布，则根据Jensens不等式和lse函数的二次上界得到所述似然函数的一个下界：

其中，表示似然函数的下界，即为所述优化目标函数，E_Q表示在变分分布Q下的期望，表示logP(y|t^r,η)的下界，根据lse函数的二次上界推得：

其中， $T_m^r\mathrm{\η}=[{\left(t_m^r\right)}^T{\mathrm{\η}}_1,\·\·\·,{\left(t_m^r\right)}^T{\mathrm{\η}}_{C-1}],$ $A=\frac{1}{2}[I_{C-1}-\frac{1}{C}{1}_{C-1}{1}_{C-1}^T],$ C是视频类的个数，是变分参数。

步骤S3，在使得优化目标函数最大的情况下计算所述相关主题模型中的各个参数，训练得到包括分类器的所述相关主题模型；

所述步骤S3具体为：利用变分EM算法依次更新所述相关主题模型的参数、分类器系数和主题表示，直至所述优化目标函数收敛为给定值或满足迭代停止条件，即初始化模型参数θ，根据式（7）～（10）依次更新变分后验q(η),q(α)和q(t)以及变分参数给定q(η),q(α)和q(t)，根据式（11）～（13）采用随机梯度下降法更新模型参数θ，直至所述优化目标函数收敛为给定值或满足迭代停止条件；

具体地，根据变分EM算法，由于所选分布的共轭特性，q(η)、q(α)和q(t_mj)可由变分后验的自由形式解给出：

q(η)＝N(η|E_η,V_η) （7）

$q\left(\mathrm{\α}\right)=\underset{y=1}{\overset{C}{\mathrm{\Π}}}\underset{j=1}{\overset{F}{\mathrm{\Π}}}\mathrm{Gamma}\left({\mathrm{\α}}_{\mathrm{yj}}\right|\hat{c},{\hat{d}}_{\mathrm{yj}})---\left(8\right)$

$q\left(t_{\mathrm{mj}}\right)=\frac{{\mathrm{\ω}}_{\mathrm{pos}}}{Z}N\left(t_{\mathrm{mj}}\right|{\mathrm{\μ}}_{\mathrm{pos}},{\mathrm{\σ}}_{\mathrm{pos}}^2)u\left(t_{\mathrm{mj}}\right)+\frac{{\mathrm{\ω}}_{\mathrm{neg}}}{Z}N\left(t_{\mathrm{mj}}\right|{\mathrm{\μ}}_{\mathrm{neg}},{\mathrm{\σ}}_{\mathrm{neg}}^2)u(-t_{\mathrm{mj}})---\left(9\right)$

其中，N(·|μ,τ)表示均值为μ、方差为τ的高斯分布，V_η表示分类器系数η在变分后验下的方差，F表示主题表示的维度，表示参数为和的伽马分布，α_yj表示第y类分类器系数的第j个分量的先验参数，和为对应于α_yj的伽马分布的参数，q(t_mj)表示t_mj的变分后验分布，t_mj表示第m个视频的第j个隐含单元的输入，Z是归一化系数，u(.)表示单位阶跃函数，

${\mathrm{\ω}}_{\mathrm{pos}}=N\left(\mathrm{\α}\right|\mathrm{\β},\mathrm{\γ}+1),{\mathrm{\σ}}_{\mathrm{pos}}^2={({\mathrm{\γ}}^{-1}+1)}^{-1},{\mathrm{\μ}}_{\mathrm{pos}}={\mathrm{\σ}}_{\mathrm{pos}}^2(\frac{\mathrm{\α}}{\mathrm{\γ}}+\mathrm{\β})$

${\mathrm{\ω}}_{\mathrm{neg}}=N\left(\mathrm{\α}\right|0,\mathrm{\γ}),{\mathrm{\σ}}_{\mathrm{neg}}^2=1,{\mathrm{\μ}}_{\mathrm{neg}}=\mathrm{\β}$

$\mathrm{\&alpha;}=<\frac{{\mathrm{\&eta;}}_{\&CenterDot;j}(y_m+s_m-{\mathrm{\&Sigma;}}_{j^{\&prime;}\&NotEqual;j}{\mathrm{\&eta;}}_{\&CenterDot;j^{\&prime;}}{A}_{{\mathrm{mj}}^{\&prime;}}^r)}{{\mathrm{\&eta;}}_{\&CenterDot;j}{\mathrm{A\&eta;}}_{\&CenterDot;j}^T}{>}_{q\left(\mathrm{\&eta;}\right)q\left(t\right)}$

η_·j表示视频类j的分类器系数，K表示词袋表示中的总词数，b_j表示第j个隐含单元的偏置。

令优化目标函数对于变分参数的导数为零可得：

其中，＜.＞_q表示相对于分布q的期望，E_η表示分类器系数η在变分后验下的期望。

计算对于模型参数θ的导数如下：

其中，＜.＞_data表示相对于数据的期望，＜.＞_model表示相对于模型的期望，K表示词袋表示中的总词数，M表示视频的个数，N表示词袋表示的维度。

步骤S4，将所述视频测试集中测试视频的词袋表示输入到所述步骤S3训练得到的相关主题模型中，利用隐含单元对可见单元v的条件概率推断得到所述测试视频的主题表示：

$t_j^r=\max (0,t_j),P\left(t_j\right|v;\mathrm{\&theta;})=N\left(t_j\right|{\mathrm{Kb}}_j+\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}{v}_i,1)---\left(14\right)$

其中，θ＝{W,a,b},W是连接可见和隐含单元的权重系数，a和b分别是可见和隐含单元的偏置，N(·|μ,τ)表示均值为μ、方差为τ的高斯分布，K表示词袋表示中的总词数，v_i表示第i个可见单元，b_j表示第j个隐含单元的偏置，W_ij表示连接第i个可见单元和第j个隐含单元的权重系数。

步骤S5，将所述测试视频的主题表示t^r送入所述步骤S3得到的分类器中，得到对于相应测试视频最后的识别结果：

$\hat{y}=\underset{y\&Element;C}{\arg \max }{<{\mathrm{\&eta;}}_y^T>}_{q\left(\mathrm{\&eta;}\right)}{<t^r>}_{p\left(t\right|v;\mathrm{\&theta;})}---\left(15\right)$

其中，表示预测的类别标签，C是视频类的个数，表示相对于分布q(η)的期望，η_y表示视频类y的分类器系数，表示主题变量在p(t|v;θ)下的期望，t表示隐含单元的输入，v表示可见单元，θ＝{W,a,b},W是连接可见和隐含单元的权重系数，a和b分别是可见和隐含单元的偏置。

为了详细说明本发明的具体实施方式，接下来以某社会群体行为视频数据集为例对于本发明方法进行进一步的说明。所述视频数据集包含1466段从网络上收集的视频，共分为8类，其中包括生日聚会，毕业典礼，游行，结婚典礼等。在使用本发明方法进行识别时，按照以下步骤进行：

步骤S0，将所述社会群体行为视频数据集中的800个视频作为视频训练集，剩下的666个视频作为视频测试集；

步骤S1，将每一视频的SIFT，STIP和MFCC词袋表示（维数分别为5000，5000和4000）建模为相关主题模型的可见单元，将相应视频的主题表示建模为隐含单元，设定主题表示的维数为150，可见单元的个数为14000，隐含单元的个数为150；对应的分类器系数向量维数为150；类标签向量维数为8。

步骤S2，根据式（3）得到优化目标函数其中M＝800；

步骤S3，随机初始化模型参数θ的值。给定θ，根据式（7）～（10）依次更新变分后验q(η),q(α)和q(t)以及变分参数给定q(η),q(α)和q(t)，根据式（11）～（13）采用随机梯度下降法更新θ，这里随机梯度下降的迭代次数为20。整个算法的更新次数为300；

步骤S4，将视频测试集中测试视频的14000维词袋表示输入到所述步骤S3中训练得到的相关主题模型中，利用式（14）中隐含单元对可见单元的条件概率分别推断得到所述测试视频的150维主题表示；

步骤S5，将测试视频的150维主题表示送入步骤S3得到的分类器中，利用式（15）得到最后的识别结果。

本发明达到了与当前最好方法相当的识别精确度，特别是在缺乏带标签的训练数据的情况下，本发明的识别精确度要优于当前最好方法。

图3给出了相关主题模型对两个不同视频类学习到的相关主题表示。横轴表示相关主题，纵轴表示相关程度，从图3中可以看到本发明所学到的相关主题表示非常稀疏，使得模型具有很好的泛化性和健壮性。

综上，本发明方法利用稀疏贝叶斯学习，联合学习无结构的社会群体行为视频的主题表示和相应的视频分类器，使得到的相关主题表示不仅能够很好的解释视频数据，而且对不同的视频类别具有很好的区分力，提高了识别的精确度；同时主题表示的稀疏性有效的防止了相关主题模型在缺乏标签数据的情况下过拟合，使得模型仍然具有很好的识别性能。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种利用相关主题模型识别社会群体行为的方法，其特征在于，该方法包括以下步骤：

步骤S0，将视频数据集中的部分视频作为视频训练集D，剩下的视频作为视频测试集；

步骤S1，利用相关主题模型对所述视频数据集中的视频进行建模；

步骤S2，基于所述相关主题模型和所述视频训练集D得到优化目标函数；

步骤S3，在使得优化目标函数最大的情况下计算所述相关主题模型中的各个参数，训练得到包括分类器的所述相关主题模型；

步骤S4，将所述视频测试集中测试视频的词袋表示输入到所述步骤S3训练得到的相关主题模型中，利用隐含单元对可见单元的条件概率推断得到所述测试视频的主题表示；

步骤S5，将所述测试视频的主题表示送入所述步骤S3得到的分类器中，得到对于相应测试视频最后的识别结果；

所述步骤S2进一步包括以下步骤：

步骤S21，基于所述相关主题模型得到其在所述视频训练集D上的似然函数；

步骤S22，根据Jensens不等式和lse函数的二次上界得到所述似然函数的一个下界，作为优化目标函数。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，将视频的词袋表示建模为相关主题模型的可见单元v；将视频的主题表示t^r建模为相关主题模型的隐含单元h；连接可见单元和隐含单元的权重系数为W；将视频的分类器建模为主题表示t^r的线性组合。

3.根据权利要求1所述的方法，其特征在于，所述似然函数表示为：

$\log P(D;\mathrm{\&theta;})=log\&Integral;P({\{v_m,y_m,t_m^r\}}_{m=1}^M,\mathrm{\&eta;},\mathrm{\&alpha;};\mathrm{\&theta;})d{\left\{t_m\right\}}_{m=1}^{M}d\mathrm{\&eta;}d\mathrm{\&alpha;},$

其中，θ＝{W，a，b}，W是连接可见和隐含单元的权重系数，a和b分别是可见和隐含单元的偏置，v_m表示训练集D中第m个视频的词袋表示，y_m表示第m个视频的类，表示第m个视频的主题表示，η表示分类器系数，α为先验参数，t_m表示在第m个隐含单元上的输入，m表示训练集D中视频的标号，M表示视频的个数。

4.根据权利要求3所述的方法，其特征在于，所述似然函数的下界表示为：

其中，E_Q表示在变分分布Q下的期望，表示logP(y|t^r，η)的下界：

C是视频类的个数，是变分参数。

5.根据权利要求4所述的方法，其特征在于，所述步骤S3具体为：利用变分EM算法依次更新所述相关主题模型的参数、分类器系数和主题表示，直至所述优化目标函数收敛为给定值或满足迭代停止条件，即初始化模型参数θ；依次更新变分后验q(η)，q(α)和q(t)以及变分参数给定q(η)，q(α)和q(t)，采用随机梯度下降法更新模型参数θ，直至所述优化目标函数收敛为给定值或满足迭代停止条件。

6.根据权利要求5所述的方法，其特征在于，依次更新变分后验q(η)，q(α)和q(t)以及变分参数具体为：

根据变分EM算法，q(η)、q(α)和q(t_mj)可由变分后验的自由形式解给出：

q(η)＝N(η|E_η，V_η)，

$q\left(\mathrm{\&alpha;}\right)=\underset{y=1}{\overset{C}{\&Pi;}}\underset{j=1}{\overset{F}{\&Pi;}}Gamma\left({\mathrm{\&alpha;}}_{yj}\right|\hat{c},{\hat{d}}_{yj}),$

$q\left(t_{mj}\right)=\frac{{\mathrm{\&omega;}}_{pos}}{Z}N\left(t_{mj}\right|{\mathrm{\&mu;}}_{pos},{\mathrm{\&sigma;}}_{pos}^2)u\left(t_{mj}\right)+\frac{{\mathrm{\&omega;}}_{neg}}{Z}N\left(t_{mj}\right|{\mathrm{\&mu;}}_{neg},{\mathrm{\&sigma;}}_{neg}^2)u(-t_{mj}),$

其中，N(·|μ，τ)表示均值为μ、方差为τ的高斯分布，E_η表示分类器系数η在变分后验下的期望，V_η表示分类器系数η在变分后验下的方差，F表示主题表示的维度，表示参数为和的伽马分布，α_yj表示第y类分类器系数的第j个分量的先验参数，和为对应于α_yj的伽马分布的参数，q(t_mj)表示t_mj的变分后验分布，t_mj表示第m个视频的第j个隐含单元的输入，Z是归一化系数，u(.)表示单位阶跃函数，

${\mathrm{\&omega;}}_{pos}=N\left(\mathrm{\&alpha;}\right|\mathrm{\&beta;},\mathrm{\&gamma;}+1),{\mathrm{\&sigma;}}_{pos}^2={({\mathrm{\&gamma;}}^{-1}+1)}^{-1},{\mathrm{\&mu;}}_{pos}={\mathrm{\&sigma;}}_{pos}^2(\frac{\mathrm{\&alpha;}}{\mathrm{\&gamma;}}+\mathrm{\&beta;}),$

${\mathrm{\&omega;}}_{neg}=N\left(\mathrm{\&alpha;}\right|0,\mathrm{\&gamma;}),{\mathrm{\&sigma;}}_{neg}^2=1,{\mathrm{\&mu;}}_{neg}=\mathrm{\&beta;},\mathrm{\&alpha;}=<\frac{{\mathrm{\&eta;}}_{\&CenterDot;j}(y_m+s_m-{\mathrm{\&Sigma;}}_{j^{\&prime;}\&NotEqual;j}{\mathrm{\&eta;}}_{\&CenterDot;j^{\&prime;}}{\mathrm{At}}_{{\mathrm{mj}}^{\&prime;}}^r)}{{\mathrm{\&eta;}}_{\&CenterDot;j}{\mathrm{A\&eta;}}_{\&CenterDot;j}^T}{>}_{q\left(\mathrm{\&eta;}\right)q\left(t\right)},$

η_·j表示视频类j的分类器系数，K表示词袋表示中的总词数，b_j表示第j个隐含单元的偏置；W_ij表示连接第i个可见单元和第j个隐含单元的权重系数；v_mi表示第m个视频第i维度的词袋表示，N表示词袋表示的维度，y_m表示第m个视频的类，m表示训练集D中视频的标号，表示第m个视频的主题表示的第j′维度的值；令优化目标函数对于变分参数的导数为零可得：其中，<.>_q表示相对于分布q的期望。

7.根据权利要求5所述的方法，其特征在于，根据下列各式采用随机梯度下降法更新模型参数θ：

计算对于模型参数θ的导数：

其中，<.>_data表示相对于数据的期望，<.>_model表示相对于模型的期望，K表示词袋表示中的总词数，M表示视频的个数，N表示词袋表示的维度；W_ij表示连接第i个可见单元和第j个隐含单元的权重系数，<.>_q表示相对于分布q的期望，v_i表示视频第i维度的词袋表示，v_mi表示第m个视频第i维度的词袋表示，表示视频的主题表示的第j维度的值；表示第m个视频的主题表示的第j维度的值；b_j表示第j个隐含单元的偏置。

8.根据权利要求2所述的方法，其特征在于，所述测试视频的主题表示为：

$t_j^r=max(0,t_j),P\left(t_j\right|v;\mathrm{\&theta;})=N\left(t_j\right|{\mathrm{Kb}}_j+\underset{i=1}{\overset{N}{\&Sigma;}}{W}_{ij}{v}_i,1),$

其中，θ＝{W，a，b}，W是连接可见和隐含单元的权重系数，a和b分别是可见和隐含单元的偏置，N(·|μ，τ)表示均值为μ、方差为τ的高斯分布，t_j表示在隐含单元上第j维度的输入，N表示词袋表示的维度，K表示词袋表示中的总词数，v_i表示第i个可见单元，b_j表示第j个隐含单元的偏置，W_ij表示连接第i个可见单元和第j个隐含单元的权重系数。

9.根据权利要求1所述的方法，其特征在于，相应测试视频最后的识别结果表示为：

$\hat{y}=\underset{y\&Element;C}{\arg \max }<{\mathrm{\&eta;}}_y^T{>}_{q\left(\mathrm{\&eta;}\right)}<t^r{>}_{p\left(t\right|v;\mathrm{\&theta;})},$

其中，表示预测的类别标签，C是视频类的个数，表示相对于分布q(η)的期望，η_y表示视频类y的分类器系数，<t^r>_p(t|v；θ)表示主题变量t^r在p(t|v；θ)下的期望，t表示隐含单元的输入，v表示可见单元，θ＝{W，a，b}，W是连接可见和隐含单元的权重系数，a和b分别是可见和隐含单元的偏置。