CN103955524B - 一种基于超图模型的与事件相关的社会化图像查找算法 - Google Patents

Abstract

本发明公开了一种基于超图模型的与事件相关的社会化图像查找算法，其特征是按如下步骤进行：1提取所述社会化图像的模态特征；任意的社会化图像分别建立超边；3由超边集合构成超图模型；4建立基于超图模型的排序模型；5采用凸优化理论获得最优解。本发明能够充分利用文档中的多模态信息，对互联网平台的社会化图像进行关联和归档，从而准确查找到与事件最相关的社会化图像。

Description

一种基于超图模型的与事件相关的社会化图像查找算法

技术领域

本发明涉及社交媒体检索，尤其涉及一种基于超图模型的与事件相关的社会化图像查找算法。

背景技术

随着社会化多媒体的快速发展，大量媒体数据被共享到互联网上。挖掘社会化多媒体信息之间的潜在关联，高效地进行社会媒体组织和管理成为一个有现实意义的技术难题。近年来，事件作为一种非常有效的信息管理手段，得到了学术界越来越多的关注。目前互联网上面存在不同模态数据的共享平台，而记录事件的相关图像被不同的用户，以不同的格式共享到这些平台上。如何从互联网上大量的社交媒体数据中，查找相关多媒体文档，以便对事件进行可视化的展示成为现在的研究趋势。

目前存在的一些事件和多媒体文档关联查找的方法，主要通过计算两种对象之间单一模态(特别是文本)之间的相似性，或者利用多模态信息的简单融合进行查找相关多媒体文档，没有对多模态信息之间的相关性进行足够的挖掘。

在机器学习领域，超图模型是一种能够有效的对多种模态信息建模的方法，这种方法在聚类、分类、排序等多种问题上得到了广泛的应用。但是因为如下原因，目前所提出的超图模型在处理事件和多媒体查找的问题时，存在以下的缺陷和不足：

第一，传统的超图模型中，顶点对超边的归属采用简单的0/1表示，无法体现出不同顶点和超边的隶属关系上的差异。

第二，超图模型一般通过最近邻(KNN)策略建立，即由每一个文档以及其K近邻组成一条超边，其中的近邻参数K的选取直接影响算法性能，但是近邻参数K不好选取。

第三，对于不同的特征模态，在表示事件和文档关系时具有不同的权重，而传统的超图模型因选取统一的权重而没有对超边的权重进行优化，从而无法获得最优查找结果。

发明内容

本发明是为避免现技术所存在的不足之处，提出一种基于超图模型的与事件相关的社会化图像查找算法，能够充分利用文档中的多模态信息，对互联网平台的社会化图像进行关联和归档，从而准确查找到与事件最相关的社会化图像。

本发明为解决技术问题采用如下技术方案：

本发明一种基于超图模型的与事件相关的社会化图像查找算法的特点是按如下步骤进行：

步骤1、提取所述社会化图像D＝{d_i,1≤i≤n}的模态特征，所述模态特征包括文本特征、图像特征、时间特征和空间特征，所述文本特征采用TF-IDF模型表示，所述图像特征采用Bag ofWord模型表示，所述时间特征采用社会化图像的拍摄时间表示，所述空间特征采用社会化图像拍摄地点的GPS信息表示；

步骤2、对任意的社会化图像d_i，根据所述模态特征分别建立超边e_i：

步骤2.1、计算所述社会化图像d_i的模态特征分别与其他社会化图像d_j(j≠i)在相应的特征空间的距离，获得与所述社会化图像d_i最邻近的K个社会化图像；所述社会化图像d_i与所述K个社会化图像构成超边e_i；

步骤2.2、利用式(1)获得所述社会化图像d_j和所述超边e_i在第m种模态下的隶属关系：

式(1)中函数Sim：

式(2)中，f_i ^m和f_j ^m分别表示第m种模态下所述社会化图像d_i和其他社会化图像d_j的模态特征；m＝1,2,3或4；

步骤3、由所述四种模态特征建立的超边集合E构成超图模型，所述超图模型的隶属关系矩阵H：

H＝[H¹,H²,H³,H⁴] (3)

步骤4、利用式(4)建立基于超图模型的排序模型

式(4)中，f表示社会化图像与事件的相关性；w表示所述排序模型中每条超边的权重向量，∑w_i＝1，Ω(f)表示所述排序模型的经验损失函数；R_emp(f)表示所述排序模型的判别损失函数；Φ(w)表示所述排序模型的权重优化函数；λ和μ分别为所述排序模型的参数；并有：

4.1、经验损失函数Ω(f)：

式(5)中，δ(e)表示所述排序模型的超边度向量，并有：

式(5)中，d(v)表示所述排序模型的顶点度向量，并有：

由所述权重向量w、超边度向量δ(e)和顶点度向量d(v)分别构成权重对角矩阵W，超边度对角矩阵D_v和顶点度对角矩阵D_e；

令则经验损失函数简化为：

Ω(f)＝f^T(I-Θ)f (8)

式(8)中，I表示单位矩阵；

4.2、判别损失函数R_emp(f)：

R_emp(f)＝||f-y||² (9)

式(9)中，y为所述社会化图像的初始化标定；

4.3、权重优化函数Φ(w)：

Φ(w)＝||w||₂ (10)

步骤5、根据式(4)对w进行固定获得式(11)：

式(11)中，F对f求导，并令导数为零获得式(12)：

步骤6、利用式(4)对社会化图像与事件的相关性f进行固定获得式(13)，并采用凸优化理论中的内点法获得式(13)的最优解：

s.t.Σw_i＝1 (13)

步骤7、重复步骤5和步骤6直至求出的社会化图像与事件的相关性f不再变化为止，此时社会化图像与事件的相关性f为最优的社会化图像和事件相关性，根据所述最优的社会化图像与事件的相关性f对社会化图像D＝{d_i,1≤i≤n}中的图像进行排序，从而找到与事件最为相关的社会化图像。

与已有技术相比，本发明有益效果体现在：

1、本发明对多媒体数据的多种模态特征采用超图模型进行统一建模；采用根据社会化图像和超边中心点的相似性表示该文档和模型中超边的隶属关系，使得不同社会化图像在构建超边中存在的差异能够得到保留；并采用正则化算子优化不同超边的权重，从而能够有效的、准确根据事件信息对互联网平台的社会化媒体数据进行关联和归档，获得与事件最相关的社会化图像。

2、本发明通过对近邻策略每一种模态建立一组超边，使得整个的超图模型由不同模态建立的超边组合而成，从而能够深层次的挖掘不同模态中的信息，以客服现有的方法中对不同模态的信息利用不够充分的问题。

3、本发明在超边建立过程中，根据社会化图像之间的相似度计算社会化图像和超边的隶属关系，不同社会化图像在构成超边中存在的差异能够得到保留，从而能够更为准确的建立超图模型。

4、本发明整个超图模型为不同模态建立的超边集合而成，以弱化近邻参数对模型的影响力，解决了传统超图模型中近邻参数难以选取的问题，进而提升了系统的鲁棒性。

5、本发明采用超边的权重建立模态之间的关联，并采用具有正则化策略的权重优化函数对权重进行优化，以体现不同模态在模型中不同的重要程度，进一步提升算法性能。

具体实施方式

本实施例中，一种基于超图模型的与事件相关的社会化图像查找算法是按如下步骤进行：

步骤1、提取社会化图像D＝{d_i,1≤i≤n}的模态特征，模态特征包括文本特征、图像特征、时间特征和空间特征，文本特征从社会化图像的标题和标签文本中提取，并采用TF-IDF模型表示，图像特征采用Bag ofWord模型表示：首先从社会化图像中提取SIFT特征，通过聚类的方法得到SIFT特征的中心点，并把SIFT特征投影到各个不同的聚类中心点，从而得到Bag ofWord特征；时间特征采用社会化图像的拍摄时间表示，空间特征采用社会化图像拍摄地点的GPS信息表示；

步骤2、对任意的社会化图像d_i，根据四种不同的模态特征分别建立超边e_i：

步骤2.1、计算社会化图像d_i的模态特征分别与其他社会化图像d_j(j≠i)在相应的四种不同的特征空间的距离，获得与社会化图像d_i最邻近的K个社会化图像；社会化图像d_i与K个社会化图像相连接构成超边e_i；

步骤2.2、利用式(1)获得社会化图像d_j和超边e_i在第m种模态下的隶属关系：

式(1)中函数Sim的定义如式(2)所示：

式(2)中，f_i ^m和f_j ^m分别表示第m种模态下社会化图像d_i和其他社会化图像d_j的模态特征；m＝1,2,3或4；

步骤3、根据步骤2，所有的社会化图像分别在四种模态下建立一组超边，并由四种模态特征建立的超边集合E构成超图模型，超图模型的隶属关系矩阵H：

H＝[H¹,H²,H³,H⁴] (3)

步骤4、利用式(4)建立基于超图模型的排序模型

式(4)中，f表示待求的社会化图像与事件的相关性；w表示排序模型中每条超边的权重向量，并有Σw_i＝1，Ω(f)表示排序模型的经验损失函数；R_emp(f)表示排序模型的判别损失函数；Φ(w)表示排序模型的权重优化函数；λ和μ分别为排序模型的参数，本实施例中，选取的最优参数λ＝1.0、μ＝1.2。并有：

4.1、经验损失函数Ω(f)：

式(5)中，δ(e)表示排序模型的超边度向量，并有：

式(5)中，d(v)表示排序模型的顶点度向量，并有：

由权重向量w、超边度向量δ(e)和顶点度向量d(v)分别构成权重对角矩阵W，超边度对角矩阵D_v和顶点度对角矩阵D_e；

为了表示的方便，令则经验损失函数简化为：

Ω(f)＝f^T(I-Θ)f (8)

式(8)中，I表示单位矩阵；

4.2、判别损失函数R_emp(f)：

R_emp(f)＝||f-y||² (9)

式(9)中，y为社会化图像的初始化标定，并采用已有的单模态融合的方法得到，这里同时取事件和社会化图像的文本、时间、空间三种模态特征，定义社会化图像d_i和事件E的相关性如下：

式(10)中，f_i ^m和f_e ^m分别表示社会化图像d_i和事件E的第m种模态特征，sim函数值可以根据式(2)获得。利用式(10)表征社会化图像和事件在单模态上面的乘积来近似他们的相似性。

4.3、权重优化函数Φ(w)：

Φ(w)＝||w||₂ (11)

步骤5、定义的排序模型函数式(4)是一个非凸优化问题，不能通过求导的方法得到全局最优解。但是，如果函数固定f求w，或者固定w求解f，则函数可以转换成凸优化问题。因此本实施例中，采用迭代优化的方法，在每次迭代中依次优化f和w，从而得到模型的最优解。

首先，根据式(4)对w进行固定获得式(12)：

式(12)中，F对f求导，并令导数为零获得式(13)：

步骤6、利用式(4)对社会化图像与事件的相关性f进行固定获得式(14)，并采用凸优化理论中的内点法获得式(14)的最优解：

s.t.∑w_i＝1 (14)

令

则式(14)的求解可以转成如式(15)的二阶锥问题：

式(15)的二阶锥问题的优化可以采用内点法进行求解。

步骤7、重复步骤5和步骤6直至求出的社会化图像与事件的相关性f不再变化为止，此时社会化图像与事件的相关性f为最优的社会化图像和事件相关性，根据最优的社会化图像与事件的相关性f对社会化图像集合D＝{d_i,1≤i≤n}中的图像进行排序，从而找到与事件最为相关的社会化图像。

实施例：

为了验证本专利中算法的效果，从事件集合Eventmedia中选取了60个事件，并根据这60个事件建立了一个包含23K个Flickr文档的图像集合。采用TF-IDF，Bag-of-Visual-Word模型表示文档中的文本和图像信息，采用对聚类中心的索引表示其中的时间和空间特征，并根据事件的相关属性，选择一组和事件相关的初始化文档样本。根据本实施例的相关描述，建立超图模型。

为了客观的评价本专利提出的方案的性能，采用平均准确率，对不同实验条件下的结果进行了评测，具体结果如下表1和表2所示：

表1不同模态特征的实验结果

	平均准确率
		多模态融合	0.95
文本特征	0.897
		时空特征	0.616
图像特征	0.463

从表1中可以看出，相比单模态的方法，采用多模态融合，能够提高查找事件相关的社会化图像的准确率。

表2不同模型系数的实验结果

	λ＝0.02	λ＝0.2	λ＝2	λ＝20
					μ＝0.005	0.875	0.881	0.905	0.9
μ＝0.05	0.93	0.934	0.939	0.936
					μ＝0.5	0.932	0.943	0.95	0.947
μ＝5	0.933	0.941	0.944	0.938
					μ＝50	0.933	0.94	0.937	0.936

从表2可以看出，本专利提出的模型，对于参数变化，有较好的鲁棒性。

Claims (1)

1.一种基于超图模型的与事件相关的社会化图像查找算法，其特征是按如下步骤进行：

步骤1、提取所述社会化图像D＝{d_i,1≤i≤n}的模态特征，所述模态特征包括文本特征、图像特征、时间特征和空间特征，所述文本特征采用TF-IDF模型表示，所述图像特征采用Bag of Word模型表示，所述时间特征采用社会化图像的拍摄时间表示，所述空间特征采用社会化图像拍摄地点的GPS信息表示；

步骤2、对任意的社会化图像d_i，根据所述模态特征分别建立超边e_i：

步骤2.1、计算所述社会化图像d_i的模态特征分别与其他社会化图像d_j(j≠i)在相应的特征空间的距离，获得与所述社会化图像d_i最邻近的K个社会化图像；所述社会化图像d_i与所述K个社会化图像构成超边e_i；

步骤2.2、利用式(1)获得所述社会化图像d_j和所述超边e_i在第m种模态下的隶属关系：

式(1)中函数Sim：

$Sim(d_j,d_i)=e^{-{(f_i^m-f_j^m)}^2}---\left(2\right)$

式(2)中，f_i ^m和分别表示第m种模态下所述社会化图像d_i和其他社会化图像d_j的模态特征；m＝1,2,3或4；

步骤3、由所述四种模态特征建立的超边集合E构成超图模型，所述超图模型的隶属关系矩阵H：

H＝[H¹,H²,H³,H⁴] (3)

步骤4、利用式(4)建立基于超图模型的排序模型

$\arg \underset{f,w}{min}F=\arg \underset{f,w}{min}\{\mathrm{\Ω}\left(f\right)+{\mathrm{\λR}}_{emp}\left(f\right)+\mathrm{\μ}\mathrm{\Φ}\left(w\right)\}---\left(4\right)$

式(4)中，f表示社会化图像与事件的相关性；w表示所述排序模型中每条超边的权重向量，∑w_i＝1，Ω(f)表示所述排序模型的经验损失函数；R_emp(f)表示所述排序模型的判别损失函数；Φ(w)表示所述排序模型的权重优化函数；λ和μ分别为所述排序模型的参数；并有：

4.1、经验损失函数Ω(f)：

$\mathrm{\Ω}\left(f\right)=\frac{1}{2}\underset{e\∈E}{\mathrm{\Σ}}\underset{u,v\∈V}{\mathrm{\Σ}}\frac{w\left(e\right)H\left(u,e\right)H\left(v,e\right)}{\mathrm{\δ}\left(e\right)}{\left(\frac{f\left(u\right)}{\sqrt{d\left(u\right)}}-\frac{f\left(v\right)}{\sqrt{d\left(v\right)}}\right)}^2---\left(5\right)$

式(5)中，δ(e)表示所述排序模型的超边度向量，并有：

$\mathrm{\δ}\left(e\right)=\underset{e\∈E}{\Σ}H(v,e)---\left(6\right)$

式(5)中，d(v)表示所述排序模型的顶点度向量，并有：

$d\left(v\right)=\underset{e\∈E}{\Σ}w\left(e\right)H(v,e)---\left(7\right)$

由所述权重向量w、超边度向量δ(e)和顶点度向量d(v)分别构成权重对角矩阵W，超边度对角矩阵D_v和顶点度对角矩阵D_e；

令则经验损失函数简化为：

Ω(f)＝f^T(I-Θ)f (8)

式(8)中，I表示单位矩阵；

4.2、判别损失函数R_emp(f)：

R_emp(f)＝||f-y||² (9)

式(9)中，y为所述社会化图像的初始化标定；

4.3、权重优化函数Φ(w)：

Φ(w)＝||w||₂ (10)

步骤5、根据式(4)对w进行固定获得式(11)：

$\arg \underset{f}{min}F=\arg \underset{f}{min}\{f^T(I-\mathrm{\Θ})f+\mathrm{\λ}||f-y|{|}^2\}---\left(11\right)$

式(11)中，F对f求导，并令导数为零获得式(12)：

$f=\frac{\mathrm{\λ}}{1+\mathrm{\λ}}{(I-\frac{\mathrm{\Θ}}{1+\mathrm{\λ}})}^{-1}y---\left(12\right)$

步骤6、利用式(4)对社会化图像与事件的相关性f进行固定获得式(13)，并采用凸优化理论中的内点法获得式(13)的最优解：

$\arg \underset{w}{min}F=\arg \underset{w}{min}\{\mathrm{\Ω}\left(f\right)+\mathrm{\μ}\mathrm{\Σ}|\left|w_i\right|{|}_2\}$

s.t.Σw_i＝1 (13)

步骤7、重复步骤5和步骤6直至求出的社会化图像与事件的相关性f不再变化为止，此时社会化图像与事件的相关性f为最优的社会化图像和事件相关性，根据所述最优的社会化图像与事件的相关性f对社会化图像D＝{d_i,1≤i≤n}中的图像进行排序，从而找到与事件最为相关的社会化图像。