CN103488769B - 一种基于多媒体数据挖掘的地标信息检索方法 - Google Patents

Abstract

本发明公开了一种基于多媒体数据挖掘的地标信息检索方法，该方法包括以下步骤：构建地标数据库，所述地标数据库包括地标列表、地标图片集以及每张地标图片对应的元数据信息；建立时空主题模型，所述时空主题模型用于从所述地标数据库中挖掘全局主题集，位置主题集和时间主题集，所述主题集中的每一主题由来自文本词典的单词和来自视觉词典的视觉词共同表示；对于输入的检索对象，利用所述时空主题模型进行主题挖掘，并将得到的地标检索结果以主题的形式显示出来。本发明解决了旅游推荐中的地标信息检索和总结问题，以及地标各类主题尤其是时间主题挖掘的问题，并弥补了地标信息总结中单一文本模态所带来的不足。

Description

一种基于多媒体数据挖掘的地标信息检索方法

技术领域

本发明涉及多媒体数据挖掘领域，特别是一种基于多媒体数据挖掘的地标信息检索方法。

背景技术

旅游业的迅速发展使得旅游逐渐成为人们日常生活中的一部分。地标由于其独特的物理，历史和文化特征而成为人们旅游的必选之地。图片分享网站的迅速发展使得地标图片资源成爆炸式增长。用户在享受这些丰富地标资源的同时也面临着信息过载的困扰，如何对这些地标资源进行有效的组织和结构化的总结，帮助用户快速地了解地标的各个方面，从而制定合适的旅行计划，已成为学术界和工业界共同关心的课题。比较常见的方法是对收集的某一地理区域的图片集分别利用各种模态信息比如地理标签，文本和视觉特征通过一般的聚类方法得到对地标信息的总结。这些聚类方法由于不是基于语义的聚类，因而无法保证聚类的语义一致性。目前能够改进聚类结果实现语义层面上的多方面总结的方法是主题模型。现有的基于地理位置的主题模型能够挖掘该位置多个方面的主题，这些方法或者针对地标的全局主题，比如所有地标都具有的属性，或者针对地标的位置主题，比如地标独特的外观，但是忽略了地标在时间方面的挖掘。这种与时间相关的主题往往在制定旅行计划时，非常重要。例如日本著名地标清水寺(Kiyomizu-dera),除了本身所具有的位置主题寺庙风格外，两类和时间相关的主题包括春天的樱花(cherry blossom)和秋天的枫叶(red maple leaves)。如果将诸如清水寺这些地标的位置主题和时间主题同时展示给用户，用户很容易根据自己的偏好决定何时去什么地方旅游，这非常便于用户制定旅游规划。

此外，现有的基于位置的主题模型主要应用单模态的文本信息挖掘某一位置的多个方面，而多模态信息比如文本信息和视觉信息融合在一起就能够相互补充和增强，弥补单一文本模态所带来的不足，因而能够更加有效的挖掘主题。

综上所述，充分利用多模态信息包括文本信息和视觉信息能够更加有效的挖掘地标主题，同时如果能从和地标相关的信息中挖掘出多类地标主题，包括全局主题，位置主题和时间主题，就能够更好的利用这些主题全面的总结地标，进而可以帮助用户更好的进行旅游规划。

发明内容

本发明的目的是通过提供地标的多类主题尤其是时间主题，为用户提供全面的地标总结，便于用户根据自己的偏好进行旅游规划。为此，提出了一种基于多媒体数据挖掘的地标信息检索方法。

为实现上述目的，本发明提供一种基于多媒体数据挖掘的地标信息检索方法，该方法包括以下步骤：

步骤S1，构建地标数据库，所述地标数据库包括地标列表、地标图片集以及每张地标图片对应的元数据信息；

步骤S2，建立时空主题模型，所述时空主题模型用于从所述地标数据库中挖掘全局主题集，位置主题集和时间主题集，所述主题集中的每一主题由来自文本词典的单词和来自视觉词典的视觉词共同表示；

步骤S3，对于输入的检索对象，利用所述时空主题模型进行主题挖掘，并将得到的地标检索结果以主题的形式显示出来。

本发明的有益效果：本发明通过地标数据库构建，时空主题挖掘和主题可视化最终提出一种基于多媒体数据挖掘的地标信息检索方法，解决了旅游推荐中的地标信息检索和总结问题。一方面时空主题模型同时融入了位置和时间情景信息，有效解决了地标各类主题尤其是时间主题挖掘的问题；另一方面时空主题模型能够融入多模态信息挖掘主题，多模态信息融合在一起能够相互补充和增强，弥补了地标信息总结中单一文本模态所带来的不足。

附图说明

图1是本发明基于多媒体数据挖掘的地标信息检索方法的流程图；

图2是本发明中时空主题模型的图表示；

图3，图4和图5是利用本发明方法对于地标“金门大桥（Golden Gate Bridge）”，“华盛顿纪念碑（Washington Monument）”和“特拉法尔加广场（Trafalgar Square）”的可视化检索结果；

图6和图7是利用本发明方法分别在时间段“04/01/2011-04/30/2011”和“07/01/2012-07/31/2012”检索得到的对应地标及其相应的时间主题。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明基于多媒体数据挖掘的地标信息检索方法的流程图，所述方法通过挖掘地标的三类主题即全局主题，位置主题和时间主题来实现旅游推荐中的地标信息检索和总结。如图1所示，所述方法包括三个部分：1）地标数据库构建，2）时空主题建模，3）主题可视化，具体来说，所述方法包括以下步骤：

步骤S1，构建地标数据库，所述地标数据库包括地标列表、地标图片集以及每张地标图片对应的元数据信息；

所述步骤S1进一步包括以下步骤：

步骤S1.1，选择多个地标组成地标列表；

对于地标的选择，可以首先从相关旅游网页中选取旅游业较为发达的一些国家，再对于每个国家，从相关旅游网站中选取一些著名的地标，最后将这些地标构成一个地标列表。

步骤S1.2，收集所述地标列表中各个地标的图片组成地标图片集，并收集每张地标图片对应的元数据信息，所述元数据信息包括地标图片的标签等相关文本信息、时间信息和地理标签信息；

收集地标图片时，可首先利用地标名称作为关键词从图片分享网站中下载相关图片，但是由于一些地标名称可能具有多义性，而且一些图片的标注可能包含有多个地标，因此仅仅使用地标名称作为关键词收集名称图片必然导致收集到的图片中含有大量的噪音。为此，本发明首先采用地标名和相应城市名的组合作为关键词进行检索，得到地标图片集。例如，为了下载地标大本钟“Big Ben”的图片，则输入的检索关键词应为“Big Ben，London”，因为城市名称带来的约束会大大降低图片的噪音；

其次，使用可以获得的地理经纬度信息对于检索到的地标图片集进行去噪。具体来说，从相关网站中获得每一个地标的经纬度信息作为相应地标的聚类中心，通过一般的聚类方法，比如k均值方法，选择对应每个聚类中心的图片集作为该地标的图片集，而对于不含经纬度信息的图片，如果地标标注中含有的地标名称超过两个，则直接将其从图片集中移除。

步骤S2，建立时空主题模型，所述时空主题模型用于从所述地标数据库中挖掘全局主题集，位置主题集和时间主题集，所述主题集中的每一主题由来自文本词典的单词和来自视觉词典的视觉词共同表示；

考虑到与地标相关的文档通常会涉及到三类主题：全局主题，位置主题和时间主题，所述全局主题是大部分地标都拥有的主题，即某一地标的通用主题，位置主题描述某一地标特有的外观或风格，而时间主题则描述某一地标在特定时间内的主题，如果能够挖掘出这三类主题，通过这些主题就可以实现对地标的全面总结进而便于用户的地标浏览和旅游规划，为此本发明提出了时空主题模型，通过所述时空主题模型，不仅可以得到每个地标本身特有的外观和风格，还可以得到某一地标在不同时刻的显著性景色和发生在该地标附近的不同活动。

图2示出了本发明中时空主题模型的图表示，设相应的文档集合为D,位置集合为L，时间间隔集合为T，文档集合D中的每一个文档d包括一幅图片和相应的元数据信息，比如文本信息，并且每个文档对应一个地标位置l_d∈L和一个时间标签t_d∈T，同时文档集合D覆盖一个字典集合Y。

首先介绍一下文档与主题以及主题和单词之间的关系：如果给定三类主题集：全局主题集位置主题集Z^loc和时间主题集Z^tl，则文档d中的每个单词y∈Y可通过以下三种路径生成：（I）通过基于文档d的全局主题分布θ_d生成的全局主题得到单词y，这里（II）通过基于文档d对应的具体某一地标位置l_d的位置主题分布生成的位置主题z∈Z^loc得到单词y，这里和（III）通过基于文档d的某一具体地标和时间的主题分布生成的时间主题z∈Z^tl得到单词y，这里

另外，设变量x∈{gl,loc,tl}服从基于某一文档d的多项式分布Multi(π_d)，其中，{gl,loc,tl}是由gl,loc,tl组成的集合，gl表示全局主题，loc表示位置主题，tl表示时间主题，π_d={p(x|d)}_{x∈{gl,loc,tl}}表示某一文档d属于其中某一类主题的概率。

设ψ_l为位置主题分布，其为一维度为|L|×|Z^loc|的矩阵，|·|表示求取·的基，φ_(t,l)为基于位置和时间的主题分布，其为一维度为|LT|×|Z^tl|的矩阵，其中|LT|=|L|×|T|。为某一类主题x的单词分布，其为一维度为|Z^x|×|Y|的矩阵，这里其中x∈{gl,loc,tl}。

基于上述，文档集合D中的文档d的具体生成过程可描述如下：

对于文档d中的每一个单词y_d,n∈Y，其中，n为文档d中单词的序号，首先，对于该单词y_d,n的主题归属x_d,n进行抽样，其中x_d,n～Multi(π_d)；如果x_d,n=gl，即该单词y_d,n属于全局主题，则在所述全局主题集Z^gl中进行采样，得到与该单词对应的某一全局主题z_d,n，其中z_d,n～Multi(θ_d)，θ_d表示全局主题分布；如果x_d,n=loc，即该单词y_d,n属于位置主题，则在所述位置主题集Z^loc中进行采样，得到与该单词对应的某一位置主题z_d,n，其中 表示位置主题分布；如果x_d,n=tl，即该单词y_d,n属于时间主题，则在所述时间主题集Z^tl中进行采样，得到与该单词对应的某一时间主题z_d,n，其中 表示地标和时间主题分布；然后对得到的主题进行采样，得到文档d中的每一个单词值得注意的是字典集合Y由可视化字典集Ｖ和文本字典集W组成，文档d中的单词y不仅包括文本字典集W中的文本词，还包括来自可视化字典集V中的视觉词。通过该生成过程得到的主题最终是由文本词和视觉词两种模态信息共同表示。

所述时空主题模型的生成过程实际上是上述单词生成过程的逆过程，具体来说：

首先，根据文档集合D的生成过程，对基于文档集合D的似然估计如下表示：

其中，n(d,y)表示单词y在文档集合D中的文档d中出现的频率。

此外，考虑到位置主题的发生应该与对应的地标非常相关，因此通过位置主题集合Z^loc和位置集合L之间的互信息来表示他们之间的这种相关性：

其中，D_KL(.||.)代表Kullback-Leibler散度，概率分布{p(l)}_l∈L被设成均匀分布，

同样的，考虑到每个时间主题与对应的位置和时间相关，因此基于位置和时间的相关性被定义为：

其中，概率分布{p(t,l)}_{(t,l)∈(T,L)}被设成均匀分布，

然后，通过求解如下优化问题对于待定参数进行估计：

max(L(D)+λ₁I_l+λ₂I_(t,l))(4)

其中，λ₁和λ₂为正则化项系数。

由于I_l和I_(t,l)的引入，本发明使用归一化的期望最大值算法（GEM）来求解待定参数：文档中各类主题比例的分布P(x|d)，基于文档的全局主题分布θ_d，基于位置的主题分布ψ_l，基于时间和位置的主题分布φ_(t,l)，基于主题的词分布这里x∈{gl,loc,tl}。

最后，根据求得的参数得到全局主题集，位置主题集和时间主题集，其中来自词典集Y的包括文本词和视觉词中的每个词y以某一概率值赋予每个主题，这些概率值构成的长向量实现了对于每个主题的特征表示，而高概率值的文本词则构成了对这个主题的语义表示。

步骤S3，对于输入的检索对象，利用所述时空主题模型进行主题挖掘，并将得到的地标检索结果显示出来。

由上可知，通过所述时空主题模型，本发明挖掘出三类地标主题，对于用户输入的检索对象，比如某一地标关键词，就可以使用所述时空主题模型进行检索，并将检索得到的对于该地标的总结结果相应地显示出来。

显示时，为了更好的展示每一个发现的地标主题，本发明通过该主题代表性的关键词和图片共同来表示该地标主题，其中，对于与某一地标主题相关的关键词，通过主题-词分布p(w|z)的概率对其进行排序，位于前面的关键词认为是该地标主题最具代表性的关键词；而最具代表性的图片则是根据下式所示的主题Z_i和文档d_j之间的相似度计算得到：

其中，(w,v)为文本词和视觉词连在一起构成的特征向量。相似度取值较高的图片认为是该地标主题最具代表性的图片。

为了评估本发明，对20个地标进行实验。对于每个地标，从图片分享网站Flickr中爬取他们的图片集，同时爬取每张图片对应的元数据信息包括图片的标签等文本，时间和地理标签信息。这些图片的时间拍摄范围为01/01/2010到12/31/2012。图3，图4和图5展示了地标金门大桥（Golden Gate Bridge），华盛顿纪念碑（Washington Monument）和特拉法尔加广场（Trafalgar Square）的可视化总结结果。从图中得出，时空主题模型能够有效的挖掘全局主题，位置主题和时间主题三类地标主题，同时可以让用户根据自己的偏好决定何时去哪里旅游。比如，对于一些喜欢航空的爱好者，可以选择在每年10月的第二个星期去金门大桥旅行。此外，这些主题可以让用户通过一些主题深刻理解地标的社会功能，比如发生在美国华盛顿纪念碑每年的庆祝独立日活动和在特拉法尔加广场经常发生的一些游行活动等。

图6和图7是本发明分别在时间段“04/01/2011-04/30/2011”和“07/01/2012-07/31/2012”对应的地标及其相应的时间主题结果。通过返回的结果用户可以在适当的时间根据自己的偏好选择不同的地标，一方面通过这些时间主题可以为用户在不同的时间段推荐不同的地标和相应的景点，比如在时间段“04/01/2011-04/30/2011”，去日本的清水寺可以观赏樱花。另一方面可以根据在地标附近发生的事件判断地标的流行度。比如在时间段“07/01/2012-07/31/2012”，由于这个时间段奥运会在英国举行，如图7所示，在伦敦的一些著名地标比如大本钟，白金汉宫附近发生了一些奥运赛事。最终这些返回的结果便于用户的旅游规划。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多媒体数据挖掘的地标信息检索方法，其特征在于，该方法包括以下步骤：

步骤S1，构建地标数据库，所述地标数据库包括地标列表、地标图片集以及每张地标图片对应的元数据信息；

步骤S2，建立时空主题模型，所述时空主题模型用于从所述地标数据库中挖掘全局主题集，位置主题集和时间主题集，所述主题集中的每一主题由来自文本词典的单词和来自视觉词典的视觉词共同表示；

步骤S3，对于输入的检索对象，利用所述时空主题模型进行主题挖掘，并将得到的地标检索结果以主题的形式显示出来；

所述时空主题模型的生成包括以下步骤：

首先，对所述时空主题模型中的文档集合D进行似然估计：

其中，Y表示文档集合D覆盖的一个字典集合，n(d，y)表示单词y在文档集合D中的文档d中出现的频率，p(x＝gl|d)表示文档d属于全局主题的概率，Z^gl表示全局主题集，θ_d，z表示基于文档d的全局主题分布θ_d中的一个元素；表示全局主题的单词分布中的一个元素，P(x＝loc|d)表示文档d属于位置主题的概率，Z^loc表示位置主题集，表示文档d对应的具体某一地标位置l_d的位置主题分布中的一个元素，表示位置主题的单词分布中的一个元素，P(x＝t1|d)表示文档d属于时间主题的概率，Z^tl表示时间主题集，表示文档d的某一具体地标和时间的主题分布中的一个元素，表示时间主题的单词分布中的一个元素；

然后，计算位置主题集Z^loc和位置集合L之间的相关性I_l；

然后，计算每个时间主题与对应的位置和时间之间的相关性I_(t，l)；

然后，通过求解如下优化问题对于待定参数进行估计，所述待定参数包括：文档中各类主题比例的分布P(x|d)，基于文档的全局主题分布θ_d，基于位置的主题分布ψ_l，基于时间和位置的主题分布φ_(t，l)，基于主题的词分布x∈{gl，loc，tl}；所述优化问题如下表示：

max(L(D)+λ₁I_l+λ₂I_(t，l))，

其中，λ₁和λ₂为正则化项系数；

最后，根据求得的参数得到全局主题集，位置主题集和时间主题集。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括以下步骤：

步骤S1.1，选择多个地标组成地标列表；

步骤S1.2，收集所述地标列表中各个地标的图片组成地标图片集，并收集每张地标图片对应的元数据信息，所述元数据信息包括地标图片的标签的相关文本信息、时间信息和地理标签信息。

3.根据权利要求1所述的方法，其特征在于，所述全局主题为某一地标的通用主题，所述位置主题描述某一地标特有的外观或风格，所述时间主题描述某一地标在特定时间内的主题。

4.根据权利要求1所述的方法，其特征在于，位置主题集Z^loc和位置集合L之间的相关性通过他们之间的互信息来表示：

$\begin{array}{c}{I}_l(L;Z^{loc})=\underset{l\∈L}{\Σ}\underset{z\∈Z^{loc}}{\Σ}p(l,z)\log \frac{p(l,z)}{p\left(l\right)p\left(z\right)}\\ =\underset{l\∈L}{\Σ}p\left(l\right)D_{KL}\left({\mathrm{\ψ}}_l\right|\left|\stackrel{\‾}{{\mathrm{\ψ}}_l}\right)\end{array},$

其中，D_KL(.||.)代表Kullback-Leibler散度，ψ_l表示位置主题分布，Ψ_l，z表示ψ_l中的一个元素，p(l，z)表示位置变量l和位置主题变量z的联合概率分布，p(l)表示位置变量l的边缘概率分布，p(z)表示位置主题变量z的边缘概率分布。

5.根据权利要求1所述的方法，其特征在于，每个时间主题与对应的位置和时间之间的相关性定义为：

$\begin{array}{c}{I}_{(t,l)}\left(\right(L,T);Z^{tl})=\underset{(t,l)}{\Σ}\underset{z\∈Z^{tl}}{\Σ}p\left(\right(t,l),z)\log \frac{p\left(\right(t,l),z)}{p(t,l)p\left(z\right)}\\ =\underset{(t,l)}{\Σ}p(t,l)D_{KL}\left({\mathrm{\φ}}_{(t,l)}\right|\left|\stackrel{\‾}{{\mathrm{\φ}}_{(t,l)}}\right)\end{array},$

其中，T表示时间间隔集合，p((t，l)，z)表示位置时间变量对(t，l)和时间主题变量z的联合概率分布，p(t，l)表示位置变量l和时间变量t的联合概率分布，p(z)表示时间主题变量的概率分布，D_KL(.||.)代表Kullback-Leibler散度，φ_(t，l)表示基于位置和时间的主题分布，φ_(t，l)，z表示φ_(t，l)中的一个元素。

6.根据权利要求1所述的方法，其特征在于，来自词典集Y的每个词y以某一概率值赋予每个主题，这些概率值构成的长向量实现了对每个主题的特征表示，而高概率值的文本词则构成了对这个主题的语义表示。

7.根据权利要求1所述的方法，其特征在于，所述步骤S3中，显示所述地标检索结果时，使用具有代表性的关键词和图片来共同表示相应的主题。

8.根据权利要求7所述的方法，其特征在于，对于与某一主题相关的关键词，通过主题-词分布的概率对其进行排序，位于前面的关键词认为是该主题具有代表性的关键词。

9.根据权利要求7所述的方法，其特征在于，选择具有代表性的图片时，根据下式计算主题Z_i和文档d_j之间的相似度：

$sim(Z_i,d_j)=\frac{(w_{z_i},v_{z_i})(w_{d_j},v_{d_j})}{\left|(w_{z_i},v_{z_i})\right|\left|(w_{d_j},v_{d_j})\right|},$

其中，(w，v)为文本词和视觉词连在一起构成的特征向量；

所述相似度取值较高的图片认为是该主题具有代表性的图片。