CN105608217A - 一种基于遥感数据的热点主题展示方法 - Google Patents

Abstract

本发明提供了一种基于遥感数据的热点主题展示方法，首先从遥感数据中提取出事件元素，然后根据事件元素对事件进行分层聚类，得到分布在不同层次的事件聚类，再对各个层次的热点主题进行统计分析，得到热点主题的分布形态，最后对热点主题的分布形态进行展示。本发明能够按照特定任务空间、时间和侦察对象的关联性实现不同来源情报素材的关联，显著提高与地理空间信息的融合精度，最终实现热点专题的动态可视化展示，具备更高的效率。

Description

一种基于遥感数据的热点主题展示方法

技术领域

本发明属于地理时空数据处理与挖掘技术领域，尤其涉及一种基于遥感数据的热点主题展示方法。

背景技术

文本挖掘的主要方法是将非结构化的文本数据转化为结构化的数据形式来分析，这就是如何对文本建模的问题。当前文本建模的主要范式是概率主题模型，概率主题模型的基本思想是将文本视作无顺序的词的集合，用概率图模型来表示文本集的产生过程，并通过参数估计来定位文本集中的低维的多项式分布集合，每个多项式分布称为一个主题(Topic)，用来捕捉词与词之间的相关性。主题模型可以在不需要计算机真正理解自然语言的情况下，提取可被人理解的、相对稳定的隐含语义结构，为大规模数据集中的文档寻找一个相对短的描述。主题模型最开始的时候被当作一种降维工具使用，据LDA的作者Blei介绍其在英文文本分类上降维幅度达到99.6％的情况下依然获得良好的分类效果。此后，由于其自身有着比较坚实的统计学基础，且保留了丰富的语义特征，因而其在信息检索、文本分类、文本聚类等文本挖掘任务中开始发挥越来越重要的作用。

针对开放数据集，通过用贝叶斯方法为可变层次结构指定一个生成概率模型实现结构学习。这样的层次是随机变量，并且在数据可用情况下根据一个构建层次的算法指定，这就用到著名的嵌套中国餐馆过程。为了学习层次结构和参数，将把hLDA和嵌套中国餐馆过程相结合。一个文档的生成通过在餐馆中选一条路径，然后把词语分布到与路径相关联的主题分布的餐馆中。所有文档共享和根餐馆相关联的主题分布。随后的新文档也将依赖原始语料和所有出现在它们之前的新文档。任何新文档都可以选择树中任何层次先前没有访问过的餐馆。

hLDA是一个层次化的主题模型，不仅能够从无结构、开放式数据中学习层次主题，而且主题的个数是不需要人工设定的，可以随着数据集的增长自动的调整。层次主题模型是纯数据驱动的方式不仅实现了深层次的语义分析，而且能够识别主题间的关系，即抽象和具体的主题，促进了自然语言处理技术的发展，为使计算机更好的理解文本语言打下了坚实的基础。层次主题模型是一个比平面结构主题模型(如LDA)更高级的模型，它能够从文档集中发现潜在主题并组织成分层结构，更适合在摘要领域的应用。hLDA模型是LDA的无参化模型。在LDA模型中，需要确定主题的个数K，然后根据狄利克雷分布来确定文档中这K个主题的权重，然后确定主题，根据主题中词的概率，选择具体的词。而在hLDA中，不需要事先确定主题的个数，也就是主题的个数可以随着数据的变化而改变。层级主题模型可以建立主题的层级树，不同层级的主题反映了不同粒度的主题，越上层的主题越宽泛，越下层的主题越具体，从粗到细，实现主题的逐层分析。

发明内容

(一)要解决的技术问题

本发明的目的在于，提供一种基于遥感数据的热点主题展示方法，能够自动提取时空事件元素、推理关联聚类、生成热点专题并对其进行动态可视化展示。

(二)技术方案

本发明提供一种基于遥感数据的热点主题展示方法，热点主题包括至少一个事件，遥感数据具有所述事件的事件元素，方法包括：

S1，从遥感数据中提取出事件元素；

S2，根据所述事件元素，对事件进行分层聚类，得到分布在不同层次的事件聚类，每个事件聚类对应于一个热点主题；

S3，对各个层次的热点主题进行统计分析，得到热点主题的分布形态；

S4，对热点主题的分布形态进行展示。

(三)有益效果

本发明提供了一种基于遥感数据的热点主题展示方法，相比现有技术，其通过时空事件要素自动提取，在关联聚类推理的基础上，针对面向应用的指向性要求，能够按照特定任务空间、时间和侦察对象的关联性实现不同来源情报素材的关联，显著提高与地理空间信息的融合精度，最终实现热点专题的动态可视化展示，具备更高的效率。

附图说明

图1是本发明实施例提供的基于遥感数据的热点主题展示方法的流程图。

具体实施方式

本发明提供了一种基于遥感数据的热点主题展示方法，首先从遥感数据中提取出事件元素，然后根据事件元素对事件进行分层聚类，得到分布在不同层次的事件聚类，再对各个层次的热点主题进行统计分析，得到热点主题的分布形态，最后对热点主题的分布形态进行展示。本发明能够按照特定任务空间、时间和侦察对象的关联性实现不同来源情报素材的关联，显著提高与地理空间信息的融合精度，最终实现热点专题的动态可视化展示，具备更高的效率。

根据本发明的一种实施方式，热点主题包括一个或多个事件，遥感数据具有事件的事件元素。例如，新闻的栏目分类中，一个栏目对应一个主题，如“娱乐”、“体育”栏目，每个栏目下可以包含有多个新闻，每个新闻即可看作一个事件。方法包括：

S1，从遥感数据中提取出事件元素；遥感数据多带有时空属性，隶属于地理空间数据，随着遥感数据生产、获取技术的发展，数据的数量迅速膨胀，事件的分析以时间的属性、内容为基础，具体有数据本身的时间、空间、侦查对象等要素，通过自然语言理解领域的实体识别技术，运用通用的识别工具，并制定相应的规则，可以实现时空时间要素的提取。

S2，根据所述事件元素，对所述事件进行分层聚类，得到分布在不同层次的事件聚类，每个事件聚类对应于一个热点主题；

S3，对各个层次的热点主题进行统计分析，得到热点主题的分布形态；

S4，对所述热点主题的分布形态进行展示。

根据本发明的一种实施方式，步骤S1包括：

对所述遥感数据进行分词，并去除停用词，接着，采用StanfordNLPtool识别出所述遥感数据中的事件元素，其中，所述事件元素包括时间信息、地点信息、人物信息、国家信息和组织信息。

根据本发明的一种实施方式，步骤S2包括：

采用Beta分布对所述时间信息进行建模，得到事件聚类，其中，Beta分布的表达式为：

其中，P为Beta分布β的概率密度函数，x为随机变量，p，q是两个大于零的参数，B(p,q)定义如下；

$B(p,q)=\underset{0}{\overset{1}{\∫}}{x}^{p-1}{(1-x)}^{q-1}dx;$

利用层级模型建模不同层级的专题，其中，采样层级按照以下条件概率设定：

p(z_d,n|z_-(d,n),c,w,m,π,η)∝p(z_d,n|z_d,-n,m,π)p(w_d,n|z,c,w_-(d,n),η)

$p(z_{d,n}=k|z_{d,-n},m,\mathrm{\π})=\frac{m\mathrm{\π}+n_{d,k\backslash n}}{\mathrm{\π}+N_{d,k\backslash n}}\underset{j=1}{\overset{k-1}{\Π}}\frac{(1-m)\mathrm{\π}+N_{d,j+1\backslash n}}{\mathrm{\π}+N_{d,j\backslash n}},$

其中，z_d,n代表当前事件元素的主题分配情况，z_d,-n代表排除了所要采样的主题之后的其余观测数据的当前主题分配情况，k为主题索引，c,w,m,π,η为超参数。

根据本发明的一种实施方式，步骤S3包括：

利用话题演化模型对各个层次的热点主题进行统计分析，得到热点主题的分布形态，其中，话题演化模型的概率密度函数为：

$p(c_i=j|D,\mathrm{\α})\∝\left\{\begin{array}{c}f\left(d_{ij}\right),j\≠i\\ \mathrm{\α},i=j\end{array}\right.,$

其中，c_i代表第i个事件，D表示事件相似度，α为模型超参数，f为衰减函数，d_ij表示主题i和j的相似度；

采样路径按照以下条件分布选取：

p(c_d|w,c_-d,z,η,α,f,D_1:L-1)∝p(c_d|c_-d,α,f,D_1:L-1)p(w_d|c,w_-d,z,η)

$p\left(w_d\right|c,w_{-d},z,\mathrm{\η})=\underset{l=1,k=c_{d,l}}{\overset{L}{\Π}}\frac{{\Π}_v\mathrm{\Γ}(n_{k,v}+\mathrm{\η})}{{\Π}_v\mathrm{\Γ}(n_{k,v\backslash d}+\mathrm{\η})}\frac{\mathrm{\Γ}({\mathrm{\Σ}}_v{n}_{k,v\backslash d}+V\mathrm{\η})}{\mathrm{\Γ}({\mathrm{\Σ}}_v{n}_{k,v}+V\mathrm{\η})}$

其中，c_d代表当前事件，c_-d代表其他事件，f为衰减函数，w,z分别代表词项与主题，D_1:L-1为事件之间的相似度，其余为模型超参数。

根据本发明的一种实施方式，步骤S4包括：

将所述热点主题的分布形态在时间轴上动态展示，以刻画每一个热点专题随时间的变化状况。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明实施例提供的基于遥感数据的热点主题展示方法的流程图，如图1所示，方法包括：

步骤S101：在遥感数据中进行时空事件元素提取，主要有以下几个步骤：

1.1遥感数据预处理；

对遥感数据进行分词，去停用词等，其中分词采用计算所的中文分词工具，去停用词采用通用的停用词表；

1.2实体识别；

运用StanfordNLPtool进行实体识别，识别出原始数据遥感数据中的时间、地点、人物、国家、组织等事件元素作为事件的观测对象；

步骤S102：关联聚类推理；

对事件及抽取得到的事件元素进行关联分析，采用的方法为基于改进的层级主题模型聚类；

层次主题模型是一个比平面结构主题模型(如LDA)更高级的模型，采用层级树形结构来描述主题之间的层次关系，树上的每个节点代表一个主题；对于每篇文档，该模型首先通过中餐馆过程(CRP)为每一个文档选择一条从根节点到叶子节点的路径，该路径指定了一系列主题，然后针对文档中的每个字选择路径上的一个主题，然后根据该主题生成字；层级主题模型可以建立主题的层级树，不同层级的主题反映了不同粒度的主题，越上层的主题越宽泛，越下层的主题越具体，从粗到细，实现主题的逐层分析；针对事件中的时间特征，对数据进行聚类分析；主要步骤如下：

2.1将时间信息引入主题模型中进行联合建模，得到聚类结果，每一个聚类对应一个热点主题；

建模时间信息时选择某时间上的函数(或某随机过程)来刻画热点主题的强度变化；Beta分布相对于其他分布具有不对称性，能够更加灵活地拟合主题在时间上的演变，因此被用来建模时间信息；

Beta分布的概率密度函数：

2.2利用层级模型nCRP建模不同层级的热点主题；

采样层级按照以下条件概率设定：

p(z_d,n|z_-(d,n),c,w,m,π,η)∝p(z_d,n|z_d,-n,m,π)p(w_d,n|z,c,w_-(d,n),η)

$p(z_{d,n}=k|z_{d,-n},m,\mathrm{\π})=\frac{m\mathrm{\π}+n_{d,k\backslash n}}{\mathrm{\π}+N_{d,k\backslash n}}\underset{j=1}{\overset{k-1}{\Π}}\frac{(1-m)\mathrm{\π}+N_{d,j+1\backslash n}}{\mathrm{\π}+N_{d,j\backslash n}}$

z_d,n代表当前词的主题分配情况，z_d,-n代表排除了所要采样的主题之后的其余观测数据的当前主题分配情况，k为主题索引，c,w,m,π,η为超参数；

步骤S103：任务驱动的热点专题追踪；

利用话题演化模型ddCRP刻画各层主题的全局发展过程，并归纳和总结发展规律，得到主题分布形态。

其中，ddCRP的概率密度函数：

$p(c_i=j|D,\mathrm{\α})\∝\left\{\begin{array}{c}f\left(d_{ij}\right),j\≠i\\ \mathrm{\α},i=j\end{array}\right.$

采样路径按照以下条件分布选取：

p(c_d|w,c_-d,z,η,α,f,D_1:L-1)∝p(c_d|c_-d,α,f,D_1:L-1)p(w_d|c,w_-d,z,η)

$p\left(w_d\right|c,w_{-d},z,\mathrm{\η})=\underset{l=1,k=c_{d,l}}{\overset{L}{\Π}}\frac{{\Π}_v\mathrm{\Γ}(n_{k,v}+\mathrm{\η})}{{\Π}_v\mathrm{\Γ}(n_{k,v\backslash d}+\mathrm{\η})}\frac{\mathrm{\Γ}({\mathrm{\Σ}}_v{n}_{k,v\backslash d}+V\mathrm{\η})}{\mathrm{\Γ}({\mathrm{\Σ}}_v{n}_{k,v}+V\mathrm{\η})}$

其中，c_d代表当前事件，c_-d代表其他事件，f为衰减函数，w,z分别代表事件元素与主题，D_1:L-1为事件之间的相似度，其余为模型超参数；

步骤S104：融合动态可视化；

将热点主题的分布形态在时间轴上动态展示，刻画每一个热点专题随时间的变化状况。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于遥感数据的热点主题展示方法，热点主题包括至少一个事件，遥感数据具有所述事件的事件元素，其特征在于，方法包括：

S1，从遥感数据中提取出事件元素；

S2，根据所述事件元素，对所述事件进行分层聚类，得到分布在不同层次的事件聚类，每个事件聚类对应于一个热点主题；

S3，对各个层次的热点主题进行统计分析，得到热点主题的分布形态；

S4，对所述热点主题的分布形态进行展示。

2.根据权利要求1所述的基于遥感数据的事件预测方法，其特征在于，所述步骤S1包括：

对所述遥感数据进行分词，并去除停用词，接着，采用StanfordNLPtool识别出所述遥感数据中的事件元素，其中，所述事件元素包括时间信息、地点信息、人物信息、国家信息和组织信息。

3.根据权利要求2所述的基于遥感数据的事件预测方法，其特征在于，所述步骤S2包括：

采用Beta分布对所述时间信息进行建模，得到事件聚类，其中，Beta分布的表达式为：

其中，P为Beta分布β的概率密度函数，x为随机变量，p，q是两个大于零的参数，B(p,q)定义如下；

$B(p,q)=\underset{0}{\overset{1}{\∫}}{x}^{p-1}{(1-x)}^{q-1}dx$

利用层级模型建模不同层级的专题，其中，采样层级按照以下条件概率设定：

p(z_d,n|z_-(d,n),c,w,m,π,η)∝p(z_d,n|z_d,-n,m,π)p(w_d,n|z,c,w_-(d,n),η)

$p(z_{d,n}=k|z_{d,-n},m,\mathrm{\π})=\frac{m\mathrm{\π}+n_{d,k\backslash n}}{\mathrm{\π}+N_{d,k\backslash n}}\underset{j=1}{\overset{k-1}{\mathrm{\Π}}}\frac{(1-m)\mathrm{\π}+N_{d,j+1\backslash n}}{\mathrm{\π}+N_{d,j\backslash n}},$

其中，z_d,n代表当前事件元素的主题分配情况，z_d,-n代表排除了所要采样的主题之后的其余观测数据的当前主题分配情况，k为主题索引，c,w,m,π,η为超参数。

4.根据权利要求3所述的基于遥感数据的事件预测方法，其特征在于，所述步骤S3包括：

利用话题演化模型对各个层次的热点主题进行统计分析，得到热点主题的分布形态，其中，话题演化模型的概率密度函数为：

$p(c_i=j|D,\mathrm{\α})\∝\left\{\begin{array}{c}f\left(d_{ij}\right),j\≠i\\ \mathrm{\α},i=j\end{array}\right.,$

其中，c_i代表第i个事件，D表示事件相似度，α为模型超参数，f为衰减函数，d_ij表示主题i和j的相似度；

采样路径按照以下条件分布选取：

p(c_d|w,c_-d,z,η,α,f,D_1:L-1)∝p(c_d|c_-d,α,f,D_1:L-1)p(w_d|c,w_-d,z,η)

$p\left(w_d\right|c,w_{-d},z,\mathrm{\η})=\underset{l=1,k=c_{d,l}}{\overset{L}{\Π}}\frac{{\mathrm{\Π}}_v\mathrm{\Γ}(n_{k,v}+\mathrm{\η})}{{\mathrm{\Π}}_v\mathrm{\Γ}(n_{k,v\backslash d}+\mathrm{\η})}\frac{\mathrm{\Γ}({\mathrm{\Σ}}_v{n}_{k,v\backslash d}+V\mathrm{\η})}{\mathrm{\Γ}({\mathrm{\Σ}}_v{n}_{k,v}+V\mathrm{\η})}$

其中，c_d代表当前事件，c_-d代表其他事件，f为衰减函数，w,z分别代表词项与主题，D_1:L-1为事件之间的相似度，其余为模型超参数。

5.根据权利要求4所述的基于遥感数据的事件预测方法，其特征在于，所述步骤S4包括：

将所述热点主题的分布形态在时间轴上动态展示，以刻画每一个热点专题随时间的变化状况。