CN104331483A - 基于短文本数据的区域事件检测方法和设备 - Google Patents

基于短文本数据的区域事件检测方法和设备 Download PDF

Info

Publication number
CN104331483A
CN104331483A CN201410635944.6A CN201410635944A CN104331483A CN 104331483 A CN104331483 A CN 104331483A CN 201410635944 A CN201410635944 A CN 201410635944A CN 104331483 A CN104331483 A CN 104331483A
Authority
CN
China
Prior art keywords
text data
matrix
sample text
word
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410635944.6A
Other languages
English (en)
Other versions
CN104331483B (zh
Inventor
胡春明
文章乐
沃天宇
随培培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201410635944.6A priority Critical patent/CN104331483B/zh
Publication of CN104331483A publication Critical patent/CN104331483A/zh
Application granted granted Critical
Publication of CN104331483B publication Critical patent/CN104331483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于短文本数据的区域事件检测方法和设备,该方法包括:获取待处理的短文本数据,所述短文本数据中包括位置信息;根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据;分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重;根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵;对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。从而克服了现有技术中无法对短文本数据信息进行有效的处理以进行归纳和分类的问题。

Description

基于短文本数据的区域事件检测方法和设备
技术领域
本发明属于数据挖掘技术领域,尤其是涉及一种基于短文本数据的区域事件检测方法和设备。
背景技术
随着互联网技术的蓬勃发展,越来越多的用户通过比如论坛、微博等社交网络平台来发布各种新闻或者发表个人对一些社会现象的意见。微博由于其独特的通信服务,如便捷性、即时性和易用,允许用户快速响应和无限制的传播信息内容,得到了越来越广泛的应用。数亿用户利在微博上通过短文本数据进行信息的传送和评论,爆炸式的数据信息带来前所未有的价值的同时,也给互联网安全检测和分析带来了巨大的挑战,对海量的数据信息进行有效的事件挖掘成为各搜索引擎主要研究的问题。
目前,对事件进行发现和挖掘比较有效的方法是聚类方法。聚类方法首先对数据进行聚类,然后通过一个相似度阈值约束,将得到的主题结果进行分类,分类结果中一类是历史事件的演变,另一类是新发现的事件,然而该方法并不能对数据进行静态的分析,将当前数据信息按事件进行归纳和分类,且聚类方法也不适用于对短文本数据信息的分析。
发明内容
本发明提供一种基于短文本数据的区域事件检测方法和设备,用以克服现有技术中无法对短文本数据信息进行有效的处理以进行归纳和分类的问题。
本发明提供了一种基于短文本数据的区域事件检测方法,包括:
获取待处理的短文本数据,所述短文本数据中包括位置信息;
根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据;
分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重;
根据所述样本文本数据中各词的权重构建所述样本文本数据对应的词—样本文本矩阵;
对所述词—样本文本矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
本发明提供了一种基于短文本数据的区域事件检测设备,包括:
获取模块,用于获取待处理的短文本数据,所述短文本数据中包括位置信息;
选取模块,用于根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据;
运算模块,用于分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重;
构建模块,用于根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵;
所述运算模块,还用于对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
本发明提供的基于短文本数据的区域事件检测方法和设备,通过获取待处理的短文本数据,所述短文本数据中包括位置信息;根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据;分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重;根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵;对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。从而克服了现有技术中无法对短文本数据信息进行有效的处理以进行归纳和分类的问题。
附图说明
图1为本发明提供的基于短文本数据的区域事件检测方法实施例一的流程示意图;
图2A为本发明提供的基于短文本数据的区域事件检测方法实施例二对应S120的流程示意图;
图2B为本发明提供的基于短文本数据的区域事件检测方法实施例二对应S140的流程示意图;
图3为本发明提供的基于短文本数据的区域事件检测设备实施例一的结构示意图。
具体实施方式
图1为本发明提供的基于短文本数据的区域事件检测方法实施例一的流程示意图。如图1所示,该方法包括:
S100,获取待处理的短文本数据,所述短文本数据中包括位置信息。
本实施例提供的方法可以适用于对互联网上的各种应用所产生的短文本信息中的海量数据进行区域事件分类处理,尤其适用于诸如微博等社交网络,该方法可以由一短文本数据的处理设备来执行,该处理设备例如可以为某中应用的管理平台。
以微博为例,每天都会有大量的各种各样的数据信息在微博上进行传播,为了便于广大普遍用户能够在海量的微博数据中快速有效地搜索到自身需要的信息,或者为了使普通用户、政府机构等用户能够及时获知社会热点,需要对海量的微博数据进行事件分类。值得说明的是,本实施例中主要是针对短文本类型的数据信息进行处理,称之为短文本数据。而且,本实施例中所述的事件,并非一般意义上的某件完整的事情或新闻,而是指用一些关键词表征的词语集合,一个事件中包含的关键词往往具有一定的关联,比如这些关键词同时在很多条数据文本中都同时出现过,因此,这些关键词也一定程度上反映了当前微博中的关注热点。
S110,根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据。
具体来说,微博数据中包含城市级别地理位置信息,具体的,微博中的位置信息为城市信息,本发明各实施例中以位置信息为城市为例进行说明。若短文本数据的处理设备要对城市“北京”的微博数据进行分类处理,则在获得了比如某一天的微博数据即待处理的短文本数据后,从待处理的短文本数据中选取出与“北京”对应的短文本数据作为样本文本数据。
S120,分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重。
短文本数据处理设备选出样本数据后,对每个样本文本数据进行分词处理,比如采用现有的NLPIR汉语分词系统对每个数据文件进行分词处理,从而将每个短文本数据按照词语为单位进行划分,得到每个数据文本中包含的各个词语。通过对待处理数据中的每个数据文本都进行分词处理,从而能够得到待处理数据中包含的所有词语,并计算各样本文本数据中各词在该样本文本中的权重。
S130,根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵。
具体的,本实施例中的样本文本—词矩阵中,各列向量为各个样本文本中的各个词的权重值,各行向量为处理设备选取的各个样本文本数据。
S140,对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
进而,对该样本文本—词矩阵进行矩阵分解,其中,矩阵分解是现有技术中的现有矩阵分解方法,此处不做赘述。矩阵分解可以得到两个矩阵,分别为样本文本—事件矩阵和事件—词矩阵。矩阵分解得到的两个矩阵的乘积是该样本文本—词矩阵的近似表达,分解的结果保证了在同一位置上的元素,在分解前后的误差值为正数,从而使分解后的元素具有与分解前该元素基本等同的表达。样本文本—事件矩阵中各元素表明各样本文本中的词与各事件的相关度,相关度最大的即表明该样本文本与该事件最相关,即该样本文本属于该事件。
本发明提供的基于短文本数据的区域事件检测方法,基于短文本数据的区域事件检测设备首先根据获取到的待处理的短文本数据中包括的位置信息,选取出需要处理的样本文本数据,之后对各样本文本数据分别进行分词处理,并计算各词在各样本文本中的权重,从而得到样本文本—词的矩阵,进而再对该矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵即可确定各样本文本数据所属的事件。首先根据文本数据中包括的位置信息选取样本文本数据,再确定选取的样本文本中各词的权重,之后再构建样本文本—词矩阵,并对该矩阵进行矩阵分解即可得到样本文本—事件矩阵,根据最终得到的矩阵即可确定各样本文本所属的事件,这种处理方法不仅考虑了短文本数据的特点,且根据词的权重构建样本文本—词矩阵,使得最终得到的样本文本—事件矩阵中样本文本与事件的相关度更加准确,进而可更加准确的实现对各短文本数据进行区域事件分类的处理。
图2A为本发明提供的基于短文本数据的区域事件检测方法实施例二对应S120的流程示意图,如图2A所示,若样本文本数据j中包括词i,则上述S120包括:
S121,根据所述词i在所述样本文本数据j中出现的次数Wij及在所有待处理的短文本数据中出现的次数Wi,确定所述词i的分布频率AWFij=Wij/Wi
S122,根据所述词i的Wij及所述样本文本数据中的所有词的次数Wj,确定所述词i的词频OWFij=Wij/Wj
S123,根据所述待处理的短文本数据中包括的不同位置信息个数N及所述待处理的短文本数据中包括所述词i的不同位置信息个数Mi,确定所述词i的逆向城市频率ICFij=N/Mi
S124,根据所述AWFij、OWFij及ICFij确定所述词i在所述样本文本数据j中的权重。
具体的,本实施例中,考虑如果一个词在某一个城市中出现的次数很小,而在其他城市出现次数比较多,对于该城市来说,这个词的贡献就不是很大。基于短文本数据的区域事件检测设备考虑单个词在所有城市中的分布,也考虑单个词在所在微博中的分布情况。主要考虑三个方面,第一单个词的词频:一个词出现的次数尽可能多;第二反向城市频率:出现该词的城市尽可能少;第三考虑词自身在所有城市分布的词频:一个词出现在该城市的次数要比其出现在其他城市的次数要多。
具体的,把一个词自身的分布频率定义为AWF,AWFij=Wi,j/Wi,Wi是词i在所有城市中出现的次数。在所有出现词i的城市中,哪个城市出现的次数多,其AWF就越大。同样的,一个词在所有样本文本数据中出现的次数越多,其OWF就越小,待处理的短文本数据中包括的城市的个数越多,或者包括词i的城市的个数越小,其逆向城市频率就越小。在确定词的分布频率、词频及逆向城市频率后,即可根据下式确定该词在样本文本数据中的权重OIA:
OIA i , j = A i , j / Σ i = 0 w i A i , j ;
其中,Ai,j=log2(OWFi,j+1)*log2(ICFi,j+1)*log2(AWFi,j+1)。
需要说明的是,词频记为OWF,反向城市频率记为ICF。对于出现在城市j的一个词i的OWF,OWFi,j=Wij/Wj,Wj是城市j中出现的所有词的次数,Wij是词i在城市j中出现的次数。同样,可以计算出现在城市j的一个词i的ICF,ICFj=N/Cj,其中N是所有城市的总数,Cj是出现词i的所有城市的总数。
进一步地,若样本文本数据中包括N个样本数据,所述N个样本数据中包括M个词,所述词—样本文本矩阵A为M×N维矩阵,所述N为大于或等于1的整数,图2B为本发明提供的基于短文本数据的区域事件检测方法实施例二对应S140的流程示意图,如图2B所示则上述S140包括:
S141,对所述矩阵A进行矩阵分解,得到样本文本—事件矩阵UM×K,和事件—词矩阵VK×N,所述K为所述样本文本数据中包含的事件个数。
具体的,假设样本文本数据存在K个潜在的特征,就可以把矩阵A分解成两个矩阵UM×K和VK×N,即:A=U×V。找到两个矩阵相乘完全等于A,这是非常难的。但是首先可以可以找个两个矩阵相乘近似等于A。
S142,分别计算所述UM×K矩阵中的第i个行向量u与VK×N中的第j个列向量v·j的乘积与矩阵A中的元素aij的偏差值eij,其中,i为不大于M的正整数,j为不大于N的正整数。
S143,判断所述M*N个偏差值eij的平方和E是否小于预设的值。
具体的,基于短文本数据的区域事件检测设备分别将初始矩阵U的行向量与初始矩阵V的各列向量相乘即可得到一个与A矩阵近似相等的矩阵,再将U×V矩阵中的各元素与矩阵A中的各元素进行做差,即可得到各元素间的偏差值,为了衡量两个矩阵间整体的偏差,再将各偏差平方后取和,看各偏差的平方和是否小于预设的值。其中,预设的值可以根据需要设定,比如设为0.001、0.005等等,本实施例对此不作限定。
S144,若否,则分别根据所述eij对所述矩阵UM×K及所述矩阵VK×N中的各元素进行修正,直至所述E小于预设的值。
具体的,根据元素间的偏差对矩阵UM×K和矩阵VK×N中的各元素进行修正时,可采用下边的方法进行,假设矩阵U×V中的元素uvij与矩阵A中的元素aij的偏差为eij,则计算估计值和准确值之间的差异E:
E = e ij 2 = ( a ij - a ij ′ ) 2 = ( a ij - Σ k = 1 K u ik v kj ) 2 .
对上面的式子求偏导,可以得到下面两个式子:
∂ e ij 2 ∂ u ik = - 2 ( a ij - a ij ′ ) v kj = - 2 e ij v kj
∂ e ij 2 ∂ v kj = - 2 ( a ij - a ij ′ ) u ik = - 2 e ij u ik
整理上面两个式子,可以得到更新公式:
u′ik=uik+2αeijvkj
v′kj=vkj+2αeijuik
其中,α是步进长度,一般规定为0.0002。每一次我们更新U和V,计算总得偏差平方和直到E小于一个值。
也就是说,则令所述矩阵UM×K中的元素u′ik=uik+2a*eij*vkj,所述矩阵VK ×N中的元素v′kj=vkj+2a*eij*uik,所述α为预设的步长。
需要说明的是,α的大小也可以根据需要设定,比如设为0.1、0.2等等。
进一步地,通过上述逐步迭代的方式修正矩阵UM×K和VK×N时,由于初始时E的值可能比较大,则在初始时,可以将E与一个较大的值比较,之后随着U×V逐渐逼近A,再将E与一个较小的值比较,即预设的值中包括至少2个不相等的数值。从而尽量加快U×V逼近A的速度,减少基于短文本数据的区域事件检测设备的运算开销。
S145,根据最终得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
由于本实施例对矩阵A进行的矩阵分解,使得最终得到的V矩阵中可能包括值为负数的元素,将V矩阵中的负数元素归零后,再从V矩阵的每行中找出最大值所在的列,即可确定该行对应的样本文本属于的事件。
本实施例提供的基于短文本数据的区域事件检测方法,根据样本文本中各词的分布频率、词频及逆向城市频率确定各词的权重,使得该方法更适用于区域事件的分类,且对样本文本—词矩阵进行分解时,采用逐渐逼近的方法,使得到的样本文本—事件矩阵更精确,从而使对样本文本的事件分类更准确。
图3为本发明提供的基于短文本数据的区域事件检测设备实施例一的结构示意图,如图3所示,该设备包括:获取模块11、选取模块12、运算模块13、构建模块14。
获取模块11,用于获取待处理的短文本数据,所述短文本数据中包括位置信息;
选取模块12,与获取模块11连接,用于根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据;
运算模块13,与选取模块12连接,用于分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重;
构建模块14,与运算模块13连接,用于根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵。
所述运算模块13,与构建模块14连接,还用于对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
本实施例的设备可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
为了清楚说明本实施例,本实施例还提供了一种可能的实现方式,在这种可能的实现方式中,若样本文本数据j中包括词i;则,所述运算模块13,具体用于根据所述词i在所述样本文本数据j中出现的次数Wij及在所有待处理的短文本数据中出现的次数Wi,确定所述词i的分布频率AWFij=Wij/Wi;根据所述词i的Wij及所述样本文本数据中的所有词的次数Wj,确定所述词i的词频OWFij=Wij/Wj;根据所述待处理的短文本数据中包括的不同位置信息个数N及所述待处理的短文本数据中包括所述词i的不同位置信息个数Mi,确定所述词i的逆向城市频率ICFij=N/Mi;根据所述AWFij、OWFij及ICFij确定所述词i在所述样本文本数据j中的权重。
进一步地,样本文本数据中包括N个样本数据,所述N个样本数据中包括M个词,所述样本文本—词矩阵A为M×N维矩阵,所述N为大于或等于1的整数。
则,所述运算模块13,具体用于:对所述矩阵A进行矩阵分解,得到样本文本—事件矩阵UM×K,和事件—词矩阵VK×N,所述K为所述样本文本数据中包含的事件个数;分别计算所述矩阵UM×K中的第i个行向量u与VK×N中的第j个列向量v·j的乘积与矩阵A中的元素aij的偏差值eij,其中,i为不大于M的正整数,j为不大于N的正整数;判断所述M*N个偏差值eij的平方和E是否小于预设的值;若否,则分别根据所述eij对所述矩阵UM×K及所述矩阵VK×N中的各元素进行修正,直至所述E小于预设的值;根据最终得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
具体地,所述运算模块13,具体用于所述分别根据所述eij对所述矩阵UM×K及所述矩阵VK×N中的各元素进行修正,包括:令所述矩阵UM×K中的元素u′ik=uik+2a*eij*vkj,所述矩阵VK×N中的元素v′kj=vkj+2a*eij*uik,所述a为预设的步长。
本实施例的设备可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本实施例提供的基于短文本数据的区域事件检测设备,根据样本文本中各词的分布频率、词频及逆向城市频率确定各词的权重,使得该方法更适用于区域事件的分类,且对样本文本—词矩阵进行分解时,采用逐渐逼近的方法,使得到的样本文本—事件矩阵更精确,从而使对样本文本的事件分类更准确。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于短文本数据的区域事件检测方法,其特征在于,包括:
获取待处理的短文本数据,所述短文本数据中包括位置信息;
根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据;
分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重;
根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵;
对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
2.根据权利要求1所述的方法,其特征在于,所述样本文本数据j中包括词i,所述计算所述样本文本数据中各词的权重,包括:
根据所述词i在所述样本文本数据j中出现的次数Wij及在所有待处理的短文本数据中出现的次数Wi,确定所述词i的分布频率AWFij=Wij/Wi
根据所述词i的Wij及所述样本文本数据中的所有词的次数Wj,确定所述词i的词频OWFij=Wij/Wj
根据所述待处理的短文本数据中包括的不同位置信息个数N及所述待处理的短文本数据中包括所述词i的不同位置信息个数Mi,确定所述词i的逆向城市频率ICFij=N/Mi
根据所述AWFij、OWFij及ICFij确定所述词i在所述样本文本数据j中的权重。
3.根据权利要求1所述的方法,其特征在于,所述样本文本数据中包括N个样本数据,所述N个样本数据中包括M个词,所述样本文本—词矩阵A为M×N维矩阵,所述N为大于或等于1的整数;
所述对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件,包括:
对所述矩阵A进行矩阵分解,得到样本文本—事件矩阵UM×K,和事件—词矩阵VK×N,所述K为所述样本文本数据中包含的事件个数;
分别计算所述矩阵UM×K中的第i个行向量ui·与VK×N中的第j个列向量v·j的乘积与矩阵A中的元素aij的偏差值eij,其中,i为不大于M的正整数,j为不大于N的正整数;
判断所述M*N个偏差值eij的平方和E是否小于预设的值;
若否,则分别根据所述eij对所述矩阵UM×K及所述矩阵VK×N中的各元素进行修正,直至所述E小于预设的值;
根据最终得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
4.根据权利要求3所述的方法,其特征在于,所述分别根据所述eij对所述矩阵UM×K及所述矩阵VK×N中的各元素进行修正,包括:
令所述矩阵UM×K中的元素u′ik=uik+2a*eij*vkj,所述矩阵VK×N中的元素v′kj=vkj+2a*eij*uik,所述a为预设的步长。
5.根据权利要求3或4所述的方法,其特征在于,所述预设的值中包括至少2个不相等的数值。
6.一种基于短文本数据的区域事件检测设备,其特征在于,包括:
获取模块,用于获取待处理的短文本数据,所述短文本数据中包括位置信息;
选取模块,用于根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据;
运算模块,用于分别对选取的样本文本数据进行分词处理,计算所述样本文本数据中各词的权重;
构建模块,用于根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵;
所述运算模块,还用于对所述样本文本—词矩阵进行矩阵分解,根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
7.根据权利要求6所述的设备,其特征在于,所述样本文本数据j中包括词i,所述运算模块,具体用于:
根据所述词i在所述样本文本数据j中出现的次数Wij及在所有待处理的短文本数据中出现的次数Wi,确定所述词i的分布频率AWFij=Wij/Wi
根据所述词i的Wij及所述样本文本数据中的所有词的次数Wj,确定所述词i的词频OWFij=Wij/Wj
根据所述待处理的短文本数据中包括的不同位置信息个数N及所述待处理的短文本数据中包括所述词i的不同位置信息个数Mi,确定所述词i的逆向城市频率ICFij=N/Mi
根据所述AWFij、OWFij及ICFij确定所述词i在所述样本文本数据j中的权重。
8.根据权利要求6所述的设备,其特征在于,所述样本文本数据中包括N个样本数据,所述N个样本数据中包括M个词,所述样本文本—词矩阵A为M×N维矩阵,所述N为大于或等于1的整数;
所述运算模块,具体用于:
对所述矩阵A进行矩阵分解,得到样本文本—事件矩阵UM×K,和事件—词矩阵VK×N,所述K为所述样本文本数据中包含的事件个数;
分别计算所述矩阵UM×K中的第i个行向量ui·与VK×N中的第j个列向量v·j的乘积与矩阵A中的元素aij的偏差值eij,其中,i为不大于M的正整数,j为不大于N的正整数;
判断所述M*N个偏差值eij的平方和E是否小于预设的值;
若否,则分别根据所述eij对所述矩阵UM×K及所述矩阵VK×N中的各元素进行修正,直至所述E小于预设的值;
根据最终得到的样本文本—事件矩阵确定所述各样本文本所属的事件。
9.根据权利要求8所述的设备,其特征在于,所述运算模块,具体用于所述分别根据所述eij对所述矩阵UM×K及所述矩阵VK×N中的各元素进行修正,包括:
令所述矩阵UM×K中的元素u′ik=uik+2a*eij*vkj,所述矩阵VK×N中的元素v′kj=vkj+2a*eij*uik,所述a为预设的步长。
10.根据权利要求8或9所述的设备,其特征在于,所述预设的值中包括至少2个不相等的数值。
CN201410635944.6A 2014-11-05 2014-11-05 基于短文本数据的区域事件检测方法和设备 Active CN104331483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410635944.6A CN104331483B (zh) 2014-11-05 2014-11-05 基于短文本数据的区域事件检测方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410635944.6A CN104331483B (zh) 2014-11-05 2014-11-05 基于短文本数据的区域事件检测方法和设备

Publications (2)

Publication Number Publication Date
CN104331483A true CN104331483A (zh) 2015-02-04
CN104331483B CN104331483B (zh) 2017-12-01

Family

ID=52406210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410635944.6A Active CN104331483B (zh) 2014-11-05 2014-11-05 基于短文本数据的区域事件检测方法和设备

Country Status (1)

Country Link
CN (1) CN104331483B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615715A (zh) * 2015-02-05 2015-05-13 北京航空航天大学 基于地理位置的社交网络事件分析方法及系统
CN108280766A (zh) * 2017-01-06 2018-07-13 阿里巴巴集团控股有限公司 交易行为风险识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662960A (zh) * 2012-03-08 2012-09-12 浙江大学 在线监督式主题建模及其演变分析的方法
CN103714132A (zh) * 2013-12-17 2014-04-09 北京本果信息技术有限公司 一种用于基于地域和行业进行热点事件挖掘的方法和设备
CN103955505A (zh) * 2014-04-24 2014-07-30 中国科学院信息工程研究所 一种基于微博的事件实时监测方法及系统
CN103995859A (zh) * 2014-05-15 2014-08-20 北京航空航天大学 一种应用于lbsn网络的基于地理标签的热点区域事件探测系统
US20140250128A1 (en) * 2013-03-01 2014-09-04 Ebay System and method of selecting events or locations based on content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662960A (zh) * 2012-03-08 2012-09-12 浙江大学 在线监督式主题建模及其演变分析的方法
US20140250128A1 (en) * 2013-03-01 2014-09-04 Ebay System and method of selecting events or locations based on content
CN103714132A (zh) * 2013-12-17 2014-04-09 北京本果信息技术有限公司 一种用于基于地域和行业进行热点事件挖掘的方法和设备
CN103955505A (zh) * 2014-04-24 2014-07-30 中国科学院信息工程研究所 一种基于微博的事件实时监测方法及系统
CN103995859A (zh) * 2014-05-15 2014-08-20 北京航空航天大学 一种应用于lbsn网络的基于地理标签的热点区域事件探测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615715A (zh) * 2015-02-05 2015-05-13 北京航空航天大学 基于地理位置的社交网络事件分析方法及系统
CN108280766A (zh) * 2017-01-06 2018-07-13 阿里巴巴集团控股有限公司 交易行为风险识别方法及装置

Also Published As

Publication number Publication date
CN104331483B (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
Zhou et al. Event detection over twitter social media streams
US8407253B2 (en) Apparatus and method for knowledge graph stabilization
CN103186612B (zh) 一种词汇分类的方法、系统和实现方法
WO2016204996A1 (en) Automated database schema annotation
Hao et al. Data‐driven car‐following model based on rough set theory
CN101706812B (zh) 一种文档的检索方法和装置
Psomakelis et al. Big IoT and social networking data for smart cities: Algorithmic improvements on Big Data Analysis in the context of RADICAL city applications
CN106294535A (zh) 网站的识别方法和装置
CN109857869B (zh) 一种基于Ap增量聚类和网络基元的热点话题预测方法
Ngoduy Kernel smoothing method applicable to the dynamic calibration of traffic flow models
CN104102635A (zh) 一种挖掘知识图谱的方法及装置
Zhu et al. CCBLA: a lightweight phishing detection model based on CNN, BiLSTM, and attention mechanism
Xiang et al. Isolation forest based anomaly detection framework on non-IID data
Wang et al. The level of delay caused by crashes (LDC) in metropolitan and non-metropolitan areas: a comparative analysis of improved Random Forests and LightGBM
CN104331483A (zh) 基于短文本数据的区域事件检测方法和设备
Qiu et al. CLDA: An effective topic model for mining user interest preference under big data background
Chen et al. Temporal Graph Representation Learning with Adaptive Augmentation Contrastive
Chowdhury et al. Crime monitoring from newspaper data based on sentiment analysis
Song et al. Detecting positive opinion leader group from forum
Chen et al. Traffic accident duration prediction using text mining and ensemble learning on expressways
Annam et al. Entropy based informative content density approach for efficient web content extraction
Mahmood et al. Public bus commuter assistance through the named entity recognition of twitter feeds and intelligent route finding
Gao et al. Fine-grained geolocalization of user-generated short text based on weight probability model
Li et al. Using big data from the web to train chinese traffic word representation model in vector space
Sharma et al. Sentiment analysis for odd-even scheme in delhi

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant