CN107122347A

CN107122347A - 一种基于深度学习技术的新闻子事件预测方法及装置

Info

Publication number: CN107122347A
Application number: CN201710161795.8A
Authority: CN
Inventors: 李涓子; 胡琳梅
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2017-03-17
Filing date: 2017-03-17
Publication date: 2017-09-01

Abstract

本发明提供一种基于深度学习技术的新闻子事件预测方法及装置，所述方法包括：步骤1，基于预处理过的大规模子事件序列数据，利用LSTM深度学习技术对子事件进行表示学习；步骤2，基于所述子事件表示学习和子事件主题，对子事件序列进行表示学习；步骤3，利用所述步骤2得到的子事件序列表示对下一个子事件进行预测；所述方法能够有效地实现子事件预测功能，能够预测在训练中语料中不存在的子事件，能获得更好的预测效果。

Description

一种基于深度学习技术的新闻子事件预测方法及装置

技术领域

本发明涉及情报分析技术领域，更具体地，涉及一种基于深度学习技术的新闻子事件预测方法及装置。

背景技术

目前，新闻事件是指发生在特定时间和地点的一件或一系列事情，同时一个新闻事件通常是由一系列有序的子事件构成。例如，一个地震事件通常包含了地震的发生、地震的人员伤亡、地震的财务损失、震后救援、震后捐款援助、震后灾区重建等一系列的子事件。一个子事件通常由一篇新闻报道来描述。

目前为止，成千上万的新闻事件及其子事件的发展过程已经被报道并且记录。可以通过利用大规模的历史事件来预测一系列子事件的下一个子事件。通过上述科学的预测，可以有效的提前预测某个新闻事件的一系列子事件，这个对政府部门、企业和新闻机构及时准确获取咨询都非常重要。例如，政府部门可以受益于事件预测，避免一些经济损失和人员伤亡；企业可以更好的进行危机应对方案的提前准备；新闻机构可以紧密关注社会公众可能感兴趣的新的话题并及时进行报道等等。

然而，传统的新闻子事件预测方法通过利用社会媒体和搜索引擎来检测事件并进行人为判断，并没有花费大量的精力在事件预测上。但是，也有个别技术对于子事件的预测进行了研究。Radinsky et al.(2012)通过抽取事件之间的因果关系并且用本体进行泛化用于事件预测；Granroth-Wilding et al.(2016)从文本中抽取事件链并且通过一个组合神经网络学习两个事件之间的关联关系；Manshadi et al.(2008)学习了事件序列的概率模型；Karl et al.(2016)描述了一个用LSTM学习脚本的方法。

然而，上述的新闻子事件预测技术都存在以下几个问题：1、需要人工的特征来表示事件并且只能预测在训练集中存在的事件；2、没有考虑事件表现出来不同粒度上的序列结构：描述一个具体子事件的词形成了一个序列，属于同一个事件的子事件形成了一个序列；3、没有考虑利用已有的子事件中存在的话题信息。

发明内容

本发明为克服上述问题或者至少部分地解决上述问题，提供一种基于深度学习技术的新闻子事件预测方法及装置。

根据本发明的一个方面，提供一种新闻子事件预测方法，包括：

步骤1，基于预处理过的大规模子事件序列数据，利用LSTM深度学习技术对子事件进行表示学习，获得子事件模型；

步骤2，基于所述子事件模型和子事件主题，对子事件序列进行表示学习，获得子事件序列模型；

步骤3，利用所述子事件序列模型对下一个子事件进行预测。

根据本发明的另一个方面，提供一种新闻子事件预测装置，包括子事件建模模块、子事件序列建模模块和预测模块：

所述子事件建模模块与所述子事件序列建模模块相连，用于基于预处理过的大规模子事件序列数据，利用LSTM深度学习技术对子事件进行表示学习，获得子事件模型；

所述子事件序列建模模块分别于所述子事件建模模块和预测模块相连，用于基于所述子事件模型和子事件主题，对子事件序列进行表示学习，获得子事件序列模型；

所述预测模块与所述子事件序列建模模块相连，用于利用所述子事件序列模型对下一个子事件进行预测。

本申请提出一种基于深度学习技术的新闻子事件预测方法及装置，本发明能够有效地实现子事件预测功能，甚至能够预测在训练中语料中不存在的子事件，比当前最先进的方法能获得更好的预测效果。

附图说明

图1为根据本发明实施例一种新闻子事件预测方法的整体流程示意图；

图2为根据本发明实施例一种新闻子事件预测方法的流程示意图；

图3为根据本发明实施例一种新闻子事件预测方法中事件双层序列的示意图；

图4为根据本发明实施例一种新闻子事件预测装置的整体框架示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明提出了一个新的用于子事件预测的模型，即Hierarchical Long Short-Term Memory(HLSTM)层次长短期记忆模型。该模型的输入是描述已观测的子事件的文本(如新闻的标题)，输出是一个描述将来的子事件的短文本。HLSTM是一个具有两层的层次LSTM结构。第一层是用于建模子事件。它按顺序将子事件描述文本中的每个词作为输入，最终将子事件表示成向量。第二层用于建模已观测的子事件序列，同时考虑了话题信息来增强语义信息。具体来说，将每一个子事件表示成第一层LSTM获取的词形成的向量和话题形成的向量的拼接向量。通过两层LSTM结构，每个子事件序列都被映射成一个向量。最后，这个向量被输入到另一个LSTM中解码成一个词序列，从而生成了下一个子事件。HLSTM模型考虑了事件两层的序列关系并且融合了话题信息，因此能更好地预测下一个子事件。

如图1，示出本发明一个具体实施例中一种新闻子事件预测方法的总体流程示意图。整体上，包括：

步骤3，利用所述子事件序列模型对下一个子事件进行预测。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤1前还包括：

步骤0，获取大规模事件数据作为训练语料，所述每个事件数据包含一组有序的新闻集合。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤0和步骤1之间还包括：将步骤0中获得新闻的标题作为一个子事件，对所有子事件进行分词处理，去除停用词和出现次数少于预设次数的低频词。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤2前还包括：基于所述预处理过的子事件，利用LDA模型获取每个子事件所属的概率最大的主题。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤1中进一步包括：

S11，定义一个学习语言模型，该学习语言模型用于基于输入的各子事件序列和各子事件内词序列来预测下一个子事件；

S12，将利用LSTM神经网络对所述学习语言模型进行表达，获得LSTM(·)函数；

S13，利用所述LSTM(·)函数按顺序读取各子事件中的词，每读取一次所述子事件中的词，更新一次待预测子事件中对顺序敏感的所有词的顺序向量，以得到各子事件表示模型。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤0进一步包括：将每个事件形式化成：E＝s₁,s₂,…,s_M，上述表达式为由一序列子事件构成，所述序列内子事件有M个；所述每个子事件s_m由一个词序列所表示，其中1≤m≤M；其中w_m,n∈V表示第m个子事件s_m中的第n个词，V是词表。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤将步骤0中所获得新闻的标题作为一个子事件，对所有子事件进行分词处理，去除停用词和出现次数少于预设次数的低频词还包括：在子事件结尾都加上一个结束符号。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤1进一步包括：

定义一个语言模型，以用于基于给定观测的子事件序列(s₁,s₂,…,s_M-1)，学习下一个子事件s_M所有可能的文本上的概率分布：

对于一个子事件子事件级别的LSTM编码器根据以下公式按顺序读取子事件中的词，同时更新隐含状态：

其中，表示LSTM(·)函数，用于编码词序列，是词的0-1向量表示，表示隐含状态；初始地，最后一个隐含状态是存储子事件s_m中对顺序敏感的所有词的信息的向量；将一个子事件表示成

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤2进一步包括：

事件级别的LSTM编码器以上一子事件级别编码得到的子事件序列的向量表示，即s₁,s₂,…,s_m作为输入，计算事件级别的隐含状态序列：

其中，表示LSTM(·)函数，表示事件级别的隐含状态，初始地，s_m是由上一步得到的子事件的向量表示；隐含状态是存储子事件序列s_1:m的信息的向量；利用所述子事件m的主题z_m表示为0-1向量，将z_m转化为一个稠密的向量表示，即将一个子事件表示成即词序列得到的向量与话题对应的向量的一个拼接。

在本发明另一个具体实施例中，一种新闻子事件预测方法，所述步骤3进一步包括：

初始化LSTM解码器的初始状态为两级编码器得到的子事件序列的向量，即所述解码的形式如下：

h′_m,n＝LSTM_dec(h′_m,n-1,…,w_m,n),n＝1,…,N_m，

其中LSTM_dec是LSTM(·)函数，用于解码出一串词序列，所述词序列描述了可能的下一个子事件；在LSTM解码器中，每一个隐含状态h′_m,n-1都通过一个softmax函数，用来计算下一个位置在所有词上的概率分布，当预测到结束符号时，解码器终止。

在本发明又一个具体实施例中，一种新闻子事件预测方法，所述方法包括以下步骤：

步骤(a)，数据获取，利用爬虫工具获取大规模事件数据作为训练语料。每个事件数据包含一组有序的新闻集合。

步骤(b)，数据预处理，取步骤(a)中所获得新闻的标题作为一个子事件，对所有子事件进行分词处理(利用已有工具如ICTCLAS，Ansj))，去除停用词和出现次数少于100次的低频词。

步骤(c)，子事件主题抽取，将LDA模型应用于经过步骤(b)处理好的子事件，获取每个子事件所属的概率最大的主题。

步骤(d)，子事件建模，利用步骤(b)处理过的大规模子事件序列数据，利用LSTM深度学习技术对子事件进行表示学习。

步骤(e)，子事件序列建模，结合步骤(d)中的子事件表示学习和步骤(c)中得到的子事件主题，对子事件序列进行表示学习。

步骤(f)，子事件预测，利用步骤(e)中得到的子事件序列表示对下一个子事件进行预测。

优选地，步骤(a)中，

一个事件能够形式化成E＝(s₁,s₂,…,s_M)可看作由一序列的M个子事件构成。每个子事件s_m(1≤m≤M)由它的描述文本(一个词序列)所表示，即其中w_m,n∈V表示第m个子事件s_m中的第n个词，V是词表。

优选地，步骤(b)中，

取事件下的每篇新闻标题作为子事件，在子事件结尾都加上一个特殊的符号<end>。去除停用词，如“的，一个”和出现次数少于100次的低频词。

优选地，步骤(c)中，

LDA(Latent Dirichlet Allocation)模型是一个文档生成模型，它假设一篇文档生成的方式如下：

从狄利克雷分布α中取样生成文档的主题分布θ_m；

从主题的多项式分布θ中取样生成文档第n个词的主题z_m,n；

从狄利克雷分布β中取样生成主题z_m,n对应的词语分布

从词语的多项式分布中采样最终生成词语w_m,n。

LDA模型最后可以生成子事件的话题分布{θ_m}_m＝1:M，其中θ_m＝{θ_m,k}_k＝1:K是一个K维的向量，加起来和为1。K表示话题个数。通过抽取概率θ_m,k最大的k得到文档m的主题。

优选地，步骤(d)中，给定观测的子事件序列(s₁,s₂,…,s_M-1)，旨在学习下一个子事件s_M所有可能的文本上的概率分布。这可以定义成一个语言模型：

上述语言模型可以通过LSTM来刻画，LSTM是一个特殊的RNN模型，能够学习长期的依赖关系。它的定义是：给定一序列输入(w₁,w₂,…,w_N)，LSTM中的每一步关联了一个输入门i_n，一个记忆单元c_n和一个输出门o_n。h_n是LSTM在第n步计算出来的向量，σ表示逻辑函数，⊙表示点乘。每一步的向量h_n计算如下:

i_n＝σ(W_iww_n+W_ihh_n-1+b_i)，

f_n＝σ(W_fww_n+W_fhh_n-1+b_f)，

o_n＝σ(W_oww_n+W_ohh_n-1+b_o)，

g_n＝tanh(W_gww_n+W_ghh_n-1+b_g)，

c_n＝f_n⊙c_n-1+i_n⊙g_n，

h_n＝o_n⊙tanh(c_n)，

其中，W_*w是从输入到LSTM状态的转移矩阵，W_*h是状态h_n转移矩阵，b_*是偏移向量。c_n是被forget门f_n调整的前记忆单元c_n-1与被input门i_n调整的g_n的和。g_n是前一个隐含状态和当前输入的函数。初始地，h₀和c₀是0向量。将此函数命名为LSTM(·)函数。

进一步地，为了考虑事件的多层次的序列结构(即词级别的序列构成子事件和子事件级别的序列构成事件)。首先对子事件进行建模。

子事件建模。对于一个子事件子事件级别的LSTM编码器按顺序读取子事件中的词，同时更新隐含状态，根据以下公式：

其中，表示LSTM(·)函数，用于编码词序列，是词的0-1向量表示，表示隐含状态。初始地，最后一个隐含状态是存储了子事件s_m中对顺序敏感的所有词的信息的向量。因此可以将一个子事件表示成

优选地，步骤(e)中，

子事件序列建模。事件级别的LSTM编码器以上一子事件级别编码得到的子事件序列的向量表示，即(s₁,s₂,…,s_m)作为输入，计算事件级别的隐含状态序列：

其中，表示LSTM(·)函数，表示事件级别的隐含状态，初始地，s_m是由上一步得到的子事件的向量表示。隐含状态是存储了子事件序列s_1:m的信息的向量。为了利用子事件之间的语义关联信息，进一步将话题的信息作为额外的特征。采用步骤(c)中得到的子事件m的主题z_m表示为0-1向量，模型会进一步将z_m转化为一个稠密的向量表示，即之后，将一个子事件表示成即词序列得到的向量与话题对应的向量的一个拼接。这样，就融入了上下文特征在的模型中，对的下一个子事件预测会有促进作用。

优选地，步骤(f)中，下一个子事件预测。在通过上面的两个级别的LSTM编码后，一序列的子事件s_1:m-1被映射成一个向量表示，之后作为一个LSTM解码器的输入，逐字预测，形成下一个子事件。形式化来说，旨在估计概率P(s_m|s_1:m-1)，以观测的之前的子事件作为条件，估计当前的子事件的概率。

通过初始化LSTM解码器的初始状态为两级编码器得到的子事件序列的向量，即来达到以之前的子事件序列作为条件的目的。和编码一样，解码的形式是：h′_m,n＝LSTM_dec(h′_m,n-1,…,w_m,n),n＝1,…,N_m。

其中LSTM_dec是LSTM(·)函数，用于解码出一串词序列，该词序列描述了可能的下一个子事件。在LSTM解码器中，每一个隐含状态h′_m,n-1都通过一个softmax函数，用来计算下一个位置在所有词上的概率分布，一旦<end>词被预测，那么解码器就终止。

步骤(d)-(f)由本发明提出的统一的模型HLSTM完成。HLSTM模型由一个子事件级别的LSTM编码器和一个事件级别的LSTM编码器以及一个LSTM解码器(用来解码出下一个子事件)构成。子事件级别的LSTM编码器首先将一个子事件(一序列词)映射成向量表示。事件级别的LSTM编码器则将过去的一序列m-1个子事件编码成一个向量表示，该向量总结了所有观测的子事件的信息，最后作为LSTM解码器的输入，用于逐字解码出下一个子事件s_m。

模型参数训练。LSTM模型的参数W是通过最大化子事{s_m}_m＝2:M给定它们之前的子事件序列s_1:m-1的对数似然学习的到的。

其中，E_train是训练集中所有的事件数目，表示事件e中的第m个子事件。采用批量梯度下降来进行优化。

对于新来的子事件序列，将数据输入至步骤(d)中训练好的模型，在下一个子事件解码过程中，采用启发式的集束搜索算法，选择条件概率最大的词作为一个新的预测的词，之后会和前面输出的词联合在一起用来预测下一个词，直到预测<end>结束。

在本发明又一个具体实施例中，一种新闻子事件预测方法，所述方法详细包括以下步骤：

图2是根据本发明实施例一种新闻子事件预测方法的流程示意图，图3为根据本发明实施例一种新闻子事件预测方法中事件双层序列的示意图。如图2、图3所示，该方法包括：

一个事件可以形式化成E＝(s₁,s₂,…,s_M)能够看作由一序列的M个子事件构成。每个子事件s_m(1≤m≤M)由它的描述文本(一个词序列)所表示，即其中w_m,n∈V表示第m个子事件s_m中的第n个词，V是词表。

事件下的每篇新闻标题作为子事件，在子事件结尾都加上一个特殊的符号<end>。去除停用词，如“的，一个”和出现次数少于100次的低频词。

从狄利克雷分布α中取样生成文档的主题分布θ_m；

从主题的多项式分布θ中取样生成文档第n个词的主题z_m,n；

从狄利克雷分布β中取样生成主题z_m,n对应的词语分布

从词语的多项式分布中采样最终生成词语w_m,n；

步骤(d)，子事件建模，利用步骤(b)处理过的大规模子事件序列数据，对子事件进行建模。

给定观测的子事件序列(s₁,s₂,…,s_M-1)，旨在学习下一个子事件s_M所有可能的文本上的概率分布。这可以定义成一个语言模型：

i_n＝σ(W_iww_n+W_ihh_n-1+b_i)

f_n＝σ(W_fww_n+W_fhh_n-1+b_f)

o_n＝σ(W_oww_n+W_ohh_n-1+b_o)

g_n＝tanh(W_gww_n+W_ghh_n-1+b_g)

c_n＝f_n⊙c_n-1+i_n⊙g_n

h_n＝o_n⊙tanh(c_n)

子事件建模。如图2所示，一个子事件由一序列词构成，对于一个子事件子事件级别的LSTM编码器按顺序读取子事件中的词，同时更新隐含状态，根据以下公式：

步骤(e)，子事件序列建模，利用步骤(d)得到的子事件表示，结合步骤(c)获得的子事件主题信息，对子事件序列进行建模。

子事件序列建模。如图2所示，一个事件由一序列子事件构成，事件级别的LSTM编码器以上一子事件级别编码得到的子事件序列的向量表示，即(s₁,s₂,…,s_m)作为输入，计算事件级别的隐含状态序列：

步骤(f)，下一个子事件预测。利用步骤(e)得到的子事件序列表示，对下一个子事件进行预测。

在通过上面的子事件序列建模后，一序列的子事件s_1:m-1被映射成一个向量表示，之后作为一个LSTM解码器的输入，逐字预测，形成下一个子事件。形式化来说，旨在估计概率P(s_m|s_1:m-1)，以观测的之前的子事件作为条件，估计当前的子事件的概率。

通过初始化LSTM解码器的初始状态为两级编码器得到的子事件序列的向量，即来达到以之前的子事件序列作为条件的目的。和编码一样，解码的形式是：

h′_m,n＝LSTM_dec(h′_m,n-1,…,w_m,n),n＝1,…,N_m。

步骤(d)-(f)由本发明提出的统一的模型HLSTM完成。HLSTM模型由一个子事件级别的LSTM编码器和一个事件级别的LSTM编码器以及一个LSTM解码器(用来解码出下一个子事件)构成。子事件级别的LSTM编码器首先将一个子事件(一序列词)映射成向量表示。事件级别的LSTM编码器则将过去的一序列m-1个子事件编码成一个向量表示，该向量总结了所有观测的子事件的信息，最后作为LSTM解码器的输入，用于逐字解码出下一个子事件s_m。HLSTM模型由一个子事件级别的LSTM编码器和一个事件级别的LSTM编码器以及一个LSTM解码器(用来解码出下一个子事件)构成。子事件级别的LSTM编码器首先将一个子事件(一序列词)映射成向量表示。事件级别的LSTM编码器则将过去的一序列m-1个子事件编码成一个向量表示，该向量总结了所有观测的子事件的信息，最后作为LSTM解码器的输入，用于逐字解码出下一个子事件s_m。

模型参数训练。LSTM模型的参数W是通过最大化子事{s_m}_m＝2:M(给定它们之前的子事件序列s_1:m-1的对数似然学习的到的。

对于新来的子事件序列，将数据输入至步骤(d)－(f)中训练好的模型，在下一个子事件解码过程中，采用启发式的集束搜索算法，选择条件概率最大的词作为一个新的预测的词，之后会和前面输出的词联合在一起用来预测下一个词，直到预测<end>结束。

在本发明另一个具体实施例中，一种新闻子事件预测方法，采用本发明的方法进行了实验，具体实验过程如下：

1.数据集介绍。实验采用真实数据集，从新浪新闻网站抓取了大规模的事件(中文)数据，总共包含15，254个新闻系列。每个新闻系列包含了一序列的按时间顺序的新闻文章，这些文章报导了一个相同的事件。平均每个新闻序列包含50篇新闻。在实验中，只用新闻的标题，因为标题概括了新闻的主要内容。进一步按照以下步骤处理数据：1)用大小为5的窗口去分割每个新闻系列，每个分割得到的新闻集合被称为一个事件，该集合中的新闻则是子事件。之所以选择窗口大小为5，是因为从数据中观测得知超过连续5个新闻之间的关联关系就比较弱了。分割之后，共得到155，358事件。2)然后使用中科院分词系统ICTCLAS对事件数据集进行分词，之后去除了停用词以及出现次数少于100个文档的词来减少数据系数问题。最终的到一个大小为4，515的词表，包括一个特殊的表示子事件描述文本的末尾的符号<end>。平均每个子事件包含5个词。预处理之后，将事件数据集随机分为三部分：80％用于训练，10％用于验证，剩余的10％用于测试。表1中统计了最终的数据情况。

表1数据相关统计

	Training	Validation	Test
				Events	124，288	15，535	15，535
Subevents	607，090	75，802	75，957

2.实验设置和评价指标。通过在训练集和验证集上的实验测试决定模型中的超参数。特别地，选择能够在验证集上取得最好效果参数值，并且将这些最优值用于评估的模型在独立的测试集上的效果。最优参数取值如下：

1)LSTM参数和词向量表示是以[-0.08，0.08]之间的均一分布来初始化的；

2)学习率为0.1；

3)批量大小为32；

4)Dropout rate＝0.2；

5)词向量和话题向量的维度都设为100，隐含状态向量维度D＝400；

6)LSTM的隐含层设为2；

7)话题个数设为1,000。

评价指标。两个评价指标，即困惑度perplexity和词的错误率word error-rate被采用用来衡量模型的效果。困惑度是信息理论中标准的指标(Shannon 2001)。它可以衡量模型对数据拟合的程度，这样可以更好地用于预测。困惑度越低表示模型越好。

3.实验结果与分析

如表2所示，可以看出在两个不同的评价指标中，本发明提出的方法明显比当前最先进的方法效果好。本发明提出的方法比传统的n-gram语言模型有显著的提高，困惑度降低了50％，错误率降低了23％。相比简单的LSTM模型，也有明显的提高。HLSTM考虑层次的事件序列结构以及子事件的话题信息，对结果提高较为明显(35％和5％)。

表2下一个子事件预测结果分析

Model	Perp	Error Rate
			Backoff N-Gram	264.07	93.03％
Modified Kneser-Ney	257.24	93.06％
			Witten-Bell Discounting N-Gram	255.48	92.60％
LSTM	201.59±0.38	75.22％±0.02％
			HLSTM	127.74±0.21	70.02％±0.01％

为了进一步测试模型的效果，本发明还对比了几个基线模型在下一个子事件排序上的效果。给定一序列的子事件，的目标是从一组候选的子事件中选出概率最大的子事件作为下一个要预测的子事件。将测试集随机分成311组，每一组包含50个事件，最后一组包含35个事件。对于每一组数据，目标是给定一个事件的前面的子事件序列(除最后一个子事件)，从候选集中选出最合适的最后一个子事件。将该组所有的事件的最后一个子事件作为候选集。表3中是模型的测试结果。hits@n是指在前n个子事件中能命中目标子事件的概率。可以看出本发明提出的方法能够取得最好的效果。

表3下一个子事件排序结果分析

Model	hits@1	hits@5	hits@10
				Random	2.00％±0.10	10.00％±0.15	20.00％±0.20
LSTM	21.96％±0.12	49.73％±0.16	66.31％±0.21
				HLSTM	25.79％±0.10	55.68％±0.18	71.57％±0.20

本发明实施例所述的子事件预测方法，通过生成子事件序列的下一个可能的子事件描述文本来预测子事件。该方法解决了子事件表示问题，考虑了事件的双层的层次序列关系，并且还考虑了子事件的话题信息，能够有效地预测下一个可能的子事件。

如图4，示出本发明本发明实施例一种新闻子事件预测装置的整体框架示意图。总体上，包括子事件建模模块A1、子事件序列建模模块A2和预测模块A3：

所述子事件建模模块A1与所述子事件序列建模模块A2相连，用于基于预处理过的大规模子事件序列数据，利用LSTM深度学习技术对子事件进行表示学习，获得子事件模型；

所述子事件序列建模模块A2分别于所述子事件建模模块A1和预测模块A3相连，用于基于所述子事件模型和子事件主题，对子事件序列进行表示学习，获得子事件序列模型；

所述预测模块A3与所述子事件序列建模模块A2相连，用于利用所述子事件序列模型对下一个子事件进行预测。

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件建模模块还用于获取大规模事件数据作为训练语料，所述每个事件数据包含一组有序的新闻集合。

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件建模模块还用于将获得新闻的标题作为一个子事件，对所有子事件进行分词处理，去除停用词和出现次数少于预设次数的低频词。

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件建模模块还用于基于所述预处理过的子事件，利用LDA模型获取每个子事件所属的概率最大的主题。

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件建模模块还用于：S11，定义一个学习语言模型，该学习语言模型用于基于输入的各子事件序列和各子事件内词序列来预测下一个子事件；

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件建模模块还用于：将每个事件形式化成：E＝s₁,s₂,…,s_M，上述表达式为由一序列子事件构成，所述序列内子事件有M个；所述每个子事件s_m由一个词序列所表示，其中1≤m≤M；其中w_m,n∈V表示第m个子事件s_m中的第n个词，V是词表。

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件建模模块还用于：在子事件结尾都加上一个结束符号。

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件建模模块还用于：定义一个语言模型，以用于基于给定观测的子事件序列(s₁,s₂,…,s_M-1)，学习下一个子事件s_M所有可能的文本上的概率分布：

其中，表示LSTM(.)函数，用于编码词序列，是词的0-1向量表示，表示隐含状态；初始地，最后一个隐含状态是存储子事件s_m中对顺序敏感的所有词的信息的向量；将一个子事件表示成

本发明另一个具体实施例中，一种新闻子事件预测装置，所述子事件序列建模模块还用于：事件级别的LSTM编码器以上一子事件级别编码得到的子事件序列的向量表示，即s₁,s₂,…,s_m作为输入，计算事件级别的隐含状态序列：

其中，表示LSTM(.)函数，表示事件级别的隐含状态，初始地，s_m是由上一步得到的子事件的向量表示；隐含状态是存储子事件序列s_1:m的信息的向量；利用所述子事件m的主题z_m表示为0-1向量，将z_m转化为一个稠密的向量表示，即将一个子事件表示成即词序列得到的向量与话题对应的向量的一个拼接。

本发明另一个具体实施例中，一种新闻子事件预测装置，所述预测模块还用于：初始化LSTM解码器的初始状态为两级编码器得到的子事件序列的向量，即所述解码的形式如下：

h′_m,n＝LSTM_dec(h′_m,n-1,…,w_m,n),n＝1,…,N_m，

其中LSTM_dec是LSTM(.)函数，用于解码出一串词序列，所述词序列描述了可能的下一个子事件；在LSTM解码器中，每一个隐含状态h′_m,n-1都通过一个softmax函数，用来计算下一个位置在所有词上的概率分布，当预测到结束符号时，解码器终止。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种新闻子事件预测方法，其特征在于，包括：

步骤3，利用所述子事件序列模型对下一个子事件进行预测。

2.如权利要求1所述的方法，其特征在于，所述步骤1前还包括：

3.如权利要求2所述的方法，其特征在于，所述步骤0和步骤1之间还包括：将步骤0中获得新闻的标题作为一个子事件，对所有子事件进行分词处理，去除停用词和出现次数少于预设次数的低频词。

4.如权利要求3所述的方法，其特征在于，所述步骤2前还包括：基于所述预处理过的子事件，利用LDA模型获取每个子事件所属的概率最大的主题。

5.如权利要求4所述的方法，其特征在于，所述步骤1中进一步包括：

6.如权利要求5所述的方法，其特征在于，所述步骤0进一步包括：将每个事件形式化成：E＝s₁,s₂,…,s_M，上述表达式为由一序列子事件构成，所述序列内子事件有M个；所述每个子事件s_m由一个词序列所表示，其中1≤m≤M；其中w_m,n∈V表示第m个子事件s_m中的第n个词，V是词表。

7.如权利要求6所述的方法，其特征在于，所述步骤将步骤0中所获得新闻的标题作为一个子事件，对所有子事件进行分词处理，去除停用词和出现次数少于预设次数的低频词还包括：在子事件结尾都加上一个结束符号。

8.如权利要求7所述的方法，其特征在于，所述步骤1进一步包括：

9.如权利要求8所述的方法，其特征在于，所述步骤2进一步包括：

其中，表示LSTM(.)函数，表示事件级别的隐含状态，初始地，s_m是由上一步得到的子事件的向量表示；隐含状态是存储子事件序列s_1:m的信息的向量；利用所述子事件m的主题z_m表示为0-1向量，将z_m转化为一个稠密的向量表示，即将一个子事件表示成即词序列得到的向量与话题对应的向量的一个拼接；

所述步骤3进一步包括：

h′_m,n＝LSTM_dec(h′_m,n-1,…,w_m,n),n＝1,…,N_m，

10.一种新闻子事件预测装置，其特征在于，包括子事件建模模块、子事件序列建模模块和预测模块：