CN103226580A - 一种面向交互文本的话题识别方法 - Google Patents

Abstract

本发明公开了一种面向交互文本的话题识别方法，按照三个大步骤实施：I、词语语义相关度计算阶段，采用了一种基于知识词典和主题模型相结合的词语相关度计算方法；II、句子相关度计算阶段，分别计算句子在关键词特征、词语语义特征、依存句法特征三个层面的相关度，将三个特征融合后计算句子间相关度；III、交互文本话题识别阶段，采用一种基于句子相关度计算的话题识别方法，识别出交互文本中不同话轮是否属于同一话题。

Description

一种面向交互文本的话题识别方法

技术领域

本发明属于信息技术领域，涉及一种信息检索、抽取与管理以及自然语言处理技术，尤其是一种面向交互文本的话题识别方法。 

背景技术

随着互联网技术应用的日趋广泛，基于交互式文本的网络应用不断发展，已经成为人们获取和发布信息的主要手段之一，例如网络聊天室、微博等典型的交互文本应用。这些文本中蕴含着大量丰富的信息资源，如何实现对这些交互文本应用中发生的事件按话题内容查找、组织和利用，成为当务之急。比如自动识别网络学习者的情感变化事件，从而调节其学习效率；识别各种社会敏感的突发事件或者新事件等。申请人经过查新，未检索本发明相关的专利。但是找相似的几篇文章，分别是： 

1）基于频繁模式的消息文本聚类研究。胡吉祥，中国科学院研究生院（计算技术研究所）。 

2）用于聊天词汇的权重计算方法CDTF_IDF。高鹏,曹先彬，计算机仿真,2007.12。 

文章1）作者发现了频繁模式（称之为关键频繁模式）包含了词序和邻近上下文等更多的语义信息对交互文本特征抽取的关键性，提出了一种无指导的基于频繁模式的特征选择算法，应用于文本分类和聚类。 

文章2）主要针对聊天室的内容监控应用，通过分别离线计算词汇在不同数据源中的权值并汇总、并对重点词汇提高权重等方式来计算聊 天数据的词汇权重，从而达到识别聊天室主题的目的。 

根据上述查新可知：首先现有技术的研究对象为以整个新闻或者段落；现有技术识别的结果仅为整个新闻（事件）或段落是否属于哪一类主题，以及相关的新闻（事件）发生，即主题级的识别；在交互文本的特征表示方面，现有技术离线收集仅为当前新闻（事件）的词频特征进行计算。现有方法以无监督的概率潜在语义分析方法为主。 

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种面向交互文本的话题识别方法，该方法针对话轮级别，提出了基于多特征融合的句子相关度算法，并将其应用于话题识别过程中，采用发现词语语义特性和句子结构特性，引入词语语义特征和依存句法特征来实现话题识别。 

本发明的目的是通过以下技术方案来解决的： 

这种面向交互文本的话题识别方法，包括以下步骤： 

第一步：词语相关度计算： 

（1）基于知网，计算词语在知识词典层面的相关度 

基于知网的语义相关度计算依据知识词典中的记录信息，每一个记录包含的4项信息中，利用三项信息：词语概念W_X、词语词性G_X和概念定义DEF； 

对于词语w₁和w₂，如果与w₁对应的有m个概念，分别为C₁₁,C₁₂,...,C_1m，w₂有n个概念，分别为C₂₁,C₂₂,...,C_2n，设w₁和w₂的相关度为各个概念的相关度之最大值，也就是说： 

$\mathrm{Rel}(W_1,W_2)=\underset{i=1..m,j=1...n}{\max }{W}_{\mathrm{pos}}\mathrm{Rel}(C_{1i},C_{2j}))$

其中，w_pos为词性相关权重系数，当概念词性相同时，w_pos＝1，当概念词性不同时，w_pos＝0.5； 

（2）采用PLSA主题模型计算词语在大规模语料统计层面的相关度 

用词语在某个主题中的共现率来计算关联程度；对于词语w_i,w_j，由PLSA模型得到主题在w_i和w_j上的概率分布向量为V_i=(p_i1,p_i2,p_i3,...)，V_j=(p_j1,p_j2,p_j3,...)，计算两个向量V₁,V₂之间距离，计算公式如下： 

$L_2(V_1,V_2)=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(v_{1i}-v_{2i})}^2};$

（3）主题模型与知识词典相融合的词语相关度计算 

假设两个词语的相关度为Word Rele(A,B)，通过知识词典计算得出的相关度为Dic Rele(A,B)，通过主题模型计算得出的相关度为Statis Rele(A,B)，则： 

Word Rele(A,B)＝a*Dic Rele(A,B)+b*Statis Rele(A,B) 

其中：a,b为调整系数，0＜a,b＜1,a+b＝1； 

第二步，句子相关度计算阶段： 

（1）基于关键词特征的句子相关度计算 

对于两个句子Sen1和Sen2，抽取出的关键词分别为，w₁₁,w₁₂,...w_1m与w₂₁,w₂₂,...w_2n，formRele(Sen1,Sen2)表示句子在关键词特征层面的相关度。 

formRele(Sen1,Sen2)＝2*SameWord(Sen1,Sen2)/(Len(Sen1)+Len(Sen2))其中，SameWord(Sen1,Sen2)为句子Sen1和Sen2中共同出现的关键词个数； 

Len(Sen1)、Len(Sen2)分别为句子Sen1和Sen2的关键词个数； 

（2）基于词语语义特征的句子相关度计算 

假设semanticRele(Sen1,Sen2)为句子Sen1和Sen2在词语语义特征层面 的相关度，那么， $\mathrm{semantic\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=(\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i}{m}+\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i}{n})/2;$

其中：a_i＝max(s(w_1i,w₂₁),s(w_1i,w₂₂),...,s(w_1i,w_2n))， 

b_i＝max(s(w_2i,w₁₁),s(w_2i,w₁₂),...,s(w_2i,w_1m))； 

s(w_i,w_j)为句子Sen1中词语w_i和句子Sen2中词语w_j在语义特征层面的相关度； 

（3）基于依存句法的句子相关度计算； 

对于句子Sen1和Sen2，在依存句法层面的相关度为： 

$\mathrm{syntax\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i}{\mathrm{Max}\{\mathrm{PairCount}1,\mathrm{PairCount}2\}};$

其中，W_i为有效搭配对匹配的权重之和；PairCount1,PairCount2分别为句子Sen1,Sen2的有效搭配对数； 

（4）多特征信息的融合 

通过引入遗传算法的方式确定最优权重，将这关键词特征、词语语义特征、依存句法特征三个层面的信息融合起来，最后得到一个可靠、准确的句子相关度计算方法；多特征融合的形式化表示为如下公式： 

Rele(Sen1,Sen2)=a*formRele(Sen1,Sen2)+ 

b*semanticRele(Sen1,Sen2)+c*syntaxRele(Sen1,Sen2) 

其中， 

Rele(Sen1,Sen2)为句子Sen1和句子Sen2的相关度； 

formRele(Sen1,Sen2)为句子Sen1和句子Sen2的在关键词层面的相关度； 

semanticRele(Sen1,Sen2)为句子Sen1和句子Sen2的在词语语义层面的相关度； 

syntaxRele(Sen1,Sen2)为句子Sen1和句子Sen2的在依存句法层面的相关度； 

a，b，c分别为对应特征的权重系数； 

第三步：面向交互文本的话题识别过程为： 

针对交互文本中话题的动态性、交叉性、稀疏性和发散性，设计基于第二步中句子相关度的话题识别算法，即选取聊天数据中的第一个话轮为第一个话题，对于后面的所有话轮分别计算其与已存在话题的句子相关度，然后和阈值进行比较，确定它是属于某一个已存在的话题还是属于一个新发起的话题，用此方法来进行话题的识别。 

进一步的，以上第一步中步骤（1）的概念的相关度计算过程为： 

概念是由一个语义表达式来描述的，要计算实词概念之间的相关度就是要计算两个语义表达式的相关度；具体地，采用以下方式： 

（1）将任何义原或具体词与空值的相似度定义为一个小的常数δ； 

（2）对于实词概念的语义表达式，将其分成三个部分，然后计算两个表达式中对应每个部分的相关度； 

a）普通义原，将这一部分的相关度记为Rel₁(C₁,C₂)，按照如下步骤对其进行分组； 

i.先把两个表达式的所有普通义原任意配对，计算出所有配对的义原相关度； 

ii.取相关度最大的一对，并将它们归为一组； 

iii.在剩下的普通义原的配对相关度中，取最大的一对，并归为一组，如此反复，直到所有普通义原都完成分组为止； 

b）关系义原，将这一部分的相关度记为Rel₂(C₁,C₂)，把关系义原相 同的描述式分为一组，并计算其相关度； 

c）符号义原，将这一部分的相关度记为Rel₃(C₁,C₂)，把关系符号相同的描述式分为一组，并计算其相关度； 

（3）将概念表达式相关度计算归结到计算两个义原间的语义相关度，在这里用两个义原的语义距离表示： 

$\mathrm{Sim}(p_1,p_2)=\frac{\mathrm{\α}}{d+\mathrm{\α}}$

其中，p₁,p₂表示两个义原，d为p₁,p₂在义原层次体系中的路径长度，是一个正整数，α是一个可调节的参数； 

（4）两个概念语义表达式的整体相关度为： 

$\mathrm{Rel}(C_1,C_2)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\β}}_i\mathrm{Re}{l}_i(C_1,C_2)$

其中：β_i是可调节的参数，1＜i＜3，β1+β2+β3＝1，β1≥β2≥β3。 

进一步，第二步中步骤（1）、（2）抽取关键词的过程具体为： 

Step1、依存树剪枝，剪枝规则如下： 

Step1.1、提取到依存树的第二级； 

Step1.2、如果第二级为“的”等助词，则需要提取该助词下的第三级或更高级； 

Step1.3、如果第二级为动词，则需要提取该动词下的第三级； 

Step2、在剪枝后的依存树中抽取关键词；关键词抽取规则是，只提取关键词，除去关键词以外的所有词，并将提取出来的关键词以依存树的形式保存。 

进一步，以上话题识别的计算过程为： 

Step1、语料中第一个话轮为一个新的话题； 

Step2、测试后续话轮与所有主题句的相关度： 

Step2.1、如果相关度大于阈值，则将其归入相关度最高的话题； 

Step2.2、如果相关度小于阈值，且为完整句，则将其作为新的话题； 

Step2.3、如果相关度小于阈值，且为非完整句，则将其归入最近的话题； 

Step3、重复Step2、Step3，直到所有话轮处理完成。 

与现有技术相比，本发明具有以下有益效果： 

1.现有技术的研究对象为以整个新闻或者段落，而本发明针对话轮级别。 

2.现有技术识别的结果仅为整个新闻（事件）或段落是否属于哪一类主题，以及相关的新闻（事件）发生，即主题级的识别；而本发明的主要是发现交互双方讨论的话题是否一致，即对单一、具体话题的识别。 

3.在交互文本的特征表示方面，现有技术离线收集仅为当前新闻（事件）的词频特征进行计算，而本发明的方法发现了词语语义特性和句子结构特性，引入词语语义特征和依存句法特征来进行话题识别。 

4.现有方法以无监督的概率潜在语义分析方法为主，而本发明提出了基于多特征融合的句子相关度算法，并将其应用于话题识别过程中。 

附图说明

图1交互文本字数统计图； 

图2话题识别流程图； 

图3基于多特征融合的句子相关度计算原理图。 

具体实施方式

本发明面向交互文本的话题识别方法，包括如下步骤： 

第一步：词语相关度计算阶段： 

（1）基于知网，计算词语在知识词典层面的相关度。 

基于知网的语义相关度计算主要依据知识词典中的记录信息，每一个记录包含的4项信息中，因为目前词语例子E_X这一项还不可用，只能利用剩下的三项信息，词语概念W_X、词语词性G_X和概念定义DEF。 

对于词语w₁和w₂，如果与w₁对应的有m个概念，分别为C₁₁,C₁₂,...,C_1m，w₂有n个概念，分别为C₂₁,C₂₂,...,C_2n，规定，w₁和w₂的相关度为各个概念的相关度之最大值，也就是说： 

$\mathrm{Rel}(W_1,W_2)=\underset{i=1..m,j=1...n}{\max }{W}_{\mathrm{pos}}\mathrm{Rel}(C_{1i},C_{2j}))$

其中，w_pos为词性相关权重系数，当概念词性相同时，w_pos＝1，当概念词性不同时，w_pos＝0.5； 

所述的概念相关度计算过程为： 

概念是由一个语义表达式来描述的，要计算实词概念之间的相关度就是要计算两个语义表达式的相关度。具体地，采用以下规则： 

A.将任何义原（或具体词）与空值的相似度定义为一个比较小的常数（δ）； 

B.对于实词概念的语义表达式，我们将其分成三个部分，然后计算两个表达式中对应每个部分的相关度。 

a）普通义原，将这一部分的相关度记为Rel₁(C₁,C₂)，因为普通义原一般不止一个，而且没有固定的分组规则，很难找出对应关系，本文按照如下步骤对其进行分组： 

a-1先把两个表达式的所有普通义原任意配对，计算出所有可能的配对的义原相关度； 

a-2取相关度最大的一对，并将它们归为一组； 

a-3在剩下的普通义原的配对相关度中，取最大的一对，并归为一组，如此反复，直到所有普通义原都完成分组。 

b）关系义原，将这一部分的相关度记为Rel₂(C₁,C₂)，把关系义原相同的描述式分为一组，并计算其相关度； 

c）符号义原，将这一部分的相关度记为Rel₃(C₁,C₂)，符号义原描述式的配对分组与关系义原描述式类似，本发明把关系符号相同的描述式分为一组，并计算其相关度； 

C.将概念表达式相关度计算又归结到计算两个义原间的语义相关度，在这里用两个义原的语义距离表示： 

$\mathrm{Sim}(p_1,p_2)=\frac{\mathrm{\α}}{d+\mathrm{\α}}$

其中，p₁,p₂表示两个义原（primitive），d为p₁,p₂在义原层次体系中的路径长度，是一个正整数，α是一个可调节的参数。 

D.两个概念语义表达式的整体相关度为： 

$\mathrm{Rel}(C_1,C_2)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\β}}_i\mathrm{Re}{l}_i(C_1,C_2)$

其中：β_i是可调节的参数，1＜i＜3，β1+β2+β3＝1，β1≥β2≥β3。后者反映了Rel₁(C₁,C₂)到Rel₃(C₁,C₂)对于总体相关度所起到的作用依次递减。 

（2）采用PLSA主题模型计算词语在大规模语料统计层面的相关度。用词语在某个主题中的共现率来计算关联程度。对于词语w_i,w_j，由PLSA模型得到主题在w_i和w_j上的概率分布向量为V_i=(p_i1,p_i2,p_i3,...)，V_j=(p_j1,p_j2,p_j3,...)，计算两个向量V₁,V₂之间距离的方法有余弦距离，计算公式如下： 

$L_2(V_1,V_2)=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(v_{1i}-v_{2i})}^2};$

（3）主题模型与知识词典相融合的词语相关度计算。假设两个词语的相关度为WordRele(A,B)，通过知识词典计算得出的相关度为DicRele(A,B)，通过主题模型计算得出的相关度为StatisRele(A,B)，则WordRele(A,B)＝a*DicRele(A,B)+b*StatisRele(A,B) 

其中：a,b为调整系数，0＜a,b＜1,a+b＝1。 

第二步，句子相关度计算阶段： 

（1）基于关键词特征的句子相关度计算； 

对于两个句子Sen1和Sen2，抽取出的关键词分别为，w₁₁,w₁₂,...w_1m与w₂₁,w₂₂,...w_2n，formRele(Sen1,Sen2)表示句子在关键词特征层面的相关度。 

formRele(Sen1,Sen2)＝2*SameWord(Sen1,Sen2)/(Len(Sen1)+Len(Sen2)) 

其中， 

SameWord(Sen1,Sen2)为句子Sen1和Sen2中共同出现的关键词个数； 

Len(Sen1)、Len(Sen2)分别为句子Sen1和Sen2的关键词个数。 

（2）基于词语语义特征的句子相关度计算； 

假设semanticRele(Sen1,Sen2)为句子Sen1和Sen2在词语语义特征层面的 相关度，那么， 

$\mathrm{semantic\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=(\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i}{m}+\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i}{n})/2$

其中，a_i＝max(s(w_1i,w₂₁),s(w_1i,w₂₂),...,s(w_1i,w_2n))， 

b_i＝max(s(w_2i,w₁₁),s(w_2i,w₁₂),...,s(w_2i,w_1m))。 

s(w_i,w_j)为句子Sen1中词语w_i和句子Sen2中词语w_j在语义特征层面的相关度，步骤一介绍了求解s(w_i,w_j)的过程。 

（3）基于依存句法的句子相关度计算； 

对于句子Sen1和Sen2，在依存句法层面的相关度为： 

$\mathrm{syntax\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i}{\mathrm{Max}\{\mathrm{PairCount}1,\mathrm{PairCount}2\}}$

其中， 

W_i为有效搭配对匹配的权重之和； 

PairCount1,PairCount2分别为句子Sen1,Sen2的有效搭配对数。 

（5）多特征信息的融合。通过引入遗传算法的方式确定最优权重，将这关键词特征、词语语义特征、依存句法特征三个层面的信息融合起来，最后得到一个可靠、准确的句子相关度计算方法。多特征融合的形式化表示为如下公式： 

Rele(Sen1,Sen2)=a*formRele(Sen1,Sen2)+ 

b*semanticRele(Sen1,Sen2)+c*syntaxRele(Sen1,Sen2) 

其中， 

Rele(Sen1,Sen2)为句子Sen1和句子Sen2的相关度； 

formRele(Sen1,Sen2)为句子Sen1和句子Sen2的在关键词层面的相关度； 

semanticRele(Sen1,Sen2)为句子Sen1和句子Sen2的在词语语义层面的相关度； 

syntaxRele(Sen1,Sen2)为句子Sen1和句子Sen2的在依存句法层面的相关度； 

a，b，c分别为对应特征的权重系数。 

以上步骤（1）、（2）中抽取关键词的过程为： 

Step1、依存树剪枝，剪枝规则如下： 

Step1.1、一般情况下提取到依存树的第二级； 

Step1.2、如果第二级为“的”等助词，则需要提取该助词下的第三级或更高级； 

Step1.3、如果第二级为动词，则需要提取该动词下的第三级。 

Step2、在剪枝后的依存树中抽取关键词。关键词抽取规则是，只提取关键词（名词、动词、形容词），除去关键词以外的所有词，并将提取出来的关键词以依存树的形式保存。 

第三步：面向交互文本的话题识别过程为： 

针对交互文本中话题的动态性、交叉性、稀疏性和发散性，设计基于第二步中句子相关度的话题识别算法，即选取聊天数据中的第一个话轮为第一个话题，对于后面的所有话轮分别计算其与已存在话题的句子相关度，然后和阈值进行比较，确定它是属于某一个已存在的话题还是属于一个新发起的话题，用此方法来进行话题的识别。其计算过程包括以下步骤： 

Step1、语料中第一个话轮为一个新的话题； 

Step2、测试后续话轮与所有主题句的相关度； 

Step2.1、如果相关度大于阈值，则将其归入相关度最高的话题； 

Step2.2、如果相关度小于阈值，且为完整句，则将其作为新的话题； 

Step2.3、如果相关度小于阈值，且为非完整句，则将其归入最近的话题。 

Step3、重复Step2、Step3，直到所有话轮处理完成。 

为了更清楚的理解本发明，以下结合附图对本发明作进一步的详细描述。 

1、本发明采用的是先进行词语语义相关度计算，再将词语语义相关度引入句子相关度计算过程，分别计算句子在关键词特征、词语语义特征、依存句法特征三个层面的相关度，将三个特征融合后计算句子间相 关度。最后将句子相关度计算引入交互文本话题识别算法过程进行交互文本话题识别。其流程图如图1所示。 

本发明将用户输入的Turn归属到相应的话题中。即时交互文本相比于博客、评论、小说等单篇文档，其除继承了自然语言文本具有的歧义性和非规范性等特点外，还具有自己独特的特性： 

（1）交互性。信息通过发言者（Speaker）与受众（Acceptor）之间的（内容和情感）双向互动传播。其交互性包括两个重要的特征：一是话轮（Turn）特征，即多（大于两人）成员参与并发言。发言过程蕴含组织特征，即对话参与人的角色（例如远程实时课堂中的教师和学生）、组织的生命周期（如实时课堂从开始讨论到结束）；二是对话内容和情感的互动性。发言者发布信息，受众有选择地接收、评价或反馈信息，从而形成在认知层次上面向问题或任务的讨论； 

（2）句子短，特征稀疏。每次话轮的内容少，句子短，这样必然会导致特征稀疏。在图1中，44.6%的话轮少于10个字，78.1%的话轮少于20个字，可以看出大多数的话轮包含的字数都是非常少的，即话轮是非常短的。 

这些都给交互文本的处理技术带来了更大的挑战。在交互文本的话题识别研究中，需要通过交互文本和传统文本的对比分析，从交互文本自身的特性出发，提出有针对性的方法，具体分析如下： 

1）交互性。交互性中一个特征是话轮特征，另外一个是对话内容和情感的互动性，针对这两个特征，采用了基于句子相关度计算的关联检测方法。关联检测是话题检测和跟踪的五大核心任务之一，主要工作是判断报道所属的话题。要判断一篇报道属于哪个话题，就需要计算这篇报道与所有已知话题的相似度，然后将最高相似度与阈值进行比较，以判断该报道是属于已知相似度最高的话题还是属于一个新话题。而这种关联检测方法在交互文本中很难得到实际应用，这是因为交互文本的交互性、话轮特征使得在交互文本环境进行关联检测时，不能以文档相似度计算为基础，而需要以句子相关度计算为基础。句子相关度计算就是判断两个句子是否是围绕同一话题展开。 

2）句子短，语义特征稀疏。在任意单个话轮中存在的文本较短，这导致了单轮发言有效语义信息含量少，可直接利用信息不足的问题，致使交互文本中的句子相关度检测难度增大。因此，如何有效的从已有 发言文本中挖掘可用语义信息，补充拓展语义信息含量，设计出适应交互文本的句子相关度计算方法是解决该问题的关键。对此，设计了一种基于多特征融合的句子相关度算法，研究句子在主题词、词语语义、句法层面的相关度计算方法，最后进行多特征融合。其中，词语语义在挖掘交互文本深层语义信息方面所占有的比重最大，因此，深入研究词语语义相关度计算方法，提出基于知识词典和主题模型相结合的词语相关度计算方法。 

通过以上分析，本发明采用一种基于句子相关度计算的交互文本话题识别方法，流程图如图2所示，具体工作机制如下： 

Step1、语料中第一个话轮为一个新的话题； 

Step2、测试后续话轮与所有主题句的相关度； 

Step2.1、如果相关度大于阈值，则将其归入相关度最高的话题； 

Step2.2、如果相关度小于阈值，且为完整句，则将其作为新的话题； 

Step2.3、如果相关度小于阈值，且为非完整句，则将其归入最近的话题。 

Step3、重复Step2、Step3，直到所有话轮处理完成。 

2、句子相关度计算机制 

研究目的：计算句子之间的关联程度，以便于进行话轮之间关联程度的检测，从而识别出两个不同的话轮是否属于同一个话题。 

研究背景：交互文本中每次话轮的内容少，句子短，这样必然会导致特征稀疏，那么通过多特征融合的句子相关度计算方法，可以在一定程度上克服内容少，句子短这些缺点。 

本发明采用了一种基于多特征融合的句子相关度算法，研究句子在主题词、词语语义、句法层面的相关度计算方法，最后进行多特征融合。其示意图如图3所示，具体的工作机制如下： 

（1）基于关键词特征的句子相关度计算； 

对于两个句子Sen1和Sen2，抽取出的关键词分别为，w₁₁,w₁₂,...w_1m与w₂₁,w₂₂,...w_2n，formRele(Sen1,Sen2)表示句子在关键词特征层面的相关度。 

formRele(Sen1,Sen2)＝2*SameWord(Sen1,Sen2)/(Len(Sen1)+Len(Sen2)) 

其中， 

SameWord(Sen1,Sen2)为句子Sen1和Sen2中共同出现的关键词个数； 

Len(Sen1)、Len(Sen2)分别为句子Sen1和Sen2的关键词个数。 

（2）基于词语语义特征的句子相关度计算； 

假设semanticRele(Sen1,Sen2)为句子Sen1和Sen2在词语语义特征层面的相关度那么， 

$\mathrm{semantic\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=(\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i}{m}+\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i}{n})/2$

其中，a_i＝max(s(w_1i,w₂₁),s(w_1i,w₂₂),...,s(w_1i,w_2n))，b_i＝max(s(w_2i,w₁₁),s(w_2i,w₁₂),...,s(w_2i,w_1m))。 

s(w_i,w_j)为句子Sen1中词语w_i和句子Sen2中词语w_j在语义特征层面的相关度，步骤一介绍了求解s(w_i,w_j)的过程。 

（3）基于依存句法的句子相关度计算； 

对于句子Sen1和Sen2，在依存句法层面的相关度为： 

$\mathrm{syntax\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i}{\mathrm{Max}\{\mathrm{PairCount}1,\mathrm{PairCount}2\}}$

其中， 

W_i为有效搭配对匹配的权重之和； 

PairCount1,PairCount2分别为句子Sen1,Sen2的有效搭配对数。 

（4）多特征信息的融合。通过引入遗传算法的方式确定最优权重，将这关键词特征、词语语义特征、依存句法特征三个层面的信息融合起来，最后得到一个可靠、准确的句子相关度计算方法。多特征融合的形式化表示为如下公式： 

Rele(Sen1,Sen2)=a*formRele(Sen1,Sen2)+ 

b*semanticRele(Sen1,Sen2)+c*syntaxRele(Sen1,Sen2) 

其中， 

Rele(Sen1,Sen2)为句子Sen1和句子Sen2的相关度； 

formRele(Sen1,Sen2)为句子Sen1和句子Sen2的在关键词层面的相关度； 

semanticRele(Sen1,Sen2)为句子Sen1和句子Sen2的在词语语义层面的相关度； 

syntaxRele(Sen1,Sen2)为句子Sen1和句子Sen2的在依存句法层面的相关度； 

a，b，c分别为对应特征的权重系数。 

3、词语语义相关度计算机制 

研究目的：计算词语语义相关度，以应用于句子相关度计算中。 

研究背景：词语语义可以挖掘交互文本深层语义信息，在基于多特征融合的句子相关度计算中所占比重最大，因此，需要深入研究词语语义相关度计算方法。 

本发明采用了一种基于知识词典和主题模型相结合的词语相关度计算方法。具体工作机制如下： 

（1）基于知网，计算词语在知识词典层面的相关度。基于知网的语义相关度计算主要依据知识词典中的记录信息，每一个记录包含的4项信息中，因为目前词语例子E_X这一项还不可用，只能利用剩下的三项信息，词语概念W_X、词语词性G_X和概念定义DEF。 

对于词语w₁和w₂，如果与w₁对应的有m个概念，分别为C₁₁,C₁₂,...,C_1m，w₂有n个概念，分别为C₂₁,C₂₂,...,C_2n，规定，w₁和w₂的相关度为各个概念的相关度之最大值，也就是说： 

$\mathrm{Rel}(W_1,W_2)=\underset{i=1..m,j=1...n}{\max }{W}_{\mathrm{pos}}\mathrm{Rel}(C_{1i},C_{2j}))$

其中，w_pos为词性相关权重系数，当概念词性相同时，w_pos＝1，当概念词性不同时，w_pos＝0.5。 

概念是由一个语义表达式来描述的，要计算实词概念之间的相关度就是要计算两个语义表达式的相关度。具体地，采用以下规则： 

1）将任何义原（或具体词）与空值的相似度定义为一个比较小的常数（δ）； 

2）对于实词概念的语义表达式，我们将其分成三个部分，然后计算两个表达式中对应每个部分的相关度。 

a）普通义原，将这一部分的相关度记为Rel₁(C₁,C₂)，因为普通义原一般不止一个，而且没有固定的分组规则，很难找出对应关系，本发明按照如下步骤对其进行分组； 

（a）先把两个表达式的所有普通义原任意配对，计算出所有可能的配对的义原相关度； 

（b）取相关度最大的一对，并将它们归为一组； 

（c）在剩下的普通义原的配对相关度中，取最大的一对，并归为一组，如此反复，直到所有普通义原都完成分组。 

b）关系义原，将这一部分的相关度记为Rel₂(C₁,C₂)，我们把关系义原相同的描述式分为一组，并计算其相关度； 

c）符号义原，将这一部分的相关度记为Rel₃(C₁,C₂)，符号义原描述式的配对分组与关系义原描述式类似，本文把关系符号相同的描述式分为一组，并计算其相关度； 

3）将概念表达式相关度计算又归结到计算两个义原间的语义相关度，在这里用两个义原的语义距离表示： 

$\mathrm{Sim}(p_1,p_2)=\frac{\mathrm{\α}}{d+\mathrm{\α}}$

其中，p₁,p₂表示两个义原（primitive），d为p₁,p₂在义原层次体系中的路径长度，是一个正整数，α是一个可调节的参数。 

4）两个概念语义表达式的整体相关度为： 

$\mathrm{Rel}(C_1,C_2)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\β}}_i\mathrm{Re}{l}_i(C_1,C_2)$

其中：β_i是可调节的参数，1＜i＜3，β1+β2+β3＝1，β1≥β2≥β3。后者反映了Rel₁(C₁,C₂)到Rel₃(C₁,C₂)对于总体相关度所起到的作用依次递减。 

（2）采用PLSA主题模型计算词语在大规模语料统计层面的相关度。用词语在某个主题中的共现率来计算关联程度。对于词语w_i,w_j，由PLSA模型得到主题在w_i和w_j上的概率分布向量为V_i=(p_i1,p_i2,p_i3,...)，V_j=(p_j1,p_j2,p_j3,...)，计算两个向量V₁,V₂之间距离的方法有余弦距离，计算公式如下： 

$L_2(V_1,V_2)=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(v_{1i}-v_{2i})}^2};$

（3）主题模型与知识词典相融合的词语相关度计算。假设两个词语的相关度为WordRele(A,B)，通过知识词典计算得出的相关度为DicRele(A,B)，通过主题模型计算得出的相关度为StatisRele(A,B)，则 

WordRele(A,B)＝a*DicRele(A,B)+b*StatisRele(A,B) 

其中：a,b为调整系数，0＜a,b＜1,a+b＝1。 

Claims (4)

1.一种面向交互文本的话题识别方法，其特征在于，包括以下步骤：

第一步：词语相关度计算：

（1）基于知网，计算词语在知识词典层面的相关度

基于知网的语义相关度计算依据知识词典中的记录信息，每一个记录包含的4项信息中，利用三项信息：词语概念W_X、词语词性G_X和概念定义DEF；

对于词语w₁和w₂，如果与w₁对应的有m个概念，分别为C₁₁,C₁₂,...,C_1m，w₂有n个概念，分别为C₂₁,C₂₂,...,C_2n，设w₁和_w2的相关度为各个概念的相关度之最大值，也就是说：

$\mathrm{Rel}(W_1,W_2)=\underset{i=1..m,j=1...n}{\max }{W}_{\mathrm{pos}}\mathrm{Rel}(C_{1i},C_{2j}))$

其中，w_POS为词性相关权重系数，当概念词性相同时，w_pos＝1，当概念词性不同时，w_pos＝0.5；

（2）采用PLSA主题模型计算词语在大规模语料统计层面的相关度

用词语在某个主题中的共现率来计算关联程度；对于词语w_i,w_j，由PLSA模型得到主题在w_i和w_j上的概率分布向量为V_i=(p_i1,p_i2,p_i3,...)，V_j=(p_j1,p_j2,p_j3,...)，计算两个向量V₁,V₂之间距离，计算公式如下：

$L_2(V_1,V_2)=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(v_{1i}-v_{2i})}^2};$

（3）主题模型与知识词典相融合的词语相关度计算

假设两个词语的相关度为WordRele(A,B)，通过知识词典计算得出的相关度为DicRele(A,B)，通过主题模型计算得出的相关度为StatisRele(A,B)，则：

WordRele(A,B)＝a*DicRele(A,B)+b*StatisRele(A,B)

其中：a,b为调整系数，0＜a,b＜1,a+b＝1；

第二步，句子相关度计算阶段：

（1）基于关键词特征的句子相关度计算

对于两个句子Sen1和Sen2，抽取出的关键词分别为，w₁₁,w₁₂,...w_1m与w₂₁,w₂₂,...w_2n，formRele(Sen1,Sen2)表示句子在关键词特征层面的相关度；

formRele(Sen1,Sen2)＝2*SameWord(Sen1,Sen2)/(Len(Sen1)+Len(Sen2))其中，SameWord(Sen1,Sen2)为句子Sen1和Sen2中共同出现的关键词个数；

Len(Sen1)、Len(Sen2)分别为句子Sen1和Sen2的关键词个数；

（2）基于词语语义特征的句子相关度计算

假设semanticRele(Sen1,Sen2)为句子Sen1和Sen2在词语语义特征层面的相关度，那么， $\mathrm{semantic\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=(\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i}{m}+\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i}{n})/2;$

其中：a_i＝max(s(w_1i,w₂₁),s(w_1i,w₂₂),...,s(w_1i,w_2n))，

b_i＝max(s(w_2i,w₁₁),s(w_2i,w₁₂),...,s(w_2i,w_1m))；

s(w_i,w_j)为句子Sen1中词语w_i和句子Sen2中词语w_j在语义特征层面的相关度；

（3）基于依存句法的句子相关度计算；

对于句子Sen1和Sen2，在依存句法层面的相关度为：

$\mathrm{syntax\; Rele}(\mathrm{Sen}1,\mathrm{Sen}2)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i}{\mathrm{Max}\{\mathrm{PairCount}1,\mathrm{PairCount}2\}};$

其中，W_i为有效搭配对匹配的权重之和；PairCount1,PairCount2分别为句子Sen1,Sen2的有效搭配对数；

（4）多特征信息的融合

通过引入遗传算法的方式确定最优权重，将这关键词特征、词语语义特征、依存句法特征三个层面的信息融合起来，最后得到一个可靠、准确的句子相关度计算方法；多特征融合的形式化表示为如下公式：

Rele(Sen1,Sen2)=a*formRele(Sen1,Sen2)+

b*semanticRele(Sen1,Sen2)+c*syntaxRele(Sen1,Sen2)

其中，

Rele(Sen1,Sen2)为句子Sen1和句子Sen2的相关度；

formRele(Sen1,Sen2)为句子Sen1和句子Sen2的在关键词层面的相关度；

semanticRele(Sen1,Sen2)为句子Sen1和句子Sen2的在词语语义层面的相关度；

syntaxRele(Sen1,Sen2)为句子Sen1和句子Sen2的在依存句法层面的相关度；

a，b，c分别为对应特征的权重系数；

第三步：面向交互文本的话题识别过程为：

针对交互文本中话题的动态性、交叉性、稀疏性和发散性，设计基于第二步中句子相关度的话题识别算法，即选取聊天数据中的第一个话轮为第一个话题，对于后面的所有话轮分别计算其与已存在话题的句子相关度，然后和阈值进行比较，确定它是属于某一个已存在的话题还是属于一个新发起的话题，用此方法来进行话题的识别。

2.根据权利要求1所述的面向交互文本的话题识别方法，其特征在于，第一步中步骤（1）的概念的相关度计算过程为：

概念是由一个语义表达式来描述的，要计算实词概念之间的相关度就是要计算两个语义表达式的相关度；具体地，采用以下方式：

（1）将任何义原或具体词与空值的相似度定义为一个小的常数δ；

（2）对于实词概念的语义表达式，将其分成三个部分，然后计算两个表达式中对应每个部分的相关度；

a）普通义原，将这一部分的相关度记为Rel₁(C₁,C₂)，按照如下步骤对其进行分组；

i.先把两个表达式的所有普通义原任意配对，计算出所有配对的义原相关度；

ii.取相关度最大的一对，并将它们归为一组；

iii.在剩下的普通义原的配对相关度中，取最大的一对，并归为一组，如此反复，直到所有普通义原都完成分组为止；

b）关系义原，将这一部分的相关度记为Rel₂(C₁,C₂)，把关系义原相同的描述式分为一组，并计算其相关度；

c）符号义原，将这一部分的相关度记为Rel₃(C₁,C₂)，把关系符号相同的描述式分为一组，并计算其相关度；

（3）将概念表达式相关度计算归结到计算两个义原间的语义相关度，在这里用两个义原的语义距离表示：

$\mathrm{Sim}(p_1,p_2)=\frac{\mathrm{\α}}{d+\mathrm{\α}}$

其中，p₁,p₂表示两个义原，d为p₁,p₂在义原层次体系中的路径长度，是一个正整数，α是一个可调节的参数；

（4）两个概念语义表达式的整体相关度为：

$\mathrm{Rel}(C_1,C_2)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\β}}_i\mathrm{Re}{l}_i(C_1,C_2)$

其中：β_i是可调节的参数，1＜i＜3，β1+β2+β3＝1，β1≥β2≥β3。

3.根据权利要求1所述的面向交互文本的话题识别方法，其特征在于，第二步中步骤（1）、（2）抽取关键词的过程具体为：

Step1、依存树剪枝，剪枝规则如下：

Step1.1、提取到依存树的第二级；

Step1.2、如果第二级为“的”等助词，则需要提取该助词下的第三级或更高级；

Step1.3、如果第二级为动词，则需要提取该动词下的第三级；

Step2、在剪枝后的依存树中抽取关键词；关键词抽取规则是，只提取关键词，除去关键词以外的所有词，并将提取出来的关键词以依存树的形式保存。

4.根据权利要求1所述的面向交互文本的话题识别方法，其特征在于，

话题识别的计算过程为：

Step1、语料中第一个话轮为一个新的话题；

Step2、测试后续话轮与所有主题句的相关度：

Step2.1、如果相关度大于阈值，则将其归入相关度最高的话题；

Step2.2、如果相关度小于阈值，且为完整句，则将其作为新的话题；

Step2.3、如果相关度小于阈值，且为非完整句，则将其归入最近的话题；

Step3、重复Step2、Step3，直到所有话轮处理完成。

Images