CN103617157B - 基于语义的文本相似度计算方法 - Google Patents

Abstract

本发明提供了一种基于语义的文本相似度计算方法，涉及面向文本的智能信息处理技术领域。其目的在于解决常规的文本向量空间模型及余弦相似度无法进行语义相关判断的问题。基于语义的文本相似度计算包括以下步骤：对文本集进行预处理，提取出初始特征词，将其表示成由关键词和概念两部分组成的向量模型；然后分别计算关键词部分的语义相似度和概念部分的语义相似度，通过对两部分进行求和最终得到文本的语义相似度。

Description

基于语义的文本相似度计算方法

·技术领域

本发明涉及面向文本的智能信息处理技术领域，尤其涉及基于关键词的文本语义相似度计算方法和基于概念的文本语义相似度计算方法。

·背景技术

随着互联网的飞速发展，信息技术的发展也突飞猛进，各类信息资源的数量以惊人的速度增长，如何通过精确地计算文本间的相似度快速而又准确地检索出信息是当前亟待解决的问题。

文本相似度的计算方法在计算机技术的各个领域获得应用，例如在文本检索领域(Text Retrieval)，文本相似度可以改善搜索引擎的召回率(Recall)和准确度(Precision)；在文本挖掘领域(Text Mining)，文本相似度作为一个测量方法用来发现文本数据库中潜在的知识；在基于网页的图像检索(Image Retrieval)领域，可以利用图像周围的描述性短文本来提高准确率。此外，文本相似度计算方法也可以应用到其他一些研究领域，包括文本概括(Text Summarization)，文本分类(TextCategorization)和机器翻译(Machine Translation)等领域。

常规的文本相似度计算的大致步骤为：首先，将待进行相似度计算的文本进行预处理，然后利用特征选择算法对特征进行抽取，构建一个传统的空间向量模型，再利用余弦相似度计算公式进行文本的相似度计算。

对文本表示模型而言，现在普遍使用的还是Salton和McGill提出的向量空间表示模型，它是一个由词和文档构成的矩阵，词和词之间是独立的个体，将文本转化为向量空间的点。每个样本可以看成是多维的点，如一个数据集P有s个样本点，则P＝{p₁，p₂，...，p_s}，在一个n维的空间中，每一个样本点p_i可用一个n维的属性向量表示＜p_i1，p_i2，...，p_in＞，其中1≤i≤s；其中P_im表示的是第m个属性(特征项)在第i个样本中的权重。

向量空间模型的最大优点是实现简单。它把文本这种非结构化形式进行了数值化的表示，把文本看成多维空间中的一个点，对文本的计算可以通过向量计算得出，降低了复杂度。常用的文本处理方法在结构化文本时通常采用词袋表示模型，该模型有以下不足：(1)未考虑两个词的语义关联，两个语义相近的词却被看成了两个独立的特征。(2)在不同上下文中的同一个词的语义不能被很好地鉴别出来。

对文本相似度计算而言，常用的文本间相似度计算方法是余弦相似度方法，该方法将文本看作空间中的一个点并将其表示为向量形式，利用向量之间的夹角大小来定量地计算文本间相似度，该方法没有考虑文本间具有相同语义的特征词，不能充分体现文本之间的语义相似性。

为解决常规的文本相似度计算的上述问题，本发明提供了一种基于语义的文本相似度计算方法。

·发明内容

本发明提供一种基于语义的文本相似度计算方法，其目的在于解决常规的文本向量空间模型及余弦相似度无法进行语义相关判断的问题，能够提高文本相似度计算的精度，以满足各种智能文本信息处理的需求。

本发明的上述目的是这样实现的，详细说明如下：

一种基于语义的文本相似度计算方法，其特征在于采用基于关键词和基于概念的混合语义相似度计算方法计算文本间的语义相似度，具体包括如下步骤：

文本预处理，对文本集进行预处理，去停用词；

特征选择，应用卡方统计方法选择文本集的特征：针对每个类别，分别计算各个关键词和类别的卡方值，根据卡方值的大小对关键词进行降序排列，设定一个阈值γ，过滤掉低于确定γ的全部关键词，从而得到每个文本的初始表示向量；

构建文本语义表示模型：文本的语义表示模型由关键词和概念两部分构成，即D＝{t₁，t₂，...，t_m，c₁，c₂，...，c_n}，其中D表示文本的特征集合，t_i表示关键词特征，c_i表示概念特征；对于文本的初始表示向量中不在知识库中的词，保留原形作为文本语义表示模型中关键词特征；对于出现在知识库中的词，利用概念转化规则将其转化成知识库中的概念，作为文本语义表示模型中的概念特征；概念转化规则包括按照一定顺序进行以下两个操作：首先结合文本所在类别的类标签对概念进行词义消歧处理，确定概念的确切词义，然后利用概念层次转换对概念进行合并处理，以充分挖掘概念间的语义关联，接着，计算文本语义模型中关键词权重，最后，结合词语自身的特征权重以及词和类别之间相似度的信息计算概念的权重值；

基于关键词的文本相似度计算，该部分主要包括两方面处理：一是计算每对关键词间的相似度，二是在关键词相似度基础上计算文本相似度；在计算关键词间的相似度时依赖于以下假设：如果一个词语和其他词语之间存在某些联系，那么它们通常会共同出现在一些文档中；以此为基础，基于关键词的相似度计算方法首先根据语料库构建一个关键词相似度矩阵，然后通过对关键词对间的相似度加权求和取平均的方式得到文本相似度；

基于概念的文本相似度计算，该步骤主要包括两部分，一是计算每对概念间的相似度，二是在概念相似度的基础上计算文本相似度；在计算概念的相似度时，根据Lin提出的经典的概念相似度计算公式计算概念间的相似度，构建一个概念相似度矩阵，然后通过对概念对间的相似度加权求和取平均的方式得到文本相似度；

基于语义的文本相似度计算，最后对基于关键词的文本相似度计算结果和基于概念的文本相似度计算结果进行求和从而确定文本间的语义相似度。

其中利用概念层次转换对概念进行合并处理，以充分挖掘概念间的语义关联包括：

根据知识库中概念之间的继承关系，依次找到每个概念的第r层上位概念，用第r层上位概念来表示当前概念；对于概念c₁和c₂，如果c₁是c₂的子概念，c₂是c₁的父概念，那么它们之间的关系可表示为c₁＜c₂；进一步地，如果没有任何概念c₃处于c₁和c₂之间，那么c₁就是c₂的直接下位概念，c₂是c₁的直接上位概念，它们之间的关系可表示为c₁＜_d c₂；一个概念c_i的第r层上位概念的定义如下：

H(c_i，r)＝{c|c_i＜_d c₁＜_d...＜_d c_r＝c} (1)

其中，H(c_i，r)表示的是c_i的第r层上位概念，r是概念在知识库中的层次数。

其中计算文本语义模型中关键词权重包括：关键词t在文档d中的权重计算采用tfidf计算方法，计算公式如式(2)所示：

$w(t,d)=\mathrm{tf}(t,d)\×\log \left(\frac{\left|D\right|}{n}\right)---\left(2\right)$

其中，tf(t，d)是词频，它表示词t在文档d中出现的频率；|D|为文档总数，n表示包含词t的文档数。

其中计算文本语义模型中概念权重包括：概念权重计算公式为

w(c，d_k)＝tf(c，d_k)×idf(c)×rel(c，l_i|d_k) (3)

其中，rel(c，l_i|d_k)表示概念c和其所在文本d_k所属类别的类标签l_i之间的相似度，w(c，d_k)是概念c在文本d_k中的权重，idf(c)是概念c的反文档频率，tf(c，d_k)是词频，它表示概念c在文档d_k里出现的频率，idf(c)＝log(|D|/n)，|D|为文档总数，n表示包含概念c的文档数。

当概念在知识库中的层次r＞1时，其权重根据以下公式迭代计算：

$w(c_r,d_k)={\mathrm{\Σ}}_{c_{r-1}}w(c_{r-1},d_k)---\left(4\right)$

其中，c_r-1＜_d c_r。

其中计算每对关键词间的相似度包括：设T＝{t₁，t₂，...，t_m}表示未出现在知识库中的关键词构成的集合，基于关键词的相似度计算方法根据语料库构建一个关键词的相似度矩阵A＝(a_ij)_m×m，该矩阵的每一个元素a_ij是每一对属于T中关键词t_i和t_j之间的相似度值，其计算公式如下所示：

$a_{\mathrm{ij}}=\mathrm{sim}(t_i,t_j)=\frac{\stackrel{\→}{t_i}\·\stackrel{\→}{t_j}}{\left|\stackrel{\→}{t_i}\right|\·\left|\stackrel{\→}{t_j}\right|}=\frac{{\mathrm{\Σ}}_{{\∀d}_k}{w}_{\mathrm{ki}}\·w_{\mathrm{kj}}}{\sqrt{{\mathrm{\Σ}}_{{\∀d}_k}{\left(w_{\mathrm{ki}}\right)}^2}\·\sqrt{{\mathrm{\Σ}}_{{\∀d}_k}{\left(w_{\mathrm{kj}}\right)}^2}}---\left(5\right)$

其中，w_ki表示关键词t_i在文本d_k中的权重，w_kj表示关键词t_j在文本d_k中的权重。

其中在关键词相似度的基础上计算文本相似度包括：假设两个文本d₁和d₂的表示模型中分别包括l和k个不在知识库中出现的关键词，则基于关键词的方法定义两个文本间的相似度如公式(6)所示：

${\mathrm{sim}}_{\mathrm{vs}}(d_1,d_2)=\frac{(\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_{1i}\×w_{2j}\×a_{\mathrm{ij}})}{\mathrm{lk}}---\left(6\right)$

其中，sim_vs(d₁，d₂)表示两个文本d₁和d₂的相似度。

其中计算每对概念间的相似度包括：在计算概念间的相似度时，根据Lin提出的经典的相似度计算公式计算概念间的相似度，其计算公式如下所示：

${\mathrm{sim}}_{\mathrm{lin}}(s_1,s_2)=\frac{2\log \left(p\left(\mathrm{LCA}(s_1,s_2)\right)\right)}{\log \left(p\left(s_1\right)\right)+\log \left(p\left(s_2\right)\right)}---\left(7\right)$

其中，LCA(s₁，s₂)是指词义s₁和s₂的最低共同祖先，s₁和s₂分别是概念c₁和c₂经过词义消歧之后对应的语义，该相似度的取值范围在0和1之间；p(s)为当前词s在知识库中出现的概率，即当前词的下位概念(包括其本身)与知识库中所有概念个数的比值。

其中在概念相似度的基础上计算文本相似度包括：设C＝{c₁，c₂，...，c_n}是文本表示模型中的概念集合，构建概念相似度矩阵P＝(p_ij)_n×n，该矩阵的每一个元素p_ij是概念c_i和c_j之间的相似度，计算p_ij的公式如下：

p_ij＝sim(c_i，c_j)＝sim_lin(s_i，s_j) (8)

假设两个文本d₁和d₂的表示中分别包括m和n个概念，则基于概念的相似度计算方法将d₁和d₂之间的相似度定义如下的形式：

${\mathrm{sim}}_{\mathrm{wn}}(d_1,d_2)=\frac{(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}w(c_i,d_1)\×w(c_j,d_2)\×\mathrm{sim}(c_{1i},c_{2j}))}{\mathrm{mn}}---\left(9\right)$

其中，如果c_i或c_j是知识库中最底层概念则按照公式(3)计算w(c_i，d₁)或w(c_j，d₂)，否则按照公式(4)计算w(c_i，d₁)或w(c_j，d₂)。

对基于关键词的文本相似度计算结果和基于概念的文本相似度计算结果进行求和从而确定文本间的语义相似度包括：计算公式如下

sim(d₁，d₂)＝sim_vs(d₁，d₂)+sim_wn(d₁，d₂) (10)

其中，sim(d₁，d₂)表示文本间的语义相似度。

本方法所提供的技术方案的积极效果是：和常用的基于向量空间模型的文本表示方法不同，本发明将文本表示成关键词+概念的形式。在提取概念特征时，利用类别信息对概念进行词义消歧处理，并利用层次关系对概念进行转化，以达到充分挖掘文本中概念间语义关系的目的。在计算文本间的相似度时，分别计算关键词对的相似度和概念对的相似度，从而克服了向量空间模型的维数高、稀疏问题给文本相似度计算带来的影响。

·附图说明

本发明将通过示例，参考下述附图以更进一步的阐述：

图1是本发明实现基于语义文本相似度计算的系统流程图。

图2是概念映射层数r不同时Reuters数据集的分类结果比较。

图3是概念映射层数r不同时20Newsgroup数据集的分类结果比较。

图4是几种算法性能在Reuters数据集上的分类结果综合比较。

图5是几种算法性能在20Newsgroups数据集上的分类结果综合比较。

·具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图对本发明做进一步的详细说明。

如附图1，包括以下几个步骤：

文本集预处理。对文本集进行预处理，去停用词，将无益于分类处理的代词、介词、连词等高频词过滤掉。然后用基于规则依赖的提取词根方法对单词做词形变换，这有助于集中文本的特征，减少储存所需的空间。

文本的特征选择。对文本集词语进行特征选择，目的是去除一些对确定恰当的文本表示意义不大的词语。应用卡方统计方法来选择文本集的特征。针对每个类别，分别计算特征和类别的卡方值，根据卡方值的大小对关键词进行降序排列，设定一个阈值γ，过滤掉低于确定γ的全部关键词，从而得到每个文本的初始表示向量。

构建文本语义表示模型：利用类别标签对概念进行消歧处理。构建文本语义表示模型时，首先将文本的特征表示成关键词特征和概念特征两部分，即D＝{t₁，t₂，...，t_m，c₁，c₂，...，c_n}，其中D表示文本的特征集合，t_i表示关键词特征，c_i表示概念特征。构建文本的关键词特征时，将知识库中不存在的词保留原形作为语义模型中关键词特征部分。对于出现在知识库中的词，利用概念转化规则将其转化成知识库中的概念，作为文本语义表示模型中的概念特征；概念转化规则包括按照一定顺序进行以下两个操作：首先结合文本所在类别的类标签对概念进行词义消歧处理，确定概念的确切词义，然后利用知识库中的概念层次转换对概念进行合并处理，以充分挖掘概念间的语义关联，接着，计算文本语义模型中关键词权重，最后，结合词语自身的特征权重以及词和类别之间相似度的信息计算概念的权重值。以下将具体分析上述操作过程：

1、结合文本所在类别的类标签对概念进行词义消歧处理，确定概念的确切词义：

一个词在不同的上下文中有不同的含义，但文本中的每个词和文本的类别之间有着密切的关系。本发明通过计算词的每个语义和类标签之间的相似度来确定该词在本类别文本中的确切语义，相似度最大的语义就是该词的当前语义。具体方法是：对词t和它的一系列语义s_t＝{s_1t，s_2t，...，s_kt}，其中，k是t的语义个数，计算和当前类别标签词义s_l相似度最大的语义，计算公式如公式(1)所示。

$s\left(t\right)=\underset{1\≤i\≤k}{\arg \max \mathrm{sim}}(s_{\mathrm{it}},s_l)---\left(1\right)$

其中，l是类别标签名，s_l是类别标签名的语义，最后确定s(t)就是词t在当前类别l中的确切语义。

2、利用概念层次转换对概念进行合并处理，以充分挖掘概念间的语义关联：

本发明通过知识库中的语义关系信息来丰富文本的表示，利用概念上下位关系将一些具有相同语义的概念进行合并，有效地解决同义词问题，克服单纯从字面上考虑词义而失去词间关联性的问题。根据知识库中概念之间的继承关系，依次找到每个概念的第r层上位概念，用第r层上位概念来表示当前概念。这种转化不仅可以大大降低向量的维数，而且能更准确地表达文本的语义。对于概念c₁和c₂，如果c₁是c₂的子概念，c₂是c₁的父概念，那么它们之间的关系可表示为c₁＜c₂；进一步地，如果没有任何概念c₃处于c₁和c₂之间，那么c₁就是c₂的直接下位概念，c₂是c₁的直接上位概念，它们之间的关系可表示为c₁＜_d c₂。一个概念c_i的第r层上位概念的定义如公式(2)所示。

H(c_i，r)＝{c|c_i＜_d c₁＜_d...＜_d c_r＝c} (2)

其中，H(c_i，r)表示的是c_i的第r层上位概念，r是概念在知识库中的层次数。

3、计算文本语义模型中关键词权重。关键词t在文档d中的权重计算采用tfidf计算方法，计算公式如式(3)所示。

$w(t,d)=\mathrm{tf}(t,d)\×\log \left(\frac{\left|D\right|}{n}\right)---\left(3\right)$

其中，tf(t，d)称作词频(Term Frequency)，它表示词t在文档d里出现的频率，|D|为文档总数，n表示包含词t的文档数。

4、计算文本语义模型中概念权重。本方法结合了词语自身的特征权重以及词和类别之间的相似度信息。本发明认为作为类标记的词语具有更大的通用性，词在文本中的权重应该与该词和当前文本所属类别之间的相似度有关，如果该词和文本所属类别越相似，则表明该词和该类关联度越高。据此提出的概念权重计算公式如式(4)。

w(c，d_k)＝tf(c，d_k)×idf(c)×rel(c，l_i|d_k) (4)

其中，rel(c，l_i|d_k)表示概念c和其所在文本d_k所属类别的类标签l_i之间的相似度，w(c，d_k)是概念c在文本d_k中的权重，idf(c)是概念c的反文档频率，tf(c，d_k)是词频，它表示概念c在文档d_k里出现的频率。idf(c)＝log(|D|/n)，|D|为文档总数，n表示包含概念c的文档数。

当概念在知识库中的层次r＞1时，其权重根据公式(5)迭代计算。

$w(c_r,d_k)={\mathrm{\Σ}}_{c_{r-1}}w(c_{r-1},d_k)---\left(5\right)$

其中，c_r-1＜_d c_r。

根据词和类别的相似度以及词的权重，调整语义向量模型中概念的权重，在一定程度上量化地表示了文本中包含的抽象语义信息。

基于关键词的文本相似度计算。该部分主要包括两方面，一是计算每对关键词间的相似度，二是在关键词相似度的基础上计算文本相似度。在计算关键词间的相似度时依赖于以下假设：如果一些词语之间存在某些语义联系，那么它们通常会共同出现在一些文本中。以此为基础，基于关键词的相似度计算方法首先根据语料库构建一个基于统计的关键词相似度矩阵A，然后通过对关键词对间的相似度加权求和取平均值的方式得到文本相似度。具体如下：

1、基于语料库的方法求解关键词间的相似度：设T＝{t₁，t₂，...，t_m}表示未出现在知识库中的关键词构成的集合，基于关键词的相似度计算方法构建一个基于统计的相似度矩阵A＝(a_ij)_m×m，该矩阵的每一个元素a_ij是每一对属于T中关键词t_i和t_j之间的相似度值，其计算公式如式(6)所示。

$a_{\mathrm{ij}}=\mathrm{sim}(t_i,t_j)=\frac{\stackrel{\→}{t_i}\·\stackrel{\→}{t_j}}{\left|\stackrel{\→}{t_i}\right|\·\left|\stackrel{\→}{t_j}\right|}=\frac{{\mathrm{\Σ}}_{{\∀d}_k}{w}_{\mathrm{ki}}\·w_{\mathrm{kj}}}{\sqrt{{\mathrm{\Σ}}_{{\∀d}_k}{\left(w_{\mathrm{ki}}\right)}^2}\·\sqrt{{\mathrm{\Σ}}_{{\∀d}_k}{\left(w_{\mathrm{kj}}\right)}^2}}---\left(6\right)$

其中，w_ki表示关键词t_i在文本d_k中的权重，w_kj表示关键词t_j在文本d_k中的权重。

2、计算文本相似度：假设两个文本d₁和d₂的表示模型中分别包括l和k个不在知识库中出现的关键词，则基于关键词的方法定义两个文本间的相似度如公式(7)所示。

${\mathrm{sim}}_{\mathrm{vs}}(d_1,d_2)=\frac{(\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_{1i}\×w_{2j}\×a_{\mathrm{ij}})}{\mathrm{lk}}---\left(7\right)$

其中，sim_vs(d₁，d₂)表示两个文本d₁和d₂的相似度。

基于关键词的文本相似度计算方法有效地避免了文本的向量空间模型表示所导致的文本向量高维且稀疏、严重影响文本相似度计算问题。

基于概念的文本相似度计算。该部分主要包括两方面，一是计算每对概念间的相似度，二是在概念相似度的基础上计算文本相似度。在计算概念间的相似度时，根据Lin提出的经典的相似度计算公式计算概念间的相似度，其计算公式如公式(8)所示。

${\mathrm{sim}}_{\mathrm{lin}}(s_1,s_2)=\frac{2\log \left(p\left(\mathrm{LCA}(s_1,s_2)\right)\right)}{\log \left(p\left(s_1\right)\right)+\log \left(p\left(s_2\right)\right)}---\left(8\right)$

其中，LCA(s₁，s₂)是指词义s₁和s₂的最低共同祖先，s₁和s₂分别是概念c₁和c₂经过词义消歧之后对应的语义，该相似度的取值范围在0和1之间。p(s)为当前词s在知识库中出现的概率，即当前词的下位概念(包括其本身)与知识库中所有概念个数的比值。

在概念相似度计算的基础上，通过对概念对间的相似度加权求和取平均的方式得到文本的相似度。设C＝{c₁，c₂，...，c_n}是文本表示模型中的概念集合，构建概念相似度矩阵P＝(p_ij)_n×n该矩阵的每一个元素p_ij是概念c_i和c_j之间的相似度，可表示为公式(9)的形式。

p_ij＝sim(c_i，c_j)＝sim_lin(s_i，s_j) (9)

假设两个文本d₁和d₂的表示中分别包括m和n个概念，那么基于概念的相似度计算方法将d₁和d₂之间的相似度定义为公式(10)的形式。

${\mathrm{sim}}_{\mathrm{wn}}(d_1,d_2)=\frac{(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}w(c_i,d_1)\×w(c_j,d_2)\×\mathrm{sim}(c_{1i},c_{\mathrm{2j}}))}{\mathrm{mn}}---\left(10\right)$

其中，如果c_i或c_j是知识库中最底层概念则按照公式(4)计算w(c_i，d₁)或w(c_j，d₂)，否则按照公式(5)计算w(c_i，d₁)或w(c_j，d₂)。

基于语义的文本相似度计算。该单元根据基于关键词的文本相似度计算结果和基于概念的文本相似度计算结果，计算最终的文本语义相似度，其计算公式如式(11)所示。

sim(d₁，d₂)＝sim_vs(d₁，d₂)+sim_wn(d₁，d₂) (11)

这种混合的相似度计算方法充分利用了文本表示中关键词的语义信息和概念的语义信息。因此，本方法能够获取更精确的文本相似度。

为了探究本发明中基于语义的文本相似度计算方法的性能，发明者将本发明应用到文本分类问题中，对比的实验方法如下：

基准方法：采用关键词表示模型，利用余弦方法计算文本间的相似度；

方法1：采用关键词表示模型，利用基于关键词的文本相似度计算方法计算文本间的相似度；

方法2：采用概念+关键词的语义表示模型，利用余弦相似度方法计算文本间的相似度；

方法3：采用概念+关键词的语义表示模型，利用本发明中的基于语义的文本相似度计算方法计算文本间的相似度。

本实验采用F值的宏平均和微平均作为分类结果的评价指标，使用的实验数据来自两个标准的英文数据集，它们是Reuters21578和20Newsgroup。在Reuters这个数据集中，本实验选用了来自5个类别的1756篇文章，其中1272篇作为训练集，484篇作为测试集，这5个类别是Grain、Trade、Interest、Crude和Earn。在数据集20Newsgroup中，选择了来自9个类别的5066篇文章，这9个类别是talk.politics.guns、talk.politics.misc、rec.sport.baseball、Sci.space、Alt.atheism、sci.crypt、Sci.med、rec.sport.hockey和rec.motorcycles，其中4160篇用作训练文档，906篇用作测试文档。

图2和图3是合并概念层数r对文本分类结果的影响。实验结果表明，在概念映射阶段，利用上下位关系对概念进行合并时，并不是合并的层数r越高分类效果越好。在本发明的实验中，当层数为1或2时可得到最优值。

图4是基准方法和其他3种方法在Reuters数据集的5个类上的实验比较结果，图5是基准方法和其他3种方法在20Newsgroup数据集的9个类上的实验比较结果。实验结果表明，本发明提高了文本相似度计算的精度，具有较优的性能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于语义的文本相似度计算方法，其特征在于采用基于关键词和基于概念的混合语义相似度计算方法计算文本间的语义相似度，具体包括如下步骤：

文本预处理：对文本集进行预处理，去停用词；

特征选择，应用卡方统计方法选择文本集的特征：针对每个类别，分别计算各个特征和类别的卡方值，根据特征和类别的卡方值的大小对关键词进行降序排列，设定一个阈值γ，过滤掉低于确定γ的全部关键词，从而得到每个文本的初始表示向量；

构建文本语义表示模型：文本的语义表示模型由关键词和概念两部分构成，即D＝{t₁,t₂,...,t_m,c₁,c₂,...,c_n}，其中D表示文本的特征集合，t_i表示关键词特征，c_i表示概念特征；对于文本的初始表示向量中不在语料库中的词，保留原形作为文本语义表示模型中关键词特征；对于出现在语料库中的词，利用概念转化规则将其转化成语料库中的概念，作为文本语义表示模型中的概念特征；概念转化规则包括按照一定顺序进行以下操作：首先结合文本所在类别的类标签对概念进行语义消歧处理，确定概念的确切语义，然后利用概念层次转换对概念进行合并处理，以充分挖掘概念间的语义关联，接着，计算文本语义模型中的关键词权重，最后，结合词语自身的特征权重以及词和类别之间相似度的信息计算概念的权重值；

基于语料库的文本相似度计算，该部分主要包括两方面处理：一是计算每对关键词间的相似度，二是在关键词相似度基础上计算文本相似度；在计算关键词间的相似度时依赖于以下假设：如果一个词语和其他词语之间存在某些联系，那么它们会共同出现在一些文本中；以此为基础，基于语料库的相似度计算方法首先根据语料库构建一个关键词相似度矩阵，然后通过对关键词对间的相似度加权求和取平均的方式得到文本相似度；

基于概念的文本相似度计算，该步骤主要包括两部分，一是计算每对概念间的相似度，二是在概念相似度的基础上计算文本相似度；在计算概念的相似度时，根据Lin提出的经典的概念相似度计算公式计算概念间的相似度，构建一个概念相似度矩阵，然后通过对概念对间的相似度加权求和取平均的方式得到文本相似度；

基于语义的文本相似度计算，最后对基于语料库的文本相似度计算结果和基于概念的文本相似度计算结果进行求和从而确定文本间的语义相似度；

其中计算每对概念间的相似度包括：在计算概念间的相似度时，根据Lin提出的经典的相似度计算公式计算概念间的相似度，其计算公式如下所示：

${\mathrm{sim}}_{lin}(s_1,s_2)=\frac{2log\left(p\right(LCA\left(s_1,s_2\right)\left)\right)}{log\left(p\right(s_1\left)\right)+log\left(p\right(s_2\left)\right)}---\left(7\right)$

其中，LCA(s₁,s₂)是指语义s₁和s₂的最低共同祖先，s₁和s₂分别是概念c₁和c₂经过语义消歧之后对应的语义，该相似度的取值范围在0和1之间；p(s)为当前词s在知识库中出现的概率，即当前词下位概念，包括其本身，与知识库中所有概念个数的比值。

2.如权利要求1所述的一种基于语义的文本相似度计算方法，其中利用概念层次转换对概念进行合并处理，以充分挖掘概念间的语义关联包括：

根据知识库中概念之间的继承关系，依次找到每个概念的第r层上位概念，用第r层上位概念来表示当前概念；对于概念c₁和c₂，如果c₁是c₂的子概念，c₂是c₁的父概念，那么它们之间的关系可表示为c₁＜c₂；进一步地，如果没有任何概念c₃处于c₁和c₂之间，那么c₁就是c₂的直接下位概念，c₂是c₁的直接上位概念，它们之间的关系可表示为c₁＜_d c₂；一个概念c_i的第r层上位概念的定义如下：

H(c_i,r)＝{c|c_i＜_d c₁＜_d...＜_d c_r＝c} (1)

其中，H(c_i,r)表示的是c_i的第r层上位概念，r是概念在语料库中的层次数。

3.如权利要求1所述的一种基于语义的文本相似度计算方法，其中计算文本语义模型中关键词权重包括：关键词t在文本d中的权重计算采用tfidf计算方法，计算公式如下所示：

$w(t,d)=tf(d,t)\×log\left(\frac{\left|D\right|}{n}\right)---\left(2\right)$

其中，tf(d,t)是词频，它表示词t在文本d里出现的频率，|D|为文本总数，n表示包含词t的文本数。

4.如权利要求2所述的一种基于语义的文本相似度计算方法，其中计算文本语义模型中概念权重包括：概念权重计算公式为

w(c,d_k)＝tf(d_k,c)×idf(c)×rel(c,l_i|d_k) (3)

其中，rel(c,l_i|d_k)表示概念c和其所在文本d_k所属类别的类标签l_i之间的相似度，w(c,d_k)是概念c在文本d_k中的权重，idf(c)是概念c的反文本频率，tf(d_k,c)是词频，它表示概念c在文本d_k中出现的频率，idf(c)＝log(|D|/n)，|D|为文本总数，n表示包含词c的文本数；

当概念在语料库中的层次r＞1时，其权重根据以下公式迭代计算：

$w(c_r,d_k)={\Σ}_{c_{r-1}}w(c_{r-1},d_k)---\left(4\right)$

其中c_r-1＜_d c_r。

5.如权利要求4所述的一种基于语义的文本相似度计算方法，其中计算每对关键词间的相似度包括：设T＝{t₁,t₂,...,t_m}，表示未出现在知识库中的关键词构成的集合，基于关键词的相似度计算方法根据语料库构建一个基于统计的相似度矩阵A＝(a_ij)_m×m，该矩阵的每一个元素a_ij是每一对属于T中关键词t_i和t_j之间的相似度值，其计算公式如下所示：

$a_{ij}=sim(t_i,t_j)=\frac{\stackrel{\→}{t_i}\·\stackrel{\→}{t_j}}{\left|\stackrel{\→}{t_i}\right|\·\left|\stackrel{\→}{t_j}\right|}=\frac{{\Σ}_{\∀d_k}{w}_{ki}\·w_{kj}}{\sqrt{{\Σ}_{\∀d_k}{\left(w_{ki}\right)}^2}\·\sqrt{{\Σ}_{\∀d_k}{\left(w_{kj}\right)}^2}}---\left(5\right)$

其中，w_ki表示关键词t_i在文本d_k中的权重，w_kj表示关键词t_j在文本d_k中的权重。

6.如权利要求5所述的一种基于语义的文本相似度计算方法，其中在关键词相似度的基础上计算文本相似度包括：假设两个文本d₁和d₂的表示模型中分别包括l和k个不在知识库中出现的关键词，则基于关键词的方法定义两个文本间的相似度如以下所示：

${\mathrm{sim}}_{vs}(d_1,d_2)=\frac{(\underset{i=1}{\overset{l}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}{w}_{1i}\×w_{2j}\×a_{ij})}{lk}---\left(6\right)$

其中sim_vs(d₁,d₂)表示两个文本d₁和d₂的相似度。

7.如权利要求6所述的一种基于语义的文本相似度计算方法，其中在概念相似度的基础上计算文本相似度包括：设C＝{c₁,c₂,...,c_n}是文本表示模型中的概念集合，构建概念相似度矩阵P＝(p_ij)_n×n，该矩阵的每一个元素p_ij是概念c_i和c_j之间的相似度，计算p_ij的公式如下：

p_ij＝sim(c_i,c_j)＝sim_lin(s_i,s_j) (8)

假设两个文本d₁和d₂的表示中分别包括m和n个概念，则基于概念的相似度计算方法将d₁和d₂之间的相似度定义为如下的形式：

${\mathrm{sim}}_{wn}(d_1,d_2)=\frac{\left(\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}w\right(c_i,d_1)\×w(c_j,d_2)\×sim(c_{1i},c_{2j}\left)\right)}{mn}---\left(9\right)$

其中，如果c_i和c_j是知识库中最底层概念，则按照公式(3)计算w(c_i,d_l)或w(c_j,d₂)，否则按照公式(4)计算w(c_i,d_l)或w(c_j,d₂)。

8.如权利要求7所述的一种基于语义的文本相似度计算方法，其中对基于关键词的文本相似度计算结果和基于概念的文本相似度计算结果进行求和从而确定文本间的语义相似度包括：计算公式如下

sim(d₁,d₂)＝sim_vs(d₁,d₂)+sim_wn(d₁,d₂) (10)

其中sim(d₁,d₂)表示文本间的语义相似度。