CN101320374A - 结合句法结构关系和领域特征的领域问题分类方法 - Google Patents

Abstract

本发明涉及一种结合句法结构关系与领域特征的领域问题分类方法，包括下列步骤：领域术语收集，特定领域问题分类体系定义，对问题进行句法结构分析，提取句子主干，结合句子主干和领域词汇项作为问题的分类特征，采用改进贝叶斯分类算法构建问题分类模型，特定领域问题分类训练语料库和测试语料库构建，特定领域问题分类器构建。由于问题分类是问答系统中一个非常重要的步骤，是制定答案抽取策略和定位答案的关键因素，因此通过本发明，即在句法结构分析的基础上，结合领域特点，选取句子主干和领域词汇作为分类特征，采用改进贝叶斯分类学习算法，构造问句分类模型，并在云南旅游领域进行问题分类实验，结果表明该方法有效，提高了领域问题分类的准确率，从而能够高效，快速、准确地为用户提供咨询服务。

Description

结合句法结构关系和领域特征的领域问题分类方法

技术领域

本发明涉及一种领域问题分类方法，尤其是一种结合句法结构关系与领域特征的受限域问题分类方法。

背景技术

问题分类是问答系统中一个非常重要的步骤，问题分类的准确率对问答系统的信息检索和答案提取有着很大的影响，只有在正确的问题分类的基础上，才可能进行正确的答案析取。

目前，问题分类的研究主要集中在两个方面，一方面是基于规则的方法，通过提取各种问题类型的疑问词与其它相关词组合的特征规则，通过规则来判定问题所属类型。这种方法的分类效果依赖于各种问题类型的构成规则，由于汉语的复杂性，用这些规则进行提取是很困难的，而且不可能穷举出所有规则，因此分类效果并不理想。另一方面是通过统计的方法来实现问题的分类，通过对真实的经过标注的问题语料进行统计学习，提取能表达各种问题类型的特征规则，建立学习模型，实现各种问题的类型识别。这种方法是通过学习来获取知识的，因此具有很大的优势。

对英文问题分类的研究较多，目前采用统计方法，提取问题词法、句法及语义相关特征来构建问题分类方法，均取得了比较好的效果。在中文问题分类研究方面，哈尔滨工业大学提出了改进的贝叶斯模型进行问题分类的方法和基于句法结构分析的中文问题分类方法，取得了较好的效果。上述分类方法主要针对开放域问题分类，并未考虑领域特征。在受限域，不同领域的分类体系不同，如何结合领域特征进行领域问题分类是非常重要的一个工作。

发明内容

本发明的目的正是为解决上述问题，在句法结构分析的基础上，结合领域特点，提出了一种结合句法结构关系与领域特征的领域问题分类方法，以高效，快速、准确地为用户提供咨询服务。

本发明提供的一种结合句法结构关系和领域特征的领域问题分类方法，选取句子主干和领域词汇作为分类特征进行领域问题分类，以提高领域问题分类的准确率。

本发明通过下列技术方案完成：一种结合句法结构关系与领域特征的领域问题分类方法，其特征在于包括：

(1)领域术语收集：针对云南旅游领域，人工收集整理了云南旅游领域术语；

(2)特定领域问题分类体系定义：针对云南旅游领域，定义了5个大类，23个小类的问题分类体系；

(3)对问题进行句法结构分析，提取句子主干：对于一个句子，定义句子的主谓宾为句子主干，其他词项为句子附属成分；

(4)结合句子主干和领域词汇项作为问题的分类特征：为了利用领域知识特点，引入领域术语，结合句子主干和领域词汇项作为问题的分类特征；

(5)采用改进贝叶斯分类算法构建问题分类模型：结合问题分类特点，改进贝叶斯学习算法并应用于领域问题分类；

(6)特定领域问题分类训练语料库和测试语料库构建：针对旅游领域，构建了云南旅游领域训练语料库和测试语料库；

(7)特定领域问题分类构建：利用云南旅游领域术语库和云南旅游领域训练语料库和测试语料库，采用Web方式实现云南旅游领域问题分类。

所述步骤(1)具体为：针对云南旅游领域景点介绍、风土民情、旅游交通、酒店等信息资源，人工收集整理了2012个领域术语，形成了旅游领域术语库。

所述步骤(2)具体为：针对云南旅游领域信息资源，定义了5个大类，23个小类的问题分类体系，如表1所示：

表1云南旅游领域问题分类体系

大类	小类
		景点	景点简介、景点位置、景点价格、景点交通、景点其他
地方	地方简介、地方位置、地方交通、地方气候、地方其他
		风土民情	土特产、风味小吃、风俗习惯、历史文化、节日文化、民族歌舞、风土民情其他
酒店	酒店介绍、酒店位置、酒店价格、酒店星级、酒店其他
		其他	其他

所述步骤(3)具体为：借助于哈尔滨工业大学共享语言技术平台(LTP：Languagetechnology Platform)提供的基于依存文法的句法分析器对问题进行句法结构分析，其中，依存文法是由法国语言学家L.Tesiniere在1959年提出来的，该文法认为句子中述语动词是支配其它成分的中心，而它本身却不受其它任何成分的支配，所有的受支配成分都以某种依存关系从属于其支配者；依存文法的句法结构的主要元素是依存关系(dependencyrelationship)，即句子中词对的二元关系，其中一个记为核心词(head)，另一个记为依存词(dependent)；依存关系反映的是核心词和依存词之间语义上的依赖关系，故本发明将句法分析结果看作一棵句法依存树。

句法依存树中有箭头相连的两个节点表示有依存关系，其中箭头出发的节点为父节点，是核心词，箭头所指向的节点为子节点，是依存词。依存词依存于核心词。箭头上的标记HED，SBV，VOB，DE，ATT表示依存关系的类型，其中，HED表示句子的核心，SBV表示句子的主语，VOB表示句子的宾语，DE表示“的”字结构，ATT表示定中结构，EOS支配全句的核心成分，且通过HED，SBV，VOB找到句子的主干部分(主谓宾)。除此之外，还有其它的依存关系类型，如QUN表示数量关系等。

由上面的句法结构分析得到了问题的汉语依存关系，通过分析结果中的依存关系和关系类型HED，SBV，VOB，提取句子的主语H，谓语S，宾语0。对于一个句子，定义句子的主谓宾为句子主干，其他词项为句子附属成分。如对问题“路南石林的简介是什么？”进行句法分析，结果如附图2所示。

所述步骤(4)具体为：领域词汇项的提取采用如下方式：分析句子依存关系，提取最靠近主语的附属词项，并与领域术语库中的领域术语比较，当与领域术语匹配时，提取该词项作为领域词汇项；当与领域术语不匹配时，从领域术语库提取与该词项最相似的领域术语作为领域词汇项。

所述步骤(5)具体为：贝叶斯分类器是常用于文本分类领域的概率分类器，它利用类别的先验概率和词的分布对于类别的条件概率来计算未知文本属于某一类别的概率，具体是：

A、简单贝叶斯：

在假设问题中词的分布相互独立，即忽略上下文的Unigram模型中，贝叶斯分类器用数学形式来表示，如公式(1)：

$P\left(T_i\right|Q_i)=\frac{P\left(T_i\right)P\left(Q_j\right|T_i)}{P\left(Q_j\right)}=\frac{P\left(T_i\right)\underset{k=1}{\overset{Q_j}{\mathrm{\Π}}}P{\left(W_k\right|T_i)}^{\mathrm{TF}\left(W_K\right)}}{p\left(Q_j\right)}---\left(1\right)$

式中，T_i表示某一类别，Q_i表示待分类的问题，W_k表示Q_i中的词项，TF(W_K)表示W_k在Q_i中出现的次数，P(T_i)和P(W_k|T_i)的值可以从训练集中估计得到，对于不同的类别，上式的分母保持不变，因此使得分子最大的类别，即认为是待分类问题的类别；

B、改进贝叶斯：

由于简单贝叶斯是针对文本分类的，而问题中的特征又较少，很难根据问题中少数的几个词来表达问句的特征，因此，针对这个问题提出了一种改进贝叶斯的问题分类的方法，即用改进的贝叶斯算法进行分类，具体步骤如下：

第一步，分别计算提取到的领域问题分类特征中的各个词项word在所有问题类型的语料中出现的次数，对于某种问题类型qc，用frequency(qc，word)表示word在qc这类问题类型中出现的次数；

第二步，计算某个word属于某类问题的概率：

$P_1({\mathrm{qc}}_i,{\mathrm{word}}_j)=\frac{0.5+\mathrm{frequency}({\mathrm{qc}}_i,{\mathrm{word}}_j)}{N+{\mathrm{\Σ}}_i^{\left|\mathrm{qc}\right|}\mathrm{frequency}({\mathrm{qc}}_i,{\mathrm{word}}_j)}---\left(2\right)$

式(2)中，|qc|为训练文本qc_i类别的总数，即分类体系中的大类数目；N为问题类型的总数目，即分类体系中的小类数目；公式中分子部分的常数0.5作为调零因子，分母部分N起到平滑作用；

第三步，对P(qc_i，word_j)进行降低权值的处理，处理原因如下：

1)如果一个词在某个问题中出现的次数越多，那么它与该问题主体的关联性越强；

2)如果一个词在很多问题类型中都出现很多次，那么它对分类的贡献小；

基于以上原因，采用了TF-IDF进行权值处理，如式(3)：

$P_2({\mathrm{qc}}_i,{\mathrm{word}}_j)=P_1({\mathrm{qc}}_i,{\mathrm{word}}_j)\×\log \left(\frac{N+.01}{M+.01}\right)---\left(3\right)$

式(3)中，N为问题类型的总数目，M为word_j在M类问题中是否出现，0.1起到平滑作用；

第四步，未知类别问题属于某类问题的概率为式(4)：

P(qc_i，unknownques)＝P₂(qc_i，word₁)×P₂(qc_i，word₂)×K×P₂(qc_i，word_n)(4)

式中，n为对问题分词、去除停用词以后余下词项的个数。

所述步骤(6)具体为：针对云南旅游领域，构建了训练语料库和测试语料库，训练语料库中包含23335个问题，其中景点大类5157句、地方大类5901句、风土民情大类7986句、酒店大类4024句、其他大类267句；测试语料库中包含了500个测试问题，其中景

点大类110句、地方大类110句、风土民情大类155句、酒店大类105句、其他大类20句。

所述步骤(7)具体为：利用步骤(1)中构建的云南旅游领域术语库，结合步骤(6)中构建的云南旅游领域训练语料库和测试语料库，采用Web方式在云南旅游领域进行了问题分类实验，构建了特定领域问题分类器。

本发明与现有技术相比具有下列优点和效果：由于问题分类是问答系统中一个非常重要的步骤，是制定答案抽取策略和定位答案的关键因素，因此通过本发明，即在句法结构分析的基础上，结合领域特点，选取句子主干和领域词汇作为分类特征，采用改进贝叶斯分类学习算法，构造问句分类模型，并在云南旅游领域进行问题分类实验，结果表明该方法有效，提高了领域问题分类的准确率，从而能够高效，快速、准确地为用户提供咨询服务。

附图说明

图1是本发明结合句法结构关系与领域特征的领域问题分类方法的流程图；

图2是本发明对句子“路南石林的简介是什么？”进行句法分析的分析结果。

具体实施方式

实施例

如图1，本发明提供的结合句法结构关系与领域特征的领域问题分类方法，其具体实现方法步骤如下：

(1)步骤S1，收集领域术语：主要针对云南旅游领域景点介绍、风土民情、旅游交通、酒店等人工收集整理了2012个领域术语，形成了旅游领域术语库；

(2)步骤S2，定义旅游领域问题分类体系：本发明针对旅游领域，定义了5个大类，23个小类的问题分类体系，表1为定义的旅游领域问题分类体系：

表1：旅游领域问题分类体系

大类	小类
		景点	景点简介、景点位置、景点价格、景点交通、景点其他
地方	地方简介、地方位置、地方交通、地方气候、地方其他
		风土民情	土特产、风味小吃、风俗习惯、历史文化、节日文化、民族歌舞、风土民情其他
酒店	酒店介绍、酒店位置、酒店价格、酒店星级、酒店其他
		其他	其他

(3)步骤S3，分析问题句法结构，提取句子主干：主要包括以下几个步骤：

a、问题句法结构分析：

借助于哈尔滨工业大学共享语言技术平台(LTP：Language technology Platform)提供的基于依存文法的句法分析器对问题进行句法结构分析。依存文法是由法国语言学家L.Tesiniere在1959年提出来的，该文法认为句子中述语动词是支配其它成分的中心，而它本身却不受其它任何成分的支配，所有的受支配成分都以某种依存关系从属于其支配者。依存文法的句法结构的主要元素是依存关系(dependency relationship)，即句子中词对的二元关系，其中一个记为核心词(head)，另一个记为依存词(dependent)。依存关系反映的是核心词和依存词之间语义上的依赖关系，本发明将句法分析结果看作一棵句法依存树，如对问题“路南石林的简介是什么？”进行句法分析，分析结果如附图2所示。

句法依存树中有箭头相连的两个节点表示有依存关系，其中箭头出发的节点为父节点，是核心词，箭头所指向的节点为子节点，是依存词。依存词依存于核心词。箭头上的标记HED，SBV，VOB，DE，ATT表示依存关系的类型，其中，HED表示句子的核心，SBV表示句子的主语，VOB表示句子的宾语，DE表示“的”字结构，ATT表示定中结构，EOS支配全句的核心成分，且通过HED，SBV，VOB找到句子的主干部分(主谓宾)，除此之外，还有其它的依存关系类型，如QUN表示数量关系等；

如对问题“路南石林的简介是什么？”，进行句法结构分析，结果如附图2所示，其中核心词(HED)为“是”，主语(SBV)为“简介”，宾语(VOB)“什么”；

b、句子主干提取：

对上面提取到的句法依存关系对进行分析，提取句子主谓宾为作为句子主干，句子主谓宾结构主要依据依存对关系类型HED，SBV，VOB进行识别。如对问题“路南石林的简介是什么？”，“是”为核心词(HED)，“简介”依存于“是”，关系类型为主语(SBV)，“什么”依存于“是”，关系类型为宾语(VOB)，提取句子主干为“简介是什么”。对问题“丽江官房大酒店的简介是什么？”提取句子主干也为“简介是什么”；

(4)步骤S4，问题分类特征提取：分析句子依存关系，提取最靠近主语的非主谓宾结构词项，并与领域词汇比较，当与领域词汇匹配时，提取该词项作为领域术语项，否则，从领域术语库中提取与该词项最相似的领域词汇作为领域词汇项。结合步骤S3中提取到的句子主干和领域词汇项，作为问题的分类特征。如对问题“路南石林的简介是什么？”进行句法分析，“路南石林”是最靠近主语“简介”的附属词汇，同时也是领域词汇，将其提取出来作为问题的领域词汇项，再结合上面提取的句子主干“简介是什么”，该问题的分类特征变为“路南石林简介是什么”；

(5)步骤S5，问题分类模型构建：主要包括以下几个步骤：

a、简单贝叶斯分类：

贝叶斯分类器是常用于文本分类领域的概率分类器，它利用类别的先验概率和词的分布对于类别的条件概率来计算未知文本属于某一类别的概率。在假设问题中词的分布相互独立，即忽略上下文的Unigram模型中，贝叶斯分类器用数学形式来表示，如公式(1)：

$P\left(T_i\right|Q_i)=\frac{P\left(T_i\right)P\left(Q_j\right|T_i)}{P\left(Q_j\right)}=\frac{P\left(T_i\right)\underset{k=1}{\overset{Q_j}{\mathrm{\Π}}}P{\left(W_k\right|T_i)}^{\mathrm{TF}\left(W_K\right)}}{p\left(Q_j\right)}---\left(1\right)$

式中T_i表示某一类别；Q_i表示待分类的问题；W_k表示Q_i中的词项；TF(W_K)表示W_k在Q_i中出现的次数；P(T_i)和P(W_k|T_i)的值可以从训练集中估计得到。

对于不同的类别，上式的分母保持不变，因此使得分子最大的类别，即认为是待分类问题的类别。

B、改进贝叶斯分类模型构建：

由于简单贝叶斯是针对文本分类的，而问题中的特征又较少，很难根据问题中少数的几个词来表达问句的特征，因此，哈工大张宇等人针对这个问题提出了一种改进贝叶斯的问题分类的方法，即用改进贝叶斯算法进行分类，具体步骤如下：

第一步：分别计算提取到的领域问题分类特征中的各个词项word在所有问题类型的语料中出现的次数，对于某种问题类型qc，用frequency(qc，word)表示word在qc这类问题类型中出现的次数；

第二步：计算某个word属于某类问题的概率：

$P_1({\mathrm{qc}}_i,{\mathrm{word}}_j)=\frac{0.5+\mathrm{frequency}({\mathrm{qc}}_i,{\mathrm{word}}_j)}{N+{\mathrm{\Σ}}_i^{\left|\mathrm{qc}\right|}\mathrm{frequency}({\mathrm{qc}}_i,{\mathrm{word}}_j)}---\left(2\right)$

式(2)中，|qc|为训练文本qc_i类别的总数，即分类体系中的大类数目；N为问题类型的总数目，即分类体系中的小类数目；公式中分子部分的常数0.5作为调零因子，分母部分N起到平滑作用；

第三步：对P(qc_i，word_j)进行降低权值的处理，处理原因如下：

1)如果一个词在某个问题中出现的次数越多，那么它与该问题主体的关联性越强；

2)如果一个词在很多问题类型中都出现很多次，那么它对分类的贡献小；

基于以上原因，采用了TF-IDF进行权值处理，如式(4)：

$P_2({\mathrm{qc}}_i,{\mathrm{word}}_j)=P_1({\mathrm{qc}}_i,{\mathrm{word}}_j)\×\log \left(\frac{N+.01}{M+.01}\right)---\left(3\right)$

式中，N为问题类型的总数目，M为word_j在M类问题中是否出现，0.1起到平滑作用；

第四步：未知类别问题属于某类问题的概率为：

P(qc_i，unknownques)＝P₂(qc_i，word₁)×P₂(qc_i，word₂)×K×P₂(qc_i，word_n)(4)

式中，n为对问题分词、去除停用词以后，词项的个数；

第五步：比较未知类别问题属于所有类别的概率，将其分到概率最大的那个类别中。

(6)步骤S6，特定领域问题分类训练语料库和测试语料库构建：针对云南旅游领域，构建了训练语料库和测试语料库，训练语料库中包含23335个问题，测试语料库中包含了500个测试问题，其中，训练语料库中包含23335个问题，它们是：景点大类5157句、地方大类5901句、风土民情大类7986句、酒店大类4024句、其他大类267句；测试语料库中包含了500个测试问题，它们是景点大类110句、地方大类110句、风土民情大类155句、酒店大类105句、其他大类20句；

(7)步骤S7，特定领域问题分类器构建：利用步骤S1中构建的云南旅游领域术语库，结合步骤S4中构建的云南旅游领域训练语料库和测试语料库，，采用Web方式在云南旅游领域进行了问题分类实验，构建了特定领域问题分类器。

云南旅游领域问题分类实验

在云南旅游领域构建了训练语料库和测试语料库，训练语料库中包含23335个问题，其中景点大类5157句、地方大类5901句、风土民情大类7986句、酒店大类4024句、其他大类267句；测试语料库中包含了500个测试问题，其中景点大类110句、地方大类110句、风土民情大类155句、酒店大类105句、其他大类20句。采用的领域术语库中包含2012个领域术语。通过Web方式实现了云南旅游领域问题分类器表2、表3为实验结果，其中，表2为基于句法结构分析的问题分类方法和结合句法结构关系与领域特征的领域问题分类方法在旅游领域5个大类，23个小类进行分类实验结果对比；表3为提出的结合句法结构关系与领域特征的领域问题分类方法在5个大类分类结果。

表2：两种问题分类方法实验结果对比

	5个大类准确率	23个小类准确率
			基于句法结构分析的问题分类方法	82.6％	71.9％
结合领域知识与句法结构关系的问题分类方法	87.4％	79.5％

表3：结合句法结构关系与领域特征的领域问题分类结果

类别	训练语料(句)	测试语料(句)	准确率
				景点大类	5157	110	91.8％
地方大类	5901	110	96.4％
				风土民情大类	7986	155	91.6％
酒店大类	4024	105	92.4％
				其他大类	267	20	65％

实验结果显示这种结合句法结构关系与领域特征，提取句子主干和领域词汇项作为分类特征的领域问题分类方法，对旅游领域5个大类分类的准确率达到了87.4％，相对于单纯基于句法结构分析的问题分类方法，准确率提高了4.8个百分点；对23个小类的分类准确率达到了79.5％，相对于单纯基于句法结构分析的问题分类方法，准确率提高了7.6个百分点，对领域问题分类有较好的效果。

Claims (7)

1.结合句法结构关系和领域特征的领域问题分类方法，其特征在于：

(1)领域术语收集：针对云南旅游领域，人工收集整理出领域术语；

(2)特定领域问题分类体系定义：针对旅游领域，定义了5个大类，23个小类的问题分类体系；

(3)对问题进行句法结构分析，提取句子主干：对于一个句子，定义句子的主谓宾为句子主干，其他词项为句子附属成分；

(4)结合句子主干和领域词汇项作为问题的分类特征：为了利用领域知识特点，引入领域术语，结合句子主干和领域词汇项作为问题的分类特征；

(5)采用改进贝叶斯分类算法构建问题分类模型：结合问题分类特点，改进贝叶斯学习算法并应用于领域问题分类；

(6)特定领域问题分类训练语料库和测试语料库构建：针对旅游领域，构建了云南旅游领域训练语料库和测试语料库；

(7)特定领域问题分类器构建：采用Web方式实现云南旅游领域问题分类器。

2.根据权利要求1所述的结合句法结构关系和领域特征的领域问题分类方法，其特征在于所述步骤(2)中，定义了5个大类，23个小类问题分类体系。

3.根据权利要求1所述的结合句法结构关系和领域特征的领域问题分类方法，其特征在于所述步骤(3)中，首先对问题进行分词、词性标注、去除停用词，然后对问题进行句法结构分析，根据分析得到的依存关系类型，提取句子的主谓宾，定义句子的主谓宾为句子主干，其它词为句子附属词项。

4.根据权利要求1所述的结合句法结构关系和领域特征的领域问题分类方法，其特征在于所述步骤(4)中，结合句子主干和领域词汇项作为问题的分类特征，领域词汇项的提取采用如下方式：分析句子依存关系，提取最靠近主语的附属词项，并与领域术语库中的领域术语比较，当与领域术语匹配时，提取该词项作为领域词汇项，或者，从领域术语库提取与该词项最相似的领域术语作为领域词汇项。

5.根据权利要求1所述的结合句法结构关系和领域特征的领域问题分类方法，其特征在于所述步骤(5)中，首先采用贝叶斯分类算法计算问题属于某一类别的概率，其次对计算得到的概率采用TF-IDF进行降低权值处理：

$P_2({\mathrm{qc}}_i,{\mathrm{word}}_j)=P_1({\mathrm{qc}}_i,{\mathrm{word}}_j)\×\log \left(\frac{N+.01}{M+.01}\right)$

式中，N为问题类型的总数目，M为word_j在M类问题中是否出现，0.1起到平滑作用；

6.根据权利要求1所述的结合句法结构关系和领域特征的领域问题分类方法，其特征在于所述步骤(6)中，在云南旅游领域构建了训练语料库和测试语料库，训练语料库中包含23335个问题，其中景点大类5157句、地方大类5901句、风土民情大类7986句、酒店大类4024句、其他大类267句；测试语料库中包含了500个测试问题，其中景点大类110句、地方大类110句、风土民情大类155句、酒店大类105句、其他大类20句。

7.根据权利要求1所述的结合句法结构关系和领域特征的领域问题分类方法，其特征在于，步骤(7)中，采用Web方式实现云南旅游领域问题分类器。

Images