CN111368540A - 一种基于语义角色分析的关键词信息抽取方法 - Google Patents

Abstract

本发明公开了一种基于语义角色分析的关键词信息抽取方法，包括：对与业务相关的对话语句进行中文分词，得到若干个结果词语；对此若干个结果词语分别进行词性标注；根据此若干个结果词语所标注的词性进行句法分析，识别该对话语句的句法结构；根据该对话语句的句法结构进行语义角色分析，分析该对话语句的谓词‑论元结构；基于该对话语句的谓词‑论元结构，并按照预先定义好的规则抽取关键词信息。本发明方法的容错性强、可解释性好；基于“主谓宾定状补”等语法成分分析句子，无需自定义大量的规则，更利于开发人员的理解。

Description

一种基于语义角色分析的关键词信息抽取方法

技术领域

本发明涉及对话式交互中的信息抽取技术领域，尤其是一种基于语义角色分析的关键词信息抽取方法。

背景技术

随着大数据带来猛烈的信息风暴，海量数据几乎淹没了我们的硬盘，面对着浩瀚如烟的各类数据，巨大的财富隐匿其间，各类数据中的有用信息是最重要最具价值的金矿，从数据中提取有用信息并总结规律和定理，是我们人类与生俱来的能力，现代计算机也已经在模仿人类的这种能力，从数据中提取有用信息。在机器人的发展中，人机交互的方式是最为重要和普遍的，尤其是通过和机器人的对话来完成任务，像人一样地进行交流，是最为理想的模式。交互系统是基于和用户的对话来完成任务，首要目的就是获取信息，而如何在对话式交互中，提取重要信息的研究正是在这种背景下产生的。

面对实时交互系统，首先要求就是快速简洁稳定，通过对话中对用户语句的信息抽取来完成目标任务，而关键词恰是这种能够快速定位和抓住中心含义的方式，同时，领域相关的关键字对于特定任务也是重要的，有时甚至代表了中心思想。因此，作为信息抽取的一部分，用关键词来实现是极为合适的。其次，用户语句是多变的，固定的分类难以合适的框住用户含义，不如自动聚焦到其用语本身，不受分类种类的限制，能够“自适应”；同时关键词的选择方向可控，优先提取跟任务目标和领域相关的关键词，忽略领域范围外的不相干话题，提高整个系统的速度，所以，关键词不仅可以更自由地从用户语句中提取中心含义，还能自主把握信息提取的方向。

现有技术中对于关键词抽取技术，主要有四种的方法：1.基于语言规则的方法；2.统计的方法；3.机器学习的方法；4.特定领域的方法。

利用语言知识，基于语言规则提取关键词的方法更精确，需要领域相关的语言专家来指导，基于语言规则的方法包括词汇分析、语法分析和对话分析等，但一般的基于语言规则的方法为完全采用规则化的抽取方式，其在程序开发和代码编写上是非常繁琐复杂的。

统计的方法是基于语料库以及从中推导出的统计学特点，其最大的优势是对语种不进行限制，可以对多种语言使用同样的技术，但其跟基于语言规则的方法相比，精确度不高。

机器学习通常利用监督学习的方法，使用训练数据来训练模型，包括贝叶斯网络、支持向量机等，然而，监督学习需要标记过的数据集，但这种数据集是十分不易获取的。

特定领域的方法是针对某个领域具体设计，利用背景知识以及内在结构，需要专门设计，其不具有普遍性。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种基于语义角色分析的关键词信息抽取方法，容错性强，可解释性好，基于“主谓宾定状补”等语法成分分析句子，无需自定义大量的规则，更利于开发人员的理解。

为实现上述目的，本发明采用以下技术方案，包括：

一种基于语义角色分析的关键词信息抽取方法，包括以下步骤：

S1，获取与业务相关的对话语句，对该对话语句进行中文分词，得到若干个结果词语；所述结果词语是指对话语句进行中文分词后所得到的词语；

S2，对此若干个结果词语分别进行词性标注；

S3，根据此若干个结果词语所标注的词性进行句法分析，识别该对话语句的句法结构；

S4，根据该对话语句的句法结构进行语义角色分析，分析该对话语句的谓词-论元结构；

S5，基于该对话语句的谓词-论元结构，并按照预先定义好的规则抽取关键词信息。

步骤S5中，所述预先定义好的规则为：抽取谓词前的副词和谓词后的名词；谓词前的副词和谓词后的名词即为该对话语句的关键词。

在步骤S1之前，

预先收集有将语句在语义上表示为肯定或否定的特征词，并构成正负极性特征词库；将谓词前的副词与所述正负极性特征词库进行匹配，判断该对话语句在语义上的表示为肯定或否定；

还预先收集有与业务相关的特征词，并构成业务特征词库；将谓词后的名词与所述业务特征词库进行匹配，获取该对话语句的表述对象；

对话语句在语义上的表示为肯定或否定以及对话语句的表述对象，即构成该对话语句的重要信息。

所述业务为电力业务；

电力业务特征词库的构成方式为：一方面，与电力系统有关专家进行沟通，获取若干特征词；另一方面，根据电力营业厅提供的相关资料，整理出若干特征词；最后，将上述两个方面分别得到若干特征词进行合并、整理，构成电力业务特征词库；

正负极性特征词库的构成方式为：在网络上收集并整理出在语义上表示肯定或否定信息的特征词，构成正负极性特征词库。

所述电力业务特征词库中的常见特征词包括：

身份证、户口本、电表、电费、销户、开户、缴钱、居民用电、商业用电、增容、减容、电费单、分户、高压、低压、扩容、迁址、分时电价、报修、过户更名、分布式电源、阶梯电价。

所述正负极性特征词库中的常见特征词包括：

非、别、不、没、无、勿、没有、别动、不必、不行、不要、不能、不应、不许、从不、都不、无用、不知、不可能、不了解、不合理、看不到、看不见、看不清、来不及、没办法、没有过、不可以、记不住、去掉。

步骤S1中，采用分词工具对该对话语句进行中文分词，并将分词结果转化成列表数据类型。

步骤S2～步骤S4中，词性标注、句法分析、语义角色分析均基于LTP语言技术平台完成。

本发明的优点在于：

(1)本发明的语义角色分析是以句子的谓词为中心，不对句子所包含的语义信息进行深入分析，只分析句子中各成分与谓词之间的关系，即句子的谓词-论元结构，并用语义角色来描述这些结构关系。本发明的语义角色分析可以将语言信息结构化，方便计算机理解句子中蕴含的语义信息，从而方便我们从中提取我们所想要的信息。

(2)本发明通过抽取对话语句中的关键词信息，并利用业务特征词库和正负极性特征词库，判断对话语句在语义上的表示为肯定或否定以及获取对话语句的表述对象，从而构成该对话语句的重要信息，以快速定位和抓住中心含义，本发明能够满足实时交互系统所需的快速简洁的要求。

(3)本发明相对于一般的基于语言规则的方法，本发明提出的方法容错性强、可解释性好，更利于相关业务开发人员的理解。

例如，针对“我没有带身份证”和“我没有带身份证和户口本”这两个句子，一般的规则提取方法需要编写不同的规则来区分其中前者仅有“身份证”和后者“身份证”、“户口本”两者都有的信息，而基于本发明的语义角色分析的方法，并不需要对这样的例子编写特殊的规则来进行区分，容错性强。另外，本方法是基于“主谓宾定状补”等这些语法成分进行分析句子的，无需自定义大量的规则，对开发人员友好，便于理解。

(4)本发明相对于一般的基于语言规则的方法，本方法在实现上简洁明了，代码编写简单很多，而且能适应更多的不同情况，鲁棒性较高，只要更换业务特征词库，就能扩展到其他专注于某一领域的对话交互中。

附图说明

图1为实施例的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由图1所示，一种基于语义角色分析的关键词信息抽取方法，应用于电力业务对话式交互系统，包括以下步骤：

S1，构建电力业务特征词库，具体方式为：一方面，与本地区在从事电力系统行业有关工作人员、专家进行沟通，获取一些比较常见的特征词，例如，“校验电表”、“电表增容”、“分时电价”等；另一方面根据电力营业厅提供的介绍电力业务相关资料，人工收集整理出特征词，例如，“申请电表”、“身份证”、“户口本”等；最后，将上述两个方面得到的特征词进行合并、整理，构成电力业务特征词库。

构建正负极性特征词库，具体方式为：在网络上收集然并整理出在语义上表示肯定或者否定信息的相关特征词，构成正负极性特征词库。例如，表示否定的特征词有“没有”、“不是”、“未”等。

S2，从电力业务对话式交互系统中获取与电力业务相关的对话语句，对该对话语句进行中文分词，得到若干个结果词语；所述结果词语是指对话语句进行中文分词后所得到的词语；具体的，采用结巴jieba开源分词工具对语句进行中文分词，将分词结果转换成python列表数据类型，便于后续的处理。

中文分词是将一个汉字序列切分成一个个单独的词，分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。相比于在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符。

结巴jieba为一个开源的基于python开发的中文分词处理模块，其基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图DAG，采用了动态规划查找最大概率路径,找出基于词频的最大切分组合，对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。

S3，在中文分词的基础上，对此若干个结果词语分别进行词性标注，标注出每个结果词语的词性。

词性包括：名词、动词、形容词、数词、量词、代词、副词、介词、连词、助词、叹词、拟声词。在中文中，词性标注比较简单，因为汉语词汇词性多变的情况比较少见，大多词语只有一个词性，或者出现频次最高的词性远远高于第二位的词性。

在词性标注过程中，使用LTP语言技术平台即Language Technology Platform进行。LTP语言技术平台是一个开源软件，为一个整套中文语言处理系统，其制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块，包括词法、句法、语义等6项中文处理核心技术；以及提供了基于动态链接库DynamicLink Library,DLL的应用程序接口、可视化工具，并且能够以网络服务Web Service的形式进行使用。

S4，根据此若干个结果词语所标注的词性进行句法分析，识别该对话语句的句法结构。

句法分析是指识别句子中的“主谓宾定状补”等语法成分，并分析各成分之间的关系，从而得到该对话语句的句法结构。

在句法分析过程中，使用上述提到的LTP语言技术平台进行。

S5，根据该对话语句的句法结构进行语义角色分析，分析该对话语句的谓词-论元结构。

根据谓语和变元之间不同的语义关系，可以把变元分为若干个类型，这种变元的类型一般称之为语义角色，语义角色分析以句子为单位，分析出句子中的每个成分与谓词之间的关系；谓词-论元结构用于表示句子中的每个成分与谓词之间的关系，其理论基础基于格语法。具体来说，语义角色分析的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用语义角色来描述他们之间的关系。

在语义角色分析中，使用上述提到的LTP语言技术平台进行。

S6，基于该对话语句的谓词-论元结构，并按照预先定义好的规则抽取关键词信息。

所述预先定义好的规则为：抽取谓词前的副词和谓词后的名词；谓词前的副词和谓词后的名词即为该对话语句的关键词。

S7，将谓词前的副词与正负极性特征词库进行匹配，判断该对话语句在语义上的表示为肯定或否定；将谓词后的名词与电力业务特征词库进行匹配，获取该对话语句的表述对象；

对话语句在语义上的表示为肯定或否定以及对话语句的表述对象，即构成该对话语句的重要信息。

本实施例中，对用户的对话语句进行分析，例如：

“我没有带身份证和户口本”，对该回答的分词结果：我/没有/带/身份证/和/户口本；词性标注结果：r代词/d副词/v动词/n名词/c连词/n名词/；句法分析：以“带”为核心谓语，“我”是主语，“没有”是状语，“身份证”是宾语，而“户口本”是并列关系，因此也是宾语；语义角色分析结果：“我”是动作的施事者，“身份证”是动作的影响；“身份证”和“户口本”匹配特征词库，同时，“带”这个动词位于特征词前，符合主谓宾规则，因此可以抽出这两个特征词；又因含有否定性质的副词“没有”，因此表达为否定。

“我要申请电表”，分词结果：我/要/申请/电表；词性标注结果：r代词/d副词/v动词/n名词/；句法分析：以“申请”为核心谓语，“我”是主语，“要”是状语，“电表”是宾语；语义角色分析结果：“我”是动作的施事者，“电表”是动作的影响；“电表”匹配特征词库，同时，“申请”这个动词也是在领域范围内，构成谓宾结构，可抽取“电表”这个特征词；因没有否定性质的词，所以表达为肯定。

本发明可以有效解决在对话交互中抽取指定信息的需求，相比于其它在对话交互中抽取指定信息的方法中，如完全采用规则化的抽取方式，本方法在实现上简洁明了，代码编写简单很多，而且能适应更多的不同情况，鲁棒性较高。而且，只要更换与业务相关的特征词库，就能扩展到其他专注于某一领域的对话交互中。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (8)

1.一种基于语义角色分析的关键词信息抽取方法，其特征在于，包括以下步骤：

S1，获取与业务相关的对话语句，对该对话语句进行中文分词，得到若干个结果词语；所述结果词语是指对话语句进行中文分词后所得到的词语；

S2，对此若干个结果词语分别进行词性标注；

S3，根据此若干个结果词语所标注的词性进行句法分析，识别该对话语句的句法结构；

S4，根据该对话语句的句法结构进行语义角色分析，分析该对话语句的谓词-论元结构；

S5，基于该对话语句的谓词-论元结构，并按照预先定义好的规则抽取关键词信息。

2.根据权利要求1所述的一种基于语义角色分析的关键词信息抽取方法，其特征在于，步骤S5中，所述预先定义好的规则为：抽取谓词前的副词和谓词后的名词；谓词前的副词和谓词后的名词即为该对话语句的关键词。

3.根据权利要求2所述的一种基于语义角色分析的关键词信息抽取方法，其特征在于，在步骤S1之前，

预先收集有将语句在语义上表示为肯定或否定的特征词，并构成正负极性特征词库；将谓词前的副词与所述正负极性特征词库进行匹配，判断该对话语句在语义上的表示为肯定或否定；

还预先收集有与业务相关的特征词，并构成业务特征词库；将谓词后的名词与所述业务特征词库进行匹配，获取该对话语句的表述对象；

对话语句在语义上的表示为肯定或否定以及对话语句的表述对象，即构成该对话语句的重要信息。

4.根据权利要求3所述的一种基于语义角色分析的关键词信息抽取方法，其特征在于，所述业务为电力业务；

电力业务特征词库的构成方式为：一方面，与电力系统有关专家进行沟通，获取若干特征词；另一方面，根据电力营业厅提供的相关资料，整理出若干特征词；最后，将上述两个方面分别得到若干特征词进行合并、整理，构成电力业务特征词库；

正负极性特征词库的构成方式为：在网络上收集并整理出在语义上表示肯定或否定信息的特征词，构成正负极性特征词库。

5.根据权利要求4所述的一种基于语义角色分析的关键词信息抽取方法，其特征在于，所述电力业务特征词库中的常见特征词包括：

身份证、户口本、电表、电费、销户、开户、缴钱、居民用电、商业用电、增容、减容、电费单、分户、高压、低压、扩容、迁址、分时电价、报修、过户更名、分布式电源、阶梯电价。

6.根据权利要求4所述的一种基于语义角色分析的关键词信息抽取方法，其特征在于，所述正负极性特征词库中的常见特征词包括：

非、别、不、没、无、勿、没有、别动、不必、不行、不要、不能、不应、不许、从不、都不、无用、不知、不可能、不了解、不合理、看不到、看不见、看不清、来不及、没办法、没有过、不可以、记不住、去掉。

7.根据权利要求1所述的一种基于语义角色分析的关键词信息抽取方法，其特征在于，步骤S1中，采用分词工具对该对话语句进行中文分词，并将分词结果转化成列表数据类型。

8.根据权利要求1所述的一种基于语义角色分析的关键词信息抽取方法，其特征在于，步骤S2～步骤S4中，词性标注、句法分析、语义角色分析均基于LTP语言技术平台完成。

Images