CN104699786A - 一种语义智能搜索的通信网络投诉系统 - Google Patents

Abstract

本发明涉及通信网络投诉系统技术领域，特别涉及一种语义智能搜索的通信网络投诉系统。本发明将语义智能搜索技术应用到投诉系统领域，通过语义分析，深层次地挖掘数据所要表达的内容，实现语义搜索，并且极大地减少了人工分析的工作量。投诉系统的语义智能搜索模型主要由两个部分组成，其一是根据收集的数据信息构建领域数据库，构架概念之间的网状结构并计算概念之间的相关度，建立数据的语义索引；其二是对用户的查询进行扩展处理，对处理的结果进行信息检索。这是首次将语义智能搜索应用到通信中的投诉系统领域，可以有效地减少客服人员的工作量，提高投诉分析处理效率。

Description

一种语义智能搜索的通信网络投诉系统

技术领域

本发明涉及通信网络投诉系统技术领域，特别涉及一种语义智能搜索的通信网络投诉系统。

背景技术

随着移动通信技术的飞速发展，移动网络规模越来越大，越来越复杂，移动通信客户数的增长也使得客户投诉日益增多，通信客服每天都收到大量的投诉工单。现有投诉系统中，工单数量多、投诉信息描述模糊，单纯的人工分析并不能充分提取工单中的有效信息，使得大量的投诉数据没有被充分利用，通信客服无法实现灵活查询和分类。

传统的通信投诉系统虽然有后台数据层，但是只是用来存储，并没有用于分析投诉工单之间的关联性，数据信息没有被充分利用。

发明内容

为了解决现有技术的问题，本发明提供了一种语义智能搜索的通信网络投诉系统，其将语义智能搜索技术应用到投诉系统领域，通过语义分析，深层次地挖掘数据所要表达的内容，实现语义搜索，减少人工分析的工作量，提高投诉分析处理的效率。

本发明所采用的技术方案如下：

一种语义智能搜索的通信网络投诉系统，包括：

数据库管理模块，其用于文体管理；

数据处理模块，其用于文档处理；

用户查询模块，其用于用户查询；

检索模块，其用于用户检索；

其中，用户的查询以及结果的返回是客户端完成的，对本体管理以及文档的处理是在数据库服务器端进行的，而其它的处理都是在WEB服务器端完成。

数据库管理模块分为构建本体库以及本体管理两个部分，以构建投诉系统领域的数据库为基础，对已经构建好的数据库进行管理。

数据处理模块首先将数据中涉及的实例和抽象的概念关联起来，然后再对这些文档数据建立语义索引，经过标注和建立索引这两个步骤后，就完成了对数据的处理。

用户查询模块包含查询处理和查询扩展这两个功能，查询处理功能首先从客户端捕获用户的查询需求，经过对需求进行分词、去除停用词等处理后，得到查询的关键词；接下来将这些关键词进行扩展，在领域数据库中找到与关键词匹配的概念，进而以此概念为中

心进行语义扩展。

检索模块包含信息检索和结果排序这两个功能，将经过扩展后的关键词根据计算公式与数据库中的文档数据进行匹配，并根据匹配度的大小排序，将结果返回客户端。

本发明的通信网络投诉系统，包括：

1.1 构建投诉系统中的本体数据库；

1.2 概念之间的语义相关度计算；

1.3 语义智能检索模型。

本发明采用中国科学院计算技术研究所的汉语词法分析系统 ICTCLAS对文档数据进行分词；采用RDF资源描述框架模型进行概念之间的关系描述；采用移动公司投诉处理中心提供的投诉记录作为原始的资料来源进行实例定义。

分别计算语义相似度和语义关联度，加权得出两个概念的语义相关度。从同义、属性、上位、下位、实例5个方面对概念进行语义扩展；根据矢量模型中夹角余弦来度量查询信息与文档数据的匹配程度。

本发明提供的技术方案带来的有益效果是：

本发明将语义智能搜索技术应用到投诉系统领域，通过语义分析，深层次地挖掘数据所要表达的内容，实现语义搜索，并且极大地减少了人工分析的工作量。投诉系统的语义智能搜索模型主要由两个部分组成，其一是根据收集的数据信息构建领域数据库，构架概念之间的网状结构并计算概念之间的相关度，建立数据的语义索引；其二是对用户的查询进行扩展处理，对处理的结果进行信息检索。这是首次将语义智能搜索应用到通信中的投诉系统领域，可以有效地减少客服人员的工作量，提高投诉分析处理效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的系统组成框图。

图2是本发明的投诉系统本体数据库的构建流程图。

图3是本发明的投诉系统本体数据库的网状结构图。

图4是本发明的语义检索模块系统图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

一种语义智能搜索的通信网络投诉系统，包括：

数据库管理模块，其用于文体管理；

数据处理模块，其用于文档处理；

用户查询模块，其用于用户查询；

检索模块，其用于用户检索；

其中，用户的查询以及结果的返回是客户端完成的，对本体管理以及文档的处理是在数据库服务器端进行的，而其它的处理都是在WEB服务器端完成。

数据库管理模块分为构建本体库以及本体管理两个部分，以构建投诉系统领域的数据库为基础，对已经构建好的数据库进行管理。

数据处理模块首先将数据中涉及的实例和抽象的概念关联起来，然后再对这些文档数据建立语义索引，经过标注和建立索引这两个步骤后，就完成了对数据的处理。

用户查询模块包含查询处理和查询扩展这两个功能,查询处理功能首先从客户端捕获用户的查询需求，经过对需求进行分词、去除停用词等处理后，得到查询的关键词；接下来将这些关键词进行扩展，在领域数据库中找到与关键词匹配的概念，进而以此概念为中心进行语义扩展。

检索模块包含信息检索和结果排序这两个功能，将经过扩展后的关键词根据计算公式与数据库中的文档数据进行匹配，并根据匹配度的大小排序，将结果返回客户端。

投诉系统本体数据库的构建：

在语义搜索实际应用中，构建本体数据库是一项基本任务。这里，我们采用两种典型的构建方法——“七步法”和“原型进化法”，并将其结合，应用到投诉系统领域数据库的实际构建当中。然后提出一种基于知网的词语语义相关度计算方法，计算概念之间的语义相关度。数据库构建流程参见图2。

1. 数据库的具体构建过程：

1.1. 需求分析

① 确定专业领域和范畴

本文将构建一个覆盖移动公司投诉系统领域的本体数据库，形式化定义各种概念及属性，为后文进行语义检索打下基础。

② 数据信息获取途径

在确定了本体的专业领域和范畴之后，接下来进入到数据信息获取阶段。在这个阶段里，主要是对投诉系统领域和相关领域的数据进行收集。本文采用移动公司投诉处理中心提供的投诉记录作为原始的资料来源。同时，也使用投诉相关领域类的文档数据作为原始信息。

1.2. 数据库设计 

① 列出领域内的重要术语

本文首先将移动公司投诉处理中心提供的投诉记录数据进行分词处理。可以采用中国科学院计算技术研究所的汉语词法分析系统ICTCLAS（Institute of Computing Technology，Chinese Lexical Analysis System）编写程序，对文档数据分别进行分词，并对分词结果进行统计，获得多个名词词条，并且参考投诉系统领域相关资料，最终确定重要术语。例如在关于投诉系统的领域本体中，可以有以下重要术语：“基础通信”，“互联网类业务”，“消息类业务”，“语音基本业务”，“通话质量”，“网络故障”，漫游障碍”，“家庭宽带”等。

② 定义概念之间的各种关系

在领域本体中，概念和概念之间通过关系来交互。语义网中概念之间的关系可以总结为以下常见的8种：上下位关系、同义关系、反义关系、对义关系、属性宿主关系、整体_部分关系、材料_成品关系、事件_角色关系。这里，我们采用RDF资源描述框架模型来进行概念之间的关系描述。RDF不是一种语言，而是一种基于图形、由节点和边构成的数据模型。节点对应于对象或者资源，边对应于对象的属性。

③ 定义实例

经过上面的两个阶段，本体的骨架已经搭建起来。在接下来的这个阶段里，主要的工作是分析与个体最接近的概念，将个体作为该概念类的一个实例添加入本体，同时根据该类的属性对个体进行标注。构建实例是整个构建本体过程中工作量最大，最为繁琐的部分。经过本体的设计阶段，得到数据库的网状结构，参见图3。

1.3. 形式化编码 

可以选择OWL语言来描述投诉系统领域的数据库，利用OWL对本体设计阶段定义好的概念及其继承关系、概念自身和概念之间的属性和关系、属性的限制以及实例进行形式化表述。而本体开发工具方面，经过多方面比较和筛选，可以采用斯坦福大学的Protégé来辅助本体的构建过程。

1.4. 数据库的更新 

数据库的更新包括质的发展和量的增长两方面。所谓本体质的发展，指的是一定阶段本体相对于以前的某一时间阶段的本体在深度、广度及真理性方面的提高，它一般反映为概念的更新。而所谓量的增长，指的是一定阶段内本体总容量的增加，它一般反映为概念的增加。因此本方法会从这两方面着手，坚持长期不懈地对本体进行概念的更新和概念的增加，促进数据库的更新。

2. 概念之间的语义相关度计算

语义网搜索区别于关键词搜索的最大特征就是，对于每一个概念，不再仅仅是一个词语，而是每个概念都由多个语义义原组成，从而对其特征属性及相关关系形成一种解释。这里，我们定义每个概念由两个义原组成，分别为基本义原和关系义原。如，对某一概念 ，定义，为基本义原，由概念的各个特征构成；为关系义原，如上下位关系、同义关系、属性宿主关系等。

我们知道，如果两个词语的语义相似度高，那它们之间的语义相关度也较高，如“医生”与“医治”；而语义相关度高的词语之间，不一定具有很高的相似度，如“医生”与“患者”，但是它们之间的语义关联度较高。因此语义相关度取决于语义相似度以及语义关联度两个方面。那么对某两个概念，它们的语义相似度更多的取决于各自的基本义原，而语义关联度更多的取决于关系义原。

根据知网特有的知识词典描述语言KDML的定义，本文将义原语义描述式分为以下两种形式：基本义原描述式：用“基本义原”进行描述；关系义原描述式：用“动态角色=基本义原”或者“关系符号 基本义原”加以描述。

① 语义相似度计算

语义相似度是两个词在不同的上下文中可以互相替换使用而不改变文本的句法语义结构的程度。根据KDML对概念的表述形式，我们将语义相似度的计算分为三个部分：

主要特征描述式：概念描述式中的第一个基本义原，它描述了概念最基本的语义信息，并且在义原树中具有上下位的关系，因此可以用语义距离计算主要特征描述式的相似度，将两个概念的这一部分的相似度记为；

次要特征描述式：概念描述式中除第一个基本义原外的其它基本义原，它描述了概念具体的语义信息，但是失去了在义原树中上下位的关系，将两个概念的这一部分的相似度记为；

关系描述式：概念描述式中所有“动态角色=基本义原”或者“关系符号  基本义原”形式的描述式。它描述了概念与其它义原之间的关系，将两个概念的这一部分的相似度记为。

其中，义原之间的相似度计算公式为：

 

 式中：和为两个义原，为和在义原层次体系中的路径长度，是一个调解参数，表示两个义原在概念描述式中的位置，代表两个义原均为主要特征描述式。

则两个概念的整体语义相似度的计算公式为：

 

式中：是可调解参数，且有：。由于主要特征描述式反映了一个概念最主要的特征，所以应该将赋予较大权值。

② 语义关联度计算

语义关联度是指两个词语的概念之间是否存在语义关系。如果两个概念之间存在的隐含语义关系种类越多，那它们之间的语义关联度越高。在前面已经介绍了我们对概念之间隐含的八种语义关系的定义，在此基础之上语义关联度的计算公式如下：

 

式中：是可调解参数，且有：。分别代表不同部分的义原语义关联度，其计算公式如下：

 

③ 语义相关度计算

两个词语的概念之间相似度越高，则它们的相关度也越高；两个词语的概念之间存在的关联度越大，则它们的相关度也越高。根据对语义相似度以及语义关联度的计算，可以得出两个词语的语义相关度的计算公式：

 

 式中，和是可调解参数，且有：。

S2、语义智能检索模型的实现

语义检索是从语义理解的角度分析信息资源与用户请求的检索方法。在基于本体数据库的语义检索模型中，我们利用数据库定义的概念作为索引项来对文档和用户查询进行描述，即利用语义索引项来表示文档和用户的查询。构造系统参见图4。具体实施步骤如下：

设语义索引项，文档，用户查询表示为。参照矢量模型中对文档和用户查询的定义，可以将文档用语义矢量表示为，其中表示为二元组的语义权重。而用户查询则用语义矢量表示为，其中表示二元组的语义权重。

利用语义索引项来表示文档和查询最重要的好处就是对用户的查询可以进行语义扩展，从语义的角度对用户查询进行分析。主要的语义扩展包括以下几类：

①同义扩展：这是最基本的扩展类型，即通过定义获取检索提问中概念的同义词。

②属性扩展：通过定义获取检索提问中与主语相关的属性定义。

③上位扩展：通过定义的层次结构获取检索提问中概念的上位概念，扩大检索范围。

④下位扩展：通过定义的层次结构获取检索提问中概念的下位概念，缩小检索范围。

⑤实例扩展：通过定义获取检索提问中概念包含的实例。

查询请求经过语义扩展后，可以将其表示如下：

  

其中代表查询经过分词后提取出来的概念集合，代表的同义概念集合，是的属性集合，是上位概念集合，是下位概念集合，是实例集合。因此的计算公式如下所示：

 

 其中代表扩展集合的权重，当查询及其扩展集合中包含索引项时，，否则。对于的确定，应当遵循以下几条规则：

①同义概念集合应当与查询概念集合拥有相同的权值，其余的扩展概念集合的权重应当低于查询概念集合；

②上位概念集合的权值应当比下位概念集合、属性集合以及实例集合要低；

③属性集合代表了丰富的二元关系，二元关系可以体现概念之间复杂的语义关系，因此它的权值应当最高。

基于以上的规定，本模型所采用的权值分配方案如表1所示：

表1  权重分配方案

对于则采用TF-IDF方法来确定：

 

 其中，TF（词频）表示索引项在文档中出现的次数，是索引项对文档内容的描述的好坏程度的衡量。IDF（逆文档频率）是索引项在文档集中出现频繁程度的衡量。

经过语义扩展的用户查询q与文档的匹配程度用它们在领域本体概念空间中的矢量和之间的夹角余弦来度量，计算方法如下：

 

将经过扩展后的关键词根据上述公式与数据库中的数据进行匹配，根据计算结果，按匹配度大小排序输出即可。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种语义智能搜索的通信网络投诉系统，包括：

数据库管理模块，其用于文体管理；

数据处理模块，其用于文档处理；

用户查询模块，其用于用户查询；

检索模块，其用于用户检索；

其中，用户的查询以及结果的返回是客户端完成的，对本体管理以及文档的处理是在数据库服务器端进行的，而其它的处理都是在WEB服务器端完成。

2.根据权利要求1所述的一种语义智能搜索的通信网络投诉系统，其特征在于，所述的数据库管理模块分为构建本体库以及本体管理两个部分，以构建投诉系统领域的数据库为基础，对已经构建好的数据库进行管理。

3.根据权利要求1所述的一种语义智能搜索的通信网络投诉系统，其特征在于，所述的数据处理模块首先将数据中涉及的实例和抽象的概念关联起来，然后再对这些文档数据建立语义索引，经过标注和建立索引这两个步骤后，就完成了对数据的处理。

4.根据权利要求1所述的一种语义智能搜索的通信网络投诉系统，其特征在于，所述的用户查询模块包含查询处理和查询扩展这两个功能，查询处理功能首先从客户端捕获用户的查询需求，经过对需求进行分词、去除停用词等处理后，得到查询的关键词；接下来将这些关键词进行扩展，在领域数据库中找到与关键词匹配的概念，进而以此概念为中心进行语义扩展。

5.根据权利要求1所述的一种语义智能搜索的通信网络投诉系统，其特征在于，所述的检索模块包含信息检索和结果排序这两个功能，将经过扩展后的关键词根据计算公式与数据库中的文档数据进行匹配，并根据匹配度的大小排序，将结果返回客户端。