CN109033272A - 一种基于概念的知识自动关联方法及装置 - Google Patents

Abstract

本发明一种基于概念的知识自动关联方法及装置，所述方法包括如下步骤：步骤S1，利用语义网对现有的领域内容资源自动打上语义标签，形成结构化数据进行存储，并对其文本内容进行索引，形成索引库；步骤S2，接收搜索请求，将所述搜索请求转换为检索条件；步骤S3，将所述检索条件与所述索引库中的索引进行匹配，检索出相关的条目；步骤S4，将检索结果输出展示，本发明基于语义网概念对知识进行关联，提高了知识的查全率和查准率。

Description

一种基于概念的知识自动关联方法及装置

技术领域

本发明涉及知识检索技术领域，特别是涉及一种基于概念的知识自动关联方法及装置。

背景技术

在现代信息技术迅猛发展的时代，互联网上的信息呈爆炸式增长，这给信息检索的发展带来了巨大的挑战。一方面对于大规模的文档数据，信息检索算法需要在较短的时间内返回检索结果；另一方面随着人工智能领域的发展，人们对信息检索的要求不仅是停留在对结构化数据的关键词查询，同时基于自然语言层面上的语义检索也逐步得到重视，因为基于概念上的语义匹配更加符合用户的实际检索需求。

然而，目前现有的知识检索技术主要仍是基于关键词的知识匹配，而不是基于概念的知识匹配，其实现原理是构建业务关键词词库或知识库，通过设计关键词的权重，实现搜索字段与知识的匹配，其获取知识的方式，主要仍是用户主动搜索的形式，而不是在具体的场景中，知识自动关联到相关的文本，方便用户的使用。

现有的知识检索技术主要存在如下问题：

第一，查全率和查准率低。查全率和查准率是衡量搜索结果的指标，由于现有技术中需配置关键词的权重，因为关键词具有多义性，会影响系统的语义理解，所以查全率和查准率低，；

第二，关键词库的配置工作量大，需要人工收集业务关键词；业务发生变化时，要重新配置关键词库，工作量大。另外，关键词配置效果还受业务人员主观的影响，不同业务人员对业务的理解不同，配置的关键词库标准不统一，直接影响知识检索的效果；

第三，用户体验不够友好。由于目前知识获取方式以用户主动检索为主，一方面用户不能通过自然语言进行检索，搜索结果往往不佳，另一方面需要用户主动去搜索引擎查找，不能在用户使用的过程中自动关联推荐给用户，造成用户体验不够友好。

例如，用户在撰写文档中，当遇到不懂或需要进一步了解的知识，需要去搜索引擎或各类知识库中进行查找，专业性的知识无法通过通用的搜索引擎获取，专用的搜索引擎查全率和查准率低，不能满足用户在需要时随时获取的需求。

发明内容

为克服上述现有技术存在的不足，本发明之一目的在于提供一种基于概念的知识自动关联方法及装置，以基于语义网概念对知识进行关联，提高知识的查全率和查准率。

本发明之另一目的在于提供一种基于概念的知识自动关联方法及装置，其利用语义网构建和资源处理方式，实现知识的检索和关联工作量少，可快速工程化，减少人工操作，降低成本。

本发明之再一目的在于提供一种基于概念的知识自动关联方法及装置，可在用户需要的各种场景中，实时将相关的概念关联与用户现有的语义信息进行关联，省去用户主动查找但结果不理想的麻烦，提供了友好的用户体验。

为达上述及其它目的，本发明提出一种基于概念的知识自动关联方法，包括如下步骤：

步骤S1，利用语义网对现有的领域内容资源自动打上语义标签，形成结构化数据进行存储，并对其文本内容进行索引，形成索引库；

步骤S2，接收搜索请求，将所述搜索请求转换为检索条件；

步骤S3，将所述检索条件与所述索引库中的索引进行匹配，检索出相关的条目；

步骤S4，将检索结果输出展示。

优选地，步骤S1进一步包括：

步骤S100，创建语义网，并对创建的语义网进行存储；

步骤S101，获取领域内容资源；

步骤S102，对获取的领域内容资源进行预处理；

步骤S103，建立所述语义网概念与相关术语描述的关联；

步骤S103，调用所述语义网，对所述领域内容资源自动打上语义标签；

步骤S104，对打好语义标签的数据进行结构化存储，并对其中的文本内容进行索引，形成所述索引库。

优选地，于步骤S104中，利用所述语义网引擎的语义识别功能，实现文本与语义网的概念识别，自动识别出所述领域内容资源文本中的概念及其路径信息、所述概念的属性、概念之间的关联关系。

优选地，于步骤S104中，还利用所述语义网通过多个维度对文本内容进行语义标注。

优选地，于步骤S103中，将领域的术语、概念、解释或者描述内容与所述语义网的相关概念建立关联。

优选地，所述领域内容资源包括但不限于内部文档或数据资源或互联网上抓取的数据。

优选地，于步骤S3后，还包括如下步骤：

调用所述语义网，对索引查找到的条目进行语义计算，计算出每个条目的语义；

对经过语义计算后的条目进行评分排序，并结合语义内容、业务规则和语义网权重等指标对搜索结果进行评分排序。

优选地，所述语义计算为调用语义网引擎融合规则、统计、模型多种方法计算语义。

优选地，于步骤S4中，将检索结果以自动关联的方式进行前端展示。

为达到上述目的，本发明还提供一种基于概念的知识自动关联装置，包括：

索引库建立单元，用于利用语义网对现有的领域内容资源自动打上语义标签，形成结构化数据进行存储，并对其中的文本内容进行索引，形成索引库；

搜索请求获取单元，用于接收搜索请求，将所述搜索请求转换为检索条件；

匹配检索单元，用于将所述检索条件与索引库中的索引进行匹配，检索出相关的条目；

输出单元，用于将检索结果以自动关联的方式输出展示。

与现有技术相比，本发明一种基于概念的知识自动关联方法及装置通过利用语义网概念对领域内容自动打上语义标签并对文本建立索引形成索引库，利用语义网分析检索内容，将分析后的结果与建立的索引库的索引进行匹配，并将匹配结果以自动关联的方式将知识推送给用户，提高了自然语言检索的查全率和查准率，使用户的自然语言可以自动关联到相关的知识，同时减少了人工操作的工作量，大幅降低了成本，并提高了用户使用时的使用体验。

附图说明

图1为本发明一种基于概念的知识自动关联方法的步骤流程图；

图2为本发明具体实施例中步骤S1的细部流程图；

图3为本发明一种基于概念的知识自动关联装置的系统架构图；

图4为本发明具体实施例中索引库建立单元301的细部结构图；

图5为本发明实施例的流程图；

图6为本发明实施例中资源处理的流程图；

图7为本发明实施例中服务调用和关联知识推送的流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

在介绍本发明之前，先说明本发明涉及的概念：

语义网(ontology)，也称本体，指的是共享概念模型的明确的形式化规范说明。语义网定义了概念以及概念与概念之间的关系，使人与人之间、人与计算机之间能基于共享概念进行语言交流，它作为计算机理解人类语言的知识组织方式，可应用于知识表示、知识推理和知识共享等方面。

语义网引擎：这是一个在多种语言的语义网的基础上结合词典、规则、统计和模型的引擎，可以用于中文分词、语义网匹配、词义消歧、语义计算。

概念：概念(concepts)或叫类(classes)，是语义网五大建模元语(modelingprimitive)之一，指的是对象的集合，包括概念的名称、概念与概念之间的关系的名称、自然语言对概念的描述的集合。

知识：知识是人类在实践过程中总结出的系统化的、可证伪但尚未被证伪的、被人们相信的能共享的陈述。一般认为，知识的形态包括陈述性知识和程序性知识。

查准率(Precision)：查准率是衡量某一检索系统的信号噪声比的一种指标，即检出的相关文献量与检出的文献总量的百分比。普遍表示为：查准率＝(检索出的相关信息量/检索出的信息总量)×100％。

查全率(Recall)：查全率，也称召回率，是衡量某一检索系统从文献集合中检出相关文献成功度的一项指标，即检出的相关文献量与检索系统中相关文献总量的百分比。普遍表示为：查全率＝(检索出的相关信息量/系统中的相关信息总量)×100％。

图1为本发明一种基于概念的知识自动关联方法的步骤流程图。如图1所示，本发明一种基于概念的知识自动关联方法，包括如下步骤：

步骤S1，利用语义网对现有的领域内容资源自动打上语义标签，形成结构化数据进行存储，并对文本内容进行索引，形成索引库。

具体地，如图2所示，步骤S1进一步包括：

步骤S100，创建某领域的语义网，并对创建的语义网进行存储。

以工程应用领域为例，其语义网的创建过程如下：

1)获取工程应用文本，根据该工程应用文本确定该工程应用的语义网范围，继承工程应用领域范围中的已有语义网结构；

2)分析该工程应用文本，得到工程应用领域范围中的术语集；

3)根据所述语义网范围、所述已有语义网结构和所述术语集，逐层确定工程应用的多层语义网分类结构；

4)根据每一语义网分类结构分别定义对应的语义网中类的属性和属性值，从而得到所述工程应用的语义网。

由于本发明语义网创建采用的是现有技术，在此不予赘述。

步骤S101，获取领域内容资源。即，根据具体的工程应用目标，获取相关领域内容资源，该领域内容资源可以是内部文档、数据资源等，也可以是互联网上抓取的数据，本发明不以此为限。

步骤S102，对获取的领域内容资源进行预处理。具体地说，对已获取的领域内容资源进行预处理，该预处理包括编码识别、内容抽取、数据清洗、去重等，由于预处理技术采用的均为现有的技术，在此不予赘述。

步骤S103，建立语义网概念与相关术语描述的关联，即将领域的术语、概念、解释或者描述内容与语义网的相关概念建立关联。

步骤S104，调用语义网，对现有领域内容资源自动打上语义标签。具体地说，通过语义网引擎的语义识别功能，实现文本与语义网的概念识别，自动识别出所述领域内容资源文本中的概念及其路径信息、所述概念的属性、概念之间的关联关系，同时该语义网还可通过多个维度对内容进行语义标注，如文本分类、规则分类等方式。

步骤S105，对打好语义标签的数据进行结构化存储，建立索引库。具体地，对语义标签等结构化数据采用数据库进行存储，便于各种统计运算，并对其中的文本内容进行索引，形成索引库，以方便后续查询使用。

步骤S2，接收搜索请求，将搜索请求转换为检索条件。例如，用户在系统输入框中输入需要检索的文本以产生搜索请求，用户检索的文本内容可以是关键词、也可以是句子、还可以是段落，用户可能产生搜索请求的场景包括但不限于：阅读时或编辑创作时或文本校对时等，用户产生请求的方式包括但不限于：直接搜索、自动关联等。在本发明实施例中，直接搜索是用户直接搜索，即用户可以用自然语言和关键字进行搜索，自动关联是当系统识别出用户在输入编辑框或者阅读过程中文本的一些概念，自动识别出这些概念后，再向用户推荐关于该概念的一些资料，比如小明在编辑框中写道“我要去中关村”，系统识别出“中关村”这个概念，系统会向用户推荐“中关村位于北京市海淀区，是中国第一个国家级高新技术产业开发区、第一个国家自主创新示范区、第一个国家级人才特区…”

步骤S3，将检索条件与索引库中的索引进行匹配，检索出相关的条目。

步骤S4，将检索结果以自动关联的方式输出展示。也就是说，将检索结果进行前端展示，具体的应用场景可以是用户在阅读时、编辑创作时、文本校对时等，以自动关联的方式展现给用户。

优选地，于步骤S3后，本发明之基于概念的知识自动关联方法还包括如下步骤：

调用语义网，对索引查找到的条目进行语义计算，计算出每个条目的语义，具体地，可通过语义网引擎进行语义计算，该语义网引擎融合规则、统计、模型等多种方法计算语义；

对经过语义计算后的条目进行评分排序，并结合语义内容、业务规则和语义网权重等指标对搜索结果进行评分排序。

图3为本发明一种基于概念的知识自动关联装置的系统架构图。如图3所示，本发明一种基于概念的知识自动关联装置，包括：

索引库建立单元301，用于利用语义网对现有的领域内容资源自动打上语义标签，形成结构化数据进行存储，并对文本内容进行索引，形成索引库。

具体地，如图4所示，索引库建立单元301进一步包括：

语义网创建单元3010，用于创建某领域的语义网，并对创建的语义网进行存储。

以工程应用领域为例，该语义网的创建过程如下：

1)获取工程应用文本，根据该工程应用文本确定该工程应用的语义网范围，继承工程应用领域范围中的已有语义网结构；

2)分析该工程应用文本，得到工程应用领域范围中的术语集；

3)根据所述语义网范围、所述已有语义网结构和所述术语集，逐层确定工程应用的多层语义网分类结构；

4)根据每一语义网分类结构分别定义对应的语义网中类的属性和属性值，从而得到所述工程应用的语义网。

由于本发明语义网创建采用的是现有技术，在此不予赘述。

资源获取单元3011，用于获取领域内容资源。即，根据具体的工程应用目标，获取相关领域内容资源，该领域内容资源可以是内部文档、数据资源等，也可以是互联网上抓取的数据，本发明不以此为限。

预处理单元3012，用于对获取的领域内容资源进行预处理。具体地说，对已获取的领域内容资源进行预处理，该预处理包括编码识别、内容抽取、数据清洗、去重等，由于预处理技术采用的均为现有的技术，在此不予赘述。

关联建立单元3013，用于建立语义网概念与相关术语描述的关联，即将领域的术语、概念、解释或者描述内容与语义网的相关概念建立关联。

调用处理单元3014，用于通过调用语义网，对现有领域内容资源自动打上语义标签。具体地说，调用处理单元3013通过语义网引擎的语义识别功能，实现文本与语义网的概念识别，自动识别出所述领域内容资源文本中的概念及其路径信息、所述概念的属性、概念之间的关联关系，同时该语义网还可通过多个维度对内容进行语义标注，如文本分类、规则分类等方式。

存储单元3014，用于对打好语义标签的数据进行结构化存储，建立索引库。具体地，对打上语义标签等结构化数据采用数据库进行存储，便于各种统计运算，并对其中的文本内容进行索引，形成索引库，以方便后续查询使用。

搜索请求获取单元302，用于接收搜索请求，将搜索请求转换为检索条件。例如，用户在系统输入框中输入需要检索的文本以产生搜索请求，用户检索的文本内容可以是关键词、也可以是句子、还可以是段落。用户可能产生搜索请求的场景包括但不限于：阅读时或编辑创作时或文本校对时等，用户产生请求的方式包括但不限于：直接搜索、自动关联等。

匹配检索单元303，用于将检索条件与索引库中的索引进行匹配，检索出相关的条目。

输出单元304，用于将检索结果以自动关联的方式输出展示。也就是说，输出单元304将检索结果进行前端展示，具体的应用场景可以是用户在阅读时、编辑创作时、文本校对时等，以自动关联的方式展现给用户。

优选地，本发明之基于概念的知识自动关联装置还包括：

语义计算单元，用于通过调用语义网，对索引查找到的条目进行语义计算，计算出每个条目的语义，具体地，语义计算单元可通过语义网引擎进行语义计算，该语义网引擎融合规则、统计、模型等多种方法计算语义。

排序单元，用于对经过语义计算后的条目进行评分排序，并结合语义内容、业务规则和语义网权重等指标对搜索结果进行评分排序。

图5为本发明实施例的流程图。以下将通过具体实例来说明本发明的流程：

第一步，资源处理，其具体流程如图6所示：

1、获取领域内容资源，根据具体的工程应用目标，获取相关领域内容资源，可以是内部文档、数据资源等，也可以是互联网上抓取的数据。

2、资源预处理。对以获取的内容资源进行预处理，包括编码识别、内容抽取、数据清洗、去重等手段。

3、判断是否已建设了语义网，如尚未建设需先建设语义网，建设完成语义网，需要对语义网进行存储；若已建设了语义网，调用语义网服务。

4、建立语义网概念与相关术语描述的关联，即将领域的术语、概念、解释或者描述内容与语义网的相关概念建立关联。

5、根据语义网，对现有领域内容资源自动打上语义标签。通过语义网引擎的语义识别功能，实现文本与语义网的概念识别，自动识别出所述领域内容资源文本中的概念及其路径信息、所述概念的属性、概念之间的关联关系。同时还可通过多个维度对内容进行语义标注，如文本分类、规则分类等方式。

6、对打好的语义标签做结构化存储。对语义标签等结构化数据采用数据库进行存储，便于各种统计运算。同时对本文内容进行索引，方便后续查询使用。

第二步，服务调用，其具体流程如图7所示：

1、用户发起搜索请求，用户可能使用场景包括：阅读时、编辑创作时、文本校对时等，用户请求的方式包括，直接搜索、自动关联等。

2、对检索的文本和索引库中的索引进行匹配，检索出相关的条目。用户检索的文本内容可以是关键词、也可以是句子、还可以是段落。

3、语义计算，调用语义网，对索引查找到的条目进行语义计算，计算出每个条目的语义。

4、对语义计算后的条目进行评分排序，结合语义内容、业务规则和语义网权重等指标对搜索结果进行评分排序。

5、返回结果，将结果返回给用户。

第三步，关联知识推送。

对返回的结果进行前端的展示，具体应用场景可以是用户在阅读时、编辑创作时、文本校对时等，以自动关联的方式展现给用户,如图7所示。

综上所述，本发明一种基于概念的知识自动关联方法及装置通过利用语义网概念对领域内容打标签并对文本建立索引形成索引库，利用语义网分析检索内容，将分析后的结果与建立的索引库的索引进行匹配，并将匹配结果以自动知识关联的方式将知识推送给用户，提高了自然语言检索的查全率和查准率，使用户的自然语言可以自动关联到相关的知识，同时减少了人工操作的工作量，大幅降低了成本，并提高了用户使用时的使用体验。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于概念的知识自动关联方法，包括如下步骤：

步骤S1，利用语义网对现有的领域内容资源自动打上语义标签，形成结构化数据进行存储，并对其文本内容进行索引，形成索引库；

步骤S2，接收搜索请求，将所述搜索请求转换为检索条件；

步骤S3，将所述检索条件与所述索引库中的索引进行匹配，检索出相关的条目；

步骤S4，将检索结果输出展示。

2.如权利要求1所述的一种基于概念的知识自动关联方法，其特征在于，步骤S1进一步包括：

步骤S100，创建语义网，并对创建的语义网进行存储；

步骤S101，获取领域内容资源；

步骤S102，对获取的领域内容资源进行预处理；

步骤S103，建立所述语义网概念与相关术语描述的关联；

步骤S103，调用所述语义网，对所述领域内容资源自动打上语义标签；

步骤S104，对打好语义标签的数据进行结构化存储，并对其中的文本内容进行索引，形成所述索引库。

3.如权利要求2所述的一种基于概念的知识自动关联方法，其特征在于：于步骤S104中，利用所述语义网引擎的语义识别功能，实现文本与语义网的概念识别，自动识别出所述领域内容资源文本中的概念及其路径信息、所述概念的属性、概念之间的关联关系。

4.如权利要求3所述的一种基于概念的知识自动关联方法，其特征在于：于步骤S104中，还利用所述语义网通过多个维度对文本内容进行语义标注。

5.如权利要求2所述的一种基于概念的知识自动关联方法，其特征在于：于步骤S103中，将领域的术语、概念、解释或者描述内容与所述语义网的相关概念建立关联。

6.如权利要求2所述的一种基于概念的知识自动关联方法，其特征在于：所述领域内容资源包括但不限于内部文档或数据资源或互联网上抓取的数据。

7.如权利要求2所述的一种基于概念的知识自动关联方法，其特征在于，于步骤S3后，还包括如下步骤：

调用所述语义网，对索引查找到的条目进行语义计算，计算出每个条目的语义；

对经过语义计算后的条目进行评分排序，并结合语义内容、业务规则和语义网权重等指标对搜索结果进行评分排序。

8.如权利要求7所述的一种基于概念的知识自动关联方法，其特征在于：所述语义计算为调用语义网引擎融合规则、统计、模型多种方法计算语义。

9.如权利要求2所述的一种基于概念的知识自动关联方法，其特征在于：于步骤S4中，将检索结果以自动关联的方式进行前端展示。

10.一种基于概念的知识自动关联装置，包括：

索引库建立单元，用于利用语义网对现有的领域内容资源自动打上语义标签，形成结构化数据进行存储，并对其中的文本内容进行索引，形成索引库；

搜索请求获取单元，用于接收搜索请求，将所述搜索请求转换为检索条件；

匹配检索单元，用于将所述检索条件与索引库中的索引进行匹配，检索出相关的条目；

输出单元，用于将检索结果以自动关联的方式输出展示。