CN102073692B - 基于农业领域本体库的语义检索系统和方法 - Google Patents

Abstract

本发明涉及基于农业领域本体库的语义检索系统和方法，属于智能检索技术领域。为提高农业领域信息语义检索过程的精准度以及效率，本发明利用信息抽取技术仅仅将网页中有用的结构化数据抽取出来作为检索的基础资源，因此在数据基础资源阶段大大保证了检索数据来源的结构性和准确性；然后建立了比较全面和专业的面向农业行业的本体库，在语义本体推理引擎的基础上结合用户的参与，根据用户的查询请求进行语义扩展和推理，并对用户提交的自然语言进行处理或者将扩展后的结果再次返回给用户，使得用户参与的过程中能比较准确的确定扩展语义集中各个本体实例的权重，直到扩展后的本体实例集符合用户的查询需求，从而提高了最终检索的查准率和查全率。

Description

基于农业领域本体库的语义检索系统和方法

技术领域

本发明属于智能检索技术领域，具体涉及一种基于农业领域本体库的语义检索系统和方法。

背景技术

随着互联网上农业网站的不断涌现，农业知识与数据资源已呈海量增长趋势。这些庞杂、分散、异构并且封闭的农业信息资源导致了农业信息资源利用率低的问题，形成了当前互联网信息爆炸而农业用户获取有效信息匮乏的矛盾现象。许多通用搜索引擎，如Google、百度等在一定程度上为信息资源的检索提供了解决方案。但是一方面通用搜索引擎面向的是所有行业，针对特定行业信息检索时准确性和相关性都较差；另一方面通用搜索引擎采用的是基于关键词的检索技术，只是将分词后的关键词和索引库中的词语进行匹配，无法正确理解和处理用户检索语义和意图，存在着检索结果不准确、无关信息过多等问题。因此，面向农业行业，利用基于本体的语义检索技术成为提高搜索效率的有效途径，对查全率和查准率均有较高提升。

如图1所示，目前现有技术中提供有一种基于领域本体的智能检索方法，以及应用该方法的智能检索系统。该系统包括：查询接口、查询预处理模块、语义本体推理引擎、标注本体库、传统搜索模块和结果返回接口。

查询接口获取用户的查询信息，将其发送给查询预处理模块。

查询预处理模块分析用户的查询信息，通过切分词技术，将其切分成查询关键词，并发送给语义本体推理引擎。

语义本体推理引擎根据标注本体库中定义的本体概念词汇及概念之间的关系，匹配推理出查询关键词所对应的本体概念词汇，并将其返回给查询预处理模块。

查询预处理模块将语义本体推理引擎返回的本体概念词汇发送给传统搜索模块，并指明按照语义搜索。这里按照语义搜索是指在网页已被标注语义的情况下，按照网页标注的语义概念进行字符串匹配，而不是直接对网页自身的内容进行字符串匹配。

传统搜索模块进行语义搜索，并将搜索结果发送给结果返回接口。结果返回接口再将搜索结果返回给用户。

该技术方案充分利用了领域本体库中的概念及其相互关系，能够正确理解用户需求，优化检索结果，为用户更全、更准地返回专业领域信息。

但该技术方案并未涉及对基础数据资源的预处理。一方面基础数据资源中往往含有大量无关的冗余信息，比如网页中往往还有广告、导航、版权等垃圾信息，如果不对这些垃圾信息进行清洗处理，将对后期的检索带来极大噪声干扰；另一方面，网页中包含的都是半结构化数据，真正有用的数据和html标签混合在一起，这也大大降低了检索的精准度。

同时，现有的技术方案在对用户输入的自然查询语言进行处理时，如果用户输入的自然查询语句中包括本体概念，则进行句型模式的匹配判断，无论匹配成功与否，都是直接对匹配上或进行语义扩展后的本体概念进行查询，由于整个过程缺少用户的参与，而通过对用户输入的自然查询语言进行语义分析并不能完全和精准的理解用户查询意图，因此，势必造成最终的查询结果的精准度差强人意。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提高农业领域信息语义检索过程的精准度以及效率。

(二)技术方案

为了解决上述技术问题，本发明提供一种基于农业领域本体库的语义检索系统，包括：

信息抽取模块，用于对从互联网上获取的信息进行结构化处理，生成农业资源库；

语义标注处理模块，用于对所述农业资源库中的资源数据进行本体语义标注，以文本格式存储，并计算标注本体的语义向量空间，然后将所述语义向量空间中标注本体词汇和已标注处理的资源数据的语义关联度，与已标注的文本资源一起入库，生成本体语义资源库；

语义索引处理模块，用于读取所述本体语义资源库中的文本数据，根据所述文本数据中的语义标注信息建立语义本体索引库以及全文索引库；

语义扩展模块，用于接收用户提交的自然语言查询语句，对所述自然语言查询语句进行分词处理及本体语义扩展处理，生成相应的本体语义扩展集返回给用户，用户参与对所述本体语义扩展集的过滤、补充并再次提交；

检索处理模块，用于根据所述本体语义扩展集进行检索，生成检索结果返回给用户。

所述系统还包括爬虫抓取模块，利用网络爬虫抓取工具对互联网上指定的农业网页进行信息获取。

所述语义扩展模块包括：

分词处理单元，用于对所述自然语言查询语句进行分词处理；

语义本体推理引擎，用于利用农业领域本体库，判断所述分词处理后的查询关键词结果中是否存在本体语义概念的角色，根据判断结果要求用户重新提交检索查询语句，或者进行下一步的语义扩展；

本体语义扩展处理单元，用于访问农业领域本体库，进行本体语义扩展，得到本体语义扩展集，并结合用户的参与对所述本体语义扩展集进行过滤和权重标识处理。

所述检索处理模块包括：

语义本体检索单元，用于将所述本体语义扩展集转化为语义查询检索式，根据所述语义查询检索式访问所述语义本体索引库，生成查询结果集；

全文检索单元，用于访问所述全文索引库进行全文检索，生成查询结果集；

排名处理单元，用于根据本体语义扩展集的本体词汇权重标识对所述查询结果集进行排名处理，生成检索结果返回给用户。

此外，本发明还提供一种基于农业领域本体库的语义检索方法，包括如下步骤：

S1：对互联网上指定的农业网页进行信息获取，对获取的信息进行结构化处理，生成农业资源库；

S2：对所述农业资源库中的资源数据进行本体语义标注，然后以文本格式存储，并计算标注本体的语义向量空间，然后将所述语义向量空间中标注本体词汇和已标注处理的资源数据的语义关联度，与已标注的文本资源一起入库，生成本体语义资源库；

S3：读取所述本体语义资源库中的文本数据，根据所述文本数据中的语义标注信息建立语义本体索引库以及全文索引库；

S4：接收用户提交的自然语言查询语句，对所述自然语言查询语句进行分词处理及本体语义扩展处理，生成本体语义扩展集；

S5：根据所述本体语义扩展集进行检索，生成检索结果返回给用户。

所述S1利用网络爬虫抓取工具进行网页信息获取。

所述步骤S2中对所述农业资源库中的资源数据进行本体语义标注具体为：将资源数据中的与本体角色相关的词汇做上标记，即与本体概念建立映射关系。

所述步骤S3具体包括：

S301：读取本体语义资源库中的文本数据，判断文本数据中是否存在语义标注信息；若存在语义标注信息，则执行步骤302；

否则结束对该条文本数据建立语义本体索引库的流程，转而建立包括对应该条文本数据索引的全文索引库；

S302：读取文本数据的语义标注信息，所述语义标注信息存放在所述本体语义资源库中；

S303：结合本体语义资源库和文本数据，从中提取语义概念本体词汇，建立语义本体索引库。

所述步骤S4具体包括：

S401：获得用户提交的自然语言查询信息；

S402：对所述自然语言查询信息进行切分词处理，然后利用农业领域本体库来判断切分后的查询关键词结果中是否存在本体语义概念的角色；

若判断结果为否，则转入步骤S403；

若判断结果为是，则转入步骤S404；

S403：若用户提交的自然语言查询信息中不包括本体语义概念，则进行全文检索或返回用户，要求其重新提交检索查询语句；

S404：若用户提交的自然查询查询信息中包括本体语义概念，则进行下一步的语义扩展或根据用户需要只进行全文检索；

S405：访问农业领域本体库，进行本体语义扩展，得到本体语义扩展集；

S406：结合用户201的参与对所述本体语义扩展集进行过滤和权重标识处理，确认最终的本体语义扩展集。

所述步骤S5具体包括：

S501：将所述本体语义扩展集转化为语义查询检索式，根据所述语义查询检索式访问所述语义本体索引库，生成查询结果集；或者

访问所述全文索引库进行全文检索，生成查询结果集；

S502：根据本体语义扩展集的本体词汇权重标识对所述查询结果集进行排名处理，生成检索结果返回给用户。

(三)有益效果

本发明技术方案所提出的基于农业领域本体库的语义检索系统和方法利用信息抽取技术将网页中的结构化数据抽取出来作为基础资源，然后利用农业本体库和用户适当参与来实现精准而又高效的农业领域信息语义检索。

具体来说：(1)该技术方案基于农业本体的信息抽取技术，针对从网络上抓取到的HTML网页，在清洗无用冗余信息后，仅仅将析取出有用的结构化的数据信息来作为检索的基础资源，因此在数据基础资源阶段大大保证了检索的准确性；

(2)该技术方案在语义检索阶段，引入用户交互式参与模式，根据用户的查询请求进行语义扩展和推理，并对用户输入的自然语言进行处理或者将扩展后的结果再次返回给用户，使得用户参与的过程中能比较准确的确定扩展语义集中各个本体实例的权重，直到扩展后的本体实例集符合用户的查询需求，因此大大提高最终检索结果的准确性。

与现有技术相比，本发明提出的系统和技术方案一方面利用基于农业本体库的信息抽取技术确保了数据来源的结构性和准确性；另一方面建立了比较全面和专业的面向农业行业的本体库，在语义推理机的基础上结合用户的参与，能较准确的对用户的检索关键词进行语义扩展，从而提高了最终检索的查准率和查全率。

附图说明

图1为目前的语义检索系统的结构流程图；

图2为本发明具体实施方式所提供的基于农业领域本体库的语义检索系统的结构框图；

图3为本发明具体实施方式所提供的基于农业领域本体库的语义检索方法的流程图；

图4是本发明具体实施方式所涉及的建立语义本体索引库的流程图；

图5为本发明具体实施方式所涉及的进行语义检索的具体流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

为了提高农业领域信息语义检索过程的精准度以及效率，本发明提供一种基于农业领域本体库的语义检索系统，如图2所示，所述语义检索系统包括：

爬虫抓取模块207，用于利用网络爬虫抓取工具对互联网上指定的农业网页进行信息获取；

信息抽取模块208，用于对获取的信息进行结构化处理，生成农业资源库209；

语义标注处理模块210，其中，包括：本体语义标注单元211，用于对所述农业资源库209中的资源数据进行本体语义标注，然后以文本格式存储；语义向量空间计算单元212：用于计算标注本体的语义向量空间，然后将所述语义向量空间中标注本体词汇和已标注处理的资源数据的语义关联度，与已标注的文本资源一起入库，生成本体语义资源库213；

语义索引处理模块214，用于读取所述本体语义资源库213中的文本数据，根据所述文本数据中的语义标注信息建立语义本体索引库215以及全文索引库216；

语义扩展模块202，用于接收用户201提交的自然语言查询语句，对所述自然语言查询语句进行分词处理及本体语义扩展处理，生成相应的本体语义扩展集返回给用户201，用户参与对所述本体语义扩展集的过滤、补充并再次提交；

检索处理模块217，用于根据所述本体语义扩展集进行检索，生成检索结果返回给用户201。

所述语义扩展模块202包括：

农业领域本体库206，所述农业领域本体库206采用本发明研究过程中自主开发的一套本体构建工具构建而成，该工具以本体库构建平台KAON为基础，结合对农业科学叙词表的数据进行分析，实现了针对农业结构化数据构建农业领域本体库的半自动化。

分词处理单元203，用于对所述自然语言查询语句进行分词处理；

语义本体推理引擎205，用于利用农业领域本体库206，判断所述分词处理后的查询关键词结果中是否存在本体语义概念的角色，根据判断结果要求用户201重新提交检索查询语句，或者进行下一步的语义扩展；

本体语义扩展处理单元204，用于访问遍历农业领域本体库206，进行本体语义扩展，得到本体语义扩展集，并结合用户201的参与对所述本体语义扩展集进行过滤和权重标识处理。

所述检索处理模块217包括：

语义本体检索单元218，用于将所述本体语义扩展集转化为语义查询检索式，根据所述语义查询检索式访问所述语义本体索引库215，生成查询结果集；

全文检索单元219，用于访问所述全文索引库216进行全文检索，生成查询结果集；

排名处理单元220，用于根据本体语义扩展集的本体词汇权重标识对所述查询结果集进行排名处理，生成检索结果返回给用户201。

此外，本发明基于上述语义检索系统还提供一种基于农业领域本体库的语义检索方法，如图3所示，所述方法包括如下步骤：

S1：爬虫抓取模块207对互联网上指定的农业网页进行信息获取，信息抽取模块208对获取的信息进行结构化处理，生成农业资源库209；

S2：本体语义标注单元211对所述农业资源库中的资源数据进行本体语义标注，具体为将资源数据中的与本体角色相关的词汇做上标记，即与本体概念建立映射关系，然后以文本格式存储，并通过语义向量空间计算单元212计算标注本体的语义向量空间，然后将所述语义向量空间中标注本体词汇和已标注处理的资源数据的语义关联度，与已标注的文本资源一起入库，生成本体语义资源库213；

对所述农业资源库中的资源数据进行本体语义标注，然后以文本格式存储，并计算标注本体的语义向量空间，然后将所述语义向量空间中标注本体词汇和已标注处理的资源数据的语义关联度，与已标注的文本资源一起入库，生成本体语义资源库；

S3：读取所述本体语义资源库中的文本数据，根据所述文本数据中的语义标注信息建立语义本体索引库以及全文索引库；

如图4所示，所述步骤S3具体包括：

S301：语义索引处理模块214读取本体语义资源库213中的文本数据；

S302：判断文本数据中是否存在语义标注信息；若存在语义标注信息，则执行步骤303；

否则结束对该条文本数据建立语义本体索引库215的流程，转而建立包括对应该条文本数据索引的全文索引库216；

本体语义标注单元211就是将文本信息中的与本体角色相关的词汇做上标记，即与本体概念建立映射关系。如果文本信息中的某个词汇没有被收录到农业领域本体库206之中或找不到与之相关的本体角色，则该词汇对于农业领域专业信息检索而言，属于干扰信息或不相关信息，也就没有必要为该词建立语义索引。

S303：读取文本数据的语义标注信息，所述语义标注信息存放在所述本体语义资源库213中，其中用一张表的形式表示如下：

S304：语义索引处理模块214结合本体语义资源库213和文本数据，从中提取语义概念本体词汇，建立语义本体索引库215。

S4：接收用户201提交的自然语言查询语句，对所述自然语言查询语句进行分词处理及本体语义扩展处理，生成本体语义扩展集；

如图5所示，所述步骤S4具体包括：

S401：语义扩展模块202获得用户201提交的自然语言查询信息；本实施例中假设用户提交的查询信息为“黄瓜病虫害防治”；

S402：分词处理单元203对所述自然语言查询信息进行切分词处理，切分处理的具体过程在现有关于搜索引擎的相关文献中多有描述，这里不再复述。本实施例中文本查询信息“黄瓜病虫害防治”经过切分处理后的结果为“黄瓜/病虫害防治”；

S403：由语义本体推理引擎205利用农业领域本体库206来判断切分后的查询关键词结果中是否存在本体语义概念的角色；

若判断结果为否，则转入步骤S404；

若判断结果为是，则转入步骤S405；

本实施例中假定判断结果为：是。

S404：若用户201提交的自然语言查询信息中不包括本体语义概念，则进行全文检索或返回用户201，要求其重新提交检索查询语句；

S405：若用户201提交的自然查询查询信息中包括本体语义概念，则进行下一步的语义扩展或根据用户201需要只进行全文检索；

S406：本体语义扩展处理单元204访问农业领域本体库206，进行本体语义扩展，得到本体语义扩展集；

例如：用户输入“夏天黄瓜病虫防治”进行相关检索，分词处理的结果是：夏天/t黄瓜/n病虫害防治/n，将分词后的结果作为语义本体推理引擎单元205的输入，最后通过本体语义扩展处理单元204处理后返回给用户的本体语义扩展集为：(青瓜、生物、中农2、津春3号、白粉病、炭疽病...)。

S407：结合用户201的参与对所述本体语义扩展集进行过滤和权重标识处理，最后将确认的本体语义扩展集发送至检索处理模块217；

例如本实施例中的扩展集可以过滤掉非本体核心词汇：中农2、津春3号。而保留本体相关的核心词汇。并对保留的本体词汇进行权重标识。本实施例中结果为：“{青瓜，1.0}、{生物，0.3}、{白粉病，0.5}、{炭疽病，0.5}...”

扩展集的本体词汇权重标识主要通过本体相关度和相似度来判断扩展集词汇与文本信息的语义相似性。作为检索结果处理和排序的参考指标。

S5：检索处理模块217根据所述本体语义扩展集进行检索，生成检索结果返回给用户201。

如图5所示，所述步骤S5具体包括：

S501：语义本体检索单元218将所述本体语义扩展集转化为语义查询检索式，根据所述语义查询检索式访问所述语义本体索引库，生成查询结果集；或者

访问所述全文索引库进行全文检索，生成查询结果集；

S502：根据本体语义扩展集的本体词汇权重标识对所述查询结果集进行排名处理，生成检索结果返回给用户。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种基于农业领域本体库的语义检索系统，其特征在于，包括：

信息抽取模块，用于对从互联网上获取的信息进行结构化处理，生成农业资源库；所述结构化处理包括去除网页中冗余信息，然后析取出有用的结构化的数据信息的步骤；

语义标注处理模块，用于对所述农业资源库中的资源数据进行本体语义标注，以文本格式存储，并计算标注本体的语义向量空间，然后将所述语义向量空间中标注本体词汇和已标注处理的资源数据的语义关联度，与已标注的文本资源一起入库，生成本体语义资源库；

语义索引处理模块，用于读取所述本体语义资源库中的文本数据，根据所述文本数据中的语义标注信息建立语义本体索引库以及全文索引库；

语义扩展模块，用于接收用户提交的自然语言查询语句，对所述自然语言查询语句进行分词处理及本体语义扩展处理，生成相应的本体语义扩展集返回给用户，用户参与对所述本体语义扩展集的过滤、补充并再次提交；其中，所述本体语义扩展集的本体词汇权重标识通过本体相关度和相似度来判断扩展集词汇与文本信息的语义相似性，作为检索结果处理和排序的参考指标；

所述语义扩展模块具体包括：

分词处理单元，用于对所述自然语言查询语句进行分词处理；语义本体推理引擎，用于利用农业领域本体库，判断所述分词处理后的查询关键词结果中是否存在本体语义概念的角色，根据判断结果要求用户重新提交检索查询语句，或者进行下一步的语义扩展；

本体语义扩展处理单元，用于访问农业领域本体库，进行本体语义扩展，得到本体语义扩展集，并结合用户的参与对所述本体语义扩展集进行过滤和权重标识处理；

检索处理模块，用于根据所述本体语义扩展集进行检索，生成检索结果返回给用户；

爬虫抓取模块，利用网络爬虫抓取工具对互联网上指定的农业网页进行信息获取；

该检索系统在进行检索时，包括如下步骤：

S1：利用网络爬虫抓取工具对互联网上指定的农业网页进行信息获取，对获取的信息进行结构化处理，生成农业资源库；所述结构化处理包括去除网页中冗余信息，然后析取出有用的结构化的数据信息的步骤；

S2：对所述农业资源库中的资源数据进行本体语义标注，将资源数据中的与本体角色相关的词汇做上标记，即与本体概念建立映射关系，然后以文本格式存储，并计算标注本体的语义向量空间，然后将所述语义向量空间中标注本体词汇和已标注处理的资源数据的语义关联度，与已标注的文本资源一起入库，生成本体语义资源库；

S3：读取所述本体语义资源库中的文本数据，根据所述文本数据中的语义标注信息建立语义本体索引库以及全文索引库；

所述步骤S3具体包括：

S301：读取本体语义资源库中的文本数据，判断文本数据中是否存在语义标注信息；若存在语义标注信息，则执行步骤302；

否则结束对该条文本数据建立语义本体索引库的流程，转而建立包括对应该条文本数据索引的全文索引库；

S302：读取文本数据的语义标注信息，所述语义标注信息存放在所述本体语义资源库中；

S303：结合本体语义资源库和文本数据，从中提取语义概念本体词汇，建立语义本体索引库；

S4：接收用户提交的自然语言查询语句，对所述自然语言查询语句进行分词处理及本体语义扩展处理，生成本体语义扩展集；

所述步骤S4具体包括：

S401：获得用户提交的自然语言查询信息；

S402：对所述自然语言查询信息进行切分词处理，然后利用农业领域本体库来判断切分后的查询关键词结果中是否存在本体语义概念的角色；

若判断结果为否，则转入步骤S403；

若判断结果为是，则转入步骤S404；

S403：若用户提交的自然语言查询信息中不包括本体语义概念，则进行全文检索或返回用户，要求其重新提交检索查询语句；

S404：若用户提交的自然查询查询信息中包括本体语义概念，则进行下一步的语义扩展或根据用户需要只进行全文检索；

S405：访问农业领域本体库，进行本体语义扩展，得到本体语义扩展集；

S406：结合用户201的参与对所述本体语义扩展集进行过滤和权重标识处理，确认最终的本体语义扩展集；其中，所述本体语义扩展集的本体词汇权重标识通过本体相关度和相似度来判断扩展集词汇与文本信息的语义相似性，作为检索结果处理和排序的参考指标；

S5：根据所述本体语义扩展集进行检索，生成检索结果返回给用户；

所述步骤S5具体包括：

S501：将所述本体语义扩展集转化为语义查询检索式，根据所述语义查询检索式访问所述语义本体索引库，生成查询结果集；或者访问所述全文索引库进行全文检索，生成查询结果集；

S502：根据本体语义扩展集的本体词汇权重标识对所述查询结果集进行排名处理，生成检索结果返回给用户。

2.如权利要求1所述的基于农业领域本体库的语义检索系统，其特征在于，所述检索处理模块包括：

语义本体检索单元，用于将所述本体语义扩展集转化为语义查询检索式，根据所述语义查询检索式访问所述语义本体索引库，生成查询结果集；

全文检索单元，用于访问所述全文索引库进行全文检索，生成查询结果集；

排名处理单元，用于根据本体语义扩展集的本体词汇权重标识对所述查询结果集进行排名处理，生成检索结果返回给用户。