CN102096845A

CN102096845A - 森林分类经营知识库全文搜索引擎系统

Info

Publication number: CN102096845A
Application number: CN2009100733853A
Authority: CN
Inventors: 祝彦杰; 许谭; 陈迪; 程显峰
Original assignee: Heilongjiang Forestry Engineering And Environment Institute
Current assignee: Heilongjiang Forestry Engineering And Environment Institute
Priority date: 2009-12-10
Filing date: 2009-12-10
Publication date: 2011-06-15

Abstract

本发明涉及一种森林分类经营知识库全文搜索引擎系统，涉及计算机网络技术，尤其是涉及数据林业技术，实现森林分类经营技术的科学化、数字化、规范化，全文索引和检索技术是架构于Internet上的搜索系统与Web平台集成，极大地提高了从大量纷繁复杂的数据中查找特定信息的效率。本发明是整合森林分类经营的研究成果建立知识库，结合搜索、数据库、Java网络等多种技术，开发出标准的B/S/D模式下的全文搜索引擎。在系统的功能设计方面，达到用户灵活多变的检索需求，系统充分考虑数据的合理组织，各类数据方便有效的输入，以及信息的提供类型和方式。设计出中文版的全文检索系统结构，整个系统分四个核心模块：数据处理模块、索引模块、检索模块、结果处理模块。

Description

森林分类经营知识库全文搜索引擎系统

技术领域

本发明涉及一种计算机网络技术，尤其是涉及数据林业技术，是一套集森林分类经营技术的知识库全文搜索引擎系统。实现森林分类经营技术的科学化、数字化、规范化。

背景技术

目前，搜索引擎是随着因特网的迅猛发展、WEB信息的迅速增加，从1995年开始逐渐发展起来的搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务，搜索引擎站点也被美誉为“网络门户”。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。在这种情况下，把搜索引擎技术应用在森林分类经营技术管理中，为用户提供了很好的互联网搜索服务，受到了用户的好评，拓展了数字林业领域的研究。

在森林分类经营技术不断更新的情况下，结合搜索、数据库、网络等多种技术，实现了森林分类经营知识库搜索引擎，打破原有的单机系统模式，通过B/S/D架构体系和基于的Web浏览器的界面，由用户端程序为用户提供文件类别、关键词等全文搜索功能。实现最广泛的森林分类经营技术共享系统，操作简便、界面信息丰富、维护容易。该搜索引擎经过测试，满足信息查询的需求，达到预期的设计效果，对森林分类经营技术数字化具有一定的现实意义，同时也为其他相关项目的设计提供了参考。

发明内容

本发明的目的在于提供一种森林分类经营知识库全文搜索引擎系统。

为了达到上述目的，本发明采用的技术方案是：将信息发布到互联网搜索引擎中，本系统采用(1)、分类经营技术网络化：通过构建包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的专家知识库，研制基于网络技术的智能化搜索引擎，为森林分类经营提供基于计算机的专家技术指导，(2)、构建知识库：运用Mysql这个最流行的开放源码Sql数据库管理系统建立数据库，收集整理与森林分类经营相关的技术、文献等资料，建立多数据表的关键词索引数据库，收集整理了一些包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的数据资料，用于构建知识库，数据库采用标准建模工具建模，完成对其ER图的维护，便于对数据库的整体把握和后期扩展，数据库模型图包括业务模型和物理模型，描述了各种业务实体及其对应关系，业务模型图可以生成物理模型图和Java实体类，(3)、多文档全文搜索引擎实现：基于JAVA技术的Lucene来开发全文搜索引擎，基于Lucene的全文检索系统采用接口方式，统一处理html、中/英文pdf、word和Excel常用文档。

本发明的优点是：

1、数据库采用标准建模工具建模，完成对其ER图的维护，便于对数据库的整体把握和后期扩展，数据库模型图包括业务模型和物理模型，描述了各种业务实体及其对应关系，业务模型图可以生成物理模型图和Java实体类，大大提高程序效率，物理模型描述了数据库表及其表之间的关系，通过物理模型生成数据库表，完成对数据库的整体控制，通过该物理模型可以生成Sql语句等，便于日后维护；

2、本发明最大限度地为用户屏蔽多种格式文档差异性的同时，极大地扩展了Lucene可以处理的格式文档类型。在系统的功能设计方面，为达到用户灵活多变的检索需求，系统要充分考虑数据的合理性，各类数据有效输入相关信息的链接和处理，以及信息的提供类型和方式，并且可以进行全文检索和下载；

3、本发明最大限度地为用户屏蔽各种格式文档差异性的同时，极大地扩展了Lucene可以处理的格式文档类型；

4、本发明基于lucene技术实现的搜索引擎，为用户提供检索服务，从而起到信息导航的作用；

5、本发明采用倒排树结构存储索引，使得索引的更新不会导致大量的输入输出操作，而且其更新策略可以定制，批次大小可以调整，索引文件维护容易；

6、本发明以全文检索的方式来达到技术文献数据的快速定位；

7、本发明数据库模型图包括业务模型和物理模型，业务模型图可以生成物理模型图和Java实体类，大大提高程序效率，物理模型描述了数据库表及其表之间的关系，通过物理模型生成数据库表，完成对数据库的整体控制，通过该物理模型可以生成Sql语句等，便于日后维护。

附图说明

图1是本发明全文检索系统结构方框图；

图2是本发明分词、建立索引和检索方框图；

图3是本发明远程调用数据模型方框图。

具体实施方式

下面结合附图对本发明的实施例作进一步详细描述。

由图1-图3可知，本发明将信息发布到互联网搜索引擎中，本系统采用(1)、分类经营技术网络化：通过构建包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的专家知识库，研制基于网络技术的智能化搜索引擎，为森林分类经营提供基于计算机的专家技术指导，(2)、构建知识库：运用Mysql这个最流行的开放源码Sql数据库管理系统建立数据库，收集整理与森林分类经营相关的技术、文献等资料，建立多数据表的关键词索引数据库，收集整理了一些包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的数据资料，用于构建知识库，数据库采用标准建模工具建模，完成对其ER图的维护，便于对数据库的整体把握和后期扩展，数据库模型图包括业务模型和物理模型，描述了各种业务实体及其对应关系，业务模型图可以生成物理模型图和Java实体类，(3)、多文档全文搜索引擎实现：基于JAVA技术的Lucene来开发全文搜索引擎，基于Lucene的全文检索系统采用接口方式，统一处理html、中/英文pdf、word和Excel常用文档。

2.根据权利要求1所述的森林分类经营知识库全文搜索引擎系统，其特征在于：所述的数据库采用标准建模工具建模，为四个核心模块：数据处理模块、索引模块、检索模块、结果处理模块(1)数据处理模块：主要完成html、中/英文pdf、word和Excel等多种常用文档解析，在预处理这些文档的时候，不能简单地从文件读取字符，需要根据他们特殊的格式提取内容，分别使用不同的开源解析模块，获取文本信息，文档的标题、作者、关键词等属性，采用了直接的Jdbc方式来向数据库写入数据，在写入之前，首先调用GetNextId方法取得所要插入的Id号，并随着方法返回给调用者，以便调用者可以将这个Id传到Lucene的索引中，以此将数据库记录和Lucene的索引对应起来，(2)索引模块：索引是全文搜索引擎工作的关键一步，采用目录索引的方法，在经过数据处理模块后，文档完成了预处理，建立了一种便于检索的数据结构，当文档数量增多时，建立索引能够显著提高信息检索速度，在建立索引的时候，文章的内容是要先分词后建立索引，(3)检索模块：根据用户的要求，使用了词条检索、短语检索、布尔检索以及模糊检索的方法，在完成检索功能后，还实现了对检索的结果进行排序、过滤、分页处理，优先将最相关的内容送出，用户检索时，只需对有限的关键字进行检索，然后从索引中获取数据库的一个Id号，进而转用数据库来读取大量数据，传回页面，分词、建索和检索图，(4)结果处理模块：包括搜索页面和详细信息页面，使用了Dwr框架，把检索到的数据列表以Web页面的形式体现，远程调用数据模型图。

1、分类经营技术网络化

通过构建包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的专家知识库，研制基于网络技术的智能化搜索引擎，为森林分类经营提供基于计算机的专家技术指导。在对中国黑龙江省小兴安岭林区典型分类经营功能区立地因子及林木生长动态状况实地调研和资源、气象、病虫害等资料收集、分析的基础上，结合项目其它课题的研究成果，开展森林分类经营专家知识库构建及搜索引擎研制的研究。

2、构建知识库

采用Mysql这个最流行的开放源码Sql数据库管理系统建立数据库，收集整理与森林分类经营相关的技术、文献等资料，建立多数据表的关键词索引数据库。收集整理了一些包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的数据资料，用于构建知识库。

数据库采用标准建模工具建模，完成对其ER图的维护，便于对数据库的整体把握和后期扩展，数据库模型图包括业务模型和物理模型，描述了各种业务实体及其对应关系，业务模型图可以生成物理模型图和Java实体类，大大提高程序效率；物理模型描述了数据库表及其表之间的关系，通过物理模型生成数据库表，完成对数据库的整体控制，通过该物理模型可以生成Sql语句等，便于日后维护。

3、多文档全文搜索引擎实现

基于JAVA技术的Lucene来开发全文搜索引擎。目前由于Lucene能对纯文本的数据进行索引，多种常用文档，多媒体文档已日益成为网络中信息交换的主体。因此，基于Lucene的全文检索系统采用接口方式，统一处理html、中/英文pdf、word和Excel常用文档，使索引此类文档成为可能，其突出的优点与特点是在最大限度地为用户屏蔽各种格式文档差异性的同时，极大地扩展了Lucene可以处理的格式文档的类型。在系统的功能设计方面，为达到用户灵活多变的检索需求，系统要充分考虑数据的合理性，各类数据有效输入相关信息的链接和处理，以及信息的提供类型和方式，并且可以进行全文检索和下载。

4、核心模块

设计出中文版的全文检索系统结构(如图1)整个系统将设计四个核心模块：数据处理模块、索引模块、检索模块、结果处理模块。

1)数据处理模块

主要完成html、中/英文pdf、word和Excel等多种常用文档解析。在预处理这些文档的时候，不能简单地从文件读取字符，需要根据他们特殊的格式提取内容，分别使用不同的开源解析模块，获取文本信息。文档的标题、作者、关键词等属性，采用了直接的Jdbc方式来向数据库写入数据，在写入之前，首先调用GetNextId方法取得所要插入的Id号，并随着方法返回给调用者，以便调用者可以将这个Id传到Lucene的索引中，以此将数据库记录和Lucene的索引对应起来。

2)索引模块

索引是全文搜索引擎工作的关键一步，采用目录索引的方法，在经过数据处理模块后，文档完成了预处理，建立了一种便于检索的数据结构，当文档数量增多时，建立索引能够显著提高信息检索速度。在建立索引的时候，文章的内容是要先分词后建立索引。

3)检索模块

这一个模块是用户体验最深的，接触最多的部分，它的性能决定了是否能够达到用户的要求。使用了词条检索、短语检索、布尔检索以及模糊检索的方法，在完成检索功能后，还实现了对检索的结果进行排序、过滤、分页处理，优先将最相关的内容送出。用户检索时，只需对有限的关键字进行检索，然后从索引中获取数据库的一个Id号，进而转用数据库来读取大量数据，传回页面。分词、建索和检索图(如图2)。

4)结果处理模块

包括搜索页面和详细信息页面，使用了Dwr框架，把检索到的数据列表以Web页面的形式体现。远程调用数据模型图(如图3)。

Claims

1.一种森林分类经营知识库全文搜索引擎系统，本系统是通过计算机互联网络利用设置在服务器上的软件系统而实现，其特征在于：将信息发布到互联网搜索引擎中，本系统采用(1)、分类经营技术网络化：通过构建包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的专家知识库，研制基于网络技术的智能化搜索引擎，为森林分类经营提供基于计算机的专家技术指导，(2)、构建知识库：运用Mysql这个最流行的开放源码Sql数据库管理系统建立数据库，收集整理与森林分类经营相关的技术、文献等资料，建立多数据表的关键词索引数据库，收集整理了一些包括森林立地分类与功能区划、过伐林生态系统恢复及经营技术、天然阔叶混交林可持续经营技术、珍贵阔叶树种定向培育技术、低质林结构与功能优化调控技术、人工林天然化经营技术、速生树种用材林高效经营技术、经济林优化经营技术等在内的数据资料，用于构建知识库，数据库采用标准建模工具建模，完成对其ER图的维护，便于对数据库的整体把握和后期扩展，数据库模型图包括业务模型和物理模型，描述了各种业务实体及其对应关系，业务模型图可以生成物理模型图和Java实体类，(3)、多文档全文搜索引擎实现：基于JAVA技术的Lucene来开发全文搜索引擎，基于Lucene的全文检索系统采用接口方式，统一处理html、中/英文pdf、word和Excel常用文档。

2.根据权利要求1所述的森林分类经营知识库全文搜索引擎系统，其特征在于：所述的数据库采用标准建模工具建模，为四个核心模块：数据处理模块、索引模块、检索模块、结果处理模块(1)数据处理模块：主要完成html、中/英文pdf、word和Excel等多种常用文档解析，在预处理这些文档的时候，不能简单地从文件读取字符，需要根据他们特殊的格式提取内容，分别使用不同的开源解析模块，获取文本信息，文档的标题、作者、关键词等属性，采用了直接的Jdbc方式来向数据库写入数据，在写入之前，首先调用GetNextId方法取得所要插入的Id号，并随着方法返回给调用者，以便调用者可以将这个Id传到Lucene的索引中，以此将数据库记录和Lucene的索引对应起来，(2)索引模块：索引是全文搜索引擎工作的关键一步，采用目录索引的方法，在经过数据处理模块后，文档完成了预处理，建立了一种便于检索的数据结构，当文档数量增多时，建立索引能够显著提高信息检索速度，在建立索引的时候，文章的内容是要先分词后建立索引，(3)检索模块：根据用户的要求，使用了词条检索、短语检索、布尔检索以及模糊检索的方法，在完成检索功能后，还实现了对检索的结果进行排序、过滤、分页处理，优先将最相关的内容送出，用户检索时，只需对有限的关键字进行检索，然后从索引中获取数据库的一个Id号，进而转用数据库来读取大量数据，传回页面，分词、建立索引和检索图，(4)结果处理模块：包括搜索页面和详细信息页面，使用了Dwr框架，把检索到的数据列表以Web页面的形式体现，远程调用数据模型图。