CN102004775A - 一种基于智能搜索的福富企业搜索引擎技术 - Google Patents

Abstract

一种基于智能搜索的福富企业搜索引擎技术将企业内部、外部数据统一于同一平台，搜索不同来源地数据信息，支持结构化数据和半结构化数据。首先使用不同的数据采集方式搜集各类信息，对于采集到的信息对象，先要进行一定的智能处理，然后再建立索引；之后，将在搜索引擎的中心数据库中进行统一的存储管理，该系统具备强大的结构化、非结构化和半结构化信息的处理和检索能力，它是整个搜索引擎的数据仓储中心，也是整个搜索引擎的检索动力核心。系统根据用户输入的关键词，采用基于词库的中文分词技术，根据其适用领域设计了一个混合型正向最大匹配算法，来处理分词中的歧义，为加快分词过程中词的查找速度，按首字索引结构对词典进行了组织。搜索结果根据预先设定的权重进行排序，包含高权重分词的结果排在低权重分词结果的前面，为企业提供高效的搜索信息功能。

Description

一种基于智能搜索的福富企业搜索引擎技术 

技术领域

针对传统的信息检索方式存在的不足，本发明提供多种搜索策略，实现高效、准确的搜索功能。系统既支持传统搜索技术，又支持诸如概念搜索、精炼搜索、多语种混合检索等功能。实现企业信息管理的自动化。 

技术背景

随着企业信息化的逐步普及，企业拥有越来越多的、各式各样的电子文件和数据信息，面临“信息爆炸”的挑战，交易中的数据每年增长的速度达到61％，而其他各种相关信息的每年增长率甚至超过92％。在过去十年里，磁盘阵列上存储的信息年复合增长速度达到了60％，而且这个速度预计将持续到2010年。2006年所创建、存储及复制的数字信息总量达到了1610亿GB，相当于有史以来全部书籍信息量的300万倍。预计到2010年，这个数字将增长到9880亿GB。如何将这些信息成为企业业务发展甚至是战略决策的好帮手，是CIO们正在思考的问题。而企业搜索技术就提供了一种有效的方式，来帮助企业处理这些日益增长的数据和信息。 

然而，目前的搜索系统相对独立，个系统之间资源不能共享，这成为企业管理信息化建设进一步发展所面临的巨大挑战，福富企业搜索引擎实现了不同平台间资源共享的功能，而智能搜索技术是实现这一功能的关键。 

发明内容

技术问题：本发明是在各业务系统基础上，实现统一的搜索平台功能，建立企业级的信息搜索平台，实现跨系统、跨平台的综合搜索。根据企业管理者及员工关注热点主动搜索，并能将搜索结果按不同来源和类型在系统上展现。该平台须具备模糊查询、高级搜索、支持中文语义分词等智能搜索功能。 

技术方案： 

综合搜索平台系统框架设计 

福富企业搜索引擎的业务框架可以分为三层，分别是数据采集、综合搜索以及业务展示。整个系统的业务结构如说明书附图1所示： 

其中综合搜索位于整个业务结构中的中间层。它负责采集各中数据源的数据，经过索引处理后将数据保存到中心数据库，并通过搜索功能和智能处理模块帮助用户精准的定位所需数据。 

如说明书附图2所示，整个搜索引擎系统包含为7大部分： 

●数据源 

●数据采集层 

●数据索引层 

●中心数据库 

●数据检索层 

●智能管理模块 

●应用展示接口 

根据数据来源可以将数据分为三大类：关系型数据库数据、网页数据和文件系统数据。对于不同的数据类型，针对性的采用不同的技术来实现数据的采集。 

数据索引 

数据采集结束后，搜索引擎根据预先设置的索引策略对这些数据进行索引，以便在后续提供高效、准确的全文检索服务。 

对于采集到的网页等信息对象，先要进行一定的智能处理，然后再建立索引。 

数据整合 

●正文内容提取 

通过结构分析的方法确定信息对象的正文、图片以及表格内容，自动剔除广告、导航信息等与主体信息无关的信息。 

●格式自动转换 

自动将HTML等格式转换为TEXT文件，方便再加工 

●属性自动标引 

对信息对象分析出单位名称、系统名称、标题、版次、日期、作者、栏目、分类等属性，分析并标注这些属性信息(元数据自动提取) 

●内码自动转换 

对于网页等信息对象中可能会包含的多种中文内码(比如繁体Big5，简体GB2312、GBK，Unicode等)，转换成统一的中文内码，以便统一管理 

中文分词 

分词系统是实现中文智能检索的基础，是全文数据库和其他模块功能实现的重要基础。福富企业搜索引擎采用先进的中文分词技术，基于内嵌汉语自动分词系统分词词典，实现信息检索领域领先的分词效果。 

建立索引 

随着所采集的数据集的增大，索引就成为一种关键的工具。索引是通往数据的快捷路径。通过为每一个要建索引的列值生成一个惟一或者半惟一的键，并将之存储起来。然后在内部将这些键组织到一棵树中，以便尽可能地减少查找某一特定键和特定行时所需的步骤。 

福富企业搜索支持按字索引、按词索引、按关键词索引等索引策略，能够适应不同应用环境的需求。在存储空间方面，福富企业搜索实现了高效的数据和索引压缩，实现了低空间膨胀率(一般介于-0.2~1.0之间)。数据索引主要有以下几部分实现内容： 

按词索引 

按词索引是实现智能概念检索的基础。由于所有辅助知识词典(如主题词典、同义词典、反义词典等)都是基于词的，而不是基于字的，所以只有按词索引，才能进行概念检索。 

使用按词索引策略的方法是：为数据库指定相应的分词词典(全字词典除外)、附加分词词典，或者一部稀疏词典。 

按字索引 

如果数据是文言文或数据库规模很小，可采用按字索引策略。按字索引策略的主要优点是： 

●不需要自动分词系统，实现相对简单。 

●没有自动分词的错误，查全率较高。 

除非需要百分之百的查全率，而不惜牺牲查准率，一般情况下不使用按字索引策略。由于传统意义上的按字索引策略的查询速度太慢，通常实际会采用二元组索引策略。 

按关键词索引 

按关键词索引实际上是一种抽词索引技术，是在按词索引策略的基础上只抽取其中的某些词进行索引。所有需要索引的关键词构成一部稀疏词典。一般对专用领域的文献可采用这种索引策略。 

按关键词索引策略兼有按词索引策略的优点，并且具有更低的空间膨胀率和更快的检索速度。但由于按关键词索引策略只对“关键词”进行了索引，这样就不能象按词索引策略那样可以用任意的自由词进行全文检索，而只能对“关键词”进行检索。 

智能管理 

采集系统管理控制台 

搜索系统采集提供基于浏览器的完善的管理功能。能够对系统运行状态、系统硬件资源的使用情况、对服务器进程的启、停等进行监控。 

系统管理控制台提供管理、维护和控制界面，使用户可以协调、控制系统运行，进行参数设置，设定采集策略。 

重要的参数设置包括： 

●采集源(如网站)、采集频道/栏目、采集深度等。 

●并发采集的多线程数目。 

●采集策略，包括定义用检索逻辑关系来定位内容的方式。 

●网络访问的各项超时参数。 

●定时执行周期设置。 

另外，管理控制台提供实用方便的用户管理和查询界面的维护、修改工具，便于用户管理人员查询网页信息和管理系统，以便用户管理人员自行对页面增、删、改，便于用户管理人员查询网页信息和管理系统。 

词典管理 

福富企业搜索引擎可通过全文数据库提供的管理员工具对全文数据库中的检索词典进行维护。 

根据实际的使用情况，可以有如下词典的组织： 

●主题词词典 

●同义词词典 

●近义词词典 

●查询热点词词典 

●限制词词典 

系统提供词典维护工具，搜索系统管理人员通过该工具可以对词典进行编制。可以根据行业的特点建立专门的行业类词典，以便有效对行业性较强的信息进行分词索引，提高搜索引擎的查准率和查全率。另外，还提供计算机能识别的词语生成规则，系统将根据这些规则自动生成词典。 

搜索结果 

集成一个综合搜索平台的使用窗口(搜索栏)，用户在登陆前后都可以通过该搜索栏进行搜索。搜索结果在门户页面上展示。 

Claims (1)

1.一种基于智能搜索的福富企业搜索引擎技术，其特征在于：

1)福富企业搜索引擎引入了数据网关来实现各类关系数据库与搜索引擎中心数据库之间的数据关联和同步。数据网关包含文档格式分析和文档格式标签过滤模块，该模块对关系型数据库中的文件内容进行分析并存储到中心数据库。

2)数据采集结束后，搜索引擎根据预先设置的索引策略对这些数据进行索引，以便在后续提供高效、准确的全文检索服务；对于采集到的网页等信息对象，先要进行一定的智能处理，然后再建立索引。

3)采用基于词库的中文分词技术，设计一个混合型正向最大匹配算法，该算法利用规则及字频信息来处理分词中的歧义，按首字索引结构对词典进行了组织，加快分词过程中词的查找速度。

4)建立中心数据库，中心数据库在这一阶段的工作可以分为以下几个主要步骤：

●中心数据库的创建和配置

●数据的装入及控制

5)智能管理，搜索系统采集提供基于浏览器的完善的管理功能。能够对系统运行状态、系统硬件资源的使用情况、对服务器进程的启、停等进行监控。同时可通过词典管理对全文数据库中的检索词典进行维护。

6)对于企业现用或新建的系统，如MIS系统提供耦合接口，实现对数据资源的挖掘，供门户网站或其它应用系统使用。

Images