CN109857752A - 一种索引库更新方法及装置 - Google Patents

Abstract

本发明提供了一种索引库更新方法及装置，所述方法包括：S1：在第一时刻获取全局数据源，根据所述第一时刻的全局数据源建立第一索引库，将第一索引库设置为当前搜索服务对应的索引库；S2：经过预定的时间间隔，到达第二时刻，根据在所述时间间隔更新后的全局数据源，建立第二索引库，将所述当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库。本发明实现了当建立好第一索引库之后，基于第一索引库提供搜索服务，直至在下一个预设周期之后，建立第二索引库并且当第二索引库建立好之后，再基于第二索引库提供搜索服务，如此循环往复。本发明中由于不需要每次更新数据源时都对索引库进行更新，从而减少了搜索系统的复杂度。

Description

一种索引库更新方法及装置

技术领域

本发明涉及互联网技术领域，尤其是涉及一种索引库更新方法及装置。

背景技术

搜索引擎能够运用特定的计算机程序搜集信息，在对搜集的信息进行组织和处理后，将处理后的信息显示给用户，为用户提供搜索服务。可见，搜索引擎可以让人们平等、便捷地获取信息，促进信息技术和科技技术的发展。

目前，搜索引擎在搜索时基于的是索引库，其中索引库根据数据库中读取的数据源获得。当数据库中的数据源发生变更时，例如假设数据源为商家信息，在对商家信息执行删除、增加、修改等操作时，需要根据变更的信息对索引库进行同步。

可见，当数据源的变更次数较多时，需要对索引库进行频繁的修改，造成搜索系统的复杂度较高。

发明内容

本发明解决的技术问题在于提供一种索引库更新方法及装置，实现了一种多个索引库的更新和切换方式，不需要每次数据源变更时都对索引库进行修改从而减少了搜索系统的复杂度，同时能够保证搜索过程不发生间断。

为此，本发明解决技术问题的技术方案是：第一方面，本发明提供了一种索引库更新方法，包括：

S1：在第一时刻获取全局数据源，根据所述第一时刻的全局数据源建立第一索引库，将第一索引库设置为当前搜索服务对应的索引库；

S2：经过预定的时间间隔，到达第二时刻，根据在所述时间间隔更新后的全局数据源，建立第二索引库，将所述当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库。

进一步，所述方法还包括：

S3：将第二索引库设置为当前搜索服务对应的索引库，重复所述S2。

进一步，所述方法还包括：

自动统计分析获得热词库；

根据所述热词库，定时建立热词索引库；

将所述热词索引库设置为所述当前搜索服务对应的索引库。

进一步，所述方法还包括：

将所述当前搜索服务切换到实时更新模式；

获取更新信息；

根据所述更新信息，对所述当前搜索服务对应的第一或第二索引库进行更新。

进一步，所述方法还包括：

接收搜索请求；

根据所述搜索请求，在所述当前搜索服务对应的索引库中查找搜索结果。

进一步，所述方法还包括：

将所述搜索请求加入搜索线程池，以对搜索处理进行负载均衡处理。

进一步，所述全局数据源和所述搜索服务对应的索引库连接的外部网络处于断开状态；

所述获取第一时刻或第二时刻对应的全局数据源，包括：通过内部网络从本地存储器中获取所述第一时刻或第二时刻对应的全局数据源。

第二方面，本发明提供了一种索引库更新装置，包括：

第一索引库构建模块，用于在第一时刻获取全局数据源，根据所述第一时刻的全局数据源建立第一索引库，将第一索引库设置为当前搜索服务对应的索引库；

索引库切换模块，用于经过预定的时间间隔，到达第二时刻，根据在所述时间间隔更新后的全局数据源，建立第二索引库，将所述当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库。

进一步，所述装置还包括：

自动统计分析模块，用于自动统计分析获得热词库；

根据所述热词库，定时建立热词索引库；

将所述热词索引库设置为所述当前搜索服务对应的索引库。

进一步，所述装置还包括：

切换模块，用于将所述当前搜索服务切换到实时更新模式；

获取更新信息；

根据所述更新信息，对所述当前搜索服务对应的索引库进行更新。

进一步，所述装置还包括：

接收模块，用于接收搜索请求；

根据所述搜索请求，在所述当前搜索服务对应的索引库中查找搜索结果。

通过上述技术方案可知，本发明实施例中，不再是每次更新数据源时都对索引库进行更新，而是以一定的预设周期，定时更新索引库。具体地，实现了一种多个索引库的更新和切换方式：当建立好第一索引库之后，基于第一索引库提供搜索服务，直至在下一个预设周期之后，建立第二索引库并且当第二索引库建立好之后，再基于第二索引库提供搜索服务，如此循环往复。可见。本发明实施例中由于不需要每次更新数据源时都对索引库进行更新，从而减少了搜索系统的复杂度，同时能够保证时刻都有能够使用的索引库，因此能够保证搜索过程不发生间断。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的网页的搜索过程示意图；

图2为本发明实施例提供的一种方法实施例的流程示意图；

图3为本发明实施例提供的搜索系统的结构示意图；

图4为本发明实施例提供的搜索系统的另一种结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定装备结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

请参阅图1所示，以搜索网页为例，对搜索引擎的搜索过程进行说明。搜索引擎的搜索过程通常包括如下三个步骤：

1、搜索引擎从信息数据库中获取数据源。例如，索引器抓取网页，搜集网页信息。每个独立的搜索引擎都有自己的网页抓取程序爬虫(英文：spider)。网页抓取程序爬虫顺着网页中的超链接，从一个网站爬到另一个网站，从而通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。

其中，可以通过全文搜索引擎从网站进行自动信息搜集并建立网页数据库。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间(比如Google一般是28天)，搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内(2天到数月不等)定向向网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。

2、搜索引擎针对抓取的网页进行处理，建立索引库。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供搜索服务。其中最重要的就是搜索器提取关键词和基于关键词建立索引库。其他预处理工作还包括以下处理的任一个或多个：去除重复网页、中文分词处理、判断网页类型、分析超链接、计算网页的重要度或者丰富度等。

3、搜索引擎提供搜索服务。例如，用户输入搜索词进行检索，检索器接收到携带搜索词的搜索请求，从索引库中找到匹配该搜索词的网页，利用网页排序(PageRank)算法对将要输出的结果排序，例如通常根据网页与搜索词的匹配程度，搜索词出现的位置、频次，链接质量等计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接输出给用户。其中，为了用户便于判断，除了网页标题和统一资源定位符(英文：Uniform Resource Locator，简称：URL)外，还可以显示一段来自网页的摘要或者其他信息。

可见，目前搜索引擎在进行搜索时基于的是索引库，其中索引库根据数据库中读取的数据源获得。当数据库中的数据源发生变更时，例如假设数据源为商家信息，在对商家信息执行删除、增加、修改等操作时，需要根据变更的信息对索引库进行同步。因此，当数据源的变更次数较多时，需要对索引库进行频繁的修改，造成搜索系统的复杂度较高。

因此基于上述技术问题，本发明提供了一种索引库更新方法及装置，实现了一种多个索引库的更新和切换方式，即定时建立索引库，并且在使用第一索引库时，定时建立第二索引库，当第二索引库建立好之后切换至第二索引库，并等待下一个定时建立第一索引库。因此，不需要每次数据源变更时都对索引库进行修改从而减少了搜索系统的复杂度，同时能够保证搜索过程不发生间断。

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参阅图2，本发明提供了索引库更新方法的一种方法实施例。所述方法包括：

S1：在第一时刻获取全局数据源，根据所述第一时刻的全局数据源建立第一索引库，将第一索引库设置为当前搜索服务对应的索引库。

本发明实施例中不需要更加数据源的更新随时更新索引库，而是以一定的周期定时建立索引库，因此当到达建立索引库的第一时刻时，获取第一时刻对应的全局数据源并且根据第一时刻对应的全局数据源建立第一索引库。

其中，全局数据源表示的是需要索引库索引的数据源，包括发生变更的数据源以及未发生变更的数据源。例如，假设数据源为商家信息，获取商家信息中的第1-100条记录，其中包括发生变更的记录和未发生变更的记录，根据第1-100条记录建立第一索引库。商家信息包括但不限于：营业执照、组织机构代码、负责人信息等。

将第一索引库设置为当前搜索服务对应的索引库之后，如接收到搜索请求，根据所述搜索请求，在所述第一索引库中查找搜索结果。例如，在第一索引库中查询用户输入的搜索词对应的网页。

在本发明实施例中，以一定的周期定时建立索引库，该周期即为更新索引库的预设周期。当距离上一次建立索引库的时间间隔该预设周期时，即到达第二时刻，此时获取第二时刻对应的全局数据源，并且根据所述第二时刻对应的全局数据源建立第二索引库。

例如，假设数据源为商家信息，在第一时刻至第二时刻期间，若用户对商家信息执行删除、增加、修改等操作时，不需要对索引库进行更新，而是等到第二时刻时，获取商家信息中的第1-100条记录，其中包括发生变更的记录和未发生变更的记录，根据第1-100条记录建立第二索引库。

S2：经过预定的时间间隔，到达第二时刻，根据在所述时间间隔更新后的全局数据源，建立第二索引库，将所述当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库。

在建立好第二索引库之后，将当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库，从而若接收到搜索请求，则根据所述搜索请求，在所述第二索引库中查找搜索结果。例如，在第二索引库中查询用户输入的搜索词对应的网页。

S3：将第二索引库设置为当前搜索服务对应的索引库，重复所述S2。

可见，本发明实施例中，不再是每次更新数据源时都对索引库进行更新，而是以一定的预设周期，定时更新索引库。具体地，实现了一种多个索引库的更新和切换方式：当建立好第一索引库之后，基于第一索引库提供搜索服务，直至在下一个预设周期之后，建立第二索引库并且当第二索引库建立好之后，再基于第二索引库提供搜索服务，如此循环往复。可见。本发明实施例中由于不需要每次更新数据源时都对索引库进行更新，从而减少了搜索系统的复杂度，同时能够保证每时每刻都有能够使用的索引库，例如在创建第二索引库时第一索引库处于可用状态，因此能够保证搜索过程不发生间断。

本发明实施例中，对于需要及时保持数据一致性的场景，搜索系统可根据信息源的更新实时同步索引库。具体地，本发明实施例还包括：将所述当前搜索服务切换到实时更新模式；获取更新信息；根据所述更新信息，对所述当前搜索服务对应的索引库进行更新。例如，切换至实时更新模式后，若用户对商家信息执行删除、增加、修改等操作时，每次更新都对索引库进行对应的同步。

在一些说明性实施例中，所述方法还包括：

自动统计分析获得热词库；

根据所述热词库，定时建立热词索引库；

将所述热词索引库设置为所述当前搜索服务对应的索引库。

在一些说明性实施例中，所述方法还包括：

将所述当前搜索服务切换到实时更新模式；

获取更新信息；

根据所述更新信息，对所述当前搜索服务对应的索引库进行更新。

在一些说明性实施例中，所述方法还包括：

接收搜索请求；

根据所述搜索请求，在所述当前搜索服务对应的索引库中查找搜索结果。

在一些说明性实施例中，所述方法还包括：

将所述搜索请求加入搜索线程池，以对搜索处理进行负载均衡处理。

在一些说明性实施例中，所述全局数据源和所述搜索服务对应的索引库连接的外部网络处于断开状态；

所述获取第一时刻或第二时刻对应的全局数据源，包括：通过内部网络从本地存储器中获取所述第一时刻或第二时刻对应的全局数据源。

本发明实施例中可以用于搜索系统中，其中搜索系统包括搜索前台系统和搜索后台系统。其中，参见图3所示，可以由搜索后台系统负责创建索引库，当接入系统注册到搜索中心后，提供数据源地址，搜索后台系统读取数据源并且创建索引库。接入系统通过调用搜索服务接口与搜索前台系统连接，从而提供搜索能力。因此，在步骤S4中，具体由搜索后台系统通知搜索前台系统将第一索引库切换至第二索引库，前台调用接口无感知切换。

可选的，本发明实施例还具有以下一项或多项有益效果，下面分别说明。

1)本发明实施例可以采用先进的搜索技术Lucene研发。

Lucene是一个高性能、可伸缩的信息搜索(IR)库。它可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的、成熟的开源项目，是著名的Apache Jakarta大家庭的一员，并且基于Apache软件许可[ASF,License]。同样，Lucene是当前非常流行的、免费的Java信息搜索(IR)库。

首先，它的开发源代码发行方式(遵守Apache Software License)，在此基础上程序员不仅仅可以充分的利用Lucene所提供的强大功能，而且可以深入细致的学习到全文检索引擎制作技术和面向对象编程的实践，进而在此基础上根据应用的实际情况编写出更好的更适合当前应用的全文检索引擎。在这一点上，商业软件的灵活性远远不及Lucene。

其次，Lucene秉承了开放源代码一贯的架构优良的优势，设计了一个合理而极具扩充能力的面向对象架构，程序员可以在Lucene的基础上扩充各种功能，比如扩充中文处理能力，从文本扩充到HTML、PDF等等文本格式的处理，编写这些扩展的功能不仅仅不复杂，而且由于Lucene恰当合理的对系统设备做了程序上的抽象，扩展的功能也能轻易的达到跨平台的能力。

最后，转移到apache软件基金会后，借助于apache软件基金会的网络平台，程序员可以方便的和开发者、其它程序员交流，促成资源的共享，甚至直接获得已经编写完备的扩充功能。最后，虽然Lucene使用Java语言写成，但是开放源代码社区的程序员正在不懈的将之使用各种传统语言实现(例如.net framework)，在遵守Lucene索引文件格式的基础上，使得Lucene能够运行在各种各样的平台上，系统管理员可以根据当前的平台适合的语言来合理的选择。

2)本发明实施例可以支持多种类型的数据源。

3)本发明实施例可以支持复杂的查询方式，满足不同业务的需求。

4)本发明实施例支持负载均衡，具体地，将所述搜索请求加入搜索线程池，以对搜索处理进行负载均衡处理。其中，可以支持多节点，单节点分别支持搜索线程池。

5)本发明实施例可以支持热词自动统计分析功能。具体地，自动统计分析获得热词库；根据所述热词库，定时建立热词索引库；将所述热词索引库设置为所述当前搜索服务对应的索引库。参见图4所示，在建立第二索引库之后接收到搜索请求后，可以同时根据热词索引库和第二索引库进行搜索。其中，可以根据拼音检索在热词索引库中进行检索。

6)本发明实施例可以采用独立部署的方式，外部网络不可用或者设置部分权限可用。具体地，外部网络处于不可连接的状态；所述获取第一时刻对应的全局数据源，包括：通过内部网络从本地存储器中获取所述第一时刻对应的全局数据源；所述获取第二时刻对应的全局数据源，包括：通过内部网络从所述本地存储器中获取所述第二时刻对应的全局数据源。

其中，可以基于客户自身的服务器部署，数据源无需上传至第三方服务器或云端，企业私密数据的安全性更有保障。其数据资源均沉淀在自身的服务器上，为企业或商家独有。确保了企业核心业务数据的私有化，为企业的成长提供全面的安全保证。从二次开发来讲，数据源在本地，更方便于二次整理和开发，可以灵活对接其它自有系统，无需再经过厂商介入。从资源方面来讲、有形可见的硬件资产，资源可控及灵活调配。另外，由于是通过内联网，集成相对容易。数据在系统之间的传输会更快速。系统主要应用到电子商务平台的系统环境中，关联的外部系统主要分为接入的业务系统和要接入的支付平台或是银行支付系统等。

在一种可选的实施例中，搜索系统可分为三层，从下至上依次为数据层，包括搜索中心系统，数据层存储的数据包括从支付平台下载的对账文件，报表统计数据；搜索系统运行支撑层，包括与外部系统的通信以及系统构件管理；接口层，提供用户接口，外部系统接入接口。系统总体设计以15种J2EE的设计模式作为指导，可以减少重用代码，让代码更容易被他人理解，保证代码的可靠性。

本发明还提供了一种索引库更新装置，包括：

第一索引库构建模块，用于在第一时刻获取全局数据源，根据所述第一时刻的全局数据源建立第一索引库，将第一索引库设置为当前搜索服务对应的索引库；

索引库切换模块，用于经过预定的时间间隔，到达第二时刻，根据在所述时间间隔更新后的全局数据源，建立第二索引库，将所述当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库。

在一些说明性实施例中，所述装置还包括：

自动统计分析模块，用于自动统计分析获得热词库；

根据所述热词库，定时建立热词索引库；

将所述热词索引库设置为所述当前搜索服务对应的索引库。

在一些说明性实施例中，所述装置还包括：

切换模块，用于将所述当前搜索服务切换到实时更新模式；

获取更新信息；

根据所述更新信息，对所述当前搜索服务对应的索引库进行更新。

在一些说明性实施例中，所述装置还包括：

接收模块，用于接收搜索请求；

根据所述搜索请求，在所述当前搜索服务对应的索引库中查找搜索结果。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种索引库更新方法，其特征在于，包括：

S1：在第一时刻获取全局数据源，根据所述第一时刻的全局数据源建立第一索引库，将第一索引库设置为当前搜索服务对应的索引库；

S2：经过预定的时间间隔，到达第二时刻，根据在所述时间间隔更新后的全局数据源，建立第二索引库，将所述当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

S3：将第二索引库设置为当前搜索服务对应的索引库，重复所述S2。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

自动统计分析获得热词库；

根据所述热词库，定时建立热词索引库；

将所述热词索引库设置为所述当前搜索服务对应的索引库。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述当前搜索服务切换到实时更新模式；

获取更新信息；

根据所述更新信息，对所述当前搜索服务对应的第一或第二索引库进行更新。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收搜索请求；

根据所述搜索请求，在所述当前搜索服务对应的索引库中查找搜索结果。

6.根据权利要求1所述的方法，其特征在于，所述全局数据源和所述搜索服务对应的索引库连接的外部网络处于断开状态；

所述获取第一时刻或第二时刻对应的全局数据源，包括：通过内部网络从本地存储器中获取所述第一时刻或第二时刻对应的全局数据源。

7.一种索引库更新装置，其特征在于，包括：

第一索引库构建模块，用于在第一时刻获取全局数据源，根据所述第一时刻的全局数据源建立第一索引库，将第一索引库设置为当前搜索服务对应的索引库；

索引库切换模块，用于经过预定的时间间隔，到达第二时刻，根据在所述时间间隔更新后的全局数据源，建立第二索引库，将所述当前搜索服务对应的索引库从所述第一索引库切换至所述第二索引库。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

自动统计分析模块，用于自动统计分析获得热词库；

根据所述热词库，定时建立热词索引库；

将所述热词索引库设置为所述当前搜索服务对应的索引库。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

切换模块，用于将所述当前搜索服务切换到实时更新模式；

获取更新信息；

根据所述更新信息，对所述当前搜索服务对应的索引库进行更新。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收搜索请求；

根据所述搜索请求，在所述当前搜索服务对应的索引库中查找搜索结果。