CN105677865A - 一种索引数据更新方法、系统及搜索引擎 - Google Patents

Abstract

本发明公开了一种索引数据更新方法，包括步骤：接收第三方推送中心推送的索引数据更新消息，更新消息按“数据ID+数据字符串+消息类型+消息数据版本”的格式封装，其中，数据ID唯一地标识所述更新消息，数据字符串包括由待更新数据的字段名称和字段值构成的结构化数据；保存更新消息；以及根据消息数据版本解析更新消息，根据数据字符串对索引库中的原始索引文件进行与消息类型相对应的更新操作。本发明同时还提供了一种索引数据更新系统以及相应的搜索引擎。

Description

一种索引数据更新方法、系统及搜索引擎

技术领域

本发明涉及互联网搜索技术领域，尤其是一种索引数据更新方法、系统及搜索引擎。

背景技术

随着互联网技术的日益发展，用户产生大量的信息资讯需求，由此专业的资讯类网站迅速发展壮大，站内外资讯的整合和快速专业的检索也变得迫切，基于传统的网页检索技术或数据库检索已变得难以满足需要。为处理庞大且更新数据极快的资讯数据，快速准确地满足用户的资讯检索定位，就需要提高对这些海量动态变化的资讯数据建立索引的速度，因此，实时索引构建技术一直是互联网搜索技术研究的重点。

目前常见的一种索引数据更新方法是基于结构化的数据文档进行索引并提供检索服务。在拟定的数据组织结构下采集网页数据或由第三方推送结构化的数据，以全量+增量的索引方式，定期更新索引。故而更新频率一般都是在十分钟以上，不能实现实时索引且及时呈现资讯，尤其对于一些实时性要求高的检索需求，这种索引更新方案显然是不够的。

发明内容

为此，本发明提供一种索引数据更新方法、系统及搜索引擎，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种索引数据更新方法，方法包括步骤：接收第三方推送中心推送的索引数据更新消息，更新消息按“数据ID+数据字符串+消息类型+消息数据版本”的格式封装，其中，数据ID唯一地标识更新消息，数据字符串包括由待更新数据的字段名称和字段值构成的结构化数据；保存更新消息；以及根据消息数据版本解析更新消息，根据数据字符串对索引库中的原始索引文件进行与消息类型相对应的更新操作。

可选地，在根据本发明的索引数据更新方法中，与消息类型相对应的更新操作包括：对索引库中原始索引文件的增加、删除、修改、条件更新操作。

可选地，在根据本发明的索引数据更新方法中，数据字符串是json字符串。

可选地，在根据本发明的索引数据更新方法中，保存更新消息的步骤包括：按照消息时间保存更新消息。

可选地，在根据本发明的索引数据更新方法中，还包括步骤：当接收到回放信号时，根据消息时间定位到对应的更新消息。

可选地，在根据本发明的索引数据更新方法中，解析更新消息的步骤之前，还包括步骤：通过调用预置的Hook函数，对索引库中的更新消息进行适配处理。

可选地，在根据本发明的索引数据更新方法中，适配处理包括：对属于论坛索引库的更新消息进行检验；以及实时计算文章索引库中索引文件的重要性。

可选地，在根据本发明的索引数据更新方法中，当与消息类型相对应的更新操作为条件更新操作时，数据字符串中还包括更新条件，解析更新消息还包括：通过数据字符串获取更新条件。

可选地，在根据本发明的索引数据更新方法中，条件更新包括批量更新操作。

根据本发明的另一方面，提供一种索引数据更新系统，系统包括：输入接口，适于接收由第三方推送中心推送的索引数据更新消息，更新消息按“数据ID+数据字符串+消息类型+消息数据版本”的格式封装；缓存装置，适于保存接收到的更新消息；索引库，适于存储原始索引文件；更新控制装置，适于解析更新消息，根据数据字符串对索引库中的原始索引文件进行与消息类型相对应的更新操作；其中，数据ID唯一地标识更新消息，数据字符串是由待更新数据的字段名称和字段值构成的结构化数据。

可选地，在根据本发明的索引数据更新系统中，更新控制装置适于根据消息类型对原始索引文件进行包括增加、删除、修改、条件更新的操作。

可选地，在根据本发明的索引数据更新系统中，数据字符串是json字符串。

可选地，在根据本发明的索引数据更新系统中，缓存装置还适于按照消息时间保存更新消息。

可选地，在根据本发明的索引数据更新系统中，缓存装置还适于在接收到回放信号后，根据消息时间定位到对应的更新消息。

可选地，在根据本发明的索引数据更新系统中，还包括：预处理装置，适于在解析更新消息之前，调用预置的Hook函数，对索引库中的更新消息进行适配处理。

可选地，在根据本发明的索引数据更新系统中，预处理装置适于对属于论坛索引库的更新消息进行检验，还适于实时计算文章索引库中索引文件的重要性。

可选地，在根据本发明的索引数据更新系统中，更新控制装置还适于在解析得到消息类型对应的更新操作是条件更新时，通过数据字符串获取更新条件。

可选地，在根据本发明的索引数据更新系统中，条件更新包括批量更新操作。

根据本发明的又一方面，提供了一种搜索引擎，具有如上所述的索引数据更新系统。

由上述技术方案可见，在本发明中，以统一的消息格式封装更新数据，不仅保证了各种异构数据的兼容处理，还可确保更新消息自推送进来至呈现给用户仅存在秒级的延迟，实现了在搜索引擎中实时更新索引数据的需求。

进一步地，通过增加的适配处理、回放定位、批量条件更新等处理逻辑，大大提高更新的时效性和兼容性，在一些数据要求很高的场景下也能保证用户搜索的良好体验。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的搜索引擎100在进行信息搜索时的工作原理框图；

图2示出了根据本发明一个实施例的索引数据更新方法200的流程图；以及

图3示出了根据本发明一个实施例的索引数据更新系统300的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1为根据本发明的一个实施方式的搜索引擎100在进行信息搜索时的工作原理框图。参照图1，第三方推送中心20将结构化数据以预定的形式主动提交给搜索引擎100，从而搜索引擎100可响应客户端30的浏览器32请求而提供数据搜索的服务。这里，推送索引消息的第三方推送中心20可以是数据库、推送作业，由它们向搜索引擎100提供结构化数据；当然，也可以包含爬虫系统，由其提供网页数据给搜索引擎100。根据一种实现方式，搜索引擎100可以包括一个或多个用来存储和管理数据、并响应搜索请求的网络服务器实体。客户端30可以包括一个或多个用户终端设备，如个人计算机、笔记本电脑、无线电话、个人数字处理(PDA)、或其它计算机装置和通信装置。

这些服务器和终端设备在架构上都包含一些基本组件，如总线、处理装置、存储装置、一个或多个输入/输出装置、和通信接口等。总线可以包括一个或多个导线，用来实现服务器或终端设备各组件之间的通信。处理装置包括各类型的用来执行指令、处理进程或线程的处理器或微处理器。存储装置可以包括存储动态信息的随机访问存储器(RAM)等动态存储器，和存储静态信息的只读存储器(ROM)等静态存储器，以及包括磁或光学记录介质与相应驱动的大容量存储器。输入装置供用户输入信息到服务器或终端设备，如键盘、鼠标、手写笔、声音识别装置、或生物测定装置等。输出装置包括用来输出信息的显示器、打印机、扬声器等。通信接口用来使服务器或终端设备与其它系统或装置进行通信。通信接口之间可通过有线连接、无线连接、或光连接连接到网络中，使搜索引擎100、客户端10能够通过网络实现相互间的通信。网络可以包括局域网(LAN)、广域网(WAN)、电话网络和终端设备上均包含有用来管理系统资源、控制其它程序运行的操作系统软件，以及用来实现特定功能模块的应用软件。

如图1所示，搜索引擎100接收到来自客户端30的搜索查询请求，通过搜索组件130中的搜索模块向数据存储库110中搜索结果，例如搜索模块根据分词结果和筛选条件进行文档索引的交并集运算，得到匹配的文档集并汇总；然后，由排序模块对上述文档集进行定制化的排序，再交由用户界面140进行展示。

根据一种实现方式，搜索引擎100会事先搜集一批数据，并以某种方式存放在系统100的数据存储库110中，可以根据索引文件的不同，将数据存储库110区分为论坛索引库、文章索引库、视频索引库等等。搜索引擎100还包括索引数据更新系统120，根据上文所述，通过索引数据更新系统120接收来自第三方推送中心20的索引更新消息。也就是说，第三方推送中心20和搜索引擎100之间可通过一份预定的数据交互协议来进行交互。在本实施例中，第三方推送中心20将数据的更新封装成统一格式的索引更新消息(统一的格式会在下文中具体介绍)，索引数据更新系统120接收此类消息并变更索引数据，这部分的索引数据在数据存储库110中和全量索引合并后提供服务。

这里，索引数据更新系统120负责接收索引数据更新消息，解析该更新消息，并向数据存储库110进行更新操作，使得搜索引擎100可以在用户界面140实时呈现查询消息，进而实现索引数据实时更新。

图2示出了根据本发明一个实施例的索引数据更新方法200的流程图。该方法200始于步骤S210，接收第三方推送中心推送的索引数据更新消息。在本实施例中，更新消息要按“数据ID+数据字符串+消息类型+消息数据版本”的统一格式进行封装。更新消息格式参考如下：

由于整个检索系统是各类异构数据构成的混合索引，并且后期还会持续接入更多类型的数据。基于这样的考虑，本方案中设计了如上的统一规格的更新消息和处理逻辑，把异构的数据编成统一的data字段，封装了异构性，就能够适配多种类型数据的实施更新，保证各种异构数据的兼容处理。

从上述消息格式中可以看出，与消息类型相对应的更新操作包括：对索引库中原始索引文件的增加、删除、修改、条件更新操作。另外，在基于图1的描述中已经提到，第三方推送中心包括数据库、推送作业、以及爬虫系统。

随后在步骤S220中，保存上述更新消息。在本方案中，按照消息时间保存更新消息。具体来讲，采用开源的消息订阅系统kafka作为基本的数据存储单元，在消息的Producer端(即，发送消息方)采用统一入口保证消息的时序性，并在消息的Consumer端(即，接收消息方)采用group方式保证消息消化的时序性。根据一个实施例，在存储消息时，定义如下存储协议：

在定义如上存储协议后，就可以保证消息的时序性并可回放定位，利用kafka的seek功能和消息时间我们可以回放消息至任一时刻，而这里的消息操作都具有事务安全的特性。基于此，当接收到回放信号时，就可以根据消息时间定位到对应的更新消息，以实现位于下游索引库的回放定位，进而满足算法演示，故障处理等需要。

随后在步骤S230中，根据消息数据版本解析更新消息，根据数据字符串对索引库中的原始索引文件进行与消息类型相对应的更新操作。例如，当解析更新消息得到消息类型operation＝0时，对应的更新操作应该是在索引库中增加索引，于是，将数据字符串中待更新数据的字段名称和字段值添加到索引库中，作为一条新增索引数据。

再如，当解析更新消息得到消息类型为operation＝3时，对应条件更新操作，此时的数据字符串data由两部分组成，一部分还和原来一样，是待更新的字段名称及其值，另一部分是更新条件。因此，解析更新消息时还要获取数据字符串data中的更新条件。

在现实操作中，往往会有大批量的条件更新操作，如论坛名称变更，文章属性变更等等。在传统的基于文档消息的更新机制下，当面对几十万甚至几百万的类似更新时，是很难做到及时性的。本方案对此做了有效处理，本步骤中，对于大批量的条件更新，采用批量更新操作。

例如批量变更所有宝马论坛的帖子为BMW论坛的帖子，此时，更新消息的消息体参考如下：

在接收到如上更新消息后，解析该消息，一方面对索引库做如下的等价操作：

updatetablesettopic_name＝’bmw’wherename＝’宝马’；

一方面对索引服务发出指令，进行条件索引更新。这里我们的索引服务内置支持条件索引更新的方式。指令形如：

http://xxxx:port/？_modify＝1&__topic_name＝宝马&topic_name＝bmw

通过对批量条件更新操作的兼容处理，大大提高了更新的实效性，比传统索引更新方案在同样量级的数据更新上速度大大提高。

根据本发明的实施方式，在步骤S230解析更新消息的步骤之前，还包括步骤：通过调用预置的hook函数，对索引库中的更新消息进行适配处理。具体而言，就是基于python的运行时装入模块技术，形成一种Hook处理机制，在更新消息入库或更新索引的时候进行特别处理。例如论坛索引库中的数据需要检验并修正其原始数据，则可以加个Hook函数在数据流环节处理实现，又如，文章索引库的数据需要实时计算其文档的重要性，也可以通过Hook函数在数据流环节实现。

关键实现代码如下：

在这种适配处理机制下，不用针对整体数据流做代码修改，只通过简单适配和编写特定的Hook函数即可保证各类型的数据的即时有效推送。

根据上述流程，以统一的消息格式封装更新数据，不仅保证了各种异构数据的兼容处理，还可确保更新消息自推送进来至呈现给用户仅存在秒级的延迟。进一步地，通过增加的适配处理、回放定位、批量条件更新等处理逻辑，大大提高更新的时效性和兼容性，在一些数据要求很高的场景下也能保证搜索的良好体验。

图3示出了根据本发明一个实施例的索引数据更新系统300的示意图。系统300包括：输入接口310、缓存装置320、索引库330、以及更新控制装置340。按照本发明的实施方案，输入接口310与缓存装置320相耦接，并且更新控制装置340分别与缓存装置320和索引库340相耦接。

输入接口310适于接收由第三方推送中心推送的索引数据更新消息，在本系统中，更新消息按“数据ID+数据字符串+消息类型+消息数据版本”的格式封装，以满足对各种类型数据的兼容处理。

更新消息的统一格式示例如下：

缓存装置320适于保存接收到的更新消息。可选地，缓存装置320还适于按照消息时间保存更新消息，以保证更新消息的时序性。这样，缓存装置320在接收到回放信号后，可根据消息时间定位到对应的更新消息。

索引库330适于存储原始索引文件。这里，索引库330可以是图1中描述的数据存储库110的一部分或全部。在本方案中，针对不同的数据规模、数据特点和检索要求，对索引库330进行分区分层分组，形成金字塔形的索引服务群。例如索引库330可以包含有论坛索引库、文章索引库等。

更新控制装置340适于解析更新消息，根据数据字符串对索引库330中的原始索引文件进行与消息类型相对应的更新操作。从上述更新消息的统一格式可以看出，更新控制装置340根据消息类型对原始索引文件进行的更新操作包括增加、删除、修改、以及条件更新。

根据本发明的一种实施方式，更新控制装置340还适于在解析得到消息类型对应的更新操作是条件更新时，通过数据字符串获取更新条件。故而，当消息类型operation＝3时，数据字符串data中除了包含待更新数据的字段名称和字段值，还应该包含更新条件。

这里，条件更新还包括批量条件更新。例如，当更新消息如下时，就可以实现将所有宝马论坛的帖子批量变更为BMW论坛的帖子：

考虑到对更新消息的及时推送，在本系统300中还可以包括预处理装置350。该预处理装置350分别与缓存装置320和更新控制装置340相耦接。

预处理装置350适于在解析更新消息之前，调用预置的Hook函数，对索引库330中的更新消息进行适配处理。通过上文介绍，索引库330可以包含论坛索引库、文章索引库等，故对索引库330的适配处理可以是对属于论坛索引库的更新消息进行检验，还可以是实时计算文章索引库中索引文件的重要性。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

A6、如A1-5中任一项所述的方法，其中解析更新消息的步骤之前，还包括步骤：通过调用预置的Hook函数，对索引库中的更新消息进行适配处理。A7、如A6所述的方法，其中适配处理包括：对属于论坛索引库的更新消息进行检验；以及实时计算文章索引库中索引文件的重要性。A8、如A2-7中任一项所述的方法，当与消息类型相对应的更新操作为条件更新操作时，数据字符串中还包括更新条件，解析更新消息还包括：通过数据字符串获取更新条件。A9、如A8所述的方法，其中，条件更新包括批量更新操作。

B14、如B13所述的系统，其中，缓存装置还适于在接收到回放信号后，根据消息时间定位到对应的更新消息。B15、如B10-14中任一项所述的系统，还包括：预处理装置，适于在解析更新消息之前，调用预置的Hook函数，对索引库中的更新消息进行适配处理。B16、如B15所述的系统，其中，预处理装置适于对属于论坛索引库的更新消息进行检验，还适于实时计算文章索引库中索引文件的重要性。B17、如B11-15中任一项所述的系统，其中，更新控制装置还适于在解析得到消息类型对应的更新操作是条件更新时，通过数据字符串获取更新条件。B18、如B17所述的系统，其中条件更新包括批量更新操作。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种索引数据更新方法，所述方法包括步骤：

接收第三方推送中心推送的索引数据更新消息，所述更新消息按“数据ID+数据字符串+消息类型+消息数据版本”的格式封装，其中，所述数据ID唯一地标识所述更新消息，所述数据字符串包括由待更新数据的字段名称和字段值构成的结构化数据；

保存所述更新消息；以及

根据消息数据版本解析所述更新消息，根据数据字符串对索引库中的原始索引文件进行与消息类型相对应的更新操作。

2.如权利要求1所述的方法，其中所述与消息类型相对应的更新操作包括：

对索引库中原始索引文件的增加、删除、修改、条件更新操作。

3.如权利要求1或2所述的方法，其中，所述数据字符串是json字符串。

4.如权利要求1-3中任一项所述的方法，其中所述保存更新消息的步骤包括：

按照消息时间保存所述更新消息。

5.如权利要求4所述的方法，还包括步骤：

当接收到回放信号时，根据消息时间定位到对应的更新消息。

6.一种索引数据更新系统，所述系统包括：

输入接口，适于接收由第三方推送中心推送的索引数据更新消息，所述更新消息按“数据ID+数据字符串+消息类型+消息数据版本”的格式封装；

缓存装置，适于保存接收到的所述更新消息；

索引库，适于存储原始索引文件；

更新控制装置，适于解析所述更新消息，根据数据字符串对所述索引库中的原始索引文件进行与消息类型相对应的更新操作；

其中，所述数据ID唯一地标识所述更新消息，所述数据字符串是由待更新数据的字段名称和字段值构成的结构化数据。

7.如权利要求6所述的系统，其中，

所述更新控制装置适于根据消息类型对原始索引文件进行包括增加、删除、修改、条件更新的操作。

8.如权利要求6或7所述的系统，其中所述数据字符串是json字符串。

9.如权利要求6-8中任一项所述的系统，其中，

所述缓存装置还适于按照消息时间保存所述更新消息。

10.一种搜索引擎，具有如权利要求6-9中任一项所述的索引数据更新系统。