CN107818122A - 一种代理组件、搜索管理方法及搜索管理系统 - Google Patents

Abstract

本申请涉及互联网领域，公开了一种代理组件、搜索管理方法及搜索管理系统，用以解决ES语法复杂导致客户端使用困难的问题。所述代理组件与客户端和搜索服务器相连，所述搜索服务器用于为所述客户端提供搜索服务；所述代理组件包括：统一服务接口，与所述客户端相接，用于接收所述客户端的连接请求；模板服务模块，连接于所述统一服务接口和所述搜索服务器之间，用于通过所述统一服务接口向所述客户端提供通用服务接口，与所述客户端进行数据交互，所述通用服务接口所使用的代码语言与所述客户端使用的代码语言一致；以及，用于与所述搜索服务器进行数据交互。

Description

一种代理组件、搜索管理方法及搜索管理系统

技术领域

本申请涉及互联网领域，特别涉及一种代理组件、搜索管理方法及搜索管理系统。

背景技术

ElasticSearch(简称ES)是基于一种全文搜索引擎的搜索服务器。ES设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。ES大数据数据库一般有两种部署模式：单节点式和多节点集群式。单节点式是指在ES大数据数据库中只有一个运行ES的实例；多节点集群式是指在ES大数据数据库中存在两个或两个以上运行ES的实例，即ES集群，ES集群有至少两个计算机，每一个计算机为运行ES的实例。ES可以实现海量日志的查询、插入、修改、删除等基本操作功能。

ES大数据数据库应用的系统架构以应用于ES集群为例，如图1所示，客户端101与ES集群102建立连接，客户端101使用ES定义的语法连接到ES集群102中的任意一台计算机上，执行插入日志数据、修改日志数据、删除日志数据、查询日志数据等操作，在执行特定类型操作时，需要使用ES定义的特定类型的语法，即，每一种类型的操作都对应一种类型的语法。

而ES定义的语法一般较为复杂，普通的客户端或者使用者学习这类语法都较为困难，因此，严重阻挠了普通的客户端或者使用者对ES的应用。

发明内容

本申请实施例提供一种代理组件、搜索管理方法及搜索管理系统，用以解决ES语法复杂导致客户端使用困难的问题。

提供一种代理组件，所述代理组件与客户端和搜索服务器相连，所述搜索服务器用于为所述客户端提供搜索服务；所述代理组件包括：统一服务接口，与所述客户端相接，用于接收所述客户端的连接请求；模板服务模块，连接于所述统一服务接口和所述搜索服务器之间，用于通过所述统一服务接口向所述客户端提供通用服务接口，与所述客户端进行数据交互，所述通用服务接口所使用的代码语言与所述客户端使用的代码语言一致；以及，用于与所述搜索服务器进行数据交互。

这样，通过通用服务接口使用搜索服务器，降低了搜索服务器的学习成本，使其使用更加方便和通用。

较佳的，所述搜索服务器位于搜索服务器集群中，所述搜索服务器集群中包括至少两台搜索服务器，每一台搜索服务器均用于为所述客户端提供搜索服务；所述代理组件还包括代理模块，连接于所述模板服务模块与所述搜索服务器集群之间，用于在所述统一服接口接收到所述客户端的连接请求之后，按照所述搜索服务器集群中每一台搜索服务器的负载以及设定的负载均衡策略，为所述客户端选择一台搜索服务器，获取所选择的搜索服务器的连接资源，为所述客户端建立与所选择的搜索服务器的连接。这样，可以解决客户端在高并发使用数据库时发生各种并发错误，甚至丢失重要的日志数据的问题。

较佳的，所述模板服务模块在向所述客户端提供通用服务接口时，具体用于：将所述客户端通过所述搜索服务器执行的数据操作类型进行分类；将分类获得的每一种数据操作类型在被执行时所需的源代码语言转换为目标代码语言，所述源代码语言与所述搜索服务器使用的代码语言一致，所述目标代码语言与所述客户端使用的代码语言一致；基于所述目标代码语言，生成所述通用服务接口。

较佳的，所述代理组件还包括参数映射转换模块，连接于所述统一服务接口与所述模板化服务模块之间，用于将来自所述客户端的数据的格式转换为所述搜索服务器支持的数据格式，以及将来自所述搜索服务器的数据的格式转换为所述客户端支持的数据格式。

较佳的，所述代理组件通过所述统一服务接口为所述客户端提供管理各个所述搜索服务器的接口；或者，

所述代理组件根据各个所述搜索服务器的配置信息，通过机器语言主动监管各个所述搜索服务器的运行状态。

较佳的，所述搜索服务器为ElasticSearch。

提供一种搜索管理系统，包括客户端、代理组件和搜索服务器；

所述代理组件与所述客户端和所述搜索服务器相连，执行如上述提供的代理组件所执行的功能；

所述搜索服务器用于为所述客户端提供搜索服务。

提供一种搜索管理方法，包括：代理组件接收客户端的连接请求；根据所述连接请求，调用通用服务接口向客户端提供服务，所述通用服务接口所使用的代码语言与所述客户端使用的代码语言一致；并，根据所述连接请求，与搜索服务器进行数据交互；其中，所述搜索服务器用于为所述客户端提供搜索服务。使得客户端能够在不了解搜索服务器复杂语法的情况下，通过通用服务接口使用搜索服务器，降低了搜索服务器的学习成本，使其使用更加方便和通用。

较佳的，所述搜索服务器位于搜索服务器集群中，所述搜索服务器集群中包括至少两台搜索服务器，每一台搜索服务器均用于为所述客户端提供搜索服务；所述代理组件接收客户端的连接请求之后，与所述搜索服务器进行数据交互之前，还包括：所述代理组件按照所述搜索服务器集群中每一台搜索服务器的负载以及设定的负载均衡策略，为所述客户端选择一台搜索服务器，获取所选择的搜索服务器的连接资源，为所述客户端建立与所选择的搜索服务器的连接。这样，可以解决客户端在高并发使用数据库时发生各种并发错误，甚至丢失重要的日志数据的问题

较佳的，根据所述连接请求，调用通用服务接口向客户端提供服务，包括：所述代理组件将所述客户端通过所述搜索服务器执行的数据操作类型进行分类；所述代理组件将分类获得的每一种数据操作类型在被执行时所需的源代码语言转换为目标代码语言，所述源代码语言与所述搜索服务器使用的代码语言一致，所述目标代码语言与所述客户端使用的代码语言一致；所述代理组件基于所述目标代码语言，生成所述通用服务接口。

较佳的，还包括：所述代理组件将来自所述客户端的数据的格式转换为所述搜索服务器支持的数据格式，以及将来自所述搜索服务器的数据的格式转换为所述客户端支持的数据格式。

较佳的，所述搜索服务器为ElasticSearch。

本申请实施例通过代理组件将搜索服务器使用的较复杂的语法进行简化及封装，向客户端提供一种通用服务接口，使得客户端能够在不了解搜索服务器复杂语法的情况下，通过通用服务接口使用搜索服务器，降低了搜索服务器的学习成本，使其使用更加方便和通用。

附图说明

图1为现有技术中ES大数据数据库应用的系统架构图；

图2为本申请实施例中系统架构图；

图3为本申请实施例中代理组件的结构图；

图4为本申请实施例中搜索管理方法的流程图之一；

图5为本申请实施例中搜索管理方法的流程图之二。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

鉴于现基于ES大数据数据库系统运行过程中，由于ES定义的语法较为复杂导致的客户端使用困难的问题，本申请实施例提供了一种代理组件和搜索管理方法，将代理组件设置于客户端和搜索服务器之间，通过代理组件将搜索服务器使用的较复杂的语法进行简化及封装，向客户端提供一种通用服务接口，使得客户端能够在不了解搜索服务器复杂语法的情况下，通过通用服务接口使用搜索服务器，降低了搜索服务器的学习成本，使其使用更加方便和通用。

本申请实施例中所述的搜索服务器可以但不限于为搜索服务器为ElasticSearch(即ES)，本申请实施例将以ES为例进行说明。较佳的，本申请实施例应用于ES大数据数据库系统。本申请实施例运行的系统架构如图2所示。包括客户端201、代理组件203和搜索服务器203。可选的，搜索服务器203位于搜索服务器集群204中，搜索服务器集群204中包括至少两个搜索服务器203。搜索服务器203用于为客户端提供搜索服务。

下面基于图2所示的系统架构，将结合附图对本申请提供的代理组件和搜索管理方法进行详细说明。

如图3所示，代理组件202与客户端201和搜索服务器203相连，搜索服务器203用于为客户端201提供搜索服务。

代理组件202包括统一服务接口2021、模板服务模块2022。可选的，代理组件202还包括代理模块2023、参数映射转换模块2024，其中：

统一服务接口2021与客户端201相接，用于接收客户端201的连接请求。

模板服务模块2022，连接于统一服务接口2021和搜索服务器203之间，用于通过统一服务接口2021向客户端201提供通用服务接口，与客户端201进行数据交互，以及，用于与搜索服务器203进行数据交互。通用服务接口所使用的代码语言与客户端使用的代码语言一致。

具体地，统一服务接口2021是面向客户端201或者所有使用代理组件202的使用者提供服务的接口。是客户端201使用搜索服务器的通用入口，通过代理组件202，客户端201不再关注搜索服务器203的复杂语法，只需要关注统一服务接口2021即可使用搜索服务器203。统一服务接口2021使用最常见最普通的方式实现，屏蔽了搜索服务器203语法的复杂性，实现了几乎无学习成本。

统一服务接口2021的主要功能为服务接口、模版绑定。服务接口是客户端201唯一能够看到和使用的接口服务层，客户端201所有请求均是对次模块的访问。模版绑定是根据客户端201的请求，判断请求所属的数据操作类型，然后调用模版服务模块2022中该数据操作类型对应的模板进行操作。

可选的，模板服务模块2022在向客户端201提供通用服务接口时，具体用于以下操作：将客户端通过搜索服务器203执行的数据操作类型进行分类，一般数据操作类型分为插入日志数据、修改日志数据、查询日志数据、删除日志数据等数据操作类型；将分类获得的每一种数据操作类型在被执行时所需的源代码语言转换为目标代码语言，源代码语言与搜索服务器使用的代码语言一致，目标代码语言与客户端使用的代码语言一致，如搜索服务器为ES，则源代码语言为JSON类型，客户端一般使用JAVA类型的语言，目标代码语言则为JAVA类型。基于目标代码语言，生成通用服务接口。这样，就形成了几种类型的模板，例如，删除日志数据类型有一套语法结构，ES使用的这套语法结构比较复杂，通过代理组件202中的模板服务模块2022将这套语法进行简化封装，即用JAVA代码将这个数据操作类型的服务编写成通用服务接口。同样，将其他几种数据操作类型执行此类操作，就会形成多个数据操作类型的模板，每一个模板对应一个通用服务接口，可提供JAVA代码语言的服务。

可选的，搜索服务器203位于搜索服务器集群204中，搜索服务器集群204中包括至少两台搜索服务器203，每一台搜索服务器203均用于为客户端201提供搜索服务。

客户端201可以连接到搜索服务器集群204中的任意一台搜索服务器203上，客户端201可能会高并发使用搜索服务器集群204形成的数据库，这样可能会发生不可预测的并发错误，并且，由于客户端201在连接时并不能获知搜索服务器203上的负载情况，导致搜索服务器203在负载超负荷时出现连接失败的情况，这样，客户端201可能会丢失重要的日志数据。

基于此，本申请实施例中的代理组件202还包括代理模块2023，连接于模板服务模块2022与搜索服务器集群204之间，用于在统一服接口2021接收到客户端201的连接请求之后，并在接收到调用时，按照搜索服务器集群204中每一台搜索服务器203的负载以及设定的负载均衡策略，为客户端201选择一台搜索服务器203，获取所选择的搜索服务器203的连接资源，为客户端201建立与所选择的搜索服务器203的连接。这样，可以解决客户端在高并发使用数据库时发生各种并发错误，甚至丢失重要的日志数据的问题。

具体地，代理组件202还可以包括连接管理模块2025，连接管理模块2025包含客户端201连接到搜索服务器203的一种资源，负责客户端201与搜索服务器203之间的连接和通信，包括连接资源的创建、使用和关闭，客户端201通过连接资源来进行数据操作。连接管理模块2025就是针对连接资源的创建、使用和关闭等操作做统一管理。主要功能可分为配置解析器和负载策略。配置解析器是解析配置文件，获取系统运行的必要参数。负载策略是根据配置参数确定负载均衡算法，比如公平策略、权重策略。

代理模块2023依赖于连接管理模块2025，配合连接管理模块2025共同管理连接资源的创建、使用、关闭等操作。并负责了负载均衡策略的解析和执行。主要功能包括扩展和客户端管理。扩展是为了适应更多的功能，比如统一权限管理、日志记录等功能；客户端管理是通过连接管理模块2025获取到连接资源，然后再将连接资源提供到模版服务模块2022中。

可选的，参数映射转换模块2024连接于统一服务接口2021与模板化服务模块2022之间，用于将来自客户端201的数据的格式转换为搜索服务器203支持的数据格式，以及将来自搜索服务器203的数据的格式转换为客户端201支持的数据格式。具体地，来自不同的客户端201的数据格式不同，搜索服务器203支持统一的数据格式，通过参数映射转换模块2024将来自客户端201的请求数据的格式转换成搜索服务器203支持的统一格式，再将搜索服务器203返回的数据转换成客户端201想要的数据格式，这样进一步简化了搜索服务器的使用。

综上，客户端201通过代理组件202可以实现基于自身业务的各种数据操作。

除此之外，若搜索服务器203遇未知原因导致崩溃停止服务，那么对客户端201而言是灾难性的。现有的解决这类问题的方法，一方面是寄托于搜索服务器203自身修复而恢复服务，另一方面是安排专人值守，当出现问题时进行修复。但是这样，就一定程度的浪费财力物力。

本申请实施例中，代理组件202通过以下两种方式来实现自动管理搜索服务器203，具体为：

第一种方式，代理组件202提供管理接口，可通过统一服务接口2021提供管理接口，客户端201可以通过管理接口对搜索服务器203进行一系列操作，比如启动搜索服务器203、关闭搜索服务器203、查看搜索服务器203系统日志、故障转移等，这样就为客户端201自动化管理搜索服务器203提供了可能。

第二种方式，代理组件202根据各个所述搜索服务器203的配置信息，通过机器语言主动监管各个所述搜索服务器的运行状态。即，主动管理搜索服务器203。当客户端201不希望管理搜索服务器203时，可以交给代理组件202来管理。首先，代理组件202根据配置信息获取搜索服务器集群204中的各台搜索服务器203的基本信息；然后，当需要启动、停止的时候，根据机器信息执行命令进行操作。其中当搜索服务器203发生故障需要解决的时候，代理组件202首先侦测搜索服务器203的状态，然后重新启动，并记录操作记录，在需要时可以发送邮件到相关负责人进行告知。

通过自动化管理搜索服务器，节省了人力物力。

基于上述代理组件202，本申请实施例还提供了一种搜索管理方法，如图4所示，搜索管理方法的流程包括：

步骤401：代理组件接收客户端的连接请求；

步骤402：根据接收到的连接请求，调用通用服务接口向客户端提供服务，通用服务接口所使用的代码语言与客户端使用的代码语言一致；并根据连接请求，与搜索服务器进行数据交互；其中，搜索服务器用于为客户端提供搜索服务。

可选的，搜索服务器为ElasticSearch。

可选的，搜索服务器位于搜索服务器集群中，搜索服务器集群中包括至少两台搜索服务器，每一台搜索服务器均用于为客户端提供搜索服务；

代理组件接收客户端的连接请求之后，与搜索服务器进行数据交互之前，理组件按照搜索服务器集群中每一台搜索服务器的负载以及设定的负载均衡策略，为客户端选择一台搜索服务器，获取所选择的搜索服务器的连接资源，为客户端建立与所选择的搜索服务器的连接。

可选的，根据连接请求，调用通用服务接口向客户端提供服务，具体为：代理组件将客户端通过搜索服务器执行的数据操作类型进行分类；代理组件将分类获得的每一种数据操作类型在被执行时所需的源代码语言转换为目标代码语言，源代码语言与搜索服务器使用的代码语言一致，目标代码语言与客户端使用的代码语言一致；代理组件基于目标代码语言，生成通用服务接口。

可选的，代理组件将来自客户端的数据的格式转换为搜索服务器支持的数据格式，以及将来自搜索服务器的数据的格式转换为客户端支持的数据格式。

基于上述提供的代理组件202和图4所示的搜索管理方法，下面以搜索服务器为ES为例，结合具体的应用场景，如图5所示，对本申请提供的代理组件202和搜索管理方法作更进一步详细说明。

步骤501：客户端201在需要对ES发起常规操作时，通过统一服务接口2021发起连接请求；

常规操作比如增加数据、查询数据、修改数据、删除数据等。

步骤502：统一服务接口2021接收到连接请求，发起对代理模块2023和模板服务模块2022的调用。

可选的，统一服务接口2021接收到连接请求后，参数映射转换模块2024将来自客户端201的数据的格式转换为ES可用的统一格式，并进行健壮性验证，在验证成功后再发起对代理模块2023的调用。

步骤503：代理模块2023接收到调用，配合连接管理模块2025获取到ES集群的连接资源，再根据负载均衡策略选择合适的ES，将选择的ES连接传入到模板服务模块2022做数据操作准备。

步骤504：模板服务模块2022根据连接请求对应的常规操作类型，查找对应的模板，调用模板中的ES语法与建立连接的ES做数据交互；

步骤505：模板服务模块2022向统一服务接口2021返回交互数据结果；

步骤506：统一服务接口2021将交互数据结果反馈给客户端201。

可选的，参数映射转换模块2024将交互数据结果的数据格式转换为客户端201需要的数据格式后再反馈给客户端201。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种代理组件，其特征在于，所述代理组件与客户端和搜索服务器相连，所述搜索服务器用于为所述客户端提供搜索服务；所述代理组件包括：

统一服务接口，与所述客户端相接，用于接收所述客户端的连接请求；

模板服务模块，连接于所述统一服务接口和所述搜索服务器之间，用于通过所述统一服务接口向所述客户端提供通用服务接口，与所述客户端进行数据交互，所述通用服务接口所使用的代码语言与所述客户端使用的代码语言一致；以及，用于与所述搜索服务器进行数据交互。

2.如权利要求1所述的代理组件，其特征在于，所述搜索服务器位于搜索服务器集群中，所述搜索服务器集群中包括至少两台搜索服务器，每一台搜索服务器均用于为所述客户端提供搜索服务；

所述代理组件还包括代理模块，连接于所述模板服务模块与所述搜索服务器集群之间，用于在所述统一服务接口接收到所述客户端的连接请求之后，按照所述搜索服务器集群中每一台搜索服务器的负载以及设定的负载均衡策略，为所述客户端选择一台搜索服务器，获取所选择的搜索服务器的连接资源，为所述客户端建立与所选择的搜索服务器的连接。

3.如权利要求1或2所述的代理组件，其特征在于，所述模板服务模块在向所述客户端提供通用服务接口时，具体用于：

将所述客户端通过所述搜索服务器执行的数据操作类型进行分类；

将分类获得的每一种数据操作类型在被执行时所需的源代码语言转换为目标代码语言，所述源代码语言与所述搜索服务器使用的代码语言一致，所述目标代码语言与所述客户端使用的代码语言一致；

基于所述目标代码语言，生成所述通用服务接口。

4.如权利要求1、2或3所述的代理组件，其特征在于，所述代理组件还包括参数映射转换模块，连接于所述统一服务接口与所述模板化服务模块之间，用于将来自所述客户端的数据的格式转换为所述搜索服务器支持的数据格式，以及将来自所述搜索服务器的数据的格式转换为所述客户端支持的数据格式。

5.如权利要求1-4任一项所述的代理组件，其特征在于，所述代理组件通过所述统一服务接口为所述客户端提供管理各个所述搜索服务器的接口；或者，

所述代理组件根据各个所述搜索服务器的配置信息，通过机器语言主动监管各个所述搜索服务器的运行状态。

6.一种搜索管理系统，其特征在于，包括客户端、代理组件和搜索服务器；

所述代理组件与所述客户端和所述搜索服务器相连，执行如权利要求1-5任一项中所述的代理组件所执行的功能；

所述搜索服务器用于为所述客户端提供搜索服务。

7.一种搜索管理方法，其特征在于，包括：

代理组件接收客户端的连接请求；

根据所述连接请求，调用通用服务接口向客户端提供服务，所述通用服务接口所使用的代码语言与所述客户端使用的代码语言一致；并，

根据所述连接请求，与搜索服务器进行数据交互；

其中，所述搜索服务器用于为所述客户端提供搜索服务。

8.如权利要求7所述的方法，其特征在于，所述搜索服务器位于搜索服务器集群中，所述搜索服务器集群中包括至少两台搜索服务器，每一台搜索服务器均用于为所述客户端提供搜索服务；

所述代理组件接收客户端的连接请求之后，与所述搜索服务器进行数据交互之前，还包括：

所述代理组件按照所述搜索服务器集群中每一台搜索服务器的负载以及设定的负载均衡策略，为所述客户端选择一台搜索服务器，获取所选择的搜索服务器的连接资源，为所述客户端建立与所选择的搜索服务器的连接。

9.如权利要求7或8所述的方法，其特征在于，根据所述连接请求，调用通用服务接口向客户端提供服务，包括：

所述代理组件将所述客户端通过所述搜索服务器执行的数据操作类型进行分类；

所述代理组件将分类获得的每一种数据操作类型在被执行时所需的源代码语言转换为目标代码语言，所述源代码语言与所述搜索服务器使用的代码语言一致，所述目标代码语言与所述客户端使用的代码语言一致；

所述代理组件基于所述目标代码语言，生成所述通用服务接口。

10.如权利要求7、8或9所述的方法，其特征在于，还包括：

所述代理组件将来自所述客户端的数据的格式转换为所述搜索服务器支持的数据格式，以及将来自所述搜索服务器的数据的格式转换为所述客户端支持的数据格式。