CN108712329A - 一种基于Elasticsearch的服务网关及日志记录检索装置 - Google Patents

Abstract

本发明提供一种基于Elasticsearch的服务网关及日志记录检索装置，属于数据检索分析领域。该服务网关实现了统一的服务调用请求转发，它封装了系统内部架构，为客户端设备统一提供服务，包括：路由、结果缓存、黑名单、断路器、负载均衡、权限认证、网络安全、监控&日志、协议适配。并借助Kafka、Elasticsearch等大数据技术，构建了日志记录检索装置，该装置实现了不同设备对通过网关发送统一的服务请求，并根据不同的请求参数进行响应的权限认证，认证通过转发到对应的数据接口，同时保存数据请求的日志记录，实现对网关调用日志的分布式存储和快速索引，实现对网关使用情况的实时监控，提高了系统使用的可控性。

Description

一种基于Elasticsearch的服务网关及日志记录检索装置

技术领域

本发明涉及数据检索分析领域，具体地说是一种基于Elasticsearch的服务网关及日志记录检索装置。

背景技术

在信息系统建设的过程中，总是存在异构系统之间的接口对接，两两系统之间的频繁对接，不仅带来了繁重的重复开发工作，也成为了数据跨区域，跨行业，跨部门流转共享的障碍。

于是，建立统一的服务网关，针对不同的设备适配请求协议，把原来系统对接模式的网状结构变为星形结构，保证具有统一的入口，统一的协议，统一的权限管理。从而大大减少系统对接中的工作量，并成为一种趋势。为满足这种业务场景的需求，建设统一的服务管理平台成为必然，构建统一的服务调用网关实现对服务请求的统一管理和权限认证，同时对网关请求日志的记录，检索，聚合和分析，成为保障服务稳定运行的重要手段。

发明内容

本发明的技术任务是针对现有技术的不足，提供一种基于Elasticsearch的服务网关及日志记录检索装置，以便全方位的检索、监控和分析网关请求数据的服务调用情况，及时发现平台运行中潜在的问题，挖掘数据的价值，保持系统运行的稳定。

本发明解决其技术问题所采用的技术方案是：

1、一种基于Elasticsearch的服务网关，其特征在于，该服务网关被布置为促进客户端设备与应用服务器之间的通信，其中：

服务网关为API网关，提供系统的统一入口，它封装了系统内部架构，为客户端设备统一提供服务，包括：路由模块、结果缓存模块、黑名单模块、断路器模块、负载均衡模块、权限认证模块、网络安全模块、监控&日志模块、协议适配模块，其中：

路由模块，接收用户的外部请求，并转发到后端具体的应用服务器上去；

结果缓存模块，用于管理历史请求结果，便于后续请求使用这个结果，而无需花重新计算或查询；

黑名单模块，对用户的外部请求进行分析，判断是否为恶意请求，根据分析结果过滤用户恶意请求；

断路器模块，用于在具体服务出现故障时，直接返回请求结果；

负载均衡模块，对用户的外部请求进行统一的负载均衡；

权限认证模块，用于用户身份鉴权；

网络安全模块，包括请求协议的安全性及部署防火墙，来防止恶意攻击；

监控&日志模块，用于日志的记录、监控、及与监控配合进行限流；

协议适配模块，支持多种不同协议，实现对不同协议请求的适配，使网关能够正常转发请求。

作为本发明进一步改进地，所述客户端设备是PC、移动终端、或者是用于发送并适配网关请求的其他设备。

作为本发明进一步改进地，所述应用服务器支持人工智能、私有服务和第三方服务。

作为本发明进一步改进地，所述协议适配模块实现对http、https、webservice不同协议的适配。

2、本发明另提供一种基于Elasticsearch服务网关的日志记录检索装置，该装置基于客户端、上述的API网关、流量监控和服务管理，其实现过程如下：构建服务的统一管理，实现对服务的统一权限认证、统一入口和统一监控；定义服务请求过程中的日志结构；对日志索引的合理定义及切分；对日志记录的分析统计。

作为本发明进一步改进的，其实现过程如下：

1）首先要建立对服务的统一管理、统一权限认证、统一入口和统一监控

1.1）实现对服务的统一管理，是指对服务基本信息的定义、以及对服务调用者身份的管理、服务调用白名单和黑名单的管理、服务调用限流的管理，服务调用者对服务申请的管理；由服务管理完成对服务的统一管理，数据以mysql存储，对于热数据存放到redis中，方便后续在API网关中对服务调用统一过滤的filter中使用；

1.2）实现对服务的统一入口，统一权限认证和统一监控，采用spring cloud zuul作为系统的统一入口，实现过程如下：

首先服务调用者在第一次调用服务之前，需要先申请token，token是基于无状态的jwt授权规范生成的对调用者身份鉴权的凭证，token中保存用户的ID信息；基于服务管理中统一的数据，调用者按照服务调用规范，携带token进行服务调用，网关中鉴权filter首先对token的有效性进行校验，解析用户ID，并根据用户ID确定调用者是否对调用的服务有申请权限；限流filter根据服务是否有调用次数限制进行控制；错误filter对调用过程中的系统异常进行统一捕获；路由filter对上述没有问题的请求进行统一的负载均衡；日志filter、错误filter对调用过程中的记录信息进行统一封装，然后发送到kafka中进行日志数据的再处理，其中：pre filters中日志filter实现对日志请求的记录，post filters中日志filter实现对日志请求返回结果的记录；

还包括：实现对不同协议请求的适配，包括http，https，webservice等不同协议的适配，使网关能够正常转发请求；

2）对服务调用全流程的日志结构进行定义，本着信息冗余的原则，对服务调用的全方位信息进行记录；

3）借助Kafka消息队列，实现对日志产生的发送和消费记录过程，保证日志记录的完成性；

4）对日志索引的合理定义及切分，合理估量日志产生的数量级，按照版本定义日志记录的索引模板，依托Elasticsearch的实时性，稳定性及横向扩展能力，对日志按照月度进行切分，实现对日志数据的合理存储；

5）对日志记录的分析统计，对日志数据进行合理的建模，辅以MySQL构建丰富的统计模型，通过控制配置，对网关调用服务的情况进行实时准确的反应。

作为本发明进一步改进的，对服务基本信息的定义包括：请求参数、请求URL、请求协议、请求方式以及对响应数据的定义。

作为本发明进一步改进的，对服务调用全流程的日志结构进行定义，是指：

2.1）定义日志记录信息：为了全方位的记录接口调用过程日志，在服务调用之前需要明确日志记录内容；

2.2）定义日志存储规则：日志记录是一个持续增加的过程，在记录日志之前需要明确日志存储的方式；

2.3）建立健全对日志记录的检索和监控：持续增加的日志记录，构建合适的分析模型，以便对服务接口进行全方位的监控。

作为本发明进一步改进的，对日志记录的分析统计，是以web形式监控服务调用情况，在服务调用过程中，随着日志的产生，通过可视化的界面实时监控网关服务情况。

本发明的一种基于Elasticsearch的服务网关及日志记录检索装置，与现有技术相比所产生的有益效果是：

本专利构建了一种基于Elasticsearch的服务网关，实现了统一的服务调用请求转发，并借助Kafka、Elasticsearch等大数据技术，构建了日志记录检索装置，该装置实现了不同设备对通过网关发送统一的服务请求，并根据不同的请求参数进行响应的权限认证，认证通过转发到对应的数据接口，同时保存数据请求的日志记录，实现对网关调用日志的分布式存储和快速索引，实现对网关使用情况的实时监控，提高了系统使用中的可控性。该装置基于Elasticsearch优秀的检索及聚合功能，并支持横向扩展的特点，实现对海量日志的实时检索，聚合和分析。使得能够及时发现网关请求过程中潜在的瓶颈和问题，保障数据分发的稳定运行。

附图说明

附图1是本发明的功能结构图；

附图2是本发明的流程图。

具体实施方式

下面结合附图1-2，对本发明的一种基于Elasticsearch的服务网关及日志记录检索装置作以下详细说明。

如附图1所示，本发明的一种基于Elasticsearch的服务网关，该服务网关被布置为促进客户端设备与应用服务器之间的通信。其中：

客户端设备可以是PC、移动终端、或者是用于发送并适配网关请求的其他设备。

服务网关为API网关，提供系统的统一入口，它封装了系统内部架构，为客户端设备统一提供服务。如附图1所示，服务网关中主要包括路由模块、结果缓存模块、黑名单模块、断路器模块、负载均衡模块、权限认证模块、网络安全模块、监控&日志模块、协议适配模块。其中：

服务网关为API网关，提供系统的统一入口，它封装了系统内部架构，为客户端设备统一提供服务，包括：路由模块、结果缓存模块、黑名单模块、断路器模块、负载均衡模块、权限认证模块、网络安全模块、监控&日志模块、协议适配模块，其中：

路由模块，接收用户的外部请求，并转发到后端具体的应用服务器上去；

结果缓存模块，用于管理历史请求结果，便于后续请求使用这个结果，而无需花重新计算或查询；

黑名单模块，对用户的外部请求进行分析，判断是否为恶意请求，根据分析结果过滤用户恶意请求；

断路器模块，用于在具体服务出现故障时，直接返回请求结果；

负载均衡模块，对用户的外部请求进行统一的负载均衡；

权限认证模块，用于用户身份鉴权；

网络安全模块，包括请求协议的安全性及部署防火墙，来防止恶意攻击；

监控&日志模块，用于日志的记录、监控、及与监控配合进行限流；

协议适配模块，支持多种不同协议，实现对http、https、webservice不同协议请求的适配，使网关能够正常转发请求。

应用服务器支持人工智能、私有服务和第三方服务。

如附图2所示，本发明另提供一种基于Elasticsearch服务网关的日志记录检索装置，该装置基于客户端、上述的API网关、流量监控和服务管理，其实现过程如下：构建服务的统一管理，实现对服务的统一权限认证、统一入口和统一监控；定义服务请求过程中的日志结构；对日志索引的合理定义及切分；对日志记录的分析统计。具体实现过程如下：

1）首先要建立对服务的统一管理、统一权限认证、统一入口和统一监控

1.1）实现对服务的统一管理，是指对服务基本信息的定义、以及对服务调用者身份的管理、服务调用白名单和黑名单的管理、服务调用限流的管理，服务调用者对服务申请的管理；由服务管理完成对服务的统一管理，数据以mysql存储，对于热数据存放到redis中，方便后续在API网关中对服务调用统一过滤的filter中使用；

1.2）实现对服务的统一入口，统一权限认证和统一监控，采用spring cloud zuul作为系统的统一入口，实现过程如下：

首先服务调用者在第一次调用服务之前，需要先申请token，token是基于无状态的jwt授权规范生成的对调用者身份鉴权的凭证，token中保存用户的ID信息；基于服务管理中统一的数据，调用者按照服务调用规范，携带token进行服务调用，网关中鉴权filter首先对token的有效性进行校验，解析用户ID，并根据用户ID确定调用者是否对调用的服务有申请权限；限流filter根据服务是否有调用次数限制进行控制；错误filter对调用过程中的系统异常进行统一捕获；路由filter对上述没有问题的请求进行统一的负载均衡；日志filter、错误filter对调用过程中的记录信息进行统一封装，然后发送到kafka中进行日志数据的再处理，其中：pre filters中日志filter实现对日志请求的记录，post filters中日志filter实现对日志请求返回结果的记录；

还包括：实现对不同协议请求的适配，包括http，https，webservice等不同协议的适配，使网关能够正常转发请求；

2）对服务调用全流程的日志结构进行定义，本着信息冗余的原则，对服务调用的全方位信息进行记录；

3）借助Kafka消息队列，实现对日志产生的发送和消费记录过程，保证日志记录的完成性；

4）对日志索引的合理定义及切分，合理估量日志产生的数量级，按照版本定义日志记录的索引模板，依托Elasticsearch的实时性，稳定性及横向扩展能力，对日志按照月度进行切分，实现对日志数据的合理存储；

5）对日志记录的分析统计，对日志数据进行合理的建模，辅以MySQL构建丰富的统计模型，通过控制配置，对网关调用服务的情况进行实时准确的反应。

在上述方案的基础上，过程1.1）对服务基本信息的定义包括：请求参数、请求URL、请求协议、请求方式以及对响应数据的定义。

在上述方案的基础上，过程2）对服务调用全流程的日志结构进行定义，是指：

2.1）定义日志记录信息：为了全方位的记录接口调用过程日志，在服务调用之前需要明确日志记录内容；

2.2）定义日志存储规则：日志记录是一个持续增加的过程，在记录日志之前需要明确日志存储的方式；

2.3）建立健全对日志记录的检索和监控：持续增加的日志记录，构建合适的分析模型，以便对服务接口进行全方位的监控。

在上述方案的基础上，过程5）对日志记录的分析统计，是以web形式监控服务调用情况，在服务调用过程中，随着日志的产生，通过可视化的界面实时监控网关服务情况。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (9)

1.一种基于Elasticsearch的服务网关，其特征在于，该服务网关被布置为促进客户端设备与应用服务器之间的通信，其中：

服务网关为API网关，提供系统的统一入口，它封装了系统内部架构，为客户端设备统一提供服务，包括：路由模块、结果缓存模块、黑名单模块、断路器模块、负载均衡模块、权限认证模块、网络安全模块、监控&日志模块、协议适配模块，其中：

路由模块，接收用户的外部请求，并转发到后端具体的应用服务器上去；

结果缓存模块，用于管理历史请求结果，便于后续请求使用这个结果，而无需花重新计算或查询；

黑名单模块，对用户的外部请求进行分析，判断是否为恶意请求，根据分析结果过滤用户恶意请求；

断路器模块，用于在具体服务出现故障时，直接返回请求结果；

负载均衡模块，对用户的外部请求进行统一的负载均衡；

权限认证模块，用于用户身份鉴权；

网络安全模块，包括请求协议的安全性及部署防火墙，来防止恶意攻击；

监控&日志模块，用于日志的记录、监控、及与监控配合进行限流；

协议适配模块，支持多种不同协议，实现对不同协议请求的适配，使网关能够正常转发请求。

2.根据权利要求1所述的一种基于Elasticsearch的服务网关，其特征在于，所述客户端设备是PC、移动终端、或者是用于发送并适配网关请求的其他设备。

3.根据权利要求1或2所述的一种基于Elasticsearch的服务网关，其特征在于，所述应用服务器支持人工智能、私有服务和第三方服务。

4.根据权利要求1或2所述的一种基于Elasticsearch的服务网关，其特征在于，所述协议适配模块实现对http、https、webservice不同协议的适配。

5.一种基于Elasticsearch服务网关的日志记录检索装置，其特征在于，该装置基于客户端、权利要求1或2的API网关、流量监控和服务管理，其实现过程如下：构建服务的统一管理，实现对服务的统一权限认证、统一入口和统一监控；定义服务请求过程中的日志结构；对日志索引的合理定义及切分；对日志记录的分析统计。

6.根据权利要求5所述的一种基于Elasticsearch服务网关的日志记录检索装置，其特征在于，其实现过程如下：

1）首先要建立对服务的统一管理、统一权限认证、统一入口和统一监控

1.1）实现对服务的统一管理，是指对服务基本信息的定义、以及对服务调用者身份的管理、服务调用白名单和黑名单的管理、服务调用限流的管理，服务调用者对服务申请的管理；由服务管理完成对服务的统一管理，数据以mysql存储，对于热数据存放到redis中，方便后续在API网关中对服务调用统一过滤的filter中使用；

1.2）实现对服务的统一入口，统一权限认证和统一监控，采用spring cloud zuul作为系统的统一入口，实现过程如下：

首先服务调用者在第一次调用服务之前，需要先申请token，token是基于无状态的jwt授权规范生成的对调用者身份鉴权的凭证，token中保存用户的ID信息；基于服务管理中统一的数据，调用者按照服务调用规范，携带token进行服务调用，网关中鉴权filter首先对token的有效性进行校验，解析用户ID，并根据用户ID确定调用者是否对调用的服务有申请权限；限流filter根据服务是否有调用次数限制进行控制；错误filter对调用过程中的系统异常进行统一捕获；路由filter对上述没有问题的请求进行统一的负载均衡；日志filter、错误filter对调用过程中的记录信息进行统一封装，然后发送到kafka中进行日志数据的再处理，其中：pre filters中日志filter实现对日志请求的记录，post filters中日志filter实现对日志请求返回结果的记录；

还包括：实现对不同协议请求的适配，包括http，https，webservice等不同协议的适配，使网关能够正常转发请求；

2）对服务调用全流程的日志结构进行定义，本着信息冗余的原则，对服务调用的全方位信息进行记录；

3）借助Kafka消息队列，实现对日志产生的发送和消费记录过程，保证日志记录的完成性；

4）对日志索引的合理定义及切分，合理估量日志产生的数量级，按照版本定义日志记录的索引模板，依托Elasticsearch的实时性，稳定性及横向扩展能力，对日志按照月度进行切分，实现对日志数据的合理存储；

5）对日志记录的分析统计，对日志数据进行合理的建模，辅以MySQL构建丰富的统计模型，通过控制配置，对网关调用服务的情况进行实时准确的反应。

7.根据权利要求6所述的一种基于Elasticsearch服务网关的日志记录检索装置，其特征在于，对服务基本信息的定义包括：请求参数、请求URL、请求协议、请求方式以及对响应数据的定义。

8.根据权利要求6所述的一种基于Elasticsearch服务网关的日志记录检索装置，其特征在于，对服务调用全流程的日志结构进行定义，是指：

2.1）定义日志记录信息：为了全方位的记录接口调用过程日志，在服务调用之前需要明确日志记录内容；

2.2）定义日志存储规则：日志记录是一个持续增加的过程，在记录日志之前需要明确日志存储的方式；

2.3）建立健全对日志记录的检索和监控：持续增加的日志记录，构建合适的分析模型，以便对服务接口进行全方位的监控。

9.根据权利要求6所述的一种基于Elasticsearch服务网关的日志记录检索装置，其特征在于，对日志记录的分析统计，是以web形式监控服务调用情况，在服务调用过程中，随着日志的产生，通过可视化的界面实时监控网关服务情况。