CN112968960A - 一种基于开源组件的微服务架构 - Google Patents

Abstract

本发明公开了一种基于开源组件的微服务架构体系，包括Nginx反向代理集群，SpringCloud Gateway应用网关集群，Nacos注册中心配置中心集群，OpenFeign服务调用组件，Spring Session分布式会话共享框架，Redis分布式缓存集群，Sentinel服务降级框架，MySQL数据库集群，Filebeat日志搜集工具，Kafka日志消息队列集群，Logstash日志过滤工具，Elasticsearch日志检索和储存集群，Kibana日志可视化应用，GitLab代码托管工具，Kubernetes容器编排引擎，Jenkins持续集成框架。本文提到的组件都是开源且在持续维护中，本发明公开了一种全新的微服务架构体系。

Description

一种基于开源组件的微服务架构

技术领域

本文涉及一种分布式微服务架构方法，具体来说，涉及一种基于Nacos， SpringCloud，Kubernetes，ELK(Elasticsearch+Logstash+Kibana)等组件的构建方法。

背景技术

早期的系统大多都是单体应用，这种系统的优点是便于开发、测试和部署，但是也有很大的缺点。

第一，单体应用随着开发迭代，会越来越庞大，代码复杂度高，部署耗时长；

第二，一个小功能的崩溃会导致整个应用的崩溃；

第三，不同模块之间无法拆分；

第四，团队成员必须使用同一种技术栈等等。

使用微服务可以方便的拆分不同的模块，每个应用单独开发部署，使研发可以高效的进行。

每个应用还可以很方便的进行扩展，可以有效的应对高并发的场景。

某个服务的崩溃不会影响其他的服务正常运行。

现在主流的微服务都是使用的Spring Cloud全套组件。

发明内容

本发明设计了一种全新的微服务架构。

技术方案为：

一种基于开源组件的微服务架构，其特征在于，包括网关层、应用层、存储层、基础设施层，其中：

网关层面包括Nginx反向代理集群；使用Nginx进行反向代理和负载均衡，用户请求的域名通过DNS轮询解析到不同的Nginx服务器集群，然后再由Nginx 转发到系统内部应用。作为优选，实施例还可以将Nginx作为静态服务器，将 JS，Html，Image等静态文件存储在上面。

网关层面包括SpringCloud Gateway应用网关集群；本发明将API网关层面使用SpringCloud Gateway，作为内部服务应用的入口。作为优选，实施例中 Gateway还可以用来进行网关鉴权、权限控制、限流控制、性能监控等等。

应用层面包括Nacos注册中心配置中心集群；使用Nacos作为注册中心，所有的服务实例在启动时都会注册到Nacos上，服务消费者通过注册中心查询服务提供者的地址，使得两者解耦，过注册中心的动态监控，提高服务治理能力。应用层面使用Nacos作为配置中心，集中管理所有服务的配置文件，使得服务的发布和配置的修改相互解耦，无需重新部署应用即可使相应配置信息生效，极大增强系统的运维能力。

应用层面包括OpenFeign服务调用组件；使用OpenFeign来统一管理所有的远程调用，相比传统使用Ribbon+RestTemplate，OpenFeign的封装性更好，让微服务之间的调用更加简单。

应用层面包括Spring Session分布式会话共享框架；使用SpringSession 实现会话共享，在分布式系统中，用户的每次请求都可能分配到不后台服务器，Session不能再交由具体的Tomcat容器管理。使用SpringSession可以很方便的管理Session信息，将信息储存到Redis中，可以简单快速的实现分布式会话共享。

应用层面包括Sentinel服务降级框架；使用Sentinel服务熔断降级框架，在服务调用链路出现不稳定的时候，对某个异常的资源调用进行限制，让请求快速失败，避免影响到其他正常的服务。

存储层面包括MySQL数据库集群；使用MySQL作为后台数据库，MySQL相比大型数据库，其成本低、开源、速度较快、历史悠久、社区用户活跃，可以持续使用不用担心其稳定性。

存储层面包括Redis数据库集群；使用Redis存储会话信息和缓存热数据。Redis数据库运行在内存中，速度快，可以作为MySQL数据库的缓存，分担MySQL数据库的压力。

存储层面包括Elasticsearch集群；使用ELK(Elasticsearch+Logstash +Kibana)+Filebeat实现日志搜集、分析、监控。在大型的分布式系统中，每个用户的日志信息会分散到不同的机器，如果我们手动进到每个服务器去查询日志会很繁琐。想要对海量的日志数据进行归档、搜索、多维度分析、监控。建立一个集中式的日志系统可以有效的解决这个问题，使用Filebeat在各个服务器中搜集日志，使用Logtash+Kafka进行日志传输和过滤，使用Elasticsearch 进行日志的存储。使用Kibana展示Web页面，可以对日志进行高效的搜索、可视化、分析等操作。

基础设施层面包括GitLab代码托管工具；GitHub作为开源代码库，同时提供公共仓库和私有仓库，但如果使用私有仓库，是需要付费的。实施例使用 GitLab解决了这个问题，可以在私人服务器中创建免费仓库。从代码的私有性上来看，GitLab是一个更好的选择。

基础设施层面包括Docker容器；使用Docker作为所有应用的容器，使得应用的打包和发布更加的简单快速。Docker容器可以在任意的平台上运行，使得迁移更加的容易。Docker容器具有兼容性和轻量性，可以让我们进行快速的扩容。

基础设施层面包括Kubernetes容器编排引擎；使用Kubernetes进行容器编排，Kubernetes天生高可用，具有负载均衡、自动扩容缩容和全自动容灾机制等功能。引入Kubernetes后，代码的发布、回滚变的非常简单。遇到集群中的某个宿主机宕机时，不需要人工去处理，Kubernetes可以自动处理。

基础设施层面包括Jenkins持续集成框架；使用Jenkins进行自动化部署，在一个大型的项目中，所有的应用都要打包成Docker镜像部署到宿主机中，如果人工操作将非常繁琐且容易出错。使用Jenkins可以很方便的自动打包、部署、启动，在项目的迭代过程中也交由Jenkins处理，极大提高运维能力。

本发明技术方案中：

网关层面采用Nginx，SpringCloud Gateway集群，作为服务的入口。应用层面采用Nacos作为注册中心和配置中心，Spring Session实现会话共享，OpenFeign框架实现远程调用，Sentinel框架实现服务熔断降级，Filebeat实现日志搜集，Kafka作为日志消息队列，Logstash实现日志过滤，Kibana实现日志可视化。存储层面采用MySQL数据库进行数据持久化，Redis存储会话信息和缓存热数据，Elasticsearch进行日志存储。基础设施层采用Gitlab进行代码托管，Kubernetes、Docker容器、Jenkins进行应用部署。

用户网页中的请求数据先通过网关层面的Nginx集群，转发到网关层面的Gateway集群，Gateway通过应用层面的注册中心Nacos查询到具体的IP地址后，转发到应用层面的一个具体应用。这个应用查询存储层面的MySQL数据库后将信息返回给用户。

附图说明

为了更清楚地说明本发明实例中的技术方案，下面将对实施例描述中所需要用的附图作简单的介绍。

图1为本发明的系统架构图。

图2为本发明的日志系统架构图。

图3为本发明的部署流程图。

具体实施方式

如图1所示，实施例基于开源组件的微服务架构，包括网关层、应用层、存储层、基础设施层，其中：

网关层面采用Nginx，SpringCloud Gateway集群，作为服务的入口。应用层面采用Nacos作为注册中心和配置中心，Spring Session实现会话共享， OpenFeign框架实现远程调用，Sentinel框架实现服务熔断降级，Filebeat实现日志搜集，Kafka作为日志消息队列，Logstash实现日志过滤，Kibana实现日志可视化。存储层面采用MySQL数据库进行数据持久化，Redis存储会话信息和缓存热数据，Elasticsearch进行日志存储。基础设施层采用Gitlab进行代码托管，Kubernetes、Docker容器、Jenkins进行应用部署。

作为实施例具体说明：

网关层面至少配置两台Nginx，一台提供服务，一台冗余，这两台分配相同的虚拟IP。使用Keepalived进行状态监测，当正在提供服务的Nginx宕机时，将流量自动迁移到冗余的Nginx上。当流量增大需要更多的Nginx集群时，使用 DNS轮询将流量分配到不同的Nginx上。

网关层面至少配置两台SpringCloud Gateway保证高可用，接收到Nginx的请求后，根据服务名在注册中心Nacos中查找到具体的IP，通过Ribbon负载均衡的分发到后台应用中。

应用层面至少配置两台Nacos保证高可用。作为注册中心，登记所有应用的 IP信息，并实时进行心跳检测，当某个应用宕机时，自动实现流量转移。作为配置中心，集中管理所有应用的配置文件，每个应用不在单独集成配置文件，通过请求配置中心来动态获取配置。

应用层面在所有的应用中单独封装多个接口，使用OpenFeign来统一管理所有的远程调用，封装性更好。不再每次调用时自己实现RestTemplate，造成繁琐且重复性高。

应用层面在有状态的前端应用中，使用Spring Session框架自动的管理 Session信息，将Session信息存储到Redis数据库中，不再由Tomcat等容器管理会话信息。

应用层面在请求频繁可能发生崩溃的远程调用涉及到的应用中，引入 Sentinel框架进行熔断或降级，避免影响到上游的调用链。

存储层面至少配置两台Redis，使用主从复制和哨兵机制实现高可用。Redis 中不仅可以存储Session数据，还可以缓存请求比较频繁的业务数据。当数据量增大时，至少配置三主三从集群保证某个Master节点宕机之后选举成功，此时使用一致性Hash算法使得扩容对整个分布式缓存集群影响最小。

存储层面至少配置4台MySQL，使用“主从同步，读写分离”实现数据库层的高可用。2台写库一个提供服务，一个冗余，采用Keepalived探测，使用相同的虚拟IP。2台读库均衡的承担所有的读请求，当某台故障时，数据库连接池可以探测到，自动进行流量转移。

如图2所示，基础设施层面在所有会产生日志的应用，打包成Docker容器时，先安装好Filebeat和Logtash，使用Filebeat收集日志，Logtash传输日志，Kafka作为传输消息队列，Logtash过滤日志，存储到Elasticsearch中，最后展示到Kibana的Web页面。至少配置3台Kafka，3台Elasticsearch，2 台Kibana保证高可用。

如图3所示部署流程，基础设施层面所有的应用开发完成之后先提交到代码仓库Gitlab，然后通过Jenkins打包成Docker镜像，推送到远程镜像仓库中去， Kubernetes拉取远程镜像仓库中的镜像，然后启动服务。

Claims (6)

1.一种基于开源组件的微服务架构，其特征在于，包括网关层、应用层、存储层、基础设施层。

2.如权利要求1所述基于开源组件的微服务架构，其特征在于，

网关层面包括Nginx反向代理集群；使用Nginx进行反向代理和负载均衡，用户请求的域名通过DNS轮询解析到不同的Nginx服务器集群，然后再由Nginx转发到系统内部应用；

网关层面包括SpringCloud Gateway应用网关集群；本发明将API网关层面使用SpringCloud Gateway，作为内部服务应用的入口。

3.如权利要求1所述基于开源组件的微服务架构，其特征在于，

应用层面包括Nacos注册中心配置中心集群；使用Nacos作为注册中心，所有的服务实例在启动时都会注册到Nacos上，服务消费者通过注册中心查询服务提供者的地址，使得两者解耦，过注册中心的动态监控，提高服务治理能力；应用层面使用Nacos作为配置中心，集中管理所有服务的配置文件，使得服务的发布和配置的修改相互解耦；

应用层面包括OpenFeign服务调用组件；使用OpenFeign来统一管理所有的远程调用；

应用层面包括Spring Session分布式会话共享框架；使用Spring Session实现会话共享，在分布式系统中，用户的每次请求都可能分配到不后台服务器，Session不能再交由具体的Tomcat容器管理；使用Spring Session管理Session信息，将信息储存到Redis中，实现分布式会话共享；

应用层面包括Sentinel服务降级框架；使用Sentinel服务熔断降级框架，在服务调用链路出现不稳定的时候，对某个异常的资源调用进行限制，让请求快速失败，避免影响到其他正常的服务。

4.如权利要求1所述基于开源组件的微服务架构，其特征在于，

存储层面包括MySQL数据库集群；使用MySQL作为后台数据库；

存储层面包括Redis数据库集群；使用Redis存储会话信息和缓存热数据；Redis数据库运行在内存中，作为MySQL数据库的缓存，分担MySQL数据库的压力；

存储层面包括Elasticsearch集群；使用ELK(Elasticsearch+Logstash+Kibana)+Filebeat实现日志搜集、分析、监控。

5.如权利要求1所述基于开源组件的微服务架构，其特征在于，

基础设施层面包括GitLab代码托管工具；使用GitLab创建私人的免费仓库；

基础设施层面包括Docker容器；使用Docker作为所有应用的容器；

Docker容器在任意的平台上运行；

基础设施层面包括Kubernetes容器编排引擎；使用Kubernetes进行容器编排；

基础设施层面包括Jenkins持续集成框架；所有的应用都要打包成Docker镜像部署到宿主机中；使用Jenkins自动打包、部署、启动，在项目的迭代过程中也交由Jenkins处理。

6.如权利要求1所述基于开源组件的微服务架构，其特征在于，

用户网页中的请求数据先通过网关层面的Nginx集群，转发到网关层面的Gateway集群，Gateway通过应用层面的注册中心Nacos查询到具体的IP地址后，转发到应用层面的一个具体应用。这个应用查询存储层面的MySQL数据库后将信息返回给用户。

Images