CN112468314A - 基于服务网格实现的日志服务自动化部署的方法 - Google Patents

基于服务网格实现的日志服务自动化部署的方法 Download PDF

Info

Publication number
CN112468314A
CN112468314A CN202011178906.4A CN202011178906A CN112468314A CN 112468314 A CN112468314 A CN 112468314A CN 202011178906 A CN202011178906 A CN 202011178906A CN 112468314 A CN112468314 A CN 112468314A
Authority
CN
China
Prior art keywords
service
grid
client
services
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011178906.4A
Other languages
English (en)
Other versions
CN112468314B (zh
Inventor
李海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Xinzhi Pratt & Whitney Information Technology Co ltd
Original Assignee
Guizhou Xinzhi Pratt & Whitney Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Xinzhi Pratt & Whitney Information Technology Co ltd filed Critical Guizhou Xinzhi Pratt & Whitney Information Technology Co ltd
Priority to CN202011178906.4A priority Critical patent/CN112468314B/zh
Publication of CN112468314A publication Critical patent/CN112468314A/zh
Application granted granted Critical
Publication of CN112468314B publication Critical patent/CN112468314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于服务网格实现的日志服务自动化部署的方法，该基于服务网格实现的日志服务自动化部署的方法包括以下步骤：响应于DNS查询服务的请求，Consul服务管理软件集群的服务端维护服务网格集群的信息，并提供DNS查询服务；客户端部署ELK应用，监控指定端口的访问状态；以及当监控的端口的访问状态为可访问状态时，客户端执行服务发现操作以及执行服务IP地址注册操作，将发现的相应的服务注册到对应的域名下，其中，ELK应用的各个组件被部署到不同的服务器，并且返回的IP地址的列表为随机排列地设置。

Description

基于服务网格实现的日志服务自动化部署的方法
技术领域
本发明涉及计算机领域，尤其涉及一种基于服务网格实现的日志服务自动化部署的方法以及应用了基于服务网格实现的日志服务自动化部署的方法的系统。
背景技术
在大规模ELK服务部署的场景中，如何让相关节点或相关服务互相知道对方的存在，一直是运维侧急需解决和改进的问题。传统的人工处理过程中，一旦某个服务的信息变更，例如增加或减少了节点，更换了IP地址或监听端口、节点故障宕机等，需要修改多个相关依赖此服务的应用配置，并手动重启生效。
发明内容
本发明的目的在于提供一种基于服务网格实现的日志服务自动化部署的方法以及系统，能够利用服务网格的优点，在大规模ELK服务组件的服务部署的场景中，实现其中任何一个服务的连接信息变更，都不影响其它服务对该连接信息变更的服务的访问，减少了运维工作量，提高了服务的稳定性。
为了实现上述至少一个发明目的，本发明提供了一种基于服务网格实现的日志服务自动化部署的方法，所述基于服务网格实现的日志服务自动化部署的方法包括以下步骤：
响应于DNS查询服务的请求，Consul服务管理软件集群的服务端维护服务网格集群的信息，并提供DNS查询服务；
客户端部署ELK应用，监控指定端口的访问状态；以及
当监控的端口的访问状态为可访问状态时，客户端执行服务发现操作以及执行服务IP地址注册操作，将发现的相应的服务注册到对应的域名下，
其中，ELK应用的各个组件被部署到不同的服务器，并且返回的IP地址的列表为随机排列地设置。
在一些实施例中，其中ELK应用包括Elastic Search、Logstash和Kibana三个服务组件的一种或者多种。
在一些实施例中，其中所述基于服务网格实现的日志服务自动化部署的方法还包括以下步骤：
客户端获取修改的IP地址，提取端口信息作为指定端口，执行对于访问状态的监控；
当监控到指定端口的访问状态为可访问状态时，对应服务的存在状态被判断为存在；
以及
客户端执行注册操作，将修改后的IP地址注册到对应的域名下。
在一些实施例中，其中当Elastic Search服务被判断为存在状态时，对应的IP地址被注册到elasticsearch.service.consul的域名下。
在一些实施例中，其中当Logstash服务被判断为存在状态时，对应的IP地址被注册到logstash.service.consul的域名下。
在一些实施例中，其中当Kibana服务被判断为存在状态时，对应的IP地址被注册到kibana.service.consul的域名下。
在一些实施例中，其中监控到不同的节点时，仅执行IP地址的修改。
根据本发明的另一方面，还提供一种基于服务网格实现的日志服务自动化部署的系统，所述基于服务网格实现的日志服务自动化部署的系统被配置为包括Consul服务管理软件集群的服务端和Consul服务管理软件集群的客户端，其中所述服务端包括多个服务端服务器，所述客户端包括多个的客户端服务器，其中所述服务端维护服务网格集群的信息，并提供DNS查询服务，其中所述客户端部署ELK应用，监控指定端口的访问状态，当访问状态的监控状态结果为可访问状态时，所述客户端发现相应的服务，将服务IP地址注册到对应的域名下。
在一些实施例中，其中ELK应用包括Elastic Search、Logstash和Kibana三个服务组件的一种或者多种。
在一些实施例中，其中不同的节点执行IP地址的修改，其中ELK的各组件被部署到不同的服务器上，所述客户端监控并发现相应的服务，注册到对应的域名下，其中返回的IP地址列表信息是随机排列地设置。
附图说明
图1是服务网格的结构示意图。
图2是根据本发明的一个优选实施例的一种基于服务网格实现的日志服务自动化部署的方法中，在服务器上部署Consul服务管理软件集群的架构图。
图3是根据本发明的上述优选实施例的所述基于服务网格实现的日志服务自动化部署的方法中Consul服务管理软件客户端添加配置的内容图展示。
图4是根据本发明的一个实施例的一种基于服务网格实现的日志服务自动化部署的系统的结构架构图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本发明提供了一种基于服务网格实现的日志服务自动化部署的方法以及系统，所述基于服务网格实现的日志服务自动化部署的系统应用了所述基于服务网格实现的日志服务自动化部署的方法。本发明的所述基于服务网格实现的日志服务自动化部署的方法以及所述基于服务网格实现的日志服务自动化部署的系统能够利用服务网格的优点，在大规模ELK服务组件的服务部署的场景中，实现其中任何一个服务的连接信息变更，都不影响其它服务对该连接信息变更的服务的访问，减少了运维工作量，提高了服务的稳定性。其中，ELK是Elastic Search(ES)、Logstash和Kibana三个服务组件的并称。ELK是日志采集、处理的应用服务集成。
如图1所示为“服务网格”(Service Mesh)的结构示意图，服务网格是伴随“微服务架构”而诞生的一种应用服务。非侵入式(Sidecar)地实现各微服务之间的路由通讯。而Consul软件是服务网格的的代表软件之一，能实现服务主动注册、被动注册，DNS解析，Key/Value存储等功能。
如图2至图3所示为基于本发明的优选实施例的一种基于服务网格实现的日志服务自动化部署的方法。如图2展示了在服务器上部署Consul服务管理软件集群的架构图，其中，服务端负责维护整个服务网格集群的信息，并对外提供DNS查询服务。客户端用于部署ELK应用，负责监控指定端口，发现并注册服务IP地址。也就是说，在具体的实施中，图2中右侧的服务端包括多个服务端服务器，服务端被配置为维护全部服务网格集群的信息，并响应于DNS查询请求，提供对应的DNS查询服务。图2中左侧的客户端包括多个客户端服务器，客户端被配置为部署ELK应用，监控指定端口，发现并注册服务IP地址。
图3是在具体的实施例中，Consul服务管理软件客户端添加配置的内容图展示。其中不同的节点只需要修改IP地址，从而实现服务发现功能，包括以下步骤：
部署ELK应用，监控指定端口的访问状态；
当本机9200端口为可访问状态时，ES服务被判断为存在于本机；
Consul客户端执行注册操作，将本机IP地址注册到elasticsearch.service.consul的域名下；
当本机9600端口为可访问状态时，Logstash服务被判断为存在于本机；
Consul客户端执行注册操作，将本机IP地址注册到logstash.service.consul的域名下；
当本机5601端口为可访问状态时，Kibana服务被判断为存在于本机；
Consul客户端执行注册操作，将本机IP地址注册到kibana.service.consul的域名下。
其中，还包括步骤：
服务端响应于DNS查询服务请求，提供DNS查询服务；
客户端获取修改的IP地址，提取端口信息作为指定端口，执行访问状态的监控；
当指定端口的访问状态为可访问时，对应服务存在状态被判断为存在；
客户端执行注册操作，将修改后的IP地址注册到对应的域名下。
如图4所示为基于本发明的实施例的一种基于服务网格实现的日志服务自动化部署的系统，应用了本发明的所述基于服务网格实现的日志服务自动化部署的方法。也就是说，本发明的所述基于服务网格实现的日志服务自动化部署的方法均能够被应用于所述基于服务网格实现的日志服务自动化部署的系统中。ELK各组件根据实际需求部署到不同的服务器上，Consul监控并发现相应的服务，注册到对应的域名下。访问服务只需要访问其域名就可以，并且Consul返回的IP列表是随机排列的，因此附带实现了负载均衡的功能。
因此，本发明的所述基于服务网格实现的日志服务自动化部署的系统在ELK集群中应用了服务网格之后，ELK各组件可以根据实际需求进行扩缩、迁移等操作，客户端对此无感知，无需更改配置文件中的服务器列表。并且实现了负载均衡，部分节点故障不影响整个集群对外继续提供服务。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (10)

1.一种基于服务网格实现的日志服务自动化部署的方法，其特征在于，所述基于服务网格实现的日志服务自动化部署的方法包括以下步骤：
响应于DNS查询服务的请求，Consul服务管理软件集群的服务端维护服务网格集群的信息，并提供DNS查询服务；
客户端部署ELK应用，监控指定端口的访问状态；以及
当监控的端口的访问状态为可访问状态时，客户端执行服务发现操作以及执行服务IP地址注册操作，将发现的相应的服务注册到对应的域名下，
其中，ELK应用的各个组件被部署到不同的服务器，并且返回的IP地址的列表为随机排列地设置。
2.如权利要求1所述的基于服务网格实现的日志服务自动化部署的方法，其中ELK应用包括Elastic Search、Logstash和Kibana三个服务组件的一种或者多种。
3.如权利要求1所述的基于服务网格实现的日志服务自动化部署的方法，其中所述基于服务网格实现的日志服务自动化部署的方法还包括以下步骤：
客户端获取修改的IP地址，提取端口信息作为指定端口，执行对于访问状态的监控；
当监控到指定端口的访问状态为可访问状态时，对应服务的存在状态被判断为存在；
以及
客户端执行注册操作，将修改后的IP地址注册到对应的域名下。
4.如权利要求3所述的基于服务网格实现的日志服务自动化部署的方法，其中当Elastic Search服务被判断为存在状态时，对应的IP地址被注册到elasticsearch.service.consul的域名下。
5.如权利要求3所述的基于服务网格实现的日志服务自动化部署的方法，其中当Logstash服务被判断为存在状态时，对应的IP地址被注册到logstash.service.consul的域名下。
6.如权利要求3所述的基于服务网格实现的日志服务自动化部署的方法，其中当Kibana服务被判断为存在状态时，对应的IP地址被注册到kibana.service.consul的域名下。
7.如权利要求1至6中任一所述的基于服务网格实现的日志服务自动化部署的方法，其中监控到不同的节点时，仅执行IP地址的修改。
8.一种基于服务网格实现的日志服务自动化部署的系统，其特征在于，所述基于服务网格实现的日志服务自动化部署的系统被配置为包括Consul服务管理软件集群的服务端和Consul服务管理软件集群的客户端，其中所述服务端包括多个服务端服务器，所述客户端包括多个的客户端服务器，其中所述服务端维护服务网格集群的信息，并提供DNS查询服务，其中所述客户端部署ELK应用，监控指定端口的访问状态，当访问状态的监控状态结果为可访问状态时，所述客户端发现相应的服务，将服务IP地址注册到对应的域名下。
9.如权利要求8所述的基于服务网格实现的日志服务自动化部署的系统，其中ELK应用包括Elastic Search、Logstash和Kibana三个服务组件的一种或者多种。
10.如权利要求8所述的基于服务网格实现的日志服务自动化部署的系统，其中不同的节点执行IP地址的修改，其中ELK的各组件被部署到不同的服务器上，所述客户端监控并发现相应的服务，注册到对应的域名下，其中返回的IP地址列表信息是随机排列地设置。
CN202011178906.4A 2020-10-29 2020-10-29 基于服务网格实现的日志服务自动化部署的方法 Active CN112468314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011178906.4A CN112468314B (zh) 2020-10-29 2020-10-29 基于服务网格实现的日志服务自动化部署的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011178906.4A CN112468314B (zh) 2020-10-29 2020-10-29 基于服务网格实现的日志服务自动化部署的方法

Publications (2)

Publication Number Publication Date
CN112468314A true CN112468314A (zh) 2021-03-09
CN112468314B CN112468314B (zh) 2022-11-04

Family

ID=74834215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011178906.4A Active CN112468314B (zh) 2020-10-29 2020-10-29 基于服务网格实现的日志服务自动化部署的方法

Country Status (1)

Country Link
CN (1) CN112468314B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710491A (zh) * 2022-03-31 2022-07-05 深圳昂楷科技有限公司 一种数据库集群的防护方法、数据库防火墙及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060168581A1 (en) * 2005-01-21 2006-07-27 Karl Goger Software deployment system
CN107229520A (zh) * 2017-04-27 2017-10-03 北京数人科技有限公司 一种数据中心操作系统
US20180307945A1 (en) * 2016-01-27 2018-10-25 Bonsai AI, Inc. Installation and operation of different processes of an an engine adapted to different configurations of hardware located on-premises and in hybrid environments
US20190028372A1 (en) * 2017-07-18 2019-01-24 Nicira, Inc. Programmatically diagnosing a software defined network
CN109597693A (zh) * 2018-09-25 2019-04-09 国网浙江省电力有限公司信息通信分公司 分布式软件系统中grpc通信协议的应用方法
CN111124601A (zh) * 2019-11-26 2020-05-08 江苏艾佳家居用品有限公司 一种基于自动初始化的主机容器自动发现方法
CN111147308A (zh) * 2019-12-30 2020-05-12 武汉市烽视威科技有限公司 基于微服务架构的网络管理方法和系统
CN111464648A (zh) * 2020-04-02 2020-07-28 聚好看科技股份有限公司 一种分布式本地dns系统及域名查询方法
CN111581284A (zh) * 2020-04-29 2020-08-25 上海中通吉网络技术有限公司 一种数据库高可用性方法、装置、系统和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060168581A1 (en) * 2005-01-21 2006-07-27 Karl Goger Software deployment system
US20180307945A1 (en) * 2016-01-27 2018-10-25 Bonsai AI, Inc. Installation and operation of different processes of an an engine adapted to different configurations of hardware located on-premises and in hybrid environments
CN107229520A (zh) * 2017-04-27 2017-10-03 北京数人科技有限公司 一种数据中心操作系统
US20190028372A1 (en) * 2017-07-18 2019-01-24 Nicira, Inc. Programmatically diagnosing a software defined network
CN109597693A (zh) * 2018-09-25 2019-04-09 国网浙江省电力有限公司信息通信分公司 分布式软件系统中grpc通信协议的应用方法
CN111124601A (zh) * 2019-11-26 2020-05-08 江苏艾佳家居用品有限公司 一种基于自动初始化的主机容器自动发现方法
CN111147308A (zh) * 2019-12-30 2020-05-12 武汉市烽视威科技有限公司 基于微服务架构的网络管理方法和系统
CN111464648A (zh) * 2020-04-02 2020-07-28 聚好看科技股份有限公司 一种分布式本地dns系统及域名查询方法
CN111581284A (zh) * 2020-04-29 2020-08-25 上海中通吉网络技术有限公司 一种数据库高可用性方法、装置、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄小锋等: "微服务框架介绍与实现", 《电脑与信息技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710491A (zh) * 2022-03-31 2022-07-05 深圳昂楷科技有限公司 一种数据库集群的防护方法、数据库防火墙及介质
CN114710491B (zh) * 2022-03-31 2024-04-26 深圳昂楷科技有限公司 一种数据库集群的防护方法、数据库防火墙及介质

Also Published As

Publication number Publication date
CN112468314B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US8756298B2 (en) System for automatic configuration of computers in a server farm
CN101951417B (zh) 多服务器地址分配方法、系统及中继设备
US7337473B2 (en) Method and system for network management with adaptive monitoring and discovery of computer systems based on user login
CN110990047B (zh) 用于多个微服务架构的融合方法及装置
CN101729412B (zh) 地理信息服务的分布式层次集群方法和系统
CN111464592A (zh) 基于微服务的负载均衡方法、装置、设备及存储介质
US20060080417A1 (en) Method, system and program product for automated topology formation in dynamic distributed environments
US20020124094A1 (en) Method and system for network management with platform-independent protocol interface for discovery and monitoring processes
EP3413511B1 (en) Vnfm determining method and network function virtualization orchestrator
US20030009551A1 (en) Method and system for a network management framework with redundant failover methodology
CN103945000B (zh) 一种负载均衡方法及负载均衡器
CN111200532A (zh) 数据库集群节点主从切换的方法、装置、设备和介质
CN107465721A (zh) 基于双活架构的全局负载均衡方法和系统及调度服务器
JPH10320361A (ja) 動的移動エージェント
US7818752B2 (en) Interface for application components
US10069941B2 (en) Scalable event-based notifications
CN102394764B (zh) 一种rfid网管的实现方法、系统及相关装置
CN110297867B (zh) 基于国产cpu和分布式容器集群的数据库集群运行方法及系统
JP2008263581A (ja) Ｒｆｉｄインフラストラクチャにおけるクラスタ化フィルタリングの方法および装置
CN113055252B (zh) 新增业务主机检测方法、装置、设备及存储介质
CN113347037B (zh) 一种数据中心访问方法及装置
CN102340410A (zh) 集群管理系统及方法
CN112468314B (zh) 基于服务网格实现的日志服务自动化部署的方法
CN112995273A (zh) 网络打通方案生成方法、装置、计算机设备和存储介质
CN110365743B (zh) 一种基于Zookeeper实现的支持多种可自定义负载算法的负载均衡器实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant