CN107769970A - 一种分布式系统中配置信息的处理方法及系统 - Google Patents

一种分布式系统中配置信息的处理方法及系统 Download PDF

Info

Publication number
CN107769970A
CN107769970A CN201710984085.5A CN201710984085A CN107769970A CN 107769970 A CN107769970 A CN 107769970A CN 201710984085 A CN201710984085 A CN 201710984085A CN 107769970 A CN107769970 A CN 107769970A
Authority
CN
China
Prior art keywords
configuration information
zookeeper
distributed
perform
distributed system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710984085.5A
Other languages
English (en)
Inventor
崔晶晶
于永新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd filed Critical BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority to CN201710984085.5A priority Critical patent/CN107769970A/zh
Publication of CN107769970A publication Critical patent/CN107769970A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0889—Techniques to speed-up the configuration process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Abstract

本发明公开一种分布式系统中配置信息的处理方法，其简单、可靠，能够保证及时加载最新的配置信息。该方法包括：(1)ZooKeeper服务器集群存储配置信息，在该ZooKeeper服务器集群上创建一个保存数据的节点；(2)提供一个配置管理的用户界面UI，用户通过UI修改ZooKeeper服务器集群节点上的配置信息；(3)分布式应用连接到ZooKeeper服务器集群上，监听配置信息的变化；(4)当配置信息发生变化时，分布式应用更新配置信息，否则保持配置信息。还有处理系统。

Description

一种分布式系统中配置信息的处理方法及系统
技术领域
本发明涉及分布式大数据处理的技术领域，尤其涉及一种分布式系统中配置信息的处理方法，以及分布式系统中配置信息的处理系统。
背景技术
在信息大爆炸的今天，单机程序或者单服务器程序显然无法应付海量数据的处理和分析。因此，将程序分布式化成了重要的课题。然而程序的分布式化面临的一个最严重的问题是：分布式程序的通信和统一管理问题。
试想一个分布在上百台机器上的应用程序，如果要修改应用程序的配置，例如日志级别、业务参数配置，目前有以下几种方案：
方法一：将配置信息保存在xml文件或者属性文件中。
在参数信息保存在xml或者属性文件中，当需要修改参数时，直接修改xml文件。这样无需重新编译，只需重新部署修改的文件即可。然后对所有的应用进行重新部署。这样做的缺点显而易见，要往上百台机器上重新部署应用，简直是一个噩梦。同时该方案还有一个缺点，就是配置修改无法做到实时生效，修改后往往过一段时间才能生效。
方法二：将配置信息保存在数据库中。
当需要修改参数时，直接修改数据库，然后重启分布式应用程序，或者刷新分布式应用的缓存。尽管这种做法比方法一简单，但却面临着单点失效问题。如果数据库服务器停机，则分布式应用程序的配置信息将无法更新。另外这种方案的配置修改生效实时性虽然比第一种方案好些，但仍然不能达到某些情况下的要求。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种分布式系统中配置信息的处理方法，其简单、可靠，能够保证及时加载最新的配置信息。
本发明的技术方案是：这种分布式系统中配置信息的处理方法，该方法包括以下步骤：
(1)ZooKeeper服务器集群存储配置信息，在该ZooKeeper服务器集群上创建一个保存数据的节点；
(2)提供一个配置管理的用户界面UI，用户通过UI修改ZooKeeper服务器集群节点上的配置信息；
(3)分布式应用连接到ZooKeeper服务器集群上，监听配置信息的变化；
(4)当配置信息发生变化时，分布式应用更新配置信息，否则保持配置信息。
修改配置信息时，用户通过UI修改ZooKeeper服务器集群节点上的配置信息，无需进行其他任何操作，配置自动生效，因此很简单；ZooKeeper服务集群具有无单点失效的特性，使整个系统更加可靠，即使ZooKeeper集群中的一台机器失效，也不会影响整体服务，更不会影响分布式应用配置信息的更新；ZooKeeper的数据更新通知机制，可以在数据发生变化后，立即通知给分布式应用，能够保证及时加载最新的配置信息。
还提供了一种分布式系统中配置信息的处理系统，该系统包括：
创建模块，其配置来ZooKeeper服务器集群存储配置信息，在该ZooKeeper服务器集群上创建一个保存数据的节点；
用户界面UI，其配置来提供一个配置管理的用户界面UI，用户通过UI修改ZooKeeper服务器集群节点上的配置信息；
监听模块，其配置来将分布式应用连接到ZooKeeper服务器集群上，监听配置信息的变化；
更新模块，其配置来当配置信息发生变化时，分布式应用更新配置信息，否则保持配置信息。
附图说明
图1所示为根据本发明的分布式系统中配置信息的处理方法的流程图。
具体实施方式
如图1所示，这种分布式系统中配置信息的处理方法，该方法包括以下步骤：
(1)ZooKeeper服务器集群存储配置信息，在该ZooKeeper服务器集群上创建一个保存数据的节点；
(2)提供一个配置管理的用户界面UI，用户通过UI修改ZooKeeper服务器集群节点上的配置信息；
(3)分布式应用连接到ZooKeeper服务器集群上，监听配置信息的变化；
(4)当配置信息发生变化时，分布式应用更新配置信息，否则保持配置信息。
修改配置信息时，用户通过UI修改ZooKeeper服务器集群节点上的配置信息，无需进行其他任何操作，配置自动生效，因此很简单；ZooKeeper服务集群具有无单点失效的特性，使整个系统更加可靠，即使ZooKeeper集群中的一台机器失效，也不会影响整体服务，更不会影响分布式应用配置信息的更新；ZooKeeper的数据更新通知机制，可以在数据发生变化后，立即通知给分布式应用，能够保证及时加载最新的配置信息。
另外，所述步骤(1)中，执行创建节点操作。
另外，所述步骤(2)中，执行设置节点数据操作。
另外，所述步骤(3)中，执行创建ZooKeeper客户端操作。
另外，所述步骤(3)中，监听配置信息的变化是执行获取节点数据操作，并注册一个监测器watcher。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种分布式系统中配置信息的处理系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统，该系统包括：
创建模块，其配置来ZooKeeper服务器集群存储配置信息，在该ZooKeeper服务器集群上创建一个保存数据的节点；
用户界面UI，其配置来提供一个配置管理的用户界面UI，用户通过UI修改ZooKeeper服务器集群节点上的配置信息；
监听模块，其配置来将分布式应用连接到ZooKeeper服务器集群上，监听配置信息的变化；
更新模块，其配置来当配置信息发生变化时，分布式应用更新配置信息，否则保持配置信息。
另外，所述创建模块中，执行创建节点操作。
另外，所述用户界面UI中，执行设置节点数据操作。
另外，所述监听模块中，执行创建ZooKeeper客户端操作。
另外，所述更新模块中，监听配置信息的变化是执行获取节点数据操作，并注册一个监测器watcher。
本发明的有益效果如下：
1.简单。尽管前期搭建ZooKeeper服务器集群较为麻烦，但是实现该方案后，修改配置整个过程变得简单很多。用户只要修改配置，无需进行其他任何操作，配置自动生效。
2.可靠。ZooKeeper服务集群具有无单点失效的特性，使整个系统更加可靠。即使ZooKeeper集群中的一台机器失效，也不会影响整体服务，更不会影响分布式应用配置信息的更新。
3.实时。ZooKeeper的数据更新通知机制，可以在数据发生变化后，立即通知给分布式应用程序，具有很强的变化响应能力。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.一种分布式系统中配置信息的处理方法，其特征在于：该方法包括以下步骤：
(1)ZooKeeper服务器集群存储配置信息，在该ZooKeeper服务器集群上创建一个保存数据的节点；
(2)提供一个配置管理的用户界面UI，用户通过UI修改ZooKeeper服务器集群节点上的配置信息；
(3)分布式应用连接到ZooKeeper服务器集群上，监听配置信息的变化；
(4)当配置信息发生变化时，分布式应用更新配置信息，否则保持配置信息。
2.根据权利要求1所述的分布式系统中配置信息的处理方法，其特征在于：所述步骤(1)中，执行创建节点操作。
3.根据权利要求2所述的分布式系统中配置信息的处理方法，其特征在于：所述步骤(2)中，执行设置节点数据操作。
4.根据权利要求3所述的分布式系统中配置信息的处理方法，其特征在于：所述步骤(3)中，执行创建ZooKeeper客户端操作。
5.根据权利要求4所述的分布式系统中配置信息的处理方法，其特征在于：所述步骤(3)中，监听配置信息的变化是执行获取节点数据操作，并注册一个监测器watcher。
6.一种分布式系统中配置信息的处理系统，其特征在于：该系统包括：
创建模块，其配置来ZooKeeper服务器集群存储配置信息，在该ZooKeeper服务器集群上创建一个保存数据的节点；
用户界面UI，其配置来提供一个配置管理的用户界面UI，用户通过UI修改ZooKeeper服务器集群节点上的配置信息；
监听模块，其配置来将分布式应用连接到ZooKeeper服务器集群上，监听配置信息的变化；
更新模块，其配置来当配置信息发生变化时，分布式应用更新配置信息，否则保持配置信息。
7.根据权利要求6所述的分布式系统中配置信息的处理系统，其特征在于：所述创建模块中，执行创建节点操作。
8.根据权利要求7所述的分布式系统中配置信息的处理系统，其特征在于：所述用户界面UI中，执行设置节点数据操作。
9.根据权利要求8所述的分布式系统中配置信息的处理系统，其特征在于：所述监听模块中，执行创建ZooKeeper客户端操作。
10.根据权利要求9所述的分布式系统中配置信息的处理系统，其特征在于：所述更新模块中，监听配置信息的变化是执行获取节点数据操作，并注册一个监测器watcher。
CN201710984085.5A 2017-10-20 2017-10-20 一种分布式系统中配置信息的处理方法及系统 Pending CN107769970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710984085.5A CN107769970A (zh) 2017-10-20 2017-10-20 一种分布式系统中配置信息的处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710984085.5A CN107769970A (zh) 2017-10-20 2017-10-20 一种分布式系统中配置信息的处理方法及系统

Publications (1)

Publication Number Publication Date
CN107769970A true CN107769970A (zh) 2018-03-06

Family

ID=61269004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710984085.5A Pending CN107769970A (zh) 2017-10-20 2017-10-20 一种分布式系统中配置信息的处理方法及系统

Country Status (1)

Country Link
CN (1) CN107769970A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885613A (zh) * 2019-01-03 2019-06-14 江苏智途科技股份有限公司 集群化数据规则处理方法
WO2021072967A1 (zh) * 2019-10-17 2021-04-22 厦门网宿有限公司 一种配置信息管理方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857371A (zh) * 2012-08-21 2013-01-02 曙光信息产业(北京)有限公司 一种面向集群系统的动态配置管理方法
CN102982141A (zh) * 2012-11-20 2013-03-20 北京搜狐新媒体信息技术有限公司 一种实现分布式数据库代理的方法及装置
CN104092718A (zh) * 2013-12-12 2014-10-08 腾讯数码（天津）有限公司 分布式系统及分布式系统中配置信息的更新方法
US20160004603A1 (en) * 2014-07-02 2016-01-07 Hedvig, Inc. Storage system with virtual disks
CN105610987A (zh) * 2016-03-18 2016-05-25 车智互联（北京）科技有限公司 管理服务器集群的方法、应用及系统
CN106375342A (zh) * 2016-10-21 2017-02-01 用友网络科技股份有限公司 一种基于zookeeper技术的系统集群方法及系统
CN106815012A (zh) * 2016-12-14 2017-06-09 深圳中顺易金融服务有限公司 基于Zookeeper的分布式配置统一管理方法及系统
CN106843930A (zh) * 2016-12-23 2017-06-13 江苏途致信息科技有限公司 基于zookeeper的流式动态配置更新架构及方法
CN106878053A (zh) * 2016-12-22 2017-06-20 努比亚技术有限公司 一种基于zookeeper的配置更新装置及其方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857371A (zh) * 2012-08-21 2013-01-02 曙光信息产业(北京)有限公司 一种面向集群系统的动态配置管理方法
CN102982141A (zh) * 2012-11-20 2013-03-20 北京搜狐新媒体信息技术有限公司 一种实现分布式数据库代理的方法及装置
CN104092718A (zh) * 2013-12-12 2014-10-08 腾讯数码（天津）有限公司 分布式系统及分布式系统中配置信息的更新方法
US20160004603A1 (en) * 2014-07-02 2016-01-07 Hedvig, Inc. Storage system with virtual disks
CN105610987A (zh) * 2016-03-18 2016-05-25 车智互联（北京）科技有限公司 管理服务器集群的方法、应用及系统
CN106375342A (zh) * 2016-10-21 2017-02-01 用友网络科技股份有限公司 一种基于zookeeper技术的系统集群方法及系统
CN106815012A (zh) * 2016-12-14 2017-06-09 深圳中顺易金融服务有限公司 基于Zookeeper的分布式配置统一管理方法及系统
CN106878053A (zh) * 2016-12-22 2017-06-20 努比亚技术有限公司 一种基于zookeeper的配置更新装置及其方法
CN106843930A (zh) * 2016-12-23 2017-06-13 江苏途致信息科技有限公司 基于zookeeper的流式动态配置更新架构及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885613A (zh) * 2019-01-03 2019-06-14 江苏智途科技股份有限公司 集群化数据规则处理方法
WO2021072967A1 (zh) * 2019-10-17 2021-04-22 厦门网宿有限公司 一种配置信息管理方法及装置

Similar Documents

Publication Publication Date Title
US11314723B1 (en) Anomaly detection
US11188619B2 (en) Single click delta analysis
US11755390B1 (en) Using keep-alive markers to extend redelivery deadlines
US11509706B1 (en) Customizable load balancing in a user behavior analytics deployment
US11086974B2 (en) Customizing a user behavior analytics deployment
US11615082B1 (en) Using a data store and message queue to ingest data for a data intake and query system
CN113254466B (zh) 一种数据处理方法、装置、电子设备和存储介质
US11947614B1 (en) Method and system for centralized multi-instance deployment consolidation
CN107562556B (zh) 故障的恢复方法、恢复装置及存储介质
CN103530218A (zh) 一种基于行为检测的监控触发方法
US20160210215A1 (en) Tracing source code for end user monitoring
CN109902073A (zh) 日志处理方法、装置、计算机设备和计算机可读存储介质
CN113608964A (zh) 一种集群自动化监控方法、装置、电子设备及存储介质
CN111010318A (zh) 发现物联网终端设备失联的方法、系统和设备影子服务器
US11379291B2 (en) Application logging mechanism
CN107769970A (zh) 一种分布式系统中配置信息的处理方法及系统
US11714980B1 (en) Techniques for using tag placement to determine 3D object orientation
US11676345B1 (en) Automated adaptive workflows in an extended reality environment
CN112219175A (zh) 用于管理技术安装的方法和系统
CN116126808A (zh) 行为日志记录方法、装置、计算机设备和存储介质
Li Online Experiment Platform: A Microservices-based Cloud Native Application
US11886277B2 (en) Systems, apparatuses, and methods for assessing recovery viability of backup databases
US11704285B1 (en) Metrics and log integration
Leach et al. Automated service monitoring in the deployment of ARCHER2
CN112506761A (zh) 一种生产环境服务端接口调试方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306

RJ01 Rejection of invention patent application after publication