CN104378427A - 一种保持集群关键数据一致性的方法 - Google Patents
一种保持集群关键数据一致性的方法 Download PDFInfo
- Publication number
- CN104378427A CN104378427A CN201410643199.XA CN201410643199A CN104378427A CN 104378427 A CN104378427 A CN 104378427A CN 201410643199 A CN201410643199 A CN 201410643199A CN 104378427 A CN104378427 A CN 104378427A
- Authority
- CN
- China
- Prior art keywords
- node
- module
- cluster
- data
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000008439 repair process Effects 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000005538 encapsulation Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种保持集群关键数据一致性的方法，其实现过程为：设置由若干节点组成的集群，每个集群的节点均由检测模块、数据更新模块和发送与接收模块组成；给每个节点编号；当一个节点自身的关键数据产生变化时，检测模块检测到并通知给接收和发送模块，接收和发送模块将发生改变的关键数据进行封装后，以组播的方式向整个集群节点所在的网络进行发送；集群其它节点的接收与发送模块接收到上述封装后的数据包后，由更新模块负责对本机的关键数据进行更新。该一种保持集群关键数据一致性的方法与现有技术相比，可维护集群中各个节点内需要维持同步的数据，保持数据的一致性，使集群内节点不会因数据的不一致而引发其它问题。
Description
技术领域
本发明涉及集群数据保护技术领域，具体地说是一种实用性强、保持集群关键数据一致性的方法。
背景技术
在集群应用越来越广泛的今天，集群高可用和集群运维的自动化是集群管理中一个非常重要的问题，高可用概念与运维自动化概要极为相近，都是为了提高集群系统的业务连续性，使集群系统能够在尽可能长的时间内，连续的无故障的提供较高的业务支持能力。为了确保集群的高可用性，就需要在集群的各个节点之内放置一部份相同的数据，以便节点在出现故障的时候能够及时准确的进行资源与服务的接管。基于此，现提供一种保持集群关键数据一致性的方法。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、保持集群关键数据一致性的方法。
一种保持集群关键数据一致性的方法，其具体实现过程为：
一、设置由若干节点组成的集群，每个集群的节点均由检测模块、数据更新模块和发送与接收模块组成，其中检测模块用于检测系统中数据文件的更新状态以及文件是否损坏；数据更新模块用来在确认数据需要更新时对数据文件进行更新；发送与接收模块则负责接收其它节点的信息与发送本节点往外传输的信息；
二、给每个节点编号，该号码为唯一的节点名称；
三、当一个节点自身的关键数据产生变化时，同属于该节点的检测模块检测到，并通知给接收和发送模块，接收和发送模块将发生改变的关键数据进行封装后，以组播的方式向整个集群节点所在的网络进行发送；
四、集群其它节点的接收与发送模块接收到上述封装后的数据包后，传递给自身的检测模块，检测模块判断确认该数据包属于哪个节点的关键数据，并将数据包中的信息传输给更新模块，由更新模块负责对本机的关键数据进行更新。
所述节点自身的关键数据包括每个节点的IP地址、存储资源和应用服务。
所述关键数据进行封装后的数据包中包含的内容包括：节点名称，发生变化的文件，发生变化的数据，发生变化的时间。
所述集群的每个节点内部还设置有修复模块，该修复模块负责对文件进行自动修复，即修复模块接收检测模块的指令并与接收和发送模块进行交互后完成文件修复。
所述节点内部的自动修复过程为：
1）节点中的检测模块在检测关键数据更新的同时，对节点内关键数据存放文件的文件完整性进行检测；
2）当检测模块发现节点中某个存储关键数据的文件损坏后，通知修复模块，修复模块将所需要的文件信息传送给发送与接收模块；
3）发送与接收模块按照节点的编号顺序，顺序向集群中的节点发送关键数据文件的传送请求；
4）当被请求的节点存在并处于活动状态，则在接收到此请求后向该请求节点发送所请求的关键数据文件，请求节点在接收到被请求节点发送来的关键数据文件后，修复模块使用此文件来修复本节点损坏的文件；
5）当被请求节点不处于活动的状态，则顺延向下一节点发送请求，依次循环，直至请求被接收并回复。
所述接收与发送模块、检测模块均在节点启动后处于系统的后台运行，其中接收与发送模块负责接收集群网络内其它节点发送的组播数据，并负责将本节点的数据以组播的方式发送到集群网络其它节点；检测模块监视系统关键数据的更新情况和关键文件的完整性，更新模块与修复模块在被检测模块调用的时候才会启动，完成检测模块所交付的任务后结束，直至下次被调用。
本发明的一种保持集群关键数据一致性的方法，具有以下优点：
该发明的一种保持集群关键数据一致性的方法用于维护集群中各个节点内需要维持同步的数据，保持数据的一致性，使集群内节点不会因数据的不一致而引发其它问题；同时在数据文件损坏时还能够自动的进行修复，提高产品的高可用性，实用性较强，能够节省人力，有效确保了服务器集群的稳定性，适用范围广泛，易于推广。
附图说明
附图1为本发明的集群结构图。
附图2为本发明的自动修复流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
本发明提供一种保持集群关键数据一致性的方法，如附图1、图2所示，其具体实现过程为：
一、设置由若干节点组成的集群，每个集群的节点均由检测模块、数据更新模块和发送与接收模块组成，其中检测模块用于检测系统中数据文件的更新状态以及文件是否损坏；数据更新模块用来在确认数据需要更新时对数据文件进行更新；发送与接收模块则负责接收其它节点的信息与发送本节点往外传输的信息。
二、对集群当中的每个节点进行编号，如节点1、节点2等，确定每个节点在集群内都有属于自己的不重复的节点名称。
三、集群中的节点，例如节点2，在节点自身的关键数据产生了变化时，例如自身的IP地址改变，会被节点自身的检测模块监测到，检测模块在监测到本节点的关键数据发生了变化后，会立即通知接收与发送模块，将发生改变的关键数据进行封装，通过接收与发送模块以组播的方式 ，向整个集群节点所在的网络进行发送。
四、集群中的其它节点的接收与发送模块接收到节点2发送出的数据之后，传递给节点自身的检测模块，检测模块经过对接收到的信息进行判断，确认是属于某个节点的关键数据产生了变化而发送出的数据封包后，将数据包中的信息传输给更新模块，由更新模块负责对本机的关键数据进行更新。
这样就能够有效避免因数据不一致而引发的问题，这些问题包括出现故障时的节点资源接管、应用服务接替等问题。
所述节点自身的关键数据包括每个节点的IP地址、存储资源和应用服务。
所述关键数据进行封装后的数据包中包含的内容包括：节点名称，发生变化的文件，发生变化的数据，发生变化的时间。
所述集群的每个节点内部还设置有修复模块，该修复模块负责对文件进行自动修复，即修复模块接收检测模块的指令并与接收和发送模块进行交互后完成文件修复，从而在节点发现文件损坏的情况下通过对集群中的其它的节点发送请求来修复自身的损坏文件。
所述节点内部的自动修复过程为：
1）节点中的检测模块在检测关键数据更新的同时，对节点内关键数据存放文件的文件完整性进行检测；
2）当检测模块发现节点中某个存储关键数据的文件损坏后，通知修复模块，修复模块将所需要的文件信息传送给发送与接收模块；
3）向节点1发送关键数据文件的传送请求，若节点1存在并处于活动状态，则在接收到此请求后向该请求节点发送所请求的关键数据文件，请求节点在接收到节点1发送来的关键数据文件后，修复模块使用此文件来修复本节点损坏的文件
5）若节点1不处于活动的状态，则顺延向节点2发送请求，若节点2也不处于活动的状态，则继续向节点3发送请求，依次类推，直至请求被接收并回复为止。
检测模块在节点启动后就一直处于系统的后台运行，监视着系统关键数据的更新情况和关键文件的完整性，更新模块与修复模块只有在被检测模块调用的时候才会启动，完成检测模块所交付的任务后就会结束，直至下次被调用。接收与发送模块和检测模块相同，都是在节点启动后就一直处于系统后台运行的模块，接收与发送模块承担着接收集群网络内其它节点发送的组播数据的任务，也负责将本节点的数据以组播的方式发送到集群网络其它节点的任务。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种保持集群关键数据一致性的方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (6)
1.一种保持集群关键数据一致性的方法，其特征在于，其具体实现过程为：
一、设置由若干节点组成的集群，每个集群的节点均由检测模块、数据更新模块和发送与接收模块组成，其中检测模块用于检测系统中数据文件的更新状态以及文件是否损坏；数据更新模块用来在确认数据需要更新时对数据文件进行更新；发送与接收模块则负责接收其它节点的信息与发送本节点往外传输的信息；
二、给每个节点编号，该号码为唯一的节点名称；
三、当一个节点自身的关键数据产生变化时，同属于该节点的检测模块检测到，并通知给接收和发送模块，接收和发送模块将发生改变的关键数据进行封装后，以组播的方式向整个集群节点所在的网络进行发送；
四、集群其它节点的接收与发送模块接收到上述封装后的数据包后，传递给自身的检测模块，检测模块判断确认该数据包属于哪个节点的关键数据，并将数据包中的信息传输给更新模块，由更新模块负责对本机的关键数据进行更新。
2.根据权利要求1所述的一种保持集群关键数据一致性的方法，其特征在于，所述节点自身的关键数据包括每个节点的IP地址、存储资源和应用服务。
3.根据权利要求1所述的一种保持集群关键数据一致性的方法，其特征在于，所述关键数据进行封装后的数据包中包含的内容包括：节点名称，发生变化的文件，发生变化的数据，发生变化的时间。
4.根据权利要求1所述的一种保持集群关键数据一致性的方法，其特征在于，所述集群的每个节点内部还设置有修复模块，该修复模块负责对文件进行自动修复，即修复模块接收检测模块的指令并与接收和发送模块进行交互后完成文件修复。
5.根据权利要求4所述的一种保持集群关键数据一致性的方法，其特征在于，所述节点内部的自动修复过程为：
1）节点中的检测模块在检测关键数据更新的同时，对节点内关键数据存放文件的文件完整性进行检测；
2）当检测模块发现节点中某个存储关键数据的文件损坏后，通知修复模块，修复模块将所需要的文件信息传送给发送与接收模块；
3）发送与接收模块按照节点的编号顺序，顺序向集群中的节点发送关键数据文件的传送请求；
4）当被请求的节点存在并处于活动状态，则在接收到此请求后向该请求节点发送所请求的关键数据文件，请求节点在接收到被请求节点发送来的关键数据文件后，修复模块使用此文件来修复本节点损坏的文件；
5）当被请求节点不处于活动的状态，则顺延向下一节点发送请求，依次循环，直至请求被接收并回复。
6.根据权利要求5所述的一种保持集群关键数据一致性的方法，其特征在于，所述接收与发送模块、检测模块均在节点启动后处于系统的后台运行，其中接收与发送模块负责接收集群网络内其它节点发送的组播数据，并负责将本节点的数据以组播的方式发送到集群网络其它节点；检测模块监视系统关键数据的更新情况和关键文件的完整性，更新模块与修复模块在被检测模块调用的时候才会启动，完成检测模块所交付的任务后结束，直至下次被调用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410643199.XA CN104378427A (zh) | 2014-11-14 | 2014-11-14 | 一种保持集群关键数据一致性的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410643199.XA CN104378427A (zh) | 2014-11-14 | 2014-11-14 | 一种保持集群关键数据一致性的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104378427A true CN104378427A (zh) | 2015-02-25 |
Family
ID=52557073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410643199.XA Pending CN104378427A (zh) | 2014-11-14 | 2014-11-14 | 一种保持集群关键数据一致性的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104378427A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183692A (zh) * | 2015-09-22 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种集群系统设备间数据通信方法与系统 |
| CN106603640A (zh) * | 2016-12-05 | 2017-04-26 | 北京中交兴路信息科技有限公司 | 一种数据同步的方法及装置 |
| CN106682200A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇虎科技有限公司 | 集群间的数据同步方法及装置 |
| CN108595670A (zh) * | 2018-04-28 | 2018-09-28 | 金蝶蝶金云计算有限公司 | 一种数据存储方法、装置、计算机装置及存储介质 |
| CN112448983A (zh) * | 2019-09-02 | 2021-03-05 | 广州彩熠灯光股份有限公司 | 一种将多个物理设备集群为一逻辑设备的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101232514A (zh) * | 2008-01-24 | 2008-07-30 | 创新科存储技术（深圳）有限公司 | 网络附加存储节点的元数据同步方法及网络附加存储节点 |
| WO2010027849A1 (en) * | 2008-08-26 | 2010-03-11 | Caringo, Inc. | Shared namespace for storage clusters |
| CN102521297A (zh) * | 2011-11-30 | 2012-06-27 | 北京人大金仓信息技术股份有限公司 | 无共享数据库集群中实现系统动态扩展的方法 |
| CN104079623A (zh) * | 2014-05-08 | 2014-10-01 | 深圳市中博科创信息技术有限公司 | 多级云存储同步控制方法及系统 |
-
2014
- 2014-11-14 CN CN201410643199.XA patent/CN104378427A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101232514A (zh) * | 2008-01-24 | 2008-07-30 | 创新科存储技术（深圳）有限公司 | 网络附加存储节点的元数据同步方法及网络附加存储节点 |
| WO2010027849A1 (en) * | 2008-08-26 | 2010-03-11 | Caringo, Inc. | Shared namespace for storage clusters |
| CN102521297A (zh) * | 2011-11-30 | 2012-06-27 | 北京人大金仓信息技术股份有限公司 | 无共享数据库集群中实现系统动态扩展的方法 |
| CN104079623A (zh) * | 2014-05-08 | 2014-10-01 | 深圳市中博科创信息技术有限公司 | 多级云存储同步控制方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183692A (zh) * | 2015-09-22 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种集群系统设备间数据通信方法与系统 |
| CN106603640A (zh) * | 2016-12-05 | 2017-04-26 | 北京中交兴路信息科技有限公司 | 一种数据同步的方法及装置 |
| CN106682200A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇虎科技有限公司 | 集群间的数据同步方法及装置 |
| CN108595670A (zh) * | 2018-04-28 | 2018-09-28 | 金蝶蝶金云计算有限公司 | 一种数据存储方法、装置、计算机装置及存储介质 |
| CN108595670B (zh) * | 2018-04-28 | 2021-05-14 | 金蝶蝶金云计算有限公司 | 一种数据存储方法、装置、计算机装置及存储介质 |
| CN112448983A (zh) * | 2019-09-02 | 2021-03-05 | 广州彩熠灯光股份有限公司 | 一种将多个物理设备集群为一逻辑设备的方法 |
| CN112448983B (zh) * | 2019-09-02 | 2023-09-19 | 广州彩熠灯光股份有限公司 | 一种将多个物理设备集群为一逻辑设备的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104378427A (zh) | 一种保持集群关键数据一致性的方法 | |
| CN103414916B (zh) | 一种故障诊断系统及方法 | |
| CN102185718B (zh) | 一种系统升级方法及其装置 | |
| CN101083557B (zh) | 一种基于snmp的ip网络集群管理方法 | |
| CN104038376A (zh) | 一种管理真实服务器的方法、装置及lvs集群系统 | |
| WO2015139359A1 (zh) | 无线网络维护方法、装置和系统 | |
| CN102263667A (zh) | 网络管理系统以及网络管理处理方法 | |
| CN105227385A (zh) | 一种故障处理的方法及系统 | |
| CN105357048A (zh) | 网络设备数据同步方法和系统 | |
| CN103139018A (zh) | 一种调变一体化系统下的网卡状态监测与tcp通信方法 | |
| CN112416969A (zh) | 分布式数据库中的并行任务调度系统 | |
| US10277719B2 (en) | RTU serial communication mechanism | |
| CN107547374B (zh) | 一种聚合路由处理方法和装置 | |
| CN102136965A (zh) | 一种隧道故障检测方法和流量工程节点 | |
| CN110213359B (zh) | 一种基于d2d的车联网组网数据推送系统和方法 | |
| CN103559198A (zh) | 一种数据同步的方法及设备 | |
| CN103457748A (zh) | 数据传输方法、系统和设备 | |
| CN109189403B (zh) | 操作系统os批量安装方法、装置和网络设备 | |
| CN103888545A (zh) | 一种分布式系统中全局型数据的处理方法和装置 | |
| CN105743695A (zh) | 一种基于iec104 规约的监听方法及系统 | |
| CN105471654A (zh) | 一种基于fc网络的配置数据自动加载方法 | |
| CN104683288A (zh) | 消息续传方法和装置 | |
| CN102752144A (zh) | 一种软重启不中断业务升级过程中拓扑变化的处理方法及装置 | |
| CN104052624A (zh) | 一种配置管理方法及装置 | |
| CN103914339A (zh) | 服务器管理系统及服务器管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150225 |