CN105872056A - 一种快速同步计算机集群数据的方法和系统 - Google Patents

一种快速同步计算机集群数据的方法和系统 Download PDF

Info

Publication number
CN105872056A
CN105872056A CN201610198149.4A CN201610198149A CN105872056A CN 105872056 A CN105872056 A CN 105872056A CN 201610198149 A CN201610198149 A CN 201610198149A CN 105872056 A CN105872056 A CN 105872056A
Authority
CN
China
Prior art keywords
node
data
file
transmission blocks
state information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610198149.4A
Other languages
English (en)
Other versions
CN105872056B (zh
Inventor
朱红
刘羽
吕文静
金莲
倪琼琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201610198149.4A priority Critical patent/CN105872056B/zh
Publication of CN105872056A publication Critical patent/CN105872056A/zh
Application granted granted Critical
Publication of CN105872056B publication Critical patent/CN105872056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种快速同步计算机集群数据的方法和系统，属于计算机集群管理技术领域；本发明利用集群系统中每个节点上都设有数据发送模块和数据接收模块，通过数据发送模块和数据接收模块的相互作用，可以自适应节点间数据同步，通过集群内部的数据读取和调节，保证集群系统的数据同步，可广泛的用于计算机集群中。

Description

一种快速同步计算机集群数据的方法和系统
技术领域
本发明公开一种快速同步计算机集群数据的方法和系统，属于计算机集群管理技术领域。
背景技术
随着国内高性能计算的发展，目前在许多大学、研究所、超算中心、企业都部署了小型、中型、甚至是大型的超级计算机。这些超级计算机少则拥有数十个计算节点，多则拥有上万个计算节点。在集群使用过程中，众多的节点之间的数据传输常常出现需要同步的情况，而当前的数据同步方式，比如cp，scp，rsync都是使用主从的模式，即一个数据的提供方和一个数据的接收方的方式。数据的接收方接收并直接覆盖相应的文件，比如cp和scp；或者和发送方数据进行比较，如果发送方的文件时间戳更新，则覆盖接收方的对应文件，否则保留接收方的文件，比如rsync。但是这种模式，从单一源的同步在节点数增多时，时间会线性增加，对于成千上万个节点的集群，其同步的时间开销将难以接受。即如果单纯的把一个节点作为输出方，其他多个节点作为接收方，并行的数据同步并不能加快同步的效率。而本发明提供一种快速同步计算机集群数据的方法和系统，可以自适应节点间数据同步，通过集群内部的数据读取和调节，保证集群系统的数据同步，可广泛的用于计算机集群中。
发明内容
本发明针对现有技术中的问题，提供一种快速同步计算机集群数据的方法和系统，有效的使并行的数据同步，提高大集群的数据传输效率。
本发明提出的具体方案是：
一种快速同步计算机集群数据的方法：
集群系统中每个节点上都设有数据发送模块和数据接收模块，
某一节点的数据发送模块向预备同步数据的所有节点的数据接收模块请求文件信息，
预备同步数据的所有节点的数据接收模块向发起请求节点的数据发送模块反馈相关文件信息，并设置自身节点的文件同步状态信息，
发起请求节点的数据发送模块，请求预备同步数据的所有节点的文件同步状态信息，根据节点的文件同步状态信息，传送数据，
接收了数据的节点的数据接收模块，把数据发送模块发送的全部相关数据写入到磁盘中，进行一致性校验，并启动自身数据发送模块，重复第一个发起请求节点的数据发送模块根据节点的文件同步状态信息传送数据的操作，直至所有预备同步数据的节点数据同步完成。
发起请求节点的数据发送模块，根据节点的文件同步状态信息，判断是否向该节点传输数据，若需要传输，则向该节点传送数据，否则跳过该节点，查询下一节点文件同步状态信息。
发起请求节点的数据发送模块，根据节点的文件同步状态信息，判断是否向该节点传输预备同步的文件列表和各个文件的效验码，若需要传输，则向该节点传送数据，否则跳过该节点，查询下一节点文件同步状态信息。
集群系统节点的数据接收模块将文件同步状态信息设置为未同步、同步中、同步结束。
发起请求节点的数据发送模块，根据节点的文件同步状态信息，判断是未同步，则向该节点传送数据，否则跳过该节点，查询下一节点文件同步状态信息。
一种快速同步计算机集群数据的系统，包括集群系统中每个节点上的数据发送模块和数据接收模块，
其中某一节点的数据发送模块向预备同步数据的所有节点的数据接收模块请求文件信息，
预备同步数据的所有节点的数据接收模块向发起请求节点的数据发送模块反馈相关文件信息，并设置自身节点的文件同步状态信息，
发起请求节点的数据发送模块，请求预备同步数据的所有节点的文件同步状态信息，根据节点的文件同步状态信息，传送数据，
接收了数据的节点的数据接收模块，把数据发送模块发送的全部相关数据写入到磁盘中，进行一致性校验，并启动自身数据发送模块重复第一个发起请求节点的数据发送模块的操作，直至所有预备同步数据的节点数据同步完成。
一种数据发送模块，应用于快速同步计算机集群数据，
所述的数据发送模块向其他节点请求文件信息；
把预备同步的文件信息发送给其他节点；
把预备同步的节点信息发送给其他节点；
读取本节点文件的数据，并发送给其他节点。
一种数据接收模块，应用于快速同步计算机集群数据，
所述的数据接收模块接收其他节点的请求，并反馈文件相关信息；
接收其他节点发送的预备同步的文件信息；
把接收到的文件写入到对应的位置；
校验写入文件和源文件的一致性；
设置自身节点的文件同步状态信息；
启动自身节点的数据发送模块。
所述的数据接收模块，设置自身节点的文件同步状态信息为未同步、同步中、同步结束。
本发明的有益之处是：
本发明方法利用集群系统中每个节点上都设有数据发送模块和数据接收模块，某一节点的数据发送模块向预备同步数据的所有节点的数据接收模块请求文件信息，预备同步数据的所有节点的数据接收模块向发起请求节点的数据发送模块反馈相关文件信息，并设置自身节点的文件同步状态信息，发起请求节点的数据发送模块，请求预备同步数据的所有节点的文件同步状态信息，根据节点的文件同步状态信息，传送数据，接收了数据的节点的数据接收模块，把数据发送模块发送的全部相关数据写入到磁盘中，进行一致性校验，并启动自身数据发送模块重复第一个发起请求节点的数据发送模块的操作，直至所有预备同步数据的节点数据同步完成；本发明可以自适应节点间数据同步，通过集群内部的数据读取和调节，并且数据接收模块可以启动自身数据发送模块重复第一个发起请求节点的数据发送模块的操作，形成数据同步循环，保证集群系统的数据同步，可广泛的用于计算机集群中。
附图说明
图1本发明方法的流程示意图。
具体实施方式
一种快速同步计算机集群数据的方法：
集群系统中每个节点上都设有数据发送模块和数据接收模块，
某一节点的数据发送模块向预备同步数据的所有节点的数据接收模块请求文件信息，
预备同步数据的所有节点的数据接收模块向发起请求节点的数据发送模块反馈相关文件信息，并设置自身节点的文件同步状态信息，
发起请求节点的数据发送模块，请求预备同步数据的所有节点的文件同步状态信息，根据节点的文件同步状态信息，传送数据，
接收了数据的节点的数据接收模块，把数据发送模块发送的全部相关数据写入到磁盘中，进行一致性校验，并启动自身数据发送模块，重复第一个发起请求节点的数据发送模块根据节点的文件同步状态信息传送数据的操作，直至所有预备同步数据的节点数据同步完成。
根据上述方法及发明内容，结合附图对本发明做进一步说明。
本发明还提供一种数据发送模块和一种数据接收模块，应用于快速同步计算机集群数据，
其中所述的数据发送模块向其他节点请求文件信息；把预备同步的文件信息发送给其他节点；把预备同步的节点信息发送给其他节点；读取本节点文件的数据，并发送给其他节点。
而所述的数据接收模块接收其他节点的请求，并反馈文件相关信息；接收其他节点发送的预备同步的文件信息；把接收到的文件写入到对应的位置；校验写入文件和源文件的一致性；设置自身节点的文件同步状态信息；启动自身节点的数据发送模块。
启动集群系统中所有节点的数据接收模块，利用本发明方法，启动某一节点nodeX的数据发送模块，并向预备同步数据的所有节点，node1、node2、node3…nodeN的数据接收模块请求某文件的信息，比如文件夹存在性，状态，文件列表，以及是否可读性等信息；
预备同步数据的所有节点，node1、node2、node3…nodeN的数据接收模块向节点nodeX的数据发送模块反馈相关信息，并把自身节点的文件同步状态信息设置为未同步；
节点nodeX中的数据发送模块可以依次请求预备同步数据的节点列表中的节点数据接收模块的文件同步状态信息，如果是未同步，则开始向该节点传输预备同步的文件列表和各个文件的效验码；并开始向该节点传送数据；如果状态信息为同步中或者同步结束，则跳过该节点，向下一个节点请求信息；
数据接收模块在接收了节点nodeX发送的预备同步的文件列表和各个文件的效验码之后，把文件同步状态信息设置为同步中，并开始接收节点nodeX发送的文件数据，并把相关数据写入到磁盘中，并进行一致性校验；
根据预备同步数据的节点列表中的顺序，节点列表第一个节点node1的数据接收模块在接收了所有数据之后，把文件同步状态信息设置为同步结束，并启动自身数据发送模块；执行节点nodeX的数据发送模块根据预备同步数据的节点列表的中节点的文件同步状态信息，传送数据，比如节点node1的数据发送模块请求的列表中某一节点的文件同步状态信息，如果仍是未同步，则进行该节点传输预备同步的文件列表和各个文件的效验码的操作；如果状态信息为同步中或者同步结束，则跳过该节点，向下一个节点请求信息；
而接收数据节点的数据接收模块进行相应的操作，直至所有预备同步数据的节点数据同步完成。

Claims (9)

1.一种快速同步计算机集群数据的方法，其特征是
集群系统中每个节点上设有数据发送模块和数据接收模块，
某一节点的数据发送模块向预备同步数据的所有节点的数据接收模块请求文件信息，
预备同步数据的所有节点的数据接收模块向发起请求节点的数据发送模块反馈相关文件信息，并设置自身节点的文件同步状态信息，
发起请求节点的数据发送模块，请求预备同步数据的所有节点的文件同步状态信息，根据节点的文件同步状态信息，传送数据，
接收了数据的节点的数据接收模块，把数据发送模块发送的全部相关数据写入到磁盘中，进行一致性校验，并启动自身数据发送模块，重复第一个发起请求节点的数据发送模块根据节点的文件同步状态信息传送数据的操作，直至所有预备同步数据的节点数据同步完成。
2.根据权利要求1所述的方法，其特征是发起请求节点的数据发送模块，根据节点的文件同步状态信息，判断是否向该节点传输数据，若需要传输，则向该节点传送数据，否则跳过该节点，查询下一节点文件同步状态信息。
3.根据权利要求2所述的方法，其特征是发起请求节点的数据发送模块，根据节点的文件同步状态信息，判断是否向该节点传输预备同步的文件列表和各个文件的效验码，若需要传输，则向该节点传送数据，否则跳过该节点，查询下一节点文件同步状态信息。
4.根据权利要求2或3所述的方法，其特征是集群系统节点的数据接收模块将文件同步状态信息设置为未同步、同步中、同步结束。
5.根据权利要求4所述的方法，其特征是发起请求节点的数据发送模块，根据节点的文件同步状态信息，判断是未同步，则向该节点传送数据，否则跳过该节点，查询下一节点文件同步状态信息。
6.一种快速同步计算机集群数据的系统，其特征是包括集群系统中每个节点上的数据发送模块和数据接收模块，
其中某一节点的数据发送模块向预备同步数据的所有节点的数据接收模块请求文件信息，
预备同步数据的所有节点的数据接收模块向发起请求节点的数据发送模块反馈相关文件信息，并设置自身节点的文件同步状态信息，
发起请求节点的数据发送模块，请求预备同步数据的所有节点的文件同步状态信息，根据节点的文件同步状态信息，传送数据，
接收了数据的节点的数据接收模块，把数据发送模块发送的全部相关数据写入到磁盘中，进行一致性校验，并启动自身数据发送模块重复第一个发起请求节点的数据发送模块的操作，直至所有预备同步数据的节点数据同步完成。
7.一种数据发送模块，其特征是应用于快速同步计算机集群数据，
所述的数据发送模块向其他节点请求文件信息；
把预备同步的文件信息发送给其他节点；
把预备同步的节点信息发送给其他节点；
读取本节点文件的数据，并发送给其他节点。
8.一种数据接收模块，其特征是应用于快速同步计算机集群数据，
所述的数据接收模块接收其他节点的请求，并反馈文件相关信息；
接收其他节点发送的预备同步的文件信息；
把接收到的文件写入到对应的位置；
校验写入文件和源文件的一致性；
设置自身节点的文件同步状态信息；
启动自身节点的数据发送模块。
9.根据权利要求8所述的数据接收模块，其特征是设置自身节点的文件同步状态信息为未同步、同步中、同步结束。
CN201610198149.4A 2016-04-01 2016-04-01 一种快速同步计算机集群数据的方法和系统 Active CN105872056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610198149.4A CN105872056B (zh) 2016-04-01 2016-04-01 一种快速同步计算机集群数据的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610198149.4A CN105872056B (zh) 2016-04-01 2016-04-01 一种快速同步计算机集群数据的方法和系统

Publications (2)

Publication Number Publication Date
CN105872056A true CN105872056A (zh) 2016-08-17
CN105872056B CN105872056B (zh) 2019-03-08

Family

ID=56626755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610198149.4A Active CN105872056B (zh) 2016-04-01 2016-04-01 一种快速同步计算机集群数据的方法和系统

Country Status (1)

Country Link
CN (1) CN105872056B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106972980A (zh) * 2017-02-24 2017-07-21 山东中创软件商用中间件股份有限公司 一种应用服务器集群的一致性验证方法及装置
CN107239505A (zh) * 2017-05-10 2017-10-10 广州杰赛科技股份有限公司 集群镜像同步方法和系统
CN107995194A (zh) * 2017-12-04 2018-05-04 上海鑫苑信息科技有限公司 一种多媒体播控系统及其文件分发方法
CN108647256A (zh) * 2018-04-23 2018-10-12 平安科技（深圳）有限公司 文件同步方法、装置、计算机装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015436A1 (en) * 2003-05-09 2005-01-20 Singh Ram P. Architecture for partition computation and propagation of changes in data replication
CN102025756A (zh) * 2009-09-09 2011-04-20 中兴通讯股份有限公司 分布式系统及其数据同步方法
CN104348884A (zh) * 2013-08-08 2015-02-11 中国科学院计算机网络信息中心 一种云存储自动同步方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015436A1 (en) * 2003-05-09 2005-01-20 Singh Ram P. Architecture for partition computation and propagation of changes in data replication
CN102025756A (zh) * 2009-09-09 2011-04-20 中兴通讯股份有限公司 分布式系统及其数据同步方法
CN104348884A (zh) * 2013-08-08 2015-02-11 中国科学院计算机网络信息中心 一种云存储自动同步方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106972980A (zh) * 2017-02-24 2017-07-21 山东中创软件商用中间件股份有限公司 一种应用服务器集群的一致性验证方法及装置
CN107239505A (zh) * 2017-05-10 2017-10-10 广州杰赛科技股份有限公司 集群镜像同步方法和系统
CN107239505B (zh) * 2017-05-10 2020-09-15 广州杰赛科技股份有限公司 集群镜像同步方法和系统
CN107995194A (zh) * 2017-12-04 2018-05-04 上海鑫苑信息科技有限公司 一种多媒体播控系统及其文件分发方法
CN108647256A (zh) * 2018-04-23 2018-10-12 平安科技（深圳）有限公司 文件同步方法、装置、计算机装置及存储介质

Also Published As

Publication number Publication date
CN105872056B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN105872056A (zh) 一种快速同步计算机集群数据的方法和系统
CN106372221B (zh) 一种文件同步的方法、设备及系统
CN101447884B (zh) 一种网元之间协作实现软件升级的方法、设备及系统
CN101573940B (zh) 用于tcp高可用性的方法和装置
CN1211963C (zh) 电信网同步
CN102456052B (zh) 一种嵌入式设备与数据库数据同步方法
CN101883108B (zh) 动态认证的文件传输方法及系统
CN102609479B (zh) 一种内存数据库节点复制方法
CN102404338A (zh) 一种文件同步方法和装置
CN102035687A (zh) Tcp连接的备份方法及其设备
CN100531060C (zh) 基于流水号生成增量数据的方法
WO2011082581A1 (zh) 网管数据配置管理方法及系统
WO2010025677A1 (zh) 一种执行同步的方法、装置和系统
CN112202877B (zh) 网关联动方法、网关、云服务器及用户终端
CN103731465A (zh) 分布式系统及其事务处理方法
CN102831038B (zh) Enum-dns的容灾方法及enum-dns
CN103200146A (zh) 终端和服务器的数据同步方法和装置
CN103368969B (zh) 传输管理eml-nml间全量配置同步的方法及系统
EP1805946A1 (en) Maintaining a view of a cluster's membership
CN111343220B (zh) 转发器、分布式文件传输方法、系统、介质及电子设备
EP1805947A1 (en) Installing a new view of a cluster membership
CN110018875A (zh) 一种基于idv的桌面同步实现方法
CN113364633B (zh) 一种面向高机动环境的容器集群动态构建方法
CN113742424B (zh) 基于rpa的自然资源一体化跨网动态表单数据同步方法
JP6922241B2 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant