CN104506638A - 多数据中心数据同步方法 - Google Patents

多数据中心数据同步方法 Download PDF

Info

Publication number
CN104506638A
CN104506638A CN201410838529.0A CN201410838529A CN104506638A CN 104506638 A CN104506638 A CN 104506638A CN 201410838529 A CN201410838529 A CN 201410838529A CN 104506638 A CN104506638 A CN 104506638A
Authority
CN
China
Prior art keywords
file
complete
data
file transfer
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410838529.0A
Other languages
English (en)
Inventor
贾璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SKYCLOUD RONGCHUANG SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
BEIJING SKYCLOUD RONGCHUANG SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SKYCLOUD RONGCHUANG SOFTWARE TECHNOLOGY Co Ltd filed Critical BEIJING SKYCLOUD RONGCHUANG SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201410838529.0A priority Critical patent/CN104506638A/zh
Publication of CN104506638A publication Critical patent/CN104506638A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种多数据中心数据同步方法，属于数据同步领域，本发明包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤。本发明能够对多数据中心的镜像模板提高自动化控制，实现自动同步功能和文件传输。

Description

多数据中心数据同步方法
技术领域
本发明属于数据同步领域，特别是涉及一种多数据中心数据同步方法。
背景技术
随着信息技术和网络技术的发展，分布式数据库和分布式信息系统得到越来越广泛的应用，各个分布数据库和应用系统问的数据同步问题也随之凸现。现有的多数据中心模板和快照系统不能在不同的节点进行数据文件的传输、不能提供多向的文件传输(即本地到远程、远程到bending、远程对远程之间的文件资源传输)、不支持断点续传的功能，同时现有技术还存在同步和共享过程中工作人员手动操作频繁，工作效率低下的问题，因此，急需提供一种解决现有技术问题的多数据中心模板和快照同步方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够对多数据中心的镜像模板提高自动化控制，实现自动同步功能和文件传输的多数据中心数据同步方法。
为实现上述目的，本发明提供了一种多数据中心数据同步方法，包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤；
所述查询数据文件是否存在的步骤按以下方法实现：
通过JSch对象目标连接到目的服务器，通过执行Shell查询命令查询目的服务器该文件是否存在；
如果数据文件存在，检查该数据文件的MD5值，通过检查该数据文件在目标服务器和本地数据中心的MD5值是否匹配，获得文件是否完整的信息；
所述传输文件的步骤按以下方法实现：
A1、获取传输命令信息；
A2、创建传输线程；
A3、根据目标服务器的IP地址创建ChannelSftp实例对象；
A4、设置传输模式和文件监控；
A5、将目标文件名加临时文件后缀，启动传输；
A6、将传输完成的文件名改成正确名称；
所述在文件传输时对传输进度进行监控的步骤按以下方法实现：
检查文件传输是否完毕，当文件传输完毕时，更新任务状态后结束；当文件传输未完毕时，更新传输任务表中最新进度后继续检查文件传输是否完毕，直到文件传输完毕。
较佳的，所述步骤检查文件传输是否完毕通过JSch提供的SftpProgressMonitor接口来检查文件传输是否完毕。
本发明的有益效果是：本发明能够对多数据中心的镜像模板提高自动化控制，实现自动同步功能和文件传输。
具体实施方式
下面结合实施例对本发明作进一步说明：
一种多数据中心数据同步方法，包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤；
所述查询数据文件是否存在的步骤按以下方法实现：
通过JSch对象目标连接到目的服务器，通过执行Shell查询命令查询目的服务器该文件是否存在；
如果数据文件存在，检查该数据文件的MD5值，通过检查该数据文件在目标服务器和本地数据中心的MD5值是否匹配，获得文件是否完整的信息；
所述传输文件的步骤按以下方法实现：
A1、获取传输命令信息；
A2、创建传输线程；
A3、根据目标服务器的IP地址创建ChannelSftp实例对象；
A4、设置传输模式和文件监控；
A5、将目标文件名加临时文件后缀，启动传输；
A6、将传输完成的文件名改成正确名称；
所述在文件传输时对传输进度进行监控的步骤按以下方法实现：
检查文件传输是否完毕，当文件传输完毕时，更新任务状态后结束；当文件传输未完毕时，更新传输任务表中最新进度后继续检查文件传输是否完毕，直到文件传输完毕。
本实施例中，所述步骤检查文件传输是否完毕通过JSch提供的SftpProgressMonitor接口来检查文件传输是否完毕。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (2)

1.一种多数据中心数据同步方法，其特征在于包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤；
所述查询数据文件是否存在的步骤按以下方法实现：
通过JSch对象目标连接到目的服务器，通过执行Shell查询命令查询目的服务器该文件是否存在；
如果数据文件存在，检查该数据文件的MD5值，通过检查该数据文件在目标服务器和本地数据中心的MD5值是否匹配，获得文件是否完整的信息；
所述传输文件的步骤按以下方法实现：
A1、获取传输命令信息；
A2、创建传输线程；
A3、根据目标服务器的IP地址创建ChannelSftp实例对象；
A4、设置传输模式和文件监控；
A5、将目标文件名加临时文件后缀，启动传输；
A6、将传输完成的文件名改成正确名称；
所述在文件传输时对传输进度进行监控的步骤按以下方法实现：
检查文件传输是否完毕，当文件传输完毕时，更新任务状态后结束；当文件传输未完毕时，更新传输任务表中最新进度后继续检查文件传输是否完毕，直到文件传输完毕。
2.如权利要求1所述的多数据中心数据同步方法，其特征是：所述步骤检查文件传输是否完毕通过JSch提供的SftpProgressMonitor接口来检查文件传输是否完毕。
CN201410838529.0A 2014-12-30 2014-12-30 多数据中心数据同步方法 Pending CN104506638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410838529.0A CN104506638A (zh) 2014-12-30 2014-12-30 多数据中心数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410838529.0A CN104506638A (zh) 2014-12-30 2014-12-30 多数据中心数据同步方法

Publications (1)

Publication Number Publication Date
CN104506638A true CN104506638A (zh) 2015-04-08

Family

ID=52948353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410838529.0A Pending CN104506638A (zh) 2014-12-30 2014-12-30 多数据中心数据同步方法

Country Status (1)

Country Link
CN (1) CN104506638A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513502A (zh) * 2022-02-16 2022-05-17 中银金融科技有限公司 文件处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054800A1 (en) * 2002-08-28 2004-03-18 Samir Shah Content synchronization frameworks using dynamic attributes and file bundles for connected devices
CN103853748A (zh) * 2012-11-29 2014-06-11 天津书生投资有限公司 一种数据库同步方法
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统
CN104243527A (zh) * 2013-06-20 2014-12-24 华为技术有限公司 数据同步方法、数据同步装置及分布式系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054800A1 (en) * 2002-08-28 2004-03-18 Samir Shah Content synchronization frameworks using dynamic attributes and file bundles for connected devices
CN103853748A (zh) * 2012-11-29 2014-06-11 天津书生投资有限公司 一种数据库同步方法
CN104243527A (zh) * 2013-06-20 2014-12-24 华为技术有限公司 数据同步方法、数据同步装置及分布式系统
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LONGYG: "JSch - Java实现的SFTP（文件上传详解篇）", 《HTTP://WWW.CNBLOGS.COM/LONGYG/ARCHIVE/2012/06/25/2556576.HTML》 *
王开煊: "多数据中心非结构化数据复制方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513502A (zh) * 2022-02-16 2022-05-17 中银金融科技有限公司 文件处理方法、装置、电子设备及存储介质
CN114513502B (zh) * 2022-02-16 2024-01-26 中银金融科技有限公司 文件处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10270648B2 (en) Configuration information management method, device, network element management system and storage medium
US10229181B2 (en) System and method for synchronizing data between communication devices in a networked environment without a central server
CN104486319B (zh) 适用于高可用系统的配置文件实时同步方法及其系统
CN102546267B (zh) 网络设备的自动配置方法和管理服务器
CN103139157B (zh) 一种基于socket的网络通信方法、装置及系统
TW201730790A (zh) 實體機資料遷移至雲端的方法、裝置和系統
CN102523118A (zh) 一种局域网内多套控制计算机构成的冗余控制系统与方法
CN105579983A (zh) 提供对等系统标识的基板管理控制器
CN104391705A (zh) 一种应用于高可用集群软件的分布式自动化测试框架
TWI564794B (zh) 供有指令檔以轉換命令的裝置
KR101453671B1 (ko) 전력계통 감시 및 제어 시스템을 위한 통합 인터페이스 시스템
CN105430026A (zh) 基于多种控制策略的云盘数据同步方法
US20140108484A1 (en) Method and system for optimizing distributed transactions
CN110896363B (zh) 实现iec61850智能装置即插即用的接入配置方法
CN106201666A (zh) 一种分布式事务实现方法
CN109299116B (zh) 一种数据同步方法、装置、设备及可读存储介质
CN105117251A (zh) 一种外挂芯片式远程刷新电源firmware的设计方法
CN104270455A (zh) 一种数据传输方法、装置及系统
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
JP4550604B2 (ja) 設定情報同期プログラム
CN104506638A (zh) 多数据中心数据同步方法
CN107656796B (zh) 一种虚拟机冷迁移方法、系统及设备
CN105607606A (zh) 一种基于双主板架构的数据采集装置及方法
US9749860B2 (en) Peer-to-peer wireless connection between server computing device and mobile client computing device for authentication and server management
CN107273047B (zh) 一种缓存管理方法、缓存管理器及存储管理软件

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150408

RJ01 Rejection of invention patent application after publication