CN109150754A - 可调异地容灾队列处理系统及方法 - Google Patents

可调异地容灾队列处理系统及方法 Download PDF

Info

Publication number
CN109150754A
CN109150754A CN201810932342.5A CN201810932342A CN109150754A CN 109150754 A CN109150754 A CN 109150754A CN 201810932342 A CN201810932342 A CN 201810932342A CN 109150754 A CN109150754 A CN 109150754A
Authority
CN
China
Prior art keywords
server
transmission
source
data
transferred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810932342.5A
Other languages
English (en)
Inventor
衡春露
黄疆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810932342.5A priority Critical patent/CN109150754A/zh
Publication of CN109150754A publication Critical patent/CN109150754A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/622—Queue service order
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了可调异地容灾队列处理系统及方法，源服务器，用于负责本地数据备份的源服务器；源端传输服务器，用于本地数据传输的服务器；目标端传输服务器，用于异地数据传输的服务器；目标服务器：用于放置在异地容灾数据中心，接收并存储本地传输的数据；传输阶段，传输阶段包括：源端传输和异地传输，其中，源端传输，用于将源服务器中的数据直接传输到目标服务器；异地传输，用于将源服务器中的数据先传输到源端传输服务器，由源端传输服务器传输到目标服务器。本发明有益效果：基于队列的数据传输技术，不仅能够控制传输过程，从而避免在传输阶段发生异常故障以及导致数据丢失的情况，而且极大提高数据异地容灾过程中数据完整性和可靠性。

Description

可调异地容灾队列处理系统及方法
技术领域
本发明涉及数据异地容灾技术领域，具体来说，涉及一种可调异地容灾队列处理系统及方法。
背景技术
大数据时代，数据中心的异地容灾变得非常重要。备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等，异地容灾解决方案的出现则可通过在不同地点建立灾备系统，从而进一步提高数据抵抗各种可能安全因素的容灾能力。
数据在异地容灾的过程中，如何保证数据的完整性和可靠性是灾备系统应该重点考虑的问题，重点涉及到的因素有网络、传输时间、数据量及缓存空间等方面。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述技术问题，本发明提出一种可调异地容灾队列处理系统，能够不仅能够控制传输过程，从而避免在传输阶段发生异常故障以及导致数据丢失的情况，而且极大提高数据异地容灾过程中数据完整性和可靠性。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种可调异地容灾队列处理系统，包括：
源服务器，用于负责本地数据备份的源服务器；
源端传输服务器，用于本地数据传输的服务器；
目标端传输服务器，用于异地数据传输的服务器；
目标服务器：用于放置在异地容灾数据中心，接收并存储本地传输的数据。
传输阶段，所述传输阶段包括：源端传输和异地传输，其中，
所述源端传输，用于将源服务器中的数据直接传输到目标服务器；
所述异地传输，用于将源服务器中的数据先传输到源端传输服务器，由源端传输服务器传输到目标服务器。
进一步地，所述传输阶段还包括目标传输，所述目标传输，用于将源服务器中的数据传输到源端传输服务器，由源端传输服务器传输到目标传输服务器，再由目标端传输服务器传输到目标服务器。
进一步地，还包括：
源端缓存空间，用于将源端传输服务器中本地备份的数据传输到本地缓存服务器；
目标端缓存空间，用于将目标端传输服务器中目标端的数据传输缓存。
本发明另一方面，提供一种可调异地容灾队列处理方法，包括如下步骤：
S1在数据异地容灾备份开始前，确认原服务器和目标服务器；
S2 在源端传输服务器上选择已备份的数据，将要传输到目标服务器；
S3 在目标服务器上选择存储空间，接收并存储原服务器的备份数据；
S4 确认源端传输服务器和目标端传输服务器；
S5传输阶段，所述传输阶段包括：源端传输和异地传输，其中，
通过源端传输将源服务器中的数据直接传输到目标服务器；
通过异地传输将源服务器中的数据先传输到源端传输服务器，由源端传输服务器传输到目标服务器。
进一步地，所述传输阶段还包括目标传输，通过目标传输将源服务器中的数据传输到源端传输服务器，由源端传输服务器传输到目标传输服务器，再由目标端传输服务器传输到目标服务器。
进一步地，还包括：
将源端传输服务器中本地备份的数据传输到本地缓存服务器；
将目标端传输服务器中目标端的数据传输缓存。
本发明的有益效果：基于队列的数据传输技术，不仅能够控制传输过程，从而避免在传输阶段发生异常故障以及导致数据丢失的情况，而且极大提高数据异地容灾过程中数据完整性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的可调异地容灾队列处理系统的示意图；
图2是根据本发明实施例所述的可调异地容灾队列处理系统的界面图之一；
图3是根据本发明实施例所述的可调异地容灾队列处理系统的截面图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1-3所述，根据本发明实施例所述的一种可调异地容灾队列处理系统，包括：
源服务器，用于负责本地数据备份的源服务器；
源端传输服务器，用于本地数据传输的服务器；
目标端传输服务器，用于异地数据传输的服务器；
目标服务器：用于放置在异地容灾数据中心，接收并存储本地传输的数据。
传输阶段，所述传输阶段包括：源端传输和异地传输，其中，
所述源端传输，用于将源服务器中的数据直接传输到目标服务器，是整个传输队列的必要条件；
所述异地传输，用于将源服务器中的数据先传输到源端传输服务器，由源端传输服务器传输到目标服务器。
在本发明的一个具体实施例中，所述传输阶段还包括目标传输，所述目标传输，用于将源服务器中的数据传输到源端传输服务器，由源端传输服务器传输到目标传输服务器，再由目标端传输服务器传输到目标服务器。
在本发明的一个具体实施例中，还包括：
源端缓存空间，用于将源端传输服务器中本地备份的数据传输到本地缓存服务器，减小源服务器的压力；
目标端缓存空间，用于将目标端传输服务器中目标端的数据传输缓存，减小目标端接收数据的压力。
如图1-3所述，本发明另一方面，提供一种可调异地容灾队列处理方法，包括如下步骤：
S1在数据异地容灾备份开始前，确认原服务器和目标服务器；
S2 在源端传输服务器上选择已备份的数据，将要传输到目标服务器；
S3 在目标服务器上选择存储空间，接收并存储原服务器的备份数据；
S4 确认源端传输服务器和目标端传输服务器；
S5传输阶段，所述传输阶段包括：源端传输和异地传输，其中，
通过源端传输将源服务器中的数据直接传输到目标服务器中，是整个传输队列的必要条件；
通过异地传输将源服务器中的数据先传输到源端传输服务器，由源端传输服务器传输到目标服务器。
在本发明的一个具体实施例中，所述传输阶段还包括目标传输，通过目标传输将源服务器中的数据传输到源端传输服务器，由源端传输服务器传输到目标传输服务器，再由目标端传输服务器传输到目标服务器。
在本发明的一个具体实施例中，还包括：
将源端传输服务器中本地备份的数据传输到本地缓存服务器；
将目标端传输服务器中目标端的数据传输缓存。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时，在数据异地容灾备份开始前，首先确认原服务器和目标服务器；
在源端传输服务器上选择已备份的数据，将要传输到目标服务器；
在目标服务器上选择存储空间，用于存放原服务器的备份数据；
确认源端服务器、源端缓存空间、目标传输服务器和目标缓存空间；
默认启用源端传输，保证源服务器中的数据传输到目标服务器中；
启用源端传输和异地传输将源服务器中的数据传输到源端传输服务器中，再由源端传输服务器传输到目标服务器中；
启用源端传输、异地传输以及目标传输，负责将源服务器中的数据传输到源端传输服务器，由源端传输服务器传输到目标端传输服务器，再由目标端传输服务器传输到目标服务器中；
启用自动暂停源端传输、异地传输和目标传输，保证数据在源端传输阶段、异地传输阶段和目标传输阶段，每个传输阶段可调整数据传输队列的状态，是否继续传输或者暂停。
其中，
启动【自动暂停源端传输】传输暂停在源端传输阶段，不会开始复制，如果需要让数据集继续复制，需在数据集页面手动点击相应数据集的“继续”操作；
启动【自动暂停异地传输】传输暂停在异地传输阶段，不会进行复制，如果需要让数据集继续复制，需在数据集页面手动点击相应数据集的“继续”操作；
启动【自动暂停目标传输】传输暂停在目标传输阶段，不会进行复制，如果需要让数据集继续复制，需在数据集页面手动点击相应数据集的“继续”操作；
调整任务的执行开始时间、结束时间；备份数据集的开始时间和结束时间；调整数据集传输的大小和时间窗口，保证数据传输的每一个阶段；
发送异地数据容灾任务，等待数据传输完成，任务结束。
综上所述，借助于本发明的上述技术方案，基于队列的数据传输技术，依据选择的任务传输的开始、结束时间以及数据量的开始、结束时间，不仅能够控制每一传输阶段过程，从而避免在传输阶段发生异常故障以及导致数据丢失的情况，而且极大提高数据异地容灾过程中数据完整性和可靠性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种可调异地容灾队列处理系统，其特征在于，包括：
源服务器，用于负责本地数据备份的源服务器；
源端传输服务器，用于本地数据传输的服务器；
目标端传输服务器，用于异地数据传输的服务器；
目标服务器：用于放置在异地容灾数据中心，接收并存储本地传输的数据；
传输阶段，所述传输阶段包括：源端传输和异地传输，其中，
所述源端传输，用于将源服务器中的数据直接传输到目标服务器；
所述异地传输，用于将源服务器中的数据先传输到源端传输服务器，由源端传输服务器传输到目标服务器。
2.根据权利要求1所述的可调异地容灾队列处理系统，其特征在于，所述传输阶段还包括目标传输，
所述目标传输，用于将源服务器中的数据传输到源端传输服务器，由源端传输服务器传输到目标传输服务器，再由目标端传输服务器传输到目标服务器。
3.根据权利要求1或2所述的可调异地容灾队列处理系统，其特征在于，还包括：
源端缓存空间，用于将源端传输服务器中本地备份的数据传输到本地缓存服务器；
目标端缓存空间，用于将目标端传输服务器中目标端的数据传输缓存。
4.一种可调异地容灾队列处理方法，其特征在于，包括如下步骤：
S1在数据异地容灾备份开始前，确认原服务器和目标服务器；
S2 在源端传输服务器上选择已备份的数据，将要传输到目标服务器；
S3 在目标服务器上选择存储空间，接收并存储原服务器的备份数据；
S4 确认源端传输服务器和目标端传输服务器；
S5传输阶段，所述传输阶段包括：源端传输和异地传输，其中，
通过源端传输将源服务器中的数据直接传输到目标服务器；
通过异地传输将源服务器中的数据先传输到源端传输服务器，由源端传输服务器传输到目标服务器。
5.根据权利要求4所述的可调异地容灾队列处理方法，其特征在于，所述传输阶段还包括目标传输，通过目标传输将源服务器中的数据传输到源端传输服务器，由源端传输服务器传输到目标传输服务器，再由目标端传输服务器传输到目标服务器。
6.根据权利要求4或5所述的可调异地容灾队列处理方法，其特征在于，还包括：
将源端传输服务器中本地备份的数据传输到本地缓存服务器；
将目标端传输服务器中目标端的数据传输缓存。
CN201810932342.5A 2018-08-16 2018-08-16 可调异地容灾队列处理系统及方法 Pending CN109150754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810932342.5A CN109150754A (zh) 2018-08-16 2018-08-16 可调异地容灾队列处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810932342.5A CN109150754A (zh) 2018-08-16 2018-08-16 可调异地容灾队列处理系统及方法

Publications (1)

Publication Number Publication Date
CN109150754A true CN109150754A (zh) 2019-01-04

Family

ID=64789442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810932342.5A Pending CN109150754A (zh) 2018-08-16 2018-08-16 可调异地容灾队列处理系统及方法

Country Status (1)

Country Link
CN (1) CN109150754A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203340113U (zh) * 2013-06-28 2013-12-11 环境保护部华南环境科学研究所 内外网穿透远距离传输数据的源服务器及目的服务器系统
CN105242988A (zh) * 2015-10-10 2016-01-13 国家电网公司 分布式文件系统和分布式文件系统的数据备份方法
CN106453121A (zh) * 2016-09-14 2017-02-22 上海烟草集团有限责任公司 一种链路动态负载配置方法、系统以及服务器
CN107395437A (zh) * 2017-08-25 2017-11-24 中国联合网络通信集团有限公司 异地路由数据传输方法及装置
CN107688511A (zh) * 2017-08-25 2018-02-13 郑州云海信息技术有限公司 一种基于任务的异步远程复制方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203340113U (zh) * 2013-06-28 2013-12-11 环境保护部华南环境科学研究所 内外网穿透远距离传输数据的源服务器及目的服务器系统
CN105242988A (zh) * 2015-10-10 2016-01-13 国家电网公司 分布式文件系统和分布式文件系统的数据备份方法
CN106453121A (zh) * 2016-09-14 2017-02-22 上海烟草集团有限责任公司 一种链路动态负载配置方法、系统以及服务器
CN107395437A (zh) * 2017-08-25 2017-11-24 中国联合网络通信集团有限公司 异地路由数据传输方法及装置
CN107688511A (zh) * 2017-08-25 2018-02-13 郑州云海信息技术有限公司 一种基于任务的异步远程复制方法和系统

Similar Documents

Publication Publication Date Title
CA2376242C (en) Improved remote data copy using a prospective suspend command
US7428657B2 (en) Method for rolling back from snapshot with log
US7694177B2 (en) Method and system for resynchronizing data between a primary and mirror data storage system
US7139932B2 (en) Data synchronization of multiple remote storage after remote copy suspension
US20060271815A1 (en) System and method for disaster recovery of data
JP4833734B2 (ja) データベースシステム、ストレージ装置、初期コピー方法及びログ適用方法
CN102629268B (zh) 数据同步方法、系统及数据访问装置
US20040193658A1 (en) Disaster recovery processing method and apparatus and storage unit for the same
JP2017531250A (ja) 粒状同期／半同期アーキテクチャ
US20080010424A1 (en) Remote copy system and control method thereof
JP2008250695A (ja) ディスクアレイコントローラ及びこれを備えたディスクアレイシステム
US20140304237A1 (en) Apparatus and Method for Handling Partially Inconsistent States Among Members of a Cluster in an Erratic Storage Network
CN104572355A (zh) 一种异步远程复制数据的方法和设备
JP2017536624A (ja) スナップショット処理方法および関係付けられたデバイス
EP1687705B1 (en) Decreased response time for pprc write operation
CN105760251B (zh) 一种备份数据的方法和装置
CN109150754A (zh) 可调异地容灾队列处理系统及方法
KR102023900B1 (ko) 드론 데이터 제어 방법, 이를 이용하는 장치 및 시스템
CN107171820B (zh) 信息传输、发送、获取方法和装置
KR101766446B1 (ko) 데이터를 동기화하고 복원하는 이중화 시스템 및 방법
CN103812899A (zh) 一种传输文件方法、装置及系统
CN112015592A (zh) 数据复制方法及装置
US8484291B1 (en) Method and apparatus for selecting commands for transmission from an updated queue
CN111563010B (zh) 一种基于双机冗余系统的数据同步方法、系统及存储介质
KR101660508B1 (ko) 네트워크 녹화 장애 복구 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104