CN104281591B - 基于数据颗粒整合的远程容灾技术 - Google Patents
基于数据颗粒整合的远程容灾技术 Download PDFInfo
- Publication number
- CN104281591B CN104281591B CN201310278383.4A CN201310278383A CN104281591B CN 104281591 B CN104281591 B CN 104281591B CN 201310278383 A CN201310278383 A CN 201310278383A CN 104281591 B CN104281591 B CN 104281591B
- Authority
- CN
- China
- Prior art keywords
- data
- particle
- integration
- disaster tolerance
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000002245 particle Substances 0.000 title claims abstract description 38
- 238000005516 engineering process Methods 0.000 title abstract description 6
- 230000010354 integration Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 239000008187 granular material Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 231100000817 safety factor Toxicity 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及计算机数据处理领域，提供了一种基于数据颗粒整合的远程容灾技术。通过数据整合系统对远程的数据进行整合后再存储。数据整合体统接受来自不同服务器的信息，将收到的信息进行统一的整合后再发送给接收设备进行存储。经过整合的数据更加精确整齐，这种容灾方法节省了存储空间，降低了存储压力。
Description
技术领域
本发明涉及一种基于数据颗粒整合的远程容灾技术，属于计算机数据安全处理领域。
背景技术
伴随着企业规模的扩展，用户原有意识中的数据备份已经无法满足关键业务对系统的可用性、实时性、安全性的需要。更重要的是备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失、误删等。
远程容灾解决方案的出现则可通过在不同地点建立备份系统，从而进一步提高数据抵抗各种可能安全因素的容灾能力。远程容灾已成为保障企业关键应用连续性的重要手段。
广义上讲，任何必须恢复的数据访问中断都是数据灾难。容灾就是能够恢复到数据灾难发生前的系统状态的方法。容灾分为数据容灾和应用容灾。
数据容灾可以保证数据不丢失，但不能保证服务不中断；应用容灾则更上一层楼，它在相隔较远的异地，建立两套或多套功能相同的系统，互相之间可以进行运行状态监视和功能切换。当一处系统因灾害停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。
实际上从技术上讲，典型的容灾系统一般包括两个主要的功能部分：
数据复制：指在异地保证各个系统关键数据和状态参数的一致，其实现的方法可以是软件的方式，也可以是硬件的方式。软件方式是在主系统和容灾系统的主机上，安装专用的数据复制软件。这种方式的特点是成本较低。但是由于效率和可管理性方面的问题，这种容灾方式并不多见。大多数的容灾系统都采用硬件方式的数据复制，即数据通过存储阵列控制器直接在存储设备之间传输。由于数据复制是由光纤通道存储阵列控制器完成，因此不占用服务器内存等宝贵的硬件资源，也无需操作系统进行管理和控制，对操作系统资源不会造成占用，对系统效率也不会造成影响。
同时根据实现的步骤来将也可以分为同步复制(实时容灾)和异步复制(异步容灾)，同步复制是安全级别最高的工作方式。
具体工作时主系统主机向本地的存储设备发送一个I/O请求，这个请求同时被传送到容灾系统的存储设备中，等到两个存储设备都处理完成后，才向主系统主机返回确认信号。
这一机制确保在两个储设备中的数据在数据块级别的高度一致。而异步复制的工作机制是主系统内主机与存储设备间的I/O处理与数据复制过程无关，也就是说，主机无须等待远端存储设备完成I/O处理，只要本地主系统存储设备完成IO处理后，即向主系统主机发送确认信号。
这样，虽然主系统与容灾系统之间数据复制的通讯效率高会提高，但是两个储设备中的数据就可能存在不一致，这也就是采用异步复制机制的代价。
应用切换：即当某个具体应用在一个系统中失效之后，可以在另外一个系统中启动切换并接管该网络服务。每次进行事务处理时，数据均同步更新。当主业务中心发生灾难时，远程备份中心子系统中的数据将安然无恙，并且通过备用主机连接而保证数据的可用。自动的存储子系统故障恢复和故障返回功能允许在线操作继续进行，只需要将客户端与远程子系统重新联结即可恢复业务运作。通过建立额外的镜像，该方案可实现并行操作。
发明内容
本发明目的是为了实现基于数据颗粒整合的远程容灾。通过数据整合系统对远程的数据进行整合后再存储。在服务器较多的情况下十分的适用。
本发明的技术方案是这么实现的，一种基于数据颗粒整合的远程容灾方法，所述的方法包括下述步骤：
数据容灾时将各个服务器的数据发送到整合系统。数据进入整合系统后，系统会对数据颗粒进行分析、处理，从而达到数据整合的目的，最后将整合后的数据发送到存储设备。
该方法中实现数据整合的整合系统包含数据接收接口、数据颗粒处理模块，数据整合模块。
基于数据颗粒整合的远程容灾方法中的数据接收接口，负责接收服务器发来的各种形式的数据。
基于数据颗粒整合的远程容灾方法中的数据颗粒处理模块，负责将接收到的数据进行分析、对比、及必要的删减和修改。
优选的，所述的数据颗粒处理模块会将数据颗粒化，然后对数据颗粒进行比对，删除重复数据颗粒。
基于数据颗粒整合的远程容灾方法中的数据整合模块会对经过处理的数据进行重新的整合，将数据颗粒形成规律的数据包以便进行存储。
对数据进行恢复的时候，数据也是先经过整合系统，只是，恢复时数据在整合系统中首先经过的是数据整合模块。在数据整合模块中，数据包恢复为数据颗粒。然后数据颗粒处理模块再对数据颗粒进行恢复。然后，通过数据接收接口将数据发送出去。
附图说明
图1、数据整合系统流程图
图2、数据整合系统构成图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的实施例中，远程容灾数据需要先经过整合系统，通过数据颗粒整合之后再进行存储。
本发明提出了一种基于数据颗粒整合的远程容灾技术。
所述方法包括下述步骤：
数据容灾时将各个服务器的数据发送到整合系统。数据进入整合系统后，系统会对数据颗粒进行分析、处理，从而达到数据整合的目的，最后将整合后的数据发送到存储设备。
如图2所示就是该方法中实现数据整合的整合系统，它包含数据接收接口、数据颗粒处理模块，数据整合模块。
数据容灾时，服务器发来的数据进入整合系统，首先经过数据接收接口S1，S1将接收的数据送到数据颗粒处理模块S2，S2将接收到的数据颗粒化进行分析、对比，将不必要的数据颗粒进行删除处理。然后处理过的数据颗粒将进入数据整合模块S3，S3将数据颗粒整合形成规律的数据包，发送给存储设备进行存储。
对数据进行恢复的时候，数据也是先经过整合系统，只是，恢复时数据在整合系统中首先经过的是数据整合模块S3。在S3中，数据包恢复为数据颗粒。然后数据颗粒处理模块S2再对数据颗粒进行恢复。然后，通过数据接收接口S1将数据发送出去。
Claims (1)
1.一种基于数据颗粒整合的远程容灾方法，所述的方法包括下述步骤：
数据容灾时将各个服务器的数据发送到整合系统，所述的整合系统，包含数据接收接口S1、数据颗粒处理模块S2，数据整合模块S3；
数据容灾时，服务器发来的数据进入整合系统，首先经过数据接收接口S1，数据接收接口S1将接收的数据送到数据颗粒处理模块S2，所述的数据颗粒处理模块S2将数据颗粒化，对数据颗粒进行比对，删除重复数据颗粒，处理过的数据颗粒进入数据整合模块S3，在数据整合模块S3之中形成规律的数据包，发送给存储设备进行存储；
对数据进行恢复的时候，数据先经过整合系统，数据在整合系统中首先经过数据整合模块S3，将数据包恢复为数据颗粒，然后数据颗粒处理模块S2再对数据颗粒进行恢复，然后通过数据接收接口S1将数据发送出去。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310278383.4A CN104281591B (zh) | 2013-07-04 | 2013-07-04 | 基于数据颗粒整合的远程容灾技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310278383.4A CN104281591B (zh) | 2013-07-04 | 2013-07-04 | 基于数据颗粒整合的远程容灾技术 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104281591A CN104281591A (zh) | 2015-01-14 |
| CN104281591B true CN104281591B (zh) | 2018-10-12 |
Family
ID=52256471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310278383.4A Expired - Fee Related CN104281591B (zh) | 2013-07-04 | 2013-07-04 | 基于数据颗粒整合的远程容灾技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104281591B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101594256A (zh) * | 2009-06-05 | 2009-12-02 | 成都市华为赛门铁克科技有限公司 | 容灾方法、装置和系统 |
| CN101635638A (zh) * | 2008-07-25 | 2010-01-27 | 中兴通讯股份有限公司 | 一种容灾系统及其容灾方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8918366B2 (en) * | 2005-02-07 | 2014-12-23 | Mimosa Systems, Inc. | Synthetic full copies of data and dynamic bulk-to-brick transformation |
| US8224792B2 (en) * | 2009-08-28 | 2012-07-17 | International Business Machines Corporation | Generation of realistic file content changes for deduplication testing |
| CN103078907B (zh) * | 2012-12-26 | 2016-03-30 | 华为技术有限公司 | 上传、云备份、查找、恢复数据的方法及装置 |
| CN103095843B (zh) * | 2013-01-28 | 2018-01-30 | 刘海峰 | 一种基于版本矢量的数据备份方法及客户端 |
-
2013
- 2013-07-04 CN CN201310278383.4A patent/CN104281591B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101635638A (zh) * | 2008-07-25 | 2010-01-27 | 中兴通讯股份有限公司 | 一种容灾系统及其容灾方法 |
| CN101594256A (zh) * | 2009-06-05 | 2009-12-02 | 成都市华为赛门铁克科技有限公司 | 容灾方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104281591A (zh) | 2015-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103853634B (zh) | 一种容灾备份系统及方法 | |
| EP2281240B1 (en) | Maintaining data integrity in data servers across data centers | |
| CN103838646A (zh) | 一种用于地面应用大数据异地容灾备份的系统和方法 | |
| CN101207512B (zh) | 一种数据库系统冗灾备份和切换方法 | |
| CN100586058C (zh) | 基于j2ee中间件规范的容忍入侵应用服务器及容忍入侵方法 | |
| WO2012145963A1 (zh) | 数据管理系统及方法 | |
| WO2020224237A1 (zh) | 区块链共识的方法、装置、设备及存储介质 | |
| CN101501667A (zh) | 通过身份保持的企业服务器版本迁移 | |
| CN103077242A (zh) | 一种实现数据库服务器双机热备的方法 | |
| CN102521083A (zh) | 一种云计算系统中虚拟机备份方法和系统 | |
| CN103136070B (zh) | 一种数据容灾处理的方法和装置 | |
| CN104572355A (zh) | 一种异步远程复制数据的方法和设备 | |
| CN101212458A (zh) | 一种数据库系统备份方法 | |
| CN108352995B (zh) | 一种smb业务故障处理方法和存储设备 | |
| CN102890716A (zh) | 分布式文件系统和分布式文件系统的数据备份方法 | |
| CN106603279A (zh) | 一种容灾方法和容灾系统 | |
| US8527454B2 (en) | Data replication using a shared resource | |
| CN104243195A (zh) | 异地灾备处理方法及装置 | |
| CN109274761A (zh) | 一种nas集群节点、系统以及数据访问方法 | |
| CN102075341A (zh) | 一种主备同步方法及系统 | |
| CN107357800A (zh) | 一种数据库高可用零丢失解决方法 | |
| KR20160004721A (ko) | 데이터 손실 없는 데이터베이스 리두 로그 이중화 방법 및 그를 위한 시스템 | |
| CN101212341A (zh) | 一种数据库系统切换方法 | |
| CN112948484A (zh) | 分布式数据库系统和数据灾备演练方法 | |
| CN104281591B (zh) | 基于数据颗粒整合的远程容灾技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Taiyue business center 100086 Beijing Haidian District City, Zhichun Road Tai Yue Park Building No. 1 4 floor Applicant after: BEIJING HEARTSONE TECHNOLOGY Co.,Ltd. Address before: 100080 Beijing City, Haidian District Cheng Fu Road No. 268 KYKY No. 1 building 508 Applicant before: BEIJING HEARTSONE TECHNOLOGY Co.,Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100080 HAIDIAN, BEIJING TO: 100086 HAIDIAN, BEIJING |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| DD01 | Delivery of document by public notice |
Addressee: BEIJING HEARTSONE TECHNOLOGY Co.,Ltd. Document name: Notification to Pay the Fees |
|
| DD01 | Delivery of document by public notice | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201221 Address after: 100080 807-3, 8th floor, 4th floor, courtyard 18, Suzhou street, Haidian District, Beijing Patentee after: Zhongke hot standby (Beijing) Cloud Computing Technology Co.,Ltd. Address before: 100086 4th floor, Taiyue business center, building 1, taiyueyuan, Zhichun Road, Haidian District, Beijing Patentee before: BEIJING HEARTSONE TECHNOLOGY Co.,Ltd. |
|
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Zhongke hot standby (Beijing) Cloud Computing Technology Co.,Ltd. Person in charge of patentsThe principal of patent Document name: Payment Notice |
|
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Xiong Xiaoqing Document name: Notice of termination of patent right |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181012 |