CN115437851A - 数据中心容灾处理系统及方法 - Google Patents
数据中心容灾处理系统及方法 Download PDFInfo
- Publication number
- CN115437851A CN115437851A CN202211368745.4A CN202211368745A CN115437851A CN 115437851 A CN115437851 A CN 115437851A CN 202211368745 A CN202211368745 A CN 202211368745A CN 115437851 A CN115437851 A CN 115437851A
- Authority
- CN
- China
- Prior art keywords
- data
- main
- storage area
- disaster recovery
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 238000011084 recovery Methods 0.000 claims abstract description 140
- 230000005540 biological transmission Effects 0.000 claims abstract description 84
- 238000013500 data storage Methods 0.000 claims abstract description 81
- 238000004088 simulation Methods 0.000 claims abstract description 55
- 238000012217 deletion Methods 0.000 claims abstract description 9
- 230000037430 deletion Effects 0.000 claims abstract description 9
- 230000000875 corresponding effect Effects 0.000 claims description 69
- 230000004044 response Effects 0.000 claims description 49
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 26
- 239000007787 solid Substances 0.000 claims description 23
- 230000007717 exclusion Effects 0.000 claims description 15
- 230000002596 correlated effect Effects 0.000 claims description 13
- 150000001875 compounds Chemical class 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 5
- 231100000279 safety data Toxicity 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 10
- 230000004308 accommodation Effects 0.000 description 8
- 238000007635 classification algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Abstract
本发明提供一种数据中心容灾处理系统及方法,系统包括容灾应急网络、容灾模拟子系统、容灾协调子系统、容灾执行子系统;容灾应急网络包括主共享终端、备共享终端、备数据中心和主数据中心;主数据中心设置有主数据存储区和镜像存储区;所述镜像存储区用于存储主数据存储区的数据的镜像,以及生成占空数据包发送给主共享终端;容灾模拟子系统用于模拟灾情传输情况;容灾协调子系统用于协调数据的备份和删除;容灾执行子系统用于执行各存储区之间的数据的传输。与现有技术相比较,在主数据中心建立镜像数据包并通过模拟来获取主共享终端的实时情况,当容灾发生时可以制定相应的策略将数据以最优方式发送出去,减少了容灾时数据的丢失。
Description
技术领域
本发明涉及网络信息安全领域,具体的,涉及一种数据中心容灾处理系统及方法。
背景技术
随着信息技术的不断发展,以及智能化和大数据时代的到来,数据中心越来越成为新时代重要的信息支撑工具,数据中心具有数据存储和数据处理的功能,并为数据挖掘和数据分析提供基础,那么如何保障数据中心的安全是一个很重要的技术问题,数据中心的安全问题包括两个方面,一个是数据泄露的安全,即要保护数据的秘密性,另一个是数据本身的安全,主要是防止数据的丢失,对于第二个安全问题,各大数据中心运营商主要采用设置容灾处理系统的方式,对数据进行容灾备份,来保证数据本身的安全,防止数据因灾情丢失。
在相关的技术中,目前较为常用的技术为通过备份软件进行虚拟机异地备份和恢复,基于存储设备的远程复制技术进行存储异地备份,而这种技术存在备份的实时性问题,现有技术中有CDP(Continuous Data Protection,持续数据保护)技术,但是由于其需要解决数据的持续不断的监控和记录,以及在存储时会产生大量的备份数据,导致其实现起来非常困难,很难应用到实际中;随着区块链的发展,提出了去中心化的概念,使终端的容量大幅增加,并提出了共享存储空间的构想,使得终端设备具有备数据中心的功能,可以用来解决CDP的问题,那么如何将终端设备以及共享存储空间融入到容灾系统中成为一个新的技术问题。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷,提出一种数据中心容灾处理系统,用于提供一种具有应用共享存储空间分布存储技术的具有更高安全性备份保护的容灾处理系统。
本发明采取的技术方案为:
本发明提供一种数据中心容灾处理系统,包括:容灾应急网络、容灾模拟子系统、容灾协调子系统、容灾执行子系统;
所述容灾应急网络:包括至少一个主共享终端、至少一个备共享终端、至少一个备数据中心和一个主数据中心;
所述主数据中心设置有至少一个主数据存储区和一个镜像存储区,每个所述备数据中心设置有至少一个备数据存储区,所述主数据中心与至少一个主共享终端通讯连接,并分别设置对应的主共享存储区;所述一个备数据中心与至少一个备共享终端通讯连接,并分别设置对应的备共享存储区;所述镜像存储区用于存储主数据存储区的数据的镜像,以及生成占空数据包发送给主共享终端;
所述容灾模拟子系统用于为主数据中心的镜像存储区与主共享终端建立联系,并模拟灾情传输情况;
所述容灾协调子系统用于协调主数据存储区、备数据存储区和镜像存储区之间的数据的备份和删除;
所述容灾执行子系统用于根据配置其中的传输策略执行各存储区之间的数据的传输。
所述容灾模拟子系统模拟灾情时传输情况,具体为,将镜像存储区生成的占空数据包分发给各个主共享终端,主共享终端反馈信息,反馈信息包括主共享终端中的主共享存储区的存储情况,网络传输情况等影响存储与传送的信息,容灾模拟子系统根据反馈信息进行分析和记录;当容灾发生时,镜像存储区的数据包根据记录的主共享终端的信息分发给对应的主共享终端,以保证当容灾发生时镜像存储区的数据能够第一时间尽可能多的发送给主共享终端进行备份。容灾协调子系统根据具体情况协调镜像存储区数据的删除,释放镜像存储区的空间,避免镜像数据包在镜像存储区的堆积,保证新的数据能够生成新的镜像数据包存储镜像存储空间。当容灾发生后,通过容灾执行子系统将分发到主共享存储区的数据传输到备数据存储区。通过加入主共享终端和镜像存储区,通过容灾模拟的方式,模拟容灾情况,当容灾发生时能够第一时间根据主共享终端情况分发镜像存储区的数据,保证了数据的备份,同时在容灾模拟的过程中,所述镜像数据包生成的占空数据包发送到主共享存储区不仅是模拟容灾发送过程,同时也是将镜像数据包通过占空数据包发送到主共享存储区进行备份,这样减少了容灾发生时备份的数据量,能够有效的减少容灾时数据的丢失,提高了数据备份的安全性。
进一步的,所述容灾模拟子系统包括容灾模拟模块和终端标记模块;
所述终端标记模块包括主存储模型和特征索引数据库;
所述容灾模拟模块配置有容灾模拟策略,所述容灾模拟策略用于每隔预设时间向主共享终端发送容灾伪指令,主共享终端响应容灾伪指令并向主存储模型发送通讯反馈信息,主存储模型接收通讯反馈信息后为对应的主共享终端配置容灾响应戳记;
所述主存储模型还用于根据通讯反馈信息使用应急支持值算法计算每一主共享终端的应急支持值,所述应急支持值反映灾情发生时主共享终端的应急支持能力;
所述特征索引数据库存储有互斥性数据和安全性数据,所述互斥性数据用于计算主共享终端与主数据存储区的互斥值,所述安全性数据用于计算主共享终端的安全值。
所述主共享终端的通讯反馈信息包括对应的主共享存储区的剩余有效存储空间、有效响应速度、有效传输速度以及主共享终端的特征信息;以所述主共享终端的特征信息为索引从特征索引数据库中提取对应的互斥性数据和安全性数据;所述互斥性数据为根据传输特性、终端类型、数据特征等因素进行特征提取实现,通过特征要素之间的相似度计算可以进行量化生成互斥值;所述安全性数据为根据防火墙、数据加密策略等因素实现,本身可以进行量化生成安全值;
所述主存储模型配置有若干戳记阈值范围,每一个戳记阈值范围配置有一个不同的容灾响应戳记,主存储模型接收到通讯反馈信息之后,根据戳记分类算法来计算戳记优先值,所述戳记分类算法为:
通过计算得出主共享终端的戳记优先值,根据戳记优先值落入的戳记阈值范围为该主共享终端分配对应的容灾响应戳记,容灾响应戳记中包含了主共享终端的应急能力,互斥值和安全值,根据该容灾响应戳记制定的发送策略,能够在满足数据安全性和互斥性的前提下,提高数据发送的效率,保证了数据备份的安全性和数据本身的安全性。
容灾模拟策略中还配置有存储比算法,所述存储比算法为:
其中为存储比,为第一总有效共享值,与主共享终端的有效存储空间之和正
相关,根据存储比生成分发数以及所述模拟时间,所述分发数为单位个镜像数据包生成占
空数据包的数量,所述分发数与存储比正相关,所述模拟时间与存储比正相关。通过存储
比,可以配置对应的模拟时间和分发数,保证了当容灾发生时,镜像存储区的数据能够合理
的分发到各个主共享存储区中。
进一步的,所述容灾协调子系统包括容灾关联模块、数据分类模块、容灾备份模块和屏蔽协调模块;
所述容灾关联模块用于将主数据存储区与备数据存储区建立关联关系;
所述容灾备份模块用于根据所述关联关系将主数据存储区数据备份至备数据存储区;
所述数据分类模块用于当新的数据被存入主数据存储区前,为该数据生成镜像数据包并存入镜像存储区;
所述数据分类模块还用于获取镜像存储区的存储特征信息并发送给备数据中心,所述存储特征信息为镜像存储区的存储情况;
所述屏蔽协调模块用于将关联备数据存储区对应的备数据中心的切换服务信息发送至主数据中心的服务终端。
存储特征信息为镜像存储区的存储情况,具体为镜像存储区的镜像数据包生成的占空数据包发送到主共享存储的情况,包括占空数据包对应镜像数据包的位置,和对应主共享终端以及在主共享存储区中的存储位置;当主数据中心发生容灾时,数据传输中断,备数据中心没有完成主数据中心数据的备份,而镜像数据包将其通过占空数据包发送到主共享存储区进行了备份,此时需要从将这些占空数据包传输到备数据中心,这些占空数据包的存储信息包含在存储特征信息中,数据分类模块将存储特征信息实时发送给备数据中心,备数据中心根据存储特征信息调取占空数据包并恢复数据;
所述容灾协调子系统中配置有第一容置条件和第二容置条件,当镜像数据包满足第一容置条件或第二容置条件时,将镜像数据包从镜像存储区删除;
所述第一容置条件为镜像数据包作为占空数据包完全被存储到任意的主共享存储区中,在容灾模拟的过程中,所述镜像数据包生成的占空数据包发送到主共享存储区不仅是模拟容灾发送过程,同时也是将镜像数据包通过占空数据包发送到主共享存储区进行备份,所以当镜像数据包作为占空数据包被完全存储到主共享存储区中即为该镜像数据包以完成备份,将其从镜像存储区删除;
所述第二容置条件为所述镜像数据包对应的主数据存储区的数据被容灾备份模块备份到备数据中心,即已完成备份,将其从镜像存储区删除;并且,当镜像数据包满足第二容置条件后,由于备数据中心已完成备份并且备数据中心的安全性较高,所以该镜像数据包在先前发送到主共享存储区中的占空数据包就不需要再被调取到备数据中心中用于数据恢复,此时容灾协调子系统向对应的主共享终端发送占空删除指令,主共享终端收到占空删除指令后,将对应的镜像数据包的占空数据包从其主共享存储区中删除;
容灾协调子系统为主数据中心和备数据中心建立联系并备份,通过数据分类模块生成存储特征信息以协助备数据中心在容灾发生后对主数据中心的数据的恢复,使用了两种逻辑来对数据进行备份,减少容灾发生时数据的丢失,提高了数据备份的安全性,同时通过第一容置条件和第二容置条件控制镜像数据包和占空数据包的删除,及时释放镜像存储区和主共享存储区的存储空间,使存储区不会由于数据的堆积而出现空间不足的问题,新数据能够及时进行存储和备份,提高了数据备份的效率。
进一步的,所述容灾执行子系统包括共享存储模块、备份响应模块、备份切换模块和屏蔽执行模块;
所述共享存储模块配置有存储发送策略,所述存储发送策略用于根据所述容灾响应戳记将镜像存储区的占空数据包发送至对应的主共享终端;
所述备份响应模块中配置有泄洪策略和同步策略;
所述泄洪子策略为根据所述存储特征信息将备数据存储区数据发送至备共享终端,并释放备数据存储区的存储空间;
所述同步子策略为将主共享存储区的数据发送至备数据存储区;
所述备份切换模块配置有第一传输戳记和第二传输戳记;
所述第一传输戳记对应当前存储发送策略的数据传输流特征;
所述第二传输戳记对应当前同步子策略的数据传输流特征;
当同步子策略传输中断时,备数据中心根据所述第一传输戳记和第二传输戳记的关系从对应的主共享终端调取数据;
所述屏蔽执行模块用于向主数据中心的服务终端发送屏蔽指令,服务终端接收到屏蔽指令后根据所述切换服务信息切换至备数据中心。
进一步的,所述应急支持值算法为:
式中,为对应主共享终端的应急支持值,为预设的传输影响权重,为预设的
响应影响权重,为预设的存储影响权重,有,为通讯反馈信息中的有效
传输速度,为通讯反馈信息中的有效响应速度,为通讯反馈信息中对应主共享终端的
剩余有效存储空间,为镜像存储阈值,与镜像存储区的占用空间正相关,为该主共享终
端的基准支持值,为上一时刻的应急支持值。
进一步的,所述应急支持值由衰减因子进行更新,所述衰减因子算法公式为:
所述戳记分类算法公式中受应急支持值影响,应急支持值受有效传输舒服、有效响应速度和剩余有效存储空间影响,共同决定容灾戳记的戳记优先值,容灾戳记反映了各个主共享存储区的容灾状态,当容灾发生时,可以决定最优的传输方式,减少容灾发生时数据的丢失。应急支持值反映主共享终端的应急支持能力,与该次数据包发送的传输速度以及建立传输通道时的反馈速度相关、同时监控发送时的有效存储空间对镜像存储区占用空间的差值,然后通过与上一时刻的应急支持值叠加的方式,不断累积对应的应急支持值,为了防止应急支持值持续累积,使用衰减因子来对应急支持值进行更新,防止持续累积导致个别主共享终端的应急支持值较高,当该主共享终端出现问题时,及时更新该主共享终端的应急值,提高系统的可靠性。
式中,为释放比,为预设的等效备份速度参数,为预设的等效泄洪参数,
为剩余备存储有效值,与备数据中心的剩余存储空间正相关,为第二总有效共享值,与主
共享终端的有效存储空间之和正相关,所述泄洪子策略根据所述释放比生成动态释放量。
进一步的,所述容灾备份模块中配置有动态释放子策略,所述动态释放子策略将备数据存储区总和超过所述动态释放量的数据释放至备共享终端;
具体为,所述动态释放子策略通过固态信任算法计算备数据存储区的每一数据包的固态信任值,所述固态信任算法为:
式中,为该数据包的固态信任值,为该数据包的安全等级,为该数据包第k次
被编辑的时间间隔,为预设的编辑量基准,为该数据包第k次被编辑的数据量,为该
数据包被释放的总时长,为所有的数据包的固态信任值之和;
所述动态释放子策略以每一数据包的固态信任值为优先级顺序将其释放至备共享终端或从备共享终端回传。
将动态释放子策略设置在容灾备份模块中,能够实时根据动态释放量,在进行数据备份之前执行数据的释放,及时进行空间的清理,保证数据备份能够第一时间完成。并且所述固态信任值基于被更新的情况、次数等信息变化,动态释放子策略根据每一个数据包的固态信任值来将数据包从备数据存储区释放至备共享存储区,或从备共享存储区回传。根据固态信任值来释放数据包,能够选择出最优的适于释放的数据包,进行最优调度,提高了系统的可靠性,保证备数据中心的存储资源得到合理的利用。
进一步的,所述容灾模拟子系统和容灾协调子系统都配置有加密算法,所述加密算法用于对镜像数据包进行加密。
所述加密算法,优选的为哈希加密算法,通过区块链存储的方式对加密后的数据进行存储,并将密钥一同备份至备数据中心,保证了数据备份的安全性。
本方案还提供一种数据中心容灾处理方法,基于上述的一种数据中心容灾处理系统,所述方法包括:
当数据中心正常运行时:
S11:数据分类模块为新数据生成镜像数据包并存入镜像存储区,新数据存入主数据存储区;
S12:容灾关联模块为主数据存储区和备数据存储区建立关联关系;
S13:容灾备份模块根据关联关系将主数据存储区备份至备存数据储区;
S14:屏蔽协调模块将对应的切换服务发送至主数据中心的服务终端;
S15:容灾模拟模块执行容灾模拟策略获取容灾响应戳记;
S16:根据容灾响应戳记将镜像数据包分发给对应的主共享存储区;
S17:备份响应模块执行泄洪子策略直至满足预设的容灾存储条件;
当容灾发生时:
S21:共享存储模块根据容灾响应戳记执行存储发送策略;
S22:屏蔽执行模块发送屏蔽指令至主数据中心服务终端;
S23:备份响应模块根据备份切换模块中的第一、第二传输戳记执行同步子策略直至同步子策略和存储发送策略终止;
S24:将当前备数据中心切换为主数据中心,并为其配置对应模块。
方法分成可以分为两部分,第一部分为数据中心正常运行时,方法为循环执行,直到停止工作或容灾发生,第一部分方法中断,执行第二部分的方法步骤,当完成备份和备数据中心切换之后继续切换为第一部分方法继续执行;如此循环,使得数据中心能够安全且可靠的自动进行数据的备份,提高了数据中心的安全性和可靠性。
与现有技术相比,本发明的有益效果为:
1.使用了新的分布式的存储方式来对数据进行备份,与现有备数据中心的方式相结合,实现了数据多维存储,提高了数据存储的安全性。
2.提出了镜像存储区的概念,在主数据中心中开设镜像存储区,在主数据中心就保证了新增数据的安全性,并通过模拟容灾的方式,动态地评估每个主共享终端的应急容灾处理能力,减少了容灾时的数据丢失。
3.加入泄洪子策略保证了容灾发生时,数据传输的协调性,保证数据能够正常传输,提高数据备份的效率,进一步减少数据丢失。
附图说明
图1为本发明的数据中心容灾处理系统的容灾应急网络结构图;
图2为本发明的数据中心容灾处理系统的系统结构图;
图3为本发明的数据中心容灾处理方法的容灾发生前的方法步骤图;
图4为本发明的数据中心容灾处理方法的容灾发生时的方法步骤图。
附图标注:主共享终端10,主数据中心20,备数据中心30,备共享终端40,容灾模拟子系统100,容灾模拟模块110,终端标记模块120,容灾协调子系统200,数据分类模块210,容灾关联模块220,容灾备份模块230,屏蔽协调模块240,容灾执行子系统300,共享存储模块310,备份响应模块320,备份切换模块330,屏蔽执行模块340。
具体实施方式
本发明附图仅用于示例性说明,不能理解为对本发明的限制。为了更好说明以下实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
本实施例提供一种数据中心容灾处理系统,包括:容灾应急网络,容灾模拟子系统100、容灾协调子系统200、容灾执行子系统400;
作为网络架构部分,如图1所示,容灾应急网络包括至少一个主共享终端10、至少一个备共享终端40、至少一个备数据中心30和一个主数据中心20;
所述主数据中心20设置有至少一个主数据存储区和一个镜像存储区,每个所述备数据中心30设置有至少一个备数据存储区,所述主数据中心20与至少一个主共享终端10通讯连接,并分别设置对应的主共享存储区;所述一个备数据中心30与至少一个备共享终端40通讯连接,并分别设置对应的备共享存储区;所述镜像存储区用于存储主数据存储区的数据的镜像,以及生成占空数据包发送给主共享终端10;
传统意义上本地是数据存储区出于数据安全的角度考虑是无法共享的,但是由于区块链技术的普及,数据安全性的问题得以解决,闲置存储空间被释放,本实施例基于共享终端提出了新的容灾处理系统,解决数据安全问题和容灾备份问题;其中共享终端的选择以通讯能力、存储能力以及关联关系作为依据,选择通讯能力好、存储能力强和关联关系高的终端作为共享终端。
如图2所示,本实施例还包括容灾模拟子系统100、容灾协调子系统200和容灾执行子系统300,三个系统来实现网络架构各个部分的数据的协调和传输。
首先由于备数据存储中心会有固定的存储空间和容灾响应策略来专门服务于主数据中心20,即备数据中心30为静态服务模式;而主共享终端10在不同情况下的存储空间大小会发生变化,同时不同情况下数据传输能力也会发生变化,当灾情发生时,主数据中心20会出现不能第一时间配置出最优的对应与当前主共享终端10情况的发送策略,导致在有限的时间中不能最大化的利用数据传输和共享的资源,造成数据的丢失。
所以配置了容灾模拟子系统100,容灾模拟子系统100包括容灾模拟模块110和终端标记模块120;终端标记模块120包括主存储模型和特征索引数据库;容灾模拟模块110配置有容灾模拟策略,所述容灾模拟策略用于每隔预设时间向主共享终端10发送容灾伪指令,主共享终端10响应容灾伪指令并向主存储模型发送通讯反馈信息,主存储模型接收通讯反馈信息后为对应的主共享终端10配置容灾响应戳记;
具体的,首先通过容灾模拟的方式实时地模拟灾情发生时的传输条件,将占空数据包进行模拟发送,而容灾模拟的发送时间最优方式是和备份时间错开,通过容灾模拟的方式就可以判断每个主共享终端10的应急能力,这样就可以根据应急能力配置对应的策略,而应急能力的标记通过通讯反馈信息生成,这样实时根据模拟情况就可以判断每个共享终端的应急能力,具体如下:所述主存储模型配置有应急值分析算法,所述应急值分析算法用于根据通讯反馈信息计算每一主共享终端10的应急支持值,所述应急值分析算法为:
式中,为该主共享终端10的应急支持值,为预设的传输影响权重,为预设
的响应影响权重,存储影响权重,有,为通讯反馈信息中的有效传输速
度,为通讯反馈信息中的有效响应速度,为通讯反馈信息中该主共享终端10的剩余有
效存储空间,为镜像存储阈值,与镜像存储区的占用空间正相关,为该主共享终端10的
基准支持值,为上一时刻的应急支持值。应急支持值反映每个主共享终端10实时的应急
能力,与该次数据包发送的传输速度以及建立传输通道时的反馈速度相关、同时监控发送
时的有效存储空间对镜像存储区占用空间的差值,然后通过与上一时刻的应急支持值叠加
的方式,不断累积对应的应急支持值,而随着发送成功次数的增加,应急支持值就会不断累
积增加,导致整个数学模型对时间的敏感性较差,即对共享终端本身变化的敏感性较差,而
此时共享终端出现问题,如信道被占用,导致最近的应急支持值较低,但该共享终端由于累
积,应急支持值较高,对于应急支持值总值没有太大的影响,此时选择该共享终端作为备份
存储空间,会出现备份效率降低,不能第一时间完成备份,导致数据丢失,所以在主存储模
型中配置有衰减因子,衰减因子用于更新应急支持值;衰减因子计算公式为:有
,其中为预设的刷新间隔,为刷新间隔前的应急支持值,为刷新间隔后的应急支持
值,为衰减因子对应的衰减值。通过时间不断更新原有的应急支持值,从而提高对时间的
敏感性,预设的刷新时隔可以根据需求进行设置,而衰减值取值范围在0.5-1之间。
获得实时更新的应急支持值后,还需要根据应急支持值生成容灾响应戳记,另外容灾响应戳记的生成需要考虑两个方面的因素:
1.主数据存储区与主共享终端10的数据互斥性,如主数据存储区和主共享存储区存储的数据具有高度相同的数据特征,那么主数据存储区与该主共享终端10的互斥性很高;
2.安全性,如主共享终端10的安全性较低,则该主共享终端10不能作为优先存储的对象;
本实施例通过设置特征索引数据库来为容灾响应戳记的生成提供数据基础,具体的,特征索引数据库中存储有数据安全信息,数据安全信息包括互斥性数据以及安全性数据,所述终端标记模块120获取主共享终端10的终端特征信息,以所述终端特征信息为索引从所述特征索引数据库中调取对应的互斥性数据以及安全性数据;特征索引数据库中的数据安全信息的生成具体为:通过特征索引数据获取到每个主共享终端10的互斥性特征和安全性特征,并将其生成数据安全信息后存入特征索引数据库中;所述互斥性数据为根据传输特性、终端类型、数据特征等因素进行特征提取实现,通过特征要素之间的相似度计算可以进行量化生成互斥值;所述安全性数据为根据防火墙、数据加密策略等因素实现,本身可以进行量化生成安全值;通过调取终端特征信息,从而判断该终端对应主数据存储区的特征的互斥值和安全值。
主存储模型配置有若干不同的戳记阈值范围,对应每一戳记阈值范围有不同的容灾响应戳记,所述戳记分类算法用于计算戳记优先值,根据戳记优先值落入的戳记阈值范围配置对应的容灾响应戳记,所述戳记分类算法为
,其中为戳记优先值,为第k个镜像数据包对应的主数据存储区与该主共享终
端10的互斥值,为安全性数据中第k个镜像数据包的安全需求值,为安全性数据中主
共享终端10对应的基准安全需求。通过戳记分类算法对戳记进行量化,然后通过量化运算
得到该主共享终端10对应的戳记优先值,然后根据戳记优先值落入的范围配置对应的容灾
响应戳记。根据容灾响应戳记可以制定对应的发送策略,具体的,当容灾发生时,对需要发
送的数据根据安全性和重要性进行排序,然后根据对应的容灾响应戳记安排对应的数据发
送的目标,戳记优先值较高的,则优先安排重要性、安全性较高的数据包进行备份存储。
另外的,容灾模拟策略中还配置有存储比算法,所述存储比算法为:
其中为存储比,为第一总有效共享值,与主共享终端10的有效存储空间之和
正相关,根据存储比生成分发数以及所述模拟时间,所述分发数为单位个镜像数据包生成
占空数据包的数量,所述分发数与存储比正相关,所述模拟时间与存储比正相关。通过存储
比,可以配置对应的模拟时间和分发数,保证了当容灾发生时,镜像存储区的数据能够合理
的分发到各个主共享存储区中。通过对容灾时情况模拟的方式,获取到各个主共享终端10
对应的主共享存储区的实时的情况,当容灾发生时能够更好的将镜像存储区的数据分发出
去,减少数据的丢失,保证了数据的安全性,并且在日常模拟的过程中就对将镜像存储区的
数据通过占空数据包的方式发送到主共享存储区进行备份,减少了当容灾发生时需要备份
的数据量,进一步减少了容灾时数据的丢失。
所述容灾协调子系统200包括容灾关联模块220、数据分类模块210、容灾备份模块230和屏蔽协调模块240;所述容灾关联模块220用于将主数据存储区与备数据存储区建立关联关系;所述容灾备份模块230用于根据所述关联关系将主数据存储区数据备份至备数据存储区;所述数据分类模块210用于当新的数据被存入主数据存储区前,为该数据生成镜像数据包并存入镜像存储区;所述数据分类模块210还用于获取镜像存储区的存储特征信息并发送给备数据中心30,所述存储特征信息为镜像存储区的存储情况;所述屏蔽协调模块240用于将关联备数据存储区对应的备数据中心30的切换服务信息发送至主数据中心20的服务终端。
存储特征信息为镜像存储区的存储情况,具体为镜像存储区的镜像数据包生成的占空数据包发送到主共享存储的情况,包括占空数据包对应镜像数据包的位置,和对应主共享终端10以及在主共享存储区中的存储位置;当主数据中心20发生容灾时,数据传输中断,备数据中心30没有完成主数据中心20数据的备份,而镜像数据包将其通过占空数据包发送到主共享存储区进行了备份,此时需要从将这些占空数据包传输到备数据中心30,这些占空数据包的存储信息包含在存储特征信息中,数据分类模块210将存储特征信息实时发送给备数据中心30,备数据中心30根据存储特征信息调取占空数据包并恢复数据;
所述容灾协调子系统200中配置有第一容置条件和第二容置条件,当镜像数据包满足第一容置条件或第二容置条件时,将镜像数据包从镜像存储区删除;
所述第一容置条件为镜像数据包作为占空数据包完全被存储到任意的主共享存储区中,在容灾模拟的过程中,所述镜像数据包生成的占空数据包发送到主共享存储区不仅是模拟容灾发送过程,同时也是将镜像数据包通过占空数据包发送到主共享存储区进行备份,所以当镜像数据包作为占空数据包被完全存储到主共享存储区中即为该镜像数据包以完成备份,将其从镜像存储区删除;
所述第二容置条件为所述镜像数据包对应的主数据存储区的数据被容灾备份模块230备份到备数据中心30,即已完成备份,将其从镜像存储区删除;并且,当镜像数据包满足第二容置条件后,由于备数据中心30已完成备份并且备数据中心30的安全性较高,所以该镜像数据包在先前发送到主共享存储区中的占空数据包就不需要再被调取到备数据中心30中用于数据恢复,此时容灾协调子系统200向对应的主共享终端10发送占空删除指令,主共享终端10收到占空删除指令后,将对应的镜像数据包的占空数据包从其主共享存储区中删除。
所述容灾执行子系统300包括共享存储模块310、备份响应模块320、备份切换模块330和屏蔽执行模块340;所述共享存储模块310配置有存储发送策略,所述存储发送策略用于根据所述容灾响应戳记将镜像存储区的占空数据包发送至对应的主共享终端10,存储发送策略预先进行配置,获取目前灾情紧迫情况、镜像存储区的大小,每个镜像数据包的大小和安全性要求、备数据中心30的情况确定目前的发送策略,然后根据不同的容灾响应戳记,将不同的镜像数据包按照传输策略进行发送;
所述备份响应模块320中配置有泄洪策略和同步策略;
所述泄洪子策略为根据所述存储特征信息将备数据存储区数据发送至备共享终端40,并释放备数据存储区的存储空间,在容灾发生时,能够有更多的存储空间进行数据的备份;泄洪子策略根据释放比算法来对备数据存储区的存储空间进行释放,所述释放比算法为:
式中,为释放比,为预设的等效备份速度参数,为预设的等效泄洪参数,
为剩余备存储有效值,与备数据中心30的剩余存储空间正相关,为第二总有效共享值,与
主共享终端10的有效存储空间之和正相关,所述泄洪子策略根据所述释放比生成动态释放
量;容灾协调子系统200中的容灾备份模块230中配置有动态释放子系统,动态释放子系统
根据所述动态释放量将总和超过动态释放量的数据释放至备共享终端40。具体的,动态释
放子策略通过固态信任算法计算备数据存储区的每一数据包的固态信任值,所述固态信任
算法为:
式中,为该数据包的固态信任值,为该数据包的安全等级,为该数据包第k次
被编辑的时间间隔,为预设的编辑量基准,为该数据包第k次被编辑的数据量,为该
数据包被释放的总时长,为所有的数据包的固态信任值之和;从式中可以看出,固态信任
值基于被更新的情况和次数等信息变化,当某一数据包的被编辑次数减少,则该数据包的
固态信任值增加,而当所有的数据包的被编辑次数减少,相当于所有数据包的固态信任值
都增加,则所有数据包的固态信任值总和增加,会使固态信任值基本维持不变。获得固态信
任值后,动态释放子策略以每一数据包的固态信任值为优先级顺序将其释放至备共享终端
40或从备共享终端40回传。
所述同步子策略为将主共享存储区的数据发送至备数据存储区;
所述备份切换模块330配置有第一传输戳记和第二传输戳记;所述第一传输戳记对应当前存储发送策略的数据传输流特征;所述第二传输戳记对应当前同步子策略的数据传输流特征;当同步子策略传输中断时,备数据中心30根据所述第一传输戳记和第二传输戳记的关系从对应的主共享终端10调取数据;分别设置第一传输戳记和第二传输戳记,使传输面向主共享终端10的数据包和传输面向备数据中心30的数据包可以异步进行操作,提高容灾备份的效率。
所述屏蔽执行模块340用于向主数据中心20的服务终端发送屏蔽指令,服务终端接收到屏蔽指令后根据所述切换服务信息切换至备数据中心30。具体的,容灾协调子系统200中的屏蔽协调模块240已经预先将切换服务信息发送到主数据中心20的服务终端,此时屏蔽执行模块340再将屏蔽指令发送给服务终端,服务终端接收到指令之后,根据预先接收的切换服务信息获取到备数据中心30的信息,执行切换操作。
其中,容灾模拟子系统100和容灾协调子系统200都配置有加密算法,所述加密算法用于对镜像数据包进行加密,在本实施例中使用哈希加密算法,通过区块链存储的方式对加密后的数据进行存储,并将密钥一同备份至备数据中心30,保证了数据备份的安全性。
实施例2
本实施例提供一种数据中心容灾处理方法,基于实施例1中的一种数据中心容灾处理系统,所述方法包括:
如图3所示,当数据中心正常运行时:
S11:数据分类模块210为新数据生成镜像数据包并存入镜像存储区,新数据存入主数据存储区;
S12:容灾关联模块220为主数据存储区和备数据存储区建立关联关系;
S13:容灾备份模块230根据关联关系将主数据存储区备份至备存数据储区;
S14:屏蔽协调模块240将对应的切换服务发送至主数据中心20的服务终端;
S15:容灾模拟模块110执行容灾模拟策略获取容灾响应戳记;
S16:根据容灾响应戳记将镜像数据包分发给对应的主共享存储区;
S17:备份响应模块320执行泄洪子策略直至满足预设的容灾存储条件;
如图4所示,当容灾发生时:
S21:共享存储模块310根据容灾响应戳记执行存储发送策略;
S22:屏蔽执行模块340发送屏蔽指令至主数据中心20服务终端;
S23:备份响应模块320根据备份切换模块330中的第一、第二传输戳记执行同步子策略直至同步子策略和存储发送策略终止;
S24:将当前备数据中心30切换为主数据中心20,并为其配置对应模块。
具体的,数据中心正常运行时的方法步骤为循环执行,并每当有新的数据存储到主数据中心20时,都先为其生成镜像数据包并存入镜像存储区,然后依次循环执行步骤S12-S17的内容,直到所有镜像数据包的数据都被备份完毕或发生容灾导致中断。当容灾发生时,S11-S17的步骤中断,执行S21-S24的步骤,将未备份到备数据中心30的数据从主共享终端10中调取到备数据中心30,并将之前主数据中心20的各项服务切换给备数据中心30,实现容灾时数据中心的安全且可靠的自动备份和切换。
显然,本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例,而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种数据中心容灾处理系统,其特征在于,包括:容灾应急网络、容灾模拟子系统、容灾协调子系统、容灾执行子系统;
所述容灾应急网络:包括至少一个主共享终端、至少一个备共享终端、至少一个备数据中心和一个主数据中心;
所述主数据中心设置有至少一个主数据存储区和一个镜像存储区,每个所述备数据中心设置有至少一个备数据存储区,所述主数据中心与至少一个主共享终端通讯连接,并分别设置对应的主共享存储区;所述一个备数据中心与至少一个备共享终端通讯连接,并分别设置对应的备共享存储区;所述镜像存储区用于存储主数据存储区的数据的镜像,以及生成占空数据包发送给主共享终端;
所述容灾模拟子系统用于为主数据中心镜像存储区与主共享终端建立联系,并模拟灾情传输情况;
所述容灾协调子系统用于协调主数据存储区、备数据存储区和镜像存储区之间的数据的备份和删除;
所述容灾执行子系统用于根据配置其中的传输策略执行各存储区之间的数据的传输。
2.根据权利要求1所述的一种数据中心容灾处理系统,其特征在于,所述容灾模拟子系统包括容灾模拟模块和终端标记模块;
所述终端标记模块包括主存储模型和特征索引数据库;
所述容灾模拟模块配置有容灾模拟策略,所述容灾模拟策略用于每隔预设时间向主共享终端发送容灾伪指令,主共享终端响应容灾伪指令并向主存储模型发送通讯反馈信息,主存储模型接收通讯反馈信息后为对应的主共享终端配置容灾响应戳记;
所述主存储模型还用于根据通讯反馈信息使用应急支持值算法计算每一主共享终端的应急支持值,所述应急支持值反映灾情发生时主共享终端的应急支持能力;
所述特征索引数据库存储有互斥性数据和安全性数据,所述互斥性数据用于计算主共享终端与主数据存储区的互斥值,所述安全性数据用于计算主共享终端的安全值。
3.根据权利要求2所述的一种数据中心容灾处理系统,其特征在于,所述容灾协调子系统包括容灾关联模块、数据分类模块、容灾备份模块和屏蔽协调模块;
所述容灾关联模块用于将主数据存储区与备数据存储区建立关联关系;
所述容灾备份模块用于根据所述关联关系将主数据存储区数据备份至备数据存储区;
所述数据分类模块用于当新的数据被存入主数据存储区前,为该数据生成镜像数据包并存入镜像存储区;
所述数据分类模块还用于获取镜像存储区的存储特征信息并发送给备数据中心,所述存储特征信息为镜像存储区的存储情况;
所述屏蔽协调模块用于将关联备数据存储区对应的备数据中心的切换服务信息发送至主数据中心的服务终端。
4.根据权利要求3所述的一种数据中心容灾处理系统,其特征在于,所述容灾执行子系统包括共享存储模块、备份响应模块、备份切换模块和屏蔽执行模块;
所述共享存储模块配置有存储发送策略,所述存储发送策略用于根据所述容灾响应戳记将镜像存储区的占空数据包发送至对应的主共享终端;
所述备份响应模块中配置有泄洪策略和同步策略;
所述泄洪子策略为根据所述存储特征信息将备数据存储区数据发送至备共享终端,并释放备数据存储区的存储空间;
所述同步子策略为将主共享存储区的数据发送至备数据存储区;
所述备份切换模块配置有第一传输戳记和第二传输戳记;
所述第一传输戳记对应当前存储发送策略的数据传输流特征;
所述第二传输戳记对应当前同步子策略的数据传输流特征;
当同步子策略传输中断时,备数据中心根据所述第一传输戳记和第二传输戳记的关系从对应的主共享终端调取数据;
所述屏蔽执行模块用于向主数据中心的服务终端发送屏蔽指令,服务终端接收到屏蔽指令后根据所述切换服务信息切换至备数据中心。
9.根据权利要求1所述的一种数据中心容灾处理系统,其特征在于,所述容灾模拟子系统和容灾协调子系统都配置有加密算法,所述加密算法用于对镜像数据包进行加密。
10.一种数据中心容灾处理方法,基于上述权利要求1-9中任一项所述的一种数据中心容灾处理系统,其特征在于,所述方法包括:
当数据中心正常运行时:
S11:数据分类模块为新数据生成镜像数据包并存入镜像存储区,新数据存入主数据存储区;
S12:容灾关联模块为主数据存储区和备数据存储区建立关联关系;
S13:容灾备份模块根据关联关系将主数据存储区备份至备存数据储区;
S14:屏蔽协调模块将对应的切换服务发送至主数据中心的服务终端;
S15:容灾模拟模块执行容灾模拟策略获取容灾响应戳记;
S16:根据容灾响应戳记将镜像数据包分发给对应的主共享存储区;
S17:备份响应模块执行泄洪子策略直至满足预设的容灾存储条件;
当容灾发生时:
S21:屏蔽执行模块发送屏蔽指令至主数据中心服务终端;
S22:备份响应模块根据备份切换模块中的第一、第二传输戳记执行同步子策略直至同步子策略和存储发送策略终止;
S23:将当前备数据中心切换为主数据中心,并为其配置对应模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211368745.4A CN115437851B (zh) | 2022-11-03 | 2022-11-03 | 数据中心容灾处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211368745.4A CN115437851B (zh) | 2022-11-03 | 2022-11-03 | 数据中心容灾处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115437851A true CN115437851A (zh) | 2022-12-06 |
CN115437851B CN115437851B (zh) | 2023-01-13 |
Family
ID=84252934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211368745.4A Active CN115437851B (zh) | 2022-11-03 | 2022-11-03 | 数据中心容灾处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115437851B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324715A (zh) * | 2013-06-20 | 2013-09-25 | 交通银行股份有限公司 | 一种灾备系统可用性检测方法及装置 |
CN104794028A (zh) * | 2014-01-16 | 2015-07-22 | 中国移动通信集团浙江有限公司 | 一种容灾处理方法、装置、主用数据中心和备用数据中心 |
CN112711510A (zh) * | 2020-12-29 | 2021-04-27 | 长威信息科技发展股份有限公司 | 一种业务连续性运行监测自动适配方法及系统 |
CN114546589A (zh) * | 2022-02-17 | 2022-05-27 | 新华三大数据技术有限公司 | 双活容灾系统恢复点目标验证方法、装置和设备 |
-
2022
- 2022-11-03 CN CN202211368745.4A patent/CN115437851B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324715A (zh) * | 2013-06-20 | 2013-09-25 | 交通银行股份有限公司 | 一种灾备系统可用性检测方法及装置 |
CN104794028A (zh) * | 2014-01-16 | 2015-07-22 | 中国移动通信集团浙江有限公司 | 一种容灾处理方法、装置、主用数据中心和备用数据中心 |
CN112711510A (zh) * | 2020-12-29 | 2021-04-27 | 长威信息科技发展股份有限公司 | 一种业务连续性运行监测自动适配方法及系统 |
CN114546589A (zh) * | 2022-02-17 | 2022-05-27 | 新华三大数据技术有限公司 | 双活容灾系统恢复点目标验证方法、装置和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115437851B (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110581782B (zh) | 一种容灾数据的处理方法、装置及系统 | |
CN110493116B (zh) | 一种车联网数据传输方法及装置 | |
CN108347463A (zh) | 一种终端文件上传方法 | |
CN110392120A (zh) | 一种消息推送过程中故障的恢复方法及装置 | |
CN101651706A (zh) | 一种数据发送和接收方法以及系统和装置 | |
CN101252760A (zh) | 同频测量事件评估方法 | |
CN109802986A (zh) | 设备管理方法、系统、装置及服务器 | |
CN109802995A (zh) | 消息推送方法、装置、设备及存储介质 | |
CN110730095B (zh) | 一种面向云计算平台的数据安全应急演练方法和系统 | |
CN115437851B (zh) | 数据中心容灾处理系统及方法 | |
US7243263B2 (en) | Method for dynamically switching fault tolerance schemes | |
CN102984739A (zh) | 故障信息处理方法及装置 | |
CN107547112B (zh) | 对主从设备之间的频道进行恢复的方法、设备以及系统 | |
JP2008225740A (ja) | 情報処理装置および情報処理方法 | |
CN109195160B (zh) | 网络设备资源探查信息的防篡改存储系统及其控制方法 | |
CN101296110B (zh) | 实时监听装置及方法 | |
CN113852544B (zh) | 一种基于LoraWan和区块链的安全网关 | |
CN113992609B (zh) | 一种处理多链路业务数据乱序的方法及系统 | |
CN112615755B (zh) | 数据传输方法和系统 | |
CN104468674A (zh) | 数据迁移方法及装置 | |
CN100362811C (zh) | 一种获取配置信息的方法 | |
CN113190347A (zh) | 一种边缘云系统及任务管理方法 | |
CN102647352A (zh) | 报文转发方法、装置和通讯设备 | |
CN111601299A (zh) | 一种5g架构下信息关联回填系统 | |
CN113873033B (zh) | 一种具有容错功能的智能边缘计算网关平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20221206 Assignee: Shanghai Haoyun Changsheng Data Service Co.,Ltd. Assignor: LIANTONG (GUANGDONG) INDUSTRY INTERNET Co.,Ltd. Contract record no.: X2024980000732 Denomination of invention: Data center disaster recovery processing system and methods Granted publication date: 20230113 License type: Common License Record date: 20240118 |