CN117749819B - 一种面向云服务的容灾数据同步方法及系统 - Google Patents
一种面向云服务的容灾数据同步方法及系统 Download PDFInfo
- Publication number
- CN117749819B CN117749819B CN202410191515.8A CN202410191515A CN117749819B CN 117749819 B CN117749819 B CN 117749819B CN 202410191515 A CN202410191515 A CN 202410191515A CN 117749819 B CN117749819 B CN 117749819B
- Authority
- CN
- China
- Prior art keywords
- standby
- cloud area
- efficiency
- value
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000011084 recovery Methods 0.000 title claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 176
- 238000012544 monitoring process Methods 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 description 6
- 230000002411 adverse Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向云服务的容灾数据同步方法及系统,具体涉及云服务监测技术领域,通过综合分析备用性能信息和主备同步状态信息,计算备用启用可用评估系数以量化评估备用云区域在主云区域发生灾难事件时的可用性,备用启用可用评估系数的计算考虑备用云区域的性能、匹配度等因素,根据设定的备用可用判断第一阈值和备用可用判断第二阈值,生成不同的信号,可以更精细地识别备用云区域的性能状态,有助于提高云服务的容灾和可用性;综合考虑综合评估区间内生成的灾难切换信号,通过比较切换可接受比与切换可接受阈值时,在生成可用预警糟糕信号时安排专业技术人员进行检修,有助于提前发现潜在问题,维护云服务的连续性和可用性。
Description
技术领域
本发明涉及云服务监测技术领域,更具体地说,本发明涉及一种面向云服务的容灾数据同步方法及系统。
背景技术
面向云服务的容灾数据同步是指为了确保在云环境中的业务连续性和数据可用性,将数据和应用程序在不同云区域、云提供商或云数据中心之间进行同步和复制。这样,当主要云区域或云服务出现故障、停机、数据损坏或其他灾难性事件时,组织可以迅速切换到备用云区域或提供商,继续提供服务并访问数据。云服务可以用于收集、存储和分析物联网设备生成的数据,以监控和控制设备、实现智能城市、智能家居等应用。
云区域包括主云区域以及若干个备用云区域,其中,在实际的主云区域发生灾难事件并切换到备用云区域时,没有对备用云区域的实际切换的性能的可用性进行预警来判断是否能够正常的切换到备用云区域,会造成切换可能会失败,导致业务中断,从而影响云服务的正常运行,造成对物联网设备生成的数据在监控和控制设备、实现智能城市、智能家居等应用的不利影响。
为了解决上述问题,现提供一种技术方案。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种面向云服务的容灾数据同步方法及系统以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种面向云服务的容灾数据同步方法,包括如下步骤:
步骤S1:采集备用性能信息,备用性能信息包括备用效率性能综合评估值;计算备份效率值的平均值;对备份效率值进行离散分析,计算备用效率颠簸值;将备份效率值的平均值的倒数与备用效率颠簸值进行加权求和,计算备用效率性能综合评估值;将备用效率性能综合评估值和备用效率性能综合评估阈值进行比较,生成备用效率差信号或备用效率正常信号;
步骤S2:采集主备同步状态信息,主备同步状态信息包括主备匹配评价值;通过分析主云区域的发送的数据对应的哈希值与备用云区域接收的数据的哈希值以及主云区域的发送的数据与备用云区域接收的数据对应的汉明距离,计算主备匹配评价值;
步骤S3:当生成备用效率正常信号,将备用效率性能综合评估值和主备匹配评价值进行归一化处理计算备用启用可用评估系数;将备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较,生成灾难切换较好信号、灾难切换可用信号或灾难切换糟糕信号;
步骤S4:根据生成灾难切换可用信号所占据的时间长度的占比计算切换可接受比;通过比较切换可接受比与切换可接受阈值,生成可用预警糟糕信号或可用正常信号。
在一个优选的实施方式中,在步骤S1中,备用效率性能综合评估值的具体获取逻辑为:
设定备份效率监测区间;将备份效率监测区间均等分为多个小区间,计算每个小区间对应的备份效率值,备份效率值为小区间内备份的数据量与小区间内备份的数据量所花费的时间的比值;
计算备份效率监测区间内小区间对应的备份效率值的平均值;对备份效率监测区间内小区间对应的备份效率值进行离散分析,计算备用效率颠簸值,其表达式为:,其中,/>分别为备份效率监测区间内小区间的数量以及备份效率监测区间内小区间的编号,/>,且/>均为大于1的正整数;/>分别为备用效率颠簸值、备份效率监测区间内第/>个小区间对应的备份效率值以及备份效率监测区间内小区间对应的备份效率值的平均值;
获取备份效率监测区间内小区间对应的备份效率值的平均值的倒数;将去单位处理后的备份效率监测区间内小区间对应的备份效率值的平均值的倒数与备用效率颠簸值进行加权求和,计算备用效率性能综合评估值,其表达式为:,其中,/>分别为备用效率性能综合评估值以及备份效率监测区间内小区间对应的备份效率值的平均值的倒数;/>分别为备份效率监测区间内小区间对应的备份效率值的平均值的倒数与备用效率颠簸值的权重,/>均大于0。
在一个优选的实施方式中,设定备用效率性能综合评估阈值;当备用效率性能综合评估值大于备用效率性能综合评估阈值,生成备用效率差信号,并将该备用云区域标记为糟糕备用云区域;当备用效率性能综合评估值大于备用效率性能综合评估阈值,生成备用效率正常信号,并将该备用云区域标记为正常备用云区域;
将正常备用云区域对应的备用效率性能综合评估值最小的正常备用云区域标记为灾难首选云区域。
在一个优选的实施方式中,在步骤S2中,主备匹配评价值的具体获取逻辑为:
设定匹配监测区间;将匹配监测区间内主云区域的发送的数据按照数据的大小均等分为份;获取每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离;
获取匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离大于0的数量,获取匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离的数量;
计算主备匹配评价值,其表达式为:,其中,/>分别为匹配监测区间内主云区域的发送的数据的份数以及匹配监测区间内主云区域的发送的每份数据的编号,/>,且/>均为大于1的正整数;/>分别为主备匹配评价值、匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离大于0的数量以及第/>个每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离。
在一个优选的实施方式中,在步骤S3中,当生成备用效率正常信号,将备用效率性能综合评估值和主备匹配评价值进行归一化处理,通过归一化处理后的备用效率性能综合评估值和主备匹配评价值计算备用启用可用评估系数;
设定备用可用判断第一阈值和备用可用判断第二阈值,备用可用判断第一阈值小于备用可用判断第二阈值;
将标记为灾难首选云区域的备用云区域对应的备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较:
当备用启用可用评估系数小于备用可用判断第一阈值,生成灾难切换较好信号;当备用启用可用评估系数大于等于备用可用判断第一阈值,且备用启用可用评估系数小于等于备用可用判断第二阈值,生成灾难切换可用信号;当备用启用可用评估系数大于备用可用判断第二阈值,生成灾难切换糟糕信号。
在一个优选的实施方式中,在步骤S4中,设定综合评估区间;判断在综合评估区间内是否生成灾难切换糟糕信号,若未生成灾难切换糟糕信号,获取综合评估区间内生成灾难切换可用信号所占据的时间长度,获取综合评估区间对应的时间长度,计算切换可接受比,切换可接受比为综合评估区间内生成灾难切换可用信号所占据的时间长度与综合评估区间对应的时间长度的比值;
设定切换可接受阈值;当切换可接受比大于切换可接受阈值,生成可用预警糟糕信号;当切换可接受比大于切换可接受阈值,生成可用正常信号。
在一个优选的实施方式中,一种面向云服务的容灾数据同步系统,包括数据处理模块,以及与数据处理模块信号连接的备用性能评估模块、主备同步评估模块、切换可用判断模块以及综合运行判断模块;
备用性能评估模块采集备用性能信息,将备用性能信息发送至数据处理模块,计算得到备用效率性能综合评估值;
主备同步评估模块采集主备同步状态信息,将主备同步状态信息发送至数据处理模块,计算得到主备匹配评价值;
数据处理模块将备用效率性能综合评估值和主备匹配评价值进行归一化处理计算备用启用可用评估系数;
切换可用判断模块将备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较,生成灾难切换较好信号、灾难切换可用信号或灾难切换糟糕信号;
数据处理模块根据生成灾难切换可用信号所占据的时间长度的占比计算切换可接受比;
综合运行判断模块通过比较切换可接受比与切换可接受阈值,生成可用预警糟糕信号或可用正常信号。
本发明一种面向云服务的容灾数据同步方法及系统的技术效果和优点:
1、通过综合分析备用性能信息和主备同步状态信息,计算备用启用可用评估系数以量化评估备用云区域在主云区域发生灾难事件时的可用性,备用启用可用评估系数的计算考虑备用云区域的性能、匹配度等因素,根据设定的备用可用判断第一阈值和备用可用判断第二阈值,生成不同的信号,可以更精细地识别备用云区域的性能状态,从而采取相应的措施,有助于提高云服务的容灾和可用性。
2、综合考虑综合评估区间内生成的灾难切换信号,通过计算切换可接受比来评估备用云区域性能的稳定性,通过比较切换可接受比与切换可接受阈值时,在生成可用预警糟糕信号时安排专业技术人员进行检修,有助于提前发现潜在问题,减少未来的故障风险,维护云服务的连续性和可用性。
附图说明
图1为本发明一种面向云服务的容灾数据同步方法示意图;
图2为本发明一种面向云服务的容灾数据同步系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:图1给出了本发明一种面向云服务的容灾数据同步方法,其包括如下步骤:
步骤S1:采集备用性能信息,备用性能信息包括备用效率性能综合评估值;计算备份效率值的平均值;对备份效率值进行离散分析,计算备用效率颠簸值;将备份效率值的平均值的倒数与备用效率颠簸值进行加权求和,计算备用效率性能综合评估值;将备用效率性能综合评估值和备用效率性能综合评估阈值进行比较,生成备用效率差信号或备用效率正常信号。
步骤S2:采集主备同步状态信息,主备同步状态信息包括主备匹配评价值;通过分析主云区域的发送的数据对应的哈希值与备用云区域接收的数据的哈希值以及主云区域的发送的数据与备用云区域接收的数据对应的汉明距离,计算主备匹配评价值。
步骤S3:当生成备用效率正常信号,将备用效率性能综合评估值和主备匹配评价值进行归一化处理计算备用启用可用评估系数;将备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较,生成灾难切换较好信号、灾难切换可用信号或灾难切换糟糕信号。
步骤S4:根据生成灾难切换可用信号所占据的时间长度的占比计算切换可接受比;通过比较切换可接受比与切换可接受阈值,生成可用预警糟糕信号或可用正常信号。
在步骤S1中,采集备用性能信息,备用性能信息指的是备用云区域的性能相关的信息,用于评估备用云区域的可用性、性能和资源状态。监测备用云区域的运行性能是为了确保容灾计划的可用性,如果备用云区域的运行性能下降,可以迅速采取纠正措施,通过监测备用云区域的运行性能,可以减少因备用云区域的运行性能不足而导致的潜在灾难风险,从而保护数据的正常同步。
备用性能信息包括备用效率性能综合评估值。
备用效率性能综合评估值的具体获取逻辑为:
物联网设备生成的数据通常是实时并且连续不断的,备用云区域对主云区域的数据进行备份时,其备份的效率体现了备用云区域备份数据的处理效率,通过分析备用云区域的备份数据的处理效率,可以用于评估备用云区域的运行性能。
设定备份效率监测区间,备份效率监测区间对应的时间长度是本领域专业技术人员依据实际中对备用云区域备份数据的处理效率的监测的要求标准等其他实际情况进行设定;备份效率监测区间对应的时间长度为固定值,但备份效率监测区间的范围是随着实时的时间变化而进行变化,即备份效率监测区间的一个临界点始终为实时的时间;例如当备份效率监测区间的时间长度设置为2min时,实时的时间为15:30,则备份效率监测区间监测对应的时间长度为15:28至15:30之间的时间间隔。
将备份效率监测区间均等分为多个小区间,计算每个小区间对应的备份效率值,备份效率值为小区间内备份的数据量与小区间内备份的数据量所花费的时间的比值。备份效率值越大,备用云区域的备份效率越高,备用云区域的运行性能越好。
计算备份效率监测区间内小区间对应的备份效率值的平均值,备份效率监测区间内小区间对应的备份效率值的平均值为备份效率监测区间内小区间对应的备份效率值的和与小区间数量的比值。
其中,小区间内备份的数据量是指在小区间内从主云区域备份过来的数据量,小区间内备份的数据量表示了在特定时间段内成功备份到备用云区域的数据的大小,通常,小区间内备份的数据量以字节(如MB、GB或TB)为单位来衡量。
值得注意的是,由于小区间内不一定是所有的时间都在进行数据备份,所以小区间内备份的数据量所花费的时间一般不等于小区间对应的时间长度。
对备份效率监测区间内小区间对应的备份效率值的稳定性进行分析,从而根据小区间对应的备份效率值的稳定性对备用云区域的运行性能进行预警,即当小区间对应的备份效率值的稳定性不佳时,说明存在备用云区域的运行性能发生性能不佳或故障的概率越大,在发现备用云区域的性能稳定性下降时,可以及早采取纠正措施,例如资源调整、性能优化或故障排除,以避免潜在的问题影响备用云区域的可用性和性能,可以提高备用云区域数据备份的可靠性。
对备份效率监测区间内小区间对应的备份效率值进行离散分析,计算备用效率颠簸值,其表达式为:,其中,/>分别为备份效率监测区间内小区间的数量以及备份效率监测区间内小区间的编号,/>,且均为大于1的正整数;/>分别为备用效率颠簸值、备份效率监测区间内第/>个小区间对应的备份效率值以及备份效率监测区间内小区间对应的备份效率值的平均值。
其中,备份效率监测区间内小区间对应的备份效率值的平均值越大,备份效率监测区间内备用云区域的备份效率越高,备用云区域的运行性能越好。
获取备份效率监测区间内小区间对应的备份效率值的平均值的倒数,备份效率监测区间内小区间对应的备份效率值的平均值的倒数越大,备份效率监测区间内备用云区域的备份效率越低,备用云区域的运行性能越差。
备用效率颠簸值越大,备用云区域的备份效率的稳定性越差,备用云区域的运行性能发生不佳和故障的可能性越大。
将备份效率监测区间内小区间对应的备份效率值的平均值的倒数与备用效率颠簸值去单位处理,将去单位处理后的备份效率监测区间内小区间对应的备份效率值的平均值的倒数与备用效率颠簸值进行加权求和,计算备用效率性能综合评估值,其表达式为:,其中,/>分别为备用效率性能综合评估值以及备份效率监测区间内小区间对应的备份效率值的平均值的倒数;/>分别为备份效率监测区间内小区间对应的备份效率值的平均值的倒数与备用效率颠簸值的权重,/>均大于0,且/>是本领域专业技术人员根据实际情况进行设定,此处不再赘述。
备用效率性能综合评估值越大,备用云区域的备份效率的运行性能越差。
设定备用效率性能综合评估阈值,备用效率性能综合评估阈值是本领域专业技术人员根据备用效率性能综合评估值的大小以及实际中对备用云区域的备份效率的要求标准等实际情况进行设定,此处不再赘述。
将备用效率性能综合评估值和备用效率性能综合评估阈值进行比较,判断备用云区域的备份效率情况。
当备用效率性能综合评估值大于备用效率性能综合评估阈值,生成备用效率差信号,并将该备用云区域标记为糟糕备用云区域;此时被标记为糟糕备用云区域的备用云区域的对主云区域数据的备份能力较差,备用云区域的运行性能较差,备用云区域的性能无法满足在主云区域发生灾难性事件时进行切换所需的要求。备用云区域不能够顺利接管主云区域。
此时根据生成的备用效率差信号,采取措施对云服务系统进行检修,具体包括:
检查备用云区域的资源配置,包括计算、存储和网络资源,如果发现资源不足,增加资源以提高备用云区域的性能;检查备用云区域的硬件和软件组件,以查找潜在的故障或问题,并采取纠正措施来修复它们。
当备用效率性能综合评估值大于备用效率性能综合评估阈值,生成备用效率正常信号,并将该备用云区域标记为正常备用云区域;此时备用云区域的运行性能正常,不存在性能问题或存在的性能问题在可接受范围内,但依然可能会对云服务的容灾数据同步造成一定的不利影响。
将正常备用云区域对应的备用效率性能综合评估值最小的正常备用云区域标记为灾难首选云区域,选择灾难首选云区域作为主云区域在出现灾难性事件的首选的备用云区域;同时,获取标记为灾难首选云区域对应的备用效率性能综合评估值。
在步骤S2中,采集主备同步状态信息,主云区域和备用云区域之间的数据同步状态可以通过比较主云区域发送的数据的哈希值和备用云区域接收到的数据的哈希值是否匹配,若存在主云区域发送的数据的哈希值和备用云区域接收到的数据的哈希值之间匹配情况较差,可能存在主云区域和备用云区域连接问题或主云区域和备用云区域之间数据传输的不稳定性,备用云区域可能存在性能问题或存储问题,导致数据不正确地接收或存储,数据在备用云区域接收后的处理过程中可能发生错误,导致哈希值与原始数据不匹配。
主备同步状态信息包括主备匹配评价值,主备匹配评价值的具体获取逻辑为:
设定匹配监测区间,匹配监测区间对应的时间长度是本领域专业技术人员依据实际中对备用云区域备份的数据的与主云区域的数据的匹配的监测的要求标准等其他实际情况进行设定;匹配监测区间对应的时间长度为固定值,但匹配监测区间的范围是随着实时的时间变化而进行变化,即匹配监测区间的一个临界点始终为实时的时间;例如当匹配监测区间的时间长度设置为3h时,实时的时间为15:30,则匹配监测区间监测对应的时间长度为12:30至15:30之间的时间间隔。值得注意的是,此处举例的时间以及实际长度并非运用于实际的时间以及时间长度。
将匹配监测区间内主云区域的发送的数据按照数据的大小均等分为份,计算每份主云区域的发送的数据对应的哈希值,计算每份主云区域的发送的数据对应的备用云区域接收的数据的哈希值。若每份主云区域的发送的数据对应的哈希值与备用云区域接收的数据的哈希值不相等,说明数据在主云区域与备用云区域之间的传输或同步过程中出现问题,包括但不限于以下情况:
数据损坏:数据在传输过程中可能发生了损坏,导致哈希值不匹配。
数据篡改:数据可能在传输或存储过程中被篡改,导致哈希值不匹配。
同步问题:备用云区域可能未正确同步主云区域的数据,导致数据不一致。
若每份主云区域的发送的数据对应的哈希值与备用云区域接收的数据的哈希值不相等且相差较大,表示数据的完整性问题更为严重,可能存在更严重的数据传输或同步问题。
对匹配监测区间内每份主云区域的发送的数据对应的哈希值与每份主云区域的发送的数据对应的备用云区域接收的数据的哈希值的偏差情况进行分析:
将每份主云区域的发送的数据对应的哈希值与每份主云区域的发送的数据对应的备用云区域接收的数据的哈希值均转换为二进制字符串。
比较每份主云区域的发送的数据对应的哈希值的二进制字符串与每份主云区域的发送的数据对应的备用云区域接收的数据的哈希值的二进制字符串,计算每份主云区域的发送的数据对应的哈希值的二进制字符串与每份主云区域的发送的数据对应的备用云区域接收的数据的哈希值的二进制字符串之间不同位置的位数。
不同位数的数量即为汉明距离,汉明距离用于表示哈希值之间的差异。
获取每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离,汉明距离越大,每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据的差异越大。
获取匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离大于0的数量,获取匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离的数量;相应的,匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离的数量为。
计算主备匹配评价值,其表达式为:,其中,/>分别为匹配监测区间内主云区域的发送的数据的份数以及匹配监测区间内主云区域的发送的每份数据的编号,/>,且/>均为大于1的正整数;分别为主备匹配评价值、匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离大于0的数量以及第/>个每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离;其中,加1是为了保证/>不为0。
越大,说明匹配监测区间内发生汉明距离不为0的情况越多,/>越大,说明在匹配监测区间内汉明距离越大,即匹配监测区间内主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据的匹配情况越糟糕;即主备匹配评价值越大,匹配监测区间内主云区域和备用云区域连接问题或主云区域和备用云区域之间数据传输的不稳定性越严重。
值得注意的是,为了更好地说明主备匹配评价值的公式,相当于是的一个调节系数,当/>相同的情况下,/>越大,说明在/>相同情况下,/>大的相较于/>小的匹配监测区间内主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据的匹配情况更糟糕。值得注意的是,/>是经过去单位处理过后的。
在步骤S3中,当生成备用效率正常信号,将备用性能信息和主备同步状态信息进行综合分析,从而监测在主云区域发生灾难事件时,备用云区域能否能够顺利接管主云区域以维护业务的连续性。
将备用效率性能综合评估值和主备匹配评价值进行归一化处理,通过归一化处理后的备用效率性能综合评估值和主备匹配评价值计算备用启用可用评估系数,例如,本发明可采用如下公式进行备用启用可用评估系数的计算,其表达式为:
,其中,/>分别为备用启用可用评估系数、备用效率性能综合评估值以及主备匹配评价值;/>分别为备用效率性能综合评估值以及主备匹配评价值的预设比例系数,且/>均大于0。
备用启用可用评估系数越大,该备用云区域能够顺利接管主云区域的可用性越差。
设定备用可用判断第一阈值和备用可用判断第二阈值,备用可用判断第一阈值小于备用可用判断第二阈值。
将标记为灾难首选云区域的备用云区域对应的备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较:
当备用启用可用评估系数小于备用可用判断第一阈值,生成灾难切换较好信号;此时标记为灾难首选云区域的备用云区域可以在主云区域发生灾难事件时,可以正常的切换到标记为灾难首选云区域的备用云区域。
当备用启用可用评估系数大于等于备用可用判断第一阈值,且备用启用可用评估系数小于等于备用可用判断第二阈值,生成灾难切换可用信号;此时,标记为灾难首选云区域的备用云区域可以在主云区域发生灾难事件时,能够在可接受范围内切换到标记为灾难首选云区域的备用云区域,即可能切换时存在问题,但是在接受范围之内,也不代表没有发生故障的可能性。
当备用启用可用评估系数大于备用可用判断第二阈值,生成灾难切换糟糕信号;此时标记为灾难首选云区域的备用云区域可以在主云区域发生灾难事件时,不能正常的切换到标记为灾难首选云区域的备用云区域,即若切换到标记为灾难首选云区域的备用云区域,会导致云服务无法正常运行。此时根据生成的灾难切换糟糕信号,安排专业技术人员对备用云区域性能进行检修,以及对备用云区域与主云区域之间的连接进行检修,直到备用云区域、备用云区域与主云区域的连接恢复正常状态。
备用可用判断第一阈值、备用可用判断第二阈值是本领域专业技术人员根据备用启用可用评估系数的大小以及在实际中对备用云区域的性能的要求标准等其他实际情况进行设定,此处不再赘述。
在步骤S4中,设定综合评估区间,综合评估区间对应的时间长度是本领域专业技术人员依据实际中对备用云区域可用性的监测的要求标准等其他实际情况进行设定;综合评估区间对应的时间长度为固定值,但综合评估区间的范围是随着实时的时间变化而进行变化,即综合评估区间的一个临界点始终为实时的时间;例如当综合评估区间的时间长度设置为6h时,实时的时间为15:30,则综合评估区间监测对应的时间长度为09:30至15:30之间的时间间隔。值得注意的是,此处举例的时间以及实际长度并非运用于实际的时间以及时间长度。
判断在综合评估区间内是否生成灾难切换糟糕信号,若未生成灾难切换糟糕信号,则:
获取综合评估区间内生成灾难切换可用信号所占据的时间长度,获取综合评估区间对应的时间长度,计算切换可接受比,切换可接受比为综合评估区间内生成灾难切换可用信号所占据的时间长度与综合评估区间对应的时间长度的比值;
切换可接受比越大,虽然是在备用云区域可用性的接受范围之内,但发生故障的可能性越大;例如在综合评估区间内生成灾难切换可用信号占总时间长度的75%以上时,表示备用云区域性能的不稳定,很容易在未来发生故障等其他不利事件。
设定切换可接受阈值,切换可接受阈值是本领域专业技术人员根据切换可接受比的大小以及对综合评估区间内生成灾难切换可用信号的时间长度的要求标准等其他实际情况进行设定,此处不再赘述。
比较切换可接受比与切换可接受阈值:
当切换可接受比大于切换可接受阈值,生成可用预警糟糕信号,此时备用云区域性能的不稳定,很容易在未来发生故障等其他不利事件。此时根据生成的可用预警糟糕信号,安排专业技术人员对备用云区域性能进行检修,以及对备用云区域与主云区域之间的连接进行检修,此处不再赘述。
当切换可接受比大于切换可接受阈值,生成可用正常信号,此时备用云区域性能较为稳定,在未来发生故障等其他不利事件的概率很小,无需采取措施。
实施例2:本发明实施例2与实施例1的区别在于,本实施例是对一种面向云服务的容灾数据同步系统进行介绍。
图2给出了本发明一种面向云服务的容灾数据同步系统的结构示意图,一种面向云服务的容灾数据同步系统,包括数据处理模块,以及与数据处理模块信号连接的备用性能评估模块、主备同步评估模块、切换可用判断模块以及综合运行判断模块。
备用性能评估模块采集备用性能信息,将备用性能信息发送至数据处理模块,计算得到备用效率性能综合评估值。
主备同步评估模块采集主备同步状态信息,将主备同步状态信息发送至数据处理模块,计算得到主备匹配评价值。
数据处理模块将备用效率性能综合评估值和主备匹配评价值进行归一化处理计算备用启用可用评估系数。
切换可用判断模块将备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较,生成灾难切换较好信号、灾难切换可用信号或灾难切换糟糕信号。
数据处理模块根据生成灾难切换可用信号所占据的时间长度的占比计算切换可接受比。
综合运行判断模块通过比较切换可接受比与切换可接受阈值,生成可用预警糟糕信号或可用正常信号。
上述公式均是去量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络,或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD),或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件,或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其他的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,既可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种面向云服务的容灾数据同步方法,其特征在于,包括如下步骤:
步骤S1:采集备用性能信息,备用性能信息包括备用效率性能综合评估值;计算备份效率值的平均值;对备份效率值进行离散分析,计算备用效率颠簸值;将备份效率值的平均值的倒数与备用效率颠簸值进行加权求和,计算备用效率性能综合评估值;将备用效率性能综合评估值和备用效率性能综合评估阈值进行比较,生成备用效率差信号或备用效率正常信号;
步骤S2:采集主备同步状态信息,主备同步状态信息包括主备匹配评价值;通过分析主云区域的发送的数据对应的哈希值与备用云区域接收的数据的哈希值以及主云区域的发送的数据与备用云区域接收的数据对应的汉明距离,计算主备匹配评价值;
步骤S3:当生成备用效率正常信号,将备用效率性能综合评估值和主备匹配评价值进行归一化处理计算备用启用可用评估系数;将备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较,生成灾难切换较好信号、灾难切换可用信号或灾难切换糟糕信号;
步骤S4:根据生成灾难切换可用信号所占据的时间长度的占比计算切换可接受比;通过比较切换可接受比与切换可接受阈值,生成可用预警糟糕信号或可用正常信号;
在步骤S4中,设定综合评估区间;判断在综合评估区间内是否生成灾难切换糟糕信号,若未生成灾难切换糟糕信号,获取综合评估区间内生成灾难切换可用信号所占据的时间长度,获取综合评估区间对应的时间长度,计算切换可接受比,切换可接受比为综合评估区间内生成灾难切换可用信号所占据的时间长度与综合评估区间对应的时间长度的比值;
设定切换可接受阈值;当切换可接受比大于切换可接受阈值,生成可用预警糟糕信号;当切换可接受比小于切换可接受阈值,生成可用正常信号。
2.根据权利要求1所述的一种面向云服务的容灾数据同步方法,其特征在于:在步骤S1中,备用效率性能综合评估值的具体获取逻辑为:
设定备份效率监测区间;将备份效率监测区间均等分为多个小区间,计算每个小区间对应的备份效率值,备份效率值为小区间内备份的数据量与小区间内备份的数据量所花费的时间的比值;
计算备份效率监测区间内小区间对应的备份效率值的平均值;对备份效率监测区间内小区间对应的备份效率值进行离散分析,计算备用效率颠簸值,其表达式为:,其中,/>分别为备份效率监测区间内小区间的数量以及备份效率监测区间内小区间的编号,/>,且/>均为大于1的正整数;/>分别为备用效率颠簸值、备份效率监测区间内第/>个小区间对应的备份效率值以及备份效率监测区间内小区间对应的备份效率值的平均值;获取备份效率监测区间内小区间对应的备份效率值的平均值的倒数;将去单位处理后的备份效率监测区间内小区间对应的备份效率值的平均值的倒数与备用效率颠簸值进行加权求和,计算备用效率性能综合评估值,其表达式为:/>,其中,/>分别为备用效率性能综合评估值以及备份效率监测区间内小区间对应的备份效率值的平均值的倒数;/>分别为备份效率监测区间内小区间对应的备份效率值的平均值的倒数与备用效率颠簸值的权重,/>均大于0。
3.根据权利要求1所述的一种面向云服务的容灾数据同步方法,其特征在于:设定备用效率性能综合评估阈值;当备用效率性能综合评估值大于备用效率性能综合评估阈值,生成备用效率差信号,并将该备用云区域标记为糟糕备用云区域;当备用效率性能综合评估值小于备用效率性能综合评估阈值,生成备用效率正常信号,并将该备用云区域标记为正常备用云区域;
将正常备用云区域对应的备用效率性能综合评估值最小的正常备用云区域标记为灾难首选云区域。
4.根据权利要求1所述的一种面向云服务的容灾数据同步方法,其特征在于:在步骤S2中,主备匹配评价值的具体获取逻辑为:
设定匹配监测区间;将匹配监测区间内主云区域的发送的数据按照数据的大小均等分为份;获取每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离;
获取匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离大于0的数量,获取匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离的数量;
计算主备匹配评价值,其表达式为:
,其中,/>分别为匹配监测区间内主云区域的发送的数据的份数以及匹配监测区间内主云区域的发送的每份数据的编号,/>,且/>均为大于1的正整数;/>分别为主备匹配评价值、匹配监测区间内每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离大于0的数量以及第/>个每份主云区域的发送的数据与每份主云区域的发送的数据对应的备用云区域接收的数据对应的汉明距离。
5.根据权利要求1所述的一种面向云服务的容灾数据同步方法,其特征在于:在步骤S3中,当生成备用效率正常信号,将备用效率性能综合评估值和主备匹配评价值进行归一化处理,通过归一化处理后的备用效率性能综合评估值和主备匹配评价值计算备用启用可用评估系数;
设定备用可用判断第一阈值和备用可用判断第二阈值,备用可用判断第一阈值小于备用可用判断第二阈值;
将标记为灾难首选云区域的备用云区域对应的备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较:
当备用启用可用评估系数小于备用可用判断第一阈值,生成灾难切换较好信号;当备用启用可用评估系数大于等于备用可用判断第一阈值,且备用启用可用评估系数小于等于备用可用判断第二阈值,生成灾难切换可用信号;当备用启用可用评估系数大于备用可用判断第二阈值,生成灾难切换糟糕信号。
6.一种面向云服务的容灾数据同步系统,用于实现权利要求1-5任一项所述的一种面向云服务的容灾数据同步方法,其特征在于:包括数据处理模块,以及与数据处理模块信号连接的备用性能评估模块、主备同步评估模块、切换可用判断模块以及综合运行判断模块;
备用性能评估模块采集备用性能信息,将备用性能信息发送至数据处理模块,计算得到备用效率性能综合评估值;
主备同步评估模块采集主备同步状态信息,将主备同步状态信息发送至数据处理模块,计算得到主备匹配评价值;
数据处理模块将备用效率性能综合评估值和主备匹配评价值进行归一化处理计算备用启用可用评估系数;
切换可用判断模块将备用启用可用评估系数与备用可用判断第一阈值、备用可用判断第二阈值进行比较,生成灾难切换较好信号、灾难切换可用信号或灾难切换糟糕信号;
数据处理模块根据生成灾难切换可用信号所占据的时间长度的占比计算切换可接受比;
综合运行判断模块通过比较切换可接受比与切换可接受阈值,生成可用预警糟糕信号或可用正常信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410191515.8A CN117749819B (zh) | 2024-02-21 | 2024-02-21 | 一种面向云服务的容灾数据同步方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410191515.8A CN117749819B (zh) | 2024-02-21 | 2024-02-21 | 一种面向云服务的容灾数据同步方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117749819A CN117749819A (zh) | 2024-03-22 |
CN117749819B true CN117749819B (zh) | 2024-05-10 |
Family
ID=90261367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410191515.8A Active CN117749819B (zh) | 2024-02-21 | 2024-02-21 | 一种面向云服务的容灾数据同步方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117749819B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116483623A (zh) * | 2023-04-17 | 2023-07-25 | 中科易存软件江苏有限公司 | 一种基于云计算的数据存储系统及储存设备 |
CN116992245A (zh) * | 2023-09-27 | 2023-11-03 | 江西珉轩大数据有限公司 | 一种分布式时序数据分析处理方法 |
CN117271222A (zh) * | 2023-11-03 | 2023-12-22 | 黑龙江简医科技有限公司 | 一种面向大数据的云容灾备份方法及系统 |
-
2024
- 2024-02-21 CN CN202410191515.8A patent/CN117749819B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116483623A (zh) * | 2023-04-17 | 2023-07-25 | 中科易存软件江苏有限公司 | 一种基于云计算的数据存储系统及储存设备 |
CN116992245A (zh) * | 2023-09-27 | 2023-11-03 | 江西珉轩大数据有限公司 | 一种分布式时序数据分析处理方法 |
CN117271222A (zh) * | 2023-11-03 | 2023-12-22 | 黑龙江简医科技有限公司 | 一种面向大数据的云容灾备份方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117749819A (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9672085B2 (en) | Adaptive fault diagnosis | |
CN102436376B (zh) | 用于分布式应用确认的模型检查 | |
Zhao et al. | An empirical investigation of practical log anomaly detection for online service systems | |
Zhao et al. | Understanding and handling alert storm for online service systems | |
CN110825578A (zh) | 用以自动管理发生于数据中心系统的硬件错误事件的方法 | |
US9489138B1 (en) | Method and apparatus for reliable I/O performance anomaly detection in datacenter | |
CN110178121A (zh) | 一种数据库的检测方法及其终端 | |
WO2021188196A1 (en) | Causality determination of upgrade regressions via comparisons of telemetry data | |
CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
CN111581056B (zh) | 基于人工智能的软件工程数据库维护与预警系统 | |
Gurumdimma et al. | Towards detecting patterns in failure logs of large-scale distributed systems | |
Ghiasvand et al. | Anomaly detection in high performance computers: A vicinity perspective | |
CN111340326A (zh) | 基于神经网络故障预测的电力终端监控方法和装置 | |
US8634965B1 (en) | Computer-based method for power system state estimation | |
US10666051B2 (en) | Electrical circuit control in power systems | |
CN117749819B (zh) | 一种面向云服务的容灾数据同步方法及系统 | |
CN107590008A (zh) | 一种通过加权熵判断分布式集群可靠度的方法和系统 | |
Hou et al. | A Federated Learning‐Based Fault Detection Algorithm for Power Terminals | |
Gurumdimma et al. | Detection of recovery patterns in cluster systems using resource usage data | |
CN116010199A (zh) | 应用服务自调节方法、装置、计算机设备及存储介质 | |
CN103501320B (zh) | 一种利用失效日志计算存储集群可用性的方法 | |
Tian et al. | Probabilistic failure detection for efficient distributed storage maintenance | |
CN117389692B (zh) | 虚拟机容灾保护方法、装置、电子设备及存储介质 | |
US20190324832A1 (en) | Metric for the assessment of distributed high-availability architectures using survivability modeling | |
CN113806188B (zh) | 一种数据同步告警的方法、装置、设备及可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |