CN116302680A - 一种降低超融合系统故障影响的恢复系统及方法 - Google Patents
一种降低超融合系统故障影响的恢复系统及方法 Download PDFInfo
- Publication number
- CN116302680A CN116302680A CN202310057144.XA CN202310057144A CN116302680A CN 116302680 A CN116302680 A CN 116302680A CN 202310057144 A CN202310057144 A CN 202310057144A CN 116302680 A CN116302680 A CN 116302680A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- virtual machine
- recovery
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 82
- 230000004927 fusion Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000737 periodic effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1461—Backup scheduling policy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种降低超融合系统故障影响的恢复系统及方法,该策略针对在超融合系统的副本模式下,通过对业务虚拟机进行优先级标记,得到高引用数据块列表,通过高引用数据块列表排序得到恢复任务,从而使重要的数据优先恢复、多重引用的数据优先恢复、仅在高优先级数据和热点数据会占用恢复端的缓存空间,减少对正在运行的业务的性能影响;并依据高引用数据块列表的排序进行缓存工作。
Description
技术领域
本发明涉及数据恢复领域,尤其涉及一种降低超融合系统故障影响的恢复系统及方法。
背景技术
超融合基础架构是一种将计算、网络和存储等资源作为基础设施进行整合,可以根据具体业务系统需求进行选择组合和自定义,方便快捷地进行数据中心搭建和业务系统部署的一种技术架构。具体实现方式上一般是在单元节点(x86服务器)中融入软件虚拟化技术(包括计算、网络、存储、安全等虚拟化),而每一个单元节点可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),构建统一的资源池。
在超融合基础架构中,计算负载(应用程序/虚拟机)与关联的数据在同一组物理服务器上。但是与传统的家用设备上应用程序仅使用设备,直接连接的存储设备不同,超融合系统中并不将存储资源(硬盘或者AEP等新型存储介质)直接暴露给应用程序使用,而是先把整个超融合集群中所有存储资源池化,再提供虚拟存储服务(虚拟磁盘,虚拟文件系统等)交付应用程序使用。每个应用程序的访问的数据会有可能会分布在整个超融合系统的所有节点之上,在单个存储服务器或者单块磁盘等存储介质异常导致数据损失时可以从其他健康的磁盘或服务器中获取冗余/备份数据来重建损失的数据。
在副本模式中,如图6所示,假设在超融合系统(使用副本模式)中设置数据的期望副本数3,每个用户数据都会产生3个内容完全一致的副本分别存储在不同的3个服务器上。同时系统会有一个数据恢复(或者是健康管理服务)来检测所有数据副本的健康状态;
在故障发生时,如图7所示,数据恢复服务会发现其中一个副本(例如图中的副本1)已经不在处于健康状态,就会发起一个恢复任务,读取其他的健康副本(例如图中的副本2),复制一份写入至其他可用的健康服务器(例如图中的副本4)
现有的超融合系统中数据恢复技术需要改善的问题包括:一个存储系统中,特别是用超融合系统这样通常承载了一个用户完整IT系统的存储系统而言,不是所有的数据都同等重要的。例如系统产生的常规日志文件显然没有核心交易系统的数据库数据来的重要。而当前的恢复策略缺乏对业务高优先级的判定,在非常不幸发生了连续的叠加故障造成不可挽回的数据损失时。目前的恢复策略因为对所有的数据是一视同仁予以恢复的,很难保证关键数据可以得到优先恢复;
突发的恢复流量会淹没缓存的空间,导致恢复期间超融合系统上的用户业务数据因为得不到充足的缓存空间而发生比较严重的性能下降;针对去重策略的恢复策略改进,如果同样恢复1GB的数据,它是被100个用户使用的还是和被1个用户使用的。恢复之后带来的效果是有显著不同的。需要尽量优先恢复高引用的数据。
发明内容
本发明的目的在于提供一种降低超融合系统故障影响的恢复系统及方法,解决了现有技术中指出的上述技术问题。
本发明提供了一种降低超融合系统故障影响的恢复系统,其特征在于,包括物理服务器、超融合系统组件、业务虚拟机;其中,所述物理服务器包括磁盘;并且,所述物理服务器上运行有业务虚拟机运行的业务;所述超融合系统组件用于将数据保存至当前业务虚拟机所在的物理服务器,并制作副本复制到其他服务器;
所述磁盘用于最终存放数据副本;
其中,所述物理服务器还包括业务模式识别服务模块、缓存管理服务模块;所述超融合系统组件中包括数据恢复服务模块、业务高优先级判定服务模块;
业务模式识别服务模块,用于在收到业务虚拟机的IO请求后,通过对所述业务虚拟机运行的业务信息识别,进一步地对所述业务虚拟机进行优先级标记,获取业务高优先级信息;
数据恢复服务模块,负责检查业务数据副本状态,在发现异常时候发起数据恢复任务重建副本;
业务高优先级判定服务模块,收集业务模式识别服务模块的业务高优先级信息来标记数据;并且获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级进行识别,得到高引用数据块列表;依据高引用数据块列表其表示的排列顺序进行业务虚拟机的恢复任务;在执行恢复动作时,根据高引用数据块列表其表示的排列顺序对业务虚拟机进行优先顺序缓存;
缓存管理服务模块,用于在收到业务虚拟机的的IO请求时,根据所述业务高优先级信息,决定是否对其进行缓存;并且在恢复任务时向系统提供数据源是否在缓存中的额外提示信息。
相应地,本发明还提出了一种降低超融合系统故障影响的恢复方法,包括如下操作步骤:
获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级进行识别,得到高引用数据块列表;
依据高引用数据块列表其表示的排列顺序进行业务虚拟机的恢复任务;
在执行恢复动作时,根据高引用数据块列表其表示的排列顺序对业务虚拟机进行优先顺序缓存。
与现有技术相比,本发明实施例至少存在如下方面的技术优势:
本发明实施例采用的技术方案,能够根据数据的引用计数标记数据重要程度,在遇到异常时可以优先恢复,减少故障叠加场景对重要数据的安全性影响;超融合存储系统中对于数据实际影响范围的信息也可以再内部帮助确定优先级,可以降低数据损失范围。
分析本发明提供的上述一种降低超融合系统故障影响的恢复系统及方法可知,在具体应用时对通过对重要数据的识别和发生故障时的优先恢复,在数据恢复过程中故障连续发生(故障叠加)从而导致数据损失的场景里降低重要数据的丢失可能性,减少系统的整体损失。
通过对单一数据块影响范围的识别和发生故障时的优先恢复可能带来较大面积影响的数据块,减少在数据恢复过程中故障连续发生(故障叠加)从而导致数据损失的场景中从最终用户角度看到的数据损失范围,减少系统的整体损失;通过对待恢复数据的冷热识别,使用不同的缓存利用策略,尽可能降低数据恢复所产生的额外写入请求对缓存资源的消耗以降低恢复动作对在线业务系统性能的影响,从而改善系统在发生故障的稳定性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种降低超融合系统故障影响的恢复系统整体架构示意图;
图2为本发明实施例二提供的一种降低超融合系统故障影响的恢复方法流程示意图;
图3为本发明实施例二提供的一种降低超融合系统故障影响的恢复方法中获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级进行识别,得到高引用数据块列表的流程示意图;
图4为本发明实施例二提供的一种降低超融合系统故障影响的恢复方法中将当前的IO流特征与已知的特征模型进行匹配,并根据匹配结果确定定IO请求中的业务高优先级的流程示意图;
图5为本发明实施例二提供的一种降低超融合系统故障影响的恢复方法中一个抽样排序方法,在有限的内存消耗和时间消耗的前提下获得一个近似高引计数流程示意图;
图6为现有技术中的超融合系统的副本模式下的系统架构示意图;
图7为现有技术中的超融合系统的副本模式下的数据恢复示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例一
如图1所示,本发明实施例一采用的一种降低超融合系统故障影响的恢复系统,包括物理服务器10、超融合系统组件20、业务虚拟机30;其中,所述物理服务器安装有磁盘11;并且,所述物理服务器上运行有业务虚拟机30运行的业务;所述超融合系统组件用于将数据保存至当前业务虚拟机所在的物理服务器,并制作副本复制到其他服务器;
所述磁盘用于最终存放数据副本;
在本发明实施例涉及的一种降低超融合系统故障影响的恢复系统架构中:其中,物理服务器还包括业务模式识别服务模块12、缓存管理服务模块13;
业务模式识别服务模块12,用于在收到业务虚拟机的IO请求后,通过对所述业务虚拟机运行的业务信息(业务信息即为物理服务器上运行有业务虚拟机运行的业务)识别,进一步地对所述业务虚拟机进行优先级标记,获取业务高优先级信息;
缓存管理服务模块13,用于在收到业务虚拟机的的IO请求时,根据所述业务高优先级信息,决定是否对其进行缓存;并且在恢复任务时向系统提供数据源是否在缓存中的额外提示信息;
在本发明实施例涉及的一种降低超融合系统故障影响的恢复系统架构中:超融合系统组件20中包括数据恢复服务模块21、业务高优先级判定服务模块22;
数据恢复服务模块21,负责检查业务数据副本状态,在发现异常时候发起数据恢复任务重建副本;
业务高优先级判定服务模块22,收集业务模式识别服务模块的业务高优先级信息来标记数据;并且会主动的扫描和检查数据的去重状态对数据进行引用计数标记,获取高引用数据列表,此外还提供接口给予用户人工对数据重要性标记的能力,获取高引用数据列表,在数据恢复服务模块恢复数据时提供数据恢复优先级列表。
需要说明的是,业务模式识别服务模块12获取业务虚拟机的IO请求后,对业务虚拟机的业务优先级进行识别,通过数据恢复服务模块21检查到业务数据副本状态异常,发起数据恢复任务进行重建副本,业务高优先级判定服务模块22获取高引用数据块列表,后数据恢复服务模块依据高引用数据块列表进行恢复任务后,缓存管理服务模块13依据高引用数据块列表进行缓存。
综上,本发明提供的上述一种降低超融合系统故障影响的恢复系统,首先,通过物理服务器在收到业务虚拟机的IO请求时,针对业务虚拟机的IO请求,对业务虚拟机进行优先级标记;超融合系统组件在检查业务数据副本存在异常时,发起数据恢复任务重建副本,通过业务虚拟机的优先级顺序对业务虚拟机进行数据恢复任务,并依据业务虚拟机的优先级顺序对业务虚拟机实施缓存操作;从而达到重要的数据优先恢复、多重引用的数据优先恢复、仅在高优先级数据和热点数据会占用恢复端的缓存空间,减少对正在运行的业务的性能影响。
所述额外提示信息是在恢复任务时,提示缓存管理服务模块数据源是否存在缓存中一种信息。
实施例二
如图2所示,相应地,本发明还提出了一种降低超融合系统故障影响的恢复方法,包括如下操作步骤:
步骤S10:获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级(即数据优先级)进行识别,得到高引用数据块列表;
步骤S20:依据高引用数据块列表其表示的排列顺序进行业务虚拟机的恢复任务;
步骤S30:在执行恢复动作时,根据高引用数据块列表其表示的排列顺序对业务虚拟机进行优先顺序缓存。
具体地,如图3所示,在步骤S1中,获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级(即数据优先级)进行识别,得到高引用数据块列表,包括3个子流程:
步骤S11:业务模型服务模块获取IO请求中的IO流特征,对所述IO流特征识别,将当前的IO流特征与已知的特征模型进行匹配,并根据匹配结果确定IO请求中的业务高优先级;
步骤S12:引用IO请求中的业务高优先级,并对所述业务高优先级进行判定,得到高引用数据块列表;
步骤S13:同时还可以通过人工的方式得到高引用数据块列表。解释说明:用户通过系统管理服务(以标记,分组或其他方式)确定业务高优先级判定服务某些虚拟机的数据(此处服务某些虚拟机的数据即为服务周期性触发高引用标记任务数据)应该归类为高优先级数据(此处高优先级数据即为高引用数据块列表)。
参见图4,,在步骤S11中,将当前的IO流特征与已知的特征模型进行匹配,并根据匹配结果确定定IO请求中的业务高优先级,具体包括2个步骤:
步骤S111:初始状态时,获取一个特征模型,然后根据特征模型训练相关的数据(数据集)得到已知的特征模型;具体为:从IO流特征数据中多个重复的数据建立多个IO流特征数据集合,确定所述IO特征流集合为特征模型;
步骤S112:以所述特征模型与IO流特征进行对比;若识别出有IO流特征与已知的特征模型匹配,则标记当前IO流特征所属虚拟机为重要数据业务虚拟机,判定虚拟机的关联数据为业务高优先级。
解释说明:上述步骤的操作如下:
步骤S111:预先模型训练,部署已知的重要应用程序(例如Oracle、MySQL、SQLServer等DB服务),在应用程序上进行常见的业务压力测试;模型训练程序记录和监控关键在运行这些测试时的IO流数据特征,得到已知的特征模型(初始状态时,获取一个特征模型,然后根据特征模型训练相关的数据(数据集)得到已知的特征模型);
步骤S112:特征模型识别,以所述特征模型与IO流特征进行对比,(解释说明:因为一个虚拟机上会同时混合有多种不同的IO特征,所以一般需要同时追踪多个IO流);若识别出有IO流特征与特征模型匹配(匹配已知的特征模型),则标记当前IO流特征所属(IO流特征所属的IO申请所属的虚拟机)虚拟机为重要数据业务虚拟机,即业务高优先级判定服务虚拟机的关联数据为业务高优先级;若IO流特征与特征模型不匹配,则检查是否有空闲的IO流特征槽位(IO流特征槽位即IO流特征数据集合),若检查有空闲的IO流特征槽位,则将所述IO流特征放入空闲的IO流特征槽位,构建新的特征模型;若无空闲的IO流特征槽位,则清理最老的IO流特征,得到空闲的IO流特征槽位,将所述IO特征放入IO流特征槽位,构建新的特征模型(形成新的已知的特征模型)。
其中,所述IO流特征识别主要是使用IO请求中固定偏移的重复数据次数和连续数据递增计数做为识别流的模型。
需要说明的是,所有已知测试负载都可以识别出业务IO流特征模型。需要注意的是在应用于恢复策略的模型训练过程中,我们并不需要非常严格的正确率。特别是误将部分不重要的偶然重复的数据流识别为关键数据流带来的影响相对于未使用识别策略,将整个系统中所有数据流都一视同仁而言也是有收益的。
需要说明的是,在步骤S111中,所述预先模型训练工作流程具体包括如下操作步骤:
若监测到目标业务中还有未测试的集合,则在数据集合中选取一个未测试的IO流特征数据集合A在集群中测试,如果没有已知模型,则根据测试参数生成一个特征模型,且记录未判定成功(调整测试参数,并重新针对目标业务选取测试数据集合),如果有,则检查数据流是否判定成功,若判定成功,则进行判断是否还有未测试的集合,若为判定成功,则调整测试参数,并重新针对目标业务选取测试数据集合。
如果在指定的时间内参数调整无法让测试收敛,则可以考虑合并数据集,这样最终总会产生一个唯一数据集一定产生特征模型。
举例说明:以DB业务为例,IO数据特征(重要的数据特征)包括:
一、关键的扇区的数据重复,例如元数据中的SuperMagic字段将在不同的位置上不断重复。在DBIO过程为了保障数据的完整性,应用程序会持续不断的在IO请求中包含此类校验值;
二、在数据流中的固有特征,例如DB的关键数据日志文件流中总会在固定的位置存在匹配和递增的version字段。而操作日志通常就只是文本流不存在此类特征;
所以在训练过程中重点需要产生的记录是观察是否有可重复的:
请求中相对固定偏移位置重复的非0数据字段;
持续的数据流中相对偏移字段明显的数据递增特征;
在对某个业务程序进行一个类型的业务压力测试后得到了特征模型后再用这个模型去判定其他类型的业务是否满足,如果不满足则重新调整识别的敏感程度(触发连续的特征数量,偏移的搜索范围等等),重新进行训练,直到获得运行。
其中,参见图5,在步骤S12中,引用IO请求中的业务高优先级,并对所述业务高优先级进行判定,得到高引用数据块列表,本发明设计了一个抽样排序方法,在有限的内存消耗和时间消耗的前提下获得一个近似高引计数,具体包括如下步骤:
步骤S121:根据业务高优先级判定服务周期性触发高引用标记任务数据;
步骤S122:将集群中所有有效数据区域分割为固定1TiB大小的区间,同时生成一个初始为空的,最大体积为10000的堆结构,将所述服务周期性触发高引用标记任务数据放入所述堆结构中;同时一个集群对应一个堆结构;
步骤S123:标记堆结构中数据(服务周期性触发高引用标记任务数据)为高引用数据块列表;
步骤S124:检查堆结构是否满,若是(堆结构满),则判定新的服务周期性触发高引用标记任务数据的引用计数是否大于堆结构中数据引用计数最小的服务周期性触发高引用标记任务数据,若是,则使用新的服务周期性触发高引用标记任务数据替换堆结构中数据引用计数最小的服务周期性触发高引用标记任务数据。
举例说明:集群中所有有效数据为111112234445555566......(假设其中的每一个阿拉伯数字都代表一个IO流特征数据),将有效数据区域分割为固定1TiB大小的区间123456(其假设含6个IO流特征数据)、111246(同样其也含6个IO流特征数据)、145555(含6个IO流特征数据)......,同时生成一个初始为空的,最大体积为10000的堆结构(初始状态下的堆结构为空,以便于其后续按照一定的排序顺序放入有效数据),将所述服务周期性触发高引用标记任务数据(服务周期性触发高引用标记任务数据即出现频率较高的IO流特征数据,不难发现“111112234445555566中”出现“1”的IO流特征数据次数最多因此将其放入所述堆结构中)放入所述堆结构中;
随后发现“4”出现的频次仅仅低于“1”则“4”后续也要放入所述堆结构中,继续认定“1”在所有区间内高引用、“2”在所有区间内高引用、“4”在所有区间内高引用、“6”在所有区间内高引用,则堆结构中依据引用高低度排序放置有效数据“1”、“4”、“2”、“6”(高引用数据列表);标记堆结构中数据“1”、“4”、“2”、“6”为高引用数据块列表。后续继续发现“7”、“8”也是区间内高引用,检查此时时刻下的堆结构是否满,若堆结构满了,进一步判断当前的“7”、“8”出现的频次是否高于高引用数据列表中排名靠后的有效数据的频次,如果当前的“7”、“8”出现的频次高于“6”、“2”的频次,则将堆结构中高引用数据“6”、“2”剔除,将“7”、“8”替换上述高引用数据“6”、“2”放入堆结构中,并排序更新堆结构高引用数据列表。
即上述方案在不断的更新该堆结构高引用数据列表。
举例说明:
例如,对4KiB的定长数据块进行去重计数排序(通常带有32Byte的指纹),在一个256TiB的节点上进行不改变数据位置的全排序会需要将数据指纹均加载到内存中。这至少需要(256TiB/4KiB)*32=2TiB的内存。这对于一个节点来说几乎是不可接受的。而集群中通常还有很多个不同的节点,计算所需要内存量会更为巨大。所以引用识别判定的关键问题是在有限的内存消耗前提下,找到集群中最高引用的数据。通常会使用最大堆等策略来减少找到最大的前N个数的内存消耗,但是单纯的最大堆策略会需要访问一次集群中全部的数据,这会需要很长的时间和对集群性能带来比较明显的负面影响。而需要注意的是对于恢复任务优先级而言,并不需要精确的将所有高引用的数据都识别出来或者得到一个严格正确的排序结果,仅需要保证判定为高引用的数据在集群中确实是相对高引用的,优先恢复这些数据即可对降低集群的故障影响返回产生正面效果。因此本发明设计了一个抽样排序方法,在有限的内存消耗和时间消耗的前提下获得一个近似高引计数。
因为超融合系统本身是完整管理用户业务虚拟机和存储系统的一体化系统,用户也可以直接通过系统管理服务通过标记,分组或其他方式告知数据优先判定服务某些虚拟机的数据应该归类为高优先级数据。
具体地,在步骤S2中,依据高引用数据块列表其表示的排列顺序进行业务虚拟机的恢复任务,具体包括:从所述高引用数据块列表中获取IO流特征数据对应的IO请求,针对IO请求对业务虚拟机进行数据恢复任务。
解释说明:所述高引用数据块列表是依据高引用数据列表中排序生成的,高引用数据列表的排序第一位的高引用数据块列表假设其为有效数据“1”则认定本方案也是优先的恢复有效数据“1”对应的IO请求,只要恢复IO请求就完成了针对IO请求对业务虚拟机进行数据恢复任务。
解释说明:因为故障的发生通常都是不可预知的偶发事件,所以通常集群中的恢复数据都是动态发现的。并且如果是一个相对严重的故障,例如服务器整体异常,系统也无法一次性同时恢复所有的数据,都会逐渐的在一个相对长的时间内分批恢复。
具体地,在步骤S3中,在恢复任务执行时源端数据缓存模块会提供源数据是否在缓存中,在目标端服务器接收到请求时,如果同时满足如下条件,则将数据写入目标缓存中,否则写入持久化层:目标端缓存有剩余空间可供存放数据;数据被标记为高优先级或高引用或在源端也位于缓存中;这样可以保证重要或热数据可以充分利用缓存获得比较高的恢复速度,而冷数据则不占用缓存减少对系统上正在运行的应用的性能影响。
本发明实施例提供了.一种计算机存储介质,其包括实施例二中涉及的降低超融合系统故障影响的恢复方法。
综上所述,本发明实例提出的一种降低超融合系统故障影响的恢复系统及方法,通过接收虚拟机发送的IO申请,从IO申请中获取IO流特征数据,对IO流特征数据进行判定,判定IO流特征数据中出现频次高的数据为高引用数据块列表,并在堆结构中建立高引用数据列表,通过高引用数据列表对业务虚拟机进行优先顺序恢复任务,并通过高引用数据列表对业务虚拟机进行优先顺序缓存。
对重要数据的标记方法可能有多种,本发明仅涉及了用户手工标记和对虚拟机的IO模型识别两种方式。也可以通过对已经标记为重要的虚拟所在业务虚拟机和超融合系统中其他虚拟机之间的关联关系进行识别。例如虚拟机A被标记为重要,同一个虚拟机分组(超融合系统或者虚拟化平台中常见的功能,将同一个类型或同一个业务中的不同虚拟机划分在一个分组内)里的虚拟机使用的数据都可以同步被标记重要,或者与虚拟A在网络上有密切联系的虚拟机(超融合系统同时提供计算,网络,存储3个主要基础组件,因此可以识别到虚拟机之间的网络流量)也可以被标记为重要。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;本领域的普通技术人员可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种降低超融合系统故障影响的恢复系统,其特征在于,包括物理服务器、超融合系统组件、业务虚拟机;其中,所述物理服务器包括磁盘;并且,所述物理服务器上运行有业务虚拟机运行的业务;所述超融合系统组件用于将数据保存至当前业务虚拟机所在的物理服务器,并制作副本复制到其他服务器;
所述磁盘用于最终存放数据副本;
其中,所述物理服务器还包括业务模式识别服务模块、缓存管理服务模块;所述超融合系统组件中包括数据恢复服务模块、业务高优先级判定服务模块;
业务模式识别服务模块,用于在收到业务虚拟机的IO请求后,通过对所述业务虚拟机运行的业务信息识别,进一步地对所述业务虚拟机进行优先级标记,获取业务高优先级信息;
数据恢复服务模块,负责检查业务数据副本状态,在发现异常时候发起数据恢复任务重建副本;
业务高优先级判定服务模块,收集业务模式识别服务模块的业务高优先级信息来标记数据;并且获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级进行识别,得到高引用数据块列表;依据高引用数据块列表其表示的排列顺序进行业务虚拟机的恢复任务;在执行恢复动作时,根据高引用数据块列表其表示的排列顺序对业务虚拟机进行优先顺序缓存;
缓存管理服务模块,用于在收到业务虚拟机的的IO请求时,根据所述业务高优先级信息,决定是否对其进行缓存;并且在恢复任务时向系统提供数据源是否在缓存中的额外提示信息。
2.如权利要求4的一种降低超融合系统故障影响的恢复系统,其特征在于,所述额外提示信息是在恢复任务时,提示缓存管理服务模块数据源是否存在缓存中一种信息;所述额外提示信息包含存在或称不存在两者提示信息。
3.一种降低超融合系统故障影响的恢复方法,其特征在于,其利用如权利要求1或2所述的降低超融合系统故障影响的恢复系统进行处理,包括如下操作步骤:
获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级进行识别,得到高引用数据块列表;
依据高引用数据块列表其表示的排列顺序进行业务虚拟机的恢复任务;
在执行恢复动作时,根据高引用数据块列表其表示的排列顺序对业务虚拟机进行优先顺序缓存。
4.如权利要求3的一种降低超融合系统故障影响的恢复方法,其特征在于,获取业务虚拟机发出的IO请求,对所述IO请求的业务高优先级进行识别,得到高引用数据块列表,包括如下操作步骤:
业务模型服务模块获取IO请求中的IO流特征,对所述IO流特征识别,将当前的IO流特征与已知的特征模型进行匹配,并根据匹配结果确定IO请求中的业务高优先级;
引用IO请求中的业务高优先级,并对所述业务高优先级进行判定,得到高引用数据块列表;
同时还可以通过人工的方式得到高引用数据块列表。
5.如权利要求4的一种降低超融合系统故障影响的恢复方法,其特征在于,将当前的IO流特征与已知的特征模型进行匹配,并根据匹配结果确定定IO请求中的业务高优先级,具体包括如下操作步骤:
初始状态时,获取一个特征模型,然后根据特征模型训练相关的数据得到已知的特征模型;
以所述特征模型与IO流特征进行对比;若识别出有IO流特征与已知的特征模型匹配,则标记当前IO流特征所属虚拟机为重要数据业务虚拟机,判定虚拟机的关联数据为业务高优先级。
6.如权利要求5的一种降低超融合系统故障影响的恢复方法,其特征在于,引用IO请求中的业务高优先级,并对所述业务高优先级进行判定,得到高引用数据块列表,具体包括如下步骤:
根据业务高优先级判定服务周期性触发高引用标记任务数据;
将集群中所有有效数据区域分割为固定1TiB大小的区间,同时生成一个初始为空的,最大体积为10000的堆结构,将所述服务周期性触发高引用标记任务数据放入所述堆结构中;同时一个集群对应一个堆结构;
标记堆结构中数据为高引用数据块列表;
检查堆结构是否满,若是,则判定新的服务周期性触发高引用标记任务数据的引用计数是否大于堆结构中数据引用计数最小的服务周期性触发高引用标记任务数据,若是,则使用新的服务周期性触发高引用标记任务数据替换堆结构中数据引用计数最小的服务周期性触发高引用标记任务数据。
7.一种计算机存储介质,其特征在于,其包括如权利要求1-6任一项所述的降低超融合系统故障影响的恢复方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310057144.XA CN116302680B (zh) | 2023-01-15 | 2023-01-15 | 一种降低超融合系统故障影响的恢复系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310057144.XA CN116302680B (zh) | 2023-01-15 | 2023-01-15 | 一种降低超融合系统故障影响的恢复系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116302680A true CN116302680A (zh) | 2023-06-23 |
CN116302680B CN116302680B (zh) | 2024-01-23 |
Family
ID=86798641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310057144.XA Active CN116302680B (zh) | 2023-01-15 | 2023-01-15 | 一种降低超融合系统故障影响的恢复系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116302680B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400098A (zh) * | 2020-03-16 | 2020-07-10 | 深信服科技股份有限公司 | 一种副本管理方法、装置、电子设备及存储介质 |
CN111949217A (zh) * | 2020-08-21 | 2020-11-17 | 广东韶钢松山股份有限公司 | 超融合一体机及其软件定义存储sds处理方法和系统 |
US20210255778A1 (en) * | 2020-02-18 | 2021-08-19 | Vmware, Inc. | Facilitating the Recovery of Full HCI Clusters |
CN114048004A (zh) * | 2021-11-22 | 2022-02-15 | 北京志凌海纳科技有限公司 | 虚拟机高可用批量调度方法、装置、设备及存储介质 |
CN115292003A (zh) * | 2022-08-01 | 2022-11-04 | 中国电信股份有限公司 | 服务器故障恢复方法、装置、电子设备及存储介质 |
-
2023
- 2023-01-15 CN CN202310057144.XA patent/CN116302680B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210255778A1 (en) * | 2020-02-18 | 2021-08-19 | Vmware, Inc. | Facilitating the Recovery of Full HCI Clusters |
CN111400098A (zh) * | 2020-03-16 | 2020-07-10 | 深信服科技股份有限公司 | 一种副本管理方法、装置、电子设备及存储介质 |
CN111949217A (zh) * | 2020-08-21 | 2020-11-17 | 广东韶钢松山股份有限公司 | 超融合一体机及其软件定义存储sds处理方法和系统 |
CN114048004A (zh) * | 2021-11-22 | 2022-02-15 | 北京志凌海纳科技有限公司 | 虚拟机高可用批量调度方法、装置、设备及存储介质 |
CN115292003A (zh) * | 2022-08-01 | 2022-11-04 | 中国电信股份有限公司 | 服务器故障恢复方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116302680B (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6438661B1 (en) | Method, system, and program for managing meta data in a storage system and rebuilding lost meta data in cache | |
US7610511B2 (en) | Journal migration method and data recovery management method | |
US7340652B2 (en) | Invalidation of storage control unit cache metadata | |
US8719220B2 (en) | Low traffic failback remote copy | |
US7200626B1 (en) | System and method for verification of a quiesced database copy | |
US7293145B1 (en) | System and method for data transfer using a recoverable data pipe | |
US9582382B1 (en) | Snapshot hardening | |
US10031830B2 (en) | Apparatus, system, and method for database management extensions | |
US20030051113A1 (en) | Method and system for managing meta data | |
CN111078667B (zh) | 一种数据迁移的方法以及相关装置 | |
US7809690B2 (en) | Performance metric-based selection of one or more database server instances to perform database recovery | |
US20070239806A1 (en) | Methods and apparatus for a fine grained file data storage system | |
JP2005528684A5 (zh) | ||
WO2023226380A1 (zh) | 一种磁盘处理方法、系统及电子设备 | |
US20090157767A1 (en) | Circular log amnesia detection | |
US11567839B2 (en) | Snapshot-based data corruption detection | |
CN109947730A (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
CN116302680B (zh) | 一种降低超融合系统故障影响的恢复系统及方法 | |
US7913109B2 (en) | Storage control apparatus and storage control method | |
Ilin et al. | Performance analysis of software with a variant NoSQL data schemes | |
CN112799872B (zh) | 一种基于键值对存储系统的纠删码编码方法及装置 | |
CN110399098A (zh) | 一种数据处理方法及电子设备 | |
CN111338845B (zh) | 一种细粒度的本地数据保护方法 | |
CN111400302B (zh) | 连续存储数据的修改方法、装置和系统 | |
WO2023193495A1 (zh) | 处理读请求的方法、分布式数据库与服务端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 8B, Building 1, No. 48 Zhichun Road, Haidian District, Beijing, 100089 Patentee after: Beijing Zhiling Haina Technology Co.,Ltd. Country or region after: China Address before: 8B, Building 1, No. 48 Zhichun Road, Haidian District, Beijing, 100089 Patentee before: Beijing zhilinghaina Technology Co.,Ltd. Country or region before: China |
|
CP03 | Change of name, title or address |