CN117931530B - 一种数据库物理备份恢复处理方法和系统 - Google Patents
一种数据库物理备份恢复处理方法和系统 Download PDFInfo
- Publication number
- CN117931530B CN117931530B CN202410329840.6A CN202410329840A CN117931530B CN 117931530 B CN117931530 B CN 117931530B CN 202410329840 A CN202410329840 A CN 202410329840A CN 117931530 B CN117931530 B CN 117931530B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- sub
- hot spot
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011084 recovery Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000003068 static effect Effects 0.000 claims abstract description 21
- 238000001816 cooling Methods 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 27
- 238000011156 evaluation Methods 0.000 claims description 19
- 230000004308 accommodation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 12
- 238000013524 data verification Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000013523 data management Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据管理相关领域,公开了一种数据库物理备份恢复处理方法和系统,基于对数据的热度监控将数据库中的数据进行热度划分,同时将数据库分割为多个子数据库,并分别用于存储不同热度的数据内容,并将存储静态数据的子数据库作为基础存储区间,用于实现数据热度变化时,数据在基础存储区间及其他热度子数据库间的备份与恢复工作,相较于现有技术中的数据库执行方案,能够有效的降低高低热点数据缓存导致的存储设备寿命损耗不协调的问题,优化存储设备利用率。
Description
技术领域
本发明涉及数据管理相关领域,具体是一种数据库物理备份恢复处理方法和系统。
背景技术
在数据存储中,数据库中同一硬盘内存储的数据,其被读写修改的热度是不同的,因此便出现了冷数据与热数据这一不同的区别,对于冷数据,其在很长的一段时间内只会对产生少量的数据读写行为,而硬盘的寿命是平均且一定的,因此,冷热数据的区别会导致硬盘内颗粒寿命的不统一,增加数据丢失风险。
现有技术中数据库的存储方式为了降低数据的丢失风险,多采用数据备份的方式进行,但对于冷热数据的问题,并未采取有效的应对措施,因此现有技术虽然能够有效的对数据进行备份和恢复,但是对于硬盘寿命内的利用率较低。
发明内容
本发明的目的在于提供一种数据库物理备份恢复处理方法和系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种数据库物理备份恢复处理方法,包含:
数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;
数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;
对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;
基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定。
作为本发明的进一步方案:还包括数据库物理安全评估及数据风险规避步骤,具体包括:
在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;
对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;
所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;
生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。
作为本发明的再进一步方案:所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;
所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储。
作为本发明的再进一步方案:还包括热度级别标定及验证步骤,具体包括:
对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;
对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;
若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。
作为本发明的再进一步方案:还包括热点数据的冷却缓存步骤,具体包括:
对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;
基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。
本发明实施例旨在提供一种数据库物理备份恢复处理系统,包含:
数据库拆分模块,用于数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;
数据库监控模块,用于数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;
热点识别模块,用于对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;
数据备份恢复模块,用于基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定。
作为本发明的进一步方案:还包括物理风险规避模块,具体包括:
校验备份单元,用于在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;
物理监测单元,用于对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;
风险规避单元,用于所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;
时间记录单元,用于生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。
作为本发明的再进一步方案:所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;
所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储。
作为本发明的再进一步方案:还包括热度标定模块,具体包括:
数据库标定单元,用于对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;
数据恢复标定单元,用于对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。
作为本发明的再进一步方案:还包括冷却监控模块,具体包括:
冷却监测单元,用于对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;
冷却执行单元,用于基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。
与现有技术相比,本发明的有益效果是:基于对数据的热度监控将数据库中的数据进行热度划分,同时将数据库分割为多个子数据库,并分别用于存储不同热度的数据内容,并将存储静态数据的子数据库作为基础存储区间,用于实现数据热度变化时,数据在基础存储区间及其他热度子数据库间的备份与恢复工作,相较于现有技术中的数据库执行方案,能够有效的降低高低热点数据缓存导致的存储设备寿命损耗不协调的问题,优化存储设备利用率。
附图说明
图1为一种数据库物理备份恢复处理方法的流程框图。
图2为一种数据库物理备份恢复处理方法中物理安全评估步骤的流程框图。
图3为一种数据库物理备份恢复处理系统的组成框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现方式进行详细描述。
如图1所述,为本发明一个实施例提供的一种数据库物理备份恢复处理方法,包括以下步骤:
S10,数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;
S20,数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;
S30,对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;
S40,基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定。
本实施例中,给出了一种数据库物理备份恢复方法,基于对数据的热度监控将数据库中的数据进行热度划分,同时将数据库分割为多个子数据库,并分别用于存储不同热度的数据内容,并将存储静态数据的子数据库作为基础存储区间,用于实现数据热度变化时,数据在基础存储区间及其他热度子数据库间的备份与恢复工作,相较于现有技术中的数据库执行方案,能够有效的降低高低热点数据缓存导致的存储设备寿命损耗不协调的问题,优化存储设备利用率;在现有技术中的数据存储中,数据库中在同一物理区块存储的数据,其被读写修改的热度是不同的,因此便出现了冷数据与热数据这一区别,对于冷数据,其在很长的一段时间内只会产生少量的数据读写行为(这里主要指数据写行为所伴随的对于存储区块的数据擦除与写入),而热数据则会频繁的发生这一行为,对于数据库的物理存储区块而言,其擦写的寿命是一定的,因此热数据与冷数据的长时间混合存储下,便会产生同一存储设备的寿命不均匀问题,部分区块可能已经无法正常存储,而部分区块仍然十分健康,进而造成浪费,未能够有效的利用存储资源,且在一定程度上,相邻区块的损坏可能会导致数据的无法正常读取写入等,进一步影响到数据安全问题;因此本实施例方法基于数据库数据热度进行数据的管理,将数据库拆分为多个子数据库,分别用于存储冷数据以及热数据(对于热数据的存储,可以根据热度级别进行梯度划分,对应的在不同子数据库中进行存储);且冷数据对应存储的静态子数据库也同时作为备份数据库,即用于存储冷数据并备份部分热数据,而热数据存储的子数据库则作为消耗用数据交换数据库(这里还分为读取数据库和写入数据库中,读取数据库的数据擦写行为并不频繁,因此并不会大幅消耗存储寿命,但是因为高强度的数据读取需求,因此将其进行分割,以保证足够的数据通信带宽来满足读取需求);通过对数据库数据进行热度监控,当某一数据的热度达到预设值时,则将其从备份用的静态子数据库中恢复至子数据库中,反之则将其增量备份至静态子数据库中,并将对应子数据库中的热点数据占用空间进行清空,优化冷数据的空间占用。
如图2所示,作为本发明另一个优选的实施例,还包括数据库物理安全评估及数据风险规避步骤,具体包括:
S51,在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;
S52,对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;
S53,所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;
S54,生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。
本实施例中,补充了数据库物理安全评估及数据风险规避的相关步骤,在前一实施例中已经表明了热数据在长时间的擦写过程中会产生对存储介质的寿命损耗,因此在长时间的使用中,必然会存在部分存储区块的损坏以及数据丢失,因此需要进行相对应的安全管理,这里主要包括两个方面,其一,对于热点数据的奇偶校验备份,奇偶校验备份在空间占用小的同时,可以对少量损坏数据进行校验恢复;其二为对于数据库进行逻辑数据结构完整性监测,其以一定的时间间隔执行,目的在于通过监测发现数据库存储区块的健康程度及损坏状态,而一旦发现损坏时,则执行验证恢复的步骤,通过奇偶校验存储区对损坏数据进行恢复,并进行硬件区件锁定迁移,有效降低数据丢失概率。
作为本发明另一个优选的实施例,所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;
所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储。
本实施例中,对写入子数据库进行了进一步的划分,分别对应短时间内响应大量擦写请求以及短时间内产生大量擦写数据量的两种情况,因二者的执行需求是不同的,因此将其进行拆分,其中短时间内大量请求的高频库主要提供更高的通信宽带以及对于请求的并列处理能力;而高流量库则需要提供更高的通信宽带以及数据库的并列写入能力。
作为本发明另一个优选的实施例,还包括热度级别标定及验证步骤,具体包括:
对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;
对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;
若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。
本实施例中,补充了热度级别标定和验证的步骤,在上一实施例中,给出了高频库和高流量库两种子数据库类型,其目的在于合理分配数据库硬件对数据的处理能力,因此在将新的热点数据恢复至子数据库中时,需要对其进行热度标定,并判断对应的高频库或是高流量库剩余的处理能力能否满足当前热点数据的热度标定,避免在分配恢复后,高频库或高流量库因热点数据的热度过高而短时间内超出最大的数据负载能力而导致的请求任务不能第一时间响应的情况发生。
作为本发明另一个优选的实施例,还包括热点数据的冷却缓存步骤,具体包括:
对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;
基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。
本实施例中,给出了热点数据冷却后的处理方法,这里主要监测的是热点数据的热度冷却速率,基于冷却速度判断热点数据降低至热点阈值所需要的时间,进而在其即将变为冷数据前,对其进行备份,以将对应的数据库存储区间让位给更高热度的热点数据。
如图3所示,本发明还提供了一种数据库物理备份恢复处理系统,其包含:
数据库拆分模块100,用于数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;
数据库监控模块200,用于数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;
热点识别模块300,用于对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;
数据备份恢复模块400,用于基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定。
作为本发明另一个优选的实施例,还包括物理风险规避模块,具体包括:
校验备份单元,用于在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;
物理监测单元,用于对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;
风险规避单元,用于所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;
时间记录单元,用于生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。
作为本发明另一个优选的实施例,所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;
所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储。
作为本发明另一个优选的实施例,还包括热度标定模块,具体包括:
数据库标定单元,用于对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;
数据恢复标定单元,用于对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。
作为本发明另一个优选的实施例,还包括冷却监控模块,具体包括:
冷却监测单元,用于对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;
冷却执行单元,用于基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实施例处的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (6)
1.一种数据库物理备份恢复处理方法,其特征在于,包含:
数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;
数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;
对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;
基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定;
多个所述子数据库,分别用于存储冷数据以及热数据;对于热数据的存储,根据热度级别进行梯度划分,对应的在不同子数据库中进行存储;冷数据对应存储的静态子数据库也同时作为备份数据库,用于存储冷数据并备份部分热数据,热数据存储的子数据库作为消耗用数据交换数据库,数据交换数据库还分为读取数据库和写入数据库;
所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;
所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储;
还包括热度级别标定及验证步骤,具体包括:
对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;
对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;
若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。
2.根据权利要求1所述的一种数据库物理备份恢复处理方法,其特征在于,还包括数据库物理安全评估及数据风险规避步骤,具体包括:
在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;
对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;
所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;
生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。
3.根据权利要求2所述的一种数据库物理备份恢复处理方法,其特征在于,还包括热点数据的冷却缓存步骤,具体包括:
对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;
基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。
4.一种数据库物理备份恢复处理系统,其特征在于,包含:
数据库拆分模块,用于数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;
数据库监控模块,用于数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;
热点识别模块,用于对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;
数据备份恢复模块,用于基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定;
多个所述子数据库,分别用于存储冷数据以及热数据;对于热数据的存储,根据热度级别进行梯度划分,对应的在不同子数据库中进行存储;冷数据对应存储的静态子数据库也同时作为备份数据库,用于存储冷数据并备份部分热数据,热数据存储的子数据库作为消耗用数据交换数据库,数据交换数据库还分为读取数据库和写入数据库;
所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;
所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储;
还包括热度标定模块,具体包括:
数据库标定单元,用于对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;
数据恢复标定单元,用于对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。
5.根据权利要求4所述的一种数据库物理备份恢复处理系统,其特征在于,还包括物理风险规避模块,具体包括:
校验备份单元,用于在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;
物理监测单元,用于对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;
风险规避单元,用于所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;
时间记录单元,用于生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。
6.根据权利要求5所述的一种数据库物理备份恢复处理系统,其特征在于,还包括冷却监控模块,具体包括:
冷却监测单元,用于对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;
冷却执行单元,用于基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410329840.6A CN117931530B (zh) | 2024-03-22 | 2024-03-22 | 一种数据库物理备份恢复处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410329840.6A CN117931530B (zh) | 2024-03-22 | 2024-03-22 | 一种数据库物理备份恢复处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117931530A CN117931530A (zh) | 2024-04-26 |
CN117931530B true CN117931530B (zh) | 2024-06-07 |
Family
ID=90770652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410329840.6A Active CN117931530B (zh) | 2024-03-22 | 2024-03-22 | 一种数据库物理备份恢复处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117931530B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271376A (zh) * | 2018-11-30 | 2019-01-25 | 北京锐安科技有限公司 | 数据库升级方法、装置、设备及存储介质 |
CN109857737A (zh) * | 2019-01-03 | 2019-06-07 | 平安科技(深圳)有限公司 | 一种冷热数据存储方法及装置、电子设备 |
CN115221174A (zh) * | 2022-07-28 | 2022-10-21 | 平安科技(深圳)有限公司 | 基于人工智能的数据分级存储方法、装置、设备及介质 |
CN115934420A (zh) * | 2022-12-05 | 2023-04-07 | 重庆紫光华山智安科技有限公司 | 一种基于分布式存储的数据恢复方法、系统、设备和介质 |
CN117112268A (zh) * | 2023-10-23 | 2023-11-24 | 深圳市七彩虹禹贡科技发展有限公司 | 一种内存共享管理方法及系统 |
CN117171209A (zh) * | 2022-05-27 | 2023-12-05 | 北京国双科技有限公司 | 一种缓存数据清理方法、装置、存储介质和电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10977132B2 (en) * | 2019-03-08 | 2021-04-13 | International Business Machines Corporation | Selective placement and adaptive backups for point-in-time database recovery |
-
2024
- 2024-03-22 CN CN202410329840.6A patent/CN117931530B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271376A (zh) * | 2018-11-30 | 2019-01-25 | 北京锐安科技有限公司 | 数据库升级方法、装置、设备及存储介质 |
CN109857737A (zh) * | 2019-01-03 | 2019-06-07 | 平安科技(深圳)有限公司 | 一种冷热数据存储方法及装置、电子设备 |
CN117171209A (zh) * | 2022-05-27 | 2023-12-05 | 北京国双科技有限公司 | 一种缓存数据清理方法、装置、存储介质和电子设备 |
CN115221174A (zh) * | 2022-07-28 | 2022-10-21 | 平安科技(深圳)有限公司 | 基于人工智能的数据分级存储方法、装置、设备及介质 |
CN115934420A (zh) * | 2022-12-05 | 2023-04-07 | 重庆紫光华山智安科技有限公司 | 一种基于分布式存储的数据恢复方法、系统、设备和介质 |
CN117112268A (zh) * | 2023-10-23 | 2023-11-24 | 深圳市七彩虹禹贡科技发展有限公司 | 一种内存共享管理方法及系统 |
Non-Patent Citations (3)
Title |
---|
Colin Adams 等.Monarch: Google's planet-scale in-memory time series database.Proceedings of the VLDB Endowment.2020,全文. * |
NUMA架构下数据热度的内存数据库日志恢复技术;吴刚;阿卜杜热西提・热合曼;李梁;乔百友;韩东红;;计算机科学与探索;20180904(06);全文 * |
低开销的分布式数据库负载均衡技术;孙乔;赵蕾;邓卜侨;付兰梅;龚小刚;孙甲松;;计算机应用;20170615(S1);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117931530A (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7613871B2 (en) | Storage system using a flash memory partitioned with write-once and rewritable blocks | |
US6895464B2 (en) | Flash memory management system and method utilizing multiple block list windows | |
US20100217933A1 (en) | Allocation control program and allocation control device | |
JPH09274541A (ja) | 記憶装置及び該装置の制御方法及び記憶システム及び該システムの制御方法 | |
US20090046512A1 (en) | Reliability System for Use with Non-Volatile Memory Devices | |
CN111581020A (zh) | 一种分布式块存储系统中数据恢复的方法和装置 | |
US8190844B2 (en) | Efficient alert mechanism for overutilization of storage resources | |
US9639441B2 (en) | Solid-state storage system, apparatus and method of writing data | |
CN102298543A (zh) | 一种存储器管理方法和装置 | |
CN116126596B (zh) | 一种基于区块链的信息处理系统及方法 | |
CN117931530B (zh) | 一种数据库物理备份恢复处理方法和系统 | |
US10847245B2 (en) | Failure indicator predictor (FIP) | |
CN117112268B (zh) | 一种内存共享管理方法及系统 | |
CN114415956A (zh) | 一种电子信息技术数据处理用分类存储装置及其存储方法 | |
CN116775406A (zh) | 一种分布式存储系统的磁盘状态监控方法及装置 | |
CN115470155A (zh) | 支持固态硬盘多场景复用的l2p表缓存方法和装置 | |
US6754770B2 (en) | Coherence preservation method of duplicated data in RAID subsystem | |
WO2022027170A1 (zh) | 闪存数据管理方法、存储设备控制器及存储设备 | |
CN112463621B (zh) | 回归测试管理方法、存储介质管理方法、装置、设备及介质 | |
CN112631821A (zh) | 内存故障检测定位方法、装置、计算机设备及存储介质 | |
CN114764596A (zh) | 延长硬盘寿命方法、装置、计算机设备和存储介质 | |
CN114706537B (zh) | 一种物联网设备的非活跃数据处理方法和处理系统 | |
CN104239182A (zh) | 一种集群文件系统脑裂处理方法和装置 | |
CN117369722A (zh) | 一种存储器数据保护方法与装置 | |
CN112882867B (zh) | 一种索引信息存储方法、装置及存储设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |