CN116737462A - 一种数据处理方法、系统、装置及介质 - Google Patents
一种数据处理方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN116737462A CN116737462A CN202310781014.0A CN202310781014A CN116737462A CN 116737462 A CN116737462 A CN 116737462A CN 202310781014 A CN202310781014 A CN 202310781014A CN 116737462 A CN116737462 A CN 116737462A
- Authority
- CN
- China
- Prior art keywords
- data
- center
- backup
- production center
- production
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000003860 storage Methods 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims description 38
- 238000012544 monitoring process Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009545 invasion Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 12
- 238000004519 manufacturing process Methods 0.000 abstract description 12
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000011084 recovery Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、系统、装置及存储介质,涉及数据安全领域。该方案中,实时监测生产中心的数据,以确定生产中心的数据是否发生变化;若发生变化,则确定发生变化的目标数据,并将目标数据发送至灾难备份中心,以使灾难备份中心对目标数据进行备份处理。可见,本申请中在生产中心的数据发生变化时,并不是对生产中心的所有数据进行备份,而是只针对发生变化的目标数据进行备份,可以提高数据备份效率和利用存储空间,避免数据冗余和浪费,提高数据传输速度和备份数据的准确性。同时,还可以保障数据备份的安全性和可靠性,让生产中心的生产运行更加稳定和可靠。
Description
技术领域
本申请涉及数据安全领域,特别涉及一种数据处理方法、系统、装置及介质。
背景技术
同城容灾方法是指在一个城市建立两个数据中心(分别为用于负责日常生产运行的生产中心和用于备份数据的灾难备份中心),两个数据中心之间可以进行数据传输。灾难备份中心需要与生产中心产生的数据实时同步,以保证两个数据中心始终有相同的数据,以便于在生产中心数据异常时,可以根据灾难备份中心中的数据恢复正常生产运行。
因此,提供一种数据备份方法以高效率地将生产中心产生的数据备份至灾难备份中心是十分必要的。
发明内容
本申请的目的是提供一种数据处理方法、系统、装置及介质,在生产中心的数据发生变化时,并不是对生产中心的所有数据进行备份,而是只针对发生变化的目标数据进行备份,可以提高数据备份效率和利用存储空间,避免数据冗余和浪费,提高数据传输速度和备份数据的准确性。同时,还可以保障数据备份的安全性和可靠性,让生产中心的生产运行更加稳定和可靠。
为解决上述技术问题,本申请提供了一种数据处理方法,包括:
实时监测所述生产中心的数据,以确定所述生产中心的数据是否发生变化;
若发生变化,则确定发生变化的目标数据,并将所述目标数据发送至灾难备份中心,触发所述灾难备份中心对所述目标数据进行备份处理。
在一个实施例中,还包括:
在满足预设条件时,发送获取信号至所述灾难备份中心;
触发灾难备份中心将与获取信号对应的数据发送至生产中心。
在一个实施例中,还包括:
监测所述生产中心的工作状态,并根据所述工作状态确定所述生产中心是否宕机;
若宕机,则判定满足所述预设条件。
在一个实施例中,还包括:
监测所述生产中心的工作状态,并根据所述工作状态确定所述生产中心是否出现入侵事件;
若所述生产中心出现所述入侵事件,则判定满足所述预设条件。
在一个实施例中,判定所述生产中心出现所述入侵事件之后,还包括:
判断所述生产中心的数据是否存在因所述入侵事件导致的异常数据;
若存在,则判定满足所述预设条件,否则,判定不满足所述预设条件。
在一个实施例中,判断所述生产中心的数据是否存在因所述入侵事件导致的异常数据,包括:
确定所述入侵事件的发生时间,并获取所述发生时间之前的预设时间段内发生变化的数据;
判断所述预设时间段内发生变化的数据中是否存在异常数据;
若存在,则判定存在因所述入侵事件导致的异常数据,否则,判定为不存在。
在一个实施例中,还包括:
在初始状态下,触发所述灾难备份中心对所述生产中心的所有原始数据进行备份处理。
在一个实施例中,所述灾难备份中心对所述生产中心的所有原始数据进行备份处理时;触发所述灾难备份中心对所述目标数据进行备份处理,包括:
触发所述灾难备份中心将所述生产中心发生变化的数据保存至自身的空闲存储空间中,并记录数据发生变化的时间。
在一个实施例中,还包括:
在获取目标数据时,根据所述灾难备份中心记录的数据发生变化的时间获取目标数据。
在一个实施例中,还包括:
判断所述生产中心正常运行的时间是否超过时间阈值;
若超过所述时间阈值,则触发所述灾难备份中心释放第一预设时间之前的已发生变化的原始数据;
或,
判断所述灾难备份中心中存储的数据量是否达到第一容量阈值;
若达到所述容量阈值,则触发所述灾难备份中心释放第二预设时间段外且数据容量为第二容量阈值外已发生变化的原始数据。
为解决上述技术问题,本申请还提供了一种数据处理系统,包括:
监测单元,用于实时监测所述生产中心的数据,以确定所述生产中心的数据是否发生变化;
数据备份单元,用于若发生变化,则确定发生变化的目标数据,并将所述目标数据发送至灾难备份中心,触发所述灾难备份中心对所述目标数据进行备份处理。
在一个实施例中,还包括:
数据获取单元,用于在满足预设条件时,发送获取信号至所述灾难备份中心;
第一触发单元,用于触发灾难备份中心将与获取信号对应的数据发送至生产中心。
在一个实施例中,还包括:
宕机检测单元,用于监测所述生产中心的工作状态,并根据所述工作状态确定所述生产中心是否宕机;若宕机,则判定满足所述预设条件。
在一个实施例中,还包括:
入侵检测单元,用于监测所述生产中心的工作状态,并根据所述工作状态确定所述生产中心是否出现入侵事件;若所述生产中心出现所述入侵事件,则判定满足所述预设条件。
在一个实施例中,判定所述生产中心出现所述入侵事件之后,还包括:
数据异常判断单元,用于判断所述生产中心的数据是否存在因所述入侵事件导致的异常数据;若存在,则判定满足所述预设条件,否则,判定不满足所述预设条件。
在一个实施例中,数据异常判断单元,具体用于:
确定所述入侵事件的发生时间,并获取所述发生时间之前的预设时间段内发生变化的数据;判断所述预设时间段内发生变化的数据中是否存在异常数据;若存在,则判定存在因所述入侵事件导致的异常数据,否则,判定为不存在。
在一个实施例中,还包括:
初始备份单元,用于在初始状态下,触发所述灾难备份中心对所述生产中心的所有原始数据进行备份处理。
在一个实施例中,所述灾难备份中心对所述生产中心的所有原始数据进行备份处理时;触发所述灾难备份中心对所述目标数据进行备份处理,包括:
触发所述灾难备份中心将所述生产中心发生变化的数据保存至自身的空闲存储空间中,并记录数据发生变化的时间。
在一个实施例中,还包括:
预设数据获取单元,用于在获取预设数据时,根据所述灾难备份中心记录的数据发生变化的时间获取预设数据。
在一个实施例中,还包括:
第一释放单元,用于判断所述生产中心正常运行的时间是否超过时间阈值;若超过所述时间阈值,则触发所述灾难备份中心释放第一预设时间之前的已发生变化的原始数据;
或,
第二释放单元,用于判断所述灾难备份中心中存储的数据量是否达到第一容量阈值;若达到所述容量阈值,则触发所述灾难备份中心释放第二预设时间段外且数据容量为第二容量阈值外已发生变化的原始数据。
为解决上述技术问题,本申请还提供了一种数据处理装置,包括:
存储器,用于存储计算机程序;
处理器,用于在存储计算机程序时,实现如上述所述的数据处理方法的步骤。
为解决上述技术问题,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述所述的数据处理方法的步骤。
本申请提供了一种数据处理方法,涉及数据安全领域。该方案中,实时监测生产中心的数据,以确定生产中心的数据是否发生变化;若发生变化,则确定发生变化的目标数据,并将目标数据发送至灾难备份中心,以使灾难备份中心对目标数据进行备份处理。可见,本申请中在生产中心的数据发生变化时,并不是对生产中心的所有数据进行备份,而是只针对发生变化的目标数据进行备份,可以提高数据备份效率和利用存储空间,避免数据冗余和浪费,提高数据传输速度和备份数据的准确性。同时,还可以保障数据备份的安全性和可靠性,让生产中心的生产运行更加稳定和可靠。
本申请还提供了一种数据处理系统、装置及存储介质,与上述描述的数据处理方法具有相同的有益效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为传统方案中的一种备份系统的示意图;
图2为本申请提供的一种备份系统的示意图;
图3为本申请提供的一种数据处理方法的流程示意图;
图4为本申请提供的一种数据备份的示意图;
图5为本申请提供的一种数据处理系统的结构框图;
图6为本申请提供的一种数据处理装置的结构框图;
图7为本申请提供的一种计算机可读存储介质的结构框图。
具体实施方式
本申请的核心是提供一种数据处理方法、系统、装置及介质,在生产中心的数据发生变化时,并不是对生产中心的所有数据进行备份,而是只针对发生变化的目标数据进行备份,可以提高数据备份效率和利用存储空间,避免数据冗余和浪费,提高数据传输速度和备份数据的准确性。同时,还可以保障数据备份的安全性和可靠性,让生产中心的生产运行更加稳定和可靠。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参照图1,图1为传统方案中的一种备份系统的示意图。传统的同城容灾方法需要每次都同步备份所有数据,备份速度较慢,且会浪费大量存储空间。如何提高备份效率,避免数据冗余是亟待解决的技术问题。
请参照图2,图2为本申请提供的一种备份系统的示意图,本申请中主要基于reflink的原理对生产中心的数据进行复制。具体地,可参照图3,图3为本申请提供的一种数据处理方法的流程示意图,该方法的设计思路为:为了解决以上问题,提高数据备份效率和利用存储空间,需要一种实时监测数据变化,并只备份发生变化的目标数据的方法,通过实时监测数据变化来确定需要备份的目标数据。
该方法包括:
S11:实时监测生产中心的数据,以确定生产中心的数据是否发生变化;
具体地,本步骤可以通过采用高效的监测技术,实时监测生产中心的数据变化,以便及时获取变化的目标数据。具体地,通过在灾难备份中心与生产中心建立数据同步通道,以便于生产中心将监测到的数据发送到灾难备份中心中。
在一个实施例中,实时监测生产中心的数据,以确定生产中心的数据是否发生变化,包括:
每隔预设时间轮询生产中心的数据,以确定生产中心的数据是否发生变化;
或,在监测试件被驱动时,获取生产中心的数据,以确定生产中心的数据是否发生变化。
其中,事件驱动方式可以通过设置回调函数实现,定时轮询方式可以采用心跳包机制。
需要说明的是,本申请中监测数据变化也可以采用增量备份的方式,即只监测数据的增量部分,减少数据备份的负担。
本步骤能够实时监测生产中心数据,提高数据变化的发现和备份效率,有效防止数据丢失。
S12:若发生变化,则确定发生变化的目标数据,并将目标数据发送至灾难备份中心,触发灾难备份中心对目标数据进行备份处理。
本步骤要解决的技术问题为:如何高效地将目标数据发送至灾难备份中心,以及如何触发灾难备份中心对目标数据进行备份处理等问题。
具体地,当监测到生产中心的数据发生变化时,确定发生变化的目标数据,并触发灾难备份中心仅备份发生变化的目标数据,避免数据冗余,提高数据传输效率和存储空间的利用率。具体地,可以是在生产中心和灾难备份中心之间建立数据通信通道,实现对目标数据的实时同步。
在一个实施例中,在判定生产中心的数据发生变化时,通过预设备份规则自动触发灾难备份中心对目标数据进行备份处理。
在一个实施例中,在确定需要备份的目标数据之前,还包括:对目标数据进行筛选和去重,以确保备份数据准确无误。
本步骤能够有效提高数据备份效率和精确度,保障生产数据的安全性和可靠性。同时,根据备份规则能够灵活调整备份方式和策略,适应不同的灾难备份场景。
综上,本申请所提供的数据处理方法,在生产中心的数据发生变化时,并不是对生产中心的所有数据进行备份,而是只针对发生变化的目标数据进行备份,可以提高数据备份效率和利用存储空间,避免数据冗余和浪费,提高数据传输速度和备份数据的准确性。同时,还可以保障数据备份的安全性和可靠性,让生产中心的生产运行更加稳定和可靠。
在上述实施例的基础上:
在一个实施例中,还包括:
在满足预设条件时,发送获取信号至灾难备份中心;
触发灾难备份中心将与获取信号对应的数据发送至生产中心。
本实施例需要解决的技术问题为:如何确定预设条件,以触发获取信号的发送至灾难备份中心,以及如何确保数据传输的安全性与实时性。
本实施例的设计思路为:设定符合预设条件的事件,如主服务器故障,触发获取信号的发送。具体地,首先确定是否满足预设条件,如生产中心中的主服务器故障;如确定满足预设条件(如确定生产中心中的主服务器故障发生时),触发获取信号的发送;在灾难备份中心收到获取信号后,将与获取信号对应的数据发送至生产中心;此时,生产中心接收到数据后,可以根据此数据恢复正常工作。
在一个实施例中,生产中心与灾难备份中心之间利用异步传输的方式,以降低获取信号及数据传输的时延,提高实时性。
在一个实施例中,灾难备份中心利用区块链技术,实现数据备份。使用此技术对数据进行备份时,数据具有不可篡改性,确保备份数据的安全性与可追溯性。
综上,本实施中种的方式可以保证生产中心数据的实时备份,有效避免因数据丢失而引起的业务中断。
在一个实施例中,还包括:
监测生产中心的工作状态,并根据工作状态确定生产中心是否宕机;
若宕机,则判定满足预设条件。
本实施例中存在的技术问题为:生产中心的宕机检测问题,如何准确地判断生产中心是否宕机并采取相应措施,以及如何合理设置预设条件,确保备份的及时性和准确性。
本实施例中,通过判断生产中心是否宕机,以确定是否触发判定满足预设条件的流程,备份生产中心的数据。具体地,在生产中心发生宕机时,判断生产中心无法正常工作,其可能会发生数据异常,此时需要调用灾难备份中心中存储的备份数据。
在一个实施例中,在发送的获取信号不包括数据标识时,灾难备份中心默认将自身存储的所有数据均发送到生产中心中。在发送的获取信号带有数据标识时,灾难备份中心将自身存储的与数据标识对应的数据发送到生产中心中。
在一个实施例中,判断生产中心是否宕机,包括:检测生产中心的各个工作指标的状态,如网络连接状态、CPU和内存使用率、业务运行情况中一种或多种的组合,通过设定阈值对这些工作指标进行判断,当工作指标超过设定的阈值时,则视为生产中心宕机。在一个实施例中,检测生产中心的各个工作指标的状态,包括:在生产中心中部署监测程序,通过监测程序实时监测生产中心中的各个工作指标,并根据预设的阈值进行判断,同时向灾难备份中心发送监测数据,以确保备份数据的准确性。
综上,本实施例可以提高备份数据的准确性和及时性,确保数据备份的完整性,还可以减少人为干预的工作量,提高系统可靠性和可维护性,进而增强生产中心的容错能力,降低系统故障可能造成的影响。
在一个实施例中,还包括:
监测生产中心的工作状态,并根据工作状态确定生产中心是否出现入侵事件;
若生产中心出现入侵事件,则判定满足预设条件。
本实施例中需要解决的技术问题为:如何准确监测生产中心的工作状态,以及,如何解决由于入侵事件导致的数据异常问题。
具体地,可以利用基于机器学习的入侵检测系统来检测生产中心的入侵事件,当生产中心的工作状态发生异常或入侵事件被检测到时,触发预设条件来触发数据备份过程。
由于入侵事件通常会引起异常的网络连接、进程、系统日志等,因此,可以利用这些特征来进行入侵检测。也即,在一个实施例中,通过检测生产中心的网络连接数、系统日志、异常进程中一种或多种的组合确定生产中心是否出现入侵事件。
综上,通过本实施例的实现方式,可以快速检测到生产中心的异常和入侵事件,可以保证生产中心的数据备份及时、高效地到达灾难备份中心,进而在灾难发生时快速恢复生产,提高业务可用性。
在一个实施例中,判定生产中心出现入侵事件之后,还包括:
判断生产中心的数据是否存在因入侵事件导致的异常数据;
若存在,则判定满足预设条件,否则,判定不满足预设条件。
本实施例旨在解决的技术问题为:如何在判断生产中心出现入侵事件后,有效地检查数据是否存在异常,以确保备份的数据没有被污染或篡改。
具体地,检测生产中心是否有入侵事件发生,如果有入侵事件发生,则判断生产中心的数据是否存在异常情况,如果存在异常情况,则触发预设条件,灾难备份中心更新备份数据。
综上,本实施例在发生入侵事件时,能够及时发现异常数据,并进行修复和替换,从而保障数据备份的可靠性和安全性。
在一个实施例中,判断生产中心的数据是否存在因入侵事件导致的异常数据,包括:
确定入侵事件的发生时间,并获取发生时间之前的预设时间段内发生变化的数据;
判断预设时间段内发生变化的数据中是否存在异常数据;
若存在,则判定存在因入侵事件导致的异常数据,否则,判定为不存在。
考虑到入侵事件发生时,通常不会导致所有时间的数据均发生异常,通常只会在入侵事件发生的预设时间段内的数据,因此,本实施例中只对预设时间段中的数据进行判断。
具体地,在发生入侵事件时,首先确定入侵事件的发生时间,并获取发生时间之前的预设时间段内发生变化的数据。然后,对获取到的预设时间段内发生变化的数据进行异常检测,判断是否存在异常数据。
在一个实施例中,可以是判断判断发生变化的数据的变化量是否大于预设阈值,若大于,则判定存在异常数据,判定为不存在。其中,预设阈值可以根据实际情况调整,以检测更细微的异常数据。
综上,本实施例中的方式可以快速检测到因入侵事件导致的异常数据,进而可以及时发现生产中心的入侵事件,进而可以发现生产中心出现的其他异常数据,并保证灾难备份中心及时获取到生产中心数据,保证数据的安全性和完整性。
在一个实施例中,还包括:
在初始状态下,触发灾难备份中心对生产中心的所有原始数据进行备份处理。
本实施例旨在保障灾难备份中心能够及时备份生产中心的所有原始数据,保证灾难备份中心的数据的完整性,从而保障系统的高可用性。
本实施例中的方式,在生产中心数据出现意外故障或者灾难时,可以保证在短时间内恢复数据,避免业务中断和损失。
在一个实施例中,灾难备份中心对生产中心的所有原始数据进行备份处理时;触发灾难备份中心对目标数据进行备份处理,包括:
触发灾难备份中心将生产中心发生变化的数据保存至自身的空闲存储空间中,并记录数据发生变化的时间。
本实施例旨在解决如何触发灾难备份中心将数据保存至自身的存储空间中的问题。
考虑到如果直接将发生变化的目标数据替换原始数据,可能会导致一些数据丢失。如数据库崩溃:如果发生替换操作时,数据库正在执行某些操作,可能会导致数据库崩溃。误删除数据:如果替换后发现错误,原始数据可能已经被替换掉,无法恢复。数据不完整:替换操作可能会导致部分数据丢失,因此需要对数据进行备份。
因此,本实施例利用实时监测生产中心数据的方式,将生产中心发生变化的目标数据发送至灾难备份中心,并保存至自身的空闲存储空间中,并记录数据发生变化的时间,以便于后续基于记录的时间提取数据。
其中,记录时间则可以采用时间戳等技术,记录数据发生变化的精确时间点。
本实施例中的方式可以保留原始数据,同时也保存了变化的目标数据,为后续的数据恢复提供保障,为数据恢复和备份提供保障,提高了数据安全性和可靠性。
本实施例中的实时监测和灾难备份机制,可以保证数据的完整性,不会发生误删除或数据不完整的情况,可以记录数据发生变化的精确时间点,方便后续数据追溯和恢复。
在一个实施例中,还包括:
在获取目标数据时,根据灾难备份中心记录的数据发生变化的时间获取目标数据。
本实施例旨在限定如何确保目标数据在灾难备份中心的存储空间中可以被快速准确地定位和检索。本实施例的设计思路为:对目标数据进行唯一标识和版本控制,以便于在灾难备份中心的存储空间中进行准确读取和比对。利用数据校验机制确保数据传输的完整性和正确性。
具体地,在灾难备份中心的存储空间中为每个目标数据生成唯一的标识符,并记录其版本信息。在生产中心发生数据变化时,将变化的数据发送至灾难备份中心,并在数据传输过程中进行校验。灾难备份中心接收到变化的数据后,根据目标数据的标识符和版本信息定位到对应的存储位置,并进行增量备份。同样的,在获取目标数据时,根据其唯一标识符和版本信息在灾难备份中心进行快速准确地读取和比对。本实施例中,将唯一标识设置为时间戳。也即是,在获取目标数据时,根据灾难备份中心记录的数据发生变化的时间获取目标数据。
本实施例中,可以实现了数据备份与灾难恢复的自动化管理,提高了系统的可靠性和可用性;采用数据校验机制保证了数据传输和存储的完整性和正确性,避免了数据损坏和丢失。
在一个实施例中,还包括:
判断生产中心正常运行的时间是否超过时间阈值;
若超过时间阈值,则触发灾难备份中心释放第一预设时间之前的已发生变化的原始数据;
本实施例旨在解决如何快速地释放已发生变化的原始数据,以避免数据存储量过大的问题。设计思路为:通过设置时间阈值来判断生产中心是否正常运行,并及时释放已发生变化的原始数据,从而保证灾难备份中心的数据存储量和备份效率。
具体地,通过监测生产中心的数据变化情况,获取当前生产中心的运行状态;设定一个适当的时间阈值,若超过该阈值,则判定灾难备份中心中存储的原始数据较多,或者是已经不需要使用那些历史已发生变化的原始数据(由于灾难备份中心中已经存储了这些历史原始数据对应的变化后的更新数据,因此这些历史原始数据基本上已经不需要使用);此时,触发灾难备份中心释放第一预设时间之前的已发生变化的原始数据,避免数据存储量过大。
其中,第一预设时间应不大于时间阈值,第一预设时间是否与时间阈值相同根据实际情况而定,本申请在此不做特别的限定。
具体实现方式可以为:设定一个计时器,定期检查生产中心的运行状态;当发现生产中心已经正常运行时间阈值之后,根据时间戳及时释放已发生变化的原始数据;当然可以使用自动化工具来实现数据清理操作,减轻管理员的负担。
综上,本实施例中的方式,可以有效减少灾难备份中心的数据存储量,提高备份效率;通过自动化工具的使用,简化管理员的管理流程,降低维护成本。
在一个实施例中,还包括:
判断灾难备份中心中存储的数据量是否达到第一容量阈值;
若达到容量阈值,则触发灾难备份中心释放第二预设时间段外且数据容量为第二容量阈值外已发生变化的原始数据。
在上述实施例的基础上,还可以根据灾难备份中心的实际存储情况作为释放存储空间的判断依据。具体地,监测灾难备份中心的存储的数据量,当达到第一容量阈值时,触发数据释放操作;通过设定不同的时间段和容量阈值,释放不同时间段内的已发生变化的原始数据;通常情况下,会设置第二预设时间段之前且已经发生变化的原始数据,此时,保留的第二预设时间之内发生变化的原始数据对应的更新数据和未发生变化的原始数据的数据量总和应该为第二容量阈值。第二容量阈值不大于第一容量阈值,单第二容量阈值与第一容量阈值是否相同,本申请在此不再限定。通过设定不同的时间段和容量阈值,在遍历数据时,选择需要释放的原始数据;
此外,还可以引入分层备份策略,将备份数据分为不同的层级,根据不同的层级设置不同的清理规则。
本实施例中的方式,可以及时清理灾难备份中心的数据,避免数据存储量过大,提高备份效率;还可以根据不同的需求,灵活地设置时间段和数据容量阈值。
请参照图4,图4为本申请提供的一种数据备份的示意图。
一个具体实施例如附图4所示,图中inode为文件A的元数据信息,inode'为备份文件A'的元数据信息,A1、A2、A3为组成文件A的三个数据块。
则使用本申请中的数据处理方法时,具体实施过程如下:
1.在生产中心建设完成后,首先在容灾备份中心对所有的业务数据进行一次全量备份,如图4中3-1部分所示,生产中心的生产数据中文件A(A1、A2、A3)的备份为A'(A1'、A2'、A3');
2.在生产中心进行正常业务过程中,针对一段时间内数据的变动,在容灾备份中心中对相应变动的数据进行reflink备份,并记录本次备份发生的时间点,如图4中3-2部分所示,生产中心的生产数据对A1位置写入B1,容灾备份中心的容灾数据则采用reflink备份方式,将其改变部分B1的备份B1'写入空闲空间,此时文件A的备份A'由A2'、A3'、B1'组成;
3.当生产中心发生自然灾害导致业务暂停,或者发生入侵事件导致数据异常,则生产中心可以依据容灾备份中心的备份数据快速恢复所有数据,保证生产中心所有业务的正常运行;
4.当生产中心发生数据丢失等事件,根据容灾备份中心的原始数据和备份数据时间线,选择与丢失的数据的时间点相对应的时间点进行数据和业务恢复;
5.当生产中心稳定运行的时间超过时间阈值或者备份文件容量超过容量阈值时,将容灾备份中心中备份数据时间点较久远的部分作为当前容灾备份数据,如图4中3-3部分所示,将容灾数据中A'(B1'、B2'、A3'、B3')作为生产数据中A(B1、B2、A3、B3)的备份;
6.释放已经发生变化的时间点较久远的原始数据对应空间,如图4中3-4部分所示,容灾数据中原始备份数据A1'、A2'、所占空间被释放。
为解决上述技术问题,本申请还提供了一种数据处理系统,请参照图5,图5为本申请提供的一种数据处理系统的结构框图,该系统包括:
监测单元51,用于实时监测生产中心的数据,以确定生产中心的数据是否发生变化;
数据备份单元52,用于若发生变化,则确定发生变化的目标数据,并将目标数据发送至灾难备份中心,触发灾难备份中心对目标数据进行备份处理。
在一个实施例中,还包括:
数据获取单元,用于在满足预设条件时,发送获取信号至灾难备份中心;
第一触发单元,用于触发灾难备份中心将与获取信号对应的数据发送至生产中心。
在一个实施例中,还包括:
宕机检测单元,用于监测生产中心的工作状态,并根据工作状态确定生产中心是否宕机;若宕机,则判定满足预设条件。
在一个实施例中,还包括:
入侵检测单元,用于监测生产中心的工作状态,并根据工作状态确定生产中心是否出现入侵事件;若生产中心出现入侵事件,则判定满足预设条件。
在一个实施例中,判定生产中心出现入侵事件之后,还包括:
数据异常判断单元,用于判断生产中心的数据是否存在因入侵事件导致的异常数据;若存在,则判定满足预设条件,否则,判定不满足预设条件。
在一个实施例中,数据异常判断单元,具体用于:
确定入侵事件的发生时间,并获取发生时间之前的预设时间段内发生变化的数据;判断预设时间段内发生变化的数据中是否存在异常数据;若存在,则判定存在因入侵事件导致的异常数据,否则,判定为不存在。
在一个实施例中,还包括:
初始备份单元,用于在初始状态下,触发灾难备份中心对生产中心的所有原始数据进行备份处理。
在一个实施例中,灾难备份中心对生产中心的所有原始数据进行备份处理时;触发灾难备份中心对目标数据进行备份处理,包括:
触发灾难备份中心将生产中心发生变化的数据保存至自身的空闲存储空间中,并记录数据发生变化的时间。
在一个实施例中,还包括:
预设数据获取单元,用于在获取预设数据时,根据灾难备份中心记录的数据发生变化的时间获取预设数据。
在一个实施例中,还包括:
第一释放单元,用于判断生产中心正常运行的时间是否超过时间阈值;若超过时间阈值,则触发灾难备份中心释放第一预设时间之前的已发生变化的原始数据;
或,
第二释放单元,用于判断灾难备份中心中存储的数据量是否达到第一容量阈值;若达到容量阈值,则触发灾难备份中心释放第二预设时间段外且数据容量为第二容量阈值外已发生变化的原始数据。
对于数据处理系统的介绍请参照上述实施例,本申请在此不再赘述。
为解决上述技术问题,本申请还提供了一种数据处理装置,请参照图6,图6为本申请提供的一种数据处理装置的结构框图,该装置包括:
存储器61,用于存储计算机程序;
处理器62,用于在存储计算机程序时,实现如上述的数据处理方法的步骤。
对于数据处理装置的介绍请参照上述实施例,本申请在此不再赘述。
为解决上述技术问题,本申请还提供了一种计算机可读存储介质70,请参照图7,图7为本申请提供的一种计算机可读存储介质的结构框图,该计算机可读存储介质70上存储有计算机程序71,计算机程序71被处理器62执行时实现如上述的数据处理方法的步骤。对于计算机可读存储介质70的介绍请参照上述实施例,本申请在此不再赘述。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其他实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种数据处理方法,其特征在于,包括:
实时监测所述生产中心的数据,以确定所述生产中心的数据是否发生变化;
若发生变化,则确定发生变化的目标数据,并将所述目标数据发送至灾难备份中心,触发所述灾难备份中心对所述目标数据进行备份处理。
2.如权利要求1所述的数据处理方法,其特征在于,还包括:
在满足预设条件时,发送获取信号至所述灾难备份中心;
触发灾难备份中心将与获取信号对应的数据发送至生产中心。
3.如权利要求2所述的数据处理方法,其特征在于,还包括:
监测所述生产中心的工作状态,并根据所述工作状态确定所述生产中心是否宕机;
若宕机,则判定满足所述预设条件。
4.如权利要求2所述的数据处理方法,其特征在于,还包括:
监测所述生产中心的工作状态,并根据所述工作状态确定所述生产中心是否出现入侵事件;
若所述生产中心出现所述入侵事件,则判定满足所述预设条件。
5.如权利要求4所述的数据处理方法,其特征在于,判定所述生产中心出现所述入侵事件之后,还包括:
判断所述生产中心的数据是否存在因所述入侵事件导致的异常数据;
若存在,则判定满足所述预设条件,否则,判定不满足所述预设条件。
6.如权利要求5所述的数据处理方法,其特征在于,判断所述生产中心的数据是否存在因所述入侵事件导致的异常数据,包括:
确定所述入侵事件的发生时间,并获取所述发生时间之前的预设时间段内发生变化的数据;
判断所述预设时间段内发生变化的数据中是否存在异常数据;
若存在,则判定存在因所述入侵事件导致的异常数据,否则,判定为不存在。
7.如权利要求1-6任一项所述的数据处理方法,其特征在于,还包括:
在初始状态下,触发所述灾难备份中心对所述生产中心的所有原始数据进行备份处理。
8.如权利要求1-6任一项所述的数据处理方法,其特征在于,所述灾难备份中心对所述生产中心的所有原始数据进行备份处理时;触发所述灾难备份中心对所述目标数据进行备份处理,包括:
触发所述灾难备份中心将所述生产中心发生变化的数据保存至自身的空闲存储空间中,并记录数据发生变化的时间。
9.如权利要求8所述的数据处理方法,其特征在于,还包括:
在获取预设数据时,根据所述灾难备份中心记录的数据发生变化的时间获取预设数据。
10.如权利要求8所述的数据处理方法,其特征在于,还包括:
判断所述生产中心正常运行的时间是否超过时间阈值;
若超过所述时间阈值,则触发所述灾难备份中心释放第一预设时间之前的已发生变化的原始数据;
或,
判断所述灾难备份中心中存储的数据量是否达到第一容量阈值;
若达到所述容量阈值,则触发所述灾难备份中心释放第二预设时间段外且数据容量为第二容量阈值外已发生变化的原始数据。
11.一种数据处理系统,其特征在于,包括:
监测单元,用于实时监测所述生产中心的数据,以确定所述生产中心的数据是否发生变化;
数据备份单元,用于若发生变化,则确定发生变化的目标数据,并将所述目标数据发送至灾难备份中心,触发所述灾难备份中心对所述目标数据进行备份处理。
12.一种数据处理装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于在存储计算机程序时,实现如权利要求1-10任一项所述的数据处理方法的步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310781014.0A CN116737462A (zh) | 2023-06-29 | 2023-06-29 | 一种数据处理方法、系统、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310781014.0A CN116737462A (zh) | 2023-06-29 | 2023-06-29 | 一种数据处理方法、系统、装置及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116737462A true CN116737462A (zh) | 2023-09-12 |
Family
ID=87911390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310781014.0A Pending CN116737462A (zh) | 2023-06-29 | 2023-06-29 | 一种数据处理方法、系统、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116737462A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117519611A (zh) * | 2024-01-05 | 2024-02-06 | 南京扬子信息技术有限责任公司 | 一种用于信息系统的数据分布式存储方法及系统 |
-
2023
- 2023-06-29 CN CN202310781014.0A patent/CN116737462A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117519611A (zh) * | 2024-01-05 | 2024-02-06 | 南京扬子信息技术有限责任公司 | 一种用于信息系统的数据分布式存储方法及系统 |
CN117519611B (zh) * | 2024-01-05 | 2024-03-15 | 南京扬子信息技术有限责任公司 | 一种用于信息系统的数据分布式存储方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106789306B (zh) | 通信设备软件故障检测收集恢复方法和系统 | |
CN106202075B (zh) | 一种数据库主备切换的方法及装置 | |
JP6333410B2 (ja) | 障害処理方法、関連装置、およびコンピュータ | |
CN100504795C (zh) | 一种计算机raid阵列预警系统及方法 | |
US6105078A (en) | Extended remote copying system for reporting both active and idle conditions wherein the idle condition indicates no updates to the system for a predetermined time period | |
CN109032849B (zh) | 热备份系统、热备份方法和计算机设备 | |
CN105607973B (zh) | 一种虚拟机系统中设备故障处理的方法、装置及系统 | |
CN116737462A (zh) | 一种数据处理方法、系统、装置及介质 | |
CN113595836A (zh) | 一种高可用集群的心跳检测方法、存储介质和计算节点 | |
CN114064374A (zh) | 一种基于分布式块存储的故障检测方法和系统 | |
CN117271222A (zh) | 一种面向大数据的云容灾备份方法及系统 | |
JP2007233891A (ja) | プラント監視制御装置 | |
CN112069018A (zh) | 一种数据库高可用方法及系统 | |
JP2010147804A (ja) | 伝送装置と伝送装置に実装されるユニット | |
CN112084097B (zh) | 一种磁盘告警方法及装置 | |
JP6216621B2 (ja) | プラント監視制御システム | |
JP2004086278A (ja) | 装置障害監視方法および装置障害監視システム | |
CN113127435A (zh) | 一种主备系统文件智能同步方法及系统 | |
JP3335779B2 (ja) | プラント性能監視システム | |
JP2008003646A (ja) | 不良モジュール検出方法および信号処理装置 | |
CN117873408B (zh) | 一种云打印机数据恢复方法以及相关装置 | |
JP5951520B2 (ja) | 多重系処理システム | |
CN219891649U (zh) | 一种国产操作系统恢复备份智能系统 | |
CN113779148B (zh) | 一种实时数据库冗余的工控系统数据传输方法和系统 | |
JP2559771B2 (ja) | 回線ロギング自動停止制御方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |