CN111597255A - 数据灾备处理方法、装置、电子设备及存储介质 - Google Patents
数据灾备处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111597255A CN111597255A CN202010356815.9A CN202010356815A CN111597255A CN 111597255 A CN111597255 A CN 111597255A CN 202010356815 A CN202010356815 A CN 202010356815A CN 111597255 A CN111597255 A CN 111597255A
- Authority
- CN
- China
- Prior art keywords
- report
- data
- tasks
- machine room
- disaster recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 230000001360 synchronised effect Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 24
- 239000008280 blood Substances 0.000 claims abstract description 16
- 210000004369 blood Anatomy 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 18
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2064—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例公开了一种数据灾备处理方法、装置、电子设备及计算机可读存储介质。该方法包括：确定需同步的报表；从数据库中获取报表对应的任务和数据，其中报表对应的任务和数据分别通过对应的数据血缘关系预先关联和记录在数据库中；以及将获取的报表对应的任务和数据同步到同城机房及/或异地机房。该方法在恢复数据完整性和启用恢复速度上都有较高的保证。
Description
技术领域
本公开实施例涉及数据处理领域，尤其涉及一种数据灾备处理方法、装置、电子设备及存储介质。
背景技术
在大型公司，数据灾备是针对数据安全一定要做的策略，基本的数据分布为两地三中心，同城互备，跨地互备，由于依赖的库/表比较复杂，基本实现全量的数据同步，并且仅是数据的同步，不涉及系统迅速恢复，导致系统在故障后，不能及时地提供服务，进而导致系统的RTO(Recovery Time Objective，恢复时间目标)和RPO(Recovery PointObjective，恢复点目标)两个指标标准较低。
因此，有必要提出一种进行数据灾备的新的技术方案。
发明内容
本公开实施例的目的在于提供一种数据灾备处理方法、装置、电子设备及计算机可读存储介质，以实现系统可及时提供备份数据服务。
根据本公开实施例的第一方面，提供了一种数据灾备处理方法，包括：
确定需同步的报表；
从数据库中获取所述报表对应的任务和数据，其中所述报表对应的任务和数据分别通过对应的数据血缘关系预先关联和记录在所述数据库中；以及
将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房。
可选地，所述确定需同步的报表包括：
获取所述报表的重要程度级别；
在所述报表的重要程度级别高于预定阈值的情况下，确定需同步所述报表。
可选地，所述将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房包括：
将所述报表中重要程度级别高于第一预定阈值的报表对应的任务和数据同步到所述同城机房；
将所述报表中重要程度级别高于第二预定阈值的报表对应的任务和数据同步到所述异地机房，其中，所述第二预定阈值对应的重要程度级别高于所述第一预定阈值对应的重要程度级别。
可选地，所述方法还包括：
确定所述报表对应的任务和/或数据是否发生变化；
在发生变化的情况下，将所述报表对应的变化的任务和/或数据同步到同城机房及/或异地机房。
根据本公开的第二方面，提供了一种数据灾备处理方法，包括：
获取根据本公开第一方面所述的同步到同城机房及/或异地机房的任务和数据；
根据所述任务和所述数据生成对应的报表。
根据本公开的第三方面，提供了一种数据灾备处理装置，包括：
确定模块，用于确定需同步的应用层的报表；
获取模块，用于获取所述报表对应的系统层的任务和数据层的数据，其中所述任务和所述数据通过数据血缘进行关联和记录；以及
同步模块，用于将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房。
可选地，所述确定模块包括：
获取单元，用于获取所述报表的重要程度级别；
同步报表确定单元，用于在所述报表的重要程度级别高于预定阈值的情况下，确定需同步所述报表。
可选地，所述同步模块包括：
第一同步单元，用于将所述报表中重要程度级别高于第一预定阈值的报表对应的任务和数据同步到所述同城机房；
第二同步单元，用于将所述报表中重要程度级别高于第二预定阈值的报表对应的任务和数据同步到所述异地机房，其中，所述第二预定阈值对应的重要程度级别高于所述第一预定阈值对应的重要程度级别。
根据本公开的第四方面，提供了一种电子设备，包括：
根据本公开第三方面所述的数据灾备处理装置；或者，
处理器和存储器，所述存储器用于存储可执行的指令，所述指令用于控制所述处理器执行根据本公开第一方面所述的数据灾备处理方法。
根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的数据灾备处理方法。
本公开的实施例通过确定需要同步的报表，获取报表对应的、以数据血缘关系预先关联和记录在数据库中的对应数据和任务，并同步到对应的同城和/或异地的备份机房。因此在存储报表对应数据和任务的本地机房出现异常的时候，同城或异地的备份机房能够立即启用系统，利用同步备份的任务和数据生成对应的报表数据以实现快速提供数据服务。并且，灾备能力的指标RPO和RTO较好，在恢复数据完整性和启用恢复速度上都有较高的保证。
此外，本公开的实施例通过根据报表的重要程度分级的报表，按照报表的重要程度优先级同步对应的数据和任务，不仅能够实现重要报表数据的灾备，还可减少数据灾备处理的同步过程中的带宽及后续存储的成本。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。
图1为可用于实现本公开实施例的电子设备的硬件配置结构方框图。
图2为本公开实施例的数据灾备处理方法步骤流程图。
图3为本公开实施例的数据灾备处理方法的示例示意图。
图4为本公开另一实施例的数据灾备处理方法步骤流程图。
图5为本公开实施例的数据灾备处理装置的结构方框图。
图6为本公开实施例的电子设备的结构方框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开实施例及其应用或使用的任何限制。
对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<实施环境和硬件配置>
图1是示出可以实现本公开的实施例的电子设备1000的硬件配置的结构方框图。
电子设备1000可以是便携式电脑、台式计算机、手机、平板电脑、服务器等。
服务器可以是整体式服务器或是跨多计算机或计算机数据中心的分散式服务器。服务器可以是各种类型的，例如但不限于，内容分发网络的节点设备、分布式存储系统的存储服务器、云数据库服务器、云计算服务器、云管理服务器、网络服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交互服务器、存储服务器、数据库服务器或代理服务器等。在一些实施例中，每个服务器可以包括硬件，软件，或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。例如，服务器例如刀片服务器、云端服务器等，或者可以是由多台服务器组成的服务器群组，可以包括上述类型的服务器中的一种或多种等等。
如图1所示，电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
图1所示的电子设备仅仅是说明性的并且决不意味着对本公开实施例、其应用或使用的任何限制。应用于本公开的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本公开实施例提供的任意一项数据灾备处理方法。本领域技术人员应当理解，尽管在图1中对电子设备1000示出了多个装置，但是，本公开实施例可以仅涉及其中的部分装置，例如电子设备1000可以只涉及处理器1100和存储装置1200。技术人员可以根据本公开实施例所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
<方法实施例一>
在本公开一个实施例中，提供一种数据灾备处理方法。该实施例的方法执行在将报表对应的数据和任务进行同步备份的本地机房服务器端。
请参考图2，该图为本公开实施例的数据灾备处理方法步骤流程图，数据灾备处理方法可以是由电子设备实施，该电子设备例如可以是如图1所示的电子设备1000。
如图2所示，本公开实施例的数据灾备处理方法包括以下步骤S102-S106。
步骤102，确定需同步的应用层的报表。
报表是前端应用层查询数据库展示的内容，是根据数据产生的结果。通常，数据库系统分3层，最下面的层级为数据层，存储各种库表；中间层级为系统层，为对应执行数据层数据的引擎或任务，包括数据管理任务、调度任务、计算任务等。最上层为应用层，应用层的数据报表可以实现用户的可视化查询，报表是根据对应的库表数据由对应的系统层计算任务生成。
在步骤102中，需同步的应用层的报表可以是全部报表，也可以是部分报表。
在一个实施例中，确定需同步的报表包括：获取所述报表的重要程度级别；在所述报表的重要程度级别高于预定阈值的情况下，确定需同步所述报表。
预定阈值可以是表示报表重要程度级别的值，不同的预定阈值，可以将报表的重要程度进行级别划分。例如包括第一阈值，第二阈值等等。
步骤104，从数据库中获取所述报表对应的任务和数据，其中所述报表对应的任务和数据通过对应的数据血缘关系预先关联和记录在所述数据库中。
上述任务是指对数据层数据进行处理的逻辑、方法、策略、其他相关配置信息等，例如是数据管理任务、调度任务、计算任务等。在已知某报表对应的任务和数据的情况下，可以根据该报表对应的任务对该报表对应的数据进行处理，从而得到该报表。
在步骤S104中，报表对应的任务和数据通过数据血缘关系进行关联和记录，任务之间为血缘关系，任务对应处理的数据之间也是血缘关系。数据和任务的血缘关系具备层级依赖关系，通过对数据库中的原始数据进行多个步骤的加工，最后产生出新的数据，在这个过程中产生的各表之间的链路关系称为大数据血缘。例如通过对应的任务对数据库中的原始数据A进行加工汇总，形成一张中间表数据B，若继续对中间表数据B进行计算处理，会继续形成中间表数据C，直到最后生成前端展现使用的最终表D，例如报表。
那么A表是D表数据最初的来源，是D表数据的“祖先”。从A表数据到B表数据再到C表数据、D表数据，这条链路就是D表的数据血缘。相应地，通过具有血缘关系的计算任务在数据的各个处理过程进行计算，从而从数据源头生成最终的数据。它们有机地结合在一起，形成完整的数据血缘关系。
相应地，在步骤104中通过数据平台的数据管理的数据血缘服务，可以自动关联和获取需同步的报表对应(或血缘依赖)的数据及任务。
步骤106，将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房。
在步骤106中，同步操作对应的备份发生在数据层和任务层。数据层和系统层持续运行生成应用层的可视化报表，因此将报表对应的数据和任务同步备份到相应的机房，即可实现报表的安全备份，实现数据的灾备。
在一个实施例中，可以同步备份全部的核心报表、重要报表和普通报表对应的任务和数据，例如，在同城和异地均同步备份全部报表的任务和数据。
在所有数据都要进行同步的情况下，则同步时所使用的带宽及存储成本比较高。对于大数据场景下，由于大数据的复杂和庞大，如果数据灾备的成本过高，存在机房建设代价太大的问题。
为了降低同步时的带宽消耗和存储成本，在步骤102中，可以根据报表的重要程度级别，仅确定同步备份重要性优先级比较高的报表对应的任务和数据，例如核心报表和重要报表。在一个实施例中，可以根据应用层标识每个报表重要程度级的标签，确定或查找到对应的核心报表、重要报表或普通报表。
因此，在一个实施例中，将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房包括：将所述报表中重要程度级别高于第一预定阈值的报表对应的任务和数据同步到所述同城机房；将所述报表中重要程度级别高于第二预定阈值的报表对应的任务和数据同步到所述异地机房，其中，所述第二预定阈值对应的重要程度级别高于所述第一预定阈值对应的重要程度级别。
这里，重要程度级别高于第一预定阈值的报表例如为重要报表，重要程度级别高于第二预定阈值的报表例如为核心报表，核心报表可以为重要报表的子集，第二预定阈值对应的重要程度级别高于第一预定阈值。例如，假设有四个报表A、B、C、D，其中报表A、B、C的重要程度级别高于1(数值越大表示重要程度越高)，报表A的重要程度级别高于2，那么报表B、C为重要报表，报表A既是重要报表又是核心报表。相应地，报表B、C相关的数据将被同步至本地机房，报表A相关的数据既被同步至本地机房又被同步至异地机房。
相应地，在步骤106中，将获取的核心报表和重要报表、或者核心报表和重要报表其中之一对应的任务和数据同步到同城机房、异地机房。可以将对应报表的任务和数据仅同步到同城机房，或者同时同步到同城机房和异地机房，或者仅同步到异地机房。具体地，可以根据实际需求来确定。
在一个实施例中，可以将重要报表和核心报表分别对应的任务和数据同步到同城机房，将核心报表对应的任务和数据同步到异地机房。在同步至本地机房的情况下，线上机房异常时，随时启用同城备用机房，并可弹性扩展计算节点。在同步至异地机房的情况下，同城两中心异常时，随时启用异地备用机房，并可弹性扩展计算节点。
也就是说，同城机房中备份有重要报表和核心报表对应的任务和数据，异地机房中仅备份核心报表对应的任务和数据。这样，通过区分核心报表、重要报表和普通报表，执行分级的报表同步数据，而不是所有报表涉及的所有数据全部同步，由此可减少同步过程中的带宽及后续存储的成本。
在一个实施例中，也可以按自身需求同步普通报表依赖的数据和任务。换言之，特定情况下根据客户的需求，将同步的范围扩大到普通报表对应的数据和任务。
在一个实施例中，该方法还包括：确定所述报表对应的任务和/或数据是否发生变化；在发生变化的情况下，将所述报表对应的变化的任务和/或数据同步到同城机房及/或异地机房。
也就是说，在报表对应的任务发生任务增加或减少，针对重要报表产生的一些任务，如果任务产生了变化，增加了一个新的任务。则根据数据血缘自动关联任务或数据的变化，自动把备份的范围扩大，把新任务对应的库表数据也加入重要报表的同步备份里。相应地，如果出现了任务减少，则在同步中根据数据血缘确定减少任务的报表，并将该报表中同步的该减少任务删除掉，而不再同步。
如此，本公开实施例通过数据血缘解析可以做到准实时，一旦有新的系统层任务和数据层库/表加入数据库中或者从数据库中删除，则可以将这部分新加入或删除的上游任务和上游库/表进行获取和解析，并自动加入同步任务中或从同步任务中删除，以更新同城或异地机房的灾备同步。
根据本公开实施例，在大数据场景下，除了报表对应的数据同步外，还同步报表对应的任务，例如相关的计算任务(或计算逻辑)备份到备用计算系统，计算系统同步计算所需要的信息(数据量很少)。备用计算系统系统在平时只保证较低资源使用，在主机房异常时，通过迅速横向扩展，迅速恢复计算及统计，则可以生成对应的报表，实现主机房异常报表的恢复。
本公开的实施例通过确定需要同步的报表，获取报表对应的、以数据血缘关系预先关联和记录在数据库中的对应数据和任务，并同步到对应的同城或异地的备份机房。
因此，相比现有数据灾备方案通过定点找出报表对应的所有库/表及任务，本公开实施例通过数据血缘的方式可以做到报表对应数据和任务的自动同步，在存储报表对应数据和任务的本地机房出现异常的时候，同城和/或异地的备份机房能够立即启用系统，利用同步备份的任务和数据生成对应的报表数据以实现快速提供数据服务。并且，可以根据报表对应的任务对报表对应的数据进行处理进而得到报表，灾备能力的指标RPO和RTO较好，在恢复数据完整性和启用恢复速度上都有较高的保证。
此外，本公开实施例通过根据重要程度分级的报表，按照报表的重要性优先级选择分级同步对应的数据和任务，而不是所有级别报表的数据和任务全部同步，不仅能够实现重要报表数据的灾备，还可减少同步过程中的带宽及后续存储的成本。
<例子>
下面将结合图3的例子，对本公开实施例的数据灾备处理方法进行详细说明，其中图3为本公开实施例的数据灾备处理方法的示例示意图。
参考图3，同样以在北京和广东两地具有海淀机房100、房山机房200和广州机房300三个数据中心为例，其中海淀机房100为本地的在线机房，房山机房200为同城备用机房，广州机房300为跨地域备用机房。
数据灾备在同城机房互备时，对于应用层的报表(核心报表、重要报表、普通报表)，根据报表标签选择将其中的重要报表按数据血缘关系对应或依赖的数据层数据和核心报表按数据血缘关系依赖的数据层数据由海淀机房100向房山机房200进行同步，同时同步的还有重要报表相关的任务，例如数据管理、调度系统、计算任务等任务系统层的任务元数据。
数据灾备在跨地机房互备时，对于应用层的报表(核心报表、重要报表、普通报表)，根据报表标签仅选择将其中的核心报表依赖的数据由房山机房200向广州机房300进行跨地域步，同时同步的还有该核心报表相关的数据管理、调度系统、计算任务等任务系统层的任务元数据。
需要指出的是，虽然上述示例显示跨地域同步互备是由房山机房200向广州机房300同步，但在其他示例中，跨地域同步互备也可以由海淀机房100向广州机房300同步，本公开不局限于图3的具体实施例。
本公开实施例通过把重要、核心报表的数据同步到同城机房，在线上机房异常时，随时启用同城备用机房，并可弹性扩展计算节点。
此外，把核心报表的数据同步到异地机房，在同城两中心异常时，随时启用异地备用机房，并可弹性扩展计算节点。
<方法实施例二>
在本公开另一个实施例中，还提供一种数据灾备处理方法，该实施例的方法执行在备份有同步数据的目标机房服务器端。该目标机房服务器能够与上文描述的本地机房服务器端通信，接收其发送的报表对应的任务和数据。该目标机房服务器可用于存储备份的任务和数据，并且在需要时根据任务和数据生成报表，从而完成数据和服务的恢复。
请参考图4，该图为本公开实施例的数据灾备处理方法步骤流程图，数据灾备处理方法可以是由电子设备实施，该电子设备例如是如图1所示的电子设备1000。
如图4所示，本公开实施例的数据灾备处理方法包括以下步骤：
步骤202，获取根据上述方法实施例一所述数据灾备处理方法，同步到同城机房及/或异地机房的任务和数据；
步骤204，根据所述任务和所述数据生成对应的报表。
通过获取同步的报表数据和任务，并生成对应的报表，可以在目标机房需要启动数据灾备的情况下，实现计算系统快速恢复计算和统计，以利用同步备份的任务和数据快速生成对应的报表数据，并实现快速提供数据服务。
<装置实施例>
在本公开另一个实施例中，还提供了一种数据灾备处理装置2000，如图5所示，图5为本公开实施例的数据灾备处理装置的结构方框图。
如图所示，数据灾备处理装置2000包括：确定模块2400、获取模块2600和第一同步模块2800。
在一个实施例中，所述确定模块2400包括：获取单元，用于获取所述报表的重要程度级别；同步列表确定单元，用于在所述报表的重要程度级别高于预定阈值的情况下，确定需同步所述报表。
在一个实施例中，所述同步模块2800包括：第一同步单元，用于将所述报表中重要程度级别高于第一预定阈值的报表对应的任务和数据同步到所述同城机房；第二同步单元，用于将所述报表中重要程度级别高于第二预定阈值的报表对应的任务和数据同步到所述异地机房，其中，所述第二预定阈值对应的重要程度级别高于所述第一预定阈值对应的重要程度级别。
在一个实施例中，所述装置2000还包括第二同步模块(图中未示出)，所述第二同步模块用于：确定所述报表对应的任务和/或数据是否发生变化；在发生变化的情况下，将所述报表对应的变化的任务和/或数据同步到同城机房及/或异地机房。
<电子设备实施例>
根据本公开的再一个实施例，还提供了一种电子设备，该电子设备3000可以是图1所示的电子设备1000。图6为本公开实施例的电子设备的结构方框图。
一方面，该电子设备3000可以包括前述的数据灾备处理装置，用于实施本公开任意实施例的数据灾备处理方法。
另一方面，如图6所示，电子设备3000可以包括存储器3200和处理器3400，存储器3200用于存储可执行的指令；该指令用于控制处理器3400执行前述的数据灾备处理方法。
在本实施例中，电子设备3000可以是平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机、服务器设备等任意具有存储器3200以及处理器3400的电子产品。
<计算机存储介质实施例>
最后，根据本公开的又一个实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时实现根据本公开任意实施例所述的数据灾备处理方法。
本公开实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开实施例的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开实施例的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本公开实施例的范围由所附权利要求来限定。
Claims (10)
1.一种数据灾备处理方法，其特征在于，包括：
确定需同步的报表；
从数据库中获取所述报表对应的任务和数据，其中所述报表对应的任务和数据分别通过对应的数据血缘关系预先关联和记录在所述数据库中；以及
将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房。
2.根据权利要求1所述的方法，其特征在于，所述确定需同步的报表包括：
获取所述报表的重要程度级别；
在所述报表的重要程度级别高于预定阈值的情况下，确定需同步所述报表。
3.根据权利要求2所述的方法，其特征在于，所述将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房包括：
将所述报表中重要程度级别高于第一预定阈值的报表对应的任务和数据同步到所述同城机房；
将所述报表中重要程度级别高于第二预定阈值的报表对应的任务和数据同步到所述异地机房，其特征在于所述第二预定阈值对应的重要程度级别高于所述第一预定阈值对应的重要程度级别。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
确定所述报表对应的任务和/或数据是否发生变化；
在发生变化的情况下，将所述报表对应的变化的任务和/或数据同步到同城机房及/或异地机房。
5.一种数据灾备处理方法，其特征在于，包括：
获取根据权利要求1所述的同步到同城机房及/或异地机房的任务和数据；
根据所述任务和所述数据生成对应的报表。
6.一种数据灾备处理装置，其特征在于，包括：
确定模块，用于确定需同步的应用层的报表；
获取模块，用于获取所述报表对应的系统层的任务和数据层的数据，其中所述任务和所述数据通过数据血缘进行关联和记录；以及
同步模块，用于将获取的所述报表对应的任务和数据同步到同城机房及/或异地机房。
7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
获取单元，用于获取所述报表的重要程度级别；
同步报表确定单元，用于在所述报表的重要程度级别高于预定阈值的情况下，确定需同步所述报表。
8.根据权利要求7所述的装置，其特征在于，所述同步模块包括：
第一同步单元，用于将所述报表中重要程度级别高于第一预定阈值的报表对应的任务和数据同步到所述同城机房；
第二同步单元，用于将所述报表中重要程度级别高于第二预定阈值的报表对应的任务和数据同步到所述异地机房，其特征在于所述第二预定阈值对应的重要程度级别高于所述第一预定阈值对应的重要程度级别。
9.一种电子设备，其特征在于，包括：
根据权利要求6至8中任一项所述的数据灾备处理装置；或者，
处理器和存储器，所述存储器用于存储可执行的指令，所述指令用于控制所述处理器执行根据权利要求1至5中任一项所述的数据灾备处理方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至5中任一项所述的数据灾备处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356815.9A CN111597255A (zh) | 2020-04-29 | 2020-04-29 | 数据灾备处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356815.9A CN111597255A (zh) | 2020-04-29 | 2020-04-29 | 数据灾备处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111597255A true CN111597255A (zh) | 2020-08-28 |
Family
ID=72182190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010356815.9A Pending CN111597255A (zh) | 2020-04-29 | 2020-04-29 | 数据灾备处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597255A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191879A (zh) * | 2021-05-21 | 2021-07-30 | 中国工商银行股份有限公司 | 基于复杂网络的数据报送方法、装置、系统及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184251A (zh) * | 2011-05-25 | 2011-09-14 | 盛趣信息技术（上海）有限公司 | 一种数据表同步系统及方法 |
| CN105868521A (zh) * | 2015-12-14 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 数据信息处理方法及装置 |
| CN108694195A (zh) * | 2017-04-10 | 2018-10-23 | 腾讯科技（深圳）有限公司 | 一种分布式数据仓库的管理方法及系统 |
| CN109710703A (zh) * | 2019-01-03 | 2019-05-03 | 北京顺丰同城科技有限公司 | 一种血缘关系网络的生成方法及装置 |
| US20190149619A1 (en) * | 2017-11-16 | 2019-05-16 | Servicenow, Inc. | Field service management mobile offline synchronization |
| CN110019384A (zh) * | 2017-08-15 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种血缘数据的获取方法、提供血缘数据的方法及装置 |
| CN110457371A (zh) * | 2019-08-13 | 2019-11-15 | 杭州有赞科技有限公司 | 数据管理方法、装置、存储介质及系统 |
| CN110502589A (zh) * | 2019-08-20 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种节点血缘关系确定方法、装置以及电子设备 |
| CN110543356A (zh) * | 2019-09-11 | 2019-12-06 | 深圳前海微众银行股份有限公司 | 异常任务检测方法、装置、设备及计算机存储介质 |
| CN111061615A (zh) * | 2019-12-25 | 2020-04-24 | 北京每日优鲜电子商务有限公司 | 数据仓库的数据监控方法、装置、服务器和存储介质 |
-
2020
- 2020-04-29 CN CN202010356815.9A patent/CN111597255A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184251A (zh) * | 2011-05-25 | 2011-09-14 | 盛趣信息技术（上海）有限公司 | 一种数据表同步系统及方法 |
| CN105868521A (zh) * | 2015-12-14 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 数据信息处理方法及装置 |
| CN108694195A (zh) * | 2017-04-10 | 2018-10-23 | 腾讯科技（深圳）有限公司 | 一种分布式数据仓库的管理方法及系统 |
| CN110019384A (zh) * | 2017-08-15 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种血缘数据的获取方法、提供血缘数据的方法及装置 |
| US20190149619A1 (en) * | 2017-11-16 | 2019-05-16 | Servicenow, Inc. | Field service management mobile offline synchronization |
| CN109710703A (zh) * | 2019-01-03 | 2019-05-03 | 北京顺丰同城科技有限公司 | 一种血缘关系网络的生成方法及装置 |
| CN110457371A (zh) * | 2019-08-13 | 2019-11-15 | 杭州有赞科技有限公司 | 数据管理方法、装置、存储介质及系统 |
| CN110502589A (zh) * | 2019-08-20 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种节点血缘关系确定方法、装置以及电子设备 |
| CN110543356A (zh) * | 2019-09-11 | 2019-12-06 | 深圳前海微众银行股份有限公司 | 异常任务检测方法、装置、设备及计算机存储介质 |
| CN111061615A (zh) * | 2019-12-25 | 2020-04-24 | 北京每日优鲜电子商务有限公司 | 数据仓库的数据监控方法、装置、服务器和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191879A (zh) * | 2021-05-21 | 2021-07-30 | 中国工商银行股份有限公司 | 基于复杂网络的数据报送方法、装置、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9141685B2 (en) | Front end and backend replicated storage | |
| CN111104069A (zh) | 分布式存储系统的多区域数据处理方法、装置及电子设备 | |
| CN110941554B (zh) | 一种复现故障的方法及装置 | |
| CN112612853A (zh) | 基于数据库集群的数据处理方法、装置及电子设备 | |
| CN115048254B (zh) | 数据分配策略的仿真测试方法、系统、设备和可读介质 | |
| CN104462342B (zh) | 数据库快照同步处理方法及装置 | |
| CN112860343A (zh) | 配置变更方法、系统、装置、电子设备以及存储介质 | |
| CN112016284A (zh) | 电子表格的处理方法及设备 | |
| CN111597255A (zh) | 数据灾备处理方法、装置、电子设备及存储介质 | |
| US10021012B2 (en) | Notifying original state listeners of events in a domain model | |
| CN116701053B (zh) | 生产环境数据库的数据备份恢复方法、装置、设备及介质 | |
| CN113254267A (zh) | 分布式数据库的数据备份方法和装置 | |
| CN112069137A (zh) | 生成信息的方法、装置、电子设备及计算机可读存储介质 | |
| CN112181724A (zh) | 大数据容灾方法、装置和电子设备 | |
| CN112433723B (zh) | 个性化列表开发方法及装置 | |
| JP2022097397A (ja) | 質問回答システムの更新処理方法及び装置 | |
| CN114417070A (zh) | 数据权限的收敛方法、装置、设备以及存储介质 | |
| EP3289544A1 (en) | Insertion of unsaved content via content channel | |
| CN114003579A (zh) | 一种对数据进行稽核的方法、装置、设备和存储介质 | |
| CN110851192A (zh) | 一种响应降级开关配置的方法和装置 | |
| US11886277B2 (en) | Systems, apparatuses, and methods for assessing recovery viability of backup databases | |
| CN114077518B (zh) | 数据快照方法、装置、设备及存储介质 | |
| CN116562050B (zh) | 一种分布式仿真平台的可视化建模方法及分布式仿真平台 | |
| CN113569144B (zh) | 推广内容的检索方法、装置、设备、存储介质及程序产品 | |
| CN115150466B (zh) | 一种数据分发的实现方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |