CN109885429A

CN109885429A - 大数据灾备方法及装置

Info

Publication number: CN109885429A
Application number: CN201910124263.6A
Authority: CN
Inventors: 刘欣然; 张鸿; 吕雁飞; 马秉楠; 惠榛; 于海洋; 兰钢临; 孙伟
Original assignee: National Computer Network and Information Security Management Center
Current assignee: National Computer Network and Information Security Management Center
Priority date: 2019-02-18
Filing date: 2019-02-18
Publication date: 2019-06-14

Abstract

本发明公开了一种大数据灾备方法及装置，所述方法包括：将本数据中心的将待入库数据写入Kafka中间件，将Kafka中间件中的待入库数据备份到另外一个数据中心，接收所述另外一个数据中心发送的灾备数据，并将所述灾备数据写入所述Kafka中间件；在备份完成后，通过Flume将Kafka中间件的待入库数据进行入库。

Description

大数据灾备方法及装置

技术领域

本发明涉及计算机领域，尤其涉及一种大数据灾备方法及装置。

背景技术

对于数据中心的备份，传统的做法是要定期的去执行数据备份脚本，由于是定期执行，备份数据大，备份过程时间比较长，无法进行实时备份，另外，由于数据中心故障，在数据中心恢复后需要手工去定位之前的备份位置，十分麻烦，并且一旦备份位置定位有误还会发生缺少数据或者备份冗余的问题；我们要解决的问题就是在保证人工干预尽可能少的情况下进行备份，并且提高备份的实时性，在故障恢复后自动追回丢失的数据，保持数据一致性、完整性。

具体地，传统灾备在存储层进行数据灾备，例如hdfs，需要定期执行distcp来进行数据同步，备份时间延迟为执行间隔时间和执行时长的和，备份实时性差。另外，传统的数据灾备在其中一个数据中心故障恢复后，故障期间的数据需要人工去定位上次备份的位置，并手动追回故障期间未备份数据，备份数据的一致性有可能会因为恢复人员的误操作遭到破坏，恢复成本高，恢复错误率高。

发明内容

本发明实施例提供一种大数据灾备方法及装置，用以解决现有技术中问题。

本发明实施例提供一种大数据灾备方法，包括：

将本数据中心的将待入库数据写入Kafka中间件，将Kafka中间件中的待入库数据备份到另外一个数据中心，接收所述另外一个数据中心发送的灾备数据，并将所述灾备数据写入所述Kafka中间件；

在备份完成后，通过Flume将Kafka中间件的待入库数据进行入库。

优选地，将Kafka中间件中的待入库数据备份到另外一个数据中心具体包括：

在kafka中间件中为其中存储待入库数据的topic启动Mirror同步数据进程；

通过Mirror同步数据进程自动将待入库数据从kafka中间件的topic中消费出来备份到所述另外一个数据中心，并将另外一个数据中心备份的topic的名称设置为原始的topic名称加上指定后缀；

优选地，接收所述另外一个数据中心发送的灾备数据，并将所述灾备数据写入所述Kafka中间件具体包括：

接收所述另外一个数据中心发送的灾备数据，将另外一个数据中心备份的topic的名称设置为原始的topic名称加上指定后缀，使原始topic和备份topic在两个数据中心的数据总量已经相同。

优选地，通过Mirror同步数据进程自动将待入库数据从kafka中间件的topic中消费出来备份到所述另外一个数据中心具体包括：

通过Mirror同步进程使用kafka中间件原生的待入库数据进行消费，每次消费完保留该topic消费的位置offset。

优选地，所述方法进一步包括：

在其中一个数据中心发生故障的情况下，通过该数据中心的Mirror同步数据进程记录故障点备份的数据位置offset，在故障恢复后，将Mirror同步数据进程启动，Mirror同步数据进程自动在kafka中间件中找到上次消费的位置offset并继续消费。

优选地，在备份完成后，通过Flume将Kafka中间件的待入库数据进行入库具体包括：

通过flume分别消费该数据中心的Kafka中间件中原始topic和备份topic两个topic中的数据，并将两个topic中的数据发往同一个数据目录。

本发明实施例还提供一种大数据灾备装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。

采用本发明实施例，针对实时性差的问题，在数据入库前进行备份，在此时，数据备份难度低，在数据落地前备份完成，充分提高了备份的时效性；针对故障恢复复杂，在入库前的备份过程中记录备份的位置，每次备份完成后都改变备份位置并保存起来，当故障恢复后，根据故障点的备份位置自动追回故障期间未备份的数据。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的同城灾备大数据系统数据接入流程图。

具体实施方式

如上所述，传统的灾备方案是在底层例如Hdfs等存储层面进行定期远程distcp备份，实际上跑的就是MapReduce作业，将一个数据中心的数据拷贝到另外一个数据中心里面去。

本发明实施例为了克服现有技术的上述问题，采用Kafka和Flume结合的方式来进行数据备份，在数据落地之前，也就是Kafka中心经数据备份。

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，其基于producer和consumer模式发布订阅消息，充分实现了异步解耦和削峰填谷。另外，由于数据在Kafka中会有留存，所有在Kafka层面实现数据备份方案是可行的。

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，其可以读取不同类型数据源的数据，例如kafka，并写入到不同的存储中，如Hdfs、Hive、ElasticSearch中。本发明实施例使用Flume解决了从kafka落地过程，不需要去人工写额外的程序，节省人力成本。

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本系统在数据入库前增加Kafka中间件，数据在Kafka中会有留存，我们在Kafka中将数据实时备份，从写入层实现备份，所有数据都要写入Kafka，最终通过Flume将kafka中的数据消费入库。

本发明实施例具体包括如下处理：

1、在Kafka层面做数据备份，在kafka中为其中存储数据的topic启动Mirror同步数据进程，该Mirror同步进程会自动将数据从kafka的topic中消费出来备份到另外一个数据中心，另外一个数据中心备份的topic的名称为原始的topic名称加上指定后缀，例如_mir，在另外一个机楼同样做这种操作，使其可以同样接受业务数据，达到高可用的目的。这样，原始topic和备份topic(在原始topic后面加上指定后缀的topic)在每个数据中心的数据总量已经相同，两个数据中心在数据落地之前已经达到数据一致，并且这些消费操作是实时进行的，备份的数据实时的到达了另外一个机楼，时效性大大提高。

2、Mirror同步进程使用kafka原生的consumer进行消费，每次消费完都会保留该topic消费的位置offset；如果其中一个数据中心故障，那么该数据中心的Mirror进程会记录下故障点备份的数据位置，在故障恢复后，将Mirror同步进程启动，Mirror进程自动在kafka中找到上次消费的位置并继续消费，使故障期间未备份的数据自动同步到本数据中心，从而不需要人为干预的保证原始数据的一致。

3、在每个数据中心使用flume，将数据从kafka中消费出来发送到指定的存储目的地里，例如Hdfs、Hive、ElasticSearch等；在每个数据中心中，flume分别消费该数据中心的原始topic和备份topic两个topic中的数据，并将两个topic中的数据发往同一个数据目录(或数据表、数据索引)中，使最终落地的数据在两个数据中心中保持一致。

综上所述，本发明实施例进行数据实时灾备，通过kafka实时备份两个数据中心的数据，使其在落地之前达到一致性。故障恢复后，数据自动追回，根据kafka消费的位置进行备份数据位置的记录，达到备份位置自动找回，备份数据自动备份。

借助于本发明实施例的技术方案，传统数据在数据备份上实时性差，故障恢复后需要人工去找回丢失数据，而本系统在写入前已经将数据达到实时一致性，并且在故障恢复后，具有自动定位备份位置并追回丢失数据的功能。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种大数据灾备方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，将Kafka中间件中的待入库数据备份到另外一个数据中心具体包括：

通过Mirror同步数据进程自动将待入库数据从kafka中间件的topic中消费出来备份到所述另外一个数据中心，并将另外一个数据中心备份的topic的名称设置为原始的topic名称加上指定后缀。

3.如权利要求2所述的方法，其特征在于，接收所述另外一个数据中心发送的灾备数据，并将所述灾备数据写入所述Kafka中间件具体包括：

4.如权利要求2所述的方法，其特征在于，通过Mirror同步数据进程自动将待入库数据从kafka中间件的topic中消费出来备份到所述另外一个数据中心具体包括：

5.如权利要求4所述的方法，其特征在于，所述方法进一步包括：

在其中一个数据中心发生故障的情况下，通过该数据中心的Mirror同步数据进程记录故障点备份的数据位置offset，在故障恢复后，将Mirror同步数据进程启动，Mirror同步数据进程自动在kafka中间件中找到上次消费的位置offset 并继续消费。

6.如权利要求1所述的方法，其特征在于，在备份完成后，通过Flume将Kafka中间件的待入库数据进行入库具体包括：

7.一种大数据灾备装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的信号测量方法的步骤。