CN106528341B - 基于Greenplum数据库的自动化容灾系统 - Google Patents

Abstract

本发明公开了一种基于Greenplum数据库的自动化容灾系统，包括任务发起层：查询生产数据集群，监控Greenplum数据库中的数据变化量的大小，判断是否需要同步数据；任务同步层：定义元数据监控任务，记录元数据变化情况，再通过管道将生产数据集群变化的元数据同步到容灾数据集群中；结果分析层：根据已同步的数据，计算出容灾数据集群的变化情况，将生产数据集群和容灾数据集群同步的数据进行对比，记录每日同步情况，并输出分析结果。本发明具有一定的冗余性，高性能，高可用性，能够保证数据库高效运行，有效避免因故障引起的业务性能问题，且系统架构更精简合理，适用范围广泛。

Description

基于Greenplum数据库的自动化容灾系统

技术领域

本发明涉及一种数据库容灾系统，尤其涉及一种基于Greenplum数据库的自动化容灾系统。

背景技术

随着国内电信企业的不断发展，电信行业的竞争也趋于白热化。一方面，客户选择电信业务及电信企业的余地越来越大，电信企业之间对客户的争夺也越来越激烈。经过运营商不断的“价格战”，电信市场出现了严重的“增量不增收”现象，大量低忠诚度的客户转网或变更业务。电信企业虽纷纷采用具有一定优惠期限的活动来降低客户的流失率，但在优惠期结束后，很多客户便纷纷离网或弃卡重入网以套取新的优惠，仍造成了大规模的客户流失，致使电信企业的业务收入下滑、客户发展效率低成本高。另一方面，电信客户近几年高速增长，形成了庞大、需求差异很大的客户群；同时适用于不同人群的各种新业务不断推出，电信企业需要通过细分市场、客户群，将最合适的业务推销给最需要的客户，实现业务和客户的最佳匹配。

基于以上背景，国内电信运营商纷纷建立起以“经营分析系统”为核心的企业决策支持体系，通过对公司日常经营数据的分析、挖掘，为公司决策者、各级管理者提供经营决策依据，以实现精细化营销。中国移动为了保证在激烈的市场竞争中能够满足新业务、新需求、新机会的需要，有效提高中国移动市场前沿的信息化水平，辅助提升中国移动市场精细化营销水平和深度运营能力，确保中国移动的市场领先地位，在过去十年里建立了“DB2+IBM小型机+EMC存储”的传统经分系统。

但是随着迈入“4G时代”，数据呈几何式爆发增长，数据具有以下特性：(1)数据体量巨大，动辄百T级、PB级数据。(2)数据需要实时反馈。这就需要经分系统转型为大数据平台，同时应具有高可用性，可以实时展示数据，当系统异常时，在高可用的状态下，数据处理能力并不降低。(3)数据类型繁多，数据类型分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、图片、地理位置信息等，多类型的数据对数据的处理能力提出了更高要求。

由于以上原因，传统经分系统架构：“IBM小型机”+“EMC存储”+“DB2数据库”，在海量的数据面前，显得捉襟见肘，有心而无力。但为了满足处理海量数据的需要，集团逐步采用分布式数据库系统的大数据解决方案。MPP分布式数据库系统物理上是由多台独立的节点组成，每个节点内都有独立的CPU、总线、内存、硬盘等，这些节点可能放在不同的位置，它们共同组成一个逻辑上集中、物理上分布的大型分布式数据库系统。

MPP分布式数据硬件多采用X86机器，数据库代表GreenPlum、Vertaic等。其可组建成几十台乃至上百台机器的集群，集群庞大，集群高可用方案多采用数据库自带方案，且都以牺牲性能为主，缺少容灾方案，以Greenplum为例，其采用shared nothing架构(MPP)，主机，操作系统，内存，存储都是自我控制的，不存在共享。主要由master host，segmenthost，interconnect三大部分组成，其中segment host划分为primary实例和mirror实例。采用镜像保护模式，数据备份策略为1:1。当Greenplum配置mirror镜像节点之后，主节点不可用时会自动切换到镜像节点，集群仍然保持可用状态。当主节点恢复并启动之后，主节点会自动恢复期间的变更；若Master不能连接上Segment实例时，就会在系统表中将此实例标识为不可用，并用镜像节点来代替(primary实例和mirror实例处于不同主机上)。当Primary Segment失败时，Mirror Segment将自动提供服务，Primary Segment恢复正常后，同步数据即可。假设A号X86机器损坏，无法立刻恢复，此时对应B号机器的mirror就会替代原A号primary实例工作，A号主机硬件损坏，B号主机此时承担两倍的计算量，但MPP架构存在性能“短板效应”(当集群中某台机器计算处理能力低，那么整个集群会根据计算能力最低的那台机器，反馈结果)，届时整个集群的性能会降低1/2左右，牺牲性能为主。若Greenplum数据库整体损坏，生产系统将瘫痪，无法拯救，缺失容灾方案。Greenplum默认架构部署如图1所示，一个primary配置一个mirror。

由上可见，随着默认Greenplum架构系统部署上线后、业务数据量会不断增长、访问习惯变更、业务需求变化、应用程序变更等因素，这些因素直接影响着默认Greenplum架构集群使用的持续性、高可用性、生命周期等，当系统因意外、整体停止工作时，默认Greenplum无法继续工作，且Greenplum数据库没有类似Oracle GoldenGate产品，可将数据实时从生产数据集群传输到容灾数据集群，因此需要一种新的基于Greenplum架构高可用自动化容灾系统，即可解决默认Greenplum架构性能问题又可实现容灾功能。

现将MPP默认Greenplum架构现有技术缺点总结如下：

1)、不具备预见性MPP架构采用的主机硬件为X86机器，X86机器与小型机相比，其稳定性相差甚远，对于故障无法预见，且通常没办法在第一时间修复，有可能造成大批量数据的缺失。情况严重时，问题无法预知，默认Greenplum架构的mirror无法接管工作，此时整个业务系统处于瘫痪状态；

2)、默认Greenplum架构高可用性较低主机硬件不具备预见性，数据库高可用性较低，因此除了生产数据集群外，建设容灾数据集群也是重中之重；

3)、性能降低由于Greenplum本身的架构是一台X86机器同时部署Primary实例和Mirror实例(隶属不同Group)。举例，当Greenplum集群中A机器出现损坏，B机器的Mirror实例会将A机器的Primary实例工作接管，此时B机器的工作压力是其余机器的两倍。MPP架构具有性能的“短板效应”，当集群中某台机器计算处理能力低，那么整个集群会根据计算能力最低的那台机器，反馈结果，耗时是正常速度的两倍，性能降低50％。以此推理，若同时损坏两台主机，计算运行时间将大大延长，性能可能降低75％左右；

4)、无法增量备份(表级别)Greenplum数据库广泛应用于OLAP领域，数据量巨大，如果采用Oracle增量备份方式(针对表级别)，将会大大增加备份难度与压力，因此MPP架构数据库对于此点并未考虑，但是实际业务生产过程中，重要的业务数据需要定期定时进行备份，且默认的Greenplum架构只能对数据库级别进行全量或增量备份，无法对表级别进行全量或增量备份；

5)、若系统出现两台以上主机损坏，整个集群将无法使用，无容灾方案默认Greenplum架构，当属于同一Group的主机呈主备模式(数据互备)，如果这两台主机同时损坏，将造成整个集群数据缺失，业务系统处于瘫痪状态，没有容灾方案；

6)、对人的依赖高当某台机器出现故障时，因其故障恢复时间长且难度较大，这就需要维护人员具有较高的技术能力，丰富的运维经验，对现场业务综合环境熟悉，对业务知识存在依赖，优先保障何种业务正常使用。因此若有种可自动化管理的新架构业务系统，将会大大降低故障恢复时长。并且为缩短业务受影响的时长，需要维护人员快速作出处理，所以对维护人员的技术水平也存在依赖。如果维护人员的技术水平没办法同时达到这两个方面，会对业务系统的正常使用性能造成影响。将对前台客户的感知大范围降低，同时也将大大延迟故障的恢复速度。

发明内容

本发明所要解决的技术问题是提供一种基于Greenplum数据库的自动化容灾系统，具有一定的冗余性，高性能，高可用性，可预先模拟业务量变化等，当系统异常时，可实现容灾数据集群切换；能够保证数据库高效运行，有效避免因故障引起的业务性能问题，且系统架构更精简合理，广泛适用于以Greenplum为核心的业务生产系统，适用范围广泛。

本发明为解决上述技术问题而采用的技术方案是提供一种基于Greenplum数据库的自动化容灾系统，包括任务发起层：查询生产数据集群，监控Greenplum数据库中的数据变化量的大小，判断是否需要同步数据；任务同步层：定义元数据监控任务，记录元数据变化情况，再通过管道将生产数据集群变化的元数据同步到容灾数据集群中；结果分析层：根据已同步的数据，计算出容灾数据集群的变化情况，将生产数据集群和容灾数据集群同步的数据进行对比，记录每日同步情况，并输出分析结果。

上述的基于Greenplum数据库的自动化容灾系统，其中，所述任务同步层对任务发起层采集到的所有SQL和SQL的执行频次进行比对，确定数据是否发生变化，然后定时连接到容灾数据集群，并将变化的数据同步到容灾数据集群。

上述的基于Greenplum数据库的自动化容灾系统，其中，所述元数据同步过程如下：1)从任务调度库获取连接信息，连接至生产数据集群，采集任务信息，包括任务的创建、更新、删除、查询和调度信息；2)目标数据连接成功后，汇总信息至任务同步库，整理任务信息；汇总信息包括用户名/表名、结果集/计算集以及catalog信息/业务调度信息；3)所述任务同步库根据采集的信息，向生产数据集群发起同步命令，开启同步工作；4)确认同步内容，同步数据包括生产数据集群新增表，生产数据集群新增用户，生产数据集群新增存储过程和清理旧表，从生产数据集群向容灾数据集群传输数据；5)确认生产数据集群catalog检查结果；6)在生产数据集群和容灾数据集群之间开启管道，创建链路链接进行底层数据传输；7)所述生产数据集群创建外部表，通过管道开启外部表数据传输。

上述的基于Greenplum数据库的自动化容灾系统，其中，所述外部表数据包括事实表数据、维表数据、AO表数据、压缩表数据和常用表数据；如果外部表数据格式为gz或bz2压缩格式，则在外部表数据传输过程中，按压缩比1:5解压缩为txt或csv文件。

上述的基于Greenplum数据库的自动化容灾系统，其中，所述元数据按表元数据、文件元数据、过程元数据和脚本元数据进行分类。

本发明对比现有技术有如下的有益效果：本发明提供的基于Greenplum数据库的自动化容灾系统，通过建立多维度架构部署，同步任务监控调配、跨集群数据传输、任务结果分析、故障快速切换响应等一套标准机制，从业务全局出发，具有持续的数据传输和分析能力，当生产系统异常时，在不降低生产性能前提下，容灾数据集群可迅速启动，第一时间保障业务持续可用性，且对维护人员的业务水平、技术能力不存在依赖。

附图说明

图1为现有的Greenplum数据库的架构示意图；

图2为本发明基于Greenplum数据库的自动化容灾系统架构意图；

图3为本发明基于Greenplum数据库的自动化容灾系统多维度方框图；

图4为本发明基于Greenplum数据库的自动化容灾系统同步流程示意图；

图5为本发明基于Greenplum数据库的自动化容灾系统结果分析流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

1、阿姆达尔定律

阿姆达尔定律是并行处理的性能分析定律。

对于固定负载情况下描述并行处理效果的加速比Speedup，公式如下：

Speedup＝1/(1-P+P/N)；

其中：P为问题中可并行处理的部分占问题总工作量的比例，N为并行的线程数量，Speedup为并行后相比串行时提速的倍数。这个定律的启示是：如果一个工作负载处于紧耦合状态无法有效分解，那么处理性能较低，不利于生产使用。

其定律思想是：结合阿姆达尔定律，Greenplum数据库高可用自动化容灾系统涉及生产数据集群大规模并行传输数据至容灾数据集群性能计算。假设并行传输工作比例P为90％，N为10个并行进程，那么并行传输数据的理论速度上限为不做并行时的1/(1-90％+90％/10)＝5.2倍，通过此定律，结合实际应用，建设最优容灾系统，确立容灾系统集群大小。

2、CAP定律

CAP定律指出，对于一个分布式计算机系统来说，无法同时提供以下3项保证： 一致性(所有节点在同一时间看到相同的数据)；

可用性(保证每一个请求都会受到或者成功或者失败的响应)；

分区容忍性(任意消息丢失或者部分系统失效时系统仍可继续运行)

根据CAP定律，如果为实现企业的业务连续性，提供一个统一的公共安全控制的远景，一个灵活的方式来处理当前和未来的威胁，需要以上3项中某一项牺牲，才能达到生产需求。CAP定律，使Greenplum数据库高可用自动化容灾系统在架构设计和平台选型的过程中避免陷入一些不可完成的任务，例如极度追求分区容忍性，从而忽略容灾系统建设中一致性的考虑，这会导致数据不一致，影响数据质量，这样的容灾系统是失败的。

在以Greenplum为核心的容灾系统中，通过阿姆达尔定律和CAP定律作为容灾系统建设指导思想，形成“阿C定律”方法论，有助于建设性能最优，成本适中，操作简易，高可用的Greenplum自动化容灾系统。

本发明利用“阿C定律”，从实际业务角度出发，综合考虑，确立容灾系统集群大小，Greenplum自动化容灾系统建设最优方案，实施架构，原理指导等。最终形成Greenplum数据库高可用自动化容灾系统整体流程如图2所示。

1)首先查询生产数据集群，了解每天数据的变化，数据变化量的大小，判断是否需要同步数据，如果没有变化则跳过，否则创建新的任务策略。

2)再定义元数据监控任务，记录元数据变化情况，再通过管道(Pipe)将生产数据集群变化的元数据同步到容灾数据集群Master中。

3)数据同步，底层Segment节点数据自动发起同步进程，通过“管道+外部表”方式，定时连接到容灾数据集群，根据采集的所有SQL、SQL的执行频次、是否数据发生变化等信息，然后将变化的数据同步到容灾数据集群。

4)结果对比分析，根据已同步的数据，计算出容灾数据集群的变化情况，将生产数据集群和容灾数据集群同步的数据进行对比，并记录每日同步情况,向维护人员输出分析结果，并结束本次任务。

本发明的同步任务可以配置成单次运行，在运行结束后关闭，向维护人员输出本次数据同步情况；同步任务配置成定期循环执行，当发现同步任务出现异常时，通过任务监控，随即向维护人员发送告警。

本发明提供的基于Greenplum数据库的自动化容灾系统，能够方便地建立多维度架构部署，主要分为三个维度来实现，如图3所示：

1.任务发起层：

该层主要负责任务的管理，主要有任务的创建、更新、删除、查询和流程调度等操作。定义监控任务，可定义一次执行或多次循环执行任务，通过信息采集和分析统计信息，发起数据同步任务，或者循环执行任务监控数据库数据业务变化需求并发出告警，通知运维管理人员，了解当前Greenplum集群运行状况。

2.任务同步层：

该层负责任务发起层后采集到的信息，并将之与现有信息对比，然后发起数据库同步任务，传输Catalog、底层Segment数据等。整个同步流程说明如图4所示：

1)任务调度进程从任务调度库获取连接信息，连接至生产数据集群，采集任务信息，包括任务的创建、更新、删除、查询和调度等信息。

2)目标数据连接成功后，汇总信息至任务同步库，整理任务信息。

3)任务同步库，根据采集的信息，向生产数据集群发起同步命令，开启同步工作等。

4)确认同步内容，从生产数据集群向容灾数据集群传输数据。

5)确认生产数据集群catalog检查结果(每日定时检查，均为程序自动检测)，同步数据包括：生产数据集群新增表，生产数据集群新增用户，生产数据集群新增存储过程，清理旧表等。

6)生产数据集群和容灾数据集群之间，开启Pipe，创建链路链接，保障同步工作。

7)外部表整理，生产数据集群创建外部表(结合任务发起层校验结果，自动创建外部表)，通过Pipe，开启外部表数据传输，如果数据是以gz、bz2等格式压缩，在外部表数据传输过程中，将按压缩比1:5，解压缩为txt或csv文件。

8)生产数据集群同容灾数据集群的底层数据传输，传输的数据量达TB级别，每日传输的数据可多达10T以上，其中主要数据形式包括事实表数据、维表数据、AO表数据、压缩表数据和常用表数据。

3.结果分析层：

该层负责对采集信息进行分析，输出优化建议、预警建议，比对结果，整体流程如图5所示：

1)输入信息，任务调度库采集信息：用户名/表名、结果集/计算集、catalog信息/业务调度信息等，汇总整理各类信息；

2)分析比对容灾数据集群和容灾数据集群数据库各类信息，所有SQL的使用规律、谓词组合程度，变化信息等，并对各类数据同步工作；

3)结合校准结果，进行判断，若生产数据集群和容灾数据集群各类信息相同，完成容灾同步工作。若比对结果不相同，根据比对的报错信息，调整错误，重新发起同步。

以上的流程准备工作完成后，Greenplum数据库高可用自动化容灾系统部署完毕，当以Greenplum为生产系统，生产系统出现异常时，采用本发明，可第一时间，自动化完成容灾数据集群切换生产数据集群，保障业务的连续性。准备工作中日常的数据同步工作、各类信息的比对以及ETL无缝切换等需重点对待。

日常的数据同步工作：是指每日生产数据集群要向容灾数据集群进行数据同步工作。如果目标数据库存放10000张表，根据业务需求变化的情况，将这10000张表分优先级、分批次，使用万兆网速完成传输同步工作。

各类信息的比对：生产数据集群同容灾数据集群用户名/表名、结果集/计算集、catalog信息/业务调度信息等，汇总整理各类信息进行汇总。

ETL无缝切换：ETL指向由生产数据集群向容灾数据集群切换，如果仅有一套ETL调度机制，需进行域名改造，方可执行ETL无缝切换，保障集群的正常使用。因此ETL调度要有完善的Log记录机制，记录详细信息。

以上内容通过多层级，全方位，多维度，系统的阐述了基于Greenplum数据库高可用自动化容灾系统解决方案的原理、应用场景、问题概述等，以满足实际生产系统业务为核心需求，“四位一体”高实效，高可用，高性能，高智能化的方式，容灾数据集群自动化切换，自动保障生产系统的正常生产，自动告警等。

下面给出本发明的案例效果，以某核心业务系统为例，采用本发明的Greenplum数据库高可用自动化容灾系统的各功能模块实现如下：

3.1、元数据模块：对元数据信息归类，其主要包括表元数据、文件元数据、过程元数据、脚本元数据四大类，实现元数据管理和元数据同步工作等，实时把控集群使用状况。

3.2、调度中心：流程管理、流程监控、集群监控(Agent管理)和日志管理。

3.3、系统管理：通过系统管理层，全方位的了解系统运行状况，快速定位集群各类问题。

本发明提供的基于Greenplum数据库的自动化容灾系统，从业务角度，数据库全局考虑，给出高性能下自动化容灾数据集群整体方案的多层架构和处理流程；通过任务调度中心的建设，实现流程管理、告警监控和增量备份(表级别)。通过定制循环探测执行的定时任务，实现对系统的自动告警，避免性能问题发生。具体优点如下：

1)从全局角度出发，基于Greenplum数据库高可用自动化容灾系统建设。与现有Greenplum备份工具gpdump比较，本发明不仅仅针对单个信息的传输，而是通过实际数据采集和周密算法分析，从数据库全局出发，提出数据传输最优方案，高可用集群建设的最佳实践方案。

2)实现自动问题提前预警。通过定制循环执行的定时任务，通过数据采集和分析来捕捉客观变化，顺应业务的发展变化，自动提前发出容灾系统异常的预警信号，可有效避免异常状况发生。

3)保持业务的高效连续性。通过新的容灾建设方法，可实现异常时，系统自动切换，保障了业务的连续性。

4)对人的依赖度大幅降低。本发明中，备份的优化及预警，全部依赖实际数据从技术角度提出建议，不需要维护人员对业务知识的了解。因为实现了提前预警，维护人员有足够的时间去管理系统，对维护人员的技术水平依赖也很大下降。

5)本发明装置简单易用。创造性地提出了多层架构，通过简单的操作，即可完成调度任务的定制，后续的信息采集、分析、计算等操作全部有装置自动完成，操作简单，对使用人员的要求相当低。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (4)

1.一种基于Greenplum数据库的自动化容灾系统，其特征在于，包括：

任务发起层：查询生产数据集群，监控Greenplum数据库中的数据变化量的大小，判断是否需要同步数据；

任务同步层：定义元数据监控任务，记录元数据变化情况，再通过管道将生产数据集群变化的元数据同步到容灾数据集群中；

结果分析层：根据已同步的数据，计算出容灾数据集群的变化情况，将生产数据集群和容灾数据集群同步的数据进行对比，记录每日同步情况，并输出分析结果；

所述元数据同步过程如下：

1)从任务调度库获取连接信息，连接至生产数据集群，采集任务信息，包括任务的创建、更新、删除、查询和调度信息；

2)目标数据连接成功后，汇总信息至任务同步库，整理任务信息；汇总信息包括用户名/表名、结果集/计算集以及catalog信息/业务调度信息；

3)所述任务同步库根据采集的信息，向生产数据集群发起同步命令，开启同步工作；

4)确认同步内容，同步数据包括生产数据集群新增表，生产数据集群新增用户，生产数据集群新增存储过程和清理旧表，从生产数据集群向容灾数据集群传输数据；

5)确认生产数据集群catalog检查结果；

6)在生产数据集群和容灾数据集群之间开启管道，创建链路链接进行底层数据传输；

7)所述生产数据集群创建外部表，通过管道开启外部表数据传输。

2.如权利要求1所述的基于Greenplum数据库的自动化容灾系统，其特征在于，所述任务同步层对任务发起层采集到的所有SQL和SQL的执行频次进行比对，确定数据是否发生变化，然后定时连接到容灾数据集群，并将变化的数据同步到容灾数据集群。

3.如权利要求1所述的基于Greenplum数据库的自动化容灾系统，其特征在于，所述外部表数据包括事实表数据、维表数据、AO表数据、压缩表数据和常用表数据；如果外部表数据格式为gz或bz2压缩格式，则在外部表数据传输过程中，按压缩比1:5解压缩为txt或csv文件。

4.如权利要求1所述的基于Greenplum数据库的自动化容灾系统，其特征在于，所述元数据按表元数据、文件元数据、过程元数据和脚本元数据进行分类。