CN108733808A - 大数据软件系统切换方法、系统、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种大数据软件系统切换方法、系统、终端设备及存储介质，通过终端设备在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所述备Hadoop集群的第二Redis组件；在所述主Hadoop集群的主数据和所述备Hadoop集群的备数据一致时，进行主生产系统到备生产系统的切换操作；大大提升整个软件系统的可用性，增强实时服务的保证能力，规避了单一集群可靠性不足的问题。

Description

大数据软件系统切换方法、系统、终端设备及存储介质

技术领域

本发明涉及计算机应用领域，尤其涉及一种大数据软件系统切换方法、 系统、终端设备及存储介质。

背景技术

在使用分布式系统基础架构Hadoop的大数据软件系统中，通常依靠 Hadoop各个组件本身的高可用性。比如使用的分布式的、面向列的开源数据 库HBase，通过将创建表格控件table在行的方向上分割为多个响应模块 HRegion，每个响应模块Hregion又通过多数据副本机制分散在不同响应服务 组件RegionServer上来保证HBase本身的高可用性。而规模较大的互联网公 司或者银行等金融机构会通过建立异地数据中心的方式来保证数据安全，但 其通常使用关系型数据库管理系统DB2、数据库管理系统Oracle或者关系型 数据库管理系统MYSQL等成熟的关系型数据库，在使用Hadoop的软件系统 中缺乏成熟的数据中心的数据同步及切换方案。

在目前基于Hadoop的大数据软件系统中，大部分软件系统的高可用性都 依赖Hadoop各个组件本身的高可用性。主要缺点有：

1、虽然Hadoop各个组件在设计实现时通过多副本等机制保证自身的高 可用性，但是该组件还是存在故障的风险，以及版本升级需要停止服务的可 能。一旦该组件无法正常工作，可能引起整个软件系统的不可用；

2、如果数据读写均在一个Hadoop集群上，容易造成数据处理量过大， 增大整个软件系统的处理负债，从而引起软件系统故障。

发明内容

本发明的主要目的在于提供一种大数据软件系统切换方法、系统、终端 设备及存储介质，旨在解决现有技术中基于Hadoop的大数据软件系统过于依 赖Hadoop各个组件本身的高可用性，一旦该组件无法正常工作，会引起整个 软件系统不可用的技术问题。

为实现上述目的，本发明提供一种大数据软件系统切换方法，所述大数 据软件系统切换方法包括以下步骤：

终端设备在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件 的偏移量保存至所述主Hadoop集群的第一Redis组件；

将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集 群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步 至所述备Hadoop集群的第二Redis组件；

将所述主Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop 集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作 为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；

在所述主数据和所述备数据一致时，进行主生产系统到备生产系统的切 换操作；其中，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集 群属于所述备生产系统。

优选地，所述在接收到主备切换指令时，将主Hadoop集群的第一Kafka 组件的偏移量保存至所述主Hadoop集群的第一Redis组件之前，所述大数据 软件系统切换方法还包括：

实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切 换请求时，确定当前切换请求为主备切换指令。

优选地，所述实时监测主生产系统的第一外部接口，在检测到所述第一 外部接口有切换请求时，确定当前切换请求为主备切换指令之后，所述大数 据软件系统切换方法还包括：

实时监测备生产系统的第二外部接口，在检测到所述第二外部接口有切 换请求时，确定当前切换请求为备主切换指令；

在接收到备主切换指令时，将所述备数据从所述备生产系统同步至所述 主生产系统，生成同步后的主数据；

将所述备数据与同步后的主数据进行比较，在所述备数据与同步后的主 数据一致时，进行所述备生产系统到所述主生产系统的切换操作。

优选地，所述在接收到备主切换指令时，将所述备数据从所述备生产系 统同步至所述主生产系统，生成同步后的主数据，具体包括：

在接收到备主切换指令时，将备生产系统在服务时间段产生的服务数据 和所述备Hadoop集群的原有的备数据进行整合，形成新的备数据；

将新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，生成同 步后的主数据。

优选地，所述将新的备数据从所述备Hadoop集群同步至所述主Hadoop 集群，具体包括：

将新的备数据从第二HBase组件实时同步至第一HBase组件；

清空第一Redis组件的数据，将第二Redis组件的数据拷贝至第一Redis 组件；

检测到第二Kafka组件的消费动作完成后，将第一Kafka组件和第二 Kafka组件对应的存储目录中topic目录均删除重建。

优选地，所述在接收到备主切换指令时，将备生产系统在服务时间段产 生的服务数据和所述备Hadoop集群的原有的备数据进行整合，形成新的备数 据之前，所述大数据软件系统切换方法还包括：

记录所述主生产系统切换到所述备生产系统的结束时间；

记录接收到备主切换指令的时间，并将接收到备主切换指令的时间作为 开始时间；

将所述开始时间和所述结束时间之间的时间段作为服务时间段。

优选地，所述在所述主数据和所述备数据一致时，进行主生产系统到备 生产系统的切换操作之前，所述大数据软件系统切换方法还包括：

当检测到所述主生产系统存在正在进行的对外服务时，将所述对外服务 产生的数据并入到所述主数据中，并将新的主数据从所述主Hadoop集群实时 同步到所述备Hadoop集群。

此外，为实现上述目的，本发明还提出一种终端设备，所述终端设备包 括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数 据软件系统切换程序，所述大数据软件系统切换程序配置为实现如上文所述 的大数据软件系统切换方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上 存储有大数据软件系统切换程序，所述大数据软件系统切换程序被处理器执 行时实现如上文所述的大数据软件系统切换方法的步骤。

此外，为实现上述目的，本发明还提供一种大数据软件系统切换系统， 所述大数据软件系统切换系统包括：

偏移量存储模块，用于在接收到主备切换指令时，将主Hadoop集群的第 一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件；

数据同步模块，用于将所述主Hadoop集群的第一HBase组件的开源数 据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis 组件的存储数据同步至所述备Hadoop集群的第二Redis组件；

检测数据模块，用于将所述主Hadoop集群的开源数据与存储数据的集合 作为所述主Hadoop集群的主数据，将所述备Hadoop集群同步后的开源数据 与存储数据的集合作为所述备Hadoop集群的备数据，检测所述主数据与所述 备数据是否一致；

切换模块，用于在所述主数据和所述备数据一致时，进行主生产系统到 备生产系统的切换操作；其中，所述主Hadoop集群属于所述主生产系统，所 述备Hadoop集群属于所述备生产系统。

本发明提出的大数据软件系统切换方法，通过终端设备在接收到主备切 换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop 集群的第一Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据 同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis 组件的存储数据同步至所述备Hadoop集群的第二Redis组件；将所述主 Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop集群的主数 据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作为所述备 Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；在所述主数 据和所述备数据一致时，进行主生产系统到备生产系统的切换操作；其中， 所述主Hadoop集群属于所述主生产系统，所述备Hadoop集群属于所述备生 产系统，在双Hadoop集群间实现存储组件(HBase、Kafka、Redis)的数据 实时同步，并在保证数据一致性的基础上，实现两个Hadoop集群对外服务的 双向快速切换，大大提升整个软件系统的可用性，增强其实时服务的保证能 力。同时，在线数据处理集群和离线分析集群可以进行分离，规避了单一集 群可靠性不足的问题。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图；

图2为本发明大数据软件系统切换方法第一实施例的流程示意图；

图3为本发明大数据软件系统切换方法第二实施例的流程示意图；

图4为本发明大数据软件系统切换方法第三实施例的流程示意图；

图5为本发明大数据软件系统切换系统第一实施例的功能模块图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。

本发明实施例的解决方案主要是：本发明通过终端设备在接收到主备切 换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop 集群的第一Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据 同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis 组件的存储数据同步至所述备Hadoop集群的第二Redis组件；将所述主 Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop集群的主数 据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作为所述备 Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；在所述主数 据和所述备数据一致时，进行主生产系统到备生产系统的切换操作；其中， 所述主Hadoop集群属于所述主生产系统，所述备Hadoop集群属于所述备生 产系统，在双Hadoop集群间实现存储组件(HBase、Kafka、Redis)的数据 实时同步，并在保证数据一致性的基础上，实现两个Hadoop集群对外服务的 双向快速切换，大大提升整个软件系统的可用性，增强其实时服务的保证能 力。同时，在线数据处理集群和离线分析集群可以进行分离，规避了单一集 群可靠性不足的问题，解决了现有技术中基于Hadoop的大数据软件系统过于 依赖Hadoop各个组件本身的高可用性，一旦该组件无法正常工作，会引起整 个软件系统不可用的技术问题。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端设备结 构示意图。

如图1所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002、 用户端接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实 现这些组件之间的连接通信。用户端接口1003可以包括显示屏(Display)、输 入单元比如键盘(Keyboard)，可选用户端接口1003还可以包括标准的有线接 口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如 WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立 于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端设备结构并不构成对该终端 设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者 不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络 通信模块、用户端接口模块以及大数据软件系统切换程序。

本发明终端设备通过处理器1001调用存储器1005中存储的大数据软件 系统切换程序，并执行以下操作：

在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量 保存至所述主Hadoop集群的第一Redis组件；

将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集 群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步 至所述备Hadoop集群的第二Redis组件；

将所述主Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop 集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作 为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；

在所述主数据和所述备数据一致时，进行主生产系统到备生产系统的切 换操作；其中，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集 群属于所述备生产系统。

进一步地，处理器1001可以调用存储器1005中存储的大数据软件系统 切换程序，还执行以下操作：

实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切 换请求时，确定当前切换请求为主备切换指令。

进一步地，处理器1001可以调用存储器1005中存储的大数据软件系统 切换程序，还执行以下操作：

实时监测备生产系统的第二外部接口，在检测到所述第二外部接口有切 换请求时，确定当前切换请求为备主切换指令；

在接收到备主切换指令时，将所述备数据从所述备生产系统同步至所述 主生产系统，生成同步后的主数据；

将所述备数据与同步后的主数据进行比较，在所述备数据与同步后的主 数据一致时，进行所述备生产系统到所述主生产系统的切换操作。

进一步地，处理器1001可以调用存储器1005中存储的大数据软件系统 切换程序，还执行以下操作：

在接收到备主切换指令时，将备生产系统在服务时间段产生的服务数据 和所述备Hadoop集群的原有的备数据进行整合，形成新的备数据；

将新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，生成同 步后的主数据。

进一步地，处理器1001可以调用存储器1005中存储的大数据软件系统 切换程序，还执行以下操作：

将新的备数据从第二HBase组件实时同步至第一HBase组件；

清空第一Redis组件的数据，将第二Redis组件的数据拷贝至第一Redis 组件；

检测到第二Kafka组件的消费动作完成后，将第一Kafka组件和第二 Kafka组件对应的存储目录中topic目录均删除重建。

进一步地，处理器1001可以调用存储器1005中存储的大数据软件系统 切换程序，还执行以下操作：

记录所述主生产系统切换到所述备生产系统的结束时间；

记录接收到备主切换指令的时间，并将接收到备主切换指令的时间作为 开始时间；

将所述开始时间和所述结束时间之间的时间段作为服务时间段。

进一步地，处理器1001可以调用存储器1005中存储的大数据软件系统 切换程序，还执行以下操作：

当检测到所述主生产系统存在正在进行的对外服务时，将所述对外服务 产生的数据并入到所述主数据中，并将新的主数据从所述主Hadoop集群实时 同步到所述备Hadoop集群。

本实施例通过上述方案，通过终端设备在接收到主备切换指令时，将主 Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一 Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据同步至备 Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储 数据同步至所述备Hadoop集群的第二Redis组件；将所述主Hadoop集群的 开源数据与存储数据的集合作为所述主Hadoop集群的主数据，将所述备 Hadoop集群同步后的开源数据与存储数据的集合作为所述备Hadoop集群的 备数据，检测所述主数据与所述备数据是否一致；在所述主数据和所述备数 据一致时，进行主生产系统到备生产系统的切换操作；其中，所述主Hadoop 集群属于所述主生产系统，所述备Hadoop集群属于所述备生产系统，在双 Hadoop集群间实现存储组件(HBase、Kafka、Redis)的数据实时同步，并 在保证数据一致性的基础上，实现两个Hadoop集群对外服务的双向快速切 换，大大提升整个软件系统的可用性，增强其实时服务的保证能力。同时， 在线数据处理集群和离线分析集群可以进行分离，规避了单一集群可靠性不 足的问题。

基于上述硬件结构，提出本发明大数据软件系统切换方法实施例。

参照图2，图2为本发明大数据软件系统切换方法第一实施例的流程示 意图。

在第一实施例中，所述大数据软件系统切换方法包括以下步骤：

步骤S10、终端设备在接收到主备切换指令时，将主Hadoop集群的第一 Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件。

需要说明的是，Hadoop是一个由Apache基金会所开发的分布式系统基 础架构，Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala 和Java编写,Redis是一个开源的使用ANSI C语言编写、支持网络、可基于 内存亦可持久化的日志型、Key-Value数据库,所述主备切换指令即为由主生 产系统切换到备生产系统的切换指令，所述主生产系统除了包含Hadoop集群 外还可以包含应用集群，所述应用集群包含各种应用程序，通过结合应用集 群与Hadoop集群能够实现生产系统的正常工作及运转。

可以理解的是，终端设备在接收到主备切换指令时，将主Hadoop集群的 第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件，即将 应用消费Kafka的偏移量保存在同生产系统的Redis组件中，通过Redis的实 时同步完成偏移量的同步。

步骤S20、将所述主Hadoop集群的第一HBase组件的开源数据同步至备 Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储 数据同步至所述备Hadoop集群的第二Redis组件。

应当理解的是，HBase是一个分布式的、面向列的开源数据库,将所述主 生产系统切换到备生产系统需要将两者的数据同步，同步的过程可以是将所 述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的第二 HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所述备 Hadoop集群的第二Redis组件，即通过HBase组件和Redis组件实现主Hadoop 集群和备Hadoop集群的数据同步。

步骤S30、将所述主Hadoop集群的开源数据与存储数据的集合作为所述 主Hadoop集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数 据的集合作为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是 否一致。

可以理解的是，通过HBase组件和Redis组件将数据从所述主Hadoop 集群同步至所述备Hadoop集群之后，需要验证所述主Hadoop集群的主数据 和所述备Hadoop集群的备数据的数据一致性，进而为后续切换操作做准备。

在具体实现中，一般可以通过建立监控系统监控所述主生产系统和备生 产系统的运行管理情况，实现对主备生产系统和备生产系统的运行状态的监 控，并且一般可通过显示器进行直观的显示出当前生产系统的运行状况及相 应参数。

步骤S40、在所述主数据和所述备数据一致时，进行主生产系统到备生 产系统的切换操作；其中，所述主Hadoop集群属于所述主生产系统，所述备 Hadoop集群属于所述备生产系统。

应当理解的是，在所述主数据和所述备数据一致时，进行主生产系统到 备生产系统的切换操作；而在所述主数据和所述备数据不一致时，则继续进 行数据同步操作，直至数据完全一致后再进行主生产系统到备生产系统的切 换操作，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集群属于 所述备生产系统，即所述主生产系统中包含主Hadoop集群，所述备生产系统 中包含备Hadoop集群，即所述主生产系统通过主Hadoop集群实现分布式数 据存储管理，所述备生产系统通过备Hadoop集群实现分布式数据存储管理。

进一步地，所述步骤步骤S40之前，所述大数据软件系统切换系统还包 括以下步骤：

当检测到所述主生产系统存在正在进行的对外服务时，将所述对外服务 产生的数据并入到所述主数据中，并将新的主数据从所述主Hadoop集群实时 同步到所述备Hadoop集群。

可以理解的是，在进行主生产系统到备生产系统的切换操作之前若检测 到所述主生产系统存在正在进行的对外服务时，需要将此时对外服务产生的 数据并入到所述主数据中，进而与原有的数据一起从所述主Hadoop集群实时 同步到所述备Hadoop集群，避免了数据同步出现漏洞，从而影响系统切换效 率的情况。

本实施例通过上述方案，通过终端设备在接收到主备切换指令时，将主 Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一 Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据同步至备 Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储 数据同步至所述备Hadoop集群的第二Redis组件；将所述主Hadoop集群的 开源数据与存储数据的集合作为所述主Hadoop集群的主数据，将所述备 Hadoop集群同步后的开源数据与存储数据的集合作为所述备Hadoop集群的 备数据，检测所述主数据与所述备数据是否一致；在所述主数据和所述备数 据一致时，进行主生产系统到备生产系统的切换操作；其中，所述主Hadoop 集群属于所述主生产系统，所述备Hadoop集群属于所述备生产系统，在双 Hadoop集群间实现存储组件(HBase、Kafka、Redis)的数据实时同步，并 在保证数据一致性的基础上，实现两个Hadoop集群对外服务的双向快速切 换，大大提升整个软件系统的可用性，增强其实时服务的保证能力。同时， 在线数据处理集群和离线分析集群可以进行分离，规避了单一集群可靠性不 足的问题。

进一步地，图3为本发明大数据软件系统切换方法第二实施例的流程示 意图，如图3所示，基于第一实施例提出本发明大数据软件系统切换方法第 二实施例，在本实施例中，所述步骤S10之前，所述大数据软件系统切换方 法还包括以下步骤：

步骤S01、实时监测主生产系统的第一外部接口，在检测到所述第一外 部接口有切换请求时，确定当前切换请求为主备切换指令。

需要说明的是，所述第一外部接口一般为与所述主生产系统对应的虚拟 接口，也可以是所述主生产系统对应的终端设备对应的物理接口，当然还可 以是其他类型用于进行外部数据交互的接口，本实施例对此不加以限制；通 过实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切换 请求时，可以确定当前切换请求为主备切换指令。

相应地，所述步骤S01之后，所述大数据软件系统切换方法还包括以下 步骤：

步骤S50、实时监测备生产系统的第二外部接口，在检测到所述第二外 部接口有切换请求时，确定当前切换请求为备主切换指令。

需要说明的是，所述第二外部接口一般为与所述备生产系统对应的虚拟 接口，也可以是所述备生产系统对应的终端设备对应的物理接口，当然还可 以是其他类型用于进行外部数据交互的接口，本实施例对此不加以限制；通 过实时监测备生产系统的第二外部接口，在检测到所述第二外部接口有切换 请求时，可以确定当前切换请求为备主切换指令。

步骤S60、在接收到备主切换指令时，将所述备数据从所述备生产系统 同步至所述主生产系统，生成同步后的主数据。

可以理解的是，所述备主切换指令即为由备生产系统切换到主生产系统 的切换指令，在接收到备主切换指令时，将所述备数据从所述备生产系统同 步至所述主生产系统，生成同步后的主数据。

步骤S70、将所述备数据与同步后的主数据进行比较，在所述备数据与 同步后的主数据一致时，进行所述备生产系统到所述主生产系统的切换操作。

应当理解的是，在接收到备主切换指令时，将所述备数据从所述备生产 系统同步至所述主生产系统，生成同步后的主数据之后，需要验证数据的一 致性，即将所述备数据与同步后的主数据进行比较，在所述备数据与同步后 的主数据一致时，进行所述备生产系统到所述主生产系统的切换操作，而在 所述备数据与同步后的主数据不一致时，继续进行数据同步直至所述备数据 与同步后的主数据一致时，再进行所述备生产系统到所述主生产系统的切换 操作。

本实施例通过上述方案，通过实时监测主生产系统的第一外部接口，在 检测到所述第一外部接口有切换请求时，确定当前切换请求为主备切换指令， 实时监测备生产系统的第二外部接口，在检测到所述第二外部接口有切换请 求时，确定当前切换请求为备主切换指令；在接收到备主切换指令时，将所 述备数据从所述备生产系统同步至所述主生产系统，生成同步后的主数据； 将所述备数据与同步后的主数据进行比较，在所述备数据与同步后的主数据 一致时，进行所述备生产系统到所述主生产系统的切换操作，通过实时检测外部接口的状态能够快速响应生成切换请求，进而加快数据同步的速度，提 高了数据同步的效率，进而提高了系统切换的进度。

进一步地，图4为本发明大数据软件系统切换方法第三实施例的流程示 意图，如图4所示，基于第二实施例提出本发明大数据软件系统切换方法第 三实施例，在本实施例中，所述步骤S60具体包括以下步骤：

步骤S61、在接收到备主切换指令时，将备生产系统在服务时间段产生 的服务数据和所述备Hadoop集群的原有的备数据进行整合，形成新的备数 据。

可以理解的是，备生产系统在服务时间段会产生相应的服务数据，而系 统切换需要数据同步，则需要把这一部分的服务数据从备生产系统同步至主 生产系统中，进而在接收到备主切换指令时，将备生产系统在服务时间段产 生的服务数据和所述备Hadoop集群的原有的备数据进行整合，形成新的备数 据。

进一步地，所述步骤S61之前，所述大数据软件系统切换方法还包括以 下步骤：

记录所述主生产系统切换到所述备生产系统的结束时间；

记录接收到备主切换指令的时间，并将接收到备主切换指令的时间作为 开始时间；

将所述开始时间和所述结束时间之间的时间段作为服务时间段。

需要说明的是，所述主生产系统切换到所述备生产系统的结束时间为所 述主生产系统切换到备生产系统完成切换的时间，所述开始时间为所述备生 产系统接收到备主切换指令的时间，计算两者的时间差，即为所述服务时间 段，即在所述服务时间段内记录有备生产系统在服务时间段产生相应的服务 数据。

步骤S62、将新的备数据从所述备Hadoop集群同步至所述主Hadoop集 群，生成同步后的主数据。

应当理解的是，在接收到备主切换指令时，需要进行从备生产系统至主 生产系统的数据同步操作，则将新的备数据从所述备Hadoop集群同步至所述 主Hadoop集群，生成同步后的主数据。

进一步地，所述步骤S62具体包括以下步骤：

将新的备数据从第二HBase组件实时同步至第一HBase组件；

清空第一Redis组件的数据，将第二Redis组件的数据拷贝至第一Redis 组件；

检测到第二Kafka组件的消费动作完成后，将第一Kafka组件和第二 Kafka组件对应的存储目录中topic目录均删除重建。

在具体实现中，因为数据一致性的要求，从备生产系统切换到主生产系 统时需要数据的反向同步，即将备生产系统服务期间的数据同步到主生产系 统的Hadoop集群中；根据组件特点，对Hbase进行反向同步的实现方案是记 录从主切换到备的时间，并记录从备切换到主预切换的时间，进行这个时间 段的数据拷贝，同时在开启预切换时同步开启从备HBase到主HBase的实时 同步；对Redis的反向同步方案是清空主Redis数据，直接进行从备Redis到 主Redis的数据拷贝；对Kafka的同步方案是检测备Kafka消息消费完成后主 备Kafka对应存储目录topic均删除重建。

本实施例通过上述方案，通过记录所述主生产系统切换到所述备生产系 统的结束时间；记录接收到备主切换指令的时间，并将接收到备主切换指令 的时间作为开始时间；将所述开始时间和所述结束时间之间的时间段作为服 务时间段。在接收到备主切换指令时，将备生产系统在服务时间段产生的服 务数据和所述备Hadoop集群的原有的备数据进行整合，形成新的备数据；将 新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，生成同步后的 主数据；将新的备数据从第二HBase组件实时同步至第一HBase组件；清空 第一Redis组件的数据，将第二Redis组件的数据拷贝至第一Redis组件；检 测到第二Kafka组件的消费动作完成后，将第一Kafka组件和第二Kafka组 件对应的存储目录中topic目录均删除重建；在双Hadoop集群间实现存储组 件(HBase、Kafka、Redis)的数据实时同步，并在保证数据一致性的基础上， 实现两个Hadoop集群对外服务的双向快速切换，大大提升整个软件系统的可 用性，增强其实时服务的保证能力。同时，在线数据处理集群和离线分析集 群可以进行分离，规避了单一集群可靠性不足的问题。

本发明进一步提供一种大数据软件系统切换系统。

参照图5，图5为本发明大数据软件系统切换系统第一实施例的功能模 块图。

本发明大数据软件系统切换系统第一实施例中，该大数据软件系统切换 系统包括：

偏移量存储模块10，用于在接收到主备切换指令时，将主Hadoop集群 的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件。

数据同步模块20，于将所述主Hadoop集群的第一HBase组件的开源数 据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis 组件的存储数据同步至所述备Hadoop集群的第二Redis组件。

检测数据模块30，用于将所述主Hadoop集群的开源数据与存储数据的 集合作为所述主Hadoop集群的主数据，将所述备Hadoop集群同步后的开源 数据与存储数据的集合作为所述备Hadoop集群的备数据，检测所述主数据与 所述备数据是否一致。

切换模块40，用于在所述主数据和所述备数据一致时，进行主生产系统 到备生产系统的切换操作；其中，所述主Hadoop集群属于所述主生产系统， 所述备Hadoop集群属于所述备生产系统。

需要说明的是，所述主备切换指令即为由主生产系统切换到备生产系统 的切换指令，所述主生产系统除了包含Hadoop集群外还可以包含应用集群， 所述应用集群包含各种应用程序，通过结合应用集群与Hadoop集群能够实现 生产系统的正常工作及运转。

可以理解的是，终端设备在接收到主备切换指令时，将主Hadoop集群的 第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件，即将 应用消费Kafka的偏移量保存在同生产系统的Redis组件中，通过Redis的实 时同步完成偏移量的同步。

应当理解的是，将所述主生产系统切换到备生产系统需要将两者的数据 同步，同步的过程可以是将所述主Hadoop集群的第一HBase组件的开源数 据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis 组件的存储数据同步至所述备Hadoop集群的第二Redis组件，即通过HBase 组件和Redis组件实现主Hadoop集群和备Hadoop集群的数据同步。

可以理解的是，通过HBase组件和Redis组件将数据从所述主Hadoop 集群同步至所述备Hadoop集群之后，需要验证所述主Hadoop集群的主数据 和所述备Hadoop集群的备数据的数据一致性，进而为后续切换操作做准备。

应当理解的是，在所述主数据和所述备数据一致时，进行主生产系统到 备生产系统的切换操作；而在所述主数据和所述备数据不一致时，则继续进 行数据同步操作，直至数据完全一致后再进行主生产系统到备生产系统的切 换操作，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集群属于 所述备生产系统，即所述主生产系统中包含主Hadoop集群，所述备生产系统 中包含备Hadoop集群，即所述主生产系统通过主Hadoop集群实现分布式数 据存储管理，所述备生产系统通过备Hadoop集群实现分布式数据存储管理。

本实施例通过上述方案，通过终端设备在接收到主备切换指令时，将主 Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一 Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据同步至备 Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储 数据同步至所述备Hadoop集群的第二Redis组件；将所述主Hadoop集群的 开源数据与存储数据的集合作为所述主Hadoop集群的主数据，将所述备 Hadoop集群同步后的开源数据与存储数据的集合作为所述备Hadoop集群的 备数据，检测所述主数据与所述备数据是否一致；在所述主数据和所述备数 据一致时，进行主生产系统到备生产系统的切换操作；其中，所述主Hadoop 集群属于所述主生产系统，所述备Hadoop集群属于所述备生产系统，在双 Hadoop集群间实现存储组件(HBase、Kafka、Redis)的数据实时同步，并 在保证数据一致性的基础上，实现两个Hadoop集群对外服务的双向快速切 换，大大提升整个软件系统的可用性，增强其实时服务的保证能力。同时， 在线数据处理集群和离线分析集群可以进行分离，规避了单一集群可靠性不 足的问题。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有大数 据软件系统切换程序，所述大数据软件系统切换程序被处理器执行时实现如 下操作：

终端设备在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件 的偏移量保存至所述主Hadoop集群的第一Redis组件；

将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集 群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至 所述备Hadoop集群的第二Redis组件；

将所述主Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop 集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数据的集合 作为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；

在所述主数据和所述备数据一致时，进行主生产系统到备生产系统的切 换操作；其中，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集 群属于所述备生产系统。

进一步地，所述大数据软件系统切换程序被处理器执行时还实现如下操 作：

实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切 换请求时，确定当前切换请求为主备切换指令。

进一步地，所述大数据软件系统切换程序被处理器执行时还实现如下操 作：

实时监测备生产系统的第二外部接口，在检测到所述第二外部接口有切 换请求时，确定当前切换请求为备主切换指令；

在接收到备主切换指令时，将所述备数据从所述备生产系统同步至所述 主生产系统，生成同步后的主数据；

将所述备数据与同步后的主数据进行比较，在所述备数据与同步后的主 数据一致时，进行所述备生产系统到所述主生产系统的切换操作。

进一步地，所述大数据软件系统切换程序被处理器执行时还实现如下操 作：

在接收到备主切换指令时，将备生产系统在服务时间段产生的服务数据 和所述备Hadoop集群的原有的备数据进行整合，形成新的备数据；

将新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，生成同 步后的主数据。

进一步地，所述大数据软件系统切换程序被处理器执行时还实现如下操 作：

将新的备数据从第二HBase组件实时同步至第一HBase组件；

清空第一Redis组件的数据，将第二Redis组件的数据拷贝至第一Redis 组件；

检测到第二Kafka组件的消费动作完成后，将第一Kafka组件和第二Kafka组件对应的存储目录中topic目录均删除重建。

进一步地，所述大数据软件系统切换程序被处理器执行时还实现如下操 作：

记录所述主生产系统切换到所述备生产系统的结束时间；

记录接收到备主切换指令的时间，并将接收到备主切换指令的时间作为 开始时间；

将所述开始时间和所述结束时间之间的时间段作为服务时间段。

进一步地，所述大数据软件系统切换程序被处理器执行时还实现如下操 作：

当检测到所述主生产系统存在正在进行的对外服务时，将所述对外服务 产生的数据并入到所述主数据中，并将新的主数据从所述主Hadoop集群实时 同步到所述备Hadoop集群。

本实施例通过上述方案，通过在接收到主备切换指令时，将主Hadoop 集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件； 将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的 第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所 述备Hadoop集群的第二Redis组件；将所述主Hadoop集群的开源数据与存 储数据的集合作为所述主Hadoop集群的主数据，将所述备Hadoop集群同步 后的开源数据与存储数据的集合作为所述备Hadoop集群的备数据，检测所述 主数据与所述备数据是否一致；在所述主数据和所述备数据一致时，进行主 生产系统到备生产系统的切换操作；其中，所述主Hadoop集群属于所述主生 产系统，所述备Hadoop集群属于所述备生产系统，在双Hadoop集群间实现 存储组件(HBase、Kafka、Redis)的数据实时同步，并在保证数据一致性的 基础上，实现两个Hadoop集群对外服务的双向快速切换，大大提升整个软件 系统的可用性，增强其实时服务的保证能力。同时，在线数据处理集群和离线分析集群可以进行分离，规避了单一集群可靠性不足的问题。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者 系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包 括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况 下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方 法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种大数据软件系统切换方法，其特征在于，所述大数据软件系统切换方法包括：

在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件；

将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所述备Hadoop集群的第二Redis组件；

将所述主Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；

在所述主数据和所述备数据一致时，进行主生产系统到备生产系统的切换操作；其中，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集群属于所述备生产系统。

2.如权利要求1的大数据软件系统切换方法，其特征在于，所述在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件之前，所述大数据软件系统切换方法还包括：

实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切换请求时，确定当前切换请求为主备切换指令。

3.如权利要求2所述的大数据软件系统切换方法，其特征在于，所述实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切换请求时，确定当前切换请求为主备切换指令之后，所述大数据软件系统切换方法还包括：

实时监测备生产系统的第二外部接口，在检测到所述第二外部接口有切换请求时，确定当前切换请求为备主切换指令；

在接收到备主切换指令时，将所述备数据从所述备生产系统同步至所述主生产系统，生成同步后的主数据；

将所述备数据与同步后的主数据进行比较，在所述备数据与同步后的主数据一致时，进行所述备生产系统到所述主生产系统的切换操作。

4.如权利要求3所述的大数据软件系统切换方法，其特征在于，所述在接收到备主切换指令时，将所述备数据从所述备生产系统同步至所述主生产系统，生成同步后的主数据，具体包括：

在接收到备主切换指令时，将备生产系统在服务时间段产生的服务数据和所述备Hadoop集群的原有的备数据进行整合，形成新的备数据；

将新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，生成同步后的主数据。

5.如权利要求4所述的大数据软件系统切换方法，其特征在于，所述将新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，具体包括：

将新的备数据从第二HBase组件实时同步至第一HBase组件；

清空第一Redis组件的数据，将第二Redis组件的数据拷贝至第一Redis组件；

检测到第二Kafka组件的消费动作完成后，将第一Kafka组件和第二Kafka组件对应的存储目录中topic目录均删除重建。

6.如权利要求5所述的大数据软件系统切换方法，其特征在于，所述在接收到备主切换指令时，将备生产系统在服务时间段产生的服务数据和所述备Hadoop集群的原有的备数据进行整合，形成新的备数据之前，所述大数据软件系统切换方法还包括：

记录所述主生产系统切换到所述备生产系统的结束时间；

记录接收到备主切换指令的时间，并将接收到备主切换指令的时间作为开始时间；

将所述开始时间和所述结束时间之间的时间段作为服务时间段。

7.如权利要求1-6中任一项所述的大数据软件系统切换方法，其特征在于，所述在所述主数据和所述备数据一致时，进行主生产系统到备生产系统的切换操作之前，所述大数据软件系统切换方法还包括：

当检测到所述主生产系统存在正在进行的对外服务时，将所述对外服务产生的数据并入到所述主数据中，并将新的主数据从所述主Hadoop集群实时同步到所述备Hadoop集群。

8.一种大数据软件系统切换系统，其特征在于，所述大数据软件系统切换系统包括：

偏移量存储模块，用于在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件；

数据同步模块，用于将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所述备Hadoop集群的第二Redis组件；

检测数据模块，用于将所述主Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；

切换模块，用于在所述主数据和所述备数据一致时，进行主生产系统到备生产系统的切换操作；其中，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集群属于所述备生产系统。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据软件系统切换程序，所述大数据软件系统切换程序配置为实现如权利要求1至7中任一项所述的大数据软件系统切换方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有大数据软件系统切换程序，所述大数据软件系统切换程序被处理器执行时实现如权利要求1至7中任一项所述的大数据软件系统切换方法的步骤。