CN112948344A - 基于hdfs技术的数据库备份的服务器及系统 - Google Patents

Abstract

本发明提供一种基于HDFS技术的数据库备份的服务器及系统，包括：主数据库服务器，用于管理数据库；从数据库服务器，用于对所述主数据库服务器中的数据库进行备份，包括：分割模块，用于将备份的数据库分割为若干子数据库；若干生成模块，每一个生成模块对应管理一个子数据库，并为对应的子数据库生成数据库散列表，数据库散列表在分割模块分割出子数据库时生成，并且在子数据库更新时同步更新；处理模块，用于统一管理数据库散列表，并且基于子数据库中的数据制定划分策略，通知与该子数据库对应的生成模块，以使生成模块基于划分策略为与该子数据库对应的数据库散列表进一步细分为子数据库散列表。该系统均衡高负荷访问量，提高数据处理能力。

Description

基于HDFS技术的数据库备份的服务器及系统

技术领域

本发明涉及服务器领域，尤其涉及基于HDFS技术的数据库备份的服务器及系统。

背景技术

目前，大型系统都有复杂的应用，这些应用需要使用数据库，数据库作为信息系统的核心担当着重要的角色。那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，并且一些重要的数据对数据库的可靠性要求很高，因此对数据库的备份，满足大量访问需求成为研究的目标和方向。

发明内容

有鉴于此，本发明提供一种基于HDFS技术的数据库备份的服务器及系统，以解决数据库可靠性不高，并且能够满足大量访问需求的问题。

本申请的一些实施方式提供了一种基于HDFS技术的数据库备份的服务器及系统。以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。

第一方面，本发明提供一种基于HDFS技术的数据库备份系统，包括：

主数据库服务器，用于管理数据库；

从数据库服务器，用于对所述主数据库服务器中的数据库进行备份，包括：

分割模块，所述分割模块用于将备份的所述数据库分割为若干子数据库；

若干生成模块，每一个所述生成模块对应管理一个所述子数据库，并为对应的子数据库生成数据库散列表，所述数据库散列表在所述分割模块分割出所述子数据库时生成，并且在所述子数据库更新时同步更新；

处理模块，用于统一管理所述数据库散列表，并且基于子数据库中的数据制定划分策略，通知与该子数据库对应的生成模块，以使所述生成模块基于所述划分策略为与该子数据库对应的所述数据库散列表进一步细分为子数据库散列表。

根据本发明的一个实施例，所述处理模块基于所述子数据库中的数据制定划分策略，包括：

所述处理模块基于所述子数据库中的用户数据对不同级别的用户进行划分，筛选出符合级别数的用户ID。

根据本发明第一方面的一个实施例，所述生成模块基于所述划分策略为与该子数据库对应的所述数据库散列表进一步细分为子数据库散列表，包括：

所述生成模块根据筛选出符合级别数的用户ID为生成用户表。

根据本发明第一方面的一个实施例，所述从数据库服务器还包括：

压缩模块，所述压缩模块用于将所述主数据库服务器中的数据库备份后进行压缩。

根据本发明第一方面的一个实施例，所述从数据库服务器采用PCIe系列高速缓存系统。

根据本发明第一方面的一个实施例，所述主数据库服务器与所述从数据库服务器通过心跳线连接，所述处理模块还用于监测所述主数据库服务器，当监测到所述主数据库服务器出现故障，则从数据库服务器作为备用服务器投入使用。

根据本发明第一方面的一个实施例，所述故障包括：所述主数据库服务器电源失效、主要部件失效、启动盘失效中的一种或多种。

第二方面，本申请还公开一种基于HDFS技术的数据库备份的服务器，包括：

分割模块，所述分割模块用于将备份的所述数据库分割为若干子数据库；

若干生成模块，每一个所述生成模块对应管理一个所述子数据库，并为对应的子数据库生成数据库散列表，所述数据库散列表在所述分割模块分割出所述子数据库时生成，并且在所述子数据库更新时同步更新；

处理模块，用于统一管理所述数据库散列表，并且基于子数据库中的数据制定划分策略，通知与该子数据库对应的生成模块，以使所述生成模块基于所述划分策略为与该子数据库对应的所述数据库散列表进一步细分为子数据库散列表。

根据本发明第二方面的一个实施例，所述处理模块基于所述子数据库中的数据制定划分策略，包括：

所述处理模块基于所述子数据库中的用户数据对不同级别的用户进行划分，筛选出符合级别数的用户ID。

根据本发明第二方面的一个实施例，所述生成模块基于所述划分策略为与该子数据库对应的所述数据库散列表进一步细分为子数据库散列表，包括：

所述生成模块根据筛选出符合级别数的用户ID为生成用户表。第二方面，本申请还提供一种电子设备，包括：处理器；和全闪存阵列高性能存储系统，其中，全闪存阵列高性能存储系统为第一方面实施例的系统。

本发明的上述技术方案至少具有如下有益效果之一：

根据本申请实施例的基于HDFS技术的数据库备份的服务器，能够确保数据的安全和可靠性，并且可以均衡主数据库的高负荷访问量，便于查询，提高访问速度，从而提高数据处理性能。

附图说明

图1为本发明一个实施例的基于HDFS技术的数据库备份系统的结构示意图；

图2为本发明一个实施例的服务器的备份过程的流程图；

图3为本发明一个实施例的基于HDFS技术的数据库备份的服务器；

图4为本发明一个实施例的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本申请的数据库备份系统进行描述。

参考图1，图1示出了数据库备份系统的结构示意图。该系统包括：主数据库服务器110和从数据库服务器120。其中，主数据库服务器110用于维护数据库。例如，主数据库服务器110中可以对数据库进行编辑、修改、增加、删除数据库元素。其中，数据库可以是文件信息数据库、图片数据库等一个或多个。从数据库服务器120用于对主数据库服务器110中的数据库进行备份。当主数据库服务器110出现故障时，例如，访问量过高，对于主数据库来说负载超过设定可承载的80％负载时，此时，从数据库服务器120可以作为备用服务器投入使用，从而确保数据的安全和可靠性，并且可以均衡主数据库的高负荷访问量的问题。

在本发明的一个实施例中，主数据库服务器与所述从数据库服务器之间采用心跳线heartbeat的实时灾难应对方案。从数据库服务器对主数据库服务器实时进行监测，当主数据库服务器出现故障，例如，主数据库服务器电源失效、主要部件失效、启动盘失效等故障时，从数据库服务器作为备用的服务器替代主数据库投入使用，从而可以有效避免数据的丢失，确保数据安全。

下面将结合附图对本申请实施例的基于HDFS技术的数据库备份的服务器的备份过程进行详细描述。

参考图2，图2示出了服务器的备份过程的流程图。如图2所示，该流程图包括：

S210，获取需要备份的数据库。例如，从数据库服务器从主数据库服务器获取需要备份的数据库，对该数据库进行备份。

S220，将备份的所述数据库分割为若干子数据库。例如，可根据数据量的大小进行分割，或者按照详细的类进行分割，例如，按照图片分类、按照文件分类等，对数据库进行详细的划分。

S230，为对应的子数据库生成数据库散列表。具体的数据库散列表可以在服务器分割出所述子数据库时生成，并且在所述子数据库更新时同步更新，以使得每一个子数据库都能够拥有数据库散列表，当服务器接收到查询任务时，能够通过数据库散列表及时的找到对应的数据地址，从而提高查询的效率。便于对数据库的统一管理。

S240，基于划分策略为与该子数据库对应的数据库散列表进一步细分为子数据库散列表。例如，服务器基于所述子数据库中的用户数据对不同级别，例如，根据用户使用情况，或者运营商依据付费情况确定的用户的优先级，对用户进行划分，筛选出符合级别数的用户ID。在基于筛选出的符合级别数的用户ID对所述数据库散列表进一步细分成多个子数据库散列表，例如用户表。从而更加细化数据库内的数据，便于对数据的统一管理，实现不同用户的使用体验。

参考图3，图3示出了基于HDFS技术的数据库备份的服务器的结构图，服务器100包括：分割模块310、若干生成模块320和处理模块330。

其中，分割模块310用于将备份的数据库分割为若干子数据库，每一个生成模块320对应管理一个子数据库，并为对应的子数据库生成数据库散列表，数据库散列表在分割模块310分割出子数据库时生成，并且在子数据库更新时同步更新。处理模块330用于统一管理数据库散列表，并且基于子数据库中的数据制定划分策略，通知与该子数据库对应的生成模块，以使生成模块310基于划分策略为与该子数据库对应的数据库散列表进一步细分为子数据库散列表。

根据本申请实施例的服务器100，能够作为备份投入使用，确保数据的安全。并且对数据库进行统一分类管理，更有利于对数据的查询和访问，避免过载访问量。

在本发明的一个实施例中，处理模块330基于子数据库中的用户数据对不同级别的用户进行划分，筛选出符合级别数的用户ID。

在本发明的一个实施例中，生成模块320根据筛选出符合级别数的用户ID为生成用户表。

在本发明的一个实施例中，服务器100还包括压缩模块340，压缩模块340用于将主数据库服务器中的数据库备份后进行压缩。

在本发明的一个实施例中，服务器还可以包括通信模块，与Web端通信，以实现用户通过Web端对数据库进行建立，扩展等。便于用于使用。

根据本申请实施例的基于HDFS技术的数据库备份的服务器100，确保数据的安全和可靠性，并且可以均衡主数据库的高负荷访问量，便于查询，提高访问速度，从而提高数据处理性能。

参考图4，图4所示为根据本申请的一个实施例的设备1200的框图。设备1200可以包括耦合到控制器中枢1203的一个或多个处理器1201。对于至少一个实施例，控制器中枢1203经由诸如前端总线(Front Side Bus，FSB)之类的多分支总线、诸如快速通道互连(Quick Path Interconnect，QPI)之类的点对点接口、或者类似的连接1206与处理器1201进行通信。处理器1201执行控制一般类型的数据处理操作的指令。在一实施例中，控制器中枢1203包括，但不局限于，图形存储器控制器中枢(Graphics Memory Controller Hub，GMCH)(未示出)和输入/输出中枢(Input Output Hub，IOH)(其可以在分开的芯片上)(未示出)，其中GMCH包括存储器和图形控制器并与IOH耦合。

设备1200还可包括耦合到控制器中枢1203的协处理器1202和存储器1204。或者，存储器和GMCH中的一个或两者可以被集成在处理器内(如本申请中所描述的)，存储器1204和协处理器1202直接耦合到处理器1201以及控制器中枢1203，控制器中枢1203与IOH处于单个芯片中。存储器1204可以是例如动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、相变存储器(Phase Change Memory，PCM)或这两者的组合。在一个实施例中，协处理器1202是专用处理器，诸如例如高吞吐量MIC处理器(Many Integerated Core，MIC)、网络或通信处理器、压缩引擎、图形处理器、通用图形处理器(General PurposeComputing on GPU，GPGPU)、或嵌入式处理器等等。协处理器1202的任选性质用虚线表示在图4中。

存储器1204作为计算机可读存储介质，可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。例如，存储器1204可以包括闪存等任何合适的非易失性存储器和/或任何合适的非易失性存储设备，例如一个或多个硬盘驱动器(Hard-Disk Drive，HDD(s))，一个或多个光盘(Compact Disc，CD)驱动器，和/或一个或多个数字通用光盘(Digital Versatile Disc，DVD)驱动器。

在一个实施例中，设备1200可以进一步包括网络接口(Network InterfaceController，NIC)1206。网络接口1206可以包括收发器，用于为设备1200提供无线电接口，进而与任何其他合适的设备(如前端模块，天线等)进行通信。在各种实施例中，网络接口1206可以与设备1200的其他组件集成。网络接口1206可以实现上述实施例中的通信单元的功能。

设备1200可以进一步包括输入/输出(Input/Output，I/O)设备1205。I/O1205可以包括：用户界面，该设计使得用户能够与设备1200进行交互；外围组件接口的设计使得外围组件也能够与设备1200交互；和/或传感器设计用于确定与设备1200相关的环境条件和/或位置信息。

值得注意的是，图4仅是示例性的。即虽然图4中示出了设备1200包括处理器1201、控制器中枢1203、存储器1204等多个器件，但是，在实际的应用中，使用本申请各方法的设备，可以仅包括设备1200各器件中的一部分器件，例如，可以仅包含处理器1201和NIC1206。图4中可选器件的性质用虚线示出。

根据本申请的一些实施例，作为计算机可读存储介质的存储器1204上存储有指令，该指令在计算机上执行时使系统1200执行根据上述实施例中的图2所示的方法，具体可参照上述实施例的方法，在此不再赘述。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种基于HDFS技术的数据库备份系统，其特征在于，包括：

主数据库服务器，用于管理数据库；

从数据库服务器，用于对所述主数据库服务器中的数据库进行备份，包括：

分割模块，所述分割模块用于将备份的所述数据库分割为若干子数据库；

若干生成模块，每一个所述生成模块对应管理一个所述子数据库，并为对应的子数据库生成数据库散列表，所述数据库散列表在所述分割模块分割出所述子数据库时生成，并且在所述子数据库更新时同步更新；

处理模块，用于统一管理所述数据库散列表，并且基于所述子数据库中的数据制定划分策略，通知与该子数据库对应的生成模块，以使所述生成模块基于所述划分策略将与该子数据库对应的所述数据库散列表进一步细分成多个子数据库散列表。

2.根据权利要求1所述的系统，其特征在于，所述处理模块基于所述子数据库中的数据制定划分策略，包括：

所述处理模块基于所述子数据库中的用户数据对不同级别的用户进行划分，筛选出符合级别数的用户ID。

3.根据权利要求2所述的系统，其特征在于，所述生成模块基于所述划分策略将与该子数据库对应的所述数据库散列表进一步细分成多个子数据库散列表，包括：

所述生成模块根据筛选出符合级别数的用户ID为生成用户表。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述从数据库服务器还包括：

压缩模块，所述压缩模块用于将所述主数据库服务器中的数据库备份后进行压缩。

5.根据权利要求1所述的系统，其特征在于，所述从数据库服务器采用PCIe系列高速缓存系统。

6.根据权利要求1所述的系统，所述主数据库服务器与所述从数据库服务器通过心跳线连接，

所述处理模块还用于监测所述主数据库服务器，当监测到所述主数据库服务器出现故障，则从数据库服务器作为备用服务器投入使用。

7.根据权利要求6所述的系统，其特征在于，所述故障包括：所述主数据库服务器负载超过预设值、电源失效、主要部件失效、启动盘失效中的一种或多种。

8.一种基于HDFS技术的数据库备份的服务器，其特征在于，包括：

分割模块，所述分割模块用于将备份的所述数据库分割为若干子数据库；

若干生成模块，每一个所述生成模块对应管理一个所述子数据库，并为对应的子数据库生成数据库散列表，所述数据库散列表在所述分割模块分割出所述子数据库时生成，并且在所述子数据库更新时同步更新；

处理模块，用于统一管理所述数据库散列表，并且基于子数据库中的数据制定划分策略，通知与该子数据库对应的生成模块，以使所述生成模块基于所述划分策略将与该子数据库对应的所述数据库散列表进一步细分成多个子数据库散列表。

9.根据权利要求8所述的服务器，其特征在于，所述处理模块基于所述子数据库中的数据制定划分策略，包括：

所述处理模块基于所述子数据库中的用户数据对不同级别的用户进行划分，筛选出符合级别数的用户ID。

10.根据权利要求9所述的服务器系统，其特征在于，所述生成模块基于所述划分策略为与该子数据库对应的所述数据库散列表进一步细分为子数据库散列表，包括：

所述生成模块根据筛选出符合级别数的用户ID为生成用户表。

Images