CN115098473A - 数据库的增量数据迁移方法、装置、电子设备及存储介质 - Google Patents

数据库的增量数据迁移方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115098473A
CN115098473A CN202210826726.5A CN202210826726A CN115098473A CN 115098473 A CN115098473 A CN 115098473A CN 202210826726 A CN202210826726 A CN 202210826726A CN 115098473 A CN115098473 A CN 115098473A
Authority
CN
China
Prior art keywords
incremental data
migrated
database
hbase
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210826726.5A
Other languages
English (en)
Inventor
黄立
蓝文良
吴志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan New Energy Automobile Technology Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210826726.5A priority Critical patent/CN115098473A/zh
Publication of CN115098473A publication Critical patent/CN115098473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本申请涉及Hbase数据库技术领域，特别涉及一种数据库的增量数据迁移方法、装置、电子设备及存储介质，其中，方法包括：获取源集群数据库的待迁移增量数据；将待迁移增量数据存放至待迁移增量数据的增量数据目录上，并将待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；根据目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将HFile文件加载至目标集群数据库的hbase表中。由此，解决了相关技术中调用Hbase的Put Api进行处理，会给HbaseRegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机等问题。

Description

数据库的增量数据迁移方法、装置、电子设备及存储介质
技术领域
本申请涉及Hbase数据库技术领域，特别涉及一种数据库的增量数据迁移方法方法、装置、电子设备及存储介质。
背景技术
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库，企业通常基于Hbase构建面向用户的高并发读写业务，随着云原生技术的发展，企业的IT架构从单一的私有云架构往由公有云和私有云组成的混合云架构迈进，其中，Hbase组件在公有云和私有云上均有部署，公有云部分承担热数据的存储和查询，私有云承担数据备份和冷数据查询业务。
相关技术中，待写入的数据位于HDFS上，业务需要定期将这部分海量数据导入Hbase中，以执行随机查询更新操作，此时如果调用Hbase的Put Api进行处理，会给HbaseRegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机。
发明内容
本申请提供一种数据库的增量数据迁移方法、装置、电子设备及存储介质，以解决相关技术中调用Hbase的Put Api进行处理，会给Hbase RegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机等问题。
本申请第一方面实施例提供一种数据库的增量数据迁移方法，包括以下步骤：获取源集群数据库的待迁移增量数据；将所述待迁移增量数据存放至所述待迁移增量数据的增量数据目录上，并将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将所述HFile文件加载至所述目标集群数据库的hbase表中。
根据上述技术手段，本申请实施例可以通过获取源集群数据库的待迁移增量数据并将其存放在待迁移增量数据的增量数据目录上，然后同步值目标集群数据库的增量数据目录上，最终生成HFile文件并将其加载值目标集群数据库的hbase表中，实现增量数据从公有云Hbase迁移到私有云Hbase，从而可以有效避免在增量数据写入目标Hbase集群的过程中宕机和性能降低问题，保证Hbase集群稳定的情况下加速增量数据接入。
可选地，所述根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，包括：对所述待迁移增量数据进行抽取、转换和加载操作，得到所述目标集群数据库的hbase表的HFile文件。
根据上述技术手段，本申请实施例通过对目标集群数据库的增量数据目录的待迁移增量数据进行抽取、转换和加载操作，得到目标集群数据库的hbase表的HFile文件，避免大批量数据直接写入Hbase造成的Hbase节点宕机问题。
可选地，所述将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上，包括：压缩所述待迁移增量数据，得到压缩数据；将所述压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
根据上述技术手段，本申请实施例可以通过压缩待迁移增量数据的增量数据目录上的待迁移增量数据，将压缩数据同步至目标集群数据库的增量数据目录上，并在同步过程中跳过循环冗余校验，提高了工作效率、节省时间并提供了稳定高效的混合云hbase集群增量数据同步能力。
可选地，所述获取源集群数据库的待迁移增量数据，包括：利用Export工具从所述源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在所述统计数量大于导出数量阈值时，停止增量数据的导出，得到所述待迁移增量数据。
根据上述技术手段，本申请实施例利用Export工具从源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量，当统计数量大于导出数量阈值，停止增量数据的导出，得到待迁移增量数据，保证读取hbase增量数据的效率。
本申请第二方面实施例提供一种数据库的增量数据迁移装置，包括：获取模块，用于获取源集群数据库的待迁移增量数据；同步模块，用于将所述待迁移增量数据存放至所述待迁移增量数据的增量数据目录上，并将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；迁移模块，用于根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将所述HFile文件加载至所述目标集群数据库的hbase表中。
可选地，所述迁移模块用于：对所述待迁移增量数据进行抽取、转换和加载操作，得到所述目标集群数据库的hbase表的HFile文件。
可选地，所述同步模块用于：压缩所述待迁移增量数据，得到压缩数据；将所述压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
可选地，所述获取模块用于：利用Export工具从所述源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在所述统计数量大于导出数量阈值时，停止增量数据的导出，得到所述待迁移增量数据。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的数据库的增量数据迁移方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的数据库的增量数据迁移方法。
由此，本申请至少具有如下有益效果：
(1)本申请实施例可以通过获取源集群数据库的待迁移增量数据并将其存放在待迁移增量数据的增量数据目录上，然后同步值目标集群数据库的增量数据目录上，最终生成HFile文件并将其加载值目标集群数据库的hbase表中，实现增量数据从公有云Hbase迁移到私有云Hbase，实现了在增量数据写入目标Hbase集群的过程中规避了宕机和性能降低问题，保证Hbase集群稳定的情况下加速增量数据接入。
(2)本申请实施例通过对目标集群数据库的增量数据目录的待迁移增量数据进行抽取、转换和加载操作，得到目标集群数据库的hbase表的HFile文件，避免大批量数据直接写入Hbase造成的Hbase节点宕机问题。
(3)本申请实施例可以通过压缩待迁移增量数据的增量数据目录上的待迁移增量数据，将压缩数据同步至目标集群数据库的增量数据目录上，并在同步过程中跳过循环冗余校验，提高了工作效率、节省时间并提供了稳定高效的混合云hbase集群增量数据同步能力。
(4)本申请实施例利用Export工具从源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量，当统计数量大于导出数量阈值，停止增量数据的导出，得到待迁移增量数据，保证读取hbase增量数据的效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例的数据库的增量数据迁移方法的流程图；
图2为根据本申请实施例的数据库的增量数据迁移方法的系统框架图；
图3为根据本申请实施例的数据库的增量数据迁移方法的数据目录规划图；
图4为根据本申请实施例的数据库的增量数据迁移方法的同步工作流构建示例图；
图5为根据本申请实施例的数据库的增量数据迁移方法的hbase宕机示例图；
图6为根据本申请实施例的数据库的增量数据迁移装置的示例图；
图7为根据本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
HBase(分布式存储系统)是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库，企业通常基于Hbase构建面向用户的高并发读写业务，随着云原生技术的发展，企业的IT(Internet Technology，互联网技术)架构从单一的私有云架构往由公有云和私有云组成的混合云架构迈进，其中，Hbase组件在公有云和私有云上均有部署，公有云部分承担热数据的存储和查询，私有云承担数据备份和冷数据查询业务，在混合云架构下，如何将公有云Hbase集群每天的增量数据迁移到私有云Hbase集群是构建稳定高效的Hbase查询服务需要解决的首要问题。
混合云Hbase增量数据迁移业务场景可以抽象为Hbase大批量数据写入场景：待写入的数据位于HDFS上，业务需要定期将这部分海量数据导入Hbase中，以执行随机查询更新操作，在这种场景下如果调用Hbase的Put Api进行处理，极有可能给Hbase RegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机，该方案存在以下问题：
(1)引起RegionServer频繁大GC，导致RegionServer节点宕机；
(2)引起ReigonServer频繁flush，进而不断压缩、分裂，影响集群稳定性；
(3)消耗Hbase集群大量的CPU(Central Processing Unit/Processor，中央处理器)磁盘、带宽资源、内存资源及IO(Input/Output,输入/输出)资源，与其他业务产生资源竞争。
Hbase的大批量数据写入场景一般会舍弃Put Api的方案而采用Bulkload方案，Bulkload使用MapReduce将待写入集群的数据转换为HFile文件，再直接将生成好的HFile文件加载到在线集群中，Bulkload方案没有将数据的写请求发送给RegionServer处理，可以有效避免使用Put Api带来的集群稳定性问题。
相关技术中，采用HDFS DistCp同步工具直接拷贝源集群中Hbase表HFile到目标集群Hbase表存储目录，再修复目标集群Hbase表元数据的数据迁移方法，该方法采用直接同步Hbase底层数据文件的方式，避免了调用Hbase Put Api的计算资源消耗问题，但依旧会面临如下问题：
(1)仅适用于Hbase全表迁移的场景，不适宜Hbase的增量同步场景；
(2)每次都进行Hbase的全表备份，会消耗大量的公有云到私有云的专线带宽资源，成本高昂。
下面参考附图描述本申请实施例的数据库的增量数据迁移方法、装置、电子设备及存储介质。具体而言，图1为本申请实施例所提供的一种数据库的增量数据迁移方法的流程示意图。
如图1所示，该数据库的增量数据迁移方法包括以下步骤：
在步骤S101中，获取源集群数据库的待迁移增量数据。
其中，源集群数据库是指直接提供原始信息资料或具体数据的数据库，待迁移增量数据是指在数据在迁移但还未迁移成功的过程中原数据库在一定时间内产生的增量数据。
可以理解的是，本申请实施例可以通过获取源集群数据库的待迁移增量数据，防止数据的遗漏，为迁移出增量数据做准备。
在本申请实施例中，获取源集群数据库的待迁移增量数据，包括：利用Export工具从源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在统计数量大于导出数量阈值时，停止增量数据的导出，得到待迁移增量数据。
其中，目标版本的增量数据可以是hbase的最新版本即源Hbase表。
其中，统计数量可以是统计增量数据导出的数量，数量阈值可以是2000次，在此不做具体限定。
可以理解的是，本申请实施例利用Export工具从源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在统计数量大于导出数量阈值时，停止增量数据的导出，得到待迁移增量数据，保证了读取hbase增量数据的效率。
具体地，增量导出模块为了保证读取hbase增量数据的效率，采用hbase提供的Export工具，指定scanner批次大小为2000，仅导出hbase最新版本的数据以减少导出的数据量。
在步骤S102中，将待迁移增量数据存放至待迁移增量数据的增量数据目录上，并将待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上。
其中，增量数据目录可以是源集群HDFS的/tmp/hbase目录，在此不做具体限定例如，目标集群数据库的增量数据目录可以为hdfs://target-cluster:8020/tmp/hbase/hfile/namespace_table/yyyy-MM-dd目录。
可以理解的是，本申请实施例将待迁移增量数据存放至待迁移增量数据的增量数据目录上，并将待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上，保证Hbase集群稳定的情况下增量数据接入。
具体地，数据同步模块将增量导出模块导出的按hbase表按天分区的增量数据采用HDFS DistCp的方式同步到目标集群的HDFS的目录上，其中增量数据放置在源集群HDFS的/tmp/hbase目录下，按照每个待导出的Hbase表的命名空间_表名的方式构建单表，在单表的HDFS目录下可以按天进行目录划分。
在本申请实施例中，将待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上，包括：压缩待迁移增量数据，得到压缩数据；将压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
其中，压缩数据指的是将数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据比特表示信息的过程。
其中，循环冗余校验指的是对通信的可靠性进行检查主要是从数据的本身进行检查，可靠就对数据进行处理，不可靠就丢弃重发或是进行修复，可以是CRC检验。
可以理解的是，本申请实施例将待迁移增量数据的增量数据目录上的待迁移增量数据压缩得到压缩数据，将压缩数据同步至目标集群数据库的增量数据目录上并在同步过程中跳过循环冗余校验，提高了工作效率、节省时间并提供了稳定高效的混合云hbase集群增量数据同步能力。
具体地，数据同步模块将增量导出模块导出的按hbase表按天分区的增量数据采用HDFS DistCp的方式同步到目标集群的HDFS的目录上，其中目标集群的增量数据存储目录和源集群保持一致，为保证跨集群数据同步的效率在执行数据同步的过程中开启Bzip压缩并跳过CRC检验。
在步骤S103中，根据目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将HFile文件加载至目标集群数据库的hbase表中。
其中，HFile指的是HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile。
其中，hbase是一个分布式的、面向列的开源数据库，是一种高可靠性、高性能、可伸缩的分布式存储系统。
可以理解的是，本申请实施例根据目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将HFile文件加载至目标集群数据库的hbase表中，实现了在增量数据写入目标Hbase集群的过程中规避了宕机和性能降低问题，保证Hbase集群稳定的情况下加速增量数据接入。
具体地，使用hbase的LoadIncrementalHFiles组件将生成好的HFile文件在线加载到对应的Hbase表中。
在本申请实施例中，根据目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，包括：对待迁移增量数据进行抽取、转换和加载操作，得到目标集群数据库的hbase表的HFile文件。
其中，抽取、转换和加载操作是指将数据首先进行提取，然后转换为其他格式，最后完成文件的载入。
可以理解的是，本申请实施例对目标集群数据库的增量数据目录的待迁移增量数据进行抽取、转换和加载操作，得到目标集群数据库的hbase表的HFile文件，避免大批量数据直接写入Hbase造成的Hbase节点宕机问题。
具体地，基于MapReduce引擎的HFile生成模块，读取增量数据同步模块同步到目标HDFS集群上的增量数据，将类型为SequenceFile的增量数据文件转为Hbase的HFileOutputFormat2格式数据文件，最后得到目标集群数据库的hbase表的HFile文件。
根据本申请实施例提出的数据库的增量数据迁移方法，该方法利用了Hbase的Export工具完成源集群增量数据扫描，采用HDFS DispCp完成增量数据的跨集群传输，最后使用分布式计算引擎MapReduce将增量数据通过ETL过程转为为Hbase表底层的HFile文件加载到目标集群在线的Hbase表中。由此，解决了相关技术中调用Hbase的Put Api进行处理，会给Hbase RegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机等问题。
下面将以图2所示的系统对数据库的增量数据迁移方法的系统框架进行阐述，其中，系统包括：增量数据导出模块、数据同步模块、HFile生成模块和数据在线加载模块，具体的：
增量数据导出模块主要用于导出源集群需要进行同步的Hbase表的增量数据，将源hbase表的增量数据扫描出来存放在源集群固定的HDFS目录上。
数据同步模块，基于HDFS DistCp实现，用于将源Hbase集群待同步的增量数据同步到目标集群的HDFS指定目录上。
HFile生成模块，基于MapReduce实现，利用MapReduce分布式计算引擎将目标集群的增量数据通过ETL操作生成目标Hbase表的HFile文件。
数据在线加载模块，采用Hbase提供的import hfile工具将HFile生成模块生成好的HFile文件在线加载到目标Hbase表中。
基于上述系统，如图3所示，数据库的增量数据迁移方法的具体流程如下：
系统管理员将增量导出模块、数据同步模块、HFile生成模块和数据在线加载模块以任务节点的方式在大数据分布式调度系统上构建为一个任务流，并配置每日的任务调度周期，调度系统会在每天凌晨定时启动该数据迁移工作流。
增量导出模块为了保证读取hbase增量数据的效率，采用hbase提供的Export工具，指定scanner批次大小为2000，仅导出hbase最新版本的数据以减少导出的数据量，增量数据放置在源集群HDFS的/tmp/hbase目录下，按照每个待导出的Hbase表的命名空间_表名的方式构建单表，在单表的HDFS目录下按天进行目录划分。
数据同步模块将增量导出模块导出的按hbase表按天分区的增量数据采用HDFSDistCp的方式同步到目标集群的HDFS的目录上，其中目标集群的增量数据存储目录和源集群保持一致，为保证跨集群数据同步的效率在执行数据同步的过程中开启Bzip压缩并跳过CRC检验，
HFile生成模块，如图4所示，基于MapReduce计算引擎的HFile生成模块，读取增量数据同步模块同步到目标HDFS集群上的增量数据，将类型为SequenceFile的增量数据文件转为HFileOutputFormat2写出到目标集群的hdfs://target-cluster:8020/tmp/hbase/hfile/namespace_table/yyyy-MM-dd目录下。
数据在线加载模块，使用hbase的LoadIncrementalHFiles组件将生成好的HFile文件在线加载到对应的Hbase表中。
综上，本申请实施例以任务节点的形式挂在大数据离线调度系统上，每天凌晨定时将增量数据从公有云Hbase迁移到私有云Hbase，该方法利用了Hbase的Export工具完成源集群增量数据扫描，采用HDFS DispCp完成增量数据的跨集群传输，最后使用分布式计算引擎MapReduce将增量数据通过ETL过程转为为Hbase表底层的HFile文件加载到目标集群在线的Hbase表中，基于Bulkload的混合云Hbase增量数据迁移方法，可以避免如图5所示的Hbase大批量数据Put造成的RegionServer节点宕机问题和性能降低问题，采用Bulkload方案在保证Hbase集群稳定的情况下加速增量数据接入。
其次参照附图描述根据本申请实施例提出的数据库的增量数据迁移装置。
图6是本申请实施例的数据库的增量数据迁移装置的方框示意图。
如图6所示，该数据库的增量数据迁移装置10包括：获取模块100、同步模块200和迁移模块300。
其中，获取模块100用于获取源集群数据库的待迁移增量数据；同步模块200用于将待迁移增量数据存放至待迁移增量数据的增量数据目录上，并将待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；迁移模块300用于根据目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将HFile文件加载至目标集群数据库的hbase表中。
在本申请实施例中，获取模块100进一步用于：利用Export工具从源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在统计数量大于导出数量阈值时，停止增量数据的导出，得到待迁移增量数据。
在本申请实施例中，同步模块200用于：压缩待迁移增量数据，得到压缩数据；将压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
在本申请实施例中，迁移模块300用于：对待迁移增量数据进行抽取、转换和加载操作，得到目标集群数据库的hbase表的HFile文件。
需要说明的是，前述对数据库的增量数据迁移方法实施例的解释说明也适用于该实施例的数据库的增量数据迁移装置，此处不再赘述。
根据本申请实施例提出的数据库的增量数据迁移装置，该装置利用了Hbase的Export工具完成源集群增量数据扫描，采用HDFS DispCp完成增量数据的跨集群传输，最后使用分布式计算引擎MapReduce将增量数据通过ETL过程转为为Hbase表底层的HFile文件加载到目标集群在线的Hbase表中。由此，解决了相关技术中调用Hbase的Put Api进行处理，会给Hbase RegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机等问题。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的数据库的增量数据迁移方法。
可选地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的数据库的增量数据迁移方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据库的增量数据迁移方法，其特征在于，包括以下步骤：
获取源集群数据库的待迁移增量数据；
将所述待迁移增量数据存放至所述待迁移增量数据的增量数据目录上，并将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；
根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将所述HFile文件加载至所述目标集群数据库的hbase表中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，包括：
对所述待迁移增量数据进行抽取、转换和加载操作，得到所述目标集群数据库的hbase表的HFile文件。
3.根据权利要求1所述的方法，其特征在于，所述将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上，包括：
压缩所述待迁移增量数据，得到压缩数据；
将所述压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述获取源集群数据库的待迁移增量数据，包括：
利用Export工具从所述源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；
在所述统计数量大于导出数量阈值时，停止增量数据的导出，得到所述待迁移增量数据。
5.一种数据库的增量数据迁移装置，其特征在于，包括：
获取模块，用于获取源集群数据库的待迁移增量数据；
同步模块，用于将所述待迁移增量数据存放至所述待迁移增量数据的增量数据目录上，并将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；
迁移模块，用于根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将所述HFile文件加载至所述目标集群数据库的hbase表中。
6.根据权利要求5所述的装置，其特征在于，所述迁移模块用于：
对所述待迁移增量数据进行抽取、转换和加载操作，得到所述目标集群数据库的hbase表的HFile文件。
7.根据权利要求5所述的装置，其特征在于，所述同步模块用于：
压缩所述待迁移增量数据，得到压缩数据；
将所述压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
8.根据权利要求5-7任意一项所述的装置，其特征在于，所述获取模块用于：
利用Export工具从所述源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；
在所述统计数量大于导出数量阈值时，停止增量数据的导出，得到所述待迁移增量数据。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的数据库的增量数据迁移方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的数据库的增量数据迁移方法。
CN202210826726.5A 2022-07-13 2022-07-13 数据库的增量数据迁移方法、装置、电子设备及存储介质 Pending CN115098473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210826726.5A CN115098473A (zh) 2022-07-13 2022-07-13 数据库的增量数据迁移方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210826726.5A CN115098473A (zh) 2022-07-13 2022-07-13 数据库的增量数据迁移方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115098473A true CN115098473A (zh) 2022-09-23

Family

ID=83297119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210826726.5A Pending CN115098473A (zh) 2022-07-13 2022-07-13 数据库的增量数据迁移方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115098473A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520056A (zh) * 2024-01-08 2024-02-06 南京云信达科技有限公司 Hbase数据备份的方法、系统、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520056A (zh) * 2024-01-08 2024-02-06 南京云信达科技有限公司 Hbase数据备份的方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10764045B2 (en) Encrypting object index in a distributed storage environment
US10387673B2 (en) Fully managed account level blob data encryption in a distributed storage environment
US10621049B1 (en) Consistent backups based on local node clock
US11042503B1 (en) Continuous data protection and restoration
US10659225B2 (en) Encrypting existing live unencrypted data using age-based garbage collection
US20220188196A1 (en) Continuous data protection
CN109118358B (zh) 数字资产的基于分量的同步
CN109299072B (zh) 一种数据库在线迁移的方法及装置
US11579981B2 (en) Past-state backup generator and interface for database systems
EP3564835B1 (en) Data redistribution method and apparatus, and database cluster
CN110555012B (zh) 数据迁移方法及装置
CN105205154B (zh) 数据迁移方法以及装置
CN111324610A (zh) 一种数据同步的方法及装置
EP3575968A1 (en) Method and device for synchronizing active transaction lists
US10795777B1 (en) Continuous verified backups
Mundkur et al. Disco: a computing platform for large-scale data analytics
CN112417033A (zh) 一种分布式图数据库多节点数据一致性实现方法和系统
CN114722119A (zh) 数据同步方法及系统
CN115098473A (zh) 数据库的增量数据迁移方法、装置、电子设备及存储介质
CN111177159A (zh) 一种数据处理的系统、方法和数据更新设备
CN116701352A (zh) 一种数据库数据迁移方法及系统
CN116737838A (zh) 一种数据同步方法、装置，计算机设备和存储介质
CN116303789A (zh) 多分片多副本数据库并行同步方法、装置及可读介质
CN114579667A (zh) 一种HBase数据增量同步的方法、装置及系统
CN111352916B (zh) 基于nas存储系统的数据存储方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221214

Address after: 401133 room 208, 2 house, 39 Yonghe Road, Yu Zui Town, Jiangbei District, Chongqing

Applicant after: CHONGQING CHANGAN NEW ENERGY AUTOMOBILE TECHNOLOGY Co.,Ltd.

Address before: Changan Automobile Global R&D Center, Yuzui Town, Jiangbei District, Chongqing 400020

Applicant before: Chongqing Changan Automobile Co.,Ltd.