CN113849496A

CN113849496A - 一种数据重分布的方法和装置

Info

Publication number: CN113849496A
Application number: CN202010600815.9A
Authority: CN
Inventors: 严俊
Original assignee: ZTE Corp
Current assignee: Jinzhuan Xinke Co Ltd
Priority date: 2020-06-28
Filing date: 2020-06-28
Publication date: 2021-12-28
Also published as: WO2022001883A1; EP4174676A4; JP2023532352A; KR20230025019A; EP4174676A1

Abstract

本发明实施例提供一种数据重分布方法和装置，所述数据重分布方法包括：响应计算节点发来的数据重分布请求，根据原表信息创建对应于请求的规则表；生成规则表数据并发送到规则表数据对应的存储节点；将规则表数据导入到规则表；按照原表补齐规则表的数据；按照规则表的方式访问数据。通过生成新的规则表，不用对原有的数据进行迁移，提高了数据重分布的效率，并有效地降低重分布过程中数据迁移带来的影响。

Description

一种数据重分布的方法和装置

技术领域

本发明实施例涉及但不限于数据库领域，具体而言，涉及但不限于数据重分布的控制方法和装置。

背景技术

目前应用的数据库并发度高、数据增长快、7*24小时提供服务。随着业务的扩展，数据的扩展可能是数量级的递增，所以拥有良好的横向扩展能力的分布式数据库得到广泛的应用。分布式数据库一般采用无共享(share nothing)的架构，即每一个节点都有独立的存储，节点间不共享存储，数据根据规则分布到多个节点上，节点之间一般通过光纤等网络连接。

分布式数据库具备良好的伸缩性，可根据业务场景灵活地分布节点数据。例如，随着数据量的量级增长，对数据存储空间和查询有进一步的要求，需要对原有的分布式数据库进行扩容，增加新的数据节点到分布式数据库中，并进行数据迁移。

数据重分布业界主要有两种方法：

1.锁定要重分布的表，不能执行读写操作，直到表中的数据重分布全部完成。根据数据量的大小以及资源限制，数据重分布的耗时可能达到几小时甚至几天，可能导致业务长时间无法对正在重分布的表进行操作，从而产生严重的影响。

2.更常见的方法是将创建新表，将旧表存储的数据全量导出，然后按照新的规则全部导入到新表中，然后追加增量数据，完成后锁定旧表，将切换使用新表。这种处理方式效率低、网络压力大、存储空间要求高，且追增量的过程根据业务的量呈现不同的时间跨度，甚至可能存在一直追不上的问题。

数据库系统在运行过程中，使用上述现有的两种重分布方法，对现网环境的要求比较高，同时对运维操作人员的应急处理能力要求更高。

分布式数据库重分布场景，除了扩容之外，还有缩容、修改分发方式、修改分发字段等场景，这些场景是数据库运维人员经常要面对的，也是成熟数据库产品应具备的功能。

发明内容

本发明实施例提供的数据重分布方法和装置，解决了现有技术中数据重分布处理方式效率低、开销大的问题。

为解决上述技术问题，本发明实施例提供一种数据重分布方法，包括：

响应计算节点发来的数据重分布请求，根据原表信息创建对应于请求的规则表；生成规则表数据并发送到规则表数据对应的存储节点；将规则表数据导入到规则表；按照原表补齐规则表的数据；按照规则表的方式访问数据。

进一步地，其中规则表包括分片键和元数据信息。

进一步地，其中所述生成规则表数据包括：导出分发键值和节点号信息，并按照请求中所包含的分发规则拆分成对应存储节点的文件；记录分片键和分发模式，以及对应分片键上执行成功的INSERT/UPDATE/DELETE语句。

进一步地，其中所述将所述规则表和所述原表的所述分片键与所述INSERT/UPDATE/DELETE语句记录的分片键进行比对，所述规则表缺少所述分片键对应的数据则插入所述原表中所述分片键对应的数据，所述规则表中多出了所述分片键对应的数据则删除所述分片键对应的数据，所述规则表中针对所述分片键对应的数据与所述原表中的相应数据不一致时则修改为所述原表中所述分片键对应的数据。

进一步地，其中所述按照原表补齐规则表的数据之前还包括：对需要数据重分布的表增加读锁；其中所述按照所述规则表的方式访问数据之后还包括：释放读锁。

本发明实施例还提供一种数据重分布的装置，包括：

处理器，用于响应计算节点发来的数据重分布请求，根据原表信息创建对应于请求的规则表；存储节点，用于生成规则表数据并发送到规则表数据对应的存储节点；将规则表数据导入到规则表；按照原表补齐规则表的数据；计算节点，用于按照规则表的方式访问数据。

进一步地，其中规则表包括分片键和元数据信息。

进一步地，其中存储节点还用于导出分发键值和节点号信息，并按照请求中所包含的分发规则拆分成对应存储节点的文件；计算节点还用于记录分片键和分发模式，以及对应分片键上执行成功的INSERT/UPDATE/DELETE语句。

进一步地，其中所述存储节点还用于将所述规则表和所述原表的所述分片键与所述INSERT/UPDATE/DELETE语句记录的分片键进行比对，所述规则表缺少所述分片键对应的数据则插入所述原表中所述分片键对应的数据，所述规则表中多出了所述分片键对应的数据则删除所述分片键对应的数据，所述规则表中针对所述分片键对应的数据与所述原表中的相应数据不一致时则修改为所述原表中所述分片键对应的数据。

进一步地，其中计算节点还用于在存储节点补齐数据之前对需要数据重分布的表增加读锁；在按照规则表的方式访问数据之后释放读锁。

本发明实施例还提供一种数据重分布系统，包括如上述数据重分布装置。

根据本发明实施例提供的数据重分布方法和装置，通过生成新的规则表，不用对原有的数据进行迁移，提高了数据重分布的效率，并有效地降低重分布过程中数据迁移带来的影响。规则表的字段只包括分片键和元数据信息，对存储空间的要求极低，降低了系统开销，进一步提高了效率。

附图说明

图1为本发明实施例一提供的数据重分布的方法的流程图；

图2为本发明实施例二提供的数据重分布的方法的流程图；

图3为本发明实施例三提供的数据重分布的装置的程序模块示意图；

图4为本发明实施例四提供的数据重分布的装置的程序模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

为了解决现有技术中建立新表所带来的效率低下的问题，本实施例的核心思想是在接收到数据重分布请求后，根据新的分片规则创建一个规则表，规则表里面保存分片键和元数据信息，所谓元数据信息是指该分片键数据对应的节点信息，例如有3个节点，可分别用1、2、3代表。重分布任务结束前分布式数据库计算节点按照旧表的方式进行访问，重分布任务结束后，计算节点按照规则表访问数据。

请参见图1，本实施例所涉及的数据重分布方法包括：

步骤102：响应计算节点发来的数据重分布请求，根据原表信息创建对应于请求的规则表。

步骤104：生成规则表数据并发送到规则表数据对应的存储节点。

步骤106：将规则表数据导入到规则表。

步骤108：按照原表补齐规则表的数据。

步骤110：按照规则表的方式访问数据。

本发明实施例一提供的数据重分布的方法，通过创建规则表，而不是通过创建新表来迁移数据，提高了数据重分布的效率，降低数据迁移带来的影响。

实施例二：

请参见图2，本实施例所涉及的数据重分布方法可以包括：

步骤202：创建规则表。

发起数据重分布请求后，根据原表信息创建一个新的规则表，新的规则表的分片键和重分布请求的原表的分片方式一致，比如原表按照字段col1哈希到3个节点上，重分布要求哈希到4个节点，则规则表就按照字段col1哈希到4个节点。

本实施例中以分发模式从3个节点改变成4个节点的重分布为例来进行说明。原表名为tbs_info_detail，分发模式为hash(uuid)(g1,g2,g3)，处理器创建一个隐藏的规则表tbs_info_detail_res_rule，分发模式为hash(uuid)(g1,g2,g3,g4)。规则表中有两个字段，uuid和groupid。其中uuid字段的属性和原表的属性完全相同，而groupid字段的属性可使用unsginedtinyint属性(仅占一个字节)，同时规则需要对uuid创建索引(若原表的uuid是主键则对uuid创建主键)。

步骤204：生成规则表数据。

各个存储节点都包含一个重分布控制模块，用于生成和导入元数据规则表数据。这些重分布控制模块并行从各个存储节点导出分发键值，同时带上存储节点号信息，拆分出来的文件根据新的分发规则拆分成不同存储节点的文件，并传输到对应的存储节点上去。

在本步骤中，记录所有涉及到该分片键并执行成功的INSERT/UPDATE/DELETE语句，记录分片键值及对应的groupid。

步骤206：导入数据到规则表。

各存储节点的重分布控制模块可将传输过来的数据导入到规则表中。

步骤208：加读锁。

通知计算节点给需要重分布的表增加读锁。

步骤210：补齐数据。

将记录的涉及分片键的INSERT/UPDATE/DELETE语句中记录的分片键值和原表及规则表中的分片键进行比对，若规则表缺少该分片键值所对应的数据则插入原表中该分片键值所对应的数据，规则表多了分片键值所对应的数据则删除该分片键值所对应的数据，规则表数据和原表不一致则修改为与原表一致的数据。

步骤212：修改访问方式。

通知计算节点修改表的访问方式，将计算节点自身计算分发算法修改成按照规则表的方式访问，涉及到表的INSERT/UPDATE/DELETE语句需要同时对规则表进行修改，新增数据优先往新增的数据节点插入。

步骤214：释放读锁。

释放所加的读锁。

至此，重分布任务已完成。

步骤216：对齐分发规则。

对于规则表分发方式和计算节点不一致的问题，可通过跑批的方式在空闲时间执行，例如：

1.先从节点1中查询规则表的元数据字段为2的行，分批将这部分数据迁移到节点2上，同时变更规则表。

2.当大部分数据迁移成功后锁表，迁移剩下的数据；

3.通知计算节点变更表的访问方式；

4.清理规则表。

本发明实施例二提供的数据重分布方法，通过创建规则表，且规则表仅包含两个字段，在提高重分布效率、降低数据迁移所带来的影响的同时，进一步降低了重分布的开销。

实施例三：

请参见图3，本实施例所涉及的数据重分布装置300包括：

计算节点301、处理器302和存储节点303。其中处理器302用于响应计算节点301发来的数据重分布请求，根据原表信息创建对应于请求的规则表。存储节点303有多个，用于生成规则表数据并发送到规则表数据对应的存储节点303，将规则表数据导入到规则表，按照原表补齐规则表的数据。计算节点301，用于按照规则表的方式访问数据。

本发明实施例三提供的数据重分布装置，通过创建规则表，而不是通过创建新表来迁移数据，提高了数据重分布的效率，降低数据迁移带来的影响。

实施例四：

请参见图4，本实施例所涉及的数据重分布装置400包括：

计算节点401、处理器402和存储节点403。其中存储节点403有4个。

计算节点401发起数据重分布请求后，处理器402根据原表信息创建一个新的规则表，新的规则表的分片键和重分布请求的原表的分片方式一致。

4个存储节点403各包含一个重分布控制模块403a，用于生成和导入元数据规则表数据。这些重分布控制模块403a并行从各个存储节点403导出分发键值，同时带上存储节点号信息，拆分出来的文件根据新的分发规则拆分成不同存储节点403的文件，并传输到对应的存储节点403上去。计算节点401记录所有涉及到该分片键并执行成功的INSERT/UPDATE/DELETE语句，记录分片键值及对应的groupid。

存储节点403的重分布控制模块403a将传输过来的数据导入到规则表中。

处理器402通知计算节点401给需要重分布的表增加读锁。

重分布控制模块403a将计算节点401记录的涉及分片键的INSERT/UPDATE/DELETE语句中记录的分片键值和原表及规则表中的分片键进行比对，若规则表缺少该分片键值所对应的数据则插入原表中该分片键值所对应的数据，规则表多了分片键值所对应的数据则删除该分片键值所对应的数据，规则表数据和原表不一致则修改为与原表一致的数据。

处理器402通知计算节点401修改表的访问方式，将计算节点401自身计算分发算法修改成按照规则表的方式访问，涉及到表的INSERT/UPDATE/DELETE语句需要同时对规则表进行修改，新增数据优先往新增的数据节点插入。

计算节点401释放所加的读锁。至此，重分布任务已完成。

若需要对其分发规则，则按照实施例二的步骤216进行。

本发明实施例四提供的数据重分布装置，通过创建规则表，且规则表仅包含两个字段，在提高重分布效率、降低数据迁移所带来的影响的同时，进一步降低了重分布的开销。

本发明还提供一种数据重分布系统，包括实施例四的数据重分布装置，该系统能高效率执行数据重分布任务。

可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。

此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种数据重分布方法，包括：

响应计算节点发来的数据重分布请求，根据原表信息创建对应于所述请求的规则表；

生成规则表数据并发送到所述规则表数据对应的存储节点；

将所述规则表数据导入到所述规则表；

按照所述原表补齐所述规则表的数据；

按照所述规则表的方式访问数据。

2.如权利要求1所述的数据重分布方法，其特征在于，其中所述规则表包括分片键和元数据信息。

3.如权利要求1所述的数据重分布方法，其特征在于，其中所述生成规则表数据包括：

导出分发键值和节点号信息，并按照所述请求中所包含的分发规则拆分成对应存储节点的文件；

记录分片键和分发模式，以及对应分片键上执行成功的INSERT/UPDATE/DELETE语句。

4.如权利要求3所述的数据重分布方法，其特征在于，其中所述按照原表补齐所述规则表的数据包括：

将所述规则表和所述原表的所述分片键与所述INSERT/UPDATE/DELETE语句记录的分片键进行比对，所述规则表缺少所述分片键对应的数据则插入所述原表中所述分片键对应的数据，所述规则表中多出了所述分片键对应的数据则删除所述分片键对应的数据，所述规则表中针对所述分片键对应的数据与所述原表中的相应数据不一致时则修改为所述原表中所述分片键对应的数据。

5.如权利要求1至4任一项所述的数据重分布方法，其特征在于，其中所述按照原表补齐所述规则表的数据之前还包括：

对需要数据重分布的表增加读锁；

其中所述按照所述规则表的方式访问数据之后还包括：

释放所述读锁。

6.一种数据重分布装置，包括：

处理器，用于响应计算节点发来的数据重分布请求，根据原表信息创建对应于所述请求的规则表；

存储节点，用于生成规则表数据并发送到所述规则表数据对应的存储节点；将所述规则表数据导入到所述规则表；按照所述原表补齐所述规则表的数据；

计算节点，用于按照所述规则表的方式访问数据。

7.如权利要求6所述的数据重分布装置，其特征在于，其中所述规则表包括分片键和元数据信息。

8.如权利要求6所述的数据重分布装置，其特征在于，其中所述存储节点还用于导出分发键值和节点号信息，并按照所述请求中所包含的分发规则拆分成对应存储节点的文件；

所述计算节点还用于记录分片键和分发模式，以及对应分片键上执行成功的INSERT/UPDATE/DELETE语句。

9.如权利要求8所述的数据重分布装置，其特征在于，其中所述存储节点还用于将所述规则表和所述原表的所述分片键与所述INSERT/UPDATE/DELETE语句记录的分片键进行比对，所述规则表缺少所述分片键对应的数据则插入所述原表中所述分片键对应的数据，所述规则表中多出了所述分片键对应的数据则删除所述分片键对应的数据，所述规则表中针对所述分片键对应的数据与所述原表中的相应数据不一致时则修改为所述原表中所述分片键对应的数据。

10.如权利要求6至9任一项所述的数据重分布装置，其特征在于，其中所述计算节点还用于在所述存储节点补齐数据之前对需要数据重分布的表增加读锁；在按照所述规则表的方式访问数据之后释放所述读锁。

11.一种数据重分布系统，其特征在于，包括如权利要求6至10任一项所述的数据重分布装置。