CN111309810A - 基于小样本key值的分库分表方法及系统 - Google Patents

Abstract

本发明公开基于小样本KEY值的分库分表方法及系统，其中，该方法包括步骤：获取样本的样本ID和样本等级，根据所述样本等级查询所述样本ID对应的库表水位占比；获取当前可用水位最多的库表ID，将所述样本ID和所述库表ID之间建立路由对应关系并存储所述路由对应关系；根据所述样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。该方法同总体业务经营相结合，使路由生成的更加精确，有效地避免了基于小样本KEY值进行分库分库导致的数据分布不均衡的问题。本发明提供的基于小样本KEY值的分库分表系统，采用了上述基于小样本KEY值的分库分表方法，有效避免了热点库热点表的产生，解决了数据分布不均衡的问题。

Description

基于小样本KEY值的分库分表方法及系统

技术领域

本发明涉及分库分表技术领域，尤其涉及基于小样本KEY值的分库分表路由及系统。

背景技术

目前，针对数据库层面的高并发读写的问题及无法均衡分布的问题，一般会分布式部署，使用分库分表来解决，分库分表是通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)中，以达到分散单台设备负载的效果。将一张表分表时，我们需要选定某个或几个字段作为key值，但是这个key值的选择，需要结合我们具体的业务，以保证根据这些key值拆分出来的表中，所有相同类型的数据会落到一张表中，多数采用的分库分表的KEY值具有2个特性:

1.多为订单ID或者会员ID等具有海量样本的数据。

2.分库分表路由算法多采取数值区间或者哈希、一致性哈希等算法。选取的样本数据在该算法维度内所占权重同实际发生业务量相对匹配，在海量样本下成均衡分布的态势。如：采取会员ID进行分库分表会员IDA和会员IDB单个会员ID样本可能A购买的订单多，产生的订单数量大于会员IDB，但对于动辄几百万、几千万、几亿会员的电商企业来说，但在海量样本下，个别会员的订单量微小差异，在整体趋势上订单的数据分布是均衡的。

但当KEY值无法满足以上2个特性时，常见的分库分表的路由方法就无法解决数据均衡分布的问题了，比如在线下门店的场景中，交易及管理的场景数据的维度都是到门店维度时(代客下单商超模式中多数顾客拒绝提供会员ID，跨会员ID和订单ID的管理及查询均需要门店ID)，当采用门店ID作为分库分表的KEY值，采用传统的路由方法则会存在数据分布不均衡的问题，这是因为：

1.门店样本数较少，多数企业门店数只有几十、几百、几千。

2.同样一个门店ID在传统的数值区间、哈希、一致性哈希算法中所在权重是等同的，但门店运营过程中，实际产生的订单业务量差异巨大。比如上海1家在核心商圈门店IDA和新疆1家在偏远地区门店IDB在传统路由算法中所在权重等同，但实际产生的订单业务量门店IDA是门店IDB的几十倍、几百倍。在少量样本的情况下，是无法均衡这种数据量的差异。

针对以上问题，现有解决方案有：

方案1：通过人工手动维护门店和路由的关系，通过人工控制数据的均衡分布。但是此方案需要人工提前维护，若不维护则无法正常路由，且在大型连锁企业动辄几百、几千、新开店及闭店业务发生较多的企业里维护的实效性会影响企业开店的效率。此外，数据均衡性需要人工预估及事后计算，会存在一定延迟和误差。

方案2：通过组织关系手动维护门店层级的上级组织路由，比如将某公司下的门店都路由到该公司所在的库和表。方案2虽然解决了方案1的缺点之一：通过提前维护到公司层级(在企业经营过程中，新开公司的速度是小于新开门店的)，降低人工维护成本，但并未有效解决数据均衡性由人工预估及事后计算存在延迟和误差的问题。

发明内容

本发明的目的在于提供基于小样本KEY值的分库分表方法及系统，以避免热点库热点表的产生，解决数据分布不均衡的问题。

为了实现上述目的，本发明提供如下技术方案：

一种基于小样本KEY值的分库分表方法，包括步骤：

获取样本的样本ID和样本等级，根据所述样本等级查询所述样本ID对应的库表水位占比；

获取当前可用水位最多的库表ID，将所述样本ID和所述库表ID之间建立路由对应关系并存储所述路由对应关系；

根据所述样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

优选地，所述基于小样本KEY值的分库分表方法还包括步骤：

根据样本的业务量预先对所有样本划分等级，并且建立样本等级-库表水位占比对照表；

所述样本等级-库表水位占比对照表用于将不同的样本等级与库表水位占比一一对应存储。

进一步地，获取样本的样本ID和样本等级，根据所述样本等级查询所述样本ID对应的库表水位占比的方法包括：

当用户新创建了样本主数据或者实际发生了业务场景的样本主数据不存在于系统中时，自动获取所述样本主数据，其中，所述样本主数据包括样本ID和样本等级；

利用路由调度引擎查询所述样本等级-库表水位占比对照表，并根据所述样本等级得到当前样本ID对应的库表水位占比。

优选地，所述基于小样本KEY值的分库分表方法还包括步骤：

创建库表水位表，所述库表水位表用于实时统计每个库表ID的水位信息，其中，

所述库表ID由数据库ID和数据表ID共同组成，每个数据库ID下包含一个或多个数据表ID；

所述水位信息包括总水位、已用水位和可用水位。

具体地，利用路由调度引擎查询所述库表水位表，以获取当前可用水位最多的库表ID。

优选地，所述基于小样本KEY值的分库分表方法还包括步骤：

创建路由关系表，所述路由关系表用于将已建立路由对应关系的库表ID和样本ID对应存储。

较佳地，将新的样本ID和当前可用水位最多的库表ID之间建立路由对应关系并存储到所述路由关系表中；

利用所述路由关系表查询任一样本ID对应的库表ID，并且根据所述样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

具体地，所述样本ID的库表水位占比通过所述样本等级查询得到；或者，由用户根据实际业务需求主动修改得到。

一种基于小样本KEY值的分库分表系统，包括接收模块、查询模块、路由模块和更新模块，其中，

所述接收模块用于获取样本的样本ID和样本等级，

所述查询模块用于根据所述样本等级查询所述样本ID对应的库表水位占比，以及获取当前可用水位最多的库表ID；

所述路由模块用于将所述样本ID和所述库表ID之间建立路由对应关系并存储所述路由对应关系；

所述更新模块用于根据所述样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

优选地，所述基于小样本KEY值的分库分表系统还包括第一预处理模块、第二预处理模块、第三预处理模块、第一存储模块、第二存储模块和第三存储模块，其中，

所述第一预处理模块用于根据样本的业务量预先对所有样本划分等级，建立样本等级-库表水位占比对照表并存储到所述第一存储模块中；

所述第二预处理模块用于创建库表水位表，并将所述库表水位表存储在所述第二存储模块中；

所述第三预处理模块用于创建路由关系表，并将所述路由关系表存储在所述第三存储模块中。

与现有技术相比，本发明提供的基于小样本KEY值的分库分表方法及系统具有以下有益效果：

本发明提供的基于小样本KEY值的分库分表方法，首先根据样本等级查询样本ID对应的库表水位占比，避免了所有样本都采用相同的库表水位占比而导致的库表资源浪费或不足；然后将样本ID和当前可用水位最多的库表ID之间建立路由对应关系，有效的避免了热点库热点表的产生，均衡了各个库表的可用水位；最后根据样本ID的库表水位占比更新对应库表ID的已用水位和可用水位，然后根据更新后的各个库表的水位进行新一轮的分库分表，尤其解决了样本数量比较少的小样本数据分布不均衡的问题。

本发明提供的基于小样本KEY值的分库分表系统，采用了上述基于小样本KEY值的分库分表方法，有效避免了热点库热点表的产生，解决了数据分布不均衡的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中基于小样本KEY值的分库分表方法的流程示意图；

图2为本发明实施例中基于小样本KEY值的分库分表方法的数据结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

实施例一

请参阅图1，本实施例提供的一种基于小样本KEY值的分库分表方法，其特征在于，包括步骤：

获取样本的样本ID和样本等级，根据样本等级查询样本ID对应的库表水位占比；

获取当前可用水位最多的库表ID，将样本ID和库表ID之间建立路由对应关系并存储路由对应关系；

根据样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

本实施例提供的基于小样本KEY值的分库分表方法，首先根据样本等级查询样本ID对应的库表水位占比，避免了所有样本都采用相同的库表水位占比而导致的库表资源浪费，也避免将样本ID路由到可用水位不足的库表ID；然后将样本ID和当前可用水位最多的库表ID之间建立路由对应关系，有效的避免了热点库热点表的产生，均衡了各个库表的可用水位；最后根据样本ID的库表水位占比更新对应库表ID的已用水位和可用水位，然后根据更新后的各个库表的水位进行新一轮的分库分表，尤其解决了样本数量比较少的小样本数据分布不均衡的问题。

请参阅图2，本实施例提供的一种基于小样本KEY值的分库分表方法，还包括步骤：

根据样本的业务量预先对所有样本划分等级，并且建立样本等级-库表水位占比对照表，例如表1；

样本等级-库表水位占比对照表用于将不同的样本等级与库表水位占比一一对应存储。库表水位，即数据库和数据表的水位，类似于水库的水位，随着存放数据的增加，水位变高，已用水位变多，可用水位减少。

表1样本等级-库表水位占比对照表

样本等级	库表水位占比
		D1	4
D2	0.05
		…	…

当用户新创建了样本主数据或者实际发生了业务场景的样本主数据不存在于系统中时，自动获取样本主数据，其中，样本主数据包括样本ID和样本等级，除此之外，根据具体样本的特性，样本主数据还可以包括其他属性，其样本等级-库表水位占比对照表也是根据实际业务经验制定，以某零售企业的门店样本为例，一个门店样本的主数据可以包括样本ID、样本等级、样本名称及样本地址等；并且企业会根据该门店日后业务量趋势的预测值，对门店进行等级分类，并预估其库表水位占比，如某一线城市的门店样本ID A的等级高于某四线城市的门店样本ID B的等级。

同企业的业务主数据相结合，在定义样本主数据或者某样本实际发生业务时，利用路由调度引擎查询样本等级-库表水位占比对照表(表1)，即可轻松的根据样本等级得到当前样本ID对应的库表水位占比。

请参阅图2，本实施例提供的一种基于小样本KEY值的分库分表方法，还包括步骤：

创建库表水位表，如表1，库表水位表用于实时统计每个库表ID的水位信息，其中，

库表ID由数据库ID和数据表ID共同组成，每个数据库ID下包含一个或多个数据表ID；

水位信息包括总水位、已用水位和可用水位。

表2库表水位表

数据库ID	数据表ID	已用水位	总水位	可用水位
					01	01	99.35	1000	900.65
01	02	99.40	1000	900.60
					02	01	99.30	1000	900.70
02	02	99.30	1000	900.70
					…	…	…	…	…

利用路由调度引擎查询库表水位表，以获取当前可用水位最多的库表ID。结合当前已有分库分表的各个库表的水位，当新增样本ID时自动计算出当前业务量最少的库表，即可用水位最多的库表，将新增的样本ID分配至该可用水位最多的库表，在样本比较少的时候，将样本分库分表的过程同企业经营相结合，而不是采用等比权重和人工分配的方式，使路由对应关系生成的更加精确，有效的避免了基于小样本KEY值进行分库分表导致的数据分布不均衡的问题。

此外，本实施例提供的一种基于小样本KEY值的分库分表方法，还包括步骤：

创建路由关系表，如表3，路由关系表用于将已建立路由对应关系的库表ID和样本ID对应存储。当路由关系构建完成后，在业务实际发生时基于样本ID对应的路由关系可进行基于数据库层面均衡的分库分表的读写操作。

表3路由关系表

样本ID	数据库ID	数据表ID
			样本A	01	02
样本B	02	01
			…	…	…

将新的样本ID和当前可用水位最多的库表ID之间建立路由对应关系并存储到路由关系表中；利用路由关系表查询任一样本ID对应的库表ID，并且根据样本ID的库表水位占比更新对应库表ID的已用水位和可用水位，其中，样本ID的库表水位占比通过样本等级查询得到；或者，在后期业务系统的使用过程中由用户根据实际业务需求主动修改得到，例如，某门店样本比预期的业务量要大很多，则可以认为的增大其库表水位占比，灵活方便。

小样本KEY值的路由信息结合企业经营中定义的主数据信息，能够使数据库层面分库分表的数据分布同企业经营数据相结合，使系统生成路由关系变得及时、自动，且数据分布均衡，从而能够更好的保障业务系统的稳定性和可扩展性。

本发明实施例中的样本ID可拓展至基于城市ID、仓库ID、港口ID及车站ID等，这些样本ID都是数量较少的小样本KEY值，并且每个样本ID具有业务量的差异化。比如，城市划分一级、二级、三级等，不同城市等级人口规模、资源投入等存在可预估的差异；仓库可分为大仓、中等仓、小仓及微仓不同仓库等级，年货运量存在可预估的差异；港口划分海港、河港、湖港等不同的港口等级，年吞吐量存在可预估的差异；车站划分特等站、一等站、二等站、三等站等不同车站等级，年客运量存在可预估的差异。这些小样本KEY值，结合定义的KEY值基础数据中的某个或多个属性时，在定义主数据或者实际发生业务时，路由可自动生成，使数据分布均衡，同时有效减少了人工维护的成本。

此外，上述小样本KEY值的样本数量虽少，但是同总体业务经营相结合，而不是采用等比权重和人工分配的方式，使路由生成的更加精确，有效地避免了基于小样本KEY值进行分库分库导致的数据分布不均衡的问题。

实施例二

本发明实施例提供一种基于小样本KEY值的分库分表系统，包括接收模块和路由调度引擎，该路由调度引擎包括查询模块、路由模块和更新模块。其中，接收模块用于获取样本的样本ID和样本等级，查询模块用于根据样本等级查询样本ID对应的库表水位占比，以及获取当前可用水位最多的库表ID；路由模块用于将样本ID和库表ID之间建立路由对应关系并存储路由对应关系；更新模块用于根据样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

本发明实施例提供的基于小样本KEY值的分库分表系统，还包括第一预处理模块、第二预处理模块、第三预处理模块、第一存储模块、第二存储模块和第三存储模块，其中，第一预处理模块用于根据样本的业务量预先对所有样本划分等级，建立样本等级-库表水位占比对照表并存储到第一存储模块中；第二预处理模块用于创建库表水位表，并将库表水位表存储在第二存储模块中；第三预处理模块用于创建路由关系表，并将路由关系表存储在第三存储模块中。

本发明提供的基于小样本KEY值的分库分表系统，采用上述基于小样本KEY值的分库分表方法，通过将样本ID和当前可用水位最多的库表ID之间建立路由对应关系，有效的避免了热点库热点表的产生，均衡了各个库表的可用水位。与现有技术相比，本发明实施例提供的基于小样本KEY值的分库分表系统的有益效果与上述实施例一提供的基于小样本KEY值的分库分表方法的有益效果相同，且该系统中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。

在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于小样本KEY值的分库分表方法，其特征在于，包括步骤：

获取样本的样本ID和样本等级，根据所述样本等级查询所述样本ID对应的库表水位占比；

获取当前可用水位最多的库表ID，将所述样本ID和所述库表ID之间建立路由对应关系并存储所述路由对应关系；

根据所述样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

2.根据权利要求1所述的基于小样本KEY值的分库分表方法，其特征在于，还包括步骤：

根据样本的业务量预先对所有样本划分等级，并且建立样本等级-库表水位占比对照表；

所述样本等级-库表水位占比对照表用于将不同的样本等级与库表水位占比一一对应存储。

3.根据权利要求2所述的基于小样本KEY值的分库分表方法，其特征在于，获取样本的样本ID和样本等级，根据所述样本等级查询所述样本ID对应的库表水位占比的方法包括：

当用户新创建了样本主数据或者实际发生了业务场景的样本主数据不存在于系统中时，自动获取所述样本主数据，其中，所述样本主数据包括样本ID和样本等级；

利用路由调度引擎查询所述样本等级-库表水位占比对照表，并根据所述样本等级得到当前样本ID对应的库表水位占比。

4.根据权利要求1所述的基于小样本KEY值的分库分表方法，其特征在于，还包括步骤：

创建库表水位表，所述库表水位表用于实时统计每个库表ID的水位信息，其中，

所述库表ID由数据库ID和数据表ID共同组成，每个数据库ID下包含一个或多个数据表ID；

所述水位信息包括总水位、已用水位和可用水位。

5.根据权利要求4所述的基于小样本KEY值的分库分表方法，其特征在于，利用路由调度引擎查询所述库表水位表，以获取当前可用水位最多的库表ID。

6.根据权利要求4或5所述的基于小样本KEY值的分库分表方法，其特征在于，还包括步骤：

创建路由关系表，所述路由关系表用于将已建立路由对应关系的库表ID和样本ID对应存储。

7.根据权利要求6所述的基于小样本KEY值的分库分表方法，其特征在于，将新的样本ID和当前可用水位最多的库表ID之间建立路由对应关系并存储到所述路由关系表中；

利用所述路由关系表查询任一样本ID对应的库表ID，并且根据所述样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

8.根据权利要求7所述的基于小样本KEY值的分库分表方法，其特征在于，所述样本ID的库表水位占比通过所述样本等级查询得到；或者，由用户根据实际业务需求主动修改得到。

9.一种基于小样本KEY值的分库分表系统，其特征在于，包括接收模块、查询模块、路由模块和更新模块，其中，

所述接收模块用于获取样本的样本ID和样本等级，

所述查询模块用于根据所述样本等级查询所述样本ID对应的库表水位占比，以及获取当前可用水位最多的库表ID；

所述路由模块用于将所述样本ID和所述库表ID之间建立路由对应关系并存储所述路由对应关系；

所述更新模块用于根据所述样本ID的库表水位占比更新对应库表ID的已用水位和可用水位。

10.根据权利要求9所述的基于小样本KEY值的分库分表系统，其特征在于，还包括第一预处理模块、第二预处理模块、第三预处理模块、第一存储模块、第二存储模块和第三存储模块，其中，

所述第一预处理模块用于根据样本的业务量预先对所有样本划分等级，建立样本等级-库表水位占比对照表并存储到所述第一存储模块中；

所述第二预处理模块用于创建库表水位表，并将所述库表水位表存储在所述第二存储模块中；

所述第三预处理模块用于创建路由关系表，并将所述路由关系表存储在所述第三存储模块中。

Images