CN111324605B

CN111324605B - 数据库中数据混合存储动态调整方法及应用

Info

Publication number: CN111324605B
Application number: CN202010074681.1A
Authority: CN
Inventors: 贺岩; 王宝贤; 王松楠; 张海亮
Original assignee: Beijing Dongfang Jinxin Technology Co ltd
Current assignee: Beijing Dongfang Jinxin Technology Co.,Ltd.
Priority date: 2020-01-22
Filing date: 2020-01-22
Publication date: 2020-11-10
Anticipated expiration: 2040-01-22
Also published as: CN111324605A

Abstract

本发明涉及一种数据库中数据混合存储动态调整方法及应用，其特征在于根据设定的权重计算规则、使用场景的SQL和表结构评估适合行存的列以及适合列存的列，具体过程为：场景1：当业务中较多的SQL中涉及表的列总数相对较少，将将涉及的相关列指定为列存储格式；场景2：当业务中较多的SQL中涉及表的列总数相对较多时，将将涉及相关列指定为行存储格式；场景3：当SQL中存在部分列同时应用于上述场景1和场景2，则将涉及的相关列同时指定为行存储格式和列存储格式。

Description

数据库中数据混合存储动态调整方法及应用

技术领域

本发明是关于一种数据库中数据混合存储动态调整方法，涉及数据库技术领域。

背景技术

随着列存数据库技术的不断发展，包括高效压缩、解压技术、优秀轻量级索引技术等，导致越来越多的业务场景应用在列存储格式数据库上。由于业务复杂性，导致一些场景应用复杂多变，既包括适合列存数据库的场景，也包括一些更适合行存储数据库场景，例如对列数非常多的表进行类似于select*的查询。

对于将大表整行作为投影列的查询一般是行存格式数据库的优势，所以列存储数据库通常考虑融合行存储技术的方法来解决这个问题。在列存储数据基础上冗余存储一份行存数据，当进行类似于select*类型的SQL访问时，不再访问列存储数据，而是直接访问行存储结构的数据，从而提高IO访问效率，如图1所示，但是此种方式存在以下缺点：存储空间占用增加很多，且由于行存储的特点导致数据压缩的效率比列存储要低上不少，所以存储空间额外占用可能会进一步加大，同时会对数据库的DML操作性能产生较大的负面影响。

发明内容

针对上述问题，本发明的目的是提供一种数据库中数据混合存储动态调整方法及应用，提高了列存数据库中对于查询SQL涉及多个投影列或者包含多列排序、聚集类型场景的IO效率，并降低由此带来的存储上的额外消耗问题，优化写操作性能。

为了实现上述目的，本发明采用的技术方案为：

第一方面，本发明提供一种数据库中数据混合存储动态调整方法，其特征在于根据设定的权重计算规则、使用场景的SQL和表结构评估适合行存的列以及适合列存的列，具体过程为：

场景1：当业务中较多的SQL中涉及表的列总数相对较少，将将涉及的相关列指定为列存储格式，其中，场景1适用情况包括：列多用于单列过滤条件、两表join的关联条件或者出现在select语句的投影列、group by以及order by涉及的列；

场景2：当业务中较多的SQL中涉及表的列总数相对较多时，将将涉及相关列指定为行存储格式，其中，场景2的适用情况包括：select*大量列或者投影列、group by以及order by涉及大量列且SQL中还包含单列过滤条件或多表关联；

场景3：当SQL中存在部分列同时应用于上述场景1和场景2，则将涉及的相关列同时指定为行存储格式和列存储格式；

其中，权重计算规则设定为：

S1、初始设置表的每一列的列存储权重对象col_weight＝0以及行存储权重对象row_weight＝0；

S2、当列出现场景1的“单列过滤条件或者两表join的关联条件”时，设置列权重col_weight+＝COL_HIGHT_WEIGHT；

S3、当列出现在场景1的“投影列、group by以及order by涉及的列”时，如果每个算子中出现的列数量<＝COL_MIN，则设置列权重col_weight+＝COL_HIGHT_WEIGHT；

S4、如果不满足S1～S3情况但是算子中出现的列数<＝COL_MAX且小于表总列数的COL_PERCENT，则设置列权重col_weight+＝COL_LOW_WEIGHT；

S5、当出现在场景2的“投影列、group by以及order by涉及的列”中，且算子中涉及的列数>ROW_MIN或者占表总列数>＝ROW_PERCENT时，则设置行权重row_weight+＝ROW_HIGHT_WEIGHT；

S6、如果不满上述S2、S3、S4情况时，设置行权重row_weight+＝ROW_LOW_WEIGHT；

S7、存储类型规则根据权重进行分别设置。

进一步地，存储类型规则根据权重进行分别设置具体过程为：

A、当某一列的col_weight>＝COL_STORAGE_WEIGHT，设置该列为列存存储格式；

B、当某一列的col_weight>＝ROW_STORAGE_WEIGHT，设置该列为行存存储格式；

C、同时满足A和B两种情况时，则对该列同时在行存和列存中存储；

D、当不满足条件A、B、C时，则该列使用列存默认存储类型。

进一步地，通过人工根据统计信息对行存储和列存储进行创建、更改、删除。

第二方面，本发明还提供基于数据库中数据混合存储动态方法的应用，其特征在于具体过程为：

1)初始状态时，业务涉及表中列的存储属性默认为列存储，同时支持建表时指定部分列为行存或行列冗余存储；

2)根据权重计算规则进行统计，其中，col_weight和row_weight统计信息通常是在一个完整的业务周期内进行统计评估，根据统计时间的不同，调整COL_STORAGE_WEIGHT和ROW_STORAGE_WEIGHT参数；

3)在完成统计和评估后关闭统计，根据统计结果设置各列的存储属性；

4)启动后台线程根据新的列存储属性调整数据的存储结构；

5)处理完成后，设置状态并更新统计信息以及完成时间、修改涉及表的信息等到系统表中。

第三方面，本发明还提供一种存储设备，所述存储设备上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述的数据库中数据混合存储动态调整方法对应的步骤。

第四方面，本发明还提供一种计算机程序，包括计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述数据库中数据混合存储动态调整方法对应的步骤。

本发明由于采取以上技术方案，其具有以下特点：本发明在复杂应用场景下的列存数据库提供了一种有效解决包含且不限于类似于select a,b,c,d...等多个投影列的情况下，应用模型物化投影列效率低下的方法，在尽量少损失写入效率的同时，有效提高了列存数据库对于该类型的查询效率；同时通过后台线程根据统计信息进行存储的动态调整，使得非全数据冗余的混合存储获得更好的使用感受，扩展了列存数据库的适用范围，该方法在提高IO访问效率的同时也能够有效控制磁盘的存储压力。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1为现有的冗余混合存储表；

图2为本发明实施例的部分冗余模式示意图；

图3为本发明实施例的动态增加列存部分示意图；

图4为本发明实施例的清理冗余部分示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

混合存储主要是为了解决普通列存格式数据库中遇到SQL投影列中包含表中的很多列数据的情况下(例如：select a,b,c,d...等多个投影列)，访问表中的数据记录又非常离散时，由于列存数据库是每列数据存储在一起，会造成大量的离散I/O，引起I/O性能低下，严重影响执行性能。当采用全冗余混合存储时，同一份数据既有行存储格式又有列存储格式，又会导致需要存储的数据膨胀一倍以上(两份数据)，对写入操作的效率和磁盘空间都产生较大的压力。

实施例一

本实施例提供数据库中对同一张表内的数据在既有行存储格式又有列存储格式的混合存储状态下，如何根据业务SQL评估和统计表中各个列的行存和列存权重，并且通过统计信息对两种存储格式的数据进行自动转化的方法，同时也支持管理员根据统计信息手工指定，根据使用场景的SQL和表结构评估适合行存的列以及适合列存的列，具体过程包括以下内容：

当业务中较多的SQL中涉及表的列多用于单列过滤条件、两表join的关联条件(例如select from t1 where a＝***、select from t1 join t2 on t1.a＝t2.a中t1/t2表中的a列)，或者出现在select语句的投影列、group by以及order by涉及的列，但是涉及列的总数相对较少(例如一个100列的表，查询类似于select a,b from**group by a,b,corder by d中的a、b、c、d列。以此为例，不限于此，实际情况可能比这个简单或者复杂，但都能归于上面的原则)，则将涉及的相关列指定为列存储格式。

当业务中较多的SQL中涉及表的列多用于是：a)select*(或者select a,b,c,d,e……等大量列)；b)Group by/order by a,b,c,d,e……等大量列且SQL中还包含单列过滤条件或多表关联(join)(可能会使后面访问数据相对离散)时，通常将这些涉及列指定为行存储格式。

当然，复杂SQL中可能存在部分列同时应用于上面两种场景，则这部分列同时在行存和列存中存储(部分列冗余存储)，权重计算规则为：

1、初始设置表的每一列的列存储权重对象col_weight＝0以及行存储权重对象row_weight＝0；

2、当列出现上面原则中第一种情况的“单列过滤条件或者两表join的关联条件”时，设置列权重col_weight+＝COL_HIGHT_WEIGHT；

3、当出现在上面原则中第一种情况的“投影列、group by以及order by涉及的列”时，如果每个算子(“group by”、“order by”、“select投影列”分别是一个算子)中出现的列数量<＝COL_MIN，则设置列权重col_weight+＝COL_HIGHT_WEIGHT。

4、如果不满足上面的情况但是算子中出现的列数<＝COL_MAX且小于表总列数的COL_PERCENT，则设置列权重col_weight+＝COL_LOW_WEIGHT

5、当出现在上面原则中第二种情况的“投影列、group by以及order by涉及的列”中，且算子中涉及的列数>ROW_MIN或者占表总列数>＝ROW_PERCENT时，则设置行权重row_weight+＝ROW_HIGHT_WEIGHT。

如果不满上述2、3、4情况时，设置行权重row_weight+＝ROW_LOW_WEIGHT存储类型规则根据权重进行设置，具体设置如下：

C、同时满足上面两种情况时，则对该列同时在行存和列存中存储(冗余存储)；

当不满足条件A、B、C时，说明该列的使用频度较低，通常不对业务整体性能产生影响，则该列使用列存默认存储类型，可以获得较好的压缩比，降低磁盘空间占用率。上面规则中出现的参数均可支持配置(通常会根据实际业务情况进行调整)，本实施例设置的默认值为，以此为例，不限于此，可以根据实际需要进行设置：COL_HIGHT_WEIGHT＝5；COL_LOW_WEIGHT＝2；COL_MIN＝3；COL_MAX＝8；COL_PERCENT＝0.2；COL_STORAGE_WEIGHT＝100；ROW_HIGHT_WEIGHT＝5；ROW_LOW_WEIGHT＝2；ROW_MIN＝20；ROW_PERCENT＝0.5；ROW_STORAGE_WEIGHT＝100。

实施例二

本实施例还提供基于数据库中数据混合存储动态方法的应用，具体的执行流程如下描述：

1)初始状态时，业务涉及表中列的存储属性默认为列存储，也支持建表时指定部分列为行存或行列冗余存储；

2)打开统计开关，并根据上面描述的规则进行统计，以上col_weight和row_weight统计信息通常是在一个完整的业务周期内进行统计评估，例如一天或者一周。根据统计时间的不同，通常需要调整COL_STORAGE_WEIGHT和ROW_STORAGE_WEIGHT参数。

3)在完成统计、评估后，自动关闭统计逻辑，根据统计结果设置各列的存储属性。

4)启动后台线程根据新的列存储属性调整数据的存储结构。通常该线程会选择资源压力较小的时间段进行逐个表的处理。在某个表的处理过程中，不影响该表的读写操作(存在短时间的独占进行存储切换)。

5)处理完成后，设置状态并更新统计信息以及完成时间、修改涉及表的信息等到系统表中，可供管理人员进行查询分析，管理员或者业务开发人员可以根据统计信息人工指定表中列的存储属性。

进一步地，根据存储资源的剩余空间情况，可以对上述规则涉及参数进行调整。如：当存储空间剩余小于15％时，增加ROW_STORAGE_WEIGHT权重，使得数据存储结构更偏向于压缩比更高的列存结构，并减少冗余存储的数据部分。

下面结合附图通过具体实施例详细说明本发明的数据库中数据混合存储动态调整方法的具体应用。

如图2所示，应用场景为T1表以n1列为过滤条件查找n1、c1、c2列时存储层模式。在此类场景中只需要针对少部分需要的列进行冗余，就可以极大的提高IO层的读效率，并且只损失很小的写效率，数据膨胀也很小。

如图3所示，如果运行业务改变，例如查询的SQL在一段时间内增加了新的类型，具体规则可以根据实际应用场景进行配置：

Select T1.n1,T1.c1,T1.c2 from T1,T2 where T1.c1＝T2.c1；

那么统计信息中对c1的列存权重会增加。统计周期结束后，后台则可以根据事先定好的规则(根据时间、资源使用情况等)，选择空闲时间通过后台线程增加一个冗余的列存部分(不影响已有数据的读写操作，处理过程中不允许做对改表DDL操作)。同理也可以根据统计信息增加一个冗余行存类型的列，同时根据实际使用情况也可清理冗余的列存部分。

如图4所示，如果投影列涉及的列发生了变化，例如原来：select T1.n1,T1.c1,T1.c2,现在：select T1.n1,T1.c2，那么T1.c1在投影列中的行存权重就会降低，当统计的信息满足一定阈值的情况下，可以通过后台进程对行存数据进行重整，清理掉行存中冗余的列c1(c1列必须在列存储中存在)，降低空间占用。同理也根据实际情况增加行存部分的数据。

同理，也可以根据统计信息对冗余的列存部分的数据进行清理。

实施例三

本实施例提供一种存储设备，存储设备上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现实施例一所述的数据库中数据混合存储动态调整方法对应的步骤。

实施例四

本实施例提供一种计算机程序，包括计算机程序指令，其中，所述程序指令被处理器执行时用于实现实施例一所述数据库中数据混合存储动态调整方法对应的步骤。

综上所述，本发明根据业务SQL特征和表结构的统计信息，动态调整行存和列存上的列关系，能够一定程度上优化应用场景变化(SQL特点变化)带来的性能下降问题。由于业务场景、数据结构和数据量可能发生改变，所以简单固定行存储+列存储的混合存储，并不能保证一直适用。所以随着业务、表结构以及数据的变化，能够动态的调整表中各列数据的存储格式会极大的增加行列混存的适用场景，并优化存储的性能。但是需要说明的是，这种变化也不会太过频繁，通常来说每过一段时间(如1个月)，对业务SQL进行一个业务周期(通常是一天)统计评估和整理即可。

优选地，以上对行存储和列存储的管理也可以通过人工根据统计信息进行直接的管理(创建、更改、删除)，可以把剩余有效的存储空间大小也作为一个动态调整行存、列存数据的参考维度，当剩余空间紧张时，减少冗余数据的存储量并使存储格式更偏向于拥有更高压缩比的列存格式。

最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在本申请要求保护范围之内。

Claims

1.一种数据库中数据混合存储动态调整方法，其特征在于根据设定的权重计算规则、使用场景的SQL和表结构评估适合行存的列以及适合列存的列，具体过程为：

场景1：当业务中较多的SQL中涉及表的列总数相对较少，将涉及的相关列指定为列存储格式，其中，场景1适用情况包括：列多用于单列过滤条件、两表join的关联条件或者出现在select语句的投影列、group by以及order by涉及的列；

场景2：当业务中较多的SQL中涉及表的列总数相对较多时，将涉及相关列指定为行存储格式，其中，场景2的适用情况包括：select*大量列或者投影列、group by以及order by涉及大量列且SQL中还包含单列过滤条件或多表关联；

其中，权重计算规则设定为：

S4、如果不满足S2～S3情况但是算子中出现的列数<＝COL_MAX且小于表总列数的COL_PERCENT，则设置列权重col_weight+＝COL_LOW_WEIGHT；

S6、如果不满上述S2、S3、S4、S5所有情况时，设置行权重row_weight+＝ROW_LOW_WEIGHT；

S7、存储类型规则根据权重进行分别设置，

具体过程为：

B、当某一列的row_weight>＝ROW_STORAGE_WEIGHT，设置该列为行存存储格式；

D、当不满足条件A、B、C时，则该列使用列存默认存储类型。

2.根据权利要求1所述的数据库中数据混合存储动态调整方法，其特征在于，通过人工根据统计信息对行存储和列存储进行创建、更改、删除。

3.基于权利要求1所述的数据库中数据混合存储动态方法的应用方法，其特征在于具体过程为：

2)根据权重计算规则进行统计，其中，col_weight和row_weight统计信息是在一个完整的业务周期内进行统计评估，根据统计时间的不同，调整COL_STORAGE_WEIGHT和ROW_STORAGE_WEIGHT参数；

4)启动后台线程根据新的列存储属性调整数据的存储结构；

5)处理完成后，设置状态并更新统计信息以及完成时间、修改涉及表的信息到系统表中。

4.一种存储设备，其特征在于，所述存储设备上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现权利要求1～3任一项所述的数据库中数据混合存储动态调整方法对应的步骤。