CN113515537A

CN113515537A - 一种实现生命周期表垃圾数据免维护的方法

Info

Publication number: CN113515537A
Application number: CN202111065798.4A
Authority: CN
Inventors: 赵伟; 崔杰
Original assignee: Tianjin Nankai University General Data Technologies Co ltd
Current assignee: Tianjin Nankai University General Data Technologies Co ltd
Priority date: 2021-09-13
Filing date: 2021-09-13
Publication date: 2021-10-19
Anticipated expiration: 2041-09-13
Also published as: CN113515537B

Abstract

本发明提供了一种实现生命周期表垃圾数据免维护的方法，将数据存入预先建立的生命周期表，生命周期表由远到近期划分多个连续的时间段，依次为P1、P2、P3，每存入新数据，表内历史数据进行一次流转，流转步骤为：对生命周期表加锁；清除P2分区中垃圾数据，将P3中最先存入的部分数据向P2中拷贝，并作为P2中最新数据存放；清除P1分区中垃圾数据，将P2中最先存入的部分数据向P1中拷贝,并作为P1中最新数据存放；更新生命周期表的内部系统时间；删除P3中已被拷贝到P2的数据；删除P2中已被拷贝到P1的数据；解锁。本发明所述的生命周期表用分区边界来控制数据可见性和可查询性，采用先拷贝再删除的方式，即不产生任何额外的成本，效率高，流转可靠。

Description

一种实现生命周期表垃圾数据免维护的方法

技术领域

本发明属于数据库领域，尤其是涉及一种实现生命周期表垃圾数据免维护的方法。

背景技术

生命周期表，顾名思义就是在时间轴的方向通过分区技术拆分并管理数据的一种方法。主要是为了使具有相同或相似属性的数据存放于一处（同一分区），这样在数据处理的时候操作会比较方便和独立。同时，为每个分区赋予时间生命，并有条件地允许不同分区间生命周期的转换，从而实现完整数据生命周期的管理和使用。但是，在数据在分区间单向流转（从新到旧的方向）的时候，由于使用中各种因素的叠加所造成的复杂性（如网络，业务繁忙程度等等），让系统设计者将会面临需要决定某些数据在当前分区有效性的问题，即是否为垃圾数据。如果对垃圾数据处理不好，后果就会或影响性能或造成结果错误的严重问题。因此，针对这种背景衍生出本发明的内容。

发明内容

有鉴于此，本发明旨在提出一种实现生命周期表垃圾数据免维护的方法，以解决传统方法中在使用数据或者插入数据的时候对数据进行有效性判断，造成对性能影响较大的问题，以及数据流转的过程中因数据繁忙出错，垃圾数据没有及时处理造成的数据对应分区失效的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种实现生命周期表垃圾数据免维护的方法，将数据存入预先建立的生命周期表，所述生命周期表由远期到近期依次划分M个连续的时间段，生命周期表中每存入一次新数据时进行一次流转；

流转方法为将第N个时间段中历史留存的垃圾数据清除后，将第N个时间段中的历史数据向第N-1个时间段中进行拷贝，然后待生命周期表中内部系统时间更新后，将被拷贝的数据从第N个时间段中删除,

其中，M≥N≥2；

除最远期端和最近期端，每个时间段两端的时刻值均由内部系统时间控制更新；在所有需要拷贝的时间段均向前一个时间段拷贝完成后,生命周期表的内部系统时间进行更新。

进一步的，所述生命周期表由远期到近期依次划分M个连续的时间段为三个连续的时间段，依次为冷数据段P1、温数据段P2、热数据段P3，每当向生命周期表中存入新数据，生命周期表内历史数据进行一次流转，所述流转具体步骤为：

S1、对生命周期表加锁；

S2、清除P2分区中历史留存的垃圾数据；

S3、将热数据段P3中最先存入的部分数据向温数据段P2中拷贝，并作为温数据段P2中最新数据存放，若拷贝过程中出现异常暂停，则自动跳转执行步骤S9后退出准备新一次流转；

S4、清除P1分区中历史留存的垃圾数据；

S5、将温数据段P2中最先存入的部分数据向冷数据段P1中拷贝,并作为冷数据段P1中最新数据存放，若拷贝过程中出现异常暂停，则自动跳转执行步骤S9后退出准备新一次流转；

S6、更新生命周期表的内部系统时间，所述内部系统时间为记录了生命周期表在上一次成功进行数据流转的时间；

S7、删除热数据段P3中已被拷贝到温数据段P2的数据；

S8、删除温数据段P2中已被拷贝到冷数据段P1的数据；

S9、对生命周期表进行解锁。

进一步的，预先建立的生命周期表中，所述生命周期表建立具体步骤：

定义生命周期表内容，生命周期表内容包括标识段id，姓名段name, 日期段d；

指定日期段d为分区字段，对于任意一行数据将会按照日期段d来进行分区存储；

定义每个分区的范围,采用“当前日期”为基准线,采用时间差函数date_sub(curdate(), interval n month)进行时间段划分，其中，curdate()为获取生命周期表建表的日期函数，interval n month表示n个月的时间跨度；

所述当前日期是建表时的系统时间，采用“当前日期”为基准线是给生命周期表内部时间赋予一个初始值。

进一步的，定义每个分区的范围分为：

热数据段P3定义区间：当前内部系统时间X个月内至无穷新；

温数据段P2定义区间：当前内部系统时间Y个月内至当前内部系统时间X个月前；

冷数据段P1定义区间：过去无穷远至当前内部系统时间Y个月前；

X小于Y。

进一步的，所述X取值为1，所述Y取值为5。

进一步的，步骤S3中，热数据段P3中最先存入的部分数据为：

P3左边界到当前内部系统时间之间的时间段内记录的数据。

进一步的，步骤S5中，温数据段P2中最先存入的部分数据为：

P2左边界到P2右边界之间的时间段内记录的数据。

进一步的，步骤S3及步骤S5中所述的准备新一次流转的方法，包括手动流转、自动流转，

所述手动流转为手动执行流转指令重新进行一次流转，

所述自动流转是将本次需要流转的数据随下一次流转数据一同进行流转。

进一步的，步骤S6中，更新生命周期表的内部系统时间是将之前的内部系统时间更新为当前操作系统时间。

进一步的，步骤S1中，对生命周期表加锁，以确保不能进行建表语句DDL操作，不能进行数据操作语句DML操作，能进行查询工作。

相对于现有技术，本发明所述的一种实现生命周期表垃圾数据免维护的方法具有以下有益效果：

（1）本发明所述的生命周期表使用内部系统的更新和分区边界来控制数据的访问和强制失效，高效流转数据，同时为保证数据不丢失，采用先拷贝再删除的方式，即不产生任何额外的成本，也保证数据的可靠流转，高效稳定。

（2）本发明所述的一种实现生命周期表垃圾数据免维护的方法增加清除垃圾数据的步骤，若上一次流转出现异常退出，步骤S2、S4对上一次流转异常留下的垃圾数据进行清除，步骤S7、S8对正常流转后出现的垃圾数据进行清理，全流程减少垃圾数据，保证流转过程顺畅整洁。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述一种实现生命周期表垃圾数据免维护的方法的流程图；

图2为本发明实施例所述的未发生数据流转时间分界图；

图3为本发明实施例所述的数据流转成功后时间分界图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

其中，M≥N≥2；

在本实施例中以M取值为三进行举例：

如图1所示，所述生命周期表由远期到近期依次划分M个连续的时间段为三个连续的时间段，依次为冷数据段P1、温数据段P2、热数据段P3，每当向生命周期表中存入新数据，生命周期表内历史数据进行一次流转，所述流转具体步骤为：

S1、对生命周期表加锁，以确保不能进行建表语句DDL操作，不能进行数据操作语句DML操作，能进行查询操作；

S2、清除P2分区中历史留存的垃圾数据，

Delete from 表名 partition(p2) where d >= ‘P3的左边界’，

热数据段P3定义区间为当前内部系统时间一个月内至无穷新，

S3、将热数据段P3中最先存入的部分数据向温数据段P2中拷贝，并作为温数据段P2中最新数据存放，

Insert into 表名 partition(p2) select * from 表名 partition(p3) whered >= P3左边界 d < 当前内部系统时间，

此时，内部系统时间不变，在时间分区边界不变的情况下，热数据段P3中早期部分数据相对于温数据段P2不可见，相对于热数据段P3可见；

若拷贝过程中出现异常暂停，自动跳转执行步骤S9后退出准备下一次流转；

退出准备新一次流转时可以根据生产需要选择手动流转或自动流转，

手动流转为手动执行流转指令重新进行一次流转，流转指令为执行“alter table表名 rebuild partition”语句，通过此指令启动数据流转，以重新整理分区数据；

自动流转是将本次需要流转的数据随下一次流转数据一同进行流转；

若生产工作中要求信息及时做好流转存储，执行手动流转；若生产工作中不要求信息及时的流转存储，则执行自动流转。

S4、清除P1分区中历史留存的垃圾数据，

Delete from 表名 partition(p1) where d >= P2的左边界，

温数据段P2定义区间为当前内部系统时间五个月内至当前内部系统时间一个月前，

S5、将温数据段P2中最先存入的部分数据向冷数据段P1中拷贝,并作为冷数据段P1中最新数据存放，

Insert into 表名 partition(p1) select * from 表名 partition(p2) whered >= P2左边界 and d < P2左边界+1 month；

内部系统时间不变，在时间分区边界不变的情况下，温数据段P2中早期部分数据相对于冷数据段P1不可见，相对于温数据段P2可见；

S6、更新生命周期表的内部系统时间，所述内部系统时间为记录了生命周期表在上一次成功进行数据流转的时间：

Alter table 表名 flush ‘dlm_cur_datetime’=‘当前操作系统时间’，

上述语句中显示的dlm_cur_datetime就是流转时间，流转成功后，更新生命周期表的内部系统时间是将之前的内部系统时间更新为当前操作系统时间；

设置的单引号‘’，是表示单引号内的内容为一个整体。

S7、删除热数据段P3中已被拷贝到温数据段P2的数据；

Delete from 表名 partition(p3) where d < 当前内部系统时间；

S8、删除温数据段P2中已被拷贝到冷数据段P1的数据：

Delete from 表名 partition(p2) where d < P2左边界+1 month；

S9、对生命周期表进行解锁。

生命周期表建立具体方法步骤：

定义每个分区的范围,采用“当前日期”为基准线,采用时间差函数date_sub(curdate(), interval n month)进行时间段划分，其中，curdate()为获取生命周期表建表时刻的日期函数，interval n month表示n个月的时间跨度；

所述当前日期是建表时的系统时间，采用“当前日期”为基准线是给生命周期表内部时间赋予一个初始值，后期，生命周期表存入新数据，在数据成功流转成功后，会更新内部系统时间，curdate()获取生命周期表内部系统时间。

定义每个分区的范围分为：

热数据段P3定义区间：当前内部系统时间一个月内至无穷新；

温数据段P2定义区间：当前内部系统时间五个月内至当前内部系统时间一个月前；

冷数据段P1定义区间：过去无穷远至当前内部系统时间五个月前。

生命周期表建立具体算法如下：

Show create table 表名;

Create table t(id int,name varchar(10),d date)

partition by range(d)

(

partition p1 values less than (date_sub(curdate(), interval 5month)),

partition p2 values less than (date_sub(curdate(),interval 1 month)),partition p3 values less than MAXVALUE

)。

此外，热数据段P3、温数据段P2、冷数据段P1均分别记录时间段两端边界时刻值，可以将每个时间段两端的边界时刻值均转成64位整数进行存储，整数值比较与时刻值比较相比，整数值比较会要快和便捷，每个时间段的分区边界是左闭右开，通过整数记录每个时间段数据范围。

生命周期表使用分区边界控制来使数据强制失效，同时为保证数据不丢失，采用先拷贝再删除的方式；将热数据段P3中最先存入的部分数据向温数据段P2中拷贝，并作为温数据段P2中最新数据存放；将温数据段P2中最先存入的部分数据向冷数据段P1中拷贝,并作为冷数据段P1中最新数据存放；

在不进行生命周期表内部时间调整时，拷贝到P2、P1中的数据是不可见的（如果这时系统出现问题，由于内部系统时间及生命周期表的分区边界没有变化，各分区至展示对应时间段的数据，被拷贝出的分区的被拷贝数据暂未被删除数据是可见的依旧可以进行查询，对于拷贝进的分区拷贝数据是不可见的），当流转成功，生命周期表内部系统时间进行调整后，拷贝到P2、P1中的数据是可见的，即可将P3、P2中之前被拷贝出的数据进行删除，即不产生任何额外的成本，也保证数据的可靠流转，高效稳定。

如图2所示，生命周期表如果在数据静态不变的情况下，操作系统的时间变化到12月份，若没有存入新数据进行数据流转，内部系统时间仍为11月份不发生变化，所有的分区边界也均没有变化；

数字为月份，P3分区仍为10月份以后的数据（根据定义为内部系统时间减一个月），P2分区为6月份到9月份的数据（根据定义为当前内部系统时间减5个月到当前日期减一个月），P1为5月份之前的数据（根据定义为当前内部系统时间减5个月之前的数据）；

若在12月份，有新数据存入，发生数据流转，P3中历史数据从P3流转到P2，P2中的历史数据从P2流转到P1（为保证数据不丢失，所以是先拷贝再删除）；

对P3而言，首先操作系统时间变成12月份（此时内部系统时间不变），10月份的数据需要流转到P2，因此，先将10月份数据拷贝到P2，由于内部系统时间不变，P3仍可以正常访问10月份数据，而拷贝到P2中10月份数据不在P2的时间段范围内，仍不可访问，如果这时系统出现问题，由于内部系统时间没有变化，P3中10月份的数据仍然可见，P2中的10月份数据作为垃圾数据对P2的数据没有任何影响，10月份的数据有两份，即使流转出现异常，P3中也有原始数据，但是对于系统本身来讲，没有增加检索处理的代价也不会影响结果准确性，同理，6月份数据从P2流转到P1的过程是一样的；

如图3所示，数据均被成功流转，10月份数据被流转到P2分区，6月份数据被流转到P1分区，最后，对于P3中不可见的10月份数据以及对于P2分区中不可见的6月份数据均会被删除；

由于分区边界的有效控制，保证数据及时在流转异常情况下，也有完整的原始数据留存，同时流转过程中，未流转完成的数据免于维护不会给系统在查询过程中增加任何的代价。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种实现生命周期表垃圾数据免维护的方法，其特征在于：将数据存入预先建立的生命周期表，所述生命周期表由远期到近期依次划分M个连续的时间段，生命周期表中每存入一次新数据时进行一次流转；

其中，M≥N≥2；

2.根据权利要求1所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：所述生命周期表由远期到近期依次划分M个连续的时间段为三个连续的时间段，依次为冷数据段P1、温数据段P2、热数据段P3，每当向生命周期表中存入新数据，生命周期表内历史数据进行一次流转，所述流转具体步骤为：

S1、对生命周期表加锁；

S2、清除P2分区中历史留存的垃圾数据；

S4、清除P1分区中历史留存的垃圾数据；

S7、删除热数据段P3中已被拷贝到温数据段P2的数据；

S8、删除温数据段P2中已被拷贝到冷数据段P1的数据；

S9、对生命周期表进行解锁。

3.根据权利要求2所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：预先建立的生命周期表中，所述生命周期表建立具体步骤：

4.根据权利要求2所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：定义每个分区的范围分为：

热数据段P3定义区间：当前内部系统时间X个月内至无穷新；

X小于Y。

5.根据权利要求4所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：所述X取值为1，所述Y取值为5。

6.根据权利要求4所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：步骤S3中，热数据段P3中最先存入的部分数据为：

P3左边界到当前内部系统时间之间的时间段内记录的数据。

7.根据权利要求4所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：步骤S5中，温数据段P2中最先存入的部分数据为：

P2左边界到P2右边界之间的时间段内记录的数据。

8.根据权利要求2所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：步骤S3及步骤S5中所述的准备新一次流转的方法，包括手动流转、自动流转，

所述手动流转为手动执行流转指令重新进行一次流转，

9.根据权利要求2所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：步骤S6中，更新生命周期表的内部系统时间是将之前的内部系统时间更新为当前操作系统时间。

10.根据权利要求2所述的一种实现生命周期表垃圾数据免维护的方法，其特征在于：步骤S1中，对生命周期表加锁，以确保不能进行建表语句DDL操作，不能进行数据操作语句DML操作，能进行查询工作。