CN109359107A - 数据库清理方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开了一种数据库清理方法，所述方法包括：连接数据库获取清理策略表；创建子进程，并将清理策略ID传入所述子进程，其中，所述清理策略ID存放于所述清理策略表；检查全局参数标识的状态，若所述全局参数标识为“不可执行”，对所述全局参数标识进行监测；若所述全局参数标识为“可执行”，启动所述子进程进行清理。本发明的方法通过将清理策略的信息记录在清理策略表中，改变目前清理策略分散在各个脚本的现状，使得清理程序可以通过清理策略表对清理策略进行统一的控制管理，在灵活方便的同时降低了数据之间清理的关联度，使得数据库清理时减少了误删除数据的风险，实现了数据库清理的安全、稳定、高效，提高系统的稳定性和安全性。

Description

数据库清理方法、系统、装置及存储介质

技术领域

本发明涉及数据处理领域，更为具体而言，涉及一种可配置、自动化的数据库清理方法、系统、装置及存储介质。

背景技术

随着信息技术日新月异的发展，物联网、云计算、人工智能得到快速发展，智能设备得以迅速普及。目前，以数据驱动业务的模式迅速发展，例如基于大数据分析为企业决策作指导，以更好的服务用户。大数据挖掘对驱动业务增长、企业发展起到至关重要的作用。

大数据对各大互联网企业越来越重要，但如何准确、安全迅速地删除数据库无用客户数据，保证应用内业务数据的有效完整以及查询的效率已经成为企业管理者面临的核心问题之一。同时，随着用户群的日益广泛，用户体验越来越重要，如何保证应用系统的安全、稳定、高效愈发重要。

目前，数据库表清理大多采用一种减少数据库占用空间的方法，主要原理是直接使用数据库DELEE命令或者TRUNCATE命令删除数据库表中的记录。数据库表清理的实现者通过分散单独的删除程序对数据库记录做删除操作，如果需要新增清理策略或者相关清理策略的变动维护，都需要实现者找到指定的清理程序，针对变动的数据表清理策略做相关的维护操作。

虽然目前大多数据库支持DELETE和TRUNCATE命令，但对实现者来说，实现对一个数据表的清理就需要额外单独编写清理程序，每新增一个数据表清理都会产生一个清理程序，每变动一个数据表的清理策略都要找到原先的清理程序，从而增加实现者的使用维护负担，增加了应用出错的风险。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种可配置、自动化的数据库清理方法、系统、装置及存储介质，通过将清理策略存储在清理策略表中，使得清理程序可以通过清理策略表对清理策略进行统一的控制管理，从而降低上线时出错的风险，提高系统的稳定性和安全性。

根据本发明的实施方式，提供了一种数据库清理方法，所述方法包括：连接数据库获取清理策略表；创建子进程，并将清理策略ID传入所述子进程，其中，所述清理策略ID存放于所述清理策略表；检查全局参数标识的状态，若所述全局参数标识为“不可执行”，对所述全局参数标识进行监测；若所述全局参数标识为“可执行”，启动所述子进程进行清理。

在本发明的一些实施方式中，若所述全局参数标识为“不可执行”，对所述全局参数标识进行监测包括：根据预设的周期对所述全局参数标识进行循环检测；若在预设的时间内所述全局参数标识的状态变更为“可执行”，启动所述子进程进行清理；若在预设的时间内所述全局参数标识的状态未发生变更，退出监测并结束所述子进程。

在本发明的一些实施方式中，在创建所述子进程之前，断开与所述数据库的连接。

在本发明的一些实施方式中，若所述全局参数标识为“可执行”，启动所述子进程进行清理包括：连接数据库，根据所述子进程中的清理策略ID读取清理策略；查找日志，若从所述日志中查找到清理目标的清理记录，结束所述子进程；若未查找到所述清理目标的清理记录，根据所述清理策略进行清理。

在本发明的一些实施方式中，所述方法还包括：检查所述清理策略的生效标志的状态；若所述生效标志的状态为“失效”，结束所述子进程并记录日志。

同时，本发明提供了一种数据库清理系统，所述系统包括：通讯模块，用于连接数据库获取清理策略表；生成模块，用于创建子进程，并将清理策略ID传入所述子进程，其中，所述清理策略ID存放于所述清理策略表；清理模块，用于检查全局参数标识的状态，若所述全局参数标识为“不可执行”，对所述全局参数标识进行监测；若所述全局参数标识为“可执行”，启动所述子进程进行清理。

在本发明的一些实施方式中，所述清理模块包括：监测单元，用于在所述全局参数标识为“不可执行”时，对所述全局参数标识进行监测，包括：根据预设的周期对所述全局参数标识进行循环监测；若在预设的时间内所述全局参数标识的状态变更为“可执行”，启动所述子进程进行清理；若在预设的时间内所述全局参数标识的状态未发生变更，退出监测并结束所述子进程。

在本发明的一些实施方式中，所述通讯模块还用于：在创建所述子进程之前，断开与所述数据库的连接。

在本发明的一些实施方式中，所述清理模块包括：执行单元，用于在所述全局参数标识为“可执行”时，启动所述子进程进行清理，包括：连接数据库，根据所述子进程中的清理策略ID读取清理策略；查找日志，若从所述日志中查找到清理目标的清理记录，结束所述子进程；若未查找到所述清理目标的清理记录，根据所述清理策略进行清理。

在本发明的一些实施方式中，所述执行单元还用于：检查所述清理策略的生效标志的状态；若所述生效标志的状态为“失效”，结束所述子进程并记录日志。

此外，本发明提供了一种数据库清理装置，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令从而实现前述任一项的数据库清理方法。

本发明还提供了一种计算机存储介质，存储有一条或多条计算机程序，所述一条或多条计算机程序在执行时实现前述任一项的数据库清理方法。

本发明的实施方式通过将清理策略的信息记录在清理策略表中，改变目前清理策略分散在各个脚本的现状，使得清理程序可以通过清理策略表对清理策略进行统一的控制管理，在灵活方便的同时降低了数据之间清理的关联度，使得数据库清理时减少了误删除数据的风险，实现了数据库清理的安全、稳定、高效，提高系统的稳定性和安全性。

附图说明

为了便于理解本发明，以下通过具体实施方式并结合附图对本发明进行具体说明。

图1是根据本发明实施方式的一种数据库清理方法的流程示意图；

图2是根据本发明实施方式的一种数据库清理系统的框图。

具体实施方式

以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。

图1是根据本发明实施方式的一种数据库清理方法的流程示意图，在本发明的实施方式中，参照图1，该方法包括：

100：连接数据库获取清理策略表；

101：创建子进程，并将清理策略ID传入子进程；

其中，清理策略ID是清理策略的唯一序列号，存放于清理策略表中；

检查全局参数标识的状态，

若全局参数标识为“不可执行”，则执行处理：

102：对该全局参数标识进行监测；

若全局参数标识为“可执行”，则执行处理：

103：启动子进程进行清理。

可选的，在执行处理101之前，可以断开与数据库之间的连接。

在本发明的实施方式中，通过将清理策略记录在清理策略表中，实现对清理的统一管理。优选的，清理配置表可以是数据库表，用以记录清理配置，每个清理策略使用一条或多条数据库记录表示，方便修改、新增数据库表的清理策略。

同时，在本发明的实施方式中，每个清理策略都拥有唯一的清理策略ID，该清理策略ID存放于清理策略表中，方便在使用时进行调用。可选的，在清理策略表中还可以记录清理的最高并发、是否执行等清理参数，以及表明该清理策略是否生效的生效标志，以此实现在数据库、数据库表两个级别上对数据库清理进行控制。

具体的，在本发明的实施方式中，处理102可以通过以下方式实现：

根据预设的周期对全局参数标识进行循环检测；若在预设的时间内全局参数标识的状态变更为“可执行”，则启动子进程进行清理；若在预设的时间内全局参数标识的状态未发生变更，则退出监测并结束子进程。

同样的，在本发明的实施方式中，处理103可以通过以下方式实现：

连接数据库，根据子进程中的清理策略ID读取清理策略；查找日志，若从该日志中查找到清理目标的清理记录，则结束子进程；若未查找到清理目标的清理记录，则根据清理策略进行清理。优选的，在本发明的实施方式中，还可以在查找日志之前，检查该清理策略的生效标志的状态，若生效标志的状态为“失效”，则结束该子进程并记录日志。

具体而言，在发明的实施方式中，清理程序主进程启动后，首先连接数据库，若连接数据库失败则自动重试若干次，次数可以是预设的固定次数，也可是根据需要清理的数据从参数表中读取重试的次数。其次，从清理策略表里读取清理策略到数组，然后断开数据库连接创建子进程(具体子进程个数受系统参数表控制)，根据清理目标选取清理策略，将相应的清理策略ID传入子进程，每次创建子进程，检查全局参数标识的CLRTCTRL(可执行标志)开关是否关闭，该标志为“可执行”时，进入后续的具体数据库表的清理，该标志为“不可执行”时，每隔一定时间，例如一分钟重复依次监测，若标志一直为“不可执行”状态，则等待循环监测到某一时间点后退出。

程序子进程启动后，再次连接数据库，根据子进程中的清理策略ID读取清理策略表中的清理策略，从日志判断当日该清理目标是否已经清理，如果已经清理，则退出；同时，根据清理策略，设定每次清理提交的记录数和总清理上限，开始清理COMMIT(数据库提交事务的命令)提交后检查清理策略的生效标志，如果失效则写日志后结束子进程的处理。

本发明的实施方式通过将清理策略的信息记录在清理策略表中，改变目前清理策略分散在各个脚本的现状，使得清理程序可以通过清理策略表对清理策略进行统一的控制管理，在灵活方便的同时降低了数据之间清理的关联度，使得数据库清理时减少了误删除数据的风险，实现了数据库清理的安全、稳定、高效，提高系统的稳定性和安全性。

图2是根据本发明实施方式的一种数据库清理系统1的框图，参照图2，该数据库清理系统1包括：通讯模块11，用于连接数据库获取清理策略表；生成模块12，用于创建子进程，并将清理策略ID传入该子进程，其中所述清理策略ID存放于清理策略表；清理模块13，用于检查全局参数标识的状态，若全局参数标识为“不可执行”，则对该全局参数标识进行监测；若全局参数标识为“可执行”，则启动子进程进行清理。

在本发明的实施方式中，清理模块13包括监测单元131，用于在全局参数标识为“不可执行”时，对所述全局参数标识进行监测。具体的，包括：根据预设的周期对全局参数标识进行循环监测；若在预设的时间内全局参数标识的状态变更为“可执行”，则启动子进程进行清理；若在预设的时间内全局参数标识的状态未发生变更，则退出监测并结束子进程。

在本发明的实施方式中，通讯模块11还用于在创建子进程之前，断开与数据库的连接。

在本发明的实施方式中，清理模块13包括执行单元132，用于在全局参数标识为“可执行”时，启动子进程进行清理。具体的，包括：连接数据库，根据子进程中的清理策略ID读取清理策略；查找日志，若从该日志中查找到清理目标的清理记录，则结束子进程；若未查找到清理目标的清理记录，则根据清理策略进行清理。

在本发明的实施方式中，执行单元132还用于：检查清理策略的生效标志的状态；若该生效标志的状态为“失效”，则结束子进程并记录日志。

同时，在可选的实施方式中，该数据库清理系统1还可以包括可视化的前端，通过将清理策略表在可视化前端展出，并通过可视化前端对清理策略表进行新增、删除、修改、标识更改等操作，对清理程序进行控制，严格保证其线上的安全性，减低误删的几率。

可选的，本发明实施方式提供了一种数据库清理装置，该数据库清理装置包括存储器，用于存储一条或多条计算机指令；处理器，用于调用并执行所述一条或多条计算机指令从而实现本发明前述实施方式或实现方式所提供的数据库清理方法。可选地，在本发明实施方式的一种实现方式中，所述数据库清理装置还可以包括用于进行数据通信的输入输出接口。例如，所述处理装置可以是计算机、智能终端、服务器等。

本发明实施方式还提供了一种计算机存储介质，存储有一条或多条计算机指令，用于在执行时实现本发明前述实施方式或实现方式提供的数据库清理方法。例如，所述存储介质可以包括硬盘、软盘、光盘等。

虽然本文举例描述了一些实施方式，但是，在不脱离本发明实质的前提下，可以对这些实施方式进行各种变形，所有这些变形仍属于本发明的构思，并且落入本发明权利要求所限定的保护范围。

本文所公开的具体实施方式仅用于举例说明本发明，对于本领域技术人员而言，显然可以根据本文的教导进行各种修改，可以采用各种等同的方式实施本发明，因此，本发明上述公开的特定的实施方式仅仅是示例性的，其保护范围不受在此公开的结构或设计的细节所限，除非在权利要求中另有说明。因此，上述公开的特定的示例性的实施方式可进行各种替换、组合或修改，其所有的变形都落入本文公开的范围内。在缺少本文没有具体公开的任何元件或缺少本文公开的任选的部件的情况下，本文示例性公开的数据库清理方法、系统、装置及存储介质仍可适当地实施。上述公开的所有的数值和范围也可进行一定变化。每当公开了具有下限和上限的数值范围，落入此范围内的任何数值及任何被包含的范围都被具体地公开了。具体而言，本文公开的数值的任一范围均可理解为列举了包含在较宽数值范围内的任一数值和范围。同样，除非申请人明确且清楚地另有定义，权利要求中的术语具有它们的清楚、通常的含义。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。

此外，权利要求书中的部件的数量包括一个或至少一个，除非另有说明。如果本发明中的用词或术语与其它文献中的用法或含义存在不一致，则应当以与本发明所定义的为准。

Claims (12)

1.一种数据库清理方法，其特征在于，所述方法包括：

连接数据库获取清理策略表；

创建子进程，并将清理策略ID传入所述子进程，其中，所述清理策略ID存放于所述清理策略表；

检查全局参数标识的状态，若所述全局参数标识为“不可执行”，对所述全局参数标识进行监测；若所述全局参数标识为“可执行”，启动所述子进程进行清理。

2.如权利要求1所述的方法，其特征在于，若所述全局参数标识为“不可执行”，对所述全局参数标识进行监测包括：

根据预设的周期对所述全局参数标识进行循环检测；

若在预设的时间内所述全局参数标识的状态变更为“可执行”，启动所述子进程进行清理；

若在预设的时间内所述全局参数标识的状态未发生变更，退出监测并结束所述子进程。

3.如权利要求1所述的方法，其特征在于，

在创建所述子进程之前，断开与所述数据库的连接。

4.如权利要求1所述的方法，其特征在于，若所述全局参数标识为“可执行”，启动所述子进程进行清理包括：

连接数据库，根据所述子进程中的清理策略ID读取清理策略；

查找日志，若从所述日志中查找到清理目标的清理记录，结束所述子进程；若未查找到所述清理目标的清理记录，根据所述清理策略进行清理。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

检查所述清理策略的生效标志的状态；

若所述生效标志的状态为“失效”，结束所述子进程并记录日志。

6.一种数据库清理系统，其特征在于，所述系统包括：

通讯模块，用于连接数据库获取清理策略表；

生成模块，用于创建子进程，并将清理策略ID传入所述子进程，其中，所述清理策略ID存放于所述清理策略表；

清理模块，用于检查全局参数标识的状态，若所述全局参数标识为“不可执行”，对所述全局参数标识进行监测；若所述全局参数标识为“可执行”，启动所述子进程进行清理。

7.如权利要求6所述的系统，其特征在于，所述清理模块包括：

监测单元，用于在所述全局参数标识为“不可执行”时，对所述全局参数标识进行监测，包括：

根据预设的周期对所述全局参数标识进行循环监测；

若在预设的时间内所述全局参数标识的状态变更为“可执行”，启动所述子进程进行清理；

若在预设的时间内所述全局参数标识的状态未发生变更，退出监测并结束所述子进程。

8.如权利要求6所述的系统，其特征在于，所述通讯模块还用于：

在创建所述子进程之前，断开与所述数据库的连接。

9.如权利要求6所述的系统，其特征在于，所述清理模块包括：

执行单元，用于在所述全局参数标识为“可执行”时，启动所述子进程进行清理，包括：

连接数据库，根据所述子进程中的清理策略ID读取清理策略；

查找日志，若从所述日志中查找到清理目标的清理记录，结束所述子进程；若未查找到所述清理目标的清理记录，根据所述清理策略进行清理。

10.如权利要求9所述的系统，其特征在于，所述执行单元还用于：

检查所述清理策略的生效标志的状态；

若所述生效标志的状态为“失效”，结束所述子进程并记录日志。

11.一种数据库清理装置，包括存储器和处理器，其特征在于，

所述存储器用于存储一条或多条计算机指令；

所述处理器用于调用并执行所述一条或多条计算机指令从而实现如权利要求1-5中任一项所述的方法。

12.一种计算机存储介质，存储有一条或多条计算机程序，其特征在于，所述一条或多条计算机程序在执行时实现如权利要求1-5中任一项所述的方法。