CN115098501A

CN115098501A - 一种保持在线数据库磁盘空间的方法及系统

Info

Publication number: CN115098501A
Application number: CN202210726845.3A
Authority: CN
Inventors: 张文杰; 李�一
Original assignee: CITIC Aibank Corp Ltd
Current assignee: CITIC Aibank Corp Ltd
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2022-09-23

Abstract

本发明涉及一种保持在线数据库磁盘空间的方法及系统，包括：配置数据表关系，数据表包括根表和子表；配置根表数据；配置子表数据；根据数据表关系对数据进行数据备份操作，得到备份完成的数据；根据数据表关系对数据进行数据清理操作；根据根表与子表关联结构将清理的数据进行数据恢复操作；根据数据表关系对数据进行数据删除操作。本发明一种保持在线数据库磁盘空间的方法及系统通过平衡数据增量和删除保存周期外的数据，保障空间维持在稳定水平，使系统达到可持续使用的目标。还可以有效避免系统扩展库表数量，也可减少关系型数据库磁盘的非必要扩展。

Description

一种保持在线数据库磁盘空间的方法及系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种保持在线数据库磁盘空间的方法及系统。

背景技术

在互联网应用系统中，为了应对大数据量的储存空间及查询效率，普遍采用支持事务的关系型数据库的分库分表的方案来处理。但此方案只是提高了数据容纳上限，依然存在数据储存上限。在日积月累的数据积累下，分库分表的数据库系统也会逐渐达到存储上限，届时系统依然会可不用。

发明内容

为解决现有技术的不足，本发明提出一种保持在线数据库磁盘空间的方法及系统，通过插件化为各子系统提供数据清理能力，后台配置实时实现数据表关系的维护，中间不需要侵入子系统，节省时间，子系统无感知，避免系统的不稳定的现象。

为实现以上目的，本发明所采用的技术方案包括：

一种保持在线数据库磁盘空间的方法，其特征在于，包括：

配置数据表关系，数据表包括根表和子表；

配置根表数据；

配置子表数据；

根据数据表关系对数据进行数据备份操作，得到备份完成的数据，包括：

读取数据表数据，将数据表数据处理成多叉树结构，将每个根节点加入到列表中，形成森林集合；

遍历森林集合中的每一颗树，根据配置的约束条件，对每棵树的根节点，分批次查询根表数据；

根据根表数据提取对应的子表数据，进行本批次的数据备份；

完成对森林集合的遍历，对所有满足需备份根数据条件的数据进行备份，得到备份完成的数据；

根据数据表关系对数据进行数据清理操作；

根据根表与子表关联结构将清理的数据进行数据恢复操作；

根据数据表关系对数据进行数据删除操作。

进一步地，还包括：将数据表关系更新到数据表中。

进一步地，配置根表数据包括：设置约束条件；约束条件包括：需备份根数据条件以及过滤条件。

进一步地，配置子表数据包括：设置子表名、父级依赖以及关联字段。

进一步地，根据数据表关系对数据进行数据清理操作，包括：

根据预设的清理时间扫描备份完成的数据；

判断是否存在预设的业务空闲时间；

若存在预设的业务空闲时间，则根据预设的业务空闲时间进行高速的数据清理；

若不存在预设的业务空闲时间，则全时间段进行低速的数据清理；

记录清理的数据条数、清理状态以及清理时间。

进一步地，根据根表与子表关联结构将清理的数据进行数据恢复操作，包括：根据是否存在预设的业务空闲时间进行限速处理。

进一步地，根据数据表关系对数据进行数据删除操作，包括：

S1、判断当前时间是否处于业务空闲时间；

S2、若当前时间处于业务空闲时间，则读取需删除数据的ID，并设置步长；

S3、若当前时间不处于业务空闲时间，则不进行操作；

S4、挑选需删除数据ID中的最大ID以及最小ID；

S5、判断当前ID与最大ID的大小关系；

S6、若当前ID大于最大ID，则删除操作结束；

S7、若当前ID小于最大ID，则删除数据ID为当前ID到步长间的数据；

S8、更新当前ID为当前ID加上步长；

S9、重复执行S5-S8。

本发明还涉及一种保持在线数据库磁盘空间的系统，其特征在于，包括：

配置模块，用于配置数据表关系、配置根表数据以及配置子表数据；

数据备份模块，用于根据数据表关系对数据进行数据备份操作；

数据清理模块，用于根据数据表关系对数据进行数据清理操作；

数据恢复模块，用于根据根表与子表关联结构将清理的数据进行数据恢复操作；

数据删除模块，用于根据数据表关系对数据进行数据删除操作。

本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的保持在线数据库磁盘空间的方法。

本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储数据表；

所述处理器，用于通过调用数据表，执行上述的保持在线数据库磁盘空间的方法。

本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述保持在线数据库磁盘空间的方法的步骤。

本发明的有益效果为：

采用本发明所述一种保持在线数据库磁盘空间的方法及系统，通过插件化为各子系统提供数据清理能力，后台配置实时实现数据表关系的维护，中间不需要侵入子系统，节省时间，子系统无感知，避免系统的不稳定的现象。并且针对不同的交易类型，可以进行多级数据表的关联，可以应对复杂的业务场景。在磁盘不充足的情况下，有效的提高了系统的执行效率。通过备份、清理定时执行任务，保障了磁盘空间的自动回收，保证系统可以持续的运行。另外，在进行大数据量的备份时，备份进程可能会被不可预知的因素打断，等到满足条件时，备份任务会再次启动，并迅速找到被中断的数据点继续进行备份。另外，本发明的清理阶段，适配不同业务场景，在不影响子系统交易的情况下，缓慢的进行业务数据的清理，清理任务在保障业务可行性的前提下进行；为了应对业务提出的数据恢复紧急情况，为业务人员提供了快速恢复指定数据的入口，以解决不可预期的业务问题。

附图说明

图1为本发明一种保持在线数据库磁盘空间的方法流程示意图。

图2为本发明一种保持在线数据库磁盘空间的系统结构示意图。

具体实施方式

为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。

在交易系统或者支付系统之中，针对关系型数据库中数据的处理：我们将联机交易使用到的数据表进行分类，分为不可清理数据和可清理的数据。不可清理数据例如用户数据，账户数据等；可清理数据包括交易订单，支付流水，借据记录，分期记录等。在数据量不断积累的情况下，系统的关系型数据库由单库演变成为分库分表的方案。当分库分表的关系型数据库系统磁盘空间使用率达到阈值后，关系型数据的插入、更新和查询操作性能均会出现明显下降。直接增加磁盘空间，关系型数据库的逻辑存储结构不会发生变化，并不能解决出现的性能问题。本发明针对这种情况，通过平衡数据增量和删除保存周期外的数据，保障空间维持在某个水平，使用这种方式，使系统达到可持续使用的目标。本发明还可以有效避免系统扩展库表数量，也可减少关系型数据库磁盘的非必要扩展。

本发明第一方面涉及一种保持在线数据库磁盘空间的方法步骤流程如图1所示的方法，包括：

配置数据表关系，数据表包括根表和子表；

配置根表数据；

配置子表数据；

1、添加根表数据配置，可以设置多个根。同时设定要备份的根数据的条件，如创建时间小于180天前的结清状态的数据；设置过滤条件，如过滤指定产品。

2、添加关联子表的配置信息，可以设置子表名，父级依赖，关联字段。可以设置多级关联关系。

3、初始化配置完成后，将相关的数据表依赖关系更新到配置表中。

该方式主要可以根据目前数据表的实际情况，映射成为一种父子关系，并描述清楚依赖什么属性去依赖。并且对根节点进行条件约束，达到明确清理范围的作用。

对关系型数据库的分片进行并行处理，提升效率。

1、读取配置表的配置数据，将配置数据处理成多叉树的结构，并将每个根节点加入到列表中，形成森林集合；

2、遍历森林以及遍历森林里的每一颗树，对于每棵树的根节点，根据配置的约束条件，分批次查询根表数据。备份过程中根表数据批次视为一次原子操作；

3、记录备份任务操作记录，作废任务时按此记录进行操作；

4、按照对应根表的多叉树结构进行遍历，并根据根表数据取出对应子表数据，一并进行本批次的备份。备份时指定清理时间，一般按照1-2天的延迟进行清理。记录批次记录，方便任务中断后进行断点修作，达到任务快速恢复的期望；

5、完成对森林的遍历，完成所有符合条件的备份。

6、数据备份完成后，变更状态未备份完成。备份流程结束。

数据备份也是存储在分库分表的关系数据库中，对分片进行并发扫描，提高清理效率；控速清理防止关系型数据库写入量过大导致主从延迟严重。

根据数据表关系对数据进行数据清理操作；

1、扫描数据时，按照指定的清理时间就行扫描，扫描备份完成的数据；

2、根据配置的业务空闲时段进行高速的数据清理；

3、如果未配置业务空闲时间则全时间段进行低速的数据清理；

4、按批次进行数据清理；

5、记录数据清理过程中每个表清理掉的数据条数，清理状态，清理时间等；

6、任务完成后变更任务状态未完成，清理流程结束。

根据根表与子表关联结构将清理的数据进行数据恢复操作；

对于已经删除的数据进行恢复：

1、指定根表名称和根数据进行恢复；

2、通过配置获取对应根的子表关联结构，从大数据平台读取已经删除的数据；

3、按照读取的数据组装插入语句，在一个事务中进行数据恢复操作。

对于未完成的任务，可以废弃此任务：

1、停止清理任务；

2、按任务ID扫描此任务下所有的的数据；

3、未清理的数据修改为废弃状态；

4、已清理的数据调用B5001进行数据恢复，恢复时按配置的业务空闲时间进行限速处理

5、启动清理任务，废弃流程结束。

根据数据表关系对数据进行数据删除操作：

为删除备份表流程，此流程会将备份表中七天以前的状态为清理完成的数据删除掉，保障备份清理流程的可持续性：

1、删除时机选择在程序空闲时间进行；

2、扫描备份表中7天前状态为完成的最大ID和最小ID；

3、通过设定的步长，从最小的ID开始删除，直到删到最大ID。

4、删除完成，删除备份表流程结束。

本发明另一方面还涉及一种保持在线数据库磁盘空间的系统，其结构如图2所示，包括：

通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。

本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。

本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。

优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。

本发明可以通过插件化为各子系统提供数据清理能力，后台配置实时实现数据表关系的维护，中间不需要侵入子系统，节省时间，子系统无感知，避免系统的不稳定的现象。并且针对不同的交易类型，可以进行多级数据表的关联，可以应对复杂的业务场景。这样在磁盘不充足的情况下，有效的提高了系统的执行效率。通过备份、清理定时执行任务，保障了磁盘空间的自动回收，这样保证系统可以持续的运行。另外，在进行大数据量的备份时，备份进程可能会被不可预知的因素打断，等到满足条件时，备份任务会再次启动，并迅速找到被中断的数据点继续进行备份。另外，本发明的清理阶段，适配不同业务场景，在不影响子系统交易的情况下，缓慢的进行业务数据的清理，清理任务在保障业务可行性的前提下进行；为了应对业务提出的数据恢复紧急情况，给业务人员提供了快速恢复指定数据的入口，以解决不可预期的业务问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种保持在线数据库磁盘空间的方法，其特征在于，包括：

配置数据表关系，数据表包括根表和子表；

配置根表数据；

配置子表数据；

根据数据表关系对数据进行数据清理操作；

根据根表与子表关联结构将清理的数据进行数据恢复操作；

根据数据表关系对数据进行数据删除操作。

2.如权利要求1所述的方法，其特征在于，还包括：将数据表关系更新到数据表中。

3.如权利要求1所述的方法，其特征在于，配置根表数据包括：设置约束条件；约束条件包括：需备份根数据条件以及过滤条件。

4.如权利要求1所述的方法，其特征在于，配置子表数据包括：设置子表名、父级依赖以及关联字段。

5.如权利要求1所述的方法，其特征在于，根据数据表关系对数据进行数据清理操作，包括：

根据预设的清理时间扫描备份完成的数据；

判断是否存在预设的业务空闲时间；

记录清理的数据条数、清理状态以及清理时间。

6.如权利要求1所述的方法，其特征在于，根据根表与子表关联结构将清理的数据进行数据恢复操作，包括：根据是否存在预设的业务空闲时间进行限速处理。

7.如权利要求1所述的方法，其特征在于，根据数据表关系对数据进行数据删除操作，包括：

S1、判断当前时间是否处于业务空闲时间；

S3、若当前时间不处于业务空闲时间，则不进行操作；

S4、挑选需删除数据ID中的最大ID以及最小ID；

S5、判断当前ID与最大ID的大小关系；

S6、若当前ID大于最大ID，则删除操作结束；

S8、更新当前ID为当前ID加上步长；

S9、重复执行S5-S8。

8.一种保持在线数据库磁盘空间的系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的保持在线数据库磁盘空间的方法。

10.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储数据表；

所述处理器，用于通过调用数据表，执行权利要求1至7中任一项所述的保持在线数据库磁盘空间的方法。

11.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至7中任一项所述保持在线数据库磁盘空间的方法的步骤。