CN113886376A - 一种数据清理方法、装置、电子设备及介质 - Google Patents

Abstract

本申请公开了一种数据清理方法、装置、电子设备及介质，主要涉及数据存储领域。由于需要清理的数据量较大，且每天的数据增量也较大，当前数据清理方法对全表数据进行清理，易出现数据清理速度低于数据产生速度的情况，效率较低。为解决这一问题，本申请提出一种数据清理方法。该方法在获取待清理数据以及待清理数据所在的存储位置后，按照预先设定的分组方式对待清理数据进行分组，然后计算当前线程数，并根据当前线程数对各分组分配线程以便进行并发清理。由此可见，本申请将待清理数据分开存储，并对待清理数据进行分组，通过多线程并发执行的方式进行数据清理，有效避免了因数据量过大造成清理效率低下的问题，提高了数据清理效率。

Description

一种数据清理方法、装置、电子设备及介质

技术领域

本申请涉及数据存储领域，特别是涉及一种数据清理方法、装置、电子设备及介质。

背景技术

随着信息时代发展，产生的数据越来越多，需要清理的数据量也随之增长。当前清理数据的方法是对全表数据进行清理。

由于需要清理的数据量较大，且每天的数据增量也较大，当前数据清理方法对全表数据进行清理，易出现数据清理速度低于数据产生速度的情况，效率较低。

由此可见，如何提高数据清理的效率是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种数据清理方法、装置、电子设备及介质，用于提高数据清理的效率。

为解决上述技术问题，本发明提供一种数据清理方法，包括：

获取待清理数据以及待清理数据所在的存储位置，其中，待清理数据所在的存储位置为预先设定的位置；

按照预先设定的分组方式对待清理数据进行分组，其中，属于同一类存储位置的待清理数据在同一组；

计算当前线程数，并根据当前线程数对各分组分配线程以便进行并发清理。

优选地，在清理待清理数据之前，还包括：

获取任务执行锁；

根据待清理数据在存储位置中存储的时间计算需要清理的最大时间；

对应的，并发清理待清理数据包括：

根据需要清理的最大时间对各分组的待清理数据进行清理。

优选地，存储方式为表，根据需要清理的最大时间对各分组的待清理数据进行清理包括：

对组内的各表顺序清理；

其中，对各表进行清理的步骤包括：

查询待清理数据存储在当前表的最小时间；

比较最小时间与需要清理的最大时间；

若最小时间不小于需要清理的最大时间，则结束当前表的本次清理；

若最小时间小于需要清理的最大时间，则将最小时间与预设的时间区间之和作为结束时间，比较结束时间和需要清理的最大时间；

若结束时间大于需要清理的最大时间，则将需要清理的最大时间和最小时间分别作为执行清理的时间区间的上限与下限；

若结束时间不大于需要清理的最大时间，则将结束时间和最小时间分别作为执行清理的时间区间的上限与下限；

在执行清理的时间区间内对待清理数据进行清理；

在清理完当前表的待清理数据之后，进入上述查询待清理数据存储在当前表的最小时间的步骤，以便对组内其它表中的待清理数据进行清理。

优选地，还包括：

设置定时任务，在触发定时任务时进入上述获取任务执行锁的步骤。

优选地，在完成清理待清理数据之后，还包括：

释放任务执行锁。

优选地，还包括：

在每一组的待清理数据清理完成时发出提示。

优选地，清理待清理数据包括：

根据需要清理的最大时间制定清理顺序；

按照清理顺序对待清理数据进行清理。

为解决上述技术问题，本发明还提供一种数据清理装置，包括：

获取模块，用于获取待清理数据以及待清理数据所在的存储位置；

分组模块，用于按照预先设定的分组方式对待清理数据进行分组；

计算模块，用于计算当前线程数；

分配模块，用于根据当前线程数对各分组分配线程以便进行并发清理。

为解决上述技术问题，本发明还提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现上述数据清理方法的步骤。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述数据清理方法的步骤。

本发明提出了一种数据清理方法，包括获取待清理数据以及待清理数据所在的存储位置，其中，待清理数据所在的存储位置为预先设定的位置；然后，按照预先设定的分组方式对待清理数据进行分组，其中，属于同一类存储位置的待清理数据在同一组；最后计算当前线程数，并根据当前线程数对各分组分配线程以便进行并发清理。本发明将待清理数据分开存储，并对待清理数据进行分组，通过多线程并发执行的方式进行数据清理，有效避免了因数据量过大造成清理效率低下的问题，提高了数据清理效率。

此外，本发明所提供的数据清理装置、电子设备及介质与数据清理方法相对应，效果如上。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种数据清理方法的流程图；

图2为本发明提供的一种数据清理装置的结构图；

图3为本发明提供的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

本申请的核心是提供一种数据清理方法，该方法在获取待清理数据以及待清理数据所在的存储位置后，按照预先设定的分组方式对待清理数据进行分组，然后计算当前线程数，并根据当前线程数对各分组分配线程以便进行并发清理，能够有效避免因数据量过大造成清理效率低下的问题，提高了数据清理的效率。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。

图1为本发明提供的一种数据清理方法的流程图。如图1所示，该方法包括：

S1：获取待清理数据以及待清理数据所在的存储位置，其中，待清理数据所在的存储位置为预先设定的位置。

在本实施例中，待清理数据的存储方式可以是表，也可以是数据库，本实施例对此不做限制。此外，预先设定的存储位置可以是任意位置，例如，可以是某个文件夹中的表或数据库，只要满足在进行数据清理时，该存储位置能够被获取到即可。

S2：按照预先设定的分组方式对待清理数据进行分组，其中，属于同一类存储位置的待清理数据在同一组。

在具体实施中，通过结构化查询语言脚本(SQL脚本)获取到的预先设定的分组方式对待清理数据进行分组。分组方式可以为根据待清理数据的存储位置的名称进行分组，例如，存储在名称长度相同的存储位置的待清理数据为一组，或者存储在名称格式相同的存储位置的待清理数据为一组；分组方式也可以为根据存储位置的地址进行分组，将存储在同一文件夹中的待清理数据分为一组，还可以为根据存储时间进行分组，将同一时间存储的待清理数据分为一组。本实施例对待清理数据的分组方式不做限制，但都应满足存储在同一存储位置的待清理数据在同一组的要求。

S3：计算当前线程数，并根据当前线程数对各分组分配线程以便进行并发清理。

在具体实施中，需要根据机器资源情况计算当前合理的线程数，再根据计算出的线程数进行合理分配，避免使用过多线程造成浪费或者过少线程造成效率低下的情况。此外，在完成线程分配后，需要通过线程池管理各线程，以便进行并发清理。

本发明提出了一种数据清理方法，包括获取待清理数据以及待清理数据所在的存储位置，其中，待清理数据所在的存储位置为预先设定的位置；然后，按照预先设定的分组方式对待清理数据进行分组，其中，属于同一类存储位置的待清理数据在同一组；最后计算当前线程数，并根据当前线程数对各分组分配线程以便进行并发清理。当前数据清理方法对全表进行直接清理，在单表数据量较大时效率较低。本发明将待清理数据分开存储，并对待清理数据进行分组，通过多线程并发执行的方式进行数据清理，有效避免了因数据量过大造成清理效率低下的问题，提高了数据清理效率。

在上述实施例清理待清理数据之前，还需要获取任务执行锁，若未获取到任务执行锁则结束当前清理任务，若获取到任务执行锁则计算需要清理的最大时间，根据该需要清理的最大时间进行数据清理。该步骤包括：

获取任务执行锁；

根据待清理数据在存储位置中存储的时间计算需要清理的最大时间；

对应的，并发清理待清理数据包括：

根据需要清理的最大时间对各分组的待清理数据进行清理。

需要说明的是，需要清理的最大时间由当前时间与待清理数据在存储位置中存储的时间相减得到，应在该需要清理的最大时间之前完成数据清理，若超出需要清理的最大时间，则认为已经完成清理，不再重复清理。

本实施例在获取到任务执行锁后，根据待清理数据在存储位置中存储的时间计算需要清理的最大时间，以便根据该需要清理的最大时间进行数据清理。

在上述实施例中提到，待清理数据的存储方式可以是表，也可以是数据库。本实施例在存储方式为表的情况下，根据上述实施例计算的需要清理的最大时间对各分组的待清理数据进行清理。该步骤包括：

对组内的各表顺序清理；

其中，对各表进行清理的步骤包括：

查询待清理数据存储在当前表的最小时间；

比较最小时间与需要清理的最大时间；

若最小时间不小于需要清理的最大时间，则结束当前表的本次清理；

若最小时间小于需要清理的最大时间，则将最小时间与预设的时间区间之和作为结束时间，比较结束时间和需要清理的最大时间；

若结束时间大于需要清理的最大时间，则将需要清理的最大时间和最小时间分别作为执行清理的时间区间的上限与下限；

若结束时间不大于需要清理的最大时间，则将结束时间和最小时间分别作为执行清理的时间区间的上限与下限；

在执行清理的时间区间内对待清理数据进行清理；

在清理完当前表的待清理数据之后，进入上述查询待清理数据存储在当前表的最小时间的步骤，以便对组内其它表中的待清理数据进行清理。

在本实施例中，为进一步提高数据清理的效率，可对分组后的各表进行顺序清理。需要说明的是，当最小时间不小于需要清理的最大时间时，则认为当前表中的数据已被清理，此时结束该表的本次清理；当最小时间小于需要清理的最大时间时，则将该最小时间与预先配置的每次执行清理的时间区间之和作为当前表清理的结束时间。此外，在比较结束时间和需要清理的最大时间之后，应将结束时间作为执行清理的时间区间的上限。但是在上述实施例中提到应在需要清理的最大时间之前完成清理，因此，在结束时间大于需要清理的最大时间时，应将需要清理的最大时间作为执行清理的时间区间的上限。

本实施例详细介绍了对各表进行清理的步骤，在各表对应的执行清理的时间区间内完成各表的数据清理，超出该时间区间则不再清理，有效提高了数据清理的效率，避免重复清理。

若当前不需要清理数据，则可设置一个定时任务，在触发定时任务时进入上述实施例中获取任务执行锁的步骤。

本实施例通过设置定时任务的方式，使用户能够在任意时间进行数据清理，提高了用户的自主性。

在上述实施例中提到，需要通过是否获取到任务执行锁来判断是否执行数据清理。为避免当前表完成清理后下一个表不能获取到任务执行锁，因此，在完成一个表的数据清理后，还需要释放任务执行锁，以供下一个表获取。

本实施例在完成一个表的数据清理后释放任务执行锁，以供下一个表获取，有效避免了当前表完成清理后下一个表不能获取到任务执行锁的情况。

在每一组的待清理数据清理完成时，可通过发出提示的方式提醒用户已完成一组的清理，使用户能够了解数据清理情况，以便用户进行下一步操作。

本实施例在每一组的待清理数据清理完成时发出提示，使用户能够实时了解数据清理情况，以便用户采取下一步操作。

上述实施例提到，可通过顺序清理的方式提高清理效率，其中，清理顺序与上述实施例所求的需要清理的最大时间有关。该步骤包括：

根据需要清理的最大时间制定清理顺序；

按照清理顺序对待清理数据进行清理。

需要注意的是，本实施例可根据需要清理的最大时间的先后顺序制定清理顺序，例如，需要清理的最大时间靠前的待清理数据先进行清理，靠后的待清理数据后进行清理，能够有效降低清理时间超出需要清理的最大时间的可能性。

本实施例根据需要清理的最大时间得出各待清理数据的优先级顺序进行顺序清理，有效降低了清理时间超出需要清理的最大时间的可能性，提高了清理效率。

在上述实施例中，对于数据清理方法进行了详细描述，本申请还提供数据清理装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。

图2为本发明提供的一种数据清理装置的结构图。如图2所示，该装置包括：

获取模块10，用于获取待清理数据以及待清理数据所在的存储位置；

分组模块11，用于按照预先设定的分组方式对待清理数据进行分组；

计算模块12，用于计算当前线程数；

分配模块13，用于根据当前线程数对各分组分配线程以便进行并发清理。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图3为本申请另一实施例提供的电子设备的结构图，如图3所示，该电子设备包括：存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述实施例中所提到的数据清理方法的步骤。

本实施例提供的电子设备可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的数据清理方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于待清理数据以及待清理数据所在的存储位置等。

在一些实施例中，电子设备还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图3中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件。

最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的数据清理方法的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的数据清理方法、装置、电子设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据清理方法，其特征在于，包括：

获取待清理数据以及所述待清理数据所在的存储位置，其中，所述待清理数据所在的所述存储位置为预先设定的位置；

按照预先设定的分组方式对所述待清理数据进行分组，其中，属于同一类所述存储位置的所述待清理数据在同一组；

计算当前线程数，并根据当前线程数对各所述分组分配线程以便进行并发清理。

2.根据权利要求1所述的数据清理方法，其特征在于，在清理所述待清理数据之前，还包括：

获取任务执行锁；

根据所述待清理数据在所述存储位置中存储的时间计算需要清理的最大时间；

对应的，并发清理所述待清理数据包括：

根据所述需要清理的最大时间对各所述分组的所述待清理数据进行清理。

3.根据权利要求2所述的数据清理方法，其特征在于，存储方式为表，所述根据所述需要清理的最大时间对各所述分组的所述待清理数据进行清理包括：

对组内的各表顺序清理；

其中，对所述各表进行清理的步骤包括：

查询所述待清理数据存储在当前所述表的最小时间；

比较所述最小时间与所述需要清理的最大时间；

若所述最小时间不小于所述需要清理的最大时间，则结束当前所述表的本次清理；

若所述最小时间小于所述需要清理的最大时间，则将所述最小时间与预设的时间区间之和作为结束时间，比较所述结束时间和所述需要清理的最大时间；

若所述结束时间大于所述需要清理的最大时间，则将所述需要清理的最大时间和所述最小时间分别作为执行清理的时间区间的上限与下限；

若所述结束时间不大于所述需要清理的最大时间，则将所述结束时间和所述最小时间分别作为所述执行清理的时间区间的上限与下限；

在所述执行清理的时间区间内对所述待清理数据进行清理；

在清理完当前所述表的所述待清理数据之后，进入所述查询所述待清理数据存储在当前表的最小时间的步骤，以便对组内其它所述表中的所述待清理数据进行清理。

4.根据权利要求2所述的数据清理方法，其特征在于，还包括：

设置定时任务，在触发所述定时任务时进入所述获取任务执行锁的步骤。

5.根据权利要求2所述的数据清理方法，其特征在于，在完成所述清理所述待清理数据之后，还包括：

释放所述任务执行锁。

6.根据权利要求1所述的数据清理方法，其特征在于，还包括：

在每一组的所述待清理数据清理完成时发出提示。

7.根据权利要求1-6任意一项所述的数据清理方法，其特征在于，所述清理所述待清理数据包括：

根据所述需要清理的最大时间制定清理顺序；

按照所述清理顺序对所述待清理数据进行清理。

8.一种数据清理装置，其特征在于，包括：

获取模块，用于获取待清理数据以及所述待清理数据所在的存储位置；

分组模块，用于按照预先设定的分组方式对所述待清理数据进行分组；

计算模块，用于计算当前线程数；

分配模块，用于根据当前线程数对各所述分组分配线程以便进行并发清理。

9.一种电子设备，其特征在于，包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据清理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据清理方法的步骤。

Images