CN115391291A - 资源清理方法、装置、存储介质和设备 - Google Patents

Abstract

本申请公开了一种资源清理方法、装置、存储介质和设备，应用于大数据领域，该方法为：访问大数据集群的各个服务器，获取每个服务器的资源信息；资源信息包括服务器的磁盘目录中各个文件的文件信息；文件信息包括创建时间；对于每个服务器，从服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件；基于待清理文件，构建服务器的待清理资源；控制每个服务器删除每个服务器自身的待清理资源。该方法从各个服务器中筛选出待清理资源，并控制每个服务器删除每个服务器自身的待清理资源，相较于现有技术，能够以较为简单的执行流程，实现多种资源项、不同服务器的资源的合理删除，以使资源清理的效率得到显著提高。

Description

资源清理方法、装置、存储介质和设备

技术领域

本申请涉及大数据领域，尤其涉及一种资源清理方法、装置、存储介质和设备。

背景技术

在移动互联网和大数据蓬勃发展的大背景下，“数据即资产”的理念也越来越深入人心，大数据领域日益成为各行各业的必争之地，大数据技术发挥着与日俱增的重要作用。但是，在大数据业务开展的过程中可能会时常出现大数据集群资源不够、任务运行缓慢、各组件失联等诸多问题，其背后的原因多与集群资源野蛮使用、缺乏有效的清理手段有关。因此，针对大数据集群资源的清理工作至关重要，直接影响大数据开发工作的进展和效率。

现有技术多以单机清理为主，或仅可清理某一资源项，然而大数据集群拥有众多的资源项，且所涉及的服务器节点、技术栈以及组件数量繁多，仅凭借现有的清理手段，清理难度较高，使得清理效率降低。

发明内容

本申请提供了一种资源清理方法、装置、存储介质和设备，目的在于提高大数据集群的资源清理效率。

为了实现上述目的，本申请提供了以下技术方案：

一种资源清理方法，包括：

访问大数据集群的各个服务器，获取每个所述服务器的资源信息；所述资源信息包括所述服务器的磁盘目录中各个文件的文件信息；所述文件信息包括创建时间；

对于每个所述服务器，从所述服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件；所述第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内；

基于所述待清理文件，构建所述服务器的待清理资源；

控制每个所述服务器删除每个所述服务器自身的待清理资源。

可选的，所述文件信息还包括文件后缀名；

所述基于所述待清理文件，构建所述服务器的待清理资源之前，还包括：

从所述服务器所包含的各个文件中，筛选出符合第二文件筛选条件的文件，标识为所述待清理文件；所述第二文件筛选条件为：文件的文件后缀名为用户预先设置的字符串。

可选的，所述资源信息还包括所述服务器所处理的一个或多个任务在预设时间周期内运行成功的实例数量、运行失败的实例数量；

所述基于所述待清理文件，构建所述服务器的待清理资源，包括：

对于所述服务器所处理的每个任务，基于所述任务在所述预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出所述任务在所述预设时间周期内的出错率；

从所述服务器所处理的各个所述任务中，筛选出符合异常任务筛选条件的任务，标识为待清理任务；所述异常任务筛选条件为：任务在所述预设时间周期内的出错率大于第一预设阈值；

基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源。

可选的，所述资源信息还包括所述服务器所包含的各个数据库表的生命周期；

所述基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源，包括：

从所述服务器所包含的各个数据库表中，筛选出符合表筛选条件的数据库表，标识为待清理库表；所述表筛选条件为：数据库表的生命周期小于第二预设阈值；

基于所述待清理文件、所述待清理任务以及所述待清理库表，构建所述服务器的待清理资源。

可选的，所述资源信息还包括所述服务器的基础架构；

所述控制每个所述服务器删除每个所述服务器自身的待清理资源，包括：

控制每个所述服务器直接删除每个所述服务器自身的待清理资源，或者依据与每个所述服务器的基础架构对应的压缩方式，对每个所述服务器的待清理资源进行压缩，得到每个所述服务器的资源压缩包。

一种资源清理装置，包括：

获取单元，用于访问大数据集群的各个服务器，获取每个所述服务器的资源信息；所述资源信息包括所述服务器的磁盘目录中各个文件的文件信息；所述文件信息包括创建时间；

筛选单元，用于对于每个所述服务器，从所述服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件；所述第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内；

构建单元，用于基于所述待清理文件，构建所述服务器的待清理资源；

删除单元，用于控制每个所述服务器删除每个所述服务器自身的待清理资源。

可选的，所述文件信息还包括文件后缀名；

所述筛选单元还用于：

从所述服务器所包含的各个文件中，筛选出符合第二文件筛选条件的文件，标识为所述待清理文件；所述第二文件筛选条件为：文件的文件后缀名为用户预先设置的字符串。

可选的，所述资源信息还包括所述服务器所处理的一个或多个任务在预设时间周期内运行成功的实例数量、运行失败的实例数量；

所述构建单元具体用于：

对于所述服务器所处理的每个任务，基于所述任务在所述预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出所述任务在所述预设时间周期内的出错率；

从所述服务器所处理的各个所述任务中，筛选出符合异常任务筛选条件的任务，标识为待清理任务；所述异常任务筛选条件为：任务在所述预设时间周期内的出错率大于第一预设阈值；

基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源。

一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的资源清理方法。

一种资源清理设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；

所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行所述的资源清理方法。

本申请提供的技术方案，访问大数据集群的各个服务器，获取每个服务器的资源信息。资源信息包括服务器的磁盘目录中各个文件的文件信息。文件信息包括创建时间。对于每个服务器，从服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件。第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内。基于待清理文件，构建服务器的待清理资源。控制每个服务器删除每个服务器自身的待清理资源。本申请从各个服务器中筛选出待清理资源，并控制每个服务器删除每个服务器自身的待清理资源，相较于现有技术，能够以较为简单的执行流程，实现多种资源项、不同服务器的资源的合理删除，以使资源清理的效率得到显著提高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种资源清理方法的流程示意图；

图2为本申请实施例提供的另一种资源清理方法的流程示意图；

图3为本申请实施例提供的一种资源清理装置的架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

申请人发现，现有技术在资源清理的节点范围和资源清理的资源项上均有所缺失，资源清理不够全面和高效的原因主要是：

1、现有技术多以单机清理为主，无法批量清理集群中多节点资源，导致清理流程繁琐、清理效率低下；

2、现有技术一般仅可清理单一资源项，如仅可清理系统缓存或计算资源等，无法做到系统性地针对大数据集群的整体“瘦身”，导致资源清理不够全面，资源释放不够彻底。

针对上述申请人的发现，本申请实施例提供了一种资源清理方法，用于简化资源清流流程，使得资源清理效率提高，并有效合理地释放资源。

如图1所示，为本申请实施例提供的一种资源清理方法的流程示意图，包括如下步骤：

S101：访问大数据集群的各个服务器，获取每个服务器的磁盘目录中各个文件的文件信息，每个服务器所处理的一个或多个任务在预设时间周期内运行成功的实例数量、运行失败的实例数量，每个服务器所包含的各个数据库表的生命周期，每个服务器的基础架构。

其中，文件信息包括但不限于为文件后缀名(用于指示文件类型)、创建时间等。在本申请实施例中，服务器的基础架构的类型包括数据仓库工具(hive)以及分布式文件系统(hdfs)。

需要说明的是，预设时间周期具体可以设为：每分钟，每小时、每天、每周以及每月等。

S102：对于每个服务器，从服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件。

其中，第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内。

具体的，用户预先设置的时间段可为最近30天以内。

S103：从服务器所包含的各个文件中，筛选出符合第二文件筛选条件的文件，标识为待清理文件。

其中，第二文件筛选条件为：文件的文件后缀名为用户预先设置的字符串。

具体的，用户预先设置的字符串可为log。

S104：对于服务器所处理的每个任务，基于任务在预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出任务在预设时间周期内的出错率。

其中，基于任务在预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出任务在预设时间周期内的出错率的具体计算过程为：

出错率＝运行失败的实例数量/(运行成功的实例数量+运行失败的实例数量)。

S105：从服务器所处理的各个任务中，筛选出符合异常任务筛选条件的任务，标识为待清理任务。

其中，异常任务筛选条件为：任务在预设时间周期内的出错率大于第一预设阈值。

S106：从服务器所包含的各个数据库表中，筛选出符合表筛选条件的数据库表，标识为待清理库表。

其中，表筛选条件为：数据库表的生命周期小于第二预设阈值。

S107：基于待清理文件、待清理任务以及待清理库表，构建服务器的待清理资源。

S108：控制每个服务器直接删除每个服务器自身的待清理资源，或者依据与每个服务器的基础架构对应的压缩方式，对每个服务器的待清理资源进行压缩，得到每个服务器的资源压缩包。

其中，每个服务器还可以只针对服务器自身部分待清理资源进行压缩。将服务器的待清理资源进行压缩，能够减少服务器的存储占用量。

需要说明的是，基于上述S101-S108所示流程，本实施例能够批量清理各个服务器的资源缓存，结合大数据集群环境特点，提供异常任务清除功能、按照生命周期删除表和hive、hdfs数据压缩功能，旨在提升大数据集群资源清理效率，较为全面彻底地清理无效资源，更加适应大数据集群环境的需要。

综上所述，本实施例从各个服务器中筛选出待清理资源，并控制每个服务器删除每个服务器自身的待清理资源，相较于现有技术，能够以较为简单的执行流程，实现多种资源项、不同服务器的资源的合理删除，以使资源清理的效率得到显著提高。

需要说明的是，上述实施例提及的S103，为本申请实施例所示资源清理方法的一种可选的实现方式。此外，上述实施例提及的S108，也为本申请实施例所示资源清理方法的一种可选的实现方式。为此，上述实施例提及的流程可以概括为图2所述的方法。

如图2所示，为本申请实施例提供的另一种资源清理方法的流程示意图，包括如下步骤：

S201：访问大数据集群的各个服务器，获取每个服务器的资源信息。

其中，资源信息包括服务器的磁盘目录中各个文件的文件信息；文件信息包括创建时间。

S202：对于每个服务器，从服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件。

其中，第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内。

S203：基于待清理文件，构建服务器的待清理资源。

S204：控制每个服务器删除每个服务器自身的待清理资源。

综上所述，本实施例从各个服务器中筛选出待清理资源，并控制每个服务器删除每个服务器自身的待清理资源，相较于现有技术，能够以较为简单的执行流程，实现多种资源项、不同服务器的资源的合理删除，以使资源清理的效率得到显著提高。

需要说明的是，本发明提供的资源清理方法可用于人工智能领域、区块链领域、分布式领域、云计算领域、大数据领域、物联网领域、移动互联领域、网络安全领域、芯片领域、虚拟现实领域、增强现实领域、全息技术领域、量子计算领域、量子通信领域、量子测量领域、数字孪生领域或金融领域。上述仅为示例，并不对本发明提供的资源清理方法的应用领域进行限定。

本发明提供的资源清理方法可用于金融领域或其他领域，例如，可用于金融领域中的交易应用场景。其他领域为除金融领域之外的任意领域，例如，电力领域。上述仅为示例，并不对本发明提供的资源清理方法的应用领域进行限定。

与上述本申请实施例提供的资源清理方法相对应，本申请实施例还提供了一种资源清理装置。

如图3所述，为本申请实施例提供的一种资源清理装置的架构示意图，包括：

获取单元100，用于访问大数据集群的各个服务器，获取每个服务器的资源信息；资源信息包括服务器的磁盘目录中各个文件的文件信息；文件信息包括创建时间。

筛选单元200，用于对于每个服务器，从服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件；第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内。

可选的，文件信息还包括文件后缀名。

筛选单元200还用于：从服务器所包含的各个文件中，筛选出符合第二文件筛选条件的文件，标识为待清理文件；第二文件筛选条件为：文件的文件后缀名为用户预先设置的字符串。

构建单元300，用于基于待清理文件，构建服务器的待清理资源。

可选的，资源信息还包括服务器所处理的一个或多个任务在预设时间周期内运行成功的实例数量、运行失败的实例数量。

构建单元300具体用于：对于服务器所处理的每个任务，基于任务在预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出任务在预设时间周期内的出错率；从服务器所处理的各个任务中，筛选出符合异常任务筛选条件的任务，标识为待清理任务；异常任务筛选条件为：任务在预设时间周期内的出错率大于第一预设阈值；基于待清理文件以及待清理任务，构建服务器的待清理资源。

可选的，资源信息还包括服务器所包含的各个数据库表的生命周期。

构建单元300具体用于：从服务器所包含的各个数据库表中，筛选出符合表筛选条件的数据库表，标识为待清理库表；表筛选条件为：数据库表的生命周期小于第二预设阈值；基于待清理文件、待清理任务以及待清理库表，构建服务器的待清理资源。

删除单元400，用于控制每个服务器删除每个服务器自身的待清理资源。

可选的，资源信息还包括服务器的基础架构。

删除单元400具体用于：控制每个服务器直接删除每个服务器自身的待清理资源，或者依据与每个服务器的基础架构对应的压缩方式，对每个服务器的待清理资源进行压缩，得到每个服务器的资源压缩包。

综上所述，本实施例从各个服务器中筛选出待清理资源，并控制每个服务器删除每个服务器自身的待清理资源，相较于现有技术，能够以较为简单的执行流程，实现多种资源项、不同服务器的资源的合理删除，以使资源清理的效率得到显著提高。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本申请提供的资源清理方法。

本申请还提供了一种资源清理设备，包括：处理器、存储器和总线。处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，其中，程序运行时执行上述本申请提供的资源清理方法，包括如下步骤：

访问大数据集群的各个服务器，获取每个所述服务器的资源信息；所述资源信息包括所述服务器的磁盘目录中各个文件的文件信息；所述文件信息包括创建时间；

对于每个所述服务器，从所述服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件；所述第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内；

基于所述待清理文件，构建所述服务器的待清理资源；

控制每个所述服务器删除每个所述服务器自身的待清理资源。

具体的，在上述实施例的基础上，所述文件信息还包括文件后缀名；

所述基于所述待清理文件，构建所述服务器的待清理资源之前，还包括：

从所述服务器所包含的各个文件中，筛选出符合第二文件筛选条件的文件，标识为所述待清理文件；所述第二文件筛选条件为：文件的文件后缀名为用户预先设置的字符串。

具体的，在上述实施例的基础上，所述资源信息还包括所述服务器所处理的一个或多个任务在预设时间周期内运行成功的实例数量、运行失败的实例数量；

所述基于所述待清理文件，构建所述服务器的待清理资源，包括：

对于所述服务器所处理的每个任务，基于所述任务在所述预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出所述任务在所述预设时间周期内的出错率；

从所述服务器所处理的各个所述任务中，筛选出符合异常任务筛选条件的任务，标识为待清理任务；所述异常任务筛选条件为：任务在所述预设时间周期内的出错率大于第一预设阈值；

基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源。

具体的，在上述实施例的基础上，所述资源信息还包括所述服务器所包含的各个数据库表的生命周期；

所述基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源，包括：

从所述服务器所包含的各个数据库表中，筛选出符合表筛选条件的数据库表，标识为待清理库表；所述表筛选条件为：数据库表的生命周期小于第二预设阈值；

基于所述待清理文件、所述待清理任务以及所述待清理库表，构建所述服务器的待清理资源。

具体的，在上述实施例的基础上，所述资源信息还包括所述服务器的基础架构；

所述控制每个所述服务器删除每个所述服务器自身的待清理资源，包括：

控制每个所述服务器直接删除每个所述服务器自身的待清理资源，或者依据与每个所述服务器的基础架构对应的压缩方式，对每个所述服务器的待清理资源进行压缩，得到每个所述服务器的资源压缩包。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种资源清理方法，其特征在于，包括：

访问大数据集群的各个服务器，获取每个所述服务器的资源信息；所述资源信息包括所述服务器的磁盘目录中各个文件的文件信息；所述文件信息包括创建时间；

对于每个所述服务器，从所述服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件；所述第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内；

基于所述待清理文件，构建所述服务器的待清理资源；

控制每个所述服务器删除每个所述服务器自身的待清理资源。

2.根据权利要求1所述的方法，其特征在于，所述文件信息还包括文件后缀名；

所述基于所述待清理文件，构建所述服务器的待清理资源之前，还包括：

从所述服务器所包含的各个文件中，筛选出符合第二文件筛选条件的文件，标识为所述待清理文件；所述第二文件筛选条件为：文件的文件后缀名为用户预先设置的字符串。

3.根据权利要求1所述的方法，其特征在于，所述资源信息还包括所述服务器所处理的一个或多个任务在预设时间周期内运行成功的实例数量、运行失败的实例数量；

所述基于所述待清理文件，构建所述服务器的待清理资源，包括：

对于所述服务器所处理的每个任务，基于所述任务在所述预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出所述任务在所述预设时间周期内的出错率；

从所述服务器所处理的各个所述任务中，筛选出符合异常任务筛选条件的任务，标识为待清理任务；所述异常任务筛选条件为：任务在所述预设时间周期内的出错率大于第一预设阈值；

基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源。

4.根据权利要求3所述的方法，其特征在于，所述资源信息还包括所述服务器所包含的各个数据库表的生命周期；

所述基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源，包括：

从所述服务器所包含的各个数据库表中，筛选出符合表筛选条件的数据库表，标识为待清理库表；所述表筛选条件为：数据库表的生命周期小于第二预设阈值；

基于所述待清理文件、所述待清理任务以及所述待清理库表，构建所述服务器的待清理资源。

5.根据权利要求1所述的方法，其特征在于，所述资源信息还包括所述服务器的基础架构；

所述控制每个所述服务器删除每个所述服务器自身的待清理资源，包括：

控制每个所述服务器直接删除每个所述服务器自身的待清理资源，或者依据与每个所述服务器的基础架构对应的压缩方式，对每个所述服务器的待清理资源进行压缩，得到每个所述服务器的资源压缩包。

6.一种资源清理装置，其特征在于，包括：

获取单元，用于访问大数据集群的各个服务器，获取每个所述服务器的资源信息；所述资源信息包括所述服务器的磁盘目录中各个文件的文件信息；所述文件信息包括创建时间；

筛选单元，用于对于每个所述服务器，从所述服务器所包含的各个文件中，筛选出符合第一文件筛选条件的文件，标识为待清理文件；所述第一文件筛选条件为：文件的创建时间未处于用户预先设置的时间段内；

构建单元，用于基于所述待清理文件，构建所述服务器的待清理资源；

删除单元，用于控制每个所述服务器删除每个所述服务器自身的待清理资源。

7.根据权利要求6所述的装置，其特征在于，所述文件信息还包括文件后缀名；

所述筛选单元还用于：

从所述服务器所包含的各个文件中，筛选出符合第二文件筛选条件的文件，标识为所述待清理文件；所述第二文件筛选条件为：文件的文件后缀名为用户预先设置的字符串。

8.根据权利要求6所述的装置，其特征在于，所述资源信息还包括所述服务器所处理的一个或多个任务在预设时间周期内运行成功的实例数量、运行失败的实例数量；

所述构建单元具体用于：

对于所述服务器所处理的每个任务，基于所述任务在所述预设时间周期内运行成功的实例数量，以及运行失败的实例数量，计算得出所述任务在所述预设时间周期内的出错率；

从所述服务器所处理的各个所述任务中，筛选出符合异常任务筛选条件的任务，标识为待清理任务；所述异常任务筛选条件为：任务在所述预设时间周期内的出错率大于第一预设阈值；

基于所述待清理文件以及所述待清理任务，构建所述服务器的待清理资源。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1-5任一所述的资源清理方法。

10.一种资源清理设备，其特征在于，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；

所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-5任一所述的资源清理方法。

Images