CN110109749A - 一种分布式系统的计算资源清理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种分布式系统的计算资源清理方法及装置，方法包括：获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数；若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略；根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。通过实际执行时间和持续超过阈值次数来判断是否需要执行计算资源占用清理，需要清理时，根据删除事件策略对有序时间槽内存储的计算资源进行清理操作，能够及时对分布式系统内占用的计算资源进行清理，保证分布式系统的性能。

Description

一种分布式系统的计算资源清理方法及装置

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种分布式系统的计算资源清理方法及装置。

背景技术

现有系统中各任务的计算资源清理均是通过单机实现。但是，随着数据量逐渐增大，单机系统无法满足需求，需要采用分布式系统。

然而，在应用越来越广泛的分布式系统中，各“分布式任务”运行在分布式系统的多台计算机的多个进程中，随着分布式系统的运行时间越来越长，分布式任务也越来越多，需要对部分任务的事件进行清理，否则将导致分布式系统的性能越来越低。

现有的单机计算资源清理方式无法对分布式系统的事件进行清理，从而导致分布式系统的性能越来越低。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种分布式系统的计算资源清理方法及装置。

第一方面，本发明实施例提出一种分布式系统的计算资源清理方法，包括：

获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数；

若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略；

根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。

第二方面，本发明实施例还提出一种分布式系统的计算资源清理装置，包括：

数据获取模块，用于获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数；

策略获取模块，用于若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略；

资源清理模块，用于根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。

第三方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过实际执行时间和持续超过阈值次数来判断是否需要执行计算资源占用清理，需要清理时，根据删除事件策略对有序时间槽内存储的计算资源进行清理操作，能够及时对分布式系统内占用的计算资源进行清理，保证分布式系统的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种分布式系统的计算资源清理方法的流程示意图；

图2为本发明一实施例提供的一种计算资源占用采集的流程示意图；

图3为本发明一实施例提供的一种计算资源占用清理的流程示意图；

图4为本发明一实施例提供的一种分布式系统的计算资源清理装置的结构示意图；

图5为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种分布式系统的计算资源清理方法的流程示意图，包括：

S101、获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数。

其中，在当前的分布式系统中，各分布式任务运行在多台计算机的多个进程中。每个分布式任务均有唯一的任务标识，以区别于分布式系统中的其它分布式任务，且各个分布式任务的计算性能的保护相互独立，即按照分布式任务为单位进行计算性能的保护。

所述实际执行时间为当前分布式任务实际执行的时间，通过该分布式任务的任务开始时间与任务结束时间之差计算得到。

所述持续超过阈值次数为实际执行时间连续超过计算资源阈值的次数。所述计算资源阈值为用于判断实际执行时间是否符合标准的阈值。

S102、若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略。

其中，删除事件策略drop.events.strategy，用于配置持续超过阈值次数符合特定时，删除有序时间槽内存储的计算资源的计算事件的策略，可以配置为oldest或latest。oldest表示删除最旧任务计算事件，latest表示删除最新任务计算事件。

具体地，所述持续超过阈值次数的初始值为零，当分布式任务的实际执行时间超过计算资源阈值时，对所述持续超过阈值次数进行加一操作，当所述持续超过阈值次数符合特定标准时，确定需要进行计算资源占用清理。

S103、根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。

其中，所述有序时间槽为存储所有计算资源的单元。

需要说明的是，本实施例中的分布式任务仅包含保持事件集合的窗口任务，因为窗口任务按照“有序时间槽”存储事件集合；对于处理流式数据(单一事件)的分布式任务，本实施例不作讨论。

本实施例通过实际执行时间和持续超过阈值次数来判断是否需要执行计算资源占用清理，需要清理时，根据删除事件策略对有序时间槽内存储的计算资源进行清理操作，能够及时对分布式系统内占用的计算资源进行清理，保证分布式系统的性能。

进一步地，在上述方法实施例的基础上，S102中所述根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，具体包括：

S1021、若所述实际执行时间大于计算资源阈值，则对所述持续超过阈值次数进行加一操作，否则对所述持续超过阈值次数进行归零操作。

S1022、若判断获知所述持续超过阈值次数大于次数阈值，则确定需要执行计算资源占用清理。

其中，计算资源阈值computing.threshold.ns，用于配置分布式任务的实际执行时间的最大值，单位是纳秒，如100000000纳秒。当分布式任务的实际执行时间达到此值，说明此分布式任务是热点计算任务。

次数阈值是判断实际执行时间持续超过计算资源阈值的最小次数min.computing.count，用于配置执行计算资源占用清理时，判断实际执行时间持续超过计算资源阈值的最小次数，如5次。此设置只在分布式任务的实际执行时间达到计算资源阈值时使用，如计算分布式任务的实际执行时间达到阈值是不连续的，则此值置零，重新计算。

举例来说，计算资源阈值为100000000纳秒，次数阈值为5次，持续超过阈值次数为4，即当前分布式任务的实际执行时间连续4次大于100000000纳秒。若第5次的实际执行时间仍然大于100000000纳秒，则已达到次数阈值，需要执行计算资源占用清理；若第5次的实际执行时间仍然小于或等于100000000纳秒，则将持续超过阈值次数归零。

通过实时采集分布式任务的计算资源使用情况，即实际执行时间，并根据计算资源阈值和次数阈值进行实时判断，能够在满足阈值条件时，立刻执行计算资源占用清理，优雅降级热点分布式任务的计算性能，保证系统的正常运行。

进一步地，在上述方法实施例的基础上，所述S102具体包括：

若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略和删除事件比例；

相应地，S103具体包括：

根据所述删除事件策略和所述删除事件比例对有序时间槽内存储的计算资源进行清理操作。

具体来说，S103包括以下步骤：

S1031、获取所述有序时间槽内的事件总数，并根据所述删除事件比例和所述事件总数计算得到删除事件数量；

S1032、若所述删除事件策略为删除最旧任务计算事件，则对所述有序时间槽内最旧的所述删除事件数量的事件进行清理操作；

S1033、若所述删除事件策略为删除最新任务计算事件，则对所述有序时间槽内最新的所述删除事件数量的事件进行清理操作。

其中，删除事件比例drop.events.ratio用于配置持续超过阈值次数符合特定标准时，所删除的有序时间槽内存储的计算资源的任务计算事件的比例，如0.1。

在具体执行本实施例的过程中，通过计算资源保护配置、计算资源占用采集、计算资源占用清理三个部分，来实现实时精确的分布式计算性能的保护，具有面向分布式、实时精确、优雅降级等优点。

A)计算资源保护配置，用于设置计算资源阈值及删除事件策略；

B)计算资源占用采集，用于实时采集任务的“实际执行时间”及“持续超过阈值次数”，以此判断是否需要执行计算资源占用清理；

C)计算资源占用清理，用于根据“删除事件策略”和“删除事件比例”，对有序时间槽内存储的计算资源的事件集合进行清理操作。

具体地，计算资源占用采集的流程示意图如图2所示，配置了系统参数“计算资源阈值”、“持续达到计算阈值的最小次数(次数阈值)”、“删除事件策略”和“删除事件比例”后，当分布式任务开始执行后，记录任务开始时间，设置为“系统当前时间”；在分布式任务执行结束时，记录任务结束时间，设置为“系统当前时间”；则分布式任务的实际执行时间为任务开始时间与任务结束时间之差；判断该实际执行时间是否大于计算资源阈值，若大于则将“持续超过阈值次数”递增，否则将“持续超过阈值次数”置零；如果“持续超过阈值次数”大于“持续达到计算阈值的最小次数(次数阈值)”，则开始执行计算资源占用清理。

计算资源占用清理的流程示意图如图3所示，配置系统参数“删除事件的策略”和“删除事件比例”后，计算“删除事件数量”，该“删除事件数量”为“窗口任务保持的元素数量(有序时间槽内的事件总数)”与“删除事件比例”的乘积；然后根据“删除事件的策略”依次清理“最新任务计算事件”或者“最旧任务计算事件”，直到到达“删除事件数量”。

现有的单机系统的任务运行在单台计算机的单个进程中，较为简单，而分布式任务运行在多台计算机的多个进程中，较为复杂。通过本实施例提供的计算资源占用清理处理方法，可以根据实时的计算资源采集数据，精确地清理计算资源占用，保障分布式系统的实时性和准确性，是保证分布式系统实时性不可或缺的一部分，在最大化满足保护分布式系统安全运行的需求的前提下，优雅降级热点分布式任务的计算性能，保证系统的正常运行。

图4示出了本实施例提供的一种分布式系统的计算资源清理装置的结构示意图，所述装置包括：数据获取模块401、策略获取模块402和资源清理模块403，其中：

所述数据获取模块401用于获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数；

所述策略获取模块402用于若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略；

所述资源清理模块403用于根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。

具体地，所述数据获取模块401获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数；所述策略获取模块402若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略；所述资源清理模块403根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。

本实施例通过实际执行时间和持续超过阈值次数来判断是否需要执行计算资源占用清理，需要清理时，根据删除事件策略对有序时间槽内存储的计算资源进行清理操作，能够及时对分布式系统内占用的计算资源进行清理，保证分布式系统的性能。

进一步地，在上述装置实施例的基础上，所述策略获取模块402具体用于：

若所述实际执行时间大于计算资源阈值，则对所述持续超过阈值次数进行加一操作，否则对所述持续超过阈值次数进行归零操作；

若判断获知所述持续超过阈值次数大于次数阈值，则确定需要执行计算资源占用清理。

进一步地，在上述装置实施例的基础上，所述策略获取模块402具体用于若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略和删除事件比例；

相应地，所述计算资源占用清理模块具体用于根据所述删除事件策略和所述删除事件比例对有序时间槽内存储的计算资源进行清理操作。

进一步地，在上述装置实施例的基础上，所述删除事件策略包括删除最旧任务计算事件或删除最新任务计算事件。

进一步地，在上述装置实施例的基础上，所述计算资源占用清理模块403具体用于：

获取所述有序时间槽内的事件总数，并根据所述删除事件比例和所述事件总数计算得到删除事件数量；

若所述删除事件策略为删除最旧任务计算事件，则对所述有序时间槽内最旧的所述删除事件数量的事件进行清理操作；

若所述删除事件策略为删除最新任务计算事件，则对所述有序时间槽内最新的所述删除事件数量的事件进行清理操作。

本实施例所述的分布式系统的计算资源清理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图5，所述电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；

其中，

所述处理器501和存储器502通过所述总线503完成相互间的通信；

所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种分布式系统的计算资源清理方法，其特征在于，包括：

获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数；

若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略；

根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，具体包括：

若所述实际执行时间大于计算资源阈值，则对所述持续超过阈值次数进行加一操作，否则对所述持续超过阈值次数进行归零操作；

若判断获知所述持续超过阈值次数大于次数阈值，则确定需要执行计算资源占用清理。

3.根据权利要求1所述的方法，其特征在于，所述若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略，具体包括：

若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略和删除事件比例；

相应地，所述根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作，具体包括：

根据所述删除事件策略和所述删除事件比例对有序时间槽内存储的计算资源进行清理操作。

4.根据权利要求3所述的方法，其特征在于，所述删除事件策略包括删除最旧任务计算事件或删除最新任务计算事件。

5.根据权利要求4所述的方法，其特征在于，所述根据所述删除事件策略和所述删除事件比例对有序时间槽内存储的计算资源进行清理操作，具体包括：

获取所述有序时间槽内的事件总数，并根据所述删除事件比例和所述事件总数计算得到删除事件数量；

若所述删除事件策略为删除最旧任务计算事件，则对所述有序时间槽内最旧的所述删除事件数量的事件进行清理操作；

若所述删除事件策略为删除最新任务计算事件，则对所述有序时间槽内最新的所述删除事件数量的事件进行清理操作。

6.一种分布式系统的计算资源清理装置，其特征在于，包括：

数据获取模块，用于获取分布式系统中各分布式任务的实际执行时间和持续超过阈值次数；

策略获取模块，用于若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略；

资源清理模块，用于根据所述删除事件策略对有序时间槽内存储的计算资源进行清理操作。

7.根据权利要求6所述的装置，其特征在于，所述策略获取模块具体用于：

若所述实际执行时间大于计算资源阈值，则对所述持续超过阈值次数进行加一操作，否则对所述持续超过阈值次数进行归零操作；

若判断获知所述持续超过阈值次数大于次数阈值，则确定需要执行计算资源占用清理。

8.根据权利要求6所述的装置，其特征在于，所述策略获取模块具体用于若根据所述实际执行时间和所述持续超过阈值次数判断需要执行计算资源占用清理，则获取删除事件策略和删除事件比例；

相应地，所述计算资源占用清理模块具体用于根据所述删除事件策略和所述删除事件比例对有序时间槽内存储的计算资源进行清理操作。

9.根据权利要求8所述的装置，其特征在于，所述删除事件策略包括删除最旧任务计算事件或删除最新任务计算事件。

10.根据权利要求9所述的装置，其特征在于，所述资源清理模块具体用于：

获取所述有序时间槽内的事件总数，并根据所述删除事件比例和所述事件总数计算得到删除事件数量；

若所述删除事件策略为删除最旧任务计算事件，则对所述有序时间槽内最旧的所述删除事件数量的事件进行清理操作；

若所述删除事件策略为删除最新任务计算事件，则对所述有序时间槽内最新的所述删除事件数量的事件进行清理操作。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。

12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至5任一所述的方法。