CN107632926B - 业务数量统计方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种基于分布式资源管理器的业务数量统计方法，包括周期性的获取存储节点上的运行任务的任务状态；依据各个任务状态的进程号对任务状态进行去重后，获取每个任务状态对应的运行任务的详细信息，并添加至当天的任务信息文件中；选择预设日期的任务信息文件并对其内容进行关键字过滤，得到目录信息；截取各个目录信息中的部分路径，得到路径目录；并行遍历路径目录下的每个路径，查找任务终止文件，统计其中处于预设日期且为预设用户名的任务终止文件的个数，得到预设用户名在预设日期内运行完成的任务数量。本发明耗时短，且能够自主筛选特定日期的任务数量，自主性高；本发明还公开了一种基于上述方法的装置、设备及计算机可读存储介质。

Description

业务数量统计方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据存储技术领域，特别是涉及一种基于分布式资源管理器的业务数量统计方法、装置和设备。本发明还涉及一种计算机可读存储介质。

背景技术

随着信息技术的不断发展，数据存储作为数据资源的核心要素之一也迎来了高速发展的时期。分布式网络存储系统采用可扩展的系统结构，不但提高了系统的可靠性、可用性和存取效率，还易于扩展，从而被越来越多的企业单位接受认可。高性能计算作为存储业务的主要应用场景之一，被各存储厂商高度关注。在高性能计算场景中，分布式资源管理器SGE因为其支持极端的可测量性并能简化管理而被广泛用作前端任务管理器。

SGE由节点、后台程序、队列和用户命令组成。SGE允许同时运行多个任务，系统会试着这最小负荷的合适队列开始新的任务，在SGE中队列就是存放能在某一节点上运行的所有任务的容器。用户命令是一组辅助程序命令。他可以帮助我们管理队列，提交和删除任务，检测任务的状态，中断/开始队列和任务。在高性能计算场景中，往往需要统计每个工作人员在特定时间内完成的任务数量，以便分析后端存储服务器的性能和任务耗时情况。

目前的统计方式一般是首先人工确认各个工作人员在特定时间(例如今天内)执行的任务，然后依据该工作人员的任务列表目录，筛选出上述任务的文件目录，然后串行访问各个文件目录下的文件，查找所完成的任务的数目。需要注意的是，由于每个任务一般需要运行许多天，因此，当天执行的任务一般当天并不能完成。上述方法不能自动筛选出特定时间执行的任务，便利性差，且访问各个文件目录下的文件时，采用串行方式，即依次访问完成一个文件目录后，才能访问下一个文件目录，对时间的消耗很严重。

因此，如何提供一种耗时短且便利性高的基于分布式资源管理器的业务数量统计方法、装置、设备及计算机可读存储介质是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种基于分布式资源管理器的业务数量统计方法，耗时短，且能够自主筛选特定日期的任务数量，自主性高；本发明的另一目的是提供一种基于上述方法的业务数量统计装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供了一种基于分布式资源管理器的业务数量统计方法，包括：

周期性的获取存储节点上的运行任务的任务状态；

依据各个所述任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息，并将其添加至当天对应的任务信息文件中；

选择预设日期的任务信息文件并对其内容进行关键字过滤操作，得到所述预设日期的任务信息文件中各个运行任务的目录信息，并依据预设截取规则截取各个所述目录信息中的部分路径，得到路径目录；

并行遍历所述路径目录下的每个路径，查找任务终止文件，并将查找到的任务终止文件存储至临时文件中；

从所述临时文件中筛选处于所述预设日期、且用户名为预设用户名的任务终止文件，并统计筛选出的任务终止文件的个数，得到所述预设用户名在所述预设日期内运行完成的任务数量。

优选地，所述获取存储节点上的运行任务的任务状态的过程具体为：

通过分布式资源管理器的管理命令qstat-f-u\*获取存储节点上的运行任务的任务状态。

优选地，所述依据各个所述任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息的过程具体为：

通过shell命令awk过滤出每个所述任务状态的进程号；

将所述任务状态的进程号与进程号列表进行比对，若未包含在所述进程号列表内，则将所述任务状态的进程号添加至所述进程号列表内，并通过SGE命令qstat-j PID获取所述任务状态对应的运行任务的详细信息。

优选地，若周期性地选择所述预设日期的任务信息文件并对其内容进行关键字过滤操作，则所述依据预设截取规则截取各个所述目录信息中的部分路径之后，得到所述路径目录之前还包括：

对截取到的若干个路径进行去重操作，并将去重后的路径加入所述路径目录内。

为解决上述技术问题，本发明还提供了一种基于分布式资源管理器的业务数量统计装置，包括：

状态获取模块，用于周期性的获取存储节点上的运行任务的任务状态；

任务信息获取模块，用于依据各个所述任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息，并将其添加至当天对应的任务信息文件中；

路径获取模块，用于选择预设日期的任务信息文件并对其内容进行关键字过滤操作，得到所述预设日期的任务信息文件中各个运行任务的目录信息，并依据预设截取规则截取各个所述目录信息中的部分路径，得到路径目录；

遍历查找模块，用于并行遍历所述路径目录下的每个路径，查找任务终止文件，并将查找到的任务终止文件存储至临时文件中；

筛选模块，用于从所述临时文件中筛选处于所述预设日期、且用户名为预设用户名的任务终止文件，并统计筛选出的任务终止文件的个数，得到所述预设用户名在所述预设日期内运行完成的任务数量。

优选地，所述状态获取模块具体包括：

第一命令生成单元，用于调用分布式资源管理器的管理命令qstat-f-u\*；

获取单元，用于通过所述管理命令qstat-f-u\*获取存储节点上的运行任务的任务状态。

优选地，所述任务信息获取模块具体包括：

进程过滤单元，用于调用shell命令awk，并通过shell命令awk过滤出每个所述任务状态的进程号；

比对单元，用于将所述任务状态的进程号与进程号列表进行比对，若未包含在所述进程号列表内，则将所述任务状态的进程号添加至所述进程号列表内，并通过SGE命令qstat-j PID获取所述任务状态对应的运行任务的详细信息。

优选地，若周期性地触发所述路径获取模块，则所述路径获取模块还包括：

路径去重单元，用于对截取到的若干个路径进行去重操作，并将去重后的路径加入所述路径目录内。

为解决上述技术问题，本发明还提供了一种基于分布式资源管理器的业务数量统计设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上任一项所述的基于分布式资源管理器的业务数量统计方法的步骤。

为解决上述技术问题，本发明还提供了计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一项所述的基于分布式资源管理器的业务数量统计方法的步骤。

本发明提供了一种基于分布式资源管理器的业务数量统计方法，首先依据存储节点上的运行任务的任务状态进行统计去重后，确定当天运行的全部任务，并将任务信息添加至当天对应的任务信息文件。通过上述方法，使得之后只需要调用特定日期的任务信息文件，即可得到特定日期的运行任务。故本发明避免了人工确认运行任务操作，便利性强。之后，从选择的任务信息文件中筛选出各个运行任务的路径，最后并行遍历各个路径，即可筛选出特定日期内完成的运行任务数量，最后依据预设用户名筛选出特定工作人员在特定日期内完成执行的任务数量。可见，本发明在遍历各个路径时，采用的是并行遍历的方式，即可以同时遍历各个路径，相比现有技术而言，减少了遍历时间，耗时更短。当然，对于每个路径而言，遍历该路径下的文件的方式是串行的。本发明还提供了一种基于上述方法的装置、设备及计算机可读存储介质。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于分布式资源管理器的业务数量统计方法的过程的流程图；

图2为本发明提供的一种基于分布式资源管理器的业务数量统计装置的结构示意图。

具体实施方式

本发明的核心是提供一种基于分布式资源管理器的业务数量统计方法，耗时短，且能够自主筛选特定日期的任务数量，自主性高；本发明的另一核心是提供一种基于上述方法的业务数量统计装置、设备及计算机可读存储介质。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于分布式资源管理器的业务数量统计方法，参见图1所示，图1为本发明提供的一种基于分布式资源管理器的业务数量统计方法的过程的流程图；该方法包括：

步骤s1：周期性的获取存储节点上的运行任务的任务状态；

其中，上述过程具体为：

通过分布式资源管理器的管理命令qstat-f-u\*获取存储节点上的运行任务的任务状态。

另外，这里的运行状态包括执行该任务的工作人员的用户名、执行开始的时间以及任务的进程号等，这里的进程号与任务一一对应，用于作为任务的标识符。

步骤s2：依据各个任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息，并将其添加至当天对应的任务信息文件中；

可以理解的是，步骤s1中的周期一般时间较短，例如30分钟或者一个小时，而一个任务往往需要多天完成，因此一个周期内不足以完成一个任务，故每天获得的任务状态会包含同一任务不同时间的状态，这种情况会导致任务的重复记录，因此需要根据进程号来进行去重，保证任务信息文件中包含的各个运行任务互不相同。

步骤s3：选择预设日期的任务信息文件并对其内容进行关键字过滤操作，得到预设日期的任务信息文件中各个运行任务的目录信息，并依据预设截取规则截取各个目录信息中的部分路径，得到路径目录；

其中，这里具体是使用shell命令awk从预设日期(例如前天)的任务信息文件中以“cwd:”为关键字进行过滤，即可得到相应的目录信息，当然这里的关键字设置可以不为“cwd:”，但是需要保证该关键字能够用于目录信息(即路径信息)的搜索。

另外，这里的预设截取规则中对于各个目录信息截取的字段数量相同，也可以对于不同类型的目录信息截取的字段数量不同，本发明对此不作具体限定，当然，这里截取的字段均是以cwd:之后的第一个字段为起始，开始进行截取。

步骤s4：并行遍历路径目录下的每个路径，查找任务终止文件，并将查找到的任务终止文件存储至临时文件中；

其中，这里是使用shell中的for语句进行遍历。可以理解的是，由于高性能场景下，每路任务运行完毕后，均会生成一个以“_done”为后缀的空文件，以便统计任务完成情况，因此只需要查找每个路径下中的以“_done”为后缀的空文件的个数即可用于后续统计任务完成数量。故上述任务终止文件指的是以“_done”为后缀的空文件。当然，若任务终止还具有其他标识文件，也可将其作为任务终止文件使用。

另外，这里的临时文件是用于缓存查找到的任务终止文件，可以每查找到一个任务终止文件即生成一个临时文件用于缓存，或者也可以将查找到的全部任务终止文件均存储至同一个临时文件中，本发明对此不作限定。

进一步的，可以在查找完路径目录下的全部路径后，将临时文件内的数据写入done.log文件内，之后即可以删除该临时文件，之后步骤s5内从done.log文件中筛选，当然，以上仅为优选方案，本发明对此不作限定。

步骤s5：从临时文件中筛选处于预设日期、且用户名为预设用户名的任务终止文件，并统计筛选出的任务终止文件的个数，得到预设用户名在预设日期内运行完成的任务数量。

其中，上述统计筛选出的任务终止文件的个数是通过shell命令wc-l实现的。

在优选实施例中，步骤s2的过程具体为：

通过shell命令awk过滤出每个任务状态的进程号；

将任务状态的进程号与进程号列表进行比对，若未包含在进程号列表内，则将任务状态的进程号添加至进程号列表内，并通过SGE命令qstat-j PID获取任务状态对应的运行任务的详细信息。

在优选实施例中，若周期性地选择预设日期的任务信息文件并对其内容进行关键字过滤操作，步骤s3中，依据预设截取规则截取各个目录信息中的部分路径之后，得到路径目录之前还包括：

对截取到的若干个路径进行去重操作，并将去重后的路径加入路径目录内。

可以理解的是，若周期性地选择预设日期的任务信息文件并对其内容进行关键字过滤操作，则会多次得到同一任务对应的路径，这样容易导致后续操作中任务的重复计数，影响统计结果的精确度。

另外，本发明中所使用的各个命令均为优选方案，但是本发明并不限定其他命令语句的使用，任何能够实现上述目的的命令语句均在本发明的保护范围之内。

本发明提供了一种基于分布式资源管理器的业务数量统计方法，首先依据存储节点上的运行任务的任务状态进行统计去重后，确定当天运行的全部任务，并将任务信息添加至当天对应的任务信息文件。通过上述方法，使得之后只需要调用特定日期的任务信息文件，即可得到特定日期的运行任务。故本发明避免了人工确认运行任务操作，便利性强。之后，从选择的任务信息文件中筛选出各个运行任务的路径，最后并行遍历各个路径，即可筛选出特定日期内完成的运行任务数量，最后依据预设用户名筛选出特定工作人员在特定日期内完成执行的任务数量。可见，本发明在遍历各个路径时，采用的是并行遍历的方式，即可以同时遍历各个路径，相比现有技术而言，减少了遍历时间，耗时更短。当然，对于每个路径而言，遍历该路径下的文件的方式是串行的。

本发明还提供了一种基于分布式资源管理器的业务数量统计装置，参见图2所示，图2为本发明提供的一种基于分布式资源管理器的业务数量统计装置的结构示意图。该装置包括：

状态获取模块1，用于周期性的获取存储节点上的运行任务的任务状态；

任务信息获取模块2，用于依据各个任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息，并将其添加至当天对应的任务信息文件中；

路径获取模块3，用于选择预设日期的任务信息文件并对其内容进行关键字过滤操作，得到预设日期的任务信息文件中各个运行任务的目录信息，并依据预设截取规则截取各个目录信息中的部分路径，得到路径目录；

遍历查找模块4，用于并行遍历路径目录下的每个路径，查找任务终止文件，并将查找到的任务终止文件存储至临时文件中；

筛选模块5，用于从临时文件中筛选处于预设日期、且用户名为预设用户名的任务终止文件，并统计筛选出的任务终止文件的个数，得到预设用户名在预设日期内运行完成的任务数量。

作为优选地，状态获取模块1具体包括：

第一命令生成单元，用于调用分布式资源管理器的管理命令qstat-f-u\*；

获取单元，用于通过管理命令qstat-f-u\*获取存储节点上的运行任务的任务状态。

作为优选地，任务信息获取模块2具体包括：

进程过滤单元，用于调用shell命令awk，并通过shell命令awk过滤出每个任务状态的进程号；

比对单元，用于将任务状态的进程号与进程号列表进行比对，若未包含在进程号列表内，则将任务状态的进程号添加至进程号列表内，并通过SGE命令qstat-j PID获取任务状态对应的运行任务的详细信息。

作为优选地，若周期性地触发路径获取模块3，则路径获取模块3还包括：

路径去重单元，用于对截取到的若干个路径进行去重操作，并将去重后的路径加入路径目录内。

本发明提供了一种基于分布式资源管理器的业务数量统计装置，首先依据存储节点上的运行任务的任务状态进行统计去重后，确定当天运行的全部任务，并将任务信息添加至当天对应的任务信息文件。通过上述方法，使得之后只需要调用特定日期的任务信息文件，即可得到特定日期的运行任务。故本发明避免了人工确认运行任务操作，便利性强。之后，从选择的任务信息文件中筛选出各个运行任务的路径，最后并行遍历各个路径，即可筛选出特定日期内完成的运行任务数量，最后依据预设用户名筛选出特定工作人员在特定日期内完成执行的任务数量。可见，本发明在遍历各个路径时，采用的是并行遍历的方式，即可以同时遍历各个路径，相比现有技术而言，减少了遍历时间，耗时更短。当然，对于每个路径而言，遍历该路径下的文件的方式是串行的。

本发明还提供了一种基于分布式资源管理器的业务数量统计设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如以上任一项所述的基于分布式资源管理器的业务数量统计方法的步骤。

本发明还提供了计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任一项所述的基于分布式资源管理器的业务数量统计方法的步骤。

以上所述仅是本发明实施方式举例，本发明不限于以上实施例。相关专业技术人员在不脱离本发明精神和构思前提下推演出的其他改进和变化，均应包含在本发明的保护范围之内。

还需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于分布式资源管理器的业务数量统计方法，其特征在于，包括：

周期性的获取存储节点上的运行任务的任务状态；

依据各个所述任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息，并将其添加至当天对应的任务信息文件中；

选择预设日期的任务信息文件并对其内容进行关键字过滤操作，得到所述预设日期的任务信息文件中各个运行任务的目录信息，并依据预设截取规则截取各个所述目录信息中的部分路径，得到路径目录；

并行遍历所述路径目录下的每个路径，查找任务终止文件，并将查找到的任务终止文件存储至临时文件中；

从所述临时文件中筛选处于所述预设日期、且用户名为预设用户名的任务终止文件，并统计筛选出的任务终止文件的个数，得到所述预设用户名在所述预设日期内运行完成的任务数量。

2.根据权利要求1所述的方法，其特征在于，所述获取存储节点上的运行任务的任务状态的过程具体为：

通过分布式资源管理器的管理命令qstat-f-u\*获取存储节点上的运行任务的任务状态。

3.根据权利要求1所述的方法，其特征在于，所述依据各个所述任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息的过程具体为：

通过shell命令awk过滤出每个所述任务状态的进程号；

将所述任务状态的进程号与进程号列表进行比对，若未包含在所述进程号列表内，则将所述任务状态的进程号添加至所述进程号列表内，并通过SGE命令qstat-j PID获取所述任务状态对应的运行任务的详细信息。

4.根据权利要求1所述的方法，其特征在于，若周期性地选择所述预设日期的任务信息文件并对其内容进行关键字过滤操作，则所述依据预设截取规则截取各个所述目录信息中的部分路径之后，得到所述路径目录之前还包括：

对截取到的若干个路径进行去重操作，并将去重后的路径加入所述路径目录内。

5.一种基于分布式资源管理器的业务数量统计装置，其特征在于，包括：

状态获取模块，用于周期性的获取存储节点上的运行任务的任务状态；

任务信息获取模块，用于依据各个所述任务状态的进程号对任务状态进行去重操作后，获取每个任务状态对应的运行任务的详细信息，并将其添加至当天对应的任务信息文件中；

路径获取模块，用于选择预设日期的任务信息文件并对其内容进行关键字过滤操作，得到所述预设日期的任务信息文件中各个运行任务的目录信息，并依据预设截取规则截取各个所述目录信息中的部分路径，得到路径目录；

遍历查找模块，用于并行遍历所述路径目录下的每个路径，查找任务终止文件，并将查找到的任务终止文件存储至临时文件中；

筛选模块，用于从所述临时文件中筛选处于所述预设日期、且用户名为预设用户名的任务终止文件，并统计筛选出的任务终止文件的个数，得到所述预设用户名在所述预设日期内运行完成的任务数量。

6.根据权利要求5所述的装置，其特征在于，所述状态获取模块具体包括：

第一命令生成单元，用于调用分布式资源管理器的管理命令qstat-f-u\*；

获取单元，用于通过所述管理命令qstat-f-u\*获取存储节点上的运行任务的任务状态。

7.根据权利要求5所述的装置，其特征在于，所述任务信息获取模块具体包括：

进程过滤单元，用于调用shell命令awk，并通过shell命令awk过滤出每个所述任务状态的进程号；

比对单元，用于将所述任务状态的进程号与进程号列表进行比对，若未包含在所述进程号列表内，则将所述任务状态的进程号添加至所述进程号列表内，并通过SGE命令qstat-j PID获取所述任务状态对应的运行任务的详细信息。

8.根据权利要求5所述的装置，其特征在于，若周期性地触发所述路径获取模块，则所述路径获取模块还包括：

路径去重单元，用于对截取到的若干个路径进行去重操作，并将去重后的路径加入所述路径目录内。

9.一种基于分布式资源管理器的业务数量统计设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的基于分布式资源管理器的业务数量统计方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于分布式资源管理器的业务数量统计方法的步骤。

Images