CN109144823A - 计算资源和作业信息的展示方法及系统 - Google Patents

计算资源和作业信息的展示方法及系统 Download PDF

Info

Publication number
CN109144823A
CN109144823A CN201710501034.2A CN201710501034A CN109144823A CN 109144823 A CN109144823 A CN 109144823A CN 201710501034 A CN201710501034 A CN 201710501034A CN 109144823 A CN109144823 A CN 109144823A
Authority
CN
China
Prior art keywords
computing resource
job
information
methods
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710501034.2A
Other languages
English (en)
Inventor
葛鑫
王胜春
路曜宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Original Assignee
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Sinopec Geophysical Research Institute filed Critical China Petroleum and Chemical Corp
Priority to CN201710501034.2A priority Critical patent/CN109144823A/zh
Publication of CN109144823A publication Critical patent/CN109144823A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Stored Programmes (AREA)

Abstract

公开了一种计算资源和作业信息的展示方法及系统。该方法包括：基于OpenLava调度系统进行数据采集；对所述数据进行分析，识别出计算资源信息和作业信息；制作命令形式的查看工具，通过工具参数实现展示功能；根据本发明，可以使用户不通过系统管理员就可直观的了解计算资源分配、使用情况和用户作业的运行基本信息。

Description

计算资源和作业信息的展示方法及系统
技术领域
本发明涉及信息技术领域，更具体地，涉及一种计算资源和作业信息的展示方法及系统。
背景技术
集群(cluster)是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。高性能计算(HighPerfermanceComputing)集群，简称HPC集群，是由很多计算机通过网络组成的一个系统，主要用于并行计算，所有的计算机上安装Linux操作系统。目前在许多计算中心中，为提高计算资源的利用率和减少用户作业等待的时间，通常采用的方法是通过集群负载作业调度软件将用户提交的作业放入作业等待队列，再根据一定的策略选取合适的作业分配到适合作业申请条件的计算资源上去运行。用户目前主要通过系统管理员来了解资源分配、使用情况和用户作业的运行基本信息，通过这种方式并不能直观方便的了解资源的分配使用情况和用户作业的运行信息。
因此，有必要提供一种资源和作业信息的查看方法，帮助用户方便、更好的了解资源的使用情况和作业的运行情况。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提出了一种基于调度系统的资源和作业信息查看方法，其能够通过OpenLava调度系统和查看工具，实现展示功能。
根据本发明的一方面，提出了一种计算资源和作业信息的展示方法，该方法包括：基于OpenLava调度系统进行数据采集；对所述数据进行分析，识别出计算资源信息和作业信息；制作命令形式的查看工具，通过工具参数实现展示功能。
优选地，通过所述OpenLava调度系统的bhosts和bjobs工具进行所述数据采集。
优选地，进一步包括建立文件夹，用于存储采集到的数据。
优选地，所述计算资源信息包括已用计算资源和/或总共分配计算资源。
优选地，所述作业信息包括作业运行状态、作业运行时间和作业运行节点中的至少一种。
优选地，通过shell制作命令形式的查看工具。
根据本发明的另一方面，提出了一种计算资源和作业信息的展示系统，该系统包括：
数据采集模块，用于基于OpenLava调度系统进行数据采集；
数据分析模块，用于对所述数据进行分析，识别出计算资源信息和作业信息；
功能展示模块，用于制作命令形式的查看工具，通过工具参数实现展示功能。
优选地，还包括数据存储模块，用于存储采集到的数据。
优选地，通过所述OpenLava调度系统的bhosts和bjobs工具进行所述数据采集；通过shell制作命令形式的查看工具。
优选地，所述计算资源信息包括已用计算资源和/或总共分配计算资源；所述作业信息包括作业运行状态、作业运行时间和作业运行节点中的至少一种。
根据本发明，可以使用户不通过系统管理员就可直观的了解计算资源分配、使用情况和用户作业的运行基本信息。
本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施例中将是显而易见的，或者将在并入本文中的附图和随后的具体实施例中进行详细陈述，这些附图和具体实施例共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的一种计算资源和作业信息的展示方法的步骤的流程图。
图2示出了根据本发明的一个应用示例的工具功能说明。
图3示出了根据本发明的一个应用示例的用户作业信息。
图4示出了根据本发明的一个应用示例的计算资源使用信息。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
实施例1
图1示出了根据本发明的一种计算资源和作业信息的展示方法的步骤的流程图。
在该实施例中，根据本发明的一种计算资源和作业信息的展示方法，该方法包括：步骤101，基于OpenLava调度系统进行数据采集；步骤102，对所述数据进行分析，识别出计算资源信息和作业信息；以及步骤103，制作命令形式的查看工具，通过工具参数实现展示功能。
该实施例通过OpenLava调度系统和查看工具，实现展示功能。
下面详细说明根据本发明的计算资源和作业信息的展示方法的具体步骤。
步骤101，基于OpenLava调度系统进行数据采集。
在一个示例中，通过所述OpenLava调度系统的bhosts和bjobs工具进行所述数据采集。
在一个示例中，进一步包括建立文件夹，用于存储采集到的数据。
OpenLava是一个开源的集群负载作业调度软件，它的核心是openlava base，由两个主要的守护进程组成—LIM和RES以及与它们连接的API，而这两个守护进程安装在OpenLava集群的每个主机上。
步骤102，对所述数据进行分析，识别出计算资源信息和作业信息。
在一个示例中，所述计算资源信息包括已用计算资源和/或总共分配计算资源。
作为优选方案，可以包括每个队列分配了多少计算资源，可以使用的计算资源和已使用的计算资源。
在一个示例中，所述作业信息包括作业运行状态、作业运行时间和作业运行节点中的至少一种。
作为优选方案，所述作业信息还包括作业ID号。
步骤103，制作命令形式的查看工具，通过工具参数实现展示功能。
在一个示例中，通过shell制作命令形式的查看工具。
shell是一种具备特殊功能的程序，它是介于使用者和UNIX/Linux操作系统之核心程序(kernel)间的一个接口。Shell脚本最常用于系统管理工作，或是用于结合现有的程序以完成小型的、特定的工作。
利用本发明的展示方法可以方便、简洁的展示计算资源的使用情况和用户作业的基本信息。
应用示例
为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
图2示出了根据本发明的一个应用示例的工具功能说明。
图3示出了根据本发明的一个应用示例的用户作业信息。
图4示出了根据本发明的一个应用示例的计算资源使用信息。
本发明提供了一种计算资源和作业信息的展示方法，该方法包括：基于OpenLava调度系统进行数据采集；建立文件夹，用于存储采集到的数据；对所述数据进行分析，识别出计算资源信息和作业信息；以及制作命令形式的查看工具，通过工具参数实现展示功能；其中，通过所述OpenLava调度系统的bhosts和bjobs工具进行所述数据采集；所述计算资源信息包括已用计算资源和总共分配计算资源；所述作业信息包括作业ID号、作业运行状态、作业运行时间和作业运行节点；通过shell制作命令形式的查看工具。
如图2所示，通过Shell制作成以命令形式的工具，通过参数实现不同的功能，如图3所示，输入lstat–u可查看用户作业运行情况，如图4所示，输入lstat可查看计算资源使用情况。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
实施例2
根据本发明的实施例，提供了一种计算资源和作业信息的展示系统，该系统包括：数据采集模块，用于基于OpenLava调度系统进行数据采集；数据分析模块，用于对所述数据进行分析，识别出计算资源信息和作业信息；功能展示模块，用于制作命令形式的查看工具，通过工具参数实现展示功能。
该实施例通过OpenLava调度系统和查看工具，实现展示功能。
在一个示例中，还包括数据存储模块，用于存储采集到的数据。
在一个示例中，通过所述OpenLava调度系统的bhosts和bjobs工具进行所述数据采集；通过shell制作命令形式的查看工具。
在一个示例中，所述计算资源信息包括已用计算资源和/或总共分配计算资源；所述作业信息包括作业运行状态、作业运行时间和作业运行节点中的至少一种。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种计算资源和作业信息的展示方法，其特征在于，该方法包括：
基于OpenLava调度系统进行数据采集；
对所述数据进行分析，识别出计算资源信息和作业信息；
制作命令形式的查看工具，通过工具参数实现展示功能。
2.根据权利要求1所述的展示方法，其中，通过所述OpenLava调度系统的bhosts和bjobs工具进行所述数据采集。
3.根据权利要求1所述的展示方法，其中，进一步包括建立文件夹，用于存储采集到的数据。
4.根据权利要求1所述的展示方法，其中，所述计算资源信息包括已用计算资源和/或总共分配计算资源。
5.根据权利要求1所述的展示方法，其中，所述作业信息包括作业运行状态、作业运行时间和作业运行节点中的至少一种。
6.根据权利要求1所述的展示方法，其中，通过shell制作命令形式的查看工具。
7.一种计算资源和作业信息的展示系统，其特征在于，该系统包括：
数据采集模块，用于基于OpenLava调度系统进行数据采集；
数据分析模块，用于对所述数据进行分析，识别出计算资源信息和作业信息；
功能展示模块，用于制作命令形式的查看工具，通过工具参数实现展示功能。
8.根据权利要求7所述的展示系统，其中，还包括数据存储模块，用于存储采集到的数据。
9.根据权利要求7所述的展示系统，其中，通过所述OpenLava调度系统的bhosts和bjobs工具进行所述数据采集；通过shell制作命令形式的查看工具。
10.根据权利要求7所述的展示系统，其中，所述计算资源信息包括已用计算资源和/或总共分配计算资源；所述作业信息包括作业运行状态、作业运行时间和作业运行节点中的至少一种。
CN201710501034.2A 2017-06-27 2017-06-27 计算资源和作业信息的展示方法及系统 Pending CN109144823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710501034.2A CN109144823A (zh) 2017-06-27 2017-06-27 计算资源和作业信息的展示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710501034.2A CN109144823A (zh) 2017-06-27 2017-06-27 计算资源和作业信息的展示方法及系统

Publications (1)

Publication Number Publication Date
CN109144823A true CN109144823A (zh) 2019-01-04

Family

ID=64804996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710501034.2A Pending CN109144823A (zh) 2017-06-27 2017-06-27 计算资源和作业信息的展示方法及系统

Country Status (1)

Country Link
CN (1) CN109144823A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012119310A1 (zh) * 2011-03-09 2012-09-13 中国科学院计算机网络信息中心 在计算环境中汇聚队列信息及作业信息的方法
CN102902589A (zh) * 2012-08-31 2013-01-30 浪潮电子信息产业股份有限公司 一种集群mic作业的管理及调度方法
CN103294481A (zh) * 2013-06-27 2013-09-11 曙光信息产业(北京)有限公司 用于cst计算程序的处理方法
CN103338135A (zh) * 2013-07-05 2013-10-02 山东大学 一种集群存储容量的实时监控方法
US20140028680A1 (en) * 2012-07-30 2014-01-30 International Business Machines Corporation Visualizing jobs in a distributed environment with limited resources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012119310A1 (zh) * 2011-03-09 2012-09-13 中国科学院计算机网络信息中心 在计算环境中汇聚队列信息及作业信息的方法
US20140028680A1 (en) * 2012-07-30 2014-01-30 International Business Machines Corporation Visualizing jobs in a distributed environment with limited resources
CN102902589A (zh) * 2012-08-31 2013-01-30 浪潮电子信息产业股份有限公司 一种集群mic作业的管理及调度方法
CN103294481A (zh) * 2013-06-27 2013-09-11 曙光信息产业(北京)有限公司 用于cst计算程序的处理方法
CN103338135A (zh) * 2013-07-05 2013-10-02 山东大学 一种集群存储容量的实时监控方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯胜鹏 等: "集群管理在Web上的设计与实现", 《计算机辅助工程》 *
郭全: "面向网格的数据采集和监测系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
WO2018099299A1 (zh) 一种图数据处理的方法、装置及系统
US9495206B2 (en) Scheduling and execution of tasks based on resource availability
WO2016078008A1 (zh) 调度数据流任务的方法和装置
US8667020B2 (en) Placement goal-based database instance dynamic consolidation
US8667019B2 (en) Placement goal-based database instance consolidation
JP2018026114A (ja) アプリケーション・プロファイリング・ジョブ管理システム、プログラム、及び方法
US7853928B2 (en) Creating a physical trace from a virtual trace
US20140331235A1 (en) Resource allocation apparatus and method
US20180331927A1 (en) Resource Coordinate System for Data Centers
CN109614227B (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
US8413159B2 (en) Classifying workload for a service
CN102902589B (zh) 一种集群mic作业的管理及调度方法
US11036558B2 (en) Data processing
CN102073535B (zh) 基于硬件计数器虚拟化的多虚拟机性能分析方法
CN104298550A (zh) 一种面向Hadoop的动态调度方法
CN112256414A (zh) 一种连接多种计算存储引擎的方法及系统
Abbasi et al. A preliminary study of incorporating GPUs in the Hadoop framework
CN110033242A (zh) 工作时间确定方法、装置、设备和介质
CN113051049A (zh) 任务调度系统、方法、电子设备及可读存储介质
CN117271122A (zh) 基于cpu和gpu分离的任务处理方法、装置、设备及存储介质
CN112363914A (zh) 一种并行测试资源配置寻优的方法、计算设备及存储介质
EP3343370A1 (en) Method of processing opencl kernel and computing device therefor
CN109144823A (zh) 计算资源和作业信息的展示方法及系统
CN111596962A (zh) 一种基于高速协议通道的实时微内核系统及其初始化方法
CN114756574A (zh) 应用于多云管理系统的云资源成本分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication