CN107122246B - 智能数值模拟作业管理与反馈方法 - Google Patents

智能数值模拟作业管理与反馈方法 Download PDF

Info

Publication number
CN107122246B
CN107122246B CN201710287218.3A CN201710287218A CN107122246B CN 107122246 B CN107122246 B CN 107122246B CN 201710287218 A CN201710287218 A CN 201710287218A CN 107122246 B CN107122246 B CN 107122246B
Authority
CN
China
Prior art keywords
node
calculation
priority
job
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710287218.3A
Other languages
English (en)
Other versions
CN107122246A (zh
Inventor
郑志锋
邓志勇
周家雄
王一
陈祖银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Offshore Oil Corp CNOOC
CNOOC China Ltd Zhanjiang Branch
Original Assignee
China National Offshore Oil Corp CNOOC
CNOOC China Ltd Zhanjiang Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Offshore Oil Corp CNOOC, CNOOC China Ltd Zhanjiang Branch filed Critical China National Offshore Oil Corp CNOOC
Priority to CN201710287218.3A priority Critical patent/CN107122246B/zh
Publication of CN107122246A publication Critical patent/CN107122246A/zh
Application granted granted Critical
Publication of CN107122246B publication Critical patent/CN107122246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种智能数值模拟作业管理与反馈方法，包括如下步骤：计算节点持续采样节点状态信息；服务器程序排除异常节点后，按各节点优先级排列，组合成等候调度的计算资源；用户使用客户端程序发送数值模拟作业计算请求；服务器程序在计算资源足够的情况下，将作业计算请求优先指派到优先级高的计算节点上计算；作业计算结束后，客户端程序通过分析作业日志，获得作业完成情况；客户端程序根据作业完成情况进行反馈，更新计算节点的优先级。本发明可以有效的避免作业反复送到异常节点上计算，逐步提高计算效率高的节点优先级，从而提高数值模拟作业整体的计算成功率以及效率，有效的提高科研人员的工作效率，具有较强的通用性。

Description

智能数值模拟作业管理与反馈方法
技术领域
本发明涉及一种数值模拟作业调度管理计算资源优化技术领域，具体是指数值模拟作业管理计算资源智能过滤及反馈优化方法。
背景技术
数值模拟作业计算后端计算资源优化技术是南海西部盆地油藏数值模拟工作得以有效开展的关键技术之一。
现有的数值模拟作业管理技术多为优先级固定的节点调度管理，或为节点随机调度管理，但计算节点受多方面不可控的因素影响，各种因素都有可能导致存在坏节点的情况，因而导致数值模拟作业整体的计算成功率下降，而节点随机调度管理，虽可以减轻坏节点对整体的影响，却不能有效的提高计算效率。油藏数值模拟用户多次反映作业计算不规律的出现失败的情况，实为后端计算资源质量下降的问题，极大的降低了科研工作的效率，为此，亟需一种能有效提高后端计算资源质量的作业管理调度方法。
发明内容
本发明的目的在于克服上述已有技术的不足，提供一种通用性强且可靠性高的数值模拟作业管理计算资源智能过滤及反馈优化方法。
为了实现上述目的，本发明采用的技术方案是：一种智能数值模拟作业管理与反馈方法，其特征在于：包括下列步骤：
S1：计算节点安装驱动后，持续采样节点状态信息发送到数据库，采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况；
S2：服务器程序从数据库获取各计算节点的优先级及状态信息，排除异常节点后按各节点优先级排列，组合成等候调度的计算资源，节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常；
S3：用户使用客户端程序将数值模拟作业计算请求发送到数据库，作业计算请求信息含有作业路径信息；
S4：服务器程序从数据库读取用户的作业计算请求，在计算资源足够的情况下，将作业优先指派到优先级高的计算节点上计算；
S5：作业计算结束后，客户端程序通过分析作业日志，根据作业完成情况不同会有不同的作业日志标志，获得作业完成情况，分为作业计算完成和作业计算失败两种情况；
S6：客户端程序根据作业完成情况进行反馈，若作业计算完成，提高计算所用节点优先级，若作业计算失败，降低所用节点优先级，更新数据库中节点的优先级。
进一步地，所述步骤S2中，所述服务器程序通过智能分析节点的各种状态信息，若判定为异常节点，对异常的节点具备过滤排除功能。
进一步地，在所述步骤S4中，所述服务器程序具备以优先级加权调度节点的管理功能，对优先级高的节点优先调用，优先级低的节点少调用或标记为冗余节点不调用。
进一步地，在所述步骤S6中，所述客户端程序根据作业完成情况进行反馈的方法具体是：客户端程序给用户显示作业日志的同时，通过同步分析作业日志，根据日志中特殊的多个标志字段，综合判断形成作业完成情况，分为作业计算完成和作业计算失败两种情况，对这两种情况执行不同的操作来改变数据库中节点的优先级，数据库中优先级字段为整形数据，优先级数值大，则优先级高；具体操作方法如下：若作业计算完成，则所用节点优先级加1；若作业计算失败，分两种情况，当所用节点优先级大于0，则优先级减半再减1，当优先级小于等于0，则优先级减1。
本发明的有益效果是：利用本发明的方法，通过异常计算节点智能过滤、作业完成情况反馈优化、计算节点以优先级加权调度管理，可以有效的避免作业反复送到异常节点上计算，逐步提高计算效率高的节点优先级，从而提高数值模拟作业整体的计算成功率以及效率，有效的提高科研人员的工作效率，具有较强的通用性。本发明为数值模拟作业管理技术计算资源调度管理技术提供了更稳定更可靠的方法。
附图说明
下面结合附图对本发明作进一步的详细说明。
图1为本发明的流程方框图。
具体实施方式
本发明一种智能数值模拟作业管理与反馈方法，其特征在于：包括下列步骤：
S1：计算节点安装驱动后，持续采样节点状态信息发送到数据库，采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况；
S2：服务器程序从数据库获取各计算节点的优先级及状态信息，排除异常节点后按各节点优先级排列，组合成等候调度的计算资源，节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常；
S3：用户使用客户端程序将数值模拟作业计算请求发送到数据库，作业计算请求信息含有作业路径信息；
S4：服务器程序从数据库读取用户的作业计算请求，在计算资源足够的情况下，将作业优先指派到优先级高的计算节点上计算；
S5：作业计算结束后，客户端程序通过分析作业日志，根据作业完成情况不同会有不同的作业日志标志，获得作业完成情况，分为作业计算完成和作业计算失败两种情况；
S6：客户端程序根据作业完成情况进行反馈，若作业计算完成，提高计算所用节点优先级，若作业计算失败，降低所用节点优先级，更新数据库中节点的优先级。
进一步地，所述步骤S2中，所述服务器程序通过智能分析节点的各种状态信息，若判定为异常节点，对异常的节点具备过滤排除功能。
进一步地，在所述步骤S4中，所述服务器程序具备以优先级加权调度节点的管理功能，对优先级高的节点优先调用，优先级低的节点少调用或标记为冗余节点不调用。
进一步地，在所述步骤S6中，所述客户端程序根据作业完成情况进行反馈的方法具体是：客户端程序给用户显示作业日志的同时，通过同步分析作业日志，根据日志中特殊的多个标志字段，综合判断形成作业完成情况，分为作业计算完成和作业计算失败两种情况，对这两种情况执行不同的操作来改变数据库中节点的优先级，数据库中优先级字段为整形数据，优先级数值大，则优先级高；具体操作方法如下：若作业计算完成，则所用节点优先级加1；若作业计算失败，分两种情况，当所用节点优先级大于0，则优先级减半再减1，当优先级小于等于0，则优先级减1。
以上内容仅用以说明本发明的技术方案，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种智能数值模拟作业管理与反馈方法，其特征在于：包括下列步骤：
S1：计算节点安装驱动后，持续采样节点状态信息发送到数据库，采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况；
S2：服务器程序从数据库获取各计算节点的优先级及状态信息，排除异常节点后按各节点优先级排列，组合成等候调度的计算资源，节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常；
S3：用户使用客户端程序将数值模拟作业计算请求发送到数据库，作业计算请求信息含有作业路径信息；
S4：服务器程序从数据库读取用户的作业计算请求，在计算资源足够的情况下，将作业优先指派到优先级高的计算节点上计算；
S5：作业计算结束后，客户端程序通过分析作业日志，根据作业完成情况不同会有不同的作业日志标志，获得作业完成情况，分为作业计算完成和作业计算失败两种情况；
S6：客户端程序根据作业完成情况进行反馈，若作业计算完成，提高计算所用节点优先级，若作业计算失败，降低所用节点优先级，更新数据库中节点的优先级；所述客户端程序根据作业完成情况进行反馈的方法具体是：客户端程序给用户显示作业日志的同时，通过同步分析作业日志，根据日志中特殊的多个标志字段，综合判断形成作业完成情况，分为作业计算完成和作业计算失败两种情况，若作业计算完成，则所用节点优先级加1；若作业计算失败，分两种情况，当所用节点优先级大于0，则优先级减半再减1，当优先级小于等于0，则优先级减1。
2.根据权利要求1所述的智能数值模拟作业管理与反馈方法，其特征在于：所述步骤S2中，所述服务器程序通过智能分析节点的各种状态信息，若判定为异常节点，对异常的节点具备过滤排除功能。
3.根据权利要求1所述的智能数值模拟作业管理与反馈方法，其特征在于：所述步骤S4中，所述服务器程序具备以优先级加权调度节点的管理功能，对优先级高的节点优先调用，优先级低的节点少调用或标记为冗余节点不调用。
CN201710287218.3A 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法 Active CN107122246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710287218.3A CN107122246B (zh) 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710287218.3A CN107122246B (zh) 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法

Publications (2)

Publication Number Publication Date
CN107122246A CN107122246A (zh) 2017-09-01
CN107122246B true CN107122246B (zh) 2020-05-19

Family

ID=59725418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710287218.3A Active CN107122246B (zh) 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法

Country Status (1)

Country Link
CN (1) CN107122246B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019134084A1 (zh) 2018-01-04 2019-07-11 深圳市天软科技开发有限公司 代码执行方法、装置、终端设备及计算机可读存储介质
CN108334408B (zh) * 2018-01-04 2020-10-02 深圳市天软科技开发有限公司 代码执行方法、装置、终端设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054152A2 (en) * 1999-03-10 2000-09-14 Sun Microsystems, Inc. System and method for determining cluster membership in a heterogeneous distributed system
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN102830946A (zh) * 2012-08-06 2012-12-19 电子科技大学 大规模地震数据处理私有云环境下的网络打印系统
CN103365713A (zh) * 2012-04-01 2013-10-23 华为技术有限公司 一种资源的调度和管理方法及装置
CN103870329A (zh) * 2014-03-03 2014-06-18 同济大学 基于加权轮叫算法的分布式爬虫任务调度方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054152A2 (en) * 1999-03-10 2000-09-14 Sun Microsystems, Inc. System and method for determining cluster membership in a heterogeneous distributed system
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN103365713A (zh) * 2012-04-01 2013-10-23 华为技术有限公司 一种资源的调度和管理方法及装置
CN102830946A (zh) * 2012-08-06 2012-12-19 电子科技大学 大规模地震数据处理私有云环境下的网络打印系统
CN103870329A (zh) * 2014-03-03 2014-06-18 同济大学 基于加权轮叫算法的分布式爬虫任务调度方法

Also Published As

Publication number Publication date
CN107122246A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN110908788B (zh) 基于Spark Streaming的数据处理方法、装置、计算机设备及存储介质
CN106802826B (zh) 一种基于线程池的业务处理方法及装置
EP3180695B1 (en) Systems and methods for auto-scaling a big data system
US9336288B2 (en) Workflow controller compatibility
CN111506412A (zh) 基于Airflow的分布式异步任务构建、调度系统及方法
CN111125444A (zh) 大数据任务调度管理方法、装置、设备及存储介质
CN112905339B (zh) 任务调度执行方法、装置及系统
CN108874623A (zh) 分布式集群性能监控方法、装置、设备、系统及存储介质
CN107122246B (zh) 智能数值模拟作业管理与反馈方法
CN104317942A (zh) 一种基于Hadoop云平台的海量数据比对方法及系统
CN115001990B (zh) 一种基于声明式API的跨地域openstack集群管理方法及系统
CN103581336A (zh) 基于云计算平台的业务流程调度方法及系统
CN113515363B (zh) 面向异型任务高并发的多层次数据处理系统动态调度平台
CN113110935B (zh) 分布式批量作业处理系统
CN116991562B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN117633116A (zh) 数据同步方法、装置、电子设备及存储介质
CN114327880A (zh) 一种轻代码异构分布式系统的计算方法
CN112256418B (zh) 一种大数据任务调度方法
CN111160810A (zh) 基于工作流的高性能分布式空间分析任务调度方法及系统
CN103326880A (zh) Genesys呼叫系统高可用性云计算监控系统及方法
CN111064586A (zh) 一种分布式并行计费方法
CN110704180B (zh) 基于混合云的工作流调度方法
CN115543345A (zh) 一种针对电力时序数据的分布式计算系统及其实现方法
US20200019910A1 (en) Block-based prediction for manufacturing environments
CN114443293A (zh) 一种大数据平台的部署系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100010 Beijing, Chaoyangmen, North Street, No. 25, No.

Applicant after: CHINA NATIONAL OFFSHORE OIL Corp.

Applicant after: ZHANJIANG BRANCH OF CHINA NATIONAL OFFSHORE OIL Corp.

Address before: Chinese CNOOC Building No. 25 Beijing 100010 Dongcheng District Chaoyangmen North Street

Applicant before: CHINA NATIONAL OFFSHORE OIL Corp.

Applicant before: ZHANJIANG BRANCH OF CHINA NATIONAL OFFSHORE OIL Corp.

GR01 Patent grant
GR01 Patent grant