CN107122246A - 智能数值模拟作业管理与反馈方法 - Google Patents

智能数值模拟作业管理与反馈方法 Download PDF

Info

Publication number
CN107122246A
CN107122246A CN201710287218.3A CN201710287218A CN107122246A CN 107122246 A CN107122246 A CN 107122246A CN 201710287218 A CN201710287218 A CN 201710287218A CN 107122246 A CN107122246 A CN 107122246A
Authority
CN
China
Prior art keywords
node
priority
activity calculation
numerical simulation
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710287218.3A
Other languages
English (en)
Other versions
CN107122246B (zh
Inventor
郑志锋
邓志勇
周家雄
王
王一
陈祖银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Offshore Oil Corp CNOOC
CNOOC China Ltd Zhanjiang Branch
Original Assignee
China National Offshore Oil Corp CNOOC
CNOOC China Ltd Zhanjiang Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Offshore Oil Corp CNOOC, CNOOC China Ltd Zhanjiang Branch filed Critical China National Offshore Oil Corp CNOOC
Priority to CN201710287218.3A priority Critical patent/CN107122246B/zh
Publication of CN107122246A publication Critical patent/CN107122246A/zh
Application granted granted Critical
Publication of CN107122246B publication Critical patent/CN107122246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Abstract

本发明公开了一种智能数值模拟作业管理与反馈方法，包括如下步骤：计算节点持续采样节点状态信息；服务器程序排除异常节点后，按各节点优先级排列，组合成等候调度的计算资源；用户使用客户端程序发送数值模拟作业计算请求；服务器程序在计算资源足够的情况下，将作业计算请求优先指派到优先级高的计算节点上计算；作业计算结束后，客户端程序通过分析作业日志，获得作业完成情况；客户端程序根据作业完成情况进行反馈，更新计算节点的优先级。本发明可以有效的避免作业反复送到异常节点上计算，逐步提高计算效率高的节点优先级，从而提高数值模拟作业整体的计算成功率以及效率，有效的提高科研人员的工作效率，具有较强的通用性。

Description

智能数值模拟作业管理与反馈方法
技术领域
本发明涉及一种数值模拟作业调度管理计算资源优化技术领域，具体是指数值模拟作业管理计算资源智能过滤及反馈优化方法。
背景技术
数值模拟作业计算后端计算资源优化技术是南海西部盆地油藏数值模拟工作得以有效开展的关键技术之一。
现有的数值模拟作业管理技术多为优先级固定的节点调度管理，或为节点随机调度管理，但计算节点受多方面不可控的因素影响，各种因素都有可能导致存在坏节点的情况，因而导致数值模拟作业整体的计算成功率下降，而节点随机调度管理，虽可以减轻坏节点对整体的影响，却不能有效的提高计算效率。油藏数值模拟用户多次反映作业计算不规律的出现失败的情况，实为后端计算资源质量下降的问题，极大的降低了科研工作的效率，为此，亟需一种能有效提高后端计算资源质量的作业管理调度方法。
发明内容
本发明的目的在于克服上述已有技术的不足，提供一种通用性强且可靠性高的数值模拟作业管理计算资源智能过滤及反馈优化方法。
为了实现上述目的，本发明采用的技术方案是：一种智能数值模拟作业管理与反馈方法，其特征在于：包括下列步骤：
S1：计算节点安装驱动后，持续采样节点状态信息发送到数据库，采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况；
S2：服务器程序从数据库获取各计算节点的优先级及状态信息，排除异常节点后按各节点优先级排列，组合成等候调度的计算资源，节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常；
S3：用户使用客户端程序将数值模拟作业计算请求发送到数据库，作业计算请求信息含有作业路径信息；
S4：服务器程序从数据库读取用户的作业计算请求，在计算资源足够的情况下，将作业优先指派到优先级高的计算节点上计算；
S5：作业计算结束后，客户端程序通过分析作业日志，根据作业完成情况不同会有不同的作业日志标志，获得作业完成情况，分为作业计算完成和作业计算失败两种情况；
S6：客户端程序根据作业完成情况进行反馈，若作业计算完成，提高计算所用节点优先级，若作业计算失败，降低所用节点优先级，更新数据库中节点的优先级。
进一步地，所述步骤S2中，所述服务器程序通过智能分析节点的各种状态信息，若判定为异常节点，对异常的节点具备过滤排除功能。
进一步地，在所述步骤S4中，所述服务器程序具备以优先级加权调度节点的管理功能，对优先级高的节点优先调用，优先级低的节点少调用或标记为冗余节点不调用。
进一步地，在所述步骤S6中，所述客户端程序根据作业完成情况进行反馈的方法具体是：客户端程序给用户显示作业日志的同时，通过同步分析作业日志，根据日志中特殊的多个标志字段，综合判断形成作业完成情况，分为作业计算完成和作业计算失败两种情况，对这两种情况执行不同的操作来改变数据库中节点的优先级，数据库中优先级字段为整形数据，优先级数值大，则优先级高；具体操作方法如下：若作业计算完成，则所用节点优先级加1；若作业计算失败，分两种情况，当所用节点优先级大于0，则优先级减半再减1，当优先级小于等于0，则优先级减1。
本发明的有益效果是：利用本发明的方法，通过异常计算节点智能过滤、作业完成情况反馈优化、计算节点以优先级加权调度管理，可以有效的避免作业反复送到异常节点上计算，逐步提高计算效率高的节点优先级，从而提高数值模拟作业整体的计算成功率以及效率，有效的提高科研人员的工作效率，具有较强的通用性。本发明为数值模拟作业管理技术计算资源调度管理技术提供了更稳定更可靠的方法。
附图说明
下面结合附图对本发明作进一步的详细说明。
图1为本发明的流程方框图。
具体实施方式
本发明一种智能数值模拟作业管理与反馈方法，其特征在于：包括下列步骤：
S1：计算节点安装驱动后，持续采样节点状态信息发送到数据库，采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况；
S2：服务器程序从数据库获取各计算节点的优先级及状态信息，排除异常节点后按各节点优先级排列，组合成等候调度的计算资源，节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常；
S3：用户使用客户端程序将数值模拟作业计算请求发送到数据库，作业计算请求信息含有作业路径信息；
S4：服务器程序从数据库读取用户的作业计算请求，在计算资源足够的情况下，将作业优先指派到优先级高的计算节点上计算；
S5：作业计算结束后，客户端程序通过分析作业日志，根据作业完成情况不同会有不同的作业日志标志，获得作业完成情况，分为作业计算完成和作业计算失败两种情况；
S6：客户端程序根据作业完成情况进行反馈，若作业计算完成，提高计算所用节点优先级，若作业计算失败，降低所用节点优先级，更新数据库中节点的优先级。
进一步地，所述步骤S2中，所述服务器程序通过智能分析节点的各种状态信息，若判定为异常节点，对异常的节点具备过滤排除功能。
进一步地，在所述步骤S4中，所述服务器程序具备以优先级加权调度节点的管理功能，对优先级高的节点优先调用，优先级低的节点少调用或标记为冗余节点不调用。
进一步地，在所述步骤S6中，所述客户端程序根据作业完成情况进行反馈的方法具体是：客户端程序给用户显示作业日志的同时，通过同步分析作业日志，根据日志中特殊的多个标志字段，综合判断形成作业完成情况，分为作业计算完成和作业计算失败两种情况，对这两种情况执行不同的操作来改变数据库中节点的优先级，数据库中优先级字段为整形数据，优先级数值大，则优先级高；具体操作方法如下：若作业计算完成，则所用节点优先级加1；若作业计算失败，分两种情况，当所用节点优先级大于0，则优先级减半再减1，当优先级小于等于0，则优先级减1。
以上内容仅用以说明本发明的技术方案，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。

Claims (4)

1.一种智能数值模拟作业管理与反馈方法，其特征在于：包括下列步骤：
S1：计算节点安装驱动后，持续采样节点状态信息发送到数据库，采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况；
S2：服务器程序从数据库获取各计算节点的优先级及状态信息，排除异常节点后按各节点优先级排列，组合成等候调度的计算资源，节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常；
S3：用户使用客户端程序将数值模拟作业计算请求发送到数据库，作业计算请求信息含有作业路径信息；
S4：服务器程序从数据库读取用户的作业计算请求，在计算资源足够的情况下，将作业优先指派到优先级高的计算节点上计算；
S5：作业计算结束后，客户端程序通过分析作业日志，根据作业完成情况不同会有不同的作业日志标志，获得作业完成情况，分为作业计算完成和作业计算失败两种情况；
S6：客户端程序根据作业完成情况进行反馈，若作业计算完成，提高计算所用节点优先级，若作业计算失败，降低所用节点优先级，更新数据库中节点的优先级。
2.根据权利要求1所述的智能数值模拟作业管理与反馈方法，其特征在于：所述步骤S2中，所述服务器程序通过智能分析节点的各种状态信息，若判定为异常节点，对异常的节点具备过滤排除功能。
3.根据权利要求1所述的智能数值模拟作业管理与反馈方法，其特征在于：所述步骤S4中，所述服务器程序具备以优先级加权调度节点的管理功能，对优先级高的节点优先调用，优先级低的节点少调用或标记为冗余节点不调用。
4.根据权利要求1所述的智能数值模拟作业管理与反馈方法，其特征在于：步骤S6中，所述客户端程序根据作业完成情况进行反馈的方法具体是：客户端程序给用户显示作业日志的同时，通过同步分析作业日志，根据日志中特殊的多个标志字段，综合判断形成作业完成情况，分为作业计算完成和作业计算失败两种情况，若作业计算完成，则所用节点优先级加1；若作业计算失败，分两种情况，当所用节点优先级大于0，则优先级减半再减1，当优先级小于等于0，则优先级减1。
CN201710287218.3A 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法 Active CN107122246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710287218.3A CN107122246B (zh) 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710287218.3A CN107122246B (zh) 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法

Publications (2)

Publication Number Publication Date
CN107122246A true CN107122246A (zh) 2017-09-01
CN107122246B CN107122246B (zh) 2020-05-19

Family

ID=59725418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710287218.3A Active CN107122246B (zh) 2017-04-27 2017-04-27 智能数值模拟作业管理与反馈方法

Country Status (1)

Country Link
CN (1) CN107122246B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334408A (zh) * 2018-01-04 2018-07-27 深圳市天软科技开发有限公司 代码执行方法、装置、终端设备及计算机可读存储介质
US11372633B2 (en) 2018-01-04 2022-06-28 Shenzhen Tinysoft Co., Ltd. Method, device and terminal apparatus for code execution and computer readable storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054152A2 (en) * 1999-03-10 2000-09-14 Sun Microsystems, Inc. System and method for determining cluster membership in a heterogeneous distributed system
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN102830946A (zh) * 2012-08-06 2012-12-19 电子科技大学 大规模地震数据处理私有云环境下的网络打印系统
CN103365713A (zh) * 2012-04-01 2013-10-23 华为技术有限公司 一种资源的调度和管理方法及装置
CN103870329A (zh) * 2014-03-03 2014-06-18 同济大学 基于加权轮叫算法的分布式爬虫任务调度方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054152A2 (en) * 1999-03-10 2000-09-14 Sun Microsystems, Inc. System and method for determining cluster membership in a heterogeneous distributed system
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN103365713A (zh) * 2012-04-01 2013-10-23 华为技术有限公司 一种资源的调度和管理方法及装置
CN102830946A (zh) * 2012-08-06 2012-12-19 电子科技大学 大规模地震数据处理私有云环境下的网络打印系统
CN103870329A (zh) * 2014-03-03 2014-06-18 同济大学 基于加权轮叫算法的分布式爬虫任务调度方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334408A (zh) * 2018-01-04 2018-07-27 深圳市天软科技开发有限公司 代码执行方法、装置、终端设备及计算机可读存储介质
US11372633B2 (en) 2018-01-04 2022-06-28 Shenzhen Tinysoft Co., Ltd. Method, device and terminal apparatus for code execution and computer readable storage medium

Also Published As

Publication number Publication date
CN107122246B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN110794800B (zh) 一种智慧工厂信息管理的监控系统
CN102508709B (zh) 购供售一体化电能量采集与监控系统中基于分布式缓存的采集任务调度方法
CN104318481A (zh) 一种面向电网运行的全息时标量测数据萃取转换方法
CN102521781A (zh) 一种基于独立监控服务的跨安全区的设备统一监控方法及其监控系统
CN106878466B (zh) 一种水电机组数据管理和设备控制一体化平台
CN102622303A (zh) 一种内存过载控制的方法及装置
CN109325008A (zh) 面向消息中间件的跨域数据同步方法与系统
CN108121706A (zh) 一种分布式爬虫的优化方法
CN113054743A (zh) 一种适用于配电云主站的物联终端数据接入系统及方法
CN110287228A (zh) 基于电网调度域设备监测实时数据采集的实现方法
CN102708521A (zh) 一种基于多叉树自动布局的电网供电路径展现方法
CN108924007A (zh) 通信运营信息的大数据采集及存储系统和方法
CN105912767B (zh) 基于bs架构的多级电网异地协同联合计算方法
CN109669820A (zh) 基于Kettle的任务监管方法和装置
CN107122246A (zh) 智能数值模拟作业管理与反馈方法
CN111913933B (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN114066394A (zh) 多租户工作流引擎的实现方法和多租户工作流引擎系统
CN109672731A (zh) 一种分布式节点信息监测方法、系统及应用
CN101110022A (zh) 一种工作流模型的软件实现方法
CN110854824B (zh) 一种电力通信网中继电保护业务可用性的监测方法及装置
CN111915048A (zh) 一种基于智能分析决策理论技术的新型停电管理方法
CN105183550A (zh) 一种用于大电网在线网络分析分布式计算的进程调度方法
CN109522469A (zh) 一种分布式爬虫的调度管理方法
CN109684058A (zh) 一种针对多租户可线性扩展的高效爬虫平台及其使用方法
CN114327392A (zh) 一种数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100010 Beijing, Chaoyangmen, North Street, No. 25, No.

Applicant after: CHINA NATIONAL OFFSHORE OIL Corp.

Applicant after: ZHANJIANG BRANCH OF CHINA NATIONAL OFFSHORE OIL Corp.

Address before: Chinese CNOOC Building No. 25 Beijing 100010 Dongcheng District Chaoyangmen North Street

Applicant before: CHINA NATIONAL OFFSHORE OIL Corp.

Applicant before: ZHANJIANG BRANCH OF CHINA NATIONAL OFFSHORE OIL Corp.

GR01 Patent grant
GR01 Patent grant