CN107665425B - 基于作业控制的实时计费方法及系统 - Google Patents

基于作业控制的实时计费方法及系统 Download PDF

Info

Publication number
CN107665425B
CN107665425B CN201710889650.XA CN201710889650A CN107665425B CN 107665425 B CN107665425 B CN 107665425B CN 201710889650 A CN201710889650 A CN 201710889650A CN 107665425 B CN107665425 B CN 107665425B
Authority
CN
China
Prior art keywords
time
job
machine
real
time interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710889650.XA
Other languages
English (en)
Other versions
CN107665425A (zh
Inventor
张涛
原帅
吴宗友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Dawning Information Industry Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201710889650.XA priority Critical patent/CN107665425B/zh
Publication of CN107665425A publication Critical patent/CN107665425A/zh
Application granted granted Critical
Publication of CN107665425B publication Critical patent/CN107665425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G06Q20/145—Payments according to the detected use or quantity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/22—Payment schemes or models
    • G06Q20/28—Pre-payment schemes, e.g. "pay before"

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于作业控制的实时计费方法及实时计费方法系统，该实时计费方法包括：提交作业；根据作业实际新增机时在用户计费账号中扣费，并根据预定的时间间隔更新预约机时；按照时间间隔运行作业之后，根据时间间隔更新作业的实际机时消耗。本发明基于作业运行状态分阶段的对作业计时进行操作，可以使实时计费模式不再受作业的预估运行时间准确性的影响，能够有效减少无效的机时冻结，提高用户作业的并发度，提高机时使用的效率。

Description

基于作业控制的实时计费方法及系统
技术领域
本发明涉及高性能计算技术领域，具体来说，涉及一种基于作业控制的实时计费方法及实时计费方法系统。
背景技术
在高性能计算环境下，计费系统是运营活动的基础，一般是以作业调度系统的基础数据(机时)为依据进行计费。计费模式一般分为两种：“先充值后使用”(实时计费)模式和“先使用后收费”(事后计费)模式。前者对机器资源的控制更为严格，适合对外开发的公共计算中心；后者更适用于组织内部使用的私有计算中心。
本专利重点关注实时计费模式。该模式一般工作流程为：在步骤10处，充值，外部用户向计算中心运营人员提交账号申请并缴费，运营人员根据约定的费率将费用折算为机时并充值到用户的计费账号；在步骤11处，提交作业，用户提交作业时需要明确作业规模(即CPU核数)和预估作业运行时间，进而预估作业的机时需求；在步骤12处，作业资源管理器与计费管理器交互，确认是否允许作业提交；在步骤13处，作业调度器在调度作业时，与计费系统联动，根据上述信息检查该用户计费账号的机时余额是否充足。如果机时余额不足，作业会继续被删除或者排队等待，反之作业便可以开始运行，计费系统会在作业运行前从该计费账号中按照预估的机时进行机时预约(又称冻结)；在步骤14处，账号机时余额充足，作业调度器通知资源管理器作业可以运行；在步骤15处，作业结束时，资源管理器会通知作业调度器作业已经结束；在步骤16处，作业调度器在受到作业结束消息时与计费系统交互，取消之前为该作业冻结的机时，并根据作业实际运行时间扣除作业机时，完成最终计费。
当前的实时计费模式的主要难点是作业启动前对作业机时(核数和预计运行时间)消耗的预估。一般来说，作业需要的核数是提交时指定的，一般与实际运行的核数一致，所以主要问题是如何准确的预估作业的运行时间。而实际上，由于受到太多因素的影响，即使是应用开发人员也很难准确的评估作业运行时间。这就往往会导致如下两种情况：(1)预估时间偏大，如果超出计费账号机时余额的话，会导致作业被删掉(或继续排队)，或者预估机时没有超出余额限制，但会导致过多的机时处于被冻结状态，无法被其它作业使用；(2)预估时间偏小，计费系统允许作业运行，但作业中途被调度系统删掉，造成了机时的浪费。
针对相关技术中的上述问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述问题，本发明提出一种基于作业控制的实时计费方法及实时计费方法系统，能够。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种基于作业控制的实时计费方法，包括：
S1，提交作业；
S2，根据作业实际新增机时在用户计费账号中扣费，并根据预定的时间间隔更新预约机时；
S3，按照时间间隔运行作业之后，根据时间间隔更新作业的实际机时消耗。
在一些实施例中，时间间隔小于预估的作业运行时间。
在一个实施例中，在S2之后还包括：当判断用户计费账号中余额不足时，则对作业进行暂停操作。
在一个实施例中，在对作业进行暂停操作之后还包括：当发现用户计费账号进行充值之后，则恢复作业的运行。
在一些实施例中，在S1之前还包括：将机时充值至用户计费账号。
根据本发明的另一方面，提供了一种基于作业控制的实时计费方法系统，包括：
资源管理器，用户向资源管理器提交作业；
作业调度器，用于在接收到资源管理器发送的作业到来的通知后，对作业进行调度；
计费管理器，响应于作业调度器的调度、根据作业实际新增机时在用户计费账号中扣费，并根据预定的时间间隔更新预约机时；
其中，资源管理器按照时间间隔运行作业之后，根据时间间隔更新作业的实际机时消耗。
在一些实施例中，时间间隔小于预估的作业运行时间。
在一个实施例中，当计费管理器判断用户计费账号中余额不足时，则资源管理器对作业进行暂停操作。
在一个实施例中，当计费管理器发现用户计费账号进行充值之后，则资源管理器恢复作业的运行。
本发明基于作业运行状态分阶段的对作业计时进行操作，可以使实时计费模式不再受作业的预估运行时间准确性的影响，能够有效减少无效的机时冻结，提高用户作业的并发度，提高机时使用的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据现有技术中实时计费方法的流程图；
图2是根据本发明实施例的基于作业控制的实时计费方法的流程图；
图3是根据本发明具体实施例的基于作业控制的实时计费方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于作业控制的实时计费方法。
如图2所示，根据本发明实施例的基于作业控制的实时计费方法包括：
S1，提交作业；
S2，根据作业实际新增机时在用户计费账号中扣费，并根据预定的时间间隔更新预约机时；
S3，按照时间间隔运行作业之后，根据时间间隔更新作业的实际机时消耗。
其中，机时是作业的资源消耗的一种计算方法，通常可由作业的资源使用量(通常指CPU核数)和作业的运行时间相乘得到。
本专利的上述技术方案，基于作业运行状态分阶段的对作业计时进行操作，可以使实时计费模式不再受作业的预估运行时间准确性的影响，能够有效减少无效的机时冻结，提高用户作业的并发度，提高机时使用的效率。
在一些实施例中，时间间隔小于预估的作业运行时间。
在一个实施例中，在S2之后还包括：当判断用户计费账号中余额不足时，则对作业进行暂停操作。
在一个实施例中，在对作业进行暂停操作之后还包括：当发现用户计费账号进行充值之后，则恢复作业的运行。
在一些实施例中，在S1之前还包括：将机时充值至用户计费账号。
本发明提出的基于作业控制的实时计费方法，不在作业开始时一次性的冻结根据预估作业运行时间得来的预估机时，而是在作业运行过程中按照配置的时间间隔循环进行“冻结->运行->扣费”操作。这样一方面可以解决作业预估运行时间不准确的问题(本发明的实时计费方法不再需要作业提供预估运行时间)，另一方面也极大缓解了因作业一次性冻结大量机时而影响其它作业的问题。作业运行过程中如果计费账号的机时余额用完，可以对作业进行暂停操作(如挂起、Checkpoint等)，直到计费账号再次充值之后才能恢复运行。
进一步地，根据本发明的实施例图3示例性的示出了基于作业控制的实时计费方法的流程图，具体包括以下步骤：
在步骤20处，为计费账号充入机时；
在步骤21处，提交作业；
在步骤23.1处，按照作业实际新增机时消耗扣费，并按约定的间隔更新机时预约；
在步骤23.2处，作业运行、作业暂停或作业恢复；
在步骤23.3处，按照约定的间隔更新作业实际机时消耗；
在步骤24处，账号机时余额不足导致预约失败；
在步骤25处，取消机时预约，并按最终资源消耗扣费。
图2与图1中示出的现有技术相比，由于本发明的实时计费方法不再依赖于提交作业时预估的作业运行时间，因此，无需原有图1流程中的步骤2“检查及时余额是否充足”。
另外，不同于图1中的步骤13、步骤14和步骤15,仅仅是作业生命周期中的分别执行一次，本发明的实时计费方法中的步骤23.1、步骤23.2、步骤23.3是按照资源管理器中的作业状态更新时间间隔多次执行的。通过控制状态更新时间间隔，可以控制预约机时片段的大小，进而适应不同的用户场景。如果间隔设置为预估的作业运行时间，则本方法可以蜕化为原有方案的效果；如果间隔设置很小(如秒级，甚至更小)，则可以实现更精确、更实施的计费效果。
本发明的实时计费方法的步骤24中，一旦计费系统发现账号机时余额不足，可以通过步骤23.2通知资源管理器对作业进行暂停操作；同样，如果发现计费系统有充值事件发生，也会通过步骤23.2通知资源管理器恢复作业运行。
结合图3所示，根据本发明的实施例，还提供了一种基于作业控制的实时计费方法系统，包括：
资源管理器230，用户向资源管理器230提交作业；
作业调度器220，用于在接收到资源管理器230发送的作业到来的通知后，对作业进行调度；
计费管理器210，响应于作业调度器220的调度、根据作业实际新增机时在用户计费账号中扣费，并根据预定的时间间隔更新预约机时；
其中，资源管理器230按照时间间隔运行作业之后，根据时间间隔更新作业的实际机时消耗。
具体地，资源管理器可以是负责资源管理和作业控制的分布式系统，包括服务端和客户端两部分。服务端主要完成计算资源和作业信息的汇总和控制，客户端主要完成客户端节点状态的采集和控制指令的实现。作业调度器可简称为调度器，其主要负责作业调度策略的实现，即基于资源管理器提供的资源和作业信息，根据预设的策略完成作业的调度决策并通知资源管理器执行。计费管理器，可主要实现机器、账号等的管理，并根据设定的计费策略与作业调度器等组件的交互自动完成预约和扣费等动作。
在一些实施例中，上述时间间隔小于预估的作业运行时间。
在一个实施例中，当计费管理器210判断用户计费账号中余额不足时，则资源管理器230对作业进行暂停操作。
在一个实施例中，当计费管理器210发现用户计费账号进行充值之后，则资源管理器230恢复作业的运行。
综上所述，借助于本发明的上述技术方案，基于计费事件的作业控制方法，即在作业运行过程中，调度系统需要实时监测作业对应的计费账号的机时信息，出现机时余额不足或机时充值事件时，可以对作业进行暂停、恢复等控制操作；基于作业状态监控的机时控制方法，基于作业运行状态分阶段的对所需作业机时进行冻结、更新和扣除。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于作业控制的实时计费方法，其特征在于，包括：
S1，提交作业；
S2，根据作业实际新增机时在用户计费账号中扣费，并根据预定的时间间隔更新预约机时，其中，根据作业状态更新的时间间隔多次执行该步骤，并且通过控制作业状态更新的时间间隔，进而控制预约机时片段的大小；
S3，按照所述时间间隔运行作业之后，根据所述时间间隔更新作业的实际机时消耗；
在S2之后还包括：
当判断所述用户计费账号中余额不足时，则对所述作业进行暂停操作；当发现所述用户计费账号进行充值之后，则恢复所述作业的运行。
2.根据权利要求1所述的实时计费方法，其特征在于，所述时间间隔小于预估的作业运行时间。
3.根据权利要求1所述的实时计费方法，其特征在于，在S1之前还包括：将机时充值至所述用户计费账号。
4.一种基于作业控制的实时计费系统，其特征在于，包括：
资源管理器，用户向所述资源管理器提交作业；
作业调度器，用于在接收到所述资源管理器发送的作业到来的通知后，对所述作业进行调度；
计费管理器，响应于所述作业调度器的调度、用于根据作业状态更新的时间间隔多次执行：根据作业实际新增机时在用户计费账号中扣费，并根据预定的时间间隔更新预约机时，并且通过控制作业状态更新的时间间隔，进而控制预约机时片段的大小；
其中，所述资源管理器按照所述时间间隔运行作业之后，根据所述时间间隔更新作业的实际机时消耗，
当所述计费管理器判断所述用户计费账号中余额不足时，则所述资源管理器对所述作业进行暂停操作；当所述计费管理器发现所述用户计费账号进行充值之后，则所述资源管理器恢复所述作业的运行。
5.根据权利要求4所述的实时计费系统，其特征在于，所述时间间隔小于预估的作业运行时间。
CN201710889650.XA 2017-09-27 2017-09-27 基于作业控制的实时计费方法及系统 Active CN107665425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710889650.XA CN107665425B (zh) 2017-09-27 2017-09-27 基于作业控制的实时计费方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710889650.XA CN107665425B (zh) 2017-09-27 2017-09-27 基于作业控制的实时计费方法及系统

Publications (2)

Publication Number Publication Date
CN107665425A CN107665425A (zh) 2018-02-06
CN107665425B true CN107665425B (zh) 2021-07-30

Family

ID=61097624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710889650.XA Active CN107665425B (zh) 2017-09-27 2017-09-27 基于作业控制的实时计费方法及系统

Country Status (1)

Country Link
CN (1) CN107665425B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598557B (zh) * 2018-12-10 2021-01-26 拓卡奔马机电科技有限公司 一种铺布机运行的计费方法及系统
CN110198306A (zh) * 2019-05-05 2019-09-03 网宿科技股份有限公司 一种基于服务买断进行买超控制的方法和系统
CN111198755B (zh) * 2019-12-23 2023-07-21 曙光信息产业(北京)有限公司 一种基于slurm作业调度系统的预计费装置和方法
CN111341025A (zh) * 2020-03-25 2020-06-26 上海鼎充新能源技术有限公司 一种汽车充电桩实时计费控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1674521A (zh) * 2004-03-24 2005-09-28 华为技术有限公司 通信业务批价计费的实现方法
CN101984414A (zh) * 2010-11-05 2011-03-09 中兴通讯股份有限公司 Cpu资源的调度方法及装置
CN102521662A (zh) * 2011-11-29 2012-06-27 曙光信息产业(北京)有限公司 一种云计算环境中消费计费的方法
CN103166989A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 面向云计算的资源使用计量方法和系统
CN105573821A (zh) * 2015-12-15 2016-05-11 上海仪电(集团)有限公司 基于ceilometer的一种云端虚拟机的动态计费方法
CN106257524A (zh) * 2016-05-13 2016-12-28 浙江大学 一种云基础设施服务的计费方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10057150B2 (en) * 2015-12-23 2018-08-21 Intel Corporation Managing communication congestion for internet of things devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1674521A (zh) * 2004-03-24 2005-09-28 华为技术有限公司 通信业务批价计费的实现方法
CN101984414A (zh) * 2010-11-05 2011-03-09 中兴通讯股份有限公司 Cpu资源的调度方法及装置
CN102521662A (zh) * 2011-11-29 2012-06-27 曙光信息产业(北京)有限公司 一种云计算环境中消费计费的方法
CN103166989A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 面向云计算的资源使用计量方法和系统
CN105573821A (zh) * 2015-12-15 2016-05-11 上海仪电(集团)有限公司 基于ceilometer的一种云端虚拟机的动态计费方法
CN106257524A (zh) * 2016-05-13 2016-12-28 浙江大学 一种云基础设施服务的计费方法

Also Published As

Publication number Publication date
CN107665425A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN107665425B (zh) 基于作业控制的实时计费方法及系统
CN109324875B (zh) 一种基于强化学习的数据中心服务器功耗管理与优化方法
Yu et al. An adaptive rescheduling strategy for grid workflow applications
US20210334135A1 (en) Computing node job assignment using multiple schedulers
US8914515B2 (en) Cloud optimization using workload analysis
US8959509B1 (en) Techniques for virtual machine backup scheduling
US8745210B2 (en) Migration control apparatus and migration control method
Berral et al. Adaptive scheduling on power-aware managed data-centers using machine learning
EP1321855A1 (en) Arithmetic processing system and arithmetic processing control method, task managemnt system and task management method, and storage medium
Yang et al. An utility-based job scheduling algorithm for cloud computing considering reliability factor
CN107003887A (zh) Cpu超载设置和云计算工作负荷调度机构
RU2697700C2 (ru) Равноправное разделение системных ресурсов в исполнении рабочего процесса
US20090158287A1 (en) Dynamic critical path update facility
US20140215486A1 (en) Cluster Maintenance System and Operation Thereof
US20120215583A1 (en) System and method for managing real-time batch workflows
US20220050714A1 (en) Power aware scheduling
US11604682B2 (en) Pre-emptive container load-balancing, auto-scaling and placement
Janiesch et al. Optimizing the performance of automated business processes executed on virtualized infrastructure
EP3449545A1 (en) Device power management
Cho et al. A battery lifetime guarantee scheme for selective applications in smart mobile devices
US20100274621A1 (en) Method and System for Integration of Systems Management with Project and Portfolio Management
Funika et al. Automated cloud resources provisioning with the use of the proximal policy optimization
CN115328664B (zh) 一种消息消费方法、装置、设备及介质
CN112130979B (zh) 调度任务及训练神经网络模型的方法、装置、终端和介质
Cao et al. Novel client-cloud architecture for scalable instance-intensive workflow systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220729

Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.