CN106537287B - 估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 - Google Patents
估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 Download PDFInfo
- Publication number
- CN106537287B CN106537287B CN201580040005.XA CN201580040005A CN106537287B CN 106537287 B CN106537287 B CN 106537287B CN 201580040005 A CN201580040005 A CN 201580040005A CN 106537287 B CN106537287 B CN 106537287B
- Authority
- CN
- China
- Prior art keywords
- power
- frequency
- list
- workload
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 37
- 230000004044 response Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 42
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002085 persistent effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 4
- 230000017525 heat dissipation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920000306 polymethylpentene Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/30—Means for acting in the event of power-supply failure or interruption, e.g. power-supply fluctuations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/329—Power saving characterised by the action undertaken by task scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
- G06F9/4893—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues taking into account power or heat criteria
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/78—Architectures of resource allocation
- H04L47/783—Distributed allocation of resources, e.g. bandwidth brokers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/82—Miscellaneous aspects
- H04L47/821—Prioritising resource allocation or reservation requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/83—Admission control; Resource allocation based on usage prediction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Public Health (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Automation & Control Theory (AREA)
- Environmental & Geological Engineering (AREA)
- Power Sources (AREA)
- Supply And Distribution Of Alternating Current (AREA)
- Debugging And Monitoring (AREA)
Abstract
示出一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:接收多个输入参数,其包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)频率的列表;响应于接收到多个工作负载参数从校准数据库检索校准数据;基于多个工作负载参数和校准数据生成功率估计;以及向资源管理器提供功率估计。可替代地,该输入参数可以包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)可用的功率量,其中估计器可以提供节点应该以其操作来在不超过可用功率的情况下利用同样多的可用功率的频率的估计。
Description
对相关申请的交叉引用
本申请要求保护2014年8月22日提交的名称为“SIMPLE POWER- AWARE SCHEDULERTO LIMIT POWER CONSUMPTION BY HPC SYSTEM WITHIN A BUDGET(将HPC系统的功率消耗限制在预算内的简单功率感知调度器)”的在前美国临时专利申请No.62/040,576的权益,通过引用将其整体合并于此。
本申请要求保护2014年12月24日提交的名称为“METHOD AND APPARATUS TO GENERATE AND USE POWER, THERMAL AND PERFORMANCE CHARACTERISTICS OF NODES TO IMPROVE ENERGY EFFICIENCY AND REDUCING WAIT TIME FOR JOBS IN THE QUEUE(生成并使用节点的功率、热和性能特性以改进能量效率且降低队列中作业的等待时间的方法和装置)”的在前美国专利申请No.14/582,783(代理人卷号No.42P74562)的权益;2014年12月24 日提交的名称为“ADJUSTMENT OF EXECUTION OF TASKS(任务执行的调整)”的美国专利申请No.14/582,979(代理人卷号No.42P74563)的权益;2014年12月24日提交的名称为“CONTROL OF POWER CONSUMPTION(功率消耗的控制)”的美国专利申请No.14/582,985(代理人卷号No.42P74564)的权益;2014年12月24日提交的名称为“FORECAST FOR DEMAND OF ENERGY(能量需求的预测)”的美国专利申请No.14/582,988(代理人卷号No.42P74565)的权益;2014年12月24日提交的名称为“METHODS AND APPARATUS TO MANAGE JOBS THAT CAN AND CANNOT BE SUSPENDED WHEN THERE IS A CHANGE IN POWER ALLOCATION TO A DISTRIBUTED COMPUTER SYSTEM(当对分布式计算机系统的功率分配存在变化时管理可以被暂停和不可以被暂停的作业的方法和装置)”的美国专利申请No.14/582,772(代理人卷号No.42P74566)的权益;2014年12月24日提交的名称为“MANAGING POWER PERFORMANCE OF DISTRIBUTED COMPUTING SYSTEMS(管理分布式计算系统的功率性能)”的美国专利申请No.14/582,743(代理人卷号No.42P74567)的权益;2014年12月24日提交的名称为“PROFILING A JOB POWER AND ENERGY CONSUMPTION FOR A DATA PROCESSING SYSTEM(为数据处理系统制定作业功率和能量消耗的简档)”的美国专利申请No.14/582,756(代理人卷号No.42P74568)的权益;2014年12月24日提交的名称为“A POWER AWARE JOB SCHEDULER AND MANAGER FOR A DATA PROCESSING SYSTEM(用于数据处理系统的功率感知作业调度器和管理器)”的美国专利申请No.14/582,764(代理人卷号No.42P74569)的权益。
技术领域
本公开的实施例总体上涉及分布式计算机系统的功率守恒的领域。更具体地,本公开的一个实施例涉及估计要在分布式计算机系统内的多个节点上运行的作业的功率性能以改进被该分布式计算机系统处理的作业的作业调度和监控。
背景技术
分布式计算机系统可以通过执行被称为作业的计算分配的多个节点的同时使用来执行并行计算。每个节点可以包括一个或多个处理器、存储器、操作系统、以及一个或多个输入/输出(I/O)部件。节点可以通过高速网络结构(例如以太网、全路径、无限带宽或其他网络)彼此通信,并且可以使用共享文件系统或存储装置。作业可以被划分成分布在数千个节点上的数千个并行任务。这些节点可以每秒彼此同步上百次。
计划未来的分布式计算机系统需要几十兆瓦的功率,这使得它们的功率管理成为行业中最关注的问题。将期望这些分布式计算机系统以有限的功率和能量预算来递送百亿亿次性能。当前的分布式计算机系统可以应用功率封顶来遵守受限功率和能量预算。然而,功率封顶的当前方法对分布式计算机系统的性能有负面影响,这归因于通常不准确的功率封顶。
当前方法基于包括每个节点的一个或多个部件的热耗散功率(TDP)值来估计分布式计算机系统的一个或多个节点运行作业所需的功率。因为作业实际上使用该作业在其上运行的每个节点的TDP值是少见的,所以使用TDP值的估计会导致过高估计。通过过高估计启动和运行作业所需的功率,当前方法会使作业的开始延迟并且通过阻止其他作业运行而降低分布式计算机系统的效率。
因为开始作业的必需功率的过高估计促使分布式计算机系统延迟作业的开始直到可得到过高估计的启动功率为止,所以运行作业的开始被延迟。可替代地,启动功率的更准确估计将避免运行作业的延迟。另外,运行作业所需的功率的过高估计导致为该作业过度分配功率。过度分配带走了可以被分配给分布式计算机系统请求被运行的其他作业的功率。
另外,TDP不是可被节点消耗的最大功率。例如,TDP没有准确地测量当节点的每个部件正被使用时的电气功率消耗,而是测量热耗散。因此,作业请求可以会消耗比TDP估计更多的功率是可能的,这可能导致分布式计算机系统尝试消耗比公用设施已经分配的功率更多的功率。
附图说明
通过示例的方式来图示本发明的实施例并且本发明的实施例不受附图的各图中的限制,在附图中相似的标号指示类似的元件并且在其中:
图1是接收各种输入的HPC系统的示例性框图。
图2是包括HPC系统100的逻辑的示例性框图。
图3是用于在请求使用HPC系统100来处理作业的同时指定用户策略的用户界面屏幕的示例性实施例。
图4A是图示当没有实施功率监控时在确定运行作业必需的资源中使用的示例性参数的表格。
图4B是图示当实施功率监控时在确定运行作业必需的资源中使用的示例性参数的表格。
图5是图示用于生成启动功率的估计的示例性方法的流程图。
图6是图示用于生成对于作业的最小所需功率的估计的示例性方法的流程图。
图7是图示用于生成为作业所需的分配功率的估计的示例性方法的流程图。
图8是图示用于基于对于作业的可用功率生成操作频率的估计的示例性方法的流程图。
具体实施方式
本公开的各种实施例涉及估计要在分布式计算机系统上运行的作业的功率性能。可以至少部分基于作业的所有者是否允许作业受到功率限制(限制供应给作业的功率的作业功率策略),作业的所有者是否允许作业被暂停和/或要在其上运行作业的分布式计算机系统的一个或多个节点的校准数据来确定作业的功率性能的估计。该分布式计算机系统可以是例如高性能计算(HPC)系统。在本公开的一些实施例中,作业可能不会受到如由作业的所有者陈述的限制供应给该作业的功率的功率策略;然而,HPC系统可以并且可能将具有不能被HPC系统所处理的作业的组合超过的总体受限功率预算。
本公开的实施例涉及基于将在其上运行作业的每个节点的实际功率测量结果(其考虑各节点之间的各部分(part-to-part)变化)来估计运行该作业所需的启动功率和/或最小功率。本公开的其他实施例涉及基于在运行作业(例如作业的样本部分和/或全部作业)的同时得到的测量结果来估计运行该作业所需的启动功率和/或最小功率。本公开的还有其他实施例涉及基于将运行作业的一个或多个节点将在其上操作的固定频率来估计运行该作业所需的启动功率和/或最小功率。
HPC系统可以基于被选择用来运行作业的节点将操作的预定频率来估计应该被分配给该作业的功率。该估计可以至少基于作业类型(例如工作负载类型)、被选择用来运行作业的节点的列表、以及可选地要被供应给所选节点的最小功率或所选节点在运行作业的同时将操作的频率。该估计可以向HPC系统至少提供对于每个节点对于每个频率的功率级(例如平台最大功率(PMP)、工作负载最大功率和/或工作负载平均功率)、允许HPC系统管理冷却系统的热估计和/或对于所选节点的一个或多个频率的性能估计(例如性能度量),其允许用户(例如作业的所有者)基于作业的所估计的性能度量(例如直到完成为止的时间)、所估计的功率级和所估计的总能量消耗来调整作业请求。节点的工作负载最大功率可以被定义为在节点被校准(例如运行小型化应用程序(“迷你应用程序”)和/或作业的一部分)的同时采样的最大观测功率。节点的工作负载平均功率可以被定义为在节点被校准的同时采样的所有功率测量结果的平均功率。在至少一些实施例中,为了开始作业,使用如这里描述的功率估计技术之一以及使用如在名称为“Methods and apparatus to generate anduse power, thermal and performance characteristics of nodes to improve energyefficiency and reducing wait time for jobs in the queue.(生成并使用节点的功率、热和性能特性以改进能量效率且降低队列中作业的等待时间的方法和装置)”的相关美国专利申请No. 14/582,783(代理人卷号42P74562)中描述的功率校准技术之一来估计作业所需的功率。
工作负载类型可以被用来确定用于生成如上述估计的校准数据的一部分。例如,如果工作负载类型(例如作业的类型)类似于已用来校准HPC系统的节点的迷你应用程序,则估计器将检索与使用迷你应用程序的节点的校准相关联的校准数据(例如存储在校准数据库中)。
可替代地,工作负载类型可以是用户所请求的实际作业的一小部分。在此类示例中,用户可能已经提交了期望作业的一小部分(例如直到完成为止的总共例如4-5小时的计算)以便在校准将处理作业请求的一个或多个节点中使用。因此,估计器将检索将处理与期望作业的一小部分相关联的作业的一个或多个节点的校准数据。
在又另一实施例中,可以在作业的执行期间完成用于处理作业的节点的各种参数(例如除了其他之外尤其温度和/或功率消耗)的采样。如果请求再次处理作业(例如用稍稍变化的输入参数),则估计器可以检索与在其前一运行时间期间的作业相关联的校准数据并且在生成估计的过程中使用该校准数据。
可替代地或另外,HPC系统可以估计当HPC系统知道为作业分配的功率时应该以其来运行该作业的频率。该估计可以基于例如作业的可用功率(例如PMP、工作负载最大功率或工作负载平均功率)、作业和运行作业的所选节点的列表。该估计可以提供例如所选节点应该以其来操作的频率、预期热耗散、预期性能、以及可选地以较高频率和/或较低频率运行作业所需的功率和预期热耗散。
在至少一些实施例中,使用如名称为“Methods and apparatus to profilepower and energy consumption by a job running in multiple nodes and usesshared resources of a distributed computer system (HPC)(为在多个节点中运行的且使用分布式计算机系统(HPC)的共享资源的作业的功率和能量消耗制定简档的方法和装置)”的相关美国专利申请No.14/582,756(代理人卷号42P74568)中描述的一种或多种监控技术来监控作业功率、系统功率、作业的完成和作业暂停状态。
参考图1,示出接收各种输入的HPC系统的示例性框图。HPC系统100包括一个或多个操作系统(OS)节点101(也被称为头节点)、一个或多个计算节点102、一个或多个输入/输出(I/O)节点103和存储装置104。高速结构通信连接OS节点101、计算节点102和I/O节点103。高速结构可以是经由一个或多个交换器互连的节点的网络拓扑结构。在一个实施例中,如图1中所图示的,I/O节点103通信连接到存储装置104。该存储装置104可以是非永久性存储装置,诸如易失性存储器(例如任何类型的随机存取存储器“RAM”);永久性存储装置,诸如非易失性存储器(例如只读存储器“ROM”、功率支持的RAM、闪速存储器、相变存储器等),固态驱动器,硬盘驱动器,光盘驱动器或便携式存储器设备。
OS节点101可以提供访问计算节点102的网关。例如,在提交用于在计算节点102上进行处理的作业之前,可能需要用户登陆到HPC系统100,这可能要通过OS节点101。在本公开的实施例中,OS节点101可以接受由用户提交的作业并且帮助由计算节点102处理的作业的启用和管理。在一个实施例中,OS节点101包括功率监控器(未示出);这里描述的功率估计器(未示出);以及功率校准器(未示出)。
在一个实施例中,计算节点102提供大部分处理和计算功率。I/O节点103可以提供计算节点102和可以向HPC系统100提供输入或从HPC系统100接收输出的外部设备(例如分开的计算机)之间的接口。
可以通过例如(例如如由系统管理员或诸如数据中心管理器之类的管理软件确定的)公用事业管理设施来向HPC系统100提供系统功率分配(Psys)。典型地,Psys将是分配给HPC系统100的有限数量的功率,HPC系统100将使用其来运行各作业120中的一个或多个。作业120包括一个或多个用户请求要通过HPC系统100运行的一个或多个作业。每个作业都包括将在下面深入讨论的“功率策略”。功率策略将帮助HPC系统100为作业分配功率并且有助于要由HPC系统100运行的一个或多个作业120的管理。
此外,管制策略130将通过提供定义HPC系统100的操作的首要策略来指导运行作业120的管理。包括在管制策略130中的策略的示例包括但不限于或被约束成:(1)最大化所有硬件和软件资源的的利用(例如不是以高功率运行较少的作业并且留下资源不使用,而是运行尽可能多的作业来使用尽可能多的资源);(2)在所有运行的作业中不具有功率限制的作业被给予最高优先级;和/或(3)为了重新开始暂停处于较高优先级的作业。此类管制策略支配HPC系统100可以调度、启用、暂停和重新启用一个或多个作业的方式。
I.术语。
在下面的描述中,某些术语被用来描述本发明的特征。例如,在某些情况下,术语“逻辑”和“引擎”二者代表被配置成执行一个或多个功能的硬件、固件和/或软件。作为硬件,逻辑(或引擎)可以包括具有数据处理或存储功能的电路。此类电路的示例可以包括但不限于或被约束成微处理器、一个或多个处理器核、可编程门阵列、微控制器、专用集成电路、无线接收器、发射器和/或收发器电路、半导体存储器或组合逻辑。
逻辑(或引擎)可以是处于一个或多个软件模块的形式的软件,诸如处于可执行应用程序的形式的可执行代码、应用程序编程接口(API)、子例程、函数、程序、小应用程序、小服务程序、例程、源代码、目标代码、共享程序库/动态负载程序库、或一个或多个指令。这些软件模块可以被存储在任何类型的适当非瞬时存储介质或瞬时存储介质(例如、电气、光学、声学或其他形式的传播信号,诸如载波、红外信号或数字信号)中。非瞬时存储介质的示例可以包括但不限于或被约束成可编程电路;半导体存储器;非永久性存储装置(诸如易失性存储器(例如任何类型的随机存取存储器“RAM”));永久性存储装置(诸如非易失性存储器(例如只读存储器“ROM”、功率支持的RAM、闪速存储器、相变存储器等)),固态驱动器,硬盘驱动器,光盘驱动器或便携式存储器设备。作为固件,可执行代码被存储在永久性存储装置中。
术语“功率监控”应该被解释成通过包括HPC系统的一个或多个部件的动态测量功率消耗。所得到的测量结果可以被用来计算例如个体作业和/或一组作业的功率消耗,以及提供关于HPC系统的总功率消耗的统计。
术语“功率策略”应该被解释成提供给HPC系统的提供关于对给定作业的功率的分配和管理的指导的输入(例如一个或多个参数)。该输入可以被提供为作业请求提交的一部分和/或可以被提供为单独的输入(例如经由用户界面屏幕或配置文件)。例如,除了别的之外,该输入可以指示(i)作业是否受到功率限制,(ii)作业可以以其来运行的最大和/或最小功率,和/或(iii)处理作业的一个或多个节点可以以其来操作的最小和/或最大频率。
术语“节点”应该被理解为与至少系统存储器和/或一个或多个输入/输出(I/O)部件随意成组的一个或多个处理器。该一个或多个处理器、系统存储器和一个或多个I/O部件可以被称为遍及说明书和权利要求的节点的“部件”。遍及说明书和权利要求,术语“处理器”、“计算机处理单元(CPU)”和“核”将被互换地使用。
术语“作业”应该被解释成在HPC系统上执行的预定计算。例如,用户(例如作业的所有者)可以请求由HPC来运行作业,这意味着用户正请求使一个或多个计算节点根据由用户提供的输入参数和/或数据来执行计算。作业请求可以指定要被用于处理作业的一个或多个计算(例如应用程序)。
术语“系统功率(Psys)”应该被解释成由例如设施或数据中心管理器提供给HPC系统的功率量。Psys是在任何给定时间必须分配给一个或多个作业的HPC系统的功率总量。
术语“防护频带”应该被解释为帮助管理HPC系统的功率预算的机制。在一个实施例中,防护频带可以是额外功率分配,其可以是分配给作业的预定百分比的功率。例如,如果HPC系统将3MW功率分配给作业,则HPC系统可以仅分配2.8MW并且保持0.2MW作为防护频带以防止计算中的尖峰促使作业的功率消耗超过3MW。防护频带的一个目的是保持作业的一致功率消耗。
术语“平台最大功率(PMP)”应该被解释为当节点正运行“功率-病毒”时测得的该节点的功率级。功率-病毒是在功率-病毒正被运行的同时尝试运行尽可能多的节点的每个部件的工作负载,其可以是只为校准创建的人工工作负载。因此,PMP是节点可能消耗的最高可能的功率级。
最后,如在这里使用的术语“或”和“和/或”被解释为包括的或意指任何一个或任何组合。因此,“A、B或C”或“A、B和/或C”意指“以下各项中的任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或动作的组合处于本质上互相排斥的某一方式时出现该定义的例外。
本发明可以被利用来用于分布式计算机系统(诸如高性能计算(HPC)系统)的功率管理。特别地,本公开的实施例涉及基于作为HPC系统内的节点的校准的结果对每个作业的功率消耗的估计来管理对HPC系统中运行的一个或多个作业的功率分配。因为本发明容易受到许多不同形式的实施例的影响,所以意图将本公开视为本发明原理的示例并且不意图将本发明限于所示出和描述的具体实施例。
II.功率感知分布式计算机系统。
参考图2,示出包括HPC系统100的逻辑的示例性框图。图2中图示的HPC系统100的逻辑为HPC系统100提供大部分功率管理并且包括资源管理器210(其包括功率感知作业调度器211和功率感知作业启用器212)、校准器220、估计器230、一个或多个作业管理器240(每个作业将具有其自己的作业管理器)、作业250、用户策略205和管制策略130。在一个实施例中,资源管理器210和作业管理器240被配置成收集作业功率数据。
校准器220校准HPC系统100内的每个节点的功率、热耗散和性能。校准器220可以提供用于校准HPC系统100内的节点的多种方法。在一个实施例中,校准器100可以提供第一校准方法,在其中HPC系统100内的每个节点运行样本工作负载(例如迷你应用程序、应用程序的一部分和/或测试脚本),以使得校准器220可以以预定时间间隔对各种参数(例如所消耗的功率)进行采样以便为每个节点确定除了其他之外尤其(1)平均功率、(2)最大功率和(3)最小功率。此外,可以以节点的每个操作频率在每个节点上运行采样工作负载。在另一实施例中,校准器220可以提供第二校准方法,在其中在作业的运行时间期间发生一个或多个节点的校准。在这种情况下,校准器220可以对其上运行(例如处理)作业的一个或多个节点进行采样。在第二方法中,校准器220获得在实际运行时间期间每个节点的功率测量结果。
估计器230向资源管理器210提供对于每个作业的功率消耗的估计,从而使得资源管理器210能够高效地调度和监控由一个或多个作业所有者(例如用户)请求的每个作业。估计器220可以基于例如存储在校准数据库中的最大和平均功率值来提供功率消耗估计,其中通过校准器220的处理来填充校准数据库。此外,可以考虑对于每个作业所需的最小功率。可以被估计器230用来创建功率消耗估计的其他因素包括但不限于或被约束成:作业的所有者是否允许作业受到功率限制(限制供应给作业的功率的作业功率策略(例如作业将运行的预定固定频率、对于作业所需的最小功率、或者由资源管理器210确定的变化的频率和/或供应的功率)),对于作业的启动功率,作业将运行的频率,HPC系统100可用的功率和/或分配给HPC系统100的功率。
用户(例如作业的所有者)所请求的每个作业附有用户策略205(也在图1中图示)。用户策略至少包括关于作业250是否可能要受到功率限制、功率限制是否被策略允许来限制功率(例如固定频率、所需最小功率或由资源管理器210确定的变化的频率和/或功率)、以及作业250是否可能被暂停的决定。将在下面利用图3深入讨论用户策略。
在一个实施例中,功率感知作业调度器211被配置成接收针对作业的模式选择(例如被包括在用户策略205内),以基于该模式来确定对于作业的可用功率并基于该可用功率来为作业分配功率。在一个实施例中,功率感知作业调度器211被配置成基于该可用功率来确定对于作业的统一频率。在一个实施例中,功率感知作业调度器211被配置成基于所监控的功率、所估计的功率和经过校准的功率中的至少一个来确定对于作业的可用功率。该功率感知作业调度器211和资源管理器210被配置成接收关于功率消耗的信息,以便向每个作业分发功率预算,以及实施统一频率机制来限制功率,如下面进一步详细描述的那样。
资源管理器210使用功率感知作业调度器211和功率感知作业启用器212来基于接收到的功率输入(例如用户策略205和管制策略206)调度和启用作业。在一个实施例中,资源管理器210是负责为一个或多个用户想要运行的交互性和批量作业分配计算和I/O资源的软件对象。典型地,资源管理器210还负责调度从作业队列之中出来的作业并按照所调度的那样启用作业来运行。作业管理器240被配置成控制作业保持在为该作业所分配的功率预算内,如下面进一步详细描述的那样。在一个实施例中,作业管理器240负责在作业已经被启用之后将该作业操作在一个或多个功率策略的约束之内。在一个实施例中,作业管理器240被用来控制按照由用户和/或管理员中的至少一个指定的策略参与作业的执行的所有部件(例如节点或其他部件)的功率性能。在名称为“Methods and apparatus for apower aware job scheduler and manager to operate a distributed computing(HPC) within given power limits with high energy efficiency(用于在给定功率限制内以高能量效率操作分布式计算(HPC)的功率感知作业调度器和管理器的方法和装置)”的美国专利申请No.14/582,764(代理人卷号No.42P74569)中描述了功率感知作业调度器211和作业管理器240。
A.示例性功率策略选择用户界面。
参考图3,示出用于在请求使用HPC系统100处理的作业的同时指定用户策略的用户界面屏幕的示例性实施例。该用户界面屏幕300包括显示区310、320和330。显示区310允许用户指定是否允许作业(例如作业250)受到功率限制(例如选择“否”产生功率限制策略310“没有功率限制”,如图下面4A和4B中看到的)。
当用户允许作业受到功率限制时显示区320关于选择预定功率限制策略之一。在图3中示出的实施例中,显示区320提供四个附加的预定功率限制策略321-323。功率限制策略321是固定频率策略(“固定频率”),在其中用户指定作业将在其上运行的一个或多个节点应该操作的特定频率。功率限制策略322是最小作业功率策略(“最小作业功率”),在其中用户指定要被供应给在其上运行作业250的一个或多个节点的最小功率。功率限制策略323是自动模式(“自动模式”),在其中资源管理器210可以改变一个或多个节点操作的频率和/或供应给正在其上运行作业250的一个或多个节点的功率。功率限制策略324是最大作业功率策略(“最大作业功率”),在其中用户指定要被供应给在其上运行作业250的一个或多个节点的最大功率。显示区330 关于在处理期间作业250是否可能被暂停的选择。
用户界面屏幕不是用户向HPC系统100提供输入参数(诸如例如功率策略、最小所需频率、最小所需功率和/或作业是否可能被暂停)的唯一方法。可替代地,此类参数可以作为作业提交和/或作为配置文件(例如文本文件)的一部分提供给HPC系统100。在又另一实施例中,此类参数可以被系统管理员、设施管理器/管理员设置以及/或者被预定为利用HPC系统100的用户账户的一部分。
B.用于生成功率和频率估计的示例性参数。
参考图4A,示出了图示当没有实施功率监控时在确定运行作业必需的资源中使用的示例性参数的表格。表格401包括:列421,其包括在运行作业的估计中提供的参数;以及第一行430,其展示用户可选择的各种功率策略。第一功率策略“没有功率限制”被展示在列422中。第二功率策略“固定频率”被展示在列423中。第三功率策略“最小功率”被展示在列424中,第四功率策略“自动模式”被展示在列425中并且第五功率策略“最大功率”被展示在列426中。
根据一个实施例,估计器230不知道用户所选择的功率策略。例如,资源管理器210(例如作业调度器211和/或作业启用器212)可以向估计器230提供对于估计作业所需的启动功率的请求并且以指定频率明确地请求PMP(这将含蓄地意指没有实施功率监控,如图4A中所图示的)。
如在列422中所图示的,当用户选择功率策略“没有功率限制”时,资源管理器210将从估计器230请求下面的参数:对于作业所需的启动功率为对于所选节点的PMP;所选节点应该以其被运行的最大频率(例如所有计算节点102可以具有同一最大频率);运行作业所需的最小功率为PMP;以及要为作业分配的功率为PMP。因此,估计器230将查阅校准器数据库来确定,并输出PMP和所选节点可以以其来操作的最大频率。
当用户选择功率策略“固定频率”时,资源管理器210将从估计器230请求以下参数(其中用Fs表示由用户选择的频率):对于作业所需的启动功率为对于所选节点在Fs的PMP;所选节点应该以其被运行的频率为Fs;运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)Fs处的PMP;以及要为作业分配的功率是Fs处的PMP。因此,估计器230将查阅校准器数据库来确定,并输出Fs处的PMP。
当用户选择功率策略“最小功率”时,资源管理器210将从估计器230请求以下参数(其中用Pmin表示由用户建立的最小功率):对于作业所需的启动功率为对于所选节点的Pmin;所选节点应该以其被运行的频率为第一操作频率F0_1,在PMP小于或等于可用功率且F0_1处的PMP等于或大于Pmin的情况下为最大频率。运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)Fmin处的PMP和Pmin的较大值;以及要为作业分配的功率为最小所需功率和F0_1处的PMP的较大值。因此,估计器230将查阅校准器数据库来确定,并输出F0_1,以及Fmin处的PMP和Pmin的较大值(当作业不能被暂停时)。
当用户选择功率策略“自动模式”时,资源管理器210将从估计器230请求以下参数:对于作业所需的启动功率为Fmin处的PMP,其中Fmin表示所选节点的最低频率;所选节点应该以其被运行的频率为F0_1;运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)Fmin处的PMP;以及要为作业分配的功率为最小所需功率和F0_1处的PMP的较大值。因此,估计器230将查阅校准器数据库来确定,并输出F0_1;最小所需功率和Fmin处的PMP的较大值;以及Fmin处的PMP(当作业不能被暂停时)。
当用户选择功率策略“最大功率”时,资源管理器210将从估计器230请求以下参数(其中用Pmax表示由用户建立的最大功率):对于作业所需的启动功率为Fmin处的PMP(当Fmin处的PMP小于对于所选节点的Pmax时);所选节点应该以其被运行的频率为第二操作频率F0_2,在PMP小于或等于可用功率和最大功率的较小值的情况下为最大频率;运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)Fmin处的PMP;以及要为作业分配的功率为Pmax和F0_2处的PMP的较小值。因此,估计器230将查阅校准器数据库来确定,并输出Fmin处的PMP(当Fmin处的PMP小于对于所选节点的Pmax时);F0_2;Fmin处的PMP(当作业不能被暂停时);以及Pmax和F0_2处的PMP的较小值。
参考图4B,示出了图示当实施功率监控时在确定运行作业必需的资源中使用的示例性参数的表格。表格402包括:列441,其包括在运行作业的估计中提供的参数;以及第一行450,其展示用户可选择的各种功率策略。第一功率策略“没有功率限制”被展示在列442中。第二功率策略“固定频率”被展示在列443中。第三功率策略“最小功率”被展示在列444中,第四功率策略“自动模式”被展示在列445中并且第五功率策略“最大功率”被展示在列446中。
当实施功率监控时,HPC系统100(特别地,作业管理器240)不断地感知被作业250消耗的功率,因为被消耗的功率是被动态测量的。相反,当不实施功率监控时,HPC系统100基于Psys来确定可用功率以及分配给作业250的功率(其是静态值)。
如列442中所图示的,当用户选择功率策略“没有功率限制”时,资源管理器210将从估计器230请求下面的参数:对于作业所需的启动功率为对于所选节点的工作负载最大功率加上防护频带;所选节点应该以其被运行的频率为节点的最大频率;运行作业所需的最小功率为工作负载最大功率加上防护频带;以及要为作业分配的功率为工作负载最大功率加上防护频带。因此,估计器230将查阅校准器数据库来确定,并输出对于所选节点的工作负载最大功率加上防护频带;以及所选节点的最大频率。
当用户选择功率策略“固定频率”时,资源管理器210将从估计器230请求以下参数:对于作业所需的启动功率为所选节点在Fs的工作负载最大值;所选节点应该以其被运行的频率为Fs;运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)在Fs的工作负载最大值;以及要为作业分配的功率为Fs处的工作负载最大功率。因此,估计器230将查阅校准器数据库来确定,并输出对于所选节点在Fs的工作负载最大值;以及在Fs的工作负载最大值(当作业不能被暂停时)。
当用户选择功率策略“最小功率”时,资源管理器210将从估计器230请求以下参数:对于作业所需的启动功率为对于所选节点的Pmin;所选节点应该以其被运行的频率为第三操作频率F0_3,在工作负载平均功率小于或等于可用功率且F0_3处的工作负载平均功率大于Pmin的情况下为最大频率。运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)Fmin处的工作负载最大功率和Pmin的较大值;以及要为作业分配的功率为最小所需功率和F0_3处的工作负载平均值的较大值。因此,估计器230将查阅校准器数据库来确定,并输出F0_3;以及Fmin处的工作负载最大值功率和Pmin的较大值(当作业不能被暂停时);以及最小所需功率和F0_3处的工作负载平均值的较大值。
当用户选择功率策略“自动模式”时,资源管理器210将从估计器230请求以下参数:对于作业所需的启动功率为Fmin处的工作负载平均值;所选节点应该以其被运行的频率为F0_3;运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)Fmin处的工作负载最大功率;以及要为作业分配的功率为最小所需功率和F0_3处的工作负载平均值的较大值。因此,估计器230将查阅校准器数据库来确定,并输出对于所选节点在Fmin的工作负载平均值;F0_3;Fmin处的工作负载最大功率(当作业不能被暂停时);以及最小所需功率和F0_3处的工作负载平均值的较大值。
当用户选择功率策略“最大功率”时,估计器230将向资源管理器210提供以下参数:对于作业所需的启动功率为Fmin处的工作负载平均值(当Fmin处的工作负载平均值小于对于所选节点的Pmax时),否则为Pmax;所选节点应该以第四操作频率F0_4被运行,在工作负载最大功率小于或等于可用功率和最大功率Pmax的较小值的情况下为最大频率;运行作业所需的最小功率为(i)零(当作业可以被暂停时),或者(ii)Fmin处的工作负载最大功率;以及要为作业分配的功率是F0_4处的工作负载最大功率和Pmax的较小值。因此,估计器230将查阅校准器数据库来确定,并输出Fmin处的工作负载平均值(当Fmin处的工作负载平均值小于对于所选节点的Pmax时);F0_4;Fmin处的工作负载最大功率(当作业不能被暂停时);以及F0_4处的工作负载最大功率和 Pmax的较小值。
C.估计功率性能的示例性方法。
参考图5,示出了图示用于生成启动功率的估计的示例性方法的流程图。图5中图示的每个框都表示在启用作业之前生成可用的对于作业所需的启动功率的估计的方法500中所执行的操作。在操作501中,估计器230接收作为输入的唯一作业标识(ID)、在其上运行作业的节点的列表、以及可选地节点在运行作业的同时以其操作的指定频率。当提供指定频率时(在操作502处为是),启动频率Fs被设置为指定频率(操作503)。当没有提供指定频率时(在操作502处为否),最小频率Fmin和启动频率Fs被设置为对于所选节点的列表内的每个节点的最低频率(操作504)。
在操作505中,估计器230确定对应于唯一作业ID的作业类型是否存在于校准器数据库中(例如已经利用满足与唯一作业ID的作业类型的相似度阈值的工作负载校准了所选节点的列表上的节点)。当在校准器数据库中找到该作业类型时(在操作505处为是),对于每个节点的启动功率Ps[NX](其中NX表示节点的所选列表上的一个或多个一个节点中的一个)被设置成从校准器数据库获得的对于每个节点在Fs的平均工作负载功率(操作506)。
当在校准器数据库中没有找到该作业类型时(在操作505处为否),对于每个节点的启动功率Ps[Nx]被设置成从校准器数据库获得的对于每个节点在Fs的平均PMP(操作507)。
在操作508处,当作业以按照比例缩放(scale)来运行时Ps[NX]被设置成对于每个节点N在Fs的平均工作负载功率(Ps_scaled[NX])。术语“Pa_scaled[NX]”和“Pmax_scaled[NX]”分别指代当在指定数目(作为一个示例,X可以等于10,000)的计算节点上处理作业时在计算节点Nx上运行作业所需的平均和最大节点功率。按照比例缩放考虑了当在指定数目的节点上将作业按照比例缩放来运行时每个节点消耗的功率可能改变的事实,这归因于在操作于每个计算节点Nx上的过程正等待通信(例如在计算节点之间和/或与OS节点101一起)的同时每个计算节点NX的降低的功率消耗。根据一个实施例,对于较大数目的计算节点等待通信的时间会更长。
例如,对于迷你应用程序校准可以是一次在100个节点上运行,然而实际作业请求可能请求使用10,000个节点。在某些情况下,当作业在10,000个节点上运行时每个节点的平均功率消耗和最大功率消耗可能更少,因为10,000个节点之间的通信会花费比100个节点之间的通信更多的时间并且在节点等待通信发生时消耗比节点正处理计算时更少的功率。因此,估计器230可以对校准数据执行按照比例缩放过程以便基于在校准期间所使用的节点的数目和在作业的实际处理中使用的节点的数目来按照比例缩放测量结果(例如最大温度、平均温度、最大功率、平均功率等)。
在操作509处,对于作业的总启动功率Ps被设置成对于所选节点的列表上的所有节点的Ps_scaled[NX]的和。在操作510处,添加对共享节点的估计。共享节点是对多于一个作业执行处理的节点。共享节点的示例是I/O节点,其中I/O节点执行在多个节点之间共享的存储设备的控制和/或执行对(例如与第二HPC系统和/或用户设备的)网络对接的控制。对共享节点的估计包括基于一个或多个共享节点将执行的功能来估计一个或多个共享节点将消耗的功率。类似的校准技术可以被用来确定一个或多个共享节点的功率消耗。在操作511中,将对唯一作业ID的Ps和Fs的估计输出给资源管理器210。
现在参考图6,示出了图示用于生成对于作业的最小所需功率的估计的示例性方法的流程图。图6中图示的每个框都表示在生成运行作业所需的最小功率的估计的方法600中所执行的操作(运行作业所需的最小功率通常小于或等于如图5中图示的启动功率)。在操作601中,估计器230至少接收作为输入的唯一作业ID和在其上运行作业的节点的列表。在操作602处,Fmin[N]被设置为对于每个节点的最低频率。
在操作603中,估计器230确定对应于唯一作业ID的作业类型是否存在于校准器数据库中。当在校准器数据库中找到该作业类型时(在操作603处为是),对于每个节点的最小功率Pmin[NX]被设置成从校准器数据库获得的对于每个节点在Fmin的平均工作负载功率(操作604)。当在校准器数据库中没有找到该作业类型时(在操作603处为否),对于每个节点的最小功率Pmin[NX]被设置成从校准器数据库获得对于的每个节点在Fmin的平均PMP(操作605)。
在操作606处,Pmin[NX]被设置成当作业以按照比例缩放来运行时对于每个节点N在Fmin的平均工作负载功率(Pmin_scaled[NX])。
在操作607处,对于作业的总最小功率Pmin被设置成对于所选节点的列表上的所有节点的Pmin_scaled[NX]的和。在操作608处,添加对共享节点的估计。在操作609中,将对唯一作业ID的Pmin和Fmin的估计输出给资源管理器210。
现在参考图7,示出了图示用于生成对于作业所需的分配功率的估计的示例性方法的流程图。图7中图示的每个框都表示在生成运行作业所需的分配功率的估计的方法700中所执行的操作。在操作701中,估计器230至少接收作为输入的唯一作业标识(ID)和在其上运行作业的节点的列表、以及节点在运行作业的同时以其来操作的分配频率Fa。
在操作702中,估计器230确定对应于唯一作业ID的作业类型是否存在于校准器数据库中。当在校准器数据库中找到该作业类型时(在操作702处为是),对于每个节点的分配功率Pa[NX]被设置成从校准器数据库获得的对于每个节点在Fa的平均工作负载功率(操作703)。当在校准器数据库中没有找到该作业类型时(在操作702处为否),对于每个节点的分配功率Pa[NX]被设置成从校准器数据库获得的对于每个节点在Fa的平均PMP(操作704)。
在操作705处, Pa[NX]被设置成当作业以按照比例缩放来运行时对于每个节点N在Fa的平均工作负载功率(Pa_scaled[NX]),并且Pmax[NX]被设置成当作业以按照比例缩放来运行时对于每个节点N在Fa的最大工作负载。
在操作706处,对于作业所需的总分配功率Pa被设置成对于所选节点的列表上的所有节点的Pa_scaled[NX]的和。在操作707处,添加对共享节点的估计。
在操作708中,估计器230输出分别作为对作业的分配的功率和最大功率的估计的Pa和Pmax。
现在参考图8,示出了图示用于基于对于作业的可用功率生成操作频率的估计的示例性方法的流程图。图8中图示的每个框都表示在基于运行作业的可用功率生成操作频率的估计的方法800中所执行的操作。在操作801中,估计器230至少接收作为输入的作业类型、对于作业可用的功率(Pavail)、和在其上运行作业的节点的列表。
在操作802处,操作频率(Fo)和分配的功率(Pa)被设置成“未定义的”值。作为在操作811处由估计器230的输出的Fo是提供给估计器230的节点的列表的节点应该基于Pavail以其来操作的频率的估计。在操作811处输出的Fo表示节点的列表上的节点可以以其来操作以使得节点将不会消耗比Pavail更多的功率的最高频率。在操作803处,变量Fo_next被设置成对于每个节点的最低频率(例如如在校准器数据库中提供的)。
例如,用户可以提交要以自动模式运行的作业“Job_A”。当作业准备好运行时,作业启用器212确定存在要被分配给Job_A的1.2MW的可用功率。随后,资源管理器210可以从估计器230除了其他之外尤其请求节点在消耗小于或等于1.2MW功率的同时应该以其来操作以运行作业的频率的估计。至少基于作业类型和节点的列表,该估计向资源管理器210提供Job_A在消耗小于或等于1.2MW功率的同时所表明的可以以其来运行的最大频率的输出。估计器230还可以在估计中包括Job_A在以2.3GHz操作的同时可以消耗的平均功率的估计和最大功率的估计。
在操作804处,估计器230确定对于作业类型的工作负载的校准数据是否存在于校准器数据库中。当在校准器数据中找到对于该作业类型的工作负载的校准数据时(在操作804处为是),对于每个节点的可用功率Pa_next[NX]被设置成从校准器数据库获得的对于每个节点在Fo_next的工作负载功率(操作805)。工作负载功率基于在操作801处作为输入接收的功率类型参数。功率类型可以是例如PMP、平均工作负载功率或最大工作负载功率。可以根据用户输入(例如功率策略选择)和/或是否使用功率监控来确定功率类型(例如当不使用功率监控时功率类型可以是PMP)。当没有在校准器数据中找到对于该作业类型的工作负载的校准数据时(在操作804处为否),对于每个节点的可用功率Pa_next[NX]被设置成从校准器数据库获得的对于每个节点在Fo_next的平均PMP(操作806)。
在操作807处,Pa_next[NX] 被设置成当作业以按照比例缩放来运行时对于每个节点N在Fo_next的工作负载功率(Pa_ next_scaled[NX]),如关于操作804所描述的,并且Pmax_next[NX]被设置成当作业以按照比例缩放来运行时对于每个节点N在Fo_next的最大工作负载(Pmax_next_scaled[NX])。在操作808处,表示对于作业所需的总功率的变量Pa_next被设置成对于所选节点的列表上的所有节点的Pa_ next_scaled[Nx]的和。在操作809处,添加对共享节点的估计。
在操作810处,估计器230确定可变功率Pa_next是否小于可用功率Pavail(或者Pmax_next小于Pavail)。当Pa_next不小于Pavail时(在操作810处为否),估计器230输出包括以下各项的估计:(i)Fo为对作业的操作频率的估计,(ii)Pa为当作业以Fo操作时估计的工作负载功率,(iii)Pmax为在Fo的最大工作负载功率,(iv)Fo_prev为在校准数据库中保持的操作频率列表上仅低于Fo的操作频率,(v)Pa_prev为当作业以Fo_prev操作时估计的功率,(vi)Pmax_prev为在Fo_prev的最大工作负载功率,(vii)Fo_next为在校准数据库中保持的操作频率列表上仅高于Fo的操作频率,(viii)Pa_next为当作业以Fo_next操作时估计的功率,以及(vii)Pmax_next为在Fo_next的最大工作负载功率(操作811)。当对于每个节点的最低频率处的功率(参见操作803)小于可用功率时,操作811将Fa和Pa返回为“未定义的”值。基于被设置成“未定义的” Fa和Pa,HPC系统100将确定用户所请求的作业不能在期望的功率类型下以当前可用功率来运行。
当Pa小于Pavail时(在操作810处为是),估计器230将Fo设置成等于Fo_next并且将Pa设置成等于Pa_next(操作812)。在操作813处,估计器230确定所选节点的列表上的节点是否可以以比Fo_next更高的频率操作(操作813)。当所选节点的列表上的节点不能以比Fo_next更高的频率操作时(操作813处为否),估计器230输出包括以下各项的估计:(i)Fo为对作业的操作频率的估计,(ii)Pa为当作业以Fo操作时估计的工作负载功率,(iii)Pmax为在Fo的最大工作负载功率,(iv)Fo_prev为在校准数据库中保持的操作频率列表上仅低于Fo的操作频率,(v)Pa_prev为当作业以Fo_prev操作时估计的功率,(vi)Pmax_prev为在Fo_prev的最大工作负载功率,(vii)Fo_next为在校准数据库中保持的操作频率列表上仅高于Fo的操作频率,(viii)Pa_next为当作业以Fo_next操作时估计的作业功率,以及(vii)Pmax_next为在Fo_next的最大工作负载功率(操作811)。
当所选节点的列表上的节点能够以比Fo更高的频率操作时(操作813处为是),Fo_next被设置成校准器数据库中列出的下一更高频率(操作814)。当Fo_next被设置成校准器数据库中列出的下一更高频率(操作814)时,方法800返回如上所讨论的操作804。
下面的示例关于其他实施例:
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)频率的列表;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成功率估计;以及由估计器模块向资源管理器提供功率估计。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)频率的列表;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成功率估计;以及由估计器模块向资源管理器提供功率估计,其中该校准数据包括最大功率、平均功率、最大温度、平均功率、性能度量或最小所需功率中的一个或多个。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)频率的列表;响应于接收到多个工作负载参数,估计器模块从校准数据库检索校准数据;估计器模块生成基于多个工作负载参数和校准数据的功率估计;以及估计器模块向资源管理器提供功率估计,其中该功率估计包括以下各项中的一个或多个:所选节点的列表上的每个节点在以频率列表的每个频率运行该工作负载类型的工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以频率列表的每个频率运行该工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以频率列表的每个频率运行该工作负载的同时的最大温度,所选节点的列表上的每个节点在以频率列表的每个频率运行该工作负载的同时的平均功率,在以频率列表的每个频率运行该工作负载的同时对于该工作负载类型的性能度量,或对于所选节点的列表上的节点以频率列表的每个频率执行该工作负载的最小所需功率。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)频率的列表;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成功率估计;以及由估计器模块向资源管理器提供功率估计,其中该工作负载类型包括小应用程序、应用程序的一部分或测试脚本之一的类型,其中在所选节点的列表上的节点的校准中使用该小应用程序、应用程序的一部分和测试脚本。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)频率的列表;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成功率估计;以及由估计器模块向资源管理器提供功率估计,其中生成功率估计包括按照比例缩放校准数据,其中当分布式计算机系统执行该工作负载类型的作业时按照比例缩放调整所选节点的列表上的每个节点所消耗的功率以考虑所选节点的列表的尺寸。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该校准数据包括最大功率、平均功率、最大温度、平均功率或性能度量中的一个或多个。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该频率估计还包括所选频率,以及所选节点的列表上的每个节点在以所选频率运行该工作负载类型的工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的最大温度,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的平均功率,在以所选频率运行该工作负载的同时对于该工作负载类型的性能度量,或对于所选节点的列表上的节点以所选频率执行该工作负载的最小所需功率中的一个或多个。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该频率估计还包括所选频率,以及所选节点的列表上的每个节点在以所选频率运行该工作负载类型的工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的最大温度,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的平均功率,在以所选频率运行该工作负载的同时对于该工作负载类型的性能度量,或对于所选节点的列表上的节点以所选频率执行该工作负载的最小所需功率中的一个或多个,其中该所选频率是所选节点的列表上的节点可以以其来操作以使得所选节点的列表上的节点在运行该工作负载的同时所消耗的总功率不会超过可用功率的最高频率。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该频率估计还包括所选频率,以及所选节点的列表上的每个节点在以所选频率运行该工作负载类型的工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的最大温度,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的平均功率,在以所选频率运行该工作负载的同时对于该工作负载类型的性能度量,或对于所选节点的列表上的节点以所选频率执行该工作负载的最小所需功率中的一个或多个,其中该频率估计还包括所选节点的列表上的每个节点在以第二频率运行该工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以第二频率运行该工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以第三频率运行该工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以第三频率运行该工作负载的同时所消耗的最大功率,其中该第二频率是比以其来校准所选节点的列表上的节点的所选频率更高的下一频率,并且该第三频率是以其来校准所选节点的列表上的节点的下一更低频率。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该工作负载类型包括小应用程序、应用程序的一部分或测试脚本之一的类型,其中在所选节点的列表上的节点的校准中使用该小应用程序、应用程序的一部分和测试脚本。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该输入参数还包括作为产生最快性能度量的频率或产生最高能量效率度量的频率之一的对于所选频率的选项。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该输入参数还包括作为产生最快性能度量的频率或产生最高能量效率度量的频率之一的对于所选频率的选项,其中产生最快性能度量的频率是所选节点的列表上的节点以其操作来以最快时间完成该工作负载类型的工作负载的频率。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该输入参数还包括作为产生最快性能度量的频率或产生最高能量效率度量的频率之一的对于所选频率的选项,其中产生最高能量效率度量的频率是所选节点的列表上的节点以其操作来以所选节点的列表上的节点之中的最低聚集功率消耗完成该工作负载类型的工作负载的频率。
一种其上存储有指令的非瞬时计算机可读存储介质,该指令可由一个或多个处理器来执行以便实行包括以下内容的操作:由通过一个或多个处理器来执行的估计器模块接收多个输入参数,该多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)分布式计算机系统可用的功率值;响应于接收到多个工作负载参数,由估计器模块从校准数据库检索校准数据;由估计器模块基于多个工作负载参数和校准数据生成频率估计;以及由估计器模块向资源管理器提供频率估计,其中该频率估计包括节点在处理工作负载的同时应该以其操作的所选频率,以及以该频率处理该工作负载将消耗的对应功率,其中该频率估计还包括所选频率,以及所选节点的列表上的每个节点在以所选频率运行该工作负载类型的工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的最大温度,所选节点的列表上的每个节点在以所选频率运行该工作负载的同时的平均功率,在以所选频率运行该工作负载的同时对于该工作负载类型的性能度量,或所选节点的列表上的节点以所选频率执行该工作负载的最小所需功率中的一个或多个,其中生成频率估计包括按照比例缩放校准数据,其中当分布式计算机系统执行该工作负载类型的作业时按照比例缩放调整所选节点的列表上的每个节点所消耗的功率以考虑所选节点的列表的尺寸。
一种为分布式计算机系统生成功率估计的系统包括:一个或多个处理器;以及通信耦合到该一个或多个处理器的存储模块,该存储模块包括估计器模块,其接收多个输入参数,该多个输入参数包括(i)工作负载类型,以及(ii)属于分布式计算机系统的所选节点的列表;为所选节点的列表上的每个节点确定最低频率;通过(i)确定对于所选节点的列表上的每个节点在最低频率的平均功率消耗以及(ii)按照比例缩放对于所选节点的列表上的每个节点的平均功率消耗来生成功率估计;以及将功率估计提供给资源管理器,其中该功率估计包括开始处理工作负载类型的作业的最小所需功率。
一种系统包括一个或多个处理器以及通信耦合到该一个或多个处理器的存储模块,该存储模块包括估计器模块,其接收多个输入参数,该多个输入参数包括(i)工作负载类型,以及(ii)属于分布式计算机系统的所选节点的列表;为所选节点的列表上的每个节点确定最低频率;通过(i)确定对于所选节点的列表上的每个节点在最低频率的平均功率消耗以及(ii)按照比例缩放对于所选节点的列表上的每个节点的平均功率消耗来生成功率估计;以及将功率估计提供给资源管理器,其中该功率估计包括开始处理工作负载类型的作业的最小所需功率,其中当该多个输入参数还包括指定频率时,该最低频率被设置成指定频率。
一种系统包括一个或多个处理器以及通信耦合到该一个或多个处理器的存储模块,该存储模块包括估计器模块,其接收多个输入参数,该多个输入参数包括(i)工作负载类型,以及(ii)属于分布式计算机系统的所选节点的列表;为所选节点的列表上的每个节点确定最低频率;通过(i)确定对于所选节点的列表上的每个节点在最低频率的平均功率消耗以及(ii)按照比例缩放对于所选节点的列表上的每个节点的平均功率消耗来生成功率估计;以及将功率估计提供给资源管理器,其中该功率估计包括开始处理工作负载类型的作业的最小所需功率,其中当该多个输入参数不包括指定频率时,该最低频率被设置成与分布式计算机系统的校准数据库内存储的校准数据相关联的对于所选节点的列表上的每个节点的最低频率。
一种系统包括一个或多个处理器以及通信耦合到该一个或多个处理器的存储模块,该存储模块包括估计器模块,其接收多个输入参数,该多个输入参数包括(i)工作负载类型,以及(ii)属于分布式计算机系统的所选节点的列表;为所选节点的列表上的每个节点确定最低频率;通过(i)确定对于所选节点的列表上的每个节点在最低频率的平均功率消耗以及(ii)按照比例缩放对于所选节点的列表上的每个节点的平均功率消耗来生成功率估计;以及将功率估计提供给资源管理器,其中该功率估计包括开始处理工作负载类型的作业的最小所需功率,其中当确定与针对该工作负载类型的节点的所选列表上的节点的校准相关联的数据存在于包括在分布式计算机系统中的校准数据库中时,(i)基于存储在校准数据库中的与该工作负载类型相关联的校准数据为节点的所选列表上的每个节点确定平均工作负载功率;以及(ii)对节点的所选列表上的每个节点的平均工作负载功率进行按照比例缩放和求和,其中在功率估计中该求和被提供为启动功率。
一种系统包括一个或多个处理器以及通信耦合到该一个或多个处理器的存储模块,该存储模块包括估计器模块,其接收多个输入参数,该多个输入参数包括(i)工作负载类型,以及(ii)属于分布式计算机系统的所选节点的列表;为所选节点的列表上的每个节点确定最低频率;通过(i)确定所选节点的列表上的每个节点在最低频率的平均功率消耗以及(ii)按照比例缩放所选节点的列表上的每个节点的平均功率消耗来生成功率估计;以及将功率估计提供给资源管理器,其中该功率估计包括开始处理工作负载类型的作业的最小所需功率,其中当确定与针对该工作负载类型的节点的所选列表上的节点的校准相关联的数据不存在于包括在分布式计算机系统中的校准数据库中时,(i)基于存储在校准数据库中的与功率-病毒相关联的校准数据为节点的所选列表上的每个节点确定平均最大功率;以及(ii)对节点的所选列表上的每个节点的平均最大功率进行按照比例缩放和求和,其中在功率估计中该求和被提供为启动功率。
在前面的描述中,参考本发明的具体示例性实施例描述了本发明,然而,显而易见的是在不偏离如在所附权利要求中阐述的本发明的更广阔精神和范围的情况下可以对其进行各种修改和改变。
Claims (20)
1.一种其上存储有指令的非瞬时计算机可读存储介质,所述指令可由一个或多个处理器来执行以便实行包括以下内容的操作:
由通过所述一个或多个处理器来执行的估计器模块接收多个输入参数,所述多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)频率的列表;
响应于接收到所述多个输入参数,由所述估计器模块从校准数据库检索校准数据;
由所述估计器模块基于所述多个输入参数和所述校准数据生成功率估计;以及
由所述估计器模块向资源管理器提供所述功率估计,
其中所述生成功率估计包括按照比例缩放所述校准数据。
2.根据权利要求1所述的非瞬时计算机可读存储介质,其中所述校准数据包括最大功率、平均功率、最大温度、平均功率、性能度量或最小所需功率中的一个或多个。
3.根据权利要求1所述的非瞬时计算机可读存储介质,其中所述功率估计包括以下各项中的一个或多个:所选节点的列表上的每个节点在以所述频率的列表的每个频率运行所述工作负载类型的工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以所述频率的列表的每个频率运行所述工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所述频率的列表的每个频率运行所述工作负载的同时的最大温度,所选节点的列表上的每个节点在以所述频率的列表的每个频率运行所述工作负载的同时的平均功率,在以所述频率的列表的每个频率运行所述工作负载的同时针对所述工作负载类型的性能度量,或者所选节点的列表上的节点以所述频率的列表的每个频率执行所述工作负载的最小所需功率。
4.根据权利要求1所述的非瞬时计算机可读存储介质,其中所述工作负载类型包括小型化应用程序、应用程序的一部分或测试脚本之一的类型,其中在所选节点的列表上的节点的校准中使用所述小型化应用程序、应用程序的所述一部分和所述测试脚本。
5.根据权利要求1所述的非瞬时计算机可读存储介质,其中当所述分布式计算机系统执行所述工作负载类型的作业时所述按照比例缩放调整所选节点的列表上的每个节点所消耗的功率以考虑所选节点的列表的尺寸。
6.一种其上存储有指令的非瞬时计算机可读存储介质,所述指令可由一个或多个处理器来执行以便实行包括以下内容的操作:
由通过所述一个或多个处理器来执行的估计器模块接收多个输入参数,所述多个输入参数包括(i)工作负载类型,(ii)属于分布式计算机系统的所选节点的列表,以及(iii)对所述分布式计算机系统可用的功率值;
响应于接收到所述多个输入参数,由所述估计器模块从校准数据库检索校准数据;
由所述估计器模块基于所述多个输入参数和所述校准数据生成频率估计;以及
由所述估计器模块向资源管理器提供频率估计,其中所述频率估计包括所述节点在处理工作负载的同时应以其操作的所选频率、以及在所述频率处所述工作负载的所述处理将消耗的对应功率,
其中所述生成功率估计包括按照比例缩放所述校准数据。
7.根据权利要求6所述的非瞬时计算机可读存储介质,其中所述校准数据包括最大功率、平均功率、最大温度、平均功率或性能度量中的一个或多个。
8.根据权利要求6所述的非瞬时计算机可读存储介质,其中所述频率估计还包括所选频率,以及以下各项中的一个或多个:所选节点的列表上的每个节点在以所选频率运行所述工作负载类型的工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以所选频率运行所述工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所选频率运行所述工作负载的同时的最大温度,所选节点的列表上的每个节点在以所选频率运行所述工作负载的同时的平均功率,在以所选频率运行所述工作负载的同时针对所述工作负载类型的性能度量,或者所选节点的列表上的节点以所选频率执行所述工作负载的最小所需功率。
9.根据权利要求8所述的非瞬时计算机可读存储介质,其中所述所选频率是所选节点的列表上的节点可以以其来操作以使得在运行所述工作负载的同时所选节点的列表上的节点所消耗的总功率不超过可用功率的最高频率。
10.根据权利要求8所述的非瞬时计算机可读存储介质,其中所述频率估计还包括所选节点的列表上的每个节点在以第二频率运行所述工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所述第二频率运行所述工作负载的同时所消耗的最大功率,所选节点的列表上的每个节点在以第三频率运行所述工作负载的同时所消耗的平均功率,所选节点的列表上的每个节点在以所述第三频率运行所述工作负载的同时所消耗的最大功率,
其中所述第二频率是比所选节点的列表上的节点被校准时的所选频率更高的下一频率,并且所述第三频率是比所选节点的列表上的节点被校准时的所选频率更低的下一频率。
11.根据权利要求6所述的非瞬时计算机可读存储介质,其中所述工作负载类型包括小型化应用程序、应用程序的一部分或测试脚本之一的类型,其中在所选节点的列表上的节点的校准中使用所述小型化应用程序、应用程序的所述一部分和所述测试脚本。
12.根据权利要求6所述的非瞬时计算机可读存储介质,其中所述输入参数还包括所选频率为产生最快性能度量的频率或产生最高能量效率度量的频率之一的选项。
13.根据权利要求12所述的非瞬时计算机可读存储介质,其中所述产生最快性能度量的频率是所选节点的列表上的节点以其操作来以最快时间完成所述工作负载类型的工作负载的频率。
14.根据权利要求12所述的非瞬时计算机可读存储介质,其中所述产生最高能量效率度量的频率是所选节点的列表上的节点以其操作来以所选节点的列表上的节点之中的最低总功率消耗完成所述工作负载类型的工作负载的频率。
15.根据权利要求8所述的非瞬时计算机可读存储介质,其中当所述分布式计算机系统执行所述工作负载类型的作业时所述按照比例缩放调整所选节点的列表上的每个节点所消耗的功率以考虑所选节点的列表的尺寸。
16.一种为分布式计算机系统生成功率估计的系统,包括:
一个或多个处理器;以及
通信耦合到所述一个或多个处理器的存储模块,所述存储模块包括估计器模块,所述估计器模块用于:
接收多个输入参数,所述多个输入参数包括(i)工作负载类型,以及(ii)属于所述分布式计算机系统的所选节点的列表;
为所选节点的列表上的每个节点确定最低频率;
通过确定所选节点的列表上的每个节点在所述最低频率的平均功率消耗以及按照比例缩放所选节点的列表上的每个节点的所述平均功率消耗来生成所述功率估计;以及
将所述功率估计提供给资源管理器,其中所述功率估计包括开始处理所述工作负载类型的作业的最小所需功率。
17.根据权利要求16所述的系统,其中当所述多个输入参数还包括指定频率时,所述最低频率被设置成所述指定频率。
18.根据权利要求16所述的系统,其中当所述多个输入参数不包括指定频率时,所述最低频率被设置成与所述分布式计算机系统的校准数据库内存储的校准数据相关联的、所选节点的列表上的每个节点的最低频率。
19.根据权利要求16所述的系统,其中当确定与针对所述工作负载类型的、节点的所选列表上的节点的校准相关联的数据存在于包括在所述分布式计算机系统中的校准数据库中时,(i)基于存储在所述校准数据库中的与所述工作负载类型相关联的校准数据为节点的所选列表上的每个节点确定平均工作负载功率;以及(ii)对节点的所选列表上的每个节点的平均工作负载功率进行按照比例缩放和求和,其中在所述功率估计中所述求和被提供为启动功率。
20.根据权利要求16所述的系统,其中当确定与针对所述工作负载类型的、节点的所选列表上的节点的校准相关联的数据不存在于包括在所述分布式计算机系统中的校准数据库中时,(i)基于存储在所述校准数据库中的与功率-病毒相关联的校准数据为节点的所选列表上的每个节点确定平均最大功率;以及(ii)对节点的所选列表上的每个节点的平均最大功率进行按照比例缩放和求和,其中在所述功率估计中所述求和被提供为启动功率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911128004.7A CN111176419B (zh) | 2014-08-22 | 2015-06-18 | 估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462040576P | 2014-08-22 | 2014-08-22 | |
US62/040576 | 2014-08-22 | ||
US14/582795 | 2014-12-24 | ||
US14/582,795 US9575536B2 (en) | 2014-08-22 | 2014-12-24 | Methods and apparatus to estimate power performance of a job that runs on multiple nodes of a distributed computer system |
PCT/US2015/036435 WO2016028375A1 (en) | 2014-08-22 | 2015-06-18 | Methods and apparatus to estimate power performance of a job that runs on multiple nodes of a distributed computer system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911128004.7A Division CN111176419B (zh) | 2014-08-22 | 2015-06-18 | 估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106537287A CN106537287A (zh) | 2017-03-22 |
CN106537287B true CN106537287B (zh) | 2019-12-17 |
Family
ID=55348281
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580040949.7A Active CN106537348B (zh) | 2014-08-22 | 2015-06-17 | 用于数据处理系统的功率感知作业调度器和管理器 |
CN201580040030.8A Active CN107003706B (zh) | 2014-08-22 | 2015-06-18 | 非暂时性计算机可读存储介质和用于管理作业的装置 |
CN201911128004.7A Active CN111176419B (zh) | 2014-08-22 | 2015-06-18 | 估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 |
CN201580040005.XA Active CN106537287B (zh) | 2014-08-22 | 2015-06-18 | 估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580040949.7A Active CN106537348B (zh) | 2014-08-22 | 2015-06-17 | 用于数据处理系统的功率感知作业调度器和管理器 |
CN201580040030.8A Active CN107003706B (zh) | 2014-08-22 | 2015-06-18 | 非暂时性计算机可读存储介质和用于管理作业的装置 |
CN201911128004.7A Active CN111176419B (zh) | 2014-08-22 | 2015-06-18 | 估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (6) | US10712796B2 (zh) |
EP (5) | EP3183654A4 (zh) |
JP (2) | JP6701175B2 (zh) |
KR (2) | KR102213555B1 (zh) |
CN (4) | CN106537348B (zh) |
WO (3) | WO2016028371A1 (zh) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8601473B1 (en) | 2011-08-10 | 2013-12-03 | Nutanix, Inc. | Architecture for managing I/O and storage for a virtualization environment |
CN103959198B (zh) * | 2011-11-30 | 2017-09-12 | 英特尔公司 | 降低3d工作负荷的功率 |
US11243707B2 (en) | 2014-03-12 | 2022-02-08 | Nutanix, Inc. | Method and system for implementing virtual machine images |
US9870037B2 (en) * | 2015-04-01 | 2018-01-16 | Dell Products, L.P. | Method and apparatus for collaborative power and thermal control of fan run time average power limiting |
US9900164B2 (en) * | 2015-06-10 | 2018-02-20 | Cisco Technology, Inc. | Dynamic power management |
US10042410B2 (en) * | 2015-06-11 | 2018-08-07 | International Business Machines Corporation | Managing data center power consumption |
US10073659B2 (en) | 2015-06-26 | 2018-09-11 | Intel Corporation | Power management circuit with per activity weighting and multiple throttle down thresholds |
US10503230B2 (en) * | 2015-11-25 | 2019-12-10 | Electronics And Telecommunications Research Institute | Method and apparatus for power scheduling |
US10437304B2 (en) | 2016-03-15 | 2019-10-08 | Roku, Inc. | Brown out condition detection and device calibration |
US10613947B2 (en) | 2016-06-09 | 2020-04-07 | Nutanix, Inc. | Saving and restoring storage devices using application-consistent snapshots |
CN106200612B (zh) * | 2016-07-07 | 2019-01-22 | 百度在线网络技术(北京)有限公司 | 用于测试车辆的方法和系统 |
EP3497564A1 (en) * | 2016-08-11 | 2019-06-19 | Telefonaktiebolaget LM Ericsson (publ) | Method and cloud management node for managing a data processing task |
US10838482B2 (en) | 2016-10-10 | 2020-11-17 | International Business Machines Corporation | SLA-based power management in disaggregated computing systems |
US10360077B2 (en) | 2016-10-10 | 2019-07-23 | International Business Machines Corporation | Measuring utilization of resources in datacenters |
US10545560B2 (en) | 2016-10-10 | 2020-01-28 | International Business Machines Corporation | Power management and utilization detection of computing components |
US11169592B2 (en) | 2016-10-10 | 2021-11-09 | International Business Machines Corporation | SLA-based backup power management during utility power interruption in disaggregated datacenters |
US10401940B2 (en) * | 2016-10-10 | 2019-09-03 | International Business Machines Corporation | Power management in disaggregated computing systems |
US10819599B2 (en) | 2016-10-10 | 2020-10-27 | International Business Machines Corporation | Energy consumption as a measure of utilization and work characterization in a system |
CN106779295A (zh) * | 2016-11-18 | 2017-05-31 | 南方电网科学研究院有限责任公司 | 供电方案生成方法和系统 |
US20180165772A1 (en) * | 2016-12-14 | 2018-06-14 | Palo Alto Research Center Incorporated | Tiered greening for large business operations with heavy power reliance |
IT201700034731A1 (it) * | 2017-03-29 | 2018-09-29 | St Microelectronics Srl | Modulo e metodo di gestione dell'accesso ad una memoria |
WO2018190785A1 (en) * | 2017-04-10 | 2018-10-18 | Hewlett-Packard Development Company, L.P. | Delivering power to printing functions |
US10656700B2 (en) * | 2017-07-10 | 2020-05-19 | Oracle International Corporation | Power management in an integrated circuit |
US10782772B2 (en) * | 2017-07-12 | 2020-09-22 | Wiliot, LTD. | Energy-aware computing system |
US10831252B2 (en) | 2017-07-25 | 2020-11-10 | International Business Machines Corporation | Power efficiency-aware node component assembly |
JP6874594B2 (ja) * | 2017-08-24 | 2021-05-19 | 富士通株式会社 | 電源管理装置,ノード電源管理方法およびノード電源管理プログラム |
US10917496B2 (en) * | 2017-09-05 | 2021-02-09 | Amazon Technologies, Inc. | Networked storage architecture |
JP6996216B2 (ja) * | 2017-10-16 | 2022-01-17 | コニカミノルタ株式会社 | シミュレート装置、情報処理装置、装置設定方法および装置設定プログラム |
KR102539044B1 (ko) | 2017-10-30 | 2023-06-01 | 삼성전자주식회사 | 시스템 온 칩의 구동 방법, 이를 수행하는 시스템 온 칩 및 이를 포함하는 전자 시스템 |
US10824522B2 (en) * | 2017-11-27 | 2020-11-03 | Nutanix, Inc. | Method, apparatus, and computer program product for generating consistent snapshots without quiescing applications |
US10725834B2 (en) | 2017-11-30 | 2020-07-28 | International Business Machines Corporation | Job scheduling based on node and application characteristics |
CN108052394B (zh) * | 2017-12-27 | 2021-11-30 | 福建星瑞格软件有限公司 | 基于sql语句运行时间的资源分配的方法及计算机设备 |
US10627885B2 (en) * | 2018-01-09 | 2020-04-21 | Intel Corporation | Hybrid prioritized resource allocation in thermally- or power-constrained computing devices |
US11678615B2 (en) | 2018-01-11 | 2023-06-20 | Lancium Llc | Method and system for dynamic power delivery to a flexible growcenter using unutilized energy sources |
JP2019146298A (ja) * | 2018-02-16 | 2019-08-29 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
KR102663815B1 (ko) * | 2018-06-01 | 2024-05-07 | 삼성전자주식회사 | 컴퓨팅 장치 및 이의 동작 방법 |
US10936039B2 (en) * | 2018-06-19 | 2021-03-02 | Intel Corporation | Multi-tenant edge cloud system power management |
US11226667B2 (en) | 2018-07-12 | 2022-01-18 | Wiliot Ltd. | Microcontroller operable in a battery-less wireless device |
US11366753B2 (en) * | 2018-07-31 | 2022-06-21 | Marvell Asia Pte Ltd | Controlling performance of a solid state drive |
EP3608779B1 (en) * | 2018-08-09 | 2024-04-03 | Bayerische Motoren Werke Aktiengesellschaft | Method for processing a predetermined computing task by means of a distributed, vehicle-based computing system as well as computing system, server device, and motor vehicle |
US11031787B2 (en) | 2018-09-14 | 2021-06-08 | Lancium Llc | System of critical datacenters and behind-the-meter flexible datacenters |
US11853800B2 (en) | 2018-11-19 | 2023-12-26 | Alibaba Group Holding Limited | Power management method |
US11128165B2 (en) | 2019-02-25 | 2021-09-21 | Lancium Llc | Behind-the-meter charging station with availability notification |
CA3139776A1 (en) | 2019-05-15 | 2020-11-19 | Upstream Data Inc. | Portable blockchain mining system and methods of use |
US11073888B2 (en) * | 2019-05-31 | 2021-07-27 | Advanced Micro Devices, Inc. | Platform power manager for rack level power and thermal constraints |
US11314558B2 (en) * | 2019-07-23 | 2022-04-26 | Netapp, Inc. | Methods for dynamic throttling to satisfy minimum throughput service level objectives and devices thereof |
US11809252B2 (en) * | 2019-07-29 | 2023-11-07 | Intel Corporation | Priority-based battery allocation for resources during power outage |
US11397999B2 (en) | 2019-08-01 | 2022-07-26 | Lancium Llc | Modifying computing system operations based on cost and power conditions |
US11868106B2 (en) | 2019-08-01 | 2024-01-09 | Lancium Llc | Granular power ramping |
US11016458B2 (en) | 2019-10-28 | 2021-05-25 | Lancium Llc | Methods and systems for adjusting power consumption based on dynamic power option agreement |
CN110958389B (zh) | 2019-12-05 | 2021-12-14 | 浙江大华技术股份有限公司 | 一种摄像机的负载启动方法、设备、装置及存储介质 |
US11042948B1 (en) | 2020-02-27 | 2021-06-22 | Lancium Llc | Computing component arrangement based on ramping capabilities |
JP7367565B2 (ja) * | 2020-03-03 | 2023-10-24 | 富士通株式会社 | 電力制御装置および電力制御プログラム |
US11307627B2 (en) * | 2020-04-30 | 2022-04-19 | Hewlett Packard Enterprise Development Lp | Systems and methods for reducing stranded power capacity |
US20210397476A1 (en) * | 2020-06-18 | 2021-12-23 | International Business Machines Corporation | Power-performance based system management |
WO2022036239A1 (en) | 2020-08-14 | 2022-02-17 | Lancium Llc | Power aware scheduling |
KR102176028B1 (ko) * | 2020-08-24 | 2020-11-09 | (주)에오스와이텍 | 실시간 통합 모니터링 시스템 및 그 방법 |
KR102432007B1 (ko) * | 2020-10-08 | 2022-08-12 | 인하대학교 산학협력단 | 모바일 엣지 컴퓨팅에서 엣지 서버 한도 전력 하에서 보상을 최대화하는 작업 오프로딩 |
GB2601509A (en) * | 2020-12-02 | 2022-06-08 | British Telecomm | Computer orchestration |
US20220229485A1 (en) * | 2021-01-19 | 2022-07-21 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Power management method and system |
US20220342469A1 (en) * | 2021-04-23 | 2022-10-27 | Hewlett-Packard Development Company, L.P. | Power budget profiles of computing devices |
CN113434034B (zh) * | 2021-07-08 | 2023-04-18 | 北京华恒盛世科技有限公司 | 利用深度学习调整计算任务cpu频率的大型集群节能方法 |
EP4137913A1 (en) * | 2021-08-17 | 2023-02-22 | Axis AB | Power management in processing circuitry which implements a neural network |
KR20230036589A (ko) * | 2021-09-06 | 2023-03-15 | 삼성전자주식회사 | 시스템-온-칩 및 그의 동작 방법 |
KR102458919B1 (ko) * | 2021-11-15 | 2022-10-26 | 삼성전자주식회사 | 적응적인 파워 조절을 수행하는 메모리 컨트롤러, 이를 포함하는 메모리 시스템 및 메모리 시스템의 동작방법 |
US12086428B2 (en) | 2021-11-15 | 2024-09-10 | Samsung Electronics Co., Ltd. | Memory controller adjusting power, memory system including same, and operating method for memory system |
US11720256B2 (en) * | 2021-12-15 | 2023-08-08 | Dell Products L.P. | Maximizing power savings using IO monitoring |
US12105576B2 (en) * | 2022-01-21 | 2024-10-01 | Dell Products L.P. | Method and system for optimizing power for a computer vision environment |
US12007734B2 (en) | 2022-09-23 | 2024-06-11 | Oracle International Corporation | Datacenter level power management with reactive power capping |
US11972267B2 (en) * | 2022-10-04 | 2024-04-30 | International Business Machines Corporation | Hibernation of computing device with faulty batteries |
US20240154418A1 (en) * | 2022-11-08 | 2024-05-09 | Oracle International Corporation | Techniques for orchestrated load shedding |
US11714688B1 (en) * | 2022-11-17 | 2023-08-01 | Accenture Global Solutions Limited | Sustainability-based computing resource allocation |
US11863388B1 (en) * | 2023-03-31 | 2024-01-02 | Cisco Technology, Inc. | Energy-aware traffic forwarding and loop avoidance |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685808A (zh) * | 2012-05-18 | 2012-09-19 | 电子科技大学 | 一种基于功率控制的分布式聚簇方法 |
CN102959489A (zh) * | 2010-06-29 | 2013-03-06 | 英特尔公司 | 借助经校准的权重和活动计数器的存储器功率估计 |
WO2014053610A1 (en) * | 2012-10-03 | 2014-04-10 | Imperial Innovations Limited | Frequency estimation |
Family Cites Families (113)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2264794B (en) | 1992-03-06 | 1995-09-20 | Intel Corp | Method and apparatus for automatic power management in a high integration floppy disk controller |
US5483656A (en) | 1993-01-14 | 1996-01-09 | Apple Computer, Inc. | System for managing power consumption of devices coupled to a common bus |
US5598537A (en) | 1994-03-25 | 1997-01-28 | Advanced Micro Devices, Inc. | Apparatus and method for driving a bus to a docking safe state in a dockable computer system including a docking station and a portable computer |
US5752050A (en) | 1994-10-04 | 1998-05-12 | Intel Corporation | Method and apparatus for managing power consumption of external devices for personal computers using a power management coordinator |
US5784628A (en) | 1996-03-12 | 1998-07-21 | Microsoft Corporation | Method and system for controlling power consumption in a computer system |
KR100285949B1 (ko) | 1996-12-12 | 2001-04-16 | 윤종용 | 배터리 충전회로 |
US6125450A (en) | 1996-12-19 | 2000-09-26 | Intel Corporation | Stop clock throttling in a computer processor through disabling bus masters |
US5905900A (en) | 1997-04-30 | 1999-05-18 | International Business Machines Corporation | Mobile client computer and power management architecture |
JP2001109729A (ja) | 1999-10-12 | 2001-04-20 | Nec Corp | マルチプロセッサシステムにおける消費電力制御装置および方法 |
US20020194251A1 (en) * | 2000-03-03 | 2002-12-19 | Richter Roger K. | Systems and methods for resource usage accounting in information management environments |
US6760852B1 (en) | 2000-08-31 | 2004-07-06 | Advanced Micro Devices, Inc. | System and method for monitoring and controlling a power-manageable resource based upon activities of a plurality of devices |
US7143300B2 (en) | 2001-07-25 | 2006-11-28 | Hewlett-Packard Development Company, L.P. | Automated power management system for a network of computers |
CA2455079A1 (en) * | 2001-08-06 | 2003-02-20 | Mercury Interactive Corporation | System and method for automated analysis of load testing results |
US6839854B2 (en) | 2001-08-27 | 2005-01-04 | Intel Corporation | Voltage regulation for computer system components that increases voltage level when a component enters a sleep state as indicated by a power state status signal |
US7111179B1 (en) | 2001-10-11 | 2006-09-19 | In-Hand Electronics, Inc. | Method and apparatus for optimizing performance and battery life of electronic devices based on system and application parameters |
EP1320217B1 (en) | 2001-12-14 | 2004-10-13 | Hewlett-Packard Company, A Delaware Corporation | Method of installing monitoring agents, system and computer program for monitoring objects in an IT network |
US20030163745A1 (en) | 2002-02-27 | 2003-08-28 | Kardach James P. | Method to reduce power in a computer system with bus master devices |
US7028200B2 (en) | 2002-05-15 | 2006-04-11 | Broadcom Corporation | Method and apparatus for adaptive power management of memory subsystem |
GB0211764D0 (en) | 2002-05-22 | 2002-07-03 | 3Com Corp | Automatic power saving facility for network devices |
US7093146B2 (en) | 2002-07-31 | 2006-08-15 | Hewlett-Packard Development Company, L.P. | Power management state distribution using an interconnect |
US7403511B2 (en) | 2002-08-02 | 2008-07-22 | Texas Instruments Incorporated | Low power packet detector for low power WLAN devices |
US6971033B2 (en) | 2003-01-10 | 2005-11-29 | Broadcom Corporation | Method and apparatus for improving bus master performance |
US7418517B2 (en) | 2003-01-30 | 2008-08-26 | Newisys, Inc. | Methods and apparatus for distributing system management signals |
EP1480378A1 (en) * | 2003-05-23 | 2004-11-24 | Alcatel | Method for setting up a generic protocol relationship between network elements in a telecom network |
US6965776B2 (en) | 2003-11-21 | 2005-11-15 | Motorola, Inc. | Portable communication device and network and methods therefore |
US20050136961A1 (en) | 2003-12-17 | 2005-06-23 | Telefonaktiebolaget Lm Ericsson (Publ), | Power control method |
US7363517B2 (en) | 2003-12-19 | 2008-04-22 | Intel Corporation | Methods and apparatus to manage system power and performance |
US7406691B2 (en) | 2004-01-13 | 2008-07-29 | International Business Machines Corporation | Minimizing complex decisions to allocate additional resources to a job submitted to a grid environment |
US7272741B2 (en) | 2004-06-02 | 2007-09-18 | Intel Corporation | Hardware coordination of power management activities |
US7418608B2 (en) | 2004-06-17 | 2008-08-26 | Intel Corporation | Method and an apparatus for managing power consumption of a server |
US7908313B2 (en) | 2004-07-21 | 2011-03-15 | The Mathworks, Inc. | Instrument-based distributed computing systems |
US7386739B2 (en) | 2005-05-03 | 2008-06-10 | International Business Machines Corporation | Scheduling processor voltages and frequencies based on performance prediction and power constraints |
US7444526B2 (en) | 2005-06-16 | 2008-10-28 | International Business Machines Corporation | Performance conserving method for reducing power consumption in a server system |
US7475262B2 (en) | 2005-06-29 | 2009-01-06 | Intel Corporation | Processor power management associated with workloads |
US7562234B2 (en) * | 2005-08-25 | 2009-07-14 | Apple Inc. | Methods and apparatuses for dynamic power control |
US7861068B2 (en) | 2006-03-07 | 2010-12-28 | Intel Corporation | Method and apparatus for using dynamic workload characteristics to control CPU frequency and voltage scaling |
US20070220293A1 (en) | 2006-03-16 | 2007-09-20 | Toshiba America Electronic Components | Systems and methods for managing power consumption in data processors using execution mode selection |
US8190682B2 (en) | 2006-03-31 | 2012-05-29 | Amazon Technologies, Inc. | Managing execution of programs by multiple computing systems |
US7539881B2 (en) | 2006-04-15 | 2009-05-26 | Hewlett-Packard Development Company, L.P. | System and method for dynamically adjusting power caps for electronic components based on power consumption |
US7555666B2 (en) | 2006-05-04 | 2009-06-30 | Dell Products L.P. | Power profiling application for managing power allocation in an information handling system |
US7827738B2 (en) * | 2006-08-26 | 2010-11-09 | Alexander Abrams | System for modular building construction |
US7694160B2 (en) * | 2006-08-31 | 2010-04-06 | Ati Technologies Ulc | Method and apparatus for optimizing power consumption in a multiprocessor environment |
BRPI0717019A8 (pt) * | 2006-09-22 | 2015-10-06 | Koninklijke Philips Electronics Nv | Método para efetuar seleção de característica baseada em algoritmo genético |
US8370929B1 (en) * | 2006-09-28 | 2013-02-05 | Whitehat Security, Inc. | Automatic response culling for web application security scan spidering process |
US8055343B2 (en) | 2006-10-20 | 2011-11-08 | Cardiac Pacemakers, Inc. | Dynamic battery management in an implantable device |
US7844838B2 (en) | 2006-10-30 | 2010-11-30 | Hewlett-Packard Development Company, L.P. | Inter-die power manager and power management method |
US7793126B2 (en) | 2007-01-19 | 2010-09-07 | Microsoft Corporation | Using priorities and power usage to allocate power budget |
JP4370336B2 (ja) | 2007-03-09 | 2009-11-25 | 株式会社日立製作所 | 低消費電力ジョブ管理方法及び計算機システム |
US7941681B2 (en) | 2007-08-17 | 2011-05-10 | International Business Machines Corporation | Proactive power management in a parallel computer |
JP5029823B2 (ja) * | 2007-09-06 | 2012-09-19 | コニカミノルタビジネステクノロジーズ株式会社 | 画像形成装置、消費電力管理システム、消費電力管理方法およびプログラム |
JP4935595B2 (ja) | 2007-09-21 | 2012-05-23 | 富士通株式会社 | ジョブ管理方法、ジョブ管理装置およびジョブ管理プログラム |
CN101419495B (zh) * | 2007-10-22 | 2012-05-30 | 国际商业机器公司 | 降低计算机系统中i/o功率的方法和装置,以及计算机系统 |
US8046600B2 (en) | 2007-10-29 | 2011-10-25 | Microsoft Corporation | Collaborative power sharing between computing devices |
WO2009056371A1 (en) * | 2007-10-31 | 2009-05-07 | International Business Machines Corporation | Method, system and computer program for distributing a plurality of jobs to a plurality of computers |
US8041521B2 (en) | 2007-11-28 | 2011-10-18 | International Business Machines Corporation | Estimating power consumption of computing components configured in a computing system |
US7971084B2 (en) * | 2007-12-28 | 2011-06-28 | Intel Corporation | Power management in electronic systems |
US8595516B2 (en) | 2008-01-03 | 2013-11-26 | Broadcom Corporation | System and method for global power management in a power over ethernet chassis |
US8793786B2 (en) * | 2008-02-08 | 2014-07-29 | Microsoft Corporation | User indicator signifying a secure mode |
US8001403B2 (en) | 2008-03-14 | 2011-08-16 | Microsoft Corporation | Data center power management utilizing a power policy and a load factor |
US8301742B2 (en) | 2008-04-07 | 2012-10-30 | International Business Machines Corporation | Systems and methods for coordinated management of power usage and runtime performance in performance-managed computing environments |
KR20110007205A (ko) | 2008-04-21 | 2011-01-21 | 어댑티브 컴퓨팅 엔터프라이즈 인코포레이티드 | 컴퓨트 환경에서 에너지 소비를 관리하기 위한 시스템 및 방법 |
US9405348B2 (en) | 2008-04-21 | 2016-08-02 | Adaptive Computing Enterprises, Inc | System and method for managing energy consumption in a compute environment |
US7756652B2 (en) * | 2008-04-24 | 2010-07-13 | Oracle America, Inc. | Estimating a power utilization of a computer system |
US8296773B2 (en) * | 2008-06-30 | 2012-10-23 | International Business Machines Corporation | Systems and methods for thread assignment and core turn-off for integrated circuit energy efficiency and high-performance |
US8255709B2 (en) * | 2009-02-06 | 2012-08-28 | Hewlett-Packard Development Company, L.P. | Power budgeting for a group of computer systems using utilization feedback for manageable components |
US8365175B2 (en) * | 2009-03-10 | 2013-01-29 | International Business Machines Corporation | Power management using dynamic application scheduling |
US8589931B2 (en) | 2009-03-18 | 2013-11-19 | International Business Machines Corporation | Environment based node selection for work scheduling in a parallel computing system |
US9015726B2 (en) * | 2009-04-03 | 2015-04-21 | International Business Machines Corporation | Scheduling jobs of a multi-node computer system based on environmental impact |
WO2010138031A1 (en) * | 2009-05-26 | 2010-12-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and scheduler in an operating system |
US8904394B2 (en) | 2009-06-04 | 2014-12-02 | International Business Machines Corporation | System and method for controlling heat dissipation through service level agreement analysis by modifying scheduled processing jobs |
US8276012B2 (en) | 2009-06-30 | 2012-09-25 | International Business Machines Corporation | Priority-based power capping in data processing systems |
JP2011013764A (ja) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | 消費電力管理方法、消費電力管理システムおよびプログラム |
US8589709B2 (en) | 2009-07-23 | 2013-11-19 | Carnegie Mellon University | Systems and methods for managing power consumption and performance of a processor |
US8443209B2 (en) | 2009-07-24 | 2013-05-14 | Advanced Micro Devices, Inc. | Throttling computational units according to performance sensitivity |
CN101694631B (zh) * | 2009-09-30 | 2016-10-05 | 曙光信息产业(北京)有限公司 | 实时作业调度系统及方法 |
US8224993B1 (en) | 2009-12-07 | 2012-07-17 | Amazon Technologies, Inc. | Managing power consumption in a data center |
US8336056B1 (en) | 2009-12-22 | 2012-12-18 | Gadir Omar M A | Multi-threaded system for data management |
US8341441B2 (en) | 2009-12-24 | 2012-12-25 | International Business Machines Corporation | Reducing energy consumption in a cloud computing environment |
US8429433B2 (en) | 2010-01-15 | 2013-04-23 | International Business Machines Corporation | Dynamically adjusting an operating state of a data processing system running under a power cap |
US8627123B2 (en) * | 2010-03-25 | 2014-01-07 | Microsoft Corporation | Managing power provisioning in distributed computing |
US9052895B2 (en) | 2010-04-07 | 2015-06-09 | International Business Machines | Power budget allocation in multi-processor systems |
US8612984B2 (en) | 2010-04-28 | 2013-12-17 | International Business Machines Corporation | Energy-aware job scheduling for cluster environments |
US8589932B2 (en) | 2010-07-02 | 2013-11-19 | International Business Machines Corporation | Data processing workload control |
US8464080B2 (en) | 2010-08-25 | 2013-06-11 | International Business Machines Corporation | Managing server power consumption in a data center |
US8694810B2 (en) | 2010-09-22 | 2014-04-08 | International Business Machines Corporation | Server power management with automatically-expiring server power allocations |
US8627322B2 (en) * | 2010-10-29 | 2014-01-07 | Google Inc. | System and method of active risk management to reduce job de-scheduling probability in computer clusters |
US8868936B2 (en) * | 2010-11-29 | 2014-10-21 | Cisco Technology, Inc. | Dynamic power balancing among blade servers in a chassis |
KR20120072224A (ko) | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 전력 획득 예측에 기반한 센서 노드의 전원 제어 장치 및 방법 |
US8645733B2 (en) | 2011-05-13 | 2014-02-04 | Microsoft Corporation | Virtualized application power budgeting |
US8904209B2 (en) | 2011-11-14 | 2014-12-02 | Microsoft Corporation | Estimating and managing power consumption of computing devices using power models |
WO2013076775A1 (ja) * | 2011-11-24 | 2013-05-30 | 株式会社日立製作所 | 計算機システム、分割ジョブ処理方法及びプログラム |
CN103136055B (zh) | 2011-11-25 | 2016-08-03 | 国际商业机器公司 | 用于在数据库服务中控制对计算资源的使用的方法和装置 |
US8689220B2 (en) * | 2011-11-30 | 2014-04-01 | International Business Machines Corporation | Job scheduling to balance energy consumption and schedule performance |
US9218035B2 (en) | 2012-02-10 | 2015-12-22 | University Of Florida Research Foundation, Inc. | Renewable energy control systems and methods |
US9262232B2 (en) | 2012-02-29 | 2016-02-16 | Red Hat, Inc. | Priority build execution in a continuous integration system |
CN104246705B (zh) | 2012-05-14 | 2019-10-11 | 英特尔公司 | 一种用于管理计算系统操作的方法、系统、介质及装置 |
WO2013172843A1 (en) | 2012-05-17 | 2013-11-21 | Intel Corporation | Managing power consumption and performance of computing systems |
US8843773B2 (en) | 2012-06-13 | 2014-09-23 | Cisco Technology, Inc. | System and method for automated service profile placement in a network environment |
US9342376B2 (en) * | 2012-06-27 | 2016-05-17 | Intel Corporation | Method, system, and device for dynamic energy efficient job scheduling in a cloud computing environment |
CN102819460B (zh) * | 2012-08-07 | 2015-05-20 | 清华大学 | 一种基于预算功率指导的高能效gpu集群系统调度方法 |
JP5787365B2 (ja) * | 2012-09-18 | 2015-09-30 | Necフィールディング株式会社 | 電力制御装置、電力制御システム、電力制御方法及びプログラム |
US8939654B2 (en) | 2012-09-27 | 2015-01-27 | Adc Telecommunications, Inc. | Ruggedized multi-fiber fiber optic connector with sealed dust cap |
US20140137121A1 (en) | 2012-10-05 | 2014-05-15 | Hitachi, Ltd. | Job management system and job control method |
US20140114107A1 (en) | 2012-10-24 | 2014-04-24 | Lummus Technology Inc. | Use of hydrocarbon diluents to enhance conversion in a dehydrogenation process at low steam/oil ratios |
US9727110B2 (en) | 2012-11-07 | 2017-08-08 | Dell Products L.P. | Optimized power over ethernet power distribution system |
US9250858B2 (en) * | 2013-02-20 | 2016-02-02 | International Business Machines Corporation | Dual-buffer serialization and consumption of variable-length data records produced by multiple parallel threads |
US9009677B2 (en) * | 2013-03-18 | 2015-04-14 | Microsoft Technology Licensing, Llc | Application testing and analysis |
US9329910B2 (en) | 2013-06-20 | 2016-05-03 | Seagate Technology Llc | Distributed power delivery |
US9335751B1 (en) * | 2013-08-28 | 2016-05-10 | Google Inc. | Dynamic performance based cooling control for cluster processing devices |
JP6201530B2 (ja) * | 2013-08-30 | 2017-09-27 | 富士通株式会社 | 情報処理システム、ジョブ管理装置、ジョブ管理装置の制御プログラム、及び、情報処理システムの制御方法 |
US9753520B2 (en) | 2013-12-23 | 2017-09-05 | Dell Products, L.P. | Predictive power capping and power allocation to computing nodes in a rack-based information handling system |
US9189273B2 (en) | 2014-02-28 | 2015-11-17 | Lenovo Enterprise Solutions PTE. LTD. | Performance-aware job scheduling under power constraints |
US9336106B2 (en) * | 2014-04-17 | 2016-05-10 | Cisco Technology, Inc. | Dynamically limiting bios post for effective power management |
-
2014
- 2014-12-24 US US14/582,783 patent/US10712796B2/en active Active
- 2014-12-24 US US14/582,764 patent/US9921633B2/en active Active
- 2014-12-24 US US14/582,743 patent/US20160054779A1/en not_active Abandoned
- 2014-12-24 US US14/582,795 patent/US9575536B2/en active Active
- 2014-12-24 US US14/582,756 patent/US9927857B2/en active Active
- 2014-12-24 US US14/582,772 patent/US10289183B2/en active Active
-
2015
- 2015-06-17 EP EP15833962.2A patent/EP3183654A4/en active Pending
- 2015-06-17 KR KR1020177002070A patent/KR102213555B1/ko active IP Right Grant
- 2015-06-17 JP JP2017510501A patent/JP6701175B2/ja active Active
- 2015-06-17 CN CN201580040949.7A patent/CN106537348B/zh active Active
- 2015-06-17 WO PCT/US2015/036294 patent/WO2016028371A1/en active Application Filing
- 2015-06-18 CN CN201580040030.8A patent/CN107003706B/zh active Active
- 2015-06-18 JP JP2017510311A patent/JP6386165B2/ja active Active
- 2015-06-18 EP EP15834071.1A patent/EP3183629B1/en active Active
- 2015-06-18 EP EP15833856.6A patent/EP3183628A4/en not_active Withdrawn
- 2015-06-18 CN CN201911128004.7A patent/CN111176419B/zh active Active
- 2015-06-18 WO PCT/US2015/036403 patent/WO2016028374A1/en active Application Filing
- 2015-06-18 WO PCT/US2015/036435 patent/WO2016028375A1/en active Application Filing
- 2015-06-18 EP EP22154366.3A patent/EP4016248A1/en active Pending
- 2015-06-18 CN CN201580040005.XA patent/CN106537287B/zh active Active
- 2015-06-18 EP EP19208324.4A patent/EP3627285A1/en not_active Ceased
- 2015-06-18 KR KR1020177002008A patent/KR102207050B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102959489A (zh) * | 2010-06-29 | 2013-03-06 | 英特尔公司 | 借助经校准的权重和活动计数器的存储器功率估计 |
CN102685808A (zh) * | 2012-05-18 | 2012-09-19 | 电子科技大学 | 一种基于功率控制的分布式聚簇方法 |
WO2014053610A1 (en) * | 2012-10-03 | 2014-04-10 | Imperial Innovations Limited | Frequency estimation |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106537287B (zh) | 估计在分布式计算机系统的多个节点上运行的作业的功率性能的方法和装置 | |
US8365175B2 (en) | Power management using dynamic application scheduling | |
US9971391B2 (en) | Method to assess energy efficiency of HPC system operated with and without power constraints | |
US9875135B2 (en) | Utility-optimized scheduling of time-sensitive tasks in a resource-constrained environment | |
US8689220B2 (en) | Job scheduling to balance energy consumption and schedule performance | |
US9037880B2 (en) | Method and system for automated application layer power management solution for serverside applications | |
Ran et al. | Dynamic IaaS computing resource provisioning strategy with QoS constraint | |
US20160188365A1 (en) | Computational unit selection | |
US20140137122A1 (en) | Modified backfill scheduler and a method employing frequency control to reduce peak cluster power requirements | |
Yang et al. | Dynamic cluster reconfiguration for energy conservation in computation intensive service | |
Tsenos et al. | Energy efficient scheduling for serverless systems | |
Iturriaga et al. | An empirical study of the robustness of energy-aware schedulers for high performance computing systems under uncertainty | |
Kumar et al. | COOLIP: Simple yet effective job allocation for distributed thermally-throttled processors | |
EP2437169A1 (en) | Job scheduling timing apparatus and job scheduling timing method | |
Khemka et al. | Comparison of energy-constrained resource allocation heuristics under different task management environments | |
Gregory | Energy Aware Resource Management for MapReduce Jobs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |