CN112015259B - 控制峰值功耗的方法及系统 - Google Patents

控制峰值功耗的方法及系统 Download PDF

Info

Publication number
CN112015259B
CN112015259B CN201910457063.2A CN201910457063A CN112015259B CN 112015259 B CN112015259 B CN 112015259B CN 201910457063 A CN201910457063 A CN 201910457063A CN 112015259 B CN112015259 B CN 112015259B
Authority
CN
China
Prior art keywords
power consumption
load
module
controlled
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910457063.2A
Other languages
English (en)
Other versions
CN112015259A (zh
Inventor
张慧明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verisilicon Holdings Co ltd
VeriSilicon Microelectronics Shanghai Co Ltd
Original Assignee
Verisilicon Holdings Co ltd
VeriSilicon Microelectronics Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verisilicon Holdings Co ltd, VeriSilicon Microelectronics Shanghai Co Ltd filed Critical Verisilicon Holdings Co ltd
Priority to CN201910457063.2A priority Critical patent/CN112015259B/zh
Priority to US17/263,901 priority patent/US20220342474A1/en
Priority to KR1020217030998A priority patent/KR20210134355A/ko
Priority to PCT/CN2019/122382 priority patent/WO2020238121A1/zh
Priority to EP19930416.3A priority patent/EP3816769A4/en
Priority to JP2021570476A priority patent/JP7304972B2/ja
Publication of CN112015259A publication Critical patent/CN112015259A/zh
Application granted granted Critical
Publication of CN112015259B publication Critical patent/CN112015259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Sources (AREA)

Abstract

本发明提供一种控制峰值功耗的方法及系统，通过实时监控负载情况来动态控制频率，进而降低功耗，在控制峰值功耗的同时提供足够的计算性能。本发明的控制峰值功耗的方法及系统实时监控负载情况，通过动态智能控制工作频率来降低功耗，达到性能和功耗的平衡点，使得峰值功耗不超出负载阈值的情况下工作在最高频率，在实现功耗控制的前提下有效提高工作效率。

Description

控制峰值功耗的方法及系统
技术领域
本发明涉及功耗控制，特别是涉及一种控制峰值功耗的方法及系统。
背景技术
随着人工智能(Artificial Intelligence，AI)以及物联网(Internet ofThings，IoT)技术的蓬勃发展，对AI运算能力的要求越来越大，随着算力的加大，功耗控制变成了AI芯片至关重要的一个组成部分。如何在提供强大计算能力的同时，将功耗控制在电源设计阈值范围以内，已经成为芯片设计的必须解决的问题之一，平衡芯片计算能力和动态功耗也是芯片竞争力的集中表现。
传统的功耗控制方法采用调频调压算法，其中一种调频调压算法是静态调频和调压的方式，通过中央处理器改变电压和频率的控制寄存器的值来达到控制频率的电压的目的。在AI芯片中，中央处理器的负载较大，主要用于处理卷积网络的流程控制和数据同步。对电压和频率的控制存在很大延迟，控制效果具有很大的滞后性。在单核处理器情况下，通过中断机制所完成的任务之间的切换一般需要1～2毫秒。时间延迟会造成频率和电压控制滞后，如果是从较高频率向较低频率调整，调整滞后会导致过多的功耗消耗。如果是从较低频率向较高频率调整，调整滞后会导致性能下降，在应用中会出现卡顿的现象，不能达到性能和功耗的平衡点。另外，通过中央处理器来控制频率和电压，会导致中央处理器在频繁的任务切换中主要处理任务的性能下降；中央处理器也会消耗更多功耗。
另一种调频调压算法是利用专用的微处理器来控制频率和电压，这种方式是现在AI芯片系统中常用的方法之一。专用的微处理器只服务于功耗和电压控制的进程，对控制寄存器的响应时间可以提高5～10倍。但是这种方法需要额外的微处理器硬件资源，是芯片面积的巨大浪费，一般普遍采用的微处理器，在28nm工艺下，面积也在0.5～1平方毫米。这是很大的芯片面积和成本开销。微处理器处于永远工作状态，也是很大的功耗开销。
因此，如何在不增加面积开销、成本开销及功耗开销的情况下实现功耗控制，已成为本领域技术人员亟待解决的问题之一。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种控制峰值功耗的方法及系统，用于解决现有技术中功耗控制不能兼顾面积开销、成本开销及功耗开销的问题。
为实现上述目的及其他相关目的，本发明提供一种控制峰值功耗的方法，所述控制峰值功耗的方法至少包括：
监测当前功耗统计周期内待控制模块的负载，当前功耗统计周期内各监测窗口的负载均大于负载阈值时，所述待控制模块进入最低峰值功耗状态，并基于最低峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟；
当前功耗统计周期内各监测窗口的负载均小于所述负载阈值，且均大于负载下限时，若当前功耗负载处于正常功耗状态则保持原有功耗状态，频率等级不变；若当前峰值功耗状态低于正常功耗状态则所述待控制模块进入上一级峰值功耗状态，频率等级上升一级，并基于上一级峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟，增大所述待控制模块的负载；
当前功耗统计周期内各监测窗口的负载不均小于所述负载阈值或不均大于所述负载阈值时，保持原有功耗状态，频率等级不变，所述待控制模块的负载不变；
继续监测后续各功耗统计周期内所述待控制模块的负载，并在各功耗统计周期内基于负载状况调整所述待控制模块的工作时钟的频率，使得所述待控制模块的峰值功耗不超出负载阈值的情况下工作在最高频率。
可选地，所述待控制模块包括多个负载单元时，所述待控制模块的负载为各负载单元的负载权重与实际负载乘积的和。
可选地，所述控制峰值功耗的方法包括n个功耗状态，功耗状态上升一级所述待控制模块的负载增大所述负载阈值的1/n倍，n为正整数。
可选地，各功耗统计周期均包括k个监测窗口，在当前功耗统计周期中去除第1个监测窗口并加入第k+1个监测窗口以得到下一功耗统计周期，其中k为不小于3的正整数。
更可选地，所述控制峰值功耗的方法还包括：当前功耗统计周期内各监测窗口的负载均低于所述负载下限时，所述工作时钟的频率在当前功耗状态对应的频率等级中下降一个频段。
更可选地，当所述待控制模块进入空闲状态时，所述工作时钟的频率降低至最低频率。
可选地，所述控制峰值功耗的方法用于AI芯片的功耗控制。
为实现上述目的及其他相关目的，本发明还提供一种控制峰值功耗的系统，基于上述控制峰值功耗的方法，所述控制峰值功耗的系统至少包括：
待控制模块，包括多个负载单元；
全局控制模块，连接所述待控制模块及所述负载信息统计模块，为所述待控制模块提供控制信号及各负载单元的负载权重信息，并基于所述待控制模块的工作状态获取负载阈值；
负载信息统计模块，连接所述全局控制模块及所述待控制模块，监控所述待控制模块中各负载单元的负载信息，并基于所述全局控制模块中各负载单元的负载权重信息，计算所述待控制模块的负载；
调频调压控制模块，连接所述负载信息统计模块，基于所述待控制模块的负载调整所述待控制模块的功耗状态；
时钟控制模块，连接于所述调频调压控制模块与所述待控制模块之间，基于所述调频调压控制模块输出信号产生相应频率的时钟信号，并控制所述待控制模块基于所述时钟信号工作。
可选地，所述控制峰值功耗的系统应用于AI芯片中。
更可选地，所述待控制模块包括可编程运算单元，神经网络加速器或张量处理器。
可选地，所述调频调压控制模块包括比较单元及多个功耗状态控制单元；所述比较单元将各功耗统计周期内所述待控制模块的负载与所述负载阈值进行比较；各功耗状态控制单元基于所述比较单元输出的比较结果控制所述待控制模块进入相应的功耗状态。
可选地，所述时钟控制模块包括数字分频单元。
如上所述，本发明的控制峰值功耗的方法及系统，具有以下有益效果：
本发明的控制峰值功耗的方法及系统实时监控负载情况，通过动态智能控制工作频率来降低功耗，达到性能和功耗的平衡点，使得峰值功耗不超出负载阈值的情况下工作在最高频率，在实现功耗控制的前提下有效提高工作效率。
附图说明
图1显示为本发明的控制峰值功耗的方法流程示意图。
图2显示为本发明的控制峰值功耗的系统的结构示意图。
图3显示为本发明的时钟控制模块的分频原理示意图。
元件标号说明
1 控制峰值功耗的系统
11 待控制模块
12 全局控制模块
13 负载信息统计模块
14 调频调压控制模块
141 比较单元
142～144 第一～第三功耗状态控制单元
15 时钟控制模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1～图3。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本发明提供一种控制峰值功耗的方法，所述控制峰值功耗的方法包括：
1)监测当前功耗统计周期内待控制模块的负载，并将当前功耗统计周期内的负载与负载阈值进行比较。
具体地，在本实施例中，所述待控制模块为AI芯片的计算单元，在实际使用中，任意需要进行功耗控制的模块均适用于本发明的所述待控制模块，不以本实施例为限。
具体地，根据不同应用场景分析得到正常工作状态下所述待控制模块的负载情况，并设定所述负载阈值，不同应用场景下所述待控制模块的工作状态不同，负载阈值也不相同，可根据需要进行设定。
具体地，当所述待控制模块为单个负载单元时，所述待控制模块的负载即为所述待控制模块的实际负载；当所述待控制模块为多个(2个及以上)负载单元时，所述待控制模块的负载为各负载单元的负载权重与实际负载乘积的和。
具体地，各功耗统计周期均包括k个监测窗口，将所述待控制模块11在各监测窗口的负载均与所述负载阈值进行比较，并以功耗统计周期为整体得出比较结果。各功耗统计周期的监测窗口采取加权控制，即在当前功耗统计周期中去除第1个监测窗口并加入第k+1个监测窗口以得到下一功耗统计周期的各监测窗口(以时间为顺序，将最早的监测窗口去除加入最新的监测窗口)，在本实施例中，k设置为4，以此提高监测的准确性(一般地设置3个监测窗口即可提高监测的准确性)。在实际使用中，各功耗统计周期内监测窗口的数量可根据需要设置，在对准确性要求不高或可确保准确性的前提下，可适当减少各功耗统计周期内监测窗口的数量，不以本实施例为限。
2)当前功耗统计周期内各监测窗口的负载均大于所述负载阈值时，所述待控制模块进入最低峰值功耗状态，频率等级降低为最低等级，并基于最低峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟。
具体地，包括n个功耗状态，在本实施例中，n设定为4，根据频率从小到大依次排列为第一峰值功耗状态、第二峰值功耗状态、第三峰值功耗状态及正常功耗状态；在本实施例中，第一峰值功耗状态、第二峰值功耗状态及第三峰值功耗状态对应的频率等级为正常功耗状态对应频率的各分频信号。
具体地，若当前功耗统计周期内各监测窗口的负载均大于负载阈值，则无论所述待控制模块当前处于功耗状态，均调整为第一峰值功耗状态，并基于所述第一峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟。
3)当前功耗统计周期内各监测窗口的负载均小于所述负载阈值，且均大于负载下限时，若当前功耗负载处于正常功耗状态则保持原有功耗状态，频率等级不变；若当前功耗负载状态低于正常功耗状态则所述待控制模块进入上一级峰值功耗状态，频率等级上升一级，并基于上一级峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟，增大所述待控制模块的负载。
具体地，若当前功耗统计周期内各监测窗口的负载均小于负载阈值，且均大于所述负载下限，则在当前功耗负载处于正常功耗状态时保持正常功耗状态不变。
具体地，若当前功耗统计周期内各监测窗口的负载均小于负载阈值，且均大于所述负载下限，则在当前功耗负载状态处于第一峰值功耗状态、第二峰值功耗状态或第三峰值功耗状态时将所述待控制模块调整为上一级功耗状态，相应的频率等级上升一级，所述待控制模块的负载对应增大；即当前处于第一峰值功耗状态则上升至第二峰值功耗状态，当前处于第二峰值功耗状态则上升至第三峰值功耗状态，当前处于第三峰值功耗状态则上升至正常功耗状态。
作为本发明的一种实现方式，功耗状态上升一级，所述待控制模块的负载增大所述负载阈值1/n倍，在本实施例中，增大1/4的负载阈值。
4)当前功耗统计周期内各监测窗口的负载不均小于所述负载阈值或不均大于所述负载阈值时，保持原有功耗状态，频率等级不变，所述待控制模块的负载不变。
5)继续监测后续各功耗统计周期内所述待控制模块的负载，并在各功耗统计周期内基于负载状况调整所述待控制模块的工作时钟的频率，使得所述待控制模块的峰值功耗不超出负载阈值的情况下工作在最高频率。
6)作为本发明的一种实现方式，所述控制峰值功耗的方法还包括：当前功耗统计周期内各监测窗口的负载均低于所述负载下限时，所述工作时钟的频率在当前功耗状态对应的频率等级中下降一个频段。
具体地，所述待控制模块的负载低于负载下限时，所述待控制模块的负载较低，不需要工作在满频状态。如果当前功耗统计周期内4个监测窗口的负载均低于负载下限，所述待控制模块的频率降到下一个频段，即假设当前频率为正常工作状态下原始频率的12/16，则下降至正常工作状态下原始频率的11/16，本实施例支持最低十六分之一的降频，实际使用中可根据需要设定最低降频的频率。如果下一个功耗统计周期的负载没有低于负载下限，则在当前周期把所述待控制模块的工作频率上调一个频率等级，以保证所述待控制模块有足够的性能。
7)作为本发明的一种实现方式，如果所述待控制模块进入空闲状态，则时钟频率可以自动降到最低频率。
更具体地，下面给出一个具体的实例：
S1：在启动阶段，所述待控制模块以正常功耗状态开始工作；根据一个功耗统计周期内的负载对功耗状态进行更新。
S2：如果在一个功耗统计周期内，所述待控制模块的负载大于负载阈值，则所述待控制模块进入第一峰值功耗状态，即从正常功耗状态进入第一峰值功耗状态，频率降低三个等级；根据下一个功耗统计周期内的负载对功耗状态继续更新。
S3：如果在下一个功耗统计周期内，所述待控制模块的负载大于负载阈值，则所述待控制模块继续保持第一峰值功耗状态；如果所述待控制模块的负载小于负载阈值且大于负载下限，则所述待控制模块进入第二峰值功耗状态，当前负载增加1/4负载阈值，当前前频率提高一个等级；根据下一个功耗统计周期内的负载对功耗状态继续更新。
S4：如果在下一个功耗统计周期内，所述待控制模块的负载大于负载阈值，则所述待控制模块继续保持第二峰值功耗状态；如果所述待控制模块的负载小于负载阈值且大于负载下限，则所述待控制模块进入第三峰值功耗状态，当前负载增加1/4负载阈值，当前前频率提高一个等级；根据下一个功耗统计周期内的负载对功耗状态继续更新。
S5：如果在下一个功耗统计周期内，所述待控制模块的负载大于负载阈值，则所述待控制模块继续保持第三峰值功耗状态；如果所述待控制模块的负载小于负载阈值且大于负载下限，则所述待控制模块进入正常功耗状态，当前负载增加1/4负载阈值，当前频率提高一个等级；负载信息统计模块会根据一个功耗统计周期内的负载对功耗负载状态继续更新。
S6：继续循环步骤S2到步骤S5，保证峰值功耗不超过负载阈值的情况下，所述待控制模块工作的最高的频率上。
本发明通过动态控制AI芯片的电压和频率来降低功耗，同时提供足够的计算性能。
如图2所示，本发明提供一种控制峰值功耗的系统1，所述控制峰值功耗的系统1用于实现所述控制峰值功耗的方法，所述控制峰值功耗的系统1包括：
待控制模块11、全局控制模块12、负载信息统计模块13、调频调压控制模块14ji时钟控制模块15。
如图2所示，所述待控制模块11包括多个负载单元。
具体地，在本实施例中，所述待控制模块11设定为AI芯片的计算单元，各负载单元包括但不限于可编程运算单元，神经网络加速器及张量处理器。
如图2所示，所述全局控制模块12连接所述待控制模块11及所述负载信息统计模块13，为所述待控制模块11提供控制信号及各负载单元的负载权重信息，并基于所述待控制模块11的工作状态获取负载阈值。
具体地，在本实施例中，所述全局控制模块12基于中央处理器(图中未显示)及驱动(图中未显示)提供的控制信息(各控制信息用于确定所述待控制模块11的工作状态)得到负载阈值、各负载单元的负载权重信息和模式控制信息，并将各负载单元的负载权重信息和模式控制信息发送至所述待控制模块11；同时，所述全局控制模块12将所述待控制模块11的负载统计信息反馈给驱动，以便于驱动根据AI芯片内部情况调整控制策略。
如图2所示，所述负载信息统计模块13连接所述全局控制模块12及所述待控制模块11，监控所述待控制模块11中各负载单元的负载信息，并基于所述全局控制模块12中各负载单元的负载权重信息，计算所述待控制模块11的负载。
具体地，所述负载信息统计模块13监控所述待控制模块11各个主要流水线(各负载单元)的负载信息，根据所述全局控制模块12提供的各负载单元的负载权重信息统计汇总各个负载单元贡献的负载，根据每个负载单元对总体性能影响的重要程度和负载单元本身的功耗，按照上一级负载单元的负载权重将所有负载单元的负载信息综合在一起得到整个待控制模块11的负载。在本实施例中，AI芯片的计算单元的主要流水线包括可编程运算单元，神经网络加速器及张量处理器，其中神经网络加速器用来处理神经网络中的卷积运算，张量处理器用来处理神经网络中的其他数学运算，可编程运算单元进行流程控制和辅助计算；从性能角度考虑，神经网络加速器最重要，80％的运算由神经网络加速器来完成，另外15％的运算由张量处理器完成，另外的5％控制和辅助计算由可编程运算单元完成，所以负载信息统计模块13对这三个主要模块的负载系数为80％，15％和5％。假设神经网络加速器本身的功耗为load1，运算由张量处理器本身的功耗为load2，可编程运算单元本身的功耗为load3，则所述待控制模块11的负载为80％*load1+15％*load2+5％*load3。
如图2所示，所述调频调压控制模块14连接所述负载信息统计模块13，基于所述待控制模块11的负载调整所述待控制模块11的功耗状态。
具体地，作为本发明的一种实现方式，所述调频调压控制模块14包括比较单元141及多个功耗状态控制单元，在本实施例中，包括三个功耗状态控制单元，分别为第一功耗状态控制单元142、第二功耗状态控制单元143及第三功耗状态控制单元144。所述比较单元141将各功耗统计周期内所述待控制模块11的负载与所述负载阈值进行比较，在本实施例中，所述功耗统计周期内设置有4个监测窗口。各功耗状态控制单元基于所述比较单元141输出的比较结果控制所述待控制模块11进入相应的功耗状态。各功耗状态的跳变过程及跳变条件参考所述控制峰值功耗的方法，在此不一一赘述。所述调频调压控制模块14还可以对当前最低负载情况进行分析，实现降频操作，在此不一一赘述。
如图2所示，所述时钟控制模块15连接于所述调频调压控制模块14与所述待控制模块11之间，基于所述调频调压控制模块14输出的信号产生相应频率的时钟信号，并控制所述待控制模块11基于所述时钟信号工作。
具体地，如图3所示，在本实施例中，所述时钟控制模块15包括数字分频单元，用于对正常工作状态下原始频率进行16分频，以得到相应频率等级对应的频率及降频频率，在本实施例中，所述第一峰值功耗状态控制单元142、所述第二峰值功耗状态控制单元143及所述第三峰值功耗状态控制单元144对应的频率等级依次增大，分别为正常工作状态下原始频率的1/4，1/2及3/4，在实际使用中可根据需要设定各频率等级控制单元对应的频率。在实际使用中，所述时钟控制模块15可采用等相位分频，不以本实施例为限。
本发明的控制峰值功耗的方法及系统提高了AI芯片中动态功耗的精准控制，在不影响芯片性能的情况下，可以动态控制芯片的频率达到降低峰值功耗的效果；同时也解决了传统功耗控制方式中的CPU占用率问题和面积开销太大的问题。
本发明的控制峰值功耗的方法及系统通过对AI芯片各个模块负载情况的实时监控，进行自动的频率调控；也可以通过外部软件主动控制和内部硬件自动控制相结合的方式进行频率调控和电压调控。
综上所述，本发明提供一种控制峰值功耗的方法及系统，包括：监测当前功耗统计周期内待控制模块的负载，当前功耗统计周期内各监测窗口的负载均大于负载阈值时，所述待控制模块进入最低峰值功耗状态，并基于最低峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟；当前功耗统计周期内各监测窗口的负载均小于所述负载阈值，且均大于负载下限时，若当前功耗负载处于正常功耗状态则保持原有功耗状态，频率等级不变；若当前峰值功耗状态低于正常功耗状态则所述待控制模块进入上一级峰值功耗状态，频率等级上升一级，并基于上一级峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟，增大所述待控制模块的负载；当前功耗统计周期内各监测窗口的负载不均小于所述负载阈值或不均大于所述负载阈值时，保持原有功耗状态，频率等级不变，所述待控制模块的负载不变；继续监测后续各功耗统计周期内所述待控制模块的负载，并在各功耗统计周期内基于负载状况调整所述待控制模块的工作时钟的频率，使得所述待控制模块的峰值功耗不超出负载阈值的情况下工作在最高频率。本发明的控制峰值功耗的方法及系统实时监控负载情况，通过动态智能控制工作频率来降低功耗，达到性能和功耗的平衡点，使得峰值功耗不超出负载阈值的情况下工作在最高频率，在实现功耗控制的前提下有效提高工作效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种控制峰值功耗的方法，其特征在于，所述控制峰值功耗的方法至少包括：
监测当前功耗统计周期内待控制模块的负载，当前功耗统计周期内各监测窗口的负载均大于负载阈值时，所述待控制模块进入最低峰值功耗状态，并基于最低峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟；
当前功耗统计周期内各监测窗口的负载均小于所述负载阈值，且均大于负载下限时，若当前功耗负载处于正常功耗状态则保持原有功耗状态，频率等级不变；若当前峰值功耗状态低于正常功耗状态则所述待控制模块进入上一级峰值功耗状态，频率等级上升一级，并基于上一级峰值功耗状态对应的频率等级控制所述待控制模块的工作时钟，增大所述待控制模块的负载；
当前功耗统计周期内各监测窗口的负载不均小于所述负载阈值或不均大于所述负载阈值时，保持原有功耗状态，频率等级不变，所述待控制模块的负载不变；
当前功耗统计周期内各监测窗口的负载均低于所述负载下限时，所述工作时钟的频率在当前功耗状态对应的频率等级中下降一个频段；
当所述待控制模块进入空闲状态时，所述工作时钟的频率降低至最低频率；
继续监测后续各功耗统计周期内所述待控制模块的负载，并在各功耗统计周期内基于负载状况调整所述待控制模块的工作时钟的频率，使得所述待控制模块的峰值功耗小于等于负载阈值的情况下工作在最高频率。
2.根据权利要求1所述的控制峰值功耗的方法，其特征在于：所述待控制模块包括多个负载单元时，所述待控制模块的负载为各负载单元的负载权重与实际负载乘积的和。
3.根据权利要求1所述的控制峰值功耗的方法，其特征在于：所述控制峰值功耗的方法包括n个功耗状态，功耗状态上升一级所述待控制模块的负载增大所述负载阈值的1/n倍，n为正整数。
4.根据权利要求1所述的控制峰值功耗的方法，其特征在于：各功耗统计周期均包括k个监测窗口，在当前功耗统计周期中去除第1个监测窗口并加入第k+1个监测窗口以得到下一功耗统计周期，其中k为不小于3的正整数。
5.根据权利要求1所述的控制峰值功耗的方法，其特征在于：所述控制峰值功耗的方法用于AI芯片的功耗控制。
6.一种控制峰值功耗的系统，基于如权利要求1～5任意一项所述的控制峰值功耗的方法，其特征在于，所述控制峰值功耗的系统至少包括：
待控制模块，包括多个负载单元；
全局控制模块，连接所述待控制模块及负载信息统计模块，为所述待控制模块提供控制信号及各负载单元的负载权重信息，并基于所述待控制模块的工作状态获取负载阈值；
负载信息统计模块，连接所述全局控制模块及所述待控制模块，监控所述待控制模块中各负载单元的负载信息，并基于所述全局控制模块中各负载单元的负载权重信息，计算所述待控制模块的负载；
调频调压控制模块，连接所述负载信息统计模块，基于所述待控制模块的负载调整所述待控制模块的功耗状态；
时钟控制模块，连接于所述调频调压控制模块与所述待控制模块之间，基于所述调频调压控制模块输出信号产生相应频率的时钟信号，并控制所述待控制模块基于所述时钟信号工作。
7.根据权利要求6所述的控制峰值功耗的系统，其特征在于：所述控制峰值功耗的系统应用于AI芯片中。
8.根据权利要求6或7所述的控制峰值功耗的系统，其特征在于：所述待控制模块包括可编程运算单元，神经网络加速器或张量处理器。
9.根据权利要求6所述的控制峰值功耗的系统，其特征在于：所述调频调压控制模块包括比较单元及多个功耗状态控制单元；所述比较单元将各功耗统计周期内所述待控制模块的负载与所述负载阈值进行比较；各功耗状态控制单元基于所述比较单元输出的比较结果控制所述待控制模块进入相应的功耗状态。
10.根据权利要求6所述的控制峰值功耗的系统，其特征在于：所述时钟控制模块包括数字分频单元。
CN201910457063.2A 2019-05-29 2019-05-29 控制峰值功耗的方法及系统 Active CN112015259B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910457063.2A CN112015259B (zh) 2019-05-29 2019-05-29 控制峰值功耗的方法及系统
US17/263,901 US20220342474A1 (en) 2019-05-29 2019-12-02 Method and system for controlling peak power consumption
KR1020217030998A KR20210134355A (ko) 2019-05-29 2019-12-02 피크 전력 소비의 제어 방법 및 시스템
PCT/CN2019/122382 WO2020238121A1 (zh) 2019-05-29 2019-12-02 控制峰值功耗的方法及系统
EP19930416.3A EP3816769A4 (en) 2019-05-29 2019-12-02 PROCEDURE AND SYSTEM FOR REGULATING PEAK POWER CONSUMPTION
JP2021570476A JP7304972B2 (ja) 2019-05-29 2019-12-02 ピーク消費電力を制御する方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457063.2A CN112015259B (zh) 2019-05-29 2019-05-29 控制峰值功耗的方法及系统

Publications (2)

Publication Number Publication Date
CN112015259A CN112015259A (zh) 2020-12-01
CN112015259B true CN112015259B (zh) 2022-06-21

Family

ID=73501730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457063.2A Active CN112015259B (zh) 2019-05-29 2019-05-29 控制峰值功耗的方法及系统

Country Status (6)

Country Link
US (1) US20220342474A1 (zh)
EP (1) EP3816769A4 (zh)
JP (1) JP7304972B2 (zh)
KR (1) KR20210134355A (zh)
CN (1) CN112015259B (zh)
WO (1) WO2020238121A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782577B (zh) * 2019-04-04 2023-03-24 安徽寒武纪信息科技有限公司 数据处理装置及方法以及相关产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365192A (zh) * 2007-08-10 2009-02-11 大唐移动通信设备有限公司 调整嵌入式处理器和移动终端处理器的频率的方法、装置
CN102314208A (zh) * 2010-06-30 2012-01-11 重庆重邮信科通信技术有限公司 一种动态调整嵌入式设备频率电压的方法及装置
US8410768B2 (en) * 2010-01-19 2013-04-02 Delta Electronics, Inc. Switch-mode power supply having reduced audible noise
CN103176944A (zh) * 2013-03-01 2013-06-26 福州瑞芯微电子有限公司 基于不同制造工艺实现的低功耗多核soc及其设计方法
CN103559092A (zh) * 2013-11-12 2014-02-05 中国人民解放军国防科学技术大学 异构并行计算结点的峰值功耗控制方法
CN105511591A (zh) * 2015-12-31 2016-04-20 天津飞腾信息技术有限公司 基于双阈值功耗自适应的dvfs调节算法
CN107340500A (zh) * 2017-06-30 2017-11-10 中国航空工业集团公司雷华电子技术研究所 一种雷达信号处理平台动态功耗控制方法及系统
CN109117262A (zh) * 2017-06-22 2019-01-01 深圳市中兴微电子技术有限公司 一种基带处理芯片cpu动态调频方法及无线终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4033066B2 (ja) * 2003-05-07 2008-01-16 ソニー株式会社 周波数制御装置、情報処理装置、周波数制御方法及びプログラム
JP2005196430A (ja) * 2004-01-07 2005-07-21 Hiroshi Nakamura 半導体装置および半導体装置の電源電圧／クロック周波数制御方法
US8160753B2 (en) * 2008-07-31 2012-04-17 Microsemi Corp.—Analog Mixed Signal Group Ltd. Time integrated guard band
KR101533572B1 (ko) * 2009-05-20 2015-07-03 삼성전자주식회사 전력 관리 방법
CN102314213B (zh) * 2010-07-09 2016-03-30 精英电脑股份有限公司 动态调整工作频率的计算机系统
CN102609319A (zh) * 2011-01-20 2012-07-25 中国移动通信有限公司 一种处理器调频方法、装置及设备
CN102662822B (zh) * 2012-04-26 2015-02-04 华为技术有限公司 负载监控装置和方法
KR101991682B1 (ko) * 2012-08-29 2019-06-21 삼성전자 주식회사 Ｄｖｆｓ 제어 방법 및 이를 이용한 시스템-온 칩
US20140095696A1 (en) * 2012-10-01 2014-04-03 Emerson Electric Co. Evaluating utilization of one or more computer systems
CN103197754B (zh) * 2013-04-01 2016-05-25 华为技术有限公司 一种降低芯片功耗的方法和装置
JP2015130035A (ja) * 2014-01-07 2015-07-16 富士通株式会社 半導体装置および制御方法
US9244747B2 (en) * 2014-03-13 2016-01-26 Qualcomm Incorporated System and method for providing dynamic clock and voltage scaling (DCVS) aware interprocessor communication
CN103955264B (zh) * 2014-05-15 2016-10-12 乐视致新电子科技（天津）有限公司 动态调节处理器工作频率的方法及系统
JP2018005569A (ja) * 2016-07-01 2018-01-11 富士通株式会社 半導体装置及び半導体装置の制御方法
CN107341091A (zh) * 2017-07-04 2017-11-10 郑州云海信息技术有限公司 分布式存储系统功耗管理方法及装置
US10565020B2 (en) * 2017-08-29 2020-02-18 International Business Machines Corporation Adjustment of the number of central processing units to meet performance requirements of an I/O resource
US11029972B2 (en) * 2019-02-01 2021-06-08 Dell Products, Lp Method and system for profile learning window optimization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365192A (zh) * 2007-08-10 2009-02-11 大唐移动通信设备有限公司 调整嵌入式处理器和移动终端处理器的频率的方法、装置
US8410768B2 (en) * 2010-01-19 2013-04-02 Delta Electronics, Inc. Switch-mode power supply having reduced audible noise
CN102314208A (zh) * 2010-06-30 2012-01-11 重庆重邮信科通信技术有限公司 一种动态调整嵌入式设备频率电压的方法及装置
CN103176944A (zh) * 2013-03-01 2013-06-26 福州瑞芯微电子有限公司 基于不同制造工艺实现的低功耗多核soc及其设计方法
CN103559092A (zh) * 2013-11-12 2014-02-05 中国人民解放军国防科学技术大学 异构并行计算结点的峰值功耗控制方法
CN105511591A (zh) * 2015-12-31 2016-04-20 天津飞腾信息技术有限公司 基于双阈值功耗自适应的dvfs调节算法
CN109117262A (zh) * 2017-06-22 2019-01-01 深圳市中兴微电子技术有限公司 一种基带处理芯片cpu动态调频方法及无线终端
CN107340500A (zh) * 2017-06-30 2017-11-10 中国航空工业集团公司雷华电子技术研究所 一种雷达信号处理平台动态功耗控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
考虑负载差异性的多核处理器稳态温度及性能分析方法研究;张必英;《中国优秀博硕士学位论文全文数据库 信息科技辑》;20180115(第1期);全文 *

Also Published As

Publication number Publication date
JP2022535357A (ja) 2022-08-08
EP3816769A4 (en) 2021-11-03
US20220342474A1 (en) 2022-10-27
WO2020238121A1 (zh) 2020-12-03
CN112015259A (zh) 2020-12-01
EP3816769A1 (en) 2021-05-05
JP7304972B2 (ja) 2023-07-07
KR20210134355A (ko) 2021-11-09

Similar Documents

Publication Publication Date Title
US20170228007A1 (en) Method and Apparatus for Managing Global Chip Power on a Multicore System on Chip
US20120102503A1 (en) Green computing via event stream management
US8161312B2 (en) Processing data using multiple levels of power control
Pering et al. Energy efficient voltage scheduling for real-time operating systems
CN107797644A (zh) 一种soc芯片动态电压频率调整实现方法
CN112015259B (zh) 控制峰值功耗的方法及系统
CN116069152A (zh) 针对ai计算集群的运行频率控制方法、系统及相关设备
US20210357016A1 (en) Intelligent and predictive optimization of power needs across virtualized environments
US11372464B2 (en) Adaptive parameterization for maximum current protection
CN116627237B (zh) 一种基于芯粒Chiplet的电源管理芯片架构系统
CN109144693B (zh) 一种功率自适应任务调度方法及系统
TWI710877B (zh) 處理器負載階平衡
US20230004185A1 (en) System and method for controllilng electrical current supply in a multi-processor core system via instruction per cycle reduction
CN105933702A (zh) 一种基于任务敏感的功耗控制方法
US20220300063A1 (en) Chip-Process-Variation-Aware Power-Efficiency Optimization
CN110794949A (zh) 一种基于部件温度自动分配计算资源的降功耗方法和系统
US20210208659A1 (en) Apparatus and method to detect power supply security attack and risk mitigation
CN112214295A (zh) 一种多cpu/gpu异构服务器集群的低能耗作业调度方法
CN1261846C (zh) 一种计算机系统的实时电源管理方法及其系统
CN117742971B (zh) 一种主控芯片加速运算的优化方法及系统
US8352723B2 (en) Automatic maintenance of a computing system in a steady state using correlation
CN116710904A (zh) 处理装置、处理方法及相关设备
HajiKhodaverdian et al. Reinforcement Learning-Based Task Scheduling Using DVFS Techniques in Mobile Devices
Zhang et al. Experiments on Data Center Participation in Demand Response Programs
CN118074216A (zh) 一种智能微电网的管理方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant