CN116881090A - 计算装置以及控制计算装置中的计算核的能耗的方法 - Google Patents

计算装置以及控制计算装置中的计算核的能耗的方法 Download PDF

Info

Publication number
CN116881090A
CN116881090A CN202311148708.7A CN202311148708A CN116881090A CN 116881090 A CN116881090 A CN 116881090A CN 202311148708 A CN202311148708 A CN 202311148708A CN 116881090 A CN116881090 A CN 116881090A
Authority
CN
China
Prior art keywords
information
period
core
computing
cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311148708.7A
Other languages
English (en)
Other versions
CN116881090B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bilin Technology Development Co ltd
Shanghai Bi Ren Technology Co ltd
Original Assignee
Beijing Bilin Technology Development Co ltd
Shanghai Biren Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bilin Technology Development Co ltd, Shanghai Biren Intelligent Technology Co Ltd filed Critical Beijing Bilin Technology Development Co ltd
Priority to CN202311148708.7A priority Critical patent/CN116881090B/zh
Publication of CN116881090A publication Critical patent/CN116881090A/zh
Application granted granted Critical
Publication of CN116881090B publication Critical patent/CN116881090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3058Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Power Sources (AREA)

Abstract

本公开涉及计算装置以及控制计算装置中的计算核的能耗的方法。计算装置包括计算核,计算核包括寄存器和能耗控制电路,寄存器被配置为存储有计算核利用率信息,能耗控制电路被配置为基于计算核利用率信息,生成用于控制计算核的能耗的计算使能信号;其中,计算核被配置为响应于计算使能信号处于第一状态而进行计算,响应于计算使能信号处于第二状态而停止计算。本公开所提供的技术方案至少能够在不降低整个计算装置的性能的情况下,降低计算核的能耗。

Description

计算装置以及控制计算装置中的计算核的能耗的方法
技术领域
本公开总体上涉及信息处理领域,并且具体地,涉及计算装置以及控制计算装置中的计算核的能耗的方法。
背景技术
在信息处理领域中,通用图形处理器(General-purpose computing on graphicsprocessing units,简称GPGPU),是一种利用处理图形任务的图形处理器来计算原本由中央处理器处理的通用计算任务。GPGPU训练大模型需要大量的计算,这使得GPGPU产生大量的能耗。作为GPGPU的矩阵乘法和卷积运算的计算核,张量核(Tensor Core)在大多数训练和推理场景中产生的能耗占据整个GPGPU的60%以上,所以降低张量核的能耗显得尤为重要。
在传统的计算装置中,通过降低计算装置的工作频率和工作电压,来降低计算核所产生的能耗。然而,降低计算装置的工作频率和工作电压,会降低整个计算装置的性能。
综上,传统的计算装置的技术方案的不足之处在于:降低计算核的能耗的同时,降低了整个计算装置的性能。
发明内容
针对上述问题,本公开提供了计算装置以及控制计算装置中的计算核的能耗的方法,所提供的技术方案能够在不降低整个计算装置的性能的情况下,降低计算核的能耗。
根据本公开的第一方面,提供了一种计算装置,包括计算核,计算核包括:寄存器,寄存器被配置为存储有计算核利用率信息;以及能耗控制电路,耦接到寄存器,能耗控制电路被配置为基于计算核利用率信息,生成用于控制计算核的能耗的计算使能信号;其中,计算核被配置为响应于计算使能信号处于第一状态而进行计算,响应于计算使能信号处于第二状态而停止计算。
在一些实施例中,计算装置为通用图形处理器,计算核为张量核,计算核利用率信息包括周期划分信息和周期利用率信息。
在一些实施例中,寄存器包括:周期划分信息寄存器,周期划分信息寄存器被配置为存储有周期划分信息;以及周期利用率信息寄存器,周期利用率信息寄存器被配置为存储有周期利用率信息。
在一些实施例中,能耗控制电路包括:周期控制电路,耦接到寄存器,周期控制电路被配置为基于周期划分信息,确定当前的周期;以及计算使能信号生成电路,耦接到寄存器和周期控制电路,计算使能信号生成电路被配置为基于周期划分信息和周期利用率信息,生成与当前的周期相对应的计算使能信号。
在一些实施例中,周期划分信息为周期长度信息,周期控制电路包括:第一计数器,第一计数器被配置为对计算核所对应的时钟信号进行计数,以得到第一计数;第一比较器,第一比较器被配置为将第一计数与第一阈值进行比较,以输出用于确定当前的周期的周期控制信号,其中第一阈值为周期长度信息。
在一些实施例中,周期利用率信息为周期计算时段百分比信息,计算使能信号生成电路包括:第二计数器,第二计数器被配置为对当前的周期内的计算核所对应的时钟信号进行计数,以得到第二计数;第二比较器,第二比较器被配置为将第二计数与第二阈值进行比较,以输出与当前的周期相对应的计算使能信号,其中第二阈值为周期长度信息和计算时段百分比信息的乘积。
在一些实施例中,第一比较器还被配置为响应于第一计数大于或者等于第一阈值而输出计数器清零信号以作为周期控制信号;第一计数器还被配置为响应于接收到计数器清零信号而重新开始计数;第二计数器还被配置为响应于接收到计数器清零信号而重新开始计数;以及第二比较器还被配置为响应于第二计数小于第二阈值而输出第一状态的计算使能信号,响应于第二计数大于或者等于第二阈值而输出第二状态的计算使能信号。
在一些实施例中,寄存器由软件基于计算核的能耗或待处理数据的格式、被动态地配置计算核利用率信息。
根据本公开的第二方面,提供了一种用于控制计算装置中的计算核的能耗的方法,包括:获取计算核利用率信息;以及基于计算核利用率信息,生成用于控制计算核的能耗的计算使能信号,使得计算核响应于计算使能信号处于第一状态而进行计算,响应于计算使能信号处于第二状态而停止计算。
在一些实施例中,计算核为张量核,计算核利用率信息包括周期划分信息和周期利用率信息。
在一些实施例中,基于计算核利用率信息,生成用于控制计算核的能耗的计算使能信号包括:基于周期划分信息,确定当前的周期;以及基于周期划分信息和周期利用率信息,生成与当前的周期相对应的计算使能信号。
在一些实施例中,周期划分信息为周期长度信息,确定当前的周期包括:对计算核所对应的时钟信号进行计数,以得到第一计数;以及将第一计数与第一阈值进行比较,以输出用于确定当前的周期的周期控制信号,其中第一阈值为周期长度信息。
在一些实施例中,周期利用率信息为周期计算时段百分比信息,生成与当前的周期相对应的计算使能信号包括:对当前的周期内的计算核所对应的时钟信号进行计数,以得到第二计数;以及将第二计数与第二阈值进行比较,以输出与当前的周期相对应的计算使能信号,其中第二阈值为周期长度信息和计算时段百分比信息的乘积。
在一些实施例中,方法还包括:由软件基于计算核的能耗或待处理数据的格式、动态地配置计算核利用率信息。
提供发明内容部分是为了以简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征,也无意限制本公开的范围。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1图示了根据本公开实施例的计算装置的示意图。
图2图示了根据本公开实施例的计算核的示意图。
图3图示了根据本公开实施例的计算核的示意图。
图4图示了根据本公开实施例的用于控制计算装置中的计算核的能耗的方法的流程图。
图5图示了根据本公开实施例的生成用于控制计算核的能耗的计算使能信号的方法的流程图。
图6图示了用于实现本公开实施例的示例性电子设备的框图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本公开一部分实施例,而不是全部的实施例,不能将它们理解为对本申请保护范围的限定。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
在本公开中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。
如前文所描述,在传统的计算装置的技术方案中,降低计算核的能耗的同时,降低了整个计算装置的性能。
为了至少部分地解决上述问题以及其他潜在问题中的一个或多个,本公开提出了计算装置以及控制计算装置中的计算核的能耗的方法。在本公开的实施例中,计算装置所包括的计算核包括寄存器和能耗控制电路,寄存器被配置为存储有计算核利用率信息,能耗控制电路被配置为基于计算核利用率信息来生成用于控制计算核的能耗的计算使能信号,计算核被配置为响应于计算使能信号处于第一状态而进行计算并响应于计算使能信号处于第二状态而停止计算,从而允许通过调整计算核利用率信息来实现能耗的降低,这至少能够在不降低整个计算装置的性能的情况下,降低计算核的能耗。
进一步地,在本公开的实施例中,周期划分信息为周期长度信息,周期利用率信息为周期计算时段百分比信息,寄存器包括周期划分信息寄存器和周期利用率信息寄存器,能耗控制电路包括周期控制电路和计算使能信号生成电路,周期控制电路被配置为基于周期划分信息来确定当前的周期,计算使能信号生成电路被配置为基于周期划分信息和周期利用率信息来生成与当前的周期相对应的计算使能信号,至少能够便捷地生成与当前的周期相对应的计算使能信号,以用于控制计算核的计算。
进一步地,在本公开的实施例中,能耗控制电路中的周期控制电路包括第一计数器和第一比较器,能耗控制电路中的计算使能信号生成电路包括第二计数器和第二比较器,至少提供了一种简单、易于实现的能耗控制电路。
进一步地,在本公开的实施例中,第一比较器还被配置为响应于第一计数大于或者等于第一阈值而输出计数器清零信号以作为周期控制信号,第一计数器和第二计数器分别还被配置为响应于接收到计数器清零信号而重新开始计数,至少能够进一步地、便捷地生成与当前的周期相对应的计算使能信号,以用于控制计算核的计算。
更进一步地,寄存器还可以由软件基于计算核的能耗或待处理数据的格式、被动态地配置计算核利用率信息,从而至少能够提高计算核的能耗的调整的及时性,至少能够拉平计算核的整体的峰值能耗,并在确定峰值能耗的情况下,尽可能保证计算核处理能耗较低的待处理数据的格式时的性能。
下面通过几个具体的实施例对本公开进行说明。为了保持本公开实施例的以下说明清楚且简明,可省略已知功能和已知部件的详细说明。当本公开实施例的任一部件在一个以上的附图中出现时,该部件在每个附图中由相同的参考标号表示。
图1图示了根据本公开实施例的计算装置1000的示意图。如图1所示,计算装置1000包括计算核100,计算核100包括寄存器120和能耗控制电路140。需要说明的是,计算装置1000和计算核100可以包括未示出的附加部件,本公开的范围在此方面不受限制。
关于计算装置1000,其用于信息处理。例如,计算装置1000可以为图形处理器。又例如,计算装置1000可以为通用图形处理器。需要说明的是,计算装置1000的类型可以取决于实际情况而定,本公开的实施例对此不作限制。
关于计算核100,其用于计算装置1000中的信息的计算。例如,计算核100可以为张量核。需要说明的是,计算核100的类型可以取决于实际情况而定,本公开的实施例对此不作限制。例如,计算核100还可以为通用矩阵乘(General Matrix Multiply,GEMM)核、算术逻辑单元(Arithmetic Logic Unit,ALU)以及/或是其他计算单元。
关于寄存器120,其被配置为存储有计算核利用率信息。需要说明的是,计算核100中所包括的寄存器120的数量可以取决于实际情况而定,本公开的实施例对此不作限制。另外,关于寄存器120,可以参考后续结合图2和图3所描述的实施例。
关于计算核利用率信息,其用于控制计算核100的利用率。例如,计算核利用率信息可以包括周期划分信息和周期利用率信息。例如,周期划分信息为周期长度信息,周期利用率信息可以为周期计算时段百分比信息。
关于能耗控制电路140,其耦接到寄存器120,能耗控制电路140被配置为基于计算核利用率信息,生成用于控制计算核100的能耗的计算使能信号。需要说明的是,能耗控制电路140的实现方式可以取决于实际情况而定,本公开的实施例对此不作限制。另外,关于能耗控制电路140,可以参考后续结合图2和图3所描述的实施例。
关于计算核100,其被配置为响应于计算使能信号处于第一状态而进行计算,响应于计算使能信号处于第二状态而停止计算。例如,第一状态为高电平,第二状态为低电平。需要说明的是,第一状态和第二状态可以取决于实际情况而定,本公开的实施例对此不作限制。
在本公开的实施例中,计算装置所包括的计算核包括寄存器和能耗控制电路,寄存器被配置为存储有计算核利用率信息,能耗控制电路被配置为基于计算核利用率信息来生成用于控制计算核的能耗的计算使能信号,计算核被配置为响应于计算使能信号处于第一状态而进行计算并响应于计算使能信号处于第二状态而停止计算,从而允许通过调整计算核利用率信息来实现能耗的降低,这至少能够在不降低整个计算装置的性能的情况下,降低计算核的能耗。
图2图示了根据本公开实施例的计算核200的示意图。如图2所示,计算核200可以包括寄存器220和能耗控制电路240。需要说明的是,计算核200可以包括未示出的附加部件,本公开的范围在此方面不受限制。
在图2中,寄存器220包括周期划分信息寄存器222和周期利用率信息寄存器224,能耗控制电路240包括周期控制电路242和计算使能信号生成电路244。
需要说明的是,寄存器220和能耗控制电路240的说明可以参考以上结合图1所描述的实施例中的相应部件的相应说明,在此不再赘述。
关于周期划分信息寄存器222,其被配置为存储有周期划分信息。需要说明的是,周期划分信息寄存器222的数量可以取决于实际情况而定,本公开的实施例对此不作限制。
例如,周期划分信息为周期长度信息,周期长度信息可以为循环的数目,该循环为计算核200所对应的时钟信号的循环。例如,在计算核200所对应的时钟信号的频率为f的情况下,循环为1/f。例如,周期长度信息可以为512。需要说明的是,周期长度信息可以取决于实际情况而定,本公开的实施例对此不作限制。例如,周期长度信息还可以为1024、2048或4096。
关于周期利用率信息寄存器224,其被配置为存储有周期利用率信息。需要说明的是,周期利用率信息寄存器224的数量可以取决于实际情况而定,本公开的实施例对此不作限制。
例如,周期利用率信息可以为周期计算时段百分比信息。例如,周期计算时段百分比信息可以为52/256。需要说明的是,周期计算时段百分比信息可以取决于实际情况而定,本公开的实施例对此不作限制。例如,周期计算时段百分比信息还可以为247/256或242/256。还需要说明的是,周期计算时段百分比信息的形式可以取决于实际情况而定,本公开的实施例对此不作限制。例如,周期计算时段百分比信息可以为20%,在这种情况下,本公开的实施例的计算核的功耗相对于传统的计算装置的计算核的功耗减少了大约70%。
关于周期控制电路242,其耦接到寄存器220,周期控制电路242被配置为基于周期划分信息,确定当前的周期。需要说明的是,周期控制电路242的实现方式可以取决于实际情况而定,本公开的实施例对此不作限制。另外,关于周期控制电路242,可以参考后续结合图3所描述的实施例。
关于计算使能信号生成电路244,其耦接到寄存器220和周期控制电路242,计算使能信号生成电路244被配置为基于周期划分信息和周期利用率信息,生成与当前的周期相对应的计算使能信号。需要说明的是,计算使能信号生成电路244的实现方式可以取决于实际情况而定,本公开的实施例对此不作限制。另外,关于计算使能信号生成电路244,可以参考后续结合图3所描述的实施例。
在本公开的实施例中,周期划分信息为周期长度信息,周期利用率信息为周期计算时段百分比信息,寄存器包括周期划分信息寄存器和周期利用率信息寄存器,能耗控制电路包括周期控制电路和计算使能信号生成电路,周期控制电路被配置为基于周期划分信息来确定当前的周期,计算使能信号生成电路被配置为基于周期划分信息和周期利用率信息来生成与当前的周期相对应的计算使能信号,至少能够便捷地生成与当前的周期相对应的计算使能信号,以用于控制计算核的计算。
图3图示了根据本公开实施例的计算核300的示意图。如图3所示,计算核300可以包括寄存器320和能耗控制电路340。需要说明的是,计算核300可以包括未示出的附加部件,本公开的范围在此方面不受限制。
在图3中,寄存器320包括周期划分信息寄存器322a、322b和周期利用率信息寄存器324,能耗控制电路340包括周期控制电路342和计算使能信号生成电路344。周期控制电路342包括第一计数器3422和第一比较器3424,计算使能信号生成电路344包括第二计数器3442和第二比较器3444。
需要说明的是,寄存器320、周期划分信息寄存器322a、322b、周期利用率信息寄存器324、能耗控制电路340、周期控制电路342和计算使能信号生成电路344的说明可以参考以上结合图1和图2所描述的实施例中的相应部件的相应说明,在此不再赘述。
关于第一计数器3422,其被配置为对计算核所对应的时钟信号进行计数,以得到第一计数。
第一比较器3424,其被配置为将第一计数与第一阈值进行比较,以输出用于确定当前的周期的周期控制信号,其中第一阈值为周期长度信息。例如,在周期长度信息为512的情况下,第一阈值为512。
关于第二计数器3442,其被配置为对当前的周期内的计算核所对应的时钟信号进行计数,以得到第二计数。
关于第二比较器3444,其被配置为将第二计数与第二阈值进行比较,以输出与当前的周期相对应的计算使能信号,其中第二阈值为周期长度信息和计算时段百分比信息的乘积。例如,在周期长度信息为512且计算时段百分比信息为52/256的情况下,第二阈值为512*52/256=104。例如,第二比较器3444还被配置为响应于第二计数小于第二阈值而输出第一状态的计算使能信号(如图3所示),响应于第二计数大于或者等于第二阈值而输出第二状态的计算使能信号。例如,第一状态为高电平,第二状态为低电平。
例如,在本公开的实施例的中,第一比较器3424还被配置为响应于第一计数大于或者等于第一阈值而输出计数器清零信号(如图3所示)以作为周期控制信号;第一计数器3422还被配置为响应于接收到计数器清零信号而重新开始计数;第二计数器3442还被配置为响应于接收到计数器清零信号而重新开始计数。
在本公开的实施例中,能耗控制电路中的周期控制电路包括第一计数器和第一比较器,能耗控制电路中的计算使能信号生成电路包括第二计数器和第二比较器,至少提供了一种简单、易于实现的能耗控制电路。
另外,在本公开的实施例中,第一比较器还被配置为响应于第一计数大于或者等于第一阈值而输出计数器清零信号以作为周期控制信号,第一计数器和第二计数器分别还被配置为响应于接收到计数器清零信号而重新开始计数,至少能够进一步地、便捷地生成与当前的周期相对应的计算使能信号,以用于控制计算核的计算。
需要说明的是,在本公开的结合图1至图3所描述的实施例中,寄存器可以由软件预先配置计算核利用率信息。例如,计算核利用率信息可以由软件从多种预定的参考计算核利用率信息中选择并配置到寄存器中。还需要说明的是,寄存器可以由软件预先配置计算核利用率信息仅是示例性的,而不是对本公开的限制。
例如,在本公开的结合图1至图3所描述的实施例中或其他实施例中,寄存器还可以由软件基于计算核的能耗或待处理数据的格式、被动态地配置计算核利用率信息。例如,在计算核的能耗较高的情况下,可以由软件动态地调整并配置计算核利用率信息来降低计算核的能耗,从而至少能够提高计算核的能耗的调整的及时性。又例如,在计算核的待处理数据的格式分别为S8、FP16和BF16的情况下,可以由软件分别配置周期利用率信息为256/256、247/256和242/256,从而至少能够拉平计算核的整体的峰值能耗,并在确定峰值能耗的情况下,尽可能保证计算核处理能耗较低的待处理数据的格式时的性能。
图4图示了根据本公开实施例的用于控制计算装置中的计算核的能耗的方法400的流程图。例如,方法400可以由结合图1所描述的计算装置1000执行,也可以由结合图6所描述的电子设备600执行。应当理解的是,方法400还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在步骤420,计算装置1000获取计算核利用率信息。
在步骤440,计算装置1000基于计算核利用率信息,生成用于控制计算核的能耗的计算使能信号,使得计算核响应于计算使能信号处于第一状态而进行计算,响应于计算使能信号处于第二状态而停止计算。
例如,计算核为张量核,计算核利用率信息包括周期划分信息和周期利用率信息。
又例如,由软件基于计算核的能耗或待处理数据的格式、动态地配置计算核利用率信息。
需要说明的是,方法400的相关过程可以参考上述图1至图3的实施例中的相关描述,在此不再赘述。
图5图示了根据本公开实施例的生成用于控制计算核的能耗的计算使能信号的方法500的流程图。例如,方法500可以由结合图1所描述的计算装置1000执行,也可以由结合图6所描述的电子设备600执行。应当理解的是,方法500还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在步骤542,计算装置1000基于周期划分信息,确定当前的周期。
例如,周期划分信息为周期长度信息,确定当前的周期包括:对计算核所对应的时钟信号进行计数,以得到第一计数;以及将第一计数与第一阈值进行比较,以输出用于确定当前的周期的周期控制信号,其中第一阈值为周期长度信息。
在步骤544,计算装置1000基于周期划分信息和周期利用率信息,生成与当前的周期相对应的计算使能信号。
例如,周期利用率信息为周期计算时段百分比信息,生成与当前的周期相对应的计算使能信号包括:对当前的周期内的计算核所对应的时钟信号进行计数,以得到第二计数;以及将第二计数与第二阈值进行比较,以输出与当前的周期相对应的计算使能信号,其中第二阈值为周期长度信息和计算时段百分比信息的乘积。
需要说明的是,方法500的相关过程可以参考上述图1至图3的实施例中的相关描述,在此不再赘述。
图6图示了用于实现本公开实施例的示例性电子设备600的框图。例如,如图1所示的计算装置1000可以由电子设备600来实施。如图所示,电子设备600包括中央处理单元(CPU)602,其可以根据存储在只读存储器(ROM)604中的计算机程序指令或者从存储单元616加载到随机存取存储器(RAM)606中的计算机程序指令,来执行各种适当的动作和处理。在随机存取存储器606中,还可存储电子设备600操作所需的各种程序和数据。中央处理单元602、只读存储器604以及随机存取存储器606通过总线608彼此相连。输入/输出(I/O)接口610也连接至总线608。
电子设备600中的多个部件连接至输入/输出接口610,包括:输入单元612,例如键盘、鼠标、麦克风等;输出单元614,例如各种类型的显示器、扬声器等;存储单元616,例如磁盘、光盘等;以及通信单元618,例如网卡、调制解调器、无线通信收发机等。通信单元618允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法400和500,可由中央处理单元602执行。例如,在一些实施例中,方法400和500可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元616。在一些实施例中,计算机程序的部分或者全部可以经由只读存储器604和/或通信单元618而被载入和/或安装到电子设备600上。当计算机程序被加载到随机存取存储器606并由中央处理单元602执行时,可以执行上文描述的方法400和500的一个或多个动作。
本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种计算装置,其特征在于,包括:
计算核,所述计算核包括:
寄存器,所述寄存器被配置为存储有计算核利用率信息;以及
能耗控制电路,耦接到所述寄存器,所述能耗控制电路被配置为基于所述计算核利用率信息,生成用于控制计算核的能耗的计算使能信号;
其中,所述计算核被配置为响应于所述计算使能信号处于第一状态而进行计算,响应于所述计算使能信号处于第二状态而停止计算。
2.根据权利要求1所述的计算装置,其特征在于,所述计算装置为通用图形处理器,所述计算核为张量核,所述计算核利用率信息包括周期划分信息和周期利用率信息。
3. 根据权利要求2所述的计算装置,其特征在于,所述寄存器包括:
周期划分信息寄存器,所述周期划分信息寄存器被配置为存储有周期划分信息;以及
周期利用率信息寄存器,所述周期利用率信息寄存器被配置为存储有周期利用率信息。
4. 根据权利要求2所述的计算装置,其特征在于,所述能耗控制电路包括:
周期控制电路,耦接到所述寄存器,所述周期控制电路被配置为基于所述周期划分信息,确定当前的周期;以及
计算使能信号生成电路,耦接到所述寄存器和所述周期控制电路,所述计算使能信号生成电路被配置为基于所述周期划分信息和所述周期利用率信息,生成与当前的周期相对应的计算使能信号。
5.根据权利要求4所述的计算装置,其特征在于,所述周期划分信息为周期长度信息,所述周期控制电路包括:
第一计数器,所述第一计数器被配置为对所述计算核所对应的时钟信号进行计数,以得到第一计数;
第一比较器,所述第一比较器被配置为将所述第一计数与第一阈值进行比较,以输出用于确定当前的周期的周期控制信号,其中所述第一阈值为所述周期长度信息。
6.根据权利要求5所述的计算装置,其特征在于,所述周期利用率信息为周期计算时段百分比信息,所述计算使能信号生成电路包括:
第二计数器,所述第二计数器被配置为对当前的周期内的所述计算核所对应的时钟信号进行计数,以得到第二计数;
第二比较器,所述第二比较器被配置为将所述第二计数与第二阈值进行比较,以输出与当前的周期相对应的计算使能信号,其中所述第二阈值为所述周期长度信息和所述计算时段百分比信息的乘积。
7.根据权利要求6所述的计算装置,其特征在于,
所述第一比较器还被配置为响应于所述第一计数大于或者等于所述第一阈值而输出计数器清零信号以作为所述周期控制信号;
所述第一计数器还被配置为响应于接收到所述计数器清零信号而重新开始计数;
所述第二计数器还被配置为响应于接收到所述计数器清零信号而重新开始计数;以及
所述第二比较器还被配置为响应于所述第二计数小于所述第二阈值而输出第一状态的计算使能信号,响应于所述第二计数大于或者等于所述第二阈值而输出第二状态的计算使能信号。
8.根据权利要求1所述的计算装置,其特征在于,所述寄存器由软件基于所述计算核的能耗或待处理数据的格式、被动态地配置计算核利用率信息。
9. 一种用于控制计算核的能耗的方法,其特征在于,包括:
获取计算核利用率信息;以及
基于所述计算核利用率信息,生成用于控制所述计算核的能耗的计算使能信号,使得所述计算核响应于所述计算使能信号处于第一状态而进行计算,响应于所述计算使能信号处于第二状态而停止计算。
10.根据权利要求9所述的方法,其特征在于,所述计算核为张量核,所述计算核利用率信息包括周期划分信息和周期利用率信息。
11. 根据权利要求10所述的方法,其特征在于,基于所述计算核利用率信息,生成用于控制所述计算核的能耗的计算使能信号包括:
基于所述周期划分信息,确定当前的周期;以及
基于所述周期划分信息和所述周期利用率信息,生成与当前的周期相对应的计算使能信号。
12. 根据权利要求11所述的方法,其特征在于,所述周期划分信息为周期长度信息,确定当前的周期包括:
对所述计算核所对应的时钟信号进行计数,以得到第一计数;以及
将所述第一计数与第一阈值进行比较,以输出用于确定当前的周期的周期控制信号,其中所述第一阈值为所述周期长度信息。
13. 根据权利要求11所述的方法,其特征在于,所述周期利用率信息为周期计算时段百分比信息,生成与当前的周期相对应的计算使能信号包括:
对当前的周期内的所述计算核所对应的时钟信号进行计数,以得到第二计数;以及
将所述第二计数与第二阈值进行比较,以输出与当前的周期相对应的计算使能信号,其中所述第二阈值为所述周期长度信息和所述计算时段百分比信息的乘积。
14.根据权利要求9所述的方法,其特征在于,还包括:
由软件基于所述计算核的能耗或待处理数据的格式、动态地配置所述计算核利用率信息。
CN202311148708.7A 2023-09-06 2023-09-06 计算装置以及控制计算装置中的计算核的能耗的方法 Active CN116881090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311148708.7A CN116881090B (zh) 2023-09-06 2023-09-06 计算装置以及控制计算装置中的计算核的能耗的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311148708.7A CN116881090B (zh) 2023-09-06 2023-09-06 计算装置以及控制计算装置中的计算核的能耗的方法

Publications (2)

Publication Number Publication Date
CN116881090A true CN116881090A (zh) 2023-10-13
CN116881090B CN116881090B (zh) 2024-01-26

Family

ID=88272140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311148708.7A Active CN116881090B (zh) 2023-09-06 2023-09-06 计算装置以及控制计算装置中的计算核的能耗的方法

Country Status (1)

Country Link
CN (1) CN116881090B (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020116562A1 (en) * 2001-02-16 2002-08-22 Mathuna Padraig Gerard O Bus bandwidth consumption profiler
CN101446845A (zh) * 2008-12-19 2009-06-03 那微微电子科技(上海)有限公司 频率调节装置
CN101799526A (zh) * 2009-02-06 2010-08-11 杭州中科微电子有限公司 一种gps接收机中高精度的rtc电路的校准方法及其模块
US20120197953A1 (en) * 2011-01-31 2012-08-02 Samsung Electronics Co., Ltd Montgomery inverse calculation device and method of calculating montgomery inverse using the same
CN102759979A (zh) * 2011-04-29 2012-10-31 国际商业机器公司 一种虚拟机能耗估计方法及装置
CN103294623A (zh) * 2013-03-11 2013-09-11 浙江大学 一种可配置simd系统的多线程调度电路
CN105809236A (zh) * 2016-03-08 2016-07-27 武汉梦芯科技有限公司 一种支持sim卡功能的系统级芯片及实现sim卡功能的方法
CN109828744A (zh) * 2019-01-18 2019-05-31 东北师范大学 一种基于fpga的可配置浮点向量乘法ip核
CN110297688A (zh) * 2018-03-22 2019-10-01 龙芯中科技术有限公司 一种硬件计数装置、方法以及处理器
CN110832434A (zh) * 2017-07-01 2020-02-21 微软技术许可有限责任公司 针对节能性能使用有效利用率进行核心频率管理
CN112051890A (zh) * 2020-08-27 2020-12-08 海光信息技术有限公司 I2c总线的时钟控制方法、主设备及连接i2c总线的设备系统
CN112051889A (zh) * 2020-08-27 2020-12-08 海光信息技术有限公司 I2c总线的时钟频率自适应调整方法、主设备及设备系统
CN112418412A (zh) * 2020-11-20 2021-02-26 清华大学 触发装置及类脑计算系统
CN113126892A (zh) * 2020-01-15 2021-07-16 伊姆西Ip控股有限责任公司 控制存储系统方法、电子设备和计算机程序产品
US20210390065A1 (en) * 2020-06-15 2021-12-16 SK Hynix Inc. Memory device and method of operating the same
CN114510450A (zh) * 2021-05-25 2022-05-17 无锡沐创集成电路设计有限公司 加密算法的加速计算方法、装置和阵列单元算子系统
CN114730263A (zh) * 2019-12-11 2022-07-08 华为技术有限公司 一种处理器及降低功耗的方法
CN114879832A (zh) * 2022-05-20 2022-08-09 昆仑芯(北京)科技有限公司 用于运算装置的功耗控制方法、装置、芯片、设备及介质
CN115658440A (zh) * 2022-04-11 2023-01-31 摩尔线程智能科技(北京)有限责任公司 片上功耗控制电路、芯片以及功耗控制方法
CN115994040A (zh) * 2023-02-09 2023-04-21 上海壁仞智能科技有限公司 计算系统以及进行数据广播和数据归约的方法及存储介质
CN116382622A (zh) * 2023-02-22 2023-07-04 上海清华国际创新中心 基于张量计算核心的张量数据处理方法及张量计算核心
CN116400884A (zh) * 2023-02-02 2023-07-07 清华大学 乘加器的控制方法、装置、计算机设备和存储介质
CN116662255A (zh) * 2023-06-29 2023-08-29 贵州电网有限责任公司 结合超越函数硬件加速器的risc-v处理器实现方法及系统

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020116562A1 (en) * 2001-02-16 2002-08-22 Mathuna Padraig Gerard O Bus bandwidth consumption profiler
CN101446845A (zh) * 2008-12-19 2009-06-03 那微微电子科技(上海)有限公司 频率调节装置
CN101799526A (zh) * 2009-02-06 2010-08-11 杭州中科微电子有限公司 一种gps接收机中高精度的rtc电路的校准方法及其模块
US20120197953A1 (en) * 2011-01-31 2012-08-02 Samsung Electronics Co., Ltd Montgomery inverse calculation device and method of calculating montgomery inverse using the same
CN102759979A (zh) * 2011-04-29 2012-10-31 国际商业机器公司 一种虚拟机能耗估计方法及装置
CN103294623A (zh) * 2013-03-11 2013-09-11 浙江大学 一种可配置simd系统的多线程调度电路
CN105809236A (zh) * 2016-03-08 2016-07-27 武汉梦芯科技有限公司 一种支持sim卡功能的系统级芯片及实现sim卡功能的方法
CN110832434A (zh) * 2017-07-01 2020-02-21 微软技术许可有限责任公司 针对节能性能使用有效利用率进行核心频率管理
CN110297688A (zh) * 2018-03-22 2019-10-01 龙芯中科技术有限公司 一种硬件计数装置、方法以及处理器
CN109828744A (zh) * 2019-01-18 2019-05-31 东北师范大学 一种基于fpga的可配置浮点向量乘法ip核
CN114730263A (zh) * 2019-12-11 2022-07-08 华为技术有限公司 一种处理器及降低功耗的方法
CN113126892A (zh) * 2020-01-15 2021-07-16 伊姆西Ip控股有限责任公司 控制存储系统方法、电子设备和计算机程序产品
US20210390065A1 (en) * 2020-06-15 2021-12-16 SK Hynix Inc. Memory device and method of operating the same
CN112051890A (zh) * 2020-08-27 2020-12-08 海光信息技术有限公司 I2c总线的时钟控制方法、主设备及连接i2c总线的设备系统
CN112051889A (zh) * 2020-08-27 2020-12-08 海光信息技术有限公司 I2c总线的时钟频率自适应调整方法、主设备及设备系统
CN112418412A (zh) * 2020-11-20 2021-02-26 清华大学 触发装置及类脑计算系统
CN114510450A (zh) * 2021-05-25 2022-05-17 无锡沐创集成电路设计有限公司 加密算法的加速计算方法、装置和阵列单元算子系统
CN115658440A (zh) * 2022-04-11 2023-01-31 摩尔线程智能科技(北京)有限责任公司 片上功耗控制电路、芯片以及功耗控制方法
CN114879832A (zh) * 2022-05-20 2022-08-09 昆仑芯(北京)科技有限公司 用于运算装置的功耗控制方法、装置、芯片、设备及介质
CN116400884A (zh) * 2023-02-02 2023-07-07 清华大学 乘加器的控制方法、装置、计算机设备和存储介质
CN115994040A (zh) * 2023-02-09 2023-04-21 上海壁仞智能科技有限公司 计算系统以及进行数据广播和数据归约的方法及存储介质
CN116382622A (zh) * 2023-02-22 2023-07-04 上海清华国际创新中心 基于张量计算核心的张量数据处理方法及张量计算核心
CN116662255A (zh) * 2023-06-29 2023-08-29 贵州电网有限责任公司 结合超越函数硬件加速器的risc-v处理器实现方法及系统

Also Published As

Publication number Publication date
CN116881090B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US11442779B2 (en) Method, device and computer program product for determining resource amount for dedicated processing resources
CN112508768B (zh) 单算子多模型流水线推理方法、系统、电子设备及介质
US10831958B2 (en) Integrated circuit design with optimized timing constraint configuration
CN112685224A (zh) 任务管理的方法、设备和计算机程序产品
CN112347645B (zh) 堆芯栅元燃耗特性的重构方法及装置
CN117827463A (zh) 用于进行注意力运算的方法、设备和存储介质
CN112818387A (zh) 模型参数调整的方法、设备、存储介质及程序产品
CN117435855A (zh) 用于进行卷积运算的方法、电子设备和存储介质
CN117707791A (zh) 用于进行注意力运算的方法、设备和存储介质
CN116881090B (zh) 计算装置以及控制计算装置中的计算核的能耗的方法
CN115314121A (zh) 量子通信方法、装置及电子设备
CN113220501B (zh) 用于数据备份的方法、设备和计算机程序产品
CN114595047A (zh) 一种批量任务处理方法和装置
JP2022024080A (ja) ニューラルネットワークの積和演算方法及び装置
CN117934323B (zh) 图像生成方法、装置、电子设备及存储介质
US11989263B2 (en) Method, electronic device, and computer program product for data processing
US11620132B2 (en) Reusing an operand received from a first-in-first-out (FIFO) buffer according to an operand specifier value specified in a predefined field of an instruction
CN114637560B (zh) 设备管理方法、电子设备和计算机程序产品
CN111831473B (zh) 备份管理的方法、设备和计算机程序产品
US11340825B1 (en) Method, device, and computer program product for managing storage system
CN113015063B (zh) Cic滤波器、抽取滤波器及麦克风
CN115061722B (zh) 用于为应用的新版本配置资源的方法、设备和介质
CN115280290B (zh) 部分计算机处理器核关闭
CN118312394A (zh) 算子优化的评价方法及装置
CN117369768A (zh) 由运算装置执行的运算方法及装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 0106-508, 1st floor, No.26, shangdixin Road, Haidian District, Beijing 100085

Patentee after: Beijing Bilin Technology Development Co.,Ltd.

Country or region after: China

Patentee after: Shanghai Bi Ren Technology Co.,Ltd.

Address before: Room 0106-508, 1st floor, No.26, shangdixin Road, Haidian District, Beijing 100085

Patentee before: Beijing Bilin Technology Development Co.,Ltd.

Country or region before: China

Patentee before: Shanghai Bilin Intelligent Technology Co.,Ltd.