CN117350165A - 一种基于深度强化学习的3d芯片动态热管理方法 - Google Patents

Abstract

本发明涉及信息控制领域，设计了一种基于深度强化学习的3D芯片动态热管理方法，根据功耗仿真模型和温度仿真模型获得当前时刻的功耗与温度信息，作为输入传入到训练好的强化学习算法模型中，模型根据传入信息给出最优的电压‑频率对。所述电压‑频率对设为当前时刻的指导信息，芯片根据指导信息进行电压和频率的调节，然后计算下一时刻的功耗和温度，从而实现对芯片的动态热管理。本方法适用于由智能体和外部环境构成的系统，其中：所述智能体包括功耗预测模型、温度预测模型和强化学习算法模型；所述外部环境包括目标芯片和电压频率控制器；目标芯片为需要进行动态热管理的3D集成电路芯片；电压频率控制器用于调节芯片电压和频率。

Description

一种基于深度强化学习的3D芯片动态热管理方法

技术领域

本发明涉及信息控制领域，以及电子设计自动化领域，设计了一种基于深度强化学习的三维集成电路的动态热管理技术。

背景技术

现有技术

随着集成电路技术的发展，集成在芯片上的晶体管数量越来越多，功率密度也不断增加，随之产生的热量也不断增大。而在三维集成电路中，由于多层晶圆的垂直堆叠，导致芯片在更有限的空间内产生热量，散热更加困难。不断累积的热量不仅会降低芯片的性能，并可能引发系统崩溃，还会对芯片的物理结构造成不可逆的影响。

为了减小热量累积，国内外专家学者提出了不同的热管理技术。首先，从物理层面，可以通过增加散热器来增大芯片表面积，提高散热效率，同时利用风冷、水冷等散热方式来加快热量的传输与散发。然而对于移动处理器芯片，人们为了携带方便，往往更希望芯片的体积和重量往小的方向发展。因此，从软件的角度进行芯片热管理也是十分必要的。

软件层面的动态热管理方法主要包括负载迁移技术和动态电压频率调节（DVFS）。负载迁移技术通过将高温核心上的高负载任务与低温核心上的轻负载任务相迁移来最小化芯片整体温度。而DVFS则可以通过切换芯片的工作电压和时钟频率来降低能耗，从而保证芯片始终处于安全的温度范围内。

动态调频调压（DVFS）

动态调频调压技术是现代处理器全局电源管理的常见技术之一。处理器通过该技术可以根据实际需要自动实时地调整电压与频率，以减少由处理器产生的功耗或者延长高频率的持续时间并增加处理器的性能。动态调频调压有助于节约移动设备上的电池电量成本并在较低工作量的情况下降低冷却成本和噪声。

传统的DVFS策略中，Isci 在文章《An analysis of efficient multicoreglobal power management policies: Maximizing performance for a given powerbudget》提出了 MaxBIPS 算法，该算法计算芯片上可用电压和频率的每种组合性能和功耗，由此来决定电压与频率。假设 DVFS 可以设置为 p 个离散级别，则对于具有 n 个内核的 CMP 有 pⁿ种可能的功率设置。对于每个功率设置选项，该算法需要将每个内核的计算出的性能和功率求和以确定芯片的吞吐量和功率，这需要 O(n) 时间。尽管 MaxBIPS 在DVFS 分配方面非常有效，但显而易见的，算法复杂度是不能接受的。此外还有贪婪算法，贪婪算法是一种基础的电源管理方法，该方法利用了有关全局电源管理的关键直觉来获得最大吞吐量。本质上，通过将功率转移到可以单独产生最高吞吐量的应用程序来最大化性能。电压频率对按吞吐量对进行排序，并从排名最高的对开始，将内核贪婪地设置为最高电压/频率设置，然后逐渐降级，直到根据电压对应的性能/功率模型达到功率预算为止。由于贪婪算法最复杂的步骤是按吞吐量对应用程序/核心对进行排序，因此该算法的复杂度为 O(nlog₂n)。

强化学习

动态调频调压技术是在严格的能源和功耗密度约束下实现性能最大化，解决的是关于性能、功耗和温度的优化问题。因此，它的核心是调节电压频率的控制策略。

强化学习(Reinforcement Leaning)任务是智能体(agent)模仿人类行为，在环境(environment)中根据状态(state)产生特定的动作(action)，不断试错并从错误中不断学习的算法，基础框架如图2所示。

传统的动态调频调压技术算法通常依赖于需要一定的先验知识的芯片热模型、工作量信息和要执行的应用程序，例如，瞬时能量消耗和平均能量消耗等。但是，这些先验信息并非总是可用的，即使有，也无法反映来自环境的时空的不确定性和变化性，比如，硬件区别、输入数据不同或工作负载变化等。

发明内容

发明目的

本发明的目的在于针对现有技术中算法复杂度高，且依赖于需要一定的先验知识的芯片热模型、工作量信息和要执行的应用程序，提出一种基于深度强化学习的3D-IC动态热管理方法。该方法根据热仿真模型和功耗仿真模型来预测芯片各位置的温度与功耗，通过基于深度强化学习的DVFS算法调控芯片能耗，从而将芯片温度保持在一定范围内，达到动态热管理的效果。

技术方案

一种基于深度强化学习的3D芯片动态热管理方法，其特征在于，适用于由智能体和外部环境构成的系统，其中：所述智能体包括功耗预测模型、温度预测模型和强化学习算法模型；所述外部环境包括目标芯片和电压频率控制器；目标芯片为需要进行动态热管理的3D集成电路芯片；电压频率控制器用于调节芯片电压和频率；工作流程包括以下步骤：

步骤1，智能体在第n轮标定实验中收集当前时刻的电压和频率/>；

步骤2，功耗仿真模型和温度仿真模型根据电压和频率/>计算出芯片当前的功耗/>和温度/>分布情况作为系统状态/>；

步骤3，将系统状态输入到神经网络中，神经网络计算下一时刻需要采取的动作,表示神经网络在当前参数/>下选取动作a能够使系统在当前状态下获得最大Q值具体输出内容包括需要将芯片调节到的电压/>和频率/>水平；

步骤4，电压频率控制器执行动作，将芯片的电压和频率调节到神经网络给出的动作水平；执行完毕后根据芯片当前的运行状态/>与上一时刻的状态对比，给出回报奖励/>，同时系统进入下一状态。具体的奖励函数设置如下：

其中表示芯片最大运行功耗，/>表示芯片当前功耗，k为惩罚因子，用来平衡功耗与温度的权值，/>表示芯片当前时刻全部位置的最大温度；

步骤5，判断当前是否处于训练阶段。若是训练阶段，则进入步骤6；反之，即说明当前正在使用训练好的神经网络进行决策，则说明已得到合适的动作指导，流程结束;

步骤6，智能体将本次的经验样本存入到经验池中;

步骤7，预测神经网络和目标神经网络从经验池中采样一批过往的经验，按照公式来计算Q值，根据Q值来计算损失函数，损失函数公式如下：；

步骤8，预测神经网络根据上述的损失函数采取随机梯度下降算法更新自身的参数θ，具体的公式如下：

步骤9，重复执行步骤1到步骤8，直至达到预先设定的精度值。

进一步的，所述强化学习算法模型采用基于DQN的神经网络实现，分为预测神经网络和目标预测神经网络；强化学习算法模型的训练环节中，外部环境进行N轮的标定实验执行工作y(n)，每个轮次外部环境（即芯片）会将自己的状态保存在经验池中，预测神经网络从经验池中接收当前时刻的状态s和动作a，并计算出相应Q值作为损失函数的输入，目标神经网络从经验池中接收下一时刻的状态s’，并计算出相应Q’作为损失函数的另一项输入，另外，损失函数再从经验池中获取当前的奖励r，计算出策略梯度并更新预测神经网络的参数，从而提高预测神经网络的水平；目标神经网络每隔N次实验后复制预测神经网络的参数，提高目标神经网络的准确性；而预测神经网络在新的目标神经网络的基础上进行新的提高；预测神经网络应在N次训练后实现收敛。

进一步的，所述预测神经网络包括输入层、隐藏层和输出层，具体构建步骤如下：

步骤1，本发明中状态空间包括芯片的功耗和温度，维数为2，因此构建具有2个神经元的输入层；

步骤2，构建一个包含L个神经元的隐藏层，与输入层以全连接的方式连接；其中隐藏层神经元最佳数量L需要不断实验获得，每当出现欠拟合情况就添加神经元数量，过拟合则减少神经元数量；

步骤3，神经网络的输出包括芯片下一时刻的电压和频率，因此输出层包含2个神经元；与隐藏层以全连接的方式连接。

本发明的有益效果：

首先，将深度强化学习应用到DVFS算法中，可以大大降低算法的复杂度，缩短决策时间。

第二，本发明的强化学习算法模型能够有效的应用在不同的场景下，适应性更强。

第三，本发明的强化学习算法模型的奖励函数可以根据实际需求进行调控，具有较强的灵活性。

附图说明

图1 本发明应用的3D芯片的物理结构图

图2 本发明实施例智能体与外部环境关系图

图3 本发明实施例DQN神经网络训练示意图

图4 本发明算法流程图

图5 本发明实施例深度神经网络结构示意图

具体实施方式

下面将结合具体实施例及其附图对本申请提供的技术方案作进一步说明。结合下面说明，本申请的优点和特征将更加清楚。

需要说明的是，本申请的实施例有较佳的实施性，并非是对本申请任何形式的限定。本申请实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。本申请优选实施方式的范围也可以包括另外的实现，且这应被本申请实施例所属技术领域的技术人员所理解。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限定。因此，示例性实施例的其它示例可以具有不同的值。

本申请的附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本申请实施例的目的，并非是限定本申请可实施的限定条件。任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的效果及所能达成的目的下，均应落在本申请所揭示的技术内容所能涵盖的范围内。且本申请各附图中所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。

图1展示的是本发明所应用的具体的3D芯片的物理结构。

一种基于深度强化学习的3D芯片动态热管理方法，用于如图2所示的系统，系统包括智能体、外部环境，其中：

所述智能体包括功耗预测模型、温度预测模型和强化学习算法模型。

所述功耗预测模型可以根据芯片当前运行状态推断出各个模块的功耗。

所述温度预测模型可以根据芯片本身材料的热力学参数和各模块功耗计算出整个电路的温度分布情况。

其中功耗预测模型和温度预测模型皆视为已有工具。

所述强化学习算法模型为基于DQN的神经网络，基于本发明提出的方法设计。

所述外部环境包括目标芯片（3D集成电路）和电压频率控制器；目标芯片为需要进行动态热管理的3D集成电路芯片；电压频率控制器用于调节芯片电压和频率。

智能体从外部环境中获取芯片当前时刻的运行状态，即芯片各模块的电压和频率，然后通过功耗预测模型、温度预测模型分别计算出当前时刻芯片各模块的功耗与温度，作为输入传入强化学习算法模型，强化学习算法模型做出决策，给出下一时刻的最佳电压和频率。

当电压频率控制器接收到强化学习算法模型给出的电压和频率信号时，会将芯片当前的电压和频率调节到该值，并传回智能体，作为下一次计算的输入值。

本发明的具体实施流程为：首先根据功耗仿真模型和温度仿真模型获得当前时刻的功耗与温度信息，作为输入传入到训练好的强化学习算法模型中，模型根据传入信息给出最优的电压-频率对。所述电压-频率对设为当前时刻的指导信息，芯片根据指导信息进行电压和频率的调节，然后计算下一时刻的功耗和温度，从而实现对芯片的动态热管理。

强化学习算法模型的训练环节如图3所示，强化学习算法模型包括预测神经网络和目标神经网络；在该环节中，会进行N轮的标定实验执行工作y(n)，每个轮次外部环境（即芯片）会将自己的状态保存在经验池中，预测神经网络从经验池中接收当前时刻的状态s和动作a，并计算出相应Q值作为损失函数的输入，目标神经网络从经验池中接收下一时刻的状态s’，并计算出相应Q’作为损失函数的另一项输入，另外，损失函数再从经验池中获取当前的奖励r，计算出策略梯度并更新预测神经网络的参数，从而提高预测神经网络的水平。目标神经网络每隔N次实验后复制预测神经网络的参数，提高目标神经网络的准确性。而预测神经网络在新的目标神经网络的基础上进行新的提高。预测神经网络应在N次训练后实现收敛。

通过对强化学习算法模型进行训练，生成一个可以适应特定硬件和工作环境的模型。

本发明具体的算法流程如图4所示，具体步骤如下：

步骤1，智能体在第n轮标定实验中收集当前时刻的电压和频率/>。

步骤2，功耗仿真模型和温度仿真模型根据电压和频率/>计算出芯片当前的功耗/>和温度/>分布情况作为系统状态/>。

步骤3，将系统状态输入到神经网络中，神经网络计算下一时刻需要采取的动作,表示神经网络在当前参数/>下选取动作a能够使系统在当前状态下获得最大Q值具体输出内容包括需要将芯片调节到的电压/>和频率/>水平。

步骤4，电压频率控制器执行动作，将芯片的电压和频率调节到神经网络给出的动作水平。执行完毕后根据芯片当前的运行状态/>与上一时刻的状态对比，给出回报奖励/>，同时系统进入下一状态。具体的奖励函数设置如下：

其中表示芯片最大运行功耗，/>表示芯片当前功耗，k为惩罚因子，用来平衡功耗与温度的权值，/>表示芯片当前时刻全部位置的最大温度。

步骤5，判断当前是否处于训练阶段。若是训练阶段，则进入步骤6；反之，即说明当前正在使用训练好的神经网络进行决策，则说明已得到合适的动作指导，流程结束。

步骤6，智能体将本次的经验样本存入到经验池中.

步骤7，预测神经网络和目标神经网络从经验池中采样一批过往的经验，按照公式来计算Q值，根据Q值来计算损失函数，损失函数公式如下：

步骤8，预测神经网络根据上述的损失函数采取随机梯度下降算法更新自身的参数θ，具体的公式如下：

步骤9，重复执行步骤1到步骤8，直至达到预先设定的精度值。

本发明中的神经网络(预测神经网络和目标神经网络)结构如图5所示，包括输入层、隐藏层和输出层，具体构建步骤如下：

步骤1，本发明中状态空间包括芯片的功耗和温度，维数为2，因此构建具有2个神经元的输入层。

步骤2，构建一个包含L个神经元的隐藏层，与输入层以全连接的方式连接。其中隐藏层神经元最佳数量L需要不断实验获得，每当出现欠拟合情况就添加神经元数量，过拟合则减少神经元数量。本实施例中隐藏层神经元数量为4个。

步骤3，神经网络的输出包括芯片下一时刻的电压和频率，因此输出层包含2个神经元。与隐藏层以全连接的方式连接。

上述描述仅是对本申请较佳实施例的描述，并非是对本申请范围的任何限定。任何熟悉该领域的普通技术人员根据上述揭示的技术内容做出的任何变更或修饰均应当视为等同的有效实施例，均属于本申请技术方案保护的范围。

说明书附表

Claims (3)

1.一种基于深度强化学习的3D芯片动态热管理方法，其特征在于，适用于由智能体和外部环境构成的系统，其中：所述智能体包括功耗预测模型、温度预测模型和强化学习算法模型；所述外部环境包括目标芯片和电压频率控制器；目标芯片为需要进行动态热管理的3D集成电路芯片；电压频率控制器用于调节芯片电压和频率；工作流程包括以下步骤：

步骤1，智能体在第n轮标定实验中收集当前时刻的电压和频率/>；

步骤2，功耗仿真模型和温度仿真模型根据电压和频率/>计算出芯片当前的功耗/>和温度/>分布情况作为系统状态/>；

步骤3，将系统状态输入到神经网络中，神经网络计算下一时刻需要采取的动作,表示神经网络在当前参数/>下选取动作a能够使系统在当前状态下获得最大Q值具体输出内容包括需要将芯片调节到的电压/>和频率/>水平；

步骤4，电压频率控制器执行动作，将芯片的电压和频率调节到神经网络给出的动作水平；执行完毕后根据芯片当前的运行状态/>与上一时刻的状态对比，给出回报奖励/> ，同时系统进入下一状态；具体的奖励函数设置如下：

其中表示芯片最大运行功耗，/>表示芯片当前功耗，k为惩罚因子，用来平衡功耗与温度的权值，/>表示芯片当前时刻全部位置的最大温度；

步骤5，判断当前是否处于训练阶段，若是训练阶段，则进入步骤6；反之，即说明当前正在使用训练好的神经网络进行决策，则说明已得到合适的动作指导，流程结束;

步骤6，智能体将本次的经验样本存入到经验池中;

步骤7，预测神经网络和目标神经网络从经验池中采样一批过往的经验，按照公式来计算Q值，根据Q值来计算损失函数，损失函数公式如下：；

步骤8，预测神经网络根据上述的损失函数采取随机梯度下降算法更新自身的参数θ，具体的公式如下：

步骤9，重复执行步骤1到步骤8，直至达到预先设定的精度值。

2.如权利要求1所述一种基于深度强化学习的3D芯片动态热管理方法，其特征在于，，所述强化学习算法模型采用基于DQN的神经网络实现，分为预测神经网络和目标预测神经网络；强化学习算法模型的训练环节中，外部环境进行N轮的标定实验执行工作y(n)，每个轮次外部环境（即芯片）会将自己的状态保存在经验池中，预测神经网络从经验池中接收当前时刻的状态s和动作a，并计算出相应Q值作为损失函数的输入，目标神经网络从经验池中接收下一时刻的状态s’，并计算出相应Q’作为损失函数的另一项输入，另外，损失函数再从经验池中获取当前的奖励r，计算出策略梯度并更新预测神经网络的参数，从而提高预测神经网络的水平；目标神经网络每隔N次实验后复制预测神经网络的参数，提高目标神经网络的准确性；而预测神经网络在新的目标神经网络的基础上进行新的提高；预测神经网络在N次训练后实现收敛。

3.如权利要求1所述一种基于深度强化学习的3D芯片动态热管理方法，其特征在于，所述预测神经网络包括输入层、隐藏层和输出层，具体构建步骤如下：

步骤1，本发明中状态空间包括芯片的功耗和温度，维数为2，因此构建具有2个神经元的输入层；

步骤2，构建一个包含L个神经元的隐藏层，与输入层以全连接的方式连接；其中隐藏层神经元最佳数量L需要不断实验获得，每当出现欠拟合情况就添加神经元数量，过拟合则减少神经元数量；

步骤3，神经网络的输出包括芯片下一时刻的电压和频率，因此输出层包含2个神经元；与隐藏层以全连接的方式连接。