CN113760660B - 一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统 - Google Patents
一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统 Download PDFInfo
- Publication number
- CN113760660B CN113760660B CN202111043131.4A CN202111043131A CN113760660B CN 113760660 B CN113760660 B CN 113760660B CN 202111043131 A CN202111043131 A CN 202111043131A CN 113760660 B CN113760660 B CN 113760660B
- Authority
- CN
- China
- Prior art keywords
- temperature
- hot spot
- prediction
- tracking model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统,其中所述方法采用的模型通过长短时记忆神经网络层与全连接层相结合实现,其中长短时记忆神经网络层接收历史温度信息作为输入;全连接层输出多个时间长度后的预测温度信息。本发明提出的方法可为多核芯片中动态温度管理模型提供时间与空间的热分析:即预测节点的温度变化和三维多核芯片的温度分布。本发明通过神经网络对三维多核芯片中温度变化模式的学习能确定潜在热点的位置,较为准确地对每个节点进行多步长温度预测,从而便于动态温度管理模型对芯片整体温度分布情况的掌握,进一步提前进行温度调控,避免热点的产生。
Description
技术领域
本发明涉及一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统,特别是涉及三维多核芯片温度预测与热点追踪技术领域。
背景技术
目前,类似与系统级芯片的多核系统越来越成为实现多功能集成和高性能计算的重要手段。随着半导体技术的快速发展带来的芯片特征尺寸微缩,芯片单位面积上能集成的核心数目快速增加。随着核心数目的增加,核心之间的信息传递成为了限制系统性能的重要因素。目前的多核系统提出了一类基于网格的互联架构,采用分组路由的方式来解决多核处理器各个核心之间的通信问题。这类基于网格的片上互联多核通信解决方案被称为多核芯片。
与此同时,多核处理器核心数增加还带来了片上功耗的增加与温度的累积,尤其在三维的多核系统和多核芯片中热耗散变得更加困难,这对多核芯片的通信质量造成不利影响。其中更坏的一种情况是由于流量分布不均匀导致某些节点短时间内接收到了大量的数据包,成为了局部过热的热点。热点的存在不仅会导致通信延迟大幅度提高,还会造成系统性能下降,更严重的则会影响硬件系统的安全性。为了应对上述问题,近年来提出了很多动态温度管理方法来控制多核芯片的整体温度,优化温度分布状况。其中的主动动态温度管理方法基于温度的预测值来预警危险温度的产生,掌握芯片整体的温度分布情况,提前进行温度调控,避免热点的产生。因此动态温度管理方法非常依赖温度的预测值,精确高效的三维网络热分布估计与预测对动态温度管理的性能至关重要。
循环神经网络(Recurrent Neural Network, RNN)是一类善于抓取时间序列特征的神经网络,能够学习变量随时间变化的模式。传统的基于线性回归的在线温度预测与热点追踪模型适用于往后一步的温度预测。在较长的预测步长下,传统在线温度预测与热点追踪模型需要做多次迭代,占用大量的运算资源,却难以取得很高的精度。
发明内容
发明目的:提出一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统,以解决现有技术存在的上述问题。基于长短时记忆神经网络与全连接层构建的神经网络对已有数据集进行训练,学习多核芯片温度变化和热点变化的模式。同时通过连接三维多核芯片节点的温度传感器与全局的动态温度管理模型,为动态温度管理模型进行时间与空间的热分析,确定潜在热点的位置,准确地对每个结点进行多步长温度预测,有效地提高下一级动态温度管理的性能。
技术方案:第一方面,提出了一种基于长短时记忆神经网络的三维多核芯片温度预测方法,该方法具体包括以下步骤:
步骤1、由至少一个温度传感器组成温度测量组进行温度测量;
步骤2、构建用于预测三维多核芯片温度的在线温度预测与热点追踪模型;
步骤3、所述在线温度预测与热点追踪模型接收所述温度测量组测量到的温度数据,进行温度值的分析预测;
步骤4、根据预测值判断当前核节点的温度,并在温度过高时进行温度调控。
其中,所述在线温度预测与热点追踪模型包括长短时记忆神经网络层与和全连接层,所述长短时记忆神经网络层用于接收温度测量组测量到的温度数据,并与全连接层相连。
通过对芯片核温的预测,可以便于动态温度管理模型对芯片整体温度分布情况的掌握,从而提前进行温度调控,避免热点的产生。
在第一方面的一些可实现方式中,为了提高步骤2中构建的在线温度预测与热点追踪模型的使用性能,在构建好在线温度预测与热点追踪模型后,对其进行性能训练。
进一步的,通过步骤1中的温度测量组收集多核温度信息,建立数据集,随后进行数据集处理,将所述数据集划分为训练集与测试集,通过在线温度预测与热点追踪模型的训练与参数选择,完成在线温度预测与热点追踪模型的确定。
在第一方面的一些可实现方式中,由于从多次测试中得到的数据集是每一时刻所有网络节点的温度信息的集合,其基本组成是预设时刻的整体片上温度分布,不适合作为温度预测网络训练输入;因此,对采集到的数据进行进一步的数据处理。
进一步的,在数据处理步骤中将输出文本中的数据提取出来,存入矩阵中,并将数据集转变成每一个点温度变化的集合,所述温度变化的集合的基本组成是其中一个核的整个测试过程中的温度变化。
同理得到的各个核节点温度变化数据集,随后对温度变化数据集进行训练集与测试集的划分,并通过数据滑窗的方法来获取真正能直接放入网络中的数据,随后进行训练集与测试集的划分。
在第一方面的一些可实现方式中,对数据处理的过程进一步为:
针对一个核节点不同时刻采集到的温度数据,可以被视作一个向量M,即,从向量M中选取10个连续温度作为在线温度预测与热点追踪模型的输入值,以及6个步长之后温度值作为标签值,从而构建新的向量数据用于构建6步长的在线温度预测与热点追踪模型,即向量/>,/>,到/>;随后通过滑窗处理得到用于m步长的在线温度预测与热点追踪模型训练的数据。
在第一方面的一些可实现方式中,通过对所述在线温度预测与热点追踪模型的网络结构进行了优化,减少运行时的迭代次数,降低运算资源的占用。
进一步的,在线温度预测与热点追踪模型的内部网络包含10个长短时记忆神经网络层单元,每个单元使用128个隐藏层,全连接层包含128个神经元;其中,长短时记忆神经网络层单元内部使用门激活函数Sigmoid,状态激活函数Relu。
在第一方面的一些可实现方式中,步骤2和步骤3之间还包括步骤2.1、采用实验与试错的方法来确定所述在线温度预测与热点追踪模型的关键参数,从而提高所述在线温度预测与热点追踪模型的预测性能。
进一步的,训练过程中采用均方误差作为损失函数,并采用以下步骤进行优化,计算出最终的网络权重:
步骤2.1.1、设置算法变量;所述算法变量包括:步长因子、一阶矩衰减系数/>、二阶矩衰减系数/>、网络权值为/>下的随机目标函数/>;所述随机目标函数/>由所述损失函数获取;
步骤2.1.2、初始化相关变量;所述相关变量包括:网络权重向量、一阶矩向量、二阶矩向量/>、当前更新的步数/>;
步骤2.1.3、通过迭代的方式更新网络权重向量,直到网络权重向量/>收敛时,确定最终的网络权重;其中,通过迭代的方式更新网络权重向量/>的过程进一步如下:
步骤2.1.3.1、更新当前更新的步数t,即令:
步骤2.1.3.2、计算梯度,即:
式中,为目标函数/>在t时间对网络权值为/>所求的梯度;
步骤2.1.3.3、计算梯度的一阶矩,即:
式中,表示t时间时一阶矩向量;
步骤2.1.3.4、计算梯度的二阶矩,即:
式中,表示t时间时二阶矩向量;
步骤2.1.3.5、修正一阶矩,即:
式中,表示/>的偏执矫正;
步骤2.1.3.6、修正二阶矩,即:
式中,表示/>的偏执矫正;
步骤2.1.3.7、更新网络权值,即:
式中,表示t-1时刻的网络权值,/>表示步长因子;/>表示预设参数。
在第一方面的一些可实现方式中,将步骤2中构建好在线温度预测与热点追踪模型作为一个独立的处理单元部署在多核芯片中。
所述在线温度预测与热点追踪模型的前端连接所述温度测量组中的温度传感器。
所述在线温度预测与热点追踪模型后端连接主动动态温度管理模型。
通过接收温度传感器中的温度数据预测未来时刻的整体温度分布情况,从而进一步了解过热区域以及未来可能出现的热点的位置,并将结果输入主动动态温度管理模型进行温度调控。
第二方面,提出一种基于长短时记忆神经网络的三维多核芯片温度预测系统,该系统具体包括:
用于进行温度测量的第一模块;
用于构建在线温度预测与热点追踪模型的第二模块;
用于分析预测温度数据的第三模块;
用于进行温度调控的第四模块。
在第二方面的一些可实现方式中,所述第一模块中包括由至少一个温度传感器组成温度测量组,用于收集三维多核芯片的内部温度信息,以及构建数据集;所述第二模块构建用于预测三维多核芯片温度的在线温度预测与热点追踪模型,并在实际应用中,接收所述第一模块中采集到的温度数据;所述第三模块采用所述第二模块中构建的在线温度预测与热点追踪模型分析温度测量组测量到的温度数据,并输出对应的预测结果;所述第四模块根据所述第三模块输出的预测结果,判断当前核节点的温度与预设阈值的大小,并在温度过高时进行温度调控。
在第二方面的一些可实现方式中,所述在线温度预测与热点追踪模型内部采用长短时记忆神经网络层与全连接层相结合实现,长短时记忆神经网络层接收历史温度信息作为输入,全连接层输出与输入长短时记忆神经网络层数值相对应的预测温度信息。
为了提高在线温度预测与热点追踪模型的性能,在构建完在线温度预测与热点追踪模型后,还包括对其进行学习训练。
有益效果:本发明提出了一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统,通过组合长短时记忆神经网络层与全连接层的网络结构来优化网络结构,从而学习多核芯片中路由节点温度变化的模式,使得整体取得优秀的预测精度。
另一方面,本发明提出的基于长短时记忆神经网络的三维多核芯片温度预测方法及系统,在多步长温度预测精度方面相比传统的温度预测方法取得了很大的提升,并且能够在较短的响应时间内确定潜在热点的出现。其中,多步长预测意味着下一步的动态温度管理针对过热节点的出现能有更多的反应时间,性能进一步提高。
附图说明
图1为本发明基于长短时记忆神经网络的三维多核芯片温度预测方法的流程图。
图2为本发明实现的神经网络结构图。
图3为本发明方法实现的模型在多核芯片中的级联图。
图4为本发明方法与ARMA方法在多步长温度预测中均方误差对比图。
图5为本发明方法对热点的温度变化的预测图。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
实施例一
针对多核处理器核心数增加带来的片上功耗的增加与温度的累积,以及在三维的多核系统和多核芯片中热耗散变得更加困难,本实施例提出一种基于长短时记忆神经网络的三维多核芯片温度预测方法,通过长短时记忆神经网络层与全连接层相结合实现的方式,构建在线温度预测与热点追踪模型,进一步将长短时记忆神经网络层接收历史温度信息作为在线温度预测与热点追踪模型的输入,全连接层的输出作为在线温度预测与热点追踪模型的输出,另外,全连接层输出的结果为多个时间长度后的预测温度信息。为了提高在线温度预测与热点追踪模型的性能进一步对在线温度预测与热点追踪模型进行训练,具体的,在线温度预测与热点追踪模型的训练首先在多核芯片中进行应用测试,通过内置传感器收集多核温度信息,建立数据集,随后进行数据集处理,将其划分为训练集与测试集,通过在线温度预测与热点追踪模型的训练与参数选择,完成在线温度预测与热点追踪模型的确定。该模型可连接三维多核芯片节点的温度传感器与全局的动态温度管理模型,为动态温度管理模型进行时间与空间的热分析,进而预测节点的温度变化和三维多核芯片的温度分布。
在进一步的实施例中,该方法具体包括以下步骤:
步骤1、由至少一个温度传感器组成温度测量组进行温度测量;
步骤2、构建用于预测三维多核芯片温度的在线温度预测与热点追踪模型;
步骤3、 所述在线温度预测与热点追踪模型接收所述温度测量组测量到的温度数据,进行温度值的分析预测;
步骤4、根据预测值判断当前核节点的温度,并在温度过高时进行温度调控。
其中,所述在线温度预测与热点追踪模型包括长短时记忆神经网络层与和全连接层,所述长短时记忆神经网络层用于接收温度测量组测量到的温度数据,并与全连接层相连;所述全连接层用于输出与输入长短时记忆神经网络层数值相对应的预测温度信息。
通过对芯片核温的预测,可以便于动态温度管理模型对芯片整体温度分布情况的掌握,从而提前进行温度调控,避免热点的产生。
实施例二
在实施例一基础上的进一步实施例中,为了提高在线温度预测与热点追踪模型的使用性能,在构建好在线温度预测与热点追踪模型后,进一步对其进行性能训练。在多核芯片中进行应用测试,如图1所示,通过内置传感器收集多核温度信息,建立数据集,随后进行数据集处理,将其划分为训练集与测试集,通过在线温度预测与热点追踪模型的训练与参数选择,完成在线温度预测与热点追踪模型的确定。
具体的,在数据集建立的过程中,首先针对温度预测网络的实际应用场景,在多核芯片中运行不同的测试应用;其次通过传感器收集三维多核芯片的内部温度信息,构建数据集。
在进一步的实施例中,由于从多次测试中得到的数据集是每一时刻所有网络节点的温度信息的集合,其基本组成是某一时刻的整体片上温度分布,不适合作为温度预测网络训练输入。因此,本实施例对采集到的数据进行进一步的数据处理。
具体的,在数据处理步骤中将输出文本中的数据提取出来,存入矩阵中,并将数据集转变成每一个点温度变化的集合,其基本组成是某个点的整个测试过程中的温度变化。其次得到的各个节点温度变化数据集需要进行训练集与测试集划分,我们使用数据滑窗的方法来获取真正能直接放入网络中的数据,并进行训练集与测试集的划分。
优选实施例中,针对一个核节点不同时刻采集到的温度数据,可以被视作一个向量M,即,从向量M中选取10个连续温度作为在线温度预测与热点追踪模型的输入值,以及6个步长之后温度值作为标签值,从而构建新的向量数据用于构建6步长的在线温度预测与热点追踪模型,即向量/>,,到/>。通过这样滑窗数据处理的方式,可以在构建6步长在线温度预测与热点追踪模型的同时,根据需要进行调整。针对后续所需的训练集与测试集,具体的划分方式只需在/>到/>之间进行划分就可以。
实施例三
在实施例一基础上的进一步实施例中,在线温度预测与热点追踪模型包括长短时记忆神经网络层与和全连接层,与现有技术相比,为了更好的解决传统的基于线性回归的在线温度预测与热点追踪模型在较长的预测步长下,需要做多次迭代,导致占用大量的运算资源的同时,难以取得很高的精度问题。如图2所示,对在线温度预测与热点追踪模型的网络结构进行了优化。
具体的,在线温度预测与热点追踪模型的内部网络包含10个长短时记忆神经网络层单元,每个单元使用128个隐藏层,全连接层包含128个神经元。其中,长短时记忆神经网络层单元内部使用门激活函数Sigmoid和状态激活函数Relu。其中,Sigmoid作为一个平滑的阶梯函数,输出值在0到1之间,符合长短时记忆网络结构中门控的需要;状态激活函数Relu,输出值在0到1之间,不仅符合长短时记忆网络结构中对门控的需求,还能有效避免梯度消失的问题。使用以上两个激活函数可以获得较好的网络性能。相比传统线性回归算法实现温度预测,本实施例的网络结构权重参数数量较少,占用的系统资源也更少。
实施例四
在实施例一基础上的进一步实施例中,为了提高在线温度预测与热点追踪模型的预测性能,在在线温度预测与热点追踪模型训练的过程中,采用实验与试错的方法来确定关键参数,从而提高所述在线温度预测与热点追踪模型的预测性能;
进一步的,训练过程中采用均方误差作为损失函数,并采用以下步骤进行优化,计算出最终的网络权重:
步骤2.1.1、设置算法变量;所述算法变量包括:步长因子、一阶矩衰减系数/>、二阶矩衰减系数/>、网络权值为/>下的随机目标函数/>;所述随机目标函数/>由所述损失函数获取;
步骤2.1.2、初始化相关变量;所述相关变量包括:网络权重向量、一阶矩向量、二阶矩向量/>、当前更新的步数/>;
步骤2.1.3、通过迭代的方式更新网络权重向量,直到网络权重向量/>收敛时,确定最终的网络权重;其中,通过迭代的方式更新网络权重向量/>的过程进一步如下:
步骤2.1.3.1、更新当前更新的步数t,即令:
步骤2.1.3.2、计算梯度,即:
式中,为目标函数/>在t时间对网络权值为/>所求的梯度;
步骤2.1.3.3、计算梯度的一阶矩,即:
式中,表示t时间时一阶矩向量;
步骤2.1.3.4、计算梯度的二阶矩,即:
式中,表示t时间时二阶矩向量;
步骤2.1.3.5、修正一阶矩,即:
式中,表示/>的偏执矫正;
步骤2.1.3.6、修正二阶矩,即:
式中,表示/>的偏执矫正;
步骤2.1.3.7、更新网络权值,即:
式中,表示t-1时刻的网络权值,/>表示步长因子;/>表示预设参数。
对于训练中的两个参数:训练次数epoch和批处理尺寸batch size,训练次数epoch过大易出现过拟合,训练次数epoch过少会欠拟合;批处理尺寸batch size过小,训练时间过长并且出现梯度振荡,批处理尺寸batch size过大,可能出现局部最优的情况。因此通过组合测试,确定参数数值。在优选实施例中,首先对于训练次数epoch,设置训练次数epoch为100、200、300、400、500、600、700、800、900、1000,并计算测试集的均方误差,确定使测试集均方误差最小的训练次数epoch。进一步在确定训练次数epoch的基础上,设定batchsize为16、32、64、128、256,同理计算不同训练情况下测试集的均方误差,最终确定训练次数epoch和批处理尺寸batch size分别为500和128。
网络训练完毕后,在线温度预测与热点追踪模型的网络内部相应的权重参数也确定下来。如图3所示我们可以将得到的在线温度预测与热点追踪模型作为一个独立的处理单元部署在多核芯片中。该模型前端连接多核芯片每个路由节点的温度传感器,后端连接主动动态温度管理模型。在本实施例中提出的在线温度预测与热点追踪模型,可以做时间维度分析:针对某个节点做多步长温度预测,了解未来温度变化情况;也可以做空间维度分析:在对每个节点都应用预测网络后,可以预测片上每个节点的未来温度值,组合在一起确定未来三维温度分布矩阵,进一步能确定未来某一时刻整个系统温度最高的某个节点或者某一区域,了解过热区域以及未来可能出现的热点的位置,为后续应对措施的制定提供依据。
实施例五
在实施例一基础上的进一步实施例中,验证本发明提出的基于长短时记忆神经网络的三维多核芯片温度预测方法的有效性,在多核芯片中进行应用测试。优选实施例中,通过内置传感器收集多核温度信息,得到了79872个样本数据并建立数据集。同时,作为对比,选择一种常见的线性回归类温度预测方法:自动回归滑动平均(AutoRegressive MovingAverage, ARMA)模型,同样基于以上得到的数据集进行温度预测。
从图4中我们可以看到,发明提出的温度预测模型相比ARMA温度预测模型整体拥有更高的预测精度,并且随着预测步长的增加,预测精度的提升也更明显。ARMA温度预测模型假设温度的变化是一个稳态随机过程,但这一设定不适合有热点存在的多核芯片。多核芯片的热点漂移是随机的,并且温度变化较大,这样就给ARMA模型带来了很大的误差。其次一个固定参数的ARMA模型针对温度预测问题只能做单步预测,如果要做多步长预测则需要每次进行迭代,更新模型参数。这样则会造成误差累积,并且往后预测的步长越大,误差也越大。由图5所示,在热点处,热点的温度值变化跨度大,上升速度很快。本方法提出的预测模型在t时刻无法跟上温度变化的速度,在t+4时刻追上热点温度的变化。
实施例六
提出一种基于长短时记忆神经网络的三维多核芯片温度预测系统,用于实现实施例一中提出的一种基于长短时记忆神经网络的三维多核芯片温度预测方法,该系统具体包括:
用于进行温度测量的第一模块;
用于构建在线温度预测与热点追踪模型的第二模块;
用于分析预测温度数据的第三模块;
用于进行温度调控的第四模块。
在进一步的实施例中,第一模块中包括由至少一个温度传感器组成温度测量组,用于收集三维多核芯片的内部温度信息,以及构建数据集;第二模块构建用于预测三维多核芯片温度的在线温度预测与热点追踪模型,并在实际应用中,接收第一模块中采集到的温度数据;第三模块采用第二模块中构建的在线温度预测与热点追踪模型分析温度测量组测量到的温度数据,并输出对应的预测结果;第四模块根据第三模块输出的预测结果,判断当前核节点的温度与预设阈值的大小,并在温度过高时进行温度调控。
在进一步的实施例中,在线温度预测与热点追踪模型内部采用长短时记忆神经网络层与全连接层相结合实现,长短时记忆神经网络层接收历史温度信息作为输入,全连接层输出与输入的多个时间长度后相对应的预测温度信息。为了提高在线温度预测与热点追踪模型的性能,在构建完在线温度预测与热点追踪模型后,还包括对其进行学习训练。
具体的,模型的训练首先在多核芯片中进行应用测试,通过内置传感器收集多核温度信息,建立数据集,进一步进行数据集处理,训练集与测试集划分,模型训练与参数选择,模型确定;该模型可连接三维多核芯片节点的温度传感器与全局的动态温度管理模型,为动态温度管理模型进行时间与空间的热分析:预测节点的温度变化和三维多核芯片的温度分布。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上做出各种变化。
Claims (8)
1.一种基于长短时记忆神经网络的三维多核芯片温度预测方法,其特征在于,具体包括以下步骤:
步骤1、由至少一个温度传感器组成温度测量组进行温度测量;
步骤2、构建用于预测三维多核芯片温度的在线温度预测与热点追踪模型,并采用实验与试错的方法确定所述在线温度预测与热点追踪模型的关键参数;
训练过程中采用均方误差作为损失函数,并采用以下步骤进行优化,计算出最终的网络权重:
步骤2.1.1、设置算法变量;所述算法变量包括:步长因子、一阶矩衰减系数/>、二阶矩衰减系数/>、网络权值为/>下的随机目标函数/>;所述随机目标函数/>由所述损失函数获取;
步骤2.1.2、初始化相关变量;所述相关变量包括:网络权重向量、一阶矩向量/>、二阶矩向量/>、当前更新的步数/>;
步骤2.1.3、通过迭代的方式更新网络权重向量,直到网络权重向量/>收敛时,确定最终的网络权重;其中,通过迭代的方式更新网络权重向量/>的过程如下:
步骤2.1.3.1、更新当前更新的步数t,即令:
;
步骤2.1.3.2、计算梯度,即:
;
式中,为目标函数/>在t时间对网络权值为/>所求的梯度;
步骤2.1.3.3、计算梯度的一阶矩,即:
;
式中,表示t时间时一阶矩向量;
步骤2.1.3.4、计算梯度的二阶矩,即:
;
式中,表示t时间时二阶矩向量;
步骤2.1.3.5、修正一阶矩,即:
;
式中,表示/>的偏执矫正;
步骤2.1.3.6、修正二阶矩,即:
;
式中,表示/>的偏执矫正;
步骤2.1.3.7、更新网络权值,即:
;
式中,表示t-1时刻的网络权值,/>表示步长因子;/>表示预设参数;
步骤3、所述在线温度预测与热点追踪模型接收所述温度测量组测量到的温度数据,进行温度值的分析预测;
步骤4、根据预测值判断当前核节点的温度,并在温度过高时进行温度调控;
其中,所述在线温度预测与热点追踪模型包括长短时记忆神经网络层与和全连接层,所述长短时记忆神经网络层用于接收温度测量组测量到的温度数据,并与全连接层相连;
所述在线温度预测与热点追踪模型的前端连接所述温度测量组中的温度传感器;
所述在线温度预测与热点追踪模型后端连接主动动态温度管理模型;
通过接收温度传感器中的温度数据预测未来时刻的整体温度分布情况,了解过热区域以及未来可能出现的热点的位置,并将结果输入主动动态温度管理模型进行温度调控。
2.根据权利要求1所述的一种基于长短时记忆神经网络的三维多核芯片温度预测方法,其特征在于,为了提高步骤2中构建的在线温度预测与热点追踪模型的使用性能,在构建好在线温度预测与热点追踪模型后,对其进行性能训练;
通过步骤1中的温度测量组收集多核温度信息,建立数据集,随后进行数据集处理,将所述数据集划分为训练集与测试集,通过在线温度预测与热点追踪模型的训练与参数选择,完成在线温度预测与热点追踪模型的确定。
3.根据权利要求2所述的一种基于长短时记忆神经网络的三维多核芯片温度预测方法,其特征在于,由于从多次测试中得到的数据集是每一时刻所有网络节点的温度信息的集合,其组成是预设时刻的整体片上温度分布,不适合作为温度预测网络训练输入;因此,对采集到的数据进行数据处理;
在数据处理步骤中将温度测量组测量到的数据提取出来,存入矩阵中,并将数据集转变成每一个点温度变化的集合,所述温度变化的集合的组成是其中一个核的整个测试过程中的温度变化;
同理得到的各个核节点温度变化数据集,随后对温度变化数据集进行训练集与测试集的划分,并通过数据滑窗的方法来获取真正能直接放入网络中的数据,随后进行训练集与测试集的划分。
4.根据权利要求3所述的一种基于长短时记忆神经网络的三维多核芯片温度预测方法,其特征在于,对数据处理的过程为:
针对一个核节点不同时刻采集到的温度数据,被视作一个向量M,即,从向量M中选取10个连续温度作为在线温度预测与热点追踪模型的输入值,以及6个步长之后温度值作为标签值,从而构建新的向量数据用于构建6步长的在线温度预测与热点追踪模型,即向量/>,/>,到;随后通过滑窗处理得到用于m步长的在线温度预测与热点追踪模型训练的数据。
5.根据权利要求1所述的一种基于长短时记忆神经网络的三维多核芯片温度预测方法,其特征在于,通过对所述在线温度预测与热点追踪模型的网络结构进行了优化,减少运行时的迭代次数,降低运算资源的占用;
在线温度预测与热点追踪模型的内部网络包含10个长短时记忆神经网络层单元,每个单元使用128个隐藏层,全连接层包含128个神经元;其中,长短时记忆神经网络层单元内部使用门激活函数Sigmoid,状态激活函数Relu。
6.根据权利要求1所述的一种基于长短时记忆神经网络的三维多核芯片温度预测方法,其特征在于,将步骤2中构建好在线温度预测与热点追踪模型作为一个独立的处理单元部署在多核芯片中。
7.一种基于长短时记忆神经网络的三维多核芯片温度预测系统,用于实现权利要求1-6任意一项方法,其特征在于,具体包括:
用于进行温度测量的第一模块;
用于构建在线温度预测与热点追踪模型的第二模块;
用于分析预测温度数据的第三模块;
用于进行温度调控的第四模块;
所述第一模块中包括由至少一个温度传感器组成温度测量组,用于收集三维多核芯片的内部温度信息,以及构建数据集;所述第二模块构建用于预测三维多核芯片温度的在线温度预测与热点追踪模型,并在实际应用中,接收所述第一模块中采集到的温度数据;所述第三模块采用所述第二模块中构建的在线温度预测与热点追踪模型分析温度测量组测量到的温度数据,并输出对应的预测结果;所述第四模块根据所述第三模块输出的预测结果,判断当前核节点的温度与预设阈值的大小,并在温度过高时进行温度调控。
8.根据权利要求7所述的一种基于长短时记忆神经网络的三维多核芯片温度预测系统,其特征在于,
所述在线温度预测与热点追踪模型内部采用长短时记忆神经网络层与全连接层相结合实现,长短时记忆神经网络层接收历史温度信息作为输入,全连接层输出与输入长短时记忆神经网络层数值相对应的预测温度信息;
为了提高在线温度预测与热点追踪模型的性能,在构建完在线温度预测与热点追踪模型后,还包括对其进行学习训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111043131.4A CN113760660B (zh) | 2021-09-07 | 2021-09-07 | 一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111043131.4A CN113760660B (zh) | 2021-09-07 | 2021-09-07 | 一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113760660A CN113760660A (zh) | 2021-12-07 |
CN113760660B true CN113760660B (zh) | 2023-08-11 |
Family
ID=78793330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111043131.4A Active CN113760660B (zh) | 2021-09-07 | 2021-09-07 | 一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113760660B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4209781A1 (en) * | 2022-01-10 | 2023-07-12 | Mettler-Toledo GmbH | Computer-implemented method, system and computer program for thermal analysis of a sample of a substance |
CN115048861B (zh) * | 2022-06-06 | 2023-06-20 | 中国人民解放军海军工程大学 | 3d芯片嵌入式液冷通道流量的智能化分配方法及系统 |
CN115361174B (zh) * | 2022-07-26 | 2024-02-23 | 电子科技大学 | 一种基于热成像的辅助认证方法 |
CN116860097B (zh) * | 2023-09-01 | 2023-11-21 | 中诚华隆计算机技术有限公司 | 一种3d芯片的自适应电源管理方法 |
CN117330932A (zh) * | 2023-09-28 | 2024-01-02 | 国芯微(重庆)科技有限公司 | 一种芯片测试温控方法及系统 |
CN117827466B (zh) * | 2024-03-04 | 2024-06-11 | 南京宁麒智能计算芯片研究院有限公司 | 一种多核芯片的动态温度管理方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685207A (zh) * | 2018-11-27 | 2019-04-26 | 电子科技大学 | 一种基于循环神经网络的多核芯片热管理方法 |
CN112084701A (zh) * | 2020-08-12 | 2020-12-15 | 扬州大学 | 一种基于数据驱动的系统瞬态温度预测方法 |
CN112926774A (zh) * | 2021-02-23 | 2021-06-08 | 中国石油大学(华东) | 基于长短时记忆神经网络的地热产能预测方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7347621B2 (en) * | 2004-07-16 | 2008-03-25 | International Business Machines Corporation | Method and system for real-time estimation and prediction of the thermal state of a microprocessor unit |
US20150300888A1 (en) * | 2014-04-21 | 2015-10-22 | National Taiwan University | Temperature prediction system and method thereof |
-
2021
- 2021-09-07 CN CN202111043131.4A patent/CN113760660B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685207A (zh) * | 2018-11-27 | 2019-04-26 | 电子科技大学 | 一种基于循环神经网络的多核芯片热管理方法 |
CN112084701A (zh) * | 2020-08-12 | 2020-12-15 | 扬州大学 | 一种基于数据驱动的系统瞬态温度预测方法 |
CN112926774A (zh) * | 2021-02-23 | 2021-06-08 | 中国石油大学(华东) | 基于长短时记忆神经网络的地热产能预测方法及系统 |
Non-Patent Citations (1)
Title |
---|
温度与负载感知的三维片上网络算法与架构设计;傅玉祥;《中国博士学位论文全文数据库 信息科技辑》(第04期);I135-26 * |
Also Published As
Publication number | Publication date |
---|---|
CN113760660A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113760660B (zh) | 一种基于长短时记忆神经网络的三维多核芯片温度预测方法及系统 | |
CN108897286B (zh) | 一种基于分散式非线性动态关系模型的故障检测方法 | |
Han et al. | Adaptive computation algorithm for RBF neural network | |
KR102103006B1 (ko) | 기계학습모델 기반 설비 기기의 최적 운전 방법 및 장치 | |
CN110213784B (zh) | 一种流量预测方法及装置 | |
Kumar et al. | Machine learning based framework to predict performance evaluation of on-chip networks | |
CN110601777A (zh) | 一种低轨移动卫星星座下星地下行链路同频干扰估计方法 | |
CN113852432A (zh) | 基于rcs-gru模型的频谱预测感知方法 | |
CN110032706A (zh) | 一种低阶时滞系统的两阶段参数估计方法及系统 | |
CN108566178B (zh) | 一种非稳态随机机会网络特征值滤波方法 | |
CN107392352A (zh) | 一种基于融合极限学习机的电池未来温度预测方法及系统 | |
CN111221375A (zh) | Mppt控制方法、装置、光伏发电设备及可读存储介质 | |
Eshraghi et al. | Improving dynamic regret in distributed online mirror descent using primal and dual information | |
CN115186592A (zh) | 功率半导体模块的寿命预测方法、终端设备及存储介质 | |
CN111026603A (zh) | 片上网络温度预测方法及装置、设备、存储介质 | |
Schüller et al. | Temperature estimation of a PMSM using a feed-forward neural network | |
CN116653645B (zh) | 重载货运列车自组网电池状态监测下的自适应充电方法、系统及介质 | |
Li et al. | Machine-learning-based condition monitoring of power electronics modules in modern electric drives | |
CN111797979A (zh) | 基于lstm模型的振动传递系统 | |
Zhao et al. | C-LSTM: CNN and LSTM Based Offloading Prediction Model in Mobile Edge Computing (MEC) | |
CN114139805A (zh) | 温度预测及模型训练方法和相关装置 | |
Li et al. | H-BILSTM: a novel bidirectional long short term memory network based intelligent early warning scheme in mobile edge computing (MEC) | |
Wang et al. | Diffusion field estimation using decentralized kernel kalman filter with parameter learning over hierarchical sensor networks | |
Ma et al. | Applying hierarchical genetic algorithm based neural network and multiple objective evolutionary algorithm to optimize parameter design with dynamic characteristics | |
CN110649911A (zh) | 一种基于α散度的分布式非线性卡尔曼滤波方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |