CN108509723B - 基于人工神经网络的LRU Cache预取机制性能收益评估方法 - Google Patents

Abstract

本发明公开了一种基于人工神经网络的LRU Cache预取机制性能收益评估方法，选取神经网络训练参数拟合预取机制引入前的访存堆栈距离分布与预取机制引入后的Cache访问缺失次数，构建神经网络模型；计算目标程序的目标堆栈距离分布；将计算得到的目标堆栈距离分布导入构建的神经网络模型，预测不同目标程序在当前预取机制下的Cache访问缺失次数；利用堆栈距离分布计算预取机制引入前的Cache访问缺失次数，将预测的当前预取机制下的Cache访问缺失次数与预取机制引入前的Cache访问缺失次数进行对比，评估预取机制性能收益。可大幅提升Cache预取机制性能收益的预测速度。

Description

基于人工神经网络的LRU Cache预取机制性能收益评估方法

技术领域

本发明属于计算机体系结构与建模技术领域，具体地涉及一种基于人工神经网络的LRU Cache预取机制性能收益评估方法。

背景技术

基于硬件行为建模的硅前架构评估及设计空间探索可为芯片设计提供指导意见，降低芯片设计的迭代周期。现代处理器架构下，片上高速缓存（Cache）的引入可加快访存速度，提高CPU运行效率。但Cache访问缺失会使处理器流水线产生气泡甚至引起流水线阻塞，进而降低处理器计算性能。为提升Cache访问命中率，Cache设计中会引入指令或者数据预取，将未来可能访问的内容提前搬移至Cache中。事实上，由于Cache容量受限，Cache中部分已缓存的内容需要被预取的内容所替换。该操作会改变Cache中记录的各个地址的历史访问记录。在产生Cache缓存内容替换请求时，历史访问记录的改变会影响LRU替换决策，甚至会降低Cache的平均访问命中率。因此需要在预取机制设计前对备选或待实现的预取机制收益进行评估。

预取机制收益评估需要量化预取机制引入前后Cache访问缺失次数的差异。Cache访问缺失次数估算的常用方法之一是基于访存堆栈距离分布的Cache访问缺失次数预测。传统堆栈距离指，在全关联Cache中，针对同一访存地址（或同一Cacheline）的两次连续访存请求之间针对不同访存地址（或不同Cache line）的访存请求个数。对于组关联Cache而言，堆栈距离指在同一Cache set下，针对同一访存地址（或同一Cache line）的两次连续访存请求之间针对不同访存地址（或不同Cache line）的访存请求个数。

堆栈距离分布可以从通过Profiling访存请求的Trace流来获取，或者利用在二进制执行工具（Binary Instrumentation Tool）中进行软件插桩统计访存流信息来获得。上述两种方法的优点是堆栈距离分布的提取精准且高效。缺点是获取的堆栈距离分布是只能反映软件逻辑层面的访存指令流特征，因此堆栈距离分布不能直接应用于采用预取机制的Cache行为建模，但可用于预取机制引入前的Cache访问缺失次数预测。简单来说，预取机制会改变Cache的历史访问记录，进而影响堆栈距离的计算，故而使得计算出的Cache访问缺失次数与真实场景存在偏差。尽管通过时钟精确型仿真可以准确地预测预取机制性能收益，但其仿真周期过长，不利于快速评估Cache访存行为及设计空间探索。本发明因此而来。

发明内容

针对上述存在的技术问题，本发明目的是：提供了一种基于人工神经网络的LRUCache预取机制性能收益评估方法，可以快速估算Cache预取机制的性能收益，相对于时钟精确型模型，该方法可大幅提升Cache预取机制性能收益的预测速度。

本发明的技术方案是：

一种基于人工神经网络的LRU Cache预取机制性能收益评估方法，包括以下步骤：

S01：选取神经网络训练参数拟合预取机制引入前的访存堆栈距离分布与预取机制引入后的Cache访问缺失次数，构建神经网络模型；

S02：计算目标程序的目标堆栈距离分布；

S03：将计算得到的目标堆栈距离分布导入构建的神经网络模型，预测不同目标程序在当前预取机制下的Cache访问缺失次数；

S04：利用堆栈距离分布计算预取机制引入前的Cache访问缺失次数，将预测的当前预取机制下的Cache访问缺失次数与预取机制引入前的Cache访问缺失次数进行对比，评估预取机制性能收益。

优选的，在步骤S01之前还包括提取人工神经网络训练集，具体为：

选取合适的固定时间片段长度，每隔一个时间片段对程序执行流进行切割，将程序的执行划为若干片段，通过仿真获取目标程序部分执行时间内包含预取操作的执行流；剔除由于预取所引起的访存操作，获取顺序执行流；分别对顺序执行流与包含预取影响的真实执行流分别进行堆栈距离分布提取，并将提取后的堆栈距离分布作数据归一化处理；

基于包含预取影响的执行流中所提取的堆栈距离分布，按照堆栈距离理论，计算在当前统计阶段内的Cache访问缺失次数。

优选的，所述堆栈距离分布提取算法包括两个哈希表，两个哈希表分别用于获取Cache的真实执行流及软件负载的原始执行流；两个哈希表均采用Cache访存地址中的Tag与Set位域进行索引，哈希表的键索引对应Cache的每一个组号Set，根据键索引得到哈希表值即指向链表的指针，每个链表用以统计每个Cache Set内的访存堆栈距离；

链表中存储经过字节对齐的访存地址，每次访存到来时，对于第一哈希表中该访存对应链表直接压入，对于第二哈希表中该访存对应链表通过逻辑判断模块判断该访存是否由预取引起，如果不是则进行压入处理，如果是则不做压入处理；

计算堆栈距离时，针对每个Cache set对应的链表进行逆向遍历，找寻上一次访存出现地址，同时保存二者之间的距离为当前访存请求在Cache set内的堆栈距离，并擦除掉上一次的访存操作，维持链表大小的同时为堆栈距离的统计做准备。

优选的，所述神经网络模型是单向传播的多层前项网络，由输入层、输出层和隐含层组成，所述隐含层为单隐藏层，隐含层节点数目为8个神经单元，同层神经元之间无耦合，节点的激活函数必须可微、非减。

优选的，所述步骤S02的堆栈距离分布通过Profiling仿真器或模拟器生成的软件访存流（Trace）或者利用二进制分析工具进行指令流分析获得。

与现有技术相比，本发明的优点是：

本发明的方评估法可以减少获取预取机制下的Cache访存行为所需求的时钟精确型仿真次数。利用人工神经网络代替时钟精确型仿真，加速了预测带预取机制Cache的访存行为，大大缩短了预取机制性能收益的评估周期。可以快速估算Cache预取机制的性能收益。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于人工神经网络的LRU Cache预取机制性能收益评估方法的流程图；

图2为访存堆栈距离算法采用的数据结构图；

图3为堆栈距离获取的算法流程图；

图4为神经网络层级图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例：

如图1所示，本发明的基于人工神经网络的LRU Cache预取机制性能收益评估方法，具体实现可以包括以下步骤：

（1）人工神经网络训练集的提取：

人工神经网络训练需要以多组训练数据作为输入，来完成神经元权重系数的训练。本发明将完整的应用程序切割成若干个程序片段，并在给各程序片段中提取两类信息，一是预取机制加入前的堆栈距离分布，二是预取机制加入后的Cache访问缺失次数。

（2）人工神经网络拓扑结构与神经元权重训练方法的选取：

人工神经网络拓扑结构与神经元权重训练方法的选取通过遍历所有神经网络拓扑结构与训练方式的组合来实现。简单来说，预测精度最高的神经网络训练参数组合（拓扑结构与训练方法）即为最终的选取目标；利用选取的神经网络训练参数拟合预取机制引入前的访存堆栈距离分布与预取机制引入后的Cache访问缺失次数，构建神经网络模型。

（3）基于指令级模拟器的堆栈距离分布提取：

利用指令级模拟器（不需要经过耗时的时钟精确型仿真）运行目标程序得到目标程序的顺序执行流，将目标程序顺序执行流导入堆栈距离提取算法，获得目标堆栈距离分布。

（4）不同测试程序在当前预取机制下的Cache访问缺失次数预测：

将第3步获得的目标堆栈距离分布归一化后导入步骤2所获得的神经网络性能模型，预测不同目标程序在当前预取机制下的Cache访问缺失次数。

（5）预取机制性能收益评估：

利用堆栈距离分布计算预取机制引入前的Cache访问缺失次数；将步骤4中的神经网络输出结果与预取机制引入前的Cache访问缺失次数进行对比，评估预取机制性能收益。

人工神经网络训练集的提取，具体实现方式如下：

选取合适的固定时间片段长度，每隔一个时间片段对程序执行流进行切割，将程序的执行划为若干片段（我们将其称为统计阶段，Profiling Interval），通过全功能时钟精确型仿真获取目标程序部分（比例可以根据训练结果调整，一般取30%）执行时间内包含预取操作的执行流Trace；同时为了保证数据获取场景一致，依据Gem5执行原理，剔除由于预取所引起的访存操作，获取顺序（不含预取影响的）执行流Trace；在分别获得两种访存流之后，设计访存流的堆栈距离算法，分别对顺序执行流与包含预取影响的真实执行流分别进行堆栈距离分布提取，并将提取后的堆栈距离分布作数据归一化处理。

堆栈距离是指，针对同一Cache line的两次连续访存请求之间的访存地址种类个数即不同的访存地址个数。本发明将哈希表与链表相结合，设计算法计算堆栈距离。本发明采用的访存Trace包含2个信息，一是为当访存请求的地址，二是当前访存是否由Prefetch引起的逻辑标志。算法中包含两个哈希表，如图2所示，哈希表I用于统计真实执行流的堆栈距离分布，以Cache set进行索引。哈希表II用于统计顺序执行流的堆栈距离分布，以Cacheset作为索引，当预取判定逻辑模块判定该访存由预取引起则不予以压链表操作，剔除预取机制的影响获取原始访存执行流。该数据结构即使用于训练数据的提取也适用预测输入的提取。

两个哈希表均采用Cache访存地址中的Tag与Set位域进行索引，哈希表的键索引对应Cache的每一个组号Set，根据键索引得到哈希表值即指向链表的指针，每个链表用以统计每个Cache Set内的访存堆栈距离。链表中存储经过字节对齐的访存地址，每次访存到来时，对于哈希表1中该访存对应链表直接压入，对于哈希表2中该访存对应链表通过逻辑判断模块来判断该访存是否由预取引起，如果不是则进行压入处理，如果是则不做压入处理。计算堆栈距离时，针对每个Cache set对应的链表进行逆向遍历，找寻上一次访存出现地址，同时保存二者之间的距离为当前访存请求在Cache set内的堆栈距离，并擦除掉上一次的访存操作，维持链表大小的同时为堆栈距离的统计做准备。

如图3所示，获取对Cache的访存，针对每个访存计算该次访存对应的Set号与其相应的Cache line地址。利用Set号索引哈希表，如果不存在对应Set号，则在哈希表中新建以该Set号为索引的键，并将该次访存Cache line地址压入对应链表流；如果存在对应Set号，则从该键索引对应的链表末端开始遍历该链表，依次对比链表元素与该次访存的Cacheline地址。如果对比结果不等，则表示未发生重用，堆栈距离自增，同时链表指针自减，继续遍历对比；如果对比结果相等则表示发生重用，记录当前堆栈距离，并统计入堆栈距离分布，同时将链表指针指向链表元素删除，将本次访存Cache line地址压入到该链表末尾处。

基于包含预取影响的执行流中所提取的堆栈距离分布，按照堆栈距离理论，计算出在当前统计阶段内的Cache访问缺失次数。

访问缺失：提取真实访存流中对应每个Cache set的堆栈距离分布，堆栈距离大于该Cache的组关联度的访存数为该软件负载在当前Cache结构下的本Cacheset的访问缺失。

累加所有Cache set缺失总数为软件负载在当前Cache结构下的总的访问缺失次数，总的访问缺失次数应用于神经网络训练时的训练目标。

选取BP人工神经网络，依照经验公式调试获取合适的训练方法、网络层级数目以及各层级内的神经元个数。通过所选定的BP神经网络对步骤1得到的归一化后的顺序执行流的堆栈距离分布，和Cache缺失事件间的映射关系进行拟合，得到训练完成的神经网络模型。

在进行神经网络拟合前，需要将堆栈距离分布进行数据归一化处理。目的是为了消除数量级差异导致的模型训练无法迅速收敛。同时，堆栈距离可能出现过大的情况，导致模型输入维度过多。所以本发明将堆栈距离超过30的所有分布合成一维。其中30只是依据经验，具体维度上线选择可视实际情况而定。

BP神经网络是单向传播的多层前项网络，由输入层、输出层和隐含层组成，每层有若干个神经元（或节点）。同层神经元之间无耦合，节点的激活函数必须可微、非减。网络结构关系着网络的映射能力，也决定着网络解决问题的能力。而网络的输入层和输出层是与外界连接的接口，这两层节点数一般由应用对象的实际问题决定，不能任意选取，因此整个网络结构中只有隐含层层数以及节点数目有待确定。

关于网络结构设计，即如何选取隐含层层数及其节点数，目前还没有确定的理论和依据。通过实验发现规律：当选取隐含层节点数和输出层节点数之间的值时，尤其当靠近输入节点数时，网络收敛速度较快。隐含层节点数太少时，学习过程不收敛；但隐含层节点数太多时，网络映射能力增强，局部最小点越少，越容易收敛到全局最小点，也导致学习时间长，且网络容易训练过度，此时导致网络不仅记住了学习样本一般特性而且记住了个别特征导致网络容错性降低。隐含层节点数目存在经验公式如下：

其中h为隐含层节点数目，m为输入层节点数目，n为输出层节点数目，a为1-10之间的调节常量。根据以上规律，本发明采用单隐藏层，隐含层节点数目为8个神经单元。训练方法采用Levenberg Marquard，如图4所示。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1. 一种基于人工神经网络的LRU Cache预取机制性能收益评估方法，其特征在于，包括以下步骤：

S01：选取神经网络训练参数拟合预取机制引入前的访存堆栈距离分布与预取机制引入后的Cache访问缺失次数，构建神经网络模型；

S02：计算目标程序的目标堆栈距离分布；

S03：将计算得到的目标堆栈距离分布导入构建的神经网络模型，预测不同目标程序在当前预取机制下的Cache访问缺失次数；

S04：利用堆栈距离分布计算预取机制引入前的Cache访问缺失次数，将预测的当前预取机制下的Cache访问缺失次数与预取机制引入前的Cache访问缺失次数进行对比，评估预取机制性能收益。

2.根据权利要求1所述的基于人工神经网络的LRU Cache预取机制性能收益评估方法，其特征在于，在步骤S01之前还包括提取人工神经网络训练集，具体为：

选取合适的固定时间片段长度，每隔一个时间片段对程序执行流进行切割，将程序的执行划为若干片段，通过仿真获取目标程序部分执行时间内包含预取操作的执行流；剔除由于预取所引起的访存操作，获取顺序执行流；分别对顺序执行流与包含预取影响的真实执行流分别进行堆栈距离分布提取，并将提取后的堆栈距离分布作数据归一化处理；

基于包含预取影响的执行流中所提取的堆栈距离分布，按照堆栈距离理论，计算在当前统计阶段内的Cache访问缺失次数。

3.根据权利要求2所述的基于人工神经网络的LRU Cache预取机制性能收益评估方法，其特征在于，所述堆栈距离分布提取算法包括两个哈希表，两个哈希表分别用于获取Cache的真实执行流及软件负载的原始执行流；两个哈希表均采用Cache访存地址中的Tag与Set位域进行索引，哈希表的键索引对应Cache的每一个组号Set，根据键索引得到哈希表值即指向链表的指针，每个链表用以统计每个Cache Set内的访存堆栈距离；

链表中存储经过字节对齐的访存地址，每次访存到来时，对于第一哈希表中该访存对应链表直接压入，对于第二哈希表中该访存对应链表通过逻辑判断模块判断该访存是否由预取引起，如果不是则进行压入处理，如果是则不做压入处理；

计算堆栈距离时，针对每个Cache set对应的链表进行逆向遍历，找寻上一次访存出现地址，同时保存二者之间的距离为当前访存请求在Cache set内的堆栈距离，并擦除掉上一次的访存操作，维持链表大小的同时为堆栈距离的统计做准备。

4.根据权利要求1所述的基于人工神经网络的LRU Cache预取机制性能收益评估方法，其特征在于，所述神经网络模型是单向传播的多层前项网络，由输入层、输出层和隐含层组成，所述隐含层为单隐藏层，隐含层节点数目为8个神经单元，同层神经元之间无耦合，节点的激活函数必须可微、非减。

5.根据权利要求1所述的基于人工神经网络的LRU Cache预取机制性能收益评估方法，其特征在于，所述步骤S02的堆栈距离分布通过Profiling仿真器或模拟器生成的软件访存流（Trace）或者利用二进制分析工具进行指令流分析获得。

Images