CN106909728A - 一种基于增强学习的fpga互联资源配置生成方法 - Google Patents

Abstract

本发明属于FPGA技术领域，提供一种基于增强学习的FPGA互联资源配置生成方法；首先建立基于增强学习的FPGA的互联资源模型，初始化状态转移矩阵和回报函数；再将状态转移矩阵和回报函数联合，根据互联资源模型，采用增强学习训练方法训练出策略；然后再设置布线起始状态点，根据策略完成配置走线，并根据配置走线更新状态转移矩阵；最后重复更新状态转移矩阵直到覆盖率收敛，汇总所有配置走线，转化为配置代码，最终输出互联资源配置。本发明采用增强学习理论，在互联资源测试覆盖率达到100％的前提下，有效减少测试配置次数，实现FPGA包括Global和Local互联资源的自动配置，且测试效率高、适用性好。

Description

一种基于增强学习的FPGA互联资源配置生成方法

技术领域

本发明属于FPGA技术领域，具体涉及一种基于增强学习的FPGA互联资源配置生成方法。

背景技术

随着半导体技术的飞速发展，使得现场可编程门阵列(Field Programmable GateArray,以下简称FPGA)的集成度越来越高，内部可编程资源规模越来越大，功能越来越多。伴随而来的问题是电路结构越来越复杂，产生故障的可能性越来越高，对测试技术的要求也越来越高。

SRAM型FPGA芯片的可编程逻辑资源大部分是由互联资源(InterconnectResource,以下简称IR)和可编程逻辑块(Configurable Logic Block，以下简称CLB)组成，所以FPGA芯片测试实际上是对芯片内IR和CLB的故障测试；而随着FPGA的发展，IR在FPGA内部的比重越来越大，相比于其他资源，IR发生故障的概率要大得多。

FPGA中IR种类繁多，一款芯片中也有着多种不同的IR。根据IR在芯片中的位置和作用，可将其分为两大类：全局线(Global Wire,以下简称Global)和局部线(Local Wire，以下简称Local)。Global是整个FPGA内部可以起到连接作用的互连线，主要用于连接所有的开关矩阵和CLB单元。Local主要是指在CLB内部的不同slice之间进行信号传输的一类线。而因为Local相比于Global的不规律性，对其进行完整测试一直是很难解决的问题。

传统的测试方法是基于FPGA的结构特性和可编程性，对其进行手工布局布线，从而完成测试配置的生成；效率低，只能针对特定结构的芯片且没有实现自动配置，已不再适用。文献《一种基于贪心策略的FPGA局部互联测试方法[P].发明专利，CN102116840A,2011-07-06》和文献《Modeling of FPGA Local/Global Interconnect Resource andDerivation of Mini mal Test Configurations》中公开测试方法仅适用于一小部分Local的测试，不能对Global测试。文献《互联结构模型化方法和互联资源配置向量自动生成方法.发明专利，CN103412253B，2016.01.20》中公开方法适用于Global和Local的测试，但其配置次数较多。基于此，本发明提供一种基于增强学习的FPGA互联资源配置生成方法。

发明内容

本发明的目的在于提供一种基于人工智能领域增强学习的FPGA互联资源配置生成方法；采用增强学习理论，在互联资源测试覆盖率达到100％的前提下，有效减少测试配置次数，实现FPGA包括Global和Local互联资源的自动配置。

为实现上述目的，本发明采取的技术方案为：

一种基于增强学习的FPGA互联资源配置生成方法，包括以下步骤：

步骤1：建立基于增强学习的FPGA的互联资源模型

FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列，将芯片开关盒中每一个端点定义为一个状态s，采用SM坐标模型识别各SM中同一端点，得到FPGA系统状态集合：

其中，N为状态总数；

将任一芯片开关盒中所有状态按其所连接金属互联线类型进行layer分层，各layer之间仅通过PIP(Point to Point)建立连接；基于layer参数以及后续状态是否离开SM，定义动作集合：

其中，M为任一芯片开关盒中可选动作总数；a₁,a₂,a₃,...,a_M分别表示到达layer1、layer2、layer3…layerM层时所使用的动作；a_other表示到达其他SM所使用的动作；

步骤2：随机初始化状态转移矩阵；

步骤3：初始化回报函数；

步骤4：将状态转移矩阵和回报函数联合，根据基于增强学习的FPGA的互联资源模型，采用增强学习训练方法训练出策略π；

步骤5：设置布线起始状态点s₍₀₎，根据策略π完成配置走线：

其中，s_(t)表示在t时刻的状态、属于状态合集a_(t)表示在t时刻所做的动作、属于动作集合t＝0,1,2,...,T-1、T表示配置走线总时刻数；

步骤6：更新状态转移矩阵，更新规则如下：

1)根据配置走线将其转换成T个经验知识和训练例<s_(t),a_(t),s_(t+1)>，判定若等于1，则跳至2)；否则，按照原始转移概率比重动态更新剩余状态转移概率：

其中，i,j＝1,2,3,...,N，t＝0,1,2,...,T-1；

2)更新

步骤7：跳至步骤4，重复更新状态转移矩阵直到覆盖率收敛；

步骤8：汇总所有配置走线，转化为配置代码，最终输出互联资源配置。

进一步的，步骤3中，所述回报函数初始化采用如下任一方法：

1)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，对于除目标状态的任意当前某状态s，执行动作a得到回报：R(s,a)＝-u、u为一正常数，若当前状态s为目标状态，R(s,a)＝-v、v为一非负常数且u＞v；

2)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，令所有能够到达目标状态的状态动作对的回报函数R(s,a)＝+u、u为一正常数，其余状态动作对的回报函数R(s,a)＝-v、v为一非负常数；

3)基于状态的回报函数：回报函数R仅是状态s的函数，和动作a无关、表示为R(s)，令目标状态的回报函数R(s)＝+u、u为一正常数，即若到达该状态就收获+u的回报，其余状态的目标函数R(s)＝-v、v为一非负常数。

本发明的有益效果在于：1、本发明能够自动生成测试配置，测试效率高；2、本发明适用于Global和Local的测试，对互联资源的测试覆盖率高；3、本发明采用增强学习模型，在满足高覆盖率的同时有效的降低了测试配置次数；4、本发明能够用于SRAM型FPGA的测试，适用性高。

附图说明

图1为本发明基于增强学习的FPGA互联资源配置生成方法流程示意图。

图2为本发明中FPGA芯片开关盒内部互联结构示意图。

图3为本发明中状态转移模型图。

图4为本发明中状态转移概率矩阵。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

本实施例提供一种基于增强学习的FPGA互联资源配置生成方法，如图1所示，包括以下步骤：

步骤1：建立基于增强学习的FPGA的互联资源模型

FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列，将芯片开关盒中每一个端点定义为一个状态s，采用SM坐标模型识别各SM中同一端点，得到FPGA系统状态集合：

其中，N为状态总数；

将任一芯片开关盒中所有状态按其所连接金属互联线类型进行layer分层，即同一类的状态统称为一层layer，各layer之间仅通过PIP(Point to Point)建立连接，如图2所示；基于layer参数以及后续状态是否离开SM，定义动作集合：

其中，M为任一芯片开关盒中可选动作总数；a₁,a₂,a₃,...,a_M分别表示到达layer1、layer2、layer3…layerM层时所使用的动作，即使用动作a₁达到layer1层、使用a₂到达layer2层，使用动作a₃达到layer3层，以此类推；a_other表示到达其他SM所使用的动作；如图3所示；

本实施例中，在型号为Virtex-2的FPGA中，若状态点s的可选动作中有To_Double(a₁)动作，那么当状态s执行动作To_Double后就会到达Double(layer1)状态点；若状态点s的可选动作中有To_Hex(a₂)动作，那么当状态点s执行动作To_Hex后就会到达Hex(layer2)状态点；若状态点s的可选动作有To_other(a_other)，那么当状态点s执行动作To_other后就会到达其他SM的MID点和/或END点。

步骤2：随机初始化状态转移矩阵，如图4所示。

步骤3：初始化回报函数，回报函数初始化采用如下任一方法：

1)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，对于除目标状态的任意当前某状态s，执行动作a得到回报：R(s,a)＝-u、u为一正常数，若当前状态s为目标状态，R(s,a)＝-v、v为一非负常数且u＞v；

2)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，令所有能够到达目标状态的状态动作对的回报函数R(s,a)＝+u、u为一正常数，其余状态动作对的回报函数R(s,a)＝-v、v为一非负常数；

3)基于状态的回报函数：回报函数R仅是状态s的函数，和动作a无关、表示为R(s)，令目标状态的回报函数R(s)＝+u、u为一正常数，即若到达该状态就收获+u的回报，其余状态的目标函数R(s)＝-v、v为一非负常数。

步骤4：将状态转移矩阵和回报函数联合，根据基于增强学习的FPGA的互联资源模型，采用增强学习训练方法训练出策略π，即策略π是当前系统的最优解，表示对于任何当前状态，其应该选择的动作；

具体增强学习训练方法如下：

模型相关(Model-based)：值迭代(Value iteration)、策略迭代(Policyiteration)等训练方法，

模型无关(Model-free)：Q学习算法、时间差分学习算法、蒙特卡罗算法、DQN(DeepQ Network)等方法，

当FPGA规模较小，互联资源较少时可采用模型相关的方法，当FPGA规模较大互联资源多，适合采用模型无关的方法进行训练。

步骤5：设置布线起始状态点s₍₀₎，根据策略π完成配置走线：

其中，s_(t)表示在t时刻的状态、属于状态合集a_(t)表示在t时刻所做的动作、属于动作集合t＝0,1,2,...,T-1、T表示配置走线总时刻数。

步骤6：更新状态转移矩阵，更新规则如下：

1)根据配置走线将其转换成T个经验知识和训练例<s_(t),a_(t),s_(t+1)>，判定若等于1，则跳至2)；否则，按照原始转移概率比重动态更新剩余状态转移概率：

其中，i,j＝1,2,3,...,N，t＝0,1,2,...,T-1；

2)更新

按照上述规则更新相应的状态转移概率矩阵，能够使其他未配置端点不能转移到已配置端点，避免了走线冲突；使已配置的线路所对应的状态转移概率更新为0，避免了重复走线；同时保持状态转移概率矩阵当中同一行的转移概率之和为1。

步骤7：跳至步骤4，重复更新状态转移概率直到覆盖率收敛；即当更新完状态转移概率后，以当前更新后的转移概率矩阵为新的转移概率矩阵，联合回报函数，使用增强学习训练方法进行下一次的训练操作并学习出新的走线策略，依据该新的走线策略完成配置走线。

步骤8：汇总所有配置走线，转化成FPGA软件能识别的PIP形式的配置代码，最终输出互联资源配置。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于增强学习的FPGA互联资源配置生成方法，包括以下步骤：

步骤1：建立基于增强学习的FPGA的互联资源模型

FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列，将芯片开关盒中每一个端点定义为一个状态s，采用SM坐标模型识别各SM中同一端点，得到FPGA系统状态集合：

其中，N为状态总数；

将任一芯片开关盒中所有状态按其所连接金属互联线类型进行layer分层，各layer之间仅通过PIP(Point to Point)建立连接；基于layer参数以及后续状态是否离开SM，定义动作集合：

$\hat{A}=\{a_1,a_2,a_3,\mathrm{...},a_M,a_{other}\},$

其中，M为任一芯片开关盒中可选动作总数；a₁,a₂,a₃,...,a_M分别表示到达layer1、layer2、layer3…layerM层时所使用的动作；a_other表示到达其他SM所使用的动作；

步骤2：随机初始化状态转移矩阵；

步骤3：初始化回报函数；

步骤4：将状态转移矩阵和回报函数联合，根据基于增强学习的FPGA的互联资源模型，采用增强学习训练方法训练出策略π；

步骤5：设置布线起始状态点s₍₀₎，根据策略π完成配置走线：

其中，s_(t)表示在t时刻的状态、属于状态合集a_(t)表示在t时刻所做的动作、属于动作集合t＝0,1,2,...,T-1、T表示配置走线总时刻数；

步骤6：更新状态转移矩阵，更新规则如下：

1)根据配置走线将其转换成T个经验知识和训练例<s_(t),a_(t),s_(t+1)>，判定若等于1，则跳至2)；否则，按照原始转移概率比重动态更新剩余状态转移概率：

$P_{s_i{a}_{\left(t\right)}}\left(s_j\right)=P_{s_i{a}_{\left(t\right)}}\left(s_j\right)/(1-P_{s_i{a}_{\left(t\right)}}(s_{(t+1)}\left)\right)$

其中，i,j＝1,2,3,...,N，t＝0,1,2,...,T-1；

2)更新

步骤7：跳至步骤4，重复更新状态转移矩阵直到覆盖率收敛；

步骤8：汇总所有配置走线，转化为配置代码，最终输出互联资源配置。

2.按权利要求1所述基于增强学习的FPGA互联资源配置生成方法，其特征在于，步骤3中，所述回报函数初始化采用如下任一方法：

1)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，对于除目标状态的任意当前某状态s，执行动作a得到回报：R(s,a)＝-u、u为一正常数，若当前状态s为目标状态，R(s,a)＝-v、v为一非负常数且u＞v；

2)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，令所有能够到达目标状态的状态动作对的回报函数R(s,a)＝+u、u为一正常数，其余状态动作对的回报函数R(s,a)＝-v、v为一非负常数；

3)基于状态的回报函数：回报函数R仅是状态s的函数，和动作a无关、表示为R(s)，令目标状态的回报函数R(s)＝+u、u为一正常数，即若到达该状态就收获+u的回报，其余状态的目标函数R(s)＝-v、v为一非负常数。