CN112836394B - 基于相关性和高斯过程回归的设计空间参数迁移学习方法 - Google Patents
基于相关性和高斯过程回归的设计空间参数迁移学习方法 Download PDFInfo
- Publication number
- CN112836394B CN112836394B CN202110259020.0A CN202110259020A CN112836394B CN 112836394 B CN112836394 B CN 112836394B CN 202110259020 A CN202110259020 A CN 202110259020A CN 112836394 B CN112836394 B CN 112836394B
- Authority
- CN
- China
- Prior art keywords
- distribution
- under
- gaussian
- design
- design parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 157
- 230000008569 process Effects 0.000 title claims abstract description 139
- 238000013461 design Methods 0.000 title claims abstract description 131
- 238000013508 migration Methods 0.000 title claims description 6
- 230000005012 migration Effects 0.000 title claims description 6
- 238000009826 distribution Methods 0.000 claims abstract description 105
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000013526 transfer learning Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 37
- 230000001186 cumulative effect Effects 0.000 claims description 24
- 241000039077 Copula Species 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 238000009827 uniform distribution Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012938 design process Methods 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了基于相关性和高斯过程回归的设计空间参数迁移学习方法，包括：(1)合理地将相关性算法融入到不同工艺下的设计空间探索中，关联不同工艺下的评估目标的相关性；使得在先进工艺下的设计空间探索的时间大大减小，并且通过以前工艺下的最优化设计有效的找到先进工艺下的最优化设计。(2)利用高斯过程回归的输出为高斯过程的均值和方差的优点，用具有相关性的各个工艺下的数据来拟合高斯过程，并可以有效地输出先进工艺下的设计参数的概率分布。(3)通过汤普森采样获得表现最优的设计参数，良好平衡多目标的最佳设计参数。本发明将此技术应用到EDA流程中，可以大大缩短寻找最优化设计的时间，并且能够有效的权衡各个目标。
Description
技术领域
本发明涉及一种设计空间探索技术，具体为基于相关性和高斯过程回归的设计空间参数迁移学习，属于EDA设计技术领域。
背景技术
随着半导体工艺的发展和工艺结点的不断减少，越来越多的器件或者逻辑门被集成到一颗芯片上。根据摩尔定律，如图1所示，到2020年，一颗芯片将最多可集成百亿级晶体管。如此具有数量庞大晶体管的集成电路给集成电路电子设计自动化(Electronic DesignAutomation，EDA)带来巨大的挑战。
集成电路自动化设计主要分为前端设计，逻辑综合，物理设计和验证。逻辑综合和物理设计过程中需要工程师指定或者尝试各种约束和策略来满足设计需求。在超大规模集成电路中，拥有亿门级以上的电路在使用现有集成电路EDA工具非常耗时，逻辑综合和物理设计的设计空间非常庞大，以至于无法在该设计空间中遍历所有的设计点。针对此问题，采用基于Copula的设计空间参数迁移学习，大大减少仿真的时间以及参数的设计空间大小，在此基础上即可快速找到全局最优化设计。
设计空间探索有多种传统方法，包括基于离线模型优化、基于仿真的优化和贝叶斯优化。基于离线模型优化方法是根据历史数据进行回归，根据历史数据来预测估计值，该方法不能保证数据的准确性。基于仿真优化方法将性能视为黑盒功能，采用元启发式方法，如遗传算法等，该方法收敛缓慢，优化时间较长。贝叶斯优化通过选择采集函数中性能最差的点，并对此点进行仿真获取目标真实值，并更新数据集和统计模型，将该最差的点进行优化；经过多次迭代，统计模型可以统计出参数和目标之间的非线性关系，EDA中，设计空间大，且仿真次数多，耗时严重，最终的优化时间较长。
文献[1]中将系统的概率模型分解为分层组件，并使用该模型提高此设计空间探索问题的优化速度。随着人们对高层次综合(HLS)的兴趣日益浓厚，文献[2-4]考虑如何对这种硬件生成器的行为进行建模来加速探索复杂的设计空间。帕累托最优边界为设计师提供了一系列好的折衷点，为了获得更准确的值，文献[5-6]考虑了基于模型的设计空间抽样，以构造帕累托最优设计集。
[1]Lo C,Chow P.Hierarchical Modelling of Generators in Design-SpaceExploration.2020 IEEE 28th Annual International Symposium on Field-Programmable Custom Computing Machines(FCCM).May 2020:186-194.
[2]S.Liu,F.C.Lau and B.C.Schafer,"Accelerating FPGA Prototypingthrough Predictive Model-Based HLS Design Space Exploration,"2019 56th ACM/IEEE Design Automation Conference(DAC),Las Vegas,NV,USA,2019,pp.1-6.
[3]Z.Wang,J.Chen and B.C.Schafer,"Efficient and Robust High-LevelSynthesis Design Space Exploration through offline Micro-kernels Pre-characterization,"2020Design,Automation&Test in Europe Conference&Exhibition(DATE),Grenoble,France,2020,pp.145-150.
[4]Y.Choi and J.Cong,“HLS-Based Optimization and Design SpaceExploration for Applications with Variable Loop Bounds,”in Proceedings of theIEEE/ACM International Conference on Computer-Aided Design(ICCAD),Nov 2018,pp.1–8.
[5]H.-Y.Liu and L.P.Carloni,“On Learning-Based Methods for Design-Space Exploration with High-Level Synthesis,”Proceedings of the 50th AnnualDesign Automation Conference(DAC),pp.50:1–50:7,May 2013.
[6]P.Meng,A.Althoff,Q.Gautier,and R.Kastner,“Adaptive Threshold Non-Pareto Elimination:Re-thinking Machine Learning for System Level Design SpaceExploration on FPGAs,”in Proceedings of the Design,Automation Test in EuropeConference Exhibition(DATE),March 2016,pp.918–923.
发明内容
技术问题：本发明所要解决的技术问题是基于相关性和高斯过程回归的设计空间参数迁移学习：关联不同工艺下PPA(性能、功耗、面积)目标的相关性，并通过高斯Copula为先进工艺设置先验信息，使用高斯过程预测设计参数以及PPA目标之间的关系，采取先估计后验证的方式，从而选取少量参数设计以缩小设计参数搜索空间，减小时间成本，提高设计速度。
技术方案：本发明的一种基于相关性和高斯过程回归的设计空间参数迁移学习方法，该方法将高斯Copula、高斯过程与汤普森采样相结合，具体包括以下步骤：
步骤1.相关性算法
通过高斯Copula在不同工艺的不同设计下目标之间建立相关性，将目标映射为服从高斯分布并且具有相关性的变量，并且得到相应的数据集；
步骤2.高斯过程回归
将步骤1中获得具有相关性的各个工艺下的数据用于拟合高斯过程，有效地输出先进工艺下的设计参数的概率分布；
步骤3.汤普森采样
在先进工艺下的设计参数空间中采样N组候选设计参数，利用步骤2中高斯过程输出的设计参数的概率分布，通过汤普森采样获得表现最优的设计参数。
其中，
所述步骤1中，在某一种工艺下，fj:表示输入的设计参数与PPA目标(性能、面积、功耗)之间的非线性关系，将其设计参数记为/>表示设计过程的PPA目标；/>表示在某一种工艺下的评估数据集，其中N表示有N组设计参数及其对应的目标；给出M种工艺下的评估数据集/>对于一个先进工艺下的新的f，目标是通过迁移学习以DM获得先进工艺下f的评估；关键问题为找出在M种工艺下拟合很好的θ，如此需要建立在这M种工艺下的联合分布；
其中，fj是输入的设计参数与目标PPA之间的非线性关系，分别表示p维和k维向量空间，设计参数x为p维向量，PPA目标y为k维向量，D是由某一种工艺下由N组设计参数x及其对应的PPA目标y组成的数据集，DM为M种工艺下的评估数据集，由每一种工艺下的数据集组成的并集；f为先进工艺下输入的设计参数与目标PPA之间的非线性关系；
一种工艺下的目标yi,1≤i≤N服从相同的分布，通过概率积分变换将yi转换成具有标准均匀分布的随机变量，即Ui＝F(yi)～uniform(0,1)k，其中F为yi累积概率分布；根据Sklar定理可知，存在一个N-Copula函数C使得
H(y1,…,yN)＝C(F(y1),…,F(yN))＝C(U1,…,UN) (1)
其中H为y1,…,yN的联合分布，根据累积概率分布的逆变换，式(1)转换为：
C(U1,…,UN)＝H(F-1(U1),…,F-1(UN)) (2)
通过(2)构造一个Copula函数，高斯Copula定义为：
C(U1,…,UN)＝φμ,Σ(Φ-1(F(y1)),…,Φ-1(F(yN))) (3)
其中，Φ是标准正态分布的累积概率分布，φμ,Σ是以μ,Σ为参数的正态分布的累积概率分布；
由高斯Copula定义，令即将y映射到/>上，并使得z服从高斯分布，将获得的具有M种工艺下相关信息的z，可以得到相应的设计参数x与z的数据集
其中，yi为某一种工艺下的目标，F(yi)为目标yi累积概率分布，uniform(0,1)k指的是k维均匀分布，Ui为通过概率积分变换将yi转换成具有标准均匀分布的随机变量，H(y1,…,yN)为y1,…,yN的联合分布，C(F(y1),…,F(yN))＝C(U1,…,UN)为一个存在的N-Copula函数，F-1(Ui)为累积概率分布的逆变换，φμ,Σ是以μ,Σ为参数的正态分布的累积概率分布，μ为正态分布的均值，Σ为正态分布的方差，Φ-1(·)是标准正态分布的累积概率分布的逆变换；表示一种映射关系，将y映射到具有相关信息的/>上，并使得z服从高斯分布，D′M为M种工艺下的参数x与具有相关信息z的数据集。
所述步骤2中，对于步骤1获得的数据集令
X＝[X1,…,XM]，Z＝[Z1,…,ZM]，
设Z＝f(X)+ε，其中f表示设计参数X与目标估计映射的Z之间的高度非线性变换，高斯过程可有效定义所有可能配置的多元高斯分布高斯过程由均值函数以及核函数表征，即
Z～N(μ(X),K(X,X′)) (4)其中μ(X)为均值函数，K(X,X′)为核函数；采用径向基核函数：
其中Λ是特定于尺寸的长度的对角矩阵 是用于缩放模型的整体方差的缩放因子；
对于加入一个新的目标估计映射值z*，Z与z*之间的联合分布为：
由此可以计算出z*的后验分布，为
z*|x*,X,Z～N(m(x*),Σ(x*)) (7)
其中m(x)为均值，Σ(x)为方差，具体的计算表达式如下：
最大化后验分布可以在给定新的设计参数x*的情况下得到z*的具体分布，即p(z*)＝N(m(x*),Σ(x*))；记θ＝{σn,σf,Λ}，需要通过最小化负对数边际似然拟合出最佳的θ，即
其中根据高斯过程，选取PPA平衡最好的Z的分布作为先进工艺下的分布函数；
其中，D′M为M种工艺下的参数x与具有相关信息z的数据集，Xj,Zj为第j种工艺下设计参数及具有相关性的目标的矩阵，X,Z为包含M种工艺下的设计参数及具有相关性的目标的矩阵；f(·)表示设计参数X与目标估计映射的Z之间的高度非线性变换，ε为噪声，并且服从高斯分布，表示均值为0，方差为/>的高斯分布；μ(·)为均值函数，K(·,·)为核函数，Λ是特定于尺寸的长度的对角矩阵/> 是用于缩放模型的整体方差的缩放因子；x*表示加入一个新的设计参数，z*表示新的目标估计映射值，m(x*),Σ(x*)分别表示高斯过程预测的x*处的均值和方差，(·)-1表示矩阵的逆。p(·)表示概率密度函数，θ＝{σn,σf,Λ}为高斯过程需要拟合的超参数。
所述步骤3中，通过步骤2中式(7)拟合出z的概率分布，在先进工艺下的设计参数空间中采样N组候选设计参数x1,x2,…,xn，通过汤普森采样获得N组设计参数中使得P(z*)＝N(m(x),Σ(x))最优的一组设计参数xi，然后评估f(xi)。
有益效果：本发明合理地将相关性算法融入到不同工艺下的设计空间探索中，通过关联不同工艺下的评估目标的相关性，使得在先进工艺下的设计空间探索的时间大大减小，并且通过以前工艺下的最优化设计有效的找到先进工艺下的最优化设计。本发明将此技术应用到EDA流程中，可以大大缩短寻找最优化设计的时间，并且能够有效的权衡PPA。
附图说明
图1是摩尔定律图；
图2是一维高斯过程回归图；
图3是汤普森采样与贪婪算法性能比较图；
图4是基于相关性和高斯过程回归的设计空间参数迁移学习框图；
图5是部分设计参数图。
具体实施方式
1、相关性算法
在一种工艺下，fj:表示输入的设计参数与目标PPA之间的非线性关系，将其设计参数记为/>表示设计过程的PPA目标，如功耗，面积，频率等。表示一种工艺下的评估数据集，其中N表示有N组设计参数及其对应的目标。给出M种工艺下的评估数据集/>对于一个先进工艺下的新的f，我们的目标是通过迁移学习以DM获得先进工艺下f的评估，以快速找到最优化设计参数。关键问题为找出在M种工艺下拟合很好的θ，如此需要建立在这M种工艺下的联合分布。
一种工艺下的目标yi,1≤i≤N服从相同的分布，通过概率积分变换将yi转换成具有标准均匀分布的随机变量，即Ui＝F(yi)～uniform(0,1)k，其中F为yi累积概率分布。根据Sklar定理可知，存在一个N-copula的C使得
H(y1,…,yN)＝C(F(y1),…,F(yN))＝C(U1,…,UN) (1)
其中H为y1,…,yN的联合分布。根据累积概率分布的逆变换，所以(1)可以转换为：
C(U1,…,UN)＝H(F-1(U1),…,F-1(UN)) (2)
可以通过(2)构造一个copula。所以高斯Copula定义为：
C(U1,…,UN)＝φμ,Σ(Φ-1(F(y1)),…,Φ-1(F(yN))) (3)
其中，Φ是标准正态分布的累积概率分布，φμ,Σ是以μ,Σ为参数的正态分布的累计概率分布。
由高斯Copula定义，令即将y布映射到/>上，并使得z服从高斯分布，将获得的具有M种工艺下相关信息的z，可以得到相应的设计参数x与z的数据集
2、高斯过程回归
对于以上获得的数据集令
所以X＝[X1,…,XM]，Z＝[Z1,…,ZM]。
设Z＝f(X)+ε，其中f表示设计参数X与目标估计映射的Z之间的高度非线性变换，高斯过程可有效定义所有可能配置的多元高斯分布高斯过程由均值函数以及核函数表征，即
Z～N(μ(x),K(x,x′)) (4)其中μ(x)为均值函数，K(x,x′)为核函数。本发明采用径向基核函数：
其中Λ是特定于尺寸的长度的对角矩阵 是用于缩放模型的整体方差的缩放因子。
对于加入一个新的目标估计映射值z*，Z与z*之间的联合分布为：
由此可以计算出z*的后验分布，为
z*|x*,X,Z～N(m(x),Σ(x)) (7)其中m(x)为均值，Σ(x)为方差，具体的计算表达式如下：
最大化后验分布可以在给定新的设计参数x*的情况下得到z*的具体分布，即P(z*)＝N(m(x),Σ(x))。记θ＝{σn,σf,Λ}，需要通过最小化负对数边际似然拟合出最佳的θ，即
其中根据高斯过程，选取PPA平衡最好的Z的分布作为先进工艺下的分布函数。本项目利用高斯过程回归的输出为高斯过程的均值和方差的优点，用具有相关性的各个工艺下的数据来拟合高斯过程，并可以有效地输出先进工艺下的设计参数的概率分布。图2为一维高斯过程，其中实线为预测的高斯过程，为每个参数下的均值，阴影部分为均值加减标准差，由此可知高斯过程能够返回预测点的均值和方差。由于参数分布符合高斯分布，可以简便快速的获得所需要各个采样点的概率密度函数。
3、汤普森采样
通过上述高斯过程(7)可以拟合出z的概率分布，在先进工艺下的设计参数空间中采样N组候选设计参数x1,x2,…,xn，通过汤普森采样获得N组设计参数中使得P(z*)＝N(m(x),Σ(x))最优的一组设计参数xi，然后评估f(xi)。设计的伪代码如表1所示。
表1汤普森采样
汤普森采样是一种用于在线决策问题的算法，在利用已知信息以最优化性能的开发和积累可能改善未来性能的新信息之间进行权衡，以获取表现最佳的设计点。本发明利用高斯过程回归获得的具有相关信息的z的概率分布，通过汤普森采样获得表现最优的设计参数，良好平衡多目标的最佳设计参数。图3表明，汤普森采样算法的性能迅速收敛至最佳状态，而对于贪婪算法而言，却远非如此。汤普森采样能够获取更优的设计点，并且所需时间大大减少，对设计空间探索非常适用。
4、整体流程
以上基于相关性及高斯过程回归的设计空间参数迁移学习的流程如图4所示，根据M种工艺下的参数得到相应的PPA目标，其中，M种工艺可为180nm、65nm和45nm等多种工艺，作为高斯Copula的输入，以关联其PPA目标之间的相关性，得到具有M种工艺下相关信息的Z，作为高斯Copula的输出。该模块有效地将各个不同工艺下的数据信息建立相关性，关联各个工艺下的非线性关系，提高计算精度及可靠性。利用高斯过程回归的输出为高斯过程的均值和方差的优点，将M种工艺下的参数X和具有相关性的Z作为高斯过程的输入，拟合高斯过程，并以此预测具有相关信息的z的概率密度函数；高斯过程核函数中的超参数通过式(10)选取。在先进工艺下抽样N组设计参数，先进工艺可采用小于等于28nm的工艺，利用高斯过程回归获得的具有相关信息的z的概率分布，作为汤普森采样的输入，获得表现最优的设计参数，良好平衡多目标的最佳设计参数。采用上述算法，可以快速地获取物理设计的最优化设计，并减少仿真次数，大大缩短优化时间。
实施例1：
以下将结合附图和实例详细阐述本发明。
图5给出在仿真过程的设计参数的选择，将参数设计成不同的值存在向量x中，如表2所示。在完成逻辑综合和物理设计之后会生成对应的PPA的向量yi。
表2参数设置
| 设计参数 | x |
| 时钟周期 | 10 |
| 时钟上升沿最大值 | 0.5 |
| 时钟上升沿最小值 | 0.1 |
| 时钟下降沿最大值 | 0.5 |
| 时钟下降沿最小值 | 0.1 |
| 建立时间 | 1 |
| 保持时间 | 0.5 |
一种工艺下的目标yi,1≤i≤N服从相同的分布，通过概率积分变换将yi转换成具有标准均匀分布的随机变量，即Ui＝F(yi)～uniform(0,1)k，其中F为yi累积概率分布。根据Sklar定理可知，存在一个N-copula的C使得
H(y1,…,yN)＝C(F(y1),…,F(yN))＝C(U1,…,UN) (1)
其中H为y1,…,yN的联合分布。根据累积概率分布的逆变换，所以(1)可以转换为：
C(U1,…,UN)＝H(F-1(U1),…,F-1(UN)) (2)
可以通过(2)构造一个copula。所以高斯Copula定义为：
C(U1,…,UN)＝φμ,Σ(Φ-1(F(y1)),…,Φ-1(F(yN))) (3)
其中，Φ是标准正态分布的累积概率分布，φμ,Σ是以μ,Σ为参数的正态分布的累计概率分布。
由高斯Copula定义，令即将y映射到/>上，并使得z服从高斯分布，将获得的具有M种工艺下相关信息的z，可以得到相应的设计参数x与z的数据集
对于以上获得的数据集令
所以X＝[X1,…,XM]，Z＝[Z1,…,ZM]。
设Z＝f(X)+ε，其中f表示设计参数X与目标估计映射的Z之间的高度非线性变换，高斯过程可有效定义所有可能配置的多元高斯分布高斯过程由均值函数以及核函数表征，即
Z～N(μ(x),K(x,x′)) (4)其中μ(x)为均值函数，K(x,x′)为核函数。本发明采用径向基核函数：
其中Λ是特定于尺寸的长度的对角矩阵 是用于缩放模型的整体方差的缩放因子。
加入一个新的目标估计映射值z*，Z与z*之间的联合分布为：
由此可以计算出z*的后验分布，为
z*|x*,X,Z～N(m(x),Σ(x)) (7)其中m(x)为均值，Σ(x)为方差，具体的计算表达式如下：
最大化后验分布可以在给定新的设计参数x*的情况下得到z*的具体分布，即P(z*)＝N(m(x),Σ(x))。记θ＝{σn,σf,Λ}，通过最小化负对数边际似然拟合出最佳的θ，即
其中根据高斯过程，选取PPA平衡最优的Z的分布作为先进工艺下的分布函数。如图4的上半部分，通过高斯Copula获得参数具有相关信息的Z，将设计参数X与Z拟合高斯过程，从而选取最优的服从高斯分布的z的均值和方差作为先进工艺下z的概率分布。
如图4下半部分所示，通过高斯过程过程拟合出的z的概率分布，在先进工艺下(小于等于28nm的先进工艺)的设计参数空间中采样N组候选设计参数x1,x2,…,xn，通过汤普森采样获得N组设计参数中使得P(z*)＝N(m(x),Σ(x))最优的一组设计参数xi，然后评估f(xi)是否符合实际情况，从而获得最优的设计参数。
Claims (1)
1.一种基于相关性和高斯过程回归的设计空间参数迁移学习方法，其特征在于，该方法将高斯Copula、高斯过程与汤普森采样相结合，具体包括以下步骤：
步骤1.相关性算法
通过高斯Copula在不同工艺的不同设计下目标之间建立相关性，将目标映射为服从高斯分布并且具有相关性的变量，并且得到相应的数据集；
步骤2.高斯过程回归
将步骤1中获得具有相关性的各个工艺下的数据用于拟合高斯过程，有效地输出先进工艺下的设计参数的概率分布；
步骤3.汤普森采样
在先进工艺下的设计参数空间中采样N组候选设计参数，利用步骤2中高斯过程输出的设计参数的概率分布，通过汤普森采样获得表现最优的设计参数；
所述步骤1中，在某一种工艺下，表示输入的设计参数与PPA目标之间的非线性关系，目标包括性能、面积、功耗，将其设计参数记为/>表示设计过程的PPA目标；/>表示在某一种工艺下的评估数据集，其中N表示有N组设计参数及其对应的目标；给出M种工艺下的评估数据集/>对于一个先进工艺下的新的f，目标是通过迁移学习以DM获得先进工艺下f的评估；关键问题为找出在M种工艺下拟合很好的θ，如此需要建立在这M种工艺下的联合分布；
其中，fj是输入的设计参数与目标PPA之间的非线性关系，分别表示p维和k维向量空间，设计参数x为p维向量，PPA目标y为k维向量，D是由某一种工艺下由N组设计参数x及其对应的PPA目标y组成的数据集，DM为M种工艺下的评估数据集，由每一种工艺下的数据集组成的并集；f为先进工艺下输入的设计参数与目标PPA之间的非线性关系；
一种工艺下的目标yi,1≤i≤N服从相同的分布，通过概率积分变换将yi转换成具有标准均匀分布的随机变量，即Ui＝F(yi)～uniform(0,1)k，其中F为yi累积概率分布；根据Sklar定理可知，存在一个N-Copula函数C使得
H(y1,…,yN)＝C(F(y1),…,F(yN))＝C(U1,…,UN) (1)
其中H为y1,…,yN的联合分布，根据累积概率分布的逆变换，式(1)转换为：
C(U1,…,UN)＝H(F-1(U1),…,F-1(UN)) (2)
通过(2)构造一个Copula函数，高斯Copula定义为：
C(U1,…,UN)＝φμ,∑(Φ-1(F(y1)),…,Φ-1(F(yN))) (3)
其中，Φ是标准正态分布的累积概率分布，φμ,∑是以μ,∑为参数的正态分布的累积概率分布；
由高斯Copula定义，令即将y映射到/>上，并使得z服从高斯分布，将获得的具有M种工艺下相关信息的z，可以得到相应的设计参数x与z的数据集
其中，yi为某一种工艺下的目标，F(yi)为目标yi累积概率分布，uniform(0,1)k指的是k维均匀分布，Ui为通过概率积分变换将yi转换成具有标准均匀分布的随机变量，H(y1,…,yN)为y1,…,yN的联合分布，C(F(y1),…,F(yN))＝C(U1,…,UN)为一个存在的N-Copula函数，F-1(Ui)为累积概率分布的逆变换，φμ,∑是以μ,∑为参数的正态分布的累积概率分布，μ为正态分布的均值，∑为正态分布的方差，Φ-1(·)是标准正态分布的累积概率分布的逆变换；表示一种映射关系，将y映射到具有相关信息的/>上，并使得z服从高斯分布，D′M为M种工艺下的参数x与具有相关信息z的数据集；
所述步骤2中，对于步骤1获得的数据集令
X＝[X1,…,XM]，Z＝[Z1,…,ZM]，
设Z＝f(X)+ε，其中f表示设计参数X与目标估计映射的Z之间的高度非线性变换，高斯过程可有效定义所有可能配置的多元高斯分布高斯过程由均值函数以及核函数表征，即
Z～N(λ(X),K(X,X′)) (4)
其中λ(X)为均值函数，K(X,X′)为核函数；采用径向基核函数：
其中Λ是特定于尺寸的长度的对角矩阵 是用于缩放模型的整体方差的缩放因子；
对于加入一个新的目标估计映射值z*，Z与z*之间的联合分布为：
由此可以计算出z*的后验分布，为
z*|x*,X,Z～N(m(x*),∑(x*)) (7)
其中m(x)为均值，∑(x)为方差，具体的计算表达式如下：
最大化后验分布可以在给定新的设计参数x*的情况下得到z*的具体分布，即p(z*)＝N(m(x*),∑(x*))；记θ＝{σn,σf,Λ}，需要通过最小化负对数边际似然拟合出最佳的θ，即
其中根据高斯过程，选取PPA平衡最好的Z的分布作为先进工艺下的分布函数；
其中，D′M为M种工艺下的参数x与具有相关信息z的数据集，Xj,Zj为第j种工艺下设计参数及具有相关性的目标的矩阵，X,Z为包含M种工艺下的设计参数及具有相关性的目标的矩阵；f(·)表示设计参数X与目标估计映射的Z之间的高度非线性变换，ε为噪声，并且服从高斯分布，表示均值为0，方差为/>的高斯分布；μ(·)为均值函数，K(·,·)为核函数，Λ是特定于尺寸的长度的对角矩阵/> 是用于缩放模型的整体方差的缩放因子；x*表示加入一个新的设计参数，z*表示新的目标估计映射值，m(x*),∑(x*)分别表示高斯过程预测的x*处的均值和方差，(·)-1表示矩阵的逆，p(·)表示概率密度函数，θ＝{σn,σf,Λ}为高斯过程需要拟合的超参数；
所述步骤3中，通过步骤2中式(7)拟合出z的概率分布，在先进工艺下的设计参数空间中采样N组候选设计参数x1,x2,…,xn，通过汤普森采样获得N组设计参数中使得P(z*)＝N(m(x),∑(x))最优的一组设计参数xi，然后评估f(xi)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110259020.0A CN112836394B (zh) | 2021-03-10 | 2021-03-10 | 基于相关性和高斯过程回归的设计空间参数迁移学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110259020.0A CN112836394B (zh) | 2021-03-10 | 2021-03-10 | 基于相关性和高斯过程回归的设计空间参数迁移学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112836394A CN112836394A (zh) | 2021-05-25 |
| CN112836394B true CN112836394B (zh) | 2024-05-14 |
Family
ID=75930080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110259020.0A Active CN112836394B (zh) | 2021-03-10 | 2021-03-10 | 基于相关性和高斯过程回归的设计空间参数迁移学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836394B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117677889A (zh) * | 2021-06-16 | 2024-03-08 | 洛克利光子有限公司 | 光电子装置及其阵列 |
| WO2023097661A1 (zh) * | 2021-12-03 | 2023-06-08 | 中国科学院深圳先进技术研究院 | 基于生成对抗网络的大数据系统资源配置参数调优方法 |
| CN115510766B (zh) * | 2022-11-09 | 2023-03-03 | 北京大学 | 一种基于高斯过程模型的3d打印质量预测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107765347A (zh) * | 2017-06-29 | 2018-03-06 | 河海大学 | 一种高斯过程回归和粒子滤波的短期风速预测方法 |
| CN110046434A (zh) * | 2019-04-18 | 2019-07-23 | 电子科技大学 | 基于高斯过程回归和遗传算法的机械零件可靠性设计方法 |
| CN111413619A (zh) * | 2020-03-30 | 2020-07-14 | 上海交通大学 | 基于高斯过程回归的多工况电池剩余容量预测方法及系统 |
| CN111460379A (zh) * | 2020-03-30 | 2020-07-28 | 上海交通大学 | 基于高斯过程回归的多工况动力系统性能预测方法及系统 |
-
2021
- 2021-03-10 CN CN202110259020.0A patent/CN112836394B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107765347A (zh) * | 2017-06-29 | 2018-03-06 | 河海大学 | 一种高斯过程回归和粒子滤波的短期风速预测方法 |
| CN110046434A (zh) * | 2019-04-18 | 2019-07-23 | 电子科技大学 | 基于高斯过程回归和遗传算法的机械零件可靠性设计方法 |
| CN111413619A (zh) * | 2020-03-30 | 2020-07-14 | 上海交通大学 | 基于高斯过程回归的多工况电池剩余容量预测方法及系统 |
| CN111460379A (zh) * | 2020-03-30 | 2020-07-28 | 上海交通大学 | 基于高斯过程回归的多工况动力系统性能预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112836394A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112836394B (zh) | 基于相关性和高斯过程回归的设计空间参数迁移学习方法 | |
| Lyu et al. | Batch Bayesian optimization via multi-objective acquisition ensemble for automated analog circuit design | |
| Zhang et al. | Bayesian optimization approach for analog circuit synthesis using neural network | |
| Hong et al. | Model selection approaches for non-linear system identification: a review | |
| Sun et al. | Correlated multi-objective multi-fidelity optimization for HLS directives design | |
| Liu et al. | Parasitic-aware analog circuit sizing with graph neural networks and Bayesian optimization | |
| Beerel et al. | Opportunities for machine learning in electronic design automation | |
| Ma et al. | CAD tool design space exploration via Bayesian optimization | |
| He et al. | An efficient bayesian optimization approach for analog circuit synthesis via sparse gaussian process modeling | |
| Yang et al. | TIMAQ: A time-domain computing-in-memory-based processor using predictable decomposed convolution for arbitrary quantized DNNs | |
| Hosseini et al. | Short-term traffic flow forecasting by mutual information and artificial neural networks | |
| Lopera et al. | Rtl delay prediction using neural networks | |
| Kurek et al. | Knowledge transfer in automatic optimisation of reconfigurable designs | |
| Amrit et al. | Design strategies for multi-objective optimization of aerodynamic surfaces | |
| Ye et al. | Aging-Aware Critical Path Selection via Graph Attention Networks | |
| Petris et al. | A geometric approach to transdimensional Markov chain Monte Carlo | |
| Cao et al. | A timing prediction framework for wide voltage design with data augmentation strategy | |
| Nabian et al. | Adaptive physics-informed neural networks for Markov-Chain Monte Carlo | |
| Kuang et al. | HGBO-DSE: Hierarchical GNN and Bayesian Optimization based HLS Design Space Exploration | |
| Yin et al. | An efficient Kriging-based constrained multi-objective evolutionary algorithm for analog circuit synthesis via self-adaptive incremental learning | |
| Santhosh et al. | Power Estimation of Synchronous Sequential VLSI Circuits Using Boosting Techniques | |
| Ascia et al. | A framework for design space exploration of parameterized VLSI systems | |
| Li et al. | Efficient high-level synthesis of approximate computing circuits via multi-fidelity modeling | |
| Khusainov et al. | Multi-objective co-design for model predictive control with an FPGA | |
| Varghese et al. | Early detection of analog circuit performance using RBF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |