CN112270158B - 一种基于深度强化学习的封装地过孔打孔分布优化方法 - Google Patents

一种基于深度强化学习的封装地过孔打孔分布优化方法 Download PDF

Info

Publication number
CN112270158B
CN112270158B CN202010969194.1A CN202010969194A CN112270158B CN 112270158 B CN112270158 B CN 112270158B CN 202010969194 A CN202010969194 A CN 202010969194A CN 112270158 B CN112270158 B CN 112270158B
Authority
CN
China
Prior art keywords
punching
position distribution
punching position
distribution
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010969194.1A
Other languages
English (en)
Other versions
CN112270158A (zh
Inventor
李尔平
顾哲铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haining Liyi Electronic Technology Co ltd
Original Assignee
Haining Liyi Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haining Liyi Electronic Technology Co ltd filed Critical Haining Liyi Electronic Technology Co ltd
Priority to CN202010969194.1A priority Critical patent/CN112270158B/zh
Publication of CN112270158A publication Critical patent/CN112270158A/zh
Application granted granted Critical
Publication of CN112270158B publication Critical patent/CN112270158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/39—Circuit design at the physical level
    • G06F30/398—Design verification or optimisation, e.g. using design rule check [DRC], layout versus schematics [LVS] or finite element methods [FEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/39—Circuit design at the physical level
    • G06F30/392—Floor-planning or layout, e.g. partitioning or placement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/18—Chip packaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2115/00—Details relating to the type of the circuit
    • G06F2115/12—Printed circuit boards [PCB] or multi-chip modules [MCM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度强化学习的封装地过孔打孔分布优化方法。通过对实际封装模型的像素分析转换成高阶二元矩阵；通过深度神经网络建立了打孔位置分布到辐射屏蔽性能之间的关系并训练，获得预测网络；通过Double DQN模型的深度强化学习网络不断打孔探索，并通过过程二的预测网络反馈回馈值来训练深度强化学习网络，完成最优的打孔位置分布。本发明方法给出的最终优化结果较同数量地过孔的人工打孔设计有显著的性能和效率提升，并突破了传统的处理方式，在相关电磁问题的分布式问题中具有较高的迁移性，能给出高性能的优化分布方案。

Description

一种基于深度强化学习的封装地过孔打孔分布优化方法
技术领域
本发明属于封装电磁屏蔽领域的一种过孔布置方法，尤其是涉及一种基于深度强化学习的封装地过孔打孔分布优化方法。
背景技术
随着移动电子设备的愈加轻薄短小和制作工艺的不断提升，其内封装芯片逐步小型化，EMI问题在高速电子器件也越来越突出。而SiP封装作为超越摩尔定律下的重要实现路径，常使用共性屏蔽如溅射镀膜以替代占据较大的PCB空间传统金属罩的屏蔽方法。然而共性屏蔽如溅射镀膜也存在相应的辐射泄露问题，因此地过孔在抑制辐射泄漏的作用也变得越来越重要。
但在一些真实的PCB布局中，地过孔被过度使用，而且很多都是多余的。此外，地过孔孔数是影响基板制造成本的因素之一，对地过孔数和节距进行优化设计并使导通孔数尽可能小是很重要的。随着封装空间的减小和内部功能模块的增加，为地过孔提供的空间也越来越小。但现有地过孔的优化设计方法多以人为经验为主，缺乏系统的、针对模型的优化方法。
近年来，深度强化学习的概念引起了相当多的关注。研究证实，多层结构的深度学习模型具有更好的特征表示能力，可以有效地处理非线性和高复杂度的任务。强化学习在解决马尔科夫决策过程问题中表现优异，而深度学习可以在强化学习中得到应用，形成深度强化学习。在超高速电子设备与系统中，EMC问题也变的越来越复杂，它是一个非线性高复杂度的问题。
现有封装地过孔打孔分布优化大多以人为经验为主，缺乏系统的优化设计方法，其余解析优化方法主要针对建模模型的理论分析，缺乏对实际复杂的封装模型的分析。
发明内容
为了解决背景技术中存在的问题，本发明方法的目的是针对现在封装中缺乏针对性地过孔优化算法的实际问题，提供一种基于深度强化学习的封装地过孔打孔分布优化方法，实现了从少量随机地过孔打孔位置分布的学习中给出高质量的地过孔打孔分布优化，地过孔打孔分布优化的方案比同数量地过孔的人工打孔有显著的性能和效率的提升。
本发明方法分为三个总步骤，分别为对地过孔打孔分布问题处理为为多次打孔分步处理，并利用深度神经网络DNN与少量低性能的随机地过孔结果方案完成对各种地过孔方案辐射屏蔽性能的预测和利用深度强化学习网络Dueling DQN完成最终的地过孔优化处理。
本发明方法的具体技术方案是：
过程一、通过对实际封装模型的像素分析转换成高阶二元矩阵，将地过孔优化变成为分步式处理，实现依据少量、劣质、随机的打孔位置分布方案完成优质的打孔位置分布方案的过渡优化；
过程二、通过深度神经网络建立了打孔位置分布到辐射屏蔽性能之间的关系并训练，获得预测网络，以实现对地过孔位置的预测以替代实际检测和全波仿真，用于后续深度强化学习网络提供回馈值；
过程三、通过Double DQN模型的深度强化学习网络不断打孔探索，并通过过程二的预测网络反馈回馈值来学习深度强化学习网络，完成最优的打孔位置分布。
所述过程一，具体为：
分析需要打孔的PCB板的实际封装模型，根据现有加工工艺与实际PCB的其他设计确定实际封装模型中所有可以打孔的位置，将实际封装模型进行像素化处理为高阶二元矩阵：按实际PCB封装模型分层，每两层PCB板间的地过孔根据打孔位置进行区域细分分块，将地过孔的打孔位置分布转换成0、1二元矩阵，一个0、1二元矩阵对应作为PCB板的一个打孔位置分布，0、1二元矩阵中元素为1代表对应位置打孔，元素为0代表对应位置不打孔，不同的层间具有不同的0、1二元矩阵，各层间的0、1二元矩阵作为矩阵的不同阶层，组成了高阶二元矩阵。
PCB板的表面和0、1二元矩阵之间可以按照位置或者编号对应。
所述过程二，具体为：
随机生成能对应实际封装模型的若干0、1二元矩阵作为训练二元矩阵，训练二元矩阵的矩阵大小和高阶二元矩阵的0、1二元矩阵的矩阵大小相同，一个训练二元矩阵对应作为PCB板的一种打孔位置分布，这些矩阵代表了随机生成的打孔位置分布；在全波仿真软件中建立训练二元矩阵对应的打孔方案物理模型，并通过全波仿真软件施加电磁场测试得到该打孔方案对应的辐射屏蔽性能；每一种打孔位置分布与其对应的辐射屏蔽性组成为一条数据，所有条数据构成作为深度神经网络的训练数据集，并创建深度神经网络，将训练数据集输入到深度神经网络进行训练，获得训练后的深度神经网络作为预测网络。这样建立了打孔位置分布到辐射屏蔽性能之间的关系，能实现所需精度下打孔位置分布到辐射屏蔽性能的预测。
所述的深度神经网络采用DNN神经网络模型。
所述过程三，具体为：
3.1)创建两个结构相同且初始权重相同的深度强化学习神经网络Q(θt)和
Figure BDA0002683447790000031
组成Double DQN模型，每个深度强化学习神经网络采用具有优势函数与值函数双流输出的Dueling DQN模型；
Double DQN模型包括了智能体、环境、动作、反馈值。智能体对应于学习打孔经验和做出新的打孔的处理。环境是指智能体之外一切组成的、与之交互的事物，对应于为实际打孔问题构建的相关代码。动作是指智能体的行为表征，对应于智能体做出的每一个打孔选择。反馈值是环境对于动作的反馈，该反馈用于指导智能体进一步的学习和探索问题，本方法中反馈值的相关数值来自于过程二中的预测网络。
3.2)Double DQN模型的智能体对PCB板的每层从打孔为零开始进行打孔探索；
3.3)Double DQN模型的智能体进行多次打孔探索，每次打孔探索是在前一次的打孔位置分布基础上增加一个打孔位置获得了当前次的打孔位置分布，Double DQN模型每次会输出一个优质的打孔位置分布，然后每次打孔探索后处理获得一条经验数据，一条经验数据包括当前次的打孔位置分布，当前次的打孔位置分布下所增加的该一个地过孔的打孔位置、当前次的打孔位置分布的回馈值、当前次的打孔位置分布后可能更新的下一次打孔位置分布、当前次的打孔位置分布是否获得完成的结果；回馈值是当前次的打孔位置分布输入到预测网络获得的辐射屏蔽性能和前一次的打孔位置分布输入到预测网络获得的辐射屏蔽性能之差；
3.4)将Double DQN模型经固定的多次打孔探索获得的每个经验数据存放在经验池，然后对经验池抽样，抽取优先级高的经验数据，再用优先经验回放方法根据优先级高的经验数据更新Double DQN模型的网络参数；经验池为一个数据库。
3.5)不断迭代上述步骤3.3)～3.4)过程，使得直到最新次的打孔位置分布输入到预测网络获得的辐射屏蔽性能达到预设的辐射屏蔽性能阈值，则以最新次的打孔位置分布作为最终结果，对PCB板进行地过孔打孔处理。
所述的Double DQN模型中的智能体根据随机-贪婪处理方式(ε-greedy处理方式)进行探索获得是当前次的打孔位置分布。
所述的优先级高的经验数据是指当前参数下的Double DQN模型对经验中包含的打孔收益预测误差超过预设阈值的经验数据。
所述的用优先经验回放方法根据优先级高的经验数据更新Double DQN模型的网络参数，具体为：使用SumTree方法在经验池中快速获得优先级较高的经验数据，并将这些经验数据以批训练的方式给入Double DQN以调整权重参数使进一步学习。
所述的用于更新Double DQN模型参数更新和学习的回馈值使用了分步策略下对应的差分屏蔽性能，具体为当前次的打孔位置分布输入到预测网络获得的辐射屏蔽性能和前一次的打孔位置分布输入到预测网络获得的辐射屏蔽性能之差。
本发明结合Double DQN、优先经验回放方法(Prioritized Experience Replay)等方法辅助完成优化训练。
智能体每次打孔探索所得的回馈值来自于过程二所训练好的具有预测功能的DNN网络：本发明的算法将采取每一次打孔探索前后的打孔位置分布传入预测网络，预测网络通过对前后的打孔位置分布的辐射屏蔽性能差分作为回馈值反馈至智能体。
且算法完成对Double DQN模型的一定学习后，将原在探索和学习阶段时使用的随机贪婪处理方式改为纯贪婪处理方式，使用纯贪婪处理方式处理输出优质的打孔位置分布。
所述方法用于电磁辐射泄露屏蔽中的分布式优化问题，例如地过孔优化分布、地Ball优化分布等。优化算法基于DQN模型实现，与其他DQN互补以提升算法性能。
本发明方法能生成适合当前情况的地过孔优质排布处理方式，使用深度学习模型(DNN)来快速预测不同地过孔排布处理方式对应在当前SiP封装中电磁辐射，并使用强化学习模型(Dueling DQN)实现了无初始数据下优质排布处理方式的生成。值得注意的是，其中强化学习的回馈值是由DNN预测网络输出提供。
本发明的有益效果是：
本发明基于深度强化学习来实现了封装中的地过孔分布结构优化。在本发明之前，本领域尚未找到一套类似的自动化方法进行封装中的地过孔分布优化。同时与传统人工的优化设计相比，本发明方法给出的最终优化结果较同数量地过孔的人工打孔设计有显著的性能和效率提升，并突破了传统的处理方式。
在技术贡献上，本发明还能推广至封装中的电磁辐射泄露屏蔽问题内的其他分布式优化处理，例如地Ball、信号Ball的优化分布等。厂商只需要提供封装的相关版图，本发明中的方法可以给出高性能的优化分布方案。
附图说明
图1为实际SiP封装产品中的地过孔优化实例对应的实际封装模型示意图；
图2为依据SiP封装实例实际尺寸建立的双层基板仿真模型图；
图3为在限定地过孔数量为10的前提下，通过深度强化算法给出的一个地过孔优化处理方式的情况示意图；
图4为四种打孔处理方式在CST中的仿真模型。
图5为图4对应的四种处理方式在CST中的仿真验证结果图。
具体实施方式
下面结合附图和实际SiP封装产品中的地过孔优化实例对本发明作进一步说明。
如图1所示为本实例对应的实际封装模型，该产品采用了溅射镀膜以替代传统屏蔽罩。封装与PCB板之间存在的缝隙是该产品面临强电磁泄漏问题的重要原因之一。因此地过孔的设计以屏蔽辐射泄露变得十分重要。
如图2所示为依据该产品实际尺寸建立的双层基板仿真模型，图中显示了模拟设置的一百处可打孔位置，该仿真模型的辐射源设计为一条靠近基板左侧微带线，打孔位置分布的屏蔽性能对应为距离基板左侧1.55mm的磁场最大值(dBA/m)。
具体实施中，主要使用到两个主要的神经网络，一是用于预测各种打孔位置分布对应屏蔽性能的深度学习网络，训练后为预测网络，二是用于生成地过孔优化设计方案的深度强化学习网络。前者所用的数据集为随机生成的若干打孔位置分布，打孔位置分布是随机生成的，但是这些打孔位置分布并不是优质的打孔位置分布。后者基于深度强化学习之间迭代不断优化获得最优的打孔位置分布，无数据集输入。
本发明在SiP封装地过孔优化设计实例的具体实施步骤如下：
S1.首先分析需要打孔的实际封装模型，根据现有加工工艺与实际PCB的其他设计，确定该模型中所有可以打孔的位置；
S2.将实际封装模型进行像素化处理为高阶二元矩阵：按实际PCB封装模型分层，每两层PCB板间的地过孔根据打孔位置进行区域细分分块，将地过孔的打孔位置分布转换成0、1二元矩阵。0、1二元矩阵中元素为1代表对应位置打孔，元素为0代表对应位置不打孔，不同的层间具有不同的0、1二元矩阵，各层间的0、1二元矩阵作为矩阵的不同阶层。
S3.将多地过孔的分布式问题重新建模成逐个地过孔打孔的分步决策问题，将一个地过孔的分布方案理解为逐个地过孔打孔决策下的多步决策结果。
S4.随机生成对应模型的若干0、1二元矩阵，这些矩阵代表了随机生成的打孔位置分布。在全波仿真软件中建立训练二元矩阵对应的打孔方案物理模型并通过全波仿真软件得到这些打孔方案各自对应的辐射屏蔽性能；
S5.每一个打孔位置分布和对应的辐射屏蔽性能作为一条数据，以此作为深度神经网络的相关数据集。将该数据集进行预处理并打乱相关性后，分为训练集、交叉验证集与测试集；
S6.创建深度神经网络，初步确定较合适的深度神经网络结构、激活函数、损失函数、超参数和优化器后，通过网络在交叉验证集内的训练表现进一步调整以上深度神经网络相关要素；
S7.将训练集给入深度神经网络进行训练，并根据深度神经网络在测试集中的预测表现，选择性加入必要的训练辅助手段和过拟合抑制手段，完成一个具有一定精度的预测网络，实现对各种打孔位置分布对应辐射屏蔽性能的预测；
S8.建立一个经验池M以存储DQN算法的探索学习经验。基于Double DQN算法，创建两个结构相同且初始权重
Figure BDA0002683447790000061
的深度强化学习神经网络Q(θt)、
Figure BDA0002683447790000062
其网络结构选择了具有优势函数与值函数双流输出的Dueling DQN模型；
S9.DQN算法对模型的学习以完整的一次对模型的打孔位置分布探索为一个周期，重复训练直至算法完成对模型的学习并给出优质设计方案，每个周期执行以下步骤：
S9.1.将打孔状态S置为未打孔的初态S0；以每一个孔的打孔决策为一步直至完成当前一次打孔位置分布设计，每一步执行以下步骤：
S9.1.1.对当前打孔状态S以ε-greedy处理方式完成当前一步的打孔决策，即以ε的概率随机选择剩余一处位置作为下一次打孔决策A，或1-ε的概率选择当前S下具有最高收益的位置作为下一次打孔决策A。当前S下具有最高收益的位置由网络Q(θt)、
Figure BDA0002683447790000063
依据当前S按Double DQN方法联合给出；
S9.1.2.由S与A确定下一个状态S′和D，其中D为True表示该周期的打孔位置分布在该次打孔后已经完成，否则为未完成。由过程二中得到的深度神经网络对当前S和依据ε-greedy处理方式的打孔决策A给出其对应的反馈R。其中R被定义为打孔前后的打孔位置分布屏蔽性能之差。将本次探索经验(S,A,R,S′,D)存储至经验池M。每一条经验都具有经验优先级p，其各自优先级p被定义为每条经验在Q(θt)和
Figure BDA0002683447790000064
对应的时延误差，表征当前深度强化学习网络对该经验的预测误差。当经验池M大于预先指定的经验数量后，从经验池M中结合SumTree方法基于经验优先级p完成批训练数据的采样，将批训练数据给入Q(θt)做批训练，以Dueling DQN的方式进一步调整其权重参数θt，并更新对应经验的优先级p。
S9.1.3.令S＝S′并依据D进入下一个步或新的周期；
S9.2.每K个周期令
Figure BDA0002683447790000071
S9.3.当算法完成对模型的一定学习后，将原在探索和学习阶段时使用的随机贪婪处理方式改为纯贪婪处理方式，使用纯贪婪处理方式处理输出优质的打孔位置分布。
图示给出了一个实际SiP封装产品中的地过孔优化实例，图3所示为在限定地过孔数量为10的前提下，通过深度强化算法给出的一个地过孔优化处理方式。此外，基于地过孔设计方案的屏蔽性能选取，给出了模型在未打孔时对应的打孔位置分布，并横向比较了算法的设计方案与两种常规的范围人工设计的地过孔包边方案的优劣性。
图4是四种打孔处理方式在CST中的仿真模型，图5是对应的CST仿真验证结果，其中第一个仿真磁场分布图对应PCB在无打孔时的情况，第二个仿真磁场分布图对应常见的单排打孔处理方式，第三个仿真磁场分布图对应常见的单排打孔处理方式，第四个仿真磁场分布图对应由算法运行至100个episode时给出的最优打孔处理方式。我们以距离PCB左侧边缘1.55mm处的平面为观测平面，其在观察平面上的磁场最大值在其对应下方给出，分别为-9.80366dB(A/m)、-26.6712dB(A/m)、-40.1921dB(A/m)、-40.9285dB(A/m)，即单、双排打孔和算法所得方案的隔离度分别为73.1dB、92.5dB、93.2dB。
方法给出的打孔处理方式较未打孔时提升了31dB的隔离度，较同地过孔数量的人为优化设计提升了14dB的隔离度。因此算法对地过孔问题的优化设计有着良好的解决能力，算法给出的打孔处理方式具有较高的屏蔽性能，不仅极好地抑制了PCB的边缘辐射(与未打孔时相比)，也比常见的单排打孔处理方式甚至双排打孔处理方式具有更好的问题适应性。

Claims (7)

1.一种基于深度强化学习的封装地过孔打孔分布优化方法，其特征在于：
过程一、通过对实际封装模型的像素分析转换成高阶二元矩阵；
过程二、通过深度神经网络建立了打孔位置分布到辐射屏蔽性能之间的关系并训练，获得预测网络；
过程三、通过Double DQN模型的深度强化学习网络不断打孔探索，并通过过程二的预测网络反馈回馈值来学习深度强化学习网络，完成最优的打孔位置分布；
所述过程二，具体为：
随机生成若干0、1二元矩阵作为训练二元矩阵，训练二元矩阵的矩阵大小和高阶二元矩阵的0、1二元矩阵的矩阵大小相同，一个训练二元矩阵对应作为PCB板的一种打孔位置分布；在全波仿真软件中建立训练二元矩阵对应的打孔方案物理模型，并通过全波仿真软件施加电磁场测试得到该打孔方案对应的辐射屏蔽性能；每一种打孔位置分布与其对应的辐射屏蔽性组成为一条数据，所有条数据构成作为深度神经网络的训练数据集，并创建深度神经网络，将训练数据集输入到深度神经网络进行训练，获得训练后的深度神经网络作为预测网络。
2.根据权利要求1所述的一种基于深度强化学习的封装地过孔打孔分布优化方法，其特征在于：所述过程一，具体为：
分析需要打孔的PCB板的实际封装模型，确定实际封装模型中所有可以打孔的位置，将实际封装模型进行像素化处理为高阶二元矩阵：按实际PCB封装模型分层，每两层PCB板间的地过孔根据打孔位置进行区域细分分块，将地过孔的打孔位置分布转换成0、1二元矩阵，0、1二元矩阵中元素为1代表对应位置打孔，元素为0代表对应位置不打孔，不同的层间具有不同的0、1二元矩阵，各层间的0、1二元矩阵作为矩阵的不同阶层，组成了高阶二元矩阵。
3.根据权利要求1所述的一种基于深度强化学习的封装地过孔打孔分布优化方法，其特征在于：所述过程三，具体为：
3.1)创建两个结构相同且初始权重相同的深度强化学习神经网络Q(θt)和
Figure FDA0003781110390000011
组成Double DQN模型，每个深度强化学习神经网络采用Dueling DQN模型；
3.2)Double DQN模型的智能体对PCB板的每层从打孔为零开始进行打孔探索；
3.3)Double DQN模型的智能体进行多次打孔探索，每次打孔探索是在前一次的打孔位置分布基础上增加一个打孔位置获得了当前次的打孔位置分布，然后每次打孔探索后处理获得一条经验数据，一条经验数据包括当前次的打孔位置分布，当前次的打孔位置分布下所增加的一个地过孔的打孔位置、当前次的打孔位置分布的回馈值、当前次的打孔位置分布后可能更新的下一次打孔位置分布、当前次的打孔位置分布是否获得完成的结果；回馈值是当前次的打孔位置分布输入到预测网络获得的辐射屏蔽性能和前一次的打孔位置分布输入到预测网络获得的辐射屏蔽性能之差；
3.4)将Double DQN模型经多次打孔探索获得的每个经验数据存放在经验池，然后对经验池抽样，抽取优先级高的经验数据，再用优先经验回放方法根据优先级高的经验数据更新Double DQN模型的网络参数；
3.5)不断迭代上述步骤3.3)～3.4)过程，使得直到最新次的打孔位置分布输入到预测网络获得的辐射屏蔽性能达到预设的辐射屏蔽性能阈值，则以最新次的打孔位置分布作为最终结果，对PCB板进行地过孔打孔处理。
4.根据权利要求3所述的一种基于深度强化学习的封装地过孔打孔分布优化方法，其特征在于：所述的Double DQN模型中的智能体根据随机-贪婪处理方式ε-greedy处理方式进行探索获得是当前次的打孔位置分布。
5.根据权利要求3所述的一种基于深度强化学习的封装地过孔打孔分布优化方法，其特征在于：所述的优先级高的经验数据是指当前参数下的Double DQN模型对经验中包含的打孔收益预测误差超过预设阈值的经验数据。
6.根据权利要求3所述的一种基于深度强化学习的封装地过孔打孔分布优化方法，其特征在于：所述的用优先经验回放方法根据优先级高的经验数据更新Double DQN模型的网络参数，具体为：使用SumTree方法在经验池中快速获得优先级高的经验数据，并将这些经验数据以批训练的方式给入Double DQN以调整权重参数使进一步学习。
7.根据权利要求3所述的一种基于深度强化学习的封装地过孔打孔分布优化方法，其特征在于：所述的用于更新Double DQN模型参数更新和学习的回馈值使用了分步策略下对应的差分屏蔽性能，具体为当前次的打孔位置分布输入到预测网络获得的辐射屏蔽性能和前一次的打孔位置分布输入到预测网络获得的辐射屏蔽性能之差。
CN202010969194.1A 2020-09-15 2020-09-15 一种基于深度强化学习的封装地过孔打孔分布优化方法 Active CN112270158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010969194.1A CN112270158B (zh) 2020-09-15 2020-09-15 一种基于深度强化学习的封装地过孔打孔分布优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010969194.1A CN112270158B (zh) 2020-09-15 2020-09-15 一种基于深度强化学习的封装地过孔打孔分布优化方法

Publications (2)

Publication Number Publication Date
CN112270158A CN112270158A (zh) 2021-01-26
CN112270158B true CN112270158B (zh) 2022-11-18

Family

ID=74349534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010969194.1A Active CN112270158B (zh) 2020-09-15 2020-09-15 一种基于深度强化学习的封装地过孔打孔分布优化方法

Country Status (1)

Country Link
CN (1) CN112270158B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792397B1 (en) * 2017-01-08 2017-10-17 Alphaics Corporation System and method for designing system on chip (SoC) circuits through artificial intelligence and reinforcement learning
CN110610052A (zh) * 2019-09-20 2019-12-24 中国科学院软件研究所 Pcb自动布线系统及方法
CN111461321A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于Double DQN的改进深度强化学习方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190184561A1 (en) * 2017-12-15 2019-06-20 The Regents Of The University Of California Machine Learning based Fixed-Time Optimal Path Generation
US10915073B2 (en) * 2017-12-15 2021-02-09 Exxonmobil Research And Engineering Company Adaptive PID controller tuning via deep reinforcement learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792397B1 (en) * 2017-01-08 2017-10-17 Alphaics Corporation System and method for designing system on chip (SoC) circuits through artificial intelligence and reinforcement learning
CN110610052A (zh) * 2019-09-20 2019-12-24 中国科学院软件研究所 Pcb自动布线系统及方法
CN111461321A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于Double DQN的改进深度强化学习方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Learning Method for Prediction of Planar Radiating Sources from Near-Field Intensity Data;H. Ma, E. Li;《2019 IEEE International Symposium on Electromagnetic Compatibility, Signal & Power Integrity(EMC+SIPI)》;20190905;第610-615页 *
Deep Reinforcement Learning for High Precision Assembly Tasks;Tadanobu Inoue;《IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20190814;第1-7页 *
陶拓，旻靳航，李尔平.基于远场测试的封装电磁辐射精确建模方法.《2019年全国天线年会论文集（下册）》.2019, *

Also Published As

Publication number Publication date
CN112270158A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
Xu et al. Evolutionary extreme learning machine–based on particle swarm optimization
CN109086531B (zh) 基于神经网络的天线设计方法
CN107330446A (zh) 一种面向图像分类的深度卷积神经网络的优化方法
CN110232212B (zh) 基于蝙蝠算法的天线设计优化方法及系统
CN108182316B (zh) 一种基于人工智能的电磁仿真方法及其电磁大脑
Liu et al. A fault diagnosis intelligent algorithm based on improved BP neural network
CN108984985B (zh) 基于神经网络的天线结构设计方法
CN104122796B (zh) 一种智能装配序列规划方法
CN106447133A (zh) 一种基于深度自编码网络的短期电力负荷预测方法
CN116402002B (zh) 一种用于芯片布局问题的多目标分层强化学习方法
CN111178504B (zh) 基于深度神经网络的鲁棒压缩模型的信息处理方法及系统
CN112270158B (zh) 一种基于深度强化学习的封装地过孔打孔分布优化方法
CN108171322A (zh) 一种基于粒子群优化的神经网络学习算法
CN113807040A (zh) 一种面向微波电路的优化设计方法
CN109117545B (zh) 基于神经网络的天线快速设计方法
Swaminathan et al. Bayesian learning for uncertainty quantification, optimization, and inverse design
Mishra et al. Design of circular microstrip antenna using neural networks
CN115906303A (zh) 一种基于机器学习的平面微波滤波器设计方法及装置
CN115099405A (zh) 一种基于近似乘法的神经网络混合近似及误差补偿方法
Guo et al. Dynamic neural network structure: A review for its theories and applications
Mousa et al. Identification the modulation type in cognitive radio network based on Alexnet architecture
Garbuglia et al. S-parameter Modeling and Optimization using Deep Gaussian Processes
CN114492253B (zh) 一种联合高斯过程的微带电路半空间映射快速优化方法
CN116680944B (zh) 基于数值模拟及深度学习的电弧增材构件工艺预测方法
CN107729694B (zh) 一种基于神经网络的多参数电磁场建模仿真方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant