CN115047721A - 一种使用循环一致对抗网络快速计算掩模近场的方法 - Google Patents
一种使用循环一致对抗网络快速计算掩模近场的方法 Download PDFInfo
- Publication number
- CN115047721A CN115047721A CN202210610711.5A CN202210610711A CN115047721A CN 115047721 A CN115047721 A CN 115047721A CN 202210610711 A CN202210610711 A CN 202210610711A CN 115047721 A CN115047721 A CN 115047721A
- Authority
- CN
- China
- Prior art keywords
- mask
- near field
- network
- mask near
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000003042 antagnostic effect Effects 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 230000005684 electric field Effects 0.000 claims description 3
- 230000010287 polarization Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 40
- 230000036039 immunity Effects 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 2
- 230000008485 antagonism Effects 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 235000012431 wafers Nutrition 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000001459 lithography Methods 0.000 description 2
- 238000000206 photolithography Methods 0.000 description 2
- 229920002120 photoresistant polymer Polymers 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
- G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
- G03F7/70—Microphotolithographic exposure; Apparatus therefor
- G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
- G03F7/70491—Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
- G03F7/705—Modelling or simulating from physical phenomena up to complete wafer processes or whole workflow in wafer productions
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
- G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
- G03F7/70—Microphotolithographic exposure; Apparatus therefor
- G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
- G03F7/70491—Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种使用循环一致对抗网络快速计算掩模近场的方法，以机器学习中生成对抗网络(GAN)的框架为基础，构造两个生成器分别正向和反向生成掩模近场和掩模的成像图案；然后利用循环一致损失作为约束条件，以确保正向与反向生成的掩模近场与掩模成像图案一一对应，并构造出包含对抗损失和约束条件循环一致损失的函数，得到总的损失函数；在取得更快的掩模近场计算速度时，也具有更低的损失函数值。同时本发明中的CycleGAN掩模近场计算方法采用无监督学习的训练方式，去学习输入数据集与输出数据集之间的映射，而不是单一的输入与输出之间的映射，因此无监督训练模型方式拥有非常广泛的应用范围，且存在巨大的研究价值。
Description
技术领域
本发明涉及光刻技术的技术领域，尤其涉及到一种使用循环一致对抗网络快速计算掩模近场的方法。
背景技术
光刻技术是超大规模集成电路制造的核心技术之一。在集成电路制造的一系列过程中，只有光刻才能在硅片上产生图案，这也是制造电路三维结构的一个重要步骤。光刻系统主要由照明系统、掩膜、投影物镜、瞳孔和涂有光刻胶的硅晶圆等部分组成，光源发出的光波照射并透过掩膜生成掩膜近场，并经过投影物镜投影、瞳孔的低通滤波和光刻胶刻蚀把掩膜图案转移到硅晶圆上，但是在图像传递过程中的信息丢失使得硅晶圆上的形状发生畸变，并随着波长的减小、数值孔径的增大和工艺过程的复杂度提高变得越加明显。
随着半导体集成强度的不断提高，摩尔定律的延续和光刻技术的不断改进，光刻技术节点进入22nm节点，半导体的特征尺寸不断减小，导致EUV光通过厚掩模时衍射效应变得非常严重。因此，标量衍射理论不再精确，这要求我们找到一些精确的方法来计算光通过厚掩模后掩模的近场。
相关文献(Fast mask near-field calculation using fully convolutionnetwork)提出了基于全卷积网络(FCN)的掩模近场计算方法。该方法利用UNet 结构并使用扩张卷积扩大感受野去完成端到端和像素到像素的数据转换的网络模型训练，保证训练的稳定性。
但是该方法存在两点不足：
第一，冗余太大，由于每个像素点都需要取一个patch，那么相邻的两个像素点的patch相似度是非常高的，这就导致了非常多的冗余，导致网络训练很慢。
第二，分类准确度和定位精度不可兼得，当感受野选取比较大的时候，后面对应的pooling层的降维倍数就会增大，这样就会导致定位精度降低，但是如果感受野比较小，那么分类精度就会降低。
综上所述，现有的掩模近场计算方法在优化网络框架、计算效率和计算精度等方面均有待进一步改善和提高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种使用循环一致对抗网络快速计算掩模近场的方法。
为实现上述目的，本发明所提供的技术方案为：
一种使用循环一致对抗网络快速计算掩模近场的方法，包括以下步骤：
S1、将掩模近场用四个衍射矩阵表示，记为E(UV)，其中U＝X或Y，V＝X 或Y；X和Y表示复数坐标系中的两个偏振方向；
S2、选定对掩模近场成像图案贡献最大的E(XX)与E YY)提取掩模近场数据，而忽略贡献E(XY)与E YX)的影响；
S3、构造CycleGAN网络的生成器架构，采用最近邻算法进行上采样，使用跨步卷积进行下采样，并构建下采样块、上采样块和残差块；
S4、构造CycleGAN网络的鉴别器架构；
S5、构造CycleGAN网络的损失函数，该损失函数包括由掩模正向生成掩模近场成像图案的目标函数、由掩模近场反向生成掩模近场成像图案的目标函数、循环一致性损失函数、恒等映射损失函数；
S6、对CycleGAN网络进行训练，得到训练好的CycleGAN网络；
S7、通过训练好的CycleGAN网络进行掩模近场计算。
进一步地，所述步骤S1中，E(UV)表示由在V方向极化的单位入射电场产生的在U方向偏振的近场的复振幅，公式表示为：
E(UV)＝Ereal(UV)+iEimag(UV)
其中，Ereal(UV)和Eimag(UV)分别表示E(UV)的实部和虚部；i表示复数坐标系中的复数坐标轴，即虚轴。
进一步地，所述步骤S2中，获取掩模近场实部与虚部数据阵列的公式如下：
其中，
表示E(XX)在XX方向的振幅数值阵列，
表示E(XX)在XX方向的相位数值阵列；
表示E(YY)在YY方向的振幅数值阵列，
表示E(YY)在 YY方向的相位数值阵列。
进一步地，构造CycleGAN网络的损失函数公式如下：
LGAN(G,F)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)
+λLCycle(G,F)+μLIdentity(G,F)；
其中，LGAN(G,DY,X,Y)为由掩模正向生成掩模近场成像图案的目标函数； LGAN(F,DX,Y,X)为由掩模近场反向生成掩模近场成像图案的目标函数；LCycle(G,F) 为循环一致性损失函数；LIdentity(G,F)为恒等映射损失函数；λ和μ均为权重。
进一步地，由掩模正向生成掩模近场成像图案的目标函数公式如下：
目标是为了
以确保生成的掩模近场图案与由数据得到的掩模图案尽可能的接近；
由掩模近场反向生成掩模近场成像图案的目标函数公式如下：
目标是为了
以确保生成的掩模图案与由数据得到的掩模近场图案尽可能的接近；
其中，E是数学期望，～是服从关系，以及P是输入数据；Pdata(x)是掩码数据分布，Pdata(y)是掩模近场数据分布，生成网络G是从掩模到掩模近场的映射，即正向映射；生成网络F是从掩模近场到掩模的映射，即反向映射；鉴别网络DX用于区分真实掩模与由掩模近场反向生成的掩模，鉴别网络DY用于区分掩模近场和由掩模正向生成的掩模近场。
进一步地，循环一致性损失函数公式如下：
其中，真实数据和反向生成的数据之间的差异由L1范数衡量；
恒等映射损失函数公式如下：
进一步地，在CycleGAN网络训练过程中，在更新参数时，保留一个模式缓冲区来存储之前生成的图案，并使用这些模式来更新鉴别器，而不仅仅是新生成的模式；对于两个生成对抗网络中的对抗性损失，用最小二乘损失代替负对数似然函数。
与现有技术相比，本方案原理及优点如下：
1)相对于现有的掩模近场计算方法，本方案中的CycleGAN掩模近场计算方法克服了以往传统的严格电磁场掩模近场计算计算量大和计算时间长的问题，使得实时近场计算成为可能。
2)本方案以机器学习中生成对抗网络(GAN)的框架为基础，构造两个生成器分别正向和反向生成掩模近场和掩模的成像图案；然后利用循环一致损失作为约束条件，以确保正向与反向生成的掩模近场与掩模成像图案一一对应，并构造出包含对抗损失和约束条件循环一致损失的函数，得到总的损失函数；在取得更快的掩模近场计算速度时，也具有更低的损失函数值。
3)采用无监督学习的训练方式，去学习输入数据集与输出数据集之间的映射，而不是单一的输入与输出之间的映射，因此无监督训练模型方式拥有非常广泛的应用范围，且存在巨大的研究价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种使用循环一致对抗网络快速计算掩模近场的方法的原理流程图；
图2为4个生成模型测试掩模近场生成效果的结果成像示意图；
图3为4个网络训练效果的损失函数示意图；
图4为4个网络测试效果的损失函数示意图；
图5为CycleGAN网络的生成器框架结构示意图；
图6为CycleGAN网络的鉴别器框架结构示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明：
本实施例所述的一种使用循环一致对抗网络快速计算掩模近场的方法，其原理为：以机器学习中生成对抗网络(GAN)的框架为基础，构造两个生成器分别正向和反向生成掩模近场和掩模的成像图案；然后利用循环一致损失作为约束条件，以确保正向与反向生成的掩模近场与掩模成像图案一一对应，并构造出包含对抗损失和约束条件循环一致损失的函数，得到总的损失函数，即：
LGAN(G,F)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X) +λLCycle(G,F)+μLIdentity(G,F)
其中第一项是由掩模正向生成掩模近场成像图案的目标函数公式，第二项是由掩模近场反向生成掩模成像图案的目标函数公式，第三项是约束条件循环一致损失函数，第四项是恒等映射损失函数；
一方面，克服了以往传统的严格电磁场掩模近场计算方法在计算过程中没有任何近似的约束，使得提升运算速度成为可能；
另一方面，该方法以机器学习中生成对抗网络(GAN)的框架为基础，构造两个生成器分别正向和反向生成掩模近场和掩模的成像图案；然后利用循环一致损失作为约束条件，以确保正向与反向生成的掩模近场与掩模成像图案一一对应，并构造出包含对抗损失和约束条件循环一致损失的函数，得到总的损失函数；在取得更快的掩模近场计算速度时，也具有更低的损失函数值。
如图1所示，本实施例所述的一种使用循环一致对抗网络快速计算掩模近场的方法，包括以下步骤：
S1、将掩模近场用四个衍射矩阵表示，记为E(UV)，其中U＝X或Y，V＝X 或Y；X和Y表示复数坐标系中的两个偏振方向；
E(UV)表示由在V方向极化的单位入射电场产生的在U方向偏振的近场的复振幅，公式表示为：
E(UV)＝Ereal(UV)+iEimag(UV)
其中，Ereal(UV)和Eimag(UV)分别表示E(UV)的实部和虚部；i表示复数坐标系中的复数坐标轴，即虚轴。
S2、选定对掩模近场成像图案贡献最大的E(XX)与E(YY)提取掩模近场数据，而忽略贡献E(XY)与E(YX)的影响；
获取掩模近场实部与虚部数据阵列的公式如下：
其中，
表示E(XX)在XX方向的振幅数值阵列，
表示E(XX)在XX方向的相位数值阵列；
表示E(YY)在YY方向的振幅数值阵列，
表示E(YY)在 YY方向的相位数值阵列。
S3、构造CycleGAN网络的生成器架构，采用最近邻算法进行上采样，使用跨步卷积进行下采样，并构建2个下采样块、2个上采样块和9个残差块。在模块中，ReLU用作激活函数，InstanceNorm用于实例归一化，ReflectionPad2d 用于相反方向的边缘像素值填充。
S4、构造CycleGAN网络的鉴别器架构；构造4个下采样块和1个卷积层，最后使用卷积产生一维输出。在下采样块中，LeakyReLU用作激活函数， InstanceNorm用于实例归一化，第一层不使用归一化，同样采用跨步卷积进行下采样。
S5、构造CycleGAN网络的损失函数，公式如下：
LGAN(G,F)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)
+λLCycle(G,F)+μLIdentity(G,F)；
其中，LGAN(G,DY,X,Y)为由掩模正向生成掩模近场成像图案的目标函数； LGAN(F,DX,Y,X)为由掩模近场反向生成掩模近场成像图案的目标函数；LCycle(G,F 为循环一致性损失函数；LIdentity(G,F)为恒等映射损失函数；λ和μ均为权重。
具体地，由掩模正向生成掩模近场成像图案的目标函数公式如下：
目标是为了
以确保生成的掩模近场图案与由数据得到的掩模图案尽可能的接近；
G表示生成器，D表示鉴别器；最后送入鉴别器的数据有真实数据与生成器生成的数据，来判别它们是否为真实数据，概率范围在0-1之间；鉴别器D的作用是希望把真实数据判定为1，把生成数据判定为0；生成器G希望通过仿照的方式去欺骗鉴别器D，使得D把生成数据也判定为1；这样就形成了一种对抗的博弈，之所以是minG和
是真实数据与生成数据之间的差异性。D判定真实数据接近1，判定生成数据接近0，会增大生成数据与真实数据之间的差异(max) 而G其实就是在伪造真实数据，经过训练，G生成的数据将会越来越接近真实数据，所以它们之间的差异性就会越来越小(min)。最终达到平衡时，D判定生成数据与真实数据的概率值都为0.5，即无法区分真假，或者说它们完全一样(0.5 是因为这里只有一个生成器，本实施例共用了两个生成器，取了平均所以最后是收敛到达0.25)
由掩模近场反向生成掩模近场成像图案的目标函数公式如下：
目标是为了
以确保生成的掩模图案与由数据得到的掩模近场图案尽可能的接近；
其中，E是数学期望，～是服从关系，以及P是输入数据；Pdata(x)是掩码数据分布，Pdata(y)是掩模近场数据分布，生成网络G是从掩模到掩模近场的映射，即正向映射；生成网络F是从掩模近场到掩模的映射，即反向映射；鉴别网络DX用于区分真实掩模与由掩模近场反向生成的掩模，鉴别网络DY用于区分掩模近场和由掩模正向生成的掩模近场。
循环一致性损失函数公式如下：
其中，真实数据和反向生成的数据之间的差异由L1范数衡量；
恒等映射损失函数公式如下：
上述中，之所以添加了循环一致性损失作为约束条件，是因为只有对抗性损失并不能保证训练可以将单个输入掩码映射到其相应输出的屏蔽近场，可能会发生所有掩码映射到同一近场等情况。这可能会导致模式崩溃。
因此，为了减少映射函数的空间，通过添加循环一致性损失作为约束条件，能确保生成的映射能够对应。
还有的是，为了使目标函数更好地收敛以及生成的图案效果更加稳定，再引入LIdentity损失函数。这能使得生成映射可以保持输入和输出之间的灰度明暗色差稳定，而没有identityloss时，生成器G和F可能会在没有更改输入图像的色调时出现色差的波动。
S6、对CycleGAN网络进行训练，得到训练好的CycleGAN网络；
本步骤中，
初始化网络参数，将批量大小设置为1，学习率设置为0.00005，优化器使用Adam。
在标准化时，在对训练数据进行仔细观察和实验后，将掩模近场实部数据标准化到-1到0的范围，虚部数据标准化到0到1的范围。
在更新参数时，保留一个模式缓冲区来存储之前生成的50个图案，并使用这些模式来更新鉴别器，而不仅仅是新生成的模式。
对于两个生成对抗网络中的对抗性损失，用最小二乘损失代替负对数似然函数，这使得训练更稳定，得到的模型更好。
设置共进行50个epoch的训练，并在最后25个epoch将学习率线性衰减为 0。
S7、通过训练好的CycleGAN网络进行掩模近场计算。
为证明本实施例的有效性和优越性，进行如下实验：
如图2所示，第一行和第二行分别是掩模图案的成像效果和从数据中获得的近场图案的成像效果。第三行是由掩模数据生成的相应近场图案的成像效果。可以从图像中看到，通过定性观察和比较，生成的掩模近场模式和从数据中获得的模式已经无法用肉眼区分。因为在训练过程中，正向生成的掩模近场成像图案和反向生成的掩模成像图案具有或多或少的左右偏移。因此，为了定性证明训练后没有可见的偏移，将生成的掩模近场成像图案和从数据中获得的掩模图案以及相应的掩模近场成像图案放在同一列中进行观察。
如图3所示，模型的损失函数很快收敛，而发生器和鉴别器的损失值在对抗后也很快收敛。在计算损失函数时，将正向和反向映射的损失求和之后取了平均，因此最终的lossG和loss D两者都应该收敛到0.25，而不是一般GAN网络的 0.5。
如图4所示，测试loss曲线显示了本发明所述模型的稳定性，而计算时间曲线也反映了该模型计算速度的稳定性。
如图5所示，在生成器网络中，采用最近邻算法进行上采样，使用跨步卷积进行下采样，并构建2个下采样块、2个上采样块和9个残差块。在模块中，ReLU 用作激活函数，InstanceNorm用于实例归一化，ReflectionPad2d用于相反方向的边缘像素值填充。
如图6所示，在构造CycleGAN网络的鉴别器架构时，构造了4个下采样块和1个卷积层，最后使用卷积产生一维输出。在下采样块中，LeakyReLU用作激活函数，InstanceNorm用于实例归一化，第一层不使用归一化，同样采用跨步卷积进行下采样。
由图2可知，相比现有的掩模近场计算方法，本发明所涉及的CycleGAN算法相比FCN以及传统方法可以使损失循环一致收敛，从而改进了收敛效率；与基于FCN的掩模近场计算方法相比由于采用正向与反向的生成网络，从而提高了运算效率以及运算精度。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (7)
1.一种使用循环一致对抗网络快速计算掩模近场的方法，其特征在于，包括以下步骤：
S1、将掩模近场用四个衍射矩阵表示，记为E(UV)，其中U＝X或Y，V＝X或Y；X和Y表示复数坐标系中的两个偏振方向；
S2、选定对掩模近场成像图案贡献最大的E(XX)与E YY)提取掩模近场数据，而忽略贡献E(XY)与E YX)的影响；
S3、构造CycleGAN网络的生成器架构，采用最近邻算法进行上采样，使用跨步卷积进行下采样，并构建下采样块、上采样块和残差块；
S4、构造CycleGAN网络的鉴别器架构；
S5、构造CycleGAN网络的损失函数，该损失函数包括由掩模正向生成掩模近场成像图案的目标函数、由掩模近场反向生成掩模近场成像图案的目标函数、循环一致性损失函数、恒等映射损失函数；
S6、对CycleGAN网络进行训练，得到训练好的CycleGAN网络；
S7、通过训练好的CycleGAN网络进行掩模近场计算。
2.根据权利要求1所述的一种使用循环一致对抗网络快速计算掩模近场的方法，其特征在于，所述步骤S1中，E(UV)表示由在V方向极化的单位入射电场产生的在U方向偏振的近场的复振幅，公式表示为：
E(UV)＝Ereal(UV)+iEimag(UV)
其中，Ereal(UV)和Eimag(UV)分别表示E(UV)的实部和虚部；i表示复数坐标系中的复数坐标轴，即虚轴。
3.根据权利要求1所述的一种使用循环一致对抗网络快速计算掩模近场的方法，其特征在于，所述步骤S2，获取掩模近场实部与虚部数据阵列的公式如下：
其中，
表示E(XX)在XX方向的振幅数值阵列，
表示E(XX)在XX方向的相位数值阵列；
表示E(YY)在YY方向的振幅数值阵列，
表示E(YY)在YY方向的相位数值阵列。
4.根据权利要求1所述的一种使用循环一致对抗网络快速计算掩模近场的方法，其特征在于，构造CycleGAN网络的损失函数公式如下：
LGAN(G,F)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLCycle(G,F)+μLIdentity(G,F)；
其中，LGAN(G,DY,X,Y)为由掩模正向生成掩模近场成像图案的目标函数；LGAN(F,DX,Y,X)为由掩模近场反向生成掩模近场成像图案的目标函数；LCycle(G,F)为循环一致性损失函数；LIdentity(G,F)为恒等映射损失函数；λ和μ均为权重。
5.根据权利要求4所述的一种使用循环一致对抗网络快速计算掩模近场的方法，其特征在于，由掩模正向生成掩模近场成像图案的目标函数公式如下：
目标是为了
以确保生成的掩模近场图案与由数据得到的掩模图案尽可能的接近；
由掩模近场反向生成掩模近场成像图案的目标函数公式如下：
目标是为了
以确保生成的掩模图案与由数据得到的掩模近场图案尽可能的接近；
其中，E是数学期望，～是服从关系，以及P是输入数据；Pdata(x)是掩码数据分布，Pdata(y)是掩模近场数据分布，生成网络G是从掩模到掩模近场的映射，即正向映射；生成网络F是从掩模近场到掩模的映射，即反向映射；鉴别网络DX用于区分真实掩模与由掩模近场反向生成的掩模，鉴别网络DY用于区分掩模近场和由掩模正向生成的掩模近场。
6.根据权利要求5所述的一种使用循环一致对抗网络快速计算掩模近场的方法，其特征在于，循环一致性损失函数公式如下：
其中，真实数据和反向生成的数据之间的差异由L1范数衡量；
恒等映射损失函数公式如下：
7.根据权利要求1所述的一种使用循环一致对抗网络快速计算掩模近场的方法，其特征在于，在CycleGAN网络训练过程中，在更新参数时，保留一个模式缓冲区来存储之前生成的图案，并使用这些模式来更新鉴别器，而不仅仅是新生成的模式；对于两个生成对抗网络中的对抗性损失，用最小二乘损失代替负对数似然函数。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210610711.5A CN115047721A (zh) | 2022-05-31 | 2022-05-31 | 一种使用循环一致对抗网络快速计算掩模近场的方法 |
| NL2034667A NL2034667A (en) | 2022-05-31 | 2023-04-24 | Computer-implemented method based on fast mask near-field calculation by using cycle-consistent adversarial network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210610711.5A CN115047721A (zh) | 2022-05-31 | 2022-05-31 | 一种使用循环一致对抗网络快速计算掩模近场的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115047721A true CN115047721A (zh) | 2022-09-13 |
Family
ID=83160319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210610711.5A Pending CN115047721A (zh) | 2022-05-31 | 2022-05-31 | 一种使用循环一致对抗网络快速计算掩模近场的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115047721A (zh) |
| NL (1) | NL2034667A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738908A (zh) * | 2020-06-11 | 2020-10-02 | 山东大学 | 结合实例分割和循环生成对抗网络的场景转换方法及系统 |
| CN112309112A (zh) * | 2020-09-10 | 2021-02-02 | 浙江工业大学 | 一种基于GraphSAGE-GAN的交通路网数据修复方法 |
| CN113870128A (zh) * | 2021-09-08 | 2021-12-31 | 武汉大学 | 一种基于深度卷积对抗式网络的数字壁画图像修复方法 |
| US20220122348A1 (en) * | 2020-02-04 | 2022-04-21 | University Of Shanghai For Science And Technology | Adversarial Optimization Method for Training Process of Generative Adversarial Network |
-
2022
- 2022-05-31 CN CN202210610711.5A patent/CN115047721A/zh active Pending
-
2023
- 2023-04-24 NL NL2034667A patent/NL2034667A/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220122348A1 (en) * | 2020-02-04 | 2022-04-21 | University Of Shanghai For Science And Technology | Adversarial Optimization Method for Training Process of Generative Adversarial Network |
| CN111738908A (zh) * | 2020-06-11 | 2020-10-02 | 山东大学 | 结合实例分割和循环生成对抗网络的场景转换方法及系统 |
| CN112309112A (zh) * | 2020-09-10 | 2021-02-02 | 浙江工业大学 | 一种基于GraphSAGE-GAN的交通路网数据修复方法 |
| CN113870128A (zh) * | 2021-09-08 | 2021-12-31 | 武汉大学 | 一种基于深度卷积对抗式网络的数字壁画图像修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| NL2034667A (en) | 2023-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11450066B2 (en) | 3D reconstruction method based on deep learning | |
| CN111583109B (zh) | 基于生成对抗网络的图像超分辨率方法 | |
| US20210248812A1 (en) | Method for reconstructing a 3d object based on dynamic graph network | |
| CN112150521B (zh) | 一种基于PSMNet优化的图像立体匹配方法 | |
| CN110211035B (zh) | 融合互信息的深度神经网络的图像超分辨率方法 | |
| CN110544297A (zh) | 一种单幅图像的三维模型重建方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| US11176672B1 (en) | Machine learning method, machine learning device, and machine learning program | |
| CN112699844B (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN111310407A (zh) | 基于机器学习进行逆向光刻最优特征向量设计的方法 | |
| CN112578644B (zh) | 自适应全芯片光源优化方法及系统 | |
| CN111080521A (zh) | 一种基于结构先验的人脸图像超分辨率方法 | |
| CN114972024A (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN114254579A (zh) | 用于对半导体制造工艺进行建模的系统和方法 | |
| Xiao et al. | Dtmnet: A discrete tchebichef moments-based deep neural network for multi-focus image fusion | |
| CN107621757A (zh) | 一种基于指示函数的交叉传递函数快速分解方法 | |
| CN110244523A (zh) | 一体化光刻方法及光刻系统 | |
| CN113837947A (zh) | 一种获得光学相干层析大焦深图像的处理方法 | |
| CN112330549B (zh) | 一种基于盲解卷积网络的模糊图像盲复原方法及系统 | |
| CN115860113B (zh) | 一种自对抗神经网络模型的训练方法及相关装置 | |
| CN115047721A (zh) | 一种使用循环一致对抗网络快速计算掩模近场的方法 | |
| CN115760603A (zh) | 一种基于大数据技术的干涉阵列宽带成像方法 | |
| CN115965529A (zh) | 一种基于无监督学习和对抗生成网络的图像拼接方法 | |
| CN113450364B (zh) | 一种基于三维通量模型的树状结构中心线提取方法 | |
| CN116128743A (zh) | 基于深度卷积混合神经网络计算关联成像重建算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |