CN112214719A - 一种利用级联深度神经网络的介质超表面逆向设计算法 - Google Patents

一种利用级联深度神经网络的介质超表面逆向设计算法 Download PDF

Info

Publication number
CN112214719A
CN112214719A CN202011160881.5A CN202011160881A CN112214719A CN 112214719 A CN112214719 A CN 112214719A CN 202011160881 A CN202011160881 A CN 202011160881A CN 112214719 A CN112214719 A CN 112214719A
Authority
CN
China
Prior art keywords
super
deep neural
response unit
neural network
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011160881.5A
Other languages
English (en)
Inventor
匡登峰
孔维超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202011160881.5A priority Critical patent/CN112214719A/zh
Publication of CN112214719A publication Critical patent/CN112214719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种利用级联深度神经网络的介质超表面逆向设计算法。该方法包括以下几个步骤：步骤1，选择工作波段和超表面响应单元介质材料，随机生成若干个介质超表面响应单元，用时域有限差分的方法计算每个响应单元的电磁响应，形成一一对应的数据库。步骤2，搭建级联的深度神经网络。步骤3，利用包含结构信息的图片作为输入，电磁响应为输出训练级联深度神经网络的正向网络。步骤4，训练自编码器用于包含结构信息图片的降维和特征提取。步骤5，测试级联深度神经网络的性能和泛化能力。本发明可应用于介质超表面响应单元透射谱的快速预测和针对性的逆向设计，大大节省设计的时间成本和计算力。

Description

一种利用级联深度神经网络的介质超表面逆向设计算法
技术领域
本发明涉及微纳光学和机器学习技术领域，特别涉及一种利用级联深度神经网络的介质超表面逆向设计算法。
背景技术
超表面是一种由亚波长结构构成的二维器件，能够实现对入射光振幅、相位和偏振的任意调制。近年来，超表面已经广泛应用于全息、超透镜和特殊光束生成器等。目前超表面的设计方法依赖于时域有限差分或有限元等的方法。虽然一些商业化的软件已经建立用于超表面响应单元电磁响应的计算，但是响应单元的参数扫描需要耗费大量的时间成本和计算力。此外，超表面的设计和大程度上需要特定的振幅和相位分布，因此超表面响应单元的逆向设计方法亟待解决。目前的一些传统方法如粒子群算法、进化算法和模拟退火算法的逆向设计并不能提供一种有效的解决方案。
深度学习作为一种近年来兴起的机器学习方式，由于计算能力的大幅提升和大数据时代的到来被广泛应用于图像分类、目标检测和语义分割等领域。深度神经网络强大的模型拟合和表达能力有望应用于介质超表面的自动设计。
发明内容
本发明的目的是提供一种利用级联深度神经网络的介质超表面逆向设计算法，有益效果是：提供了一种介质超表面的自动设计方法。
为了达到上述目的，本发明采用的技术方案其特征在于，包括以下几个步骤：
步骤1，选择工作波段和超表面响应单元介质材料，随机生成若干个介质超表面响应单元，用时域有限差分的方法计算每个响应单元的电磁响应，形成一一对应的数据库。
步骤2，搭建级联的深度神经网络。
步骤3，利用包含结构信息的图片作为输入，电磁响应为输出训练级联深度神经网络的正向网络。
步骤4，训练自编码器用于包含结构信息图片的降维和特征提取。
步骤5，测试级联的深度神经网络的性能和泛化能力。
步骤1的具体过程如下：
选择可见光为工作波长范围，根据波长范围设计合理的响应单元的衬底和纳米柱材料，应用奎因斯特采样定律和加工条件的约束确定响应单元的周期。在半边周期内随机生成若干个长方体，并以镜像对称的方式映射到另一侧。用时域有限差分的方法计算该结构的电磁响应。重复生成随机结构和计算电磁响应的过程建立数据库，该过程重复次数越多越好，应不小于20000(经验值)次。
步骤1具体过程中所述的电磁响应由于相位会产生2π的突变，所以采用实部和虚部的方式记录。
步骤2中提到的级联深度神经网络应该包括4个组分：模拟器、编码器、解码器和映射器。其中模拟器用于预测超表面响应单元的电磁响应，编码器和解码器用于对超表面响应单元结构的编码和特征向量的提取，映射器和解码器的组合实现对超表面响应单元结构的预测。
步骤3中提到的正向网络包括6个卷积层和2个全连接层，每个卷积层包含一个卷积操作、一个激活函数(Leaky ReLU)和一个Batch-Norm层。其中第1、3和5个卷积层的步长为1，第2、4和6个卷积层的步长为2。全连接层的激活函数为双曲正切函数。训练过程的损失函数定义为：
Figure BSA0000222710730000021
其中Tpredicted表示网络预测的透射谱，Tsimulated表示用有限时域差分方法计算的透射谱，N为样本数目。
步骤4中提到的自编码器由编码器和解码器构成，编码器和解码器由5个全连接层构成，二者呈相互对称的结构。除了最后一层无激活函数外，其他的层的激活函数为LeakyReLU。训练过程采用的损失函数：
Figure BSA0000222710730000022
其中code是自编码器提取的图片高级特征向量，T是超表面响应单元的实际透射谱，yi是预测的类别标签，pi是预测的概率。
映射器的输入为响应单元的透射谱，输出为自编码器从图片中提取的特征向量，网络结构由全连接层构成。
附图说明
图1(a)为100个随机生成的介质超表面响应单元；图1(b)为一个响应单元结构的生成方式示意图；图1(c)为该响应单元的立体结构示意图；
图2为一种利用级联深度神经网络的介质超表面逆向设计算法的结构示意图；
图3(a)为模拟器深度神经网络的结构图；图3(b)为编码器深度神经网络的结构图；图3(c)为解码器深度神经网络的结构图；图3(d)为映射器深度神经网络的结构图；
图4(a)为模拟器深度神经网络的测试集中所有样本的平均绝对误差；图4(b)为一个平均绝对误差为0.0104的样本；图4(c)为一个平均绝对误差为0.0550的样本。
图5(a)为逆向设计过程中测试集中所有样本的平均绝对误差；图5(b)为一个平均绝对误差为0.0317的样本；图5(c)为一个平均绝对误差为0.0784的样本。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细阐述。
该方法包括以下几个步骤：步骤1，选择工作波段和超表面响应单元介质材料，随机生成若干个介质超表面响应单元，用时域有限差分的方法计算每个响应单元的电磁响应，形成一一对应的数据库。步骤2，搭建级联的深度神经网络。步骤3，利用包含结构信息的图片作为输入，电磁响应为输出训练级联深度神经网络的正向网络。步骤4，训练自编码器用于包含结构信息图片的降维和特征提取。步骤5，测试级联深度神经网络的性能和泛化能力。
步骤1中提到的介质超表面的随机生成方式如图1所示，根据波长范围设计合理的响应单元的衬底和纳米柱材料，然后应用奎因斯特采样定律和加工条件的约束确定响应单元的周期。在半边周期内随机生成若干个长方体，并以镜像对称的方式映射到另一侧。用时域有限差分的方法计算该结构的电磁响应。重复生成随机结构和计算电磁响应的过程建立数据库，重复次数20000次。
步骤2中提到的级联深度神经网络应该包括4个组分：模拟器、编码器、解码器和映射器。其中模拟器用于预测超表面响应单元的电磁响应，编码器和解码器用于对超表面响应单元结构的编码和特征向量的提取，映射器和解码器的组合实现对超表面响应单元结构的预测。
步骤3中提到的正向网络结构如图3(a)所示，包括6个卷积层和2个全连接层。其中每个卷积层包含一个卷积操作、一个激活函数(Leaky ReLU)和一个Batch-Norm层。第1、3和5个卷积层的步长为1，第2、4和6个卷积层的步长为2。全连接层的激活函数为双曲正切函数。训练过程的损失函数定义为：
Figure BSA0000222710730000031
其中Tpredicted表示网络预测的透射谱，Tsimulated表示用有限时域差分方法计算的透射谱，N为样本数目。
步骤4中提到的自编码器网络结构如图3(b)和3(c)所示，编码器和解码器由5个全连接层构成，二者呈相互对称的结构。除了最后一层无激活函数外，其他的层的激活函数为Leaky ReLU。训练过程采用的损失函数：
Figure BSA0000222710730000041
其中code是自编码器提取的图片高级特征向量，T是超表面响应单元的实际透射谱，yi是预测的类别标签，pi是预测的概率。
映射器的输入为响应单元的透射谱，输出为自编码器从图片中提取的特征向量，网络结构主要由全连接层构成，如图3(d)所示。
实施例1
选择工作波段为可见光波段450-850nm，在此波段中选择介质纳米柱的材料为GaN，衬底材料为Al2O3，该材料组合在工作波长范围内拥有较高的折射率和接近于0的吸收率。应用奎因斯特采样定律和加工条件的约束确定响应单元的周期为400nm。在半边周期内随机生成4个长方体，并以镜像对称的方式映射到另一侧，生成纳米柱的长和宽分辨率设置为10nm，高度为500、600或700nm。边缘设置20nm的空白以减小响应单元之间的耦合，然后以灰度图(灰度代表高度)的形式记录每个响应单元的结构特征。用时域有限差分的方法计算该结构的电磁响应，记录工作波长内的透射谱与图片形成一一对应。重复生成随机结构和计算电磁响应的过程建立数据库，重复次数为20000次。如图1(a)所示为100个随机生成的超表面响应单元，图1(b)和1(c)为其中一个响应单元的生成示意图和立体示意图。
如图2所示为一种利用级联深度神经网络的介质超表面逆向设计算法的实现原理图。该网络包括两个方向：由模拟器构成的正向网络和由映射器和解码器组成的逆向网络。其中正向网络的输入为包含响应单元特征的图片，输出为相应的透射谱(振幅和相位)，实现电磁响应的快速和精准预测；逆向网络的输入为响应单元的透射谱，输出为相应的响应单元结构特征，实现超表面响应单元的逆向设计。而自编码器的功能是将逆向设计中涉及的上采样网络转换为下采样的网络。
正向的网络的结构示意图如图3(a)所示，包括6个卷积层和2个全连接层。其中每个卷积层包含一个卷积操作、一个激活函数(Leaky ReLU)和一个Batch-Norm层。第1、3和5个卷积层的步长为1，第2、4和6个卷积层的步长为2。全连接层的激活函数为双曲正切函数。训练过程的损失函数定义为：
Figure BSA0000222710730000051
其中Tpredicted表示网络预测的透射谱，Tsimulated表示用有限时域差分方法计算的透射谱，N为样本数目，这里为64。
用于提取特征向量的自编码器网络结构如图3(b)和3(c)所示，编码器和解码器由5个全连接层构成，二者呈相互对称的结构。每一层输出的张量形状标注在该网络层的下方。除了最后一层无激活函数外，其他的层的激活函数为Leaky ReLU。训练过程采用的损失函数：
Figure BSA0000222710730000052
其中code是自编码器提取的图片高级特征向量，T是超表面响应单元的实际透射谱，yi是预测的类别标签，pi是预测的概率。如图3(d)所示为映射器的网络结构示意图。映射器的输入为响应单元的透射谱，输出为自编码器从图片中提取的特征向量，网络结构主要由全连接层构成。
如图4(a)所示为正向网络的测试结果。测试集所有样本的平均绝对误差集中在0.03左右。从测试集中抽取两个具有代表性平均绝对误差的样本，如图4(b)和4(c)所示。其中黑色曲线代表由有限时域差分方法计算的振幅响应，方点为正向网络预测的振幅响应，黑色虚线代表由时域有限差分方法计算的相位响应，圆点为正向网络预测的相位响应。无论是平均绝对误差是0.0107或是0.0550的样本，网络预测的响应都符合有限时域差分计算的结果。相比于有限由于差分方法计算每个响应单元需要3min左右，但是深度神经网络仅需要小于0.1s的时间。
如图5(a)所示为逆向网络的测试结果。测试集所有样本的平均误差集中在0.05左右，相比于正向网络有所下降是由于逆向网络设计本身设计的可行性较低和级联的网络而无法避免的。从测试集中抽取两个具有代表性平均绝对误差的样本，如图5(b)和5(c)所示。其中黑色曲线代表由有限时域差分方法计算的振幅响应，方点为逆向网络经过模拟器预测的振幅响应，黑色虚线代表由时域有限差分方法计算的相位响应，圆点为逆向网络经过模拟器预测的相位响应。无论是平均绝对误差是0.0317或是0.0784的样本，网络预测的响应都符合有限时域差分计算的结果，从而实现一种利用自编码器预训练级联深度神经网络的介质超表面逆向设计算法。

Claims (7)

1.一种利用级联深度神经网络的介质超表面逆向设计算法，其特征在于，包括以下几个步骤：
步骤1，选择工作波段和超表面响应单元介质材料，随机生成若干个介质超表面响应单元，用时域有限差分的方法计算每个响应单元的电磁响应，形成一一对应的数据库。
步骤2，搭建级联的深度神经网络。
步骤3，利用包含结构信息的图片作为输入，电磁响应为输出训练级联深度神经网络的正向网络。
步骤4，训练自编码器用于包含结构信息图片的降维和特征提取。
步骤5，测试级联的深度神经网络的性能和泛化能力。
2.根据权利要求1中所述的利用级联深度神经网络的介质超表面逆向设计算法，其特征在于，步骤1的具体过程如下：
选择可见光为工作波长范围，根据波长范围设计合理的响应单元的衬底和纳米柱材料，应用奎因斯特采样定律和加工条件的约束确定响应单元的周期。在半边周期内随机生成若干个长方体，并以镜像对称的方式映射到另一侧，构成一个响应单元。用时域有限差分的方法计算该结构的电磁响应(相位和振幅)。重复生成响应单元并计算电磁响应建立一一对应的数据库，该过程重复次数越多越好，应不小于20000(经验值)次。
3.根据权利要求2中所述的电磁响应由于相位会产生2π的突变，所以采用实部和虚部的方式记录。
4.根据权利要求1中所述的利用级联深度神经网络的介质超表面逆向设计算法，其特征在于，步骤2中提到的级联深度神经网络应该包括4个组分：模拟器、编码器、解码器和映射器。其中模拟器用于预测超表面响应单元的电磁响应，编码器和解码器用于对超表面响应单元结构的编码和特征向量的提取，映射器和解码器的组合实现对超表面响应单元结构的预测。
5.根据权利要求1中所述的利用级联深度神经网络的介质超表面逆向设计算法，其特征在于，步骤3中提到的正向网络包括6个卷积层和2个全连接层，每个卷积层包含一个卷积操作、一个激活函数(LeakyReLU)和一个Batch-Norm层。其中第1、3和5个卷积层的步长为1，第2、4和6个卷积层的步长为2。全连接层的激活函数为双曲正切函数。训练过程的损失函数定义为：
Figure FSA0000222710720000011
其中Tpredicted表示网络预测的透射谱，Tsimulated表示用有限时域差分方法计算的透射谱，N为样本数目。
6.根据权利要求1中所述的利用级联深度神经网络的介质超表面逆向设计算法，其特征在于，步骤4中提到的自编码器由编码器和解码器构成，编码器和解码器由5个全连接层构成，二者呈相互对称的结构。除了最后一层无激活函数外，其他的层的激活函数为LeakyReLU。训练过程采用的损失函数：
Figure FSA0000222710720000021
其中code是自编码器提取的图片高级特征向量，T是超表面响应单元的实际透射谱，yi是预测的类别标签，pi是预测的概率。
7.根据权利要求4中所述的映射器的输入为响应单元的透射谱，输出为自编码器从图片中提取的特征向量，网络结构由全连接层构成。
CN202011160881.5A 2020-10-27 2020-10-27 一种利用级联深度神经网络的介质超表面逆向设计算法 Pending CN112214719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011160881.5A CN112214719A (zh) 2020-10-27 2020-10-27 一种利用级联深度神经网络的介质超表面逆向设计算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011160881.5A CN112214719A (zh) 2020-10-27 2020-10-27 一种利用级联深度神经网络的介质超表面逆向设计算法

Publications (1)

Publication Number Publication Date
CN112214719A true CN112214719A (zh) 2021-01-12

Family

ID=74056764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011160881.5A Pending CN112214719A (zh) 2020-10-27 2020-10-27 一种利用级联深度神经网络的介质超表面逆向设计算法

Country Status (1)

Country Link
CN (1) CN112214719A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113219577A (zh) * 2021-05-25 2021-08-06 中山大学 一种超构表面实现高消光比红外带通偏振片及逆向设计法
CN116913436A (zh) * 2023-08-10 2023-10-20 华东交通大学 一种基于ldm-pnn和粒子群算法的超原子逆向设计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10288563B1 (en) * 2018-01-22 2019-05-14 The Florida International University Board Of Trustees Sensor platform based on toroidal resonances for rapid detection of biomolecules
CN110083934A (zh) * 2019-04-26 2019-08-02 中国人民解放军空军工程大学 一种基于支持向量机算法的电磁超表面设计方法
CN110535486A (zh) * 2019-08-07 2019-12-03 东南大学 基于超表面神经网络的射频信号直接处理式无线收发机
CN110826289A (zh) * 2019-10-29 2020-02-21 中国地质大学（武汉） 一种基于深度学习的纳米结构设计方法
CN111611683A (zh) * 2020-04-03 2020-09-01 浙江大学 基于深度学习的电磁超表面设计方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10288563B1 (en) * 2018-01-22 2019-05-14 The Florida International University Board Of Trustees Sensor platform based on toroidal resonances for rapid detection of biomolecules
CN110083934A (zh) * 2019-04-26 2019-08-02 中国人民解放军空军工程大学 一种基于支持向量机算法的电磁超表面设计方法
CN110535486A (zh) * 2019-08-07 2019-12-03 东南大学 基于超表面神经网络的射频信号直接处理式无线收发机
CN110826289A (zh) * 2019-10-29 2020-02-21 中国地质大学（武汉） 一种基于深度学习的纳米结构设计方法
CN111611683A (zh) * 2020-04-03 2020-09-01 浙江大学 基于深度学习的电磁超表面设计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SENSONG AN: "A Deep Learning Approach for Objective-Driven All-Dielectric Metasurface Design", 《ACS PHOTONICS》, 18 November 2019 (2019-11-18) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113219577A (zh) * 2021-05-25 2021-08-06 中山大学 一种超构表面实现高消光比红外带通偏振片及逆向设计法
CN116913436A (zh) * 2023-08-10 2023-10-20 华东交通大学 一种基于ldm-pnn和粒子群算法的超原子逆向设计方法
CN116913436B (zh) * 2023-08-10 2024-04-05 华东交通大学 一种基于ldm-pnn和粒子群算法的超原子逆向设计方法

Similar Documents

Publication Publication Date Title
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Fu et al. Ppt fusion: Pyramid patch transformerfor a case study in image fusion
Zheng et al. Fast ship detection based on lightweight YOLOv5 network
CN111985320A (zh) 一种基于前馈神经网络的多模涡旋光束模态识别系统
CN112214719A (zh) 一种利用级联深度神经网络的介质超表面逆向设计算法
Wang et al. TRC‐YOLO: A real‐time detection method for lightweight targets based on mobile devices
Yang et al. High-fidelity image reconstruction for compressed ultrafast photography via an augmented-Lagrangian and deep-learning hybrid algorithm
He et al. Handwritten digit recognition based on ghost imaging with deep learning
Kim et al. Acceleration of the calculation speed of computer-generated holograms using the sparsity of the holographic fringe pattern for a 3D object
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN115147601A (zh) 基于自注意力全局特征增强的城市街道点云语义分割方法
Yuan et al. SSoB: searching a scene-oriented architecture for underwater object detection
Ma et al. Progresses in the research of oceanic freak waves: Mechanism, modeling, and forecasting
Wang et al. Multi‐scale network for remote sensing segmentation
Fang et al. Sparse point‐voxel aggregation network for efficient point cloud semantic segmentation
Wang et al. Modeling spatio-temporal dynamical systems with neural discrete learning and levels-of-experts
CN116913413A (zh) 基于多因子驱动的臭氧浓度预测方法、系统、介质及设备
Martinez et al. Conditional generative adversarial networks for solving heat transfer problems
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法
Yao et al. Multiscale residual fusion network for image denoising
CN116402766A (zh) 一种结合卷积神经网络和Transformer的遥感影像变化检测方法
Zhou et al. PointCartesian-Net: enhancing 3D coordinates for semantic segmentation of large-scale point clouds
Liang et al. Rethinking rendering in generalizable neural surface reconstruction: A learning-based solution
Taniguchi et al. Computer-generated multiple-object discriminant correlation filters: design by simulated annealing
Yang et al. ICSFF: Information Constraint on Self-Supervised Feature Fusion for Few-Shot Remote Sensing Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210112

WD01 Invention patent application deemed withdrawn after publication