CN115661350A - 基于深度学习的单壁碳纳米管三维结构重建方法及系统 - Google Patents

Abstract

本发明提供一种基于深度学习的单壁碳纳米管三维结构重建方法及系统，方法包括：构造单壁碳纳米管的电镜模拟像作为数据集；对生成对抗网络模型进行训练；利用训练后的生成对抗网络，从单壁碳纳米管的电镜像，预测图像对应的波函数的振幅像和相位像；从波函数振幅像和相位像，分析碳纳米管上下表面的原子位置；根据上下层的原子位置，填补管壁原子结构信息，重建单壁碳纳米管的三维结构。本发明方法基于人工智能算法，从高分辨电镜像，预测单壁碳纳米管的出射波函数的振幅像和相位像，再利用波函数的振幅像和相位像分析原子位置，最后再重建单壁碳纳米管的三维原子结构。本发明解决了从高分辨的电子显微镜图像到碳纳米管的三维原子结构的预测问题。

Description

基于深度学习的单壁碳纳米管三维结构重建方法及系统

技术领域

本发明属于透射电镜图像处理技术领域，更具体地深度学习在电子显微镜图像处理方面的应用，尤其涉及一种基于人工智能算法从电镜像重构碳纳米管三维原子结构的方法及系统。

背景技术

单壁碳纳米管是一种非常有潜力的纳米材料，因其特殊的物理结构，使得单壁碳纳米管在电池、催化剂、生物检测以及气体传感器等众多领域都有潜在应用。研究单壁碳纳米管的三维原子结构，有助于从结构理解物性，对碳纳米管的应用具有重要意义。然而，在传统的单壁碳纳米管结构确定方法中，无法从单张透射电子显微镜(简称透射电镜)照片求解单壁碳纳米管的出射波函数，因而不能从单张图直接获得三维原子结构，尤其是具有缺陷时的原子结构。

目前机器学习应用在求解CNT三维结构方向的应用较少。现有的一种方法是使用传统的人工神经网络也就是全连接网络来预测CNT的原子坐标，这个方法的缺点是没有精确度的度量并且耗时非常久。另一个方法是增加了卷积神经网络，残差神经网络的结构，这个方法相比于前一个方法时间效率上提高了非常多。但是这两个方法的输入都使用到了手性指数以及碳原子的初始坐标，这就使得预测具有了很大的局限性。

如何更高效地进行碳纳米管三维原子结构的重构并提高重构的结构的分辨率，是一个有待解决的问题。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于深度学习的单壁碳纳米管三维结构重建方法，以能够快速、高效地重建单壁碳纳米管三维结构。

本发明的一方面，提供了一种基于深度学习的单壁碳纳米管三维结构重建方法，该方法包括以下步骤：

构造单壁碳纳米管的电镜模拟像作为数据集；

利用构造的数据集对生成对抗网络模型进行训练；

利用训练后的生成对抗网络，基于单壁碳纳米管的实验电镜像和/或模拟电镜像，预测图像对应的波函数的振幅像和相位像；

根据波函数振幅像和相位像，分析碳纳米管上下表面的原子位置；

根据上下层的原子位置，填补管壁原子结构信息，重建单壁碳纳米管的三维结构。

在本发明一些实施例中，所述构造单壁碳纳米管的电镜模拟像作为数据集包括：搭建不同手性的、无缺陷的单壁碳纳米管原子结构；改造单壁碳纳米管的原子结构，构造有缺陷的单壁碳纳米管的原子结构；对不同手性的无缺陷的单壁碳纳米管以及不同手性的有缺陷的单壁碳纳米管，基于高分辨电子显微像的理论，模拟高能电子入射波函数穿透过单壁碳纳米管后的出射波函数，并基于预设的实验条件，模拟高分辨电子显微图像；

针对各种原子结构、不同电子束的入射方向以及不同电镜实验条件，获得透射电镜模拟像的数据集；数据集包含四个部分：单壁碳纳米管结构的透射电子显微镜高分辨模拟图像数据子集、各模拟像对应的波函数振幅图像数据子集、各模拟像对应的波函数相位图像数据子集以及各模拟像对应的透射传递函数的复数图像数据子集；对数据集进行预处理，包括：对模拟的高分辨电子显微像加入噪声，以及增广数据集。

在本发明一些实施例中，所述生成对抗网络模型包括生成器和鉴别器；所述生成器采用UNet++模型作为主干网络，具体包括卷积模块、下采样模块、上采样模块和Dropout层。

在本发明一些实施例中，所述鉴别器具体包括卷积层、全连接层和激活函数层。

在本发明一些实施例中，在利用构造的数据集对生成对抗网络模型进行训练时，生成对抗网络模型的生成器的损失函数包括：均方误差、平均绝对值误差和结构相似度中的一种或几种；鉴别器的误差包括两方面的平均绝对值误差：一是生成器预测的波函数再模拟同条件的高分辨电子显微像，模拟的高分辨电子显微像输入鉴别器后的输出概率结果与0之间的平均绝对值误差，二是作为标签输入的波函数再模拟同条件的高分辨电子显微像，输入鉴别器后的输出概率结果与1之间的平均绝对值误差。

在本发明一些实施例中，鉴别器反向传播的误差表示为：

其中，L_adv2为第一项平均绝对值误差，L_adv3为第二项平均绝对值误差。

在本发明一些实施例中，波函数的振幅像和相位像的原子位置，分别对应着单壁碳纳米管成像时相对于入射束的上表面和下表面的原子结构。

在本发明一些实施例中，根据上下层的原子位置，填补管壁原子结构信息，重建单壁碳纳米管的三维结构，包括以下步骤：

根据原子位置和高分辨电子显微像，计算单壁碳纳米管的直径；

将单壁碳纳米管近似为圆柱体，沿管长方向在管中间绘制中心线；

根据每个原子的二维坐标计算它们到中心线的距离，换算出每个原子的第三维高度坐标，以单壁管的中心横切面设置为0高度，区分上下表面的高度坐标；

建立基平面，建立的基平面垂直于电子束入射方向，并且高度等于碳纳米管的所有原子的最小高度；

将圆柱形的碳纳米管展平到基平面上，获得展开成平面后的原子坐标；

求解碳纳米管上最近邻碳碳原子的平均距离；

根据平均距离，补全单壁碳纳米管无法确定原子位置的两侧管壁的原子位置；

由基平面上的二维原子坐标，根据管径以及中心线的信息，换算出侧壁原子的三维坐标，并与实验测量的所有原子的三维位置，拼构成完整的三维原子结构。

本发明使用深度学习中的生成对抗网络模型，可以从单张高分辨电子显微像恢复单壁碳纳米管的出射波函数，有效地去除透镜带来的畸变，并恢复丢失的相位信息。

本发明利用高分辨电子显微像的模拟方法，模拟入射电子波函数透过碳纳米管后的波函数的振幅像和相位像，并模拟透射电镜透镜的调制函数以及高分辨电子显微像，通过训练的网络从单张高分辨电子显微像预测波函数的振幅像和相位像，振幅像和相位像分别反映了单壁碳纳米管下表面与上表面的原子结构，因此可以用于重建单壁碳纳米管的三维结构信息，解决了传统方法中需要使用系列离焦高分辨像、或系列束倾斜高分辨像恢复波函数或三维原子结构的问题。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是本发明的基于深度学习的单壁碳纳米管三维结构重建方法的整体流程图。

图2是本发明的生成器的卷积模块图。

图3是本发明的生成器的下采样模块图。

图4是本发明的生成器的上采样模块图。

图5是本发明的鉴别器的示意图。

图6是本发明的模拟高分辨像示例。

图7是本发明的预测波函数振幅像示例。

图8是本发明的预测波函数相位像示例。

图9是本发明一实施例中圆柱形碳纳米管示意图，标示了上下表面和侧壁含义。

图10是本发明一实施例中未补全的基平面碳纳米管坐标图。

图11是本发明一实施例中已补全的基平面碳纳米管坐标图。

图12是本发明一实施例中最终重建的碳纳米管三维坐标图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在本发明实施例中，基于人工智能算法来从电镜像重构碳纳米管三维原子结构，更具体地，通过使用深度学习中的生成对抗网络模型，来从高分辨电子显微像恢复单壁碳纳米管的出射波函数，有效地去除透镜带来的畸变，并恢复丢失的相位信息，从而电镜像重构碳纳米管三维原子结构。

出射波函数是指近似于平面的电子束入射到单壁碳纳米管后，到达后表面后的出射波函数。由于出射波函数不存在透镜放大时带来的畸变影响，也包含了CCD记录时丢失了的波函数的相位信息，因此，出射波函数的恢复能够提高图像可解释的信息分辨率。更为重要的是，发明人在实现本发明的过程中发现，出射波函数的振幅部分和相位部分恰好对应着碳纳米管上下表面的结构信息，因此可以由恢复的出射波函数，进一步求解出近三维的原子结构。如果碳纳米管上、下表面分别包含了不同的缺陷，那么它的三维原子结构将有助于解释碳管所展示的物理性质。

如图1所示，本发明一实施例提供的基于深度学习的单壁碳纳米管三维结构重建方法包括步骤S1-S6：

步骤S1，构造单壁碳纳米管的透射电镜模拟像作为数据集。

构造的数据集可以作为训练数据集来用于对生成对抗网络模型进行训练。在本步骤中，可以先构造单壁碳纳米管，然后基于构造的单壁碳纳米管来生成对应的透射电镜模拟像。在本发明实施例中，构造的单壁碳纳米管可包含多种手性的无缺陷的单壁碳纳米管以及多种手性的有缺陷的单壁碳纳米管，不同手性的单壁碳纳米管具有不同的手性指数。相应地，构造的单壁碳纳米管的透射电镜模拟像为多种手性的无缺陷和有缺陷的单壁碳纳米管的透射电镜模拟像。

步骤S2，利用构造的数据集对生成对抗网络模型进行训练。

在本发明一些实施例中，可以使用均方误差、平均绝对值误差和结构相似度，选择其中的一种或几种作为生成对抗网络模型的生成器的损失函数，来对生成对抗网络模型进行训练。其中，均方误差可以比较图像之间每个像素级别的误差，是深度学习中一种常用的损失函数；平均绝对值误差相比于均方误差来说更加具有鲁棒性；结构相似度描述了图像之间的亮度、对比度和结构上的差异，使用结构相似度作为误差函数能够提升重建的波函数振幅像和相位像整体结构的质量并加快网络收敛速度。作为示例，使用平均绝对值误差作为生成对抗网络模型的鉴别器的损失函数，利用构造的数据集对生成对抗网络模型进行训练，直到生成器的误差收敛到一个较小值同时鉴别器的误差稳定在0.5左右。

在生成器的误差包括均方误差时，生成器预测的波函数的振幅像与相位像分别与作为标签输入的波函数的振幅像与相位像比较，也指预测的波函数再模拟同条件的高分辨电子显微像，与作为标签输入的高分辨电子显微像比较，求图像之间的均方误差。

在生成器的误差包括图像结构相似性时，是利用生成器预测的波函数的振幅像与相位像分别与作为标签输入的波函数的振幅像与相位像比较，求图像之间的结构相似性。

在生成器的误差包括平均绝对值误差时，是生成器预测的波函数再模拟同条件的高分辨电子显微像，模拟像输入鉴别器后的输出概率结果与1之间的误差。

鉴别器的误差可包括两个方面的平均绝对值误差，一是指生成器预测的波函数再模拟同条件的高分辨电子显微像，模拟的高分辨电子显微像输入鉴别器后的输出概率结果与0之间的平均绝对值误差，二是指作为标签输入的波函数再模拟同条件的高分辨电子显微像，输入鉴别器后的输出概率结果与1之间的平均绝对值误差。

本发明的生成对抗网络模型在训练完成后，对于多种手性指数的单壁碳纳米管都将具有预测能力，并且对于单壁碳纳米管的缺陷也具有预测能力。

步骤S3，获得单壁碳纳米管的透射电镜实验像。

可使用现有的高分辨成像技术，记录单壁碳纳米管的电镜实验像。实验记录的碳纳米管电镜实验像需包含足够高的分辨率。

步骤S4，利用训练后的生成对抗网络，从单壁碳纳米管的透射电镜实验像或透射电镜模拟像，预测图像对应的波函数的振幅像和相位像。

在本发明一实施例中，可以以单壁碳纳米管的透射电镜实验像作为输入，若输入为透射电镜实验像则先进行归一化处理，然后将处理后的图像输入生成对抗网络，生成对抗网络输出得到预测的波函数的振幅像和相位像。在输入实验像进行预测的情况下，可以用于真实数据的分析。

在本发明另一实施例中，还可以以单壁碳纳米管的透射电镜模拟像作为输入，若输入为透射电镜模拟像则需要做添加噪声和归一化处理，然后将处理后的图像输入生成对抗网络，生成对抗网络输出得到预测的波函数的振幅像和相位像。在输入模拟像并进行预测的情况下，主要用于判断网络的预测性能。

步骤S5，根据波函数振幅像和相位像，分析碳纳米管上下表面的原子位置。

波函数的振幅像和相位像具有原子尺度的分辨率，从图像可以确定出每个原子的位置。更具体地，由于原子在波函数振幅像和相位像展现为强度为高斯型分布的亮点，可以通过判断亮点的中心位置，计算原子的二维位置。

波函数的振幅像和相位像的原子位置，分别对应着单壁碳纳米管成像时相对于入射束的上表面和下表面的原子结构。

步骤S6，根据上下表面的原子位置，填补管壁原子结构信息，重建单壁碳纳米管的三维结构。

在本发明一实施例中，步骤S1可以进一步包括以下步骤S13-S16：

步骤S11，搭建不同手性的、无缺陷的单壁碳纳米管原子结构。

可以利用现有的原子结构搭建软件，或根据单壁碳纳米管的原子结构的几何关系计算单壁碳纳米管各原子的位置，来搭建出不同手性的、无缺陷的单壁碳纳米管原子结构。

步骤S12，改造单壁碳纳米管的原子结构，以构造带有缺陷的不同手性的单壁碳纳米管的原子结构。

例如，可在单壁碳纳米管的管壁上增加或删除若干个原子，若局域位置增加或删除的原子个数等于或超过2个原子，则利用现有分子动力学软件可进一步优化碳纳米管的结构，构造出带有缺陷的单壁碳纳米管的原子结构。

步骤S13，对不同手性的无缺陷的单壁碳纳米管以及不同手性的包含缺陷的单壁碳纳米管，基于高分辨电子显微像的理论，模拟高能电子入射波函数穿透过单壁碳纳米管后的出射波函数，并基于合理的实验条件，模拟高分辨电子显微图像。多种软件可以进行高分辨像的模拟，比如QSTEM、Mactempas、ToTEM软件等，本发明一实施例使用ToTEM软件。

进行像模拟时，平面波入射到某种碳纳米管上，利用多层法，将碳纳米管划分成若干个薄片层，波函数在层与层之间不断透射和传播，到达碳纳米管底部后出射的波函数称为出射波函数，出射波函数是一个复数函数，可以分解为振幅像和相位像。

之后再模拟出射波函数经透镜的放大和记录过程，利用现有成像公式模拟高分辨透射电子显微镜(High Resolution Transmission Electron Microscope，HRTEM)像，模拟后的HRTEM像随机裁取预定大小，例如144×144像素平方的大小，每个模拟图像只被随机裁剪一次。

像模拟过程需要考虑透镜的球差和离焦条件，这个过程的条件是随机生成的，条件应合理，例如，需要考虑模拟的高分辨电子显微像是否包含了足够高频率的信息以便能够分辨单个碳原子，换言之，球差和离焦的大小应合理，并记录重要的成像条件，并模拟一张反映透镜传递函数的复数矩阵，矩阵大小例如为144×144像素平方，但本发明并不限于此。

步骤S14，针对各种原子结构、不同电子束的入射方向以及不同电镜实验条件，获得透射电镜模拟像的数据集。

各组透射电镜模拟像数据中，出射波函数、透镜传递函数图像和高分辨电子显微模拟像相互对应。作为示例，每组数据可包含如下四部分：单壁碳纳米管结构的透射电子显微镜高分辨模拟图像数据(简称模拟像)、各模拟像对应的波函数振幅图像数据、各模拟像对应的波函数相位图像数据，以及各模拟像对应的透射传递函数的复数图像数据。因此，数据集共包含四个部分：单壁碳纳米管结构的透射电子显微镜高分辨模拟图像数据子集、对应的波函数振幅图像数据子集、对应的波函数相位图像数据子集以及透射传递函数的复数图像数据子集。

在得到数据集后，可进一步对数据集中的数据进行步骤S15和S16中的以下预处理。

步骤S15、对模拟的高分辨电子显微像加入噪声。

对高分辨模拟图像数据子集添加泊松噪声并将图像像素值归一化，同时将波函数振幅图像数据子集的图像像素值归一化，这样做可以降低输入图像像素分布的随机性，有利于加快网络的收敛。

步骤S16、增广数据集。

本发明一些实施例中，可将一组图片做水平翻转或者垂直翻转等来产生新的一组图像数据，由此来增广数据集，以此来增加数据的多样性，防止网络过拟合。

通过这种方式可以快速产生足够的用来训练生成对抗网络模型的训练数据。

在本发明一些实施例中，在生成对抗网络模型的训练阶段，生成对抗网络模型的生成器可采用UNet++模型作为主干网络，具体包括卷积模块、下采样模块、上采样模块和Dropout层。其中，如图2所示，卷积模块可包括一个卷积核为3×3的卷积层、与之相连的BatchNorm层和负斜率角度为0.2的LeakyReLU激活函数。如图3所示，下采样模块可包括一个池化核为2×2的MaxPool层以及与之相连的一个卷积模块。如图4所示，上采样模块具体可包括一个卷积核为2×2的Transposed卷积层和与之相连的两个卷积模块。

生成对抗网络模型的生成器基于Unet++结构，具体可分为四条路径分别获取输出。生成器的输入为单通道×144×144的图像，之后经过两个卷积模块，得到一个64通道×144×144的特征矩阵。生成器的四条路径的输入均为该特征矩阵。

生成器的四条路径中的第一条路径经过第一个下采样模块和一个上采样模块，最后经过一个卷积模块得到第一个2通道×144×144的输出图像；第二条路径经过前两个下采样模块和两个上采样模块，最后经过一个卷积模块得到第二个2通道×144×144的输出图像；第三条路径经过前三个下采样模块和三个上采样模块，最后经过一个卷积模块得到第三个2通道×144×144的输出图像；第四条路径经过全部四个下采样模块和四个上采样模块，最后经过两个卷积模块得到第四个2通道×144×144的输出图像；最后将四个输出图像按0.1:0.2:0.3:0.4的权值相加，得到最后重建的2通道×144×144波函数图像。

如图5所示，在本发明一实施例中，生成对抗网络模型的鉴别器具体可包括：一个输入为1通道×144×144，卷积核为3×3，输出为64通道×144×144的卷积层和与该卷积层相连的BatchNorm层和Softplus激活函数层；之后连接一个输入为64通道×144×144，卷积核为1×1，输出为1通道×144×144的卷积层和与该卷积层相连的BatchNorm层和Softplus激活函数层；最后连接一个输入为20736维度的向量，输出为单个标量值的全连接层，以及与之相连的Sigmoid激活函数层。

鉴别器最后输出一个0～1的概率值，越接近1表示鉴别器鉴别输入来源越大概率是真实的波函数模拟图像，越接近0表示鉴别器鉴别输入来源来自生成的波函数模拟图像的概率越大。

利用已加噪声并做增广的数据集对生成对抗网络模型进行训练，训练过程中使用k折交叉验证防止模型过拟合。在本发明一个实施例所述k这交叉验证具体可包括：

在将数据输入模型前，先将数据集平均分成k份，k值可根据实际情况选取，一般k大于2，在本实施例中，k选择的是10，每次选择其中的1份作为验证集，剩余k-1份作为训练集，这样可以训练出k个模型，最后选取平均验证集误差最小的模型作为训练的最优模型。

在训练生成器时采用阶梯式调整的训练，一开始采用3e^-4的学习率，训练进程达到40％时调整学习率为2e^-4，训练进程达到50％时调整学习率为5e^-5；在训练鉴别器时学习率不变，始终为2e^-5。

本发明实施例中，生成器的误差包括均方误差，它是指生成器预测的波函数的振幅像与相位像分别与作为标签输入的波函数的振幅像与相位像比较，也指预测的波函数再模拟同条件的高分辨电子显微像，与作为标签输入的高分辨电子显微像比较，求图像之间的均方误差。

此外，生成器的误差还可包括图像结构相似性，它是指利用生成器预测的波函数的振幅像与相位像分别与作为标签输入的波函数的振幅像与相位像比较，求图像之间的结构相似性。

此外，生成器的误差还可包括平均绝对值误差，它指生成器预测的波函数再模拟同条件的高分辨电子显微像，模拟的高分辨电子显微像输入鉴别器后的输出概率结果与1之间的平均绝对值误差。

本实施例，计算预测的波函数与作为标签输入的波函数对应的均方误差L_context，预测的波函数模拟的高分辨电子显微像与作为标签输入的高分辨电子显微像的均方误差L_pred，预测的波函数与作为标签的波函数的相似度ssim，再用1-ssim来获得结构相似性值L_ssim，以及预测的波函数再模拟的模拟像输入鉴别器后的输出概率结果与1的平均绝对值误差L_adv1，最终生成器反向传播的误差L_G为；

L_G＝0.001×L_adv1+0.999×(0.5×L_ontext+0.4×L_pred+0.1×L_ssin)；

在本发明一些实施例中，鉴别器的误差可包括两个方面的平均绝对值误差：第一项平均绝对值误差是指生成器预测的波函数再模拟同条件的高分辨电子显微像，该模拟的高分辨电子显微像输入鉴别器后的输出概率结果与0的平均绝对值误差；第二项平均绝对值误差是指作为标签输入的波函数再模拟同条件的高分辨电子显微像，输入鉴别器后的输出概率结果与1的平均绝对值误差。

本发明的一些实施例中，第一项平均绝对值误差标记为L_adv2，第二项平均绝对值误差标记为L_adv3，最终鉴别器反向传播的误差L_D为：

其中，生成器预测的波函数再模拟同条件的高分辨电子显微像，具体公式为：

其中，I(R)为记录的高分辨模拟像，R为图像的空间矢量，w(k)为图像波函数，T(k)为透射传递函数，k表示频率空间矢量，

表示作反傅里叶变换，具体含义为高分辨模拟像等于波函数与透射传递函数在频率域的乘积。之后利用反傅里叶变换转换到空间域，最后取模的平均，从而得到高分辨模拟像。

利用训练后的生成对抗网络，基于单壁碳纳米管的模拟电镜像(参见图6)，可预测图像对应的波函数的振幅像(参见图7)和相位像(参见图8)。

从波函数振幅像和相位像，可分析碳纳米管上下表面的原子位置。

本发明一实施例中，可使用现有的CalAtom软件求振幅像和相位像上的二维原子位置。

重建的波函数振幅像反映了碳纳米管下表面的原子信息，重建的相位像反映了碳纳米管上表面的原子信息。

本发明的实施例中，可根据上下层的原子位置，填补管壁原子结构信息，重建单壁碳纳米管的三维结构。图9示意碳纳米管近似为圆柱形后，上、下表面以及侧壁的含义，侧壁近似平行于电子束的入射方向，上、下表面表示近似为垂直于入射电子束的表面。

在本发明一些实施例中，重建单壁碳纳米管的三维结构的具体步骤可包括：

i)根据原子位置和高分辨像，计算单壁碳纳米管的直径。

ii)将单壁碳纳米管近似为圆柱体，沿管长方向在管中间绘制中心线。

根据每个原子的二维坐标计算它们到中心线的距离，从而换算出每个原子的第三维高度坐标，注意以单壁管的中心横切面为0高度，区分上下表面的高度坐标。

iii)建立基平面，建立的基平面垂直于电子束入射方向，并且高度等于碳纳米管的所有原子的最小高度。

iv)将圆柱形的碳纳米管展平到基平面上，获得展开成平面后的原子坐标。

图10示意了展开成平面后的原子坐标，y轴为管长方向，x轴恰为圆柱体展开后的周长，并且本实施例是包含有缺陷的碳纳米管展开结构，其中空心点集展示的是57缺陷，星形点集展示的是58缺陷。

v)尽可能准确地求解碳纳米管上最近邻碳碳原子的平均距离。

主要以垂直于入射束方向的上下表面的原子间距来衡量这个数值，并且不考虑缺陷附近的碳碳间距。

vi)根据平均距离，补全单壁碳纳米管无法确定原子位置的两侧管壁的原子位置，图11示意了补全后的基平面上的原子结构。

vii)由基平面上的二维原子坐标，根据管径以及中心线的信息，换算出侧壁原子的三维坐标。

viii)代入第ii)步骤实验测量的所有原子的三维坐标，连同添补的侧壁上原子的三维坐标，拼构成完整的碳纳米管的三维原子结构。

本实施例由图12示意。

上述可知，本发明利用高分辨电子显微像的模拟方法，模拟入射电子波函数透过碳纳米管后的波函数的振幅像和相位像，并模拟透射电镜透镜的调制函数以及高分辨电子显微像，通过训练的网络从单张高分辨电子显微像预测波函数的振幅像和相位像，振幅像和相位像分别反映了单壁碳纳米管下表面与上表面的原子结构，因此可以用于重建单壁碳纳米管的三维结构信息，解决了传统方法中需要使用系列离焦高分辨像、或系列束倾斜高分辨像恢复波函数或三维原子结构的问题。

本发明发挥了生成对抗网络的强大学习能力，在数据集中含有较少种类手性的条件下仍能重建其它手性种类的数据，能应对实际应用中不同手性的单壁碳纳米管数据。

本发明中生成对抗网络中生成器的损失应用了结构相似度，起到了更好的重建单壁碳纳米管边缘数据的作用，也极大地加快了生成器网络的收敛速度，并提高了最后重建的波函数的质量，为后续计算碳纳米管的三维结构提高了效率和准确性。

与一般的深度学习网络不同的是，本发明在网络输入和输出之前，加入了特殊的计算过程，例如，针对生成器，使用的模拟方式是由两种波函数模拟高分辨电子显微图像，再比较图像之间的误差，这样确保比较误差时图像都不受噪声干扰的，因此，网络用于预测时，预测的波函数也将受较少的噪声干扰。

与上述方法相适应，本发明还提供了一种基于人工智能算法来从电镜像重构碳纳米管三维原子结构的系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的单壁碳纳米管三维结构重建方法，其特征在于，包括以下步骤：

构造单壁碳纳米管的电镜模拟像作为数据集；

利用构造的数据集对生成对抗网络模型进行训练；

利用训练后的生成对抗网络，基于单壁碳纳米管的实验电镜像和/或模拟电镜像，预测图像对应的波函数的振幅像和相位像；

根据波函数振幅像和相位像，分析碳纳米管上下表面的原子位置；

根据上下层的原子位置，填补管壁原子结构信息，重建单壁碳纳米管的三维结构。

2.根据权利要求1所述的方法，其特征在于，所述构造单壁碳纳米管的电镜模拟像作为数据集包括：

搭建不同手性的、无缺陷的单壁碳纳米管原子结构；

改造单壁碳纳米管的原子结构，构造有缺陷的单壁碳纳米管的原子结构；

对不同手性的无缺陷的单壁碳纳米管以及不同手性的有缺陷的单壁碳纳米管，基于高分辨电子显微像的理论，模拟高能电子入射波函数穿透过单壁碳纳米管后的出射波函数，并基于预设的实验条件，模拟高分辨电子显微图像；

针对各种原子结构、不同电子束的入射方向以及不同电镜实验条件，获得透射电镜模拟像的数据集；数据集包含四个部分：单壁碳纳米管结构的透射电子显微镜高分辨模拟图像数据子集、各模拟像对应的波函数振幅图像数据子集、各模拟像对应的波函数相位图像数据子集以及各模拟像对应的透射传递函数的复数图像数据子集；

对数据集进行预处理，包括：对模拟的高分辨电子显微像加入噪声，以及增广数据集。

3.根据权利要求1所述的方法，其特征在于，所述生成对抗网络模型包括生成器和鉴别器；所述生成器采用UNet++模型作为主干网络，具体包括卷积模块、下采样模块、上采样模块和Dropout层。

4.根据权利要求1所述的方法，其特征在于，所述鉴别器具体包括卷积层、全连接层和激活函数层。

5.根据权利要求1所述的方法，其特征在于，在利用构造的数据集对生成对抗网络模型进行训练时，生成对抗网络模型的生成器的损失函数包括：均方误差、平均绝对值误差和结构相似度中的一种或几种；鉴别器的误差包括两项平均绝对值误差：第一项平均绝对值误差是生成器预测的波函数再模拟同条件的高分辨电子显微像，模拟的高分辨电子显微像输入鉴别器后的输出概率结果与0之间的平均绝对值误差，第二项平均绝对值误差是是作为标签输入的波函数再模拟同条件的高分辨电子显微像，输入鉴别器后的输出概率结果与1之间的平均绝对值误差。

6.根据权利要求5所述的方法，其特征在于，鉴别器反向传播的误差表示为：

其中，L_adv2为第一项平均绝对值误差，L_adv3为第二项平均绝对值误差。

7.根据权利要求1所述的方法，其特征在于，波函数的振幅像和相位像的原子位置，分别对应着单壁碳纳米管成像时相对于入射束的上表面和下表面的原子结构。

8.根据权利要求1所述的方法，其特征在于，根据上下层的原子位置，填补管壁原子结构信息，重建单壁碳纳米管的三维结构，包括以下步骤：

根据原子位置和高分辨电子显微像，计算单壁碳纳米管的直径；

将单壁碳纳米管近似为圆柱体，沿管长方向在管中间绘制中心线；

根据每个原子的二维坐标计算它们到中心线的距离，换算出每个原子的第三维高度坐标，以单壁管的中心横切面设置为0高度，区分上下表面的高度坐标；

建立基平面，建立的基平面垂直于电子束入射方向，并且高度等于碳纳米管的所有原子的最小高度；

将圆柱形的碳纳米管展平到基平面上，获得展开成平面后的原子坐标；

求解碳纳米管上最近邻碳碳原子的平均距离；

根据平均距离，补全单壁碳纳米管无法确定原子位置的两侧管壁的原子位置；

由基平面上的二维原子坐标，根据管径以及中心线的信息，换算出侧壁原子的三维坐标，并与实验测量的所有原子的三维位置，拼构成完整的三维原子结构。

9.一种从电镜像重构碳纳米管三维原子结构的系统，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。

Images