CN115272163A - 一种基于深度学习的透射电镜薄膜样品相分布分析方法 - Google Patents
一种基于深度学习的透射电镜薄膜样品相分布分析方法 Download PDFInfo
- Publication number
- CN115272163A CN115272163A CN202210353194.8A CN202210353194A CN115272163A CN 115272163 A CN115272163 A CN 115272163A CN 202210353194 A CN202210353194 A CN 202210353194A CN 115272163 A CN115272163 A CN 115272163A
- Authority
- CN
- China
- Prior art keywords
- film sample
- phase distribution
- electron microscope
- thin film
- transmission electron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 title claims abstract description 28
- 238000004458 analytical method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 239000010409 thin film Substances 0.000 title claims description 34
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000001228 spectrum Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 13
- 239000010408 film Substances 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 12
- 238000001000 micrograph Methods 0.000 claims description 8
- 238000003917 TEM image Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 4
- 229910052735 hafnium Inorganic materials 0.000 description 19
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 19
- 238000004627 transmission electron microscopy Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000005621 ferroelectricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明涉及一种基于深度学习的透射电镜薄膜样品相分布分析方法，包括以下步骤：提取透射电镜图片中薄膜样品区域；对所述薄膜样品区域进行选区处理，并对每个选区进行快速傅里叶变换获得多个频谱图像；将所述多个频谱图像输入至训练好的神经网络中进行分析，得到所述薄膜样品的相分布。本发明能够高效、准确地识别透射电镜薄膜材料的相分布。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于深度学习的透射电镜薄膜样品相分布分析方法。
背景技术
随着集成电路产业的迅速发展，芯片制程工艺已经达到纳米尺度，进一步缩减特征尺寸面临功耗难以下降的问题，特别是受亚阈值摆幅理论极限的限制，芯片的驱动电压难以进一步降低。2011年发现的铪基氧化物掺杂体系具有强的铁电性，并且该材料在减小厚度的同时展现出铁电效应增强的趋势，有利于开发具有高密度、低功耗的负电容晶体管、铁电存储器等先进器件。识别与调控铪基氧化物薄膜的相分布是制备高性能铪基器件的关键问题。
透射电子显微镜(TEM)能够从原子尺度准确分析铪基氧化物薄膜的晶体结构信息，并在此基础上得到相分布，但该方法会产生大量的TEM图像数据，因此对这些TEM图像数据进行分析需要耗费大量时间和精力。此外准确分析TEM的结构图像还需要研究者具备良好的专业知识与实验经验，因此提高TEM结构图像的分析效率是迫切需要解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习的透射电镜薄膜样品相分布分析方法，能够高效、准确地识别透射电镜薄膜材料的相分布。
本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习的透射电镜薄膜样品相分布分析方法，包括以下步骤：
(1)提取透射电镜图片中薄膜样品区域；
(2)对所述薄膜样品区域进行选区处理，并对每个选区进行快速傅里叶变换获得多个频谱图像；
(3)将所述多个频谱图像输入至训练好的神经网络中进行分析，得到所述薄膜样品的相分布。
所述步骤(1)通过形态学方法提取透射电镜图片中薄膜样品区域。
所述步骤(1)具体包括：
对所述透射电镜图片用低频滤波进行平滑处理；
选取阈值进行二值化处理并使用开运算消除所述透射电镜图片两侧的小连通域，找到最大连通域；
将所述最大连通域的二值图像与所述透射电镜图片进行矩阵相乘，并使用阈值分割方法批量将薄膜样品区域从两侧衬底中提取出来。
所述步骤(2)中相邻选区之间相互重叠。
所述神经网络在训练时包括以下步骤：
获取透射电镜图片数据集；
对所述透射电镜图片数据集中的每一张图片采用所述步骤(1)和步骤(2)的方式进行处理，得到多个频谱图像；
对每个频谱图像进行标注形成训练集和测试集；
使用所述训练集对所述神经网络进行训练。
所述使用所述训练集对所述神经网络进行训练后还包括：使用所述测试集对所述神经网络的准确率进行评估，并根据所述神经网络的准确率进行调优，并在调优后再次对所述神经网络进行训练，所述调优是指调整所述选区的大小和重叠比例。
所述调优时采用梯度下降法调整所述选区的大小和重叠比例。
所述神经网络是一个具有残差结构的卷积神经网络。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明突破了透射电镜图片质量低的限制，通过将图片选区进行傅里叶变换作为数据集，在不丢失图像特征的前提下以更加简化的形式输入网络，增加了神经网络的训练效率，节省了大量时间与人力，降低了神经网络对于大量数据集的依赖性，从而实现了高效可靠地完成高通量的透射电镜薄膜样品相变分析。同时，本方法还通过反馈的形式，对于电镜图片的傅里叶变换的选区参数进行调整，使得本方法对于不同薄膜样品电镜图片具有较高泛化能力。
附图说明
图1是本发明实施方式的流程图；
图2是本发明使用的网络的训练流程图；
图3是本发明实施方式中使用形态学方法提取TEM图片中薄膜样品区域的效果图；
图4是本发明实施方式的分类效果图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于深度学习的透射电镜薄膜样品相分布分析方法，包括以下步骤：提取透射电镜图片中薄膜样品区域；对所述薄膜样品区域进行选区处理，并对每个选区进行快速傅里叶变换获得多个频谱图像；将所述多个频谱图像输入至训练好的神经网络中进行分析，得到所述薄膜样品的相分布。
不难发现，本发明突破了透射电镜图片质量低的限制，通过将图片选区进行傅里叶变换作为数据集，在不丢失图像特征的前提下以更加简化的形式输入网络，增加了神经网络的训练效率，节省了大量时间与人力，降低了神经网络对于大量数据集的依赖性，从而实现了高效可靠地完成高通量的透射电镜薄膜样品相变分析。
下面以铪基氧化物为例进一步说明本发明。
如图1所示，本实施方式提出了一种基于深度学习的透射电镜薄膜样品相分布，并实现自动完善的分析方法。本方法首先提取透射电镜图片中薄膜样品区域，再对所述薄膜样品区域进行选区处理，并对每个选区进行快速傅里叶变换获得多个频谱图像，最后将所述多个频谱图像输入至训练好的神经网络中进行分析，得到所述薄膜样品的相分布，完成对于薄膜样品表面相分布的统计分析。
如图2所示，本实施方式在分析时，首先获取铪基氧化物薄膜样品的透射电子显微镜图像，使用形态学方法分割中间条状氧化物部分与背景衬底，再选区进行快速傅里叶变换。搭建卷积神经网络并且进行预训练，将快速傅里叶变换后的图像输入卷积神经网络进行分类，将铪基氧化物薄膜样品相分为正交相与单斜相。再通过反馈的损失函数，根据结果的准确率调整傅里叶变换的选区的区域大小和重叠率，再次训练神经网络，得到优化后的结果。
使用卷积神经网络进行分类需要准备大量标注完成的图像数据集，人工根据快速傅里叶变换后的频谱图像中的衍射点阵，计算由中心各点构成的基矢的长度和夹角，确定衍射图像归属于单斜相或是正交相。
对于人工标注后的数据集，可以使用旋转、平移和镜像方法对图片进行四倍数据增强，扩充铪基氧化物频谱图像的数据集输入神经网络。
对于数据增强后的数据集，使用四折交叉验证方法，将数据集分为四份，一份为测试集，另外三份作为训练集输入网络，重复四次此流程，完成神经网络的训练。
如图3所示，对于铪基氧化物薄膜样品的透射电镜原图，使用形态学方法将中间条状铪基氧化物部分从两侧衬底中分隔开。利用铪基氧化物衬度高，在透射电镜图片中与衬底的平均像素值有差异且交界处有像素值突变的特点，重复对图片用低频滤波方法进行平滑处理，选取阈值进行二值化处理和使用开运算处理，消除图像两侧的小连通域，留下中间部分的大块连通域。再将留下的最大连通域的二值图像与原图进行矩阵相乘，使用阈值分割方法批量将铪基氧化物部分从两侧衬底中提取出来。
使用上述形态学方法可以批量将铪基氧化物部分提取出来，无需人工剪裁，也不需要制作数据集使用机器学习方法。
如图4左侧所示，对分割后的铪基氧化物部分透射电镜图像选区进行快速傅里叶变换。选择进行傅里叶变换的区域大小对于生成的频谱图像有影响，选区面积大则可能包含杂质像素，影响生成的衍射点阵的形状，使其难以分辨；选区面积小则提高生成的傅里叶频谱图像的噪声，影响数据集成像质量，最终影响网络分类结果。
选区方框每次移动的重叠比例对生成的傅里叶频谱图像数据集会产生影响。每次移动的比例过大，可能错过重要的相变化区域，同时也不利于扩充数据集大小；每次移动的比例过小，造成生成的每张频谱图像相似度过高，不利于使用频谱图像数据集训练网络。
在本实施方式中对于像素值为2048*2048的透射电镜原图，采用像素值为400*400的方框进行选区采样，每次以1/4的重叠比例移动。
同一张铪基氧化物透射电镜图片中存在同时出现单斜相和正交相分布的情况。对图片选区进行衍射可以通过判断傅里叶变换后的频谱图像隶属的相分类，结合频谱图象和原图的选区对应关系，获得铪基氧化物薄膜样品的相分布情况。图2所示为一种在同一张透射电镜图片上，相邻近的铪基氧化物薄膜样品材料出现不同相分布的情况。
如图4右侧所示，将需要分析的傅里叶频谱图像输入经过训练的卷积神经网络，分成结果为正交相和单斜相的两类。对于结果进行统计分析，根据频谱图像和透射电镜原图的对应关系，可以得知铪基氧化物薄膜样品的相分布。
根据分类结果的准确率，得到反馈，调整生成傅里叶变换图像的选区大小和重叠比例，选取区域过大，则较容易引入杂点，反之，选取区域过小，傅里叶图像噪声则较大，将此类FFT图像输入神经网络，则分类结果与FFT选取区域面积有关联。将调整后的傅里叶图像重新作为数据集训练网络，优化分类结果。
本实施方式采用深度学习方法分析包含铪基氧化物薄膜样品的相分布，实现相变分布的自动统计分析。该方法通过反馈的方法调整傅里叶变换的选区参数，使得本方法对于不同薄膜样品电镜图片具有较高泛化能力，对于同类型研究有借鉴作用。
Claims (8)
1.一种基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，包括以下步骤：
(1)提取透射电镜图片中薄膜样品区域；
(2)对所述薄膜样品区域进行选区处理，并对每个选区进行快速傅里叶变换获得多个频谱图像；
(3)将所述多个频谱图像输入至训练好的神经网络中进行分析，得到所述薄膜样品的相分布。
2.根据权利要求1所述的基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，所述步骤(1)通过形态学方法提取透射电镜图片中薄膜样品区域。
3.根据权利要求2所述的基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，所述步骤(1)具体包括：
对所述透射电镜图片用低频滤波进行平滑处理；
选取阈值进行二值化处理并使用开运算消除所述透射电镜图片两侧的小连通域，找到最大连通域；
将所述最大连通域的二值图像与所述透射电镜图片进行矩阵相乘，并使用阈值分割方法批量将薄膜样品区域从两侧衬底中提取出来。
4.根据权利要求1所述的基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，所述步骤(2)中相邻选区之间相互重叠。
5.根据权利要求1所述的基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，所述神经网络在训练时包括以下步骤：
获取透射电镜图片数据集；
对所述透射电镜图片数据集中的每一张图片采用所述步骤(1)和步骤(2)的方式进行处理，得到多个频谱图像；
对每个频谱图像进行标注形成训练集和测试集；
使用所述训练集对所述神经网络进行训练。
6.根据权利要求5所述的基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，所述使用所述训练集对所述神经网络进行训练后还包括：使用所述测试集对所述神经网络的准确率进行评估，并根据所述神经网络的准确率进行调优，并在调优后再次对所述神经网络进行训练，所述调优是指调整所述选区的大小和重叠比例。
7.根据权利要求6所述的基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，所述调优时采用梯度下降法调整所述选区的大小和重叠比例。
8.根据权利要求1所述的基于深度学习的透射电镜薄膜样品相分布分析方法，其特征在于，所述神经网络是一个具有残差结构的卷积神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210353194.8A CN115272163A (zh) | 2022-04-06 | 2022-04-06 | 一种基于深度学习的透射电镜薄膜样品相分布分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210353194.8A CN115272163A (zh) | 2022-04-06 | 2022-04-06 | 一种基于深度学习的透射电镜薄膜样品相分布分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272163A true CN115272163A (zh) | 2022-11-01 |
Family
ID=83758363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210353194.8A Pending CN115272163A (zh) | 2022-04-06 | 2022-04-06 | 一种基于深度学习的透射电镜薄膜样品相分布分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272163A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631392A (zh) * | 2022-12-26 | 2023-01-20 | 西南石油大学 | 一种基于深度学习的晶体tem图像物相区域划分方法 |
| CN118588219A (zh) * | 2024-08-07 | 2024-09-03 | 烟台国工智能科技有限公司 | 一种基于电镜图像识别的高分子材料性能分析方法及装置 |
-
2022
- 2022-04-06 CN CN202210353194.8A patent/CN115272163A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631392A (zh) * | 2022-12-26 | 2023-01-20 | 西南石油大学 | 一种基于深度学习的晶体tem图像物相区域划分方法 |
| CN115631392B (zh) * | 2022-12-26 | 2023-04-07 | 西南石油大学 | 一种基于深度学习的晶体tem图像物相区域划分方法 |
| CN118588219A (zh) * | 2024-08-07 | 2024-09-03 | 烟台国工智能科技有限公司 | 一种基于电镜图像识别的高分子材料性能分析方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115272163A (zh) | 一种基于深度学习的透射电镜薄膜样品相分布分析方法 | |
| De Matos et al. | Double transfer learning for breast cancer histopathologic image classification | |
| Wu et al. | Improved image segmentation method based on morphological reconstruction | |
| CN111899274B (zh) | 一种基于深度学习tem图像分割的粒径分析方法 | |
| Xing et al. | Investigation of a novel automatic micro image-based method for the recognition of animal fibers based on wavelet and Markov random field | |
| Mahjoubi et al. | Identification and classification of exfoliated graphene flakes from microscopy images using a hierarchical deep convolutional neural network | |
| Liang et al. | Genetic programming for evolving figure-ground segmentors from multiple features | |
| Ilea et al. | Color image segmentation using a spatial k-means clustering algorithm | |
| Butola et al. | A machine learning approach to modeling intrinsic parameter fluctuation of gate-all-around Si nanosheet MOSFETs | |
| CN106777980A (zh) | 一种基于dtw的时间序列相似性预测方法 | |
| CN117407779A (zh) | 一种基于支持向量机的质谱数据分类方法 | |
| CN111915603B (zh) | 一种含噪声ebsd数据中无噪声相图的人工智能预测方法 | |
| CN113177574A (zh) | 用于材料表征图像分析的视觉模型及其分析方法 | |
| Chen et al. | Robust dislocation defects region segmentation for polysilicon wafer image with random texture background | |
| CN116597165A (zh) | 一种电镜图像处理方法及系统 | |
| Liu et al. | An optional gauss filter image denoising method based on difference image fast fuzzy clustering | |
| Pratiush et al. | Scientific exploration with expert knowledge (SEEK) in autonomous scanning probe microscopy with active learning | |
| CN101826208A (zh) | 支持向量机与区域增长相结合的图像分割方法 | |
| Lu et al. | Single image super-resolution algorithm based on fixed-point multi-model gaussian process regression | |
| US20240203019A1 (en) | Method and model for three-dimensional characterization of molybdenum disulfide sample based on machine learning, and use thereof | |
| CN109948283B (zh) | 一种半导体器件的分析方法 | |
| Islam et al. | Unsupervised color textured image segmentation using cluster ensembles and MRF model | |
| Sheng et al. | Deep Learning for Analysis of Two-Dimensional Materials in High-Resolution Transmission Electron Microscopy Image | |
| CN118762013B (zh) | KIA Net网络模型及其图像、高精度晶圆缺陷检测与分割方法 | |
| Perkgoz | Identifying optical microscope images of CVD-grown two-dimensional MoS2 by convolutional neural networks and transfer learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |