CN115631392B - 一种基于深度学习的晶体tem图像物相区域划分方法 - Google Patents

Abstract

本发明公开一种基于深度学习的晶体TEM图像物相区域划分方法，包括：滑动窗口与深度学习部分，物相识别部分和区域合并部分。滑动窗口将原图划分为多个区域，深度学习部分提出了LCA‑Unet模型用于提取TEM图像各个区域的傅里叶变换幅度谱中的亮点，物相识别部分中可以识别出各个区域内可能包含的物相，区域合并部分将包含相同物相的区域合并，并描绘物相区域的边界。该方法可实现晶体TEM图像中物相区域的自动划分，可以有效的避免研究人员陷入繁琐的手动分析任务中。

Description

一种基于深度学习的晶体TEM图像物相区域划分方法

技术领域

本发明涉及一种透射电子显微镜(TEM)图像的自动处理方法，具体而言，包括滑动窗口划分区域并计算快速傅里叶变换幅度谱，深度学习提取快速傅里叶变换幅度谱中的亮点及计算机视觉处理方法用于图像中物相识别及后续物相区域展示的方法；具体为一种基于深度学习的晶体TEM图像物相区域划分方法。

背景技术

材料的微观结构是决定材料性能的关键因素，主要受成分和制备工艺的影响，而透射电子显微镜(TEM)是研究材料结构和组成的一种有用技术。近年来，材料科学与工程的进步促进了透射电子显微镜及其相关技术的快速发展。为了快速分析原位TEM生成的大量的TEM图像数据，提高材料研究的效率，亟需引入快速自动化的电子显微镜数据图像处理方法。

原位TEM是研究晶体材料的重要手段，在分析TEM图像时，需要专业人士利用专业软件(如Digital Micrograph)分区域进行分析，区域的选择以及分析完全依赖人工经验，工作繁琐且费时费力。因此利用计算机技术对原位TEM产生的大量图像进行处理和分析，可以加快实验进程，提高实验效率。

采用傅里叶变换辅助分析TEM图像是一种重要的分析手段，傅里叶变换可以将空域中的TEM图像转换到频率域中，当TEM图像包含晶格条纹时，其FFT幅度谱图像将显示一个倒易点阵来表示晶体结构特征。如果对整个图像进行FFT分析，反映的是全局情况，但有时研究人员只对局部区域感兴趣，使用滑动窗口将整个TEM图像划分为多个区域能够在空间维度上反映局部特征。

为了分析TEM图像中的晶体物相信息，分析对应的倒易点阵是一种常用的方法。近十年来，深度学习在图像处理和分析领域发展迅速，取得了巨大的成功，利用深度学习中的语义分割网络U-Net可以将FFT图像中的倒易点阵分割出来，但分割精度不足。

发明内容

为了提高语义分割网络U-Net分割的精度，本发明在U-Net网络的基础上加入一个融合了注意力机制思想的跨层特征融合模块，设计了一种LCA-Unet深度学习语义分割网络对TEM图像傅里叶变换后的幅度谱图像进行亮点分割，采用灰度质心算法计算每一个亮点的坐标，并通过计算机视觉技术实现自动物相识别。使用滑动窗口自动的划分区域进行分析，并采用改进的区域甚至算法进行区域合并，最终实现了自动晶体TEM图像物相区域划分。

具体地，本发明提供了一种基于深度学习的晶体TEM图像物相区域划分方法，主要包括以下步骤：

S1、使用正方形的滑动窗口算法将TEM图像划分为多个区域，计算每个区域的傅里叶变换幅度谱并使用图像增强算法突出图像中的亮点；

S2、使用深度学习方法对傅里叶变换幅度谱图像中的亮点进行分割，获得亮点分割图像；

S3、在所述亮点分割图像包含多对亮点情况下，使用灰度质心算法计算每一个亮点的坐标，并基于中心对称原则进行亮点配对分组（中心亮点不参与配对），后续只需要计算每对亮点中的一个即可，该亮点被称为保留亮点；

S4、对所述保留亮点进行计算机视觉处理，自动测量对应的晶格间距；

S5、建立标准PDF卡片数据库，与所述晶格间距进行比对，统计每个区域内每个亮点可能代表的晶面并记录匹配到晶面的亮点的坐标以及对应的晶面指数；

S6、通过所述的晶面指数从建立的PDF卡片数据库检索标准晶面夹角，再通过代表各个晶面的亮点的坐标信息计算实际的晶面夹角，比较标准晶面夹角与实际晶面夹角完成物相识别，从而确定每个区域内可能包含的物相；

S7、采用改进的区域生长算法合并包含相同物相的区域，并用彩色线条进行描绘。

其中，步骤S1所述的图像增强算法为幂次变换，又叫伽马校正，该方法可以突出傅里叶变换幅度谱图像中的亮点。

步骤S2所述的深度学习方法所使用的神经网络架构结合加入了一个融入注意力机制思想的跨层特征融合模块。输入步骤S1提到的增强后的傅里叶变换幅度谱图像到模型中进行预测，获得亮点分割图像。

步骤S3中所述配对分组方法需要先使用灰度质心算法计算每一个亮点的坐标并分离出中心亮点，之后将剩余亮点的坐标进行二元组合，计算每一个组合中两个亮点与中心亮点的距离，若距离不一致则配对失败，若距离一致则进一步计算组合中的两个点与中心亮点是否在一条直线上，若三点共线，则完成配对，反之配对失败。随机丢弃完成配对的组合中的其中一个亮点并记录保留亮点的坐标。

步骤S4中所述的保留亮点与中心亮点之间的距离为保留亮点所代表的晶格之间的晶格间距，测量晶格间距需要将TEM图像中每一个像素点对应的物理距离m（单位：nm）与TEM成像时选择的放大倍率L（单位：1/nm）相乘，再除以傅里叶变换幅度谱中亮点与中心亮点之间的距离D（单位1/nm）,其中m与L已知，D需要根据保留亮点的坐标信息进行计算，为实现自动化计算，设计一个晶格间距测量函数，该函数输入为保存保留亮点的坐标信息，输出为测量完成的晶格间距。

步骤S5中所述标准PDF卡片数据库是基于国际衍射数据中心(ICDD)发布的数据建立的，后期进行分类汇总，建立专属数据库，该数据库包含了多种不同物相的数据，每种物相的数据包含了各种该物相包含的晶面的晶格间距和晶面指数，使用时，可以直接根据步骤S4测量的晶格间距匹配到晶面以及对应的晶面指数。此外，该数据库还包含了各物相数据中所有可能的晶面组合之间的晶面夹角。

步骤S6所述的物相识别方法需要对步骤S5所述的可能代表的晶面进行两两组合，并根据PDF卡片数据库的信息检索每组晶面对应的标准晶面夹角，之后还需要计算每组晶面对应的两个亮点与中心亮点形成的夹角的角度，该角度为实际晶面夹角，最后判断实际晶面夹角与标准晶面夹角之间的差异是否小于误差阈值，从而确定每个区域可能包含的物相。

步骤S7所述的改进的区域生长算法以步骤S6得到的含有物相的区域为生长点，以邻接区域是否包含相同物相为生长准则，若包含相同物相则合并，当所有区域遍历完成后终止流程，并使用连通域算法获得物相区域的边界，用彩色线条对物相区域的边界进行描绘。

有益效果：本发明实现自动客观的晶体TEM图像物相区域自动划分，采用本发明进行TEM图像分析，可以帮助研究人员从原位TEM实验产生的大量数据中快速找到感兴趣的物相所在的区域。

附图说明

图1是本发明图像自动处理系统大致流程示意图；

图2是本发明所述图像增强算法效果展示以及神经网络输出说明；

图3是本发明所述深度学习方法使用的神经网络架构说明；

图4是本发明中所述物相识别方法在单区域物相识别示意图；

图5是本发明与手动分析对比结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明进一步详细说明。在此，本发明的示意性实施方式以及其说明用于解释本发明，但并不作为本发明的限定。

如图1、图2、图3、图4所示，本发明提供一种基于深度学习的晶体TEM图像物相区域划分方法，包括以下步骤：

S1、使用正方形的滑动窗口算法将TEM图像划分为多个区域，计算每个区域的傅里叶变换幅度谱并使用图像增强算法突出图像中的亮点；

S2、使用深度学习方法对傅里叶变换幅度谱图像中的亮点进行分割，获得亮点分割图像；

S3、在所述亮点分割图像包含多对亮点情况下，使用灰度质心算法计算每一个亮点的坐标，并基于中心对称原则进行亮点配对分组（中心亮点不参与配对），后续只需要计算每对亮点中的一个即可，该亮点被称为保留亮点；

S4、对所述保留亮点进行计算机视觉处理，自动测量对应的晶格间距；

S5、建立标准PDF卡片数据库，与所述晶格间距进行比对，统计每个区域内每个亮点可能代表的晶面并记录匹配到晶面的亮点的坐标以及对应的晶面指数；

S6、通过所述的晶面指数检索标准晶面夹角，再通过代表各个晶面的亮点的坐标信息计算实际晶面夹角，比较标准晶面夹角与实际晶面夹角完成物相识别，从而确定每个区域内可能包含的物相；

S7、采用改进的区域生长算法合并包含相同物相的区域，并用彩色线条进行描绘。

步骤S1所述的图像增强算法为幂次变换，又叫伽马校正，计算公式为，其中x为归一化之后的傅里叶变换幅度谱图像，y为输出图像，γ为变换系数，选择大于1的变换系数可以使傅里叶变换幅度谱中的亮点更突出并弱化背景。

步骤S2所述的深度学习方法所使用的神经网络架构加入了一个融入注意力机制思想的跨层特征融合模块。输入步骤S1提到的增强后的傅里叶变换幅度谱图像到模型中进行预测，形成亮点分割图像。

步骤S3中所述配对分组方法需要先使用灰度质心算法计算步骤S2得到的亮点分割图像中每一个亮点的坐标并分离出中心亮点，中心亮点的坐标与图像的中心是重合的，不直接参与后续的配对。之后将剩余亮点的坐标进行二元组合，依次计算每一个组合中两个亮点与中心亮点的距离，若距离不一致则配对失败，反之，则进一步计算组合中的两个点与中心亮点是否在一条直线上，若三点共线，则完成配对，反之配对失败。随机丢弃完成配对的组合中的其中一个亮点并记录保留亮点的坐标，保留亮点的坐标存储在一个列表A中。

步骤S4中所述的保留亮点与中心亮点之间的距离为保留亮点所代表的晶格之间的晶格间距，测量晶格间距需要将TEM图像中每一个像素点对应的物理距离m（单位：nm）与TEM成像时选择的放大倍率L（单位：1/nm）相乘，再除以傅里叶变换幅度谱中亮点与中心亮点之间的距离D（单位1/nm）,其中m与L已知，D需要根据列表A中保留亮点的坐标信息进行计算，为实现自动化计算，设计一个晶格间距测量函数，该函数输入为保存保留亮点的坐标信息，输出为测量完成的晶格间距。

步骤S5中所述标准PDF卡片数据库是基于国际衍射数据中心(ICDD)发布的数据建立的，后期进行分类汇总，建立了专属数据库，该数据库包含了多种不同物相的数据，每种物相的数据包含了各种该物相包含的晶面的晶格间距和晶面指数以及各物相数据中所有可能的晶面组合之间的晶面夹角，使用时可以直接采用字典搜索的方式进行检索。在匹配晶面的时候，需要比较步骤S4计算的A中保留亮点对应的晶格间距与PDF卡片数据库中的晶格间距，若计算得到的值与PDF卡片库中某个晶面的晶格间距之间的误差在5%以内，那么这个保留亮点就可能代表这种晶面。同一个保留亮点可能匹配不到合适的晶面也可能匹配到一个或多个晶面，对于匹配不到晶面的亮点，从A中删除。

步骤S6所述的物相识别方法需要对A中剩余的亮点进行二元组合，存放在列表B中，例如B=[[亮点a，亮点b]，[亮点a，亮点c]，[亮点b，亮点c]]，从PDF卡片数据库中搜索B中每一个组合中所有可能的晶面组合之间的标准晶面夹角(如图4)，并以字典的形式存储在列表C中，晶面的组合为key，组合内两个晶面的夹角为value，例如C={[晶面1，晶面1]：夹角value}。进一步的，计算B中每一个组合的两个亮点与中心亮点构成的夹角的角度，例如B中的一个组合[亮点a，亮点b]，与中心亮点o构成∠aob的角度。遍历C中所有的键值对，比较value和∠aob的差异，若差异不超过3%，则这两个亮点对应的晶面为key中的组合，同时根据比较采用的PDF卡片可以确定该区域所属的物相，物相信息保存在字典D中，以步骤S1划分的区域的编号为key，以物相信息为value，例如D={1：m-ZrO2，2：t-ZrO2，……}。

步骤S7所述的改进的区域生长算法以D中的区域为生长点，以邻接区域是否包含相同物相为生长准则，若包含相同物相则合并。合并的步骤如下：1、对步骤1生成的所有区域进行顺序扫描，找到第1个含义物相的区域, 设该区域为x；2、以x为中心，考虑x的上下左右4个邻域中是否包含与x相同的物相，若包含满足生长准则, 将包含相同物相的领域与x合并(在同一区域内), 同时将x压入堆栈；3、从堆栈中取出一个区域，把它当作x返回到步骤2；4、当堆栈为空时，返回到步骤1；5、重复步骤1-4直到图像中的每个区域都有归属时。生长结束，最后使用连通域算法获得物相区域的边界，用彩色线条进行描绘。

在本发明的具体实施案例中，选取商业Zircaloy-4的原位氧化实验的HRTEM图像作为方法测试数据。使用本发明所述自动处理方法进行分析，并与手动分析结果进行比对。如图5所示：图中所示的TEM图像为实施例的高分辨率TEM图像，图像中黑色虚线框选的区域为人工分析的属于ZrO2的区域，白色的实线框选的区域为本发明自动分析的属于ZrO2的区域，二者基本吻合。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于深度学习的晶体TEM图像物相区域划分方法，其特征在于：所述方法包括以下步骤：

1）使用正方形的滑动窗口将TEM图像划分为多个区域并计算各个区域的快速傅里叶变换幅度谱，使用图像增强算法突出幅度谱中的亮点并弱化背景；

2）使用深度学习方法对步骤1）生成的各个区域的快速傅里叶变换幅度谱图像中的亮点进行分割，获得亮点分割图像；

3）在所述亮点分割图像包含多个亮点情况下，使用灰度质心算法获得每个亮点的坐标；

4）根据亮点的坐标信息进行物相识别，从每个区域中识别出可能包含的物相，所述的物相识别方法需要根据亮点的坐标信息自动测量晶格间距，并与根据标准PDF卡片数据建立的卡片数据库进行比对，找到各区域内可能包含的晶面并记录对应的晶面指数，比较建立的卡片数据库中的标准晶面夹角与根据亮点坐标计算得到的实际晶面夹角以确定各个区域中可能包含的物相；

5）采用改进的区域生长算法合并包含相同物相的区域，并使用连通域算法获得物相区域的边界，用彩色线条对所述物相区域的边界进行描绘，所述的改进的区域生长算法需要以步骤4）中可能包含物相的各个区域为生长点，以邻接区域是否包含相同物相为生长准则，若包含相同物相则合并为同一个区域。

2.根据权利要求1所述的一种基于深度学习的晶体TEM图像物相区域划分方法，其特征在于：步骤1）所述的图像增强算法为幂次变换(伽马校正)。

3.根据权利要求1所述的一种基于深度学习的晶体TEM图像物相区域划分方法，其特征在于：步骤2）所述的深度学习方法包含一个跨层特征融合模块。

4.根据权利要求1所述的一种基于深度学习的晶体TEM图像物相区域划分方法，其特征在于：步骤3）所述灰度质心算法实现从深度学习模型输出的亮点分割图像中获取所有亮点的坐标，并基于中心对称原则进行亮点配对分组。

Images