CN117011550B - 一种电子显微镜照片中的杂质识别方法及装置 - Google Patents

一种电子显微镜照片中的杂质识别方法及装置 Download PDF

Info

Publication number
CN117011550B
CN117011550B CN202311292901.8A CN202311292901A CN117011550B CN 117011550 B CN117011550 B CN 117011550B CN 202311292901 A CN202311292901 A CN 202311292901A CN 117011550 B CN117011550 B CN 117011550B
Authority
CN
China
Prior art keywords
impurity
electron microscope
determining
impurities
microscope photograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311292901.8A
Other languages
English (en)
Other versions
CN117011550A (zh
Inventor
姚家扬
关春天
王永峰
刘慧翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaochuang Digital Energy Technology Co ltd
Original Assignee
Chaochuang Digital Energy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chaochuang Digital Energy Technology Co ltd filed Critical Chaochuang Digital Energy Technology Co ltd
Priority to CN202311292901.8A priority Critical patent/CN117011550B/zh
Publication of CN117011550A publication Critical patent/CN117011550A/zh
Application granted granted Critical
Publication of CN117011550B publication Critical patent/CN117011550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Abstract

本申请提供一种电子显微镜照片中的杂质识别方法及装置，方法包括：识别电子显微镜照片的放大比例，或识别电子显微镜照片的放大比例及获得电子显微镜照片的加速电压；根据放大比例，或，根据放大比例及获得电子显微镜照片的加速电压，确定识别电子显微镜照片中的杂质的分割模型；根据分割模型，分割电子显微镜照片中的杂质，确定电子显微镜照片中的杂质的轮廓；根据杂质的轮廓，确定杂质的杂质特征；杂质特征包括：杂质的杂质长宽比、杂质的杂质面积；根据杂质特征，确定杂质的类型。本发明解决了现有技术存在的电子显微镜中照片杂质识别难度大的技术问题，同时提高基于电子显微镜照片的杂质识别的泛化性及准确性。

Description

一种电子显微镜照片中的杂质识别方法及装置
技术领域
本申请涉及图像识别领域，具体涉及一种电子显微镜照片中的杂质识别方法及装置。
背景技术
电子显微镜照片常常被作为识别杂质的图像基础。传统的图像识别算法在面对结构复杂的杂质形态、差异化较大的电子显微镜照片时，难以同时满足杂质识别的泛化性及准确性。
发明内容
有鉴于此，为同时提高基于电子显微镜照片的杂质识别的泛化性及准确性，本申请第一方面提供一种电子显微镜照片中的杂质识别方法，包括：
识别所述电子显微镜照片的放大比例，或识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压；
根据所述放大比例，或，根据所述放大比例及获得所述电子显微镜照片的加速电压，确定识别所述电子显微镜照片中的杂质的分割模型；
根据所述分割模型，分割所述电子显微镜照片中的所述杂质，确定所述电子显微镜照片中的杂质的轮廓；
根据所述杂质的所述轮廓，确定所述杂质的杂质特征；所述杂质特征包括：所述杂质的杂质长宽比、所述杂质的杂质面积；
根据所述杂质特征，确定所述杂质的类型。
在一些实施例中，根据所述杂质的所述轮廓，确定所述杂质长宽比包括：
根据所述杂质的所述轮廓，确定四个边内侧均与所述轮廓接触的目标矩形；所述目标矩形为四个边内侧均与所述轮廓接触的目标矩形中，面积最小的矩形；
确定所述目标矩形的四个顶点坐标；
根据四个所述顶点坐标，确定所述杂质长宽比。
在一些实施例中，根据所述杂质的所述轮廓，确定所述杂质面积包括：
将所述电子显微镜照片配置为白色像素，将所述杂质轮廓配置为黑色像素；
填充所述杂质轮廓内的像素为黑色像素；
统计所述黑色像素的数量；
根据所述黑色像素的尺寸与所述电子显微镜照片尺寸的比例，所述电子显微镜照片尺寸与所述放大比例，确定所述杂质的面积。
在一些实施例中，所述电子显微镜照片中的杂质识别方法还包括：矫正所述杂质特征，获得矫正杂质特征；
所述矫正杂质特征的方法包括：
通过改变加速电压获得针对同一区域的多张所述电子显微镜照片；
对多张所述电子显微镜照片采用匹配所述电子显微镜照片的放大倍数和加速电压的不同的分割模型；
根据所述不同的分割模型获得针对同一区域的多张所述电子显微镜照片的杂质的轮廓，获得所述矫正轮廓；
根据所述杂质的所述矫正轮廓，确定所述杂质的矫正杂质特征。
在一些实施例中，所述根据所述不同的分割模型获得针对同一区域的多张所述电子显微镜照片的杂质的轮廓，获得所述矫正轮廓包括：
确定每一张所述电子显微镜照片的轮廓上的点的坐标；
计算每一个坐标在所有所述电子显微镜照片上的权重坐标；
基于权重坐标形成所述矫正轮廓。
在一些实施例中，所述根据所述放大比例，确定分割模型包括：
建立多个所述放大比例与多个所述分割模型之间的映射关系；多个所述分割模型具有不完全相同的特征层的数量、卷积核的尺寸、归一化层，以及注意力机制；
根据所述映射关系，确定识别所述电子显微镜照片的放大比例对应采用的所述分割模型。
在一些实施例中，所述电子显微镜照片中的杂质识别方法还包括：
统一所述电子显微镜照片具有相同的尺寸，使得所述电子显微镜照片在对应所述电子显微镜照片的放大比例下，适应所述分割模型。
在一些实施例中，所述电子显微镜照片中的杂质识别方法还包括，在所述确定所述杂质之后确定杂质分布；所述确定杂质分布包括：
将所述电子显微镜照片分解为多个子区域；
统计每个所述子区域的不同类别的杂质数量；
统计每个所述子区域的指定类别的杂质的面积的和；
定位每个所述子区域的指定类别的杂质位置。
在一些实施例中，所述电子显微镜照片中的杂质识别方法包括多个深度学习模型的级联，所述多个深度学习模型的级联包括：
所述识别所述电子显微镜照片的放大比例的特征检测模型级联所述分割模型；所述特征检测模型与所述分割模型为深度学习模型；
所述分割模型级联所述确定杂质分布的判断模型；所述判断模型为深度学习模型。
本发明第二方面提供一种电子显微镜照片中的杂质识别装置，包括：
参数确定单元，所述参数确定单元被配置为识别所述电子显微镜照片的放大比例，或识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压；
分割模型确定单元，所述分割模型确定单元被配置为根据所述放大比例，或，根据所述放大比例及获得所述电子显微镜照片的加速电压，确定识别所述电子显微镜照片中的杂质的分割模型；
轮廓分割单元，所述轮廓分割单元被配置为根据所述分割模型，分割所述电子显微镜照片中的所述杂质，确定所述电子显微镜照片中的杂质的轮廓；
杂质特征识别单元，所述杂质特征识别单元被配置为根据所述杂质的所述轮廓，确定所述杂质的杂质特征；所述杂质特征包括：所述杂质的杂质长宽比、所述杂质的杂质面积；
杂质确定单元，所述杂质确定单元被配置为根据所述杂质特征，确定所述杂质的类型。
本发明通过识别电子显微镜照片的参数，匹配适配其参数的杂质的分割模型，提高电子显微镜照片中杂质的识别的泛化性及准确性。此外，本发明设计影响待测样品关键因素的杂质特征作为杂质的分类依据，快速准确的对杂质进行分类，为后续的样品的判断提供准确有效的数据基础。
附图说明
图1是本申请一示例性实施例示出的一种电子显微镜照片中的杂质识别方法的流程图。
图2为本发明一示例性实施例提供的一张电子显微镜照片。
图3为本发明一示例性实施例提供的一种根据所述杂质的所述轮廓确定所述杂质长宽比的流程图。
图4为本发明一示例性实施例提供的一种根据所述杂质的所述轮廓确定所述杂质面积的流程图。
图5为本发明一示例性实施例提供的一种电子显微镜照片中的杂质识别装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
电子显微镜更有利于在较小的尺度上进行观察，其提供的比光学显微镜更高的分辨率，使得电子显微镜能够更清晰准确的观察到可能存在的杂质的轮廓的特征细节，为后续的杂质识别提供有效的图像数据基础。扫描电子显微镜中，其二次电子成像提供的晶体学和表面拓扑的信息，十分有利于杂质的轮廓的精准描述。
有鉴于此，本发明提供一种电子显微镜照片中的杂质识别方法及装置，同时满足杂质识别过程中的泛化性及准确性要求。
图1为本发明一示例性实施例提供的一种电子显微镜照片中的杂质识别方法的流程图。
请参见图1，一种电子显微镜照片中的杂质识别方法，包括：
S100、识别所述电子显微镜照片的放大比例，或识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压。
图2为本发明一示例性实施例提供的一张电子显微镜照片。其底部为所述电子显微镜照片的参数。其中，电子显微镜照片的放大倍数与加速电压是影响杂质的轮廓的清晰及准确的关键因素。以图2所述的电子显微镜照片为例，底部左侧的10kV代表获得图2的电子显微镜照片的加速电压，底部中间位置的×200代表电镜的放大倍率为200倍，即，图2 的电子显微镜照片的放大倍数为200倍。
可以理解的是，由于电子显微镜照片中，标识电子显微镜参数的区域的特征的显示均较为清晰，不易出现误识别，常见的特征检测模型均可作为识别所述电子显微镜照片的放大比例，或识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压的检测模型，在此不对其进行限定。
常见的电镜的放大倍率包括：200倍、500倍、1000倍等。常见的加速电压通常在0.5kV-30kV之间，由于本实施例提供的应用场景的要求，电子显微镜需提供更深的穿透深度和较高的分辨率，故而加速电压的范围应在5kV-30kV之间。
此外，可以理解的是，还应提取电子显微镜照片的像素比例尺，根据像素比例尺，确定像素和物理尺寸的实际比例。
继续以图2提供的电子显微镜照片为例，其中，下方右侧位置100um对应的长度即为像素比例尺，可根据确定的杂质在电子显微镜照片中的长、宽、面积等，结合所述像素比例尺，确定像素和物理尺寸的实际比例。
在识别所述电子显微镜照片的放大比例，或识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压前，还包括对于所述电子显微镜照片的预处理，所述预处理包括：
统一所述电子显微镜照片具有相同的尺寸，使得所述电子显微镜照片在对应所述电子显微镜照片的放大比例下，适应所述分割模型。
调整所述电子显微镜照片的对比度，以便于后续对于同一放大倍数，或对于同一放大倍数与加速电压确定的同一分割模型，对电子显微镜照片具有较好的泛化性，避免由于对比度不同从而造成的影响。
去除所述电子显微镜照片的噪声。与调整所述电子显微镜照片的对比度的作用类似，去除所述电子显微镜照片的噪声，使得后续对于同一放大倍数，或对于同一放大倍数与加速电压确定的同一分割模型的过程中，避免由于具有不必要的明显噪声不同从而造成的影响。
S200、根据所述放大比例及获得所述电子显微镜照片的加速电压，确定识别所述电子显微镜照片中的杂质的分割模型。
建立多个所述放大比例与多个所述分割模型之间的映射关系。本实施例提供的分割模型均为基于U-Net训练形成。在训练过程中，U-Net通过编码器-解码器结构将输入的电子显微镜照片逐步编码为特征图，然后通过反卷积操作将特征图解码为输出的结果。
建立多个所述放大比例与多个所述分割模型之间的映射关系包括：
对于放大倍数为200倍的电子显微镜照片，采用U-Net模型基本数量的卷积层、卷积核，使得在计算量一定的情况下足够适于200倍的分割模型的要求：
对于放大倍数为500倍的电子显微镜照片，采用增加卷积层数量的U-Net模型、并适当增加卷积核尺寸，使之更适于500倍的分割模型的要求：
对于放大倍数为1000倍的电子显微镜照片，在改进U-Net卷积层数量核卷积核尺寸的基础上，在U-Net模型的卷积层之后添加归一化层，帮助调整卷积层的输出，使之具有更好的可学习性，加快训练速度。此外，在编码器部分引入注意力模块，使得在特征图上能够应用权重，强调某些特征而抑制某些其他特征，从而提高分割精度，更好的适配1000倍的分割模型要求。
根据所述映射关系，确定识别所述电子显微镜照片的放大比例对应采用的所述分割模型。
由于在不同的放大比例下，电子显微镜照片中杂质的轮廓的特征存在差异，针对不同的放大比例确定后续用于识别杂质的轮廓的分割模型，能够同时显著提升杂质的识别过程中的泛化性和准确性，针对差异化较大的电子显微镜照片也能实现高精度的杂质的轮廓提取。
可以理解的是，为进一步提高后续的杂质的轮廓的识别的准确性，对应各个放大比例的分割模型采用对应放大比例的电子显微镜照片进行训练，对分割模型的相应参数进行微调，以进一步适应所述放大比例下的杂质的轮廓识别。
加速电压是影响电子显微镜照片中杂质的轮廓存在差异的另一关键因素。加速电压的高低可以导致电子显微镜照片对比度、分辨率和深度等维度的差异。较高的加速电压会产生更高能量的主束电子，从而增加深入样品的能力。故而，较高的加速电压能够提供更好的分辨率，但可能牺牲了表面敏感性。
单独采用加速电压作为确定分割模型的依据，诚然其能够对电子显微镜照片的分辨率、对比度、以及样品的深度差异适配更为合适的分割模型，然而，本发明发明人发现，未能将放大比例这一对电子显微镜照片中的杂质的形态影响更为重要的因素作为分割模型的差异化关键，并不利于杂质的轮廓的识别。
通过放大比例确定分割模型后，根据差异的加速电压的电子显微镜照片对分割模型进行进一步训练，形成对应不同加速电压的同一放大倍率确定的分割模型下的多个子模型，能够同时考虑到放大倍率对电子显微镜照片的较大影响，并平衡不同加速电压对电子显微镜照片的轮廓的差异。
举例来看，在对应各个放大比例的分割模型采用对应放大比例的电子显微镜照片进行训练，对分割模型的相应参数进行微调后，确定每个放大比例下唯一的分割模型，如200倍分割模型、500倍分割模型、1000倍分割模型。之后，建立不同加速电压下的电子显微镜照片的照片集，如5kV加速电压照片集、10kV加速电压照片集、15kV加速电压照片集。分别以5kV加速电压照片集、10kV加速电压照片集、15kV加速电压照片集对上述每个放大比例对应的分割模型进行训练，获得每个放大比例对应的分割模型下的：200倍5kV分割子模型、200倍10kV分割子模型、200倍15kV分割子模型、500倍5kV加速电压分割子模型、500倍10kV加速电压分割子模型、500倍15kV加速电压分割子模型、1000倍5kV加速电压分割子模型、1000倍10kV加速电压分割子模型、1000倍15kV加速电压分割子模型。
上述将加速电压的微调特征嵌入放大比例确定的分割模型中的方式，同时考虑放大比例对电子显微镜照片中的杂质轮廓的显著影响，及在此基础上加速电压差异对电子显微镜照片分辨率、对比度、以及样品的深度差异，在提升对电子显微镜照片中杂质的轮廓的识别的泛化性的同时，提高其识别的准确度。
S300、根据所述分割模型，分割所述电子显微镜照片中的所述杂质，确定所述电子显微镜照片中的杂质的轮廓。
以unet模型为例，采用经过放大比例，或放大比例及加速电压提供的电子显微镜照片集训练unet模型后获得的分割模型，对电子显微镜照片做图像分割，识别杂质的边缘，并输出描述每个杂质的轮廓的封闭曲线作为杂质的轮廓。所述封闭曲线用于下一步计算杂质特征。
S400、根据所述杂质的所述轮廓，确定所述杂质的杂质特征；所述杂质特征包括：所述杂质的杂质长宽比、所述杂质的杂质面积。
以气泡为例的杂质分类，其关键的影响因素为气泡的大小和形态。杂质的分类通常根据杂质的面积及长宽比，将杂质分为长杂质和圆杂质。在瓷质结构中，可以通过长气泡或圆气泡的数量、分布等特征对烧成后的瓷质进行判断，识别其属于生烧或者过烧。
图3为本发明一示例性实施例提供的一种根据所述杂质的所述轮廓确定所述杂质长宽比的流程图。
请参见图3，根据所述杂质的所述轮廓，确定所述杂质长宽比的方法包括：
S411、根据所述杂质的所述轮廓，确定四个边内侧均与所述轮廓接触的目标矩形；所述目标矩形为四个边内侧均与所述轮廓接触的目标矩形中，面积最小的矩形。
S412、确定所述目标矩形的四个顶点坐标。
S413、根据四个所述顶点坐标，确定所述杂质长宽比。
上述通过目标矩形确定所述杂质长宽比的方式，不通过对作为杂质的轮廓的封闭曲线本身各个位置进行长宽比计算，避免对杂质的轮廓可能出现的毛躁位置的过多关注，以较低的计算量快速准确的计算其精度能够支撑其分类为长杂质或圆杂质的长宽比。
图4为本发明一示例性实施例提供的一种根据所述杂质的所述轮廓确定所述杂质面积的流程图。
请参见图4，根据所述杂质的所述轮廓，确定所述杂质面积的方法包括：
S421、将所述电子显微镜照片配置为白色像素，将所述杂质轮廓配置为黑色像素。
S422、填充所述杂质轮廓内的像素为黑色像素。
S423、统计所述黑色像素的数量。
S424、根据所述黑色像素的尺寸与所述电子显微镜照片尺寸的比例，所述电子显微镜照片尺寸与所述放大比例，确定所述杂质的面积。
S500、根据所述杂质特征，确定所述杂质的类型。
与长宽比的计算类似的，针对所述杂质的轮廓的计算同样避免对封闭曲线本身的复杂运算带来的计算量，而是以像素为单位，通过填充及像素计数的方式，结合像素尺寸与电子显微镜照片尺寸的比例从而确定杂质的面积，同样，以较低的计算量快速准确的计算其精度能够支撑其分类为长杂质或圆杂质的面积。
在一些实施例中，所述电子显微镜照片中的杂质识别方法还包括：矫正所述杂质特征，获得矫正杂质特征。
与直接计算长宽比或面积不同的，这些实施例中，对识别的作为轮廓的封闭曲线首先进行矫正，这主要是针对对杂质识别的分类要求较为精细的场景，避免为降低计算量而绕过对封闭曲线的直接计算，采用目标矩形和像素计数的方式所带来的识别误差。尽管本实施例以尽可能对不同的电子显微镜照片采用适配的分割模型，但仍然可能存在分割模型的不够适配导致的误差。故而，包括矫正过程的实施例并非针对长宽比或面积进行多次计算后的矫正，而是针对获得长宽比或面积的作为轮廓的封闭曲线进行矫正，尽管其会牺牲一部分计算效率，但能够更好的避免由于可能出现的分割模型未能适配带来的泛化性不足的问题。
可以理解的是，为矫正杂质特征所设置的针对封闭曲线的计算，可与计算长宽比及面积的计算线程并行，从而提高电子显微镜照片中的杂质的识别效率。
所述矫正杂质特征的方法包括：
通过改变加速电压获得针对同一区域的多张所述电子显微镜照片。如上文所述，加速电压的高低可以导致电子显微镜照片对比度、分辨率和深度等维度的差异。较高的加速电压会产生更高能量的主束电子，从而增加深入样品的能力。故而，较高的加速电压能够提供更好的分辨率，但可能牺牲了表面敏感性。改变加速电压使得针对同一区域拍摄获得的电子显微镜照片，能够获得多张不同程度的分辨率、适应样品深度、适应样品表面敏感性的电子显微镜照片多组组合。
对多张所述电子显微镜照片采用匹配所述电子显微镜照片的放大倍数和加速电压的不同的分割模型。
根据所述不同的分割模型获得针对同一区域的多张所述电子显微镜照片的杂质的轮廓，获得所述矫正轮廓。
根据所述杂质的所述矫正轮廓，确定所述杂质的矫正杂质特征。
具体的，所述根据所述不同的分割模型获得针对同一区域的多张所述电子显微镜照片的杂质的轮廓，获得所述矫正轮廓包括：
确定每一张所述电子显微镜照片的轮廓上的点的坐标。
计算每一个坐标在所有所述电子显微镜照片上的权重坐标。由于每个样品的深度和对表面敏感性的要求不同，可以根据各个样品的深度和对表面敏感性的要求，为不同的程度的分辨率、适应样品深度、适应样品表面敏感性的电子显微镜照片多组组合配置不同权重。本实施例不对上述权重的具体数值进行限定。
基于权重坐标形成所述矫正轮廓。
本实施例提供的所述电子显微镜照片中的杂质识别方法包括多个深度学习模型的级联，所述多个深度学习模型的级联包括：所述识别所述电子显微镜照片的放大比例的特征检测模型级联所述分割模型；所述特征检测模型与所述分割模型为深度学习模型；所述分割模型级联所述确定杂质分布的判断模型；所述判断模型为深度学习模型。
在一些实施例中，在所述确定所述杂质之后确定杂质分布；所述确定杂质分布包括：
将所述电子显微镜照片分解为多个子区域；
统计每个所述子区域的不同类别的杂质数量；
统计每个所述子区域的指定类别的杂质的面积的和；
定位每个所述子区域的指定类别的杂质位置。
综上，本实施例提供的电子显微镜照片中的杂质识别方法，通过识别电子显微镜照片的参数，匹配适配其参数的杂质的分割模型，提高电子显微镜照片中杂质的识别的泛化性及准确性。此外，本实施例设计影响待测样品关键因素的杂质特征作为杂质的分类依据，快速准确的对杂质进行分类，为后续的样品的判断提供准确有效的数据基础。
前面是对本发明提供的一种电子显微镜照片中的杂质识别方法的具体介绍，与前述一种电子显微镜照片中的杂质识别方法相对应，下面介绍本发明提供的一种电子显微镜照片中的杂质识别的装置。
图5为本发明一示例性实施例提供的一种电子显微镜照片中的杂质识别装置的框图。
请参照图5，本发明第二实施例提供的一种电子显微镜照片中的杂质识别装置，包括：
参数确定单元501，所述参数确定单元被配置为识别所述电子显微镜照片的放大比例，或识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压。
分割模型确定单元502，所述分割模型确定单元被配置为根据所述放大比例，或，根据所述放大比例及获得所述电子显微镜照片的加速电压，确定识别所述电子显微镜照片中的杂质的分割模型；
轮廓分割单元503，所述轮廓分割单元被配置为根据所述分割模型，分割所述电子显微镜照片中的所述杂质，确定所述电子显微镜照片中的杂质的轮廓；
杂质特征识别单元504，所述杂质特征识别单元被配置为根据所述杂质的所述轮廓，确定所述杂质的杂质特征；所述杂质特征包括：所述杂质的杂质长宽比、所述杂质的杂质面积；
杂质确定单元505，所述杂质确定单元被配置为根据所述杂质特征，确定所述杂质的类型。
本实施例的装置，可用于执行图1所示方法实施例的电子显微镜照片中的杂质识别方法的技术方案，其实现原理和技术效果类似，此处不再赘述。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种电子显微镜照片中的杂质识别方法，其特征在于，包括：
识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压；
根据所述放大比例及获得所述电子显微镜照片的加速电压，确定识别所述电子显微镜照片中的杂质的分割模型；
通过放大比例确定分割模型后，根据不同的加速电压的电子显微镜照片对分割模型进行进一步训练，形成对应不同加速电压的同一放大倍率确定的分割模型下的多个子模型；
根据所述分割模型，分割所述电子显微镜照片中的所述杂质，确定所述电子显微镜照片中的杂质的轮廓；
根据所述杂质的所述轮廓，确定所述杂质的杂质特征；所述杂质特征包括：所述杂质的杂质长宽比、所述杂质的杂质面积；
根据所述杂质特征，确定所述杂质的类型；
所述根据所述放大比例，确定分割模型包括：
建立多个所述放大比例与多个所述分割模型之间的映射关系；多个所述分割模型具有不完全相同的特征层的数量、卷积核的尺寸、归一化层，以及注意力机制；
根据所述映射关系，确定识别所述电子显微镜照片的放大比例对应采用的所述分割模型。
2.根据权利要求1所述的电子显微镜照片中的杂质识别方法，其特征在于，根据所述杂质的所述轮廓，确定所述杂质长宽比包括：
根据所述杂质的所述轮廓，确定四个边内侧均与所述轮廓接触的目标矩形；所述目标矩形为四个边内侧均与所述轮廓接触的目标矩形中，面积最小的矩形；
确定所述目标矩形的四个顶点坐标；
根据四个所述顶点坐标，确定所述杂质长宽比。
3.根据权利要求1所述的电子显微镜照片中的杂质识别方法，其特征在于，根据所述杂质的所述轮廓，确定所述杂质面积包括：
将所述电子显微镜照片配置为白色像素，将所述杂质轮廓配置为黑色像素；
填充所述杂质轮廓内的像素为黑色像素；
统计所述黑色像素的数量；
根据所述黑色像素的尺寸与所述电子显微镜照片尺寸的比例，所述电子显微镜照片尺寸与所述放大比例，确定所述杂质的面积。
4.根据权利要求1所述的电子显微镜照片中的杂质识别方法，其特征在于，所述电子显微镜照片中的杂质识别方法还包括：矫正所述杂质特征，获得矫正杂质特征；
所述矫正杂质特征的方法包括：
通过改变加速电压获得针对同一区域的多张所述电子显微镜照片；
对多张所述电子显微镜照片采用匹配所述电子显微镜照片的放大倍数和加速电压的不同的分割模型；
根据所述不同的分割模型获得针对同一区域的多张所述电子显微镜照片的杂质的轮廓，获得所述矫正轮廓；
根据所述杂质的所述矫正轮廓，确定所述杂质的矫正杂质特征。
5.根据权利要求4所述的电子显微镜照片中的杂质识别方法，其特征在于，所述根据所述不同的分割模型获得针对同一区域的多张所述电子显微镜照片的杂质的轮廓，获得所述矫正轮廓包括：
确定每一张所述电子显微镜照片的轮廓上的点的坐标；
计算每一个坐标在所有所述电子显微镜照片上的权重坐标；
基于权重坐标形成所述矫正轮廓。
6.根据权利要求1所述的电子显微镜照片中的杂质识别方法，其特征在于，所述电子显微镜照片中的杂质识别方法还包括：
统一所述电子显微镜照片具有相同的尺寸，使得所述电子显微镜照片在对应所述电子显微镜照片的放大比例下，适应所述分割模型。
7.根据权利要求1所述的电子显微镜照片中的杂质识别方法，其特征在于，所述电子显微镜照片中的杂质识别方法还包括，在所述确定所述杂质之后确定杂质分布；所述确定杂质分布包括：
将所述电子显微镜照片分解为多个子区域；
统计每个所述子区域的不同类别的杂质数量；
统计每个所述子区域的指定类别的杂质的面积的和；
定位每个所述子区域的指定类别的杂质位置。
8.根据权利要求7所述的电子显微镜照片中的杂质识别方法，其特征在于，所述电子显微镜照片中的杂质识别方法包括多个深度学习模型的级联，所述多个深度学习模型的级联包括：
所述识别所述电子显微镜照片的放大比例的特征检测模型级联所述分割模型；所述特征检测模型与所述分割模型为深度学习模型；
所述分割模型级联所述确定杂质分布的判断模型；所述判断模型为深度学习模型。
9.一种电子显微镜照片中的杂质识别装置，其特征在于，包括：
参数确定单元，所述参数确定单元被配置为识别所述电子显微镜照片的放大比例，或识别所述电子显微镜照片的放大比例及获得所述电子显微镜照片的加速电压；
分割模型确定单元，所述分割模型确定单元被配置为根据所述放大比例及获得所述电子显微镜照片的加速电压，确定识别所述电子显微镜照片中的杂质的分割模型；
轮廓分割单元，所述轮廓分割单元被配置为根据所述分割模型，分割所述电子显微镜照片中的所述杂质，确定所述电子显微镜照片中的杂质的轮廓；
杂质特征识别单元，所述杂质特征识别单元被配置为根据所述杂质的所述轮廓，确定所述杂质的杂质特征；所述杂质特征包括：所述杂质的杂质长宽比、所述杂质的杂质面积；
杂质确定单元，所述杂质确定单元被配置为根据所述杂质特征，确定所述杂质的类型；
所述分割模型的确定方法包括：
将加速电压的微调特征嵌入放大比例确定的分割模型；
通过放大比例确定分割模型后，根据不同的加速电压的电子显微镜照片对分割模型进行进一步训练，形成对应不同加速电压的同一放大倍率确定的分割模型下的多个子模型；
所述根据所述放大比例，确定分割模型包括：
建立多个所述放大比例与多个所述分割模型之间的映射关系；多个所述分割模型具有不完全相同的特征层的数量、卷积核的尺寸、归一化层，以及注意力机制；
根据所述映射关系，确定识别所述电子显微镜照片的放大比例对应采用的所述分割模型。
CN202311292901.8A 2023-10-08 2023-10-08 一种电子显微镜照片中的杂质识别方法及装置 Active CN117011550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311292901.8A CN117011550B (zh) 2023-10-08 2023-10-08 一种电子显微镜照片中的杂质识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311292901.8A CN117011550B (zh) 2023-10-08 2023-10-08 一种电子显微镜照片中的杂质识别方法及装置

Publications (2)

Publication Number Publication Date
CN117011550A CN117011550A (zh) 2023-11-07
CN117011550B true CN117011550B (zh) 2024-01-30

Family

ID=88574791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311292901.8A Active CN117011550B (zh) 2023-10-08 2023-10-08 一种电子显微镜照片中的杂质识别方法及装置

Country Status (1)

Country Link
CN (1) CN117011550B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877074A (zh) * 2009-11-23 2010-11-03 常州达奇信息科技有限公司 基于多元特征的结核杆菌目标识别计数算法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106918594A (zh) * 2015-12-25 2017-07-04 济南大学 一种在线分析籽棉色特征和杂质的方法
CN107154048A (zh) * 2017-05-09 2017-09-12 中国科学院遥感与数字地球研究所 一种脉冲耦合神经网络模型的遥感图像分割方法及装置
CN108961251A (zh) * 2018-07-24 2018-12-07 武汉纺织大学 一种原棉疵点及杂质检测与识别方法及系统
CN110363745A (zh) * 2019-06-11 2019-10-22 深圳市智影医疗科技有限公司 一种荧光显微图像的杆菌识别方法、装置及终端设备
CN111028237A (zh) * 2019-11-26 2020-04-17 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN111325263A (zh) * 2020-02-14 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、智能显微镜、可读存储介质和设备
CN111462087A (zh) * 2020-04-01 2020-07-28 腾讯科技（深圳）有限公司 基于人工智能的图像检测方法、装置、系统及存储介质
CN111814771A (zh) * 2020-09-04 2020-10-23 支付宝(杭州)信息技术有限公司 图像处理的方法及装置
CN112396621A (zh) * 2020-11-19 2021-02-23 之江实验室 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法
CN115546207A (zh) * 2022-11-24 2022-12-30 杭州市富阳区科源食药质量安全工程研究院 杂质的快速检测方法、计算设备和存储介质
CN115760957A (zh) * 2022-11-16 2023-03-07 北京工业大学 三维电子显微镜细胞核内物质分析方法
CN115829980A (zh) * 2022-12-13 2023-03-21 深圳核韬科技有限公司 一种眼底照片的图像识别方法、装置、设备及存储介质
CN116416381A (zh) * 2023-03-31 2023-07-11 脉得智能科技(无锡)有限公司 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质
CN116579988A (zh) * 2023-04-18 2023-08-11 山西中医药大学 一种基于渐进式融合网络的脑卒中病灶分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282208B2 (en) * 2018-12-24 2022-03-22 Adobe Inc. Identifying target objects using scale-diverse segmentation neural networks
CN113362331A (zh) * 2020-03-04 2021-09-07 阿里巴巴集团控股有限公司 图像分割方法、装置、电子设备及计算机存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877074A (zh) * 2009-11-23 2010-11-03 常州达奇信息科技有限公司 基于多元特征的结核杆菌目标识别计数算法
CN106918594A (zh) * 2015-12-25 2017-07-04 济南大学 一种在线分析籽棉色特征和杂质的方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN107154048A (zh) * 2017-05-09 2017-09-12 中国科学院遥感与数字地球研究所 一种脉冲耦合神经网络模型的遥感图像分割方法及装置
CN108961251A (zh) * 2018-07-24 2018-12-07 武汉纺织大学 一种原棉疵点及杂质检测与识别方法及系统
CN110363745A (zh) * 2019-06-11 2019-10-22 深圳市智影医疗科技有限公司 一种荧光显微图像的杆菌识别方法、装置及终端设备
CN111028237A (zh) * 2019-11-26 2020-04-17 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN111325263A (zh) * 2020-02-14 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、智能显微镜、可读存储介质和设备
CN111462087A (zh) * 2020-04-01 2020-07-28 腾讯科技（深圳）有限公司 基于人工智能的图像检测方法、装置、系统及存储介质
CN111814771A (zh) * 2020-09-04 2020-10-23 支付宝(杭州)信息技术有限公司 图像处理的方法及装置
CN112396621A (zh) * 2020-11-19 2021-02-23 之江实验室 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法
CN115760957A (zh) * 2022-11-16 2023-03-07 北京工业大学 三维电子显微镜细胞核内物质分析方法
CN115546207A (zh) * 2022-11-24 2022-12-30 杭州市富阳区科源食药质量安全工程研究院 杂质的快速检测方法、计算设备和存储介质
CN115829980A (zh) * 2022-12-13 2023-03-21 深圳核韬科技有限公司 一种眼底照片的图像识别方法、装置、设备及存储介质
CN116416381A (zh) * 2023-03-31 2023-07-11 脉得智能科技(无锡)有限公司 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质
CN116579988A (zh) * 2023-04-18 2023-08-11 山西中医药大学 一种基于渐进式融合网络的脑卒中病灶分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HMRNet: High and Multi-Resolution Network With Bidirectional Feature Calibration for Brain Structure Segmentation in Radiotherapy;H. Fu et al;《 IEEE Journal of Biomedical and Health Informatics》;4519-4529 *
ICNet for Real-Time Semantic Segmentation on High-Resolution Images;Hengshuang Zhao et al;《arXiv:1704.08545v2》;第3.2节、图2 *
基于改进BiSeNet的语义分割算法;鹿鑫等;《传感器与微系统》;第42卷(第7期);136-139 *
方志军等.《TensorFlow应用案例教程》.2020,181-184. *

Also Published As

Publication number Publication date
CN117011550A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN111028213B (zh) 图像缺陷检测方法、装置、电子设备及存储介质
CN111260731B (zh) 一种棋盘格亚像素级角点自适应检测的方法
CN108764257B (zh) 一种多视角的指针式仪表识别方法
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
KR20200026110A (ko) 패턴 검사 시스템
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
CN108550125A (zh) 一种基于深度学习的光学畸变修正方法
CN113470562B (zh) 一种基于成像亮度计的oled屏幕子像素亮度提取方法
CN111369605B (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN116559183B (zh) 一种提高缺陷判定效率的方法及系统
CN109285192A (zh) 全息系统的双目摄像标定方法
CN112381751A (zh) 一种基于图像处理算法的在线智能检测系统及方法
CN116228780A (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN115457551A (zh) 适用于小样本条件的叶片损伤识别方法
CN117011550B (zh) 一种电子显微镜照片中的杂质识别方法及装置
CN110751690B (zh) 铣床刀头视觉定位方法
CN112164055A (zh) 一种基于颜色分割的光伏电池色差分类方法
CN115222652A (zh) 一种成捆钢筋端面的识别计数及中心定位方法与其存储器
CN113223098B (zh) 图像颜色分类的预处理优化方法
CN110689586A (zh) 中医智能舌诊中的舌像识别方法和用于该方法的便携式校正色卡
CN112991211A (zh) 一种工业相机暗角校正方法
CN114387232A (zh) 一种晶圆圆心定位、晶圆缺口定位及晶圆定位校准方法
CN114511894A (zh) 瞳孔中心坐标的获取系统及获取方法
CN111260625A (zh) 胶印大张图像检测区域的自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant