CN113743241B - 基于语义分割算法识别和量化电镜图像中纳米团聚的方法 - Google Patents

基于语义分割算法识别和量化电镜图像中纳米团聚的方法 Download PDF

Info

Publication number
CN113743241B
CN113743241B CN202110928153.2A CN202110928153A CN113743241B CN 113743241 B CN113743241 B CN 113743241B CN 202110928153 A CN202110928153 A CN 202110928153A CN 113743241 B CN113743241 B CN 113743241B
Authority
CN
China
Prior art keywords
agglomeration
nodes
pixel
image
electron microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110928153.2A
Other languages
English (en)
Other versions
CN113743241A (zh
Inventor
白玉
王岩
洪峰
张彦如
王鹏
陈维龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110928153.2A priority Critical patent/CN113743241B/zh
Publication of CN113743241A publication Critical patent/CN113743241A/zh
Application granted granted Critical
Publication of CN113743241B publication Critical patent/CN113743241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明提供一种基于语义分割算法识别和量化电镜图像中纳米团聚的方法，包括对电镜图像中纳米团聚的精准识别的步骤，以及对团聚程度进行量化的步骤。本发明采用了语义分方法对纳米电介质的扫描电镜图像进行处理，可以精准高效识别电镜图像中的纳米团聚，解决了现有方法中存在的电镜图像处理不充分、团聚识别不准确、方法效率低的问题。同时，本发明基于语义分割的结果设计了团聚精确量化的方案，解决了现有方法中团聚量化不准确的问题，这为进一步将团聚程度与材料特性建立关联提供了数据基础。

Description

基于语义分割算法识别和量化电镜图像中纳米团聚的方法
技术领域
本发明具体涉及一种基于语义分割算法识别和量化电镜图像中纳米团聚的方法。
背景技术
纳米电介质是一种以聚合物为基料加以填充的纳米复合材料，可以有效改善介电特性，被认为是未来最有潜力的电介质材料。将纳米填料均匀分散到聚合物中对于充分释放纳米电介质的潜力和改善电性能至关重要。然而，纳米填料的团聚导致纳米电介质性能的严重退化并降低实验结果的可复制性和一致性。因此，准确量化纳米电介质中的团聚的程度，对于纳米电介质团聚现象的研究和促进纳米电介质进一步发展有着非常重要的意义，也是当前研究的热点和难点。现有的团聚分析技术一般分为电子显微镜(简称“电镜”)图像处理和仿真建模两类。在电镜图像处理方法中，基于透视电子显微镜(TEM)图像的自由空间长度法和极化图指标法尝试指定纳米填料整体分布的量化标准，但TEM的实验过程复杂繁琐，实验成本高,且TEM的有效观测范围低于近些年发表的团聚尺寸，这会增加观测采样的随机性和主观性，从而导致最终实验结果较高的不确定性和不一致性。扫描电子显微镜(SEM)的观测范围在数百皮米至数百微米之间，可以用于分析团聚特征。但处理SEM图像较为常用的二值化处理方法误差较大，易受阈值及基料背景的影响，从而很难精确区分填料和基料，同时该方法需要人工调整不同图像的阈值，效率很低。在仿真建模类方法中，多数基于纳米填料的统计分布特性。一些方法通过仿真其统计分布来给出统计性计算结果；另一些方法利用k最近邻法等机器学习方法结合信息熵法来量化纳米填料的分布特性。然而，仿真建模类方法的计算主要是基于合成数据，尚未直接运用真实数据，因此其分析结果较难与材料特性建立直接关联。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于语义分割算法识别和量化电镜图像中纳米团聚的方法，该基于语义分割算法识别和量化电镜图像中纳米团聚的方法可以很好地解决上述问题。
为达到上述要求，本发明采取的技术方案是：提供一种基于语义分割算法识别和量化电镜图像中纳米团聚的方法，该基于语义分割算法识别和量化电镜图像中纳米团聚的方法包括：对电镜图像中纳米团聚的精准识别的步骤；以及，对团聚程度进行量化的步骤。
该基于语义分割算法识别和量化电镜图像中纳米团聚的方法具有的优点如下：
(1)本发明可以高效率处理电镜图像，基于卷积神经网络的语义分割模型可以对大量的SEM图像进行自动化且快速的处理，无需人为调控图像二值化阈值。
(2)本发明可以获得高精确度的团聚识别结果。卷积神经网络可以从多个维度学习SEM图像的特征，不易受单一的光照或基料特性的影响，能够获得精准识别出团聚，并获得非常好的分割效果。
(3)本发明可以精准量化SEM图像中的团聚数量和面积，可以为进一步联系材料特征实验提供有效的支撑。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示意性地示出了根据本申请一个实施例的基于语义分割算法识别和量化电镜图像中纳米团聚的方法中像素块裁剪的方法和大小示意图。
图2示意性地示出了根据本申请一个实施例的基于语义分割算法识别和量化电镜图像中纳米团聚的方法中SEM图像边缘镜像填充的示意图。
图3示意性地示出了根据本申请一个实施例的基于语义分割算法识别和量化电镜图像中纳米团聚的方法中卷积神经网络的结构图。
图4示意性地示出了根据本申请一个实施例的基于语义分割算法识别和量化电镜图像中纳米团聚的方法中SEM团聚识别过程的示意图。
图5示意性地示出了根据本申请一个实施例的基于语义分割算法识别和量化电镜图像中纳米团聚的方法中邻接图结点融合的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。
为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。
根据本申请的一个实施例，提供一种基于语义分割算法识别和量化电镜图像中纳米团聚的方法，如图1-5所示，分为对电镜图像中纳米团聚的精准识别和对团聚程度进行量化两个大的步骤。在团聚识别部分，本发明搭建了一个卷积神经网络，可以对预处理后的纳米电介质SEM图像进行语义分割，得到可以明显区分出图像中团聚和基料的分割图像。在量化部分，本发明利用了邻接图模型处理分割图像，能够精确计算团聚数量，面积等量化特征。
其中：团聚识别的步骤如下：
步骤S1：将SEM图像裁剪为像素块样本。以SEM图像中每个像素为中心，裁剪其周围25×25范围内的像素，构成一幅新的小图像，称之为像素块，像素块中心处的像素称之为中心像素。设定中心像素与像素块的类别相同，均为团聚或者基料两种类别。中心像素和像素块的裁剪方式如图1所示。由于边缘部分的像素作为中心像素时，其周围像素存在空缺，本发明对于图像的四边进行了镜像填充。图2展示了镜像填充的过程。
步骤S2：利用卷积神经网络将像素块分类。本发文设计的神经网络结构如图2所示。在该网络中，共有3个复合层和3个全连接层。其中，每个复合层中包含2个卷积层(卷积核尺寸为3×3，填充步长为1)和1个池化层(2×2范围最大值池化)。对于输入的25×25大小的像素块，网络的输出为团聚或基料两个维度的向量。本网络中，在最后一层全连接层使用softmax作为激活函数，其余层均使用RELU作为激活函数。
步骤S3：将模型分类后的像素块类别按其中心像素位置排列，拼接成分割图像。上述三个步骤的执行流程如图4所示。
分割图像的量化步骤如下：
步骤S4：将分割图像建模为一张区域邻接图。对于分割图中的每一个像素点，本发明将其看作一个结点，结点权重为分类结果(团聚：1；基料：0)，则分割图像对应的邻接图拥有与分割图像像素数量相同的结点个数。相邻结点之间均有边连接。边的权重根据边连接的两结点像素值是否相等进行设定，相等设为True，不相等设为Flase。本发明通过这一步将分割图像转化为一个带权邻接图模型。
步骤S5：邻接图结点融合。以边的权重为判断依据，进行结点间的合并操作，本发明定义这一过程为融合过程，如图5所示。将权重为True的边对应的两个原始结点进行合并，构成一个新的融合结点。融合结点的权重保持不变，并继承其两个父结点的所有相邻结点关系，同时记录融合结点内包含原始结点的个数。如此进行多次融合迭代，直到邻接图中所有相邻结点间边的权重均为Flase。
步骤S6：团聚个数统计及面积计算。经过步骤S5后，原始邻接图转化一个由多个融合结点构成的融合邻接图。在融合邻接图中，团聚个数为权重为1的融合结点个数。步骤S5中记录了融合结点内包含原始结点的个数，而每个原始结点对应于分割图像中的一个像素，因此，每个团聚的面积为其融合结点中原始结点个数与原始结点总个数的比值。
根据本申请的一个实施例，该基于语义分割算法识别和量化电镜图像中纳米团聚的方法，如图1为本发明实施例中像素块裁剪的方法和大小示意图。像素块大小为25×25，像素块中心为中心像素。
根据本申请的一个实施例，该基于语义分割算法识别和量化电镜图像中纳米团聚的方法采用了语义分割方法对纳米电介质的扫描电镜(SEM)图像进行处理，可以精准高效识别电镜图像中的纳米团聚，解决了现有方法中存在的电镜图像处理不充分、团聚识别不准确、方法效率低的问题。同时，本发明基于语义分割的结果设计了团聚精确量化的方案，解决了现有方法中团聚量化不准确的问题，这为进一步将团聚程度与材料特性建立关联提供了数据基础。
以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。

Claims (3)

1.一种基于语义分割算法识别和量化电镜图像中纳米团聚的方法，其特征在于，包括：
对电镜图像中纳米团聚的精准识别的步骤；
以及，对团聚程度进行量化的步骤；
所述电镜图像中纳米团聚的精准识别的步骤，具体包括：
S1：进行将SEM图像裁剪为像素块样本的步骤；
S2：进行利用卷积神经网络将像素块分类的步骤；
S3：进行模型分类后的像素块类别按其中心像素位置排列，拼接成分割图像的步骤；
所述对团聚程度进行量化的步骤，具体包括：
S4：进行将分割图像建模为一张区域邻接图的步骤；
S5：进行邻接图结点融合的步骤；
S6：进行团聚个数统计及面积计算的步骤；
所述将SEM图像裁剪为像素块样本的步骤具体包括：
以SEM图像中每个像素为中心，裁剪其周围25×25范围内的像素，构成一幅新的小图像，称之为像素块，像素块中心处的像素称之为中心像素；
设定中心像素与像素块的类别相同，均为团聚或者基料两种类别；
由于边缘部分的像素作为中心像素时，其周围像素存在空缺，对于图像的四边进行了镜像填充；
利用卷积神经网络将像素块分类的步骤具体包括：
在所述卷积神经网络中，共有3个复合层和3个全连接层，其中每个复合层中包含2个卷积层和1个池化层；
对于输入的25×25大小的像素块，网络的输出为团聚或基料两个维度的向量；
在最后一层全连接层使用softmax作为激活函数，其余层均使用RELU作为激活函数；
将分割图像建模为一张区域邻接图的步骤具体包括：
对于分割图中的每一个像素点，将其看作一个结点，结点权重为分类结果，则分割图像对应的邻接图拥有与分割图像像素数量相同的结点个数；
相邻结点之间均有边连接；
边的权重根据边连接的两结点像素值是否相等进行设定，相等设为True，不相等设为Flase；
通过上述步骤将分割图像转化为带权邻接图模型。
2.根据权利要求1所述的基于语义分割算法识别和量化电镜图像中纳米团聚的方法，其特征在于，邻接图结点融合的步骤具体包括：
以边的权重为判断依据，进行结点间的合并操作，并定义这一过程为融合过程；
将权重为True的边对应的两个原始结点进行合并，构成一个新的融合结点；
融合结点的权重保持不变，并继承其两个父结点的所有相邻结点关系，同时记录融合结点内包含原始结点的个数；
进行融合迭代，直到邻接图中所有相邻结点间边的权重均为Flase。
3.根据权利要求2所述的基于语义分割算法识别和量化电镜图像中纳米团聚的方法，其特征在于，团聚个数统计及面积计算的步骤具体包括：
经过步骤S5后，原始邻接图转化一个由多个融合结点构成的融合邻接图；
在融合邻接图中，团聚个数为权重为1的融合结点个数；
步骤S5中记录了融合结点内包含原始结点的个数，而每个原始结点对应于分割图像中的一个像素，因此每个团聚的面积为其融合结点中原始结点个数与原始结点总个数的比值。
CN202110928153.2A 2021-08-13 2021-08-13 基于语义分割算法识别和量化电镜图像中纳米团聚的方法 Active CN113743241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110928153.2A CN113743241B (zh) 2021-08-13 2021-08-13 基于语义分割算法识别和量化电镜图像中纳米团聚的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110928153.2A CN113743241B (zh) 2021-08-13 2021-08-13 基于语义分割算法识别和量化电镜图像中纳米团聚的方法

Publications (2)

Publication Number Publication Date
CN113743241A CN113743241A (zh) 2021-12-03
CN113743241B true CN113743241B (zh) 2023-07-11

Family

ID=78731002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110928153.2A Active CN113743241B (zh) 2021-08-13 2021-08-13 基于语义分割算法识别和量化电镜图像中纳米团聚的方法

Country Status (1)

Country Link
CN (1) CN113743241B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510262A (zh) * 2009-03-17 2009-08-19 江苏大学 一种钢中析出粒子的自动测量及其形态分类方法
WO2011000357A2 (de) * 2009-06-30 2011-01-06 Vascotec Gmbh Verfahren und vorrichtung zur deposition dünner schichten, insbesondere zur herstellung von multilayerschichten, nanoschichten, nanostrukturen und nanokompositen
CN103279433A (zh) * 2013-05-02 2013-09-04 昆明理工大学 一种表征颗粒团聚体的方法及装置
CN103377477A (zh) * 2013-06-27 2013-10-30 中国科学院遥感与数字地球研究所 一种高分辨率遥感影像多层次分割方法及系统
CN106778634A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种基于区域融合的显著性人体区域检测方法
CN112651440A (zh) * 2020-12-25 2021-04-13 陕西地建土地工程技术研究院有限责任公司 基于深度卷积神经网络的土壤有效团聚体分类识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510262A (zh) * 2009-03-17 2009-08-19 江苏大学 一种钢中析出粒子的自动测量及其形态分类方法
WO2011000357A2 (de) * 2009-06-30 2011-01-06 Vascotec Gmbh Verfahren und vorrichtung zur deposition dünner schichten, insbesondere zur herstellung von multilayerschichten, nanoschichten, nanostrukturen und nanokompositen
CN103279433A (zh) * 2013-05-02 2013-09-04 昆明理工大学 一种表征颗粒团聚体的方法及装置
CN103377477A (zh) * 2013-06-27 2013-10-30 中国科学院遥感与数字地球研究所 一种高分辨率遥感影像多层次分割方法及系统
CN106778634A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种基于区域融合的显著性人体区域检测方法
CN112651440A (zh) * 2020-12-25 2021-04-13 陕西地建土地工程技术研究院有限责任公司 基于深度卷积神经网络的土壤有效团聚体分类识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Yu Bai et al..Recognition of Nanocomposites Agglomeration in Scanning Electron Microscopy Image with Semantic Segmentation Algorithm.《2020 IEEE Conference on Electrical Insulation and Dielectric Phenomena (CEIDP)》.2021,374-377. *
白玉.基于语义分割的电镜图像处理及纳米团聚识别研究.《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》.2022,(第01期),B020-1177. *
金义富等.基于邻接图的离群数据聚类算法.《计算机工程》.2008,(第11期),72-73+76. *

Also Published As

Publication number Publication date
CN113743241A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN105631426B (zh) 对图片进行文本检测的方法及装置
CN111461068B (zh) 一种染色体中期图识别和分割方法
CN111062296B (zh) 一种基于计算机的白细胞自动识别分类方法
CN112396587B (zh) 一种基于协同训练和密度图的公交车厢内拥挤度检测方法
CN113313164A (zh) 一种基于超像素分割与图卷积的数字病理图像分类方法及系统
Lin et al. A SOM-based approach to estimating design hyetographs of ungauged sites
CN110766046A (zh) 一种双通道卷积神经网络集成学习的空气质量测量方法
CN110837865A (zh) 一种基于表示学习和迁移学习的领域适配方法
CN112257801B (zh) 图像的增量聚类方法、装置、电子设备及存储介质
CN110751191A (zh) 一种图像的分类方法及系统
CN115240024A (zh) 一种联合自监督学习和半监督学习的地外图片分割方法和系统
CN112991362A (zh) 一种基于混合高斯模型的色选机粘连物料图像分割方法
CN112926556A (zh) 一种基于语义分割的航拍输电线路散断股识别方法及系统
CN116012332A (zh) 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质
CN114915575A (zh) 一种基于人工智能的网络流量检测装置
CN113743241B (zh) 基于语义分割算法识别和量化电镜图像中纳米团聚的方法
CN109886303A (zh) 一种基于粒子群优化的TrAdaboost样本迁移航空影像分类方法
CN113221614A (zh) 一种基于混合神经网络的电网绝缘子破损图像识别方法
CN116304721A (zh) 基于数据类别的大数据治理中数据标准制定方法及系统
CN111159508A (zh) 一种基于算法多样性的异常检测算法集成方法及系统
CN116206158A (zh) 基于双超图神经网络的场景图像分类方法及系统
CN113012088A (zh) 一种电路板故障检测及孪生网络的训练方法、装置和设备
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN114511905A (zh) 一种基于图卷积神经网络的人脸聚类方法
CN115240271A (zh) 基于时空建模的视频行为识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant