CN111709908B - 一种基于深度学习的氦泡分割计数方法 - Google Patents

一种基于深度学习的氦泡分割计数方法 Download PDF

Info

Publication number
CN111709908B
CN111709908B CN202010386872.1A CN202010386872A CN111709908B CN 111709908 B CN111709908 B CN 111709908B CN 202010386872 A CN202010386872 A CN 202010386872A CN 111709908 B CN111709908 B CN 111709908B
Authority
CN
China
Prior art keywords
helium
image
helium bubble
segmentation
bubble
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010386872.1A
Other languages
English (en)
Other versions
CN111709908A (zh
Inventor
孙九爱
吴忠航
张地大
朱天宝
林俊
刘仁多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Medicine and Health Sciences
Original Assignee
Shanghai University of Medicine and Health Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Medicine and Health Sciences filed Critical Shanghai University of Medicine and Health Sciences
Priority to CN202010386872.1A priority Critical patent/CN111709908B/zh
Publication of CN111709908A publication Critical patent/CN111709908A/zh
Application granted granted Critical
Publication of CN111709908B publication Critical patent/CN111709908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明涉及一种基于深度学习的氦泡分割计数方法,通过获取包含氦泡的单张图像,采用深度学习的全卷积神经网络,将图像分割为氦泡区域和非氦泡区域,并实现氦泡自动计数。与现有技术相比,本发明提高了合金氦泡的识别准确率和计数效率,可降低人工识别产生的人为计数误差,大幅节省分析人员工作时间。同时,该方法能够处理形态各异的不同演化时期的氦泡图像,并能克服成像过程中光照条件不均匀和尺度不一致等问题,实现更加可靠的氦泡识别和计数分析。该方法还可以根据用户的特定需求对所获取的TEM图像进行氦泡形态和尺寸等进行统计分析,极大提升了透射电镜在材料辐照性能方面的研究能力。

Description

一种基于深度学习的氦泡分割计数方法
技术领域
本发明涉及一种图像识别方法,尤其是涉及一种基于深度学习的氦泡分割计数方法。
背景技术
镍基合金因为其优异的耐熔盐腐蚀性及良好的高温力学性能成为熔盐堆结构材料的潜力候选者,而该材料在熔盐堆内受到中子和其它射线的辐照会发生高温氦脆现象,这是影响其在堆内服役性能的主要问题之一。这种高温氦脆主要是由于辐照产生的氦在合金晶界处聚集形成氦泡,晶界处氦泡的不断演变长大导致材料极其容易发生晶间断裂。例如在熔盐堆运行的高温条件下,慢中子与镍基合金中的10B发生(n,α)反应,快中子与合金中的Ni、Fe等核素发生(n,α)反应,都会使合金材料在产生材料缺陷的同时产生He。这些He原子在应力作用下,迁移到晶界并聚集形成空洞或氦泡,引起材料晶间断裂致使其延展性大大降低。
氦脆行为严重影响金属的抗拉性能、蠕变性能以及缩短材料的疲劳寿命。因此在材料制备过程中需要准确了解氦泡在材料中的形成与生长演化机制,评估高温辐照后氦泡的演化对材料硬化程度的贡献。而研究氦泡的生长演化及其对材料辐照硬化的贡献都需要统计氦泡的形态、尺寸、及密度分布。因此,对氦泡进行准确统计是对材料辐照硬化研究结果定量化中重要的一环。目前,镍基材料在高温辐照后的氦脆现象,通常采用透射电子显微镜(TEM)换焦观测法进行识别和确认:当TEM处于“欠焦”状态下,氦泡在获取的数字图像中显示为白色斑点,当TEM处于“过焦”条件下,氦泡在图像中的同样位置显示为黑色斑点。
目前,TEM数字图片中氦泡的识别和计数,普遍采用的方法是使用Nano Measurer或IPP软件,将数字图像导入软件,进行人工手动标记和软件自动标注。人工手动标记方法需要标注人员具备一定的先验知识,能够根据TEM的过欠焦影像特性辨别氦泡及氦泡的重叠,不同的标注人员标注产生的结果往往都不一样,因此人工手动标记存在很大的主观性和不一致性,且人工标注和统计非常耗时,不适合大规模的氦泡识别和数据统计分析。虽然已有的软件自动标注方法利用图像处理技术分析TEM图像,通过划分氦泡与非氦泡区域氦泡的个数及其尺寸的自动计算,提高了氦泡计数的效率,但实际中氦泡与非氦泡区域的差异性很小,且图像中非氦泡区域象素的背景灰度值分布不均,因此基于传统图像处理技术的氦泡与非氦泡区域的识别划分很困难,导致使用者往往更加愿意采用人工标注的方法进行氦泡的计数和分析。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种不受成像条件限制,能对不同尺度TEM图像进行的基于深度学习的氦泡分割计数方法。
本发明的目的可以通过以下技术方案来实现:
一种基于深度学习的氦泡分割计数方法,包括:获取包含氦泡的单张图像,采用深度学习的全卷积神经网络,将图像分割为氦泡区域和非氦泡区域,并实现氦泡自动计数。
进一步的,所述的全卷积神经网络包括卷积层、池化层和反卷积层,训练样本包括原始图像和分割标注图像,所述的分割标注图像将原始图像分为氦泡区域和非氦泡区域。
进一步的,所述的卷积层采用尺寸大小为n×n像素的卷积核与原始图像中的局部数据进行加权求和运算,直到卷积完所有的输入数据。
进一步的,所述的n为奇数,奇数大小的卷积核(矩阵)是对称的,方便设计各种算法,在处理图像时能够对等的遍历所有像素。
进一步的,所述的池化层采用最大池化法,所述的反卷积层采用上采样方法,将经过卷积和池化层后缩减的图像还原到原始图像的大小。
进一步的,训练前,将原始图像和分割标注图像通过旋转、平移和变形进行数据增强,从而增加数据库中包含样本的数量。
进一步的,图像分割过程中,采用最小二乘法进行多项式曲线拟合,获得光滑的氦泡边缘。
进一步的,该方法还包括:结合用户特定的统计分析需求,实现氦泡统计分析。
进一步的,所述的统计分析包括:将氦泡数量、形态特征和分布特征,采用排序和聚类进行统计分析。
进一步的,所述的原始图像为使用透射电子显微镜方法获取的TEM数字图像,图像的尺寸不固定。
与现有技术相比,本发明具有以下优点:
(1)本发明的深度全卷积分割网络基于大数据和各种条件下的氦泡特征提取,比传统的图像分割方法更有效,应用中仅需将待分割图像输入网络就可一次性获得与原图大小相对应的分割和计数结果。
(2)本发明中的氦泡区域分割方法,可以采用数据量相对较小的数据库,通过深度全卷积神经网络学习必要的特征,用于氦泡区域的分类判别和分割,这是从图像到图像的基于像素点分类的深度学习网络结构模型,在保证了图像的分割精度的同时,也具有较快的分割速度。
(3)与传统氦泡分割方法相比,本发明仅需通过一次前向运算即可完成对一幅完整图像的分割,处理效果高于目前其他传统的图像处理技术水平,为自动氦泡计数的实现提供了技术保障。
(4)深度神经网络能够在训练过程中学习到氦泡图像的各种变形(包括光照条件导致的图像亮度分布不均),处理形态各异的不同演化时期的氦泡图像,同时该全卷积神经网络是按图像块进行处理,所以对图像的大小和尺度没有限制,克服成像过程中光照条件不均匀和尺度不一致等问题,实现更加可靠的氦泡识别和计数分析。
(5)本发明让用户在材料分析过程中,通过深度学习的方法,方便且直观地观察到氦泡的分割计数的效果,还可以根据用户的特定需求对所获取的TEM图像进行氦泡形态和尺寸等进行统计分析,极大提升了透射电镜在材料辐照性能方面的研究能力。
(6)本发明实现方法准确、高效、经济、可靠,便于广大用户使用和管理。
附图说明
图1为本实施例方法的流程图;
图2为本实施例全卷积神经网络的训练流程图;
图3为本实施例中氦泡分割计数效果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例
如图1所示,本发明提供的基于深度全卷积神经网络的氦泡分割方法,使用已有的各种复杂辐照条件下获取的包含氦泡的合金透射电子显微镜(TEM)图像及其对应的氦泡标注结果,训练形成有效的深度人工神经网络,并将训练好的网络用于分析高温电子辐照合金的TEM图像,实现对合金中氦泡的自动识别和准确计数分析。分析时,首先输入包含氦泡区域的TEM数字图像,利用训练好的深度全卷积神经网络对输入图像中的像素进行预测判别,最后得到氦泡区域的分割结果;在获得分割结果后,系统采用用户选择的统计方法,进行氦泡的计数和统计分析的目的。
为了获得用于氦泡区域分割的深度全卷积神经网络,首先需要采用大量的原始图像和分割标注结果,训练获得有效的神经网络,并保存该网络系统的结构和权重系数,作为氦泡自动计数系统的一个重要组成部分。为了训练形成可靠的氦泡区域分割算法,可以通过下述步骤:
步骤1:收集包含氦泡的TEM数字图像,形成原始氦泡图像数据库。对图像中的氦泡区域进行手工分割标注,得到包含划定氦泡/非氦泡区域的训练目标图像,并由此形成对应原始图像的分割目标数据库;
步骤2:对所述收集整理的原始图像数据库和分割目标数据库通过旋转和平移等图像处理技术进行数据增强,增加训练数据库包含的图像数量;
步骤3:将增强后的数据库分成训练和校验两组数据,利用训练组图像训练形成网络,利用校验组数据验证网络的运行精度;
步骤4:在深度全卷积神经网络训练完成后,保存该网络系统的权重系数,形成从原始图像直接抽取氦泡区域的高效深度学习网络。此网络作为氦泡自动计数系统的重要组成部分,负责从图像中分割获得氦泡区域。
深度全卷积神经网络包含有卷积层、池化层、反卷积上采样层;卷积层是在图像上使用滑动卷积窗口与输入原始图像中的局部数据进行加权求和运算,直到卷积完所有的输入数据;池化层采用最大池化法;反卷积层通过上采样的方法将经过卷积和池化层后缩减的图像还原为原始图像的大小;
通过训练好的深度全卷积神经网络分割包含氦泡的图像获得分割结果,其边缘可以最小二乘法多项式曲线进行拟合,获得光滑的氦泡边缘;
该氦泡自动识别计数和分析系统具有图像采集﹑氦泡分割、氦泡计数、统计分析和结果输出等功能。
下面通过具体实例对本发明方法及技术效果进行说明。
步骤一:收集包含氦泡的TEM数字图像构成供训练和测试用的氦泡图像数据库,该数据库共有1000张不同材料在各个演变过程中尺度大小不同的氦泡图像。
步骤二:通过数据增强(平移,旋转,变形)技术,将1000张图像扩展形成10000张图像。在后续的训练过程中,采用交叉验证的方法将10000组图像进行分组训练和验证。
步骤三:首先对原始图像各个通道进行减均值等预处理操作,并将原始氦泡图像作为全卷积神经网络的输入,将分割标注的图像作为目标图像,对搭建的全卷积神经网络进行训练和验证。其中,数据预处理包括数据收集和标注、数据增强、数据均值和归一化处理。
步骤四:构建用于图像分割的深度全卷积神经网络,主要由卷积层、池化层、反卷积层和损失函数构成,如图2所示。网络中的卷积层由多个卷积层和ReLU激活函数组成。池化层作用于每个阶段的卷积层,用于缩减特征图的尺寸,以实现随着网络深度的增加信息逐渐抽象化的目的。最后一个反卷积层输出像素点属于各类别的置信度,选择置信度最高的作为预测值。
步骤五:在深度全卷积神经网络训练完成后,将以网络结构和权重的形式嵌入到氦泡自动识别计数和分析系统中,接收原始图像,输出分割的氦泡区域。
步骤六:如图3所示,根据用户在材料物理特性分析中的具体需求,通过深度学习的方法,方便且直观地显示和分析氦泡的自动分割计数结果。
本实施例采用深度学习方法处理包含氦泡的TEM图像,并根据用户需求完成氦泡的自动识别计数与统计分析。该方法可以克服照明条件和成像放大倍率不同造成的传统氦泡自动计数的困难,提高了氦泡计数方法的效率和准确率。

Claims (8)

1.一种基于深度学习的氦泡分割计数方法,其特征在于,包括:获取包含氦泡的单张图像,采用深度学习的全卷积神经网络,将图像分割为氦泡区域和非氦泡区域,并实现氦泡自动计数;
所述全卷积神经网络包括卷积层、池化层和反卷积层,训练样本包括原始图像和分割标注图像,所述的分割标注图像将原始图像分为氦泡区域和非氦泡区域;
在对全卷积神经网络进行训练时,对原始图像各个通道进行减均值预处理操作,并将原始氦泡图像作为全卷积神经网络的输入,将分割标注的图像作为目标图像,对搭建的全卷积神经网络进行训练和验证;
分析时,输入包含氦泡区域的TEM数字图像,利用训练好的深度全卷积神经网络对输入图像中的像素进行预测判别,最后得到氦泡区域的分割结果;在获得分割结果后,系统采用用户选择的统计方法,进行氦泡的计数和统计分析的目的;其中,图像分割过程中,采用最小二乘法进行多项式曲线拟合,获得光滑的氦泡边缘。
2.根据权利要求1所述的一种基于深度学习的氦泡分割计数方法,其特征在于,所述的卷积层采用尺寸大小为n×n像素的卷积核与原始图像中的局部数据进行加权求和运算,直到卷积完所有的输入数据。
3.根据权利要求2所述的一种基于深度学习的氦泡分割计数方法,其特征在于,所述的n为奇数。
4.根据权利要求1所述的一种基于深度学习的氦泡分割计数方法,其特征在于,所述的池化层采用最大池化法,所述的反卷积层采用上采样方法,将经过卷积和池化层后缩减的图像还原到原始图像的大小。
5.根据权利要求1所述的一种基于深度学习的氦泡分割计数方法,其特征在于,训练前,将原始图像和分割标注图像通过旋转、平移和变形进行数据增强,从而增加数据库中包含样本的数量。
6.根据权利要求1所述的一种基于深度学习的氦泡分割计数方法,其特征在于,该方法还包括:结合用户特定的统计分析需求,实现氦泡统计分析。
7.根据权利要求6所述的一种基于深度学习的氦泡分割计数方法,其特征在于,所述的统计分析包括:将氦泡数量、形态特征和分布特征,采用排序和聚类进行统计分析。
8.根据权利要求1所述的一种基于深度学习的氦泡分割计数方法,其特征在于,所述的原始图像为使用透射电子显微镜方法获取的TEM数字图像,图像的尺寸不固定。
CN202010386872.1A 2020-05-09 2020-05-09 一种基于深度学习的氦泡分割计数方法 Active CN111709908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010386872.1A CN111709908B (zh) 2020-05-09 2020-05-09 一种基于深度学习的氦泡分割计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386872.1A CN111709908B (zh) 2020-05-09 2020-05-09 一种基于深度学习的氦泡分割计数方法

Publications (2)

Publication Number Publication Date
CN111709908A CN111709908A (zh) 2020-09-25
CN111709908B true CN111709908B (zh) 2024-03-26

Family

ID=72536897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386872.1A Active CN111709908B (zh) 2020-05-09 2020-05-09 一种基于深度学习的氦泡分割计数方法

Country Status (1)

Country Link
CN (1) CN111709908B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法
CN107679503A (zh) * 2017-10-12 2018-02-09 中科视拓(北京)科技有限公司 一种基于深度学习的人群计数算法
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN108921822A (zh) * 2018-06-04 2018-11-30 中国科学技术大学 基于卷积神经网络的图像目标计数方法
CN109360193A (zh) * 2018-09-27 2019-02-19 北京基石生命科技有限公司 一种基于深度学习的原代肿瘤细胞分割识别方法及系统
CN109598733A (zh) * 2017-12-31 2019-04-09 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
WO2019178561A2 (en) * 2018-03-16 2019-09-19 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Using machine learning and/or neural networks to validate stem cells and their derivatives for use in cell therapy, drug discovery, and diagnostics
CN110647874A (zh) * 2019-11-28 2020-01-03 北京小蝇科技有限责任公司 一种端到端的血细胞识别模型构造方法及应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN107679503A (zh) * 2017-10-12 2018-02-09 中科视拓(北京)科技有限公司 一种基于深度学习的人群计数算法
CN109598733A (zh) * 2017-12-31 2019-04-09 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
WO2019178561A2 (en) * 2018-03-16 2019-09-19 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Using machine learning and/or neural networks to validate stem cells and their derivatives for use in cell therapy, drug discovery, and diagnostics
CN108921822A (zh) * 2018-06-04 2018-11-30 中国科学技术大学 基于卷积神经网络的图像目标计数方法
CN109360193A (zh) * 2018-09-27 2019-02-19 北京基石生命科技有限公司 一种基于深度学习的原代肿瘤细胞分割识别方法及系统
CN110647874A (zh) * 2019-11-28 2020-01-03 北京小蝇科技有限责任公司 一种端到端的血细胞识别模型构造方法及应用

Also Published As

Publication number Publication date
CN111709908A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN111179273A (zh) 一种基于深度学习的白细胞核质自动分割方法及系统
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN112365471A (zh) 基于深度学习的宫颈癌细胞智能检测方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115601330A (zh) 一种基于多尺度空间反向注意力机制的结肠息肉分割方法
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN112435214B (zh) 基于先验框线性缩放的花粉检测方法、装置和电子设备
CN114092467A (zh) 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN112949723A (zh) 一种子宫内膜病理图像分类方法
CN111709908B (zh) 一种基于深度学习的氦泡分割计数方法
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
CN112784806A (zh) 一种基于全卷积神经网络的含锂伟晶岩脉提取方法
CN116152146A (zh) 一种基于gan和cnn的铸铝气缸盖力学性能预测方法
CN115423802A (zh) 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
CN115661071A (zh) 基于深度学习的复合材料加工表面缺陷检测及评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant