CN112465838B - 陶瓷晶粒图像分割方法、系统、储存介质及计算机设备 - Google Patents

陶瓷晶粒图像分割方法、系统、储存介质及计算机设备 Download PDF

Info

Publication number
CN112465838B
CN112465838B CN202011436059.7A CN202011436059A CN112465838B CN 112465838 B CN112465838 B CN 112465838B CN 202011436059 A CN202011436059 A CN 202011436059A CN 112465838 B CN112465838 B CN 112465838B
Authority
CN
China
Prior art keywords
sub
decoding
coding
network
ceramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011436059.7A
Other languages
English (en)
Other versions
CN112465838A (zh
Inventor
杨铁军
蔡超丽
李纯纯
黄琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202011436059.7A priority Critical patent/CN112465838B/zh
Publication of CN112465838A publication Critical patent/CN112465838A/zh
Application granted granted Critical
Publication of CN112465838B publication Critical patent/CN112465838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明针对现有技术的应用过程过于复杂且难以复现的技术问题，提出了一种陶瓷晶粒图像分割方法、系统、储存介质及计算机设备，其通过基于编码‑解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间同时进行神经网络架构搜索，自动为陶瓷晶粒图像分割任务构建出能够融合深浅层特征并对特征图信息进行精细捕获的神经网络模型，其图像分割性能优越，且省去了原来复杂而繁琐的工作量，大幅提高了深度神经网络在陶瓷晶粒图像分割上的应用效率。

Description

陶瓷晶粒图像分割方法、系统、储存介质及计算机设备
技术领域
本发明涉及深度神经网络技术领域，具体涉及深度神经网络在图像分割上的应用，更具体地，涉及一种陶瓷晶粒图像分割方法、系统、储存介质及计算机设备。
背景技术
陶瓷材料是一种多晶体材料，可以广泛应用于生物医疗、民生、电子通讯和军工等多个领域。研究人员通常利用扫描电子显微镜(Scanning Electron Microscope,SEM)对陶瓷样品扫描成像，通过分析图像中晶粒的尺寸分布来评估陶瓷样品的性能。陶瓷材料的SEM图像如图1所示，主要由晶粒和晶界(即晶粒间的空隙)组成，晶粒主要包含了2种不同形状，请参阅图中箭头指向：圆柱状(实线标注部分)和板条状(虚线标注部分)。晶粒的形状、大小、数量和分布对陶瓷材料性能有着直接的影响，因此统计分析SEM图像中晶粒尺寸分布对陶瓷材料的研究和改进有重要的意义。
当前对陶瓷材料的SEM图像中的晶粒分析主要依靠人工手段，人工统计耗时耗力，效率低难度大；其次，晶粒形状不规则，对比度比较低，人工统计容易受到主观影响而导致统计结果出现偏差。而公开时间为2020-11-10，公开号为CN111915630A的中国申请专利：一种基于数据与模型联合驱动的陶瓷材料晶粒分割算法，提供了一种利用深度卷积神经网络进行图像分割的方法，通过图像分割完成对晶粒形状的分类处理。但是，这种依赖人为设置的神经网络架构在网络调参过程中需要当事者高度专业的神经网络知识和大强度的工作量，且这样得到模型基本难以复现，这都限制了其在陶瓷晶粒图像分割的性能和具体运用。
发明内容
针对现有技术的局限，本发明提出一种陶瓷晶粒图像分割方法、系统、储存介质及计算机设备，本发明采用的技术方案是：
一种陶瓷晶粒图像分割方法，包括以下步骤：
获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集；
基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间；所述编码空间包括编码子网络，所述解码空间包括解码子网络；
运用所述训练集以及验证集在所述编码空间以及解码空间进行神经网络架构搜索，得到预设的搜索次数内最佳的编码子网络以及解码子网络；
通过将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，构建基于编码-解码模型架构的卷积神经网络；
运用所述训练集对所述卷积神经网络进行训练得到分类器；
获取待处理的陶瓷扫描电子显微镜图像，运用所述分类器对所述陶瓷扫描电子显微镜图像进行陶瓷晶粒图像分割。
相较于现有技术，本发明通过基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间同时进行神经网络架构搜索，自动为陶瓷晶粒图像分割任务构建出能够融合深浅层特征并对特征图信息进行精细捕获的神经网络模型，其图像分割性能优越，且省去了原来复杂而繁琐的工作量，大幅提高了深度神经网络在陶瓷晶粒图像分割上的应用效率。
作为一种优选方案，在获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集的步骤中，包括以下步骤：
获取陶瓷扫描电子显微镜图像样本；
从所述陶瓷扫描电子显微镜图像样本中裁剪得到陶瓷晶粒图像样本；
对所述陶瓷晶粒图像样本中的板条状晶粒区域、圆柱状晶粒区域以及背景区域进行标注，生成对应的可视化标签；
以所述陶瓷晶粒图像样本及对应的可视化标签作为数据集；通过随机抽样方法将数据集划分为训练集以及验证集。
进一步的，在获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集的步骤中，还包括以下步骤：
以所述陶瓷晶粒图像样本及对应的可视化标签作为数据集；通过随机抽样方法将数据集划分为训练集以及验证集。
作为一种可选方案，在运用所述训练集以及验证集在所述编码空间以及解码空间进行神经网络架构搜索，得到预设的搜索次数内最佳的编码子网络以及解码子网络的步骤中通过循环执行以下步骤直至得到预设的搜索次数内最佳的编码子网络以及解码子网络：
运用基于循环神经网络的控制器，以预设的采样概率对所述编码空间的编码子网络以及解码空间的解码子网络进行搜索采样，生成对应的指令序列；
根据所述指令序列将相同数量的若干编码子网络以及解码子网络进行堆叠，构建子模型；
运用所述训练集对所述子模型进行训练，运用所述验证集对训练后的子模型进行测试得到验证精度；
根据所述验证精度，使用基于策略梯度的强化学习算法更新所述采样概率。
作为一种优选方案，在运用所述训练集对所述子模型进行训练，运用所述验证集对训练后的子模型进行测试得到验证精度的步骤中，对所述子模型进行训练的算法为随机梯度下降算法。
作为一种优选方案，在通过将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，构建基于编码-解码模型架构的卷积神经网络的步骤中到的所述基于编码-解码模型架构的卷积神经网络中，各编码子网络后端分别设有最大池化的下采样操作层，各解码子网络前端分别设有上采样操作层，所述下采样操作层用于生成所述编码子网络的输出的最大特征索引，所述上采样操作层用于将所述上采样操作层对称位置上的下采样操作层生成的最大特征索引与所述解码子网络的输入进行融合。
作为一种优选方案，所述子网络中包括若干用于进行数据操作的子块；步骤S04中得到的所述基于编码-解码模型架构的卷积神经网络中，所述编码子网络以及解码子网络的数量分别为五个，所述编码子网络以及解码子网络中子块的数量为四个。
本发明还提供以下内容：
一种陶瓷晶粒图像分割系统，包括数据集获取划分模块、搜索空间限定模块、神经网络架构搜索模块、卷积神经网络构建模块、分类器获取模块以及图像获取分割模块；所述神经网络架构搜索模块分别连接所述数据集获取划分模块以及搜索空间限定模块，所述卷积神经网络构建模块连接所述神经网络架构搜索模块，所述分类器获取模块分别连接所述数据集获取划分模块以及卷积神经网络构建模块，所述图像获取分割模块连接所述分类器获取模块；其中：
所述数据集获取划分模块用于获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集；
所述搜索空间限定模块用于基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间；所述编码空间包括编码子网络，所述解码空间包括解码子网络；
所述神经网络架构搜索模块用于运用所述训练集以及验证集在所述编码空间以及解码空间进行神经网络架构搜索，得到预设的搜索次数内最佳的编码子网络以及解码子网络；
所述卷积神经网络构建模块用于通过将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，构建基于编码-解码模型架构的卷积神经网络；
所述分类器获取模块用于运用所述训练集对所述卷积神经网络进行训练得到分类器；
所述图像获取分割模块用于获取待处理的陶瓷扫描电子显微镜图像，运用所述分类器对所述陶瓷扫描电子显微镜图像进行陶瓷晶粒图像分割。
一种储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现前述的陶瓷晶粒图像分割方法的步骤。
一种计算机设备，包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现前述陶瓷晶粒图像分割方法的步骤。
附图说明
图1为陶瓷材料的SEM图像示意图；
图2为本发明实施例提供的陶瓷晶粒图像分割方法的步骤流程图；
图3为本发明实施例步骤S04中得到的所述基于编码-解码模型架构的卷积神经网络示意图；
图4为本发明实施例步骤S01的步骤流程图；
图5为本发明实施例经步骤S012裁剪后的陶瓷晶粒图像样本示意图；
图6为本发明实施例步骤S013得到的可视化标签示意图；
图7为本发明实施例步骤S03的步骤流程图；
图8为本发明实施例编码子网络以及解码子网络的结构示意图；
图9为本发明实施例实验阶段在N＝3，L＝4条件下的最佳子网络结构示意图；
图10为本发明实施例实验阶段在N＝4，L＝3条件下的最佳子网络结构示意图；
图11为本发明实施例实验阶段子块个数和子网络个数与分割精度之间的关系示意图；
图12为本发明实施例实验阶段各方法陶瓷晶粒图像分割结果的比对示意图；
图13为本发明实施例提供的陶瓷晶粒图像分割系统示意图；
附图标记说明：1、数据集获取划分模块；2、搜索空间限定模块、神经网络架构搜索模块3、卷积神经网络构建模块4、分类器获取模块5以及图像获取分割模块6。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。以下结合附图和实施例对本发明做进一步的阐述。
为了解决现有技术的局限性，本实施例提供了一种技术方案，下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
请参考图2，一种陶瓷晶粒图像分割方法，包括以下步骤：
S01，获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集；
S02，基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间；所述编码空间包括编码子网络，所述解码空间包括解码子网络；
S03，运用所述训练集以及验证集在所述编码空间以及解码空间进行神经网络架构搜索，得到预设的搜索次数内最佳的编码子网络以及解码子网络；
S04，通过将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，构建基于编码-解码模型架构的卷积神经网络；
S05，运用所述训练集对所述卷积神经网络进行训练得到分类器；
S06，获取待处理的陶瓷扫描电子显微镜图像，运用所述分类器对所述陶瓷扫描电子显微镜图像进行陶瓷晶粒图像分割。
相较于现有技术，本发明通过基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间同时进行神经网络架构搜索，自动为陶瓷晶粒图像分割任务构建出能够融合深浅层特征并对特征图信息进行精细捕获的神经网络模型，其图像分割性能优越，且省去了原来复杂而繁琐的工作量，大幅提高了深度神经网络在陶瓷晶粒图像分割上的应用效率。
具体的，编码-解码(Encoder-Decoder，ED)模型架构是深度学习中的一种模型框架，基于ED架构的卷积神经网络主要由编码器和解码器组成，其中编码器将提取不同比例的图像特征，解码器将把编码器中的抽象特征恢复为原始图像大小并逐步修复图像细节，从而对原始图像中的每个像素进行分类。
神经网络架构搜索(Neural Architecture Search，NAS)在于使用搜索算法来寻找用于解决具体问题所需要的优选神经网络结构。特别的，本实施例中关于基于编码-解码框架限定搜索空间并将搜索空间分为编码空间和解码空间同时搜索的内容，可以作为一种区别于现有技术的神经网络架构搜索算法予以看待，在本实施中，这种新的神经网络架构搜索算法可称为ED-NAS。
在本发明所涉及的技术领域中，步骤S04中所提到的对子网络(cell)进行堆叠，是指将相同的子网络线性地依序排布，除第一个子网络之外，其它子网络的输入为前一个子网络的输出；请参阅图3，所述基于编码-解码模型架构的卷积神经网络中，堆叠出来的解码子网络(Decodercell，D-cell)排布在堆叠出来的编码子网络(Encoder cell，E-cell)之后，编码子网络与解码子网络两两对称分布，第一个解码子网络的输入为最后一个编码子网络的输出。
作为一种优选实施例，请参阅图3，步骤S04中得到的所述基于编码-解码模型架构的卷积神经网络中，各编码子网络后端分别设有最大池化的下采样操作层，各解码子网络前端分别设有上采样操作层，所述下采样操作层用于生成所述编码子网络的输出的最大特征索引，所述上采样操作层用于将所述上采样操作层对称位置上的下采样操作层生成的最大特征索引与所述解码子网络的输入进行融合。
具体的，步骤S04中得到的所述基于编码-解码模型架构的卷积神经网络将在编码阶段时记录下采样最大特征的索引(pooling indices)，在解码阶段的上采样中直接利用记录的位置信息pooling indices恢复下采样时丢失的细节信息，能够将深层语义特征与细粒度浅层细节特征相结合生成更准确的分割图像。另外，由于堆叠得到的卷积神经网络主要用于图像分割任务，因此可在卷积神经网络的结尾使用Softmax对最后一个解码器产生的高维特征图进行类别转换得到最终分类结果。
作为一种优选实施例，请参阅图4，所述步骤S01包括以下步骤：
S011，获取陶瓷扫描电子显微镜图像样本；
S012，从所述陶瓷扫描电子显微镜图像样本中裁剪得到陶瓷晶粒图像样本；
S013，对所述陶瓷晶粒图像样本中的板条状晶粒区域、圆柱状晶粒区域以及背景区域进行标注，生成对应的可视化标签；
S014，以所述陶瓷晶粒图像样本及对应的可视化标签作为数据集；通过随机抽样方法将数据集划分为训练集以及验证集。
具体的，由于陶瓷材料的晶粒尺寸在微米甚至是纳米级别，为了能够得到较为完整的陶瓷晶粒图像，请参阅图5，陶瓷扫描电子显微镜图像样本的图像分辨率从1280像素×960像素到2560像素×192像素。陶瓷晶粒按照形态可分为板条状和圆柱状两种形状，由于单张陶瓷扫描电子显微镜图像中晶粒数目较多，排列散乱，因此可如步骤S012先对所述陶瓷扫描电子显微镜图像样本进行裁剪。为了减小图像尺寸，降低训练过程中的内存消耗，裁剪的图像不宜太大；同时，为了保持类别平衡，裁剪的图像尽量包含两种晶粒形状。裁剪后的陶瓷晶粒图像样本如图5右侧所示，这些图像样本都包含两类(板条状和圆柱状)完整的晶粒，晶粒的数量一般在2～3个的范围内。
步骤S013中，对所述陶瓷晶粒图像样本进行标注，其中板条状晶粒区域标记为1，圆柱状晶粒区域标记为2，其他像素区域(裁剪后不完整的区域)作为背景区域标注为0；由此得到的可视化标签可参阅图6。
进一步的，所述步骤S01还包括以下步骤：
S014，以所述陶瓷晶粒图像样本及对应的可视化标签作为数据集；通过随机抽样方法将数据集划分为训练集以及验证集。
作为一种优选实施例，请参阅图7，所述步骤S03通过循环执行以下步骤直至得到预设的搜索次数内最佳的编码子网络以及解码子网络：
S031，运用基于循环神经网络的控制器，以预设的采样概率对所述编码空间的编码子网络以及解码空间的解码子网络进行搜索采样，生成对应的指令序列；
S032，根据所述指令序列将相同数量的若干编码子网络以及解码子网络进行堆叠，构建子模型；
S033，运用所述训练集对所述子模型进行训练，运用所述验证集对训练后的子模型进行测试得到验证精度；
S034，根据所述验证精度，使用基于策略梯度的强化学习算法更新所述采样概率。
在步骤S033中，对所述子模型进行训练的算法为随机梯度下降算法。
具体的，每个编码子网络中可包括若干个子块(block)，编码子网络中的子块为双分支结构，这种子块将来自前面子网络的两个输入张量映射为一个输出张量，由控制器决定使用哪一个子网络的输出作为当前子块的输入，并且决定应用于当前子块k的两个分支的操作，如图8(a)所示，编码子网络中的子块可以使用四元组{I1,OP1,I2,OP2}表示，其中I1,I2∈Ii代表当前子块两个分支的输入，Ii代表输入集合；OP1,OP2∈OP代表当前子块两个分支的操作，OP代表候选操作集合。
而每个解码子网络中也可包括若干个子块，但解码子网络中的子块只接受来自前面一个子网络的输入，呈现链式结构，如图8(b)所示，解码子网络中的子块可以使用二元组{I1,OP1}表示，其中I1∈Ii表示当前子块的一个输入，OP1∈OP代表当前子块的一个操作。
本实施例中所述子块的操作，由可从候选操作中提取，所述候选操作除了使用普通卷积(conv)之外，还包括能够降低参数数量和运算成本的深度可分离卷积(dw conv)以及能够增大感受野的空洞卷积(dilated conv)以及池化操作，候选操作(Operator)及候选操作对应的编码(Code)请参阅下表1：
表1.候选操作列表
Operator Code
3×3dw conv 0
5×5dw conv 1
3×3conv 2
3×3dilated conv,dilation rate＝2 3
3×3max pooling 4
在步骤S031中，所述控制器中设有两个采样器，分别对四元组形式{I1,OP1,I2,OP2}的编码子网络和二元组形式{I1,OP1}的解码子网络同时进行采样，生成对应的指令序列；所述指令序列为前述候选操作对应的编码构成的序列。在步骤S034中，使用基于策略梯度的强化学习算法更新控制器的参数，从而最大化期望奖励函数，奖励函数是计算在一批验证集上的分割精度，分割精度即计算每一类分割结果和真值的交集与并集之比的平均值，即mIoU。最后，策略梯度算法优化控制器对候选操作的采样概率之后，整个过程进行新一轮的采样，直到获得分割精度最好的子网络为止。
接下来，将以实验的形式对本发明的实施例做进一步的说明。为了能够对步骤S05中得到的分类器的性能进行测试，在实验阶段，所述数据集可使用随机抽样方法按以下比例划分为训练集(70％)、验证集(10％)和测试集(20％)，以所述测试集对所述分类器的性能进行测试。下表显示了实验阶段所述数据集的概述，包括2个类别以及与之对应的训练集、验证集和测试集的图像数量和标签。
表2实验阶段数据集概述
类 训练集 验证集 测试集 总数 标签
板条状 422 60 119 601 1
圆柱状 435 63 125 623 2
实验环境为Windows10 PC，Intel Core i7 CPU，16gb DDR4 RAM，GeForceGTX1070 Ti。在架构搜索过程中，batch_size是1，300个训练epoch，使用的优化器为Adam，学习率为0.00035。为了防止过早收敛，对采样对数使用了tanh常数为2.5，temperature为5.0，并将控制器的样本熵添加到奖励中，加权为0.0001。对采样的cell序列子模型使用SGD进行训练其共享参数，最大学习率为0.05，最小学习率为0.0005，其中学习率变化遵循指数型衰减策略。在测试阶段，使用的优化器是Adam，学习率为0.0005，共训练150个epoch，并在测试集上计算mIoU以衡量晶粒的分割精度。
在搜索过程中，编码子网络以及解码子网络中的子块个数N均设置为3，子网络个数L均设置为4，即4个编码层，4个解码层，网络结构共计8层，搜索300个epoch后，在验证集上获得了最佳的子网络，其结构如图9所示，其mIoU为0.549。
通过增加N的值，可以分析子块的个数对分割精度的影响，当N增加为4时，子网络个数L均设置为3，即6层网络。同样搜索300个epoch后，在验证集上获得了最佳cell，其结构如图10所示，其mIoU为0.566。
另外将堆叠的子网络个数L从3增加为6，构建网络在数据集上进行验证，图11展示了不同子块个数N和子网络个数L在验证集上分割精度mIoU的比较。当子网络个数不变时，子网络个数从3增加为5时，分割性能随着子网络堆叠个数而有所增加，子网络个数继续增加为6时，会有所下降。当堆叠3个子网络时，子块为3的网络性能要比子块为4的网络性能好，但子网络个数增加至4、5和6时，子块为4的网络性能要更好一点。另外，当各堆叠5个子网络，即5个编码子网络和5个解码子网络，子块数目为4时，会获得最优的网络性能，其对应的子网络结构如图10所示。
因此，作为一种优选实施例，步骤S04中得到的所述基于编码-解码模型架构的卷积神经网络中，所述编码子网络以及解码子网络的数量分别为五个，所述编码子网络以及解码子网络中子块的数量为四个。
以图10所示的最佳cell结构构建深度卷积神经网络并在陶瓷晶粒数据集上重新训练来进行测试。表3展示了我们的方法ED-NAS以及现有技术的ERFNet，U-Net，ENet，FCN-16，DeepLabv3，SegNet在陶瓷晶粒数据集上的分割性能比较。
表3不同方法在陶瓷晶粒数据集上的分割精度
Method mIoU(％)
ERFNet 40.4
U-Net 47.7
ENet 48.8
FCN-16 58.1
DeepLabv3 59.1
SegNet 68.0
ED-NAS(本实施例) 68.9
图12展示了ED-NAS和其它几种方法在陶瓷晶粒数据集上分割结果的示例。图12中左起第一列为原始图像，第二列为标注后的标签图像，第三列开始为表3自上而下顺序各种方法分割后的预测结果。可见，RFNet，U-Net，ENet和FCN-16的预测结果有很大偏差；DeepLabv3，SegNet的预测结果相对比较准确，但在一些边界处理上仍存在一些误差，而本实施例中提出的ED-NAS在一定程度上消除了这种误差，具有更好的分割性能。
上述实验证明，利用本实施例中提出的ED-NAS得到到CNN在陶瓷晶粒数据集上表现出了良好的性能，ED-NAS可通过考虑改善搜索空间和搜索策略以期获得更好分割性能的网络并向其它分割任务中延伸。
实施例2
一种陶瓷晶粒图像分割系统，请参阅图13，包括数据集获取划分模块1、搜索空间限定模块2、神经网络架构搜索模块3、卷积神经网络构建模块4、分类器获取模块5以及图像获取分割模块6；所述神经网络架构搜索模块3分别连接所述数据集获取划分模块1以及搜索空间限定模块2，所述卷积神经网络构建模块4连接所述神经网络架构搜索模块3，所述分类器获取模块5分别连接所述数据集获取划分模块1以及卷积神经网络构建模块4，所述图像获取分割模块6连接所述分类器获取模块5；其中：
所述数据集获取划分模块1用于获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集；
所述搜索空间限定模块2用于基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间；所述编码空间包括编码子网络，所述解码空间包括解码子网络；
所述神经网络架构搜索模块3用于运用所述训练集以及验证集在所述编码空间以及解码空间进行神经网络架构搜索，得到预设的搜索次数内最佳的编码子网络以及解码子网络；
所述卷积神经网络构建模块4用于通过将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，构建基于编码-解码模型架构的卷积神经网络；
所述分类器获取模块5用于运用所述训练集对所述卷积神经网络进行训练得到分类器；
所述图像获取分割模块6用于获取待处理的陶瓷扫描电子显微镜图像，运用所述分类器对所述陶瓷扫描电子显微镜图像进行陶瓷晶粒图像分割。
实施例3
一种储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现实施例1中的陶瓷晶粒图像分割方法的步骤。
实施例4
一种计算机设备，包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现实施例1中的陶瓷晶粒图像分割方法的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种陶瓷晶粒图像分割方法，其特征在于，包括以下步骤：
S01，获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集；
S02，基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间；所述编码空间包括编码子网络，所述解码空间包括解码子网络；
S03，运用所述训练集以及验证集在所述编码空间以及解码空间进行神经网络架构搜索，得到预设的搜索次数内最佳的编码子网络以及解码子网络；
S04，通过将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，构建基于编码-解码模型架构的卷积神经网络；
将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，即将相同的子网络线性地依序排布，除第一个子网络之外，其它子网络的输入为前一个子网络的输出；所述基于编码-解码模型架构的卷积神经网络中，堆叠出来的解码子网络排布在堆叠出来的编码子网络之后，编码子网络与解码子网络两两对称分布，第一个解码子网络的输入为最后一个编码子网络的输出；
S05，运用所述训练集对所述卷积神经网络进行训练得到分类器；
S06，获取待处理的陶瓷扫描电子显微镜图像，运用所述分类器对所述陶瓷扫描电子显微镜图像进行陶瓷晶粒图像分割。
2.根据权利要求1所述的陶瓷晶粒图像分割方法，其特征在于，所述步骤S01包括以下步骤：
S011，获取陶瓷扫描电子显微镜图像样本；
S012，从所述陶瓷扫描电子显微镜图像样本中裁剪得到陶瓷晶粒图像样本；
S013，对所述陶瓷晶粒图像样本中的板条状晶粒区域、圆柱状晶粒区域以及背景区域进行标注，生成对应的可视化标签；
S014，以所述陶瓷晶粒图像样本及对应的可视化标签作为数据集；通过随机抽样方法将数据集划分为训练集以及验证集。
3.根据权利要求2所述的陶瓷晶粒图像分割方法，其特征在于，所述步骤S01还包括以下步骤：
S014，以所述陶瓷晶粒图像样本及对应的可视化标签作为数据集；通过随机抽样方法将数据集划分为训练集以及验证集。
4.根据权利要求1至3任一项所述的陶瓷晶粒图像分割方法，其特征在于，所述步骤S03通过循环执行以下步骤直至得到预设的搜索次数内最佳的编码子网络以及解码子网络：
S031，运用基于循环神经网络的控制器，以预设的采样概率对所述编码空间的编码子网络以及解码空间的解码子网络进行搜索采样，生成对应的指令序列；
S032，根据所述指令序列将相同数量的若干编码子网络以及解码子网络进行堆叠，构建子模型；
S033，运用所述训练集对所述子模型进行训练，运用所述验证集对训练后的子模型进行测试得到验证精度；
S034，根据所述验证精度，使用基于策略梯度的强化学习算法更新所述采样概率。
5.根据权利要求4所述的陶瓷晶粒图像分割方法，其特征在于，在步骤S033中，对所述子模型进行训练的算法为随机梯度下降算法。
6.根据权利要求1至3任一项所述的陶瓷晶粒图像分割方法，其特征在于，步骤S04中得到的所述基于编码-解码模型架构的卷积神经网络中，各编码子网络后端分别设有最大池化的下采样操作层，各解码子网络前端分别设有上采样操作层，所述下采样操作层用于生成所述编码子网络的输出的最大特征索引，所述上采样操作层用于将所述上采样操作层对称位置上的下采样操作层生成的最大特征索引与所述解码子网络的输入进行融合。
7.根据权利要求1至3任一项所述的陶瓷晶粒图像分割方法，其特征在于，所述子网络中包括若干用于进行数据操作的子块；步骤S04中得到的所述基于编码-解码模型架构的卷积神经网络中，所述编码子网络以及解码子网络的数量分别为五个，所述编码子网络以及解码子网络中子块的数量为四个。
8.一种陶瓷晶粒图像分割系统，其特征在于，包括数据集获取划分模块(1)、搜索空间限定模块(2)、神经网络架构搜索模块(3)、卷积神经网络构建模块(4)、分类器获取模块(5)以及图像获取分割模块(6)；所述神经网络架构搜索模块(3)分别连接所述数据集获取划分模块(1)以及搜索空间限定模块(2)，所述卷积神经网络构建模块(4)连接所述神经网络架构搜索模块(3)，所述分类器获取模块(5)分别连接所述数据集获取划分模块(1)以及卷积神经网络构建模块(4)，所述图像获取分割模块(6)连接所述分类器获取模块(5)；其中：
所述数据集获取划分模块(1)用于获取包括陶瓷晶粒图像样本的数据集，将所述数据集划分为训练集以及验证集；
所述搜索空间限定模块(2)用于基于编码-解码模型架构对包括子网络的搜索空间进行限定，将所述搜索空间分为多分支式结构的编码空间以及链式结构的解码空间；所述编码空间包括编码子网络，所述解码空间包括解码子网络；
所述神经网络架构搜索模块(3)用于运用所述训练集以及验证集在所述编码空间以及解码空间进行神经网络架构搜索，得到预设的搜索次数内最佳的编码子网络以及解码子网络；
所述卷积神经网络构建模块(4)用于通过将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，构建基于编码-解码模型架构的卷积神经网络；
将若干相同数量的最佳的编码子网络以及解码子网络进行堆叠，即将相同的子网络线性地依序排布，除第一个子网络之外，其它子网络的输入为前一个子网络的输出；所述基于编码-解码模型架构的卷积神经网络中，堆叠出来的解码子网络排布在堆叠出来的编码子网络之后，编码子网络与解码子网络两两对称分布，第一个解码子网络的输入为最后一个编码子网络的输出；
所述分类器获取模块(5)用于运用所述训练集对所述卷积神经网络进行训练得到分类器；
所述图像获取分割模块(6)用于获取待处理的陶瓷扫描电子显微镜图像，运用所述分类器对所述陶瓷扫描电子显微镜图像进行陶瓷晶粒图像分割。
9.一种储存介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的陶瓷晶粒图像分割方法的步骤。
10.一种计算机设备，其特征在于：包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的陶瓷晶粒图像分割方法的步骤。
CN202011436059.7A 2020-12-10 2020-12-10 陶瓷晶粒图像分割方法、系统、储存介质及计算机设备 Active CN112465838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011436059.7A CN112465838B (zh) 2020-12-10 2020-12-10 陶瓷晶粒图像分割方法、系统、储存介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011436059.7A CN112465838B (zh) 2020-12-10 2020-12-10 陶瓷晶粒图像分割方法、系统、储存介质及计算机设备

Publications (2)

Publication Number Publication Date
CN112465838A CN112465838A (zh) 2021-03-09
CN112465838B true CN112465838B (zh) 2023-01-31

Family

ID=74801241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011436059.7A Active CN112465838B (zh) 2020-12-10 2020-12-10 陶瓷晶粒图像分割方法、系统、储存介质及计算机设备

Country Status (1)

Country Link
CN (1) CN112465838B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542945B (zh) * 2023-05-11 2024-01-05 哈尔滨工业大学重庆研究院 晶圆图像分割处理方法、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019018375A1 (en) * 2017-07-21 2019-01-24 Google Llc NEURONAL ARCHITECTURE RESEARCH FOR CONVOLUTION NEURAL NETWORKS
US11531861B2 (en) * 2018-11-06 2022-12-20 Google Llc Neural architecture search with factorized hierarchical search space
CN111898689B (zh) * 2020-08-05 2023-09-26 中南大学 一种基于神经网络架构搜索的图像分类方法
CN111915630B (zh) * 2020-08-19 2023-06-23 陕西科技大学 一种基于数据与模型联合驱动的陶瓷材料晶粒分割算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法

Also Published As

Publication number Publication date
CN112465838A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
Huang et al. Mos: Towards scaling out-of-distribution detection for large semantic space
CN112069310B (zh) 基于主动学习策略的文本分类方法及系统
CN112199462A (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
CN109344893B (zh) 一种基于移动终端的图像分类方法
CN110188827B (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN110457514A (zh) 一种基于深度哈希的多标签图像检索方法
CN112732864B (zh) 一种基于稠密伪查询向量表示的文档检索方法
Yuan et al. Evoq: Mixed precision quantization of dnns via sensitivity guided evolutionary search
CN110263917B (zh) 一种神经网络压缩方法及装置
CN115732034A (zh) 一种空间转录组细胞表达模式的识别方法及系统
CN115526236A (zh) 一种基于多模态对比学习的文本网络图分类方法
CN112465838B (zh) 陶瓷晶粒图像分割方法、系统、储存介质及计算机设备
CN117152554A (zh) 基于ViT模型的病理切片数据识别方法及系统
CN117131449A (zh) 面向数据治理的具有传播学习能力的异常识别方法及系统
CN112365931B (zh) 一种用于预测蛋白质功能的数据多标签分类方法
CN114022688A (zh) 一种实时的牲畜身份识别方法
CN113705215A (zh) 一种基于元学习的大规模多标签文本分类方法
Geng et al. Pruning convolutional neural networks via filter similarity analysis
Liu et al. Focusformer: Focusing on what we need via architecture sampler
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
CN112200275B (zh) 人工神经网络的量化方法及装置
CN112905820B (zh) 一种基于逻辑学习的多图检索方法
CN116091763A (zh) 苹果叶部病害图像语义分割系统及分割方法、设备和介质
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
Jiao et al. Synchronous weight quantization-compression for low-bit quantized neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210309

Assignee: Guangxi Aigui Intelligent Technology Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2023980046600

Denomination of invention: Ceramic grain image segmentation method, system, storage medium, and computer equipment

Granted publication date: 20230131

License type: Common License

Record date: 20231108

EE01 Entry into force of recordation of patent licensing contract