CN112651989A - 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统 - Google Patents

基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统 Download PDF

Info

Publication number
CN112651989A
CN112651989A CN202110070200.4A CN202110070200A CN112651989A CN 112651989 A CN112651989 A CN 112651989A CN 202110070200 A CN202110070200 A CN 202110070200A CN 112651989 A CN112651989 A CN 112651989A
Authority
CN
China
Prior art keywords
sem image
molecular sieve
mask
network
example segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110070200.4A
Other languages
English (en)
Other versions
CN112651989B (zh
Inventor
杜文莉
钱锋
彭鑫
钟伟民
杨明磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN202110070200.4A priority Critical patent/CN112651989B/zh
Publication of CN112651989A publication Critical patent/CN112651989A/zh
Application granted granted Critical
Publication of CN112651989B publication Critical patent/CN112651989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统，提升分子筛粒径统计效率。其技术方案为：获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；对构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；构建Mask RCNN实例分割模型；利用得到的SEM图像实例分割数据集对构建的Mask RCNN实例分割模型进行训练及参数调整；利用训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割；根据得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。

Description

基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和 系统
技术领域
本发明涉及分子筛催化剂工艺改进领域，具体涉及一种基于Mask RCNN实例分割的扫描电子显微镜(Scanning Electron Microscope，SEM)图像分子筛粒径统计方法和系统。
背景技术
分子筛粒径统计在材料、化工等相关合成领域具有重要意义，是评判分子筛合成效果的重要指标。传统的分子筛粒径统计方法通过扫描电子显微镜(SEM)获取相应的图像样本后进行人工测量与统计，需要耗费较多的时间和人力成本，同时人工统计不可避免地存在误检、漏检的情况，且无法实施，不间断工作。
近年来的图像识别技术在各个领域的识别检测得到广泛应用，图像处理技术也有了充分的发展。传统的统计方法中所涉及的扫描电子显微镜(SEM)图像包含丰富的信息，结合相关的操作文件便可方便的获取SEM图像中分子筛的实际尺度信息。
因此，如何将图像识别技术应用于分子筛粒径统计方法，成为目前业界亟待解决的问题。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统，利用获取的SEM图像构建实例分割数据集，训练Mask RCNN实例分割模型实现对SEM图像中分子筛的实例分割，进而利用分割结果进行分子筛粒径的统计，提升分子筛粒径统计效率。
本发明的技术方案为：本发明揭示了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，方法包括：
步骤一：获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；
步骤二：对步骤一构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；
步骤三：构建Mask RCNN实例分割模型；
步骤四：利用步骤二得到的SEM图像实例分割数据集对步骤三构建的Mask RCNN实例分割模型进行训练及参数调整；
步骤五：利用步骤四训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割；
步骤六：根据步骤五得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤一进一步包括：
先将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本；
其中SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，SEM图像以灰度图像为主但不限于灰度图像，操作文件中具有相应的比例尺信息。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤二进一步包括：
首先，在步骤一所构建的SEM图像样本库中，随机选取用于构建有标签的样本，将所有样本分为训练集和测试集；
然后，对SEM图像中的分子筛采用多边形的方式标注其轮廓，在标注过程中对SEM中分子筛进行分类；
最后，完成实例分割标注的标签存储为json文件且以图片为基准，将所有图片的json文件统一转化成为COCO数据集格式的json文件并与对应的SEM图像对应归置。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤三构建的模型中设置的多分支神经网络包括带有特征金字塔网络的ResNet101特征提取网络、区域提议网络、感兴趣区域层、分类与边框分支、掩码分支，特征金字塔网络用于提高实例分割网络的整体分割精度。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，主干特征提取网络采用ResNet101和特征金字塔网络相结合的形式，设置输出通道n维；其中ResNet101表示隐藏层数为101的残差神经网络且去掉全连接层，特征金字塔网络在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征在保留相应分辨率的基础上兼具有较强的语义信息；
区域提议网络与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制去除重叠的区域提议；
感兴趣区域层采用ROI Align从主干特征提取网络和区域提议网络获取候选区域特征并向分类与边框分支输出7×7的采样特征，向掩码分支输出14×14的采样特征；
分类与边框分支由卷积神经网络实现，利用卷积神经网络对经过ROI Align处理后的候选区域进行分子筛类别分类与边框回归；
掩码分支由全卷积神经网络实现，利用全卷积神经网络对经过ROI Align处理后的候选区域进行掩码回归；
在图像预处理过程中将图像进行统一放缩。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤四进一步包括：
模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调；
在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化
L＝Lcls+Lbox+Lmask
其中，Lcls是分类损失，Lbox是边框损失,Lmask是掩码损失，在网络优化中引入两阶段的学习率调整策略。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，在步骤五中，训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，得到相应的分子筛实例分割输出以及相关的分类信息。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤六进一步包括：
根据SEM图像分子筛实例分割中的掩码信息计算相应分子筛在SEM图像中的像素大小：areamask，其单位为像素个数；
从SEM图像相应的操作文件中获取图像中比例尺scale，从SEM图像中获取实际比例尺在SEM图像中对应的像素大小scalepixel，从而将相应分子筛像素大小换算为实际大小：
Figure BDA0002905741390000041
SEM图像中相应分子筛的实际大小即为其在扫描电子显微镜下的投影面积，并直接用该投影面积作为分子筛粒径的二阶表示并由此开展分子筛粒径的统计。
本发明还揭示了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，系统包括：
样本库构建模块，配置为获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；
分割标注模块，配置为对样本库构建模块所构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；
模型构建模块，配置为构建Mask RCNN实例分割模型；
模型训练模块，配置为利用分割标注模块得到的SEM图像实例分割数据集对模型构建模块所构建的Mask RCNN实例分割模型进行模型训练及参数调整；
实例分割模块，配置为利用模型训练模块训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割；
粒径计算模块，配置为根据实例分割模块得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例，样本库构建模块进一步配置为：
先将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本；
其中SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，SEM图像以灰度图像为主但不限于灰度图像，操作文件中具有相应的比例尺信息。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例，分割标注模块进一步配置为：
首先，从样本库构建模块所构建的SEM图像样本库中，随机选取用于构建有标签的样本，将所有样本分为训练集和测试集；
然后，对SEM图像中的分子筛采用多边形的方式标注其轮廓，在标注过程中对SEM中分子筛进行分类；
最后，完成实例分割标注的标签存储为json文件且以图片为基准，将所有图片的json文件统一转化成为COCO数据集格式的json文件并与对应的SEM图像对应归置。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例，模型构建模块进一步配置为其构建的模型中设置的多分支神经网络包括带有特征金字塔网络的ResNet101特征提取网络、区域提议网络、感兴趣区域层、分类与边框分支、掩码分支，特征金字塔网络用于提高实例分割网络的整体分割精度。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例，主干特征提取网络采用ResNet101和特征金字塔网络相结合的形式，设置输出通道n维；其中ResNet101表示隐藏层数为101的残差神经网络且去掉全连接层，特征金字塔网络在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征在保留相应分辨率的基础上兼具有较强的语义信息；
区域提议网络与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制去除重叠的区域提议；
感兴趣区域层采用ROI Align从主干特征提取网络和区域提议网络获取候选区域特征并向分类与边框分支输出7×7的采样特征，向掩码分支输出14×14的采样特征；
分类与边框分支由卷积神经网络实现，利用卷积神经网络对经过ROI Align处理后的候选区域进行分子筛类别分类与边框回归；
掩码分支由全卷积神经网络实现，利用全卷积神经网络对经过ROI Align处理后的候选区域进行掩码回归；
在图像预处理过程中将图像进行统一放缩。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例，模型训练模块进一步配置为：
模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调；
在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化
L＝Lcls+Lbox+Lmask
其中，Lcls是分类损失，Lbox是边框损失,Lmask是掩码损失，在网络优化中引入两阶段的学习率调整策略。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例，实例分割模块进一步配置为：训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，得到相应的分子筛实例分割输出以及相关的分类信息。
根据本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例，粒径计算模块进一步配置为：
根据SEM图像分子筛实例分割中的掩码信息计算相应分子筛在SEM图像中的像素大小：areamask，其单位为像素个数；
从SEM图像相应的操作文件中获取图像中比例尺scale，从SEM图像中获取实际比例尺在SEM图像中对应的像素大小scalepixel，从而将相应分子筛像素大小换算为实际大小：
Figure BDA0002905741390000071
SEM图像中相应分子筛的实际大小即为其在扫描电子显微镜下的投影面积，并直接用该投影面积作为分子筛粒径的二阶表示并由此开展分子筛粒径的统计。
本发明还揭示了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，包括：
处理器；以及
存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，
其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如上所述的方法。
本发明还揭示了一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计算装置执行时，使得计算装置进行如上所述的方法。
本发明对比现有技术有如下的有益效果：本发明的方法利用获取的SEM图像构建实例分割数据集，训练Mask RCNN实例分割模型实现对SEM图像中分子筛的实例分割，进而利用分割结果进行分子筛粒径的统计，提升分子筛粒径统计效率。因此，本发明的粒径统计方法只需要在前期建立带标签的样本库用于实例分割模型训练，便可实现基于SEM图像的快速、准确的分子筛粒径统计。与传统的粒径统计方法相比，只需通过部分样本SEM图像的实例分割标注就能实现SEM图像中分子筛粒径的自动统计，大大缩短了粒径测量的时间、减少了人力、物力，同时有效避免了统计过程中人为因素引起的误差。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了原始扫描电子显微镜(SEM)图像。
图2示出了本发明的基于Mask RCNN实例分割的扫描电子显微镜(SEM)图像分子筛粒径统计方法的一实施例的流程图。
图3示出了本发明的方法中应用到的Mask RCNN实例分割模型示意图。
图4示出了本发明的扫描电子显微镜(SEM)图像分子筛实例分割结果的一个示例。
图5示出了本发明的扫描电子显微镜(SEM)图像分子筛粒径测量结果的一个示例。
图6示出了应用本发明的某批次实验扫描电子显微镜(SEM)图像分子筛粒径统计结果的一个示例。
图7示出了本发明的基于Mask RCNN实例分割的扫描电子显微镜(SEM)图像分子筛粒径统计系统的一实施例的原理图。
图8示出了本发明的基于Mask RCNN实例分割的扫描电子显微镜(SEM)图像分子筛粒径统计系统的一实施例的原理图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
图1示出列本发明所涉及的样本库中的SEM图像样例。图2示出了基于Mask RCNN实例分割的扫描电子显微镜(SEM)图像分子筛粒径统计方法的一实施例的流程。请参考图1和图2，本实施例的方法的实施步骤详述如下。
步骤一：获取某一实验批次中的扫描电子显微镜(SEM)图像及相应的操作文件，构建相应的SEM图像样本库。
在本步骤中，将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，原始SEM图像见图1。再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本。
本步骤中的SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，其图像以灰度图像为主，不限于灰度图像；同时，操作文件中具有相应的比例尺信息。
步骤二：对SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集。
在本步骤中，在步骤一所构建的SEM图像样本库中，随机选取少量样本用于构建有标签样本。较佳的是，在SEM图像样本库中的各个实验批次中进行分组采样。考虑到实例分割标签标注的人力成本，例如总共选取250个样本，其中将按照8：2的比例随机划分为训练集与测试集，即训练集包含200个样本，测试集包含50个样本。此处的样本主体为SEM图像及其相应的操作文件。
之后进行的实例分割标注处理是对SEM图像中的分子筛采用多边形(Polygon)的方式标注其轮廓。在标注过程中根据具体需要对SEM中分子筛进行适当分类(例如按照分子筛形态分为立方体、六棱柱、球体等)。完成的标签以json文件的形式呈现，其以图片为基准，为了使得json文件与Mask RCNN中的数据加载接口相适应，在标注完成后，将所有图片的json文件统一转化成为COCO数据集格式的json文件，并与对应的SEM图像对应归置。
步骤三：构建Mask RCNN实例分割模型，模型中设置的多分支神经网络包括带有特征金字塔网络(Feature Pyramid Network，FPN)的ResNet101特征提取网络、区域提议网络(Region Proposal Network，RPN)、感兴趣区域层(Region of Interest，ROI)、分类与边框分支、掩码分支；其中，特征金字塔网络用于提高实例分割网络的整体分割精度。
在本步骤中，所构建的Mask RCNN实例分割模型中的神经网络包括以下的框架设置，具体请参见图3。
(1)主干特征提取网络采用ResNet101+FPN的形式，设置输出通道n维(例如256维)；其中ResNet101表示隐藏层数为101的残差神经网络，且在此应用中去掉全连接层，FPN为Feature Pyramid Network特征金字塔网络，其在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征再保留相应分辨率的基础上兼具有较强的语义信息；
(2)区域提议网络(RPN)与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制(Non-Maximum Suppression，NMS)去除重叠的区域提议；
(3)感兴趣区域(ROI)采用ROI Align从主干特征提取网络和RPN获取候选区域特征并向分类与边框分支输出7×7的采样特征，向掩码分支输出14×14的采样特征；
(4)分类与边框分支由卷积神经网络CNN实现，即利用卷积神经网络CNN对经过ROIAlign处理后的候选区域进行分子筛类别分类class与边框回归box；
(5)掩码分支由全卷积神经网络FCN实现，即利用全卷积神经网络FCN对经过ROIAlign处理后的候选区域进行掩码回归mask；
(6)另外，在图像预处理过程中将图像进行统一放缩。
步骤四：利用SEM图像实例分割数据集对Mask RCNN实例分割模型进行训练及参数调整。
在本步骤中，Mask RCNN的模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调。
在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化
L＝Lcls+Lbox+Lmask
其中，Lcls是分类损失，Lbox是边框损失,Lmask是掩码损失。在上述网络优化中引入两阶段的学习率调整策略。
步骤五：利用训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割。
在本步骤中，训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，亦即，模型的前向推理过程将最终从SEM图像中获得图像中所有被识别出的分子筛的位置信息和类别信息以及对应的掩码。由此将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，即可得到相应的分子筛实例分割输出以及相关的分类信息。
步骤六：根据步骤五得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。
本步骤具体包括以下的处理过程：
步骤6a：根据SEM图像分子筛实例分割中的掩码信息计算相应分子筛在SEM图像中的像素大小：areamask，其单位为像素个数。
步骤6b：从SEM图像相应的操作文件中获取图像中比例尺scale，从SEM图像中获取实际比例尺在SEM图像中对应的像素大小scalepixel，从而将相应分子筛像素大小换算为实际大小：
Figure BDA0002905741390000121
步骤6c：SEM图像中相应分子筛的实际大小即为其在扫描电子显微镜下的投影面积，由于实际实施过程中，分子筛的形态各异，在此直接用该投影面积作为分子筛粒径的二阶表示并由此开展分子筛粒径的统计。
由上述实施例可知，本发明在进行基于SEM图像的分子筛粒径统计时，首先采用上述实施例步骤一的处理建立SEM图像样本库，然后采用步骤二的处理建立实例分割数据库，同时由步骤三的处理构建相应的Mask RCNN实例分割模型，并且利用步骤四的处理对模型进行训练，步骤五则是利用模型完成分子筛实例分割，由此步骤六得以实现分子筛粒径的统计。整个方法通过SEM图像以及相应的操作文件自动获得分子筛粒径信息，从而避免繁琐的人工统计以及由此带来的误差。
以下通过高通量分子筛SEM图像粒径统计的一个示例来说明本发明方法的实施步骤。
步骤1：从高通量分子筛数据库获取相关实验批次的SEM图像以及相应的操作文件，构建样本库。分子筛样本库SEM图像中尺度各异，分子筛分布不均匀，人工测量较为繁琐。
步骤2：选取样本库中250张SEM图片样本采用多边形的方式标注其轮廓，并将分子筛按照形态分为三类，依次为立方体、六棱柱、球体。250张图片中总共包含872个分子筛实例。标注完成后将250个样本按照8：2的比例随机划分为训练集与测试集，即训练集包含200个样本，测试集包含50个样本。划分完成后将相应的训练集和测试集中的标注文件转化为COCO数据集格式。
步骤3：构建Mask RCNN实例分割模型，包括带有特征金字塔网络(FeaturePyramid Network，FPN)的ResNet101特征提取网络、区域提议网络(Region ProposalNetwork，RPN)、感兴趣区域层(Region of Interest，ROI)、分类与边框分支、掩码分支。
步骤4：利用步骤2中获得的训练集与测试集对Mask RCNN模型进行训练，采用随机梯度下降方法迭代90000代，60000代前采用0.0025的学习率，60000代后采用0.00025的学习率。最终获得训练后的模型，其在测试集上的获得0.6的AP指标。
步骤5：利用训练后的模型对SEM图像样本库进行分子筛实例分割。以某一实验批次中某一样本为例，分子筛实例分割可视化结果见图4。
步骤6：根据SEM图像实例分割结果结合相应的操作文件对SEM图像中的分子筛粒径进行自动测量。以某一实验批次中某一样本中某一分子筛为例，由实例分割结果可得areamask＝4506.0，操作文件中可获取得到该样本比例尺为20.0μm，再经过简单定位方法可获取SEM图像中比例尺的像素大小scalepixel＝25。由此计算得该分子筛粒径的二阶表示为
Figure BDA0002905741390000131
该SEM图像样本分子筛粒径测量可视化结果见图5，该实验批次分子筛粒径统计结果见图6。
图7示出了本发明的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统的一实施例的原理。请参见图7，本实施例的系统包括：样本库构建模块、分割标注模块、模型构建模块、模型训练模块、实例分割模块、粒径计算模块。
样本库构建模块配置为获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库。
样本库构建模块进一步配置为：
先将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本；
其中SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，SEM图像以灰度图像为主但不限于灰度图像，操作文件中具有相应的比例尺信息。
分割标注模块配置为对样本库构建模块所构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集。
分割标注模块进一步配置为：
首先，从样本库构建模块所构建的SEM图像样本库中，随机选取用于构建有标签的样本，将所有样本分为训练集和测试集；
然后，对SEM图像中的分子筛采用多边形的方式标注其轮廓，在标注过程中对SEM中分子筛进行分类；
最后，完成实例分割标注的标签存储为json文件且以图片为基准，将所有图片的json文件统一转化成为COCO数据集格式的json文件并与对应的SEM图像对应归置。
模型构建模块配置为构建Mask RCNN实例分割模型。
模型构建模块进一步配置为其构建的模型中设置的多分支神经网络包括带有特征金字塔网络的ResNet101特征提取网络、区域提议网络、感兴趣区域层、分类与边框分支、掩码分支，特征金字塔网络用于提高实例分割网络的整体分割精度。
主干特征提取网络采用ResNet101和特征金字塔网络相结合的形式，设置输出通道n维(256维)；其中ResNet101表示隐藏层数为101的残差神经网络且去掉全连接层，特征金字塔网络在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征在保留相应分辨率的基础上兼具有较强的语义信息；
区域提议网络与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制去除重叠的区域提议；
感兴趣区域层采用ROI Align从主干特征提取网络和区域提议网络获取候选区域特征并向分类与边框分支输出7×7的采样特征，向掩码分支输出14×14的采样特征；
分类与边框分支由卷积神经网络实现，利用卷积神经网络对经过ROI Align处理后的候选区域进行分子筛类别分类与边框回归；
掩码分支由全卷积神经网络实现，利用全卷积神经网络对经过ROI Align处理后的候选区域进行掩码回归；
在图像预处理过程中将图像进行统一放缩。
模型训练模块配置为利用分割标注模块得到的SEM图像实例分割数据集对模型构建模块所构建的Mask RCNN实例分割模型进行模型训练及参数调整。
模型训练模块进一步配置为：
模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调；
在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化
L＝Lcls+Lbox+Lmask
其中，Lcls是分类损失，Lbox是边框损失,Lmask是掩码损失，在网络优化中引入两阶段的学习率调整策略。
实例分割模块配置为利用模型训练模块训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割。
实例分割模块进一步配置为：训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，得到相应的分子筛实例分割输出以及相关的分类信息。
粒径计算模块配置为根据实例分割模块得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。
粒径计算模块进一步配置为：
根据SEM图像分子筛实例分割中的掩码信息计算相应分子筛在SEM图像中的像素大小：areamask，其单位为像素个数；
从SEM图像相应的操作文件中获取图像中比例尺scale，从SEM图像中获取实际比例尺在SEM图像中对应的像素大小scalepixel，从而将相应分子筛像素大小换算为实际大小：
Figure BDA0002905741390000161
SEM图像中相应分子筛的实际大小即为其在扫描电子显微镜下的投影面积，并直接用该投影面积作为分子筛粒径的二阶表示并由此开展分子筛粒径的统计。
如图8所示，本发明公开的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统包括处理器和存储器，存储器配置为存储一系列计算机可执行的指令以及与这一系列计算机可执行的指令相关联的计算机可访问的数据。当这一系列计算机可执行的指令被处理器执行时，使得处理器进行如上述实施例所述的方法。
本发明所公开的非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当这一系列可执行的指令被计算装置执行时，使得计算装置进行如上述实施例所述的方法。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (18)

1.一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，方法包括：
步骤一：获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；
步骤二：对步骤一构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；
步骤三：构建Mask RCNN实例分割模型；
步骤四：利用步骤二得到的SEM图像实例分割数据集对步骤三构建的Mask RCNN实例分割模型进行训练及参数调整；
步骤五：利用步骤四训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割；
步骤六：根据步骤五得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。
2.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤一进一步包括：
先将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本；
其中SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，SEM图像以灰度图像为主但不限于灰度图像，操作文件中具有相应的比例尺信息。
3.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤二进一步包括：
首先，在步骤一所构建的SEM图像样本库中，随机选取用于构建有标签的样本，将所有样本分为训练集和测试集；
然后，对SEM图像中的分子筛采用多边形的方式标注其轮廓，在标注过程中对SEM中分子筛进行分类；
最后，完成实例分割标注的标签存储为json文件且以图片为基准，将所有图片的json文件统一转化成为COCO数据集格式的json文件并与对应的SEM图像对应归置。
4.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤三构建的模型中设置的多分支神经网络包括带有特征金字塔网络的ResNet101特征提取网络、区域提议网络、感兴趣区域层、分类与边框分支、掩码分支，特征金字塔网络用于提高实例分割网络的整体分割精度。
5.根据权利要求4所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，主干特征提取网络采用ResNet101和特征金字塔网络相结合的形式，设置输出通道n维；其中ResNet101表示隐藏层数为101的残差神经网络且去掉全连接层，特征金字塔网络在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征在保留相应分辨率的基础上兼具有较强的语义信息；
区域提议网络与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制去除重叠的区域提议；
感兴趣区域层采用ROI Align从主干特征提取网络和区域提议网络获取候选区域特征并向分类与边框分支输出7×7的采样特征，向掩码分支输出14×14的采样特征；
分类与边框分支由卷积神经网络实现，利用卷积神经网络对经过ROIAlign处理后的候选区域进行分子筛类别分类与边框回归；
掩码分支由全卷积神经网络实现，利用全卷积神经网络对经过ROI Align处理后的候选区域进行掩码回归；
在图像预处理过程中将图像进行统一放缩。
6.根据权利要求5所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤四进一步包括：
模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调；
在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化
L＝Lcls+Lbox+Lmask
其中，Lcls是分类损失，Lbox是边框损失,Lmask是掩码损失，在网络优化中引入两阶段的学习率调整策略。
7.根据权利要求5所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，在步骤五中，训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，得到相应的分子筛实例分割输出以及相关的分类信息。
8.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤六进一步包括：
根据SEM图像分子筛实例分割中的掩码信息计算相应分子筛在SEM图像中的像素大小：areamask，其单位为像素个数；
从SEM图像相应的操作文件中获取图像中比例尺scale，从SEM图像中获取实际比例尺在SEM图像中对应的像素大小scalepixel，从而将相应分子筛像素大小换算为实际大小：
Figure FDA0002905741380000031
SEM图像中相应分子筛的实际大小即为其在扫描电子显微镜下的投影面积，并直接用该投影面积作为分子筛粒径的二阶表示并由此开展分子筛粒径的统计。
9.一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，系统包括：
样本库构建模块，配置为获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；
分割标注模块，配置为对样本库构建模块所构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；
模型构建模块，配置为构建Mask RCNN实例分割模型；
模型训练模块，配置为利用分割标注模块得到的SEM图像实例分割数据集对模型构建模块所构建的Mask RCNN实例分割模型进行模型训练及参数调整；
实例分割模块，配置为利用模型训练模块训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割；
粒径计算模块，配置为根据实例分割模块得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。
10.根据权利要求9所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，样本库构建模块进一步配置为：
先将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本；
其中SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，SEM图像以灰度图像为主但不限于灰度图像，操作文件中具有相应的比例尺信息。
11.根据权利要求9所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，分割标注模块进一步配置为：
首先，从样本库构建模块所构建的SEM图像样本库中，随机选取用于构建有标签的样本，将所有样本分为训练集和测试集；
然后，对SEM图像中的分子筛采用多边形的方式标注其轮廓，在标注过程中对SEM中分子筛进行分类；
最后，完成实例分割标注的标签存储为json文件且以图片为基准，将所有图片的json文件统一转化成为COCO数据集格式的json文件并与对应的SEM图像对应归置。
12.根据权利要求9所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，模型构建模块进一步配置为其构建的模型中设置的多分支神经网络包括带有特征金字塔网络的ResNet101特征提取网络、区域提议网络、感兴趣区域层、分类与边框分支、掩码分支，特征金字塔网络用于提高实例分割网络的整体分割精度。
13.根据权利要求12所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，主干特征提取网络采用ResNet101和特征金字塔网络相结合的形式，设置输出通道n维；其中ResNet101表示隐藏层数为101的残差神经网络且去掉全连接层，特征金字塔网络在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征在保留相应分辨率的基础上兼具有较强的语义信息；
区域提议网络与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制去除重叠的区域提议；
感兴趣区域层采用ROI Align从主干特征提取网络和区域提议网络获取候选区域特征并向分类与边框分支输出7×7的采样特征，向掩码分支输出14×14的采样特征；
分类与边框分支由卷积神经网络实现，利用卷积神经网络对经过ROIAlign处理后的候选区域进行分子筛类别分类与边框回归；
掩码分支由全卷积神经网络实现，利用全卷积神经网络对经过ROI Align处理后的候选区域进行掩码回归；
在图像预处理过程中将图像进行统一放缩。
14.根据权利要求13所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，模型训练模块进一步配置为：
模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调；
在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化
L＝Lcls+Lbox+Lmask
其中，Lcls是分类损失，Lbox是边框损失,Lmask是掩码损失，在网络优化中引入两阶段的学习率调整策略。
15.根据权利要求13所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，实例分割模块进一步配置为：训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，得到相应的分子筛实例分割输出以及相关的分类信息。
16.根据权利要求9所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，粒径计算模块进一步配置为：
根据SEM图像分子筛实例分割中的掩码信息计算相应分子筛在SEM图像中的像素大小：areamask，其单位为像素个数；
从SEM图像相应的操作文件中获取图像中比例尺scale，从SEM图像中获取实际比例尺在SEM图像中对应的像素大小scalepixel，从而将相应分子筛像素大小换算为实际大小：
Figure FDA0002905741380000061
SEM图像中相应分子筛的实际大小即为其在扫描电子显微镜下的投影面积，并直接用该投影面积作为分子筛粒径的二阶表示并由此开展分子筛粒径的统计。
17.一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，包括：
处理器；以及
存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，
其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如权利要求1至8中任一项所述的方法。
18.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计算装置执行时，使得计算装置进行如权利要求1至8中任一项所述的方法。
CN202110070200.4A 2021-01-19 2021-01-19 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统 Active CN112651989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110070200.4A CN112651989B (zh) 2021-01-19 2021-01-19 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110070200.4A CN112651989B (zh) 2021-01-19 2021-01-19 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统

Publications (2)

Publication Number Publication Date
CN112651989A true CN112651989A (zh) 2021-04-13
CN112651989B CN112651989B (zh) 2024-01-19

Family

ID=75370579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110070200.4A Active CN112651989B (zh) 2021-01-19 2021-01-19 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统

Country Status (1)

Country Link
CN (1) CN112651989B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159231A (zh) * 2021-05-21 2021-07-23 华东理工大学 基于残差网络的分子筛sem图像分类方法和系统
CN114540469A (zh) * 2022-01-11 2022-05-27 深圳大学 一种基于非均一体积液滴和图像处理的数字核酸定量方法
CN115471713A (zh) * 2022-10-27 2022-12-13 成都理工大学 基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法
WO2024125053A1 (zh) * 2022-12-12 2024-06-20 常州微亿智造科技有限公司 基于自监督网络的工业缺陷检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110895810A (zh) * 2019-10-24 2020-03-20 中科院广州电子技术有限公司 基于改进Mask RCNN的染色体图像实例分割方法及装置
CN111862119A (zh) * 2020-07-21 2020-10-30 武汉科技大学 基于Mask-RCNN的语义信息提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110895810A (zh) * 2019-10-24 2020-03-20 中科院广州电子技术有限公司 基于改进Mask RCNN的染色体图像实例分割方法及装置
CN111862119A (zh) * 2020-07-21 2020-10-30 武汉科技大学 基于Mask-RCNN的语义信息提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岑海燕;朱月明;孙大伟;翟莉;万亮;麻志宏;刘子毅;何勇;: "深度学习在植物表型研究中的应用现状与展望", 农业工程学报, no. 09 *
黄海松;魏中雨;姚立国;: "基于深度学习的零件实例分割识别研究", 组合机床与自动化加工技术, no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159231A (zh) * 2021-05-21 2021-07-23 华东理工大学 基于残差网络的分子筛sem图像分类方法和系统
CN113159231B (zh) * 2021-05-21 2024-04-23 华东理工大学 基于残差网络的分子筛sem图像分类方法和系统
CN114540469A (zh) * 2022-01-11 2022-05-27 深圳大学 一种基于非均一体积液滴和图像处理的数字核酸定量方法
CN115471713A (zh) * 2022-10-27 2022-12-13 成都理工大学 基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法
CN115471713B (zh) * 2022-10-27 2023-05-30 成都理工大学 基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法
WO2024125053A1 (zh) * 2022-12-12 2024-06-20 常州微亿智造科技有限公司 基于自监督网络的工业缺陷检测方法和系统

Also Published As

Publication number Publication date
CN112651989B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN112651989B (zh) 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统
CN112884791B (zh) 一种构建大规模遥感影像语义分割模型训练样本集的方法
CN111968095B (zh) 一种产品表面缺陷检测方法及系统及装置及介质
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN111339902B (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN110245697B (zh) 一种表面脏污检测方法、终端设备及存储介质
Kheradmand et al. Inner cell mass segmentation in human hmc embryo images using fully convolutional network
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN116539619B (zh) 产品缺陷检测方法、系统、装置及存储介质
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN114266988A (zh) 基于对比学习的无监督视觉目标跟踪方法及系统
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN112085017A (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN117576038A (zh) 基于YOLOv8网络的织物瑕疵检测方法及系统
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN115578585A (zh) 工业图像异常检测方法、系统、计算机设备和存储介质
CN114998360A (zh) 一种基于SUnet算法的脂肪细胞祖细胞分割方法
CN113763384A (zh) 工业质检中的缺陷检测方法、缺陷检测装置
CN117456272A (zh) 一种基于对比学习的自监督异常检测方法
CN112200264A (zh) 基于散射复用的高通量免成像分类方法与装置
CN110363198B (zh) 一种神经网络权重矩阵拆分与组合的方法
CN116309343A (zh) 一种基于深度学习的缺陷检测方法、装置和存储介质
CN113435389B (zh) 基于图像特征深度学习的小球藻和金藻分类识别方法
CN113705531B (zh) 一种基于显微成像的合金粉末夹杂物的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant