CN109948712A - 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法 - Google Patents

一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法 Download PDF

Info

Publication number
CN109948712A
CN109948712A CN201910220569.1A CN201910220569A CN109948712A CN 109948712 A CN109948712 A CN 109948712A CN 201910220569 A CN201910220569 A CN 201910220569A CN 109948712 A CN109948712 A CN 109948712A
Authority
CN
China
Prior art keywords
particle
cnn
image
mask
nano particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910220569.1A
Other languages
English (en)
Inventor
张芳
张乾
肖志涛
耿磊
吴骏
刘彦北
王雯
吴玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201910220569.1A priority Critical patent/CN109948712A/zh
Publication of CN109948712A publication Critical patent/CN109948712A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进的Mask R‑CNN的纳米颗粒尺寸测量方法,该方法包括:1)收集球形和棒状的纳米颗粒图像制作数据集;2)改进Mask R‑CNN并训练,利用改进的Mask R‑CNN对纳米颗粒进行分割;3)像素标定获得图像中每个像素对应的实际尺寸;4)对纳米颗粒边界进行拟合;5)测量颗粒的粒径参数。本发明方法利用了深度学习技术,可以在大样本情况下训练模型,自动提取图像中的颗粒特征,将复杂的目标分割问题转为权重参数,步骤简单,鲁棒性高,解决了传统方法分割不准确的问题,提高了纳米颗粒测量的准确度。

Description

一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法
技术领域
本发明涉及一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,用于纳米颗粒尺寸的测量,在准确性方面比传统算法更优,属于图像处理、深度学习领域。
背景技术
纳米技术广泛应用于催化科学、医学药物、新材料、电力工业和复合材料等产业,在整个高科技领域有着重要的地位。由于纳米材料的很多特性都与其颗粒粒径的大小、形态等微观结构有着重要的关系,所以纳米材料微观结构的表征对认识纳米材料的特性、寻求纳米材料的应用领域、推动纳米材料的发展有着重要的作用,而纳米颗粒的尺寸测量是其中的关键技术。目前对于纳米颗粒尺寸测量的方法有动态光散射、X射线衍射线线宽法、X射线小角散射法和透射电镜法等方法。其中借助透射电子显微镜TEM可以观察到颗粒大小的分布情况以及颗粒形貌特征,是颗粒度观察测定的可靠方法。
基于图像处理技术对纳米颗粒图像进行处理和分析,是纳米颗粒尺寸测量的重要方法,其中颗粒个体分割是颗粒尺寸测量的关键步骤。由于纳米颗粒自身的特性造成拍摄得到的图像中会出现颗粒团聚粘连的现象,此外图像中的噪声会弱化颗粒边缘。为了能够准确分割出粘连纳米颗粒以及弱边缘纳米颗粒,分割的准确性将直接影响到拟合测量的精度,因此准确分割颗粒个体至关重要。在图像目标分割方面,传统方法主要有阈值分割法、区域生长法、边缘检测法、基于水平集的分割方法等等。张博等提出了基于背景校正和图像分割定量分析的方法,对图像进行预处理后,使用最大类间方差法分割出目标与背景。Li等人提出了基于水平集的分割模型DRLSE模型,Chan和Vese提出了CV模型,但这两个分割模型对具有弱边缘目标的粘连颗粒图像分割效果并不理想。基于深度学习的图像分割算法近年来在图像分割领域得到了快速发展。传统的图像分割算法需要人为设计特征提取方法,不仅设计困难、步骤复杂,而且鲁棒性不好。
深度学习可以在大样本情况下训练模型,自动提取物体特征,将复杂问题转化为权重参数,以数学概率的模式来描述图像的目标。常用的基于深度学习的图像分割网络包括全卷积神经网络、SegNet网络、U-Net网络和Mask R-CNN网络等。Mask R-CNN网络可以用来做目标检测、目标分类以及目标实例分割,使用ResNet50和ResNet101作为特征提取部分,在标签分类和检测框回归的网络分支基础上,并行地增加一个对每个感兴趣区域的预测分割掩码的网络分支。目前应用车辆检测、行人检测和目标分割中。本发明根据纳米颗粒的形态特征,以及纳米颗粒存在粘连现象的特征,采用改进的Mask R-CNN网络对纳米颗粒图像进行分割。
本发明针对球形纳米颗粒以及棒状纳米颗粒进行测量,准确测量球形纳米颗粒以及棒状纳米颗粒的参数尺寸,为微纳米颗粒制备工艺和研究颗粒特性提供了参考依据。
发明内容
本发明提出了一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,该方法引进了DenseNet结构,将原Mask R-CNN网络特征提取部分的ResNet替换为DenseNet结构,能更好地提取、传递纳米颗粒的特征,有效提高颗粒的分类准确性;引进了归一化层,在Mask R-CNN网络结构的卷积层后面加入归一化层,BN层加快了网络的收敛,提升了网络的训练速度,有效防止了因数据维度的不同而带来的差异及错误,有效解决了过拟合问题中的参数选择问题,提升网络的鲁棒性,并提升训练的精度;引入了ArcfaceLoss损失函数,采用ArcfaceLoss损失函数代替传统的Softmax,增加类内距离的约束,使学习到的特征更具有区分性;引进了半隐式偏微分方程PDE对分割后的颗粒外轮廓边缘坐标点进行滤波处理,用以平滑颗粒边缘;用训练好的网络模型对纳米颗粒进行分割,将分割结果与标注的真值图进行比较,结果可得,该网络避免了复杂的传统检测方法,测得的纳米颗粒的准确率极高。实现本发明的技术方案,包括下列步骤:
步骤1:收集球形和棒状的纳米颗粒图像制作数据集,由于没有公开的纳米颗粒图像库,需要使用LabelMe图形标注工具手动标出训练样本的颗粒区域,每张图像都有对应目标有效区域的标准二值图像,以便后续将测试结果与标注的真值图进行比较;
步骤2:改进Mask R-CNN网络的整体框架,将原Mask R-CNN网络特征提取部分的ResNet替换为DenseNet结构,在卷积层的后面加入归一化层BN,对输出的特征进行归一化处理,将原Mask R-CNN的类别损失函数即基于Softmax的交叉熵损失函数替换为ArcfaceLoss损失函数,用验证集对改进的Mask R-CNN进行调参,并用改进的Mask R-CNN对测试集进行测试;
步骤3:像素标定:首先从待测量的纳米颗粒图像中提出左下角标尺部分的图像作为感兴趣区域,二值化并取反,然后对二值图像进行区域标记,找到长度最大矩形即为标尺所在的区域,根据标尺长边的实际长度L和标尺长边的像素个数N,计算得到图像中每个像素的实际尺寸k=L/N;
步骤4:对纳米颗粒边界进行拟合,对于球形纳米颗粒以及侧面投影为圆形形态的棒状纳米颗粒,采用其边缘的拟合圆进行描述,其中,对于残缺的颗粒,使用其残缺轮廓进行拟合,残缺轮廓分为有效轮廓和无效轮廓,无效轮廓会影响残缺颗粒轮廓的拟合,需要剔除,对于侧面投影为椭圆形态的棒状纳米颗粒,则采用其类椭圆边界的外接矩形进行描述;
步骤5:测量颗粒的粒径参数,将球形纳米颗粒拟合得到的圆形边缘的直径作为其粒径,对棒状纳米颗粒的底面在图像上的投影为圆形的图像,测量其边缘拟合圆的直径,对棒状纳米颗粒侧面在图像上的投影为椭圆形的图像,测量椭圆形的长短径。
与现有技术相比,本发明的有益效果是:
通过深度学习方法,避免了复杂的图像处理过程,解决了传统方法对具有弱边缘目标的粘连颗粒图像分割效果不理想的问题,且对新样本的适应能力强,可以实现高精度分类。
另外,与传统算法相比,不仅简化了图像处理过程,其准确率达到0.96,高于U-Net网络和原Mask R-CNN的精确率。测试结果表明,本发明对纳米颗粒尺寸具有良好的测量效果。
附图说明
图1本发明的总体框架示意图;
图2改进的Mask R-CNN网络整体框架;
图3 DenseNet网络结构;
图4二维二分类情况下两种损失函数的对比示意图;
图4(a)为Softmax损失函数;
图4(b)为Arcface损失函数;
图5球形纳米颗粒的边缘拟合过程;
图6不完整的颗粒区域;
图7从不完整颗粒中得到有效轮廓;
图7(a-1)为网络输出轮廓示例一;
图7(a-2)为示例一的有效轮廓;
图7(b-1)为网络输出轮廓示例二;
图7(b-2)为示例二的有效轮廓;
图8棒状纳米颗粒的边缘拟合过程;
图9棒状纳米颗粒最小外接矩形拟合结果。
具体实施方式
下面结合具体实施方式对本发明作进一步详细地描述。
本发明的总体框架示意图如图1所示,首先,由于没有公开的纳米颗粒图像库,所以需要收集球形和棒状的纳米颗粒图像制作数据集、使用LabelMe图形标注工具手动标出训练样本的颗粒区域;引进DenseNet结构、归一化层以及Arcface Loss损失函数对Mask R-CNN网络的整体框架进行改进,用验证集对改进的Mask R-CNN进行调参,并用改进的MaskR-CNN对测试集进行测试;对纳米颗粒边界进行拟合,针对不同的纳米颗粒采用不同的拟合方法;测量颗粒的粒径参数,将球形纳米颗粒拟合得到的圆形边缘的直径作为其粒径,对棒状纳米颗粒的底面在图像上的投影为圆形的图像,测量其边缘拟合圆的直径,对棒状纳米颗粒侧面在图像上的投影为椭圆形的图像,测量椭圆形的长短径,将测量结果与专家指导的标注图像比对,检验该网络对纳米颗粒尺寸测量的性能。
下面结合附图,对本发明技术方案的具体实施过程加以说明。
1.实验对象
对于球形纳米颗粒采用160张960×640像素大小的图像作为训练集,20张图像作为验证集,20张图像作为测试集,对于棒状纳米颗粒采用240张960×640像素大小的图像作为训练集,30张图像作为验证集,30张图像作为测试集训练集、验证集和测试集中的图像均不重复,由于没有公开的纳米颗粒图像库,需要使用LabelMe图形标注工具手动标出训练样本的颗粒区域。实验数据是使用这些标注的二值图像与网络分割结果进行对比得到的。
2.改进的Mask R-CNN网络
2.1改进网络的整体框架
针对棒状纳米颗粒图像中侧面投影和底面投影的形态相似、类间差异小的问题,提出改进的Mask R-CNN网络结构,训练出一个泛化能力较强的模型,提升准确率。改进网络的整体框架如图2所示。
首先,将原Mask R-CNN网络特征提取部分的ResNet替换为DenseNet结构,以更好地提取颗粒特征;其次,在卷积层的后面加入归一化层BN,对输出的特征进行归一化处理,以提升网络收敛速度;最后,为了提高分类准确性,将原Mask R-CNN的类别损失函数即基于Softmax的交叉熵损失函数替换为Arcface Loss损失函数。
2.2 DenseNet结构
Mask R-CNN对球状纳米颗粒图像具有较好的分割效果,可以将球状纳米颗粒与背景有效分开,并对每个颗粒分割输出掩码,但对棒状纳米颗粒的分割效果欠佳。这是由于棒状纳米颗粒的底面投影为圆形,侧面为椭圆形,因此在图像中存在两类形状较为相似、类间特征差异较小的目标,虽然Mask R-CNN能区分颗粒区域与背景区域,但对两类目标的分类效果不佳。为了更好地提取颗粒特征信息,本专利使用DenseNet替换ResNet结构。
在DenseNet中,每个层都会与前面所有层在通道维度上连接在一起(这里各个层的特征图大小是相同的),并作为下一层的输入,如图3所示。对于一个L层的网络,DenseNet共包含L(L-1)/2个连接。图3中Dense Block模块输出定义如下:
x1=Hl[x0,x1,…,xl-1]
其中,x1表示该模块的输出,[x0,x1,…,xl-1]表示将0到l-1层的输出特征图做通道合并,Hl包括归一化层、ReLU激活函数和3×3的卷积。而且DenseNet是直接连接来自不同层的特征图,这可以实现特征重用,提升效率,这一特点是DenseNet与ResNet最主要的区别。
因此,采用DenseNet网络的主要优势为:
(1)削弱了梯度消失问题;
(2)加强了层与层之间特征的传递;
(3)相比与ResNet,更加充分地挖掘特征信息;
(4)一定程度上减少了参数数量,降低了计算量。
因此,DenseNet层能更好地提取、传递纳米颗粒的特征,有效提高颗粒的分类准确性。
2.3批量归一化层
在实际训练过程中,Mask R-CNN网络训练较为缓慢,这与前层网络提取到的特征分布范围不统一有一定的关系。如果每批训练数据的分布各不相同,网络就要在每次迭代时都去学习适应不同的分布,这样将会大大降低网络的训练速度。另一方面,一旦训练数据与测试数据的分布不同,网络的泛化能力也大大降低。因此,在前一层数据进入下一层网络之前,需要对数据做归一化预处理。批量归一化层即BN层可调整数据的分布,提升网络的训练速度。
BN层主要解决卷积层输出的特征在维度上的差异问题。BN网络层对输入的特征向量进行归一化处理,归一化后的数据特征分布符合均值为0、方差为1,使特征处于同一维度,消除量纲差异。
其中,y(k)表示这一层的输出,γ(k)、β(k)是网络的学习参数,x(k)为输入特征,为标准化处理后的输入特征,k=1,2,...,d,μ和σ分别是样本均值和方差,ε是防止分母为0引入的参数,d是维度。
BN层主要优点如下:
(1)加快网络的收敛,提升网络的训练速度;
(2)有效防止因数据维度的不同而带来的差异及错误;
(3)有效解决过拟合问题中的参数选择问题,提升网络的鲁棒性,并提升训练的精度。
因此,本发明在卷积层后面加入BN层,对特征进行归一化处理后再传入到RPN层,如图2中的橘色部分所示。
2.4损失函数
Mask R-CNN选择的是基于Softmax的交叉熵损失函数,但传统的Softmax仍存在着很大的类内距离,间接导致棒状颗粒图像中存在的椭圆形和圆形两种形态颗粒类间差异较小,测试分类效果较差。针对这一问题,采用ArcfaceLoss损失函数,增加类内距离的约束,使学习到的特征更具有区分性。ArcfaceLoss函数的定义如下:
其中,θyl是输入向量与权重在超平面中的夹角,s是超球面的半径,m是类别数。图4是二维二分类情况下两种损失函数的对比示意图,图中横纵坐标分别是角度θ1和θ2。ArcfaceLoss直接在角度空间中最大化分类界限,缩小了同类样本间的类内距离,扩大了异类样本间的类间距离。
3.像素标定
在依据图像测量尺寸的过程中,需要将图像的像素级尺寸转化为目标的实际几何尺寸,必须要建立图像中的像素尺寸与待测目标真实尺寸之间的对应关系,即需要计算出待测量图像中一个像素点所代表的真实尺寸。TEM图像中的标尺具有一些特点,如标尺的灰度值接近0、标尺处在图像左下角一定的范围内、标尺的形状为长条的矩形等,本发明根据这些特点提取标尺并进行标定。首先从待测量的纳米颗粒图像中提出左下角标尺部分的图像作为感兴趣区域,二值化并取反,然后对二值图像进行区域标记,找到长度最大矩形即为标尺所在的区域,根据标尺长边的实际长度L和标尺长边的像素个数N,计算得到图像中每个像素的实际尺寸。本发明标尺部分的长度为N=576像素,实际长度为L=100nm,根据k=L/N,计算得到k=0.1736nm/像素。在得到了系统标定参数后,就可以将图像测量的尺寸参数等转化为具有物理意义的实际值。
4.边缘拟合
经过Mask R-CNN网络对纳米颗粒图像进行实例分割,得到每个颗粒的掩码图,进而可获取每个颗粒的外轮廓。若要测量纳米颗粒的尺寸参数,首先需要检测纳米颗粒的几何特征。对于球形纳米颗粒,采用其边缘的拟合圆进行描述。对于棒状纳米颗粒的侧面投影,采用其类椭圆边界的外接矩形进行描述。由于棒状和球形的纳米颗粒投影不同,因此采用不同的拟合方案对其轮廓进行拟合。
4.1球形纳米颗粒
如图5所示为球形纳米颗粒的边缘拟合过程,由于网络分割后得到的颗粒边缘不平滑,直接对其进行边缘拟合会增加后续的测量误差。因此需要对颗粒边缘进行滤波平滑;然后根据分割后的边缘圆度对颗粒边缘曲线进行分类,将其分为完整的圆边缘和不完整的圆边缘,对于完整的圆边缘直接进行圆拟合,对于不完整的圆边缘,首先需要基于边缘的形状特征提取有效边缘,然后对有效边缘进行圆拟合。
经过网络分割后得到的轮廓,共可分为两类,完整的颗粒轮廓和残缺的颗粒轮廓,残缺的颗粒包括图像边界处的颗粒和粘连后分割得到的不完整颗粒。假设分割后得到的球形颗粒轮廓为Contouri{i∈[1,N]},其中N为颗粒个数,求颗粒的圆度利用下列公式:
其中,Areai为颗粒的面积,Perimeteri为颗粒的周长,Circularityi为颗粒的圆度,且Circularityi∈[0,1]。根据下式进行分类。
其中,classifyi为分类结果,c1为残缺的颗粒,c2为完整的颗粒,Thres为圆度分类阈值,经过实验选择Thres=0.8。
对于残缺的颗粒,使用其残缺轮廓进行拟合,如图6所示。图6中,假设红色部分为残缺颗粒的轮廓,r4区域内的轮廓即为边界处或者粘连边缘,此为无效轮廓,r1、r2、r3区域内的轮廓为有效轮廓,若不去除无效轮廓,则无效轮廓会影响残缺颗粒轮廓的拟合。因此,首先需要区分出有效轮廓和无效轮廓,然后剔除无效轮廓,具体步骤如下:
1)求出轮廓的外接矩形,以宽度w分割出4个区域r1、r1、r2、r3;
2)统计出各个区域中轮廓上的像素点数Li,假设pk为轮廓上的点,
3)伪颗粒边缘(如图6中r4区域内的边缘)一般较为平滑,曲率较小,故落在该区域内的点数较多,当边缘上的像素点数大于该边所在区域长度的二分之一时,判断其为伪颗粒边缘,从颗粒边界线中去除掉对应区域内的边缘点;
4)如图7中的(a-2)、(b-2)所示,提取到颗粒的有效边缘后,利用有效轮廓进行圆拟合。
4.2棒状纳米颗粒
在棒状纳米颗粒图像中,颗粒在图像上的投影有两种形态:圆形和椭圆形。首先需要对颗粒形态进行分类。在制作训练样本时,对颗粒图像中的圆形与椭圆形进行分类标记,训练好模型后,对棒状纳米颗粒图像中的颗粒进行分类,根据分类结果针对不同形态分别进行拟合。棒状纳米颗粒的边缘拟合过程如图8所示。
对于棒状纳米颗粒图中的圆形形态,其测量方法见4.1节所示。对于椭圆形态,使用颗粒区域的最小外接矩形对其进行评价。
假设棒状颗粒的最小外接矩形的长边与水平方向的角度为0°,则求该颗粒的最小外接矩形时,根据下式
其中,(ri,ci)属于轮廓上的点,则最小外接矩形的参数为:
其中,θ为最小外接矩形的角度,(xc,yc)为最小外接矩形的中心,L1、L2分别为最小外接矩形的长短边。对于实际情况下的纳米颗粒,其角度各异,故需要将其旋转到0度,然后求最小外接矩形。假设轮廓上一点(ri,ci),其绕中心点(rb,cb)旋转,旋转角为α,中心点采用轮廓的重心,如下式所示
旋转后对应坐标点(rk,ck)为:
设置旋转角度的步长Δα=1°,依次将每个旋转角度下的轮廓点进行旋转,根据上式求旋转后的最小外接矩形,并计算其面积Areaα
依次迭代完360°后,筛选出最小面积的外接矩形,此时θ=θm,根据Areaα以及下式可求出该轮廓的最小外接矩形。
根据上述方法,对棒状纳米颗粒网络分割后的椭圆形轮廓求取最小外接矩形,对圆形轮廓按照4.1节的球形纳米颗粒的拟合方法进行圆拟合,结果如图9所示。
5.参数测量结果分析
本发明以颗粒边界的拟合圆直径作为球状颗粒的直径用于统计颗粒大小,以棒状颗粒的外接矩形长宽作为棒状颗粒的粒径用于统计颗粒大小。为了评估测量结果的准确性,采用Image J软件手动测量的结果作为标准与实验测量的结果进行比较,为减小手动测量产生的随机误差,采用5次测量结果的均值作为标准数据。
共测量对比了200个球形纳米颗粒的直径,平均相对误差为0.94%,对于测量颗粒粒径的目标平均相对误差为5%,所以测量结果在允许误差要求范围内,能够满足需要。部分球形纳米颗粒直径的测量结果如表1所示,MM为本发明方法测量结果,AE为绝对误差,RE为相对误差。在这里,将本发明测量结果与基于水平集方法的测量结果进行对比,其中基于水平集的方法仅能测量单个球形纳米颗粒的直径,没有测量粘连球形纳米颗粒的尺寸参数。具体统计结果如表2所示,其中N为颗粒个数,MFE为平均相对误差,TE为目标误差。从表中数据可以看出,本发明采用的基于深度学习的颗粒尺寸测量方法优于水平集方法。
表1部分球形纳米颗粒直径的测量结果
表2球形纳米颗粒直径测量统计结果对比
共测量对比了200个棒状纳米颗粒的长短边,部分棒状纳米颗粒的参数测量结果如表3所示。表4中的统计结果表明Image J软件选点测量结果和用本发明方法进行测量的结果的平均相对误差为1.24%,测量结果在允许误差要求范围内。同样与水平集方法进行对比,本发明具有明显的优势。
表3部分棒状纳米颗粒参数测量结果
表4棒状纳米颗粒参数测量统计结果对比
通过与用Image J软件进行五次手动测量取平均值的结果进行对比,使用本发明对球状纳米颗粒粒径测量结果的平均相对误差小于1.5%,对棒状纳米颗粒边长测量结果的平均相对误差小于1%。综上所述,本发明提出的一种基于改进的Mask R-CNN分割的纳米颗粒参数测量方法能实现球形和棒状纳米颗粒尺寸参数的准确测量,准确度高。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (6)

1.一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,包括下列步骤:
步骤1:收集球形和棒状的纳米颗粒图像作为样本数据并对颗粒区域进行标注;
步骤2:用改进的Mask R-CNN网络对纳米颗粒进行分割;
步骤3:对图像像素进行标定,首先从待测量的纳米颗粒图像中提出标尺部分的图像作为感兴趣区域,二值化并取反,然后对二值图像进行区域标记,找到长度最大矩形即为标尺所在的区域,根据标尺长边的实际长度L和标尺长边的像素个数N,计算得到图像中每个像素的实际尺寸L/N;
步骤4:对纳米颗粒边界进行拟合,对于球形纳米颗粒采用颗粒边缘的拟合圆进行描述,对于棒状纳米颗粒,采用颗粒类椭圆边界的外接矩形进行描述;
步骤5:测量颗粒的粒径参数,将球形纳米颗粒拟合得到的圆形边缘的直径作为其粒径,对棒状纳米颗粒测量其边界外接矩形的长和宽作为其粒径。
2.根据权利要求1所述一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,其特征在于,步骤1中,使用LabelMe图形标注工具手动标出训练样本的颗粒区域,得到纳米颗粒标准二值图像。
3.根据权利要求1所述一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,其特征在于,步骤2中,对Mask R-CNN网络进行改进,将原Mask R-CNN网络特征提取部分的ResNet替换为DenseNet结构,削弱梯度消失问题,加强层与层之间特征的传递。
4.根据权利要求1所述一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,其特征在于,步骤2中,对Mask R-CNN网络进行改进,在Mask R-CNN网络结构的卷积层后面加入批量归一化层BN,对输出的特征进行归一化处理:
其中,y(k)表示这一层的输出,γ(k)、β(k)是网络的学习参数,x(k)为输入特征,为标准化处理后的输入特征,k=1,2,...,d,μ和σ分别是样本均值和方差,ε是防止分母为0引入的参数,d是维度。
5.根据权利要求1所述一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,其特征在于,步骤2中,对Mask R-CNN网络进行改进,采用ArcfaceLoss损失函数,增加类内距离的约束,使学习到的特征更具有区分性,ArcfaceLoss函数的定义如下:
其中,θyi是输入向量与权重在超平面中的夹角,s是超球面的半径,m是类别数。
6.根据权利要求1所述一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法,其特征在于,步骤4中,对于残缺的颗粒,剔除影响边缘拟合的无效轮廓,保留有效轮廓,利用有效轮廓对颗粒边缘进行拟合,剔除无效轮廓的步骤为:
6.1求出轮廓的外接矩形,以宽度w分割出4个区域r1、r2、r3、r4;
6.2统计出各个区域中轮廓上的像素点数;
6.3计算边缘上的像素点数与该边所在区域长度的比值r,将r>0.5的边缘作为无效的伪颗粒边缘并从颗粒边界线中去除掉对应区域内的边缘点。
CN201910220569.1A 2019-03-20 2019-03-20 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法 Pending CN109948712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910220569.1A CN109948712A (zh) 2019-03-20 2019-03-20 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910220569.1A CN109948712A (zh) 2019-03-20 2019-03-20 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法

Publications (1)

Publication Number Publication Date
CN109948712A true CN109948712A (zh) 2019-06-28

Family

ID=67011202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910220569.1A Pending CN109948712A (zh) 2019-03-20 2019-03-20 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法

Country Status (1)

Country Link
CN (1) CN109948712A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389090A (zh) * 2019-08-06 2019-10-29 哈尔滨工业大学 一种大口径反射镜表面颗粒污染物亚像素尺寸标定方法
CN110414492A (zh) * 2019-08-29 2019-11-05 广东工业大学 一种晶体材料图像识别方法及装置
CN110544260A (zh) * 2019-08-22 2019-12-06 河海大学 融合自学习语义特征与设计特征的遥感影像目标提取方法
CN110852317A (zh) * 2019-09-16 2020-02-28 浙江工业大学 一种基于弱边缘的小尺度目标检测方法
CN111067531A (zh) * 2019-12-11 2020-04-28 中南大学湘雅医院 一种伤口测量的方法及装置、存储介质
CN111402320A (zh) * 2020-03-17 2020-07-10 北京和众视野科技有限公司 一种基于深度学习的纤维截面直径检测方法
CN111444629A (zh) * 2020-04-15 2020-07-24 中国二冶集团有限公司 一种基于支持向量机的钢筋锈蚀参数预测方法
CN111707587A (zh) * 2020-06-04 2020-09-25 核工业北京地质研究院 一种粒度统计方法
CN111862044A (zh) * 2020-07-21 2020-10-30 长沙大端信息科技有限公司 超声图像处理方法、装置、计算机设备和存储介质
CN111860421A (zh) * 2020-07-30 2020-10-30 东北大学 一种基于Mask R-CNN网络的C-Mn钢组织识别方法
CN112926503A (zh) * 2021-03-23 2021-06-08 上海大学 一种基于矩形拟合的抓取数据集自动生成方法
CN113177949A (zh) * 2021-04-16 2021-07-27 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113537395A (zh) * 2021-08-09 2021-10-22 同济大学 一种基于眼底图像的糖尿病性视网膜病变图像识别方法
CN113533785A (zh) * 2021-07-22 2021-10-22 中国计量科学研究院 基于扫描电子显微镜的纳米线宽自适应测量方法及系统
CN113887309A (zh) * 2021-09-02 2022-01-04 华南理工大学 基于Mask R-CNN的淀粉颗粒识别方法
CN114626952A (zh) * 2022-01-28 2022-06-14 海南大学 一种新颖的鱼体形态学特征精准测量方法
CN114897816A (zh) * 2022-05-09 2022-08-12 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931277A (zh) * 2016-04-01 2016-09-07 天津工业大学 一种基于偏微分方程的纳米颗粒尺寸测量方法
GB201804082D0 (en) * 2018-03-14 2018-04-25 Five Ai Ltd Image annotation
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931277A (zh) * 2016-04-01 2016-09-07 天津工业大学 一种基于偏微分方程的纳米颗粒尺寸测量方法
GB201804082D0 (en) * 2018-03-14 2018-04-25 Five Ai Ltd Image annotation
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FANG ZHANG 等: "Super resolution reconstruction for medical image based on adaptive multi-dictionary learning and structural self-similarity", 《COMPUTER ASSISTED SURGERY》 *
张芳 等: "基于U-Net卷积神经网络的纳米颗粒分割", 《CNKI》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389090B (zh) * 2019-08-06 2022-03-11 哈尔滨工业大学 一种大口径反射镜表面颗粒污染物亚像素尺寸标定方法
CN110389090A (zh) * 2019-08-06 2019-10-29 哈尔滨工业大学 一种大口径反射镜表面颗粒污染物亚像素尺寸标定方法
CN110544260A (zh) * 2019-08-22 2019-12-06 河海大学 融合自学习语义特征与设计特征的遥感影像目标提取方法
CN110544260B (zh) * 2019-08-22 2020-06-30 河海大学 融合自学习语义特征与设计特征的遥感影像目标提取方法
CN110414492A (zh) * 2019-08-29 2019-11-05 广东工业大学 一种晶体材料图像识别方法及装置
CN110852317A (zh) * 2019-09-16 2020-02-28 浙江工业大学 一种基于弱边缘的小尺度目标检测方法
CN111067531A (zh) * 2019-12-11 2020-04-28 中南大学湘雅医院 一种伤口测量的方法及装置、存储介质
CN111402320A (zh) * 2020-03-17 2020-07-10 北京和众视野科技有限公司 一种基于深度学习的纤维截面直径检测方法
CN111444629A (zh) * 2020-04-15 2020-07-24 中国二冶集团有限公司 一种基于支持向量机的钢筋锈蚀参数预测方法
CN111444629B (zh) * 2020-04-15 2023-07-18 中国二冶集团有限公司 一种基于支持向量机的钢筋锈蚀参数预测方法
CN111707587A (zh) * 2020-06-04 2020-09-25 核工业北京地质研究院 一种粒度统计方法
CN111862044A (zh) * 2020-07-21 2020-10-30 长沙大端信息科技有限公司 超声图像处理方法、装置、计算机设备和存储介质
CN111860421A (zh) * 2020-07-30 2020-10-30 东北大学 一种基于Mask R-CNN网络的C-Mn钢组织识别方法
CN112926503A (zh) * 2021-03-23 2021-06-08 上海大学 一种基于矩形拟合的抓取数据集自动生成方法
CN113177949A (zh) * 2021-04-16 2021-07-27 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113177949B (zh) * 2021-04-16 2023-09-01 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113533785A (zh) * 2021-07-22 2021-10-22 中国计量科学研究院 基于扫描电子显微镜的纳米线宽自适应测量方法及系统
CN113537395A (zh) * 2021-08-09 2021-10-22 同济大学 一种基于眼底图像的糖尿病性视网膜病变图像识别方法
CN113887309A (zh) * 2021-09-02 2022-01-04 华南理工大学 基于Mask R-CNN的淀粉颗粒识别方法
CN113887309B (zh) * 2021-09-02 2024-04-30 华南理工大学 基于Mask R-CNN的淀粉颗粒识别方法
CN114626952A (zh) * 2022-01-28 2022-06-14 海南大学 一种新颖的鱼体形态学特征精准测量方法
CN114897816A (zh) * 2022-05-09 2022-08-12 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN114897816B (zh) * 2022-05-09 2024-06-14 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法

Similar Documents

Publication Publication Date Title
CN109948712A (zh) 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
US6947586B2 (en) Multi-neural net imaging apparatus and method
US7236623B2 (en) Analyte recognition for urinalysis diagnostic system
CN105913076B (zh) 基于深度方向波网络的极化sar图像分类方法
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN107622277B (zh) 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
CN115018828A (zh) 一种电子元器件的缺陷检测方法
CN108109160A (zh) 一种基于深度学习的免交互式GrabCut舌体分割方法
CN102324032B (zh) 一种基于极坐标系下灰度共生矩阵的纹理特征提取方法
US8351668B2 (en) System and method for automated particle imaging analysis
CN111524181B (zh) 一种基于扫描电镜图像分割的多孔材料孔洞自动测量方法
CN109242028A (zh) 基于2d-pca和卷积神经网络的sar图像分类方法
CN104182763A (zh) 一种基于花朵特征的植物种类识别系统
CN105138970A (zh) 基于空间信息的极化sar图像分类方法
Martinez et al. Use of decision tree models based on evolutionary algorithms for the morphological classification of reinforcing nano-particle aggregates
CN111914902B (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN108052886A (zh) 一种小麦条锈病菌夏孢子自动统计计数方法
Zhang et al. Spherical nanoparticle parameter measurement method based on Mask R-CNN segmentation and edge fitting
CN110210418A (zh) 一种基于信息交互和迁移学习的sar图像飞机目标检测方法
CN109461163A (zh) 一种用于磁共振标准水模的边缘检测提取算法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
Medda et al. Recognition and classification of urban shapes
CN113435460A (zh) 一种亮晶颗粒灰岩图像的识别方法
CN105894035B (zh) 基于sar-sift和dbn的sar图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190628

WD01 Invention patent application deemed withdrawn after publication