CN108961301A - 一种基于无监督逐像素分类的角毛藻图像分割方法 - Google Patents

一种基于无监督逐像素分类的角毛藻图像分割方法 Download PDF

Info

Publication number
CN108961301A
CN108961301A CN201810763944.2A CN201810763944A CN108961301A CN 108961301 A CN108961301 A CN 108961301A CN 201810763944 A CN201810763944 A CN 201810763944A CN 108961301 A CN108961301 A CN 108961301A
Authority
CN
China
Prior art keywords
image
pixel
chaetoceros
original image
unsupervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810763944.2A
Other languages
English (en)
Other versions
CN108961301B (zh
Inventor
郑海永
汤宁
顾肇瑞
俞智斌
郑冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201810763944.2A priority Critical patent/CN108961301B/zh
Publication of CN108961301A publication Critical patent/CN108961301A/zh
Application granted granted Critical
Publication of CN108961301B publication Critical patent/CN108961301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于无监督逐像素分类的角毛藻图像分割方法,包括如下步骤:利用GSDAM图像处理算法提取原始图像I0的角毛信息,得到角毛信息图像G,同时,利用Canny图像处理算法提取所述原始图像I0的细胞边缘,得到细胞边缘图像C;利用所述角毛信息图像G和所述细胞边缘图像C生成自动训练样本,选择出正样本和负样本;将所述正样本和所述负样本输入到DeepLab的深度卷积神经网络DCNN中进行逐个像素点的训练;将所述原始图像I0中未知标注像素输入到训练后的模型中,将所述未知标注像素区分为角毛藻目标和背景,得到最终分割结果图。本发明提供的分割方法能从原始显微图像中自动分割出角毛藻细胞,分割效果好,为后续角毛藻的识别及分类提供了良好的研究基础。

Description

一种基于无监督逐像素分类的角毛藻图像分割方法
技术领域
本发明涉及浮游生物图像处理及深度学习技术领域,特别涉及一种基于无监督逐像素分类的角毛藻图像分割方法。
背景技术
角毛藻是海洋浮游硅藻中最大的种属并广泛分布于世界各个海域。大部分角毛藻对碳循环和制氧有着重要作用,但少数角毛藻对海洋生态系统有着不良影响,甚至会引发赤潮。因此角毛藻种属间的识别和分类对维持海洋生态平衡有着重要的研究价值。
传统的依靠人力对浮游植物的识别往往费时费力,并且受专业知识和判断的影响,因此,浮游植物自动识别及分类成为海洋生物学家和海洋环境保护学家的首要任务。
然而,当前针对角毛藻显微图像的分割方法较少,并且传统的图像分割方法仅仅考虑了颜色、边缘和纹理等低级视觉信息,无法实现良好的分割效果,同时,考虑到角毛藻独特的生物特征,其人工标注难以获取。
发明内容
本发明提供一种基于无监督逐像素分类的角毛藻图像分割方法,以解决依靠人力识别角毛藻效率低,以及利用传统的图像分割方法分割效果不好等技术问题,本发明提供的分割方法能从原始显微图像中自动分割出角毛藻细胞,分割效果好,为后续角毛藻的识别及分类提供了良好的研究基础。
一种基于无监督逐像素分类的角毛藻图像分割方法,包括如下步骤:
S1:利用GSDAM图像处理算法提取原始图像I0的角毛信息,得到角毛信息图像G,同时,利用Canny图像处理算法提取所述原始图像I0的细胞边缘,得到细胞边缘图像C;
S2:利用所述角毛信息图像G和所述细胞边缘图像C生成自动训练样本,选择出正样本和负样本;
S3:将所述正样本和所述负样本输入到DeepLab的深度卷积神经网络DCNN中进行逐个像素点的训练;
S4:将所述原始图像I0中未知标注像素输入到训练后的模型中,将所述未知标注像素区分为角毛藻目标和背景,得到分割结果图,其中,所述未知标注像素是所述原始图像I0中除去所述正样本和所述负样本外的像素。
进一步地,所述步骤S1中利用GSDAM图像处理算法提取原始图像I0的角毛信息,得到角毛信息图像G,具体包括:
A1:所述原始图像I0的任意一个像素点A(i,j),其灰度为I(i,j),与所述像素点A(i,j)相邻的三个像素为B(i,j+1),C(i+1,j),和D(i+1,j+1),其中,所述B(i,j+1)对应的灰度为I(i,j+1),所述C(i+1,j)对应的灰度为I(i+1,j),所述D(i+1,j+1)对应的灰度为I(i+1,j+1),四个像素点对应在三维坐标空间中的四个点分别为:A′、B′、C′、D′,向量OA′与坐标轴x,y,z之间的三个方向角θ通过A′的法向量和其对应于灰度平面上的坐标得出:
k=x,y,z,式中,fk为法向量在k坐标轴上的值;
A2:基于θk得到三个特征图Mk,k=x,y,z,即将原始图像I0中所有像素点从方向角θk映射成灰度值:
式中,min(θk)为方向角θk的最小值,max(θk)为方向角θk的最大值;
A3:计算融合特征图Mxz和融合特征图Myzk=x,y;
A4:依次使用双边滤波和大律法移除所述融合特征图Mxz和所述融合特征图Myz的多余噪声并平滑边界,将所述融合特征图Mxz和所述融合特征图Myz进行逻辑与的操作,得到分割细胞的中间结果和角毛的中间结果;
A5:对所述分割细胞的中间结果和所述角毛的中间结果使用中值滤波去噪,使用形态学闭操作以平滑细胞边界并生成角毛信息图像G。
进一步地,所述步骤S1中利用Canny图像处理算法提取所述原始图像I0的细胞边缘,得到细胞边缘图像C,具体包括:
B1:利用Canny边缘检测算子检测所述原始图像I0中角毛藻细胞的边缘,得到图像I1
B2:对所述图像I1进行形态学腐蚀和膨胀方法得到初步的分割图像;
B3:滤除部分连通区域以减少所述初步的分割图像中的球状噪声细胞,得到细胞边缘图像C。
进一步地,所述步骤B3中滤除部分连通区域具体为:设置周长阈值Ct,当连通区域的周长小于所述周长阈值Ct时,滤除所述连通区域。
进一步地,步骤S2的具体方法为:
C1:通过所述原始图像I0的灰度图X={x0,x1,…,xN}计算其直方图H={h0,h1,…hL-1},其中,h(rk)=nk,k=0,1,…,L-1,式中,N为灰度图X的像素个数,L为灰度图X的灰度级,rk为第k级灰度值,nk为灰度值为rk的像素个数,xi(i=0,…,N)为灰度图中的每个像素,hi(i=0,…,L-1)为直方图H中不同灰度值的像素个数;
C2:对直方图H递减排序得到HS,定义自动训练样本生成函数为:
式中,(i,j)是每个像素点的位置,L(i,j)是(i,j)对应的标注,P为灰度图X中角毛信息图像G和细胞边缘图像C的值均等于1的所有像素点的位置,Q为HS中前m个灰度级,L(i,j)=1代表正样本,L(i,j)=0代表负样本。
进一步地,步骤S3使用的DCNN的损失函数为:式中,M为原始图像I0中训练样本个数,p为训练样本标注的分布,q为DCNN输出的分布。
进一步地,在步骤S4中将所述原始图像I0中未知标注像素输入到训练后的模型中,将所述未知标注像素区分为角毛藻目标和背景,得到分割结果图,具体包括:将所述原始图像I0分割为n×n个区域,将分割后的n×n个区域输入到训练后的模型中,将得到的区分所述n×n个区域的角毛藻目标和背景进行合并,得到分割结果图。
作为一种优选的技术方法,通过最大连通区域MCR方式降低所述分割结果图的噪声。
本发明提供了一种基于无监督逐像素分类的角毛藻图像分割方法,具有以下优点:
(1)在无需任何人工标注的情况下,通过无监督逐像素分类将角毛藻细胞从原始显微图像中自动地分割出来,为角毛藻的识别和分类的进一步研究提供了基础;
(2)结合传统图像分割方法和先进的深度学习框架用于无监督学习,并达到了比主流分割方法更好的分割效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图来获得其他的附图。
图1为本申请实施例提供的图像分割方法流程示意图;
图2为本申请实施例提供的像素点A、B、C、D对应在三维坐标空间中的四个点A′、B′、C′、D′的示意图;
图3为本申请实施例使用自动生成训练样本进行逐像素训练的示意图;
图4为本申请实施例构建的数据集示意图;
图5为本申请实施例的分割结果示意图;
图6为使用八种主流分割方法与本发明图像分割方法的分割结果对比图;
图7为在本发明方法后添加CRF与不加CRF的分割结果对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的组件或具有相同或类似功能的组件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是在本发明中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例:
本申请实施例为本申请的优选实施例。
如图1所示,一种基于无监督逐像素分类的角毛藻图像分割方法,包括如下步骤:
S1:利用GSDAM图像处理算法提取原始图像I0的角毛信息,得到角毛信息图像G,同时,利用Canny图像处理算法提取所述原始图像I0的细胞边缘,得到细胞边缘图像C;
本实施例中所述的原始图像I0为显微图像,GSDAM图像处理算法是指GrayscaleSurface Direction Angle Model,利用角毛固有的形态特征进行角毛提取的分割方法。
其中,利用GSDAM图像处理算法提取原始图像I0的角毛信息,得到角毛信息图像,具体为:
A1:如图2所示,所述原始图像I0的任意一个像素点A(i,j),其灰度为I(i,j),与所述像素点A(i,j)相邻的三个像素为B(i,j+1),C(i+1,j),和D(i+1,j+1),其中,所述B(i,j+1)对应的灰度为I(i,j+1),所述C(i+1,j)对应的灰度为I(i+1,j),所述D(i+1,j+1)对应的灰度为I(i+1,j+1),四个像素点对应在三维坐标空间中的四个点分别为:A′、B′、C′、D′,向量OA′与坐标轴x,y,z之间的三个方向角θ通过A′的法向量和其对应于灰度平面上的坐标得出:
k=x,y,z,式中,fk为法向量在k坐标轴上的值;
A2:基于θk得到三个特征图Mk,k=x,y,z,即将原始图像I0中所有像素点从方向角θk映射成灰度值:
式中,min(θk)为方向角θk的最小值,max(θk)为方向角θk的最大值;
即:针对每个点A′都计算得到三个方向角θk(k=x,y,z),将得到的三个方向角θk进行归一化后,缩放0-255,从而得到三个特征图Mk,k=x,y,z;
A3:计算融合特征图Mxz和融合特征图Myzk=x,y;
A4:依次使用双边滤波和大律法移除所述融合特征图Mxz和所述融合特征图Myz的多余噪声并平滑边界,将所述融合特征图Mxz和所述融合特征图Myz进行逻辑与的操作,得到分割细胞的中间结果和角毛的中间结果;
A5:对所述分割细胞的中间结果和所述角毛的中间结果使用中值滤波去噪,使用形态学闭操作以平滑细胞边界并生成角毛信息图像G。
在利用GSDAM图像处理算法提取原始图像I0的角毛信息的同时,利用Canny图像处理算法提取所述原始图像I0的细胞边缘,得到细胞边缘图像C,Canny图像处理算法将从低对比度、强噪声的原始图像I0中提取出细胞边缘,得到细胞边缘图像C,具体为:
B1:利用Canny边缘检测算子检测所述原始图像I0中角毛藻细胞的边缘,得到图像I1
B2:对所述图像I1进行形态学腐蚀和膨胀方法得到初步的分割图像;
B3:滤除部分连通区域以减少所述初步的分割图像中的球状噪声细胞,得到细胞边缘图像C。
在本实施例中,设置了周长阈值Ct为300,当连通区域的周长小于所述周长阈值Ct时,滤除所述连通区域,从而得到更加精确的细胞边缘图像C。
S2:利用所述角毛信息图像G和所述细胞边缘图像C生成自动训练样本,选择出正样本和负样本;
自动训练样本生成算法具体为:
C1:通过所述原始图像I0的灰度图X={x0,x1,…,xN}计算其直方图H={h0,h1,…hL-1},其中,h(rk)=nk,k=0,1,…,L-1,式中,N为灰度图X的像素个数,L为灰度图X的灰度级,rk为第k级灰度值,nk为灰度值为rk的像素个数,xi(i=0,…,N)为灰度图中的每个像素,hi(i=0,…,L-1)为直方图H中不同灰度值的像素个数;
C2:对直方图H递减排序得到HS,(Hs是对直方图H内的像素个数进行从大到小排序,不同的像素个数对应不同的灰度级)定义自动训练样本生成函数为:
式中,(i,j)是每个像素点的位置,L(i,j)是(i,j)对应的标注,P为灰度图X中角毛信息图像G和细胞边缘图像C的值均等于1的所有像素点的位置,Q为HS中前m个灰度级,L(i,j)=1代表正样本,L(i,j)=0代表负样本,所有的正负样本作为后续逐像素分类的训练样本,而其余未标注像素作为测试样本。
S3:如图3所示,将所述正样本和所述负样本输入到DeepLab(语义分割)的深度卷积神经网络DCNN中进行逐个像素点的训练;
DCNN的损失函数为:式中,M为原始图像I0中训练样本个数,p为训练样本标注的分布,q为DCNN输出的分布。
使用基于VGG-16的DeepLabLargeFOV网络,初始模型在ImageNet上进行预训练,考虑到可用的GPU内存有限,设定batch size为5,crop size为561。
S4:将所述原始图像I0中未知标注像素输入到训练后的模型中,将所述未知标注像素区分为角毛藻目标和背景,得到分割结果图,其中,所述未知标注像素是所述原始图像I0中除去所述正样本和所述负样本外的像素。
考虑到可用GPU内存限制,同时为了使分割结果达到原始图像的分辨率,将所述原始图像I0分割为900×900个区域,将分割后的900×900个区域输入到训练后的模型中进行测试,并将得到的区域分割结果进行合并,从而得到原始图像大小的分割结果,在本实施例中,通过最大连通区域MCR(Maximum Connected Region)方式降低所述分割结果的噪声。
下面将通过实验进一步验证本发明提供的基于无监督逐像素分类的角毛藻图像分割方法的有效性,包括主流图像分割方法与本发明图像分割方法的分割结果对比、本发明图像分割方法和全监督版本DCNN分割结果的对比、设定不同训练样本参数的结果对比、选择不同训练样本生成方法的结果对比及在本发明方法后添加CRF(conditional randomfield algorithm)条件随机场算法与不加CRF的分割结果对比。
本申请实施例构建了一个角毛藻数据集用于分割和评价,其中,该数据集中包含141张角毛藻显微图像及其对应的人工标注。人工标注用于提供对比不同分割方法分割效果好坏的基准。该数据集的所有图像包括了58种角毛藻,并且具有430×420到3600×2800的不同尺寸,保证了每种角毛藻至少含有一张图像。如图4所示,为本申请实施例构建的数据集示意图。
本申请实施例使用了六种评价指标对得到的分割结果进行客观评价,包括:Probabilistic Rand Index(PRI,越高越好)、Variation of Information(VoI,越低越好)、Global Consistency Error(GCE,越低越好)、Boundary Displacement Error(BDE,越低越好)、Segmentation Covering(SC,越高越好)和F1measure(越高越好)。
1)主流图像分割方法与本发明方法分割结果对比
如图5所示,使用本发明方法能够从原始显微图像中精确的提取大部分角毛并分割出整个角毛藻细胞;
如图6所示,使用八种主流分割方法与本发明图像分割方法进行比较,包括Otsu(大津法)、Canny(基于Canny的分割方法)、Watershed(分水岭法)、MS(Mean Shift,均值漂移法)、gPb-owt-ucm、NCut(Normalized Cut)、EG(Efficient Graph-based segmentationmethod)、GSDAM(Grayscale Surface Direction Angle Model,灰度方向角模型),视觉结果验证了本申请实施例方法能够取得有效且精准的角毛分割。
通过图6,可以看到,Otsu几乎不能处理噪音和杂质,大部分杂质被分割为目标。
基于边缘的分割方法(Canny和GSDAM)有更好的性能,但是角毛藻图像的低对比度特性使得提取边缘很困难,尤其是在角毛的末端,几乎不可见。Watershed、MS、EG、NCut和gPb-owtucm也具有同样的困难,细胞像素和背景像素的高相似性使得这些方法不能得到较好的效果。在运动模糊的情况下,几乎所有的方法都无法准确提取角毛部分。
表1为八种主流分割方法与本发明方法(Ours以及Ours(MCR))分割结果的客观比较。
表1 八种主流分割方法与本发明方法分割结果对比表
通过表1:PRI、VoI、F1measure、SC(G→S)和SC(S→G)的结果证明本发明方法优于主流分割方法。同时,在图像分割领域,一种分割方法很难在所有评价指标上都取得较好的结果,对于评价而言没有统一的指标,不同的评价指标具有不同的侧重点,因此具有不同的应用。对于角毛藻图像,角毛部分具有很长的边缘,并且在整幅图像中只占较少的像素点,角毛部分的欠分割会导致BDE评分较差,而对其余评价指标影响很小,因此BDE可以视为衡量角毛部分分割好坏的评价指标。通过结合GSDAM和Canny,本发明方法在BDE上的结果达到了为第二,这意味着本发明方法可以被应用于需要精细角毛分割的情况(如角毛藻细粒度分类),此外,经过MCR后,由于错误的去除了一些小而孤立的角毛像素,BDE评分变差。然而,由于去除了噪声,PRI、VoI和SC(S→G)在性能上有了一定的提升,这意味着本发明方法(MCR)适用于需要检测出角毛藻细胞位置的情况(如角毛藻检测和识别)。尽管本发明方法是无监督的,仍然取得了有竞争力的效果。
2)本发明方法和全监督版本DCNN分割结果对比
为了证明本发明方法的有效性,使用少量的人工标注进行了三组全监督实验,分别随机选取30个人工标注图、40个人工标注图和50个人工标注图,数据集中的其余图像用于测试。通过表2可以看出,随着人工标注数量的增加,分割效果在逐渐变好,同时,实验验证了本发明方法能够与使用50个人工标注训练的结果相比拟,尽管本发明方法可以视为无监督。
表2 全监督版本DCNN与本发明方法分割结果对比表
3)设定不同训练样本参数的结果对比
如表3所示,分别选取前50个灰度级、前75个灰度级、前100个灰度级与前125个灰度级作为负样本。通过表3可以看出,选取前75个灰度级作为负样本能够得到最好的分割效果。
表3 设定不同训练样本参数的结果对比表
4)选择不同训练样本生成方法的结果对比
如表4所示,分别使用GSDAM、Canny及二者结合产生训练样本。通过表4可以看出,采用结合GSDAM和Canny的训练样本生成方法在所有评价指标上取得了最好的结果。
表4 不同训练样本生成方法的结果对比表
5)在本发明方法后添加CRF与不加CRF的分割结果对比
为了分析加入CRF对分割结果的影响,在本发明方法后添加CRF与不加CRF的分割结果进行对比。通过表5,加入CRF之后,BDE评分变差,其原因与MCR相同(错误的去除了一些小而孤立的角毛像素),同时,由于加入CRF校正了角毛藻细胞分割边界,PRI、GCE、VOI和SC(S→G)评分略微增长,但是与MCR对比,CRF无法移除分割结果里的多余细胞。图7为在本发明方法后添加CRF与不加CRF的分割结果对比图。
表5 在本发明方法后添加CRF与不加CRF的分割结果对比表
以上具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,包括如下步骤:
S1:利用GSDAM图像处理算法提取原始图像I0的角毛信息,得到角毛信息图像G,同时,利用Canny图像处理算法提取所述原始图像I0的细胞边缘,得到细胞边缘图像C;
S2:利用所述角毛信息图像G和所述细胞边缘图像C生成自动训练样本,选择出正样本和负样本;
S3:将所述正样本和所述负样本输入到DeepLab的深度卷积神经网络DCNN中进行逐个像素点的训练;
S4:将所述原始图像I0中未知标注像素输入到训练后的模型中,将所述未知标注像素区分为角毛藻目标和背景,得到最终分割结果图,其中,所述未知标注像素是所述原始图像I0中除去所述正样本和所述负样本外的像素。
2.根据权利要求1所述的基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,所述步骤S1中利用GSDAM图像处理算法提取原始图像I0的角毛信息,得到角毛信息图像G,具体包括:
A1:所述原始图像I0的任意一个像素点A(i,j),其灰度为I(i,j),与所述像素点A(i,j)相邻的三个像素为B(i,j+1),C(i+1,j),和D(i+1,j+1),其中,所述B(i,j+1)对应的灰度为I(i,j+1),所述C(i+1,j)对应的灰度为I(i+1,j),所述D(i+1,j+1)对应的灰度为I(i+1,j+1),四个像素点对应在三维坐标空间中的四个点分别为:A′、B′、C′、D′,向量OA′与坐标轴x,y,z之间的三个方向角θ通过A′的法向量和其对应于灰度平面上的坐标得出:
式中,fk为法向量在k坐标轴上的值;
A2:基于θk得到三个特征图Mk,k=x,y,z,即将原始图像I0中所有像素点从方向角θk映射成灰度值:
式中,min(θk)为方向角θk的最小值,max(θk)为方向角θk的最大值;
A3:计算融合特征图Mxz和融合特征图Myz
A4:依次使用双边滤波和大律法移除所述融合特征图Mxz和所述融合特征图Myz的多余噪声并平滑边界,将所述融合特征图Mxz和所述融合特征图Myz进行逻辑与的操作,得到分割细胞的中间结果和角毛的中间结果;
A5:对所述分割细胞的中间结果和所述角毛的中间结果使用中值滤波去噪,使用形态学闭操作以平滑细胞边界并生成角毛信息图像G。
3.根据权利要求1所述的基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,所述步骤S1中利用Canny图像处理算法提取所述原始图像I0的细胞边缘,得到细胞边缘图像C,具体包括:
B1:利用Canny边缘检测算子检测所述原始图像I0中角毛藻细胞的边缘,得到图像I1
B2:对所述图像I1进行形态学腐蚀和膨胀方法得到初步的分割图像;
B3:滤除部分连通区域以减少所述初步的分割图像中的球状噪声细胞,得到细胞边缘图像C。
4.根据权利要求3所述的基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,所述步骤B3中滤除部分连通区域具体为:设置周长阈值Ct,当连通区域的周长小于所述周长阈值Ct时,滤除所述连通区域。
5.根据权利要求1所述的基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,步骤S2的具体方法为:
C1:通过所述原始图像I0的灰度图X={x0,x1,…,xN}计算其直方图H={h0,h1,…hL-1},其中,h(rk)=nk,k=0,1,…,L-1,式中,N为灰度图X的像素个数,L为灰度图X的灰度级,rk为第k级灰度值,nk为灰度值为rk的像素个数,xi(i=0,…,N)为灰度图中的每个像素,hi(i=0,…,L-1)为直方图H中不同灰度值的像素个数;
C2:对直方图H递减排序得到HS,定义自动训练样本生成函数为:
式中,(i,j)是每个像素点的位置,L(i,j)是(i,j)对应的标注,P为灰度图X中角毛信息图像G和细胞边缘图像C的值均等于1的所有像素点的位置,Q为HS中前m个灰度级,L(i,j)=1代表正样本,L(i,j)=0代表负样本。
6.根据权利要求1所述的基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,步骤S3使用的DCNN的损失函数为:式中,M为原始图像I0中训练样本个数,p为训练样本标注的分布,q为DCNN输出的分布。
7.根据权利要求1所述的基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,在步骤S4中将所述原始图像I0中未知标注像素输入到训练后的模型中,将所述未知标注像素区分为角毛藻目标和背景,得到最终的分割结果图,具体包括:将所述原始图像I0分割为n×n个区域,将分割后的n×n个区域输入到训练后的模型中,将得到的区分所述n×n个区域的角毛藻目标和背景进行合并,得到最终的分割结果图。
8.根据权利要求7所述的基于无监督逐像素分类的角毛藻图像分割方法,其特征在于,通过最大连通区域MCR方式降低所述最终分割结果图的噪声。
CN201810763944.2A 2018-07-12 2018-07-12 一种基于无监督逐像素分类的角毛藻图像分割方法 Active CN108961301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810763944.2A CN108961301B (zh) 2018-07-12 2018-07-12 一种基于无监督逐像素分类的角毛藻图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810763944.2A CN108961301B (zh) 2018-07-12 2018-07-12 一种基于无监督逐像素分类的角毛藻图像分割方法

Publications (2)

Publication Number Publication Date
CN108961301A true CN108961301A (zh) 2018-12-07
CN108961301B CN108961301B (zh) 2021-11-02

Family

ID=64482958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810763944.2A Active CN108961301B (zh) 2018-07-12 2018-07-12 一种基于无监督逐像素分类的角毛藻图像分割方法

Country Status (1)

Country Link
CN (1) CN108961301B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109975196A (zh) * 2019-03-01 2019-07-05 深圳大学 一种网织红细胞检测方法及其系统
CN112115873A (zh) * 2020-09-21 2020-12-22 南京市公安局水上分局 基于深度学习的硅藻自动检测方法及系统
CN112464742A (zh) * 2021-01-29 2021-03-09 福建农林大学 赤潮图像自动识别的方法及装置
CN115294112A (zh) * 2022-09-30 2022-11-04 南通爱唯家用纺织品有限公司 一种竹席切割装置的控制方法
CN116596923A (zh) * 2023-07-17 2023-08-15 天津市蓟州区民力新能源科技有限公司 基于边缘检测的园林植物识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777122A (zh) * 2010-03-02 2010-07-14 中国海洋大学 一种角毛藻显微图像细胞目标提取方法
CN102663406A (zh) * 2012-04-12 2012-09-12 中国海洋大学 一种基于显微图像的角毛藻和非角毛藻自动分类方法
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
CN105849274A (zh) * 2013-10-28 2016-08-10 分子装置有限公司 用于显微图像中的单独细胞的分类和识别的方法和系统
CN106295588A (zh) * 2016-08-17 2017-01-04 电子科技大学 一种白带显微图像中白细胞的自动识别方法
KR101743270B1 (ko) * 2017-03-08 2017-06-05 (주)나인정보시스템 다수의 플랑크톤이 응집 혹은 산재해 있는 현미경 영상에서 딥러닝을 이용하여 개개 플랑크톤을 분리 및 인식하는 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777122A (zh) * 2010-03-02 2010-07-14 中国海洋大学 一种角毛藻显微图像细胞目标提取方法
CN102663406A (zh) * 2012-04-12 2012-09-12 中国海洋大学 一种基于显微图像的角毛藻和非角毛藻自动分类方法
CN105849274A (zh) * 2013-10-28 2016-08-10 分子装置有限公司 用于显微图像中的单独细胞的分类和识别的方法和系统
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
CN106295588A (zh) * 2016-08-17 2017-01-04 电子科技大学 一种白带显微图像中白细胞的自动识别方法
KR101743270B1 (ko) * 2017-03-08 2017-06-05 (주)나인정보시스템 다수의 플랑크톤이 응집 혹은 산재해 있는 현미경 영상에서 딥러닝을 이용하여 개개 플랑크톤을 분리 및 인식하는 방법

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAIYONG ZHENG等: "Automatic Setae Segmentation from Chaetoceros Microscopic Images", 《MICROSCOPY RESEARCH AND TECHNIQUE》 *
LIANG-CHIEH CHEN等: "DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
MICHAEL KLOSTER等: "SHERPA: an image segmentation and outline 、feature extraction tool for diatoms and other objects", 《BMC BIOINFORMATICS》 *
XINXIN QIU等: "Automatic segmentation of Chaetoceros microscopic images via pixel-wise classification", 《OCEANS 2016 - SHANGHAI》 *
高会会: "角毛藻显微图像识别与无角毛类藻多细胞显微图像计数研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109975196A (zh) * 2019-03-01 2019-07-05 深圳大学 一种网织红细胞检测方法及其系统
CN109975196B (zh) * 2019-03-01 2021-10-08 深圳大学 一种网织红细胞检测方法及其系统
CN112115873A (zh) * 2020-09-21 2020-12-22 南京市公安局水上分局 基于深度学习的硅藻自动检测方法及系统
CN112464742A (zh) * 2021-01-29 2021-03-09 福建农林大学 赤潮图像自动识别的方法及装置
CN115294112A (zh) * 2022-09-30 2022-11-04 南通爱唯家用纺织品有限公司 一种竹席切割装置的控制方法
CN115294112B (zh) * 2022-09-30 2023-04-14 南通爱唯家用纺织品有限公司 一种竹席切割装置的控制方法
CN116596923A (zh) * 2023-07-17 2023-08-15 天津市蓟州区民力新能源科技有限公司 基于边缘检测的园林植物识别方法及系统
CN116596923B (zh) * 2023-07-17 2023-09-12 天津市蓟州区民力新能源科技有限公司 基于边缘检测的园林植物识别方法及系统

Also Published As

Publication number Publication date
CN108961301B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN108961301A (zh) 一种基于无监督逐像素分类的角毛藻图像分割方法
CN105335725B (zh) 一种基于特征融合的步态识别身份认证方法
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
CN106340016B (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
Feng et al. A separating method of adjacent apples based on machine vision and chain code information
CN112233107B (zh) 基于图像处理技术的葵花籽品级分类方法
CN110046565B (zh) 一种基于Adaboost算法的人脸检测方法
CN106600610B (zh) 一种fcm图像分割方法及装置
CN109872326B (zh) 基于深度强化网络跳跃连接的轮廓检测方法
CN110176020A (zh) 一种融合2d和3d图像的燕窝杂质分拣方法
CN113159045A (zh) 一种结合图像预处理与卷积神经网络的验证码识别方法
CN110415222A (zh) 一种基于纹理特征的丝饼侧面缺陷识别方法
CN114648806A (zh) 一种多机制自适应的眼底图像分割方法
CN109101985A (zh) 一种基于自适应邻域测试的图像误匹配点对剔除方法
CN110648312A (zh) 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法
CN111667509B (zh) 目标与背景颜色相似下的运动目标自动跟踪方法及系统
Ma et al. Noise-against skeleton extraction framework and application on hand gesture recognition
Utaminingrum et al. Alphabet Sign Language Recognition Using K-Nearest Neighbor Optimization.
CN113435460A (zh) 一种亮晶颗粒灰岩图像的识别方法
CN105512682B (zh) 一种基于Krawtchouk矩和KNN-SMO分类器的密级标识识别方法
Tavallali et al. Robust skin detector based on AdaBoost and statistical luminance features
Nawawi et al. Comprehensive pineapple segmentation techniques with intelligent convolutional neural network
CN109063749B (zh) 一种基于角点辐射域的鲁棒卷积核数量适配方法
CN109376619A (zh) 一种细胞检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant