CN111582111A - 一种基于语义分割的细胞各成分分割方法 - Google Patents
一种基于语义分割的细胞各成分分割方法 Download PDFInfo
- Publication number
- CN111582111A CN111582111A CN202010353013.2A CN202010353013A CN111582111A CN 111582111 A CN111582111 A CN 111582111A CN 202010353013 A CN202010353013 A CN 202010353013A CN 111582111 A CN111582111 A CN 111582111A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- cell
- segmentation
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 25
- 210000003850 cellular structure Anatomy 0.000 title claims abstract description 17
- 210000004027 cell Anatomy 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 21
- 210000000805 cytoplasm Anatomy 0.000 claims description 9
- 210000003855 cell nucleus Anatomy 0.000 claims description 5
- 238000011524 similarity measure Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 210000004940 nucleus Anatomy 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000009458 Carcinoma in Situ Diseases 0.000 description 1
- 241000277331 Salmonidae Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000002777 columnar cell Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于语义分割的细胞各成分分割方法，属于图像处理技术领域。本发明基于所创建的基于编码解码的语义分割网络，结合去池化和跳层连接的方式，充分利用细胞图像的多尺度特征和像素的位置信息，对细胞各成分进行粗提取；然后通过灰度共生矩阵得到纹理特征，结合灰度共生矩阵所得的图像纹理信息改进超像素分割算法，分割出细胞各成分的精细边缘；最后将细胞各成分的粗提取结果和精细边缘进行融合，得到最终的细胞各成分分割结果。本发明可以用于细胞结构分析等技术领域，能够实现细胞各成分的自动准确分割。
Description
技术领域
本发明属于图像处理技术领域，具体涉及对细胞图像中细胞各成分的分割处理。
背景技术
根据目前的医学手段，很多病情都可以通过医学细胞涂片来进行筛查和诊断，随着人类健康意识的提高，细胞涂片的数量也日益增长，这导致了专业阅片人员数量严重不足、阅片压力巨大，甚至会因为主观因素导致涂片判读错误。随着计算机相关技术的发展，机器学习等前沿科技成果不断地为各行各业赋能，尤其随着图像识别和神经网络技术的发展，让机器阅片成为可能，有效地减少了阅片时间和人力耗费，计算机赋能细胞学筛查的研究逐渐显现出极其重要的意义。由于细胞的结构复杂且灰度信息较为接近，无法通过传统的图像分割算法，如阈值分割算法和分水岭分割算法等，来取得较高的分割准确率。相比于传统的图像分割算法，语义分割在医疗影像分析等领域取得了更高的准确率。
目前较好的传统图像分割方法有阈值分割算法、分水岭分割算法等等，但是这些算法针对于灰度信息较为接近的目标不具备普适性。阈值分割算法是一种把灰度图像中的像素点根据不同阈值分为若干类别的方法，由于其处理直观、实现简单且计算速度快的特点，阈值处理在图像分割中应用广泛；分水岭分割算法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，集水盆的边界则形成了分水岭，该分割算法常常由于图像上的噪声和图局部不连续等原因出现过度分割。
现有的图像分割方法主要存在以下缺陷：
(1)误分割。细胞图像通常组成复杂，细胞质与细胞核、细胞质与背景之间的边界通常较为模糊，易出现误分割的情况，如将背景成分识别为细胞成分等；
(2)准确率低。目前已有的分割算法，针对灰度信息较为接近的细胞图像，其边缘部分分割准确率较低。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于语义分割的细胞各成分分割方法。
本发明的基于语义分割的细胞各成分分割方法，包括下列步骤：
步骤一：设置基于编码解码的语义分割网络的网络结构，对细胞各成分进行粗提取；
其中，语义分割网络包括编码、解码和分类输出；
编码依次包括：输入层、第一卷积模块、第一下采样层、第二卷积模块、第二下采样层、第三卷积模块和第三下采样层；
解码依次包括：第一上采样层、第一卷积模块、第二上采样层、第二卷积模块；
分类输出依次包括：融合层、卷积层和Softmax层；
所述输入层以图像切片的方式读入输入图像；
编码的第一、二和三卷积模块分别包括两个、两个和三个卷积层，解码的第一、二卷积模块分别包括三个和两个卷积层；
其中，各下采样层采用最大池化操作并保留池化索引，各上采样层采用去池化的方式；并将第一下采样层保留的池化索引传送给融合层，第二下采样层保留的池化索引传送给第二上采样层，第三下采样层保留的池化索引传送给第一上采样层；以及将编码的第一卷积模块的输出传送给融合层；
且融合层的输出经1×1的卷积操作后再输入分类输出的卷积层，最后经Softmax层输出各像素点的分类类型，其中，分类类型包括背景、细胞质和细胞核；
步骤二：结合灰度共生矩阵对待处理图形进行超像素分割处理，获取细胞各成分的精细边缘：
对待处理图像进行超像素分割处理，得到多个超像素块，并记录各超像素块内的每个像素的位置索引；
将尺寸不超过预设尺寸阈值的超像素块和/或不连续的超像素块作为增强处理对象；
对每个增强处理对象，基于灰度共生矩阵分别计算增强处理对象及其邻域超像素块的纹理特征，包括包括能量、对比度、自相关性和熵；
计算增强处理对象与其邻域超像素块之间的纹理特征值相似程度，并将当前增强处理对象融合到最相似的邻域超像素块；
步骤三：将细胞各成分的粗提取结果和精细边缘进行融合，得到最终的细胞各成分分割结果：根据有超像素块内每个像素的索引位置所对应的语义分割的分类结果，将每个超像素块内对应最多的类别作为每个超像素块的类别，从而得到最终的细胞各成分分割结果。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
(1)解决了细胞各成分误分割的问题。通过基于编码解码的Herlev-Net语义分割网络结构，有效利用了细胞图像的多尺度信息和像素位置信息，对细胞各成分进行较准确的粗提取；
(2)提高了细胞各成分边缘分割的准确率。通过结合灰度共生矩阵改进SLIC算法，获取到更加准确的细胞各成分边缘，将粗提取结果和精细边缘融合，得到了细胞各成分的精确分割结果。
附图说明
图1为具体实施方式中针对细胞各成分分割的总体方法示意图；
图2为宫颈细胞图像数据集Herlev的部分图像示例，其中，图2-(1)为正常上皮鳞状细胞，图2-(2)为正常中层鳞状细胞，图2-(3)为正常柱状细胞，图2-(4)为低度鳞状异常细胞，图2-(5)为中度鳞状异常细胞，图2-(6)为重度鳞状异常细胞，图2-(7)为原位癌细胞，GT即Groud Truth，是经由专家标注的细胞各成分的真实分割图像；
图3为Herlev-Net语义分割网络的网络架构图示意图；
图4为现有的全卷积神经网络FCN-8s与Herlev-Net网络分割性能对比图，其中PA(Pixel Accuracy，像素准确率)表示总像素数量中被正确分类的像素所占的比例，关注的是网络模型整体的像素分类准确率；交并比IoU计算的是预测值和真实值这两个集合之间交集和并集的比值，而MioU(Mean Intersection over Union，平均交并比)表示所有分类的交并比IoU的平均值；
图5为FCN-8s与Herlev-Net网络分割效果对比图，其中图5-(1)为原图，图5-(2)为FCN-8s分割结果图，图5-(3)为Herlev-Net分割结果图；
图6为通过灰度共生矩阵获得的Herlev数据集部分图像的图像纹理信息，其中，图6-(1)为细胞原图，图6-(2)为灰度图，图6-(3)为能量图，图6-(4)为对比度图，图6-(5)为相关性图，图6-(6)为熵图；
图7为改进的SLIC算法流程图；
图8为传统SLIC算法与改进的SLIC算法分割对比图，其中，图8-(1)为细胞原图，图8-(2)为传统SLIC分割效果图，图8-(3)为改进的SLIC分割效果图；
图9为Herlev粗提取结果和精细边缘的最终融合结果图；其中，图9-(1)为细胞原图，图9-(2)为Herlev-Net分割结果图，图9-(3)为改进的SLIC分割效果图，图9-(4)为最终融合的分割结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明的目的在于提高细胞各组成成分的分割准确率，优化边缘分割精度，实现细胞各成分自动准确的分割。为了达到该发明目的，本发明设置了基于编码解码的语义分割网络，结合去池化和跳层连接的方式，充分利用细胞图像的多尺度特征和像素的位置信息，对细胞各成分进行粗提取；然后通过灰度共生矩阵(GLCM)得到纹理特征，结合灰度共生矩阵所得的图像纹理信息改进超像素分割算法(SLIC)，分割出细胞各成分的精细边缘；最后将细胞各成分的粗提取结果和精细边缘进行融合，得到最终的细胞各成分分割结果。本发明可以用于细胞结构分析等技术领域，能够实现细胞各成分(细胞质和细胞核)的自动准确分割。
参见图1，本发明的分割处理主要包括四个部分：
首先，设置了基于编码解码的语义分割网络结构，结合去池化和跳层连接的方式，充分利用细胞图像的多尺度特征和像素的位置信息，对细胞各成分进行粗提取；
其次，通过灰度共生矩阵GLCM得到纹理特征；
然后，结合灰度共生矩阵所得的图像纹理信息改进超像素分割算法SLIC，分割出细胞各成分的精细边缘；
最后，将细胞各成分的粗提取结果和精细边缘进行融合，得到最终的细胞各成分分割结果。
以处理宫颈细胞图像为例，基于本发明的分割方法对宫颈细胞图像进行细胞成分分割处理，本具体实施方式中，采用Herlev宫颈细胞图像数据集，如图2所示，并将本发明的语义分割网络定义为Herlev-Net，具体实现过程如下：
步骤一：基于编码解码的语义分割网络结构Herlev-Net，对细胞各成分进行粗提取。
Herlev-Net的网络架构图为U型的编解码结构，包括编码、解码和分类输出。
其中，编码依次包括：输入层、第一卷积模块、第一下采样层、第二卷积模块、第二下采样层、第三卷积模块和第三下采样层；
解码依次包括：第一上采样层、第一卷积模块、第二上采样层、第二卷积模块；
分类输出依次包括：融合层、卷积层和Softmax层；
其中，输入层用于基于预置的切片尺寸，以切片尺寸为窗口大小，以滑窗的方式读入输入图像的各图像切片。优选的，设置切片尺寸为40×40；
编码的第一、二和三卷积模块分别包括两个、两个和三个卷积层，解码的第一、二卷积模块分别包括三个和两个卷积层。其中，卷积层由卷积核大小为3×3的卷积操作、批量归一化操作(Batch Normalizetion)和ReLU(Rectified Linear Unit)激活函数依次组成；
其中，各下采样层采用2×2的最大池化操作并保留池化索引，各上采样采用去池化的方式；并将对应第一下采样层的池化索引传送给融合层，对应第二下采样层的池化索引传送给第二上采样层，对应第三下采样层的池化索引传送给第一上采样层；以及将编码的第一卷积模块的输出(即第一卷积模块的第二个卷积层的输出)传送给融合层；且融合层的输出经1×1的卷积操作后再输入分类输出的卷积层，最后经Softmax层输出各像素点的分类类型，其中，分类类型包括背景、细胞质和细胞核。
进一步的，还可以按照采用下述方式设置各网络层的通道数：
编码的第一卷积模块的两个卷积层的通道数相同，定义为N；编码的第二卷积模块的两个卷积层的通道数相同，设置为2N；编码的第二卷积模块的三个卷积层的通道数相同，设置为4N；解码的第一卷积模块的前两个卷积层的通道数相同，设置为4N，解码的第一卷积模块的第三个卷积层的通道数设置为2N；解码的第2卷积模块的两个卷积层的通道数不同，第一设置为2N，第二个设置为N；分类输出的卷积层的通道数设置为N。
参见图3，本具体实施方式中，切片尺寸设置为40×40，则输入层读入的图像切片为40×40×3，其中3表示颜色通道数；再经过编码的第一卷积模块后，得到对应的特征图为：40×40×64，其中40×40表示特征图尺寸，64表示通道数；再基于第一下采样层进行最大池化操作前，保留池化索引并将该池化索引传送给融合层；以及将第一卷积模块的输出跳层传送给融合层；下采样结果经过编码的第二卷积模块得到对应的特征图20×20×128：
再经第二下采样层、再经编码的第三卷积模块得到对应的特征图10×10×256；同样的，将最大池化操作时保留的池化索引传送给解码的第二上采样层；再经第三下采样层得到对应的编码输出5×5×256，以及将对应的池化索引传送给解码的第一上采样层；
解码的第一上采样层基于输入的池化索引和特征图，进行上采样处理得到特征图10×10×256；经过编码的第一卷积模块后得到特征图10×10×128；再经第二上采样、以及解码的第二卷积模块后得到特征图20×20×64；融合层基于输入的池化索引，对编码的第一卷积模块的输出和解码的第二卷积模块的输出进行维度拼接，得到融合特征图40×40×128；将融合特征图经1×1的卷积操作后再输入到分类输出的卷积层，得到特征图40×40×64，最后通过Softmax层输出三类像素的分类结果。
综上，本具体实施方式中，所采用的Herlev-Net主要具有以下三个特点：
(1)图像切片输入。
在Herlev宫颈细胞图像数据集中，图像的尺寸大小不一且图像的平均大小为156×140像素，输入完整的图像不一定能够为精确分割提供更多有效的信息，与此同时，完整的图像输入不利于提升网络的性能，甚至会增加模型的参数量，使得网络很难有效地进行参数学习。因此，本发明提出了图像切片输入的方式，例如使用较小的40×40×3的图像切片作为网络输入，以滑动窗口的方式在图像上运行模型，为每一个像素提供多个输出标签，最终通过对这些标签进行组合平均来获得该像素最终的分类标签。
(2)中间层保留池化索引。
整个网络的卷积结构以基于编码解码的语义分割网络SegNet为基础，网络的每个卷积层都由卷积核为3×3的卷积操作、批量归一化操作和ReLU激活函数组成，下采样采用2×2的最大池化操作并保留池化索引；上采样采用去池化的方式，更好地恢复图像的边界和细节信息。
(3)最顶层进行跳层连接。
整个网络只在网络的最顶层进行跳层连接和维度拼接，同时获取更粗糙和更精细的图像信息，将图像的多尺度特征融合在一起，得到包含更多图像细节信息的特征图；然后将融合后的特征图通过1×1的卷积将粗细不同的信息进行合并，在提高分割精度的同时，减少最终卷积层的参数量；最后通过Softmax层输出三类(背景、细胞质和细胞核)像素的分类结果，得到宫颈细胞图像的粗提取结果图。
对所构建的Herlev-Net网络进行深度学习训练，直到满足预设的训练精度为止。从而基于训练好的Herlev-Net网络获取待处理的细胞图像的细胞各成分的粗提取结果。
本具体实施方式中，训练所构建的Herlev-Net网络所采用的软硬件环境如表1所示。
表1网络模型训练环境
训练配置参数设置如表2所示。
表2网络训练全局参数配置
即，本具体实施方式中，采用0.001的初始学习率，通过以“step”进行学习率衰减的方式进行训练，选取衰减步数为10000，最大迭代次数为100000次，每训练4000次保存一次模型，采用随机梯度下降法进行Herlev-Net的网络参数的更新。
细胞各成分的分割性能对比图如图4所示，细胞各成分分割结果对比图如图5所示。从图4可以看出，FCN-8s在训练迭代次数达到92000次时，三个性能指标均达到最优，PA值为0.88，MIoU值为0.73；Herlev-Net在训练迭代次数达到68000次时，三个性能指标均达到最优，PA值为0.945，MIoU值为0.915。
综合分析图5的分割结果图和图4中的性能指标PA、MPA和MIoU可知，FCN-8s在对细胞各成分进行分割时，对细胞核和细胞质都出现了一定程度的误识别，甚至会把背景中的像素识别为细胞核或细胞质的成分，未能很好地利用图像的全局特征和空间位置信息；
Herlev-Net通过切片输入的方式，有效提升了网络的训练速度，通过对切片的多个输出标签进行组合平均、上采样采用去池化的方式，更好地恢复图像的边界信息，在最顶层加入跳层连接，有效利用了图像的多尺度特征，解决了细胞各成分之间的误识别。
步骤二：通过GLCM灰度共生矩阵得到纹理特征，其纹理特征结果如图6所示；
通过灰度共生矩阵得到图像的纹理特征的方法一共分为三步：
201：灰度级量化。本发明将原彩色图像转换为灰度图，然后将256个灰度级压缩为8个灰度级。
202：得到逐个像素的灰度共生矩阵。本发明选取步长d＝1，生长方向θ(0°,45°,90°，135°)，滑窗大小ω＝(5×5)，从而得到各像素四个方向大小为8×8的灰度共生矩阵。
203：计算各个像素的纹理特征值，包括能量(Energy)、对比度(Contrast)、自相关性(Correlation)和熵(Entropy)，各纹理特征值的计算公式分别如下所示。
其中，i、j分别对应灰度共生矩阵的横纵坐标，Ng是量化后的灰度级最大值，P(i,j)是灰度共生矩阵(i,j)位置上元素的概率值，自相关性公式(3)中的μi、μj、σi、σj计算公式如下：
这四个纹理特征值的大小与其反映的细胞纹理程度如表3所示。
表3 GLCM特征值大小反映的纹理程度
| GLCM特征值 | 纹理程度说明 | 细胞各部分特点 |
| 能量 | 值越大，灰度分布越均匀 | 细胞各成分内部的能量值较高，边界较低 |
| 对比度 | 值越大，纹理沟纹越深 | 细胞各成分边界的对比度值较高，内部较低 |
| 自相关性 | 值越大，纹理分布越均匀 | 细胞各成分内部的自相关性值较高，边界较低 |
| 熵 | 值越大，纹理越复杂不均 | 细胞各成分边界的熵值较高，内部较低 |
步骤三：结合灰度共生矩阵所得的图像纹理信息改进SLIC超像素分割算法，分割出细胞各成分的精细边缘。
改进的SLIC算法流程图如图7所示，主要有以下四步：
301：输入彩色图像或灰度图像；
302：初始化超像素聚类中心Ck＝[lk ak bk xk yk]T，其中，lk、ak和bk分别表示LAB彩色空间的l分量、a分量和b分量，xk、yk表示像素坐标；
以S个像素为步长在规则网格上进行采样并将其置于网格中心，其中步长
N为原图的像素总个数，K为超像素的个数，使得产生的超像素大小大致相等；然后再将中心移动至其3×3邻域内梯度值最小的位置，避免超像素定位到边缘位置上。
303：对每一个超像素聚类中心周围的2S×2S邻域的像素进行像素搜索与距离度量D的计算。[l a b]T表示了像素在LAB空间中的颜色且取值范围已知，[x,y]T表示了像素的位置，其取值范围会随着图像尺寸的变化而变化。若将距离度量D简单地定义为labxy空间中的五维欧氏距离，会导致不同超像素大小的聚类行为不一致。
因此，需要通过计算它们在簇内各自的最大距离Nc和Ns，来标准化颜色接近度和空间接近度。颜色距离dc，空间距离ds以及总的距离度量D的计算公式如式(9)、式(10)和式(11)所示。
若输入的图像为灰度图像，则式(9)转换为对应的式(12)即可。
其中，j表示超像素聚类中心点，i表示当前处理的像素点，x和y分别表示横坐标和纵坐标，I表示灰度值。最大空间距离对应于采样间隔
最大颜色距离Nc固定为常数m，其取值在[10,40]范围内，当m较大时，空间邻近性更重要，所得到的超像素会更加紧凑，当m较小时，所得到的超像素会更紧密地聚集在图像边界，本具体实施方式中，m取值为40。
图像的每一个像素点与其周围的聚类中心点都会有一个度量距离，取其中的最小值所对应的聚类中心点的超像素作为该像素点所归属的超像素。在每轮迭代后，取超像素内所有像素的坐标均值和颜色均值作为新的超像素聚类中心点的坐标值和颜色值，然后进行新一轮迭代，直到每个超像素聚类中心点的坐标不再发生变化为止。
304：增强超像素的连通性。在步骤303中的迭代通常会出现超像素尺寸过小或超像素多连通的问题，这些问题可以通过增强超像素的连通性来解决。原SLIC算法是将这些不连续的和尺寸过小的超像素随机重新分配给临近的超像素，这种随机分配超像素的方式可能会导致边缘超像素发生错误融合，从而造成原物体轮廓边缘的误分割。
在本发明改进的SLIC算法处理中，对于超像素尺寸过小(小于预设尺寸阈值的超像素)和/或不连续的的超像素，进行增强超像素块连通性处理：首先计算出待处理超像素周围的超像素的四个纹理特征值，然后根据相似性度量公式计算出周围超像素与待处理超像素的纹理特征值相似程度，将特征值最相似，即特征距离dist值最小的超像素作为当前待处理超像素的融合目标。
其中，超像素相似性的度量公式如式(13)：
dist＝distenergy+distcontrast+distcorrelation+distentropy (13)
dist表示当前待处理的超像素特征值与邻域超像素特征值的距离度量。能量距离度量distenergy、对比度距离度量distcontrast、相关性距离度量distcorrelation、熵距离度量distentropy的计算公式分别如式(14)、(15)、(16)、(17)所示，其中C为当前处理的超像素，D为邻域超像素。
distenergy＝(Cenergy-Denergy)2 (14)
distcontrast＝(Ccontrast-Dcontrast)2 (15)
distcorrelation＝(Ccorrelation-Dcorrelation)2 (16)
distentropy＝(Centropy-Dentropy)2 (17)
基于本发明改进的SLIC算法所得到的分割结果如图8-(3)所示，与图8-(2)所给出的现有SLIC算法所得到的分割结果相比，具有对宫颈细胞各成分边缘分割更精确的优点。
步骤四：将细胞各成分的粗提取结果和精细边缘进行融合，得到最终的细胞各成分分割结果，如图9所示。
其中，融合处理具体为：通过改进的SLIC算法，可以得到一系列超像素块，然后将所有超像素块内每一个像素的位置索引都记录下来，根据索引位置找到每个像素在Herlev-Net语义分割结果图(Herlev-Net的输出结果)上对应的像素类别预测值，根据每个超像素块内对应最多的类别预测值来设置每个超像素块所对应的类别，从而得到最终的细胞各成分分割结果。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (5)
1.一种基于语义分割的细胞各成分分割方法，其特征在于，包括下列步骤：
步骤一：设置基于编码解码的语义分割网络的网络结构，对细胞各成分进行粗提取；
其中，语义分割网络包括编码、解码和分类输出；
编码依次包括：输入层、第一卷积模块、第一下采样层、第二卷积模块、第二下采样层、第三卷积模块和第三下采样层；
解码依次包括：第一上采样层、第一卷积模块、第二上采样层、第二卷积模块；
分类输出依次包括：融合层、卷积层和Softmax层；
所述输入层以图像切片的方式读入输入图像；
编码的第一、二和三卷积模块分别包括两个、两个和三个卷积层，解码的第一、二卷积模块分别包括三个和两个卷积层；
其中，各下采样层采用最大池化操作并保留池化索引，各上采样层采用去池化的方式；并将第一下采样层保留的池化索引传送给融合层，第二下采样层保留的池化索引传送给第二上采样层，第三下采样层保留的池化索引传送给第一上采样层；以及将编码的第一卷积模块的输出传送给融合层；
且融合层的输出经1×1的卷积操作后再输入分类输出的卷积层，最后经Softmax层输出各像素点的分类类型，其中，分类类型包括背景、细胞质和细胞核；
步骤二：结合灰度共生矩阵对待处理图形进行超像素分割处理，获取细胞各成分的精细边缘：
对待处理图像进行超像素分割处理，得到多个超像素块，并记录各超像素块内的每个像素的位置索引；
将尺寸不超过预设尺寸阈值的超像素块和/或不连续的超像素块作为增强处理对象；
对每个增强处理对象，基于灰度共生矩阵分别计算增强处理对象及其邻域超像素块的纹理特征，包括包括能量、对比度、自相关性和熵；
计算增强处理对象与其邻域超像素块之间的纹理特征值相似程度，并将当前增强处理对象融合到最相似的邻域超像素块；
步骤三：将细胞各成分的粗提取结果和精细边缘进行融合，得到最终的细胞各成分分割结果：根据有超像素块内每个像素的索引位置所对应的语义分割的分类结果，将每个超像素块内对应最多的类别作为每个超像素块的类别，从而得到最终的细胞各成分分割结果。
2.如权利要求1所述的方法，其特征在于，所述图像切片的尺寸大小设置为40×40。
3.如权利要求1所述的方法，其特征在于，各下采样层采用2×2的最大池化操作。
4.如权利要求1所述的方法，其特征在于，语义分割网络的网络结构中，各层的通道数设置为：
编码的第一卷积模块的两个卷积层的通道数相同，定义为N；
编码的第二卷积模块的两个卷积层的通道数相同，设置为2N；
编码的第二卷积模块的三个卷积层的通道数相同，设置为4N；
解码的第一卷积模块的前两个卷积层的通道数相同，设置为4N；
解码的第一卷积模块的第三个卷积层的通道数设置为2N；
解码的第二卷积模块的两个卷积层的通道数不同，第一个卷积层设置为2N，第二个卷积层设置为N；
分类输出的卷积层的通道数设置为N。
5.如权利要求1所述的方法，其特征在于，纹理特征值相似程度为：能量、对比度、自相关性和熵的距离度量值之和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010353013.2A CN111582111B (zh) | 2020-04-29 | 2020-04-29 | 一种基于语义分割的细胞各成分分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010353013.2A CN111582111B (zh) | 2020-04-29 | 2020-04-29 | 一种基于语义分割的细胞各成分分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582111A true CN111582111A (zh) | 2020-08-25 |
| CN111582111B CN111582111B (zh) | 2022-04-29 |
Family
ID=72111805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010353013.2A Expired - Fee Related CN111582111B (zh) | 2020-04-29 | 2020-04-29 | 一种基于语义分割的细胞各成分分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582111B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634338A (zh) * | 2020-12-30 | 2021-04-09 | 东北大学 | 基于灰度共生矩阵的脑脊液细胞特征提取方法 |
| CN113192022A (zh) * | 2021-04-27 | 2021-07-30 | 长治学院 | 基于深度学习的病原孢子识别计数方法和装置 |
| CN113392842A (zh) * | 2021-06-03 | 2021-09-14 | 电子科技大学 | 一种基于点数据网络结构改进的点云语义分割方法 |
| CN113392841A (zh) * | 2021-06-03 | 2021-09-14 | 电子科技大学 | 一种基于多特征信息增强编码的三维点云语义分割方法 |
| CN115019045A (zh) * | 2022-06-24 | 2022-09-06 | 哈尔滨工业大学 | 一种基于多成分邻域的小数据甲状腺超声图像分割方法 |
| CN115690430A (zh) * | 2022-12-29 | 2023-02-03 | 尚特杰电力科技有限公司 | 光伏组件边缘特征图补齐方法、系统、设备及存储介质 |
| CN116912255A (zh) * | 2023-09-14 | 2023-10-20 | 济南宝林信息技术有限公司 | 一种用于卵巢组织分析的卵泡区域分割方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| CN107633522A (zh) * | 2017-08-30 | 2018-01-26 | 山东财经大学 | 基于局部相似性活动轮廓模型的脑部图像分割方法和系统 |
| CN107644426A (zh) * | 2017-10-12 | 2018-01-30 | 中国科学技术大学 | 基于金字塔池化编解码结构的图像语义分割方法 |
| CN108537751A (zh) * | 2018-03-31 | 2018-09-14 | 华南理工大学 | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 |
| US20180307911A1 (en) * | 2017-04-21 | 2018-10-25 | Delphi Technologies, Llc | Method for the semantic segmentation of an image |
| CN109034162A (zh) * | 2018-07-13 | 2018-12-18 | 南京邮电大学 | 一种图像语义分割方法 |
| CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
| CN109035269A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技（武汉）有限公司 | 一种宫颈细胞病理切片病变细胞分割方法及系统 |
| CN109949276A (zh) * | 2019-02-28 | 2019-06-28 | 华中科技大学 | 一种于改进SegNet分割网络的淋巴结检测方法 |
| CN110246140A (zh) * | 2019-05-14 | 2019-09-17 | 电子科技大学 | 一种改进的基于凹点匹配的粘连颗粒目标分割方法 |
| CN110675368A (zh) * | 2019-08-31 | 2020-01-10 | 中山大学 | 一种融合图像分割与分类的细胞图像语义分割方法 |
| CN210252364U (zh) * | 2019-05-14 | 2020-04-07 | 四川杰莱美科技有限公司 | 一种大米米质分析试验台 |
| CN111028235A (zh) * | 2019-11-11 | 2020-04-17 | 东北大学 | 一种利用特征融合增强边缘和细节信息的图像分割方法 |
| CN112396619A (zh) * | 2019-08-15 | 2021-02-23 | 电子科技大学 | 一种基于语义分割的内部复杂组成的小型颗粒分割方法 |
-
2020
- 2020-04-29 CN CN202010353013.2A patent/CN111582111B/zh not_active Expired - Fee Related
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| US20180307911A1 (en) * | 2017-04-21 | 2018-10-25 | Delphi Technologies, Llc | Method for the semantic segmentation of an image |
| CN107633522A (zh) * | 2017-08-30 | 2018-01-26 | 山东财经大学 | 基于局部相似性活动轮廓模型的脑部图像分割方法和系统 |
| CN107644426A (zh) * | 2017-10-12 | 2018-01-30 | 中国科学技术大学 | 基于金字塔池化编解码结构的图像语义分割方法 |
| CN108537751A (zh) * | 2018-03-31 | 2018-09-14 | 华南理工大学 | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 |
| CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
| CN109035269A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技（武汉）有限公司 | 一种宫颈细胞病理切片病变细胞分割方法及系统 |
| CN109034162A (zh) * | 2018-07-13 | 2018-12-18 | 南京邮电大学 | 一种图像语义分割方法 |
| CN109949276A (zh) * | 2019-02-28 | 2019-06-28 | 华中科技大学 | 一种于改进SegNet分割网络的淋巴结检测方法 |
| CN110246140A (zh) * | 2019-05-14 | 2019-09-17 | 电子科技大学 | 一种改进的基于凹点匹配的粘连颗粒目标分割方法 |
| CN210252364U (zh) * | 2019-05-14 | 2020-04-07 | 四川杰莱美科技有限公司 | 一种大米米质分析试验台 |
| CN112396619A (zh) * | 2019-08-15 | 2021-02-23 | 电子科技大学 | 一种基于语义分割的内部复杂组成的小型颗粒分割方法 |
| CN110675368A (zh) * | 2019-08-31 | 2020-01-10 | 中山大学 | 一种融合图像分割与分类的细胞图像语义分割方法 |
| CN111028235A (zh) * | 2019-11-11 | 2020-04-17 | 东北大学 | 一种利用特征融合增强边缘和细节信息的图像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张哲晗;方薇;杜丽丽;乔延利;张冬英: "基于编码-解码卷积神经网络的遥感图像语义分割", 《光学学报》 * |
| 杨金鑫等: "结合卷积神经网络和超像素聚类的细胞图像分割方法", 《计算机应用研究》 * |
| 陈乔松; 陶亚; 申发海; 弓攀豪; 孙开伟; 王进; 邓欣: "基于上下文情景结构的图像语义分割", 《 重庆邮电大学学报(自然科学版)》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634338A (zh) * | 2020-12-30 | 2021-04-09 | 东北大学 | 基于灰度共生矩阵的脑脊液细胞特征提取方法 |
| CN113192022A (zh) * | 2021-04-27 | 2021-07-30 | 长治学院 | 基于深度学习的病原孢子识别计数方法和装置 |
| CN113392842A (zh) * | 2021-06-03 | 2021-09-14 | 电子科技大学 | 一种基于点数据网络结构改进的点云语义分割方法 |
| CN113392841A (zh) * | 2021-06-03 | 2021-09-14 | 电子科技大学 | 一种基于多特征信息增强编码的三维点云语义分割方法 |
| CN115019045A (zh) * | 2022-06-24 | 2022-09-06 | 哈尔滨工业大学 | 一种基于多成分邻域的小数据甲状腺超声图像分割方法 |
| CN115019045B (zh) * | 2022-06-24 | 2023-02-07 | 哈尔滨工业大学 | 一种基于多成分邻域的小数据甲状腺超声图像分割方法 |
| CN115690430A (zh) * | 2022-12-29 | 2023-02-03 | 尚特杰电力科技有限公司 | 光伏组件边缘特征图补齐方法、系统、设备及存储介质 |
| CN116912255A (zh) * | 2023-09-14 | 2023-10-20 | 济南宝林信息技术有限公司 | 一种用于卵巢组织分析的卵泡区域分割方法 |
| CN116912255B (zh) * | 2023-09-14 | 2023-12-19 | 济南宝林信息技术有限公司 | 一种用于卵巢组织分析的卵泡区域分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582111B (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582111B (zh) | 一种基于语义分割的细胞各成分分割方法 | |
| CN109325960B (zh) | 一种红外云图气旋分析方法及分析系统 | |
| CN107247971B (zh) | 一种超声甲状腺结节风险指标的智能分析方法及系统 | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| CN111723675B (zh) | 基于多重相似性度量深度学习的遥感图像场景分类方法 | |
| CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
| CN110021425B (zh) | 一种比较检测器及其构建方法与宫颈癌细胞检测方法 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN108109140A (zh) | 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统 | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN112396619B (zh) | 一种基于语义分割的内部复杂组成的小型颗粒分割方法 | |
| Eddaoudi et al. | Microcalcifications detection in mammographic images using texture coding | |
| CN112991269A (zh) | 一种肺部ct图像的识别分类方法 | |
| CN111339924B (zh) | 一种基于超像素和全卷积网络的极化sar图像分类方法 | |
| CN113706434B (zh) | 基于深度学习对胸部增强ct图像的后处理方法 | |
| CN111784711A (zh) | 一种基于深度学习的肺部病理图像分类与分割方法 | |
| CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
| CN109740669B (zh) | 一种基于深度特征聚合的乳腺癌病理图像分类方法 | |
| He et al. | Simplified texture spectrum for texture analysis | |
| CN116228759B (zh) | 肾细胞癌类型的计算机辅助诊断系统及设备 | |
| CN113344933A (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN116664932A (zh) | 一种基于主动学习的结直肠癌病理组织图像分类方法 | |
| CN115965613A (zh) | 基于空洞卷积的跨层连接的施工场景人群计数方法 | |
| CN113192076B (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220429 |