CN111210449B - 一种前列腺癌病理图像中腺体空腔的自动化分割方法 - Google Patents
一种前列腺癌病理图像中腺体空腔的自动化分割方法 Download PDFInfo
- Publication number
- CN111210449B CN111210449B CN201911339053.5A CN201911339053A CN111210449B CN 111210449 B CN111210449 B CN 111210449B CN 201911339053 A CN201911339053 A CN 201911339053A CN 111210449 B CN111210449 B CN 111210449B
- Authority
- CN
- China
- Prior art keywords
- cavity
- image
- features
- gray level
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 title claims abstract description 30
- 210000004907 gland Anatomy 0.000 title claims abstract description 26
- 230000001575 pathological effect Effects 0.000 title claims abstract description 22
- 206010060862 Prostate cancer Diseases 0.000 title claims abstract description 20
- 208000000236 Prostatic Neoplasms Diseases 0.000 title claims abstract description 20
- 238000007477 logistic regression Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 48
- 230000007170 pathology Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000000877 morphologic effect Effects 0.000 claims description 13
- 238000010186 staining Methods 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 210000003855 cell nucleus Anatomy 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000762 glandular Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims 7
- 210000004940 nucleus Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000010801 machine learning Methods 0.000 abstract description 5
- 238000007635 classification algorithm Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 8
- 238000002790 cross-validation Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了属于图像处理技术和机器学习算法领域的一种前列腺癌病理图像中腺体空腔的自动化分割方法。该分割方法包括以下步骤：首先利用图像处理技术对前列腺癌病理图像中的腺体空腔进行初步分割，然后在初步分割的结果中提取空腔及其邻域的图像特征，最后利用逻辑回归分类算法去除初步分割结果中的假阳性空腔，从而达到高准确度的腺体空腔自动分割的目的。
Description
技术领域
本发明涉及图像处理技术和机器学习算法领域，具体涉及一种前列腺癌病理图像中腺体空腔的自动化分割方法。
背景技术
随着科学技术的发展，人工智能已逐渐成为解决医学问题的重要工具之一。机器学习是人工智能技术的一个重要分支，在精准及智能医疗的研究中占据主要地位。已有众多研究者致力于研究使用机器学习方法对前列腺癌病理染色图像进行自动分级，其中，精确的分割腺体结构对分级的可靠性具有重要的影响。在病理染色图像中，存在有两类腺体：带有空腔(lumen)的腺体和空腔被填满的腺体，前者是由空腔及环绕空腔的上皮细胞组成，后者则是由于上皮细胞发生癌变扩增导致空腔缩小，甚至最终被填满。如果可以准确的分割这两种腺体，将大大提高前列腺癌病理染色图像分级的准确度，而其中，准确分割带有空腔腺体的一个重要前提就是将腺体内的空腔准确定位分割出来。
在前列腺癌病理染色图像中，存在有大量和空腔相似的伪影，如细胞癌变导致的孔洞，组织切片制备过程中由于撕裂导致的空白区域等，这些噪音直接造成分割结果中包含很多假阳性的空腔，降低分割准确度。
发明内容
本发明提出了一种前列腺癌病理图像中腺体空腔的自动化分割方法，该方法是结合图像处理技术和机器学习算法建立的，其利用了图像处理技术中的图像分割和形态学处理方法初步分割空腔，然后对空腔及其邻域像素进行特征提取，将特征输入本发明训练的逻辑回归(LogisticRegression)分类模型中剔除假阳性空腔，从而得到准确的空腔分割结果。
本发明提出的一种前列腺癌病理图像中腺体空腔的自动化分割方法，该方法包括如下步骤：
步骤1：将病理染色图像分割为若干超像素(superpixel)；
步骤2：使用无监督聚类模型将超像素聚类，并选择最符合空腔性质的簇；
步骤3：形态学处理步骤2得到的簇，去除位于图像边界的簇，得到初步分割的空腔；
步骤4：提取初步分割的空腔及其邻域的图像特征；
步骤5：利用逻辑回归分类模型，输入图像特征，对空腔进行分类。
所述步骤1中的超像素是指图像中具有相似纹理、颜色和亮度等特征的，由相邻像素构成的，且有一定视觉意义的不规则像素块；分割超像素的算法是SLIC(simple lineariterative cluster)，SLIC算法的具体步骤包括：
—给定将要分割的超像素的数量，根据超像素的数量确定采样步长，以步长对像素进行采样初始化聚类中心，将聚类中心移至3x3小块中梯度最小的位置；
—计算每个像素和每个聚类中心的距离，距离的计算是根据每个像素的R、G、B通道像素值和坐标X、Y构成的5维向量，计算5维向量的欧几里得距离作为每个像素到每个聚类中心的距离；
—根据距离决定每个像素所归属的聚类中心，并根据聚类的簇更新新的聚类中心；
—重复以上步骤若干次，直到重复次数达到设定值或者聚类中心不再移动；
—使用连通域算法(connectedcomponents)合并簇中的孤立点，得到最终的超像素分割结果。
所述步骤2中的具体步骤包括：
步骤2.1：将病理染色图像由RGB色彩空间转换到LAB色彩空间；
步骤2.2：计算每个超像素的L通道的灰度中位数(或平均值)作为每个超像素的特征值；
步骤2.3：利用无监督聚类算法对超像素的特征值进行聚类；
步骤2.4：取特征值中位数最大的超像素簇作为最符合空腔性质的簇。
所述步骤3的具体步骤包括：
步骤3.1：使用形态学填孔去除步骤2中得到的每个簇内的孔洞，然后使用形态学开运算去除空腔边界的缝隙，最后使用形态学闭运算去除空腔边界的毛刺；
步骤3.2：位于图像边界上的簇可能是病理染色图像的背景，也可能是部分空腔，对于分割腺体是无用的，因此并不考虑，去除位于边界上的簇之后就得到了初步分割的空腔。
所述步骤4的具体步骤包括：
步骤4.1：选择一张染色良好的病理图像，使用直方图匹配的方法对每张病理图像进行色彩标准化；
步骤4.2：使用步骤1～3的方法分割每张病理图像中的空腔，进一步的获取如下8个区域：
—ori：空腔内部区域；
—dia：空腔内部和外部邻域，获取方法是使用形态学膨胀对空腔内部区域进行区域扩张，膨胀卷积核(kernel)的大小为kxk，k的计算方法是：
其中S为空腔的面积，N为根据空腔大小分布人为决定的最小膨胀大小；
—xor：空腔外部邻域，通过将dia区域与ori区域进行异或操作获得；
—nor：包含空腔外部邻域的最小矩形区域，即包含dia的最小外部矩形区域；
—rnor：放缩为固定大小后的包含空腔外部邻域的最小矩形区域；
—rori：rnor区域中的空腔内部区域；
—rdia：rnor区域中的空腔内部区域和空腔外部邻域；
—rxor：rnor区域中的的空腔外部邻域；
步骤4.3：对8个区域对应的各个单通道图像共24张图像提取特征，具体的，基于ori、dia、xor、rori、rdia和rxor共6个区域18张单通道图像提取色彩统计值特征、纹理特征和形状特征，其中形状特征只需基于6个区域的任意一张单通道图像；基于rnor区域的3张单通道图像提取LBP(LocalBinaryPattern)统计直方图特征；
步骤4.4：对R、G、B各个单通道图像提取的特征作为单通道图像特征，然后计算将任意两个单通道图像特征向量对应元素相乘的结果和三个单通道图像特征向量对应元素相乘的结果作为多通道图像特征，此处是为了计算交互作用特征，但是针对的是不同通道下的同种特征之间的交互特征。
所述步骤5中的逻辑回归模型的基本形式是：
其中为预测值，X为输入特征，β为输入特征的系数；本发明中的逻辑回归模型采用L1正则对系数β进行惩罚，其惩罚函数的形式是：
其中，N表示输入模型的细胞核总数，p表示所有输入特征的个数；yi表示第i个细胞核分类的真实值；xi表示第i个细胞核的输入特征，β表示所有输入特征的系数，βj表示第j个输入特征的系数，λ为L1正则化的惩罚系数；模型具体的训练步骤是：
—将病理图像特征标准化；
—将所有空腔样本随机分为训练集和测试集；
—对训练集进行多次交叉验证，每次交叉验证取不同的惩罚值λ，通过每次交叉验证得到的分类准确率的平均值和方差，使用一倍标准差方法选择最优的惩罚值，其中，一倍标准差选择的是交叉验证平均分类准确率位于最低交叉验证平均分类准确率的一倍标准差之内的选择特征最少的模型；
—将最优的惩罚值和所有训练集输入到模型中，构建逻辑回归模型；
—使用构建的逻辑回归模型对测试集进行预测，计算预测结果的准确度、AUC或召回率等评价指标，对构建的模型进行评价。
所述步骤4中提取的图像特征具体包括：
—色彩统计值特征：包括对象图像灰度值的最小值、最大值、平均值、中位数、极差、10分位值、90分位值、四分位差、方差、熵等19个特征；
—纹理特征：纹理特征基于GLCM、GLSZM、GLRLM、NGTDM和GLDM5个纹理矩阵提取，其中GLCM矩阵包括最大概率(MaximumProbability)、逆方差(InverseVariance)、簇影(ClusterShade)、信息相关量1(Informational Measure of Correlation1)、平方和(Sumof suqare)等24个特征，GLSZM矩阵包括归一化灰度不均匀性(GrayLevelNonUniformityNormalized)、大面积高灰度水平(LargeAreaHighGrayLevelEmphasis)、高灰度水平(HighGrayLevelZoneEmphasis)、小面积低灰度水平(SmallAreaLowGrayLevelEmphasis)等16个特征，GLRLM矩阵包括长游程高灰度水平(LongRunHighGrayLevelEmphasis)、高灰度游程水平(High Gray Level Run Emphasis)、短游程低灰度水平(ShortRunLowGrayLevelEmphasis)、归一化灰度不均匀性等16个特征，NGTDM矩阵包括繁忙度(Busyness)、强度(Strength)、对比度(Contrast)、粗糙度(Coarseness)和复杂度(Complexity)共5个特征，GLDM矩阵包括归一化依赖不均匀性(DependenceNonUniformityNormalized)、依赖方差(DependenceVariance)、大依赖高灰度水平(LargeDependenceHighGrayLevelEmphasis)等14个特征；
—形状特征：包括对象区域的面积、周长、周长面积比、最长直径等10个特征；
—LBP统计直方图特征：包括以1～9为半径r，周围取8r个像素计算的旋转不变标准(uniform)LBP二值模式的统计直方图特征。
所述步骤5中交叉验证最终选择的L1正则惩罚值λ为0.01389，逻辑回归模型筛选出44个病理图像特征，下面对这44个特征的意义进行详细介绍：
—LBP直方图特征类：包括G_lbp_r3b17、G_lbp_r9b72、B_lbp_r7b56、RG_lbp_r2b11、GB_lbp_r7b8、GB_lbp_r9b58和GB_lbp_r9b64共7个LBP直方图特征；其命名含义是“色彩通道_LBP统计直方图特征标记符_LBP统计直方图特征”，如G_lbp_r3b17中G表示绿色单通道图像，lbp为LBP统计直方图特征标记符，r3b17表示以半径为3计算的局部二值模式的值为17的数量；
—色彩特征类：包括rori_G_original_firstorder_90Percentile、rori_G_original_firstorder_Median、
rori_GB_original_firstorder_Median、rdia_R_original_firstorder_Median、
rdia_G_original_firstorder_90Percentile、rdia_GB_original_firstorder_90Percentile、
rxor_R_original_firstorder_90Percentile、rxor_R_original_firstorder_Median、
rxor_B_original_firstorder_InterquartileRange共9个色彩特征；其命名含义是“区域_色彩通道_滤波器_色彩特征标记符_色彩统计值特征”，如rori_G_original_firstorder_90Percentile中original是表示图像未经任何滤波器滤波，firstorder为色彩特征标记符；色彩统计特征值的具体计算方法如下：
——90Percentile：将所有灰度值从大到小排列，第90分位(100分位为最大值，0分位为最小值)的像素值；
——Median：所有灰度值的中位数；
——InterquartileRange：75分位与25分位灰度值之差；
—纹理特征类：包括ori_R_original_gldm_DependenceNonUniformityNormalized、
xor_R_original_gldm_DependenceVariance、rori_R_original_ngtdm_Busyness、
rori_G_original_gldm_LargeDependenceHighGrayLevelEmphasis、rori_RB_original_ngtdm_Strength、
xor_G_original_glszm_GrayLevelNonUniformityNormalized、rori_RGB_original_ngtdm_Strength、
xor_G_original_glszm_LargeAreaHighGrayLevelEmphasis、
xor_RG_original_glszm_HighGrayLevelZoneEmphasis、
rori_RG_original_glszm_SmallAreaLowGrayLevelEmphasis、
rdia_G_original_glszm_LargeAreaHighGrayLevelEmphasis、
rdia_B_original_glszm_GrayLevelNonUniformityNormalized、
rdia_B_original_glszm_LargeAreaHighGrayLevelEmphasis、
xor_G_original_glrlm_LongRunHighGrayLevelEmphasis、
xor_RG_original_glrlm_HighGrayLevelRunEmphasis、
rori_RG_original_glrlm_ShortRunLowGrayLevelEmphasis、
rdia_G_original_glrlm_LongRunHighGrayLevelEmphasis、
rdia_B_original_glrlm_GrayLevelNonUniformityNormalized、
ori_RB_original_glcm_InverseVariance、xor_R_original_glcm_MaximumProbability、
xor_B_original_glcm_ClusterShade、xor_RG_original_glcm_InverseVariance、
rxor_B_original_glcm_MaximumProbability、rori_B_original_glcm_Imc1、
rdia_B_original_glrlm_LongRunHighGrayLevelEmphasis共19个纹理特征；其命名含义是“区域_色彩通道_滤波器_纹理特征矩阵标记符_纹理特征”，如rori_R_original_ngtdm_Busyness中ngtdm为NGTDM纹理矩阵的标记符；纹理矩阵类型包括：GLCM、GLSZM、GLRLM，NGTDM和GLDM，纹理矩阵的具体含义如下：
——GLCM，全称Gray Level Co-occurrence Matrix，GLCM矩阵第i行第j列的值P(i，j)表示灰度级为i的像素和灰度级为j的像素之间存在特定共生关系的像素对的数量；
——GLSZM，全称Gray Level Size Zone Matrix，GLSZM矩阵第i行第j列的值P(i，j)表示灰度级为i的面积为j的连通域数量，其中连通域可定义为4连接或8连接；
——GLRLM，全称Gray Level Run Length Matrix，GLRLM矩阵的第i行第j列的值P(i，j)表示灰度级为i的长度为j的趋线(run)的数量，其中趋线的定义为角度为θ的相同灰度级的像素集合；
——NGTDM，全称Neighbouring Gray Tone Difference Matrix，NGTDM矩阵包含4列，第一列为灰度级，第二列为灰度级的数量，第三列为灰度级的频率，第四列为灰度级的所有像素与邻域像素灰度平均值之差的绝对值之和；
——GLDM，全称Gray Level Dependence Matrix，GLDM矩阵的第i行第j列的值P(i，j)表示灰度级i的所有像素中依赖像素数量为j的像素数量，其中依赖像素指两个像素的距离小于设定值且灰度差也小于设定值是，两个像素互为依赖像素；
上述纹理矩阵对应的纹理特征的计算方法如下：
——GLCM矩阵特征计算公式相关参数说明：Ng为灰度级的数量，为GLCM矩阵第i行第j列的频率，/>为第i行的频率，为第j列的频率，/>的px平均灰度，/>是py的平均灰度，/>其中|i-j|＝k，k＝0，1，...，Ng-1，∈为一个无限接近于0的正数；
——glcm_InverseVariance的计算公式为：
——glcm_MaximumProbability的计算公式为：
MaximumProbability＝max(p(i，j))；
——glcm_ClusterShade的计算公式为：
——glcm_Imc1的计算公式为：
其中HXY、HXY1、HX、HY的计算公式分别为：
——GLSZM矩阵特征计算公式相关参数说明：Ng为灰度级的数量，Ns为所有相同灰度级的连通域面积的不同值的数量，为GLSZM矩阵的和，/>是GLSZM矩阵第i行第j列的频率；
——glszm_GrayLevelNonUniformityNormalized的计算公式为：
——glszm_LargeAreaHighGrayLevelEmphasis的计算公式为：
——glszm_HighGrayLevelZoneEmphasis的计算公式为：
——glszm_SmallAreaLowGrayLevelEmphasis的计算公式为：
——GLRLM矩阵特征计算公式相关参数说明：Ng为灰度级的数量，Nr为所有趋线长度的不同值的数量，Nr(θ)为角度为θ的趋线长度的不同值的数量，P(i，j|θ)是角度为θ的GLSZM矩阵，是GLRLM矩阵第i行第j列的频率；
——glrlm_LongRunHighGrayLevelEmphasis的计算公式为：
——glrlm_HighGrayLevelRunEmphasis的计算公式为：
——glrlm_ShortRunLowGrayLevelEmphasis的计算公式为：
——glrlm_GrayLevelNonUniformityNormalized的计算公式为：
——NGTDM矩阵特征计算公式相关参数说明：Ng是灰度级的数量，Np是像素的数量，是灰度级i的频率，Ng，p是p≠0的灰度级的数量，Si是灰度级为i的所有像素与其邻域平均值之差的绝对值之和；
——ngtdm_Busyness的计算公式为：
——ngtdm_Strength的计算公式为：
——GLDM矩阵特征计算公式相关参数说明：Ng为灰度级的数量，Nd是不同灰度依赖像素数的数量，Nz为所有灰度依赖数之和，即GLDM矩阵之和，是GLDM矩阵第i行第j列的频率，/>是灰度依赖像素数量的平均值；
——gldm_DependenceNonUniformityNormalized的计算公式为：
——gldm_DependenceVariance的计算公式为：
——gldm_LargeDependenceHighGrayLevelEmphasis的计算公式为：
—形状特征类：包括rdia_shape 2D_MaximumDiameter、rxor_shape 2D_MaximumDiameter、rori_shape2D_Elongation共3个形状特征；其命名含义是“区域_形状特征标记符_形状特征”，每个形状特征的计算方法如下：
——shape2D_MaximumDiameter是对象区域中像素之间的最远距离；
——shape2D_Elongation的计算公式为：
其中λminor是对对象区域所有坐标进行主元素分析(PCA)降维后的第二主成分，λminor是对对象区域所有坐标进行PCA降维后的第一主成分。
本发明的有益效果是可准确分割前列腺癌腺体空腔，使用图像处理技术可自动分割空腔，同时进一步使用的逻辑回归模型在测试集数据上对真假空腔的分类准确度达93.27％，AUC值达98.04％，可准确剔除假阳性空腔，提升了分割的灵敏度和特异度，最终达到准确分割前列腺癌病理图像中腺体空腔的目的。
附图说明
图1为本发明所提出方法的流程图；
图2为本发明中训练逻辑回归模型的交叉验证误差变化图；
图3为本发明中逻辑回归模型在测试集上的ROC曲线；
图4为本发明的空腔初步分割结果示例图；
图5为本发明的空腔最终分割结果示例图。
具体实施方式
本发明提供了一种前列腺癌病理图像中腺体空腔的自动化分割方法，下面结合附图和实施例对本发明的技术特征和优势予以说明。
本发明的代码实现环境是Python3.7.3和R3.6.1。
本发明的实施例数据包括46张H E病理染色图像，图像大小大致为1200x800pixels，经图像处理分割后，抽样并标注了1041个腺体空腔，其中包括314个真阳性空腔和727个假阳性空腔。
本发明所提出的一种前列腺癌病理图像中腺体空腔的自动化分割方法，包括以下步骤：
步骤1：将病理染色图像分割为若干超像素(superpixel)；
步骤2：使用无监督聚类模型将超像素聚类，并选择最符合空腔性质的簇；
步骤3：形态学处理步骤2得到的簇，去除位于图像边界的簇，得到初步分割的空腔；
步骤4：提取初步分割的空腔及其邻域的图像特征；
步骤5：利用图像特征训练较优的逻辑回归模型，并使用测试数据对模型进行评价。
所述步骤1的具体步骤分割的超像素个数n根据下式进行设定：
其中rows表示病理染色图像的宽，cols表示病理染色图像的长；超像素的分割算法是SLIC算法。
所述步骤2具体包括如下步骤：
步骤2.1：将病理染色图像由RGB色彩空间转换到LAB色彩空间；
步骤2.2：计算每个超像素的L通道的灰度中位数作为每个超像素的特征值；
步骤2.3：利用KMeans聚类算法对超像素的特征值进行聚类；
步骤2.4：取特征值中位数最大的超像素簇作为最符合空腔性质的簇。
所述步骤3具体包括如下步骤：
步骤3.1：使用形态学填孔去除步骤2中得到的每个簇内的孔洞，然后使用形态学开运算去除空腔边界的缝隙，最后使用形态学闭运算去除空腔边界的毛刺；
步骤3.2：计算每个超像素簇位于边界上的像素个数，若个数大于设定值(100)则将该超像素簇去除。
所述步骤4具体包括如下步骤：
步骤4.1：利用直方图匹配算法对每张病理染色图像进行色彩校正；
步骤4.2：直接对初步分割的空腔、初步分割的空腔的邻域、初步分割的空腔及邻域三块区域分别提取图像特征，其中邻域的获取方式是将图像进行形态学膨胀，膨胀核大小为50x50，取膨胀的区域为邻域；提取的特征类型具体包括如下特征：
1)单通道图像特征：
—色彩统计值特征：计算R、G、B各个通道下的空腔像素值的平均值、中位数、熵和能量等一阶统计值作为色彩统计值特征；
—纹理特征：将R、G、B各个通道下的空腔图像转为GLCM、GLDM和NGTDM等纹理矩阵，基于纹理矩阵进一步计算特征值作为空腔的纹理特征；
2)多通道交互图像特征：将R、G、B各个单通道图像特征值向量两两点乘、三通道点乘的结果作为多通道图像交互作用特征；
3)形状特征：计算空腔的面积、周长和圆度等特征值作为空腔的形状特征；
步骤4.3：将对初步分割的空腔、初步分割的空腔的邻域、初步分割的空腔及邻域三块区域放缩到同一尺寸(300x300)，分别提取步骤4.2中的图像特征；
步骤4.4：以空腔边界向周围扩散一定大小的邻域，取包含其的最小矩形框，放缩到同一尺寸(300x300)，对R、G、B各个单通道图像提取LBP直方图特征作为单通道图像特征，然后计算各个单通道图像特征值向量两两点乘、三通道点乘的结果作为多通道图像交互作用特征；
最终提取了6606个病理图像特征，其中756个色彩统计值特征，3150个纹理特征，54个形状特征，2646个LBP直方图统计特征。所述步骤5中的逻辑回归模型采用L1正则对系数进行惩罚，模型的训练步骤具体包括：
步骤5.1：将图像特征标准化；
步骤5.2：随机抽取70％的样本作为训练集，剩余30％的样本作为测试集；
步骤5.3：设定L1正则的惩罚参数，然后利用10折交叉验证计算该惩罚参数下训练集的交叉验证准确度；
步骤5.4：设定不同的L1正则惩罚参数，重复步骤5.3，计算出每个惩罚参数对应的交叉验证准确度平均值，根据一倍标准差方法选择出惩罚参数；
步骤5.5：设定逻辑回归模型的惩罚参数为步骤5.4中选择的惩罚参数，拟合所有训练集数据为所构建的逻辑回归模型；
步骤5.6：使用构建的逻辑回归模型对测试集进行预测，计算预测准确度与AUC值，对模型进行评价。
本发明的实施例中，构建的逻辑回归模型在测试集上的预测准确度达0.9327，95％CI为(0.899,0.9579)，预测的AUC值达0.9804，图3为预测结果的ROC曲线，表明该模型可有效的分类假阳性空腔和真空腔，有效提升了空腔分割的准确度；此外，使用L1正则逻辑回归模型筛选得到44个病理图像特征，计算时间复杂度较低，可广泛应用。图4和图5分别展示了腺体空腔的初步和最终分割的结果，假阳性空腔得到了有效的过滤。
以上实施例仅为说明本发明的技术方案和证实所提出的方法的有效性和优越性，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种前列腺癌病理图像中腺体空腔的自动化分割方法，其特征在于：包括以下步骤：
步骤1：将病理染色图像分割为若干超像素；
步骤2：使用无监督聚类模型将超像素聚类，并判断选择与空腔性质最接近的簇；
步骤3：形态学处理步骤2得到的簇，去除位于图像边界的簇，得到初步分割的空腔；
步骤4：提取初步分割的空腔及其邻域的图像特征；
步骤5：利用逻辑回归分类模型，输入图像特征，对空腔进行分类；
其中，所述步骤3中的形态学处理包括形态学填孔、开运算和闭运算；利用所述形态学填孔去除所述步骤2中得到的所述簇内的孔洞，利用所述开运算去除空腔边界的缝隙，利用所述闭运算去除空腔边界的毛刺；去除边界超像素簇的方法是超像素簇中位于图像边界的像素个数，若个数大于设定阈值则去除该超像素簇；
所述步骤4提取初步分割的空腔及其邻域的图像特征的具体步骤包括：
步骤4.1：选择一张染色良好的病理图像，使用直方图匹配的方法对每张病理图像进行色彩标准化；
步骤4.2：利用所述步骤1、步骤2和步骤3的方法分割每张病理图像中的空腔，进一步的获取如下7个区域：
—ori：空腔内部区域；
—dia：空腔内部和外部邻域，获取方法是使用形态学膨胀对空腔内部区域进行区域扩张，膨胀卷积核(kernel)的大小为kxk，k的计算方法是：
其中S为空腔的面积，N为根据空腔大小分布人为决定的最小膨胀大小；
—xor：空腔外部邻域，通过将dia区域与ori区域进行异或操作获得；
—rnor：将包含空腔外部邻域的最小矩形区域放缩为固定大小的区域；
—rori：rnor区域中的空腔内部区域；
—rdia：rnor区域中的空腔内部区域和空腔外部邻域；
—rxor：rnor区域中的空腔外部邻域；
步骤4.3：取7个区域对应的R、G、B各个单通道图像共21张图像提取特征，基于ori、dia、xor、rori、rdia和rxor共6个区域18张单通道图像提取色彩统计值特征、纹理特征和形状特征，其中形状特征只需基于6个区域的任意一张单通道图像；基于rnor区域的3张单通道图像提取LBP(LocalBinaryPattern)统计直方图特征；
步骤4.4：对R、G、B各个单通道图像提取的特征作为单通道图像特征，然后将任意两个单通道图像特征向量对应元素相乘的结果和三个单通道图像特征向量对应元素相乘的结果作为多通道图像特征，此处是为了计算交互作用特征，但是针对的是不同通道下的同种特征之间的交互特征；
提取的特征类型具体包括如下特征：
单通道图像特征：
—色彩统计值特征：计算R、G、B各个通道下的空腔像素值的平均值、中位数、熵和能量的一阶统计值作为色彩统计值特征；
—纹理特征：将R、G、B各个通道下的空腔图像转为GLCM、GLDM和NGTDM的纹理矩阵，基于所述纹理矩阵进一步计算特征值作为空腔的纹理特征；
多通道交互图像特征：
将R、G、B各个单通道图像特征值向量两两点乘、三通道点乘的结果作为多通道图像交互作用特征；
形状特征：计算空腔的面积、周长和圆度的特征值作为空腔的形状特征。
2.根据权利要求1所述的一种前列腺癌病理图像中腺体空腔的自动化分割方法，
其特征在于：所述步骤1中分割超像素的方法是SLIC算法，分割超像素的个数n的计
算方式为：
其中rows表示病理染色图像的宽，cols表示病理染色图像的长。
3.根据权利要求1所述的一种前列腺癌病理图像中腺体空腔的自动化分割方法，其特征在于：所述步骤2的具体步骤包括：
步骤2.1：将病理染色图像由RGB色彩空间转换到LAB色彩空间；
步骤2.2：计算每个超像素的L通道的灰度中位数作为每个超像素的特征值；
步骤2.3：利用聚类算法对超像素的特征值进行聚类；
步骤2.4：取特征值中位数最大的超像素簇作为与空腔性质最接近的簇。
4.根据权利要求1所述的一种前列腺癌病理图像中腺体空腔的自动化分割方法，其特征在于：所述步骤5中的逻辑回归模型采用L1正则对特征系数进行惩罚，惩罚函数的形式为：
其中，N表示输入模型的细胞核总数，p表示所有输入特征的个数；yi表示第i个细胞核分类的真实值；xi表示第i个细胞核的输入特征，β表示所有输入特征的系数，βj表示第j个输入特征的系数，λ为L1正则化的惩罚系数。
5.根据权利要求1所述的一种前列腺癌病理图像中腺体空腔的自动化分割方法，其特征在于：
所述的提取初步分割的空腔及其邻域的图像特征包括如下图像特征：
—色彩统计值特征：包括对象图像灰度值的最小值、最大值、平均值、中位数、极差、10分位值、90分位值、四分位差、方差、熵10个特征；
—纹理特征：纹理特征基于GLCM、GLSZM、GLRLM、NGTDM和GLDM5个纹理矩阵提取，其中GLCM矩阵包括最大概率(MaximumProbability)、逆方差(InverseVariance)、簇影(ClusterShade)、信息相关量1(Informational Measure of Correlation1)、平方和(Sumof suqare)5个特征，GLSZM矩阵包括归一化灰度不均匀性(GrayLevelNonUniformityNormalized)、大面积高灰度水平(LargeAreaHighGrayLevelEmphasis)、高灰度水平(HighGrayLevelZoneEmphasis)、小面积低灰度水平(SmallAreaLowGrayLevelEmphasis)4个特征，GLRLM矩阵包括长游程高灰度水平(LongRunHighGrayLevelEmphasis)、高灰度游程水平(HighGrayLevelRunEmphasis)、短游程低灰度水平(ShortRunLowGrayLevelEmphasis)、归一化灰度不均匀性4个特征，NGTDM矩阵包括繁忙度(Busyness)、强度(Strength)、对比度(Contrast)、粗糙度(Coarseness)和复杂度(Complexity)共5个特征，GLDM矩阵包括归一化依赖不均匀性(DependenceNonUniformityNormalized)、依赖方差(DependenceVariance)、大依赖高灰度水平(LargeDependenceHighGrayLevelEmphasis)3个特征；
—形状特征：包括对象区域的面积、周长、周长面积比、最长直径4个特征；
—LBP统计直方图特征：包括以1～9为半径r，周围取8r个像素计算的旋转不变标准(uniform)LBP二值模式的统计直方图特征。
6.根据权利要求5所述的一种前列腺癌病理图像中腺体空腔的自动化分割方法，其特征在于：
所述的纹理特征包含的纹理矩阵的意义是：
—GLCM，全称Gray Level Co-occurrence Matrix，GLCM矩阵第i行第j列的值P(i，j)表示灰度级为i的像素和灰度级为j的像素之间存在特定共生关系的像素对的数量；
—GLSZM，全称Gray Level Size Zone Matrix，GLSZM矩阵第i行第j列的值P(i，j)表示灰度级为i的面积为j的连通域数量，其中连通域可定义为4连接或8连接；
—GLRLM，全称Gray Level Run Length Matrix，GLRLM矩阵的第i行第j列的值P(i，j)表示灰度级为i的长度为j的趋线(run)的数量，其中趋线的定义为角度为θ的相同灰度级的像素集合；
—NGTDM，全称Neighbouring Gray Tone Difference Matrix，NGTDM矩阵包含4列，第一列为灰度级，第二列为灰度级的数量，第三列为灰度级的频率，第四列为灰度级的所有像素与邻域像素灰度平均值之差的绝对值之和；
—GLDM，全称Gray Level Dependence Matrix，GLDM矩阵的第i行第j列的值P(i，j)表示灰度级i的所有像素中依赖像素数量为j的像素数量，其中依赖像素指两个像素的距离小于设定值且灰度差也小于设定值时，两个像素互为依赖像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911339053.5A CN111210449B (zh) | 2019-12-23 | 2019-12-23 | 一种前列腺癌病理图像中腺体空腔的自动化分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911339053.5A CN111210449B (zh) | 2019-12-23 | 2019-12-23 | 一种前列腺癌病理图像中腺体空腔的自动化分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111210449A CN111210449A (zh) | 2020-05-29 |
| CN111210449B true CN111210449B (zh) | 2024-01-23 |
Family
ID=70788183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911339053.5A Active CN111210449B (zh) | 2019-12-23 | 2019-12-23 | 一种前列腺癌病理图像中腺体空腔的自动化分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210449B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114190958B (zh) * | 2021-11-08 | 2022-11-22 | 南方医科大学南方医院 | 一种基于影像组学的pd-1疗效预测模型及其构建方法 |
| CN116258697B (zh) * | 2023-02-22 | 2023-11-24 | 浙江大学 | 基于粗标注的儿童皮肤病图像自动分类装置和方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785300A (zh) * | 2018-12-27 | 2019-05-21 | 华南理工大学 | 一种癌症医学图像数据处理方法、系统、装置和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140233826A1 (en) * | 2011-09-27 | 2014-08-21 | Board Of Regents Of The University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
| WO2017087415A1 (en) * | 2015-11-17 | 2017-05-26 | The Board Of Trustees Of The Leland Stanford Junior University | Profiling of pathology images for clinical applications |
| US20190042826A1 (en) * | 2017-08-04 | 2019-02-07 | Oregon Health & Science University | Automatic nuclei segmentation in histopathology images |
-
2019
- 2019-12-23 CN CN201911339053.5A patent/CN111210449B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785300A (zh) * | 2018-12-27 | 2019-05-21 | 华南理工大学 | 一种癌症医学图像数据处理方法、系统、装置和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 恶性肿瘤动态对比增强磁共振成像计算机辅助诊断研究进展;周煜翔;秦;宾果;陈汉威;冯仕庭;汪天富;黄炳升;;生物医学工程学杂志(第04期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111210449A (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
| CN107256558B (zh) | 一种无监督式的宫颈细胞图像自动分割方法及系统 | |
| CN111091527B (zh) | 一种病理组织切片图像中病变区域自动检测方法及系统 | |
| CN111402267B (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| CN109345508B (zh) | 一种基于两阶段神经网络的骨龄评价方法 | |
| CN112017191A (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN107194937B (zh) | 一种开放环境下中医舌象图像分割方法 | |
| CN110120042B (zh) | 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN111340824A (zh) | 一种基于数据挖掘的图像特征分割方法 | |
| CN115661144A (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN111210449B (zh) | 一种前列腺癌病理图像中腺体空腔的自动化分割方法 | |
| CN111339924B (zh) | 一种基于超像素和全卷积网络的极化sar图像分类方法 | |
| Valliammal et al. | A novel approach for plant leaf image segmentation using fuzzy clustering | |
| CN114067114A (zh) | 一种基于藻类细胞形态的面积核分割计数方法 | |
| CN111986126A (zh) | 一种基于改进vgg16网络的多目标检测方法 | |
| CN110826560A (zh) | 一种食管癌病理图像标注方法 | |
| CN113743421B (zh) | 一种水稻叶片花青素显色区域分割及定量分析的方法 | |
| CN115439493A (zh) | 一种乳腺组织切片癌变区域分割方法及装置 | |
| CN110084820B (zh) | 基于改进fcm算法的紫色土图像自适应分割提取方法 | |
| Yang et al. | An efficient automatic SAR image segmentation framework in AIS using kernel clustering index and histogram statistics | |
| CN113838066A (zh) | 一种基于改进模糊c均值聚类算法的彩色图像分割方法 | |
| Saha et al. | SRM superpixel merging framework for precise segmentation of cervical nucleus | |
| CN113850792A (zh) | 一种基于计算机视觉的细胞分类计数方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 201-a104, block B, huayuancheng digital building, 1079 Nanhai Avenue, Yanshan community, zhaoshang street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Huajia Biological Intelligence Technology Co.,Ltd. Address before: 518067 429, port building, China Merchants Group, Gongye 3rd road, zhaoshang street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: Shenzhen Huajia Biological Intelligence Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |