CN104933711B - 一种肿瘤病理图像自动快速分割方法 - Google Patents
一种肿瘤病理图像自动快速分割方法 Download PDFInfo
- Publication number
- CN104933711B CN104933711B CN201510317882.9A CN201510317882A CN104933711B CN 104933711 B CN104933711 B CN 104933711B CN 201510317882 A CN201510317882 A CN 201510317882A CN 104933711 B CN104933711 B CN 104933711B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- interest
- area
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明公开了一种肿瘤病理图像自动快速分割方法，首先采用高斯金字塔算法对肿瘤原始病理图像进行滤波，分别得到从1倍、2倍、4倍、8倍、16倍的病理学图像，通过RGB颜色模型和形态学“闭操作”在1倍分辨率图像上确定包含肿瘤的初始感兴趣区域；同时应用巴式距离从1倍分辨率到4倍分辨率进行初始肿瘤感兴趣区域的迭代优化，当巴式距离达到设定阈值，判断RGB颜色模型对肿瘤感兴趣区域贡献已经降低到0；再使用收敛指数滤波算法进行深度精确分割的自适应高分辨率选择，从而在最适合的高分辨率下进行进一步分割；最后使用基于随机投影的词袋模型将肿瘤感兴趣区域中的正常组织和肿瘤组织分割出来。该方法具有准确、快速、自动化等特点。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种肿瘤病理图像自动快速分割方法。
背景技术
癌症在发达国家已经成为主要死亡原因之一，以结直肠癌为例，是目前世界第三大恶性肿瘤。目前的病理切片诊断由于具有全彩色、图像分辨率高的特点，已经成为肿瘤检测的重要手段之一。但是目前肿瘤诊断完全依靠病理学医生的人工操作，不但效率慢，而且准确性受医生主观判断影响大。因此，基于病理的计算机辅助诊断系统具有很大的意义，有研究表明，病理计算机辅助诊断系统的输出结果可以为医生在肿瘤检测、定征和诊断决策时提供一种参考。
图像分割是肿瘤病理计算机辅助系统的重要环节。近十几年来，国内外在医学图像分割方面已经提出了很多算法，包括阈值分割、区域生长、基于模型的方法(包括活动轮廓模型，水平集，马尔科夫随机场等)、基于图论的方法(包括图割，归一化割等)、基于机器学习的方法、基于聚类的方法(包括K均值，模糊C均值等)。这些方法存在一些主要缺点：(1)多数方法需要手工交互；(2)多数方法对噪声敏感，且由于超声图像对比度低，具有与组织相关的纹理，故准确分割较为困难；(3)多数方法算法复杂度高，处理时间长，难以满足临床要求。
准确、快速、自动化分割是图像分割的目标。但分割的准确性、效率以及自动化水平也是相互矛盾的。近些年来，也有一些多分辨率自动分割方法相继被提出，这些方法的一般思路为：(1)在低分辨率下，通过某种全局特征自动找到能够将肿瘤涵括在内的感兴趣区域；(2)在高分辨率下，通过某种局部特征进行进一步优化分割。但是这些方法存在以下问题：(1)多分辨率的值是固定的，往往鲁棒性不高，仅对部分图像有效，影响了自动分割的准确性；(2)目前自动分割的技术路线和病理学医生的人工思路有较大分歧，带来的结果有两种，一是算法不适应病理学图像，分割精度不高；二是算法复杂程度非常高，处理时间非常长，难以达到临床上对自动分割的速度要求。
发明内容
发明目的：针对现有技术中存在的不足，本发明的目的在于提供一种肿瘤病理图像自动快速分割方法，具有准确、快速、自动化等特点。
技术方案：为了实现上述发明目的，本发明采用的技术方案如下：
一种肿瘤病理图像自动快速分割方法，其特征在于：首先采用高斯金字塔算法对肿瘤原始病理图像进行滤波，分别得到从1倍、2倍、4倍、8倍、16倍的病理学图像，通过RGB颜色直方图模型和形态学“闭操作”在1倍分辨率图像上确定包含肿瘤的初始感兴趣区域；同时应用巴氏距离从1倍分辨率到4倍分辨率进行初始肿瘤感兴趣区域的迭代优化，当巴氏距离达到设定阈值，判断RGB颜色直方图模型对肿瘤感兴趣区域贡献已经降低到0；再使用收敛指数滤波算法进行深度精确分割的自适应高分辨率选择，从而在最适合的高分辨率下进行进一步分割；最后使用基于随机投影的词袋模型将肿瘤感兴趣区域中的正常组织和肿瘤组织分割出来，实现最终肿瘤分割。
所述的肿瘤病理图像自动快速分割方法，包括如下步骤：
1)建立基于词袋BoW模型的肿瘤分类训练、测试数据库，构建texton字典，并训练出线性支持向量机LinearSVM模型(LinearSVM模型参考论文“LIBLINEAR:A library forlarge linear classification”的方法)；
2)将待分割的肿瘤病理图像，分别生成从1倍、2倍、4倍、8倍、16倍分辨率的病理图像；
3)从1倍分辨率图像开始使用RGB颜色直方图模型和形态学闭操作得到包含肿瘤的初始感兴趣区域；
4)在得到的初步分割结果基础上，重复步骤3)，得到更新后的感兴趣区域，并通过巴氏距离计算2个感兴趣区域的差异，如果差异大于阈值，继续重复步骤(3)，直到差异小于阈值跳转到高一倍分辨率图像，终止条件达到阈值或者达到4倍分辨率，得到优化后的感兴趣区域；
5)在优化后感兴趣区域中，在中心区域选择200×200像素框的图像；
6)用收敛指数滤波算法对步骤5)所选的区域进行细胞检测，如果细胞数量小于阈值，则跳转到高一层分辨率，继续重复步骤5)、6)；终止条件达到阈值，得到BoW分类最佳分辨率；
7)在步骤6)确定的最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片，用MR8滤波器对每一个块图片进行滤波，得到MR8特征；
8)在步骤7)基础上，用随机投影算法对图像进行降维，得到稀疏化的MR8特征；
9)用稀疏化后的MR8特征和步骤1)所得到的texton词典进行数据编码得到新的直方图特征；
10)用步骤1)得到的LinearSVM模型对所得到的直方图特征进行分类，筛选出在优化后的感兴趣区域中的肿瘤部分，最终分割出肿瘤。
步骤1)具体操作如下：
首先由临床医生对肿瘤病理学图像进行人工分割，确定哪些区域是肿瘤组织，哪些区域是正常组织，形成分类好的ground truth数据库；基于ground truth数据库，分别对从8倍和16倍分辨率，按照200×200像素对数据库进行分割；并按照50/50形成训练数据集和测试数据集；用MR8滤波器对每一个块图片进行滤波，得到40000维的MR8特征；用随机投影算法对MR8特征降维，得到稀疏化的MR8特征；用L1-norm范数对训练数据集进行texton词典聚类；Texton聚类模型公式表示如下
式中，Λ＝[α1,α2,...,αN]∈RL×N是编码矩阵，X＝[x1,x2,...,xN]∈RM×N是原始图像矩阵，D＝[d1,d2,...dL]∈RM×L是Texton聚类模型，αi,i＝1,2...,N是xi的L维编码向量；是αi的均值；参数λ和γ是正标量，用来控制texton的子词典dj是一个正交矩阵。
本模型较传统L1-norm范数模型增加了一项和的约束条件，目的是考虑到每个分类中的训练样本xi相似性较大，所以xi对应的编码向量也基本上相似，因此在公式中强制编码向量αi接近其均值μ。也就是求解本质上增加这一项可以减少内部分类变化，提高最终的分类精确性。
每个子分类含texton数量为40个；用texton词典对稀疏化后的MR8特征进行编码得到新的直方图特征；用SVM针对训练集和测试集进行SVM建模，得到针对肿瘤的SVM模型。
步骤2)中，1倍到16倍分辨率通过高斯金字塔滤波算法获得，具体包括：对原始32倍分辨率图像分别进行高斯模糊和偶数行采样，分别得到16倍、8倍、4倍、2倍、1倍图像；公式表示如下：
式中，i是金字塔级数，a，b分别是图像长和宽；W(m,n)＝W(m)×W(n)是长度为5的高斯卷积核。
步骤3)中，初始ROI区域获得，具体为：对1倍图像分别采样R，B通道的颜色直方图信息，记作hisR，hisB；分别对hisR，hisB进行平滑处理，并用均值算法获得hisR，hisB的均值；以均值为中心点分别上下浮动15个单位，作为R通道和B通道的颜色分割阈值；对图像进行第一次处理；用形态学闭操作算法，闭操作参数选择为11；将图像中所有的点进行融合，并形成1个闭合模板；将图像映射到1倍图像中得到初始感兴趣区域。
步骤4)中，优化ROI区域获得，具体包括：在初始感兴趣区域循环执行步骤3)，每次得到新的感兴趣区域和上一步感兴趣区域进行巴氏距离比对，具体公式如下：
式中，h代表上一步感兴趣区域的直方图统计信息，h'代表新的感兴趣区域直方图统计信息，对每个相同的数据点数据i乘积开平方后相加得到图像相似度值，范围为0-1之间；
如果巴氏距离大于0.995，停止，得到优化后感兴趣区域；如果巴氏距离大于0.99跳转到高一层分辨率图像继续执行，最高4倍分辨率；如果巴氏距离小于0.99，循环执行步骤3)、4)。
步骤6)中，最佳BoW分类分辨率获得，具体包括：在优化感兴趣区域中在中心位置提取200×200像素大小的图像；对该图像进行梯度变换；对梯度图像进行收敛指数滤波(具体方法参考论文“Cancer cell detection and invasion depth estimation inbrightfield images”进行细胞拟合)；如果细胞数量小于80个，跳转到高一层分辨率，循环执行步骤7)。
步骤10)中，BoW分类，具体为：在最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片(利用论文“A Statistical Approach to TextureClassification from Single Images”的方法)，对每个子图片提取MR8特征；分别对每个子图的MR8特征进行随机投影降维，具体公式为
式中，t是随机投影矩阵，m是降维的维度，取值为1600，n是原始维度，取值为40000；d为MR8的8个特征维度，R是原始MR8特征；
用步骤1)得到的texton词典对降维的MR8特征进行编码得到新的直方图特征；编码后的特征向量yi可以通过求解得到；所有特征向量汇总成直方图特征，具体公式如下：
其中n是图像中像素点的个数；
用步骤1)训练出的LinearSVM模型对新的直方图特征进行分类，最终确定哪些子图是肿瘤组织，哪些子图是正常组织。
有益效果：与现有技术相比，本发明所提供的全自动肿瘤病理图像分割方法，模拟临床医生操作习惯，采用自适应多分辨率策略，在低分辨率情况下，通过RGB颜色直方图模型和形态学操作获得初始肿瘤感兴趣区域，再通过巴氏距离对初始感兴趣区域进行优化，目的是减少运算量，提高效率；再通过收敛指数滤波算法对不同分辨率的图像进行细胞检测，当大于阈值确定该分辨率为最佳词袋模型分类分辨率，将优化后的感兴趣区域反映到该高分辨率图像中，通过随机投影对词袋模型输入特征进行降维，再通过和词袋字典texton进行编码生成直方图特征，最后通过LinearSVM进行分类，达到对感兴趣区域中肿瘤组织的分割。本发明完全依靠计算机进行，能够大幅度减少医生手工勾画的工作量，同时避免手工勾画带来的误差。分割的结果将能够用于获得相关疾病诊断及手术规划所需的重要解剖及生理学参数，从而提高疾病诊断及治疗的效率及准确性。
附图说明
图1是肿瘤病理图像自动快速分割方法的流程图；
图2是待分割的原始图；
图3是RGB颜色阈值分割图；
图4是形态学闭操作得到的初始感兴趣区域图；
图5是优化后的感兴趣区域在原始图像中的区域图；
图6是200×200区域图；
图7是梯度变换图；
图8是收敛指数滤波的能量分布，峰值为最有可能圆的圆心位置图；
图9是圆检测图；
图10是准确率ROC曲线分析对比图；
图11是基于20组病理肿瘤样本，采用本方法和临床医生人工分割的巴氏相似度分析图；
图12是三组本发明和人工分割对比图。
具体实施方式
下面结合具体实施例对本发明做进一步的说明，但本发明不受以下实施例的限制。
实施例1
一种肿瘤病理图像的准确、快速、自动化分割方法，为将临床医生的经验知识与图像处理技术结合在一起的方法，首先采用高斯金字塔算法对肿瘤原始病理图像进行滤波，分别得到从1倍、2倍、4倍、8倍、16倍的病理学图像，通过RGB颜色直方图模型和形态学“闭操作”在1倍分辨率图像上确定包含肿瘤的初始感兴趣区域；同时应用巴氏距离从1倍分辨率到4倍分辨率进行初始肿瘤感兴趣区域的迭代优化，当巴氏距离达到一定阈值，判断RGB颜色直方图模型对肿瘤感兴趣区域贡献已经降低到0。再使用收敛指数滤波算法进行深度精确分割的自适应高分辨率选择，从而在最适合的高分辨率下进行进一步分割；最后使用基于随机投影的词袋模型将肿瘤感兴趣区域中的正常组织和肿瘤组织分割出来，实现最终肿瘤分割，流程图如图1；具体过程如下：
1)建立基于BoW模型的肿瘤分类训练、测试数据库，构建texton字典，并训练出SVM模型。具体如下：
首先由临床医生对肿瘤病理学图像进行人工分割，确定哪些区域是肿瘤组织，哪些区域是正常组织，形成分类好的ground truth数据库(本数据库包含乳腺癌、肺癌、结直肠癌三类，其中，乳腺癌图像共150幅来自于“Adigital atlas of breasthistopathology:an application of web based virtual microscopy”；肺癌共100幅图像来自于“Image microarrays (IMA):Digital pathology's missing tool”；结直肠癌共120幅图像来自于“A Stochastic Polygons Model for Glandular Structures in ColonHistology Images获得”)。基于ground truth数据库，分别对从8倍和16倍分辨率，按照200×200像素对数据库进行分割。并按照50/50形成训练数据集和测试数据集。用MR8滤波器对每一个块图片进行滤波，得到40000维的MR8特征。用随机投影算法对MR8特征降维，得到稀疏化的MR8特征。用L1norm范数对训练数据集进行texton词典聚类，texton聚类模型公式表示如下
式中，Λ＝[α1,α2,...,αN]∈RL×N是编码矩阵，X＝[x1,x2,...,xN]∈RM×N是原始图像矩阵，D＝[d1,d2,...dL]∈RM×L是texton聚类模型，αi,i＝1,2...,N是xi的L维编码向量。是αi的均值。参数λ和γ是正标量，用来控制texton的子词典dj是一个正交矩阵。
本模型较传统L1-norm范数模型增加了一项和的约束条件，目的是考虑到每个分类中的训练样本xi相似性较大，所以xi对应的编码向量也基本上相似，因此在公式中强制编码向量αi接近其均值μ。也就是求解本质上增加这一项可以减少内部分类变化，提高最终的分类精确性。
每个子分类含texton数量为40个。用texton词典对稀疏化后的MR8特征进行编码得到新的直方图特征。用LinearSVM针对训练集和测试集进行LinearSVM建模，得到针对肿瘤的LinearSVM模型。
2)将待分割的肿瘤病理图像如图2所示，分别生成从1倍、2倍、4倍、8倍、16倍分辨率的病理图像。
其中，1倍到16倍分辨率通过高斯金字塔滤波算法获得，具体包括：对原始32倍分辨率图像分别进行高斯模糊和偶数行采样，分别得到16倍、8倍、4倍、2倍、1倍图像。公式表示如下：
式中，i是金字塔级数，a，b分别是图像长和宽。W(m,n)＝W(m)×W(n)是长度为5的高斯卷积核。
3)从1倍分辨率图像开始使用RGB颜色直方图模型和形态学闭操作得到包含肿瘤的初始感兴趣区域。
其中，初始ROI区域获得，具体为：对1倍图像分别采样R，B通道的颜色直方图信息，记作hisR，hisB。分别对hisR，hisB进行平滑处理，并用均值算法获得hisR，hisB的均值。以均值为中心点分别上下浮动15个单位，作为R通道和B通道的颜色分割阈值。对图像进行第一次处理，得到图3。在图3基础上，用形态学闭操作算法，闭操作参数选择为11。将图1中所有的点进行融合，并形成1个闭合模板。将图3映射到1倍图像中得到初始感兴趣区域，如图4。
4)在得到的初步分割结果基础上，重复步骤3)，得到更新后的感兴趣区域，并通过巴氏距离计算2个感兴趣区域的差异，如果差异大于0.99，继续重复步骤(3)，直到差异小于0.99跳转到高一倍分辨率图像，终止条件达到0.995或者达到4倍分辨率，得到优化后的感兴趣区域。
其中，优化ROI区域获得，具体包括：在初始感兴趣区域循环执行步骤3)，每次得到新的感兴趣区域和上一步感兴趣区域进行巴氏距离比对，具体公式如下：
式中，h代表上一步感兴趣区域的直方图统计信息，h'代表新的感兴趣区域直方图统计信息，对每个相同的数据点数据i乘积开平方后相加得到图像相似度值，范围为0-1之间。
如果巴氏距离大于0.995，停止，得到优化后感兴趣区域，如图5；如果巴氏距离大于0.99跳转到高一层分辨率图像继续执行，最高4倍分辨率；如果巴氏距离小于0.99，循环执行步骤3)、4)。
5)在优化后感兴趣区域中，在中心区域选择200×200像素框的图像。
6)用收敛指数滤波算法(具体参考论文“Cancer cell detection and invasiondepth estimation in brightfield images”方法)对步骤5)所选的区域进行细胞检测，如果细胞数量小于80，则跳转到高一层分辨率，继续重复步骤5)、6)；终止条件达到阈值，得到BoW分类最佳分辨率。
其中，最佳BoW分类分辨率获得，具体包括：在优化感兴趣区域中在中心位置提取200×200像素大小的图像，如图6；对该图像进行梯度变换，如图7；对梯度图像进行收敛指数滤波，进行细胞定位，如图8，图9；如果细胞数量小于80个，跳转到高一层分辨率，循环执行步骤6)。
7)在步骤6)确定的最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片，用MR8滤波器对每一个块图片进行滤波，得到MR8特征。
8)在步骤7)基础上，用随机投影算法对图像进行降维，得到稀疏化的MR8特征。
9)用稀疏化后的MR8特征和步骤1)所得到的texton词典进行数据编码得到新的直方图特征。编码后的特征向量yi可以通过求解得到。所有特征向量汇总成直方图特征，具体公式如下：
其中n是图像中像素点的个数。
10)用LinearSVM对所得到的直方图特征进行分类，筛选出在优化后的感兴趣区域中的肿瘤部分，最终分割出肿瘤。
其中，BoW分类，具体为：在最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片，对每个子图片提取MR8特征。(MR8特征利用论文“AStatistical Approach to Texture Classification from Single Images”的方法获得)分别对每个子图的MR8特征进行随机投影降维，具体公式为
式中，t是随机投影矩阵，m是降维的维度，本实施例为1600，n是原始维度，本实施例为40000。d为MR8的8个特征维度，R是原始MR8特征。
用步骤1)得到的texton词典对降维的MR8特征进行编码得到新的直方图特征。用步骤1)训练出的LinearSVM模型对新的直方图特征进行分类，最终确定哪些子图是肿瘤组织，哪些子图是正常组织。
实施例2
将实施例1的方法与VZ_MR8和TFISF方法，在编码时间上进行比较。(VZ_MR8和TFISF方法均参考论文“Effective texture classification by texton encodinginduced statistical features”获得)KTH_TIPS是一个纹理图像的开源数据库(在www.nada.kth.se/cvap/databases/kth-tips/可以获得)，具体包括10类图像，每类图像包括81张图片每个图像大小是200×200像素。Medical block数据库是本发明根据120幅结直肠肿瘤病理切片图像根据临床医生手动识别，随机提取8倍和16倍patches各1000张，每个patch大小是200×200像素，其中8倍肿瘤patches500张，8倍正常组织patches500张，16倍肿瘤patches500张，16倍正常组织patches500张。实验结果是20次实验平均值，如表1所示。应用本发明提出的基于随机投影降维的编码时间要远远小于其他结果，验证了本发明提出的方法的有效性。
表1：编码时间比较
| KTH_TIPS | Medical block | |
| VZ MR8 | 6.4s | 5.9s |
| TEISF | 11.7s | 11.1s |
| 本发明 | 0.92s | 0.87s |
将实施例1的方法和ELBP方法、GLCM方法，在应用BoW模型时图像分类正确性进行比较。同样选用KTH_TIPS和Medical block数据库进行验证。(ELBP方法参考论文“Multi-resolution gray-scale and rotation invariant texture classification withlocal binary patterns”，GLCM方法参考论文“Texture segmentation using differentorientations of GLCM features”。)实验结果为20次实验的统计平均，结果如表2所示。可以看出本方法和TEISF方法的分类正确性不相上下，并且远远高于其他三种方法。
表2：分类准确率对比
| KTH_TIPS | Medical block | |
| ELBP | 75.2％ | 71.3％ |
| GLCM | 71.5％ | 69.3％ |
| VZ MR8 | 87.4％ | 84.5％ |
| TEISF | 96.7％ | 91.5％ |
| 本发明 | 95.8％ | 91.9％ |
ROC是一种评估模型性能的评价工具，曲线越陡越说明模型的性能佳。图10是对比的五种方法的ROC曲线对比，从图中可以直观看出本方法较其他四种方法有很大的性能提升。
图11是针对20幅全尺度结直肠肿瘤病理图像的自动分割和人工分割的误差对比，采用均平方根误差Root mean squared error(RMSE)作为评估模型。(具体参考论文“Facealignment via component-based discriminative search”)根据统计，平均误差为9.3％，最大误差为14.9％，最小误差为5.7％。
图12是人工分割和自动分割的具体区域对比，可以清晰看出，采用本方法已经可以拟合人工分割的区域，在一些边缘存在一些不匹配情况。核心肿瘤区域都完全覆盖，可以作为医生辅助自动化系统帮助医生自动筛选肿瘤区域。
本发明所提供的全自动肿瘤病理图像分割方法，模拟临床医生操作习惯，采用自适应多分辨率策略，在低分辨率情况下，通过RGB颜色直方图模型和形态学操作获得初始肿瘤感兴趣区域，再通过巴氏距离对初始感兴趣区域进行优化，目的是减少运算量，提高效率；再通过收敛指数滤波算法对不同分辨率的图像进行细胞检测，当大于阈值确定该分辨率为最佳词袋模型分类分辨率，将优化后的感兴趣区域反映到该高分辨率图像中，通过随机投影对词袋模型输入特征进行降维，再通过和词袋字典texton进行编码生成直方图特征，最后通过LinearSVM进行分类，达到对感兴趣区域中肿瘤组织的分割。本发明完全依靠计算机进行，能够大幅度减少医生手工勾画的工作量，同时避免手工勾画带来的误差。分割的结果将能够用于获得相关疾病诊断及手术规划所需的重要解剖及生理学参数，从而提高疾病诊断及治疗的效率及准确性。
Claims (6)
1.一种肿瘤病理图像自动快速分割方法，其特征在于：首先采用高斯金字塔算法对肿瘤原始病理图像进行滤波，分别得到从1倍、2倍、4倍、8倍、16倍的病理学图像，通过RGB颜色直方图模型和形态学“闭操作”在1倍分辨率图像上确定包含肿瘤的初始感兴趣区域；同时应用巴氏距离从1倍分辨率到4倍分辨率进行初始肿瘤感兴趣区域的迭代优化，当巴氏距离达到设定阈值，判断RGB颜色直方图模型对肿瘤感兴趣区域贡献已经降低到0；再使用收敛指数滤波算法进行深度精确分割的自适应高分辨率选择，从而在最适合的高分辨率下进行进一步分割；最后使用基于随机投影的词袋模型将肿瘤感兴趣区域中的正常组织和肿瘤组织分割出来，实现最终肿瘤分割；包括如下步骤：
1)建立基于词袋BoW模型的肿瘤分类训练、测试数据库，构建texton字典，并训练出线性支持向量机LinearSVM模型；
2)将待分割的肿瘤病理图像，分别生成从1倍、2倍、4倍、8倍、16倍分辨率的病理图像；
3)从1倍分辨率图像开始使用RGB颜色直方图模型和形态学闭操作得到包含肿瘤的初始感兴趣区域；
4)在得到的初步分割结果基础上，重复步骤3)，得到更新后的感兴趣区域，并通过巴氏距离计算2个感兴趣区域的差异，如果差异大于阈值，继续重复步骤3)，直到差异小于阈值跳转到高一倍分辨率图像，终止条件达到阈值或者达到4倍分辨率，得到优化后的感兴趣区域；
5)在优化后感兴趣区域中，在中心区域选择200×200像素框的图像；
6)用收敛指数滤波算法对步骤5)所选的区域进行细胞检测，如果细胞数量小于阈值，则跳转到高一层分辨率，继续重复步骤5)、6)；终止条件达到阈值，得到BoW分类最佳分辨率；
7)在步骤6)确定的最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片，用MR8滤波器对每一个块图片进行滤波，得到MR8特征；
8)在步骤7)基础上，用随机投影算法对图像进行降维，得到稀疏化的MR8特征；
9)用稀疏化后的MR8特征和步骤1)所得到的texton词典进行数据编码得到新的直方图特征；
10)用步骤1)得到的LinearSVM模型对所得到的直方图特征进行分类，筛选出在优化后的感兴趣区域中的肿瘤部分，最终分割出肿瘤；
步骤1)具体操作如下：
首先由临床医生对肿瘤病理学图像进行人工分割，确定哪些区域是肿瘤组织，哪些区域是正常组织，形成分类好的ground truth数据库；基于ground truth数据库，分别对从8倍和16倍分辨率，按照200×200像素对数据库进行分割；并按照50/50形成训练数据集和测试数据集；用MR8滤波器对每一个块图片进行滤波，得到40000维的MR8特征；用随机投影算法对MR8特征降维，得到稀疏化的MR8特征；用L1-norm范数对训练数据集进行texton词典聚类；Texton聚类模型公式表示如下
<mrow>
<msub>
<mi>min</mi>
<mrow>
<mi>D</mi>
<mo>,</mo>
<mi>A</mi>
</mrow>
</msub>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<mi>X</mi>
<mo>-</mo>
<mi>D</mi>
<mi>&Lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mo>+</mo>
<mi>&lambda;</mi>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>+</mo>
<mi>&gamma;</mi>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<mo>|</mo>
<msub>
<mi>k&chi;</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>&mu;</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<msubsup>
<mi>d</mi>
<mi>j</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
</mrow>
1
式中，Λ＝[α1,α2,...,αN]∈RL×N是编码矩阵，X＝[x1,x2,...,xN]∈RM×N是原始图像矩阵，D＝[d1,d2,...dL]∈RM×L是Texton聚类模型，αi,i＝1,2...,N是xi的L维编码向量；是αi的均值；参数λ和γ是正标量，用来控制Texton的子词典dj是一个正交矩阵。
2.根据权利要求1所述的肿瘤病理图像自动快速分割方法，其特征在于，步骤2)中，1倍到16倍分辨率通过高斯金字塔滤波算法获得，具体包括：对原始32倍分辨率图像分别进行高斯模糊和偶数行采样，分别得到16倍、8倍、4倍、2倍、1倍图像；公式表示如下：
<mrow>
<msub>
<mi>G</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mn>2</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mn>2</mn>
</munderover>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>G</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mi>a</mi>
<mo>-</mo>
<mi>m</mi>
<mo>,</mo>
<mn>2</mn>
<mi>b</mi>
<mo>-</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
式中，i是金字塔级数，a，b分别是图像长和宽；W(m,n)＝W(m)×W(n)是长度为5的高斯卷积核。
3.根据权利要求1所述的肿瘤病理图像自动快速分割方法，其特征在于，步骤3)中，初始ROI区域获得，具体为：对1倍图像分别采样R，B通道的颜色直方图信息，记作hisR，hisB；分别对hisR，hisB进行平滑处理，并用均值算法获得hisR，hisB的均值；以均值为中心点分别上下浮动15个单位，作为R通道和B通道的颜色分割阈值；对图像进行第一次处理；用形态学闭操作算法，闭操作参数选择为11；将图像中所有的点进行融合，并形成1个闭合模板；将图像映射到1倍图像中得到初始感兴趣区域。
4.根据权利要求1所述的肿瘤病理图像自动快速分割方法，其特征在于，步骤4)中，优化ROI区域获得，具体包括：在初始感兴趣区域循环执行步骤3)，每次得到新的感兴趣区域和上一步感兴趣区域进行巴氏距离比对，具体公式如下：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>h</mi>
<mo>,</mo>
<msup>
<mi>h</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msqrt>
<mrow>
<mi>h</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<msup>
<mi>h</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mrow>
式中，h代表上一步感兴趣区域的直方图统计信息，h'代表新的感兴趣区域直方图统计信息，对每个相同的数据点数据i乘积开平方后相加得到图像相似度值，范围为0-1之间；
如果巴氏距离大于0.995，停止，得到优化后感兴趣区域；如果巴氏距离大于0.99跳转到高一层分辨率图像继续执行，最高4倍分辨率；如果巴氏距离小于0.99，循环执行步骤3)、4)。
5.根据权利要求1所述的肿瘤病理图像自动快速分割方法，其特征在于，步骤6)中，最佳BoW分类分辨率获得，具体包括：在优化感兴趣区域中在中心位置提取200×200像素大小的图像；对该图像进行梯度变换；对梯度图像进行收敛指数滤波来拟合细胞；如果细胞数量小于80个，跳转到高一层分辨率，循环执行步骤7)。
6.根据权利要求1所述的肿瘤病理图像自动快速分割方法，其特征在于，步骤10)中，BoW分类，具体为：在最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片，对每个子图片提取MR8特征；分别对每个子图的MR8特征进行随机投影降维，具体公式为
<mrow>
<msub>
<mover>
<mi>t</mi>
<mo>~</mo>
</mover>
<mrow>
<mi>d</mi>
<mo>&times;</mo>
<mi>m</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>-</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>d</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msub>
<msub>
<mi>t</mi>
<mrow>
<mi>n</mi>
<mo>&times;</mo>
<mi>m</mi>
</mrow>
</msub>
</mrow>
2
式中，t是随机投影矩阵，m是降维的维度，取值为1600，n是原始维度，取值为40000；d为MR8的8个特征维度，R是原始MR8特征；
用步骤1)得到的texton词典对降维的MR8特征进行编码得到新的直方图特征；编码后的特征向量yi可以通过求解得到；
所有特征向量汇总成直方图特征，具体公式如下：
<mrow>
<mi>h</mi>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
其中n是图像中像素点的个数；
用步骤1)训练出的LinearSVM模型对新的直方图特征进行分类，最终确定哪些子图是肿瘤组织，哪些子图是正常组织。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510317882.9A CN104933711B (zh) | 2015-06-10 | 2015-06-10 | 一种肿瘤病理图像自动快速分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510317882.9A CN104933711B (zh) | 2015-06-10 | 2015-06-10 | 一种肿瘤病理图像自动快速分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104933711A CN104933711A (zh) | 2015-09-23 |
| CN104933711B true CN104933711B (zh) | 2017-09-29 |
Family
ID=54120865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510317882.9A Active CN104933711B (zh) | 2015-06-10 | 2015-06-10 | 一种肿瘤病理图像自动快速分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104933711B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092615A1 (zh) | 2015-11-30 | 2017-06-08 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断系统及方法 |
| CN105550651B (zh) * | 2015-12-14 | 2019-12-24 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及系统 |
| CN105653858A (zh) * | 2015-12-31 | 2016-06-08 | 中国科学院自动化研究所 | 一种基于影像组学的病变组织辅助预后系统和方法 |
| AU2018332879A1 (en) * | 2017-09-12 | 2020-02-27 | Nantomics, Llc | Few-shot learning based image recognition of whole slide image at tissue level |
| CN107833226B (zh) * | 2017-10-26 | 2021-05-11 | 中国测绘科学研究院 | 一种基于指数型多尺度影像序列的c-v模型对sar影像海岸线快速自动分割方法 |
| CN108154511B (zh) * | 2018-01-12 | 2019-10-25 | 西安电子科技大学 | 基于子模字典学习的sar图像分割方法 |
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN108765411B (zh) * | 2018-06-05 | 2021-01-12 | 东北大学 | 一种基于影像组学的肿瘤分型系统 |
| CN108961274B (zh) * | 2018-07-05 | 2021-03-02 | 四川大学 | 一种mri图像中自动头颈肿瘤分割方法 |
| CN108932973A (zh) * | 2018-07-25 | 2018-12-04 | 南京鼓楼医院 | 一种肾癌病例数字化信息管理系统及管理方法、终端 |
| CN112437948A (zh) * | 2018-07-31 | 2021-03-02 | 奥林巴斯株式会社 | 图像诊断支援系统及图像诊断支援装置 |
| CN109377499B (zh) * | 2018-09-12 | 2022-04-15 | 中山大学 | 一种像素级物体分割方法及装置 |
| CN109711317A (zh) * | 2018-12-21 | 2019-05-03 | 重庆理工大学 | 基于区域特征的成熟柑橘果实及枝叶的分割识别方法 |
| CN109903280B (zh) * | 2019-02-27 | 2020-09-29 | 上海联影智能医疗科技有限公司 | 肿瘤确定系统、方法及存储介质 |
| CN110390678B (zh) * | 2019-06-14 | 2021-05-11 | 广东省人民医院(广东省医学科学院) | 一种结直肠癌ihc染色图像的组织类型分割方法 |
| CN110415212A (zh) * | 2019-06-18 | 2019-11-05 | 平安科技（深圳）有限公司 | 异常细胞检测方法、装置及计算机可读存储介质 |
| CN110472694A (zh) * | 2019-08-22 | 2019-11-19 | 广东工业大学 | 一种肺癌图像病理分类方法及装置 |
| CN112150477B (zh) * | 2019-11-15 | 2021-09-28 | 复旦大学 | 脑影像动脉全自动分割方法及装置 |
| CN111739645B (zh) * | 2020-05-14 | 2024-01-30 | 北京深睿博联科技有限责任公司 | 一种免疫相关性肺炎预测模型的训练方法 |
| CN112184740B (zh) * | 2020-09-30 | 2022-06-21 | 安阳师范学院 | 一种基于统计活动轮廓和纹理字典的图像分割方法 |
| CN113011462B (zh) * | 2021-02-22 | 2021-10-22 | 广州领拓医疗科技有限公司 | 瘤细胞图像的分类和装置 |
| CN113628199B (zh) * | 2021-08-18 | 2022-08-16 | 四川大学华西第二医院 | 病理图片染色组织区域检测方法、检测系统及预后状态分析系统 |
| CN115330800B (zh) * | 2022-10-14 | 2022-12-23 | 深圳市亿康医疗技术有限公司 | 基于图像处理的放疗靶区自动分割方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101789005A (zh) * | 2010-01-22 | 2010-07-28 | 深圳创维数字技术股份有限公司 | 一种基于感兴趣区域的图像检索方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5879877B2 (ja) * | 2011-09-28 | 2016-03-08 | 沖電気工業株式会社 | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
-
2015
- 2015-06-10 CN CN201510317882.9A patent/CN104933711B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101789005A (zh) * | 2010-01-22 | 2010-07-28 | 深圳创维数字技术股份有限公司 | 一种基于感兴趣区域的图像检索方法 |
Non-Patent Citations (6)
| Title |
|---|
| Li Liu等.Fusing Sorted Random Projections for Robust Texture and Material Classification.《IEEE Transactions on Circuits and Systems for Video Technology》.2015,第25卷(第3期),第482-496页. * |
| Severity Analysis of Brain Tumor in MRI Images Using Modified Multi-texton Structure Descriptor and Kernel-SVM;A.Jayachandran等;《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》;20141031;第39卷(第10期);第7073-7086页 * |
| Sorted random projections for robust rotation-invariant texture classification;Li Liu等;《Pattern Recognition》;20121223;第45卷;第2405-2418页 * |
| Texture Classification from Random Features;Li Liu等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20120331;第34卷(第3期);第574-586页 * |
| 基于显著区域词袋模型的物体识别方法;胡敏等;《电子测量与仪器学报》;20130731;第27卷(第7期);第647-652页 * |
| 基于随机投影的纹理分类方法研究;刘丽;《http://www.doc88.com/p-9028157535640.html》;20140827;第25-206页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104933711A (zh) | 2015-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104933711B (zh) | 一种肿瘤病理图像自动快速分割方法 | |
| Liu et al. | Segmentation of lung nodule in CT images based on mask R-CNN | |
| Wang et al. | A multi-view deep convolutional neural networks for lung nodule segmentation | |
| Hou et al. | Unsupervised histopathology image synthesis | |
| Tang et al. | A two-stage approach for automatic liver segmentation with Faster R-CNN and DeepLab | |
| Chekkoury et al. | Automated malignancy detection in breast histopathological images | |
| CN111340828A (zh) | 基于级联卷积神经网络的脑部胶质瘤分割 | |
| CN111242174A (zh) | 一种基于影像组学的肝癌图像特征提取与病理分类方法和装置 | |
| CN108053417A (zh) | 一种基于混合粗分割特征的3DU-Net网络的肺分割装置 | |
| CN111179237B (zh) | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 | |
| Zheng et al. | Alleviating class-wise gradient imbalance for pulmonary airway segmentation | |
| CN109345527A (zh) | 一种基于MaskRcnn的膀胱肿瘤检测方法 | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| He et al. | Automatic magnetic resonance image prostate segmentation based on adaptive feature learning probability boosting tree initialization and CNN-ASM refinement | |
| Yonekura et al. | Improving the generalization of disease stage classification with deep CNN for glioma histopathological images | |
| Dabass et al. | Five-grade cancer classification of colon histology images via deep learning | |
| Razavi et al. | Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| Derikvand et al. | Patch and pixel based brain tumor segmentation in MRI images using convolutional neural networks | |
| Wang et al. | Accurate tumor segmentation via octave convolution neural network | |
| Kitrungrotsakul et al. | Interactive deep refinement network for medical image segmentation | |
| Hou et al. | Mass segmentation for whole mammograms via attentive multi-task learning framework | |
| CN112508860B (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 | |
| CN103400385B (zh) | 稀疏动态集成选择的胃部ct图像疑似淋巴结提取方法 | |
| CN111476802A (zh) | 一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20150923 Assignee: Hangzhou borazhe Technology Co.,Ltd. Assignor: NANTONG University Contract record no.: X2020980009422 Denomination of invention: An automatic fast segmentation method for tumor pathological image Granted publication date: 20170929 License type: Common License Record date: 20201217 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20150923 Assignee: Hangzhou lanque technology partnership (L.P.) Assignor: NANTONG University Contract record no.: X2021980012590 Denomination of invention: An automatic and fast segmentation method for tumor pathological image Granted publication date: 20170929 License type: Common License Record date: 20211119 |