CN107909102A - 一种组织病理图像的分类方法 - Google Patents

Abstract

本发明公开了一种组织病理图像的分类方法，包括以下步骤：分别利用健康及患病的病理图像块训练对应的专家乘积系统(PoE)模型；根据得到的两类PoE模型对训练图像块进行特征提取；利用图像块的类别标注及其特征向量，训练支持向量机(SVM)分类器并找到图像块分类标准；用该SVM分类器分别统计训练图像中健康和患病图像块个数的比值，找出可区分两类图像的阈值；对待分类图像进行图像块级别的特征提取和SVM分类，并根据阈值做出图像类别的判断。本方法通过对健康及患病图像概率分布建模提取特征，实现了病理图像特征的自学习，且对于不同病理图像类别适用性强。

Description

一种组织病理图像的分类方法

技术领域

本发明涉及信号与信息处理技术领域，尤其涉及一种组织病理图像的分类方法。

背景技术

随着计算机科学的快速发展，人们开始研究如何利用计算机技术辅助实现自动化的医学图像分析。随之产生了众多图像分析方法及工具，目的在于帮助医学家实现更准确的疾病诊断及预测。组织病理图像分析一直是其中的一项重要内容，当前大量的研究证明，对于组织病理图像的研究及分析在实际应用中具有重要的作用^[1-3]，其本身的复杂结构信息为包括癌症在内的许多疾病的诊断提供了极大的价值^[4][5]。

组织的结构通常是多种多样的，其形态是病理学家诊断的重要依据，这些形态特点可能体现在细胞或细胞核的形状，大小或纹理上^[1][5]。因此，基于纹理，形状及细胞空间排布等底层特征的病理图像分析技术被广泛地应用^[6][7]。Tabesh等^[6]将颜色、纹理和形态特征结合，分别从图像及分割图像等级对图像特征进行描述，并用于前列腺癌的诊断。Fukuma等^[8]提出了通过提取图像的形态特征及基于图理论的空间排布特征作为特征描述。Cao等^[9]结合了图像的纹理特征、细胞核结构的空间分布及语义特征，不仅描述了细胞核的多形态，同时提取出了图像的结构信息及解释信息。此外，基于图的特征也被用于图像的空间结构表示。Doyle等^[10]提取基于图的组织病理图像特征，来表示图像内细胞核的形状及空间排布结构。Orlov等^[11][12]提出通过提取变换域系数、图像统计量及纹理信息来构建一个多用途的特征集，该特征集在不同分类问题下的有效性证明了其通用性。此外，基于稀疏表示的病理图像分析也受到了广泛的关注。Batool^[13]提出了一种基于形态滤波及稀疏线性模型的脂肪检测算法。Srinivas等^[7]提出了一种多通道的稀疏模型，将多通道的组织病理图像表示为训练样本在多通道约束下的稀疏线性组合。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

一些现有的组织病理图像特征提取方法是提取手工设计的特征，由于病理图像的多样性及复杂性，这些手工设计的特征并不能准确区分病理图像的类别。不同器官的组织图像通常具有不同的形态特征，一些现有工作是针对特定的问题即某一类组织图像所提出的研究方法，并未强调该方法在不同类别组织图像中的适用性。

发明内容

本发明提供了一种组织病理图像的分类方法，本发明首先训练对应不同图像类别的PoE模型，根据所得模型实现对图像样本的特征提取，并分别设计了像素块级别和图像级别的分类算法，实现了病理图像特征的自学习，可很好的应用于组织病理图像的分类，且对不同图像类别适用性强，详见下文描述：

一种组织病理图像的分类方法，所述分类方法包括以下步骤：

分别利用健康及患病的病理图像块训练对应PoE模型；根据得到的两类PoE模型对训练图像块进行特征提取；

利用图像块的类别标注及其特征向量，训练SVM分类器并找到图像块分类标准；

用该SVM分类器分别统计训练图像中健康和患病图像块个数的比值，找出可区分两类图像的阈值η；

对待分类图像进行图像块级别的特征提取和SVM分类，并根据阈值η做出图像类别的判断。

其中，所述利用健康及患病的病理图像块训练对应的PoE模型具体为：

分别从健康及患病的病理图像中随机选取大小为W×W的训练图像块，图像块间可重叠，并利用两类图像块分别训练其对应的PoE模型，使各类样本在其对应的模型下出现的概率最大。

其中，所述根据得到的两类PoE模型对训练图像块进行特征提取具体为：

计算训练图像块在两类模型下的各专家值，将全部专家值按顺序相连得到矢量，该矢量作为样本在模型下的特征。

进一步地，所述利用图像块的类别标注及其特征向量，训练SVM分类器并找到图像块分类标准具体为：

从两类训练图像块中分别选取相同数量的图像块，根据图像块所属图像类别作为其类别标签，并利用其在PoE模型下的特征进行SVM分类器的训练，保存得到的分类标准，将其作为对未知类别图像块分类的模型。

进一步地，所述用该SVM分类器分别统计训练图像中健康和患病图像块个数的比值，找出可区分两类图像的阈值η具体为：

将训练图像划分为W×W的不重叠图像块，根据所得分类器对图像中的图像块类别作出判断，统计其中健康和患病图像块个数的比值，在训练集中找出可准确区分两类图像的阈值η，作为图像分类依据。

其中，所述对待分类图像进行图像块级别的特征提取和SVM分类，并根据阈值η做出图像类别的判断。具体为：

对待分类图像同样划分为成大小为W×W的不重叠图像块，以上述相同的方法进行图像块级别的特征提取和SVM分类，统计图像中健康和患病块的比值，如果比值大于阈值η，则判断病理图像中的组织患病。

本发明提供的技术方案的有益效果是：

1、利用专家乘积系统来描述组织病理图像概率分布，该方法可作为通用的特征表示方法，对于不同图像类别适用性强；

2、可以在较短的特征长度下具有较好的分类性能，且稳定性高；

3、本发明程序简单，易于实现。

附图说明

图1为一种组织病理图像的分类方法的流程图；

图2为PoE模型训练过程的示意图；

图3为图像分类阈值训练过程的示意图；

图4为图像分类过程的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了实现组织病理图像的特征表示及更优分类效果，本发明实施例提出了一种组织病理图像的分类方法，参见图1，详见下文描述：

101：分别利用健康及患病的病理图像块训练对应的PoE模型：

其中，该步骤具体为：

分别从健康及患病的组织病理图像中随机选取大小为W×W的训练图像块，图像块间可重叠，并对两类专家乘积系统(Product of Experts,PoE)模型进行训练，即最大化各类样本在其对应模型下出现的概率。定义矢量化的图像块为x∈R^N，其中，R表示实数域，N为对图像块按RGB颜色通道矢量化相连后的矢量的长度。图像块大小可以根据实际需要设定，本发明实施例不做限制。

其中，PoE模型表示为：

该模型将一个高维概率分布p(x)由若干专家模型φ_i(x|θ_i)的乘积表示。其中，x∈R^N表示N维的向量，M为专家个数，φ_i(x|θ_i)为非线性的非归一化专家函数，对于各专家函数中的参数θ_i(i＝1,2,...,M)，Θ＝{θ₁,…,θ_M}表示包括全部专家函数参数的集合，Z(Θ)＝∫p(x)dx即为模型归一化参数。选取专家函数为Student-t函数，即：

其中，w_i为权重参数。那么，式(1)可以表示为：

其中，E(x)为PoE模型的能量函数，

将式(2)、(4)带入式(3)中，得到：

根据使训练样本x在该模型下输出的概率p(x)最大的目标，分别更新参数w_i，α_i，完成模型的建立。具体更新方式本发明实施例不做限制。

102：根据得到的两类PoE模型对训练图像块进行特征提取：

其中，该步骤102具体为：

将专家函数φ_i(x|θ_i)简化表示为φ_i(x)，根据训练得到的两组专家及将输入图像块x的特征表示为L(x)＝[φ₁ ⁽¹⁾(x),...,φ_M ⁽¹⁾(x),φ₁ ⁽²⁾(x),...,φ_M ⁽²⁾(x)]，即样本x在两类模型下的专家值按顺序相连的矢量结果。对于专家个数M的取值，本发明实施例不做限制。

103：利用图像块的类别标注及其特征向量，训练SVM分类器并找到图像块分类标准：

其中，该步骤103具体为：

从两类训练图像块中分别选取相同数量的图像块，并根据训练好的两组专家对图像块进行特征提取。利用图像块的类别标注(健康为0，患病为1)及其特征向量，训练SVM分类器并找到分类标准，保存此分类标准，作为对未知类别图像块分类的模型。

104：用该SVM分类器分别统计训练图像中健康和患病图像块个数的比值，找出可区分两类图像的阈值η：

其中，该步骤104具体为：

将训练图像划分为W×W的不重叠图像块，根据所得分类器对图像中的图像块类别作出判断，统计其中健康和患病图像块个数的比值，在训练集中找出可准确区分两类图像的阈值η，作为图像分类依据。阈值η的选取方式，本发明实施例不做限制。

105：对待分类图像进行图像块级别的特征提取和SVM分类，并根据阈值η做出图像类别的判断。

其中，该步骤105具体为：

对待分类图像同样划分为大小为W×W的不重叠图像块，以上述同样的方法进行图像块级别的特征提取并根据所得SVM分类模型对各图像块进行分类，统计图像中健康和患病图像块数量的比值，通过和阈值η比较做出判断。如果比值大于阈值η，则判断病理图像中的组织患病。

综上所述，本发明实施例设计了一种通用的病理图像特征表示方法，通过建立PoE模型，实现对图像样本的特征提取，并设计了图像及图像块级别的分类机制，提取出具有区分性的组织病理图像特征，可应用于该类图像的分类。

实施例2

下面以一个实际训练过程为例，结合具体的计算公式对实施例1中的方案进行详细介绍，详细说明本发明实施例提供的图像特征提取及分类方法，详见下文描述：

201：PoE模型建立；

从健康及患病的病理图像中分别随机选取30张作为训练图像，图像大小为1024×1360，从每类图像中随机选取10000个大小为40×40的图像块x_i∈R⁴⁸⁰⁰(i＝1,2,...,10000)用于模型的训练，图像块间可重叠。每个模型中选取专家的数量为M＝5。优化代价函数：

使训练样本x在该模型下输出的概率p(x)最大。本实施例中采用梯度下降法分别更新参数w_i，α_i，完成模型的建立。

202：图像块特征提取；

根据训练PoE模型得到两组专家及φ_i ⁽¹⁾(x)及φ_i ⁽²⁾(x)分别表示健康及患病模型中的专家函数。

将输入图像块x的特征表示为L(x)＝[φ₁ ⁽¹⁾(x),...,φ₅ ⁽¹⁾(x),φ₁ ⁽²⁾(x),...,φ₅ ⁽²⁾(x)]，即将其在两类模型下的专家值按顺序相连的矢量结果，x的特征长度为10。

203：利用图像块的类别标注及其特征向量，训练SVM分类器并找到图像块分类标准；

从两类训练图像块中分别选取相同数量K＝2000的图像块，并根据训练好的两组专家对图像块进行特征提取。利用图像块的类别标注(健康和患病组织图像块的标签分别置为0和1)及其特征向量，训练SVM分类器并找到分类标准，以此作为对未知类别图像块级别的分类器。

204：用该SVM分类器分别统计训练图像中健康和患病图像块个数的比值，找出可区分两类图像的阈值η；

将训练图像同样划分成大小为40×40的不重叠图像块，对于每幅训练图像，应分割为25×34个不重叠的图像块，并对每个图像块以上述202步骤进行特征提取。根据所得分类器对图像中的图像块类别作出判断，统计每幅图像中健康和患病图像块个数的比值，在训练集中找出可准确区分两类图像的阈值η，作为图像分类依据。本实施例中阈值由SVM分类器学习得到。

205：对待分类图像进行图像块级别的特征提取和SVM分类，并根据阈值η做出图像类别的判断；

对待分类图像同样划分为成大小为40×40的不重叠图像块，以上述同样的方法进行图像块级别的特征提取并根据所得SVM分类器对各图像块进行分类，统计此图像中健康和患病图像块数量的比值，通过和阈值η比较做出判断。如果比值大于阈值η，则判断病理图像中的组织患病。

综上所述，本发明实施例通过对图像的概率分布表示建立了PoE模型，设计了一种通用的特征表示方法，并设计了图像及图像块级别的分类方法，本发明实施例可提取出具有区分性的组织病理图像特征，可应用于此类图像的分类，且具有较好分类效果。

实施例3

下面结合具体的实验数据，对实施例1和2中的方案进行可行性验证，详见下文描述：

在上述实施例2中，选取宾夕法尼亚州立大学诊断实验室的病理图像数据库，该数据库包括三种器官的病理图像子数据库，分别为肾、肺、脾，其中每个子数据库包括健康及患病组织的病理图像。三个子数据库中每类图像的个数分别为157、153及159，尺寸均为1024×1360。除去每类图像中用于训练的30幅图像，将剩余图像作为测试图像。肾、肺、脾三个子数据库下，分别计算分类正确的健康及患病图像数目之和占该数据库所有测试图像数目的比值，将该比值作为此类数据库下的平均分类准确率，分别为0.866，0.886，0.907，可以看出本发明实施例在组织病理图像分类中具有较高的准确性。

综上所述，本发明实施例通过对图像的概率分布表示建立了PoE模型，设计了一种通用的特征表示方法，并设计了图像及图像块级别的分类方法。实验证明本发放可提取出具有区分性的组织病理图像特征，在病理图像分类问题中效果明显，故可以很好的应用于此类图像的分类。

参考文献

[1]Gurcan M N,Boucheron L E,Can A,et al.Histopathological imageanalysis:A review[J].IEEE Reviews in Biomedical Engineering,2009,2：147-171.

[2]Madabhushi A.Digital pathology image analysis:opportunities andchallenges[J].Imaging in Medicine,2009,1(1):7-10.

[3]Gavrilovic M,Azar J C,Lindblad J,et al.Blind color decompositionof histological images[J].IEEE Transactions on Medical Imaging,2013,32(6):983-994.

[4]Lexe G,Monaco J,Doyle S,et al.Towards improved cancer diagnosisand prognosis using analysis of gene expression data and computer aidedimaging[J].Experimental Biology&Medicine,2009,234(8):860-879.

[5]Dundar M M,Badve S,Bilgin G,et al.Computerized classification ofintraductal breast lesions using histopathological images[J].IEEETransactions on Bio-medical Engineering,2011,58(7):1977-1984.

[6]Tabesh A,Teverovskiy M,Pang H Y,et al.Multifeature prostate cancerdiagnosis and gleason grading of histological images[J].IEEE Transactions onMedical Imaging,2007,26(10):1366-1378.

[7]Srinivas U,Mousavi H S,Monga V,et al.Simultaneous sparsity modelfor histopathological image representation and classification[J].IEEETransactions on Medical Imaging,2014,33(5):1163-1179.

[8]Fukuma K,Prasath V B S,Kawanaka H,et al.A study on featureextraction and disease stage classification for glioma pathology images[C].IEEE,International conference on fuzzy systems,2016,2150-2156.

[9]Cao J,Qin Z,Jing J,et al.An automatic breast cancer grading methodin histopathological images based on pixel-,object-,and semantic-levelfeatures[C].IEEE,International Symposium on Biomedical Imaging,2016,1151-1154.

[10]Doyle S,Agner S,Madabhushi A,et al.Automated grading of breastcancer histopathology using spectral clustering with textural andarchitectural image features[J].Proceedings,2008,29:496-499.

[11]Orlov N,Shamir L,Macura T,et al.WND-CHARM:Multi-purpose imageclassification using compound image transforms[J].Pattern RecognitionLetters,2008,29(11):1684-1693.

[12]Shamir L,Orlov N,Eckley D M,et al.Wndchrm–an open source utilityfor biological image analysis[J].Source Code for Biology&Medicine,2008,3(13).

[13]Batool N.Detection and spatial analysis of hepatic steatosis inhistopathology images using sparse linear models[C].IEEE,InternationalConference on Image Processing Theory Tools and Applications.2016.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种组织病理图像的分类方法，其特征在于，所述分类方法包括以下步骤：

分别利用健康及患病的病理图像块训练对应PoE模型；根据得到的两类PoE模型对训练图像块进行特征提取；

利用图像块的类别标注及其特征向量，训练SVM分类器并找到图像块分类标准；

用该SVM分类器分别统计训练图像中健康和患病图像块个数的比值，找出可区分两类图像的阈值η；

对待分类图像进行图像块级别的特征提取和SVM分类，并根据阈值η做出图像类别的判断。

2.根据权利要求1所述的一种组织病理图像的分类方法，其特征在于，所述利用健康及患病的病理图像块训练对应的PoE模型具体为：

分别从健康及患病的病理图像中随机选取大小为W×W的训练图像块，图像块间可重叠，并利用两类图像块分别训练其对应的PoE模型，使各类样本在其对应的模型下出现的概率最大。

3.根据权利要求1所述的一种组织病理图像的分类方法，其特征在于，所述根据得到的两类PoE模型对训练图像块进行特征提取具体为：

计算训练图像块在两类模型下的各专家值，将全部专家值按顺序相连得到矢量，该矢量作为样本在模型下的特征。

4.根据权利要求1所述的一种组织病理图像的分类方法，其特征在于，所述利用图像块的类别标注及其特征向量，训练SVM分类器并找到图像块分类标准具体为：

从两类训练图像块中分别选取相同数量的图像块，根据图像块所属图像类别作为其类别标签，并利用其在PoE模型下的特征进行SVM分类器的训练，保存得到的分类标准，将其作为对未知类别图像块分类的模型。

5.根据权利要求1所述的一种组织病理图像的分类方法，其特征在于，所述用该SVM分类器分别统计训练图像中健康和患病图像块个数的比值，找出可区分两类图像的阈值η具体为：

将训练图像划分为W×W的不重叠图像块，根据所得分类器对图像中的图像块类别作出判断，统计其中健康和患病图像块个数的比值，在训练集中找出可准确区分两类图像的阈值η，作为图像分类依据。

6.根据权利要求1所述的一种组织病理图像的分类方法，其特征在于，所述对待分类图像进行图像块级别的特征提取和SVM分类，并根据阈值η做出图像类别的判断。具体为：

对待分类图像同样划分为成大小为W×W的不重叠图像块，以上述相同的方法进行图像块级别的特征提取和SVM分类，统计图像中健康和患病块的比值，如果比值大于阈值η，则判断病理图像中的组织患病。