CN103324940A - 基于多示例多标签学习的皮肤病理图片特征识别方法 - Google Patents

Abstract

本发明是一种基于多示例多标签学习的皮肤病理图片特征识别方法，在把图片划分为视觉上不重叠的若干部分，再对每个区域进行基于二维小波变换的特征提取，从而把一个病理图像表示为一个多示例样本，本发明由于采用通过分析已经明确疾病诊断的病理图片数据，将医生和科研人员的经验和专业知识进行抽象的提取，并用机器学习模型进行表达的方法，使模型具有代替医生和科研人员进行皮肤病理图片特征识别的能力，从而提高诊断的效率和准确率。本发明是一种设计巧妙，性能优良，方便实用的基于多示例多标签学习的皮肤病理图片特征识别方法。

Description

基于多示例多标签学习的皮肤病理图片特征识别方法

技术领域

本发明是一种基于多示例多标签学习的皮肤病理图片特征识别方法，属于基于多示例多标签学习的皮肤病理图片特征识别方法的改造技术。

背景技术

在皮肤病的诊断过程中，医生需要仔细观察患者患处皮肤表面的改变，如果用摄影技术记录保存成图像则是皮肤图片。而对于很多皮肤病来说，仅仅通过观察患者的皮肤或皮肤图片是不能够做出正确诊断的，这时需要对皮肤进行活组织检查，在显微镜下观察病变组织的病理变化，拍摄的图像即为皮肤组织的病理图片。医生通过对皮肤病理图片的分析，就能够比较准确地得出诊断。

由于病理图片所反映的是从表皮至皮下组织各层皮肤结构的组织学特征，因此只有具备皮肤病理学专业知识且临床经验丰富的医生和实验室科研人员才能够较好地识别病理图片所包含的特征。由于皮肤病是一类非常常见的疾病，患者数量巨大，实验室分析皮肤病理图片任务繁重，这对医生和实验室研究人员来说是一个巨大的挑战。

目前对于皮肤图像的计算机辅助识别研究和应用，主要集中在对患者的皮肤表面图片进行特征提取和识别，在这些研究和应用中，它们对皮肤的表面图片进行基于颜色空间的特征提取，也即对这些图像的识别主要使用其所反映的颜色特征。这些方法对某些特征明显的皮肤表面图像的识别较为有效，但并不适用于皮肤病理图像的识别，其原因有二：

A．皮肤病理图像多是经过染色的，因此难以使用以往适用于皮肤表面图像的颜色特征作为识别的依据。

B．皮肤病理图像大多包含具有不同纹理特征的内部区域，识别这些内部区域并对它们进行有效的特征提取是皮肤病理图像识别成功的基石。

通过对医院皮肤科病理图像诊断过程的研究，发现皮肤病理图像的特征识别问题是一个多示例多标签学习问题，原因如下：

A.医生对病理图像的诊断是针对整个图像而下的，并没有具体给出图像的哪个局部对应哪个特征

B.医生在进行病理图像特征的判断时，实质上是考察了视觉上能进行区分的区域所表现出来的某种纹理特征进行判断

C.不同视觉上可区分的局部之间的关系对特征的判断是有影响的

D.病理图像的特征之间具有一定的统计上的相关性

根据以上4点，我们认为皮肤病理图像的特征识别问题本质上是一个多示例多标签学习问题。其中病理图像对应多示例样本（包），病理图像的局部区域对应包中的示例，局部区域之间的关系对应包中示例之间的关系，病理图像所具有的多种特征对应多示例样本的多个标签。目前并没有专门针对皮肤病理图片特征识别的方法。

发明内容

本发明的目的在于考虑上述问题而提供一种具有代替医生和科研人员进行皮肤病理图片特征识别的能力，从而提高诊断的效率和准确率的基于多示例多标签学习的皮肤病理图片特征识别方法。

本发明的技术方案是：本发明的基于多示例多标签学习的皮肤病理图片特征识别方法，包括如下步骤：

1）图像预处理；

2）区域特征提取；

3）建立多示例多标签学习的皮肤病理图像识别模型。

上述图像预处理是把图片划分为视觉上不重叠的若干部分，再对每个区域进行区域特征提取，从而把一个病理图像表示为一个多示例样本。

上述区域特征提取是基于二维小波变换的区域特征提取，基于二维小波变换的区域特征提取的步骤如下：

1)对于一幅皮肤病理图像，把图像划分成小格，其中每个小格的大小为4*4个像素，把全黑的小格删除,即把颜色值全为FF的小格删除；

2）对剩下的每一个小格的所有像素进行颜色空间的变换，从原先的RGB空间变换到LUV空间；

3）对一个区域的所有小格的L、U、V值求平均，得到特征f₁；

4）对每一个剩下的由LUV空间表示的小格，进行二维小波变换；

5）取变换后除低频外的三组特征值，计算每组特征值的第二范数，把一个区域的所有小格的这三组特征取平均值，得到特征f₂；

6）计算每一个小格的1、2、3阶归一化图像度量，然后全区域的所有小格取平均，得到特征f₃；

通过上述过程，每个图像区域转化为一组特征(f₁，f₂，f₃)，即一个9维的特征向量；

该特征提取方法的基本思路是同时提取每个区域的颜色特征、纹理特征和形状特征，在算法中，f₁是基于LUV颜色空间的颜色特征向量，f₂是经过2维小波变换的区域平均特征向量，反映了其纹理特征，f₃是1、2、3阶归一化图像度量，反映了区域的形状特征，三者加起来能充分全面的描述皮肤病理图像。

本发明的特征提取过程对皮肤病理图像进行向量化，使之可以作为特征识别模型的输入，是特征模型建立的一个必要前提。虽然很多图像特征提取方法可以应用，但是以往的特征提取方法并不能有效表达皮肤病理图像的特征，根据已有经验，必须同时考查病理图像区域的颜色、形状、纹理等特征，而本发明的特征提取过程专门针对病理图像的特征表达而设计，可以大幅提高模型建立的有效性。

上述建立多示例多标签学习的皮肤病理图像识别模型的方法如下：

1)定义隐变量F＝(F₁，F₂，…，F_q)，其中q为整个系统中要考虑的特征数目，F_i的取值范围是[-1，+1]，数值越小表示该区域不包含第i个特征的可能性越大，反之表示区域包含第i个特征的可能性越大；

2)通过训练数据集D_train，使用高斯过程求出F的先验分布P(F)，在本发明中，使用径向基函数作为协方差矩阵的生成函数；3)计算联合似然函数 $P\left(\mathrm{Features}\right|F_q)={\mathrm{\Π}}_{i=1}^{N}P\left({\mathrm{feature}}_{\mathrm{iq}}\right|F_q)$ ，其中P(feature_iq|F_q)为第i个示例具有特征q的概率；使用逻辑回归作为P(feature_iq|F_q)的密度估计函数，在多示例学习的基本假设下进行概率密度P(Features|F_q)的估计

4)计算后验概率：隐变量F相对于训练数据集D_train的条件概率密度

$P\left(F\right|D_{\mathrm{train}})=\frac{P\left(F\right)P\left(\mathrm{Features}\right|F,D_{\mathrm{train}})}{\∫P\left(F\right)P\left(\mathrm{Features}\right|F,D_{\mathrm{train}})\mathrm{dF}}$

由于P(Features|F，D_train)不是高斯分布，因此本发明采用拉普拉斯近似用一个高斯分布进行近似，在P(Features|F，D_train)的最大概率处通过一个高斯近似原分布，要计算驻点和二阶偏导数矩阵在驻点处的取值；分母∫P(F)P(Features|F，D_train)dF为一个与变量F无关的数，可以看作一个标准化常数不参加后面的计算，本发明通过迭代的方式求出该常数的近似值；

5)计算预测分布：即求新观察到的病理图像X^*的包含特征Y^*的条件概率；

P(Y^*|X^*，D_train)＝∫P(F^*|D_train，F，X^*)P(Y^*|F^*)dF

即通过后验概率与似然函数的乘积的积分，作为预测概率，则第(5)步可以直接给出某皮肤病理图像具有某一组特征的概率，P(Y^*|F^*)不是高斯分布，使用拉普拉斯方法用一个高斯近似该分布，然后直接使用两个高斯的卷积求解。

本发明由于采用通过分析已经明确疾病诊断的病理图片数据，将医生和科研人员的经验和专业知识进行抽象的提取，并用机器学习模型进行表达的方法，使模型具有代替医生和科研人员进行皮肤病理图片特征识别的能力，从而提高诊断的效率和准确率。本发明是一种方便实用的基于多示例多标签学习的皮肤病理图片特征识别方法。

附图说明

图1为本发明的流程图。

具体实施方式

本实施例中，本发明的基于多示例多标签学习的皮肤病理图片特征识别方法，包括如下步骤：

1）图像预处理；

2）区域特征提取；

3）建立多示例多标签学习的皮肤病理图像识别模型。

由于皮肤病理图像多是被染色的，且具有特殊的内部结构，因此以往适用于皮肤表面图像的颜色空间特征描述方法并不适用于病理图像的自动识别。

本发明皮肤病理图像的区域划分方法如下：

本发明以RGB矩阵表示的图像作为输入，本发明中采用了“视觉上不相连划分法”，把每一个划分作为一个局部，把图片划分为视觉上不重叠的若干部分，这种做法是模拟医生分析病理图片时在不同区域寻找及识别病理变化的过程。我们使用Normalized Cut算法先对皮肤病理图像的内在结构区域进行划分，以实现划分区域的视觉上不相连，之后再对每个区域进行基于2维小波变换的特征提取，从而把一个病理图像表示为一个多示例样本。

Normalized Cut的基本工作原理是把原始图像的每个像素看作一个无向图G＝(V，E)的顶点，像素之间的相似度看作无向图的边。Normalized Cut把图划分为两个不相交的部分，使两个部分内部的顶点的平均相似度最大，而两个部分之间相连的边的平均相似度最小。Normalized Cut需要事先设定划分区域的数目，在本发明中，一般设置划分区域数在13-17之间模型的识别效果比较好。

本发明区域特征提取是基于二维小波变换的区域特征提取，基于二维小波变换的区域特征提取的方法如下：

在本发明中，该步骤的作用是把原始图像经过Normalized Cut之后产生的各个区域转化为向量表示，从而把原始图像转化为一个多示例样本。由于Normalized Cut产生的区域是不规则区域，而本发明中使用的特征提取算法需要矩形区域，因此首先执行最小化区域填充，把不规则区域用黑色RBG(255,255,255)填充成矩形区域，

得到规则的矩形区域之后可以进行基于2维小波变换的区域特征提取，把每一个区域变为一个九维的实值向量，从而把一个皮肤病理原始图像转化为多示例样本。特征提取的算法示意代码如下：

该特征提取方法的基本思路是同时提取每个区域的颜色特征、纹理特征和形状特征，在算法中，f₁是基于LUV颜色空间的颜色特征向量，f₂是经过2维小波变换的区域平均特征向量，反映了其纹理特征，f₃是1、2、3阶归一化图像度量，反映了区域的形状特征，三者加起来能充分全面的描述皮肤病理图像。

本发明基于多示例多标签学习的皮肤病理图像识别模型的建立方法如下：

本发明采用基于贝叶斯理论的多示例多标签学习模型，对于一个输入的皮肤病理图像，判断其具有某种特征的可能性，在本发明中以后验概率表示，数值越大代表该图片具有某种特征的概率越高，下面的算法描述了多示例多标签学习模型的皮肤病理图像识别模型：

(1).定义隐变量F＝(F₁，F₂，…，F_q)，其中q为整个系统中要考虑的特征数目，F_i的取值范围是[-1，+1]，数值越小表示该区域不包含第i个特征的可能性越大，反之表示区域包含第i个特征的可能性越大。

(2).通过训练数据集D_train,使用高斯过程求出F的先验分布P(F)，在本发明中，使用径向基函数作为协方差矩阵的生成函数。

(3).计算联合似然函数 $P\left(\mathrm{Features}\right|F_q)={\mathrm{\Π}}_{i=1}^{N}P\left({\mathrm{feature}}_{\mathrm{iq}}\right|F_q),$ 其中P(feature_iq|F_q)为第i个示例具有特征q的概率。使用Logisticsigmoid作为P(feature_iq|F_q，)的密度估计函数，在多示例学习的基本假设下进行概率密度的估计，即：P(feature_iq|F_q)＝softmax(P(feature_lq|F_q))

(4).计算后验概率：隐变量F相对于训练数据集D_train的条件概率密度

$P\left(F\right|D_{\mathrm{train}})=\frac{P\left(F\right)P\left(\mathrm{Features}\right|F,D_{\mathrm{train}})}{\∫P\left(F\right)P\left(\mathrm{Features}\right|F,D_{\mathrm{train}})\mathrm{dF}}$

由于P(Features|F，D_train)不是Gaussian分布，因此本发明采用Laplace近似用一个Gaussian分布进行近似，在P(Features|F，D_train)的最大概率处通过一个Gaussian近似原分布，要计算Mode和Hessian矩阵在Mode处的取值。分母∫P(F)P(Features|F，D_train)dF为一个与F无关的数，可以看作一个标准化常数不参加后面的计算，本发明通过迭代的方式求出该常数的近似值。

(5).计算预测分布：即求新观察到的病理图像X^*的包含特征Y^*的条件概率。

P(Y^*|X^*，D_train)＝∫P(F^*|D_train，F，X^*)P(Y^*|F^*)dF

即通过后验概率与似然函数的乘积的积分，作为预测概率，则第(5)步可以直接给出某皮肤病理图像具有某一组特征的概率。P(Y^*|F^*)不是Gaussian分布，本方法中使用Laplace方法用一个Gaussian近似该分布，然后直接使用两个Gaussian的卷积求解。

本发明在本地某大型三甲医院的皮肤科病理数据库上进行了约9个月时间的应用测试，本部分报告应用测试的环境和测试结果，以进一步说明该发明的有效性。

在皮肤病理特征中选取9个特征作为该应用测试的目标特征，分别是：角化过度、角化不全、颗粒层消失、棘层肥厚、Munro微脓肿、痣细胞巢、基底层色素增加、淋巴细胞浸润、棘层变薄。

病理图像使用镜下100倍放大，24K真彩色，2048*1536大小的jpg格式图像。在做图像特征提取时，把原图缩小成200*150的图像，NCut的区域数定为15。

该应用测试中使用从2009.6年至2012.6年的2123个病人共16521图皮肤病理图像，采用25%的数据来训练模型，余下的75%数据用于测试，该发明的识别正确率（每个特征）如下表所示：

Claims (4)

1.一种基于多示例多标签学习的皮肤病理图片特征识别方法，其特征在于包括如下步骤： 

1）图像预处理； 

2）区域特征提取； 

3）建立多示例多标签学习的皮肤病理图像识别模型。 

2.根据权利要求1所述的基于多示例多标签学习的皮肤病理图片特征识别方法，其特征在于上述图像预处理是把图片划分为视觉上不重叠的若干部分，再对每个区域进行区域特征提取，从而把一个病理图像表示为一个多示例样本。 

3.根据权利要求1所述的基于多示例多标签学习的皮肤病理图片特征识别方法，其特征在于上述区域特征提取是基于二维小波变换的区域特征提取，基于二维小波变换的区域特征提取的步骤如下： 

1)对于一幅皮肤病理图像，把图像划分成小格，其中每个小格的大小为4*4个像素，把全黑的小格删除,即把颜色值全为FF的小格删除； 

2）对剩下的每一个小格的所有像素进行颜色空间的变换，从原先的RGB空间变换到LUV空间； 

3）对一个区域的所有小格的L、U、V值求平均，得到特征f₁； 

4）对每一个剩下的由LUV空间表示的小格，进行二维小波变换； 

5）取变换后除低频外的三组特征值，计算每组特征值的第二范数，把一个区域的所有小格的这三组特征取平均值，得到特征f₂； 

6）计算每一个小格的1、2、3阶归一化图像度量，然后全区域的所有小格取平均，得到特征f₃； 

通过上述过程，每个图像区域转化为一组特征(f₁,f₂,f₃)，即一个9维的特征向量； 

该特征提取方法的基本思路是同时提取每个区域的颜色特征、纹理特征和形状特征，在算法中，f₁是基于LUV颜色空间的颜色特征向量，f₂是经过2维小波变换的区域平均特征向量，反映了其纹理特征，f₃是1、2、3阶归一化图像度量，反映了区域的形状特征，三者加起来能充分全面的描述皮肤病理图像。 

4.根据权利要求1所述的基于多示例多标签学习的皮肤病理图片特征识别方法，其特征在于上述建立多示例多标签学习的皮肤病理图像识别模型的方法如下： 

1)定义隐变量F＝(F₁，F₂，…，F_q)，其中q为整个系统中要考虑的特征数目，F_i的取值范围是[-1，+1]数值越小表示该区域不包含第i个特征的可能性越大，反之表示区域包含第i个特征的可能性越大； 

2)通过训练数据集D_train，使用高斯过程求出F的先验分布P(F)，在本发明中，使用径向基函数作为协方差矩阵的生成函数； 

3)计算联合似然函数

，其中P(feature_iq|F_q)为第i个示例具有特征q的概率；使用逻辑回归作为P(feature_iq|F_q)的密度估计函数，在多示例学习的基本假设下进行概率密度P(Features|F_q)的估计 

4)计算后验概率：隐变量F相对于训练数据集D_train的条件概率密度 

由于P(Features|F，D_train)不是高斯分布，因此本发明采用拉普拉斯近似用一个高斯分布进行近似，在P(Features|F，D_train)的最大概率处通过一个高斯近似原分布，要计算驻点和二阶偏导数矩阵在驻点处的取值；分母∫P(F)P(Features|F，D_train)dF为一个与变量F无关的数，可以看作一个标准化常数不参加后面的计算，本发明通过迭代的方式求出该常数的近似值； 

5)计算预测分布：即求新观察到的病理图像X^*的包含特征Y^*的条件概率； 

P(Y^*|X^*，D_train)＝∫P(F^*|D_train，F，X^*)P(Y^*|F^*)dF 

即通过后验概率与似然函数的乘积的积分，作为预测概率，则第(5)步可以直接给出某皮肤病理图像具有某一组特征的概率，P(Y^*|F^*)不是高斯分布，使用拉普拉斯方法用一个高斯近似该分布，然后直接使用两个高斯的卷积求解。 

Images