CN101226155A - 智能化肺癌早期细胞病理图像识别处理方法 - Google Patents

Abstract

本发明是一种智能化肺癌早期细胞病理图像识别处理方法，其步骤分，图像预处理；图像分割；重叠细胞分离重构；细胞特征提取；细胞分类。优点：基于强化学习的图像分割方法通过增量的学习和与环境的不断交互寻找最优分割阈值，得到平均91％的分割效果。重叠细胞的分离重构利用B样条及改进deBoor－Cox方法的优点更好的模拟出真实的细胞边缘，分类器设计采用常用的投票方法，避免单个分类器分类精度较低的情况，提高整体的分类精度，二级分类器的使用减少假阳性和假阴性的概率，实验证明本发明的有癌无癌的两类分类精度平均达到93.8％，鳞癌、腺癌、小细胞癌的分类精度平均达到75％，假阳率、假阴率平均只是在4％－6％之间。

Description

智能化肺癌早期细胞病理图像识别处理方法

技术领域

本发明涉及的是一种智能化的早期肺癌细胞病理图像识别处理方法，属于计算机医学应用技术领域。

背景技术

随着图像处理技术在医学领域的广泛应用，借助图像处理与模式识别技术进行细胞的识别也已经受到越来越多地关注。基于肺癌细胞病理图像识别处理系统的设计与实现，其原理就是对细胞图像进行分割，提取出细胞所在的区域，分离与重构重叠的细胞，然后对分割出来的独立细胞进行特征提取，根据提取出来的特征进行分类识别，给出客观的细胞识别结果。然而现有技术存在有对现有肺癌细胞识别精确度不高的现状，其因在于没有一个可以进行肺癌细胞病理图像智能化识别的系统及其进行肺癌细胞的智能化识别的方法。

发明内容

本发明的目的旨在提供一个可以进行肺癌细胞的智能化识别的方法。采用强化学习的方法来寻找图像分割灰度阈值，根据强化学习Agent与环境的交互不断选择动作改变分割灰度阈值，学习最佳分割策略，从而得到最优的灰度阈值对图像进行分割，提取出细胞所在的区域。对于重叠的细胞，采用一种改进的deBoor-Cox方法不断的模拟细胞的边缘点，直到其逼近真正的边缘点，再利用B样条曲线重构出光滑的边缘，达到分离出两个或者多个完整细胞的效果。在特征提取阶段，系统不仅对单个细胞的进行形态学、色度学以及光密度特征提取，同时还注意到整张细胞图像的区域特征。最后，根据提取出的特征设计出适合系统的分类器对肺癌细胞进行分割。

本发明的技术解决方案：其方法包括以下步骤，

一、图像预处理

把图像由彩色图像转换为灰度图像，并对转换过的灰度图像用邻域平均的方法进行去噪，所述的邻域平均的方法是现有技术；

二、图像分割

基于强化学习的图像分割阶段包含感知、动作选择、策略更新、奖赏感知和图像分割等步骤，其学习过程如下：

(1)通过图像分割步骤对图像进行分割；

(2)在状态感知步骤中计算细胞涂片图片所处的状态；

(3)到动作选择步骤中根据图像所处的状态计算当前所需要选择的动作，即增加或者减少分割阈值；

(4)继续回到图像分割步骤对图像进行分割；

(5)利用分割的结果到奖赏感知步骤中计算环境反馈；

(6)根据环境的反馈在策略更新步骤中更新策略，更新的策略影响动作选择步骤所选择的动作；

(7)取细胞分离后的下一个部分，重复上述步骤(5)、(6)，进行重构。所述的强化学习图像分割，其具体步骤包括，

步骤1，初始化Q矩阵，Q矩阵以二维数组形式记录在当前状态以及所有后继状态下以策略π去选择动作做获得的累积奖赏。

步骤2，对新样本图像采用sobel算子(一种常用的边缘检测算子)进行边缘检测，得到边缘图像。边缘检测结果图像如图4所示。

步骤3，对新样本图像进行类间方差最大分割，得到包含细胞核和胞浆的二值图像。类间方差最大分割的结果图像如图5所示。

步骤4，定义状态S为当前阈值分割结果的目标轮廓边缘和sobel边缘检测得到的边缘相重叠的比值E以及当前阈值分割结果的目标区域面积与类间方差最大法分割出来的目标区域面积重合的比值F，即S＝(E×F)；定义动作为当前阈值增加或减少动作Ai代表的灰度级，A＝[-30 -10 -5 -1 0 1 510 30]；定义奖赏R为当前分割出的目标区域与图像实际最优分割的符合程度。

$E=\frac{|{\mathrm{Edge}}_T\∩{\mathrm{Edge}}_S|}{\left|E{\mathrm{dge}}_S\right|}---\left(1\right)$

Edge_T为当前分割的边缘，Edge_s为边缘检测提取的边缘。

$F=\frac{|{\mathrm{Front}}_T\∩{\mathrm{Front}}_{\mathrm{OSTU}}|}{\left|{\mathrm{Front}}_{\mathrm{OSTU}}\right|}---\left(2\right)$

Front_T为当前分割的目标区域，Front_OSTU为采用类间方差最大法(OSTU)分割出来的目标区域。

$R=100\×\frac{|B_O\∩B_T|+|F_O\∩F_T|}{|B_O+F_O|}---\left(3\right)$

BO为最优分割的背景，FO为最优分割的前景目标。BT为当前分割的背景，FT为当前分割的前景目标。

步骤5，根据(1)、(2)、(3)式计算0-255每个分割阈值对应的状态和奖赏，如此每个阈值与状态和奖赏对应。

步骤6，重复步骤(7)，直到最近10次的平均Q矩阵更新前后的均方差小于0.005。

步骤7，给定一个初始阈值，重复步骤(8)~(10)，直到阈值变化到最优分割阈值。

步骤8，根据当前阈值得到当前状态。

步骤9，采用ε-greedy策略(ε-greedy策略以1-ε的概率选择Q-矩阵中奖赏最大的动作，以ε的概率选择其他动作)选择动作，改变分割阈值。

步骤10，根据改变阈值后的新阈值得到对应的反馈奖赏更新Q矩阵。更新公式如式(4)：s为当前状态，a为对应s的动作，s’为执行动作a后的下一状态，a’为对应s’动作。

$Q(s,a)\←Q(s,a)+\mathrm{\α}[r+\mathrm{\γ}\underset{a^{\′}}{\max }Q(s^{\′},a^{\′})-Q(s,a)]---\left(4\right)$

步骤11，对新样本图像重复步骤2至10。

三、重叠细胞分离重构

重叠细胞的分离重构包括图像预处理、八链码边缘提取、边缘平滑、细胞边缘分离、边缘重构和图像重建等步骤，重叠细胞分离重构步骤如下：

(1)通过图像预处理将原图像转化为二值图像，并进行形态学开运算，以达到去噪声的效果，提取出重叠区域。

(2)用八链码提取细胞的边缘，得到图像的边缘坐标；

(3)边缘平滑中先对边缘取样，用3次B样条平滑该边缘；

(4)通过求边缘点的二阶导数，得到凹点和分离点，根据分离点把原

(5)图像边缘分离开来。

(6)在细胞分离后的一个部分的边缘上取样，用3次B样条平滑，求取分离点处的切线及其交点，利用改进的deBoor-Cox算法求出一系列的模拟边缘点，用B样条插值平滑得到重构边缘。

(7)最后把细胞已知边缘和重构的边缘，对应回原图像，并填充边缘内部，得到细胞重构后的图像。

(8)取细胞分离后的下一个部分，重复步骤(5)、(6)进行重构。

所述的改进的deBoor-Cox算法，其运算步骤包括，

步骤1，把原图像转化为二值图像，进行形态学开运算，以达到去噪声的效果，提取出重叠区域。

步骤2，根据八链码顺时针遍历细胞图像边缘，得到图像有序的边缘坐标，存储到一个数组当中。

步骤3，在重叠细胞的原边缘取样，可每隔5个或10个像素取一个样点。用3次B样条在这些样点中进行插值，得到重叠细胞光滑的边缘。

步骤4，在上述光滑的边缘各处求取二阶导数，观察其二阶导数的符号。由于提取图像边缘时是用顺时针遍历的方法，所以这里二阶导数为正的点就是凹点。在一段连续的凹点所组成的凹线中，在其1/3和2/3处的凹点作为分离点，这样选取时两细胞连接处对分离点的影响较小。

步骤5，根据分离点把原图像边缘分离开来。

步骤6，在分离后的细胞边缘上取样，用3次B样条插值进行平滑。取样的方案可以和步骤3中的一致。

步骤7，求取分离点处的切线及其交点。

步骤8，利用改进的deBoor-Cox算法求出一系列的模拟边缘点，用B样条进行插值和平滑得到重构边缘。

步骤9，把细胞已知边缘和重构的边缘，对应回原图像，并填充边缘内部，得到细胞重构后的图像。

步骤10，取细胞分离后的下一个部分，重复(6)到(9)，进行重构。

deBoor-Cox算法原本是用来离散生成B样条曲线的，它在多个控制点上拟合出一条光滑的B样条曲线来。本方法将其进行改进，以用于估计缺失的边缘点。与离散生成B样条曲线不同的是，这里仅有两个分离点位于真正的边缘上，没有其它的控制点，所以把前一次迭代所生成的点当作下一次的控制点，这样也就是在各线段上迭代地求中点，而不是仅在新生成的线段上取中点。具体包括如下3步：

(1)初始化：将第一个分离点坐标(a，b)、交点坐标(x0，y0)和第二个分离点坐标(c，d)放于一个队列queue中，即queue(1)＝(a，b)，queue(2)＝(x0，y0)，queue(3)＝(c，d)。

(2)当 $({(\mathrm{queue}\left(1\right).x-\mathrm{queue}\left(2\right).x)}^2+{(\mathrm{queue}\left(1\right).y-\mathrm{queue}\left(2\right).y)}^2)<=\mathrm{\&delta;}---\left(5\right)$ 时，算法结束。否则，将队列头queue(1)，即(a，b)复制到队列尾，到步骤(3)。

(3)当队列头queue(1)！＝(c，d)时，计算queue(1)和queue(2)的中点，并将其加入队列尾，弹出队列头queue(1)，继续步骤(3)。否则，直接将队列头queue(1)，即(c，d)从队列头搬到队列尾，回到步骤(2)。

队列中的点都是基于xy坐标系的，我们用queue(index).x和queue(index).y分别表示其x坐标和y坐标，index是该点在队列中的下标。阈值δ的目的是当队列两头的点之间的距离小到一定程度时，应停止算法，

这是为了避免使得重构的边缘过于直线化而失真。设定分离点(a，b)到交点(x0，y0)的距离为d，δ的取值范围是0~d，由人工根据自己的视觉判断进行调整以获得最佳的效果。

四、细胞特征提取

(1)针对细胞结构与形态的特殊性，提取了其形态特征、色度特征、光密度特征和纹理特征，形态特征包括细胞几何形态特征和区域几何特征，几何形态特征包括细胞的周长、宽度、高度、面积、似圆度、矩形度、伸长度、傅立叶描述子和中心矩等特征，其中似圆度与矩形度分别表示细胞与圆形和矩形的相似程度，区域几何特征包括区域内细胞总数目和总面积及细胞面积与似圆度均方差，色度特征的提取主要依赖于颜色空间的定义，经过反复的实验，本实验最终选定{R，G，B}和{H，I，S}作为彩色特征空间，光密度特征包括综合光密度、平均灰度、光密度方差以及特征灰度，纹理特征包括在共生矩阵的基础上计算的能量、熵、最大概率、对比度和逆差；

(2)为提高分类精度，对40个特征进行特征选择用基于Wrapper的方法进行属性选择，用Genetic Search的方法寻找最佳的属性组合进行下一步的分类，即用后面要使用到的分类器作为评价标准，如果当前属性组合的分类精度不能达到预期要求，则用Genetic Search的方法寻找下一个属性组合，重复迭代至分类精度达到一定的要求；

五、细胞分类

首次引入未定型细胞的概念，未定型细胞并不是训练集中细胞的类标，所谓未定型细胞就是用系统中的分类器分类但确定性不高的细胞，此细胞以一种未定型的状态输出，等待由人工对其进行判断，在训练集中无需给出未定型细胞，减少对细胞的错误分类，提高整体的分类精度，同时采用二级分类，即首先把细胞识别看成时一个两类问题，把样本中的各种癌细胞统称为有癌细胞，样本中的正常细胞统称为无癌细胞，首先用分类器识别细胞是否有癌，针对有癌的细胞再利用分类器对其癌的类型进行区分，具体分类的步骤分为，

(1)针对两类问题分别训练决策树、贝叶斯、支持向量机和K近邻四种分类器模型；

(2)用四个分类器对细胞进行分类，并对分类结果进行投票，当至少有三个分类器的分类结果是一致的时，就用这个一致的结果作为分类的结果，当分类器两两分类结果一致时，降低贝叶斯分类器的权重，这是由于贝叶斯分类器的分类精度偏低的原因，那么此时的分类结果与贝叶斯分类器结果不同；

(3)再针对上一步分出的有癌细胞区分癌的类型，用鳞癌、腺癌、小细胞癌细胞样本同样训练决策树、贝叶斯、支持向量机和K近邻四种分类器模型；

(4)用四个分类器对有癌细胞进行分类，并采用同样的方法用对分类结果进行投票，，若四个分类器的结果均不一致，则定义为未定型，判断为未定型的样本需要人工辅助识别。

本发明的优点：基于强化学习的图像分割方法通过增量的学习和与环境的不断交互寻找最优分割阈值，可以得到平均91％的分割效果。重叠细胞的分离重构可以利用B样条及改进deBoor-Cox方法的优点更好的模拟出真实的细胞边缘，分类器的设计采用常用的投票方法，可以避免单个分类器分类精度较低的情况，提高整体的分类精度，二级分类器的使用可以减少假阳性和假阴性的概率，实验证明本发明的有癌无癌的两类分类精度平均可以达到93.8％，鳞癌、腺癌、小细胞癌的分类精度平均可以达到75％，假阳率、假阴率平均只是在4％-6％之间。

附图说明

图1是本发明系统流程图。注：SVM指支持向量机，KNN指K近邻

图2是本发明强化学习分割组成流程图。

图3是本发明强化学习分割图像的结果。

图4是本发明基于B样条和改进的deBoor-Cox方法细胞分离重构组成流程图。

图5是本发明基于B样条和改进的deBoor-Cox方法分离重构的图像结果。

具体实施方式

对照图1，把对细胞图像的处理分为图像预处理、图像分割、重叠细胞分离重构、特征提取与选择，以及细胞分类五个步骤，其中最关键的步骤就是图像分割、重叠细胞分离重构和细胞分类。

其具体步骤如下：

一、图像预处理

把图像由彩色图像转换为灰度图像，并对转换过的灰度图像用邻域平均的方法进行去噪，所述的邻域平均的方法是现有技术；

二、图像分割

基于强化学习的图像分割阶段包含感知、动作选择、策略更新、奖赏感知和图像分割等步骤，其学习过程如下：

(1)通过图像分割步骤对图像进行分割；

(2)在状态感知步骤中计算图片所处的状态；

(3)到动作选择步骤中根据图像所处的状态计算当前所需要选择的动作，即增加或者减少分割阈值；

(4)继续回到图像分割步骤对图像进行分割；

(5)利用分割的结果到奖赏感知步骤中计算环境反馈；

(6)根据环境的反馈在策略更新步骤中更新策略，更新的策略影响动作选择步骤所选择的动作；

三、重叠细胞分离重构

重叠细胞的分离重构包括图像预处理、八链码边缘提取、边缘平滑、细胞边缘分离、边缘重构和图像重建等步骤，重叠细胞分离重构过程如下：

(1)通过图像预处理将原图像转化为二值图像，并进行形态学开运算，以达到去噪声的效果，提取出重叠区域。

(2)用八链码提取细胞的边缘，得到图像的边缘坐标；

(3)边缘平滑中先对边缘取样，用3次B样条平滑该边缘；

(4)通过求边缘点的二阶导数，得到凹点和分离点，根据分离点把原图像边缘分离开来。

(5)在细胞分离后的一个部分的边缘上取样，用3次B样条平滑，求取分离点处的切线及其交点，利用改进的deBoor-Cox算法求出一系列的模拟边缘点，用B样条插值平滑得到重构边缘。

(6)最后把细胞已知边缘和重构的边缘，对应回原图像，并填充边缘内部，得到细胞重构后的图像。

(7)取细胞分离后的下一个部分，重复步骤(5)、(6)进行重构。

四、细胞特征提取

(1)针对细胞结构与形态的特殊性，提取了其形态特征、色度特征、光密度特征和纹理特征，形态特征包括细胞几何形态特征和区域几何特征，几何形态特征包括细胞的周长、宽度、高度、面积、似圆度、矩形度、伸长度、傅立叶描述子和中心矩等特征，其中似圆度与矩形度分别表示细胞与圆形和矩形的相似程度，区域几何特征包括区域内细胞总数目和总面积及细胞面积与似圆度均方差，色度特征的提取主要依赖于颜色空间的定义，经过反复的实验，本实验最终选定{R，G，B}和{H，I，S}作为彩色特征空间，光密度特征包括综合光密度、平均灰度、光密度方差以及特征灰度，纹理特征包括在共生矩阵的基础上计算的能量、熵、最大概率、对比度和逆差；

(2)为提高分类精度，对37个特征进行特征选择用基于Wrapper的方法进行属性选择，用GeneticSearch的方法寻找最佳的属性组合进行下一步的分类；

五、细胞分类

首次引入未定型细胞的概念，未定型细胞并不是训练集中细胞的类标，所谓未定型细胞就是用系统中的分类器分类但确定性不高的细胞，此细胞以一种未定型的状态输出，等待由人工对其进行判断，在训练集中无需给出未定型细胞，减少对细胞的错误分类，提高整体的分类精度，同时采用二级分类，即首先把细胞识别看成时一个两类问题，把样本中的各种癌细胞统称为有癌细胞，样本中的正常细胞统称为无癌细胞，首先用分类器识别细胞是否有癌，针对有癌的细胞再利用分类器对其癌的类型进行区分，具体分类的步骤分为，

(1)针对两类问题分别训练决策树、贝叶斯、支持向量机和K近邻四种分类器模型；

(2)用四个分类器对细胞进行分类，并对分类结果进行投票，当至少有三个分类器的分类结果是一致的时，就用这个一致的结果作为分类的结果，当分类器两两分类结果一致时，降低贝叶斯分类器的权重，这是由于贝叶斯分类器的分类精度偏低的原因，那么此时的分类结果与贝叶斯分类器结果不同；

(3)再针对上一步分出的有癌细胞区分癌的类型，用鳞癌、腺癌、小细胞癌细胞样本同样训练决策树、贝叶斯、支持向量机和K近邻四种分类器模型；

(4)用四个分类器对有癌细胞进行分类，并采用同样的方法用对分类结果进行投票，，若四个分类器的结果均不一致，则定义为未定型，判断为未定型的样本需要人工辅助识别。

Claims (1)

1.智能化肺癌早期细胞病理图像识别处理方法，其特征在于该方法包括以下步骤：

一、图像预处理

把图像由彩色图像转换为灰度图像，并对转换过的灰度图像用邻域平均的方法进行去噪；

二、图像分割

基于强化学习的图像分割阶段包含感知、动作选择、策略更新、奖赏感知和图像分割等步骤，其学习过程如下：

(1)通过图像分割步骤对图像进行分割；

(2)在状态感知步骤中计算图片所处的状态；

(3)到动作选择步骤中根据图像所处的状态计算当前所需要选择的动作，即增加或者减少分割阈值；

(4)继续回到图像分割步骤对图像进行分割；

(5)利用分割的结果到奖赏感知步骤中计算环境反馈；

(6)根据环境的反馈在策略更新步骤中更新策略，更新的策略影响动作选择步骤所选择的动作；

三、重叠细胞分离重构

重叠细胞的分离重构包括图像预处理、八链码边缘提取、边缘平滑、细胞边缘分离、边缘重构和图像重建步骤，重叠细胞分离重构步骤如下：通过图像预处理将原图像转化为二值图像，并进行形态学开运算，

(1)以达到去噪声的效果，提取出重叠区域；

(2)用八链码提取细胞的边缘，得到图像的边缘坐标；

(3)边缘平滑中先对边缘取样，用3次B样条平滑该边缘；

(4)通过求边缘点的二阶导数，得到凹点和分离点，根据分离点把原图像边缘分离开来；

(5)在细胞分离后的一个部分的边缘上取样，用3次B样条平滑，求取分离点处的切线及其交点，利用改进的deBoor-Cox算法求出一系列的模拟边缘点，用B样条插值平滑得到重构边缘；

(6)最后把细胞已知边缘和重构的边缘，对应回原图像，并填充边缘内部，得到细胞重构后的图像；

(7)取细胞分离后的下一个部分，重复上述步骤(5)、(6)，进行重构。

四、细胞特征提取

(1)针对细胞结构与形态的特殊性，提取了其形态特征、色度特征、光密度特征和纹理特征，形态特征包括细胞几何形态特征和区域几何特征，几何形态特征包括细胞的周长、宽度、高度、面积、似圆度、矩形度、伸长度、傅立叶描述子和中心矩等特征，其中似圆度与矩形度分别表示细胞与圆形和矩形的相似程度，区域几何特征包括区域内细胞总数目和总面积及细胞面积与似圆度均方差，色度特征的提取主要依赖于颜色空间的定义，经过反复的实验，本实验最终选定{R，G，B)和{H，I，S)作为彩色特征空间，光密度特征包括综合光密度、平均灰度、光密度方差以及特征灰度，纹理特征包括在共生矩阵的基础上计算的能量、熵、最大概率、对比度和逆差；

(2)为提高分类精度，对37个特征进行特征选择用基于Wrapper的方法进行属性选择，用GeneticSearch的方法寻找最佳的属性组合进行下一步的分类；

五、细胞分类

首次引入未定型细胞的概念，未定型细胞并不是训练集中细胞的类标，所谓未定型细胞就是用系统中的分类器分类但确定性不高的细胞，此细胞以一种未定型的状态输出，等待由人工对其进行判断，在训练集中无需给出未定型细胞，减少对细胞的错误分类，提高整体的分类精度，同时采用二级分类，即首先把细胞识别看成时一个两类问题，把样本中的各种癌细胞统称为有癌细胞，样本中的正常细胞统称为无癌细胞，首先用分类器识别细胞是否有癌，针对有癌的细胞再利用分类器对其癌的类型进行区分，具体分类的步骤分为，

(1)针对两类问题分别训练决策树、贝叶斯、支持向量机和K近邻四种分类器模型；

(2)用四个分类器对细胞进行分类，并对分类结果进行投票，当至少有三个分类器的分类结果是一致的时，就用这个一致的结果作为分类的结果，当分类器两两分类结果一致时，降低贝叶斯分类器的权重，这是由于贝叶斯分类器的分类精度偏低的原因，那么此时的分类结果与贝叶斯分类器结果不同；

(3)再针对上一步分出的有癌细胞区分癌的类型，用鳞癌、腺癌、小细胞癌细胞样本同样训练决策树、贝叶斯、支持向量机和K近邻四种分类器模型；

(4)用四个分类器对有癌细胞进行分类，并采用同样的方法用对分类结果进行投票，若四个分类器的结果均不一致，则定义为未定型，判断为未定型的样本需要人工辅助识别。

Images