CN1746901A - 肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其处理设备 - Google Patents

Abstract

本发明涉及的是一种肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其处理设备，设备包括有显微镜、彩色摄像头、彩色图像采集卡、微型计算机，处理的方法，其步骤依次分为：图像采集，对彩色图像的灰度变换，灰度图像分割，形态识别，色度识别，智能化处理。本发明的优点：能对细胞涂片的彩色图像进行自动识别，能对腺癌、鳞癌和小细胞癌等主要肺癌类型进行判别，其综合判别准确率已达到病理专家对肺癌细胞的诊断水准；具有对肺癌细胞涂片进行图像采集、图像预处理、图像分割的功能；对分割出来的细胞区域，利用形态和色度特征进行图像识别，标示出有癌细胞区域；根据图像处理得出的数据，利用规则判别或神经网络判别，可以快速精确地判别出主要肺癌类型。

Description

肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其 处理设备

技术领域

本发明涉及的是一种肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法及其处理设备，属于计算机应用技术领域。

背景技术

目前常用诊断方法(如：影像学诊断、肿瘤标志物检测等)多难做到早期病理定性诊断。临床通常采用的痰检、纤支镜检及经皮穿刺肺活检等病理学定性诊断其确诊率分别只有40％、60％、80％左右。经皮肺穿刺细胞病理学诊断，目前虽被认为是中心型或周围型肺部球形病灶早期诊断均较实用的方法之一，但因肺必须随呼吸移动难以准确定位穿刺，实行肺癌早期诊断。通常，对取检标本细胞学涂片或病理切片的图像信息往往只能凭借病理专家的肉眼进行观察和评判，因而缺乏统一、客观的诊断评价指标。无法快速、客观、准确地提供检验和诊断结果。发明内容

本发明的目的在于针对上述存在的缺陷，提出一种借助计算机对肺癌早期细胞涂片彩色图像信息进行智能化处理的方法，完成对肺癌细胞和非癌细胞的判别诊断，进而能运用人工神经网络完成鳞癌、腺癌、小细胞癌等不同病理类型的肺癌细胞的识别诊断。

本发明的技术解决方案：肺癌早期细胞涂片彩色图像信息的计算机智能化处理的设备，其特征是设备包括有显微镜、彩色摄像头、彩色图像采集卡、微型计算机，其中显微镜与彩色摄像头相接，彩色摄像头将彩色视频信号输入给彩色图像采集卡，输入的彩色视频信号经彩色图像采集卡的数字解码器、模/数转换器、比例缩放、裁减、色空变换处理，转化为RGB真彩色图像，通过PCI总线传到微型计算机内存实时处理。

肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法，其步骤依次分为

一、图像采集，

用摄像头和图像采集卡采集原始肺癌早期细胞涂片彩色图像；

二、对彩色图像的灰度变换，

灰度变换公式，灰度H＝0.71R+0.25G+0.05B，对彩色图像进行灰度变换，生成一幅待处理的灰度图像，式中的R为红色分量，G为绿色分量，B为蓝色分量；

三、灰度图像分割

采用基于图像灰度梯度的直方图阈值分割方法，得到效果满意的二值化图像；

四、形态识别

选择肺癌细胞与正常细胞形态上的主要差异以及三类不同肺癌细胞在形态上的差异，采用基于区域边界的八链码表示法来提取形态特征，利用形态特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行形态识别；

五、色度识别

选择肺癌细胞与正常细胞的染色差异以及三种不同肺癌细胞的染色差异，选定红色分量R，绿色分量G，蓝色分量B，蓝色分量比例C＝蓝色分量B/(红色分量R+绿色分量G+蓝色分量B)，色调H，光照强度I，饱和度S作为彩色特征集，利用色度特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行色度识别；

六、智能化处理，分规则判别或BP神经网络判别，其中

1.规则判别

1)间接规则判别

间接规则条件P_i∷＝Th₁≤V_i＜Th₂，式中V_i为图像特征参数，[Th₁，Th₂]为该特征参数的阈值区间，

2)直接规则判别

直接规则判别的条件P_i∷＝Af₁≤S_i＜Af₂，式中S_i为描述性条件，[Af₁，Af₂]为该条件的模糊隶属度函数的阈值区间；

根据上述规则判别可得出肺癌类别的判别结果。

2.BP神经网络判别

对每幅肺癌涂片彩色图像，通过图像预处理和分割模块提取图像特征值后，直接将其输入BP神经网络，根据输出节点值得到神经网络对肺癌类别的判别结果。

本发明的优点：能对肺癌细胞涂片的彩色图像进行自动识别，能对腺癌、鳞癌和小细胞癌等主要肺癌类型进行诊断，其综合诊断准确率已达到病理专家对肺癌细胞的诊断水准；具有对肺癌细胞涂片进行图像采集、图像预处理、图像分割的功能；对分割出来的细胞区域，利用形态和色度特征进行图像识别和诊断，标示出有癌细胞区域；提供有效的知识表示方法、高效的非精确推理机制和知识获取等功能，可以根据图像处理得出的数据和人工输入的数据进行推理，得出诊断结果；根据图像处理得出的数据，利用多个神经网络进行处理，可以快速精确地诊断出主要肺癌类型，其诊断过程能可视化地与用户进行交互。

附图说明

附图1是本发明的设备结构方块图

附图2是图像信息处理方法的流程图

附图3是采集的原始肺癌早期细胞涂片彩色图像示意图

附图4是经灰度变换后的灰度图像示意图

附图5是采用自适应阈值分割算法生成的二值图像示意图

附图6是基于形态和色度特征的判别结果示意图

附图7是规则判别结果示意图

附图8是BP神经网络示意图

附图9是BP神经网络的判别结果示意图

图中的1是显微镜、2是摄像头、3是图像采集卡、4是计算机、5是显示器。

具体实施方式

实施例，对照附图1，设备包括有显微镜、彩色摄像头(选用JVCTK-C1380/TK-C1381系列彩色视频摄像头，其高性能的1/2英寸CCD像素精度为470,000(有效像素精度440,000)，可提供水平扫描频率为470线的视频信号)、图像采集卡(选用DH-VRT-CG200彩色图像采集卡，输入的彩色视频信号，经该采集卡的数字解码器、模/数转换器、比例缩放、裁减、色空变换等处理，通过PCI总线传到VGA卡实时显示或传到计算机内存实时处理，图像传输速度可达40MB/S。该图像采集卡提供标准PAL、NTSC制彩色/黑白视频信号输入，支持RGB图像格式的显示和存储，支持的图像采集最大分辨率为：PAL——768×576×24bit；NTSC——640×480×24bit)和586微型计算机，其中彩色摄像头一端与显微镜相连接，它实时地获取肺癌穿刺标本涂片的视频信号，彩色摄像头的另一端与图像采集卡输入端相接，视频信号经图像采集卡处理后转化为RGB真彩色图像，图像采集卡的输出端与微型计算机的输入端相接。

对照附图2，

对肺癌早期细胞涂片彩色图像信息进行处理的方法，其步骤依次分为

一、图像采集

利用上述的摄像头和图像采集卡采集原始肺癌早期细胞涂片彩色图像，如附图3所示。

二、彩色图像的灰度转换

利用灰度转换的公式，灰度H＝0.71R+0.25G+0.05B，经灰度变换后的灰度图像如附图4所示。

三、灰度图像分割

采用基于图像灰度梯度的直方图阈值分割方法。

1.灰度梯度直方图阈值化方法

灰度梯度直方图统计可看作灰度直方图统计的梯度加权，和灰度直方图相比，灰度梯度直方图的形状有明显的改善。

设∩为大小为M×N的图像，i代表灰度级，则灰度直方图统计可表示为：

$\begin{array}{c}{H}_i=\underset{x,y\∈\∩}{\mathrm{\Σ}}{h}_i(x,y)/\underset{i}{\mathrm{\Σ}}\underset{x,y\∈\∩}{\mathrm{\Σ}}{h}_i(x,y)\\ h_i(x,y)=\left\{\begin{array}{cc}1& f(x,y)=i\\ 0& f(x,y)\≠i\end{array}\right.\end{array}$

式中f(x，y)为像素点(x，y)的灰度值。

灰度梯度直方图统计可表示为：

$G_i=\underset{x,y\∈\∩}{\mathrm{\Σ}}{W}_i(x,y)h_i(x,y)/\underset{i}{\mathrm{\Σ}}\underset{x,y\∈\∩}{\mathrm{\Σ}}{W}_i(x,y)h_i(x,y)$

式中：

$W_i(x,y)=\left\{\begin{array}{cc}\mathrm{gx}+\mathrm{gy}& f(x,y)=i\\ 0& f(x,y)\≠i\end{array}\right.$

gx＝|f(x+1，y)-f(x-1，y)|，表示像素点(x，y)在x轴方向的灰度梯度；

gy＝|f(x，y+1)-f(x，y-1)|，表示像素点(x，y)在y轴方向的灰度梯度。

在灰度梯度直方图区间(t-δ，t+δ)范围内，类内距离可表示为：

$\begin{array}{c}D\left(t\right)=\underset{i\∈c}{\mathrm{\Σ}}{(i-u)}^{2}P\left(i\right|c)\\ u=\underset{i\∈c}{\mathrm{\Σ}}i*P\left(i\right|c)\end{array}$

式中，u为I在其取值范围c：(t-δ，t+δ)区间内的均值，P(i|c)为属于c类的灰度级I出现的概率。

迭代变量

$t=u+\mathrm{\δ}\frac{{\mathrm{\ρ}}_1-{\mathrm{\ρ}}_2}{{\mathrm{\ρ}}_1{+\mathrm{\ρ}}_2}$

式中：

${\mathrm{\ρ}}_1=\sqrt{\mathrm{\ρ}(t+\mathrm{\δ})},{\mathrm{\ρ}}_2=\sqrt{\mathrm{\ρ}(t-\mathrm{\δ})}$

迭代式为：

t^k+1＝u^k+δ^k(ρ₁ ^k-ρ₂ ^k)/(ρ₁ ^k+ρ₂ ^k)

求取最佳阈值的方法如下：

第一步：令gxmax＝gymax＝L/12(L为图像的最大灰度级)，根据

$G_i=\underset{x,y\∈\∩}{\mathrm{\Σ}}{W}_i(x,y)h_i(x,y)/\underset{i}{\mathrm{\Σ}}\underset{x,y\∈\∩}{\mathrm{\Σ}}{W}_i(x,y)h_i(x,y)$

求出原图像的灰度梯度直方图，然后将256级灰度压缩为64级。

第二步：初值tn＝L/3，tc＝2L/3，作为当前t值t^k，δ＝L/12，进行迭代，直到满足：

                         |t^k+1-t^k|≤1

此时的t^k+1值为所求的最佳阈值。

2.二值化图像形态滤波方法

(a)二值膨胀滤波

将目标A内所有像素a同结构化函数B内的所有像素b进行矢量加：

AB＝{t∈Z²：t＝a+b，a∈A，b∈B}

其中，矢量t是图像空间Z²内的一个元素。

(b)二值腐蚀滤波

利用目标A的补集同结构化函数B进行二值膨胀，求取所得结果的补集：

AΘB＝(A^cB)^c

其中，A^c和B^c分别为A和B的补集。

(c)二值闭滤波

将目标A同结构化函数B进行二值膨胀，其所得结果再同结构化函数B进

Close(A，B)＝(AB)ΘB

行二值腐蚀：

形态闭滤波将减少目标边界上向内的小凸起和目标内的小洞。

(d)二值开滤波

将目标A同结构化函数B进行二值腐蚀，其所得结果再同结构化函数B进行二值膨胀：

Open(A，B)＝(AΘB)B

形态开滤波将减少目标轮廓上向外的小凸起和小而窄的缝隙。

经过上述图像分割方法处理后，即可得出标出细胞区域所在位置和形状的二值图像，如附图5所示。

四、形态识别

肺癌细胞与正常细胞形态上的主要差异，如表-1所示，以及三类不同肺癌细胞在形态上的差异如表-2所示：

                    表-1  肺癌细胞与正常细胞的形态差异

特征类别		正常细胞	肺癌细胞
				细胞	面积	大小一致	大小极不一致
形态	圆形、卵圆形、多边形	有异常形态，除圆形、卵圆形、多边形处，还有蝌蚪形、蛇形、梭形、星形和各种不规则圆形、方形、三角形等
			细胞核		面积	直径6-10微米左右，大小较一致	一般比正常细胞大，一倍至四、五倍不等，相差悬殊
形态	圆形、卵圆形，核膜规则，核仁小	有畸形，除圆形、卵圆形外，还出现不规则形或分叶状等；核膜厚而不规则；核仁增大，数目可增多

                        表-2  三种不同肺癌细胞的形态差异

特征类别	鳞癌		腺癌		小细胞癌
						分化好	分化差	分化好	分化差

细胞	形态	细胞大，除一般的不规则形、圆形、方形、多边形外，还有蝌蚪形和梭形	不规则圆形、多边形、三角形、卵圆形、小梭形	细胞较大，圆形或卵圆形	细胞较小，小圆形	细胞极小，呈不规则小圆形或小卵圆形，偶见短梭形
							细胞核	面积	核较正常大一至二倍，且大小悬殊	核大，可达正常三、四倍	核较正常大一倍左右	核大，为正常的三至三倍	核大小相差悬殊
形态	异型性明显	形态不在，呈圆形或各种不规则形	中度异形	呈大圆形或不规则圆形	异型明显，小圆形、小卵圆形，长形、小梭形、三角形或其它不规则形

用八链码对二值图像进行边缘跟踪得到一系列细胞区域的几何形状特征，具体方法如下：

1.细胞区域的周长：

$L=n_e+\sqrt{2}*n_o$

式中n_e表示八链码中偶数码的数目，n_o表示八链码中奇数码的数目。

2.细胞区域的宽度和高度：

方向码a_i在X轴上的分量为a_ix，在Y轴上的分量为a_iy，a_ix与a_iy的取值如表-3所示。

表-3 a_ix与a_iy的取值

0	1	0
			1	1	1
2	0	1
			3	-1	1
4	-1	0
			5	-1	-1
6	0	-1
			7	1	-1

x₀与y₀是起始点的坐标，

3.细胞区域的面积：

$S=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ix}}(y_{i-1}+\frac{1}{2}{a}_{\mathrm{iy}})$

式中，y_i＝y_i-1+a_i。

4.细胞区域的似圆度：

似圆度用于描述细胞区域与圆形的偏离程度。在相同面积的条件下，细胞区域边界光滑且为圆形，则周长最短，其似圆度C为1；细胞区域的形状越偏离圆形，则C值越小。

5.细胞区域的矩形度： $R=\frac{S}{W*H}$

矩形度用于描述细胞区域与矩形的偏离程度，细胞区域为矩形时，R取最大值1。

6.细胞区域的伸长度： $E=\frac{\min \{W,H\}}{\max \{W,H\}}$

细胞区域越呈细长形，E越小，当细胞区域为圆形时，E＝1。

五、色度识别

肺癌细胞与正常细胞色度上的主要差异，如表-4所示，以及三类不同肺癌细胞在色度上的差异如表-5所示：

                   表-4  肺癌细胞与正常细胞的染色差异

特征类别		正常细胞	肺癌细胞
				细胞核	染色	染色质细，分布较均匀，因此染色深浅基本一致	染色质粗颗粒，分布不均，染色比正常细胞深，且呈紫色偏蓝；有时全核都被染成蓝紫色，且颜色深浅不一
涂片	染色	染色视其对酸碱的吸收能力大小而定，但一般颜色都不会很深，呈浅色

                         表-5  三种不同肺癌细胞的染色差异

特征类别		鳞癌		腺癌		小细胞癌
							分化好	分化差	分化好	分化差
		细胞核	染色	染色深，呈明显颗粒状	染色很深	颜色一般略呈深色，但有时很深						颜色一般较深	颜色很深，且有深浅不一现象

选定红色分量R，绿色分量G，蓝色分量B，蓝色分量比例C＝蓝色分量B/(红色分量R+绿色分量G+蓝色分量B)，色调H，光照强度I，饱和度S作为彩色特征集，利用色度特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行色度识别；

基于形态识别和色度识别的结果如附图6所示。

六、智能化处理

1.规则判别

1)间接规则判别

间接规则条件P_i∷＝Th₁≤V_i＜Th₂，式中V_i为图像特征参数，[Th₁，Th₂]为该特征参数的阈值区间，

间接规则的实例如下：

Rule 011：

若(2250＜＝面积＜4500)和(0.5＜色圆度)

则细胞形状异常  可信度(0.4)

Rule 012：

若(绿色分量＜90)和(蓝色分量比重＞0.55)和(0.4＜饱和度＜0.65)

则细胞染色偏蓝  可信度(0.3)

2)直接规则判别

直接规则判别的条件P_i∷＝Af₁≤S_i＜Af₂，式中S_i为描述性条件，[Af₁，Af₂]为该条件的模糊隶属度函数的阈值区间；

直接规则的实例如下：

Rule 023：

若0.3＜＝细胞核形状异常＜0.7  则该细胞是癌细胞

可信度(0.45)

Rule 024：

若0.6＜＝细胞核染色太深  则  该细胞是癌细胞

可信度(0.25)

规则判别的结果如附图7所示。

2.BP神经网络判别

(1)三层BP神经网络

三层BP网络是一个典型的前馈型层次网络，它被分为输入层LA、隐蔽层LB、和输出层LC。同层节点间无关联，异层神经元间前向连接。其中，LA层含14个节点，对应于14个输入特征：6个形态特征和6个色度特征，以及2个有用特征：整幅图像的红色分量平均值和细胞区域的灰度平均值；LC层含5个输出节点：鳞癌、腺癌、小细胞癌、核异型和无癌；LB层节点数u根据实际需要设置为11个。如附图8所示。

LA层节点a_i到LB层节点b_r间的连接权为W_ir，LB层节点b_r到LC层节点c_j间的连接权为V_rj，T_r为LB层节点的阈值，θ_j为LC层节点的阈值，则LB层中节点的输出函数为：

$b_r=f(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}\·a_i+T_r)(r=1,...,u)$

LC层中节点的输出函数为：

$c_j=f(\underset{r=1}{\overset{u}{\mathrm{\Σ}}}{V}_{\mathrm{rj}}\·b_r+{\mathrm{\θ}}_j)(j=1,...,n)$

其中，f(·)为s型函数，即f(x)＝(1+e^-x)^-1。

(2)BP神经网络判别步骤：

(1)给W_ir，T_r，V_rj，θ_j随机赋一个较小的值；

(2)进行下列操作：

①将特征值输入LA层节点，据LA层节点激活值a_i，依次正向计算：

$\begin{array}{c}{b}_r=f(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}\·a_i+T_r)\\ c_j=f(\underset{r=1}{\overset{u}{\mathrm{\Σ}}}{V}_{\mathrm{rj}}\·b_r+{\mathrm{\θ}}_j)\end{array}$

②计算LC层节点输出c_j与期望输出值C_j ^(k)的误差

$d_j=c_j\·(1-c_j)\·(c_j^{\left(k\right)}-c_j)$

③向LB层节点反向分配误差

$e_r=b_r\·(1-b_r)\·(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{V}_{\mathrm{rj}}\·d_j)$

④调整LB层与LC层节点间连接权V_rj及LC层节点阈值θ_j：

V_rj＝V_rj+α·b_r·d_j    θ_j＝θ_j+α·d_j    (0＜α＜1)

⑤调整LA层与LB层节点间连接权W_ir及LB层节点阈值T_r：

W_ir＝W_ir+β·a_i·e_r    T_r＝T_r+β·e_r      (0＜β＜1)

选定α＝0.6，β＝0.6，重复上述步骤(2)BP神经网络判别步骤，直至对于j＝1，...，n，k＝1，...，p，最终误差d_j≤0.018。

对每幅肺癌涂片彩色图像，通过图像分割模块提取出LA输入层的14个特征值后，直接将其输入训练好的BP神经网络，根据输出节点值立即可以得到判别结果，如附图9所示。

Claims (2)

1、肺癌早期细胞涂片彩色图像信息的计算机智能化处理的方法，其步骤依次分为

一、图像采集，

用摄像头和图像采集卡采集原始肺癌早期细胞涂片彩色图像；

二、对彩色图像的灰度变换，

灰度变换公式，灰度H＝0.71R+0.25G+0.05B，对彩色图像进行灰度变换，生成一幅待处理的灰度图像，式中的R为红色分量，G为绿色分量，B为蓝色分量；

三、灰度图像分割

采用基于图像灰度梯度的直方图阈值分割方法，得到效果满意的二值化图像；

四、形态识别

选择肺癌细胞与正常细胞形态上的主要差异以及三类不同肺癌细胞在形态上的差异，采用基于区域边界的八链码表示法来提取形态特征，利用形态特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行形态识别；

五、色度识别

选择肺癌细胞与正常细胞的染色差异以及三种不同肺癌细胞的染色差异，选定红色分量R，绿色分量G，蓝色分量B，蓝色分量比例C＝蓝色分量B/(红色分量R+绿色分量G+蓝色分量B)，色调H，光照强度I，饱和度S作为彩色特征集，利用色度特征对肺癌细胞与正常细胞以及三类不同肺癌细胞进行色度识别；

六、智能化处理，分规则判别或BP神经网络判别，其中

1.规则判别

1)间接规则判别

间接规则条件P_i::＝Th₁≤V_i＜Th₂，式中V_i为图像特征参数，[Th₁，Th₂]为该特征参数的阈值区间，

2)直接规则判别

直接规则判别的条件P_i::＝Af₁≤S_i＜Af₂，式中S_i为描述性条件，[Af₁，Af₂]为该条件的模糊隶属度函数的阈值区间，

根据上述规则可得出肺癌类别的判别结果；

2.BP神经网络判别

对每幅肺癌涂片彩色图像，通过图像预处理和分割模块提取图像特征值后，直接将其输入BP神经网络，根据输出节点值得到神经网络对肺癌类别的判别结果。

2、肺癌早期细胞涂片彩色图像信息的计算机智能化处理的设备，其特征是设备包括有显微镜(1)、彩色摄像头(2)、彩色图像采集卡(3)、微型计算机(4)，其中显微镜(1)与彩色摄像头(2)相接，彩色摄像头(2)将彩色视频信号输入给彩色图像采集卡(3)，输入的彩色视频信号经彩色图像采集卡(3)的数字解码器、模/数转换器、比例缩放、裁减、色空变换处理，转化为RGB真彩色图像，通过PCI总线传到微型计算机(4)内存实时处理。

Images