CN113723505A - 一种基于细胞骨架图像定量分析的细胞图像分类方法及其分类器 - Google Patents

Abstract

本申请公开了一种基于细胞骨架图像定量分析的细胞图像分类方法及其细胞分类器，属于细胞生物学图像处理领域。该方法包括以下步骤：S1、获取只含有一个细胞的图像的灰度图像，并去除噪声；S2、步骤S1获得图像进行边缘提取，然后进行自适应图片扩充获得扩充后的边缘图；S3、步骤S1获得图像直接进行自适应图片扩充，然后依次进行掩膜提取获得掩膜；S4、将步骤S2获得的边缘图和步骤S3获得的掩膜进行按位相与运算去除外轮廓，然后进行傅里叶变换，然后根据方向能量函数判断细胞种类。本发明采用边缘检测算法强化细胞骨架图像纹理，使用二维傅里叶变换量化纹理信息，描述细胞骨架排布的规律程度，进行自动化细胞分类，取得了较高的精度，预测精度达到了83.3%。

Description

一种基于细胞骨架图像定量分析的细胞图像分类方法及其分 类器

技术领域

本发明属于细胞生物学图像处理领域，具体涉及一种基于细胞骨架图像定量分析的细胞图像分类方法及其分类器。

背景技术

一个细胞由细胞核、细胞质、细胞膜组成，细胞质中包含了内质网、线粒体等细胞器以及由微丝、微管和中间丝组成的细胞骨架。研究表明，细胞骨架和许多细胞生理过程有关，如细胞分裂、分化、粘附、运动、信号传递和物质运输等。因此，细胞骨架特征为深入了解多种细胞过程的机制、判定细胞性质变化提供了一个新的视角。细胞癌变可表现为细胞骨架异常。微丝束的破坏以及肌动蛋白小体的出现，与癌细胞的浸润和转移特性有关。因此，细胞骨架有望成为新的癌症诊断标志物，为癌症治疗研究提供帮助。

近年来，随着荧光显微成像技术的发展，细胞骨架荧光图像在细胞学研究中得到了越来越多的重视。但是，对细胞骨架图像的理解更多的是在定性描述的层面，定量描述的研究还较少。荧光图像可以直观反映细胞骨架的排布情况，寻找其定量描述方法，不仅有助于客观定量地理解细胞特性，还可以给细胞分类提供定量化依据，实现自动化细胞分类，为细胞学、医学研究提供帮助。

目前癌症病理切片医学诊断，依靠医生视觉检查分析显微镜下组织切片样本，高度依赖医生经验。大量的细胞样本观察容易使医生产生疲劳。同时，传统病理切片染色使用HE染色方法，相对于细胞骨架染色，所含信息量较少。因此需要研究一种基于细胞骨架定量分析的细胞图像自动分类方法，实现智能辅助诊断，减轻医生工作强度，提高诊断准确率。

发明内容

本发明的目的在于提供一种基于细胞骨架图像定量分析的细胞图像分类方法及其分类器。

基于上述目的，本发明采用如下技术方案：

本申请请求保护的第一个主题是：一种基于细胞骨架图像定量分析的细胞图像分类方法，包括以下步骤：

S1、获取只含有一个细胞的图像的灰度图像，并去除噪声；

S2、步骤S1获得图像进行边缘提取，然后进行自适应图片扩充获得扩充后的边缘图；

S3、步骤S1获得图像直接进行自适应图片扩充，然后依次进行掩膜提取获得掩膜；

S4、将步骤S2获得的边缘图和步骤S3获得的掩膜进行按位相与运算去除外轮廓，然后进行傅里叶变换，得到傅里叶变换能量谱，然后根据方向能量函数判断细胞种类。

进一步地，所述灰度图像通过以下方法获得：

对病理切片图像进行处理，获得只含有一个细胞的单张图片样本；

(2)提取图像绿色通道，获得灰度图像，然后使用离差标准化进行图像灰度级拉伸，按比例将灰度级分布区间拉宽到[0,255]，使得样本亮度在同一水平减少荧光染色不均对样本亮度的影响公式如下：

其中，I表示原始灰度图像矩阵，x_ij表示矩阵I的第i行第j列的像素值，x_ij'表示灰度级拉伸后第i行第j列的像素值。

进一步地，步骤S1中，采用中值滤波去除噪声：利用中值滤波可以有效去除显微镜成像、采集图像过程中产生的椒盐噪声。取当前像素点及其邻域像素点的像素值进行排序，将中间值作为当前像素点的像素值，取滤波核大小为7进行滤波，去除椒盐噪声。

进一步地，步骤S2中，使用Canny边缘检测算子进行细胞图像边缘提取，滤除背景干扰得到细胞骨架边缘信息。

进一步地，步骤S2和步骤S3中，所述自适应图片扩充的过程为：获取图片的宽高，进行条件判断，若宽大于高，则将宽与高之差的绝对值的1/2取整，作为上下拓展的像素数；若高大于宽，则将高与宽之差的绝对值的1/2取整，作为左右拓展的像素数；对于任意尺寸的输入图片，该方法都可以自适应地输出正方形图片。然后在所有方向再拓展相同像素数。防止细胞边缘与图像边缘重合。

进一步地，步骤S3中，掩膜提取的过程为：使用阈值二值化算法，将像素值低于阈值的像素点的像素值置0，高于阈值的像素点像素值设置为255，再使用腐蚀膨胀开运算去除噪声点；去除噪声点的过程为：

设集合A为输入图像，集合B为结构元，则A被B腐蚀表示为AΘB，用计算平移交集的方法可表达为：

AΘB＝∩{A-b:b∈B}

即把输入图像A平移-b，计算所有满足b∈B的平移的交集，可以得到AΘB；

膨胀可通过相对结构元素的所有点平移输入图像，计算其并集得到；表达为：

取结构元为圆，核大小设为3，迭代次数设为5，进行开运算；二值形态学中的开运算是指先对输入图像进行腐蚀，再进行膨胀的方法。其定义式为：

然后做空洞填充，获得细胞区域为白、其余区域为黑的掩膜；

将所得掩膜再做一次腐蚀运算，核大小设为3，迭代次数设为5，得到修正后的掩膜。

进一步地，步骤S4中，做傅里叶变换前，需要给图像加上二维汉宁窗。

进一步地，步骤S4中，傅里叶变换的步骤为：

(1)能量谱的变换公式如下：

其中，f(x,y)是尺寸为M×N的数字图像，x为图像坐标系横轴坐标值，y为图像坐标系纵轴坐标值，j为虚数单位，u＝0,1,2,…,M-1和v＝0,1,2,…,N-1为离散变量，F(u,v)为频域能量谱函数；

随后进行中心化，将0频率分量移动到图片中心，得到频率从图片中心到四周递增的能量谱；

求傅里叶能量谱各方向能量分布函数

令

u＝rcosθ

v＝rsinθ

其中，r表示频率，θ为对应方向的角度；

将傅里叶能量谱转换到极坐标系，可得二元函数S(r,θ)，通过对其求积分，可得到功率谱的全局描述：

对于每个确定的r值(频率)，求所有方向θ上S的和，可以得到与该r唯一对应的值S(r)：

对于每个确定的θ值(方向)，求所有频率r上S的和，可以得到与该θ唯一对应的值S(θ):

S(θ)即为方向能量分布函数，R₀代表频率最大值。

进一步地，步骤S4中，根据方向能量函数判断细胞种类的步骤为：

(1)计算方向能量函数S(θ)的最大值和中位数之差；平行线状纹理一般具有较高的能量最大值，其他方向能量较低，散点状纹理一般具有较低的能量最大值，其他方向能量与最大值差距不大。为体现能量分布差异，降低偶然情况对分类结果的影响，取方向能量函数S(θ)的最大值和中位数之差作为区分两类细胞的指标。由于正常细胞的细胞骨架排布相对整齐，多呈平行线状纹理，故差值较大；癌细胞的细胞骨架排布相对紊乱，多呈散点状纹理，故差值较小。

(2)求S(θ)函数的归一化积分

由于正常细胞一般呈多极轮廓，在轮廓内具有平行于轮廓边的应力纤维分布，且应力纤维较长，所以经边缘检测算法处理后产生的边缘在一定角度上呈类平行线状分布，使得傅里叶功率谱在该角度上具有特别高的能量，而垂直于该角度的方向，梯度变化相对平缓，能量较低。故方向能量函数S(θ)在一定方向上集中分布，呈现峰值，而其他方向相对呈现低谷；癌细胞的轮廓一般呈类圆形，轮廓内具有方向任意的应力纤维分布，且应力纤维较短或呈散点状，使得其功率谱无法呈现正常细胞能量集中分布的情况，故方向能量函数S(θ)无法呈现集中分布。

先对方向能量函数S(θ)进行归一化处理，使得函数值分布在[0,1]区间内，再计算函数在 [0,180]的积分值；当函数能量分布集中时，积分值较小；能量分散时，积分值较大。

(3)以S(θ)的最大值和中位数之差为横坐标，归一化积分值为纵坐标，采用支持向量机进行二分类，判定细胞种类。

采用支持向量机进行二分类，其训练为和测试过程如下：

(1)分类器训练：使用支持向量机(support vector machines，SVM)进行二分类。在本发明的情况中，由于特征只有二维，故选择线性核，将数据集的70％作为训练集进行分类模型训练。

(2)分类器测试：将数据集的30％作为测试集，检验分类器的性能，在测试集上的预测精度达到83.3％，完成了细胞分类系统的构建。

本申请请求保护的第二个主题是：一种细胞分类器，载有能执行上述基于细胞骨架图像定量分析的细胞图像分类方法的协议或程序。

本发明采用边缘检测算法强化细胞骨架图像纹理，使用二维傅里叶变换量化纹理信息，描述细胞骨架排布的规律程度，进行自动化细胞分类，取得了较高的精度，预测精度达到了 83.3％。本发明可以为细胞生物学研究人员提供量化细胞骨架特性的新手段，并有望运用于临床，实现智能辅助诊断，减轻医生工作强度，提高诊断准确率。

附图说明

图1为本发明的方法流程图；

图2为步骤S1预处理后的细胞图像；

图3为Canny边缘检测算子和自适应图片扩充效果；

图4为去除外轮廓后的细胞图像；

图5为细胞图像的傅里叶能量谱；

图6为归一化的方向能量分布函数S(θ)的曲线图(横坐标为角度，纵坐标为归一化的能量和)；

图7为支持向量机分类示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出。

实施例1

一种基于细胞骨架图像定量分析的细胞分类方法，其过程如图1所示，具体步骤为：

S1、图像预处理，获取细胞图像的灰度图像：

(1)图片裁剪，获得单细胞图片。

培养正常人膀胱上皮细胞(SV-HUC-1，以下简称SV)系和人膀胱尿路上皮癌细胞(T24) 系，进行微丝细胞骨架染色。显微镜视野中常存在聚集生长和孤立生长的多个细胞，需要借助图像处理软件对细胞图片进行分割裁剪，使得单张图片样本中只包含一个细胞。

(2)提取图像绿色通道，获得灰度图像。

随后使用离差标准化进行图像灰度级拉伸，按比例将灰度级分布区间拉宽到[0,255]，减少荧光染色不均对样本亮度的影响，公式如下：

其中，I表示原始灰度图像矩阵，x_ij表示矩阵I的第i行第j列的像素值，x_ij'表示灰度级拉伸后第i行第j列的像素值。

(3)中值滤波。

利用中值滤波可以有效去除显微镜成像、采集图像过程中产生的椒盐噪声。取当前像素点及其邻域像素点的像素值进行排序，将中间值作为当前像素点的像素值。取滤波核大小为 7进行滤波。预处理后细胞图像如图2所示。

将预处理后图像复制为两份，进行两路处理，

S2、对预处理后图像进行边缘提取，然后进行自适应图片扩充获得扩充后的边缘图:

(1)边缘提取：对预处理后的图像使用Canny边缘检测算子，滤除背景干扰得到细胞骨架边缘信息。Canny算子使用双阈值minval、maxval确定边缘，当前像素梯度值小于minval 时为标记为弱边缘并丢弃，梯度值大于maxval时标记为强边缘并保留。当梯度值介于minval 和maxval时标记为虚边缘，如果与强边缘连接则保留，如果与强边缘没有连接则丢弃。本发明中取minval为30，maxval为80.

(2)自适应图片扩充：为使傅里叶变换的输入图片尺寸为正方形，保证得到正确的能量分布函数，同时得到正确的掩膜，必须进行自适应的图片扩充操作。获取图片的宽高，进行条件判断，若宽大于高，则将宽减去宽与高之差的1/2取整，作为上下拓展的像素数，若高大于宽，则将高减去高与宽之差的1/2取整，作为左右拓展的像素数；随后在所有方向再拓展相同像素数。对于任意尺寸的输入图片，该方法都可以自适应地输出正方形图片。

Canny边缘检测算子和自适应图片扩充效果如图3所示。

S3、对步骤S1获得预处理后图像直接进行自适应图片扩充，然后依次进行掩膜提取获得掩膜：

(1)获取S1预处理后图像的宽高，进行条件判断，若宽大于高，则将宽与高之差的绝对值的1/2取整，作为上下拓展的像素数，若高大于宽，则将高与宽之差的绝对值的1/2取整，作为左右拓展的像素数；随后在所有方向再拓展相同像素数。

(2)掩膜提取：对扩充后的图像使用阈值二值化算法，将像素值低于阈值的像素点像素值置0，高于阈值的像素点像素值设置为255。

(3)使用腐蚀膨胀开运算去除噪声点。具体过程为：

设集合A为输入图像，集合B为结构元，则A被B腐蚀表示为AΘB,用计算平移交集的方法可表达为：

AΘB＝∩{A-b:b∈B}

即把输入图像A平移-b，计算所有满足b∈B的平移的交集，可以得到AΘB。

膨胀可通过相对结构元素的所有点平移输入图像，计算其并集得到。这种方法可表达为：

取结构元为圆，核大小设为3，迭代次数设为5，进行开运算。二值形态学中的开运算是指先对输入图像进行腐蚀，再进行膨胀的方法。其定义式为：

然后做空洞填充，获得细胞区域为白、其余区域为黑的掩膜。

将所得掩膜再做一次腐蚀运算，核大小设为3，迭代次数设为5，得到修正后的掩膜。 S4、将步骤S2获得的边缘图和步骤S3获得的掩膜进行按位相与运算去除外轮廓，然后进行傅里叶变换，得到傅里叶变换能量谱，然后根据方向能量函数判断细胞种类：

(1)外轮廓去除：将步骤S获得的掩膜与步骤S2获得的边缘图做按位相“与”运算，去除边缘图的细胞外轮廓部分，消除外轮廓边缘和分割边缘对分类结果的影响。外轮廓去除操作效果如图4所示。

(2)加二维汉宁窗：由于计算机中二维离散傅里叶变换计算的周期性，二维信号在横纵两个方向上都循环复制，在图片边缘处容易产生不连续。同时，图片本身的尺寸并不是无限大的，意味着图片二维信号本身是不连续的。因此，将图片直接进行傅里叶变换，会造成频率域的振荡、拖尾、泄露，影响后续的计算。对图像加上二维汉宁窗后再行傅里叶变换，可以有效减少上述影响。

(3)求二维离散傅里叶变换能量谱，变换公式如下：

其中，f(x,y)是尺寸为M×N的数字图像，x为图像坐标系横轴坐标值，y为图像坐标系纵轴坐标值，j为虚数单位，u＝0,1,2,…,M-1和v＝0,1,2,…,N-1为离散变量，F(u,v)为频域能量谱函数；

随后进行中心化，将0频率分量移动到图片中心，得到频率从图片中心到四周递增的能量谱。所得傅里叶能量谱如图5所示。

(4)求傅里叶能量谱各方向能量分布函数，在上述傅里叶变换公式中，令

u＝r cosθ

v＝r sinθ

将傅里叶能量谱转换到极坐标系，可得二元函数S(r,θ)，通过对其求积分(离散变量求和)，可得到功率谱的全局描述：

对于每个确定的r值(频率)，求所有方向θ上S的和，可以得到与该r唯一对应的值S(r)：

对于每个确定的θ值(方向)，求所有频率r上S的和，可以得到与该θ唯一对应的值S(θ):

其中，R0代表频率最大值；S(θ)即为方向能量分布函数。

(5)计算方向能量函数S(θ)的最大值和中位数之差；平行线状纹理一般具有较高的能量最大值，其他方向能量较低，散点状纹理一般具有较低的能量最大值，其他方向能量与最大值差距不大。为体现能量分布差异，降低偶然情况对分类结果的影响，取方向能量函数S(θ)的最大值和中位数之差作为区分两类细胞的指标。由于正常细胞的细胞骨架排布相对整齐，多呈平行线状纹理，故差值较大；癌细胞的细胞骨架排布相对紊乱，多呈散点状纹理，故差值较小。

(6)求S(θ)函数的归一化积分

由于正常细胞一般呈多极轮廓，在轮廓内具有平行于轮廓边的应力纤维分布，且应力纤维较长，所以经边缘检测算法处理后产生的边缘在一定角度上呈类平行线状分布，使得傅里叶功率谱在该角度上具有特别高的能量，而垂直于该角度的方向，梯度变化相对平缓，能量较低。因此方向能量函数S(θ)在一定方向上集中分布，呈现峰值，而其他方向相对呈现低谷，如图6(1)所示。癌细胞的轮廓一般呈类圆形，轮廓内具有方向任意的应力纤维分布，且应力纤维较短或呈散点状，使得其功率谱无法呈现正常细胞能量集中分布的情况，如图6(2)所示。

先对方向能量函数S(θ)进行归一化处理，使得函数值分布在[0,1]区间内，再计算函数在 [0,180]的积分值。

(7)根据方向能量分布函数判断细胞种类

以S(θ)的最大值和中位数之差为横坐标，归一化积分值为纵坐标，采用支持向量机进行拟合，形成细胞分类分界线，进行二分类。

支持向量机的训练和测试过程为：

(1)分类器训练：在本发明的情况中，由于特征只有二维，故选择线性核。将数据集的 70％作为训练集进行分类模型训练。

(2)分类器测试：将数据集的30％作为测试集，检验分类器的性能，在测试集上的预测精度达到83.3％，完成了细胞分类系统的构建。细胞分类示意图如图7所示。

图7中，横坐标为S(θ)函数能量最大值与中位数之差，纵坐标为S(θ)函数归一化后的积分值，圆形点为训练例，三角形点为测试例，红色点为SV训练例，绿色点为T24训练例，橙色点为SV测试例，蓝色点为T24测试例。从图7可以看出，在有限的样本中，训练集样本全部被分类器正确分类，测试集样本大部分被正确分类，没有出现欠拟合或过拟合的情况，分类器表现良好。

实施例2

一种细胞分类器，载有能执行实施例1所述的基于细胞骨架图像定量分析的细胞图像分类方法的协议或程序。

Claims (9)

1.一种基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，包括以下步骤：

S1、获取只含有一个细胞的图像的灰度图像，并去除噪声；

S2、步骤S1获得图像进行边缘提取，然后进行自适应图片扩充获得扩充后的边缘图；

S3、步骤S1获得图像直接进行自适应图片扩充，然后依次进行掩膜提取获得掩膜；

S4、将步骤S2获得的边缘图和步骤S3获得的掩膜进行按位相与运算去除外轮廓，然后进行傅里叶变换，得到傅里叶变换能量谱，然后根据方向能量函数判断细胞种类。

2.根据权利要求1所述的基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，所述灰度图像通过以下方法获得：

(1)对病理切片图像进行处理，获得只含有一个细胞的单张图片样本；

(2)提取图像绿色通道，获得灰度图像，然后使用离差标准化进行图像灰度级拉伸，按比例将灰度级分布区间拉宽到[0,255]，公式如下：

其中，I表示原始灰度图像矩阵，x_ij表示矩阵I的第i行第j列的像素值，x_ij'表示灰度级拉伸后第i行第j列的像素值。

3.根据权利要求2所述的基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，步骤S1中，采用中值滤波去除噪声：取当前像素点及其邻域像素点的像素值进行排序，将中间值作为当前像素点的像素值，取滤波核大小为7进行滤波，去除椒盐噪声。

4.根据权利要求1所述的基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，步骤S2和步骤S3中，所述自适应图片扩充的过程为：获取图片的宽高，进行条件判断，若宽大于高，则将宽与高之差的绝对值的1/2取整，作为上下拓展的像素数；若高大于宽，则将高与宽之差的绝对值的1/2取整，作为左右拓展的像素数；然后在所有方向再拓展相同像素数。

5.根据权利要求4所述的基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，步骤S3中，掩膜提取的过程为：使用阈值二值化算法，将像素值低于阈值的像素点的像素值置0，高于阈值的像素点像素值设置为255，再使用腐蚀膨胀开运算去除噪声点；去除噪声点的过程为：

设集合A为输入图像，集合B为结构元，则A被B腐蚀表示为AΘB，用计算平移交集的方法可表达为：

AΘB＝∩{A-b:b∈B}

即把输入图像A平移-b，计算所有满足b∈B的平移的交集，可以得到AΘB；

膨胀可通过相对结构元素的所有点平移输入图像，计算其并集得到；表达为：

取结构元为圆，核大小设为3，迭代次数设为5，进行开运算；定义式为：

然后做空洞填充，获得细胞区域为白、其余区域为黑的掩膜；

将所得掩膜再做一次腐蚀运算，核大小设为3，迭代次数设为5，得到修正后的掩膜。

6.根据权利要求1所述的基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，步骤S4中，做傅里叶变换前，需要给图像加上二维汉宁窗。

7.根据权利要求6所述的基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，步骤S4中，傅里叶变换的步骤为：

(1)能量谱的变换公式如下：

其中，f(x,y)是尺寸为M×N的数字图像，x为图像坐标系横轴坐标值，y为图像坐标系纵轴坐标值，j为虚数单位，u＝0,1,2,…,M-1和v＝0,1,2,…,N-1为离散变量，F(u,v)为频域能量谱函数

随后进行中心化，将0频率分量移动到图片中心，得到频率从图片中心到四周递增的能量谱；

(2)求傅里叶能量谱各方向能量分布函数

令

u＝r cosθ

v＝r sinθ

其中，r表示频率，θ为对应方向的角度；

将傅里叶能量谱转换到极坐标系，可得二元函数S(r,θ)，通过对其求积分，可得到功率谱的全局描述：

对于每个确定的r值，求所有方向θ上S的和，可以得到与该r唯一对应的值S(r)：

对于每个确定的θ值，求所有频率r上S的和，可以得到与该θ唯一对应的值S(θ):

S(θ)即为方向能量分布函数，R₀为频率最大值。

8.根据权利要求6所述的基于细胞骨架图像定量分析的细胞图像分类方法，其特征在于，

步骤S4中，根据方向能量函数判断细胞种类的步骤为：

(1)计算方向能量函数S(θ)的最大值和中位数之差

(2)求S(θ)函数的归一化积分：先对方向能量函数S(θ)进行归一化处理，使得函数值分布在[0,1]区间内，再计算函数在[0,180]的积分值；

(3)以S(θ)的最大值和中位数之差为横坐标，归一化积分值为纵坐标，采用支持向量机进行二分类，判定细胞种类。

9.一种细胞分类器，其特征在于，载有能执行权利要求1-8任一所述的方法的协议或程序。

Images