CN111640128A - 一种基于U-Net网络的细胞图像分割方法 - Google Patents

Abstract

本发明公开了一种基于U‑Net网络的细胞图像分割方法，涉及细胞图像分割技术领域；它的方法如下：步骤一：图像预处理方法：1.1、对比度图像增强；1.2、高斯滤波；步骤二：基于U‑Net的宫颈细胞分割方法：2.1、利用U‑Net网络进行初步分割；2.2、在U‑Net网络中添加空洞卷积结构和残差结构；2.3、利用聚类检测方法对细胞边缘进行检测；本发明采用深度学习网络为主对宫颈细胞图像进行分割，使用聚类方法进行辅助分割；不仅能够降低之后分类器设计的难度，而且能够显著地提升癌细胞诊断的准确率。

Description

一种基于U-Net网络的细胞图像分割方法

技术领域

本发明属于细胞图像分割技术领域，具体涉及一种基于U-Net网络的细胞图像分割方法。

背景技术

深度学习作为机器学习研究中一个新的领域，近年来在已经在图像识别和目标检测等问题上大放异彩，而这些成绩无疑要归功于卷积神经网络(CNNs)的使用。自然而然得，深度学习也被应用于有关癌症检测的研究之中。当前，基于深度学习进行癌症检测有两个方向：一个方向是像传统的分割方向那样，先进行图像分割，然后再进行癌症检测；另一个方向是跳过图像分割过程，直接使用细胞图像进行癌症的检测。在先分割再检测的这一方向上，目前的分割方法主要是基于两种神经网络框架：一种是基于CNNs，另一种是基于全卷积神经网络(FCN)。Song Y等人提出使用多尺度CNNs进行宫颈细胞细胞质的辅助分割。然而，该CNNs网络只能实现细胞质与细胞背景的分离，而对于细胞之间的分割需要使用水平集方法来完成。基于FCN的分割方法中，最具代表性的分割网络是由Ronneberger等人提出的U-Net网络，其用于ISBI比赛中的电子显微镜下细胞图像的分割，以较大的优势取得了冠军，然而，U-Net同样无法实现重叠细胞的分割。因而到目前为止，如何使用深度学习网络进行重叠细胞的分割依旧是一大难题。而在直接进行癌症检测的研究中，Zhang L等人率先使用CNNs在LBC公共数据集上进行宫颈细胞的分类。然而该宫颈细胞数据存在数据不足，背景单一，无杂质干扰的情况，并不能说明方法的实用性。在此之后，该方向上的研究工作一直进展缓慢，究其原因，一是该方法跳过了图像分割过程，看似简化了操作，但却增加了神经网络模型设计的难度，尤其是当细胞图像背景复杂，干扰比较严重的时候，识别率会大幅度降低；二是该方法极为依赖宫颈细胞数据的多样性以及丰富性，当前并没有好的宫颈细胞数据集来支撑这一方法的研究。

发明内容

为解决传统的细胞图像分割算法和基于深度学习的细胞图像分割算法不足的问题；本发明的目的在于提供一种基于U-Net网络的细胞图像分割方法。

本发明的一种基于U-Net网络的细胞图像分割方法，它的方法如下：

步骤一：图像预处理方法：

1.1、对比度图像增强：

利用Canny算子和Otsu算法结合数学形态学操作，完成细胞核对比度增强；对比度增强的具体步骤如下：

1.1.1、利用Canny算子提取细胞核ROI的边缘信息ci；

1.1.2、利用Otsu算法对细胞核ROI进行二值化处理，得到ri；

1.1.3、利用数学形态学操作腐蚀ri，得到rj；

1.1.4、利用数学形态学操作膨胀rj，并对图像的各个像素值取反，得到rk；

1.1.5、对ci与rj、rk进行逻辑运算，得到不连续的细胞核边缘，尤其是弱边缘；

1.1.6、获取rj与边缘间的空缺作为权重，与ROI原图结合，实现对比度增强；

1.2、高斯滤波：

高斯滤波器被定义为线性的平滑滤波器，公式如下所示：

其中x,y是点的坐标，代表了图中各像素的具体位置，σ是标准偏差。为求得模板中每个位置处系数值，可将该点坐标值和σ带入上述中，由此可见，标准偏差σ在系数生成过程中占举足轻重的地位。标准差本质上表示了分布的离散程度，这由高斯分布的概率密度图决定。σ减小的过程会影响着中间系数变大而周围值随之减小，这样一来，要想产生良好的图像平滑效果就比较困难；相反σ越大，中间系数越小，模板中各个系数较为均衡，对图像平滑效果更好；

步骤二：基于U-Net的宫颈细胞分割方法：

宫颈细胞图像分割以U-Net网络为主干网络，采用空洞卷积和残差结构进行改进，

2.1、利用U-Net网络进行初步分割：

将预处理后的图片样本送入U-Net网络结构中训练模型，选取最大池化方式参与计算，其中网络结构中的卷积层和池化层都选取非线性修正函数作为激活函数；U-Net网络分为特征提取和图像恢复两个部分,其中特征提取采用卷积层和池化层交替出现提取细胞图像的特征，图像恢复通过上采样层和跳跃结构交替完成像素填充；U-Net网络有较好的鲁棒性，将细胞很好识别出来；

2.2、在U-Net网络中添加空洞卷积结构和残差结构：

在U-Net网络基础上加入空洞卷积，同时去除池化操作，提高网络感知域，使某一层的输出可以直接跨过几层作为后面某一层的输入，加入空洞卷积和残差结构的U-Net网络结构集中残差结构和空洞卷积结构的优势，使其在不增加参数运算量的基础上增大图像的感受域，且提高深层卷积特征图中的图像基础信息增强网络的分割能力。

2.3、利用聚类检测方法对细胞边缘进行检测：

通过U-Net网络训练模型，将每个像素分为前景和背景两类，分析得到原图像中像素的分布，通过聚类进行图像分割，然后结合U-Net网络训练出来的图像与原图像，将对应位置的像素值进行点乘，再进行聚类，能够较好的识别出细胞边缘。

与现有技术相比，本发明的有益效果为：

一、采用深度学习网络为主对宫颈细胞图像进行分割，使用聚类方法进行辅助分割；

二、不仅能够降低之后分类器设计的难度，而且能够显著地提升癌细胞诊断的准确率。

附图说明

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1为本发明的整体框架示意图；

图2为本发明中空洞卷积示意图；

图3为本发明中残差学习单元的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

如图1所示，本具体实施方式采用以下技术方案：它的方法如下：

步骤一：图像预处理方法：

1.1、对比度图像增强：

由于宫颈细胞核边缘不明显，且细胞核分割对精度的要求较高，因此传统的对比度增强方法不适用于宫颈细胞图像。拟利用Canny算子和Otsu算法结合数学形态学操作，完成细胞核对比度增强。对比度增强的具体步骤如下：

1.1.1、利用Canny算子提取细胞核ROI的边缘信息ci；

1.1.2、利用Otsu算法对细胞核ROI进行二值化处理，得到ri；

1.1.3、利用数学形态学操作腐蚀ri，得到rj；

1.1.4、利用数学形态学操作膨胀rj，并对图像的各个像素值取反，得到rk；

1.1.5、对ci与rj、rk进行逻辑运算，得到不连续的细胞核边缘，尤其是弱边缘；

1.1.6、获取rj与边缘间的空缺作为权重，与ROI原图结合，实现对比度增强。

1.2、高斯滤波：

人们所熟知的高斯滤波器被定义为线性的平滑滤波器，公式如下所示：

其中x,y是点的坐标，代表了图中各像素的具体位置，σ是标准偏差。为求得模板中每个位置处系数值，可将该点坐标值和σ带入上述中，由此可见，标准偏差σ在系数生成过程中占举足轻重的地位。标准差本质上表示了分布的离散程度，这由高斯分布的概率密度图决定。σ减小的过程会影响着中间系数变大而周围值随之减小，这样一来，要想产生良好的图像平滑效果就比较困难；相反σ越大，中间系数越小，模板中各个系数较为均衡，对图像平滑效果更好。

步骤二：基于U-Net的宫颈细胞分割方法：

宫颈细胞图像分割以U-Net网络为主干网络，采用空洞卷积和残差结构进行改进，进一步提高网络的分割能力。

2.1、利用U-Net网络进行初步分割：

将预处理后的图片样本送入U-Net网络结构中训练模型，这里选取最大池化方式参与计算，其中网络结构中的卷积层和池化层都选取非线性修正函数(ReLUs)作为激活函数。U-Net网络分为特征提取和图像恢复两个部分,其中特征提取采用卷积层和池化层交替出现提取细胞图像的特征，图像恢复通过上采样层和跳跃结构交替完成像素填充。网络中没有引入全连接层且网络输入、输出均是图像，浅层的卷积特征图包含图像信息多，例如位置信息、纹理信息等。U-Net网络有较好的鲁棒性，将细胞很好识别出来。

2.2、在U-Net网络中添加空洞卷积结构和残差结构：

在U-Net网络基础上加入空洞卷积，同时去除池化操作，提高网络感知域，空洞卷积在不增加运算量的基础上可以降低网络信息的损失，从而提高卷积神经网络的分割能力，其示意图如图2所示。

残差结构借鉴了高速网络的跨层连接思想，这种残差跳跃式的结构，打破了传统的神经网络n-1层的输出只能给n层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，残差学习单元如图3所示。加入残差结构不但可以防止网络的梯度消失并且也可以增加深层和浅层网络的联系。深层网络中由于存在浅层卷积提取的图像基本信息，所以深层卷积结构也存在图像的细节信息，同时浅层结构在反向传递时可以使用深层网络的梯度改变网络参数，降低网络脆弱性。

加入空洞卷积和残差结构的U-Net网络结构集中残差结构和空洞卷积结构的优势，使其在不增加参数运算量的基础上增大图像的感受域，且提高深层卷积特征图中的图像基础信息增强网络的分割能力。

2.3、利用聚类检测方法对细胞边缘进行检测：

通过U-Net网络训练模型，将每个像素分为前景和背景两类，但是U-net网络没有识别出细胞的边界，没有分割开相互粘连的细胞，不能观察原图像细胞的形态，所以首先将U-Net网络训练出来的结果图，与原图像相结合，然后通过聚类算法检测细胞边界，进一步提高分割效果。

首先分析得到原图像中像素的分布，通过聚类进行图像分割，然后结合U-Net网络训练出来的图像与原图像，将对应位置的像素值进行点乘，再进行聚类，能够较好的识别出细胞边缘。

本具体实施方式以宫颈细胞为研究对象，拟提出基于改进U-Net网络的分割方法，对宫颈细胞进行分割操作。首先，对宫颈细胞图像进行预处理，然后对预处理后的宫颈细胞进行分割。具体研究内容包括：

一、宫颈细胞图像预处理方法研究：

在制作组织学细胞切片时，不同的制作方法、不同的条件下制作出来的切片图像具有很强的不一致性，对比度低，边缘不清晰，这导致很难对宫颈细胞切片图像进行定量分析。基于此，采用比度增强对宫颈细胞进行预处理，提高细胞图像的颜色对比度，采用高斯平滑滤波进行噪声抑制，减少细胞图像中的噪声对分割结果的影响。

二、宫颈细胞分割方法研究：

传统细胞分割方式通过人工进行特征选取，工作量非常大，并且无法提取高层特征，再分割性能上有待提高，基于此，首先通过深度学习网络对图像在像素级别进行分类，图像中的像素分为前景与背景两类，然后将神经网络训练出来的结果图与原图相结合，通过聚类对细胞进行边缘检测。

首先，搭建U-Net网络，并使用空洞卷积提高网络感知域，放大输入特征映射，获取高层次的语义特征。其次加入Resnet结构，不但可以防止网络的梯度消失并且也可以增加深层和浅层网络的联系。最后利用聚类检测对没有分割开的相互粘连的细胞进行分割。

本实施例研究目的包括两个：

首先，针对医学图像受噪声影响严重的问题。拟采用一种高精度的图像预处理方法。高斯滤波去噪方法将被用于本研究以降低超声图像噪声斑点对后续工作的影响。

其次，针对特征提取和选择的巨大工作量问题，研究一种高效的宫颈细胞特征提取方法用于分割。在传统特征提取的基础上，卷积神经网络将被用于本研究以提取高层语义特征。

随着图像处理技术的发展，自动扫描技术被广泛的应用于癌细胞检测之中。这些技术首先需要对细胞图像进行分割，然后再对每个分割细胞进行检测，判断是否存在癌变。细胞图像分割作为癌细胞检测中最为重要的一个环节，一个好的细胞图像分割方法，不仅能够降低之后分类器设计的难度，而且能够显著地提升癌细胞诊断的准确率。因此，研究快速有效地分宫颈细胞分割方法，对辅助医生的诊断工作具有很重要的作用。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种基于U-Net网络的细胞图像分割方法，其特征在于：它的方法如下：

步骤一：图像预处理方法：

1.1、对比度图像增强：

利用Canny算子和Otsu算法结合数学形态学操作，完成细胞核对比度增强；对比度增强的具体步骤如下：

1.1.1、利用Canny算子提取细胞核ROI的边缘信息ci；

1.1.2、利用Otsu算法对细胞核ROI进行二值化处理，得到ri；

1.1.3、利用数学形态学操作腐蚀ri，得到rj；

1.1.4、利用数学形态学操作膨胀rj，并对图像的各个像素值取反，得到rk；

1.1.5、对ci与rj、rk进行逻辑运算，得到不连续的细胞核边缘，尤其是弱边缘；

1.1.6、获取rj与边缘间的空缺作为权重，与ROI原图结合，实现对比度增强；

1.2、高斯滤波：

高斯滤波器被定义为线性的平滑滤波器，公式如下所示：

其中x,y是点的坐标，代表了图中各像素的具体位置，σ是标准偏差；为求得模板中每个位置处系数值，可将该点坐标值和σ带入上述中，由此可见，标准偏差σ在系数生成过程中占举足轻重的地位；标准差本质上表示了分布的离散程度，这由高斯分布的概率密度图决定；σ减小的过程会影响着中间系数变大而周围值随之减小，这样一来，要想产生良好的图像平滑效果就比较困难；相反σ越大，中间系数越小，模板中各个系数较为均衡，对图像平滑效果更好；

步骤二：基于U-Net的宫颈细胞分割方法：

宫颈细胞图像分割以U-Net网络为主干网络，采用空洞卷积和残差结构进行改进，

2.1、利用U-Net网络进行初步分割：

将预处理后的图片样本送入U-Net网络结构中训练模型，选取最大池化方式参与计算，其中网络结构中的卷积层和池化层都选取非线性修正函数作为激活函数；U-Net网络分为特征提取和图像恢复两个部分,其中特征提取采用卷积层和池化层交替出现提取细胞图像的特征，图像恢复通过上采样层和跳跃结构交替完成像素填充；U-Net网络有较好的鲁棒性，将细胞很好识别出来；

2.2、在U-Net网络中添加空洞卷积结构和残差结构：

在U-Net网络基础上加入空洞卷积，同时去除池化操作，提高网络感知域，使某一层的输出可以直接跨过几层作为后面某一层的输入，加入空洞卷积和残差结构的U-Net网络结构集中残差结构和空洞卷积结构的优势，使其在不增加参数运算量的基础上增大图像的感受域，且提高深层卷积特征图中的图像基础信息增强网络的分割能力；

2.3、利用聚类检测方法对细胞边缘进行检测：

通过U-Net网络训练模型，将每个像素分为前景和背景两类，分析得到原图像中像素的分布，通过聚类进行图像分割，然后结合U-Net网络训练出来的图像与原图像，将对应位置的像素值进行点乘，再进行聚类，能够较好的识别出细胞边缘。

Images