CN105931226A - 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 - Google Patents

Abstract

本发明公开了基于深度学习的自适应椭圆拟合细胞自动检测分割方法，首先运用深度学习方法检测出病理图像中的细胞，然后运用主动轮廓模型找到精确的细胞轮廓，最后使用自适应椭圆拟合技术将重叠的细胞轮廓分割出来。本发明以大幅切片图为研究对象，采用深度学习加滑动窗口的方法，能准确找到图像中细胞的位置，主动轮廓结合自适应椭圆拟合对分割重叠细胞具有明显的效果。本发明提出的细胞自动检测分割方法能辅助临床医生对数字病理学切片中细胞进行量化评估，准确快速的进行临床诊断，减少不同观察者或同一个观察者在不同时间段间的诊断差异性。相对于现有的细胞检测分割方法，本发明无论是从准确率还是从可实行效果上来看，具有明显的优势。

Description

基于深度学习的自适应椭圆拟合细胞自动检测分割方法

技术领域

本发明涉及基于深度学习的自适应椭圆拟合细胞自动检测分割方法，属于图像信息处理技术领域。

背景技术

随着大幅切片图像数字扫描技术的产生以及扫描的效率提高，组织病理切片的数字化显示和存储变得现实可行。利用数字化技术可以对病理图像进行更高质量的分析。因为从组织切片病理图像中几乎可以找出各种癌症细胞和组织的特征，并可以用来辅助医生诊断，但是现有的针对医学图像处理的技术研究仍然很少，所以研究一套针对病理图像的分析工具十分重要。

研究计算机辅助系统(CAD)的目的不是为了完全代替医生，而是为了向医生提供更加准确的客观建议从而提高医生的工作效率，得到更加准确的诊断结果。虽然计算机辅助诊断具有诸多优势，但由于病理组织图像呈现出高度的复杂性，使得病理组织图像的自动分析仍然是一个极具有挑战性的研究领域。

在组织病理图像的研究中很大一部分集中在特定组织结构的分辨上，如淋巴细胞检测、癌症细胞检测、腺体检测。这些组织的位置、大小、形状，或其他的特有性质表示对预测病人的疾病状况都是十分重要的指标，例如在乳腺癌诊断中，切片中的细胞大小和分布以及细胞形态都是重要的预测癌症等级的生物标志。

细胞的自动检测与分割是计算机辅助诊断的前提条件。高分辨率病理图像中的细胞自动检测和分割极具挑战性，原因在于病理图像具有复杂的内容，组织结构密度大。在一张高分辨率病理图像中存在成千上万的细胞，人工标定的方法费时费力，不利于临床治疗。除了高密度，组织病理图像本身结构也很复杂，包含很多组织结构，而且这些结构没有明显的边界，同一结构还存在多种形态，这些都给自动处理带来巨大挑战。以前基于分割算法的细胞检测方法在面对多形状和多尺度的肿瘤细胞时鲁棒性不高。主动轮廓模型是一种常用的细胞分割方法，但有初始化敏感的缺点。同时在病理图像中存在大量的细胞重叠现象，主动轮廓模型很难获得一个很好的分割结果。

一个高效准确的细胞分割方法能够提供精确的细胞位置用于构建细胞之间的拓扑关系特征，同样精确的细胞轮廓信息可以用于描述细胞的形状特征。这些结果可以延伸到将来病理分析系统之中，为医生提供定量化的诊断信息，减小依靠经验观测切片图像所带来的主观误差；同时高效的分析系统将缩短病情分析的等待过程，为病人提供宝贵的治疗时间。

发明内容

本发明所要解决的技术问题是：提供基于深度学习的自适应椭圆拟合细胞自动检测分割方法，克服现有细胞检测分割算法无法处理病理切片图像中细胞形状尺度多变和细胞重叠的问题，相比于其他方法具有更高的分割准确率。

本发明为解决上述技术问题采用以下技术方案：

基于深度学习的自适应椭圆拟合细胞自动检测分割方法，包括如下步骤：

步骤1，在病理切片图像中选取完全包含细胞的图像、部分包含细胞的图像和完全不包含细胞的图像，并将上述三种图像组合起来作为训练样本；

步骤2，利用步骤1的训练样本训练自动编码器，找到使重构样本和训练样本之间的误差小于预设阈值的自动编码器参数；

步骤3，使用步骤2训练好的自动编码器参数初始化卷积神经网络，并利用步骤1的训练样本训练初始化后的卷积神经网络，找到使输入标签和输出标签之间的误差最小的卷积参数；

步骤4，利用镜像边界的方法扩充待检测病理切片图像的图像边缘；

步骤5，利用步骤3训练好的卷积神经网络，对经过步骤4的待检测病理切片图像进行细胞检测，并排除对同一个细胞的重复检测；

步骤6，以步骤5检测到的细胞位置为中心构建一个半径为细胞半径的圆作为主动轮廓的初始轮廓，利用主动轮廓模型方法演化初始轮廓，从而得到精确的细胞轮廓；

步骤7，使用自适应椭圆拟合技术分割重叠的细胞，从而得到待检测病理切片图像中细胞的检测分割结果。

作为本发明的优选方案，步骤3所述卷积神经网络包括输入层、卷积层、池化层、全连接层、输出层。

作为本发明的优选方案，步骤5所述细胞检测的具体过程为：将训练好的卷积神经网络作为监测器，利用滑动窗口技术从待检测病理切片图像的左上角开始，从上到下，从左到右，以一个像素为步长让窗口依次滑过待检测病理切片图像的每一个区域，由卷积神经网络判断滑动窗口内的图像为细胞或者非细胞。

作为本发明的优选方案，步骤1所述训练样本的像素大小为34*34。

作为本发明的优选方案，步骤5所述排除对同一个细胞的重复检测的方法为局部非最大值抑制技术。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明使用深度学习方法检测形状尺寸高度变化的细胞，随后使用主动轮廓获取细胞精确的轮廓信息，采用自适应细胞椭圆拟合算法分割重叠的细胞，本发明方法的检测准确率比基于分割检测方法的准确率高，且消耗时间少。

2、本发明检测分割方法在检测细胞位置、分割细胞的同时都在原图上做出标记，方便临床医生直接观看，并在此基础上做出后续诊断。

3、本发明检测分割方法针对边缘细胞，采取镜像边缘像素的方法来扩充边缘，从而来检测这些细胞的位置。

4、本发明检测分割方法针对重叠细胞，采用自适应椭圆拟合的方法拟合轮廓，解决了主动轮廓模型不可分割重叠细胞的问题。

附图说明

图1是本发明基于深度学习的自适应椭圆拟合细胞自动检测分割方法进行细胞检测分割的实施例图。

图2是本发明自动编码器编码解码的训练结构示意图。

图3是本发明卷积神经网络的训练结构示意图。

图4是本发明基于滑动窗口和卷积神经网络的细胞检测示意图。

图5是本发明使用局部非最大值抑制方法细胞检测结果去重复示意图。

图6是本发明重叠细胞自适应椭圆拟合示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为利用本发明基于深度学习的自适应椭圆拟合细胞自动检测分割方法，进行细胞检测分割的具体实施例图，包括以下步骤：

步骤1、训练样本的选取：

在病理图像中选取包含细胞的图像块和非细胞图像块，其中非细胞图像块包括有部分细胞的图像块和完全不包括细胞的图像块。关于细胞图像块的选取，完全由拥有专业病理知识的临床医生在大幅切片图像中进行标记，程序会根据这些标记点到原图中截取以标注点为中心，边长为34个像素的正方形图像块。这些完全包含细胞的图像块作为细胞正样本。对于细胞负样本，我们规定包含部分细胞和完全不包括细胞的切片图像块为负样本。设计程序在原图像中随机取点，且这些点满足以下两个条件：距离专家标注的点距离34个像素；所取的点不重复，一共选取这样的负样本图像块10000幅。

步骤2、自动编码器的训练：

使用步骤1选取的样本训练自动编码器。自动编码器是一种尽可能复现输入信号的无监督神经网络。为了实现这种复现，自动编码器就必须提取出可以代表输入数据的最重要的特征，有点类似主成分分析，找到可以代表原信息的主要成分。下面先介绍基础的自动编码器的结构特征和训练方式。自动编码器是非监督的特征学习结构，它的训练目的在于找到关于原始高维数据压缩的更好的特征表示。自动编码可以简单地理解为一个前向传播神经网络，并通过后向传播算法调节网络结构权重。这个调节过程以尽可能地减小重构图像和原始图像的误差为目标。

自编码神经网络的结构示意图，如图2所示，它分为编码过程和解码过程，总的来说，编码网络的输入层输入X＝(x(1),x(2),...,x(N))^T转化为相对应的表达h，隐藏层可以视为输入数据另一种特征表达。解码网络的输出层则试图根据隐藏层的表达h重构出输入数据x。训练自动编码器即训练输入层和隐藏层之间的连接权重W和偏置b，使得输入图像x和重构图像之间的误差最小。

步骤3、使用已经训练好的自动编码器参数初始化卷积神经网络：

卷积神经网络(CNNs)是人工神经网络的一种，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

卷积神经网络模型性能的优劣在一定程度上取决于训练样本和初始的神经网络权重。采用随机初始化的方法容易陷于局部最优，所以这里使用步骤2中具有类似结构的自动编码器的权重矩阵来初始化卷积神经网络。

步骤4、微调卷积神经网络，找到使输入标签和输出标签之间的误差最小的权重矩阵：

本发明方法中所使用的卷积神经网络包含一个卷积层，一个最大池化层，一个全连接层和一个最终的分类器层，如图3所示。卷积层和最大池化层分别产生卷积特征映射和最大池化特征映射。这些高维特征可以用于softmax分类器分类。在训练卷积神经网络时最为常见的是采用反向传播算法以及有监督的训练方式。在神经网络中信号是前向传播的，即从输入层向输出层的方向传播，第一层的输入X，经过多个卷积池化层后，变成最后一层输出的特征映射O。将输出的特征映射和期望的标签T进行对比，生成误差项E。通过反向遍历神经网络，将误差逐层传递到每一个神经元，并对相应的卷积核权重进行更新。训练卷积神经网络即训练卷积层和池化层的连接权重W和偏置b，使得输入标签和重构标签之间的误差最小。

步骤5、对要检测的病理切片图像运用镜像边界的方法扩充图像边缘：

对要检测的病理切片图像运用镜像边界的方法扩充图像边缘，这里根据图像中细胞的大小，选择镜像边缘的宽度为半个细胞直径的像素距离。此处理是为了更好的检测出位于边缘处的细胞。

步骤6、切片图像中检测细胞：

如图4所示，将训练好的卷积神经网络作为监测器，利用滑动窗口技术从切片图像的左上角开始，从上到下，从左到右，以一个像素为步长让窗口依次滑过切片图像的每一个区域，由卷积神经网络对滑动窗口内的图像进行判断:该区域是细胞或者非细胞，每次判断的结果都是一个概率值，即此窗口为细胞的概率(置信度值)，大于一定概率则认为是细胞，则在窗口中心所对应像素位置记录下该概率值。

步骤7、使用局部非最大值抑制技术排除对同一个细胞的重复检测：

在步骤6中采取了步长为1的滑动窗口，滑动步长远小于细胞的尺寸，所以对同一个细胞会存在重复标记，每一个滑动窗口的检测结果都有一个概率值，根据所选取的概率阈值，在局部概率值最大的检测点邻域内小于该阈值的检测结果都将被抑制去除，如图5所示。

步骤8、以检测到的细胞位置为中心构建一个半径为细胞半径的圆作为主动轮廓的初始轮廓：

在切片图像中大部分细胞都呈现为椭圆形，考虑到椭圆具有方向性，采用尺寸和细胞相同的圆来作为主动轮廓的初始形状更加具有泛化性。

步骤9、主动轮廓演化获得精确的细胞轮廓：

主动轮廓模型方法通常是最小化一个能量函数，使得分割的轮廓与物体的实际轮廓尽可能的接近。根据边界的平滑性和强度，本发明方法采用了基于边界的主动轮廓模型来分割目标物体，同时根据图像像素区域统计分布的特点，结合了基于区域的主动轮廓模型。分割过程通常是由一个初始轮廓开始，经过不断迭代，初始轮廓在能量函数的作用下，通过梯度下降法或其他最优化方法，逐渐收敛至目标物体的边缘。当达到目标物体的边缘时，能量函数趋于稳定，则轮廓不再改变。

假设图像Ω中存在两部分区域：Ω₁细胞(前景)和Ω₂非细胞(背景)，在这两区域内局部灰度值分布满足如下截断高斯分布：

$p\mathrm{\λ},u\left(I\right(v\left)\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}\mathrm{\λ}\left(u\right)}\exp (-\frac{{\left(m\mathrm{\λ}\right(u)-I(v\left)\right)}^2}{2\mathrm{\σ}\mathrm{\λ}{\left(u\right)}^2}),$

其中，u和v分别代表图像Ω和λ∈{1＝前景，2＝背景}中的两个像素，I(v)表示像素v所对应的灰度值，mλ(u)和σλ(u)分别是像素u局部高斯分布的均值和方差，而且两者是空间相关的。

定义一个核函数：

$K_{\Σ}\left(d\right)=\left\{\begin{array}{ccc}\frac{1}{a}\exp (-\frac{{\left|d\right|}^2}{2{\Σ}^2}),& if,& \left|d\right|\≤\mathrm{\ρ}\\ 0,& if,& \left|d\right|>\mathrm{\ρ}\end{array}\right.,$

这里a和ρ是两个预先定义的常数，∫ω(d)＝1。∑是控制核局部化特性的尺度参数。曲线演化函数可以由变分法理论推导出：

$\{\begin{array}{c}\frac{\∂\mathrm{\Φ}}{\∂t}=-{\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\Φ}\right)(e_1-e_2)+{\mathrm{v\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\Φ}\right)div\left(\frac{\▿\mathrm{\Φ}}{\left|\▿\mathrm{\Φ}\right|}\right)+\mathrm{\μ}({\▿}^2\mathrm{\Φ}-div(\frac{\▿\mathrm{\Φ}}{\left|\▿\mathrm{\Φ}\right|}\left)\right)\\ \mathrm{\Φ}0\end{array},$

其中Φ0是步骤8所得到的初始轮廓，e₁、e₂由下面公式计算得出：

$e_1\left(u\right)={\∫}_{\mathrm{\Ω}}{K}_{\Σ}(v-u)\[\log \left({\mathrm{\σ}}_1\right(v\left)\right)+\frac{{\left(m_1\right(v)-I(u\left)\right)}^2}{2{\mathrm{\σ}}_1{\left(v\right)}^2}\]dv,$

$e_2\left(u\right)={\∫}_{\mathrm{\Ω}}{K}_{\Σ}(v-u)\[\log \left({\mathrm{\σ}}_2\right(v\left)\right)+\frac{{\left(m_2\right(v)-I(u\left)\right)}^2}{2{\mathrm{\σ}}_2{\left(v\right)}^2}\]dv,$

其中，δ_s为平滑狄拉克δ函数。

步骤10、使用自适应椭圆拟合技术分割重叠的细胞：

对于重叠细胞具有这样一个特性：由于细胞相互粘连在一个区域内，可以通过判断区域内细胞的数量来决定该连通区域是否为重叠细胞。若区域内只有一个细胞，则不做处理；若区域内包含多个细胞，则进行分裂拟合。

R_i(i＝1,2,...,r)表示一个包含多个细胞的区域，r为图像中所有多细胞区域的数量。表示区域的边界，c_ij(j＝1,2,...,n_i)表示区域R_i中的第j个细胞，n_i为区域R_i中的细胞数量。细胞子区域P^ij和细胞子边界由以下公式定义：

$P^{ij}=\left\{p_{ijl}\right|\underset{j}{\min }\left|p_{ijl}-c_{ij}\right|,p_{ijl}\∈R_i,l=1,2,\mathrm{...},r_j,j=1,2,\mathrm{...},n_i\},$

${\stackrel{\‾}{P}}^{ij}=\left\{{\stackrel{\‾}{P}}_{ijk}\right|\underset{j}{\min }\left|{\stackrel{\‾}{P}}_{ijk}-c_{ij}\right|,{\stackrel{\‾}{P}}_{ijl}\∈{\stackrel{\‾}{R}}_i,k=1,2,\mathrm{...},{\stackrel{\‾}{r}}_j,j=1,2,\mathrm{...},n_i\},$

r_j和分别为细胞区域R^ij和区域轮廓上所有的像素。

如图6所示，为具体分割方法的过程示意图。

步骤11、在大幅切片图像中将细胞检测结果和细胞轮廓拟合结果展示出来。

为了便于理解本发明技术方案，下面给出一个具体实施例。

本实施例将本发明提供的检测分割方法应用在苏木精和伊红染色的乳腺癌组织图像集上。本发明方法在两个数据库中进行了测试，数据库1中包含来自17位不同病人的37幅大小约2000*2000的切片图像，这些图片使用40倍的光学扫描仪扫描病理切片得到。数据库2中包含100幅大小约100*100的切片图像，在每张图片中约存在数十个细胞。

本实施例中,细胞检测部分采取两层的卷积神经网络,分割部分为主动轮廓结合自适应椭圆拟合，本实施例的检测分割过程具体如下：

1、细胞训练集的产生

考虑到数据库1中包含大量的细胞，本实施例在数据库1中的大幅病理切片细胞图像中选出14张切片图像用于提取标记的细胞图像块，图像块的大小为34*34，共选取约10000幅细胞图片，100000幅非细胞图片。

2、训练自动编码器

对选取的图像集进行特征提取训练，先进行一层稀疏自编码的训练，满足重构误差足够小，在本实施例中，输入层设置1156个神经元，隐层神经元为500个，训练完成即得到第一层特征。在得到第一层特征的基础上，再次运用稀疏自编码器把这层特征当做原始输入进行第二次特征提取，同样达到重构误差足够小，第二层结构的输入层为上一层的输出层，设置为500个神经元点，第二层的隐层单元数为100，同样训练完成即得到第二层特征。把第二层特征输入softmax分类器，训练softmax细胞分类器；将第一层结构，第二层结构，分类器结构串连在一起组成整体，对整体网络结构进行微调，使得整个网络结构最优。

3、初始化卷积神经网络

将自动编码器的网络参数作为卷积神经网络的初始值。

4、使用选取的图像集继续训练卷积神经网络，找到使输入的标签和输出的标签之间的误差最小的权重矩阵。

5、扩充检测图像边缘

对要检测的病理切片图像运用镜像边界的方法扩充图像边缘，此处理是为了更好的检测出位于边缘处的细胞。

6、滑动扫描

将训练好的卷积神经网络作为监测器，利用滑动窗口技术从切片图像的左上角开始，从上到下，从左到右，以一个像素为步长依次滑过切片图像的每一个区域，由卷积神经网络对对滑动窗口内的图像进行判断:该区域是细胞或者非细胞，每次判断的结果都是一个概率值，即此窗口为细胞的概率(置信度值)，大于一定概率则认为是细胞。

7、去除重复标记

使用局部非最大值抑制技术排除对同一个细胞的重复检测，在步骤6中采取了步长为1的滑动窗口，滑动步长远小于细胞的尺寸，所以对同一个细胞会存在重复标记，每一个滑动窗口的检测结果都有一个置信度值，根据所选取的概率阈值，在局部置信度最大的检测点邻域内小于该阈值的检测结果都将被抑制去除。

8、初始化主动轮廓模型

以检测到的细胞位置为中心构建一个半径为细胞半径的圆作为主动轮廓的初始轮廓：在切片图像中大部分细胞都呈现为椭圆形，考虑到椭圆具有方向性，采用尺寸和细胞相同的圆来作为主动轮廓的初始形状更加具有泛化性。

9、主动轮廓演化获得精确的细胞轮廓

主动轮廓模型方法通常是最小化一个能量函数，使得分割的轮廓与物体的实际轮廓尽可能的接近。

10、使用自适应椭圆拟合技术分割重叠的细胞

对于重叠细胞具有这样一个特性：由于细胞相互粘连在一个区域内，可以通过判断区域内细胞的数量来决定该连通区域是否为重叠细胞。若区域内只有一个细胞，则不做处理。若区域内包含多个细胞，则进行分裂拟合。

11、在大幅切片图像中将细胞检测结果和细胞轮廓拟合结果展示出来。

为了验证本发明重叠细胞检测分割的有效性,与另外三种常见的细胞检测与分割算法进行了对比,分别为Blue Ratio(BR)，Iterative Radial Voting(IRV)和Maximally Stable ExtremalRegion(MSER)，这些方法在检测到细胞之后采用与本发明方法相同的自适应椭圆拟合策略。

表1 检测准确率和分割准确率对比

从表1中可以看出，本发明的检测准确率和分割准确率高于其他几种常见方法。此外本实施例中处理的病理切片细胞图像由于其组织细胞的结构复杂，采用基于分割算法的检测方法很难检测出细胞位置，它对处理细胞边缘梯度模糊的情况不能达到理想的检测效果。对于细胞重叠的问题，不同的检测方法在采用了本发明的自适应椭圆拟合方法后都能获得一定的效果，而本发明的效果明显优越于其他方法。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于深度学习的自适应椭圆拟合细胞自动检测分割方法，其特征在于，包括如下步骤：

步骤1，在病理切片图像中选取完全包含细胞的图像、部分包含细胞的图像和完全不包含细胞的图像，并将上述三种图像组合起来作为训练样本；

步骤2，利用步骤1的训练样本训练自动编码器，找到使重构样本和训练样本之间的误差小于预设阈值的自动编码器参数；

步骤3，使用步骤2训练好的自动编码器参数初始化卷积神经网络，并利用步骤1的训练样本训练初始化后的卷积神经网络，找到使输入标签和输出标签之间的误差最小的卷积参数；

步骤4，利用镜像边界的方法扩充待检测病理切片图像的图像边缘；

步骤5，利用步骤3训练好的卷积神经网络，对经过步骤4的待检测病理切片图像进行细胞检测，并排除对同一个细胞的重复检测；

步骤6，以步骤5检测到的细胞位置为中心构建一个半径为细胞半径的圆作为主动轮廓的初始轮廓，利用主动轮廓模型方法演化初始轮廓，从而得到精确的细胞轮廓；

步骤7，使用自适应椭圆拟合技术分割重叠的细胞，从而得到待检测病理切片图像中细胞的检测分割结果。

2.根据权利要求1所述基于深度学习的自适应椭圆拟合细胞自动检测分割方法，其特征在于，步骤3所述卷积神经网络包括输入层、卷积层、池化层、全连接层、输出层。

3.根据权利要求1所述基于深度学习的自适应椭圆拟合细胞自动检测分割方法，其特征在于，步骤5所述细胞检测的具体过程为：将训练好的卷积神经网络作为监测器，利用滑动窗口技术从待检测病理切片图像的左上角开始，从上到下，从左到右，以一个像素为步长让窗口依次滑过待检测病理切片图像的每一个区域，由卷积神经网络判断滑动窗口内的图像为细胞或者非细胞。

4.根据权利要求1所述基于深度学习的自适应椭圆拟合细胞自动检测分割方法，其特征在于，步骤1所述训练样本的像素大小为34*34。

5.根据权利要求1所述基于深度学习的自适应椭圆拟合细胞自动检测分割方法，其特征在于，步骤5所述排除对同一个细胞的重复检测的方法为局部非最大值抑制技术。