CN104346617A - 一种基于滑动窗口和深度结构提取特征的细胞检测方法 - Google Patents

Abstract

本发明公开了一种基于滑动窗口和深度结构提取特征的细胞检测方法，首先运用深度模型提取特征，然后运用滑动窗口技术作用于病理切片图像中细胞自动检测的方法。具体步骤包括：对切片图像取块，特征提取模型堆叠稀疏自编码的训练，检测器训练，滑动窗口扫描大图像，标注细胞位置。本发明以大幅切片图为研究对象，采用检测器加滑动窗口的新方法，更能准确找到图像中细胞的位置，且更加快速和全面，对图像中一些不是很明显的细胞也能起到很好的检测效果。本发明提出的细胞自动检测方法能辅助临床医生对数字病理学切片进行量化评估，准确快速的进行临床诊断，减少不同的观察者或者同一个观察者在不同时间段之间的诊断差异性。

Description

一种基于滑动窗口和深度结构提取特征的细胞检测方法

技术领域

本发明公开了一种基于滑动窗口和深度结构提取特征的细胞检测方法，涉及图像信息处理技术领域。 

背景技术

随着大幅切片图像数字扫描技术的产生以及扫描的高效率性提高，组织病理切片的数字化显示和存储变得现实可行。利用数字化技术可以对病理图像进行更高质量的分析。因为从组织切片病理成像图相中几乎可以找出各种癌症细胞和组织的特征，并可以用来辅助医生诊断，但是现有的针对医学图像处理的技术研究仍然很少，所以研究一套针对病理图像的分析工具十分重要。 

在组织病理图像的研究中很大一部分集中在特定组织结构的分辨上，如淋巴细胞检测，癌症细胞检测，腺体检测。这些组织的位置，大小，形状，或其他的特有性质表示对预测病人的疾病状况都是十分重要的指标，例如在乳腺癌诊断中，切片中的细胞大小和分布以及细胞形态都是重要的预测癌症等级的生物标志。然而人工的细胞标定是一项十分费时费力的任务，不利于临床治疗。如果有计算机辅助的自动检测工具将会大大帮助临床医生做出快速的诊断结果。 

与放射和其他形式的图像相比，处理病理组织学图像的最大挑战在于其中巨大的组织结构密度。举例来说，放大40倍的前列腺切片组织图像就有15000*15000个像素。除了高密度，组织图像本身结构也很复杂，包含很多组织结构，而且这些结构没有明显的边界，同一结构还存在很多的形态，这些都给处理带来巨大挑战。Wolberg针对乳腺癌图像最早提出了基于主动轮廓模型的分割方法。在运用中它需要使用者手动输入细胞核的位置，来方便程序进行分割。但是所遇到的问题是，位于基质但不在上皮层组织中的细胞数量是十分巨大的。以前基于细胞或细胞核的检测是利用分割算法来实现的，这些方法包括区域增长法、自适应阈值法、非监督的颜色聚类法，水平集法，形态学基础的方法和基于监督的颜色纹理方法。但是这些方法对处理多变化形状和多尺度大小的乳腺癌细胞时显得不是很鲁棒。这其中还存在组织切片获取，染色和数字化过程中人为造成的不可避免的干扰现象。 

对于组织切片图像来说，为学习和训练模型而获取足够的标注图像付出的代 价是十分昂贵的，因为这些标注工作需要具有专业知识的人才能够来完成。而另一方面随着数字化显示组织图像技术的快速发展，我们可以很容易获得大量的未标注数据。如果我们能够找到一种有效的方法来利用这些未标注的高信息度的数据，那我们就能提高现有的基于监督的模型处理效果。对这些大量未标注的数据提取更高层次的特征表示将是一个解决此问题的处理方法。一个丰富全面描述原图像的特征能够帮助识别模型更准确地区分我们的目标结构。 

发明内容

本发明所要解决的技术问题在于克服现有基于分割检测算法无法处理病理切片细胞时出现的细胞形状多变化和尺度不同的问题，提供一种基于滑动窗口和提取深层特征的细胞检测方法,在充分利用大量未标注的细胞数据的同时，有效地检测出图片中的各类细胞，取得比基于分割的检测更高的准确度结果。 

本发明为解决上述技术问题采用以下技术方案： 

一种基于滑动窗口和深度结构提取特征的细胞检测方法，包括以下步骤： 

步骤1、在病理图像中选取细胞正样本和细胞负样本，得到图像集； 

步骤2、对选取的图像集进行特征提取训练，特征提取方法为深度结构提取特征，运用稀疏自编码器进行一层稀疏自编码的训练，使得重构误差低于设定的阈值，得到第一层特征； 

步骤3、在得到第一层特征的基础上，再次运用稀疏自编码器以第一层特征作为原始输入进行第二次特征提取，满足重构误差低于设置的阈值，得到第二层特征； 

步骤4、把第二层特征输入细胞分类器，训练细胞分类器； 

步骤5、将第一层特征的结构、第二层特征的结构和细胞分类器的结构串连组成整体，对整体网络结构进行微调，使得整个网络结构最优； 

步骤6、对要检测的病理切片图像运用镜像边界的方法扩充图像边缘； 

步骤7、以训练好的细胞分类器为监测器，利用滑动窗口的方法对病理切片图像进行检测，依次对窗口内的病理图像切片小块进行标记； 

步骤8、运用去重叠的方法排除重复的细胞位置，并在病理切片图像中标记出所有的细胞位置。 

作为本发明的进一步优选方案，所述细胞分类器为Softmax分类器。 

作为本发明的进一步优选方案，所述步骤1中，图像集的选取方法具体为： 

根据专业病理知识在病理图像中标记出细胞块标记点，以标记点为中心，选取边长为34个像素的正方形病理图像切片小块，所述包含细胞的正方形病理图像切片小块作为细胞正样本； 

设定包含部分细胞和完全不包括细胞的病理图像切片小块为细胞负样本，细胞负样本在病理图像中随机选取，且满足条件： 

(301)离专家标注的点距离34个像素； 

(302)选取的细胞负样本不重复。 

作为本发明的进一步优选方案，在利用滑动窗口的方法对病理切片图像进行检测的过程中，当遇到重复的检测窗口响应时，采用局部极值响应的方法排除同一区域内的重复响应。 

本发明采用以上技术方案与现有技术相比，具有以下技术效果： 

⑴在同样的实验条件下，本发明方法的检测准确率比基于分割检测方法的准确率高，且消耗时间少； 

⑵本发明方法在检测细胞位置的同时并在原图上做出标记，方便临床医生直接观看，并在此基础上做出后续诊断； 

⑶本发明方法针对边缘细胞，采取镜像边缘像素的方法来扩充边缘，从而来检测这些细胞的位置。 

附图说明

图1是自动编码器编码解码的训练结构示意图。 

图2是自动编码器编码解码训练完成后提取的特征结构示意图。 

图3是本发明基于滑动窗口和深度结构提取特征的细胞检测结构示意图。 

图4是本发明方法中用两层稀疏自动编码器训练得到的第一层特征显示示意图。 

图5是本发明方法中用两层稀疏自动编码器训练得到的第二层特征显示示意图。 

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明： 

本发明的一种基于滑动窗口和深度结构提取特征的细胞检测方法，如图3 所示，包括以下步骤： 

步骤1、训练样本的选取：在病理图像中选取包含细胞的小块和非细胞小块，其中非细胞小块包括有部分细胞的小块和完全不包括细胞的小块； 

关于细胞块的选取，完全由拥有专业病理知识的临床医生在大幅切片图像中进行标记，程序会根据这些标记点到原图中截取以标注点为中心，边长为34个像素的正方形小块。这些包含细胞的小块作为细胞正样本。对于大细胞，采取50个像素的框将其取出。并改变其大小为34*34。对于细胞负样本，我们规定包含部分细胞和完全不包括细胞的切片小块为样本。设计程序为在原图像中随机取点，且这些点满足一下两个条件：离专家标注的点距离34个像素；所取的点不重复，一共选取这样的小块40000幅。 

步骤2、第一层特征提取结构的训练：由于要提取深度结构的特征，本发明采取逐层预训练的方式先训练第一层的结构，提取第一层的特征。下面先介绍基础的自动编码器的结构特征和训练方式。 

自动编码器是非监督的特征学习结构，它的训练目的在于找到关于原始高维数据压缩的更好的特征表示。自动编码可以简单地理解为一个前向传播神经网络，并通过后向传播算法调节网络结构权重。这个调节过程以尽可能地减小重构图像和原始图像的误差为目标。自编码神经网络的结构示意图如图1所示，自动编码器编码解码训练完成后提取的特征结构示意图如图2所示；它分为编码过程和解码过程，其中X＝(x(1),x(2),...,x(N))^T代表整个训练样本集，k∈[1,2，...,N]，N为训练样本的数量，R为特征空间，d_x为一幅图像中的像素个数。对应的图片标签用Y＝(y(1),y(2),...,y(N))^T表示。对于本发明中的病理图像细胞检测，y(k)∈{0,1}，‘1’代表细胞图片，‘0’代表非细胞图片。尽管对于每一幅训练图片都有一个标注信息，但是在本发明中的训练部分没有用到标注信息，在之后的监督分类中才会用到。此外图中的表示对第k幅图像提取的第l层的特征，d_h为当前l层的隐层节点数。在图1中代表第一隐含层的第i个隐层节点。一般自动编码器的输入层包含在编码过程中，它转化输入图像x为隐层特征表示h，h可以看做是输入数据的另一种表示。对 应的，输出层是一个解码过程，它利用隐层特征表示h，重建输入层图像x。训练自动编码器即训练输入层和隐藏层之间的连接权重W和偏置b，使得输入图像x和重构图像x之间的误差最小。稀疏自编码的重构误差可以用下面的重构代价函数表示： 

式中等号右边第一项为整个训练集上输入图像x(k)和输出重构图像x(k)之间的重构平方误差。 

编码器e_θ(·)把输入图像映射到隐藏层表示

h＝e_θ(x)＝s(Wx+b_h)                (2) 

式中W为d_h×d_x的权重矩阵，b_h为偏置向量。编码器由参数化模型。 

解码器d_θ(·)又将隐藏层表示h重新映射回输入层表示方式x： 

x＝d_θ(h)＝s(W^Th+b_x)               (3) 

式中式中W^T为d_x×d_h的权重矩阵，b_x为偏置向量。这里s(·)为sigmoid激活函数： 

$s\left(z\right)=\frac{1}{1+\exp (-z)}---\left(4\right)$

z为神经元激活总输入。注意到解码过程的权重矩阵W^T为编码过程权重矩阵的转置矩阵，因此用自动编码器神经网络模型进行训练减少了一半的网络参数训练量。则整个网络的输出层的激活输入值可以用三个参数θ＝(W,b_h,b_x)表示为： 

y＝W^Ts(Wx+b_h)+b_x                 (5) 

所以由解码过程得到的重构图像x能够用下式表示 

x＝s(y)                        (6) 

训练一个自动编码器也就是通过(1)式中的第一项，最小化重构误差，从 而寻找到整体结构的最优参数θ＝(W,b_h,b_x)。 

(1)式中的第二项为隐层单元激活稀疏项，n为隐层单元总共的数量，ρ_j为自编码神经网络隐藏神经单元j的激活度，ρ为稀疏性参数，α为这一项的权重系数，KL(ρ||ρ_j)为关于平均激活度ρ_j和ρ的相对熵： 

$\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\mathrm{\ρ}}_j\right)=\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{{\mathrm{\ρ}}_j}+(1-\mathrm{\ρ})\log \frac{1-\mathrm{\ρ}}{1-{\mathrm{\ρ}}_j}---\left(7\right)$

(1)式中的第三项为权重衰减项,β为这一项的权重系数，此项的目的是为了减小权重的幅度，防止出现过拟合，具体表示为： 

${\left|\right|W\left|\right|}_2^2=\mathrm{tr}\left(W^{T}W\right)=\underset{l=1}{\overset{n_l}{\mathrm{\Σ}}}\underset{i}{\overset{s_l-1}{\mathrm{\Σ}}}\underset{j}{\overset{s_l}{\mathrm{\Σ}}}{\left(w_{i,j}^{\left(l\right)}\right)}^2---\left(8\right)$

式中n_l为层数，s_l为l层的神经单元数，代表第l-1层第i个神经元与l层第j个神经元的连接权重。如图1中的稀疏自编码所示，n_l＝2，s₁＝1156，s₂＝400。训练完成后得到的第一层特征如图4所示。 

步骤3、同样的方法训练第二层稀疏自编码器：在得到第一层特征的基础上，再次运用稀疏自编码器把这层特征当做原始输入进行第二次特征提取，同样达到重构误差足够小，即得到第二层特征，如图5所示。 

步骤4、把第二层特征输入分类器，训练细胞分类器：本发明所选的分类器为Softmax分类器，它是监督的模型，运用逻辑回归函数 

$f_{w^{\left(0\right)}}\left(z\right)=\frac{1}{1+\exp (-W^{\left(0\right)T}z)}---\left(9\right)$

式中为关于参数矩阵W^(0)T的sigmod函数，输入z为第二层提取出的特征。在训练Softmax分类器的W^(0)T参数时用到训练数据集和标签集 训练的代价方程表示如下： 

$J\left(W^{\left(0\right)}\right)=-\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}y\left(i\right)\log f_{W^{\left(0\right)}}\left(h^{\left(2\right)}\left(i\right)\right)+(1-y\left(i\right))\log (1-f_{W^{\left(0\right)}}\left(h^{\left(2\right)}\left(i\right)\right))]---\left(10\right)$

运用梯度下降方法最小化此目标函数可以得到要求的参数矩阵W⁽⁰⁾

步骤5、整体微调：将第一层结构，第二层结构，分类器结构串连在一起组成整体，对整体网络结构进行微调，使得整个网络结构最优； 

将前面四步得到的网络第一层参数，第二层参数和分类器参数代入整体网络中，作为网络的初值，再次运用神经网络前向传播和后向传播调节网络参数，使整体达到最优的效果。 

步骤6、对切片图片扩充边缘预处理：对要检测的病理切片图像运用镜像边界的方法扩充图像边缘，这里根据图像中细胞的大小，选择镜像边缘的宽度为半个细胞的像素距离。此处理是为了更好的检测出位于边缘处的细胞。 

步骤7、大图像扫描检测细胞：将训练好的细胞分类器作为监测器，并利用滑动窗口技术，依次对窗口内的小图像进行标记:细胞、非细胞。结构图如图3所示： 

步骤8、去重复标记：运用去重叠的方法去除找到的重复细胞位置，在大幅切片图像中将这些位置标记出来。在滑动窗口扫描的过程中会遇到很多重复的检测窗口响应，本发明中运用局部极值响应的方法排除同一区域内的重复响应。 

为了便于公众理解本发明技术方案，下面给出一个具体实施例。 

本实施例将本发明所提供的技术方案应用在用苏木精和苏木紫染色的乳腺癌组织图像集上。该图像集一共37幅2512*1792的切片图像，分别来自17个不同的病人，并且使用20倍的光学扫描仪扫描病理切片得到。检测器训练数据集为14000幅细胞图片和40000幅非细胞图片。 

本实施例中,深度结构采取两层的稀疏自动编码器,为了验证本发明中深度结构提取特征的有效性,采取了另外两种浅层结构提取特征,分别为一层自动编码器和一层稀疏自动编码器。同时也对比了没有稀疏限制的两层自动编码器结构提取特征的检测结果。 

本实施例的检测过程具体如下： 

1、细胞训练集的产生： 

在大幅病理切片细胞图像中提取标记的细胞图像块，图像块的大小为34*34，大于此尺寸的细胞图片，先选取适合它的块边长，然后缩放其大小为34*34，共选取14000幅细胞图片，40000幅非细胞图片。 

2、训练第一层稀疏自编码器： 

对选取的图像集进行特征提取训练，先进行一层稀疏自编码的训练，使用(1)式中的代价函数，满足重构误差足够小，在本实施例中，输入层设置1156个神经元，隐层神经元为500个，训练完成即得到第一层特征； 

3、训练第二层稀疏自编码器： 

在得到第一层特征的基础上，再次运用稀疏自编码器把这层特征当做原始输入进行第二次特征提取，同样达到重构误差足够小，第二层结构的输入层为上一层的输出层，设置为500个神经元点，第二层的隐层单元数为100，同样训练完成即得到第二层特征； 

4、训练softmax分类器： 

把第二层特征输入softmax分类器，训练softmax细胞分类器； 

5、整体微调： 

将第一层结构，第二层结构，分类器结构串连在一起组成整体，对整体网络结构进行微调，使得整个网络结构最优； 

6、扩充检测图像边缘： 

对要检测的病理切片图像运用镜像边界的方法扩充图像边缘，此处理是为了更好的检测出位于边缘处的细胞。 

7、滑动扫描： 

将训练好的细胞分类器作为监测器，并利用滑动窗口技术，依次对窗口内的小图像进行标记:细胞、非细胞，在本实施例中为了加快扫描的速度和效率，采用跨间隔扫描，扫描间隔为5个像素。 

8、去除重复标记： 

运用去重叠的方法去除找到的重复细胞位置，在大幅切片图像中将这些位置标记出来。 

为了验证本发明方法的实验效果，同时进行了分别采用上述两种单层网络结构提取特征和一般的两层自动编码器结构提取的特征来进行扫描细胞结果对比，并且为了验证提取图像特征信息对分类结果提升的有效性，本实施例还对比了未采用提取细胞特征的原图像块进行分类的结果。 

表1给出了五种方法的实验结果： 

表1检测准确率对比 

从表1中可以看出，采用滑动窗口和堆叠稀疏自动编码器+softmax的结构是，本发明的检测准确率高于其他几种结构的检测方法。 

此外本实验中处理的病理切片细胞图像由于其中组织细胞的结构复杂，采用基于分割算法的检测方法很难检测出细胞位置，它对处理细胞边缘梯度模糊的情况不能达到理想的检测效果。 

综上可知，相对于现有基于分割算法的细胞检测方法，本发明方法无论是从准确率还是从可实行效果上来看，都具有明显的优势。 

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。 

Claims (4)

1.一种基于滑动窗口和深度结构提取特征的细胞检测方法，其特征在于，包括以下步骤：

步骤1、在病理图像中选取细胞正样本和细胞负样本，得到图像集；

步骤2、对选取的图像集进行特征提取训练，特征提取方法为深度结构提取特征，运用稀疏自编码器进行一层稀疏自编码的训练，使得重构误差低于设定的阈值，得到第一层特征；

步骤3、在得到第一层特征的基础上，再次运用稀疏自编码器以第一层特征作为原始输入进行第二次特征提取，满足重构误差低于设置的阈值，得到第二层特征；

步骤4、把第二层特征输入细胞分类器，训练细胞分类器；

步骤5、将第一层特征的结构、第二层特征的结构和细胞分类器的结构串连组成整体，对整体网络结构进行微调，使得整个网络结构最优；

步骤6、对要检测的病理切片图像运用镜像边界的方法扩充图像边缘；

步骤7、以训练好的细胞分类器为监测器，利用滑动窗口的方法对病理切片图像进行检测，依次对窗口内的病理图像切片小块进行标记；

步骤8、运用去重叠的方法排除重复的细胞位置，并在病理切片图像中标记出所有的细胞位置。

2.如权利要求1所述一种基于滑动窗口和深度结构提取特征的细胞检测方法，其特征在于：所述细胞分类器为Softmax分类器。

3.如权利要求1所述一种基于滑动窗口和深度结构提取特征的细胞检测方法，其特征在于，所述步骤1中，图像集的选取方法具体为：

根据专业病理知识在病理图像中标记出细胞块标记点，以标记点为中心，选取边长为34个像素的正方形病理图像切片小块，所述包含细胞的正方形病理图像切片小块作为细胞正样本；

设定包含部分细胞和完全不包括细胞的病理图像切片小块为细胞负样本，细胞负样本在病理图像中随机选取，且满足条件：

（301）离专家标注的点距离34个像素；

（302）选取的细胞负样本不重复。

4.如权利要求1所述一种基于滑动窗口和深度结构提取特征的细胞检测方法，其特征在于：在利用滑动窗口的方法对病理切片图像进行检测的过程中，当遇到重复的检测窗口响应时，采用局部极值响应的方法排除同一区域内的重复响应。