CN106600577B - 一种基于深度反卷积神经网络的细胞计数方法 - Google Patents

Abstract

本发明公开了一种基于深度反卷积神经网络的细胞计数方法。该方法包括：步骤1、构造深度反卷积神经网络；步骤2、细胞图像预处理；步骤3、训练网络模型；步骤4、首先设置阈值去除杂点，然后计算图像中剩余连通块的个数即为细胞的个数；步骤5，首先将已经过预处理的非训练细胞图像输入到已优化好网络连接权重的反卷积神经网络中，得到原始细胞图像的高斯核热图，再经过后期处理得到最终的计数值。本方法利用反卷积深度学习网络来挖掘和提取细胞图像的特征和空间信息，并使输出层图像恢复到和输入层图像一样的尺寸大小，训练一个端到端的网络，可以保证较高的计数准确率。

Description

一种基于深度反卷积神经网络的细胞计数方法

技术领域

本发明涉及模式识别和机器学习领域，特别涉及一种基于反卷积神经网络的显微镜下细胞图像计数方法。

背景技术

在生物学样本的功能多样性研究和临床病理学研究中，细胞计数都有极其重要的意义，显微镜下获取的细胞图像具有多种不同的形态，包括孤立细胞和粘连细胞等，孤立细胞计数相对容易，而对于粘连的细胞重叠度较高的情况，传统的方法一般都是基于分割的方法，分割之后再进行计数，而对于重叠度较高的细胞图像，很难得到较好的分割效果，进而难得到准确的计数结果。

近年来，深度学习已经应用到图像处理的各个领域，医学图像作为与人类生活最密切的一个领域，深度学习的方法也越来越受到医学图像领域研究人员的关注。

发明内容

本发明的目的是提供一种基于深度反卷积神经网络的显微镜下细胞图像计数方法，本发明把细胞计数问题看成从原始细胞图像到输出高斯核热力图像的回归问题，解决了传统方法对于细胞重叠度高导致难以分割的情况。本发明可以实现对显微镜下细胞图像较为准确的计数。

一种基于深度反卷积神经网络的细胞计数方法，包括步骤：

步骤1、构造深度反卷积神经网络，即包括7个卷积层和4个反卷积层以及一个均方误差层的深度反卷积神经网络，输入层为原始细胞图，输出层和原始图像大小一样，里面的每一个高斯核代表原始图像特定位置上的一个细胞；

步骤2、细胞图像预处理，对于每张训练图，我们用每个像素点减去均值然后除以标准差对该像素点进行归一化处理，并进行对比度提升；

步骤3、训练网络模型，通过构建反卷积神经网络，把细胞计数问题，转化为一个端到端的从细胞到高斯核的回归问题；将归一化之后的细胞图像作为训练样本，采用无监督的训练方法逐步逐层提取细胞图像的特征和位置信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得优化的网络连接权重；

步骤4、测试模型，先将待测试的细胞图像归一化处理，然后输入到步骤3训练好的网络中，得到原始细胞图像的高斯核热图；

步骤5、后期处理，对步骤4中得到的高斯核热图进行阈值处理，过滤掉其中的非细胞杂点，然后计算阈值处理后图像中剩余连通块的数目即为原始细胞的个数。

进一步地，步骤1中构建的深度反卷积网络模型，以原始细胞图像作为数据输入，以7个卷积层和两个最大值池化层作为图像特征提取结构，并以两个反池化层和四个反卷积层来重建与原始输入图像一样的形状。

进一步地，步骤2中对原始细胞图像进行对比度提升和灰度归一化处理操作：

其中：L(x,y)是原始细胞灰度直方图,L_max和L_min分别是L(x,y)的最大和最小灰度，α>0是对比度提升的增益参数，β是对比度提升的偏移参数；f(x,y)是对比度提升和归一化之后的图像的灰度直方图，G_max和G_min是归一化之后图像的直方图的最大和最小灰度级。

进一步地，步骤3中训练深度反卷积神网络所使用的损失函数：

该损失函数是欧氏距离损失函数，其中φ₀为目标标签值，φ(x)为输入图像。

进一步地，步骤5中的后期处理方法，先通过阈值处理过滤到干扰点，再计算剩余连通区域的数量，即可得到细胞的数目。

与现有技术相比，本发明具有如下优点和技术效果：

本方法利用反卷积深度学习网络来挖掘和提取细胞图像的特征和空间信息，以全局图像作为出发点来实现细胞检测及计数问题，减少训练图像和测试图像单个细胞与单个细胞之间的纹理匹配分析。网络还可以直接将原始图像中的像素作为输入数据，并且自动学习一系列图像特征避免了传统人工提取特征带来的局限性。网络使输出层图像恢复到和输入层图像一样的尺寸大小，训练一个端到端的回归网络，可以保证较高的计数准确率。相对于传统细胞计数方法，本方法很好的解决了细胞密度大、重叠度高这一类细胞图像难以准确计数的难题，并且输出结果图像与原图像尺寸一致，保留了原始细胞的位置信息，即完成了细胞计数问题又实现了细胞检测。

附图说明

图1是本发明基于深度反卷积神经网络的显微镜下细胞图像计数方法的基本流程图。

图2是本发明中深度反卷积神经网络的训练和测试的基本流程。

图3是本发明所构建的反卷积神经网络模型结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施与附图，对本发明的实施作进一步的详细说明。

本发明基于深度反卷积神经网络的显微镜下细胞计数方法，能够广泛的应用于医学图像中细胞的计数问题。

图1示出了本发明的提出的基于深度反卷积神经网络的显微镜下细胞计数方法的步骤流程。如图1所示，该方法包括：

步骤1、构造深度反卷积神经网络，包括7个卷积层和4个反卷积层以及一个均方误差层的深度反卷积神经网络，输入层为原始细胞图，输出层和原始图像大小一样，里面的每一个高斯核代表原始图像特定位置上的一个细胞；

作为实例，图3示出了本实例所构造和使用的深度反卷积神经网络。网络类似于学习一个从原始图像到高斯核图像的非线性函数映射即I(x)→D(x)，其中F为映射函数，I(x)是输入图像，D(x)为标签图像。如图2所示，该网络总共包含17层结构：第一层是数据输入层，2-3、5-6和7-10层是卷积层，4和7层是最大值池化层，12-13和15-16是反卷积层，11和14是反池化层，最后一层是基于欧氏距离的损失层。输入层图像尺寸大小为224×224×3，接下来是卷积网，其基本组成部分包括卷积、池化和激励函数。在l层的第m个特征图的表示为：

其中，是第l层的第m个特征图，是上一层的第n个特征图，代表卷积操作，f是一个非线性激活函数，这里采用的是ReLu(修正线性单元)激活函数，这里n代表输入图像的通道数，m代表下一层输出的特征图个数，l代表有多少类卷积核，就代表其中的一类卷积核，表示一个偏置项。由于卷积层卷积滤波之后的特征中可能含有大量的冗余信息，这里采用最大值池化层操作来消除可能的冗余特征。

接下来是反池化和反卷积层，池化层是去除冗余信息的，把一块图像区域用一个最强特征来表示，这种稀疏信息可能对分类情况比较有用，但是对于细胞计数可能会丢失大量的细胞的定位信息。为了解决这个问题，这里用反池化来恢复图像原始的尺寸以及之前的图像结构信息，主要步骤就是在前面池化操作的时候记录下池化的位置，然后在反池化时把图像特征按之前记录的位置摆放。反池化虽然使图像尺寸变大了，距离恢复到原始图像尺寸大小又近了一步，但是却使得特征图变得稀疏，丧失了原始图像的大量的结构信息。通过反卷积层可以解决这一问题，反卷积类似差值的方法但又不同于传统的插值方法，它采用的是不固定的上采样方式，通过反卷积层的重叠交叉计算来达到一种产生式模式，传统的插值虽然速度快，但是将每个像素点的权重按照距离方式排列，并没有考虑图像的结构化信息，并且传统插值方法使用固定不变的参数，而反卷积上采样可以通过大规模数据训练的方法去得到一个更加合理的插值核。

步骤2、对原始细胞图像进行预处理，为了保障细胞分割有效进行，提高细胞的可分辨性，在训练图像输入到反卷积神经网络之前，需要对原始细胞图像做对比度提升和灰度归一化处理操作：

其中：L(x,y)是原始细胞灰度直方图,L_max和L_min分别是它们的最大和最小灰度，α>0是对比度提升的增益参数，β是对比度提升的偏移参数。f(x,y)是对比度提升和归一化之后的图像的灰度直方图，G_max和G_min是归一化之后图像的直方图的最大和最小灰度级。

步骤3、训练模型权值参数，通过构建反卷积神经网络，将细胞计数问题转化为网络端到端的回归问题，将预处理后的细胞图像输入到网络中，采用无监督的逐层训练的方法提取图像特征并结合反向传播算法和随机梯度下降算法有监督的最小化损失函数：

该损失函数是欧氏距离损失函数，其中φ₀为目标标签值，φ(x)为输入图像。

步骤4、测试模型，先将待测试的细胞图像归一化处理，然后输入到步骤3训练好的网络中，得到原始细胞图像的高斯核热图。

步骤5、后期处理，对步骤4中得到的高斯核热图进行阈值处理，过滤掉一些较小的杂点，然后计算阈值处理后剩余联通块的个数即为原始细胞的个数。

图3示出了本发明所构造和使用的反卷积神经网络模型，具体的操作步骤如下：1、输入层是经过预处理的大小为224×224×3的细胞图像；2、经过两个卷积层，卷积核的个数是64，卷积核大小为3×3，步长为1，填充值为1，经过卷积之后特征图的大小为224×224×32，再经过步长为2×2的池化层，得到112×112×32的细胞图像特征块。2、将池化后的特征图像输入到第二阶段的2层卷积神经网络，卷积核的个数是64，卷积核大小为3×3，步长为1，填充值为1，得到112×112×64的特征图像块，再经过步长为2×2的池化层，得到56×56×64的细胞图像特征块。3、将池化后的特征图像输入到第三阶段的3层卷积神经网络中，卷积核的个数是128，卷积核大小为3×3，步长为1，填充值为1，得到56×56×128的特征图像块。4、将步骤3中的图像块输入到步长为2×2的反池化层中，得到112×112×128的特征图像块，再输入到2层反卷积神经网络中，卷积核的个数是64，卷积核大小为3×3，步长为1，填充值为1，得到112×112×64的特征图像块。5、将得到的图像块输入到步长为2×2的反池化层中，得到224×224×64的特征图像块，然后输入到第二阶段的反卷积网络中，，卷积核的个数是32，卷积核大小为3×3，步长为1，填充值为1，得到224×224×32的特征图像块，6、经过最后一层卷积层，卷积核的个数是1，卷积核的大小为1×1，步长为1，填充值为1，得到224×224×1的图像块，得到最终的细胞高斯热图。

以上所述的具体实施仅为本发明的一种最佳实现方式，并不用于限制本发明的专利范围，凡是利用本发明精神和原则及附图内容所作的等效结构或等效流程变换，均应包括在本发明的专利保护范围内。

Claims (3)

1.一种基于深度反卷积神经网络的细胞计数方法，包括步骤：

步骤1、构造深度反卷积神经网络，即包括7个卷积层和4个反卷积层以及一个均方误差层的深度反卷积神经网络，输入层为原始细胞图，输出层和原始图像大小一样，里面的每一个高斯核代表原始图像特定位置上的一个细胞；

步骤2、细胞图像预处理，对于每张训练图，我们用每个像素点减去均值然后除以标准差对该像素点进行归一化处理，并进行对比度提升；对原始细胞图像进行对比度提升和灰度归一化处理操作：

其中：L(x,y)是原始细胞灰度直方图,L_max和L_min分别是L(x,y)的最大和最小灰度，α>0是对比度提升的增益参数，β是对比度提升的偏移参数；f(x,y)是对比度提升和归一化之后的图像的灰度直方图，G_max和G_min是归一化之后图像的直方图的最大和最小灰度级；

步骤3、训练网络模型，通过构建反卷积神经网络，把细胞计数问题，转化为一个端到端的从细胞到高斯核的回归问题；将归一化之后的细胞图像作为训练样本，采用无监督的训练方法逐步逐层提取细胞图像的特征和位置信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得优化的网络连接权重；训练深度反卷积神网络所使用的损失函数：

该损失函数是欧氏距离损失函数，其中φ₀为目标标签值，φ(x)为输入图像；

步骤4、测试模型，先将待测试的细胞图像归一化处理，然后输入到步骤3训练好的网络中，得到原始细胞图像的高斯核热图；

步骤5、后期处理，对步骤4中得到的高斯核热图进行阈值处理，过滤掉其中的非细胞杂点，然后计算阈值处理后图像中剩余连通块的数目即为原始细胞的个数。

2.如权利要求1所述的一种基于深度反卷积神经网络的细胞计数方法，其特征在于步骤1中构造的深度反卷积神经网络，以原始细胞图像作为数据输入，以7个卷积层和两个最大值池化层作为图像特征提取结构，并以两个反池化层和四个反卷积层来重建与原始输入图像一样的形状。

3.如权利要求1所述的一种基于深度反卷积神经网络的细胞计数方法，其特征在于，步骤5中的后期处理方法，先通过阈值处理过滤掉 干扰点，再计算剩余连通区域的数量，即可得到细胞的数目。