CN110033440A

CN110033440A - 基于卷积神经网络与特征融合的生物细胞计数方法

Info

Publication number: CN110033440A
Application number: CN201910216840.4A
Authority: CN
Inventors: 谭冠政; 浣浩; 张丽达
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2019-03-21
Filing date: 2019-03-21
Publication date: 2019-07-19

Abstract

本发明公开了一种基于卷积神经网络与特征融合的生物细胞计数方法，适用于在数量较多和杂质较多的生物细胞显微图像中实现细胞计数。包含以下步骤：对生物细胞显微图像数据集进行预处理，得到训练集和测试集；构建基于卷积神经网络与深浅层特征融合的生物细胞计数模型；训练卷积神经网络模型，利用预处理完成后的训练集和构建的卷积神经网络模型，通过传播算法和参数更新，得到优化后的模型权重参数；测试卷积神经网络模型，利用预处理完成后的测试集和得到的最优网络模型的权重参数，对模型进行测试，得到输出的生物细胞密度图以及细胞估计数量，并进行评价。本发明可以改善生物细胞的特征提取效果，提高细胞计数的准确率。

Description

基于卷积神经网络与特征融合的生物细胞计数方法

技术领域

本发明涉及计算机视觉和深度学习技术领域，特别是一种基于卷积神经网络的深浅层特征融合细胞计数方法。

背景技术

在生物医学的细胞研究中，技术人员对于生物细胞显微图像的研究分析有着越来越显著的需求，为了能够达到研究目的，需要通过各种计算机图像技术对细胞进行处理分析，对生物细胞的处理包括细胞检测、分割、计数等。而在这其中，细胞计数技术得到越来越广泛的应用，在医学中，很多疾病和药物方面的研究都需要得知某些特定细胞的数量：一方面可以根据组织微环境中的目标细胞数量判断疾病病情；另一方面，在药物筛选中，可以通过组织中特定细胞数量的增减变化判断测试药物对于疾病是否有明显的疗效。在生物学中，细胞的培育以及制备过程中都需要知道生物细胞的数量，来对整个过程进行量化判断，进一步分析细胞培育制备的情况。因此，细胞计数技术的价值也日益凸显。

在计算机视觉领域，有医学图像处理的研究人员将深度学习的方法应用到里面，其中基于卷积神经网络的方法有比较广泛的使用。从计算机视觉的角度来看，自动细胞计数是计数问题的一个分支，利用卷积神经网络的细胞计数方法可以分为两类：检测计数和回归计数。许多计数方法选择了在检测之后完成对象计数任务，在这种情况下，设计一个对象检测框架来一个接一个的定位每个对象，一个计数器自然地检测所有对象并产生最终计数。这种基于检测的计数方法经过训练后，可以有较高的准确率，但它局限于细胞特征丰富、细胞数量较少的图像，而且逐个检测的效率较低，所以研究人员为细胞计数任务建立回归模型，其目的是学习图像中特征和细胞数之间的直接映射，在训练阶段利用训练集中的细胞图和注释信息得到细胞和数量间的映射关系，在测试阶段根据输入图像直接得到细胞的数量估计。整个过程中不需要分割或检测个体，这类方法更加适用于复杂的细胞密集的图像。同时，回归计数也有多种实现方式，主要的有两种，第一种根据输入图像直接得到细胞数量，第二种先得到生物细胞的密度图，然后进行积分，得到估计的细胞数量。回归计数的方法在其它领域都取得了不错的效果，但还较少应用于细胞数量的估计，且它的准确率可以通过改变卷积神经网络的结构进一步提高。

综上，基于卷积神经网络的细胞计数方法在准确率和效率方面还有较大的提升空间。

本发明中用到的名词解释如下：

卷积神经网络：卷积神经网络(Convolutional Neural Networks，CNN)是一种前馈神经网络。卷积神经网络是受生物学上感受野(Receptive Field)的机制而提出的。感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。卷积神经网络有三个结构上的特性：局部连接，权重共享以及空间或时间上的次采样。这些特性使得卷积神经网络具有一定程度上的平移、缩放和扭曲不变性。

特征融合：是指将卷积神经网络的不同特征层相互连接融合，以获取特征的融合体。本发明中指将不同的特征层拼接融合为一体，进行的是前期融合。

卷积、池化、反卷积：均为CNN中的操作，卷积是把输入的图像数据通过卷积核或过滤器平滑处理变成特征并提取出来；池化一般紧跟在卷积操作之后，为了降低特征的维度并保留有效信息，包括平均池化、最大池化等，构成采样层；反卷积是卷积操作的逆过程，称为转置卷积，使图像从卷积生成的稀疏图像表示回到更高图像分辨率，也是上采样技术中的一种。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于卷积神经网络与特征融合的生物细胞计数方法，在对生物细胞进行计数时，充分考虑经过卷积操作后细胞图像的深层特征和浅层特征，全方位包含细胞的特征，进一步改善生物细胞计数的性能，提高准确率。

为解决上述技术问题，本发明所采用的技术方案是：一种基于CNN和特征融合的细胞计数方法，包括以下步骤：

步骤1、对生物细胞图像数据集进行预处理操作，通过训练集和测试集分别得到细胞的真实密度图；

步骤2、构建细胞计数的基于深浅层特征融合的卷积神经网络模型，模型包括两列，分别用于提取深层和浅层特征，输入细胞原图，得到的输出为细胞的密度图，通过积分得到生物细胞估计数量；

步骤3、训练卷积神经网络模型，利用前面处理完成的训练集和上一步构建的网络模型，通过传播算法和参数更新，得到优化后的模型权重等参数；

步骤4、测试卷积神经网络模型，利用前面处理完成的测试集和得到的最优网络模型的权重参数，对细胞图片进行测试，得到输出的细胞密度图以及细胞估计数量，并进行评价。

上述步骤1中，生物细胞图像的预处理是采用适当放大倍数的显微镜下的生物细胞图片，图片的尺寸可以为任意大小，均可用作输入图片，每张细胞图片的标注包括两个部分，分别是每张图片中的细胞坐标点和实际的细胞总数量。

进一步再对生物细胞图像的数据集进行处理，对细胞图像数据集的处理包括几个阶段，首先将图片按照比例分为训练集和测试集，同时训练集中会有部分图片随机选作验证集。然后在训练集中，将每张图片分为多个训练块，再通过以每个细胞的位置x_g为中心的2D高斯内核求和来计算与第i个训练片对应的真实密度图D_i，以点集表示，具体定义如下：

其中，σ是2D高斯内核的尺度参数，S是所有细胞位置点的集合。最后，对测试集中的图片利用该方法求出每张图的真实密度图，数据准备完毕。

上述步骤2中，我们构建深浅层特征融合细胞计数的卷积神经网络模型，整个模型以分别提取深层和浅层特征为目的进行构建，一共包括两列CNN，第一列CNN进行细胞图像深层特征的提取，第二列CNN进行细胞图像浅层特征的提取。然后将两列卷积提取的特征图进行融合，对融合后的特征图进行反卷积操作，实现生成细胞密度图的任务，并估计生物细胞数量。该步骤包括以下实现过程：

1)首先，输入细胞原图，两列卷积神经网络同时进行卷积操作，第一列CNN进行的是深层特征提取，包括四个卷积层，第一个卷积层使用16个窗口大小为7×7的卷积核，第二个卷积层使用32个窗口大小为5×5的卷积核，第三个卷积层使用16个窗口大小为5×5的卷积核，第四个卷积层使用8个窗口大小为5×5的卷积核，其中在第一、二个卷积层的后面各有一个2×2的最大池化层，步长为2，而且每个卷积层的后面都有一个PRelu激活函数。

2)然后，第二列CNN进行的是浅层特征提取操作，采用的卷积核大小与第一列CNN相同，但只包括两个卷积层，第一个卷积层使用16个窗口大小为7×7的卷积核，第二个卷积层使用8个窗口大小为5×5的卷积核，其中在第一个卷积层的后面有两个最大池化层，步长为2，使得最后得到的特征图与第一列维度相同，同时每个卷积层的后面都有一个PRelu激活函数。

3)最后，将深层与浅层特征融合后的特征图进行一次卷积后再进行反卷积操作，目的是为了弥补在之前提取特征后丢失的信息，同时会将CNN的输出上采样4倍，从而能够回归全分辨率密度图，两个反卷积层分别使用16个和8个窗口大小为4×4的卷积核，步长为2。同时，两个反卷积层之后各有一个PRelu激活函数。最后，再使用1个窗口大小为1×1的卷积核对反卷积操作后的图进行卷积，生成最终的细胞密度图，进行积分后进一步得到估计的生物细胞数量，得出结果。

上述步骤3中，训练过程是根据上一步的模型实现生成细胞密度图的训练，首先，将步骤一处理过的生物细胞图片数据输入，分别送入两列卷积网络，经过深层和浅层特征提取后，得到它们的融合层，对融合后的特征图经过反卷积操作，将输出上采样，得到细胞密度图，损失函数为L，通过反向传播算法进行权值更新，直到迭代结束，得到优化后的模型权重参数。该步骤包括以下实现过程：

1)首先，细胞输入图经过第一列，包括四个卷积层和两个池化层，得到第一列的特征图。同时，细胞输入图经过第二列，包括两个卷积层和两个池化层，得到第二列的特征图；

2)然后，将两列特征图融合则得到融合特征图，经过反卷积层将特征图分辨率还原，得到训练中预测的细胞密度图，对密度图进行积分得到预测的细胞数量；

3)最后，将预测数量以及密度图与训练集的真实数量以及密度图利用损失函数L的公式计算误差，计算后将误差按照模型进行反向传播，传播过程中优化模型中每一层的参数，一直到第一层，就完成了一次迭代。接着重复以上过程，直到完成迭代次数，训练结束。

上述步骤4中，对卷积神经网络模型进行测试，得到细胞密度图，它的作用是为细胞提供空间位置信息，同时对它积分求和后，就可以得到估计的生物细胞数量，我们使用两个指标对细胞计数的准确性进行评估，分别是平均绝对误差MAE和均方误差MSE，具体定义如下：

其中，N是测试图的总数量，y_i是细胞的实际数量，y′_i是细胞的估计数量。

与现有技术相比，本发明所具有的有益效果为：本发明充分考虑生物细胞图像的深层和浅层特征，得到更多不同层次的特征，由于细胞图像为显微图像，所以深浅层特征提取可以捕捉到更多细胞特征，因此在基于卷积神经网络的细胞计数方法中加入这种结构，可以进一步提高细胞计数的准确率。

附图说明

图1为本发明提供的一种基于卷积神经网络与特征融合的生物细胞计数方法的实施流程图；

图2为本发明所提出的基于卷积神经网络与特征融合的生物细胞计数方法的整体网络结构框图。其中的Conv代表卷积操作，Mp代表最大池化操作，ConvTr代表反卷积操作，Merged feature maps代表融合的特征图；

图3为本发明提供的方法生成的细胞密度图，其中，(a)细胞原图；(b)生成的细胞密度图。

具体实施方式

本发明主要思路是充分考虑生物细胞图像的深浅层特征，并利用多列卷积的特点，将不同层特征进行融合，使得在进行细胞特征提取时获得更多特征，并利用特征对细胞计数，提高细胞计数的准确性。

如图1所示，本发明提供了一种基于卷积神经网络与特征融合的生物细胞计数方法，其包括以下四个步骤：

步骤S1：对生物细胞图像的训练集和测试集进行预处理；

具体地，我们先获取显微镜下的生物细胞图片，图片的尺寸可以为任意大小，它们均可用作输入图片，每张细胞图片的标注包括两个部分，分别是每张图片中的细胞坐标点和实际的细胞总数量。

本实例采用结肠直肠腺癌的H&E染色组织学图像共100张，具体介绍如表1所示，每张图像都做好了相应的注释，进一步地，再对生物细胞图像的数据集进行处理，对细胞图像数据集的处理包括几个阶段，首先将图片按照比例分为训练集和测试集，同时训练集中会有部分图片随机选作验证集，本实例中训练集和测试集的比例为8:2，训练集中还有10的图片作为验证集。然后在训练集中，将每张图片分为多个训练块，以增强训练的图像块，本实例中每张图像分为了9块，再通过以每个细胞的位置x_g为中心的2D高斯内核求和来计算与第i个训练片对应的真实密度图D_i。最后，对测试集中的图片利用该方法求出每张图的真实密度图。

表1细胞数据集详细情况

细胞数据集	图片尺寸	细胞平均数量	细胞最小-最大数量
				Nuclei	500×500	310.22	1–1189

步骤S2：构建细胞计数的基于深浅层特征融合的卷积神经网络模型；

请参阅图2，在本实例中，采用的网络模型是一个将两列卷积分别提取的深层和浅层特征图融合后进行反卷积的网络模型。整个模型分为两个部分，第一个部分包括两列卷积网络，第一列进行深层特征提取，将细胞图像的深层特征获取，可以得到表面无法获取的深层细节，第二列进行浅层特征提取，将表面的特征捕捉。随后两部分特征融合在一起，可以得到全方位的细胞特征图。第二个部分则是将融合层进行反卷积，经过上采样得到全分辨率的细胞特征图，并生成细胞密度图，不包括其他杂质，最后得到估计的生物细胞数量。

进一步地，整个模型是两列卷积神经网络同时进行操作，第一列CNN进行的是深层特征提取，包括四个卷积层，第一个卷积层使用16个窗口大小为7×7的卷积核，第二个卷积层使用32个窗口大小为5×5的卷积核，第三个卷积层使用16个窗口大小为5×5的卷积核，第四个卷积层使用8个窗口大小为5×5的卷积核，其中在第一、二个卷积层的后面各有一个2×2的最大池化层，步长为2，而且每个卷积层的后面都有一个PRelu激活函数。

进一步地，第二列CNN进行的是浅层特征提取操作，采用的卷积核大小与第一列CNN相同，但只包括两个卷积层，第一个卷积层使用16个窗口大小为7×7的卷积核，第二个卷积层使用8个窗口大小为5×5的卷积核，其中在第一个卷积层的后面有两个最大池化层，步长为2，使得最后得到的特征图与第一列维度相同，同时每个卷积层的后面都有一个PRelu激活函数。

进一步地，将深层与浅层特征融合后的特征图进行一次卷积后再进行反卷积操作，目的是为了弥补在之前提取特征后丢失的信息，同时会将CNN的输出上采样4倍，从而能够回归全分辨率密度图，两个反卷积层分别使用16个和8个窗口大小为4×4的卷积核，步长为2。同时，两个反卷积层之后各有一个PRelu激活函数。最后，再使用1个窗口大小为1×1的卷积核对反卷积操作后的图进行卷积，生成最终的细胞密度图，进行积分后进一步得到估计的生物细胞数量，得出结果。

步骤S3：训练卷积神经网络模型，得到优化后的模型权重等参数，利用步骤S1处理完成的训练集，在步骤S2构建的网络模型中，通过传播算法和参数更新，得到优化后的模型权重等参数；

具体地，首先将步骤S1处理过的生物细胞图片数据输入，分别送入两列卷积网络，经过深层和浅层特征提取后，得到它们的融合层，对融合后的特征图经过反卷积操作，将输出上采样，得到细胞密度图，通过反向传播算法进行权值更新，直到迭代结束，得到优化后的模型权重参数。本实例采用Adam优化算法，设置权重λ＝0.0001，初始学习率设置为lr＝0.00001,动量因子设置为mom＝0.9，迭代次数为2000次。设损失函数为L，损失函数具体定义如下：

其中，F_d是估计的密度图，D_i是实际的密度图。

注意，在本实例中这些取值不对本发明构成限制。

步骤S4：测试卷积神经网络模型，利用步骤S1处理完成的测试集、步骤S2构建的网络模型和步骤S3中得到的最优网络模型的权重等参数，对细胞图片进行测试，得到输出的细胞密度图以及细胞估计数量，并根据平均绝对误差MAE和均方误差MSE两个指标对结果进行评价。具体定义如下：

至此，本发明按照上述实例步骤获得了最终的基于卷积神经网络与特征融合的生物细胞计数方法的模型。

这里提供利用本发明方法和专利CN105528589A中提供的MCNN模型在同一数据集上的细胞计数结果，并进行对比，如表2所示。

表2本发明方法与其他方法细胞计数结果对比

方法/模型	平均绝对误差MAE	均方误差MSE
			MCNN模型	40.30	51.74
本发明方法	31.65	42.3

本方法的模型相对于多列卷积的方法在平均绝对误差和均方误差上都有了一定的提升。

最后，图3为本发明提供的方法模型生成的细胞密度图展示，图3的(a)为染色后的细胞测试图，图中深紫色的小点为需要计数的生物细胞，其它部分包括背景及杂质。图3中的(b)为预测的细胞密度图，灰白色点为预测的细胞位置，可以看出已经没有了背景和杂质，通过这张图的积分就能得到细胞的数量。

Claims

1.一种基于卷积神经网络与特征融合的生物细胞计数方法，其特征在于，包括以下步骤：

1)对生物细胞图像的数据集进行预处理，得到训练集和测试集，利用训练集和测试集分别得到生物细胞的真实密度图；

2)构建细胞计数的基于深浅层特征融合的卷积神经网络模型，通过提取深层和浅层特征实现细胞计数；所述卷积神经网络模型的输入为细胞原图，输出为细胞的密度图，通过积分得到细胞估计数量；

3)利用训练集和步骤2)构建的卷积神经网络模型，通过传播算法和参数更新进行迭代，得到优化后的模型权重参数；

4)测试卷积神经网络模型，利用优化后的模型权重参数，对细胞图片进行测试，得到输出的细胞密度图以及细胞估计数量，与测试集中细胞图片的真实密度图以及细胞真实数量进行对比，得出生物细胞计数结果，所述生物细胞计数结果包括细胞计数的平均绝对误差和平均相对误差。

2.根据权利要求1所述的基于卷积神经网络与特征融合的生物细胞计数方法，其特征在于，步骤1)的具体实现过程包括：将生物细胞图像按照比例分为训练集和测试集；在训练集中，将每张图片分为多个训练块，并求出对应的真实密度图；对测试集中的图片，求出每张测试图的真实密度图。

3.根据权利要求1所述的基于卷积神经网络与特征融合的生物细胞计数方法，其特征在于，步骤2)的具体实现过程包括：

1)卷积神经网络模型包括两列卷积神经网络，第一列卷积神经网络进行细胞图像深层特征的提取，第二列卷积神经网络进行细胞图像浅层特征的提取；

2)经过两列特征提取后，将深层与浅层特征融合后的特征图先进行一次卷积，再到反卷积层，进行反卷积操作，弥补在之前提取特征后丢失的信息，同时将反卷积层的输出上采样，反卷积层后均有激活函数，最后通过一次卷积生成最终的细胞密度图，进行积分后得到估计的生物细胞数量。

4.根据权利要求3所述的基于卷积神经网络与特征融合的生物细胞计数方法，其特征在于，所述第一列卷积神经网络包括四个卷积层，其中在第一、二个卷积层的后面各有一个最大池化层，且每个卷积层的后面都有激活函数；第二列卷积神经网络采用的卷积核大小与第一列卷积神经网络相同，第二列卷积神经网络包括两个卷积层，其中在第一个卷积层的后面有两个最大池化层，使得最后得到的特征图与第一列维度相同，同时每个卷积层的后面都有激活函数。

5.根据权利要求3所述的基于卷积神经网络与特征融合的生物细胞计数方法，其特征在于，步骤3)的具体实现过程包括：将生物细胞图片数据做为输入，分别送入两列卷积神经网络，经过深层和浅层特征提取后，得到它们的融合层，对融合后的特征图经过反卷积操作，将输出上采样，得到细胞密度图，损失函数为L，通过反向传播算法进行权值更新，直到迭代结束，得到优化后的模型权重参数。

6.根据权利要求5所述的基于卷积神经网络与特征融合的生物细胞计数方法，其特征在于，优化后的模型权重参数的具体计算过程包括：

1)细胞输入图经过第一列深层卷积神经网络，得到第一列的深层特征图，同时，细胞输入图经过第二列浅层卷积神经网络，得到第二列的浅层特征图；

2)将两列特征图融合则得到深浅层融合特征图，再经过反卷积层将特征图分辨率还原，此时得到训练中预测的细胞密度图，对密度图进行积分得到预测的细胞数量；

3)将预测的细胞数量与训练集的真实数量用损失函数L的公式计算误差，计算后将误差按照步骤2)中的深浅层融合特征图进行反向传播，推导出上一隐藏层的误差，逐层推导，推导过程中优化模型中每一层的参数，一直到第一层，完成一次迭代；

4)重复以上过程，直到达到迭代次数，训练结束，得到优化后的模型权重参数。

7.根据权利要求1所述的基于卷积神经网络与特征融合的生物细胞计数方法，其特征在于，细胞计数的平均绝对误差MAE和均方误差MSE具体定义如下：

其中，N是生物细胞图像，即测试图的总数量，y_i是细胞真实数量，y′_i是细胞估计数量。