CN110659718A - 基于深度卷积神经网络的小卷积核细胞计数方法及系统 - Google Patents
基于深度卷积神经网络的小卷积核细胞计数方法及系统 Download PDFInfo
- Publication number
- CN110659718A CN110659718A CN201910862923.0A CN201910862923A CN110659718A CN 110659718 A CN110659718 A CN 110659718A CN 201910862923 A CN201910862923 A CN 201910862923A CN 110659718 A CN110659718 A CN 110659718A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- cell
- neural network
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000011176 pooling Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 13
- 238000009826 distribution Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010052360 Colorectal adenocarcinoma Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004163 cytometry Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
- G06M11/02—Counting of objects distributed at random, e.g. on a surface using an electron beam scanning a surface line by line, e.g. of blood cells on a substrate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的小卷积核细胞计数方法及系统，适用于对细胞图像进行计数。包括以下步骤：获取细胞图像数据集，对数据集进行预处理，将数据集分为训练集和测试集，并得到细胞真实密度图；构建用于细胞计数的基于小卷积核的深度卷积神经网络模型；利用训练集训练构建好的神经网络模型，得到最优参数模型；利用测试集测试得到的最优模型，得到预测的细胞密度图及估计细胞数，并评价结果。本发明改进了细胞计数模型，加快了网络训练速度，提高了预测效果和计数准确率。
Description
技术领域
本发明涉及一种计算机视觉和深度学习领域，特别是一种基于深度卷积神经网络的小卷积核细胞计数方法及系统。
背景技术
在目前医学和生物学的研究中，细胞计数是一项关键技术。通过计算机技术对细胞进行计数可以极大的节省人力资源，提高效率。
当前应用比较广泛的细胞计数方法是细胞仪计数，如流式细胞仪计数。流式细胞仪既可以测量数量较多的细胞，又能测定特定类型的细胞而广泛应用于临床领域。但是在进入细胞仪前的样本准备需要很大的人工参与量。采用专业的图像分析仪定量检测可以避免观察者主观因素的干扰,在病理图像定量研究中具有重要的应用价值,但这类仪器不仅价格昂贵,且对操作者的要求较高,影响了在常规临床工作中的应用。
随着计算机技术的发展,计算机图像处理与分析技术在临床诊断和治疗中起着越来越重要的作用。早期研究主要采用的是传统的图像处理的方法，通过对图像预处理和分割，然后再对处理后的图像计数。
由于卷积神经网络和高性能GPU的快速发展，使用神经网络技术体现了其优越性。此类方法分为检测和回归两类，基于检测的计数方法是通过对图像上每个细胞进行定位与识别，再根据结果统计细胞数，可以得到准确的细胞位置，但缺点在于对高密度的细胞图像来说，其检测效果差。基于回归的计数方法没有精确定位细胞位置，而是对大概的细胞数目给出个估计值，基于回归的计数方法分为直接回归和密度图回归两类，直接回归即输入细胞图像，输出细胞数量估计值，密度图回归为输入细胞图像，输出预测密度图，积分得到细胞数量。基于密度图回归的细胞计数方法有很大研究前景，在其他计数领域得到了不错的结果，但在细胞计数领域还较少应用，且细胞计数与其他物体计数相比也有其自身特点。
综上，基于密度图回归的神经网络细胞计数方法还有很大的研究意义和提升空间。
本发明用到的名词解释如下：
卷积神经网络：卷积神经网络(Convolutional Neural Networks,CNN)是一种深度学习算法，受生物自然视觉认知机制启发而来，在图像领域有很大的优越性。主要包含卷积层、池化层和全连接层，逐步提取图像特征。
卷积层：卷积神经网络的核心结构，卷积操作是输入矩阵与卷积核进行对应元素相乘并求和，用卷积核遍历整个输入矩阵得到一个结果矩阵即为卷积层的操作过程，作用是提取图像特征。
池化层：池化操作与卷积操作类似，在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。根据需要有最大池化和平均池化等。池化操作缩小了特征图的大小，降低过拟合。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种基于深度卷积神经网络的小卷积核细胞计数方法及系统，提高计数准确率。
为解决上述技术问题，本发明所采用的技术方案是：一种基于深度卷积神经网络的小卷积核细胞计数方法，包括以下步骤：
1)获取细胞图像数据集，对数据集进行预处理，将数据集分为训练集和测试集；
2)构建用于细胞计数的基于小卷积核的深度卷积神经网络模型；
3)利用所述训练集训练构建好的神经网络模型，得到最优参数模型；
4)利用所述测试集测试得到的最优参数模型，得到预测的细胞密度图及估计细胞数，并评价结果。
步骤1)中，对所述数据集进行预处理的具体实现过程包括：根据所述数据集给定的细胞图像中每个细胞的坐标位置，得到细胞图像对应的真实密度图。
步骤3)的具体实现过程包括：首先网络进行权重初始化，然后将训练集的图片作为输入，经过卷积层、池化层向前传播得到网络预测的密度图，与真实密度图比较，求出真实密度图和预测密度图的误差，将误差反向传播回网络，更新权重，反复此过程得到最优参数模型。
利用平均绝对误差和均方误差评价结果；所述平均绝对误差MAE和均方误差MSE的计算公式如下：
其中为fi为预测值，yi为真实值，N为总的细胞数。
本发明还提供了一种基于深度卷积神经网络的小卷积核细胞计数系统，包括：
采集单元，用于获取细胞图像数据集，对数据集进行预处理，将数据集分为训练集和测试集；
构建单元，用于构建用于细胞计数的基于小卷积核的深度卷积神经网络模型；
参数优化单元，用于利用所述训练集训练构建好的神经网络模型，得到最优参数模型；
评估单元，用于利用所述测试集测试得到的最优参数模型，得到预测的细胞密度图及估计细胞数，并评价结果。
与现有技术相比，本发明所具有的有益效果为：本发明网络为端到端网络，从细胞图像整体考虑，计算得到细胞图像密度图，对密度图积分得到总细胞数，而不是检测图像中的每个细胞。网络结构上，由于主流计数使用的三列卷积网络提升效果不明显且参数明显增加，提出了加深网络层次，提取更深层的特征，且都使用3×3的小卷积核，3×3的卷积核是最小的能够捕获像素八邻域信息的尺寸，且两个3×3的卷积核堆叠与一个5×5的卷积核得到的感受野大小不变，但参数更少，且由于增加了隐藏层引入了更多的非线性，通过此网络，计数效果明显改善，准确率提高明显。
附图说明
图1为本发明所提出的一种基于深度卷积神经网络的小卷积核密集细胞计数方法的实施流程图；
图2为本发明所提出的一种基于深度卷积神经网络的小卷积核细胞计数方法的整体网络结构框图；
图3为本发明所提出的方法生成的细胞密度图以及细胞计数的结果；其中，(a)细胞原图数量：408；(b)细胞密度图预测数量：404；(c)细胞原图数量：84；(d)细胞密度图预测数量：84。
具体实施方式
本发明主要思路是针对主流计数方法使用的三列卷积网络提升效果不明显且参数明显增加问题，提出了加深网络层次，提取更深层的特征，且都使用3×3的小卷积核，3×3的卷积核是最小的能够捕获像素八邻域信息的尺寸，且两个3×3的卷积核堆叠与一个5×5的卷积核得到的感受野大小不变，但参数更少，由于增加了隐藏层引入了更多的非线性，通过此网络，计数效果明显改善，准确率显著提升。
本发明包括以下步骤：
步骤1、获取细胞图像数据集，对数据集进行预处理，将数据集分为训练集和测试集；
步骤2、构建用于细胞计数的基于小卷积核的深度卷积神经网络模型；
步骤3、利用训练集训练构建好的神经网络模型，得到最优参数模型；
步骤4、利用测试集测试得到的最优模型，得到预测的细胞密度图及估计细胞数，并评价结果。
上述步骤1中，首先获取细胞图像数据集，本实例采用结肠直肠腺癌的H&E染色组织学图像，训练集和测试集的比例为8:2，训练集中随机一部分为验证集，并将训练图片裁剪为9块，用于增强数据集。
数据集中包含细胞图像，以及每个细胞所在的位置信息，根据位置信息得到细胞分布真实密度图，具体操作是生成一张和原图一样大小的单通道图片，其中像素点全部取0，再将每个细胞所在的像素点标记为1，由于细胞所占像素并不只是标记的那点，故通过高斯滤波处理这张图，形成的图就是细胞密度图。对训练集和测试集都采用此操作获取密度图。至此，前期数据准备工作结束。
上述步骤2中，构建的卷积神经网络模型是一个端到端的网络，输入细胞图像，输出预测密度图。构建的卷积神经网络相较于主流多列卷积计数网络有两个不同点，一是没有采用多列结构，而是加深了网络层次，提取到了更深层次的特征，二是采用了3×3的小卷积核，3×3的卷积核是最小的能够捕获像素八邻域信息的尺寸，且两个3×3的卷积核堆叠与一个5×5的卷积核得到的感受野大小不变，但参数更少，且由于增加了隐藏层引入了更多的非线性。
具体的，网络第一、第二层为两个卷积层，提取图像浅层特征，第一个卷积层采用16个大小为3×3×1的卷积核与输入图像卷积，步长为1，padding值为1，保持输出特征图与输入特征图大小相等，第二个卷积层采用32个大小为3×3×16的卷积核与输入特征图卷积，步长为1，padding值为1，每个卷积层后使用的激活函数都为线性整流函数(RectifiedLinear Unit,ReLU)。两个卷积层后为一个最大池化层，提取目标块中的最大值，池化层的作用是使特征图变小，简化网络计算复杂度，并进行特征压缩，提取主要特征。
网络中间层结构与上述基本相同，由两个卷积层和一个池化层组成，提取深层特征。第一个卷积层采用64个大小为3×3×32的卷积核与输入特征图卷积，步长为1，padding值为1，第二个卷积层采用128个大小为3×3×64的卷积核与输入特征图卷积，步长为1，padding值为1，每个卷积层后使用的激活函数都为线性整流函数(Rectified LinearUnit,ReLU)。两个卷积层后为一个最大池化层。
网络的最后为三个卷积层，前两个卷积层用于提取更深层的特征，最后一个卷积层用于回归得到密度图。第一个卷积层采用64个大小为3×3×128的卷积核与输入特征图卷积，步长为1，padding值为1，第二个卷积层采用16个大小为3×3×64的卷积核与输入特征图卷积，步长为1，padding值为1，第三个卷积层采用1个大小为1×1×16的卷积核与输入特征图卷积，步长为1，padding值为0，使通道数减少为1，到得预测的密度图。
每个卷积层包含一层Batchnorm层，由于每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难，Batchnorm层加入可训练的参数作归一化，解决了神经网络训练困难的问题，加速了训练过程。
上述步骤3中，首先网络进行权重初始化，网络中的模型参数遵循高斯分布，再依据经验和实验设置超参数。
然后将训练集的图片作为输入，经过卷积层、池化层向前传播得到网络预测的密度图，与真实密度图比较计算得到损失，网络使用的损失函数为均方误差(Mean SquaredError，MSE)损失函数，将误差反向传播回网络，更新权重，采用的优化算法为Adam优化算法，不同于传统的随机梯度下降优化算法学习率固定，Adam优化算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
上述步骤4中，利用测试集对训练好的最优模型进行测试，将测试图片输入网络，向前传播得到预测密度图，对其积分得到预测的细胞数，计算其与真实细胞数的误差，主要评价指标为平均绝对误差(Mean Absolute Error，MAE)和均方误差(Mean Squared Error，MSE)，定义如公式1、2所示：
其中为fi预测值，yi为真实值，N为总的细胞数。
如图1所示，本发明提供了一种基于深度卷积神经网络的小卷积核细胞计数方法，其包括以下四个步骤：
步骤S1：获取细胞图像数据集，对数据集进行预处理；
具体地，首先获取细胞图像数据集，本实例采用华威大学收集的Nuclei数据集，包含100张结肠直肠腺癌的H&E染色组织学图像，将其分为训练集和测试集，训练集和测试集的比例为8:2，训练集中随机一部分为验证集，并将训练图片裁剪为9块，用于增强数据集。表1是该数据集的具体情况：
表1 Nuclei数据集
| 图片尺寸 | 细胞平均数量 | 细胞最小数量 | 细胞最大数量 |
| 500×500 | 310.22 | 1 | 1189 |
数据集中包含细胞图像，以及每个细胞所在的位置信息，根据位置信息使用MATLAB处理得到细胞分布真实密度图，具体操作是生成一张和原图一样大小的单通道图片，其中像素点全部取0，将每个细胞所在的像素点标记为1，此操作可表示为公式3：
由于细胞所占像素并不只是标记的那点，故通过高斯滤波处理这张图，形成的图就是细胞密度图。对训练集和测试集都采用此操作获取密度图，如公式4所示：
F(x)＝H(x)*Gσ (4)
其中Gσ为大小为15×15，标准差为4的2D高斯核函数。
步骤S2：构建用于细胞计数的基于小卷积核的深度卷积神经网络模型；
图2为我们构建的网络模型的具体结构，模型是一个端到端的网络，输入细胞原图，输出预测密度图，主要分为三步，逐步提取特征，前两步每个卷积层的特征图数量逐渐增加，提取更丰富的特征，第三步每个卷积层的特征图数量逐渐减少，用于回归密度图。模型除最后一层卷积层使用1×1大小的卷积核回归得到密度图外，其他卷积层都使用3×3的小卷积核，3×3的卷积核是最小的能够捕获像素八邻域信息的尺寸，且两个3×3的卷积核堆叠与一个5×5的卷积核得到的感受野大小不变，但参数更少，且由于增加了隐藏层引入了更多的非线性。
网络输入层为可变尺寸的细胞原图，网络第一、第二层为两个卷积层，提取图像浅层特征，第一个卷积层采用16个大小为3×3×1的卷积核与输入图像卷积，步长为1，padding值为1，保持输出特征图与输入特征图大小相等，第二个卷积层采用32个大小为3×3×16的卷积核与输入特征图卷积，步长为1，padding值为1，每个卷积层后使用的激活函数都为线性整流函数(Rectified Linear Unit,ReLU)。两个卷积层后为一个最大池化层，提取目标块中的最大值，池化层的作用是使特征图变小，简化网络计算复杂度，并进行特征压缩，提取主要特征，经过第一次池化操作后，特征图大小变为原图的1/2。
网络中间层结构与上述基本相同，由两个卷积层和一个池化层组成，提取深层特征。第一个卷积层采用64个大小为3×3×32的卷积核与输入特征图卷积，步长为1，padding值为1，第二个卷积层采用128个大小为3×3×64的卷积核与输入特征图卷积，步长为1，padding值为1，每个卷积层后使用的激活函数都为线性整流函数(Rectified LinearUnit,ReLU)。两个卷积层后为一个最大池化层，经过第二次池化操作后，特征图大小变为原图的1/4。
网络的最后为三个卷积层，前两个卷积层用于提取更深层的特征，最后一个卷积层用于回归得到密度图。第一个卷积层采用64个大小为3×3×128的卷积核与输入特征图卷积，步长为1，padding值为1，第二个卷积层采用16个大小为3×3×64的卷积核与输入特征图卷积，步长为1，padding值为1，第三个卷积层采用1个大小为1×1×16的卷积核与输入特征图卷积，步长为1，padding值为0，使通道数减少为1，到得预测的密度图，大小为原图的1/4。
每个卷积层包含层Batchnorm层，Batchnorm是归一化的一种手段，能够加快训练速度。由于每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难，Batchnorm层会对输入数据进行归一化处理，且为了防止由于归一化导致网络的表达能力变弱，加入了可训练的参数，对数据进行缩放和平移。Batchnorm层解决了神经网络训练困难的问题，加速了训练过程。
步骤S3：训练构建好的神经网络模型，得到最优参数模型；
具体地，首先网络进行权重初始化，网络中的模型参数遵循均值为0，方差为0.01的高斯分布，超参数依据经验和实验设置为如下数值，其中学习率lr为0.00001，动量momentum为0.9，epoch为1000。
然后将训练集的图片作为输入，经过卷积层、池化层向前传播得到网络预测的密度图，与真实密度图比较计算得到损失，网络使用的损失函数为均方误差(Mean SquaredError，MSE)损失函数，定义如公式5所示：
其中pred为预测密度图，gt为真实密度图。
将计算得到的误差反向传播回网络，更新网络权重，采用的优化算法为Adam优化算法，不同于传统的随机梯度下降优化算法使用固定的学习率，Adam优化算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
注意，在本实例中这些取值不对本发明构成限制。
步骤S4：测试并评估最优参数模型。
具体地，利用测试集对训练好的最优模型进行测试，将测试图片输入网络，向前传播得到预测密度图，图3显示了细胞图像原图与预测密度图，对其积分得到预测的细胞数，计算其与真实细胞数的误差，主要评价指标为平均绝对误差和均方误差，平均绝对误差和均方误差越小表明实验效果越好，该网络模型最终测试结果误差中平均绝对误差为25.52，均方误差为37.29。表2展示了本发明方法和专利CN105528589A提供的多列卷积网络计数方法，以及专利CN109166100A提供的基于卷积神经网络的多任务学习细胞计数方法在同一细胞数据集上的细胞计数比较结果：
表2本发明方法与其他发明方法结果对比
| 方法 | 平均绝对误差MAE | 均方误差MSE |
| 多列卷积网络计数方法 | 40.30 | 51.74 |
| 多任务学习细胞计数方法 | 30.90 | 40.86 |
| 本发明方法 | 25.52 | 37.29 |
可以看出本发明方法显著降低了平均绝对误差和均方误差。
Claims (9)
1.一种基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，包括以下步骤：
1)获取细胞图像数据集，对数据集进行预处理，将数据集分为训练集和测试集；
2)构建用于细胞计数的基于小卷积核的深度卷积神经网络模型；
3)利用所述训练集训练构建好的神经网络模型，得到最优参数模型；
4)利用所述测试集测试得到的最优参数模型，得到预测的细胞密度图及估计细胞数，并评价结果。
2.根据权利要求1所述的基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，步骤1)中，对所述数据集进行预处理的具体实现过程包括：根据所述数据集给定的细胞图像中每个细胞的坐标位置，得到细胞图像对应的真实密度图。
3.根据权利要求1所述的基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，步骤3)的具体实现过程包括：首先网络进行权重初始化，然后将训练集的图片作为输入，经过卷积层、池化层向前传播得到网络预测的密度图，与真实密度图比较，求出真实密度图和预测密度图的误差，将误差反向传播回网络，更新权重，反复此过程得到最优参数模型。
4.根据权利要求1所述的基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，所述深度卷积神经网络模型第一层和第二层均为卷积层，所述卷积层用于提取细胞图像浅层特征；第三层为最大池化层，该最大池化层用于提取目标块中的最大值，使卷积层输出的特征图变小；所述最大池化层与网络中间层连接，所述网络中间层用于提取最大池化层输出的图像的深层特征；所述网络中间层与输出网络连接，所述输出网络包括三个依次连接的卷积层，前两个卷积层用于提取更深层的特征，最后一个卷积层用于回归得到密度图。
5.根据权利要求4所述的基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，所述第一层卷积层采用16个大小为3×3×1的卷积核与输入图像卷积，步长为1，padding值为1，保持输出特征图与输入特征图大小相等；第二层卷积层采用32个大小为3×3×16的卷积核与输入特征图卷积，步长为1，padding值为1，每个卷积层后使用的激活函数都为线性整流函数。
6.根据权利要求4所述的基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，所述网络中间层包括依次连接的两个卷积层和一个最大池化层；该第一个卷积层采用64个大小为3×3×32的卷积核与输入特征图卷积，步长为1，padding值为1；第二个卷积层采用128个大小为3×3×64的卷积核与输入特征图卷积，步长为1，padding值为1，每个卷积层后使用的激活函数都为线性整流函数。
7.根据权利要求4所述的基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，所述输出网络的第一个卷积层采用64个大小为3×3×128的卷积核与输入特征图卷积，步长为1，padding值为1；第二个卷积层采用16个大小为3×3×64的卷积核与输入特征图卷积，步长为1，padding值为1；第三个卷积层采用1个大小为1×1×16的卷积核与输入特征图卷积，步长为1，padding值为0，使通道数减少为1。
8.根据权利要求1所述的基于深度卷积神经网络的小卷积核细胞计数方法，其特征在于，利用平均绝对误差和均方误差评价结果；所述平均绝对误差MAE和均方误差MSE的计算公式如下：
其中为fi为预测值，yi为真实值，N为总的细胞数。
9.一种基于深度卷积神经网络的小卷积核细胞计数系统，其特征在于，包括：
采集单元，用于获取细胞图像数据集，对数据集进行预处理，将数据集分为训练集和测试集；
构建单元，用于构建用于细胞计数的基于小卷积核的深度卷积神经网络模型；
参数优化单元，用于利用所述训练集训练构建好的神经网络模型，得到最优参数模型；
评估单元，用于利用所述测试集测试得到的最优参数模型，得到预测的细胞密度图及估计细胞数，并评价结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910862923.0A CN110659718B (zh) | 2019-09-12 | 2019-09-12 | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910862923.0A CN110659718B (zh) | 2019-09-12 | 2019-09-12 | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110659718A true CN110659718A (zh) | 2020-01-07 |
| CN110659718B CN110659718B (zh) | 2021-06-18 |
Family
ID=69037431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910862923.0A Expired - Fee Related CN110659718B (zh) | 2019-09-12 | 2019-09-12 | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110659718B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353977A (zh) * | 2020-02-26 | 2020-06-30 | 杭州电子科技大学 | 一种基于深度学习的小颗粒物体计数系统及方法 |
| CN111539325A (zh) * | 2020-04-23 | 2020-08-14 | 四川旅游学院 | 基于深度学习的森林火灾探测方法 |
| CN111640101A (zh) * | 2020-05-29 | 2020-09-08 | 苏州大学 | 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法 |
| CN111739057A (zh) * | 2020-06-03 | 2020-10-02 | 大连理工大学 | 一种基于U-net卷积神经网络模型的自由液面识别和提取方法 |
| CN111759298A (zh) * | 2020-07-10 | 2020-10-13 | 齐鲁工业大学 | 一种降低多参数监护仪心律失常误报警率的方法 |
| CN112465745A (zh) * | 2020-10-26 | 2021-03-09 | 脉得智能科技(无锡)有限公司 | 一种基于全卷积回归网络的细胞计数方法 |
| CN112750106A (zh) * | 2020-12-31 | 2021-05-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| CN112750117A (zh) * | 2021-01-15 | 2021-05-04 | 重庆邮电大学 | 一种基于卷积神经网络的血液细胞图像检测与计数方法 |
| CN112767349A (zh) * | 2021-01-18 | 2021-05-07 | 桂林优利特医疗电子有限公司 | 一种网织红细胞识别方法和系统 |
| CN113076909A (zh) * | 2021-04-16 | 2021-07-06 | 重庆大学附属肿瘤医院 | 一种细胞自动检测方法 |
| CN113112459A (zh) * | 2021-03-26 | 2021-07-13 | 四川大学 | 口腔鳞状细胞癌分化程度预测系统 |
| CN113326925A (zh) * | 2021-06-22 | 2021-08-31 | 华南农业大学 | 基于密度图回归的卷积神经网络的花量统计方法、系统、设备及介质 |
| CN113327233A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
| CN114023387A (zh) * | 2022-01-05 | 2022-02-08 | 山东建筑大学 | 一种基于卷积神经网络的细胞反卷积预测方法 |
| TWI755176B (zh) * | 2020-11-26 | 2022-02-11 | 鴻海精密工業股份有限公司 | 細胞密度分類方法及裝置、電子裝置及存儲介質 |
| TWI769647B (zh) * | 2021-01-04 | 2022-07-01 | 鴻海精密工業股份有限公司 | 細胞密度確定方法、裝置、電腦裝置及儲存媒體 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| CN109166100A (zh) * | 2018-07-24 | 2019-01-08 | 中南大学 | 基于卷积神经网络的多任务学习细胞计数方法 |
| US20190147584A1 (en) * | 2017-11-15 | 2019-05-16 | NEC Laboratories Europe GmbH | System and method for single image object density estimation |
| CN110033440A (zh) * | 2019-03-21 | 2019-07-19 | 中南大学 | 基于卷积神经网络与特征融合的生物细胞计数方法 |
| CN110059568A (zh) * | 2019-03-21 | 2019-07-26 | 中南大学 | 基于深层卷积神经网络的多类白细胞自动识别方法 |
| CN110096979A (zh) * | 2019-04-19 | 2019-08-06 | 佳都新太科技股份有限公司 | 模型的构建方法、人群密度估计方法、装置、设备和介质 |
| CN110189292A (zh) * | 2019-04-15 | 2019-08-30 | 浙江工业大学 | 一种基于Faster R-CNN和密度估计的癌细胞检测方法 |
-
2019
- 2019-09-12 CN CN201910862923.0A patent/CN110659718B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| US20190147584A1 (en) * | 2017-11-15 | 2019-05-16 | NEC Laboratories Europe GmbH | System and method for single image object density estimation |
| CN109166100A (zh) * | 2018-07-24 | 2019-01-08 | 中南大学 | 基于卷积神经网络的多任务学习细胞计数方法 |
| CN110033440A (zh) * | 2019-03-21 | 2019-07-19 | 中南大学 | 基于卷积神经网络与特征融合的生物细胞计数方法 |
| CN110059568A (zh) * | 2019-03-21 | 2019-07-26 | 中南大学 | 基于深层卷积神经网络的多类白细胞自动识别方法 |
| CN110189292A (zh) * | 2019-04-15 | 2019-08-30 | 浙江工业大学 | 一种基于Faster R-CNN和密度估计的癌细胞检测方法 |
| CN110096979A (zh) * | 2019-04-19 | 2019-08-06 | 佳都新太科技股份有限公司 | 模型的构建方法、人群密度估计方法、装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| WEIDI XIE等: "Microscopy cell counting and detection with fully convolutional regression networks", 《COMPUTER METHODS IN BIOMECHANICS AND BIOMEDICAL ENGINEERING:IMAGING&VISUALIZATION》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353977A (zh) * | 2020-02-26 | 2020-06-30 | 杭州电子科技大学 | 一种基于深度学习的小颗粒物体计数系统及方法 |
| CN111539325A (zh) * | 2020-04-23 | 2020-08-14 | 四川旅游学院 | 基于深度学习的森林火灾探测方法 |
| CN111640101A (zh) * | 2020-05-29 | 2020-09-08 | 苏州大学 | 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法 |
| CN111640101B (zh) * | 2020-05-29 | 2022-04-29 | 苏州大学 | 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法 |
| CN111739057A (zh) * | 2020-06-03 | 2020-10-02 | 大连理工大学 | 一种基于U-net卷积神经网络模型的自由液面识别和提取方法 |
| CN111759298A (zh) * | 2020-07-10 | 2020-10-13 | 齐鲁工业大学 | 一种降低多参数监护仪心律失常误报警率的方法 |
| CN112465745A (zh) * | 2020-10-26 | 2021-03-09 | 脉得智能科技(无锡)有限公司 | 一种基于全卷积回归网络的细胞计数方法 |
| CN112465745B (zh) * | 2020-10-26 | 2024-04-16 | 脉得智能科技(无锡)有限公司 | 一种基于全卷积回归网络的细胞计数方法 |
| TWI755176B (zh) * | 2020-11-26 | 2022-02-11 | 鴻海精密工業股份有限公司 | 細胞密度分類方法及裝置、電子裝置及存儲介質 |
| CN112750106A (zh) * | 2020-12-31 | 2021-05-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| CN112750106B (zh) * | 2020-12-31 | 2022-11-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| TWI769647B (zh) * | 2021-01-04 | 2022-07-01 | 鴻海精密工業股份有限公司 | 細胞密度確定方法、裝置、電腦裝置及儲存媒體 |
| CN112750117B (zh) * | 2021-01-15 | 2024-01-26 | 河南中抗医学检验有限公司 | 一种基于卷积神经网络的血液细胞图像检测与计数方法 |
| CN112750117A (zh) * | 2021-01-15 | 2021-05-04 | 重庆邮电大学 | 一种基于卷积神经网络的血液细胞图像检测与计数方法 |
| CN112767349B (zh) * | 2021-01-18 | 2024-05-03 | 桂林优利特医疗电子有限公司 | 一种网织红细胞识别方法和系统 |
| CN112767349A (zh) * | 2021-01-18 | 2021-05-07 | 桂林优利特医疗电子有限公司 | 一种网织红细胞识别方法和系统 |
| CN113112459A (zh) * | 2021-03-26 | 2021-07-13 | 四川大学 | 口腔鳞状细胞癌分化程度预测系统 |
| CN113076909B (zh) * | 2021-04-16 | 2022-10-25 | 重庆大学附属肿瘤医院 | 一种细胞自动检测方法 |
| CN113076909A (zh) * | 2021-04-16 | 2021-07-06 | 重庆大学附属肿瘤医院 | 一种细胞自动检测方法 |
| CN113327233A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
| CN113326925B (zh) * | 2021-06-22 | 2023-11-28 | 华南农业大学 | 基于密度图回归的卷积神经网络的花量统计方法、系统、设备及介质 |
| CN113326925A (zh) * | 2021-06-22 | 2021-08-31 | 华南农业大学 | 基于密度图回归的卷积神经网络的花量统计方法、系统、设备及介质 |
| CN114023387B (zh) * | 2022-01-05 | 2022-04-22 | 山东建筑大学 | 一种基于卷积神经网络的细胞反卷积预测方法 |
| CN114023387A (zh) * | 2022-01-05 | 2022-02-08 | 山东建筑大学 | 一种基于卷积神经网络的细胞反卷积预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110659718B (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110659718B (zh) | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| CN110033440A (zh) | 基于卷积神经网络与特征融合的生物细胞计数方法 | |
| CN109886307A (zh) | 一种基于卷积神经网络的图像检测方法及系统 | |
| CN107563999A (zh) | 一种基于卷积神经网络的芯片缺陷识别方法 | |
| CN103761742B (zh) | 一种基于同质指数的高光谱遥感图像稀疏解混方法 | |
| CN108846426A (zh) | 基于深度双向lstm孪生网络的极化sar分类方法 | |
| CN106462771A (zh) | 一种3d图像的显著性检测方法 | |
| Waibel et al. | A diffusion model predicts 3d shapes from 2d microscopy images | |
| CN111832228B (zh) | 基于cnn-lstm的振动传递系统 | |
| CN109598220A (zh) | 一种基于多元输入多尺度卷积的人数统计方法 | |
| CN113177937B (zh) | 基于改进YOLOv4-tiny的布匹缺陷检测方法 | |
| CN114612714B (zh) | 基于课程学习的无参考图像质量评价方法 | |
| CN107491793B (zh) | 一种基于稀疏散射全卷积的极化sar图像分类方法 | |
| CN106023148A (zh) | 一种序列聚焦观测模式下恒星像点位置提取方法 | |
| CN110136133A (zh) | 一种基于卷积神经网络的脑肿瘤分割方法 | |
| CN113011306A (zh) | 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质 | |
| Holail et al. | Afde-net: Building change detection using attention-based feature differential enhancement for satellite imagery | |
| CN110852369B (zh) | 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法 | |
| CN103745466A (zh) | 一种基于独立成分分析的图像质量评价方法 | |
| CN110246171B (zh) | 一种实时单目视频深度估计方法 | |
| CN115424145A (zh) | 一种基于深度学习的行星遥感影像地表地形变化检测方法 | |
| CN115587985A (zh) | 组织病理图像细胞核分割以及染色风格规范化方法 | |
| CN109741301A (zh) | 一种更快的基于深度学习的密集目标计数方法 | |
| CN107392211A (zh) | 基于视觉稀疏认知的显著目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210618 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |