CN112465745A - 一种基于全卷积回归网络的细胞计数方法 - Google Patents
一种基于全卷积回归网络的细胞计数方法 Download PDFInfo
- Publication number
- CN112465745A CN112465745A CN202011152914.1A CN202011152914A CN112465745A CN 112465745 A CN112465745 A CN 112465745A CN 202011152914 A CN202011152914 A CN 202011152914A CN 112465745 A CN112465745 A CN 112465745A
- Authority
- CN
- China
- Prior art keywords
- image
- cell
- model
- full convolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 9
- 239000002771 cell marker Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 68
- 238000013527 convolutional neural network Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 208000014951 hematologic disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及医学图像技术领域，具体为一种基于全卷积回归网络的细胞计数方法，基于全卷积网络来完成密度估计，具体操作步骤如下：S1：图像预处理；S2：模型架构及训练；S3：多尺度块输入及融合。本发明基于深度学习，设计了一个利用全卷积回归网络来解决密度估计问题的CNN模型，解决了细胞计数问题基于密度估计的方法其图像特征提取算法性能局限性比较大，精度有限且泛化性能较弱的问题，本发明引入了DenseNet中的密集连接来加强原始U‑Net中的基本构造模块，可提高U‑Net中模型的特征表达能力以及更有效地训练模型。
Description
技术领域
本发明涉及医学图像技术领域，具体为一种基于全卷积回归网络的细胞计数方法。
背景技术
在医学图像研究领域，细胞显微图像是指通过将细胞制作成涂片，并借助显微镜等辅助工具所成的图像。其中，精确计量图像中细胞的个数是一个重要且关键的任务，其实际应用主要体现在医学检测、环境与食品安全和临床分析等方面。例如在医学检测方面，大多数血液疾病的早期症状都可以通血红细胞的数量的变化初步诊断出来。在临床分析方面，通过分析视网膜细胞密度可以诊断出视网膜脱离和复位之间的病理关系，通过白细胞数目的变化可以初步判断人体是否遭受病菌入侵等。因此，细胞数量的准确计量直接关系到后续图像分析任务的准确性和可重复性。
目前，有两种最常使用的细胞计数方式：人工技术和计算机自动计数。人工计数需要耗费大量的人工和精力，且计数精度严重依赖于不同的人的技巧和经验，可重复性差。在过去几十年以来，随着显微成像技术和图像处理算法的发展，借助计算机进行自动细胞计数越来越成为一种趋势。
按照计数原理的不同，细胞计数方法可以分为三类，即：基于检测的方法，基于回归的方法，基于密度估计的方法。基于检测的方法通过最直观的检测细胞的具体位置，然后进行统计得到细胞的总数。这种方法有很多缺陷，例如只适用于单一的细胞类型，多数算法都需要人工协助，具有很大的局限性。基于回归的方法通过对图像分块提取到目标细胞特征，然后利用回归建模，最后实现计数。其缺点是不适用于图像背景比较复杂，细胞形态差异较大的情形。基于密度估计的方法通过预测一张细胞密度图将计数问题转换为密度估计问题，其利用高斯滤波将标注的细胞点图转换为密度图，然后提取图像特征并训练回归模型来完成原始细胞图像到密度图的映射。这种方法相较前两种可以实现比较优良的计数精度，但其性能严重依赖于图像特征提取算法的性能。总之，以上大多数方法都依赖于通过传统的图像处理算法来提取特征来实现，但人工设计的特征局限性比较大，精度有限且泛化性能较弱。鉴于此，我们提出一种基于全卷积回归网络的细胞计数方法。
发明内容
为了弥补以上不足，本发明提供了一种基于全卷积回归网络的细胞计数方法。
本发明的技术方案是：
一种基于全卷积回归网络的细胞计数方法，基于全卷积网络来完成密度估计，具体操作步骤如下：
S1：图像预处理；
S2：模型架构及训练；
S3：多尺度块输入及融合。
作为本发明优选的技术方案，S1中图像预处理的具体操作为：需要将标记的细胞点图通过高斯滤波操作转换为密度图。在细胞标记点图中，每一个点代表了一个细胞，其大小为一个像素，将细胞标记点作为高斯核的中心，使用高斯滤波算法生成密度图，其公式定义为：
其中，
为所有细胞标记点的集合，
为高斯分布的均值点位置，
表示
处的二维高斯分布值，
为高斯分布的协方差矩阵，
就为
处所对应的密度值。
作为本发明优选的技术方案，S2中模型架构及训练中所使用的模型架构为CNN模型架构图，CNN模型属于一个端到端的深度学习模型，该模型的输入为原始细胞图像及其不同尺寸的降采样图像，而输出则为细胞密度图，其主要包含三个部分，即编码器，解码器以及处于中间的多尺度块。
作为本发明优选的技术方案，CNN模型架构图的左半部分为编码器，其反复利用交叉间隔的密集块及最大池化操作来提取细胞图像的图像特征，同时图像特征的分辨率逐渐降低，密集块有四个不同的版本，即DB-1到DB-4，分别代表着其包含不同数量的卷积块，从DB-1到DB-4，这四个阶段的图像特征分辨率也从原始的细胞图像大小逐次降低为原始大小的1/8，采用多尺度输入方式，即将原始图像的四个不同尺度输入到网络模型中，这四个尺度分别为：
其中
和
分别为原始细胞图像的高和宽，通过这种多尺度输入的方式，使得模型可以很好地提取到不同尺寸大小的细胞的图像特征，从而实现最终的精确计数。
作为本发明优选的技术方案，CNN模型架构图的右半部分为解码器，其反复利用交叉间隔的密集块及反卷积操作来进一步提取细胞图像的图像特征，同时逐渐恢复原始的输入图像尺寸，处于编码期与解码器中间的为多尺度块，在此处，利用多分支结构带有不同膨胀因子的膨胀卷积来进一步提取图像的多尺度特征，类似U-Net，编码器与解码器之间具有相同尺度的特征通过跳跃连接进行相连，从而提高特征的复用率以及缓解梯度爆炸/消失问题；
在细胞图像被输入到网络模型前，需要进行标准差标准化操作，即：
其中，
为标准化前的细胞图像，
为标准化后的细胞图像，
为所有训练细胞图像的均值，
则为所有训练细胞图像的标准差。
作为本发明优选的技术方案，CNN模型的输出层包含一个
的卷积，且CNN模型取消掉了最后的Sigmoid层或Softmax层，从而使得本模型执行的是一个逐像素回归任务，模型在该像素点的输出回归值即为该像素点在细胞密度图中的值，通过对模型输出的输出回归值进行求和计算，就可以得到该图像的细胞数量。
采用均方误差作为网络模型训练的损失函数，其定义为：
其中，
代表网络模型中所有能被训练的参数的集合，
为输入网络模型的标准化后的细胞图像，
表示所有训练细胞图像的个数，
表示
所对应的真实细胞密度图，
为模型预测的细胞密度图。
作为本发明优选的技术方案，CNN模型使用基于反向传播的优化算法或者其变种进行网络参数的更新训练。
作为本发明优选的技术方案，CNN模型的基本构成模块为带有密集连接的多层卷积层，即DB-1到DB-4，密集连接是指网络模块中的每一层都和其他所有层之间有直接的连接，对于每一层而言，它前面所有层的输出都是该层的输入，而它的输出又是后面每一层的输入，具体为，DB-1具有6个卷积层，DB-2具有12个卷积层，DB-3具有24个卷积层，DB-4具有16个卷积层，其中，每个卷据层都包含一个核大小为
的卷积操作以及线性整流函数操作。
作为本发明优选的技术方案，S3中多尺度块输入及融合的具体操作为：利用带有不同膨胀因子的膨胀卷积所构成的五个并行的支路来捕捉给定输入特征的多尺度特征，这五个并行的支路分别为：
（1）一个核大小为
的卷积操作，膨胀因子为1；
（2）两个串联的核大小为
的卷积操作，膨胀因子都为1；
（3）两个串联的核大小为
的卷积操作，膨胀因子都为2；
（4）两个串联的核大小为
的卷积操作，膨胀因子依次分别为2，4；
（5）两个串联的核大小为
的卷积操作，膨胀因子都为4；
所有五个并行支路的结果最后通过特征相加操作获得最终的特征图。
与现有技术相比，本发明的有益效果是：
1.本发明基于深度学习，设计了一个利用全卷积回归网络来解决密度估计问题的CNN模型，解决了细胞计数问题基于密度估计的方法其图像特征提取算法性能局限性比较大，精度有限且泛化性能较弱的问题。
2.本发明引入了DenseNet中的密集连接来加强原始U-Net中的基本构造模块，可提高U-Net中模型的特征表达能力以及更有效地训练模型。
3.本发明使用了多尺度输入以及多尺度特征融合技术，来增强神经网络模型对不同大小形态的细胞的特征提取能力，从而提高本方法的计数精度以及增强本方法对不同类别细胞的泛化能力，可解决细胞计数中不同类别细胞形态大小不一的挑战。
附图说明
图1为本发明中细胞图及其对应标记点图和密度图；
图2为本发明中本发明所使用的CNN模型架构图；
图3为本发明中密集连接示意图；
图4为本发明中多尺度块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅图1-4，本发明提供一种技术方案：
一种基于全卷积回归网络的细胞计数方法，基于全卷积网络来完成密度估计，具体操作步骤如下：
S1：图像预处理；
S2：模型架构及训练；
S3：多尺度块输入及融合。
作为本发明优选的实施例，S1中图像预处理的具体操作为：需要将标记的细胞点图通过高斯滤波操作转换为密度图。在细胞标记点图中，每一个点代表了一个细胞，其大小为一个像素，将细胞标记点作为高斯核的中心，使用高斯滤波算法生成密度图，其公式定义为：
其中，
为所有细胞标记点的集合，
为高斯分布的均值点位置，
表示
处的二维高斯分布值，
为高斯分布的协方差矩阵，
就为
处所对应的密度值。
作为本发明优选的实施例，S2中模型架构及训练中所使用的模型架构为CNN模型架构图，CNN模型属于一个端到端的深度学习模型，该模型的输入为原始细胞图像及其不同尺寸的降采样图像，而输出则为细胞密度图，其主要包含三个部分，即编码器，解码器以及处于中间的多尺度块。
作为本发明优选的实施例，CNN模型架构图的左半部分为编码器，其反复利用交叉间隔的密集块及最大池化操作来提取细胞图像的图像特征，同时图像特征的分辨率逐渐降低，密集块有四个不同的版本，即DB-1到DB-4，分别代表着其包含不同数量的卷积块，从DB-1到DB-4，这四个阶段的图像特征分辨率也从原始的细胞图像大小逐次降低为原始大小的1/8，采用多尺度输入方式，即将原始图像的四个不同尺度输入到网络模型中，这四个尺度分别为：
其中
和
分别为原始细胞图像的高和宽，通过这种多尺度输入的方式，使得模型可以很好地提取到不同尺寸大小的细胞的图像特征，从而实现最终的精确计数。
作为本发明优选的技术方案，CNN模型架构图的右半部分为解码器，其反复利用交叉间隔的密集块及反卷积操作来进一步提取细胞图像的图像特征，同时逐渐恢复原始的输入图像尺寸，处于编码期与解码器中间的为多尺度块，在此处，利用多分支结构带有不同膨胀因子的膨胀卷积来进一步提取图像的多尺度特征，类似U-Net，编码器与解码器之间具有相同尺度的特征通过跳跃连接进行相连，从而提高特征的复用率以及缓解梯度爆炸/消失问题；
在细胞图像被输入到网络模型前，需要进行标准差标准化操作，即：
其中，
为标准化前的细胞图像，
为标准化后的细胞图像，
为所有训练细胞图像的均值，
则为所有训练细胞图像的标准差。
作为本发明优选的实施例，CNN模型的输出层包含一个
的卷积，且CNN模型取消掉了最后的Sigmoid层或Softmax层，从而使得本模型执行的是一个逐像素回归任务，模型在该像素点的输出回归值即为该像素点在细胞密度图中的值，通过对模型输出的输出回归值进行求和计算，就可以得到该图像的细胞数量。
采用均方误差作为网络模型训练的损失函数，其定义为：
其中，
代表网络模型中所有能被训练的参数的集合，
为输入网络模型的标准化后的细胞图像，
表示所有训练细胞图像的个数，
表示
所对应的真实细胞密度图，
为模型预测的细胞密度图。
作为本发明优选的实施例，CNN模型使用基于反向传播的优化算法或者其变种进行网络参数的更新训练。
作为本发明优选的实施例，CNN模型的基本构成模块为带有密集连接的多层卷积层，即DB-1到DB-4，密集连接是指网络模块中的每一层都和其他所有层之间有直接的连接，对于每一层而言，它前面所有层的输出都是该层的输入，而它的输出又是后面每一层的输入，具体为，DB-1具有6个卷积层，DB-2具有12个卷积层，DB-3具有24个卷积层，DB-4具有16个卷积层，其中，每个卷据层都包含一个核大小为
的卷积操作以及线性整流函数（ReLU）操作。
作为本发明优选的实施例，S3中多尺度块输入及融合的具体操作为：利用带有不同膨胀因子的膨胀卷积所构成的五个并行的支路来捕捉给定输入特征的多尺度特征，这五个并行的支路分别为：
（1）一个核大小为
的卷积操作，膨胀因子为1；
（2）两个串联的核大小为
的卷积操作，膨胀因子都为1；
（3）两个串联的核大小为
的卷积操作，膨胀因子都为2；
（4）两个串联的核大小为
的卷积操作，膨胀因子依次分别为2，4；
（5）两个串联的核大小为
的卷积操作，膨胀因子都为4；
所有五个并行支路的结果最后通过特征相加操作获得最终的特征图。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种基于全卷积回归网络的细胞计数方法，其特征在于：基于全卷积网络来完成密度估计，具体操作步骤如下：
S1：图像预处理；
S2：模型架构及训练；
S3：多尺度块输入及融合。
2.根据权利要求1所描述的基于全卷积回归网络的细胞计数方法，其特征在于：S1中图像预处理的具体操作为：需要将标记的细胞点图通过高斯滤波操作转换为密度图,在细胞标记点图中，每一个点代表了一个细胞，其大小为一个像素，将细胞标记点作为高斯核的中心，使用高斯滤波算法生成密度图，其公式定义为：
其中，
为所有细胞标记点的集合，
为高斯分布的均值点位置，
表示
处的二维高斯分布值，
为高斯分布的协方差矩阵，
就为
处所对应的密度值。
3.根据权利要求1所描述的基于全卷积回归网络的细胞计数方法，其特征在于：S2中模型架构及训练中所使用的模型架构为CNN模型架构图，CNN模型属于一个端到端的深度学习模型，该模型的输入为原始细胞图像及其不同尺寸的降采样图像，而输出则为细胞密度图，其主要包含三个部分，即编码器，解码器以及处于中间的多尺度块。
4.根据权利要求3所描述的基于全卷积回归网络的细胞计数方法，其特征在于：CNN模型架构图的左半部分为编码器，其反复利用交叉间隔的密集块及最大池化操作来提取细胞图像的图像特征，同时图像特征的分辨率逐渐降低，密集块有四个不同的版本，即DB-1到DB-4，分别代表着其包含不同数量的卷积块，从DB-1到DB-4，这四个阶段的图像特征分辨率也从原始的细胞图像大小逐次降低为原始大小的1/8，采用多尺度输入方式，即将原始图像的四个不同尺度输入到网络模型中，这四个尺度分别为：
其中
和
分别为原始细胞图像的高和宽，通过这种多尺度输入的方式，使得模型可以很好地提取到不同尺寸大小的细胞的图像特征，从而实现最终的精确计数。
5.根据权利要求3所描述的基于全卷积回归网络的细胞计数方法，其特征在于：CNN模型架构图的右半部分为解码器，其反复利用交叉间隔的密集块及反卷积操作来进一步提取细胞图像的图像特征，同时逐渐恢复原始的输入图像尺寸，处于编码期与解码器中间的为多尺度块，在此处，利用多分支结构带有不同膨胀因子的膨胀卷积来进一步提取图像的多尺度特征，类似U-Net，编码器与解码器之间具有相同尺度的特征通过跳跃连接进行相连，从而提高特征的复用率以及缓解梯度爆炸/消失问题；
在细胞图像被输入到网络模型前，需要进行标准差标准化操作，即：
其中，
为标准化前的细胞图像，
为标准化后的细胞图像，
为所有训练细胞图像的均值，
则为所有训练细胞图像的标准差。
6.根据权利要求3所描述的基于全卷积回归网络的细胞计数方法，其特征在于：CNN模型的输出层包含一个
的卷积，且CNN模型取消掉了最后的Sigmoid层或Softmax层，从而使得本模型执行的是一个逐像素回归任务，模型在该像素点的输出回归值即为该像素点在细胞密度图中的值，通过对模型输出的输出回归值进行求和计算，就可以得到该图像的细胞数量，采用均方误差作为网络模型训练的损失函数，其定义为：
其中，
代表网络模型中所有能被训练的参数的集合，
为输入网络模型的标准化后的细胞图像，
表示所有训练细胞图像的个数，
表示
所对应的真实细胞密度图，
为模型预测的细胞密度图。
7.根据权利要求3所描述的基于全卷积回归网络的细胞计数方法，其特征在于：CNN模型使用基于反向传播的优化算法或者其变种进行网络参数的更新训练。
8.根据权利要求3所描述的基于全卷积回归网络的细胞计数方法，其特征在于：CNN模型的基本构成模块为带有密集连接的多层卷积层，即DB-1到DB-4，密集连接是指网络模块中的每一层都和其他所有层之间有直接的连接，对于每一层而言，它前面所有层的输出都是该层的输入，而它的输出又是后面每一层的输入，具体为，DB-1具有6个卷积层，DB-2具有12个卷积层，DB-3具有24个卷积层，DB-4具有16个卷积层，其中，每个卷据层都包含一个核大小为
的卷积操作以及线性整流函数操作。
9.根据权利要求1所描述的基于全卷积回归网络的细胞计数方法，其特征在于：S3中多尺度块输入及融合的具体操作为：利用带有不同膨胀因子的膨胀卷积所构成的五个并行的支路来捕捉给定输入特征的多尺度特征，这五个并行的支路分别为：
（1）一个核大小为
的卷积操作，膨胀因子为1；
（2）两个串联的核大小为
的卷积操作，膨胀因子都为1；
（3）两个串联的核大小为
的卷积操作，膨胀因子都为2；
（4）两个串联的核大小为
的卷积操作，膨胀因子依次分别为2，4；
（5）两个串联的核大小为
的卷积操作，膨胀因子都为4；
所有五个并行支路的结果最后通过特征相加操作获得最终的特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152914.1A CN112465745B (zh) | 2020-10-26 | 2020-10-26 | 一种基于全卷积回归网络的细胞计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152914.1A CN112465745B (zh) | 2020-10-26 | 2020-10-26 | 一种基于全卷积回归网络的细胞计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465745A true CN112465745A (zh) | 2021-03-09 |
| CN112465745B CN112465745B (zh) | 2024-04-16 |
Family
ID=74835200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011152914.1A Active CN112465745B (zh) | 2020-10-26 | 2020-10-26 | 一种基于全卷积回归网络的细胞计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465745B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327233A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
| CN115018784A (zh) * | 2022-05-31 | 2022-09-06 | 广东电网有限责任公司 | 一种导线散股缺陷的检测方法、装置、设备及介质 |
| WO2024011400A1 (zh) * | 2022-07-12 | 2024-01-18 | 福州迈新生物技术开发有限公司 | 生成用于计算浸润性乳腺癌细胞Ki-67计数的训练数据的方法、存储设备和试剂盒 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166100A (zh) * | 2018-07-24 | 2019-01-08 | 中南大学 | 基于卷积神经网络的多任务学习细胞计数方法 |
| CN110033440A (zh) * | 2019-03-21 | 2019-07-19 | 中南大学 | 基于卷积神经网络与特征融合的生物细胞计数方法 |
| CN110659718A (zh) * | 2019-09-12 | 2020-01-07 | 中南大学 | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 |
| CN111242036A (zh) * | 2020-01-14 | 2020-06-05 | 西安建筑科技大学 | 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法 |
| CN111598892A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 一种基于Res2-UNeXt网络结构的细胞图像分割方法 |
-
2020
- 2020-10-26 CN CN202011152914.1A patent/CN112465745B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166100A (zh) * | 2018-07-24 | 2019-01-08 | 中南大学 | 基于卷积神经网络的多任务学习细胞计数方法 |
| CN110033440A (zh) * | 2019-03-21 | 2019-07-19 | 中南大学 | 基于卷积神经网络与特征融合的生物细胞计数方法 |
| CN110659718A (zh) * | 2019-09-12 | 2020-01-07 | 中南大学 | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 |
| CN111242036A (zh) * | 2020-01-14 | 2020-06-05 | 西安建筑科技大学 | 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法 |
| CN111598892A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 一种基于Res2-UNeXt网络结构的细胞图像分割方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327233A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
| CN115018784A (zh) * | 2022-05-31 | 2022-09-06 | 广东电网有限责任公司 | 一种导线散股缺陷的检测方法、装置、设备及介质 |
| CN115018784B (zh) * | 2022-05-31 | 2024-03-12 | 广东电网有限责任公司 | 一种导线散股缺陷的检测方法、装置、设备及介质 |
| WO2024011400A1 (zh) * | 2022-07-12 | 2024-01-18 | 福州迈新生物技术开发有限公司 | 生成用于计算浸润性乳腺癌细胞Ki-67计数的训练数据的方法、存储设备和试剂盒 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465745B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465745A (zh) | 一种基于全卷积回归网络的细胞计数方法 | |
| CN109446992B (zh) | 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备 | |
| CN111126202B (zh) | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 | |
| CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
| CN108596203B (zh) | 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法 | |
| CN107886117A (zh) | 基于多特征提取和多任务融合的目标检测算法 | |
| CN112529839B (zh) | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 | |
| CN106408015A (zh) | 基于卷积神经网络的岔路口识别及深度估计方法 | |
| CN110084237A (zh) | 肺结节的检测模型构建方法、检测方法和装置 | |
| CN110033440A (zh) | 基于卷积神经网络与特征融合的生物细胞计数方法 | |
| CN106408001A (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
| CN110020652A (zh) | 隧道衬砌裂缝图像的分割方法 | |
| CN110532928A (zh) | 基于面部区域规范化和可变形沙漏网络的面部关键点检测方法 | |
| CN106991049A (zh) | 一种软件缺陷预测方法及预测系统 | |
| CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
| CN115223017B (zh) | 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法 | |
| CN108765374A (zh) | 一种宫颈涂片图像中异常核区域筛查的方法 | |
| CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
| CN112784767A (zh) | 基于白细胞显微图像的细胞实例分割算法 | |
| CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
| CN113177927A (zh) | 基于多特征和多分类器的骨髓细胞分类识别方法及系统 | |
| Lu et al. | Breast cancer mitotic cell detection using cascade convolutional neural network with U-Net | |
| CN109472228A (zh) | 一种基于深度学习的哈欠检测方法 | |
| Cheng et al. | Improved faster RCNN for white blood cells detection in blood smear image | |
| CN110147715A (zh) | 一种视网膜OCT图像Bruch膜开角自动检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |