CN113379672A - 一种基于深度学习的细胞图像分割方法 - Google Patents
一种基于深度学习的细胞图像分割方法 Download PDFInfo
- Publication number
- CN113379672A CN113379672A CN202110459173.XA CN202110459173A CN113379672A CN 113379672 A CN113379672 A CN 113379672A CN 202110459173 A CN202110459173 A CN 202110459173A CN 113379672 A CN113379672 A CN 113379672A
- Authority
- CN
- China
- Prior art keywords
- cell
- multiplied
- cell image
- model
- image segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003709 image segmentation Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 15
- 238000000338 in vitro Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000013526 transfer learning Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 31
- 101150064138 MAP1 gene Proteins 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004113 cell culture Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 101150009249 MAP2 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的细胞图像分割方法,属于图像处理领域。本发明具体是使用改进后的Mask R‑CNN网络对试管孔内的细胞进行分割,获取细胞图像,建立数字图像数据集,将特征学习融入到建立模型的过程中,对试管孔的细胞进行准确的检测分割。实现快速,低成本,精确的自动化检测技术,有利于提高的检测效率。
Description
技术领域
本发明属于图像处理领域,具体涉及一种基于深度学习的细胞图像分割方法。
背景技术
在医学图像处理中,经常需要对图像中的细胞从背景中分割出来,以分析其轮廓、内部结构等方面的变化,从而为医学上的鉴定提供依据。传统的细胞图像分割需要依赖于人工进行,但是当图像中细胞数量较多时,人工分割的方法从效率上往往无法满足应用需求。因此,近年来,随着人工智能的不断发展,开始逐渐在细胞图像分割中引入了机器学习技术,这是理论和技术两方面发展的必然结果,具有极其远大的应用前景。
机器学习通常通过神经网络模型来实现,其中近年来提出的Mask R-CNN在医学图像分割中往往具有较好的性能。Mask R-CNN是何凯明等在文献“.Mask r-cnn.arXiv:1703.06870,2017”中于2017年在Faster R-CNN的基础上,借鉴FCN网络,在其现有边界框识别分支的基础上,扩展了分割掩码分支,实现了目标检测、目标分类及实例分割的功能,完成了端到端的像素级分割,是目前目标物体识别和分割的优秀算法之一。在机器学习的最新发展中,单任务的网络结构已经逐渐不再引人瞩目,取而代之的是集成、复杂、高效的多任务网络模型;Mask R-CNN就是典型的代表。Mask R-CNN网络的结构主要分为四个部分,分别为特征提取网络、区域建议网络(Region Proposal Network,RPN)、RoIAlign层以及全连接层。该算法首先将待检测图像通过预训练好的卷积神经网络,即特征金字塔网络(Feature Pyramid Network,FPN)中进行特征提取,获取特征图,同时对每个卷积层进行特征融合。在RPN网络中,会在提取的特征图产生若干候选区域,这些候选区域在RoIAlign层中会被进行下采样处理得到固定维度的特征向量,最后在全连接层实现对目标物体的定位、分类和分割。
Resnet即残差网络,是何凯明团队在文献“Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778”中于2016年提出的使用直接映射来连接网络不同层的方法。Resnet由一系列残差块组成的。残差块分成两部分直接映射部分和残差部分,h(x1)是直接映射;F(xl,Wl)是残差部分,一般由两个或者三个卷积操作构成,其中,addition是指单位加操作,ReLU是激活函数。
ResNet网络架构中具有几种常见深度的ResNet,分别是ResNet18,ResNet34,ResNet50,ResNet101,ResNet152。这几种深度的网络都由conv1、conv2_x、conv3_x、conv4_x、conv5_x组成。其中conv2_x、conv3_x、conv4_x、conv5_x又称为结构块(buildingblock),里面包含残差网络,因此可以用res来表示。那么ResNet50可以表示为[res3 res4res6 res3],ResNet101则表示为[res3 res4res23res3]。而每个building block又有相应的层组成。
但是,细胞图像相对于其他医学图像具有较高的复杂度,直接采用Mask R-CNN往往存在精度不足,准确性不高的问题。因此,需要对传统的Mask R-CNN进行改进,使其能够满足细胞图像分割的要求。
发明内容
本发明的目的在于解决现有技术中存在的问题,并提供一种基于深度学习的细胞图像分割方法。
本发明所采用的具体技术方案如下:
一种基于深度学习的细胞图像分割方法,其步骤如下:
S1、构建试管内细胞图像的数据集,每张试管内细胞图像中带有细胞轮廓的标签;
S2、基于所述数据集,通过迁移学习的方法训练细胞图像分割模型;所述细胞图像分割模型由Mask R-CNN网络基础上增加Enhance-Block模块而成,输入图像经过Resnet50网络和FPN网络进行特征提取得到原始特征图后,输入Enhance-Block模块中进行通道和像素点的增强,再将增强后的特征图送入RPN网络得到目标候选框;所述目标候选框和增强后的特征图一并输入RoIAlign层中,最后将RoIAlign层输出的特征向量经过全连接层输出所述输入图像中的细胞分割结果;其中,在所述Enhance-Block模块中,先对宽度×高度×通道数为W×H×C的所述原始特征图的每一个通道进行全局平均池化,得到的1×1×C的第一向量,然后将第一向量通过两层全连接层之后使用sigmoid函数映射到(0,1)区间,得到C个通道映射值;再将每个通道的通道映射值分别乘到所述原始特征图的对应通道上,得到W×H×C的中间特征图;再针对中间特征图中每一个像素点的所有通道值求平均得到通道均值,中间特征图中所有像素点的通道均值组成W×H×1的第二向量,将第二向量送入两层全连接后使用sigmoid函数映射到(0,1)区间,得到W×H个像素点映射值;将每个像素点的像素点映射值分别乘到所述中间特征图的对应像素点上,得到W×H×C的增强后的特征图;
S3、将待分割的试管内细胞图像输入S2中训练后的细胞图像分割模型中,输出图像中的细胞分割结果。
作为优选,所述S2中,所述试管内细胞图像为培养细胞的细胞板的俯拍图像。
作为优选,所述S2中,数据集中每张试管内细胞图像均用labelme软件辅助标注,生成每张图片对应的标注文件,并转化成coco数据集的文件夹结构。
作为优选,所述S2中,所述数据集划分为训练集和验证集,训练集用于训练细胞图像分割模型,待训练后的模型在验证集上的测试结果满足要求时,完成模型训练。
作为优选,所述S2中,通过迁移学习的方法训练细胞图像分割模型时利用预训练好的Mask R-CNN模型初始化Resnet50网络和FPN网络的参数,然后利用所述数据集对RPN网络、Enhance-Block模块、RoIAlign层及全连接层的网络参数进行优化。
作为优选,所述S2中,模型训练时通过随机梯度下降算法更新优化模型参数。
作为优选,所述S2中,细胞图像分割模型输出的细胞分割结果包含输入图像中细胞的类别、标注框和掩膜。
本发明相对于现有技术而言,具有以下有益效果:
本发明与传统分类方法相比的有益效果如下:
本发明基于改进后的Mask R-CNN网络的方法具有较低的复杂度和较高的准确性。该方法以细胞图像为对象,将特征学习融入到建立模型的过程中,从而减少了人为设计特征造成的不完备性;不仅可以使用其语义分割分支对试管中的细胞进行准确的检测分割,自主进行特征学习,而且能够精确分割,以此实现对细胞的快速检测与智能预测,进模型的可扩展性和可迁移性。而且本发明有望用于实现快速,低成本,精确,实时的自动化检测技术。
附图说明
图1为本发明改进的Mask R-CNN网络架构。
图2为标注图片;其中a标注前图片,b标注后的图片。
图3为Mask R-CNN训练所需数据结构图。
图4为本发明实施例中的细胞图像分割结果。
图5为E-Block模块结构。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下,均可进行相应组合。
本发明提出一种基于深度学习的细胞分割方法,细胞分割方法是基于改进后的Mask R-CNN的语义分割网络针对细胞图像实现建模,该模型可实现端到端训练,包括如下步骤:
S1、构建试管内细胞图像的数据集,每张试管内细胞图像中带有细胞轮廓的标签。数据集需要满足模型的输入要求,具体的构建过程可根据实际进行调整。试管内细胞图像可以是细胞培养板在培养过程中的俯拍图像,其中每一个培养试管中均含有细胞培养液,在医学检测过程中经常需要从中分割出细胞图像,以便于分析其细胞形态。
S2、基于上述数据集,可通过迁移学习的方法训练细胞图像分割模型。
如图1所示,细胞图像分割模型由Mask R-CNN网络基础上增加Enhance-Block模块而成。Mask R-CNN网络包含Resnet、FPN、RPN、RoIAlign以及两层全连接层组成的head等模块,各模块与现有技术一致,不再赘述。本发明中的残差网络Resnet采用Resnet50。模块的输入图像经过Resnet50网络和FPN网络进行特征提取得到原始特征图后,输入增强模块Enhance-Block模块中进行通道和像素点的增强,再将增强后的特征图送入RPN网络(Region Proposal Network,RPN)得到目标候选框。目标候选框和增强后的特征图一并输入RoIAlign层中,最后将RoIAlign层输出的特征向量经过全连接层(fully connectedlayers,FC)输出输入图像中的细胞分割结果。
其中,Enhance-Block模块的输入为Resnet50+FPN输出的W×H×C的原始特征图(Feature Map),W、H、C分别为宽度、高度、通道数。在Enhance-Block模块中,先对输入的原始特征图的每一个通道进行全局平均池化(Global Average Pooling,GAP),每一个通道得到一个池化均值,由此得到的1×1×C的第一向量。然后将第一向量通过两层全连接层之后使用sigmoid函数映射到(0,1)区间,一共得到C个通道映射值,每一个映射值分别对应于一个通道。再将每个通道的通道映射值分别乘到前述原始特征图的对应通道上,即每一个通道中的各像素值分别乘上对应的通道映射值,由此得到W×H×C的中间特征图FeatureMap1。再针对前述中间特征图Feature Map1中每一个像素点,计算每一个像素点的所有C个通道值的均值,得到每一个像素点对应的通道均值。中间特征图Feature Map1中所有像素点的通道均值组成W×H×1的第二向量,将第二向量展开送入两层全连接后使用sigmoid函数映射到(0,1)区间,得到W×H个像素点映射值,每一个像素点映射值分别对应于一个像素点位置。将每个像素点的像素点映射值按照位置的完全对应关系,分别乘到中间特征图Feature Map1的对应像素点上,得到W×H×C的增强后的特征图Feature Map2。Enhance-Block模块的结构可参见图5。
上述Enhance-Block模块中,两种映射值可分别视为权重,分别对原始特征图的通道和像素进行了强化。因此在Enhance-Block模块中,对于特征提取网络输出的特征图,相当于对其每一个通道设置一个权重,通过网络训练出权重的值,增强需要重点关注的通道,有利于分类;然后再对每一个像素设置另一个权重,强化空间信息,有利于边界框的回归。
上述细胞图像分割模型在训练前,可将数据集至少划分为训练集和验证集,训练集用于训练细胞图像分割模型,待训练后的模型在验证集上的测试结果满足要求时,完成模型训练。另外,该模型可通过迁移学习的方法进行训练,以加快训练速度和提高模型分割准确性。迁移学习的具体方法属于现有技术,不再赘述。本发明在通过迁移学习的方法训练细胞图像分割模型时,可利用coco数据集预训练好Mask R-CNN模型,然后用预训练好的Mask R-CNN模型初始化本发明的模型中的Resnet50网络和FPN网络的参数,然后利用训练集对本发明模型中剩余的RPN网络、Enhance-Block模块、RoIAlign层及全连接层的网络参数进行优化,参数优化器(Optimizer)可采用随机梯度下降算法(Stochastic GradientDescent,SGD)。
S3、将待分割的试管内细胞图像输入S2中训练后的细胞图像分割模型中,输出图像中的细胞分割结果。
根据Mask R-CNN模型的原理,细胞图像分割模型输出的细胞分割结果一般包含输入图像中细胞的类别、标注框和掩码(mask)三种,可根据该结果判断图像中的细胞所处位置以及边界。
下面将上述方法应用于一个具体实施例中,以展示其具体实现过程。
实施例
本实施例中,基于深度学习的细胞图像分割方法具体步骤如下:
(1)获取细胞板图像。
细胞板图像通过俯拍细胞培养板获得,细胞培养板中含有大量阵列排布的细胞培养试管。需要使用labelme软件对试管进行标注,标注出其中存在的细胞,对应的标注标签为colony。标注后生成每张图片会生成相应的json文件。标注结果如图2所示,其中a为标注前图片;b为标注后的图片。
(2)建立数字图像数据集
对标注后生成的json文件进行处理,将数字图像数据集划分为训练集、验证集和测试集,使用labelme2coco.py文件转化成Mask R-CNN运行所需要的coco数据集的文件夹结构。图3所示,为Mask R-CNN训练所需的数据结构。
(3)构建细胞图像分割模型
如图1所示,细胞图像分割模型由Mask R-CNN网络基础上增加Enhance-Block模块而成,输入图像经过Resnet50网络和FPN网络进行特征提取得到原始特征图后,输入Enhance-Block模块中进行通道和像素点的增强,再将增强后的特征图送入RPN网络得到目标候选框;目标候选框和增强后的特征图一并输入RoIAlign层中,最后将RoIAlign层输出的特征向量经过全连接层输出输入图像中的细胞分割结果。
其中,在Enhance-Block模块中,先对宽度×高度×通道数为W×H×C的原始特征图的每一个通道进行全局平均池化,得到的1×1×C的第一向量,然后将第一向量通过两层全连接层之后使用sigmoid函数映射到(0,1)区间,得到C个通道映射值;再将每个通道的通道映射值分别乘到原始特征图的对应通道上,得到W×H×C的中间特征图;再针对中间特征图中每一个像素点的所有通道值求平均得到通道均值,中间特征图中所有像素点的通道均值组成W×H×1的第二向量,将第二向量送入两层全连接后使用sigmoid函数映射到(0,1)区间,得到W×H个像素点映射值;将每个像素点的像素点映射值分别乘到中间特征图的对应像素点上,得到W×H×C的增强后的特征图;
(4)采用迁移学习的方法对模型进行训练。
事先使用coco数据集对传统的Mask R-CNN模型进行训练,传统Mask R-CNN与本发明改进的Mask R-CNN相比区别在于没有Enhance-Block模块。在对本发明的细胞图像分割模型进行训练前,先将预训练好的传统Mask R-CNN模型中Resnet50网络和FPN网络的参数迁移至本发明改进的Mask R-CNN模型中,然后利用本发明构建的训练集对剩余的RPN网络、Enhance-Block模块、RoIAlign层及全连接层的网络参数进行优化,参数优化方法可采用随机梯度下降算法。因此,本发明改进的Mask R-CNN模型中,特征提取层即Resnet50网络和FPN网络的参数在初始化后均保持不变,以便于提取细胞的有效特征并缩短模型的训练时间。对于其他层的结构RPN、RoIAlign层及全连接层则利用细胞图像进行再训练,通过进一步优化提高对特定细胞图像分割的准确率。
本发明中,基于Mask R-CNN采用目标检测框架MMDetection搭建的深度神经网络模型;在实验过程中,采用ResNet50和FPN网络进行训练;训练12个周期epoch,选择layers为all,提高分割和分类的准确率。
模型的超参设定如下:优化器(Optimizer)选用随机梯度下降算法(StochasticGradient Descent,SGD),用于更新优化模型参数;在训练过程中的超参设置如表1所示。
表1 Mask R-CNN模型超参数设定
(5)模型训练完毕后,将前述的测试集作为待分割的试管内细胞图像输入训练后的细胞图像分割模型中,输出图像中的细胞分割结果,细胞分割结果包含输入图像中细胞的类别、标注框和掩膜。最终一个实例中,预测和分割结果如图4所示分类分割结果。
另外,为了对比说明本发明中使用Enhance-Block模块的作用,本实施例设置了一个对照试验,对照试验与本实施例前述方法的区别在于细胞图像分割模型不设置Enhance-Block模块,采用传统的Mask R-CNN模型,对比如表2所示。
表2是否使用Enhance-Block模块在数据集上的对比结果
从上述结果可见,本发明中通过采用Enhance-Block模块,在通道和像素两个维度上均对特征图进行了增强,大大提高了对细胞图像的分类和分割准确率。因此,本发明将特征学习融入到建立模型的过程中,对试管孔的细胞进行准确的检测分,可以实现快速,低成本,精确的自动化检测技术,有利于提高的细胞检测效率。
以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (7)
1.一种基于深度学习的细胞图像分割方法,其特征在于,步骤如下:
S1、构建试管内细胞图像的数据集,每张试管内细胞图像中带有细胞轮廓的标签;
S2、基于所述数据集,通过迁移学习的方法训练细胞图像分割模型;所述细胞图像分割模型由Mask R-CNN网络基础上增加Enhance-Block模块而成,输入图像经过Resnet50网络和FPN网络进行特征提取得到原始特征图后,输入Enhance-Block模块中进行通道和像素点的增强,再将增强后的特征图送入RPN网络得到目标候选框;所述目标候选框和增强后的特征图一并输入RoIAlign层中,最后将RoIAlign层输出的特征向量经过全连接层输出所述输入图像中的细胞分割结果;其中,在所述Enhance-Block模块中,先对宽度×高度×通道数为W×H×C的所述原始特征图的每一个通道进行全局平均池化,得到的1×1×C的第一向量,然后将第一向量通过两层全连接层之后使用sigmoid函数映射到(0,1)区间,得到C个通道映射值;再将每个通道的通道映射值分别乘到所述原始特征图的对应通道上,得到W×H×C的中间特征图;再针对中间特征图中每一个像素点的所有通道值求平均得到通道均值,中间特征图中所有像素点的通道均值组成W×H×1的第二向量,将第二向量送入两层全连接后使用sigmoid函数映射到(0,1)区间,得到W×H个像素点映射值;将每个像素点的像素点映射值分别乘到所述中间特征图的对应像素点上,得到W×H×C的增强后的特征图;
S3、将待分割的试管内细胞图像输入S2中训练后的细胞图像分割模型中,输出图像中的细胞分割结果。
2.如权利要求1所述的基于深度学习的细胞图像分割方法,其特征在于,所述S2中,所述试管内细胞图像为培养细胞的细胞板的俯拍图像。
3.如权利要求1所述的基于深度学习的细胞图像分割方法,其特征在于,所述S2中,数据集中每张试管内细胞图像均用labelme软件辅助标注,生成每张图片对应的标注文件,并转化成coco数据集的文件夹结构。
4.如权利要求1所述的基于深度学习的细胞图像分割方法,其特征在于,所述S2中,所述数据集划分为训练集和验证集,训练集用于训练细胞图像分割模型,待训练后的模型在验证集上的测试结果满足要求时,完成模型训练。
5.如权利要求1所述的基于深度学习的细胞图像分割方法,其特征在于,所述S2中,通过迁移学习的方法训练细胞图像分割模型时利用预训练好的Mask R-CNN模型初始化Resnet50网络和FPN网络的参数,然后利用所述数据集对RPN网络、Enhance-Block模块、RoIAlign层及全连接层的网络参数进行优化。
6.如权利要求1所述的基于深度学习的细胞图像分割方法,其特征在于,所述S2中,模型训练时通过随机梯度下降算法更新优化模型参数。
7.如权利要求1所述的基于深度学习的细胞图像分割方法,其特征在于,所述S2中,细胞图像分割模型输出的细胞分割结果包含输入图像中细胞的类别、标注框和掩膜。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110459173.XA CN113379672B (zh) | 2021-04-27 | 2021-04-27 | 一种基于深度学习的细胞图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110459173.XA CN113379672B (zh) | 2021-04-27 | 2021-04-27 | 一种基于深度学习的细胞图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113379672A true CN113379672A (zh) | 2021-09-10 |
CN113379672B CN113379672B (zh) | 2024-02-02 |
Family
ID=77570097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110459173.XA Active CN113379672B (zh) | 2021-04-27 | 2021-04-27 | 一种基于深度学习的细胞图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113379672B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723845A (zh) * | 2020-05-19 | 2020-09-29 | 浙江工业大学 | 一种基于Mask轮廓的细胞图像分割方法 |
CN112330616A (zh) * | 2020-10-28 | 2021-02-05 | 上海交通大学 | 一种脑脊液细胞图像自动化识别和计数的方法 |
-
2021
- 2021-04-27 CN CN202110459173.XA patent/CN113379672B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723845A (zh) * | 2020-05-19 | 2020-09-29 | 浙江工业大学 | 一种基于Mask轮廓的细胞图像分割方法 |
CN112330616A (zh) * | 2020-10-28 | 2021-02-05 | 上海交通大学 | 一种脑脊液细胞图像自动化识别和计数的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113379672B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110111340B (zh) | 基于多路割的弱监督实例分割方法 | |
CN110287849B (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
CN106157319B (zh) | 基于卷积神经网络的区域和像素级融合的显著性检测方法 | |
CN109598268B (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
WO2022111219A1 (zh) | 一种域自适应设备运检系统和方法 | |
CN110852267B (zh) | 基于光流融合型深度神经网络的人群密度估计方法及装置 | |
CN104992223A (zh) | 基于深度学习的密集人数估计方法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN110334589A (zh) | 一种基于空洞卷积的高时序3d神经网络的动作识别方法 | |
CN110032952B (zh) | 一种基于深度学习的道路边界点检测方法 | |
CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
CN110263855B (zh) | 一种利用共基胶囊投影进行图像分类的方法 | |
CN115167442A (zh) | 一种输电线路巡检路径规划方法及系统 | |
CN112766315A (zh) | 一种用于测试人工智能模型鲁棒性的方法和系统 | |
CN112613428B (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
CN112528845B (zh) | 一种基于深度学习的物理电路图识别方法及其应用 | |
CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
CN114548256A (zh) | 一种基于对比学习的小样本珍稀鸟类识别方法 | |
Maggiolo et al. | Improving maps from CNNs trained with sparse, scribbled ground truths using fully connected CRFs | |
CN114862768A (zh) | 基于改进YOLOv5-LITE轻量级的配电组件缺陷识别方法 | |
CN109919215B (zh) | 基于聚类算法改进特征金字塔网络的目标检测方法 | |
CN115713546A (zh) | 移动终端设备用的轻量化目标跟踪算法 | |
CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
CN116883741A (zh) | 一种基于金字塔注意力机制的小样本虫害检测方法 | |
CN116824330A (zh) | 一种基于深度学习的小样本跨域目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |