CN112949378A - 一种基于深度学习网络的细菌显微图像分割方法 - Google Patents
一种基于深度学习网络的细菌显微图像分割方法 Download PDFInfo
- Publication number
- CN112949378A CN112949378A CN202011612198.0A CN202011612198A CN112949378A CN 112949378 A CN112949378 A CN 112949378A CN 202011612198 A CN202011612198 A CN 202011612198A CN 112949378 A CN112949378 A CN 112949378A
- Authority
- CN
- China
- Prior art keywords
- image
- net
- deep learning
- bacterial
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000001580 bacterial effect Effects 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000003709 image segmentation Methods 0.000 title claims abstract description 30
- 241000894006 Bacteria Species 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000012795 verification Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012258 culturing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 8
- 241000588724 Escherichia coli Species 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
Abstract
一种基于深度学习网络的细菌显微图像分割方法，包括如下步骤：1)培养细菌，并在显微镜下按照固定时间间隔拍摄一组细菌生长图片，进行图像预处理，构建彼此之间没有交集的训练集、验证集和测试集，且训练集包括原始图像和相对应的标签图像，验证集和测试集分别只包含原始图像；2)构建U‑Net++模型，其具有编码器模块和解码器模块，编码器模块进行特征提取，解码器模块进行特征还原解码到原图的尺寸，将训练集输入U‑Net++模型进行训练，再将验证集输入训练后的U‑Net++模型进行验证，得到训练好的U‑Net++模型；3)将测试集输入训练好的U‑Net++模型，输出二值化分割图像。本发明的方法，能快速而又精准的对细菌显微图像进行自动分割，省去前期过多复杂的图像预处理环节，节省时间。
Description
技术领域
本发明涉及细菌显微镜图像分割领域，特别是指一种基于深度学习网络的细菌显微图像分割方法。
背景技术
在对图像的研究和处理中，往往图像中包含的信息不是我们都感兴趣的，我们会根据需求，大脑会自动来判断哪些是我们需要的图像信息，并且往往这种特定的包含我们想要信息的图像部分对应于图像中具有特殊性质(边缘，形状，颜色等)，在生物图像处理中我们常称为前景，相应的其他图像部分为背景。在生物领域中，培育的细菌在显微镜下成像，这些成像的图片往往受到显微镜对焦面改变、培养基中的杂志以及环境亮度等因素影响，这些包含噪音的图像往往使得研究人员很难将细菌和背景很清楚的分离开，也就影响后续的一些判断。
目前，生物图像处理领域中的图像分割方法主要分为：1.利用数字图像处理、拓扑学、统计学、数学等方面来进行图像分割的传统方法。2.近几年随着算力的增加以及深度学习的井喷式发展，基于深度学习的方法对于图像分割领域越来越占有不可取代的地位。
传统的方法主要包括：
1.基于阈值的分割方法：它的主要思想是根据图像的灰度特征来计算单个或多个灰度阈值，然后遍历图像中所有像素，将其灰度值和设置的阈值经行比较，大于阈值的像素设置为前景，小于阈值的像素设置为背景。它的优点是计算简单，效率高，缺点也很明显：根本没有考虑空间的特征，对图像中的噪声极其敏感，鲁棒性差。
2.基于边缘检测的分割算法：它是通过聚焦检测不同区域的边缘像素来解决分割问题的。比较有代表性的有梯度算法、Roberts算法、Sobel算法、Laplacian算法等，它的优点是速度快和边缘检测准确，缺点是他只能检测边缘像素，不能保证边缘的连续性以及完整性。
3.基于小波变换的图像分割方法：它是数字图像处理技术中比较重要的部分：首先由二进小波变换将图像的直方图分解为不同层次的小波系数，然后依据给定的分割准则和小波系数选择阈值门限，最后利用阈值标出图像分割的区域。他的优点是空域和频域的局域变换，能进行多尺度分析，并且由于是对频域操作，所以对噪声不敏感。缺点是很难选取合适的滤波器。
细菌图像由于其形状各异，并且多以菌落的形式生长，数量繁多且重叠严重，所以更加大了对其分割的难度。对于细菌分割领域，有公开利用超像素来进行图像分割的方法(例如CN103914841A)，这种方法还是基于传统的图像分割方法(如计算超像素、以及计算每个超像素区域的颜色、形状、尺寸特征，利用先验知识对每个超像素区域进行初步滤波，并进行分割以确定候选细菌区域)来分割的，过程较为繁琐且效果不佳。
深度学习方法：完全区别于传统图像分割方法，它基于算力的支持，对大量带有标签的数据集进行训练，让机器自主学习到图像的内在规律及特征。主要包括：
1.基于CNN的图像分割：主要代表为2017年何凯明等人[He Kaiming,GkioxariGeorgia,DollarPiotr,Girshick Ross.Mask R-CNN.[J].IEEE transactions onpattern analysis and machine intelligence,2020,42(2).]提出的 MaskR-CNN，主要完成了图像的像素级分割。
2.基于RNN的图像分割：主要代表为2015年Visin等人[Visin F,Kastner K,Courville A,et al.ReSeg:A Recurrent Neural Network for Object Segmentation[J].Computer ence,2015.]提出的ReSeg模型，他的核心是利用多个(Recurrent neuralnetworks)RNN 组合在一起，充分考虑二零图像上下文的信息关系。
3.基于上采样的图像分割方法：主要代表为2015年JonathanLong等人[Long J,Shelhamer E,Darrell T.Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,39(4):640-651.] 提出的FCN模型，它在图像分割领域已然成为了业界标杆，其中的许多分割思想都具有开创性的意义。并且之后一些著名的如SegNet、Unet、Deeplab等网络或多或少都借鉴了其思想。
目前的许多基于深度学习的方法，广泛应用于自然图像，医学图像、生物图像的处理中，特别在对于生物图像中细菌图像的识别还有许多分割问题需要解决。
现有公开了一种基于U-Net网络对细胞进行图像分割的方法，它是主要利用U-Net网络对宫颈细胞核进行图像分割。主要包括三个步骤：
1.对图像进行图像预处理，包括利用Canny算子和Otsu算法结合数学形态学操作，完成细胞核对比度增强。
2.利用U-Net网络进行图像的分割，在单一的U-Net网络中加入了空洞卷积和残差网络，提高网络的感知域。
3.利用聚类的检测方法对细胞的边缘进行检测。
其对于图像的预处理做了很大部分的工作，较为繁琐，若是不进行这些对比度增强，则会造成分割效果不佳。
发明内容
本发明的主要目的在于克服现有技术采用的深度学习网络进行分割时，前期的图像预处理繁琐复杂，提出一种基于深度学习网络的细菌显微图像分割方法，能快速而又精准的对细菌显微图像进行自动分割，省去前期过多复杂的图像预处理环节，节省时间。
本发明采用如下技术方案：
一种基于深度学习网络的细菌显微图像分割方法，其特征在于，包括如下步骤：
1)培养细菌，并在显微镜下按照固定时间间隔拍摄一组细菌生长图片，进行图像预处理，构建彼此之间没有交集的训练集、验证集和测试集，且训练集包括原始图像和相对应的标签图像，验证集和测试集分别只包含原始图像；
2)构建U-Net++模型，其具有编码器模块和解码器模块，编码器模块进行特征提取，解码器模块进行特征还原解码到原图的尺寸，将训练集输入U-Net++模型进行训练，再将验证集输入训练后的U-Net++模型进行验证，得到训练好的U-Net++模型；
3)将测试集输入训练好的U-Net++模型，输出二值化分割图像。
优选的，步骤1)中所述图像预处理包括，先采用ImageJ图像处理软件调整图像的亮度和对比度，再对图像进行批量裁剪操作。
优选的，步骤1)中，采用开源软件Labelme来对细菌生长图片中的细菌进行人工打标签操作得到所述标签图像，并保证原始图像和标签图像一一对应。
优选的，步骤1)中，还包括对所述训练集、所述验证集和所述测试集中的图像进行反转、扭曲、镜像、裁剪操作实现数据集的扩增。
优选的，所述编码器模块包含多个相同结构的编码器子模块，编码器子模块包括两次卷积操作加上一次池化操作。
优选的，所述卷积操作采用3*3的卷积核，激活函数为leaky Relu，填充方式为samepadding，初始化权重的方法为he_normal；池化操作采用最大池化方案，使用的池化卷积核的大小为2*2。
优选的，所述解码器模块包括多个相同结构的解码器子模块，每个解码器子模块包括一次反卷积操作，一次跳连接参数融合操作和两次卷积操作。
优选的，所述反卷积操作采用2*2的卷积核，激活函数为leaky Relu，步长为2，填充的方式为samepadding；跳连接参数融合操作是将具有同层相同特征的图像参数进行融合，融合后只增加参数的深度；卷积操作采用3*3的卷积核，激活函数为leaky Relu，填充方式为samepadding，初始化权重的方法为he_normal。
优选的，所述U-Net++模型采用Adam作为优化器，学习率为1*10-4，损失函数选取二元分类器binary_crossentropy，用准确度作为衡量指标。
优选的，还包括步骤4)将所述U-Net++模型得到的二值化分割图像进行计算细菌的占比，以此得到细菌按时间为横轴的生长情况图。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
1、本发明的方法，采用了U-Ne++网络结构，能够自主学习选择最合适的网络层数，并且结合了浅层次网络和深层次网络获取到的不同特征，将其融合，更具鲁棒性，大大减少繁琐的图像预处理操作的耗时，并且达到更优秀的图像分割效果，且一旦网络学习完成，后续图像处理速度也将又飞速的提升。
2、本发明的方法，进行深度学习前，对图像进行简单调整图像的亮度和对比度，再对图像进行批量裁剪操作，省去了前期过多复杂的图像预处理环节，节省时间。
3、本发明的方法，在编码器模块中，每进行一次编码器子模块，就会提取出图像中包含的一定信息，比如边界和颜色，卷积次数越多，就能抓取到图像的一些抽象特征，可以增加对输入图像的一些小扰动的鲁棒性，比如图像平移，旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小。
4、本发明的方法，其解码器模块包括多个解码器子模块，把抽象的特征还原解码到原图的尺寸，并最终得到分割的结果，且涉及的跳连接参数融合操作是将具有同层相同特征的图像参数进行融合，融合后只增加参数的深度，它联系了输入图像的很多信息，有助于还原降采样所带来的信息损失。
5、本发明的方法，能快速而又精准的对细菌显微图像进行自动分割，并可根据分割后的一组图像定量的表示细菌的生长情况，不干扰细菌的生长状态。
附图说明
图1为本发明方法流程图；
图2a为训练集中的原始图像；
图2b为标签图像；
图3为本发明U-Net++模型的总体框架图；
图4a为测试集中的原始图像；
图4b为输出的二值化分割图像；
图5为大肠杆菌生长曲线图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
参见图1，一种基于深度学习网络的细菌显微图像分割方法，包括如下步骤：
1)培养细菌，并在显微镜下按照固定时间间隔拍摄一组细菌生长图片，进行图像预处理，构建彼此之间没有交集的训练集、验证集和测试集，且训练集包括原始图像和相对应的标签图像，验证集和测试集分别只包含原始图像。
由于细菌在显微镜下拍下的图像像素值一般都很大，并且图像的质量不一，所以在进行深度学习前有必要对图像进行简单的裁剪、亮度及对比度增强预处理过程。具体包括如下：
1.1)培养细菌，并在显微镜下按照固定时间间隔拍摄一组细菌生长图片。培养细菌时要尽可能的减少杂质的引入。例如在培养大肠杆菌的时候，固体培养基需要倒置以减少细菌呼吸产生的水蒸气将培养皿中的杂志引入，从而影响后续图像的质量。
同时，要选取合适的显微镜观察倍数，合适的显微镜观察倍数能让成像更加清晰。还要选取合适的拍摄间隔时间。
以大肠杆菌为例：大肠杆菌在光学显微镜下采用40倍镜以固定时间间隔5分钟拍一次图像，生成一组100张2048*2048的生长图像。在培养大肠杆菌的时候，固体培养基需要倒置以减少细菌呼吸产生的水蒸气将培养皿中的杂质引入，避免影响后续图像的质量。
1.2)打开ImageJ图像处理软件合适参数调整图像的亮度和对比度。ImageJ软件是一款开源的图像处理软件，是目前对图像进行处理操作的首选软件。对于上述步骤A1拍摄好的图像，可以直接将一组图像由ImageJ打开，再通过软件的Image下拉框，选择Adjust操作，并打开其中的Brightness/Contrast选项，在打开的操作框中可直接选择Auto按钮，软件会自动选择合适的亮度以及对比度，当然效果不理想也可自己手动调节亮度Brightness和Contrast 的值，最后点击Apply选项完成对图像的批量预处理。采用ImageJ软件最快速对图像进行简单的基本操作，软件的自带的批量化操作也让操作人员省去了不少时间。
例如：打开ImageJ图像处理软件将图像转换为单通道8bit的图像后并选择合适参数调整图像的亮度和对比度。
1.3)对上一步处理后的高像素图像进行裁剪操作。若不进行适当的裁剪，输入到深度学习网络中单次处理的数据量就会非常大，对计算机的算力要求也会线性变大。裁剪的大小根据深度学习网络的输入大小决定，一般裁剪后每张图像的大小不大于512*512像素，如果训练算力很高，可以适当加大像素值。裁剪的过程采用滑动窗口的方式进行，2048*2048像素的图像处理后变为16张512*512像素的图像，一组100张2048*2048的图片最终裁剪为1600 张512*512像素的图像。
对于构建数据集，保证训练集包括原始图像和相对应的标签图像用来输入到神经网络中进行训练，验证集和测试集只包含原始图像。例如：1600张512*512像素的图像对应每张图片的16个互不交涉的位置，取出其中10个位置的图像，得到1000张间隔5分钟的512*512 的图像作为训练集图像，剩下600张间隔5分钟的512*512的图像分别对应图像剩余两个位置，取出两个位置的200张作图片为验证集，四个位置的400张图片作为测试集。训练集：验证集：测试集＝5：1：2，并且彼此之间没有交集。
在训练集中，可采用开源软件Labelme来对细菌图像中的细菌经行人工打标签操作，保证原始图像和标签图像一一对应，参见图2a、图2b；再对训练集、验证集和测试集中的图像进行反转、扭曲、镜像、裁剪等操作实现数据集的扩增。
进一步的，在对图像进行手工打标签中，采用多边形标注，需要尽可能地贴合细菌，多边形边数越多，标签图像也就越精准。标注好的图像会生成json文件，利用json转png图像格式操作后，可最终生成对应地标签文件，其中闭合多边形内的是标注的细菌，内部像素用像素值0来表示(即白色)，其余的为背景用像素值255来填充(即黑色)。
其中，扩增数据集可使用Tensorflow深度学习框架中已经写好的函数ImageDataGenerator 来快速生成，包括旋转|反射变换、翻转变换、缩放变换、平移变换、尺度变换等。继承父类 ImageDataGenerator的方法后重写函数，将训练集中的图像和对应标签图像打包，同时生成增强数据的，确保原图和对应标签图像进行同样的操作转换。
2)构建U-Net++模型，其具有编码器模块和解码器模块，编码器模块(下采样)进行特征提取，解码器模块(上采样)进行特征还原解码到原图的尺寸，将训练集输入U-Net++模型进行训练，再将验证集输入训练后的U-Net++模型进行验证，得到训练好的U-Net++模型。
本发明的U-Net++模型，每一次的编码器操作后都有相应的解码器来还原，优势是可以抓取不同层次的特征，并将学习到的浅层次特征和深层次特征整合起来，并且网络可以自己去学习不同深度特征的重要性，具有很好的鲁棒性。
编码器模块也称为特征提取阶段，包含多个相同结构的编码器子模块，每个编码器子模块包括两次卷积操作加上一次池化操作。每进行一次编码器子模块，就会提取出图像中包含的一定信息，比如边界和颜色，卷积次数越多，就能抓取到图像的一些抽象特征，它可以增加对输入图像的一些小扰动的鲁棒性，比如图像平移，旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小。
该模块中，卷积操作的参数为：采用3*3的卷积核，激活函数为leaky Relu，填充方式为“samepadding”，初始化权重的方法为“he_normal”；池化操作采用最大池化方案，使用的池化卷积核的大小为2*2。
实际应用中，下采样部分可以采用经典的BottleNeckblock，Residualblock或者Denseblock 替换。
解码器模块也称为特征还原模块，它的作用是把抽象的特征还原解码到原图的尺寸，并最终得到分割的结果。其包括多个相同结构的解码器子模块，每个解码器子模块包括一次反卷积操作，一次跳连接参数融合操作和两次卷积操作。
该模块中，反卷积操作的参数为：采用2*2的卷积核，激活函数为leaky Relu，步长为2，填充的方式为“samepadding”；跳连接参数融合操作是将具有同层相同特征的图像参数进行融合，融合后只增加参数的深度，它联系了输入图像的很多信息，有助于还原降采样所带来的信息损失；卷积操作的参数为：采用3*3的卷积核，激活函数为leaky Relu，填充方式为“samepadding”，初始化权重的方法为“he_normal”。
本发明模型结构如图3所示，经过四次降采样，并在每一层都进行了长短跳连接，十次上采样操作，具体U-Net++模型网络结构参数如下表所示：
优选的，本发明网络层数为4层，这里的网络层数也可以采用任意的数值来替换，分割难度大的任务往往采用更深的网络层数，反之亦然。构建好U-Net++模型后，采用Adam(Adaptive Moment Estimation)作为优化器，学习率为1*10-4，损失函数选取二元分类器binary_crossentropy，用准确度作为衡量指标。
本发明中U-Net++网络参数例如卷积核大小、数量，学习率，优化器等都可以根据具体情况来设置合适的参数。
3)将测试集输入训练好的U-Net++模型，输出二值化分割图像。即训练好的U-Net++模型可用于细菌显微图像分割。
例如：采用硬件平台为GeForce GTX 1080Ti高能性显卡的服务器，选用Tensorflow深度学习框架，使用的数据集即为上述处理好的1600张图片加上数据增广后的图片。在长达5个小时的20个周期的训练后，U-Net++网络在验证集上的准确率达到了91.2％。训练完成后对测试集400张图像进行测试输出。
另外，传统的度量细菌生长曲线的方法是：将细菌接种到一只具有侧壁试管的三角烧瓶内的培养液中，在适宜的培养温度和良好的通气状态下，定时取出此三角烧瓶，用分光光度计测定菌浓度(光密度值，OD值)，并将所得结果与相对应的培养时间绘制出坐标图，就可获得该菌的生长曲线。这种方法需要定时取出含有细菌的培养液，耗时耗力。
本发明还可包括步骤4)将通过U-Net++模型得到的二值化分割图像进行计算细菌的占比，以此得到细菌按时间为横轴的生长情况图。采用深度学习方法直接对固定间隔拍摄的细菌图像进行分割，再将分割后的二值化图像进行计算细菌的占比，以此得到细菌按时间为横轴的生长情况图。此方法完全不干扰细菌的生长状态，利用深度学习进行图像分割也更快更好的分离出细菌的前景，以便后期直接通过分割后的图像定量表示细菌的生长情况。
例如：测试时输出的图像是前景为大肠杆菌的二值化黑白图像，背景像素为0表示黑色，前景细菌像素为255表示白色，如图4a所示为测试集中某一张大肠杆菌图像，图4b为其对应预测分割输出图。对测试集输出的400张图片选择其中一组100张间隔5分钟的图片用来定量表示细菌的生长情况。按顺序读取每张图像的像素值，计算出大肠杆菌面积占整张图像的百分比，以此作为纵轴，以5分钟的时间间隔作为横轴画出大肠杆菌生长曲线，如图5所示。
本发明采用了U-Ne++网络结构，能够自主学习选择最合适的网络层数，并且结合了浅层次网络和深层次网络获取到的不同特征，将其融合，更具鲁棒性，大大减少繁琐的图像预处理操作的耗时，并且达到更优秀的图像分割效果，且一旦网络学习完成，后续图像处理速度也将又飞速的提升。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (10)
1.一种基于深度学习网络的细菌显微图像分割方法，其特征在于，包括如下步骤：
1)培养细菌，并在显微镜下按照固定时间间隔拍摄一组细菌生长图片，进行图像预处理，构建彼此之间没有交集的训练集、验证集和测试集，且训练集包括原始图像和相对应的标签图像，验证集和测试集分别只包含原始图像；
2)构建U-Net++模型，其具有编码器模块和解码器模块，编码器模块进行特征提取，解码器模块进行特征还原解码到原图的尺寸，将训练集输入U-Net++模型进行训练，再将验证集输入训练后的U-Net++模型进行验证，得到训练好的U-Net++模型；
3)将测试集输入训练好的U-Net++模型，输出二值化分割图像。
2.如权利要求1所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，步骤1)中所述图像预处理包括，先采用ImageJ图像处理软件调整图像的亮度和对比度，再对图像进行批量裁剪操作。
3.如权利要求1所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，步骤1)中，采用开源软件Labelme来对细菌生长图片中的细菌进行人工打标签操作得到所述标签图像，并保证原始图像和标签图像一一对应。
4.如权利要求1所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，步骤1)中，还包括对所述训练集、所述验证集和所述测试集中的图像进行反转、扭曲、镜像、裁剪操作实现数据集的扩增。
5.如权利要求1所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，所述编码器模块包含多个相同结构的编码器子模块，编码器子模块包括两次卷积操作加上一次池化操作。
6.如权利要求5所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，所述卷积操作采用3*3的卷积核，激活函数为leaky Relu，填充方式为samepadding，初始化权重的方法为he_normal；池化操作采用最大池化方案，使用的池化卷积核的大小为2*2。
7.如权利要求1所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，所述解码器模块包括多个相同结构的解码器子模块，每个解码器子模块包括一次反卷积操作，一次跳连接参数融合操作和两次卷积操作。
8.如权利要求7所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，所述反卷积操作采用2*2的卷积核，激活函数为leaky Relu，步长为2，填充的方式为samepadding；跳连接参数融合操作是将具有同层相同特征的图像参数进行融合，融合后只增加参数的深度；卷积操作采用3*3的卷积核，激活函数为leaky Relu，填充方式为samepadding，初始化权重的方法为he_normal。
9.如权利要求1所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，所述U-Net++模型采用Adam作为优化器，学习率为1*10-4，损失函数选取二元分类器binary_crossentropy，用准确度作为衡量指标。
10.如权利要求1所述的一种基于深度学习网络的细菌显微图像分割方法，其特征在于，还包括步骤4)将所述U-Net++模型得到的二值化分割图像进行计算细菌的占比，以此得到细菌按时间为横轴的生长情况图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612198.0A CN112949378A (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度学习网络的细菌显微图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612198.0A CN112949378A (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度学习网络的细菌显微图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112949378A true CN112949378A (zh) | 2021-06-11 |
Family
ID=76234955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011612198.0A Pending CN112949378A (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度学习网络的细菌显微图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949378A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344936A (zh) * | 2021-07-02 | 2021-09-03 | 吉林农业大学 | 一种基于深度学习的土壤线虫图像分割与宽度测量方法 |
| CN113628215A (zh) * | 2021-06-29 | 2021-11-09 | 展讯通信（上海）有限公司 | 图像处理方法、系统、设备及存储介质 |
| CN114693670A (zh) * | 2022-04-24 | 2022-07-01 | 西京学院 | 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914841A (zh) * | 2014-04-03 | 2014-07-09 | 深圳大学 | 基于超像素和深度学习的细菌分割与分类方法及其应用 |
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| CN108564589A (zh) * | 2018-03-26 | 2018-09-21 | 江苏大学 | 一种基于改进全卷积神经网络的植物叶片分割方法 |
| CN111179273A (zh) * | 2019-12-30 | 2020-05-19 | 山东师范大学 | 一种基于深度学习的白细胞核质自动分割方法及系统 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
-
2020
- 2020-12-30 CN CN202011612198.0A patent/CN112949378A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914841A (zh) * | 2014-04-03 | 2014-07-09 | 深圳大学 | 基于超像素和深度学习的细菌分割与分类方法及其应用 |
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| CN108564589A (zh) * | 2018-03-26 | 2018-09-21 | 江苏大学 | 一种基于改进全卷积神经网络的植物叶片分割方法 |
| CN111179273A (zh) * | 2019-12-30 | 2020-05-19 | 山东师范大学 | 一种基于深度学习的白细胞核质自动分割方法及系统 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628215A (zh) * | 2021-06-29 | 2021-11-09 | 展讯通信（上海）有限公司 | 图像处理方法、系统、设备及存储介质 |
| CN113344936A (zh) * | 2021-07-02 | 2021-09-03 | 吉林农业大学 | 一种基于深度学习的土壤线虫图像分割与宽度测量方法 |
| CN114693670A (zh) * | 2022-04-24 | 2022-07-01 | 西京学院 | 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN112949378A (zh) | 一种基于深度学习网络的细菌显微图像分割方法 | |
| CN110428432B (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
| CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
| CN111968095B (zh) | 一种产品表面缺陷检测方法及系统及装置及介质 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| CN111931751B (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
| CN111583201B (zh) | 一种用于构建超分辨率病理显微镜的迁移学习方法 | |
| CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
| CN114419014A (zh) | 基于特征重构的表面缺陷检测方法 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| CN115439456A (zh) | 一种病理图像中对象检测识别方法及装置 | |
| CN107123102A (zh) | 一种贴壁细胞生长融合度自动分析方法 | |
| CN112215303B (zh) | 一种基于自学属性的图像理解方法及系统 | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
| Yang et al. | RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution | |
| CN116229457A (zh) | 基于卷积神经网络的多模态显微图像细胞分割方法 | |
| CN115423802A (zh) | 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN113076909B (zh) | 一种细胞自动检测方法 | |
| CN116977334B (zh) | 一种光缆表面瑕疵检测方法及装置 | |
| CN116912820B (zh) | 一种婴幼儿食品安全视觉检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |