CN110264476B - 一种多尺度串行的卷积深度学习显微图像分割方法 - Google Patents

一种多尺度串行的卷积深度学习显微图像分割方法 Download PDF

Info

Publication number
CN110264476B
CN110264476B CN201910533172.8A CN201910533172A CN110264476B CN 110264476 B CN110264476 B CN 110264476B CN 201910533172 A CN201910533172 A CN 201910533172A CN 110264476 B CN110264476 B CN 110264476B
Authority
CN
China
Prior art keywords
convolution
downsampling
sampling
kernels
net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910533172.8A
Other languages
English (en)
Other versions
CN110264476A (zh
Inventor
李晨
张敬华
李宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910533172.8A priority Critical patent/CN110264476B/zh
Publication of CN110264476A publication Critical patent/CN110264476A/zh
Application granted granted Critical
Publication of CN110264476B publication Critical patent/CN110264476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)

Abstract

一种多尺度串行的卷积深度学习显微图像分割方法，包括以下步骤：步骤S1、获取环境微生物显微图像，对图像进行灰度化处理；步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA‑Net模型，输出图像分割结果；MIaMIA‑Net模型为基于Inception结构和U‑Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型。在提高对于多尺度目标适应性的同时降低了模型的参数量及内存占用，并且对环境微生物显微图像的分割精度高。

Description

一种多尺度串行的卷积深度学习显微图像分割方法
技术领域
本发明涉及显微图像处理技术领域，尤其涉及一种多尺度串行的卷积深度学习显微图像分割方法。
背景技术
现有技术中常采用U-Net卷积神经网络深度学习算法对环境微生物显微图像进行图像分割处理。U-Net结构包括收缩路径的U-Net下采样结构和扩展路径的U-Net上采样结构。
现有中，U-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，U-Net下采样结构以环境显微图像作为输入，以最后一次下采样卷积操作后获得的特征图作为输出；下采样卷积操作为两次3×3卷积，卷积操作后特征图的长度由卷积核的个数决定，池化操作后特征图的宽和高会缩小为原来的1/2。比如连续经过5组卷积和4次池化操作后，256×256×1的输入图片变为16×16×1024的特征图。
U-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的上采样操作、复制拼接操作和上采样卷积操作；U-Net上采样结构以U-Net下采样结构输出的特征图为输入；复制拼接操作为复制下采样卷积操作后特征图，并与对应的上采样操作后特征图拼接，获得拼接特征图，上采样卷积操作为两次3×3卷积，卷积操作后特征图的长度由卷积核的个数决定，上采样操作后特征图的宽和高会扩大为原来的2倍。比如，连续经过4次上采样操作和4组卷积后，16×16×1024的特征图变为256×256×64的特征图，最后通过1×1大小的1个卷积核得到256×256×1的分割结果。
由于不同类别微生物形状上的差异和微生物显微图片拍摄条件的不同，微生物图片存在分割目标尺寸不一的问题；U-Net每一层有2个3×3大小的卷积核进行卷积操作，因此，U-Net对于不同尺度的目标的适应性较差。当环境微生物显微图像的背景较复杂时，U-Net模型对于噪声的消除能力有限，分割得到的结果表现较差。U-Net模型在训练过程中十分容易陷入局部极值点，导致loss无法下降，训练失败，训练模型无法使用。并且U-Net模型参数量大，内存占用多。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题，本发明提供了一种多尺度串行的卷积深度学习显微图像分割方法。在提高对于多尺度目标适应性的同时降低了模型的参数量及内存占用，并且对环境微生物显微图像的分割精度高。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
一种多尺度串行的卷积深度学习显微图像分割方法，包括以下步骤：
步骤S1、获取环境微生物显微图像，对图像进行灰度化处理。
步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA-Net模型，输出图像分割结果；MIaMIA-Net模型为基于Inception结构和U-Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型。
作为本发明方法的一种改进，MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构。
MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n层下采样3×3卷积操作，下采样第m卷积层中3×3卷积核数量为下采样第一卷积层中3×3卷积核数量的m倍；将1×1卷积操作结果和下采样每一层3×3卷积操作结果进行拼接处理后输出。
MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；上采样卷积操作具体为：输入特征图进行1×1卷积操作；输入特征图连续进行n层上采样3×3卷积操作，上采样第m卷积层中3×3卷积核数量为上采样第n卷积层中3×3卷积核数量的n-m+1倍；将1×1卷积操作结果和上采样每一层3×3卷积操作结果进行拼接处理后输出。
作为本发明方法的一种改进，MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构。
MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组下采样卷积单元操作，下采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组下采样卷积单元中3×1卷积核数量为第一组下采样卷积单元中3×1卷积核数量的m倍，第m组下采样卷积单元中1×3卷积核数量为第一组下采样卷积单元中1×3卷积核数量的m倍；将1×1卷积操作结果和每一组下采样卷积单元操作结果进行拼接处理后输出。
MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；上采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组上采样卷积单元操作，上采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组上采样卷积单元中3×1卷积核数量为第n组上采样卷积单元中3×1卷积核数量的n-m+1倍，第m组上采样卷积单元中1×3卷积核数量为第n组上采样卷积单元中1×3卷积核数量的n-m+1倍；将1×1卷积操作结果和每一组上采样卷积单元操作结果进行拼接处理后输出。
作为本发明方法的一种改进，n和m均为整数，且1<n<5，0<m<n+1。
作为本发明方法的一种改进，n等于3。
作为本发明方法的一种改进，MIaMIA-Net下采样结构包括5组下采样卷积操作，MIaMIA-Net上采样结构包括4组上采样卷积操作。
5组下采样卷积操作均包括3组下采样卷积单元操作，第一组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为12，第二组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为24，第三组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为48，第四组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为96，第五组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为192。
4组上采样卷积操作均包括3组上采样卷积单元操作，第一组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为288，第二组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为144，第三组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为72，第四组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为36。
作为本发明方法的一种改进，下采样卷积操作和上采样卷积操作中，每一次卷积操作后都进行正则化操作。
(三)有益效果
本发明的有益效果是：
1、本发明方法提高了对环境微生物显微图像的分割精度。
2、本发明总体结构结合了U-Net卷积与反卷积、端对端的思想，减少了浅层信息的丢失。在卷积操作中结合Inception V3结构中利用3×1卷积核与1×3卷积核叠加获得3×3卷积核的设计理念，利用拼接操作引入串行结构取代了Inception中并行结构获取不同卷积核(3×3、5×5、7×7)共同作用的效果，在提高对于多尺度目标适应性的同时降低了模型的参数量及内存占用，并且还增强了对于图像背景噪声的抵抗能力。
3、在上采样卷积操作中，卷积核的个数由大变小，减少了信息损失。
4、下采样卷积操作和上采样卷积操作中，每一次卷积操作后都进行正则化操作，解决了模型训练过程中loss容易陷入局部极值点的问题。
附图说明
本发明借助于以下附图进行描述：
图1为本发明具体实施方式中U-Net卷积神经网络结构的示意图；
图2为本发明具体实施方式中Inception V2结构的示意图；
图3为本发明具体实施方式中Inception V2结构的原理图；
图4为本发明具体实施方式中Inception V3结构的示意图；
图5为本发明具体实施方式中Inception V3结构的原理图；
图6为本发明多尺度串行的卷积深度学习显微图像分割方法的流程图；
图7为本发明具体实施方式中MIaMIA-Net神经网络结构的示意图；
图8为本发明具体实施方式中MIaMIA-Net下采样卷积操作的结构图；
图9为本发明具体实施方式中MIaMIA-Net上采样卷积操作的结构图；
图10为本发明具体实施方式中第一原始环境微生物显微图像；
图11为采用U-Net模型对图8的图像分割结果图；
图12为采用MIaMIA-Net模型对图8的图像分割结果图；
图13为本发明具体实施方式中第二原始环境微生物显微图像；
图14为采用U-Net模型对图11的图像分割结果图；
图15为采用MIaMIA-Net模型对图11的图像分割结果图；
图16为U-Net模型和MIaMIA-Net模型的各项分割指标对比图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
关于说明书中“第一”、“第二”、“第三”、“第四”、“第五”，除特别说明外，均用来表示操作的先后顺序。
U-Net卷积神经网络结构如图1所示。
直接将Inception结构应用于U-Net卷积神经网络中，可增加U-Net网络对于不同尺度分割目标的适应性。但是由于Inception结构为并行结构，造成卷积层参数量过多，计算量大且内存占用多。并且申请人经研究发现直接将Inception结构应用于U-Net卷积神经网络中对环境显微图像进行图像分割，结果显示该方法对图像背景噪声的抵抗能力较弱，图像分割结果不精确。
现有Inception V2结构为并行结构，如图2所示，其原理如图3所示，利用两个3×3大小卷积核叠加可以得到一个5×5大小卷积核相同的效果，同理三个3×3大小的卷积核叠加可以得到一个7×7大小卷积核相同的效果。现有Inception V3结构是在Inception V2结构的基础上进行了进一步地升级，同样为并行结构，如图4所示，其原理如图5所示，利用1×3卷积核和3×1卷积核叠加可以得到一个3×3大小卷积核相同的效果。
在本发明中，申请人根据Inception V2结构和Inception V3结构对U-Net神经网络进行改进，提出了一种多尺度串行的卷积深度学习显微图像分割方法，如图6所示，包括以下步骤：
步骤S1、获取环境微生物显微图像，对图像进行灰度化处理。
步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA-Net模型，输出图像分割结果；所述MIaMIA-Net模型为基于Inception结构和U-Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型，如图7所示。
优选地，MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构。
MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组下采样卷积单元操作，下采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组下采样卷积单元中3×1卷积核数量为第一组下采样卷积单元中3×1卷积核数量的m倍，第m组下采样卷积单元中1×3卷积核数量为第一组下采样卷积单元中1×3卷积核数量的m倍；将1×1卷积操作结果和每一组下采样卷积单元操作结果进行拼接处理后输出。如图8所示。
MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；上采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组上采样卷积单元操作，上采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组上采样卷积单元中3×1卷积核数量为第n组上采样卷积单元中3×1卷积核数量的n-m+1倍，第m组上采样卷积单元中1×3卷积核数量为第n组上采样卷积单元中1×3卷积核数量的n-m+1倍；将1×1卷积操作结果和每一组上采样卷积单元操作结果进行拼接处理后输出。如图9所示。
优选地，n和m均为整数，且1<n<5，0<m<n+1。基于在提高对于多尺度目标适应性的同时大限度降低模型参数量及内存占用的考虑，优选n等于3。综合考虑图像分割精度、多尺度目标适应性和内存占用，MIaMIA-Net下采样结构包括5组下采样卷积操作，MIaMIA-Net上采样结构包括4组上采样卷积操作，将MIaMIA-Net模型中上、下采样卷积操作的卷积核数量按表1进行设置。
表1各组下采样卷积操作和各组上采样卷积操作中卷积核数量
Figure BDA0002100384610000071
Figure BDA0002100384610000081
进一步优选地，下采样卷积操作和上采样卷积操作中，每一次卷积操作后都进行正则化操作，解决了模型训练过程中loss容易陷入局部极值点的问题。
在步骤S1之前还包括对MIaMIA-Net模型进行训练，包括：
以256×256×1的环境微生物显微图像及其对应的标准分割图片作为训练集；对训练集中的图像依次进行灰度化处理和数据集增强处理；将数据集增强处理后的训练集输入MIaMIA-Net模型进行训练。
对图像进行数据集增强处理，具体为：对环境微生物显微图像分别做0度、90度、180度、270度旋转，再对旋转后的图片做镜面翻转，扩充后的数据是原有数据的8倍。
卷积神经网络参数总量为所有权重(weights)和偏置(biases)之和，其计算公式如下：
Wc＝L×W×C×N
Bc＝N
Pc＝Wc+Bc
其中WC为卷积层的权重参数总和，Bc为卷积层的偏置参数总和，Pc为卷积层的总参数，L为卷积核的长，W为卷积核的宽，C为输入图片层数或特征图的长度，N为卷积核的个数。
采用上式计算3×1与1×3叠加卷积方式的参数总量为((1×3×1×1)+1)+((3×1×1×1)+1)＝8，3×3卷积方式的参数总量为(3×3×1×1)+1＝10。可见，本发明中的MIaMIA-Net模型使得原有的参数量下降，降低内存需求。并且经测算，现有U-Net模型内存占用355M(372551476字节)，本发明中模型内存占用为289M(303805360字节)。
第一原始环境微生物显微图像如图10所示，图11为采用现有U-Net模型对图10的图像分割结果，图12为采用本发明方法对图10的图像分割结果。可以看出，本发明方法提高了对环境微生物显微图像的分割精度。
第二原始环境微生物显微图像如图13所示，图14为采用现有U-Net模型对图13的图像分割结果，图15为采用本发明方法对图13的图像分割结果。可以看出，本发明方法增强了对于图像背景噪声的抵抗能力。
对现有U-Net模型和本发明MIaMIA-Net模型，分别采用105张微生物显微图片进行模型训练，210张用于分割测试，现有U-Net模型和本发明MIaMIA-Net模型得到的各项分割指标如图16所示。本发明MIaMIA-Net模型获得了0.87358647的Dice系数、0.80271403的交并比、0.8906468的准确率、0.98410142的特异性、0.12641353的体积重叠误差以及0.20530345的相对体积差异，体现了本发明MIaMIA-Net模型的实用性能。
综上，本发明方法提高了对环境微生物显微图像的分割精度。本发明总体结构结合了U-Net卷积与反卷积、端对端的思想，减少了浅层信息的丢失。在卷积操作中结合Inception V3结构中利用3×1卷积核与1×3卷积核叠加获得3×3卷积核的设计理念，利用拼接操作引入串行结构取代了Inception中并行结构获取不同卷积核(3×3、5×5、7×7)共同作用的效果，在提高对于多尺度目标适应性的同时降低了模型的参数量及内存占用，并且还增强了对于图像背景噪声的抵抗能力。在上采样卷积操作中，卷积核的个数由大变小，减少了信息损失。下采样卷积操作和上采样卷积操作中，每一次卷积操作后都进行正则化操作，解决了模型训练过程中loss容易陷入局部极值点的问题。
当然，上述对下采样卷积操作和上采样卷积操作的改进仅仅是优选，可以想见，对下采样卷积操作和上采样卷积操作采用以下方式进行改进，也可以实现类似的效果。
MIaMIA-Net下采样结构中下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n层下采样3×3卷积操作，下采样第m卷积层中3×3卷积核数量为下采样第一卷积层中3×3卷积核数量的m倍；将1×1卷积操作结果和下采样每一层3×3卷积操作结果进行拼接处理后输出。
MIaMIA-Net上采样结构中上采样卷积操作具体为：输入特征图进行1×1卷积操作；输入特征图连续进行n层上采样3×3卷积操作，上采样第m卷积层中3×3卷积核数量为上采样第n卷积层中3×3卷积核数量的n-m+1倍；将1×1卷积操作结果和上采样每一层3×3卷积操作结果进行拼接处理后输出。其中，n和m均为整数，且1<n<5，0<m<n+1。
需要理解的是，以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。

Claims (7)

1.一种多尺度串行的卷积深度学习显微图像分割方法，其特征在于，包括以下步骤：
步骤S1、获取环境微生物显微图像，对所述图像进行灰度化处理；
步骤S2、将灰度化处理后的图像输入预先训练的MIaMIA-Net模型，输出图像分割结果；所述MIaMIA-Net模型为基于Inception结构和U-Net结构的一种以串行卷积操作获取多尺度卷积核共同作用效果的神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构；
所述MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，所述下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n层下采样3×3卷积操作，下采样第m卷积层中3×3卷积核数量为下采样第一卷积层中3×3卷积核数量的m倍；将1×1卷积操作结果和下采样每一层3×3卷积操作结果进行拼接处理后输出；
所述MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；所述上采样卷积操作具体为：输入特征图进行1×1卷积操作；输入特征图连续进行n层上采样3×3卷积操作，上采样第m卷积层中3×3卷积核数量为上采样第n卷积层中3×3卷积核数量的n-m+1倍；将1×1卷积操作结果和上采样每一层3×3卷积操作结果进行拼接处理后输出。
3.根据权利要求1所述的方法，其特征在于，所述MIaMIA-Net模型包括MIaMIA-Net下采样结构和MIaMIA-Net上采样结构；
所述MIaMIA-Net下采样结构包括交替进行的下采样卷积操作和2×2最大池化操作，所述下采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组下采样卷积单元操作，所述下采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组下采样卷积单元中3×1卷积核数量为第一组下采样卷积单元中3×1卷积核数量的m倍，第m组下采样卷积单元中1×3卷积核数量为第一组下采样卷积单元中1×3卷积核数量的m倍；将1×1卷积操作结果和每一组下采样卷积单元操作结果进行拼接处理后输出；
所述MIaMIA-Net上采样结构包括连续的上采样单元操作，上采样单元操作包括依次进行的2×2上卷积操作、复制拼接操作和上采样卷积操作；所述上采样卷积操作具体为：输入图像或特征图进行1×1卷积操作；输入图像或特征图连续进行n组上采样卷积单元操作，所述上采样卷积单元操作包括依次进行的3×1卷积操作和1×3卷积操作，第m组上采样卷积单元中3×1卷积核数量为第n组上采样卷积单元中3×1卷积核数量的n-m+1倍，第m组上采样卷积单元中1×3卷积核数量为第n组上采样卷积单元中1×3卷积核数量的n-m+1倍；将1×1卷积操作结果和每一组上采样卷积单元操作结果进行拼接处理后输出。
4.根据权利要求2或3所述的方法，其特征在于，n和m均为整数，且1<n<5，0<m<n+1。
5.根据权利要求4所述的方法，其特征在于，n等于3。
6.根据权利要求3所述的方法，其特征在于，所述MIaMIA-Net下采样结构包括5组下采样卷积操作，所述MIaMIA-Net上采样结构包括4组上采样卷积操作；
5组下采样卷积操作均包括3组下采样卷积单元操作，第一组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为12，第二组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为24，第三组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为48，第四组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为96，第五组下采样卷积操作中第一组下采样卷积单元的3×1卷积核数量和1×3卷积核数量均为192；
4组上采样卷积操作均包括3组上采样卷积单元操作，第一组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为288，第二组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为144，第三组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为72，第四组上采样卷积操作中第一组上采样卷积单元的3×1卷积核数量和1×3卷积核数量均为36。
7.根据权利要求2或3所述的方法，其特征在于，所述下采样卷积操作和所述上采样卷积操作中，每一次卷积操作后都进行正则化操作。
CN201910533172.8A 2019-06-19 2019-06-19 一种多尺度串行的卷积深度学习显微图像分割方法 Active CN110264476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910533172.8A CN110264476B (zh) 2019-06-19 2019-06-19 一种多尺度串行的卷积深度学习显微图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910533172.8A CN110264476B (zh) 2019-06-19 2019-06-19 一种多尺度串行的卷积深度学习显微图像分割方法

Publications (2)

Publication Number Publication Date
CN110264476A CN110264476A (zh) 2019-09-20
CN110264476B true CN110264476B (zh) 2022-11-15

Family

ID=67919492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910533172.8A Active CN110264476B (zh) 2019-06-19 2019-06-19 一种多尺度串行的卷积深度学习显微图像分割方法

Country Status (1)

Country Link
CN (1) CN110264476B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706232A (zh) * 2019-09-29 2020-01-17 五邑大学 纹理图像分割方法、电子装置及计算机存储介质
CN111079825B (zh) * 2019-12-09 2022-09-30 中国科学技术大学 针对医学图像的细胞核自动检测方法
RU2734058C1 (ru) * 2019-12-17 2020-10-12 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Система сегментации изображений зданий и сооружений
RU2733823C1 (ru) * 2019-12-17 2020-10-07 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Система сегментации изображений участков недропользования открытого типа
CN113011556B (zh) * 2021-02-20 2022-10-11 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN112950612A (zh) * 2021-03-18 2021-06-11 西安智诊智能科技有限公司 一种基于卷积神经网络的脑肿瘤图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084222A1 (zh) * 2015-11-22 2017-05-26 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
WO2018082084A1 (zh) * 2016-11-07 2018-05-11 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084222A1 (zh) * 2015-11-22 2017-05-26 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
WO2018082084A1 (zh) * 2016-11-07 2018-05-11 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统

Also Published As

Publication number Publication date
CN110264476A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110264476B (zh) 一种多尺度串行的卷积深度学习显微图像分割方法
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110232394B (zh) 一种多尺度图像语义分割方法
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN110020989B (zh) 一种基于深度学习的深度图像超分辨率重建方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN113870422B (zh) 一种点云重建方法、装置、设备及介质
CN109389667B (zh) 一种基于深度学习的高效全局光照明绘制方法
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN109242771B (zh) 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备
CN111754404B (zh) 基于多尺度机制和注意力机制的遥感图像时空融合方法
US8610737B2 (en) Graphic processing unit (GPU) with configurable filtering module and operation method thereof
CN110415284A (zh) 一种单视彩色图像深度图获得方法及装置
CN117058160B (zh) 基于自适应特征融合网络的三维医学图像分割方法及系统
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN110517267B (zh) 一种图像分割方法及装置、存储介质
CN114170438A (zh) 神经网络训练的方法、电子设备及计算机存储介质
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN114708496A (zh) 一种基于改进空间池化金字塔的遥感变化检测方法
CN111340049A (zh) 基于广域动态卷积的图像处理方法及装置
CN110458849B (zh) 一种基于特征修正的图像分割方法
CN115760641B (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN114078149A (zh) 一种图像估计方法、电子设备及存储介质
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant