CN112216371A - 多路多尺度并联编解码网络图像分割方法、系统及介质 - Google Patents

多路多尺度并联编解码网络图像分割方法、系统及介质 Download PDF

Info

Publication number
CN112216371A
CN112216371A CN202011312332.5A CN202011312332A CN112216371A CN 112216371 A CN112216371 A CN 112216371A CN 202011312332 A CN202011312332 A CN 202011312332A CN 112216371 A CN112216371 A CN 112216371A
Authority
CN
China
Prior art keywords
network
training
scale
convolution
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011312332.5A
Other languages
English (en)
Other versions
CN112216371B (zh
Inventor
薛健
黄彬
吕科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN202011312332.5A priority Critical patent/CN112216371B/zh
Publication of CN112216371A publication Critical patent/CN112216371A/zh
Application granted granted Critical
Publication of CN112216371B publication Critical patent/CN112216371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多路多尺度并联编解码网络图像分割方法、系统及介质，其包括：将训练数据进行预处理，然后划分数据集为训练集和测试集；训练集用于训练多路多尺度编解码网络深度学习模型的网络参数，测试集用于验证迭代完成的网络参数的泛化性能，如果测试集精度不满足预先设定要求则从新划分数据集进行训练，如果满足预先设定要求则保存网络参数；对待预测数据作与训练数据相同的预处理，载入训练好的网络参数，最后对模型输入图像，并得到分割预测结果，分割结果以概率图表示。本发明能在医学图像分割任务中保持整体分割精度的同时，提高了对目标细节的分割效果，并且使网络训练收敛速度更快。

Description

多路多尺度并联编解码网络图像分割方法、系统及介质
技术领域
本发明涉及一种计算机视觉以及医学图像分析和处理领域，特别是关于一种多路多尺度并联编解码网络图像分割方法、系统及介质。
背景技术
医学图像分割是一个经典难题，随着影像医学技术的发展，图像分割在医学应用中具有特殊的重要意义。进一步而言，图像分割是提取影像图像中特殊组织定量信息的不可缺少的手段，同时也是可视化分析和展示的预处理步骤和前提。常见的医学图像包括电子计算机断层扫描(CT)、正电子放射层析成像技术(PET)、单光子辐射断层摄像(SPECT)、磁共振成像技术(MRI)、超声成像(Ultrasound)、显微镜成像(Microscope)及其它医学影像设备所获得的图像。分割后的图像正被广泛应用于各种场合，如组织容积的定量分析、病变组织的定位、解剖结构的学习、辅助诊断、治疗规划等。
目前基于深度学习的医学图像分割算法有了很大的进步，例如：“ISBI EMSegmentation”竞赛中的第一名CE-NET和U-NET++，“2015MICCAI Polyp Detection”竞赛的第一名DoubleUNet，“iSEG 2017Challenge”竞赛和“2018Data Science Bowl”数据集的第一名HyperDenseNet，“Kvasir-SEG”数据集的第一名PraNet等等。在众多算法中，基于编解码网络的分割算法在图像分割精度上有更好的表现。编解码网络的基本结构由编码器encoder与解码器decoder组成。编码器的任务是在给定输入图像后，通过神经网络学习得到输入图像的特征图谱；而解码器则在编码器提供特征图后，逐步实现每个像素的类别标注，也就是分割。U-Net是经典的单路编解码网络算法，U-Net在encoder与decoder之间引入skip连接结构，极大提升了编解码网络算法性能，它的提出对医学图像分割有重大的意义，同时对其他领域的图像分割研究也产生了深远的影响。目前在各个数据集上有很好分割精度的众多编解码网络算法，有相当一部分都保留了U-Net的skip网络结构，并经过改进。
基于编解码网络的分割算法虽然取得了很大的发展，但是图像分割结果中细节的丢失问题仍然突出，而图像细节的保留在临床医学中尤为关键。通常来说，在图像分割目标的区域中，细节区域占整体的极少部分，这将形成样本不平衡问题，使网络对细节区域的分割难以训练；同时编解码网络算法大多使用经典的单路“encoder-decoder”结构，所谓单路是指编码器中的小尺度深层语义由且仅由大尺度渐层语义下采样得到，而解码器中分割结果或大尺度渐层语义依赖于小尺度深层语义。使用单路深层encoder将使得深层语义严重依赖浅层语义，encoder深层对细节特征的保留能力不足，使得深层语义对整体分割效果有决定性作用，这也导致了单路深层编解码网络算法对图像整体分割结果量化指标较好但实际上分割细节丢失严重的问题。针对这一难题，学者们提出了很多改进的网络结构，例如UNet++的“Redesigning Skip Connections”结构、Attention U-Net中的注意力机制、HyperDense-Net的“hyper-densely connected”结构等，也提出了改进的损失函数BCE+Dice loss损失函数、AnatomyNet的“Dice+Focal loss”损失函数等等，但是这些算法主要还是基于单路深层编解码网络结构的改进和损失函数的改进，没有对单路深层网络特征之间的深度耦合问题进行更深入的分析和处理。
综合上述分析，研究能有效处理深度学习算法在医学图像分割中的细节丢失问题显得尤为重要。
发明内容
针对上述问题，本发明的目的是提供一种多路多尺度并联编解码网络图像分割方法、系统及介质，其能在医学图像分割任务中保持整体分割精度的同时，提高了对目标细节的分割效果，并且使网络训练收敛速度更快。本发明可以在2D和3D医学图像中器官分割与病灶分割的任务中使用。
为实现上述目的，本发明采取以下技术方案：一种多路多尺度并联编解码网络医学图像分割方法，其包括以下步骤：1)将训练数据进行预处理，然后划分数据集为训练集和测试集；2)训练集用于训练多路多尺度编解码网络深度学习模型的网络参数，测试集用于验证迭代完成的网络参数的泛化性能，如果测试集精度不满足预先设定要求则从新划分数据集进行训练，如果满足预先设定要求则保存网络参数；3)对待预测数据作与训练数据相同的预处理，载入训练好的网络参数，最后对模型输入图像，并得到分割预测结果，分割结果以概率图表示。
进一步，所述预处理要求输入数据图像与标注图像的各维度的尺寸大小一致。
进一步，所述迭代总次数epoch不大于200，达到最优值邻域的迭代次数epoch不大于100。
进一步，所述多路多尺度编解码网络深度学习模型包括输入变换模块、多路多尺度特征提取模块和交流路口与输出模块；
所述输入变换模块包含两层卷积层，将输入图像由单通道图像卷积变换为与路数对应的多个多通道特征图；
所述多路多尺度特征提取模块包括原始尺度与其他尺度的特征提取模块，原始尺度的特征通过原尺度的卷积编解码和基于Res-Block网络特征提取子模块的结构实现，其他尺度的特征通过变换尺度的下采样卷积编码与上采样解码卷积解码，和基于单个或级联的Res-Block网络特征提取子模块的结构实现；
所述交流路口与输出模块包括一个通道变换卷积层、两个级联的Res-Block的网络特征提取结构和两个级联的FCN层网络模块；用于对多路多尺度的特征提取结果进行融合，并输出预测图。
进一步，通过多路多尺度编解码网络深度学习模型的分隔预测方法包括以下步骤：
3.1)输入图像经过输入变换模块，由单通道图像卷积变换为多通道特征图；
3.2)设置多路多尺度特征提取模块的卷积编码器，其中第一路作尺度不变卷积，其他路做不同尺度的下采样卷积，对来自步骤3.1)的输入图像分别进行卷积编码后，得到包含原尺度在内的多个尺度的多通道特征子图；
3.3)各路设置对应尺度的特征提取网络子模块，其中特征提取网络子模块由单个或多个级联的Res-Block残差卷积模块组成，对来自步骤3.2)的不同尺度的多通道特征子图进行特征提取；
3.4)设置多路多尺度特征提取模块的卷积解码器，其中第一路作尺度不变卷积，其他路做不同尺度的上采样卷积，对来自步骤3.3)经过特征提取的多个特征子图进行卷积解码，得到多个与原尺度相同，且通道数相同的特征子图；
3.5)设置一个交汇路口网络模块，将来自步骤3.4)的特征子图通过concatenate的方法在卷积通道上叠加，并使用一个降通道卷积和两个级联Res-Block残差卷积模块将特征信息进一步融合；
3.6)设置一个基于全连接层的输出模块，对步骤3.5)的结果进行全连接卷积得到最终的特征子图，并使用Sigmoid函数对其进行0-1预测，得到最终的输出概率图。
进一步，对多路多尺度编解码网络深度学习模型的训练方法包括：
对训练数据和对应标签进行预处理，将数据集划分为训练集和测试集，并设置迭代次数；训练集用于迭代训练网络，计算Loss并利用梯度求导反向传播更新参数，迭代完成时得到模型的网络参数；测试集用于验证网络参数的有效性，将参数输入到网络模型中，计算平均Loss，平均Dice系数和mAP指标，根据预先设定的阈值，此时若达标则保存训练好的网络参数，若未达标，需要重新划分数据集与迭代次数，重新训练网络。
进一步，训练阶段的Loss计算采用交叉熵(BCELoss)+DiceLoss的混合损失函数。
一种多路多尺度并联编解码网络医学图像分割系统，其包括：预处理模块、训练模块和分割预测模块；所述预处理模块将训练数据进行预处理，然后划分数据集为训练集和测试集；所述训练模块中训练集用于训练多路多尺度编解码网络深度学习模型的网络参数，测试集用于验证迭代完成的网络参数的泛化性能，如果测试集精度不满足预先设定要求则从新划分数据集进行训练，如果满足预先设定要求则保存网络参数；所述分割预测模块对待预测数据作与训练数据相同的预处理，载入训练好的网络参数，最后对模型输入图像，并得到分割预测结果，分割结果以概率图表示。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：1、本发明提升了对于医学图像的整体分割效果尤其是细节区域的分割效果。本发明采用多路多尺度的编解码分割方法，使各路分割模块关注不同尺度的特征子图，相比于众多经典的单路深层编解码算法，本发明具有多路浅层，各尺度互相解耦的特点，既对整体保留了分割精度，又对细节有更好的分割效果。2、本发明的医学图像分割神经网络算法，区别于经典单路深层编解码算法的通常通过更深层的网络获得更好的网络性能，在本发明中的路数与尺度设计均可根据实验条件改变来获取更好的分割效果，而网络深度使用浅层设计，浅层设计对梯度的反向传递非常友好，不容易产生梯度消失与梯度爆炸的问题；区别于经典单路深层编解码算法的深层语义依赖浅层语义，本发明中多路即代表多个尺度的编解码子模块，各子模块关注不同尺度的局部信息，其中不同尺度的信息可以通过通道数来调整其重要程度。3、本发明的神经网络在训练时具有快速收敛的特点。由于使用多路多尺度的算法，各尺度并联的结构可以使网络扁平化而参数量保持足够多，在网络训练时，扁平化的网络结构使梯度传递更加有效，通常很快收敛至最优点附近。
附图说明
图1是本发明方法的整体流程示意图。
图2是本发明的3D医学图像分割算法实例网络结构图。
图3是脑部MR肿瘤预测分割结果展示图；其中图a为输入图，图b为标注图，图c为预测图。
图4是癌细胞电子显微镜分割结果展示图；其中图a为输入图，图b为标注图，图c为预测图。
图5是本发明与其他经典算法的分割结果对比图；其中图a为标注，图b为V-Net方法，图c为本发明方法。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的第一实施方式中，提供一种多路多尺度并联编解码网络医学图像分割方法，该方法采用多路多尺度的编解码模块相结合的方法，每路不同尺度的编解码模块对不同感受野的图像进行并行处理，在提升分割精度的同时对细节的分割效果更好，能够处理在医学图像分割里对细节分割要求更高的问题。
本发明的方法基于多路多尺度编解码网络的深度学习模型，使用某种类医学图像分割数据对本模型进行训练，得到此类数据的模型参数，进而得到对样本以外的同类分割数据的高精度分割预测。如图1所示，本发明的方法包括以下步骤：
1)将训练数据进行预处理，然后划分数据集为训练集和测试集；
预处理要求输入数据图像与标注图像的各维度的尺寸大小一致，同时若图像包含较多与分割无关的信息区域如大量留白时，应尽可能裁剪，以保证实现更好分割效果；
2)训练集用于训练多路多尺度编解码网络深度学习模型的网络参数，测试集用于验证迭代完成的网络参数的泛化性能，如果测试集精度不满足预先设定要求则从新划分数据集进行训练，如果满足预先设定要求则保存网络参数；
在本实施例中，在训练时通常设置迭代次数epoch为200，在固定训练步长lr＝1时，迭代次数epoch不大于100即可收敛至网络最优值附近。为了进一步得到更加良好的网络性能，可以采用动态减小训练步长lr的方案来进一步逼近最优值。如epoch＝100时取lr＝0.1，epoch＝150时取lr＝0.01。
3)对待预测数据作与训练数据相同的预处理，载入训练好的网络参数，最后对模型输入图像，并得到分割预测结果，分割结果以概率图表示，像素值越接近1，则越代表目标区域，像素值越接近0，则越表示背景区域。
上述步骤中，多路多尺度编解码网络深度学习模型包括输入变换模块、多路多尺度特征提取模块和交流路口与输出模块。
其中，输入变换模块用于对输入图像进行初步特征提取与通道变换卷积；输入变换模块包含两层卷积层，将输入数据由单通道图像卷积变换为与路数对应的多个多通道特征图。
多路多尺度特征提取模块包括原始尺度与其他尺度的特征提取模块，原始尺度的特征通过原尺度的卷积编解码和基于Res-BlOck网络特征提取子模块的结构实现，其他尺度的特征通过变换尺度的下采样卷积编码与上采样解码卷积解码，和基于单个或级联的Res-Block网络特征提取子模块的结构实现。多路多尺度特征提取模块用于多路多尺度的编解码与对应尺度的特征提取。
交流路口与输出模块包括一个通道变换卷积层、两个级联的Res-Block的网络特征提取结构和两个级联的FCN层网络模块。交流路口与输出模块用于对多路多尺度的特征提取结果进行融合，并输出预测图。
在上述模型中，网络路数，各路尺度大小，各路特征提取器深度(Res-BlOck级联数)，卷积模板数(卷积宽度)等网络参数皆可动态调整。
上述步骤3)中，如图2所示，通过多路多尺度编解码网络深度学习模型的分隔预测方法包括以下步骤：
3.1)输入图像经过输入变换模块，由单通道图像卷积变换为多通道特征图。
根据任务需要，将原始图像与标注图像的各维度大小处理成{L1，...，Lm|m＝2，3}，m即维度，当m＝2时，2D图像各维度大小为{L1，L2}，当m＝3时，3D图像各维度大小为{L1，L2，L3}。接下来设置两层卷积组成通道变换器，输出图像初始通道为1，经过输入模块卷积变换后可以得到多通道的特征图
Figure BDA0002790193840000061
3.2)设置多路多尺度特征提取模块的卷积编码器，其中第一路作尺度不变卷积，其他路做不同尺度的下采样卷积，对来自步骤3.1)的输入图像分别进行卷积编码后，得到包含原尺度在内的多个尺度的多通道特征子图；
多路多尺度特征提取模块为R1，...，Rn，路数为n，设置卷积核为[3]m的同尺度卷积编码器E1作为R1编码器(根据维度m，卷积核为[x]m表示：当m＝2时卷积核尺寸大小为x*x；当m＝3时卷积核为x*x*x。下文同)，设置卷积核为[2]m，…，[2(n-1)]m等n-1种尺寸卷积核的下采样卷积编码器E2，...En作为R2，...Rn的编码器，E1，...En将输入时特征图通道C，...，C变换到输出时的2C，...，2nC，同时对应特征图尺度变为
Figure BDA0002790193840000071
最终对来自步骤2)的特征图进行卷积编码后得到包含原尺寸在内的多通道n种尺度的特征子图：
Figure BDA0002790193840000072
3.3)各路设置对应尺度的特征提取网络子模块，其中特征提取网络子模块由单个或多个级联的Res-Block残差卷积模块组成，对来自步骤3.2)的不同尺度的多通道特征子图进行特征提取；
对每一路{Ri|i＝1，...，n}，设置基于[3]m卷积核的单个或多个级联Res-Block残差卷积模块{Mi|i＝1，...，n}作为特征提取器，特征提取结果不改变输入特征子图的通道与尺度，Ri的特征子图
Figure BDA0002790193840000073
输入到Mi，得到特征提取结果为
Figure BDA0002790193840000074
3.4)设置多路多尺度特征提取模块的卷积解码器，其中第一路作尺度不变卷积，其他路做不同尺度的上采样卷积，对来自步骤3.3)经过特征提取的多个特征子图进行卷积解码，得到多个与原尺度相同，且通道数相同的特征子图；
对于R1，...，Rn，设置卷积核为[3]m的同尺度卷积解码器D1作为R1解码器，设置卷积核为[2]m，…，[2(n-1)]m等n-1种尺寸卷积核的上采样卷积解码器D2，...Dn作为R2，...Rn的解码器，Di的输出通道都为C，输出结果的尺度与Ei的输入尺度相同，Ri的特征子图
Figure BDA0002790193840000075
输入到Di进行卷积解码，得到特征提取完成的特征子图
Figure BDA0002790193840000076
3.5)设置一个交汇路口网络模块，将来自步骤3.4)的特征子图通过concatenate的方法在卷积通道上叠加，并使用一个降通道卷积和两个级联Res-Block残差卷积模块将特征信息进一步融合；
设置一个交汇路口网络模块，具体由一个卷积核为[3]m的通道变换卷积和两个级联Res-Block特征提取器组成，将n路输出的特征子图
Figure BDA0002790193840000077
在通道上使用concatenate方法叠加得到
Figure BDA0002790193840000078
输入
Figure BDA0002790193840000079
卷积得到
Figure BDA0002790193840000081
3.6)设置一个基于全连接层的输出模块，对步骤3.5)的结果进行全连接卷积得到最终的特征子图，并使用Sigmoid函数对其进行0-1预测，得到最终的输出概率图；
设置一个输出模块，具体是两个基于[1]m卷积核的全连接模块FCN1，FCN2，对特征子图
Figure BDA0002790193840000082
处理，经过FCN1得到
Figure BDA0002790193840000083
再经过FCN2得到最终特征图
Figure BDA0002790193840000084
通过Sigmoid函数将其表示为0-1概率图输出Y′。
上述步骤中，根据分割精度要求和硬件运算能力，通常取n≥4，取|M1|＝1且|Mi|≤|Mj|when i＜j，即Mi级联个数与Ri的尺度大小非正相关，或即Ri尺度越小，Mi级联个数应取更多的级联个数。例如，在本发明的Brain Tumour任务分割中，样本数为484，需要数据预处理大小为96*128*128，执行算法的计算机的CPU为AMD Ryzen Threadripper 3970X，计算机操作系统为Windows 10，CUDA版本为10.1，使用的神经网络框架为Pytorch，版本为1.5，综合以上取m＝3，{L1，L2，L3}＝{96，128，128}，n＝5，{|M1|，...，|M5|}＝{1，2，2，2，2}，{R1，...，R5}对应尺度
Figure BDA0002790193840000085
方法最终可以实现Dice＝97.03％的分割精度。
上述步骤2)中，可以在训练模型的阶段迭代训练得到网络参数，也可以在预测阶段对待预测图像进行分割预测。对多路多尺度编解码网络深度学习模型的训练方法为：
对训练数据和对应标签进行预处理，将数据集划分为训练集和测试集，并设置迭代次数。训练集用于迭代训练网络，计算Loss并利用梯度求导反向传播更新参数，迭代完成时得到模型的网络参数。测试集用于验证网络参数的有效性，将参数输入到网络模型中，计算平均Loss，平均Dice系数和mAP等指标，根据预先设定的阈值，此时若达标则保存训练好的网络参数，若未达标，需要重新划分数据集与迭代次数，重新训练网络。
其中，训练阶段的Loss计算采用交叉熵(BCELoss)+DiceLoss的混合损失函数，其计算公式为：
Figure BDA0002790193840000091
Figure BDA0002790193840000092
Lbce＝BCELoss＝-Y×log(Y′)-(1-Y)×log(1-Y′)
L＝αLdice+βLbce
式中，L为损失函数，Y′，Y分别表示网络预测图和标注图，Ldice代表DiceLoss损失，Lbce代表交叉熵损失；对于不同的数据集和情景，可以根据需求设置α，β两个超参，α决定正例正确的重要程度，而β决定正负例平衡且正确的重要程度。DiceLoss更关注正类的准确性；而BCELoss对正负类具有相同的关注度，两者通过超参加权结合，可以实现同时对Truepositives和False negatives的提升以及同时对True negatives和False positives的抑制。
上述各步骤中，在网络训练阶段，学习率根据epoch的增加从1减少到0.01，共训练100个epoch步，使用带冲量的随机梯度下降法进行训练，冲量设置为0.5，根据不同的训练集，不同的器官或病灶，可适当调整参数，训练完成之后可得到网络的权重，在测试阶段，输入待图像通过权重对图像进行预测分割。
在本发明的第二实施方式中，提供一种多路多尺度并联编解码网络医学图像分割系统，其包括：预处理模块、训练模块和分割预测模块；
预处理模块将训练数据进行预处理，然后划分数据集为训练集和测试集；
训练模块中训练集用于训练多路多尺度编解码网络深度学习模型的网络参数，测试集用于验证迭代完成的网络参数的泛化性能，如果测试集精度不满足预先设定要求则从新划分数据集进行训练，如果满足预先设定要求则保存网络参数；
分割预测模块对待预测数据作与训练数据相同的预处理，载入训练好的网络参数，最后对模型输入图像，并得到分割预测结果，分割结果以概率图表示。
在本发明的第三实施方式中，提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，该指令当由计算设备执行时，使得计算设备执行如第一实施方式中的任一方法。
在本发明的第四实施方式中，提供一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为一个或多个处理器执行，一个或多个程序包括用于执行如第一实施方式中的任一方法的指令。
实施例：
为验证本发明所提方法的有效性和实用性，下面给出在各个数据集上的一个实例，表1为实例的在测试集上的检测结果，各类衡量标准为Dice系数，mAP(mean AveragePrecision)，F1指数和FPs(每图像分割时间)，数据集使用来自Medical SegmentationDecathlon的3D MR数据Brain Tumour，Prostate数据集，和来自Celltracking Challenge的细胞电镜数据GFP-actin-stained A549 Lung Cancer cells。如下：
表1实例的在数据集上的验证效果
Figure BDA0002790193840000101
由表1可以看出，与经典单路深层编解码网络V-Net作为baseline相比，本发明提出的创新算法对于各项指标都有更好的性能，如图5所示。使用本实施例对于分割细节准确性有较大提升，在Dice系数，AP，F1指数等指标上都优于V-Net，同时预测速度保持在相同的时间量级，证明了本发明的有效性。此外，图3与图4的可视化检测结果也可说明本发明的性能优越性。
综上，由于需要对经典深度编解码网络各层不同尺度语义进行解耦，本发明采用多路多尺度并联，使得网络对于图像目标区域中的整体与细节的分割都有进一步的提升。同时由于使用多路多尺度并联的网络结构，使得各路网络梯度在BP训练的过程中是独立的，与各尺度级联的经典深层编解码网络相比，有加速收敛的特点。本发明可实现对于3D医学图像中器官或病灶区域的分割。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种多路多尺度并联编解码网络医学图像分割方法，其特征在于，包括以下步骤：
1)将训练数据进行预处理，然后划分数据集为训练集和测试集；
2)训练集用于训练多路多尺度编解码网络深度学习模型的网络参数，测试集用于验证迭代完成的网络参数的泛化性能，如果测试集精度不满足预先设定要求则从新划分数据集进行训练，如果满足预先设定要求则保存网络参数；
3)对待预测数据作与训练数据相同的预处理，载入训练好的网络参数，最后对模型输入图像，并得到分割预测结果，分割结果以概率图表示。
2.如权利要求1所述分割方法，其特征在于，所述预处理要求输入数据图像与标注图像的各维度的尺寸大小一致。
3.如权利要求1所述分割方法，其特征在于，所述迭代总次数epoch不大于200，达到最优值邻域的迭代次数epoch不大于100。
4.如权利要求1所述分割方法，其特征在于，所述多路多尺度编解码网络深度学习模型包括输入变换模块、多路多尺度特征提取模块和交流路口与输出模块；
所述输入变换模块包含两层卷积层，将输入图像由单通道图像卷积变换为与路数对应的多个多通道特征图；
所述多路多尺度特征提取模块包括原始尺度与其他尺度的特征提取模块，原始尺度的特征通过原尺度的卷积编解码和基于Res-Block网络特征提取子模块的结构实现，其他尺度的特征通过变换尺度的下采样卷积编码与上采样解码卷积解码，和基于单个或级联的Res-Block网络特征提取子模块的结构实现；
所述交流路口与输出模块包括一个通道变换卷积层、两个级联的Res-Block的网络特征提取结构和两个级联的FCN层网络模块；用于对多路多尺度的特征提取结果进行融合，并输出预测图。
5.如权利要求4所述分割方法，其特征在于，通过多路多尺度编解码网络深度学习模型的分隔预测方法包括以下步骤：
3.1)输入图像经过输入变换模块，由单通道图像卷积变换为多通道特征图；
3.2)设置多路多尺度特征提取模块的卷积编码器，其中第一路作尺度不变卷积，其他路做不同尺度的下采样卷积，对来自步骤3.1)的输入图像分别进行卷积编码后，得到包含原尺度在内的多个尺度的多通道特征子图；
3.3)各路设置对应尺度的特征提取网络子模块，其中特征提取网络子模块由单个或多个级联的Res-Block残差卷积模块组成，对来自步骤3.2)的不同尺度的多通道特征子图进行特征提取；
3.4)设置多路多尺度特征提取模块的卷积解码器，其中第一路作尺度不变卷积，其他路做不同尺度的上采样卷积，对来自步骤3.3)经过特征提取的多个特征子图进行卷积解码，得到多个与原尺度相同，且通道数相同的特征子图；
3.5)设置一个交汇路口网络模块，将来自步骤3.4)的特征子图通过concatenate的方法在卷积通道上叠加，并使用一个降通道卷积和两个级联Res-Block残差卷积模块将特征信息进一步融合；
3.6)设置一个基于全连接层的输出模块，对步骤3.5)的结果进行全连接卷积得到最终的特征子图，并使用Sigmoid函数对其进行0-1预测，得到最终的输出概率图。
6.如权利要求5所述分割方法，其特征在于，对多路多尺度编解码网络深度学习模型的训练方法包括：
对训练数据和对应标签进行预处理，将数据集划分为训练集和测试集，并设置迭代次数；训练集用于迭代训练网络，计算Loss并利用梯度求导反向传播更新参数，迭代完成时得到模型的网络参数；测试集用于验证网络参数的有效性，将参数输入到网络模型中，计算平均Loss，平均Dice系数和mAP指标，根据预先设定的阈值，此时若达标则保存训练好的网络参数，若未达标，需要重新划分数据集与迭代次数，重新训练网络。
7.如权利要求6所述分割方法，其特征在于，训练阶段的Loss计算采用交叉熵(BCELoss)+DiceLoss的混合损失函数。
8.一种多路多尺度并联编解码网络医学图像分割系统，其特征在于包括：预处理模块、训练模块和分割预测模块；
所述预处理模块将训练数据进行预处理，然后划分数据集为训练集和测试集；
所述训练模块中训练集用于训练多路多尺度编解码网络深度学习模型的网络参数，测试集用于验证迭代完成的网络参数的泛化性能，如果测试集精度不满足预先设定要求则从新划分数据集进行训练，如果满足预先设定要求则保存网络参数；
所述分割预测模块对待预测数据作与训练数据相同的预处理，载入训练好的网络参数，最后对模型输入图像，并得到分割预测结果，分割结果以概率图表示。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述的方法中的任一方法的指令。
CN202011312332.5A 2020-11-20 2020-11-20 多路多尺度并联编解码网络图像分割方法、系统及介质 Active CN112216371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011312332.5A CN112216371B (zh) 2020-11-20 2020-11-20 多路多尺度并联编解码网络图像分割方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011312332.5A CN112216371B (zh) 2020-11-20 2020-11-20 多路多尺度并联编解码网络图像分割方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112216371A true CN112216371A (zh) 2021-01-12
CN112216371B CN112216371B (zh) 2022-07-12

Family

ID=74068074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011312332.5A Active CN112216371B (zh) 2020-11-20 2020-11-20 多路多尺度并联编解码网络图像分割方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112216371B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112454A (zh) * 2021-03-22 2021-07-13 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113569819A (zh) * 2021-09-23 2021-10-29 泰豪软件股份有限公司 刀闸开合状态的识别方法、系统、存储介质及计算机设备
CN113781410A (zh) * 2021-08-25 2021-12-10 南京邮电大学 一种基于MEDU-Net+网络的医学图像分割方法和系统
CN114463459A (zh) * 2022-01-24 2022-05-10 南方医科大学 一种pet图像的部分容积校正方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826596A (zh) * 2019-10-09 2020-02-21 天津大学 一种基于多尺度可变形卷积的语义分割方法
CN111325750A (zh) * 2020-02-25 2020-06-23 西安交通大学 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826596A (zh) * 2019-10-09 2020-02-21 天津大学 一种基于多尺度可变形卷积的语义分割方法
CN111325750A (zh) * 2020-02-25 2020-06-23 西安交通大学 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JULIO CÉSAR MELLO ROMÁN ET AL.: "Medical images contrast and detail enhancement using a multiscale morphological approach", 《2020 15TH IBERIAN CONFERENCE ON INFORMATION SYSTEMS AND TECHNOLOGIES》 *
JUNTANG ZHUANG: "Laddernet: Multi-path networks based on u-net for medical image segmentation", 《《HTTPS://ARXIV.ORG/PDF/1810.07810V4.PDF》》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112454A (zh) * 2021-03-22 2021-07-13 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113112454B (zh) * 2021-03-22 2024-03-19 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113781410A (zh) * 2021-08-25 2021-12-10 南京邮电大学 一种基于MEDU-Net+网络的医学图像分割方法和系统
CN113781410B (zh) * 2021-08-25 2023-10-13 南京邮电大学 一种基于MEDU-Net+网络的医学图像分割方法和系统
CN113569819A (zh) * 2021-09-23 2021-10-29 泰豪软件股份有限公司 刀闸开合状态的识别方法、系统、存储介质及计算机设备
CN113569819B (zh) * 2021-09-23 2021-12-24 泰豪软件股份有限公司 刀闸开合状态的识别方法、系统、存储介质及计算机设备
CN114463459A (zh) * 2022-01-24 2022-05-10 南方医科大学 一种pet图像的部分容积校正方法、装置、设备及介质
CN114463459B (zh) * 2022-01-24 2022-09-27 南方医科大学 一种pet图像的部分容积校正方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112216371B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN112216371B (zh) 多路多尺度并联编解码网络图像分割方法、系统及介质
Lan et al. Generative adversarial networks and its applications in biomedical informatics
CN111340828A (zh) 基于级联卷积神经网络的脑部胶质瘤分割
CN111260705B (zh) 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
Mu et al. An attention residual u-net with differential preprocessing and geometric postprocessing: Learning how to segment vasculature including intracranial aneurysms
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
Wang et al. Information bottleneck-based interpretable multitask network for breast cancer classification and segmentation
Gong et al. Vqamix: Conditional triplet mixup for medical visual question answering
CN112598656A (zh) 一种基于UNet++优化和权值预算的脑肿瘤分割算法
Wu et al. Tgnet: A task-guided network architecture for multi-organ and tumour segmentation from partially labelled datasets
Li et al. Double attention U-Net for brain tumor MR image segmentation
Hallitschke et al. Multimodal interactive lung lesion segmentation: A framework for annotating pet/ct images based on physiological and anatomical cues
Liew et al. CASPIANET++: a multidimensional channel-spatial asymmetric attention network with noisy student curriculum learning paradigm for brain tumor segmentation
Abbasi et al. Automatic brain ischemic stroke segmentation with deep learning: A review
Xing et al. Gradient modulated contrastive distillation of low-rank multi-modal knowledge for disease diagnosis
Wen et al. Squeeze-and-excitation encoder-decoder network for kidney and kidney tumor segmentation in CT images
Li et al. A new three-stage curriculum learning approach for deep network based liver tumor segmentation
CN115760874A (zh) 一种基于联合空间域的多尺度U-Net医学图像分割方法
Carmo et al. Open-source tool for airway segmentation in computed tomography using 2.5 d modified efficientdet: Contribution to the atm22 challenge
CN111612762B (zh) Mri脑肿瘤图像生成方法及系统
Fu et al. x-net: Dual supervised medical image segmentation with multi-dimensional self-attention and diversely-connected multi-scale convolution
Lu et al. A novel u-net based deep learning method for 3d cardiovascular MRI segmentation
Zhuang et al. Semantic Image Synthesis for Abdominal CT
Kato et al. Adaptive t-vmf dice loss for multi-class medical image segmentation
Gong et al. Attention-based densely connected convolutional network for chromosome classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant