CN115222748A - 一种基于并联深度u形网络和概率密度图的多器官分割方法 - Google Patents

一种基于并联深度u形网络和概率密度图的多器官分割方法 Download PDF

Info

Publication number
CN115222748A
CN115222748A CN202210808591.XA CN202210808591A CN115222748A CN 115222748 A CN115222748 A CN 115222748A CN 202210808591 A CN202210808591 A CN 202210808591A CN 115222748 A CN115222748 A CN 115222748A
Authority
CN
China
Prior art keywords
segmentation
network
scale
organ
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210808591.XA
Other languages
English (en)
Inventor
白相志
高鸿渐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210808591.XA priority Critical patent/CN115222748A/zh
Publication of CN115222748A publication Critical patent/CN115222748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明为一种基于并联深度U形网络和概率密度图的多器官分割方法，步骤如下：步骤一：在大规模无标签影像数据集上对深度卷积实例分割网络编码器进行基于对比学习的自监督预训练；步骤二：基于器官概率密度图与预训练网络权重，利用多尺度并联深度U形实例分割网络对输入影像进行多器官初步分割；步骤三：利用多尺度自适应融合模块改善初步分割结果，得到对输入影像的精细多器官分割。本发明可充分利用传统有监督学习中难以利用的大规模无标签数据，同时针对多器官分割任务引入了概率密度图引导和多尺度自适应融合模块，保证了多器官分割结果的准确性和可靠性。本发明可以与临床诊断和放化疗计划制定等相关领域应用密切结合，具有广阔的市场前景与应用价值。

Description

一种基于并联深度U形网络和概率密度图的多器官分割方法
技术领域
本发明涉及一种基于并联深度U形网络和概率密度图的多器官分割方法，属于医学影像分割、模式识别和计算机视觉领域。它主要涉及自监督学习、深度卷积网络以及实例分割。在临床诊断与治疗相关领域具有广阔的应用前景。
背景技术
医学影像分割是指根据医学影像中区域间的相似性或差异性将影像分割成若干区域，其分割对象通常为器官、组织或细胞等。相比医生对影像进行手工分割，利用计算机视觉算法自动分割具有耗时少，一致性好等优势。因此使用计算机视觉算法进行医学影像分割可以大大降低医生的工作量，降低临床诊断与治疗过程中的人力成本和时间成本。
近年来，深度学习发展迅猛，在多个领域都取得了瞩目的进展。使用深度网络进行图像分割的方法也大量涌现，且迅速展现出了相比传统分割方法(阈值分割，区域生长算法等)的性能优势。Long等提出的全卷积网络率先将深度卷积网络应用于图像分割任务中，使用卷积操作获取图像深度特征后使用逆卷积对特征进行上采样，得到对每个像素的类别预测(参见文献，朗,谢尔哈默,达瑞尔,用于语义分割的全卷积网络.计算机视觉和模式识别会议,3431-3440,2015.(J.Long,E.Shelhamer,T.Darrell,“Fully convolutionalnetworks for semantic segmentation”,Proceedings of the IEEE conference oncomputer vision and pattern recognition,3431-3440,2015))。Ronneberger等人在全卷积网络的基础上提出了U-Net，应用了编码器-解码器结构，并使用跳跃连接来提升对细节部分的分割精度(参见文献，罗内伯格,菲舍尔,布洛克斯,U-Net：用于生物医学图像分割的卷积网络.医学图像计算和计算机辅助干预国际会议,234-241,2015(O.Ronneberger,P.Fischer,T.Brox,“U-Net:Convolutional Networks for Biomedical ImageSegmentation”,International Conference on Medical Image Computing andComputer-Assisted Intervention,234-241,2015))。U-Net由于其对称的结构特点和巧妙的跳跃连接机制，在医学影像分割任务中表现出色而被广泛应用。Isensee等人以U-Net为基础网络架构，设计提出了一套自适应的医学影像分割框架nnU-Net，该框架能够根据待分割数据，自适应地确定网络深度、数据增强策略和数据的预处理以及后处理方法，且能够在多种医学影像分割任务重达到先进的分割精度(参见文献，伊森塞,耶格,科尔等,nnU-Net：一种基于深度学习的生物医学图像分割的自配置方法.自然方法,18(2):203-211,2021(F.Isensee,P.F.Jaeger,S.A.A.Kohl,et al.,“nnU-Net:a self-configuring methodfor deep learning-based biomedical image segmentation”,Nature methods,18(2):203-211,2021))。Luc等人最先将生成对抗网络应用于图像分割任务中，使用全卷积网络等分割网络作为生成器，再构建判别器进行对抗训练来对分割网络的参数进行优化。(参见文献,卢克,库普里,钦塔拉等,使用对抗网络的语义分割.预印本,https://arxiv.org/abs/1611.08408,2016(P.Luc,C.Couprie,S.Chintala,et al.,“Semantic Segmentationusing Adversarial Networks”,Preprint at https://arxiv.org/abs/1611.08408,2016))。Xue等人提出了应用于医学影像分割的生成对抗网络SegAN，提出一种多尺度L1损失函数来对分割网络进行优化，改善了医学影像分割中的类别不平衡问题(参见文献，薛原,徐涛,张寒等,SegAN：用于医学图像分割的具有多尺度L1损失的对抗网络.神经信息学,16(3):383-392,2018(Yuan Xue,Tao Xu,Han Zhang,et al.,“SegAN:AdversarialNetwork with Multi-scale L1 Loss for Medical Image Segmentation”,Neuroinformatics,16(3):383-392,2018))。
然而在将以上算法应用于多器官分割任务中时，仍存在以下问题：由于专家标注获取成本高，标注样本在医学影像分割中较为稀缺，而监督学习的方式无法利用数目庞大的无标注样本，较少的训练数据量使得深度网络的泛化性能受到限制；相同器官在不同人体内的分布位置和范围具有一定程度的一致性和稳定性，但在三维医学影像分割中由于计算资源限制，通常采取将整个影像裁切成独立的影像块进行分割的方式，加之卷积操作提取特征具有平移不变性，使得器官在整体影像中的位置先验信息难以利用；人体内不同器官大小尺度各异，虽然部分分割网络采用了特征图跨越连接的方式来提升对不同大小器官的分割效果，但仍难以保证对各个尺度器官均做到准确分割。本发明提出一种基于并联深度U形网络和概率密度图的多器官分割方法，利用对应器官的统计概率密度图对分割进行辅助和引导，通过对比学习自监督预训练充分利用大规模无标注数据来提升分割网络中编码器的特征提取能力，并采用多尺度自适应融合模块来进一步提升对不同尺度大小器官的分割精度。
发明内容
针对上述问题，本发明的目的在于提供一种基于并联深度U形网络和概率密度图的多器官分割方法，利用对应器官的统计概率密度图对分割进行辅助和引导，通过对比学习自监督预训练充分利用大规模无标注数据来提升分割网络中编码器的特征提取能力，并采用多尺度自适应融合模块来进一步提升对不同尺度大小器官的分割精度。本发明的技术方案整体思路主要体现在以下三方面：
1)构建对比学习自监督预训练框架，使用大规模无标注数据集对深度分割网络编码器进行预训练，提升其特征提取能力；
2)利用训练集专家标注统计获取多器官概率密度图，与待分割影像一同作为U形实例分割网络输入，利用器官位置的先验信息对分割过程起到辅助和引导作用；
3)设计构建多尺度自适应融合模块，融合时针对不同尺度下不同器官学习自适应权重，实现对不同尺度器官的精确分割。
本发明涉及一种基于并联深度U形网络和概率密度图的多器官分割方法，该方法具体步骤如下：
步骤一：在大规模无标签影像数据集上对深度卷积实例分割网络编码器进行基于对比学习的自监督预训练；
基于U形实例分割网络构建深度卷积编码器网络，利用大规模无标签影像数据集，在像素传播对比学习框架下对深度卷积编码器网络进行预训练。基于像素传播损失函数对编码器网络参数进行优化，最终输出预训练好的编码器网络参数。具体过程如下：
S11、构建像素传播对比学习框架，此框架包含两条前向通路，其中每条前向通路包含一个独立的分割网络编码器和特征投影层，通路A还额外包括一个像素传播模块。此框架的输入为同一影像在不同视角下的两幅影像块，两幅影像块分别通过通路A和通路B得到两幅特征图，框架的输出则为两幅特征图之间的像素传播损失函数值。
S12、对用于自监督预训练的无标签影像进行两次随机裁剪，得到一幅影像在不同视角下的两幅影像块，经过随机数据增强后作为输入样本对，按照S11所述对比学习框架对分割网络编码器进行预训练，具体为：基于两幅影像块经过通路A和通路B得到的两幅特征图之间的像素传播损失对对比学习框架中的编码器网络参数进行优化，其中，通路A中编码器网络参数以像素传播损失函数梯度反向传播方式更新，通路B中编码器网络参数以指数移动平均方式更新，像素传播损失函数收敛后得到预训练的编码器网络参数
步骤二：基于器官概率密度图与预训练编码器网络参数，利用多尺度并联U形实例分割网络对输入影像进行多尺度的多器官初步分割
根据已标注数据集的多器官标注，统计构建三维多器官概率密度图。构建U形实例分割网络，将概率密度图作为先验引导信息，与待分割影像一同作为U形实例分割网络输入，以相关领域专家事先对相应图像的手工标注作为标签对U形实例分割网络进行训练。U形实例分割网络通过编码器对网络输入编码深度特征，之后采用解码器对深度特征解码得到对输入影像的初步分割，基于U形实例分割网络的分割结果与专家标注之间的Dice损失函数和交叉熵损失函数对U形实例分割网络参数进行优化。对U形实例分割网络的输入和标注进行重采样，在多个尺度下进行以上优化过程，最终输出为多尺度并联U形实例分割网络对影像的多尺度初步分割结果。具体过程如下：
S21、根据已标注数据集的多器官标注，统计构建三维多器官概率密度图，具体为：根据标注的器官边界对数据集中的专家标注进行配准对齐，之后对每幅进行重采样至标准尺寸，随后逐体素统计待分割的全部器官在数据集中出现的概率，并对统计得到的概率进行归一化得到各个器官的概率密度图。
S22、构建U形实例分割网络，U形实例分割网络包含一深度卷积编码器和一深度卷积解码器，其输入为待分割影像及多器官概率密度图，输出为对输入影像的初步分割结果。U形实例分割网络中的深度卷积编码器用于对输入提取多尺度卷积特征，随着U形实例分割网络层数的加深，输出特征图的空间尺寸缩减而通道数增加，浅层特征包含更多局部细节信息而深层特征包含更多全局语义信息。U形实例分割网络中的深度卷积解码器将编码器提取的多尺度卷积特征进行融合与解码，得到对输入影像的初步分割结果。
S23、利用S21所得的多器官概率密度图和训练集的影像及专家标注数据对S22构建的U形实例分割网络进行训练优化。首先对U形实例分割网络进行参数初始化，其中深度卷积编码器的初始化参数为步骤一得到的预训练编码器网络参数，深度卷积解码器的初始化参数以随机初始化的方式获得。之后计算U形实例分割网络对输入影像的分割结果与对应的专家标注之间的分割损失函数L，分割损失函数L为Dice损失函数和交叉熵损失函数之和，Dice损失函数的表达式为
Figure BDA0003739423910000041
其中|X|和|Y|表示专家标注和分割结果中的元素数，|X∩Y|表示二者交集的元素数，交叉熵损失函数的表达式为
Figure BDA0003739423910000042
其中p(xi)和q(xi)分别表示某处的专家标注及对应位置的分割结果。采用随机梯度下降优化器对U形实例分割网络进行优化，U形实例分割网络的初始学习率设置为10-2并引入动量更新和权重衰减机制，通过梯度反向传播调整U形实例分割网络权重值对分割损失函数L进行优化。
S24、对训练集影像、专家标注及多器官概率密度图进行多尺度重采样，对多个尺度下的U形实例分割网络重复上述优化过程，最终得到多尺度并联U形实例分割网络对输入影像的多尺度初步分割结果。
步骤三：利用多尺度自适应融合模块改善初步分割结果，得到对输入影像的精细多器官分割
构建多尺度自适应融合模块，多尺度自适应融合模块的权重参数为针对不同尺度下各个器官的自适应权重。多尺度融合模块以多尺度初步分割结果作为输入，利用模块权重参数对多尺度输入进行加权融合，得到对输入影像的多尺度融合分割结果。基于多尺度融合分割与专家标注之间的分割损失函数对不同尺度的自适应权重参数进行优化更新。具体地，多尺度融合运算的表达式为
Figure BDA0003739423910000051
其中Pi表示影像中融合运算后某位置属于第i个器官的概率，Pij表示在第j个尺度的初步分割结果中此位置属于第i个器官的概率，wij表示第j个尺度下第i个器官的自适应权重参数，n表示步骤二中采用的全部尺度。基于多尺度融合分割与专家标注之间的分割损失函数L对多尺度下不同器官的自适应权重参数wij进行优化更新，分割损失函数L为Dice损失函数和交叉熵损失函数之和，Dice损失函数的表达式为
Figure BDA0003739423910000052
其中|X|和|Y|表示专家标注和网络分割中的元素数，|X∩Y|表示二者交集的元素数，交叉熵损失函数的表达式为
Figure BDA0003739423910000053
其中p(xi)和q(xi)分别表示某处的专家标注及对应位置的网络分割结果。初始学习率设置为10-3并引入动量更新和权重衰减机制，通过梯度反向传播使用调整多尺度自适应权重对分割损失函数L进行优化。最终输出为多尺度初步分割经由多尺度自适应融合模块后得到的对输入影像的精细分割结果。
基于并联深度U形网络和概率密度图的多器官分割方法流程如图1所示，利用对应器官的统计概率密度图对分割进行辅助和引导，通过对比学习自监督预训练充分利用大规模无标注数据来提升分割网络中编码器的特征提取能力，并采用多尺度自适应融合模块来进一步提升对不同尺度大小器官的分割精度，最终得到精确的多器官分割结果。
本发明的优点及功效是：本发明提出一种基于并联深度U形网络和概率密度图的多器官分割方法，针对医学影像分割中器官位置先验信息难以利用的问题，统计构建多器官概率密度图对U形实例分割网络进行辅助引导；应用像素传播对比学习框架来对网络编码器进行预训练，充分利用大规模的无标注影像数据；同时设计多尺度自适应融合模块，有效提升对不同尺度器官的检测精度，实现对多器官的准确分割。本发明算法相较于医生手工分割显著降低了人力成本和时间成本，具备较高的分割准确性，可作为临床诊断与治疗中的有效辅助，具有广阔的市场前景与应用价值。
附图说明
图1为基于并联深度U形网络和概率密度图的多器官分割方法总体流程图。
图2为像素传播对比学习框架图。
图3为U形实例分割网络示意图。
图4为多尺度自适应融合模块示意图。
图5a-图5d为本发明方法对胸腹部CT影像的多器官分割二维可视化示意。
图6a-图6b为本发明方法对胸腹部CT影像的多器官分割三维可视化示意。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明是一种基于并联深度U形网络和概率密度图的多器官分割方法，其总体流程如图1所示，各部分具体实施细节步骤如下：
第一步：在大规模无标签影像数据集上对深度卷积实例分割网络编码器进行基于对比学习的自监督预训练；
S11、构建像素传播对比学习框架，如图2所示此框架包含两条前向通路，其中每条前向通路包含一分割网络编码器和一特征投影层，两条通路的分割网络编码器和特征投影层的结构相同但是参数相互独立。分割网络编码器与步骤二中采用的U形实例分割网络的编码器部分结构相同，特征投影层则由卷积层、标准化层和非线性层组成。通路A还额外包括一个像素传播模块。此框架的输入为同一影像的在不同视角下的两幅影像块，两幅影像块分别通过通路A和通路B得到两幅特征图，框架的输出则为两幅特征图之间的像素传播损失函数值。
S12、对用于自监督预训练的无标签影像进行两次随机裁剪，得到一幅影像在不同视角下的两幅影像块，并确保两幅影像块间存在一定重叠区域，重叠部分的对应像素成为正像素对。两幅影像块经过随机数据增强后作为输入样本对，其中数据增强方式包括随机高斯噪声，随机高斯模糊，随机亮度增强和随机对比度增强等。按照S11所述对比学习框架对分割网络编码器进行预训练，具体为：基于输入样本对中的两幅影像块分别经过通路A和通路B得到的两幅特征图之间的像素传播损失对对比学习框架中的分割网络编码器进行参数优化，像素传播损失的表达式为LPixPro＝-cos(yp1，xp2′)-cos(yp2，xp1′)，其中p1和p2表示一组正像素对中的两个像素，y和x′分别表示通路A和通路B输出的特征图。在参数优化过程中，通路A中编码器网络参数以损失函数梯度反向传播方式更新，通路B中编码器网络参数以指数移动平均方式更新，像素传播损失函数收敛后得到预训练的编码器网络参数。其具体框架如图2所示。
步骤二：基于器官概率密度图与预训练编码器网络参数，利用U形实例分割网络对输入影像进行多器官初步分割
S21、根据已标注数据集的多器官标注，统计构建三维多器官概率密度图，具体为：根据标注的器官边界对数据集中的专家标注进行配准对齐，之后对每幅进行重采样至标准尺寸，随后逐体素统计待分割的全部器官在数据集中出现的概率，并对统计得到的概率进行归一化得到各个器官的概率密度图，某位置m处属于类别n的概率计算表达式为
Figure BDA0003739423910000071
Figure BDA0003739423910000072
其中N表示训练集影像数，Ckm表示在第k幅影像的专家标注中m位置所属类别，if(·)为逻辑判断函数，在括号内命题成立时函数值为1，否则函数值为0。
S22、构建U形实例分割网络，其结构示意如图3所示。U形实例分割网络包含一深度卷积编码器和一深度卷积解码器，编码器和解码器由相同数目的若干子编码器和子解码器组成，子编码器和子解码器主要包含卷积层、标准化层和非线性层。U形实例分割网络的输入为待分割影像及多器官概率密度图，输出为对输入影像的初步分割结果。U形实例分割网络中的深度卷积编码器用于对输入提取多尺度卷积特征，随着U形实例分割网络层数的加深，输出特征图的空间尺寸缩减而通道数增加，浅层特征包含更多局部细节信息而深层特征包含更多全局语义信息。U形实例分割网络中的深度卷积解码器将编码器提取的不同深度的卷积特征进行融合与解码，得到对输入影像的初步分割结果。
S23、利用S21所得的多器官概率密度图和训练集的影像及专家标注数据对S22构建的U形实例分割网络进行训练优化。首先对U形分割网络进行网络参数初始化，其中深度卷积编码器的初始化参数为步骤一得到的预训练编码器网络参数，深度卷积解码器的初始化参数以随机初始化的方式获得。之后计算U形实例分割网络对输入影像的分割结果与对应的专家标注之间的分割损失函数L，分割损失函数L为Dice损失函数和交叉熵损失函数之和，Dice损失函数的表达式为
Figure BDA0003739423910000081
其中|X|和|Y|表示专家标注和分割结果中的元素数，|X∩Y|表示二者交集的元素数，交叉熵损失函数的表达式为
Figure BDA0003739423910000082
其中p(xi)和q(xi)分别表示某处的专家标注及对应位置的分割结果。采用随机梯度下降优化器对U形实例分割网络进行优化，U形实例分割网络的初始学习率设置为10-2并引入动量更新和权重衰减机制，通过梯度反向传播调整U形实例分割网络权重值对分割损失函数L进行优化。
S24、对训练集影像、专家标注及多器官概率密度图进行多尺度重采样，对多个尺度下的U形实例分割网络重复上述优化过程，最终得到多尺度并联U形实例分割网络对输入影像的多尺度初步分割结果。
步骤三：利用多尺度自适应融合模块改善初步分割结果，得到对输入影像的精细多器官分割
设计构建多尺度自适应融合模块，其结构示意如图4所示，其权重参数为针对不同尺度下不同器官的自适应权重。多尺度融合模块以多尺度初步分割结果作为输入，利用模块权重参数对多尺度输入进行加权融合，得到对输入影像的多尺度融合分割结果。基于多尺度融合分割与专家标注之间的分割损失函数L对不同尺度的自适应权重进行优化更新。具体地，多尺度融合运算的表达式为
Figure BDA0003739423910000083
其中Pi表示影像中融合运算后某位置属于第i个器官的概率，Pij表示在第j个尺度的初步分割结果中此位置属于第i个器官的概率，wij表示第j个尺度下第i个器官的自适应权重参数，n表示步骤二中采用的全部尺度。基于多尺度融合分割与专家标注之间的分割损失函数L对多尺度下不同器官的自适应权重参数wij进行优化更新，分割损失函数L为Dice损失函数和交叉熵损失函数之和，Dice损失函数的表达式为
Figure BDA0003739423910000084
其中|X|和|Y|表示专家标注和分割结果中的元素数，|X∩Y|表示二者交集的元素数，交叉熵损失函数的表达式为
Figure BDA0003739423910000085
其中p(xi)和q(xi)分别表示某处的专家标注及对应位置的分割结果。初始学习率设置为10-3并引入动量更新和权重衰减机制，通过梯度反向传播使用调整多尺度自适应权重参数对分割损失函数L进行优化。最终输出为多尺度初步分割经由可学习融合模块后得到的对输入影像的精细分割结果。
为了直观上展示本发明的效果，图5a-图5d展示了本发明在胸腹部CT影像数据上的多器官分割二维可视化结果，其中图5a为胸腹部CT影像，图5b为本发明对影像中肝脏的分割结果，图5c为本发明对影像中胃的分割结果，图5d为本发明对影像中脾脏的分割结果。图6a-图6b展示了本发明在胸腹部CT影像数据上的多器官分割三维可视化结果，其中图6a为影像的多器官专家标注，图6b为本发明方法对相同影像的多器官分割。可以看出本发明方法对胸腹部多个主要器官都有精确的分割效果，同时与专家标注结果有较高的一致性。以2858张无标签数据做预训练，在170张有标签数据中随机选取136张作为训练集、34张作为测试集的条件下，本方法在多器官分割任务上取得了85.748％的平均Dice分数。由于本发明针对器官位置先验难以利用问题引入了概率密度图辅助引导，采用对比学习自监督预训练充分利用了大规模无标注数据集，同时利用多尺度自适应融合模块提升对不同尺度器官的分割效果，因而本发明能够实现对医学影像的多器官准确分割。本发明可以与临床诊断和放化疗计划制定等相关领域应用密切结合，具有广阔的市场前景与应用价值。

Claims (4)

1.一种基于并联深度U形网络和概率密度图的多器官分割方法，其特征在于：该方法步骤如下：
步骤一：在大规模无标签影像数据集上对深度卷积实例分割网络编码器进行基于对比学习的自监督预训练：
基于U形实例分割网络构建深度卷积编码器网络，利用大规模无标签影像数据集，在像素传播对比学习框架下对深度卷积编码器网络进行自监督预训练；基于像素传播损失函数对编码器网络参数进行优化，最终输出预训练的编码器网络参数；
步骤二：基于器官概率密度图与预训练网络权重，利用多尺度并联U形实例分割网络对输入影像进行多尺度的多器官初步分割：
根据已标注数据集的多器官标注，统计构建三维多器官概率密度图；构建U形实例分割网络，将概率密度图作为先验引导信息，与待分割影像一同作为U形实例分割网络输入，以专家事先对相应图像的手工标注作为标签对U形实例分割网络进行训练；U形实例分割网络通过编码器对网络输入编码深度特征，之后采用解码器对深度特征解码得到对输入影像的初步分割，基于U形实例分割网络的分割结果与专家标注之间的Dice损失函数和交叉熵损失函数对U形实例分割网络参数进行优化；对U形实例分割网络的输入和标注进行重采样，在多个尺度下进行优化，最终输出为多尺度并联U形实例分割网络对影像的多尺度初步分割结果；
步骤三：利用多尺度自适应融合模块改善初步分割结果，得到对输入影像的精细多器官分割：
构建多尺度自适应融合模块，多尺度自适应融合模块的参数为针对不同尺度下各个器官的自适应权重；多尺度融合模块以多尺度初步分割结果作为输入，利用模块权重对多尺度输入进行加权融合，得到对输入影像的多尺度融合分割结果；基于多尺度融合分割与专家标注之间的交叉熵损失函数和Dice损失函数对不同尺度的自适应权重参数进行优化更新；最终输出为多尺度初步分割经由多尺度自适应融合模块得到的对输入影像的精细分割结果。
2.根据权利要求1所述的一种基于并联深度U形网络和概率密度图的多器官分割方法，其特征在于：所述步骤一的具体过程如下：
S11、构建像素传播对比学习框架，此框架包含两条前向通路，其中每条前向通路包含一个独立的分割网络编码器和特征投影层，通路A还包括一个像素传播模块；此框架的输入为同一影像的在不同视角下的两幅影像块，两幅影像块分别通过通路A和通路B得到两幅特征图，框架的输出则为两幅特征图之间的像素传播损失函数值；
S12、对用于自监督预训练的无标签影像进行两次随机裁剪，得到一幅影像在不同视角下的两幅影像块，经过随机数据增强后作为输入样本对，按照步骤S11中对比学习框架对分割网络编码器进行预训练，具体为：基于两幅影像块经过通路A和通路B得到的两幅特征图之间的像素传播损失对对比学习框架中的编码器网络参数进行优化，其中，通路A中编码器网络参数以像素传播损失函数梯度反向传播方式更新，通路B中编码器网络参数以指数移动平均方式更新，像素传播损失函数收敛后得到预训练的编码器网络参数。
3.根据权利要求1或2所述的一种基于并联深度U形网络和概率密度图的多器官分割方法，其特征在于：所述步骤二的具体过程如下：
S21、根据已标注数据集的多器官标注，统计构建三维多器官概率密度图，具体为：根据标注的器官边界对数据集中的专家标注进行配准对齐，之后对每幅进行重采样至标准尺寸，随后逐体素统计待分割的全部器官在数据集中出现的概率，并对统计得到的概率进行归一化得到各个器官的概率密度图；
S22、构建U形实例分割网络，U形实例分割网络包含一深度卷积编码器和一深度卷积解码器，输入为待分割影像及多器官概率密度图，输出为对输入影像的初步分割结果；U形实例分割网络中的深度卷积编码器用于对输入提取多尺度卷积特征，随着U形实例分割网络层数的加深，输出特征图的空间尺寸缩减而通道数增加，浅层特征包含更多局部细节信息而深层特征包含更多全局语义信息；U形实例分割网络中的深度卷积解码器将编码器提取的多尺度卷积特征进行融合与解码，得到对输入影像的初步分割结果；
S23、利用步骤S21所得的多器官概率密度图和训练集的影像及专家标注数据对步骤S22构建的U形实例分割网络进行训练优化；首先对U形实例分割网络进行参数初始化，其中深度卷积编码器的初始化参数为步骤一得到的预训练编码器网络参数，深度卷积解码器的初始化参数以随机初始化的方式获得；之后计算U形实例分割网络对输入影像的分割结果与对应的专家标注之间的分割损失函数L，分割损失函数L为Dice损失函数和交叉熵损失函数之和，Dice损失函数的表达式为
Figure FDA0003739423900000021
其中|X|和|Y|表示专家标注和分割结果中的元素数，|X∩Y|表示二者交集的元素数，交叉熵损失函数的表达式为
Figure FDA0003739423900000022
其中p(xi)和q(xi)分别表示某处的专家标注及对应位置的分割结果；采用随机梯度下降优化器对U形实例分割网络进行优化，U形实例分割网络的初始学习率设置为10-2并引入动量更新和权重衰减机制，通过梯度反向传播调整U形实例分割网络权重值对分割损失函数L进行优化；
S24、对训练集影像、专家标注及多器官概率密度图进行多尺度重采样，对多个尺度下的U形实例分割网络重复上述优化过程，最终得到多尺度并联U形实例分割网络对输入影像的多尺度初步分割结果。
4.根据权利要求1所述的一种基于并联深度U形网络和概率密度图的多器官分割方法，其特征在于：所述步骤三的具体过程如下：
多尺度融合模块进行融合运算的表达式为
Figure FDA0003739423900000031
其中Pi表示影像中融合运算后某位置属于第i个器官的概率，Pij表示在第j个尺度的初步分割结果中此位置属于第i个器官的概率，wij表示第j个尺度下第i个器官的自适应权重参数，n表示步骤二中采用的全部尺度；基于多尺度融合分割与专家标注之间的分割损失函数L对多尺度下不同器官的自适应权重参数wij进行优化更新，分割损失函数L为Dice损失函数和交叉熵损失函数之和，Dice损失函数的表达式为
Figure FDA0003739423900000032
其中|X|和|Y|表示专家标注和网络分割中的元素数，|X∩Y|表示二者交集的元素数，交叉熵损失函数的表达式为
Figure FDA0003739423900000033
其中p(xi)和q(xi)分别表示某处的专家标注及对应位置的网络分割结果；初始学习率设置为10-3并引入动量更新和权重衰减机制，通过梯度反向传播使用调整多尺度自适应权重参数对分割损失函数L进行优化；最终输出为多尺度初步分割经由多尺度自适应融合模块后得到的对输入影像的精细分割结果。
CN202210808591.XA 2022-07-11 2022-07-11 一种基于并联深度u形网络和概率密度图的多器官分割方法 Pending CN115222748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210808591.XA CN115222748A (zh) 2022-07-11 2022-07-11 一种基于并联深度u形网络和概率密度图的多器官分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210808591.XA CN115222748A (zh) 2022-07-11 2022-07-11 一种基于并联深度u形网络和概率密度图的多器官分割方法

Publications (1)

Publication Number Publication Date
CN115222748A true CN115222748A (zh) 2022-10-21

Family

ID=83610282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210808591.XA Pending CN115222748A (zh) 2022-07-11 2022-07-11 一种基于并联深度u形网络和概率密度图的多器官分割方法

Country Status (1)

Country Link
CN (1) CN115222748A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统
CN116934738B (zh) * 2023-08-14 2024-03-22 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Similar Documents

Publication Publication Date Title
CN110097131B (zh) 一种基于对抗协同训练的半监督医疗图像分割方法
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN111260705B (zh) 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112508973A (zh) 一种基于深度学习的mri图像分割方法
CN113361636B (zh) 一种图像分类方法、系统、介质及电子设备
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN110246145A (zh) 一种腹部ct图像的分割方法
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN115018809A (zh) Ct图像的靶区分割识别方法及系统
CN116664588A (zh) 基于掩码建模的3d医学图像分割模型建立方法及其应用
CN115222748A (zh) 一种基于并联深度u形网络和概率密度图的多器官分割方法
Bozorgpour et al. Dermosegdiff: A boundary-aware segmentation diffusion model for skin lesion delineation
CN111667488B (zh) 一种基于多角度U-Net的医学图像分割方法
Ye et al. Synthetic augmentation with large-scale unconditional pre-training
Yin et al. Pyramid tokens-to-token vision transformer for thyroid pathology image classification
Ji et al. A dense-gated U-Net for brain lesion segmentation
CN116469103A (zh) 一种医学图像分割数据自动标注的方法
Cui et al. SCU-Net++: A Nested U-Net Based on Sharpening Filter and Channel Attention Mechanism
CN115526898A (zh) 一种医学影像分割方法
CN115496732A (zh) 一种半监督心脏语义分割算法
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination