CN113496495A - 可缺失输入的医学图像分割模型建立方法及分割方法 - Google Patents
可缺失输入的医学图像分割模型建立方法及分割方法 Download PDFInfo
- Publication number
- CN113496495A CN113496495A CN202110712879.2A CN202110712879A CN113496495A CN 113496495 A CN113496495 A CN 113496495A CN 202110712879 A CN202110712879 A CN 202110712879A CN 113496495 A CN113496495 A CN 113496495A
- Authority
- CN
- China
- Prior art keywords
- input
- medical image
- missing
- segmentation
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 82
- 230000011218 segmentation Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 16
- 238000013136 deep learning model Methods 0.000 claims description 14
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000009191 jumping Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000004884 grey matter Anatomy 0.000 description 4
- 210000004885 white matter Anatomy 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种可缺失输入的医学图像分割模型建立方法及分割方法，属于医学图像分割领域，模型包括：N个编码器，用于提取N个不同模态图像的多等级特征；图像风格转换模块，以各模态最底层特征为输入，用于在模态缺失时通过特征域风格转换将其余特征转换为缺失模态特征，得到模态特征G1～GN，并融合为融合特征Gf；N+1个解码器，一个为分割解码器，以Gf为输入，其余解码器分别以G1～GN为输入，生成各模态的结构图像；特征融合模块，用于将各编码器对应层提取的特征拼接后输入至分割解码器的对应层；利用训练数据集训练模型后，去掉用于生成结构图像的N个解码器，得到可缺失输入的医学图像分割模型。本发明对缺失模态具有鲁棒性，提高了模型通用性。
Description
技术领域
本发明属于医学图像分割领域，更具体地，涉及一种可缺失输入的医学图像分割模型建立方法及分割方法。
背景技术
图像分割，就是将图像中具有特殊意义的不同区域区分开来的图像处理技术，该技术在临床医学中获得了广泛的应用。医学影像是一种以非侵入的方式获取人体内部结构和功能信息的技术，在健康检查、疾病诊断与预后评估等方面发挥了日益重要的作用。在临床中，医学成像技术有多种，如电子计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射型计算机断层成像(PET)等，每种成像方式都有自己的优势和不足，比如CT具有高分辨率、解剖关系明确的优点，但对软组织显像清晰度不高；MRI-T1图像可以比较清晰展示软组织结构，对比度良好；MRI-T2图像可以较好的显示组织病变；PET对病灶的灵敏度和特异性高，但是组织结构显像效果差。在临床中，通常会组合不同的成像模态来克服单一模态成像技术的局限性，多种成像模态信息互补，进而获得准确的分割结果对于组织结构体积量化，评估组织状况及诊断疾病都具有十分重要的作用。
目前针对多模态图像分割的主流方法可以分为基于图谱的配准、基于专家选择特征的机器学习算法及基于深度学习算法的分割方法。基于图谱的配准是将手动分割好的图像配准到目标图像上，然后通过标记传播将图谱的标记映射到目标图像上，尽管基于高质量参考图谱可以实现良好的性能，但是配准不完善和参考图谱代表能力有限而引起的分割误差仍然是主要问题；基于专家选择特征的机器学习算法性能在很大程度上取决于数据的特征表示，而提取多模态图像的特征十分困难。
为了解决基于图谱配准和人为设计特征模型的局限性，基于深度学习算法的体素预测方法已经广泛用于多模态图像分割，并取得了比较好的效果，这些方法的基本思路是，为每个模态组合训练一个特定的分割网络。然而，在实际临床中，由于设备或成本的限制，所能获取的成像模态通常是不完整的，如果直接在模态缺失的情况下利用特定的分割网络进行分割，分割精度将无法满足临床应用需求。如果针对每一种模态缺失情况都训练一个分割网络，一方面，模型的训练成本较高，进行医学图像分割时还需要先选取相应的网络，操作复杂；另一方面，当出现较多模态缺失时，即使训练了特定的分割网络，由于组合的模态图像较少，无法很好地实现模态信息互补，分割精度会受到严重影响。因此，提供一种针对一个或多个缺失模态具有鲁棒性的多模态分割网络十分重要。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种可缺失输入的医学图像分割模型建立方法及分割方法，其目的在于，提供一种针对一个或多个缺失模态具有鲁棒性的多模态分割模型，提高深度学习分割模型的通用性。
为实现上述目的，按照本发明的一个方面，提供了一种可缺失输入的医学图像分割模型建立方法，包括：
建立深度学习模型，其包括N个层数为M的编码器、图像风格转换模块、特征融合模块和N+1个层数为M的解码器；N个编码器分别用于提取同一对象的配准好的N个不同模态图像的M个不同等级的特征；图像风格转换模块以各编码器第M层提取的特征为输入，用于在部分模态的特征缺失的情况下通过特征域风格转换将其余模态的特征转换为缺失模态的模态特征，得到模态特征G1～GN，并对模态特征G1～GN进行融合，得到融合特征Gf；N+1个解码器中，其中一个为分割解码器，其以融合特征Gf为输入，其余N个解码器分别以模态特征G1～GN为输入，生成N个不同模态图像的结构图像；特征融合模块以各编码器第1～M-1层提取的特征为输入，用于将各编码器对应层提取的特征进行拼接，并通过跳跃连接输入至分割解码器的对应层，由分割解码器输出图像分割的预测结果；
获得训练数据集，其中的每个训练样本包含同一对象的配准好的N个不同模态图像以及对应的图像分割金标准，并利用训练数据集训练深度学习模型，使分割误差和特征误差最小化；训练过程中，按照预设概率使训练样本中至多N-1个模态缺失；
训练结束后，去掉深度学习模型中用于生成结构图像的N个解码器，得到可缺失输入的医学图像分割模型；
其中，分割误差为分割解码器输出的图像分割结果与金标准之间的误差，特征误差为其余解码器输出的结构图像与输入的对应模态图像之间的误差；M和N均为大于1的正整数。
本发明通过特征域风格转换，在网络底层利用其余模态的特征合成缺失模态的特征，并且在模型训练过程中，一方面，除了计算模型输出的分割结果与金标准之间的误差，还将每个经风格特征转换而来的特征利用解码器生成相应的模态结构图像，并通过计算其与输入模型的原始模态图像之间的误差，以监督由其它模态的特征组合风格转化而来的特征与模态形成的自身特征之间的相似性；另一方面，使训练样本中的模态随机缺失。通过以上模型结构和训练方式，保证了所训练的模型能够准确合成缺失模态的特征，对一个或多个模态缺失情况具有鲁棒性，极大地提升了分割网络的通用性并保障了分割精度。
进一步地，图像风格转换模块包括N个并行的特征域风格转换块，分别用于在部分模态的特征缺失的情况下通过特征域风格转换将其余模态的特征转换为缺失模态的模态特征；
特征域风格转换块包括依次连接的特征拼接层，以及一个或多个卷积块；特征拼接层用于将输入的特征按通道拼接；卷积块包括卷积层、标准化层和LeakyReLU激活层。
进一步地，在风格转换模块和分割解码器之间还包括注意力模块，用于根据通道注意力机制和空间注意力机制分别获得输入特征的通道权重系数和空间权重系数，并将输入特征与通道权重系数和空间权重系数相乘。
本发明中，在风格转换模块和分割解码器之间还包括注意力模块，使得特征域风格转换得到的特征融合后，在输入分割解码器之前，会先经过通道-空间注意力机制的处理，使得在多模态信息融合时使得网络注重关键特征，为多模态图像分割提供有力的支持。
进一步地，特征融合模块还包括M-1个注意力模块，分别以M-1个拼接后的特征为输入；
注意力模块，用于根据通道注意力机制和空间注意力机制分别获得输入特征的通道权重系数和空间权重系数，并将输入特征与通道权重系数和空间权重系数相乘；
特征融合模块通过跳跃连接输入至分割解码器的特征，为经注意力模块处理后的特征。
本发明中，在对应等级的多模态特征融合后，在输入分割解码器之前，会先输入注意力模块，基于通道-空间注意力机制对其进行处理，使得在多模态信息融合时使得网络注重关键特征，为多模态图像分割提供有力的支持。
进一步地，注意力模块包括：通道注意力分支、空间注意力分支和输出层；
通道注意力分支，用于根据通道注意力机制获得输入特征的通道权重系数；
空间注意力分支，包括依次连接的第一卷积层、第二卷积层和sigmoid激活层，第一卷积层和第二卷积层的核函数分别为1*1*1和3*3*3；空间注意力分支，用于根据空间注意力机制获得输入特征的空间权重系数；
输出层，用于将输入特征与通道权重系数和空间权重系数相乘。
本发明的注意力模块中，空间注意力分支利用核函数分别为1*1*1和3*3*3的两个卷积层能够较为准确地获取特征的空间权重系数。
进一步地，利用训练数据集训练深度学习模型时，损失函数为：
L＝LDice+λ(L1T1+L1T2+…+L1TN)；
其中，LDice表示Dice损失；L1Ti表示输入的第i个模态图像与对应的结构图像的L1损失，i∈{1,2…N}；λ为损失权重系数。
本发明在对所建立的模型进行训练时，损失函数包含两个部分，其中的LDice为模型输出的医学图像分割结果与金标准之间的误差，L1T1+L1T2+…+L1TN为特征域风格转换得到的特征经解码器生成的模态结构图像与输入的原始模态图像之间的误差，以此为损失函数，在保证模型能够准确输出图像分割结果的同时，其底层的图像风格转换模块能够准确合成缺失模态的特征信息，保证了模型针对一个或多个缺失模态具有鲁棒性。
按照本发明的另一个方面提供了一种可缺失输入的医学图像分割方法，包括：
(S1)获得待分割医学图像的一个或多个配准好的模态图像；
(S2)若待分割医学图像的模态数量少于N，则用0填充缺失的模态，得到待分割医学图像的N个模态图像，之后转入步骤(S3)；否则，直接转入步骤(S3)；
(S3)将待分割医学图像的N个模态图像输入至由本发明提供的可缺失输入的医学图像分割模型建立方法所建立的可缺失输入的医学图像分割模型，以由医学图像分割模型输出待分割医学图像的图像分割结果。
由于本发明所提供的缺失输入的医学图像分割模型建立方法所建立的可缺失输入的医学图像分割模型，针对一个或多个缺失模态具有鲁棒性，因此，本发明所提供的可缺失输入的医学图像分割方法，仅利用单一模型即可在医学图像模态缺失或未缺失的情况下，准确获得图像分割结果，具有通用性。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的可缺失输入的医学图像分割模型建立方法，和/或本发明提供的可缺失输入的医学图像分割方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明通过在模型中引入特征域风格转换机制，在网络第M层合成缺失模态的特征，与网络提取的实际输入模态第1～M-1层的各级特征信息互补，对一个或多个模态缺失情况具有鲁棒性，极大地提升了分割网络的通用性并保障了分割精度。
(2)本发明通过设计通道-空间注意力机制，在多模态信息融合时使得网络注重关键特征，为多模态图像分割提供有力的支持，取得了与各模态专用分割网络相当的效果。
附图说明
图1为本发明实施例提供的所建立的深度学习模型示意图；
图2为本发明实施例提供的特征域风格转换块块示意图；
图3为本发明实施例提供的注意力模块示意图；
图4为本发明实施例提供的大脑灰白质分割效果示意图；其中，(a)为MRI-T1模态图像，(b)为MRI-T2模态图像，(c)为图像分割金标准，(d)为本实施例网络预测的分割结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决现有的针对多模态医学图像分割的模型不具有通用性、无法应对输入模态缺失的技术问题，本发明提供了一种可缺失输入的医学图像分割模型建立方法及分割方法，其整体思路在于：在模型的底层通过特征特征域风格转换机制，利用未缺失模态的特征合成缺失模态的特征，使模型对一个或多个模态缺失情况具有鲁棒性，从而提升分割网络的通用性并保障分割精度。
以下为实施例。
实施例1：
一种可缺失输入的医学图像分割模型建立方法，包括：
建立深度学习模型，其输入为同一对象的配准好的N(N为大于1的正整数)个不同模态图像，输出为图像分割结果；可选地，本实施例中，输入模型的模态图像具体有4个，即N＝4，4个模态分别是MRI-T1、MRI-T2、CT和PET，在实际应用中，输入模型的模态类型和数量可根据实际需要相应选择；
本实施例所建立的深度学习模型的结构具体如图1所示，包括：N个层数为M(M为大于1的正整数)的编码器、图像风格转换模块、特征融合模块和N+1个层数为M的解码器，其中：
4个编码器(即图1中的Encoder1～Encoder4)相互独立，每个编码器以一个模态图像为输入，其中的每一层用于提取输入的模态图像的一个等级的特征，从第1层到第M层，所提取的特征尺度逐渐减小，深度逐渐增加，一共得到M个不同等级的特征；可选地，本实施例中，每个独立的编码器中包含5层，即M＝5，每层两个卷积块(一个卷积块包含卷积层，IN层以及LeakyReLU层)，将第一个卷积块的输入与第二个卷积块的输出跳过连接构成残差网络，层与层之间采用步长为2的卷积层降低特征图尺寸并增加通道数；
图像风格转换模块以各编码器第M层(即最底层)提取的特征为输入，用于在部分模态的特征缺失的情况下通过特征域风格转换将其余模态的特征转换为缺失模态的模态特征，得到模态特征G1～GN，并对模态特征G1～GN进行融合，得到融合特征Gf；本实施例中，图像风格转换模块包括N个并行的特征域风格转换块，分别用于在部分模态的特征缺失的情况下通过特征域风格转换将其余模态的特征转换为缺失模态的模态特征；
如图2所示，特征域风格转换块包括依次连接的特征拼接层，以及3个卷积块；特征拼接层用于将输入的特征按通道拼接；卷积层包括卷积层、标准化层和LeakyReLU激活层；特征域风格转换块合成缺失模态的机制表示如下：
Gi(Xi)＝f(concat[g1(X1),…,gi-1(Xi-1),gi+1(Xi+1),…,gN(XN)])
其中，N表示输入模态的个数，gi-1(Xi-1)表示网络输入模态为Xi-1时由相应的编码器最底层提取的特征，concat[·]表示不同模态特征的拼接，f(·)表示特征域风格转换机制的映射，Gi(Xi)表示在模态Xi缺失的情况下由其它模态的特征组合风格转化而来的模态Xi的特征，Gi(Xi)即Gi；为了简化模型，在模态缺失时，直接用0填充缺失的模态后，连同其余模态一起输入即可，经过这样的处理，各特征域风格转换块的输入信息能够保持一致；
N+1个解码器中，其中一个为分割解码器，即图1中的DecoderSeg，其以融合特征Gf为输入，其余N个解码器，即图1中的Decoder1～Decoder4，分别以模态特征G1～GN为输入，生成N个不同模态图像的结构图像；通过计算解码器Decoder1～Decoder4所生成结构图像与输入模型的原始模态图像之间的损失可监督由其他模态的特征组合风格转化而来的特征与模态形成的自身特征之间的相似性，使得底层的图像风格转换模块能够准确合成缺失模态的特征信息，保证了模型针对一个或多个缺失模态具有鲁棒性；可选地，本实施例中，每个解码器包含5层，即M＝5，每层两个卷积块，层与层之间采用上采样和卷积块的组合形式以增大特征图尺寸并减少通道数；
为了进一步提升图像分割精度，如图1所示，本实施例中，在风格转换模块和分割解码器之间还包括注意力模块，即图1中的Fusion，用于根据通道注意力机制和空间注意力机制分别获得输入特征的通道权重系数和空间权重系数，并将输入特征与通道权重系数和空间权重系数相乘；
本实施例中，注意力模块如图3所示，包括：通道注意力分支、空间注意力分支和输出层；
通道注意力分支，用于根据通道注意力机制获得输入特征的通道权重系数；拼接后的特征G输入至通道注意力分支后，分别进行空间全局平均池化和最大池化，再分别送入共享全连接层，得到的特征相加后经sigmoid函数激活得到通道权重系数；
空间注意力分支，包括依次连接的第一卷积层、第二卷积层和sigmoid激活层，第一卷积层和第二卷积层的核函数分别为1*1*1和3*3*3；空间注意力分支，用于根据空间注意力机制获得输入特征的空间权重系数；
输出层，用于将输入特征与通道权重系数和空间权重系数相乘；
本实施例的注意力模块中，空间注意力分支利用核函数分别为1*1*1和3*3*3的两个卷积层能够较为准确地获取特征的空间权重系数；
特征融合模块以各编码器第1～M-1层提取的特征为输入，用于将各编码器对应层提取的特征进行拼接，并通过跳跃连接输入至分割解码器的对应层，由分割解码器输出图像分割的预测结果；通过将经过特征域风格转换合成的融合特征Gf与编码器上层提取的特征进行信息互补，能够有效提升分割精度；
为了进一步提升图像分割精度，如图1所示，本实施例中，特征融合模块还包括M-1个注意力模块，分别以M-1个拼接后的特征为输入；
特征融合模块中的注意力模块，与风格转换模块和分割解码器之间的注意力模块相同，用于根据通道注意力机制和空间注意力机制分别获得输入特征的通道权重系数和空间权重系数，并将输入特征与通道权重系数和空间权重系数相乘；
特征融合模块通过跳跃连接输入至分割解码器的特征，为经注意力模块处理后的特征；
特征融合模块中的注意力模块的结构，可参考上述关于风格转换模块和分割解码器间注意力模块的描述；
模型建立完成后，需要对其进行训练，因此，需要获得相应的训练数据集；本实施例中，训练数据集中的每个训练样本包含同一对象的配准好的N个不同模态图像以及对应的图像分割金标准，并利用训练数据集训练深度学习模型，使分割误差和特征误差最小化；训练过程中，按照预设概率使训练样本中至多N-1个模态缺失；例如，本实施例中，输入模态数量为4，至多3个模态缺失，一共存在15种输入模式，根据实际模态缺失的情况，可以对每一种输入模式赋予相应的概率；同样地，在将训练样本输入至模型时，对于其中缺失的模态，用0填充；
训练结束后，去掉深度学习模型中用于生成结构图像的N个解码器，得到可缺失输入的医学图像分割模型；
其中，分割误差为分割解码器输出的图像分割结果与金标准之间的误差，特征误差为其余解码器输出的结构图像与输入的对应模态图像之间的误差；
本实施例中，利用训练数据集训练深度学习模型时，损失函数为：
L＝LDice+λ(L1T1+L1T2+…+L1TN)；
上述损失函数中，LDice表示Dice损失，用于衡量模型输出的医学图像分割结果与金标准之间的误差，Dice损失的具体计算公式为：
其中，
为网络预测的分割结果，yj为金标准；
上述损失函数中，L1Ti表示输入的第i个模态图像与对应的结构图像的L1损失，i∈{1,2…N}，L1T1+L1T2+…+L1TN为特征域风格转换得到的特征经解码器生成的模态结构图像与输入的原始模态图像之间的误差；L1损失函数的计算公式为：
其中，
表示风格转化而来的特征经解码器生成的模态结构图像体素，xk表示输入网络的原图像体素，m表示图像体素总数；
上述损失函数中，λ为损失权重系数，可选地，本实施例中，λ＝0.5；
上述损失函数，在保证模型能够准确输出图像分割结果的同时，其底层的图像风格转换模块能够准确合成缺失模态的特征信息，保证了模型针对一个或多个缺失模态具有鲁棒性。
总体而言，本实施例通过特征域风格转换，在网络底层利用其余模态的特征合成缺失模态的特征，并且在模型训练过程中，一方面，除了计算模型输出的分割结果与金标准之间的误差，还将每个经风格特征转换而来的特征利用解码器生成相应的模态结构图像，并通过计算其与输入模型的原始模态图像之间的误差，以监督由其它模态的特征组合风格转化而来的特征与模态形成的自身特征之间的相似性；另一方面，使训练样本中的模态随机缺失。通过以上模型结构和训练方式，保证了所训练的模型能够准确合成缺失模态的特征，对一个或多个模态缺失情况具有鲁棒性，极大地提升了分割网络的通用性并保障了分割精度。
实施例2：
一种可缺失输入的医学图像分割方法，包括：
(S1)获得待分割医学图像的一个或多个配准好的模态图像；
(S2)若待分割医学图像的模态数量少于N，则用0填充缺失的模态，得到待分割医学图像的N个模态图像，之后转入步骤(S3)；否则，直接转入步骤(S3)；
(S3)将待分割医学图像的N个模态图像输入至由上述实施例1提供的可缺失输入的医学图像分割模型建立方法所建立的可缺失输入的医学图像分割模型，以由医学图像分割模型输出待分割医学图像的图像分割结果。
由于上述实施例1所提供的缺失输入的医学图像分割模型建立方法所建立的可缺失输入的医学图像分割模型，针对一个或多个缺失模态具有鲁棒性，因此，本实施例所提供的可缺失输入的医学图像分割方法，仅利用单一模型即可在医学图像模态缺失或未缺失的情况下，准确获得图像分割结果，具有通用性。
实施例3：
一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1提供的可缺失输入的医学图像分割模型建立方法，和/或上述实施例2提供的可缺失输入的医学图像分割方法。
以下结合一个具体的应用场景，对本发明所能取得的有益效果做进一步地解释说明。
模型以MRI-T1模态图像和MRI-T2模态图像为输入，参考上述实施例1中的模型训练方式对模型进行训练，得到医学图像分割模型；
图4中的(a)和(b)所示为脑部的MRI-T1模态图像和MRI-T2模态图像，针对脑部图像的图像分割，主要目的在于区分其中的灰质和白质，图4中的(c)所示为相应的图像分割金标准；将图4中的(a)和(b)所示的MRI-T1模态图像和MRI-T2模态图像输入至训练得到的医学图像分割模型中，模型预测的分割结果如图4中的(d)所示，将其与图4中的(c)所示的金标准进行对比可知，在输入模态不缺失的情况下，本发明所建立的模型预测的图像分割结果与金标准十分接近。
进一步以现有的专用分割网络为对比例，在IXI脑部MRI数据集上进行对比分析。对比例包括，仅使用MRI-T1模态图像训练的专用分割网络，仅使用MRI-T2模态图像训练的专用分割网络，以及在无模态缺失的情况下利用MRI-T1模态图像和MRI-T2模态图像训练的专用分割网络，对比例均使用Unet架构。对本发明所提供的医学图像分割网络和对比例在测试集100个对象进行了测试，各模型的性能指标如表1所示。
表1可缺失输入的医学图像分割模型和专用分割网络的性能比较
Dice系数是衡量分割精度的重要指标，由表一结果可知，本发明提出的可缺失输入网络取得了与各模态专用网络相匹敌的效果。当输入只有MRI-T1模态时，可缺失输入网络精度略低于MRI-T1专用网络，灰质平均Dice差异小于0.3％，白质平均Dice精度差异小于0.1％；当输入只有MRI-T2模态时，可缺失输入网络精度远高于MRI-T2专用分割网络，灰质平均Dice高4.97％，白质平均Dice高9.61％；当输入同时有MRI-T1、MRI-T2模态时，可缺失输入网络精度与MRI-T1、MRI-T2专用网络精度相当，灰质平均Dice和白质平均Dice差异均小于0.1％。可见，本发明提出的可缺失输入的医学图像分割模型在保障了分割精度的前提下，极大地提升了分割网络的通用性，取得了与各模态专用分割网络相当的效果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种可缺失输入的医学图像分割模型建立方法，其特征在于，包括：
建立深度学习模型，其包括N个层数为M的编码器、图像风格转换模块、特征融合模块和N+1个层数为M的解码器；N个所述编码器分别用于提取同一对象的配准好的N个不同模态图像的M个不同等级的特征；所述图像风格转换模块以各编码器第M层提取的特征为输入，用于在部分模态的特征缺失的情况下通过特征域风格转换将其余模态的特征转换为缺失模态的模态特征，得到模态特征G1～GN，并对模态特征G1～GN进行融合，得到融合特征Gf；所述N+1个解码器中，其中一个为分割解码器，其以所述融合特征Gf为输入，其余N个解码器分别以所述模态特征G1～GN为输入，生成N个不同模态图像的结构图像；所述特征融合模块以各编码器第1～M-1层提取的特征为输入，用于将各编码器对应层提取的特征进行拼接，并通过跳跃连接输入至所述分割解码器的对应层，由所述分割解码器输出图像分割的预测结果；
获得训练数据集，其中的每个训练样本包含同一对象的配准好的N个不同模态图像以及对应的图像分割金标准，并利用所述训练数据集训练所述深度学习模型，使分割误差和特征误差最小化；训练过程中，按照预设概率使训练样本中至多N-1个模态缺失；
训练结束后，去掉所述深度学习模型中用于生成结构图像的N个解码器，得到可缺失输入的医学图像分割模型；
其中，所述分割误差为所述分割解码器输出的图像分割结果与金标准之间的误差，所述特征误差为其余解码器输出的结构图像与输入的对应模态图像之间的误差；M和N均为大于1的正整数。
2.如权利要求1所述的可缺失输入的医学图像分割模型建立方法，其特征在于，所述图像风格转换模块包括N个并行的特征域风格转换块，分别用于在部分模态的特征缺失的情况下通过特征域风格转换将其余模态的特征转换为缺失模态的模态特征；
所述特征域风格转换块包括依次连接的特征拼接层，以及一个或多个卷积块；所述特征拼接层用于将输入的特征按通道拼接；所述卷积块包括卷积层、标准化层和LeakyReLU激活层。
3.如权利要求1所述的可缺失输入的医学图像分割模型建立方法，其特征在于，在所述风格转换模块和所述分割解码器之间还包括注意力模块，用于根据通道注意力机制和空间注意力机制分别获得输入特征的通道权重系数和空间权重系数，并将输入特征与所述通道权重系数和所述空间权重系数相乘。
4.如权利要求1所述的可缺失输入的医学图像分割模型建立方法，其特征在于，所述特征融合模块还包括M-1个注意力模块，分别以M-1个拼接后的特征为输入；
所述注意力模块，用于根据通道注意力机制和空间注意力机制分别获得输入特征的通道权重系数和空间权重系数，并将输入特征与所述通道权重系数和所述空间权重系数相乘；
所述特征融合模块通过跳跃连接输入至所述分割解码器的特征，为经所述注意力模块处理后的特征。
5.如权利要求3或4所述的可缺失输入的医学图像分割模型建立方法，其特征在于，所述注意力模块包括：通道注意力分支、空间注意力分支和输出层；
所述通道注意力分支，用于根据通道注意力机制获得输入特征的通道权重系数；
所述空间注意力分支，包括依次连接的第一卷积层、第二卷积层和sigmoid激活层，所述第一卷积层和所述第二卷积层的核函数分别为1*1*1和3*3*3；所述空间注意力分支，用于根据空间注意力机制获得输入特征的空间权重系数；
所述输出层，用于将输入特征与所述通道权重系数和所述空间权重系数相乘。
6.如权利要求1-4任一项所述的可缺失输入的医学图像分割模型建立方法，其特征在于，利用所述训练数据集训练所述深度学习模型时，损失函数为：
L＝LDice+λ(L1T1+L1T2+…+L1TN)；
其中，LDice表示Dice损失；L1Ti表示输入的第i个模态图像与对应的结构图像的L1损失，i∈{1,2…N}；λ为损失权重系数。
7.一种可缺失输入的医学图像分割方法，其特征在于，包括：
(S1)获得待分割医学图像的一个或多个配准好的模态图像；
(S2)若所述待分割医学图像的模态数量少于N，则用0填充缺失的模态，得到所述待分割医学图像的N个模态图像，之后转入步骤(S3)；否则，直接转入步骤(S3)；
(S3)将所述待分割医学图像的N个模态图像输入至由权利要求1-6任一项所述的可缺失输入的医学图像分割模型建立方法所建立的可缺失输入的医学图像分割模型，以由所述医学图像分割模型输出所述待分割医学图像的图像分割结果。
8.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-6任一项所述的可缺失输入的医学图像分割模型建立方法，和/或权利要求7所述的可缺失输入的医学图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110712879.2A CN113496495B (zh) | 2021-06-25 | 2021-06-25 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110712879.2A CN113496495B (zh) | 2021-06-25 | 2021-06-25 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113496495A true CN113496495A (zh) | 2021-10-12 |
| CN113496495B CN113496495B (zh) | 2022-04-26 |
Family
ID=77998037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110712879.2A Active CN113496495B (zh) | 2021-06-25 | 2021-06-25 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496495B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332102A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 基于分离表示的脑肿瘤图像生成与分割联合学习方法 |
| CN114387220A (zh) * | 2021-12-20 | 2022-04-22 | 复旦大学 | 一种基于深度学习的脑部mr图像规范化系统 |
| CN114511540A (zh) * | 2022-01-25 | 2022-05-17 | 北京大学 | 一种基于多模态mri图像的肌肉分割模型方法 |
| CN114549726A (zh) * | 2022-01-19 | 2022-05-27 | 广东时谛智能科技有限公司 | 基于深度学习的高质量材质贴图获取方法 |
| CN114821074A (zh) * | 2022-07-01 | 2022-07-29 | 湖南盛鼎科技发展有限责任公司 | 机载liDAR点云语义分割方法、电子设备及存储介质 |
| CN114862881A (zh) * | 2022-07-11 | 2022-08-05 | 四川大学 | 一种基于pet-ct的跨模态注意力肿瘤分割方法、系统 |
| CN114897748A (zh) * | 2022-04-02 | 2022-08-12 | 天津大学 | 一种基于深度学习的医学图像合成装置 |
| CN115177262A (zh) * | 2022-06-13 | 2022-10-14 | 华中科技大学 | 一种基于深度学习的心音心电联合诊断装置和系统 |
| WO2023207743A1 (zh) * | 2022-04-27 | 2023-11-02 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备、存储介质及程序产品 |
| CN117710227A (zh) * | 2023-12-14 | 2024-03-15 | 北京长木谷医疗科技股份有限公司 | 一种基于多模态医学图像的模态融合方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109313627A (zh) * | 2016-03-17 | 2019-02-05 | 映佳控制公司 | 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统 |
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| CN111353499A (zh) * | 2020-02-24 | 2020-06-30 | 上海交通大学 | 多模态医学图像分割方法、系统、存储介质及电子设备 |
| CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
-
2021
- 2021-06-25 CN CN202110712879.2A patent/CN113496495B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109313627A (zh) * | 2016-03-17 | 2019-02-05 | 映佳控制公司 | 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统 |
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| CN111353499A (zh) * | 2020-02-24 | 2020-06-30 | 上海交通大学 | 多模态医学图像分割方法、系统、存储介质及电子设备 |
| CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| JUNLIN YANG 等: "Unsupervised Domain Adaptation via Disentangled Representations:Application to Cross-Modality Liver Segmentation", 《HHS PUBLIC ACCESS》 * |
| 凌彤: "基于深度迁移学习的多模态医学图像分析方法研究", 《中国优秀硕士论文全文数据库》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387220A (zh) * | 2021-12-20 | 2022-04-22 | 复旦大学 | 一种基于深度学习的脑部mr图像规范化系统 |
| CN114332102A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 基于分离表示的脑肿瘤图像生成与分割联合学习方法 |
| CN114549726A (zh) * | 2022-01-19 | 2022-05-27 | 广东时谛智能科技有限公司 | 基于深度学习的高质量材质贴图获取方法 |
| CN114511540A (zh) * | 2022-01-25 | 2022-05-17 | 北京大学 | 一种基于多模态mri图像的肌肉分割模型方法 |
| CN114897748A (zh) * | 2022-04-02 | 2022-08-12 | 天津大学 | 一种基于深度学习的医学图像合成装置 |
| CN114897748B (zh) * | 2022-04-02 | 2024-07-23 | 天津大学 | 一种基于深度学习的医学图像合成装置 |
| WO2023207743A1 (zh) * | 2022-04-27 | 2023-11-02 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备、存储介质及程序产品 |
| CN115177262A (zh) * | 2022-06-13 | 2022-10-14 | 华中科技大学 | 一种基于深度学习的心音心电联合诊断装置和系统 |
| CN115177262B (zh) * | 2022-06-13 | 2024-08-06 | 华中科技大学 | 一种基于深度学习的心音心电联合诊断装置和系统 |
| CN114821074A (zh) * | 2022-07-01 | 2022-07-29 | 湖南盛鼎科技发展有限责任公司 | 机载liDAR点云语义分割方法、电子设备及存储介质 |
| CN114862881A (zh) * | 2022-07-11 | 2022-08-05 | 四川大学 | 一种基于pet-ct的跨模态注意力肿瘤分割方法、系统 |
| CN117710227A (zh) * | 2023-12-14 | 2024-03-15 | 北京长木谷医疗科技股份有限公司 | 一种基于多模态医学图像的模态融合方法及装置 |
| CN117710227B (zh) * | 2023-12-14 | 2024-06-11 | 北京长木谷医疗科技股份有限公司 | 一种基于多模态医学图像的模态融合方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113496495B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113496495B (zh) | 可缺失输入的医学图像分割模型建立方法及分割方法 | |
| CN109035263B (zh) | 基于卷积神经网络的脑肿瘤图像自动分割方法 | |
| CN111488914B (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| CN112735570B (zh) | 影像驱动的脑图谱构建方法、装置、设备及存储介质 | |
| CN109242860B (zh) | 基于深度学习及权重空间集成的脑肿瘤图像分割方法 | |
| Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
| CN111415361B (zh) | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 | |
| CN103020976B (zh) | 一种基于带权模糊互信息的三维医学图像配准方法及系统 | |
| CN113298831B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| Abbasi et al. | Automatic brain ischemic stroke segmentation with deep learning: A review | |
| Yang et al. | Hybrid attention for automatic segmentation of whole fetal head in prenatal ultrasound volumes | |
| Ankenbrand et al. | Deep learning‐based cardiac cine segmentation: Transfer learning application to 7T ultrahigh‐field MRI | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN110619635A (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
| CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
| CN115908800A (zh) | 医学图像分割方法 | |
| CN114331849A (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
| CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质 | |
| Fatima et al. | Automated 2D slice-based skull stripping multi-view ensemble model on NFBS and IBSR datasets | |
| CN115222992A (zh) | 基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法 | |
| CN118037615A (zh) | 一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质 | |
| CN118230038A (zh) | 基于影像分析的眼眶淋巴增生病分类鉴别方法及系统 | |
| Liang et al. | A framework for 3D vessel analysis using whole slide images of liver tissue sections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |