CN116542986A - 一种基于BFTransNet混合网络的肠胃MRI图像分割方法 - Google Patents
一种基于BFTransNet混合网络的肠胃MRI图像分割方法 Download PDFInfo
- Publication number
- CN116542986A CN116542986A CN202310407759.0A CN202310407759A CN116542986A CN 116542986 A CN116542986 A CN 116542986A CN 202310407759 A CN202310407759 A CN 202310407759A CN 116542986 A CN116542986 A CN 116542986A
- Authority
- CN
- China
- Prior art keywords
- image
- gastrointestinal
- layer
- mri
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002496 gastric effect Effects 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000003709 image segmentation Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 96
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 53
- 210000002784 stomach Anatomy 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 134
- 238000005070 sampling Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 16
- 210000000936 intestine Anatomy 0.000 claims description 16
- 238000011084 recovery Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 18
- 210000001035 gastrointestinal tract Anatomy 0.000 abstract description 9
- 238000005457 optimization Methods 0.000 abstract description 7
- 238000001959 radiotherapy Methods 0.000 abstract description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 114
- 230000006870 function Effects 0.000 description 37
- 238000013527 convolutional neural network Methods 0.000 description 20
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 210000002429 large intestine Anatomy 0.000 description 6
- 210000000813 small intestine Anatomy 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于BFTransNet混合网络的肠胃MRI图像分割方法，该方法将相邻的多张肠胃MRI切片图像进行图像叠加融合构成待测肠胃MRI图像，输入至预先经过肠胃区域分割训练的BFTransNet混合网络，得到待测肠胃MRI图像的肠胃区域分割结果；BFTransNet混合网络包括基于多层次CNN卷积网络和Transformer转换模型的混合编码模块和基于多层次BiFuse网络的注意力融合分割模块，在对BFTransNet混合网络的训练过程中，本发明构建多层级的总损失函数来指导BFTransNet混合网络的识别性能参数进行优化更新；本发明方法能够快速、准确的实现对肠胃MRI图像中指定肠胃区域的分割识别，进而用以解决放疗过程中用手动勾勒出胃、肠道等区域位置造成时间耽误而使得患者痛苦时间较长的问题。
Description
技术领域
本发明涉及医学图像处理技术和人工智能神经网络技术领域，具体涉及一种基于BFTransNet混合网络的肠胃MRI图像分割方法。
背景技术
放射肿瘤学家尝试使用高剂量的X射线照向肿瘤以杀死癌细胞同时避开胃和肠道，同时可以借助集成磁共振成像(MRI)和线性加速器系统可视化肿瘤和胃肠道的每日位置。但是，由于患者的运动和体位的变化使得肿瘤的位置每天都在发生变化，这就使得放射肿瘤学家必须手动勾勒出胃和肠道的位置，从而调整X射线的照射方向从而避免照射到胃肠道。这个过程往往非常耗时，会将每天的治疗从15分钟延长到1个多小时，这会使得患者遭受更大的痛苦。
采用深度学习的方法帮助医生自动分割胃、肠等区域，可以减少手动勾勒出胃、肠道等区域位置造成时间耽误，进而有助于加速患者的治疗过程，从而减少患者的痛苦使得患者可以得到更加有效地治疗。在深度学习方法应用中，卷积神经网络(CNN)在分类、分割和目标检测等各种视觉任务中取得了巨大成功。全卷积网络(FCN)首次实现了端到端的语义分割。U-Net使用带有跳跃连接的对称编码器解码器结构来提高细节保留，成为医学图像分割的主流架构。许多U-Net变体，如U-Net++和Res-UNet进一步提高了图像分割的性能。
尽管基于CNN的方法具有出色的特征表示能力，但由于卷积核的感受野有限，难以建立显式的远程依赖关系。具体来说就是在CNN中每个卷积核只关注整个图像中的局部像素子集，这导致了网络专注于局部特征，无法准确的捕获全局空间上下文特征。卷积操作的这种限制对学习全局特征造成了巨大的困难，这对于分割这类密集预测任务至关重要。
目前针对肠胃MRI图像借助深度学习方法进行胃、肠道等区域位置自动分割的解决方案，由于上述限制等原因，在对肠、胃区域的定位能力和分割识别的准确性上还存在不足，在现实场景中还难以得到很好的应用。
发明内容
针对现有技术存在的上述不足，本发明的目的在于提供一种基于BFTransNet混合网络的肠胃MRI图像分割方法，能够快速、准确的实现对肠胃MRI图像中指定肠胃区域的分割识别，进而用以解决放疗过程中用手动勾勒出胃、肠道等区域位置造成时间耽误而使得患者痛苦时间较长的问题。
解决上述技术问题，本发明采用如下技术方案实现：
一种基于BFTransNet混合网络的肠胃MRI图像分割方法，将相邻的多张肠胃MRI切片图像进行图像叠加融合构成待测肠胃MRI图像，输入至预先经过肠胃区域分割训练的BFTransNet混合网络，得到待测肠胃MRI图像的肠胃区域分割结果；
所述BFTransNet混合网络包括基于CNN卷积网络和Transformer转换模型的混合编码模块和基于BiFuse网络的注意力融合分割模块；所述混合编码模块用于对待测肠胃MRI图像分别进行CNN卷积下采样特征提取和Transformer编码特征提取，得到待测肠胃MRI图像对应的卷积下采样特征向量和编码下采样特征向量后，通过注意力融合分割模块将待测肠胃MRI图像对应的卷积下采样特征向量和编码下采样特征向量进行空间注意力和通道注意力的BiFuse交叉融合，然后对得到的融合特征图像进行上采样图像恢复，得到携带有预测识别的肠胃区域分割掩码的分割标记图像，作为待测肠胃MRI图像的肠胃区域分割结果。
作为优选方案，待测肠胃MRI图像的构建方式为：
选取相邻的多张肠胃MRI切片图像，将每张肠胃MRI切片图像作为待测肠胃MRI图像的一个像素通道，从而使得选取的各肠胃MRI切片图像进行各对应位置像素的叠加，得到待测肠胃MRI图像。
作为优选方案，选取相邻的多张肠胃MRI切片图像融合生成待测肠胃MRI图像的具体处理方式为：
选取一张肠胃MRI切片图像作为待测基准图像，在选取其相邻的前K张肠胃MRI切片图像和后K张肠胃MRI切片图像，共选取2K+1张肠胃MRI切片图像；
生成一个像素值全为0的多通道图像F(2K+1,H,W)，该多通道图像F的像素高度和像素宽度分别等于肠胃MRI切片图像的像素高度H和像素宽度W，多通道图像F的像素通道数C等于2K+1；将选取的2K+1张肠胃MRI切片图像分别叠加到所述多通道图像F的2K+1个像素通道中，即令fCk＝Pk，fCk表示多通道图像F的第k个像素通道，Pk表示选取的第k张肠胃MRI切片图像，k＝1,2,…,2K+1；
由此得到的叠加2K+1张肠胃MRI切片图像的多通道图像F，即作为待测肠胃MRI图像。
作为优选方案，混合编码模块中处理得到待测肠胃MRI图像对应的卷积下采样特征向量的具体方式为：
对待测肠胃MRI图像进行L层卷积下采样，得到待测肠胃MRI图像的L层下采样图像；针对其中每层下采样图像，将其划分重构为一个图像块序列其中，/>表示待测肠胃MRI图像的第l层下采样图像划分的第n个图像块，每个图像块/>的像素尺寸大小为p×p，N为下采样图像被划分的图像块总数，且/>H、W分别为待测肠胃MRI图像的像素高度和像素宽度，C为待测肠胃MRI图像的像素通道数；然后，再将各层下采样图像的图像块序列映射到潜在的D维嵌入空间，得到各层下采样图像对应的位置嵌入向量，作为待测肠胃MRI图像对应的L层卷积下采样特征向量：
其中，gl表示待测肠胃MRI图像的第l层下采样图像对应的位置嵌入向量，即待测肠胃MRI图像对应的第l层卷积下采样特征向量；表示块嵌入映射，/>表示位置嵌入。
作为优选方案，混合编码模块中处理得到待测肠胃MRI图像对应的编码下采样特征向量的具体方式为：
将第L层下采样图像对应的位置嵌入向量gL输入到Transformer转换模型进行Transformer特征编码，得到第L层编码特征向量tL，再对第L层编码特征向量tL进行L-1层卷积上采样，由此得到共L层的编码特征向量，作为待测肠胃MRI图像对应的L层编码下采样特征向量。
作为优选方案，所述待测肠胃MRI图像对应的每层卷积下采样特征向量和编码下采样特征向量分别通过注意力融合分割模块进行BiFuse交叉融合；其中，对于任意第l层卷积下采样特征向量和编码下采样特征向量，l＝1,2,…,L，通过注意力融合分割模块进行BiFuse交叉融合的具体方式为：
对第l层卷积下采样特征向量和编码下采样特征向量分别进行空间注意力运算和通道注意力运算，并对所述卷积下采样特征向量和编码下采样特征向量进行element-wise点积降维融合运算，最后将各运算结果拼接后进行残差融合，得到第l层的融合特征图像：
其中，gl、tl分别表示待测肠胃MRI图像对应的第l层卷积下采样特征向量和编码下采样特征向量，表示对第l层卷积下采样特征向量gl进行空间注意力运算的运算结果，/>表示对第l层编码下采样特征向量tl进行通道注意力运算的运算结果，/>表示对第l层卷积下采样特征向量gl和编码下采样特征向量tl进行element-wise点积降维融合运算的运算结果，fl为第l层的融合特征图像；SpatialAttn()表示空间注意力运算；ChannelAttn()表示通道注意力运算；Conv()表示卷积运算，/>分别表示预设的对第l层编码下采样特征向量tl和卷积下采样特征向量gl的训练权重，/>表示element-wise点积运算；Concat()表示拼接运算，Residual()表示残差运算。
作为优选方案，对得到的融合特征图像进行上采样图像恢复的具体处理方式为：
将第L层的融合特征图像fL与第L层的编码特征向量tL拼接后进行卷积上采样，得到第L层的上采样恢复图像
其他任意第l层的融合特征图像fl则与第l+1层的上采样恢复图像拼接后进行卷积上采样，得到第l层的上采样恢复图像/>
由此，其中得到的第1层上采样恢复图像被恢复为像素高度H和像素宽度W的尺寸，是携带有预测识别的肠胃区域分割掩码的分割标记图像，将其作为待测肠胃MRI图像的肠胃区域分割结果。
作为优选方案，所述BFTransNet混合网络的肠胃区域分割训练方式为：
预先确定需要分割识别的肠胃区域识别种类，将针对每个肠胃区域识别种类预先完成肠胃区域分割掩码标记的肠胃MRI样本图像作为训练样本，构成相应肠胃区域识别种类的训练样本集，输入所述BFTransNet混合网络，并构建包含有用以评估对各肠胃区域识别种类识别性能的Dice损失和交叉熵损失的总损失函数，以最小化总损失函数为目标对BFTransNet混合网络针对各肠胃区域识别种类的识别性能参数进行优化更新，进而对所述BFTransNet混合网络进行训练。
作为优选方案，所述BFTransNet混合网络中进行了L层卷积下采样特征提取及上采样图像恢复，对BFTransNet混合网络进行肠胃区域分割训练所采用的总损失函数CLtotal则包含了对L层输出的上采样恢复图像进行识别性能评估的损失函数：
其中，为对应第l层识别性能评估的损失函数权重，l＝1,2,…,L，L为BFTransNet混合网络中上采样图像恢复的层数，CLl为对第l层输出的上采样恢复图像进行识别性能评估的损失函数，且：
CLl＝WDLl+WCEl；
WDLl、WCEl分别表示用以评估第l层输出的上采样恢复图像识别性能的Dice损失和交叉熵损失。
作为优选方案，评估第l层输出的上采样恢复图像识别性能的Dice损失WDLl表示为：
其中，表示第l层输出的上采样恢复图像针对第m个肠胃区域识别种类的Dice分数，m＝1,2,…,M，M为肠胃区域识别种类数，/>为对应第m个肠胃区域识别种类预设的Dice损失权重，/>表示第l层输出的上采样恢复图像针对第m个肠胃区域识别种类中第i个训练样本预测识别的分割掩码值，/>表示第m个肠胃区域识别种类中第i个训练样本的真实分割掩码值，i＝1,2,…,Nm，Nm表示第m个肠胃区域识别种类的训练样本量；/>表示评估第l层输出的上采样恢复图像识别性能的加权Dice分数；
评估第l层输出的上采样恢复图像识别性能的交叉熵损失WCEl表示为：
其中，为对应第m个肠胃区域识别种类预设的交叉熵损失权重。
相比现有技术，本发明具有如下有益的技术效果：
1、本发明通过对相邻多张肠胃MRI切片图像来构建携带有2.5D结构数据的待测肠胃MRI图像，能够体现一定的空间上下文特征信息，有利于后续更好的提取图像的区域结构特征，并使用预先经过肠胃区域分割训练的BFTransNet混合网络来预测识别肠胃区域的分割掩码，以快速、准确的实现对肠胃MRI图像的肠胃区域分割，
2、本发明采用的BFTransNet混合网络模型，以CNN-Transformer混合编码模块作为特征提取，很好的利用了CNN卷积网络对于局部特征的表征能力和Transformer转换模型对全局上下文特征的建模能力；通过对Transformer转换模型提取的编码下采样特征向量不断上采样恢复特征图的尺寸大小，然后和CNN卷积网络提取的对应维度的卷积下采样特征向量通过BiFuse模块进行融合，通过不同注意力交叉建模CNN和Transformer所提取的特征，更加高效地利用了高、低层次的特征从而防止信息冗余；之后对其融合结果进行卷积上采样，从底层逐步融合不同层次的特征最后恢复到原来的图像尺寸大小，得到携带有预测识别的肠胃区域分割掩码的分割标记图像，预测肠胃区域分割结果。
3、本发明还使用了多层级的总损失函数来指导BFTransNet混合网络的识别性能参数进行优化更新，对低层次特征和高层次的层输出均预测分割掩码，然后与真实掩码计算损失函数，之后对不同层次的损失函数赋予不同的权值，更加充分的利用了低层次的特征，对于提升BFTransNet混合网络的训练效果以及训练后的分割准确性，具有积极作用。
4、本发明方法能够快速、准确的实现对肠胃MRI图像中指定肠胃区域的分割识别，进而用以解决放疗过程中用手动勾勒出胃、肠道等区域位置造成时间耽误而使得患者痛苦时间较长的问题。
附图说明
图1为本发明基于BFTransNet混合网络的肠胃MRI图像分割方法的流程图。
图2为本发明所采用的BFTransNet混合网络的实例结构示意图。
图3为BFTransNet混合网络中BiFuse网络模块的数据处理流程示意图。
图4为本发明方法中针对BFTransNet混合网络采用多层级的总损失函数指导其识别性能参数优化训练的过程示意图。
图5为实施例中采用本发明方法与采用其他模型分割方法的肠胃区域分割结果对比图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提出了一种基于BFTransNet混合网络的肠胃MRI图像分割方法，该方法先相邻的多张肠胃MRI切片图像进行图像叠加融合构成待测肠胃MRI图像，输入至预先经过肠胃区域分割训练的BFTransNet混合网络，得到待测肠胃MRI图像的肠胃区域分割结果，实现对肠胃区域的图像分割。
本发明方法中使用的BFTransNet混合网络，包括基于CNN卷积网络和Transformer转换模型的混合编码模块和基于BiFuse网络的注意力融合分割模块。其中，混合编码模块用于对待测肠胃MRI图像分别进行CNN卷积下采样特征提取和Transformer编码特征提取，得到待测肠胃MRI图像对应的卷积下采样特征向量(可视为CNN分支特征向量)和编码下采样特征向量(可视为Transformer分支特征向量)后，通过注意力融合分割模块将待测肠胃MRI图像对应的卷积下采样特征向量和编码下采样特征向量进行空间注意力和通道注意力的BiFuse交叉融合，然后对得到的融合特征图像进行上采样图像恢复，得到携带有预测识别的肠胃区域分割掩码的分割标记图像，作为待测肠胃MRI图像的肠胃区域分割结果。
下面对本发明基于BFTransNet混合网络的肠胃MRI图像分割方法加以更详细的说明。
1、图像预处理
为了能够更好的利用MRI切片之间的关系，本发明采用了相邻的多张肠胃MRI切片图像进行图像叠加融合的预处理方式，来构成具有2.5D结构特征的待测肠胃MRI图像。技术实现方式是，选取相邻的多张肠胃MRI切片图像，将每张肠胃MRI切片图像作为待测肠胃MRI图像的一个像素通道，从而使得选取的各肠胃MRI切片图像进行各对应位置像素的叠加，得到待测肠胃MRI图像。由此，通过对相邻多张肠胃MRI切片图像来构建2.5D结构数据图像的方法，使得所构建的携带有2.5D结构数据的待测肠胃MRI图像能够体现一定的空间上下文特征信息，有利于后续更好的提取图像的区域结构特征。
具体的构建操作方式是：选取一张肠胃MRI切片图像作为待测基准图像，在选取其相邻的前K张肠胃MRI切片图像和后K张肠胃MRI切片图像，共选取2K+1张肠胃MRI切片图像；然后生成一个像素值全为0的多通道图像F(2K+1,H,W)，该多通道图像F的像素高度和像素宽度分别等于肠胃MRI切片图像的像素高度H和像素宽度W，多通道图像F的像素通道数C等于2K+1；将选取的2K+1张肠胃MRI切片图像分别叠加到所述多通道图像F的2K+1个像素通道中，即令fCk＝Pk，fCk表示多通道图像F的第k个像素通道，Pk表示选取的第k张肠胃MRI切片图像，k＝1,2,…,2K+1；由此得到的叠加2K+1张肠胃MRI切片图像的多通道图像F，即作为待测肠胃MRI图像。
从技术实施的角度来说，在选取多张相邻肠胃MRI切片图像时，K的取值可以取1～4，即可以选取1、2、3或4张，也就是说，肠胃MRI切片图像的选取数量可以是3～9张；作为具体技术应用的优选而言，K的取值优选为1，即肠胃MRI切片图像的选取数量为3张。选取肠胃MRI切片图像来构建2.5D结构数据图像的数量不宜过多，一方面过多图像造成数据处理量的增加，另一方面过多的图像通道数还可能对后续肠胃区域结构边界的识别带来不利影响。
2、BFTransNet混合网络
BFTransNet混合网络被经过肠胃区域分割训练后，用于预测识别待测肠胃MRI图像的肠胃区域分割掩码，输入的待测肠胃MRI图像经过BFTransNet混合网络的处理，能够输出携带有预测识别的肠胃区域分割掩码的分割标记图像。
本发明方法使用的BFTransNet混合网络的一个示例结构示意图如图2所示，其基于Unet结构，可以设计多层次的CNN-Transformer混合编码网络模块结构，用以对待测肠胃MRI图像进行多层次的CNN卷积下采样特征提取和Transformer编码特征提取，之后通过BiFuse网络模块分别将各层次的CNN分支特征向量和Transformer分支特征向量进行BiFuse交叉融合，然后各层BiFuse网络模块的输出再与底层Transformer模块的输出逐层的进行拼接和卷积上采样操作，直到恢复至原始图像尺寸大小，得到携带有预测识别的肠胃区域分割掩码的分割标记图像。在对BFTransNet混合网络的训练过程中，也针对其每一个层次输出的上采样恢复图像引入进行识别性能评估的损失函数，构建多层级的总损失函数来指导BFTransNet混合网络的识别性能参数进行优化更新。
2.1)CNN-Transformer混合编码模块
基于CNN卷积网络和Transformer转换模型的混合编码模块，是用于对待测肠胃MRI图像分别进行CNN卷积下采样特征提取和Transformer编码特征提取，以得到待测肠胃MRI图像对应的卷积下采样特征向量(可视为CNN分支特征向量)和编码下采样特征向量(可视为Transformer分支特征向量)。
具体而言，如图2所示，CNN-Transformer混合编码模块中处理得到待测肠胃MRI图像对应的卷积下采样特征向量的具体方式为：
首先，对待测肠胃MRI图像进行L层卷积下采样；实施卷积下采样可以采用ResNet50等常用的下采样模型，将(H,W)尺寸(即像素高度为H、像素宽度为W)的待测肠胃MRI图像下采样为(H/2,W/2))、(H/4,W/4)、(H/8,W/8)、……、(H/2L,W/2L)尺寸的L层下采样图像；从技术实施的角度来说，卷积下采样层数L可以根据情况的不同设置1～6层，但层数不宜设置过多，过多的下采样层数会造成数据处理量的增加而对于提升分割准确性的提升帮助不大；作为具体技术应用的优选而言，优选设置4层，即优选L取值为4。然后，针对其中的每层下采样图像，将其划分重构为一个图像块序列其中，/>表示待测肠胃MRI图像的第l层下采样图像划分的第n个图像块，每个图像块/>的像素尺寸大小为p×p，N为下采样图像被划分的图像块总数，且/>H、W分别为待测肠胃MRI图像的像素高度和像素宽度，C为待测肠胃MRI图像的像素通道数；然后，再将各层下采样图像的图像块序列映射到潜在的D维嵌入空间，得到各层下采样图像对应的位置嵌入向量，作为待测肠胃MRI图像对应的L层卷积下采样特征向量；通过学习特定的位置嵌入，将这些位置嵌入添加到图像块嵌入中，使得所得到的L层卷积下采样特征向量均是携带有位置信息的特征向量，具体表示如下：
其中，gl表示待测肠胃MRI图像的第l层下采样图像对应的位置嵌入向量，即待测肠胃MRI图像对应的第l层卷积下采样特征向量；表示块嵌入映射，Epos∈RN×D表示位置嵌入。
CNN-Transformer混合编码模块中处理得到待测肠胃MRI图像对应的编码下采样特征向量的具体方式为：
在得到L层卷积下采样特征向量后，将其中第L层下采样图像对应的位置嵌入向量gL输入到Transformer转换模型进行Transformer特征编码，得到第L层编码特征向量tL，由此得到的第L层编码特征向量tL是被重构后的(H/2L,W/2L)尺寸的特征图像；此后，再对第L层编码特征向量tL进行L-1层卷积上采样，使其逐层的上采样后，就得到(H/2L,W/2L)、(H/2L -1,W/2L-1)、……、(H/4,W/4)、(H/2,W/2)尺寸的共L层的编码特征向量，作为待测肠胃MRI图像对应的L层编码下采样特征向量。
2.3)BiFuse注意力融合分割模块
待测肠胃MRI图像对应的每层卷积下采样特征向量和编码下采样特征向量，会分别通过基于BiFuse网络的注意力融合分割模块进行BiFuse交叉融合。其中，具体而言，对于任意第l层卷积下采样特征向量和编码下采样特征向量，l＝1,2,…,L，通过注意力融合分割模块进行BiFuse交叉融合的过程如图3所示，具体方式为：
对第l层卷积下采样特征向量和编码下采样特征向量分别进行空间注意力运算和通道注意力运算，并对所述卷积下采样特征向量和编码下采样特征向量进行element-wise点积降维融合运算，最后将各运算结果拼接后进行残差融合，得到第l层的融合特征图像：
其中，gl、tl分别表示待测肠胃MRI图像对应的第l层卷积下采样特征向量和编码下采样特征向量，表示对第l层卷积下采样特征向量gl进行空间注意力运算的运算结果，/>表示对第l层编码下采样特征向量tl进行通道注意力运算的运算结果，/>表示对第l层卷积下采样特征向量gl和编码下采样特征向量tl进行element-wise点积降维融合运算的运算结果，fl为第l层的融合特征图像；SpatialAttn()表示空间注意力运算(可简称为SA运算)；ChannelAttn()表示通道注意力运算(可简称为CA运算)；Conv()表示卷积运算，/>分别表示预设的对第l层编码下采样特征向量tl和卷积下采样特征向量gl的训练权重，/>表示element-wise点积运算；Concat()表示拼接运算，Residual()表示残差运算。
从图3所示的BiFuse交叉融合过程可以看到，在对编码下采样特征向量tl的CA运算链路中，ChannelAttn通道注意力运算过程如下：先对编码下采样特征向量tl在空间维度上进行池化使其压缩为一个值，这样编码下采样特征向量tl就由(H/2l,W/2l)尺寸的图像变成了一个一维向量，随后使用3个1×1卷积和批归一化对通道维度进行放缩(全连接层FC)，最后将其放缩结果再与编码下采样特征向量tl进行Sigmoid计算，得到通道注意力运算结果
在对卷积下采样特征向量gl的SA运算链路中，SpatialAttn空间注意力运算过程如下：先对卷积下采样特征向量gl在通道维度分别进行最大池化和平均池化，之后通过3×3卷积层(Conv)进行降维，最后将降维结果再与卷积下采样特征向量gl进行Sigmoid计算，得到空间注意力运算结果
而在图3所示的中间element-wise点积降维融合运算链路中，则是对编码下采样特征向量tl和卷积下采样特征向量gl分别乘以各自的训练权重随后使用element-wise点积运算(Multiply)对二者进行融合，之后使用3x3卷积层(Conv)对融合后的特征数据进行降维，得到element-wise点积降维融合运算结果/>
最后，将三者进行拼接(Concat)后通过一个残差模块(Residual)，得到融合特征图像fl。
上述的处理过程，通过SpatialAttn空间注意力运算实现对卷积下采样特征向量gl的通道注意力，以促进提取来自Transformer分支的卷积下采样特征向量gl全局信息；而通过ChannelAttn通道注意力运算，来增强编码下采样特征向量tl的局部细节，抑制不相关区域；通过element-wise点积降维融合运算来建立卷积下采样特征向量gl和编码下采样特征向量tl二者之间的交叉关系；最后，交互融合特征与/>连接之后通过残差块生成的融合特征图像fl有效地捕获了当前空间分辨率的全局和局部上下文，进而帮助更准确的进行肠胃区域分割。
在获得各层的BiFuse交叉融合输出后，通过渐进上采样的方式，对得到的各层融合特征图像进行上采样图像恢复，其具体处理方式为：将第L层的融合特征图像fL与第L层的编码特征向量tL拼接后进行卷积上采样，得到第L层的上采样恢复图像而其他任意非L层的第l层融合特征图像fl，则与第l+1层的上采样恢复图像/>拼接后进行卷积上采样，得到第l层的上采样恢复图像/>这种拼接可以在不同尺度上利用融合的全局和局部空间上下文区域特征；由此逐层的进行渐进上采样，最后，由第1层的融合特征图像f1与第2层的上采样恢复图像/>拼接后进行卷积上采样所得到的第1层上采样恢复图像/>就是被恢复为像素高度H和像素宽度W的尺寸的图像，该上采样恢复图像/>是携带有预测识别的肠胃区域分割掩码的分割标记图像，将其作为待测肠胃MRI图像的肠胃区域分割结果。
3、BFTransNet混合网络训练优化过程的多层级总损失函数指导策略
本发明方法使用经过预先训练的BFTransNet混合网络进行肠胃区域分类预测，实现对肠胃MRI图像中肠胃区域的图像分割，其图像分割的效果及准确性，很大程度上取决于在对混合网络进行训练优化方式以及对中损失函数的选择。
因此，在对BFTransNet混合网络的训练过程中，本发明针对其每一个层次输出的上采样恢复图像引入进行识别性能评估的损失函数，从而构建多层级的总损失函数来指导BFTransNet混合网络的识别性能参数进行优化更新。
具体而言，在对BFTransNet混合网络进行训练优化的过程中，本发明方法采用了加权Dice损失和加权交叉熵损失相结合的方法，对分割训练过程进行监督，其训练方式具体为：预先确定需要分割识别的肠胃区域识别种类，将针对每个肠胃区域识别种类预先完成肠胃区域分割掩码标记的肠胃MRI样本图像作为训练样本，构成相应肠胃区域识别种类的训练样本集，输入所述BFTransNet混合网络，并构建包含有用以评估对各肠胃区域识别种类识别性能的Dice损失和交叉熵损失的总损失函数，以最小化总损失函数为目标对BFTransNet混合网络针对各肠胃区域识别种类的识别性能参数进行优化更新，进而对所述BFTransNet混合网络进行训练。
其中，由于BFTransNet混合网络中进行了L层卷积下采样特征提取及上采样图像恢复，因此，对BFTransNet混合网络进行肠胃区域分割训练所采用的总损失函数CLtotal则包含了对L层输出的上采样恢复图像进行识别性能评估的损失函数：
其中，为对应第l层识别性能评估的损失函数权重，l＝1,2,…,L，L为BFTransNet混合网络中上采样图像恢复的层数，CLl为对第l层输出的上采样恢复图像进行识别性能评估的损失函数，且：
CLl＝WDLl+WCEl；
WDLl、WCEl分别表示用以评估第l层输出的上采样恢复图像识别性能的Dice损失和交叉熵损失。
评估第l层输出的上采样恢复图像识别性能的Dice损失WDLl表示为：
其中，表示第l层输出的上采样恢复图像针对第m个肠胃区域识别种类的Dice分数，m＝1,2,…,M，M为肠胃区域识别种类数，/>为对应第m个肠胃区域识别种类预设的Dice损失权重，/>表示第l层输出的上采样恢复图像针对第m个肠胃区域识别种类中第i个训练样本预测识别的分割掩码值，/>表示第m个肠胃区域识别种类中第i个训练样本的真实分割掩码值，i＝1,2,…,Nm，Nm表示第m个肠胃区域识别种类的训练样本量；/>表示评估第l层输出的上采样恢复图像识别性能的加权Dice分数；
评估第l层输出的上采样恢复图像识别性能的交叉熵损失WCEl表示为：
其中，为对应第m个肠胃区域识别种类预设的交叉熵损失权重。
例如，如果把需要分割的肠胃区域识别种类设置为背景、大肠、小肠和胃四类(背景为第1类、大肠为第2类、小肠为第3类、胃为第4类)，BFTransNet混合网络像图2所示那样进行了4层的层卷积下采样特征提取及上采样图像恢复。如图4所示，在使用四个类的类的训练样本集对BFTransNet混合网络的训练过程中，得到其4层输出的上采样恢复图像后，各层中每个类的Dice分数按照公式/>进行计算，l＝1,2,3,4；然后对每一层四个类的Dice分数赋予不同的Dice损失权重/>例如对于背景、大肠、小肠和胃的Dice损失权重分别分配为1、3、2、5，按照公式/>计算每一层的加权Dice分数进而求得每一层针对背景、大肠、小肠和胃四个类的Dice损失WDLl；再通过公式求得每一层针对背景、大肠、小肠和胃四个类的交叉熵损失WCEl，四个类的交叉熵损失权重/>也依次分配为1、3、2、5；之后，求得每一层针对背景、大肠、小肠和胃四个类的损失函数CLl＝WDLl+WCEl；最后，确定L层的总损失函数分别为BFTransNet混合网络中4层的损失函数权重。
4、实施例
为了证明所提出的架构的分割性能，通过实施例在基于UWMGI数据集进行了不同方法的肠胃MRI图像分割对比实验。
本实施例中，将本发明基于BFTransNet混合网络的肠胃MRI图像分割方法，与利用U-Net、FPN、Deeplabv3、Deeplabv3+和TransUent等网络的分割方法进行比较。为了公平的性能比较，采用相同的策略来训练和测试各种不同的分割方法，例如相同的输入图像大小、超参数设置、学习率调整策略和损失函数。
下面通过表1显示了实验中采用本发明BFTransNet混合网络模型与其他模型在UWMGI数据集上的肠胃区域分割性能对比。在未引入多层级总损失函数指导策略进行训练之前，本发明BFTransNet混合网络模型在测试集上训练得到的Dice(Dice损失)和Iou(交叉熵损失)分别达到了88.99％和89.16％；而引入多层级总损失函数指导策略之后，本发明BFTransNet混合网络模型在测试集上训练得到的Dice(Dice损失)和Iou(交叉熵损失)分别达到了89.16％和86.18％；并且，相比使用其他模型的分割方法，本发明BFTransNet混合网络模型的损失值所呈现的性能都更优。
由此可以证明，本发明基于BFTransNet混合网络的肠胃MRI图像分割方法，能够取得更准确的肠胃区域分割结果。
表1：不同模型在UWMGI数据集上分割性能对比
在图5中可视化了采用本发明BFTransNet混合网络与其余网模型在UWMGI数据集上的分割结果。可以看到，本发明方法产生了更好的分割结果，与其它方法相比更加接近真实的区域分割标记结果。本发明方法不仅突出了正确的突出区域，消除了混乱的假阳性病变，而且还产生了连贯的边界。这也表明了，本发明基于BFTransNet混合网络的肠胃MRI图像分割方法能够进行更精细的分割，同时保留详细的区域分割形状信息。
本实验还以TransUnet为基线进行了一系列的消融实验，来证明本发明方法的有效性，具体的实验结果如表2所示。在TransUnet中用BiFusion代替解码器中的Concat操作来融合上采样的特征和跳跃连接的特征，可以看出引入BiFusion模块在TransUnet的基础上提高了0.32％的Dice分数。之后引入TUP的上采样策略与BiFusion模块结合，相比与Baseline在Dice(Dice损失)和Iou(交叉熵损失)上得到了0.6％和0.27％的改进。在使用多层级总损失函数指导策略训练过程之后，Dice(Dice损失)和Iou(交叉熵损失)相比Baseline进一步提升了1.21％和0.96％。
表2：消融实验
为了确定不同层次损失函数的最佳占比，本实验还用不同的权重进行了测试。设置BFTransNet混合网络进行4层的层卷积下采样特征提取及上采样图像恢复，令4层的损失函数权重之和为1，令第1层(总输出层)的损失函数权重分别取＝0.5、0.6、0.7，令第2、3、4层的损失函数权重/>且分别取值0.16、0.13、0.1，在这些情况下进行了实验，结果表明当/>和/>0.1的情况下，分割效果最好。
表3：不同损失函数权重的分割性能对比
综上所述，本发明方法具备如下的技术优点：
1、本发明通过对相邻多张肠胃MRI切片图像来构建携带有2.5D结构数据的待测肠胃MRI图像，能够体现一定的空间上下文特征信息，有利于后续更好的提取图像的区域结构特征，并使用预先经过肠胃区域分割训练的BFTransNet混合网络来预测识别肠胃区域的分割掩码，以快速、准确的实现对肠胃MRI图像的肠胃区域分割，
2、本发明采用的BFTransNet混合网络模型，以CNN-Transformer混合编码模块作为特征提取，很好的利用了CNN卷积网络对于局部特征的表征能力和Transformer转换模型对全局上下文特征的建模能力；通过对Transformer转换模型提取的编码下采样特征向量不断上采样恢复特征图的尺寸大小，然后和CNN卷积网络提取的对应维度的卷积下采样特征向量通过BiFuse模块进行融合，通过不同注意力交叉建模CNN和Transformer所提取的特征，更加高效地利用了高、低层次的特征从而防止信息冗余；之后对其融合结果进行卷积上采样，从底层逐步融合不同层次的特征最后恢复到原来的图像尺寸大小，得到携带有预测识别的肠胃区域分割掩码的分割标记图像，预测肠胃区域分割结果。
3、本发明还使用了多层级的总损失函数来指导BFTransNet混合网络的识别性能参数进行优化更新，对低层次特征和高层次的层输出均预测分割掩码，然后与真实掩码计算损失函数，之后对不同层次的损失函数赋予不同的权值，更加充分的利用了低层次的特征，对于提升BFTransNet混合网络的训练效果以及训练后的分割准确性，具有积极作用。
4、本发明方法能够快速、准确的实现对肠胃MRI图像中指定肠胃区域的分割识别，进而用以解决放疗过程中用手动勾勒出胃、肠道等区域位置造成时间耽误而使得患者痛苦时间较长的问题。
最后说明的是，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
Claims (10)
1.一种基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，将相邻的多张肠胃MRI切片图像进行图像叠加融合构成待测肠胃MRI图像，输入至预先经过肠胃区域分割训练的BFTransNet混合网络，得到待测肠胃MRI图像的肠胃区域分割结果；
所述BFTransNet混合网络包括基于CNN卷积网络和Transformer转换模型的混合编码模块和基于BiFuse网络的注意力融合分割模块；所述混合编码模块用于对待测肠胃MRI图像分别进行CNN卷积下采样特征提取和Transformer编码特征提取，得到待测肠胃MRI图像对应的卷积下采样特征向量和编码下采样特征向量后，通过注意力融合分割模块将待测肠胃MRI图像对应的卷积下采样特征向量和编码下采样特征向量进行空间注意力和通道注意力的BiFuse交叉融合，然后对得到的融合特征图像进行上采样图像恢复，得到携带有预测识别的肠胃区域分割掩码的分割标记图像，作为待测肠胃MRI图像的肠胃区域分割结果。
2.根据权利要求1所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，待测肠胃MRI图像的构建方式为：
选取相邻的多张肠胃MRI切片图像，将每张肠胃MRI切片图像作为待测肠胃MRI图像的一个像素通道，从而使得选取的各肠胃MRI切片图像进行各对应位置像素的叠加，得到待测肠胃MRI图像。
3.根据权利要求2所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，选取相邻的多张肠胃MRI切片图像融合生成待测肠胃MRI图像的具体处理方式为：
选取一张肠胃MRI切片图像作为待测基准图像，在选取其相邻的前K张肠胃MRI切片图像和后K张肠胃MRI切片图像，共选取2K+1张肠胃MRI切片图像；
生成一个像素值全为0的多通道图像F(2K+1,H,W)，该多通道图像F的像素高度和像素宽度分别等于肠胃MRI切片图像的像素高度H和像素宽度W，多通道图像F的像素通道数C等于2K+1；将选取的2K+1张肠胃MRI切片图像分别叠加到所述多通道图像F的2K+1个像素通道中，即令fCk＝Pk，fCk表示多通道图像F的第k个像素通道，Pk表示选取的第k张肠胃MRI切片图像，k＝1,2,…,2K+1；
由此得到的叠加2K+1张肠胃MRI切片图像的多通道图像F，即作为待测肠胃MRI图像。
4.根据权利要求1所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，混合编码模块中处理得到待测肠胃MRI图像对应的卷积下采样特征向量的具体方式为：
对待测肠胃MRI图像进行L层卷积下采样，得到待测肠胃MRI图像的L层下采样图像；针对其中每层下采样图像，将其划分重构为一个图像块序列其中，/>表示待测肠胃MRI图像的第l层下采样图像划分的第n个图像块，每个图像块/>的像素尺寸大小为p×p，N为下采样图像被划分的图像块总数，且/>H、W分别为待测肠胃MRI图像的像素高度和像素宽度，C为待测肠胃MRI图像的像素通道数；然后，再将各层下采样图像的图像块序列映射到潜在的D维嵌入空间，得到各层下采样图像对应的位置嵌入向量，作为待测肠胃MRI图像对应的L层卷积下采样特征向量：
其中，gl表示待测肠胃MRI图像的第l层下采样图像对应的位置嵌入向量，即待测肠胃MRI图像对应的第l层卷积下采样特征向量；表示块嵌入映射，Epos∈RN×D表示位置嵌入。
5.根据权利要求4所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，混合编码模块中处理得到待测肠胃MRI图像对应的编码下采样特征向量的具体方式为：
将第L层下采样图像对应的位置嵌入向量gL输入到Transformer转换模型进行Transformer特征编码，得到第L层编码特征向量tL，再对第L层编码特征向量tL进行L-1层卷积上采样，由此得到共L层的编码特征向量，作为待测肠胃MRI图像对应的L层编码下采样特征向量。
6.根据权利要求5所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，所述待测肠胃MRI图像对应的每层卷积下采样特征向量和编码下采样特征向量分别通过注意力融合分割模块进行BiFuse交叉融合；其中，对于任意第l层卷积下采样特征向量和编码下采样特征向量，l＝1,2,…,L，通过注意力融合分割模块进行BiFuse交叉融合的具体方式为：
对第l层卷积下采样特征向量和编码下采样特征向量分别进行空间注意力运算和通道注意力运算，并对所述卷积下采样特征向量和编码下采样特征向量进行element-wise点积降维融合运算，最后将各运算结果拼接后进行残差融合，得到第l层的融合特征图像：
其中，gl、tl分别表示待测肠胃MRI图像对应的第l层卷积下采样特征向量和编码下采样特征向量，表示对第l层卷积下采样特征向量gl进行空间注意力运算的运算结果，/>表示对第l层编码下采样特征向量tl进行通道注意力运算的运算结果，/>表示对第l层卷积下采样特征向量gl和编码下采样特征向量tl进行element-wise点积降维融合运算的运算结果，fl为第l层的融合特征图像；SpatialAttn()表示空间注意力运算；ChannelAttn()表示通道注意力运算；Conv()表示卷积运算，W1 l、/>分别表示预设的对第l层编码下采样特征向量tl和卷积下采样特征向量gl的训练权重，⊙表示element-wise点积运算；Concat()表示拼接运算，Residual()表示残差运算。
7.根据权利要求6所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，对得到的融合特征图像进行上采样图像恢复的具体处理方式为：
将第L层的融合特征图像fL与第L层的编码特征向量tL拼接后进行卷积上采样，得到第L层的上采样恢复图像
其他任意第l层的融合特征图像fl则与第l+1层的上采样恢复图像拼接后进行卷积上采样，得到第l层的上采样恢复图像/>
由此，其中得到的第1层上采样恢复图像被恢复为像素高度H和像素宽度W的尺寸，是携带有预测识别的肠胃区域分割掩码的分割标记图像，将其作为待测肠胃MRI图像的肠胃区域分割结果。
8.根据权利要求1所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，所述BFTransNet混合网络的肠胃区域分割训练方式为：
预先确定需要分割识别的肠胃区域识别种类，将针对每个肠胃区域识别种类预先完成肠胃区域分割掩码标记的肠胃MRI样本图像作为训练样本，构成相应肠胃区域识别种类的训练样本集，输入所述BFTransNet混合网络，并构建包含有用以评估对各肠胃区域识别种类识别性能的Dice损失和交叉熵损失的总损失函数，以最小化总损失函数为目标对BFTransNet混合网络针对各肠胃区域识别种类的识别性能参数进行优化更新，进而对所述BFTransNet混合网络进行训练。
9.根据权利要求8所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，所述BFTransNet混合网络中进行了L层卷积下采样特征提取及上采样图像恢复，对BFTransNet混合网络进行肠胃区域分割训练所采用的总损失函数CLtotal则包含了对L层输出的上采样恢复图像进行识别性能评估的损失函数：
其中，为对应第l层识别性能评估的损失函数权重，l＝1,2,…,L，L为BFTransNet混合网络中上采样图像恢复的层数，CLl为对第l层输出的上采样恢复图像进行识别性能评估的损失函数，且：
CLl＝WDLl+WCEl；
WDLl、WCEl分别表示用以评估第l层输出的上采样恢复图像识别性能的Dice损失和交叉熵损失。
10.根据权利要求9所述基于BFTransNet混合网络的肠胃MRI图像分割方法，其特征在于，评估第l层输出的上采样恢复图像识别性能的Dice损失WDLl表示为：
其中，表示第l层输出的上采样恢复图像针对第m个肠胃区域识别种类的Dice分数，m＝1,2,…,M，M为肠胃区域识别种类数，/>为对应第m个肠胃区域识别种类预设的Dice损失权重，/>表示第l层输出的上采样恢复图像针对第m个肠胃区域识别种类中第i个训练样本预测识别的分割掩码值，/>表示第m个肠胃区域识别种类中第i个训练样本的真实分割掩码值，i＝1,2,…,Nm，Nm表示第m个肠胃区域识别种类的训练样本量；/>表示评估第l层输出的上采样恢复图像识别性能的加权Dice分数；
评估第l层输出的上采样恢复图像识别性能的交叉熵损失WCEl表示为：
其中，为对应第m个肠胃区域识别种类预设的交叉熵损失权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310407759.0A CN116542986A (zh) | 2023-04-17 | 2023-04-17 | 一种基于BFTransNet混合网络的肠胃MRI图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310407759.0A CN116542986A (zh) | 2023-04-17 | 2023-04-17 | 一种基于BFTransNet混合网络的肠胃MRI图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116542986A true CN116542986A (zh) | 2023-08-04 |
Family
ID=87446094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310407759.0A Pending CN116542986A (zh) | 2023-04-17 | 2023-04-17 | 一种基于BFTransNet混合网络的肠胃MRI图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542986A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372451A (zh) * | 2023-09-20 | 2024-01-09 | 中山大学 | 基于sam图像分割模型的水体水位监测方法 |
| CN117809121A (zh) * | 2024-02-27 | 2024-04-02 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标对象识别方法、对象识别模型训练方法、目标对象处理方法以及信息处理方法 |
-
2023
- 2023-04-17 CN CN202310407759.0A patent/CN116542986A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372451A (zh) * | 2023-09-20 | 2024-01-09 | 中山大学 | 基于sam图像分割模型的水体水位监测方法 |
| CN117809121A (zh) * | 2024-02-27 | 2024-04-02 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标对象识别方法、对象识别模型训练方法、目标对象处理方法以及信息处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN113313234B (zh) | 用于图像分割的神经网络系统和方法 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN112819076B (zh) | 基于深度迁移学习的医学图像分类模型的训练方法及装置 | |
| CN116542986A (zh) | 一种基于BFTransNet混合网络的肠胃MRI图像分割方法 | |
| WO2019200753A1 (zh) | 病变监测方法、装置、计算机设备和存储介质 | |
| CN111127412B (zh) | 一种基于生成对抗网络的病理图像识别装置 | |
| CN109346159B (zh) | 病例图像分类方法、装置、计算机设备及存储介质 | |
| CN113793304B (zh) | 一种面向肺癌靶区及危及器官智能分割方法 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| Mukherjee et al. | Lung cancer disease diagnosis using machine learning approach | |
| US20210327585A1 (en) | Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions | |
| US20210248749A1 (en) | Sequential segmentation of anatomical structures in 3d scans | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| CN112581458A (zh) | 一种图像处理方法和装置 | |
| KR102419270B1 (ko) | Mlp 기반 아키텍처를 통한 의료영상 세그먼테이션 장치 및 그 방법 | |
| CN115018809A (zh) | Ct图像的靶区分割识别方法及系统 | |
| CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| Carmo et al. | Extended 2D consensus hippocampus segmentation | |
| CN118229974A (zh) | 一种基于分割一切模型的医学图像快速分割方法 | |
| CN116778158B (zh) | 基于改进u形网络的多组织成分图像分割方法及系统 | |
| Kascenas et al. | Anomaly detection via context and local feature matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |