CN117974683A - 一种医学图像分割方法、装置、设备及介质 - Google Patents
一种医学图像分割方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117974683A CN117974683A CN202410003190.6A CN202410003190A CN117974683A CN 117974683 A CN117974683 A CN 117974683A CN 202410003190 A CN202410003190 A CN 202410003190A CN 117974683 A CN117974683 A CN 117974683A
- Authority
- CN
- China
- Prior art keywords
- medical image
- layer
- image segmentation
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000003062 neural network model Methods 0.000 claims abstract description 44
- 230000001575 pathological effect Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 29
- 230000007246 mechanism Effects 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000002474 experimental method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种医学图像分割方法、装置、设备及介质，属于图像分割技术领域，包括：获取原始3D形式的多模态医学图像和单模态医学图像作为样本集；将多模态医学图像和单模态医学图像切分为多个2D病理切片；构建图像分割神经网络模型；将多模态医学图像中，属于每一类模态的2D病理切片作为一个通道的训练集输入图像分割神经网络模型中，并将单模态医学图像的2D病理切片作为训练集输入图像分割神经网络模型中，对图像分割神经网络模型进行训练；得到训练好的图像分割神经网络模型；利用训练好的图像分割神经网络模型进行医学图像的分割。该方法能够适应单模态医学图像分割任务和多模态医学图像分割任务。
Description
技术领域
本发明属于图像分割技术领域，具体涉及一种医学图像分割方法、装置、设备及介质。
背景技术
医学图像分割技术是诊断和治疗各种疾病的关键步骤。传统的疾病或器官检查严重依赖于专家的手工标注，分割结果准确但费时费力，且分割结果易受专家主观因素影响。常见的医学成像方式包括计算机断层扫描(CT)、正电子发射断层扫描(PET)和磁共振成像(MRI)，大多数CT和PET是单模态医学图像载体，MRI是常见的多模态医学图像载体。
医学图像分割可分为单模态医学图像分割和多模态医学图像分割。单模态医学图像分割指从一种成像方式中检测出患者病理组织或器官的精确位置，并准确分割目标区域的过程。基于CNN的医学图像分割网络是单模态医学图像分割领域中最普遍的网络结构之一。但由于CNN自身缺陷，如感受场范围的限制和固定的卷积形式，让网络提取图像中的全局特征带来挑战。Transformer作为主干网络在解决单模态医学图像分割中表现出显著优势，它可以有效学习任意序列到序列之间的远程依赖关系，以提取全局特征信息。
多模态医学图像分割指通过参考多个成像方式来分割特定的疾病位置，通过利用每种成像提供的互补信息，可以准确地分割完整的目标区域。目前，大多数多模态分割任务依赖3D网络。3D模型侧重于三维数据输入而能够提取丰富的空间信息，但它们结构复杂，参数量大且训练时间长。在有限的计算资源下使用3D网络来分割特定的任务是具有挑战性的。
然而，目前的技术只能只分割单模态医学图像或只能分割多模态医学图像任务，不能同时处理单模态医学图像和多模态医学图像。
发明内容
为了克服上述现有技术存在的不足，本发明提供了一种医学图像分割方法。
为了实现上述目的，本发明提供如下技术方案：
一种医学图像分割方法，包括：
获取原始3D形式的多模态医学图像和单模态医学图像作为样本集；将原始3D形式的多模态医学图像和单模态医学图像切分为多个2D病理切片；
基于transunet模型构建图像分割神经网络模型；
将多模态医学图像中，属于每一类模态的2D病理切片作为一个通道的训练集输入图像分割神经网络模型中，并将单模态医学图像的2D病理切片作为训练集输入图像分割神经网络模型中，对图像分割神经网络模型进行训练；
利用训练好的图像分割神经网络模型进行医学图像的分割。
进一步，所述图像分割神经网络模型包括：依次连接的卷积层，编码层，桥接层，解码层，编码层与解码层跳跃连接；
所述卷积层为多核卷积模块，所述多核卷积模块用于：将医学图像分别输入3×3卷积层、5×5卷积层、7×7卷积层中，并以add形式对3×3卷积层、5×5卷积层、7×7卷积层输出的特征进行融合。
进一步，所述编码层包括：四个堆叠的改进残差模块ES1、ES2、ES3、ES4；
所述改进残差模块均包括依次连接的：第一1×1卷积层、第一BN-RELU激活函数层、改进的通道注意力机制层、第二BN-RELU激活函数层、第二1×1卷积层、第三BN-RELU激活函数层；
所述改进的通道注意力机制层用于：将第一BN-RELU激活函数层输出的第二特征图分别输入3×3卷积层和5×5卷积层中，3×3卷积层和5×5卷积层输出的第三特征图分别输入到两个通道注意力机制中，使用concat连接方式对两个通道注意力机制输出的特征图进行拼接。
进一步，所述桥接层包括：依次连接的归一化层、多头注意力机制层、层归一化层、多层感知机层。
进一步，所述解码层包括：
依次连接的解码层模块DS1、DS2、DS3、DS4，每个解码层模块包括：
依次连接的线性插值层、双重卷积模块；所述双重卷积模块包括：
依次连接的两个3×3卷积核、BN-RELU激活函数；
所述多核卷积模块中的3×3卷积层输出的特征图进入通道注意力中，之后与流出DS3的特征图进行add方式融合，融合之后的特征图进入到DS4中，DS4输出与原始输入大小相同的像素的预测标签特征图。
进一步，所述对图像分割神经网络模型进行训练；包括：
初始化网络参数，设置实验中的批次大小和最大训练轮数，确定实验所需要的数据集内存地址，实验达到最大训练轮数后停止；
将训练集输入到神经网络中进行有监督训练；在每个训练轮数中，对神经网络训练后得到的预测分割特征图P和原始真实标签T进行损失函数的计算；
其中，损失函数包括交叉熵损失函数和DSC损失函数；
交叉熵损失函数loss1为：
式中，T(i,c)∈{0,1}表示第个像素点的真实标签是否为c类，P(i,c)∈[0,1]表示第i个像素点网络预测为其是c类的概率值；
DSC损失函数loss2为：
其中，|mP|+|mT|表示预测标签与真实标签的交集，|mp∪mT|表示预测标签与真实标签的并集；
总损失函数loss为：
loss＝0.5*loss1+0.5*loss2
通过损失函数值计算网络参数的偏导，对网络参数进行更新；
训练达到最大训练轮数之后，保存训练好的网络模型用于测试集样本的测试实验，测试实验后得到训练好的图像分割神经网络模型。
进一步，还包括：利用原始3D形式的多模态医学图像和单模态医学图像作为测试集对图像分割神经网络模型进行验证，得到训练好的图像分割神经网络模型；包括：
使用测试集对训练好的网络模型进行测试，得到测试的预测结果，将结果与测试集对应的真实标签做对比，使用DSC系数和HD95系数检验网络分割的效果；
DSC系数为：
其中，|mP|+|mT|表示预测标签与真实标签的交集，|mP∪mT|表示预测标签与真实标签的并集；DSC∈[0,1]；
HD95系数为：
其中，h(P,T),h(T,P)表示预测标签与真实标签的距离大小；H(P,T)＞0；
当DSC系数大于阈值且HD95系数小于阈值，得到训练好的图像分割神经网络模型。
一种医学图像分割装置，其特征在于，包括：
图像获取模块，用于获取原始3D形式的多模态医学图像和单模态医学图像作为样本集；将原始3D形式的多模态医学图像和单模态医学图像切分为多个2D病理切片；
神经网络构建模块，用于构建图像分割神经网络模型；
神经网络训练模块，用于将多模态医学图像中，属于每一类模态的2D病理切片作为一个通道的训练集输入图像分割神经网络模型中，并将单模态医学图像的2D病理切片作为训练集输入图像分割神经网络模型中，对图像分割神经网络模型进行训练；利用原始3D形式的多模态医学图像和单模态医学图像作为测试集对图像分割神经网络模型进行训练，得到训练好的图像分割神经网络模型；
图像分割模块，用于利用训练好的图像分割神经网络模型进行医学图像的分割。
本发明提供的一种医学图像分割方法具有以下有益效果：
本发明获取了原始3D形式的多模态医学图像和单模态医学图像作为样本集来训练图像分割网络，使得图像分割网络能够同时处理单模态医学图像和多模态医学图像。在此基础上，为了确保神经网络模型能够更好地适应各种模态的不一致性，本发明将多模态医学图像的每个模态切片作为一个通道输入到模型中，由于每个模态都有自己的通道，模型在训练过程中能够学习到不同模态之间的内在联系和转换关系，而不会过度依赖于某一特定模态的数据，使得神经网络模型能够可以更好地适应各种模态的不一致性，更好的适应多模态医学图像和单模态医学图像任务。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种医学图像分割方法逻辑框图；
图2为本发明的一种医学图像分割方法实施流程示意图；
图3为本发明的模型框架示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种医学图像分割方法，以下为本发明方法的具体实施细节：
步骤一、划分训练样本集和测试样本集及数据预处理
a1.若样本集是从医院或检查机构中获取且为多个成像方式组成的数据集，首先对该样本集中每个成像做对齐、配准操作，得到统一标准的数据集，其次对该数据集进行目标区域的标注(若该样本集为单模态医学图像，同样需要标注)，人为标注软件通常使用labelme或labelimg软件。若数据集样本是从挑战赛或在线数据库中获得，则该数据集样本通常会包含统一格式的样本且有标签值。本发明为第二种情况。
a2.具体来说，样本集为多模态医学图像数据集，该多模态医学图像样本集为核磁共振成像(MRI)包含4个模态，分别是：T1-weighted(T1)，contrast-enhanced T1-weighted(T1c)，T2-weighted(T2)及Fluid attenuation inversion recovery(Flair)。每个模态为nii格式，即每个样本为3D形式，简记为H×W×D，H×W为每个病理切片的长宽，D为该样本包含的切片数。首先对该样本集做标准化，然后以8:2的比例划分训练集：测试集，训练样本集从nii转换为npz格式，以2D病理切片为单位组成训练集，测试集保留原有的3D形式，从nii转换成h5文件。接下来对多模态样本集中的训练集做数据预处理步骤：该数据集切片原始大小为240×240，通过随机裁剪为224×224，同时使用随机翻转等数据增强的方式对训练集进行数据预处理。将每个模态样本当做一个输入通道，则多模态医学图像训练集输入大小为224×224×4。
样本集为单模态医学图像数据集，该样本集只包含CT成像且为nii形式，即每个样本为3D形式，简记为H×W×D，H×W为每个病理切片的长宽，D为该样本包含的切片数。同样对该样本集做标准化，然后以8:2的比例划分训练集：测试集，训练样本集从nii转换为npz格式，以2D病理切片为单位组成训练集，测试集保留原有的3D形式，从nii转换成h5文件。其次对单模态样本集中的训练集做数据预处理步骤：该数据集切片原始大小为512×512，通过随机裁剪为224×224，同时使用随机翻转等数据增强的方式对训练集进行数据预处理。进入网络训练的训练集输入大小表示为：224×224×1。
步骤二、构建2D图像分割神经网络模型
本发明具体包含四大模块。
b1.第一模块为多核卷积模块，目的在于最大化数据输入的特征提取，使网络不再局限于小的局部视野。具体的，多核卷积模块包含三个不同大小核卷积，分别是：3×3卷积、5×5卷积及7×7卷积。整理好的训练样本集复制为相同的三部分分别流入到多核卷积模块的三个分支中，随后以add形式对三个分支提取的特征进行融合。该模块中的3×3卷积之后的特征还需流入到解码层中，使得模型能够充分利用底层的细节信息。训练集进入多核卷积模块中，特征图变为64×112×112。
b2.第二模块为编码层，编码层为四个改进的残差模块的堆叠，改进的残差模块将3×3卷积替换成改进的通道注意力机制，目的在于使网络精细化提取样本的局部特征及细节特征。具体的，编码层四个阶段(stage)分别简记为：ES1,ES2,ES3,ES4。每个stage由1×1卷积-BN-RELU激活函数-改进的通道注意力机制-BN-RELU激活函数-1×1卷积-BN-RELU激活函数模块组成。改进的通道注意力机制分成两个分支，分别为3×3卷积和5×5卷积模块，流入到该模块的特征图分为两个部分，独立进入两个分支中进行特征提取，其次进入通道注意力机制中，提取对分割结果更重要的有效特征。最后使用concat连接方式对两个分支的特征图进行拼接。特征图流入该模块的每个stage中，特征图大小将减小一倍，通道数有相应成倍增加。编码层中四个模块流出后特征大小分别为：ES1为128×112×112,ES2为256×56×56,ES3为256×28×28及ES4为512×14×14。
利用改进的残差模块适应多模态数据集的分割，使得网络具有既可以精准分割单模态医学图像任务，也可以分割复杂的多模态医学图像任务的能力。
b3.第三模块使用VIT作为桥接层模块，VIT可以很容易的集成到主干网络中，目的在于提取丰富的全局特征信息。VIT由层归一化(LN)-多头注意力机制-层归一化(LN)-多层感知机(MLP)组成。多头注意力机制中的head在本发明中设置为8.输入到VIT的特征图首先映射为一维向量，VIT实现捕捉序列和序列之间的长程依赖关系，有助于网络更好的提取全局特征信息。流入进该VIT模块时，特征图大小由512×14×14映射为(196,512)，最终流出VIT模块，特征图大小将恢复成512×14×14。
b4.第四模块为解码层，解码层使用双重卷积模块，目的使网络逐步上采样，进而得到完整的预测分割特征图。解码层每个阶段(stage)可简记为：DS1,DS2,DS3,DS4。每个stage由：线性插值(进行特征图的上采样)-双重卷积模块组成，其中双重卷积模块由两个3×3卷积核-BN-RELU激活函数组成。特征图在流入DS4模块之前，b1中的多核卷积模块的最小分支，即3×3卷积模块的特征图进入通道注意力中，然后与流出DS3的特征图进行add方式融合，融合之后的特征图进入到DS4中，最终得到与原始输入大小相同的像素预测标签特征图。解码层中四个模块流出后特征大小分别为：DS1为256×28×28,DS2为128×56×56，DS3为64×112×112,DS4为16×224×224.最后DS4特征图进入3×3卷积，将通道数卷积为分割类别大小。最终得到输出：类别数×224×224。
编码层的每个stage的特征图，将与解码层中的每个stage进行跳跃连接，具体实现方式为：流出ES1后的特征图Ef1记为C×H/2×W/2，流出ES2后的特征图Ef2记为2C×H/4×W/4，流出ES3后的特征图Ef3记为2C×H/8×W/8，流出ES4后的特征图Ef4记为4C×H/16×W/16.其中，特征图Ef4将流入进桥接层(VIT)模块中。在解码层中，流出DS1后的特征图Df1记为在进入解码层之前，将特征图Ef1,Ef2及Ef3的数值保存下来，随着网络在解码层中逐步上采样的过程中，ES3对应的Ef3特征图流入到DS1中，与DS1中上采样后的特征图进行concat拼接，然后进入双重卷积模块中提取特征。相同的，ES2对应的Ef2特征图会流入到DS2中，执行相同的操作，ES1对应的Ef1特征图会流入到DS3中，执行相同的操作。
本发明利用卷积神经网络提取局部特征信息的优势与Transformer提取全局特征信息的优势，将两者串联构成2D图像分割神经网络模型，避免了复杂的3D网络。
步骤三、对2D通用医学图像分割网络进行迭代训练
初始化网络参数及实验超参数，实验环境为3090GPU,设置超参数批次大小＝24,最大训练轮数＝500，网络训练达到最大训练轮数时训练完成。初始化网络结构的所有参数。
以批次大小为单位的训练样本作为网络输入进入到网络中训练，模型预测出对应训练样本的预测值记为P，该预测值将和训练样本对应的真实标签值T进行损失函数计算，损失函数包括交叉熵损失及DSC损失，交叉熵损失loss1表示为：
其中T(i,c)∈{0,1}表示第i个像素点的真实标签是否为c类，P(i,c)∈[0,1]表示第i个像素点网络预测为其是c类的概率值。DSC损失表示为loss2：
其中，|mP|+|mT|表示预测标签与真实标签的交集，|mP∪mT|表示预测标签与真实标签的并集。
总损失表示为：loss＝0.5*loss1+0.5*loss2。
通过损失函数进行反向梯度传播，求网络每个参数的偏导，进而实现网络参数的更新。随着网络训练，损失函数将快速收敛下降到一个稳定值左右，并且使SGD优化器，在每次更新网络参数后，会得到本次训练轮数的医学图像分割网络模型。
d.获取测试分割结果
该发明训练轮数达到最大训练轮数后，网络会保存训练好的模型权重，测试集保持3D形式，且不进行任何的预处理步骤，测试样本集进入网络中对该样本集预测目标区域标签，这步设置batch_size＝1,测试过程中不再更新网络参数，也不会有损失函数的计算，只进行前向传播，最终得到每个测试样本集的分割结果。计算DSC指标及HD95系数。
DSC指标表示为：|mP|+|mT|表示预测标签与真实标签的交集，|mP∪mT|表示预测标签与真实标签的并集。
DSC∈[0,1]，且越高越好。
HD95系数表示为：
其中，h(P,T),h(T,P)表示预测标签与真实标签的距离大小，H(A,B)＞0，且值越小越好。
基于以上方法，本发明还提供一种医学图像的分割装置、计算机设备、一种存储有计算机指令的非瞬时计算机可读存储介质，用于执行以上方法，在此不做赘述。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。
Claims (10)
1.一种医学图像分割方法，其特征在于，包括：
获取原始3D形式的多模态医学图像和单模态医学图像作为样本集；将原始3D形式的多模态医学图像和单模态医学图像切分为多个2D病理切片；
基于transunet模型构建图像分割神经网络模型；
将多模态医学图像中，属于每一类模态的2D病理切片作为一个通道的训练集输入图像分割神经网络模型中，并将单模态医学图像的2D病理切片作为训练集输入图像分割神经网络模型中，对图像分割神经网络模型进行训练；
利用训练好的图像分割神经网络模型进行医学图像的分割。
2.根据权利要求1所述的一种医学图像分割方法，其特征在于，所述图像分割神经网络模型包括：依次连接的卷积层，编码层，桥接层，解码层，编码层与解码层跳跃连接；
所述卷积层为多核卷积模块，所述多核卷积模块用于：将医学图像分别输入3×3卷积层、5×5卷积层、7×7卷积层中，并以add形式对3×3卷积层、5×5卷积层、7×7卷积层输出的特征进行融合。
3.根据权利要求2所述的一种医学图像分割方法，其特征在于，所述编码层包括：四个堆叠的改进残差模块ES1、ES2、ES3、ES4；
所述改进残差模块均包括依次连接的：第一1×1卷积层、第一BN-RELU激活函数层、改进的通道注意力机制层、第二BN-RELU激活函数层、第二1×1卷积层、第三BN-RELU激活函数层；
所述改进的通道注意力机制层用于：将第一BN-RELU激活函数层输出的第二特征图分别输入3×3卷积层和5×5卷积层中，3×3卷积层和5×5卷积层输出的第三特征图分别输入到两个通道注意力机制中，使用concat连接方式对两个通道注意力机制输出的特征图进行拼接。
4.根据权利要求1所述的一种医学图像分割方法，其特征在于，所述桥接层包括：依次连接的归一化层、多头注意力机制层、层归一化层、多层感知机层。
5.根据权利要求3所述的一种医学图像分割方法，其特征在于，所述解码层包括：
依次连接的解码层模块DS1、DS2、DS3、DS4，每个解码层模块包括：
依次连接的线性插值层、双重卷积模块；所述双重卷积模块包括：
依次连接的两个3×3卷积核、BN-RELU激活函数；
所述多核卷积模块中的3×3卷积层输出的特征图进入通道注意力中，之后与流出DS3的特征图进行add方式融合，融合之后的特征图进入到DS4中，DS4输出与原始输入大小相同的像素的预测标签特征图。
6.根据权利要求1所述的一种医学图像分割方法，其特征在于，所述对图像分割神经网络模型进行训练；包括：
初始化网络参数，设置实验中的批次大小和最大训练轮数，确定实验所需要的数据集内存地址，实验达到最大训练轮数后停止；
将训练集输入到神经网络中进行有监督训练；在每个训练轮数中，对神经网络训练后得到的预测分割特征图P和原始真实标签T进行损失函数的计算；
其中，损失函数包括交叉熵损失函数和DSC损失函数；
交叉熵损失函数loss1为：
式中，T(i,c)∈{0,1}表示第个像素点的真实标签是否为c类，P(i,c)∈[0,1]表示第i个像素点网络预测为其是c类的概率值；
DSC损失函数loss2为：
其中，|mP|+|mT|表示预测标签与真实标签的交集，|mp∪mT|表示预测标签与真实标签的并集；
总损失函数loss为：
loss＝0.5*loss1+0.5*loss2
通过损失函数值计算网络参数的偏导，对网络参数进行更新；
训练达到最大训练轮数之后，保存训练好的网络模型用于测试集样本的测试实验，测试实验后得到训练好的图像分割神经网络模型。
7.根据权利要求1所述的一种医学图像分割方法，其特征在于，还包括：利用原始3D形式的多模态医学图像和单模态医学图像作为测试集对图像分割神经网络模型进行验证，得到训练好的图像分割神经网络模型；包括：
使用测试集对训练好的网络模型进行测试，得到测试的预测结果，将结果与测试集对应的真实标签做对比，使用DSC系数和HD95系数检验网络分割的效果；
DSC系数为：
其中，|mP|+|mT|表示预测标签与真实标签的交集，|mP∪mT|表示预测标签与真实标签的并集；DSC∈[0,1]；
HD95系数为：
其中，h(P,T),h(T,P)表示预测标签与真实标签的距离大小；H(P,T)＞0；
当DSC系数大于阈值且HD95系数小于阈值，得到训练好的图像分割神经网络模型。
8.一种医学图像分割装置，其特征在于，包括：
图像获取模块，用于获取原始3D形式的多模态医学图像和单模态医学图像作为样本集；将原始3D形式的多模态医学图像和单模态医学图像切分为多个2D病理切片；
模型构建模块，用于基于transunet模型构建图像分割神经网络模型；
模型训练模块，用于将多模态医学图像中，属于每一类模态的2D病理切片作为一个通道的训练集输入图像分割神经网络模型中，并将单模态医学图像的2D病理切片作为训练集输入图像分割神经网络模型中，对图像分割神经网络模型进行训练；
图像分割模块，用于利用训练好的图像分割神经网络模型进行医学图像的分割。
9.一种医学图像分割的计算机设备，其特征在于，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一所述的医学图像分割方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至7中任一所述的医学图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410003190.6A CN117974683A (zh) | 2024-01-02 | 2024-01-02 | 一种医学图像分割方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410003190.6A CN117974683A (zh) | 2024-01-02 | 2024-01-02 | 一种医学图像分割方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117974683A true CN117974683A (zh) | 2024-05-03 |
Family
ID=90857300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410003190.6A Pending CN117974683A (zh) | 2024-01-02 | 2024-01-02 | 一种医学图像分割方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117974683A (zh) |
-
2024
- 2024-01-02 CN CN202410003190.6A patent/CN117974683A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363138B (zh) | 模型训练方法、图像处理方法、装置、终端及存储介质 | |
| CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
| CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN115359074B (zh) | 基于超体素聚类及原型优化的图像分割、训练方法及装置 | |
| CN112037171B (zh) | 基于多模态特征融合的多任务mri脑瘤图像分割方法 | |
| CN112132878B (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
| CN114782384B (zh) | 一种基于半监督方法的心脏腔室图像分割方法及装置 | |
| CN111667483A (zh) | 多模态图像的分割模型的训练方法、图像处理方法和装置 | |
| CN111210444A (zh) | 多模态磁共振影像的分割方法、装置及介质 | |
| CN111860528A (zh) | 基于改进U-Net网络的图像分割模型及训练方法 | |
| Yuan et al. | ResD-Unet research and application for pulmonary artery segmentation | |
| CN114612656A (zh) | 基于改进ResU-Net神经网络的MRI图像分割方法及系统 | |
| CN117036181A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| Huang et al. | Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach | |
| CN118037791A (zh) | 多模态三维医学图像分割配准模型的构建方法及其应用 | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN117974683A (zh) | 一种医学图像分割方法、装置、设备及介质 | |
| CN112686912B (zh) | 基于逐步学习和混合样本的急性脑卒中病变分割方法 | |
| Li et al. | An efficient and accurate 3d multiple-contextual semantic segmentation network for medical volumetric images | |
| Zhang et al. | Lung nodule detection method based on improved YOLOv4 | |
| Ozkan et al. | Cross-Modal Learning via Adversarial Loss and Covariate Shift for Enhanced Liver Segmentation | |
| CN117611605B (zh) | 一种心脏医学图像的分割方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |