CN114004847B - 一种基于图可逆神经网络的医学图像分割方法 - Google Patents
一种基于图可逆神经网络的医学图像分割方法 Download PDFInfo
- Publication number
- CN114004847B CN114004847B CN202111282403.6A CN202111282403A CN114004847B CN 114004847 B CN114004847 B CN 114004847B CN 202111282403 A CN202111282403 A CN 202111282403A CN 114004847 B CN114004847 B CN 114004847B
- Authority
- CN
- China
- Prior art keywords
- fusion
- module
- medical image
- characteristic information
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于图可逆神经网络的医学图像分割方法,是考虑空间及通道上的全局关系及网络的可逆性,其步骤包括:1输入待分割的图像,通过图卷积模块推断全局特征;2将空间及通道全局关系送入双输入可逆融合模块;3降采样的融合特征信息再经过图卷积模块及双输入可逆融合模块,获取不同尺度的融合特征信息;4升采样的图像特征与同尺度的融合特征信息经双输入可逆融合模块进行重复融合,得到多尺度特征信息;5将最终融合特征信息通过分割器输出待分割医学图像的分割图。本发明在多类别医学图像分割数据集上有效地获得最佳性能,为医学图像分割提供更好的方法,加深对医学数据的可解释性。
Description
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种基于图可逆神经网络的医学图像分割方法。
背景技术
在医学图像任务之中,医学图像分割是医学成像分析中最具挑战性的任务之一,它旨在将原始图像数据转换为有意义的空间结构映射,提供目标器官或病变的体积和形状等基本特征,从而为计算机辅助诊断、治疗规划、图像引导的临床手术和预后评估等后续应用提供关键信息。因此,开展医学图像的分割算法的研究,解决现有分割方法的不足,提高分割的效果和性能具有重要的研究意义和临床应用价值。
全卷积神经网络和编码器-解码器架构,即U形网络,已被广泛应用于各种医学分割任务。例如,U-Net是最受欢迎的U形模型,可作为许多任务的基准。受U-Net的启发,研究人员提出了许多拓展的算法,例如Dense-Unet、Recurrent Unet、Unet++、Unet3+、3DU-Net、V-Net和RES-UNet等。
虽然这些方法在医学图像分割方面取得了巨大进步,但基于CNN的网络结构仍然存在一些局限性。基于CNN的网络一般通过堆叠大量卷积块来实现,计算成本高,解释不充分。此外,由于卷积运算的固有特性,不容易获得全局和远距离的语义信息,这对复杂任务中的分割精度提出了挑战。例如,在处理低对比度的局部视觉模糊和器官时,大多数当前方法无法产生可靠的性能。
为了解决上述问题,一些研究通过提出扩张卷积、图像金字塔和自注意力机制来改进方法。尽管它们已被证明是有益的,但扩张卷积仍然以局部加权求和的方式关注有限的局部空间信息。图像金字塔通过金字塔池化操作以结合图像的局部和全局特征,但这只考虑空间层面的信息。Non-local操作等自注意力机制通常需要很大的内存成本,这阻碍了它们的实际应用。
发明内容
本发明为了克服现有技术的不足,提出一种基于图可逆神经网络的医学图像分割方法,以期在多类别的医学图像分割任务中能够达到好的分割性能,从而提高分割准确性。
本发明为解决上述技术问题,采用如下技术方案:
本发明一种基于图可逆神经网络的医学图像分割方法的特点是按如下步骤进行:
步骤2、构建图卷积模块,包括:一个具有探索像素之间的空间全局关系的空间图卷积运算单元及一个具有探索跨通道的通道全局关系的通道图卷积运算单元;
所述空间图卷积运算单元包含n1个、m1个、k1个、l1个卷积核为1×1的卷积层;
所述通道图卷积运算单元包含n2个、m2个、k2个、l2个、r2个卷积核为1×1卷积层;
步骤2.1、将所述预处理好的医学图像X输入图卷积模块中的空间图卷积运算单元,并利用式(1)得到空间全局关系XsGCO:
式(1)中,θ(·)表示n1个卷积层组成的学习函数;v(·)表示m1个卷积层组成的学习函数、δ(·)表示k1个卷积层组成的学习函数;WsGCO表示l1个卷积层学习组成的权重矩阵;AsGCO表示函数θ(X)v(X)T学习后组成的邻接矩阵;Xs表示函数δ(X)的投影特征;
步骤2.2、将所述预处理后的医学图像X输入图卷积模块中的通道图卷积运算单元,并利用式(2)得到跨通道的通道全局关系XcGCO:
式(2)中,表示n2个卷积层组成的学习函数;/>表示m2个卷积层组成的学习函数;Xc表示函数/>学习后组成的投影矩阵;AcGCO表示k2个卷积层学习的邻接矩阵,WcGCO表示l2个卷积层学习的权重矩阵,φ(·)表示r2个卷积层学习的函数;
步骤3、建立基于可逆神经网络的双输入可逆融合模块DIIFM,并输入所述空间全局关系XsGCO以及通道全局关系XcGCO,从而利用式(3)得到融合特征信息FuseSC:
步骤4、构建基于PixelShuffle网络思想的采样模块中的降采样过程;
步骤4.1、定义变量k,并初始化k=0;将融合特征信息FuseSC作为第k个融合特征信息FuseSCk;
步骤4.2、通过采样模块对第k个融合特征信息FuseSCk进行降采样,得到第k个降采样的特征图像Xdown,k,所述第k个降采样的特征图像Xdown,k再经过所述图卷积模块及双输入可逆融合模块DIIFM中进行处理后,得到第k+1个降采样的融合特征信息FuseSCk+1;
步骤5、底层的第n个融合特征信息FuseSCn按通道等拆分成第一融合特征信息FuseSCn 0:C/2和第二融合特征信息FuseSCn C/2:C并送入双输入可逆融合模块DIIFM中进行特征提取,从而得到底层特征X′;
所述底层特征X′再与底层的第n个融合特征信息FuseSCn送入所述双输入可逆融合模块DIIFM进行融合,得到融合特征FuseX;
步骤6、构建基于PixelShuffle网络思想的采样模块中的升采样过程,并使用双输入可逆融合模块DIIFM中进行跨尺度的特征融合;
步骤6.1、定义变量j,并初始化j=n;将所述融合特征FuseX作为第j个次跨尺度的融合特征信息FuseDj;
步骤6.2、将所述第j次跨尺度的融合特征信息FuseDj通过所述采样模块进行升采样,得到第j个升采样的特征图像X′up,j,所述升采样的图像特征X′up,j与相同尺度下的第j-1个融合特征信息FuseSCj-1一起送入所述双输入可逆融合模块DIIFM中进行跨尺度的特征融合,从而得到第j-1个跨尺度的融合特征信息FuseDj-1:
步骤6.2、j-1赋值给j后,返回步骤6.2,直到j=0为止,从而得到顶层的融合特征信息Fused0;
步骤7、所述顶层的融合特征信息集Fused0输入分割器中,得到医学图像X的分割图P;
步骤8、训练阶段:
步骤8.1、利用式(4)和式(5)分别构建dice系数损失LDICE以及交叉熵损失LCE,从而利用式(6)构建总的目标损失函数L:
L=λ1LDICE+λ2LCE (6)
式(4)~式(6)中,表示医学图像X在第c通道上预测的第i个像素点的分割量,且pi∈P,/>表示医学图像X在第c通道上真实的第i个像素点的分割量,且gi∈Y,Y表示医学图像X的真实分割图;λ1和λ2分别为损失LDICE和损失LCE的权重系数;N表示在一次训练中的输入图片数量;
步骤8.2、利用Adam优化器对所述图卷积模块、双输入可逆融合模块及采样模块构成的网络进行有监督训练,并计算总的目标损失函数L,当训练相应次数之后停止训练,从而得到最优的医学图像分割模型,用于实现医学图像的分割。
与现有技术相比,本发明的有益效果在于:
1、本发明利用图卷积模块以及双输入可逆融合模块组成的分割网络进行多类别的医学图像分割,在参数量少的情况下,能够实现很好的端到端的多类别分割效果,并且相比现有的分割方法,减少了参数的数量,实现了模型的可逆性,在不同数据集上具有更好的鲁棒性。实验结果表明,本发明提出的方法在参数较少的多类别医学图像分割数据集上优于最先进的方法。
2、本发明通过图卷积模块之中的空间图卷积运算和通道图卷积运算对输入特征的全局信息进行建模。空间图卷积运算探索特征图中空间维度上像素之间的空间全局关系,而通道图卷积运算则侧重于跨通道的全局关系。通过对空间及通道全局关系的建模,深层次挖掘输入特征的全局信息,从而提升了图像的分割性能,增加了模型的可解释性。
3、本发明双输入可逆融合模块是基于可逆神经网络的设计,增加模型的可逆性,通过加性耦合的方式来组合两个模块输入的特征,用于融合两种全局关系或者跨尺度的特征信息。双输入可逆融合模块基于可逆神经网络的思想,在一定程度上保证了网络结构的可逆性,并在模型中保留了输入的特征信息,增加了模型的可逆性。
附图说明
图1为本发明一种基于图可逆神经网络的医学图像分割方法的流程图;
图2为本发明一种基于图可逆神经网络的医学图像分割方法的分割原理框架图;
图3为本发明图卷积模块的结构示意图;
图4为本发明双输入可逆融合模块的结构示意图;
图5为本发明采样模块原理图;
图6为本发明在Synapse腹部多器官分割测试集上的视觉对比效果图;
图7为本发明参数量对比结果图;
图8为本发明在CANDI大脑结构解剖测试集上的视觉对比效果图。
具体实施方式
本实施例中,一种基于图可逆神经网络的医学图像分割方法,旨在解决多类别的医学图像分割问题,构建包含图卷积模块以及双输入可逆融合模块的分割网络结构,其中,利用图卷积模块实现空间图卷积运算(sGCO)和通道图卷积运算(cGCO),且利用双输入可逆融合模块(DIIFM)进行融合特征提取,并能实现端到端的训练,网络结构参数量少且能够实现最佳的性能要求,为医学图像分割提供了切实可行的解决思路。具体的说,以Synapse腹部多器官分割数据集为例,如图1和图2所示,该方法主要包括:
输入的医学图像数据为二维医学图像数据,为数据集中某一图像切片。预处理中,对输入的医学图像切片数据进行相应的预处理过程,包括裁剪、翻转、旋转等操作。
步骤2、构建图卷积模块,包括:一个具有探索像素之间的空间全局关系的空间图卷积运算单元及一个具有探索跨通道的通道全局关系的通道图卷积运算单元;
空间图卷积运算单元包含n1个、m1个、k1个、l1个卷积核为1×1的卷积层;
通道图卷积运算单元包含n2个、m2个、k2个、l2个、r2个卷积核为1×1卷积层;
本发明实施例中,图卷积模块中具有空间图卷积运算(sGCO)和通道图卷积运算(cGCO),图卷积运算过程均采用图卷积网络(GCN)结构实现。图卷积神经网络在长距离建模方面具有潜力。它能够在非欧几里德空间中执行推理,其中信息在每个节点之间传输并投影回每个位置。GloRe使用可学习投影矩阵,将特征映射到交互空间,并对投影的完全连通图进行卷积。BeyondGrids学习对不同的图节点进行聚类,且并行卷积图。DGCNet的方法在通道域和空间域中提出了一种图卷积网络,以获得不同的全局上下文信息。
Fl+1=f(Fl;A)=σ(AFlW) (1)
步骤2.1、将预处理好的医学图像X输入图卷积模块中的空间图卷积运算单元,并利用式(2)得到空间全局关系XsGCO,如图3中的(a)所示:
式(2)中,XsGCO是空间图卷积运算模块的输出,T是转置操作,θ(·)表示n1个卷积层组成的学习函数;v(·)表示m1个卷积层组成的学习函数、δ(·)表示k1个卷积层组成的学习函数;WsGCO表示l1个卷积层学习组成的权重矩阵;AsGCO表示函数θ(X)v(X)T学习后组成的邻接矩阵;Xs表示函数δ(X)的投影特征;
步骤2.2、将预处理后的医学图像X输入图卷积模块中的通道图卷积运算单元,并利用式(3)得到跨通道的通道全局关系XcGCO,如图3中的(b)所示:
式(3)中,XcGCO是cGCO的输出。表示n2个卷积层组成的学习函数;/>表示m2个卷积层组成的学习函数;Xc表示函数/>学习后组成的投影矩阵;AcGCO表示k2个卷积层学习的邻接矩阵,WcGCO表示l2个卷积层学习的权重矩阵,φ(·)表示r2个卷积层学习的函数;
通道图卷积运算(cGCO)中我们首先对输入的特征X进行正交投影到正交空间中,记为Xc,再使用1×1卷积学习邻接矩阵AcGCO,最后再通过1×1卷积输出通道图卷积运算(cGCO)的结果。
步骤3、建立基于可逆神经网络的双输入可逆融合模块DIIFM,并输入空间全局关系XsGCO以及通道全局关系XcGCO,从而利用式(3)得到融合特征信息FuseSC:
本发明实施例中,双输入可逆融合模块(DIIFM)采用可逆神经网络(INN)的结构来进行实现,以可逆神经网络为基础框架,结合HINet中的HIN block模块结构实现,如图4。近年来,作为可逆图像变换的一种有效方案,可逆神经网络(INN)引起了广泛关注,并被应用于各种图像任务。它具有三个重要性质:1)INN的输入输出映射是双射的;2)INN的正向映射和反向映射是有效的和可计算的;3)双射映射可以很容易地处理雅可比行列式来显式地计算后验概率。由于这些特性,INN在许多任务中都取得了成功。其中,基于INN的开创性研究可以在NICE和RealNVP这两篇文章中找到。基于INN的网络能够以双射映射的方式将输入分布转换为输出分布,而不会丢失信息。
为了增强网络的转换和表示能力,将上述转换扩充为:
与简单卷积层相比,可逆神经网络具有良好的数学可逆性和信息无损性。为了提高效率和灵活性,我们提出了一种基于INN的双输入可逆融合模块(DIIFM),该模块能够将编码器中的XcGCO和XcGCO的特征结合起来,并能够融合上采样特征和来自编码器的特征。为了更好的泛化,如图4所示,本发明将DIIFM的两个输入统一为和/>我们使用可逆块的一种变体结构,由此我们的DIIFM的转换过程定义如下:
在本发明实施例中,上述φ(·)、ρ(·)以及η(·)使用HINet中的HIN block模块结构实现。
步骤4、构建基于PixelShuffle网络思想的采样模块中的降采样过程;
本发明实施例中,选取的是2×2的区域大小,其降采样过程将会对原图像尺寸降两倍处理,降采样的特征图像转换为原图尺寸的具体来说,本发明中该模块使尺寸为C1×2H×2W的特征图变换为C2×H×W,其中C1、C2分别为输入的通道数和输出的通道数,H、W分别代表特征图的高、宽的度量。
步骤4.1、定义变量k,并初始化k=0;将融合特征信息FuseSC作为第k个融合特征信息FuseSCk;
步骤4.2、通过采样模块对第k个融合特征信息FuseSCk进行降采样,得到第k个降采样的特征图像Xdown,k,第k个降采样的特征图像Xdown,k再经过图卷积模块及双输入可逆融合模块DIIFM中进行处理后,得到第k+1个降采样的融合特征信息FuseSCk+1;
步骤5、底层的第n个融合特征信息FuseSCn按通道等拆分成第一融合特征信息FuseSCn 0:C/2和第二融合特征信息FuseSCn C/2:C并送入双输入可逆融合模块DIIFM中进行特征提取,从而得到底层特征X′;
底层特征X′再与底层的第n个融合特征信息FuseSCn送入双输入可逆融合模块DIIFM进行融合,得到融合特征FuseX;
步骤6、构建基于PixelShuffle网络思想的采样模块中的升采样过程,并使用双输入可逆融合模块DIIFM中进行跨尺度的特征融合;
本发明实施例中,其升采样过程将会对原图像尺寸升两倍处理,为降采样过程的一个逆过程,会将原图像尺寸升2倍处理,升采样的特征图像转换为原图尺寸的2倍,具体来说,本发明中该模块使尺寸为C1×H×W的特征图变换为C2×2H×2W,其中C1、C2分别为输入的通道数和输出的通道数,H、W分别代表特征图的高、宽的度量。
图5中给出了本发明中的采样模型的原理结构图。
步骤6.1、定义变量j,并初始化j=n;将融合特征FuseX作为第j个次跨尺度的融合特征信息FuseDj;
步骤6.2、将第j次跨尺度的融合特征信息FuseDj通过采样模块进行升采样,得到第j个升采样的特征图像X′up,j,升采样的图像特征X′up,j与相同尺度下的第j-1个融合特征信息FuseSCj-1一起送入双输入可逆融合模块DIIFM中进行跨尺度的特征融合,从而得到第j-1个跨尺度的融合特征信息FuseDj-1:
步骤6.2、j-1赋值给j后,返回步骤6.2,直到j=0为止,从而得到顶层的融合特征信息Fused0;
步骤7、顶层的融合特征信息集Fused0输入分割器中,得到医学图像X的分割图P;
步骤8、训练阶段:
步骤8.1、利用式(16)和式(17)分别构建dice系数损失LDICE以及交叉熵损失LCE,从而利用式(18)构建总的目标损失函数L:
L=λ1LDICE+λ2LCE (18)
式(16)~式(18)中,表示医学图像X在第c通道上预测的第i个像素点的分割量,且pi∈P,/>表示医学图像X在第c通道上真实的第i个像素点的分割量,且gi∈Y,Y表示医学图像X的真实分割图;λ1和λ2分别为损失LDICE和损失LCE的权重系数;N表示在一次训练中的输入图片数量。
步骤8.2、利用Adam优化器对图卷积模块、双输入可逆融合模块及采样模块构成的网络进行有监督训练,本实施例中学习率取2e-5,并计算总的目标损失函数L,当训练相应次数之后停止训练,从而得到最优的医学图像分割模型,用于实现医学图像的分割。
本领域技术人员可以理解,输入医学图像的尺寸大小及输出语义类别种类数可自行设定,本发明输出相同尺寸大小的多类别的语义分割结果。示例性的,假如输入的医学图像尺寸大小为224×224,输出语义类别种类数为8,最终输出的语义分割结果尺寸为224×224,其中每一个像素点的值为0-7的某一个数,其中每一个数字代表一种类别。
为了量化评估本发明的效果并验证本发明的有效性,为此将本发明方法与V-Net等十七种算法相比较。选择Dice相似系数(Dice SimilarityCoefficient,DSC)以及Hausdorff距离(HD,HD95即95%HD)两个性能指标作为评价指标。
DSC对分割内部填充比较敏感,分割性能最好为1,最差为0,DSC的定义如下:
Hausdorff距离则对分割边界比较敏感,HD的定义如下:
其中A,B分别为网络输出分割结果与真实的分割结果。
表1本发明的针对医学图像分割的图可逆神经网络方法在Synapse腹部多器官数据集上与多个方法的对比性能结果。
表1中,第一列为所列举的十七种对比方法以及所提出的针对医学图像分割的图可逆神经网络方法。表1中,第二列和第三列中我们给出我们的两种评价指标,分别为Dice相似系数(Dice Similarity Coefficient,DSC)以及Hausdorff距离(HD,HD95即95%HD)。DSC对分割内部填充比较敏感,而Hausdorff距离则对分割边界比较敏感。本发明的方法在DSC评价指标上均超过其他的方法,HD95性能指标仅次于LeViT-UNet及SwinUnet方法,总体而言,本发明提供了相对较好的性能。表1中,第四列到第十一列为Synapse腹部多器官分割数据集中的8个分割区域在各个方法上的DSC性能对比。本发明提供的方法在三个器官分割区域达到最优,一个器官分割区域为次优,其余分割区域性能也比较好。
图6是本发明的方法与U-Net、Att-UNet、DeepLabV3、TransUnet在Synapse腹部多器官分割数据集上的应用。从图中可以看出,本发明提供的方法能够提供更佳的视觉质量及分割效果。
图7是本发明的方法与U-Net、Att-UNet、DeepLabV3、TransUnet在参数量以及性能指标上的比较结果,其中◇标志所代表的方法为本发明的方法,○标志代表其他四种方法。从图中可以看出,本发明与其他方法相比,本发明提供的方法具有更少的参数量与更加的优异的分割能力。
图8是本发明的方法与U-Net、Att-UNet、DeepLabV3、TransUnet在CANDI大脑结构解剖数据集上的应用。从图中可以看出,本发明提供的方法能够提供更佳的视觉质量及分割效果。
Claims (1)
1.一种基于图可逆神经网络的医学图像分割方法,其特征是按如下步骤进行:
步骤2、构建图卷积模块,包括:一个具有探索像素之间的空间全局关系的空间图卷积运算单元及一个具有探索跨通道的通道全局关系的通道图卷积运算单元;
所述空间图卷积运算单元包含n1个、m1个、k1个、l1个卷积核为1×1的卷积层;
所述通道图卷积运算单元包含n2个、m2个、k2个、l2个、r2个卷积核为1×1卷积层;
步骤2.1、将所述预处理后的医学图像X输入图卷积模块中的空间图卷积运算单元,并利用式(1)得到空间全局关系XsGCO:
式(1)中,θ(·)表示n1个卷积层组成的学习函数;v(·)表示m1个卷积层组成的学习函数、δ(·)表示k1个卷积层组成的学习函数;WsGCO表示l1个卷积层学习组成的权重矩阵;AsGCO表示函数θ(X)v(X)T学习后组成的邻接矩阵;Xs表示函数δ(X)的投影特征;
步骤2.2、将所述预处理后的医学图像X输入图卷积模块中的通道图卷积运算单元,并利用式(2)得到跨通道的通道全局关系XcGCO:
式(2)中,表示n2个卷积层组成的学习函数;/>表示m2个卷积层组成的学习函数;Xc表示函数/>学习后组成的投影矩阵;AcGCO表示k2个卷积层学习的邻接矩阵,WcGCO表示l2个卷积层学习的权重矩阵,φ(·)表示r2个卷积层学习的函数;
步骤3、建立基于可逆神经网络的双输入可逆融合模块DIIFM,并输入所述空间全局关系XsGCO以及通道全局关系XcGCO,从而利用式(3)得到融合特征信息FuseSC:
步骤4、构建基于PixelShuffle网络思想的采样模块中的降采样过程;
步骤4.1、定义变量k,并初始化k=0;将融合特征信息FuseSC作为第k个融合特征信息FuseSCk;
步骤4.2、通过采样模块对第k个融合特征信息FuseSCk进行降采样,得到第k个降采样的特征图像Xdown,k,所述第k个降采样的特征图像Xdown,k再经过所述图卷积模块及双输入可逆融合模块DIIFM中进行处理后,得到第k+1个降采样的融合特征信息FuseSCk+1;
步骤5、底层的第n个融合特征信息FuseSCn按通道等拆分成第一融合特征信息FuseSCn 0:C/2和第二融合特征信息FuseSCn C/2:C并送入双输入可逆融合模块DIIFM中进行特征提取,从而得到底层特征X′;
所述底层特征X′再与底层的第n个融合特征信息FuseSCn送入所述双输入可逆融合模块DIIFM进行融合,得到融合特征FuseX;
步骤6、构建基于PixelShuffle网络思想的采样模块中的升采样过程,并使用双输入可逆融合模块DIIFM中进行跨尺度的特征融合;
步骤6.1、定义变量j,并初始化j=n;将所述融合特征FuseX作为第j次跨尺度的融合特征信息FuseDj;
步骤6.2、将所述第j次跨尺度的融合特征信息FuseDj通过所述采样模块进行升采样,得到第j个升采样的特征图像X′up,j,所述升采样的图像特征X′up,j与相同尺度下的第j-1个融合特征信息FuseSCj-1一起送入所述双输入可逆融合模块DIIFM中进行跨尺度的特征融合,从而得到第j-1个跨尺度的融合特征信息FuseDj-1:
步骤6.2、j-1赋值给j后,返回步骤6.2,直到j=0为止,从而得到顶层的融合特征信息Fused0;
步骤7、所述顶层的融合特征信息集Fused0输入分割器中,得到医学图像X的分割图P;
步骤8、训练阶段:
步骤8.1、利用式(4)和式(5)分别构建dice系数损失LDICE以及交叉熵损失LCE,从而利用式(6)构建总的目标损失函数L:
L=λ1LDICE+λ2LCE (6)
式(4)~式(6)中,表示医学图像X在第c通道上预测的第i个像素点的分割量,且pi∈P,/>表示医学图像X在第c通道上真实的第i个像素点的分割量,且gi∈Y,Y表示医学图像X的真实分割图;λ1和λ2分别为损失LDICE和损失LCE的权重系数;N表示在一次训练中的输入图片数量;
步骤8.2、利用Adam优化器对所述图卷积模块、双输入可逆融合模块及采样模块构成的网络进行有监督训练,并计算总的目标损失函数L,当训练相应次数之后停止训练,从而得到最优的医学图像分割模型,用于实现医学图像的分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111282403.6A CN114004847B (zh) | 2021-11-01 | 2021-11-01 | 一种基于图可逆神经网络的医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111282403.6A CN114004847B (zh) | 2021-11-01 | 2021-11-01 | 一种基于图可逆神经网络的医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114004847A CN114004847A (zh) | 2022-02-01 |
CN114004847B true CN114004847B (zh) | 2023-06-16 |
Family
ID=79926037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111282403.6A Active CN114004847B (zh) | 2021-11-01 | 2021-11-01 | 一种基于图可逆神经网络的医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114004847B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612479B (zh) * | 2022-02-09 | 2023-03-24 | 苏州大学 | 基于全局与局部特征重建网络的医学图像分割方法和装置 |
CN114863241A (zh) * | 2022-04-22 | 2022-08-05 | 厦门大学 | 一种基于空间布局与深度学习的影视动画评估方法 |
CN116309522B (zh) * | 2023-04-06 | 2024-01-26 | 浙江大学 | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 |
CN116912259B (zh) * | 2023-09-14 | 2023-11-24 | 江西财经大学 | 针对计算摄影图像的图像色彩感知差异评价方法与系统 |
CN117789207B (zh) * | 2024-02-28 | 2024-04-30 | 吉林大学 | 基于图神经网络的细胞组织病理图像智能分析方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754438A (zh) * | 2020-06-24 | 2020-10-09 | 安徽理工大学 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
CN111862099A (zh) * | 2020-06-04 | 2020-10-30 | 杭州深睿博联科技有限公司 | 基于金字塔架构与由粗到精策略的血管分割方法及装置 |
CN111932550A (zh) * | 2020-07-01 | 2020-11-13 | 浙江大学 | 一种基于深度学习的3d心室核磁共振视频分割系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11763433B2 (en) * | 2019-11-14 | 2023-09-19 | Samsung Electronics Co., Ltd. | Depth image generation method and device |
-
2021
- 2021-11-01 CN CN202111282403.6A patent/CN114004847B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862099A (zh) * | 2020-06-04 | 2020-10-30 | 杭州深睿博联科技有限公司 | 基于金字塔架构与由粗到精策略的血管分割方法及装置 |
CN111754438A (zh) * | 2020-06-24 | 2020-10-09 | 安徽理工大学 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
CN111932550A (zh) * | 2020-07-01 | 2020-11-13 | 浙江大学 | 一种基于深度学习的3d心室核磁共振视频分割系统 |
Non-Patent Citations (2)
Title |
---|
《Nuclei Segmentation Via a Deep Panoptic Model with Semantic Feature Fusion》;Liu DN et al;《ACM》;1-9 * |
《面向随机多对象动态系统的深度生成式模型》;杨帆;《中国优秀硕士学位论文全文数据库 信息科技辑》(第第2020年第08期期);第I138-626页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114004847A (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114004847B (zh) | 一种基于图可逆神经网络的医学图像分割方法 | |
CN110659727B (zh) | 一种基于草图的图像生成方法 | |
Li et al. | Spatiotemporal fusion of remote sensing images using a convolutional neural network with attention and multiscale mechanisms | |
CN101216889A (zh) | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 | |
CN110543890A (zh) | 一种基于特征金字塔的深度神经网络图像匹配方法 | |
CN115482382A (zh) | 一种基于Transformer架构的图像语义分割方法 | |
Azad et al. | Enhancing medical image segmentation with TransCeption: a multi-scale feature fusion approach | |
Huang et al. | 3D human pose estimation with multi-scale graph convolution and hierarchical body pooling | |
Deng et al. | Bidirectional dilation transformer for multispectral and hyperspectral image fusion | |
Shi et al. | F 3 Net: Fast Fourier filter network for hyperspectral image classification | |
Li et al. | Maskformer with improved encoder-decoder module for semantic segmentation of fine-resolution remote sensing images | |
Tang et al. | HTC-Net: A hybrid CNN-transformer framework for medical image segmentation | |
Lei et al. | Convolution neural network with edge structure loss for spatiotemporal remote sensing image fusion | |
CN116343052B (zh) | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 | |
CN115661612A (zh) | 一种基于元迁移学习的通用气候数据降尺度方法 | |
CN115578599A (zh) | 一种基于超像素-超图特征增强网络的极化sar图像分类方法 | |
Xia et al. | Embedded conformal deep low-rank auto-encoder network for matrix recovery | |
CN115272670A (zh) | 一种基于掩膜注意交互的sar图像舰船实例分割方法 | |
CN114758190A (zh) | 训练图像识别模型的方法、图像识别方法、装置和农机 | |
CN114613011A (zh) | 基于图注意力卷积神经网络的人体3d骨骼行为识别方法 | |
Liu et al. | CNN-Enhanced graph attention network for hyperspectral image super-resolution using non-local self-similarity | |
CN114022362A (zh) | 一种基于金字塔注意力机制和对称网络的图像超分辨率方法 | |
Ansari et al. | GPU based building footprint identification utilising self-attention multiresolution analysis | |
CN113128586A (zh) | 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法 | |
Datta et al. | Hyperspectral image classification based on novel hybridization of spatial-spectral-superpixelwise principal component analysis and dense 2D-3D convolutional neural network fusion architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |