CN115841457A - 一种融合多视图信息的三维医学图像分割方法 - Google Patents

Abstract

本发明公开了一种融合多视图信息的三维医学图像分割方法，主要包括：(1)对于待检测三维医学图像，分别从矢状面、冠状面和横切面三个视图方向重构二维切片图像；(2)采用基于空洞空间金字塔卷积的U型2D卷积网络对不同视图方向的二维切片进行分割；(3)采用一种轻量级的3D卷积网络对不同视图方向的分割结果进行融合，得到精确的三维分割结果。本发明可有效克服2D网络无法提取三维空间特征、3D网络内存开销大的问题，可在轻量化网络的情况下，获得精确的分割结果。

Description

一种融合多视图信息的三维医学图像分割方法

技术领域

本发明涉及医学图像处理技术领域，特别涉及一种融合多视图信息的三维医学图像分割方法。

背景技术

在医学影像处理与分析领域中，医学图像的分割是一项占据重要地位且十分具有挑战的任务。医学图像中器官和组织的准确分割是进行放射治疗、临床评估、手术导航、计算机辅助检测和医学数据可视化的重要前提。随着成像设备与技术的发展，三维医学图像，如CT、MRI序列图像，被广泛应用于各类疾病的临床诊疗。三维成像使用的切片数量巨大，人工分割费时费力，且分割质量严重依赖于操作者的经验和专业水平。因此，亟需开发能自动、有效分割三维医学图像的方法。

由于不同解剖结构之间的几何形状和位置关系复杂、正常与病变组织之间的形态多样，三维医学图像的自动分割很难进行，传统方法通常难以奏效。近年来，随着深度学习在医学图像目标识别与分割领域获得的突破性进展，国内外学者也提出了多种基于深度学习的三维医学图像自动分割方法。考虑到空间和时间效率，目前大部分深度学习方法都是基于二维网络的，通过采用二维网络依次分割每一个二维切片图像，达到分割三维图像的目的。二维网络难以提取三维空间信息，分割精度通常较低。为了提取图像的三维空间特征，也有一些专家学者提出了基于三维网络的分割方法。但受限于计算资源，该类方法通常无法直接对三维医学图像进行处理，需要预先将其进行下采样缩小尺寸或将其截取为多个小尺寸的三维数据子块，这将导致部分图像细节信息丢失，进而影响网络分割精度。

发明内容

针对现有技术的缺点与不足，本发明通过结合2D深度卷积和3D轻量网络，提供一种融合多视图信息的三维医学图像分割方法，可有效克服2D网络无法提取三维空间特征、3D网络内存开销大的问题。

一种融合多视图信息的三维医学图像分割方法，包括以下步骤：

(1)建立包含原始三维医学图像和目标区域手动分割结果的原始训练数据集A和B；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε₁，即可得到分割结果；所述ε₁优选0.3～0.7的常数；

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层具体包括：采用n个具有不同采样半径{r_v|v＝1,2,...,n}的3×3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为r_v＝k×v+1，其中k为大于0的自然数；所述n优选2～10的自然数，k优选1～8的自然数；

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，为了得到分割结果，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε₂，即可得到分割结果；步骤(3)中所述的3D双卷积模块均由两个3D卷积模块连接组成，其中每个3D卷积模块包含一个大小为3×3×3的卷积层，一个批归一化层和一个Relu激活层；

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个三维医学图像，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和/>

然后，将训练数据集中获取的矢状面视图方向的二维切片/>

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割矢状面二维切片的网络模型ASPP-UNet^X，将训练数据集中获取的冠状面视图方向的二维切片/>

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割冠状面二维切片的网络模型ASPP-UNet^Y，将训练数据集中获取的横切面视图方向的二维切片/>

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割横切面二维切片的网络模型ASPP-UNet^Z；训练获取网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z时，损失函数优选基于交叉熵和Dice的混合损失函数，具体定义如下：

l＝l_c+η·l_d

其中，l_c和l_d分别表示交叉熵和Dice损失，η为权重参数，优选0.5～2的常数，g_w表示图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，p_w表示网络模型预测第w个像素属于目标的概率，T为图像中的像素数目；

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个三维医学图像，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和/>

然后，分别将/>

和/>

输入至已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果S^X、S^Y和S^Z；最后，将网络预测的S^X、S^Y和S^Z作为LW-3DNet网络训练的输入，训练数据集B中三维医学图像的手动分割结果作为标签，构建LW-3DNet网络的训练数据集C；

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，损失函数优选Dice损失函数，得到训练好的网络模型LW-3DNet^F；

(6)对于待检测的三维医学图像，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取三维医学图像不同视图方向的二维切片，分别记作T^X、T^Y和T^Z；然后，分别将T^X、T^Y和T^Z输入到已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果F^X、F^Y和F^Z；最后，将F^X、F^Y和F^Z输入LW-3DNet^F网络模型进行测试，得到最终的分割结果。

附图说明

图1 ASPP-UNet网络结构示意图

图2空洞空间金字塔卷积层结构示意图

图3 LW-3DNet网络结构示意图

图4本发明实施方式的整体分割流程示意图

图5本发明实施方式的脾脏分割结果示例，其中5(a)～(c)为三维分割结果分别在矢状面、冠状面和横切面三个视图方向下的二维切片结果示例

具体实施方式

实施例1

一种融合多视图信息的三维医学图像分割方法，具体实施步骤如下：

(1)从医学图像公共数据集中获取病人原始三维医学图像、及图像中目标区域的人工手动分割结果，构建训练数据集A和B；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，具体结构如图1所示，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε₁，即可得到分割结果；本实施例优选ε₁＝0.5；

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层，结构如图2所示，具体包括：采用n个具有不同采样半径{r_v|v＝1,2,...,n}的3×3卷积核分别对输入特征图进行空洞卷积，并将空洞空间卷积结果进行拼接作为该空洞金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为r_v＝k×v+1，其中k为大于0的自然数；本实施例优选n＝5，k＝2；

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，网络结构如图3所示，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，为了得到分割结果，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε₂，即可得到分割结果；步骤(3)中所述的3D双卷积模块均由两个3D卷积模块连接组成，其中每个3D卷积模块包含一个大小为3×3×3的卷积层，一个批归一化层和一个Relu激活层；本实施例优选ε₂＝0.5

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个三维图像，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和/>

然后，将训练数据集中获取的不同视图方向的二维切片/>

及其对应的二维切片手动分割结果分别输入ASPP-UNet网络进行训练，获取三个可用于分割不同视图方向二维切片的网络模型，分别记作ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z；训练过程中，损失函数优选基于交叉熵和Dice的混合损失函数，具体定义如下：

l＝l_c+η·l_d

其中，l_c和l_d分别表示交叉熵和Dice损失，η为权重参数，本实施例优选η＝1；g_w表示图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，p_w表示网络模型预测第w个像素属于目标的概率，T为图像中的像素数目；

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个三维图像，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和/>

然后，分别将/>

和/>

输入至已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果S^X、S^Y和S^Z；最后，将网络预测的S^X、S^Y和S^Z作为LW-3DNet网络训练的输入，训练数据集B中三维手动分割结果作为标签，构建LW-3DNet网络的训练数据集C；

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，损失函数优选Dice损失函数，得到训练好的网络模型LW-3DNet^F；

(6)对于待检测的三维图像，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取三维图像不同视图方向的二维切片，分别记作T^X、T^Y和T^Z；然后，分别将T^X、T^Y和T^Z输入到已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果F^X、F^Y和F^Z；最后，将F^X、F^Y和F^Z输入LW-3DNet^F网络模型进行测试，得到最终的分割结果。图4给出了本发明实施方式的整体分割流程示意图。

实施例2

采用实施例1中的方法对AbdomenCT-1K公开数据集进行脾脏器官分割。

本实施例从AbdomenCT-1K公共数据库中随机挑选150个腹部CT原始序列图像和其对应的脾脏区域手动分割结果，选取其中的50个病例，即50个腹部CT原始序列图像和其对应的脾脏区域手动分割结果，作为训练数据集A，50个病例作为训练数据集B，剩余50个病例作为测试数据集。实验以平均Dice系数作为评价标准，本发明的分割方法在脾脏分割任务上Dice系数达到了95.3％。

图5(a)～(c)给出了脾脏三维分割结果分别在矢状面、冠状面和横切面三个视图方向下的二维切片结果示例，其中白色封闭曲线所示区域为本实施例得到的脾脏分割结果，可以看到，不同视图方向下，CT图像中的脾脏区域均被有效分割。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (4)

1.一种融合多视图信息的三维医学图像分割方法，其特征在于，包括以下步骤：

(1)建立包含原始三维医学图像和目标区域手动分割结果的原始训练数据集A和B；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε₁，即可得到分割结果；

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层具体包括：采用n个具有不同采样半径{r_v|v＝1,2,...,n}的3×3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为r_v＝k×v+1，其中k为大于0的自然数；

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，为了得到分割结果，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε₂，即可得到分割结果；步骤(3)中所述的3D双卷积模块均由两个3D卷积模块连接组成，其中每个3D卷积模块包含一个大小为3×3×3的卷积层，一个批归一化层和一个Relu激活层；

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个三维医学图像，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，将训练数据集中获取的矢状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割矢状面二维切片的网络模型ASPP-UNet^X，将训练数据集中获取的冠状面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割冠状面二维切片的网络模型ASPP-UNet^Y，将训练数据集中获取的横切面视图方向的二维切片

及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割横切面二维切片的网络模型ASPP-UNet^Z；

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个三维医学图像，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

和

然后，分别将

和

输入至已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果S^X、S^Y和S^Z；最后，将网络预测的S^X、S^Y和S^Z作为LW-3DNet网络训练的输入，训练数据集B中三维医学图像的手动分割结果作为标签，构建LW-3DNet网络的训练数据集C；

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，得到训练好的网络模型LW-3DNet^F；

(6)对于待检测的三维医学图像，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取三维医学图像不同视图方向的二维切片，分别记作T^X、T^Y和T^Z；然后，分别将T^X、T^Y和T^Z输入到已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果F^X、F^Y和F^Z；最后，将F^X、F^Y和F^Z输入LW-3DNetF网络模型进行测试，得到最终的分割结果。

2.如权利要求1所述的一种融合多视图信息的三维医学图像分割方法，其特征在于：在步骤(4)中，训练获取网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z时，损失函数优选基于交叉熵和Dice的混合损失函数，具体定义如下：

l＝l_c+η·l_d

其中，l_c和l_d分别表示交叉熵和Dice损失，η为权重参数，g_w表示图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，p_w表示网络模型预测第w个像素属于目标的概率，T为图像中的像素数目。

3.如权利要求1所述的一种融合多视图信息的三维医学图像分割方法，其特征在于：在步骤(5-b)中，训练获取网络模型LW-3DNet^F时，损失函数优选Dice损失函数。

4.如权利要求1所述的一种融合多视图信息的三维医学图像分割方法，其特征在于：所述ε₁优选0.3～0.7的常数，ε₂优选0.3～0.7的常数，n优选2～10的自然数，k优选1～8的自然数，η优选0.5～2的常数。

Images