CN109671086A - 一种基于三维超声的胎儿头部全自动分割方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于三维超声的胎儿头部全自动分割方法，该方法包括：首先对胎儿头部的三维超声容积数据集进行数据增强，得到增强后的数据集；然后将增强后的数据集输入到全卷积神经网络中，以端到端容积映射的方式训练模型，实现对数据集的预分割；最后采用基于自动上下文的级联全卷积神经网络对预分割的结果进行迭代优化处理，得到最终的分割结果。本发明的目的在于克服现有二维超声对胎儿头部测量存在的诸多不足，进而提升医生后续诊断效率、促进更多其他的产前研究。

Description

一种基于三维超声的胎儿头部全自动分割方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于三维超声的胎儿头部全自动分割方法。

背景技术

在不同妊娠期间进行的产前检查主要依赖于超声筛查，这被公认是一种实时、无创和无辐射的技术手阶段。而在所有的胎儿生物测量参数中，以胎儿头部为重点的参数测量是超声科医生考虑的主要指标，其能明确反映胎儿的成长状况，通过将胎儿头部的测量与其他解剖结构(如胎儿腹部和股骨)的测量相结合，超声科医生可以进一步估计胎儿体重并获得更好的诊断信息。

然而，由于二维超声图像的局限性，目前临床上胎儿头部的测量通常会带有较大误差。首先，常规诊断中采用的胎儿头部二维生物测量参数往往是从近似几何学中获取得的，如直线和椭圆，这就带来了专家间的组间和组内的差异，甚至是错误；其次，二维生物测量技术在表现头部的复杂三维几何学方面显然很粗糙，超声科医生经常需要多种2D生物测量参数，如头围 (HC)和双顶径(BPD)，由此需要花费更多的时间和精力；最后，选择解剖结构标准切面是预先要提取的，在这个选择过程中超声检查者之间组间差异会进一步加大了测量结果偏差。

三维容积超声相比二维超声在呈现生物测量参数方面具有独特的优势，并可以促进后续的诊断。目前，产前容积超声分割(包括胎儿头部)已经有了大量的研究成果，临床上对半自动分割胎儿解剖结构的方法如VOCAL技术进行了研究和调查，这些半自动分割方法将分割简化而导致忽略了许多重要的细节。Dahdouh等人探索强度分布和形状先验来分割胎儿，Feng等人利用边界纹理提取胎儿肢体容积，Namburete等人更是提出了一种三维形变参数曲面来表示和拟合胎儿颅骨并用于胎儿脑部评估，虽然形状模型为更加鲁棒地拟合提供了适当的约束条件，但它们依赖于初始化并在边界缺失的地方会消失。传统的机器学习方法，如随机森林，被用来在3D超声中分割胎儿的大脑结构和股骨。卷积神经网络在超声图像分割中比这些传统方法表现得更好，而以端到端密集映射提取特征的全卷积神经网络被采用于二维产前超声图像分割，其表现出很高的性能。但是，在三维容积超声中全自动分割胎儿头部仍然是一个较新沿和未解决的问题，这种胎儿头部全自动分割需要解决的挑战包括如下几个方面：一是因散斑噪声和低分辨率造成图像质量差；二是因组织之间对比度较低以及颅骨严重声衰减造成的长距离遮挡和由此带来的不可避免的边界模糊；三是胎儿头部的内在外观变异性，尤其是内部结构，跨越不同的胎儿姿势和胎龄；四是胎儿头部整个体积的高维度，对于分割算法具有极大挑战性。

发明内容

本发明的目的在于提供一种基于三维超声的胎儿头部全自动分割方法，以期望克服现有二维超声对胎儿头部测量存在的诸多不足，进而提升医生后续诊断效率、促进更多其他的产前研究。

为克服现有二维超声对胎儿头部测量存在的诸多不足，本发明采用以下技术方案：一种基于三维超声的胎儿头部全自动分割方法，包括以下步骤：首先，对胎儿头部的三维超声容积数据集进行数据增强，得到增强后的数据集；然后，将增强后的数据集输入到全卷积神经网络中，以端到端容积映射的方式训练模型，实现对数据集的预分割；最后，采用基于自动上下文的级联全卷积神经网络对预分割的结果进行迭代优化处理，得到最终的分割结果。

进一步地，对胎儿头部的三维超声容积数据集进行数据增强包括以下步骤：首先采用三维数据镜像、旋转、裁剪和形变等常规的方法对胎儿头部的三维超声容积数据集进行若干倍的扩增；然后采用随机擦除的方法对扩增后的数据集进行选择性增强。随机擦除的具体操作是通过在胎儿头部周围及内部选择一个随机大小的三维子体积，并随机设置该三维子体积内的灰度值，网络的泛化能力。

进一步地，将增强后的数据集输入到全卷积神经网络中，该全卷积神经网络由若干阶段构成，阶段数依据实际处理的图像数据复杂度以及电脑自身的性能高低等因素而定，不同的阶段可适量搭配多个卷积模块，根据需要还可加入反卷积模块，整个全卷积神经网络采用跳跃连接的方式连接浅层与深层，并通过调整不同阶段中的卷积层、反卷积层、池化层的卷积核大小，从而调整感受野。

进一步地，在全卷积神经网络中，还可通过特征融合的方法将不同阶段同规格大小的卷积特征图和反卷积特征图进行融合，借以得到翻倍的特征图。

进一步地，在全卷积神经网络中设置有多个辅助监督分支，使用交叉熵作为损失函数，并通过调整标注以适应不同的分支，从而计算出损失。

进一步地，在基于三维超声的胎儿头部全自动分割方法中，基于自动上下文的级联全卷积神经网络按照如下公式进行迭代优化处理：

其中，是在K级的模型中的函数映射，x，y^k-1是超声容积数据和第 K-1级所产生的概率容积，是将x，y^k的连接操作。

进一步地，基于自动上下文的级联全卷积神经网络的连接操作是一种通道融合的操作。实际模型训练中，我们将第K-1网络输出的概率图和原图进行融合后再重新训练一个新的网络，我们称为第K级网络，第K级网络输出的概率图与原图进行通道融合后再重新训练又一个新的网络，我们称做第 K+1级网络，依次类推，逐级得到一个更高分割精度的结果。

进一步地，基于自动上下文的级联全卷积神经网络的级数至少有3级，由此才能确保基于三维超声的胎儿头部全自动分割达到一个较高精度的分割要求。

本发明所述的一种基于三维超声的胎儿头部全自动分割方法，具有如下优点：

1).本发明通过采用随机擦除的方法对以常规方式扩增的胎儿头部的三维超声容积数据集进行选择性增强，可有效解决潜在的过拟合问题，提高网络的泛化能力，增强网络的鲁棒性。

2).本发明在基于三维超声的胎儿头部全自动分割方法中通过采用全卷积神经网络的深度学习方法，将整个增强的超声容积数据作为输入，并将分割制定成高效的端到端的容积映射，有效实现了在分割性能和GPU计算资源间的平衡，同时也避免了大多数因基于patch的方法，在分割过程中损失全局空间信息从而导致的分割结果不理想的情形。

3).本发明采用的全卷积神经网络由若干阶段构成，运用跳跃连接的方式连接浅层与深层特征，由此可以将浅层的细节信息和深层的语义信息进行融合，从而提高分割的精度。

4).本发明通过在全卷积神经网络中设置多个辅助监督分支，并使用交叉熵作为损失函数，借以调整标注以适应不同的分支计算出损失，从而解决全卷积神经网络所面临的训练梯度消失的问题，特别是浅层梯度。同时，我们设计的是将标注进行降采样为网络分支的同等分辨率，从而辅助监督分支仅消耗少量的GPU运算资源，有利于全卷积神经网络模型的训练，从而实现对数据集的良好预分割。

5).本发明采用基于自动上下文的级联全卷积神经网络对预分割的结果进行迭代优化处理，有效提高了最终的分割结果，且级联全卷积神经网络的级数可自行选择，确保了在有限的条件下选择达到最佳的分割结果。

综上，本发明提供了一种基于三维超声的胎儿头部全自动分割方法，其网络鲁棒性和泛化性强，分割性能佳，克服了现有二维超声对胎儿头部测量存在的诸多不足，进而提升了医生的后续诊断效率、促进了更多其他的产前研究。

附图说明

图1为本发明所述的基于三维超声的胎儿头部全自动分割模块流程图；

图2为本发明实施例的一种全卷积神经网络模型图；

图3为本发明实施例的一种基于自动上下文的级联全卷积神经网络模型图；

图4为本发明实施例测量的胎儿头部体积与专家标注的胎儿头部体积的相关性和用Bland-Altman法的一致性示意图；

图5为本发明实施例测量的胎儿头部体积重复性示意图。

具体实施方式

下面将结合本发明附图，对本发明技术方案进行描述，但所描述的实施例仅仅是本发明的一部分实施例，基于本发明中实施例，本领域普通技术人员在没有作出任何创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1所示，本发明基于三维超声的胎儿头部全自动分割模块依次包括以下步骤：

步骤S1:数据增强模块；

步骤S2：全卷积神经网络训练模块；

步骤S3：基于自动上下文的级联全卷积神经网络模块。

在具体实施过程中，步骤S1中的数据增强模块首先对胎儿头部的三维超声容积数据集进行数据增强，得到增强后的数据集，然后执行步骤S2中的全卷积神经网络训练模块，即将增强后的数据集输入到全卷积神经网络中，以端到端容积映射的方式训练模型，实现对数据集的预分割，最后执行步骤S3中的基于自动上下文的级联全卷积神经网络模块，即采用该模块对预分割的结果进行迭代优化处理，得到最终的分割结果。

优选地，步骤S1中的数据增强模块包括有以下步骤：首先采用三维数据镜像、旋转、裁剪、形变的方法对胎儿头部的三维超声容积数据集进行若干倍的扩增，然后采用随机擦除的方法对扩增后的数据集进行选择性增强，加入随机擦除的方法在于可进一步增强训练语料库，从而使本发明的模型对过度拟合和边界遮挡更有鲁棒性。

步骤S2中的全卷积神经网络训练模块的核心为采用全卷积神经网络，将整个超声容积数据作为输入，并将其分割制定成高效的端到端的容积映射。该全卷积神经网络由若干阶段构成，其采用跳跃连接的方式连接浅层特征和深层信息，并通过调整不同阶段中的卷积层、反卷积层、池化层中的卷积核大小，实现对数据集的预分割。

优选地，全卷积神经网络采用特征融合的方法将不同阶段同规格大小的卷积特征图和反卷积特征图进行融合，用以提升的网络模型的泛化能力和鲁棒性。

优选地，通过在全卷积神经网络设置多个辅助监督分支，用以在采样过程中使用交叉熵作为损失函数，并通过调整标注以适应不同的分支，从而计算出最终的损失，此设计的好处在于，使用消耗极小GPU显存的多个辅助监督分支，可有效解决全卷积神经网络中所面临的训练梯度消失的问题，特别是对于浅层梯度。

综上所述，如图2所示，本发明的实施例采用了由七个阶段构成的全卷积神经网络来进行模型训练。在此网络中，最小的构成单元为由三维卷积层、批归一化层和激活层所构成的卷积模块。

在图2所示的第一阶段S201中，由两个卷积模块构成，这两个卷积模块使用大小为3*3*3的三维卷积核，都输出32个尺寸大小为152*104*176 的特征图；然后紧接着如图2所示的粗型箭头表示最大池化层，卷积核大小为2*2*2大小输出32个尺寸为76*52*88的特征图；

在第二阶段S202中使用了三个卷积模块，每个卷积模块所使用的卷积核大小为3*3*3，输出64个特征图尺寸大小为76*52*88；然后再经过最大池化层，卷积核大小2*2*2，其输出32个特征图图像尺寸为38*26*44；

在第三阶段S203中，由三个卷积模块所构成，每个模块的卷积核大下为5*5*5的大小，输出128个图数据尺寸为38*26*44；然后再经过最大池化层，其卷积核大小为2*2*2，输出128个特征图，其输出尺寸大小为19*13*22；

在第四阶段S204中，由三个卷积模块和一个反卷积层所构成，其中三个卷积模块的卷积核大下为5*5*5的大小，输出128个图数据尺寸为 19*13*22。在反卷积模块中，我们使用卷积核大小为5*5*5，输出128个尺寸大小为38*26*44的特征图；通过特征融合，将第三阶段S203的最后一个卷积模块输出的特征图和第四阶段S204的反卷积输出的特征图进行融合得到256个大小尺寸为38*26*44的特征图；

在第五阶段S205中，由两个卷积模块和一个反卷积层所构成，其中两个卷积模块的卷积核大下为5*5*5的大小，输出128个图数据尺寸为 38*26*44。在反卷积模块中，我们使用卷积核大小为3*3*3，输出64个尺寸大小为76*52*88的特征图；通过特征融合，将第二阶段S202的最后一个卷积模块输出的特征图和第五阶段S205的反卷积输出的特征图进行融合得到128个大小尺寸为76*52*88的特征图；

在第六阶段S206中，由两个卷积模块和一个反卷积层所构成，其中两个卷积模块的卷积核大下为3*3*3的大小，输出64个特征图尺寸大小为 76*52*88。在反卷积模块中，我们使用卷积核大小为3*3*3，输出32个尺寸大小为152*104*176的特征图；通过特征融合，将第一阶段S201的最后一个卷积模块输出的特征图和第六阶段S206的反卷积输出的特征图进行融合得到64个大小尺寸为152*104*176的特征图；

在第七阶段S207中，由两个卷积模块构成，其中两个卷积模块的卷积核大下为3*3*3的大小，第一卷积模块输出64个特征图尺寸大小为 152*104*176。在第二个卷积模块输出为32个尺寸大小为152*104*176的特征图。

第四阶段S204、第五阶段S205、第六阶段S206和第七阶段S207对最后一个卷积输出的的特征再加入一个卷积层，其卷积核大小为1*1*1，输出的2个特征图后面在加入批归一化层，每个输出的预测值与真实标签计算损失，使用的交叉熵损失函数

(此函数中：y为真实标签，为预测结果)；我们的整个训练的损失函为 loss_all＝α*loss_s204+β*loss_s205+γ*loss_s206+δ*loss_s207其中α，β，γ，δ系数分别设置为0.1,0.2,0.3,0.4。

步骤S3中基于自动上下文的级联全卷积神经网络模块的核心是利用了全卷积神经网络可以随意使用或长或短范围内的上下文信息特点，在其上再加入一个迭代的优化框架，以使用前一阶段预测的上下文信息，从而更好地解决边界模糊问题，提高最终分割结果。其基于自动上下文的级联全卷积神经网络具体按照如下公式进行迭代优化处理：

其中，是在K级的模型中的函数映射，x，y^k-1是超声容积数据和第K-1级所产生的概率容积，是将x，y^k的连接操作，通常是一种通道融合的操作。

优选地，所述步骤S3中的基于自动上下文的级联全卷积神经网络的级数至少有3级，级数越高，其最终的分割精准度越高。

而在本发明实施例中，我们使用了3级达到了较高的分割结果，如图3 所示：将原图X通过编码进入到第一级网络S301，第一级网络S301解码得到的概率图和原图X进行通道融合后再重新编码，训练出一个新的网络，此网络为第二级网络S302,将第二级网络S302解码后输出的概率图与原图进行通道融合后再经过一个新的网络，此即为第三级网络S303，由此得到一个更高分割精度的结果。

为深入层次的验证本发明实施例给出的如图2所示的一种全卷积神经网络模型图和如图3所示一种基于自动上下文的级联全卷积神经网络模型图的实用性和优越性，本发明首先建立了一个数据集，该数据集由50名孕妇志愿者那里获得的50个胎儿头部超声容积组成，胎龄从21至26周的不等，其三维容积数据的原始大小为388x258x448，体素大小为0.38x0.38x0.38，经由经验丰富的专家手动标注和复查后，随机将数据集分成30个和20个用于训练和测试。关于胎儿头部姿态的多样性，训练数据集首先通过三个轴的翻转、旋转增加到600个。然后随机选择35％的数据进行进一步进行随机擦除，因此我们的总训练数据集有810个。

然后，通过在相同的平台框架、相同的硬件设备等一系列统一设定的训练条件下进行训练，并采用包括Dice coefficient(Dice)、Conformity(Conf)、 Jaccard(Jacc)、平均边界距离(Adb[mm])、边界Hausdorff距离(hdb[mm])在内的5个标准进行分割评价，得到不同网络布局下的分割对比表，如表1所示，以及不同分割方法的定量对比表，如表2所示。

表1不同网络布局下的分割对比表

其中，USegNet代表我们采用的卷积神经网络，p表示池化层，c表示卷积层，从对比中可以看出，USegNet-3p-3c达到了所有设计的最佳结果，这与图2所示的全卷积神经网络模型图相一致。

表2不同分割方法的定量对比表

其中，FCN-8s代表普通的3D全卷积神经网络，Deconv-Net代表3D反卷积网络，2D-USegNet代表基于2D切片的分割，3D-USegNet代表我们定制的但未引入深监督机制、随机擦除和自动上下文的全卷积神经网络， USegNet-DS代表加入辅助监督分支的全卷积神经网络，USegNet-DS-RE代表加入辅助监督分支和随机擦除的全卷积神经网络，USegNet-Ctx-L1代表在 USegNet-DS-RE基础上采用自动上下文的二级级联全卷积神经网络， USegNet-Ctx-L2代表在USegNet-DS-RE和USegNet-Ctx-L1基础上采用自动上下文的三级级联全卷积神经网络。由表2可以看出，在全卷积神经网络中加入深监督机制、随机擦除和自动上下文可以达到更精准的分割，尤其级联全卷积神经网络级数越高，分割越精准，进一步对分割结果进行可视化观察，可以发现如图3所示一种基于自动上下文的级联全卷积神经网络模型图的分割方法USegNet-Ctx-L2能克服图像质量差，多种姿态、以及遮挡和边界模糊，最后显示出不同胎龄容积最佳的分割。

进一步的，在获得胎儿头部分割后，我们可以进一步获得一些有用的生物参数，如体积。我们采用相关系数和Bland-Alman法综合评估专家标注得出的体积尺寸与USegNet-Ctx-L2分割结果之间的差异，如图4所示，在20 个不同的容积数据上进行测试，最终发现专家标注的和我们的方法在测量胎儿头部体积上实现了高相关性(0.964)和一致性(95％的测量值位于 Bland-Alman图的±1.96标准差即3.6±21.5毫升)。

进一步的，受到颅骨上强回声反射的影响，不同的胎头方向或扫描方向会引起各种声影和遮挡，并因此很大程度上改变了超声容积数据的外观。一方面，在全自动分割系统应用于临床之前，必须保持较高的重现性和对扫描方向变化的鲁棒性成为一项关键要求。因此，我们新收集了来自68名志愿者的204容积数据(任意的胎儿姿势，胎龄从16周到33周不等)来验证我们的方法的可重复性。每个志愿者都被扫描了三个不同的方向，探头方向从前至后、从左至右、从上至下来扫描胎儿的头部，以确保包含不同的扫面方向。如图5所示，显示了USegNet-Ctx-L2在每组中产生的体积测量的箱线图，我们可以得知，我们的方法不受体位和扫描变化的影响，在测量胎头体积时获得了显著的重复性(平均标准差为13.069ml，最小为2.284ml，最大值为 27.08ml)。

综上，基于三维超声的胎儿头部全自动分割方法能有效克服现有二维超声对胎儿头部测量存在的诸多不足，且全自动分割不仅有利于具有代表性的胎儿生物测量参数的提取，而且可以促进许多其他的产前研究，如脑对齐、体配准和纵向分析等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于三维超声的胎儿头部全自动分割方法，其特征在于，包括以下步骤：

S1.首先对胎儿头部的三维超声容积数据集进行数据增强，得到增强后的数据集；

S2.然后将增强后的数据集输入到全卷积神经网络中，以端到端容积映射的方式训练模型，实现对数据集的预分割；

S3.最后采用基于自动上下文的级联全卷积神经网络对预分割的结果进行迭代优化处理，得到最终的分割结果。

2.根据权利要求1所述的基于三维超声的胎儿头部全自动分割方法，其特征在于所述步骤S1具体包括以下步骤：

a.首先采用三维数据镜像、旋转、裁剪、形变的方法对胎儿头部的三维超声容积数据集进行若干倍的扩增；

b.然后采用随机擦除的方法对扩增后的数据集进行选择性增强。

3.根据权利要求1所述的基于三维超声的胎儿头部全自动分割方法，其特征在于：所述步骤S2中的全卷积神经网络由若干阶段构成，采用跳跃连接的方式连接下采样和上采样，通过调整不同阶段中的卷积层、反卷积层、池化层和内核大小，实现对数据集的预分割。

4.根据权利要求3所述的基于三维超声的胎儿头部全自动分割方法，其特征在于：所述步骤S2中的全卷积神经网络通过特征融合的方法将不同阶段同规格大小的卷积特征图和反卷积特征图进行融合。

5.根据权利要求4所述的基于三维超声的胎儿头部全自动分割方法，其特征在于：所述步骤S2中的全卷积神经网络设置有多个辅助监督分支，在采样过程中，使用交叉熵作为损失函数，并通过调整标注以适应不同的分支计算出损失。

6.根据权利要求1所述的基于三维超声的胎儿头部全自动分割方法，其特征在于：所述步骤S3中的基于自动上下文的级联全卷积神经网络按照如下公式进行迭代优化处理：

其中，是在K级的模型中的函数映射，x，y^k-1是超声容积数据和第K-1级所产生的容积概率图，是将x，y^k的连接操作。

7.根据权利要求6所述的基于三维超声的胎儿头部全自动分割方法，其特征在于：所述步骤S3中的基于自动上下文的级联全卷积神经网络的连接操作是一种通道融合的操作。

8.根据权利要求6至7任意一项所述的基于三维超声的胎儿头部全自动分割方法，其特征在于：所述步骤S3中的基于自动上下文的级联全卷积神经网络的级数至少有3级。