CN113763387B - 一种胎盘超微血管的分割方法、存储介质及终端设备 - Google Patents

Abstract

本发明公开了一种胎盘超微血管的分割方法、存储介质及终端设备，方法包括步骤：在Unet网络中添加ResNeXt模块和CBAM模块，构建图像分割模型；采用已标签胎盘超声图像对所述图像分割模型进行训练，并利用二元交叉熵和骰子损失函数构造混合目标函数来优化所述图像分割模型，得到训练后图像分割模型；将待分割胎盘超声图像输入所述训练后图像分割模型，输出胎盘超微血管的分割结果。本发明选择UNet作为骨干网进行初始特征提取，同时选择ResNeXt模块和CBAM模块对初始特征进行细化和加权可以减少超参数的冗余，抑制不必要的特征，提高了信息利用率。实验结果表明，本发明方法在胎盘超微血管分割中对脐带血(UC)、干绒毛(ST)、母体血液(MA)等解剖结构的分割效果优于其他算法。

Description

一种胎盘超微血管的分割方法、存储介质及终端设备

技术领域

本发明涉及深度学习算法应用领域，特别涉及一种胎盘超微血管的分割方法、存储介质及终端设备。

背景技术

胎盘对胎儿的营养输送依赖于丰富的胎盘超微血管，超微血管的形状和密度反映了胎盘的营养供应和胎儿的发育。为了监测胎儿的健康状况，评估胎儿的生长发育情况，有必要对超毛细血管进行相关的定量评价，但是评价的前提是准确分割胎盘超级微血管(脐带血(UC)、绒毛干(ST)、母体血液(MA))。

如图1所示，计算机辅助诊断的可视化结果表面，脐带血、绒毛干、母体血液能够准确分割和区分。图1中a为产前超声图像；图1中b为胎盘超微血管的分割图像，原图中红色的是脐带血(UC)，它附着在胎盘表面并与胎儿相连；绿色的是绒毛干(ST)，通常是纵向的，可以交换母体血液和脐带血。蓝色的是母体血液(MA)，它在胎盘内外交换血液。目前，由于超声成像分辨率较低以及医生主观观察的差异，所测得的胎盘指数存在很多差异，这个胎盘超微血管的评价带来了很大困难。因此，开发一种客观、自动化的胎盘功能评价系统是很有必要的。然而，由于胎盘超微血管的结构本身存在个体差异性大的固有问题，这加大了胎盘超微血管精确分割的难度。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种胎盘超微血管的分割方法、存储介质及终端设备，旨在解决现有方法无法实现对胎盘超微血管进行精确分割的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种胎盘超微血管的分割方法，其中，包括步骤：

在Unet网络中添加ResNeXt模块和CBAM模块，构建图像分割模型；

采用已标签胎盘超声图像对所述图像分割模型进行训练，并利用二元交叉熵和骰子损失函数构造混合目标函数来优化所述图像分割模型，得到训练后图像分割模型；

将待分割胎盘超声图像输入所述训练后图像分割模型，输出胎盘超微血管的分割结果。

所述胎盘超微血管的分割方法，其中，采用已标签胎盘超声图像对所述图像分割模型进行训练的步骤包括：

通过Unet网络获取所述已标签胎盘超声图像中的初始特征；

通过所述ResNeXt模块对所述初始特征进行分割，并将分割后得到的相同拓扑的块进行堆叠，输出中间特征图；

通过所述CBAM模块对所述中间特征图进行权重分配和卷积处理，输出层特征，最后通过softmax函数得到分割特征。

所述胎盘超微血管的分割方法，其中，所述CBAM模块包括两个依次排列的通道注意力模块和空间注意力模块，其中，通道注意力模块的输出空间注意力模块的输出/>其中，F为中间特征图，F∈R^c×h×w；Q_c表示通道注意操作，Q_c∈R^1×1×c；Q_s表示空间注意操作，Q_s∈R^1×w×h，/>表示元素级相乘。

所述胎盘超微血管的分割方法，其中，利用二元交叉熵和骰子损失函数构造混合目标函数来优化所述图像分割模型的步骤中，所述混合目标函数为：L_sum＝αL_bce+βL_Dice,其中，α和β分别为平衡两个分支损失的权重参数；二元交叉熵L_bce＝∑_iy_ilogO_i+(1-y_i)log(1-O_i),其中，O_i∈{1,0}为经过sigmoid非线性的最后一网络层的第O^th输出；骰子损失函数其中，y_i∈{0,1}是对应的标签。

一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述胎盘超微血管的分割方法中的步骤。

一种终端设备，其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述胎盘超微血管的分割方法中的步骤。

有益效果：与现有技术相比，本发明提供的胎盘超微血管的分割方法具有以下优点：选择UNet作为骨干网进行初始特征提取，同时选择ResNeXt模块和CBAM模块对初始特征进行细化和加权；具体地说，在ResNeXt模块和CBAM模块中我们按照拆分-转换-合并的策略来堆叠相同拓扑的块，以减少超参数的冗余，并对每组细节特征进行卷积块注意力模块处理，对特征进行加权以获得信息特征，抑制不必要的特征，提高了信息利用率。实验结果表明，本发明方法在胎盘超微血管分割中对脐带血(UC)、干绒毛(ST)、母体血液(MA)等解剖结构的分割效果优于其他算法。

附图说明

图1为现有技术中对胎盘超声图像进行超微血管分割的结果示意图。

图2为本发明一种胎盘超微血管的分割方法较佳实施例的流程图。

图3为本发明构建的图像分割模型的结构组成示意图。

图4为本发明通道注意力模块的结构组成示意图。

图5为本发明空间注意力模块的结构组成示意图。

图6为本发明一种终端设备的原理框图。

具体实施方式

本发明提供一种胎盘超微血管的分割方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

为了提高图像分割的准确性，许多学者通过增加神经网络的深度来提高性能，但它存在计算量增加和优化难度加大的问题。为了解决这个问题，分组卷积将卷积核分成不同的组，分别进行卷积运算，提高计算效率。随着深度学习的不断发展，VGG网络对相同的块进行了非常深入的堆叠。然后，ResNet设计了残余连接，大大降低了深度增加带来的负面影响。这两种网络具有较少的超参数和简单的规则，在计算机视觉任务中表现出良好的鲁棒性。近年来，ResNeXt和Res2Net应用了分组卷积的思想，在不增加计算成本的情况下显著提高了性能。

除了增加神经网络的深度外，也有学者提出通过引入注意机制来提高分割精度。SKNet是第一个通过引入注意机制明确关注神经元的自适应接受域大小的。SE-Net引入了一个紧凑的模块来利用信道间的关系。然而，SE-Net忽略了空间关注，而空间关注对决定“何处”关注有很大影响。块注意模块和卷积注意模块采用空间和通道注意模块，不仅告诉我们“什么”和“哪里”注意，而且提高了模型的兴趣表现。

基于此，本发明提供了一种基于ResNeXt-CBAM和UNet的胎盘超微血管分割方法，如图2所示，其包括步骤：

S10、在Unet网络中添加ResNeXt模块和CBAM模块，构建图像分割模型；

S20、采用已标签胎盘超声图像对所述图像分割模型进行训练，并利用二元交叉熵和骰子损失函数构造混合目标函数来优化所述图像分割模型，得到训练后图像分割模型；

S30、将待分割胎盘超声图像输入所述训练后图像分割模型，输出胎盘超微血管的分割结果。

本实施例选择UNet作为骨干网进行初始特征提取，同时选择ResNeXt模块和CBAM模块对初始特征进行细化和加权；具体地说，在ResNeXt模块和CBAM模块中我们按照拆分-转换-合并的策略来堆叠相同拓扑的块，以减少超参数的冗余，并对每组细节特征进行卷积块注意力模块处理，对特征进行加权以获得信息特征，抑制不必要的特征，提高了信息利用率。实验结果表明，本发明方法在胎盘超微血管分割中对脐带血(UC)、干绒毛(ST)、母体血液(MA)等解剖结构的分割效果优于其他算法。

在一些实施方式中，如图3所示，本实施例选择UNet作为骨干网络，并在所述UNet网络中加入ResNeXt模块和CBAM模块，构建图像分割模型。在对所述图像分割模型进行训练的过程中，所述Unet网络用于获取所述已标签胎盘超声图像中的初始特征，所述ResNeXt模块采用拆分-转换-合并的策略来提取每一层的特征，本实施例用32条路径分割初始特征，并将相同拓扑的块进行堆叠，即每个块在一个低维嵌入上，最后输出的中间特征图是通过求和来聚合的。

在所述ResNeXt模块之后连接的是CBAM模块，所述CBAM模块对所述中间特征图进行权重分配和卷积处理，输出层特征，最后通过softmax函数得到分割特征。具体来讲，所述CBAM模块包括两个依次排列的通道注意力模块和空间注意力模块，其中，通道注意力模块的输出空间注意力模块的输出/>其中，F为中间特征图，F∈R^c×h×w；Q_c表示通道注意操作，Q_c∈R^1×1×c；Q_s表示空间注意操作，Q_s∈R^1×w×h，/>表示元素级相乘。

在一些实施方式中，所述通道注意力模块关注的是：给定输入图像的“什么”是有意义的。通道注意力模块利用特征的通道间关系，生成通道关注图，如图4所示，所述通道注意力模块有两个分支，一个分支使用全局最大池，另一个分支使用全局平均池，然后使用带有一个隐含层的共享多层感知器(MLP)进行投影，通道注意力模块的最终特征是通过sigmoid函数得到。

在一些实施方式中，所述空间注意力模块关注的是：给定输入图像的“哪里”是有用的部分。如图5所示，所述空间注意力模块有两个分支，一个分支在通道方向上执行全局最大池，另一个分支执行全局平均池，将两个分支结果连接起来，以生成一个有效的特征描述符，然后进行依次卷积运算(卷积核的大小为7*7)，将通道的数量减少到1，最后的特征也是通过sigmoid函数得到。

在一些实施方式中，利用二元交叉熵和骰子损失函数构造混合目标函数来优化网络训练，所述混合目标函数如下:L_sum＝αL_bce+βL_Dice,其中，α和β分别为平衡两个分支损失的权重参数；二元交叉熵L_bce＝∑_iy_ilogO_i+(1-y_i)log(1-O_i),其中，O_i∈{1,0}为经过sigmoid非线性的最后一网络层的第O^th输出；骰子损失函数其中，y_i∈{0,1}是对应的标签。作为举例，所述α＝0.5，β＝0.5。

在一些具体的实施方式中，获取广西妇幼保健院2019年的胎盘超声图像，所述胎盘超声图像来自155名患者，一共有890张胎盘超声图像，本实施例以4:1的比例将数据集(890张胎盘超声图像)随机分为训练集和测试集，训练集包含712幅图像，测试集包含178幅图像。所述胎盘超声图像上的分割标签是由三个有经验的超声医生注释。

所有实验中的设置对所有比较方法都是一致的，以达到公平的比较。本实施例使用Adam优化器，初始学习率设置为0.0001，每10个epoch减少0.1倍。训练纪元为60，批处理大小为4。我们选择脐带血(UC)、绒毛干(ST)、母体血液(MA)和它们的均值(mean)作为四个评价项。我们选择骰子系数(Dice)、精度(Precision)、召回率(Recall)作为评价指标，并将交叉熵损失和骰子损失作为一个损失函数。

在一些实施方式中，本实施例还进行了消融和对比实验来验证本发明基于ResNeXt-CBAM和UNet的胎盘超微血管分割方法的有效性，具体结果见表1和表2。

在表1中，我们比较了ResNeXt和ResNeXt-CBAM模块对旨在提高分段性能的UNet网络的影响。

表1.不同方法的分割结果

从表1可以看出，对于UNet，实验结果表明，加入ResNeXt-CBAM模块后，与加入ResNeXt相比，三个评价指标的均值会显著增加或接近。此外，可以看出，这种改进的好处在较浅的ResNeXt网络上更明显。

表2.消融实验结果

在表2中，本实施例选择ResNeXt-SE模块代替ResNeXt-CBAM模块，使用Res2Net-CBAM模块代替ResNeXt-CBAM模块进行消融实验。结果表明，ResNeXt-CBAM模块在胎盘超微血管分割方面的性能优于其他网络。

在一些实施方式中，还提供一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明任意一项胎盘超微血管分割方法中的步骤。

在一些实施方式中，还提供一种终端设备，如图6所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(CommunicationsInterface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述胎盘超微血管分割方法中的步骤。

其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述胎盘超微血管分割方法中的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种胎盘超微血管的分割方法，其特征在于，包括步骤：

在Unet网络中添加ResNeXt模块和CBAM模块，构建图像分割模型；

采用已标签胎盘超声图像对所述图像分割模型进行训练，并利用二元交叉熵和骰子损失函数构造混合目标函数来优化所述图像分割模型，得到训练后图像分割模型；

将待分割胎盘超声图像输入所述训练后图像分割模型，输出胎盘超微血管的分割结果；

采用已标签胎盘超声图像对所述图像分割模型进行训练的步骤包括：

通过Unet网络获取所述已标签胎盘超声图像中的初始特征；

通过所述ResNeXt模块对所述初始特征进行分割，并将分割后得到的相同拓扑的块进行堆叠，输出中间特征图；

通过所述CBAM模块对所述中间特征图进行权重分配和卷积处理，输出层特征，最后通过softmax函数得到分割特征；

利用二元交叉熵和骰子损失函数构造混合目标函数来优化所述图像分割模型的步骤中，所述混合目标函数为：L_sum＝αL_bce+βL_Dice，其中，α和β分别为平衡两个分支损失的权重参数；二元交叉熵L_bce＝∑_iy_ilogO_i+(1-y_i)log(1-O_i)，其中，O_i∈{1,0}为经过sigmoid非线性的最后一网络层的第O^th输出；骰子损失函数其中，y_i∈{0,1}是对应的标签；

所述ResNeXt模块采用拆分-转换-合并的策略来提取每一层的特征，用32条路径分割初始特征，并将相同拓扑的块进行堆叠，每个块在一个低维嵌入上，最后输出的中间特征图是通过求和来聚合的。

2.根据权利要求1所述胎盘超微血管的分割方法，其特征在于，所述CBAM模块包括两个依次排列的通道注意力模块和空间注意力模块，其中，通道注意力模块的输出空间注意力模块的输出/>其中，F为中间特征图，F∈R^c×h×w；Q_c表示通道注意操作，Q_c∈R^1×1×c；Q_s表示空间注意操作，Q_s∈R^1×w×h，/>表示元素级相乘。

3.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-2任意一项所述胎盘超微血管的分割方法中的步骤。

4.一种终端设备，其特征在于，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1-2任意一项所述胎盘超微血管的分割方法中的步骤。