CN115578360A - 一种针对超声心动图像的多目标语义分割方法 - Google Patents

Abstract

本发明公开了一种针对超声心动图像的多目标语义分割方法，包括：获取具有不同感受野的特征图；根据空间位置信息和通道信息对特征图矩阵赋予权重，并根据特征图矩阵中局部区域内像素点对之间的关联和标签一致性对特征图进行校正，使其更有效的捕获感兴趣区域的特征；将处理后的具有不同感受野的特征图进行有效融合；将特征图进行上采样和归一化后，对感兴趣部位进行分割；优化神经网络参数，使分割结果逐渐逼近正确结果，完成超声心动图像多目标分割任务。本发明解决了现有方法中缺乏2D超声心动图图像中不同位置之间标记连贯性的学习机制，以及超声心动图像本身信噪比较低，边缘缺失等问题，有效实现了分割精度的提升。

Description

一种针对超声心动图像的多目标语义分割方法

技术领域

本发明涉及超声心动图像分割技术领域，具体涉及的是一种针对超声心动图像的多目标语义分割方法。

背景技术

心血管疾病作为威胁人类健康的三大杀手之一，随着医疗设备的发展，借助医学图像进行心脏病医疗诊断也成为了新的焦点。心室图像的分割是对心脏病进行医学诊断的前提条件，而2D超声心动图由于其低成本、便携性和实时功能，已成为当前临床实践中宝贵的医学成像工具，常用于评估各种心脏功能，例如评估左心室体积、射血分数和心肌肿块等等。在一种典型的患者超声心动图(回波)检查场景中，超声医师会将超声装置抵靠患者胸部放置，以捕获患者心脏的许多2D图像/视频。超声装置位置在回波检查期间会发生变化，以从不同的视点或视图捕获不同的解剖部分作为心脏的2D切片。

然而，心脏超声成像中的半自动或手动注释是一项耗时且依赖操作员标注水平的任务，这对临床诊断的准确性和效率产生了不利影响。基于此，有人提出了自动化心脏图像解释，以期能够自动高效的对超声心动图像中的感兴趣区域进行提取，从而减少心脏病学家的工作量。尽管与半自动或手工过程相比，自动化系统有望提高临床诊断的准确性和效率，也能区分正常心脏与患病心脏，但是该系统不能区分患有看起来相似疾病的心脏。因此，由该系统鉴定的心脏病数目非常有限，并且需要人工干预来鉴定其他类型的心脏病。例如，心力衰竭传统上被视为收缩功能衰竭，且左心室射血分数已被广泛用于定义收缩功能、评估预后和选择患者进行治疗干预。然而，有研究表明，心力衰竭可在存在正常或接近正常EF的情况下发生，其占据了心力衰竭临床病例中的很大比例。

随着深度学习方法在医学领域的广泛应用，一些研究人员利用了基于深度学习的方法对超声心动图中感兴趣区域进行分割，并取得了较好的结果。例如，受传统算法中先验信息有效性的启发，Octay提出了一种新的正则化模型，该模型将解剖先验知识融入到CNN中，以分割多模态心脏数据集；Dong等人提出了一个深度图谱网络，将LV图谱集成到深度学习框架中，以解决超声心动图中三维LV分割问题。同时，将深度学习与可变形模型相结合的模型也被开发出来，例如Veni提出了深度学习与水平集形式的形状驱动的可变形模型相结合的方法，Nascimento提出了一种新的一步非刚性分割可变形对象的方法。

尽管做了这些努力，神经网络超声心动图的领域仍未解决以下两个问题：

1、超声心动图的低信噪比和斑点阻碍了分割方法的鲁棒性。血池和心肌之间的图像对比度低，边缘缺失，增加了左心室和左心房边界的分割难度。因此单纯使用深度学习算法从超声心动图像中提取语义信息是不够的，容易因为超声心动图自身的特点而将背景误判为需要分割的部分。

2、目前基于深度学习的分割方法通常独立预测每个像素的类别。一个像素的预测是在没有明确考虑相邻像素的其他预测结果的情况下进行的。因此，它们缺乏2D超声心动图图像中不同位置之间标记连贯性的学习机制，这可能是次优的，并且会降低分割质量。

可见，目前采用深度学习的方法对超声心动图中感兴趣区域进行分割，其分割质量仍有待于提高。

发明内容

本发明的目的在于提供一种针对超声心动图像的多目标语义分割方法，解决现有方法中缺乏2D超声心动图图像中不同位置之间标记连贯性的学习机制，以及超声心动图像本身信噪比较低，边缘缺失等问题，有效实现了分割精度的提升。

为实现上述目的，本发明采用的技术方案如下：

一种针对超声心动图像的多目标语义分割方法，包括以下步骤：

(1)根据超声心动图像，使用两种不同类型的卷积核对待识别数据依次进行卷积-下采样操作，得到两种不同类别的下采样特征图C1和C2，其中，特征图C1大小不超过原始超声心动图像的1/8，特征图C2大小不超过原始超声心动图像的1/4；特征图C1蕴含的语义信息更加丰富，特征图C2蕴含的空间结构信息更加丰富；

(2)利用端到端方式的注意力机制，使用特征图C1上下文信息内的像素点对之间的关联，对局部区域内的语义信息进行校正，得到处理后的特征图X₁；

(3)利用端到端方式的注意力机制对特征图C2进行处理，将特征图C2根据通道维度进行分组，且每个组内的特征图在通道维度上具有两个分支，对其中一个分支进行通道注意力变换，另一个分支进行空间注意力变换，最后合并两个分支，得到特征图X₂；

(4)将特征图X₁和特征图X₂融合；

(5)对融合后的特征图进行上采样和归一化操作，得到感兴趣的分割部位，从而获得预测的分割结果特征图X；

(6)通过交叉熵损失函数计算预测的分割结果特征图X与真值之间的损失，并通过反向传播的方式更新神经网络参数，使分割结果逐渐逼近正确结果，实现针对超声心动图像的多目标语义分割。

为了增强超声图像的信噪比，在获得特征图C1和C2之前，先采用高斯滤波对超声心动图像进行去噪处理，选用的高斯核大小为3×3；去噪后，将待识别的图像尺寸统一缩放为A×A，80≤A≤256。

具体地，所述步骤(1)中，使用在ImageNet上预训练过的resnet50对超声心动图像进行下采样和信息提取，得到特征图C1；使用大的卷积核以步长stride＝2划过超声心动图像，得到特征图C2。

进一步地，所述步骤(2)包括以下步骤：

(21)对特征图C1进行变形操作并截取出小块；所述特征图C1的大小为[B,CH,H,W]，其中B是批尺寸，CH是通道数，H、W是特征图C1在空间范围内的长度、宽度；变形操作和截取小块的过程如下：

(211)对特征图C1的通道进行分组，分为G个组，则变形后的特征图C1的大小为[B*G,CH//G,H,W]；

(212)在[H,W]维度中以步长stride＝2，不断取出dh＝2，dw＝2的小块，将特征图变形为[B*G*nh*nw,CH//G,dh,dw]；其中nh＝H//dh，nw＝H//dw，简写为[B′,CH′,dh,dw]，且B′＝B*G*nh*nw，CH′＝CH//G；

(22)对步骤(212)中变形后的特征图进行线性变换，使通道数由CH′变换为CH″,CH″≥64，线性变换后计算在同一通道内像素点对之间的关联性；

(23)根据上下文关系，使用如下空间注意力机制增强像素点对之间的关联，获得特征图X″：

X″＝σ(W₀·GN(X′)+b)·X′

其中W₀、b均为可学习的权重矩阵，大小为[CH″,1,1]，其中，权重矩阵的初始值随机，在神经网络梯度反向传播的过程中，权重矩阵的值将不断得到更新；GN是GroupNormalization；X′是经过变换后的特征图；σ是sigmoid激活函数；

(24)将特征图X″变形回[B,CH,H,W]的形状，使用残差连接将特征图X″与特征图C1进行融合，得到特征图X₁。

再进一步地，所述步骤(22)中，计算在同一通道内像素点对之间的关联性的方法如下：

使用Softmax归一化函数计算某个像素点属于类别I的概率：

其中i＝1,2,3,…,CH″

Softmax函数将由CH″个实数的向量z作为输入，并将其归一化为由与输入数的指数成比例的CH″个概率组成的概率分布，其中，向量z中的元素代表[h,w]维度中的某个像素点在不同通道的像素值；z_i代表像素点在第i个通道处的值；z_j代表像素点在第j个通道处的值；

若同一通道内经过变换处理后的值不为0的像素点值越相似，则两个像素点越有可能属于同一类别，两个像素点之间的相关性越强。

具体地，所述步骤(3)包括以下步骤：

(31)将特征图C2根据通道维度分为G个组，并将每个组内的特征图在通道维度分为两个分支X_ch和X_spatial；

(32)针对分支X_ch做通道注意力变换生成权重矩阵并进行融合，矩阵中同时包含了通道信息和空间位置信息；

生成权重矩阵并进行融合的过程如下：

(321)对分支X_ch的H,W方向分别做1D全局池化，并将得到的两个向量连接；其中，对特征图C2中的第c个通道在W方向做1D全局池化的公式如下：

式中，

代表特征图在第c个通道高度为h处的输出值；x_c代表特征图第c个通道；

对特征图C2中的第c个通道在H方向做1D全局池化的公式如下：

式中，

代表特征图在第c个通道宽度为w处的输出值；

(322)将得到的两个向量进行连接后，使用1*1的卷积使其融合，融合公式如下：

f＝δ(F₁([z^h,z^w]))

X′_ch＝fX_ch

式中，δ代表非线性激活函数；F₁代表用1*1卷积实现的变换；X′_ch代表经过通道注意力变换后的特征图；

(33)采用如下公式对分支X_spatial做空间注意力变换：

X′_spatial＝σ(W₀·GN(X_spatial)+b)·X_spatial

式中，X′_spatial是经过空间注意力变换后的特征图；

(34)将两个分支合并，并将合并后的特征图变形回原始形状，得到特征图X₂。

具体地，所述步骤(4)中，使用插值法将特征图X₁和特征图X₂上采样变换到相同大小，再使用1*1卷积对其进行融合。

具体地，所述步骤(5)具体为：

(51)对融合后的特征图进行上采样操作，同时使通道数减少为待分割种类数；

(52)针对特征图图内的每个像素点进行归一化操作，得到感兴趣的分割部位，从而获得预测的分割结果特征图X。

进一步地，所述步骤(6)中，交叉熵函数使用的公式如下：

式中，L代表计算得到的损失值；M代表待分割数；y_c代表一个one-hot类型的向量，向量内的每个元素代表该像素点属于各个类别的可能性；p_c代表预测样本属于c类别的概率。

再进一步地，所述步骤(6)中，还使用了辅助损失来监督神经网络的训练，其公式如下：

L(X；W)＝L_P(X；W)+∝L_A1(X₁；W)+∝L_A2(X₂；W)

式中，X代表最终预测的分割结果特征图；W代表真值；参数∝用来平衡主损失L_P和辅助损失L_A1,L_A2之间的权重关系；∝＝0.2,L_A1计算的是特征图X₁与真值之间的损失,L_A2计算的是特征图X₂与真值之间的损失，L_P计算的是最终预测出的特征图与真值之间的损失；

在训练过程中，初始学习率设置为1e-8，动量设置为0.9，批大小设置为24，应用ReduceLROnPlateau策略作为学习率的调整。

本发明的主要技术构思在于，根据中间层特征图的特点，利用两个端到端方式的注意力机制，来使特征图中蕴含的语义信息更加丰富。其中，对于特征图C1所用的注意力机制，它可以捕获局部区域内像素点对之间的关联，并使用中心像素点和其邻居像素点的标签一致性来使特征图更有效的捕获感兴趣区域的特征。对于特征图C2所用的注意力机制，通过修改针对通道的权重矩阵的生成方式，使不同通道的特征图得到更加有效的融合。同时，本发明使用的是CAMUS成人超声心动数据集，利用卷积神经网络和残差结构充分提取超声心动图像的语义特征，确保分割精度。

与现有技术相比，本发明具有以下有益效果：

(1)本发明通过使用两种不同类型的卷积核对待识别数据依次进行卷积-下采样操作，得到两种不同类别的下采样特征图C1和C2(中间层特征图)，然后提出两个端到端方式的注意力机制，根据特征图局部区域内像素点对之间的关联和标签一致性，对特征图进行校正；同时，在给通道分配权重时充分考虑了空间位置信息，使不同通道的特征图能够得到更加有效的融合，使得特征图蕴含的语义信息更丰富，最终有效提高了分割的精度。试验表明，采用本发明方案，左心室内膜的Dice分割系数可高达92.15％，左心室外膜的Dice分割系数高达86.95％，左心房的Dice分割系数高达86.29％。整体分割质量和精度要好于现有的其它方案。

(2)在获得高精度的分割结果后，本发明只需通过上采样和归一化操作，即可快速、高效地得到感兴趣的分割部位，极大地降低了标注人员和脏病学家的工作量。

(3)本发明使用了辅助损失来监督神经网络的训练，不仅效率高，而且可以进一步缩小分割结果与正确结果之间的误差。

附图说明

图1为本发明-实施例的流程示意图。

图2为本发明实施例中使用的整体网络结构示意图。

图3为本发明-实施例中针对特征图C1所采用的注意力模块的示意图。

图4为本发明-实施例中针对特征图C1所采用的注意力模块的示意图。

图5为本发明-实施例中采用的融合模块的示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明，本发明的实施包含但不限于以下实施例。

实施例

本实施案提供了一种针对超声心动图像的多目标语义分割方法，其主要特点在于根据中间层特征图的特点，提出端到端的注意力模块，来使其能够根据像素点对之间的关联来处理局部区域内的信息，进而使其蕴含的语义信息更加丰富，或者通过给不同通道的特征图赋予权重，在生成通道权重矩阵的过程中将空间位置信息考虑进去，使其在融合后蕴含更丰富的语义信息，以此提高左心室的分割精度。

如图1所示，本实施例流程上主要包括：获取具有不同感受野的特征图；根据空间位置信息和通道信息对蕴含空间结构信息更丰富的特征图矩阵赋予权重，并根据特征图矩阵中局部区域内像素点对之间的关联和标签一致性对蕴含语义信息更丰富的特征图进行校正，使其更有效的捕获感兴趣区域的特征；将处理后的具有不同感受野的特征图进行有效融合；将特征图进行上采样和归一化后，对感兴趣部位进行分割；优化神经网络参数，使分割结果逐渐逼近正确结果，完成超声心动图像多目标分割任务。图2为本实施例采用的的整体网络结构。

一、获取具有不同感受野的特征图。

超声心动图像主要使用超声滤波来观察身体内部，所以根据超声心动图像获取进行有效信息提取是所有分割的一切前提基础。本实施例中，为了提高信噪比，减少超声图片中的斑点对分割结果的影响，采用了高斯滤波对超声图像进行了去噪处理。本实施例选用的高斯核大小为3×3，去噪后，将待识别的图像尺寸统一缩放为256×256(原图图像尺寸大于256×256)。

而后，通过使用两种不同类型的卷积核对待识别数据依次进行卷积-下采样操作，得到了两种不同类别的下采样特征图C1和C2。具体过程如下：

对于特征图C1，使用在ImageNet上预训练过的resnet50对超声图像进行下采样和信息提取，得到的特征图C1大小为原始超声图像大小的1/8。

对于特征图C2，使用大的卷积核以步长stride＝2划过超声图像，得到的特征图C2大小为超声图像大小的1/4。

特征图C1蕴含了更加丰富的语义信息，而特征图C2则蕴含了更加丰富的空间结构信息。

二、根据空间位置信息和通道信息对特征图矩阵赋予权重，并根据特征图矩阵中局部区域内像素点对之间的关联和标签一致性对特征图进行校正，使其更有效的捕获感兴趣区域的特征。

根据针对特征图所蕴含的信息不同，选择不同的端到端注意力模块有针对性地进行感兴趣区域的增强。

具体地，对于特征图C1，采用如图3所示的端到端注意力模块对其进行处理，得到处理后的特征图X₁。具体如下：

1、对特征图C1进行变形操作并截取出小块。由于局部区域内像素点之间的关联性更强，距离较远的像素点之间语义关联性较弱，且计算其关联性会增加计算量。因此在特征图C1中取出小块，在小块内进行语义校正操作，可有效提高校正效率和校正精度。

本实施例中的特征图C1的大小为[B,CH,H,W]，其中B是批尺寸(Batch_size)，CH是通道数，H、W是特征图C1在空间范围内的长度、宽度。而变形操作和截取小块的过程如下：

(1)对特征图C1的通道进行分组，分为G个组，则变形后的特征图C1的大小为[B*G,CH//G,H,W]；

(2)在[H,W]维度中以步长stride＝2，不断取出dh＝2，dw＝2的小块，将特征图变形为[B*G*nh*nw,CH//G,dh,dw]；其中nh＝H//dh，nw＝H//dw，简写为[B′,CH′,dh,dw]，且B′＝B*G*nh*nw，CH′＝CH//G；

(3)对变形后的特征图进行线性变换，使通道数由CH′变换为CH″，本实施例中，CH″取经验值64，线性变换后计算在同一通道内像素点对之间的关联性。

2、计算小块内像素点对之间的语义相关性，并根据上下文关系增强像素点对之间的关联。

对上一步变形后的特征图进行线性变换。先使通道数由CH′变换为CH″＝64，线性变换后计算在同一通道内像素点对之间的关联性。本实施例计算在同一通道内像素点对之间的关联性的方法如下：

使用Softmax归一化函数计算某个像素点属于类别I的概率：

其中i＝1,2,3,…,CH″

Softmax函数将由CH″个实数的向量z作为输入，并将其归一化为由与输入数的指数成比例的CH″个概率组成的概率分布，其中，向量z中的元素代表[h,w]维度中的某个像素点在不同通道的像素值；z_i代表像素点在第i个通道处的值；z_j代表像素点在第j个通道处的值。

特征张量在每个通道中的分布类似于普通分类器中待分类对象与不同类别之间的相关性。但此时，CH″对于一个正常的分类器来说，所要分类的数字并没有相同的含义，它是根据经验值来选择的。因此，同一通道经过变换处理后的值不为0的像素点值越相似，说明两个像素越有可能属于同一类别，两个像素之间的相关性越强。

根据上下文关系，使用如下空间注意力机制增强像素点对之间的关联，获得特征图X″：

X″＝σ(W₀·GN(X′)+b)·X′

其中W₀、b均为可学习的权重矩阵，大小为[64,1,1]，其中，权重矩阵的初始值随机，在神经网络梯度反向传播的过程中，权重矩阵的值将不断得到更新；GN是GroupNormalization；X′是经过变换后的特征图；σ是sigmoid激活函数。

3、将特征图X″变形回[B,CH,H,W]的形状，使用残差连接将特征图X″与特征图C1进行融合，得到特征图X₁。

对于特征图C2，采用如图4所示的端到端注意力模块对其进行处理，得到处理后的特征图X₂。具体如下：

1、将特征图C2根据通道维度分为G个组，并将每个组内的特征图在通道维度分为两个分支X_ch和X_spatial；

2、针对分支X_ch做通道注意力变换生成权重矩阵并进行融合，矩阵中同时包含了通道信息和空间位置信息；

生成权重矩阵并进行融合的过程如下：

(1)对分支X_ch的H,W方向分别做1D全局池化，并将得到的两个向量连接；其中，对特征图C2中的第c个通道在W方向做1D全局池化的公式如下：

式中，

代表特征图在第c个通道高度为h处的输出值；x_c代表特征图第c个通道。

类似的，对特征图C2中的第c个通道在H方向做1D全局池化的公式如下：

式中，

代表特征图在第c个通道宽度为w处的输出值。

(2)将得到的两个向量进行连接后，使用1*1的卷积使其融合，融合公式如下：

f＝δ(F₁([z^h,z^w]))

X′_ch＝fX_ch

式中，δ代表非线性激活函数；F₁代表用1*1卷积实现的变换；X′_ch代表经过通道注意力变换后的特征图。

此时给通道赋权重的矩阵中，不仅包含了通道信息，还包含了空间位置信息。

3、采用如下公式对另一个分支X_spatial做空间注意力变换：

X′_spatial＝σ(W₀·GN(X_spatial)+b)·X_spatial

式中，X′_spatial是经过空间注意力变换后的特征图。

4、将两个分支合并，并将合并后的特征图变形回原始形状，得到特征图X₂。

三、将处理后的具有不同感受野的特征图进行有效融合。

本实施例采用了如图5所示的ffm模块，将由特征图C1经过变换后得到的特征图X₁和由特征图C2经过变换后得到的特征图X₂进行有效融合。具体操作为：使用插值法将特征图X₁和特征图X₂上采样变换到相同大小，然后再使用1*1卷积对其进行融合。

四、将特征图进行上采样和归一化后，对感兴趣部位进行分割。

首先，对融合后的特征图进行上采样操作，同时使通道数减少为待分割种类数。然后，针对特征图图内的每个像素点进行归一化操作，得到感兴趣的分割部位，最终可获得预测的分割结果特征图X。

五、采用RMSprop算法作为网络优化算法，并通过反向传播的方式更新神经网络参数，使分割结果逐渐逼近正确结果，完成超声心动图像多目标分割任务。

基于深度学习的机制，通过不断优化神经网络参数，可以实现分割结果与正确结果之间误差的减小。具体过程如下：

1、通过交叉熵损失函数计算预测的分割结果特征图X与真值之间的损失。

本实施例中，交叉熵函数使用的公式如下：

式中，L代表计算得到的损失值；M代表待分割数，在本实施例中，待分割的部位包括：左心室外膜、左心室内膜、左心房和背景，故此处M＝4；y_c代表一个one-hot类型的向量，向量内的每个元素代表该像素点属于各个类别的可能性；p_c代表预测样本属于c类别的概率。

同时，通过辅助损失来监督神经网络的训练，其公式如下：

L(X；W)＝L_P(X；W)+∝L_A1(X₁；W)+∝L_A2(X₂；W)

式中，X代表最终预测的分割结果特征图；W代表真值；参数∝用来平衡主损失L_P和辅助损失L_A1,L_A2之间的权重关系；∝＝0.2,L_A1计算的是特征图X₁与真值之间的损失,L_A2计算的是特征图X₂与真值之间的损失，L_P计算的是最终预测出的特征图与真值之间的损失。

在训练过程中，采用RMSprop算法作为网络优化算法，初始学习率设置为1e-8，动量设置为0.9，批大小(Batch_size)设置为24，应用ReduceLROnPlateau策略作为学习率的调整。所有实验都在装有ATX5000的计算机上进行，并且网络的训练和测试在PyTorch上实现。

2、通过反向传播的方式优化神经网络参数，使分割结果逐渐逼近正确结果。

表1为采用本实施例方案与现有其它方案的分割对比结果：

表1

各指标释义：

其中，GT代表真值；AT代表预测的分割结果特征图；TP代表被正确预测为真值的像素点个数；TN代表被正确预测为背景的像素点个数；FP代表被错误预测为真值的像素点个数；FN代表被错误预测为背景的像素点个数。

根据表1的结果可以看出，本实施例的分割准确率至少高出现有其它方案2个百分点，同时，在Jacc、Dice分割系数、Precision和Specificity等指标中，部分分割结果与现有其它方案相差不超过1个百分点，其余分割结果则高出其它现有方案2个百分点以上，最高可达到30多个百分点。

可见，采用本发明方案对超声心动图像进行多目标语义分割，其整体分割质量和精度上要好于现有技术，很好地解决了目前超声心动图像自动分割效果差的问题，为评估各种心脏功能提供了更好的保障。

上述实施例仅为本发明的优选实施方式，不应当用于限制本发明的保护范围，凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。

Claims (10)

1.一种针对超声心动图像的多目标语义分割方法，其特征在于，包括以下步骤：

(1)根据超声心动图像，使用两种不同类型的卷积核对待识别数据依次进行卷积-下采样操作，得到两种不同类别的下采样特征图C1和C2，其中，特征图C1大小不超过原始超声心动图像的1/8，特征图C2大小不超过原始超声心动图像的1/4；特征图C1蕴含的语义信息更加丰富，特征图C2蕴含的空间结构信息更加丰富；

(2)利用端到端方式的注意力机制，使用特征图C1上下文信息内的像素点对之间的关联，对局部区域内的语义信息进行校正，得到处理后的特征图X₁；

(3)利用端到端方式的注意力机制对特征图C2进行处理，将特征图C2根据通道维度进行分组，且每个组内的特征图在通道维度上具有两个分支，对其中一个分支进行通道注意力变换，另一个分支进行空间注意力变换，最后合并两个分支，得到特征图X₂；

(4)将特征图X₁和特征图X₂融合；

(5)对融合后的特征图进行上采样和归一化操作，得到感兴趣的分割部位，从而获得预测的分割结果特征图X；

(6)通过交叉熵损失函数计算预测的分割结果特征图X与真值之间的损失，并通过反向传播的方式更新神经网络参数，使分割结果逐渐逼近正确结果，实现针对超声心动图像的多目标语义分割。

2.根据权利要求1所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，在获得特征图C1和C2之前，先采用高斯滤波对超声心动图像进行去噪处理，选用的高斯核大小为3×3；去噪后，将待识别的图像尺寸统一缩放为A×A，80≤A≤256。

3.根据权利要求1或2所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(1)中，使用在ImageNet上预训练过的resnet50对超声心动图像进行下采样和信息提取，得到特征图C1；使用大的卷积核以步长stride＝2划过超声心动图像，得到特征图C2。

4.根据权利要求3所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(2)包括以下步骤：

(21)对特征图C1进行变形操作并截取出小块；所述特征图C1的大小为[B,CH,H,W]，其中B是批尺寸，CH是通道数，H、W是特征图C1在空间范围内的长度、宽度；变形操作和截取小块的过程如下：

(211)对特征图C1的通道进行分组，分为G个组，则变形后的特征图C1的大小为[B*G,CH//G,H,W]；

(212)在[H,W]维度中以步长stride＝2，不断取出dh＝2，dw＝2的小块，将特征图变形为[B*G*nh*nw,CH//G,dh,dw]；其中nh＝H//dh，nw＝H//dw，简写为[B′,CH′,dh,dw]，且B′＝B*G*nh*nw，CH′＝CH//G；

(22)对步骤(212)中变形后的特征图进行线性变换，使通道数由CH′变换为CH″,CH″≥64，线性变换后计算在同一通道内像素点对之间的关联性；

(23)根据上下文关系，使用如下空间注意力机制增强像素点对之间的关联，获得特征图X″：

X″＝σ(W₀·GN(X′)+b)·X′

其中W₀、b均为可学习的权重矩阵，大小为[CH″,1,1]，其中，权重矩阵的初始值随机，在神经网络梯度反向传播的过程中，权重矩阵的值将不断得到更新；GN是GroupNormalization；X′是经过变换后的特征图；σ是sigmoid激活函数；

(24)将特征图X″变形回[B,CH,H,W]的形状，使用残差连接将特征图X″与特征图C1进行融合，得到特征图X₁。

5.根据权利要求4所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(22)中，计算在同一通道内像素点对之间的关联性的方法如下：

使用Softmax归一化函数计算某个像素点属于类别I的概率：

其中i＝1,2,3,…,CH″

Softmax函数将由CH″个实数的向量z作为输入，并将其归一化为由与输入数的指数成比例的CH″个概率组成的概率分布，其中，向量z中的元素代表[h,w]维度中的某个像素点在不同通道的像素值；z_i代表像素点在第i个通道处的值；z_j代表像素点在第j个通道处的值；

若同一通道内经过变换处理后的值不为0的像素点值越相似，则两个像素点越有可能属于同一类别，两个像素点之间的相关性越强。

6.根据权利要求4或5任一项所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(3)包括以下步骤：

(31)将特征图C2根据通道维度分为G个组，并将每个组内的特征图在通道维度分为两个分支X_ch和X_spatial；

(32)针对分支X_ch做通道注意力变换生成权重矩阵并进行融合，矩阵中同时包含了通道信息和空间位置信息；

生成权重矩阵并进行融合的过程如下：

(321)对分支X_ch的H,W方向分别做1D全局池化，并将得到的两个向量连接；其中，对特征图C2中的第c个通道在W方向做1D全局池化的公式如下：

式中，

代表特征图在第c个通道高度为h处的输出值；x_c代表特征图第c个通道；

对特征图C2中的第c个通道在H方向做1D全局池化的公式如下：

式中，

代表特征图在第c个通道宽度为w处的输出值；

(322)将得到的两个向量进行连接后，使用1*1的卷积使其融合，融合公式如下：

f＝δ(F₁([z^h,z^w]))

X′_ch＝fX_ch

式中，δ代表非线性激活函数；F₁代表用1*1卷积实现的变换；X′_ch代表经过通道注意力变换后的特征图；

(33)采用如下公式对分支X_spatial做空间注意力变换：

X′_spatial＝σ(W₀·GN(X_spatial)+b)·X_spatial

式中，X′_spatial是经过空间注意力变换后的特征图；

(34)将两个分支合并，并将合并后的特征图变形回原始形状，得到特征图X₂。

7.根据权利要求6所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(4)中，使用插值法将特征图X₁和特征图X₂上采样变换到相同大小，再使用1*1卷积对其进行融合。

8.根据权利要求7所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(5)具体为：

(51)对融合后的特征图进行上采样操作，同时使通道数减少为待分割种类数；

(52)针对特征图图内的每个像素点进行归一化操作，得到感兴趣的分割部位，从而获得预测的分割结果特征图X。

9.根据权利要求8所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(6)中，交叉熵函数使用的公式如下：

式中，L代表计算得到的损失值；M代表待分割数；y_c代表一个one-hot类型的向量，向量内的每个元素代表该像素点属于各个类别的可能性；p_c代表预测样本属于c类别的概率。

10.根据权利要求9所述的一种针对超声心动图像的多目标语义分割方法，其特征在于，所述步骤(6)中，还使用了辅助损失来监督神经网络的训练，其公式如下：

L(X；W)＝L_P(X；W)+∝L_A1(X₁；W)+∝L_A2(X₂；W)

式中，X代表最终预测的分割结果特征图；W代表真值；参数∝用来平衡主损失L_P和辅助损失L_A1,L_A2之间的权重关系；∝＝0.2,L_A1计算的是特征图X₁与真值之间的损失,L_A2计算的是特征图X₂与真值之间的损失，L_P计算的是最终预测出的特征图与真值之间的损失；

在训练过程中，初始学习率设置为1e-8，动量设置为0.9，批大小设置为24，应用ReduceLROnPlateau策略作为学习率的调整。

Images