CN111292343A - 一种基于多视角下的肺叶分割方法和装置 - Google Patents

Abstract

本发明公开了一种基于多视角下的肺叶分割方法和装置，所述方法包括获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对所述肺图像进行分割。本公开实施例可以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。

Description

一种基于多视角下的肺叶分割方法和装置

技术领域

本发明涉及生物医学工程领域，具体说是一种基于多视角下的肺叶分割方法和装置。

背景技术

在医学图像领域，存在多种肺叶分割的方法，如采用传统机器学习下进行肺叶分割的方法，如：CN107392910A所公开的一种基于CT图像的肺叶分割方法和装置对肺叶进行了详细的分割。同时也有基于深度学习的方法对肺叶进行分割的方法，如：论文Automaticsegmentation of pulmonary lobes using a progressive dense v-network。

但是，目前肺叶分割是利用肺的一个视角图像进行肺叶的分割，没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶。

发明内容

有鉴于此，本发明提供一种基于多视角下的肺叶分割方法和装置，以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。

第一方面，本发明提供一种基于多视角下的肺叶分割方法，包括：

获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；

利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；

利用校正后的肺叶裂隙特征对所述肺图像进行分割。

优选地，所述利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正的方法为：

将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；

利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。

优选地，所述利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：

分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；

根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。

优选地，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：

分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；

对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；

对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；

利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。

优选地，所述利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征的方法为：

利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，得到所述第二融合特征；以及/或

利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。

优选地，所述获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为：

获得在矢状面、冠状面以及横断面下的多序列肺图像；

分别对所述矢状面、冠状面以及横断面下的多序列肺图像进行肺叶裂隙特征提取，得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。

优选地，所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为：

将所述矢状面、冠状面以及横断面任意二个的多序列肺图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。

优选地，通过特征提取神经网络获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征，所述特征提取神经网络，包括：第一分支网络、第二分支网络和第三分支网络；

训练所述特征提取神经网络的过程，包括：

获取矢状面下、冠状面下以及横断面下的训练样本，所述训练样本为带有标记肺叶裂隙特征的肺图像样本；

利用所述第一分支网络对矢状面下的肺图像样本执行特征提取，得到第一预测肺叶裂隙特征；

利用所述第二分支网络对冠状面下的肺图像样本执行特征提取，得到第二预测肺叶裂隙特征；

利用所述第三分支网络对横断面下的肺图像样本执行特征提取，得到第三预测肺叶裂隙特征；

分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失，并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。

优选地，所述第一分支网络、所述第二分支网络和所述第三分支网络的网络结构相同；

所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数。

第二方面，本发明提供一种基于多视角下的肺叶分割装置，包括：处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行如上述的肺叶分割方法。

本发明至少具有如下有益效果：

本发明提供一种基于多视角下的肺叶分割方法和装置，以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。

附图说明

通过以下参考附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点更为清楚，在附图中：

图1是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图；

图2是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是值得说明的是，本发明并不限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。然而，对于没有详尽描述的部分，本领域技术人员也可以完全理解本发明。

此外，本领域普通技术人员应当理解，所提供的附图只是为了说明本发明的目的、特征和优点，附图并不是实际按照比例绘制的。

同时，除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包含但不限于”的含义。

本公开实施例提供的基于多视角下的肺叶分割方法的执行主体可以为任意的图像处理装置，例如基于多视角下的肺叶分割方法可以由终端设备或服务器执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以为本地服务器或者云端服务器。在一些可能的实现方式中，该基于多视角下的肺叶分割方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

图1是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。如图1所示，本公开实施例中的基于多视角下的肺叶分割方法，包括：

步骤101：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；

在一些可能的实施方式中，可以通过特征提取处理的方式，提取不同视角下的肺图像的肺叶裂隙特征。肺叶裂隙特征是用于执行肺图像中的各肺叶区域的分割处理的特征。

本公开实施例可以分别对矢状面、冠状面以及横断面视角下的肺图像执行特征提取处理，得到相应视角下的肺图像的裂隙特征，即可以分别得到肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。本公开实施例中，各视角下的肺叶裂隙特征可以表示为矩阵或者向量的形式，肺叶裂隙特征可以表示相应视角下的肺图像在各像素点处的特征值。

在一些可能的实施方式中，本公开实施例可以通过拍摄CT(ComputedTomography，计算机断层影像)的方式得到在不同视角下的肺图像。对应的，在每个视角下可以得到多个断层图像，即为肺图像，同时同一视角下的该多个肺图像可以构造形成三维肺部图像。例如，可以将同一视角下的该多个肺图像进行堆叠，得到三维肺部图像，或者也可以执行线性拟合或者曲面拟合，得到三维肺部图像。

在一些可能的实施方式中，可以通过特征提取神经网络执行该特征提取处理。例如可以对神经网络训练，实现神经网络对肺部图像的肺叶裂隙特征的精确提取，并通过得到的特征执行肺叶分割。在肺叶分割的精度超过精度阈值的情况下，表示该神经网络得到的肺叶裂隙特征的精确度满足要求，此时可以将神经网络中执行分割的网络层去掉，保留的网络部分即可以作为本公开实施例的特征提取神经网络。其中，特征提取神经网络可以为卷积神经网络，如可以为残差网络、金字塔特征网络、U网络，上述仅为示例性说明，不作为本公开的具体限定。

步骤102：利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；

在一些可能的实施方式中，在得到三个视角下的肺叶裂隙特征的情况下，可以利用其中两个视角下的肺叶裂隙特征对第三个视角下的肺叶裂隙特征进行校正，提高第三个视角下的肺叶裂隙特征的精确度。

在一个示例中，本公开实施例可以利用冠状面和横断面视角下的肺叶裂隙特征，对矢状面视角下的肺叶裂隙特征进行校正。在其他实施例中，也可以通过三种视角的肺叶裂隙特征中任意两种肺叶裂隙特征校正另一肺叶裂隙特征。为了方便描述，下述实施例中通过第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正进行描述。其中第一肺叶裂隙特征、第二肺叶裂隙特征以及第三肺叶裂隙特征与本公开实施例的三个视角下的肺叶裂隙特征分别对应。

在一些可能的实施方式中，可以采用映射的方式将第一肺叶裂隙特征和第二肺叶裂隙特征转换到第三肺叶裂隙特征的视角下，并利用映射得到的两个肺叶裂隙特征与第三肺叶裂隙特征执行特征融合，得到校正后的肺叶裂隙特征。

步骤103：利用校正后的肺叶裂隙特征对所述肺图像进行分割。

在一些可能的实施方式中，可以直接通过校正后的肺叶裂隙特征执行肺叶分割，得到肺叶裂隙的分割结果。或者，在其他实施方式中，也可以将校正后的肺叶裂隙特征与第三肺叶裂隙特征执行特征融合处理，基于融合结果执行肺叶分割，得到肺叶裂隙的分割结果。其中，分割结果可以包括识别出的肺图像中的各个分区对应的位置信息。例如，肺图像可以包括五个肺叶区域，分别为右上叶、右中叶、右下叶、左上叶和左下叶，得到分割结果中可以包括上述五个肺叶在肺图像中分别所在的位置信息。本公开实施例可以通过掩码特征的方式表示分割结果，也就是说，本公开实施例得到的分割结果可以是表示为掩码形式的特征，例如，本公开实施例可以为上述五个肺叶区域分别分配唯一对应的掩码值，如1、2、3、4和5，每个掩码值形成的区域即为相应的肺叶所在的位置区域。上述掩码值仅为示例性说明，在其他实施例中也可以配置其他的掩码值。

基于上述实施例，可以充分融合三个视角下的肺叶裂隙特征，提高校正后的裂隙特征的信息含量以及准确度，进而提高肺叶分割结果的精确度。

为了详细的说明本公开实施例，下面分别对本公开实施例的各过程进行说明。

本公开实施例中，所述获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为：

获得在矢状面、冠状面以及横断面下的多序列肺图像；分别对所述矢状面、冠状面以及横断面下的多序列肺图像进行肺叶裂隙特征提取，得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。

本公开实施例可以首先获取三个视角下的多序列肺图像，如上述实施例所述，可以通过CT成像的方式采集肺图像在不同视角下的多层肺图像(多序列图像)，通过每个视角下的多层肺图像均可以得到三维形式的肺部图像。

在得到三个视角下的多序列肺图像的情况下，可以对各肺图像执行特征提取处理，例如通过上述特征提取神经网络对各视角下的肺图像执行特征提取处理，得到三个视角下的每个图像的肺叶裂隙特征，如在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。其中，由于每个视角下可以包括多个肺图像，本公开实施例可以通过多个特征提取神经网络并行的执行该多个肺图像的特征提取处理，提高特征提取效率。图2是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。如图2所示，本公开实施例执行特征提取处理的网络可以为U网络(U-net)，也可以为其他的能够执行特征提取的卷积神经网络。

在得到各个视角下的肺图像的肺叶裂隙特征的情况下，可以利用矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正，该过程可以包括：

将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。

为了描述方便，下述以第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正为例进行说明。

由于在不同视角下，提取的肺叶裂隙特征不同，本公开实施例可以将三个视角下的肺叶裂隙特征映射转换到一个视角下。其中，所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为：将所述矢状面、冠状面以及横断面任意二个的多序列肺图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。也就是说，可以将第一肺叶裂隙特征和第二肺叶裂隙特征映射转换到第三肺叶裂隙特征所在的视角。其中，通过视角的映射转换，可以使得映射后得到的肺叶裂隙特征中融合映射之前视角的特征信息。

如上述实施例所述，本公开实施例在每个视角下可以得到多个肺图像，该多个肺图像对应的具有多个肺叶裂隙特征。肺叶裂隙特征中各特征值与相应的肺图像各像素点一一对应。

本公开实施例可以根据一个视角下的多个肺图像形成的三维立肺图像，确定将该视角转换到另一视角时肺图像中各像素点之间位置映射关系，如某一像素点从第一视角的第一位置切换到第二视角的第二位置，此时，该第一视角下的第一位置对应的特征值被映射到第二位置。通过上述实施例，可以实现不同视角下各肺图像的肺叶裂隙特征之间的映射转换。

在一些可能的实施方式中，在将三个视角的肺叶裂隙特征映射到相同的视角下的情况下，可以利用映射后的两个肺叶裂隙特征对第三肺叶裂隙特征执行校正处理，提高第三肺叶裂隙特征的信息含量和精确度。

本公开实施例中，所述利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：

分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。

本公开实施例可以将第一肺叶裂隙特征映射后的特征称为第一映射特征，以及将第二肺叶裂隙特征映射后的特征称为第二映射特征。在得到第一映射特征和第二映射特征的情况下，可以执行第一映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第一融合特征，以及执行第二映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第二融合特征。

其中，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：

分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。

在一些可能的实施方式中，如图2所示，可以通过空间注意力机制的网络模块执行上述空间注意力特征融合处理本公开实施例考虑到肺叶裂隙特征在不同位置上的重要性不同，采用了空间注意力机制。其中，可以通过空间注意力神经网络(attention)实现基于注意力机制的卷积处理，得到的融合特征中进一步突出了重要的特征。在该空间注意力神经网络的训练过程中可以自适应的学到空间特征每个位置的重要性，形成与每个位置的特征对象的注意力系数，例如该系数可以表示[0,1]区间的系数值，系数越大说明相应位置的特征越重要。

在执行空间注意力融合处理的过程中，可以首先对第一映射特征和第三肺叶裂隙特征执行连接处理得到第一连接特征，对第二映射特征和第三肺叶裂隙特征执行连接处理得到第二连接特征，上述连接处理可以为在通道方向上进行连接(concatenate)。本公开实施例中，第一映射特征、第二映射特征以及第三肺叶裂隙特征的尺度均可以标识为(C/2，H，W)，其中C表示各特征的通道数，H表示特征的高度，W表示特征的宽度。对应的，通过连接处理得到的第一连接特征和第二连接特征的尺度可以表示为(C，H，W)。

在得到第一连接特征和第二连接特征的情况下，可以分别对各第一连接特征和第二连接特征执行第一卷积操作，如利用卷积层A通过3*3的卷积核执行该第一卷积操作，而后还可以执行批归一化(bn)以及激活函数(relu)处理，得到与第一连接特征对应的第一卷积特征，以及与第二连接特征对应的第二卷积特征。该第一卷积特征和第二卷积特征的尺度可以表示为(C/2，H，W)，通过第一卷积操作可以减少特征图中的参数，减少了后续的计算成本。

在一些可能的实施方式中，在得到第一卷积特征和第二卷积特征的情况下，可以分别对第一卷积特征和第二卷积特征执行第二卷积操作以及sigmoid函数处理，分别得到对应的第一注意力系数和第二注意力系数。其中第一注意力系数可以表示第一卷积特征各个元素的特征的重要程度，以及第二注意力系数可以表示第二卷积特征中元素的特征的重要程度。

如图2所示，针对第一卷积特征或者第二卷积特征，均可以采用两个卷积层B和C执行该第二卷积操作，其中卷积层B通过1*1的卷积核处理后，执行批归一化(bn)以及激活函数(relu)处理，得到第一中间特征，该第一中间特征图的尺度可以表示为(C/8，H，W)，而后通过第二个卷积层C对该第一中间特征图执行1*1卷积核的卷积操作，得到(1，H，W)的第二中间特征图。进一步可以对该第二中间特征图使用sigmoid函数执行激活函数处理，得到第一卷积特征或者第二局演技特征对应的注意力系数，注意力系数的系数值可以为[0,1]范围内的数值。

通过上述第二卷积操作可以对第一连接特征和第二连接特征执行降维处理，得到单通道的注意力系数。

在一些可能的实施方式中，在得到第一卷积特征对应的第一注意力系数以及第二卷积特征对应的第二注意力系数的情况下，可以对第一卷积特征和第一注意力系数执行乘积处理，并将乘积结果与第一卷积特征相加，得到第一融合特征。以及对第二卷积特征和第二注意力系数矩阵执行乘积处理，并将乘积结果与第二卷积特征相加得到第二融合特征。其中，乘积处理(mul)可以为对应元素相乘，以及特征相加(add)可以为对应元素相加。通过上述方式可以将实现三个视角下特征的有效融合。

或者，在另一些实施方式中，也可以利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；以及利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。通过该方式可以进一步提高融合特征的精确度，以及提高融合的信息含量。

在得到第一融合特征以及第二融合特征的情况下，可以利用第一融合特征和第二融合特征得到校正后的第三肺叶裂隙特征。

在一些可能的实施方式中，由于第一融合特征和第二融合特征中分别包括三个视角下的特征信息，因此可以直接通过将第一融合特征和第二融合特征进行连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。或者，也可以将第一融合特征、第二融合特征以及第三肺叶裂隙特征连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。

其中，该第三卷积操作可以包括分组卷积处理。通过第三卷积操作可以进一步实现每个特征中的特征信息的进一步融合。如图2所示，本公开实施例的第三卷积操作可以包括分组卷积D(depth wise conv)，其中分组卷积可以加快卷积速度，同时提高卷积特征的精度。

在通过第三卷积操作得到校正后的第三肺叶裂隙特征的情况下，可以利用校正后的肺叶裂隙特征对所述肺图像进行分割。本公开实施例可以利用卷积的方式得到校正后的肺叶裂隙特征对应的分割结果。如图2所示，本公开实施例可以将校正后的肺叶裂隙特征输入到卷积层E中，通过1*1的卷积核执行标准卷积，得到肺图像的分割结果。如上述实施例所述，该分割结果中可以表示肺图像中的五个肺叶分别所在的位置区域。如图2所示，肺图像中各肺叶区域通过深浅填充色的方式进行区分。

基于上述配置，本公开实施例提供的基于多视角下的肺叶分割方法可以以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的技术问题。

如上述实施例所述本公开实施例可以通过神经网络实现，如图2所示，本公开实施例执行多视角下的肺叶分割方法的神经网络可以包括特征提取神经网络、空间注意力神经网络以及分割网络(包括卷积层D和E)。

本公开实施例可以包括三个特征提取神经网络，分别用于提取不同视角下的肺叶裂隙特征。其中，可以将三个特征提取网络称为第一分支网络、第二分支网络和第三分支网络。其中，本公开实施例的三个分支网络的结构完全相同，每个分支网络的输入图像各不相同。例如矢状面的肺图像样本输入到第一分支网络、冠状面的肺图像样本输入到第二分支网络，以及横断面的肺图像样本输入到第三分支网络，用以分别执行各视角下的肺图像样本的特征提取处理。

具体的，本公开实施例中，训练所述特征提取神经网络的过程，包括：

获取矢状面下、冠状面下以及横断面下的训练样本，所述训练样本为带有标记肺叶裂隙特征的肺图像样本；利用所述第一分支网络对矢状面下的肺图像样本执行特征提取，得到第一预测肺叶裂隙特征；利用所述第二分支网络对冠状面下的肺图像样本执行特征提取，得到第二预测肺叶裂隙特征；利用所述第三分支网络对横断面下的肺图像样本执行特征提取，得到第三预测肺叶裂隙特征；分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失，并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。

如上述实施例所述，分别利用第一分支网络、第二分支网络和第三分支网络执行矢状面、冠状面以及横断面视角下的肺图像样本的特征提取处理，进而可以对应的得到预测的特征，即第一预测肺叶裂隙特征、第二预测肺叶裂隙特征和第三预测肺叶裂隙特征。

在得到各预测的肺叶裂隙特征的情况下，可以分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失。例如，本公开实施例的损失函数可以为对数损失函数，通过第一预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第一分支网络的网络损失，通过第二预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第二分支网络的网络损失，以及通过第三预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第三分支网络的网络损失。

在得到各分支网络的网络损失的情况下，可以根据各网络的网络损失的调整第一分支网络、所述第二分支网络和所述第三分支网络的参数，直至满足终止条件。其中，本公开实施例可以利用所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数，如卷积参数等。从而可以使得任一视角下网络参数与其余两个视角下的特征相关，可以提高提取的肺叶裂隙特征与其余两个视角下的肺叶裂隙特征的相关性以及实现各视角下的肺叶裂隙特征的初步融合。

另外，特征提取神经网络的训练终止条件为各个分支网络的网络损失均小于第一损失阈值，此时表明特征提取神经网络的各分支网络均能够精确的提取相应视角下的肺图像的肺叶裂隙特征。

在训练完成特征提取神经网络的情况下，可以利用特征提取神经网络、空间注意力神经网络以及分割网络同时进行训练，并利用分割网络输出的分割结果与标记的肺叶裂隙特征中对应的标记结果，确定整个神经网络的网络损失。并利用整个神经网络的网络损失进一步反馈调节特征提取神经网络、空间注意力神经网络以及分割网络的网络参数，直至整个神经网络的网络损失小于第二损失阈值。本公开实施例中的第一损失阈值大于或者等于第二损失阈值，从而可以提高网络的网络精度。

在应用本公开实施例的神经网络执行基于多视角下的肺叶分割时，可以将同一肺部的不同视角下肺图像分别对应的输入至三个分支网络中，最终通过这个神经网络得到最终的肺图像的分割结果。

综上所述，本公开实施例提供的一种基于多视角下的肺叶分割方法和装置，可以对多视角特征信息进行融合，执行肺图像的肺叶分割，解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。

另外，本公开实施例还提供了一种基于多视角下的肺叶分割装置，其包括：处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述实施例中任意一项所述的基于多视角下的肺叶分割方法。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

以上所述实施例仅为表达本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、同等替换、改进等，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多视角下的肺叶分割方法，其特征在于，包括：

获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；

利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；

利用校正后的肺叶裂隙特征对所述肺图像进行分割。

2.根据权利要求1所述的肺叶分割方法，其特征在于，所述利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正的方法为：

将所述任意二个的肺叶裂隙特征映射到所述第三个肺叶裂隙特征所在视角；

利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。

3.根据权利要求2所述的肺叶分割方法，其特征在于，所述利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：

分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；

根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。

4.根据权利要求3所述的肺叶分割方法，其特征在于，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：

分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；

对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；

对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；

利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。

5.根据权利要求4所述的肺叶分割方法，其特征在于，所述利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征的方法为：

利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，得到所述第二融合特征；以及/或

利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。

6.根据权利要求2-5任一项所述的肺叶分割方法，其特征在于，所述获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为：

获得在矢状面、冠状面以及横断面下的多序列肺图像；

分别对所述矢状面、冠状面以及横断面下的多序列肺图像进行肺叶裂隙特征提取，得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。

7.根据权利要求6所述的肺叶分割方法，其特征在于，所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为：

将所述矢状面、冠状面以及横断面任意二个的多序列肺图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。

8.根据权利要求1-5、7任一项所述的肺叶分割方法，其特征在于，通过特征提取神经网络获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征，所述特征提取神经网络，包括：第一分支网络、第二分支网络和第三分支网络；

训练所述特征提取神经网络的过程，包括：

获取矢状面下、冠状面下以及横断面下的训练样本，所述训练样本为带有标记肺叶裂隙特征的肺图像样本；

利用所述第一分支网络对矢状面下的肺图像样本执行特征提取，得到第一预测肺叶裂隙特征；

利用所述第二分支网络对冠状面下的肺图像样本执行特征提取，得到第二预测肺叶裂隙特征；

利用所述第三分支网络对横断面下的肺图像样本执行特征提取，得到第三预测肺叶裂隙特征；

分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失，并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。

9.根据权利要求8所述的肺叶分割方法，其特征在于：

所述第一分支网络、所述第二分支网络和所述第三分支网络的网络结构相同；

所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数。

10.一种基于多视角下的肺叶分割装置，其特征在于，包括：处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至9中任意一项所述的基于多视角下的肺叶分割方法。

Images