CN113689369B

CN113689369B - 一种基于深度学习的医学分割多阶段融合方法及装置

Info

Publication number: CN113689369B
Application number: CN202110762252.8A
Authority: CN
Inventors: 徐枫; 唐瑞杰
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2021-07-06
Filing date: 2021-07-06
Publication date: 2022-12-02
Anticipated expiration: 2041-07-06
Also published as: CN113689369A

Abstract

本发明提出一种基于深度学习的医学分割多阶段融合方法及装置，其中，包括：获取待分割的三维医学影像数据；从三个相互正交的方向分别将三维医学影像数据切分为多个三维切片；获取预先训练完成的与三个相互正交的方向分别对应的三个二维神经网络，并将同一方向上的多个三维切片输入至对应的二维神经网络中；通过每个二维神经网络对输入的每个三维切片进行分割预测，依次获取每两个相邻的三维切片间相同的影像数据的三个分割预测结果；对三个二维神经网络输出的分割预测结果进行第二阶段的融合。本申请提出的方法可以保证分割结果的连贯性并且减少假阳的出现，从而提高分割结果的准确性。

Description

一种基于深度学习的医学分割多阶段融合方法及装置

技术领域

本发明涉及深度学习、医学影像技术领域，尤其涉及一种基于深度学习的多阶段融合医学分割方法。

背景技术

图像分割技术是计算机视觉中很重要的一个领域，用于将图像中感兴趣的区域选择出来。近年来随着图像分割技术的成熟，一些其他学科领域也开始使用该技术，其中医学影像领域也出现了使用基于深度学习的图像分割技术进行器官分割或者病灶分割的工作。

在医学影像领域中，由于医学影像数据大多数是三维的，一些用于处理三维数据的图像分割方法被陆续提出，比如先将三维数据拆分成二维数据输入给分割网络，得到的一系列二维分割结果拼合成三维结果；或者直接用三维的分割网络处理三维数据得到分割结果。但是目前二维或者三维的方法都存在一定的局限性。三维方法受限于显存大小，训练时一般只能一次输入非常少的训练数据，并且由于三维网络目前没有很好的预训练模型，直接从零训练很多时候无法达到很好的分割效果。二维方法能够克服三维方法的局限性，但是由于输入数据只有单层的二维数据，缺少相邻层的信息，最终预测出的结果可能会存在分割不完整、不连续的情况，并且只有二维信息时，要分割的目标和其他组织会无法区分导致假阳的出现。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于深度学习的医学分割多阶段融合方法，以实现能够保证分割结果的连贯性并且减少假阳的出现，从而提高分割结果的准确性。

本发明的第二个目的在于提出一种基于深度学习的医学分割多阶段融合装置

本发明的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种基于深度学习的医学分割多阶段融合方法，包括以下步骤：

获取待分割的三维医学影像数据；

从三个相互正交的方向分别将所述三维医学影像数据切分为多个三维切片，其中，每个所述三维切片包括三层影像数据，且同一方向上相邻的两个所述三维切片间存在相同的影像数据；

获取预先训练完成的与所述三个相互正交的方向分别对应的三个二维神经网络，并将同一方向上的所述多个三维切片输入至对应的所述二维神经网络中；

通过每个所述二维神经网络对输入的每个三维切片进行分割预测，依次获取每两个相邻的所述三维切片间相同的影像数据的三个分割预测结果，并分别对所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果进行第一阶段融合，以使所述二维神经网络输出对应方向上的所述多个三维切片的分割预测结果；

对所述三个二维神经网络输出的分割预测结果进行第二阶段的融合，以获取对所述待分割的三维医学影像数据的分割预测结果。

可选地，在本申请的一个实施例中，在所述获取待分割的三维医学影像数据之前，还包括：

获取三维医学影像训练数据以及所述训练数据对应的分割标注；

从所述三个相互正交的方向分别将所述训练数据和所述分割标注切分为多个三维切片，将同一方向上切分出的多个三维切片作为一个训练数据集，以形成三个不同的训练数据集，其中，每个所述三维切片包括三层影像数据，且同一方向上相邻的两个所述三维切片间存在相同的影像数据；

通过所述三个不同的训练数据集分别训练用于医学影像分割的二维神经网络，以获得所述与所述三个相互正交的方向分别对应的三个二维神经网络。

可选地，在本申请的一个实施例中，通过最小化以下公式训练用于医学影像分割的二维神经网络：

E＝||f(I)-M||

其中，E是能量函数，I是所述训练数据集中三维切片数据，M是所述三维切片数据对应的分割标注，是f二维神经网络。

可选地，在本申请的一个实施例中，所述三个相互正交的方向，包括：矢状面方向、冠状面方向和横断面方向。

可选地，在本申请的一个实施例中，所述从三个相互正交的方向分别将所述三维医学影像数据切分为多个三维切片，包括：

在每个方向上将所述三维医学影像数据划分为N层，其中，N为正整数；

选取第i-1层、第i层和第i+1层的影像数据组成第i个三维切片，其中，i为小于等于N的正整数，当i-1或i+1在区间[1，N]之外时，选取每个像素为0的影像数据为所述i-1或i+1层的影像数据。

可选地，在本申请的一个实施例中，所述对所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果进行第一阶段融合，包括：计算所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果的平均值；所述对所述三个二维神经网络输出的分割预测结果进行第二阶段的融合，包括：计算所述三个二维神经网络输出的分割预测结果的平均值。

为达上述目的，本申请第二方面实施例提出本发明一种基于深度学习的医学分割多阶段融合装置，包括以下模块：

第一获取模块，用于获取待分割的三维医学影像数据；

第一切分模块，用于从三个相互正交的方向分别将所述三维医学影像数据切分为多个三维切片，其中，每个所述三维切片包括三层影像数据，且同一方向上相邻的两个所述三维切片间存在相同的影像数据；

第二获取模块，用于获取预先训练完成的与所述三个相互正交的方向分别对应的三个二维神经网络，并将同一方向上的所述多个三维切片输入至对应的所述二维神经网络中；

第一融合模块，用于通过每个所述二维神经网络对输入的每个三维切片进行分割预测，依次获取每两个相邻的所述三维切片间相同的影像数据的三个分割预测结果，并分别对所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果进行第一阶段融合，以使所述二维神经网络输出对应方向上的所述多个三维切片的分割预测结果；

第二融合模块，用于对所述三个二维神经网络输出的分割预测结果进行第二阶段的融合，以获取对所述待分割的三维医学影像数据的分割预测结果。

可选地，在本申请的一个实施例中，还包括：

第三获取模块，用于获取三维医学影像训练数据以及所述训练数据对应的分割标注；

第二切分模块，用于从所述三个相互正交的方向分别将所述训练数据和所述分割标注切分为多个三维切片，将同一方向上切分出的多个三维切片作为一个训练数据集，以形成三个不同的训练数据集，其中，每个所述三维切片包括三层影像数据，且同一方向上相邻的两个所述三维切片间存在相同的影像数据；

训练模块，用于通过所述三个不同的训练数据集分别训练用于医学影像分割的二维神经网络，以获得所述与所述三个相互正交的方向分别对应的三个二维神经网络。

可选地，在本申请的一个实施例中，所述训练模块具体用于通过最小化以下公式训练用于医学影像分割的二维神经网络：

E＝||f(I)-M||

其中，E是能量函数，I是所述训练数据集中三维切片数据，M是所述三维切片数据对应的分割标注，f是二维神经网络。

本申请的技术效果：本发明针对三维医学分割问题提出一种基于深度学习的多阶段融合方法，从三个彼此正交的方向将三维医学影像数据切分成厚度更小的三维切片且保证相邻切片彼此内容有重叠，形成三个不同的数据集，分别训练三个不同的医学分割模型。在应用时，对于新的三维医学影像数据，首先从同样的彼此正交的三个方向进行切分成更小的切片分别输入给对应的分割模型，每个分割模型会将相邻切片内容重叠部分的预测结果进行融合，即第一阶段的融合；最终三个分割模型预测出的整体结果再进行融合得到最终的分割结果，即第二阶段的融合。通过这种多阶段融合的方法能够保证分割结果的连贯性并且减少假阳的出现，从而提高分割结果的准确性。

为达上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的基于深度学习的医学分割多阶段融合方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例的基于深度学习的医学分割多阶段融合方法的流程图。

图2是本申请实施例的数据切分方向图示的示意图；

图3为本申请实施例的基于深度学习的医学分割多阶段融合装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的一所提供的一种基于深度学习的医学分割多阶段融合方法

如图1所示，为达上述目的，本发明第一方面实施例提出了一种基于深度学习的医学分割多阶段融合方法，包括以下步骤：

步骤S10、获取待分割的三维医学影像数据。

步骤S20、从三个相互正交的方向分别将所述三维医学影像数据切分为多个三维切片，其中，每个所述三维切片包括三层影像数据，且同一方向上相邻的两个所述三维切片间存在相同的影像数据。

步骤S30、获取预先训练完成的与所述三个相互正交的方向分别对应的三个二维神经网络，并将同一方向上的所述多个三维切片输入至对应的所述二维神经网络中。

步骤S40、通过每个所述二维神经网络对输入的每个三维切片进行分割预测，依次获取每两个相邻的所述三维切片间相同的影像数据的三个分割预测结果，并分别对所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果进行第一阶段融合，以使所述二维神经网络输出对应方向上的所述多个三维切片的分割预测结果。

步骤S50、对所述三个二维神经网络输出的分割预测结果进行第二阶段的融合，以获取对所述待分割的三维医学影像数据的分割预测结果。

在本申请的一个实施例中，进一步地，在所述获取待分割的三维医学影像数据之前，还包括：

可以理解的是，本申请实施例的基于深度学习的医学分割多阶段融合方法，在实际应用中，在预先训练连二维神经网络时，从三个彼此正交的方向将三维医学影像数据切分成厚度更小的三维切片且保证相邻切片彼此内容有重叠，形成三个不同的数据集，分别训练三个不同的二维医学分割模型。通过将三维数据切分成更小的三维切片能够增加训练时单次输入的训练数据量，并且在本申请中当切片厚度为3时能够利用相关技术中的二维网络中常用的预训练模型。而相比二维方法，本申请中单模型的输入为多层数据，能够利用相邻层信息，从而预测出更完整、更具有连续性的分割结果。

进一步的，对于新获取的待分割的三维医学影像数据，首先从同样的彼此正交的三个方向进行切分成更小的切片分别输入给对应的分割模型，每个分割模型会将相邻切片内容重叠部分的预测结果进行融合，即第一阶段的融合；最终三个分割模型预测出的整体结果再进行融合得到最终的分割结果，即第二阶段的融合。而多个模型的融合本质上是从多个方向来对医学三维影像数据进行更全面的观察，以此将要分割的目标内容和其他一些组织区分开来，最终减少假阳的产生。

在本申请的一个实施例中，进一步地，具体而言，收集三维医学影像数据及对应的分割标注。本发明方法可以对目前主流的三维医学影像数据进行处理，比如CT、MR等影像格式，设定影像数据三个维度的像素数分别为H、W、C；对应的分割标注也是H、W、C尺寸的数据，每个像素为0或1,1代表是分割目标，0代表背景区域。

在本申请的一个实施例中，在训练二维神经网络时，本申请可以使用trans-unet进行训练，其中编码器部分为ResNet+Transformer的组合，具体可使用现在已有的开源预训练模型。其中，在训练模型时，通过最小化以下公式训练用于医学影像分割的二维神经网络：

E＝||f(I)-M||

在本申请的一个实施例中，进一步地，如附图2所示，所述三个相互正交的方向，包括：矢状面(sagittal plane)方向、冠状面(coronal plane)方向和横断面(transverseplane)方向，需要说明的是，本申请中进行切分的三个方向也可以为其他方向，仅需要保证三个方向相互正交，此处不做限制。

在本申请的一个实施例中，进一步地，如附图2所示，从三个彼此正交的方向分别将数据和标注都切分成厚度为3的三维切片且保证相邻的切片彼此内容有重叠，形成三个不同的数据集。

所述从三个相互正交的方向分别将所述三维医学影像数据切分为多个三维切片，包括：

举例而言，沿冠状面方向进行切分时，从第1层开始，每次往下移动一层直到第N层，在第i层时选取(i-1、i、i+1)三层图像形成一个三维切片，当i-1或者i+1超出1至N的范围时使用全为0的图像来补全，则可以理解的是，相邻方向上，第i-1层切片和第i层切片具有相同的第i层影像数据，第i层切片和第i+1层切片具有相同的第i层影像数据，则第i层影像数据同时被包含在第i-1层切片、第i层切片和第i+1层切片中，因此，在本申请中三维医学影像数据的每一层会同时被包含在三个切片中，通过对应方向上的二维神经网络进行分割预测时对应的会有三个预测结果，从而在后续对每两个相邻的三维切片间相同的影像数据的三个预测结果进行第一阶段融合。

进一步的，通过上述方法进行分割预测时，与三个相互正交的方向对应的三个神经网络会分别对对应方向上的切片进行分割预测，每个神经网络输出该方向上的切片的分割预测结果，从而总共得到三个分割预测结果，最终我们对三个结果进行第二阶段的融合，得到待分割的三维医学影像数据的最终的分割预测结果

在本申请的一个实施例中，进一步地，所述对所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果进行第一阶段融合，包括：计算所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果的平均值；所述对所述三个二维神经网络输出的分割预测结果进行第二阶段的融合，包括：计算所述三个二维神经网络输出的分割预测结果的平均值。

在本申请的一个实施例中，进一步地，实现本实施例方法的硬件PC配置：

CPU：Intel(R)Core(TM)i7-4720*8 2.6GHz

GPU:NVIDIA GeForce GTX 1080

CPU内存：16G

GPU显存：8G

操作系统：Windows 10

本申请的技术效果：本发明针对三维医学分割问题提出一种基于深度学习的多阶段融合方法，从三个彼此正交的方向将三维医学影像数据切分成厚度更小的三维切片且保证相邻切片彼此内容有重叠，形成三个不同的数据集，分别训练三个不同的医学分割模型。在应用时，对于新的三维医学影像数据，首先从同样的彼此正交的三个方向进行切分成更小的切片分别输入给对应的分割模型，每个分割模型会将相邻切片内容重叠部分的预测结果进行融合，即第一阶段的融合；最终三个分割模型预测出的整体结果再进行融合得到最终的分割结果，即第二阶段的融合。本申请中单模型的输入为多层数据，能够利用相邻层信息，从而预测出更完整、更具有连续性的分割结果，而多个模型的融合本质上是从多个方向来对医学三维影像数据进行更全面的观察，以此将要分割的目标内容和其他一些组织区分开来，通过这种多阶段融合的方法能够保证分割结果的连贯性并且减少假阳的出现，从而提高分割结果的准确性。

如图3所示，为了实现上述实施例，本申请第二方面实施例提出本发明一种基于深度学习的医学分割多阶段融合装置，包括以下模块：

第一获取模块，用于获取待分割的三维医学影像数据；

在本申请的一个实施例中，进一步地，还包括：

在本申请的一个实施例中，进一步地，所述训练模块具体用于通过最小化以下公式训练用于医学影像分割的二维神经网络：

E＝||f(I)-M||

为了实现上述实施例，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的基于深度学习的医学分割多阶段融合方法。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于深度学习的医学分割多阶段融合方法，其特征在于，包括以下步骤：

获取待分割的三维医学影像数据；

2.根据权利要求1所述的方法，其特征在于，在所述获取待分割的三维医学影像数据之前，还包括：

3.根据权利要求2所述的方法，其特征在于，通过最小化以下公式训练用于医学影像分割的二维神经网络：

E＝||f(I)-M||

4.根据权利要求1所述的方法，其特征在于，所述三个相互正交的方向，包括：矢状面方向、冠状面方向和横断面方向。

5.根据权利要求1或2所述的方法，其特征在于，所述从三个相互正交的方向分别将所述三维医学影像数据切分为多个三维切片，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果进行第一阶段融合，包括：计算所述每两个相邻的所述三维切片间相同的影像数据的三个预测结果的平均值；所述对所述三个二维神经网络输出的分割预测结果进行第二阶段的融合，包括：计算所述三个二维神经网络输出的分割预测结果的平均值。

7.一种基于深度学习的医学分割多阶段融合装置，其特征在于，包括：

第一获取模块，用于获取待分割的三维医学影像数据；

8.根据权利要求7所述的装置，其特征在于，还包括：

9.根据权利要求8所述的装置，其特征在于，所述训练模块具体用于通过最小化以下公式训练用于医学影像分割的二维神经网络：

E＝||f(I)-M||

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的基于深度学习的医学分割多阶段融合方法。