CN110210483B - 医疗图像病变区域分割方法、模型训练方法和设备 - Google Patents

Abstract

本发明提供一种医疗图像病变区域分割方法、模型训练方法和设备，所述医疗图像病变区域分割方法包括：利用第一神经网络从医疗图像中提取特征数据；利用第二神经网络根据所述特征数据获得病变区域的面积信息和位置信息；利用第三神经网络根据所述特征数据、所述面积信息和所述位置信息输出对病变区域的分割结果。

Description

医疗图像病变区域分割方法、模型训练方法和设备

技术领域

本发明涉及医学影像处理领域，具体涉及一种医疗图像病变区域分割方法、模型训练方法和设备。

背景技术

在计算机视觉领域，目前热点的研究方向主要有图像识别，目标定位与检测，语义分割等。图像分割是计算机视觉至关重要的组成部分，是由图像处理到图像分析的关键步骤。

图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。语义分割是在图像分割的基础上，识别出每一块区域的语义。图像语义分割是人工智能领域中一个重要的分支，目前被广泛应用在地理信息系统、无人车驾驶、医疗影像分析、机器人等领域中。

在一些医学图像的分析任务中，需要检测出一些病灶的区域，对该病灶区域进行分割，统计出面积等信息，能够帮助医生对疾病做出更准确的诊断。端到端的卷积神经网络依靠强大的表达能力在图像分割领域能够得到比较准确的结果。

现有技术通常是训练一个神经网络，使其输出对感兴趣目标的分割结果，在此过程中神经网络缺乏对感兴趣目标的判断依据，即使进行大量的训练也很难提高输出结果的准确性。这一问题在医疗图像的分析任务中尤为突出，由于医疗图像中的病变区域的位置、形状等特征不确定性很强，在医疗图像中寻找病变区域的任务比在自然物体图像中寻找某种物体的任务难度更高，使用现有的神经网络直接输出对病变区域的分割图的准确性较差。

发明内容

有鉴于此，本发明提供一种医疗图像病变区域分割方法，包括：

利用第一神经网络从医疗图像中提取特征数据；

利用第二神经网络根据所述特征数据获得病变区域的面积信息和位置信息；

利用第三神经网络根据所述特征数据、所述面积信息和所述位置信息输出对病变区域的分割结果。

可选地，当所述第三神经网络识别出多种病变区域时，所述第三神经网络根据所述病变区域的类别在所述分割结果中区分各种病变区域。

可选地，所述第二神经网络为长短期记忆网络，所述长短期记忆网络根据所述特征数据依次输出各个病变区域的面积信息和位置信息，并在依次输出的过程中结合前一个病变区域的位置信息和/或位置信息输出当前的病变区域的面积信息和位置信息。

可选地，所述位置信息是一个像素点的坐标值。

本发明还提供一种医疗图像病变区域分割模型训练方法，包括：

获取训练数据，所述训练数据包括医疗图像和所述医疗图像中的病变区域的分割结果；

利用分割模型对所述医疗图像进行识别，输出病变区域的分割图，所述分割模型中包括第一神经网络、第二神经网络和第三神经网络，其中所述第一神经网络用于从所述医疗图像中提取特征数据，所述第二神经网络用于根据所述特征数据获得病变区域的面积信息和位置信息，所述第三神经网络用于根据所述特征数据、所述面积信息和所述位置信息输出对病变区域的分割结果；

将所述分割模型输出的分割结果与训练数据中的分割结果进行比对，并根据比对结果更新所述第一神经网络、第二神经网络和第三神经网络的参数。

可选地，所述训练数据中的分割结果中区别地呈现多种病变区域；当所述第三神经网络识别出多种所述病变区域时，所述第三神经网络根据所述病变区域的类别在所述分割结果中区分各种病变区域。

可选地，所述第二神经网络为长短期记忆网络，所述长短期记忆网络根据所述特征数据依次输出各个病变区域的面积信息和位置信息，并在依次输出的过程中结合前一个病变区域的位置信息和/或位置信息输出当前的病变区域的面积信息和位置信息。

可选地，所述位置信息包括是一个像素点的坐标值。

相应地，本发明还提供一种医疗图像病变区域分割设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述医疗图像病变区域分割方法。

相应地，本发明还提供一种医疗图像病变区域分割模型训练设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述医疗图像病变区域分割模型训练设备。

根据本发明实施例提供的医疗图像病变区域分割方法和设备，采用三个神经网络对医疗图像的病变区域进行分割，首先由第一神经网络从医疗图像中提取特征数据，之后由第二神经网络根据特征数据获得病变区域的面积信息和位置信息，最终由第三神经网络根据特征数据、面积信息和位置信息输出对病变区域的分割结果。在分割过程中加入了预测面积信息和位置信息的操作，为最终的分割操作提供了依据，使分割过程具有可解释的特性，提高了分割结果的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的医疗图像病变区域分割模型训练方法的流程图；

图2为本发明实施例中的医疗图像病变区域分割模型的结构示意图；

图3为本发明实施例中的医疗图像病变区域分割方法的流程图；

图4为本发明实施例中的一个分割结果。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明提供一种医疗图像病变区域分割模型训练方法，该方法可以由计算机和服务器等电子设备执行。如图1所示该方法包括如下步骤：

S1A，获取训练数据，训练数据包括医疗图像和医疗图像中的病变区域的分割结果。医疗图像可以是单通道图像或者多通道图像，例如CT(Computed Tomography，电子计算机断层扫描)图像、超声波检测图像、眼底照片等等。

作为用于训练的样本，医疗图像可以是医用检测设备采集的原始图像，也可以是经过预处理后的图像。预处理例如包括裁减掉医疗图像的边缘、增强图像的对比度等等。

训练数据中的分割结果是根据人工对医疗图像中的病变区域的标注操作而得到的。具体地，利用现有的一些标注工具在医疗图像中勾画出封闭的病变区域，标注工具可提取这些区域，并对区域进行染色得到分割结果，分割结果也是图像，图像中以纯色呈现出人工标注的区域，未标注区域为背景色。

在一个实施例中，允许一幅医疗图像中存在多个病变区域，并且这些区域被分为多个类别，类别的划分根据具体应用场景而定。例如一幅眼底图像中可能同时出血区域、棉絮斑区域、黄斑区水肿区域这三种病变区域。在生成分割结果时，使用不同的色值对这三种病变区域进行染色，使分割结果区别地呈现这三种病变区域。

S2A，利用分割模型对医疗图像进行识别，输出对病变区域的分割结果。分割模型的结构如图2所示，包括第一神经网络21、第二神经网络22和第三神经网络23。

第一神经网络21用于从医疗图像中提取特征数据。在一个实施例中，第一神经网络21为卷积神经网络，其中包括若干卷积层和池化层，该网络的最后一层输出特征数据(feature map)。第一神经网络21将图像从低维映射到高维空间，所得到的特征数据为若干向量。

第二神经网络22用于根据特征数据获得病变区域的面积信息和位置信息。一组面积信息和位置信息对应一个病变区域，当第二神经网络22判断有多个病变区域时将输出多组面积信息和位置信息。

位置信息例如是病变区域中的所有像素点在图像中的位置，或者是部分像素点在图像中的位置，部分像素点例如是边缘上的点等。

在一个优选的实施例中，位置信息是一个像素点的坐标值。具体地，当第二神经网络22确定有一个病变区域时，仅输出一个像素点的坐标值，认为该像素点处于病变区域中，同时输出这一病变区域可能的面积。上述优选方案可以减少对第三神经网络23的输入信息，在确保向其传递的数据能够表达病变区域位置的情况下，提高第三神经网络23的工作效率。

第三神经网络23用于根据特征数据、面积信息和位置信息输出对病变区域的分割结果。在一个实施例中，第三神经网络23为卷积神经网络，其中包括若干卷积层和池化层，其输出的分割结果为图像，以纯色表示病变区域，其它区域用背景色表示。

S3A，将分割模型输出的分割结果与训练数据中的分割结果进行比对，并根据比对结果更新第一神经网络、第二神经网络和第三神经网络的参数。根据该比对结果可计算出损失值(loss)，用于表达模型输出结果与训练数据的差距，进而根据损失值更新这三个神经网络的参数。

使用大量的训练数据对分割模型进行训练，直至达到设定的性能条件时即可停止训练。

根据本发明实施例提供的医疗图像病变区域分割模型训练方法，使用医疗图像和相应的分割结果对由三个神经网络组成的分割模型进行训练，在训练过程中，分割模型的第一神经网络从医疗图像中提取特征数据，之后由第二神经网络根据特征数据获得病变区域的面积信息和位置信息，最终由第三神经网络根据特征数据、面积信息和位置信息输出对病变区域的分割结果。在模型的分割过程中加入了预测面积信息和位置信息的操作，为模型最终的分割操作提供了依据，使分割过程具有可解释的特性，提高了分割模型的训练效率，并有效提高分割模型的性能。

为了提高分割模型的训练效率，在一个优选的实施例中，第一神经网络21和第二神经网络22被配置为拥有相对较少的可调参数(第一神经网络21的可调参数最少)，第三神经网络23拥有相对最多的可调参数，使得第三神经网络23能够学习到最多的信息。

第三神经网络23还用于确定病变区域的种类，当判断有多种病变区域时，将在分割结果中使用不同的色值表达不同种类的病变区域。上述优选的实施方式可以使训练的分割模型同时对多种病变进行分割，提高分割模型的实用性。

进一步地，当第三神经网络23还用于分类时，将生成用于确定病变区域类别的概率值(或者称之为置信度)。例如有四个已知的类别，也即训练数据中只涉及四种类别的情况下，第三神经网络23在输出分割结果的过程中，会针对各个病变区域生成针对这四个类别的概率值，并判定病变区域的类别是四个概率值中的最大值对应的类别。当第三神经网络23针对一个病变区域生成的各个概率值比较接近时(包括相等时)，则表示该病变区域可能不属于已知的四个类别中的任一个类别，对此第三神经网络23则在分割结果中使用另一种色值来表达这种未知类别的病变区域。

根据上述优选方案，分割模型通过比较类别对应的概率信息来确定病变区域是否可能属于未知的类别，在生成的分割结果中使用区别于已知类别的色值来表达这种未知类别的病变区域，以此提示用户发现未知类型的病变区域，提高分割模型的实用性。

在一个优选的实施例中，第二神经网络22为长短期记忆网络(LSTM，Long Short-Term Memory)。长短期记忆网络根据第一神经网络21提供的特征数据依次输出各个病变区域的面积信息和位置信息，并在依次输出的过程中结合前一个病变区域的位置信息和/或面积信息输出当前的病变区域的面积信息和位置信息。

作为一个具体举例，假设第二神经网络22识别出了三个病变区域，其具体输出过程是：

根据第一神经网络21提供的特征数据{A}输出第一病变区域的面积a1、第一病变区域的位置(x1，y1)，输出第一个病变区域的信息时，不存在前一个病变区域的位置信息；

根据第一神经网络21提供的特征数据{A}、第一病变区域的位置(x1，y1)和/或第一病变区域的面积a1输出第二病变区域的面积a2、第二病变区域的位置(x2，y2)，其中{A}、(x1，y1)和/或a1作为本次的输入信息；

根据第一神经网络21提供的特征数据{A}、第二病变区域的位置(x2，y2)和/或第二病变区域的面积a2输出第三病变区域的面积a3、第二病变区域的位置(x3，y3)，其中{A}、(x2，y2)和/或a2作为本次的输入信息。

最后得到三组信息，{a1、(x1，y1)}、{a2、(x2，y2)}、{a3、(x3，y3)}分别对应三个病变区域。

对于一张医疗图像的多个病变区域而言，它们之间通常存在关联，即位置上的关联或者面积上的关联，利用长短期记忆网络对序列信息记忆的特性，可以对同一张图像的多个病变区域的识别提供更有针对性的辅助信息，从而提高分割模型的识别准确性。

本发明还提供一种医疗图像病变区域分割模型训练设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述医疗图像病变区域分割模型训练设备。

本发明提供一种医疗图像病变区域分割方法，使用如图2所示分割模型分割医疗图像中的病变区域，该方法可以由计算机和服务器等电子设备执行。如图3所示该方法包括如下步骤：

S1B，利用第一神经网络从医疗图像中提取特征数据。其中的医疗图像作为识别对象，可以是单通道图像或者多通道图像，例如CT(Computed Tomography，电子计算机断层扫描)图像、超声波检测图像、眼底照片等等。

在一个实施例中，第一神经网络21为卷积神经网络，其中包括若干卷积层和池化层，该网络的最后一层输出特征数据(feature map)。第一神经网络21将图像从低维映射到高维空间，所得到的特征数据为若干向量。

S2B，利用第二神经网络根据特征数据获得病变区域的面积信息和位置信息。一组面积信息和位置信息对应一个病变区域，当第二神经网络判断有多个病变区域时将输出多组面积信息和位置信息。位置信息例如是病变区域中的所有像素点在图像中的位置，或者是部分像素点在图像中的位置，部分像素点例如是边缘上的点等。

在一个优选的实施例中，位置信息是一个像素点的坐标值。上述优选方案可以减少对第三神经网络23的输入信息，在确保向其传递的数据能够表达病变区域位置的情况下，提高第三神经网络23的工作效率。

S3B，利用第三神经网络根据特征数据、面积信息和位置信息输出对病变区域的分割结果。在一个实施例中，第三神经网络23为卷积神经网络，其中包括若干卷积层和池化层，其输出的分割结果为图像，以纯色表示病变区域，其它区域用背景色表示。

在一个优选的实施例中，第三神经网络23还将确定病变区域的种类，当判断有多种病变区域时，将在分割结果中使用不同的色值表达不同种类的病变区域，也即第三神经网络根据病变区域的类别在分割结果中区分各种病变区域。图4示出了一个对眼底图像的分割结果，其中包括圆形的眼底区域40，区域内白色为背景色，表示正常的区域，其中还包括一个第一病变区域41(黄斑水肿区域)、两个第二病变区域42(棉絮斑区域)和五个第三病变区域43(出血区域)，这三种病变区域将被显示为不同的颜色。

在得到分割结果后，可将分割结果映射回医疗图像中，例如使用线条勾画出病变区域的轮廓得到最终的标注结果，使用户可以在原图中清楚地观察到分割模型判定的病变区域。对于不同种类的病变区域，可添加相关的提示信息，以使用户区分病变区域的类型。

根据本发明实施例提供的医疗图像病变区域分割方法，采用三个神经网络对医疗图像的病变区域进行分割，首先由第一神经网络从医疗图像中提取特征数据，之后由第二神经网络根据特征数据获得病变区域的面积信息和位置信息，最终由第三神经网络根据特征数据、面积信息和位置信息输出对病变区域的分割结果。在分割过程中加入了预测面积信息和位置信息的操作，为最终的分割操作提供了依据，使分割过程具有可解释的特性，提高了分割结果的准确性。

所谓可解释的特性是指在输出最终的分割结果时，分割模型可以向用户提供第二神经网络输出的位置信息和面积信息，向用户提供了直观的判断依据，使用户对照分割结果来验证分割模型是否学习到了有效的信息，验证分割模型的逻辑是否合理。

在一个优选的实施例中，第二神经网络为长短期记忆网络(LSTM，Long Short-Term Memory)。长短期记忆网络根据第一神经网络提供的特征数据依次输出各个病变区域的面积信息和位置信息，并在依次输出的过程中结合前一个病变区域的位置信息和/或面积信息输出当前的病变区域的面积信息和位置信息。

作为一个具体举例，假设第二神经网络22识别出了三个病变区域，其具体输出过程是：

根据第一神经网络21提供的特征数据{A}输出第一病变区域的面积a1、第一病变区域的位置(x1，y1)，输出第一个病变区域的信息时，不存在前一个病变区域的位置信息；

根据第一神经网络21提供的特征数据{A}、第一病变区域的位置(x1，y1)和/或第一病变区域的面积a1输出第二病变区域的面积a2、第二病变区域的位置(x2，y2)，其中{A}、(x1，y1)和/或a1作为本次的输入信息；

根据第一神经网络21提供的特征数据{A}、第二病变区域的位置(x2，y2)和/或第二病变区域的面积a2输出第三病变区域的面积a3、第二病变区域的位置(x3，y3)，其中{A}、(x2，y2)和/或a2作为本次的输入信息。

最后得到三组信息，{a1、(x1，y1)}、{a2、(x2，y2)}、{a3、(x3，y3)}分别对应三个病变区域。

本发明还提供一种医疗图像病变区域分割设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述医疗图像病变区域分割方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种医疗图像病变区域分割方法，其特征在于，包括：

利用第一神经网络从医疗图像中提取特征数据；

利用第二神经网络根据所述特征数据获得病变区域的面积信息和位置信息；

利用第三神经网络根据所述特征数据、所述面积信息和所述位置信息输出对病变区域的分割结果。

2.根据权利要求1所述的方法，其特征在于，当所述第三神经网络识别出多种病变区域时，所述第三神经网络根据所述病变区域的类别在所述分割结果中区分各种病变区域。

3.根据权利要求1所述的方法，其特征在于，所述第二神经网络为长短期记忆网络，所述长短期记忆网络根据所述特征数据依次输出各个病变区域的面积信息和位置信息，并在依次输出的过程中结合前一个病变区域的位置信息和/或面积信息输出当前的病变区域的面积信息和位置信息。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述位置信息是一个像素点的坐标值。

5.一种医疗图像病变区域分割模型训练方法，其特征在于，包括：

获取训练数据，所述训练数据包括医疗图像和所述医疗图像中的病变区域的分割结果；

利用分割模型对所述医疗图像进行识别，输出病变区域的分割图，所述分割模型中包括第一神经网络、第二神经网络和第三神经网络，其中所述第一神经网络用于从所述医疗图像中提取特征数据，所述第二神经网络用于根据所述特征数据获得病变区域的面积信息和位置信息，所述第三神经网络用于根据所述特征数据、所述面积信息和所述位置信息输出对病变区域的分割结果；

将所述分割模型输出的分割结果与训练数据中的分割结果进行比对，并根据比对结果更新所述第一神经网络、第二神经网络和第三神经网络的参数。

6.根据权利要求5所述的方法，其特征在于，所述训练数据中的分割结果中区别地呈现多种病变区域；当所述第三神经网络识别出多种所述病变区域时，所述第三神经网络根据所述病变区域的类别在所述分割结果中区分各种病变区域。

7.根据权利要求5所述的方法，其特征在于，所述第二神经网络为长短期记忆网络，所述长短期记忆网络根据所述特征数据依次输出各个病变区域的面积信息和位置信息，并在依次输出的过程中结合前一个病变区域的位置信息和/或面积信息输出当前的病变区域的面积信息和位置信息。

8.根据权利要求5-7中任一项所述的方法，其特征在于，所述位置信息是一个像素点的坐标值。

9.一种医疗图像病变区域分割设备，其特征在于，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-4中任一项所述的医疗图像病变区域分割方法。

10.一种医疗图像病变区域分割模型训练设备，其特征在于，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求5-8中任一项所述的医疗图像病变区域分割模型训练设备。

Images