CN112529915B - 一种脑肿瘤图像分割方法及系统 - Google Patents

Abstract

本发明提供一种脑肿瘤图像分割方法及系统，其中，所提供的脑肿瘤图像分割方法通过对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，可以丰富样本图像中的样本数据，确保样本数据的多样性；并且脑肿瘤分割网络采用全卷积神经网络结构，结合组归一化方法，不仅可以提高分割速度，而且可以提高脑肿瘤分割结果的准确率，从而能够辅助医生进行诊断分析，提高脑肿瘤区域的诊断效率。

Description

一种脑肿瘤图像分割方法及系统

技术领域

本发明属于医学图像分析技术领域，尤其涉及一种脑肿瘤图像分割方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

胶质瘤是一种发展迅速、对神经系统的破坏性极强的致命性脑肿瘤，胶质瘤发源于胶质细胞，一般分为低级别和高级别两种类型。低级别的胶质瘤的攻击性小，生存率较高。然而，高级别胶质瘤具有很强的攻击性，从一个细胞到另一个细胞的生长十分迅速，因此胶质瘤的治疗越早越好。一旦临床怀疑有肿瘤，便需要对肿瘤的位置、大小及其与周围的关系及时地进行评估，这些评估信息对于治疗方法的确定和最后治疗是否能够成功至关重要。

脑部的肿瘤区域可以通过分析核磁共振图像检测出来，在脑肿瘤图像获取的过程中，核磁共振通过改变图像采集过程中的激励和重复的次数，生成不同序列的核磁共振图像。这些不同模态的核磁共振图像可以产生不同类别组织的图像进行对比，为肿瘤的诊断和分析提供有重要意义的信息，是检测脑肿瘤的常用方法之一。

发明人发现，在日常的脑肿瘤诊断和分析中，由于脑肿瘤的形状、大小和位置变化很大，特别是肿瘤区域相对于周围正常组织的强度变化很大，因此，分割核磁共振图像中的脑肿瘤仍然是一项具有挑战性的任务，例如，某种方法对一幅核磁共振图像的分割结果表现良好，但对于其他的图像却可能不起作用。因此，很难实现用一种通用的方法分割所有核磁共振图像中的脑肿瘤。为达到快速治疗的目的，分割必须迅速准确，目前的人工分割核磁共振图像中的脑肿瘤是一项耗时且费力的工作，且准确度极大程度上依赖于专家的经验。

发明内容

为了解决上述问题，本发明的第一个方面提供一种脑肿瘤图像分割方法，利用脑肿瘤分割网络实现对脑肿瘤图像的自动分割，以辅助医生进行诊断分析，提高脑肿瘤区域的检测效率，并且结合多模态融合和组归一化方法，提高脑肿瘤分割结果的准确性。

为了实现上述目的，本发明主要包括以下几个方面：

第一方面，本发明实施例提供一种脑肿瘤图像分割方法，所述脑肿瘤图像分割方法包括：

对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像；

基于全卷积神经网络，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，并将所述样本图像输入至所述脑肿瘤分割网络中，确定脑肿瘤特征，以及所述脑肿瘤特征的预测值；

基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数；

基于所述脑肿瘤分割网络和更新后的各项参数，对待分割的脑肿瘤图像进行脑肿瘤分割。

在一种可能的实施方式中，所述对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像，包括：

将获取到的多种模态下的脑肿瘤图像进行归一化、重新剪裁采样，得到预设尺寸的初始样本图像；

对所述初始样本图像进行增强处理，将增强处理后的初始样本图像中的每种模态数据分别作为一种通道输入进行融合，得到样本图像。

在一种可能的实施方式中，所述对所述初始样本图像进行增强处理，包括：将所述初始样本图像进行平移、旋转和添加噪声操作，实现初始样本图像的增强处理。

在一种可能的实施方式中，所述脑肿瘤分割网络包括第一至第五共五个卷积模型、第一至第五共五个池化模型，第六卷积模型和第七卷积模型，所述第一池化模型位于第一卷积模型后，所述第二池化模型位于第二卷积模型后，依次类推，所述第五卷积模型位于第五池化模型后，所述第六卷积模型和第七卷积模型顺序设置于第五池化层后；所述卷积模型包括卷积层、组归一化层和线性修正层；所述池化模型仅包括一个池化层；

将第七卷积模型输出的第一脑肿瘤特征进行两倍上采样，得到第二脑肿瘤特征；

将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征；以及将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征；

最终的脑肿瘤特征经过一个sigmoid函数处理之后产生逐点的预测值。

在一种可能的实施方式中，所述将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征，包括：

将所述第三脑肿瘤特征与第二脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行两倍上采样操作，得到第四脑肿瘤特征。

在一种可能的实施方式中，将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征，包括：

将所述第五脑肿瘤特征与第四脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行八倍上采样操作，得到最终的脑肿瘤特征。

在一种可能的实施方式中，所述基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数，包括：

基于预先设置的损失函数，将所述预测值与所述样本图像的真实标签值进行比较，得到脑肿瘤特征对应的损失值；

若所述损失值大于预设损失阈值，则使用优化算法对所述脑肿瘤分割网络的参数进行有限次数的迭代更新，以减小所述损失值，直到更新参数后得到的预测值与真实标签值之间的损失值小于预设损失阈值，终止迭代。

第二方面，本发明实施例提供一种脑肿瘤图像分割系统，所述脑肿瘤图像分割系统包括：

样本图像获取模块，用于对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像；

脑肿瘤特征确定模块，用于基于全卷积神经网络，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，并将所述样本图像输入至所述脑肿瘤分割网络中，确定脑肿瘤特征，以及所述脑肿瘤特征的预测值；

参数更新模块，用于基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数；

脑肿瘤分割模块，用于基于所述脑肿瘤分割网络和更新后的各项参数，对待分割的脑肿瘤图像进行脑肿瘤分割。

第三方面，本发明实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面中任一种可能的实施方式中所述的脑肿瘤图像分割方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面中任一种可能的实施方式中所述的脑肿瘤图像分割方法的步骤。

本发明的有益效果是：

(1)本发明采用全卷积神经网络代替传统的卷积神经网络，大大减少了卷积神经网络由于最后采用全连接层而产生的大量参数，在能够保证较高准确率的同时，缩短了网络模型的训练时间，提高了分割速度，节省了计算资源；

(2)本发明采用组归一化方法代替批量归一化方法，将通道分组，在每一组内计算均值和方差实现归一化，从而避免批量大小的限制，提升了脑肿瘤分割网络的分割性能；

(3)本发明采用多种模态融合输入作为神经网络模型的最终输入，多模态融合输入能够有效地融合多种模态信息，产生互补效果，显著提高分割结果的准确性。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的一种脑肿瘤图像分割方法的流程图；

图2是本发明实施例的脑肿瘤分割网络结构图；

图3是本发明实施例的脑肿瘤分割网络训练流程图；

图4是本发明实施例的一种脑肿瘤图像分割系统的结构示意图；

图5是本发明实施例的一种计算机设备的示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在脑肿瘤诊断和分析过程中，由于脑肿瘤的形状、大小和位置有很大差异，现有的脑肿瘤分割方法往往对特定种类的脑肿瘤图像的分割效果较好，而对其他种类脑肿瘤图像的分割效果并不理想，为了保证分割结果的准确性，通常采用人工分割核磁共振图像中的脑肿瘤，在耗费人力成本的同时，分割的准确度很大程度上取决于专家的经验，导致分析结果不够客观，准确性也难以保证。

本发明提供的一种脑肿瘤图像分割方法及系统适用于医学图像分析技术领域，用于辅助医生进行诊断分析。利用脑肿瘤分割网络实现对脑肿瘤图像的自动分割，可以辅助医生进行诊断分析，提高脑肿瘤的诊断效率，同时使得脑肿瘤的检测分析更加客观，并且结合多模态融合和组归一化方法，提高脑肿瘤分割结果的准确性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种脑肿瘤图像分割方法进行详细介绍，本发明实施例所提供的脑肿瘤图像分割方法的执行主体可以是与用户端进行交互的云平台或服务器。下面以执行主体为服务器的角度，对本发明实施例提供的脑肿瘤图像分割方法加以说明。

实施例一

请参阅图1，图1是本发明实施例的一种脑肿瘤图像分割方法的流程图，如图1中所示，所述脑肿瘤图像分割方法包括步骤S101-S104，其中：

S101：对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像。

在具体实施中，核磁共振通过改变图像采集过程中的激励和重复的次数，生成不同序列的脑肿瘤图像，为了得到多种模态下的脑肿瘤图像，确保样本数据的多样性，可以通过现有的爬虫技术，从相关网站中爬取样本数据，如从多个脑肿瘤分析的有关比赛网站中获取脑肿瘤图像。进一步的，对获取的脑肿瘤图像进行数字化、几何变换、归一化、平滑、复原、增强等图像预处理，同一部位在不同的核磁共振序列下能够得到不同模态的图像，对同一部位不同模态下的脑肿瘤图像进行模态融合，得到样本图像。

本发明实施例中，作为一可选实施例，在S101中，即对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像，可以包括以下步骤：

步骤a11：将获取到的多种模态下的脑肿瘤图像进行归一化、重新剪裁采样，得到预设尺寸的初始样本图像。

在具体实施中，由于核磁共振图像没有标准的像素强度值，为了减少来自不同对比度和不同对象的影响，通过将脑肿瘤图像的各点像素强度值减去像素强度的最小值并除以像素强度的总体范围，分别将每个脑肿瘤图像数据归一化为0到1之间。

为解决多种模态下脑肿瘤图像中的类别不平衡问题，采用重新采样数据空间方法，将数据空间由原来的240×240×155裁剪为136×142×80，切割之后的样本中仍然包括整个脑肿瘤区域，但大大减少了背景部分(即正常的脑组织区域部分)所占的比例。

步骤a12：对所述初始样本图像进行增强处理，将增强处理后的初始样本图像中的每种模态数据分别作为一种通道输入进行融合，得到样本图像。

在具体实施中，为了改善脑肿瘤图像的质量、丰富脑肿瘤特征信息量，加强图像判读和识别效果，本发明对初始样本图像进行增强处理。进一步的，由于采用的核磁共振成像形成的数据集，同一部位在不同的核磁共振序列下能够得到不同模态的图像，本发明将增强处理后的初始样本图像中的每种模态数据分别作为一种通道输入进行同一部位的多模态融合，得到样本图像，可以充分利用各模态所包含的信息。

本发明实施例中，作为一可选实施例，所述对所述初始样本图像进行增强处理，包括：将所述初始样本图像进行平移、旋转和添加噪声操作，实现初始样本图像的增强处理。

在具体实施中，可以通过以下方式对始样本图像进行增强处理：

(1)平移。通过在初始样本图像数据的坐标上加上或减去某一个值以实现数据集的平移操作；

(2)旋转。以初始样本图像的中心为旋转点，设定旋转角度，每次运行程序时将图像旋转一定角度以实现对初始样本图像的旋转操作；

(2)添加噪声。基于噪声的数据增强就是在原来的图片的基础上，随机叠加一些噪声，叠加噪声的方式是在图像中的每个点的灰度值上加上一个噪声值，噪声值的产生方式为Box-Muller算法生成高斯噪声。Box-Muller以两组独立的在(0,1]上服从均匀分布的随机数U和V生成两组独立的服从标准正态分布的随机变量X和Y：

；

这样，可以获取有效的样本图像，确保样本数据的多样性，有利于提高脑肿瘤分割结果的准确性。

S102：基于全卷积神经网络，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，并将所述样本图像输入至所述脑肿瘤分割网络中，确定脑肿瘤特征，以及所述脑肿瘤特征的预测值。

在具体实施中，脑肿瘤分割网络采用全卷积神经网络结构，全卷积神经网络结构将传统的卷积神经网络结构最后的全连接层全部转换为卷积层。相较于传统的卷积神经网络，全卷积神经网络可以接受任意大小的输入并通过有效的推理和学习可以产生相应大小的输出，使得输入与输出的大小保持一致。一方面，全卷积神经网络能够解决对图像像素级别的分类问题，最终实现语义分割。另一方面，全卷积神经网络避免了卷积神经网络使用大量的重叠的像素块而带来的重复计算和占用计算机内存较大的问题。

组归一化的基本操作是将通道分为组，并计算每一组之内的均值和方差，以进行归一化。与批量归一化不同的是，组归一化的计算与批量大小无关，其精度也在各种批量大小下保持稳定，且优于其他归一化变体。此外，组归一化可以自然地从预训练阶段迁移到微调阶段。所开展的实验结果表明组归一化可以在一系列不同任务中有效替代强大的批量归一化。

这样，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，不仅可以提高分割速度，而且可以提高脑肿瘤分割结果的准确率。

本发明实施例中，作为一可选实施方式，如图2所示，所述脑肿瘤分割网络包括第一至第五共五个卷积模型、第一至第五共五个池化模型，第六卷积模型和第七卷积模型，所述第一池化模型位于第一卷积模型后，所述第二池化模型位于第二卷积模型后，依次类推，所述第五卷积模型位于第五池化模型后，所述第六卷积模型和第七卷积模型顺序设置于第五池化层后；所述卷积模型包括卷积层、组归一化层和线性修正层；所述池化模型仅包括一个池化层；

将第七卷积模型输出的第一脑肿瘤特征进行两倍上采样，得到第二脑肿瘤特征；

将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征；以及将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征；

最终的脑肿瘤特征经过一个sigmoid函数处理之后产生逐点的预测值。

作为一可选实施方式，所述将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征，包括：

将所述第三脑肿瘤特征与第二脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行两倍上采样操作，得到第四脑肿瘤特征。

作为一可选实施方式，将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征，包括：

将所述第五脑肿瘤特征与第四脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行八倍上采样操作，得到最终的脑肿瘤特征。

在具体实施中，脑肿瘤分割网络的特征提取步骤如下：

步骤b11：样本图像首先经过一个卷积模块，每个卷积模块均包含一个卷积层、一个组归一化层和一个线性修正层，经卷积模块后通过池化模块(仅包含一个池化层)进行下采样得到特征图F1；

步骤b12：将F1输入下一层的卷积模块和池化模块得到特征图F2；

步骤b13：依次将上一步得到的特征图输入下一层的卷积模块和池化模块进行特征信息的提取，得到相应的特征图；

步骤b14：不断重复步骤b13至经过七层上述操作得到特征图F7；

步骤b15：若将F7直接通过转置卷积实现三十二倍上采样操作，得到的特征图较为粗糙，不适于直接用于进行最终的像素预测实现脑肿瘤自动分割，因而首先将F7通过转置卷积进行两倍上采样操作得到特征图F8；

步骤b16：将F4与F8中的各个像素值逐点相加实现特征融合后的特征图通过转置卷积进行两倍上采样操作，得到特征图F4-8；

步骤b17：将F3与F4-8中的各个像素值进行逐点相加实现特征融合后的特征图通过转置卷积进行八倍上采样操作，得到最终的特征图；

步骤b18：将最终得到的特征图经过一个sigmoid函数处理之后产生逐点的像素预测结果从而实现脑肿瘤的精确分割。

其中，转置卷积可以看作是卷积的逆向操作。例如，卷积是将一个4x4的输入通过3x3的卷积核(padding＝0,stride＝1)进行特征提取，将得到一个2x2的输出；而转置卷积将一个2x2的输入通过同样3x3大小的卷积核将得到一个4x4的输出，从而实现特征还原。

S103：基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数。

在具体实施中，如图3中所示，将经过图像预处理，以及模态融合等操作后的样本图像作为输入数据，输入至脑肿瘤分割网络中，每次训练均产生一个预测值，构造损失函数，将预测值与真实标签值进行比较，得到损失值；通过优化算法对参数进行迭代更新使得网络预测值与真实值之间的损失值最小化，得到最优的分割效果，其中，优化算法包括随机梯度下降算法、Adam算法和Adagrad算法等。

本发明实施例中，作为一可选实施方式，在S103中，所述基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数，包括：

步骤c11：基于预先设置的损失函数，将所述预测值与所述样本图像的真实标签值进行比较，得到脑肿瘤特征对应的损失值；

步骤c12：若所述损失值大于预设损失阈值，则使用优化算法对所述脑肿瘤分割网络的参数进行有限次数的迭代更新，以减小所述损失值，直到更新参数后得到的预测值与真实标签值之间的损失值小于预设损失阈值，终止迭代。

S104：基于所述脑肿瘤分割网络和更新后的各项参数，对待分割的脑肿瘤图像进行脑肿瘤分割。

在具体实施中，将待分割的脑肿瘤图像输入至训练好的脑肿瘤分割网络中，可以识别出图像中的脑肿瘤区域，实现对脑肿瘤图像进行自动分割。

本发明实施例提供的脑肿瘤图像分割方法，通过对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，可以丰富样本图像中的样本数据，确保样本数据的多样性；进一步的，脑肿瘤分割网络采用全卷积神经网络结构，并结合组归一化方法，不仅可以提高分割速度，而且可以提高脑肿瘤分割结果的准确率，从而能够辅助医生进行诊断分析，提高脑肿瘤区域的诊断效率。

实施例二

请参阅图4，图4是本发明实施例的一种脑肿瘤图像分割系统的结构示意图。如图4中所示，本实施例提供一种脑肿瘤图像分割系统，所述脑肿瘤图像分割系统400包括：

样本图像获取模块410，用于对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像；

脑肿瘤特征确定模块420，用于基于全卷积神经网络，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，并将所述样本图像输入至所述脑肿瘤分割网络中，确定脑肿瘤特征，以及所述脑肿瘤特征的预测值；

参数更新模块430，用于基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数；

脑肿瘤分割模块440，用于基于所述脑肿瘤分割网络和更新后的各项参数，对待分割的脑肿瘤图像进行脑肿瘤分割。

在一种可能的实施方式中，样本图像获取模块410包括：

初始样本图像获取单元(图中未示出)，用于将获取到的多种模态下的脑肿瘤图像进行归一化、重新剪裁采样，得到预设尺寸的初始样本图像；

图像融合单元，用于对所述初始样本图像进行增强处理，将增强处理后的初始样本图像中的每种模态数据分别作为一种通道输入进行融合，得到样本图像。

在一种可能的实施方式中，所述对所述初始样本图像进行增强处理，包括：将所述初始样本图像进行平移、旋转和添加噪声操作，实现初始样本图像的增强处理。

在一种可能的实施方式中，所述脑肿瘤分割网络包括第一至第五共五个卷积模型、第一至第五共五个池化模型，第六卷积模型和第七卷积模型，所述第一池化模型位于第一卷积模型后，所述第二池化模型位于第二卷积模型后，依次类推，所述第五卷积模型位于第五池化模型后，所述第六卷积模型和第七卷积模型顺序设置于第五池化层后；所述卷积模型包括卷积层、组归一化层和线性修正层；所述池化模型仅包括一个池化层；

将第七卷积模型输出的第一脑肿瘤特征进行两倍上采样，得到第二脑肿瘤特征；

将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征；以及将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征；

最终的脑肿瘤特征经过一个sigmoid函数处理之后产生逐点的预测值。

在一种可能的实施方式中，将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征，包括：

将所述第三脑肿瘤特征与第二脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行两倍上采样操作，得到第四脑肿瘤特征。

在一种可能的实施方式中，将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征，包括：

将所述第五脑肿瘤特征与第四脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行八倍上采样操作，得到最终的脑肿瘤特征。

在一种可能的实施方式中，参数更新模块430包括：

损失值获取单元(图中未示出)，用于基于预先设置的损失函数，将所述预测值与所述样本图像的真实标签值进行比较，得到脑肿瘤特征对应的损失值；

迭代更新单元，用于若所述损失值大于预设损失阈值，则使用优化算法对所述脑肿瘤分割网络的参数进行有限次数的迭代更新，以减小所述损失值，直到更新参数后得到的预测值与真实标签值之间的损失值小于预设损失阈值，终止迭代。

本发明实施例提供的脑肿瘤图像分割装置，首先通过样本图像获取模块410对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，获取样本图像；也即，本发明实施例通过融合多种模态下的脑肿瘤图像，产生互补效果，从而获取有效的样本图像。脑肿瘤特征确定模块420基于全卷积神经网络，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，并将所述样本图像输入至所述脑肿瘤分割网络中，确定脑肿瘤特征，以及所述脑肿瘤特征的预测值；参数更新模块430基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数；进而，脑肿瘤分割模块440基于所述脑肿瘤分割网络和更新后的各项参数，对待分割的脑肿瘤图像进行脑肿瘤分割。基于上述方式，本发明利用脑肿瘤分割网络实现对脑肿瘤图像的自动分割，可以辅助医生进行诊断分析，提高脑肿瘤的诊断效率，同时使得脑肿瘤的检测分析更加客观，并且脑肿瘤分割网络采用全卷积神经网络结构，并结合组归一化方法，不仅可以提高分割速度，而且可以提高脑肿瘤分割结果的准确率。

实施例三

请参阅图5，图5是本发明实施例的一种计算机设备的示意图。如图5中所示，所述计算机设备500包括处理器510、存储器520和总线530。

所述存储器520存储有所述处理器510可执行的机器可读指令，当计算机设备500运行时，所述处理器510与所述存储器520之间通过总线530通信，所述机器可读指令被所述处理器510执行时，可以执行如上述图1以及图2所示方法实施例中的脑肿瘤图像分割方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

实施例四

基于同一申请构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中所述的脑肿瘤图像分割方法的步骤。

本发明实施例所提供的脑肿瘤图像分割方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的脑肿瘤图像分割方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种脑肿瘤图像分割方法，其特征在于，所述脑肿瘤图像分割方法包括：

对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像；

基于全卷积神经网络，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，并将所述样本图像输入至所述脑肿瘤分割网络中，确定脑肿瘤特征，以及所述脑肿瘤特征的预测值；

基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数；

基于所述脑肿瘤分割网络和更新后的各项参数，对待分割的脑肿瘤图像进行脑肿瘤分割；

对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像，包括：

将获取到的多种模态下的脑肿瘤图像进行归一化、重新剪裁采样，得到预设尺寸的初始样本图像；

对所述初始样本图像进行增强处理，将增强处理后的初始样本图像中的每种模态数据分别作为一种通道输入进行融合，得到样本图像；

对所述初始样本图像进行增强处理，包括：将所述初始样本图像进行平移、旋转和添加噪声操作，实现初始样本图像的增强处理；

所述脑肿瘤分割网络包括第一至第五共五个卷积模型、第一至第五共五个池化模型，第六卷积模型和第七卷积模型，所述第一池化模型位于第一卷积模型后，所述第二池化模型位于第二卷积模型后，依次类推，所述第五卷积模型位于第五池化模型后，所述第六卷积模型和第七卷积模型顺序设置于第五池化层后；所述卷积模型包括卷积层、组归一化层和线性修正层；所述池化模型仅包括一个池化层；

将第七卷积模型输出的第一脑肿瘤特征进行两倍上采样，得到第二脑肿瘤特征；

将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征；以及将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征；

最终的脑肿瘤特征经过一个sigmoid函数处理之后产生逐点的预测值。

2.根据权利要求1所述的脑肿瘤图像分割方法，其特征在于，所述将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征，包括：

将所述第三脑肿瘤特征与第二脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行两倍上采样操作，得到第四脑肿瘤特征。

3.根据权利要求1所述的脑肿瘤图像分割方法，其特征在于，将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征，包括：

将所述第五脑肿瘤特征与第四脑肿瘤特征的各个特征值进行逐点相加，并通过转置卷积进行八倍上采样操作，得到最终的脑肿瘤特征。

4.根据权利要求1所述的脑肿瘤图像分割方法，其特征在于，所述基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数，包括：

基于预先设置的损失函数，将所述预测值与所述样本图像的真实标签值进行比较，得到脑肿瘤特征对应的损失值；

若所述损失值大于预设损失阈值，则使用优化算法对所述脑肿瘤分割网络的参数进行有限次数的迭代更新，以减小所述损失值，直到更新参数后得到的预测值与真实标签值之间的损失值小于预设损失阈值，终止迭代。

5.一种脑肿瘤图像分割系统，其特征在于，所述脑肿瘤图像分割系统包括：

样本图像获取模块，用于对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像；

脑肿瘤特征确定模块，用于基于全卷积神经网络，在每个卷积层后设置组归一化层和线性修正层，对池化后的脑肿瘤特征进行两次特征融合，构建脑肿瘤分割网络，并将所述样本图像输入至所述脑肿瘤分割网络中，确定脑肿瘤特征，以及所述脑肿瘤特征的预测值；

参数更新模块，用于基于所述脑肿瘤特征的预测值和所述样本图像的真实标签值，更新所述脑肿瘤分割网络中的各项参数；

脑肿瘤分割模块，用于基于所述脑肿瘤分割网络和更新后的各项参数，对待分割的脑肿瘤图像进行脑肿瘤分割；

对多种模态下的脑肿瘤图像进行图像预处理，并进行模态融合，得到样本图像，包括：

将获取到的多种模态下的脑肿瘤图像进行归一化、重新剪裁采样，得到预设尺寸的初始样本图像；

对所述初始样本图像进行增强处理，将增强处理后的初始样本图像中的每种模态数据分别作为一种通道输入进行融合，得到样本图像；

对所述初始样本图像进行增强处理，包括：将所述初始样本图像进行平移、旋转和添加噪声操作，实现初始样本图像的增强处理；

所述脑肿瘤分割网络包括第一至第五共五个卷积模型、第一至第五共五个池化模型，第六卷积模型和第七卷积模型，所述第一池化模型位于第一卷积模型后，所述第二池化模型位于第二卷积模型后，依次类推，所述第五卷积模型位于第五池化模型后，所述第六卷积模型和第七卷积模型顺序设置于第五池化层后；所述卷积模型包括卷积层、组归一化层和线性修正层；所述池化模型仅包括一个池化层；

将第七卷积模型输出的第一脑肿瘤特征进行两倍上采样，得到第二脑肿瘤特征；

将所述第二脑肿瘤特征与第四池化模型输出的第三脑肿瘤特征进行第一次特征融合，得到第四脑肿瘤特征；以及将所述第四脑肿瘤特征与第三池化模块输出的第五脑肿瘤特征进行第二次特征融合，得到最终的脑肿瘤特征；

最终的脑肿瘤特征经过一个sigmoid函数处理之后产生逐点的预测值。

6.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的脑肿瘤图像分割方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任意一项所述的脑肿瘤图像分割方法的步骤。

Images