CN107464250B - 基于三维mri图像的乳腺肿瘤自动分割方法 - Google Patents

Abstract

本发明提供了一种基于三维MRI图像的乳腺肿瘤自动分割方法，包括以下步骤：图像预处理：提供初始MRI图像，采用非局部平均值滤波器对所述初始MRI图像进行预处理；乳腺肿瘤定位：对训练集构建多层处理模型，采用卷积神经网络对训练对象的特征进行分层抽象，自动提取分割特征，输出肿瘤位置的概率分布图；乳腺肿瘤边界分割：提供乳腺的三维MRI图像，基于所述肿瘤位置的概率分布图，确定种子点，完成分割初始化，得到肿瘤初始区域C0；使用区域生长算法对肿瘤进行准确的分割。

Description

基于三维MRI图像的乳腺肿瘤自动分割方法

技术领域

本发明属于医学图像处理领域，尤其涉及一种基于三维MRI图像的乳腺肿瘤自动分割方法。

背景技术

乳腺癌是女性中最为常见的恶性肿瘤，在世界范围内，其致死率位居女性恶性肿瘤死亡率之首。当前，及早诊断与及时治疗是应对乳腺癌最为有效的措施。医学影像学方法，如X线、核磁共振成像(MRI)、超声检测等，是目前最主要的检测和诊断乳腺癌的手段。其中，MRI能够更好地区分各种组织，为医生提供足够的参考信息。但是，一般情况下，医生需要手动对乳腺肿瘤进行分割，花费大量的时间和精力，且诊断精度受医师的职业能力、经验能主观因素影响。

医学数字成像和通信(DICOM，Digital Imaging and communication inmedicine)是一种在医学影像领域通用的标准，它定义了一种数据格式，可以整合不同厂商的医疗影像仪器，这种过时也被很多医院广泛的采用。但现有的很多肿瘤分割软件并不能很好地支持dicom格式，造成了精度的损失，这会在临床应用中造成很大的偏差。

发明内容

本发明的目的在于提供一种基于三维MRI图像的乳腺肿瘤自动分割方法，旨在解决一般情况下，基于MRI图像的乳腺肿瘤分割需要手动进行，而目前没有有效的肿瘤分割软件能很好地支持dicom格式的问题。

本发明是这样实现的，一种基于三维MRI图像的乳腺肿瘤自动分割方法，包括以下步骤：

图像预处理：提供初始MRI图像，采用非局部平均值滤波器对所述初始MRI图像进行预处理；

乳腺肿瘤定位：对训练集构建多层处理模型，采用卷积神经网络对训练对象的特征进行分层抽象，自动提取分割特征，输出肿瘤位置的概率分布图；

乳腺肿瘤边界分割：提供乳腺的三维MRI图像，基于所述肿瘤位置的概率分布图，确定种子点，完成分割初始化，得到肿瘤初始区域C0；使用区域生长算法对肿瘤进行准确的分割。

本发明提供的基于三维MRI图像的乳腺肿瘤自动分割方法，通过深度学习对肿瘤进行定位，利用区域增长对肿瘤边界进行分割。具体的，将传统的二维CNN扩展到三维，可以直接将三维数据输入模型，直接输出对应的三维概率分布，充分利用了图像的三维信息。且在模型训练完成后，神经网络的结构采用全卷积神经网络。训练过程中的训练数据是分块数据，而在模型发布的时候，可以接受整幅三维图像，且大小不受限制。采用本发明方法分割乳腺肿瘤的MRI图像，一方面，由于本发明方法是全自动分割方法，无需医生手动操作，不仅能够减少医生的工作量，能够节省大量时间，而且基于机器学习技术自动提取特征，肿瘤分割的结果不依赖于操作人员的业务水平和主观影响，分割的准确率高。另一方面，采用尽量简化的数学模型和分割过程，提高了分割的速度和准确度。

附图说明

图1是本发明实施例提供的多层感知机的工作原理示意图；

图2是本发明实施例提供的卷积操作的示意图。

具体实施方式

为了使本发明要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于三维MRI图像的乳腺肿瘤自动分割方法，包括以下步骤：

S01.图像预处理：提供初始MRI图像，采用非局部平均值滤波器对所述初始MRI图像进行预处理；

S02.乳腺肿瘤定位：对训练集构建多层处理模型，采用卷积神经网络对训练对象的特征进行分层抽象，自动提取分割特征，输出肿瘤位置的概率分布图；

S03.乳腺肿瘤边界分割：提供乳腺的三维MRI图像，基于所述肿瘤位置的概率分布图，确定种子点，完成分割初始化，得到肿瘤初始区域C₀；使用区域生长算法对肿瘤进行准确的分割。

上述步骤S01中，MRI(磁共振成像)图像不同于不像CT(电子计算机断层扫描)，对不同的组织有相对固定的CT值，MRI的灰度值会因序列的不同而改变，不同组织之间主要靠对比度进行区分。由于MRI(磁共振成像)图像的质量会受到设备好坏、操作人员经验、环境干扰等因素的影响，且MRI对噪声也比较敏感，会影响定量分析的精度。因此，为了更好地进行图像分割，图像的预处理是必不可少的。通过图像的预处理，提高MRI图像的信噪比，为后两步做准备。本发明实施例所述图像预处理的过程主要有两步：降低噪声，提高图像对比度

本发明实施例采用非局部平均值滤波器(Non-local mean filter,NLM)对所述初始MRI图像进行预处理。NLM方法能够充分利用MRI图像中的冗余信息，在去噪的同时最大程度保持图像的细节特征。

具体的，假定所述初始MRI图像为Y，进行图像预处理后的在p处的灰度值通过下述计算获得，

式中，p表示即将被滤波的点，q代表图像中的每一个点，w(p,q)是基于两个相邻的N_p,N_q的权重，其中，N_i定义为i点周围的一个方形区域，自定义的半径为R_sim，则：

式中，Z(p)是一个归一化的常数，h是对数递减的控制参数，d是p周围的像素的高斯加权欧氏距离，

其中，G_p是归一化的高斯加权方程。

传统的均值滤波是在指定的范围内对所有的像素求平均值，即：将上式中的d设为1，这种方法会覆盖灰度差异较大的像素。本发明实施例的算法通过高斯加权距离d来减小位置相邻且灰度差异大的点之间的相互影响，通过这种方法保留了图像的细节，使图像更加清晰。

上述步骤S02中，乳腺肿瘤的形态和位置变化很大，使用一般的图像处理方法难以准确定位肿瘤的位置，因此本发明实施例提供了一种基于深度学习的乳腺肿瘤定位方法。该方法是一个端到端的机器学习方法，通过有监督的学习，产生一个参数模型，将待测数据输入该模型，则可输出一个肿瘤分布的概率图，该分布图中，概率最高的地方选为下一步分割的种子点。

机器学习是一种可以从准备数据自动学习映射函数的计算机算法。机器学习的目标是适应不可见的数据。准备好的数据称为训练集，而看不见的数据称为测试集。这两个组由多个输入-输出对(x，y)组成，x和y分别称为输入数据和标签。机器学习的使用分为两个阶段，即培训阶段和测试阶段。在训练阶段，机器学习方法自动学习训练集中的参数。在测试阶段，参数是固定的，机器学习方法仅使用学习功能来预测测试数据的标签。假设y＝f*(x)是一个底层函数，可以完全适合训练集和测试集中的所有样本。然后，监督学习方法使用映射函数y＝f(x；θ)近似函数f*，并且利用训练集合的x和y来调整其内部参数θ。监督学习的训练阶段是找到用于最小化函数f和f*之间的距离的最佳θ。SVM，决策树，随机森林和神经网络是受欢迎的监督学习方法，被广泛应用于分类和回归问题。以卷积神经网络(CNN)为代表的深度学习技术在图像识别领域表现出色。深度学习的算法模型构建了多层的处理模型对训练对象的特征进行分层抽象，极大提高了图像识别的准确度。深度学习模型能够从大量的训练数据中，通过反向传播算法(backpropagation)提取复杂的特征。本发明中使用的深度学习算法是卷积神经网络。CNN算法来源于神经网络，神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出，其工作原理示意图如图1所示。每两个神经元之间的连接代表加权值，称之为权重(weight)。不同的权重和激活函数，则会导致神经网络不同的输出。

而卷积神经网络将隐藏层之间的全连接变成了卷积操作，通过参数共享的方式提取特征，通过增加隐藏层的数量来扩充特征的维度。卷积神经网络包含了集中基本的结构和操作，如卷积层，激活函数等等，这些操作首位相连，通过反向传播算法进行参数训练。即所述乳腺肿瘤定位的步骤中，采用卷积神经网络得到肿瘤位置的概率分布图的过程中，包括卷积操作、激活操作、计算损失函数和参数优化。

其中，卷积层是CNN的关键组成部分。传统的神经网络使用矩阵相乘来实现两个数据层之间的连接，然而，通过CNN的稀疏连接的特性，能够减少参数的个数，加快运算速度，防止过拟合。具体的，卷积操作通过稀疏连接、参数共享和等价变化三个方面来提高机器学习的效果，卷积操作的示意图如图2所示。

所述卷积操作输入原始图像I和卷积核K，输出S，且

在神经网络中，隐层通常包含两个操作，即线性变换和激活操作。虽然线性模型在许多应用中是有用和有效的，但其能力受到线性函数的限制，使得不可能生成非线性决策边界。此外，很容易认为多线性函数的组合仍然是线性函数，这意味着如果我们仅在隐层中使用线性变换，则整个网络的输出将仍然是输入数据的线性变换。为了适应训练数据的复杂特征分布，必须将非线性变换加入到隐藏层中。激活操作用于执行隐藏层中的非线性变换。

优选的，所述激活操作中，采用整流线性单元(Rectified Linear Unit,ReLU)作为隐层的激活函数，其表达式为：

f(x)＝max(0,x)

其梯度计算公式为

所述整流线性单元确保梯度流畅地流过深层，使梯度优化方法容易优化网络参数。

另外一个重要的激活函数是SoftMax，通常位于神经网络的最后一层，用于分类。对于分类问题，需要神经网络来生成不同类别y的概率分布，并将softmax函数用作最后一层隐藏层的激活函数，以产生概率值。其中，所述SoftMax的公式是：

其梯度计算方式为：

式中，x_i是该层中第i个神经元，p(x_i)是该神经元属于类别i的概率，其值分布在[0，1]。

本发明实施例中，损失函数(或成本函数)是用于评估所需输出与实际输出之间的差异的函数。因此，最小化损失函数是机器学习方法的目标。假设(X，Y)是训练集，(x，y)是训练样本，所有训练样本彼此独立，f(x,y；θ)是具有参数θ的机器学习函数。函数f(x,y；θ)输出属于类y的数据x的概率。那么这种机器学习方法的目标是在训练集上达到最大的可能性，而这个目标的公式如下：

maxf(X,Y；θ)

由于训练数据是相互独立的，因此

等价于

根据以上公式，我们可以计算一个损失函数。所述损失函数的公式为：

J(X,Y)＝∑_{(x,y)∈(X,Y)}log(f(x,y；θ))，

最大化函数J(X,Y)等价于最小化其导数J′(X,Y)：

因此，函数J′(X,Y)是整个训练集合的期望总损耗。最小化这种损失函数相当于最大化模型拟合训练集的可能性。一个训练样本的损失函数为：

J′(x,y)＝-log(f(x,y；θ))。

本发明实施例所述参数优化，基于梯度的优化方法需要相对于神经网络中的每个参数计算损失函数的梯度，即随机梯度下降(SGD)。SGD算法首先对上述损失函数求偏导数：

然后按照最小化损失函数的目标，按照每个参数θ的梯度负方向来更新参数。

式中，θ_j指上次训练时使用的参数，θ’j指更新后的参数。

虽然可以直接计算偏导数的解析表达式，但由于许多重复评估的子表达式，它需要高计算开销来评估这些表达式。因此，我们使用反向传播算法来有效地计算梯度。整个神经网络可以看作是由每个网络层的功能组成的嵌套函数。例如，x是函数y＝f(x)的输入，并且令y是函数z＝g(y)的输入，因此x和z之间的映射是嵌套函数g(f(x))。如果我们想要计算相对于y和x的z的导数，我们可以使用微积分的链式规则：

因此，在计算的过程中可以使用相同的方法逐层计算神经网络的梯度，保存和再次利用前一层的梯度参数的方式也可以减少计算开销。

本发明实施例采用卷积神经网络对训练对象的特征进行分层抽象，自动提取分割特征，输出肿瘤位置的概率分布图。所述卷积神经网络包括模型训练、部署模型。其中，模型训练是指设计网络的结构，将输入图像和手动分割的结果进行匹配训练，得到一系列的参数。

乳腺的三维MRI的分辨率通常是512×512×120，对于肿瘤的定位任务，我们对三维MRI数据进行降采样，讲图像的分辨率缩小一半，为256×256×60。我们统计了乳腺肿瘤的平均大小，选定50×50×12的三维区块作为最小检测区域，该大小能够覆盖大多数的肿瘤。影像科医生对肿瘤区域进行切割，切割大小为50×50×12，切割结果作为正样本(存在肿瘤)；然后对不含肿瘤的区域进行随机切割，产生大小为50×50×12的体素区域，作为负样本(不存在肿瘤)。即所述乳腺肿瘤定位的步骤中，将乳腺肿瘤MRI图像进行区域分割，分割大小为50×50×12体素，得到存在肿瘤的正样本和不存在肿瘤的负样本作为训练集。由于含有肿瘤的样本较少，因此我们通过随机旋转、反转等操作扩大了数据集。具体优选的，产生100个正样本和100个负样本，选择其中10个作为测试集合，10个作为验证集合。

模型部署是指，利用训练得到的网络结构和参数，输入待处理的数据，输出概率分布图。所述卷积神经网络的算法通过参数训练之后，可以端到端(输入和输出图像的大小一致)地输出肿瘤位置的概率图。

不同的神经网络的层数和结构能够提取不同的特征，具有不同的特征表达能力。由于反向传播算法不受网络结构的影响，因此个性化的网络层可以按照需要进行组合。优选的，所述卷积神经网络的结构如下，该网络能够很好地利用图像的三维信息，使肿瘤的定位更加准确。

将上一步产生的训练集输入到这个网络中，训练次数具体可为20000次。

将所述训练集输入到所述卷积神经网络的结构中，训练，输入训练产生的数据，输出所述肿瘤位置的概率分布图。具体的，采用滑动窗定位肿瘤的位置。更具体的，对图像中的每一个像素，选取以该像素为中心周围的50×50×12的区域，输入到训练的到的神经网络中，输出一个概率，即为此像素属于肿瘤的概率。对于图像边界位置的像素，图像之外的位置(不存在像素)将像素值补充为0。滑动窗定位是对图像中的每个位置都进行一次分类，判断是否含是肿瘤区域。肿瘤识别网络的最小识别区域是50×50×12，因此，对于图像中的每个像素，以这个像素为中心，切割50×50×12的区域，将该区域输入到神经网络中进行分类。对整个图像进行分类的过程结束后，将得到一个与输入图像大小一致的概率图，像素值的大小代表该像素属于肿瘤区域的概率大小。

上述步骤S03中，通过上述卷积神经网络得到肿瘤分布的概率分布图，选取概率最高的位置为种子点，完成分割初始化，得到肿瘤初始区域C₀。当然，可能有一个或者多个种子点存在。

所述区域生长算法为：

对所述肿瘤初始区域C₀，通过下面的迭代步骤进行区域扩充。具体的，选取他周围的所有像素N(x)放入新的集合S中，将所述集合S中每个像素的灰度值与所述肿瘤区域C₀的灰度平均值进行比较，如果灰度差大于阈值t，则该像素被添加，形成肿瘤区域C_i；对于S中的像素(x,x)的灰度值与C_i中的灰度平均值之间的差δ(x,C_i)表示为：

其中，g(x)代表像素x的灰度值，g(y)为像素y的灰度值，式中

为集合C_i中像素的灰度平均值；

对x∈S进行分类：

对于label(x)＝1的像素x，将x添加进集合C_i；如果还有没有被遍历过的像素点，循环区域生长步骤，直到所有的像素点都完成分类。

本发明实施例提供的基于三维MRI图像的乳腺肿瘤自动分割方法，通过深度学习对肿瘤进行定位，利用区域增长对肿瘤边界进行分割。具体的，将传统的二维CNN扩展到三维，可以直接将三维数据输入模型，直接输出对应的三维概率分布，充分利用了图像的三维信息。且在模型训练完成后，神经网络的结构采用全卷积神经网络。训练过程中的训练数据是分块数据，而在模型发布的时候，可以接受整幅三维图像，且大小不受限制。采用本发明实施例方法分割乳腺肿瘤的MRI图像，一方面，由于本发明实施例方法是全自动分割方法，无需医生手动操作，不仅能够减少医生的工作量，能够节省大量时间，而且基于机器学习技术自动提取特征，肿瘤分割的结果不依赖于操作人员的业务水平和主观影响，分割的准确率高。另一方面，采用尽量简化的数学模型和分割过程，提高了分割的速度和准确度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，包括以下步骤：

图像预处理：提供初始MRI图像，采用非局部平均值滤波器对所述初始MRI图像进行预处理；

乳腺肿瘤定位：对训练集构建多层处理模型，采用卷积神经网络对训练对象的特征进行分层抽象，自动提取分割特征，输出肿瘤位置的概率分布图；

乳腺肿瘤边界分割：提供乳腺的三维MRI图像，基于所述肿瘤位置的概率分布图，确定种子点，完成分割初始化，得到肿瘤初始区域C₀；使用区域生长算法对肿瘤进行准确的分割，

其中，所述区域生长算法为：

对所述肿瘤初始区域C₀，选取他周围的所有像素N(x)放入新的集合S中，将所述集合S中每个像素的灰度值与所述肿瘤初始区域C₀的灰度平均值进行比较，如果灰度差小于阈值t，则该像素被添加，形成肿瘤区域C_i；对于C_i中的所有像素x的灰度值与C_i中所有像素的灰度平均值之间的差δ(x,C_i)表示为：

其中，g(x)代表像素x的灰度值，式中

为集合C_i中像素的灰度平均值，y属于C_i中的所有的像素点；

对x∈C_i进行分类：

对于label(x)＝1的像素x，则x继续保留在集合C_i中；对于label(x)＝0的像素x，将x从集合C_i中剔除；如果还有没有被遍历过的像素点，循环区域生长步骤，直到所有的像素点都完成分类。

2.如权利要求1所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，假定所述初始MRI图像为Y，进行图像预处理后的在p处的灰度值通过下述计算获得，

式中，p表示即将被滤波的点，q代表图像中的每一个点，w(p,q)是基于两个相邻的N_p,N_q的权重，其中，N_i定义为i点周围的一个方形区域，自定义的半径为R_sim，则：

式中，Z(p)是一个归一化的常数，h是对数递减的控制参数，d是p周围的像素的高斯加权欧氏距离，

其中，G_p是归一化的高斯加权方程。

3.如权利要求1所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，所述卷积神经网络的结构如下：

4.如权利要求1所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，所述乳腺肿瘤定位的步骤中，将乳腺肿瘤MRI图像进行区域分割，分割大小为50×50×12体素，得到存在肿瘤的正样本和不存在肿瘤的负样本作为训练集。

5.如权利要求1-4任一项所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，将所述训练集输入到所述卷积神经网络的结构中进行训练，输入训练产生的数据，输出所述肿瘤位置的概率分布图。

6.如权利要求1-4任一项所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，所述乳腺肿瘤定位的步骤中，采用卷积神经网络得到肿瘤位置的概率分布图的过程中，包括卷积操作、激活操作、计算损失函数和参数优化。

7.如权利要求6所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，所述卷积操作输入原始图像I和卷积核K，输出S，且

8.如权利要求6所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，所述激活操作中，采用整流线性单元作为隐层的激活函数，其表达式为：

f(x)＝max(0,x)

其梯度计算公式为

激活函数还包括SoftMax函数，所述SoftMax的公式是：

其梯度计算方式为：

式中，x_i是该层中第i个神经元，p(x_i)是该神经元属于类别i的概率，其值分布在[0，1]。

9.如权利要求6所述的基于三维MRI图像的乳腺肿瘤自动分割方法，其特征在于，所述损失函数的公式为：

J(X,Y)＝∑_{(x,y)∈(X,Y)}log(f(x,y；θ))，

一个训练样本的损失函数为：

J′(x,y)＝-log(f(x,y；θ))，

其中，(X，Y)是训练集，(x，y)是训练样本，所有训练样本彼此独立，f(x,y；θ)是具有参数θ的机器学习函数，函数f(x,y；θ)输出属于类y的数据x的概率。

Images