CN110796672A - 基于层次卷积神经网络的乳腺癌mri分割方法 - Google Patents

Abstract

本发明公开了一种基于层次卷积神经网络的乳腺癌MRI分割方法，融合了多种算法，其具体步骤为，训练一个全卷积网络FCN模型，采用3D U‑Net架构来获取输入图像的全局和局部结构信息；以乳房掩膜为引导，训练另外两个FCN模型，分别估计粗分割结果和细化初始结果；开发基于标记点的检测模型，以检测用于活检肿瘤选择和放射基因组学的两个标记点，很好的解决了乳腺DEC‑MR图像分割中的常见问题，包括类不平衡问题和混淆等不易解决的问题，设计了学习框架来对乳腺肿瘤进行由粗到细的分割；使用肿瘤位置信息和标记信息来确定所有检测到的肿瘤中的活检肿瘤，自动检测，设计巧妙，精确率高，便于普及推广和使用。

Description

基于层次卷积神经网络的乳腺癌MRI分割方法

技术领域

本发明涉及医疗科技技术领域，特别涉及一种基于层次卷积神经网络的乳腺癌MRI分割方法。

背景技术

乳腺癌是除皮肤癌以外美国女性中最常见的癌症。中国不是乳腺癌的高发国家，但不宜乐观，近年我国乳腺癌发病率的增长速度却高出高发国家1～2个百分点。据国家癌症中心和卫生部疾病预防控制局2012年公布的2009年乳腺癌发病数据显示：全国肿瘤登记地区乳腺癌发病率位居女性恶性肿瘤的第1位，女性乳腺癌发病率(粗率)全国合计为42.55/10万，城市为51.91/10万，农村为23.12/10万。

近年来的研究和临床研究表明，动态对比增强磁共振成像(DCE-MRI)能同时显示乳腺癌的生理组织特征和解剖结构，是乳腺癌诊断的有效工具。最近研究也表明，通过算法提取的特征可用于识别乳腺癌肿瘤的基因组组成和预测患者的预后。在此背景下，相关的研究人员提出了一些特征来表征DCE-MR图像，如肿瘤形态、纹理和增强动力学等。然而，这些特征高度依赖于精确的肿瘤分割。因此，DCE-MR图像中乳腺肿瘤的准确分割对于乳腺癌的自动分析是一项非常重要的任务。

虽然已有许多方法用于一般的肿瘤分割，但在DCE-MRI中用于乳腺肿瘤分割的方法却很少。常用的肿瘤分割方法有四种：

(1)手工标注：这是最直接的方法，由放射科医生手工标注肿瘤区域，这种方法不仅耗时而且容易出错。

(2)基于图谱的方法：尽管各种基于图谱的方法(通过图像配准)已经取得了令人满意的结果，但由于乳腺肿瘤通常没有固定的位置和规则的形态，因此这种方法不能准确地识别乳腺肿瘤。

(3)半自动方法：已经开发了几种半自动乳腺肿瘤分割方法。然而，由于直接从混淆的器官或血管中识别乳腺肿瘤非常困难，因此，这些方法需要由放射科医生为肿瘤画出预先定义的区域(例如边界框)。

(4)基于学习的方法：作为一种替代方法，基于学习的组织分割方法在血管分割、器官分割、肿瘤分割和计算机辅助疾病分析等医学应用中取得了显著的效果。最近，基于深度学习的方法，例如卷积神经网络(CNN)和全卷积网络(FCN)，在医学成像分析中取得了最新的性能。但有研究提出，FCN分割肿瘤的一个共同挑战是肿瘤区域(阳性类)中的体素数目远小于背景(阴性类)中的体素数目，导致严重的类不平衡问题。然而，在以往的乳腺肿瘤分割的深度学习方法中很少考虑到这一问题。此外，DCE-MRI中的混杂背景(如血管结构和器官)使乳腺肿瘤分割的任务更具挑战性。

与本发明相关的现有技术

半自动分割方法：

DCE-MRI对乳腺肿瘤分割的研究较少，且多为半自动方法。模糊C均值(FCM)是一种典型的基于聚类的肿瘤分割方法。这种方法通常需要对放射科医生定义的肿瘤进行粗略的定位(例如包围盒)，因为要区分乳腺肿瘤与混杂的组织、血管和其他器官是很困难的。另一种应用于乳腺肿瘤分割的半自动方法是基于图切割的方法，在这种方法中，肿瘤首先被指定，然后通过人工标注进行大致分割。

缺点：无论是哪一种半自动分割方法，它们都高度依赖于肿瘤的预定义切片或区域(例如边界框等)，而这些区域需要放射科医生的劳动密集型注释。

基于学习的分割方法：

与半自动方法不同，传统的基于学习的方法可以通过有监督学习算法实现肿瘤的自动分割。基于学习的方法旨在训练基于体素的分类模型，将肿瘤区域的体素作为阳性样本，其余部分作为阴性样本。具体来说，这些方法通常首先提取一个以特定体素为中心的立方体块，然后学习一个块二值分类器来区分肿瘤区域中的体素和其余区域的体素。

与传统的基于学习的方法不同，深度神经网络，如全卷积网络(FCN)，可以以端到端的方式执行分割任务，其中特征提取和模型训练被纳入统一的学习框架中。特别是，在不使用任何完全连接层的情况下，FCN可以对具有任意大小的整个图像执行体素(或像素)分割。

缺点：传统的基于学习的方法往往把特征提取和模型训练看作两个独立的任务，忽略了人工特征与后续学习模型之间可能存在的异构性。而现有的基于深度学习的乳腺癌DCE-MRI分割方法很少同时考虑混杂区域的影响和乳腺癌DCE-MRI分割中普遍存在的类不平衡问题。

发明内容

针对上述背景内容中提出的实质性缺陷和不足，本发明提供一种基于层次卷积神经网络的乳腺癌MRI分割方法，通过全卷积网络(FCN)进行乳腺肿瘤分割的掩膜引导分级学习(MHL)框架，可以解决背景技术中所指出的问题。

一种基于层次卷积神经网络的乳腺癌MRI分割方法，基于动态对比增强磁共振成像(DCE-MRI)，其具体步骤为，

Q1，训练一个全卷积网络FCN模型(FCN-1)，采用3D U-Net架构来获取输入图像的全局和局部结构信息，以估计感兴趣的区域即乳房掩膜；

Q2，以乳房掩膜为引导，训练另外两个FCN模型(FCN-2和FCN-3)，分别估计粗分割结果和细化初始结果，至此可以检测输入图像中的所有肿瘤区域；

Q3，为了从所有检测到的肿瘤中识别出活检肿瘤，进一步开发了一种基于标记点的检测模型(FCN-4)，以检测用于活检肿瘤选择和放射基因组学的两个标记点。

在上述技术方案中，在Q1步骤中，全卷积网络FCN模型(FCN-1)对每个输入的对比增强前图像进行学习生成乳房掩膜；用降采样的预对比图像来训练FCN-1，该训练过程使用二进制交叉熵损失函数，图像规格为1.5×1.5×1.5mm³的分辨率。

在上述技术方案中，在Q2步骤中，粗分割具体为：

训练另一个全卷积网络FCN模型(FCN-2)，包含尽可能多的类肿瘤体素来获得高灵敏度乳腺肿瘤的粗分割结果，同样采用3D U-Net架构来获取输入图像的全局和局部结构信息，存在一条收缩路径和一条扩展路径，收缩路径的每个步骤由3×3×3卷积，批处理归一化、校正线性单元(ReLU)和2×2×2最大池化操作，扩展路径的每个步骤都包括一个3×3×3向上卷积，然后是与收缩路径中的相应特征映射的级联过程，以及一个3×3×3卷积；

FCN-2中设有激活函数，在最后一层的激活函数是一个sigmoid函数，因此输出被归一化为[0，1]，即FCN-2的输出是每个体素属于肿瘤区域或背景的概率。

在上述技术方案中，激活函数为类骰子灵敏度(Dice-Sensitivity-like)损失函数，其形式定义为：

其中，

X_n,v表示第n个输入数据X_n的第v(v＝1，...，V)体素；

X_n的金标准分割概率图为S_n，第v个元素表示为S_n,v；

f(X_n,v,W₂)是通过使用FCN-2的网络系数W₂对X_n,v的概率估计；

N是训练图像的数量。

在上述技术方案中，在Q2步骤中，细分割具体为：

训练第三个全卷积网络FCN模型(FCN-3)，以精确定位肿瘤区域。包含三个通道，分别为通过FCN-2生成的粗略分割概率图，对比增强后图像和减影图像。FCN-3的重点是准确估计肿瘤的位置，采用以下Dice-like损失函数：

其中，g(X'_n,v,W₃)是通过使用FCN-3的网络系数W₃的概率估计，X'_n,v是具有3个通道的输入数据X'_n的第v个(v＝1,…,V)体素。

在上述技术方案中，在Q3步骤中，具体为以下三个步骤：

Q31：肿瘤标记：标记FCN-3生成的分割图像中所有可能的肿瘤，首先，利用图像侵蚀和图像扩张以去除可能的噪音，并连接可能的非肿瘤区域；然后，计算出图像上的连接分量，以获得每个肿瘤的掩膜；最后，利用肿瘤掩膜从原始分割图像中定位出相应的肿瘤；

Q32：标记点检测：为了自动计算每个肿瘤的时钟位置，首先定义位于左、右乳头的两个标志点，分别记作NL和NR；然后，训练一个具有U-Net架构的标记点检测器(FCN-4)，该检测器的输入为对比增强前图像，输出为两个标记点的热图；

Q33：活检肿瘤选择：以检测到的两个乳头标记点为时钟中心，计算每个检测到的肿瘤的时钟位置，肿瘤的左右位置信息由它们到两个标记点的距离来定义，时钟信息由乳头标记点和肿瘤的位置来定义，其中以乳头标志点作为时钟中心，根据每个肿瘤的估时钟位置和临床记录中活检肿瘤的时钟位置，最终从所有检测到的肿瘤中识别出活检肿瘤。

有益效果

本发明提供的一种基于层次卷积神经网络的乳腺癌MRI分割方法，融合了多种算法，很好的解决了乳腺DEC-MR图像分割中的常见问题，包括类不平衡问题和混淆等不易解决的背景技术问题，设计了学习框架来对乳腺肿瘤进行由粗到细的分割；使用肿瘤位置信息和标记信息来确定所有检测到的肿瘤中的活检肿瘤，自动检测，设计巧妙，精确率高，便于普及推广和使用。

附图说明

图1为本发明提供的一种基于层次卷积神经网络的乳腺癌MRI分割方法的整体步骤流程结构示意图。

具体实施方式

下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1所示，一种基于层次卷积神经网络的乳腺癌MRI分割方法，基于动态对比增强磁共振成像(DCE-MRI)，其具体步骤如下：

步骤一：乳房掩膜(ROI)生成

由于乳腺肿瘤仅出现在乳腺区域，因此首先要生成仅包括乳腺的目标区域(ROI)。最直接的方法是使用乳房作为ROI，可以去除大部分混淆的器官。本发明设计了具有3D U-Net架构的全卷积网络(FCN-1)，对每个输入的对比增强前图像进行学习生成乳房掩膜。为了加快训练和测试过程，本发明采用了降采样的预对比图像(规格化为1.5×1.5×1.5mm3的分辨率)来训练FCN-1，该训练过程使用二进制交叉熵损失函数。

步骤二：基于层次学习的肿瘤区域分割

1)粗分割：本发明设计了第二个FCN模型(FCN-2)，通过包含尽可能多的类肿瘤体素来获得高灵敏度乳腺肿瘤的粗分割结果。具体描述如下：

与FCN-1类似，FCN-2同样采用U-Net架构来获取输入图像的全局和局部结构信息。具体来说，在FCN-2中存在一条收缩路径和一条扩展路径。收缩路径的每个步骤由3×3×3卷积，批处理归一化、校正线性单元(ReLU)和2×2×2最大池化操作(步长为2用于下采样)。扩展路径的每个步骤都包括一个3×3×3向上卷积，然后是与收缩路径中的相应特征映射的级联过程，以及一个3×3×3卷积(紧跟一个ReLU函数)。FCN-2中最后一层的激活函数是一个sigmoid函数，因此输出被归一化为[0，1]。也就是说，FCN-2的输出是每个体素属于肿瘤区域或背景的概率。由于收缩和扩展两种路径的作用，该网络在保持较高定位精度的同时，还可以利用较小的核尺寸来获取较大的图像区域。

令X_n,v表示第n个输入数据X_n的第v(v＝1，...，V)体素。给定3个通道，每个体素包含3个元素，每个元素对应一个特定的通道。令X_n的金标准分割概率图为S_n，第v个元素表示为S_n,v。由于肿瘤区域(即阳性类别)中的体素仅占图像的很小一部分(与背景中属于阴性类别的体素相比)，所以这是一个典型的类失衡问题。这通常导致对学习网络的预测偏向背景区域，从而导致肿瘤区域仅被部分检测到或丢失。为了通过在前景体素和背景体素之间建立正确的平衡来减少类不平衡问题，并获得肿瘤区域的高灵敏度，本发明采用了类骰子灵敏度(Dice-Sensitivity-like)损失函数。该损失函数包含的两个部分都有助于解决类不平衡问题。骰子系数与传统的整体准确性，均方误差或交叉熵等测量方法不同，它高度关注肿瘤类别，并对缺失的体素和假阳性现象进行惩罚。灵敏度则为检测肿瘤体素增加了额外的偏置，从而通过将重点转移到少数群体(即肿瘤体素)上来解决不平衡问题。类骰子灵敏度(Dice-Sensitivity-like)损失函数的形式定义为：

其中，f(X_n,v,W₂)是通过使用FCN-2的网络系数W₂对X_n,v的概率估计，N是训练图像的数量。上述式(1)定义的损失函数旨在分割肿瘤区域，并尽可能保留这些类肿瘤区域，其中第二项是骰子系数项(DSC)，最后一项是灵敏度项(SEN)。由于通过类骰子灵敏度(Dice-Sensitivity-like)损失函数得到的结果会包含很多假阳性体素，因此，通过FCN-2只能生成粗略的分割结果。考虑到内存和图像大小的不同，在训练过程中采用了大小为96×96×96的固定滑动窗口。

2)细分割：为了细化FCN-2生成的分割结果，本发明设计了第三个FCN模型(FCN-3)以精确定位肿瘤区域。具体而言，FCN-3的输入包含三个通道，分别为通过FCN-2生成的粗略分割概率图，对比增强后图像和减影图像。FCN-3的重点是准确估计肿瘤的位置，采用以下Dice-like损失函数：

其中，g(X'_n,v,W₃)是通过使用FCN-3的网络系数W₃的概率估计，X'_n,v是具有3个通道的输入数据X'_n的第v个(v＝1,…,V)体素。

为了进一步缓解类不平衡问题，本发明提出一种强化采样策略，从肿瘤区域和背景中提取斑块，用于FCN-3的训练。具体来说，就是根据由FCN-2生成的概率图对训练斑块进行采样。用数学描述为：令P表示从FCN-2得到的粗分割概率图，其大小为A×B×C。给定斑块大小为P×P×P，则有(A-P+1)×(B-P+1)×(C-P+1)个可采样的候选斑块，则有映射Q＝P*1，其中*是具有有效策略的卷积运算，1是所有1的核，其大小为P×P×P。因此，Q的大小为(A-P+1)×(B-P+1)×(C-P+1)。基于Q，可得采样概率图V为：

其中，ω是用于直接调整采样概率并控制采样斑块总数的系数。因此，每个以(x,y,z)为中心的斑块都可以以V(x-P/2+1，y-P/2+1，z-P/2+1)的概率进行采样，其中，x∈[P/2,A-P/2]，y∈[P/2,B-P/2]，z∈[P/2,C-P/2]。生成的概率图包含了可能的肿瘤区域和难以与肿瘤区分的混淆区域。使用所提出的采用策略，可以得到同时包含肿瘤区域和混淆区域的斑块。

步骤三：基于标记点的活检肿瘤检测

在磁共振成像中，乳腺肿瘤分割的一个重要应用是通过从所有检测到的肿瘤中选择活检肿瘤来确定成像和基因组学之间的关系。为了定位活检肿瘤，本发明设计了一种新的基于标记点检测的活检肿瘤识别方法，该方法使用肿瘤位置信息和标记信息来确定所有检测到的肿瘤中哪些是活检肿瘤。具体包括以下三个步骤。

1)肿瘤标记：标记FCN-3生成的分割图像中所有可能的肿瘤。首先，利用图像侵蚀和图像扩张以去除可能的噪音，并连接可能的非肿瘤区域；然后，计算出图像上的连接分量，以获得每个肿瘤的掩膜；最后，利用肿瘤掩膜从原始分割图像中定位出相应的肿瘤。

2)标记点检测：为了自动计算每个肿瘤的时钟位置，首先定义位于左、右乳头的两个标志点，分别记作NL和NR。然后，训练一个具有U-Net架构的标记点检测器(FCN-4)，该检测器的输入为对比增强前图像，输出为两个标记点的热图。通过这种方法，可以自动检测出每个对比增强前图像左、右乳头的两个标记点。

3)活检肿瘤选择：以检测到的两个乳头标记点为时钟中心，计算每个检测到的肿瘤的时钟位置。肿瘤的左右位置信息由它们到两个标记点的距离来定义。也就是说，如果某个肿瘤到左乳头标志点的距离小于到右乳头标志点的距离，则认为该肿瘤位于左乳房；否则认为位于右乳房。时钟信息由乳头标记点和肿瘤的位置来定义，其中以乳头标志点作为时钟中心。根据每个肿瘤的估时钟位置和临床记录中活检肿瘤的时钟位置，最终可以从所有检测到的肿瘤中识别出活检肿瘤。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (6)

1.一种基于层次卷积神经网络的乳腺癌MRI分割方法，其特征在于，基于动态对比增强磁共振成像(DCE-MRI)，其具体步骤为，

Q1，训练一个全卷积网络FCN模型(FCN-1)，采用3D U-Net架构来获取输入图像的全局和局部结构信息，以估计感兴趣的区域即乳房掩膜；

Q2，以乳房掩膜为引导，训练另外两个FCN模型(FCN-2和FCN-3)，分别估计粗分割结果和细化初始结果，至此可以检测输入图像中的所有肿瘤区域；

Q3，为了从所有检测到的肿瘤中识别出活检肿瘤，进一步开发了一种基于标记点的检测模型(FCN-4)，以检测用于活检肿瘤选择和放射基因组学的两个标记点。

2.根据权利要求1所述的一种基于层次卷积神经网络的乳腺癌MRI分割方法，其特征在于，在Q1步骤中，全卷积网络FCN模型(FCN-1)对每个输入的对比增强前图像进行学习生成乳房掩膜；用降采样的预对比图像来训练FCN-1，该训练过程使用二进制交叉熵损失函数，图像规格为1.5×1.5×1.5mm³的分辨率。

3.根据权利要求1所述的一种基于层次卷积神经网络的乳腺癌MRI分割方法，其特征在于，在Q2步骤中，粗分割具体为：

训练另一个全卷积网络FCN模型(FCN-2)，包含尽可能多的类肿瘤体素来获得高灵敏度乳腺肿瘤的粗分割结果，同样采用3D U-Net架构来获取输入图像的全局和局部结构信息，存在一条收缩路径和一条扩展路径，收缩路径的每个步骤由3×3×3卷积，批处理归一化、校正线性单元(ReLU)和2×2×2最大池化操作，扩展路径的每个步骤都包括一个3×3×3向上卷积，然后是与收缩路径中的相应特征映射的级联过程，以及一个3×3×3卷积；

FCN-2中设有激活函数，在最后一层的激活函数是一个sigmoid函数，因此输出被归一化为[0，1]，即FCN-2的输出是每个体素属于肿瘤区域或背景的概率。

4.根据权利要求3所述的一种基于层次卷积神经网络的乳腺癌MRI分割方法，其特征在于，激活函数为类骰子灵敏度(Dice-Sensitivity-like)损失函数，其形式定义为：

其中，

X_n,v表示第n个输入数据X_n的第v(v＝1，...，V)体素；

X_n的金标准分割概率图为S_n，第v个元素表示为S_n,v；

f(X_n,v,W₂)是通过使用FCN-2的网络系数W₂对X_n,v的概率估计；

N是训练图像的数量。

5.根据权利要求1所述的一种基于层次卷积神经网络的乳腺癌MRI分割方法，其特征在于，在Q2步骤中，细分割具体为：

训练第三个全卷积网络FCN模型(FCN-3)，以精确定位肿瘤区域。包含三个通道，分别为通过FCN-2生成的粗略分割概率图，对比增强后图像和减影图像。FCN-3的重点是准确估计肿瘤的位置，采用以下Dice-like损失函数：

其中，g(X'_n,v,W₃)是通过使用FCN-3的网络系数W₃的概率估计，X'_n,v是具有3个通道的输入数据X'_n的第v个(v＝1,…,V)体素。

6.根据权利要求1所述的一种基于层次卷积神经网络的乳腺癌MRI分割方法，其特征在于，在Q3步骤中，具体为以下三个步骤：

Q31：肿瘤标记：标记FCN-3生成的分割图像中所有可能的肿瘤，首先，利用图像侵蚀和图像扩张以去除可能的噪音，并连接可能的非肿瘤区域；然后，计算出图像上的连接分量，以获得每个肿瘤的掩膜；最后，利用肿瘤掩膜从原始分割图像中定位出相应的肿瘤；

Q32：标记点检测：为了自动计算每个肿瘤的时钟位置，首先定义位于左、右乳头的两个标志点，分别记作NL和NR；然后，训练一个具有U-Net架构的标记点检测器(FCN-4)，该检测器的输入为对比增强前图像，输出为两个标记点的热图；

Q33：活检肿瘤选择：以检测到的两个乳头标记点为时钟中心，计算每个检测到的肿瘤的时钟位置，肿瘤的左右位置信息由它们到两个标记点的距离来定义，时钟信息由乳头标记点和肿瘤的位置来定义，其中以乳头标志点作为时钟中心，根据每个肿瘤的估时钟位置和临床记录中活检肿瘤的时钟位置，最终从所有检测到的肿瘤中识别出活检肿瘤。

Images