CN113516659B - 一种基于深度学习的医学影像自动分割方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的医学影像自动分割方法，针对肿瘤或器官分割任务中成像背景复杂、肿瘤区域缺乏形状特征、强度特异性和位置先验等挑战提出的解决方案，实现了肿瘤或器官的自动定位与分割。具体而言，设计了一种基于感兴趣区域的分割策略，使用一个稀疏目标检测模块自动定位及分类肿瘤或器官，并使用掩模分支对感兴趣区域进行精细分割。此外，将边界分割融合到掩模分割中以获得更精细的分割结果。本发明旨在解决常规的语义分割方法在肿瘤或器官分割任务中的局限性，通过实现全自动分割肿瘤或器官，一定程度上解决放射科医生的工作效率问题并减少由于个人偏差和临床经验带来的人工错误分割。

Description

一种基于深度学习的医学影像自动分割方法

技术领域

本发明涉及计算机视觉领域和医学图像分析领域，特别是涉及一种基于医学影像的自动分割算法。

背景技术

肿瘤或器官分割是医学影像定量分析中重要的基础，诸多后续任务，包括肿瘤或器官的定量评估，肿瘤分期，辅助诊断，放疗等都需要精确的分割结果。然而，人工分割肿瘤或器官需要结合图像，临床信息和背景知识才能准确地定位肿瘤或器官。全自动分割在一定程度上极大地减少放射科医师的工作量，并且减少由于个体偏差和临床经验引起的分割中的人为错误。

基于深度学习的自动分割技术的应用可以极大地促进肿瘤或器官的研究。由于医学影像包含诸多模态，成像参数以及肿瘤或器官大小不一等，给肿瘤或器官自动分割带来以下挑战：成像背景复杂且目标缺乏位置先验；目标缺乏形状特征，模型很难适应其比例和形状的高变化；目标缺乏强度特异性。针对上述问题，本发明提出了一种基于深度学习的医学影像自动分割技术。

发明内容

本发明的目的是为了提供一种基于深度学习的医学影像自动分割技术，可以在常见医学影像上开展肿瘤或器官的全自动检测及分割。为此，本发明采用以下技术方案：

一种基于深度学习的医学影像自动分割方法，其特征在于所述医学影像自动分割方法的网络结构主要由调制可变形主干网络和用于分类、框回归和掩模生成的多任务动态模块组成；自动分割步骤如下：

1)读取临床影像数据；

2)图像预处理及数据增强；

3)调制可变形主干网络提取特征；对经步骤2)输出的数据进行特征提取，然后使用特征金字塔网络来处理分割任务中的多尺度变化，最终输出具有高级语义信息的不同尺寸的特征图并由步骤4)中的多任务动态模块的分类、回归和掩模生成共享；

4)多任务动态模块分类、回归及基于感兴趣区域的掩模生成，输出对医学影像的分割结果；其中，多任务动态模块包括检测模块、掩模分割模块和边界分割模块三部分组成。

在步骤1)中，将数据集划分为训练集、验证集和测试集，应保证样本的随机性及相互独立性。所述数据为肿瘤或器官临床影像数据，包括常见的核磁共振影像MRI、计算机断层影像CT以及正电子发射断层影像PET等影像数据及对肿瘤或器官人工标注结果。

在步骤2)中，图像预处理包括重采样到同构分辨率以消除扫描分辨率的差异。如果数据为计算机断层影像CT，可以对CT影像数据根据所需分割部位的HU值选取分布范围，并对数据归一化处理。应用的数据增强方法包括随机水平翻转和随机垂直翻转等适用于医学影像的数据增强方法。

进一步地，在步骤3)中，具体步骤如下：在调制可变形主干网络中的卷积层，将调制可变形卷积作为单个层应用，在卷积之前使用学习的偏移量来重新计算特征图的像素位置，以实现卷积核的扩展。生成的偏移量采用双线性插值得到相应的像素，并对偏移量校正后的位置赋予不同的权重，以达到更准确的特征提取；其中所用到的预训练模型包括但不限于ResNet,DenseNet,EfficientNet等常见预训练模型；提取后的特征输入到特征金字塔网络以处理分割任务中的多尺度变化，最终输出具有高级语义信息的不同尺寸的特征图并由步骤4)中多任务动态模块的分类、回归和掩模生成三个分支共享。

所述多任务动态模块是一个迭代递归多任务学习结构，迭代学习初始化的候选框和候选框特征；进一步地，可参见图2，步骤4)中包括：

4.1)初始化N个候选框的中心点坐标、宽和高，并初始化N×D维的候选框特征，与由步骤3)得到的多尺度特征图一起输入到多任务动态模块中，将每次迭代后预测的候选框和候选框特征作为下一次迭代的输入。

4.2)候选框、前景候选框映射到由步骤3)输出的多尺度特征图并插值分别得到固定尺寸的感兴趣区域特征和掩模特征；将初始化的候选框映射到多尺度特征图中最大尺寸特征层并插值得到用于边界分割的固定尺寸边界特征。

4.3)将步骤4.2)输出的感兴趣区域特征输入到检测模块与候选框特征执行动态实例交互，为每个实例提取特征，然后预测并输出每个框的所属类别和坐标偏移，以此作为多任务动态模块下一次迭代的输入，根据框回归结果更新初始化的候选框；

4.4)将步骤4.2)输出的掩模特征输入到掩模分割模块，边界特征输入到边界分割模块，最后由掩模分割模块生成二值掩模分割图，并由边界分割模块预测目标的结构边界，获取目标的形状信息和位置信息进而约束二值掩模分割图以得到更精细的分割边界；其中边界真值由二值掩码真值利用拉普拉斯算子生成。

更进一步地，由于边界像素相对于掩膜像素极少，所以在边界特征提取过程中加入了感兴趣区域的掩膜特征，掩模特征提取过程和边界提取特征过程相互融合学习。可参见图3，在步骤4.4)中，首先，将获得的掩模特征输入到两个连续的卷积层，由此得到的输出特征再经过一个卷积层后融合到边界头，即与边界特征执行加和操作；输出边界特征随后被输入到两个连续的卷积层，从而获得边界分割图；掩模特征被下采样两次；每次下采样后，与经下采样获得的相同尺寸的边界特征执行加和运算；最后，相同尺寸的掩模特征执行跳跃连接以将语义信息丰富的高层卷积特征和低层卷积特征融合起来。

最后，在医学图像分割任务中，感兴趣的解剖结构通常只占据很小的扫描区域，往往导致学习过程陷入损失函数的局部最小值，导致网络对背景具有很强的预测偏差，前景区域通常丢失或仅部分检测到，本发明方法中定义一个多任务损失函数解决此问题。掩模分割过程中，基于感兴趣区域分割策略使前景占主导，平衡训练的稳定性以平均二元交叉熵损失定义掩模分割损失；边界分割过程中，由于感兴趣区域像素较少，导致类不平衡问题。在一般的边界分割研究中，通常的做法是为不同的类分配权重，以缓解边界预测中的类不平衡问题。虽然对某些不平衡问题有效，但对于高度不平衡的数据集难以解决，分配较大的权重意味着它还可能放大噪声并导致不稳定。在本发明方法中，通过将二元交叉熵损失和骰子损失相结合作为组合损失以优化边界学习。

具体步骤如下：训练过程中使用了如下的多任务损失函数，定义了每个采样感兴趣区域的多任务损失，允许网络为每个类生成掩码，而无需类之间的竞争：

其中，

是真值类别标签和预测分类的Focal损失，λ_cls是分类损失的系数，

为平均二值交叉熵损失；对于类别k真值对应的感兴趣区域，只对第k个掩模定义

和

分别为定位回归损失和边界损失，定义为：

其中，

和

分别为

损失和IoU损失，λ_L1和λ_giou分别为L₁损失和IoU损失的系数；

是二值交叉熵损失，

是对分割任务中类别不平衡问题影响较大的Dice系数损失，Dice系数是用来测量预测和真值之间的重叠程度，边界真值是由二值掩码真值利用拉普拉斯算子生成，使用阈值0将生成的边界转换为二值图作为最终的边界真值；

其中Dice损失为：

i表示第i个像素，∈是用于避免被零除的平滑项(∈设为1e-8)。H和W分别表示预测边界图的高度和宽度，

表示预测的边界，而

表示对应的真值边界特征。

根据本发明目的的第二个方面，本发明提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述医学影像自动分割方法的步骤。

根据本发明目的的第二个方面，本发明一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述医学影像自动分割方法的步骤。

本发明的有益效果在于：发明了一种新型的医学图像分割多任务学习网络，它结合了分类，检测和分割，其中融合的边界分割作为掩码分割的辅助信息，通过多分支联合训练有效地提高了分割性能。在内部数据和多个公开数据集上进行了广泛的实验，所发明的全自动分割网络被证明在肿瘤或器官的多类别分割任务中优于许多先进的医学图像分割网络，克服了传统的端到端语义分割网络在执行肿瘤或器官分割时的局限性。所发明的模型在医学图像分割有显著的潜力，它也可以很容易地扩展到其他检测或分割任务。

附图说明

图1为本发明方法的总体框架图；

图2为本发明方法中多任务动态模块结构图；

图3为本发明方法中掩模生成结构图；

图4为本发明方法在直肠癌MRI数据集、皮肤病变分割、息肉分割和肺部分割数据集上的分割结果示例。

图5为本发明方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的一种基于深度学习的医学影像自动分割方法，其网络结构主要由调制可变形主干网络和用于分类、框回归和掩模生成的多任务动态模块组成；可参见图1，是一个简单而通用的多任务分割网络。

如图5所示为本发明实施提供的一种医学影像中自动分割肿瘤或器官的方法流程图。以下结合图4所示的实例，对本发明做详细说明：

步骤S1：读取临床影像数据；

病人影像包括：CT(Computed Tomography)、MR(magnetic resonance)、PET(Positron Emission Tomography)、结肠镜(colonoscopy)以及超声(Ultrasound)等常见的医学影像。如图4所示为实施例中测试时的代表示例，第三行为输入的数据示例，分别为直肠癌MRI影像(左起第1、2个图像)、皮肤病变图像(左起第3、4个图像)、息肉结肠镜影像(左起第5、6个图像)和肺部CT影像(左起第7、8个图像)，分别以两张切片为示例。

步骤S2:图像预处理及数据增强。当数据用于训练时，按8：2的比例将所有数据划分为训练集和测试集，其中训练集包含由经验丰富的医生勾画好的肿瘤或器官区域的人工标注结果，测试时如需对模型性能评估，也应输入对应的人工标注结果。如图4中，第二行为测试时实施例中对应待预测代表示例的人工标注结果。若只需对输入实现自动定位及分割，则只需输入原始影像数据即可。对输入影像数据的预处理包括图像灰度归一化处理和图像尺寸缩放到固定尺寸，保证原始影像纵横比设定最短边为256像素，最长边最小值为256像素，最大值为512像素，且特别地对肺部CT影像将原始肺部CT图像的HU值截断至[-125，275]。

步骤S3：ImageNet的预训练权重对调制可变形主干网络初始化，如图1所示，将预处理之后的待分割图像输入到调制可变形主干网络进行特征提取；修改ResNet50中最后13个3×3卷积层，其修改方式如下：将调制可变形卷积作为单个层应用，在卷积之前使用学习的偏移量来重新计算特征图的像素位置，以实现卷积核的扩展。生成的偏移量采用双线性插值得到相应的像素，并对偏移量校正后的位置赋予不同的权重。随后将提取特征输入到特征金字塔网络并输出具有高级语义信息的不同大小的特征图P2～P5。

步骤S4：步骤S3中提取的特征图P2～P5作为输入，自动检测肿瘤或器官，并输出掩模分割和边界分割。

如图2所示，步骤S4具体包含以下几个步骤：

S41：初始化300个候选框，并将候选框的中心点坐标、宽和高(x,y,h,w)均初始化为零。同时，按照正态分布初始化300×256维的候选框特征。

S42：将候选框映射到由特征步骤S3中输出的多尺度P2～P5特征图并双线性插值得到固定尺寸的特征，作为感兴趣区域特征和掩模特征，并将候选框映射到特征P2且插值得到用于边界分割的固定尺寸，即为边界特征。其中感兴趣区域特征插值分辨率为7×7，掩模特征和边界特征插值分辨率为28×28。

S43：步骤S42中输出的感兴趣区域特征输入到检测模块中，感兴趣区域特征与候选框特征执行动态实例交互，为每个实例提取特征，最后输出肿瘤或器官的分类预测和位置预测结果。训练时根据损失函数计算预测与真值之间的分类损失和回归损失。

S44：如图3所示，首先，将步骤S42)获得的掩模特征输入到两个连续的3×3卷积层，由此得到的输出特征再经过一个1×1卷积层后融合到边界分割，即与边界特征执行加和操作；输出边界特征随后被输入到两个连续的3×3卷积层，从而获得边界分割图；掩模特征被下采样两次；每次下采样后，与经下采样获得的相同尺寸的边界特征执行加和运算；最后，相同尺寸的掩模特征执行跳跃连接以将语义信息丰富的高层卷积特征和低层卷积特征融合起来。最后，输出肿瘤或器官的二值掩模分割预测结果及边界分割预测结果，训练时根据掩模边界分割模块中定义的损失函数计算掩模损失及边界损失；

以上步骤S42、S43和S44为单次迭代过程，肿瘤或器官分类回归分支及掩模分割分支将执行六次循环，每次循环更新肿瘤或器官的候选框和候选框特征并且均作为下一次循环的输入。

如图5所示：当模型处于训练模式，模型输出结果将与真值计算损失。损失计算方式如下：

其中，

是真值类别标签和预测分类的Focal损失，λ_cls是分类损失的系数设为2，

为平均二值交叉熵损失；对于类别k真值对应的感兴趣区域，只对第k个掩模定义

和

分别为定位回归损失和边界损失，定义为：

其中，

和

分别为

损失和IoU损失，λ_L1和λ_giou分别为L₁损失和IoU损失的系数，分别设置为5和2；

是二值交叉熵损失，

为Dice损失，其计算方式如下：

i表示第i个像素，∈是用于避免被零除的平滑项(∈设为1e-8)。H和W分别表示预测边界图的高度和宽度，

表示预测的边界，而

表示对应的真值边界特征。

当损失值收敛或验证集分割精度保持稳定则训练结束。若损失值仍在下降或验证集分割精度尚未稳定时，将损失值通过反向传播来更新网络参数，直到收敛为止，并保存网络的权重；当模型处于测试模式，模型将直接输出肿瘤或器官的掩模分割结果。如图4所示第一行为网络训练完成后测试阶段实施例中对应代表示例的输出分割图。

在此实施例中，训练模式模型相关参数设置及训练条件如下：采用权重衰减为0.0001的AdamW作为优化器，批次大小设置为8，模型在RTX5000GPU上训练。调制可变形主干网络用ImageNet上的预训练权重进行初始化，学习率初始化为2.5×10-5，并且在训练过程中采用了预热学习率优化方法。最大迭代次数设置为270,000，学习率在210,000和250,000次迭代后分别降低0.1倍和0.01倍。

测试模型效能：在此实施例中，采用DSC、灵敏度及特异度作为评价指标，直肠癌MRI数据集测试结果如下：DSC达到0.801，灵敏度0.811，特异度0.998；皮肤病变分割数据集测试结果如下：DSC达到0.850，灵敏度0.978，特异度0.987；息肉结肠镜数据集测试结果如下：DSC达到0.886，灵敏度0.892，特异度0.985；肺部CT数据集测试结果如下：DSC达到0.976，灵敏度0.974，特异度0.993。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明的设施可借助软件加必需的通用硬件平台的方式来实现。本发明的实施例可以使用现有的处理器来实现，或者由被用于此目的或其他目的用于适当系统的专用处理器来实现，或者由硬接线系统来实现。本发明的实施例还包括非暂态计算机可读存储介质，其包括用于承载或具有存储在其上的机器可执行指令或数据结构的机器可读介质；这种机器可读介质可以是可由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。举例来说，这种机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备，或任何其他可用于以机器可执行指令或数据结构的形式携带或存储所需的程序代码，并可被由通用或专用计算机或其它带有处理器的机器访问的介质。当信息通过网络或其他通信连接(硬接线、无线或硬接线或无线的组合)传输或提供给机器时，该连接也被视为机器可读介质。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的医学影像自动分割方法，其特征在于所述医学影像自动分割方法的网络结构包括调制可变形主干网络和用于分类、框回归和掩模生成的多任务动态模块；自动分割步骤如下：

1)读取临床影像数据；

2)图像预处理及数据增强；

3)调制可变形主干网络提取特征；对经步骤2)输出的数据进行特征提取，然后使用特征金字塔网络来处理分割任务中的多尺度变化，最终输出具有高级语义信息的不同尺寸的特征图并由步骤4)中的多任务动态模块的分类、回归和掩模生成共享；

4)多任务动态模块分类、回归及基于感兴趣区域的掩模生成，输出对医学影像的分割结果；其中，多任务动态模块包括检测模块、掩模分割模块和边界分割模块三部分组成；

在步骤3)中，具体步骤如下：在调制可变形主干网络中的卷积层，将调制可变形卷积作为单个层应用，在卷积之前使用学习的偏移量来重新计算特征图的像素位置，生成的偏移量采用双线性插值得到相应的像素，并对偏移量校正后的位置赋予不同的权重，以达到更准确的特征提取；提取后的特征输入到特征金字塔网络，最后输出多尺度特征图；

所述多任务动态模块是一个迭代递归多任务学习结构，迭代学习初始化的候选框和候选框特征；具体步骤如下：首先初始化N个候选框的中心点坐标、宽和高，并初始化N×D维的候选框特征，与由步骤3)得到的多尺度特征图一起输入到多任务动态模块中，将每次迭代后预测的候选框和候选框特征作为下一次迭代的输入；

步骤4)中包括：

4.1)初始化N个候选框的中心点坐标、宽和高，并初始化N×D维的候选框特征，与由步骤3)得到的多尺度特征图一起输入到多任务动态模块中，将每次迭代后预测的候选框和候选框特征作为下一次迭代的输入；

4.2)候选框、前景候选框映射到由步骤3)输出的多尺度特征图并插值分别得到固定尺寸的感兴趣区域特征和掩模特征；将初始化的候选框映射到多尺度特征图中最大尺寸特征层并插值得到用于边界分割的固定尺寸边界特征；

4.3)将步骤4.2)输出的感兴趣区域特征输入到检测模块与候选框特征执行动态实例交互，为每个实例提取特征，然后预测并输出每个框的所属类别和坐标偏移，以此作为多任务动态模块下一次迭代的输入，根据框回归结果更新初始化的候选框；

4.4)将步骤4.2)输出的掩模特征输入到掩模分割模块，边界特征输入到边界分割模块，最后由掩模分割模块生成二值掩模分割图，并由边界分割模块预测目标的结构边界，获取目标的形状信息和位置信息进而约束二值掩模分割图以得到更精细的分割边界；其中边界真值由二值掩码真值利用拉普拉斯算子生成。

2.如权利要求1所述的一种基于深度学习的医学影像自动分割方法，其特征在于在步骤1)中，所述数据为肿瘤或器官的影像数据，所述影像数据包括核磁共振影像MRI数据、计算机断层影像CT以及正电子发射断层影像PET；所述影像数据被划分为训练集和测试集；所述影像数据包含脱敏的肿瘤或器官原始影像及对肿瘤或器官的人工标注结果。

3.如权利要求1所述的一种基于深度学习的医学影像自动分割方法，其特征在于在步骤4.4)中，首先，将获得的掩模特征输入到两个连续的卷积层，由此得到的输出特征再经过一个卷积层后融合到边界分割，即与边界特征执行加和操作；输出边界特征随后被输入到两个连续的卷积层，从而获得边界分割图；掩模特征被下采样两次；每次下采样后，与经下采样获得的相同尺寸的边界特征执行加和运算；最后，相同尺寸的掩模特征执行跳跃连接以将语义信息丰富的高层卷积特征和低层卷积特征融合起来。

4.如权利要求1所述的一种基于深度学习的医学影像自动分割方法，其特征在于训练过程中使用了如下的多任务损失函数，定义了每个采样感兴趣区域的多任务损失，允许网络为每个类生成掩码，而无需类之间的竞争：

其中，

是真值类别标签和预测分类的Focal损失，λ_cls是分类损失的系数，

为平均二值交叉熵损失；对于类别k真值对应的感兴趣区域，只对第k个掩模定义

和

分别为定位回归损失和边界损失，定义为：

其中，

和

分别为L₁损失和GIoU损失，λ_L1和λ_giou分别为L₁损失和GIoU损失的系数；

是二值交叉熵损失，

是对分割任务中类别不平衡问题影响较大的Dice系数损失，Dice系数是用来测量预测和真值之间的重叠程度，边界真值是由二值掩码真值利用拉普拉斯算子生成，使用阈值0将生成的边界转换为二值图作为最终的边界真值；

其中Dice损失为：

i表示第i个像素，∈是用于避免被零除的平滑项， ∈设为0.00000001；H和W分别表示预测边界图的高度和宽度，

表示预测的边界，而

表示对应的真值边界特征。

5.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述的医学影像自动分割方法的步骤。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的医学影像自动分割方法的步骤。

Images