CN112102321B - 一种基于深度卷积神经网络的病灶图像分割方法及系统 - Google Patents

Abstract

本发明提供了一种基于深度卷积神经网络的病灶图像分割方法及系统，利用经过训练的病灶图像分割模型中的三维特征融合模块通过映射关系转化待测部位的原始图像所提取的初始多尺度特征图以匹配不同的特征分辨率，进而提高模型精度，利用病灶图像分割模型中的单级特征细化模块来细化和融合三维特征融合模块以及三层深度神经网络中同层级的特征，以解决不同尺度特征间的不一致性，以得到具有高一致性的多层深度注意特征图；利用病灶图像分割模型中的多级特征细化模块缓解替代消失问题，利用构建的混合损失函数增强SDS以得到病灶图像，以避免多层深度注意特征图直接平均用于预测病灶区域，提高模型性能和准确性。

Description

一种基于深度卷积神经网络的病灶图像分割方法及系统

技术领域

本发明涉及临床影像技术领域，特别涉及一种基于深度卷积神经网络的病灶图像分割方法及系统。

背景技术

胃癌(gastric cancer)是起源于胃黏膜上皮的恶性肿瘤，也是消化道系统种非常普遍的癌症，通常采用CT作为其常规的胃癌影像检查方式，而从CT影像中自动分割病灶图像对于术前具有指导且重要亟需意义。目前，自动分割方法有多种，尤其是运用深度学习在医学影像分割性格完成巨大成功。通常采用的自动分割方法有特征金字塔网络、多视点特征金字塔网络以及基于深层注意特征的特征金字塔网络等，但上述自动分割方法往往忽略多尺度特征之间的不一致性或没有考虑到单层特征和多层特征之间的低级信息和高级信息之间的互补作用，使得影像分割精度低且浪费资源。

因此，现有技术还有待改进和提高。

发明内容

基于此，有必要针对现有技术中影像分割精度低且浪费资源的技术问题，提供一种基于深度卷积神经网络的病灶图像分割方法及系统。

为了解决上述技术问题，本发明所采用的技术方案如下：

第一方面，本申请提供一种基于深度卷积神经网络的病灶图像分割方法，所述基于深度卷积神经网络的病灶图像分割方法包括以下步骤：

采集待测部位的原始图像；

将所述原始图像输入经过训练的病灶图像分割模型，通过所述病灶图像分割模型确定所述待测部位的病灶图像；其中，所述病灶图像从所述原始图像分割出。

可选地，所述病灶图像分割模型包括三层深度神经网络、三维空间特征融合模块、单级特征细化模块以及多级特征细化模块，所述将所述原始图像输入经过训练的病灶图像分割模型，通过所述病灶图像分割模型确定所述待测部位的病灶图像具体包括：

所述原始图像输入至所述三层深度神经网络，通过所述三层深度神经网络确定所述原始图像的三个初始多尺度特征图；

三个初始多尺度特征图输入至所述三维空间特征融合模块，通过所述三维空间特征融合模块确定每个初始多尺度特征图对应的修正多尺度特征图；

将单个初始多尺度特征图以及对应的修正多尺度特征图组合输入至所述单级特征细化模块，通过所述单级特征细化模块确定所述初始多尺度特征图对应的多层深度注意特征图；其中，所述多层深度注意特征图的深度高于所述初始多尺度特征图；

将三个多层深度注意特征图输入至所述多级特征细化模块，通过所述多级特征细化模块确定所述原始图像的病灶图像。

可选地，所述三层深度神经网络包括一个下采样层、级联的三个编码层以及级联的三个解码层，所述编码层与所述解码层一一对应；

所述三维空间特征融合模块包括三个三维空间特征融合网络，一个三维空间特征融合网络与一个所述解码层单层级联，每个三维空间特征融合网络均包括特征修正单元、特征提取单元以及特征融合单元；

所述单级特征细化模块包括三个单级特征细化网络，一个单级特征细化网络与一个所述三维空间特征融合网络单层级联，每个单级特征细化网络均包括单级通道拼接单元以及级联的三个单级整流线性单元；

所述多级特征细化模块包括多级通道拼接单元以及级联的三个多级整流线性单元。

可选地，所述病灶图像分割模型的训练具体包括：

构建预设网络模型以及构建混合损失函数；

获取初始训练集；其中，所述初始训练集包括若干个训练CT图像；

获取每个训练CT图像预设尺寸的CT图像块作为目标训练集，对所述目标训练集进行增强，以得到增强后的目标训练集；

基于增强后的目标训练集对预设网络模型进行训练，通过所述混合损失函数修正所述预设网络模型的参数，以得到所述病灶图像分割模型。

可选地，所述构建混合损失函数具体包括：

构建第一损失函数；其中，所述第一损失函数是用于修正所述预设网络模型中三维空间特征融合模块与单级特征细化模块之间的性能参数的Jaccard损失：

构建第二损失函数；其中，所述第二损失函数是用于平衡所述预设网络模型中所述单级特征细化模块与多级特征细化模块之间的数的Focal损失；

基于所述第一损失函数和所述第二损失函数的加权和确定所述混合损失函数。

可选地，所述第一损失函数的公式为：

其中，n为输入CT图像块的体素数；ε表示一个平滑因子；p_i∈[0,1]表示第i个体素的预测概率，q_i∈{0,1}表示对应的CT图像块的体素值；

所述第二损失函数的公式为：

其中，α表示Focal损失的一个平衡因子；γ表示一个聚焦参数平滑调整加权率；

单个混合损失函数的公式为：

Losssingal＝·Lossjaccard+·Lossfocal；

其中，其中，λ和η分别表示Jaccard损失和Focal损失的权重因子；

所有单个混合损失函数的损失之和作为所述混合损失函数，所述混合损失函数的公式为：

其中，ws和代表第s阶段的权重和损失，wf和/>代表预设网络模型的输出层的权重和损失。

可选地，所述增强包括数据增强和图像增强，所述数据增强包括翻转、旋转、平移中一种或多种，所述图像增强包括归一化、体素空间重采样中一种或多种。

可选地，所述体素空间重采样用于执行三阶样条插值方法，所述归一化用于执行将前景体素的0.5％到99.5％强度值的剪切操作。

可选地，所述病灶图像分割模型训练时使用Adam算法作为优化器，并使用了学习率衰减策略。

第二方面，本申请还提供一种基于深度卷积神经网络的病灶图像分割系统，所述基于深度卷积神经网络的病灶图像分割系统包括：

图像采集装置用于采集待测部位的原始图像；

病灶图像分割装置用于确定所述待测部位的原始图像对应的病灶图像；其中，所述病灶图像分割装置配置有经过训练的病灶图像分割模型。

有益效果：

本发明所提供的一种基于深度卷积神经网络的病灶图像分割方法及系统，利用经过训练的病灶图像分割模型中的三维特征融合模块通过映射关系转化待测部位的原始图像所提取的初始多尺度特征图以匹配不同的特征分辨率，进而提高模型精度，利用病灶图像分割模型中的单级特征细化模块来细化和融合三维特征融合模块以及三层深度神经网络中同层级的特征，以解决不同尺度特征间的不一致性，以得到具有高一致性的多层深度注意特征图；利用病灶图像分割模型中的多级特征细化模块缓解替代消失问题，利用构建的混合损失函数增强SDS(Stage-wise Deep Supervision，阶段间深监督)来得到病灶图像，以避免多层深度注意特征图直接平均用于预测病灶区域，提高模型性能和准确性。

附图说明

图1为本发明提供一种基于深度卷积神经网络的病灶图像分割方法的流程图。

图2为本发明的病灶图像分割模型的结构框图。

图3为本发明提供的基于深度卷积神经网络的病灶图像分割系统的结构框图。

具体实施方式

本发明提供一种基于深度卷积神经网络的病灶图像分割方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

经发明人研究发现，特征金字塔网络(FPN)是一个典型的深度学习网络，其拥有学习多级特征表达的特征金字塔结构，在医学影像目标检测和语义分割中均有出色的性能表现。现有的自动分割方法如一种具有位置感知注意的多视点特征金字塔网络，用于深度普遍的病灶检测，又如基于深层注意特征的特征金字塔网络，用于三维经直肠超声前列腺分割，再如一种具有特征细化的3D ESPNet，用于脑肿瘤的分割，但这些方法存在以下问题：要么忽略多尺度特征之间的不一致性，从而导致病灶部位对应的图像精度不高，所预测的病灶部位准确性低；要么没有考虑到单层特征和多层特征之间的低级信息和高级信息之间的互补作用，从而导致资源浪费，占用空间，增加成本。

因此，基于上述问题，本申请提出一种基于深度卷积神经网络的病灶图像分割方法和系统，利用经过训练的病灶图像分割模型中的三维特征融合模块通过映射关系转化待测部位的原始图像所提取的初始多尺度特征图以匹配不同的特征分辨率，进而提高模型精度，利用病灶图像分割模型中的单级特征细化模块来细化和融合三维特征融合模块以及三层深度神经网络中同层级的特征，以解决不同尺度特征间的不一致性，以得到具有高一致性的多层深度注意特征图；利用病灶图像分割模型中的多级特征细化模块缓解替代消失问题，利用构建的混合损失函数增强SDS(Stage-wise Deep Supervision，阶段间深监督)来得到病灶图像，以避免多层深度注意特征图直接平均用于预测病灶区域，提高模型性能和准确性。

下面结合附图，详细说明本发明的技术方案，具体如下：

请参阅图1，图1是本发明提供的一种基于深度卷积神经网络的病灶图像分割方法的流程图，应该说明的是，本发明实施方式的基于深度卷积神经网络的病灶图像分割方法并不限于图1所示的流程图中的步骤及顺序，根据不同的需求，流程图中的步骤可以增加、移除或者改变顺序。

如图1所示，所述基于深度卷积神经网络的病灶图像分割方法包括以下步骤：

S10、采集待测部位的原始图像。

在本申请实施例中，所述待测部位指的是患者机体中待检查区域，机体局部发生病变的部位成为病灶，病灶可以发生在机体的任何组织或者器官,如牙周病、阑尾炎等疾病。本实施例中，所述待测部位指的是胃部区域。其采用医学影像设备采集胃部区域的原始图像。该原始图像即为胃部区域的CT影像。待测部位中病灶对应的图像成为病灶图像，该病灶图像用于辅助专业医生对患者情况判断以指导专业医生进行有效手术治疗。

S20、将所述原始图像输入经过训练的病灶图像分割模型，通过所述病灶图像分割模型确定所述待测部位的病灶图像；其中，所述病灶图像从所述原始图像分割出。

在本申请实施例中，所述病灶图像分割模型应用于胃肿瘤分割网络。如图2所示，所述病灶图像分割模型包括三层深度神经网络1、三维空间特征融合模块2、单级特征细化模块3以及多级特征细化模块4，所述原始图像经过该病灶图像分割模型可以输出该待测部位中可能属于病灶区域对应的病灶图像。

所述三层深度神经网络1使用3D FPN架构，用于提取待测部位的原始图像中不同尺度的特征，得到初始多尺度特征图，这样，通过自顶向下的路径和横向连接获得不同尺度的粗略特征图。所述初始多尺度特征图包括小尺寸特征图和大尺寸特征图，所述小尺寸特征图具有分辨率低，语义信息层次高的特点，所述大尺寸特征图具有分辨率高，细节信息丰富的特点。

本申请的三层深度神经网络结构简单，占用计算机内存小，同时能用于不同尺度的特征提取。继续参阅图2，所述三层深度神经网络1包括一个下采样层、级联的三个编码层以及级联的三个解码层，所述编码层与所述解码层一一对应。所述下采样层作为第0层(layer0)，三个编码层以及对应的解码层分别对应第1层(layer1)、第2层(layer2)以及第3层(layer3)。具体实施时，设置卷积核大小为(1，2，2)，通过该卷积核对第0层、第1层和第2层进行下采样操作，第1层、第2层以及第3层的解码层分别输出一个初始多尺度特征图。随着网络层次的加深，初始多尺度特征图的尺度不一致性也越来越明显。因此，在进行下采样操作时，在第2层和第3层之间利用空洞卷积来聚合多尺度语义信息。

图2中，stage0阶段是一个编码层，用于提取粗略的初始多尺度特征图，其stage1阶段是一个解码层，其和编码层组成基础骨架，同样得到的是粗略的初始多尺度特征图。

请继续参阅图2，所述三维空间特征融合模块2(又称为3D ASFF)包括三个三维空间特征融合网络，一个三维空间特征融合网络与一个所述解码层单层级联，每个三维空间特征融合网络均包括特征修正单元、特征提取单元以及特征融合单元。所述三维空间特征融合模块2分为特征细化和特征融合两个阶段，其特征细化阶段是将三维空间分辨率转化为一个简单的映射问题，即y^n→l＝f(xⁿ)，其中xn是三维空间特征融合模块2提取的第n层特征；f为上采样或下采样操作；y^n→l表示调整尺寸后的特征；n∈{1,2,3},l∈{1,2,3},并且n≠l。

其特征融合阶段是将三个解码层提取出的初始多尺度特征融合成修正多尺度特征图。具体实施时，对y^l进行卷积、组归一化和参数化整流线性单元(PRelu)运算，得到特征融合权值因此，自适应融合后的第l级特征最终定义为:

其中表示自适应融合特征即每层对应的修正多尺度特征图。需要说明的是，从自适应学习中获得的特征融合权值在通道维中进行了级联，然后使用softmax函数进行了归一化。因此,/>和/> 也就是说，所述三维空间特征融合模块2输出三个修正多尺度特征图，分别为/>

请继续参阅图2，所述单级特征细化模块3(SLFR)用于提取更深层次的空间信息和语义信息，所述单级特征细化模块3包括三个单级特征细化网络，一个单级特征细化网络与一个所述三维空间特征融合网络单层级联，每个单级特征细化网络均包括单级通道拼接单元、级联的三个单级整流线性单元以及卷积注意力模块。

其中，所述单级通道拼接单元指的是layer1、layer2和layer3上横向单层级特征通道间拼接，如layer3该层的解码层输出的初始多尺度特征图与同层的所述三维空间特征融合模块2中特征融合单元输出的修正多尺度特征图拼接。

每个单级整流线性单元为卷积层，均包括一个卷积、一个组归一化和一个PRelu。第一个卷积层使用1×1×1的内核进行参数化整流线性激活，最后两个卷积层使用3×3×3的内核进一步提取有用信息。然后，利用卷积注意力模块CBAM(包括通道注意力和空间注意力操作)得到单层级的细化特征，即三个成绩的细化特征为多层深度注意特征图。需要说明的是，所述多层深度注意特征图的深度高于所述初始多尺度特征图。并且，所述所述多层深度注意特征图为高一致性的多尺度特征图。

由于初始多尺度特征图是经过编码器而获得，具有不同的分辨率和低特征一致性，低特征一致性会导致特征融合时不能进行有效的特征表达。因此，在单层级间进行特征复用，以提高网络中间层的特征表达能力，如stage2的输入来自三维特征融合模块以及解码层的特征图，从解码层到stage2是进行跳跃连接操作，即stage1的特征通过跳跃连接(图2中虚线)操作实现特征复用，正因重复利用stage1的特征，再联合stage2的特征才能实现单层级上特征的细化。

请继续参阅图2，所述多级特征细化模块4(MLFR)用于更好预测肿瘤区域，以避免将得到的多层深度注意特征图直接平均用于预测肿瘤区域，因此，所述多级特征细化模块4是将特征通过不同采样率的空洞卷积进行重采样，这样，多级特征细化模块4输出的病灶图像比直接平均多层深度注意力特征图更高精度，其方法的复杂度更低。如图2所示，多级特征细化模块4包括多级通道拼接单元以及级联的三个多级整流线性单元。具体实施时，将三个多层深度注意特征图输入至所述多级通道拼接单元进行通道拼接后，输出至所述级联的三个多级整流线性单元进行卷积、归一化处理后经过PRelu激活函数，然后执行上采样操作后输出所述原始图像的病灶图像。

也就是说，在本申请的一个实施方式中，所述将所述原始图像输入经过训练的病灶图像分割模型，通过所述病灶图像分割模型确定所述待测部位的病灶图像具体包括：

所述原始图像输入至所述三层深度神经网络，通过所述三层深度神经网络确定所述原始图像的三个初始多尺度特征图；

三个初始多尺度特征图输入至所述三维空间特征融合模块，通过所述三维空间特征融合模块确定每个初始多尺度特征图对应的修正多尺度特征图；

将单个初始多尺度特征图以及对应的修正多尺度特征图组合输入至所述单级特征细化模块，通过所述单级特征细化模块确定所述初始多尺度特征图对应的多层深度注意特征图；其中，所述多层深度注意特征图的深度高于所述初始多尺度特征图；

将三个多层深度注意特征图输入至所述多级特征细化模块，通过所述多级特征细化模块确定所述原始图像的病灶图像。

进一步地，上述病灶图像分割模型的训练过程为：

1、获取初始训练集；其中，所述初始训练集包括若干个训练CT图像；

2、获取每个训练CT图像预设尺寸的CT图像块作为目标训练集，对所述目标训练集进行数据增强和图像增强，所述数据增强包括翻转、旋转、平移中一种或多种，所述图像增强包括归一化、体素空间重采样中一种或多种，然后得到增强后的目标训练集。

其中，所述体素空间重采样用于执行三阶样条插值方法，所述归一化用于执行将前景体素的0.5％到99.5％强度值的剪切操作。

3、构建预设网络模型以及构建混合损失函数。

所述预设网络模型如图2所示，stage2的特征是来自3D ASFF操作模块的输出，用于缓解多尺度特征之间的不一致性；stage3的特征是来自SLFR操作模块的输出，SLFR输入的是stage2特征和stage1特征(共称单层级特征)，得到更深的且有效的多尺度特征。最后，stage3的多尺度特征输入到MLFR模块，再经历上采样操作生成和标签尺寸相同的最终预测病灶图像。

在训练过程中，使用多级特征的深度监督网络可以细化每个阶段的多级特征，该阶段间深监督机制(Stage-wise Deep Supervision，SDS)不仅更适合多级特征预测，而且更有利于训练权重参数的设置，也就是说，通过减小最终预测的权重个数和重新设计的混合损失函数来促进深监督机制。这样，SDS机制可以有效地利用网络后两个阶段的多级特征融合模块来缓解梯度消失问题。

构建一混合损失函数来增强SDS，通过引入Focalloss是为了解决类别不均衡导致难以最佳收敛的问题。所述混合损失函数由第一损失函数和第二损失函数的加权和组成，不是使用二进制类的交叉熵损失或Dice损失进行肿瘤分割。

所述第一损失函数是用于修正所述预设网络模型中三维空间特征融合模块与单级特征细化模块之间的性能参数的Jaccard损失；所述第一损失函数的公式为：

其中，n为输入CT图像块的体素数；ε表示一个平滑因子，设置为1.0；p_i∈[0，1]表示第i个体素的预测概率，q_i∈{0，1}表示对应的CT图像块的体素值；

所述第二损失函数是用于平衡所述预设网络模型中所述单级特征细化模块与多级特征细化模块之间的数的Focal损失，以解决正负样本不平滑问题，其用于指导小目标肿瘤区域的模型分割；所述第二损失函数的公式为：

其中，其中,α表示Focal损失的一个平衡因子，设置为0.2；γ表示一个聚焦参数平滑调整加权率，设置为1。

因此，每个监督信号损失，即单个混合损失函数的公式为:

Loss_singal＝λ·Loss_jaccard+η·Loss_focal (4)

其中，λ和η分别表示Jaccard损失和Focal损失的权重因子，λ是设置为1,η是设置为0.1。

最后，SDS损失定义为所有监督信号的损失之和，所有单个混合损失函数的损失之和作为所述混合损失函数，所述混合损失函数的公式为：

其中，w^s和和代表第s阶段的权重和损失，w^f和/>代表预设网络模型的输出层的权重和损失。经过训练，根据经验将权值{w²,w³,w^f}设置为{0.8,0.9,1.0}。

4、基于增强后的目标训练集对预设网络模型进行训练，通过所述混合损失函数修正所述预设网络模型的参数，以得到所述病灶图像分割模型。

实验数据：

使用三种医疗器械(东芝320层CT、西门子64层CT和飞利浦128层CT)采集,采集到的数据集包含160个CT图像样本(160个普通CT数据块和63个增强CT数据块)，并作了分割标签。

该病灶图像分割模型在PyTorch平台上实现，使用1个NVIDIA GeForce GTX2080Ti GPU(11GB)进行训练，采用五折组交叉验证策略。由于肿瘤区域比背景区域小，为了应对3D数据对计算机内存消耗的限制，对数据集做预处理，首先将每个体积裁剪为大小为24×256×256的块(patch)，然后进行数据增强(例如，翻转、旋转、平移)操作，而且还执行CT图像归一化(从所有前景体素的0.5％到99.5％强度值剪切操作)和体素空间重采样(使用三阶样条插值)，得到目标训练集。

该模型使用Adam算法作为优化器，初始学习率设置为0.003，并使用了学习率衰减策略。与此同时，将批量大小设置为2，总学习epoch设置为500。定量评价分割性能的指标包括:Dice相似系数(Dice)、Jaccard指数(JI)、精确度(Pre)、召回率(Recall)、平均表面距离(Average surface distance，ASD,In voxel)和95％豪斯多夫距离(Hausdorff distance,95HD,In voxel)，直至训练的病灶图像分割模型具有泛化能力，使得训练后输出的预测病灶图像精度高、准确性高。

基于上述基于深度卷积神经网络的病灶图像分割方法，本申请还提供一种基于深度卷积神经网络的病灶图像分割系统，如图3所示，所述基于深度卷积神经网络的病灶图像分割系统100包括：

图像采集装置11用于采集待测部位的原始图像；其中，所述图像采集装置11可以为医学影像CT设备等。

病灶图像分割装置22用于确定所述待测部位的原始图像对应的病灶图像；其中，所述病灶图像分割装置配置有经过训练的病灶图像分割模型，其结构如图2所示，所述基于深度卷积神经网络的病灶图像分割系统100用于实现基于深度卷积神经网络的病灶图像分割方法中的步骤，具体如上述所示。

需要说明的是，图3仅示出了系统100的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

例如，其还包括处理器以及与所述处理器连接的存储器，所述存储器在一些实施例中可以是所述基于深度卷积神经网络的病灶图像分割系统200的内部存储单元，例如基于深度卷积神经网络的病灶图像分割系统200的内存。

所述存储器在另一些实施例中也可以是所述基于深度卷积神经网络的病灶图像分割系统200的外部存储设备，例如所述基于深度卷积神经网络的病灶图像分割系统200上配备的插接式U盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述基于深度卷积神经网络的病灶图像分割系统200的内部存储单元也包括外部存储设备。所述存储器用于存储安装于所述基于深度卷积神经网络的病灶图像分割系统200的应用软件及各类数据，例如所述基于深度卷积神经网络的病灶图像分割程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器上存储有基于深度卷积神经网络的病灶图像分割程序，该基于深度卷积神经网络的病灶图像分割程序可被处理器所执行，从而实现本申请中基于深度卷积神经网络的病灶图像分割方法，具体如上述方法所述。

所述处理器在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器，基带处理器或其他数据处理芯片，用于运行所述存储器中存储的程序代码或处理数据，例如执行所述基于深度卷积神经网络的病灶图像分割方法等，具体如上述方法所述。

综上所述，本发明提供了一种基于深度卷积神经网络的病灶图像分割方法及系统，所述基于深度卷积神经网络的病灶图像分割方法包括以下步骤：采集待测部位的原始图像；将所述原始图像输入经过训练的病灶图像分割模型，通过所述病灶图像分割模型确定所述待测部位的病灶图像；其中，所述病灶图像从所述原始图像分割出。本申请利用经过训练的病灶图像分割模型中的三维特征融合模块通过映射关系转化待测部位的原始图像所提取的初始多尺度特征图以匹配不同的特征分辨率，进而提高模型精度，利用病灶图像分割模型中的单级特征细化模块来细化和融合三维特征融合模块以及三层深度神经网络中同层级的特征，以解决不同尺度特征间的不一致性，以得到具有高一致性的多层深度注意特征图；利用病灶图像分割模型中的多级特征细化模块缓解替代消失问题，利用构建的混合损失函数增强SDS以得到病灶图像，以避免多层深度注意特征图直接平均用于预测病灶区域，提高模型性能和准确性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述基于深度卷积神经网络的病灶图像分割方法包括以下步骤：

采集待测部位的原始图像；

将所述原始图像输入经过训练的病灶图像分割模型，通过所述病灶图像分割模型确定所述待测部位的病灶图像；其中，所述病灶图像从所述原始图像分割出；

所述病灶图像分割模型包括三层深度神经网络、三维空间特征融合模块、单级特征细化模块以及多级特征细化模块，所述将所述原始图像输入经过训练的病灶图像分割模型，通过所述病灶图像分割模型确定所述待测部位的病灶图像具体包括：

所述原始图像输入至所述三层深度神经网络，通过所述三层深度神经网络确定所述原始图像的三个初始多尺度特征图；

三个初始多尺度特征图输入至所述三维空间特征融合模块，通过所述三维空间特征融合模块确定每个初始多尺度特征图对应的修正多尺度特征图；

将单个初始多尺度特征图以及对应的修正多尺度特征图组合输入至所述单级特征细化模块，通过所述单级特征细化模块确定所述初始多尺度特征图对应的多层深度注意特征图；其中，所述多层深度注意特征图的深度高于所述初始多尺度特征图；

将三个多层深度注意特征图输入至所述多级特征细化模块，通过所述多级特征细化模块确定所述原始图像的病灶图像；

所述三层深度神经网络包括一个下采样层、级联的三个编码层以及级联的三个解码层，所述编码层与所述解码层一一对应；

所述三维空间特征融合模块包括三个三维空间特征融合网络，一个三维空间特征融合网络与一个所述解码层单层级联，每个三维空间特征融合网络均包括特征修正单元、特征提取单元以及特征融合单元；

所述单级特征细化模块包括三个单级特征细化网络，一个单级特征细化网络与一个所述三维空间特征融合网络单层级联，每个单级特征细化网络均包括单级通道拼接单元、级联的三个单级整流线性单元以及卷积注意力模块；

所述多级特征细化模块包括多级通道拼接单元以及级联的三个多级整流线性单元。

2.根据权利要求1所述的基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述病灶图像分割模型的训练具体包括：

构建预设网络模型以及构建混合损失函数；

获取初始训练集；其中，所述初始训练集包括若干个训练CT图像；

获取每个训练CT图像预设尺寸的CT图像块作为目标训练集，对所述目标训练集进行增强，以得到增强后的目标训练集；

基于增强后的目标训练集对预设网络模型进行训练，通过所述混合损失函数修正所述预设网络模型的参数，以得到所述病灶图像分割模型。

3.根据权利要求2所述的基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述构建混合损失函数具体包括：

构建第一损失函数；其中，所述第一损失函数是用于修正所述预设网络模型中三维空间特征融合模块与单级特征细化模块之间的性能参数的Jaccard损失；

构建第二损失函数；其中，所述第二损失函数是用于平衡所述预设网络模型中所述单级特征细化模块与多级特征细化模块之间的数的Focal损失；

基于所述第一损失函数和所述第二损失函数的加权和确定所述混合损失函数。

4.根据权利要求3所述的基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述第一损失函数的公式为：

其中，n为输入CT图像块的体素数；ε表示一个平滑因子；p_i∈[0,1]表示第i个体素的预测概率，q_i∈{0,1}表示对应的CT图像块的体素值；

所述第二损失函数的公式为：

其中，α表示Focal损失的一个平衡因子；γ表示一个聚焦参数平滑调整加权率；

单个混合损失函数的公式为：

Loss_singal＝λ·Loss_jaccard+η·Loss_focal；

其中，λ和η分别表示Jaccard损失和Focal损失的权重因子；

所有单个混合损失函数的损失之和作为所述混合损失函数，所述混合损失函数的公式为：

其中，w^s和代表第s阶段的权重和损失，w^f和/>代表预设网络模型的输出层的权重和损失。

5.根据权利要求2所述的基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述增强包括数据增强和图像增强，所述数据增强包括翻转、旋转、平移中一种或多种，所述图像增强包括归一化、体素空间重采样中一种或多种。

6.根据权利要求5所述的基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述体素空间重采样用于执行三阶样条插值方法，所述归一化用于执行将前景体素的0.5％到99.5％强度值的剪切操作。

7.根据权利要求1所述的基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述病灶图像分割模型训练时使用Adam算法作为优化器，并使用了学习率衰减策略。

8.一种基于深度卷积神经网络的病灶图像分割系统，用于实现权利要求1-7任一项所述的基于深度卷积神经网络的病灶图像分割方法，其特征在于，所述基于深度卷积神经网络的病灶图像分割系统包括：

图像采集装置用于采集待测部位的原始图像；

病灶图像分割装置用于确定所述待测部位的原始图像对应的病灶图像；其中，所述病灶图像分割装置配置有经过训练的病灶图像分割模型；

所述病灶图像分割模型包括三层深度神经网络、三维空间特征融合模块、单级特征细化模块以及多级特征细化模块；

所述病灶图像分割装置，具体用于：

所述原始图像输入至所述三层深度神经网络，通过所述三层深度神经网络确定所述原始图像的三个初始多尺度特征图；

三个初始多尺度特征图输入至所述三维空间特征融合模块，通过所述三维空间特征融合模块确定每个初始多尺度特征图对应的修正多尺度特征图；

将单个初始多尺度特征图以及对应的修正多尺度特征图组合输入至所述单级特征细化模块，通过所述单级特征细化模块确定所述初始多尺度特征图对应的多层深度注意特征图；其中，所述多层深度注意特征图的深度高于所述初始多尺度特征图；

将三个多层深度注意特征图输入至所述多级特征细化模块，通过所述多级特征细化模块确定所述原始图像的病灶图像；

所述三层深度神经网络包括一个下采样层、级联的三个编码层以及级联的三个解码层，所述编码层与所述解码层一一对应；

所述三维空间特征融合模块包括三个三维空间特征融合网络，一个三维空间特征融合网络与一个所述解码层单层级联，每个三维空间特征融合网络均包括特征修正单元、特征提取单元以及特征融合单元；

所述单级特征细化模块包括三个单级特征细化网络，一个单级特征细化网络与一个所述三维空间特征融合网络单层级联，每个单级特征细化网络均包括单级通道拼接单元、级联的三个单级整流线性单元以及卷积注意力模块；

所述多级特征细化模块包括多级通道拼接单元以及级联的三个多级整流线性单元。