CN113450359A - 医学图像分割、显示、模型训练方法、系统、设备和介质 - Google Patents

Abstract

本申请公开了医学图像分割、显示、模型训练方法、系统、设备和介质，分割方法包括：获取医学图像；对医学图像进行特征提取和下采样，得到第一特征图；对第一特征图进行上采样和特征提取，得到第二特征图；对第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到第二特征图进行第二特征融合处理；根据第二特征融合处理的结果获取医学图像的第一分割结果。该方法充分利用了医学图像分割过程中不同图像尺度的特征信息，提高了分割结果的准确性；第一特征融合处理过程中可根据医学图像的复杂程度灵活配置不同的融合方式，能够改善模型的泛化能力，提升神经网络模型分割的准确性。本申请可广泛应用于计算机视觉领域。

Description

医学图像分割、显示、模型训练方法、系统、设备和介质

技术领域

本申请涉及计算机视觉领域，尤其是一种医学图像分割、显示、模型训练方法、系统、设备和介质。

背景技术

随着计算机视觉技术的发展，图像分割技术被广泛应用于医学图像处理领域，通过对医学图像进行图像分割和后续的检测识别，可自动检测出人体相关部位是否出现病灶特征。

目前医学图像分割方法，涵盖了传统的机器学习特征提取、分类识别模型及深度学习方法。实际应用中，某些医学图像中不同的目标大小、纹理差别可能较大，现有的分割方法往往泛化能力不足。以应用较广泛的U-net模型为例，其提取复杂医学图像特征的能力依赖于编码的深度，很难灵活地适应复杂情况下的目标分割要求，往往会出现过分割或欠分割的现象。

发明内容

本申请实施例提供一种医学图像分割、显示方法、系统、设备和介质，以提升分割结果的准确性。

本申请实施例还提供一种医学图像分割模型训练方法，以提升训练的医学图像分割模型的泛化能力。

根据本申请实施例的第一方面，一种医学图像分割方法，包括以下步骤：

获取医学图像；

对所述医学图像进行特征提取和下采样，得到所述医学图像的第一特征图；

对所述第一特征图进行上采样和特征提取，得到所述医学图像的第二特征图；

对所述第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到所述第二特征图进行第二特征融合处理；

根据第二特征融合处理的结果获取所述医学图像的第一分割结果。

根据本申请实施例的第二方面，一种医学图像显示方法，包括以下步骤：

输入医学图像；

显示所述医学图像的分割结果；

其中，所述分割结果通过执行如第一方面所述的方法得到。

根据本申请实施例的第三方面，一种医学图像分割模型训练方法，包括以下步骤：

获取训练样本，所述训练样本为带有标签的医学图像；

输入所述训练样本至医学图像分割模型，得到所述训练样本预测的分割结果；

根据所述训练样本预测的分割结果和所述标签确定训练的损失值；

根据所述损失值反向传递更新所述医学图像分割模型的参数，直至所述损失值满足训练停止条件；

其中，所述分割结果通过执行如第一方面所述的方法得到。

根据本申请实施例的第四方面，一种医学图像分割系统，包括：

获取单元，用于获取医学图像；

编码单元，用于对所述医学图像进行特征提取和下采样，得到所述医学图像的第一特征图；

解码单元，用于对所述第一特征图进行上采样和特征提取，得到所述医学图像的第二特征图；

融合单元，用于对所述第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到所述第二特征图进行第二特征融合处理；

输出单元，用于根据第二特征融合处理的结果获取所述医学图像的第一分割结果。

根据本申请实施例的第五方面，一种设备，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现第一方面、第二方面或第三方面所述的方法。

根据本申请实施例的第六方面，一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现第一方面、第二方面或第三方面所述的方法。

本申请实施例提供的技术方案通过对医学图像进行特征提取、上采样和下采样，得到医学图像的第一特征图和第二特征图，对第一特征图进行第一特征融合处理后，再链接到第二特征图进行第二特征融合，第一特征图和第二特征图均含有多层图像尺度，充分利用了医学图像分割过程中不同图像尺度的特征信息，提高了分割结果的准确性；第一特征融合处理过程中可根据医学图像的复杂程度灵活配置不同的融合方式，能够改善医学图像分割模型的泛化能力，提升模型对医学图像分割的准确性。

附图说明

为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本申请实施例提供的一种医学图像分割方法的流程图；

图2是本申请医学图像分割方法实施例中进行同一层图像尺度的特征图融合时所采用的密集跳跃链接模块融合结构示意图；

图3是本申请医学图像分割方法实施例中进行不同层图像尺度的特征图融合时所采用的上采样融合结构示意图；

图4是本申请医学图像分割方法实施例中进行不同层图像尺度的特征图融合时所采用的下采样融合结构示意图；

图5是本申请医学图像分割方法实施例中选择通过密集跳跃链接模块的方式进行特征关联融合的一种实施方式结构示意图；

图6是本申请医学图像分割方法实施例中选择通过密集跳跃链接模块和上采样融合的方式进行特征关联融合的一种实施方式结构示意图；

图7是本申请医学图像分割方法实施例中选择通过密集跳跃链接模块和下采样融合的方式进行特征关联融合的一种实施方式结构示意图；

图8是本申请医学图像分割方法实施例中选择通过上采样融合和下采样融合的方式进行特征关联融合的一种实施方式结构示意图；

图9是本申请医学图像分割方法实施例中选择通过密集跳跃链接模块、上采样融合和下采样融合的方式进行特征关联融合的一种实施方式结构示意图；

图10是本申请医学图像分割方法实施例中神经网络模型处理医学图像的流程图；

图11是本申请医学图像分割方法实施例中医学图像预处理的流程图；

图12是本申请医学图像分割方法实施例应用于肺结节分割时的流程图；

图13是本申请实施例提供的一种医学图像显示方法的流程图；

图14是本申请医学图像显示方法实施例提供的一种终端设备显示界面示意图；

图15是本申请实施例提供的一种医学图像分割模型训练方法的流程图；

图16是本申请实施例提供的一种医学图像分割系统的结构示意图；

图17是本申请实施例提供的一种设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

首先，对本申请实施例中涉及的相关名词术语进行介绍和说明：

医学图像：反映解剖区域内部结构或内部功能的图像，它是由一组图像元素——像素(2D)或立体像素(3D)组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。像素的数量是用来描述某一成像设备下的医学成像的，同时也是描述解剖及其功能细节的一种表达方式。临床上，广泛使用的医学图像种类主要包括计算机断层扫描成像(Computed Tomography，CT)、核磁共振成像(MagneticResonance Imaging，MRI)、核医学成像(Nuclear Medicine Imaging，NMI)及超声波成像(Ultrasonic Imaging，UI)等。

图像分割：把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的技术和过程。从数学角度来看，图像分割是将数字图像划分成互不相交的多个图像子区域(像素的集合)，这也是一个标记过程，即把属于同一区域(具有同等视觉特性)的像素赋予相同的标签。

人工智能(Artificial Intelligence，AI)：利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉(Computer Vision，CV)：是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)：一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。

深度学习(Deep Learning，DL)：深度学习是机器学习领域中一个新的研究方向，它用于学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

密集模块(Dense Block)：在训练较深/层次较多的卷积神经网络时通常会出现退化问题，即深层网络比浅层网络训练效果差。Dense Block是一种通过对不同层特征进行堆叠，提高了训练收敛能力并减少深度神经网络模块的参数，有效地减轻梯度消失而难以优化的问题，并加强了特征信息的传递。

通过医学图像进行病理分析诊断工作，主要是观察一组二维切片图像去发现病变体，这往往需要凭借医生的经验来判定，耗费的时间较多，且可能会因医生自身的主观因素影响到判断结果的准确性。利用计算机视觉的图像处理技术对医学领域内的二维切片图像进行分析和处理，能够有效实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示，方便辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分析，从而大大提高医疗诊断的准确性和可靠性；在医疗教学、手术规划、手术仿真及各种医学研究中也能起重要的辅助作用。

在对医学图像进行目标分割时，目前业界主流的方法涵盖传统的机器学习特征提取、分类识别模型及深度学习方法实现对目标的定位分割等，基于传统机器学习算法的分割方法依赖于人工设计特征的好坏，其描述能力有限，算法的运行时间较长，未能有效利用现有的大量训练数据，因此其算法的准确性和鲁棒性低于基于深度学习神经网络的方法。而现有的深度学习神经网络往往需要标准大小的输入，在对较小目标进行放大处理时会进行人工插值，难免使得图像失真；并且，医学图像的纹理由于血管、胸壁等组织的环绕，整体十分复杂，往往导致训练的模型无法良好适应，泛化能力不足。

本申请实施例提供的方案涉及人工智能中计算机视觉的图像处理等技术，具体通过如下实施例进行说明：

本申请实施例提供了一种医学图像分割方法，该方法基于神经网络模型实现对医学图像的分割任务，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软体，例如具有医学图像分割功能的应用程序等。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。如图1所示，该方法包括以下步骤S100-S104：

S100：获取医学图像；

本申请实施例中，从成像的方式来划分，获取的医学图像可以是CT图像、MRI图像、NMI图像等；从图像的维度来划分，该医学图像可以是二维图像、三维图像等；从疾病或部位的类型来划分，该医学图像可以是肺结节图像，也可以是其他疾病或部位的医学图像，如鼻咽癌医学图像、乳腺癌图像、泌尿结石图像、下肢深静脉血栓图像等。本领域的技术人员可以理解，医学图像可以按照以上三种划分标准进行任意的组合，例如可以是肺结节三维CT图像、乳腺癌二维MRI图像、下肢深静脉血栓三维MRI图像等。

S101：对医学图像进行特征提取和下采样，得到医学图像的第一特征图；

S102：对第一特征图进行上采样和特征提取，得到医学图像的第二特征图；

S103：对第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到第二特征图进行第二特征融合处理；

S104：根据第二特征融合处理的结果获取医学图像的第一分割结果。

如前述的，本申请实施例基于神经网络模型实现对医学图像的分割任务，具体地，可以基于U-net卷积神经网络架构或与U-net网络架构类似的架构(如V-net卷积神经网络等)来构建神经网络模型。通过对传统的U-net卷积神经网络架构或V-net卷积神经网络等架构进行改进和优化，从而得到包括编码模块、解码模块和采样融合模块的神经网络模型，以用于执行本申请实施例中的医学图像分割方法。以下结合神经网络模型的具体架构来详细描述本申请实施例中的医学图像分割方法是如何实现的。应当说明的是，基于下述结构的神经网络模型仅为方便描述本申请的方法实施例，并不对意味着本申请的实施方式做具体限制。

本申请实施例中，一种用于执行医学图像分割方法的神经网络模型包括编码模块、解码模块和采样融合模块。其中，编码模块包括第一卷积层和下采样层，解码模块包括第二卷积层和上采样层；编码模块用于得到医学图像的第一特征图；解码模块用于对第一特征图进行处理得到医学图像的第二特征图；第一特征图和第二特征图均含有多层图像尺度；采样融合模块用于对第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到第二特征图进行第二特征融合处理。

具体地，编码模块的第一卷积层用于进行特征提取，得到的特征图记为第一特征图。第一卷积层可由一组滤波器组成，滤波器本身可以视为数学矩阵，可选地，滤波器可以使用高斯滤波器。在一个可选实施例中，编码模块的第一卷积层之后还可依次连接有批量规范化层和激活层，用以对医学图像特征提取的结果进行批量规范化和激活处理。具体地，批量规范化层用于进行批量规范化处理，即在模型每次通过随机梯度下降训练时，通过对相应的响应做规范化操作，使得输出结果的均值为0，方差为1，这样不仅能够加快模型收敛速度，而且更重要的是在一定程度可以缓解深层网络的“梯度弥散”难题，从而使得训练得到的深层神经网络模型更加稳定。激活层通过使用相应的激活函数，引入非线性特征进行激活处理，使得模型能够应对更复杂数据的学习或模拟情况，提升模型的学习能力。可选地，激活层可以选用Sigmoid函数、Logistic函数、Relu线性修正单元等作为激活函数。

编码模块的下采样层，也叫池化层，用于变换第一特征图的图像尺度(一般每经过一次下采样，图像尺度(长和宽)会缩小，缩小的比例可以预先设定，如二分之一、三分之一、四分之一等)，从而得到含有多层图像尺度的第一特征图。常用的下采样方式可以是最大值池化或者均值池化。第一特征图经过下采样后输入到第一卷积层，能够扩大感知野，提取到医学图像的低分辨率信息，进而提供目标在整个医学图像中的上下文信息(即编码过程得到的某个特征图的输入与输出与其他特征图是有关联的)。通过提取多层图像尺度的第一特征图，可以得到反映目标和它的环境之间关系的特征，该特征有助于分类问题中的类别判断。

解码模块的上采样层，用于恢复医学图像的特征图的图像尺度(一般每经过一次上采样，图像尺度(长和宽)会扩大，扩大的倍数可以预先设定，如2倍、3倍、4倍等)，得到第二特征图。常用的上采样方式可以选择线性插值或者反卷积。解码模块的第二卷积层可用于提取第二特征图的高分辨率信息，提供精准的定位分割依据，使得目标分割结果的边缘信息更加精细。第二卷积层与第一卷积层类似，可选用滤波器来实现。

应当说明的是，本申请实施例中，编码模块的下采样层和解码模块的上采样层可对应设置，以使得神经网络模型中得到的第一特征图和第二特征图的图像尺度层数是对应的。具体地，下采样层和上采样层的设置个数可不少于2，以使得神经网络模型中得到的第一特征图和第二特征图的图像尺度层数至少为3层。

采样融合模块用于对第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到第二特征图进行第二特征融合处理，最终第二特征融合处理后的结果经卷积处理后映射到神经网络模型的输出。其中，第二特征融合处理是指将当前层图像尺度的第一特征融合处理的结果与解码模块上采样输出的当前层图像尺度的第二特征图进行特征融合处理。具体地，可以采用将特征图的特征维度进行拼接的方式进行第二特征融合处理，该过程与现有的U-net模型中特征融合处理的方式一致，在此不再赘述。

本申请实施例中的分割方法应用在上述神经网络模型中时，编码模块经过多次下采样后能够得到医学图像的多层特征信息，而采样融合模块能够对这些信息进行灵活的融合操作，使得模型可以充分地利用到这些特征，在不加深模型下采样深度的情况下也能够提高分割结果的准确性；将第一特征融合处理的结果链接到第二特征图进行第二特征融合处理，利用解码模块提取的高分辨率信息，可以为分割提供更加精细的特征，保证了分割结果的精确程度。

本申请实施例中，可选地，第一特征融合处理包括同一层图像尺度的特征图融合或不同层图像尺度的特征图融合中至少一种。

下面结合附图中神经网络模型的采样融合模块具体架构来描述本申请实施例中医学图像分割方法进行第一特征融合处理的几种方式。

首先，采样融合模块进行同一层图像尺度的特征图融合时，如图2所示，可采用密集跳跃链接模块100的方式，即将特征图两两之间通过密集跳跃链接层进行特征关联融合，然后将得到的结果链接到第二特征图进行第二特征融合处理。图2中，input为输入的医学图像，110为第二特征融合处理，图像input依次经过2次卷积处理和密集跳跃链接模块100的第一特征融合处理后可以得到特征图f₄ ⁰，特征图f₄ ⁰再与解码模块上采样的特征图(即图2中向上箭头所指向的特征图)进行第二特征融合处理。

密集跳跃链接模块100采用了密集模块(Dense block)的原理，具体地，密集模块是指每一个特征图都作为其后特征图的输入，其运算逻辑可以表述为：

x_l＝H([x₀,x₁,...,x_l-1])

上式中，H为卷积操作，l为特征图的编号，[]为特征图的堆叠操作，x₀到x_l为l+1个特征图；

对于特征图x_l来说，其可以是将x₀到x_l-1这l个特征图经过全连接层进行融合处理(即堆叠操作)而得到的结果。可选地，该全连接层后还可依次连接有卷积层、批量规范化层和激活层。密集跳跃链接模块100的核心思想是创建了一个跳跃式的连接方式来连通神经网络中前后的特征图，这样能够最大化神经网络中传递的信息流。参照图2，在融合过程中，神经网络的采样融合模块将输入的第一特征图和之后得到的同一层图像尺度的所有特征图两两之间都通过跳跃链接层(如图2中110内的虚线箭头所示)进行了连接，使得每一个特征图都接受它前面所有的特征信息作为输入。例如，图2同一层图像尺度中特征图f₄ ⁰的输入包括了特征图f₀ ⁰、特征图f₁ ⁰、特征图f₂ ⁰和特征图f₃ ⁰，图2中其他特征图的输入同理。通过采用密集跳跃链接模块100，有效地对特征进行了堆叠，提高了模型的训练收敛能力并减少了模型的参数，使得神经网络能够增强对特征信息的传递与共享利用，很大程度上减轻了深层神经网络在训练过程中梯度消失而难以优化的问题，同时也减小了模型的尺寸和计算量，在较浅的深度上仍能拥有非常好的分割性能。

可选地，编码模块也可以采用上述的密集跳跃链接模块100的形式，如图2中指向特征图f₀ ⁰的虚拟箭头即可在编码模块中形成密集模块式的跳跃链接。此种方式可以用于将编码模块得到的同一层图像尺度的所有第一特征图进行特征关联融合，使得同一层图像尺度的每一个第一特征图都作为其后第一特征图的输入，以尽可能保证输入采样融合模块的第一特征图的准确程度，从而减少采样融合模块进行第一特征融合处理时特征信息的损失。

采样融合模块进行不同层图像尺度的特征图融合时，可包括上采样融合和下采样融合两种实施方式。其中，参照图3，在进行上采样融合时，可以将位于下层图像尺度的第一特征图(如图3中第二层的特征图f₀ ¹)的上采样(如图3中第二层的特征图f₀ ¹经斜向上指向特征图f₁ ⁰的虚箭头表示进行上采样)结果和其上一层图像尺度的第一特征图(如图3中第一层的特征图f₀ ⁰)进行融合。也可以对采样融合模块在第一特征融合处理过程中得到的特征图进行上采样融合，例如将位于下层图像尺度的进行第一特征融合处理过程中得到的特征图(如图3中第二层的特征图f₁ ¹)的上采样(如图3中第二层的特征图f₁ ¹经斜向上指向特征图f₂ ⁰的虚箭头表示进行上采样)结果与其上一层图像尺度进行第一特征融合处理过程中得到的特征图(如图3中第一层的特征图f₁ ⁰)进行融合。也就是说，进行上采样融合指的是将第三特征图的上采样结果和第四特征图进行特征关联融合，其中，第三特征图可以是当前层的第一特征图或当前层进行第一特征融合处理过程中得到的特征图，第四特征图为当前层的上一层进行第一特征融合处理过程中得到的特征图，当前层和上一层中的“层”均指的是图像尺度的层级。具体地，可以采用全连接层对上述的特征图进行特征关联融合处理。可选地，该全连接层之后同样还可依次连接有卷积层、批量规范化层和激活层。

而在进行下采样融合时，参照图4，可以将位于上层图像尺度进行第一特征融合处理过程中得到的特征图(如图4中第一层的特征图f₁ ⁰)的下采样(如图4中第一层的特征图f₁ ⁰经斜向下指向特征图f₁ ¹的虚箭头表示进行下采样)结果和其下一层图像尺度的第一特征图(如图4中第二层的特征图f₀ ¹)进行融合。也可以对采样融合模块在第一特征融合处理过程中得到的特征图进行下采样融合，例如将位于上层图像尺度进行第一特征融合处理过程中得到的特征图(如图4中第一层的特征图f₂ ⁰)的下采样(如图4中第一层的特征图f₂ ⁰经斜向下指向特征图f₂ ¹的虚箭头表示进行下采样)结果与其下一层图像尺度进行第一特征融合处理过程中得到的特征图(如图4中第二层的特征图f₁ ¹)进行融合。也就是说，进行下采样融合指的是将第五特征图的下采样结果和第六特征图进行特征关联融合，其中，第五特征图为当前层进行第一特征融合处理过程中得到的特征图，第六特征图可以是当前层的下一层的第一特征图或下一层进行第一特征融合处理过程中得到的特征图，当前层和下一层中的“层”均指的是图像尺度的层级。具体地，可以采用全连接层对上述的特征图进行特征关联融合处理。可选地，全连接层之后还可以连接有卷积层，这样通过下采样的池化+全连接层+卷积的操作可以实现下采样融合，提升了卷积核数(即维度)，从而能提供更丰富更多维度的特征信息，有利于提升神经网络模型的分割的精确度。

应当理解的是，本申请实施例中的采样融合模块在第一特征融合处理过程中得到的特征图，可以包括上述的进行同一层图像尺度的特征图融合时以及进行不同层图像尺度的特征图融合时所得的特征图。换言之，本申请实施例中，进行第一特征融合处理时，使用的融合方式是可以根据不同的需要灵活配置的。下面结合具体的实施方式对本申请实施例中进行上述融合方式的灵活配置示例进行说明。

以神经网络模型的下采样层和上采样层均设置为4个为例，此时模型得到的特征图的图像尺度共有5层，参照图5，对于第一至第三层(自上而下)的图像尺度，采样融合模块都可以选择通过密集跳跃链接模块进行特征关联融合。图5显示的是第一至第三层这三层的图像尺度均采用密集跳跃链接模块进行融合的原理示意图，实际在运用时，可以根据不同的需要选取这三层图像尺度中的任意一层、任意两层或者任意三层进行融合，也就是说通过密集跳跃链接模块进行特征关联融合的图像尺度层数可单独配置。

参照图6，在本申请实施例中，采用的是结合同一层图像尺度的特征图融合和不同层图像尺度的特征图融合，即同时采用密集跳跃链接模块和上采样融合，此时其运算逻辑可以表述为：

上式中，

为采样融合模块处理的特征图的编号，其中，n表示图像尺度的层数编号，从上到下依次递加；m表示同一层图像尺度中特征图的前后顺序编号，从前往后依次递加；H为卷积操作，Up为上采样操作，[]为特征图的堆叠操作。以图6中的特征图f₃ ⁰为例：

表示特征图f₃ ⁰是通过将特征图f₀ ⁰、f₁ ⁰、f₂ ⁰和特征图f₂ ¹的上采样结果进行堆叠，再通过卷积处理得到的。

图6显示的是第一至第三层(自上而下)这三层的图像尺度均采用密集跳跃链接模块进行融合，且采样融合模块里的各个特征图均进行了上采样融合的原理图，而实际在运用时，可以根据不同的需要选取这三层图像尺度中的任意一层、任意二层或者任意三层进行单独配置密集跳跃链接层，进行上采样融合的特征图也可以随机挑选、增删，并不一定按照如图6所示的全部设置的实施方式。

参照图7，在本申请实施例中，采用的是结合同一层图像尺度的特征图融合和不同层图像尺度的特征图融合的另一种实施方式，即同时采用密集跳跃链接模块融合和下采样融合。图7显示的是第一至第三层(自上而下)这三层的图像尺度均采用密集跳跃链接模块进行融合，且采样融合模块里面的各特征图均进行了下采样融合的原理图，而实际在运用时，可以根据不同的需要选取其中的任一层或者多层单独配置密集跳跃链接层，且进行下采样融合的特征图也可以随机挑选设置，并不一定按照如图7所示的全部设置的实施方式。

参照图8，在本申请实施例中，采用的是结合不同层图像尺度的特征图融合的另外一种实施方式，即同时采用上采样融合和下采样融合。图8显示的是采样融合模块里面的各个特征图均进行了上采样融合和下采样融合的原理图，而实际在运用时，可以根据不同的需要选取其中的任意一个或者任意多个特征图进行上采样融合和下采样融合，并不一定按照如图8所示的全部设置的实施方式。

参照图9，在本申请实施例中，采用的是结合同一层图像尺度的特征图融合和不同层图像尺度的特征图融合的一种实施方式，即同时采用密集跳跃链接模块、上采样融合和下采样融合。图9显示的是第一至第三层(自上而下)这三层的图像尺度均采用密集模块跳跃链接模块进行融合，且采样融合模块里面的各个特征图均进行了上采样融合和下采样融合的原理图，而实际在运用时，可以根据不同的需要选取其中的任意一层或者任意多层单独配置密集跳跃链接层，进行上采样融合和下采样融合的特征图也可以随机挑选设置，并不一定按照如图9所示的全部设置的实施方式。

应当理解的是，本申请实施例中的神经网络模型层数并不一定设置为上述实施例中的层数，根据具体执行分割任务的难易程度，神经网络模型的深度可以灵活调整。而增加了上述灵活配置融合方式的神经网络模型，能够最大程度上适应各类复杂的分割场景，在实际应用中，可以在保持模型深度的条件下，通过调整模型结构的配置方式，改善其分割的准确性和泛化能力，以良好地适应各类医学图像的目标分割任务的要求。

下面，结合附图10，以本申请实施例中图5所示的模型结构为例，对其如何执行本申请实施例提供的医学图像分割方法的简要流程作以下说明：

S1011：通过编码模块进行特征提取和下采样得到医学图像的第一特征图；

S1012：通过解码模块对第一特征图进行上采样和特征提取，得到医学图像的第二特征图；

S1013：通过采样融合模块对第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到第二特征图进行第二特征融合处理；

S1014：将第二特征融合处理后的结果经卷积处理后输出。

参照图5，本申请实施例中，输入模型的医学图像首先经过编码模块的特征提取和下采样处理，得到了含有多层图像尺度的第一特征图，如图5中的f₀ ⁰,f₀ ¹,f₀ ²，通过连续的下采样操作，能够更深层次地挖掘出医学图像的低分辨率信息，由于人体内部的结构相对固定，一般需要分割的目标在医学图像中的分布很有规律，语义简单明确，故而低分辨率信息能够很好地提供有助于识别目标的信息。然后，第一特征图一方面通过解码模块从最底层图像尺度进行上采样来还原图像的分辨率，得到同样含有多层图像尺度的第二特征图；另一方面，模型还通过采样融合模块对第一特征图进行了第一特征融合处理，第一特征融合处理的目的是充分利用编码时得到的信息，具体的第一融合处理方式不仅仅局限于图5所示的实施例，还包括以上阐述的任一种融合方式的灵活配置示例。每一层图像尺度上的第一特征融合处理后得到的结果，如图5中的f₄ ⁰,f₃ ¹,f₂ ²，均链接到第二特征图进行第二特征融合处理，该步骤能够传递给解码模块非常丰富的信息，大大弥补仅靠上采样还原信息能力的不足，在较低分辨率层面上，细化了分割的大体轮廓；在较高分辨率层面上，又能够为模型分割提供更加精细的边缘特征。因此，最终神经网络模型输出的分割结果的精度相比于现有的模型能够得到显著提高。

可选地，如图11所示，本申请实施例的医学图像分割方法，还包括以下步骤：

S1100：对医学图像进行多尺度裁剪；

S1101：对多尺度裁剪后的医学图像进行图像尺度归一化处理。

可选地，本申请实施例的医学分割方法还可具体包括以下步骤：

S105：基于图像尺度归一化处理前的医学图像的尺寸，对第一分割结果进行尺寸复原，得到医学图像的第二分割结果。

本申请实施例中，还可对获取的医学图像进行多尺度裁剪，并对输出的分割结果进行尺寸复原的工作。通过对医学图像进行多尺度裁剪，能够准确捕捉到不同大小的目标，并将目标的图像进行尺度归一化，可以让神经网络训练更加方便；在神经网络模型分割结束后，再按照图像尺度归一化处理前的医学图像的尺寸，对神经网络模型的分割结果进行尺寸复原，就能够得出目标最终的分割结果。上述实施方式良好地适应了医学图像中目标大小存在较大差异时的情形，使得无论大、小目标都能够输入神经网络模型进行良好的分割，提高了神经网络模型对不同尺寸目标分割的精度和泛化能力。

下面结合具体的应用场景对本申请实施例医学分割方法的实际应用方式进行说明，应当理解的是，以下仅为本申请实施例的实际应用方式之一，并不意味着对具体的应用场景进行限制。

肺结节(sarcoidosis)是一种多系统、多器官的肉芽肿性疾病，常侵犯肺、双侧肺门淋巴结、眼、皮肤等器官,其临床表现多种多样，缺乏典型性。通过X线胸片及CT检测等辅助手段，可以有效分析结节的形态以及肺内病变细节。其中，胸部CT被认为是鉴别肺部小结节良恶性的最佳检查手段，肺结节在CT上表现是黑色的肺部里有小白点出现，直径大于三厘米以上的一般称为肺部肿块，肺癌的可能性会相对来说发生率比较大，通常我们将直径小于三厘米或者椭圆形占位性病变，称之为肺结节，其中直径小于一厘米者称为肺小结节，直径小于0.5厘米的叫做微小结节。通过对结节的形态进行分析，结合临床及活组织检查，可大大提高诊断的准确率。而目前对CT图像的肺结节分析、查找，一般需要多位有经验的医生，耗时较长且效率不高，还可能因为医生的主观判断出现误诊。考虑到医疗资源紧缺的现状，运用基于深度学习的神经网络模型对医学CT影像进行分割，获得预期的目标即结节图像，能够显著提高肺结节检测的准确性，方便用于辅助医生进行临床诊断。

一般来说，在肺部图像中，结节的大小范围比较广，而现有的深度学习神经网络往往需要标准大小的输入，模型结构中对小结节进行放大处理时，会因需要进行人工插值而使得图像失真。另外，肺结节图像的纹理由于血管、胸壁等组织的环绕变得十分复杂，会导致神经网络模型往往出现过分割或欠分割的现象。本申请实施例结合一种改进的3D-Unet卷积神经网络为例，对肺结节的分割方法进行具体的说明。本领域的技术人员可以理解，该肺结节的分割方法同样可采用3D-Vnet等与3D-Unet类似的3D卷积神经网络。

3D卷积神经网络在结构体系上类似于2D卷积神经网络，区别在于其使用的是3D卷积核，因此可以捕捉3D空间维度中具有区分性的特征，这对于经常使用3D采集方式的医学图像数据处理是非常有效的，利用3D卷积神经网络可以对肺结节进行体素级的分割。

如图12所示，本申请实施例进行肺结节分割的方法主要包括以下步骤S1200-S1204：

S1200：获取含有肺结节的CT图像。

根据医学图像的先验知识，一组CT图像由若干二维切片组成，整体形成一个三维的图像块。具体地，含有肺结节的CT图像可以通过神经网络等方式预训练的肺结节检测模型检测得到或直接由医生提供。

S1201：对步骤S1200获取的CT图像进行多尺度裁剪。

具体地，可根据肺结节的长径，以最大截面中心为中心进行不同尺度的裁剪，裁剪得到的每个原始3D结节图像块应该包含结节的全部，并包含部分结节的周边组织。可选地，一个结节的体积可以占原始3D结节图像块的80％(该比例可以预先设定)。

S1202：对步骤S1201多尺度裁剪得到的结节图像块进行图像尺度归一化处理，得到归一化的结节图像块。

在整个肺部CT图像中，结节的大小范围比较广，本身的大小差异性很大，所以不同长径的结节对应的原始3D结节图像块大小也不一样。可以通过图像尺度归一化处理来统一所有原始3D结节图像块，以使得输入深度学习神经网络的图像均为标准大小。具体地，可以选择将所有不同大小的原始3D结节图像块归一化为36×36×36大小，从而得到标准的3D结节图像块，应当理解的是，上述的标准大小设置并不固定，可以根据实际的需要灵活调整。

S1203：将步骤S1202经过图像尺度归一化处理的3D结节图像块输入到神经网络模型中，得到归一化的结节图像分割块作为模型输出的分割结果。该神经网络模型的配置方式可以参照图5-9所示的任一项模型结构。具体地，因为本应用场景中的目标大小、纹理差别较大，因此模型的采样融合模块可以适当性配置多种融合方法，例如：可以同时采用密集跳跃链接模块和上采样融合的方式，并选取采样融合模块里面的多个特征图进行上采样融合。

S1204：按照图像尺度归一化处理前的医学图像的尺寸，对神经网络模型输出的分割结果进行尺寸复原，得到肺结节实际的分割结果。

与传统的分割模型所得到的结果相比，本申请实施例基于改进的3D-Unet卷积神经网络能够实现更精确的肺结节分割，分辨无关组织信息的能力十分优异，分割的鲁棒性更好；同时通过多尺度裁剪和尺寸复原工作，能够良好地适应不同大小的结节目标，模型的泛化能力显著得到了改善。

参照图13，本申请实施例还公开了一种医学图像显示方法，包括以下步骤S1300-S1301：

S1300：输入医学图像；

S1301：显示医学图像的分割结果；

其中，医学图像的分割结果通过上述的方法实施例得到。

本申请实施例中，该医学图像显示方法可以应用在各类医学设备或者终端设备上，图14给出了本申请一个示例性实施例提供的终端设备显示界面示意图。本实施例中的显示方法在应用在该设备上时，通过获取输入的医学图像，经内部程序执行分割任务后可直接在页面上显示出分割得到的结果，其中，该内部程序中采用的是如前述分割方法实施例中的神经网络模型对输入的医学图像进行分割。

本申请实施例中的显示方法，一方面可以作为后端处理步骤，服务于现有医学目标检测框架，从该框架中获取医学图像并输出分割结果，可以有效衔接服务于在医院或者体检场所部署的AI检测产品。另一方面也可以作为独立执行的方法，结合用户输入的医学图像及预定目标选项(如结节体积占原始结节图像块的比例等)，对待分割的目标给出分割结果，从而辅助医生临床诊断或者患者自检等，其中，针对不同的预定目标，训练的神经网络分割模型可以按照前述分割方法实施例独立设置，以适配于不同的应用场景。

本申请实施例中，基于前述分割方法实施例提出了一种医学图像的显示方法，使得输入的医学图像能够在相关设备上输出显示对应的分割结果。利用该方法对大批量的医学图像进行辅助识别，能够大幅度减轻医生工作负担，提高诊断的效率和准确性。

参照图15，本申请实施例还公开了一种医学图像分割模型训练方法，包括以下步骤S1500-S1503：

S1500：获取训练样本，其中，训练样本为带有标签的医学图像；

S1501：输入训练样本至医学图像分割模型，得到训练样本预测的分割结果；

S1502：根据训练样本预测的分割结果和标签确定训练的损失值；

S1503：根据训练的损失值反向传递更新医学图像分割模型的参数，直至损失值满足训练停止条件；

其中，预测的分割结果通过执行上述的方法实施例得到。

具体地，以医学图像为带有肺结节的医学图像为例，本申请实施例中训练样本的标签，可以根据若干名专业医生对肺结节区域的标注取众数来获取，标签中可将同意为肺结节的人数大于等于预设阈值的像素定义为肺结节。训练样本具备结节的三维坐标、直径信息与CT原始图像。

本申请实施例可采用单任务end2end(end to end，输入数据后，直接给出需要的结果)的方式进行训练，计算根据训练样本预测的分割结果和医生标注的金标准(即标签)分割结果的Dice系数(用来计算两个集合的相似性的系数)，而进行损失值计算时损失函数可采用1-Dice系数计算(即损失值＝1-Dice系数)，并以此进行反向传递更新神经网络模型的参数，直至损失值满足训练停止条件。其中，针对不同的预定目标，训练得到的医学图像分割模型可以按照前述分割方法实施例独立设置，以适配于不同的应用场景。

参照图16，本申请实施例还公开了一种医学图像分割系统，包括：

获取单元1600，用于获取医学图像；

编码单元1601，用于对医学图像进行特征提取和下采样，得到医学图像的第一特征图；

解码单元1602，用于对第一特征图进行上采样和特征提取，得到医学图像的第二特征图；

融合单元1603，用于对第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到第二特征图进行第二特征融合处理；

输出单元1604，用于根据第二特征融合处理的结果获取医学图像的第一分割结果。

图1-9中任一图所示的分割方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与图1-9中任一图所示的分割方法实施例相同，并且达到的有益效果与图1-9中任一图所示的分割方法实施例所达到的有益效果也相同。

参照图17，本申请实施例还公开了一种设备，包括：

至少一个处理器1700；

至少一个存储器1701，用于存储至少一个程序；

当至少一个程序被至少一个处理器1700执行，使得至少一个处理器1700实现如图1-9任一项所示的医学图像分割方法、如图13所示的医学图像显示方法或如图15所示的医学图像模型训练方法。

图1-9、图13或图15中任一图所示的方法实施例中的内容均适用于本设备实施例中，本设备实施例所具体实现的功能与图1-9、图13或图15中任一图所示的方法实施例相同，并且达到的有益效果与图1-9、图13或图15中任一图所示的方法实施例所达到的有益效果也相同。

本申请实施例还公开了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如图1-9任一项所示的医学图像分割方法、如图13所示的医学图像显示方法或如图15所示的医学图像模型训练方法。

图1-9、图13或图15中任一图所示的方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与图1-9、图13或图15中任一图所示的分割方法实施例相同，并且达到的有益效果与图1-9、图13或图15中任一图所示的方法实施例所达到的有益效果也相同。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (12)

1.一种医学图像分割方法，其特征在于，包括以下步骤：

获取医学图像；

对所述医学图像进行特征提取和下采样，得到所述医学图像的第一特征图；

对所述第一特征图进行上采样和特征提取，得到所述医学图像的第二特征图；

对所述第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到所述第二特征图进行第二特征融合处理；

根据第二特征融合处理的结果获取所述医学图像的第一分割结果。

2.根据权利要求1所述的医学图像分割方法，其特征在于，还包括以下步骤：

对所述医学图像进行多尺度裁剪；

对多尺度裁剪后的所述医学图像进行图像尺度归一化处理。

3.根据权利要求2所述的医学图像分割方法，其特征在于，还包括以下步骤：

基于图像尺度归一化处理前的所述医学图像的尺寸，对所述第一分割结果进行尺寸复原，得到所述医学图像的第二分割结果。

4.根据权利要求1所述的医学图像分割方法，其特征在于，所述对所述第一特征图进行第一特征融合处理，包括同一层图像尺度的特征图融合处理；

所述同一层图像尺度的特征图融合处理，具体为：

将所述第一特征图通过密集跳跃链接层进行特征关联融合。

5.根据权利要求1所述的医学图像分割方法，其特征在于，所述对所述第一特征图进行第一特征融合处理，包括不同层图像尺度的特征图融合处理；

所述不同层图像尺度的特征图融合处理，具体为：

将第三特征图的上采样结果与第四特征图进行特征关联融合；其中，所述第三特征图为当前层的所述第一特征图或当前层进行第一特征融合处理得到的特征图，所述第四特征图为上一层进行第一特征融合处理得到的特征图。

6.根据权利要求1所述的医学图像分割方法，其特征在于，所述对所述第一特征图进行第一特征融合处理，包括不同层图像尺度的特征图融合处理；

所述不同层图像尺度的特征图融合处理，具体为：

将第五特征图的下采样结果与第六特征图进行特征关联融合；其中，所述第五特征图为当前层进行第一特征融合处理得到的特征图，所述第六特征图为下一层的所述第一特征图或下一层进行第一特征融合处理得到的特征图。

7.根据权利要求1-6中任一项所述的医学图像分割方法，其特征在于，还包括以下步骤：将同一层图像尺度的所述第一特征图进行特征关联融合，使得同一层图像尺度的每一个所述第一特征图都作为其后所述第一特征图的输入。

8.一种医学图像显示方法，其特征在于，包括以下步骤：

输入医学图像；

显示所述医学图像的分割结果；

其中，所述分割结果通过如权利要求1-7中任一项所述的方法得到。

9.一种医学图像分割模型训练方法，其特征在于，包括以下步骤：

获取训练样本，所述训练样本为带有标签的医学图像；

输入所述训练样本至医学图像分割模型，得到所述训练样本预测的分割结果；

根据所述训练样本预测的分割结果和所述标签确定训练的损失值；

根据所述损失值反向传递更新所述医学图像分割模型的参数，直至所述损失值满足训练停止条件；

其中，所述分割结果通过如权利要求1-7中任一项所述的方法得到。

10.一种医学图像分割系统，其特征在于，包括：

获取单元，用于获取医学图像；

编码单元，用于对所述医学图像进行特征提取和下采样，得到所述医学图像的第一特征图；

解码单元，用于对所述第一特征图进行上采样和特征提取，得到所述医学图像的第二特征图；

融合单元，用于对所述第一特征图进行第一特征融合处理，并将第一特征融合处理的结果链接到所述第二特征图进行第二特征融合处理；

输出单元，用于根据第二特征融合处理的结果获取所述医学图像的第一分割结果。

11.一种设备，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-9中任一项所述的方法。

Images