CN113808146B - 一种医学图像多器官分割方法及系统 - Google Patents

一种医学图像多器官分割方法及系统 Download PDF

Info

Publication number
CN113808146B
CN113808146B CN202111209525.2A CN202111209525A CN113808146B CN 113808146 B CN113808146 B CN 113808146B CN 202111209525 A CN202111209525 A CN 202111209525A CN 113808146 B CN113808146 B CN 113808146B
Authority
CN
China
Prior art keywords
segmentation
organ
region
data
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111209525.2A
Other languages
English (en)
Other versions
CN113808146A (zh
Inventor
周元峰
刘尽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202111209525.2A priority Critical patent/CN113808146B/zh
Publication of CN113808146A publication Critical patent/CN113808146A/zh
Application granted granted Critical
Publication of CN113808146B publication Critical patent/CN113808146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种医学图像多器官分割方法及系统，包括：对获取的待分割的三维CT医学数据进行数据预处理及增强操作；之后进行下采样得到低分辨率数据，输入粗糙阶段分割网络，得到下采样的分割预测结果；将下采样的分割预测结果上采样到原始分辨率，利用粗糙阶段的分割预测结果定位出三维CT医学数据的感兴趣区域并裁剪出来；将感兴趣区域输入基于器官特异性动态调整的精细阶段分割网络进行精细分割；利用迭代细化的低置信预测区域特征增强技术进一步细化分割得到感兴趣区域的分割结果；处理获取的分割结果、原始分辨率和裁剪坐标，还原感兴趣区域至完整CT中的对应位置，通过后处理操作得到最终的分割结果，提高了分割性能与分割精度。

Description

一种医学图像多器官分割方法及系统
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种医学图像多器官分割方法及系统。
背景技术
本部分的陈述仅仅是阐述了与本发明相关的背景技术信息，并不必然构成现有技术。
医学图像分割是指从医学图像中将感兴趣的解剖或病理结构的像素/体素分割出来，是医学图像处理以及分析过程中的重要步骤。医学图像分割作为医学图像处理技术的重要一部分，往往是计算机辅助诊断、放射治疗计划、计算机辅助手术规划、疾病的治疗以及预后等临床应用的预处理步骤，在临床诊断领域发挥着关键作用。然而，传统的手动分割的方法仅仅能依靠有经验的放射科医生来进行，耗时耗力且受到医生主观经验的影响，因此，全自动以及半自动的医学图像分割技术也应运而生。一套完整的计算机辅助医学图像分割方法及系统能够显著的减轻医生的工作负荷，行之有效的辅助医生进行临床实践以及健康研究。
虽然目前许多学者对于医学图像的全自动以及半自动分割进行了深入的研究，并提出了很多有见地的方法，但大部分方法要想真正的进行临床应用，仍面临一定的挑战。发明人发现目前现有的医学图像分割方法主要分为两种：基于传统方法的医学图像分割以及深度学习方法的医学图像分割。
其中，基于传统方法的医学图像分割技术往往效率低下，且需要大量的人工干预以及专业知识的参与来进行算法设计。目前有些学者使用基于边缘检测的方法进行医学图像分割，利用边缘处像素灰度值的不连续性来进行目标的分割；有些学者使用基于阈值的方法进行医学图像分割，利用全局或局部阈值将像素分为多类，从而分割出目标区域；有些学者使用基于区域的方法进行医学图像分割，主要蕴含区域生长以及区域分裂合并的方法，通过用户定义的方法将像素或者子区域聚集为更大的区域，从而实现目标的提取；另外还有基于活动轮廓模型的医学图像分割方法、基于图论的医学图像分割方法、基于统计学的医学图像分割方法等，由于上述方法需要大量精细的设计并且精度较低，往往无法适应医学图像这种复杂的图像模式的分割。
近年来，随着深度学习方法的迅猛发展，越来越多先进的深度学习技术用于医学图像分割领域并取得了巨大的进步，得益于其强大的特征提取能力以及能够接受任意尺寸的输入图像来进行密集预测的功能，FCN等全卷积神经网络已成为医学图像自动分割的主导方法。作为最早和最流行的医学图像分割模型之一，U-Net已广泛应用于医学图像分割，其引入了从下采样层到上采样层的跳跃连接，将上下文信息传播到蕴含更多语义信息的层，有助于保留图像的细节信息，从而提高分割精度，无论是2D U-Net还是3D U-Net，还是针对具体问题改进的众多U-Net变体，都显著促进了医学图像分割领域的发展。
然而，由于某些医学成像方式(如CT)具有侵入性、成像持续时间较长，以及极其耗时且繁琐的医学图像分割注释的过程，大型医学图像分割的数据集往往难以构建；由于医学图像成像方式的限制以及解剖结构的复杂性，感兴趣的解剖或病理结构与背景环境对比度较低且边界微弱难以识别，同时，医学图像中一般会含有很多噪声，因此对要识别器官的精准分割造成了挑战；由于不同的组织和器官往往形态各异，且其形态结构在受试者之间和受试者内部存在巨大差异，现有方法中小目标的分割性能相对于大目标而言较差，所以对于解剖结构的形态保持以及小目标区域的精确分割是一个难点。即，现有医学图像分割任务中，存在着大规模数据集难以获取、背景图像复杂、噪声多、器官及组织与背景环境对比度低、器官和组织形态差异大等难点问题，使得利用深度学习技术进行医学图像分割仍颇具挑战性。
发明内容
为了解决现有技术的不足，本发明提供了一种医学图像多器官分割方法及系统，解决医学图像分割过程中存在的受试者内部以及受试者之间器官和组织形态各异，以及不同的器官与组织形态不同而导致分割困难的问题，解决组织及器官与背景环境对比度低而导致的部分区域尤其是边界处难以获得精准分割的问题。
本发明的第一方面，提供了一种医学图像多器官分割方法，具体技术方案步骤如下：
获取待分割的三维CT医学数据；
对获取的待分割的三维CT医学数据进行数据预处理以及数据增强操作；
将数据预处理以及数据增强之后的三维CT医学数据进行下采样得到低分辨率数据，输入粗糙阶段分割网络，进行初步处理得到下采样的分割预测结果；
将下采样的分割预测结果上采样到原始分辨率，利用粗糙阶段的分割预测结果定位出三维CT医学数据的感兴趣区域，将感兴趣区域裁剪出来；
将感兴趣区域输入基于器官特异性动态调整的精细阶段分割网络进行精细分割；
利用迭代细化的低置信预测区域特征增强技术进一步细化分割得到感兴趣区域的分割结果；
将获取的感兴趣区域分割结果与原始分辨率以及裁剪坐标一起进行处理，还原感兴趣区域至完整CT中的对应位置，得到粗糙分割-精细分割的级联网络分割预测结果，进行后处理操作，得到最终的三维CT医学数据的分割结果。
进一步地，所述对获取的待分割的三维CT医学数据进行数据预处理以及数据增强操作的具体过程包括：
调整CT影像数据的窗宽窗位；
将所有CT影像重新采样到对应数据集的平均体素间距；
将重新采样后的CT影像值裁剪到整个影像值对应的百分位数，利用每个模态影像的均值和标准差进行Z-score归一化；
采用随机弹性形变、随机旋转、随机缩放或随机镜像的数据增强方法对CT影像数据进行数据增强。
进一步地，所述将预处理以及数据增强之后的三维CT医学数据进行下采样得到低分辨率数据，输入粗糙阶段分割网络，进行初步处理得到下采样的分割预测结果的具体过程包括：
将CT影像数据进行下采样为固定的预先设置的大小；
利用粗分割网络预测粗分割结果。
进一步地，所述将下采样的分割预测结果上采样到原始分辨率，利用粗糙阶段的分割预测结果定位出三维CT医学数据的感兴趣区域，将感兴趣区域裁剪出来的具体过程包括：
将粗分割结果上采样到原始分辨率，找到非零区域，经验性的向外扩充，得到感兴趣区域包围盒的起始点和终止点的坐标值；
利用包围盒坐标裁剪出感兴趣区域，获得去除大部分背景区域且包含前景区域的感兴趣区域。
进一步地，所述将感兴趣区域输入基于器官特异性动态调整的精细阶段分割网络进行精细分割的具体过程包括：
将裁剪出的感兴趣区域的CT影像数据输入骨干网络进行特征提取；
对骨干网络提取的特征执行骨干网络的深度监督机制后，进行卷积操作，得到分割特征图，进行多分类操作；
将骨干网络提取的特征输入器官特异性学习模块，输出卷积核参数。
进一步地，所述利用迭代细化的低置信预测区域特征增强技术进行进一步细化分割得到感兴趣区域的分割结果的具体过程包括：
根据类体素频率初始化置信图，在每一阶段的结束利用预测出的分割结果与人工注释的金标准计算置信图，预测错误越大的区域概率越大，将此置信图记录下来，作为注意力图来使得下一阶段网络更加关注预测错误的区域；
在每一层的基本的分割损失函数之外加入了一个损失函数，重新计算预测错误的分割区域的损失函数。
本发明的第二方面，提供了一种医学图像多器官分割系统，包括下述模块：
获取模块，其被配置为：获取待分割的三维CT医学数据，对三维CT医学数据进行数据预处理以及数据增强操作；
粗糙分割模块，其被配置为：下采样三维CT医学数据得到低分辨率数据，利用粗糙阶段分割网络得到下采样的分割预测结果；
精细分割模块，其被配置为：上采样粗糙分割模块的分割预测结果到原始分辨率，利用粗糙分割模块的分割预测结果定位出三维CT医学数据的感兴趣区域，将感兴趣区域裁剪出来，输入基于器官特异性动态调整的精细阶段分割网络，利用器官特异性学习模块以及低置信预测区域特征增强技术进一步细化分割得到感兴趣区域的分割结果；
优化模块，其被配置为：将获取的感兴趣区域分割结果与原始分辨率以及裁剪坐标一起进行处理，还原感兴趣区域至完整CT中的对应位置，得到粗糙分割-精细分割的级联网络预测分割结果，然后进行后处理操作，得到最终的三维CT医学数据的分割结果。
本发明的第三方面，提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种医学图像多器官分割方法中的步骤。
本发明的第四方面，提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种医学图像多器官分割方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明提出了一种医学图像多器官分割方法，通过粗糙分割-精细分割的级联网络来提高分割性能，提高了分割结果的Dice指标以及Hausdorff distance指标，获得更精准的分割预测结果，辅助医生进行临床诊断。
本发明利用器官特异性学习模块，解决受试者内部以及受试者之间器官和组织形态各异，以及不同的器官与组织形态不同而导致分割困难的问题，避免分割精度的下降。
本发明利用迭代细化的低置信度预测区域特征增强技术，解决组织及器官与背景环境对比度低而导致的部分区域尤其是边界处难以获得精准分割的问题，通过对难分割区域增强注意，针对性地提高该区域分割结果的精确性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一的方法流程图；
图2为本发明实施例一的粗糙分割-精细分割的级联网络框架图；
图3为本发明实施例一的精细分割阶段框架图；
图4为本发明实施例一的器官特异性学习模块结构示意图；
图5为本发明实施例一的迭代细化的低置信预测区域特征增强技术示意图；
图6为本发明实施例一的医学图像分割结果展示图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种医学图像多器官分割方法，参照图1所示，包括以下步骤：
步骤1：获取待分割的三维CT医学数据。
所述步骤1具体包括：
步骤1.1：使用SimpleITK库读取一组nifti压缩格式的CT影像数据。
步骤1.2：利用SimpleITK库提供的内置函数GetArrayFromImage将SimpleITKImage格式转换成numpy格式，便于接下来处理。
步骤2：对获取的待分割的三维CT医学数据进行数据预处理以及数据增强操作。
所述步骤2具体包括：
步骤2.1：调整CT影像数据的窗宽窗位，以便于增加CT影像的对比度。
具体地，根据要处理的任务有经验的设置由窗宽窗位确定的窗口范围的窗底win_min和窗顶win_max，利用下述公式调整CT影像数据x的窗宽窗位：
x′＝(x-win_min)/(win_max-win_min)
x′＝x′·255
步骤2.2：将所有CT影像重新采样到对应数据集的平均体素间距，以保持CT影像的空间语义。
步骤2.3：把每个患者的CT影像值裁剪到整个影像值的[2.0,98.0]百分位数，然后用每个模态影像的均值和标准差进行Z-score归一化。
步骤2.4：将CT影像数据进行数据增强，防止网络过拟合，提高网络的泛化能力，具体地，分别应用随机弹性形变、随机旋转、随机缩放和随机镜像等数据增强方法。
步骤3：将数据预处理以及数据增强之后的三维CT医学数据进行下采样得到低分辨率数据，输入粗糙阶段分割网络，进行初步处理得到下采样的分割预测结果。
具体参见图2，本实施例采用粗糙分割-精细分割的级联网络框架，此步骤执行将数据输入粗分割网络进行初步分割，得到粗分割预测结果。
所述步骤3具体包括：
步骤3.1：将CT影像数据进行下采样，将其下采样为固定的预先设置的大小。
步骤3.2：利用粗分割网络来预测粗分割结果。
所述粗分割网络，包括：
编码器路径，包含5个堆叠的残差块，残差块之间使用stride＝2的卷积操作将特征图进行2倍下采样，增大网络的感受野，同时特征图的通道数变为原来的2倍；
瓶颈块，采用一个残差块连接编码器路径和解码器路径；
解码器路径，同样包含5个堆叠的残差块，残差块之间使用最近邻插值将特征图进行二倍上采样，逐渐恢复特征图尺寸，并利用卷积操作将特征图通道数减半，同时，解码器路径接收从跳过连接传递过来的编码器特征图，为解码器路径提供来自编码器对应方的更多上下文信息；
深度监督路径，在解码器路径的末端加入一个深度监督分支，通过多个尺度的分割图的元素和来提高最终的分割性能。
所述残差块可以用下述公式表示：
xout＝h(xin)+R(xin)
其中，xin为输入特征图，xout是输出特征图，h是恒等映射操作，R是残差单元，包含两个卷积核大小为3×3×3的卷积操作，以及归一化操作InstanceNorm3d和激活函数LeakyReLU操作，与ReLU函数是将所有的负值都设为零不同的是，LeakyReLU函数会给负值区域设置一个非零的斜率，其可以由下面的公式表达：
其中，yin为输入特征图，yout是输出特征图，α为超参数，本发明实施例中设置为0.01。
在上述残差块训练的过程中，在不增加计算复杂度的情况下增强了梯度流，缓解了梯度消失的问题，提高了网络的稳定性和分割精度。
步骤4：将下采样的分割预测结果上采样到原始分辨率，利用粗糙阶段的分割预测结果定位出三维CT医学数据的感兴趣区域，将感兴趣区域裁剪出来。
具体参见图2，本实施例采用粗糙分割-精细分割的级联网络框架，此步骤执行利用粗分割输出的粗分割结果从原始CT影像中定位以及裁剪感兴趣区域。
所述步骤4具体包括：
步骤4.1：将步骤3求出的粗分割结果上采样到原始分辨率，并寻找其非零区域，并经验性的向外扩充10个体素，得到感兴趣区域的包围盒的起始点和终止点的坐标值。
步骤4.2：利用步骤4.1求解出的包围盒坐标裁剪出感兴趣区域，获得去除大部分背景区域且主要包含前景区域的感兴趣区域。
通过上述裁剪感兴趣区域，减少背景区域的干扰，降低网络的显存占用量，避免丢失全局信息，提高分割精度。
步骤5：将感兴趣区域输入基于器官特异性动态调整的精细阶段分割网络进行精细分割。
具体参见图2，本实施例采用粗糙分割-精细分割的级联网络框架，此步骤执行利用具有器官特异性学习模块的细分割网络精细分割提取出的感兴趣区域的操作。
如图3所示，所述步骤5具体包括：
步骤5.1：将裁剪出的感兴趣区域的CT影像数据输入骨干网络进行特征提取。
所述骨干网络，包括：
编码器路径，包含5个堆叠的残差块，残差块之间使用stride＝2的卷积操作将特征图进行2倍下采样，增大网络的感受野，同时特征图的通道数变为原来的2倍；
瓶颈块，采用一个残差块连接编码器路径和解码器路径；
解码器路径，同样包含5个堆叠的残差块，残差块之间使用最近邻插值将特征图进行二倍上采样，逐渐恢复特征图尺寸，并利用卷积操作将特征图通道数减半，同时，解码器路径接收从跳过连接传递过来的编码器特征图，为解码器路径提供来自编码器对应方的更多上下文信息；
深度监督路径，在解码器路径的末端加入一个深度监督分支，通过多个尺度的分割图的元素和来提高最终的分割性能。
步骤5.2：将骨干网络提取的最后一层的特征图，此特征图的最终获取执行骨干网络的深度监督机制，将输出特征图融合为解码器路径的多尺度特征图的元素和，进行卷积核大小为1×1×1的的卷积操作，得到分割特征图，然后进行多分类操作。所述多分类操作使用的损失函数Multiclass为Lov′asz-Softmax loss与focal loss的和，可由下述公式表示：
LMulticlass＝LLov′aszSoftmax+Lfocal
其中，K表示所有类别，S为预测的多分类分割结果，p为体素位置，αk是类数量平衡因子，γ是难易分平衡因子，我们根据经验设置γ＝2，ΔJk(·)表示子模Jaccard损失的凸闭包，Jk和m(k)表示Jaccard索引和K个类别的向量误差。
步骤5.3：将骨干网络提取的特征输入器官特异性学习模块，输出卷积核参数。
所述器官特异性学习模块包括多个动态头部分支，每个动态头部分支为单个器官执行二分类任务，每个头部的卷积核参数为动态生成的。
其中，动态头部中卷积层的卷积核参数由器官特异性学习模块学习得到，能够自适应的根据需要分割的器官以及输入数据进行调整。
具体地，使用二分类交叉熵损失函数与dice损失函数的和作为动态头部分支的总的分割损失函数，可由下述公式表示：
LBinary_branch＝LDice+LCe
其中，G为人工注释的真实分割结果，S为网络输出的预测分割结果，smooth为光滑项，防止损失爆炸，本发明实施例中设置为1，k表示为第k个体素，总共N个体素，总的器官特异性学习模块的损失函数LBinary为多个分支的损失函数的平均和。
将多个动态头部的分割特征图融合进行卷积之后再进行一次多分类分割，计算多分类分割的损失函数Multiclass。所述多分类操作使用的损失函数Multiclass为Lov′asz-Softmax loss与focal loss的和，由下述公式表示：
LMulticlass＝LLov′aszSoftmax+Lfocal
其中，K表示所有类别，S为预测的多分类分割结果，p为体素位置，αk是类数量平衡因子，γ是难易分平衡因子，我们根据经验设置γ＝2，ΔJk(·)表示子模Jaccard损失的凸闭包，Jk和m(k)表示Jaccard索引和K个类别的向量误差。
具体地，动态头部的分支由几层卷积组成，其中最后三层的卷积层的卷积核参数由器官特异性学习模块生成。如图4所示，器官特异性学习模块的具体步骤为：
步骤5.3.1：提取骨干网络的瓶颈层的输出特征图作为输入1，提取多分类分割的特征图作为输入2，对每个器官编码得到器官任务编码作为输入3。
示例性的，对每个器官进行编码的操作采用one_hot编码方式，为每一个器官编码一个n维的向量，其中n为器官的数目，这个向量的值可由下述公式表示：
其中，Oklm表示来自第k个数据的第l个器官的任务编码的第m维。
步骤5.3.2：利用各个输入得到每个动态分支的动态参数张量，将输入中间特征图Ik进行卷积操作与多分类分割的特征图Tk进行拼接操作，得到融合后的特征，再进行卷积操作，输出通道数为特定长度，可用下式表示，其中，[·]为拼接操作，conv为卷积操作：
pkl＝conv([conv(Ik),Tk])
接下来，将conv(Ik)进行全局平均池化操作，与任务编码向量Okl进行拼接，然后将拼接后的特征张量进行卷积核大小为1×1×1的卷积操作，输出通道数为特定长度的特征张量，然后与全局平均池化的Pkl相加，得到最终输出的动态参数张量Wkl，其中，[·]为拼接操作，conv为卷积操作，GAP为全局平均池化操作，k表示来自第k个数据，l表示来自第l个器官。
Wkl＝conv([GAP(conv(Ik)),Okl])+GAP(Pkl)
步骤5.3.3：将得到的动态参数张量Wkl安排到动态头部分支的各个卷积层。
示例性的，以一个动态分支的三层卷积为例，153维的动态参数张量Wkl分配如下表1所示：
表1参数分配
采用上述动态头部卷积的方式，为每个器官针对不同的患者和不同的器官赋予独特的卷积核权重，适应受试者内部以及受试者之间器官形态各异，解决不同的器官形态不同而导致分割困难的问题，避免因为此类问题而导致的分割精度下降。
步骤6：利用迭代细化的低置信预测区域特征增强技术进一步细化分割得到感兴趣区域的分割结果。
具体参照图5所示，此过程是逐渐迭代优化的过程。
所述步骤6具体包括：
步骤6.1：首先根据类体素频率初始化置信图，然后在每一阶段的结束利用预测出的分割结果与人工注释的金标准计算置信图，其中预测错误越大的区域概率越大，将此置信图记录下来，作为注意力图来使得下一阶段网络更加关注预测错误的区域。
由于把每个器官的分割都看作一个二分类任务，分别计算每个器官分割结果的置信图，其中置信图的计算方法如下列公式所示：
其中，下标kl表示对第k个数据的第l个器官执行操作，ckln为计算出的迭代的第n个阶段的置信图，Skl(n-1)为第n-1个阶段网络预测出的的分割结果，Gkl为人工注释的金标准，p表示坐标位置，计算完成后需进行归一化操作。
步骤6.2：为了使得网络能够更加关注预测错误的区域，在每一层的基本的分割损失函数之外加入了一个损失函数，重新只计算预测错误的分割区域的损失函数。迭代的过程中使用的是同一个网络，加入的损失函数如下：
其中，为指示函数，其定义如下所示，thrs在本发明中根据经验设置为0.6：
目前迭代的每个阶段的网络的损失函数为步骤5与步骤6的各项损失函数的加权和。
具体地，使用低置信预测区域特征增强机制迭代细化分割感兴趣区域，可以在每次迭代过程中迫使网络去加强学习预测错误的区域，能够有效的提高网络的学习能力。通过此方法能解决组织及器官与背景环境对比度低而导致的部分区域尤其是边界处难以获得精准分割的问题，能够对难分割区域增强注意来有针对性地提高这部分区域的分割结果。
步骤7：将获取的感兴趣区域分割结果与原始分辨率以及裁剪坐标一起进行处理，还原感兴趣区域至完整CT中的对应位置，得到粗糙分割-精细分割的级联网络分割预测结果，进行后处理操作，得到最终的三维CT医学数据的分割结果。
所述步骤7具体包括：
步骤7.1：利用裁剪时记录的感兴趣区域的坐标以及完整CT的分辨率，把分割出来的感兴趣区域的结果还原在完整CT中，得到整个CT影像数据的分割结果。
步骤7.2：将整个CT影像数据的分割结果进行后处理操作，后处理操作包括：对于每个器官，寻找几个最大的连通组件，从大到小寻找，一旦当前连通组件比最大的连通组件小，且当前连通组件小到为可去掉的散点或达到了先验的器官数目(如已知每位患者的心脏为1颗，肾脏为两颗)，则停止寻找，最终只保留最大的多个连通组件。通过该后处理步骤能够有效的去除分割过程中产生的散点。
本发明提供了一种医学图像多器官分割方法及系统，利用粗糙分割-精细分割的级联架构，降低网络的显存占用量，避免丢失全局信息，提高分割精度；采用器官特异性学习模块，为每个器官针对不同的患者和不同的器官赋予独特的卷积核权重，能够适应受试者内部以及受试者之间器官形态各异，解决不同的器官形态不同而导致分割困难的问题，避免因为此类问题导致的分割精度下降；使用低置信预测区域特征增强机制迭代细化分割感兴趣区域，在每次迭代过程中迫使网络去加强学习预测错误的区域，能够有效的提高网络的学习能力；通过上述方法，解决组织及器官与背景环境对比度低而导致的部分区域尤其是边界处难以获得精准分割的问题，通过对难分割区域增强注意，实现针对性地提高该区域分割结果的精确性。
本发明在公开数据集Beyond the Cranial Vault(BTCV)Abdomen data set上验证了上述方法的结果，由于其官方测试集为隐藏数据集，我们将训练集划分为训练集和测试集，其比例为0.75：0.25，分割了其中的脾脏、肾脏以及肝脏。最终分割结果如图6(a)-(d)BTCV数据集的第一例CT影像数据以及不同视角的分割结果，图6(e)-(h)BTCV数据集的第二例CT影像数据以及不同视角的分割结果所示，能够看出在不同的数据样本上本发明的方法都能获得比较精确的分割结果。
本发明的分割结果采用Dice指标以及Hausdorff distance(HD)指标来定量度量分割结果，Dice值越高越好，HD值越低越好，其中相比于经典的医学分割网络3D_Unet，本发明显著提高了分割结果的精度，如下表2所示：
表2实验结果
实施例二
在一个或多个实施方式中，公开了一种医学图像多器官分割系统，包括下述模块：
获取模块，其被配置为：获取待分割的三维CT医学数据，对医学数据进行特定的数据预处理操作以及数据增强操作；
粗糙分割模块，其被配置为：下采样三维CT医学数据得到低分辨率数据，利用粗糙阶段分割网络得到下采样的分割预测结果；
精细分割模块，其被配置为：上采样粗糙分割模块的分割预测结果到原始分辨率，利用粗糙分割模块的分割预测结果定位出三维CT医学数据的感兴趣区域，将感兴趣区域裁剪出来，输入基于器官特异性动态调整的精细阶段分割网络，利用器官特异性学习模块以及低置信预测区域特征增强技术进行进一步细化分割得到感兴趣区域的分割结果；
优化模块，其被配置为：将获取的感兴趣区域分割结果与原始分辨率以及裁剪坐标一起进行处理，还原感兴趣区域至完整CT中的对应位置，得到粗糙分割-精细分割的级联网络预测分割结果，然后进行进一步的后处理操作，得到最终的三维CT医学数据的分割结果。
此处需要说明的是，上述获取模块、粗糙分割模块、精细分割模块和优化模块对应于实施例一中的步骤1至7，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一所提供的一种医学图像多器官分割方法。
实施例四
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行实施例一所提供的一种医学图像多器官分割方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种医学图像多器官分割方法，其特征是：包括以下步骤：
获取待分割的三维CT医学数据；
对获取的待分割的三维CT医学数据进行数据预处理以及数据增强操作；
将预处理以及数据增强之后的三维CT医学数据进行下采样得到低分辨率数据，输入粗糙阶段分割网络，进行初步处理得到下采样的分割预测结果；
将下采样的分割预测结果上采样到原始分辨率，利用粗糙阶段的分割预测结果定位出三维CT医学数据的感兴趣区域，将感兴趣区域裁剪出来，具体包括：
将粗分割结果上采样到原始分辨率，并寻找其非零区域，并经验性的向外扩充10个体素，得到感兴趣区域的包围盒的起始点和终止点的坐标值，求解出的包围盒坐标裁剪出感兴趣区域，获得去除大部分背景区域且主要包含前景区域的感兴趣区域；
将感兴趣区域输入基于器官特异性动态调整的精细阶段分割网络进行精细分割，具体包括：
将裁剪出的感兴趣区域的CT影像数据输入骨干网络进行特征提取，所述骨干网络，包括：
编码器路径，包含5个堆叠的残差块，残差块之间使用stride＝2的卷积操作将特征图进行2倍下采样，增大网络的感受野，同时特征图的通道数变为原来的2倍；
瓶颈块，采用一个残差块连接编码器路径和解码器路径；
解码器路径，同样包含5个堆叠的残差块，残差块之间使用最近邻插值将特征图进行二倍上采样，逐渐恢复特征图尺寸，并利用卷积操作将特征图通道数减半，同时，解码器路径接收从跳过连接传递过来的编码器特征图，为解码器路径提供来自编码器对应方的更多上下文信息；
深度监督路径，在解码器路径的末端加入一个深度监督分支，通过多个尺度的分割图的元素和来提高最终的分割性能；
将骨干网络提取的最后一层的特征图，此特征图的最终获取执行骨干网络的深度监督机制，将输出特征图融合为解码器路径的多尺度特征图的元素和，进行卷积核大小为1×1×1的的卷积操作，得到分割特征图，然后进行多分类操作，所述多分类操作使用的损失函数Multiclass为Lov′asz-Softmax loss与focal loss的和，由下述公式表示：
LMulticlass＝LLov′aszSoftmax+Lfocal
其中，K表示所有类别，S为预测的多分类分割结果，p为体素位置，αk是类数量平衡因子，γ是难易分平衡因子设置γ＝2，ΔJk(·)表示子模Jaccard损失的凸闭包，Jk和m(k)表示Jaccard索引和K个类别的向量误差；将骨干网络提取的特征输入器官特异性学习模块，输出卷积核参数；
所述器官特异性学习模块包括多个动态头部分支，每个动态头部分支为单个器官执行二分类任务，每个头部的卷积核参数为动态生成的，其中，动态头部中卷积层的卷积核参数由器官特异性学习模块学习得到，能够自适应的根据需要分割的器官以及输入数据进行调整，具体地，使用二分类交叉熵损失函数与dice损失函数的和作为动态头部分支的总的分割损失函数，由下述公式表示：
LBinary_branch＝LDice+LCe
其中，G为人工注释的真实分割结果，S为网络输出的预测分割结果，smooth为光滑项设置为1，k表示为第k个体素，总共N个体素，总的器官特异性学习模块的损失函数LBinary为多个分支的损失函数的平均和；
将多个动态头部的分割特征图融合进行卷积之后再进行一次多分类分割，计算多分类分割的损失函数Multiclass，所述多分类操作使用的损失函数Multiclass为Lov′asz-Softmax loss与focal loss的和，由下述公式表示：
LMulticlass＝LLov′aszsoftmax+Lfocal
其中，K表示所有类别，S为预测的多分类分割结果，p为体素位置，αk是类数量平衡因子，γ是难易分平衡因子设置γ＝2，ΔJk(·)表示子模Jaccard损失的凸闭包，Jk和m(k)表示Jaccard索引和K个类别的向量误差，具体地，动态头部的分支由几层卷积组成，其中最后三层的卷积层的卷积核参数由器官特异性学习模块生成；
器官特异性学习模块的具体步骤为：
提取骨干网络的瓶颈层的输出特征图作为输入1，提取多分类分割的特征图作为输入2，对每个器官编码得到器官任务编码作为输入3，对每个器官进行编码的操作采用one_hot编码方式，为每一个器官编码一个n维的向量，其中n为器官的数目，这个向量的值由下述公式表示：
其中，Oklm表示来自第k个数据的第l个器官的任务编码的第m维；
利用各个输入得到每个动态分支的动态参数张量，将输入中间特征图Ik进行卷积操作与多分类分割的特征图Tk进行拼接操作，得到融合后的特征，再进行卷积操作，输出通道数为特定长度，用下式表示，其中，[·]为拼接操作，conv为卷积操作：
pkl＝conv([conv(Ik),Tk])
将conv(Ik)进行全局平均池化操作，与任务编码向量Okl进行拼接，然后将拼接后的特征张量进行卷积核大小为1×1×1的卷积操作，输出通道数为特定长度的特征张量，然后与全局平均池化的Pkl相加，得到最终输出的动态参数张量Wkl，其中，[·]为拼接操作，conv为卷积操作，GAP为全局平均池化操作，k表示来自第k个数据，l表示来自第l个器官：
Wkl＝conv([GAP(conv(Ik)),Okl])+GAP(Pkl)
将得到的动态参数张量Wkl安排到动态头部分支的各个卷积层；
采用动态头部卷积的方式，为每个器官针对不同的患者和不同的器官赋予独特的卷积核权重，适应受试者内部以及受试者之间器官形态各异；
利用迭代细化的低置信预测区域特征增强技术进一步细化分割得到感兴趣区域的分割结果，具体包括：
首先根据类体素频率初始化置信图，然后在每一阶段的结束利用预测出的分割结果与人工注释的金标准计算置信图，其中预测错误越大的区域概率越大，将此置信图记录下来，作为注意力图来使得下一阶段网络更加关注预测错误的区域；
把每个器官的分割都看作一个二分类任务，分别计算每个器官分割结果的置信图，其中置信图的计算方法如下列公式所示：
其中，下标kl表示对第k个数据的第l个器官执行操作，ckln为计算出的迭代的第n个阶段的置信图，Skl(n-1)为第n-1个阶段网络预测出的的分割结果，Gkl为人工注释的金标准，p表示坐标位置，计算完成后需进行归一化操作；
为了使得网络能够更加关注预测错误的区域，在每一层的基本的分割损失函数之外加入了一个损失函数，重新只计算预测错误的分割区域的损失函数，迭代的过程中使用的是同一个网络，加入的损失函数如下：
其中，为指示函数，其定义如下所示，thrs设置为0.6：
将获取的感兴趣区域分割结果与原始分辨率以及裁剪坐标一起进行处理，还原感兴趣区域至完整CT中的对应位置，得到粗糙分割-精细分割的级联网络分割预测结果，进行后处理操作，得到最终的三维CT医学数据的分割结果。
2.如权利要求1所述的医学图像多器官分割方法，其特征是：所述对获取的待分割的三维CT医学数据进行数据预处理以及数据增强操作的具体过程包括：
调整CT影像数据的窗宽窗位；
将所有CT影像重新采样到对应数据集的平均体素间距；
将重新采样后的CT影像值裁剪到整个影像值对应的百分位数，利用每个模态影像的均值和标准差进行Z-score归一化；
采用随机弹性形变、随机旋转、随机缩放或随机镜像的数据增强方法对CT影像数据进行数据增强。
3.如权利要求1所述的医学图像多器官分割方法，其特征是：所述将预处理以及数据增强之后的三维CT医学数据进行下采样得到低分辨率数据，输入粗糙阶段分割网络，进行初步处理得到下采样的分割预测结果的具体过程包括：
将CT影像数据进行下采样为固定的预先设置的大小；
利用粗分割网络预测粗分割结果。
4.如权利要求1所述的医学图像多器官分割方法，所述将获取的感兴趣区域分割结果与原始分辨率以及裁剪坐标一起进行处理，还原感兴趣区域至完整CT中的对应位置，得到粗糙分割-精细分割的级联网络分割预测结果的具体过程包括：
利用裁剪时记录的感兴趣区域的坐标以及完整CT的分辨率，将分割出来的感兴趣区域的结果还原在完整CT中，得到整个CT影像数据的分割结果。
5.一种医学图像多器官分割系统，其特征是：包括：
获取模块，其被配置为：获取待分割的三维CT医学数据，对三维CT医学数据进行特定的数据预处理操作以及数据增强操作；
粗糙分割模块，其被配置为：下采样三维CT医学数据得到低分辨率数据，利用粗糙阶段分割网络得到下采样的分割预测结果；
精细分割模块，其被配置为：上采样粗糙分割模块的分割预测结果到原始分辨率，利用粗糙分割模块的分割预测结果定位出三维CT医学数据的感兴趣区域，将感兴趣区域裁剪出来，具体包括：
将粗分割结果上采样到原始分辨率，并寻找其非零区域，并经验性的向外扩充10个体素，得到感兴趣区域的包围盒的起始点和终止点的坐标值，求解出的包围盒坐标裁剪出感兴趣区域，获得去除大部分背景区域且主要包含前景区域的感兴趣区域；
输入基于器官特异性动态调整的精细阶段分割网络，具体包括：
将裁剪出的感兴趣区域的CT影像数据输入骨干网络进行特征提取，所述骨干网络，包括：
编码器路径，包含5个堆叠的残差块，残差块之间使用stride＝2的卷积操作将特征图进行2倍下采样，增大网络的感受野，同时特征图的通道数变为原来的2倍；
瓶颈块，采用一个残差块连接编码器路径和解码器路径；
解码器路径，同样包含5个堆叠的残差块，残差块之间使用最近邻插值将特征图进行二倍上采样，逐渐恢复特征图尺寸，并利用卷积操作将特征图通道数减半，同时，解码器路径接收从跳过连接传递过来的编码器特征图，为解码器路径提供来自编码器对应方的更多上下文信息；
深度监督路径，在解码器路径的末端加入一个深度监督分支，通过多个尺度的分割图的元素和来提高最终的分割性能；
将骨干网络提取的最后一层的特征图，此特征图的最终获取执行骨干网络的深度监督机制，将输出特征图融合为解码器路径的多尺度特征图的元素和，进行卷积核大小为1×1×1的的卷积操作，得到分割特征图，然后进行多分类操作，所述多分类操作使用的损失函数Multiclass为Lov′asz-Softmax loss与focal loss的和，由下述公式表示：
LMulticlass＝LLov′aszSoftmax+Lfocal
其中，K表示所有类别，S为预测的多分类分割结果，p为体素位置，αk是类数量平衡因子，γ是难易分平衡因子设置γ＝2，ΔJk(·)表示子模Jaccard损失的凸闭包，Jk和m(k)表示Jaccard索引和K个类别的向量误差；将骨干网络提取的特征输入器官特异性学习模块，输出卷积核参数；
所述器官特异性学习模块包括多个动态头部分支，每个动态头部分支为单个器官执行二分类任务，每个头部的卷积核参数为动态生成的，其中，动态头部中卷积层的卷积核参数由器官特异性学习模块学习得到，能够自适应的根据需要分割的器官以及输入数据进行调整，具体地，使用二分类交叉熵损失函数与dice损失函数的和作为动态头部分支的总的分割损失函数，由下述公式表示：
LBinary_branch＝LDice+LCe
其中，G为人工注释的真实分割结果，S为网络输出的预测分割结果，smooth为光滑项设置为1，k表示为第k个体素，总共N个体素，总的器官特异性学习模块的损失函数LBinary为多个分支的损失函数的平均和；
将多个动态头部的分割特征图融合进行卷积之后再进行一次多分类分割，计算多分类分割的损失函数Multiclass，所述多分类操作使用的损失函数Multiclass为Lov′asz-Softmax loss与focal loss的和，由下述公式表示：
LMulticlass＝LLov′aszsoftmax+Lfocal
其中，K表示所有类别，S为预测的多分类分割结果，p为体素位置，αk是类数量平衡因子，γ是难易分平衡因子设置γ＝2，ΔJk(·)表示子模Jaccard损失的凸闭包，Jk和m(k)表示Jaccard索引和K个类别的向量误差，具体地，动态头部的分支由几层卷积组成，其中最后三层的卷积层的卷积核参数由器官特异性学习模块生成；
器官特异性学习模块的具体步骤为：
提取骨干网络的瓶颈层的输出特征图作为输入1，提取多分类分割的特征图作为输入2，对每个器官编码得到器官任务编码作为输入3，对每个器官进行编码的操作采用one_hot编码方式，为每一个器官编码一个n维的向量，其中n为器官的数目，这个向量的值由下述公式表示：
其中，Oklm表示来自第k个数据的第l个器官的任务编码的第m维；
利用各个输入得到每个动态分支的动态参数张量，将输入中间特征图Ik进行卷积操作与多分类分割的特征图Tk进行拼接操作，得到融合后的特征，再进行卷积操作，输出通道数为特定长度，用下式表示，其中，[·]为拼接操作，conv为卷积操作：
pkl＝conv([conv(Ik),Tk])
将conv(Ik)进行全局平均池化操作，与任务编码向量Okl进行拼接，然后将拼接后的特征张量进行卷积核大小为1×1×1的卷积操作，输出通道数为特定长度的特征张量，然后与全局平均池化的Pkl相加，得到最终输出的动态参数张量Wkl，其中，[·]为拼接操作，conv为卷积操作，GAP为全局平均池化操作，k表示来自第k个数据，l表示来自第l个器官：
Wkl＝conv([GAP(conv(Ik)),Okl])+GAP(Pkl)
将得到的动态参数张量Wkl安排到动态头部分支的各个卷积层；
采用动态头部卷积的方式，为每个器官针对不同的患者和不同的器官赋予独特的卷积核权重，适应受试者内部以及受试者之间器官形态各异；
利用器官特异性学习模块以及低置信预测区域特征增强技术进一步细化分割得到感兴趣区域的分割结果，具体包括：
首先根据类体素频率初始化置信图，然后在每一阶段的结束利用预测出的分割结果与人工注释的金标准计算置信图，其中预测错误越大的区域概率越大，将此置信图记录下来，作为注意力图来使得下一阶段网络更加关注预测错误的区域；
把每个器官的分割都看作一个二分类任务，分别计算每个器官分割结果的置信图，其中置信图的计算方法如下列公式所示：
其中，下标kl表示对第k个数据的第l个器官执行操作，ckln为计算出的迭代的第n个阶段的置信图，Skl(n-1)为第n-1个阶段网络预测出的的分割结果，Gkl为人工注释的金标准，p表示坐标位置，计算完成后需进行归一化操作；
为了使得网络能够更加关注预测错误的区域，在每一层的基本的分割损失函数之外加入了一个损失函数，重新只计算预测错误的分割区域的损失函数，迭代的过程中使用的是同一个网络，加入的损失函数如下：
其中，为指示函数，其定义如下所示，thrs设置为0.6：
优化模块，其被配置为：将获取的感兴趣区域分割结果与原始分辨率以及裁剪坐标一起进行处理，还原感兴趣区域至完整CT中的对应位置，得到粗糙分割-精细分割的级联网络预测分割结果，然后进行后处理操作，得到最终的三维CT医学数据的分割结果。
6.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-4中任一项所述的一种医学图像多器官分割方法中的步骤。
7.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-4中任一项所述的一种医学图像多器官分割方法中的步骤。
CN202111209525.2A 2021-10-18 2021-10-18 一种医学图像多器官分割方法及系统 Active CN113808146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111209525.2A CN113808146B (zh) 2021-10-18 2021-10-18 一种医学图像多器官分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111209525.2A CN113808146B (zh) 2021-10-18 2021-10-18 一种医学图像多器官分割方法及系统

Publications (2)

Publication Number Publication Date
CN113808146A CN113808146A (zh) 2021-12-17
CN113808146B true CN113808146B (zh) 2023-08-18

Family

ID=78897919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111209525.2A Active CN113808146B (zh) 2021-10-18 2021-10-18 一种医学图像多器官分割方法及系统

Country Status (1)

Country Link
CN (1) CN113808146B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332070B (zh) * 2022-01-05 2024-05-28 北京理工大学 一种基于智能学习网络模型压缩的陨坑检测方法
CN114723683B (zh) * 2022-03-22 2023-02-17 推想医疗科技股份有限公司 头颈动脉血管分割方法及其装置、电子设备和存储介质
CN114972361B (zh) * 2022-04-25 2022-12-16 北京医准智能科技有限公司 一种血流分割方法、装置、设备及存储介质
CN115115577A (zh) * 2022-05-19 2022-09-27 北京深睿博联科技有限责任公司 一种基于混合感知的多阶段器官分割方法及装置
CN115761221A (zh) * 2022-09-21 2023-03-07 阿里巴巴（中国）有限公司 图像处理方法、装置、设备及存储介质
CN116934738B (zh) * 2023-08-14 2024-03-22 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统
CN117095208B (zh) * 2023-08-17 2024-02-27 浙江航天润博测控技术有限公司 一种面向光电吊舱侦察图像的轻量化场景分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111415359A (zh) * 2020-03-24 2020-07-14 浙江明峰智能医疗科技有限公司 一种自动化分割医学影像多器官的方法
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
WO2021164418A1 (zh) * 2020-02-18 2021-08-26 广州柏视医疗科技有限公司 基于深度学习网络的三维影像的管状结构分割图断裂修复系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
WO2021164418A1 (zh) * 2020-02-18 2021-08-26 广州柏视医疗科技有限公司 基于深度学习网络的三维影像的管状结构分割图断裂修复系统
CN111415359A (zh) * 2020-03-24 2020-07-14 浙江明峰智能医疗科技有限公司 一种自动化分割医学影像多器官的方法

Also Published As

Publication number Publication date
CN113808146A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN113808146B (zh) 一种医学图像多器官分割方法及系统
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
US20230104173A1 (en) Method and system for determining blood vessel information in an image
US20170249739A1 (en) Computer analysis of mammograms
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
WO2020133354A1 (en) 3d segmentation network and 3d refinement module
Pang et al. Automatic lung segmentation based on texture and deep features of HRCT images with interstitial lung disease
CN111179237B (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN113421240B (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN113012164A (zh) 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质
Czipczer et al. Adaptable volumetric liver segmentation model for CT images using region-based features and convolutional neural network
WO2023156290A1 (en) Method and system for computer aided diagnosis based on morphological characteristics extracted from 3-dimensional medical images
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN117422871A (zh) 一种基于V-Net的轻量级脑肿瘤分割方法及系统
Li et al. wUnet: A new network used for ultrasonic tongue contour extraction
Jain et al. An automatic cascaded approach for pancreas segmentation via an unsupervised localization using 3D CT volumes
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant