CN112634284B - 基于权重图损失的分阶段神经网络ct器官分割方法及系统 - Google Patents

基于权重图损失的分阶段神经网络ct器官分割方法及系统 Download PDF

Info

Publication number
CN112634284B
CN112634284B CN202011533274.9A CN202011533274A CN112634284B CN 112634284 B CN112634284 B CN 112634284B CN 202011533274 A CN202011533274 A CN 202011533274A CN 112634284 B CN112634284 B CN 112634284B
Authority
CN
China
Prior art keywords
data
neural network
staged
organ
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011533274.9A
Other languages
English (en)
Other versions
CN112634284A (zh
Inventor
蒋昌龙
党康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tisu Information Technology Co ltd
Original Assignee
Shanghai Tisu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tisu Information Technology Co ltd filed Critical Shanghai Tisu Information Technology Co ltd
Priority to CN202011533274.9A priority Critical patent/CN112634284B/zh
Publication of CN112634284A publication Critical patent/CN112634284A/zh
Application granted granted Critical
Publication of CN112634284B publication Critical patent/CN112634284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种基于权重图损失的分阶段神经网络CT器官分割方法及系统，包括：基于多个数据源采集不同器官分割标注的CT数据；对标注后的CT数据进行预处理，得到预处理后的CT数据；对预处理后的CT数据进行数据增强操作，得到数据增强后的CT数据；建立分阶段神经网络模型；数据增强操作后的多个数据源采集的不同器官分割标注的CT数据输入分阶段神经网络模型，对分阶段神经网络模型进行训练直至损失函数达到预设值，得到训练后的分阶段神经网络模型；利用训练后的分阶段神经网络模型进行CT器官分割；本发明采用基于多通道权重图的损失函数，以实现可以同时对多来源异质标签的多器官分割数据集进行训练的器官CT分割方法。

Description

基于权重图损失的分阶段神经网络CT器官分割方法及系统
技术领域
本发明涉及医疗图像处理技术领域，具体地，涉及基于权重图损失的分阶段神经网络CT器官分割方法及系统。
背景技术
器官分割是许多医学影像分析任务(如病灶定位，疾病诊断，肿瘤定位等等)的前置任务，因此精准的器官分割在医学图像分析任务中具有重要的地位并且具有帮助医生定量分析、追踪病情发展、节省工作时间等的优点。近年来深度学习在计算机视觉各细分领域都取得了出色的成绩，其在医疗图像分割任务中的应用使得很多器官分割任务精度有了显著提高。
然而，由于深度学习算法的精度很大程度上依赖于大量高质量的精准的数据标注使得关于器官分割的标注工作往往需要大量的时间和人力来完成。在这种情况下，将多个来源的标签不一致的数据集进行融合然后进行深度学习模型的训练是一个相对而言比较有效率且可行的方案，因此我们提出了一个基于权重图损失函数来达到这个目的。
由于不同CT器官的分割难度不同，比如肺，肝，皮下脂肪等分割难度较为简单，而气管，胆囊等分割难度较大，因此我们提出了一个两阶段的由易到难的器官分割框架，第一阶段网络输出容易进行分割的器官，而第二阶段网络以CT和第一阶段网络的结果为输入，进一步处理更难分割的器官和组织，总而达到提高较难分割的器官分割准确性的目的。
目前现有技术有很多已经实现比较精确的对CT中的单器官进行分割的案例。但是，目前针对CT内的多器官分割进行的较少，查到的相关论文有：
Roth,Holger R.,et al."Hierarchical 3D fully convolutional networksfor multi-organ segmentation."arXiv preprint arXiv:1704.06382(2017).
该论文使用了两阶段，从粗分到细分的结构，使用了331例全都含有主动脉，静脉，肝脏，脾脏，胃，胆囊和胰腺的精标标注的数据集进行训练，实现了对这些器官的分割。缺点是，该论文使用了全标注的同质标签的数据集，标注所需人力物力较大。另外，从评估指标看，本专利与其重合的肝脏，胆囊，脾脏等器官分割精度要优于该论文。
专利文献CN111080657A(申请号：201911281983.X)公开了一种基于卷积神经网络多维度融合的CT图像器官分割方法。该方法包括：对于2.5D及3D模型，对原始数据分别进行不同的数据处理，使得处理后的数据能够输入相对应的模型进行特征提取及训练；设定损失函数，对2.5D及3D的两个模型进行训练；根据2.5D及3D模型，得到不同的分割结果；以及使用模型融合技术，将不同的分割结果进行融合，以得到最终的准确结果。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于权重图损失的分阶段神经网络CT器官分割方法。
根据本发明提供的一种基于权重图损失的分阶段神经网络CT器官分割方法，其特征在于，包括：
步骤M1：基于多个数据源采集不同器官分割标注的CT数据；
步骤M2：对标注后的CT数据进行预处理，得到预处理后的CT数据；
步骤M3：对预处理后的CT数据进行数据增强操作，得到数据增强后的CT数据；
步骤M4：建立分阶段神经网络模型；
步骤M5：数据增强操作后的多个数据源采集的不同器官分割标注的CT数据输入分阶段神经网络模型，对分阶段神经网络模型进行训练直至损失函数达到预设值，得到训练后的分阶段神经网络模型；
步骤M6：利用训练后的分阶段神经网络模型进行CT器官分割；
所述分阶段神经网络模型使用两阶段、从易分粗分到难分细分的阶段化的网络结构。
优选地，所述步骤M1包括：基于包括体检数据和临床数据采集预设数量不同器官分割标注的CT数据；
所述不同器官分割标注的CT数据包括预设数量含有肺叶分割标注的CT数据、预设数量含有肝、胆、肾、脾的器官分割标注的CT数据以及预设数量含有心脏、主动脉、肋骨、脊椎、气管、皮下脂肪、肝、胆、肾、脾分割标注的CT数据。
优选地，所述步骤M2包括：对多个数据源采集的不同器官分割标注的CT数据进行包括剪裁、正则化以及统一体素间距预处理，得到预处理后的CT数据。
优选地，所述步骤M3包括：对预处理后的CT数据进行包括弹性形变、随机缩放、随机翻转以及Gamma增强的数据增强操作，得到数据增强后的CT数据。
优选地，所述步骤M4中分阶段神经网络模型包括：第一阶段神经网络和第二阶段神经网络；各阶段神经网络使用医学图像分割中的U型的3D UNet网络结构作为基本网络框架并引入了实例正则化及Leaky Relu；
所述各阶段神经网络包括编码部分和解码部分；通过所述编码部分进行下采样；
所述编码部分包括预设数量编码层；每个编码层包括预设数量卷积模块；每个卷积模块包括预设数量卷积层、预设数量实例正则化层和预设数量Leaky Relu层；每个编码层之间通过后一个编码层的第一个卷积层进行下采样
所述解码部分包括预设数量解码层；每个解码层之间由反卷积进行上采样；
相同特征图大小的编码层和解码层由跳跃连接相连传递相应特征。
优选地，所述步骤M5包括：
步骤M5.1：按照预设输入CT数据数量，基于数据增强操作后的多个数据源采集的不同器官分割标注的CT数据进行平均采样；
步骤M5.2：将平均采样后的CT数据输入第一阶段神经网络，得到CT器官初步分割结果；
步骤M5.3：将CT器官初步分割结果和平均采样后的CT数据输入第二阶段神经网络，输出CT器官分割结果；
步骤M5.4：利用得到的CT器官分割结果优化分阶段神经网络模型，重复执行步骤M5.1至步骤M5.4，直至损失函数达到预设值，得到训练后的分阶段神经网络模型。
优选地，所述步骤M5中损失函数包括：
结合交叉熵损失函数和Dice损失函数的混合损失函数并基于权重图进行权重调节，得到单一阶段的损失函数，具体公式为：
Figure BDA0002851629850000031
Figure BDA0002851629850000032
单一阶段的损失函数为联合LWCE和LWDice的整体损失函数定义为：
Ll＝LWCE+LWDice
其中，下标l＝1或2，N表示样本总量，C表示通道总数，权重图
Figure BDA0002851629850000041
c表示所在通道，i表示所在图的索引位置，不同通道代表不同的器官；当所在数据集含有器官c的标注或当所在数据集不含有器官c标注但其他通道的位置i含有其他器官的标注时，
Figure BDA0002851629850000042
当所在数据集不含有器官c标注且其他通道的位置i不含有其他器官的标注时，
Figure BDA0002851629850000043
G代表了网络的优化目标即18通道的器官分割标注,
Figure BDA0002851629850000044
代表了这个标注上第c个通道第i个像素的值,这里
Figure BDA0002851629850000045
Figure BDA0002851629850000046
S代表了网络的输出结果矩阵，
Figure BDA0002851629850000047
代表了该结果中第c个通道第i个像素的值，这里
Figure BDA0002851629850000048
LWCE为基于权重图的交叉熵损失函数，LWDice为基于权重图的Dice损失函数；
损失函数的具体公式为：
L＝L1+L2。
根据本发明提供的一种基于权重图损失的分阶段神经网络CT器官分割系统，包括：
模块M1：基于多个数据源采集不同器官分割标注的CT数据；
模块M2：对标注后的CT数据进行预处理，得到预处理后的CT数据；
模块M3：对预处理后的CT数据进行数据增强操作，得到数据增强后的CT数据；
模块M4：建立分阶段神经网络模型；
模块M5：数据增强操作后的多个数据源采集的不同器官分割标注的CT数据输入分阶段神经网络模型，对分阶段神经网络模型进行训练直至损失函数达到预设值，得到训练后的分阶段神经网络模型；
模块M6：利用训练后的分阶段神经网络模型进行CT器官分割；
所述分阶段神经网络模型使用两阶段、从易分粗分到难分细分的阶段化的网络结构。
优选地，所述模块M1包括：基于包括体检数据和临床数据采集预设数量不同器官分割标注的CT数据；
所述不同器官分割标注的CT数据包括预设数量含有肺叶分割标注的CT数据、预设数量含有肝、胆、肾、脾的器官分割标注的CT数据以及预设数量含有心脏、主动脉、肋骨、脊椎、气管、皮下脂肪、肝、胆、肾、脾分割标注的CT数据；
所述模块M2包括：对多个数据源采集的不同器官分割标注的CT数据进行包括剪裁、正则化以及统一体素间距预处理，得到预处理后的CT数据；
所述模块M3包括：对预处理后的CT数据进行包括弹性形变、随机缩放、随机翻转以及Gamma增强的数据增强操作，得到数据增强后的CT数据；
所述模块M4中分阶段神经网络模型包括：第一阶段神经网络和第二阶段神经网络；各阶段神经网络使用医学图像分割中的U型的3D UNet网络结构作为基本网络框架并引入了实例正则化及Leaky Relu；
所述各阶段神经网络包括编码部分和解码部分；通过所述编码部分进行下采样；
所述编码部分包括预设数量编码层；每个编码层包括预设数量卷积模块；每个卷积模块包括预设数量卷积层、预设数量实例正则化层和预设数量Leaky Relu层；每个编码层之间通过后一个编码层的第一个卷积层进行下采样
所述解码部分包括预设数量解码层；每个解码层之间由反卷积进行上采样；
相同特征图大小的编码层和解码层由跳跃连接相连传递相应特征。
优选地，所述模块M5包括：
模块M5.1：按照预设输入CT数据数量，基于数据增强操作后的多个数据源采集的不同器官分割标注的CT数据进行平均采样；
模块M5.2：将平均采样后的CT数据输入第一阶段神经网络，得到CT器官初步分割结果；
模块M5.3：将CT器官初步分割结果和平均采样后的CT数据输入第二阶段神经网络，输出CT器官分割结果；
模块M5.4：利用得到的CT器官分割结果优化分阶段神经网络模型，重复触发模块M5.1至模块M5.4执行，直至损失函数达到预设值，得到训练后的分阶段神经网络模型；
所述模块M5中损失函数包括：
结合交叉熵损失函数和Dice损失函数的混合损失函数并基于权重图进行权重调节，得到单一阶段的损失函数，具体公式为：
Figure BDA0002851629850000051
Figure BDA0002851629850000052
单一阶段的损失函数为联合LWCE和LWDice的整体损失函数定义为：
Ll＝LWCE+LWDice
其中，下标l＝1或2，N表示样本总量，C表示通道总数，权重图
Figure BDA0002851629850000053
c表示所在通道，i表示所在图的索引位置，不同通道代表不同的器官；当所在数据集含有器官c的标注或当所在数据集不含有器官c标注但其他通道的位置i含有其他器官的标注时，
Figure BDA0002851629850000061
当所在数据集不含有器官c标注且其他通道的位置i不含有其他器官的标注时，
Figure BDA0002851629850000062
G代表了网络的优化目标即18通道的器官分割标注,
Figure BDA0002851629850000063
代表了这个标注上第c个通道第i个像素的值,这里
Figure BDA0002851629850000064
Figure BDA0002851629850000065
S代表了网络的输出结果矩阵，
Figure BDA0002851629850000066
代表了该结果中第c个通道第i个像素的值，这里
Figure BDA0002851629850000067
LWCE为基于权重图的交叉熵损失函数，LWDice为基于权重图的Dice损失函数；
损失函数的具体公式为：
L＝L1+L2。
与现有技术相比，本发明具有如下的有益效果：
1、本发明采用基于多通道权重图的损失函数，以实现可以同时对多来源异质标签的多器官分割数据集进行训练的器官CT分割方法；
2、本发明还采用了两阶段的网络结构，从第一阶段粗分易分的左右肺，肝脏等器官到第二阶段细分难分的肺叶，胆囊等器官从而提升器官分割的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于权重图损失函数的分阶段神经网络CT器官分割方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
本发明提出一种基于使用多通道权重图以合并多来源异质标签数据集的损失函数及分阶段的网络结构的CT器官分割的框架，具体可分割器官包括肺叶，心脏，主动脉，肋骨，脊椎，气管，皮下脂肪，肝脏，胆囊，肾脏，脾脏。
根据本发明提供的一种基于权重图损失的分阶段神经网络CT器官分割方法，如图1所示，包括：
步骤M1：基于多个数据源采集不同器官分割标注的CT数据；
步骤M2：对标注后的CT数据进行预处理，得到预处理后的CT数据；
步骤M3：对预处理后的CT数据进行数据增强操作，得到数据增强后的CT数据；
步骤M4：建立分阶段神经网络模型；
步骤M5：数据增强操作后的多个数据源采集的不同器官分割标注的CT数据输入分阶段神经网络模型，对分阶段神经网络模型进行训练直至损失函数达到预设值，得到训练后的分阶段神经网络模型；
步骤M6：利用训练后的分阶段神经网络模型进行CT器官分割；
所述分阶段神经网络模型使用两阶段、从易分粗分到难分细分的阶段化的网络结构。
具体地，所述步骤M1包括：基于包括体检数据和临床数据采集471例不同器官分割标注的CT数据；
所述不同器官分割标注的CT数据包括270例含有肺叶分割标注的CT数据、146例含有肝、胆、肾、脾的器官分割标注的CT数据以及55例含有心脏、主动脉、肋骨、脊椎、气管、皮下脂肪、肝、胆、肾、脾分割标注的CT数据。
具体地，所述步骤M2包括：对多个数据源采集的不同器官分割标注的CT数据进行包括剪裁、正则化以及统一体素间距预处理，得到预处理后的CT数据。
设原始数据集为{(Ii,Gi)},其中Ii为第i个CT的图像三维矩阵，Gi为对应的第i个CT器官分割标注的三维矩阵,其中Ii(z,y,x)为坐标为z,y,x的体素。本发明统计了训练数据标签中被标记为肝，胆，肾，脾，心脏，主动脉，肋骨，脊椎，气管，皮下脂肪，肺叶的体素的HU值(即
Figure BDA0002851629850000071
的区域)，并计算其上界值vmax(99.5％的体素HU值在这个值之下)，下界值vmin(99.5％的体素HU值在这个值之上)，平均值vmean，标准差vstd以及其spacing的中位数smedian之后进行了三步数据预处理：
剪裁(Clipping)：
Figure BDA0002851629850000072
正则化(Normalization)
Figure BDA0002851629850000081
统一体素间距(Spacing)
使用三线性插值(trilinear Interpolation)将
Figure BDA0002851629850000082
变换为spacing为smedian的三维矩阵
Figure BDA0002851629850000083
使用线性插值(linear Interpolation)将Gi变换为spacing为smedian的三维矩阵
Figure BDA0002851629850000084
具体地，所述步骤M3包括：对预处理后的CT数据进行包括弹性形变、随机缩放、随机翻转以及Gamma增强的数据增强操作，得到数据增强后的CT数据。
具体地，所述步骤M4中分阶段神经网络模型包括：第一阶段神经网络和第二阶段神经网络；
第一阶段网络输出容易进行分割的右肺，左肺，肝脏，脾脏，体外区域，皮下脂肪等器官
第二阶段网络以CT和第一阶段网络的结果为输入，输出各肺叶、气管、精细的肝脏、胆囊、脾脏、肾脏等器官。这样的结构可以更加合理有效地分割小的精细的器官。比如，有了肝脏的粗分位置信息，就更容易得到肝脏附近的胆囊的信息。
各阶段神经网络使用医学图像分割中的U型的3D UNet网络结构作为基本网络框架并引入了实例正则化及Leaky Relu；
所述各阶段神经网络包括编码部分和解码部分；通过所述编码部分进行下采样；
所述编码部分包括5个编码层；每个编码层包括2个卷积模块；每个卷积模块包括1个卷积层、1个实例正则化层和1个Leaky Relu层；每个编码层之间通过后一个编码层的第一个卷积层进行下采样
所述解码部分包括5个解码层；每个解码层之间由反卷积进行上采样；
相同特征图大小的编码层和解码层由跳跃连接相连传递相应特征。
各阶段网络的具体网络结构请见下表,其中n为ConvD1-1层的输入通道数，第一阶段网络为1，第二阶段网络为2；k为ConvFinal层的输出通道数，第一阶段网络为6，第二阶段网络为18：
Figure BDA0002851629850000085
Figure BDA0002851629850000091
Figure BDA0002851629850000101
具体地，所述步骤M5包括：针对CT分割数据所需数据量较大，数据来源多样，数据集间标签不一致且人工标注耗时耗力成本昂贵的情况，本发明针对三个不同来源的数据集进行平均采样，即在训练神经网络时设定批大小(每次网络更新参数前送入网络的样本量)为4，每个批内保证分别从三个数据源取样一个数据，再随机从所有数据源取样一个数据。接下来对每个样本抽样选取一部分(50％概率随机抽样，50％概率抽取标签中含有前景的部分)做裁剪，使得裁剪后的矩阵大小为64x160x160。再将裁剪后的矩阵进行第三步“数据增强”中所提到的数据增强方法，送入网络进行训练。
步骤M5.1：按照预设输入CT数据数量，基于数据增强操作后的多个数据源采集的不同器官分割标注的CT数据进行平均采样；
步骤M5.2：将平均采样后的CT数据输入第一阶段神经网络，得到CT器官初步分割结果；
步骤M5.3：将CT器官初步分割结果和平均采样后的CT数据输入第二阶段神经网络，输出CT器官分割结果；
步骤M5.4：利用得到的CT器官分割结果优化分阶段神经网络模型，重复执行步骤M5.1至步骤M5.4，直至损失函数达到预设值，得到训练后的分阶段神经网络模型。
具体地，所述步骤M5中损失函数包括：
本发明设计了一个基于权重图的损失函数，其中权重图
Figure BDA0002851629850000111
c为所在通道，i为所在图的索引位置，不同通道代表不同的器官。当所在数据集含有该器官c的标注时，
Figure BDA0002851629850000112
当所在数据集不含有该器官标注且其他通道的位置i含有其他器官的标注时，
Figure BDA0002851629850000113
当所在数据集不含有该器官标注且其他通道的位置i不含有其他器官的标注时，
Figure BDA0002851629850000114
结合交叉熵损失函数和Dice损失函数的混合损失函数并基于权重图进行权重调节，得到单一阶段的损失函数，具体公式为：
Figure BDA0002851629850000115
Figure BDA0002851629850000116
单一阶段的损失函数为联合LWCE和LWDice的整体损失函数定义为：
Ll＝LWCE+LWDice
其中，下标l＝1或2，N表示样本总量，C表示通道总数，权重图
Figure BDA0002851629850000117
c表示所在通道，i表示所在图的索引位置，不同通道代表不同的器官；
Figure BDA0002851629850000118
G代表了网络的优化目标即18通道的器官分割标注,
Figure BDA0002851629850000119
代表了这个标注上第c个通道第i个像素的值,这里
Figure BDA00028516298500001110
S代表了网络的输出结果矩阵，
Figure BDA00028516298500001111
代表了该结果中第c个通道第i个像素的值，这里
Figure BDA00028516298500001112
LWCE为基于权重图的交叉熵损失函数，LWDice为基于权重图的Dice损失函数；
损失函数的具体公式为：
L＝L1+L2。
根据本发明提供的一种基于权重图损失的分阶段神经网络CT器官分割系统，包括：
模块M1：基于多个数据源采集不同器官分割标注的CT数据；
模块M2：对标注后的CT数据进行预处理，得到预处理后的CT数据；
模块M3：对预处理后的CT数据进行数据增强操作，得到数据增强后的CT数据；
模块M4：建立分阶段神经网络模型；
模块M5：数据增强操作后的多个数据源采集的不同器官分割标注的CT数据输入分阶段神经网络模型，对分阶段神经网络模型进行训练直至损失函数达到预设值，得到训练后的分阶段神经网络模型；
模块M6：利用训练后的分阶段神经网络模型进行CT器官分割；
所述分阶段神经网络模型使用两阶段、从易分粗分到难分细分的阶段化的网络结构。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种基于权重图损失的分阶段神经网络CT器官分割方法，其特征在于，包括：
步骤M1：基于多个数据源采集不同器官分割标注的CT数据；
步骤M2：对标注后的CT数据进行预处理，得到预处理后的CT数据；
步骤M3：对预处理后的CT数据进行数据增强操作，得到数据增强后的CT数据；
步骤M4：建立分阶段神经网络模型；
步骤M5：数据增强操作后的多个数据源采集的不同器官分割标注的CT数据输入分阶段神经网络模型，对分阶段神经网络模型进行训练直至损失函数达到预设值，得到训练后的分阶段神经网络模型；
步骤M6：利用训练后的分阶段神经网络模型进行CT器官分割；
所述分阶段神经网络模型使用两阶段、从易分粗分到难分细分的阶段化的网络结构；
所述步骤M2包括：对多个数据源采集的不同器官分割标注的CT数据进行包括剪裁、正则化以及统一体素间距预处理，得到预处理后的CT数据；
所述步骤M3包括：对预处理后的CT数据进行包括弹性形变、随机缩放、随机翻转以及Gamma增强的数据增强操作，得到数据增强后的CT数据；
所述步骤M1包括：基于包括体检数据和临床数据采集预设数量不同器官分割标注的CT数据；
所述不同器官分割标注的CT数据包括预设数量含有肺叶分割标注的CT数据、预设数量含有肝、胆、肾、脾的器官分割标注的CT数据以及预设数量含有心脏、主动脉、肋骨、脊椎、气管、皮下脂肪、肝、胆、肾、脾分割标注的CT数据；
所述步骤M4中分阶段神经网络模型包括：第一阶段神经网络和第二阶段神经网络；各阶段神经网络使用医学图像分割中的U型的3D UNet网络结构作为基本网络框架并引入了实例正则化及Leaky Relu；
所述各阶段神经网络包括编码部分和解码部分；通过所述编码部分进行下采样；
所述编码部分包括预设数量编码层；每个编码层包括预设数量卷积模块；每个卷积模块包括预设数量卷积层、预设数量实例正则化层和预设数量Leaky Relu层；每个编码层之间通过后一个编码层的第一个卷积层进行下采样；
所述解码部分包括预设数量解码层；每个解码层之间由反卷积进行上采样；
相同特征图大小的编码层和解码层由跳跃连接相连传递相应特征；
所述步骤M5中损失函数包括：
结合交叉熵损失函数和Dice损失函数的混合损失函数并基于权重图进行权重调节，得到单一阶段的损失函数，具体公式为：
Figure FDA0003447673500000021
Figure FDA0003447673500000022
单一阶段的损失函数为联合LWCE和LWDice的整体损失函数定义为：
Ll＝LWCE+LWDice
其中，下标l＝1或2；N表示样本总量，C表示通道总数，权重图
Figure FDA0003447673500000023
Figure FDA0003447673500000024
c表示所在通道，i表示所在图的索引位置，不同通道代表不同的器官；当所在数据集含有器官c的标注或当所在数据集不含有器官c标注但其他通道的位置i含有其他器官的标注时，
Figure FDA0003447673500000025
当所在数据集不含有器官c标注且其他通道的位置i不含有其他器官的标注时，
Figure FDA0003447673500000026
G代表了网络的优化目标即18通道的器官分割标注，
Figure FDA0003447673500000027
代表了这个标注上第c个通道第i个像素的值，这里
Figure FDA0003447673500000028
S代表了网络的输出结果矩阵，
Figure FDA0003447673500000029
代表了该结果中第c个通道第i个像素的值，这里
Figure FDA00034476735000000210
Figure FDA00034476735000000211
LWCE为基于权重图的交叉熵损失函数，LWDice为基于权重图的Dice损失函数；
损失函数的具体公式为：
L＝L1+L2。
2.根据权利要求1所述的基于权重图损失的分阶段神经网络CT器官分割方法，其特征在于，所述步骤M5包括：
步骤M5.1：按照预设输入CT数据数量，基于数据增强操作后的多个数据源采集的不同器官分割标注的CT数据进行平均采样；
步骤M5.2：将平均采样后的CT数据输入第一阶段神经网络，得到CT器官初步分割结果；
步骤M5.3：将CT器官初步分割结果和平均采样后的CT数据输入第二阶段神经网络，输出CT器官分割结果；
步骤M5.4：利用得到的CT器官分割结果优化分阶段神经网络模型，重复执行步骤M5.1至步骤M5.4，直至损失函数达到预设值，得到训练后的分阶段神经网络模型。
3.一种基于权重图损失的分阶段神经网络CT器官分割系统，其特征在于，包括：
模块M1：基于多个数据源采集不同器官分割标注的CT数据；
模块M2：对标注后的CT数据进行预处理，得到预处理后的CT数据；
模块M3：对预处理后的CT数据进行数据增强操作，得到数据增强后的CT数据；
模块M4：建立分阶段神经网络模型；
模块M5：数据增强操作后的多个数据源采集的不同器官分割标注的CT数据输入分阶段神经网络模型，对分阶段神经网络模型进行训练直至损失函数达到预设值，得到训练后的分阶段神经网络模型；
模块M6：利用训练后的分阶段神经网络模型进行CT器官分割；
所述分阶段神经网络模型使用两阶段、从易分粗分到难分细分的阶段化的网络结构；
所述模块M1包括：基于包括体检数据和临床数据采集预设数量不同器官分割标注的CT数据；
所述不同器官分割标注的CT数据包括预设数量含有肺叶分割标注的CT数据、预设数量含有肝、胆、肾、脾的器官分割标注的CT数据以及预设数量含有心脏、主动脉、肋骨、脊椎、气管、皮下脂肪、肝、胆、肾、脾分割标注的CT数据；
所述模块M2包括：对多个数据源采集的不同器官分割标注的CT数据进行包括剪裁、正则化以及统一体素间距预处理，得到预处理后的CT数据；
所述模块M3包括：对预处理后的CT数据进行包括弹性形变、随机缩放、随机翻转以及Gamma增强的数据增强操作，得到数据增强后的CT数据；
所述模块M4中分阶段神经网络模型包括：第一阶段神经网络和第二阶段神经网络；各阶段神经网络使用医学图像分割中的U型的3D UNet网络结构作为基本网络框架并引入了实例正则化及Leaky Relu；
所述各阶段神经网络包括编码部分和解码部分；通过所述编码部分进行下采样；
所述编码部分包括预设数量编码层；每个编码层包括预设数量卷积模块；每个卷积模块包括预设数量卷积层、预设数量实例正则化层和预设数量Leaky Relu层；每个编码层之间通过后一个编码层的第一个卷积层进行下采样；
所述解码部分包括预设数量解码层；每个解码层之间由反卷积进行上采样；
相同特征图大小的编码层和解码层由跳跃连接相连传递相应特征；
所述模块M5中损失函数包括：
结合交叉熵损失函数和Dice损失函数的混合损失函数并基于权重图进行权重调节，得到单一阶段的损失函数，具体公式为：
Figure FDA0003447673500000041
Figure FDA0003447673500000042
单一阶段的损失函数为联合LWCE和LWDice的整体损失函数定义为：
Ll＝LWCE+LWDice
其中，下标l＝l或2；N表示样本总量，C表示通道总数，权重图
Figure FDA0003447673500000043
c表示所在通道，i表示所在图的索引位置，不同通道代表不同的器官；当所在数据集含有器官c的标注或当所在数据集不含有器官c标注但其他通道的位置i含有其他器官的标注时，
Figure FDA0003447673500000044
当所在数据集不含有器官c标注且其他通道的位置i不含有其他器官的标注时，
Figure FDA0003447673500000045
G代表了网络的优化目标即18通道的器官分割标注，
Figure FDA0003447673500000046
代表了这个标注上第c个通道第i个像素的值，这里
Figure FDA0003447673500000047
S代表了网络的输出结果矩阵，
Figure FDA0003447673500000048
代表了该结果中第c个通道第i个像素的值，这里
Figure FDA0003447673500000049
LWCE为基于权重图的交叉熵损失函数，LWDice为基于权重图的Dice损失函数；
损失函数的具体公式为：
L＝L1+L2。
4.根据权利要求3所述的基于权重图损失的分阶段神经网络CT器官分割系统，其特征在于，所述模块M5包括：
模块M5.1：按照预设输入CT数据数量，基于数据增强操作后的多个数据源采集的不同器官分割标注的CT数据进行平均采样；
模块M5.2：将平均采样后的CT数据输入第一阶段神经网络，得到CT器官初步分割结果；
模块M5.3：将CT器官初步分割结果和平均采样后的CT数据输入第二阶段神经网络，输出CT器官分割结果；
模块M5.4：利用得到的CT器官分割结果优化分阶段神经网络模型，重复触发模块M5.1至模块M5.4执行，直至损失函数达到预设值，得到训练后的分阶段神经网络模型。
CN202011533274.9A 2020-12-22 2020-12-22 基于权重图损失的分阶段神经网络ct器官分割方法及系统 Active CN112634284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011533274.9A CN112634284B (zh) 2020-12-22 2020-12-22 基于权重图损失的分阶段神经网络ct器官分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011533274.9A CN112634284B (zh) 2020-12-22 2020-12-22 基于权重图损失的分阶段神经网络ct器官分割方法及系统

Publications (2)

Publication Number Publication Date
CN112634284A CN112634284A (zh) 2021-04-09
CN112634284B true CN112634284B (zh) 2022-03-25

Family

ID=75321400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011533274.9A Active CN112634284B (zh) 2020-12-22 2020-12-22 基于权重图损失的分阶段神经网络ct器官分割方法及系统

Country Status (1)

Country Link
CN (1) CN112634284B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700448B (zh) * 2021-03-24 2021-06-08 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111260667A (zh) * 2020-01-20 2020-06-09 浙江大学 一种结合空间引导的神经纤维瘤分割方法
CN111950346A (zh) * 2020-06-28 2020-11-17 中国电子科技网络信息安全有限公司 一种基于生成式对抗网络的行人检测数据扩充方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665456B (zh) * 2018-05-15 2022-01-28 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN109448006B (zh) * 2018-11-01 2022-01-28 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN110852393A (zh) * 2019-11-14 2020-02-28 吉林高分遥感应用研究院有限公司 一种遥感图像的分割方法及系统
CN111260705B (zh) * 2020-01-13 2022-03-15 武汉大学 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111260667A (zh) * 2020-01-20 2020-06-09 浙江大学 一种结合空间引导的神经纤维瘤分割方法
CN111950346A (zh) * 2020-06-28 2020-11-17 中国电子科技网络信息安全有限公司 一种基于生成式对抗网络的行人检测数据扩充方法

Also Published As

Publication number Publication date
CN112634284A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN109949309A (zh) 一种基于深度学习的肝脏ct图像分割方法
CN109658419B (zh) 一种医学图像中小器官的分割方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN109063710A (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112785592A (zh) 基于多重扩张路径的医学影像深度分割网络
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN109801268B (zh) 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法
CN105913431A (zh) 低分辨率医学图像的多图谱分割方法
CN112651929B (zh) 基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统
CN113450328A (zh) 基于改进神经网络的医学图像关键点检测方法及系统
CN116309651B (zh) 一种基于单图深度学习的内窥镜图像分割方法
CN110738660A (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN112634284B (zh) 基于权重图损失的分阶段神经网络ct器官分割方法及系统
CN111127487A (zh) 一种实时多组织医学图像的分割方法
CN116468732A (zh) 基于深度学习的肺部ct影像分割方法及成像方法
CN109215035A (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN114862800A (zh) 基于几何一致性约束的半监督医学图像分割方法
CN114529562A (zh) 一种基于辅助学习任务与重分割约束的医学图像分割方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113256657A (zh) 一种高效医学图像分割方法及系统、终端、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant