CN117541798B - 一种医学影像肿瘤分割模型训练方法、装置及分割方法 - Google Patents

一种医学影像肿瘤分割模型训练方法、装置及分割方法 Download PDF

Info

Publication number
CN117541798B
CN117541798B CN202410026087.3A CN202410026087A CN117541798B CN 117541798 B CN117541798 B CN 117541798B CN 202410026087 A CN202410026087 A CN 202410026087A CN 117541798 B CN117541798 B CN 117541798B
Authority
CN
China
Prior art keywords
medical image
acquiring
soft
tag
view angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410026087.3A
Other languages
English (en)
Other versions
CN117541798A (zh
Inventor
徐雅莉
孙强
王萱
杜顺达
王立龙
王潚崧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Shanghai AI Innovation Center
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences, Shanghai AI Innovation Center filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN202410026087.3A priority Critical patent/CN117541798B/zh
Publication of CN117541798A publication Critical patent/CN117541798A/zh
Application granted granted Critical
Publication of CN117541798B publication Critical patent/CN117541798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种医学影像肿瘤分割模型训练方法、装置及分割方法，涉及医学图像处理技术领域。所述医学影像肿瘤分割模型训练方法包括：获取数据视角的软标签；获取模型视角的软标签；根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数；获取经过预训练的医学影像肿瘤分割模型；根据所述联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练。本申请的医学影像肿瘤分割模型训练方法通过整合数据视角的软标签和模型视角的软标签，两者以互补的观点关注标签不确定性。

Description

一种医学影像肿瘤分割模型训练方法、装置及分割方法
技术领域
本申请医学图像处理技术领域，具体涉及一种医学影像肿瘤分割模型训练方法、医学影像肿瘤分割模型训练装置以及医学影像肿瘤分割方法。
背景技术
近些年来，一些医学影像肿瘤分割数据集的公开促进了深度学习方法在肿瘤分割领域的应用和进步。这些数据集（如LiTS 2017、KiTS 2019、VS_Seg等）涵盖了不同的身体器官（如肝脏、肾脏和脑部）和成像模态（如CT和MRI）。许多精心设计的深度神经网络，通常采用UNet-like架构的卷积神经网络（CNN）和Transformer的编码器，在肿瘤分割任务中取得了较好的表现。深度学习模型中的监督学习过程依赖于对肿瘤区域进行像素级标注，并将其视为优化目标。然而，这些标签往往存在偏差，引入标注过程中的不确定性。由于医学图像中存在低对比度、噪声干扰，肿瘤与周围组织之间的边界通常不明显，这给标注者在标注过程中准确识别真实边界提出了挑战。此外，多个标注者之间的分歧导致观察者之间的差异，进一步增加了这些公开数据集的标签真实性的不确定性。在模型训练过程中，从不同角度考虑标签不确定性将是有价值的，在医学图像分割领域尚未对此进行彻底研究。
标签平滑（Label Smoothing，LS）是深度学习中广泛应用的一种技术，用于提高模型的泛化性能，尤其在分类任务中。标签平滑的基本概念是将目标标签的硬概率分布平滑，同时在所有其他类别中分配一个均匀的先验概率分布。然而，LS 在语义分割中存在限制，因为它没有考虑到相邻像素之间的空间关系，而这对于准确的分割是至关重要的。为了克服这个弱点，空间变异标签平滑（Spatial Variation Label Smoothing，SVLS）旨在捕捉语义分割任务中存在的结构不确定性。SVLS通过对注释遮罩进行简单的高斯平滑操作实现。一些研究解决了观察者之间的差异性，利用自学习、标签融合和空间混淆矩阵估计等技术，从多个标注者的注释中获得最佳的软标签。然而，这种方法通常需要访问每个标注者的注释，而这在大多数公共数据集中往往是不可用的。
知识蒸馏（Knowledge Distillation，KD） 已广泛应用于各种应用中的模型压缩，包括语义分割\cite{liu2019structured, he2019knowledge}。传统的知识蒸馏方法通过软目标训练将知识从较大的教师模型传递给较小的学生模型。然而，这种方法通常需要额外的教师网络，在训练过程中可能导致高计算成本。最近，自蒸馏（Self-Distillation）出现作为一种新的知识蒸馏方案，它将模型自身作为教师模型。这种方法的优点是训练过程中不需要额外的教师网络，从而降低了计算成本。Park等人提出了一种使用自蒸馏实现基于像素自适应标签平滑的语义分割模型训练方法，计算过程较为复杂，很难从自然场景的图像分割任务迁移到医学图像分割上来。
因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明的目的在于提供一种医学影像肿瘤分割模型训练方法来至少解决上述的一个技术问题。
本发明的一个方面，提供一种医学影像肿瘤分割模型训练方法，所述医学影像肿瘤分割模型训练方法包括：
获取数据视角的软标签；
获取模型视角的软标签；
根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数；
获取经过预训练的医学影像肿瘤分割模型；
根据所述联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练。
可选地，所述获取经过预训练的医学影像肿瘤分割模型包括：
获取医学影像肿瘤分割模型；
根据所述数据视角的软标签获取数据视角损失函数；
通过所述数据视角损失函数对所述医学影像肿瘤分割模型进行预训练，从而获取经过预训练的医学影像肿瘤分割模型。
可选地，所述获取数据视角的软标签包括：
获取待使用3D医学图像的空间平滑标签；
根据所述空间平滑标签获取中心距离场；
根据所述空间平滑标签、中心距离场获取强度相似度图；
对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签。
可选地，所述获取待使用3D医学图像的空间平滑标签包括：
获取待使用3D医学图像以及该待使用3D医学图像所标记的肿瘤区域掩膜；
通过三维高斯核对Y进行卷积，从而计算出空间平滑标签。
可选地，所述根据所述空间平滑标签获取中心距离场包括：
获取所述空间平滑标签中的每个单独的肿瘤区域；
根据所述每个单独的肿瘤区域获取中心距离场。
可选地，所述根据所述空间平滑标签、中心距离场获取强度相似度图包括：
分别获取待使用3D医学图像的每个像素点领域的平均强度；
获取每个单独的肿瘤区域的平均强度；
获取每个像素点领域的平均强度分别与每个单独的肿瘤区域的平均强度的相似度，从而获取强度相似度图。
可选地，所述对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签采用如下公式进行融合：
；其中，
表示数据视角的软标签、/>表示空间平滑标签、/>表示中心距离场、/>表示强度相似度图、/>是一个0到1的预设参数。
可选地，所述根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数采用如下公式获取：
；其中，
表示联合加权损失函数、/>表示权重、λ1、 λ2表示两个0到1之间的预设参数、/>表示平均Dice损失、/>表示数据视角的软标签、/>表示切片级预测、/>表示对于样本Y计算的Dice loss。
本申请还提供了一种医学影像肿瘤分割模型训练装置，所述医学影像肿瘤分割模型训练装置包括：
数据视角的软标签获取模块，所述数据视角的软标签获取模块用于获取数据视角的软标签；
模型视角的软标签获取模块，所述模型视角的软标签获取模块用于获取模型视角的软标签；
联合加权损失函数获取模块，所述联合加权损失函数获取模块用于根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数；
医学影像肿瘤分割模型获取模块，所述医学影像肿瘤分割模型获取模块用于获取经过预训练的医学影像肿瘤分割模型；
训练模块，所述训练模块用于根据所述联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练。
本申请还提供了一种医学影像肿瘤分割方法，所述医学影像肿瘤分割方法包括：
获取待分割图像；
获取经过如上所述的医学影像肿瘤分割模型训练方法进行训练的医学影像肿瘤分割模型；
将所述待分割图像输入至所述医学影像肿瘤分割模型，从而获取分割结果。
有益效果
本申请的医学影像肿瘤分割模型训练方法通过整合数据视角的软标签和模型视角的软标签，两者以互补的观点关注标签不确定性。
附图说明
图1是本申请一实施例的医学影像肿瘤分割模型训练方法的流程示意图。
图2是用于实现图1所示的医学影像肿瘤分割模型训练方法的系统设备示意图。
图3是本申请一实施例的医学影像肿瘤分割模型训练方法的效果对比示意图。
图4是各个网络的性能比较的效果对比示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
图1是本申请一实施例的医学影像肿瘤分割模型训练方法的流程示意图。
如图1所示的医学影像肿瘤分割模型训练方法包括：
步骤1：获取数据视角的软标签；
步骤2：获取模型视角的软标签；
步骤3：根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数；
步骤4：获取经过预训练的医学影像肿瘤分割模型；
步骤5：根据所述联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练。
本申请的医学影像肿瘤分割模型训练方法具有如下优点：
1、通过整合数据视角的软标签和模型视角的软标签，两者以互补的观点关注标签不确定性。
2、在数据方面，我们考虑来自图像和人工标签的形状和强度特征。通过生成具有不确定性分布的软标签，我们能够利用数据中存在的信息，更好地学习分割模型。
3、在模型方面，在训练过程中，模型通过从自身蒸馏知识来迭代地调整标签的不确定性，而不是依赖于单独的教师模型。此外，根据上一轮模型预测计算自适应权重，并将其分配给训练样本，在损失函数中给予困难样本更大的权重。通过将上述模块融合到联合学习过程，从图像、标注和模型的双重视角挖掘的信息中受益，以达到显著提高肿瘤分割性能的目的。
在本实施例中，所述获取经过预训练的医学影像肿瘤分割模型包括：
获取医学影像肿瘤分割模型；
根据所述数据视角的软标签获取数据视角损失函数；
通过所述数据视角损失函数对所述医学影像肿瘤分割模型进行预训练，从而获取经过预训练的医学影像肿瘤分割模型。
在本实施例中，所述获取数据视角的软标签包括：
获取待使用3D医学图像的空间平滑标签；
根据所述空间平滑标签获取中心距离场；
根据所述空间平滑标签、中心距离场获取强度相似度图；
对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签。
在本实施例中，所述获取待使用3D医学图像的空间平滑标签包括：
获取待使用3D医学图像以及该待使用3D医学图像所标记的肿瘤区域掩膜；
通过三维高斯核对Y进行卷积，从而计算出空间平滑标签。
具体而言，对于任意一个3D医学图像 I 及其标记的肿瘤区域掩膜Y，我们使用一个三维高斯核对Y进行卷积，从而计算出空间平滑标签 (spatial smooth label, SSL)，公式为：
(1)。
在本实施例中， SSL表示空间平滑标签，表示任意一个像素点的x轴坐标位置、y轴坐标位置以及z轴坐标位置；Y表示肿瘤区域掩膜；G表示高斯核，k是核的尺寸，μ表示高斯核的均值、σ表示高斯核的方差。
SSL在肿瘤区域内保持较高的置信度，并在肿瘤掩膜边缘周围的窄带中显示离散的不确定性。
在本实施例中，所述根据所述空间平滑标签获取中心距离场包括：
获取所述空间平滑标签中的每个单独的肿瘤区域；
根据所述每个单独的肿瘤区域获取中心距离场。
具体而言，我们从SSL中提取每个单独的肿瘤区域，并计算出中心距离场（centerdistance field, CDF）：
(2)
在本实施例中，表示中心距离场、这个公式/>代表欧式距离，/>是肿瘤区域/>的中心点，/>是肿瘤内像素到中心点的最大距离，/>在本公式中是一个预设参数，实际操作设为0.2。
在本实施例中，所述根据所述空间平滑标签、中心距离场获取强度相似度图包括：
分别获取待使用3D医学图像的每个像素点领域的平均强度；
获取每个单独的肿瘤区域的平均强度；
获取每个像素点领域的平均强度分别与每个单独的肿瘤区域的平均强度的相似度，从而获取强度相似度图。
具体而言，我们衡量每个像素点(5,5,3)邻域的平均强度与肿瘤区域平均强度的相似度，在本实施例中，(5,5,3)表示任意一个像素点的领域的范围，即对于任意一个像素点H来说，其在x方向上5个像素点之内、在y方向上5个像素点之内，在z方向上3个像素点之内均认为是领域，较低的相似度意味着更低的置信度，则可以按以下方式计算强度相似度图 (intensity similarity map, ISM)：
(3)。
在本实施例中，ISM表示强度相似度图，表示数学指数函数exponential、/>表示肿瘤区域/>平均强度，I（x,y,z）表示每个像素点(5,5,3)邻域的平均强度，/>是一个预设参数，实际操作中设为16。
在本实施例中，所述对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签采用如下公式进行融合：
；其中，
表示数据视角的软标签、/>表示空间平滑标签、/>表示中心距离场、/>表示强度相似度图。
具体而言，在第t次训练的过程中，基于数据视角知识生成的软标签 (data-driven soft label, DSL) 通过将SSL、CDF和ISM进行融合来生成，具体操作如下：
(4)
其中是一个0到1的预设参数（本专利实际操作中设为0.9）。SSL限制了具有平滑边界的每个肿瘤区域。通过生成软标签的过程，将CDF和ISM中包含的信息集成起来，为肿瘤区域内的每个像素提供准确的标签不确定度。随着训练时期数量的增加，融合软标签的总体不确定性逐渐降低，并最终接近于SSL。
在本实施例中，获取经过预训练的医学影像肿瘤分割模型包括：
获取医学影像肿瘤分割模型；
根据所述数据视角的软标签获取数据视角损失函数；
通过所述数据视角损失函数对所述医学影像肿瘤分割模型进行预训练，从而获取经过预训练的医学影像肿瘤分割模型。
具体而言，我们分别为每个待使用3D医学图像I进行如下操作：
将待使用3D医学图像I切分成连续的三层切片，并将它们作为三个通道输入给分割模型θ。中间切片的标签作为学习目标。在初始训练阶段，我们采用第t轮的切片级预测与其对应的切片级标签以及DSL之间的平均Dice损失，具体如下所示：
(5)
(6)；其中，
表示平均Dice损失、N表示某一个训练样本图片像素总数，/>表示第i个像素的实际标签（0或1）、/>表示第i个像素的模型预测分值（0到1之间的数）、/>表示一个很小的正实数（一般设为0.001，防止分母为0）、/>表示对于样本Y计算的Dice loss、/>表示第t轮的切片级预测。
具体而言，从第轮训练开始，在每一次训练开始前，我们使用上一轮次训练得到的模型/>为每个训练样本生成出预测结果/>，并根据以下公式获得模型视角的软标签(model-driven soft label, MSL):
(7)
其中，表示模型视角的软标签、/>表示常数、/>示每个训练样本生成出预测结果、SSL表示空间平滑标签。
通过简单的线性变换将软标签的值范围调整在和1之间，然后将其与 SSL 相乘，以确保其保持在所需的目标区域内。在MSL中，前一轮的模型在准确预测方面遇到困难的肿瘤区域往往表现出相对较高的不确定性。
在即将到来的训练轮次中，那些与金标准存在较大差异的样本将承载更重要的权重。为了达到这个目的，我们根据以下方法确定训练图像切片级及其所属的三维图像的权重：
(8)
(9)；其中，
为权重；/>为权重的方差。
对于体积级样本权重的计算，所使用的预测和标签是它们的三维版本，并且三维预测映射是通过堆叠预测的二维切片构建的。最终的自适应训练样本权重是通过计算切片级和体积级权重的几何平均值得到的。最后，在第二个训练阶段使用的联合加权损失函数计算如下：
(10)；其中，
表示联合加权损失函数、/>表示权重、λ1、 λ2表示两个0到1之间的预设参数、/>表示平均Dice损失、/>表示数据视角的软标签、/>表示切片级预测、/>表示对于样本Y计算的Dice loss。
下面以举例的方式对本申请进行进一步详细阐述，可以理解的是，该举例并不构成对本申请的任何限制。
在本举例中，假设我们具有100张待使用3D医学图像，其中70张作为训练集，30张作为测试集。
在本实施例中，本申请的医学影像肿瘤分割模型采用UNet架构，由编码器encoder和解码器decoder组成，实验中我们encoder尝试了CNN和Transformer。我们生成的软标签参与模型训练的loss计算，与具体使用哪种网络结构关系不大。
在本实施例中，首先对每张3D医学图像进行如下操作：
获取待使用3D医学图像的空间平滑标签；
根据所述空间平滑标签获取中心距离场；
根据所述空间平滑标签、中心距离场获取强度相似度图。
采用这种方式，就可以获取每张照片的信息、CDF信息、/>信息。
在获取到这些信息后，通过训练集对医学影像肿瘤分割模型进行多轮测试，在开始测试时，通过上述的信息、CDF信息、/>信息获取数据视角的软标签，继而通过数据视角的软标签来获取平均Dice损失进行训练。
当训练到第后，即/>+1轮时，根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数，并通过联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练。
在本实施例中，本申请使用的数据集分别是CT和MRI影像模态下的LiTS、KiTS和VS_Seg数据集。LiTS数据集包含131个增强腹部CT扫描图像，对应有标注的肝脏和肿瘤掩模。KiTS包含210个CT扫描图像，有注释的肾脏和肾脏肿瘤分割标签。VS_Seg数据集包括来自242名患有前庭神经鞘瘤的患者的T2加权脑MRI图像。每个数据集都随机分成训练、验证和测试子集，比例为7：1：2。
实验结果
我们在LiTS、KiTS和VS_Seg数据集的测试集上对比了四种常用的图像分割网络的实验结果。所涉及的网络有UNet[3]（使用EfficientNet-b5(Eff-b5)编码器）、UNet++[4]（使用Eff-b5编码器）、UNet（使用MiT-b3[19]编码器）和TransUNet[7]（使用Resnet50-ViT-base(R50-ViT)编码器）。我们还在对比中包括了两种现有的标签平滑方法，也就是LS[9]和SVLS[10]，以及采用了MiT-b3为基础的UNet的提出的DPLS方法。详细的实验结果见图3。
可以看出，我们的DPLS方法在Dice、IoU和HD95三个评估指标下对于所有三个肿瘤分割任务始终优于对比的基线和以前的基于软标签的方法。特别是在KiTS数据集上，相比于UNet基线，提出的DPLS方法使平均Dice得分从73.12%增加到80.26%，增幅超过7%，同时相比于软标签方法的得分，提高了约2-3%。类似地，在HD95分数方面，与先前的软标签方法相比，DPLS在KiTS和VS_Seg数据集上对分割结果的表面距离有2-4mm的改善。
此外，在LiTS数据集上，我们通过将提出的DPLS与上述四个基线网络集成，并将其与两种标签平滑方法进行比较，对DPLS进行了全面评估。如Table 2所示，明显可以看出，无论网络架构的差异如何，在所有评估指标上，DPLS都优于基线和其他标签平滑方法，实现了更好和更稳定的性能。具体而言，DPLS在所有网络中都达到了最高的Dice和IoU分数，以及在其中三个网络中的最低HD95值。
参见图4，在LiTS数据集上，我们对基线网络、LS、SVLS和DPLS与四个网络相结合的性能进行了定量比较。‘Average’行报告了每种方法在所有四个网络上的平均性能。
本申请的医学影像肿瘤分割模型训练方法对医学图像分割中标签不确定性的问题提供了深入的见解，并提出了一种创新的策略，通过同时考虑数据视角和模型视角双重视角的不确定性引导来生成软标签。
本申请提出了一个详细的联合学习过程，包括标签不确定性引导和自适应样本再加权。值得注意的是，我们的方法相对独立于模型结构，使其更容易作为附加组件使用。
参见图4，本申请在LiTS、KiTS和VS_Seg数据集上进行的实验证明，整合我们的方法可以在基于CNN和最新的基于Transformer的分割网络上取得更好的肿瘤分割性能。我们提出的方法还明显优于两种先前的标签平滑方法。
本申请还提供了一种医学影像肿瘤分割模型训练装置，所述医学影像肿瘤分割模型训练装置包括数据视角的软标签获取模块、模型视角的软标签获取模块、联合加权损失函数获取模块、医学影像肿瘤分割模型获取模块以及训练模块，其中，
数据视角的软标签获取模块用于获取数据视角的软标签；
模型视角的软标签获取模块用于获取模型视角的软标签；
联合加权损失函数获取模块用于根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数；
医学影像肿瘤分割模型获取模块用于获取经过预训练的医学影像肿瘤分割模型；
训练模块用于根据所述联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练。
本申请还提供了一种医学影像肿瘤分割方法，所述医学影像肿瘤分割方法包括：
获取待分割图像；
获取经过如上所述的医学影像肿瘤分割模型训练方法进行训练的医学影像肿瘤分割模型；
将所述待分割图像输入至所述医学影像肿瘤分割模型，从而获取分割结果。
需要说明的是，前述对方法实施例的解释说明也适用于本实施例的系统，此处不再赘述。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的医学影像肿瘤分割模型训练方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的医学影像肿瘤分割模型训练方法。
图2是能够实现根据本申请一个实施例提供的医学影像肿瘤分割模型训练方法的电子设备的示例性结构图。
如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的医学影像肿瘤分割模型训练方法。
在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的医学影像肿瘤分割模型训练方法。
在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数据多功能光盘（DVD）或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (3)

1.一种医学影像肿瘤分割模型训练方法，其特征在于，所述医学影像肿瘤分割模型训练方法包括：
获取数据视角的软标签；
获取模型视角的软标签；
根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数；
获取经过预训练的医学影像肿瘤分割模型；
根据所述联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练；
所述获取经过预训练的医学影像肿瘤分割模型包括：
获取医学影像肿瘤分割模型；
根据所述数据视角的软标签获取数据视角损失函数；
通过所述数据视角损失函数对所述医学影像肿瘤分割模型进行预训练，从而获取经过预训练的医学影像肿瘤分割模型；
所述获取数据视角的软标签包括：
获取待使用3D医学图像的空间平滑标签；
根据所述空间平滑标签获取中心距离场；
根据所述空间平滑标签、中心距离场获取强度相似度图；
对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签；
所述获取待使用3D医学图像的空间平滑标签包括：
获取待使用3D医学图像以及该待使用3D医学图像所标记的肿瘤区域掩膜；
通过三维高斯核对Y进行卷积，从而计算出空间平滑标签；其中，Y代表一个3D医学图像对应人工标注的肿瘤区域掩膜；
所述根据所述空间平滑标签获取中心距离场包括：
获取所述空间平滑标签中的每个单独的肿瘤区域；
根据所述每个单独的肿瘤区域获取中心距离场；
所述根据所述空间平滑标签、中心距离场获取强度相似度图包括：
分别获取待使用3D医学图像的每个像素点领域的平均强度；
获取每个单独的肿瘤区域的平均强度；
获取每个像素点领域的平均强度分别与每个单独的肿瘤区域的平均强度的相似度，从而获取强度相似度图；
所述对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签采用如下公式进行融合：
；其中，
表示数据视角的软标签、/>表示空间平滑标签、/>表示中心距离场、/>表示强度相似度图、/>是一个0到1的预设参数；
所述根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数采用如下公式获取：
；其中，
表示联合加权损失函数、/>表示权重、λ1、 λ2表示两个0到1之间的预设参数、/>表示平均Dice损失、/>表示数据视角的软标签、/>表示切片级预测、/>表示对于Y计算的Dice loss、/>表示模型视角的软标签。
2.一种医学影像肿瘤分割模型训练装置，其特征在于，所述医学影像肿瘤分割模型训练装置包括：
数据视角的软标签获取模块，所述数据视角的软标签获取模块用于获取数据视角的软标签；
模型视角的软标签获取模块，所述模型视角的软标签获取模块用于获取模型视角的软标签；
联合加权损失函数获取模块，所述联合加权损失函数获取模块用于根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数；
医学影像肿瘤分割模型获取模块，所述医学影像肿瘤分割模型获取模块用于获取经过预训练的医学影像肿瘤分割模型；
训练模块，所述训练模块用于根据所述联合加权损失函数对经过预训练的医学影像肿瘤分割模型进行训练；
所述获取经过预训练的医学影像肿瘤分割模型包括：
获取医学影像肿瘤分割模型；
根据所述数据视角的软标签获取数据视角损失函数；
通过所述数据视角损失函数对所述医学影像肿瘤分割模型进行预训练，从而获取经过预训练的医学影像肿瘤分割模型；
所述获取数据视角的软标签包括：
获取待使用3D医学图像的空间平滑标签；
根据所述空间平滑标签获取中心距离场；
根据所述空间平滑标签、中心距离场获取强度相似度图；
对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签；
所述获取待使用3D医学图像的空间平滑标签包括：
获取待使用3D医学图像以及该待使用3D医学图像所标记的肿瘤区域掩膜；
通过三维高斯核对Y进行卷积，从而计算出空间平滑标签；其中，Y代表一个3D医学图像对应人工标注的肿瘤区域掩膜；
所述根据所述空间平滑标签获取中心距离场包括：
获取所述空间平滑标签中的每个单独的肿瘤区域；
根据所述每个单独的肿瘤区域获取中心距离场；
所述根据所述空间平滑标签、中心距离场获取强度相似度图包括：
分别获取待使用3D医学图像的每个像素点领域的平均强度；
获取每个单独的肿瘤区域的平均强度；
获取每个像素点领域的平均强度分别与每个单独的肿瘤区域的平均强度的相似度，从而获取强度相似度图；
所述对所述空间平滑标签、中心距离场以及强度相似度图进行融合从而获取数据视角的软标签采用如下公式进行融合：
；其中，
表示数据视角的软标签、/>表示空间平滑标签、/>表示中心距离场、/>表示强度相似度图、/>是一个0到1的预设参数；
所述根据所述模型视角的软标签以及所述数据视角的软标签获取联合加权损失函数采用如下公式获取：
；其中，
表示联合加权损失函数、/> λ1、 λ2表示两个0到1之间的预设参数、/>表示平均Dice损失、/>表示数据视角的软标签、/>表示切片级预测、/>表示对于Y计算的Diceloss、/>表示模型视角的软标签。
3.一种医学影像肿瘤分割方法，其特征在于，所述医学影像肿瘤分割方法包括：
获取待分割图像；
获取经过如权利要求1所述的医学影像肿瘤分割模型训练方法进行训练的医学影像肿瘤分割模型；
将所述待分割图像输入至所述医学影像肿瘤分割模型，从而获取分割结果。
CN202410026087.3A 2024-01-09 2024-01-09 一种医学影像肿瘤分割模型训练方法、装置及分割方法 Active CN117541798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410026087.3A CN117541798B (zh) 2024-01-09 2024-01-09 一种医学影像肿瘤分割模型训练方法、装置及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410026087.3A CN117541798B (zh) 2024-01-09 2024-01-09 一种医学影像肿瘤分割模型训练方法、装置及分割方法

Publications (2)

Publication Number Publication Date
CN117541798A CN117541798A (zh) 2024-02-09
CN117541798B true CN117541798B (zh) 2024-03-29

Family

ID=89796230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410026087.3A Active CN117541798B (zh) 2024-01-09 2024-01-09 一种医学影像肿瘤分割模型训练方法、装置及分割方法

Country Status (1)

Country Link
CN (1) CN117541798B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507378A (zh) * 2020-03-24 2020-08-07 华为技术有限公司 训练图像处理模型的方法和装置
CN113706564A (zh) * 2021-09-23 2021-11-26 苏州大学 基于多种监督方式的睑板腺分割网络的训练方法及装置
CN115641443A (zh) * 2022-12-08 2023-01-24 北京鹰瞳科技发展股份有限公司 训练图像分割网络模型的方法、处理图像的方法及产品
CN115797701A (zh) * 2022-12-22 2023-03-14 重庆长安汽车股份有限公司 目标分类方法、装置、电子设备及存储介质
CN115861181A (zh) * 2022-11-09 2023-03-28 复旦大学 一种面向ct影像的肿瘤分割方法及其系统
CN116883432A (zh) * 2023-07-24 2023-10-13 北京理工大学 病灶图像的分割方法、装置、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220358658A1 (en) * 2021-05-06 2022-11-10 Micron Technology, Inc. Semi Supervised Training from Coarse Labels of Image Segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507378A (zh) * 2020-03-24 2020-08-07 华为技术有限公司 训练图像处理模型的方法和装置
CN113706564A (zh) * 2021-09-23 2021-11-26 苏州大学 基于多种监督方式的睑板腺分割网络的训练方法及装置
CN115861181A (zh) * 2022-11-09 2023-03-28 复旦大学 一种面向ct影像的肿瘤分割方法及其系统
CN115641443A (zh) * 2022-12-08 2023-01-24 北京鹰瞳科技发展股份有限公司 训练图像分割网络模型的方法、处理图像的方法及产品
CN115797701A (zh) * 2022-12-22 2023-03-14 重庆长安汽车股份有限公司 目标分类方法、装置、电子设备及存储介质
CN116883432A (zh) * 2023-07-24 2023-10-13 北京理工大学 病灶图像的分割方法、装置、电子设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCL-Net: Structured Collaborative Learning for PET/CT Based Tumor Segmentation;Meng Wang et al.;《IEEE Journal of Biomedical and Health Informatics》;20221205;第27卷(第2期);1048 - 1059 *
脑肿瘤诊断分割及生存周期预测方法研究;李天波;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20220115(第01期);1-68 *

Also Published As

Publication number Publication date
CN117541798A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
Cornia et al. Predicting human eye fixations via an lstm-based saliency attentive model
Dumitru et al. Using DUCK-Net for polyp image segmentation
Rafique et al. Deep fake detection and classification using error-level analysis and deep learning
WO2018176281A1 (zh) 一种素描图像的生成方法及装置
Cheng et al. I-secret: Importance-guided fundus image enhancement via semi-supervised contrastive constraining
Xu et al. DC-Net: Dual context network for 2D medical image segmentation
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
Bae et al. Deep multi-view stereo for dense 3D reconstruction from monocular endoscopic video
Lu et al. Is image-to-image translation the panacea for multimodal image registration? A comparative study
CN114549394A (zh) 一种基于深度学习的肿瘤病灶区域语义分割方法及系统
Hu et al. Domain-adaptive 3d medical image synthesis: An efficient unsupervised approach
Li et al. Retinal vessel segmentation by using AFNet
CN112633260B (zh) 视频动作分类方法、装置、可读存储介质及设备
Quinton et al. Navigating the nuances: comparative analysis and hyperparameter optimisation of neural architectures on contrast-enhanced MRI for liver and liver tumour segmentation
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN116912924B (zh) 一种目标图像识别方法和装置
Bruch et al. Synthesis of large scale 3D microscopic images of 3D cell cultures for training and benchmarking
CN117541798B (zh) 一种医学影像肿瘤分割模型训练方法、装置及分割方法
CN116912923A (zh) 一种图像识别模型训练方法和装置
Huang et al. Deep Multimodal Fusion Autoencoder for Saliency Prediction of RGB‐D Images
CN113378715B (zh) 一种基于彩色人脸图像的活体检测方法及相关设备
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
Hossain et al. The segmentation of nuclei from histopathology images with synthetic data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant