CN117036386A - 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法 - Google Patents

一种使用扩散模型生成数据的颈椎mri图像自监督分割方法 Download PDF

Info

Publication number
CN117036386A
CN117036386A CN202311188494.6A CN202311188494A CN117036386A CN 117036386 A CN117036386 A CN 117036386A CN 202311188494 A CN202311188494 A CN 202311188494A CN 117036386 A CN117036386 A CN 117036386A
Authority
CN
China
Prior art keywords
image
model
segmentation
self
mri
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311188494.6A
Other languages
English (en)
Inventor
钟原
潘恩元
李平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202311188494.6A priority Critical patent/CN117036386A/zh
Publication of CN117036386A publication Critical patent/CN117036386A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法。该方法包括颈椎MRI切片筛选和基于扩散模型的超分辨率重建等的图像预处理；以及为了解决深度分割模型的训练数据量不足和数据缺乏差异性的问题，使用了改进的扩散模型生成高质量的MRI图像；最后使用自监督方法，将真实图像和生成图像结合，解决了标签量不足的问题，构建Encoder‑Decoder结构的Att‑UNet网络对输入数据进行相关特征提取，并使用多尺度一致性输出衡量损失，最终得到了更精准的椎体和椎间盘分割结果。本发明将基于扩散模型的MRI图像生成与自监督分割结合，有效扩充了样本数量，提升了模型鲁棒性和分割精度，为临床颈椎疾病诊断提供了更准确的参考信息。

Description

一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法
技术领域
本发明涉及医学图像分割技术领域，尤其涉及一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法。
背景技术
深度学习对医学领域产生了巨大的影响，其中医学图像分析是计算机视觉中的重要领域之一。在医疗供需不平衡，临床影像数据大规模增长，影像医生水平参差不齐和资源分布不均等挑战下，深度学习在医学图像重建、病灶检测、医学图像分割和计算机辅助诊断等方面得到愈加广泛地应用。
在信息相对复杂的医学图像中，使用神经网络进行生成建模的相关技术也在逐步发展。扩散模型(Diffusion Models)作为近两年提出的生成模型，因其强模式覆盖率和生成样本高质量受到了广泛关注。扩散模型在医学方面有广泛应用，包括分割、异常检测、图像转换、2D/3D数据生成、重建、去噪以及其他与医学相关的挑战。扩散模型通常包括扩散概率模型DDPM、噪声条件得分网络和随机微分方程三种通用的扩散建模框架。本专利中进行MRI图像生成所使用的改进去噪概率扩散模型属于扩散概率模型，进行高分辨重建使用的score-MRI扩散模型属于随机微分方程模型。
卷积神经网络是医学图像分割的主流方法之一。在卷积神经网络中，UNet及其变体在各种医学分割任务中表现良好。然而，卷积神经网络存在局部感受野的限制，不利于捕捉长期特征依赖关系。为了克服这一限制，本方法将一种简单而高效的一致性正则化方法应用于半监督医学图像分割，以实现更好的分割精度和鲁棒泛化能力。
无监督正则化的半监督学习是半监督医学图像分割问题中的一种方法，其基本原理是将有标签数据和无标签数据一并输入模型进行训练。编码器的结构用于提取医学图像的特征，而解码器用于转换提取得到的特征。对于有标签的数据，使用监督损失来训练网络，而对于没有标签的数据，则使用金字塔结构生成多尺度的预测值，以实施一致性约束。
目前，针对颈部颈椎块分割和椎间盘分割的相关研究表明，由于颈椎部位图像的信息相对匮乏，并且与腰部、胸部等部位的图像相比，其背景信息更加复杂，因此分割的难度更高，精度更难控制。经典的图像分割网络如UNet网络及其变体难以准确捕捉颈椎MRI图像的信息。此外，颈椎医学图像研究面临的关键挑战包括所需样本的数量和多样性受限，以及人工标注的差异性。
发明内容
针对以上的问题，本发明旨在提供一种使用扩散模型生成颈椎MRI图像数据和颈椎椎体自监督分割的方法，一方面能够有效缓解医学图像数量受限和标注困难的问题，另一方面能利用生成的数据有效提升椎体分割性能。本发明具体包括以下步骤:
一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法，包括下列步骤：
S1、图像预处理：从DICOM格式的颈椎MRI数据中提取已标注且清晰可见的切片，转换为PNG格式，并使用score-MRI扩散模型进行超分辨率重建；
S2、图像生成：将经S1预处理的真实图像划分为训练集，提取其相关特征作为图像生成的条件信息，采用改进的去噪概率扩散模型DDPM生成颈椎MRI图像，并根据结构相似性挑选生成的图像；
S3、自监督分割：在前置任务中，将生成图像和无标签的真实图像输入UNet模型的Encoder特征提取网络中，进行自监督训练，得到用于特征提取的预训练模型，将预训练模型的参数赋予下游任务的Att-UNet-URPC模型的Encoder模块，并使用有标签的真实图像进行参数微调，最后，通过Att-UNet-URPC模型的Decoder模块分割出颈椎块和椎间盘区域。
作为优选的，所述S1中，取出切片是指从DICOM格式的医学影像文件中抽取出颈椎显影清晰的切片，并且部分切片含有标注信息。并将取出的切片转化成PNG格式。
在S1中，基于score-MRI的扩散模型生成主要模块包括：
正向过程：通过使用随机微分方程(SDE)，连续向原始图像添加线性高斯噪声，共计T1次，将复杂的数据分布转换为已知的高斯分布。同时，搭建一个网络来训练基于时间的分数模型。
逆向过程：缓慢去除噪声，共计T1次，将高斯分布转换回数据分布，使用正向过程中训练得到的分数模型，预测上一时刻的分数，最终得到与原始图像相似的分布。
作为优选的，所述S2中，改进的去噪概率扩散模型DDPM主要模块包括：
扩散过程：使用非线性余弦噪声方案取代线性噪声方案，连续不断地向原始图像添加高斯噪声，共计T2次，将复杂的数据分布转换为已知的高斯分布。搭建5层的Unet网络，在UNet网络的Encoder模块的第二层增加注意力机制，在Decoder模块仅保留第四层的注意力机制，综上搭建了改进的Att-Unet网络以学习噪声分布；
逆扩散过程：随机生成一个高斯噪声，使用扩散过程中训练得到的Att-UNet网络，预测上一步噪声，不断去噪，共计去噪T2次，最终得到生成图像。
对得到的模型参数使用指数移动平均EMA操作。
作为优选的，所述S2中，根据结构相似性挑选生成图像：根据图像的像素间存在着强烈的相关性，计算每张生成图像与真实图像之间的结构相似性，并取平均值作为该生成图像的结构相似性度量，取平均值靠前的N张生成图像，作为S3中分割模型数据集的一部分。
作为优选的，所述S3中，自监督分割模型主要模块包括：
前置任务：使用无标签的颈椎MRI图像，包括真实图像与生成图像，输入基于UNet模型的Encoder特征提取网络进行自监督学习，以获得一个用于提取特征的预训练模型。然后，将该模型的参数赋予下游任务Att-UNet-URPC模型的Encoder模块。
下游任务：导入上述预训练模型参数，初始化Att-UNet-URPC网络的Encoder部分，并将有标签的颈椎MRI图像送入Att-UNet-URPC网络进行参数微调，以使其能够更有效地提取图像特征。最后，通过Att-UNet-URPC模型的Decoder模块实现颈椎块和椎间盘区域的分割。
作为优选的，所述S3中，自监督分割模型的前置任务中训练数据与训练数据标签包括：
使用无标签的真实图像以及生成图像，比例约为1:10。
将颈椎MRI图像的cutout部分作为标签，即随机将图像中的一部分删掉，利用剩余的部分来预测扣掉的部分。
作为优选的，所述S3中，自监督分割模型的下游任务中Att-UNet-URPC网络在传统UNet的Decoder基础上每层增加了soft-attention的注意力机制；并在Encoder-Decoder基础上构建多尺度输出，并对这些输出进行随机的Dropout，同时在最后一层输出上添加噪声。构建的损失函数兼具有监督损失和无监督损失。
作为优选的，所述S3中，自监督分割模型的下游任务Att-UNet-URPC网络的损失函数包括：
对于有标签的数据采用监督损失来训练网络，包括交叉熵损失和Dice损失；对所述交叉熵和所述Dice交叉熵进行加权融合，得到所述有标签数据的分割损失。
对于无标签的数据采用金字塔结构生成多尺度的预测值进行一致性约束；通过每个尺度的预测值与各个尺度之间的平均预测值之间的欧式距离来进行一致性约束以及KL散度来衡量预测值之间的不确定性；再利用欧氏距离以及不确定性构建不确定性校正函数，引入不确定性最小化项共同构建无标签数据的损失函数。
本发明与现有技术相比，具有的有益效果是：
本发明通过完成图像生成来扩充数据集，缓解了医学图像难以获取的问题，提升了分割模型的鲁棒性与准确率。为临床颈椎疾病诊断提供了更准确的参考信息。
附图说明
图1为本发明的流程示意图。
图2为本发明的网络结构图。
图3为本发明的下游任务的Att-UNet-URPC的网络结构图。
图4为本发明实施提供的患者影像图。
图5为本发明的分割结果图。
具体实施方式
为使本发明的目的、技术方案和优势更加清楚明白，下面结合实施方式和附图，对本发明进一步详细说明。在此，本发明的示意性实施方式以及其说明用于解释本发明，但并不作为本发明的限定。
本发明具体的包括以下步骤:
S1、图像预处理：从DICOM格式的颈椎MRI数据中提取已标注且清晰可见的切片，转换为PNG格式，并使用score-MRI扩散模型进行超分辨率重建；
S2、图像生成：将经S1预处理的真实图像划分为训练集，提取其相关特征作为图像生成的条件信息，采用改进的去噪概率扩散模型DDPM生成颈椎MRI图像，并根据结构相似性挑选生成的图像；
S3、自监督分割：在前置任务中，将生成图像和无标签的真实图像输入UNet模型的Encoder特征提取网络中，进行自监督训练，得到用于特征提取的预训练模型，将预训练模型的参数赋予下游任务的Att-UNet-URPC模型的Encoder模块，并使用有标签的真实图像进行参数微调，最后，通过Att-UNet-URPC模型的Decoder模块分割出颈椎块和椎间盘区域。
对于所述S1中的数据处理主要包括以下步骤：
挑选切片：颈椎MRI图像是多模态的，当在T2模态下，椎间盘和椎骨才会有清晰的显影。颈椎MRI图像在T2模态下含有数十个切片，一般而言，中间的两张切片显影的效果最好，并且，只有这些显影清晰的切片才含有标注信息。
超分辨率重建：对挑选出的颈椎MRI切片，进行同分辨率下的超分辨率重建，获得更丰富的纹理细节。
基于score-MRI的扩散模型主要模块包括：
正向过程：使用随机微分方程(SDE)，连续向原始图像添加高斯噪声，共计T1次，将复杂的数据分布转换为已知的高斯分布，并建立训练基于时间的分数模型；
逆向过程：缓慢去除噪声，共计T1次，将高斯分布转换回数据分布，使用正向过程中训练得到的分数模型预测上一时刻的分数，从而生成图像。
对于所述S2中的图像生成主要包括以下步骤：
图像生成：将所有的颈椎MRI图像放入改进的去噪概率扩散模型DDPM中，以随机生成的高斯噪声为标签，去训练得到新的颈椎MRI图像。
改进的去噪概率扩散模型DDPM主要模块包括：
扩散过程：使用非线性的余弦噪声方案，取代线性噪声以获得更好的生成效果，连续向原始图像中添加高斯噪声，共计T1次。搭建5层的Unet网络，同时在UNet网络的Encoder模块的第二层增加注意力机制以提高提取加噪后图像特征的能力，而在Decoder模块仅保留第四层的注意力机制，以减少训练所需的时间，综上搭建了改进的Att UNet网络学习噪声分布来获得更完整的MRI颈椎生成图像。
逆扩散过程：随机生成一个高斯噪声，使用扩散过程中训练得到的Att UNet网络，预测上一步噪声，不断去噪，共计T2次，最终得到与原始图像相似的分布。
对得到的模型参数使用指数移动平均，以求提高测试指标并增加模型鲁棒性。
挑选生成图像：高斯噪声具有随机性，无法保证每一张生成的颈椎MRI图像的椎间盘以及椎块的生成质量满足分割要求，所以需要通过结构相似性来衡量并挑选生成的颈椎MRI图像的质量。
图像的像素间存在着很强的相关性，根据这种相似性，挑选出生成质量高的颈椎MRI图像，计算每张生成图像与真实图像之间的结构相似性，并取平均值作为该生成图像的结构相似性度量，取平均值靠前的280张生成图像，作为S3中分割模型数据集的一部分。
对于所述S3中的自监督分割主要包括以下步骤：
前置任务：使用无标签的颈椎MRI图像，包括真实图像与生成图像，输入基于UNet模型的Encoder特征提取网络中，进行自监督学习。获得一个特征提取器，将其参数赋予下游任务Att-UNet-URPC模型的Encoder模块。
其中提取器的输入图像：无标签的真实颈椎MRI图像以及由改进的去噪概率扩散模型的生成图像比例约为1:10。
其中提取器的输入图像的标签：随机将输入图像的一部分cutout，将cutout的部分作为标签，利用剩余的部分来预测扣掉的部分。
下游任务：导入上述预训练模型参数，初始化Att-UNet-URPC网络的Encoder部分，并将有标签的颈椎MRI图像送入Att-UNet-URPC网络进行参数微调，使其能更有效的提取图像特征，最后通过Att-UNet-URPC模型的Decoder模块分割出颈椎块和椎间盘区域。
将训练集放入Att-UNet-URPC网络，Encoder的编码网络结构对医疗图像进行图像特征的提取，再使用Decoder对于提取后的特征进行转化，生成多尺度的输出，并对这些输出进行随机的Dropout以及对最后一层输出加噪。构建损失函数兼并有监督损失以及无监督损失。
构建出的损失函数包括：对于有标签的数据采用监督损失来训练网络，另一方面对于无标签的数据采用金字塔结构生成多尺度的预测值进行一致性约束。二者加权融合。
所述有监督损失，包括交叉熵损失和Dice损失。对所述交叉熵和所述Dice交叉熵进行加权融合，得到所述有标签数据的分割损失。其公式为：
式中：Lsup表示有标签数据的分割损失函数，S表示Decoder模块的输出层数，Ldice表示Dice损失函数，Lce表示交叉熵损失函数，pi表示第s层的输出，y表示标签。
所述无监督损失，包括不确定性纠正函数及不确定性最小化项，其公式为:
式中：Lunsup表示无标签数据的分割损失函数，第一项表示不确定性最小化项，第二项表示不确定性纠正函数，β表示权重，S表示Decoder模块的输出层数，Ds表示平均尺度输出和不同尺度输出之间的KL散度，ps表示Decoder模块第s层的输出，pavg表示Decoder模块s层的输出的平均值，表示KL散度的指数运算。
因此，Att-UNet-URPC模型的损失函数可以表示为:
Ltotal＝Lsup+μ*Lunsup。
式中：Ltotal表示Att-UNet-URPC模型的损失函数，Lsup表示有标签数据的分割损失函数，μ表示权重，Lunsup表示无标签数据的分割损失函数。
实验部分，使用了颈椎磁共振T2矢状切片图像，切片图像经过score-MRI的超分辨率重建后，输入扩散模型生成颈椎MRI图像，然后从生成图像中根据结构相似性挑选出780张生成质量较高的颈椎MRI图像。实验中构建颈椎磁共振数据集共计400张真实图像，780张生成图像。自监督模型中前置任务使用50张真实图像和500张生成图像作为预训练数据集；自监督模型中下游任务使用280张真实图像和280张生成图像作为分割模型训练集，其中56张真实图像含有标签，占训练集总量的10％，30张作为验证集，40张作为测试集，放入分割网络中。如图5所示，基于URPC的方法明显优于其他传统方式。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围。

Claims (7)

1.一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法，其特征在于，包括以下步骤：
S1、图像预处理：从DICOM格式的颈椎MRI数据中提取已标注且清晰可见的切片，转换为PNG格式，并使用score-MRI扩散模型进行超分辨率重建；
S2、图像生成：将经S1预处理的真实图像划分为训练集，提取其相关特征作为图像生成的条件信息，采用改进的去噪概率扩散模型DDPM生成颈椎MRI图像，并根据结构相似性挑选生成的图像；
S3、自监督分割：在前置任务中，将生成图像和无标签的真实图像输入UNet模型的Encoder特征提取网络中，进行自监督训练，得到用于特征提取的预训练模型，将预训练模型的参数赋予下游任务的Att-UNet-URPC模型的Encoder模块，并使用有标签的真实图像进行参数微调，最后，通过Att-UNet-URPC模型的Decoder模块分割出颈椎块和椎间盘区域。
2.根据权利要求1所述的一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法，其特征在于，在S1中，基于score-MRI的扩散模型模块包括：
正向过程：使用随机微分方程(SDE)，连续向原始图像添加高斯噪声，共计T1次，将复杂的数据分布转换为已知的高斯分布，并建立训练基于时间的分数模型；
逆向过程：缓慢去除噪声，共计T1次，将高斯分布转换回数据分布，使用正向过程中训练得到的分数模型预测上一时刻的分数，从而生成图像。
3.根据权利要求1所述的一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法，其特征在于，在S2中，改进的去噪概率扩散模型DDPM模块包括：
扩散过程：采用非线性余弦噪声方案代替线性噪声方案，连续向原始图像添加高斯噪声，共计T2次，直至将复杂的数据分布转换为已知的高斯分布，同时在UNet网络的Encoder模块的第二层增加注意力机制，并在Decoder模块仅保留一层注意力机制，通过改进的Att-Unet网络学习噪声分布；
逆扩散过程：随机生成高斯噪声，并使用扩散过程中训练得到的Att-UNet网络预测上一步的噪声，共计去噪T2次，得到生成图像。
4.根据权利要求1所述的一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法，其特征在于，在S2中，根据结构相似性挑选生成的图像包括：
对于每张生成图像，计算它与所有真实图像之间的相似性度量值，并取平均值作为该生成图像的结构相似性度量；
取平均值靠前的N张生成图像，作为S3中分割模型数据集的一部分。
5.根据权利要求1所述的一种使用扩散模型生成数据的颈椎MRI图像自监督分割方法，其特征在于，在S3中，自监督分割模型模块包括：
前置任务：使用无标签的颈椎MRI图像输入UNet模型的Encoder部分进行自监督学习，获得特征提取器作为下游任务的预训练模型；
下游任务：导入预训练模型的参数，初始化Att-UNet-URPC网络的Encoder部分，并将有标签的颈椎MRI图像送入Att-UNet-URPC网络进行特征提取，以进行特征提取和颈椎块和椎间盘区域的分割；
前置任务中使用的无标签数据包括真实颈椎MRI图像和由改进的去噪概率扩散模型生成的图像，利用Cutout作为自监督学习中图像增强的方法进行自监督学习。
6.根据权利要求5所述的下游任务，其特征在于，Att-UNet-URPC模型在传统UNet的Decoder基础上每层增加了soft-attention的注意力机制，并在其Encoder-Decoder的基础上构建多尺度输出，并对这些输出进行随机的Dropout以及对最后一层输出加噪，构建损失函数，包括监督损失和无监督损失。
7.根据权利要求6所述的损失函数，其特征在于，构建出的损失函数包括：
对于有标签的数据，采用监督损失进行网络训练，其中监督损失是交叉熵损失和Dice相似性系数损失的加权融合；
对于无标签的数据，采用金字塔结构生成多尺度的预测值，对这些预测值进行一致性约束以及KL散度来衡量预测值之间的不确定性，再利用欧氏距离以及不确定性构建不确定性校正函数，引入不确定性最小化项，共同构建无标签数据的损失函数。
CN202311188494.6A 2023-09-14 2023-09-14 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法 Pending CN117036386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311188494.6A CN117036386A (zh) 2023-09-14 2023-09-14 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311188494.6A CN117036386A (zh) 2023-09-14 2023-09-14 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法

Publications (1)

Publication Number Publication Date
CN117036386A true CN117036386A (zh) 2023-11-10

Family

ID=88637425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311188494.6A Pending CN117036386A (zh) 2023-09-14 2023-09-14 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法

Country Status (1)

Country Link
CN (1) CN117036386A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315378A (zh) * 2023-11-29 2023-12-29 北京大学第三医院（北京大学第三临床医学院） 一种尘肺病的分级判定方法及相关设备
CN117422732A (zh) * 2023-12-18 2024-01-19 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置
CN117726542A (zh) * 2024-02-18 2024-03-19 北京理工大学 基于扩散模型的可控噪声去除方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315378A (zh) * 2023-11-29 2023-12-29 北京大学第三医院（北京大学第三临床医学院） 一种尘肺病的分级判定方法及相关设备
CN117315378B (zh) * 2023-11-29 2024-03-12 北京大学第三医院（北京大学第三临床医学院） 一种尘肺病的分级判定方法及相关设备
CN117422732A (zh) * 2023-12-18 2024-01-19 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置
CN117422732B (zh) * 2023-12-18 2024-02-23 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置
CN117726542A (zh) * 2024-02-18 2024-03-19 北京理工大学 基于扩散模型的可控噪声去除方法及系统

Similar Documents

Publication Publication Date Title
Gu et al. MedSRGAN: medical images super-resolution using generative adversarial networks
Hu et al. Brain MR to PET synthesis via bidirectional generative adversarial network
CN110969626B (zh) 基于3d神经网络的人脑核磁共振影像的海马体提取方法
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN117036386A (zh) 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法
Wang et al. Ensemble of 3D densely connected convolutional network for diagnosis of mild cognitive impairment and Alzheimer’s disease
CN110782427B (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN110298303B (zh) 一种基于长短时记忆网络扫视路径学习的人群识别方法
Xia et al. MC-Net: multi-scale context-attention network for medical CT image segmentation
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
CN116228639A (zh) 基于半监督多级不确定性感知的口腔全景片龋齿分割方法
Shen et al. Medical image segmentation based on Transformer and HarDNet structures
CN112633416A (zh) 一种融合多尺度超像素的脑ct图像分类方法
Wen et al. Segmenting medical MRI via recurrent decoding cell
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割系统及方法
Kamiya et al. Automated recognition of erector spinae muscles and their skeletal attachment region via deep learning in torso CT images
CN108090507A (zh) 一种基于集成方法的医疗影像纹理特征处理方法
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Ding et al. Efficient Unet with depth-aware gated fusion for automatic skin lesion segmentation
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
Tong et al. Fully Automatic Fine-Grained Grading of Lumbar Intervertebral Disc Degeneration Using Regional Feature Recalibration
Zhang et al. ETUNet: Exploring efficient transformer enhanced UNet for 3D brain tumor segmentation
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination