CN117058307A - 心脏三维核磁共振图像生成方法、系统、设备及储存介质 - Google Patents
心脏三维核磁共振图像生成方法、系统、设备及储存介质 Download PDFInfo
- Publication number
- CN117058307A CN117058307A CN202310809804.5A CN202310809804A CN117058307A CN 117058307 A CN117058307 A CN 117058307A CN 202310809804 A CN202310809804 A CN 202310809804A CN 117058307 A CN117058307 A CN 117058307A
- Authority
- CN
- China
- Prior art keywords
- diffusion
- noise
- dimensional
- data
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000005481 NMR spectroscopy Methods 0.000 title claims abstract description 29
- 238000009792 diffusion process Methods 0.000 claims abstract description 92
- 230000007170 pathology Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 15
- 230000001575 pathological effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012952 Resampling Methods 0.000 claims description 8
- 230000000747 cardiac effect Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013145 classification model Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- LJROKJGQSPMTKB-UHFFFAOYSA-N 4-[(4-hydroxyphenyl)-pyridin-2-ylmethyl]phenol Chemical compound C1=CC(O)=CC=C1C(C=1N=CC=CC=1)C1=CC=C(O)C=C1 LJROKJGQSPMTKB-UHFFFAOYSA-N 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 206010056370 Congestive cardiomyopathy Diseases 0.000 description 1
- 201000010046 Dilated cardiomyopathy Diseases 0.000 description 1
- 208000035977 Rare disease Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 206010020871 hypertrophic cardiomyopathy Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开一种心脏三维核磁共振图像生成方法、系统、设备及储存介质，利用噪声数据分别训练病理分类模型和扩散模型，当两个模型的参数确定之后，在扩散模型的采样过程中，使用病理分类模型逐步引导扩散模型生成具备指定病理特征的三维MRI数据，所述方法、系统、设备及储存介质能够使生成数据对数据集进行有效增强，生成的医学图像与真实数据更为相似，通过生成心脏三维MRI数据，能够帮助增加数据集的多样性，保护患者隐私，增加CAD模型的泛化性。
Description
技术领域
本发明属于医学图像生成技术领域，具体涉及一种心脏三维核磁共振图像生成方法、系统、设备及储存介质。
背景技术
医学成像是各种医学领域中广泛使用的技术，用于直观地表示人体的解剖和病理结构及其功能，其原理涉及特定介质与人体的相互作用，以图像的形式呈现内部器官、组织结构和密度，供放射科医生进行疾病诊断，目前常用的医学成像技术包括计算机断层成像、核磁共振成像及正电子发射断层扫描成像等，核磁共振图像(Magnetic Resonance Image，MRI)因其无创性和通用性，常被用来检测心血管疾病，被认为是对心脏整体和局部功能进行定量分析的金标准，CAD技术有助于心脏疾病的早期预防和诊断，然而也存在一些弊端，如CAD模型的构建往往需要大量的数据进行训练才能增强其分辨陌生数据的能力，较少的数据会导致模型过拟合或者欠拟合，不同于自然图像，医学图像因为涉及到病人隐私、人身安全和成像成本等问题，往往需要严格的伦理审查过程，因此其获取的成本通常比较高，大规模的公共数据集可用于传统的视觉任务，但医疗数据很难获得，即使在大规模的医学训练数据集中，罕见疾病和解剖的例子也很少，训练数据的缺少会导致CAD模型的泛化性不足，无法学习到数据集中更加细节的特征，难以应用于临床医学中。
在医学图像处理领域中，为了增加训练数据的多样性，使用生成数据对数据集进行增强一直是一个热门的研究方向，随着新算法的诞生以及算力的提升，生成与真实数据相似的医学图像比以往任何时候都更接近成为可能，通过生成心脏三维MRI数据，能够帮助增加数据集的多样性，保护患者隐私，增加CAD模型的泛化性，进而减轻心血管疾病的负担。
由此，本发明提出一种心脏三维核磁共振图像生成方法、系统、设备及储存介质。
发明内容
本发明提出一种心脏三维核磁共振图像生成方法、系统、设备及储存介质。
本发明采用如下技术方案：
一种心脏三维核磁共振图像生成方法，包括：
步骤1，对心脏输入图像进行裁剪ROI、重采样和标准化的预处理；
步骤2，对基于二维的扩散模型网络结构进行修改，将原有的二维卷积、池化操作替换为支持三维数据的操作以满足生成三维MRI数据的要求；
步骤3，通过使用病理类别标签和额外的病理分类器进行指导，使生成的三维心脏MRI数据具备指定的病理特征。
进一步地，步骤1中：
根据输入图像生成非零模板，按照包围盒大小及位置进行裁剪得到指定大小的图像；
对三维图像进行重采样，其中x和y平面采用三阶样条插值，z轴采用最近邻插值法；
采用z-score方法进行标准化，将数据归一化到[-1，1]之间以满足扩散模型网络的输入要求。
进一步地，步骤2中包括对二维的扩散模型的前向扩散和逆向扩散，其中：
前向扩散通过不断的向原始数据中添加高斯噪声，直到原来的数据完全被破坏变成随机噪声；
逆向扩散通过训练一个以噪声图像和当前的扩散为条件输入的神经网络，学习用于破坏图像的噪声的分布情况，预测前一步所添加的随机噪声，然后去除该噪声，逐步还原数据的真实分布。
进一步地，步骤2中的前向扩散包括：
设x0是没有被添加过噪声的原始数据，给定一个分布x0～q(x0)，通过逐步对x0添加高斯噪声的方式产生x1从xT到的数据，描述为公式(1)：
其中，T、β1，β2，...，βT∈[0，1]分别表示扩散步骤的总数和每个扩散步骤中产生噪声所用的方差，I是单位矩阵，表示x服从均值为μ和协方差为σ的正态分布，当扩散步骤逐步增大，所添加的噪声采用更大的方差，满足β1＜β2＜…＜βT，当T的取值足够大，得到的样本xT完全丢失原始的数据分布特征，变成一个完全随机的高斯噪声，给定：
其中，βt为第t步添加噪声的方差，表示从α0到αT的累乘；
通过重参数技巧，用公式：
来获取对原始数据x0添加任意步骤t的噪声之后的数据xt，其中，∈为t步骤时真实添加的噪声。
进一步地，步骤2中的逆向扩散包括：
设逆向扩散过程是由一系列神经网络参数化的高斯分布组成的马尔科夫链：
其中，p(xT)＝N(xT；0，I)，pθ(xt-1|xt)是参数化的高斯分布，预测噪声的均值和方差由神经网络预测的μθ(xt，t)和∑θ(xt，t)给出，θ表示神经网络的参数，采样数据的过程通过：
xt-1＝μθ(xt，t)+∑θ(xt，t)z……(6)，
来实现，其中，损失函数公式如下：
其中，表示用于计算模型预测输出∈θ(xt，t)与实际输出∈之间的误差，t是属于0到T之间的扩散步骤，当t＝0时，表示当前样本xt为没有添加过噪声的原始图像，∈θ(xt，t)为神经网络预测的t步骤时的噪声；
当给定额外的引导信号y时，逆向扩散中的采样分布变更为公式：
pθ，φ(xt-1|xt，y)＝Zpθ(xt-1|xt)pφ(y|xt-1)……(8)，
其中，pφ(y|xt-1)表示给定xt-1时输出y的条件概率分布，其中，φ是分布的参数，由神经网络学习得到的，Z为归一化常数，引入额外信息制导后的新分布可近似为均值偏移的高斯分布：
其中，μ＝μθ，θ表示神经网络的参数，φ表示引导网络的参数。
进一步地，步骤3包括：
从随机的高斯分布噪声中采样得到xt，输入网络/>进行推理，通过Softmax函数输出xt属于不同类别的概率；
从不同类别的概率中选出与真实标签相对应的类别概率；为避免出现无限大的计算情况，将输入网络中的样本xt推理得到的属于不同病理类别的概率值下限设置为1e-15；
通过计算输入样本xt和所选概率值之间的梯度，并将计算得到的结果乘以指导缩放因子s，得到xt在当前扩散步骤t下与真实梯度方向相比的值，作为约束，调整采样过程的迭代方向，去噪，得到的x0即为指定的病理数据。
一种心脏三维核磁共振图像生成系统，包括：
预处理模块，用于对心脏输入图像进行裁剪ROI、重采样和标准化；
修改模块，用于对基于二维的扩散模型网络结构进行修改，将原有的二维卷积、池化操作替换为支持三维数据的操作；
指导模块，通过使用病理类别标签和额外的病理分类器进行指导，使生成的三维心脏MRI数据具备指定的病理特征。
一种心脏三维核磁共振图像生成设备，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，处理器执行计算机程序时实现所述心脏三维核磁共振图像生成方法。
一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行所述的心脏三维核磁共振图像生成方法。
本发明的有益效果是：
本发明所述心脏三维核磁共振图像生成方法，能够使生成数据对数据集进行有效增强，生成的医学图像与真实数据更为相似，通过生成心脏三维MRI数据，能够帮助增加数据集的多样性，保护患者隐私，增加CAD模型的泛化性。
附图说明
图1为本发明实施例中心脏三维核磁共振图像生成方法的流程图；
图2为本发明实施例中U-Net的网络结构的示意图；
图3为本发明实施例中残差块的结构示意图；
图4为本发明实施例中不同方法在多中心、多供应商和多种疾病的心脏图像分割挑战赛(Multi-center,multi-vendor and multi-disease cardiac image segmentationchallenges，M&Ms)数据集上生成的三维MRI数据的对比示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征能够相互组合。
实施例
如图1所示，所述心脏三维核磁共振图像生成方法，利用噪声数据分别训练病理分类模型和扩散模型，当两个模型的参数确定之后，在扩散模型的采样过程中，使用病理分类模型逐步引导扩散模型生成具备指定病理特征的三维MRI数据，包括：
对心脏输入图像进行预处理，具体的，根据输入图像生成非零模板，按照包围盒大小及位置进行裁剪得到指定大小的图像；对三维图像进行重采样，其中，x和y平面采用三阶样条插值，z轴采用最近邻插值法；采用z-score方法进行标准化，将数据归一化到[-1，1]之间以满足扩散模型网络的输入要求；
对二维的扩散模型(Diffusion Model)网络结构进行修改，对二维的扩散模型的前向扩散和逆向扩散，其中，前向扩散通过不断的向原始数据中添加高斯噪声，直到原来的数据完全被破坏变成随机噪声；逆向扩散通过训练一个以噪声图像和当前的扩散为条件输入的神经网络，学习用于破坏图像的噪声的分布情况，预测前一步的所添加的随机噪声，然后去除该噪声，逐步还原数据的真实分布；其中：
扩散模型将前向扩散过程定义马尔科夫链，通过对原始数据连续的添加高斯噪声来获得一组不同加噪程度的样本，设x0是没有被添加过噪声的原始数据，给定一个分布x0～q(x0)，通过逐步对x0添加高斯噪声的方式能够产生从x1到xT的数据，该过程的定义能够描述为公式：
其中，T，β1，β2，...，βT∈[0，1]分别表示扩散步骤的总数和每个扩散步骤中产生噪声所用的方差，I是单位矩阵，表示x服从均值为μ和协方差为σ的正态分布，当扩散步骤逐步增大，其所添加的噪声就会采用更大的方差，即满足β1＜β2＜…＜βT，当T的取值足够大，得到的样本xT会完全丢失原始的数据分布特征，变成一个完全随机的高斯噪声；给定αt＝1-βt，/>通过重参数技巧，用公式：
来获取对原始数据x0添加任意步骤t的噪声之后的数据xt，其中，∈表示t步添加的随机噪声；
设逆向扩散过程是由一系列神经网络参数化的高斯分布组成的马尔科夫链：
其中，p(xT)＝N(xT；0，I)，pθ(xt-1|xt)是参数化的高斯分布，均值和方差由神经网络预测的μθ(xt，t)和∑θ(xt，t)给出，θ表示神经网络的参数，因此采样数据的过程通过：
xt-1＝μθ(xt，t)+∑θ(xt，t)z，
来实现，其中，损失函数公式表示为：
其中，t是属于0到T之间的扩散步骤，当t＝0时，表示当前样本xt为没有添加过噪声的原始图像，∈为t步骤时的真实添加的噪声，∈θ(xt，t)为神经网络预测的t步骤时的噪声；
当给定额外的引导信号y时，该逆向扩散中的采样分布变更为公式：
pθ，φ(xt-1|xt，y)＝Zpθ(xt-1|xt)pφ(ψ|xt-1)，
其中，Z为归一化常数，引入额外信息制导后的新分布可近似为均值偏移的高斯分布：
其中，μ＝μθ，θ表示神经网络的参数，φ表示引导网络的参数；在有噪声的数据集上训练分类器pφ(y|xt，t)，其中，xt是第t步加噪之后的噪声数据，y是一个离散类的标签(例如：y＝0，1，2，...)，pφ(y|xt-1)表示样本xt-1属于类别y的概率，病理分类指导函数Fφ(xt，y，t)＝log pφ(y|xt)；
对病理分类器进行指导，使生成的三维心脏MRI数据具备指定(可根据训练时所使用的数据集确定不同的病理特征，例如扩张型心肌病、肥厚型心肌病以及正常人)的病理特征，从随机的高斯分布噪声中采样得到xt，将其输入网络/>进行推理，通过Softmax函数输出xt属于不同类别的概率；从中选出与真实标签相对应的类别概率，为避免出现无限大的计算情况，将该概率值下限设置为1e-15；通过计算输入样本xt和所选概率值之间的梯度，并将其乘以指导缩放因子s，得到xt在当前扩散步骤t下与真实梯度方向相比的值，以此作为约束，调整采样过程的迭代方向，不断去噪，最终得到的x0即为指定的病理数据；
由此得知，带分类器指导的扩散模型，其模型的训练是与原始的扩散模型相同的，即能够在不改变已经训练好的扩散模型的前提下，通过额外训练一个病理分类器即可完成对指定病理数据生成的工作，减少了对扩散模型重新训练所消耗的资源成本，需要注意的是，/>的训练与扩散模型的训练是独立的，需要分别对这两个模型进行训练。
在上述实施例中，扩散模型是Jascha等人提出的一种网络结构，全称是去噪扩散概率模型(Denoising Diffusion Probabilistic Model，DDPM)一般简称扩散模型或者DDPM。
在上述实施例中，马尔科夫链是一种随机过程，对一系列随机变量进行建模，在给定当前状态下，未来状态的概率只与当前状态有关，而与过去状态无关，即马尔科夫链是一种无记忆性的随机过程；
在上述实施例中，为了将病理标签整合到图像生成过程中，同时提高扩散模型中模型的重复利用率，把扩散模型中使用的3D Unet中左侧编码器部分修改之后作为病理分类模型当把编码结构用作分类器时，需要将其输出的特征图进行全局平均池化，输入到一个全连接层中，最后通过Sofimax函数得到分类结果，与常规的将原始的MRI数据与病理标签直接训练网络不同，扩散模型中逆向扩散过程以及分类器指导过程是与扩散步骤t有关系，并且以噪声图像xt和步骤t一起作为输入，即：/>其中，T是与扩散模型中相同的总扩散步骤，此外，由同一个原始数据x0加噪得到的一组噪声图像xt，t＝1,2，...T都与x0对应相同的病理标签，将噪声图像xt扩散步骤t与病理标签y作为输入，通过/>得到分类结果，然后将分类结果与标签y进行比较，通过交叉熵损失函数计算损失，最后通过反向传播算法更新网络参数；需要注意的是，在不同epoch迭代时，t的取值是在(0～T)之间任意随机的一个整数，以此，保证网络能够学习到不同噪声下的样本对应的病理标签，不需要额外的数据处理就能够完成对/>的训练过程，当训练完成之后，固定其权重不变参与对扩散模型的指导过程。
在上述实施例中，扩散模型的网络架构以输入和输出维度相同的U-Net构成，如图2所示，网络的直接输入为x，为单通道64×64×16的张量，时间t采用Embedding技术进行编码后，合并残差结构在网络中输入，网络的输出为∈θ，θ表示神经网络的参数，∈θ的通道数、图像大小与输入相同，网络结构采用4层下采样结构，网络的下采样采用卷积核为3×3×3、步长为2、填充为1的卷积操作，每次将特征图的大小减小一半，网络的上采样采用最邻近插值法进行计算，每次将特征图大小增加1倍，并与对应收缩路径的特征图进行拼接，卷积单元的卷积通道数分别设置为64、128、256、512、1024，为防止梯度消失和梯度爆炸，使用残差结构完成网络的传递和通道数量的扩充缩减，残差块的结构如图3所示，由两个模块和Embedding层组成，每个模块包括组归一化(Group Normalization)、ReLU函数和确保特征图大小不变的卷积层组成，中间与Embedding层处理后的时间t相加，当输入与输出通道数相等时采用直接短接的方式实现前后连接(图中左侧所示)，输入输出通道数不同时，使用1×1卷积层来放缩通道数后再进行连接(图中右侧所示)，网络最后的卷积层将通道数转换为1，得到噪音的预测值∈θ。
需要说明的是，扩散模型是一种参数化的马尔科夫链，使用变分推理进行训练，以在有限的时间内产生与原数据分布相同的样本，扩散模型的训练过程包括两个部分：前向扩散和逆向扩散，前向扩散过程是对原始数据不断的添加噪声，最终破坏原始数据得到随机噪声，而逆向扩散过程，是一个将前向扩散中添加的噪声逐步去除的过程，假设当给定xT时，xT-1的真实分布是已知的，即已知q(xT-1|xT)，从一个随机的高斯噪声开始，通过逆向扩散过程逐步去除噪声从而还原真实的数据，逆向扩散过程就是生成数据的过程，实际上q(xT-1|xT)是未知的，前向扩散过程中的每一步所添加的高斯噪声都是完全随机的，在扩散模型的逆向扩散过程中，使用训练的神经网络pθ(Xt-1|Xt)近似逼近q(xT-1|xT)。
所述心脏三维核磁共振图像生成系统，包括：
预处理模块，用于对心脏输入图像进行裁剪ROI、重采样和标准化；
修改模块，用于对基于二维的扩散模型网络结构进行修改，将原有的二维卷积、池化操作替换为支持三维数据的操作；
指导模块，通过使用病理类别标签和额外的病理分类器进行指导，使生成的三维心脏MRI数据具备指定的病理特征。
所述心脏三维核磁共振图像生成设备，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，处理器执行计算机程序时实现所述心脏三维核磁共振图像生成方法；其中，处理器能够是中央处理单元(Central Processing Unit，CPU)，还能够是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，通用处理器是微处理器或者是任何常规的处理器，通用处理器是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，存储器可用于存储所述计算机程序，处理器通过运行或执行存储在存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述设备的各种功能，存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等；此外，存储器能够包括高速随机存取存储器，还能够包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器。
所述计算机可读存储介质，包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行所述的心脏三维核磁共振图像生成方法。
为了验证本发明实施例所述方法的优越技术效果，表1展示了不同方法在M&Ms数据集上量化指标的对比，其中多尺度结构相似性(Multi-Scale Structural Similarity，MS-SSIM)分数比较了两个生成数据之间的相似性，当两个生成数据相似度越低时表示生成模型的繁华性越强；最大均值差异分数(Maximum-Mean Discrepancy Score，MMD)分数比较了生成数据与真实数据之间的差异，当生成数据和真实数据之间的差异越小时，表示生成模型生成的数据越接近真实值，两个指标分别从不同的角度衡量了生成数据的效果，并且两个值均是越小表示结果越好。
能够看到本发明实施例所述方法生成的数据显示，两个指标的结果均为最优，真实样本的MS-SSIM分数为0.4701，本发明实施例所述方法获得的结果为0.4594，与其他方法相比更加接近该数据，这表示本发明实施例生成的数据不仅具有更丰富的多样性，而且更符合真实数据的分布。
表1不同方法在M&Ms数据集上的量化指标
注：↓表示该结果越小越好；最佳结果用粗体标出
为了直观地展示生成图像的真实性，图4展示了不同的生成模型所生成数据的结果，从左往右依次表示三维MRI数据的轴状面(沿z轴)的二维切，能够看出，基于GAN的方法生成的心脏三维MRI数据真实性存在一些明显的缺陷，生成的图像或者模糊，或者丢失大量细节，不符合真实数据的分布特征，3D-α-GAN和3D-CCE-GAN方法在基于GAN方法中在视觉上生成效果最真实，但均局限在心脏中间部分的几个切片上，对于心尖和心基的几个切片而言，也会出现不合理的结果，这是由于真实的心脏三维MRI数据在这两端的心脏结构比较少，通常包含更多的心脏周围的组织结构(如脂肪等)信息，不同人的心脏周围组织分布不同，所以3D-α-GAN和3D-CCE-GAN方法没有有效的学习到这几层切片共同的特征；本发明所述方法生成的图像真实性表现很好，在不同组织之间呈现出清晰的边界，并且在心尖和心基两端均能生成一些合理的结果，其MS-SSIM和MMD分数也表现相对合理，与其他方法相比，MS-SSIM和MMD分数整体为最佳，这表明本发明实施例所述方法所生成的MRI数据在最接近真实数据的同时多样性也最为丰富。
本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。
Claims (10)
1.一种心脏三维核磁共振图像生成方法，其特征在于，包括：
步骤1，对心脏输入图像进行裁剪ROI、重采样和标准化的预处理；
步骤2，对基于二维的扩散模型网络结构进行修改，将原有的二维卷积、池化操作替换为支持三维数据的操作以满足生成三维MRI数据的要求；
步骤3，通过使用病理类别标签和额外的病理分类器进行指导，使生成的三维心脏MRI数据具备指定的病理特征。
2.根据权利要求1所述的心脏三维核磁共振图像生成方法，其特征在于，步骤1中：
根据输入图像生成非零模板，按照包围盒大小及位置进行裁剪得到指定大小的图像；
对三维图像进行重采样，其中x和y平面采用三阶样条插值，z轴采用最近邻插值法；
采用z-score方法进行标准化，将数据归一化到[-1，1]之间以满足扩散模型网络的输入要求。
3.根据权利要求1所述的心脏三维核磁共振图像生成方法，其特征在于，步骤2中包括对二维的扩散模型的前向扩散和逆向扩散，其中：
前向扩散通过不断的向原始数据中添加高斯噪声，直到原来的数据完全被破坏变成随机噪声；
逆向扩散通过训练一个以噪声图像和当前的扩散为条件输入的神经网络，学习用于破坏图像的噪声的分布情况，预测前一步所添加的随机噪声，然后去除该噪声，逐步还原数据的真实分布。
4.根据权利要求3所述的心脏三维核磁共振图像生成方法，其特征在于，前向扩散包括：
设x0是没有被添加过噪声的原始数据，给定一个分布x0～q(x0)，通过逐步对x0添加高斯噪声的方式产生从x1到xT的数据，描述为公式(1)：
其中，T、β1，β2，...，βT∈[0,1]分别表示扩散步骤的总数和每个扩散步骤中产生噪声所用的方差，I是单位矩阵，表示x服从均值为μ和协方差为σ的正态分布，当扩散步骤逐步增大，所添加的噪声采用更大的方差，满足β1＜β2＜…＜βT，当T的取值足够大，得到的样本xT完全丢失原始的数据分布特征，变成一个完全随机的高斯噪声，给定：
其中βt为第t步添加噪声的方差，表示从α0到αT的累乘；
通过重参数技巧，用公式：
来获取对原始数据x0添加任意步骤t的噪声之后的数据xt，其中，∈为t步骤时真实添加的噪声。
5.根据权利要求3或4所述的心脏三维核磁共振图像生成方法，其特征在于，逆向扩散包括：
设逆向扩散过程是由一系列神经网络参数化的高斯分布组成的马尔科夫链：
其中，p(xT)＝N(xT；0，I)，pθ(xt-1|xt)是参数化的高斯分布，预测噪声的均值和方差由神经网络预测的μθ(xt，t)和∑θ(xt，t)给出，θ表示神经网络的参数，采样数据的过程通过：
xt-1＝μθ(xt，t)+∑θ(xt，t)z……(6)，
来实现，其中，损失函数公式如下：
其中，表示用于计算模型预测输出∈θ(xt，t)与实际输出∈之间的误差，t是属于0到T之间的扩散步骤，当t＝0时，表示当前样本xt为没有添加过噪声的原始图像，∈θ(xt，t)为神经网络预测的t步骤时的噪声；
当给定额外的引导信号y时，逆向扩散中的采样分布变更为公式：
pθ，φ(xt-1|xt，y)＝Zpθ(xt-1|xt)pφ(y|xt-1)……(8)，
其中，pφ(y|xt-1)表示给定xt-1时输出y的条件概率分布，其中，φ是分布的参数，由神经网络学习得到的，Z为归一化常数，引入额外信息制导后的新分布可近似为均值偏移的高斯分布：
其中，μ＝μθ，θ表示神经网络的参数，φ表示引导网络的参数。
6.根据权利要求1所述的心脏三维核磁共振图像生成方法，其特征在于，步骤3包括：
从随机的高斯分布噪声中采样得到xt，输入网络/>进行推理，通过Softmax函数输出xt属于不同类别的概率；
从不同类别的概率中选出与真实标签相对应的类别概率；
通过计算输入样本xt和所选概率值之间的梯度，并将计算得到的结果乘以指导缩放因子s，得到xt在当前扩散步骤t下与真实梯度方向相比的值，作为约束，调整采样过程的迭代方向，去噪，得到的x0即为指定的病理数据。
7.根据权利要求6所述的的心脏三维核磁共振图像生成方法，其特征在于，步骤3包括：将输入网络中的样本xt推理得到的属于不同病理类别的概率值下限设置为1e-15。
8.一种心脏三维核磁共振图像生成系统，其特征在于，包括：
预处理模块，用于对心脏输入图像进行裁剪ROI、重采样和标准化；
修改模块，用于对基于二维的扩散模型网络结构进行修改，将原有的二维卷积、池化操作替换为支持三维数据的操作；
指导模块，通过使用病理类别标签和额外的病理分类器进行指导，使生成的三维心脏MRI数据具备指定的病理特征。
9.一种心脏三维核磁共振图像生成设备，其特征在于，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的基于扩散模型的心脏三维核磁共振图像生成方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的基于扩散模型的心脏三维核磁共振图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310809804.5A CN117058307A (zh) | 2023-07-04 | 2023-07-04 | 心脏三维核磁共振图像生成方法、系统、设备及储存介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310809804.5A CN117058307A (zh) | 2023-07-04 | 2023-07-04 | 心脏三维核磁共振图像生成方法、系统、设备及储存介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117058307A true CN117058307A (zh) | 2023-11-14 |
Family
ID=88654237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310809804.5A Pending CN117058307A (zh) | 2023-07-04 | 2023-07-04 | 心脏三维核磁共振图像生成方法、系统、设备及储存介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058307A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556717A (zh) * | 2024-01-12 | 2024-02-13 | 鹏城实验室 | 超表面结构生成方法、装置、设备及存储介质 |
| CN117635942A (zh) * | 2023-12-05 | 2024-03-01 | 齐鲁工业大学(山东省科学院) | 一种基于边缘特征增强的心脏mri图像分割方法 |
-
2023
- 2023-07-04 CN CN202310809804.5A patent/CN117058307A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635942A (zh) * | 2023-12-05 | 2024-03-01 | 齐鲁工业大学(山东省科学院) | 一种基于边缘特征增强的心脏mri图像分割方法 |
| CN117635942B (zh) * | 2023-12-05 | 2024-05-07 | 齐鲁工业大学(山东省科学院) | 一种基于边缘特征增强的心脏mri图像分割方法 |
| CN117556717A (zh) * | 2024-01-12 | 2024-02-13 | 鹏城实验室 | 超表面结构生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115409733B (zh) | 一种基于图像增强和扩散模型的低剂量ct图像降噪方法 | |
| CN112446891B (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN117058307A (zh) | 心脏三维核磁共振图像生成方法、系统、设备及储存介质 | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| Rahman et al. | A new method for lung nodule detection using deep neural networks for CT images | |
| CN112258456B (zh) | 一种基于卷积神经网络监督的三维图像分割方法 | |
| CN111373439B (zh) | 使用cnn进行图像分割的方法 | |
| CN112365980A (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN112785593A (zh) | 一种基于深度学习的脑部图像分割方法 | |
| CN109215035B (zh) | 一种基于深度学习的脑部mri海马体三维分割方法 | |
| Singhal et al. | Study of deep learning techniques for medical image analysis: A review | |
| Seshadri Ramana et al. | Deep convolution neural networks learned image classification for early cancer detection using lightweight | |
| CN117333497A (zh) | 一种基于掩码监督策略的高效建模的三维医学影像分割方法 | |
| Tran et al. | Deep learning-based inpainting for chest X-ray image | |
| CN117422871A (zh) | 一种基于V-Net的轻量级脑肿瘤分割方法及系统 | |
| Rao et al. | Weight pruning-UNet: Weight pruning UNet with depth-wise separable convolutions for semantic segmentation of kidney tumors | |
| CN114049357A (zh) | 一种基于特征集关联度的乳腺超声分割方法 | |
| Al-Eiadeh | Automatic Lung Field Segmentation using Robust Deep Learning Criteria | |
| Abou Arkoub et al. | Survey on deep learning techniques for medical imaging application area | |
| Zeeshan Aslam et al. | AML‐Net: Attention‐based multi‐scale lightweight model for brain tumour segmentation in internet of medical things | |
| US20230410483A1 (en) | Medical imaging analysis using self-supervised learning | |
| CN117876370B (zh) | 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 | |
| Yadlapalli et al. | Segmentation and Pre-processing of Interstitial Lung Disease using Deep Learning Model | |
| CN114937171B (zh) | 基于深度学习的阿尔茨海默分类系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |