CN117934371A - 一种基于条件扩散模型的胸部x光图像骨抑制方法 - Google Patents

一种基于条件扩散模型的胸部x光图像骨抑制方法 Download PDF

Info

Publication number
CN117934371A
CN117934371A CN202311728882.9A CN202311728882A CN117934371A CN 117934371 A CN117934371 A CN 117934371A CN 202311728882 A CN202311728882 A CN 202311728882A CN 117934371 A CN117934371 A CN 117934371A
Authority
CN
China
Prior art keywords
chest
model
image
conditional
diffusion model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311728882.9A
Other languages
English (en)
Inventor
孙逸飞
陈章昊
葛瑞泉
贾刚勇
王昌淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202311728882.9A priority Critical patent/CN117934371A/zh
Publication of CN117934371A publication Critical patent/CN117934371A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于条件扩散模型的胸部X光图像骨抑制方法,包括1、采集图像数据并预处理;S2、搭建基于条件扩散模型的胸部X光图像骨抑制网络模型,所述基于条件扩散模型的胸部X光图像骨抑制网络模型包括一个条件扩散模型和一个基于自编码器的增强模块;S3、以对条件扩散模型和基于自编码器的增强模块进行反复训练,优化网络参数,不断进行迭代优化以最小化真实值图像的与模型输出图像间的差异;S4、输入预处理后的胸部X光图像至完成训练的基于条件扩散模型的胸部X光图像骨抑制网络模型中,最终生成软组织图像。该方法基于输入的胸部X光图像,自动生成高分辨率、高清晰度以及囊括了空间特征和纹理细节的软组织图像。

Description

一种基于条件扩散模型的胸部X光图像骨抑制方法
技术领域
本发明涉及图像修复与增强技术领域,具体指一种基于条件扩散模型的胸部X光图像骨抑制方法。
背景技术
抑制X线胸片中的骨骼成分,得到去除骨骼结构遮挡的软组织像具有重要的临床意义。软组织像可以通过骨抑制技术来获得,即从原始X线胸片中减去骨骼图像。理想的情况下,软组织像中应不再有各种骨骼结构。去除重叠结构的影响后,结节以及肺结核等病症在软组织像上会呈现得较明显,可很大程度提高结果的敏感性和特异性。因此去除和抑制X线胸片中重叠的骨骼结构,可以降低放射科医生和计算机辅助诊断的误诊率,同时增加医生阅片诊断的信心。
目前,X线胸片的骨抑制方法可以分为两大类:一种是使用双能减影(Dual-EnergySubtraction,DES)硬件设备实现,另一种则使用图像处理的方法实现。然而目前拥有双能减影DES设备的医院并不多,因此利用计算机技术来辅助干预骨骼抑制成为了一大研究热点。
其中,Yang等人开发的基于多尺度卷积神经网络(CNN)的模型能够在图像的梯度域内有效地学习稀疏特征,并取得了优秀的成果。然而,Gusarev等人使用自动编码器和深度CNN以及各种损失函数来抑制骨骼,导致生成的图像模糊不清,无法捕捉到高频细节。为了解决这个问题,Zhou等人提出了一种多尺度条件生成对抗网络(GAN),以保留高频细节并提高生成图像的清晰度。此外,受到ResNet模型的启发,Rajaraman等人开发了几个基于ResNet的模型,并通过定性和定量分析证明了其有效性。最近,Liu等人提出了一种使用两阶段知识蒸馏方法和特定数据校正技术的骨抑制方法,以处理侧位胸片。
总的来说,目前在临床和科学上的挑战性(问题)如下所示:
从临床角度来看,主要是:用DES得到的软组织图中骨骼基本能被完全抑制以及制定一个合适的数据纳入标准。
从科学角度来分析,主要包括:训练的模型需要能够较好地抑制骨骼;训练模型在抑制骨骼地同时不能引入或者减少其他物质(即恰好抑制骨骼);训练的模型能够在细节纹理方面保持的较好,比如血管结构、清晰度等;训练的模型要有鲁棒性以及训练的模型能够去除因为拍摄DES时病人心跳呼吸等运动伪影。
发明内容
本发明针对现有技术的不足,提出一种基于条件扩散模型的胸部X光图像骨抑制方法,该方法基于输入的胸部X光图像,自动生成高分辨率、高清晰度以及囊括了空间特征和纹理细节的软组织图像。
为了解决上述技术问题,本发明的技术方案为:
一种基于条件扩散模型的胸部X光图像骨抑制方法,包括如下步骤:
S1、采集图像数据并预处理;
S1-1、使用双能剪影设备采集同一患者的胸部X光图像和与之相匹配的软组织图像;
S1-2、对采集的配对图像根据纳入标准进行筛选,并使用离散傅里叶变换的自动配准操作,通过最大化图像相似性,使图像达到最佳的对齐状态;纳入标注以外的数据会干扰模型的预测效果,所述纳入标准包括:年龄>18岁,既往无胸部手术史、外伤史;使用双能摄影条件进行胸部正位X线摄影;摄影摆位达到胸部正位的标准要求;患者胸廓正常;胸腔诊断正常;肺气肿诊断正常;
S2、搭建基于条件扩散模型的胸部X光图像骨抑制网络模型,所述基于条件扩散模型的胸部X光图像骨抑制网络模型包括一个具有U型卷积神经网络(U-Net)架构的条件扩散模型和一个基于自编码器的增强模块;其中,条件扩散模型允许根据意图来控制生成结果,其核心思想是学习一个有条件的反向过程而不改变正向过程,这样采样的x0对数据分布具有高保真度。在训练期间,首先采样/>从一个完全配对的数据分布/>也就是软组织x0和胸部X光图像/>学习一个条件扩散模型,提供/>作为反向过程的输入,公式如下所示:
其中,为有条件的反向过程,均值μθ和方差∑θ都可以使用基于U-Net的网络(输入为xt和t)进行估计。
S3、将预处理后的胸部X光图像作为输入对条件扩散模型和基于自编码器的增强模块进行反复训练,优化网络参数,不断进行迭代优化,以模型输出图像与预处理后的图像数据所匹配的软组织图像最小化差异为训练完成标注;
S4、使用双能剪影设备采集患者的胸部X光图像经预处理后输入至完成训练的基于条件扩散模型的胸部X光图像骨抑制网络模型中,先后通过条件扩散模型和基于自编码器的增强模块,最终生成软组织图像。其中,在条件扩散模型中,模型接受高斯噪声和胸部X光图像的拼接作为输入,经过多次采样去噪后得到预测的软组织图像;将条件扩散模型生成的软组织图像送入增强模块,输出增强后的软组织图像。
作为优选,所述步骤S1中,将预处理后的图像统一调整为256×256。
作为优选,所述步骤S3中,模型训练的损失函数为:
L=1.0·LMAE+1.0·LMS-SSIM+0.001·Lperceptual+0.01·Ladversarial
其中,LMAE为平均绝对误差损失;LMS-SSIM为多尺度结构相似性损失;Lperceptual为预先训练的视觉几何神经网络的感知损失;Ladversarial为基于像素端到像素端的超分辨率模型的补丁鉴别器上的对抗性损失。
本发明具有以下的特点和有益效果:
采用上述技术方案,本发明真正实现了根据胸部X光图像自动去除骨骼生成软组织的医学需求,具体包括:1.通过相关深度学习算法获取的去骨后的X线胸部照片,可以使胸片图像中的软组织结构(如肺部、心脏、血管等)更加清晰可见,可帮助诊断与肋骨区域重叠的肺部病变,减少误诊或漏诊,能有效地使得医生可以更容易地观察和评估一些肺部疾病(如:肺内结节、肺炎、肿瘤)的性质、大小和位置,为进一步的诊断、治疗提供辅助与干预。2.患者不需要接受目前临床上普遍使用的DES这种高剂量辐射检查设备,同时也能避免这种设备带来的心跳、呼吸运动造成的影像伪影。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图;
图2为本发明实施例基于条件扩散模型的胸部X光图像骨抑制网络模型的整体架构;
图3(a)、(b)、(c)分别为正常的胸部X光图像、双能剪影得到的软组织图像与模型生成的软组织图像对比示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
本发明提供了一种基于条件扩散模型的胸部X光图像骨抑制方法,如图1所示,具体操作如下:
步骤1:使用双能剪影设备采集同一患者的胸部X光图像和与之相匹配的软组织图像,大小均为1024×1024。纳入标注以外的数据会干扰模型的预测效果,故根据纳入标准(如下):
(1)年龄>18岁,既往无胸部手术史、外伤史;
(2)进行胸部正位X线摄影;
(3)使用双能摄影条件进行胸部正位摄片;
(4)不存在摄影摆位没有达到胸部正位的标准要求或脊柱呈S型侧弯等明显胸廓畸形的情况;
(5)不存在任意一侧胸腔诊断为气胸、胸腔积液或液气胸的情况;
(6)不存在任意一侧诊断肺气肿的情况。
对采集的配对图像根据纳入标准进行筛选,并作自动配准、图像局部自适应增强等预处理操作,同时将配准后的图像统一调整为256×256。
本实施例中所采用的数据集是从合作医院收集的167张成对的前后DES胸部X光图像,这些图像是由配备了双曝光DES设备(Discovery XR656,GE Healthcare)的数字放射摄影(DR)机拍摄的。图像最初以14位深度的DICOM格式存储,但为了方便起见,后来转换成了PNG文件。所有胸部X光图像的像素尺寸均为2021×2021,像素大小范围为0至0.1943毫米。排除了包括操作错误、明显运动伪影和可见胸腔积液、气胸在内的47张配对X光片。最终的实验数据集由120张成对图像组成。为了提高模型的稳定性和收敛速度,采用了多种数据扩增方法,包括水平翻转、图像旋转和各种对比度调整技术,扩增后的配对图像总数为840张。将整个数据集分为训练集、验证集和测试集,三者的比例为7:2:1。为了节省内存,所有图像都被调整为256×256像素。本发明还采用了图像配准来优化配对图像之间的信息融合,以及对比度受限的自适应直方图均衡化来增强局部对比度。随后,所有图像像素值均归一化为[-1,1]。
本发明的所有实验均在一个Nvidia A100 GPU上使用PyTorch 2.0框架执行。模型的两个阶段都是从头开始训练的,共训练了200个小时,批数量为2。参数采用了指数移动平均法,比率为0.995。本发明还为这两个阶段纳入了动态学习率计划,初始学习率为0.0001。对于条件扩散模型,训练和采样步骤T设置为1000。参数β的范围为0.0015至0.0205,使用余弦计划映射到T步。增强模块的权重如下:λmae=1.0,λms-ssim=1.0,λperceptual=0.001,λadversarial=0.01。
完成训练后,将预处理后的的胸部X光图像输入至基于条件扩散模型的胸部X光图像骨抑制网络模型中,最终生成软组织图像。其中,在条件扩散模型中,模型接受高斯噪声和胸部X光图像的拼接作为输入,经过多次采样去噪后得到预测的软组织图像;将条件扩散模型生成的软组织图像送入基于自编码器的增强模块,输出增强后的软组织图像。
步骤2:如图2所示,搭建一个基于条件扩散模型的胸部X光图像骨抑制网络模型。
具体的,基于条件扩散模型的胸部X光图像骨抑制网络模型包括一个条件扩散模型和一个基于自编码器的增强模块。
其中,所述条件扩散模型核心思想是是学习一个有条件的反向过程而不改变正向过程,这样采样的x0对数据分布具有高保真度。在训练期间,首先采样/>从一个完全配对的数据分布/>也就是软组织x0和胸部X光图像/>学习一个条件扩散模型,提供/>作为反向过程的输入,公式如下所示:
其中,为有条件的反向过程,均值μθ和方差∑θ都可以使用基于U-Net的网络(输入为xt和t)进行估计。
步骤3:在模型训练阶段,条件扩散模型接受使用双能剪影设备采集的同一患者的胸部X光图像和与之相匹配的软组织图像的连接作为输入,经过扩散模型前向加噪过程,预测加噪过程中的高斯噪声。随后,基于自编码器的增强模块接受条件扩散模型输出的软组织图像作为输入,并输出更清晰、更高质量的软组织图像,以输入的高质量双能剪影软组织图像为判别标准,不断迭代模型参数。
条件扩散模型的损失函数定义为均方误差(Mean Squared Error,MSE);增强模块的损失函数使用了多个新的加权损失,即平均绝对误差(Mean Average Error,MAE)损失(LMAE)、使用预先训练的视觉几何神经网络(Visual Geometry Group Network,VGG)的感知损失(Lperceptual)、多尺度结构相似性(Multi-Scale Structural Similarity indexmeasurement,MS-SSIM)损失(LMS-SSIM),以及基于像素端到像素端的超分辨率模型(pix2pixHD)的补丁鉴别器上的对抗性损失(Ladversarial),定义如下:
L=1.0·LMAE+1.0·LMS-SSIM+0.001·Lperceptual+0.01·Ladversarial (1)
本实施例中的所构建的模型在一个Nvidia A100 GPU上使用PyTorch 2.0框架执行。模型的两个阶段都是从头开始训练的,共训练了200个小时,批数量为2。参数采用了指数移动平均法,比率为0.995。本发明还为这两个阶段纳入了动态学习率计划,初始学习率为0.0001。对于条件扩散模型,训练和采样步骤T设置为1000。参数β的范围为0.0015至0.0205,使用余弦计划映射到T步。增强模块的权重如下:λmae=1.0,λms-ssim=1.0,λperceptual=0.001,λadversarial=0.01。
完成训练后,将预处理后的的胸部X光图像输入至基于条件扩散模型的胸部X光图像骨抑制网络模型中,最终生成软组织图像。其中,在条件扩散模型中,模型接受高斯噪声和胸部X光图像的拼接作为输入,经过多次采样去噪后得到预测的软组织图像;将条件扩散模型生成的软组织图像送入基于自编码器的增强模块,输出增强后的软组织图像。
步骤4:在模型推理阶段,输入预处理后的胸部X光图像,通过已完成训练的基于条件扩散模型的骨抑制网络模型,最终生成与高质量双能剪影软组织图像分布极为相似的软组织图像,实现图像修复与增强的目标。其中说明书附图中的图3展示了包含正常的胸部X光图像、双能剪影得到的软组织图像与模型生成的软组织图像对比示意图,可以看到由模型生成的软组织图像与由高质量双能剪影获得的软组织图像相似度极高,以至于无法判断图片是由模型生成的还是由双能剪影设备拍摄的,同时由模型生成的软组织图像清晰且准确地捕捉并合成了相关微小病变,由此说明了本发明能够有效地为肺部疾病的诊断、治疗提供辅助与干预。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式包括部件进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。

Claims (7)

1.一种基于条件扩散模型的胸部X光图像骨抑制方法,其特征在于,包括如下步骤:
S1、采集图像数据并预处理;
S1-1、使用双能剪影设备采集同一患者的胸部X光图像和与之相匹配的软组织图像;
S1-2、对采集的配对图像根据纳入标准进行筛选,并作使用离散傅里叶变换的自动配准操作,通过最大化图像相似性,使图像达到最佳的对齐状态,纳入标注以外的数据会干扰模型的预测效果,所述纳入标准包括:年龄>18岁,既往无胸部手术史、外伤史;使用双能摄影条件进行胸部正位X线摄影;摄影摆位达到胸部正位的标准要求;患者胸廓正常;胸腔诊断正常;肺气肿诊断正常;
S2、搭建基于条件扩散模型的胸部X光图像骨抑制网络模型,所述基于条件扩散模型的胸部X光图像骨抑制网络模型包括一个条件扩散模型和一个基于自编码器的增强模块;
S3、将预处理后的胸部X光图像作为输入对条件扩散模型和基于自编码器的增强模块进行反复训练,优化网络参数,不断进行迭代优化,以模型输出图像与预处理后的图像数据所匹配的软组织图像最小化差异为训练完成标注;
S4、使用双能剪影设备采集患者的胸部X光图像经预处理后输入至完成训练的基于条件扩散模型的胸部X光图像骨抑制网络模型中,最终生成软组织图像。
2.根据权利要求1所述的一种基于条件扩散模型的胸部X光图像骨抑制方法,其特征在于,所述步骤S1中,将预处理后的图像统一调整为256×256。
3.根据权利要求1所述的一种基于条件扩散模型的胸部X光图像骨抑制方法,其特征在于,所述步骤S3中,模型训练的损失函数为:
L=1.0·LMAE+1.0·LMS-SSIM+0.001·Lperceptual+0.01·Ladversarial
其中,LMAE为平均绝对误差损失;LMS-SSIM为多尺度结构相似性损失;Lperceptual为预先训练的视觉几何神经网络的感知损失;Ladversarial为基于像素端到像素端的超分辨率模型的补丁鉴别器上的对抗性损失。
4.根据权利要求1所述的一种基于条件扩散模型的胸部X光图像骨抑制方法,其特征在于,所述S1-2中自动配准操作具体方法为:首先使用离散傅里叶变换的,然后通过最大化图像相似性,使图像达到对齐状态。
5.根据权利要求1所述的一种基于条件扩散模型的胸部X光图像骨抑制方法,其特征在于,在训练期间,首先采样从一个完全配对的数据分布/>也就是软组织x0和胸部X光图像/>学习一个条件扩散模型,提供/>作为反向过程的输入,公式如下所示:
其中,为有条件的反向过程,均值μθ和方差∑θ使用基于U-Net的网络进行估计,输入为xt和t。
6.根据权利要求1所述的一种基于条件扩散模型的胸部X光图像骨抑制方法,其特征在于,所述步骤S2中,通过基于自编码器的增强模块进行数据增强的方法为:使用了一个编码器转换输入数据,和一个解码器将编码的数据重新映射回原始空间来实现重建。
7.根据权利要求1所述的一种基于条件扩散模型的胸部X光图像骨抑制方法,其特征在于,所述步骤S4中生成软组织图像的方法为:在条件扩散模型中,模型接受高斯噪声和胸部X光图像的拼接作为输入,经过多次采样去噪后得到预测的软组织图像;将条件扩散模型生成的软组织图像送入基于自编码器的增强模块,输出增强后的软组织图像。
CN202311728882.9A 2023-12-15 2023-12-15 一种基于条件扩散模型的胸部x光图像骨抑制方法 Pending CN117934371A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311728882.9A CN117934371A (zh) 2023-12-15 2023-12-15 一种基于条件扩散模型的胸部x光图像骨抑制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311728882.9A CN117934371A (zh) 2023-12-15 2023-12-15 一种基于条件扩散模型的胸部x光图像骨抑制方法

Publications (1)

Publication Number Publication Date
CN117934371A true CN117934371A (zh) 2024-04-26

Family

ID=90761907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311728882.9A Pending CN117934371A (zh) 2023-12-15 2023-12-15 一种基于条件扩散模型的胸部x光图像骨抑制方法

Country Status (1)

Country Link
CN (1) CN117934371A (zh)

Similar Documents

Publication Publication Date Title
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
JP5612371B2 (ja) 画像位置合わせ装置および方法並びにプログラム
US20100266188A1 (en) Chest x-ray registration, subtraction and display
CN111768343B (zh) 用于促进检查肝脏肿瘤病例的系统和方法
WO2008032317A2 (en) Efficient border extraction of image feature
US10867375B2 (en) Forecasting images for image processing
US20050135707A1 (en) Method and apparatus for registration of lung image data
CN106530236B (zh) 一种医学图像处理方法及系统
JP2003153082A (ja) 画像の位置合わせ装置および画像処理装置
CN111062997B (zh) 一种血管造影成像方法、系统、设备和存储介质
CN111080552B (zh) 基于深度学习神经网络的胸片虚拟双能去骨方法及系统
CN114241077B (zh) 一种ct图像分辨率优化方法及装置
CN113420826A (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN113361689A (zh) 超分辨率重建网络模型的训练方法和扫描图像处理方法
JP2017221483A (ja) 医用画像処理装置及びプログラム
CN115908449A (zh) 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置
CN111798535B (zh) Ct图像增强显示方法及计算机可读存储介质
WO2023000244A1 (zh) 一种图像处理方法、系统及其应用
US20240104705A1 (en) Systems and methods for image correction
CN111968108B (zh) 基于智能扫描协议的ct智能成像方法、装置及系统
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
Xu et al. AI-CHD: an AI-based framework for cost-effective surgical telementoring of congenital heart disease
CN117934371A (zh) 一种基于条件扩散模型的胸部x光图像骨抑制方法
CN113780531A (zh) Gan神经网络的创建方法、处理cxr胸部图像和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination