CN116993848A - Cbct图像重建方法、系统、计算机装置及存储介质 - Google Patents

Cbct图像重建方法、系统、计算机装置及存储介质 Download PDF

Info

Publication number
CN116993848A
CN116993848A CN202310898957.1A CN202310898957A CN116993848A CN 116993848 A CN116993848 A CN 116993848A CN 202310898957 A CN202310898957 A CN 202310898957A CN 116993848 A CN116993848 A CN 116993848A
Authority
CN
China
Prior art keywords
image
cbct
model
registration
cbct image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310898957.1A
Other languages
English (en)
Other versions
CN116993848B (zh
Inventor
檀韬
谢辉
林灿堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Macau Polytechnic University
Original Assignee
Macau Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Macau Polytechnic University filed Critical Macau Polytechnic University
Priority to CN202310898957.1A priority Critical patent/CN116993848B/zh
Publication of CN116993848A publication Critical patent/CN116993848A/zh
Application granted granted Critical
Publication of CN116993848B publication Critical patent/CN116993848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了CBCT图像重建方法、系统、计算机装置及存储介质。该方法主要包括训练用病人多模态图像数据的采集，病人多模态图像数据的配准，基于条件的去噪扩散概率模型的训练，以及基于条件的去噪扩散概率模型的使用这四个步骤。本发明能够利用病人在随访阶段过程中拍摄的CBCT图像，结合治疗前拍摄的定位用CT图像，通过基于条件的去噪扩散概率模型进行图像质量优化，最终生成对应时间点的合成CT图像。通过该方法生成的合成CT图像图像质量完全满足临床诊断的要求，具有较高的临床价值，可直接用于辅助诊断，帮助临床医生重新计算放疗的辐射剂量，并提高剂量计算的准确性，进而有助于提高自适应治疗的效率，同时消除主观性。

Description

CBCT图像重建方法、系统、计算机装置及存储介质
技术领域
本发明属于医学影像和图像处理技术领域，具体涉及一种机载CBCT头颈部图像重建方法、系统、计算机装置及介质。
背景技术
随着计算机技术的发展，肿瘤放射治疗技术与医学影像技术已经紧密结合。目前，在对病人进行早期症状筛查，及接受治疗后的生存期随访过程中，通常需要对病人进行大量的常规辐射剂量CT（Standard Dose Computed Tomography，SDCT）拍摄，以方便医生判断病灶情况。在拍摄中，使用常规剂量CT对病人进行检查时，病人通常需要承受6~8mSV（毫希沃特，mSv）的辐射剂量。若病人在随访治疗过程中接受过多的人工电离辐射，则会对病人病灶、身体健康的部位造成不可逆转的损害，并且会诱发甚至加重病人待治疗区域病灶的恶化，进而使得病人面临更严峻的生命危险。
因此，如何在病人进行随访的过程中使用尽可能较低（As low as reasonable，ALRA）的辐射剂量，并能够使用该类图像对进行病灶诊断，成为了现如今临床医生及研究人员的研究关注点。在临床上，机载CBCT（Cone Beam CT，锥束型CT）就是最典型的代表之一，因其拍摄辐射剂量较CT而言更小，其成像过程更快速，现已被广泛应用于患者放射治疗期间，放射位置修正的图像引导过程。然而，仅利用这种降低辐射剂量拍摄出的CBCT图像，由于X-ray初始能量较低，会导致其穿透力变弱，进而导致重建出的图像质量较差，因此CBCT成像质量具备一定的局限性，目前临床上只能作为位置调整的参考，尚不能用于诊断和后续治疗。对于这类CBCT图像，通常要经过复杂的图像质量优化过程，且需要经验丰富的放射科专家在临床诊断时进行配合，才能够完成最终病灶的诊断，这也使得CBCT的功能目前还没有完全发挥出来。
随着深度学习技术的兴起，通过利用深度模型对CBCT图像进行质量优化成为了可能。生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。Wei等人利用GAN网络对图像进行配准研究，帮助对齐不同模态数据中相同的部位；Vey BL和Zhang K等人都通过GAN网络在图像上进行降噪处理，将图像质量提高到诊断级CT的要求；Lwding C等人则是利用GAN网络来提高图像的分辨率，让医生能够更轻易地聚焦于病灶区域，并为之制订相应的治疗细节。
虽然上述关于利用深度学习在医学领域的研究，在不同方面均达到了具有竞争力的效果，但是利用GAN网络在医学领域的研究仍然存在诸多问题：
存在因“模式崩塌”而导致模型难以训练的问题；
2）由于GAN网络作为生成网络，其在进行图像质量优化的过程中，对于图像的生成的过程是一步到位的，其生成图像细节存在可解释性差的问题；
3）由于GAN网络本身的特性，其在生成图像的过程中会存在额外生成块状伪影的问题。
通过以上几点不足可以看出，目前利用GAN网络的图像质量优化方法在临床诊断过程中还是遇到了诸多的问题。例如，由于CBCT图像在各器官组织CT值等指标上未达到诊断级CT一致的水平（相差不超过±5%），从而在CBCT图像处理后，会导致新生成的CT图像还存在一些新的噪声斑点，从而对临床医生的诊断造成干扰，甚至严重影响临床医生的诊断结果。
综上所述，无论是从病人，研究者或是临床医生的角度，现如今都希望能够有一种新的CBCT图像质量优化方法，特别是针对头颈部CBCT图像中的鼻咽部份。这种方法能在尽可能降低CT拍摄过程中辐射剂量总量的同时，帮助临床医生准确对病人进行随访期病灶的诊断。
发明内容
针对现有技术存在的不足，本发明提供了一种CBCT图像重建方法，旨在实现对CBCT图像的质量优化，使优化后的CBCT图像符合临床诊断要求。
为解决上述技术问题，本发明通过以下技术方案实现：
一种CBCT图像重建方法，包括如下步骤：
S1、采集若干套往期患者多模态图像数据，每套往期患者多模态图像数据均包含以下内容：该患者在放射治疗前所拍摄的模拟定位的初始CT图像，以及在放射治疗中每隔若干天拍摄一回得到的多张不同时间序列的随访治疗CBCT图像。此外，还包括在拍摄所有CBCT图像的对应时刻所拍摄得到的随访治疗CT图像；
S2、将随访治疗CT图像作为参考图像，分别对初始CT图像和所有随访治疗CBCT图像进行刚性配准，得到配准CT图像和配准CBCT图像；
S3、以配准CBCT图像作为待优化对象，以配准CT图像作为参考对象，并以随访治疗CT图像作为学习对象，构建并训练基于条件的去噪扩散概率模型（conditional basedDiffusion Denoising Probability Model，cDDPM ）；
S4、将当前患者在放射治疗中每隔若干天拍摄一回得到的多张不同时间序列的随访治疗CBCT图像，以及其在放射治疗前所拍摄得到的模拟定位的初始CT图像，同时输入到已经训练好的cDDPM中，生成属于当前患者的且达到临床诊断级别的合成CT图像。
进一步的，由于所生成的合成CT图像完全满足临床诊断的要求，因此可以帮助临床医生重新计算放射治疗的辐射剂量，从而应用于自适应放射治疗中。
进一步的，患者的拍摄部位可以为人体鼻咽处所对应的头颈部，即所采集的多模态图像数据分别包括患者头颈部的初始CT图像、随访治疗CBCT图像和随访治疗CT图像。
进一步的，步骤S2中，多模态图像数据间的刚性配准采用医学三维影像刚性配准流程，以基于迭代的方法逐渐逼近真实的空间差异，其计算公式如下，
（1）；
式（1）中，为参考空间中一点，/>为参考像数据的中心位置，/>为刚性变换中的旋转变换，/>为刚性变换中的平移变换，/>为待对齐影像空间中的一点。
进一步的，上述的刚性配准算法可以参与到以下几种不同影像模态间的对齐操作：
CT与CBCT影像间的配准；
当病人同时进行了诊断CT和CBCT影像拍摄时，可将两者进行融合进而增强影像信息，而前提是需要将两者空间对齐；在本发明中，一般将CT作为参考图像（层间分辨率一般更高），将CBCT影像对齐到CT数据空间。
CT或CBCT与三维血管造影成像间的配准；
计算得到从CT或CBCT影像所在空间到三维血管造影成像数据空间的刚性变换，从而可将脑动脉血管三维表面模型变换到参考空间（CT或CBCT所在的拍摄空间）。
CT、CBCT与三维血管造影成像三者间的配准；
当CT和CBCT影像资料同时存在时，先由第1种对齐操作，得到CT与CBCT两者间的刚性变换，而由DWI数据重建得到的脑部三维神经纤维束模型与CBCT影像数据是在同一空间的（同时拍摄），所以可由该刚性变换的逆变换P转移到参考模型空间。
进一步的，步骤S3中，训练cDDPM的具体过程为，
S301、构建以基于条件的去噪扩散概率模型（conditional based DenoisingDiffusion Probabilistic Model，cDDPM）为主干网络的CBCT图像去噪模型，该模型包含两个过程：扩散过程和逆扩散过程；
S302、将配准CBCT图像和配准CT图像同时输入模型，由模型进行扩散过程，通过加噪声后，分别生成加躁CBCT图像和加噪CT图像；
S303、将生成的加躁CBCT图像和加噪CT图像输入模型，由模型进行逆扩散推理，通过去噪和合成后，生成去噪的合成CT图像；
S304、在逆扩散过程中，在模型内部添加一定的约束条件，以加强对生成的合成CT图像在不同时间点下生成状态、空间形态上的约束；
S305、在模型学习不同时刻噪声分布的过程中，使用混合损失函数来衡量合成CT图像与随访治疗CT图像的结构一致性差异，对模型进行纠正，以进一步约束模型学习结果，从而得到训练好cDDPM。
进一步的，步骤S302中，在模型进行加躁声过程中，将配准CT图像与配准CBCT图像之间的残差图作为模型输入。通过让cDDPM学习配准CT图像与配准CBCT图像之间的残差特征的方式，避免直接学习大量原图像特征，以加快模型收敛速度。
进一步的，步骤S304中，通过将对应时间点t，以及在时间点t下通过扩散过程采样得到的CBCT图像，作为额外的条件特征，分别嵌入到模型在2倍、4倍、8倍、16倍下采样过程得到的特征图中，从而在cDDPM进行推理生成合成CT图像的逆扩散过程中，加强对生成的合成CT图像在不同时间点下生成状态、空间形态上的约束。
进一步的，步骤S305中，所述混合损失函数目的主要是用于训练得到模型的权重参数，所述混合损失函数的计算方法如下，
首先，在模型进行逆扩散过程时，由U-Net神经网络采用损失函数来衡量生成图像与加噪图像之间差异，所采用的损失函数的计算公式如下，
（2）；
然后，加入SSIM（结构相似性）使生成的去噪图像更符合人眼的观察习惯，SSIM的计算公式如下， （3）；
基于式（3），推导出的计算公式，/>（4）；
最后，计算混合损失，其混合损失函数的计算公式如下，
（5）；
在式（2）~式（5）中，α表示用于平衡MSE和SSIM之间比例的参数，表示CT图像中像素的SSIM损失，μ和σ分别表示图像的均值和方差。
一种CBCT图像重建系统，包括数据接收单元、数据处理单元和数据输出单元；
所述数据接收单元用于获取初始CT图像、随访治疗CBCT图像及随访治疗CT图像；
所述数据处理单元用于按照上述CBCT图像重建方法对cDDPM进行训练以及对待优化的随访治疗CBCT图像进行处理。
所述数据输出单元用于显示经质量优化后所生成的合成CT图像。
一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述CBCT图像重建方法对应的操作。
一种计算机存储介质，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行上述CBCT图像重建方法对应的操作。
与现有技术相比，本发明的有益效果为：
本发明能够利用病人在随访阶段过程中拍摄的CBCT图像，配合上在治疗前拍摄的定位用的CT图像，通过基于条件的去噪扩散概率模型进行图像质量优化，最终生成对应时间点的合成CT图像。所生成的合成CT图像不仅在图像质量上远远优于CBCT图像，几乎不存在额外的块状伪影，而且在亮度、对比度上接近定位用的CT图像，更符合符合人眼的观察习惯，完全满足临床诊断的要求，具有较高的临床价值，可直接用于辅助诊断。
本发明能够将病人在随访阶段过程中拍摄的CBCT的图像质量提高到诊断级CT的要求，从而可以帮助临床医生重新计算放疗的辐射剂量，并提高剂量计算的准确性，进而有助于提高自适应治疗的效率，同时消除主观性。
本发明可以广泛应用于鼻咽部诊断的CBCT图像质量优化，能够在尽可能降低CT扫描过程中辐射剂量总量的同时，实现在病人随访期对鼻咽部分的病灶进行临床诊断。
本发明还能够根据情况，接受不同模态组合的三维医学影像作为输入，并最终通过扩散概率模型得到相应的图像质量优化结果，可以用于不同模态下图像质量的转换。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明CBCT图像重建方法的主要步骤流程图；
图2为本发明CBCT图像重建方法所采用的多模态三维医学影像刚性配准的一般流程图；
图3为使用传统DDPM模型对CBCT图像进行质量优化的推理过程图；
图4为本发明CBCT图像重建方法所采用的cDDPM模型对CBCT图像进行质量优化的推理过程图；
图5为本发明CBCT图像重建方法所采用的cDDPM模型通过随访拍摄的CBCT以及初始提供的CT，对随访过程中未进行拍摄的CT图像进行推理的过程图；
图6A为本发明CBCT图像重建方法生成的一副合成CT图像的质量优化前后对比图；
图6B为本发明CBCT图像重建方法生成的另一副合成CT图像的质量优化前后对比图。
具体实施方式
以下将结合附图对本发明的较佳实施例进行详细说明，以便更清楚理解发明的目的、特点和优点。应理解的是，附图所示的实施例并不是对本发明范围的限制，而只是为了说明本发明技术方案的实质精神。
在下文的描述中，出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。
在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
如该说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“和/或”的含义使用，除非文中清楚地另外规定。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
参见图1所示，一种CBCT图像重建方法，主要包括训练用病人多模态图像数据的采集，病人多模态图像数据的配准，基于条件的去噪扩散概率模型的训练，以及基于条件的去噪扩散概率模型的使用这四个步骤。下面将对上述四个步骤做详细介绍：
1、训练用病人多模态图像数据的采集
收集若干套（如至少500套）往期患者多模态图像数据。每套往期患者多模态图像数据均包含：
该名往期患者在放射治疗前所拍摄得到的模拟定位的初始CT图像；
该名往期患者在放射治疗中每隔若干天（如每隔5-7天）拍摄一回得到的多张不同时间序列的随访治疗CBCT图像；
该名往期患者在拍摄所有CBCT图像的对应时刻所拍摄得到的随访治疗CT图像。
在本发明的实施例中，所采集的病人多模态图像数据，优选为人体鼻咽处所对应的头颈部的初始CT图像、随访治疗CBCT图像和随访治疗CT图像。
病人多模态图像数据的配准
对于三维医学影像，相同病人在不同模态（或相同模态不同时间）的拍摄中头部的形态姿势很难保持一致，且拍摄空间本身定义也有差异，因此影像数据间需要进行刚性配准（Registration）计算才能对齐到同一空间和姿势。医学三维影像刚性配准的一般流程如图2所示，是以基于迭代的方法逐渐逼近真实的空间差异，常用的开源算法库有Elastix、NiftyReg等。
刚性配准的计算公式为： （1）；
式（1）中，为参考空间中一点，/>为参考像数据的中心位置，刚性变换包含了旋转变换和平移变换，/>为旋转变换，/>为平移变换，/>为待对齐影像空间中的一点。
该变换可以将待对齐的三维影像数据重采样到参考空间，而其逆变换则可将待对齐影像数据重建出的三维（表面点云）模型变换到参考模型空间。
因此上述刚性配准算法可以参与到不同影像模态间的对齐操作：
CT与CBCT影像间的配准；
当病人同时进行了诊断CT和CBCT影像拍摄时，可将两者进行融合进而增强影像信息，而前提是需要将两者空间对齐；在本发明中，一般将CT作为参考图像（层间分辨率一般更高），将CBCT影像对齐到CT数据空间。
CT或CBCT与三维血管造影成像间的配准；
计算得到从CT或CBCT影像所在空间到三维血管造影成像数据空间的刚性变换，从而可将脑动脉血管三维表面模型变换到参考空间（CT或CBCT所在的拍摄空间）。
CT、CBCT与三维血管造影成像三者间的配准；
当CT和CBCT影像资料同时存在时，先由第1种对齐操作，得到CT与CBCT两者间的刚性变换，而由DWI数据重建得到的脑部三维神经纤维束模型与CBCT影像数据是在同一空间的（同时拍摄），所以可由该刚性变换的逆变换P转移到参考模型空间。
在本发明的实施例中，是以收集到的随访治疗CT图像作为参考图像，分别对收集到的初始CT图像及所有随访治疗CBCT图像进行刚性配准，得到配准CT图像和配准CBCT图像。
基于条件的去噪扩散概率模型（cDDPM）的训练及使用
目前，基于DDPM的图像生成网络在图像生成领域取得了优于GAN网络的效果。针对DDPM模型对图像进行质量提升的研究正成为医疗影像处理方面的热门领域。
参见图3所示，图3展示传统DDPM对CBCT图像进行质量优化的推理过程。使用DDPM的优点是，在拟扩散过程生成图像时，是逐步进行生成，每次只生成较少的细节。这种“逐步”的方式，能够规避掉在GAN网络中单步生成图像时产生的“块状”伪影，对于鼻咽部CT图像这种需要着重观察细节的图像来说尤为重要。
然而，在DDPM学习CBCT图像噪声分布的过程中，会遇到CT结构复杂，细节较多，模型无法准确地捕捉到目标域的分布，进而导致网络难以收敛，这样同样会生成伪影，且这种伪影更难被发现，进而严重影响医生观察。此外，在DDPM进行相关推理过程中，由于模型需要根据输入的时间步长T（在DDPM中这个值通常会设置的较大），对输入图像进行逐步逆向推理，这导致了模型逐步推理速度慢的问题。
由于DDPM在不加约束的情况下，生成目标域图像的质量已经得到了充分的验证。为了能够在利用DDPM优点的同时，规避掉其生成的图像与输入图像在形态结构上完全不同的劣势，参见图4所示，本发明专门提出了一种基于条件的去噪扩散概率模型（conditionalbased Diffusion Denoising Probability Model，cDDPM），该cDDPM在架构在上采用了Diffusion Model的思路，同时为了适应本章的任务，为模型内部添加了一定的约束条件。
训练cDDPM的具体步骤如下：
构建以基于条件的去噪扩散概率模型（conditional based DenoisingDiffusion Probabilistic Model，Diffusion Model，cDDPM）为主干网络的CBCT图像去噪模型，该模型包含两个过程：扩散过程和逆扩散过程；。
将配准CBCT图像和配准CT图像同时输入模型，其中配准CBCT图像作为待优化对象，配准CT图像作为参考对象，由模型进行扩散过程，通过加噪声后，分别生成加躁CBCT图像和加噪CT图像。
为了加快cDDPM生成合成CT图像的速度，在模型进行加躁声过程中，本发明在这里引入配准CT图像与配准CBCT图像之间的残差图作为模型的输入，通过让cDDPM学习配准CT图像与配准CBCT图像之间的残差特征的方式，避免直接学习大量原图像特征，转而学习配准CT图像与配准CBCT图像之间的残差关系，从而使得模型收敛速度更快。
将生成的加躁CBCT图像和加噪CT图像输入模型，由模型进行逆扩散推理，通过去噪和合成后，生成去噪的合成CT图像。
在逆扩散过程中，在模型内部添加一定的约束条件，以约束模型生成图像的过程。
为此，通过将对应时间点t，以及在时间点t下通过扩散过程采样得到的CBCT图像，作为额外的条件特征，分别嵌入到模型在2倍、4倍、8倍、16倍下采样过程得到的特征图中。从而通过这样的方式，在cDDPM在进行推理生成合成CT图像的逆扩散过程中，加强对生成的合成CT图像在不同时间点下生成状态、空间形态上的约束。
5）在模型学习不同时刻噪声分布的过程中，以随访治疗CT图像作为学习对象，使用混合损失函数来衡量合成CT图像与随访治疗CT图像的结构一致性差异，对模型进行纠正，以进一步约束模型学习结果，从而得到训练好的cDDPM。
混合损失函数目的主要是用于训练得到模型的权重参数。本发明在cDDPM的逆扩散过程中，由U-Net神经网络衡量生成图像（合成CT图像）与加噪图像（加噪CT图像）之间差异，所采用的初始损失函数如下，
（6）；
然而根据Ho等人的发现，用忽略加权像的简化目标训练扩散模型效果更好，因此得到优化后的损失函数，其计算公式如下，
（2）；
使用式（6）对CT图像进行去噪，虽然可以得到噪声水平较低的图像，但在实际使用过程中发现，生成的降噪图像在结节部分亮度、对比度均无法达到令医生满意的水平。由于亮度、对比度、像素间的结构关系的好坏等因素，严重影响到生成图像的观测，即医生对鼻咽结节的诊断结果。若生成图像的“特征”与实际图像不符合，尽管生成的合成CT图像在噪声水平上低于CBCT图像，但临床应用价值却很低，这与“生成可以用于辅助诊断的图像”这一目标严重相悖。
于是，本发明加入SSIM（结构相似性）使生成的去噪图像更符合人眼的观察习惯，即约束模型生成的合成CT图像在亮度、对比度上接近常规剂量的CT图像。SSIM的计算公式如下， （3）；
基于式（3），可以进一步推导出LSSIM的计算公式，
（4）；
最后，就可以对混合损失进行计算，其混合损失函数的计算公式如下，
（5）；
在式（2）~式（5）中，α表示用于平衡MSE和SSIM之间比例的参数，LSSIM表示CT图像中像素的SSIM损失，μ和σ分别表示图像的均值和方差。
基于条件的去噪扩散概率模型（cDDPM）的使用；
在当前患者放射治疗前，通过拍摄其待放疗的病患部位（如鼻咽部位所在的头颈部），以获得模拟定位的初始CT图像；
在当前患者放射治疗中，每隔若干天（如每隔5-7天）拍摄一次放疗中的病患部位（如鼻咽部位所在的头颈部），以获得多张不同时间序列的随访治疗CBCT图像；
参见图5所示，将当前患者的初始CT图像及随访治疗CBCT图像一同作为模型输入，输入到已经训练好的cDDPM中，最终生成属于当前患者的且达到临床诊断级别的合成CT图像。
参见图6A和图6B所示，分别展示了使用cDDPM对两幅人体头颈部的CBCT图像进行质量优化后效果的前后对比图。图6A和图6B中，左图表示cDDPM所生成的合成CT图像，中图表示在放疗前拍摄的初始CT图像，右图表示在放疗过程中拍摄的随访治疗CBCT图像。从优化前后的对比可以明显看出，cDDPM所生成的合成CT图像不仅在图像质量上远远优于随访治疗CBCT图像，几乎不存在额外的块状伪影，而且在亮度、对比度上接近初始CT图像，更符合符合人眼的观察习惯，生成了可以用于辅助诊断的虚拟CT图像。
由于cDDPM所生成的合成CT图像完全满足临床诊断的要求，具有较高的临床价值，从而可以帮助临床医生重新计算放疗的辐射剂量，进而有助于提高自适应治疗（ART）的效率，同时消除主观性，因此本发明的CBCT图像重建方法可以广泛应用于鼻咽部诊断的CBCT图像质量优化。
一种CBCT图像重建系统，包括数据接收单元、数据处理单元和数据输出单元；
所述数据接收单元用于获取初始CT图像、随访治疗CBCT图像及随访治疗CT图像；
所述数据处理单元用于按照上述CBCT图像重建方法对cDDPM进行训练以及对待优化的随访治疗CBCT图像进行处理。
所述数据输出单元用于显示经质量优化后所生成的合成CT图像。
一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述CBCT图像重建方法对应的操作。
一种计算机存储介质，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行上述CBCT图像重建方法对应的操作。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种CBCT图像重建方法，其特征在于，包括：
S1、采集若干套往期患者多模态图像数据；每套往期患者多模态图像数据均包含以下内容：该名往期患者在放射治疗前所拍摄得到的模拟定位的初始CT图像，在放射治疗中每隔若干天拍摄一回得到的多张不同时间序列的随访治疗CBCT图像，以及在拍摄所有CBCT图像的对应时刻所拍摄得到的随访治疗CT图像；
S2、将随访治疗CT图像作为参考图像，分别对初始CT图像和所有随访治疗CBCT图像进行刚性配准，以得到配准CT图像和配准CBCT图像；
S3、以配准CBCT图像作为待优化对象，以配准CT图像作为参考对象，并以随访治疗CT图像作为学习对象，构建并训练基于条件的去噪扩散概率模型；
S4、将当前患者在放射治疗中每隔若干天拍摄得到的多张不同时间序列的随访治疗CBCT图像，以及其在放射治疗前所拍摄得到的模拟定位的初始CT图像，同时输入到已经训练好的基于条件的去噪扩散概率模型中，生成属于当前患者的且达到临床诊断级别的合成CT图像。
2.根据权利要求1所述的CBCT图像重建方法，其特征在于：步骤S2中，多模态图像数据间的刚性配准采用医学三维影像刚性配准流程，以基于迭代的方法逐渐逼近真实的空间差异，其计算公式如下，（1）；
式（1）中，为参考空间中一点，/>为参考像数据的中心位置，/>为刚性变换中的旋转变换，/>为刚性变换中的平移变换，/>为待对齐影像空间中的一点。
3.根据权利要求2所述的CBCT图像重建方法，其特征在于：所述刚性配准的算法可以参与到多种不同影像模态间的对齐操作，包括CT与CBCT影像间的配准，CT或CBCT与三维血管造影成像间的配准，以及CT、CBCT与三维血管造影成像三者间的配准。
4.根据权利要求1所述的CBCT图像重建方法，其特征在于：步骤S3中，训练基于条件的去噪扩散概率模型的具体过程为，
S301、构建以基于条件的去噪扩散概率模型为主干网络的CBCT图像去噪模型，该模型包含两个过程：扩散过程和逆扩散过程；
S302、将配准CBCT图像和配准CT图像同时输入模型，由模型进行扩散过程，通过加噪声后，分别生成加躁CBCT图像和加噪CT图像；
S303、将生成的加躁CBCT图像和加噪CT图像输入模型，由模型进行逆扩散推理，通过去噪和合成后，生成去噪的合成CT图像；
S304、在逆扩散过程中，在模型内部添加一定的约束条件，以加强对生成的合成CT图像在不同时间点下生成状态、空间形态上的约束；
S305、在模型学习不同时刻噪声分布的过程中，使用混合损失函数来衡量合成CT图像与随访治疗CT图像的结构一致性差异，对模型进行纠正，进一步约束模型学习结果，从而得到训练好的基于条件的去噪扩散概率模型。
5.根据权利要求4所述的CBCT图像重建方法，其特征在于：步骤S302中，在模型进行加躁声过程中，将配准CT图像与配准CBCT图像之间的残差图作为模型输入；通过让基于条件的去噪扩散概率模型学习配准CT图像与配准CBCT图像之间的残差特征的方式，避免直接学习大量原图像特征，以加快模型收敛速度。
6.根据权利要求4所述的CBCT图像重建方法，其特征在于：步骤S304中，通过将对应时间点t，以及在时间点t下通过扩散过程采样得到的CBCT图像，作为额外的条件特征，分别嵌入到模型在2倍、4倍、8倍、16倍下采样过程得到的特征图中，从而在基于条件的去噪扩散概率模型进行推理生成合成CT图像的逆扩散过程中，加强对生成的合成CT图像在不同时间点下生成状态、空间形态上的约束。
7.根据权利要求4所述的CBCT图像重建方法，其特征在于：步骤S305中，所述混合损失函数的目的是用于训练得到模型的权重参数，所述混合损失函数的计算方法如下，
首先，在模型进行逆扩散过程时，由U-Net神经网络采用损失函数来衡量生成图像与加噪图像之间差异，所采用的损失函数的计算公式如下，
（2）；
然后，加入SSIM使生成的去噪图像更符合人眼的观察习惯，SSIM的计算公式如下，
（3）；
基于式（3），推导出LSSIM的计算公式，（4）；
最后，计算混合损失，其混合损失函数的计算公式如下，
（5）；
在式（2）~式（5）中，α表示用于平衡MSE和SSIM之间比例的参数，表示CT图像中像素的SSIM损失，μ和σ分别表示图像的均值和方差。
8.一种CBCT图像重建系统，其特征在于：包括数据接收单元、数据处理单元和数据输出单元；
所述数据接收单元用于获取初始CT图像、随访治疗CBCT图像及随访治疗CT图像；
所述数据处理单元用于按照权利要求1-7中任意一项所述的CBCT图像重建方法对基于条件的去噪扩散概率模型进行训练以及对待优化的随访治疗CBCT图像进行处理；
所述数据输出单元用于显示经质量优化后所生成的合成CT图像。
9.一种计算机装置，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任意一项所述的CBCT图像重建方法对应的操作。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如权利要求1-7中任意一项所述的CBCT图像重建方法对应的操作。
CN202310898957.1A 2023-07-21 2023-07-21 Cbct图像重建方法、系统、计算机装置及存储介质 Active CN116993848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310898957.1A CN116993848B (zh) 2023-07-21 2023-07-21 Cbct图像重建方法、系统、计算机装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310898957.1A CN116993848B (zh) 2023-07-21 2023-07-21 Cbct图像重建方法、系统、计算机装置及存储介质

Publications (2)

Publication Number Publication Date
CN116993848A true CN116993848A (zh) 2023-11-03
CN116993848B CN116993848B (zh) 2024-06-11

Family

ID=88531359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310898957.1A Active CN116993848B (zh) 2023-07-21 2023-07-21 Cbct图像重建方法、系统、计算机装置及存储介质

Country Status (1)

Country Link
CN (1) CN116993848B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392259A (zh) * 2023-12-11 2024-01-12 电子科技大学 一种双视角跨模态重建ct影像的方法
CN118379208A (zh) * 2024-06-24 2024-07-23 电子科技大学长三角研究院(衢州) 基于混合损失函数扩散模型的增强ct图像生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333219A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Cone-beam ct image enhancement using generative adversarial networks
CN113706409A (zh) * 2021-08-18 2021-11-26 苏州雷泰医疗科技有限公司 基于人工智能的cbct图像增强方法、装置和存储介质
CN116402865A (zh) * 2023-06-06 2023-07-07 之江实验室 一种利用扩散模型的多模态影像配准方法、装置和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333219A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Cone-beam ct image enhancement using generative adversarial networks
CN113706409A (zh) * 2021-08-18 2021-11-26 苏州雷泰医疗科技有限公司 基于人工智能的cbct图像增强方法、装置和存储介质
CN116402865A (zh) * 2023-06-06 2023-07-07 之江实验室 一种利用扩散模型的多模态影像配准方法、装置和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈向前;郭小青;周钢;樊瑜波;王豫;: "基于深度学习的2D/3D医学图像配准研究", 中国生物医学工程学报, no. 04, 20 August 2020 (2020-08-20) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392259A (zh) * 2023-12-11 2024-01-12 电子科技大学 一种双视角跨模态重建ct影像的方法
CN117392259B (zh) * 2023-12-11 2024-04-16 电子科技大学 一种双视角跨模态重建ct影像的方法
CN118379208A (zh) * 2024-06-24 2024-07-23 电子科技大学长三角研究院(衢州) 基于混合损失函数扩散模型的增强ct图像生成方法及装置

Also Published As

Publication number Publication date
CN116993848B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN116993848B (zh) Cbct图像重建方法、系统、计算机装置及存储介质
Wang et al. Organ at risk segmentation in head and neck CT images using a two-stage segmentation framework based on 3D U-Net
Zhang et al. When unseen domain generalization is unnecessary? rethinking data augmentation
Iqbal et al. Generative adversarial networks and its applications in the biomedical image segmentation: a comprehensive survey
CN110390361B (zh) 一种基于运动补偿学习的4d-cbct成像方法
CN114596225A (zh) 一种运动伪影模拟方法和系统
Khor et al. Anatomically constrained and attention-guided deep feature fusion for joint segmentation and deformable medical image registration
Baydoun et al. Dixon-based thorax synthetic CT generation using generative adversarial network
Shan et al. Can deep learning outperform modern commercial CT image reconstruction methods?
Xie et al. Generation of contrast-enhanced CT with residual cycle-consistent generative adversarial network (Res-CycleGAN)
Gao et al. 3DSRNet: 3D Spine Reconstruction Network Using 2D Orthogonal X-ray Images Based on Deep Learning
WO2023160720A1 (en) Methods, systems, and storage mediums for image generation
Gholizadeh-Ansari et al. Low-dose CT denoising using edge detection layer and perceptual loss
US20230260123A1 (en) Medical image processing method for processing pediatric simple x-ray image using machine learning model and medical image processing apparatus therefor
CN116563402A (zh) 跨模态mri-ct图像合成方法、系统、设备和介质
CN116542868A (zh) 基于注意力的生成对抗网络的x胸片肋骨影像的抑制方法
CN116363248A (zh) 单平面X-Ray影像合成CT影像的方法、系统、设备和介质
CN111951346B (zh) 一种联合运动估计与时空张量增强表示的4d-cbct重建方法
Wang et al. An unsupervised dual contrastive learning framework for scatter correction in cone-beam CT image
Papanastasiou et al. Focus on machine learning models in medical imaging
CN114723879A (zh) 一种基于多维跨模态影像融合技术的人脑锥体束全自动重建方法
Ting et al. Multiview 3-d echocardiography image fusion with mutual information neural estimation
Curcuru et al. Minimizing CIED artifacts on a 0.35 T MRI‐Linac using deep learning
Lossau et al. Dynamic pacemaker artifact removal (DyPAR) from CT data using CNNs
WO2023030344A1 (en) Systems and methods for medical image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant