CN116363248A - 单平面X-Ray影像合成CT影像的方法、系统、设备和介质 - Google Patents

单平面X-Ray影像合成CT影像的方法、系统、设备和介质 Download PDF

Info

Publication number
CN116363248A
CN116363248A CN202310340416.7A CN202310340416A CN116363248A CN 116363248 A CN116363248 A CN 116363248A CN 202310340416 A CN202310340416 A CN 202310340416A CN 116363248 A CN116363248 A CN 116363248A
Authority
CN
China
Prior art keywords
image
ray
images
synthesizing
ray image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310340416.7A
Other languages
English (en)
Inventor
徐永恒
赵加坤
孟桂云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Xinda Real Estate Land Appraisal Co ltd
Original Assignee
Xuzhou Xinda Real Estate Land Appraisal Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Xinda Real Estate Land Appraisal Co ltd filed Critical Xuzhou Xinda Real Estate Land Appraisal Co ltd
Priority to CN202310340416.7A priority Critical patent/CN116363248A/zh
Publication of CN116363248A publication Critical patent/CN116363248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

单平面X‑Ray影像合成CT影像的方法、系统、设备和介质，方法为：获取CT数据集和X‑Ray影像数据集，并进行增强式处理，CT影像与对应的增强式X‑Ray影像进行配对，随机选取训练集，测试集；构建用于将X‑Ray影像合成CT影像的生成对抗网络模型，采用训练集，进行模型训练工作；将已进行过增强式处理的X‑Ray影像输入最优的X‑Ray影像合成CT影像的生成对抗网络模型，从而将预处理的X‑Ray影像转换为合成的CT影像；本发明还包括单平面X‑Ray影像合成CT影像的系统、设备和介质；本发明旨在通过生成对抗神经网络进行单平面X‑Ray影像合成CT影像，提高医学影像跨模态合成的感知质量，增强合成影像与原影像之间的结构相似度。

Description

单平面X-Ray影像合成CT影像的方法、系统、设备和介质
技术领域
本发明涉及医学影像、计算机视觉及跨模态影像合成技术领域，特别涉及一种基于生成对抗网络的单平面X-Ray影像合成CT影像的方法、系统、设备和介质。
背景技术
在进行医学诊断以及医学治疗的过程中，医学影像起着至关重要的作用。在临床上来讲，单一模态下的医学影像数据存在有一定的局限性，医生往往需要结合多个模态下的数据作为医学诊断的依据。X-Ray影像(X射线)和CT(计算机断层扫描)往往是医生常规采纳的参考影像。20世纪80年代，Hounsfield发明的CT扫描技术被用于医学领域。随着计算机技术在放疗计划中的应用，放疗照射进入了从二维到三维的时代。计算机断层扫描(CT)影像能提供良好的电子密度信息，而电子密度信息对于放疗治疗规划中的剂量计算和正电子发射断层扫描重建中的衰减校正等应用是必不可少的。在1895年Wilhelm Rntgen发现X射线后，X射线立即在临床实践中得到广泛应用。这是一种新的成像方式，使我们能够无创地看穿人体，并诊断内部解剖结构的变化。然而，所有的组织都被投影到2D影像上，彼此重叠。虽然骨头清晰可见，但软组织往往很难辨别。然而对比于X-Ray影像，CT扫描对患者的辐射剂量要大得多(取决于CT重建时所需的X射线的数量)，且CT扫描仪的成本也往往比X光机高得多。如若患者为了获取完整的影像资料，同时进行CT扫描和X光射线扫描在一定程度上也会增加患者的经济和身体负担，通过影像配准技术对X-Ray影像和CT影像进行空间上的配准的方法也会存在一定的误差，从而会影像治疗的准确性。因此，如何在仅能获取X-Ray影像的条件下，合成患者的三维CT影像，是当前领域的热点研究问题。
为了解决上述问题，早期研究人员通过数百个X射线投影，采用标准的重建算法，如滤波反射投影或迭代重建，可以准确地重建出一个CT容积扫描。然而，数据采集需要X光设备在患者周围快速旋转，这在典型的X光机上是无法实现的。随后研究人员提出了基于图谱的方法，该方法基于影像空间域上的两个模态影像的配准进行变换，实验的结果显示出与配准的结果是强相关。由于配准结果必然存在着系统误差的影响，该方法的实验结果对于前述问题的解决能力较差。
近年来，随着深度学习的不断发展，一方面卷积神经网络在影像特征提取、影像分割问题上的成果越来越显著；另一方面随着生成对抗网络的良好发展，在医学影像领域的应用也越来越广泛，成为医学影像变换领域中的热点技术。对于使用深度学习的方式进行跨模态的医学影像的生成问题，Tong F等联合使用图卷积网络和卷积神经网络实现了由单一角度X射线2D投影重建目标器官3D网格轮廓，其中CNN用于由2D影像提取特征，GCN用于网络变形与3D网格轮廓生成。然而该方法仅能生成特定器官网状面外轮廓，器官CT值及患者整体结构等信息不能获取。Shen LY等设计开发了一个结构化的深度学习训练模型，实现了从患者单个角度2D投影预测其3D CT影像。该研究通过把将2D投影中学习所得表征信息转化为3D表征张量，利用生成网络将所得3D表征张量生成3D CT影像。然而因数据资源有限，该研究使用的相关2D投影与3D CT配套数据集为手动生成，缺乏真实性，缺少相应的实践意义。
申请号为CN202211324414.0，名称为《一种利用双平面X光图片重建CT图片的方法》的专利申请公布了一种利用双平面X光图片重建CT图片的方法，采用TRCT-GAN网络模型方法从两张X光影像中重建CT影像，但该方法仅能对正视图及侧视图的X光影像进行重建处理，对于其他角度的影像并不适配；该方法在编码器网络与解码器网络间的特征转换部分不稳定，丢失了很多有价值的细节信息，导致重建出的体积CT影像缺少清晰的边界，内部存在伪影，纹理结构模糊。
发明内容
为了克服上述现有技术受限于样本数据量少，影像在采样重建的过程中丢失或扭曲关键信息等问题，本发明的目的在于提供一种基于生成对抗网络的单平面X-Ray影像合成CT影像的方法、系统、设备和介质，利用单张X-Ray影像，经特征提取和转换操作后，合成纹理结构更清晰、感知质量更高的CT影像。
为了实现上述目的，本发明提供了如下技术方案：
单平面X-Ray影像合成CT影像的方法，包括以下步骤：
(1)获取CT数据集和X-Ray影像数据集，并对获取到的数据集进行增强式处理，对CT扫描进行重采样,重采样后的CT影像与增强式后的对应的X-Ray影像进行配对，随机选取70％-90％配对的CT扫描与X-Ray影像用于训练集，其余配对的CT扫描和X-Ray影像用于测试集；
(2)、构建用于将X-Ray影像合成CT影像的生成对抗网络模型，采用步骤(1)中划分好的训练集，进行模型训练工作,在对抗优化训练过程中，利用目标损失函数控制判别器和生成器的博弈过程，当目标损失函数收敛之后，迭代过程终止，并将最优的对抗网络模型进行保存；
(3)、将已进行过增强式处理的X-Ray影像输入步骤(2)中保存的最优的对抗网络模型，将X-Ray影像转换为合成的CT影像。
所述的步骤(1)具体为：
(1.1)、首先获取到二维的X-Ray影像和对应的二维的CT体积影像集，以此影像集为基准，进行后续训练集处理；
(1.2)、将步骤(1.1)中获取的CT影像重新采用为1x1x1mm3的体素分辨率，然后从每一个CT影像中裁剪出320x320x320mm3的影像，得到增强式处理后的CT影像，并保存下来；
(1.3)、将步骤(1.2)中重采样后的CT影像与对应的增强式X-Ray影像进行配对，供后续训练过程使用；
(1.4)、进行采样随机化，从上述标准化处理后的数据集中进行随机采样，随机选取70％-90％作训练集，其余作测试集。
所述步骤(2)具体为：
(2.1)、基于3D生成器和3D判别器的生成对抗网络框架，并使用PatchGAN作为3D判别器结构，初步构建网络模型；
(2.2)、基于对抗性损失、重建损失、影像梯度差分损失组合设定网络模型的目标损失函数，生成最终的对抗网络模型；
(2.3)、利用步骤(1)中划分好的预处理训练集对最终的对抗网络模型，训练过程中，观察目标损失函数的变化情况，直到目标损失函数收敛后停止训练，得到X-Ray影像合成CT影像的生成对抗网络模型，并将最优的生成对抗网络模型进行保存。
所述步骤(2.1)具体操作包括：
(2.1.1)、构建3D生成器，该生成器模型包括编码器网络和解码器网络两部分，在编码器网络和解码器网络之间加入桥接模块和跳跃连接模块；
(2.1.2)、构建3D判别器，该判别器模型采用的是PatchGAN的结构，全部由卷积层堆叠而成，输出的是一个矩阵，矩阵中每个元素对应于图像的一个感受野，最后取所有元素的均值作为最终的判别值。
所述步骤(2.2)具体操作包括：
(2.2.1)、对抗性损失用于控制合成CT影像的分布与训练集影像的分布之间匹配程度，采用LSGAN中定义的最小二乘对抗损失函数，表达式如下：
Figure BDA0004158040730000051
其中，G(x)表示原始X-Ray影像经过生成器网络后得到的合成CT影像，DY(G(x))表示合成的CT影像经过判别器网络后得到的值；
(2.2.2)、重建损失用于描述合成CT影像在体素层面上相对于真实CT影像的差异，表达式如下：
Figure BDA0004158040730000052
其中，x表示输入的X-Ray影像，y表示与输入样本x相对应的真实CT影像。G(x)表示原始X-Ray影像经过生成器网络后得到的合成CT影像；
(2.2.3)、影像梯度差损失函衡量的是合成CT影像与真实CT影像之间清晰度的差异，表达式如下：
Figure BDA0004158040730000061
其中，梯度
Figure BDA0004158040730000062
表示在三维笛卡尔坐标系中，沿着三个x,y,z方向上影像的梯度；
(2.2.4)、设定总目标损失函数，完成最终的对抗网络模型构建：
LG＝λ1L1+λ2L2+λ3L3
其中，λ1表示对抗性损失的权重，λ2表示重建损失的权重，λ3表示影像梯度差损失的权重，且λ1取值为0.5，λ2与λ3取值为1。
所述步骤(2.3)具体为：
(2.3.1)、将步骤(1)中划分的训练集输入到步骤(2.2)构建的最终的网络模型中，设置初始网络学习率≤0.1，总训练周期为不少于50次；
(2.3.2)、前半个周期内保持网络学习率不变，后半个周期内采用线性学习衰减策略，将学习率逐渐降低至0；
(2.3.3)、使用反向传播算法，根据目标损失函数的变化情况及判别器网络的最后一层参数，更新生成器网络中的相关参数；
(2.3.4)、待目标损失函数趋于稳定或训练达到周期时，将生成的最优对抗网络模型进行保存。
所述步骤(3)具体为：
(3.1)、将已经进行增强式处理的X-Ray影像输入到步骤(2.4)中所保存的最优对抗网络模型中；
(3.2)、得到步骤(3.1)得到的最优合成CT影像结果。
单平面X-Ray影像合成CT影像的系统，包括用于执行上述单平面X-Ray影像合成CT影像方法中各个步骤的处理指令模块。
单平面X-Ray影像合成CT影像方法设备，包括存储器和处理器；
存储器：存储上述单平面X-Ray影像合成CT影像方法的计算机程序，为计算机可读取的设备；
处理器：用于执行所述单平面X-Ray影像合成CT影像方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的单平面X-Ray影像合成CT影像方法。
与现有技术相比，本发明具有以下优点：
(1)、本发明所涉及的基于生成对抗网络的X-Ray影像合成CT影像的方法，因为使用成对的X-Ray影像和CT影像作为训练集对初试模型进行监督训练，所得的模型初步具有对X-Ray影像转换为合成CT影像的能力。而后，采用主动学习的方法并利用训练后的生成对抗网络模型来对训练集外的X-Ray影像数据集进行验证，因此所得结果的精度在评价指标上来看会更有效。
(2)、本发明的基于生成对抗网络的单平面X-Ray影像合成CT影像的方法能够通过生成对抗网络模型高效地将不同模态下的X-Ray影像生成相应的合成CT影像，并对模型的泛化性能和精度在相关评价指标上进行定量验证。
(3)、由于本发明采用生成对抗网络、PatchGAN结构、桥接模块和跳跃连接模块，最终合成CT影像的结果有更好的感知质量，更高的结构相似性和更好的评价指标。
(4)、本发明的步骤2.1.1采用桥接模块、跳跃连接模块相结合的方法，能够更好地提取出X-Ray影像的特征信息，并最大化地将二维特征转换为三维特征，减少特征丢失，具有特征信息丢失更少，信息传递质量更高的优势和创新点。
(5)、本发明的步骤2.1.2采用PatchGAN结构作为判别器网络模型的方法，能够使判别器可以考虑到图像的不同部分的影响，可以关注更多的区域信息，具有更适合判别高分辨率图像的优势和创新点。
(6)、本发明的步骤2.2.2采用计算合成CT影像在体素层面上相对于真实CT影像的重建损失的方法，能够加强CT影像空间结构的一致性以及相似性，保证合成CT影像在空间层面上更接近于真实CT影像，具有空间信息损失更少、空间相似度更高的优势和创新点。
(7)、本发明的步骤2.2.3采用计算合成CT影像与真实CT影像之间梯度差分损失的方法，能够感知图像中像素在坐标轴方向上的变化率，使合成影像更加清晰，具有影像锐化程度更高、合成感知质量更好的优势和创新点。
综上所述，与现有技术相比，本发明能够利用单张或多张X-Ray影像，经特征提取和转换操作后，合成纹理结构更清晰、感知质量更高的CT影像，具有合成质量更好、训练效率更高、普适性更强的优势和创新点。
附图说明
图1为本发明的实施例中基于生成对抗网络的单平面X-Ray影像合成CT影像的方法的流程示意图。
图2为本发明的实施例中基于生成对抗网络的单平面X-Ray影像合成CT影像的方法中的桥接模块、跳跃连接模块的结构示意图；其中，图2(a)为桥接模块示意图,图2(b)为跳跃连接模块示意图。
图3为本发明的实施例中基于生成对抗网络的单平面X-Ray影像合成CT影像的方法中的判别器网络的结构示意图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明。
本发明针对在临床上不能或者较难获取病人诊治所需的CT影像资料时，可能会导致其无法得到更好的诊疗方案，提供了基于生成对抗网络的单平面X-Ray影像合成CT影像的方法。
本发明提供的方法计划构建生成对抗网络模型，使用训练数据集对生成对抗网络模型进行对抗优化训练以得到强化性学习，对比于现有的跨模态X-Ray影像合成CT影像技术，本发明的生成对抗网络模型生成速度快，合成影像的感知质量更好，结构相似性更高，对临床诊断有很大的帮助意义。
本实施例的一种基于生成对抗网络的单平面X-Ray影像合成CT影像的方法通过一台计算机运行，该计算机需要一张显卡进行GPU加速运算从而完成模型的训练过程，训练完成的X-Ray影像合成CT影像的生成对抗网络模型以可执行代码的形式存储在计算机中。
图1为本发明的实施例中基于生成对抗网络的单平面X-Ray影像合成CT影像的方法的流程图，步骤包括：
(1)获取CT数据集和X-Ray影像数据集，并对获取到的数据集进行增强式处理，对CT扫描进行重采样,重采样后的CT影像与对应的增强式X-Ray影像进行配对，随机选取70％-90％配对的CT扫描与X-Ray影像用于训练集，其余配对的CT扫描和X-Ray影像用于测试集。
步骤(1)包括：
(1.1)、首先获取到二维的X-Ray影像和对应的二维的CT体积影像集，以此影像集为基准，进行后续训练集处理。
(1.2)、将步骤(1.1)中获取的CT影像重新采用为1x1x1mm3的分辨率，然后从每一个CT影像中裁剪出320x320x320mm3的影像，并保存下来。
(1.3)、将步骤(1.2)中重采样后的CT影像与对应的增强式X-Ray影像进行配对，供后续训练过程使用。
(1.4)、进行采样随机化，从上述标准化处理后的数据集中进行随机采样，随机选取90％作训练集，其余作测试集。
具体来说，数据预处理这一步的操作，主要分为三部分：第一部分，获取X-Ray影像数据集及CT影像数据集；第二部分，对于获得的影像数据集进行重采样处理及标准化预处理，并按对应合并为配对数据集；第三部分，已进行配对处理的初试数据集进行随机采样，分为训练集和测试集。
(2)、构建用于将X-Ray影像合成CT影像的生成对抗网络模型，采用步骤(1)中划分好的训练集，进行模型训练工作,在对抗优化训练过程中，利用目标损失函数控制判别器和生成器的博弈过程，当目标损失函数收敛之后，迭代过程终止，并将最优的稳定模型进行保存。
步骤(2)具体包括：
(2.1)、基于包含3D生成器和3D判别器的生成对抗网络框架，参照图2，在3D生成器的编码器网络和解码器网络中加入桥接模块、跳跃连接模块，并使用PatchGAN作为3D判别器结构，初步构建网络模型。
步骤(2.1)具体操作为：
(2.1.1)、构建3D生成器，该生成器模型包括编码器网络和解码器网络两部分。在编码器网络和解码器网络之间加入桥接模块和跳跃连接模块，可以提取更多有价值的特征。
(2.1.2)、参照图3，构建3D判别器，该判别器模型采用的是PatchGAN的结构，全部由卷积层堆叠而成，输出的是一个矩阵，矩阵中每个元素对应于图像的一个感受野，最后取所有元素的均值作为最终的判别值。
本实施例中，进行初次构建时，X-Ray影像合成CT影像的生成对抗网络模型的生成器网络以编码器-解码器框架为骨干，判别器网络采用PatchGAN结构为骨干，利用现有的深度学习框架PyTorch完成模型的搭建。
(2.2)、基于对抗性损失、重建损失、影像梯度差分损失组合设定网络模型的目标损失函数，获得最终的网络模型。
步骤(2.2)具体操作为：
(2.2.1)、对抗性损失用于控制合成CT影像的分布与训练集影像的分布之间匹配程度，采用LSGAN中定义的最小二乘对抗损失函数，表达式如下：
Figure BDA0004158040730000121
其中，G(x)表示原始X-Ray影像经过生成器网络后得到的合成CT影像，DY(G(x))表示合成的CT影像经过判别器网络后得到的值。
(2.2.2)、重建损失用于描述合成CT影像在体素层面上相对于真实CT影像的差异，表达式如下：
Figure BDA0004158040730000122
其中，x表示输入的X-Ray影像，y表示与输入样本x相对应的真实CT影像。G(x)表示原始X-Ray影像经过生成器网络后得到的合成CT影像。
(2.2.3)、影像梯度差损失函衡量的是合成CT影像与真实CT影像之间清晰度的差异，表达式如下：
Figure BDA0004158040730000123
其中，梯度
Figure BDA0004158040730000124
表示在三维笛卡尔坐标系中，沿着三个x,y,z方向上影像的梯度。
(2.2.4)、设定总目标损失函数，完成最终的网络模型构建工作：
LG＝λ1L1+λ2L2+λ3L3
其中，λ1表示对抗性损失的权重，λ2表示重建损失的权重，λ3表示影像梯度差损失的权重。且λ1取值为0.5，λ2与λ3取值为1。
上述目标损失函数的设定，充分融合了原始生成对抗网络模型的对抗性损失、评估图像清晰度差异的影像梯度差分损失以及评价影像在体素层面差异的重建损失。在训练过程中，生成器网络和判别器网络会进行相互博弈，并根据目标损失函数变化情况进行调整，直到损失函数趋于平稳。
(2.3)、利用步骤(1)中划分好的预处理训练集对最终的网络模型进行训练工作。训练过程中，观察目标损失函数的变化情况，直到目标损失函数收敛后停止训练，得到X-Ray影像合成CT影像的生成对抗网络模型，并将最优的生成对抗网络模型进行保存。
步骤(2.3)具体操作为：
(2.3.1)、将步骤(1)中划分的训练集输入到步骤(2.2)构建的最终的网络模型中，设置初始网络学习率为0.0002，总训练周期为100次。
(2.3.2)、前50个周期内保持网络学习率不变，后50个周期内采用线性学习衰减策略，将学习率逐渐降低至0。
(2.3.3)、使用反向传播算法，根据目标损失函数的变化情况及判别器网络的最后一层参数，更新生成器网络中的相关参数。
(2.3.4)、待目标损失函数趋于稳定或训练周期达到100时，将将最优的生成对抗网络模型进行保存。
经过上述迭代化训练并在迭代过程中进行误差计算和反向传播的过程，即可获得训练完成的X-Ray影像合成CT影像的生成对抗网络模型，并将最优的模型进行保存。
在本实施例中，生成器网络的损失函数与判别器网络的损失函数的取值均归一化至[0,1]之间，表示合成的CT影像是否可以被判别为真实的CT影像。其中0表示判别器认为合成的CT影像是假的，1表示判别器认为合成的CT影像是真实的。
(3)、将已进行过增强式处理的X-Ray影像输入步骤(2)中保存的最优的X-Ray影像合成CT影像的生成对抗网络模型，从而将预处理的X-Ray影像转换为合成的CT影像。
步骤(3)具体包括：
(3.1)、将已经进行预处理的X-Ray影像输入到步骤(2.4)中所保存的最优生成对抗网络中。
(3.2)、得到步骤(3.1)得到的最优合成CT影像结果，提供给相关人员。
本实施例中X-Ray影像合成CT影像的生成对抗网络模型学习到的是通过同一个患者的X-Ray影像及其CT影像之间的特征联系，从而跨模态的通过X-Ray影像生成CT影像。
实施例的作用与效果：
根据本实施例所涉及的基于生成对抗网络的单平面X-Ray影像合成CT影像的方法，因为使用成对的X-Ray影像与CT影像对网络模型进行监督性训练，所以使得模型初步具备了对X-Ray影像转换为合成CT影像的能力。然后，采用主动学习的方法并利用已经训练好的生成对抗网络模型来对训练集之外的X-Ray影像进行验证测试，因为能够将这些数据作为该模型的训练结果在精度上的评价标准。此外，本实施例所涉及的基于生成对抗网络的单平面X-Ray影像合成CT影像的方法能够高效地将不同模态的X-Ray影像生成相应的合成CT影像，并对模型的泛化性能和精度在评价指标上可以进行定量验证。
因此，采用本实施例的基于生成对抗网络的单平面X-Ray影像合成CT影像的方法，能够在已有X-Ray影像的基础上，通过深度学习中的生成对抗网络，以监督学习的方式进行训练，跨模态生成相应的合成CT影像，且合成结果具有更好的感知质量，特别是更高的结构相似性和更好的解剖细节，场景的泛化性能较好。

Claims (10)

1.单平面X-Ray影像合成CT影像的方法，其特征在于，包括以下步骤：
(1)获取CT数据集和X-Ray影像数据集，并对获取到的数据集进行增强式处理，对CT扫描进行重采样,重采样后的CT影像与增强式后的对应的X-Ray影像进行配对，随机选取70％-90％配对的CT扫描与X-Ray影像用于训练集，其余配对的CT扫描和X-Ray影像用于测试集；
(2)、构建用于将X-Ray影像合成CT影像的生成对抗网络模型，采用步骤(1)中划分好的训练集，进行模型训练工作,在对抗优化训练过程中，利用目标损失函数控制判别器和生成器的博弈过程，当目标损失函数收敛之后，迭代过程终止，并将最优的对抗网络模型进行保存；
(3)、将已进行过增强式处理的X-Ray影像输入步骤(2)中保存的最优的对抗网络模型，将X-Ray影像转换为合成的CT影像。
2.根据权利要求1所述的单平面X-Ray影像合成CT影像的方法，其特征在于，所述的步骤(1)具体为：
(1.1)、首先获取到二维的X-Ray影像和对应的二维的CT体积影像集，以此影像集为基准，进行后续训练集处理；
(1.2)、将步骤(1.1)中获取的CT影像重新采用为1x1x1mm3的体素分辨率，然后从每一个CT影像中裁剪出320x320x320mm3的影像，得到增强式处理后的CT影像，并保存下来；
(1.3)、将步骤(1.2)中重采样后的CT影像与对应的增强式X-Ray影像进行配对，供后续训练过程使用；
(1.4)、进行采样随机化，从上述标准化处理后的数据集中进行随机采样，随机选取70％-90％作训练集，其余作测试集。
3.根据权利要求1所述的单平面X-Ray影像合成CT影像的方法，其特征在于，所述步骤(2)具体为：
(2.1)、基于3D生成器和3D判别器的生成对抗网络框架，并使用PatchGAN作为3D判别器结构，初步构建网络模型；
(2.2)、基于对抗性损失、重建损失、影像梯度差分损失组合设定网络模型的目标损失函数，生成最终的对抗网络模型；
(2.3)、利用步骤(1)中划分好的预处理训练集对最终的对抗网络模型，训练过程中，观察目标损失函数的变化情况，直到目标损失函数收敛后停止训练，得到X-Ray影像合成CT影像的生成对抗网络模型，并将最优的生成对抗网络模型进行保存。
4.根据权利要求3所述的单平面X-Ray影像合成CT影像的方法，其特征在于，所述步骤(2.1)具体操作包括：
(2.1.1)、构建3D生成器，该生成器模型包括编码器网络和解码器网络两部分，在编码器网络和解码器网络之间加入桥接模块和跳跃连接模块；
(2.1.2)、构建3D判别器，该判别器模型采用的是PatchGAN的结构，全部由卷积层堆叠而成，输出的是一个矩阵，矩阵中每个元素对应于图像的一个感受野，最后取所有元素的均值作为最终的判别值。
5.根据权利要求3所述的单平面X-Ray影像合成CT影像的方法，其特征在于，所述步骤(2.2)具体操作包括：
(2.2.1)、对抗性损失用于控制合成CT影像的分布与训练集影像的分布之间匹配程度，采用LSGAN中定义的最小二乘对抗损失函数，表达式如下：
Figure FDA0004158040720000031
其中，G(x)表示原始X-Ray影像经过生成器网络后得到的合成CT影像，DY(G(x))表示合成的CT影像经过判别器网络后得到的值；
(2.2.2)、重建损失用于描述合成CT影像在体素层面上相对于真实CT影像的差异，表达式如下：
Figure FDA0004158040720000032
其中，x表示输入的X-Ray影像，y表示与输入样本x相对应的真实CT影像；G(x)表示原始X-Ray影像经过生成器网络后得到的合成CT影像；
(2.2.3)、影像梯度差损失函衡量的是合成CT影像与真实CT影像之间清晰度的差异，表达式如下：
Figure FDA0004158040720000033
其中，梯度
Figure FDA0004158040720000034
表示在三维笛卡尔坐标系中，沿着三个x,y,z方向上影像的梯度；
(2.2.4)、设定总目标损失函数，完成最终的对抗网络模型构建：
LG＝λ1L1+λ2L2+λ3L3
其中，λ1表示对抗性损失的权重，λ2表示重建损失的权重，λ3表示影像梯度差损失的权重，且λ1取值为0.5，λ2与λ3取值为1。
6.根据权利要求3所述的单平面X-Ray影像合成CT影像的方法，其特征在于，所述步骤(2.3)具体为：
(2.3.1)、将步骤(1)中划分的训练集输入到步骤(2.2)构建的最终的网络模型中，设置初始网络学习率≤0.1，总训练周期为不少于50次；
(2.3.2)、前半个周期内保持网络学习率不变，后半个周期内采用线性学习衰减策略，将学习率逐渐降低至0；
(2.3.3)、使用反向传播算法，根据目标损失函数的变化情况及判别器网络的最后一层参数，更新生成器网络中的相关参数；
(2.3.4)、待目标损失函数趋于稳定或训练达到周期时，将生成的最优对抗网络模型进行保存。
7.根据权利要求1所述的单平面X-Ray影像合成CT影像的方法，其特征在于，所述步骤(3)具体为：
(3.1)、将已经进行增强式处理的X-Ray影像输入到步骤(2.4)中所保存的最优对抗网络模型中；
(3.2)、得到步骤(3.1)得到的最优合成CT影像结果。
8.单平面X-Ray影像合成CT影像的系统，其特征在于，包括用于执行权利要求1-7任意一项权利要求所述的单平面X-Ray影像合成CT影像方法中各个步骤的处理指令模块。
9.单平面X-Ray影像合成CT影像方法设备，其特征在于，包括存储器和处理器；
存储器：存储权利要求1-7任意一项权利要求所述的单平面X-Ray影像合成CT影像方法的计算机程序，为计算机可读取的设备；
处理器：用于执行权利要求1-7任意一项权利要求所述的单平面X-Ray影像合成CT影像方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-7任意一项权利要求所述的单平面X-Ray影像合成CT影像方法。
CN202310340416.7A 2023-03-31 2023-03-31 单平面X-Ray影像合成CT影像的方法、系统、设备和介质 Pending CN116363248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310340416.7A CN116363248A (zh) 2023-03-31 2023-03-31 单平面X-Ray影像合成CT影像的方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310340416.7A CN116363248A (zh) 2023-03-31 2023-03-31 单平面X-Ray影像合成CT影像的方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN116363248A true CN116363248A (zh) 2023-06-30

Family

ID=86936719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310340416.7A Pending CN116363248A (zh) 2023-03-31 2023-03-31 单平面X-Ray影像合成CT影像的方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN116363248A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630463A (zh) * 2023-07-21 2023-08-22 北京大学第三医院（北京大学第三临床医学院） 一种基于多任务学习的增强ct图像生成方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630463A (zh) * 2023-07-21 2023-08-22 北京大学第三医院（北京大学第三临床医学院） 一种基于多任务学习的增强ct图像生成方法和系统
CN116630463B (zh) * 2023-07-21 2023-10-13 北京大学第三医院（北京大学第三临床医学院） 一种基于多任务学习的增强ct图像生成方法和系统

Similar Documents

Publication Publication Date Title
CN110009669B (zh) 一种基于深度强化学习的3d/2d医学图像配准方法
Ramon et al. Improving diagnostic accuracy in low-dose SPECT myocardial perfusion imaging with convolutional denoising networks
US10346974B2 (en) Apparatus and method for medical image processing
Banerjee et al. A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices
CN110444277B (zh) 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
CN113808106B (zh) 一种基于深度学习的超低剂量pet图像重建系统及方法
CN103020976B (zh) 一种基于带权模糊互信息的三维医学图像配准方法及系统
CN112598649B (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN114677263B (zh) Ct图像与mri图像的跨模态转换方法和装置
CN112419340B (zh) 脑脊液分割模型的生成方法、应用方法及装置
WO2020113148A1 (en) Single or a few views computed tomography imaging with deep neural network
CN116363248A (zh) 单平面X-Ray影像合成CT影像的方法、系统、设备和介质
WO2019224800A1 (en) Method and system for simulating and constructing original medical images from one modality to other modality
TW201123076A (en) Three-dimensional display method of medical images
CN114049334B (zh) 一种以ct图像为输入的超分辨率mr成像方法
CN116993848A (zh) Cbct图像重建方法、系统、计算机装置及存储介质
CN115830163A (zh) 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Poonkodi et al. 3D-MedTranCSGAN: 3D medical image transformation using CSGAN
CN113205567A (zh) 基于深度学习的mri影像合成ct影像的方法
KR102084138B1 (ko) 영상 처리 장치 및 방법
CN116563402A (zh) 跨模态mri-ct图像合成方法、系统、设备和介质
CN117333371A (zh) 基于生成对抗网络的自适应域医学图像跨模态转换方法
Oulbacha et al. MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms
CN116542868A (zh) 基于注意力的生成对抗网络的x胸片肋骨影像的抑制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination