CN117911553A - 基于深度可分离卷积与并行网络架构的x光重建ct方法 - Google Patents

基于深度可分离卷积与并行网络架构的x光重建ct方法 Download PDF

Info

Publication number
CN117911553A
CN117911553A CN202311764908.5A CN202311764908A CN117911553A CN 117911553 A CN117911553 A CN 117911553A CN 202311764908 A CN202311764908 A CN 202311764908A CN 117911553 A CN117911553 A CN 117911553A
Authority
CN
China
Prior art keywords
layer
convolution
ray
dimensional
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311764908.5A
Other languages
English (en)
Inventor
幸鑫龙
刘鸥
张展添
江晓明
帅建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering
Original Assignee
Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering filed Critical Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering
Priority to CN202311764908.5A priority Critical patent/CN117911553A/zh
Publication of CN117911553A publication Critical patent/CN117911553A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于深度可分离卷积与并行网络架构的X光重建CT方法,其包括以下步骤：步骤一、X光数据和CT数据预处理，并构建数据集；步骤二、构建GAN模型，所述GAN模型基于包含Generator生成器和Discriminator判别器的网络架构；步骤三、损失函数的优化；步骤四、训练GAN模型，利用训练集和测试集对GAN模型进行训练和测试，获得训练后的GAN模型；步骤五、输入X光图片，由训练后的GAN模型输出重建后的三维CT图像。能够多层次、全方面获取图像的特征，挖掘图像背后隐藏的信息，可以更多提取图像特征，采取深度可分离卷积可以显著减少模型的参数量，减低模型的训练门槛，达到更优越的X光重建CT的效果。

Description

基于深度可分离卷积与并行网络架构的X光重建CT方法
技术领域
本发明属于生物医学图像处理领域，具体涉及一种基于深度可分离卷积与并行网络架构的X光重建CT方法。
背景技术
计算机断层扫描（computed tomography CT）可以提供患者器官的三维视图，依靠术前X线片和CT等影像学资料进行诊断和术前规划是必不可少，这便于疾病诊断。研究表明，做一次X光，人体会接受大约0.02毫西弗(mSv)的辐射量，做一次常规剂量的CT，人体会接受大约4~7毫西弗(mSv)的辐射量，而做一次低剂量的CT，人体会接受低于2毫西弗(mSv)的辐射量。因此，做X光人体接受的辐射量会远远少于做CT人体接受的辐射量。但是，X光因为维度的限制，不可避免的会出现人体器官在影像上相互重叠的现象，而CT的出现，将X光的二维空间扩展到三维空间，信息从二维扩展到三维，完美的解决了器官重叠带来的信息重叠造成的影响。因此，尝试从二维的X光影像重建到三维的CT影像是非常有医学意义和现实意义的。
目前，三维重建方法主要分为：1.在深度学习进入三维重建处理领域前的人们利用数字图像处理、拓扑学、统计学、数学等方面来进行重建的传统方法。2.近几年随着算力的增加以及深度学习的井喷式发展，基于深度学习的方法对于三维重建领域越来越占有不可取代的地位。
1、如Li B, Kałużny J, Klein J在ACM Transactions on Graphics (TOG)上发表的 Learning to reconstruct botanical trees from single images[J]，Tan P,Zeng G, Wang J在ACM SIGGRAPH 2007 papers发表的 Image-based tree modeling[M]，其公开了基于单幅/多幅图像的三维重建方法。这种方法是很常见的一种三维重建的方法，它通过一张或者若干张图像，实现对二维图像的三维重建。具体是：首先，在图像中选取一个点作为种子结点，再以种子结点为中心360度向外辐射，若辐射出的线段与图像部分重叠，则选取该线段作为骨架，并以重叠部分作为新的种子结点，继续向外辐射。所得的结果即为物体骨架，再通过管道重建物体。这个方法的优点是方便快捷，在很短时间内就能重建出物体；缺点是不能重建复杂物体，只能对花草树木等形状规则的物体做重建，同时，重建出物体的相似性不高，也忽视了很多图像细节。
2、如Livny Y, Yan F, Olson M, 发表在ACM SIGGRAPH Asia 2010 papers 上的Automatic reconstruction of tree skeletal structures from point clouds[M]，具体公开了基于点云的三维重建方法。这是三维重建方法中很重要的一部分。首先，它将三维物体转化成点云数据，再通过剪枝方法剪去噪声数据，最后将管道作为骨架重建三维物体。它的优点是适合对规则物体做三维重建，比如说树木，文物等；缺点是不能对人体器官等不规则物体做重建。
传统的重建方法有着简单，方便的优点，但重建的精度差强人意，常常用于一些简单物体的重建，比如说：文物重建、树木重建等等。而现今，随着深度学习的发展，传统的方法已经逐渐被淘汰。深度学习方法完全区别于传统方法，它基于算力的支持，对大量带有标签的数据集进行训练，让机器自主学习到图像的内在规律及特征。深度学习方法在重建过程中能够处理、学习到大量的数据特征，从而可以提升重建的精度和可靠性。在计算机三维重建领域，基于深度学习的三维重建已经发展成为一种重要的研究方向，广泛应用于医学图像的重建，包含以下两类主流方法：
一、基于卷积神经网络（CNN）的三维重建方法。L Shen, W Zhao, L Xing等人发表在2019年的Nature Biomedical Engineering上的Patient-specific reconstruction ofvolumetric computed tomography images from a single projection view via deeplearning[J].通过基本的二维卷积操作提取肺部x光影像的特征，在2维到3三维的转化部分使用了reshape操作将一维特征变成三维特征，后面通过三维反卷积操作不断上采样，生成我们的肺部CT影像，同时，文章的损失函数仅使用L1损失或者MSE损失。Henzler P,Rasche V, Ropinski T等人发表在2018期Computer Graphics Forum上的Single‐imagetomography: 3D volumes from 2D cranial X‐rays[C]，通过使用resNet网络架构作为网络的encoder提取头骨影像的影像特征，同时在encoder部分和decoder部分使用跳跃连接，在decoder部分借鉴ÇIÇEK Ö提供的三维卷积操作，生成三维动物头骨。
二、基于生成对抗网络（GAN）的三维重建方法。最经典的GAN网络生成三维结构，是Ying X, Guo H, Ma K等人在2019年的Proceedings of the IEEE/CVF conference oncomputer vision and pattern recognition上发表的X2CT-GAN: reconstructing CTfrom biplanar X-rays with generative adversarial networks[C]，提出的X2CT-GAN网络生成肺部CT影像，它包含3D生成器、3D判别器。3D生成器中将互相垂直的X光影像作为输入，将二维特征转化为三维特征。3D判别器中，使用了Phillip的3DPatchDiscriminator处理三维特征实现CT的重建。
而对于X光重建CT，中国专利CN115719391A公开了一种利用双平面X光照片重建CT图片的方法，主要利用TRCT-GAN网络对双平面X射线重建CT。主要包括以下步骤：
步骤一、数据集处理，获1018张CT图片，利用数字重建放射影像技术分别合成1018张正面X光图片和1018张侧面X光图片，并点其中的916组双平面X图片和对应的CT图片作为训练集，剩余的作为测试集；
步骤二、网络模型建立，基于包含3D生成器和3D鉴别器的X2CT-GAN，在3D生成器的编码器和解码器中加入动态注意力模块和Transformer网络，使用PatchGan作为3D鉴别器网络；
步骤三、损失函数的优化，基于包含对抗损失函数和重建损失函数的X2CT-GAN网络框架，在TRCT-GAN网络模型中的投影损失函数中加入感知损失函数进行优化，获得最终的TRCT-GAN网络模型；
步骤四、模型的训练，利用训练集和测试集对TRCT-GAN网络模型进行训练和测试，获得训练后的TRCT-GAN网络模型步骤五、CT图片的重建，将患者的正面X光图片和对应的侧面X光图片作为TRCT-GAN网络模型的输入，由TRCT-GAN网终输出获得重建的CT图片。
其虽然加入了动态注意力模块和Transformer网络以提升模型的性能，但是忽略了网络参数量的增加。深度学习模型的参数量随着网络深度的增加而不断膨胀，这不仅增加了模型的复杂性，也使得训练过程对显存需求巨大，从而提高了训练的门槛。这是因为在深度学习中，模型的深度与参数数量呈正相关关系，而网络层数的增加会导致参数的指数级增长。这对计算资源提出了更高的要求，尤其是显存需求庞大，这使得在训练深度学习模型时，需要强大的硬件支持。高显存占用不仅使得昂贵的显卡成为必备，同时也使得训练环境的搭建更为困难。因此，模型的规模成为训练成功的一个关键因素，尤其对于小型团队或资源受限的研究者而言，这种情况可能形成明显的训练门槛，制约了深度学习技术的广泛应用。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于深度可分离卷积与并行网络架构的X光重建CT方法。
为实现上述目的，本发明提供了如下技术方案：
一种基于深度可分离卷积与并行网络架构的X光重建CT方法，其包括以下步骤：
步骤一、X光数据和CT数据预处理，X光数据包括正面X光图片及对应位置的侧面X光图片，并构建数据集，并将其按照设定比例分成训练集及测试集；
步骤二、构建GAN模型，所述GAN模型基于包含Generator生成器和Discriminator判别器的网络架构，所述Generator生成器设有两路并行的分别获取X光数据的正面X光图片及对应位置的侧面X光图片的encoder-Transition-decoder网络，并利用featurefusion模块将两个并行的encoder-Transition-decoder网络的双平面信息进行融合重建三维CT图像，每一个encoder-Transition-decoder网络引入通过深度可分离卷积抽取二维特征的Encoder部分及Transition部分以及将二维特征转化成三维特征的decoder部分，所述Discriminator判别器通过引入深度可分离卷积提取生成三维向量以计算对抗损失，
所述Transition部分包含：
Transition-A模块，连接encoder部分和decoder部分，用于将2D特征转化成3D特征；
Transition-B模块，用于encoder网络的跳跃连接，将encoder部分的特征转化为decoder部分的输入；
Transition-C模块，用于将并行的encoder-Transition-decoder网络做特征融合；
步骤三、损失函数的优化，采用包含最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL对步骤二中建立的GAN模型进行优化；
步骤四、训练GAN模型，利用训练集和测试集对GAN模型进行训练和测试，获得训练后的GAN模型；
步骤五、将患者的正面X光图片和对应的侧面X光图片作为训练后的GAN模型的输入，由训练后的GAN模型输出重建后的三维CT图像。
在GAN模型的损失函数中加入融合损失函数LFL及向量损失函数LTL，并结合最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL，获得总损失函数：
,
表示差异损失项的重要性，并利用总损失函数对GAN模型进行优化，D*是判别总的损失，D代表判别器，G*是生成总损失，G代表生成器。
步骤一中，对获取的X光数据进行分辨率及尺寸统一，对获取的CT数据进行分辨率统一。
Encoder模块由密集连接编码器组成，采用5层denseNet网络作为Encoder网络的主干，且5层denseNet网络分别包含6，12，24，16，6层卷积层，每一个卷积层包括IN层-Relu层-Conv层和IN层-Relu层-逐通道卷积层-逐点卷积层，并用深度可分离卷积替代Encoder网络的传统卷积，每一个Encoder。
Transition-A模块将二维特征经过FC层—Dropout层—Relu层，将处理后得到的向量经过view操作生成三维向量；
Transition-B模块将二维特征经过Conv2D层—IN层—Relu层，再经过expend操作，将二维向量扩展成三维特征；生成的三维特征经过逐通道卷积层—逐点卷积层—IN层—Relu层，得到decoder模块的输入。
每个decoder模块都包含2层三维卷积层，1层三维卷积层包括逐通道卷积层-逐点卷积层-IN层-Relu层，并用深度可分离卷积替代传统卷积。
每一个decoder模块最后均设有上采样模块，所述上采样模块包含逐通道卷积层-逐点卷积层-IN层-Relu层。
所述Encoder网络通过跳跃连接的方式将逐层提取的特征传给decoder网络，且通过concatenate操作将从Encoder传递过来的特征和正常传递的特征做拼接，并在完成拼接后继续往下传递。
三维特征向量先经过一个block1，一个block1包括逐通道卷积层-逐点卷积层-LeakyRelu层；再经过三个block2，一个block2包括逐通道卷积层-逐点卷积层-IN层-LeakyRelu层；最后经过block3，一个block3包括逐通道卷积层-逐点卷积层。
构建好GAN网络后，选取Adam优化器进行训练，学习率为2*10-4，在训练50轮后使用线性衰减将学习率逐渐减低到0，动量参数β1=0.5，β2=0.99，共训练100轮，使用融合损失函数LFL、向量损失函数LTL、最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL作为生成的约束。
本发明的有益效果：本申请提出的GAN模型，每一次的encoder操作后都有相应的decoder来还原。它的优势是能够多层次、全方面获取图像的特征，挖掘图像背后隐藏的信息，可以更多提取图像特征，采取深度可分离卷积可以显著减少模型的参数量，减低模型的训练门槛，减低模型的参数并提升网络的性能，达到更优越的X光重建CT的效果。
附图说明
图1为本发明的设计流程图。
图2a为输入的X光正面图像的数据。
图2b为输入的X光侧面图像的数据。
图3为输入的CT数据：在3Dslicer中打开。
图4为GAN网络的总体框架示意图。
图5为约束函数的作用方式和生成对抗网络的结构示意图。
图6为通过不同方法重建的 CT 扫描生成的轴向图（比较轮廓的相似性）。Groundtruth 是真实的 CT 扫描。X2CT-GAN 是基准模型。DP_GAN是本发明提出的GAN模型。
图7为通过不同方法重建的 CT 扫描生成的图（比较细节）。Groundtruth 是真实的 CT 扫描。X2CT-GAN 是基准模型。DP_GAN是本发明提出的GAN模型。
图8为重建 CT 切片 (a) 和相应的真实值 (b) 的示例。
图9为Transition模块的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
如图所示，本发明公开了一种基于深度可分离卷积与并行网络架构的X光重建CT方法，其包括以下步骤：
步骤一、X光数据和CT数据预处理，X光数据包括正面X光图片及对应位置的侧面X光图片，并构建数据集，并将其按照设定比例分成训练集及测试集；
由于数据是从医院获取的真实X光数据和CT数据，X光影像数据的像素值大，质量不一；CT数据分辨率高，不符合模型的输入。所以将数据输入模型前对数据做简单的裁减、分辨率的改变、图像位数的改变等预处理操作是很有必要的。
A1.从医院提取X光，X光数据的分辨率不一，从医院提取的数据包括胸部正位和胸部侧位这两种Xray数据。
A2.打开3Dslicer医学影像处理软件，将数据以.jpg的格式导出，3Dslicer是一款开源的医学图像处理软件，是目前对医学图像包括Xray、CT、MRI等进行处理的首选软件。对于上述步骤A1取得的Xray数据，直接导入3Dslicer中，点击Capture and name a sceneview按钮，选择Red Slice View，最后选择数据导出的位置和导出的文件格式，最后点击ok选项完成对Xray数据的处理。
A3.对上一步导出的.jpg图像通过PhotoShop进行裁减操作，将非肺部边缘裁减，同时调整图像的分辨率，具体为对步骤A2中导出的.jpg图像导出PhotoShop中进行裁减操作，裁减主要裁减掉非肺部影像的空白区域，防止这些无效部分在训练中增加无效显存减低模型的训练速度，和调整图像的分辨率至128*128以满足模型的输入要求。如图2所示。
A4.从医院提取CT数据，CT数据的分辨率不一，即从医院提取与步骤A1提取的Xray数据对应的CT数据。
A5.将CT数据导入3Dslicer中，通过插件Resample Scaler Volume对CT重采样，再建重采样后的CT以.mha的格式导出，具体为：
将步骤A4中提取到的CT数据直接导入3Dslicer中，在搜索界面搜索插件ResampleScaler Volume，通过插件Resample Scaler Volume对CT重采样，重采样目标是使CT的分辨率变成256*256*256。具体的采样操作是计算重采样后的spacing值，计算公式为目标CTSpacing=原CT分辨率/目标CT分辨率*原CTspacing，在插件Resample Scaler Volume中找到spacing框，将计算得的目标CTSpacing值填入spacing框中，在IO框下选择InputVolume和Output Volume，最后点击Apply按钮，得到的Output Volume即是满足分辨率要求的CT，最后将Output Volume以.mha的格式导出。如图3所示。
将步骤A3处理好的X光数据和步骤A5处理好的CT数据和包含CT信息的Ori_size、Spacing参数以.h5的格式存储，并将上述所得的所有.h5数据以CT、Ori_size、Spacing、Xray1、Xray2的顺序存储为一个.h5数据。至此，满足模型条件的单个数据集构建完成，并且将其中的一部分数据作为训练集，一部分作为测试集，训练集与测试集的比为9:1。
步骤二、构建GAN模型，所述GAN模型基于包含Generator生成器和Discriminator判别器的网络架构，在所述Generator生成器引入通过深度可分离卷积抽取二维特征的Encoder部分、Transition部分及二维特征转化成三维特征的decoder部分，每一次的Encoder操作后都有相应的decoder来还原，它的优势是可以抓取不同层次的特征，并将学习到的浅层次特征和深层次特征整合起来，并且网络可以自己去学习不同深度特征的重要性，具有很好的鲁棒性。所述Discriminator判别器通过引入深度可分离卷积提取生成三维向量以计算对抗损失。
基于X光数据的正面X光图片及对应位置的侧面X光图片两路输入，设置两个并行的encoder-Transition-decoder网络，并利用feature fusion模块将两个并行的encoder-Transition-decoder网络的双平面信息进行融合重建三维CT图像，
所述Transition部分包含：
Transition-A模块，连接encoder部分和decoder部分，用于将2D特征转化成3D特征；
Transition-B模块，用于encoder网络的跳跃连接，将encoder部分的特征转化为decoder部分的输入；
Transition-C模块，用于将并行的encoder-Transition-decoder网络做特征融合，其通过将两个并行的encoder-transition-decoder网络生成的三维特征求和再取平均的方式去进行特征融合；
即在Generator生成器中，网络基于encoder-Transition-decoder网络。在encoder部分，使用正面和侧面的X光影像作为输入，在encoder后有三个Transition模块，负责特征维度的变化，在Transition模块后有decoder模块。编码解码网络的目的是学习从特征空间中输入的二维x射线到目标三维CT的映射。由于该网络是使用两个并行的encoder-Transition-decoder网络，因此再使用feature fusion模块利用两个编码解码网络中的融合双平面信息重建三维CT体积。
Encoder模块由密集连接编码器组成。密集连接通过直接连接网络的所有layer，可以有效的减少梯度，从而或得很好的全局特征。因此，为了有效的利用输入X-ray的所有信息，将denseNet作为encoder网络的主干。这里，我们使用了5层denseNet网络用来逐层提取特征。同时，在encoder部分也设置了级联式的架构，将逐层提取的特征通过跳跃连接的方式逐层传给decoder网络，这样可以最大程度的减少特征的丢失。具体的这五层denseNet中分别包含6，12，24，16，6层卷积层，通道数以32的跨度逐步递增。在每层卷积层中，包括IN层-Relu层-Conv层（kernel=1）和IN层-Relu层-逐通道卷积层（kernel=3,padding=1）-逐点卷积层（kernel=1）。考虑到网络层数很深，因此使用深度可分离卷积来替换传统卷积。
Transition模块,现有很多的工作通过卷积的方式连接encoder部分和decoder部分，但考虑到本申请涉及到2D到3D的映射，因此和X2CT-GAN类似，使用以下连接方式。首先，使用Transition-A模块将2D特征转化成3D特征。为了使用encoder网络的跳跃连接，本申请使用了Transition-B模块将encoder部分的特征转化为decoder的输入；最后，为了方便最后的特征融合，再使用了Transition-C模块，将并行的encoder-Transition-decoder网络做特征融合。
在Transition-A部分将二位特征经过FC层—Dropout层—Relu层，将处理后得到的向量经过view操作生成三维向量。
在Transition-B部分将二维特征经过Conv2D层(Kernel=1)—IN层—Relu层，再经过expend操作，将二维向量扩展成三维；生成的三维特征经过逐通道卷积层（kernel=3,padding=1）—逐点卷积层（kernel=1）—IN层—Relu层，得到decoder的输入。
在Transition-C部分因为并行的encoder-Transition-decoder网络，需要将网络抽取的特征融合。因此通过permute方法将三维向量转化到相同的坐标空间后，通过average方法，将三维特征融合。融合结构如图9所示。
decoder模块，特征经过上采用模块和四个decoder模块。这里，每个decoder都包含2层三维卷积层，卷积层包括逐通道卷积层（kernel=3,padding=1）-逐点卷积层（kernel=1）-IN层-Relu层，和编码器网络一样，使用深度可分离卷积来进行特征提取，同时，在每个decoder模块最后都有上采用模块，上采样模块使用的是逐通道卷积层（kernel=3,padding=1）-逐点卷积层（kernel=1）-IN层-Relu层。在编码器网络中提到过：将逐层提取的特征通过跳跃连接的方式逐层传给decoder网络，这里，通过concatenate操作将从encoder传递过来的特征和正常传递的特征做拼接，拼接后继续往下传递。
注意到不同X-rays生成的特征在空间上的排布是不同的。因此，需要将特征进行重排列以调整空间排布，使其具有相同的空间排布后才能进行融合操作。因此，本申请设置了由Tranaition C和concatenate组成的模块A，以实现特征的完美融合。同时设置的decoder模块实现三维特征的逐层上采样，已生成最终的CT。
判别器模块，
在这里采用了Phillip的3DPatchDiscriminator。三维特征向量首先经过一个block1，一个block1包括逐通道卷积层（kernel=4，stride=2,padding=2）-逐点卷积层（kernel=1）-LeakyRelu层（0.2）；再经过三个block2，一个block2包括逐通道卷积层（kernel=4，stride=1,padding=2）-逐点卷积层（kernel=1）-IN层-LeakyRelu层（0.2）；最后经过block3，一个block3包括逐通道卷积层（kernel=4，stride=1,padding=2）-逐点卷积层（kernel=1）。网络结构如图4所示。
构建好GAN网络后选取“Adam（Adaptive Moment Estimation）”作为优化器，学习率为2*，在训练50轮后使用线性衰减将学习率逐渐减低到0，动量参数β1=0.5，β2=0.99，共训练100轮。使用多个损失函数作为生成的约束。
步骤三、损失函数的优化，采用包含最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL对步骤二中建立的GAN模型进行优化；
由于解码器网络的三维向量融合前后存在精度损失。为了解决这个损失，本申请提出了融合损失和向量损失。这两种损失旨在最小化特征向量融合前后的信息损失，保证生成结果的真实性和准确性。
在GAN模型的损失函数中加入融合损失函数LFL及向量损失函数LTL，并结合最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL，获得总损失函数：
,
表示差异损失项的重要性，并利用总损失函数对GAN模型进行优化，D*是判别总的损失，D代表判别器，G*是生成总损失，G代表生成器。
其中最小二乘生成对抗网络函数LLSGAN
，
，
其中x是表示两个正交的X射线影像，y表示对应的CT。和原始目标函数做对比，上述损失函数使用最小二乘损失代替对数损失，这可以使训练过程变得更加稳定可控。
投影损失函数LPL
其中，表示真实CT的轴向面投影，/>表示生成CT的轴向面投影；表示真实CT的冠状面投影，/>表示生成CT的冠状面投影；/>表示真实CT的矢状面投影，/>表示生成CT的矢状面投影。
融合损失L FL
其中，T y表示真实CT的向量，T x表示生成CT的向量。
向量损失L TL
其中，T y1表示真实CT正面的三维向量，T x1表示融合前正面X光转化成的三维向量；T y2表示真实CT侧面的三维向量，T x2表示融合前侧面X光转化成的三维向量。
步骤四、训练GAN模型，利用训练集和测试集对GAN模型进行训练和测试，获得训练后的GAN模型；
步骤五、将患者的正面X光图片和对应的侧面X光图片作为训练后的GAN模型的输入，由训练后的GAN模型输出重建后的三维CT图像。
在从 X 射线投影重建 3D CT 时，对抗性损失对于促进合成 CT 的局部真实感很重要，但在优化过程中应优先考虑全局形状一致性。因此，我们在实验中设置，如图5所示。
测试结果使用峰值信噪比（PSNR）和结构相似度（SSIM）作为衡量指标。硬件平台为GeForce GTX A100高能性显卡的服务器，选用Pytorch深度学习框架。结果如图6所示。
本申请采用了GAN网络架构，GAN模型主要分为Generator部分和Discriminator部分。Generator部分为生成器部分，包括Encoder和Transition部分，主要通过深度可分离卷积抽取二维特征。以及decoder部分，主要通过深度可分离卷积将二维特征转化成三维特征。Discriminator部分为判别器部分，将生成器生成的CT转化为三维特征向量以计算对抗损失。包括每一次的encoder操作后都有相应的decoder来还原。它的优势是能够多层次、全方面获取图像的特征，挖掘图像背后隐藏的信息，使得模型的性能更加优越。采取深度可分离卷积可以显著减少模型的参数量，减低模型的训练门槛，同时也是该卷积第一次使用在生成式任务上。在约束函数上提出向量损失和融合损失，损失函数使用MSE（均方误差）约束生成CT和真实CT，使生成CT更加接近真实CT。同时使用真实的医院数据作为训练集和测试集，使生成CT更加逼真。定量分析如表1、表2所示；定性分析如图6、图7、图8所示。
表1定量结果
表2消融实验
实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (10)

1.一种基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：其包括以下步骤：
步骤一、X光数据和CT数据预处理，X光数据包括正面X光图片及对应位置的侧面X光图片，并构建数据集，并将其按照设定比例分成训练集及测试集；
步骤二、构建GAN模型，所述GAN模型基于包含Generator生成器和Discriminator判别器的网络架构，所述Generator生成器设有两路并行的分别获取X光数据的正面X光图片及对应位置的侧面X光图片的encoder-Transition-decoder网络，并利用feature fusion模块将两个并行的encoder-Transition-decoder网络的双平面信息进行融合重建三维CT图像，每一个encoder-Transition-decoder网络引入通过深度可分离卷积抽取二维特征的Encoder部分及Transition部分以及将二维特征转化成三维特征的decoder部分，所述Discriminator判别器通过引入深度可分离卷积提取生成三维向量以计算对抗损失，
所述Transition部分包含：
Transition-A模块，连接encoder部分和decoder部分，用于将2D特征转化成3D特征；
Transition-B模块，用于encoder网络的跳跃连接，将encoder部分的特征转化为decoder部分的输入；
Transition-C模块，用于将并行的encoder-Transition-decoder网络做特征融合；
步骤三、损失函数的优化，采用包含最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL对步骤二中建立的GAN模型进行优化；
步骤四、训练GAN模型，利用训练集和测试集对GAN模型进行训练和测试，获得训练后的GAN模型；
步骤五、将患者的正面X光图片和对应的侧面X光图片作为训练后的GAN模型的输入，由训练后的GAN模型输出重建后的三维CT图像。
2.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：在GAN模型的损失函数中加入融合损失函数LFL及向量损失函数LTL，并结合最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL，获得总损失函数：
,
表示差异损失项的重要性，并利用总损失函数对GAN模型进行优化，D*是判别总的损失，D代表判别器，G*是生成总损失，G代表生成器。
3.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：步骤一中，对获取的X光数据进行分辨率及尺寸统一，对获取的CT数据进行分辨率统一。
4.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：Encoder模块由密集连接编码器组成，采用5层denseNet网络作为Encoder网络的主干，且5层denseNet网络分别包含6，12，24，16，6层卷积层，每一个卷积层包括IN层-Relu层-Conv层和IN层-Relu层-逐通道卷积层-逐点卷积层，并用深度可分离卷积替代Encoder网络的传统卷积，每一个Encoder。
5.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：
Transition-A模块将二维特征经过FC层—Dropout层—Relu层，将处理后得到的向量经过view操作生成三维向量；
Transition-B模块将二维特征经过Conv2D层—IN层—Relu层，再经过expend操作，将二维向量扩展成三维特征；生成的三维特征经过逐通道卷积层—逐点卷积层—IN层—Relu层，得到decoder模块的输入。
6.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：每个decoder模块都包含2层三维卷积层，1层三维卷积层包括逐通道卷积层-逐点卷积层-IN层-Relu层，并用深度可分离卷积替代传统卷积。
7.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：每一个decoder模块最后均设有上采样模块，所述上采样模块包含逐通道卷积层-逐点卷积层-IN层-Relu层。
8.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：所述Encoder网络通过跳跃连接的方式将逐层提取的特征传给decoder网络，且通过concatenate操作将从Encoder传递过来的特征和正常传递的特征做拼接，并在完成拼接后继续往下传递。
9.根据权利要求1所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，对于判别器模块中，其特征在于：三维特征向量先经过一个block1，一个block1包括逐通道卷积层-逐点卷积层-LeakyRelu层；再经过三个block2，一个block2包括逐通道卷积层-逐点卷积层-IN层-LeakyRelu层；最后经过block3，一个block3包括逐通道卷积层-逐点卷积层。
10.根据权利要求2所述的基于深度可分离卷积与并行网络架构的X光重建CT方法，其特征在于：构建好GAN网络后，选取Adam优化器进行训练，学习率为2*10-4，在训练50轮后使用线性衰减将学习率逐渐减低到0，动量参数β1=0.5，β2=0.99，共训练100轮，使用融合损失函数LFL、向量损失函数LTL、最小二乘生成对抗网络函数LLSGAN及投影损失函数LPL作为生成的约束。
CN202311764908.5A 2023-12-21 2023-12-21 基于深度可分离卷积与并行网络架构的x光重建ct方法 Pending CN117911553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311764908.5A CN117911553A (zh) 2023-12-21 2023-12-21 基于深度可分离卷积与并行网络架构的x光重建ct方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311764908.5A CN117911553A (zh) 2023-12-21 2023-12-21 基于深度可分离卷积与并行网络架构的x光重建ct方法

Publications (1)

Publication Number Publication Date
CN117911553A true CN117911553A (zh) 2024-04-19

Family

ID=90684632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311764908.5A Pending CN117911553A (zh) 2023-12-21 2023-12-21 基于深度可分离卷积与并行网络架构的x光重建ct方法

Country Status (1)

Country Link
CN (1) CN117911553A (zh)

Similar Documents

Publication Publication Date Title
WO2020156195A1 (zh) Ct图像的生成方法、装置、计算机设备及计算机可读存储介质
Ying et al. X2CT-GAN: reconstructing CT from biplanar X-rays with generative adversarial networks
CN108898642A (zh) 一种基于卷积神经网络的稀疏角度ct成像方法
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN112598649B (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN112669401B (zh) 基于卷积神经网络的ct图像重建方法及系统
CN113808106A (zh) 一种基于深度学习的超低剂量pet图像重建系统及方法
WO2023142781A1 (zh) 图像三维重建方法、装置、电子设备及存储介质
CN117413300A (zh) 用于训练量化神经辐射场的方法和系统
Kyung et al. Perspective projection-based 3d CT reconstruction from biplanar X-rays
CN112102251A (zh) 一种分割影像的方法及装置、电子设备和存储介质
CN117911553A (zh) 基于深度可分离卷积与并行网络架构的x光重建ct方法
CN112967379B (zh) 一种基于感知一致生成对抗网络的三维医学图像重建方法
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
Sinha et al. GA-GAN: CT reconstruction from biplanar DRRs using GAN with guided attention
CN114663543A (zh) 一种基于深度学习和多视图几何的虚拟视图合成方法
CN114332282A (zh) 一种结合目标检测的稀疏光声图像重建方法及系统
Wang et al. TPG-rayGAN: CT reconstruction based on transformer and generative adversarial networks
AU2019431568B2 (en) Method and product for processing of vrds 4d medical images
CN113902912A (zh) Cbct影像的处理方法、神经网络系统的创建方法、以及装置
CN112037299A (zh) 一种影像重建的方法及装置、电子设备和存储介质
Cheng et al. Sdct-gan: reconstructing CT from biplanar x-rays with self-driven generative adversarial networks
CN117392259B (zh) 一种双视角跨模态重建ct影像的方法
Liu et al. Multiple organ localization in dual-modality pet/ct images based on transformer network with one-to-one object query
CN116228903B (zh) 基于csa模块及深度学习模型的高清ct图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination