CN112396672A - 一种基于深度学习的稀疏角度锥束ct图像重建方法 - Google Patents

一种基于深度学习的稀疏角度锥束ct图像重建方法 Download PDF

Info

Publication number
CN112396672A
CN112396672A CN202011311371.3A CN202011311371A CN112396672A CN 112396672 A CN112396672 A CN 112396672A CN 202011311371 A CN202011311371 A CN 202011311371A CN 112396672 A CN112396672 A CN 112396672A
Authority
CN
China
Prior art keywords
image
projection
neural network
post
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011311371.3A
Other languages
English (en)
Other versions
CN112396672B (zh
Inventor
李强
晁联盈
张鹏
朱飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011311371.3A priority Critical patent/CN112396672B/zh
Publication of CN112396672A publication Critical patent/CN112396672A/zh
Application granted granted Critical
Publication of CN112396672B publication Critical patent/CN112396672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的稀疏角度锥束CT图像重建方法，属于医学图像领域，包括：将稀疏角度锥束CT原始投影数据变换为多幅投影图像后，利用一个或多个已训练好的插值卷积神经网络复原出相邻两幅投影图像之间的一幅或多幅投影图像，使得复原后投影图像的数量与全角度锥束CT投影图像的数量相同；利用原始的投影图像和复原得到的投影图像构成全角度投影图像，对全角度投影图像进行三维重建，得到锥束CT图像；插值卷积神经网络以两幅投影图像为输入，用于复原出两幅投影图像之间的一幅投影图像；进一步利用后处理卷积神经网络消除锥束CT图像中的噪声与伪影，提高图像质量。本发明能够在降低X射线剂量的同时，提高重建图像的质量。

Description

一种基于深度学习的稀疏角度锥束CT图像重建方法
技术领域
本发明属于医学图像领域，更具体地，涉及一种基于深度学习的稀疏角度锥束CT图像重建方法。
背景技术
计算机断层扫描(Computed Tomography,CT)是医学图像领域中最重要的成像技术之一，锥束CT(Cone Beam Computed Tomography,CBCT)是传统CT的一种重要的分支。与传统的扇形束CT相比，CBCT扫描时间短，运动伪影少，x射线管效率高。目前，CBCT扫描仪应用于口腔三维成像、图像引导手术、图像引导放射治疗等领域。然而，CBCT与传统的扇束CT一样，过量X射线辐射会给人体健康的带来巨大的风险。因此，低剂量CBCT在商业应用领域的重要性越来越大。实现低剂量CBCT的方法主要分两种：第一，降低X射线装置的管电流；第二，在360度均匀稀疏地采集投影图像。无论是降低管电流还是稀疏地采集投影图像都会为CBCT重建图像引入噪声与伪影，这些噪声与伪影会与组织信息混合在一起，从而会干扰医生对异常组织的判断与定位。
相比于降低X射线装置的管电流的方式，稀疏地采集投影图像的方式的扫描速度更快。稀疏角度锥束CT作为一种欠定系统，相比稀疏角度扇束CT,在同等低剂量条件下会引入更严重的条形伪影。当锥束CT图像中含有少量条形伪影时，通常采用图像后处理技术可以得到不错的图像质量。但是对于存在严重条形伪影的图像，图像后处理技术在消除条形伪影的同时也会牺牲图像的结构。
目前针对稀疏角度锥束CT高质量重建的主流方法可以分为迭代法，投影域法以及后处理法。迭代法主要是根据投影域原始数据的统计特性以及重建图像的先验信息设计相应的目标函数，在迭代过程中优化目标函数来得到高质量重建图像。投影域法利用投影数据中已知的噪声特性，设计相应的滤波函数来提升投影数据的质量，最终重建出高质量图像。但是投影域法容易造成投影图像边缘模糊，从而造成重建图像分辨率丢失。后处理法通过利用神经网络学习低剂量CT图像与正常剂量CT图像的映射函数来提升低剂量CT图像的质量，但是后处理法难以恢复低剂量重建图像已经丢失的结构信息，并且在含有严重伪影与噪声时，深度学习后处理技术容易把部分伪影信息当作结构保存下来，会给医生带来误判的可能性。总体而言，在稀疏角度锥束CT图像的重建质量有待进一步提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于深度学习的稀疏角度锥束CT图像重建方法，其目的在于，在降低X射线剂量的同时，提高重建图像的质量。
为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的稀疏角度锥束CT图像重建方法，包括：
将稀疏角度锥束CT原始投影数据变换为多幅投影图像后，利用一个或多个已训练好的插值卷积神经网络复原出相邻两幅投影图像之间的一幅或多幅投影图像，使得复原后投影图像的数量与全角度锥束CT投影图像的数量相同；
利用原始的投影图像和复原得到的投影图像构成全角度投影图像，对全角度投影图像进行三维重建，得到锥束CT图像；
其中，插值卷积神经网络以两幅投影图像为输入，用于复原出两幅投影图像之间的一幅投影图像；插值卷积神经网络设置有多个时，输入各插值卷积神经网络的两幅投影图像间的角度间隔从大到小依次呈1/2的关系。
本发明通过设计投影域的插值卷积神经网络，将稀疏角度锥束CT投影数据变换得到的投影图像复原为全角度锥束CT投影图像，由此能够有效解决由于投影图像数量有限而导致的欠定问题，在降低X射线剂量的同时，有效消除稀疏角度锥束CT中严重的噪声与伪影，有效提高重建图像的质量。
进一步地，插值卷积神经网络包括：一个基网络、两个子网络和一个输出层；
基网络，用于提取输入的两幅投影图像的联合信息；联合信息包含了输入的两幅投影图像之间的角度变换信息和运动信息；
两个子网络，分别用于根据联合信息预测二维卷积核，依次记为K1和K2；
输出层，用于将两个二维卷积核分别与输入的两幅投影图像卷积后，将两个卷积结果逐像素相加，得到插值图像；插值图像为复原出的投影图像。
进一步地，基网络包括：第一编码器和第一解码器；
第一编码器包括多个卷积层和多个激活函数层，第一解码器包括多个反卷积层和多个激活函数层；
第一编码器和第二编码器采用对称结构，且第一编码器的第二、第四个卷积层提取的特征信息分别通过跳跃连接输入到第一解码器中相应的反卷积层中，构成残差结构。
进一步地，子网络包括：多个第一单元，以及位于多个第一单元之间的上采样层；第一单元包括依次连接的卷积层和激活函数层。
进一步地，插值卷积神经网络的训练方法包括：
训练数据集构建步骤：按照预设的采样间隔对原始图像数据集采样，将采样得到的每两幅连续的图像之间的图像作为插值卷积神经网络输出的金标准，由采样得到的图像及选取的金标准共同构成训练数据集；
模型建立步骤：建立G个原始的插值卷积神经网络；G＝log2K，K表示全角度锥束CT投影图像数量与稀疏角度锥束CT投影图像数量的倍数；
模型训练步骤：分别以K，K/2……2为采样间隔，通过训练数据集构建步骤得到G个训练数据集，并通过模型建立步骤建立G个原始的插值卷积神经网络，利用G个训练数据集分别对G个原始的插值卷积神经网络进行训练，从而在训练结束后，得到G个训练好的插值卷积神经网络。
进一步地，本发明提供的基于深度学习的稀疏角度锥束CT图像重建方法，还包括：将重建得到的锥束CT图像输入已训练好的后处理卷积神经网络，进一步消除锥束CT图像中的噪声与伪影，将后处理卷积神经网络输出的图像作为最终的重建结果；
其中，后处理卷积神经网络用于消除复原得到的投影图像中存在的噪声与伪影。
本发明在利用复原后的全角度锥束CT投影图像进行图像重建后，进一步利用后处理卷积神经网络消除全角度锥束CT投影图像中仍然存在的噪声与伪影，能够进一步提高重建图像的对比度。
进一步地，后处理卷积神经网络依次包括：第二编码器、级联的r个残差块以及第二解码器；
第二编码器包括一个或多个第二单元，残差块包括一个或多个第二单元，第二解码器包括一个或多个第三单元；第二单元包括依次连接的卷积层、批量标准化层和激活函数层，第三单元包括依次连接的反卷积层、批量标准化层和激活函数层；
第二编码器和第二解码器采用对称结构，第二编码器的第一、第三、第五个卷积层的输入通过跳跃链接依次与第二解码器中相应的反卷积层的输出相加，构成残差结构；残差块的第一个卷积层的输入通过跳跃链接与第二个卷积层的输出经过批量标准化的值相加，构成残差结构；
其中，r为正整数。
本发明在后处理卷积神经网络中设计残差结构，能够加深卷积神经网络的的深度，进一步提高输出图像的质量，并且能够加速卷积神经网络的训练。
进一步地，后处理卷积神经网络的训练方法包括：
构建后处理训练数据集；后处理训练数据集中，每个样本为一个图像对，图像对中，一幅图像为利用上述基于深度学习的稀疏角度锥束CT图像重建方法得到的锥束CT图像，即利用插值卷积神经网络复原得到全角度锥束CT投影图像后，利用三维重建算法重建得到的锥束CT图像，作为后处理卷积神经网络的输入，另一幅图像为相应的真实的全角度锥束CT图像，作为后处理卷积神经网络输出的参考图像；
建立原始的后处理卷积神经网络，并利用后处理训练数据集对其进行训练，从而在训练结束后得到训练好的后处理卷积神经网络。
本发明在训练后处理卷积神经网络时，利用插值卷积神经网络复原得到的投影图像和相应的真实全角度CT投影图像构建训练数据集，保证了训练得到的后处理卷积神经网络能够有效消除复原得到的投影图像中仍然存在的噪声与伪影。
进一步地，对全角度投影图像进行三维重建的算法为FDK算法。
FDK算法(Feldkamp-Davis-Kress algorithm)作为一种解析算法具有重建速度快的优势，在正常剂量条件下往往能具有较好图像质量，但是在低剂量条件下重建图像会有比较严重的噪声与伪影；由于本发明利用插值卷积神经网络将稀疏角度锥束CT投影图像复原成了全角度锥束CT投影图像，因此利用FDK算法对投影图像进行重建，能够在保证重建质量的同时，有效提高重建速度。
按照本发明的另一个方面，提供了一种计算机可读存储介质，包括：存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于深度学习的稀疏角度锥束CT图像重建方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明通过设计投影域的插值卷积神经网络，将稀疏角度锥束CT投影数据变换得到的投影图像复原为全角度锥束CT投影图像，由此能够有效解决由于投影图像数量有限而导致的欠定问题，在降低X射线剂量的同时，有效消除稀疏角度锥束CT中严重的噪声与伪影，有效提高重建图像的质量。
(2)本发明在利用复原后的全角度锥束CT投影图像进行图像重建后，进一步利用后处理卷积神经网络消除全角度锥束CT投影图像中仍然存在的噪声与伪影，能够进一步提高重建图像的对比度。
(3)本发明在后处理卷积神经网络中设计残差结构，能够加深卷积神经网络的的深度，进一步提高输出图像的质量，并且能够加速卷积神经网络的训练。
附图说明
图1为本发明实施例提供的基于深度学习的稀疏角度锥束CT图像重建方法流程图；
图2为本发明实施例提供的基于深度学习的稀疏角度锥束CT图像重建方法示意图；
图3为本发明实施例提供的插值卷积神经网络结构示意图；
图4为本发明实施例提供的后处理卷积神经网络结构示意图；
图5为本发明实施例提供的不同重建方法在消除稀疏角度锥束CT图像条形伪影效果对比示意图；其中，(a)为利用全角度锥束CT重建得到的图像，(b)为利用传统的稀疏角度锥束CT重建得到的图像，(c)为利用CGLS重建得到的图像，(d)为利用SIRT重建得到的图像，(e)为利用RED-CNN重建得到的图像，(f)为利用SI-Unet重建得到的图像，(g)为利用本发明实施例2重建得到的图像，(h)为利用本发明实施例1重建得到的图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
针对现有的基于稀疏角度锥束CT的图像重建方法所得到的重建图像中存在严重的噪声与伪影，导致图像质量不高的技术问题，本发明提供了一种基于深度学习的稀疏角度锥束CT图像重建方法，其整体思路在于：利用深度学习的方式将稀疏角度锥束CT投影图像复原为全角度锥束CT投影图像，然后基于复原得到的全角度锥束CT投影图像重建得到锥束CT图像；在此基础上，利用深度学习的方式消除复原得到的投影图像中仍然存在的噪声与伪影，从而进一步提高重建图像的质量。以下为实施例。
实施例1：
一种基于深度学习的稀疏角度锥束CT图像重建方法，如图1和图2所示，包括：
将稀疏角度锥束CT原始投影数据变换为多幅投影图像后，利用一个或多个已训练好的插值卷积神经网络复原出相邻两幅投影图像之间的一幅或多幅投影图像，使得复原后投影图像的数量与全角度锥束CT投影图像的数量相同；
利用原始的投影图像和复原得到的投影图像构成全角度投影图像，对全角度投影图像进行三维重建，得到锥束CT图像；
其中，插值卷积神经网络以两幅投影图像为输入，用于复原出两幅投影图像之间的一幅投影图像；插值卷积神经网络设置有多个时，输入各插值卷积神经网络的两幅投影图像间的角度间隔从大到小依次呈1/2的关系。
本实施例中，将稀疏角度锥束CT原始投影数据变换为投影图像时，具体采用比尔-郎伯定律变换；
本实施例中，全角度锥束CT投影图像的数量和稀疏角度锥束CT投影图像的数量分别是600和150，二者之间的倍数关系为4，相应地，本实施例中，具体采用两个插值卷积神经网络，其中一个插值卷积神经网络先将150幅投影图像复原为300幅投影图像，另一个插值卷积神经网络则将这300幅投影图像进一步复原为600幅投影图像。在其他应用场景下，全角度锥束CT投影图像的数量、稀疏角度锥束CT投影图像的数量以及二者之间的关系，也可能有所不同，相应调整插值卷积神经网络的数量即可，在此将不作一一列举；
作为一种可选的实施方式，本实施例中，插值卷积神经网络如图3所示，包括：一个基网络、两个子网络和一个输出层；
基网络，用于提取输入的两幅投影图像的联合信息；联合信息包含了输入的两幅投影图像之间的角度变换信息和运动信息；
两个子网络，分别用于根据联合信息预测二维卷积核，依次记为K1和K2；
输出层，用于将两个二维卷积核分别与输入的两幅投影图像卷积后，将两个卷积结果逐像素相加，得到插值图像；插值图像为复原出的投影图像；
输出层输出的插值图像可表示为：
Figure BDA0002789939450000081
其中，P1和P2分别表示输入的两幅投影图像，
Figure BDA0002789939450000082
表示卷积操作，+表示逐像素相加，Pin表示插值图像；
如图3所示，基网络包括：第一编码器和第一解码器；
第一编码器包括多个卷积层(Conv)和多个激活函数层(ReLU)，第一解码器包括多个反卷积层(Deconv)和多个激活函数层(ReLu)；
第一编码器和第二编码器采用对称结构，且第一编码器的第二、第四个卷积层提取的特征信息分别通过跳跃连接输入到第一解码器中相应的反卷积层中，构成残差结构；
如图3所示，子网络包括：多个第一单元，以及位于多个第一单元之间的上采样层(Upsampling)；第一单元依次连接的卷积层(Conv)和激活函数层(ReLu)；
作为一种可选的实施方式，本实施例中，使用核桃数据集对图3所示的插值卷积神经网络进行训练，首先将获取的TIFF(Tag Image File Format,即标签文件图像格式)格式的核桃X-ray原始投影数据利用python开源工具包Numpy读入内存，TIFF图像文件中的像素代表相应探测元检测得到的光子数；比尔-郎伯(Beer-Lambert)定律将原始投影数据转换为光束强度损失图像I，也称为投影图像；
插值卷积神经网络的训练具体包括如下步骤：
训练数据集构建步骤：
按照预设的采样间隔对原始图像数据集采样，将采样得到的每两幅连续的图像之间的图像作为插值卷积神经网络输出的金标准，由采样得到的图像及选取的金标准共同构成训练数据集；
模型建立步骤：
建立G个原始的插值卷积神经网络；G＝log2K，K表示全角度锥束CT投影图像数量与稀疏角度锥束CT投影图像数量的倍数；本实施例中，K＝4，相应地，G＝2；
模型训练步骤：
分别以4和2为采样间隔，通过训练数据集构建步骤得到2个训练数据集；首先第一个数据集的数据来自11个核桃，在一周选取每个核桃的150张投影图像，连续两幅投影图像的角度间隔为2.4度，每连续两幅投影图像作为网络的输入，首、尾两幅图像也堆叠作为网络的一个输入，例如第1幅和第2幅投影图像堆叠作为网络的第1个输入，第2幅和第3幅投影图像堆叠作为第二个输入，…，第149副与第150副投影图像堆叠作为第149个输入，第150副与第1副投影图像堆叠作为第150个输入；选取每连续两幅投影图像中间的投影图像作为网络输出的金标准；这样第一个训练集中包含1650个样本，一个样本中包括两幅连续的投影图像与中间真实的投影图像；第二个数据集以第一个数据的方式选取投影图像，所不同之处在于，第二个数据集连续两幅投影图像的角度间隔为第一个数据集的1/2，即1.2度；
通过模型建立步骤建立G个原始的插值卷积神经网络；利用G个训练数据集分别对G个原始的插值卷积神经网络进行训练，从而在训练结束后，得到G个训练好的插值卷积神经网络；
作为一种可选的实施方式，本实施例中，对插值卷积神经网络进行训练时，利用均方误差损函数(MSE)来刻画预测的插值图像与中间的真实投影图像(即金标准)之间的差异；均方误差函数的表达式如下：
Figure BDA0002789939450000101
其中，F为插值卷积神经网络的映射函数，pm,1和pm,2分别为稀疏角度CBCT连续两幅投影图像,
Figure BDA0002789939450000102
为将连续两幅投影图像的堆叠操作，pm,re真实投影图像，||||2代表2-范数，N为batch的大小，Θ为插值卷积神经网络的权重；
为了有效地训练插值网络，本实例采用RMSprop(root mean square prop)作为优化器，学习率为0.0002，训练回合数为30；在训练完成后，保存最后一次迭代地模型，整个训练过程是在tensorflow框架上运行的。
为了进一步提高重建图像的质量，如图1和图2所示，本实施例还包括：
将重建得到的锥束CT图像输入已训练好的后处理卷积神经网络，进一步消除锥束CT图像中的噪声与伪影，将后处理卷积神经网络输出的图像作为最终的重建结果；
其中，后处理卷积神经网络用于消除复原得到的投影图像中存在的噪声与伪影；
本实施例中，后处理卷积神经网络的结构如图4所示，包括：
后处理卷积神经网络依次包括：第二编码器、级联的r个残差块以及第二解码器；
第二编码器包括一个或多个第二单元，残差块包括一个或多个第二单元，第二解码器包括一个或多个第三单元；第二单元包括依次连接的卷积层(Conv)、批量标准化层(BN)和激活函数层(ReLU)，第三单元包括依次连接的反卷积层(Deconv)、批量标准化层(BN)和激活函数层(ReLU)；
第二编码器和第二解码器采用对称结构，第二编码器的第一、第三、第五个卷积层的输入通过跳跃链接依次与第二解码器中相应的反卷积层的输出相加，构成残差结构；残差块的第一个卷积层的输入通过跳跃链接与第二个卷积层的输出经过批量标准化的值相加，构成残差结构；
其中，r为正整数，其具体取值，即残差块的数量，可根据实际的重建质量要求和计算量要求相应确定，r取值越大，重建图像质量越高，相应地，计算量越大；可选地，本实施例中，r＝3，此设定可以在不明显增加计算量的情况下获得较好的重建质量；
本实施例中，第二编码器用于提取输入图像的特征信息并传递给三个残差块进一步消除输入图像的噪声与伪影，第二解码器利用残差块提供的特征信息恢复出高质量锥束CT图像；本实施例中，第二解码器、残差块及第二解码器均采用残差结构，能够加深卷积神经网络的的深度，进一步提高输出图像的质量，并且能够加速卷积神经网络的训练。
本实施例中，后处理卷积神经网络的训练方法包括：
构建后处理训练数据集；后处理训练数据集中，每个样本为一个图像对，图像对中，一幅图像为利用插值卷积神经网络复原得到全角度锥束CT投影图像后，利用三维重建算法重建得到的锥束CT图像，作为后处理卷积神经网络的输入，另一幅图像为相应的真实的全角度锥束CT图像，作为后处理卷积神经网络输出的参考图像；具体地，用来训练后处理卷积神经网络的数据来自11个核桃的1100对锥束CT图像；
建立原始的后处理卷积神经网络，并利用后处理训练数据集对其进行训练，从而在训练结束后得到训练好的后处理卷积神经网络；
可选地，本实施例中，在训练后处理卷积神经网络时，利用一个复合的损失函数来刻画后处理卷积神经网络的输出图像与金标准之间的差，该复合损失函数的表达式具体如下：
Figure BDA0002789939450000121
Lmse(Ω)代表均方误差损失函数，具体为：
Figure BDA0002789939450000122
LSSIM(Ω)代表结构损失函数，具体为：
Figure BDA0002789939450000123
其中，Ω代表后处理卷积神经网络的权重，α1和α2为均衡参数，ID为后处理卷积神经网络的映射函数，Im,1代表复原的全角度CBCT图像，Im,2为真实的全角度CBCT图像。SSIMm为第m个输入图像相比金标准的结构损失值，M为batch的大小。
作为一种可选的实施方式，如图1和图2所示，本实施例中，对全角度投影图像进行三维重建的算法为具体为FDK算法；
FDK算法(Feldkamp-Davis-Kress algorithm)作为一种解析算法具有重建速度快的优势，在正常剂量条件下往往能具有较好图像质量，但是在低剂量条件下重建图像会有比较严重的噪声与伪影；由于本实施例利用插值卷积神经网络将稀疏角度锥束CT投影图像复原成了全角度锥束CT投影图像，因此利用FDK算法对投影图像进行重建，能够在保证重建质量的同时，有效提高重建速度。
实施例2：
一种基于深度学习的稀疏角度锥束CT图像重建方法，本实施例与上述实施例1类似，所不同之处在于，本实施例中，将复原得到的全角度锥束CT投影图像的三维重建结果作为最终的重建结果；
其具体实施方式，可参考上述实施例1中的描述，在此将不作复述。
实施例3：
一种计算机可读存储介质，包括：存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1或实施例2提供的基于深度学习的稀疏角度锥束CT图像重建方法。
为了进一步说明本发明的有效性和可靠性，以下将上述实施例1和实施例2与现有的提升稀疏角度锥束CT图像的方法进行比较，这些现有的方法包括：CGLS(conjugategradient least square)算法、SIRT(Simultaneous iterative reconstructiontechnique)、RED-CNN(Residual Encoder Decoder Convolutional Neural Network)，以及SI-Unet(sinogram interpolation and Unet)。其中CGLS是一种传统的解析算法，通过共轭梯度的方法来求解欠定系统的最小二乘问题，适用于稀疏角度锥束CT欠定系统；SIRT是一种经典的迭代算法，在迭代过程中最小化目标函数来得到最优解；RED-CNN是一种深度学习技术应用在图像后处理过程的方法，目前在四分之一剂量的扇束CT图像中取得了较好的效果；SI-Unet是通过传统的线性插值复原全角度投影数，然后利用Unet提升插值图像的质量，再利用FDK算法重建得到锥束CT图像。
各种方法对于同一对象的锥束CT投影数据的重建结果如图5中的(a)～(h)所示，根据图5所示的重建结果可以看出，相比稀疏角度CBCT，其他优化方法下的重建图像均有不同程度上的提升，而本发明实施例2提供的重建方法消除条形伪影的性能优于CGLS、SIRT、RED-CNN和SI-Unet这些优化方法；对比图5中的(h)所示的重建图像与其他的重建图像还可以看出，本发明的实施例1，在获得重建图像的基础上，利用后处理卷积神经网络进一步消除重建图像中的噪声和伪影，在条形伪影消除以及结构保留程度取得了最好的性能。
为了量化地比较各种方法提升稀疏角度锥束CT图像质量的性能，采用PSNR(PeakSignal-to-Noise Ratio)、SSIM(Structural Similarity)和RMSE(Root Mean SquardError)三种标准，SSIM值是衡量重建图像相比正常剂量重建图像的结构保留程度，结构保留越好SSIM越大，PSNR和RMSE是衡量重建图像与正常剂量图像的视觉差异，PSNR和RMSE越大，两幅图像的视觉差异越小。具体地，统计了1000幅投影图像的量化值，不同方法在稀疏角度锥束CT图像实现任务上的量化性能比较如表1所示。
从表一中可以分析出，不同优化方法下的图像相比低剂量CT图像在PSNR,SSIM以及RMSE量化指标上都有不同程度的提升，尤其是本发明实施例1所提供的重建方法，相比其他几种优化方法，取得了最高的PSNR和SSIM，以及最低的RMSE。说明本发明实施例1提供的重建方法明显优于其他的优化方法。
表1不同方法在稀疏角度锥束CT图像实现任务上性能比较
Figure BDA0002789939450000151
总体而言，本发明通过设计投影域的插值卷积神经网络，将稀疏角度锥束CT投影数据变换得到的投影图像复原为全角度锥束CT投影图像，由此能够有效解决由于投影图像数量有限而导致的欠定问题，在降低X射线剂量的同时，有效消除稀疏角度锥束CT中严重的噪声与伪影，有效提高重建图像的质量；利用后处理卷积神经网络进一步消除复原得到的投影图像中的噪声和伪影，能够最大程度上消除条形伪影消除并保留原有结构，获得高质量的重建图像。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，包括：
将稀疏角度锥束CT原始投影数据变换为多幅投影图像后，利用一个或多个已训练好的插值卷积神经网络复原出相邻两幅投影图像之间的一幅或多幅投影图像，使得复原后投影图像的数量与全角度锥束CT投影图像的数量相同；
利用原始的投影图像和复原得到的投影图像构成全角度投影图像，对所述全角度投影图像进行三维重建，得到锥束CT图像；
其中，所述插值卷积神经网络以两幅投影图像为输入，用于复原出两幅投影图像之间的一幅投影图像；所述插值卷积神经网络设置有多个时，输入各插值卷积神经网络的两幅投影图像间的角度间隔从大到小依次呈1/2的关系。
2.如权利要求1所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，所述插值卷积神经网络包括：一个基网络、两个子网络和一个输出层；
所述基网络，用于提取输入的两幅投影图像的联合信息；所述联合信息包含了输入的两幅投影图像之间的角度变换信息和运动信息；
所述两个子网络，分别用于根据所述联合信息预测二维卷积核，依次记为K1和K2；
所述输出层，用于将两个二维卷积核分别与输入的两幅投影图像卷积后，将两个卷积结果逐像素相加，得到插值图像；所述插值图像为复原出的投影图像。
3.如权利要求2所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，所述基网络包括：第一编码器和第一解码器；
所述第一编码器包括多个卷积层和多个激活函数层，所述第一解码器包括多个反卷积层和多个激活函数层；
所述第一编码器和所述第二编码器采用对称结构，且所述第一编码器的第二、第四个卷积层提取的特征信息分别通过跳跃连接输入到所述第一解码器中相应的反卷积层中，构成残差结构。
4.如权利要求2所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，所述子网络包括：多个第一单元，以及位于所述多个第一单元之间的上采样层；所述第一单元包括依次连接的卷积层和激活函数层。
5.如权利要求1-4任一项所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，所述插值卷积神经网络的训练方法包括：
训练数据集构建步骤：按照预设的采样间隔对原始图像数据集采样，将采样得到的每两幅连续的图像之间的图像作为插值卷积神经网络输出的金标准，由采样得到的图像及选取的金标准共同构成训练数据集；
模型建立步骤：建立G个原始的插值卷积神经网络；G＝log2K，K表示全角度锥束CT投影图像数量与稀疏角度锥束CT投影图像数量的倍数；
模型训练步骤：分别以K，K/2……2为采样间隔，通过所述训练数据集构建步骤得到G个训练数据集，并通过所述模型建立步骤建立G个原始的插值卷积神经网络，利用所述G个训练数据集分别对所述G个原始的插值卷积神经网络进行训练，从而在训练结束后，得到G个训练好的插值卷积神经网络。
6.如权利要求1所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，还包括：将重建得到的锥束CT图像输入已训练好的后处理卷积神经网络，进一步消除所述锥束CT图像中的噪声与伪影，将所述后处理卷积神经网络输出的图像作为最终的重建结果；
其中，所述后处理卷积神经网络用于消除复原得到的投影图像中存在的噪声与伪影。
7.如权利要求6所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，所述后处理卷积神经网络依次包括：第二编码器、级联的r个残差块以及第二解码器；
所述第二编码器包括一个或多个第二单元，所述残差块包括一个或多个第二单元，所述第二解码器包括一个或多个第三单元；所述第二单元包括依次连接的卷积层、批量标准化层和激活函数层，所述第三单元包括依次连接的反卷积层、批量标准化层和激活函数层；
所述第二编码器和所述第二解码器采用对称结构，所述第二编码器的第一、第三、第五个卷积层的输入通过跳跃链接依次与所述第二解码器中相应的反卷积层的输出相加，构成残差结构；所述残差块的第一个卷积层的输入通过跳跃链接与第二个卷积层的输出经过批量标准化的值相加，构成残差结构；
其中，r为正整数。
8.如权利要求6或7所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，所述后处理卷积神经网络的训练方法包括：
构建后处理训练数据集；所述后处理训练数据集中，每个样本为一个图像对，所述图像对中，一幅图像为利用权利要求1所述的基于深度学习的稀疏角度锥束CT图像重建方法得到的锥束CT图像，作为所述后处理卷积神经网络的输入，另一幅图像为相应的真实的全角度锥束CT图像，作为所述后处理卷积神经网络输出的参考图像；
建立原始的后处理卷积神经网络，并利用所述后处理训练数据集对其进行训练，从而在训练结束后得到训练好的后处理卷积神经网络。
9.如权利要求1所述的基于深度学习的稀疏角度锥束CT图像重建方法，其特征在于，对所述全角度投影图像进行三维重建的算法为FDK算法。
10.一种计算机可读存储介质，其特征在于，包括：存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-9任一项所述的基于深度学习的稀疏角度锥束CT图像重建方法。
CN202011311371.3A 2020-11-20 2020-11-20 一种基于深度学习的稀疏角度锥束ct图像重建方法 Active CN112396672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011311371.3A CN112396672B (zh) 2020-11-20 2020-11-20 一种基于深度学习的稀疏角度锥束ct图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011311371.3A CN112396672B (zh) 2020-11-20 2020-11-20 一种基于深度学习的稀疏角度锥束ct图像重建方法

Publications (2)

Publication Number Publication Date
CN112396672A true CN112396672A (zh) 2021-02-23
CN112396672B CN112396672B (zh) 2023-03-24

Family

ID=74606008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011311371.3A Active CN112396672B (zh) 2020-11-20 2020-11-20 一种基于深度学习的稀疏角度锥束ct图像重建方法

Country Status (1)

Country Link
CN (1) CN112396672B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052936A (zh) * 2021-03-30 2021-06-29 大连理工大学 集成fdk和深度学习的单视角ct重建方法
CN113344876A (zh) * 2021-06-08 2021-09-03 安徽大学 一种ct和cbct间可变形配准方法
CN113902912A (zh) * 2021-08-04 2022-01-07 苏州工业园区智在天下科技有限公司 Cbct影像的处理方法、神经网络系统的创建方法、以及装置
CN114723842A (zh) * 2022-05-24 2022-07-08 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN114998466A (zh) * 2022-05-31 2022-09-02 华中科技大学 一种基于注意力机制和深度学习的低剂量锥束ct重建方法
CN115154930A (zh) * 2022-07-11 2022-10-11 苏州雷泰医疗科技有限公司 基于独立滑环的低剂量cbct摆位方法及设备
CN115375560A (zh) * 2022-07-22 2022-11-22 华中科技大学同济医学院附属协和医院 一种3d-dsa图像的重建方法及系统
CN116843825A (zh) * 2023-06-01 2023-10-03 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN118252522A (zh) * 2024-03-25 2024-06-28 中国人民解放军空军军医大学 锥束x射线发光断层成像方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898642A (zh) * 2018-06-01 2018-11-27 安徽工程大学 一种基于卷积神经网络的稀疏角度ct成像方法
US20190035116A1 (en) * 2017-07-25 2019-01-31 Tsinghua University Method and device for reconstructing ct image and storage medium
CN109300166A (zh) * 2017-07-25 2019-02-01 同方威视技术股份有限公司 重建ct图像的方法和设备以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035116A1 (en) * 2017-07-25 2019-01-31 Tsinghua University Method and device for reconstructing ct image and storage medium
CN109300166A (zh) * 2017-07-25 2019-02-01 同方威视技术股份有限公司 重建ct图像的方法和设备以及存储介质
CN108898642A (zh) * 2018-06-01 2018-11-27 安徽工程大学 一种基于卷积神经网络的稀疏角度ct成像方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052936A (zh) * 2021-03-30 2021-06-29 大连理工大学 集成fdk和深度学习的单视角ct重建方法
CN113344876A (zh) * 2021-06-08 2021-09-03 安徽大学 一种ct和cbct间可变形配准方法
CN113902912A (zh) * 2021-08-04 2022-01-07 苏州工业园区智在天下科技有限公司 Cbct影像的处理方法、神经网络系统的创建方法、以及装置
CN113902912B (zh) * 2021-08-04 2024-08-23 苏州工业园区智在天下科技有限公司 Cbct影像的处理方法、神经网络系统的创建方法、以及装置
CN114723842A (zh) * 2022-05-24 2022-07-08 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN114723842B (zh) * 2022-05-24 2022-08-23 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN114998466B (zh) * 2022-05-31 2024-07-05 华中科技大学 一种基于注意力机制和深度学习的低剂量锥束ct重建方法
CN114998466A (zh) * 2022-05-31 2022-09-02 华中科技大学 一种基于注意力机制和深度学习的低剂量锥束ct重建方法
CN115154930A (zh) * 2022-07-11 2022-10-11 苏州雷泰医疗科技有限公司 基于独立滑环的低剂量cbct摆位方法及设备
CN115375560A (zh) * 2022-07-22 2022-11-22 华中科技大学同济医学院附属协和医院 一种3d-dsa图像的重建方法及系统
CN116843825B (zh) * 2023-06-01 2024-04-05 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN116843825A (zh) * 2023-06-01 2023-10-03 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN118252522A (zh) * 2024-03-25 2024-06-28 中国人民解放军空军军医大学 锥束x射线发光断层成像方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112396672B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112396672B (zh) 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN110461228B (zh) 使用多对比度和深度学习改进医学图像的质量
CN108961237B (zh) 一种基于卷积神经网络的低剂量ct图像分解方法
Hu et al. Artifact correction in low‐dose dental CT imaging using Wasserstein generative adversarial networks
CN112348936A (zh) 一种基于深度学习的低剂量锥束ct图像重建方法
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
Isaac et al. Super resolution techniques for medical image processing
CN112258415B (zh) 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
CN108898642A (zh) 一种基于卷积神经网络的稀疏角度ct成像方法
CN109146988A (zh) 基于vaegan的非完全投影ct图像重建方法
CN103413280B (zh) 一种低剂量x射线ct图像重建方法
CN110223255B (zh) 一种基于残差编解码网络的低剂量ct图像去噪递归方法
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
CN113160380B (zh) 三维磁共振影像超分辨重建方法、电子设备和存储介质
CN113538257B (zh) 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法
CN110363704A (zh) 融合形态及色彩的图像超分辨率重建模型构建及重建方法
CN109903356A (zh) 基于深度多重解析网络的缺失ct投影数据估计方法
Jiang et al. CT image super resolution based on improved SRGAN
CN114241077A (zh) 一种ct图像分辨率优化方法及装置
Feng et al. Dual residual convolutional neural network (DRCNN) for low-dose CT imaging
WO2023000244A1 (zh) 一种图像处理方法、系统及其应用
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN109816747A (zh) 一种头部ct图像的金属伪影校正方法
CN118014837A (zh) 基于残差注意力机制的mri超分辨率
CN113436118A (zh) 一种基于多尺度卷积编码网络的低剂量ct图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant