CN108898642B - 一种基于卷积神经网络的稀疏角度ct成像方法 - Google Patents

一种基于卷积神经网络的稀疏角度ct成像方法 Download PDF

Info

Publication number
CN108898642B
CN108898642B CN201810557240.XA CN201810557240A CN108898642B CN 108898642 B CN108898642 B CN 108898642B CN 201810557240 A CN201810557240 A CN 201810557240A CN 108898642 B CN108898642 B CN 108898642B
Authority
CN
China
Prior art keywords
neural network
projection data
convolutional neural
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810557240.XA
Other languages
English (en)
Other versions
CN108898642A (zh
Inventor
亢艳芹
刘进
刘涛
章平
汪军
窦易文
修宇
张凯杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN201810557240.XA priority Critical patent/CN108898642B/zh
Publication of CN108898642A publication Critical patent/CN108898642A/zh
Application granted granted Critical
Publication of CN108898642B publication Critical patent/CN108898642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的稀疏角度CT成像方法，包括如下步骤：步骤1：准备网络所需训练数据集；步骤2：构建投影数据复原卷积神经网络Rs；步骤3、构建迭代重建卷积神经网络Re；步骤4：将步骤2和步骤3构建的投影数据复原卷积神经网络Rs和迭代重建卷积神经网络Re进行级联，构建深度级联卷积神经网络，并通过步骤1得到的数据对网络进行训练，得到整个深度级联卷积神经网络权重；步骤5：利用训练好的深度级联卷积神经网络，对临床稀疏角度扫描下的CT投影数据Ps进行重建，得到高质量的CT图像V。本发明的优点在于可以有效的改善现有的重建方法在对高度降采样的投影数据进行重建时细节容易丢失及伪影严重的问题，提高成像质量。

Description

一种基于卷积神经网络的稀疏角度CT成像方法
技术领域
本发明涉及一种高度降采样的稀疏角度CT成像方法，尤其涉及一种基于卷 积神经网络进行稀疏角度下投影数据复原的方法，并且涉及一种新的迭代重建 方法，属于计算机断层成像技术领域。
背景技术
作为一种临床成像技术，X射线计算机断层成像(X-ray Computer Tomography，CT)以其空间分辨率高、扫描时间短及成本低的优势，在疾病筛选、 诊断、急救、介入治疗及疗效监督中广泛使用。然而过量X射线照射可能诱发 癌症、白血病或增加其它生理性风险，因此CT中的辐射问题也越来越受到人们 重视。目前，比较直接且有效的降低辐射剂量的方法是减少扫描角度，降低曝 光时间，但上述扫描模式下投影数据会受到严重的量子噪声污染，解析重建的 图像质量急剧退化，图像中的斑点噪声和条状伪影影响了临床分析和诊断。X 射线剂量的控制和临床上对CT图像质量的需求一直以来都是不可避免的矛盾。 如何在图像质量无明显下降的基础上，以最低的辐射剂量获得最佳的CT诊断影 像已成为行业共识。
当前在提高稀疏角度扫描下CT图像质量的方法主要分为两大类：基于迭代 重建方法的和基于图像空间数据处理方法。随着计算机运算能力的提高，迭代 算法越来越多地得到重视。与传统的解析重建相比，例如当前在临床CT重建中 普遍使用的滤波反投影(Filtered Back Projection，FBP)算法，迭代重建更加适应 于稀疏角度扫描条件，具有物理模型准确、对噪声不敏感、易于加入约束条件 等优点。迭代重建中，以最大后验概率密度(Maximum A Posteriori,MAP)估计模 型最为经典，该模型将图像的先验信息作为目标函数的正则化项，来提高求解 过程稳定性，可有效地抑制噪声和保持结构信息。在此基础上发展起来的正则 项约束的统计迭代重建算法是目前研究稀疏角度CT重建的主要方法。然而在这 一类算法中存在的主要问题有：算法复杂度高，参数多，先验信息具有不稳定 性，需要重复进行迭代优化、计算成本大等，难以满足实际临床需求。另一类 方法是直接通过图像空间处理技术来提高已重建的低剂量图像质量，具有不依 赖原始投影数据和处理速度快的优点，通常使用非线性的处理方法进行保持图 像边缘信息的去噪处理，如全变差(Total Variation)或者小波(Wavelet)变换的方 法，然而此类方法主要基于图像的局部信息，忽略了图像中重要的非局部性质， 也难以达到满意的效果，例如，无法有效去除欠采样稀疏角度扫描所引起的块 状噪声和星条状伪影，还会在处理中产生新的伪影成分，或是模糊图像的边缘 细节信息。
最近提出的基于字典学习的特征约束重建(Feature ConstrainedReconstruction, FCR)图像处理算法属于第一类方法。通过对高质量临床CT图像样本的特征选 取和学习，构造含有丰富三维解剖结构特征信息的特征字典；重建中，将引入 训练好的全局特征字典，对重建图像进行特征约束，确保重建后CT图像的特征 与高质量CT图像的解剖组织结构和纹理特征具有很强的相似性，来提高重建图 像质量。统计迭代重建数学模型如下：
Figure BDA0001681581670000021
其中G为投影矩阵，u为重建CT图像，W为投影数据的统计权重，通常按照投 影数据p的方差来计算；||·||w为加权L2范数，λ为正则化参数，R(u)为正则化 约束项。约束项能够将原有病态重建问题的解空间约束到期望的解空间中，通 常可以用解析稀疏变换算子(如：有限差分，小波变换等)来表示。因此，将基于 图像块的特征字典加入到约束项中，则三维特征约束的重建模型可以表示为：
Figure BDA0001681581670000031
其中Ei为在重建图像u的i个位置选取三维图像块的操作，D为特征字典，αi为 第i个图像块的稀疏表示向量，Mi为第i个图像块的均值。注意，式(2)中，约 束条件是由稀疏度T和误差限度ε共同决定。
三维特征约束重建模型(式(2))实际上是一个非凸的L0范数最小化问题。通 常是采用交替求解的方法，交替更新稀疏系数和图像数据来获得重建图像。当 特征字典D和重建图像u都固定时，可以通过正交匹配变换算法(Orthogonal Matching Pursuit,OMP)来更新稀疏系数：
Figure BDA0001681581670000032
当获得特征字典D和稀疏系数αi时，可以通过求解下面二次约束问题，来更新 重建图像：
Figure BDA0001681581670000033
最后，迭代重建图像uk+1可以表示为：
Figure BDA0001681581670000034
基于字典学习的特征约束重建方法已经被证明其在低剂量腹部CT图像处 理中具有一定的效果，腹部低剂量CT图像通过训练字典处理后，能够获得较好 的效果，能够使病人在腹部CT扫描中把所受剂量降低到原来的五分之一。然而 此种方法具有一定的局限性，容易把稀疏扫描条件下重建CT图像中较强的星条 状伪影当作图像的结构信息，从而无法有效的抑制，特别是在极度欠采样或者 扫描角度过少时，星条状伪影十分严重，容易引入块状伪影。另一方面，在临 床三维体数据的处理，迭代重建计算量过大且耗时，难以在实际三维医疗图像 处理系统中广泛应用。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于卷积神经网络的稀 疏角度CT成像方法，克服现有稀疏角度CT成像方法存在的不能有效去除星条 状伪影和噪声，提高成像质量的问题。本发明通过结合投影数据复原网络和迭 代重建网络，来抑制稀疏角度下CT图像内的条状伪影，提高稀疏角度CT图像 质量，使其达到符合临床医生诊断的质量水平。
为了实现上述目的，本发明采用的技术方案为：一种基于卷积神经网络的稀 疏角度CT成像方法，包括如下步骤：
步骤1：准备网络所需训练数据集；
步骤2：构建投影数据复原卷积神经网络Rs；
步骤3：构建迭代重建卷积神经网络Re；
步骤4：将步骤2和步骤3构建的投影数据复原卷积神经网络Rs和迭代重建 卷积神经网络Re进行级联，构建深度级联卷积神经网络，并通过步骤1得到的 数据对网络进行训练，获取整个深度级联卷积神经网络的权重；
步骤5：利用训练好的深度级联卷积神经网络，对临床稀疏角度扫描下的CT 投影数据Ps进行重建，得到高质量的CT图像V。
步骤1中，训练数据集通过如下方式获得：
首先，从医院影像数据库中选取全角度扫描下的CT投影数据
Figure BDA0001681581670000051
并重建出高 质量CT图像数据
Figure BDA0001681581670000052
然后，对投影数据
Figure BDA0001681581670000053
进行等角度间隔的降采样得到稀疏 角度扫描下的CT投影数据
Figure BDA0001681581670000054
最后，将
Figure BDA0001681581670000055
和
Figure BDA0001681581670000056
作为训练投影数据复原卷积神 经网络的样本输入和样本标签，将复原网络输出的投影数据和高质量的CT图像 数据
Figure BDA0001681581670000057
作为训练迭代重建的卷积神经网络的样本输入和样本标签。其中，CT图 像数据
Figure BDA0001681581670000058
由全角度扫描下的CT投影数据
Figure BDA0001681581670000059
经过TV迭代重建算法得到的三维 体数据图像。
步骤2中，所构建投影数据复原卷积神经网络Rs包括训练数据预处理和网络 学习两个部分：
训练数据预处理部分包括对稀疏角度投影数据
Figure BDA00016815816700000510
插值和指数Anscombe变换 两个操作，插值的方法为三次样条插值，指数Anscombe变换定义为：
Figure BDA00016815816700000511
其中I0为单能X射线的初始强度，P为输入的投影数据。
网络学习部分包括生成网络、对数逆Anscombe变换、判别网络三个操作。具 体步骤为，首先，利用生成网络，将预处理后的光子信号数据
Figure BDA00016815816700000512
映射为复原后 的光子信号数据
Figure BDA00016815816700000513
然后，采用对数逆Anscombe变换得到复原后的投影数据
Figure BDA00016815816700000514
最后，通过判别网络来判别复原后的投影数据
Figure BDA00016815816700000515
与全角度扫描下投影数据
Figure BDA00016815816700000516
的 一致性。生成网络包含三个残差学习基本单元，每个单元含有三个卷积层，前 两层采用ReLU激活函数，最后一层无激活函数，以实现将不同层的特征融合， 其训练的损失函数
Figure BDA00016815816700000517
为复原后的投影数据
Figure BDA00016815816700000518
与全角度投影数据
Figure BDA00016815816700000519
之间的均方 误差。对数逆Anscombe变换定义为：
Figure BDA0001681581670000061
其中
Figure BDA0001681581670000062
为经过复原后的光子信号数据。判别网络包含三个卷积块线性叠加结构和一个激活层，其中，每个卷积块包括三个卷积层，将三维体数据图像块降为 二维特征图，二维特征图通过一个包含256个隐藏层连接到输出节点；激活层 采用Sigmoid激活函数，输出判别结果，其训练的损失函数
Figure BDA0001681581670000063
为判别预测
Figure BDA0001681581670000064
结 果与目标标签1的二值交叉熵及判别网络预测
Figure BDA0001681581670000065
的结果和目标标签0的二值交 叉熵。
步骤3中，所构建迭代重建卷积神经网络Re包括残差网络模块，数据一致模 块和图像共享模块，数据一致模块与残差网络模块组成目标函数的梯度项，并 通过最小化损失函数，来实现从复原后的投影数据
Figure BDA0001681581670000066
到最终重建CT图像数据
Figure BDA0001681581670000067
端到端的映射。
残差网络模块可训练得到当前迭代图像的残差伪影特征，该模块为一个残差 学习基本单元，含有三个卷积层，前两层采用ReLU激活函数，最后一层无激活 函数，对CT图像的噪声伪影特征的提取。数据一致模块为保证投影数据一致性， 其运算定义为：
Figure BDA0001681581670000068
其中
Figure BDA0001681581670000069
为投影数据
Figure BDA00016815816700000610
经过数据一致模块后的输出，GT为反投影投影矩阵，μk-1为第k-1次迭代重建的CT图像。迭代重建卷积神经网络Re训练的损失函 数lRe为最终迭代重建的CT图像数据
Figure BDA00016815816700000611
与高质量CT图像数据
Figure BDA00016815816700000612
之间的均方误 差。
步骤4中，深度级联卷积神经网络的训练是采用Adam方法，来最小化投影 数据复原卷积神经网络中的两个损失函数和迭代重建卷积神经网络的损失函 数。卷积核参数是随机初始化的；学习率，迭代次数，batchsize，epoch等参数 是由经验设定的。通过训练最小化各个损失函数，来更新网络中每层卷积参数， 最终得到整个深度级联卷积神经网络的权重。
步骤5中，稀疏角度扫描下的CT投影数据Ps经过投影数据复原卷积神经网 络Rs处理后，得到复原后的投影数据Pnf＝Rs(Ps)；将复原后的投影数据Pnf作为 输入，输入到迭代重建卷积神经网络Re中，经重建后得到CT图像 V＝ReK(Pnf)＝ReK(Rs(Ps))，其中K为迭代重建次数。
本发明的优点在于：本发明方法首先采用卷积神经网络对稀疏角度扫描投 影数据进行复原，然后将卷积神经网络与传统的迭代重建方法相结合，提出了 一种新的迭代重建卷积神经网络方式。从投影数据复原和迭代重建两方面入手， 可以有效的改善现有的重建方法在对高度降采样的投影数据进行重建时细节容 易丢失及伪影严重的问题。实验结果验证了在投影角度降低到一定角度后，基 于卷积神经网络的方法能得到较FCR迭代重建更佳图像，即能够有效的抑制CT 图像中在稀疏条件下易出现的条状伪影，使稀疏角度下CT的图像质量接近正常 角度CT图像的临床质量水平，满足临床分析和诊断的要求，并且在GPU的加 速下，重建速度很快，可以达到实时成像的效果，能在目前的CT设备中获得很 好的应用和推广。
附图说明
下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：
图1为本发明中卷积神经网络的稀疏角度CT成像方法流程图；
图2为本发明中投影数据复原卷积神经网络Rs训练流程图；
图3为本发明中迭代重建卷积神经网络Re示意图；
图4为本发明实施例中全角度扫描(1152个角度)下的投影数据及TV重建 图(a：投影图；b：TV重建图)；
图5为本发明实施例中稀疏角度扫描(144个角度)下的投影数据及采用FBP 方法进行重建的结果(a：投影图；b：FBP重建图)；
图6为本发明实施例中稀疏角度扫描(144个角度)下采用FCR方法进行重 建的结果及采用本发明方法进行重建的结果(a：FCR重建图；b：CNNR重建图)；
图7为本发明实施例中稀疏角度扫描(144个角度)下对比实验中重建图像的 局部放大图(a、b、c、d分别对应全角度TV重建、稀疏角度FBP重建、稀疏 角度FCR重建和稀疏角度CNNR重建)；
图8为本发明实施例中稀疏角度扫描(96个角度)下的投影数据及采用FBP 方法进行重建的结果(a：投影图；b：FBP重建图)；
图9为本发明实施例中稀疏角度扫描(96个角度)下采用FCR方法进行重建 的结果及采用本发明方法进行重建的结果(a：FCR重建图；b：CNNR重建图)；
图10为本发明实施例中稀疏角度扫描(96个角度)下对比实验中重建图像的 局部放大图(a、b、c、d分别对应全角度TV重建、稀疏角度FBP重建、稀疏 角度FCR重建和稀疏角度CNNR重建)。
具体实施方式
下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进 一步详细的说明。
提出一种基于卷积神经网络的稀疏角度CT成像方法，称之为深度级联卷积 神经网络重建(deep cascade of Convolutional Neural Networks Reconstruction,简 称CNNR)，通过结合投影数据复原网络和迭代重建网络，来抑制稀疏角度下CT 图像内的条状伪影，提高稀疏角度CT图像质量，使其达到符合临床医生诊断的 质量水平。具体方法包括如下步骤：
步骤1、准备网络所需训练数据集。首先，从医院影像数据库中选取全角度 扫描下的CT投影数据
Figure BDA0001681581670000091
并重建出高质量CT图像数据
Figure BDA0001681581670000092
然后，对投影数据
Figure BDA0001681581670000093
进 行等角度间隔的降采样得到稀疏角度扫描下的CT投影数据
Figure BDA0001681581670000094
最后，将
Figure BDA0001681581670000095
和
Figure BDA0001681581670000096
作为训练投影数据复原卷积神经网络的样本输入和样本标签，将复原网络输出 的投影数据和高质量的CT图像数据
Figure BDA0001681581670000097
作为训练迭代重建的卷积神经网络的样 本输入和样本标签。
具体的，使用特定的训练数据集，如对腹部进行稀释角度CT成像，可利用 腹部投影和图像训练数据集，训练数据集与待重建数据集除扫描角度数不同， 其它参数(如：扫描管电流，管电压，体素大小，稀疏角度采样间隔等)均相同。 首先由全角度扫描下的CT投影数据
Figure BDA0001681581670000098
经过TV(Total Variation)迭代重建算法 (式(6))得到高质量CT图像数据
Figure BDA0001681581670000099
TV的求解步骤分为两步，TV约束和图像更 新；然后，对投影数据
Figure BDA00016815816700000910
进行等角度间隔的降采样得到稀疏角度扫描下的CT投 影数据
Figure BDA00016815816700000911
获得与之对应的投影数据输入；接下来，将
Figure BDA00016815816700000912
和
Figure BDA00016815816700000913
作为训练投影数 据复原的卷积神经网络的样本输入和样本标签，可以获得复原后的投影数据
Figure BDA00016815816700000914
最后，将复原后的投影数据
Figure BDA00016815816700000915
和高质量的CT图像数据
Figure BDA00016815816700000916
作为训练迭代重建的卷积神经网络的样本输入和样本标签，训练迭代重建网络的权重；CT图像数据
Figure BDA00016815816700000917
由全角度扫描下的CT投影数据
Figure BDA00016815816700000918
经过TV迭代重建算法得到的三维体数据图像， TV重建定义为：
Figure BDA00016815816700000919
其中G为投影矩阵，u为重建CT图像，W为投影数据的统计权重，通常按照投 影数据
Figure BDA00016815816700000920
的方差来计算；||·||w为加权L2范数，λ为正则化参数，TV(u)为TV正 则化约束项，式(6)通过交替求解的方式获得重建图像
Figure BDA00016815816700000921
步骤2、构建投影数据复原卷积神经网络Rs。投影数据复原卷积神经Rs包括 训练数据预处理和网络学习两个部分。训练数据预处理部分包括对稀疏角度投 影数据
Figure BDA0001681581670000101
插值和指数Anscombe变换两个操作；网络学习部分包括生成网络、对 数逆Anscombe变换、判别网络三个操作。具体步骤为，首先，利用生成网络， 将预处理后的光子信号数据
Figure BDA0001681581670000102
映射为复原后的光子信号数据
Figure BDA0001681581670000103
然后，采用对 数逆Anscombe变换得到复原后的投影数据
Figure BDA0001681581670000104
最后，通过判别网络的损失函数 来判别复原后的投影数据
Figure BDA0001681581670000105
与全角度扫描下投影数据
Figure BDA0001681581670000106
的一致性。
具体的，投影数据复原的卷积神经网络训练流程图如图2所示。首先对稀 疏角度扫描下CT投影数据进行三次样条插值，并对稀疏角度扫描下CT投影数 据进行指数Anscombe变换，将其变换为数值更大，分布范围更广的光子信号数 据
Figure BDA0001681581670000107
且将含有泊松噪声的数据变换为近似高斯分布的数据。其中指数Anscombe 变换定义为：
Figure BDA0001681581670000108
其中I0为单能X射线的初始强度，P为输入的投影数据。
然后，以经过预处理后的光子信号数据
Figure BDA0001681581670000109
和全角度下的投影数据
Figure BDA00016815816700001010
为训练 集，训练三维端到端的从稀疏角度到全角度之间的映射变换网络权重，来修复 稀疏扫描所产生的数据缺失，称之为生成网络，生成近似于全角度下的光子信 号数据
Figure BDA00016815816700001011
生成网络是采用包含三个残差学习基本单元，每个单元含有三个感 受野较小的卷积层，前两层采用ReLU激活函数，最后一层无激活函数，以实现 将不同层的特征融合，解决训练深层网络难收敛的问题。
接下来，对生成的光子信号数据
Figure BDA00016815816700001012
进行对数逆Anscombe变换，获得生成的 投影数据
Figure BDA00016815816700001013
对数逆Anscombe变换定义为：
Figure BDA0001681581670000111
其中
Figure BDA0001681581670000112
为经过复原后的光子信号数据。通过训练降低损失函数值
Figure BDA0001681581670000113
来获取整个生成网络的卷积权重。生成网络训练的损失函 数
Figure BDA0001681581670000114
为复原后的投影数据
Figure BDA0001681581670000115
与全角度投影数据
Figure BDA0001681581670000116
之间的均方误差。
最后，采用判别网络来判别生成的数据与全角度下数据的相似性，以进一 步优化生成网络。这里判别网络包含三个卷积块线性叠加结构和一个激活层， 其中，每个卷积块包括三个卷积层，将三维体数据图像块降为二维特征图，二 维特征图通过一个包含256个隐藏层连接到输出节点；激活层采用Sigmoid激活 函数，输出判别结果。通过训练降低损失函数值
Figure BDA0001681581670000117
来获取整个判别网络的卷积权重，其中
Figure BDA0001681581670000118
为判别网络D预测
Figure BDA0001681581670000119
的结 果与目标标签0的二值交叉熵，
Figure BDA00016815816700001110
为判别网络D预测
Figure BDA00016815816700001111
的结果与目标 标签1的二值交叉熵。
步骤3、构建迭代重建卷积神经网络Re。迭代重建卷积神经网络Re包含数据 一致模块，图像共享模块和残差网络模块三部分，通过最小化损失函数，来实 现从复原后的投影数据
Figure BDA00016815816700001112
到最终重建CT图像数据
Figure BDA00016815816700001113
端到端的映射。
具体的，迭代重建卷积神经网络Re的示意图如图3所示。稀疏角度CT重建中， 泛化的重建数学模型可以表示为：先验项R(u)可以表示为：
Figure BDA00016815816700001114
其中N为正则化的个数，Τn为变换函数，如卷积、变换算子等，
Figure BDA00016815816700001115
为势函数。 对以式(9)为目标函数求导，可以表示为：
Figure BDA0001681581670000121
其中η(μk)为k次迭代下目标函数的梯度项，
Figure BDA0001681581670000122
为延伸卷积网络的灵活性，可以将
Figure BDA0001681581670000123
项看作是一个多层的卷积神经网络，包含卷 积层和激活层。为此，通过结合卷积神经网络与梯度下降的优化方法，迭代重 建更新可以表示为：
Figure BDA0001681581670000124
其中
Figure BDA0001681581670000125
为k-1次重建结果，Cnn(·)为多层的卷积神经网络的结果，假 设迭代次数设置为K，实际上整个网络就是由K个浅层神经网络组合得到。
为此，迭代重建卷积神经网络Re中残差网络模块为求取
Figure RE-GDA0001836312980000126
通过训练可得到当前迭代图像的残差伪影特征，该模块 为一个残差学习基本单元，含有三个卷积层，前两层采用ReLU激活函数，最 后一层无激活函数，对CT图像的噪声伪影特征的提取。而迭代重建卷积神经网 络Re中的数据一致模块运算可定义为：
Figure BDA0001681581670000127
其中
Figure BDA0001681581670000128
为投影数据
Figure BDA0001681581670000129
经过数据一致模块后的输出，GT为反投影投影矩阵，μk-1为第k-1次迭代重建的CT图像。最后对数据一致模块，图像共享模块和残 差网络模块三项进行求和，作为此次迭代的输出，一个完整的浅层网络对应式 (11)。本发明中K设置为50，通过给定的样本
Figure BDA00016815816700001210
其中
Figure BDA00016815816700001211
为复原后的投 影数据作为训练数据，
Figure BDA00016815816700001212
为高质量CT图像数据作为标签数据，通过训练降低 迭代重建卷积神经网络Re的损失函数值
Figure BDA00016815816700001213
来获取整个重建 网络的卷积权重。
步骤4、深度级联卷积神经网络的训练。将步骤2和步骤3构建的投影数据 复原卷积神经网络Rs和迭代重建卷积神经网络Re进行级联，构建深度级联卷 积神经网络，并通过步骤1得到的数据对网络进行训练，获取整个深度级联卷 积神经网络权重。训练中，随机初始化参数，并且按照经验设定学习率，迭代 次数，batchsize，epoch等参数；通过采用Adam方法最小化投影数据复原卷积 神经网络Rs中的两个损失函数和迭代重建卷积神经网络Re中的损失函数，来 更新网络中每层卷积参数，最终得到整个深度级联卷积神经网络的权重；
具体的，将准备的稀疏角度下CT投影数据
Figure BDA0001681581670000137
和全角度下的CT投影数据
Figure BDA0001681581670000131
按照一定的尺寸
Figure BDA0001681581670000132
和像素间隔l1×l2×l3进行分块(如：图块尺寸为 45×45×25像素，分块间隔为20×20×10像素)，样本数据与标签数据分块是一 一对应的。分块后的数据作为输入，输入到投影数据复原的卷积神经网络Rs中， 并对卷积核参数进行随机初始化，按照经验设定学习率，迭代次数，batchsize， epoch等参数，通过Adam优化方法，对投影数据复原卷积神经网络Rs中的参数进 行更新，直到步骤2中的损失函数
Figure BDA0001681581670000133
和
Figure BDA0001681581670000134
达到收敛，投影数据复原卷积神经网 络Rs训练完毕。将投影数据复原的卷积神经网络Rs的输出
Figure BDA0001681581670000135
和高质量CT图像数 据
Figure BDA0001681581670000136
输入到迭代重建的卷积神经网络Re中，并对卷积核参数进行随机初始化， 按照经验设定学习率，迭代次数，batchsize，epoch等参数，通过Adam优化方法， 对迭代重建卷积神经网络Re中的参数进行更新，直到步骤3中的损失函数lRe达到 收敛，迭代重建卷积神经网络Re训练完毕。
步骤5、利用训练好的深度级联卷积神经网络，对临床稀疏角度扫描下的CT 投影数据Ps进行重建，得到高质量的CT图像V。
具体的，临床稀疏角度扫描下的CT投影数据Ps经过投影数据复原卷积神经 网络Rs处理后，得到复原后的投影数据Pnf＝Rs(Ps)；将复原后的投影数据Pnf作 为输入，输入到迭代重建的卷积神经网络Re中，经重建后得到CT图像 V＝ReK(Pnf)＝ReK(Rs(Ps))，其中K为迭代重建次数。
效果评估准则
首先扫描九组腹部数据，用于网络训练。实验中所使用CT设备为一台 SomatomDefinition AS+CT，具体的扫描参数为：管电压100KVp，管电流为 360mAs，探测器大小为736×64，每个探测器单元尺寸为1.2856×1.0947mm2， 射线源到物体中心和探测器中心的距离分别为59.5cm和108.56cm，全角度模 式下每圈采集1152个投影数据，螺距为0.6，其它参数采用机器默认值。
另外，用同一设备同一扫描参数，采集一组腹部数据用于测试本发明的有 效性。其中一圈投影数据如图4(a)所示，采用TV重建算法重建的高质量CT图 像如图4(b)所示，CT图像窗宽为400HU(Housfield Units,HU)，窗位为50HU。
量化评估
为了评估本发明方法的有效性，我们引入两个量化指标对本发明方法的有 效性进行评判，峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度 (StructuralSimilarity Index,SSIM)。其计算方法如下：
Figure BDA0001681581670000141
Figure BDA0001681581670000142
其中P为重建CT图像，I为参考的高质量CT图像，i，j，k为CT图像像素索 引，Pk和Ik分别表示第k层图像；μpk和μik分别表示Pk和Ik中的均值；σpk和σik分别为对应的标准差，σpik为对应的协方差；C1和C2为两个常数，其中C1＝(0.01 ×L)2,C2＝(0.03×L)2，L为重建CT图像的灰度值范围。利用重建出的图像和对 应的参考图像分别计算PSNR和SSIM，PSNR单位为dB，数值越大表示失真越 小。SSIM从亮度、对比度、结构三方面度量图像相似性，取值为[0,1]，数值越 大表示失真越小。从下表1可以看到本发明的重建CT图像的PSNR和SSIM值 最高，可以获得接近全角度扫描下的CT图像的。
表1
Figure BDA0001681581670000151
从表1中可以看出，FBP算法重建图像的量化指标最差，FCR重建结果具 有一定的提高，而采用本发明的方法可以有更高的PSNR和SSIM(114个角度下， 与FCR结果相比，PSNR约高出1.5dB左右，SSIM约高出0.02左右)，量化比 较的结果与图5～10中的视觉效果保持一致。从上述实验可以看到，在稀疏角度 扫描条件下获得接近全扫描水平的CT信息的特征图像，满足了临床分析和诊断 的质量要求。而且一旦网络训练好后，本发明方法计算速度快，操作简易，实 用性较高，具有较大的应用范围。
视觉评估
为了客观有效的做出对比，上面我们采用了两种量化评估方法进行评估。 下面通过视觉评估：
通过比较144个扫描角度下，传统FBP重建方法、FCR重建方法重建后的 CT图和用本发明方法CNNR重建方法重建后的CT图(图5，图6和图7)来 验证本发明的有效性。通过比较96个扫描角度下，传统FBP重建方法、FCR 重建方法重建后的CT图和用本发明方法CNNR重建方法重建后的CT图(图8， 图9和图10)来进一步验证本发明的成像效果。
经临床经验丰富的放射科医生来观察比较图4～10中CT图像的结构细节， 对比度，解剖组织纹理，噪声伪影强度等特点，认为本发明能有效的提高重建 CT图像质量。同时，从重建图中可以看到CNNR重建方法较经典的FBP重建 方法，FCR迭代重建方法可以有效抑制条状伪影。从局部放大中可以看到，经 典的FBP重建方法噪声伪影严重，无法有效的抑制条状伪影，组织细节无法区 分；FCR迭代重建虽然能抑制部分伪影，但仍然残留部分伪影，同时，重建图 中产生了新的块状伪影成分；而使用本发明方法CNNR重建后，图像质量有了 明显提高，组织细节更加清晰，条状伪影不明显，在96个扫描角度下，效果更 加明显。
显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构 思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于，包括如下步骤：
步骤1：准备网络所需训练数据集；
步骤2：构建投影数据复原卷积神经网络Rs；
步骤3：构建迭代重建卷积神经网络Re；
步骤4：将步骤2和步骤3构建的投影数据复原卷积神经网络Rs和迭代重建卷积神经网络Re进行级联，构建深度级联卷积神经网络，并通过步骤1得到的数据对网络进行训练，获取整个深度级联卷积神经网络的权重；
步骤5：利用训练好的深度级联卷积神经网络，对临床稀疏角度扫描下的CT投影数据Ps进行重建，得到高质量的CT图像V。
2.如权利要求1所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：步骤1中训练数据集通过如下方式获得：首先，从医院影像数据库中选取全角度扫描下的CT投影数据
Figure FDA0001681581660000011
并重建出高质量CT图像数据
Figure FDA0001681581660000012
然后，对投影数据
Figure FDA0001681581660000013
进行等角度间隔的降采样得到稀疏角度扫描下的CT投影数据
Figure FDA0001681581660000014
最后，将
Figure FDA0001681581660000015
和
Figure FDA0001681581660000016
作为训练投影数据复原卷积神经网络的样本输入和样本标签，将复原网络输出的投影数据和高质量的CT图像数据
Figure FDA0001681581660000017
作为训练迭代重建的卷积神经网络的样本输入和样本标签。
3.如权利要求2所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：CT图像数据
Figure FDA0001681581660000018
是由全角度扫描下的CT投影数据
Figure FDA0001681581660000019
经过TV迭代重建算法得到的。
4.如权利要求1所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：步骤2中构建的投影数据复原卷积神经网络Rs，包括训练数据预处理和网络学习两个部分；训练数据预处理部分包括对稀疏角度投影数据
Figure FDA0001681581660000021
进行插值和指数Anscombe变换两个操作，将投影数据预处理为光子信号数据
Figure FDA0001681581660000022
网络学习部分包括生成网络、对数逆Anscombe变换、判别网络三个操作，具体步骤为：首先，利用生成网络，将预处理后的光子信号数据
Figure FDA0001681581660000023
映射为复原后的光子信号数据
Figure FDA0001681581660000024
然后，进行对数逆Anscombe变换得到复原后的投影数据
Figure FDA0001681581660000025
最后，通过判别网络来判别复原后的投影数据
Figure FDA0001681581660000026
与全角度扫描下投影数据
Figure FDA0001681581660000027
的一致性。
5.如权利要求4所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：对稀疏角度投影数据
Figure FDA0001681581660000028
进行插值的方法为三次样条插值。
6.如权利要求4所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：指数Anscombe变换定义为：
Figure FDA0001681581660000029
其中I0为单能X射线的初始强度，P为输入的投影数据。
7.如权利要求4所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：生成网络包含三个残差学习基本单元，每个单元含有三个卷积层，前两层采用ReLU激活函数，最后一层无激活函数，以实现将不同层的特征融合。
8.如权利要求4所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：生成网络训练的损失函数
Figure FDA00016815816600000210
为复原后的投影数据
Figure FDA00016815816600000211
与全角度投影数据
Figure FDA00016815816600000212
之间的均方误差。
9.如权利要求4所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：对数逆Anscombe变换定义为：
Figure FDA0001681581660000031
其中
Figure FDA0001681581660000032
为经过复原后的光子信号数据。
10.如权利要求4所述的一种基于卷积神经网络的稀疏角度CT成像方法，其特征在于：判别网络包含三个卷积块线性叠加结构和一个激活层，其中，每个卷积块包括三个卷积层，将三维体数据图像块降为二维特征图，二维特征图通过一个包含256个隐藏层连接到输出节点；激活层采用Sigmoid激活函数，输出判别结果。
CN201810557240.XA 2018-06-01 2018-06-01 一种基于卷积神经网络的稀疏角度ct成像方法 Active CN108898642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810557240.XA CN108898642B (zh) 2018-06-01 2018-06-01 一种基于卷积神经网络的稀疏角度ct成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810557240.XA CN108898642B (zh) 2018-06-01 2018-06-01 一种基于卷积神经网络的稀疏角度ct成像方法

Publications (2)

Publication Number Publication Date
CN108898642A CN108898642A (zh) 2018-11-27
CN108898642B true CN108898642B (zh) 2022-11-11

Family

ID=64343839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810557240.XA Active CN108898642B (zh) 2018-06-01 2018-06-01 一种基于卷积神经网络的稀疏角度ct成像方法

Country Status (1)

Country Link
CN (1) CN108898642B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816599B (zh) * 2018-12-07 2020-12-29 西安电子科技大学 一种基于小波分解卷积神经网络的图像条带噪声抑制方法
CN109685865B (zh) * 2018-12-24 2023-03-31 电子科技大学 适合直线扫描轨迹的锥束断层重建方法
CN109374658B (zh) * 2018-12-24 2022-05-03 电子科技大学 双视角x射线安检系统的神经网络重建断层成像方法
CN110211194A (zh) * 2019-05-21 2019-09-06 武汉理工大学 一种基于深度学习去除稀疏角度ct成像伪影的方法
CN112085829A (zh) * 2019-05-27 2020-12-15 清华大学 基于神经网络的螺旋ct图像重建方法和设备及存储介质
CN110503699A (zh) * 2019-07-01 2019-11-26 天津大学 一种ct投影路径减少情况下的ct图像重建方法
CN110335327A (zh) * 2019-07-10 2019-10-15 东北大学 一种直接解决逆问题的医学图像重建方法
CN110243828B (zh) * 2019-07-18 2021-07-30 华中科技大学 基于卷积神经网络的生物组织三维成像方法
CN110390361B (zh) * 2019-07-25 2021-04-09 安徽工程大学 一种基于运动补偿学习的4d-cbct成像方法
US11257191B2 (en) * 2019-08-16 2022-02-22 GE Precision Healthcare LLC Systems and methods for deblurring medical images using deep neural network
CN110728727B (zh) * 2019-09-03 2023-04-18 天津大学 一种低剂量能谱ct投影数据的恢复方法
CN110827250A (zh) * 2019-10-29 2020-02-21 浙江明峰智能医疗科技有限公司 基于轻量级卷积神经网络的智能医学图像质量评估方法
CN111105475B (zh) * 2019-12-24 2022-11-22 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
CN111223161B (zh) * 2020-01-02 2024-04-12 京东科技控股股份有限公司 一种图像重建方法、装置及存储介质
CN111951346B (zh) * 2020-08-18 2023-06-23 安徽工程大学 一种联合运动估计与时空张量增强表示的4d-cbct重建方法
CN112037299B (zh) * 2020-08-20 2024-04-19 上海壁仞智能科技有限公司 一种影像重建的方法及装置、电子设备和存储介质
CN112132924B (zh) * 2020-09-29 2022-09-09 北京理工大学 一种基于深度神经网络的ct重建方法
CN112396672B (zh) * 2020-11-20 2023-03-24 华中科技大学 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN112381741B (zh) * 2020-11-24 2021-07-16 佛山读图科技有限公司 基于spect数据采样与噪声特性的断层图像重建方法
CN112489156B (zh) * 2020-12-17 2023-04-18 电子科技大学 一种基于插值卷积神经网络的低剂量ct重建方法
CN112669405B (zh) * 2020-12-30 2023-01-20 上海联影医疗科技股份有限公司 图像重建方法、系统、可读存储介质和设备
CN113034641B (zh) * 2021-03-29 2022-11-08 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113554729B (zh) * 2021-07-28 2022-06-07 中北大学 一种ct图像重建方法及系统
CN114723842B (zh) * 2022-05-24 2022-08-23 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN116843825B (zh) * 2023-06-01 2024-04-05 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN117726421A (zh) * 2024-02-07 2024-03-19 湖南三湘银行股份有限公司 一种应用于银行的权益管理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871332A (zh) * 2017-11-09 2018-04-03 南京邮电大学 一种基于残差学习的ct稀疏重建伪影校正方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240270B (zh) * 2013-06-14 2017-12-05 同方威视技术股份有限公司 Ct成像方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871332A (zh) * 2017-11-09 2018-04-03 南京邮电大学 一种基于残差学习的ct稀疏重建伪影校正方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的有限视角CT重建;吴清江等;《电脑知识与技术》;20171215(第35期);全文 *

Also Published As

Publication number Publication date
CN108898642A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108898642B (zh) 一种基于卷积神经网络的稀疏角度ct成像方法
Hu et al. Artifact correction in low‐dose dental CT imaging using Wasserstein generative adversarial networks
CN108961237B (zh) 一种基于卷积神经网络的低剂量ct图像分解方法
Yang et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss
Huang et al. CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging
Heinrich et al. Residual U-net convolutional neural network architecture for low-dose CT denoising
EP3367329B1 (en) Denoising medical images by learning sparse image representations with a deep unfolding approach
Park et al. Unpaired image denoising using a generative adversarial network in X-ray CT
Kuanar et al. Low dose abdominal CT image reconstruction: An unsupervised learning based approach
CN108492269B (zh) 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
Lee et al. Sparse-view CT reconstruction based on multi-level wavelet convolution neural network
CN110998651A (zh) 一种用于生成对象的增强断层扫描图像的方法
Tao et al. VVBP-tensor in the FBP algorithm: its properties and application in low-dose CT reconstruction
Hou et al. CT image quality enhancement via a dual-channel neural network with jointing denoising and super-resolution
Zavala-Mondragón et al. Image noise reduction based on a fixed wavelet frame and CNNs applied to CT
Li et al. Learning non-local perfusion textures for high-quality computed tomography perfusion imaging
Zhang et al. Spectral CT image-domain material decomposition via sparsity residual prior and dictionary learning
Feng et al. Dual residual convolutional neural network (DRCNN) for low-dose CT imaging
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
CN111161182A (zh) Mr结构信息约束的非局部均值引导的pet图像部分容积校正方法
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
Evangelista et al. A new bayesian Poisson denoising algorithm based on nonlocal means and stochastic distances
Liang et al. A self-supervised deep learning network for low-dose CT reconstruction
Ding et al. A dataset-free deep learning method for low-dose CT image reconstruction
Wang et al. Limited-angle computed tomography reconstruction using combined FDK-based neural network and U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant