CN110599420A - 基于深度学习的ct图像分块重建方法及系统 - Google Patents
基于深度学习的ct图像分块重建方法及系统 Download PDFInfo
- Publication number
- CN110599420A CN110599420A CN201910848292.7A CN201910848292A CN110599420A CN 110599420 A CN110599420 A CN 110599420A CN 201910848292 A CN201910848292 A CN 201910848292A CN 110599420 A CN110599420 A CN 110599420A
- Authority
- CN
- China
- Prior art keywords
- image
- projection data
- filtering
- image block
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 67
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000000903 blocking effect Effects 0.000 claims abstract 2
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000004044 response Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 20
- 238000001228 spectrum Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 210000000038 chest Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000011850 water-based material Substances 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004833 X-ray photoelectron spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的CT图像分块重建方法及系统，该系统包括：CT投影数据滤波模块，对输入的CT投影数据进行局部范围滤波和全区域滤波；图像块重建模块，计算当前拟重建图像块所对应的投影数据位置，并在所述投影数据位置抽取所述滤波后投影数据；并将抽取的所述滤波后投影数据与所述图像块的每个像素连接，重建图像块，并对重建后的图像块进行正则化处理；再对正则化处理后的图像块进行滤波；图像合成模块，将全部重建后的图像块进行合成，获取合成后图像；图像重建及输出模块，对所述合成后图像进行滤波，获取重建图像，并输出。本发明提高了图像重建能力，省去了投影迭代步骤，且重建速度快，适用于探测单元响应不一致等情况。
Description
技术领域
本发明涉及X射线CT成像技术领域，具体而言，涉及一种基于深度学习的CT图像重建方法及其系统。
背景技术
X射线CT成像技术就是一种利用测得的投影数据重建被测物体的图像的技术，在数学上这是一个大规模非线性方程组的求解问题，求解过程较复杂。常用的X射线源发出的X射线能量具有较宽的能谱，且在常用的能段内散射效应明显。但由于能谱难以准确标定，散射效应也难以准确估计，因此传统的CT图像重建算法，无论是解析算法还是迭代算法，均不考虑能谱和散射等的影响，将CT非线性方程组变为线性方程组求解，难以重建理想图像，所重建的图像中会出现显著的硬化伪影、散射伪影以及重建算法本身造成的条带状伪影等，特别是在不完全投影重建的情况下。迭代算法虽然可方便地结合先验信息重建出较好质量的图像，但运算量大，且一些先验信息难以准确获得，图像重建质量还有很大的提升空间。
近年来，随着深度学习技术在多个领域应用的巨大成功，基于深度学习技术的CT图像重建也变成了一个研究热点。目前基于深度神经网络的CT图像重建的主要难点是系统投影矩阵的规模太大，仅仅重建常见的512×512大小的二维图像，矩阵就需要上百GB的存储空间，造成神经元参数太多，且需要多层神经网络才能收敛，这对于常规计算机系统的计算和存储都造成了极大的挑战，严重地影响了由投影到图像的端到端重建方法的实现。为此当前的研究主要集中于将卷积神经网络技术用于CT图像的后处理，即针对低剂量 CT重建图像、稀疏角度CT重建图像等去噪，或者去除散射引起的重建伪影等。目前有学者将基于深度神经网络图像去噪技术结合到CT图像迭代重建算法，仅作为一个图像正则化的环节，正则化的权值由学习得到的。该方法不仅需要处理由重建算法引入的图像伪影，而且仍然有传统迭代算法计算量大的缺点。目前也有学者基于深度神经网络实现了滤波反投影算法，为了避免对系统矩阵的学习，直接存储了系统矩阵值，这相当于保持了传统CT算法的反投影步骤，图像重建能力受到很大的限制，不适合不完全投影情况下的 CT图像重建。
为此，需要一种灵活性强，能够重建高质量图像的图像重建方法，实现由投影数据到CT图像的直接重建，避免引入传统CT重建算法造成的伪影。
发明内容
针对现有技术的不足，为了解决系统投影矩阵的规模太大，训练参数太多等问题，本发明提出了基于深度学习的CT图像分块重建方法及其系统。利用分块重建的优点，加快深度神经网络的训练速度。具体而言，本发明提供了以下的技术方案：
一方面，本发明提供了一种基于深度学习的CT图像分块重建方法，所述方法包括：
S1、扫描被测物体，将每个角度获取的CT投影数据作为输入数据；
S2、对所述CT投影数据进行局部范围滤波，以消除对光子多色性、散射效应、电子噪声等对投影数据的影响；并将局部范围滤波后的数据进行全区域滤波，获取滤波后投影数据；
S3、计算当前拟重建图像块所对应的投影数据位置，并在所述投影数据位置抽取所述滤波后投影数据；
S4、将S3中抽取的所述滤波后投影数据与所述图像块的每个像素连接，重建图像块，并对重建后的图像块进行正则化处理；
S5、对正则化处理后的图像块进行滤波；
S6、若全部图像块完成重建，则将全部图像块进行合成，获取合成后图像；否则，返回S3；
S7、对所述合成后图像进行滤波，获取重建图像，并输出。
优选地，所述S2中，可采用卷积神经网络级联全连接网络，进行滤波；其中，卷积神经网络进行局部范围滤波，全连接网络进行全区域滤波。
优选地，所述S3中，所述图像块在体CT图像重建时为3D图像块，在断层CT重建时为2D图像块。
优选地，所述S3中，每个图像块的维数、大小、形状取决于重建的CT 图像的维数、尺寸、投影是否截断、是否局部重建以及重建过程的计算量，图像块之间可以是部分区域重叠或完全不重叠。
优选地，所述S3中，投影数据位置通过以下方式确定：
计算某一个角度下射线的法向被测物体上一点x在探测器上的投影位置r为：
r＝Φ·x
在得到图像块的每个顶点的投影位置后，这些投影位置的最小包围长方形或者覆盖这些投影位置的最小线段所对应的投影数据位置，即是重建该图像块所需要的投影数据位置。
优选地，所述S4中，将滤波后投影数据与所述图像块的每个像素连接，通过以下方式进行：
滤波后投影数据p到图像块的像素μ之间的非线性映射关系为：
μ＝fn(Wn(…(W2f1(W1p+b1)+b2)…)+bn)
这里fi(i＝1,2,…,n)是激活函数；Wi(i＝1,2,…,n)是待学习的神经元权值向量系数；bi(i＝1,2,…,n)是待学习的偏移系数。
优选地，所述S6中进一步包括：图像块的合成过程中，待合成图像的第 j个像素可与P个图像块相关，由这些图像块中对应像素值μp,j加权平均合成该像素值μj的具体方式如下：
其中，wp,j是μp,j的权值；
图像合成时，首先由像素坐标索引获得在相关图像块中对应像素值，然后求得这些相应像素的权值进而获取合成后图像。
优选地，获取CT扫描图像的CT扫描装置中的探测器包括能量积分型探测器和光子计数型探测器等，扫描模式包括平行束扫描、扇束扫描、锥束扫描以及螺旋扫描等，扫描方式为不完全投影扫描、感兴趣区域局部扫描或超分辨率扫描等。
优选地，所述卷积神经网络，其神经元之间采用跳跃连接结构、稠密连接结构或Unet结构，并且利用Batch Normalization进行归一化，用激活函数(如 ReLU函数等)实现非线性映射和对投影值的非负约束。
另一方面，本发明还提供了一种基于深度学习的CT图像分块重建系统，所述系统包括：
CT投影数据滤波模块，用于对输入的CT投影数据进行局部范围滤波，并将局部范围滤波后的数据进行全区域滤波，获取滤波后投影数据；
图像块重建模块，用于计算当前拟重建图像块所对应的投影数据位置，并在所述投影数据位置抽取所述滤波后投影数据；并将抽取的所述滤波后投影数据与所述图像块的每个像素连接，重建图像块，并对重建后的图像块进行正则化处理；再对正则化处理后的图像块进行滤波；
图像合成模块，用于将全部重建后的图像块进行合成，获取合成后图像；
图像重建及输出模块，用于对所述合成后图像进行滤波，获取重建图像，并输出。
优选地，所述图像块在体CT图像重建时为3D图像块，在断层CT重建时为2D图像块；所述图像块之间可以是部分区域重叠或完全不重叠。
优选地，所述图像块重建模块确定投影数据位置通过以下方式进行：
计算某一个角度下射线的法向被测物体上一点x在探测器上的投影位置r为：
r＝Φ·x
在得到图像块的每个顶点的投影位置后，这些投影位置的最小包围长方形或者覆盖这些投影位置的最小线段所对应的投影数据位置，即是重建该图像块所需要的投影数据位置。
优选地，所述图像块重建模块通过建立非线性映射关系，实现将滤波后投影数据与所述图像块的每个像素连接，
所述非线性映射关系为：
μ＝fn(Wn(…(W2f1(W1p+b1)+b2)…)+bn)
这里fi(i＝1,2,…,n)是激活函数；Wi(i＝1,2,…,n)是待学习的神经元权值向量系数；bi(i＝1,2,…,n)是待学习的偏移系数，p为滤波后投影数据，μ为图像块的像素。
优选地，所述图像合成模块实现图像合成方式如下：
在图像块的合成过程中，待合成图像的第j个像素可与P个图像块相关，由这些图像块中对应像素值μp,j加权平均合成该像素值μj的具体方式如下：
其中，wp,j是μp,j的权值；
图像合成时，首先由像素坐标索引获得在相关图像块中对应像素值，然后求得这些相应像素的权值进而获取合成后图像。
优选地，获取CT扫描图像的CT扫描装置中的探测器包括能量积分型探测器和光子计数型探测器等，扫描模式包括平行束扫描、扇束扫描、锥束扫描以及螺旋扫描等，扫描方式为不完全投影扫描、感兴趣区域局部扫描或超分辨率扫描等。
相比于现有技术，本发明的技术方案具有以下优点：
1)本发明方法实现了由被测物体的投影数据到CT图像的直接映射，每条射线对每个像素的权值都由学习得到，重建能力强，且不会引入由传统CT 重建算法造成的图像伪影，提高了图像重建能力，适用于探测单元响应不一致等情况。
2)本发明方法对被测物体的CT图像进行分块重建，这样不仅可以节省神经元个数，减少神经网络层数，缩短网络训练时间，支持较大的三维CT图像重建，而且充分利用了CT图像块之间的相似性，增加了网络训练样本，降低了训练样本和测试数据之间的相关性，提高了网络的泛化能力。
3)本发明方法不包含对整幅重建图像的正反投影迭代步骤，训练完成后图像重建速度快，适用于多GPU计算、分布式计算运算及投影数据量巨大的高分辨率CT图像的实时重建。
附图说明
图1为本发明实施例的图像分块重建方法流程图；
图2为本发明实施例的计算多色投影时所采用的能谱；
图3为本发明实施例的网络分层图；
图4为本发明实施例的图像块重建步骤分别采用3个全连接层和5个全连接层时的损失函数值随着训练次数的变化曲线对比图；
图5a为所重建的胸腔图像的基准图像块；
图5b为所重建的胸腔图像的传统FBP算法重建后的图像块；
图5c为所重建的胸腔图像的传统SART+TV算法重建后的图像块；
图5d为所重建的胸腔图像的本发明方法重建后的图像块；
图6a为所重建的胸腔图像的的完整基准图像；
图6b为所重建的胸腔图像的传统FBP算法重建后的完整图像；
图6c为所重建的胸腔图像的传统SART+TV算法重建后的完整图像；
图6d为所重建的胸腔图像的本发明方法重建后的完整图像。
具体实施例
下面将结合本发明实施例中的图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应当明了，本实施例仅是一优选的实施方式，而不应视为本发明保护范围的限定理解。
首先，基于X射线的特性，在具体的实施例中，X射线穿过被测物体后强度发生衰减，衰减后的多色投影的计算公式如下：
其中i是一个探测单元序号，对应着一条射线，共用I条射线扫描被测物体。x是当前射线上的一点，μ(x,E)是在被测物体在x点处关于能量E的线性衰减系数。pi是用一个归一化的X射线能谱w(E)扫描被测物体时，在第i个探测单元上所探测到的多色投影值。Si为在相应的探测单元上探测到的散射及噪声的影响。在离散情况下，可进一步计算得到，将公式(1)变换后表示为：
这里wm是能谱w(E)被均分为M个能量段后的离散化形式，能谱段宽度为表示被测物体关于第m个能量段的线性衰减系数图像，共包含J个像素。Ai是系统投影矩阵A＝{aij}的一个向量。矩阵A共有I×J 个元素，其中元素aij为第j个像素对i个投影的贡献权值。
在不考虑能谱的情况下，根据CT重建的反投影滤波算法理论，在投影没有截断或者图像上沿着PI线没有截断的情况下，可对图像局部进行精确重建。在考虑能谱情况下，投影与图像之间的关系为非线性关系，传统算法难以精确重建。深度学习可实现高精度的且鲁棒性强的非线性映射关系，为此，本发明提出了一种基于深度学习的CT图像分块重建方法。如图1所示，本发明方法包含投影数据输入、投影滤波、投影选取、图像块重建、图像块滤波、图像合成、图像滤波及输出等步骤。以下逐步骤具体说明：
S1)投影数据输入：利用CT扫描装置扫描被测物体，将每个角度获取的投影数据在输入层输入深度神经网络处理。
在线阵探测器的情况下，每个角度的投影数据作为一个向量输入；在面阵探测器情况下，每个角度下采集的投影是2D投影数据，每个角度的投影数据作为一个矩阵输入，矩阵的行对应着2D投影数据的行，矩阵的列对应着 2D投影的列。
上述角度个数取决于被测物体的情况和CT设备的具体情况，在本领域中并无统一标准，而本发明的方法中，任意角度个数均可，这属于本领域中的公知常识，此处不再赘述。
S2)投影滤波：用卷积神经网络层(CNN)级联全连接网络层(FCN) 分别对每个角度的投影数据进行滤波。
其中CNN对投影数据进行局部范围滤波，用以去除多色性、散射效应、电子噪声等对投影数据的影响。卷积神经网络可利用残差网络和Unet结构提高滤波效率，并且用BatchNormalization进行归一化，用激活函数实现非线性映射和对投影值的非负约束。FCN用以实现每个角度的投影的全区域滤波，以完成Ram-Lak卷积滤波的近似效果。
S3)投影选取：计算出当前拟重建图像块所对应的投影数据位置，在相应位置抽取这些被滤波后的投影数据输入后续的网络层处理。
在本实施例中，这里的图像块在体CT图像重建时为3D图像块，在断层 CT重建时为2D图像块。在平行束扫描的情况下，设为一个角度下射线的法向，被测物体上一点x在探测器上的投影位置r可以求得为：
r＝Φ·x (3)
在得到图像块的每个顶点的投影位置后，这些投影位置的最小包围长方形(在采用面阵探测器时)或者覆盖这些投影位置的最小线段(在采用线阵探测器时)所对应的投影数据，便是重建这个图像块所需要的投影数据。
S4)图像块重建：通过FCN将输入的每个滤波后的投影数据作为一个神经元与图像块的每个像素连接，重建图像块，并用激活层等对图像块进行正则化处理。
利用FCN的方法可处理探测器响应不一致等因素的影响。基于上述步骤 S1)至S3)处理之后实现的由投影p到图像μ之间的非线性映射关系可表示如下：
μ＝fn(Wn(…(W2f1(W1p+b1)+b2)…)+bn) (4)
这里fi(i＝1,2,…,n)是激活函数；Wi(i＝1,2,…,n)是待学习的神经元权值向量系数；bi(i＝1,2,…,n)是待学习的偏移系数。
S5)图像块滤波：用CNN滤去重建图像块中出现的伪影。
同样，可利用残差网络和Unet结构提高滤波效率，优选地，可以使用 BatchNormalization进行归一化，用激活函数实现非线性映射和对像素值的非负约束，激活函数可以采用经典的Sigmoid函数、tanh函数、Relu函数等。
S6)图像合成：如果图像中的所有图像块完成了重建，则利用这些图像块合成图像，否则选取下一个图像块，返回步骤S3)继续重建该图像块。
由于本发明方法允许图像块彼此重叠一部分，因此待合成图像的第j个像素可与P个图像块相关，由这些图像块中对应像素值μp,j加权平均合成该像素值μj的具体方式如下：
这里wp,j是μp,j的权值。结合公式(5)，图像合成，可首先由像素坐标索引获得在相关图像块中对应像素值，然后通过卷积神经网络(CNN等)学习等方式得到这些相应像素的权值
S7)图像滤波及输出：可使用CNN进一步滤去整幅重建图像中可能残留的伪影，最后在输出层输出重建的图像。
这里仍可利用残差网络和Unet结构提高滤波效率，并且用Batch Normalization进行归一化，用激活函数实现非线性映射和对像素值的非负约束。
在实采投影数据情况下，传统CT重建算法由于没有充分考虑光子多色性、统计涨落、散射效应、电子噪声、探测器响应不一致等因素的影响，所重建的图像中存在多种伪影。因此传统CT重建算法只是在理论上指明了图像重建的途径，基于深度神经网络的方法的每一个网络层不必要和传统解析算法或迭代算法的步骤有非常明确的一一对应关系，可以用多层不同的神经网络类型组合实现传统算法的一个步骤，将传统算法中对各种参数的标定和校正，变为了对神经网络参数的学习。在训练时，也不需要逐层强化训练，只在每个步骤输出处增加标签数据进行训练即可。
本发明方法既适用于X射线锥束扫描模式下的3D CT图像重建，也适用于扇束、平行束等扫描模式下的2D CT图像重建，以及相应的螺旋扫描模式下的图像重建。为了描述简洁，在本实施例中，以平行束扫描模式下的2D CT 图像重建的例子进一步阐明本发明方法的实现方式，以验证本发明方法的有效性。实验中采用公开的TCGA-ESCA癌症CT图像库中4302幅尺寸为 512×512个像素作为基准图像进行测试，即这些图像作为投影数据生成的被测物体图像以及与被测物体重建后图像质量评估的基准。首先由对这些图像作稀疏的平行束投影生成多色投影数据。具体扫描参数为每个角度用600 条射线扫描基准图像，每3°扫描一次，共扫描60个角度。基准图像分割为骨基图像和水基图像，归一化后生成骨基材料密度图像和水基材料密度图像，结合基材料的质量衰减系数，求得在能量段m时的单能量衰减系数图像μm:
μm＝φmg1+θmg2 (6)
这里g1和g2分别是由像素值组成的骨基材料密度图像向量和水基材料密度图像向量；φm和θm分别是骨基材料和水基材料在能量段m时的质量衰减系数，选定的骨组织的密度为1.92g/cm3，水的密度为1.0g/cm3。这样公式(2)变为：
本实施例采用公式(7)计算多色投影数据，用计算得到的各个角度的多色投影数据作为神经网络的输入数据集，用基材料密度图像合成的70keV单能量图像μ70作为训练神经网络的标签数据集，完成神经网络中所有参数的训练。
在利用公式(7)计算多色投影时，所采用的能谱如图2所示，能谱的采样间隔设为1keV，且忽略了散射及噪声的影响Si。
本实施例的神经网络分层图如图3所示：在网络的投影输入层输入投影数据；在投影滤波层用1个卷积层和1个全连接层分别对每个角度的投影数据进行滤波；然后在投影选取层利用公式(3)选取出重建当前图像块所需的投影数据；接着在图像块重建层分别各用3个全连接层实现当前图像块的重建；并在图像块滤波层分别用2个卷积层对对应的图像块进行滤波；在所有图像块重建完成后，输入到由1个卷积层构成的图像合成层完成图像的合成，并利用由1个卷积层组成的图像滤波层对图像进一步滤波，最后在输出层输出该重建图像。在本实施例的深度神经网络中，每一个卷积层都跟随一个Batch Normalization层和一个ReLU层。
在本实施例中，将图像块大小设定为32×32个像素。在图像块彼此不重叠的情况下，一幅大小为512×512个像素的训练图像共包含256个图像块。利用这些图像块作为训练样本(标签)对神经网络的图像块重建阶段进行强化训练，则训练样本增加了256倍，提高了网络的收敛性。在实际应用时，由于图像块之间的相似性高于图像之间的相似性，因此可以降低训练样本和测试数据之间的相关性，提高网络的泛化能力。
实施例中的神经网络可基于Pytorch框架进行调整来实现，运行环境为Python3.6。实验在配置有10块NVIDIA GTX1080Ti GPU显卡Inter Xeon E5-2620 CPU的计算机上实现。本实施例中采用adam作为网络的优化器，学习率由10-3逐渐下降到10-5。在训练时网络时，采用均方差损失函数。图4为在图像块重建步骤分别采用3个全连接层和5个全连接层时的损失函数值随着训练次数的变化曲线对比图。由该图可见，随着训练次数的增加，不同的全连接层个数均导致损失值下降迅速，当训练次数达到1000次以后，则损失变化曲线变得平缓，表明迭代逐渐收敛了，即投影对图像像素的贡献权值已由学习得到；在采用5个全连接层时，均方差损失函数值下降更快，且更加稳定。
为了验证本发明方法的有效性，本实施例还与传统的滤波反投影(FBP) 算法和代数迭代算法结合总变差最小正则化(ART+TV)的重建效果进行了对比。图5a至5d给出了图像库中一个基准图像的一个图像块的重建效果对比，其中图5a是该基准图像的一个图像块；图5b是FBP算法对该图像块的重建图像；图5c是ART+TV算法对该图像块的重建图像；图5d是本发明方法对该图像块的重建图像。由图5a至5d可以看出，尽管只有60个角度的投影，本发明方法仍旧可以很好地重建出该图像块，和基准图像块非常接近，几乎没有什么伪影，而传统FBP算法的重建图像中有显著的条纹状伪影，ART+TV 算法的重建图像中也有不自然的块状伪影。
图6a至6d为整幅重建图像的对比，其红线框标出的位置为图5a至5d 中的图像块在图像中的对应位置。其中图6a基准CT图像；图6b为FBP算法直接重建出的整幅图像；图6c是ART+TV算法直接重建出的整幅图像；图 6d是本发明方法重建出所有图像块后合成的图像，并经过进一步图像滤波。由图6a至6d可见，本发明方法虽然是逐个图像块重建后合成图像，但并不影响图像质量，且在这种稀疏角重建的情况下，图像质量显著优于传统投影域分解法。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (11)
1.基于深度学习的CT图像分块重建方法，其特征在于，所述方法包括：
S1、扫描被测物体，将每个角度获取的CT投影数据作为输入数据；
S2、对所述CT投影数据进行局部范围滤波，并将局部范围滤波后的数据进行全区域滤波，获取滤波后投影数据；
S3、计算当前拟重建图像块所对应的投影数据位置，并在所述投影数据位置抽取所述滤波后投影数据；
S4、将S3中抽取的所述滤波后投影数据与所述图像块的每个像素连接，重建图像块，并对重建后的图像块进行正则化处理；
S5、对正则化处理后的图像块进行滤波；
S6、若全部图像块完成重建，则将全部图像块进行合成，获取合成后图像；否则，返回S3；
S7、对所述合成后图像进行滤波，获取重建图像，并输出。
2.根据权利要求1所述的方法，其特征在于，所述S2中，采用卷积神经网络级联全连接网络，进行滤波；其中，卷积神经网络进行局部范围滤波，全连接网络进行全区域滤波。
3.根据权利要求1所述的方法，其特征在于，所述S3中，所述图像块在体CT图像重建时为3D图像块，在断层CT重建时为2D图像块；所述图像块之间可以是部分区域重叠或完全不重叠。
4.根据权利要求1所述的方法，其特征在于，所述S3中，投影数据位置通过以下方式确定：
计算某一个角度下射线的法向被测物体上一点x在探测器上的投影位置r为：
r＝Φ·x
在得到图像块的每个顶点的投影位置后，这些投影位置的最小包围长方形或者覆盖这些投影位置的最小线段所对应的投影数据位置，即是重建该图像块所需要的投影数据位置。
5.根据权利要求1所述的方法，其特征在于，所述S4中，将滤波后投影数据与所述图像块的每个像素连接，通过以下方式进行：
滤波后投影数据p到图像块的像素μ之间的非线性映射关系为：
μ＝fn(Wn(…(W2f1(W1p+b1)+b2)…)+bn)
这里fi(i＝1,2,…n)是激活函数；Wi(i＝1,2,…n)是待学习的神经元权值向量系数；bi(i＝1,2,…n)是待学习的偏移系数。
6.根据权利要求1所述的方法，其特征在于，所述S6中进一步包括：图像块的合成过程中，待合成图像的第j个像素可与P个图像块相关，由这些图像块中对应像素值μp,j加权平均合成该像素值μj的具体方式如下：
其中，wp,j是μp,j的权值；
图像合成时，首先由像素坐标索引获得在相关图像块中对应像素值，然后求得这些相应像素的权值进而获取合成后图像。
7.基于深度学习的CT图像分块重建系统，其特征在于，所述系统包括：
CT投影数据滤波模块，用于对输入的CT投影数据进行局部范围滤波，并将局部范围滤波后的数据进行全区域滤波，获取滤波后投影数据；
图像块重建模块，用于计算当前拟重建图像块所对应的投影数据位置，并在所述投影数据位置抽取所述滤波后投影数据；并将抽取的所述滤波后投影数据与所述图像块的每个像素连接，重建图像块，并对重建后的图像块进行正则化处理；再对正则化处理后的图像块进行滤波；
图像合成模块，用于将全部重建后的图像块进行合成，获取合成后图像；
图像重建及输出模块，用于对所述合成后图像进行滤波，获取重建图像，并输出。
8.根据权利要求7所述的系统，其特征在于，所述图像块在体CT图像重建时为3D图像块，在断层CT重建时为2D图像块；所述图像块之间可以是部分区域重叠或完全不重叠。
9.根据权利要求7所述的系统，其特征在于，所述图像块重建模块确定投影数据位置通过以下方式进行：
计算某一个角度下射线的法向被测物体上一点x在探测器上的投影位置r为：
r＝Φ·x
在得到图像块的每个顶点的投影位置后，这些投影位置的最小包围长方形或者覆盖这些投影位置的最小线段所对应的投影数据位置，即是重建该图像块所需要的投影数据位置。
10.根据权利要求7所述的系统，其特征在于，所述图像块重建模块通过建立非线性映射关系，实现将滤波后投影数据与所述图像块的每个像素连接，
所述非线性映射关系为：
μ＝fn(Wn(…(W2f1(W1p+b1)+b2)…)+bn)
这里fi(i＝1,2,…n)是激活函数；Wi(i＝1,2,…n)是待学习的神经元权值向量系数；bi(i＝1,2,…n)是待学习的偏移系数，p为滤波后投影数据，μ为图像块的像素。
11.根据权利要求7所述的系统，其特征在于，所述图像合成模块实现图像合成方式如下：
在图像块的合成过程中，待合成图像的第j个像素可与P个图像块相关，由这些图像块中对应像素值μp,j加权平均合成该像素值μj的具体方式如下：
其中，wp,j是μp,j的权值；
图像合成时，首先由像素坐标索引获得在相关图像块中对应像素值，然后求得这些相应像素的权值进而获取合成后图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910446194 | 2019-05-27 | ||
| CN2019104461940 | 2019-05-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599420A true CN110599420A (zh) | 2019-12-20 |
| CN110599420B CN110599420B (zh) | 2022-03-15 |
Family
ID=68858183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910848292.7A Active CN110599420B (zh) | 2019-05-27 | 2019-09-09 | 基于深度学习的ct图像分块重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599420B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325686A (zh) * | 2020-02-11 | 2020-06-23 | 之江实验室 | 一种基于深度学习的低剂量pet三维重建方法 |
| CN113295721A (zh) * | 2021-05-07 | 2021-08-24 | 上海交通大学 | 一种可装卸ct系统及扫描方法 |
| WO2022011690A1 (zh) * | 2020-07-17 | 2022-01-20 | 深圳高性能医疗器械国家研究院有限公司 | 一种自监督学习方法及应用 |
| CN114018962A (zh) * | 2021-11-01 | 2022-02-08 | 北京航空航天大学宁波创新研究院 | 一种基于深度学习的同步多螺旋计算机断层成像方法 |
| CN114916950A (zh) * | 2022-07-21 | 2022-08-19 | 中国科学院深圳先进技术研究院 | 基于多层平板探测器的高空间分辨能谱ct图像重建方法 |
| US11890124B2 (en) | 2021-02-01 | 2024-02-06 | Medtronic Navigation, Inc. | Systems and methods for low-dose AI-based imaging |
| WO2024046424A1 (zh) * | 2022-08-31 | 2024-03-07 | 同方威视技术股份有限公司 | 用于静态ct设备的成像方法、静态ct设备、电子设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056644A (zh) * | 2016-05-24 | 2016-10-26 | 深圳先进技术研究院 | Ct扫描的数据处理方法及装置 |
| CN108038840A (zh) * | 2017-11-24 | 2018-05-15 | 深圳先进技术研究院 | 一种图像处理方法、装置、图像处理设备及存储介质 |
| CN109523468A (zh) * | 2018-11-15 | 2019-03-26 | 深圳市道通智能航空技术有限公司 | 图像拼接方法、装置、设备及无人机 |
-
2019
- 2019-09-09 CN CN201910848292.7A patent/CN110599420B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056644A (zh) * | 2016-05-24 | 2016-10-26 | 深圳先进技术研究院 | Ct扫描的数据处理方法及装置 |
| CN108038840A (zh) * | 2017-11-24 | 2018-05-15 | 深圳先进技术研究院 | 一种图像处理方法、装置、图像处理设备及存储介质 |
| CN109523468A (zh) * | 2018-11-15 | 2019-03-26 | 深圳市道通智能航空技术有限公司 | 图像拼接方法、装置、设备及无人机 |
Non-Patent Citations (1)
| Title |
|---|
| GENWEI MA ETAL.: ""Learning image from projection: a full-automatic reconstruction (FAR) net for sparse-views computed tomography"", 《ARXIV》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325686A (zh) * | 2020-02-11 | 2020-06-23 | 之江实验室 | 一种基于深度学习的低剂量pet三维重建方法 |
| WO2022011690A1 (zh) * | 2020-07-17 | 2022-01-20 | 深圳高性能医疗器械国家研究院有限公司 | 一种自监督学习方法及应用 |
| US11890124B2 (en) | 2021-02-01 | 2024-02-06 | Medtronic Navigation, Inc. | Systems and methods for low-dose AI-based imaging |
| CN113295721A (zh) * | 2021-05-07 | 2021-08-24 | 上海交通大学 | 一种可装卸ct系统及扫描方法 |
| CN114018962A (zh) * | 2021-11-01 | 2022-02-08 | 北京航空航天大学宁波创新研究院 | 一种基于深度学习的同步多螺旋计算机断层成像方法 |
| CN114018962B (zh) * | 2021-11-01 | 2024-03-08 | 北京航空航天大学宁波创新研究院 | 一种基于深度学习的同步多螺旋计算机断层成像方法 |
| CN114916950A (zh) * | 2022-07-21 | 2022-08-19 | 中国科学院深圳先进技术研究院 | 基于多层平板探测器的高空间分辨能谱ct图像重建方法 |
| CN114916950B (zh) * | 2022-07-21 | 2022-11-01 | 中国科学院深圳先进技术研究院 | 基于多层平板探测器的高空间分辨能谱ct图像重建方法 |
| WO2024046424A1 (zh) * | 2022-08-31 | 2024-03-07 | 同方威视技术股份有限公司 | 用于静态ct设备的成像方法、静态ct设备、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599420B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599420B (zh) | 基于深度学习的ct图像分块重建方法及系统 | |
| CN108898642B (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
| Huang et al. | CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging | |
| Kang et al. | A deep convolutional neural network using directional wavelets for low‐dose X‐ray CT reconstruction | |
| Hu et al. | Artifact correction in low‐dose dental CT imaging using Wasserstein generative adversarial networks | |
| Hu et al. | Hybrid-domain neural network processing for sparse-view CT reconstruction | |
| Heinrich et al. | Residual U-net convolutional neural network architecture for low-dose CT denoising | |
| CN111492406A (zh) | 使用机器学习的图像生成 | |
| Chen et al. | Statistical iterative CBCT reconstruction based on neural network | |
| JP7451256B2 (ja) | Ｘ線システム、画像処理装置及びプログラム | |
| US10475215B2 (en) | CBCT image processing method | |
| CN112102428B (zh) | Ct锥形束扫描图像重建方法、扫描系统及存储介质 | |
| JP7475979B2 (ja) | Ｘ線システム及び撮像プログラム | |
| Xu et al. | Deep residual learning in CT physics: scatter correction for spectral CT | |
| Li et al. | DDPTransformer: dual-domain with parallel transformer network for sparse view CT image reconstruction | |
| Tao et al. | VVBP-tensor in the FBP algorithm: its properties and application in low-dose CT reconstruction | |
| Amaranageswarao et al. | Wavelet based medical image super resolution using cross connected residual-in-dense grouped convolutional neural network | |
| Yu et al. | Weighted adaptive non-local dictionary for low-dose CT reconstruction | |
| Shi et al. | Dual-domain sparse-view CT reconstruction with Transformers | |
| Ma et al. | Learning image from projection: A full-automatic reconstruction (FAR) net for computed tomography | |
| Chan et al. | An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction | |
| Li et al. | SUPER learning: a supervised-unsupervised framework for low-dose CT image reconstruction | |
| Wang et al. | Limited-angle computed tomography reconstruction using combined FDK-based neural network and U-Net | |
| CN109658464B (zh) | 基于加权核范数极小的稀疏角ct图像重建方法 | |
| Kim et al. | CNN-based CT denoising with an accurate image domain noise insertion technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |