CN114723842A - 基于深度融合神经网络的稀疏视角ct成像方法和设备 - Google Patents

基于深度融合神经网络的稀疏视角ct成像方法和设备 Download PDF

Info

Publication number
CN114723842A
CN114723842A CN202210569044.0A CN202210569044A CN114723842A CN 114723842 A CN114723842 A CN 114723842A CN 202210569044 A CN202210569044 A CN 202210569044A CN 114723842 A CN114723842 A CN 114723842A
Authority
CN
China
Prior art keywords
image
layer
neural network
deep
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210569044.0A
Other languages
English (en)
Other versions
CN114723842B (zh
Inventor
徐阳迪
林宏翔
许莹莹
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210569044.0A priority Critical patent/CN114723842B/zh
Publication of CN114723842A publication Critical patent/CN114723842A/zh
Application granted granted Critical
Publication of CN114723842B publication Critical patent/CN114723842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/421Filtered back projection [FBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度融合神经网络的稀疏视角CT成像方法和设备。该方法通过获取稀疏视角的投影测量数据来降低单次CT扫描照射剂量,并使用滤波反投影法得到初始CT图像;构建由初始CT图像编码器、投影测量数据编码器、深层特征融合模块、融合特征解码器和全局信息补充模块构成的深度融合神经网络,训练深度融合神经网络,在训练过程中使用模拟退火进行人工衰减,损失函数由平均绝对误差和结构相似性误差组合而成,最终获得高质量CT重建图像。本发明与其他计算量相当的CT重建方法如滤波反投影法相比,能够更有效地去除稀疏视角CT图像中的重建伪影,并能够显著提升经典的图像度量指标如均方根误差、峰值信噪比、结构相似性指标等。

Description

基于深度融合神经网络的稀疏视角CT成像方法和设备
技术领域
本发明涉及医学图像重建领域及机器学习领域,尤其涉及一种基于深度融合神经网络的稀疏视角CT成像方法和设备。
背景技术
X射线计算机层析成像(Computed Tomography)技术,简称CT技术,是现代医学重要的人体组织扫描和成像手段,被广泛运用于疾病筛查和临床诊断。其原理是根据朗博比尔定律,利用X射线在人体不同组织内的衰减不同,让X射线的发射端和接收端围绕着人体旋转,通过平扫(parallel beam)或锥形扫描(cone beam)的方式获得目标区域的三维信息。X射线的发射角度越多,从不同角度得到的人体组织信息越多,重建成像越清晰,但人体受到的辐射越多,扫描和重建时间也越长。如何平衡重建图像质量、辐射剂量和扫描/重建时间是CT成像算法研发的重点问题。
传统CT图像重建方法有三大类:反投影法、迭代重建算法和解析法。首先,反投影法将投影数据按照原投影路径平均分配到每一个点上。在对各个角度的投影值都进行了反投影后,把每个角度的反投影图像进行累加,从而重建图像。由于投影累加在图像中心处稠密但在边缘处稀疏,高频信号可能有所失真,导致图像中人体组织的边缘模糊。同时,反投影图像进行累加的过程会伴随明显的伪影(artifact),投影数据越少,伪影越明显。反投影法重建速度快,但要求各个方向上的投影数据必须完备,扫描采样的角度越少,重建图像质量越低,所以反投影法无法在稀疏视角采样的条件下重建高质量图像。与之不同的是,迭代重建算法从一个初始猜测的图像出发,通过对反问题求近似解的方式,采用逐步逼近的方法将理论投影值和测量投影值不断进行迭代更新,直到最终获得最优解。此方法可使用不完整的采样数据如稀疏视角采样的投影测量数据,减少了噪声对重建图像质量的影响,并不再伴随明显的伪影,但由于该方法巨大的计算量导致图像重建速度缓慢。最后,解析法中,滤波反投影法在反投影法的基础上加入滤波函数从而减少投影数据的低频信号,增强高频信号。先对投影信号通过傅里叶变换在频域上进行滤波,再使用傅里叶逆变换后进行反投影的重建方法。其可以选择不同的滤波器使重建图像在震荡窗效应(震荡伪影)和在高频段(轮廓)较差的重建效果间进行平衡。该方法重建速度快,成像质量较高,但成像质量仍然受限于投影数据采样角度的完备程度。压缩感知方法可在信号采集端低的采样率的情况下,通过借助有效的信号先验信息如稀疏性(sparsity),达到对图像的完美重建。该方法与其他传统方法相比,虽然可使用更少的投影信号重建出更精准的CT图像,符合使用稀疏视角采样数据的标准,但是计算量大和先验信息依赖性等问题依然没有有效解决。
随着硬件计算力的发展,深度神经网络得到了更为广泛的研究和运用。深度神经网络利用层序构造大规模复杂的算法模型,其具有自动化特征工程和强泛化能力等特点。在医疗图像领域,利用神经网络的图像重建算法模型开始作为传统医学图像重建方法的改良和补足,并在重建图像质量与重建速度上获得了显著提升。将深度神经网络技术应用在稀疏视角采样的CT图像重建领域的方法主要可分为两类:第一类直接通过稀疏视角采样所得到的投影测量数据通过神经网络进行特征学习,直接从信号域到图像域跨模态重建生成重建图像。其优势在于输入数据需求单一,网络结构简单。然而为了更好的学习投影数据的全局特征,网络模型中需要使用多个全连接层,极大的提升了网络计算复杂性,导致网络的训练难度增大。第二类通过基于模型的神经网络方法,将传统CT图像重建算法分成多个模块,将其中单个或多个数学计算过程替换为神经网络进行实现。例如在滤波反投影法中,反投影的实现过程使用传统数学计算,再使用深度神经网络对其输出的重建图像进行后处理。该方法虽然避免了过于复杂的全连接层的计算,但是重建图像的质量依赖于重建模型的选择,导致投影数据中有效信息的损失。
发明内容
本发明针对现有技术的不足,提出一种基于深度融合神经网络的稀疏视角CT成像方法和设备,该方法基于传统的滤波反投影法对输入的CT投影测量数据做预处理,同时使用CT投影测量数据和初始CT图像的特征,通过神经网络的映射学习实现稀疏视角采样下的高质量CT图像重建。该方法有效利用了CT投影测量数据和初始CT图像中的信息,相对单一输入的神经网络提高了网络模型特征学习的有效性,在与稀疏视角和密集视角采样下的传统CT图像重建方法相比,该方法显著提升了重建图像的质量。本发明构建的深度融合神经网络包括:初始CT图像编码器,用于提取初始CT图像的深层图像特征;投影测量数据编码器,用于提取CT投影测量数据的正弦特征;深层特征融合模块,用于融合深层图像特征和正弦特征得到深层混合特征;融合特征解码器,用于解码深层混合特征,生成与初始CT图像张量尺寸相同的CT重建图像;全局信息补充模块,用于生成全局信息补充特征图对网络运算过程中遗失的全局特征进行补全;最后,针对整体网络模型设计混合损失函数。
根据本发明的第一方面,提供一种基于深度融合神经网络的稀疏视角CT成像方法,该方法包括以下步骤:
S1,获取稀疏视角的CT投影测量数据;
S2,对所述CT投影测量数据使用滤波反投影法得到初始CT图像;
S3,构建深度融合神经网络,所述深度融合神经网络包括五个部分:初始CT图像编码器、投影测量数据编码器、深层特征融合模块、融合特征解码器和全局信息补充模块;
所述初始CT图像编码器用于提取所述初始CT图像的深层图像特征;
所述投影测量数据编码器用于提取所述CT投影测量数据的正弦特征;
所述深层特征融合模块采用拼接操作,融合所述深层图像特征和所述正弦特征,得到深层混合特征;
所述融合特征解码器用于解码所述深层混合特征,生成与所述初始CT图像张量尺寸相同的CT重建图像;
所述全局信息补充模块由多个卷积层组成,分为若干级别,各级别依次连接,当前级别包含上一级别的所有卷积层及参数,并增加一层卷积核大于上一级别最大卷积核的卷积层,各级别输出的特征图尺寸与所述初始CT图像相同,且具有复数的通道数,将所有级别输出的特征图进行叠加,生成全局信息补充特征图;
将所述融合特征解码器生成的CT重建图像和所述全局信息补充模块生成的全局信息补充特征图进行拼接,经过卷积层进行通道数合并,输出最终CT重建图像;
S4,训练深度融合神经网络,在训练过程中使用模拟退火进行人工衰减,损失函数由平均绝对误差和结构相似性误差组合而成;
S5,将相同稀疏视角采样的CT投影测量数据输入训练好的深度融合神经网络中,得到CT重建图像。
进一步地,对CT扫描所获得的投影测量数据或计算机生成的仿真图像进行拉东正变换后得到的投影测量数据进行滤波反投影计算,得到初始CT图像。具体地,CT扫描所需要的物理参数包括:探测器位置、尺寸、采样间隔、射线源位置、采集角度和重建图像的尺寸,从而得到稀疏采样的投影测量数据;对计算机生成的仿真图像进行拉东正变换时可调整并模拟采集视角的稀疏度,生成不同稀疏度的投影测量数据。
进一步地,所述初始CT图像编码器逐级别提取输入的初始CT图像的特征并下采样;每一级别的特征提取操作按批量标准化层、卷积层、激活函数层、卷积层顺序执行,并使用最大池化层进行下采样;末级通过dropout层输出提取的深层图像特征。
进一步地,所述融合特征解码器逐级别对深层混合特征进行解码;每一级别的解码操作按批量标准化层、上采样层、卷积层顺序执行;每一级别的上采样层输出与初始CT图像编码器的同级别输出特征进行长跳跃式连接;末级通过上采样层和dropout层,dropout层输出与初始CT图像进行长跳跃式连接,最后通过卷积层输出与初始CT图像张量尺寸相同的CT重建图像。
进一步地,所述投影测量数据编码器逐级别提取输入的CT投影测量数据的特征并下采样;每一级别的特征提取操作按卷积层、激活函数层顺序执行;第一级别的激活函数层输出和第二级别的激活函数层输出进行跳跃连接;末级通过dropout层输出提取的正弦特征。
进一步地,所述全局信息补充模块由多个卷积层组成,分为依次连接的三个级别;第一级别包含一个卷积层,卷积核为1*1,步长为1,通道数为32;第二级别包含两个卷积层,卷积核分别为1*1、3*3,步长均为1,通道数均为32;第三级别包含三个卷积层,卷积核分别为1*1、3*3、5*5,步长均为1,通道数均为32;将三个级别输出的特征图进行叠加,通过卷积核为3*3,步长为1,通道数为1的卷积层,得到全局信息补充特征图。
进一步地,所述损失函数
Figure 910236DEST_PATH_IMAGE001
由平均绝对误差
Figure 240723DEST_PATH_IMAGE002
和结构相似性误差
Figure 232950DEST_PATH_IMAGE003
加权 求和得到,公式如下:
Figure 256270DEST_PATH_IMAGE004
其中
Figure 232316DEST_PATH_IMAGE005
Figure 100915DEST_PATH_IMAGE006
是权重超参数,且
Figure 213227DEST_PATH_IMAGE007
Figure 846596DEST_PATH_IMAGE008
为金标准图像,
Figure 168993DEST_PATH_IMAGE009
为深度融合神 经网络输出的CT重建图像,
Figure 716649DEST_PATH_IMAGE010
为结构相似性函数。
进一步地,所述深度融合神经网络采用Adam优化算法进行训练,学习率使用模拟退火进行人工衰减,每经过最大训练轮数的四分之一,下一轮的学习率下降为当前学习率的二分之一。
进一步地,所述下采样采用带步长(stride)的卷积运算;所述深层特征融合模块的拼接操作采用拼接(concatenate)算子实现。
根据本发明的第二方面,提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述基于深度融合神经网络的稀疏视角CT成像方法的步骤。
根据本发明的第三方面,提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述基于深度融合神经网络的稀疏视角CT成像方法的步骤。
本发明的有益效果是:本发明利用神经网络图像映射的方法,以稀疏视角采样的CT投影测量数据和初始CT图像为输入,充分挖掘利用输入数据的深层潜在特征,并将深层潜在特征进行拼接融合,从而有效的提高了网络模型提取和使用有效特征的能力,通过融合特征解码器得到高质量的CT重建图像,采样全局信息补充模块生成全局信息补充特征图对网络运算过程中遗失的全局特征进行补全;其次,本发明避免了使用全连接层,在保证高质量重建图像的前提下,有效降低了神经网络的参数规模;最后,跳跃连接、dropout层和卷积层间的激活函数的使用避免了梯度消失和过拟合的问题,增加网络训练的收敛稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于深度融合神经网络的稀疏视角CT成像方法流程图;
图2是本发明实施例提供的在输入为64个稀疏视角采样下CT图像重建的深度融合神经网络架构图;
图3是实施例中输入的一组数据实例:CT投影测量数据(左)和初始CT图像(右);
图4是重建图像的可视化对比实例:经过归一化处理后的传统滤波反投影重建图像、本发明重建图像、金标准图像、滤波反投影重建图像与金标准图像的误差分布、本发明重建图像与金标准图像的误差分布;
图5是图4中感兴趣域局部放大的可视化对比实例:滤波反投影重建图像、本发明重建图像、滤波反投影重建图像与金标准图像的误差分布、本发明重建图像与金标准图像的误差分布。
具体实施方式
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
本发明提供一种基于深度融合神经网络的稀疏视角CT成像方法,如图1所示,该方法包括以下步骤:
S1,获取稀疏视角的CT投影测量数据降低单次CT扫描的照射剂量;
S2,对所述CT投影测量数据使用滤波反投影法得到初始CT图像;
S3,构建深度融合神经网络,所述深度融合神经网络包括五个部分:初始CT图像编码器、投影测量数据编码器、深层特征融合模块、融合特征解码器和全局信息补充模块;
所述初始CT图像编码器用于提取所述初始CT图像的深层图像特征;
所述投影测量数据编码器用于提取所述CT投影测量数据的正弦特征;
所述深层特征融合模块采用拼接操作,融合所述深层图像特征和所述正弦特征,得到深层混合特征;
所述融合特征解码器用于解码所述深层混合特征,生成与所述初始CT图像张量尺寸相同的CT重建图像;
所述全局信息补充模块由多个卷积层组成,分为若干级别,各级别依次连接,当前级别包含上一级别的所有卷积层及参数,并增加一层卷积核大于上一级别最大卷积核的卷积层,各级别输出的特征图尺寸与所述初始CT图像相同,且具有复数的通道数,每个级别中卷积核的大小有所不同,其对初始CT图像进行特征提取时的感受野不同,提取到的特征更加全面,将所有级别输出的特征图进行叠加,生成全局信息补充特征图;
将所述融合特征解码器生成的CT重建图像和所述全局信息补充模块生成的全局信息补充特征图进行拼接,经过卷积层进行通道数合并,输出最终CT重建图像;
S4,训练深度融合神经网络,在训练过程中使用模拟退火进行人工衰减,损失函数由平均绝对误差和结构相似性误差组合而成;
S5,将相同稀疏视角采样的CT投影测量数据输入训练好的深度融合神经网络中,得到CT重建图像。
在一个实施例中,初始CT图像编码器逐级别提取输入的初始CT图像的特征并下采样;每一级别的特征提取操作按批量标准化层、卷积层、激活函数层、卷积层顺序执行,并使用最大池化层进行下采样;末级通过dropout层输出提取的深层图像特征。
在一个实施例中,投影测量数据编码器逐级别提取输入的CT投影测量数据的特征并下采样;每一级别的特征提取操作按卷积层、激活函数层顺序执行;第一级别的激活函数层输出和第二级别的激活函数层输出进行跳跃连接;末级通过dropout层输出提取的正弦特征。
在一个实施例中,融合特征解码器逐级别对深层混合特征进行解码;每一级别的解码操作按批量标准化层、上采样层、卷积层顺序执行;每一级别的上采样层输出与初始CT图像编码器的同级别输出特征进行长跳跃式连接;末级通过上采样层和dropout层,dropout层输出与初始CT图像进行长跳跃式连接,最后通过卷积层输出与初始CT图像张量尺寸相同的CT重建图像。
在一个实施例中,损失函数
Figure 808102DEST_PATH_IMAGE001
由平均绝对误差
Figure 48591DEST_PATH_IMAGE011
和结构相似性误差
Figure 592704DEST_PATH_IMAGE012
加 权求和得到,公式如下:
Figure 209630DEST_PATH_IMAGE013
其中
Figure 657055DEST_PATH_IMAGE005
Figure 68444DEST_PATH_IMAGE014
是权重超参数,通过深度融合神经网络训练获得,且
Figure 99854DEST_PATH_IMAGE015
Figure 989313DEST_PATH_IMAGE016
为金标准图像,
Figure 55358DEST_PATH_IMAGE017
为深度融合神经网络输出的CT重建图像,
Figure 637649DEST_PATH_IMAGE010
为结构相似性函数。
在一个实施例中,采用如图2所示的深度融合神经网络结构,使用的数据为4000张 乳腺CT数据图,并由其中3460张图片组成训练集,500张图片组成验证集,40张图片组成测 试集。其中仿真数据的物理参数为:64个均匀分布在圆周上的视角采样,接收器阵元为512 个,图像区域大小为
Figure 359617DEST_PATH_IMAGE018
,包含512*512个像素。深度融合神经网络训练使用的硬件为: TeslaV100 GPU一个,32GB内存,6核CPU的云计算资源。本方法适用于所有32-128个稀疏视 角采样的投影数据,以下步骤为64个稀疏视角采样的实施案例:
步骤一:获取64个稀疏视角采集的CT投影测量数据(图3左),进行归一化处理后,获得图像尺寸为512*64*1的投影图。
步骤二:对CT投影测量数据使用滤波反投影法得到初始CT图像,选取Hamming滤波器,由Ramp-Lak滤波器和Hamming窗卷积得到,用以降低Ramp-Lak滤波器直接截断高频部分所造成的震荡效应。对初始CT图像进行归一化处理,获得图像尺寸为512*512*1(图3右)。
步骤三:使用初始CT图像编码器提取初始CT图像的深层图像特征。初始CT图像编码器共有21层,网络结构依次为批量标准化层、卷积层(卷积核为4*4)、激活函数层、卷积层(卷积核为2*2)和最大池化层,并依照此顺序循环4次之后,最后一层为dropout层。上述循环每进行1次,特征空间的通道数分别增加为32、64、128、256,采用零填充(zero-padding)保持卷积前后的其他空间特征的维度;激活函数层使用参数为0.2的带泄露的整流线性函数(LeakyReLU);最大池化层的核大小为2*2,步长为2*2;dropout层的参数设为30%。
步骤四:使用投影测量数据编码器提取CT投影测量数据的正弦特征。投影测量数据编码器的网络结构为卷积层和激活函数层,并依照此顺序循环5次,共计10层。其中第一个激活函数层的输出和第二个激活函数层的输出进行跳跃连接。卷积层的卷积核为4个2*2和1个4*4,步长分别为2*1、1*1、2*1、2*1和1*1,每次循环中卷积层通道数分别为32、32、128、256、256,激活函数层使用参数为0.2的LeakyReLU。
步骤五:使用深层特征融合模块对CT投影测量数据和初始CT图像的深层特征在通道张量上进行拼接操作,得到深层混合特征作为融合特征解码器的输入。
步骤六:利用融合特征解码器解码深层混合特征,生成与初始CT图像张量尺寸相同的CT重建图像,即目标断层图像。其中融合特征解码器的网络结构为批量标准化层、上采样层(2*2卷积核)、与初始CT图像编码器对应级别的长跳跃式连接和2个卷积层(卷积核为4*4和2*2),并依照此顺序循环3次后(通道数依次为128、64和32),再加1个上采样层(卷积核为1*1)、1个dropout层、1个与初始CT图像相连的长跳跃式连接和2个卷积层(卷积核均为4*4,通道数分别为32和1),输出与初始CT图像张量尺寸相同的CT重建图像;dropout层的参数设为30%。
步骤七:为了进一步避免初始CT图像在编码和解码的过程中丢失全局信息,初始CT图像通过全局信息补充模块,输出全局信息补充特征图,并与融合特征解码器的输出拼接,经过卷积层进行通道数合并,输出最终CT重建图像。其中全局信息补充模块由多个卷积层组成,分为依次连接的三个级别;第一级别包含一个卷积层,卷积核为1*1,步长为1,通道数为32;第二级别包含两个卷积层,卷积核分别为1*1、3*3,步长均为1,通道数均为32;第三级别包含三个卷积层,卷积核分别为1*1、3*3、5*5,步长均为1,通道数均为32;将三个级别输出的特征图进行叠加,通过卷积核为3*3,步长为1,通道数为1的卷积层,得到全局信息补充特征图。
步骤八:训练深度融合神经网络,使用Adam优化算法,初始学习率设为0.0004,衰 减率为0.9,同时使用模拟退火进行人工衰减,即每经过最大训练轮数(epoch)的四分之一, 下一轮的学习率下降为当前学习率的二分之一;损失函数使用自定义的混合损失函数,总 损失函数
Figure 678865DEST_PATH_IMAGE019
由平均绝对误差
Figure 209204DEST_PATH_IMAGE020
和结构相似性误差
Figure 87030DEST_PATH_IMAGE021
加权求和得到,公式如下:
Figure 233978DEST_PATH_IMAGE022
其中权重超参数
Figure 855452DEST_PATH_IMAGE023
Figure 505876DEST_PATH_IMAGE024
Figure 289024DEST_PATH_IMAGE016
为金标准图像,
Figure 657689DEST_PATH_IMAGE017
为深度融合神经网 络输出的CT重建图像,
Figure 318739DEST_PATH_IMAGE010
为结构相似性函数。通过Adam优化损失函数后,反向传播梯 度信息至解码器和两个编码器,并更新整个网络各层中的参数值。
步骤九:批量使用CT投影测量数据和对应的初始CT图像对网络进行训练,并重复步骤四、五、六、七、八直至网络收敛,损失函数的值逐渐变小且稳定。
步骤十:训练和验证同时收敛后,保存网络模型结构及其超参数,相同稀疏视角采样的CT投影测量数据需要图像重建时,可以读取网络模型后输入数据,直接进行高精度图像重建。
本实施例选取的重建图像质量的量化评价指标为均方根误差(RMSE)、峰值信噪比(PSNR)和结构相似性指标(SSIM)。图4从左到右,从上到下分别展示了64个视角采样的滤波反投影重建图像、本方法重建图像、金标准图像、滤波反投影重建图像与金标准图像的误差分布和本方法重建图像与金标准图像的误差分布。图5中展示感兴趣域局部放大的可视化结果,分别为64个视角采样的滤波反投影重建图像(左上)、本方法重建图像(右上)、滤波反投影重建图像与金标准图像的误差分布(左下)和本方法重建图像与金标准图像的误差分布(右下)。滤波反投影法所重建的图像质量指标:RMSE=0.057、PSNR=24.91、SSIM=0.608;本方法所重建的图像质量指标:RMSE=0.005、PSNR=46.12、SSIM=0.996。由此例可知,与滤波反投影法相比,本发明使重建图像质量指标的RMSE降低了10.4倍,PSNR提高了85%,SSIM提高了63.8%。
在一个实施例中,提出了一种计算机设备,包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中基于深度融合神经网络的稀疏视角CT成像方法中的步骤。
在一个实施例中,提出了一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述各实施例中基于深度融合神经网络的稀疏视角CT成像方法中的步骤。其中,存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种基于深度融合神经网络的稀疏视角CT成像方法,其特征在于,包括以下步骤:
S1,获取稀疏视角的CT投影测量数据;
S2,对所述CT投影测量数据使用滤波反投影法得到初始CT图像;
S3,构建深度融合神经网络,所述深度融合神经网络包括五个部分:初始CT图像编码器、投影测量数据编码器、深层特征融合模块、融合特征解码器和全局信息补充模块;
所述初始CT图像编码器用于提取所述初始CT图像的深层图像特征;
所述投影测量数据编码器用于提取所述CT投影测量数据的正弦特征;
所述深层特征融合模块采用拼接操作,融合所述深层图像特征和所述正弦特征,得到深层混合特征;
所述融合特征解码器用于解码所述深层混合特征,生成与所述初始CT图像张量尺寸相同的CT重建图像;
所述全局信息补充模块由多个卷积层组成,分为若干级别,各级别依次连接,当前级别包含上一级别的所有卷积层及参数,并增加一层卷积核大于上一级别最大卷积核的卷积层,各级别输出的特征图尺寸与所述初始CT图像相同,且具有复数的通道数,将所有级别输出的特征图进行叠加,生成全局信息补充特征图;
将所述融合特征解码器生成的CT重建图像和所述全局信息补充模块生成的全局信息补充特征图进行拼接,经过卷积层进行通道数合并,输出最终CT重建图像;
S4,训练深度融合神经网络,在训练过程中使用模拟退火进行人工衰减,损失函数由平均绝对误差和结构相似性误差组合而成;
S5,将相同稀疏视角采样的CT投影测量数据输入训练好的深度融合神经网络中,得到CT重建图像。
2.根据权利要求1所述的基于深度融合神经网络的稀疏视角CT成像方法,其特征在于,所述初始CT图像编码器逐级别提取输入的初始CT图像的特征并下采样;每一级别的特征提取操作按批量标准化层、卷积层、激活函数层、卷积层顺序执行,并使用最大池化层进行下采样;末级通过dropout层输出提取的深层图像特征。
3.根据权利要求2所述的基于深度融合神经网络的稀疏视角CT成像方法,其特征在于,所述融合特征解码器逐级别对深层混合特征进行解码;每一级别的解码操作按批量标准化层、上采样层、卷积层顺序执行;每一级别的上采样层输出与初始CT图像编码器的同级别输出特征进行长跳跃式连接;末级通过上采样层和dropout层,dropout层输出与初始CT图像进行长跳跃式连接,最后通过卷积层输出与初始CT图像张量尺寸相同的CT重建图像。
4.根据权利要求1所述的基于深度融合神经网络的稀疏视角CT成像方法,其特征在于,所述投影测量数据编码器逐级别提取输入的CT投影测量数据的特征并下采样;每一级别的特征提取操作按卷积层、激活函数层顺序执行;第一级别的激活函数层输出和第二级别的激活函数层输出进行跳跃连接;末级通过dropout层输出提取的正弦特征。
5.根据权利要求1所述的基于深度融合神经网络的稀疏视角CT成像方法,其特征在于,所述全局信息补充模块由多个卷积层组成,分为依次连接的三个级别;第一级别包含一个卷积层,卷积核为1*1,步长为1,通道数为32;第二级别包含两个卷积层,卷积核分别为1*1、3*3,步长均为1,通道数均为32;第三级别包含三个卷积层,卷积核分别为1*1、3*3、5*5,步长均为1,通道数均为32;将三个级别输出的特征图进行叠加,通过卷积核为3*3,步长为1,通道数为1的卷积层,得到全局信息补充特征图。
6.根据权利要求1所述的基于深度融合神经网络的稀疏视角CT成像方法,其特征在于, 所述损失函数
Figure 483624DEST_PATH_IMAGE001
由平均绝对误差
Figure 259819DEST_PATH_IMAGE002
和结构相似性误差
Figure 836294DEST_PATH_IMAGE003
加权求和得到,公式如下:
Figure 700344DEST_PATH_IMAGE004
其中
Figure 373771DEST_PATH_IMAGE005
Figure 760015DEST_PATH_IMAGE006
是权重超参数,且
Figure 823786DEST_PATH_IMAGE007
Figure 85003DEST_PATH_IMAGE008
为金标准图像,
Figure 488303DEST_PATH_IMAGE009
为深度融合神经网 络输出的CT重建图像,
Figure 373345DEST_PATH_IMAGE010
为结构相似性函数。
7.根据权利要求1所述的基于深度融合神经网络的稀疏视角CT成像方法,其特征在于,所述深度融合神经网络采用Adam优化算法进行训练,学习率使用模拟退火进行人工衰减,每经过最大训练轮数的四分之一,下一轮的学习率下降为当前学习率的二分之一。
8.根据权利要求2或4所述的基于深度融合神经网络的稀疏视角CT成像方法,其特征在于,所述下采样采用带步长的卷积运算;所述深层特征融合模块的拼接操作采用拼接算子实现。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1-8中任一项所述基于深度融合神经网络的稀疏视角CT成像方法的步骤。
10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1-8中任一项所述基于深度融合神经网络的稀疏视角CT成像方法的步骤。
CN202210569044.0A 2022-05-24 2022-05-24 基于深度融合神经网络的稀疏视角ct成像方法和设备 Active CN114723842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210569044.0A CN114723842B (zh) 2022-05-24 2022-05-24 基于深度融合神经网络的稀疏视角ct成像方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210569044.0A CN114723842B (zh) 2022-05-24 2022-05-24 基于深度融合神经网络的稀疏视角ct成像方法和设备

Publications (2)

Publication Number Publication Date
CN114723842A true CN114723842A (zh) 2022-07-08
CN114723842B CN114723842B (zh) 2022-08-23

Family

ID=82230986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210569044.0A Active CN114723842B (zh) 2022-05-24 2022-05-24 基于深度融合神经网络的稀疏视角ct成像方法和设备

Country Status (1)

Country Link
CN (1) CN114723842B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843825A (zh) * 2023-06-01 2023-10-03 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN116977473A (zh) * 2023-09-21 2023-10-31 北京理工大学 一种基于投影域和图像域的稀疏角ct重建方法及装置
CN117036533A (zh) * 2023-10-10 2023-11-10 北京理工大学 一种用于同轴相位衬度成像的稀疏角ct重建方法和系统
CN117392259A (zh) * 2023-12-11 2024-01-12 电子科技大学 一种双视角跨模态重建ct影像的方法
CN117893692A (zh) * 2024-03-12 2024-04-16 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898642A (zh) * 2018-06-01 2018-11-27 安徽工程大学 一种基于卷积神经网络的稀疏角度ct成像方法
US20190035117A1 (en) * 2017-07-25 2019-01-31 Nuctech Company Limited Method and device for reconstructing ct image and storage medium
CN109559359A (zh) * 2018-09-27 2019-04-02 东南大学 基于深度学习实现的稀疏角度数据重建图像的伪影去除方法
CN110211194A (zh) * 2019-05-21 2019-09-06 武汉理工大学 一种基于深度学习去除稀疏角度ct成像伪影的方法
GB2576702A (en) * 2018-08-15 2020-03-04 Imperial College Sci Tech & Medicine Joint source channel coding of information sources using neural networks
CN111127579A (zh) * 2019-12-26 2020-05-08 南京安科医疗科技有限公司 一种基于神经网络去锥形束伪影的ct重建方法
CN112396672A (zh) * 2020-11-20 2021-02-23 华中科技大学 一种基于深度学习的稀疏角度锥束ct图像重建方法
US20210118204A1 (en) * 2019-10-18 2021-04-22 Beihang University Method for reconstructing incomplete data of x-ray absorption contrast computed tomography based on deep learning
CN113034641A (zh) * 2021-03-29 2021-06-25 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法
CN113052936A (zh) * 2021-03-30 2021-06-29 大连理工大学 集成fdk和深度学习的单视角ct重建方法
US20210366169A1 (en) * 2020-05-21 2021-11-25 Zhejiang University Positron emission tomography image reconstruction method
CN113838161A (zh) * 2021-11-25 2021-12-24 之江实验室 一种基于图学习的稀疏投影重建方法
CN114140442A (zh) * 2021-12-01 2022-03-04 北京邮电大学 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法
CN114511497A (zh) * 2021-12-24 2022-05-17 北京肿瘤医院(北京大学肿瘤医院) 应用于锥束ct稀疏采样的成像方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035117A1 (en) * 2017-07-25 2019-01-31 Nuctech Company Limited Method and device for reconstructing ct image and storage medium
CN109300166A (zh) * 2017-07-25 2019-02-01 同方威视技术股份有限公司 重建ct图像的方法和设备以及存储介质
CN108898642A (zh) * 2018-06-01 2018-11-27 安徽工程大学 一种基于卷积神经网络的稀疏角度ct成像方法
GB2576702A (en) * 2018-08-15 2020-03-04 Imperial College Sci Tech & Medicine Joint source channel coding of information sources using neural networks
CN109559359A (zh) * 2018-09-27 2019-04-02 东南大学 基于深度学习实现的稀疏角度数据重建图像的伪影去除方法
CN110211194A (zh) * 2019-05-21 2019-09-06 武汉理工大学 一种基于深度学习去除稀疏角度ct成像伪影的方法
US20210118204A1 (en) * 2019-10-18 2021-04-22 Beihang University Method for reconstructing incomplete data of x-ray absorption contrast computed tomography based on deep learning
CN111127579A (zh) * 2019-12-26 2020-05-08 南京安科医疗科技有限公司 一种基于神经网络去锥形束伪影的ct重建方法
US20210366169A1 (en) * 2020-05-21 2021-11-25 Zhejiang University Positron emission tomography image reconstruction method
CN112396672A (zh) * 2020-11-20 2021-02-23 华中科技大学 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN113034641A (zh) * 2021-03-29 2021-06-25 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法
CN113052936A (zh) * 2021-03-30 2021-06-29 大连理工大学 集成fdk和深度学习的单视角ct重建方法
CN113838161A (zh) * 2021-11-25 2021-12-24 之江实验室 一种基于图学习的稀疏投影重建方法
CN114140442A (zh) * 2021-12-01 2022-03-04 北京邮电大学 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法
CN114511497A (zh) * 2021-12-24 2022-05-17 北京肿瘤医院(北京大学肿瘤医院) 应用于锥束ct稀疏采样的成像方法及装置

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
HAMBLI, R等: "Multiscale methodology for bone remodelling simulation using coupled finite element and neural network computation", 《BIOMECHANICS AND MODELING IN MECHANOBIOLOGY》 *
吴清江等: "基于卷积神经网络的有限视角CT重建", 《电脑知识与技术》 *
张鹏程等: "基于残差学习的CT稀疏重建伪影校正", 《计算机工程与设计》 *
方伟等: "神经网络在CT重建方面应用的最新进展", 《中国体视学与图像分析》 *
李小庆: "基于深度学习的稀疏角度CT图像重建方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
梁宁宁等: "一种基于GAN网络投影补全的有限角度CT重建算法", 《中国体视学与图像分析》 *
沈康等: "基于双域神经网络的稀疏视角光声图像重建", 《中国激光》 *
缪永伟等: "基于生成对抗网络的点云形状保结构补全", 《中国科学:信息科学》 *
马震环等: "基于增强特征融合解码器的语义分割算法", 《计算机工程》 *
黄锦威等: "基于对抗训练的U-Net神经网络在稀疏投影CT图像增强的应用", 《中国医学物理学杂志》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843825A (zh) * 2023-06-01 2023-10-03 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN116843825B (zh) * 2023-06-01 2024-04-05 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN116977473A (zh) * 2023-09-21 2023-10-31 北京理工大学 一种基于投影域和图像域的稀疏角ct重建方法及装置
CN116977473B (zh) * 2023-09-21 2024-01-26 北京理工大学 一种基于投影域和图像域的稀疏角ct重建方法及装置
CN117036533A (zh) * 2023-10-10 2023-11-10 北京理工大学 一种用于同轴相位衬度成像的稀疏角ct重建方法和系统
CN117036533B (zh) * 2023-10-10 2024-02-13 北京理工大学 一种用于同轴相位衬度成像的稀疏角ct重建方法和系统
CN117392259A (zh) * 2023-12-11 2024-01-12 电子科技大学 一种双视角跨模态重建ct影像的方法
CN117392259B (zh) * 2023-12-11 2024-04-16 电子科技大学 一种双视角跨模态重建ct影像的方法
CN117893692A (zh) * 2024-03-12 2024-04-16 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质
CN117893692B (zh) * 2024-03-12 2024-05-28 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Also Published As

Publication number Publication date
CN114723842B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN114723842B (zh) 基于深度融合神经网络的稀疏视角ct成像方法和设备
RU2709437C1 (ru) Способ обработки изображений, устройство обработки изображений и носитель данных
CN111492406B (zh) 训练机器学习算法的方法、图像处理系统和图像重建方法
CN110462689B (zh) 基于深度学习的断层摄影重建
US7840053B2 (en) System and methods for tomography image reconstruction
CN113344799A (zh) 用于使用深度神经网络减少医学图像中的有色噪声的系统和方法
CN112396560A (zh) 用于使用深度神经网络对医疗图像进行去模糊的系统和方法
CN111292386B (zh) 一种基于U-net的CT投影金属迹线补全金属伪影校正方法
CN112085829A (zh) 基于神经网络的螺旋ct图像重建方法和设备及存储介质
US20220130084A1 (en) Systems and methods for medical image processing using deep neural network
Shao et al. SPECTnet: a deep learning neural network for SPECT image reconstruction
WO2024011797A1 (zh) 基于swin-transformer正则化的pet图像重建方法
CN111612866A (zh) 定量磁化率成像重建方法及系统、存储介质及终端
CN116309524A (zh) 基于深度学习的心脏磁共振电影成像伪影抑制方法和系统
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN112330565A (zh) 基于改善的U-net的低剂量CT投影域中图像去噪方法
CN116342414A (zh) 基于相似块学习的ct图像降噪方法及系统
CN116188610A (zh) 基于双向学习三维网络的多任务相位预处理方法及系统
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
CN114926559A (zh) 一种基于字典学习思想无衰减校正的pet重建方法
CN115294300A (zh) 多分支注意力先验参数化有限投影快速荧光断层重建方法
CN114862982A (zh) 一种基于生成对抗网络的混合域无监督有限角ct重建方法
JP2021099794A (ja) ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法
CN113052840A (zh) 一种基于低信噪比pet图像的处理方法
Gopi et al. Iterative computed tomography reconstruction from sparse-view data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant