CN109300167B - 重建ct图像的方法和设备以及存储介质 - Google Patents

重建ct图像的方法和设备以及存储介质 Download PDF

Info

Publication number
CN109300167B
CN109300167B CN201710616651.7A CN201710616651A CN109300167B CN 109300167 B CN109300167 B CN 109300167B CN 201710616651 A CN201710616651 A CN 201710616651A CN 109300167 B CN109300167 B CN 109300167B
Authority
CN
China
Prior art keywords
convolution
neural network
dimension
layer
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710616651.7A
Other languages
English (en)
Other versions
CN109300167A (zh
Inventor
邢宇翔
张丽
李荐民
陈志强
顾建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Priority to CN201710616651.7A priority Critical patent/CN109300167B/zh
Priority to JP2018139744A priority patent/JP7064986B2/ja
Priority to US16/045,303 priority patent/US10896527B2/en
Priority to EP18185402.7A priority patent/EP3435334B1/en
Publication of CN109300167A publication Critical patent/CN109300167A/zh
Application granted granted Critical
Publication of CN109300167B publication Critical patent/CN109300167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/421Filtered back projection [FBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/436Limited angle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Abstract

公开了一种重建CT图像的方法和设备以及存储介质。对被检查对象进行CT扫描,得到投影数据。利用第一卷积神经网络对投影数据进行处理,得到处理后的投影数据。第一卷积神经网络包括多个卷积层。对处理后的投影数据进行反投影操作,得到重建的图像。利用本公开上述实施例的方案,能够重建得到质量更高的CT图像。

Description

重建CT图像的方法和设备以及存储介质
技术领域
本公开的实施例涉及辐射成像,具体涉及一种重建CT图像的方法和设备以及存储介质。
背景技术
X射线CT成像系统在医疗、安检、工业无损检测等领域中都有着广泛的应用。射线源和探测器按照一定的轨道采集一系列的投影数据,经过图像重建算法的复原可以得到被检查对象的线性衰减系数的三维空间分布。CT图像重建过程是从探测器采集到的数据中恢复线性衰减系数分布,是CT成像的核心步骤。目前,在实际应用中主要使用滤波反投影(Filtered Back-Projection)、FDK(Feldkmap-Davis-Kress)类的解析重建算法和ART(Algebra Reconstruction Technique)、MAP(Maximum A Posterior)等迭代重建方法。
随着X光CT成像的需求越来越多样化,对降低辐射剂量的要求也越来越高,现有的重建方法所能够达到的图像质量已接近于极限。需要开发新的CT图像重建技术。
发明内容
针对现有技术中的一个或多个问题,提出了一种重建CT图像的方法和设备以及存储介质,能够提高重建图像的质量。
根据本公开的一个方面,提出了一种重建CT图像的方法,包括步骤:对被检查对象进行CT扫描,得到投影数据;利用第一卷积神经网络对投影数据进行处理,得到处理后的投影数据,其中,第一卷积神经网络包括多个卷积层;以及对处理后的投影数据进行反投影操作,得到重建的图像。
根据本公开的一些实施例,所述CT扫描为如下扫描方式之一:探测器欠采样扫描、稀疏角度扫描、内重建扫描、有限角扫描、和直线轨迹扫描,其中所述第一卷积神经网络为无池化层的卷积神经网络。
根据本公开的一些实施例,所述CT扫描为圆周扫描或者螺旋扫描,其中所述第一卷积神经网络还包括设置在相应卷积层后的多个池化层,以及全连接层。
根据本公开的一些实施例,所述的方法还包括步骤:利用第二卷积神经网络对重建的图像进行处理,得到结果图像。
根据本公开的一些实施例,所述的方法还包括步骤:在利用第一卷积神经网络对投影数据进行处理之前,使用斜坡滤波器对投影数据进行滤波。
根据本公开的一些实施例,利用第二卷积神经网络对重建的图像进行局部平滑处理,得到所述结果图像。
根据本公开的一些实施例,第一卷积神经网络中的卷积层的卷积核的一个维度为探测器像素序列,另一个维度为扫描角度,并且第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立设置的。
根据本公开的一些实施例,第一卷积神经网络中的卷积层(例如第一卷积层)的卷积核在探测器像素序列维度上的尺度大于在扫描角度维度上的尺度。
根据本公开的一些实施例,第一卷积神经网络包括至少3个卷积层,每个卷积层带有一个激活函数,用于对经过卷积处理的投影数据进行非线性运算。
根据本公开的一些实施例,第一卷积神经网络还包括反投影层,用于对经过卷积层处理后的投影数据进行反投影运算。
根据本公开的一些实施例,第一卷积神经网络中最接近反投影层的卷积层的卷积核长宽尺寸参数为1*1。
根据本公开的一些实施例,第二卷积神经网络包括图像域初始卷积层和末端卷积层,用于在图像域对重建的图像进行处理。
根据本公开的一些实施例,图像域初始卷积层所包括的每个卷积层都带激活函数,末端卷积层不带激活函数。
在本公开的另一方面,提出了一种重建CT图像的设备,包括:CT扫描装置,对被检查对象进行CT扫描,得到投影数据;处理器,配置为:利用第一卷积神经网络对投影数据进行处理,得到处理后的投影数据,以及对处理后的投影数据进行反投影操作,得到重建的图像,其中,第一卷积神经网络包括多个卷积层。
根据本公开的一些实施例,所述CT扫描装置执行如下扫描方式之一:探测器欠采样扫描、稀疏角度扫描、内重建扫描、有限角扫描、和直线轨迹扫描,其中所述第一卷积神经网络为无池化层的卷积神经网络。
根据本公开的一些实施例,所述CT扫描装置执行圆周扫描或者螺旋扫描,其中所述第一卷积神经网络还包括设置在相应卷积层后的多个池化层,以及全连接层。
根据本公开的一些实施例,所述处理器还配置为:利用第二卷积神经网络对重建的图像进行处理,得到结果图像。
根据本公开的一些实施例,所述处理器还配置为:利用第二卷积神经网络对重建的图像进行局部平滑处理,得到所述结果图像。
根据本公开的再一方面,提出了一种计算机可读介质,存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:利用第一卷积神经网络对投影数据进行处理,得到处理后的投影数据,其中所述投影数据是通过对被检查对象进行CT扫描而得到的;以及对处理后的投影数据进行反投影操作,得到重建的图像。
利用本公开上述实施例的方案,能够重建得到质量更高的CT图像。
附图说明
为了更好地理解本发明,将根据以下附图对本发明进行详细描述:
图1示出了本公开一个实施例的重建CT图像的设备的结构示意图;
图2是如图1所示的设备中控制与重建装置的结构示意图;
图3示出了根据本公开实施例的设备获得投影数据的正弦图的例子;
图4示出了根据本公开实施例的设备中使用的卷积网络的结构示意图;
图5示出了根据本公开实施例的设备中使用另一卷积网络的结构示意图;
图6A、图6B和图6C示出了根据本公开实施例的设备中使用的滤波器核的尺寸示意图;
图7是描述根据本公开的实施例的方法的示意性流程图;
图8是根据本公开另一实施例的实现有限角度CT扫描的扫描装置的示意图;
图9是根据本公开再一实施例的实现稀疏角度采样扫描方式的扫描装置的示意图;
图10是根据本公开再一实施例的实现内重建扫描方式的扫描装置的示意图;
图11是根据本公开再一实施例的实现探测器欠采样扫描方式的扫描装置的示意图;
图12示出了图8、图9、图10和图11所示的不同扫描方式下正弦图中包含的数据的示意图;以及
图13示出了根据本公开再一实施例的实现直线轨迹CT扫描的扫描装置的示意图。
具体实施方式
下面将详细描述本发明的具体实施例,应当注意,这里描述的实施例只用于举例说明,并不用于限制本发明。在以下描述中,为了提供对本发明的透彻理解,阐述了大量特定细节。然而,对于本领域普通技术人员显而易见的是:不必采用这些特定细节来实行本发明。在其他实例中,为了避免混淆本发明,未具体描述公知的结构、材料或方法。
在整个说明书中,对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着:结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此,在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外,可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外,本领域普通技术人员应当理解,这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
针对现有技术中的一个或者多个问题,本公开的实施例提出了一种重建CT图像的方法和设备以及存储介质。根据本公开的实施例,利用一个卷积神经网络对经过CT扫描得到的投影数据(显示为正弦图,一个维度为探测器像素序列,另一个维度为扫描角度)进行处理,得到处理后的投影数据(例如在投影域的特征得到增强的正弦图)。然后,对这样处理得到的投影数据进行反投影,得到CT图像。这样可以提高CT图像的质量,尤其是在诸如探测器欠采样、稀疏角度扫描、内重建、有限角度扫描或直线轨迹扫描等其他投影数据不完备的情况下重建得到质量较高的CT图像。在其他的实施例中,也可以利用另一卷积神经网络进一步对CT图像进行处理,得到最终图像。
图1示出了本公开一个实施例的重建CT图像的设备的结构示意图。如图1所示,根据本实施例的CT设备包括X射线源10、机械运动装置50、探测器和数据采集系统20,以及控制和重建装置60,对被检查对象40进行CT扫描和重建。
X射线源10例如为X光机,根据成像的分辨率选择合适的X光机焦点尺寸。在其他实施例中也可以不使用X光机,而是使用直线加速器等产生X射线束。
机械运动装置50包括载物台和机架以及控制系统等。载物台可平移以调整旋转中心的位置,机架可平移使X射线源(X光机)10、探测器和旋转中心三者对准。本实施例中按照旋转载物台、固定机架的圆周扫描轨迹或者螺旋轨迹进行描述。由于载物台与机架的运动属于相对运动,也可采用载物台静止、机架旋转的方式实现本实施例的方法。
探测器及数据采集系统20包括X射线探测器和数据采集电路等。X射线探测器可以使用固体探测器,也可以使用气体探测器或者其他探测器,本公开的实施例不限于此。数据采集电路包括读出电路、采集触发电路及数据传输电路等。
控制和重建装置60例如包括安装有控制程序和重建程序的计算机设备,负责完成CT系统运行过程的控制,包括机械转动、电气控制、安全联锁控制等,并且从投影数据重建CT图像等。
图2示出了如图1所示的控制和重建设备的结构示意图。如图2所示,探测器及数据采集系统20采集得到的数据通过接口单元67和总线68存储在存储设备61中。只读存储器(ROM)62中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(RAM)63用于在处理器65工作过程中暂存各种数据。另外,存储设备61中还存储有用于进行数据处理的计算机程序,例如重建CT图像的计算程序等等。内部总线68连接上述的存储设备61、只读存储器62、随机存取存储器63、输入装置64、处理器65、显示设备66和接口单元67。
在用户通过诸如键盘和鼠标之类的输入装置64输入的操作命令后,计算机程序的指令代码命令处理器65执行重建CT图像的算法,在得到重建结果之后,将其显示在诸如LCD显示器之类的显示设备66上,或者直接以诸如打印之类硬拷贝的形式输出处理结果。
根据本公开的实施例,利用上述设备对被检查对象进行CT扫描,得到投影数据。通常这样的投影数据可以显示为二维图像的形式。图3示出了根据本公开的实施例得到的投影数据的例子。如图3所示的正弦图的横轴方向表示探测器像素序列(例如从1到256),而纵轴表示角度(例如从1度到360度)。然后控制设备中的处理器65执行重建程序,利用第一卷积神经网络对投影数据进行处理,得到处理后的投影数据,进而对处理后的投影数据进行反投影操作,得到重建的图像。
如上所述,在本公开的实施例中,在投影域利用卷积神经网络对投影数据进行处理,然后进行反投影操作来重建CT图像。卷积神经网络可以包括卷积层、池化、和全连接层。卷积层识别输入数据集合的特性表征,每个卷积层带一个非线性激活函数运算。池化层精炼对特征的表示,典型的操作包括平均池化和最大化池化。一层或多层的全连接层实现高阶的信号非线性综合运算,全连接层也带非线性激活函数。常用的非线性激活函数有Sigmoid、Tanh、ReLU等等。
图4示出了根据本公开实施例的设备中使用的卷积网络的结构示意图。如图4所示,卷积神经网络(CNN)可以由不同的层堆叠而成,它们可以将输入数据变换为输出数据。例如,将CT扫描得到的投影数据(例如图4所示的正弦图410)进行处理,得到处理后的投影数据(例如图4所示的处理后的正弦图450)。
如图4所示的卷积神经网络包括多个卷积层,例如,第一卷积层420、第二卷积层430、…第n+1卷积层440,n属于自然数。这些卷积层是CNN的核心构造单元。各个卷积层的参数由可学习卷积核(或简称为卷积核)的集合来构成,每个卷积核具有一定的感受野,并且在输入数据的整个深度上延伸。在前向过程中,将每个卷积核沿输入数据的宽度和高度进行卷积,计算卷积核的元素与输入数据之间的点积,并产生该卷积核的二维激活映射。作为结果,网络能够学习到在输入的某个空间位置上看到某个具体类型的特征时才可以激活的卷积核。
将所有卷积核的激活映射沿深度方向进行堆叠,形成了卷积层的全部输出数据。因此,输出数据中的每个元素可以被解释为看到输入中的小区域并与相同激活映射中的其他卷积核共享参数的卷积核的输出。
例如,输入为CT扫描得到的投影数据为g={g1,g2,…,gM},线积分投影过程为H={Hmn}M×N,输出为重建图像f。
第一卷积层420实现如下操作:其中C(1)表示卷积核,T表示“转置”。对于某一个尺度的2维卷积核有两个维度,此处定义第一维度为探测器像素序列,第二维度为扫描角度。两个维度的卷积核长度不必相同,一般设置卷积核C(1)在探测器像素序列维度上的尺度大于扫描角度维度上的尺度,例如取3*1,5*1,5*3的卷积核,如图6A、6B和6C所示。每个尺度可以设置多个卷积核。卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立确定的。卷积层带一个激活函数/>定义K(1)为此层的厚度,即卷积核个数,此层形成K(1)个新正弦图。在图4中,第一卷积层420的厚度为3(即第一卷积层420具有3个卷积核),其中所有的卷积核为待定的网络参数,这些网络参数通过对卷积神经网络的训练得到。图4中的厚度3仅仅是一个示例,本公开不限于此。以二维平行束CT扫描的重建为例,可以针对1个卷积层设置24卷积核,从而网络第一层得到24个正弦图。选择ReLU作为激活函数。ReLU是纠正线性单元的简写。这是应用非饱和激活函数f(x)=max(0,x)的神经元层。其增加了判定函数和整个网络的非线性特性,而不影响卷积层的感受野。
可以设置类似于第一卷积层的多个卷积层,设各个卷积层的厚度为K(n)
第二卷积层430与第一卷积层420类似,第二卷积层的厚度为K(2)。例如,利用C(n)对前一卷积层输出的正弦图进一步处理。如图4所示,第二卷积层430的厚度为3,其中所有的卷积核为待定的网络参数,这些网络参数通过对卷积神经网络的训练得到。上面提到的3仅仅是示例,类似地,可以针对1个卷积层设置24个卷积核,从而第二卷积层(网络第二层)也得到24个正弦图。其中,选择ReLu作为激活函数。在另一个实施例中,在第二卷积层使用形状/尺寸参数为18*1*1的卷积核在厚度方向进行卷积得到第二层的输出,使用ReLu作为激活函数。
第n+1卷积层440例如可以为网络的n+1层,具体地说,为第n+1卷积层,在第二卷积层430和第n+1卷积层440之间可以有其他的卷积层,也可以没有。第n+1卷积层440实现如下操作:其中C(n+1)表示卷积核,T表示“转置”。第n+1卷积层的卷积核的形状/尺寸参数为K(n+1)×1×1,厚度为K(n+1),长和宽各为1,对前一卷积层输出的正弦图进一步处理,从而得到处理后的正弦图。此卷积层也带一个激活函数/>
如图4所示的卷积申请网络还包括反投影层460。反投影层460例如为卷积神经网络的第n+2层,实现如下操作:f(n+2)=HTg(n+1),执行CT反投影运算,网络节点间的权重系数由CT扫描设备的几何关系确定。此层没有待定参数。作为另一方式,基于CT扫描装置的几何关系就可确定投影矩阵H,进而对处理后的正弦图进行反投影运算,得到重建的CT图像。例如使用Siddon方法计算投影矩阵,以此系统矩阵的元素对应反投影连接层的连接权重。
图5示出了根据本公开实施例的设备中使用另一卷积网络的结构示意图。如图5所示,输入的投影数据510、卷积层520、卷积层530和卷积层540与图4所示的输入正弦图410、第一卷积层420、第二卷积层430和第n+1卷积层440类似,这里不再赘述。与图4的结构不同之处在于,在图5所示的结构中,还设置了第二卷积神经网络,它包括图像域初始卷积层(图5中示出的示例为一个卷积层570,但本发明不限于此)和末端卷积层(卷积层580),在图像域对重建的CT图像进行处理,例如进行局部的平滑处理,输出结果图像。
例如,如果图像域初始卷积层只包括一个卷积层570,则上述的卷积层570可以表示为f(n′)=(C(n′))Tf(n+2)。如果图像域初始卷积层包括多个卷积层,则图像域初始卷积层中的第一个卷积层之后的卷积层可以表示为:f(n+1′)=(C(n+1′))Tf(n′),f(n′)为前一卷积层的输出。图像域初始卷积层中的这些卷积层中的每层带激活函数图像域初始卷积层的输出被输入到卷积层580。
卷积层580为网络的倒数第一层,卷积层580实现如下操作:f(*-1)为前一卷积层的输出(在图像域初始卷积层仅仅包括1个卷积层570的情况下,f(*-1)就是f(n′)),卷积核的形状/尺寸参数为K(*-1)×1×1,从而得到一个结果图像。其中,K(*-1)为前一卷积层的卷积核数目。也就是说,卷积作用发生在厚度方向。此卷积层不带激活函数。
虽然在上述的结构中没有包括池化层,但是也可以设置池化层,例如在CT扫描得到完备数据的情况下(例如全探测器360圆周扫描),也可在一个或者多个卷积层后设置池化层。但是在CT扫描得到非完备数据的情况下(例如,探测器欠采样、稀疏角度采样、有限角、内重建、或者直线轨迹等方式),不设置池化层。
此外,根据本公开的实施例,第二卷积神经网络还包括处于网络最后一层的输出层,输出层输出结果图像。对于输出层输出的结果图像,定义代价函数为其中f={f1,f2,…,fn}为输出的结果图像,目标图像为f*,W为用于控制权重的对角阵。通过使得代价函数趋向于零来更新第一卷积神经网络和第二卷积神经网络的参数。在不设置第二卷积神经网络的情况下,将第一卷积神经网络输出的重建图像作为结果图像,进而基于上述的代价函数来更新第一卷积神经网络的参数。
此外,还可以使用RL斜坡滤波器对CT扫描得到的正弦图进行斜坡卷积。本领域的技术人员可以理解,使用其他的激活函数也是可以的。例如,在另一些实施例中,也可以使用其它函数来增加非线性度,例如双曲正切(hyperbolic tangent)函数f(x)=tanh(x)和S型函数(Sigmoid)f(x)=(1+e-x)-1。与其它函数相比,ReLU函数更为常用,因为其使得神经网络训练速度快了几倍,而不对准确度产生显著的影响。
可以使用随机梯度下降方法、动量(momentum)更新法、Nesterov Momentum、AdaGrad、Adam等方法进行网络参数更新。例如,误差的反向传播如下:
a)输出层的梯度为:
b)反投影层的误差传递为:
c)卷积层的卷积运算误差传递为:
d)各层中的激活函数误差传递为以/>为例,/>阶跃函数。
e)使用随机梯度下降方法、动量(momentum)更新法、Nesterov Momentum、AdaGrad、Adam等进行网络参数更新。
f)使用仿真数据进行训练。
g)使用实际扫描数据进行训练。
具体来说,如上建立卷积神经网络后,进行网络参数训练。例如,建立基本的扫描对象数学模型,按照实际系统建模生成CT仿真数据。此外,根据本公开的实施例,还可以使用多个扫描对象的CT仿真数据作为网络输入,使用扫描对象的图像真值作为标记,训练网络参数。在其他实施例中,也在实际系统上扫描对象,获得CT扫描数据,输入到此网络进行重建测试。对测试结果进行针对性的图像处理,例如对已知局部平滑区域进行局部平滑。使用处理后的图像作为标记,进一步训练网络,达到网络参数的细化微调。
图7是描述根据本公开的实施例的方法的示意性流程图。如图7所示,在步骤S710,对被检查对象进行CT扫描,得到投影数据。这里的CT扫描可以单能的也可以是多能的,本公开的实施例不限于此。
在步骤S720,使用斜坡滤波器对投影数据进行滤波。例如,使用RL斜坡滤波器对投影数据进行滤波。本领域技术人员可以理解,这里可以使用其他的滤波器,或者不进行滤波。
在步骤S730,利用第一卷积神经网络420/430/440在投影域对投影数据进行处理,得到处理后的投影数据。例如,利用训练得到的卷积神经网络对投影数据进行处理,得到处理后的正弦图,如图4所示。
在步骤S740,对处理后的投影数据进行反投影操作,例如在图4所示的反投影层460进行反投影操作,得到重建的CT图像。
如上所述,作为另一实施例,还可以在得到CT图像之后再进行后处理,例如在步骤S750,利用第二卷积神经网络570/580对重建的CT图像进行处理,得到结果图像。例如这里对重建的图像进行局部平滑处理,或者其他的图像处理操作,例如分割、边缘增强和均衡等等。
虽然上面的描述主要是针对360度圆周扫描得到完备投影数据的情况来描述的,但是本领域的技术人员能够理解,上述方案可以用于对非完备投影数据的情况,例如应用于探测器欠采样、稀疏角度采样、有限角、内重建、或者直线轨迹扫描等方式。
图8是根据本公开另一实施例的实现有限角度CT扫描的扫描装置的示意图。如图8所示,从射线源10发出的X射线透射视野45中的被检查对象40后,被探测器30接收,转换成电信号并进而转换成表示衰减值的数字信号,作为投影数据,在计算机中进行重建。利用上述的方案,即使对被检查对象40进行有限角度的CT扫描(例如130度),也能够重建得到质量较高的图像。
图9是根据本公开再一实施例的实现稀疏角度采样扫描方式的扫描装置的示意图。如图9所示,从射线源10发出的X射线透射视野45中的被检查对象40后,被探测器30接收,转换成电信号并进而转换成表示衰减值的数字信号,作为投影数据,在计算机中进行重建。利用上述的方案,即使对被检查对象40进行若干旋转位置下的CT扫描(例如6个位置),也能够重建得到质量较高的图像。这样,即使对被检查对象进行稀疏角度CT扫描,也能够从非完备的投影数据中重建得到质量较高的图像。
图10是根据本公开再一实施例的实现内重建扫描方式的扫描装置的示意图。如图10所示,从射线源10发出的X射线透射视野45中的被检查对象40的一部分后,被探测器30接收,转换成电信号并进而转换成表示衰减值的数字信号,作为投影数据,在计算机中进行重建。利用上述的方案,即使对被检查对象40进行内重建CT扫描,也能够重建得到质量较高的图像。
图11是根据本公开再一实施例的实现探测器欠采样扫描方式的扫描装置的示意图。如图11所示,从射线源10发出的X射线透射视野45中的被检查对象40后被探测器30接收,转换成电信号并进而转换成表示衰减值的数字信号,作为投影数据,在计算机中进行重建。在该例子中,探测器30被设置成欠采样的情形,例如将各个探测器单元间隔预定的距离来实现欠采样。这样,利用上述的方案,即使对被检查对象40进行探测器欠采样CT扫描,也能够重建得到质量较高的图像。
图12是描述如图8、图9、图10和图11所示的扫描方式中涉及的不完备投影数据的示意图。如图12所示,角度稀疏采样CT扫描、有限角度CT扫描、探测器欠采样CT扫描和内重建CT扫描得到的投影数据都是不完备的。尽管投影数据不完备,但是利用上述的方案,也能够从这些不完备的投影数据中重建得到质量较高的图像。
虽然上面给出了角度稀疏采样扫描等方式,但是本领域技术人员可以想到,本公开的方法同样可以用在直线轨迹CT扫描系统中。图13示出了根据本公开再一实施例的实现直线轨迹CT扫描的扫描装置的示意图。
如图13所示,从射线源10发出的X射线透射视野中的被检查物体40后被探测器30接收,转换成电信号并进而转换成表示衰减值的数字信号,作为投影数据,在计算机中进行重建。在该例子中,被检查物体40在与探测器平行的传送带上沿着直线轨迹运动。探测器在水平方向与射线源张角尽可能大,在竖直方向覆盖物体。例如,探测器阵列放置在源的对边,要求射线水平张角θ在90度以上,得到直线轨迹CT扫描投影数据。利用上述的方案,即使对被检查物体40进行直线轨迹CT扫描,也能够重建得到质量较高的图像。
本公开的实施例提出了基于卷积神经网络的X光CT重建方法,深度挖掘数据信息,形成卷积神经网络和系统针对性参数,获得高效的CT图像重建方法。
本公开的方法可以灵活适用于不同的CT扫描模式和系统架构,可用于医学诊断、工业无损检测和安检领域。
以上的详细描述通过使用示意图、流程图和/或示例,已经阐述了重建CT图像的方法和设备的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下,本领域技术人员应理解,这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中,本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而,本领域技术人员应认识到,这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中,实现为在一台或多台计算机上运行的一个或多个计算机程序(例如,实现为在一台或多台计算机系统上运行的一个或多个程序),实现为在一个或多个处理器上运行的一个或多个程序(例如,实现为在一个或多个微处理器上运行的一个或多个程序),实现为固件,或者实质上实现为上述方式的任意组合,并且本领域技术人员根据本公开,将具备设计电路和/或写入软件和/或固件代码的能力。此外,本领域技术人员将认识到,本公开所述主题的机制能够作为多种形式的程序产品进行分发,并且无论实际用来执行分发的信号承载介质的具体类型如何,本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于:可记录型介质,如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;以及传输型介质,如数字和/或模拟通信介质(例如,光纤光缆、波导、有线通信链路、无线通信链路等)。
虽然已参照几个典型实施例描述了本发明,但应当理解,所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质,所以应当理解,上述实施例不限于任何前述的细节,而应在随附权利要求所限定的精神和范围内广泛地解释,因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (17)

1.一种重建CT图像的方法,包括步骤:
对被检查对象进行CT扫描,得到投影数据;
利用第一卷积神经网络在投影域对投影数据进行处理,得到处理后的投影数据,其中,第一卷积神经网络包括多个卷积层;以及
对处理后的投影数据进行反投影操作,得到重建的图像;
其中第一卷积神经网络中的卷积层的卷积核的一个维度为探测器像素序列,另一个维度为扫描角度,并且第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立设置的,第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度大于在扫描角度维度上的尺度。
2.如权利要求1所述的方法,其中所述CT扫描为如下扫描方式之一:探测器欠采样扫描、稀疏角度扫描、内重建扫描、有限角扫描、和直线轨迹扫描,其中所述第一卷积神经网络为无池化层的卷积神经网络。
3.如权利要求1所述的方法,其中所述CT扫描为圆周扫描或者螺旋扫描,其中所述第一卷积神经网络还包括设置在相应卷积层后的多个池化层,以及全连接层。
4.如权利要求2或3所述的方法,还包括步骤:
利用第二卷积神经网络对重建的图像进行处理,得到结果图像。
5.如权利要求4所述的方法,其中还包括步骤:
在利用第一卷积神经网络对投影数据进行处理之前,使用斜坡滤波器对投影数据进行滤波。
6.如权利要求4所述的方法,其中利用第二卷积神经网络对重建的图像进行局部平滑处理,得到所述结果图像。
7.如权利要求1所述的方法,其中,第一卷积神经网络包括至少3个卷积层,每个卷积层带有一个激活函数,用于对经过卷积处理的投影数据进行非线性运算。
8.如权利要求1所述的方法,其中,第一卷积神经网络还包括反投影层,用于对经过卷积层处理后的投影数据进行反投影运算。
9.如权利要求8所述的方法,其中,第一卷积神经网络中最接近反投影层的卷积层的卷积核长宽尺寸参数为1*1。
10.如权利要求4所述的方法,其中,第二卷积神经网络包括图像域初始卷积层和末端卷积层,用于在图像域对重建的图像进行处理。
11.根据权利要求10所述的方法,其中,图像域初始卷积层所包括的每个卷积层都带激活函数,末端卷积层不带激活函数。
12.一种重建CT图像的设备,包括:
CT扫描装置,对被检查对象进行CT扫描,得到投影数据;
处理器,配置为:
利用第一卷积神经网络在投影域对投影数据进行处理,得到处理后的投影数据,以及对处理后的投影数据进行反投影操作,得到重建的图像,其中,第一卷积神经网络包括多个卷积层;
其中第一卷积神经网络中的卷积层的卷积核的一个维度为探测器像素序列,另一个维度为扫描角度,并且第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立设置的,第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度大于在扫描角度维度上的尺度。
13.如权利要求12所述的设备,其中,所述CT扫描装置执行如下扫描方式之一:探测器欠采样扫描、稀疏角度扫描、内重建扫描、有限角扫描、和直线轨迹扫描,其中所述第一卷积神经网络为无池化层的卷积神经网络。
14.如权利要求12所述的设备,其中所述CT扫描装置执行圆周扫描或者螺旋扫描,其中所述第一卷积神经网络还包括设置在相应卷积层后的多个池化层,以及全连接层。
15.如权利要求13或14所述的设备,其中所述处理器还配置为:
利用第二卷积神经网络对重建的图像进行处理,得到结果图像。
16.如权利要求12所述的设备,其中所述处理器还配置为:
利用第二卷积神经网络对重建的图像进行局部平滑处理,得到结果图像。
17.一种计算机可读介质,存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
利用第一卷积神经网络在投影域对投影数据进行处理,得到处理后的投影数据,其中所述投影数据是通过对被检查对象进行CT扫描而得到的,其中,第一卷积神经网络包括多个卷积层;以及
对处理后的投影数据进行反投影操作,得到重建的图像;
其中第一卷积神经网络中的卷积层的卷积核的一个维度为探测器像素序列,另一个维度为扫描角度,并且第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立设置的,第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度大于在扫描角度维度上的尺度。
CN201710616651.7A 2017-07-25 2017-07-25 重建ct图像的方法和设备以及存储介质 Active CN109300167B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710616651.7A CN109300167B (zh) 2017-07-25 2017-07-25 重建ct图像的方法和设备以及存储介质
JP2018139744A JP7064986B2 (ja) 2017-07-25 2018-07-25 Ct画像を再構成する方法及びデバイス、並びに記憶媒体
US16/045,303 US10896527B2 (en) 2017-07-25 2018-07-25 Method and device for reconstructing CT image and storage medium
EP18185402.7A EP3435334B1 (en) 2017-07-25 2018-07-25 Method and device for reconstructing ct image and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710616651.7A CN109300167B (zh) 2017-07-25 2017-07-25 重建ct图像的方法和设备以及存储介质

Publications (2)

Publication Number Publication Date
CN109300167A CN109300167A (zh) 2019-02-01
CN109300167B true CN109300167B (zh) 2023-10-10

Family

ID=63047167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710616651.7A Active CN109300167B (zh) 2017-07-25 2017-07-25 重建ct图像的方法和设备以及存储介质

Country Status (4)

Country Link
US (1) US10896527B2 (zh)
EP (1) EP3435334B1 (zh)
JP (1) JP7064986B2 (zh)
CN (1) CN109300167B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977843B2 (en) * 2017-06-28 2021-04-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining parameters for medical image processing
KR20190051384A (ko) * 2017-11-06 2019-05-15 삼성전자주식회사 X선 단층 영상 데이터를 생성하는 방법 및 장치
JP2021534852A (ja) 2018-08-15 2021-12-16 ハイパーファイン,インコーポレイテッド 磁気共鳴画像においてアーティファクトを抑制するためのディープラーニング技術
CN110018524B (zh) * 2019-01-28 2020-12-04 同济大学 一种基于视觉-属性的x射线安检违禁品识别方法
US11344219B2 (en) 2019-03-14 2022-05-31 Hyperfine Operations, Inc. Deep learning techniques for alignment of magnetic resonance images
US20200312611A1 (en) * 2019-03-29 2020-10-01 Fei Company Artificial intelligence enabled volume reconstruction
CN110163884B (zh) * 2019-05-17 2023-04-07 温州大学 一种基于全连接深度学习神经网络的单个图像分割方法
CN110211194A (zh) * 2019-05-21 2019-09-06 武汉理工大学 一种基于深度学习去除稀疏角度ct成像伪影的方法
CN112085829A (zh) * 2019-05-27 2020-12-15 清华大学 基于神经网络的螺旋ct图像重建方法和设备及存储介质
US11403791B2 (en) * 2019-07-11 2022-08-02 Canon Medical Systems Corporation Apparatus and method using deep learning (DL) to improve analytical tomographic image reconstruction
CN110544282B (zh) * 2019-08-30 2022-03-29 清华大学 基于神经网络的三维多能谱ct重建方法和设备及存储介质
CN111223160A (zh) * 2020-01-02 2020-06-02 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN111612719A (zh) * 2020-05-21 2020-09-01 东软医疗系统股份有限公司 Ct图像处理方法、装置、ct设备及ct系统
US11792438B2 (en) * 2020-10-02 2023-10-17 Lemon Inc. Using neural network filtering in video coding
CN112396672B (zh) * 2020-11-20 2023-03-24 华中科技大学 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN112288832B (zh) * 2020-12-24 2021-03-23 中国人民解放军国防科技大学 一种角度受限及稀疏采样的层析成像图像重构方法
CN113034642B (zh) * 2021-03-30 2022-05-27 推想医疗科技股份有限公司 图像重建方法及装置、图像重建模型的训练方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06342076A (ja) * 1993-03-24 1994-12-13 Toshiba Corp Spect画像の再構成装置及び再構成方法
CN106952229A (zh) * 2017-03-15 2017-07-14 桂林电子科技大学 基于数据增强的改进型卷积网络的图像超分辨率重建方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4901222B2 (ja) * 2006-01-19 2012-03-21 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像表示装置およびx線ct装置
DE102012217163B4 (de) * 2012-09-24 2022-06-02 Siemens Healthcare Gmbh Verfahren zur Rekonstruktion von CT-Bilddaten mit gewichteter Rückprojektion, einschließlich Recheneinheit und CT-System für dieses Verfahren
US10610182B2 (en) * 2014-01-15 2020-04-07 Alara Systems, Inc Converting low-dose to higher dose 3D tomosynthesis images through machine-learning processes
US9852526B2 (en) * 2015-04-10 2017-12-26 Toshiba Medical Systems Corporation Method and apparatus of resampling and averaging to obtain tilted thick-slice computed tomography images
CN113421652A (zh) * 2015-06-02 2021-09-21 推想医疗科技股份有限公司 对医疗数据进行分析的方法、训练模型的方法及分析仪
CN106361366B (zh) * 2016-11-02 2019-05-03 上海联影医疗科技有限公司 多模态图像配准方法及系统
CN109300166B (zh) * 2017-07-25 2023-04-25 同方威视技术股份有限公司 重建ct图像的方法和设备以及存储介质
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10499867B2 (en) * 2018-01-08 2019-12-10 Shenzhen Keya Medical Technology Corporation Method, storage medium, and system for analyzing image sequences of periodic physiological activities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06342076A (ja) * 1993-03-24 1994-12-13 Toshiba Corp Spect画像の再構成装置及び再構成方法
CN106952229A (zh) * 2017-03-15 2017-07-14 桂林电子科技大学 基于数据增强的改进型卷积网络的图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Deep Learning Architecture for Limited-Angle Computed Tomography Reconstruction;Kerstin Hammernik 等;INFORMATIK AKTUELL-BILDVERARBEITUNG FUR DIE MEDIZIN 2017;92-97 *
Kerstin Hammernik 等.A Deep Learning Architecture for Limited-Angle Computed Tomography Reconstruction.INFORMATIK AKTUELL-BILDVERARBEITUNG FUR DIE MEDIZIN 2017.2017,92-97. *

Also Published As

Publication number Publication date
EP3435334B1 (en) 2021-08-25
JP2019028072A (ja) 2019-02-21
US20190035116A1 (en) 2019-01-31
JP7064986B2 (ja) 2022-05-11
US10896527B2 (en) 2021-01-19
EP3435334A1 (en) 2019-01-30
CN109300167A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109300167B (zh) 重建ct图像的方法和设备以及存储介质
CN109300166B (zh) 重建ct图像的方法和设备以及存储介质
CN110047113B (zh) 神经网络训练方法和设备、图像处理方法和设备和存储介质
CN110660123B (zh) 基于神经网络的三维ct图像重建方法和设备以及存储介质
JP7187476B2 (ja) 深層学習に基づくトモグラフィ再構成
KR102260802B1 (ko) 단층촬영 재구성에서 사용하기 위한 데이터의 딥러닝 기반 추정
Zhang et al. Image prediction for limited-angle tomography via deep learning with convolutional neural network
CN110544282B (zh) 基于神经网络的三维多能谱ct重建方法和设备及存储介质
US10726587B2 (en) System and method for image conversion
Dong et al. A deep learning reconstruction framework for X-ray computed tomography with incomplete data
Thibault et al. A three‐dimensional statistical approach to improved image quality for multislice helical CT
WO2020237873A1 (zh) 基于神经网络的螺旋ct图像重建方法和设备及存储介质
Sunnegårdh et al. Regularized iterative weighted filtered backprojection for helical cone‐beam CT
CN116188615A (zh) 一种基于正弦域和图像域的稀疏角度ct重建方法
Sunnegårdh Iterative filtered backprojection methods for helical cone-beam CT
Guo et al. Noise-resilient deep learning for integrated circuit tomography
Vlasov et al. An a priori information based algorithm for artifact preventive reconstruction in few-view computed tomography
Pereira Development of a fast and cost-effective computed tomography system for industrial environments by incorporating priors into the imaging workflow
Gui et al. Low-dose CT iterative reconstruction based on image block classification and dictionary learning
CN117372562A (zh) 一种基于稀疏图集的图像重建方法及系统
Nozaki et al. A Fourier Series Based Method of CT Image Reconstruction for Laser Fusion Research.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant