CN112862913B - 一种多尺度带孔密集重建网络及其有限角ct成像方法 - Google Patents
一种多尺度带孔密集重建网络及其有限角ct成像方法 Download PDFInfo
- Publication number
- CN112862913B CN112862913B CN202110119200.9A CN202110119200A CN112862913B CN 112862913 B CN112862913 B CN 112862913B CN 202110119200 A CN202110119200 A CN 202110119200A CN 112862913 B CN112862913 B CN 112862913B
- Authority
- CN
- China
- Prior art keywords
- module
- output
- convolution
- size
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/436—Limited angle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多尺度带孔密集重建网络及其有限角CT成像方法,该网络包括若干个MSDD模块,每一个MSDD模块包括:第一联合代数重建模块SART1,其用于对输入的投影数据及第一初值图像进行重建,获得并输出第一重建图像;第一多尺度带孔密集卷积神经网络MSDD‑CNN1,其用于接收第一重建图像,并对第一重建图像进行伪影校正,获得并输出第一校正图像;第二联合代数重建模块SART2,其用于接收第一校正图像,并对投影数据及第二初值图像进行重建,获得并输出第二重建图像;其中,第二初值图像为第一校正图像;第二多尺度带孔密集卷积神经网络MSDD‑CNN2,其用于接收合并后的第一校正图像和第二重建图像,并对合并的第一校正图像和第二重建图像进行伪影校正,获得并输出第二校正图像。
Description
技术领域
本发明涉及计算机断层(Computed Tomography,CT)成像技术领域,特别是关于一种多尺度带孔密集重建网络及其有限角CT成像方法。
背景技术
有限角计算机断层成像是一个具有挑战性的问题,在工业检测及医学诊断等领域应用广泛。一般情况下,想要重建高质量的图像,平行束需要至少180度的扫描数据,扇束需要至少扇角+180度的扫描数据。然而,在实际应用中,受扫描环境、被扫描物体自身结构和X射线辐射剂量等因素限制,成像物体只能在有限角度范围内被扫描,从而使得收集到的投影数据不完备。比如:医学上的乳腺疾病诊断中,工业上的电路板缺陷检测等造成收集到的投影数据不完备。利用不完备的投影数据直接进行重建,得到的图像会出现严重的伪影,导致图像的结构及细节特征遭到破坏,进而影响重建效果,且受限角度越小,图像质量越差。
发明内容
本发明的目的在于提供一种多尺度带孔密集重建网络及其有限角CT成像方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的,本发明提供一种多尺度带孔密集重建网络,该网络包括若干个MSDD模块,每一个所述MSDD模块包括:
第一联合代数重建模块SART1,其用于对输入的投影数据及第一初值图像进行重建,获得并输出第一重建图像;
第一多尺度带孔密集卷积神经网络MSDD-CNN1,其用于接收将第一重建图像,并对第一重建图像进行伪影校正,获得并输出第一校正图像;
第二联合代数重建模块SART2,其用于接收第一校正图像,并对投影数据及第二初值图像进行重建,获得并输出第二重建图像;其中,所述第二初值图像为所述第一校正图像;
第二多尺度带孔密集卷积神经网络MSDD-CNN2,其用于接收合并后的所述第一校正图像和所述第二重建图像,并对合并的所述第一校正图像和所述第二重建图像进行伪影校正,获得并输出第二校正图像;
其中,“投影数据”为收集到的有限角度投影数据。
进一步地,所述MSDD模块中的多尺度带孔密集卷积神经网络MSDD-CNN包括:
编码单元,其用于接收输入图像,并将所述输入图像经过卷积模块、带孔卷积模块和多尺度下采样模块,输出1个通道、尺寸为的特征图;其中,所述输入图像为尺寸为1×M×N的所述第一重建图像,或者为合并后尺寸为2×M×N的第一校正图像和第二重建图像;所述卷积模块用于对图像进行卷积核尺寸为3×3卷积操作、批归一化和修正线性激活函数,所述带孔卷积模块用于对图像进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,所述多尺度下采样模块用于对图像进行多尺度下采样操作;
解码单元,其用于接收所述编码单元输出的1个通道特征图,并将所述1个通道特征图经过反卷积模块,输出2个通道、尺寸为M×N的特征图;其中,所述反卷积模块用于对图像进行卷积核尺寸为4×4的1倍、2倍或4倍反卷积操作;
微调单元,其用于接收所述解码单元输出的2个通道特征图,并将所述2个通道特征图经过微调卷积模块,输出1个通道、尺寸为M×N的特征图;其中,所述微调卷积模块用于对图像进行卷积核尺寸为3×3或1×1的卷积操作、批归一化和修正线性激活函数。
进一步地,所述编码单元包括:
第一卷积模块,其用于接收所述输入图像,并对输入图像依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
第一带孔卷积模块,其用于接收所述第一卷积模块输出的64个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
进一步地,所述解码单元包括:
第三反卷积模块,其用于接收合并后的所述第一反卷积模块输出的1个通道特征图和所述编码单元的第九卷积模块输出的1个通道特征图,并进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图;
第四反卷积模块,其用于接收合并后的所述第三反卷积模块输出的1个通道特征图和所述编码单元的第七卷积模块输出的1个通道特征图,并进行卷积核尺寸为4×4的4倍反卷积操作,获得并输出1个通道、尺寸为的特征图;
第六反卷积模块,其用于接收合并后的所述第五反卷积模块输出的1个通道特征图、所述第二反卷积模块输出的1个通道特征图和所述编码单元的第五卷积模块输出的1个通道特征图,并进行卷积核尺寸为4×4的4倍反卷积操作,获得并输出1个通道、尺寸为M×N的特征图;
第七反卷积模块,其用于接收合并后的所述第五反卷积模块输出的1个通道特征图、所述第二反卷积模块输出的1个通道特征图和所述第五卷积模块输出的1个通道特征图,并进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图;
第八反卷积模块,其用于接收合并后的所述第七反卷积模块输出的1个通道特征图、所述第四反卷积模块输出的1个通道特征图和所述编码单元的第三卷积模块输出的1个通道特征图,并进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为M×N的特征图。
进一步地,所述微调单元包括:
第一微调卷积模块,其用于接收合并后的第八反卷积模块输出的1个通道特征图和第六反卷积模块输出的1个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
第二微调卷积模块,其用于接收第一微调卷积模块输出的64个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出128个通道、尺寸为M×N的特征图;
第三微调卷积模块(33),其用于接收第二微调卷积模块(32)输出的128个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出128个通道、尺寸为M×N的特征图;
第四微调卷积模块,其用于接收第三微调卷积模块输出的128个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
第五微调卷积模块,其用于接收第四微调卷积模块输出的64个通道特征图,并依次进行卷积核尺寸为1×1的卷积操作、批归一化和修正线性激活函数,获得并输出1个通道、尺寸为M×N的特征图。
本发明还提供一种利用如上所述的多尺度带孔密集重建网络进行有限角CT成像的方法。
本发明由于采取以上技术方案,其具有以下优点:
1.受限角度较小时,比如90和110度,有利于有限角重建图像的复原;
2.针对不同部位医学图像,提出方法的鲁棒性;
3.有利于缩短不同分辨率图像及不同迭代层数所带来的网络训练耗时。
附图说明
图1为本发明实施例提供的多尺度带孔密集重建网络(MSDDRNet)的结构示意图。
图2为本发明实施例提供的类密集结构示意图。
图3为图1MSDD模块中的MSDD-CNN结构示意图。
图4为本发明实施例提供的多GPU训练网络不同模块示意图。
图5为90度不同方法有限角成像对比示意图。
图6为110度不同方法有限角成像对比示意图。
图7为90度不同方法有限角成像局部对比示意图。
图8为110度不同方法有限角成像局部对比示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示,本发明实施例提供的多尺度带孔密集重建网络MSDDRNet由多个MSDD模块组成。MSDD模块的数目可以根据重建图像视觉效果及各种质量评价指标进行自定义,其中,重建图像视觉效果的标准包括有限角伪影有效的去除,图像细节及结构特征清晰恢复。质量评价指标比如可以包括:质量评价指标:峰值信噪比(PSNR:Peak Signal to NoiseRatio)、结构相似度(SSIM:Structural SIMilarity)和图像质量评价指数(UIQI:Universal Image Quality Index)。MSDD模块数目的设定由实验结果确定,一般情况下,数目越多,效果越好。
每一个MSDD模块包括第一联合代数重建模块SART1、第二联合代数重建模块SART2、第一多尺度带孔密集卷积神经网络MSDD-CNN1和第二多尺度带孔密集卷积神经网络MSDD-CNN2。
SART1用于对输入的投影数据(如图1最左侧的“输入图像”)及初值图像进行重建,获得并输出第一重建图像。其中,“投影数据”为收集到的有限角度投影数据。“初值图像”可以是任意的与重建图像尺寸一样大小的矩阵,图1中的是使用SART算法对零矩阵迭代10次的结果。
MSDD-CNN1用于接收将第一重建图像,并对第一重建图像进行伪影校正,获得并输出第一校正图像。
SART2用于接收第一校正图像,并对投影数据及第一校正图像进行重建,获得并输出第二重建图像。其中,“投影数据”为收集到的有限角度投影数据。
MSDD-CNN2用于接收合并后的第一校正图像和第二重建图像,并对合并的第一校正图像和第二重建图像进行伪影校正,获得并输出第二校正图像。其中,“合并”可以理解为将两张图堆叠在一起,比如:两张图的尺寸为512×512;两张图合并后尺寸为2×512×512。
如图1所示,若干个MSDD模块依次串接,比如,从图的最左侧起开始,分别为:第一个MSDD模块、第二个MSDD模块、第三个MSDD模块、……第四个MSDD模块、第五个MSDD模块。那么,第一个MSDD模块输出的第二校正图像是作为第二个MSDD模块中的第一联合代数重建模块SART1用到的第一初值图像,第二个MSDD模块中的第一联合代数重建模块SART1接收到的投影数据为收集到的有限角度投影数据,第二个MSDD模块中的第二联合代数重建模块SART2接收到的投影数据也为收集到的有限角度投影数据。后面的MSDD模块的输入依此类推。
如图2所示,类密集结构是在解码阶段加入密集连接,它对同一分辨率下的特征图像进行不同倍数的反卷积或上采样,并分别对反卷积或上采样后相同分辨率的图像进行合并,之后再进行反卷积。通过这样的方式,该结构能够让低分辨率图像的信息通过不同的路径在网络中流动,从而增大了获取更多图像信息的可能性。
如图3所示,本发明实施例提供的MSDD模块中的多尺度带孔密集卷积神经网络MSDD-CNN包括编码单元1、解码单元2和微调单元3。
编码单元1用于增大神经网络的感受野,减小图像尺寸,降低神经网络的参数,防止过拟合。
在一个实施例中,编码单元1包括第一卷积模块11、第一带孔卷积模块12、第一多尺度下采样模块13、第二卷积模块14、第三卷积模块15、第二带孔卷积模块16、第二多尺度下采样模块17、第四卷积模块18、第五卷积模块19、第三带孔卷积模块110、第三多尺度下采样模块111、第六卷积模块112、第七卷积模块113、第四带孔卷积模块114、第四多尺度下采样模块115、第八卷积模块116、第九卷积模块117、第十卷积模块118和第十一卷积模块119。
第一卷积模块11用于接收输入图像(尺寸:1×M×N或2×M×N),并对输入图像依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出64个通道、尺寸为M×N的特征图。其中,“输入图像”可以是SART1输出1个通道、尺寸为M×N的第一重建图像。“输入图像”也可以是合并后的第一校正图像和第二重建图像,该合并后的图像是2个通道、尺寸为M×N的图像。
第一带孔卷积模块12用于接收第一卷积模块11输出的64个通道特征图,并对第一卷积模块11输出的64个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出64个通道、尺寸为M×N的特征图。
第二卷积模块14用于接收第一多尺度下采样模块13输出的64个通道特征图,并对第一多尺度下采样模块13输出的64个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出128个通道、尺寸为的特征图。
第二带孔卷积模块16用于接收第二卷积模块14输出的128个通道特征图,并对第二卷积模块14输出的128个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出128个通道、尺寸为的特征图。
第四卷积模块18用于接收第二多尺度下采样模块17输出的128个通道特征图,并对第二多尺度下采样模块17输出的128个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出256个通道、尺寸为的特征图。
第三带孔卷积模块110用于接收第四卷积模块18输出的256个通道特征图,并对第四卷积模块18输出的256个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出256个通道、尺寸为的特征图。
第六卷积模块112用于接收第三多尺度下采样模块111输出的256个通道特征图,并对第三多尺度下采样模块111输出的256个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出512个通道、尺寸为的特征图。
第七卷积模块113用于接收第三多尺度下采样模块111输出的256个通道特征图,并对第三多尺度下采样模块111输出的256个通道特征图进行卷积核尺寸为3×3的卷积操作,获得并输出1个通道、尺寸为的特征图。
第四带孔卷积模块114用于接收第六卷积模块112输出的512个通道特征图,并对第六卷积模块112输出的512个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出512个通道、尺寸为的特征图。
第八卷积模块116用于接收第四多尺度下采样模块115输出的512个通道特征图,并对第四多尺度下采样模块115输出的512个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出256个通道、尺寸为的特征图。
第九卷积模块117用于接收第四多尺度下采样模块115输出的512个通道特征图,并对第四多尺度下采样模块115输出的512个通道特征图进行卷积核尺寸为3×3的卷积操作,获得并输出1个通道、尺寸为的特征图。
第十卷积模块118用于接收第八卷积模块116输出的256个通道特征图,并对第八卷积模块116输出的256个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出128个通道、尺寸为的特征图。
解码单元2用于将图像尺寸恢复到与输入图像(初值图像)尺寸一致,且能够让低分辨率图像的信息通过不同的路径在网络中流动,从而增大获取更多图像信息的可能性。
在一个实施例中,解码单元2包括第一反卷积模块21、第二反卷积模块22、第三反卷积模块23、第四反卷积模块24、第五反卷积模块25、第六反卷积模块26、第七反卷积模块27和第八反卷积模块28。
第三反卷积模块23用于接收合并后的第一反卷积模块21输出的1个通道特征图和第九卷积模块117输出的1个通道特征图,并对合并后的第一反卷积模块21输出的1个通道特征图和第九卷积模块117输出的1个通道特征图进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图。
第四反卷积模块24用于接收合并后的第三反卷积模块23输出的1个通道特征图和第七卷积模块113输出的1个通道特征图,并对合并后的第三反卷积模块23输出的1个通道特征图和第七卷积模块113输出的1个通道特征图进行卷积核尺寸为4×4的4倍反卷积操作,获得并输出1个通道、尺寸为的特征图。
第五反卷积模块25用于接收合并后的第三反卷积模块23输出的1个通道特征图和第七卷积模块113输出的1个通道特征图,并对合并后的第三反卷积模块23输出的1个通道特征图和第七卷积模块113输出的1个通道特征图进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图。
第六反卷积模块26用于接收合并后的第五反卷积模块25输出的1个通道特征图、第二反卷积模块22输出的1个通道特征图和第五卷积模块19输出的1个通道特征图,并对合并后的第五反卷积模块25输出的1个通道特征图、第二反卷积模块22输出的1个通道特征图和第五卷积模块19输出的1个通道特征图进行卷积核尺寸为4×4的4倍反卷积操作,获得并输出1个通道、尺寸为M×N的特征图。
第七反卷积模块27用于接收合并后的第五反卷积模块25输出的1个通道特征图、第二反卷积模块22输出的1个通道特征图和第五卷积模块19输出的1个通道特征图,并对合并后的第五反卷积模块25输出的1个通道特征图、第二反卷积模块22输出的1个通道特征图和第五卷积模块19输出的1个通道特征图进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图。
第八反卷积模块28用于接收合并后的第七反卷积模块27输出的1个通道特征图、第四反卷积模块24输出的1个通道特征图和第三卷积模块15输出的1个通道特征图,并对合并后的第七反卷积模块27输出的1个通道特征图、第四反卷积模块24输出的1个通道特征图和第三卷积模块15输出的1个通道特征图进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为M×N的特征图。
微调单元3用于加深网络深度,使得神经网络学习到更加抽象的特征。
在一个实施例中,微调单元3包括第一微调卷积模块31、第二微调卷积模块32、第三微调卷积模块33、第四微调卷积模块34和第五微调卷积模块35。
第一微调卷积模块31用于接收合并后的第八反卷积模块28输出的1个通道特征图和第六反卷积模块26输出的1个通道特征图,并对合并后的第八反卷积模块28输出的1个通道特征图和第六反卷积模块26输出的1个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出64个通道、尺寸为M×N的特征图。
第二微调卷积模块32用于接收第一微调卷积模块31输出的64个通道特征图,并对第一微调卷积模块31输出的64个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出128个通道、尺寸为M×N的特征图。
第三微调卷积模块33用于接收第二微调卷积模块32输出的128个通道特征图,并对第二微调卷积模块32输出的128个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出128个通道、尺寸为M×N的特征图。
第四微调卷积模块34用于接收第三微调卷积模块33输出的128个通道特征图,并对第三微调卷积模块33输出的128个通道特征图依次进行卷积核尺寸为3×3的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出64个通道、尺寸为M×N的特征图。
第五微调卷积模块35用于接收第四微调卷积模块34输出的64个通道特征图,并对第四微调卷积模块34输出的64个通道特征图依次进行卷积核尺寸为1×1的卷积操作、批归一化(Batch Normalization,BN)和修正线性激活函数(ReLu),获得并输出1个通道、尺寸为M×N的特征图。
为了加速训练,本发明实施例使用深度学习的预训练模型及模型迁移技巧。首先本发明实施例先在一块显卡上训练单模块,并保存模型,然后随着模块数的增加,训练网络时,本发明实施例的每个模块都加载该模型。通过这样的方式,本发明实施例能让不同模块的网络快速收敛到极小点或局部极小点。图4显示了本发明实施例使用多GPU训练MSDDRNet不同模块的细节。
本发明所提出的多尺度带孔密集重建网络,针对不同类型的数据,在受限角度为90和110度的情况下,能更好地修复图像的细节与结构特征;针对不同尺寸图像有限角重建及网络不同层数,能更快地收敛到问题的极值点。
需要说明的是,本发明多尺度带孔密集重建网络中所涉及的MSDD模块可用其它模块代替,即,可以将MSDD-CNN网络替换成其它神经网络结构,同时多尺度带孔密集重建网络中的模块可以是相同的,也可以是不同的,且所提出的迭代框架也适用于低剂量CT成像、稀疏CT成像等。
图5和图6的第一列的四幅图像代表利用不同方法获得盆腔部位的图像,第二列的四幅图像代表利用不同方法获得腰椎部位的图像,第三列的四幅图像代表利用不同方法获得胸腔部位的图像。第一行的三幅图像分别代表利用同一SART全角度重建方法获得的盆腔部位、腰椎部位、胸腔部位的图像,虚线框表示有限角重建感兴趣区域;第二行的三幅图像分别代表利用同一SART有限角度重建方法获得的盆腔部位、腰椎部位、胸腔部位的图像;第三行的三幅图像分别代表利用同一多尺度带孔卷积神经网络(MSD-CNN)方法获得的盆腔部位、腰椎部位、胸腔部位的图像;第四行的三幅图像分别代表利用同一多尺度带孔密集重建网络(MSDDRNet)方法获得的盆腔部位、腰椎部位、胸腔部位的图像。
图7和图8的第一列的四幅图像代表利用不同方法获得盆腔部位的图像,第二列的四幅图像代表利用不同方法获得腰椎部位的图像,第三列的四幅图像代表利用不同方法获得胸腔部位的图像。第一行的三幅图像分别代表利用同一SART全角度重建方法获得的盆腔部位、腰椎部位、胸腔部位的图像,箭头表示重建图像的局部细节特征;第二行的三幅图像分别代表利用同一SART有限角度重建方法获得的盆腔部位、腰椎部位、胸腔部位的图像;第三行的三幅图像分别代表利用同一多尺度带孔卷积神经网络(MSD-CNN)方法获得的盆腔部位、腰椎部位、胸腔部位的图像;第四行的三幅图像分别代表利用同一多尺度带孔密集重建网络(MSDDRNet)方法获得的盆腔部位、腰椎部位、胸腔部位的图像。
由上述图像对比结果可知:本发明提出的多尺度带孔密集重建网络(MSDDRNet),在受限角度为90和110度时,无论是在重建图像结构上还是在细节上,都要优于现有方法,且其针对不同部位医学图像具有较好的鲁棒性。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种多尺度带孔密集重建网络,其特征在于,包括若干个MSDD模块,每一个所述MSDD模块包括:
第一联合代数重建模块SART1,其用于对输入的投影数据及第一初值图像进行重建,获得并输出第一重建图像;
第一多尺度带孔密集卷积神经网络MSDD-CNN1,其用于接收将第一重建图像,并对第一重建图像进行伪影校正,获得并输出第一校正图像;
第二联合代数重建模块SART2,其用于接收第一校正图像,并对投影数据及第二初值图像进行重建,获得并输出第二重建图像;其中,所述第二初值图像为所述第一校正图像;
第二多尺度带孔密集卷积神经网络MSDD-CNN2,其用于接收合并后的所述第一校正图像和所述第二重建图像,并对合并的所述第一校正图像和所述第二重建图像进行伪影校正,获得并输出第二校正图像;
其中,“投影数据”为收集到的有限角度投影数据。
2.如权利要求1所述的多尺度带孔密集重建网络,其特征在于,所述第一多尺度带孔密集卷积神经网络MSDD-CNN1和第二多尺度带孔密集卷积神经网络MSDD-CNN2均包括:
编码单元(1),其用于接收输入图像,并将所述输入图像经过卷积模块、带孔卷积模块和多尺度下采样模块,输出1个通道、尺寸为的特征图;其中,所述输入图像为尺寸为1×M×N的所述第一重建图像,或者为合并后尺寸为2×M×N的第一校正图像和第二重建图像;所述卷积模块用于对图像进行卷积核尺寸为3×3卷积操作、批归一化和修正线性激活函数,所述带孔卷积模块用于对图像进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,所述多尺度下采样模块用于对图像进行多尺度下采样操作;
解码单元(2),其用于接收所述编码单元(1)输出的1个通道特征图,并将所述1个通道特征图经过反卷积模块,输出2个通道、尺寸为M×N的特征图;其中,所述反卷积模块用于对图像进行卷积核尺寸为4×4的1倍、2倍或4倍反卷积操作;
微调单元(3),其用于接收所述解码单元(2)输出的2个通道特征图,并将所述2个通道特征图经过微调卷积模块,输出1个通道、尺寸为M×N的特征图;其中,所述微调卷积模块用于对图像进行卷积核尺寸为3×3或1×1的卷积操作、批归一化和修正线性激活函数。
3.如权利要求2所述的多尺度带孔密集重建网络,其特征在于,所述编码单元(1)包括:
第一卷积模块(11),其用于接收所述输入图像,并对输入图像依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
第一带孔卷积模块(12),其用于接收所述第一卷积模块(11)输出的64个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
4.如权利要求2所述的多尺度带孔密集重建网络,其特征在于,所述解码单元(2)包括:
第三反卷积模块(23),其用于接收合并后的所述第一反卷积模块(21)输出的1个通道特征图和所述编码单元(1)的第九卷积模块(117)输出的1个通道特征图,并进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图;
第四反卷积模块(24),其用于接收合并后的所述第三反卷积模块(23)输出的1个通道特征图和所述编码单元(1)的第七卷积模块(113)输出的1个通道特征图,并进行卷积核尺寸为4×4的4倍反卷积操作,获得并输出1个通道、尺寸为的特征图;
第五反卷积模块(25),其用于接收合并后的第三反卷积模块23输出的1个通道特征图和所述第七卷积模块(113)输出的1个通道特征图,并进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图;
第六反卷积模块(26),其用于接收合并后的所述第五反卷积模块(25)输出的1个通道特征图、所述第二反卷积模块(22)输出的1个通道特征图和所述编码单元(1)的第五卷积模块(19)输出的1个通道特征图,并进行卷积核尺寸为4×4的4倍反卷积操作,获得并输出1个通道、尺寸为M×N的特征图;
第七反卷积模块(27),其用于接收合并后的所述第五反卷积模块(25)输出的1个通道特征图、所述第二反卷积模块(22)输出的1个通道特征图和所述第五卷积模块(19)输出的1个通道特征图,并进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为的特征图;
第八反卷积模块(28),其用于接收合并后的所述第七反卷积模块(27)输出的1个通道特征图、所述第四反卷积模块(24)输出的1个通道特征图和所述编码单元(1)的第三卷积模块(15)输出的1个通道特征图,并进行卷积核尺寸为4×4的2倍反卷积操作,获得并输出1个通道、尺寸为M×N的特征图。
5.如权利要求2所述的多尺度带孔密集重建网络,其特征在于,所述微调单元(3)包括:
第一微调卷积模块(31),其用于接收合并后的第八反卷积模块(28)输出的1个通道特征图和第六反卷积模块(26)输出的1个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
第二微调卷积模块(32),其用于接收第一微调卷积模块(31)输出的64个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出128个通道、尺寸为M×N的特征图;
第三微调卷积模块(33),其用于接收第二微调卷积模块(32)输出的128个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出128个通道、尺寸为M×N的特征图;
第四微调卷积模块(34),其用于接收第三微调卷积模块(33)输出的128个通道特征图,并依次进行卷积核尺寸为3×3的卷积操作、批归一化和修正线性激活函数,获得并输出64个通道、尺寸为M×N的特征图;
第五微调卷积模块(35),其用于接收第四微调卷积模块(34)输出的64个通道特征图,并依次进行卷积核尺寸为1×1的卷积操作、批归一化和修正线性激活函数,获得并输出1个通道、尺寸为M×N的特征图。
6.一种利用如权利要求1至5中任一项的多尺度带孔密集重建网络进行有限角CT成像的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110119200.9A CN112862913B (zh) | 2021-01-28 | 2021-01-28 | 一种多尺度带孔密集重建网络及其有限角ct成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110119200.9A CN112862913B (zh) | 2021-01-28 | 2021-01-28 | 一种多尺度带孔密集重建网络及其有限角ct成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112862913A CN112862913A (zh) | 2021-05-28 |
CN112862913B true CN112862913B (zh) | 2023-06-20 |
Family
ID=75987785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110119200.9A Active CN112862913B (zh) | 2021-01-28 | 2021-01-28 | 一种多尺度带孔密集重建网络及其有限角ct成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112862913B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871332A (zh) * | 2017-11-09 | 2018-04-03 | 南京邮电大学 | 一种基于残差学习的ct稀疏重建伪影校正方法及系统 |
CN109377533A (zh) * | 2018-09-21 | 2019-02-22 | 上海交通大学 | X射线光栅相衬成像重建方法及其系统 |
CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
CN111798377A (zh) * | 2020-07-08 | 2020-10-20 | 广东工业大学 | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 |
CN112215755A (zh) * | 2020-10-28 | 2021-01-12 | 南京信息工程大学 | 一种基于反投影注意力网络的图像超分辨率重建方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017223560A1 (en) * | 2016-06-24 | 2017-12-28 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
US10685429B2 (en) * | 2017-02-22 | 2020-06-16 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
CN109300166B (zh) * | 2017-07-25 | 2023-04-25 | 同方威视技术股份有限公司 | 重建ct图像的方法和设备以及存储介质 |
US11517197B2 (en) * | 2017-10-06 | 2022-12-06 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction |
WO2019173452A1 (en) * | 2018-03-07 | 2019-09-12 | Rensselaer Polytechnic Institute | Deep neural network for ct metal artifact reduction |
US10925568B2 (en) * | 2019-07-12 | 2021-02-23 | Canon Medical Systems Corporation | Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT) |
-
2021
- 2021-01-28 CN CN202110119200.9A patent/CN112862913B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871332A (zh) * | 2017-11-09 | 2018-04-03 | 南京邮电大学 | 一种基于残差学习的ct稀疏重建伪影校正方法及系统 |
CN109377533A (zh) * | 2018-09-21 | 2019-02-22 | 上海交通大学 | X射线光栅相衬成像重建方法及其系统 |
CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
CN111798377A (zh) * | 2020-07-08 | 2020-10-20 | 广东工业大学 | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 |
CN112215755A (zh) * | 2020-10-28 | 2021-01-12 | 南京信息工程大学 | 一种基于反投影注意力网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
An extended simultaneous algebraic reconstruction technique (E-SART) for X-ray dual spectral computed tomography;Jingjing Hu;《Scanning》;第38卷(第6期);599–611 * |
基于残差学习的CT稀疏重建伪影校正;张鹏程;谢世朋;;计算机工程与设计(第08期);165-171 * |
Also Published As
Publication number | Publication date |
---|---|
CN112862913A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3367329B1 (en) | Denoising medical images by learning sparse image representations with a deep unfolding approach | |
US10475214B2 (en) | Tomographic reconstruction based on deep learning | |
US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
CN112435309A (zh) | 一种基于深度学习的增强ct图像质量和分辨率的方法 | |
CN103065279A (zh) | 圆轨道锥束计算机断层摄影(ct)中用于大幅度地减轻伪影的方法以及系统 | |
CN113160380B (zh) | 三维磁共振影像超分辨重建方法、电子设备和存储介质 | |
CN112396672B (zh) | 一种基于深度学习的稀疏角度锥束ct图像重建方法 | |
Gajera et al. | CT-scan denoising using a charbonnier loss generative adversarial network | |
US11967066B2 (en) | Method and apparatus for processing image | |
Reymann et al. | U-Net for SPECT image denoising | |
CN111161182B (zh) | Mr结构信息约束的非局部均值引导的pet图像部分容积校正方法 | |
US9953440B2 (en) | Method for tomographic reconstruction | |
Wang et al. | A deep network for sinogram and CT image reconstruction | |
CN112862913B (zh) | 一种多尺度带孔密集重建网络及其有限角ct成像方法 | |
CN112767273B (zh) | 一种应用特征解耦的低剂量ct图像修复方法及系统 | |
US11961209B2 (en) | Noise to noise ensemble learning for pet and CT image and data denoising | |
CN113838161B (zh) | 一种基于图学习的稀疏投影重建方法 | |
US20230052595A1 (en) | Deep learning-based image quality enhancement of three-dimensional anatomy scan images | |
CN113053496B (zh) | 一种用于医学图像低剂量估计的深度学习方法 | |
Xie et al. | 3D few-view CT image reconstruction with deep learning | |
Choi et al. | Statistical image restoration for low-dose CT using convolutional neural networks | |
Jomaa et al. | Partial volume effect correction in PET image using iterative deconvolution and shearlet transform | |
CN113160080B (zh) | 一种cr影像降噪方法、装置、设备及介质 | |
CN115578263B (zh) | 一种基于生成网络的ct超分辨重建方法、系统及装置 | |
CN112614205B (zh) | 图像重建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |