CN117409100A - 基于卷积神经网络的cbct图像伪影矫正系统及方法 - Google Patents

基于卷积神经网络的cbct图像伪影矫正系统及方法 Download PDF

Info

Publication number
CN117409100A
CN117409100A CN202311724431.8A CN202311724431A CN117409100A CN 117409100 A CN117409100 A CN 117409100A CN 202311724431 A CN202311724431 A CN 202311724431A CN 117409100 A CN117409100 A CN 117409100A
Authority
CN
China
Prior art keywords
cbct image
module
feature map
image
cbct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311724431.8A
Other languages
English (en)
Inventor
虞刚
安振
曹强
朱健
孔维鹏
孙倩
李登旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Information Consulting Co ltd
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202311724431.8A priority Critical patent/CN117409100A/zh
Publication of CN117409100A publication Critical patent/CN117409100A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及医学图像处理技术领域,提供了基于卷积神经网络的CBCT图像伪影矫正系统及方法,所述系统包括图像预处理单元、模型训练单元和图像矫正单元。通过在模型训练单元中引入不同扩张率的残差模块,实现了更广泛和深层的特征提取,捕捉图像的局部细节和全局边缘信息;在浅层和深层特征提取之间,采用了带有通道和空间注意力机制的残差模块进行跳跃连接,提高了对输入图像中关键特征的感知和利用,同时减小了浅层和深层特征之间的语义差异。本发明通过准确提取多层次特征和扩大感受野,有效纠正了CBCT图像中的伪影,提高了图像质量。

Description

基于卷积神经网络的CBCT图像伪影矫正系统及方法
技术领域
本发明涉及医学图像处理技术领域,具体涉及基于卷积神经网络的CBCT图像伪影矫正系统及方法。
背景技术
锥形束计算机断层扫描(CBCT)是基于二维大面积非晶硅数字化X线探测板的锥形束CT,其具有重量轻、体积小、开放式架构及可直接得到三维图像等优点,可直接安装到加速器上。由于CBCT可以实现肿瘤和组织器官成像,是图像引导放射治疗(IGRT)的有效工具,近年来已成为IGRT开发和研究的热点。
尽管CBCT在IGRT中已经扮演着至关重要的角色,但其最大挑战在于图像质量较低,这也限制了CBCT在精确放射治疗中的应用。CBCT图像密度分辨率尤其是低对比度密度分辨率区域与常规CT图像相比还有一定差距。由于外界干扰产生的散射线影响,CBCT图像中存在大量伪影噪声,导致CBCT图像中的噪声干扰很大,尤其是图像的弱边缘几乎不可辨识。因此,迫切需要提高CBCT图像质量。
近年来,为了提高CBCT图像质量,本领域的专家学者提出了多种CBCT伪影矫正方法。这些方法可归纳为硬件矫正和软件校正两大类。硬件矫正方法通过改变放射系统的硬件设计以减少投影数据采集过程中的散射线,但这同样也降低了放射系统的量子效率,导致图像信息丢失和重建图像精度下降。常见的软件校正方法是基于深度学习模型的伪影矫正方法,现有的深度学习伪影矫正和质量改进方法主要依赖于卷积神经网络(CNN)。其中,U-net是一种带有跳跃连接的全卷积网络,其网络结构呈U形状,跳跃连接可以帮助保留更多的上下文信息和细节,提高分割的准确性。虽然U-net在医学图像处理中取得了显著成果,但在CBCT伪影矫正方面仍存在一些局限,无法满足医疗应用中对散射去除精度的严格要求。
综上所述,现有的CBCT图像伪影矫正方法均存在一定的缺陷,在CBCT图像的临床应用方面造成一定困难,因此亟需提供一种能够准确提取图像局部细节和全局边缘信息的CBCT伪影矫正系统及方法。
发明内容
基于此,本发明提供一种基于卷积神经网络的CBCT图像伪影矫正系统及方法,通过训练基于扩张和注意力机制的U型卷积神经网络,用于CBCT图像伪影矫正,以解决现有技术存在的问题。本发明的技术方案能够有效解决现有技术中对图像深层语义特征图提取不足的缺陷,显著提高CBCT图像的质量和HU值精度,以推动CBCT图像在图像引导自适应放射治疗(ART)中更广泛的应用。
具体的,本发明采用如下技术方案:
第一方面,基于卷积神经网络的CBCT图像伪影矫正系统,所述系统包括:图像预处理单元、模型训练单元和图像矫正单元,其中,
所述图像预处理单元,用于对原始CBCT图像和参考CBCT图像进行预处理;
所述模型训练单元,用于基于预处理后的原始CBCT图像和参考CBCT图像训练基于扩张和注意力机制U型卷积神经网络,得到CBCT图像伪影矫正模型;
所述图像矫正单元,用于将实际CBCT图像输入所述CBCT图像伪影矫正模型生成矫正的CBCT图像。
在一种可能的实现方式中,所述模型训练单元包括编码器、扩张卷积残差模块、跳层连接模块和解码器,其中,
所述编码器,用于通过逐层下采样所述原始CBCT图像,以提取不同分辨率下的特征,生成四个不同尺度的特征图;
所述扩张卷积残差模块,用于对所述四个不同尺度的特征图中最后一个尺度的特征图进行更深层次的特征提取,得到深层特征图;将所述最后一个尺度的特征图与深层特征图进行融合,获得最终深层特征图;
所述跳层连接模块,用于将同一尺度下的编码器和解码器之间的特征图进行融合,得到四个浅层特征图;
所述解码器,用于图像重建,通过逐层上采样最终深层特征图与同一尺度下的浅层特征图的聚合特征图来生成经过矫正的原始CBCT图像。
在一种可能的实现方式中,所述编码器由依次连接的第一卷积模块、第一池化下采样模块、第二卷积模块、第二池化下采样模块、第三卷积模块、第三池化下采样模块、第四卷积模块和第四池化下采样模块组成;
所述第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块均包含两个3×3大小的卷积核,标准化BN层和激活函数RELU。
在一种可能的实现方式中,所述扩张卷积残差模块包括依次连接的五个扩张卷积残差子模块和第一残差连接,每一所述扩张卷积残差子模块由依次连接的不同扩张率的四个3×3卷积、标准化BN层和激活函数RELU组成。
在一种可能的实现方式中,所述跳层连接模块由通道注意力模块、空间注意力模块和第二残差连接构成。
在一种可能的实现方式中,所述解码器由依次连接的第一上采样模块、第五卷积模块、第二上采样模块、第六卷积模块、第三上采样模块、第七卷积模块、第四上采样模块、第八卷积模块和1×1卷积层组成;
所述第五卷积模块、第六卷积模块、第七卷积模块和第八卷积模块均包含两个3×3大小的卷积核,标准化BN层和激活函数RELU。
第二方面,根据第一方面中基于卷积神经网络的CBCT图像伪影矫正系统的CBCT图像伪影矫正方法,所述方法包括:
对原始CBCT图像和参考CBCT图像进行预处理;
将所述原始CBCT图像和参考CBCT图像输入到扩张和注意力机制U型卷积神经网络,训练得到CBCT图像伪影矫正模型;
将实际CBCT图像输入到CBCT图像伪影矫正模型中,生成矫正后的CBCT图像。
在一种可能的实现方式中,所述对原始CBCT图像和参考CBCT图像进行预处理,包括:
对原始CBCT图像和参考CBCT图像进行非刚体配准;
将非刚体配准后的原始CBCT图像和参考CBCT图像由DICOM格式转换为NII格式,得到原始CBCT图像和参考CBCT图像的3D NII图像;
将所述原始CBCT图像和参考CBCT图像的3D NII图像进行切片处理,转为原始CBCT图像和参考CBCT图像的2D CBCT图像。
在一种可能的实现方式中,将所述原始CBCT图像和参考CBCT图像输入到扩张和注意力机制U型卷积神经网络,训练得到CBCT图像伪影矫正模型,包括:
所述原始CBCT图像输入至编码器,所述编码器对原始CBCT图像进行不同尺度的特征图提取,获得四个不同尺度的特征图;
将所述四个不同尺度的特征图中最后一个尺度的特征图输入到扩张卷积残差模块,对所述最后一个尺度的特征图进行更深层次特征图提取,得到深层特征图;通过第一残差连接将所述最后一个尺度的特征图与所述深层特征图进行融合获得最终深层特征图;
将所述最终深层特征图输入到解码器中,所述第一上采样模块对所述最终深层特征图上采样2倍,得到第一上采样图;
将所述编码器获得的与所述第一上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第一上采样图同一尺度的特征图进行融合,得到第一浅层特征图;将第一浅层特征图与所述第一上采样图进行聚合,得到第一聚合特征图;
所述第一聚合特征图经第五卷积模块后由所述第二上采样模块上采样2倍,得到第二上采样图;
将所述编码器获得的与所述第二上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第二上采样图同一尺度的特征图进行融合,得到第二浅层特征图;将第二浅层特征图与所述第二上采样图进行聚合,得到第二聚合特征图;
所述第二聚合特征图经第六卷积模块后由所述第三上采样模块上采样2倍,得到第三上采样图;
将所述编码器获得的与所述第三上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第三上采样图同一尺度的特征图进行融合,得到第三浅层特征图;将第三浅层特征图与所述第三上采样图进行聚合,得到第三聚合特征图;
所述第三聚合特征图经第七卷积模块后由所述第四上采样模块上采样2倍,得到第四上采样图;
将所述编码器获得的与所述第四上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第四上采样图同一尺度的特征图进行融合,得到第四浅层特征图;将第四浅层特征图与所述第四上采样图进行聚合,得到与原始CBCT图像大小一致的第四聚合特征图;
将所述第四聚合特征图经第八卷积模块输入到所述1×1卷积层中,最后得到矫正的原始CBCT图像;
计算所述矫正的原始CBCT图像与参考CBCT图像之间的loss损失值;
若loss损失值下降到100以内且10个epoch不再下降时,则基于扩张和注意力机制U型卷积神经网络即为CBCT图像伪影矫正模型,CBCT图像伪影矫正模型训练完成;否则,则重复以上步骤,直至loss损失值下降到100以内且10个epoch不再下降。
第三方面,一种电子设备,包括:
处理器;
存储器;
以及计算机程序,其中所述计算机程序被存储在所述存储器中,所述计算机程序包括指令,当所述指令被所述处理器执行时,使得所述电子设备执行第二方面中任意一项所述的方法。
本发明构建了一种U型卷积神经网络,它具有增强网络对深层语义特征图感知的能力和提高对空间细节恢复的能力。同时,本发明将通道空间注意力机制引入到CBCT图像伪影矫正领域,通道空间注意力机制在全局和局部细节捕捉方面具有明显优势。另外,考虑到底层网络在深层特征图提取方面的不足,本发明还引入了扩张残差卷积模块,以增强网络模型的性能。这些创新的共同作用提高了本发明所公开的技术方案的CBCT图像伪影矫正效果。
与现有技术相比,本发明实现的有益效果为:
(1)实现更深层特征图提取。本发明在U型网络的底部加入带有扩张率的卷积残差模块,进一步提取输入图像的特征图,以提取局部细节和全局边缘信息。
(2)能够缩小语义差。本发明将简单跳跃连接替换为带有通道和空间注意力机制的残差模块,以提取每个尺度因池化操作丢失的特征图信息,将包含详细信息的浅层特征图与深层特征图相结合,减少浅层特征图与深层特征图之间的语义差。
(3)网络稳健性强。本发明选用双线性插值上采样,然后是33卷积,这有助于减少输出图像中因转置卷积操作带来的棋盘伪影。同时,为了保证复杂网络的非线性,本发明还在每个卷积层都添加了整流线性单元(RELU)激活层。
附图说明
为了更清楚说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于卷积神经网络的CBCT图像伪影矫正系统的结构框图;
图2为本发明实施例提供的一种基于卷积神经网络的CBCT图像伪影矫正方法的流程示意图;
图3为本发明实施例提供的原始CBCT图像、参考CBCT图像和矫正后CBCT图像的对比图;
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1
本实施例提供了一种基于卷积神经网络的CBCT图像伪影矫正系统,具体请参阅图1所示的根据本发明实施例提供的一种基于卷积神经网络的CBCT图像伪影矫正系统的结构框图,所述系统包括图像预处理单元101、模型训练单元102、图像矫正单元103。
所述图像预处理单元101,用于对原始CBCT图像和参考CBCT图像进行预处理。
进一步地,所述CBCT图像预处理,包括:对原始CBCT图像和参考CBCT图像进行非刚体配准;将非刚体配准后的原始CBCT图像和参考CBCT图像由DICOM格式转换为NII格式,得到原始CBCT图像和参考CBCT图像的3D NII图像;将所述原始CBCT图像和参考CBCT图像的3DNII图像进行切片处理,转为原始CBCT图像和参考CBCT图像的2D CBCT图像。
所述模型训练单元102,用于基于预处理后的原始CBCT图像和参考CBCT图像训练基于扩张和注意力机制U型卷积神经网络,得到CBCT图像伪影矫正模型。
所述图像矫正单元103,用于将实际CBCT图像输入所述CBCT图像伪影矫正模型生成矫正的CBCT图像。
需要特别说明的是,所述原始CBCT图像和参考CBCT图像均针对同一患者在事先的照射过程中获得的CBCT图像,其中,所述原始CBCT图像为有伪影的CBCT图像,所述参考CBCT图像为无伪影的CBCT图像。所述原始CBCT图像和参考CBCT图像,用于所述模型训练单元102训练得到CBCT图像伪影矫正模型。所述实际CBCT图像是指同一患者在需要进行伪影矫正的CBCT图像采集期间获得的图像。这一区分对于理解和实施CBCT图像伪影矫正非常重要。
所述模型训练单元102包括编码器、扩张卷积残差模块、跳层连接模块和解码器。具体的:
所述编码器,用于通过逐层下采样原始CBCT图像,以提取不同分辨率下的特征图,生成四个不同尺度的特征图。
在本实施例中,所述编码器由依次连接的第一卷积模块、第一池化下采样模块、第二卷积模块、第二池化下采样模块、第三卷积模块、第三池化下采样模块、第四卷积模块和第四池化下采样模块组成。每个卷积模块包含两个3×3大小的卷积核,标准化BN层和激活函数RELU。最后一个所述池化下采样模块的输出特征图用作所述扩张卷积残差模块的输入。这有助于提高特征图提取的多样性和性能。
所述四个不同尺度的特征图中最后一个尺度的特征图对应于分辨率最低的情况,也就是特征图尺寸最小的情况。
所述扩张卷积残差模块,用于对所述四个不同尺度的特征图中最后一个尺度的特征图进行更深层次的特征图提取,得到深层特征图;并通过第一残差连接融合所述最后一个尺度的特征图和所述深层特征图,获得最终深层特征图。这有助于捕获输入图像更广泛和深层次的语义特征图,提取局部细节和全局边缘信息,从而提高伪影矫正的图像质量和HU值的精度。
所述扩张卷积残差模块包括依次连接的五个扩张卷积残差子模块和第一残差连接,其中,每一所述扩张卷积残差子模块由依次连接的不同扩张率的四个3×3卷积、标准化BN层和激活函数RELU组成。
优选的,所述不同扩张率的四个3×3卷积的扩张率分别为1、2、3、5。有助于优化伪影矫正模型的性能,获得最好模型性能。
需要特别说明的是,深层特征图像经过压缩分辨率处理后所包含的特征图,每个像素点代表一个区域的信息,提取深层特征图将获取任一区域或其相邻区域之间的特征图信息。虽然这些特征图信息相对不够细致,但它们包含了丰富的语义信息,涵盖了底层结构,如骨骼、软组织和空气腔等。
所述跳层连接模块,用于将同一尺度下的编码器和解码器之间的特征图进行融合,以减少浅层特征图与深层特征图之间的语义差异和因池化操作丢失的空间信息。跳层连接允许卷积神经网络在不同的分辨率层之间传递信息,帮助恢复更丰富的图像细节。
所述跳层连接模块由通道注意力模块(CAM)、空间注意力模块(SAM)和第二残差连接构成。
所述通道注意力模块通过在每个通道上学习一个权重向量来自适应缩放每个通道的特征图,从而增强了通道之间的关系。所述空间注意力模块则通过对每个空间位置上的特征图进行自适应缩放来强调重要的空间位置。通过引入通道注意力模块(CAM)和空间注意力模块(SAM),可以对跳跃连接处的特征图进行加权,强调对伪影矫正更加关键和有用的特征图,从而增强网络对输入图像重要特征图的感知和利用能力,提高CBCT图像伪影矫正任务的性能和效果。
所述第二残差连接用于融合输入跳层连接模块前特征图和经过通道空间注意力模块后特征图。第二残差连接能够实现局部纹理特征图与全局特征图的有效聚合,从而获取更具表征能力的信息。
所述解码器,用于图像重建,通过逐层上采样最终深层特征图与同一尺度下的浅层特征图的聚合特征图来生成经过矫正的原始CBCT图像。
所述解码器由依次连接的第一上采样模块、第五卷积模块、第二上采样模块、第六卷积模块、第三上采样模块、第七卷积模块、第四上采样模块、第八卷积模块和1×1卷积层组成。四个卷积模块均包含两个3×3大小的卷积核,标准化BN层和激活函数RELU。在上采样过程中,采用双线性插值上采样,紧接着进行3×3卷积操作,而不使用转置卷积来提高解码器中特征图的空间分辨率。这有助于减少输出图像中因转置卷积操作引起的棋盘伪影,最终实现伪影校正的CBCT图像的恢复。最后,经过1×1卷积层输出矫正后的CBCT图像。
实施例2
本实施例提供了一种基于卷积神经网络的CBCT图像伪影矫正方法,参考图2,为本发明实施例提供的一种基于卷积神经网络的CBCT图像伪影矫正方法的流程示意图。一种基于卷积神经网络的CBCT图像伪影矫正方法,包括以下步骤:
S1:数据预处理阶段,对原始CBCT图像和参考CBCT图像进行预处理。具体为:
对原始CBCT图像和参考CBCT图像进行非刚体配准。这是因为同一患者的原始CBCT图像和参考CBCT图像通常不是同时获得的,因此它们在数量和空间上存在一定的不一致性。通过进行初步的配准,可以获得匹配的图像,从而降低模型的训练难度。这一步骤对于确保模型的有效训练非常重要。
将非刚体配准后的原始CBCT图像和参考CBCT图像由DICOM格式转换为NII格式,得到原始CBCT图像和参考CBCT图像的3D NII图像。将CBCT图像由DICOM格式转换为NII格式,能够提高数据的管理效率,更容易进行分析和处理,增加数据的互操作性和标准化。
将所述原始CBCT图像和参考CBCT图像的3D NII图像进行切片处理,转为原始CBCT图像和参考CBCT图像的2D CBCT图像。获得的患者图像数据为3D,本发明实施例的网络模型处理的是2D,所以将3D NII图像进行切片处理,以便网络模型进行训练学习。
S2:图像伪影矫正阶段,将所述原始CBCT图像和参考CBCT图像输入到扩张和注意力机制U型卷积神经网络,训练得到CBCT图像伪影矫正模型。具体为:
S21:所述原始CBCT图像输入至编码器,所述编码器对原始CBCT图像进行不同尺度的特征图提取,获得四个不同尺度的特征图供所述神经网络学习,实现图像到通道与空间的映射;
S22:所述四个不同尺度的特征图中最后一个尺度的特征图输入到扩张卷积残差模块,对所述最后一个尺度的特征图进行更深层次特征图提取,得到深层特征图,通过第一残差连接将所述最后一个尺度的特征图与所述深层特征图进行融合获得最终深层特征图;
S23:将所述最终深层特征图输入到解码器中,所述第一上采样模块对所述最终深层特征图上采样2倍,得到第一上采样图;
S24:将所述编码器获得的与所述第一上采样图同一尺度的特征图输入到所述跳层连接模块中,经过通道注意力模块、空间注意力模块依次对特征图进行通道、空间加权以提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第一上采样图同一尺度的特征图进行融合,得到第一浅层特征图;将第一浅层特征图与所述第一上采样图进行聚合,得到第一聚合特征图,确保恢复的图像不仅有细节,还具有上下文信息;
S25:所述第一聚合特征图经第五卷积模块后由所述第二上采样模块上采样2倍,得到第二上采样图;
S26:将所述编码器获得的与所述第二上采样图同一尺度的特征图输入到所述跳层连接模块中,经过通道注意力模块、空间注意力模块依次对特征图进行通道、空间加权以提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第二上采样图同一尺度的特征图进行融合,得到第二浅层特征图;将第二浅层特征图与所述第二上采样图进行聚合,得到第二聚合特征图;
S27:所述第二聚合特征图经第六卷积模块后由所述第三上采样模块上采样2倍,得到第三上采样图;
S28:将所述编码器获得的与所述第三上采样图同一尺度的特征图输入到所述跳层连接模块中,经过通道注意力模块、空间注意力模块依次对特征图进行通道、空间加权以提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第三上采样图同一尺度的特征图进行融合,得到第三浅层特征图;将第三浅层特征图与所述第三上采样图进行聚合,得到第三聚合特征图;
S29:所述第三聚合特征图经第七卷积模块后由所述第四上采样模块上采样2倍,得到第四上采样图;
S210:将所述编码器获得的与所述第四上采样图同一尺度的特征图输入到所述跳层连接模块中,经过通道注意力模块、空间注意力模块依次对特征图进行通道、空间加权以提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第四上采样图同一尺度的特征图进行融合,得到第四浅层特征图;将第四浅层特征图与所述第四上采样图进行聚合,得到与原始CBCT图像大小一致的第四聚合特征图;
S211:将所述第四聚合特征图经第八卷积模块输入到所述1×1卷积层中,最后得到矫正的原始CBCT图像;
S212,计算所述矫正的原始CBCT图像与参考CBCT图像之间的loss损失值,loss损失值越小,模型鲁棒性越好;
S213,若loss损失值下降到100以内且10个epoch不再下降时,则基于扩张和注意力机制U型卷积神经网络即为CBCT图像伪影矫正模型,CBCT图像伪影矫正模型训练完成;否则,则重复步骤S21-212,直至loss损失值下降到100以内且10个epoch不再下降。
S3:图像生成阶段。将实际CBCT图像输入到CBCT图像伪影矫正模型中,生成矫正后的CBCT图像。
参见图3,为本发明实施例提供的原始CBCT图像、参考CBCT图像和矫正后CBCT图像的对比图。其中,最左侧的图为原始CBCT图像,中间的图为根据本发明提供的系统和方法所生成的矫正后CBCT图像,最右侧的图为参考CBCT图像,通过比较,可以明显看出本发明提供的系统和方法生成的矫正后CBCT图像与参考CBCT图像非常相似,这证明了本发明提供的系统和方法的有效性。
实施例3
参照图4,为本发明实施例提供的一种电子设备的结构示意图。如图4所示,该电子设备400可以包括:处理器401、存储器402及通信单元403。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的电子设备结构并不构成对本申请实施例的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,通信单元403,用于建立通信信道,从而使电子设备可以与其它设备进行通信。它是设备之间信息交换的桥梁,支持无线和有线通信,关键组件之一。
处理器401,为电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit,IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器401可以仅包括中央处理器(centralprocessing unit,CPU)。在本申请实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
存储器402,用于存储处理器401的执行指令,存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当存储器402中的执行指令由处理器401执行时,使得电子设备400能够执行上述方法实施例中的部分或全部步骤。
与上述实施例相对应,本申请实施例还提供一种计算机可读存储介质,其中,该计算机可读存储介质可存储有程序,其中,在程序运行时可控制计算机可读存储介质所在设备执行上述方法实施例中的部分或全部步骤。具体实现中,该计算机可读存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
与上述实施例相对应,本申请实施例还提供了一种计算机程序产品,该计算机程序产品包含可执行指令,当可执行指令在计算机上执行时,使得计算机执行上述方法实施例中的部分或全部步骤。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a, b, c, a-b,a-c, b-c,或a-b-c,其中a, b, c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,简称ROM)、随机存取存储器(random access memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.基于卷积神经网络的CBCT图像伪影矫正系统,其特征在于,所述系统包括:图像预处理单元、模型训练单元和图像矫正单元,其中,
所述图像预处理单元,用于对原始CBCT图像和参考CBCT图像进行预处理;
所述模型训练单元,用于基于预处理后的原始CBCT图像和参考CBCT图像训练基于扩张和注意力机制U型卷积神经网络,得到CBCT图像伪影矫正模型;
所述图像矫正单元,用于将实际CBCT图像输入所述CBCT图像伪影矫正模型生成矫正的CBCT图像。
2.根据权利要求1所述的基于卷积神经网络的CBCT图像伪影矫正系统,其特征在于,所述模型训练单元包括编码器、扩张卷积残差模块、跳层连接模块和解码器,其中,
所述编码器,用于通过逐层下采样所述原始CBCT图像,以提取不同分辨率下的特征,生成四个不同尺度的特征图;
所述扩张卷积残差模块,用于对所述四个不同尺度的特征图中最后一个尺度的特征图进行更深层次的特征提取,得到深层特征图;将所述最后一个尺度的特征图与深层特征图进行融合,获得最终深层特征图;
所述跳层连接模块,用于将同一尺度下的编码器和解码器之间的特征图进行融合,得到四个浅层特征图;
所述解码器,用于图像重建,通过逐层上采样最终深层特征图与同一尺度下的浅层特征图的聚合特征图来生成经过矫正的原始CBCT图像。
3.根据权利要求2所述的基于卷积神经网络的CBCT图像伪影矫正系统,其特征在于,所述编码器由依次连接的第一卷积模块、第一池化下采样模块、第二卷积模块、第二池化下采样模块、第三卷积模块、第三池化下采样模块、第四卷积模块和第四池化下采样模块组成;
所述第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块均包含两个3×3大小的卷积核,标准化BN层和激活函数RELU。
4.根据权利要求2所述的基于卷积神经网络的CBCT图像伪影矫正系统,其特征在于,所述扩张卷积残差模块包括依次连接的五个扩张卷积残差子模块和第一残差连接,每一所述扩张卷积残差子模块由依次连接的不同扩张率的四个3×3卷积、标准化BN层和激活函数RELU组成。
5.根据权利要求2所述的基于卷积神经网络的CBCT图像伪影矫正系统,其特征在于,所述跳层连接模块由通道注意力模块、空间注意力模块和第二残差连接构成。
6.根据权利要求5所述的基于卷积神经网络的CBCT图像伪影矫正系统,其特征在于,所述解码器由依次连接的第一上采样模块、第五卷积模块、第二上采样模块、第六卷积模块、第三上采样模块、第七卷积模块、第四上采样模块、第八卷积模块和1×1卷积层组成;
所述第五卷积模块、第六卷积模块、第七卷积模块和第八卷积模块均包含两个3×3大小的卷积核,标准化BN层和激活函数RELU。
7.基于权利要求6所述的基于卷积神经网络的CBCT图像伪影矫正系统的CBCT图像伪影矫正方法,其特征在于,所述方法包括:
对原始CBCT图像和参考CBCT图像进行预处理;
将所述原始CBCT图像和参考CBCT图像输入到扩张和注意力机制U型卷积神经网络,训练得到CBCT图像伪影矫正模型;
将实际CBCT图像输入到CBCT图像伪影矫正模型中,生成矫正后的CBCT图像。
8.根据权利要求7所述的CBCT图像伪影矫正方法,其特征在于,所述对原始CBCT图像和参考CBCT图像进行预处理,包括:
对原始CBCT图像和参考CBCT图像进行非刚体配准;
将非刚体配准后的原始CBCT图像和参考CBCT图像由DICOM格式转换为NII格式,得到原始CBCT图像和参考CBCT图像的3D NII图像;
将所述原始CBCT图像和参考CBCT图像的3D NII图像进行切片处理,转为原始CBCT图像和参考CBCT图像的2D CBCT图像。
9.根据权利要求7所述的CBCT图像伪影矫正方法,其特征在于,将所述原始CBCT图像和参考CBCT图像输入到扩张和注意力机制U型卷积神经网络,训练得到CBCT图像伪影矫正模型,包括:
所述原始CBCT图像输入至编码器,所述编码器对原始CBCT图像进行不同尺度的特征图提取,获得四个不同尺度的特征图;
将所述四个不同尺度的特征图中最后一个尺度的特征图输入到扩张卷积残差模块,对所述最后一个尺度的特征图进行更深层次特征图提取,得到深层特征图;通过第一残差连接将所述最后一个尺度的特征图与所述深层特征图进行融合获得最终深层特征图;
将所述最终深层特征图输入到解码器中,所述第一上采样模块对所述最终深层特征图上采样2倍,得到第一上采样图;
将所述编码器获得的与所述第一上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第一上采样图同一尺度的特征图进行融合,得到第一浅层特征图;将第一浅层特征图与所述第一上采样图进行聚合,得到第一聚合特征图;
所述第一聚合特征图经第五卷积模块后由所述第二上采样模块上采样2倍,得到第二上采样图;
将所述编码器获得的与所述第二上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第二上采样图同一尺度的特征图进行融合,得到第二浅层特征图;将第二浅层特征图与所述第二上采样图进行聚合,得到第二聚合特征图;
所述第二聚合特征图经第六卷积模块后由所述第三上采样模块上采样2倍,得到第三上采样图;
将所述编码器获得的与所述第三上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第三上采样图同一尺度的特征图进行融合,得到第三浅层特征图;将第三浅层特征图与所述第三上采样图进行聚合,得到第三聚合特征图;
所述第三聚合特征图经第七卷积模块后由所述第四上采样模块上采样2倍,得到第四上采样图;
将所述编码器获得的与所述第四上采样图同一尺度的特征图输入到所述跳层连接模块中提取特征图信息,所述第二残差连接将提取的特征图信息与所述编码器获得的与所述第四上采样图同一尺度的特征图进行融合,得到第四浅层特征图;将第四浅层特征图与所述第四上采样图进行聚合,得到与原始CBCT图像大小一致的第四聚合特征图;
将所述第四聚合特征图经第八卷积模块输入到所述1×1卷积层中,最后得到矫正的原始CBCT图像;
计算所述矫正的原始CBCT图像与参考CBCT图像之间的loss损失值;
若loss损失值下降到100以内且10个epoch不再下降时,则基于扩张和注意力机制U型卷积神经网络即为CBCT图像伪影矫正模型,CBCT图像伪影矫正模型训练完成;否则,则重复以上步骤,直至loss损失值下降到100以内且10个epoch不再下降。
10.一种电子设备,其特征在于,包括:
处理器;
存储器;
以及计算机程序,其中所述计算机程序被存储在所述存储器中,所述计算机程序包括指令,当所述指令被所述处理器执行时,使得所述电子设备执行权利要求7至9中任意一项所述的方法。
CN202311724431.8A 2023-12-15 2023-12-15 基于卷积神经网络的cbct图像伪影矫正系统及方法 Pending CN117409100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311724431.8A CN117409100A (zh) 2023-12-15 2023-12-15 基于卷积神经网络的cbct图像伪影矫正系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311724431.8A CN117409100A (zh) 2023-12-15 2023-12-15 基于卷积神经网络的cbct图像伪影矫正系统及方法

Publications (1)

Publication Number Publication Date
CN117409100A true CN117409100A (zh) 2024-01-16

Family

ID=89500368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311724431.8A Pending CN117409100A (zh) 2023-12-15 2023-12-15 基于卷积神经网络的cbct图像伪影矫正系统及方法

Country Status (1)

Country Link
CN (1) CN117409100A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN111292386A (zh) * 2020-01-15 2020-06-16 中国人民解放军战略支援部队信息工程大学 一种基于U-net的CT投影金属迹线补全金属伪影校正方法
CN112348936A (zh) * 2020-11-30 2021-02-09 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
US20220164926A1 (en) * 2020-11-23 2022-05-26 Samsung Electronics Co., Ltd. Method and device for joint denoising and demosaicing using neural network
CN115546334A (zh) * 2022-09-29 2022-12-30 山东师范大学 基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法
CN115908599A (zh) * 2022-09-05 2023-04-04 中南林业科技大学 一种主动脉夹层术后影像的生成方法
CN116167929A (zh) * 2022-12-12 2023-05-26 山西大学 基于残差多尺度特征提取的低剂量ct图像去噪网络
CN116363060A (zh) * 2023-02-14 2023-06-30 长春理工大学 一种基于残差u型网络的混合注意力视网膜血管分割方法
CN116433654A (zh) * 2023-05-23 2023-07-14 中北大学 一种改进的U-Net网络实现脊柱整体分割方法
CN116468740A (zh) * 2023-04-26 2023-07-21 重庆理工大学 一种图像语义分割模型及分割方法
CN116739899A (zh) * 2023-06-12 2023-09-12 重庆理工大学 基于saugan网络的图像超分辨率重建方法
WO2023179095A1 (zh) * 2022-03-24 2023-09-28 中国科学院深圳理工大学(筹) 一种图像分割方法、装置、终端设备及存储介质
CN116935043A (zh) * 2023-06-14 2023-10-24 电子科技大学 一种基于多任务生成对抗网络的典型地物遥感图像生成方法
CN117037004A (zh) * 2023-08-28 2023-11-10 淮阴工学院 基于多尺度特征融合和上下文增强的无人机影像检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN111292386A (zh) * 2020-01-15 2020-06-16 中国人民解放军战略支援部队信息工程大学 一种基于U-net的CT投影金属迹线补全金属伪影校正方法
US20220164926A1 (en) * 2020-11-23 2022-05-26 Samsung Electronics Co., Ltd. Method and device for joint denoising and demosaicing using neural network
CN112348936A (zh) * 2020-11-30 2021-02-09 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
WO2023179095A1 (zh) * 2022-03-24 2023-09-28 中国科学院深圳理工大学(筹) 一种图像分割方法、装置、终端设备及存储介质
CN115908599A (zh) * 2022-09-05 2023-04-04 中南林业科技大学 一种主动脉夹层术后影像的生成方法
CN115546334A (zh) * 2022-09-29 2022-12-30 山东师范大学 基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法
CN116167929A (zh) * 2022-12-12 2023-05-26 山西大学 基于残差多尺度特征提取的低剂量ct图像去噪网络
CN116363060A (zh) * 2023-02-14 2023-06-30 长春理工大学 一种基于残差u型网络的混合注意力视网膜血管分割方法
CN116468740A (zh) * 2023-04-26 2023-07-21 重庆理工大学 一种图像语义分割模型及分割方法
CN116433654A (zh) * 2023-05-23 2023-07-14 中北大学 一种改进的U-Net网络实现脊柱整体分割方法
CN116739899A (zh) * 2023-06-12 2023-09-12 重庆理工大学 基于saugan网络的图像超分辨率重建方法
CN116935043A (zh) * 2023-06-14 2023-10-24 电子科技大学 一种基于多任务生成对抗网络的典型地物遥感图像生成方法
CN117037004A (zh) * 2023-08-28 2023-11-10 淮阴工学院 基于多尺度特征融合和上下文增强的无人机影像检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XUEREN ZHANG等: "Image-based scatter correction for cone-beam CT using flip swin transformer U-shape network", 《MEDICAL PHYSICS》, 3 February 2023 (2023-02-03), pages 5002 - 5019 *
ZHONG, RUIZHE等: "DRFENet: An Improved Deep Learning Neural Network via Dilated Skip Convolution for Image Denoising Application", 《APPLIED SCIENCES-BASEL》, 31 January 2023 (2023-01-31) *
梁煜;张金铭;张为;: "一种改进的卷积神经网络的室内深度估计方法", 天津大学学报(自然科学与工程技术版), no. 08, 2 June 2020 (2020-06-02) *
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) *

Similar Documents

Publication Publication Date Title
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
CN110443867B (zh) 基于生成对抗网络的ct图像超分辨率重构方法
CN110009669B (zh) 一种基于深度强化学习的3d/2d医学图像配准方法
CN111325686A (zh) 一种基于深度学习的低剂量pet三维重建方法
CN109859233A (zh) 图像处理、图像处理模型的训练方法及系统
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
Bai et al. Probabilistic self‐learning framework for low‐dose CT denoising
CN112435164B (zh) 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN109300136A (zh) 一种基于卷积神经网络的危及器官自动分割方法
CN113516586A (zh) 一种低剂量ct图像超分辨率去噪方法和装置
CN113870138A (zh) 基于三维U-net的低剂量CT图像去噪方法及系统
WO2023142781A1 (zh) 图像三维重建方法、装置、电子设备及存储介质
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN112819914A (zh) 一种pet图像处理方法
US20220164927A1 (en) Method and system of statistical image restoration for low-dose ct image using deep learning
WO2021120069A1 (zh) 基于解剖结构差异先验的低剂量图像重建方法和系统
CN117813055A (zh) 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合
US11455755B2 (en) Methods and apparatus for neural network based image reconstruction
GB2576945A (en) Image processing methods
CN116385317B (zh) 基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法
CN116664710A (zh) 基于Transformer的CT图像金属伪影无监督校正方法
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN117409100A (zh) 基于卷积神经网络的cbct图像伪影矫正系统及方法
CN115375544A (zh) 基于注意力和UNet网络生成对抗网络的超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240508

Address after: 1002, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Tongsheng Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Wanzhida Information Consulting Co.,Ltd.

Country or region after: China

Address before: 250014 No. 88 East Wenhua Road, Shandong, Ji'nan

Applicant before: SHANDONG NORMAL University

Country or region before: China