CN116645283A - 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 - Google Patents

基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 Download PDF

Info

Publication number
CN116645283A
CN116645283A CN202310523498.9A CN202310523498A CN116645283A CN 116645283 A CN116645283 A CN 116645283A CN 202310523498 A CN202310523498 A CN 202310523498A CN 116645283 A CN116645283 A CN 116645283A
Authority
CN
China
Prior art keywords
scale
self
image
loss
supervision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310523498.9A
Other languages
English (en)
Inventor
张元科
万兆翠
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qufu Normal University
Original Assignee
Qufu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qufu Normal University filed Critical Qufu Normal University
Priority to CN202310523498.9A priority Critical patent/CN116645283A/zh
Publication of CN116645283A publication Critical patent/CN116645283A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自监督感知损失多尺度卷积神经网络的纹理保持低剂量CT图像去噪方法，属于医学图像处理技术领域。本发明首先提出多尺度卷积模块，以刻画CT图像结构的多尺度特性。基于该模块，本发明设计了多尺度编码‑解码去噪网络模型，并在模型中引入多尺度空间金字塔注意力机制，以弥补编码器与解码器间语义差距。此外，本发明提出自监督多尺度感知损失模块，以刻画不同语义层级的感知损失，并引入权重参数自适应加权各语义层级感知损失的重要程度。本发明通过设计能够捕获CT图像中局部结构尺度间变化特性的网络模型，并采用基于自监督多尺度感知损失的网络训练策略，实现了具有纹理保持能力的低剂量CT图像去噪。

Description

基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去 噪方法
技术领域
本发明属于医学图像处理技术领域，更具体地说，涉及一种基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法。
背景技术
计算机断层扫描(Computed Tomography, CT)是一种广泛使用的高分辨率成像方式，它能以非侵入的方式直接对人体内不同的器官和组织进行成像，对于脑肿瘤、骨结核等疾病的检测十分高效。然而，如果长期使用CT进行扫描，累积的辐射剂量会给患者带来潜在的健康风险。如果使用低剂量CT扫描，人体只需要接受少量的辐射即可获得图像。然而，随着辐射剂量的降低，CT图像中会出现大量噪声和伪影，导致图像对比度降低，影响诊断性能。
常见的LDCT图像去噪算法可以分为三类：第一类是弦图滤波，第二类是迭代重建，第三类是图像后处理。弦图滤波在图像重建前对原始数据或对数转换数据进行处理。典型的去噪方法如自适应卷积滤波、惩罚加权最小二乘算法和双边滤波，但是弦图数据通常难以获取。迭代重建算法极大地提高了去噪性能，但它也需要访问难以获取的投影数据。此外，该方法还有计算成本高及耗时等缺点。图像后处理直接抑制图像中的噪声，并且不依赖原始数据。常见的图像后处理方法有非局部均值滤波器的方法、三维块匹配滤波。受到稀疏表示理论的启发，将字典学习应用于LDCT去噪。经过图像后处理，图像质量得到明显的改善，但在处理过程中会导致一些重要纹理细节的丢失。
近年来，深度学习方法在图像分类、分割以及超分辨率等方面取得了很大的进展，并且在低剂量CT领域展示出了巨大的发展潜力。研究人员借助深度学习框架提出了很多低剂量CT去噪算法。Chen等人提出的残差编解码器卷积神经网络RED-CNN，利用卷积层以及反卷积层来实现图像去噪；Kang等人提出了带有残差块的小波网络；Zhang等人提出了基于稠密连接反卷积网络DD-Net稀疏视角下的CT图像重建方法，该模型在低剂量CT图像去噪方面也表现出良好的性能。此外，有学者提出改进卷积操作来提升网络性能，如3D卷积操作。在全卷积网络的基础上，生成对抗网络GAN也被提出作为一种没有成对训练数据集来生成接近真实图像的方法。
尽管这些网络的去噪效果令人印象深刻，但网络中使用的传统的去噪结果与ground truth之间的L1或L2损失会使图像过平滑，导致图像中纹理细节的丢失。此外，传统的卷积操作仅使用单一大小的卷积进行特征提取。由于每个卷积层只能处理一个尺度的特征，但CT图像中器官及结构的尺度各不相同，因此也会忽略一些有用的纹理特征信息。而CT图像中的纹理细节特征的变化代表了机体的病理变化，如果生成的图像中的纹理细节被去除，会对医生的诊断及治疗产生巨大的影响。
发明内容
1.发明要解决的技术问题
本发明的目的在于克服现有技术的不足，提供一种基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法。为尽可能保留CT图像中的纹理细节信息，本发明设计了自监督多尺度感知损失模块来计算多尺度感知损失，该模块将浅层特征和深层特征全都考虑进来，以此来提高网络中的纹理细节信息。与传统网络不同，自监督感知损失多尺度卷积神经网络并没有使用传统的去噪结果与ground truth之间的L1或L2损失，而是仅使用自监督多尺度感知损失作为损失函数来训练网络。由于自监督多尺度感知损失模块的不同层中不同尺度的感知损失代表的含义各不相同，因此，本发明设计了一个函数来控制九个不同尺度感知损失的重要性等级。此外，考虑到CT图像中的结构和器官有不同的尺度，因此本发明提出使用多尺度卷积模块来更好地表达不同尺度图像的特征。为了能够根据选择权重聚合不同核大小的特征图，从而更好地捕获特定尺寸特征，该模块中使用选择性核卷积对多尺度特征进行融合。借助多尺度卷积模块，本发明设计了一种多尺度U-Net结构，并在编码器与解码器的跳跃连接中加入了多尺度空间金字塔注意力结构，以弥补编码器与解码器之间的语义差距。总的来说，本发明可以捕获不同尺度特征之间的变化，在去除噪声的同时尽可能提高图像中的纹理细节信息。
2.技术方案
为达到上述目的，本发明基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，包括以下步骤：
步骤1：采集患者的常规剂量CT投影数据，通过反投影重建得到常规剂量CT图像；对同一常规剂量CT投影数据添加噪声，通过反投影重建得到相应的低剂量CT图像；将每一对低剂量CT图像与常规剂量CT图像构成一个训练样本，表示为（x, y）。其中，x为低剂量CT（LDCT）图像，y为常规剂量CT（NDCT）图像；
步骤2：构建自监督感知损失多尺度卷积神经网络；
步骤3：训练自监督感知损失多尺度卷积神经网络；
步骤4：用训练好的自监督感知损失多尺度卷积神经网络实现低剂量CT图像去噪。
步骤2构建自监督感知损失多尺度卷积神经网络。该网络包括主去噪网络和自监督多尺度感知损失模块两个部分，主去噪网络用于网络的整体去噪，而自监督多尺度感知损失模块是用来计算多尺度感知损失以优化主去噪网络，该模块是从网络内部多尺度特征的角度来监督微小纹理细节的恢复。与传统的网络不同，自监督感知损失多尺度卷积神经网络在训练时并没有使用传统的去噪结果与ground truth之间的L1或L2损失，而是仅使用自监督多尺度感知损失来对主去噪网络进行优化。此外，主去噪网络和自监督多尺度感知损失模块具有相同的网络结构，都是由编码器、bottleneck、解码器和多尺度空间金字塔注意力结构组成的U-Net结构，且编码器、bottleneck和解码器的基本组成部分都是多尺度卷积模块。
更近一步地，编码器由三层组成，每层都包含一个多尺度卷积模块，然后是一个2×2的最大池化层。网络采用大小为96×96的patch作为输入，通道数为64。在下采样期间，特征图大小在每一层减半。因此，编码器的三层中特征图大小分别为96×96、48×48、24×24。Bottleneck连接所提出网络的编码器和解码器，它是由四个多尺度卷积模块和四个卷积层组成。Bottleneck有两个输出，一个经过反卷积操作进行上采样然后进入解码器，另一个进入多尺度空间金字塔注意力结构。Bottleneck中特征图的大小为12×12。解码器和编码器的结构是对称的，也包括三层，每一层也是由一个多尺度卷积模块组成。多尺度空间金字塔注意力结构的输出与前一个解码器层的上采样输出拼接在一起，上采样采用2×2的反卷积操作来实现。拼接后，输出被传递给多尺度卷积模块。在每个解码器层中，特征图的大小加倍。因此，解码器的三层中特征图大小分别为24×24、48×48、96×96。
在步骤2构建的自监督感知损失多尺度卷积神经网络中，编码器、bottleneck与解码器的基本组成部分均为多尺度卷积模块。对于多尺度卷积模块，具体地说，多尺度卷积使用一系列3×3的卷积来代替5×5和7×7的卷积。其中，第二个3×3卷积块和第三个3×3卷积块的输出分别近似于5×5和7×7的卷积运算。经过多尺度卷积计算后会得到三个不同尺度的特征图，为了能够根据选择权重聚合不同核大小的特征图，从而更好地捕获特定尺寸特征，使用选择性核卷积SKC技术对多尺度特征进行融合。此外，全局上下文注意力GCBlock可以在特征空间中隐式地学习丰富的细节特征，从而更加充分地利用全局上下文信息。因此，在多尺度卷积神经网络中，全局上下文注意力被封装为多尺度卷积注意块，然后巧妙地嵌入在多尺度卷积模块中。其中，多尺度卷积注意块中的1×1卷积和多尺度卷积模块中的long-skip connection都是用来弥补一系列操作中丢失的信息。
更近一步地，在步骤2构建的自监督感知损失多尺度卷积神经网络中，为了弥补编码器中的浅层特征与解码器中的深层特征之间的语义差距，在编码器与解码器之间的快捷连接中加入一个多尺度空间金字塔注意力结构。具体的，该结构中用到的注意力为空间金字塔注意力。空间金字塔注意力聚合了四个不同尺度的特征上下文，即精细上下文，局部上下文，粗糙上下文以及全局上下文信息，从而更好地描述CT图像中不同尺度的结构信息。输出的四个尺度的特征上采样到输入特征图大小的两倍之后求和，然后使用两个逐点卷积层来探索获得的注意力图之间的通道关系，并进一步使用Sigmoid函数生成转换后的注意力权重，该注意力权重用来增强相应编码器的注意，以弥补跳跃连接带来的语义差距。
更近一步地，在步骤2构建的自监督感知损失多尺度卷积神经网络中，自监督多尺度感知损失模块的作用是计算多尺度感知损失来优化网络。与传统的网络不同，自监督感知损失多尺度卷积神经网络在训练过程中没有使用传统的去噪结果与ground truth之间的L1或L2损失，而是仅使用自监督多尺度感知损失来对主去噪网络进行优化，这是首个仅使用感知损失作为损失函数来实现CT图像去噪的方法。自监督多尺度感知损失模块与主去噪网络有着相同的结构，但是主去噪网络仅包含一条路径，而自监督多尺度感知损失模块包含两条路径。在网络整体训练前，先用常规剂量的CT图像数据对（y, y）对自监督多尺度感知损失模块进行预训练。这样，在训练整体网络时，导入预先训练好的自监督多尺度感知损失模块，将经过主去噪网络去噪后的图像与常规剂量CT图像分别输入到自监督多尺度感知损失模块的两条路径中，通过中间层特征计算多尺度感知损失，以实现主去噪网络的训练。
具体的，将预训练好的多尺度感知损失模块记为f(·|Ф)，用LP表示第j个隐含层的感知损失，j∈{1,2,…8,9}。y表示NDCT，y’表示通过主去噪网络得到的去噪图像。因此，网络整体的损失函数用公式表示如下：
其中，αj是控制自监督多尺度感知损失模块中第j个感知损失的重要性参数，它可以实现在对低剂量CT图像去噪的同时尽可能保留更多的纹理细节信息。本发明提出一种可以自动调整αj的新方法。
更近一步地，在步骤2构建的自监督感知损失多尺度卷积神经网络中，自监督多尺度感知损失模块不同层中的不同尺度的感知损失代表的含义各不相同。网络的前几层是对浅层特征的表达，表示图像的细节结构信息，最后几层是对深层特征的表达，表示对图像的整体成像，中间几层表示图像的主要特征。如果要保持图像中的细节，前面几层感知损失和后面几层感知损失要相对重要一些。为此，引入参数αj(j∈{1~9}）来控制九个不同尺度感知损失的重要性等级。并且，针对参数αj，本发明提出了一种基于高斯函数的参数自动设置方法，其公式如下：
对于（2）式，参数σ用于调整各尺度感知损失权重的差异性，具体的，当σ值越小时，前面几个感知损失和后面几个感知损失的重要性等级就越高，中间的重要性等级越低，保留的细节信息也就越多；反之，当σ越大时，九个感知损失之间重要性等级的差别就越小，特别的，当σ趋于无穷大时，九个感知损失的重要性相同。因此，可以根据不同的目标来设置σ的大小，从而实现控制九个不同尺度感知损失之间的重要性。
步骤3是对构建好的自监督感知损失多尺度卷积神经网络进行训练。首先，使用常规剂量CT图像对（y, y）对自监督多尺度感知损失模块进行预训练，迭代20个epoch。然后在网络整体训练时，导入预先训练好的自监督多尺度感知损失模块，将去噪后的CT图像与常规剂量CT图像分别输入到自监督多尺度感知损失模块的两条路径中，从中间层计算九个不同尺度的感知损失，以实现对主去噪网络的训练。主去噪网络重新迭代200个epoch，以获得训练好的自监督感知损失多尺度卷积神经网络。
更近一步地，步骤4是用训练好的自监督感知损失多尺度卷积神经网络实现低剂量CT图像的去噪。将低剂量CT图像输入到训练好的自监督感知损失多尺度卷积神经网络中，从而获得去噪后的CT图像。
3.有益效果
采用本发明提供的技术方案，与现有技术相比，具有以下有益效果：
（1）在本发明设计的自监督感知损失多尺度卷积神经网络中，提出了一个自监督多尺度感知损失，将浅层特征以及深层特征全都考虑进来。无需传统的去噪结果与groundtruth之间的L1或L2损失，仅利用所提的感知损失，能够在去噪的同时更好地保持图像的纹理细节信息。
（2）在本发明设计的自监督感知损失多尺度卷积神经网络中，构建了多尺度卷积模块，并在其基础上设计了一种多尺度U-Net网络，该网络不仅可以更好地去除CT图像中的噪声，而且提高了特征提取的多样性。
（3）在本发明设计的自监督感知损失多尺度卷积神经网络中，在快捷连接中加入多尺度空间金字塔注意力结构，以此来弥补浅层特征与深层特征之间的语义差距。
附图说明
图1是本发明基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法的结构图；
图2是多尺度卷积模块的结构图；
图3是空间金字塔注意力的结构图；
图4是多尺度空间金字塔注意力结构的结构图；
图5是SSIM值随不同σ值变化的曲线；
图6是当σ取10时，自监督多尺度感知损失模块中九个感知损失的重要性参数αj的取值曲线。
具体实施方式
下面结合附图对本发明基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法的具体实施方式作进一步描述。
图1是基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法的结构图，它包括两部分：一部分是主去噪网络，另一部分是自监督多尺度感知损失模块。主去噪网络用于图像的整体去噪，自监督多尺度感知损失模块则是从网络内部多尺度特征的角度来监督微小的纹理细节的恢复。与传统的网络不同，自监督感知损失多尺度卷积神经网络仅使用自监督多尺度感知损失来对网络进行优化。主去噪网络和自监督多尺度感知损失模块有着相同的网络结构，都是由编码器、bottleneck、解码器和多尺度空间金字塔注意力结构组成。编码器由三层组成，每层都包含一个多尺度卷积模块，然后是一个2×2的最大池化层。网络采用大小为96×96的patch作为输入，通道数为64。在下采样期间，特征图大小在每一层减半。因此，编码器的三层中特征图大小分别为96×96、48×48、24×24。Bottleneck连接所提出网络的编码器和解码器，它是由四个多尺度卷积模块和四个卷积层组成，其中bottleneck中特征图的大小为12×12。Bottleneck有两个输出，一个经过反卷积操作进行上采样然后进入解码器，另一个进入多尺度空间金字塔注意力结构。解码器和编码器的结构是对称的，也包括三层，其中每一层也是由一个多尺度卷积模块组成。多尺度空间金字塔注意力结构的输出与前一个解码器层的上采样输出拼接在一起，上采样采用2×2的反卷积操作来实现。拼接后，输出被传递给多尺度卷积模块。在每个解码器层中，特征图的大小加倍。因此，解码器的三层中特征图大小分别为24×24、48×48、96×96。连接编码器与解码器的快捷连接中使用的多尺度空间金字塔注意力结构是为了弥补编码器与解码器之间的语义差距。
对于主去噪网络和自监督多尺度感知损失模块，两者的不同之处在于：主去噪网络仅包含一条路径，而自监督多尺度感知损失模块包含两条路径。首先，自监督多尺度感知损失模块使用常规剂量CT图像数据集进行预训练。在网络进行整体训练时，导入预先训练好的自监督多尺度感知损失模块，将去噪后的CT图像与常规剂量的CT图像分别输入到自监督多尺度感知损失模块的两条路径中，从中间层计算感知损失，以实现对主去噪网络的训练。
图2是多尺度卷积模块。多尺度卷积模块是由m个多尺度卷积注意块、1×1卷积和long-skip connection组成。在多尺度卷积注意块中，多尺度卷积使用一系列3×3的卷积来代替5×5和7×7的卷积。其中，第二个3×3卷积块和第三个3×3卷积块的输出分别近似于5×5和7×7的卷积运算。经过多尺度卷积计算后会得到三个不同尺度的特征图，为了能够根据选择权重聚合不同核大小的特征图，从而更好地捕获特定尺寸特征，使用选择性核卷积SKC技术对多尺度特征进行融合。具体的，首先对该特征图通过逐像素加和的方式进行融合获得新的特征图U，然后通过全局平均池化来嵌入全局信息，从而生成通道统计信息，再通过一个全连接层创建一个紧凑的特征z，z更够精确和自适应地选择特征。随后使用soft attention across channels的思想来自适应地选择不同空间尺度的信息，即图中的a、b、c。最终的特征图V由不同的注意力权重对相应的特征进行加权得到。此外，不同于传统的SE注意力，全局上下文注意力GCBlock可以在特征空间中隐式地学习丰富的细节特征，从而更加充分地利用全局上下文信息。因此，在自监督感知损失多尺度卷积神经网络中，全局上下文注意力GCBlock被封装为多尺度卷积注意块，然后巧妙地嵌入在多尺度卷积模块中。多尺度卷积注意块中的1×1卷积和多尺度卷积模块中的long-skip connection都是用来弥补一系列操作中丢失的信息。
图3是空间金字塔注意力结构。在自监督感知损失多尺度卷积神经网络中，为了弥补编码器中的浅层特征与解码器中的深层特征之间的语义差距，在编码器与解码器之间的快捷连接中加入一个多尺度空间金字塔注意力结构，该结构中用到的注意力为空间金字塔注意力。具体的，空间金字塔注意力聚合了四个不同尺度的特征上下文，即精细上下文，局部上下文，粗糙上下文以及全局上下文信息，从而更好地描述CT图像中不同尺度的结构信息。输出的四个尺度的特征上采样到输入特征图大小的两倍之后求和，然后使用两个逐点卷积层来探索获得的注意力图之间的通道关系，并进一步使用Sigmoid函数生成转换后的注意力权重，该注意力权重用来增强相应编码器的注意，以弥补跳跃连接带来的语义差距。
图4是多尺度空间金字塔注意力结构。具体的，解码器第j层的特征图dj经过空间金字塔注意力后得到一个注意力权重，该权重与第i个编码器层的特征图ei相乘，用来增强相应编码器的注意。由于ei包含该层中所有的上下文和空间信息，因此为了弥补在一系列操作中丢失的细节信息，在多尺度空间金字塔注意力结构中加入了跳跃连接。多尺度空间金字塔注意力结构的输出进一步传递给解码器进行连接。这样，经过有多尺度空间金字塔注意力结构的快捷连接之后，网络就能将高分辨率、语义弱的特征与低分辨率、语义强的特征合并，从而使生成的图像在所有尺度上都有很强的语义。
实施方式具体为：首先准备训练样本：采集不同患者的常规剂量CT投影数据，通过反投影重建得到常规剂量CT图像，然后对同一常规剂量CT投影数据添加噪声，通过反投影重建得到相应的低剂量CT图像；最后将每一对低剂量CT图像与常规剂量CT图像构成一个训练样本，表示为（x, y），其中，x为低剂量CT（LDCT）图像，y为常规剂量CT（NDCT）图像。为了减少计算量，在网络进行训练时，将图像裁剪为大小为96×96的patch作为输入，然后从每幅图像中随机挑选6个patch进行网络的训练。对于参数的设置，多尺度卷积模块中多尺度卷积注意块的个数m为2。对于σ的选取，从图5中可以看出，当σ的值为10时，SSIM值最高。因此，将σ的值取为10。当σ为10时，自监督多尺度感知损失模块中第j个感知损失的重要性参数αj取值如图6。从图6中可以看出，中间几层感知损失的重要性要高于前面几层和后面几层的感知损失的重要性，这样就可以尽可能多地保留图像中的纹理细节信息。
在训练阶段，首先，自监督多尺度感知损失模块使用常规剂量CT图像对（y, y）作为输入以实现端到端网络训练，迭代20个epoch，获得预训练好的自监督多尺度感知损失模块。其次，主去噪网络使用的是低剂量CT与常规剂量CT图像对（x, y）作为输入，在网络进行整体训练时，在主去噪网络中首先导入预先训练好的自监督多尺度感知损失模块，将去噪后的CT图像与常规剂量CT图像分别输入到自监督多尺度感知损失模块的两条路径中，计算自监督多尺度感知损失模块九个层输出的不同尺度的感知损失，以实现对主去噪网络的训练。主去噪网络重新迭代200个epoch，以获得训练好的自监督感知损失多尺度卷积神经网络。
最后，用训练好的自监督感知损失多尺度卷积神经网络实现低剂量CT图像去噪。将低剂量CT图像输入到训练好的基于自监督感知损失多尺度卷积神经网络中，从而获得去噪后的CT图像。
本发明能够捕获CT图像中不同尺度器官和结构之间的变化，在去除噪声的同时尽可能保留图像中的纹理细节信息。

Claims (8)

1.基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于，包括以下步骤：
步骤1：准备训练样本：采集不同患者的常规剂量CT投影数据，通过反投影重建得到常规剂量CT图像；对同一常规剂量CT投影数据添加噪声，通过反投影重建得到相应的低剂量CT图像；将每一对低剂量CT图像与常规剂量CT图像构成一个训练样本，表示为（x, y）。其中，x为低剂量CT（LDCT）图像，y为常规剂量CT（NDCT）图像；
步骤2：构建自监督感知损失多尺度卷积神经网络；
步骤3：训练自监督感知损失多尺度卷积神经网络；
步骤4：用训练好的自监督感知损失多尺度卷积神经网络实现低剂量CT图像的去噪。
2.根据权利要求1所述的基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于：步骤2构建自监督感知损失多尺度卷积神经网络，该网络包括主去噪网络和自监督多尺度感知损失模块两个部分，主去噪网络用于网络的整体去噪，而自监督多尺度感知损失模块是用来计算多尺度感知损失以优化主去噪网络，该模块是从网络内部多尺度特征的角度来监督微小纹理细节的恢复；与传统网络不同，自监督感知损失多尺度卷积神经网络在训练时并没有使用传统的去噪结果与ground truth之间的L1或L2损失，而是仅使用自监督多尺度感知损失来对网络进行优化；此外，主去噪网络和自监督多尺度感知损失模块具有相同的网络结构，都是由编码器、bottleneck、解码器和多尺度空间金字塔注意力结构组成的U-Net结构。
3.根据权利要求2所述的基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于：编码器、bottleneck和解码器都是由多尺度卷积模块组成的，多尺度卷积模块中使用的多尺度卷积有助于网络在不同尺度上整合从图像中学习到的特征，经过多尺度卷积后会得到三个尺度的特征图，为更好地捕获特定尺寸特征，使用选择性核卷积SKC技术对三个尺度的特征图进行融合；此外，在多尺度卷积模块中加入全局上下文注意力GCBlock，以在特征空间中学习丰富的细节特征。
4.根据权利要求2所述的基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于：为了弥补编码器中的浅层特征与解码器中的深层特征之间的语义差距，在编码器与解码器之间的快捷连接中加入一个多尺度空间金字塔注意力结构，该注意力结构生成的注意力权重用来增强相应编码器的注意，以弥补跳跃连接带来的语义差距。
5.根据权利要求2所述的基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于：为了尽可能多地保留CT图像中的细节信息，提出自监督多尺度感知损失模块来计算多尺度感知损失，该模块与主去噪网络有着相同的结构，但它包含两条路径；首先，自监督多尺度感知损失模块使用自监督的方式进行预训练，输入常规剂量CT图像对（y, y）以实现端到端网络训练；其次，在网络整体训练时，将去噪后的CT图像与常规剂量CT图像分别输入到自监督多尺度感知损失模块的两条路径中，通过中间层特征计算多尺度感知损失，以实现主去噪网络的训练；与传统网络不同，在自监督感知损失多尺度卷积神经网络中，并没有使用传统的去噪结果与ground truth之间的L1或L2损失，而是仅使用自监督多尺度感知损失作为网络训练过程中使用的损失函数；具体的，将预训练好的自监督多尺度感知损失模块称为f(·|Ф)，用LP表示第j个隐含层的感知损失，j∈{1,2,…8,9}。y表示NDCT，y’表示通过主去噪网络得到的去噪图像。因此，网络整体的损失函数用公式表示如下：
其中，αj是控制自监督多尺度感知损失模块中第j个感知损失的重要性参数，它可以实现在对低剂量CT图像去噪的同时尽可能保留更多的纹理细节信息；进一步地，本发明提出一种可以自动调整αj的新方法。
6.根据权利要求5所述的基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于：自监督多尺度感知损失模块的不同层中不同尺度的感知损失代表的含义各不相同，网络的前几层表示图像的细节结构信息，最后几层表示对图像的整体成像，中间几层表示图像的主要特征，如果要保持图像中的细节，前面几层感知损失和后面几层感知损失要相对重要一些；为此，我们引入参数αj(j∈{1~9}）来控制九个不同尺度感知损失的重要性等级；并且，针对参数αj，我们提出了一种基于高斯函数的参数自动设置方法，其公式如下：
其中，参数σ用于调整各尺度感知损失权重的差异性。
7.根据权利要求1所述的基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于：步骤3训练自监督感知损失多尺度卷积神经网络，首先，使用常规剂量CT图像对（y, y）来对自监督多尺度感知损失模块进行预训练，迭代20个epoch；然后在网络整体训练时，导入预先训练好的自监督多尺度感知损失模块，将去噪后的CT图像与常规剂量CT图像分别输入到自监督多尺度感知损失模块的两条路径中，从中间层计算九个不同尺度的感知损失，以实现对主去噪网络的训练；主去噪网络重新迭代200个epoch，以获得训练好的自监督感知损失多尺度卷积神经网络。
8.根据权利要求1所述的基于自监督感知损失多尺度卷积神经网络的低剂量CT图像去噪方法，其特征在于：步骤4用训练好的自监督感知损失多尺度卷积神经网络实现低剂量CT图像去噪，首先获取真实的低剂量CT图像，然后将其输入到训练好的自监督感知损失多尺度卷积神经网络中，从而获得去噪后的CT图像。
CN202310523498.9A 2023-05-10 2023-05-10 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 Pending CN116645283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310523498.9A CN116645283A (zh) 2023-05-10 2023-05-10 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310523498.9A CN116645283A (zh) 2023-05-10 2023-05-10 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法

Publications (1)

Publication Number Publication Date
CN116645283A true CN116645283A (zh) 2023-08-25

Family

ID=87614471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310523498.9A Pending CN116645283A (zh) 2023-05-10 2023-05-10 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法

Country Status (1)

Country Link
CN (1) CN116645283A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876692A (zh) * 2024-03-11 2024-04-12 中国石油大学(华东) 一种特征加权连接引导的单图遥感图像去噪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876692A (zh) * 2024-03-11 2024-04-12 中国石油大学(华东) 一种特征加权连接引导的单图遥感图像去噪方法
CN117876692B (zh) * 2024-03-11 2024-05-17 中国石油大学(华东) 一种特征加权连接引导的单图遥感图像去噪方法

Similar Documents

Publication Publication Date Title
US11308587B2 (en) Learning method of generative adversarial network with multiple generators for image denoising
CN110443867B (zh) 基于生成对抗网络的ct图像超分辨率重构方法
CN111047524A (zh) 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法
CN112258415B (zh) 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
CN112837244B (zh) 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
WO2022121100A1 (zh) 一种基于darts网络的多模态医学图像融合方法
CN112435164B (zh) 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN111861910A (zh) 一种ct图像降噪系统及方法
Gajera et al. CT-scan denoising using a charbonnier loss generative adversarial network
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
Jiang et al. CT image super resolution based on improved SRGAN
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Panda et al. A 3D wide residual network with perceptual loss for brain MRI image denoising
CN110101401B (zh) 一种肝脏对比剂数字减影造影方法
CN113436128B (zh) 一种双鉴别器多模态mr图像融合方法、系统及终端
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
CN116563554A (zh) 基于混合表征学习的低剂量ct图像去噪方法
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN112750097B (zh) 基于多cnn组合和模糊神经网络的多模态医学图像融合
CN114926383A (zh) 基于细节增强分解模型的医学图像融合方法
CN112614112A (zh) Mcsli图像中条纹损伤的分割方法
CN116957968B (zh) 一种消化道内窥镜图像增强方法、系统、设备及介质
Zhao et al. A Dual-Channel Network Based GAN for Low-Dose CT Image Denoising
CN116934721A (zh) 一种基于多尺度特征提取的肾脏肿瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination