CN116385317A - 基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法 - Google Patents

基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法 Download PDF

Info

Publication number
CN116385317A
CN116385317A CN202310643683.1A CN202310643683A CN116385317A CN 116385317 A CN116385317 A CN 116385317A CN 202310643683 A CN202310643683 A CN 202310643683A CN 116385317 A CN116385317 A CN 116385317A
Authority
CN
China
Prior art keywords
image
dose
output
low
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310643683.1A
Other languages
English (en)
Other versions
CN116385317B (zh
Inventor
张男男
周峰
郭志涛
李晓增
杨济恺
袁萍修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202310643683.1A priority Critical patent/CN116385317B/zh
Publication of CN116385317A publication Critical patent/CN116385317A/zh
Application granted granted Critical
Publication of CN116385317B publication Critical patent/CN116385317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，包括对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络，用于低剂量CT图像的恢复；利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。本发明有效地实现了低剂量CT图像的去噪。

Description

基于自适应卷积与Transformer混合结构的低剂量CT图像恢 复方法
技术领域
本发明属于医疗图像处理领域，具体是一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法。
背景技术
计算机断层扫描（Computed Tomography，CT）技术能够无侵入的对人体特定部位进行快速精准扫描而被广泛应用于医疗诊断、图像引导手术和放射治疗。如今，低剂量已经逐渐成为CT设备研发的一项重要参考指标，然而辐射剂量的降低常常会产生大量噪声，导致CT成像质量的严重下降，内部组织结构难以判别。
对于如何提高低剂量CT（Low-dose CT，LDCT）图像质量的问题，现有的方法主要有：投影域滤波算法、迭代重建算法和后处理方法，现有研究大多集中在图像后处理方法。近年来，随着神经网络和深度学习在图像处理领域的快速发展，卷积神经网络被应用于低剂量CT的后处理中。采用深度卷积神经网络结构，将低剂量CT图像映射到相应的正常剂量CT（Normal-Dose CT，NDCT）图像，与传统方法相比，在视觉效果与评价指标上都显示出了比传统算法更好的结果。因此基于深度学习的低剂量CT图像恢复算法研究被越来越多地应用于CT图像恢复任务中。
一方面，现阶段研究方法大多基于CNN卷积神经网络，例如文献《A Low-Dose CTImage Denoising Method Combining Multistage Network and Edge Protection》中将边缘保护与多阶段网络相结合构建了一种新型的多阶段网络用于低剂量CT图像恢复。但这一类方法侧重于网络结构的精细化设计，虽然与传统方法相比较，去噪效果以及性能有了明显的提高，但基本的卷积层也有其局限性：首先，卷积操作过于关注局部特征，对于捕获长程相关性是不够有效的；其次，对于图像的不同部位，使用相同的卷积核来恢复图像可能会损失CT图像的细节，导致恢复图像效果不理想。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法。
本发明解决所述技术问题的技术方案是，提供一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，该恢复方法包括以下步骤：
步骤1、对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；
步骤2、建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络，用于低剂量CT图像的恢复；
所述恢复网络包括由前至后的一个图像特征提取模块、N个编码Transformer模块、N个解码Transformer模块和一个图像重建模块；每个编码Transformer模块和解码Transformer模块均由两层串联的Transformer layer组成；
每层Transformer layer均包括由前至后的一个W-MSA运算或SW-MSA运算以及一个NFE模块；NFE模块包括由前至后的全连接层、深度卷积层、线性变换层和逐像素卷积层；
相邻两层Transformer layer中分别使用W-MSA运算和SW-MSA运算；W-MSA运算采用将特征图均等划分窗口的窗口划分方式，并在窗口内部进行注意力运算；SW-MSA运算采用将特征图沿中心点方向移动1/2个窗口单位，再与固定的窗口重叠的窗口划分方式，并在窗口内部进行注意力运算；
步骤3、利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。
与现有技术相比，本发明的有益效果在于：
（1）本发明将CNN、Transformer的混合编解码结构与W-MSA/SW-MSA机制相结合，构建了一种CNN-Transformer的混合网络用于图像恢复，有效地利用CNN和Transformer在提取特征方面的各自优势，将卷积提取的局部特征引入到Transformer中并与Transformer提取的深层特征连接，确保Transformer模块关注全局信息，以全分辨率处理输入图像的特征，避免上下采样可能会造成的信息损失，有效地实现了高分辨率低剂量CT图像的去噪。
（2）本发明在相邻两层Transfomer layer中交替使用两种不同窗口划分方式，并分别采用W-MSA与SW-MSA运算，将W-MSA和SW-MSA运算结合，得到了W-MSA/SW-MSA机制，并通过划分非重叠窗口的方式来计算MSA，避免计算量与输入低剂量CT图像的高度宽度成二次关系，同时有效地获得图像的整个窗口之间的信息交互，避免静止窗口可能导致的信息浪费，大大降低了计算量。
（3）本发明使用基于多维度卷积的NFE模块。采用深度卷积与逐像素卷积相结合的方式，使用通道方向的深度卷积来提供局部上下文信息的通道级像素聚合，将局部信息作为补充引入到Transformer layer的全局操作层面中，并在引入MSA全局权值后使用像素级卷积来对输出特征提供跨通道的像素级的信息聚合，分别提取通道级与像素级的特征，在深度方向和空间维度上细化卷积，建立像素空间和通道位置之间的信息交互，增强局部信息在Transformer结构中的表达，避免MLP可能会带来的信息损失，提升恢复图像的细粒度。
（4）本发明使用了MSE loss和Edge loss组合而成的复合损失函数，约束神经网络在兼顾于去噪性能的同时关注于低剂量CT图像中的边缘细节，从而达到一定的保护边缘的效果，避免单一的MSE损失函数会造成图像过于平滑的问题。
（5）本发明对恢复网络进行了验证和评估，并进行了消融实验。结果显示该网络能够有效的对低剂量CT图像进行去噪，并能够较清晰的保留图像中各组织结构的细节信息。
附图说明
图1为本发明的方法整体流程图；
图2为本发明的恢复网络的结构示意图；
图3为本发明的W-MSA/SW-MSA过程示意图；
图4为本发明的NFE模块的结构示意图；
图5为本发明的应用例2中采用不同恢复方法得到的同一个CT影像切片可视化结果图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本发明权利要求的保护范围。
本发明提供了一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法（简称恢复方法），该恢复方法包括以下步骤：
步骤1、对数据集中的图像数据进行预处理，然后将预处理后的数据集按照比例随机划分为训练集、验证集和测试集；
优选地，步骤1中，所述数据集采用AAPM（美国医学物理学家协会）数据集；AAPM数据集采用2016年NIH AAPM梅奥诊所低剂量CT公开数据集。
优选地，步骤1中的预处理的具体步骤如下：
S11、加载AAPM数据集中的所有图像数据对，再从dicom格式的图像数据对中提取出各自对应的HU像素值；HU表示亨氏单位；
所述图像数据对由低剂量CT图像X∈
Figure SMS_1
和与之对应的正常剂量CT图像Y∈/>
Figure SMS_2
构成；正常剂量CT图像作为标签；H、W、Cin分别为宽度、高度和输入通道数；
S12、将图像数据对中的图像中超出圆柱形边界的HU像素值设置为0，对应于空气的HU像素值，得到图像中剩余人体组织的HU像素值；
S13、将剩余人体组织的HU像素值进行图像单位线性校准，获取校准后的实际图像数据值；
S14、将校准后的实际图像数据值截取至观察脏器所需的窗位，小于下限的数据值赋值为下限，大于上限的数据值赋值为上限；然后再以-1024~2048的数据值对截取后的实际图像数据值进行归一化，再将归一化后的图像数据对以数组格式进行存储（优选以.npy格式存储），得到预处理后的数据集。
本实施例中，针对腹部窗位进行观察，将校准后的实际图像数据值截取至-160~240，小于-160的数据值赋值为-160，大于240的数据值赋值为240。
优选地，步骤1中，训练集、验证集和测试集的图像数据的比例为8:1:1。
步骤2、建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络（简称恢复网络，如图2所示），用于低剂量CT图像X的恢复；
所述恢复网络包括由前至后的一个图像特征提取模块、N个编码Transformer模块、N个解码Transformer模块和一个图像重建模块；每个编码Transformer模块和解码Transformer模块均由两层串联的Transformer layer组成；
每层Transformer layer均包括由前至后的一个W-MSA运算或SW-MSA运算以及一个NFE（Neighborhood Feature Enhancement，邻域特征增强）模块；NFE模块包括由前至后的全连接层、深度卷积层、线性变换层和逐像素卷积层；
在相邻两层Transformer layer中分别使用W-MSA（Window-Multi head selfattention，窗口-多头自注意力）运算和SW-MSA（Shifted Window-Multi head selfattention，移位窗口-多头自注意力）运算来实现W-MSA/SW-MSA（Window/Shifted Window-Multi head self attention，窗口/移位窗口-多头自注意力）机制；W/SW-MSA的整体运算过程中，以Fj和Fj-1表示该层的输入特征以及上一层的特征，首先通过图2中C（即拼接操作）来将两组特征进行整合，然后再通过特征映射获得分别为Q、K、V的投影矩阵，在进行多头注意力运算。W-MSA运算采用将特征图均等划分窗口的窗口划分方式（如图3中的（a）所示），并在窗口内部进行注意力运算；SW-MSA运算采用将特征图沿中心点方向移动1/2个窗口单位，再与固定的窗口重叠的窗口划分方式（如图3中的（b）所示），并在窗口内部进行注意力运算；由图3中的（a）到图3中的（b）的过程由掩模注意力机制实现。
优选地，步骤2中，低剂量CT图像X的恢复过程，即由低剂量CT图像X恢复到正常剂量CT图像Y的过程是
Figure SMS_3
的逆映射，图像恢复的目标是寻找将低剂量CT图像X映射到正常剂量CT图像Y的函数F，使得代价函数/>
Figure SMS_4
最小化；其中，/>
Figure SMS_5
表示去噪过程；F为/>
Figure SMS_6
的最佳近似值，该恢复过程由恢复网络实现。
优选地，步骤2中，相邻两层（即第j层和第j+1层）Transformer layer的运算过程（即W-MSA/SW-MSA机制）如式（1）所示：
Figure SMS_7
（1）
式（1）中，
Figure SMS_9
、/>
Figure SMS_13
、/>
Figure SMS_15
分别表示窗口注意力机制过程、位移窗口注意力机制过程与NFE过程；XF表示多维通道特征；/>
Figure SMS_10
表示第j层Transformer layer的输入特征；H、W分别为宽度、高度，R为特征空间的维度；M表示窗口的大小；/>
Figure SMS_12
表示第j层经过W-MSA运算的输出特征；/>
Figure SMS_14
为第j层的注意力权值；/>
Figure SMS_17
表示第j层Transformerlayer的输出；/>
Figure SMS_8
表示第j+1层经过SW-MSA运算的输出特征；/>
Figure SMS_11
为第j+1层的注意力权值；/>
Figure SMS_16
表示第j+1层Transformer layer的输出；k为W-MSA运算和SW-MSA运算的注意力头的数量；每个注意力头对应的维度为dk=C/k，其中C为隐藏通道数，/>
Figure SMS_18
分别表示第k个头的query、key和value的投影矩阵。
优选地，步骤2中，NFE模块的具体计算过程是：形状为HW×Cin的输入特征
Figure SMS_19
或/>
Figure SMS_20
首先通过全连接层，将输入通道Cin（即InPut dim，输入通道维度）映射到隐藏通道C（即OutPut dim，输出通道维度）中；再通过激活函数层（Act_layer）和重整形（Reshap）将形状为HW×C的展平特征扩展成形状为/>
Figure SMS_21
的特征图，其中h’=sqrt（HW），H、W分别为宽度、高度，R为特征空间的维度；再使用3×3深度卷积（Depth Conv）来捕获局部信息，依据隐藏通道C进行通道深度方向的卷积，获得局部特征，进而在提取图像通道深度的相关性的同时依据通道分组来减少参数量；再通过线性变换层、激活函数层以及重整形恢复整形到展平特征，将特征维度恢复成m∈RHW×C；再将经过W-MSA运算或SW-MSA运算后的注意力权值/>
Figure SMS_22
与展平特征进行残差连接；再对残差连接的结果使用逐像素卷积（Pixel Conv）来获得同时具有全局高维信息与局部低秩信息的输出。
优选地，步骤2中，图像特征提取模块由至少三个（本实施例为3个）卷积层构成；每个卷积层的卷积核大小为3×3、步长为1。
优选地，步骤2中，图像重建模块由至少三个（本实施例为3个）反卷积层构成，反卷积层的数量与图像特征提取模块的卷积层数量相同；每个反卷积层的卷积核大小为3×3、步长为1。
优选地，步骤2中，基于恢复网络，低剂量CT图像的恢复过程是：低剂量CT图像X首先通过图像特征提取模块处理成多维通道特征XF；再通过编码Transformer模块进行编码处理，然后通过解码Transformer模块进行解码处理，以此构建一个用于图像恢复的编解码形式的网络结构；然后将多维通道特征XF与解码Transformer模块的输出采用残差学习方式进行连接，将叠加过残差特征的结果作为解码Transformer模块的最终输出XDO，再经过图像重建模块逐步将最终输出XDO从特征域映射到图像域，得到恢复后的图像。
优选地，步骤2中，基于恢复网络，低剂量CT图像的具体恢复过程为：
S1、大小为H×W×Cin的低剂量CT图像X，经过图像特征提取模块后生成大小为H×W×C的多维通道特征XF∈RH×W×C；整个过程如式（2）所示：
Figure SMS_23
（2）
式（2）中，Xs表示图像特征提取模块生成的残差特征，FFE(·)表示特征提取过程；图像特征提取模块中的卷积层能够将输入图像映射到高维空间中；
S2、将多维通道特征XF经过第一编码Transformer模块，生成第一编码输出特征X1和第一残差输出Xs1，第一编码输出特征X1的张量尺寸为H×W×2C，通道数由多维通道特征XF的C变为2C；然后第一编码输出特征X1经过第二编码Transformer模块，生成第二编码输出特征X2和第二残差输出Xs2，第二编码输出特征X2的张量尺寸为H×W×4C，通道数由2C变为4C；以此类推，经过第N编码Transformer模块，生成第N编码输出特征XN和第N残差输出XsN，第N编码输出特征XN的张量尺寸为H×W×2NC，通道数由2N-1C变为2NC；整个过程如式（3）所示：
Figure SMS_24
（3）
式（3）中，TECTB（·）表示编码Transformer模块；Xi表示第i编码输出特征，Xsi表示第i残差输出，其中i=1,2,3,...,N；当i取N时，得到
Figure SMS_25
，其中XEC表示输出深度编码特征（即第N编码输出特征XN），XsN表示第N残差输出；Transformerlayer中的NFE模块包含卷积操作，能够将卷积运算的归纳偏置引入到编码Transformer模块中，为后续的多维通道特征XF以及经过编码Transformer模块的深层特征融合做准备；
S3、将张量尺寸为H×W×2NC的第N编码输出特征XN作为输入，输入到N组对称的解码Transformer模块中；首先第N编码输出特征XN经过第一解码Transformer模块，得到第一组解码输出，图像尺寸变为H×W×2N-1C，然后第一组解码输出与第N残差输出XsN进行残差连接得到第一解码输出特征作为第二解码Transformer模块的输入，输出通道数为2N-1C；以此类推，在经过N-1组对称的解码操作后，得到第N-1组解码输出，输出通道数为2C，图像尺寸变为H×W×2C，然后第N-1组解码输出与第一残差输出Xs1进行残差连接，得到第N-1解码输出特征，通道数仍为2C；最后，第N-1解码输出特征通过第N个解码Transformer模块，并与图像特征提取模块生成的残差特征Xs进行残差连接，得到尺寸为H×W×C的第N解码输出特征XDO∈RH×W×C；整个过程如式（4）所示：
Figure SMS_26
（4）
式（4）中，TDETB（·）表示解码Transformer模块；
S4、将第N解码输出特征XDO经过图像重建模块处理后，得到预测的恢复图像XPredict∈
Figure SMS_27
即恢复后的图像；整个过程如式（5）所示：
Figure SMS_28
（5）
式（5）中，FIRB（·）为图像重建模块。
优选地，步骤2中，由卷积初步提取的特征主要包含局部特征，而由编码Transformer模块和解码Transformer所提取的深层特征则关注于恢复低剂量CT图像的全局特征，因此通过残差连接，恢复网络可以将局部信息直接传输到编解码模块，这有助于编码Transformr模块和解码Transformer模块关注全局信息并稳定训练。
步骤3、利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。
优选地，步骤3的具体步骤如下：
S3.1、采用训练集和验证集对恢复网络进行训练，对不同的训练阶段设置不同的学习率。在本实施例中，设置前1/3 epoch的学习率为0.01，1/3到2/3 epoch的学习率为0.001，剩余epoch的学习率为0.0001，动量设置为0.9，权重衰减为0.0001，网络模型保存策略为保存最优模型；
S3.2、传入网络模型参数，包括所用恢复网络、网络模型保存地址、周期迭代次数以及合适的batch_size（batch_size与计算机性能相关）；本实施例中，周期迭代次数为200，batch_size为3；
S3.3、将平滑损失与边缘损失形式上相加，得到复合损失函数；再计算复合损失函数的总损失来约束网络的训练；再对总损失采用反向传播法，在迭代至周期迭代次数后，得到训练好的恢复网络；
其中，平滑损失使用MSE Loss函数（均方误差损失函数），边缘损失使用Edge Loss函数（边缘损失函数）；
S3.4、将测试集输入到训练好的恢复网络中，得到恢复后的图像。
优选地，步骤3中，复合损失函数LCompound如式（6）所示：
Figure SMS_29
（6）
式（6）中，LMSE表示MSE Loss函数，
Figure SMS_30
；λ表示权重参数；Ledge表示Edge Loss函数，/>
Figure SMS_31
；/>
Figure SMS_32
为拉普拉斯算子；Xg表示第g张输入的低剂量CT图像；Yg表示第g张与输入的低剂量CT图像相对应的正常剂量CT图像；对于所有实验，经验设置常数ε=10-3。
实施例1：步骤1中，采用由Mayo Clinics授权的“2016 NIH-AAPM-Mayo Clinic低剂量CT大挑战”的临床数据集；数据集由投影数据和切片厚度分别为1mm和3mm重建图像组成；使用3mm厚的重建图像，其中包含来自10位匿名患者的2378张正常剂量CT图像及其对应的低剂量（四分之一剂量）CT图像，每张图像的大小为512×512像素。实验中，选取来自9名患者的2167对图像作为训练集，另外一名患者的211对图像作为测试集。
步骤2中，所述恢复网络依次包括一个图像特征提取模块、第一编码Transformer模块、第二编码Transformer模块、第三编码Transformer模块、第一解码Transformer模块、第二解码Transformer模块、第三解码Transformer模块和一个图像重建模块；
本实施例中，输入尺寸为H×W×1的数据进入恢复网络，首先经过图像特征提取模块，图像特征提取模块包含三层3×3、步长为1的卷积层，获得大小为H×W×C的多维通道特征XF，再通过编码Transformer模块进行编码处理，然后通过解码Transformer模块进行解码处理，得到尺寸为H×W×C的第三解码输出特征；第三解码输出特征经过图像重建模块，图像重建模块包含三层3×3、步长为1的反卷积层，得到形状为H×W×1的预测的恢复图像即恢复后的图像。具体恢复过程为：
S1、恢复网络输入H×W×1的低剂量CT图像X，里面包含作为标签的图像对，经过图像特征提取模块采用三个3×3、步长为1的卷积层来生成多维通道特征XF，通道数变为C；
S2、多维通道特征XF经过第一编码Transformer模块，生成第一编码输出特征X1和第一残差输出Xs1，第一编码输出特征X1的张量尺寸为H×W×2C，通道数由多维通道特征XF的C变为2C；然后第一编码输出特征X1经过第二编码Transformer模块，生成第二编码输出特征X2和第二残差输出Xs2，第二编码输出特征X2的张量尺寸为H×W×4C，通道数由2C变为4C；然后第二编码输出特征X2经过第三编码Transformer模块，生成第三编码输出特征X3和第三残差输出Xs3，第三编码输出特征X3的张量尺寸为H×W×8C，通道数由4C变为8C；
S3、将第三编码输出特征X3作为输入，输入到第一解码Transformer模块中，图片尺寸变为H×W×4C，输出通道数对称回归，与第三残差输出Xs3进行残差连接得到第一解码输出特征，通道数为4C；再将第一解码输出特征经过第二解码Transformer模块，图像尺寸恢复到H×W×2C，输出通道数为2C，与第二残差输出Xs2进行残差连接，通道数仍为2C，得到第二解码输出特征；最后第二解码输出特征通过第三解码Transformer模块，并与第一残差输出Xs1进行残差连接，得到第三解码输出特征，尺寸为H×W×C；
S4、将第三解码输出特征经过图像重建模块处理后，通道数回归为1，得到网络的预测输出。
应用例1：标准的Transformer结构及其对图像分类的适应都要进行全局自注意力计算，计算输入图像该位置像素与所有其他位置像素之间的关系。传统的全局MSA模块计算复杂度可如公式（7）所示：
Figure SMS_33
（7）
通过式（7）可以看出，全局MSA机制的计算量与输入特征图的H和W的乘积成二次关系。
本发明的W-MSA和SW-MSA均在预设的窗口内部进行计算，窗口被设置成以不重叠的方式均匀地分割图像。窗口数量N=HW/M2，则W-MSA和SW-MSA的计算量为：
Figure SMS_34
（8）
通过式（8）可以看出，本发明有效地将二次关系转移到了窗口大小M上，其计算量要小于HW二次平方乘积关系的计算量。
应用例2：为了验证本发明恢复方法的有效性，下面将本发明恢复方法中设计的恢复网络（简称Proposed）与现有的具有代表性的低剂量CT图像恢复网络，包括RED-CNN网络、基于对抗生成网络（WGAN）、EDCNN、MPRNet（简称MPR）、Uformer做对比，在相同的条件下，采用相同的数据集，分别进行训练、验证与测试。
为了评估所提出算法的有效性，使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性（Structural SIMilarity，SSIM）和均方根误差（Root Mean SquareError，RMSE）作为低剂量CT图像去噪效果的评价指标来进行图像质量评估。其中，PSNR能够评估恢复后图像中被保留的有效信息与背景噪声间的比值，通常用于衡量算法的整体去噪性能；SSIM则可以权衡恢复后图像与标签图像间的结构差异，通常用于表征图像间的空间结构的相似程度。PSNR、SSIM数值越高，表明图像还原度越高，同样的，RMSE也采用更为直接的HuRmse来作为衡量指标，直接采用两个CT图像对应的HU像素值来判断低剂量CT图像与正常剂量CT图像的相似程度，该指标数值越低代表被衡量的两张图像之间越为接近。
表1基于AAPM数据集图像恢复模型的性能对比
PSNR SSIM HURMSE
LDCT 21.6048±1.9739 0.8017±0.0453 34.1898±8.7348
REDCNN 25.9639±1.6373 0.8243±0.0437 20.5948±4.5076
WGAN 24.9213±2.0376 0.8021±0.0567 22.4559±5.2379
EDCNN 25.8862±1.4931 0.8393±0.0388 20.8739±4.5729
MPR 26.2294±1.2601 0.8120±0.0390 19.9183±3.6081
Uformer 27.2664±1.8908 0.8441±0.0409 17.7754±4.3471
Proposed 27.2942±1.8959 0.8457±0.0405 17.7213±4.3480
从表1可以看出，本发明的恢复方法，与当前具有代表性的算法相比，PSNR得到了显著提升。本发明恢复方法相比于所选用的对比方法，在保护影像中器官的边缘结构上取得了良好的效果，这一效果反映在SSIM空间结构相似性上相较于现有最优MPR恢复方法提高了大约3%。在逐像素衡量图片相似性的指标HURMSE上，本发明的恢复方法获得了最近的像素之间的距离。在疾病诊断技术领域，微小的准确率提升，可能就能使病人得到及时准确的诊断与治疗，避免误诊或漏诊所带来的危及生命的严重后果，因此，即使1%的准确率提升，也是具有重大实际应用价值。
同时由图5可以观察到，带有大量量子噪声的LDCT图像的边缘细节过于模糊，并且一些尖锐的边缘细节丢失。同时，本发明提出的方法在直观的噪声对比度上具有更好的视觉效果，并且比其他方法更接近NDCT图像，可以实现图像边缘的保护，具有更清晰的边缘细节，与周围背景的对比更明显。
本发明未述及之处适用于现有技术。

Claims (10)

1.一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，该恢复方法包括以下步骤：
步骤1、对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；
步骤2、建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络，用于低剂量CT图像的恢复；
所述恢复网络包括由前至后的一个图像特征提取模块、N个编码Transformer模块、N个解码Transformer模块和一个图像重建模块；每个编码Transformer模块和解码Transformer模块均由两层串联的Transformer layer组成；
每层Transformer layer均包括由前至后的一个W-MSA运算或SW-MSA运算以及一个NFE模块；NFE模块包括由前至后的全连接层、深度卷积层、线性变换层和逐像素卷积层；
相邻两层Transformer layer中分别使用W-MSA运算和SW-MSA运算；W-MSA运算采用将特征图均等划分窗口的窗口划分方式，并在窗口内部进行注意力运算；SW-MSA运算采用将特征图沿中心点方向移动1/2个窗口单位，再与固定的窗口重叠的窗口划分方式，并在窗口内部进行注意力运算；
步骤3、利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。
2.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤1中的预处理的具体步骤如下：
S11、加载数据集中的所有图像数据对，再从图像数据对中提取出各自对应的HU像素值；
所述图像数据对由低剂量CT图像X和与之对应的正常剂量CT图像Y构成；正常剂量CT图像作为标签；
S12、将图像数据对中的图像中超出圆柱形边界的HU像素值设置为0，对应于空气的HU像素值，得到图像中剩余人体组织的HU像素值；
S13、将剩余人体组织的HU像素值进行图像单位线性校准，获取校准后的实际图像数据值；
S14、将校准后的实际图像数据值截取至观察脏器所需的窗位，小于下限的数据值赋值为下限，大于上限的数据值赋值为上限；然后再对截取后的实际图像数据值进行归一化，再将归一化后的图像数据对进行存储，得到预处理后的数据集。
3.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，低剂量CT图像
Figure QLYQS_1
的恢复过程是/>
Figure QLYQS_2
的逆映射，图像恢复的目标是寻找将低剂量CT图像X映射到正常剂量CT图像Y的函数F，使得代价函数/>
Figure QLYQS_3
最小化；其中，/>
Figure QLYQS_4
表示去噪过程；F为/>
Figure QLYQS_5
的最佳近似值，该恢复过程由恢复网络实现。
4.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，相邻两层Transformer layer的运算过程如式（1）所示：
Figure QLYQS_6
（1）
式（1）中，
Figure QLYQS_8
、/>
Figure QLYQS_12
、/>
Figure QLYQS_13
分别表示窗口注意力机制过程、位移窗口注意力机制过程与NFE过程；XF表示多维通道特征；/>
Figure QLYQS_9
表示第j层Transformer layer的输入特征；H、W分别为宽度、高度；M表示窗口的大小；/>
Figure QLYQS_11
表示第j层经过W-MSA运算的输出特征；/>
Figure QLYQS_15
为第j层的注意力权值；/>
Figure QLYQS_17
表示第j层Transformer layer的输出；/>
Figure QLYQS_7
表示第j+1层经过SW-MSA运算的输出特征；/>
Figure QLYQS_10
为第j+1层的注意力权值；/>
Figure QLYQS_14
表示第j+1层Transformer layer的输出；k为W-MSA运算和SW-MSA运算的注意力头的数量；每个注意力头对应的维度为dk=C/k，其中C为隐藏通道数，/>
Figure QLYQS_16
分别表示第k个头的query、key和value的投影矩阵。
5.根据权利要求4所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，NFE模块的具体计算过程是：形状为HW×Cin的输入特征
Figure QLYQS_18
或/>
Figure QLYQS_19
首先通过全连接层，将输入通道Cin映射到隐藏通道C中；再通过激活函数层和重整形将形状为HW×C的展平特征扩展成形状为/>
Figure QLYQS_20
的特征图，其中h’=sqrt（HW），H、W分别为宽度、高度，R为特征空间的维度；再依据隐藏通道C进行通道深度方向的卷积，获得局部特征；再通过线性变换层、激活函数层以及重整形恢复整形到展平特征，将特征维度恢复成m∈RHW×C；再将经过W-MSA运算或SW-MSA运算后的注意力权值/>
Figure QLYQS_21
与展平特征进行残差连接；再对残差连接的结果使用逐像素卷积来获得同时具有全局高维信息与局部低秩信息的输出。
6.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，图像特征提取模块由至少三个卷积层构成；每个卷积层的卷积核大小为3×3、步长为1；
图像重建模块由至少三个反卷积层构成，反卷积层的数量与图像特征提取模块的卷积层数量相同；每个反卷积层的卷积核大小为3×3、步长为1。
7.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，低剂量CT图像的恢复过程是：低剂量CT图像X首先通过图像特征提取模块处理成多维通道特征XF；再通过编码Transformer模块进行编码处理，然后通过解码Transformer模块进行解码处理；然后将多维通道特征XF与解码Transformer模块的输出采用残差学习方式进行连接，将叠加过残差特征的结果作为解码Transformer模块的最终输出XDO，再经过图像重建模块将最终输出XDO从特征域映射到图像域，得到恢复后的图像。
8.根据权利要求1或7所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，低剂量CT图像的具体恢复过程为：
S1、大小为H×W×Cin的低剂量CT图像X，H、W和Cin分别为宽度、高度和输入通道数，经过图像特征提取模块后生成大小为H×W×C的多维通道特征XF∈RH×W×C，R为特征空间的维度，C为隐藏通道数；整个过程如式（2）所示：
Figure QLYQS_22
（2）
式（2）中，Xs表示图像特征提取模块生成的残差特征，FFE(·)表示特征提取过程；图像特征提取模块中的卷积层能够将输入图像映射到高维空间中；
S2、将多维通道特征XF经过第一编码Transformer模块，生成第一编码输出特征X1和第一残差输出Xs1，第一编码输出特征X1的张量尺寸为H×W×2C，通道数由多维通道特征XF的C变为2C；然后第一编码输出特征X1经过第二编码Transformer模块，生成第二编码输出特征X2和第二残差输出Xs2，第二编码输出特征X2的张量尺寸为H×W×4C，通道数由2C变为4C；以此类推，经过第N编码Transformer模块，生成第N编码输出特征XN和第N残差输出XsN，第N编码输出特征XN的张量尺寸为H×W×2NC，通道数由2N-1C变为2NC；整个过程如式（3）所示：
Figure QLYQS_23
（3）
式（3）中，TECTB（·）表示编码Transformer模块；Xi表示第i编码输出特征，Xsi表示第i残差输出，其中i=1,2,3,...,N；当i取N时，得到
Figure QLYQS_24
，其中XEC表示输出深度编码特征，XsN表示第N残差输出；
S3、将张量尺寸为H×W×2NC的第N编码输出特征XN作为输入，输入到N组对称的解码Transformer模块中；首先第N编码输出特征XN经过第一解码Transformer模块，得到第一组解码输出，图像尺寸变为H×W×2N-1C，然后第一组解码输出与第N残差输出XsN进行残差连接得到第一解码输出特征作为第二解码Transformer模块的输入，输出通道数为2N-1C；以此类推，在经过N-1组对称的解码操作后，得到第N-1组解码输出，输出通道数为2C，图像尺寸变为H×W×2C，然后第N-1组解码输出与第一残差输出Xs1进行残差连接，得到第N-1解码输出特征，通道数仍为2C；最后，第N-1解码输出特征通过第N个解码Transformer模块，并与图像特征提取模块生成的残差特征Xs进行残差连接，得到尺寸为H×W×C的第N解码输出特征XDO∈RH×W×C；整个过程如式（4）所示：
Figure QLYQS_25
（4）
式（4）中，TDETB（·）表示解码Transformer模块；
S4、将第N解码输出特征XDO经过图像重建模块处理后，得到预测的恢复图像XPredict∈
Figure QLYQS_26
；整个过程如式（5）所示：
Figure QLYQS_27
（5）
式（5）中，FIRB（·）为图像重建模块。
9.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤3的具体步骤如下：
S3.1、采用训练集和验证集对恢复网络进行训练，对不同的训练阶段设置不同的学习率；
S3.2、传入网络模型参数，包括所用恢复网络、网络模型保存地址、周期迭代次数以及batch_size；
S3.3、将平滑损失与边缘损失形式上相加，得到复合损失函数；再计算复合损失函数的总损失来约束网络的训练；再对总损失采用反向传播法，在迭代至周期迭代次数后，得到训练好的恢复网络；
其中，平滑损失使用MSE Loss函数，边缘损失使用Edge Loss函数；
S3.4、将测试集输入到训练好的恢复网络中，得到恢复后的图像。
10.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤3中，复合损失函数LCompound如式（6）所示：
Figure QLYQS_28
（6）
式（6）中，LMSE表示MSE Loss函数，
Figure QLYQS_29
；λ表示权重参数；Ledge表示Edge Loss函数，/>
Figure QLYQS_30
；/>
Figure QLYQS_31
为拉普拉斯算子；Xg表示第g张输入的低剂量CT图像；Yg表示第g张与输入的低剂量CT图像相对应的正常剂量CT图像；ε表示经验设置常数。
CN202310643683.1A 2023-06-02 2023-06-02 基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法 Active CN116385317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310643683.1A CN116385317B (zh) 2023-06-02 2023-06-02 基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310643683.1A CN116385317B (zh) 2023-06-02 2023-06-02 基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法

Publications (2)

Publication Number Publication Date
CN116385317A true CN116385317A (zh) 2023-07-04
CN116385317B CN116385317B (zh) 2023-08-01

Family

ID=86971413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310643683.1A Active CN116385317B (zh) 2023-06-02 2023-06-02 基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法

Country Status (1)

Country Link
CN (1) CN116385317B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315063A (zh) * 2023-09-07 2023-12-29 先进能源科学与技术广东省实验室 基于深度学习的低剂量ct图像重建方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658057A (zh) * 2021-07-16 2021-11-16 西安理工大学 一种Swin Transformer微光图像增强方法
CN114419392A (zh) * 2022-01-19 2022-04-29 北京理工大学重庆创新中心 高光谱快照图像恢复方法、装置、设备及介质
CN114926797A (zh) * 2022-05-18 2022-08-19 中国地质大学（武汉） 基于边缘约束与特征适应的Transformer双分支道路提取方法及装置
CN115601240A (zh) * 2022-10-31 2023-01-13 吉林大学（Cn） 一种基于SwinTransformer的去马赛克重建彩色图像的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658057A (zh) * 2021-07-16 2021-11-16 西安理工大学 一种Swin Transformer微光图像增强方法
CN114419392A (zh) * 2022-01-19 2022-04-29 北京理工大学重庆创新中心 高光谱快照图像恢复方法、装置、设备及介质
CN114926797A (zh) * 2022-05-18 2022-08-19 中国地质大学（武汉） 基于边缘约束与特征适应的Transformer双分支道路提取方法及装置
CN115601240A (zh) * 2022-10-31 2023-01-13 吉林大学（Cn） 一种基于SwinTransformer的去马赛克重建彩色图像的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAHAO HUANG ET AL: "Swin Transformer for Fast MRI", 《ARXIV》 *
ZE LIU ET AL: "Swin Transformer: Hierarchical Vision Transformer using ShiftedWindows", 《ARXIV》 *
牛旭彤 等: "基于双路残差连接 Transformer 的图像去模糊研究", 《通信技术》, vol. 56, no. 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315063A (zh) * 2023-09-07 2023-12-29 先进能源科学与技术广东省实验室 基于深度学习的低剂量ct图像重建方法和系统

Also Published As

Publication number Publication date
CN116385317B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN109166161B (zh) 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
JP7179757B2 (ja) ディープ畳み込みニューラルネットワークを使用した医用画像化のための線量低減
US11580410B2 (en) 3-D convolutional autoencoder for low-dose CT via transfer learning from a 2-D trained network
CN108961237B (zh) 一种基于卷积神经网络的低剂量ct图像分解方法
US11176642B2 (en) System and method for processing data acquired utilizing multi-energy computed tomography imaging
CN110648376B (zh) 一种基于生成对抗网络的有限角ct重建去伪影的方法
US20070189635A1 (en) Method for noise reduction in imaging methods
CN116385317B (zh) 基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法
CN113034641B (zh) 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法
Li et al. Incorporation of residual attention modules into two neural networks for low‐dose CT denoising
CN113487503A (zh) 一种基于通道注意力生成对抗网络的pet超分辨率方法
Pal et al. SSIQA: Multi-task learning for non-reference CT image quality assessment with self-supervised noise level prediction
Li et al. Learning non-local perfusion textures for high-quality computed tomography perfusion imaging
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
WO2020113148A1 (en) Single or a few views computed tomography imaging with deep neural network
CN114358285A (zh) 一种基于流模型的pet系统衰减校正方法
Kim et al. CNN-based CT denoising with an accurate image domain noise insertion technique
Shang et al. Short-axis pet image quality improvement by attention CycleGAN using total-body pet
Liang et al. A model-based unsupervised deep learning method for low-dose CT reconstruction
Gholizadeh-Ansari et al. Low-dose CT denoising using edge detection layer and perceptual loss
Xia et al. Dynamic controllable residual generative adversarial network for low-dose computed tomography imaging
Li et al. A multi-pronged evaluation for image normalization techniques
Li et al. Low-dose sinogram restoration enabled by conditional GAN with cross-domain regularization in SPECT imaging
Xie et al. Metal artifact correction in head computed tomography based on a homographic adaptation convolution neural network
Sanderson et al. Diffusion X-ray image denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant