CN117036162B - 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 - Google Patents

轻量级胸部ct图像超分辨率的残差特征注意力融合方法 Download PDF

Info

Publication number
CN117036162B
CN117036162B CN202310721302.7A CN202310721302A CN117036162B CN 117036162 B CN117036162 B CN 117036162B CN 202310721302 A CN202310721302 A CN 202310721302A CN 117036162 B CN117036162 B CN 117036162B
Authority
CN
China
Prior art keywords
feature
image
sample
input
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310721302.7A
Other languages
English (en)
Other versions
CN117036162A (zh
Inventor
杨昆
许天笑
刘琨
薛林雁
刘爽
赵磊
张轩旗
李民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University
Original Assignee
Hebei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University filed Critical Hebei University
Priority to CN202310721302.7A priority Critical patent/CN117036162B/zh
Publication of CN117036162A publication Critical patent/CN117036162A/zh
Application granted granted Critical
Publication of CN117036162B publication Critical patent/CN117036162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种轻量级胸部CT图像超分辨率的残差特征注意力融合方法，包括以下步骤：S1、样本数据集的构建；S2、数据集样本的划分；S3、对数据集样本的预处理；S4、神经网络模型的构建及训练。本发明通过采用多个特征加权级联组FWCG所形成的特征加权级联组，并以链式结构进行堆叠，再通过全局分层特征融合策略GHFFS逐渐融合每一层的特征；为了更有效地融合来自相邻层级和具有不同感受野的特征信息，以获取更具代表性的特征，采用自适应特征融合模块AFFB，能够利用全局级别的空间特征之间的关系，生成空间注意力权重，增强了特征提取过程。

Description

轻量级胸部CT图像超分辨率的残差特征注意力融合方法
技术领域
本发明涉及一种图像处理方法，具体地说是一种轻量级胸部CT图像超分辨率的残差特征注意力融合方法。
背景技术
PET-CT是一种将正电子发射计算机断层扫描（PET）与计算机断层扫描（CT）相结合的医学影像检查技术，以获得更加全面的影像信息。PET-CT技术可以同时提供关于疾病代谢和功能信息以及解剖结构信息，能够在同一扫描中提供全身或局部的多种信息，提高疾病诊断和治疗的准确性和精度。
不断变异的COVID-19严重威胁着人类生命和全球经济安全。研究表明，PET-CT是COVID-19 的有效诊断方法。然而，PET-CT的电离辐射会给患者带来潜在的癌症风险。为了在保护患者健康的同时有效准确地检测COVID-19，研究人员尝试降低辐射剂量。然而，降低辐射剂量会降低图像质量，导致PET-CT扫描出现肺炎区域和肺实质模糊不清，从而影响最终诊断。
图像超分辨率是一项图像处理技术，旨在从低分辨率图像重建出高分辨率图像。在图像超分辨率的背景下，高分辨率图像具有更高的空间细节和更丰富的信息，能够提供更清晰、更真实的视觉效果，从而为各种应用提供更好的视觉体验和更准确的分析结果。然而，使用传统的超分辨率方法存在的问题是模型参数庞大，训练和测试速度较慢，不适用于资源受限的机器（例如医院使用的医学影像设备）。另外，现有的SR算法都是基于自然图像设计的，而胸部CT图像的视觉识别性较差，纹理比自然图像更复杂，因此在重建的胸部CT图像中不易保证关键信息不变。
发明内容
本发明的目的就是提供一种轻量级胸部CT图像超分辨率的残差特征注意力融合方法，以解决原始PET-CT图像分辨率不足而对临床诊断产生不利影响的问题。
本发明的目的是这样实现的：
一种轻量级胸部CT图像超分辨率的残差特征注意力融合方法，包括以下步骤：
S1、样本数据集的构建：采集受检者的COVID-19胸部PET-CT图像样本，剔除其中存在缺失的样本，排除样本图像中存在重影或模糊的样本，在对保留的每个样本图像加载数据标签后，即构建成胸部PET-CT样本数据集。
S2、样本数据集的样本划分：从样本数据集的样本图像中提取不少于3000个的PET-CT切片图像，将其中接近90%的切片图像组成训练集，将剩余的切片图像组成验证集和测试集，验证集与测试集的样本数量之比为1︰3。
S3、对样本数据集的预处理：利用双三次插值法对数据集中所有样本中的高分辨率（HR）图像进行下采样，生成相应的低分辨率（LR）图像；再从数据集样本中原始的高分辨率图像中随机裁剪出尺寸为96×96、144×144和192×192的高分辨率图像块，裁剪出的三种尺寸规格的高分辨率图像块的数量相同。
S4、神经网络模型的构建及训练，具体子步骤如下：
S4-1构建一个神经网络模型，该模型包括浅层特征提取模块、深层特征提取模块和重建模块；所述重建模块包括一个3×3卷积层和一个亚像素操作层，用于完成对于低分辨率的PET-CT图像的重建，以得到高分辨率的图像；
S4-2设置训练批次，通过Adam优化器对神经网络模型进行训练，以得到神经网络模型参数；
S4-3设置初始学习率为5×104，设定每5×104次迭代后将学习率减半，共进行3×105次迭代；选择使用L1损失作为损失函数，计算真实值与预测值之间所有绝对差值的总和；
S4-4使用数据集训练神经网络：将训练集中经过图像预处理后的样本图像输入神经网络模型，由神经网络模型进行处理并输出预测结果，将预测结果与对应的真实标签进行比较，利用L1损失函数计算损失值，直到损失值降低并趋于稳定，即得到超分辨率的神经网络模型。
进一步地，在步骤S4-4中，超分辨率的神经网络模型的训练过程如下：
S4-4-1样本图像首先通过神经网络模型中的浅层特征提取模块中的一个3×3卷积层的卷积操作，以提取样本图像的浅层特征；
S4-4-2采用多个特征加权级联组FWCG并以链式结构进行堆叠，再通过全局分层特征融合策略GHFFS逐渐融合每一层的特征，提取样本图像中的深层特征；
S4-4-3经过深度特征提取模块处理后的图像经过残差连接，与未通过该模块的图像特征进行加和操作，即获得融合了深度图像信息的特征层；
S4-4-4在特征提取模块FWCG中使用自适应融合模块AFFB融合全局级别的空间特征之间的关系；
S4-4-5在深度特征提取模块之后引入一个残差连接操作，通过将深度特征提取前的特征图与当前的特征图进行加和，以实现信息的传递并进入重建模块；在最终图像重建完成后，将其与经过调整大小的原始图像进行残差连接，即生成最终的超分辨率PET-CT图像。
进一步地，所述特征加权级联组FWCG包括特征提取模块CFEB和自适应融合模块AFFB。
进一步地，在所述特征提取模块CFEB中，输入特征图Finput的通道数设为C，先将输入特征图Finput经过一个输出通道数为C/2的3×3卷积层进行特征变换；然后将输入特征图Finput分为一个保留分支和一个自校准分支进行特征处理；所述保留分支用于保持原始特征空间信息；所述自校准分支用于获取每个空间位置的上下文特征信息；在所述保留分支中，输入特征图Finput经过一个输出通道数为C/2的3×3卷积层，得到F1；同时，在自校准分支中，输入特征图Finput经过一个输出通道数为C/2的3×3分组卷积层，得到F2；F2经过sigmoid激活函数后与F1进行内积运算，得到F3；接着，F3经过一个输出通道数为C/2的3×3分组卷积层，得到F4；再后，在通道维度上将F2和F4进行拼接操作，得到F5；随后，F5经过一个输出通道数为C的1×1卷积层和一个输出通道数为C的SEB模块，得到F6；最后，将输入特征图Finput与F6在像素层级进行加和操作，即得到最终的输出特征图Foutput。
进一步地，所述SEB模块包括全局池化层、两个全连接层和一个sigmoid激活函数层；所述SEB模块通过残差连接操作，将输入特征与调整后的权重进行内积计算，得到最终的特征表示。
进一步地，所述自适应融合模块AFFB是通过利用全局级别的空间特征关系生成空间注意力权重，用以增强特征提取过程；其具体运行方式是：先将两个输入特征图Finput1和Finput2进行像素级相加，在经过一个1×1卷积层后得到Ffusion；然后，使用三个扩张率不同的3×3扩张卷积层，在保持图像尺寸不变的情况下，从感受野中收集信息，得到特征图Fa；在此基础上，添加一个残差连接，将特征图Fa与Ffusion相加，得到Fb。之后，使用两个1×1卷积层恢复通道维度，并使用SoftMax激活函数获得两个分支的注意力权重A1和A2；将两个分支的注意力权重A1和A2在通道维度上进行拼接操作，并与两个输入特征图Finput1和Finput2的拼接块进行内积运算，得到A3；最后，将A3经过一个1×1卷积层以平滑特征，最终得到输出特征图Foutput。
本发明通过采用多个特征加权级联组FWCG所形成的特征加权级联组，并以链式结构进行堆叠，再通过全局分层特征融合策略GHFFS逐渐融合每一层的特征，这就是深层特征提取层的具体结构。经过深度特征提取模块处理后的图像通过残差连接与未通过该模块的图像特征进行加和操作，从而获得了融合了深度图像信息的特征层。在特征加权级联组FWCG中，为了实现更有效地融合来自相邻层级和具有不同感受野的特征信息，以获取更具代表性的特征，采用自适应特征融合模块AFFB，能够利用全局级别的空间特征之间的关系，生成空间注意力权重，增强了特征提取过程。
附图说明
图1是本发明的整体流程图。
图2是本发明所构建的神经网络模型的结构示意图。
图3是特征加权级联组FWCG的结构示意图。
图4是全局分层特征融合策略GHFFS的结构示意图。
图5是自适应特征融合模块AFFB的结构示意图。
图6是特征提取模块CFEB的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详述。
本发明使用受检者的COVID-19胸部PET-CT数据集进行实验。将训练模型和数据预处理脚本以可执行代码的形式存储在计算机中。数据标签以文本文件的形式与图像数据设置在一起，且所有实验均在基于PyTorch框架的NVIDIA RTX 2080 Super GPU上进行。
如图1所示，本发明轻量级胸部CT图像超分辨率的残差特征注意力融合方法包括以下步骤：
S1、样本数据集的构建：采集632名受检者的COVID-19胸部PET-CT图像样本，剔除其中存在缺失的样本，排除样本图像中存在重影或模糊的样本，在对保留的每个样本图像加载数据标签后，即构建成DICOM格式的胸部PET-CT样本数据集。
S2、样本数据集的样本划分：从样本数据集的样本图像中提取7200个高质量的PET-CT切片图像，将其中的6400个切片图像组成训练集，将剩余的200个切片图像组成验证集，剩下的600个切片图像组成测试集。
S3、对样本数据集的预处理：首先，利用双三次插值法对数据集中所有样本中的高分辨率（HR）图像进行下采样，从而生成相应的低分辨率（LR）图像。接着，再从数据集样本中原始的高分辨率图像中随机裁剪出尺寸为96×96、144×144和192×192的高分辨率图像块，裁剪出的三种尺寸规格的高分辨率图像块的数量相同。
S4、神经网络模型的构建及训练，具体如下的子步骤：
S4-1构建一个神经网络模型，如图2所示，该模型包括浅层特征提取模块、深层特征提取模块和重建模块。重建模块包括一个3×3卷积层和一个亚像素操作层，用于完成对于低分辨率的PET-CT图像的重建，以得到高分辨率的图像。
S4-2设置训练批次为64，通过Adam优化器对神经网络模型进行训练，得到神经网络模型参数，包括：β1=0.9、β2=0.99和=10-8。
S4-3设置初始学习率为5×104，设定每5×104次迭代后将学习率减半，共进行3×105次迭代。选择使用L1损失作为损失函数，计算真实值与预测值之间所有绝对差值的总和。
S4-4使用数据集训练神经网络：将训练集中经过图像预处理后的样本图像输入神经网络模型，由神经网络模型进行处理并输出预测结果，将预测结果与对应的真实标签进行比较，通过L1损失函数计算损失值，再通过反向传播算法将梯度传递回神经网络模型的各个层，以更新神经网络模型的参数，使得预测结果与真实标签更加接近。使用Matplotlib绘制损失曲线图，显示损失值随着训练迭代次数的变化，监测和评估训练过程中的损失值变化，直到损失值降低并趋于稳定，即得到超分辨率的神经网络模型。超分辨率的神经网络模型可以完成对于低分辨率的PET-CT图像的重建，得到高分辨率的图像。
超分辨率的神经网络模型的训练过程如下：
S4-4-1样本图像首先通过神经网络模型中的浅层特征提取模块中的一个3×3卷积层的卷积操作，旨在从输入的低分辨率的PET-CT图像中提取浅层特征。
S4-4-2如图3所示，采用多个特征加权级联组FWCG并以链式结构进行堆叠，再通过全局分层特征融合策略GHFFS（图4）逐渐融合每一层的特征，这就是深层特征提取模块的具体结构，用以提取样本图像中的深层特征。
S4-4-3经过深度特征提取模块处理后的图像经过残差连接，与未通过该模块的图像特征进行加和操作，从而获得了融合了深度图像信息的特征层。在特征加权级联组FWCG中，为了更有效地融合来自相邻层级和具有不同感受野的特征信息，以获取更具代表性的特征，采用了自适应特征融合模块AFFB。如图5所示，自适应特征融合模块AFFB的设计，旨在利用全局级别的空间特征之间的关系生成空间注意力权重，以增强特征提取过程。
如图3所示，所述特征加权级联组FWCG包括特征提取模块CFEB和自适应融合模块AFFB。输入特征图Finput通过第一个特征提取模块CFEB输出FCFFB1，自适应特征融合模块AFFB通过融合输入特征图Finput和FCFFB1的相邻两层特征信息，生成FCFFB2。在这里，进行第一次AFFB操作后，即得到融合后的特征图HAFFB1。类似地操作重复k次，最后得到特征信息FCFFBk。
在上述模块的基础上，使用如图4所示的全局分层特征融合策略GHFFS，以逐步利用全局网络每一层的特征信息。
如图6所示，在特征提取模块CFEB中，输入特征图Finput的通道数设为C，先将输入特征图Finput经过一个输出通道数为C/2的3×3卷积层进行特征变换。然后，将输入特征图Finput分为一个保留分支和一个自校准分支进行特征处理。保留分支用于保持原始特征空间信息；自校准分支用于获取每个空间位置的上下文特征信息。在保留分支中，输入特征图Finput经过一个输出通道数为C/2的3×3卷积层，得到F1。同时，在自校准分支中，输入特征图Finput经过一个输出通道数为C/2的3×3分组卷积层，得到F2。F2经过sigmoid激活函数后与F1进行内积运算，得到F3。接着，F3经过一个输出通道数为C/2的3×3分组卷积层，得到F4。再后，在通道维度上将F2和F4进行拼接操作，得到F5。随后，F5经过一个输出通道数为C的1×1卷积层和一个输出通道数为C的SEB模块，得到F6。最后，将输入特征图Finput与F6在像素层级进行加和操作，即得到最终的输出特征图Foutput。
所述SEB模块包括全局池化层、两个全连接层和一个sigmoid激活函数层。SEB模块通过残差连接操作，将输入特征与调整后的权重进行内积计算，得到最终的特征表示。这种内积计算可以将特征图的重要信息突出，并对不重要的信息进行抑制。
如图5所示，自适应融合模块AFFB是基于选择性内核网络（SKnet）的启发的融合网络，其目标是通过利用全局级别的空间特征关系生成空间注意力权重，以增强特征提取过程。其具体运行方式是：首先，将两个输入特征图Finput1和Finput2进行像素级相加。之后，在经过一个1×1卷积层以降低计算复杂程度，得到Ffusion。然后，使用三个扩张率不同的3×3扩张卷积层（扩张率分别设置为1、2、5），在保持图像尺寸不变的情况下，从更大的感受野中收集尽可能多的信息，得到特征图Fa。在此基础上，添加一个残差连接，将特征图Fa与Ffusion相加，得到Fb。之后，使用两个1×1卷积层恢复通道维度，并使用SoftMax激活函数获得两个分支的注意力权重A1和A2。将两个分支的注意力权重A1和A2在通道维度上进行拼接操作，并与两个输入特征图Finput1和Finput2的拼接块进行内积运算，得到A3。最后，将A3经过一个1×1卷积层以平滑特征，最终得到输出特征图Foutput。
S4-4-4在特征加权级联组FWCG中使用自适应融合模块AFFB融合全局级别的空间特征之间的关系。
特征加权级联组FWCG由一系列的特征提取模块CFEB和自适应融合模块AFFB所组成，如下列公式所示：
在这里，FCFFB1是第一个特征提取模块CFEB的输出，通过对输入特征图Finput应用第一个特征提取模块CFEB操作HCFFB1而得到。自适应融合模块AFFB则将输入特征图Finput和FCFFB1的相邻两层特征信息进行融合，生成FCFFB2。其中，HAFFB1表示第一次AFFB操作。类似地，特征信息FCFFBk是通过第k次CFEB操作得到的。
为了在性能和参数数量之间取得平衡，本发明引入了全局分层特征融合策略GHFFS，以逐步利用全局网络每一层的特征信息。通过连接相邻级别的特征来获取双倍通道数的特征信息，并使用1×1卷积层对连接结果进行压缩。以下两个公式描述了这一处理过程：
重复这个操作，将所有的特征图逐步加和在一起。其中，Fk表示第k个特征加权级联组FWCG的输出特征；FHk表示第k个全局层次特征融合操作的输出，FH(k-1)表示前一个全局层次特征融合操作的输出。
S4-4-5在深度特征提取模块之后引入一个残差连接操作，通过将深度特征提取前的特征图与当前的特征图进行加和，以实现信息的传递并进入重建模块。在最终图像重建完成后，将其与经过调整大小的原始图像进行残差连接，即生成最终的超分辨率PET-CT图像。

Claims (5)

1.一种轻量级胸部CT图像超分辨率的残差特征注意力融合方法，其特征在于，包括以下步骤：
S1、样本数据集的构建：采集受检者的COVID-19胸部PET-CT图像样本，剔除其中存在缺失的样本，排除样本图像中存在重影或模糊的样本，在对保留的每个样本图像加载数据标签后，即构建成胸部PET-CT样本数据集；
S2、样本数据集的样本划分：从样本数据集的样本图像中提取不少于3000个的PET-CT切片图像，将其中接近90%的切片图像组成训练集，将剩余的切片图像组成验证集和测试集，验证集与测试集的样本数量之比为1︰3；
S3、对样本数据集的预处理：利用双三次插值法对数据集中所有样本中的高分辨率（HR）图像进行下采样，生成相应的低分辨率（LR）图像；再从数据集样本中原始的高分辨率图像中随机裁剪出尺寸为96×96、144×144和192×192的高分辨率图像块，裁剪出的三种尺寸规格的高分辨率图像块的数量相同；
S4、神经网络模型的构建及训练，具体子步骤如下：
S4-1构建一个神经网络模型，该模型包括浅层特征提取模块、深层特征提取模块和重建模块；所述重建模块包括一个3×3卷积层和一个亚像素操作层，用于完成对于低分辨率的PET-CT图像的重建，以得到高分辨率的图像；
S4-2设置训练批次，通过Adam优化器对神经网络模型进行训练，以得到神经网络模型参数；
S4-3设置初始学习率为5×104，设定每5×104次迭代后将学习率减半，共进行3×105次迭代；选择使用L1损失作为损失函数，计算真实值与预测值之间所有绝对差值的总和；
S4-4使用数据集训练神经网络：将训练集中经过图像预处理后的样本图像输入神经网络模型，由神经网络模型进行处理并输出预测结果，将预测结果与对应的真实标签进行比较，利用L1损失函数计算损失值，直到损失值降低并趋于稳定，即得到超分辨率的神经网络模型；
步骤S4-4中，超分辨率的神经网络模型的训练过程如下：
S4-4-1样本图像首先通过神经网络模型中的浅层特征提取模块中的一个3×3卷积层的卷积操作，以提取样本图像的浅层特征；
S4-4-2采用多个特征加权级联组FWCG并以链式结构进行堆叠，再通过全局分层特征融合策略GHFFS逐渐融合每一层的特征，提取样本图像中的深层特征；
S4-4-3经过深度特征提取模块处理后的图像经过残差连接，与未通过该模块的图像特征进行加和操作，即获得融合了深度图像信息的特征层；
S4-4-4在特征加权级联组FWCG中使用自适应融合模块AFFB融合全局级别的空间特征之间的关系；
S4-4-5在深度特征提取模块之后引入一个残差连接操作，通过将深度特征提取前的特征图与当前的特征图进行加和，以实现信息的传递并进入重建模块；在最终图像重建完成后，将其与经过调整大小的原始图像进行残差连接，即生成最终的超分辨率PET-CT图像。
2.根据权利要求1所述的残差特征注意力融合方法，其特征在于，所述特征加权级联组FWCG包括特征提取模块CFEB和自适应融合模块AFFB。
3.根据权利要求2所述的残差特征注意力融合方法，其特征在于，在所述特征提取模块CFEB中，输入特征图Finput的通道数设为C，先将输入特征图Finput经过一个输出通道数为C/2的3×3卷积层进行特征变换；然后将输入特征图Finput分为一个保留分支和一个自校准分支进行特征处理；所述保留分支用于保持原始特征空间信息；所述自校准分支用于获取每个空间位置的上下文特征信息；在所述保留分支中，输入特征图Finput经过一个输出通道数为C/2的3×3卷积层，得到F1；同时，在自校准分支中，输入特征图Finput经过一个输出通道数为C/2的3×3分组卷积层，得到F2；F2经过sigmoid激活函数后与F1进行内积运算，得到F3；接着，F3经过一个输出通道数为C/2的3×3分组卷积层，得到F4；再后，在通道维度上将F2和F4进行拼接操作，得到F5；随后，F5经过一个输出通道数为C的1×1卷积层和一个输出通道数为C的SEB模块，得到F6；最后，将输入特征图Finput与F6在像素层级进行加和操作，即得到最终的输出特征图Foutput。
4.根据权利要求3所述的残差特征注意力融合方法，其特征在于，所述SEB模块包括全局池化层、两个全连接层和一个sigmoid激活函数层；所述SEB模块通过残差连接操作，将输入特征与调整后的权重进行内积计算，得到最终的特征表示。
5.根据权利要求2所述的残差特征注意力融合方法，其特征在于，所述自适应融合模块AFFB是通过利用全局级别的空间特征关系生成空间注意力权重，用以增强特征提取过程；其具体运行方式是：先将两个输入特征图Finput1和Finput2进行像素级相加，在经过一个1×1卷积层后得到Ffusion；然后，使用三个扩张率不同的3×3扩张卷积层，在保持图像尺寸不变的情况下，从感受野中收集信息，得到特征图Fa；在此基础上，添加一个残差连接，将特征图Fa与Ffusion相加，得到Fb；之后，使用两个1×1卷积层恢复通道维度，并使用SoftMax激活函数获得两个分支的注意力权重A1和A2；将两个分支的注意力权重A1和A2在通道维度上进行拼接操作，并与两个输入特征图Finput1和Finput2的拼接块进行内积运算，得到A3；最后，将A3经过一个1×1卷积层以平滑特征，最终得到输出特征图Foutput。
CN202310721302.7A 2023-06-19 2023-06-19 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 Active CN117036162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310721302.7A CN117036162B (zh) 2023-06-19 2023-06-19 轻量级胸部ct图像超分辨率的残差特征注意力融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310721302.7A CN117036162B (zh) 2023-06-19 2023-06-19 轻量级胸部ct图像超分辨率的残差特征注意力融合方法

Publications (2)

Publication Number Publication Date
CN117036162A CN117036162A (zh) 2023-11-10
CN117036162B true CN117036162B (zh) 2024-02-09

Family

ID=88643638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310721302.7A Active CN117036162B (zh) 2023-06-19 2023-06-19 轻量级胸部ct图像超分辨率的残差特征注意力融合方法

Country Status (1)

Country Link
CN (1) CN117036162B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117951749B (zh) * 2024-03-27 2024-06-07 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN113222818A (zh) * 2021-05-18 2021-08-06 浙江师范大学 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
CN114266957A (zh) * 2021-11-12 2022-04-01 北京工业大学 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN115272078A (zh) * 2022-08-01 2022-11-01 西安交通大学 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
CN115496658A (zh) * 2022-09-25 2022-12-20 桂林理工大学 基于双重注意力机制的轻量级图像超分辨率重建方法
CN115841420A (zh) * 2022-11-10 2023-03-24 天津大学 一种基于深度学习的偏振图像超分辨率重建方法
CN116091313A (zh) * 2022-12-20 2023-05-09 无锡学院 一种图像超分辨率网络模型和重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164067B2 (en) * 2018-08-29 2021-11-02 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging
US11328430B2 (en) * 2019-05-28 2022-05-10 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for segmenting images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN113222818A (zh) * 2021-05-18 2021-08-06 浙江师范大学 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
CN114266957A (zh) * 2021-11-12 2022-04-01 北京工业大学 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN115272078A (zh) * 2022-08-01 2022-11-01 西安交通大学 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
CN115496658A (zh) * 2022-09-25 2022-12-20 桂林理工大学 基于双重注意力机制的轻量级图像超分辨率重建方法
CN115841420A (zh) * 2022-11-10 2023-03-24 天津大学 一种基于深度学习的偏振图像超分辨率重建方法
CN116091313A (zh) * 2022-12-20 2023-05-09 无锡学院 一种图像超分辨率网络模型和重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
基于深度学习的高分辨率遥感图像建筑物识别;宋廷强;李继旭;张信耶;;计算机工程与应用(08);全文 *
李诚 ; 张羽 ; 黄初华 ; .改进的生成对抗网络图像超分辨率重建.计算机工程与应用.(04),全文. *
熊亚辉 ; 陈东方 ; 王晓峰 ; .基于多尺度反向投影的图像超分辨率重建算法.计算机工程.2020,(07),全文. *
许宁宁 ; 郑凯 ; .基于多损失融合与谱归一化的图像超分辨率方法.计算机应用研究.(08),全文. *
雷鹏程 ; 刘丛 ; 唐坚刚 ; 彭敦陆 ; .分层特征融合注意力网络图像超分辨率重建.中国图象图形学报.2020,(09),全文. *
魏欣 ; 郑玉甫 ; .基于总分式密集连接网络的图像超分辨重建.兰州交通大学学报.2019,(06),全文. *

Also Published As

Publication number Publication date
CN117036162A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN110443867B (zh) 基于生成对抗网络的ct图像超分辨率重构方法
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN110288609B (zh) 一种注意力机制引导的多模态全心脏图像分割方法
CN107492071A (zh) 医学图像处理方法及设备
CN103279933B (zh) 一种基于双层模型的单幅图像超分辨率重建方法
CN111507462B (zh) 一种端对端的三维医学图像超分辨率重建方法及系统
CN115578404B (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
Li et al. Learning non-local perfusion textures for high-quality computed tomography perfusion imaging
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
CN112990359B (zh) 一种影像数据处理方法、装置、计算机及存储介质
CN114358285A (zh) 一种基于流模型的pet系统衰减校正方法
CN115861062A (zh) 多尺度学习小波注意力机制网络及图像超分辨率重建方法
CN116309507A (zh) 注意力机制下对ctp进行特征融合的ais病灶预测方法
CN113689544B (zh) 一种跨视图几何约束的医学影像三维重建方法
CN115330600A (zh) 一种基于改进srgan的肺部ct图像超分辨率方法
US20230010980A1 (en) Planning radiation therapy using a personalized hematologic risk score
CN114862982A (zh) 一种基于生成对抗网络的混合域无监督有限角ct重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant