CN117291835A - 基于图像内容感知先验和注意力驱动的去噪网络模型 - Google Patents

基于图像内容感知先验和注意力驱动的去噪网络模型 Download PDF

Info

Publication number
CN117291835A
CN117291835A CN202311186023.1A CN202311186023A CN117291835A CN 117291835 A CN117291835 A CN 117291835A CN 202311186023 A CN202311186023 A CN 202311186023A CN 117291835 A CN117291835 A CN 117291835A
Authority
CN
China
Prior art keywords
denoising
image
network model
module
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311186023.1A
Other languages
English (en)
Inventor
邹利兰
李超传
林聪�
黄梓帆
叶爱萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ocean University
Original Assignee
Guangdong Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ocean University filed Critical Guangdong Ocean University
Priority to CN202311186023.1A priority Critical patent/CN117291835A/zh
Publication of CN117291835A publication Critical patent/CN117291835A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于图像内容感知先验和注意力驱动的去噪网络模型，所述网络模型中，退化图像F输入经过退化矩阵NT参数化的线性层N以获得初始估计值a0，将a0输入去噪模块和通过矩阵W参数化的线性层H；去噪模块对a0进行去噪获得加权后的去噪信号η1；残差网络模块通过快捷连接将去噪信号与线性层N和线性层H的输出相加，获得更新的估计值a1；网络模型在k次迭代过程中，将上一次迭代获得的估计值ak‑1分别输入到通过矩阵W参数化的线性层和去噪模块中，再通过残差网络模块的快捷连接将线性层N、通过矩阵W参数化的线性层、去噪模块的输出相加以获得对应的噪声信号ak，本发明可以减少伪影同时对超声图像进行去斑并增强对比度，帮助医生发现病变。

Description

基于图像内容感知先验和注意力驱动的去噪网络模型
技术领域
本发明涉及医学图像去噪技术领域，尤其涉及一种基于图像内容感知先验和注意力驱动的去噪网络模型。
背景技术
超声图像是一种常用的医学成像技术，由于其不会对人体产生辐射危害，并且易于携带和操作，具有较低的使用成本，所以超声成像技术的研究在医学成像技术领域具有重要地位。然而，超声成像存在声波与组织反射、衍射和干涉等现象引起的散斑噪声，这些噪声会导致图像出现背景杂乱、亮度不均匀、边缘模糊等问题，进而影响图像的质量和医生对于病灶的准确判断。此外，散斑噪声也会影响使用计算机技术进行超声图像的特征提取、分割、配准等后续任务，为了降低散斑噪声对超声图像质量和诊断准确性的影响，需要采取合适的措施。由于散斑噪声具有非对称性和空间相关性等特性，难以对该噪声声模型进行精确的建模。随着深度学习技术的普及，越来越多的基于深度学习的方法被应用于图像去噪，并呈现出优于传统方法的效果。但是，由于很难同时获得真实的干净超声图像和含噪超声图像，基于监督学习的方法通常需要使用模拟图像或者将真实超声图像使用其他去斑方法处理后得到的去斑图像来进行训练。因此，这类基于监督学习的超声图像去斑方法会存在有限制性，其中一个主要限制是模拟图像或者其他去斑方法处理后得到的去斑图像的质量和准确性。这可能导致训练出的网络在真实世界的数据中无法取得良好的效果。而无监督学习模型的评估需要使用一些定量或定性的指标来评估其性能，但这些指标可能无法完全反映模型的真实性能，因此评估过程存在一定的主观性。从理论和实践的角度来看，无论是使用监督学习的超声图像去噪方法，还是使用无监督学习的算法，都存在对图像内容信息的考虑不足的问题。
发明内容
鉴于此，本发明的目的在于提供一种基于图像内容感知先验和注意力驱动的去噪网络模型，改进传统方法基于模拟图像训练的去斑模型在真实图像中表现欠佳的问题，以及提高滤波后图像在计算机辅助医疗中的实用性，特别是提高图像分割任务的性能。
为实现上述发明目的，本发明提供一种基于图像内容感知先验和注意力驱动的去噪网络模型，所述网络模型包括：
线性层N，所述线性层N经过退化矩阵NT参数化，用于输入退化图像F，以获得初始估计值a0，将a0输入去噪模块和通过矩阵W参数化的线性层H；
去噪模块，用于对a0进行去噪，获得加权后的去噪信号η1；
残差网络模块，通过快捷连接将去噪信号与线性层N和线性层H的输出相加，获得更新的估计值a1；
所述网络模型在k次迭代过程中，将上一次迭代获得的估计值ak-1分别输入到通过矩阵W参数化的线性层和去噪模块中，再通过残差网络模块的快捷连接将线性层N、通过矩阵W参数化的线性层、去噪模块的输出相加以获得相对应的噪声信号ak。
进一步的，所述去噪模块采用U-Net网络结构，包括特征编码器和特征解码器，所述特征编码器用于对输入图像进行特征提取，所述特征解码器用于生成特征图。
进一步的，所述特征编码器采用多层3×3大小的卷积层和ReLU非线性激活函数对输入图像进行特征提取，缩放因子设置为0.5，并在下采样层中使用缩放因子为2沿着特征图的两个轴进行下采样。
进一步的，所述特征解码器由若干个卷积层组成，所述若干个卷积层分为四个特征解码器，解码阶段使用上采样层来生成特征图。
进一步的，所述去噪模块包括若干个去噪器，所述去噪器用于融合编码阶段和解码阶段生成的特征图来补充丢失的空间信息，得到更加精细的图像，通过所述去噪器辅助所述网络模型收敛，同时强制所有参数共享。
进一步的，所述去噪模块使用注意力机制模块替换U-Net网络的池化层，所述注意力机制模块用于利用当前阶段的信息指导前一段阶段对噪声信息进行学习，包括通道关注模块和空间关注模块。
进一步的，所述通道关注模块用于对通道域进行重要性提取，具体为对输入大小为L×M×C的原始特征数据Forg中的通道域重要性进行提取，计算每个通道中L×M个参数的全局最大池化和全局平均池化，得到两个1×1×C的向量，将得到的两个向量分别输入到一个参数共享的多层感知机中进行计算，并通过对应元素加和操作生成一个1×1×C的向量，将生成的向量经过sigmoid激活操作得到通道域注意力重要性因子向量βc，将βc与Forg在相同通道上进行对应元素乘操作，得到一个临时特征数据Ftmp，由此建立Forg与Ftmp的复合函数关系如下：
进一步的，所述空间关注模块用于使用临时特征数据Ftmp作为输入，并基于C个参数分别计算全局最大池化和全局平均池化，以得到两个L×M的结果矩阵，将两个结果矩阵进行拼接操作，将其输入到卷积核大小为3×3的卷积计算过程Conv中，以生成一个L×M×1的特征数据，对该特征数据进行Sigmoid激活操作，生成空间域注意力重要性因子向量βs，将βs与Ftmp针对每个通道进行相同空间位置点的对应元素乘操作，最终得到一个新特征数据Fnew。
进一步的，所述网络模型中使用的损失函数如下所示：
上式中，P表示无噪声图像对的数量，Θ表示网络参数，Xnoise表示网络输入的噪声图像，yground表示ground truth，Ψ(xnoise；Θ)表示通过所述网络模型得到的重建图像，eg(·)表示图像的结构性信息，a1和a2为两个高低阈值。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于图像内容感知先验和注意力驱动的去噪网络模型，利用深度神经网络捕获噪声图像作为先验信息，并推导了用于超声图像散斑去噪的迭代优化公式，建立了前馈残差先验去噪网络框架，并将注意力机制应用于去噪器模块，使得所述模型能够学习并利用全局信息，更好地选择关键通道的内容，抑制无用特征，从而提高模型的去噪性能，通过与一些最先进的同类方法进行定性和定量分析比较，结果表明所述模型在超声图像噪声抑制、结构保持方面具有潜力，并能以较高速度进行计算，与其他方法相比，本发明可以减少伪影同时以优异的性能对超声图像进行去斑，并且增强对比度，从而帮助临床医生更容易地识别病变，使用这些图像还可以提高计算机辅助医疗在精确分割病变区域的性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于图像内容感知先验和注意力驱动的去噪网络模型整体结构示意图。
图2是本发明实施例提供的特征编码器结构示意图。
图3是本发明实施例提供的特征解码器结构示意图。
图4是本发明实施例提供的注意力机制模块结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
本实施例中，超声图像的斑点噪声模型给定为：
F(x,y)＝u(x,y)+u(x,y)rθ(x,y) (1)
其中F(x,y)是含噪声图像的像素位置，u(x,y)是无噪声超声图像的像素位置，θ(x,y)是均值为零，方差为σ2的加性高斯白噪声，r与超声设备相关。大量研究表明r＝0.5是用于模拟超声图像中斑点噪声的最佳值。
当前大多数深度学习去噪算法需要大量的训练数据才能够取得良好的效果，然而超声图像数据的获取成本较高，因此在某些场景下，训练数据可能会受到限制。其次，超声图像具有复杂的结构和纹理特征，因此设计合适的网络结构对于深度学习算法在超声图像去噪中的性能至关重要。为了解决上述缺陷，本实施例基于传统的去噪优化模型，推导出一个针对超声图像中相干噪声去噪的模型。
对于噪声图像的恢复任务来说往往可以采用一个附加正则项的优化问题，目标函数如下所示：
上式中，a*为恢复图像，a0为干净原始图像a的噪声图像，E(a；a0)是一个与任务相关的数据项，例如MSE等，使得a*相似于噪声图像a0，λΦ(a)是一项加权正则项，根据先验知识对解空间进行约束。
在图像恢复任务中，恢复图像a*是由干净原始图像a和其噪声图像a0所确定的，为了使恢复图像a与噪声图像a0相似，数据项E(a；a0)被引入，其中E(a；a0)是一种与任务相关的函数，例如均方误差(MSE)等。同时，为了约束解空间并考虑先验知识，正则项λΦ(a)被引入。正则化器的角色是根据图像特征进行恢复，而先验项在图像复原算法中具有重要作用。多种先验项已被提出，例如全变差(TV)、小波域处理、内容感知图像先验等，这些先验项已经被证明在图像恢复任务中具有良好的性能，不同的先验项也会导致不同的优化方向。近年来，深度学习技术通过直接从退化图像中学习得到清晰图像的映射，获得了优秀的图像恢复能力和泛化性。然而，在这个学习过程中完全忽视了现有的退化模型和先验信息。
为了获得上述两种方法的优势，本实施例采用变量分离技术来解耦式(1)和(2)中的数据项和正则化项，同时引入辅助变量η得到下式。
上式中，N为信号衰落过程引起的相干斑噪声，ξ为惩罚因子，则原本公式(2)的理想解即为同时最小化数据项和由参数λ加权的正则化项的解。在该基础上利用半二次分裂法可将等约束优化问题转化为无约束优化问题。
求解ak+1的子问题是一个二次优化问题，可以采用封闭形式求解。具体而言，我们可以通过计算a＝H-1b来解决该问题，其中H是与相干噪声矩阵N相关的矩阵。由于矩阵H的维度通常较高，因此通常无法直接计算其逆矩阵。鉴于此，可以利用式(1)中的噪声机理来设计一个具有积分项的Newton-Raphson迭代算法，以迭代地计算ak+1。这样，公式(4)也可以被重写为一个更紧凑、更易于处理的形式。
本实施例提出的优化算法原型是一个连续函数，其中积分项为I，比例因子为大于零的γ。为了适应计算机系统的计算需求，需要对该算法进行离散化处理。为此，可以通过修改PID算法的表达式，使其适合于离散化处理，具体来说，将其转化为如下形式：
其中essk是一个稳态误差，Kp,Td,Ti分别代表不同的系统参数。积分项用来消除稳态误差，可以调节系统的性能与比例和微分控制相结合。在达到节点之前，essi均为一个正数，其积分总是大于零。当系统存在稳态误差时，该误差会保持相同的值，但积分会发生变化，这意味着先前稳态误差的值中和了比例控制算法，并且积分项将发挥连续的作用，这可以使得ak的输出保持增加，从而消除了稳态误差。η的子问题是λΦ(η)的一个邻近算子，通过去噪器可以得到该解：ηk+1＝f(ak)，其中f(·)表示去噪器，该优化算法适用于超声图像去散斑任务。
在超声图像去斑任务中保留其中的细节信息是一个重要的关键目标。常用的深度学习算法需要通过真实的干净-噪声图像对来帮助网络训练获取图像边界保留能力。但是超声图像去斑任务中，不存在真实的干净-噪声图像对。因此由干净的自然图像和添加模拟噪声的训练数据集不能包含真实的超声图像结构边界。
一些研究表明CNN中的不同层可以捕获图像特征的不同语义级别，可以利用这一特性作为先验信息来设计去噪网络。上述优化算法需要多次迭代才能收敛，并且计算代价昂贵。同时在端到端的训练方式下，参数和噪声不能同时优化。因此本实施例通过将去噪模块嵌入到优化算法中，使用如图1所示的网络模型结构来表示基于去噪先验驱动的深度神经网络的实现过程。
本实施例提供一种基于图像内容感知先验和注意力驱动的去噪网络模型，所述模型包括：
线性层N，所述线性层N经过退化矩阵NT参数化，用于输入退化图像F，以获得初始估计值a0，将a0输入去噪模块和通过矩阵W参数化的线性层H；
去噪模块，用于对a0进行去噪，获得加权后的去噪信号η1；
残差网络模块，通过快捷连接将去噪信号与线性层N和线性层H的输出相加，获得更新的估计值a1；
所述网络模型在k次迭代过程中，将上一次迭代获得的估计值ak-1分别输入到通过矩阵W参数化的线性层和去噪模块中，再通过残差网络模块的快捷连接将线性层N、通过矩阵W参数化的线性层、去噪模块的输出相加以获得相对应的噪声信号ak。
本实施例提出了一种新型的先验网络，其性能与手工设定的先验方法相当。这种先验网络不同于从数据中人工学习制作相应的先验信息，而是基于一些先验假设进行构建。这种深度图像先验与使用TV范数等传统手工先验方法相似。本实施例的主要贡献在于证明了基于先验驱动的网络结构对各种图像恢复任务都非常有效。与传统的手工制作先验的学习方法相比，这种方法甚至效果更好。
所述模型中的去噪模块是一个基于U-Net网络改进的网络结构。U-Net是一种用于图像分割的CNN，同时也适合用于去噪。其结构类似于自编码器，由编码器和解码器组成。编码器将输入图像转换为抽象特征，解码器则将这些特征还原为输出图像。在去噪任务中，编码器可以帮助网络捕捉噪声特征，而解码器可以帮助网络恢复去噪后的图像。此外，U-Net使用跳跃连接技术来保留输入图像中的一些低级特征，有助于网络去除噪声的同时保留更多的图像细节。本实施例提供的去噪模块包括特征编码器和特征解码器。去噪模块的配置如表1所示。
表1
如图2所示，特征编码器采用多层3×3大小的卷积层和ReLU非线性激活函数对输入图像进行特征提取。缩放因子设置为0.5，并在下采样层中使用缩放因子为2沿着特征图的两个轴进行下采样，有助于网络更好地处理输入图像中的细节信息，从而获得更好的性能和去噪效果。
如图3所示，特征解码器由一系列卷积层组成，这些卷积层被分为四个特征解码器，解码阶段中，使用上采样层来生成特征图，但由于特征图会丢失大量的空间信息，直接使用这些特征图进行图像重建会导致细节不够精细。为了解决这个问题，本实施例中所述去噪模块包括若干个去噪器，所述去噪器用于融合编码阶段和解码阶段生成的特征图来补充丢失的空间信息，得到更加精细的图像，通过所述去噪器辅助所述网络模型收敛，同时强制所有参数共享来避免过拟合。本实施例在去噪模块中添加了从输入到重建图像的跳跃连接，并采用预测残差的方式来增强网络的鲁棒性。
在超声图像去噪任务中，由于医学图像在采集和处理过程中受到多种因素的干扰，导致噪声信号的强度与图像中的干净像素非常相似。这导致图像中的干净像素与噪声信号结构相似，导致训练难度会大大增加，往往需要几十遍的迭代训练才能实现有效的信号和噪声分离。因此针对如何复杂噪声背景中提取有用信息就显得尤为重要。在传统的U-Net网络中，采用了大量的池化层来进行下采样操作，以减小特征图的尺寸和增加特征的抽象程度。然而，这种池化操作会导致输入图像的分辨率和细节信息丢失，从而影响了网络的性能和效果。
为了解决这一问题，本实施例中去噪模块使用注意力机制模块替换U-Net网络的池化层，所述注意力机制模块的总体架构如图4所示，该模块用于利用当前阶段的信息指导前一段阶段对噪声信息进行学习，这样可以使网络聚焦在噪声图像中的显著信息，忽略不重要的信息，从而提高信息处理的效率和准确性。注意力机制模块包括通道关注模块和空间关注模块。
所述通道关注模块用于对通道域进行重要性提取，具体为对输入大小为L×M×C的原始特征数据Forg中的通道域重要性进行提取，计算每个通道中L×M个参数的全局最大池化和全局平均池化，得到两个1×1×C的向量，将得到的两个向量分别输入到一个参数共享的多层感知机中进行计算，并通过对应元素加和操作生成一个1×1×C的向量，将生成的向量经过sigmoid激活操作得到通道域注意力重要性因子向量βc，将βc与Forg在相同通道上进行对应元素乘操作，得到一个临时特征数据Ftmp，由此建立Forg与Ftmp的复合函数关系如下：
所述空间关注模块用于使用临时特征数据Ftmp作为输入，并基于C个参数分别计算全局最大池化和全局平均池化，以得到两个L×M的结果矩阵，将两个结果矩阵进行拼接操作，将其输入到卷积核大小为3×3的卷积计算过程Conv中，以生成一个L×M×1的特征数据，对该特征数据进行Sigmoid激活操作，生成空间域注意力重要性因子向量βs，将βs与Ftmp针对每个通道进行相同空间位置点的对应元素乘操作，最终得到一个新特征数据Fnew。
为了优化所述网络模型，本实施例使用了MSE和Canny边缘损失函数的组合。添加Canny边缘损失它可以强制模型生成具有边缘结构的图像。此外，由于Canny边缘检测是一种经典的算法，使用它作为损失函数可以减少模型训练的时间和复杂度，同时也提高了模型的可解释性和可重现性。MSE损失函数在基于优化的方法中执行能量项的角色，并且防止从超声图像中去除重要信息。所述网络模型中使用的损失函数如下所示：
上式中，P表示无噪声图像对的数量，Θ表示网络参数，Xnoise表示网络输入的噪声图像，yground表示ground truth，Ψ(xnoise；Θ)表示通过所述网络模型得到的重建图像，eg(·)表示图像的结构性信息，a1和a2为两个高低阈值，本实施例中a1和a2分别为50和150。本实施例选取了Canny算子并加以改进作为结构性信息提取算法。
以下内容的主要目的是描述实验设置和数据集的使用，以评估网络性能，验证所提出算法的保真度和鲁棒性，并将其与其他去噪方法进行比较，并对结果进行分析。
在训练和测试过程中，采用Pytorch 1.11.0平台构建深度学习网络。本实施例使用的操作系统为Ubuntu 20.04操作系统。所用机器的GPU为NVIDIA Quadro RTX 6000。使用CUDA 11.7和CUDN 8.6.0加速GPU计算能力，加快训练速度。
为了训练本实施例所提出的网络模型，我们采用了由微软公司提供的400张自然图像数据，其中包括80object categories和91stuff categories，并使用美国国立卫生研究院临床中心团队开发的400张CT数据集。该数据集中的图像包括多种病变类型，例如肾脏病变、骨病变、肺结节和淋巴结肿大。我们将这些800张图像预处理为256×256大小的灰度图像，并将其作为训练集。接着，我们根据公式(1)向数据集添加斑点噪声来生成噪声图像。我们使用三种不同的噪声水平(σ＝15、25和50)来训练去斑模型。在每个训练阶段结束后，我们从不在训练集中的10张图像中选择测试集进行测试。
测试数据部分分为仿真图像测试和真实超声图像测试。在仿真测试中，本文采用了Berkeley Segmentation Dataset and Benchmark(BSDS 500)，该数据集包含68幅自然图像，大小为321×481或481×321。同时，为了更加全面地评估本文提出的模型对真实超声图像的分割性能，我们还采用了来自Kaggle Challenge和the Grand Challenge的真实超声图像。此外，为了进一步说明所述网络模型对计算机辅助诊断的价值，我们使用了乳腺癌超声图像数据集作为分割测试用。
为了对本文所提出的模型的去噪性能进行定量验证，使用了六个指标，它们可以分为两类：一类是用于衡量滤波性能的参考指标，包括峰值信噪比(PSNR)和结构相似度(SSIM)；另一类是用于评价图像分割性能的参考指标，包括F1分数、灵敏度、特异度和平均准确率召回率曲线下面积(AUPRC)。这些指标的使用可以全面评估模型的性能，并确定其在不同方面的表现。
PSNR是用于衡量两幅图像之间的均方误差(MSE)的对数倒数，单位是分贝(dB)，数值越高表示输出图像与原始图像的相似度越高。一般来说，当PSNR的值高于30dB时，可以认为输出图像与原始图像基本相同。然而，PSNR存在一些局限性。例如，PSNR无法捕捉到输出图像与原始图像之间的人类可感知的差异，因为PSNR是用均方误差来衡量两幅图像之间的相似度，而这种相似度并不一定与人类感知的相似度一致。此外，PSNR对于输出图像与原始图像之间存在亮度或色彩偏移的情况也会导致其评价结果偏低。相比之下，SSIM是一种结构相似性指标，用于衡量两幅图像之间的结构相似度。SSIM的取值范围是[0,1]，数值越接近1表示输出图像与原始图像的结构相似度越高。SSIM可以捕捉到输出图像与原始图像之间的人类可感知的差异，因为它不仅考虑像素值之间的相似度，还考虑了它们之间的结构相似度。
F1分数(F1 Score)是评估分类器性能的一种指标，综合考虑了分类器的精确度和召回率。在图像分割中，F1分数表示正确预测的像素数与实际像素数之比。F1分数是精确度和召回率的调和平均数，它的取值范围为0到1之间，值越接近1则表示分类器性能越好。Sensitivity也称为True Positive Rate，是分类器正确预测正例(即实际为正例的样本)的比例，在图像分割中，灵敏度表示分类器正确检测到目标像素的能力。Specificity是分类器正确预测负例(即实际为负例的样本)的比例，在图像分割中，特异度表示分类器正确将背景像素分类为背景的能力。平均准确率召回率曲线下面积(AUPRC)是一种用于评估二分类模型性能的指标，它是准确率-召回率曲线下方的面积。AUPRC的取值范围为0到1之间，值越接近1则表示分类器性能越好。在图像分割中，AUPRC可以表示分类器在不同像素分类阈值下的整体表现。AUPRC越大，表示分类器在保证高准确率的同时能够获得更高的召回率。
表2展示了在BSD68数据集上，采用不同算法对模拟斑点噪声进行降噪的性能表现。从图像修复结果来看，本实施例所提出的网络模型在各个等级噪声下均取得了最优的PSNR和SSIM指标。相比之下，以BM3D为代表的传统滤波方法在斑点噪声处理任务中更注重噪声和失真的减少，而忽略了图像的结构和感知质量。因此，修复后的图像可能会有更少的噪声和失真，但仍然可能缺乏一定的视觉清晰度和细节。本实施例提出的网络模型相比BM3D，在PSNR指标上最高可提升8％，在SSIM指标上可提升9％。这表明利用CNN网络捕获图像先验信息，具有比传统手工先验更加优异的性能表现，并且能够同时实现去除噪声和保持修复图像结构的感知质量。与同样使用深度学习的算法相比，所述网络模型也能有着优异的修复性能PSNR能比次优的方法平均提升3％，SSIM数值平均能够提升2％，这说明所述网络模型具有较高的降噪性能和较强的稳定性，能够更好地保留图像的细节和结构信息。实验结果表明经过所述网络模型去斑后的图像质量和其它算法相比，更有利于诊断和计算机辅助医疗的应用。
表2
为了能够从主观的角度评价滤波后的效果，我们测试了不同方法在三张图像上的去噪效果，同时放大了图像中的部分区域用以更加细致的观察各个方法的去噪性能。第一张图片的去噪结果显示，在噪声水平较低的情况下，各个方法都能够取得更好的去噪效果。然而，从放大区域的对比可以看出，BM3D、DHDN、MuNet、EDNet和GAN-RW等方法会导致修复后图像过度平滑的问题，从而损失了图像的细节信息。这可能会导致在真实医疗图像中一些细小病变区域的细节损失，从而影响诊断结果。从图像中可以看出，本实施例所提出的网络模型的滤波效果最接近无噪声的ground truth图像。第二张图片的去噪结果显示，在中等水平噪声的情况下，经过EDNet滤波后的图像仍会存在一些噪声，而DnCNN、DnCNN-Enhanced、BRDNet和CBDNet等对比方法在恢复后的大厦窗口部分引入了伪影信息。综合来看，本实施例提供的网络模型既能够尽可能保留图像中的纹理细节信息，又能准确去除噪声而不引入额外的伪影。第三张图片的去噪结果显示了较高水平噪声的修复效果。BM3D、DHDN、MuNet、EDNet和GAN-RW等方法滤波后都导致草地上的信息缺失，且图像模糊不清。与其他方法相比，本实施例提出的网络模型在修复效果方面取得了更好的表现。
综上可以看出所述网络模型在去噪性能和图像信息保留能力方面表现出优异的性能，并在多个评价指标和主观滤波性能测试中得到了验证。这表明所述网络模型不仅能够有效地利用先验信息，而且能够在现代技术的支持下进一步提高算法性能，具有较高的实用价值和学术价值。
另外还在临床超声图像上将所述网络模型与其它方法进行了视觉比较。从结果图像中可以看出，BM3D和MuNet方法产生的结果模糊且引入了部分伪影。另外，GAN-RW、EDNet和DHDN算法能够有效去除斑点噪声，但在某些区域也会去除一些干净像素点。相比之下，与其他方法相比，本实施例所提出的网络模型能够更好地平滑背景和轮廓区域，并更好地保留图像的层次结构信息。因此，所述网络模型是一种有效的超声图像去噪方法。
计算机辅助医疗目前是一项快速发展的技术，旨在将计算机科学和医学相结合，提高医学诊断和治疗的效率和准确性。其中医学图像分割是在计算机辅助医疗中的一个重要方向，对医学诊断和治疗有着重要作用。超声图像去噪对医学图像分割具有重要的价值。去噪可以使得图像中的特征更加明显，从而更容易地进行分割。去噪后的图像质量和清晰度提高，可以更好地反映出组织结构的特征，同时也可以减少误差和歧义，提高分割的准确性和稳定性。为此我们训练了语义分割网络(SegNet)用以测试各个超声图像去噪器的性能。
表3展示了通过使用每种散斑抑制方法重建乳腺超声图像在使用相同条件下训练的意义分割网络测试的性能表现。从结果来看，使用所述网络模型滤波后的超声图像在图像分割网络中表现最佳，F1 score、Sensitivity和AUPRC都达到了最高值。尽管Specificity稍稍落后于最佳表现，但仅仅落后了最佳结果的0.09％，因此可以认为所述网络模型滤波后的超声图像在图像分割任务中表现出了非常优秀的性能。这些结果表明，所述网络模型可以有效地抑制散斑噪声，提高超声图像的质量，并进一步提高图像分割任务的性能。
我们还对乳腺癌分割结果使用了每种方法所提供的去斑点图像进行训练。从Original结果来看，使用初始图像训练的网络会将大量目标像素错误地分割为背景，这会影响计算机辅助判断的准确性。然而，通过对图像进行滤波处理，除了Frost、NLM和Kuan算法外，所有其他方法都能提高分割模型的性能。所提的算法对比其它比较算法能够更准确地定位乳腺癌的边缘，并能够准确地将其与周围组织分割开来。综合上述结果，无论从定量还是定性的比较当中，所述网络模型均能改善计算机辅助医疗的性能。
表3
本发明旨在解决超声图像中存在的斑点噪声对临床正确诊断和计算机辅助治疗的影响问题。针对该问题，本实施例设计了一个利用深度神经网络捕获噪声图像作为先验信息，并推导了一个用于超声图像散斑去噪的迭代优化公式。建立了一个前馈残差先验去噪网络框架。此外，本实施例还将注意力机制应用于去噪器模块，使得所述网络模型能够学习并利用全局信息，更好地选择关键通道的内容特征，抑制无用特征，从而提高模型的去噪性能。通过与一些最先进的方法进行定性和定量分析比较，本实施例提供的网络模型显示出优异的性能。模拟结果表明，深度学习在超声图像噪声抑制和结构保持方面具有潜力，并且能够以较高的速度进行计算。此外，使用修复后的超声图像在图像分割任务中测试，使用修复后的图像对相应的分割算法性能提升显著。与其他方法相比，所述网络模型可以减少伪影同时以优异的性能对超声图像进行去斑，并且增强对比度，从而帮助临床医生更容易地识别病变。此外，使用这些图像还可以提高计算机辅助医疗在精确分割病变区域的性能。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述网络模型包括：
线性层N，所述线性层N经过退化矩阵NT参数化，用于输入退化图像F，以获得初始估计值a0，将a0输入去噪模块和通过矩阵W参数化的线性层H；
去噪模块，用于对a0进行去噪，获得加权后的去噪信号η1；
残差网络模块，通过快捷连接将去噪信号与线性层N和线性层H的输出相加，获得更新的估计值a1；
所述网络模型在k次迭代过程中，将上一次迭代获得的估计值ak-1分别输入到通过矩阵W参数化的线性层和去噪模块中，再通过残差网络模块的快捷连接将线性层N、通过矩阵W参数化的线性层、去噪模块的输出相加以获得相对应的噪声信号ak。
2.根据权利要求1所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述去噪模块采用U-Net网络结构，包括特征编码器和特征解码器，所述特征编码器用于对输入图像进行特征提取，所述特征解码器用于生成特征图。
3.根据权利要求2所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述特征编码器采用多层3×3大小的卷积层和ReLU非线性激活函数对输入图像进行特征提取，缩放因子设置为0.5，并在下采样层中使用缩放因子为2沿着特征图的两个轴进行下采样。
4.根据权利要求2所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述特征解码器由若干个卷积层组成，所述若干个卷积层分为四个特征解码器，解码阶段使用上采样层来生成特征图。
5.根据权利要求4所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述去噪模块包括若干个去噪器，所述去噪器用于融合编码阶段和解码阶段生成的特征图来补充丢失的空间信息，得到更加精细的图像，通过所述去噪器辅助所述网络模型收敛，同时强制所有参数共享。
6.根据权利要求2所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述去噪模块使用注意力机制模块替换U-Net网络的池化层，所述注意力机制模块用于利用当前阶段的信息指导前一段阶段对噪声信息进行学习，包括通道关注模块和空间关注模块。
7.根据权利要求6所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述通道关注模块用于对通道域进行重要性提取，具体为对输入大小为L×M×C的原始特征数据Forg中的通道域重要性进行提取，计算每个通道中L×M个参数的全局最大池化和全局平均池化，得到两个1×1×C的向量，将得到的两个向量分别输入到一个参数共享的多层感知机中进行计算，并通过对应元素加和操作生成一个1×1×C的向量，将生成的向量经过sigmoid激活操作得到通道域注意力重要性因子向量βc，将βc与Forg在相同通道上进行对应元素乘操作，得到一个临时特征数据Ftmp，由此建立Forg与Ftmp的复合函数关系如下：
8.根据权利要求7所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述空间关注模块用于使用临时特征数据Ftmp作为输入，并基于C个参数分别计算全局最大池化和全局平均池化，以得到两个L×M的结果矩阵，将两个结果矩阵进行拼接操作，将其输入到卷积核大小为3×3的卷积计算过程Conv中，以生成一个L×M×1的特征数据，对该特征数据进行Sigmoid激活操作，生成空间域注意力重要性因子向量βs，将βs与Ftmp针对每个通道进行相同空间位置点的对应元素乘操作，最终得到一个新特征数据Fnew。
9.根据权利要求1所述的一种基于图像内容感知先验和注意力驱动的去噪网络模型，其特征在于，所述网络模型中使用的损失函数如下所示：
上式中，P表示无噪声图像对的数量，Θ表示网络参数，Xnoise表示网络输入的噪声图像，yground表示ground truth，Ψ(xnoise；Θ)表示通过所述网络模型得到的重建图像，eg(·)表示图像的结构性信息，a1和a2为两个高低阈值。
CN202311186023.1A 2023-09-13 2023-09-13 基于图像内容感知先验和注意力驱动的去噪网络模型 Pending CN117291835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311186023.1A CN117291835A (zh) 2023-09-13 2023-09-13 基于图像内容感知先验和注意力驱动的去噪网络模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311186023.1A CN117291835A (zh) 2023-09-13 2023-09-13 基于图像内容感知先验和注意力驱动的去噪网络模型

Publications (1)

Publication Number Publication Date
CN117291835A true CN117291835A (zh) 2023-12-26

Family

ID=89243555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311186023.1A Pending CN117291835A (zh) 2023-09-13 2023-09-13 基于图像内容感知先验和注意力驱动的去噪网络模型

Country Status (1)

Country Link
CN (1) CN117291835A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953349A (zh) * 2024-03-22 2024-04-30 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质
CN117953349B (zh) * 2024-03-22 2024-06-11 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309178A (zh) * 2023-03-28 2023-06-23 南京理工大学 一种基于自适应注意力机制网络的可见光图像去噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309178A (zh) * 2023-03-28 2023-06-23 南京理工大学 一种基于自适应注意力机制网络的可见光图像去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CONG LIN 等: ""A Deep Neural Network Based on Prior-Driven and Structural Preserving for SAR Image Despeckling"", 《IEEE》, 5 July 2023 (2023-07-05), pages 1 - 21 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953349A (zh) * 2024-03-22 2024-04-30 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质
CN117953349B (zh) * 2024-03-22 2024-06-11 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112200750B (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
CN109919838B (zh) 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
WO2022047625A1 (zh) 一种图像处理方法、系统和计算机存储介质
JP2022528539A (ja) ビデオ内視鏡検査における品質評価
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN112801889A (zh) 图像去噪方法、系统、设备及存储介质
Sreelakshmi et al. Fast and denoise feature extraction based ADMF–CNN with GBML framework for MRI brain image
CN113962887A (zh) 一种二维冷冻电镜图像去噪模型的训练方法、去噪方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
Yancheng et al. RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising
Lee et al. Speckle reduction via deep content-aware image prior for precise breast tumor segmentation in an ultrasound image
KR102357350B1 (ko) 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템
CN114663310A (zh) 一种基于多注意力融合的超声图像去噪方法
CN116503506B (zh) 一种图像重建方法、系统、装置及存储介质
Ma et al. Edge-guided cnn for denoising images from portable ultrasound devices
CN116342444A (zh) 一种双通道多模态图像融合方法及融合成像终端机
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
CN117291835A (zh) 基于图像内容感知先验和注意力驱动的去噪网络模型
Qiu et al. A despeckling method for ultrasound images utilizing content-aware prior and attention-driven techniques
Liu et al. Progressive residual learning with memory upgrade for ultrasound image blind super-resolution
CN114494498B (zh) 一种基于双域傅里叶神经网络的金属伪影去除方法
Tomar et al. ENHANCING IMAGE SUPER-RESOLUTION WITH DEEP CONVOLUTIONAL NEURAL NETWORKS.
Xiaowei et al. Fs-net: Medical image denoising via local receptive field smoothing network
Radhika et al. An adaptive optimum weighted mean filter and bilateral filter for noise removal in cardiac MRI images
Song et al. Ultrasonic image processing based on fusion super-resolution reconstruction of familiar models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination