CN112200750B - 一种超声图像去噪模型建立方法及超声图像去噪方法 - Google Patents

一种超声图像去噪模型建立方法及超声图像去噪方法 Download PDF

Info

Publication number
CN112200750B
CN112200750B CN202011129030.4A CN202011129030A CN112200750B CN 112200750 B CN112200750 B CN 112200750B CN 202011129030 A CN202011129030 A CN 202011129030A CN 112200750 B CN112200750 B CN 112200750B
Authority
CN
China
Prior art keywords
noise
image
model
ultrasound image
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011129030.4A
Other languages
English (en)
Other versions
CN112200750A (zh
Inventor
张旭明
兰艳成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011129030.4A priority Critical patent/CN112200750B/zh
Publication of CN112200750A publication Critical patent/CN112200750A/zh
Priority to PCT/CN2021/074584 priority patent/WO2022083026A1/zh
Application granted granted Critical
Publication of CN112200750B publication Critical patent/CN112200750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超声图像去噪模型建立方法及超声图像去噪方法，属于图像去噪领域，包括：数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；模型建立步骤：使用ResNet网络中的残差块为基本单元建立ResUNet网络，并引入注意力机制，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；模型训练步骤：利用训练数据集对初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型。本发明在UNet网络的基础上，引入残差块和注意力机制，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。

Description

一种超声图像去噪模型建立方法及超声图像去噪方法
技术领域
本发明属于图像去噪领域，更具体地，涉及一种超声图像模型建立方法及超声图像去噪方法。
背景技术
超声成像由于其无创、廉价和实时性的优点已经成为一种流行的医学成像技术。但是，超声成像的相干特性会导致超声图像中固有的斑点噪声，这些噪声导致了成像区域信息的不准确，进一步影响了医生对微小病变的判断。为此，对医学超声图像进行去噪处理就显得必不可少。
超声图像降噪方法包括频域降噪和空域降噪法两类，而空域降噪法中的代表性算法是非局部均值方法。该方法基本思想是：对当前像素点，计算图像中所有与其结构相似的像素点的灰度值的加权平均，得到对应的降噪结果。为了衡量两个结构相似的像素点，一般通过以这两个像素点为中心的图像块的灰度信息来确定。传统的非局部均值方法对于去除高斯噪声有很好的效果，但对于斑点噪声却不适合，这是由于斑点噪声与高斯噪声在噪声分布上有很大不同。为了将非局部均值方法应用到斑点噪声去除中，Coupe等提出了一种优化的贝叶斯非局部均值(OBNLM)方法。与传统的非局部均值方法不同，OBNLM使用基于贝叶斯框架得到的皮尔逊距离代替欧几里得距离，以准确度量两个图像块之间的相似性。此外，余后强等提出了一种基于PCANet的NLM方法，通过利用PCANet提取的图像固有特征而非像素灰度，以确定超声图像的非局部相似性。上述去斑点方法难以在充分抑制噪声的同时有效保护保留图像细节信息，特别是在当图像中斑点噪声污染较严重时上述缺点表现尤为明显。此外，由于涉及复杂运算操作，这些方法通常难以实现超声图像实时降噪。
作为机器学习领域中的一种流行算法，深度学习为实时有效的超声图像去斑提供了一种可能且有价值的解决方案，因为它可以自动从训练数据中学习内在特征，并可以促进高效的图像去噪。Chierchia等提出了一种使用残差学习策略来去除斑点噪声的卷积网络，该方法通过对数变换将乘性噪声转换为加性噪声，用于去除合成孔径雷达图像中的斑点噪声。王濮阳等提出了一种SAR图像去斑卷积网络，它同样使用了残差学习策略，将图像除以学习到的噪声残差来恢复图像。这两种方法都用于纯乘性噪声模型，并使用对数变换或者除法进行残差学习。然而，纯乘性噪声模型不能有效表征实际超声图像中斑点噪声的特性。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种超声图像去噪模型建立方法及超声图像去噪方法，其目的在于，提升对超声图像的去噪效果。
为实现上述目的，按照本发明的一个方面，提供了一种超声图像去噪模型建立方法，包括：
数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；
模型建立步骤：将UNet网络首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为ResNet网络的中的残差块，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；
模型训练步骤：利用训练数据集对初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型。
本发明所建立的超声图像去噪模型，是在UNet网络的基础上改进得到，从而可以利用UNet网络中由卷积层和下采样所构成的编码结构对输入的超声图像进行特征提取，并利用其中由卷积层和上采样所构成的解码结构对特征进行重建，得到去噪后的图像，在抑制超声图像中斑点噪声的同时，能够有效保留图像中的细节信息；超声图像去噪模型具体在UNet网络的基础上，将其中首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为残差块，能够有效增加网络深度，从而在编码和解码过程中，考虑非线性因素，更好地表征实际超声图像中斑点噪声的特性，得到更好的拟合结果。总体而言，本发明在UNet网络的基础上，将其中的部分卷积层替换为残差块，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。
进一步地，在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之前，还包括：
删除UNet网络中通道数为512和1024的卷积层，使UNet网络中的下采样和上采样的次数均减少为2次。
本发明在建立超声图像去噪模型时，删除UNet网络中通道数较多的卷积层，使其中的下采样和上采样的次数均减少为2次，能够有效减少模型参数，加快图像处理过程中的计算速度，提高实时性。
进一步地，在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之后，还包括：
在UNet网络的编码结构中任意两个卷积层之间插入混合注意力模块；混合注意力模块用于从通道域和空间域，根据相关性对像素值进行加权，以抑制噪声并增强特征。
本发明在UNet网络中的编码结构中任意两个卷积层之间插入混合注意力模块，能够在编码阶段的浅层抑制噪声且增强特征，提升超声图像去噪模型的去噪效果。
进一步地，混合注意力模块包括：通道注意力模块、空间注意力模块和噪声抑制模块；
通道注意力模块，用于基于非局部思想，对输入特征图中每个通道的特征图求其全局上下文，使用softmax函数将全局上下文转换为通道注意力的权值Mc；
空间注意力模块，用于基于通道注意力的权值Mc计算所有通道的加权平均，并使用softmax函数转换为空间注意力的权值Ms；
噪声抑制模块，用于将输入特征图与通道注意力的权值Mc和空间注意力的权值Ms进行逐点相乘，并通过残差连接将逐点相乘后得到的特征图与输入特征图进行逐点相加，得到噪声抑制后的特征图。
进一步地，残差块包括两个BN-LeakyReLU-Conv单元和一个残差连接；
BN-LeakyReLU-Conv单元包括依次连接的批量归一化层、LeakyReLU激活函数层和卷积层。
本发明所采用的残差块，其中的BN-LeakyReLU-Conv单元采用LeakyReLU激活函数，并且将批量归一化层和LeakyReLU激活函数层至于卷积层之前，能够获得较好的超声图像去噪效果。
进一步地，在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，所使用的损失函数为：
Figure BDA0002734492130000041
其中，L表示损失函数，v表示标签，v＇表示超声图像去噪模型的输出，λTV表示正则项系数，
Figure BDA0002734492130000042
和
Figure BDA0002734492130000043
分别表示水平方向和垂直方向的梯度，||·||2表示矩阵L2范数。
本发明所使用的损失函数中，在均方误差
Figure BDA0002734492130000044
的基础上，加上了全变分正则项
Figure BDA0002734492130000045
从而能够对输出图像的梯度进行约束，保持图像的光滑性。
进一步地，本发明提供的超声图像去噪模型建立方法，还包括：获得用于添加斑点噪声的噪声模型中噪声项的标准差分布范围，对分布范围进行划分，得到多个噪声水平；
在数据集预处理步骤中，在为图像块添加斑点噪声时，对于同一个图像块，按照不同的噪声水平添加噪声，得到多个噪声图像；
在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，利用不同噪声水平所对应的训练样本分别对初始去噪模型进行训练，从而得到各噪声水平所对应的超声图像去噪模型。
本发明构建不同噪声水平所对应的训练数据集，并采用不同噪声水平所对应的训练数据集分别对所建立的模型进行训练，得到各噪声水平所对应的超声图像去噪模型，从而在后续对超声图像进行去噪时，能够根据超声图像自身的噪声水平加载相应的模型，针对不同的超声图像都有效提升超声图像去噪的效果。
按照本发明的另一个方面，提供了一种超声图像去噪方法，包括：
对超声图像进行预处理，使其适于输入由本发明提供的超声图像去噪模型建立方法得到的超声图像去噪模型，并将预处理后的超声图像输入超声图像去噪模型，以对超声图像进行去噪。
由于本发明所提供的超声图像去噪模型建立方法得到的超声图像去噪模型能够在抑制噪声的同时，有效保留图像的细节，并且更好地表征实际超声图像中斑点噪声的特性，因此，基于本发明所建立的超声图像去噪模型，本发明所提供的超声图像去噪方法具有良好的去噪效果。
按照本发明的又一个方面，提供了一种超声图像去噪方法，包括：
估计超声图像的噪声项的标准差σ；
按照本发明所提供的超声图像去噪模型建立方法划分的噪声水平，将标准差σ向上取最接近的噪声水平作为超声图像的噪声水平；
对超声图像进行预处理，使其适于输入由本发明所提供的超声图像去噪模型建立方法得到的超声图像去噪模型，并从本发明所提供的超声图像去噪模型建立方法得到的各超声水平所对应的超声图像去噪模型中筛选出与超声图像的噪声水平对应的超声图像去噪模型，将预处理后的超声图像输入所筛选出的超声图像去噪模型，以对超声图像进行去噪。
本发明所提供的超声图像去噪方法，基于超声图像自身的噪声水平，加载相应水平的超声图像去噪模型进行去噪，能够自动处理不同超声图像，获得良好的超声图像去噪效果。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的超声图像去噪模型建立方法，和/或本发明提供的超声图像去噪方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所建立的超声图像去噪模型，是在UNet网络的基础上改进得到，从而可以利用UNet网络中由卷积层和下采样所构成的编码结构对输入的超声图像进行特征提取，并利用其中由卷积层和上采样所构成的解码结构对特征进行重建，得到去噪后的图像，在抑制超声图像中斑点噪声的同时，能够有效保留图像中的细节信息；超声图像去噪模型具体在UNet网络的基础上，将其中首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为残差块，能够有效增加网络深度，从而在编码和解码过程中，考虑非线性因素，更好地表征实际超声图像中斑点噪声的特性，得到更好的拟合结果。总体而言，本发明在UNet网络的基础上，将其中的部分卷积层替换为残差块，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。
(2)本发明在建立超声图像去噪模型时，删除UNet网络中通道数较多的卷积层，使其中的下采样和上采样的次数均减少为2次，能够有效减少模型参数，加快图像处理过程中的计算速度，提高实时性。
(3)本发明在UNet网络中的编码结构中任意两个卷积层之间插入混合注意力模块，能够在编码阶段的浅层抑制噪声且增强特征，提升超声图像去噪模型的去噪效果。
(4)本发明所使用的损失函数中，在均方误差
Figure BDA0002734492130000071
的基础上，加上了全变分正则项
Figure BDA0002734492130000072
从而能够对输出图像的梯度进行约束，保持图像的光滑性。
(5)本发明构建不同噪声水平所对应的训练数据集，并采用不同噪声水平所对应的训练数据集分别对所建立的模型进行训练，得到各噪声水平所对应的超声图像去噪模型，从而在后续对超声图像进行去噪时，能够根据超声图像自身的噪声水平加载相应的模型，针对不同的超声图像都有效提升超声图像去噪的效果。
附图说明
图1为现有的UNet网络的结构示意图；
图2为本发明实施例提供的超声图像去噪模型的结构示意图；
图3为本发明实施例提供的混合注意力模块的结构示意图；
图4为本发明实施例提供的针对同一仿真图，不同超声图像去噪方法所得到的去噪图像；其中，(a)基于Field II的仿真图，(b)为采用本发明提供的超声图像去噪方法得到的去噪图像，(c)为采用OBNLM方法得到的去噪图像，(d)为采用DnCNN方法得到的去噪图像，(e)为采用ID-CNN方法得到的去噪图像；
图5为本发明实施例提供的针对同一临床真实超声图像，不同超声图像去噪方法所得到的去噪图像；其中，(a)为临床真实超声图像，(b)为采用本发明提供的超声图像去噪方法得到的去噪图像，(c)为采用OBNLM方法得到的去噪图像，(d)为采用DnCNN方法得到的去噪图像，(e)为采用ID-CNN方法得到的去噪图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1：
一种超声图像去噪模型建立方法，包括：
数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；
模型建立步骤：将UNet网络首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为ResNet网络的中的残差块，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；
模型训练步骤：利用训练数据集对初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型；
传统的UNet网络的结构如图1所示，其中包括下采样部分和上采样部分；下采样由卷积运算、池化运算组成，将高分辨率的图像信息提取为高度抽象化的特征信息；上采样则将特征信息还原为原分辨率的图像用于图像分割；一系列卷积网络生成不同维度的特征图，其中高维度的特征图用于定位，低维度的特征图用于细节的分割与提取；UNet网络是一种编码-解码结构，可以对输入图像进行特征提取，由特征重建去噪图像；
本实施例所建立的超声图像去噪模型，是在UNet网络的基础上改进得到，其结构如图2所示；因此，本实施例所建立的超声图像去噪模型可以利用UNet网络中由卷积层和下采样所构成的编码结构对输入的超声图像进行特征提取，并利用其中由卷积层和上采样所构成的解码结构对特征进行重建，得到去噪后的图像，在抑制超声图像中斑点噪声的同时，能够有效保留图像中的细节信息；本实施例所建立的超声图像去噪模型具体在UNet网络的基础上，将其中首、尾两个卷积层以及下采样和上采样卷积层(即UNet网络中实现特殊功能的卷积层)之外的全部或部分卷积层替换为残差块，能够有效增加网络深度，从而在编码和解码过程中，考虑非线性因素，更好地表征实际超声图像中斑点噪声的特性，得到更好的拟合结果。总体而言，本实施例在UNet网络的基础上，将其中的部分卷积层替换为残差块，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。
如图2所示，本实施例所建立的超声图像去噪模型中，下采样次数和上采样次数均为2次，相应地，作为一种优选地实施方式，本实施例在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之前，还包括：
删除UNet网络中通道数为512和1024的卷积层，使UNet网络中的下采样和上采样的次数均减少为2次；由此能够有效减少模型参数，加快图像处理过程中的计算速度，提高实时性；
本实施例所建立的超声图像去噪模型中，下采样使用步长为2、无填充的2×2卷积，并将通道数翻倍，上采样使用反卷积的方式，以增大特征图分辨率并将通道数减半。
如图2所示，本实施例所建立的超声图像去噪模型中，在模型的首部还插入了混合注意力模块(C&A)，相应地，作为一种优选的实施方式，本实施例在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之后，还包括：
在UNet网络的编码结构中位于首部的两个卷积层之间插入混合注意力模块；混合注意力模块用于从通道域和空间域，根据相关性对像素值进行加权，以抑制噪声并增强特征；
本实施例中，混合注意力模块包括：通道注意力模块、空间注意力模块和噪声抑制模块；
通道注意力模块，用于基于非局部思想，对输入特征图中每个通道的特征图求其全局上下文，使用softmax函数将全局上下文转换为通道注意力的权值Mc；
空间注意力模块，用于基于通道注意力的权值Mc计算所有通道的加权平均，并使用softmax函数转换为空间注意力的权值Ms；
噪声抑制模块，用于将输入特征图与通道注意力的权值Mc和空间注意力的权值Ms进行逐点相乘，并通过残差连接将逐点相乘后得到的特征图与输入特征图进行逐点相加，得到噪声抑制后的特征图；
本实施例中，混合注意力模块的具体结构如图3所示，其中通道注意力模块具体包括两个部分，其中一个部分用于求取每个通道的特征图的全局上下文z，另一个部分用于计算通道注意力的权值Mc；
通道注意力模块中，用于求取每个通道的特征图的全局上下文z的部分包括一个卷积核大小为1×1、步长为1的二维卷积层，一个softmax激活函数层，一个用于实现矩阵叉乘的乘法单元以及一个残差连接；相应的计算公式如下：
z＝x×softmax(Conv(x))；
通道注意力模块中，用于计算通道注意力的权值Mc的部分包括一个卷积核大小为1×1、步长为1的二维卷积层和一个softmax激活函数层；相应的计算公式如下：
Mc＝softmax(Conv(z))；
如图3所示，空间注意力模块具体包括，一个用于实现矩阵叉乘的乘法单元，一个残差连接，一个卷积核大小为7×7、步长为1、填充为3的二维卷积层和一个softmax激活函数层；空间注意力模块得到空间注意力的权值Ms的公式如下：
Ms＝softmax(Conv(Mc×x))；
如图3所示，噪声抑制模块包括一个实现逐点相乘的乘法单元，一个实现逐点相加的加法单元，以及残差连接；相应的计算公式如下：
x′＝x+Mc·Ms·x；
在以上计算公式中，x为输入特征图，x＇表示输出图像，z表示通道特征图的全局上下文，×表示矩阵叉乘，·表示逐点相乘，+表示逐点相加，Conv()表示卷积操作，softmax()表示softmax函数；
应当说明的是，上述混合注意力模块是一个即插即用模块，在本发明其他的一些实施例中，混合注意力模块也可以在UNet网络中的编码结构中任意两个卷积层之间插入混合注意力模块；
本实施例通过在超声图像去噪模型中加入混合注意力模块，能够在编码阶段的浅层抑制噪声且增强特征，提升超声图像去噪模型的去噪效果。
作为一种优选的实施方式，本实施例中，残差块包括两个BN-LeakyReLU-Conv单元和一个残差连接；
BN-LeakyReLU-Conv单元包括依次连接的批量归一化层、LeakyReLU激活函数层和卷积层；
相应地，残差模块的计算公式如下：
LeakyReLU＝max(ax,x),a∈(0,1)；
x′＝Conv(x)+x；
在以上计算公式中，max()表示取最大值；
本实施例所采用的残差块，其中的BN-LeakyReLU-Conv单元采用LeakyReLU激活函数，并且将批量归一化层和LeakyReLU激活函数层至于卷积层之前，能够获得较好的超声图像去噪效果。
作为一种优选的实施方式，本实施例在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，所使用的损失函数为：
Figure BDA0002734492130000121
其中，L表示损失函数，v表示标签，v＇表示超声图像去噪模型的输出，λTV表示正则项系数，
Figure BDA0002734492130000122
和
Figure BDA0002734492130000123
分别表示水平方向和垂直方向的梯度，||·||2表示矩阵L2范数；
本实施例所使用的损失函数中，在均方误差
Figure BDA0002734492130000124
的基础上，加上了全变分正则项
Figure BDA0002734492130000125
从而能够对输出图像的梯度进行约束，保持图像的光滑性。
作为一种可选的实施方式，本实施例中，数据集预处理步骤中，对自然图像数据集中的图像进行预处理的方式具体包括：
将400张180×180大小的自然图像进行缩放、平移、旋转以及翻转等数据增强后，裁剪成64×64大小的图像块，作为训练样本的标签；
使用超声斑点噪声模型公式，对图像块添加噪声，将添加噪声后图像块作为超声图像去噪模型的输入；本实施例所使用的超声斑点噪声模型公式如下：
Figure BDA0002734492130000126
其中，v是不含噪声图像，u是噪声图像，η是高斯分布的噪声项；
由图像块及其对应的噪声图像作为一个训练样本，将所有的训练样本的顺序打乱并归一化之后，得到训练数据集；训练数据集中，划分出1％作为验证集；
应当说明的是，在本发明其他的一些实施例中，也可以使用其他的噪声模型为图像块添加噪声，在此将不作一一列举。
实施例2：
本实施例与上述实施例1类似，所不同之处在于，本实施例还包括：
获得用于添加斑点噪声的噪声模型中噪声项的标准差分布范围，对分布范围进行划分，得到多个噪声水平；
在数据集预处理步骤中，在为图像块添加斑点噪声时，对于同一个图像块，按照不同的噪声水平添加噪声，得到多个噪声图像；
在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，利用不同噪声水平所对应的训练样本分别对初始去噪模型进行训练，从而得到各噪声水平所对应的超声图像去噪模型；
随着所采用的噪声模型不同，噪声项的标准差分布范围也会有所不同，在实际应用中，基于所选用的噪声模型特点，相应确定该分布范围即可；本实施例使用
Figure BDA0002734492130000131
这一噪声模型，其噪声项的标准差分布范围为2～5，可选地，本实施例中，在2～5的范围内，以0.25为间隔进行噪声水平的划分。
本实施例构建不同噪声水平所对应的训练数据集，并采用不同噪声水平所对应的训练数据集分别对所建立的模型进行训练，得到各噪声水平所对应的超声图像去噪模型，从而在后续对超声图像进行去噪时，能够根据超声图像自身的噪声水平加载相应的模型，针对不同的超声图像都有效提升超声图像去噪的效果。
实施例3：
一种超声图像去噪方法，包括：
对超声图像进行预处理，使其适于输入由上述实施例1提供的超声图像去噪模型建立方法得到的超声图像去噪模型，并将预处理后的超声图像输入超声图像去噪模型，以对超声图像进行去噪。
由于上述实施例1所提供的超声图像去噪模型建立方法得到的超声图像去噪模型能够在抑制噪声的同时，有效保留图像的细节，并且更好地表征实际超声图像中斑点噪声的特性，因此，本实施例所提供的超声图像去噪方法具有良好的去噪效果。
实施例4：
一种超声图像去噪方法，包括：
估计超声图像的噪声项的标准差σ；
按照上述实施例2所提供的超声图像去噪模型建立方法划分的噪声水平，将标准差σ向上取最接近的噪声水平作为超声图像的噪声水平；
对超声图像进行预处理，使其适于输入由本发明所提供的超声图像去噪模型建立方法得到的超声图像去噪模型，并从本发明所提供的超声图像去噪模型建立方法得到的各超声水平所对应的超声图像去噪模型中筛选出与超声图像的噪声水平对应的超声图像去噪模型，将预处理后的超声图像输入所筛选出的超声图像去噪模型，以对超声图像进行去噪；
作为一种可选的实施方式，本实施例中，估计超声图像的噪声项的标准差σ，具体包括：
将超声图像划分成多个子区域；为便于计算，在此划分得到的子区域大小相同；为了避免子区域太大导致局部均匀的假设不成立，或者子区域太小导致噪声的分布离正态分布偏离太远，在此，划分得到的子区域大小为6×6；
对子区域内所有像素点的平均像素值作为斑点噪声公式中的v，求出所有子区域的噪声项η的标准差σ。
在实验中发现模型对应的噪声水平不低于实际噪声水平能取得比较好的去噪效果，在低于实际噪声水平时有比较明显的噪声残余，本实施例估计得到噪声项的标准差σ后向上取最近的噪声水平，能够进一步保证去噪效果。
本实施例所提供的超声图像去噪方法，基于超声图像自身的噪声水平，加载相应水平的超声图像去噪模型进行去噪，能够自动处理不同超声图像，获得良好的超声图像去噪效果。
实施例5：
一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1或2提供的超声图像去噪模型建立方法，和/或上述实施例3或4提供的超声图像去噪方法。
以下结合对比实验，对本发明所能取得的有益效果做进一步的说明。在对比实验中，分别采用基于Field II的仿真图以及真实医学超声图像进行测试，去噪结果通过定量和定性两方面综合评估；实验中，选用3种现有的超声图像去噪方法作为对比例，记为对比例1、对比例2和对比例3，各对比例分别如下：
对比例1：按照(IEEE.Trans Image Proc.18(10)(2009)2221-2229.)里的OBNLM方法实现去噪。具体参数为：搜索窗大小选择为17×17，相似窗大小选择为7×7；
对比例2：按照(IEEE.Trans Image Proc.26(7)(2017)3142-3155.)里的DnCNN方法实现去噪，使用与本发明方法相同的数据集和损失函数训练；
对比例3：按照(IEEE.Signal Processing Letters.24(12)(2017)1763-1769.)里的ID-CNN方法去噪，使用与本发明方法相同的数据集和损失函数训练。
将上述实施例4与对比例1-3的去噪效果进行比较，为便于描述，将上述实施例提供的超声图像去噪方法简记为MARU(Mixed Attention based Residual UNet)。定量比较采用ENL(equivalent number of looks，等效视数)和CNR(contrast-to-noise ratio，对比噪声比)进行评价，其中ENL和CNR分别定义如下：
Figure BDA0002734492130000161
Figure BDA0002734492130000162
上式中，μb和μo分别是背景区域和目标区域的平均灰度值，σb和σo分别是背景区域和目标区域的标准差。
采用基于Field II的仿真超声图像和真实的超声图像进行去噪效果测试，分别从仿真图和实际图中各挑选四对感兴趣区(Region of Interest,ROI)，表1和表2分别列出了降噪前及四种方法降噪后各对ROI对应的ENL和CNR值，其中MARU为本专利提出的基于混合注意力的残余UNet。从两表可看出，对仿真图像而言，MARU方法除了ROI3对应的CNR非最高外，在其他ROI上皆可取得最高的ENL和CNR。对实际临床图而言，MARU方法除了ROI2和ROI3对应的ENL非最高外，在其他ROI上其ENL和CNR值皆高于其它方法。
表1各方法在Field II仿真图像去噪后的ENL和CNR值对比
Figure BDA0002734492130000171
表2各方法在真实的医学超声图像去噪后的ENL和CNR值对比
Figure BDA0002734492130000172
为更直观地显示本发明相对于其余方法的优越性，我们提供了实施例与对比例1-3对应去噪图像的视觉效果图，如图4和图5所示。图4中的(a)为仿真图像，图4中的(b)为实施例方法MARU获得的去噪图像，图4中的(c)为对比例1方法获得的去噪图像，图4中的(d)为对比例2方法获得的去噪图像，图4中的(e)为对比例3方法获得的去噪图像。图5中的(a)为医学超声图像，图5中的(b)为实施例方法获得的去噪图像，图5中的(c)为对比例1方法获得的去噪图像，图5中的(d)为对比例2方法获得的去噪图像，图5中的(e)为对比例3方法获得的去噪图像。从图4和图5可看出，本发明提出的MARU方法与其它三个对比方法相比，不仅可以更好地抑制图像中的斑点噪声，而且可更好地保护图像细节信息。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种超声图像去噪模型建立方法，其特征在于，包括：
数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；
模型建立步骤：将UNet网络首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为ResNet网络的中的残差块，在所述UNet网络的编码结构中任意两个卷积层之间插入混合注意力模块，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；
模型训练步骤：利用所述训练数据集对所述初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型；
其中，所述混合注意力模块用于从通道域和空间域，根据相关性对像素值进行加权，以抑制噪声并增强特征；所述混合注意力模块包括：通道注意力模块、空间注意力模块和噪声抑制模块；
所述通道注意力模块，用于基于非局部思想，对输入特征图中每个通道的特征图求其全局上下文，使用softmax函数将所述全局上下文转换为通道注意力的权值Mc；
所述空间注意力模块，用于基于所述通道注意力的权值Mc计算所有通道的加权平均，并使用softmax函数转换为空间注意力的权值Ms；
所述噪声抑制模块，用于将所述输入特征图与所述通道注意力的权值Mc和所述空间注意力的权值Ms进行逐点相乘，并通过残差连接将逐点相乘后得到的特征图与所述输入特征图进行逐点相加，得到噪声抑制后的特征图。
2.如权利要求1所述的超声图像去噪模型建立方法，其特征在于，在所述模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之前，还包括：
删除所述UNet网络中通道数为512和1024的卷积层，使所述UNet网络中的下采样和上采样的次数均减少为2次。
3.如权利要求1所述的超声图像去噪模型建立方法，其特征在于，所述残差块包括两个BN-LeakyReLU-Conv单元和一个残差连接；
所述BN-LeakyReLU-Conv单元包括依次连接的批量归一化层、LeakyReLU激活函数层和卷积层。
4.如权利要求1所述的超声图像去噪模型建立方法，其特征在于，在所述模型训练步骤中，利用所述训练数据集对所述初始去噪模型进行训练时，所使用的损失函数为：
Figure FDA0003696352570000021
其中，L表示损失函数，v表示标签，v＇表示所述超声图像去噪模型的输出，λTV表示正则项系数，
Figure FDA0003696352570000022
和
Figure FDA0003696352570000023
分别表示水平方向和垂直方向的梯度，||·||2表示矩阵L2范数。
5.如权利要求1-4任一项所述超声图像去噪模型建立方法，其特征在于，还包括：获得用于添加斑点噪声的噪声模型中噪声项的标准差分布范围，对所述分布范围进行划分，得到多个噪声水平；
在所述数据集预处理步骤中，在为图像块添加斑点噪声时，对于同一个图像块，按照不同的噪声水平添加噪声，得到多个噪声图像；
在所述模型训练步骤中，利用所述训练数据集对所述初始去噪模型进行训练时，利用不同噪声水平所对应的训练样本分别对所述初始去噪模型进行训练，从而得到各噪声水平所对应的超声图像去噪模型。
6.一种超声图像去噪方法，其特征在于，包括：
对超声图像进行预处理，使其适于输入由权利要求1-4任一项所述的超声图像去噪模型建立方法得到的超声图像去噪模型，并将预处理后的超声图像输入所述超声图像去噪模型，以对所述超声图像进行去噪。
7.一种超声图像去噪方法，其特征在于，包括：
获得用于添加斑点噪声的噪声模型中噪声项的标准差分布范围，对所述分布范围进行划分，得到多个噪声水平；
估计超声图像的噪声项的标准差σ；
按照划分的噪声水平，将所述标准差σ向上取最接近的噪声水平作为所述超声图像的噪声水平；
对超声图像进行预处理，使其适于输入由权利要求5所述的超声图像去噪模型建立方法得到的超声图像去噪模型，并从权利要求5所述的超声图像去噪模型建立方法得到的各超声水平所对应的超声图像去噪模型中筛选出与所述超声图像的噪声水平对应的超声图像去噪模型，将预处理后的超声图像输入所筛选出的超声图像去噪模型，以对所述超声图像进行去噪。
8.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；
所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-5任一项所述的超声图像去噪模型建立方法。
9.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；
所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求6或7所述的超声图像去噪方法。
CN202011129030.4A 2020-10-21 2020-10-21 一种超声图像去噪模型建立方法及超声图像去噪方法 Active CN112200750B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011129030.4A CN112200750B (zh) 2020-10-21 2020-10-21 一种超声图像去噪模型建立方法及超声图像去噪方法
PCT/CN2021/074584 WO2022083026A1 (zh) 2020-10-21 2021-02-01 一种超声图像去噪模型建立方法及超声图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011129030.4A CN112200750B (zh) 2020-10-21 2020-10-21 一种超声图像去噪模型建立方法及超声图像去噪方法

Publications (2)

Publication Number Publication Date
CN112200750A CN112200750A (zh) 2021-01-08
CN112200750B true CN112200750B (zh) 2022-08-05

Family

ID=74010324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011129030.4A Active CN112200750B (zh) 2020-10-21 2020-10-21 一种超声图像去噪模型建立方法及超声图像去噪方法

Country Status (2)

Country Link
CN (1) CN112200750B (zh)
WO (1) WO2022083026A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200750B (zh) * 2020-10-21 2022-08-05 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN112801928B (zh) * 2021-03-16 2022-11-29 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN113191968B (zh) * 2021-04-19 2024-02-09 华中科技大学 三维超声图像盲去噪模型的建立方法及其应用
CN113129235A (zh) * 2021-04-22 2021-07-16 深圳市深图医学影像设备有限公司 一种医学图像噪声抑制算法
CN113034408B (zh) * 2021-04-30 2022-08-12 广东工业大学 一种红外热成像深度学习图像去噪方法及装置
CN114220132A (zh) * 2021-12-01 2022-03-22 上海海栎创科技股份有限公司 指纹图像降噪方法及其装置
CN114266945B (zh) * 2022-02-28 2022-06-14 粤港澳大湾区数字经济研究院(福田) 一种目标检测模型的训练方法、目标检测方法及相关装置
CN114821580A (zh) * 2022-05-09 2022-07-29 福州大学 一种分阶段融入去噪模块的含噪图像分割方法
CN115063434B (zh) * 2022-05-12 2024-06-04 北京理工大学 一种基于特征去噪的低弱光图像实例分割方法及系统
CN114858467B (zh) * 2022-05-26 2023-05-26 上海交通大学 柴油机抗噪和跨噪声域失火诊断方法及系统
CN114998138B (zh) * 2022-06-01 2024-05-28 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN115115544A (zh) * 2022-06-22 2022-09-27 哈尔滨理工大学 一种基于注意力机制gan的辐照环境图像降噪方法
CN115267713A (zh) * 2022-07-01 2022-11-01 西安电子科技大学 一种基于语义分割的间歇采样干扰识别和抑制方法
CN115153588B (zh) * 2022-07-25 2023-06-06 陕西师范大学 融合密集残差和注意力机制的脑电时空去噪方法
CN114972130B (zh) * 2022-08-02 2022-11-18 深圳精智达技术股份有限公司 一种去噪神经网络的训练方法、装置及训练设备
CN115222630A (zh) * 2022-08-09 2022-10-21 中国科学院自动化研究所 图像生成方法、图像去噪模型的训练方法和设备
CN115267899B (zh) * 2022-08-15 2024-01-12 河北地质大学 基于边界保持的DnCNN混合震源地震数据分离方法和系统
CN115526857A (zh) * 2022-09-26 2022-12-27 深圳先进技术研究院 一种pet图像去噪的方法、终端设备及可读存储介质
CN115512204A (zh) * 2022-09-28 2022-12-23 中国舰船研究设计中心 一种基于U-net网络的线谱干扰自动检测方法
CN115345801B (zh) * 2022-10-18 2023-03-24 中科方寸知微(南京)科技有限公司 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统
CN116051408B (zh) * 2023-01-06 2023-10-27 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法
CN116206221B (zh) * 2023-01-16 2023-09-05 北京师范大学 一种水体耀斑检测方法和系统
CN116012266B (zh) * 2023-03-29 2023-06-16 中国科学技术大学 图像去噪方法、系统、设备及存储介质
CN116152278B (zh) * 2023-04-17 2023-07-21 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN116993845B (zh) * 2023-06-09 2024-03-15 西安交通大学 一种基于集成深度网络DnCNN的CT图像去伪影方法
CN116664450A (zh) * 2023-07-26 2023-08-29 国网浙江省电力有限公司信息通信分公司 基于扩散模型的图像增强方法、装置、设备及存储介质
CN116757966A (zh) * 2023-08-17 2023-09-15 中科方寸知微(南京)科技有限公司 基于多层级曲率监督的图像增强方法及系统
CN117095074B (zh) * 2023-08-23 2024-04-09 浙江大学 一种基于深度学习的医学图像的双重去噪方法及装置
CN117115452B (zh) * 2023-09-12 2024-06-25 澳门理工大学 可控的医学超声图像去噪方法、系统及计算机存储介质
CN117274109B (zh) * 2023-11-14 2024-04-23 荣耀终端有限公司 图像处理方法、降噪模型训练方法及电子设备
CN117291846B (zh) * 2023-11-27 2024-02-27 北京大学第三医院（北京大学第三临床医学院） 一种应用于喉显微外科手术的oct系统及图像去噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871777A (zh) * 2019-01-23 2019-06-11 广州智慧城市发展研究院 一种基于注意力机制的行为识别系统
KR102013777B1 (ko) * 2018-12-12 2019-10-21 한국과학기술정보연구원 동영상 왜곡 복원 방법 및 이를 적용한 장치
CN111145123A (zh) * 2019-12-27 2020-05-12 福州大学 基于U-Net融合保留细节的图像去噪方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111489303A (zh) * 2020-03-27 2020-08-04 武汉理工大学 一种低照度环境下海事图像增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475186B2 (en) * 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
CN111369442B (zh) * 2020-03-10 2022-03-15 西安电子科技大学 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN111652812A (zh) * 2020-04-30 2020-09-11 南京理工大学 基于选择性注意力机制的图像去雾和去雨算法
CN112200750B (zh) * 2020-10-21 2022-08-05 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013777B1 (ko) * 2018-12-12 2019-10-21 한국과학기술정보연구원 동영상 왜곡 복원 방법 및 이를 적용한 장치
CN109871777A (zh) * 2019-01-23 2019-06-11 广州智慧城市发展研究院 一种基于注意力机制的行为识别系统
CN111145123A (zh) * 2019-12-27 2020-05-12 福州大学 基于U-Net融合保留细节的图像去噪方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111489303A (zh) * 2020-03-27 2020-08-04 武汉理工大学 一种低照度环境下海事图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"GCNet: Non-Local Networks Meet Squeeze-Excitation Networks and Beyond";Y. Cao等;《2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)》;20200305;全文 *
"Residual Non-local Attention Networks for Image Restoration";Yulun Zhang等;《arXiv:1903.10082v1》;20190324;全文 *
"基于二阶结构层嵌入卷积网络的图像分类研究";葛疏雨;《中国优秀博硕士学位论文全文数据库(硕士)·信息科技辑》;20200215;第2020年卷(第02期);全文 *

Also Published As

Publication number Publication date
WO2022083026A1 (zh) 2022-04-28
CN112200750A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112200750B (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Fracastoro et al. Deep learning methods for synthetic aperture radar image despeckling: An overview of trends and perspectives
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN106709877B (zh) 一种基于多参数正则优化模型的图像去模糊方法
CN109671029B (zh) 基于伽马范数最小化的图像去噪方法
CN110992292B (zh) 一种增强型低秩稀疏分解模型医学ct图像去噪方法
CN111127354B (zh) 一种基于多尺度字典学习的单图像去雨方法
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN108932699B (zh) 基于变换域的三维匹配调和滤波图像去噪方法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN111340716A (zh) 一种改进双重判别对抗网络模型的图像去模糊方法
CN112419174B (zh) 基于门循环单元的图像文字去除方法、系统及装置
CN116682120A (zh) 基于深度学习的多语种马赛克图像文本识别方法
CN113191968B (zh) 三维超声图像盲去噪模型的建立方法及其应用
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN106981046B (zh) 基于多层梯度约束回归的单幅图像超分辨率重建方法
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
Tomar et al. Attentive exfeat based deep generative adversarial network for noise robust face super-resolution
CN117291835A (zh) 基于图像内容感知先验和注意力驱动的去噪网络模型
CN112819739A (zh) 一种扫描电子显微镜图像处理方法和系统
Ma et al. Edge-guided cnn for denoising images from portable ultrasound devices
CN115937302A (zh) 结合边缘保持的高光谱图像亚像元定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant