CN110335202A - 一种水下声纳图像噪声消除方法 - Google Patents

一种水下声纳图像噪声消除方法 Download PDF

Info

Publication number
CN110335202A
CN110335202A CN201910277579.9A CN201910277579A CN110335202A CN 110335202 A CN110335202 A CN 110335202A CN 201910277579 A CN201910277579 A CN 201910277579A CN 110335202 A CN110335202 A CN 110335202A
Authority
CN
China
Prior art keywords
image
layer
training
error
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910277579.9A
Other languages
English (en)
Inventor
刘�文
卢煜旭
张瑞
孙睿涵
吴芷璇
何俊
马全党
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201910277579.9A priority Critical patent/CN110335202A/zh
Publication of CN110335202A publication Critical patent/CN110335202A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/45Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种水下声纳图像噪声消除方法,包括以下步骤:1)采取不同环境下的色彩清晰的彩色图像,然后将其转变成灰度图;2)将步骤1)中采集的图象进行图像处理操作转换成为设定数量数据集,作为训练数据;3)将得到的数据集进行对数化处理;4)将处理完毕的数据集运用基于残差卷积神经网络框架训练学习;5)得到训练参数,根据得到的残差卷积神经网络对测试图像进行去噪处理,得到噪声图像,然后根据噪声图像和原始测试图像得到去噪后的图像。本发明采用CNN对对数域的散斑噪声进行估计,采用结构相似性度量作为损失函数,在散斑噪声抑制过程中保持更多的几何结构,保证高质量的去噪检测性能。

Description

一种水下声纳图像噪声消除方法
技术领域
本发明涉及计算机视觉图像增强领域,尤其涉及一种水下声纳图像噪声消除方法。
背景技术
随着海洋工程的迅速发展,水下声纳成像系统已成功地应用于遥控飞行器(ROV)和研究船探测和识别感兴趣的水下目标。由于成像条件复杂,得到的图像信号采集和传输过程中的噪声。不必要的散斑噪声会限制目标检测、跟踪和识别等实际应用,为了提高声纳成像的可靠性,在实际应用中有必要降低散斑噪声。从统计的角度来看,信号相关的散斑噪声与其他常见类型的噪声(如泊松噪声、加性高斯噪声、脉冲噪声和混合高斯脉冲噪声等)有很大的不同。在文献中,大多数图像恢复技术最初提出对于高斯去噪,已经自然地扩展到处理其他类型的噪声。例如,全变差(TV)正则化变分模型及其高阶扩展、基于补丁的非局部均值(NLM)、块匹配和三维过滤(BM3D)、稀疏表示和低阶建模在图像处理和计算机视觉领域得到了广泛关注。基于最大后验(MAP)估计,提出了基于TVbased的散斑去噪变分模型,该模型在噪声抑制和边缘保持方面具有良好的性能。从数学上讲,TV Regularizer倾向于采用分段常数的解决方案。因此,去噪图像很容易从不受欢迎的阶梯状人工制品中分离出来,导致视觉图像质量下降。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种水下声纳图像噪声消除方法。
本发明解决其技术问题所采用的技术方案是:一种水下声纳图像噪声消除方法,包括以下步骤:
1)采取不同环境下的色彩清晰的彩色图像,然后将其转变成灰度图;
2)将步骤1)中采集的图象进行图像处理操作转换成为设定数量数据集,作为训练数据;所述图像处理操作包括上下翻转、左右翻转、向左或向右旋转、放大、缩小、切割中的一种或几种的组合;
3)将得到的数据集进行对数化处理;
4)将处理完毕的数据集运用基于残差卷积神经网络框架训练学习;
5)得到训练参数,根据得到的残差卷积神经网络对测试图像进行去噪处理,得到噪声图像,然后根据噪声图像和原始测试图像得到去噪后的图像。
按上述方案,所述步骤4)中基于残差卷积神经网络框架训练学习过程如下:
1)设置训练学习参数,为残差卷积神经网络进行权值的初始化;所述参数包括批训练量、学习率、训练次数;
2)输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值;根据损失函数求出残差卷积神经网络的输出值与目标值之间的误差;
3)当误差大于期望值时,将误差传回网络中,依次求得全连接层,下采样层,卷积层的误差;各层的误差可以理解为对于网络的总误差,网络应承担多少;
4)误差大于期望值时,根据求得误差进行权值更新;
5)当误差等于或小于期望值时,结束训练。
按上述方案,所述步骤2)中采用的损失函数为SSIM损失函数。
按上述方案,所述步骤4)中残差卷积神经网络的结构如下,包括:
1)输入层:Conv(3*3*c*64)+ReLU(c代表图片通道数,因为在训练时采用的是灰度图,所以c=1)
输入层为第一层,输入为35x35xc的图像,经过64个3x3x3的卷积核卷积,输出为64张35x35的特征图,即35x35x64的图像。(因为加了padding,所以大小没有变)
2)卷积层:Conv(3*3*64*64)+BN(Batch Normalization)+ReLu;其中,卷积层共16层;
卷积层为第(2~(d-1))层,有64个3x3x64的卷积核,所以这些层的输入输出都为35x35x64的图像。在卷积和激活函数间添加批量归一化。
3)输出层:Conv(3*3*64),
输出层通过1个3x3x64的卷积核,重建1维图像,作为输出。
以上每一层都zero padding,使得每一层的输入、输出尺寸保持一致。以此防止产生人工边界(boundary artifacts)。第二部分每一层在卷积与reLU之间都加了批量标准化(batch normalization、BN)。
本发明产生的有益效果是:本发明采用CNN对对数域的散斑噪声进行估计,采用结构相似性度量(SSIM)作为损失函数,在散斑噪声抑制过程中保持更多的几何结构,保证高质量的去噪检测性能。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的方法流程图;
图2是本发明实施例的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1和图2所示,一种水下声纳图像噪声消除方法,包括训练与测试数据集、基于残差卷积神经网络框架。具体如下:
第一步:采集数量为400的不同环境的清晰的彩色图像作为训练数据,然后将其转换为灰度图像;
400张不同环境的清晰的彩色图像,在搜集时,选取了草原、大海、天空、乡村、城市、植物、动物等不同类型的彩色清晰图像,接着将所搜集的图像全部转换为灰度图。
第二步:将400张图象进行翻转、更换尺寸、切割等操作转换成为一个数量约为200000的较大型数据集;
较大型数据集的制作,主要采取的方法有:上下翻转、左右翻转、向左和向右旋转、放大、缩小、切割,通过此种方法增加数据量,保证了数据集的丰富性,能够较好的提高水下声纳图像去噪的训练结果
第三步:将得到的数据集进行对数化处理;
作为本发明的核心思想,水下声纳图像成像一般的符合以下模型:
f(x,y)=g(x,y)ψm(x,y)
其中,g(x,y)为原始清晰图像,ψm(x,y)为噪声信号,f(x,y)为水下受噪声影响的声纳图像。显然可以看出,水下声纳图像噪声模型符合乘性噪声特点,而乘性噪声比加性噪声更难处理,因此我们将乘性噪声模型转换为加性噪声模型,即:
-log(f(x,y))=-log(g(x,y))-log(ψm(x,y))
为了便于将其引入基于残差卷积神经网络的训练框架,我们将公式改写为:
此时:
显然,我们便将去除乘性噪声问题转换为去除加性噪声的问题,便于了运用基于残差卷积神经网络的水下声纳图像噪声的去除。本发明采用python编码完成对数化处理。
第四步:将处理完毕的数据集运用基于残差卷积神经网络框架训练学习;
基于残差的多尺度卷积神经网络,其作为本发明的支撑框架:
a.残差学习(Residual Learning)
根据ResNet中的理论,当残差为0时,堆积层之间等价于恒等映射,而恒等映射对于深度学习训练易于优化,同时水下声纳噪声图像与原始清晰图像的残差较小,所以本发明提出将残差学习应用于声纳噪声图像的复原。
b.批量标准化(Batch Normalization)
SGD(Stochastic Gradient Descent,随机梯度下降法)广泛应用于CNN的训练方法中,BN是在每一层的非线性处理之前加入标准化、缩放、移位操作来减轻内部协变量的移位。在训练模型时速度更快,表现更好,降低了网络对初始变化量的影响。
c.网络结构(Network Structure)
1)输入层:Conv(3*3*c*64)+ReLU(c代表图片通道数,因为在训练时采用的是灰度图,所以c=1)
输入层为第一层,输入为35x35xc的图像,经过64个3x3x3的卷积核卷积,输出为64张35x35的特征图,即35x35x64的图像。(因为加了padding,所以大小没有变)
2)卷积层:Conv(3*3*64*64)+BN(Batch Normalization)+ReLu;其中,卷积层共16层;
卷积层为第(2~(d-1))层,有64个3x3x64的卷积核,所以这些层的输入输出都为35x35x64的图像。在卷积和激活函数间添加批量归一化。
3)输出层:Conv(3*3*64)
输出层通过1个3x3x64的卷积核,重建1维图像,作为输出。
其中,每一层都零填充(Zero padding),使得每一层的输入、输出尺寸保持一致。以此防止产生人工边界(Boundary Artifacts)。第二部分每一层在卷积与ReLU之间都加了批量标准化。同时,在实际训练学习时,共训练了50个Epoch,每一个batch size为32,将Learning rate设置为了0.005。
d.损失函数(Loss Function)
本发明采用了SSIM损失函数来计算图像在训练的相似度,通过采用该损失函数有效的提高了图像的去噪效果。
在损失函数方面,我们选取了最新提出的SSIM((structural similarity index,结构相似性)损失函数,该损失函数针对于图像的相似性计算考虑到了更多的因素,在实际训练中提供了更好的训练结果,以下便是该损失函数的一些特征。
当对一幅图片进行有损压缩,或者一幅图片有了噪声、畸变(distortion)等。为了抵消普通的L2距离(Mean Square Error,MSE)无法衡量图片的结构相似性的缺陷,(各类相机的宗旨也是提供给更接近人眼感知系统(Human Vision System,HVS)的感知能力)人眼对光照不敏感,但对局部(图像不同部分)光照的变化敏感,对灰度不敏感但对各部分灰度的相对变化程度敏感(对比度变化),以及对整个很大局部的结构敏感。据此,SSIM函数可表示为:
SSIM实际上是三个比较部分的乘积:
图像照明度比较部分:
图像对比度比较部分:
图像结构比较部分:
其中:
SSIM相当于将数据进行归一化后,分别计算图像块照明度(图像块的均值),对比度(图像块的方差)和归一化后的像素向量这三者相似度,并将三者相乘。SSIM计算某个window的相似度,然后将所有window的相似度做一个平均(得到MSSIM)作为整张图片的相似度。因此SSIM损失函数能够很好的应用于基于残差卷积神经网络的水下声纳图像去噪。
第五步:得到训练参数,测试结果以及实际应用。
得到训练参数,根据得到的残差卷积神经网络对测试图像进行去噪处理,得到噪声图像,然后根据噪声图像和原始测试图像得到去噪后的图像。
根据得到的训练参数,我们使用测试数据集对其进行测试,当效果达到要求后,可以作为实际应用。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种水下声纳图像噪声消除方法,其特征在于,包括以下步骤:
1)采取不同环境下的色彩清晰的彩色图像,然后将其转变成灰度图;
2)将步骤1)中采集的图象进行图像处理操作转换成为设定数量数据集,作为训练数据;所述图像处理操作包括上下翻转、左右翻转、向左或向右旋转、放大、缩小、切割中的一种或几种的组合;
3)将得到的数据集进行对数化处理;
4)将处理完毕的数据集运用基于残差卷积神经网络框架训练学习;
5)得到训练参数,根据得到的残差卷积神经网络对测试图像进行去噪处理,得到噪声图像,然后根据噪声图像和原始测试图像得到去噪后的图像。
2.根据权利要求1所述的水下声纳图像噪声消除方法,其特征在于,所述步骤4)中基于残差卷积神经网络框架训练学习过程如下:
1)设置训练学习参数,为残差卷积神经网络进行权值的初始化;所述参数包括批训练量、学习率、训练次数;
2)输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值;根据损失函数求出残差卷积神经网络的输出值与目标值之间的误差;
3)当误差大于期望值时,将误差传回网络中,依次求得全连接层,下采样层,卷积层的误差;各层的误差可以理解为对于网络的总误差,网络应承担多少;
4)误差大于期望值时,根据求得误差进行权值更新;
5)当误差等于或小于期望值时,结束训练。
3.根据权利要求2所述的水下声纳图像噪声消除方法,其特征在于,所述步骤2)中采用的损失函数为SSIM损失函数。
4.根据权利要求1所述的水下声纳图像噪声消除方法,其特征在于,所述步骤4)中残差卷积神经网络的结构如下,包括:
1)输入层:输入层为第一层,输入为35x35xc的图像,经过64个3x3x3的卷积核卷积,输出为64张35x35的特征图,即35x35x64的图像;
2)卷积层:卷积层共16层,每层有64个3x3x64的卷积核,每层的输入输出都为35x35x64的图像;
3)输出层:输出层通过1个3x3x64的卷积核,重建1维图像,作为输出。
CN201910277579.9A 2019-04-08 2019-04-08 一种水下声纳图像噪声消除方法 Pending CN110335202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910277579.9A CN110335202A (zh) 2019-04-08 2019-04-08 一种水下声纳图像噪声消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910277579.9A CN110335202A (zh) 2019-04-08 2019-04-08 一种水下声纳图像噪声消除方法

Publications (1)

Publication Number Publication Date
CN110335202A true CN110335202A (zh) 2019-10-15

Family

ID=68139262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910277579.9A Pending CN110335202A (zh) 2019-04-08 2019-04-08 一种水下声纳图像噪声消除方法

Country Status (1)

Country Link
CN (1) CN110335202A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852966A (zh) * 2019-11-04 2020-02-28 西北工业大学 基于深度卷积神经网络的图像噪声估计方法
CN113034373A (zh) * 2019-12-24 2021-06-25 无锡祥生医疗科技股份有限公司 超声图像去噪神经网络、去噪方法及超声诊断设备
CN113706408A (zh) * 2021-08-11 2021-11-26 西安交通大学 一种基于降噪卷积神经网络的鬼成像去噪方法及设备
CN114972082A (zh) * 2022-05-13 2022-08-30 天津大学 一种对高比例负荷缺失数据的恢复与评估方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751172A (zh) * 2015-03-12 2015-07-01 西安电子科技大学 基于去噪自动编码的极化sar图像的分类方法
CN105761231A (zh) * 2016-03-21 2016-07-13 昆明理工大学 一种用于去除高分辨率天文图像中条纹噪声的方法
CN108363994A (zh) * 2018-03-19 2018-08-03 浙江师范大学 基于经验模态分解改进的乘性噪声去除技术
CN109035163A (zh) * 2018-07-09 2018-12-18 南京信息工程大学 一种基于深度学习的自适应图像去噪方法
CN109102550A (zh) * 2018-06-08 2018-12-28 东南大学 基于卷积残差网络的全网络低剂量ct成像方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751172A (zh) * 2015-03-12 2015-07-01 西安电子科技大学 基于去噪自动编码的极化sar图像的分类方法
CN105761231A (zh) * 2016-03-21 2016-07-13 昆明理工大学 一种用于去除高分辨率天文图像中条纹噪声的方法
CN108363994A (zh) * 2018-03-19 2018-08-03 浙江师范大学 基于经验模态分解改进的乘性噪声去除技术
CN109102550A (zh) * 2018-06-08 2018-12-28 东南大学 基于卷积残差网络的全网络低剂量ct成像方法及装置
CN109035163A (zh) * 2018-07-09 2018-12-18 南京信息工程大学 一种基于深度学习的自适应图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王明康等: "基于同态小波的乘性噪声去除方法研究", 《设备管理与维修》 *
肖文等: "小波结合双边滤波抑制全息相干噪声", 《光电工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852966A (zh) * 2019-11-04 2020-02-28 西北工业大学 基于深度卷积神经网络的图像噪声估计方法
CN113034373A (zh) * 2019-12-24 2021-06-25 无锡祥生医疗科技股份有限公司 超声图像去噪神经网络、去噪方法及超声诊断设备
CN113706408A (zh) * 2021-08-11 2021-11-26 西安交通大学 一种基于降噪卷积神经网络的鬼成像去噪方法及设备
CN114972082A (zh) * 2022-05-13 2022-08-30 天津大学 一种对高比例负荷缺失数据的恢复与评估方法

Similar Documents

Publication Publication Date Title
CN110335202A (zh) 一种水下声纳图像噪声消除方法
Wang et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging
Pu et al. A fractional-order variational framework for retinex: fractional-order partial differential equation-based formulation for multi-scale nonlocal contrast enhancement with texture preserving
Yu et al. Image denoising using trivariate shrinkage filter in the wavelet domain and joint bilateral filter in the spatial domain
Xie et al. Image de-noising algorithm based on Gaussian mixture model and adaptive threshold modeling
CN105046664B (zh) 一种基于自适应epll算法的图像去噪方法
CN106204483B (zh) 基于非局部自适应字典的乘性噪声去除方法
CN114240797B (zh) 一种oct图像去噪方法、装置、设备及介质
Sethi et al. Fusion of underwater image enhancement and restoration
CN110428385A (zh) 一种基于无监督对抗神经网络的sd-oct去噪方法
CN110349112A (zh) 一种基于自适应奇异值阈值的两阶段图像去噪方法
Gupta et al. A noise robust edge detector for color images using hilbert transform
Salehi et al. A novel hybrid filter for image despeckling based on improved adaptive wiener filter, bilateral filter and wavelet filter
CN107610056A (zh) 基于全变分的混合加权维纳滤波图像去噪方法
Krishnan et al. A novel underwater image enhancement technique using ResNet
CN117218149A (zh) 一种基于自编码神经网络的图像重建方法及系统
CN104616266B (zh) 一种基于广义自回归异方差模型的噪声方差估计方法
Potocnik et al. Image enhancement by using directional wavelet transform
CN113487491B (zh) 一种基于稀疏性与非局部均值自相似性的图像复原方法
Chen et al. Ultrasound image denoising with multi-shape patches aggregation based non-local means
CN112598646B (zh) 电容缺陷检测方法、装置、电子设备及存储介质
Lalitha et al. A novel approach noise filtration for MRI image sample in medical image processing
Ahmed et al. Crystal dislocation in SEM with image processing
Prasath et al. Adaptive nonlocal filtering for brain MRI restoration
Chen et al. An adaptive non-local means image denoising model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191015