CN112862698B - 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法 - Google Patents

一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法 Download PDF

Info

Publication number
CN112862698B
CN112862698B CN202110042782.5A CN202110042782A CN112862698B CN 112862698 B CN112862698 B CN 112862698B CN 202110042782 A CN202110042782 A CN 202110042782A CN 112862698 B CN112862698 B CN 112862698B
Authority
CN
China
Prior art keywords
image
texture
underwater
module
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110042782.5A
Other languages
English (en)
Other versions
CN112862698A (zh
Inventor
薛昕惟
李泽萱
刘日升
王祎
樊鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202110042782.5A priority Critical patent/CN112862698B/zh
Publication of CN112862698A publication Critical patent/CN112862698A/zh
Application granted granted Critical
Publication of CN112862698B publication Critical patent/CN112862698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉领域,涉及一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法。本发明建立了一种新的基于物理启发的学习模型,该模型由水下成像模型重构而成,比较容易实现。具体来说,本发明设计了一个结构感知纹理敏感网络(SATS‑Net),利用结构感知增强(SAE)模块来学习结构信息,主要用于恢复退化图像,并设计了纹理敏感增强(TSE)模块来提取纹理信息进行进一步增强。本发明有效地对水下图像进行了颜色校正以及纹理信息补充,提高了水下图像增强方法的鲁棒性和适应性。

Description

一种基于结构感知和纹理敏感的物理启发学习的水下图像增 强方法
技术领域
本发明属于计算机视觉领域,涉及一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法。
背景技术
随着水下地质勘探、水下生物探测、目标识别等水下应用的广泛发展,高质量的水下图像成为这些应用的关键。然而,由于水下环境的散射和吸收作用,视觉图像往往存在对比度低、模糊和色彩失真等问题。因此,水下图像增强仍然是一项具有挑战性的任务。
水下图像增强的算法可以分为传统的图像增强方法、基于物理模型的方法和基于深度学习的方法。经典的增强方法是通过修改图像的像素值来提高图像的视觉质量,算法过程中不需要考虑图像的形成过程和降质过程;基于物理模型的方法将水下图像增强视为图像退化的逆问题,通常通过建立水下物理图像模型,从效果图像先验中估计未知的模型参数来解决反问题。基于深度学习的方法基于深度学习的方法通常构建深度神经网络,并在退化的水下图像和高质量的参考图像上进行训练。
在水下图像增强技术研究早期,对水下图像的处理经常直接应用一些空气中传统的图像增强算法,传统的图像增强算法可以分为空间域法与频域法。空间域方法是对图像中的像素点直接处理,采用灰度映射的方法,比如选取合适的映射变换来增加图像的对比度,改善图像灰度级等。频域法是一种间接的图像处理方法,运用变换技术把图像映射到某种变换域内,然后利用变换域中特有性质进行某种滤波处理,再反变换到空间域内,即得到增强后的图像。常被应用到水下图像传统空间域增强算法有直方图均衡化、限制对比度直方图均衡化、灰度世界假设和白平衡算法等,频域增强算法有傅里叶变换、小波变换和滤波技术,主要包括低通滤波,高通滤波和同态滤波等。目前图像增强算法往往存在可能只是对某一类的图像增强效果好,而其他类型的效果不好的特点,而且由于水下环境的特殊性,仅仅通过研究把传统的图像增强算法应用在水下图像上无法彻底解决水下图像退化问题。
基于卷积网络的图像去雾、去模糊、图像盲复原等任务跟水下图像增强方法有异曲同工之妙。但是关键点在于训练集的获取以及卷积模型的泛化能力上。对于水下如此复杂的退化环境,要训练出一种泛化能力足够强的网络才是难点所在。与此同时,需要有相应的数据集的定制,也是难点所在。
基于物理模型的水下图像增强方法,是指对水下图像退化过程搭建一个合理的数学模型估算出模型参数信息,了解整个图像的退化过程使水下图像恢复到退化前的状态。受图像处理和质量衡量方法的多样性的影响,对于水下图像处理结果的选取只能从其应用目的和场合入手,水下图像增强算法的研究仍然有待深入研究和完善。海洋的环境多种多样,必须要用应用的目的和场合入手来进行合适的水下图像增强。
由于水质的复杂性,导致光线在水下的传播有折射、散射等现象,同时可能存在的浑浊水质也是导致水下图像退化的主要原因,水下图像就因为这种降质因素产生了严重的模糊。目前科学技术处理这种模糊还存在一定的难度。由于无法获得原始的水下清晰图像,以及无法精确测量到导致水下图像发生退化的模糊函数,水下图像增强技术的应用一直受到限制,也间接限制了水下探测等技术的发展。因此如何根据水下图像的形成机制和水下图像发生退化的原因,建立一个合理的水下图像退化的物理模型,同时使得该物理模型能够实际应用,能够通过软硬件手段估计得到模糊函数来复原水下图像是目前的研究重点,具备实际的研究价值和意义。
本发明与《一种基于双U-net的水下图像增强方法》的不同之处在于本发明提出了一种更紧凑的图像成像模型,采用了简化的U-net的网络结构,提取水下图像不同尺度的特征分别作为U-net网络的输入,估计出光照特征和细节信息来对水下图像进行总体的结构增强和局部的细节增强。本发明针对水下图像增强问题提出的图像增强方法在处理颜色失真严重以及图像雾化严重的增强情况有很好的表现效果,不仅能矫正图像色彩,而且能很好的保留图像细节信息。
发明内容
本发明提出了一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法,有效地对水下图像进行了颜色校正以及纹理信息补充提高了水下图像增强方法的鲁棒性和适应性。本发明建立了一种新的基于物理启发的学习模型,该模型由水下成像模型重构而成,比较容易实现。具体来说,本发明设计了一个结构感知纹理敏感网络(SATS-Net),如图1所示,利用结构感知增强(SAE)模块来学习结构信息,主要用于恢复退化图像,并设计了纹理敏感增强(TSE)模块来提取纹理信息进行进一步增强。
本发明采用的技术方案:
一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法,其特征在于:
步骤一、建立物理启发学习模型
在水下环境中,图像成像模型表示如
I(x)=J(x)·t(x)+A(1-t(x)), (1)
其中,I(x)为退化的水下图像,J(x)为要得到的地面真实图像,t(x)为透射图, A为介质消光系数。
紧凑的图像成像模型,可以定义为
Figure RE-GDA0003007151810000041
其中,J为增强后的图像,I为退化的水下图像,f(I)从输入的水下图像中估计透射率,r(I)恢复水下图像的细节信息。
步骤二、通过设计SATS-Net对输入图像提取光照特征和纹理信息
SATS-Net分为两部分,结构意识模块SAE和纹理感知模块TSE。
采用结构意识模块SAE处理水下图像,结构意识模块SAE由一个简化的 U-net网络组成,通过结构意识函数来估计光照特征图再与输入相乘,得到总体的增强。如公式(3)所示:
Figure RE-GDA0003007151810000042
其中,F(I)为结构意识函数,IG为通过结构意识模块增强后的图像。
采用纹理感知模块TSA恢复图像的纹理信息,纹理感知模块TSA由两个简化的U-net网络组成,使输入图像分别经过两次下采样作为两个U-net网络的输入,通过纹理感知函数估计出细节信息与输入相乘。最后,经过上采样后相加得到这一模块的输出,如公式(4)所示:
Figure RE-GDA0003007151810000043
其中,IL为通过纹理感知模块增强后的图像,s为U-net网络的个数,s=1~S,这里我们选用两个U-net网络,S=2,us为上采样操作,ds为下采样操作,Gs(I) 为纹理感知函数。
最后,将结构意识模块SAE和纹理感知模块TSE的结果相加,得到最终的增强结果。
2.简化的U-net结构
简化的U-net包括编码Encoder阶段和解码Decoder阶段;编码Encoder阶段包含三层网络,每层包含两个卷积层,卷积核均为3,每个卷积层后接LeakyReLU 激活函数与BatchNorm2d函数,前两层网络后设有一个最大池化层Maxpooling作为编码阶段的下采样器,最后一层网络后接sigmoid激活函数得到特征信息命名为gray5;解码Decoder阶段包含三层网络,每层与编码器参数一致,每层网络前设有一个上采样函数upsample作为解码上采样器;最终在最后一层网络后接一层卷积层和sigmoid激活函数得到透射图像gray,物理意义为t(x)。
结构意识模块中采用了一个简化的U-net来估计光照特征图,再与输入I相乘得到这一部分的增强结果;纹理感知模块中采用了两个简化的U-net来估计水下图像的纹理和细节信息,与输入相乘后再相加得到这一部分的输出。最后根据成像模型将这两部分相加得到最终的输出结果。
本发明的有益效果:本发明针对水下图像增强问题提出的图像增强方法在处理颜色失真严重以及图像雾化严重的增强情况有很好的表现效果,不仅能矫正图像色彩,而且能很好的保留图像细节信息。本发明能够实现端到端的图像增强并且效果显著。
附图说明
图1是本发明方法的网络架构示意图。
图2是本发明在成对图像上增强图像结果展示示意图,其中(a)为输入的颜色发蓝发绿水下图像,(b)结构意识模块SAE的生成图像,(c)为纹理感知模块TSE的生成图像,(d)为网络的输出也就是增强后图像,结果图像颜色不再发蓝发绿,增加了更多的纹理细节。
图3是本发明在成对图像上增强图像结果展示示意图,其中(a)为输入的颜色发蓝发绿水下图像,(b)结构意识模块SAE的生成图像,(c)为纹理感知模块TSE的生成图像,(d)为网络的输出也就是增强后图像,结果图像颜色不再发蓝发绿,增加了更多的纹理细节。。
图4是本发明在真实水下图像上的结果展示示意图,其中(a)为输入的颜色发蓝发绿水下图像,(b)为网络的输出也就是增强后图像,结果图像颜色不再发蓝发绿,增加了更多的纹理细节。
图5是本发明在真实水下图像上的结果展示示意图,其中(a)为输入的颜色发蓝发绿水下图像,(b)为网络的输出也就是增强后图像,结果图像颜色不再发蓝发绿,增加了更多的纹理细节。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
本发明的具体实施流程如图1中所示,输入水下图像经过结构意识模块SAE 得到光照特征图,与输入图像相乘得到初步的增强结果。之后通过纹理感知模块TSE经过两次下采样作为两个网络的输入,通过纹理感知函数估计出细节信息与输入相乘。最后,经过上采样后相加得到这一模块的输出。最终将两个模块的输出相加得到输出图像。
图2和图3是本发明在成对图像上增强图像结果展示示意图,(a)为输入的颜色发蓝发绿水下图像,(b)结构意识模块SAE的生成图像,(c)为纹理感知模块TSE的生成图像,(d)为网络的输出也就是增强后图像,结果图像颜色不再发蓝发绿,增加了更多的纹理细节。图4和图5是本发明在真实水下图像上的结果展示示意图,(a)为输入的颜色发蓝发绿水下图像,(b)为网络的输出也就是增强后图像,结果图像颜色不再发蓝发绿,增加了更多的纹理细节。
本发明采用的是新颖的、端到端的深度卷积神经网络用来实现水下图像增强,该方法的具体实现步骤为:准备训练数据集-训练网络算法-测试算法性能结果-反复调参使得性能最优。具体的细节如下:在训练过程中,使用Adam优化器来迭代更新网络的参数,将总的epoch设置为400,将初始的学习率设置为0.0001, epoch达到100以后,每个epoch都将更新学习率。
本发明是图像增强算法,选取在各种图像增强算法中敏感的多尺度结构相似度(MS-SSIM)与可以保持色彩和明度的L1损失函数相加作为训练的损失函数L,如下所示:
L=α·LMS-SSIM+(1-α)·LL1 (5)
α设置为0.8,LMS-SSIM为MS-SSIM损失函数,LL1为L1损失函数。
损失函数是用来计算预测值与目标值之间的差距,损失值越小说明模型对数据的拟合越好,通过计算本发明的预测函数,可知本发明的方法的数据拟合好,因此增强效果很好。

Claims (2)

1.一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法,其特征在于:
步骤一、建立物理启发学习模型
在水下环境中,图像成像模型表示如
I(x)=J(x)·t(x)+A(1-t(x)), (1)
其中,I(x)为退化的水下图像,J(x)为要得到的地面真实图像,t(x)为透射图,A为介质消光系数;
紧凑的图像成像模型,可以定义为
Figure FDA0002895932010000011
其中,J为增强后的图像,I为退化的水下图像,f(I)从输入的水下图像中估计透射率,r(I)恢复水下图像的细节信息;
步骤二、通过设计SATS-Net对输入图像提取光照特征和纹理信息
SATS-Net分为两部分,结构意识模块SAE和纹理感知模块TSE;
采用结构意识模块SAE处理水下图像,结构意识模块SAE由一个简化的U-net网络组成,通过结构意识函数来估计光照特征图再与输入相乘,得到总体的增强;如公式(3)所示:
Figure FDA0002895932010000012
其中,F(I)为结构意识函数,IG为通过结构意识模块增强后的图像;
采用纹理感知模块TSA恢复图像的纹理信息,纹理感知模块TSA由两个简化的U-net网络组成,使输入图像分别经过两次下采样作为两个U-net网络的输入,通过纹理感知函数估计出细节信息与输入相乘;最后,经过上采样后相加得到这一模块的输出,如公式(4)所示:
Figure FDA0002895932010000021
其中,IL为通过纹理感知模块增强后的图像,s为U-net网络的个数,s=1~S,这里选用两个U-net网络,S=2,us为上采样操作,ds为下采样操作,Gs(I)为纹理感知函数;
最后,将结构意识模块SAE和纹理感知模块TSE的结果相加,得到最终的增强结果。
2.根据权利要求1所述的一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法,其特征在于:简化的U-net包括编码Encoder阶段和解码Decoder阶段;编码Encoder阶段包含三层网络,每层网络包含两个卷积层,卷积核均为3,每个卷积层后接LeakyReLU激活函数与BatchNorm2d函数,前两层网络后设有一个最大池化层Maxpooling作为编码阶段的下采样器,最后一层网络后接sigmoid激活函数得到特征信息命名为gray5;解码Decoder阶段包含三层网络,每层网络与编码器参数一致,每层网络前设有一个上采样函数upsample作为解码上采样器;最终在最后一层网络后接一层卷积层和sigmoid激活函数得到透射图像gray,物理意义为t(x)。
CN202110042782.5A 2021-01-13 2021-01-13 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法 Active CN112862698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110042782.5A CN112862698B (zh) 2021-01-13 2021-01-13 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110042782.5A CN112862698B (zh) 2021-01-13 2021-01-13 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法

Publications (2)

Publication Number Publication Date
CN112862698A CN112862698A (zh) 2021-05-28
CN112862698B true CN112862698B (zh) 2022-09-20

Family

ID=76003408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110042782.5A Active CN112862698B (zh) 2021-01-13 2021-01-13 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN112862698B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738948A (zh) * 2020-06-19 2020-10-02 大连理工大学 一种基于双U-net的水下图像增强方法
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738948A (zh) * 2020-06-19 2020-10-02 大连理工大学 一种基于双U-net的水下图像增强方法
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多输入融合对抗网络的水下图像增强;林森等;《红外与激光工程》;20200525(第05期);全文 *

Also Published As

Publication number Publication date
CN112862698A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Wang et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111738948B (zh) 一种基于双U-net的水下图像增强方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
Wu et al. FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion
Zhou et al. Domain adaptive adversarial learning based on physics model feedback for underwater image enhancement
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
Shen et al. UDAformer: underwater image enhancement based on dual attention transformer
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN114565539B (zh) 一种基于线上知识蒸馏的图像去雾方法
Zhang et al. Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
Han et al. UIEGAN: Adversarial Learning-based Photo-realistic Image Enhancement for Intelligent Underwater Environment Perception
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
CN116452469B (zh) 一种基于深度学习的图像去雾处理方法及装置
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
Shen et al. Pseudo-Retinex decomposition-based unsupervised underwater image enhancement and beyond
CN112862698B (zh) 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法
CN114926359B (zh) 联合双颜色空间恢复和多级解码结构的水下图像增强方法
Kumar et al. Underwater Image Enhancement using deep learning
Guan et al. DiffWater: Underwater Image Enhancement Based on Conditional Denoising Diffusion Probabilistic Model
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
CN113379641B (zh) 一种基于自编码卷积神经网络的单幅图像去雨方法及系统
CN115511722A (zh) 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant