CN109118445B - 一种基于多分支生成对抗网络的水下图像增强方法 - Google Patents

一种基于多分支生成对抗网络的水下图像增强方法 Download PDF

Info

Publication number
CN109118445B
CN109118445B CN201810843614.4A CN201810843614A CN109118445B CN 109118445 B CN109118445 B CN 109118445B CN 201810843614 A CN201810843614 A CN 201810843614A CN 109118445 B CN109118445 B CN 109118445B
Authority
CN
China
Prior art keywords
image
underwater
network
cost function
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810843614.4A
Other languages
English (en)
Other versions
CN109118445A (zh
Inventor
陈华杰
姚勤炜
张杰豪
侯新雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810843614.4A priority Critical patent/CN109118445B/zh
Publication of CN109118445A publication Critical patent/CN109118445A/zh
Application granted granted Critical
Publication of CN109118445B publication Critical patent/CN109118445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多分支生成对抗网络的水下图像增强方法。本发明将水下退化原始图像、同一场景下的融合处理后的水下清晰图像、同一场景下的水下清晰生成图像作为训练样本集合，输入到属性分支网络和判别分支网络得到属性图和判别图。通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。直到本次网络训练结束，得到对退化水下图像增强的模型。本发明的关键在于使用生成对抗网络数据驱动的特点和较强的模仿能力，模仿对于不同因素导致退化的水下图像的增强策略。可以用一个模型解决多种由不同原因造成的水下图像退化问题，模型更具通用性。利用属性分支和判别分支这种多分支的结构增强学习的综合性和鲁棒性。

Description

一种基于多分支生成对抗网络的水下图像增强方法
技术领域
本发明属于深度学习领域，涉及一种基于多分支生成对抗网络的水下图像增强方法。
背景技术
复杂的水下成像环境和光照条件导致水下图像往往具有质量退化问题。传统的水下图像增强和复原方法存在问题。基于物理模型的方法，其依赖的假设条件和先验知识存在较大的局限性，对复杂的水下环境适应性不够，设计的水下成像数学模型不准确，模型参数估计算法复杂。非物理模型的方法忽略了水下成像的光学属性，容易引入颜色偏差，增强的图像容易产生过饱和或者欠饱和区域。现有方法往往对某种单一的退化现象有较好的处理效果，但总的综合性、鲁棒性并不太理想，在实际运用中存在较大的局限性。
生成对抗网络(GAN)是由生成网络(G)和判别网络(D)对抗训练的一种网络结构。G网络的目的是使合成的图像尽可能接近真实图像，使D网络难以区分，D网络的目的是区分真实图像和合成图像。GAN这种通过数据驱动的训练方式比传统的简单约束方式更适合处理由多种因素共同作用所引起的水下图像退化问题。
CycleGAN是GAN的其中一种变种结构，常被用来处理图像转换任务。CycleGAN有两个输入，分布为原始输入数据和非对应的转换后的数据。CycleGAN学习从原始输入数据到转换后的数据的映射关系。
发明内容
本发明针对现有技术的不足，提供了一种基于多分支生成对抗网络的水下图像增强方法，该方法对复杂的水下环境适应能力更强，潜在的综合性、鲁棒性更好。
本发明方法具体是：
步骤(1)、训练样本的获取
1.1获取水下退化原始图像
1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像
对退化的水下原始图像采用多种典型的水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合。
所述的主客观指标选择效果较好的判断标准包括但不限于：图像对比度是否得到增强，图像颜色偏差是否得到修正，图像噪声是否去除等。
1.3获取与水下退化原始图像非同一场景下的水下清晰图像，此处为相机拍摄后人工挑选
1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练。X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F。将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：
Figure GDA0003134540190000021
进一步筛选得到与水下退化原始图像同一场景下的水下清晰生成图像集合。
其中进一步筛选是指代水下退化原始图像退化方式多样，选择水下清晰生成图像增强效果较好的。
1.5将水下退化原始图像、步骤1.2得到的同一场景下的融合处理后的水下清晰图像与1.4得到的同一场景下的水下清晰生成图像作为训练样本集合。
步骤(2)、将步骤1.5得到的训练样本集合输入到属性分支网络和判别分支网络得到属性图和判别图。
属性分支网络和判别分支网络的输入都为步骤1.5所得到的训练样本集合，属性分支网络判断水下清晰生成图像的增强效果，判别分支网络输出对输入数据的类别的判断。
步骤(3)、通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。
将GAN的代价函数细分为二个子代价函数：通过属性图计算图像特性代价函数和通过判别图计算的图像对抗代价函数。
假设输入生成网络G的原始图像为x，生成网络G产生的图像为y：y＝G(x；z)，其中z是噪声信号。
属性图的代价函数的具体表示为：
Figure GDA0003134540190000022
其中，LFeature-D是判别器的代价函数，LFeature-G是生成器的代价函数，Du()是属性分支网络对输入的判别结果，U()是对输入的图像计算其水下图像特性指标，U数值越大，说明其对应的图像越符合水下图像特性。Ey()、Ex,z()、Ez()皆为对输入计算其数学期望。
对抗代价函数的具体表示为：
Figure GDA0003134540190000031
其中，LGAN-D是判别网络的代价函数，LGAN-G是生成网络的代价函数，Da是判别分支网络对输入数据的类别判断；a＝1，b＝0分别是真实图像与生成图像的标签。
对代价函数LFeature-D、LFeature-G、LGAN-D、LGAN-G分别做梯度下降，更新属性分支网络和判别分支网络的网络各层权值。此处为现有常规技术，故不详解。
步骤(4)、重复步骤2、步骤3，迭代设定的固定次数，直到本次网络训练结束，得到对退化水下图像增强的模型。
本发明的有益效果如下：
本发明的关键在于使用生成对抗网络数据驱动的特点和较强的模仿能力，模仿对于不同因素导致退化的水下图像的增强策略。可以用一个模型解决多种由不同原因造成的水下图像退化问题，模型更具通用性。利用属性分支和判别分支这种多分支的结构增强学习的综合性和鲁棒性。
附图说明
图1为本发明的流程图一。
图2为本发明的流程图二。
具体实施方式
下面结合具体实施例对本发明做进一步的分析。
本实验将一组采集的退化水下图片作为训练的样本数据集。在多分支的生成对抗网络图像增强的具体步骤如下，见图1、2：
步骤(1)、训练样本的获取
1.1获取水下退化原始图像
1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像
对退化的水下原始图像采用多种典型的水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合。
所述的主客观指标选择效果较好的判断标准包括但不限于：图像对比度是否得到增强，图像颜色偏差是否得到修正，图像噪声是否去除等。
1.3获取与水下退化原始图像非同一场景下的水下清晰图像
1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练。X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F。将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：
Figure GDA0003134540190000041
进一步筛选得到与水下退化原始图像同一场景下的水下清晰生成图像集合。
其中进一步筛选的标准为水下退化原始图像退化方式多样，水下清晰生成图像增强效果较好的。
1.5将水下退化原始图像与步骤1.2得到的同一场景下的融合处理后的水下清晰图像与1.4得到的同一场景下的水下清晰生成图像作为训练样本集合
步骤(2)、将步骤1.5得到的训练样本集合输入到属性分支网络和判别分支网络得到属性图和判别图。
属性分支网络和判别分支网络的输入都为步骤1.5所得到的训练样本集合，属性分支网络判断水下清晰生成图像的增强效果，判别分支网络输出对输入数据的类别的判断。
步骤(3)、通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。
将GAN的代价函数细分为二个子代价函数：通过属性图计算图像特性代价函数和通过判别图计算的图像对抗代价函数。
假设输入生成网络G的原始图像为x，生成网络G产生的图像为y。y＝G(x；z)，其中z是噪声信号。
属性图的代价函数的具体表示为：
Figure GDA0003134540190000042
其中，LFeature-D是判别器的代价函数，LFeature-G是生成器的代价函数，Du()是属性分支网络对输入的判别结果，U()是对输入的图像计算其水下图像特性指标，U数值越大，说明其对应的图像越符合水下图像特性。Ey()、Ex,z()、Ez()皆为对输入计算其数学期望。
对抗代价函数的具体表示为：
Figure GDA0003134540190000043
其中，LGAN-D是判别网络的代价函数，LGAN-G是生成网络的代价函数，Da是判别分支网络对输入数据的类别判断；a＝1，b＝0分别是真实图像与生成图像的标签。
对代价函数LFeature-D、LFeature-G、LGAN-D、LGAN-G分别做梯度下降，更新属性分支网络和判别分支网络的网络各层权值。
步骤(5)、重复步骤2、步骤3，迭代5000次，直到本次网络训练结束，得到对退化水下图像增强的模型。

Claims (1)

1.一种基于多分支生成对抗网络的水下图像增强方法，其特征在于该方法具体是：
步骤(1)、训练样本的获取
1.1获取水下退化原始图像；
1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像：
对退化的水下原始图像采用现有水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合；
1.3获取与水下退化原始图像非同一场景下的水下清晰图像；
1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练；X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F；将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：
Figure FDA0003134540180000011
进一步筛选得到与水下退化原始图像同一场景下的水下清晰生成图像集合；
1.5将水下退化原始图像、步骤1.2得到的同一场景下的融合处理后的水下清晰图像、步骤1.4得到的同一场景下的水下清晰生成图像作为训练样本集合；
步骤(2)、将步骤1.5得到的训练样本集合输入到属性分支网络和判别分支网络得到属性图和判别图：
属性分支网络和判别分支网络的输入均为步骤1.5所得到的训练样本集合，属性分支网络判断水下清晰生成图像的增强效果，判别分支网络输出对输入数据的类别的判断；
步骤(3)、通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值；
将GAN的代价函数细分为二个子代价函数：通过属性图计算图像特性代价函数和通过判别图计算的图像对抗代价函数；
假设输入生成网络G的原始图像为x，生成网络G产生的图像为y：y＝G(x；z)，其中z是噪声信号；
属性图的代价函数的具体表示为：
Figure FDA0003134540180000021
其中，LFeature-D是判别器的代价函数，LFeature-G是生成器的代价函数，Du()是属性分支网络对输入的判别结果，U()是对输入的图像计算其水下图像特性指标，U数值越大，说明其对应的图像越符合水下图像特性；Ey()、Ex,z()、Ez()皆为对输入计算其数学期望；
对抗代价函数的具体表示为：
Figure FDA0003134540180000022
其中，LGAN-D是判别网络的代价函数，LGAN-G是生成网络的代价函数，Da是判别分支网络对输入数据的类别判断；a＝1，b＝0分别是真实图像与生成图像的标签；
对代价函数LFeature-D、LFeature-G、LGAN-D、LGAN-G分别做梯度下降，更新属性分支网络和判别分支网络的网络各层权值；
步骤(4)、重复步骤2、步骤3，迭代设定的固定次数，直到本次网络训练结束，得到对退化水下图像增强的模型。
CN201810843614.4A 2018-07-27 2018-07-27 一种基于多分支生成对抗网络的水下图像增强方法 Active CN109118445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810843614.4A CN109118445B (zh) 2018-07-27 2018-07-27 一种基于多分支生成对抗网络的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810843614.4A CN109118445B (zh) 2018-07-27 2018-07-27 一种基于多分支生成对抗网络的水下图像增强方法

Publications (2)

Publication Number Publication Date
CN109118445A CN109118445A (zh) 2019-01-01
CN109118445B true CN109118445B (zh) 2021-10-08

Family

ID=64862369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810843614.4A Active CN109118445B (zh) 2018-07-27 2018-07-27 一种基于多分支生成对抗网络的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN109118445B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009028B (zh) * 2019-03-28 2021-04-02 北京科技大学 一种显微图像数据增强方法及装置
CN110211122A (zh) * 2019-06-12 2019-09-06 京东方科技集团股份有限公司 一种检测图像处理方法及装置
CN112241935B (zh) * 2019-07-18 2023-05-26 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN112434716B (zh) * 2019-08-21 2024-03-29 中国科学院声学研究所 一种基于条件对抗神经网络的水下目标数据扩增方法及系统
CN111062880B (zh) * 2019-11-15 2023-07-28 南京工程学院 一种基于条件生成对抗网络的水下图像实时增强方法
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
CN111461997B (zh) * 2020-03-09 2022-07-19 厦门大学 水下图像增强生成对抗网络的训练方法、介质及装置
CN111915545B (zh) * 2020-08-06 2022-07-05 中北大学 一种多波段图像的自监督学习融合方法
CN112070703B (zh) * 2020-09-16 2024-05-03 山东建筑大学 一种仿生机器鱼水下视觉图像增强方法及系统
CN112613543B (zh) * 2020-12-15 2023-05-30 重庆紫光华山智安科技有限公司 增强策略验证方法、装置、电子设备及存储介质
CN113205468B (zh) * 2021-06-01 2022-08-09 桂林电子科技大学 一种基于自注意力机制和gan的水下图像实时复原模型方法
CN115797225B (zh) * 2023-01-06 2023-04-21 山东环宇地理信息工程有限公司 一种水下地形测量用无人船采集图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Emerging from Water: Underwater Image Color Correction Based on Weakly Supervised Color Transfer;Chongyi Li等;《arXiv:1710.07084v3 [cs.CV]》;20180103;第1-5页 *
Enhancing Underwater Imagery usi ng Generative Adversarial Networks;Cameron Fabbri等;《arXiv:1801.04011v1 [cs.CV]》;20180111;第1-11页 *
Research on Underwater Image Enhancement Technology Based on Generative Adversative Networks;Geng-ren ZUO等;《2018 International Conference on Communication, Network and Artificial Intelligence》;20180422 *
WaterGAN: Unsupervised Generative Network to Enable Real-time Color Correction of Monocular Underwater Images;Jie Li等;《arXiv:1702.07392v3 [cs.CV]》;20171026;第1-8页 *

Also Published As

Publication number Publication date
CN109118445A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109118445B (zh) 一种基于多分支生成对抗网络的水下图像增强方法
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
Li et al. An underwater image enhancement benchmark dataset and beyond
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN111145116B (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
CN110046673A (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Jiang et al. Fog density estimation and image defogging based on surrogate modeling for optical depth
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
Ju et al. BDPK: Bayesian dehazing using prior knowledge
CN111047543A (zh) 图像增强方法、装置和存储介质
CN112819096B (zh) 一种基于复合卷积神经网络的化石图像分类模型的构建方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN110782448A (zh) 渲染图像的评价方法及装置
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN109598695B (zh) 一种基于深度学习网络的无参考图像模糊程度估计方法
CN113379715A (zh) 一种水下图像增强和数据集真值图像获得方法
Xu et al. Remote-sensing image usability assessment based on ResNet by combining edge and texture maps
Cheng et al. Semantic single-image dehazing
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN112215766B (zh) 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络
CN113781375A (zh) 一种基于多曝光融合的车载视觉增强方法
Ayunts et al. No-Reference Quality Metrics for Image Decolorization
CN114972124B (zh) 一种遥感图像亮度自适应均衡方法及系统
CN114821174B (zh) 一种基于内容感知的输电线路航拍图像数据清洗方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant