CN110852970A - 基于深度卷积生成对抗网络的水下机器人图像增强方法 - Google Patents

基于深度卷积生成对抗网络的水下机器人图像增强方法 Download PDF

Info

Publication number
CN110852970A
CN110852970A CN201911087452.7A CN201911087452A CN110852970A CN 110852970 A CN110852970 A CN 110852970A CN 201911087452 A CN201911087452 A CN 201911087452A CN 110852970 A CN110852970 A CN 110852970A
Authority
CN
China
Prior art keywords
image
countermeasure network
convolution
underwater
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911087452.7A
Other languages
English (en)
Inventor
陈国军
陈巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201911087452.7A priority Critical patent/CN110852970A/zh
Publication of CN110852970A publication Critical patent/CN110852970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度卷积生成对抗网络的水下机器人图像增强方法,包括:获取水下的无失真图像数据集和有失真图像数据集;根据无失真图像数据集和有失真图像数据集训练深度卷积生成对抗网络;根据训练后的深度卷积生成对抗网络和无失真图像得到图像对数据集;根据图像对数据集训练深度卷积生成对抗网络中的生成器;根据训练后的生成器将水下图像进行编码和解码处理以增强水下图像。本发明能够提高水下机器人图像的质量以改善水下机器人的视觉感知,从而提高水下机器人的安全性和可靠性。

Description

基于深度卷积生成对抗网络的水下机器人图像增强方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于深度卷积生成对抗网络的水下机器人图像增强方法。
背景技术
水下机器人一直是自主领域机器人的一个稳步发展的分支领域,并在新型平台、传感器和推进机构的出现的帮助下,发展更为迅速。尤其是具有非侵入性、被动性和节能性的视觉传感的出现,更是助力了水下机器人的发展。
然而,水下环境的复杂对视觉传感提出了独特的挑战,因为悬浮粒子的光折射、吸收和散射会对光学产生很大的影响。例如,由于红色波长很快被水吸收,图像的色调往往是绿色或蓝色,并且随着深度的加深,这种效果会恶化。究其原因,主要是因为越来越多的红色色调被吸收了,同时这种变形在本质上是非常非线性的,并且受许多因素的影响,例如存在的光线量、天气影响、工作深度、水中的粒子量,从而影响视觉数据的质量,最终导致水下图像的噪声和失真。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的目的在于提出一种基于深度卷积生成对抗网络的水下机器人图像增强方法,能够提高水下机器人图像的质量以改善水下机器人的视觉感知,从而提高水下机器人的安全性和可靠性。
为达到上述目的,本发明实施例提出了一种基于深度卷积生成对抗网络的水下机器人图像增强方法,包括以下步骤:获取水下的无失真图像数据集和有失真图像数据集;根据所述无失真图像数据集和所述有失真图像数据集训练深度卷积生成对抗网络;根据训练后的深度卷积生成对抗网络和所述无失真图像得到图像对数据集;根据所述图像对数据集训练所述深度卷积生成对抗网络中的生成器;根据训练后的生成器将水下图像进行编码和解码处理以增强所述水下图像。
根据本发明实施例的基于深度卷积生成对抗网络的水下机器人图像增强方法,通过获取水下的无失真图像数据集和有失真图像数据集并根据该图像数据集训练深度卷积生成对抗网络,并根据练后的深度卷积生成对抗网络和无失真图像得到图像对数据集,进一步根据图像对数据集训练深度卷积生成对抗网络中的生成器,最终根据训练后的生成器将水下图像进行编码和解码处理以增强水下图像,由此,能够提高水下机器人图像的质量以改善水下机器人的视觉感知,从而提高水下机器人的安全性和可靠性。
另外,根据本发明上述实施例提出的基于深度卷积生成对抗网络的水下机器人图像增强方法还可以具有如下附加的技术特征:
根据本发明的一个实施例,根据所述无失真图像数据集和所述有失真图像数据集训练深度卷积生成对抗网络包括:训练所述深度卷积生成对抗网络学习映射F:X→Y,其中,X为无失真图像数据集,Y为有失真图像数据集。
进一步地,所述训练后的生成器为完全卷积的编码器解码器
进一步地,所述训练后的生成器包括图像梯度差分损失函数,所述函数为:
其中,IC为真值图像,IP=G(ID)为预测图像,α为大于或等于1的整数。
根据本发明的一个实施例,所述完全卷积的编码器解码器的输入和输出之间的结构相似。
进一步地,根据训练后的生成器将水下图像进行编码和解码处理包括:通过卷积处理将输入的水下图像降采样到低维嵌入,然后通过转置卷积处理将降采样的所述水下图像向上采样。
根据本发明的一个实施例,所述深度卷积生成对抗网络还包括识别器
进一步地,所述识别器包括四个卷积层。
附图说明
图1为本发明实施例的基于深度卷积生成对抗网络的水下机器人图像增强方法的流程图;
图2为本发明一个实施例的识别器的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例的基于深度卷积生成对抗网络的水下机器人图像增强方法的流程图。
如图1所示,本发明实施例的基于深度卷积生成对抗网络的水下机器人图像增强方法,包括以下步骤:
S1,获取水下的无失真图像数据集和有失真图像数据集。
具体地,可通过水下机器人的视觉传感获取水下的无失真图像数据集和有失真图像数据集。
S2,根据无失真图像数据集和有失真图像数据集训练深度卷积生成对抗网络。
具体地,可根据无失真图像数据集和有失真图像数据集训练深度卷积生成对抗网络学习映射F:X→Y,其中,X为无失真图像数据集,Y为有失真图像数据集。此外,还可根据无失真图像数据集和有失真图像数据集训练深度卷积生成对抗网络学习映射F:Y→X。
S3,根据训练后的深度卷积生成对抗网络和无失真图像得到图像对数据集。
具体地,可设无失真图像为IC、有失真图像为ID,并且IC∈X、ID∈Y,通过映射F:X→Y可由无失真图像IC中生成有失真图像ID,从而得到无失真图像和有失真图像之间的图像对。通过深度卷积生成对抗网络从无失真图像中生成有失真图像,能够避免图像对不足的问题。
S4,根据图像对数据集训练深度卷积生成对抗网络中的生成器。
具体地,可根据图像对数据集训练深度卷积生成对抗网络中的生成器学习函数f:ID→IC,即训练生成器将有失真图像ID转换为无失真图像IC
S5,根据训练后的生成器将水下图像进行编码和解码处理以增强水下图像。
在本发明的一个实施例中,训练后的生成器可为完全卷积的编码器解码器。其中,完全卷积的编码器解码器的输入和输出之间的结构相似,可通过卷积处理将输入的水下图像降采样到低维嵌入,然后通过转置卷积处理将降采样的水下图像向上采样以增强水下图像。通过完全卷积的编码器解码器增强水下图像能够保留完全卷积的编码器解码器中编码器产生的空间依赖性,避免依赖于水下图像嵌入时包含的所有信息。
具体地,通过完全卷积的编码器解码器增强水下图像的过程中,还添加了“跳过连接”。其中,“跳过连接”可将完全卷积的编码器解码器中的编码器卷积层i产生的激活连接到解码器转置卷积层n-i+1的输入,其中n为完全卷积的编码器解码器所在网络的卷积层的总层数。
在本发明的一个实施例中,训练后的生成器中的每个卷积层都使用内核大小4*4和跨距2。
在本发明的一个实施例中,深度卷积生成对抗网络还包括识别器。具体地,如图2所示,识别器包括四个卷积层layer1、layer2、layer3和layer4,同时识别器可输出32*32*1特征矩阵,可为高电平频率提供度量。
进一步地,参照图2,通过识别器可部分提取描述符,例如可从layer1的输出提取局部补丁描述符,同时为避免合并识别器每一层的输出而产生巨大的特征维,从而通过最大池操作来减少描述符的大小,具体地,(16,16)对于layer1层,(8,8)对于layer2层,(4,4)对于layer3层,和(2,2)对于layer4层。
需要说明的是,深度卷积生成对抗网络中的生成器和识别器之间相互关联,具体地,生成器生成图像主动欺骗识别器,而识别器来区分来自图像数据集的“真”图像和生成器生成的“假”图像。
举例而言,当存在有失真图像ID时,生成器生成一个无失真图像IC主动欺骗识别器,而识别器具体区分有失真图像ID和无失真图像IC,进一步可将上述问题转换为minimax问题,可通过下列GAN公式进行计算:
Figure BDA0002265858150000051
其中,G为生成器,D为识别器。
进一步地,可通过省略IC~ptrain(IC)和ID~pgen(ID)简化上述公式,并假设识别器为具有乙状交叉熵损失函数的类识别器。
进一步地,为了说明识别器的模式折叠效果,可在识别器中设置损失函数,例如可通过带有梯度惩罚的wasserstein-gan公式将识别器的输出梯度范数相对于输入梯度范数实施软约束确保对识别器的约束,从而可将上述minimax问题进一步进行转换,得到深度卷积生成对抗网络的目标函数:
Figure BDA0002265858150000052
其中,λ1为加权因子,ΓWGAN(G,D)为带有梯度惩罚的wasserstein-gan公式,ΓL1(G)为水下图像失真损耗。
进一步地,其中,
ΓL1(G)=E[||IC-G(ID)||]
Figure BDA0002265858150000061
同时还可在训练后的生成器中设置图像梯度差分损失函数,以直接惩罚训练后的生成器中图像梯度预测的差异来强化这些预测,所述图像梯度差分损失函数为:
Figure BDA0002265858150000062
其中,IC为真值图像,IP=G(ID)为预测图像,α为大于或等于1的整数。
进一步地,可得到深度卷积生成对抗网络的最终函数:
Figure BDA0002265858150000063
根据本发明实施例提出的基于深度卷积生成对抗网络的水下机器人图像增强方法,通过获取水下的无失真图像数据集和有失真图像数据集并根据该图像数据集训练深度卷积生成对抗网络,并根据练后的深度卷积生成对抗网络和无失真图像得到图像对数据集,进一步根据图像对数据集训练深度卷积生成对抗网络中的生成器,最终根据训练后的生成器将水下图像进行编码和解码处理以增强水下图像,由此,能够提高水下机器人图像的质量以改善水下机器人的视觉感知,从而提高水下机器人的安全性和可靠性。
下面将通过IMAGENET的图像库进一步阐明本发明的基于深度卷积生成对抗网络的水下机器人图像增强方法在提高水下图像质量方面的进步。
具体地,先设定X为无失真水下图像,Y为有失真水下图像,其中X包括6143个图像,Y包括1817个图像,进一步通过映射F:X→Y获取足够的图像对,并保证数据图像是通过扭曲X和Y中的所有图像得到的,进一步从数据图像中选取一组56个图像的测试集进行测试,通过测试可得出本发明的基于深度卷积生成对抗网络的水下机器人图像增强方法的噪声较小,并且图像空间更接近原始图像。
在本发明中,除非另有明确的规定和限定,术语“相连”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,包括以下步骤:
获取水下的无失真图像数据集和有失真图像数据集;
根据所述无失真图像数据集和所述有失真图像数据集训练深度卷积生成对抗网络;
根据训练后的深度卷积生成对抗网络和所述无失真图像得到图像对数据集;
根据所述图像对数据集训练所述深度卷积生成对抗网络中的生成器;
根据训练后的生成器将水下图像进行编码和解码处理以增强所述水下图像。
2.根据权利要求1所述的基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,根据所述无失真图像数据集和所述有失真图像数据集训练深度卷积生成对抗网络包括:训练所述深度卷积生成对抗网络学习映射F:X→Y,其中,X为无失真图像数据集,Y为有失真图像数据集。
3.根据权利要求2所述的基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,所述训练后的生成器为完全卷积的编码器解码器。
4.根据权利要求3所述的基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,所述训练后的生成器包括图像梯度差分损失函数,所述函数为:
Figure FDA0002265858140000011
其中,IC为真值图像,IP=G(ID)为预测图像,α为大于或等于1的整数。
5.根据权利要求3所述的基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,所述完全卷积的编码器解码器的输入和输出之间的结构相似。
6.根据权利要求5所述的基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,根据训练后的生成器将水下图像进行编码和解码处理包括:通过卷积处理将输入的水下图像降采样到低维嵌入,然后通过转置卷积处理将降采样的所述水下图像向上采样。
7.根据权利要求1所述的基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,所述深度卷积生成对抗网络还包括识别器。
8.根据权利要求7所述的基于深度卷积生成对抗网络的水下机器人图像增强方法,其特征在于,所述识别器包括四个卷积层。
CN201911087452.7A 2019-11-08 2019-11-08 基于深度卷积生成对抗网络的水下机器人图像增强方法 Pending CN110852970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911087452.7A CN110852970A (zh) 2019-11-08 2019-11-08 基于深度卷积生成对抗网络的水下机器人图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911087452.7A CN110852970A (zh) 2019-11-08 2019-11-08 基于深度卷积生成对抗网络的水下机器人图像增强方法

Publications (1)

Publication Number Publication Date
CN110852970A true CN110852970A (zh) 2020-02-28

Family

ID=69600061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911087452.7A Pending CN110852970A (zh) 2019-11-08 2019-11-08 基于深度卷积生成对抗网络的水下机器人图像增强方法

Country Status (1)

Country Link
CN (1) CN110852970A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461997A (zh) * 2020-03-09 2020-07-28 厦门大学 水下图像增强生成对抗网络的训练方法、介质及装置
CN113537401A (zh) * 2021-08-13 2021-10-22 哈尔滨工程大学 一种基于改进的生成对抗网络的水下图像翻译方法
CN113536373A (zh) * 2021-07-07 2021-10-22 河南大学 一种脱敏气象数据的生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968962A (zh) * 2017-12-12 2018-04-27 华中科技大学 一种基于深度学习的两帧不相邻图像的视频生成方法
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统
CN109993710A (zh) * 2019-03-20 2019-07-09 西北工业大学 一种基于生成对抗网络的水下图像去噪方法
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968962A (zh) * 2017-12-12 2018-04-27 华中科技大学 一种基于深度学习的两帧不相邻图像的视频生成方法
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统
CN109993710A (zh) * 2019-03-20 2019-07-09 西北工业大学 一种基于生成对抗网络的水下图像去噪方法
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YECAI GUO ET AL.: "Underwater Image Enhancement Using a Multiscale Dense Generative Adversarial Network", 《IEEE JOURNAL OF OCEANIC ENGINEERING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461997A (zh) * 2020-03-09 2020-07-28 厦门大学 水下图像增强生成对抗网络的训练方法、介质及装置
CN111461997B (zh) * 2020-03-09 2022-07-19 厦门大学 水下图像增强生成对抗网络的训练方法、介质及装置
CN113536373A (zh) * 2021-07-07 2021-10-22 河南大学 一种脱敏气象数据的生成方法
CN113537401A (zh) * 2021-08-13 2021-10-22 哈尔滨工程大学 一种基于改进的生成对抗网络的水下图像翻译方法

Similar Documents

Publication Publication Date Title
CN110852970A (zh) 基于深度卷积生成对抗网络的水下机器人图像增强方法
CN111833246B (zh) 基于注意力级联网络的单帧图像超分辨方法
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN109447907B (zh) 一种基于全卷积神经网络的单图像增强方法
CN108460746B (zh) 一种基于结构和纹理分层预测的图像修复方法
US8639056B2 (en) Contrast enhancement
CN113313644B (zh) 一种基于残差双注意力网络的水下图像增强方法
JP2009509418A (ja) 時間予測のための分類フィルタリング
CN112785661B (zh) 基于融合感知损失的深度语义分割图像压缩方法及系统
CN114998145A (zh) 一种基于多尺度和上下文学习网络的低照度图像增强方法
CN115565056A (zh) 基于条件生成对抗网络的水下图像增强方法及系统
CN116563108A (zh) 一种基于残差多谱通道注意力网络水下图像超分辨率方法
CN107274360A (zh) 一种基于Fisher字典学习、低秩表示的高光谱图像去噪方法
CN112686830A (zh) 基于图像分解的单一深度图的超分辨率方法
CN116778165A (zh) 基于多尺度自适应语义分割的遥感影像灾害检测方法
CN117351340A (zh) 基于双颜色空间的水下图像增强算法
CN114266711A (zh) 一种基于注意力跨层转移机制的生成式图像修复方法
Chang et al. Attention-based color consistency underwater image enhancement network
CN117292017A (zh) 一种草图到图片跨域合成方法、系统及设备
CN117314808A (zh) 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法
CN117078574A (zh) 一种图像去雨方法及装置
CN116664587A (zh) 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置
CN113837963B (zh) 基于深度网络在lab颜色空间下的水下图像增强方法
CN115829868A (zh) 基于光照与噪声残差图的水下暗光图像增强方法
CN116843559A (zh) 一种基于图像处理与深度学习的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication