CN111062880B - 一种基于条件生成对抗网络的水下图像实时增强方法 - Google Patents
一种基于条件生成对抗网络的水下图像实时增强方法 Download PDFInfo
- Publication number
- CN111062880B CN111062880B CN201911117238.1A CN201911117238A CN111062880B CN 111062880 B CN111062880 B CN 111062880B CN 201911117238 A CN201911117238 A CN 201911117238A CN 111062880 B CN111062880 B CN 111062880B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- countermeasure network
- domain
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004438 eyesight Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000005477 standard model Effects 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于条件生成对抗网络的水下图像实时增强方法，属于图像处理技术领域，包括在机器人视觉系统中建立条件生成对抗网络体系系统，通过遵循U‑net的原理建立一个图像模型网络，并通过判别器模块建立采用马尔可夫数据链生成对抗网络架构，解决了水下图像的噪声和失真的技术问题，利用深度卷积方法对生成对抗网络进行优化，提高了水下机器人视觉图像增强能力，采用深度卷积方法对生成对抗网络参数进行优化，本发明基于深度卷积生成对抗网络的水下机器人图像增强方法，通过基于图像的整体内容、颜色、局部纹理和风格信息评估图像的感知质量，制定了一个多模态目标函数来训练模型。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于条件生成对抗网络的水下图像实时增强方法。
背景技术
自主水下机器人被广泛应用于海洋环境监测、海底电缆检查、水下场景分析、海底地形测绘等方面。水下机器人工作中遇到一个重要问题是，机器人视觉系统会受到能见度低、光线折射、吸收和散射的严重影响，这些光学伪影会在捕获的图像中引起非线性失真，严重影响基于水下机器人视觉系统的性能，如水下目标跟踪、检测和分类、分割和视觉伺服。而快速、准确的图像增强技术可以通过实时恢复畸变图像的感知和统计特性来缓解这些问题。图像自动增强是计算机视觉、机器人技术和信号处理等领域研究的热点问题。特别是在过去十年里，由于深度学习的出现和大规模数据集的可用性，它取得了显著的进展基于深度CNN的模型为图像着色和颜色/对比度调整等问题提供了最先进的性能。此外，基于CNN的残差模型和递归模型在图像去模糊或去叠、雨水去除和稀疏修补方面都有很好的性能。这些模型从大量成对的训练数据中学习一系列非线性滤波器，与使用手工制作的滤波器相比，它们提供了更好的性能。
此外，基于生成对抗网络的模型在风格转换和图像到图像转换问题上也取得了进展，通过使用最小-最大博弈，条件生成对抗网络允许约束生成器生成遵循特定模式或属于特定类的样本，这在图像到图像的转换问题中特别有用，条件生成对抗网络用于学习任意输入域(例如畸变图像)和期望输出域(例如增强图像)之间的像素到像素(pix2pix)映射。
上述模型的一个主要限制是它们需要成对的训练数据，这对于许多实际应用来说可能是不可用的或是很难获得的。
水下图像增强技术发展缓慢，主要是缺乏包含同一场景的多个感知质量图像的大规模数据集。传统的方法通过使用一系列双边和三边滤波器来避免基于实例的学习，以减少噪声和提高全局对比度。然而，这些方法对于提高感知图像质量的性能在很大程度上取决于合成图像的质量和中性。此外，这些方法往往对计算要求太高，无法产生快速的推理，因此，在提高实时水下视觉感知方面的应用受到限制。
现有的基于深度卷积神经网络(CNNs)的文献为图像增强问题提供了很好的解决方案，特别是颜色/对比度调整、着色、去雾、超分辨率等。然而，采用这种方法进行水下图像增强还存在一些问题。
首先，水下图像存在一系列独特的畸变。例如，水下图像往往有一个主要的绿色或蓝色色调，因为红色波长在深水中被吸收。其他因素，如不同深度的光照变化、水中粒子的数量、散射等，会导致不规则的非线性失真，从而导致低对比度、经常模糊和整体质量差的图像。
其次，获取大规模水下数据，特别是同一场景的多个感知质量，成本高，难度大。此外，设计自动图像增强模型并研究其对改善实时水下视觉感知的适用性，在文献中还没有深入探讨。
发明内容
本发明的目的是提供一种基于条件生成对抗网络的水下图像实时增强方法，解决了水下图像的噪声和失真的技术问题。
为实现上述目的，本发明采用如下技术方案：
一种基于条件生成对抗网络的水下图像实时增强方法，包括如下步骤：
步骤1：在机器人视觉系统中建立条件生成对抗网络体系系统，条件生成对抗网络体系系统包括图像采集模块、域模块、网络模型模块和判别器模块；
图像采集模块用于获取原始图像，域模块用于在原始图像上输入源域X和输出期望域Y，源域X即为原始图像中的畸变图像区域，期望域Y即为增强后的图像；
步骤2：网络模型模块获取域模块中的给定源域X和输出期望域Y，并做如下处理：
步骤A1：网络模型模块遵循U-net的原理建立一个图像模型网络，图像模型网络为一个编码器-解码器网络，包括编码器e1-e5和解码器d1-d5；
编码器e1-e5用于对给定源域x中的像素进行编码处理；
编码器e1-e5和解码器d1-d5之间具有镜像层之间的连接，其中对应连接关系为：e1连接d5、e2连接d4，e3连接d3、e4连接d2、e5连接d1；
步骤A2：设定图像模型网络的输入设置为256×256×3，编码器e1-e5学习256个8×8大小的特征映射；
解码器d1-d5利用所述特征映射和来自跳过连接的输入来学习生成256×256×3增强图像作为输出；
步骤A3：在每一个镜像层应用4×4滤波器的2d卷积，然后进行非线性处理和批处理归一化；
步骤3：判别器模块建立采用马尔可夫数据链生成对抗网络架构，该架构假设像素独立于数据链大小之外，即仅基于数据链级别信息进行判别器；
通过对抗网络架构，使用四个卷积层将256×256×6输入转换为16×16×1输出，该16×16×1输出表示判别器的平均有效性响应；
步骤4：在每一个镜像层，使用5×5卷积滤波器进行滤波，步长为2；然后进行非线性和Bn，得到最终增强图像。
优选的，在执行步骤3时，所述对抗网络架构的函数公式为：
LcGAN(G,D)＝EX,Y[logD(Y)]+EX,Y[log(1-D(X,G(X,Z)))]；
其中，X表示源域，Y表示期望域，Z表示随机噪声，标准模型学习映射即为G:{X，Z}→Y，公式中，发生器G试图最小化LC生成对抗网络，而判别器D试图最大化它。
优选的，在所述对抗网络架构中，将所述源域X中的全局相似性、图像内容和局部纹理风格信息这三个方面联系起来，用于量化感知图像质量。
优选的，在执行步骤3时，对于成对训练，采用一个目标函数来指导所述发生器G学习提高感知图像质量，用来使生成的图像在全局外观和高层次特征表示方面接近各自的地面真实性；
所述判别器D将丢弃生成的具有局部不一致纹理和样式的图像，即，使用以下目标函数进行配对训练：
其中λ1和λc是经验调谐为超参数的标度因子。
优选的，在执行步骤3时，对于未配对的训练，不强制执行全局相似性和内容丢失约束，采用以下循环一致性损失公式进行训练：
Lcyc(GF,GR)＝EX,Y,Z[||X-GR(GF(X,Z))||]+EX,Y,Z[||Y-GF(GR(Y,Z))||]；
其中判别器DY和判别器DX分别与生成器GF和生成器GR相关联，λcyc是经验调谐为超参数的比例因子。
本发明所述的一种基于条件生成对抗网络的水下图像实时增强方法，解决了水下图像的噪声和失真的技术问题，利用深度卷积方法对生成对抗网络进行优化，提高了水下机器人视觉图像增强能力，采用深度卷积方法对生成对抗网络参数进行优化，本发明基于深度卷积生成对抗网络的水下机器人图像增强方法，通过基于图像的整体内容、颜色、局部纹理和风格信息评估图像的感知质量，制定了一个多模态目标函数来训练模型。
附图说明
图1为本发明的编码器-解码器网络架构示意图；
图2为本发明的四层、16×16大小的马尔可夫数据链生成对抗网络示意图；
图3为本发明的增强图像恢复原色和锐度的示意图；
图4为本发明的图像对比度增强的示意图。
具体实施方式
如图1-图4所示的一种基于条件生成对抗网络的水下图像实时增强方法，包括如下步骤：
步骤1：在机器人视觉系统中建立条件生成对抗网络体系系统，条件生成对抗网络体系系统包括图像采集模块、域模块、网络模型模块和判别器模块；
图像采集模块用于获取原始图像，域模块用于在原始图像上输入源域X和输出期望域Y，源域X即为原始图像中的畸变图像区域，期望域Y即为增强后的图像；本发明的目标是学习映射G:X→Y以执行自动图像增强。
本发明采用了一个基于条件生成对抗网络的模型，在该模型中，生成器通过一个迭代的min-max博弈方法，通过判别器进化来学习该映射。
如图1给出了条件生成对抗网络网络结构的简化示意图。
步骤2：网络模型模块获取域模块中的给定源域X和输出期望域Y，并做如下处理：
步骤A1：网络模型模块遵循U-net的原理建立一个图像模型网络，图像模型网络为一个编码器-解码器网络，包括编码器e1-e5和解码器d1-d5；
编码器e1-e5用于对给定源域x中的像素进行编码处理；
编码器e1-e5和解码器d1-d5之间具有镜像层之间的连接，其中对应连接关系为：e1连接d5、e2连接d4，e3连接d3、e4连接d2、e5连接d1；
本发明提出的生成器网络中跳过连接的思想被证明对于图像到图像的转换和图像质量增强问题非常有效。
然而，在条件生成对抗网络中，本发明使用了一个参数较少的简单模型来实现快速推理。
步骤A2：设定图像模型网络的输入设置为256×256×3，编码器e1-e5学习256个8×8大小的特征映射；
解码器d1-d5利用所述特征映射和来自跳过连接的输入来学习生成256×256×3增强图像作为输出；
步骤A3：由于没有使用完全连接的层，网络是完全卷积的，在每一个镜像层应用4×4滤波器的2d卷积，然后进行非线性处理和批处理归一化；
步骤3：判别器模块建立采用马尔可夫数据链生成对抗网络架构，该架构假设像素独立于数据链大小之外，即仅基于数据链级别信息进行判别器；
这种假设对于有效地捕捉局部纹理和风格等高频特征非常重要。
此外，与在图像级别进行全局区分相比，该配置需要更少的参数，因此计算效率更高。
通过对抗网络架构，使用四个卷积层将256×256×6输入转换为16×16×1输出，该16×16×1输出表示判别器的平均有效性响应；
步骤4：在每一个镜像层，使用5×5卷积滤波器进行滤波，步长为2；然后进行非线性和Bn，得到最终增强图像。
传统上，patch生成对抗网络对256×256图像使用70×70数据链。
然而，本发明在条件-生成对抗网络中使用的数据链大小只有16×16。
优选的，在执行步骤3时，所述对抗网络架构的函数公式为：
LcGAN(G,D)＝EX,Y[logD(Y)]+EX,Y[log(1-D(X,G(X,Z)))]；
其中，X表示源域，Y表示期望域，Z表示随机噪声，标准模型学习映射即为G:{X，Z}→Y，公式中，发生器G试图最小化LC生成对抗网络，而判别器D试图最大化它。
优选的，在所述对抗网络架构中，将所述源域X中的全局相似性、图像内容和局部纹理风格信息这三个方面联系起来，用于量化感知图像质量。
全局相似性：现有的方法已经表明，将L1(L2)损失添加到目标函数中，以学习在L1(L2)意义下从全局相似空间中采样。由于L1损失不太容易引入模糊，本发明在目标中添加以下损失项：
L1(G)＝EX,Y,Z[||Y-G(X,Z)||]；
图像内容：为了鼓励G生成与目标(真实)图像具有相似内容(即特征表示)的增强图像，本发明在目标中加入了内容丢失项，本发明将图像内容函数Φ(·)定义为预先训练提取的高级特征然后，本发明将内容损失表述如下：
Lcon(G)＝EX,Y,Z[||Φ(Y)-Φ(G(X,Z))||]；
局部纹理风格信息：马尔可夫数据链生成对抗网络s能够有效地捕捉与局部纹理和风格有关的高频信息。因此，本发明依赖于D来增强局部纹理和风格的一致性。
优选的，在执行步骤3时，对于成对训练，采用一个目标函数来指导所述发生器G学习提高感知图像质量，用来使生成的图像在全局外观和高层次特征表示方面接近各自的地面真实性；
所述判别器D将丢弃生成的具有局部不一致纹理和样式的图像，即，使用以下目标函数进行配对训练：
其中λ1和λc是经验调谐为超参数的标度因子。
优选的，在执行步骤3时，对于未配对的训练，不强制执行全局相似性和内容丢失约束，采用以下循环一致性损失公式进行训练：
Lcyc(GF,GR)＝EX,Y,Z[||X-GR(GF(X,Z))||]+EX,Y,Z[||Y-GF(GR(Y,Z))||]；
其中判别器DY和判别器DX分别与生成器GF和生成器GR相关联，λcyc是经验调谐为超参数的比例因子。
本实施例中如图3所示，其中Distorted为扭曲的图像，即原始图像，Generated为生成的增强图像，G.Truth为发生器G最终生成的图像，本实施例使用TensorFlow库来实现条件-生成对抗网络模型它分别对从EUVP数据集中随机选择的9k对和23k对的实例进行训练，其余的1k对和2k未对图像分别用于验证和测试，两个模型都经过70k-80k迭代训练，批量大小为16。
本发明设计架构简单模型的动机是为了实现快速的推理时间，以便可以在实时应用程序中使用它。条件生成对抗网络在机器人平台上以7.9fps的速率运行，这些速率明显快于其它算法，这些结果验证了条件生成对抗网络对实时应用的适用性。
如图4所示本实施例进行了进一步的实验，以便定量地解释条件生成对抗网络增强图像对水下视觉感知的有效性，本发明分析了标准的水下目标检测深度视觉模型和增强图像上的人体姿态估计在各种测试用例中的性能。与原始图像相比，本发明平均观察到潜水员检测提高了11-14％，机器人检测提高了7-12％，基于人体姿势的二维关键点检测提高了22-28％，验证了利用条件生成对抗网络提高视觉引导水下机器人实时感知性能的可行性。
本发明所述的一种基于条件生成对抗网络的水下图像实时增强方法，解决了水下图像的噪声和失真的技术问题，利用深度卷积方法对生成对抗网络进行优化，提高了水下机器人视觉图像增强能力，采用深度卷积方法对生成对抗网络参数进行优化，本发明基于深度卷积生成对抗网络的水下机器人图像增强方法，通过基于图像的整体内容、颜色、局部纹理和风格信息评估图像的感知质量，制定了一个多模态目标函数来训练模型。
Claims (5)
1.一种基于条件生成对抗网络的水下图像实时增强方法，其特征在于：包括如下步骤：
步骤1：在机器人视觉系统中建立条件生成对抗网络体系系统，条件生成对抗网络体系系统包括图像采集模块、域模块、网络模型模块和判别器模块；
图像采集模块用于获取原始图像，域模块用于在原始图像上输入源域X和输出期望域Y，源域X即为原始图像中的畸变图像区域，期望域Y即为增强后的图像；
步骤2：网络模型模块获取域模块中的给定源域X和输出期望域Y，并做如下处理：
步骤A1：网络模型模块遵循U-net的原理建立一个图像模型网络，图像模型网络为一个编码器-解码器网络，包括编码器e1-e5和解码器d1-d5；
编码器e1-e5用于对给定源域x中的像素进行编码处理；
编码器e1-e5和解码器d1-d5之间具有镜像层之间的连接，其中对应连接关系为：e1连接d5、e2连接d4，e3连接d3、e4连接d2、e5连接d1；
步骤A2：设定图像模型网络的输入设置为256×256×3，编码器e1-e5学习256个8×8大小的特征映射；
解码器d1-d5利用所述特征映射和来自跳过连接的输入来学习生成256×256×3增强图像作为输出；
步骤A3：在每一个镜像层应用4×4滤波器的2d卷积，然后进行非线性处理和批处理归一化；
步骤3：判别器模块建立采用马尔可夫数据链生成对抗网络架构，该架构假设像素独立于数据链大小之外，即仅基于数据链级别信息进行判别器；
通过对抗网络架构，使用四个卷积层将256×256×6输入转换为16×16×1输出，该16×16×1输出表示判别器的平均有效性响应；
步骤4：在每一个镜像层，使用5×5卷积滤波器进行滤波，步长为2；然后进行非线性和Bn，得到最终增强图像。
2.如权利要求1所述的一种基于条件生成对抗网络的水下图像实时增强方法，其特征在于：在执行步骤3时，所述对抗网络架构的函数公式为：LcGAN(G,D)＝EX,Y[logD(Y)]+EX,Y[log(1-D(X,G(X,Z)))]；其中，X表示源域，Y表示期望域，Z表示随机噪声，E表示条件期望函数，LcGAN是Lc生成对抗网络，标准模型学习映射即为G:{X，Z}→Y，公式中，发生器G试图最小化Lc生成对抗网络，而判别器D试图最大化它。
3.如权利要求2所述的一种基于条件生成对抗网络的水下图像实时增强方法，其特征在于：在所述对抗网络架构中，将所述源域X中的全局相似性、图像内容和局部纹理风格信息这三个方面联系起来，用于量化感知图像质量。
4.如权利要求2所述的一种基于条件生成对抗网络的水下图像实时增强方法，其特征在于：在执行步骤3时，对于成对训练，采用一个目标函数来指导所述发生器G学习提高感知图像质量，用来使生成的图像在全局外观和高层次特征表示方面接近各自的地面真实性；
所述判别器D将丢弃生成的具有局部不一致纹理和样式的图像，即，使用以下目标函数进行配对训练：
其中λ1和λc是经验调谐为超参数的标度因子，G*是目标函数，LcGAN是Lc生成对抗网络，Lcon是对比度损失函数，L1为损失项。
5.如权利要求2所述的一种基于条件生成对抗网络的水下图像实时增强方法，其特征在于：在执行步骤3时，对于未配对的训练，不强制执行全局相似性和内容丢失约束，采用以下循环一致性损失公式进行训练：
Lcyc(GF,GR)＝EX,Y,Z[||X-GR(GF(X,Z))||]+EX,Y,Z[||Y-GF(GR(Y,Z))||]；
其中判别器DY和判别器DX分别与生成器GF和生成器GR相关联，λcyc是经验调谐为超参数的比例因子，E是条件期望函数，Lcyc是经验调谐损失函数，LcGAN是Lc生成对抗网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911117238.1A CN111062880B (zh) | 2019-11-15 | 2019-11-15 | 一种基于条件生成对抗网络的水下图像实时增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911117238.1A CN111062880B (zh) | 2019-11-15 | 2019-11-15 | 一种基于条件生成对抗网络的水下图像实时增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062880A CN111062880A (zh) | 2020-04-24 |
| CN111062880B true CN111062880B (zh) | 2023-07-28 |
Family
ID=70297946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911117238.1A Active CN111062880B (zh) | 2019-11-15 | 2019-11-15 | 一种基于条件生成对抗网络的水下图像实时增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062880B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652813B (zh) * | 2020-05-22 | 2023-03-28 | 中国科学技术大学 | 一种横向束流截面处理方法及装置 |
| CN111640075A (zh) * | 2020-05-23 | 2020-09-08 | 西北工业大学 | 一种基于生成对抗网络的水下图像去遮挡方法 |
| CN111833268B (zh) * | 2020-07-10 | 2023-09-26 | 中国海洋大学 | 一种基于条件生成对抗网络的水下图像增强方法 |
| CN111861924B (zh) * | 2020-07-23 | 2023-09-22 | 成都信息工程大学 | 一种基于进化gan的心脏磁共振图像数据增强方法 |
| CN112053303B (zh) * | 2020-09-08 | 2024-04-05 | 河海大学 | 一种用于水下auv的视频图像实时增强方法 |
| CN112070703B (zh) * | 2020-09-16 | 2024-05-03 | 山东建筑大学 | 一种仿生机器鱼水下视觉图像增强方法及系统 |
| CN112541865A (zh) * | 2020-10-15 | 2021-03-23 | 天津大学 | 基于生成对抗网络的水下图像增强方法 |
| CN112614198A (zh) * | 2020-11-23 | 2021-04-06 | 上海眼控科技股份有限公司 | 多模态边缘实体图像转换方法、装置、计算机设备和介质 |
| CN112712002B (zh) * | 2020-12-24 | 2024-05-14 | 深圳力维智联技术有限公司 | 基于cgan的环境监控方法、装置、系统及存储介质 |
| CN112614077B (zh) * | 2020-12-30 | 2022-08-19 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN113256520B (zh) * | 2021-05-21 | 2023-12-19 | 中国农业大学 | 一种域自适应的水下图像增强方法 |
| CN113205468B (zh) * | 2021-06-01 | 2022-08-09 | 桂林电子科技大学 | 一种基于自注意力机制和gan的水下图像实时复原模型方法 |
| CN113420870B (zh) * | 2021-07-04 | 2023-12-22 | 西北工业大学 | 用于水声目标识别的U-Net结构生成对抗网络及方法 |
| CN113870139A (zh) * | 2021-09-30 | 2021-12-31 | 天津大学 | 一种循环对抗神经网络无人碾压识别去雾方法 |
| CN114266977B (zh) * | 2021-12-27 | 2023-04-07 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
| CN117290773B (zh) * | 2023-10-13 | 2024-04-26 | 哈尔滨工业大学 | 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别系统 |
| CN117391975B (zh) * | 2023-12-13 | 2024-02-13 | 中国海洋大学 | 一种高效的实时水下图像增强方法及其模型搭建方法 |
| CN117495687B (zh) * | 2023-12-29 | 2024-04-02 | 清华大学深圳国际研究生院 | 一种水下图像增强方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8194992B2 (en) * | 2008-07-18 | 2012-06-05 | Xerox Corporation | System and method for automatic enhancement of seascape images |
| FR3059804B1 (fr) * | 2016-12-07 | 2019-08-02 | Idemia Identity And Security | Systeme de traitement d'images |
| US10614557B2 (en) * | 2017-10-16 | 2020-04-07 | Adobe Inc. | Digital image completion using deep learning |
| AU2018100325A4 (en) * | 2018-03-15 | 2018-04-26 | Nian, Xilai MR | A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks |
| CN109118445B (zh) * | 2018-07-27 | 2021-10-08 | 杭州电子科技大学 | 一种基于多分支生成对抗网络的水下图像增强方法 |
| CN109191476B (zh) * | 2018-09-10 | 2022-03-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
| CN109712203B (zh) * | 2018-12-29 | 2020-11-17 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
| CN110084757B (zh) * | 2019-04-15 | 2023-03-07 | 南京信息工程大学 | 一种基于生成对抗网络的红外深度图像增强方法 |
-
2019
- 2019-11-15 CN CN201911117238.1A patent/CN111062880B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062880A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN110309798B (zh) | 一种基于域自适应学习和域泛化的人脸欺骗检测方法 | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN111179189B (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| CN116029902A (zh) | 一种基于知识蒸馏的无监督真实世界图像超分辨方法 | |
| CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
| Yeh et al. | Single image dehazing via deep learning-based image restoration | |
| CN113222879B (zh) | 一种用于红外与可见光图像融合的生成对抗网络 | |
| Huang et al. | Underwater image enhancement via LBP‐based attention residual network | |
| Guan et al. | DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model | |
| Zhang et al. | SFA-GAN: structure–frequency-aware generative adversarial network for underwater image enhancement | |
| Niu et al. | Underwater Waste Recognition and Localization Based on Improved YOLOv5. | |
| CN110766609B (zh) | 一种针对ToF相机的景深图超分辨率重建方法 | |
| Goncalves et al. | Guidednet: Single image dehazing using an end-to-end convolutional neural network | |
| CN113971760B (zh) | 基于深度学习的高质量准稠密互补特征提取方法 | |
| Teng et al. | Unsupervised learning method for underwater concrete crack image enhancement and augmentation based on cross domain translation strategy | |
| CN116433500A (zh) | 一种基于可逆网络的图像去雨方法、系统和可读存储介质 | |
| Cheng et al. | FDCE-Net: Underwater Image Enhancement with Embedding Frequency and Dual Color Encoder | |
| Yang et al. | DestripeCycleGAN: Stripe Simulation CycleGAN for Unsupervised Infrared Image Destriping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |