CN111461997B - 水下图像增强生成对抗网络的训练方法、介质及装置 - Google Patents

水下图像增强生成对抗网络的训练方法、介质及装置 Download PDF

Info

Publication number
CN111461997B
CN111461997B CN202010158049.5A CN202010158049A CN111461997B CN 111461997 B CN111461997 B CN 111461997B CN 202010158049 A CN202010158049 A CN 202010158049A CN 111461997 B CN111461997 B CN 111461997B
Authority
CN
China
Prior art keywords
underwater
picture
pictures
generate
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010158049.5A
Other languages
English (en)
Other versions
CN111461997A (zh
Inventor
赵彩丹
邓均杰
陈凌俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010158049.5A priority Critical patent/CN111461997B/zh
Publication of CN111461997A publication Critical patent/CN111461997A/zh
Application granted granted Critical
Publication of CN111461997B publication Critical patent/CN111461997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种水下图像增强生成对抗网络的训练方法、介质及装置，其中方法包括：获取原始图片，并将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络。能够利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。

Description

水下图像增强生成对抗网络的训练方法、介质及装置
技术领域
本发明涉及图像增强技术领域，特别涉及一种水下图像增强生成对抗网络的训练方法、一种计算机可读存储介质以及一种水下图像增强生成对抗网络的训练装置。
背景技术
随着工业的发展和人口的急剧增长，陆地资源短缺问题愈发严峻；海洋资源逐渐成为世界各国开发的战略重心。而由于水下环境的特殊性，所采集的水下图像往往存在颜色失真、清晰度低和细节丢失等问题。因此，对水下图像进行增强以提升人的水下视觉，具有非常重要的意义。
相关技术中，在对水下图像进行增强的过程中，多采用深度学习法。而在深度学习的过程中，需要大量的水下图像作为训练数据。而水下图像往往难以获得，因此，如何利用极小的数据集实现对水下图像进行增强是当下急需解决的问题。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种水下图像增强生成对抗网络的训练方法，能够利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种水下图像增强生成对抗网络的训练装置。
为达到上述目的，本发明第一方面实施例提出了一种水下图像增强生成对抗网络的训练方法，包括以下步骤：获取原始图片，并将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络。
根据本发明实施例的水下图像增强生成对抗网络的训练方法，首先，获取原始图片，并将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络；从而实现利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
另外，根据本发明上述实施例提出的水下图像增强生成对抗网络的训练方法还可以具有如下附加的技术特征：
可选地，所述水下图像失真模型的生成步骤包括：获取同一场景对应不同色温的场景图片，并根据每个色温对应的场景图片计算非线性颜色映射函数，以便根据所述非线性颜色映射函数将原始图片转换为第一水下图片。
可选地，对所述第一水下图片进行数据扩充，以生成多个第二水下图片，包括：对所述第一水下图片进行裁剪，以生成多个裁剪图片，并对所述多个裁剪图片进行翻转处理和/或镜像处理，以及对处理后的裁剪图片进行拼接，以生成多个第二水下图片。
可选地，对所述第一水下图片进行数据扩充，以生成多个第二水下图片，包括：获取多个待镶嵌图片，并将每个待镶嵌图片分别与所述第一水下图片进行泊松融合，以生成对应所述待镶嵌图片的多个第二水下图片。
可选地，所述水下图像增强生成对抗网络的conv层采用两个stride为2的conv进行下采样，并采用两个densenet模块，以有效传递conv层输出信号的特征信息；所述水下图像增强生成对抗网络使用upsample+conv组合来进行上采样操作，每个卷积层都采用conv+IN(instance norm)+leakyrelu结构。
可选地，所述水下图像增强生成对抗网络的生成模型端包括三个步长为2的卷积层和两个densenet模块；所述水下图像增强生成对抗网络的判决模型端包括局部判决器、全局判决器和亮度判决器；所述水下图像增强生成对抗网络的优化器为Adamoptimizer。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有水下图像增强生成对抗网络的训练程序，该水下图像增强生成对抗网络的训练程序被处理器执行时实现如上述的水下图像增强生成对抗网络的训练方法。
根据本发明实施例的计算机可读存储介质，通过存储水下图像增强生成对抗网络的训练程序，以使得处理器在执行该水下图像增强生成对抗网络的训练程序时，实现如上述的水下图像增强生成对抗网络的训练方法，从而实现利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
为达到上述目的，本发明第三方面实施例提出了一种水下图像增强生成对抗网络的训练装置，包括：获取模块，所述获取模块用于获取原始图片；图像失真模块，所述图像失真模块用于将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；训练数据生成模块，所述训练数据生成模块用于对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；训练模块，所述训练模块用于根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络。
根据本发明实施例的水下图像增强生成对抗网络的训练装置，通过设置获取模块用于获取原始图片；图像失真模块用于将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；训练数据生成模块用于对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；训练模块用于根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络；从而实现利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
另外，根据本发明上述实施例提出的水下图像增强生成对抗网络的训练装置还可以具有如下附加的技术特征：
可选地，所述水下图像失真模型的生成步骤包括：获取同一场景对应不同色温的场景图片，并根据每个色温对应的场景图片计算非线性颜色映射函数，以便根据所述非线性颜色映射函数将原始图片转换为第一水下图片。
可选地，对所述第一水下图片进行数据扩充，以生成多个第二水下图片，包括：对所述第一水下图片进行裁剪，以生成多个裁剪图片，并对所述多个裁剪图片进行翻转处理和/或镜像处理，以及对处理后的裁剪图片进行拼接，以生成多个第二水下图片。
附图说明
图1为根据本发明实施例的水下图像增强生成对抗网络的训练方法的流程示意图；
图2为根据本发明实施例的泊松融合过程示意图；
图3为根据本发明实施例的水下图像增强生成对抗网络结构示意图；
图4为根据本发明实施例的水下图像增强生成对抗网络的训练装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，在对水下图像进行增强的过程中，需要大量的水下图像作为训练数据。而水下图像往往难以获得；根据本发明实施例的水下图像增强生成对抗网络的训练方法，首先，获取原始图片，并将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络；从而实现利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的水下图像增强生成对抗网络的训练方法的流程示意图，如图1所示，该水下图像增强生成对抗网络的训练方法包括以下步骤：
S101，获取原始图片，并将原始图片输入到水下图像失真模型，以生成原始图片对应的第一水下图片。
即言，首先，设计水下图像失真模型；然后，对需要进行处理的原始图片(可以是任意的普通图片，即言，非水下图片)进行获取，并将获取到的原始图片输入到水下图像失真模型中，以通过水下图像失真模型将原始图片转换为第一水下图片。
其中，水下图像失真模型的设计方式可以有多种。
作为一种示例，水下图像失真模型的生成步骤包括：
获取同一场景对应不同色温的场景图片，并根据每个色温对应的场景图片计算非线性颜色映射函数，以便根据非线性颜色映射函数将原始图片转换为第一水下图片。
作为另一种示例，首先，通过固定位置的图像采集设备来获取同一场景在不同色温下的场景图片，即言，多种色温对应的场景图片；然后，根据多种色温对应的场景图片进行颜色映射函数的计算；可知，实际颜色失衡映射函数是非线性递增的，因此，需要计算非线性颜色映射函数，以实现将普通图片转换为水下图片。
S102，对第一水下图片进行数据扩充，以生成多个第二水下图片，并根据原始图片和第二水下图片生成对应每个第二水下图片的训练数据对。
即言，在获取到普通图片对应的第一水下图片之后，对获取到的第一水下图片进行数据扩充，以提高基础训练数据的数据量，进而生成多个第二水下图片，然后，根据原始图片和每个第二水下图片生成训练数据对，从而，可以获得多个训练数据对。
其中，对第一水下图片进行数据扩充，以生成多个第二水下图片的方式可以有多种。
作为一种示例，对第一水下图片进行裁剪，以生成多个裁剪图片，并对多个裁剪图片进行翻转处理和/或镜像处理，以及对处理后的裁剪图片进行拼接，以生成多个第二水下图片。
具体地，当第一水下图片为256*256的图像时，可以按照预设的尺寸(例如，32*32)对第一水下图片进行裁剪，从而，可以得到64张32*32的裁剪图片，接着，对得到的64张裁剪图片进行随机翻转、镜像或者翻转加镜像，并对随机翻转、镜像或者翻转加镜像后的裁剪图片进行拼接，以生成第二水下图片；可以理解，通过这种方式可以得到大量不同的第二水下图片。
作为另一种示例，获取多个待镶嵌图片，并将每个待镶嵌图片分别与第一水下图片进行泊松融合，以生成对应待镶嵌图片的多个第二水下图片。
具体地，如图2所示，待镶嵌图片可以是任意的普通图片，从而可知，待镶嵌图片的获取容易，可以很容易地获取得到海量的待镶嵌图片，进而，可以采用Possion Clone算法对图片进行融合，以根据第一水下图片的图像颜色信息将待镶嵌图片融合到第一水下图片中，尽可能地保留第一水下图片的图像颜色，并引入其中的纹理信息；从而得到海量的第二水下图片。
需要说明的是，在本发明的一些实施例中，可以先对第一水下图片进行翻转处理和/或镜像处理，并对处理后的裁剪图片进行拼接，以得到拼接图片，然后获取多个待镶嵌图片，并将待镶嵌图片分别与拼接图片进行融合，以生成第二水下图片；另外，也可以先获取多个待镶嵌图片，并将待镶嵌图片分别与第一水下图片进行融合，以生成融合图片，然后，对融合图片进行翻转处理和/或镜像处理，并对处理后的裁剪图片进行拼接，以得到海量的第二水下图片；在此不对具体的方式进行限定。
S103，根据训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络。
也就是说，在训练数据对生成之后，将训练数据对输入到生成对抗网络，以进行生成对抗网络的训练，以训练得到水下图像增强生成对抗网络；进而，可以通过水下图像增强生成对抗网络对水下图像进行增强，以提升人的水下视觉。
其中，水下图像生成对抗网络的设置方式可以有多种。
作为一种示例，水下图像增强生成对抗网络的conv层采用两个stride为2的conv进行下采样，并采用两个densenet模块，以有效传递conv层输出信号的特征信息；
水下图像增强生成对抗网络使用upsample+conv组合来进行上采样操作，每个卷积层都采用conv+IN(instance norm)+leakyrelu结构。
作为另一种示例，水下图像增强生成对抗网络的生成模型端包括三个步长为2的卷积层和两个densenet模块；
水下图像增强生成对抗网络的判决模型端包括局部判决器、全局判决器和亮度判决器；
所述水下图像增强生成对抗网络的优化器为Adamoptimizer。
在本发明的一些具体实施例中，如图3所示，图3为根据本发明实施例的水下图像增强生成对抗网络的结构图；该水下图像增强生成对抗网络结构的conv层采用两个stride为2的conv进行下采样；并且，采用两个densenet模块，有效传递conv层输出信号的特征信息，实现减少参数量，缓解梯度消失问题；同时，使用upsample+conv组合来进行上采样操作，每个卷积层都采用conv+IN(instance norm)+leakyrelu结构，克服使用deconv层进行上采样造成的棋盘效应，以提高生成图像质量；另外，生成模型端首先使用三个步长为2的卷积层，将图片分辨率降低，并增加其深度，然后使用两个densenet模块来提取图片特征，之后用两个上采样模块来恢复图像原始尺寸；判决模型端分为局部与全局判决器以及一个亮度判决器，其中亮度辅助判决器可进一步限制亮度从而达到亮度的迁移。亮度判决采用原始图片每个类别的平均亮度Mori,i与生成图片的平均亮度Men,i进行判定，认为与训练图片平均亮度差值在一定范围内的图片都是亮度成功迁移的，反之亮度迁移失败；其中，优化器选用Adamoptimizer，β1取0.5，β2取0.99,学习率为固定为0.002，batch固定为1。失真函数失真幅度随训练次数逐渐增大，这样避免网络一开始梯度抖动太大造成模型崩溃；在局部和全局判决器中使用WGAN-GP来稳定模型，确保模型参数能够正常收敛。
综上所述，根据本发明实施例的水下图像增强生成对抗网络的训练方法，首先，获取原始图片，并将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络；从而实现利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有水下图像增强生成对抗网络的训练程序，该水下图像增强生成对抗网络的训练程序被处理器执行时实现如上述的水下图像增强生成对抗网络的训练方法。
根据本发明实施例的计算机可读存储介质，通过存储水下图像增强生成对抗网络的训练程序，以使得处理器在执行该水下图像增强生成对抗网络的训练程序时，实现如上述的水下图像增强生成对抗网络的训练方法，从而实现利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
为了实现上述实施例，本发明实施例提出了一种水下图像增强生成对抗网络的训练装置，如图4所示，该水下图像增强生成对抗网络的训练装置包括：获取模块10、图像失真模块20、训练数据生成模块30和训练模块40。
其中，获取模块10用于获取原始图片；
图像失真模块20用于将原始图片输入到水下图像失真模型，以生成原始图片对应的第一水下图片；
训练数据生成模块30用于对第一水下图片进行数据扩充，以生成多个第二水下图片，并根据原始图片和第二水下图片生成对应每个第二水下图片的训练数据对；
训练模块40用于根据训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络。
在一些实施例中，水下图像失真模型的生成步骤包括：
获取同一场景对应不同色温的场景图片，并根据每个色温对应的场景图片计算非线性颜色映射函数，以便根据非线性颜色映射函数将原始图片转换为第一水下图片。
在一些实施例中，对第一水下图片进行数据扩充，以生成多个第二水下图片，包括：
对第一水下图片进行裁剪，以生成多个裁剪图片，并对多个裁剪图片进行翻转处理和/或镜像处理，以及对处理后的裁剪图片进行拼接，以生成多个第二水下图片。
综上所述，根据本发明实施例的水下图像增强生成对抗网络的训练装置，通过设置获取模块用于获取原始图片；图像失真模块用于将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；训练数据生成模块用于对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；训练模块用于根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络；从而实现利用极小的数据集实现对水下图像进行增强，提高水下图像增强生成对抗网络的训练效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种水下图像增强生成对抗网络的训练方法，其特征在于，包括以下步骤;
获取原始图片，并将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；
对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；
根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络；
其中，所述水下图像失真模型的生成步骤包括：
获取同一场景对应不同色温的场景图片，并根据每个色温对应的场景图片计算非线性颜色映射函数，以便根据所述非线性颜色映射函数将原始图片转换为第一水下图片；
其中，对所述第一水下图片进行数据扩充，以生成多个第二水下图片，包括：
获取多个待镶嵌图片，并将每个待镶嵌图片分别与所述第一水下图片进行泊松融合，以生成对应所述待镶嵌图片的多个第二水下图片；
其中，所述水下图像增强生成对抗网络的conv层采用两个stride为2的conv进行下采样，并采用两个densenet模块，以有效传递conv层输出信号的特征信息；
所述水下图像增强生成对抗网络使用upsample+conv组合来进行上采样操作，每个卷积层都采用conv+INinstance norm+leakyrelu结构。
2.如权利要求1所述的水下图像增强生成对抗网络的训练方法，其特征在于，对所述第一水下图片进行数据扩充，以生成多个第二水下图片，包括：
对所述第一水下图片进行裁剪，以生成多个裁剪图片，并对所述多个裁剪图片进行翻转处理和/或镜像处理，以及对处理后的裁剪图片进行拼接，以生成多个第二水下图片。
3.如权利要求1或2所述的水下图像增强生成对抗网络的训练方法，其特征在于，所述水下图像增强生成对抗网络的生成模型端包括三个步长为2的卷积层和两个densenet模块；
所述水下图像增强生成对抗网络的判决模型端包括局部判决器、全局判决器和亮度判决器；
所述水下图像增强生成对抗网络的优化器为Adamoptimizer。
4.一种计算机可读存储介质，其特征在于，其上存储有水下图像增强生成对抗网络的训练程序，该水下图像增强生成对抗网络的训练程序被处理器执行时实现如权利要求1-3中任一项所述的水下图像增强生成对抗网络的训练方法。
5.一种水下图像增强生成对抗网络的训练装置，其特征在于，包括：
获取模块，所述获取模块用于获取原始图片；
图像失真模块，所述图像失真模块用于将所述原始图片输入到水下图像失真模型，以生成所述原始图片对应的第一水下图片；
训练数据生成模块，所述训练数据生成模块用于对所述第一水下图片进行数据扩充，以生成多个第二水下图片，并根据所述原始图片和所述第二水下图片生成对应每个所述第二水下图片的训练数据对；
训练模块，所述训练模块用于根据所述训练数据对进行生成对抗网络的训练，以获取水下图像增强生成对抗网络；
其中，所述水下图像失真模型的生成步骤包括：
获取同一场景对应不同色温的场景图片，并根据每个色温对应的场景图片计算非线性颜色映射函数，以便根据所述非线性颜色映射函数将原始图片转换为第一水下图片；
其中，对所述第一水下图片进行数据扩充，以生成多个第二水下图片，包括：
获取多个待镶嵌图片，并将每个待镶嵌图片分别与所述第一水下图片进行泊松融合，以生成对应所述待镶嵌图片的多个第二水下图片；
其中，所述水下图像增强生成对抗网络的conv层采用两个stride为2的conv进行下采样，并采用两个densenet模块，以有效传递conv层输出信号的特征信息；
所述水下图像增强生成对抗网络使用upsample+conv组合来进行上采样操作，每个卷积层都采用conv+INinstance norm+leakyrelu结构。
6.如权利要求5所述的水下图像增强生成对抗网络的训练装置，其特征在于，对所述第一水下图片进行数据扩充，以生成多个第二水下图片，包括：
对所述第一水下图片进行裁剪，以生成多个裁剪图片，并对所述多个裁剪图片进行翻转处理和/或镜像处理，以及对处理后的裁剪图片进行拼接，以生成多个第二水下图片。
CN202010158049.5A 2020-03-09 2020-03-09 水下图像增强生成对抗网络的训练方法、介质及装置 Active CN111461997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010158049.5A CN111461997B (zh) 2020-03-09 2020-03-09 水下图像增强生成对抗网络的训练方法、介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010158049.5A CN111461997B (zh) 2020-03-09 2020-03-09 水下图像增强生成对抗网络的训练方法、介质及装置

Publications (2)

Publication Number Publication Date
CN111461997A CN111461997A (zh) 2020-07-28
CN111461997B true CN111461997B (zh) 2022-07-19

Family

ID=71684222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010158049.5A Active CN111461997B (zh) 2020-03-09 2020-03-09 水下图像增强生成对抗网络的训练方法、介质及装置

Country Status (1)

Country Link
CN (1) CN111461997B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634151A (zh) * 2020-12-14 2021-04-09 深圳中兴网信科技有限公司 基于泊松融合的烟雾数据增强方法、增强设备和存储介质
CN113537401B (zh) * 2021-08-13 2022-08-02 哈尔滨工程大学 一种基于改进的生成对抗网络的水下图像翻译方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118445A (zh) * 2018-07-27 2019-01-01 杭州电子科技大学 一种基于多分支生成对抗网络的水下图像增强方法
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN109978792A (zh) * 2019-03-28 2019-07-05 厦门美图之家科技有限公司 一种生成图像增强模型的方法
CN110852970A (zh) * 2019-11-08 2020-02-28 南京工程学院 基于深度卷积生成对抗网络的水下机器人图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118445A (zh) * 2018-07-27 2019-01-01 杭州电子科技大学 一种基于多分支生成对抗网络的水下图像增强方法
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN109978792A (zh) * 2019-03-28 2019-07-05 厦门美图之家科技有限公司 一种生成图像增强模型的方法
CN110852970A (zh) * 2019-11-08 2020-02-28 南京工程学院 基于深度卷积生成对抗网络的水下机器人图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
UCT-GAN: underwater image colour transfer generative adversarial network;Junjie Deng et al.;《IET Image Processing (Institution of Engineering & Technology)》;20201112;第14卷(第14期);第3613-3622页 *
Watergan: unsupervised generative network to enable real-time color correction of monocular underwater images;Jie Li et al.;《IEEE Robotics and Automation Letters》;20170728;第3卷(第1期);全文 *
一种基于生成式对抗网络的图像数据扩充方法;王海文 等;《计算机技术与发展》;20191205(第03期);全文 *

Also Published As

Publication number Publication date
CN111461997A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
JP6021541B2 (ja) 画像処理装置及び方法
Hua et al. Holopix50k: A large-scale in-the-wild stereo image dataset
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CN111461997B (zh) 水下图像增强生成对抗网络的训练方法、介质及装置
CN110599533B (zh) 适用于嵌入式平台的快速单目深度估计方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN111915660A (zh) 基于共享特征和注意力上采样的双目视差匹配方法及系统
WO2018168539A1 (ja) 学習方法およびプログラム
Zhao et al. Sspu-net: Self-supervised point cloud upsampling via differentiable rendering
CN111951368B (zh) 一种点云、体素和多视图融合的深度学习方法
CN110335222B (zh) 基于神经网络的自修正弱监督双目视差提取方法及装置
KR20200140713A (ko) 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN111476884A (zh) 基于单帧rgbd图像的实时三维人体重建方法及系统
JP2020036310A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP6128748B2 (ja) 画像処理装置及び方法
US11810308B2 (en) Vertical disparity detection in stereoscopic images using a deep neural network
CN111104532A (zh) 一种基于双流网络的rgbd图像联合恢复方法
CN113191962B (zh) 基于环境背景光的水下图像颜色恢复方法、装置及存储介质
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
KR102358854B1 (ko) 얼굴 이미지 색상 합성 장치 및 방법
JP2021089493A (ja) 情報処理装置およびその学習方法
WO2023086398A1 (en) 3d rendering networks based on refractive neural radiance fields
CN115937358A (zh) 图像处理方法及其装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant