CN113744166B - 一种用于浑浊水下鱼类图像增强的方法 - Google Patents

一种用于浑浊水下鱼类图像增强的方法 Download PDF

Info

Publication number
CN113744166B
CN113744166B CN202110947163.0A CN202110947163A CN113744166B CN 113744166 B CN113744166 B CN 113744166B CN 202110947163 A CN202110947163 A CN 202110947163A CN 113744166 B CN113744166 B CN 113744166B
Authority
CN
China
Prior art keywords
image
loss
turbid
enhanced
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110947163.0A
Other languages
English (en)
Other versions
CN113744166A (zh
Inventor
朱登明
周文辉
石敏
王兆其
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202110947163.0A priority Critical patent/CN113744166B/zh
Publication of CN113744166A publication Critical patent/CN113744166A/zh
Application granted granted Critical
Publication of CN113744166B publication Critical patent/CN113744166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于浑浊水下鱼类图像增强的网络训练方法，该方法包括：S1、获得经图像增强的训练集，其中，样本的原始图像为浑浊水下鱼类图像，样本的标签图像是利用多种图像增强方式对原始图像处理后得到的增强图像；S2、使用训练集对循环生成对抗网络进行多轮训练，其中，在每轮训练中，根据样本的原始图像生成浑浊图像以及根据样本的标签图像生成增强图像，并基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，并在一轮训练结束时根据相应的评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像。利用本发明的方法，能够高效便捷获得更清晰的水下鱼类图像。

Description

一种用于浑浊水下鱼类图像增强的方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种用于浑浊水下鱼类图像增强的方法。
背景技术
近年来，由于人们对渔业养殖、生态环境保护的重视，获取湖库浑浊水下的鱼类形态及分布的信息显得至关重要。调查湖库水下鱼类的形态及分布是对鱼类生长周期研究、渔场优化管理、以及水环境保护的一个重要手段，在实际生活中发挥着极其重要的应用，受到业界的广泛关注和研究。
湖库由于复杂的水下环境，以及特殊的光学条件，水下淤泥、腐烂植被大量溶解悬浮在水中，导致光线在水下发生严重的遮挡、散射、折射以及衰减，水下成像质量效果差，难以获取图像中的鱼类形态、分布等信息。且由于湖库养殖活动十分频繁，例如一些网箱养殖、盲目投饵施肥施药等，进一步加剧了水质的恶化，导致湖库水体浑浊，能见度低。如何有效地对浑浊水下鱼类图像进行增强，获取清晰的水下数据，成为了一个具有挑战且具有价值的研究点。
然而，当前大部分调查水下鱼类的形态及分布仍停留在人工网捕，人工测量，声呐探测，定点布网等方法上，这些方法不仅成本高昂效率低下，耗时耗力的同时对水生环境造成不可逆的伤害。随着水下相机的普及使得人们可以通过图像处理的方式获得清晰的水下图像，从而从图像中获取水下鱼类的形态以及分布信息。许多研究者着力开发基于深度学习的水下图像增强，它们中的绝大多数是基于海洋数据展开研究。相比于海洋数据，湖库水体浑浊能见度低、图像失真严重、开源数据集少增强难度大，针对湖库浑浊水下图像的研究仍十分不足。
因此，需要对现有技术进行改进，以提供适用于湖库环境、增强效果好的浑浊水下鱼类图像增强方法。
发明内容
因此，本发明的目的在于克服上述现有技术的缺陷，提供一种用于浑浊水下鱼类图像增强的方法以及图像增强方法。
本发明的目的是通过以下技术方案实现的：
根据本发明的第一方面，提供一种用于浑浊水下鱼类图像增强的网络训练方法，所述方法包括：
S1、获得经图像增强的训练集，其中，样本的原始图像为浑浊水下鱼类图像，样本的标签图像是将利用多种图像增强方式对原始图像处理后得到的增强图像；
S2、使用训练集对循环生成对抗网络进行多轮训练，其中，在每轮训练中，根据样本的原始图像生成浑浊图像以及根据样本的标签图像生成增强图像，并基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，并在每轮训练结束时根据评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像。
在本发明的一些实施例中，在步骤S1中，样本的标签图像是按照以下方式得到的：
对该样本对应的浑浊水下鱼类图像进行白平衡以及双边滤波处理，得到第一图像；
对所述第一图像进行直方图均衡化处理，得到第二图像；
利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重，依据各个通道的每个像素点的权重对第一图像和第二图像进行加权求和，得到增强图像。
在本发明的一些实施例中，所述利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重的步骤包括：
利用拉普拉斯滤波器计算第一图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重；
利用拉普拉斯滤波器计算第二图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重。
在本发明的一些实施例中，所述循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，第一生成器和第二生成器彼此相连构成环形网络结构；
其中，在正向循环中，第一生成器学习根据浑浊的原始图像提取清晰图像，得到第一增强图像，第二生成器学习根据第一增强图像提取浑浊的图像，得到第一浑浊图像；
在反向循环中，第二生成器学习根据标签图像提取浑浊的图像，得到第二浑浊图像，第一生成器学习根据第二浑浊图像提取清晰的图像，得到第二增强图像。
在本发明的一些实施例中，所述生成对抗损失包括：正向循环的生成对抗子损失，其为利用第一判别器根据第一增强图像和标签图像计算的损失；以及反向循环的生成对抗子损失，其为利用第二判别器根据第二浑浊图像和原始图像计算的损失。
在本发明的一些实施例中，所述循环一致性损失包括：正向循环一致性子损失，其为根据第一浑浊图像和原始图像计算的损失，以及反向循环一致性子损失，其为根据第二增强图像和标签图像计算的损失。
在本发明的一些实施例中，所述视觉感知损失包括第一视觉损失和第二视觉损失，其中，第一视觉损失是对第一生成器生成的图像计算的颜色真实感评价值、锐度评价值和对比度评价值的加权求和结果，第二视觉损失是是对第一生成器生成的图像对色度的标准差、亮度对比度和饱和度平均值的加权求和结果。
在本发明的一些实施例中，所述用于浑浊水下鱼类图像增强的网络训练方法还包括：
在每一轮训练结束时计算训练集中的增强图像和当前根据原始图像提取的增强图像之间的差异；
在所述差异小于等于预定阈值时结束训练。
在本发明的一些实施例中，所述步骤S2中根据评价指标选择性地使用当前提取的增强图像更新训练集的标签图像，包括：
计算所述提取的增强图像和与之对应的训练集中的增强图像各自的评价指标，其中，所述评价指标为视觉感知指标的指标值；
基于所述评价指标，更新训练集标签图像，将更新标签图像后的训练集作为下一轮次的训练集，其中，当任一样本对应的根据原始图像提取的增强图像的评价指标高于该样本在训练集中的增强图像的评价指标时，将训练集中的增强图像替换为提取的增强图像。
根据本发明的第二方面，提供一种浑浊水下鱼类图像增强的方法，所述方法包括：
基于浑浊水下鱼类图像，利用第一方面的用于浑浊水下鱼类图像增强的网络训练方法获得的所述循环生成对抗网络提取增强图像。
根据本发明的第三方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现第一方面或第二方面的方法的步骤。
与现有技术相比，本发明的优点在于：
1、通过分析浑浊水下鱼类图像特点，基于多种图像增强方法对原始图像进行增强，获得初始的增强图像，将该初始增强图像作为标签图像，为训练循环生成对抗网络提供初始的标签图像；并基于循环生成对抗网络的结构以及对循环生成对抗网络进行多轮迭代训练，以自监督的方式学习浑浊图像到清晰图像的映射，每轮训练结束后，根据相应的评价指标选择性地使用当前轮基于原始图像提取的增强图像更新标签图像，再用更新的标签图像训练循环生成对抗网络，经过多轮的标签图像更新和训练，以获得效果更好的循环生成对抗网络。
2、通过引入视觉感知损失，优化循环生成对抗网络，提升该网络的收敛速度，引导循环生成对抗网络生成更加符合人类视觉感知、真实感更强的增强图片。该循环生成对抗网络还能够高效便捷获得更清晰的水下鱼类图像的形态及分布，且成本低廉，不会对鱼体或环境造成伤害。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1为根据本发明实施例的用于浑浊水下鱼类图像增强的网络训练方法流程图；
图2为根据本发明实施例的循环生成对抗网络的结构示意图；
图3为根据本发明实施例训练循环生成对抗网络的正向循环和反向循环的方法示意图；
图4为根据本发明实施例的生成器结构示意图；
图5为根据本发明实施例的判别器结构示意图；
图6为根据本发明实施例的从上到下依次为一张原始图像及该原始图像训练不同轮次后对应的增强图像；
图7左侧图像为根据本发明实施例采用的原始图像，右侧图像为对应采用训练好的循环生成对抗网络获得的增强图像。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在对本发明的实施例进行具体介绍之前，先对其中使用到的部分术语作如下解释：
生成对抗网络(Generative Adversarial Network，简称GAN)，是一种深度学习模型。生成对抗网络至少包括两个模块：生成器(也称生成模型，Generator)和判别器(也称判别模型，Discriminator)，通过两模块的互相博弈学习真实图像，以生成符合真实图像的样本。
生成器：通过学习训练集数据的特征，在判别器的指导下，将随机生成的生成分布尽可能拟合为训练数据的真实分布，从而生成具有训练集特征的相似数据。
判别器：区分输入的数据是真实的数据还是由生成器生成的数据。
循环生成对抗网络(CycleGAN,Cycle Generative Adversarial Networks)：是两个生成对抗网络彼此相连构成的一个环形网络。
如背景技术中提到的，当前大部分调查水下鱼类的形态及分布人仍停留在人工网捕，人工测量，声呐探测，定点布网等方法上，这些方法不仅成本高昂效率低下，耗时耗力的同时对水生环境造成不可逆的伤害。随着水下相机的普及使得人们可以通过图像处理的方式获得清晰的水下图像，从而从图像中获取水下鱼类的形态以及分布信息。许多研究者着力开发基于深度学习的水下图像增强，它们中的绝大多数是基于海洋数据展开研究。相比于海洋数据，湖库水体浑浊能见度低、图像失真严重、开源数据集少增强难度大，针对湖库浑浊水下图像的研究仍十分不足。
针对现有方法的局限性和待解决难点，发明人针对浑浊水下鱼类图像，对图像进行增强处理，获得初始的增强图像，将该初始增强图像作为标签图像；另外，发明人发现，此时的标签图像增强效果有限，只根据这个标签图像直接训练循环生成对抗网络难以得到较大的提升，因此，发明人初始时利用原始图像及其对应的标签图像，并引入视觉感知损失，对循环生成对抗网络进行多轮训练，每轮训练结束后，还需要根据相应的评价指标选择性地使用当前轮基于循环生成对抗网络根据原始浑浊水下鱼类图像提取的增强图像更新标签图像，再利用更新的标签图像训练循环生成对抗网络，经过多轮的标签图像更新和训练，以获得效果更好的循环生成对抗网络。
基于上述研究，根据本发明的一个实施例，如图1所示，本发明提供一种用于浑浊水下鱼类图像增强的网络训练方法，所述方法包括步骤S1、S2、S3和S4，下面详细说明每个步骤：
步骤S1、获得经图像增强的训练集，其中，样本的原始图像为浑浊水下鱼类图像，样本的标签图像是利用多种图像增强方式对原始图像处理后的结果进行加权求和得到的增强图像。
根据本发明的一个实施例，在步骤S1中，样本的标签图像是按照以下方式得到的，包括步骤S11、S12和S13：
步骤S11、对该样本对应的浑浊水下鱼类图像进行白平衡以及双边滤波处理，得到第一图像。其中，对图像进行白平衡处理可以降低水下光线衰减导致的颜色失真问题、以及图像对比度不足的问题。
优选的，在进行白平衡处理时，由于水下特殊的光线环境，需要对水下光线进行重新建模，可表示为如下公式：
μI＝0.5+λμref，
其中，μI表示水下图像的总光照，μref则表示水下色彩平均值，λ表示水下色彩平均值对图像的影响权重，可以通过实验确定或根据经验取值，例如取0.2。
根据本发明的一个实施例，对该图像进行双边滤波得到一个抑制噪声、边缘保护的图像特征。对重新建模得到的水下色彩平均值进行图像白平衡及双边滤波处理，即可获得一个水下质量较高的第一图像。
步骤S12、对所述第一图像进行直方图均衡化处理，得到第二图像；
步骤S13、利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重，依据各个通道的每个像素点的权重对第一图像和第二图像进行加权求和，获得初始的增强图像，将该初始增强图像作为标签图像，为训练循环生成对抗网络提供初始的标签图像。
根据本发明的一个实施例，在利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重时，通过一个拉普拉斯滤波核，分别作用在第一图像和第二图像的不同颜色通道上的每个像素点，然后计算滤波结果的绝对值，将该绝对值作为权重，包括如下步骤：
S131、利用拉普拉斯滤波器计算第一图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重；
S132、利用拉普拉斯滤波器计算第二图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重。
步骤S2、使用训练集对循环生成对抗网络进行多轮训练，以学习根据原始图像提取增强图像，其中基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，并在一轮训练结束时根据相应的评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像。通过引入视觉感知损失，优化循环生成对抗网络，提升该网络的收敛速度，引导循环生成对抗网络生成更加符合人类视觉感知、真实感更强的增强图片。
根据本发明的一个实施例，循环生成对抗网络为两个生成对抗网络彼此相连构成的一个环形网络，示意性的结构如图2所示，包括第一生成器G、第一判别器DY、第二生成器F和第一判别器DX，循环生成对抗网络能够将信息从一种表示形式(例如X)转换为另一种表示形式(例如Y)。根据本发明的一个实施例，第一生成器G中还引入水下图像质量测量指标(underwater image quality meansures，UIQM)和水下颜色图像质量测量指标(underwater color image quality evaluation metric，UCIQE)，用于使第一生成器G生成视觉质量更好的图像。在本实施例中，方框中的X表示浑浊图像数据域，Y表示清晰的增强图像数据域。
首先，在使用训练集对循环生成对抗网络进行多轮训练过程中，如图3所示，包括：
在正向循环中，第一生成器学习根据浑浊的原始图像提取清晰图像，得到第一增强图像，第二生成器学习根据第一增强图像提取浑浊的图像，得到第一浑浊图像。其中，在给定输入原始图像x的情况下，循环生成对抗网络希望经过正向循环变换之后，输出结果x′与原始图像x尽可能的相似，公式表示如下:
F(G(x))＝x′
其中，x为浑浊的原始图像，x′为生成的第一浑浊图像，即x通过第一生成器G，将在Y数据域中输出一个第一增强图像Y1，将该第一增强图像重新输入第二生成器F获得第一浑浊图像，最终x经过一个正向循环的转换过程，得到与浑浊的原始图像输入近似的第一浑浊图像。
在反向循环中，第二生成器学习根据标签图像提取浑浊的图像，得到第二浑浊图像，第一生成器学习根据第二浑浊图像提取清晰的图像，得到第二增强图像。其中，在给定输入标签图像y的情况下，循环生成对抗网络希望经过反向循环变换之后，输出结果y′与标签图像y尽可能的相似，公式表示如下:
G(F(y))＝y′
其中，y为标签图像，y′为提取的第二增强图像，即y通过第二生成器F将在X数据域中输出一个第二浑浊图像X2，将该图像重新输入第一生成器G获得第二增强图像，最终y经过一个反向循环的转换过程，得到与输入的标签图像近似的第二增强图像。
根据本发明的一个实施例，第一生成器和第二生成器结构相同，如图4所示，均包括采用了上卷积层结构(即Conv Layer1、Conv Layer2和Conv Layer3)用于获取图像特征的编码器、转换器(即Resnet Block 1、Resnet Block 2......Resnet Block n)和采用下卷积结构(即DeConv Layer1、DeConv Layer2和Conv Layer3)用于扩大特征感受野的解码器。
其次，进行多轮训练的过程中，还需要基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，即更新第一生成器参数和第二生成器参数。
其中，所述生成对抗损失包括：正向循环的生成对抗子损失，其为利用第一判别器根据第一增强图像和标签图像计算的损失；以及反向循环的生成对抗子损失，其为利用第二判别器根据第二浑浊图像和原始图像计算的损失。
优选的，正向循环的生成对抗子损失可用如下公式计算：
其中，y为标签图像，Y1为第一增强图像，E表示损失的期望，DY为第一判别器，y～pdata(y)表示y属于训练集中的增强图像，Y1～pY(Y)表示Y1为清晰的增强图像数据域Y中的图像。
优选的，反向循环的生成对抗子损失可用如下公式计算：
其中，x为浑浊的原始图像，X2为第二浑浊图像，F为第二生成器，DX为第二判别器，x～pdata(x)表示x属于训练集中浑浊的原始图像，X2～pX(X)表示X2为浑浊图像数据域X中的图像。
总的生成对抗损失可用如下公式表示：
LGAN＝L(DY,G)+L(DX,F)，
其中，LGAN表示总的生成对抗损失。
根据本发明的一个实施例，第一判别器和第二判别器结构相同，如图5所示，均包括利用多个卷积层结构(即Conv Layer1、Conv Layer2、Conv Layer3和Conv Layer4)从图像中提取特征，再通过一个一维输出的卷积层(即Conv Layer)，该卷积层为二分类器。第一判别器以训练集中的真实图像(即原始图像)、以及由第二生成器所生成的虚假图像(即第二浑浊图像)作为其输入，对原始图像和第二浑浊图像进行分类，输出判别为“真”的预测标签或判别为“假”的预测标签；第二判别器以训练集中的真实图像(即标签图像)、以及由第一生成器所生成的虚假图像(即提取的第一增强图像)作为其输入，对标签图像和提取的第一增强图像进行分类，输出判别为“真”的预测标签或判别为“假”的预测标签。
所述循环一致性损失包括：正向循环一致性子损失，其为根据第一浑浊图像和原始图像计算的损失，以及反向循环一致性子损失，其为根据第二增强图像和标签图像计算的损失。
循环一致性损失可用如下公式表示：
其中，x为浑浊的原始图像，F(G(x))为第一浑浊图像，表示正向循环一致性子损失的期望，y为标签图像，G(F(y))表示第二增强图像，/>表示反向循环一致性子损失的期望。
所述视觉感知损失包括第一视觉损失和第二视觉损失，其中，第一视觉损失是对第一生成器生成的图像计算的颜色真实感评价值、锐度评价值和对比度评价值的加权求和结果，第二视觉损失是对第一生成器生成的图像对色度的标准差、亮度对比度和饱和度平均值的加权求和结果。
为提升第一生成器生成的增强图像质量，优选的，发明人针对第一生成器G生成的图像进行约束，提出视觉感知损失。水下图像质量测量指标，水下颜色图像质量测量指标是目前评价水下图像修复效果的指标，综合衡量图像的颜色真实感、锐度、对比度、色度、亮度对比度和饱和度能够比较客观的反应图像的质量。指标值越大说明图像恢复效果越好。由于它们计算过程不需要对照数据，可直接将水下图像质量测量指标，水下颜色图像质量测量指标作为损失加入到网络中。
水下图像质量测量指标(UIQM)指标值综合衡量了图像的色度，锐度和对比度。图像恢复质量越好，UIQM的值越大表明图像真实感越强。优选的，计算水下图像质量测量指标(UIQM)损失可用如下公式表示：
Luiqm＝c1UICM+c2UISM+C3UIConM
其中，c1、c2和c3为对应的权重系数(通常设置为固定值，如c1＝0.02，c2＝0.29,c3＝3.57)，UICM为水下图像颜色真实感衡量值；UISM为水下图像锐度衡量值；UIconM为水下对比度衡量值。
计算水下颜色图像质量测量指标(UCIQE)损失可用如下公式表示：
Luciqe＝c4σc+c5conl+c6μs
其中，σc是色度的标准差，conl是亮度对比度，μs是饱和度平均值，c4、c5和c6为对应的权重系数，(通常c4＝0.46、c5＝0.27、c6＝0.26)。
最后，所述总损失可用如下公式表示：
其中，LGAN表示生成对抗损失，表示循环一致性损失，Luiqm表示水下图像质量测量指标(UIQM)损失，Luciqe表示水下颜色图像质量测量指标(UCIQE)损失。最小化总损失，调整第一生成器参数和第二生成器的参数。直至训练集中的所有样本均用于训练后，完成一轮训练，当轮训练结束后，即可更新训练集，以进行下一轮次的训练。
根据本发明的一个实施例，更新的训练集可通过以下方式进行，即根据相应的评价指标选择性地使用当前提取的增强图像更新训练集的标签图像，包括：
计算所述提取的增强图像和与之对应的训练集中的增强图像各自的评价指标，其中，所述评价指标为视觉感知指标的指标值；视觉感知指标包括水下图像质量测量指标(UIQM)以及水下颜色图像质量测量指标(UCIQE)。
基于所述评价指标，更新训练集标签图像，将更新标签图像后的训练集作为下一轮次的训练集，其中，当任一样本对应的根据原始图像提取的增强图像的评价指标高于该样本在训练集中的增强图像的评价指标时，将训练集中的增强图像替换为提取的增强图像。此时，利用更新的标签图像训练循环生成对抗网络，经过多轮的标签图像更新和训练，以获得效果更好的循环生成对抗网络。
根据本发明的一个实施例，如图1所示，所述用于浑浊水下鱼类图像增强的网络训练方法还包括步骤S3和S4：
步骤S3、在每一轮训练结束时计算训练集中的增强图像和当前根据原始图像提取的增强图像之间的差异。
步骤S4、判断差异是否小于预定阈值，所述差异小于等于预定阈值时结束训练；当所述差异大于预定阈值时，利用更新的训练集继续训练循环生成对抗网络。
根据本发明的一个实施例，其中，当前根据原始图像提取的增强图像为第一增强图像Y1，Y1与训练集中的增强图像y的差异可采用二进制交叉熵损失(Binary Cross-Entropy,BCE)来计算，并采用如下方式表示：
其中，L(y(i),Y1)表示两个图像之间的差异，y表示表示的训练集中的增强图像(对应于标签图像)，Y1表示当前根据原始图像提取的增强图像，i表示图像的编号。交叉熵可以衡量y,Y1之间的相似性。利用二进制交叉熵作为损失函数计算差异，不仅可以准确反应数据分布之间的差异，同时可以通过控制学习率，来控制网络的学习速率。在训练循环生成对抗网络的初期，二进制交叉熵损失的取值可达上万，随着训练过程的开展，二进制交叉熵损失会不断下降到理想的值域。当二进制交叉熵误差小于设置的阈值，此时可认为训练达到了预期目标，停止训练，并将此时的第一生成器和第二生成器的参数作为训练所得到的循环生成对抗网络的参数，反之，则调整第一生成器和第二生成器的参数，并重复此步骤中的前述操作，直至差异小于预设阈值，即循环生成对抗网络收敛。
应当理解，除采用二进制交叉熵计算差异外，也可以使用本领域其他可用于计算差异的方式，根据本发明的另一个实施例，可通过计算均方误差来表示训练集中的增强图像和当前根据原始图像提取的增强图像之间的差异。
根据本发明的一个示例，该循环生成对抗网络收敛是经过10轮标签图像的更新，而在每轮标签图像更新的训练过程中，循环生成对抗网络的训练次数为200次。如图6所示，从上到下的四张图中，第一张为代表数据库中的一张浑浊的原始图像，第二张为该浑浊的原始图像经过多种图像增强方法获得的标签图像(即初始增强图像)，第三张为通过5轮的训练后，获得更新的标签图像，第四张为通过10轮训练获得的标签图像，将10轮后获得的标签图像作为最后的结果。
根据本发明的一个实施例，利用上述用于浑浊水下鱼类图像增强的网络训练方法获得的循环生成对抗网络，还提供一种浑浊水下鱼类图像增强的方法，所述方法包括：
基于浑浊水下鱼类图像，利用上述的用于浑浊水下鱼类图像增强的网络训练方法获得的所述循环生成对抗网络提取增强图像。
为了验证基于本发明的用于浑浊水下鱼类图像增强的网络训练方法所获得的效果，发明人使用真实的湖库水下数据对循环生成对抗网络的训练以及验证。验证结果如图7所示，左侧图像示出了浑浊水下鱼类的原始图像，右侧图像示出了采用经过本发明训练方法得到的循环生成对抗网络对浑浊水下鱼类的原始图像进行增强后的结果(即清晰的增强图像)。并且可以看出，右侧图像相较于左侧图像，在图像对比度、色度、饱和度上均有明显的提升。
为了进一步量化这种效果，发明人还计算了湖库数据中浑浊的原始图像与本发明的训练好的循环生成对抗网络获得的结果(即清晰的增强图像)在视觉感知指标(包括水下图像质量测量指标(UIQM)以及水下颜色图像质量测量指标(UCIQE))上的数值大小。通过计算，原始浑浊的湖库数据在UIQM指标上的得分为1.03，在UCQE指标上得分为0.42。基于本发明增强后的图像，在UIQM指标上的得分为2.41，在UCIQE指标上的得分为0.59。可见采用本发明的用于浑浊水下鱼类图像增强的网络训练方法得到的循环生成对抗网络可以获得更好的、更理想的结果。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种用于浑浊水下鱼类图像增强的网络训练方法，其特征在于，包括：
S1、获得经图像增强的训练集，其中，样本的原始图像为浑浊水下鱼类图像，样本的标签图像是利用多种图像增强方式对原始图像处理后得到的增强图像；
S2、使用训练集对循环生成对抗网络进行多轮训练，其中，在每轮训练中，根据样本的原始图像生成浑浊图像以及根据样本的标签图像生成增强图像，并基于包含生成对抗损失、循环一致性损失和视觉感知损失的总损失更新循环生成对抗网络的参数，并在每轮训练结束时根据评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像，其中：
所述循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，第一生成器和第二生成器彼此相连构成环形网络结构；其中，在正向循环中，第一生成器学习根据浑浊的原始图像提取清晰图像，得到第一增强图像，第二生成器学习根据第一增强图像提取浑浊的图像，得到第一浑浊图像；在反向循环中，第二生成器学习根据标签图像提取浑浊的图像，得到第二浑浊图像，第一生成器学习根据第二浑浊图像提取清晰的图像，得到第二增强图像；
所述生成对抗损失包括：正向循环的生成对抗子损失，其为利用第一判别器根据第一增强图像和标签图像计算的损失；以及反向循环的生成对抗子损失，其为利用第二判别器根据第二浑浊图像和原始图像计算的损失；
所述循环一致性损失包括：正向循环一致性子损失，其为根据第一浑浊图像和原始图像计算的损失，以及反向循环一致性子损失，其为根据第二增强图像和标签图像计算的损失；
所述视觉感知损失包括第一视觉损失和第二视觉损失，其中，第一视觉损失是对第一生成器生成的图像计算的颜色真实感评价值、锐度评价值和对比度评价值的加权求和结果，第二视觉损失是是对第一生成器生成的图像对色度的标准差、亮度对比度和饱和度平均值的加权求和结果；
所述总损失按照以下方式确定：
其中，LGAN表示生成对抗损失，表示循环一致性损失，Luiqm表示第一视觉损失，Luciqe表示第二视觉损失，∝1表示LGAN和/>的权重系数，∝2表示Luiqm的权重系数，∝3表示Luciqe的权重系数。
2.根据权利要求1所述的方法，其特征在于，在步骤S1中，样本的标签图像是按照以下方式得到的：
对该样本对应的浑浊水下鱼类图像进行白平衡以及双边滤波处理，得到第一图像；
对所述第一图像进行直方图均衡化处理，得到第二图像；
利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重，依据各个通道的每个像素点的权重对第一图像和第二图像进行加权求和，得到增强图像。
3.根据权利要求2所述的方法，其特征在于，所述利用拉普拉斯滤波器分别计算第一图像和第二图像的各个通道的每个像素点的权重的步骤包括：
利用拉普拉斯滤波器计算第一图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重；
利用拉普拉斯滤波器计算第二图像的红色通道、绿色通道和蓝色通道的每个像素点的滤波结果，将滤波结果的绝对值作为对应像素点的权重。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述步骤S2还包括：
在每一轮训练结束时计算训练集中的增强图像和当前提取的增强图像之间的差异；
在所述差异小于等于预定阈值时结束训练。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述步骤S2中根据评价指标选择性地使用当前根据原始图像提取的增强图像更新训练集的标签图像，包括：
计算所述提取的增强图像和与之对应的训练集中的增强图像各自的评价指标，其中，所述评价指标为视觉感知指标的指标值；
基于所述评价指标，更新训练集标签图像，将更新标签图像后的训练集作为下一轮次的训练集，其中，当任一样本对应的根据原始图像提取的增强图像的评价指标高于该样本在训练集中的增强图像的评价指标时，将训练集中的增强图像替换为提取的增强图像。
6.一种浑浊水下鱼类图像增强的方法，其特征在于，方法包括：
基于浑浊水下鱼类图像，利用权利要求1-5任一项所述的用于浑浊水下鱼类图像增强的网络训练方法获得的循环生成对抗网络提取增强图像。
7.一种计算机可读存储介质，其特征在于，其上包含有计算机程序，所述计算机程序可被处理器执行以实现权利要求1-6任一项所述方法的步骤。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，其中存储器用于存储一个或多个可执行指令；
所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现权利要求1-6任一项所述方法的步骤。
CN202110947163.0A 2021-08-18 2021-08-18 一种用于浑浊水下鱼类图像增强的方法 Active CN113744166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110947163.0A CN113744166B (zh) 2021-08-18 2021-08-18 一种用于浑浊水下鱼类图像增强的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110947163.0A CN113744166B (zh) 2021-08-18 2021-08-18 一种用于浑浊水下鱼类图像增强的方法

Publications (2)

Publication Number Publication Date
CN113744166A CN113744166A (zh) 2021-12-03
CN113744166B true CN113744166B (zh) 2023-08-08

Family

ID=78731502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110947163.0A Active CN113744166B (zh) 2021-08-18 2021-08-18 一种用于浑浊水下鱼类图像增强的方法

Country Status (1)

Country Link
CN (1) CN113744166B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167941B (zh) * 2023-02-17 2023-11-21 北京科技大学 一种基于rgb通道恢复的水下图像增强方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN110991636A (zh) * 2019-11-14 2020-04-10 东软医疗系统股份有限公司 生成式对抗网络的训练方法及装置、图像增强方法及设备
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN111833268A (zh) * 2020-07-10 2020-10-27 中国海洋大学 一种基于条件生成对抗网络的水下图像增强方法
CN112837232A (zh) * 2021-01-13 2021-05-25 山东省科学院海洋仪器仪表研究所 一种水下图像增强及细节恢复的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194992B2 (en) * 2008-07-18 2012-06-05 Xerox Corporation System and method for automatic enhancement of seascape images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN110991636A (zh) * 2019-11-14 2020-04-10 东软医疗系统股份有限公司 生成式对抗网络的训练方法及装置、图像增强方法及设备
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN111833268A (zh) * 2020-07-10 2020-10-27 中国海洋大学 一种基于条件生成对抗网络的水下图像增强方法
CN112837232A (zh) * 2021-01-13 2021-05-25 山东省科学院海洋仪器仪表研究所 一种水下图像增强及细节恢复的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多输入融合对抗网络的水下图像增强;林森;刘世本;唐延东;;红外与激光工程(第05期);全文 *

Also Published As

Publication number Publication date
CN113744166A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Smith et al. Segmentation of roots in soil with U-Net
Elawady Sparse coral classification using deep convolutional neural networks
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN108921942B (zh) 对图像进行2d转制3d的方法及装置
CN111369498B (zh) 基于改进生成对抗网络的种苗生长势评估的数据增强方法
CN112949822A (zh) 一种基于双重注意力机制的低感知性对抗样本构成方法
CN113536978B (zh) 一种基于显著性的伪装目标检测方法
KR20220023323A (ko) 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
Liao et al. Research on intelligent damage detection of far-sea cage based on machine vision and deep learning
CN113744166B (zh) 一种用于浑浊水下鱼类图像增强的方法
CN111882555B (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
Rum et al. FishDeTec: a fish identification application using image recognition approach
CN115223032A (zh) 一种基于图像处理和神经网络融合的水生物识别与匹配方法
Long et al. Automatic classification of cichlid behaviors using 3D convolutional residual networks
CN113810683B (zh) 一种客观评估水下视频质量的无参考评价方法
Chen et al. Visual-adaptation-mechanism based underwater object extraction
Goel et al. Gray level enhancement to emphasize less dynamic region within image using genetic algorithm
Wang et al. High-accuracy real-time fish detection based on self-build dataset and RIRD-YOLOv3
Yang et al. Identification of navel orange lesions by nonlinear Deep Learning algorithm
Elizondo et al. Video monitoring of a mite in honeybee cells
CN111199235A (zh) 一种图像边缘提取方法
Tolie et al. DICAM: Deep Inception and Channel-wise Attention Modules for underwater image enhancement
CN112907503B (zh) 基于自适应卷积神经网络的南美白对虾品质检测方法
CN114782875A (zh) 一种基于鱼道构建的鱼类细粒度信息获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant