CN115660980A - 一种无监督的水下图像增强方法及相关设备 - Google Patents

一种无监督的水下图像增强方法及相关设备 Download PDF

Info

Publication number
CN115660980A
CN115660980A CN202211296249.2A CN202211296249A CN115660980A CN 115660980 A CN115660980 A CN 115660980A CN 202211296249 A CN202211296249 A CN 202211296249A CN 115660980 A CN115660980 A CN 115660980A
Authority
CN
China
Prior art keywords
data set
image
underwater
image enhancement
unsupervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211296249.2A
Other languages
English (en)
Inventor
易正琨
麦可
吴新宇
尹猛
李叶海
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211296249.2A priority Critical patent/CN115660980A/zh
Publication of CN115660980A publication Critical patent/CN115660980A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种无监督的水下图像增强方法及相关设备，所述方法包括：在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。本发明通过图像增强将失真的水下图像恢复为颜色均衡、细节丰富、对比度好的图像，实现了通过无监督的方法增强不同水体环境下的图像数据，泛用性更好。

Description

一种无监督的水下图像增强方法及相关设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种无监督的水下图像增强方法、系统、终端及计算机可读存储介质。
背景技术
随着海洋信息技术的发展，水下目标探测技术的应用也日益广泛，涉及海底光缆的铺设、水下石油平台的建立与维修、海底沉船的打捞、海洋生态系统的研究等领域。水下目标探测对成像及后期处理能力提出了很高要求，如何正确识别图像中包含的物体及位置是水下机器人及机器学习领域的一个常见问题。在传统深度学习对水下图像增强的过程中，通常需要成对或非成对的清晰-退化图像进行监督训练，或需要借助可提供深度信息的工业相机进行图像恢复。
受限于水下特殊成像环境，水下图像往往面临着严重的噪声干扰、纹理模糊、颜色失真等问题，水下目标探测任务受到严重挑战。
现有的水下图像增强方法大多需要成对(同一个拍摄机位、场景下的两张清晰)或者非成对(不同机位的图片对)的水下失真(模糊图像)和清晰图像以进行监督训练。但是海洋环境错综复杂，这类监督训练数据往往难以获取。
现有技术虽然能够通过经典算法或深度神经网络进行图像增强，其考虑到了清晰度与色彩准确度，但从用于训练的数据角度看，现有技术大多会使用清晰的真值图像作为训练目标，可以是一一配对的同一拍摄地点的数据对，也可以是不配对的清晰-退化图像集合，而此类数据在水体环境变化时往往难以获取；从增强算法上，在不使用清晰图像作为目标的情况下会采用经典图像处理算法处理图像，此类方法的一个缺陷是泛用性较差，不同的水体环境应对应不同的算法参数，可信度不高。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种无监督的水下图像增强方法、系统、终端及计算机可读存储介质，旨在解决现有技术中水下监督训练数据难以获取、泛用性差的问题。
为实现上述目的，本发明提供一种无监督的水下图像增强方法，所述无监督的水下图像增强方法包括如下步骤：
在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；
构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；
将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。
可选地，所述的无监督的水下图像增强方法，其中，所述在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理，具体包括：
从预设的两个公开数据集中获取所述水下图像数据，将所述水下图像数据中第一预设数量的图像作为所述训练数据集，将所述水下图像数据中第二预设数量的图像作为所述测试数据集；
将所述训练数据集和所述测试数据集进行归一化处理，并采用min-max标准化方法将所述训练数据集和所述测试数据集的像素值由0-255缩放至0-1区间。
可选地，所述的无监督的水下图像增强方法，其中，所述参数估计网络包括5层卷积层、2层全连接层和激活函数，所述激活函数为LeakyReLU函数；
所述图像增强网络包括CLAHE模块、4层卷积层和3层反卷积层。
可选地，所述的无监督的水下图像增强方法，其中，所述构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，具体包括：
将所述训练数据集进行缩放后输入到所述参数估计网络中，缩放后的所述训练数据集依次经过5层卷积层和2层全连接层后输出9个实值，并将9个实值作为所述图像增强网络的参数；
将所述训练数据集输入到所述图像增强网络中，通过CLAHE模块产生限制对比度自适应直方图均值化后的图像，再经过4层卷积层和3层反卷积层，对产生的12通道图像做切片处理，产生4张3通道图像，与原始所述训练数据集迭代进行二次曲线变换，再进行USM锐化后得到增强图像，以完成所述神经网络模型的训练。
可选地，所述的无监督的水下图像增强方法，其中，所述二次曲线变换的公式如下：
G(x)＝G4(x)；
Figure BDA0003902728430000041
其中，x表示原始训练数据集；G(x)为完成二次曲线变换后的图像，Gi(x)为原始训练数据集迭代第i次二次曲线处理完后的图像；Gi-1(x)为原始训练数据集迭代第i-1次二次曲线处理完后的图像；G4(x)为原始训练数据集迭代第4次二次曲线处理完后的图像；ri表示第i个切片图像；ai和bi为二次曲线的权值，由所述参数估计网络给出。
可选地，所述的无监督的水下图像增强方法，其中，所述USM锐化的公式如下：
U(x)＝α*(x-GaussBlur(x))+x，α∈[0，5]；
其中，U(x)表示对原始训练数据集x进行USM锐化处理；α为锐化权值，由所述参数估计网络给出；GaussBlur(x)表示对原始训练数据集x进行高斯模糊处理；
USM锐化函数的输入x等于二次曲线变换的输出G(x)。
可选地，所述的无监督的水下图像增强方法，其中，所述神经网络模型的总损失函数由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失组成；
所述总损失函数由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失加权相加得到：
L＝20*LCLAHE+5*Lcolor+10*Lexp+200*Ltv；
其中，L表示总损失函数；LCLAHE表示CLAHE图像对照损失；Lexp表示曝光控制损失；Ltv表示照明平滑度损失；
其中，所述CLAHE图像对照损失为：
LCLAHE＝L1smooth(Norm(CLAHE(x))-Noem(G(x)))；
其中，L1smooth为Smooth L1 Loss函数；CLAHE(x)为对原始训练数据集x进行限制对比度自适应直方图均值化处理；Norm表示归一化处理；
其中，所述颜色恒定性损失为：
Figure BDA0003902728430000051
其中，(p，q)表示遍历了三个颜色通道中所有两两组合；Jp表示增强图像中p颜色通道的亮度平均值；Jq表示增强图像中q颜色通道的亮度平均值；
其中，所述曝光控制损失为：
Figure BDA0003902728430000052
其中，Yk表示第k个大像素的亮度；E为常数；M为大像素总个数；
其中，所述照明平滑度损失为：
Figure BDA0003902728430000061
其中，N表示迭代次数；
Figure BDA0003902728430000062
和
Figure BDA0003902728430000063
分别表示水平和垂直的梯度算子；ξ表示RGB颜色空间，包含三个通道；
Figure BDA0003902728430000064
表示第n次二次曲线处理迭代中c颜色通道所对应的切片。
此外，为实现上述目的，本发明还提供一种无监督的水下图像增强系统，其中，所述无监督的水下图像增强系统包括：
数据获取和预处理模块，用于在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；
网络构建和训练模块，用于构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；
图像增强处理模块，用于将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无监督的水下图像增强程序，所述无监督的水下图像增强程序被所述处理器执行时实现如上所述的无监督的水下图像增强方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有无监督的水下图像增强程序，所述无监督的水下图像增强程序被处理器执行时实现如上所述的无监督的水下图像增强方法的步骤。
本发明中，在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。本发明通过图像增强将失真的水下图像恢复为颜色均衡、细节丰富、对比度好的图像，实现了通过无监督的方法增强不同水体环境下的图像数据，泛用性更好。
附图说明
图1是本发明无监督的水下图像增强方法的较佳实施例的流程图；
图2是本发明无监督的水下图像增强方法的较佳实施例中参数估计网络和图像增强网络组成及图像处理过程的原理示意图；
图3是本发明无监督的水下图像增强系统的较佳实施例的原理示意图；
图4为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提出的图像增强方法结合了经典图像处理算法和深度神经网络，能通过无监督的方法增强不同水体环境下的图像数据，泛用性更好。
本发明较佳实施例所述的无监督的水下图像增强方法，如图1所示，所述无监督的水下图像增强方法包括以下步骤：
步骤S10、在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理。
具体地，从预设的两个公开数据集中获取所述水下图像数据，例如两个公开数据集分别为2020全国水下机器人(湛江)大赛水下数据集和欧洲开放水下数据集(TheBrackish Dataset)，其中，2020全国水下机器人(湛江)大赛水下数据集包括4类海生物，共5543张彩色三通道图片，分辨率为1920*1080、586*480等；欧洲开放水下数据集(TheBrackish Dataset)包括6类海生物，共14674张彩色三通道图片，分辨率为960*540。
然后将所述水下图像数据中第一预设数量(例如第一预设数量为2020全国水下机器人(湛江)大赛水下数据集和欧洲开放水下数据集中的4434和11739张图像)的图像作为所述训练数据集，将所述水下图像数据中第二预设数量(例如第二预设数量为2020全国水下机器人(湛江)大赛水下数据集和欧洲开放水下数据集中的555张和1468张图像)的图像作为所述测试数据集。
再将所述训练数据集和所述测试数据集进行归一化处理，归一化处理的作用是将有量纲的表达式经过变换，转换为无量纲的表达式，成为标量，还能解决梯度问题和加快模型收敛；并采用min-max标准化方法(将数据按比例缩放，使之落入一个小的特定区间)将所述训练数据集和所述测试数据集的像素值由0-255缩放至0-1区间，将数据转换为(0，1)区间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。
步骤S20、构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络。
具体地，如图2所示，所述参数估计网络和所述图像增强网络分别负责图像增强网络中某些参数的估计和产生增强图像；所述参数估计网络包括5层卷积层、2层全连接层和激活函数，所述激活函数为LeakyReLU函数；所述图像增强网络包括CLAHE模块、4层卷积层和3层反卷积层。
将经过预处理后的所述训练数据集进行缩放后输入到所述参数估计网络中(例如输入为经过缩放后大小为256*256的原始图像，大小根据数据集的不同有差别，等于数据集图像的原始分辨率)，缩放后的所述训练数据集依次经过5层卷积层和2层全连接层后输出9个实值，并将9个实值作为所述图像增强网络的参数(9个实值即9个参数，分别对应下面二次曲线变换公式中的a和b，4对，共8个，还有USM锐化公式中的α，共1个)。
将所述训练数据集输入到所述图像增强网络中，通过CLAHE模块产生限制对比度自适应直方图均值化后的图像，让所述图像增强网络产生限制对比度自适应直方图均值化后的图像输入到所述图像增强网络中，同时在后面的直方图损失公式中还会依此图像计算损失，让所述图像增强网络产生的图像直方图接近传统的CLAHE方法甚至超越。再经过4层卷积层和3层反卷积层，对产生的12通道图像做切片处理(切片处理的目是是让原始图像与产生的4个图像切片迭代进行二次曲线变换)，产生4张3通道图像，与原始所述训练数据集迭代进行二次曲线变换，再进行USM锐化后得到增强图像，以完成所述神经网络模型的训练。
其中，所述二次曲线变换的公式如下：
G(x)＝G4(x)；
Figure BDA0003902728430000101
其中，x表示原始训练数据集；G(x)为完成二次曲线变换后的图像，Gi(x)为原始训练数据集迭代第i次二次曲线处理完后的图像；Gi-1(x)为原始训练数据集迭代第i-1次二次曲线处理完后的图像；G4(x)为原始训练数据集迭代第4次二次曲线处理完后的图像；ri表示第i个切片图像；ai和bi为二次曲线的权值，由所述参数估计网络给出。
其中，所述USM锐化的公式如下：
U(x)＝α*(x-GaussBlur(x))+x，α∈[0，5]；
其中，U(x)表示对原始训练数据集x进行USM锐化处理；α为锐化权值，由所述参数估计网络给出；GaussBlur(x)表示对原始训练数据集x进行高斯模糊处理；在整个图像增强网络中，USM锐化函数的输入x等于二次曲线变换的输出G(x)。
进一步地，本发明中的所述神经网络模型的总损失函数(目标函数)由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失组成。深度神经网络前向传播完成后需要计算总损失函数，根据这个函数再反向计算各层的梯度以达到参数更新的目的，这样网络才能训练起来。
所述总损失函数由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失加权相加得到：
L＝20*LCLAHE+5*Lcolor+10*Lexp+200*Ltv；
其中，L表示总损失函数；LCLAHE表示CLAHE图像对照损失；Lexp表示曝光控制损失；Ltv表示照明平滑度损失。
其中，所述CLAHE图像对照损失为：
LCLAHE＝L1smooth(Norm(CLAHE(x))-Norm(G(x)))；
其中，L1smooth为Smooth L1 Loss函数；CLAHE(x)为对原始训练数据集x进行限制对比度自适应直方图均值化处理；Norm表示归一化处理。
其中，所述颜色恒定性损失为：
Figure BDA0003902728430000111
其中，(p，q)表示遍历了三个颜色通道中所有两两组合；Jp表示增强图像中p颜色通道的亮度平均值；Jq表示增强图像中q颜色通道的亮度平均值。
其中，所述曝光控制损失为：
Figure BDA0003902728430000121
其中，Yk表示增强图像中第k个大像素的亮度；E为常数，这里取0.6；M为大像素总个数。
其中，所述照明平滑度损失为：
Figure BDA0003902728430000122
其中，N表示迭代次数；
Figure BDA0003902728430000123
和
Figure BDA0003902728430000124
分别表示水平和垂直的梯度算子，这里即像素和左方、上方相邻像素之间的数值的差；ξ表示RGB颜色空间，包含三个通道；
Figure BDA0003902728430000125
表示第n次二次曲线处理迭代中c颜色通道所对应的切片。
在所述神经网络模型的训练阶段，将所述训练数据集通过脚本转换成模型所支持的MS COCO格式，设定训练代数为50，训练批数为3，设备CPU(中央处理器)为Intel Core i712700，GPU(图形处理器)为NVIDIA RTX 3090，操作系统为Windows 11 22H2。所述神经网络模型训练完成后，程序自动关闭，生成增强图像样例并保存至本地。
步骤S30、将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。
具体地，在所述神经网络模型训练完成后，加载已训练好的所述神经网络模型，将获取的经过预处理后的所述测试数据集输入到已训练好的所述神经网络模型中，那么已训练好的所述神经网络模型(所述参数估计网络和所述图像增强网络)就可以直接根据所述测试数据集输出水下增强图像，水下增强图像具有更好的颜色准确度、细节丰富、对比度好，从而为目标检测、实例分割等下游任务提供特征丰富的图像，进一步扩展应用。
有益效果：
(1)、本发明提出了一种无监督的水下图像增强方法，首先采集多张水下图像作为数据集(训练数据集和测试数据集)，使用神经网络和经典图像处理算法训练网络，得到增强后的水下图像，具有更好的颜色准确度、细节丰富、对比度好。
(2)、本发明不适用成对或非成对的监督数据，仅依赖目标函数即可完成图像增强工作，对数据集的要求大大降低。
(3)、本发明引入参数估计网络估计二次曲线权值及经典锐化算法参数，其具有可导性质，能够参与整体网络的训练，适应不同环境的图像增强任务。
(4)、本发明优化了成像质量，通过设置不同参数的目标函数能够在不使用监督数据的情况下进一步提高增强效果，更符合人眼感官。
与现有的水下图像增强方法相比，本发明无需成对或非成对的清晰-退化图像数据，仅依赖原始图像就能完成增强任务，一定程度上摆脱了数据集的限制，适用范围更广；该模型还使用了参数估计网络并结合经典图像处理算法，能够适应不同的水体环境，在部分场景下图像还原效果更准确；模型相较于复杂的水下图像恢复网络是轻量的，能够节省计算资源，提高计算速度。使用本发明所采用的水下图像增强方法已经在公开数据上得到的很好地验证，生成的增强图像符合人眼感官且不丢失细节，证明该方法可行。
另外，本发明中所采用的数据获取方法可使用其他视觉相机或下载其他公开数据集代替；训练模型所使用的设备也可以用其他操作系统和处理器及图形处理器等代替。
进一步地，如图3所示，基于上述无监督的水下图像增强方法，本发明还相应提供了一种无监督的水下图像增强系统，其中，所述无监督的水下图像增强系统包括：
数据获取和预处理模块51，用于在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；
网络构建和训练模块52，用于构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；
图像增强处理模块53，用于将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。
进一步地，如图4所示，基于上述无监督的水下图像增强方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图4仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有无监督的水下图像增强程序40，该无监督的水下图像增强程序40可被处理器10所执行，从而实现本申请中无监督的水下图像增强方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述无监督的水下图像增强方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中无监督的水下图像增强程序40时实现以下步骤：
在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；
构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；
将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。
其中，所述在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理，具体包括：
从预设的两个公开数据集中获取所述水下图像数据，将所述水下图像数据中第一预设数量的图像作为所述训练数据集，将所述水下图像数据中第二预设数量的图像作为所述测试数据集；
将所述训练数据集和所述测试数据集进行归一化处理，并采用min-max标准化方法将所述训练数据集和所述测试数据集的像素值由0-255缩放至0-1区间。
其中，所述参数估计网络包括5层卷积层、2层全连接层和激活函数，所述激活函数为LeakyReLU函数；
所述图像增强网络包括CLAHE模块、4层卷积层和3层反卷积层。
其中，所述构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，具体包括：
将所述训练数据集进行缩放后输入到所述参数估计网络中，缩放后的所述训练数据集依次经过5层卷积层和2层全连接层后输出9个实值，并将9个实值作为所述图像增强网络的参数；
将所述训练数据集输入到所述图像增强网络中，通过CLAHE模块产生限制对比度自适应直方图均值化后的图像，再经过4层卷积层和3层反卷积层，对产生的12通道图像做切片处理，产生4张3通道图像，与原始所述训练数据集迭代进行二次曲线变换，再进行USM锐化后得到增强图像，以完成所述神经网络模型的训练。
其中，所述二次曲线变换的公式如下：
G(x)＝G4(x)；
Figure BDA0003902728430000171
其中，x表示原始训练数据集；G(x)为完成二次曲线变换后的图像，Gi(x)为原始训练数据集迭代第i次二次曲线处理完后的图像；Gi-1(x)为原始训练数据集迭代第i-1次二次曲线处理完后的图像；G4(x)为原始训练数据集迭代第4次二次曲线处理完后的图像；ri表示第i个切片图像；ai和bi为二次曲线的权值，由所述参数估计网络给出。
其中，所述USM锐化的公式如下：
U(x)＝α*(x-GaussBlur(x)0+x，α∈[0，5]；
其中，U(x)表示对原始训练数据集x进行USM锐化处理；α为锐化权值，由所述参数估计网络给出；GaussBlur(x)表示对原始训练数据集x进行高斯模糊处理；
USM锐化函数的输入x等于二次曲线变换的输出G(x)。
其中，所述神经网络模型的总损失函数由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失组成；
所述总损失函数由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失加权相加得到：
L＝20*LCLAHE+5*Lcolor+10*Lexp+200*Ltv；
其中，L表示总损失函数；LCLAHE表示CLAHE图像对照损失；Lexp表示曝光控制损失；Ltv表示照明平滑度损失；
其中，所述CLAHE图像对照损失为：
LCLAHE＝L1smooth(Norm(CLAHE(x))-Norm(G(x)))；
其中，L1smooth为Smooth L1 Loss函数；CLAHE(x)为对原始训练数据集x进行限制对比度自适应直方图均值化处理；Norm表示归一化处理；
其中，所述颜色恒定性损失为：
Figure BDA0003902728430000191
其中，(p，q)表示遍历了三个颜色通道中所有两两组合；Jp表示增强图像中p颜色通道的亮度平均值；Jq表示增强图像中q颜色通道的亮度平均值；
其中，所述曝光控制损失为：
Figure BDA0003902728430000192
其中，Yk表示第k个大像素的亮度；E为常数；M为大像素总个数；
其中，所述照明平滑度损失为：
Figure BDA0003902728430000193
其中，N表示迭代次数；
Figure BDA0003902728430000194
和
Figure BDA0003902728430000195
分别表示水平和垂直的梯度算子；ξ表示RGB颜色空间，包含三个通道；
Figure BDA0003902728430000196
表示第n次二次曲线处理迭代中c颜色通道所对应的切片。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有无监督的水下图像增强程序，所述无监督的水下图像增强程序被处理器执行时实现如上所述的无监督的水下图像增强方法的步骤。
综上所述，本发明提供一种无监督的水下图像增强方法及相关设备，所述方法包括：在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。本发明通过图像增强将失真的水下图像恢复为颜色均衡、细节丰富、对比度好的图像，实现了通过无监督的方法增强不同水体环境下的图像数据，泛用性更好。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种无监督的水下图像增强方法，其特征在于，所述无监督的水下图像增强方法包括：
在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；
构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；
将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。
2.根据权利要求1所述的无监督的水下图像增强方法，其特征在于，所述在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理，具体包括：
从预设的两个公开数据集中获取所述水下图像数据，将所述水下图像数据中第一预设数量的图像作为所述训练数据集，将所述水下图像数据中第二预设数量的图像作为所述测试数据集；
将所述训练数据集和所述测试数据集进行归一化处理，并采用min-max标准化方法将所述训练数据集和所述测试数据集的像素值由0-255缩放至0-1区间。
3.根据权利要求2所述的无监督的水下图像增强方法，其特征在于，所述参数估计网络包括5层卷积层、2层全连接层和激活函数，所述激活函数为LeakyReLU函数；
所述图像增强网络包括CLAHE模块、4层卷积层和3层反卷积层。
4.根据权利要求3所述的无监督的水下图像增强方法，其特征在于，所述构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，具体包括：
将所述训练数据集进行缩放后输入到所述参数估计网络中，缩放后的所述训练数据集依次经过5层卷积层和2层全连接层后输出9个实值，并将9个实值作为所述图像增强网络的参数；
将所述训练数据集输入到所述图像增强网络中，通过CLAHE模块产生限制对比度自适应直方图均值化后的图像，再经过4层卷积层和3层反卷积层，对产生的12通道图像做切片处理，产生4张3通道图像，与原始所述训练数据集迭代进行二次曲线变换，再进行USM锐化后得到增强图像，以完成所述神经网络模型的训练。
5.根据权利要求4所述的无监督的水下图像增强方法，其特征在于，所述二次曲线变换的公式如下：
G(x)＝G4(x)；
Figure FDA0003902728420000021
其中，x表示原始训练数据集；G(x)为完成二次曲线变换后的图像，Gi(x)为原始训练数据集迭代第i次二次曲线处理完后的图像；Gi-1(x)为原始训练数据集迭代第i-1次二次曲线处理完后的图像；G4(x)为原始训练数据集迭代第4次二次曲线处理完后的图像；ri表示第i个切片图像；ai和bi为二次曲线的权值，由所述参数估计网络给出。
6.根据权利要求5所述的无监督的水下图像增强方法，其特征在于，所述USM锐化的公式如下：
U(x)＝α*(x-GaussBlur(x))+x，α∈[0，5]；
其中，U(x)表示对原始训练数据集x进行USM锐化处理；α为锐化权值，由所述参数估计网络给出；GaussBlur(x)表示对原始训练数据集x进行高斯模糊处理；
USM锐化函数的输入x等于二次曲线变换的输出G(x)。
7.根据权利要求6所述的无监督的水下图像增强方法，其特征在于，所述神经网络模型的总损失函数由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失组成；
所述总损失函数由CLAHE图像对照损失、颜色恒定性损失、曝光控制损失和照明平滑度损失加权相加得到：
L＝20*LCLAHE+5*Lcolor+10*Lexp+200*Ltv；
其中，L表示总损失函数；LCLAHE表示CLAHE图像对照损失；Lexp表示曝光控制损失；Ltv表示照明平滑度损失；
其中，所述CLAHE图像对照损失为：
LCLAHE＝L1smooth(Norm(CLAHE(x))-Norm(G(x)))；
其中，L1smooth为Smooth L1 Loss函数；CLAHE(x)为对原始训练数据集x进行限制对比度自适应直方图均值化处理；Norm表示归一化处理；
其中，所述颜色恒定性损失为：
Figure FDA0003902728420000041
其中，(p，q)表示遍历了三个颜色通道中所有两两组合；Jp表示增强图像中p颜色通道的亮度平均值；Jq表示增强图像中q颜色通道的亮度平均值；
其中，所述曝光控制损失为：
Figure FDA0003902728420000042
其中，Yk表示第k个大像素的亮度；E为常数；M为大像素总个数；
其中，所述照明平滑度损失为：
Figure FDA0003902728420000043
其中，N表示迭代次数；
Figure FDA0003902728420000044
和
Figure FDA0003902728420000045
分别表示水平和垂直的梯度算子；ξ表示RGB颜色空间，包含三个通道；
Figure FDA0003902728420000046
表示第n次二次曲线处理迭代中c颜色通道所对应的切片。
8.一种无监督的水下图像增强系统，其特征在于，所述无监督的水下图像增强系统包括：
数据获取和预处理模块，用于在公开数据集中获取水下图像数据，所述水下图像数据包括训练数据集和测试数据集，将所述水下图像数据进行归一化处理和缩放处理；
网络构建和训练模块，用于构建神经网络模型，使用处理后的所述训练数据集来训练所述神经网络模型，所述神经网络模型包括参数估计网络和图像增强网络；
图像增强处理模块，用于将处理后的所述测试数据集输入到已训练好的所述神经网络模型中，所述参数估计网络和所述图像增强网络根据处理后的所述测试数据集输出水下增强图像。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无监督的水下图像增强程序，所述无监督的水下图像增强程序被所述处理器执行时实现如权利要求1-7任一项所述的无监督的水下图像增强方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有无监督的水下图像增强程序，所述无监督的水下图像增强程序被处理器执行时实现如权利要求1-7任一项所述的无监督的水下图像增强方法的步骤。
CN202211296249.2A 2022-10-21 2022-10-21 一种无监督的水下图像增强方法及相关设备 Pending CN115660980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211296249.2A CN115660980A (zh) 2022-10-21 2022-10-21 一种无监督的水下图像增强方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211296249.2A CN115660980A (zh) 2022-10-21 2022-10-21 一种无监督的水下图像增强方法及相关设备

Publications (1)

Publication Number Publication Date
CN115660980A true CN115660980A (zh) 2023-01-31

Family

ID=84988834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211296249.2A Pending CN115660980A (zh) 2022-10-21 2022-10-21 一种无监督的水下图像增强方法及相关设备

Country Status (1)

Country Link
CN (1) CN115660980A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522718A (zh) * 2023-11-20 2024-02-06 广东海洋大学 基于深度学习的水下图像增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522718A (zh) * 2023-11-20 2024-02-06 广东海洋大学 基于深度学习的水下图像增强方法
CN117522718B (zh) * 2023-11-20 2024-04-30 广东海洋大学 基于深度学习的水下图像增强方法

Similar Documents

Publication Publication Date Title
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN108764250B (zh) 一种运用卷积神经网络提取本质图像的方法
CN112132739B (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN114936979B (zh) 一种模型训练方法、图像去噪方法、装置、设备及存储介质
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN112070137B (zh) 训练数据集的生成方法、目标对象检测方法及相关设备
CN113837942A (zh) 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN111445496B (zh) 一种水下图像识别跟踪系统及方法
CN112597847A (zh) 人脸姿态估计方法、装置、电子设备和存储介质
CN115660980A (zh) 一种无监督的水下图像增强方法及相关设备
CN115439738A (zh) 一种基于自监督协同重构的水下目标检测方法
CN117576724A (zh) 一种无人机飞鸟检测方法、系统、设备和介质
CN118196544A (zh) 基于信息增强与特征融合的无人机小目标检测方法及系统
CN118172283A (zh) 基于改进gUNet模型的海上目标图像去雾方法
CN113159158B (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model
CN117237796A (zh) 一种基于特征增强和采样偏移的海产品检测方法
CN117392508A (zh) 一种基于坐标注意力机制的目标检测方法和装置
CN117095172A (zh) 一种基于内外部蒸馏的持续语义分割方法
CN112950481B (zh) 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统
CN114821192A (zh) 一种结合语义信息的遥感影像高程预测方法
CN115063320A (zh) 一种基于最大后验概率估计的sar图像去斑方法及系统
CN114708586A (zh) 一种从图像和视频中提取三维人脸表征的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination