CN114387190A - 一种基于复杂环境下的自适应图像增强方法及系统 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，提供了一种基于复杂环境下的自适应图像增强方法及系统，包括采集原始水下图像并进行预处理；利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集；基于RGB通道信息数据集，利用训练好的水下图像退化分类模型得到不同退化程度的图像样本；基于不同退化程度的图像样本，利用训练好的不同退化程度的水下修复网络进行修复，得到修复后的水下图像；本发明相较于现有的方法能够更好的解决在不同时间节点出现的不同退化情况，由于针对不同退化程度调用不同修复模型，所以本发明对于水下退化图像的修复效果更好更自然。

Description

一种基于复杂环境下的自适应图像增强方法及系统

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于复杂环境下的自适应图像增强方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

海洋经济是一个相对较新的领域。随着现代科学技术的发展，人类认识和开发海洋的能力不断提高，海洋开发活动范围逐渐扩大，形成了一系列渗透到传统经济诸多领域的海洋新兴产业。具体应用场景包括海洋牧场、水下物体检测、机器人智能捕鱼等。很多海洋领域都依赖水下机器人进行挖掘和研究。对于水下图像增强应用，传统物理模型可以通过专家经验设置参数阈值来修复特定的水下场景，但在处理其他不同程度退化的水域时可能会出现不稳定的情况。

基于深度学习的图像增强和去噪技术发展迅速，但存在水下图像恢复领域，由于光线及深度等原因导致水下图像颜色出现偏差，而且同一水域在不同的时间节点可能会出现不同的颜色偏差，例如偏蓝色或偏绿色，而深度学习对于这一情况无法实现自动判断并实现针对性的修复。

发明内容

为了解决现有基于深度学习算法仅能对单一退化环境修复问题以及基于物理算法出现的不稳定问题，本发明提出了一种基于复杂环境下的自适应图像增强方法及系统，本发明相较于现有的方法能够更好的解决在不同时间节点出现的不同退化情况，由于针对不同退化程度调用不同修复模型，所以本发明对于水下退化图像的修复效果更好更自然。

根据一些实施例，本发明的第一方案提供了一种基于复杂环境下的自适应图像增强方法，采用如下技术方案：

一种基于复杂环境下的自适应图像增强方法，包括：

采集原始水下图像并进行预处理；

利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集；

基于RGB通道信息数据集，利用训练好的水下图像退化分类模型得到不同退化程度的图像样本；

基于不同退化程度的图像样本，利用训练好的不同退化程度的水下修复网络进行修复，得到修复后的水下图像。

进一步地，所述利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集，具体为：

获取公开的RGBD数据集；

根据公开的RGBD数据集，获取预处理后的水下图像对应的RGB直方图；

统计每张预处理后的水下图像的RGB通道值；

构建预处理后的水下图像的RGB通道信息数据集。

进一步地，训练所述水下图像退化分类模型，具体为：

获取不同水下退化环境下的图像样本数据集；

对不同水下退化环境下的图像样本数据集进行预处理，得到不同水下退化环境下的图像样本数据集的RGB通道信息数据集；

利用图像样本数据集的RGB通道信息数据集，对聚类算法进行训练，得到训练好的水下图像退化分类模型。

进一步地，训练所述不同退化程度的水下修复网络，具体为：

利用训练好的水下图像退化分类模型将图像样本数据集分成不同退化程度的图像样本数据集子集；

利用生成对抗网络对每个图像样本数据集子集以及公开的RGBD数据集训练，生成对应的水下仿真数据集子集；

基于Unet网络结合残差增强模块构建水下修复网络；

利用水下仿真数据集子集，基于所述水下修复网络进行训练，得到训练好的不同退化程度的水下修复网络。

进一步地，利用生成对抗网络对每个图像样本数据集子集以及公开的RGBD数据集训练，生成对应的水下仿真数据集子集，具体为：

基于每个图像样本数据集子集以及公开的RGBD数据集；

利用生成器对深度图进行散射处理，对彩色图进行衰减处理；

将散射处理后的深度图和衰减处理后的彩色图像融合；

对融合后的图像进行雾化处理后，输出最终的输出图像；

利用判别器对最终的输出图像和图像样本数据集进行判别；

生成对应的水下仿真数据集子集。

进一步地，所述生成对抗网络采用的损失函数为内容生成风格，整体损失函数公式如下：

其中，

表示生成网络损失函数，

表示内容生成风格损失函数，

表示内容风格损失函数系数；

生成内容风格损失函数展开公式如下所示：

；

其中，

表示每张生成图像和对应的标注图像造成的误差，

表示利用VGG网络提取的标注图像特征的分类结果，

表示对生成后的仿真图像提取特征的分类结果，

表示经过生成对抗网络对初始化输入图像生成后的仿真图像，x表示初始化的输入图像，y表示“标注”图像。

进一步地，所述水下修复网络使用的损失函数为基于内容风格以及L2损失函数，生成内容风格损失函数公式如下所示：

；

L2损失函数公式如下所示：

；

其中，

表示每张修复后的图像和对应的标注图像造成的误差，

表示利用VGG网络提取的标注图像特征的分类结果，

表示对修复后的水下退化图像提取特征的分类结果，

表示经过水下修复网络修复后的图像，q表示水下退化图像，y表示“标注”图像，计算两张图像每个像素点差值的平方。

进一步地，所述水下修复网络包括卷积层、激活层、跳跃链接以及残差增强模块组成。

进一步地，基于不同退化程度的图像样本数据集子集，利用训练好的水下修复网络进行修复，得到修复后的水下图像，具体为：

使用残差模块网络增强图像特征提取能力，每个残差模块包括三个卷积层，通过卷积操作实现特征图通道数量的改变；

使用跳跃链接将不同的通道提取的特征进行融合作为残差增强模块的输出。

根据一些实施例，本发明的第二方案提供了一种基于复杂环境下的自适应图像增强系统，采用如下技术方案：

一种基于复杂环境下的自适应图像增强系统，包括：

图像采集模块，被配置为采集原始水下图像并进行预处理；

图像处理模块，被配置为利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集；

图像分类模块，被配置为基于RGB通道信息数据集，利用训练好的水下图像退化分类模型得到不同退化程度的图像样本；

图像修复模块，被配置为基于不同退化程度的图像样本，利用训练好的水下修复网络进行修复，得到修复后的水下图像。

与现有技术相比，本发明的有益效果为：

本发明相较于现有的方法能够更好的解决在同一水域环境下不同时间节点出现的不同退化情况。利用RGB直方图获取水下退化图像的R、G及B各通道信息；基于RGB通道信息采用聚类算法对水下退化图像分类，实现自动化对水下退化程度的判定；使用生成对抗网络完成对不同退化程度的水下图像数据集的配对，基于卷积神经网络、优化的Unet网络以及残差增强模块构建水下修复网络，并完成水下修复网络训练；根据不同退化程度调用不同水下修复模型，本发明能够自适应的完成对不同水下退化图像的修复，因此对于水下退化图像的修复效果更好。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例一所述的一种基于复杂环境下的自适应图像增强方法流程图；

图2是本发明实施例一所述的在同一水下环境当水下颜色偏蓝图像示意图；

图3是本发明对图2绘制的RGB颜色直方图示意图；

图4是本发明实施例一所述的在同一水下环境当水下颜色偏中图像示意图；

图5是本发明对图4绘制的RGB颜色直方图示意图；

图6是本发明实施例一所述的在同一水下环境当水下颜色偏绿图像示意图；

图7是本发明对图6绘制的RGB颜色直方图示意图；

图8是本发明实施例一所述的生成对抗网络算法生成仿真数据结构示意图；

图9是本发明实施例一所述的水下修复网络结构示意图；

图10是本发明实施例一所述的水下图像修复部分效果图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了一种基于复杂环境下的自适应图像增强方法，包括：

采集原始水下图像并进行预处理；

利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集；

基于RGB通道信息数据集，利用训练好的水下图像退化分类模型得到不同退化程度的图像样本；

基于不同退化程度的图像样本，利用训练好的水下修复网络进行修复，得到修复后的水下图像。

本实施例的具体方案如图1-图10所示，该方法包括以下步骤：

步骤S1：获得不同水下类型的退化图像数据集；

采集不同水下退化环境下的图像记为D_uw，下载具有深度信息的公开RGBD数据集；

根据在不同时间节点水域可能出现不同退化程度，例如有时呈现偏绿色有时呈现偏蓝色等情况，因此采集的图像应该更加全面才能更好的解决实际水下退化问题，本实施例采集了共计1万张水下退化数据。

步骤S2：根据采集的数据集进行RGB直方图信息预处理，并基于RGB通道信息进行聚类训练，获得水下退化分类模型；

步骤S2.1：对采集的D_uw数据集进行预处理，采用OpenCV制作RGB直方图，并制作RGB通道信息数据集；

首先，使用OpenCV获取1万张图像数据的颜色直方图，直方图结果参考图3、图5、图7所示，RGB直方图能够清晰反映出不同类型水下退化图像的差别，采用的RGB颜色直方图是通过OpenCV获得Red、Green、Blue每个通道对应像素点的均值，所以基于RGB直方图能够有效的对水下退化进行分类。统计1万张图像的RGB三个通道像素点的均值并制作聚类数据集，聚类算法是采用K-Means(K均值)聚类算法，基于RGB直方图对数据集进行有效的分类；

K-Means(K均值)聚类算法，对于给定的RGB通道直方图的样本，假如划分为K个类别，那么聚类的目标是最小化误差，具体公式为：

（1）

其中，k表示采集的水下退化数据集的数量，i表示当前从第一张图像遍历处理到所有数据集，

是每个类别数据的均值向量，具体的公式为：

（2）

其中，m表示当前的样本数据，

表示样本数据类别。

步骤S2.2：对将所有采集图像的RGB通道信息数据集作为输入，训练聚类分类模型，具体为：

步骤S2.2.1：获取不同水下退化环境下的图像样本数据集以及公开的RGBD数据集；

步骤S2.2.2：对不同水下退化环境下的图像样本数据集进行预处理，并根据公开的RGBD数据集统计图像样本数据集的RGB通道信息数据集；

步骤S2.2.3：利用图像样本数据集的RGB通道信息数据集，对聚类算法进行训练，得到训练好的水下图像退化分类模型。

采用基于生成对抗网络算法根据RGBD数据集对原始数据集进行仿真生成配对数据集，构建水下图像训练数据集，具体为：RGBD数据集为一组具有深度信息的公开数据集，通过生成对抗网络将RGB图像根据水下图像数据集进行仿真，使仿真图像和水下图像更相似。

生成对抗网络架构如图8所示，输入数据集为采集的真实水下图像数据集D_uw，根据水下退化程度不同记为d1、d2、dn，还有正常空气环境下的数据集RGBD记为D_air。在生成器部分使用对深度图进行散射处理，对彩色图进行衰减处理，再将两张图像融合，然后进行雾化处理作为生成器的输出结果，判别器采用PathGan对生成器输出的图像和真实水下数据集D_uw进行判别，最后输出水下仿真数据集子集为air_d1，air_d2，air_dn。

通过水下退化分类模型将D_uw数据集分成子集，使用生成对抗网络对每个数据集子集以及RGBD公开数据集训练，生成对应的水下仿真数据集子集。

生成对抗网络采用的损失函数为内容生成风格，整体损失函数公式如下

（3）

其中，

表示生成网络损失函数，

表示内容生成风格损失函数，

表示内容风格损失函数系数；

生成内容风格损失函数展开公式如下所示：

（4）；

其中，

表示每张生成图像和对应的标注图像造成的误差，

表示利用VGG网络提取的标注图像特征的分类结果，

表示对生成后的仿真图像提取特征的分类结果，

表示经过生成对抗网络对初始化输入图像生成后的仿真图像，x表示初始化的输入图像，y表示“标注”图像。

步骤S3：采用基于优化UNet网络结合残差网络设计水下图像修复增强网络，并将生成的图像内容作为loss损失函数之一，完成基于深度学习的水下图像修复模型训练；

所述的基于编码器解码器的Unet网络及残差网络理念设计水下图像修复网络，水下图像修复网络包括卷积层、激活层、跳跃链接以及残差增强模块组成，采用内容生成风格以及L2作为网络的损失函数，根据水下配对数据集的类别训练对应的海洋水下修复模型，具体为：水下图像修复网络使用残差网络理念增强图像特征提取能力，每个残差模块包括三个卷积层，每个卷积核为3*3，通过卷积操作实现特征图通道数量的改变，使用跳跃链接将不同的通道提取的特征进行融合作为残差增强模块的输出。

采用优化的Unet网络以及残差增强模块设计水下修复网络，输入图像尺寸为256*256*3，对图像采用3*3的卷积层提取特征通道数变为16，特征图记为f1，之后使用残差增强模块对上一层特征进行处理，然后再使用3*3的卷积层提取残差增强后的结果实现通道数由16变为32，特征图记为f2；之后再使用增强模块对上一层f2特征图处理；之后在使用3*3的卷积层提取残差增强后的结果实现通道数由32变为64，特征图记为f3；之后在使用残差增强模块对上一层f3特征图进行处理，然后在使用3*3的卷积层提取特征，通道数由64变为128，特征图记为f4；之后在使用残差增强模块对上一层f4特征图进行处理，然后使用3*3卷积层提取特征，通道数由128变为256，特征图记为f5；将上一层f5特征图进行上采样处理，并使用跳跃连接和f4特征图相加，256加128通道数变为384，再使用3*3的卷积层将通道数恢复为128，特征图记为M1；再将上一层M1特征图进行上采样处理，并使用跳跃链接和f3特征图相加，128加64通道数变为192，在使用3*3的卷积层将通道数恢复为64，特征图记为M2；再将上一层M2特征图进行上采样处理，并使用跳跃链接和f2特征图相加，64加32通道数变为96，在使用3*3的卷积层将通道数恢复为32，特征图记为M3，再将上一层M3特征图进行上采样处理，并使用跳跃链接和f1特征图相加，32加16通道数变为48，在使用3*3的卷积层将通道恢复为16，之后在使用1*1的卷积层将通道数恢复为3，最终实现修复后的输出结果。

内容生成风格损失函数采用VGG网络提取仿真水下图像和标注图像特征并计算损失。采用L2损失函数计算提取像素级别损失；

所述的损失函数由L2损失函数及生成内容风格损失函数组成，具体公式为：

（5）

其中，

表示经过水下修复网络修复后的图像，y表示“标注”图像，计算两张图像每个像素点差值的平方。

生成内容风格损失函数具体公式为：

（6）

表示每张修复图像和对应的标注图像造成的误差，

表示利用VGG网络提取的标注图像特征的分类结果，

表示对修复后的水下退化图像提取特征的分类结果，

表示经过水下修复网络修复后的图像，q表示水下退化图像，y表示“标注”图像。

水下修复网络架构如图9所示，图左半部分为下采样处理过程，右半部分为上采样处理过程。首先对原始图像进行进行卷积以及下采样操作，下采样过程中使用残差模块增强特征提取的能力，残差模块如图9所示，首先采用1*1卷积核步长为2对图像进行下采样处理，并将通道数变成两倍，之后利用1*1卷积核将通道数变成一般，然后再利用1*1卷积核将通道数恢复为两倍，最后将这两部分的特征进行融合得到残差模块的输出结果。在完成下采样过程之后，在上采样过程中利用跳跃连接将下采样结果进行特征相加，在使用3*3卷积核将通道数恢复。在本发明中为了更好的保留图像的细节，共采用4次下采样操作。

步骤S4：对待检测图像进行预处理，使用水下退化分类模型根据图像的RGB通道含量进行定量的分类；

步骤S5：根据分类结果调用对应的深度学习模型修复网络进行修复。

对于不同退化程度的水下图像修复的部分效果图，如图10所示。

实施例二

本实施例提供了一种基于复杂环境下的自适应图像增强系统，包括：

图像采集模块，被配置为采集原始水下图像并进行预处理；

图像处理模块，被配置为利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集；

图像分类模块，被配置为基于RGB通道信息数据集，利用训练好的水下图像退化分类模型得到不同退化程度的图像样本；

图像修复模块，被配置为基于不同退化程度的图像样本，利用训练好的水下修复网络进行修复，得到修复后的水下图像。

上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于复杂环境下的自适应图像增强方法，其特征在于，包括：

采集原始水下图像并进行预处理；

利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集；

基于RGB通道信息数据集，利用训练好的水下图像退化分类模型得到不同退化程度的图像样本；

基于不同退化程度的图像样本，利用训练好的不同退化程度的水下修复网络进行修复，得到修复后的水下图像。

2.如权利要求1所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，所述利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集，具体为：

获取公开的RGBD数据集；

根据公开的RGBD数据集，获取预处理后的水下图像对应的RGB直方图；

统计每张预处理后的水下图像的RGB通道值；

构建预处理后的水下图像的RGB通道信息数据集。

3.如权利要求1所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，训练所述水下图像退化分类模型，具体为：

获取不同水下退化环境下的图像样本数据集；

对不同水下退化环境下的图像样本数据集进行预处理，得到不同水下退化环境下的图像样本数据集的RGB通道信息数据集；

利用图像样本数据集的RGB通道信息数据集，对聚类算法进行训练，得到训练好的水下图像退化分类模型。

4.如权利要求3所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，训练所述不同退化程度的水下修复网络，具体为：

利用训练好的水下图像退化分类模型将图像样本数据集分成不同退化程度的图像样本数据集子集；

利用生成对抗网络对每个图像样本数据集子集以及公开的RGBD数据集训练，生成对应的水下仿真数据集子集；

基于Unet网络结合残差增强模块构建水下修复网络；

利用水下仿真数据集子集，基于所述水下修复网络进行训练，得到训练好的不同退化程度的水下修复网络。

5.如权利要求4所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，利用生成对抗网络对每个图像样本数据集子集以及公开的RGBD数据集训练，生成对应的水下仿真数据集子集，具体为：

基于每个图像样本数据集子集以及公开的RGBD数据集；

利用生成器对深度图进行散射处理，对彩色图进行衰减处理；

将散射处理后的深度图和衰减处理后的彩色图像融合；

对融合后的图像进行雾化处理后，输出最终的输出图像；

利用判别器对最终的输出图像和图像样本数据集进行判别；

生成对应的水下仿真数据集子集。

6.如权利要4所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，所述生成对抗网络采用的损失函数为内容生成风格，整体损失函数公式如下：

其中，

表示生成网络损失函数，

表示内容生成风格损失函数，

表示内容风格损失函数系数；

生成内容风格损失函数展开公式如下所示：

；

其中，

表示每张生成图像和对应的标注图像造成的误差，

表示利用VGG网络提取的标注图像特征的分类结果，

表示对生成后的仿真图像提取特征的分类结果，

表示经过生成对抗网络对初始化输入图像生成后的仿真图像，x表示初始化的输入图像，y表示“标注”图像。

7.如权利要求4所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，所述水下修复网络使用的损失函数为基于内容风格以及L2损失函数，生成内容风格损失函数公式如下所示：

；

L2损失函数公式如下所示：

；

其中，

表示每张修复后的图像和对应的标注图像造成的误差，

表示利用VGG网络提取的标注图像特征的分类结果，

表示对修复后的水下退化图像提取特征的分类结果，

表示经过水下修复网络修复后的图像，q表示水下退化图像，y表示“标注”图像，计算两张图像每个像素点差值的平方。

8.如权利要求1所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，所述水下修复网络包括卷积层、激活层、跳跃链接以及残差增强模块组成。

9.如权利要求8所述的一种基于复杂环境下的自适应图像增强方法，其特征在于，基于不同退化程度的图像样本数据集子集，利用训练好的水下修复网络进行修复，得到修复后的水下图像，具体为：

使用残差模块网络增强图像特征提取能力，每个残差模块包括三个卷积层，通过卷积操作实现特征图通道数量的改变；

使用跳跃链接将不同的通道提取的特征进行融合作为残差增强模块的输出。

10.一种基于复杂环境下的自适应图像增强系统，其特征在于，包括：

图像采集模块，被配置为采集原始水下图像并进行预处理；

图像处理模块，被配置为利用RGB直方图统计预处理后的水下图像的RGB通道信息数据集；

图像分类模块，被配置为基于RGB通道信息数据集，利用训练好的水下图像退化分类模型得到不同退化程度的图像样本；

图像修复模块，被配置为基于不同退化程度的图像样本，利用训练好的水下修复网络进行修复，得到修复后的水下图像。

Images