CN111476744B - 一种基于分类及大气成像模型的水下图像增强方法 - Google Patents

Abstract

本发明涉及一种基于分类及大气成像模型的水下图像增强方法，属于水下图像增强技术领域。包括：1)将原始水下图像I_Raw从RGB空间转换为HSV空间，并分别计算三个通道的平均值；2)将HSV通道的平均值与对应阈值进行比较，并根据比较结果对图像进行分类；3)根据图像分类结果对图像进行增强处理；4)根据大气成像模型对增强后的彩色图像进行还原，输出还原图像；5)若原始水下图像I_Raw分类结果为低照度图像，则进行直方图均衡处理；6)对上一步骤输出的图像做自动白平衡处理。所述方法能对水下图像进行有效分类，并能准确恢复图像中物体的真实颜色，有效改善增强后图像的峰值信噪比，优化增强后图像的平均结构相似性。

Description

一种基于分类及大气成像模型的水下图像增强方法

技术领域

本发明涉及一种基于分类及大气成像模型的水下图像增强方法，属于水下图像增强技术领域。

背景技术

光波在水下传播过程中会由于水的吸收而快速衰减，同时水对不同频率的光波有不同的吸收特性，因此水下捕获的图像经常会出现色偏、对比度低、以及图像模糊等问题，导致水下成像结果可视性较差。

水下成像作为一个新兴领域，是近几年的图像研究热点，研究者们提出了很多水下图像增强方法，这些方法大都借鉴大气图像增强理论。大气图像增强作为一个发展多年的领域，包含许多的分支，大致可分为三类：1)基于直方图变换及灰度拉伸的传统图像增强方法，2)基于成像模型的图像增强方法，3)基于深度学习网络的图像增强方法。相应的，现阶段的水下图像增强方法也由上述三类构成。

目前的三类水下图像增强类型各有所长各有所短：第一类对于增强图像的细节信息及增强对比度有很大的提升，但往往会改变物体真实的色彩，使得到的图像不够自然，且会产生噪声；第二类能够较好的恢复图像的真实色彩并增强图像可视性，但由于水下环境的复杂性，对于一些图像的处理效果往往不佳，普适性较差；第三类通常能够较好的对水下图像进行增强，但需要以足够大的训练数据、足够长的训练时间、以及合适的训练网络为前提，参数设置不合适可能会出现过拟合现象。

基于深度学习网络的水下图像增强方法能够有效的对图像增强的一个原因在于：通过对图像进行分类，有效的提取了不同类别图像的特性，从而能够较好的对不同类型的水下图像进行有效的增强。因此，本文提出了一种基于分类的水下图像增强方法。

然而，考虑到深度学习网络往往比较耗费时间及资源，本文在对图像进行分类的基础上，以大气成像模型为主导，并结合传统图像增强，提出了一种有效的水下图像增强方法。试验结果表明，所提方法能够完成对水下多变环境下捕获的图像进行有效增强。

发明内容

本发明的目的在于针对水下图像增强方法往往不能够有效的对水下复杂多变环境下的图像进行增强，且在峰值信噪比以及平均结构相似性两方面有进一步提升空间，提出了一种基于分类及大气成像模型的水下图像增强方法,所述方法基于分类及大气成像模型，结合传统图像增强原理对水下图像进行增强。

所述水下图像增强方法，包括如下步骤：

步骤1：将原始水下图像I_Raw从RGB颜色空间转换至HSV颜色空间，生成HSV图像，然后将HSV图像拆分为三幅单一通道的子图像，并分别对三幅单一通道的子图像求取全局平均值,得到三个平均值；

其中，三幅单一通道:H通道、S通道及V通道的子图像，分别记为I_H、I_S以及I_V，每幅子图像的维度为M*N；三个平均值，分别记为Mean_H、Mean_S以及Mean_V，每个平均值的维度为1*1；

步骤2：将步骤1输出的三个平均值分别与所设阈值进行比较并根据比较结果对图像进行分类，具体将Mean_H与Th_{H_min}、Th_{H_max}进行比较，将Mean_S与Th_S进行比较，将Mean_V与Th_V进行比较，将输入的原始水下图像I_Raw分为偏绿或偏蓝图像、低照度图像、浅水图像三类中的一类，并输出分类结果：

1)若H通道的全剧平均值Mean_H介于阈值下限Th_{H_min}与阈值上限Th_{H_max}之间，且S通道的全局平均值Mean_S大于阈值Th_S，则认为输入原始水下图像为“偏绿偏蓝图像”；

2)若V通道的全局平均值Mean_V小于阈值Th_V，则认为输入原始水下图像为“低照度图像”；

3)若所输入原始水下图像既不属于“偏绿偏蓝图像”，也不属于“低照度图像”，则将其归为“浅水图像”；

其中，Th_{H_min}、Th_{H_max}分别为H通道的阈值下限及阈值上限，Th_S、Th_V分别为S通道及V通道的阈值；

步骤3：根据步骤2输出的图像分类结果，对图像进行增强处理，具体为:若原始水下图像I_Raw为“偏绿偏蓝图像”，则对原始水下图像I_Raw做颜色校正处理，输出一幅颜色校正后的彩色图像；若图像不为“偏蓝偏绿图像”，则输出带有“浅水图像”或“低照度图像”标签的彩色图像，跳至步骤4；

其中，步骤3输出的彩色图像记为I；

对原始水下图像I_Raw进行颜色校正处理，具体包括如下步骤：

步骤3.1)分别计算原始图像在RGB颜色空间中三幅单一通道的子图像中的平均值Mean_R、Mean_G、Mean_B，并找出这三个值中的中值；

步骤3.2)保持步骤3.1)找出的中值所在通道的直方图数据不变，调整其余两个通道直方图数据，具体为：若三个平均值中，Mean_R最小，Mean_G居中，Mean_B值最大，则相应的直方图调整方式为：保持G通道直方图不变，将R通道直方图向右移动(Mean_G-Mean_R)灰度距离，将B通道直方图向左移动(Mean_B-Mean_G)灰度距离；

步骤3.3)根据原始水下图像I_Raw及步骤3.2)调整后的三个直方图恢复出RGB三个通道的调整后图像，并合并为一幅颜色校正后的彩色图像，记为I；

步骤4：根据大气成像模型(1)对步骤3输出的彩色图像I进行还原，输出还原图像J:

I(x)＝J(x).t(x)+BL.(1-t(x))     (1)

其中，I为步骤3输出的颜色校正后的彩色图像，x为像素，J为还原图像，t为传输系数图像，BL为背景光；

步骤4，具体包括如下子步骤：

步骤4.1)对步骤3输出的彩色图像的背景光BL进行估计，得到背景光BL；

其中，背景光BL选取图像中红色光波与蓝色和绿色光波中最大值相差最大的点作为背景光的选取点，具体操作为：

步骤4.1.1)将步骤3输出的彩色图像I分为RGB三个通道，分别记为I_R、I_G、I_B；

步骤4.1.2)对I_R、I_G、I_B分别进行如公式(2)的暗通道处理得到三幅暗通道图像，分别记为I_{D_R}、I_{D_G}、I_{D_B}：

其中，Ω(x)为一块以像素点x为中心的区域，y是区域Ω(x)中的一个点；暗通道处理即区域最小值滤波；

步骤4.1)操作的原因为：图像的背景光决定了一幅图像的色彩基调，因此需要有一个精准有效的背景光估计；

步骤4.1.3)根据公式(3)遍历三幅暗通道图像的像素，找出红色通道的暗通道图像中与绿色和蓝色通道的暗通道图像中最大值差别最大的点：

步骤4.1.4)依据步骤4.1.3)输出的差别最大的像素点定位到步骤3输出的颜色校正后的彩色图像I中与该点坐标相同的像素点，将该像素点的值作为估计的背景光BL；

步骤4.2)在得到输入图像I的背景光BL之后，根据暗通道先验计算得传输系数图像，具体如下：

步骤4.2.1)对于公式(1)中的大气成像模型，在已知背景光BL的情况下，等式两边同时除以背景光BL，如公式(4)所示：

步骤4.2.2)对等式(4)两边分别求取暗通道，并基于暗通道先验求得传输系数图像；

其中，对等式(4)两边分别求取暗通道，即公式(5)：

根据暗通道先验，可得(6)：

依据假设(6)，推导出传输系数图像t如(7)所示：

步骤4.3)根据大气成像模型得到还原图像J，如公式(8)所示:

步骤5：对于步骤4输出的还原图像J，若原始输入图像I_Raw为低照度图像，则进行基于“限制对比度的自适应直方图均衡”的对比度拉伸，得到对直方图均衡处理之后的图像I_HE；否则若原始输入图像I_Raw不是低照度图像，则跳过步骤5，基于还原图像J执行步骤6；

其中，基于“限制对比度的自适应直方图均衡”的对比度拉伸，具体包括如下步骤：

步骤5.1)将步骤4.3)得到的还原图像J从RGB颜色空间转换至HSV颜色空间，并将V通道图像单独提取出来，记为J_V；

步骤5.2)将J_V按2^p行2^p列分割为2^2p个均匀子区域，记为Rg_i，其中，i∈{1,2,3…2^2p}，每个区域长宽分别为：M/2^p，N/2^p，并根据对比度限制因子以及区域像素点个数计算出截止上限lim；

其中，p取2、3及4中的一个；

步骤5.3)对于步骤5.2)分割的每一个子区域Rg_i，分别统计其亮度分布直方图，得hist_i，其中，i∈{1,2,3…2^2p}；

其中，在统计过程中，如果区域Rg_i的某个亮度值j的直方图统计hist_i,j超出截止上限lim，则将超出的部分转移到余量Excess_i；

其中，j满足0<＝j<＝255，Excess_i表示区域Rg_i的余量；

所以，对于步骤5.3)输出的2^2p个亮度分布直方图，其最大值为lim，各个区域{Rg₁,Rg₂,Rg₃…Rg_22p}中高于lim的部分分别累加至余量{Excess₁,Excess₂,Excess₃…Excess_22p}；

步骤5.4)求出当前区域Rg_i的平均余量mean_Excessi，再将从各个区域直方图中裁剪下来的余量{Excess₁,Excess₂,Excess₃…Excess_22p}依次进行重分配；

其中，平均余量mean_Excessi，具体定义如公式(9)所示：

步骤5.4中的余量重分配，仅针对裁剪之后亮度分布直方图中低于截止上限lim的亮度值，得到重分配的直方图，具体为：

从亮度值j＝0开始，判断hist_i,j属于重分配原则中的哪种情况，并分别做出相应处理；如此令j＝j+1，并重复该操作，直到完成亮度值j＝255的重分配过程；再判断余量Excess_i的值是否大于0，即余量重分配是否完成，若等于0则表明重分配完成，否则若大于0，则表明重分配没有完成，再次从亮度值j＝0开始，若当前亮度值在直方图中的值小于截止上限，则加上1，并令亮度值j＝j+1；如此循环，直到最终将余量Excess_i重分配完，并输出重分配的直方图；

其中，重分配原则为:

1)对于直方图中亮度值对应的像素值数量小于或等于lim-mean_Excessi的亮度j，在重分配时直接加上mean_Excessi，即当前区域新的亮度分布直方图中，hist_new_i,j＝hist_i,j+mean_Excessi，再将对应的余量剪掉重分配掉的数量，即Excess_i＝Excess_i-mean_i；

2)对于直方图中亮度值对应的像素值数量大于lim-mean_Excessi但小于lim的亮度，在重分配时，将该亮度值在直方图中对应的值补齐至lim，即当前区域新的亮度分布直方图中，hist_new_i,j＝lim，再将对应的余量剪掉重分配掉的数量，即Excess_i＝Excess_i-(lim-hist_i,j)；

步骤5.5)根据步骤5.4)重分配的直方图对各个区域中的像素点的亮度值进行重映射，即对直方图进行均衡，得到对直方图均衡处理之后的图像I_HE；

步骤6：对步骤5)输出的图像I_HE或步骤4)输出的还原图像J做自动白平衡处理，输出增强后的水下图像；

其中，自动白平衡处理基于灰度世界理论，具体执行步骤如下：

步骤6.1)计算图像I_HE的三个颜色通道R、G、B的平均值，并分别记为mean_{HE_R}、mean_{HE_G}、mean_{HE_B}；

步骤6.2)根据公式(10)计算三个颜色通道R、G、B的增益系数，分别记为coef_{HE_R}、coef_{HE_G}、coef_{HE_B}：

其中，

步骤6.3)根据步骤6.2)计算的增益系数对图像的三个通道的亮度值分别进行调节，具体如公式(11)所示：

I_{AWB_R}＝I_{HE_R}*coef_{HE_R}

I_{AWB_G}＝I_{HE_G}*coef_{HE_G}

I_{AWB_B}＝I_{HE_B}*coef_{HE_B}             (11)

步骤6.4)将经步骤6.3)的调节输出I_{AWB_R}、I_{AWB_G}、I_{AWB_B}合并，重新组合成一幅彩色图像，输出增强后的水下图像；

至此，从步骤1)到步骤6.4)，实现了一种基于分类及大气成像模型的水下图像增强方法。

有益效果

本发明提出的一种基于分类及大气成像模型的水下图像增强方法，与现有技术相比，具有如下有益效果：

1.所述方法可根据不同环境下捕获的水下图像进行有效分类；

2.所述方法可较为准确地恢复图像中物体的真实颜色特性；

3.所述方法可有效改善增强后图像的峰值信噪比；

4.所述方法明显优化了增强后图像的平均结构相似性；

5.所述方法可用于大部分水下环境下所捕获的图像的增强过程，效果明显，且各项指标皆优于传统水下图像增强方法。

附图说明

图1是本发明一种基于分类及大气成像模型的水下图像增强方法的流程图；

图2是本发明所述方法与其他水下图像增强方法比较的结果。

具体实施方式

下面结合附图及具体实施例对本发明所述的一种基于分类及大气成像模型的水下图像增强方法进行详细阐述。

实施例1

本实施例阐述了采用本发明所述的一种基于分类及大气成像模型的水下图像增强方法的具体实施，其流程如图1所示。

本实施例描述了应用本发明所述的一种基于分类及大气成像模型的水下图像增强方法对水下图像进行增强处理的具体实施。

读入一幅彩色水下图像I_Raw(维度为512*512*3)后，首先将水下图像I_Raw从RGB颜色空间转换至HSV颜色空间，得到三幅单一通道的子图像I_H、I_S以及I_V(维度为512*512)，然后分别计算出三幅子图像的全局平均值Mean_H、Mean_S以及Mean_V(维度为1*1)，此段操作对应发明内容中的步骤1。

接下来分别将三幅子图像的全局平均值Mean_H、Mean_S以及Mean_V与所设阈值进行比较并据此对彩色水下图像I_Raw进行分类(体现了有益效果1中的对不同环境下的水下图像进行分类)，此段操作对应发明内容中的步骤2，所述操作具体为：

1)若H通道的全局平均值Mean_H介于阈值下限Th_{H_min}与阈值上限Th_{H_max}之间，且S通道的全局平均值Mean_S大于阈值Th_S，则认为输入原始水下图像为“偏绿偏蓝图像”；

2)若V通道的全局平均值Mean_V小于阈值Th_V，则认为输入原始水下图像为“低照度图像”；

3)若所输入原始水下图像既不属于“偏绿偏蓝图像”，也不属于“低照度图像”，则将其归为“浅水图像”；

具体实施时，各阈值设置为：Th_{H_min}＝60，Th_{H_max}＝300，Th_S＝153，Th_V＝102。

接下来根据上面的水下图像分类结果进行增强，具体如下：

若彩色水下图像I_Raw为“偏绿偏蓝图像”，则对该图像进行颜色校正处理，并输出颜色校正之后的图像；若彩色水下图像I_Raw不为“偏绿偏蓝图像”，则跳过颜色校正步骤，直接输出彩色水下图像I_Raw；统一将此步骤输出的图像记为I；

其中，颜色校正具体实施时，过程如下：

1)分别计算原始水下图像在RGB颜色空间中三幅单一通道的子图像中的平均值Mean_R、Mean_G、Mean_B，并找出这三个值的中值；

2)保持1)找出的中值所在通道的直方图数据不变，调整其余两个通道直方图数据，具体实施时，若三个平均值Mean_R、Mean_G、Mean_B中，Mean_R最小，Mean_G居中，Mean_B值最大，则相应的直方图调整方式为：保持G通道直方图不变，将R通道直方图向右移动“Mean_G-Mean_R”灰度距离，将B通道直方图向左移动“Mean_B-Mean_G”灰度距离；

将上一步骤的输出图像I采用大气成像模型对图像进行还原，具体如下：

首先对水下图像I_Raw的背景光BL进行估计：将图像I分为RGB三个通道，分别记为I_R、I_G、I_B,并对I_R、I_G、I_B分别进行暗通道处理，得到三幅暗通道图像，分别记为I_{D_R}、I_{D_G}、I_{D_B}，如公式(2)中所示；对三幅暗通道图像I_{D_R}、I_{D_G}、I_{D_B}，从第一个像素开始遍历，找出红色通道的暗通道图像中与绿色和蓝色通道的暗通道图像中最大值差别最大的点，如公式(3)所示，并找到输入图像I中与该点坐标相同的像素点，将该像素点的值作为估计的背景光。

在求得水下图像I_Raw的背景光BL之后，用BL对图像I进行归一化：即用I的三个单通道图像分别除以BL的三个分量，如公式(12)所示。得到一幅新图像I_N：

其中，BL_R，BL_G，BL_B分别为步骤4中所求背景光的三个分量的值，维度为1*1，I_{N_R}，I_{N_G}，I_{N_B}分别为归一化之后图像在R、G、B三个通道的灰度图像，维度为M*N；对归一化之后的三幅单通道图像I_{N_R}，I_{N_G}，I_{N_B}分别求取暗通道，并分别记为I_{ND_R}、I_{ND_G}、I_{ND_B}，如公式(13)所示:

所以，估计得到的传输系数图像如公式(14)所示:

t_R(x)＝1-I_{ND_R}(x)

t_G(x)＝1-I_{ND_G}(x)

t_B(x)＝1-I_{ND_B}(x)        (14)

其中，t_R(x)，t_G(x)，t_B(x)(维度为512*512)分别为传输系数图像t(x)的R、G、B三个通道的灰度图像，完整传输系数图像t(x)由t_R(x)，t_G(x)，t_B(x)归并后得到；接下来根据大气成像模型，可以计算出还原图像J(x)，如公式(11)所示。

若彩色水下图像I_Raw分类结果为“低照度图像”，则需要对还原图像J(x)进行基于“限制对比度的自适应直方图均衡”的对比度拉伸处理，并输出处理后的图像I_HE；若彩色水下图像I_Raw分类结果不为“低照度图像”，则跳过对比度拉伸步骤，直接输出还原图像J(x)，统一将此步骤输出的图像记为I_ap。对比度拉伸的具体步骤如下：

将还原图像J(x)从RGB颜色空间转换至HSV颜色空间，并将V通道图像单独提取出来，记为J_V(维度为512*512)；然后将J_V按8行8列分割为64个均匀子区域(Rg₁,Rg₂,Rg₃…Rg₆₄)，每个区域尺寸为64*64，并根据对比度限制因子(此处取值为0.05)以及区域像素点个数计算出截止上限lim,值为205；对于每一个子区域，分别统计其亮度分布直方图(hist₁,hist₂,hist₃…hist₆₄)，在统计过程中，若某一区域Rg_i的某个亮度值j(0<＝j<＝255)的直方图统计hist_i,j超出截止上限lim，则将超出的部分转移到余量Excess_i；所以，对于输出的64个亮度分布直方图，其最大值为lim，各个区域(Rg₁,Rg₂,Rg₃…Rg₆₄)中高于lim的部分分别累加至余量(Excess₁,Excess₂,Excess₃…Excess₆₄)；将从各个区域直方图中裁剪下来的余量(Excess₁,Excess₂,Excess₃…Excess₆₄)依次重分配至各个直方图的其他亮度值上；在完成对各个区域的直方图重分配之后，接下来根据新的直方图对各个区域中的像素点的亮度值进行重映射，即可得到对比度限制的自适应直方图均衡处理之后的图像，记为I_HE；

对输入的图像I_ap做自动白平衡处理，以达到进一步改善视觉效果的目的。本方法中所用的自动白平衡处理基于灰度世界理论，具体执行步骤如下：

计算图像I_HE的三个颜色通道R、G、B的平均值，并分别记为mean_{HE_R}、mean_{HE_G}、mean_{HE_B}；计算三个颜色通道R、G、B的增益系数，分别记为coef_{HE_R}、coef_{HE_G}、coef_{HE_B}；根据增益系数对图像的三个通道的亮度值分别进行调节，最终，将I_{AWB_R}、I_{AWB_G}、I_{AWB_B}合并，重新组合成一幅彩色图像，即得到了经过本方法增强处理之后的最终图像。

实施例2

对经过本方法增强后的水下图像与其他方法增强后得到的水下图像进行比较，并分别计算其峰值信噪比(PSNR)和平均结构相似性(SSIM)。

主观比较结果如图2所示，体现了有益效果2中的恢复图像的真实颜色特性；

客观数据结果如表1所示，体现了有益效果3、4中的能够有效提升去噪处理后图像的峰值信噪比及平均结构相似性，同时，通过与其他水下图像增强方法的测试数据比较，体现了有益效果5中的各项指标皆优于传统水下图像增强方法；

表1本方法与其他方法增强后得到的水下图像客观对比

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (7)

1.一种基于分类及大气成像模型的水下图像增强方法,其特征在于：包括如下步骤：

步骤1：将原始水下图像I_Raw从RGB颜色空间转换至HSV颜色空间，生成HSV图像，然后将HSV图像拆分为三幅单一通道的子图像，并分别对三幅单一通道的子图像求取全局平均值,得到三个平均值；

其中，三幅单一通道:H通道、S通道及V通道的子图像，分别记为I_H、I_S以及I_V；三个平均值，分别记为Mean_H、Mean_S以及Mean_V；

步骤2：将步骤1输出的三个平均值分别与所设阈值进行比较并根据比较结果对图像进行分类，具体将Mean_H与Th_{H_min}、Th_{H_max}进行比较，将Mean_S与Th_S进行比较，将Mean_V与Th_V进行比较，将输入的原始水下图像I_Raw分为偏绿或偏蓝图像、低照度图像、浅水图像三类中的一类，并输出分类结果，具体为：

1)若H通道的全局平均值Mean_H介于阈值下限Th_{H_min}与阈值上限Th_{H_max}之间，且S通道的全局平均值Mean_S大于阈值Th_S，则认为输入原始水下图像为“偏绿偏蓝图像”；

2)若V通道的全局平均值Mean_V小于阈值Th_V，则认为输入原始水下图像为“低照度图像”；

3)若所输入原始水下图像既不属于“偏绿偏蓝图像”，也不属于“低照度图像”，则将其归为“浅水图像”；

其中，Th_{H_min}、Th_{H_max}分别为H通道的阈值下限及阈值上限，Th_S、Th_V分别为S通道及V通道的阈值；

步骤3：根据步骤2输出的图像分类结果，对图像进行增强处理，具体为:若原始水下图像I_Raw为“偏绿偏蓝图像”，则对原始水下图像I_Raw做颜色校正处理，输出一幅颜色校正后的彩色图像；若图像不为“偏蓝偏绿图像”，则输出带有“浅水图像”或“低照度图像”标签的彩色图像，跳至步骤4；

步骤3，具体为：

步骤3.1)分别计算原始图像在RGB颜色空间中三幅单一通道的子图像中的平均值Mean_R、Mean_G、Mean_B，并找出这三个值中的中值；

步骤3.2)保持步骤3.1)找出的中值所在通道的直方图数据不变，调整其余两个通道直方图数据，具体为：若三个平均值中，Mean_R最小，Mean_G居中，Mean_B值最大，则相应的直方图调整方式为：保持G通道直方图不变，将R通道直方图向右移动Mean_G-Mean_R灰度距离，将B通道直方图向左移动Mean_B-Mean_G灰度距离；

步骤3.3)根据原始水下图像I_Raw及步骤3.2)调整后的三个直方图恢复出RGB三个通道的调整后图像，并合并为一幅颜色校正后的彩色图像，记为I；

步骤4：根据大气成像模型(1)对步骤3输出的彩色图像I进行还原，输出还原图像J:

I(x)＝J(x)·t(x)+BL·(1-t(x))     (1)

其中，I为步骤3输出的颜色校正后的彩色图像，x为像素，J为还原图像，t为传输系数图像，BL为背景光；

步骤5：对于步骤4输出的还原图像J，若原始输入图像I_Raw为低照度图像，则进行基于“限制对比度的自适应直方图均衡”的对比度拉伸，得到对直方图均衡处理之后的图像I_HE；否则若原始输入图像I_Raw不是低照度图像，则跳过步骤5，基于还原图像J执行步骤6；

步骤6：对步骤5)输出的图像I_HE或步骤4)输出的还原图像J做自动白平衡处理，输出增强后的水下图像；

步骤6中，自动白平衡处理基于灰度世界理论，具体执行步骤如下：

步骤6.1)计算图像I_HE的三个颜色通道R、G、B的平均值，并分别记为mean_{HE_R}、mean_{HE_G}、mean_{HE_B}；

步骤6.2)根据公式(10)计算三个颜色通道R、G、B的增益系数，分别记为coef_{HE_R}、coef_{HE_G}、coef_{HE_B}：

其中，

步骤6.3)根据步骤6.2)计算的增益系数对图像的三个通道的亮度值分别进行调节，具体如公式(11)所示：

I_{AWB_R}＝I_{HE_R}*coef_{HE_R}

I_{AWB_G}＝I_{HE_G}*coef_{HE_G}

I_{AWB_B}＝I_{HE_B}*coef_{HE_B}             (11)

步骤6.4)将经步骤6.3)的调节输出I_{AWB_R}、I_{AWB_G}、I_{AWB_B}合并，重新组合成一幅彩色图像，输出增强后的水下图像。

2.根据权利要求1所述的一种基于分类及大气成像模型的水下图像增强方法，其特征在于：步骤1中，三幅单一通道的子图像中每幅子图像的维度为M*N。

3.根据权利要求1所述的一种基于分类及大气成像模型的水下图像增强方法，其特征在于：步骤1中，三个平均值中每个平均值的维度为1*1。

4.根据权利要求1所述的一种基于分类及大气成像模型的水下图像增强方法，其特征在于：步骤4，具体包括如下子步骤：

步骤4.1)对步骤3输出的彩色图像的背景光BL进行估计，得到背景光BL；

其中，背景光BL选取图像中红色光波与蓝色和绿色光波中最大值相差最大的点作为背景光的选取点，具体操作为：

步骤4.1.1)将步骤3输出的彩色图像I分为RGB三个通道，分别记为I_R、I_G、I_B；

步骤4.1.2)对I_R、I_G、I_B分别进行如公式(2)的暗通道处理得到三幅暗通道图像，分别记为I_{D_R}、I_{D_G}、I_{D_B}：

其中，Ω(x)为一块以像素点x为中心的区域，y是区域Ω(x)中的一个点；暗通道处理即区域最小值滤波；

步骤4.1.3)根据公式(3)遍历三幅暗通道图像的像素，找出红色通道的暗通道图像中与绿色和蓝色通道的暗通道图像中最大值差别最大的点：

p＝argmax_x(max(I_{D_G}(x),I_{D_B}(x)),I_{D_R}(x))  (3)

步骤4.1.4)依据步骤4.1.3)输出的差别最大的像素点定位到步骤3输出的颜色校正后的彩色图像I中与该点坐标相同的像素点，将该像素点的值作为估计的背景光BL；

步骤4.2)在得到输入图像I的背景光BL之后，根据暗通道先验计算得传输系数图像，具体如下：

步骤4.2.1)对于公式(1)中的大气成像模型，在已知背景光BL的情况下，等式两边同时除以背景光BL，如公式(4)所示：

步骤4.2.2)对等式(4)两边分别求取暗通道，并基于暗通道先验求得传输系数图像；

其中，对等式(4)两边分别求取暗通道，即公式(5)：

根据暗通道先验，可得(6)：

依据假设(6)，推导出传输系数图像t如(7)所示：

步骤4.3)根据大气成像模型得到还原图像J，如公式(8)所示:

5.根据权利要求1或4所述的一种基于分类及大气成像模型的水下图像增强方法，其特征在于：步骤5中，基于“限制对比度的自适应直方图均衡”的对比度拉伸，具体包括如下步骤：

步骤5.1)将步骤4.3)得到的还原图像J从RGB颜色空间转换至HSV颜色空间，并将V通道图像单独提取出来，记为J_V；

步骤5.2)将J_V按2^p行2^p列分割为2^2p个均匀子区域，记为Rg_i，其中，i∈{1,2,3…2^2p}，每个区域长宽分别为：M/2^p，N/2^p，并根据对比度限制因子以及区域像素点个数计算出截止上限lim；

步骤5.3)对于步骤5.2)分割的每一个子区域Rg_i，分别统计其亮度分布直方图，得hist_i，其中，i∈{1,2,3…2^2p}；

其中，在统计过程中，如果区域Rg_i的某个亮度值j的直方图统计hist_i,j超出截止上限lim，则将超出的部分转移到余量Excess_i；

其中，Excess_i表示区域Rg_i的余量；

所以，对于步骤5.3)输出的2^2p个亮度分布直方图，其最大值为lim，各个区域

中高于lim的部分分别累加至余量

步骤5.4)求出当前区域Rg_i的平均余量

再将从各个区域直方图中裁剪下来的余量

依次进行重分配；

其中，平均余量

具体定义如公式(9)所示：

步骤5.4)中的余量重分配，仅针对裁剪之后亮度分布直方图中低于截止上限lim的亮度值，得到重分配的直方图，具体为：

从亮度值j＝0开始，判断hist_i,j属于重分配原则中的哪种情况，并分别做出相应处理；如此令j＝j+1，并重复该操作，直到完成亮度值j＝255的重分配过程；再判断余量Excess_i的值是否大于0，即余量重分配是否完成，若等于0则表明重分配完成，否则若大于0，则表明重分配没有完成，再次从亮度值j＝0开始，若当前亮度值在直方图中的值小于截止上限，则加上1，并令亮度值j＝j+1；如此循环，直到最终将余量Excess_i重分配完，并输出重分配的直方图；

其中，重分配原则为:

1)对于直方图中亮度值对应的像素值数量小于或等于

的亮度j，在重分配时直接加上

即当前区域新的亮度分布直方图中，

再将对应的余量剪掉重分配掉的数量，即Excess_i＝Excess_i-mean_i；

2)对于直方图中亮度值对应的像素值数量大于

但小于lim的亮度，在重分配时，将该亮度值在直方图中对应的值补齐至lim，即当前区域新的亮度分布直方图中，hist_new_i,j＝lim，再将对应的余量剪掉重分配掉的数量，即Excess_i＝Excess_i-(lim-hist_i,j)；

步骤5.5)根据步骤5.4)重分配的直方图对各个区域中的像素点的亮度值进行重映射，即对直方图进行均衡，得到对直方图均衡处理之后的图像I_HE。

6.根据权利要求5所述的一种基于分类及大气成像模型的水下图像增强方法，其特征在于：步骤5.2)中，p取2、3及4中的一个。

7.根据权利要求5所述的一种基于分类及大气成像模型的水下图像增强方法，其特征在于：步骤5.3)中，j满足0<＝j<＝255。

Images