CN110288539B - 一种结合颜色空间移动与暗通道先验的水下图像清晰方法 - Google Patents

Abstract

本发明提供一种结合颜色空间移动与暗通道先验的水下图像清晰方法，通过采集水下图像，对输入的已经产生雾化效果的水下图像，反演水下图像雾化过程建立退化模型；通过颜色空间移动得到暗通道图，使此暗通道图更适应水下环境成像特性，进而对暗通道图进行分块循环筛选，定位到最佳分析区域，以便更加准确的利用上述模型估计全局背景光强；再通过得到的暗通道图与全局背景光强，带入已建立的模型，反演图像退化过程，复原水下图像，有效的去除雾化效果带来的模糊，实现水下图像的清晰化。该水下图像去雾清晰化方法具有实用性强、鲁棒性好、易于实现的特点，对人工照明、白色鱼群等不利因素有一定抗性，具有广阔的应用前景和良好的经济效益。

Description

一种结合颜色空间移动与暗通道先验的水下图像清晰方法

技术领域

本发明属于图像处理领域，具体涉及一种结合颜色空间移动与暗通道先验的水下图像清 晰方法。

背景技术

近几年，海洋以及水下世界越来越受到人们的重视，因此，探索海洋生命、普查水下生 物的数量、评估水下地质或者生物的环境等工作成为了人们的研究热点。为了充分了解水下 世界，合理地利用水下的各种资源，必须全面地掌握水下世界的各种信息。水下图像是人类 获取水下有效信息的主要手段之一，在工程应用、资源勘测、环境监测等方面均有着重要的 应用。但是与在空气中传输相比，光在水中的传输性能较差，衰减较为严重，导致水下图像 成像质量较差。一方面，水体及悬浮物颗粒等对光的散射作用会使得图像的对比度降低，造 成图像模糊，能见度较差；另一方面，不同波长的光在水中具有不同的衰减特性，通常情况 下，紅光在水中衰减最为严重，在传播4-5m的距离之后就会损失掉绝大部分能量，因此， 水下图像通常呈现偏蓝或者偏绿的现象。总的来说，水下图像往往存在以下缺点：能见度 低、对比度降低及色彩失真。于是，研究水下图像或视频去雾算法能够使降质的水下图像或 者视频的性能得到显著的提高，且达到人们的需求，变得更有研究意义。

目前用于增强或复原水下图像的处理方法大致可分为非物理模型的图像增强方法和基于 物理模型的图像复原方法。

非物理模型的图像增强方法采用直接调整图像像素值的方式改善图像质量，并不考虑水 下图像退化的物理过程，属于图像增强范畴，例如白平衡、灰度世界假设和灰度边缘假设等 颜色修正算法，直方图均衡化和限制对比度直方图均衡化等对比度增强算法。相比于处理普 通图像获取的较好的结果，这些方法在处理水下图像获取的结果并不理想，其主要原因是海 洋环境复杂，多重不利因素如水介质对光线的散射、吸收作用以及水下悬浮粒子等对其产生 严重干扰。

物理模型的图像复原方法针对水下图像退化过程构建数学模型，通过该模型反演图像退 化过程，获得理想状态下未经退化的图像，属于图像复原范畴。在暗通道先验去雾方法的基 础上，很多研究人员将暗通道先验理论应用于水下图像处理领域。例如结合图像去雾模型和 暗通道方法提出一种红信道方法恢复水下图像的对比度，利用暗通道方法对蓝绿信道进行去 雾和白平衡方法对红信道进行颜色修正的水下图像复原方法等。

发明内容

本发明的目的在于提供了一种结合颜色空间移动与暗通道先验的水下图像清晰方法鲁棒 性好，具备实时性，可以准确的针对水下图像进行清晰化的方法。

本发明的目的是这样实现的：

一种结合颜色空间移动与暗通道先验的水下图像清晰方法，具体的实现步骤为：

步骤1.采集已经产生雾化效果的水下模糊图像I(x,y)作为输入；

步骤2.将输入图像I(x,y)的RGB整体由蓝色空间向白色空间拉伸，并求取暗通道图；

步骤3.对暗通道图进行分块分析，分别计算各块的光强分析值Q，指定满足要求的分析 块为分析区域再次进行分块，共进行四层划分，求取全局背景光强A；

步骤4.根据颜色空间移动后得到的暗通道图，进行归一化，并取逆得到透射率图；

步骤5.对输入的已经产生雾化效果的水下图像，依据水下图像成像和暗通道先验理论， 结合步骤3、步骤4中得到的全局背景光强A与透射率，通过反演图像雾化过程建立退化模 型，利用建立的模型对图像实施去雾恢复，清晰化水下图像，得到最终的输出图像。

所述步骤2的具体步骤为：

步骤2.1.将输入图像I(x,y)的RGB由蓝色空间向白色空间拉伸，RGB三维坐标系空间移 动

其中R代表红色值，G代表绿色值，B代表蓝色值，R’代表拉伸后红色值，G’代表拉伸后绿色值，B’代表拉伸后蓝色值，

步骤2.2.对于颜色空间移动后的R’G’B’图像，求取每个像素点彩色通道中强度值最小值 作为本像素点的灰度值，得到暗通道图。

所述步骤3的具体步骤为：

步骤3.1.对分析区域进行分块处理，将分析区域均分成2*2的4块区域；

步骤3.2.利用Sobel算子进行边缘提取，通过非极大值抑制去除无用边缘信息，再进行双 阈值边缘连接处理，整体上保留强边缘舍弃弱边缘，最后量化轮廓，统计各个分块的边缘个 数Num；

步骤3.3.从左上角分块开始，沿顺时针方向选取边缘个数Num较小的分块，计算其均值 μ，若μ大于等于阈值β，则计算方差σ，若μ小于阈值β，则舍弃此块继续分析下一块，最后计算满足要求的分块的光强分析值Q

Q＝α*μ-(1-α)*σ；

步骤3.4.取Q值最大的图像分块重复步骤3.1、步骤3.2、步骤3.3三次，实现四层划分， 将最后得到的满足条件的分块对应到原图像中，对该图像块的像素求平均，得到最后的全局 背景光A。

本发明的有益效果在于：本发明结合了颜色空间移动与暗通道先验对水下图像进行去雾， 通过水下图像成像理论与暗通道先验理论，反演图像退化过程建立退化模型，得到暗通道图； 通过颜色空间移动优化暗通道图以适应水下环境成像特性，通过对暗通道图进行分块循环筛 选，定位到最佳分析区域，以便更加准确的利用上述模型估计全局背景光强A；再通过得到 的暗通道图与全局背景光强，带入已建立的模型，反演图像退化过程，复原水下图像，有效 的去除了模糊，实现了水下图像清晰化。

附图说明

图1为本发明的方法框图。

图2为本发明的颜色空间示意图。

图3为本发明暗通道对比原始水下图像。

图4为本发明暗通道DCP暗通道图。

图5为本发明暗通道UDCP暗通道图。

图6为本发明暗通道图CSS-DCP暗通道图。

图7为本发明求取全局背景光强四层划分示意图。

图8为本发明水下原始图像与清晰化图像对比的原始水下图像。

图9为本发明水下原始图像与清晰化图像对比的DCP清晰化图像。

图10为本发明水下原始图像与清晰化图像对比的UDCP清晰化图像。

图11为本发明水下原始图像与清晰化图像对比的CSS-DCP清晰化图像。

具体实施方式

下面结合附图对本发明做进一步的描述：

实施例1

为了使本发明的目的、技术、优点和实用价值易于明白理解，以下结合附图和具体实施 例对本申请进行详细描述。应当理解，所描述的实施例仅用于解释说明本发明，而不是全部 的实施例并且并不限制本发明。

本发明采集的水下图像存在由光线能量的衰减、颗粒物散射产生的雾化效果，具有对比 度低，整体呈现蓝绿色调等特点。在这样的条件下对发明算法进行测试，并与常见算法进行 比较，适合本申请水下图像去雾清晰化处理范畴。

图1所示是本发明的整体构成框图，具体的实施步骤如下：

1.采集已经产生雾化效果的水下模糊图像I(x,y)，在水下的场景中，我们所拍摄的各种图 像和视频也会像在户外雾天场景一样，因为颗粒物散射而使物体反射光到达摄像设备之前衰 减一部分能量。但是他们有一些不同，一个主要的不同是水下成像时光线能量的衰减量很大， 水介质对波长最长的红光吸收的最快，对波长短的蓝光吸收的最慢，甚至在水深超过4m时 红色波长的光大部分被吸收从而使所获得图像和视频主要呈现出蓝绿色调而出现严重的颜色 失真。因此严重的散射以及光线能量的不同衰减使水下获得的图像或视频产生雾化效果，一 些细节无法辨识。

水下成像系统计算机模型认为成像系统接收到的光辐射由三部分组成，这三个分量分别 为直接入射分量、前向散射分量以及后向(背景)散射分量。实际相机与目标物体的距离不 大，忽略前向散射对成像带来的影响，自然光照条件下的水下成像模型可表示为：

I(x,y)＝J(x,y)*t(x,y)+A(1-t(x,y)) (1)

其中I(x,y)为采集到的已经产生雾化效果水下图像，J(x,y)为待恢复的水下无雾清晰化图 像，t(x,y)为透射率，A为全局背景光强。

大气暗通道先验DCP(Dark Channel Prior)理论可描述为：在大多数非天空区域的图像 局部区域中，某些像素总会在至少一个彩色通道具有非常低的强度值，甚至趋近于0，即：

天空区域的像素值不为0，而大多数非天空区域的像素值为0，这样即可得到I(x,y)的暗 通道图，通过暗通道图可估算A与t(x,y)，进一步得到恢复模型：

如前所述，暗通道先验校正方法下的去雾模型对应于水下后向散射模型。因此，这种方 法在水下应用中有着巨大的潜力，因为图像中的薄雾非常明显。然而，暗通道不能直接用于 水下图像。水下成像时光线能量的衰减量很大，水介质对不同波长的光的吸收能力不同，导 致利用DCP理论求取暗通道图不准确，从而影响A与t(x,y)估计不准确，最终使得恢复效果 差。

综上，为了使得DCP更好的适应于水下图像，本发明提出了一种结合颜色空间移动(Color Space Shift)与暗通道先验的水下图像清晰化方法CSS-DCP。

2.原始DCP下的观察有可以表述为：至少一个彩色通道有一些像素，这些像素的强度非 常低，构成了大部分的非天空斑块。这可以重新表述为：背散射分量越长，区域越白。该理 论假设后向散射分量为白色，但水下的强衰减导致波长很快消失，留下(距离相关的)蓝光。 这也会导致暗通道完全缺失。如果出现更亮的区域，它们通常对应于光斑，例如靠近相机的 沉积物。这样的问题对于将DCP调整到水下给出了更好的直觉：后向散射光在水下场景中主 要是蓝色，而不是白色。因此，DCP的核心不需要修改，但是在估计全球大气光之前，需要 改变估计A的方法，图像中的所有颜色都应该在颜色空间中移动，这样蓝绿色就会变成白色。

由上述对大气雾图与水下图像的异同分析可知，后向散射光在水下场景中主要是蓝色， 而不是白色。我们欲将DCP理论应用于水下图像，必须使之适应于水下图像特性，于是提出 了本发明方法CSS-DCP。其中的颜色空间移动理论CSS指的是由蓝色空间向白色空间拉伸， RGB坐标系移动如图2所示：

对于颜色空间偏移后的R’G’B’图像，基于DCP求取其暗通道图。如图3所示，求取出的暗通道图比其他方法更能代表图像中的遮掩光。由DCP可得R’G’B’图像的暗通道图：

如若将DCP方法直接应用于水下图像，由于红光的强烈衰减，导致R通道的值极低，暗 通道消失，得到的暗通道图呈现黑色；若采用水下暗通道先验UDCP(Underwater DCP)方法， 只使用绿色和蓝色通道信息而舍弃红色通道，与经典的DCP相比有明显的改善，但结果仍然 不理想，图像的重阴影部分没有被识别出来；本发明方法CSS-DCP计算了原始图像和相应的 暗通道，图像左上角的浓雾区域在黑暗通道中是白色的，正确地表明存在很强的后向散射成 分。

3.大气暗通道先验理论DCP利用暗通道图获取全局背景光，选取暗通道图中亮度最大的 前0.1％的像素强度值。但往往由于人工照明、白色鱼群等亮白干扰因素的存在，造成背景光 选取值出现误差。

通过观察水下图像的暗通道图，分析浓雾区域与其他干扰区域的异同，为了精确定位到 浓雾区域像素强度最大的区域，采用四层划分来分析暗通道图，将步骤(2)中得到的暗通道图 均分成2*2的四块区域，共循环四次。

首先要对暗通道图进行边缘提取，边缘提取的效果好坏直接影响到全局背景光强A的正 误。边缘提取时，用Sobel算子获取边缘信息，获取边缘信息后通过非极大值抑制去除无用边 缘信息，最后通过双阈值边缘连接处理，整体上保留强边缘舍弃弱边缘，并对获取的边缘进 行连接处理，通过以上操作最终得到理想的边缘图像。统计的方式是提取各个分块内边缘信 息的轮廓，并对轮廓进行量化，统计各个分块内的边缘个数Num，以边缘个数作为边缘信息 量的描述。随后对候选分析分块进行判断：

对得到的疑似纯水区域分块，背景光取自均值最大、方差最小的暗通道块，对应到原图 像，求该区域的像素平均得到背景光。这样既能避免背景光受到场景中白色物体的影响而使 复原后的图像背景亮度过大，出现过曝，掩盖图像细节，又能避免噪声对估计结果的影响。

背景光强A的估计步骤如下：

①对得到的暗通道图均分4块，利用Sobel算子进行边缘提取，通过非极大值抑制去除 无用边缘信息，进行双阈值边缘连接处理，整体上保留强边缘舍弃弱边缘，再量化轮廓，统 计各个分块的边缘个数Num；

②从左上角分块开始，沿顺时针方向选取边缘个数Num较小的分块，计算其均值μ，若 μ大于等于阈值β，则计算方差σ，若μ小于阈值β，则舍弃此块继续分析下一块，最后计算满足要求的分块的光强分析值Q；

Q＝α·μ-(1-α)·σ (7)

其中，α、β为统计经验值，取α＝0.85，β＝175；

③取Q值最大的图像分块重复步骤①②四次，实现四层划分，将最后得到的满足条件的 分块对应到原图像中，对该图像块的像素求平均，得到最后的全局背景光A。

4.通过以上步骤，结合颜色空间移动与暗通道先验理论，依据求取到的全局背景光强A， 对公式(1)等号两边作公式(5)所述的取暗通道操作可得：

利用上述步骤2中得到的颜色空间移动后R’G’B’图像的暗通道图，再利用下面的公式归 一化求逆来得到透射率：

5.通过以上步骤，结合求取到的全局背景光强A与透射率t(x,y)，结合颜色空间移动与暗 通道先验理论，将A与t(x,y)代入公式(3)反演水下图像雾化过程建立退化模型，对已退化的 水下图像I(x,y)实施去雾恢复，得到清晰化的水下图像J(x,y)。原始水下图像与清晰化图像对 比如图所示，可以很直观的看到，利用DCP与UDCP对水下图像实施去雾恢复，效果较差， 利用本发明算法对水下图像实施去雾的结果，明显优于前两种方法，有效的清晰化了水下图 像。

综上可知，整体去雾清晰化方法适合于针对因产生雾化模糊效果而降质的水下图像进行 基于物理模型的复原，实际应用性很强，所述的颜色空间移动分析方法，可以很好的将暗通 道先验理论应用于水下图像特性，更加精准的复原水下图像，所述的求取全局背景光强分块 分析方法，可以准确定位到理想分析块，利用求取平均像素排除干扰，同时本方法在Intel i5- 6300CPU@2.30GHz主频的计算机下处理1280像素*720像素的图像，耗时27ms，具备实 时处理能力。

实施例2

本发明公开了一种结合色空间移动和暗通道先验的水下图像清晰化方法，该方法包括： 采集水下图像，对输入的已经产生雾化效果的水下图像，通过水下图像成像理论与暗通道先 验理论，反演水下图像雾化过程建立退化模型；通过颜色空间移动得到暗通道图，使此暗通 道图更适应水下环境成像特性，进而对暗通道图进行分块循环筛选，定位到最佳分析区域， 以便更加准确的利用上述模型估计全局背景光强；再通过得到的暗通道图与全局背景光强， 带入已建立的模型，反演图像退化过程，复原水下图像，有效的去除雾化效果带来的模糊， 实现水下图像的清晰化。该水下图像去雾清晰化方法具有实用性强、鲁棒性好、易于实现的 特点，对人工照明、白色鱼群等不利因素有一定抗性，具有广阔的应用前景和良好的经济效 益。

一种结合颜色空间移动与暗通道先验的水下图像清晰化方法，该方法包括：

步骤1.采集已经产生雾化效果的水下模糊图像I(x,y)作为输入；

步骤2.利用颜色空间移动理论，将输入图像I(x,y)的RGB整体由蓝色空间向白色空间拉 伸，得到新的R’G’B’图像，再利用暗通道先验理论，求取每个像素点的彩色通道R’、G’、B’ 中强度值最小的那一个作为本像素点的灰度值，得到暗通道图；

步骤3.根据颜色空间移动后得到的暗通道图，进行分块分析，分别计算各块的光强分析 值Q，指定满足要求的分析块为分析区域再次进行分块，共进行四层划分，求取全局背景光 强A；

步骤4.根据颜色空间移动后得到的暗通道图，进行归一化，并取逆得到透射率图；

步骤5.对输入的已经产生雾化效果的水下图像，依据水下图像成像和暗通道先验理论， 结合步骤(3)(4)中得到的全局背景光强A与透射率，通过反演图像雾化过程建立退化模型，利 用建立的模型对图像实施去雾恢复，清晰化水下图像，得到最终的输出图像。

获取颜色空间移动后R’G’B’图像的暗通道图，其步骤包括：

(2-a)将输入图像I(x,y)的RGB由蓝色空间向白色空间拉伸，RGB三维坐标系空间移动：

(2-b)对于颜色空间移动后的R’G’B’图像，求取每个像素点彩色通道中强度值最小的那 一个作为本像素点的灰度值，得到暗通道图。

求取全局背景光强A，其步骤包括：

(3-a)对分析区域进行分块处理，将分析区域均分成2*2的4块区域；

(3-b)利用Sobel算子进行边缘提取，通过非极大值抑制去除无用边缘信息，再进行双阈 值边缘连接处理，整体上保留强边缘舍弃弱边缘，最后量化轮廓，统计各个分块的边缘个数 Num；

(3-c)从左上角分块开始，沿顺时针方向选取边缘个数Num较小的分块，计算其均值μ， 若μ大于等于阈值β，则计算方差σ，若μ小于阈值β，则舍弃此块继续分析下一块，最后计 算满足要求的分块的光强分析值Q：

Q＝α*μ-(1-α)*σ

(3-d)取Q值最大的图像分块重复步骤(3-a)(3-b)(3-c)三次，实现四层划分，将最后得到的 满足条件的分块对应到原图像中，对该图像块的像素求平均，得到最后的全局背景光A。

Claims (3)

1.一种结合颜色空间移动与暗通道先验的水下图像清晰方法，其特征在于，具体的实现步骤为：

步骤1.采集已经产生雾化效果的水下模糊图像I(x,y)作为输入；

步骤2.将输入图像I(x,y)的RGB整体由蓝色空间向白色空间拉伸，并求取暗通道图；

步骤3.对暗通道图进行分块分析，分别计算各块的光强分析值Q，指定满足要求的分析块为分析区域再次进行分块，共进行四层划分，求取全局背景光强A；

步骤4.根据颜色空间移动后得到的暗通道图，进行归一化，并取逆得到透射率图；

步骤5.对输入的已经产生雾化效果的水下图像，依据水下图像成像和暗通道先验理论，结合步骤3、步骤4中得到的全局背景光强A与透射率，通过反演图像雾化过程建立退化模型，利用建立的模型对图像实施去雾恢复，清晰化水下图像，得到最终的输出图像。

2.根据权利要求1所述的一种结合颜色空间移动与暗通道先验的水下图像清晰方法，其特征在于，所述步骤2的具体步骤为：

步骤2.1.将输入图像I(x,y)的RGB由蓝色空间向白色空间拉伸，RGB三维坐标系空间移动

其中R代表红色值，G代表绿色值，B代表蓝色值，R’代表拉伸后红色值，G’代表拉伸后绿色值，B’代表拉伸后蓝色值，

步骤2.2.对于颜色空间移动后的R’G’B’图像，求取每个像素点彩色通道中强度值最小值作为本像素点的灰度值，得到暗通道图。

3.根据权利要求1所述的一种结合颜色空间移动与暗通道先验的水下图像清晰方法，其特征在于，所述步骤3的具体步骤为：

步骤3.1.对分析区域进行分块处理，将分析区域均分成2*2的4块区域；

步骤3.2.利用Sobel算子进行边缘提取，通过非极大值抑制去除无用边缘信息，再进行双阈值边缘连接处理，整体上保留强边缘舍弃弱边缘，最后量化轮廓，统计各个分块的边缘个数Num；

步骤3.3.从左上角分块开始，沿顺时针方向选取边缘个数Num较小的分块，计算其均值μ，若μ大于等于阈值β，则计算方差σ，若μ小于阈值β，则舍弃此块继续分析下一块，最后计算满足要求的分块的光强分析值Q

Q＝α*μ-(1-α)*σ；

步骤3.4.取Q值最大的图像分块重复步骤3.1、步骤3.2、步骤3.3三次，实现四层划分，将最后得到的满足条件的分块对应到原图像中，对该图像块的像素求平均，得到最后的全局背景光A。

Images