CN111462022A - 一种水下图像清晰化增强方法 - Google Patents

Abstract

本发明属于数字图像处理技术领域，涉及一种水下图像清晰化增强方法，将颜色矫正策略和对比度增强策略相结合以执行对水下图像的清晰化进程，其中颜色矫正策略用于消除因光线在介质中的传播属性或人工光照而引入的衰减差异，改善色偏问题，对比度增强策略用于提高对比度以消除图像的雾化外观，并暴露更多的场景细节；其方法简单，原理科学可靠，能够有效增加可检测的图像结构特征，增强水下图像清晰度，而且变分框架良好的耦合性，可以与其他技术结合或作为预处理步骤广泛用于计算机视觉领域。

Description

一种水下图像清晰化增强方法

技术领域：

本发明属于数字图像处理技术领域，涉及一种水下图像清晰化增强方法，特别是一种基于变分法的水下图像清晰化技术。

背景技术：

长期以来，在水下获取的图像常常存在着多种退化问题，如雾化，蓝绿色偏，细节模糊等问题。这使得水下的原始图像能见度低，观感不佳。利用数字图像处理技术来清晰化细节和恢复其可见度作为现行的一种有效的解决方案，具有成本低廉以及易于实施等优势。当前针对水下图像的清晰化技术，可划分为两类：一类是基于物理成像过程反演的图像恢复技术，旨在于获得目标的真实辐照；另一类则从图像本身出发，以获得更佳的图像质量为主要目的。例如CN201910137923.4公开了一种基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法，包括：采用白平衡算法获得去除蓝色窗口效应后的水下图像，并将水下图像由RGB色彩空间转换为LAB色彩空间；将所述水下图像的LAB色彩空间的L通道图像进行基于加权最小二乘法分解得到粗略图像；根据粗略图像计算细节图像，并采用不同梯度对细节图像进行增强，得到增强后的细节图像；对粗略图像进行伽马校正，将校正后的粗略图像作为基础图像；将增强后的细节图像以及基础图像合成得到对比度增强后的图像；将水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿；将对比度增强后的图像和色彩饱和度补偿后的水下图像转换为RGB色彩空间；CN201910083780.3公开了一种水下图像增强处理方法和装置，先获取待处理的水下图像；再根据红通道先验去雾理论对所述待处理的水下图像进行去雾处理，以得到去雾处理后的水下图像；然后对所述去雾处理后的水下图像进行直方图拉伸，以得到拉伸后的水下图像；CN201910960148.2公开了一种基于颜色曲线分解的水下图像清晰化方法及系统，将获取的水下图像均匀划分为若干个区域，指定区域中背景区域评分最高的为最佳背景区域，计算该最佳背景区域内的像素均值作为背景光值；获取水下图像颜色像素点形成的颜色衰减曲线，并分解至RGB坐标轴，得到颜色衰减曲线在RGB坐标轴上的最大投影值，结合背景光值获取透射图；将背景光值和透射图输入大气散射模型，对水下图像进行复原；对复原后的水下图像进行色彩补偿，完成水下图像的清晰化；CN201810084505.9公开了一种基于粒计算的水下图像增强系统及增强方法，基于非均匀粒度的计算方法，去除水下光照不均和噪声，在保护纹理细节的完整性的同时，实现图像增强，首先提取水下图像的照度信息，按从粗到细的粒度层次逐步对光照信息进行细分，将图像划分为一系列大小和光照强度不同的粒子构成的集合，并定位最适宜亮度粒子，根据每个粒子的亮度情况分别进行照度补偿，获得去除光照不均的水下图像，然后对每个粒子分别进行噪声去除，实现图像增强。

由于水下环境的能见度退化是多种物理因素藕合作用的结果，相较于常见的户外图像，水下图像的类型更加多种多样，例如绿色调的图像，蓝色调的图像，浑浊的图像等等。现有的图像恢复技术在解决这类病态反问题时，通常需要借助于诸如暗通道先验的某种假设理论，然而单一的假设理论难以通用于各种类型水下图像的事实，造成这类方法鲁棒性低，且清晰化程度有限。因此，需要设计一种新型的水下图像清晰化增强技术，有效地对图像中存在的色偏进行矫正，并输出高清晰度的增强结果。

发明内容：

本发明的目的在于克服现有技术存在的弱点，提供一种变分框架形式的水下图像清晰化增强方法，将颜色矫正策略和对比度增强策略相结合以执行对水下图像的清晰化进程，其中颜色矫正策略用于消除因光线在介质中的传播属性或人工光照而引入的衰减差异，改善色偏问题，对比度增强策略用于提高对比度以消除图像的雾化外观，并暴露更多的场景细节。

为了实现上述目的，本发明对水下图像清晰化增强的具体过程为：

(1)输入水下原始图像u⁰；

(2)构建基于变分框架的清晰化能量方程：

其中，

式中I是增强结果，迭代最初被初始化为未经处理的原始图像；a、b为比例参数，用于控制两项的权重；Ω为全部图像区域；c∈{R,G,B}，指代图像的彩色通道；U是色彩矫正图像，D为距离加权平均函数，S为权值函数，μ为斜率参数；能量方程中第一项为数据项，用以改善最终输出的色彩表现，第二项为规则项，用于度量图像对比度，在方程能量最小化迭代过程中拉伸该项以提高图像对比度，从而改善场景的通透性；

(2)对水下原始图像u⁰各通道色彩信息进行补偿，先求取图像各通道的平均值A_r、A_g、A_b后，对红色通道进行如下补偿：

其中u¹为补偿后图像，u⁰为水下原始图像；对绿色和蓝色通道，需先判断A_g和A_b的大小，若A_g≥A_b，则利用绿色通道对蓝色通道做如下补偿：

若A_g＜A_b，则利用蓝色通道对绿色通道进行补偿：

(3)对u¹各通道利用以下等式进行直方图拉伸到区间[0,1]得到u²，均衡三个通道的分布，在减少错误补偿的同时提升清晰度：

(4)对u²利用灰度世界算法消除环境光的影响，获得图像u³：

(5)将落在区间[0,1]之外的像素值投影至0或1，得到色彩矫正图像U：

(6)最小化清晰化能量方程：当能量方程最小化时，对应输出I即为色彩最接近矫正结果且对比度最大的清晰化输出，对能量方程使用梯度下降策略求取输出图像，具体步骤为：

(6-1)求解能量方程导数：

其中，s为函数S的导函数，其表达式为：

(6-2)根据梯度下降策略原理，推导迭代式：

离散化后，得：

移项，整理：

其中，Δt为时间间隔，

(7)快速迭代求解：对迭代过程中算子

使用快速计算策略，先构建输入图像的多分辨率高斯金字塔，利用底层缩略图计算图像的全局背景信息，再逐级向上更新缩略过程中遗漏的近处背景信息，每一层级中的图像使用窗口化的卷积运算或矩阵运算，直至金字塔顶层原始分辨率图像；

(8)迭代式迭代至相邻两次迭代图像变化率的导数小于设定的阈值时，迭代终止并输出清晰化结果，实现水下图像的清晰化。

本发明中所述所有的图像需要事先被动态投影到区间[0,1]。

本发明与现有技术相比，具有以下优点：一是在避免引入过量红色的同时，有效的矫正场景色彩，产生更加符合人类主观感知的色彩表现；二是对比度增强项的引入，显著提高了朦胧场景的可见度，更多的场景细节得以突出呈现，因光线散射而晕化的边缘也得到修复；三是不依赖于模型反演以及先验假设，具有良好的鲁棒性，对于一些退化严重的场景，依然能够产生合理的增强结果；其方法简单，原理科学可靠，能够有效增加可检测的图像结构特征，增强水下图像清晰度，而且变分框架良好的耦合性，可以与其他技术结合或作为预处理步骤广泛用于计算机视觉领域。

附图说明：

图1为本发明的工作原理流程示意框图。

图2为本发明所述实施例1中原始水下图像(a)以及经由实施例1产生的清晰化结果(b)对比。

图3为本发明实施例2中的水下图像及各方法输出结果，其中(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为实施例2实验结果。

图4为本发明实施例3中的水下图像及各方法输出结果，其中(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为实施例3实验结果。

图5为本发明实施例4中的水下图像及各方法输出结果，其中(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为实施例4实验结果。

图6为本发明实施例5中的水下图像及各方法输出结果，其中(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为实施例5实验结果。

图7为本发明实施例6中的水下图像及各方法输出结果，其中(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为实施例6实验结果。

图8为本发明实施例7应用Canny算法对原始图像和各方法输出图像进行边缘检测的结果图，其中(a)为原始水下图像的检测结果；(b)为ACE算法输出图像的检测结果；(c)为WCID算法输出图像的检测结果；(d)为UDCP输出图像的检测结果；(e)为IBLA算法的输出图像检测结果；(f)为实施例1方法输出图像的检测结果。

具体实施方式：

下面通过实施例并结合附图对本发明作进一步说明。

实施例1：

本实施例对水下图像清晰化增强的具体过程为：

(1)输入水下原始图像u⁰；

(2)构建基于变分框架的清晰化能量方程：

其中，

式中I是增强结果，迭代最初被初始化为未经处理的原始图像；a、b为比例参数，用于控制两项的权重；Ω为全部图像区域；c∈{R,G,B}，指代图像的彩色通道；U是色彩矫正图像，D为距离加权平均函数，S为权值函数，μ为斜率参数；能量方程中第一项为数据项，用以改善最终输出的色彩表现，第二项为规则项，用于度量图像对比度，在方程能量最小化迭代过程中拉伸该项以提高图像对比度，从而改善场景的通透性；

(2)对水下原始图像u⁰各通道色彩信息进行补偿，先求取图像各通道的平均值A_r、A_g、A_b后，对红色通道进行如下补偿：

其中u¹为补偿后图像，u⁰为水下原始图像；对绿色和蓝色通道，需先判断A_g和A_b的大小，若A_g≥A_b，则利用绿色通道对蓝色通道做如下补偿：

若A_g＜A_b，则利用蓝色通道对绿色通道进行补偿：

(3)对u¹各通道利用以下等式进行直方图拉伸到区间[0,1]得到u²，均衡三个通道的分布，在减少错误补偿的同时提升清晰度：

(4)对u²利用灰度世界算法消除环境光的影响，获得图像u³：

(5)将落在区间[0,1]之外的像素值投影至0或1，得到色彩矫正图像U：

(6)最小化清晰化能量方程：当能量方程最小化时，对应输出I即为色彩最接近矫正结果且对比度最大的清晰化输出，对能量方程使用梯度下降策略求取输出图像，具体步骤为：

(6-1)求解能量方程导数：

其中，s为函数S的导函数，其表达式为：

(6-2)根据梯度下降策略原理，推导迭代式：

离散化，得：

移项，整理：

其中，Δt为时间间隔，

(7)快速迭代求解：对迭代过程中算子

使用快速计算策略，先构建输入图像的多分辨率高斯金字塔，利用底层缩略图计算图像的全局背景信息，再逐级向上更新缩略过程中遗漏的近处背景信息，每一层级中的图像使用窗口化的卷积运算或矩阵运算，直至金字塔顶层原始分辨率图像；

(8)迭代式迭代至相邻两次迭代图像变化率的导数小于设定的阈值时，迭代终止并输出清晰化结果，实现水下图像的清晰化。

本实施例中各参数设置为：a＝0.8，b＝0.2，μ＝6，Δt＝0.8。图像变化率的导数阈值设定为0.5，采用本实施例的技术方案对原始水下图像(图2(a))进行清晰化增强的结果如图2(b)所示。

实施例2：

本实施例采用实施例1的技术方案与其他现有方法对水下绿化场景的水下图像进行清晰化增强，其结果如图3所示，(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为本实施例实验结果。

实施例3：

本实施例采用实施例1的技术方案与其他现有方法对水下蓝化场景的水下图像进行清晰化增强，其结果如图4所示，(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为本实施例实验结果。

实施例4：

本实施例采用实施例1的技术方案与其他现有方法对水下白化场景的水下图像进行清晰化增强，其结果如图4所示，(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为本实施例实验结果。

实施例5：

本实施例采用实施例1的技术方案与其他现有方法对水下浑浊场景的水下图像进行清晰化增强，其结果如图4所示，(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为本实施例实验结果。

实施例6：

本实施例采用实施例1的技术方案与其他现有方法对水下低照度场景的水下图像进行清晰化增强，其结果如图4所示，(a)为原始水下图像，(b)为ACE算法输出结果，(c)为WCID算法输出结果，(d)为UDCP输出结果，(e)为IBLA算法的输出结果，(f)为本实施例实验结果。

实施例7：

本实施例应用Canny算法对原始图像、采用实施例1与其他现有方法输出的图像进行边缘检测，其结果如图8所示，(a)为原始水下图像的检测结果，边缘像素数目为1280；(b)为ACE算法输出图像的检测结果，边缘像素数目为17074；(c)为WCID算法输出图像的检测结果，边缘像素数目为2670；(d)为UDCP输出图像的检测结果，边缘像素数目为2914；(e)为IBLA算法的输出图像检测结果，边缘像素数目为4848；(f)为实施例1方法输出图像的检测结果，边缘像素数目为29624。

Claims (1)

1.一种水下图像清晰化增强方法，其特征在于具体过程为：

(1)输入水下原始图像u⁰；

(2)构建基于变分框架的清晰化能量方程：

其中，

式中I是增强结果，迭代最初被初始化为未经处理的原始图像；a、b为比例参数，用于控制两项的权重；Ω为全部图像区域；c∈{R,G,B}，指代图像的彩色通道；U是色彩矫正图像，D为距离加权平均函数，S为权值函数，μ为斜率参数；能量方程中第一项为数据项，用以改善最终输出的色彩表现，第二项为规则项，用于度量图像对比度，在方程能量最小化迭代过程中拉伸该项以提高图像对比度，从而改善场景的通透性；

(2)对水下原始图像u⁰各通道色彩信息进行补偿，先求取图像各通道的平均值A_r、A_g、A_b后，对红色通道进行如下补偿：

其中u¹为补偿后图像，u⁰为水下原始图像；对绿色和蓝色通道，需先判断A_g和A_b的大小，若A_g≥A_b，则利用绿色通道对蓝色通道做如下补偿：

若A_g＜A_b，则利用蓝色通道对绿色通道进行补偿：

(3)对u¹各通道利用以下等式进行直方图拉伸到区间[0,1]得到u²，均衡三个通道的分布，在减少错误补偿的同时提升清晰度：

(4)对u²利用灰度世界算法消除环境光的影响，获得图像u³：

(5)将落在区间[0,1]之外的像素值投影至0或1，得到色彩矫正图像U：

(6)最小化清晰化能量方程：当能量方程最小化时，对应输出I即为色彩最接近矫正结果且对比度最大的清晰化输出，对能量方程使用梯度下降策略求取输出图像，具体步骤为：

(6-1)求解能量方程导数：

其中，s为函数S的导函数，其表达式为：

(6-2)根据梯度下降策略原理，推导迭代式：

离散化后，得：

移项，整理：

其中，Δt为时间间隔，

(7)快速迭代求解：对迭代过程中算子

使用快速计算策略，先构建输入图像的多分辨率高斯金字塔，利用底层缩略图计算图像的全局背景信息，再逐级向上更新缩略过程中遗漏的近处背景信息，每一层级中的图像使用窗口化的卷积运算或矩阵运算，直至金字塔顶层原始分辨率图像；

(8)迭代式迭代至相邻两次迭代图像变化率的导数小于设定的阈值时，迭代终止并输出清晰化结果，实现水下图像的清晰化。

Images