CN115034985A - 一种水下图像增强方法 - Google Patents

Abstract

本发明公开了一种水下图像增强方法，包括对水下拍摄的原始图像进行反转处理，得到暗通道图像；根据暗通道图像计算全局背景光和水下环境光；计算得出水介质对光的透射率；根据全局背景光和水介质对光的透射率计算得到初步的去雾处理水下图像；利用多尺度的Retinex算法对初步的去雾处理水下图像进行图像增强处理；利用色彩恢复函数弥补图像失真现象；利用直方图截取平衡不同色彩通道的多尺度Retinex处理值在最终处理图像中的占比，获得二次处理水下图像；利用高斯滤波和引导滤波的双边滤波器对二次处理水下图像进行噪点处理，得到最终图像。本发明提升了带雾偏色低质量的水下拍摄原本图像的清晰度，并降低色彩偏差程度与噪点。

Description

一种水下图像增强方法

技术领域

本发明属于图像处理技术领域，涉及一种水下图像增强方法，特别是一种基于暗通道和Retinex理论的水下拍摄图像质量增强的方法。

背景技术

近年来，随着国内外对与海洋探索的不断深入，水下机器人技术得到了极大的发展，尤其是无人水下机器人，以其低成本高效率的特点，逐步成为研究的热点。无人水下机器人通常配置有视觉传感设备用于捕捉周围的环境信息，以视频、图像、实况图像等等作为承接记录的载体。但是水下场景与陆地场景有很大的不同，即使是经过过滤的最纯净的水，它对光的衰减也是很严重的，并且复杂的水体特性和大量的悬浮颗粒都会影响光波的正常传输。水下拍摄的图像，通常会呈现模糊、偏色、细节缺失等多种图像质量问题，对后续的图像应用产生严重的影响。

目前，图像处理领域的重心仍然在陆上图像处理上，虽然对于水下图像质量增强有一些借鉴意义，但是直接将陆地方法迁移到水中，效果不佳，对水下图像质量增强方法的研究仍然十分有必要。

根据图像处理过程所考虑的图像域的不同，水下图像增强的方法大致可以分成两个大类：空域法和变换域法。空域法是以灰度映射为基础，基于像素层面的图像增强操作，较为常见的像素操作有图像对比度增强、图像灰度层改善。陆上图像的传统增强图像对比度的方法有自适应直方图均衡化、灰度边缘假设、白平衡算法等。这些方法在陆上图像中具有较好的效果，但是对水下图像的增强效果不太理想，空域法在增强图像效果的同时，也会放大颜色失真、噪声光斑的问题。变换域法则是依据一些具体的变换规则，将图像从空域变换到其他域，例如频域、小波域等特征域。在特征域中进行相应的图像增强，之后转换回空域得到增强之后的图像。最常见的变换域图像处理方法是小波变换法。

暗通道先验是一种基于统计大量清晰的图像从而得出共性的结论——绝大多数的清晰无雾的图像都在局部区域中存在至少一个颜色通道的强度值很低的像素。但是在水下拍摄环境中，光找强度随着水深的增加迅速衰减，故拍摄的水下图像多是无光或者弱光环境，水下拍摄的图像多依赖补充光照，近距离的强光照也导致了拍摄到的图像存在大面积反光；此外由于水这种介质对不同波长光的选择性吸收，水下拍摄图像存在严重偏色问题。这些问题都导致了单一的暗通道处理在水下场景中图像增强效果不佳，且许多陆上图像处理方式应用于水中，常常会出现图像色彩失衡，图像整体偏暗的现象。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种基于暗通道、双边滤波和Retinex理论的水下图像增强方法，提高水下拍摄图像的质量，兼顾了色彩校正、细节保留。

为解决上述技术问题，本发明一种水下图像增强方法，包括以下步骤：

步骤1：对水下拍摄得到的原始图像进行反转处理，得到对应的暗通道图像；

步骤2：根据暗通道图像计算全局背景光和水下环境光；

步骤3：计算得出经过导向滤波处理后的水介质对光的透射率；

步骤4：根据所述全局背景光和水介质对光的透射率计算得到初步的去雾处理水下图像；

步骤5：利用多尺度的Retinex算法对初步的去雾处理水下图像进行图像增强处理；

步骤6：利用色彩恢复函数弥补图像失真现象；

步骤7：利用直方图截取平衡不同色彩通道的多尺度Retinex处理值在最终处理图像中的占比，获得二次处理水下图像；

步骤8：利用高斯滤波和引导滤波的双边滤波器对二次处理水下图像进行噪点处理，得到最终图像。

进一步的，反转处理采用暗通道先验算法，包括：

求取原始图像的各个色彩通道最小值：

其中，{R,G,B}表示图像颜色空间的三个颜色通道，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，c∈{R，G，B}，I^dark(x,y)表示原始图像的暗通道图，Ω表示非纯背景区域内任意的局部区域。

进一步的，步骤2根据暗通道图像计算全局背景光和水下环境光包括：

在暗通道图像I^dark(x,y)中选择像素值大于设定阈值的像素点，在RGB三个通道中分别确定所述像素点坐标对应的像素值，每个通道中所述像素点坐标对应的像素值的均值定义为全局背景光A_∞：

其中，N为所述像素点的数量，SUM_R、SUM_G、SUM_B分别表示在R、G、B通道所述像素点坐标对应的像素值之和，

表示色彩通道c上的全局背景光数值，c∈{R，G，B}；

对原始水下图像I(x,y)计算水下环境光：

A(x,y)＝A_∞[1-e^-αd(x,y)]

其中，d(x,y)表示像素点(x,y)与拍摄摄像头之间的距离，α代表光线在水体中的衰减系数。

进一步的，步骤3经过导向滤波处理后的水介质对光的透射率为：

其中，k为设定的全局调整参数，k＝α·α_λ，α为光线在水体中的衰减系数，α_λ为波长系数；t(x,y)为光线穿越介质的透射率，t(x,y)的预估值满足：

其中，ω∈(0,1)是一个设定的保留系数，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，

表示色彩通道c上的全局背景光数值，c∈{R，G，B}。

进一步的，初步的去雾处理水下图像表达式为：

其中，I(x,y)为原始水下图像，A_∞为全局背景光，

为经过导向滤波处理后的水介质对光的透射率，t₀为设定的阈值，当

小于t₀的时候，令

GMG_k为设定的全局调整参数k对应的图像灰度平均梯度，满足：

其中，P和Q表示拍摄的水下图像I(x,y)的尺寸，尺寸表示为P×Q，遍历循环得到最优的k值，最优k值对应的GMG_k为最大值。

进一步的，步骤5利用多尺度的Retinex算法对初步的去雾处理水下图像进行图像增强处理包括：

其中，R_MSRc(x,y)是MSR算法在c颜色通道上的数值，c∈{R，G，B}；M是尺度数值；G_m(x,y)表示不同尺度常数下的环绕函数，m∈M；σ代表高斯函数的标准差；ω_m表示权重，M个尺度的SSR算法权重之和应满足归一化条件，

进一步的，步骤6利用色彩恢复因子弥补图像失真现象具体为：

其中，R_MSRc(x,y)为步骤5图像增强处理后的MSR算法在c颜色通道上的数值，c∈{R，G，B}；θ_c(x,y)是用于调节RGB三颜色通道比例的色彩恢复函数，具体表示为：

其中，β为一个常数，表示增益；γ是设定的控制非线性程度的参数，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，c∈{R，G，B}；则

为经过色彩恢复的c颜色单通道图像。

进一步的，步骤7包括：

采用直方图截取处理，表达式为：

其中，

表示经过权重调整后的处理结果，两个常数G和b分别代表着增益常数与偏移量常数，θ_c(x,y)是色彩恢复函数，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，c∈{R，G，B}，G_m(x,y)表示不同尺度常数下的环绕函数，m∈M。

进一步的，步骤8利用高斯滤波和引导滤波的双边滤波器对二次处理水下图像进行噪点处理包括：

采用高斯滤波和引导滤波的滤波器，经过双边滤波处理后的图像结果H_Fin(x,y)为：

其中，ω(i,j,x,y)表示权重系数；(i,j)表示窗口领域内的任意一个点，遍历整个领域；(x,y)表示目标像素点，即领域的中心点，权重系数ω(i,j,x,y)的数值取决于定义域核d(i,j,x,y)和值域核r(i,j,x,y)的乘积，权重系数ω(i,j,x,y)的计算公式为：

其中，

本发明的有益效果：本发明将目前在图像处理领域内，在去雾处理方面表现优异的暗原色先验理论，与在色彩校正领域效果显著的结合色彩恢复因子的多尺度Retinex理论，和在噪点去除领域有良好表现的双边滤波结合。该发明能够提高水下拍摄图像的质量，兼顾了色彩校正、细节保留等等特点。本发明对于以后的水下图像处理工作能产生积极作用，并且能对接下来的的水下作业起到辅导作用。本发明处理方法同时做到了提升带雾偏色低质量的水下拍摄原本图像的清晰度，降低色彩偏差程度与噪点，有效实现了水下拍摄环境的图像质量提高，对图像的细节与颜色恢复进行了增强。

附图说明

图1为本发明实例的总体流程图；

图2为本发明的图像增强效果的对比图，左侧为原图，右侧为图像增强后的效果图；

图3为本发明图像增强效果的客观评价表。

具体实施方式

下面结合说明书附图和具体实施例对本发明做进一步说明。

本发明包括以下步骤：

步骤(1).输入原始的水下拍摄图像，对原始图像进行反转处理，得到对应的暗通道图像；

步骤(2).根据全局背景光和环境背景光的关系，得到全局背景光的定义方式，并估计计算出全局背景光；

步骤(3).基于步骤(1)得到的暗通道图像和步骤(2)计算得到的全局背景光，得出水介质对光的透射率；

步骤(4).结合步骤(2)和步骤(3)得到的全局背景光和对光的透射率，带入到引入灰度梯度值的恢复公式中，得到初步的去雾处理水下图像；

步骤(5).利用多尺度的Retinex算法对初步去雾的水下图像进行图像增强处理；

步骤(6).引入色彩恢复因子和两个参数，来弥补由于水对不同波长光的吸收不同，而产生的局部失真现象；

步骤(7).引入直方图截取，平衡不同色彩通道的多尺度Retinex处理值，在最终处理图像中的占比，控制图像的色偏情况，获得经过色彩恢复和多尺度Retinex处理的二次处理水下图像。

步骤(8).利用高斯滤波和引导滤波的双边滤波器，对二次处理后的水下图像进行再一次处理。

步骤(9).对增强处理后的水下拍摄图像使用图像客观评价指标，进行客观恢复性性能评价；

下面结合具体参数给出实施例：

结合图1，本发明实施例具体包含以下步骤：

S1：对原始的水下拍摄的原始模糊图像I(x,y)进行反转处理，得到原始图像对应的暗通道图像，这一步的目的是排除原始图像中可能影响拍摄环境中光照强度的因素。在本实施例中，利用暗通道先验算法对原始模糊图像进行反转取暗通道图处理。暗通道先验算法是基于对大量清晰图像的统计得出的理论，具体为：在绝大多数的清晰图像中，除去无目标的纯背景区域，在非纯海水背景的任意一个局部区域Ω中，总会存在至少一个元素通道中具有很低的数值，即对于清晰图像，在任一存在目标的局部区域内都存在一个很小的最小值。基于此原理，对原始模糊图像的各个色彩通道进行最小值求取。

其中，{R,G,B}表示图像RGB颜色空间的三个颜色通道，I^c(x,y)表示原始图像的RGB某一颜色通道的单色彩通道图像，I^dark(x,y)表示原始图像的暗通道图。

S2：对原始水下图像I(x,y)进行水下环境光的估计计算

A(x,y)＝A_∞[1-e^-αd(x,y)] (2)

其中，A_∞表示水下全局背景光，为水体的固有参数，是一个常数；d(x,y)表示像素点(x,y)与拍摄摄像头之间的距离；α代表光线在水体中的衰减系数，在同一片拍摄环境中数值保持不变。将暗通道图像中最亮的一部分点(大于某一个阈值，或者设定取值量)筛选出来，计算亮度平均值，从而得到全局背景光的数值。

选择暗通道图像I^dark(x,y)中最亮的前0.1％个(N个)像素点，将它们的坐标在RGB三个单色通道图像I^c(x,y)中找到，在三个色彩通道中计算这些坐标的像素点的像素值均值

我们将其定义为全局背景光，即

进而得到水下环境光A(x,y)的的数值。

S3：利用水下拍摄图像的暗通道图形I^dark(x,y)进行透视率估计。

经过导向滤波后的透视率

的表达式为：

其中，t(x,y)为光线穿越介质的透视率，可以认为是拍摄环境的水体透射率；α_λ为波长系数；k为设定的全局调整参数，k＝α·α_λ。通过查阅RGB色度系统，定义红绿蓝光的波长为700.0nm、546.1nm、435.8nm，取为α_λ＝(0.7000,0.5461,0.4358)。

引入暗通道先验理论，从而得到关于t(x,y)的预估值的表达式为：

其中，ω∈(0,1)是一个保留系数，取0.95；

表示色彩通道c上的全局背景光数值。将数值带入公式(3)计算得到

数值。

S4.1：得到经过暗通道先验理论处理过后的初步处理水下拍摄图像J(x,y)。

基于一种经典的物理成像模型，该成像模型的表示式为：

I(x,y)＝J(x,y)t(x,y)+A(1-t(x,y)) (5)

其中，J(x,y)表示对对原始图像I(x,y)经过暗通道先验去雾处理的无雾图像；A表示拍摄环境光，通常可以认为是拍摄水体环境的背景光。对成像模型进行变换，以导向滤波处理后的估计透射率

替代t(x,y)。结合S2和S3计算获得的全局背景光A_∞和导向滤波处理后的估计透射率

可以得到图像去雾表达式为：

S4.2：引入图像灰度平均梯度(GMG)为评价标准，利用遍历循环法得到最优的k数值。GMG用于评价图像的模糊程度，对图像中微小细节的表达效果比较灵敏，某一个方向的灰度值变化越大，梯度值也越大。一个k数值对应的GMG_k可以表示为：

其中，P和Q表示拍摄的水下图像I(x,y)的尺寸，尺寸表示为P×Q。引入GMG影响后的恢复公式为：

S5：为了解决经过暗通道先验理论处理后的图像，由于各个颜色通道之间的关系保留不足，整体图像会偏暗。为了对细节和颜色恢复等方面进行增强，保留各个色彩通道之间的关系，利用多尺度的Retinex算法对S4得到的去雾处理图像

进行增强，公式如下：

其中，

是MSR算法在c颜色通道上的数值；M是尺度数值；G_m(x,y)表示不同尺度常数下的环绕函数；m∈M；σ代表高斯函数的标准差，也称尺度常数。

在实际应用中，考虑到计算效率，M的取值一般在3～6之间，常取3，即小尺度(σ＜50)，中尺度(50≤σ＜100)，大尺度(σ≥100)；ω_m表示权重，M个尺度的SSR算法权重之和应满足归一化条件，

S6：由于水对不同波长的光的吸收作用不同，水下拍摄的图像常常存在偏色、色彩失衡等问题，为了解决图像的色彩问题，添加色彩恢复因子弥补图像失真，表达式为：

其中，θ_c(x,y)是用于调节RGB三颜色通道比例的色彩恢复函数，具体表示为：

其中，β为一个常数，表示增益；γ是一个控制非线性程度的参数。通过多次试验比较和对大多数图像数据进行统计，得到一组适合绝大多数水下图像的参数组合为γ＝125，β＝46。

S7：由于暗通道先验理论的处理，各个色彩通道之间的占比与实际情况存在不符。在实际情况中，三个颜色通道的占比并非平均分布，而是依据不同图像，颜色通道分布不均匀的。为了平衡各个色彩通道的权重，引入直方图截取处理，表达式为：

其中，

表示经过权重调整后的处理结果，两个常数G和b分别代表着增益常数与偏移量常数。通过多次试验比较和对大多数图像数据进行统计，参考文献数据，得到一组适用的参数为b＝-30，G＝192。

S8：由于实际应用中，水下拍摄图像的摄像机一般像素不高，水下的拍摄目标存在颜色不鲜亮，边缘易与背景融合的特点需要保留细节信息。但是水体悬浮颗粒及环境光作用水下图像往往存在噪声，需要对拍摄的图像使用双边滤波处理噪点。

结合Gauss filtering(采用高斯滤波)和Guided Filtering(引导滤波)的滤波器，窗口大小为7×7，定义域核为20，值域核为1。目标像素点的数值的计算式是：

其中，经过双边滤波处理后的图像结果表示为H_Fin(x,y)；ω(i,j,x,y)是权重系数；(i,j)表示窗口领域内的任意一个点，需要遍历整个领域；(x,y)是目标像素点，也就是领域的中心点。权重系数ω(i,j,x,y)的数值由定义域核d(i,j,x,y)和值域核r(i,j,x,y)的外积决定，权重系数的计算公式如下：

S9：经过最终色彩处理的图像H_Fin(x,y)相较于原始的水下拍摄图像I(x,y)，参照图2，去雾效果良好，色彩真实丰富，细节清晰无噪点，对后续的水下图像应用均有较好的影响。对增强处理过后的水下拍摄图像进行客观指标评价，如图3所示。选择信息熵、灰度平均梯度、峰值信噪比、色差五个客观图像质量评价指标。信息熵是图像灰度集合的平均值，当图像灰度分布均匀时，信息熵最大。灰度平均梯度是描述图像中的物体边缘灰度值变化情况，该指标主要用于反应图像的清晰程度与纹理粗细程度，数值越大则图像越清晰。峰值信噪比是一种最为广泛应用的描述图像失真程度的指标，数值越大则图像失真度越小。色差是将原始偏色图像与校正后图像转换到LAB色彩空间后计算，数值越小色彩还原度越高。

Claims (9)

1.一种水下图像增强方法，其特征在于，包括以下步骤：

步骤1：对水下拍摄得到的原始图像进行反转处理，得到对应的暗通道图像；

步骤2：根据暗通道图像计算全局背景光和水下环境光；

步骤3：计算得出经过导向滤波处理后的水介质对光的透射率；

步骤4：根据所述全局背景光和水介质对光的透射率计算得到初步的去雾处理水下图像；

步骤5：利用多尺度的Retinex算法对初步的去雾处理水下图像进行图像增强处理；

步骤6：利用色彩恢复函数弥补图像失真现象；

步骤7：利用直方图截取平衡不同色彩通道的多尺度Retinex处理值在最终处理图像中的占比，获得二次处理水下图像；

步骤8：利用高斯滤波和引导滤波的双边滤波器对二次处理水下图像进行噪点处理，得到最终图像。

2.根据权利要求1所述的一种水下图像增强方法，其特征在于：所述反转处理采用暗通道先验算法，包括：

求取原始图像的各个色彩通道最小值：

其中，{R,G,B}表示图像颜色空间的三个颜色通道，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，c∈{R，G，B}，I^dark(x,y)表示原始图像的暗通道图，Ω表示非纯背景区域内任意的局部区域。

3.根据权利要求1所述的一种水下图像增强方法，其特征在于：步骤2所述根据暗通道图像计算全局背景光和水下环境光包括：

在暗通道图像I^dark(x,y)中选择像素值大于设定阈值的像素点，在RGB三个通道中分别确定所述像素点坐标对应的像素值，每个通道中所述像素点坐标对应的像素值的均值定义为全局背景光A_∞：

其中，N为所述像素点的数量，SUM_R、SUM_G、SUM_B分别表示在R、G、B通道所述像素点坐标对应的像素值之和，

表示色彩通道c上的全局背景光数值，c∈{R，G，B}；

对原始水下图像I(x,y)计算水下环境光：

A(x,y)＝A_∞[1-e^-αd(x,y)]

其中，d(x,y)表示像素点(x,y)与拍摄摄像头之间的距离，α代表光线在水体中的衰减系数。

4.根据权利要求1所述的一种水下图像增强方法，其特征在于：步骤3所述经过导向滤波处理后的水介质对光的透射率为：

其中，k为设定的全局调整参数，k＝α·α_λ，α为光线在水体中的衰减系数，α_λ为波长系数；t(x,y)为光线穿越介质的透射率，t(x,y)的预估值满足：

其中，ω∈(0,1)是一个设定的保留系数，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，

表示色彩通道c上的全局背景光数值，c∈{R，G，B}。

5.根据权利要求1所述的一种水下图像增强方法，其特征在于：所述初步的去雾处理水下图像表达式为：

其中，I(x,y)为原始水下图像，A_∞为全局背景光，

为经过导向滤波处理后的水介质对光的透射率，t₀为设定的阈值，当

小于t₀的时候，令

GMG_k为设定的全局调整参数k对应的图像灰度平均梯度，满足：

其中，P和Q表示拍摄的水下图像I(x,y)的尺寸，尺寸表示为P×Q，遍历循环得到最优的k值，最优k值对应的GMG_k为最大值。

6.根据权利要求1所述的一种水下图像增强方法，其特征在于：步骤5所述利用多尺度的Retinex算法对初步的去雾处理水下图像进行图像增强处理包括：

其中，

是MSR算法在c颜色通道上的数值，c∈{R，G，B}；M是尺度数值；G_m(x,y)表示不同尺度常数下的环绕函数，m∈M；σ代表高斯函数的标准差；ω_m表示权重，M个尺度的SSR算法权重之和应满足归一化条件，

7.根据权利要求1所述的一种水下图像增强方法，其特征在于：步骤6所述利用色彩恢复因子弥补图像失真现象具体为：

其中，R_MSRc(x,y)为步骤5图像增强处理后的MSR算法在c颜色通道上的数值，c∈{R，G，B}；θ_c(x,y)是用于调节RGB三颜色通道比例的色彩恢复函数，具体表示为：

其中，β为一个常数，表示增益；γ是设定的控制非线性程度的参数，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，c∈{R，G，B}；则

为经过色彩恢复的c颜色单通道图像。

8.根据权利要求1所述的一种水下图像增强方法，其特征在于：步骤7包括：

采用直方图截取处理，表达式为：

其中，

表示经过权重调整后的处理结果，两个常数G和b分别代表着增益常数与偏移量常数，θ_c(x,y)是色彩恢复函数，I^c(x,y)表示原始图像的c颜色通道的单色彩通道图像，c∈{R，G，B}，G_m(x,y)表示不同尺度常数下的环绕函数，m∈M。

9.根据权利要求1所述的一种水下图像增强方法，其特征在于：步骤8所述利用高斯滤波和引导滤波的双边滤波器对二次处理水下图像进行噪点处理包括：

采用高斯滤波和引导滤波的滤波器，经过双边滤波处理后的图像结果H_Fin(x,y)为：

其中，ω(i,j,x,y)表示权重系数；(i,j)表示窗口领域内的任意一个点，遍历整个领域；(x,y)表示目标像素点，即领域的中心点，权重系数ω(i,j,x,y)的数值取决于定义域核d(i,j,x,y)和值域核r(i,j,x,y)的乘积，权重系数ω(i,j,x,y)的计算公式为：

其中，

Images