CN113313670A - 一种基于交替方向乘子法的水下光照不均匀图像增强方法 - Google Patents
一种基于交替方向乘子法的水下光照不均匀图像增强方法 Download PDFInfo
- Publication number
- CN113313670A CN113313670A CN202110487082.7A CN202110487082A CN113313670A CN 113313670 A CN113313670 A CN 113313670A CN 202110487082 A CN202110487082 A CN 202110487082A CN 113313670 A CN113313670 A CN 113313670A
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- illumination
- map
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000005286 illumination Methods 0.000 title claims abstract description 73
- 230000003190 augmentative effect Effects 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 230000002146 bilateral effect Effects 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 5
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于交替方向乘子法的水下光照不均匀图像增强方法，首先，估计初始光照图时，将图像从RGB颜色空间转换到Lab颜色空间，提取亮度分量作为初始光照图；然后基于交替方向乘子法原理，构造一个增广拉格朗日框架的约束优化方程，通过迭代求解优化方程，得到精准光照图；根据Retinex理论，将待处理图像与光照图转换到对数域求取对数域中的反射图像，再进行指数运算即可得到增强图像。最后，利用双边滤波器抑制水下噪声，获得更细致的水下增强图像。本发明提出的方法有效地提高了水下光照不均匀图像的质量，相较于同类方法，在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种水下光照不均匀图像增强方法。
背景技术
水下环境的未知性和复杂性是人类开发海洋资源的一大挑战。相比于声学探测设备，水下视觉传感器能够直观地获取丰富多彩、高分辨率的水下环境和目标特征信息，正被广泛应用于海洋技术开发和科学研究。然而，由于水对光的散射和吸收，水下图像常呈现可见度低、边缘模糊、颜色失真等现象。此外，深海点光源的聚射效应、水面波纹对自然光的折射效应，都会导致水下图像呈现严重的光照不均匀现象。因此，如何解决光照不均匀引起的水下图像模糊和失真问题对实现高效的水下探测、识别和作业等至关重要。
发明内容
为了克服现有技术的不足，本发明提供了一种基于交替方向乘子法的水下光照不均匀图像增强方法，首先，估计初始光照图时，将图像从RGB颜色空间转换到Lab颜色空间，提取亮度分量作为初始光照图；然后基于交替方向乘子法原理，构造一个增广拉格朗日框架的约束优化方程，通过迭代求解优化方程，得到精准光照图；根据Retinex理论，将待处理图像与光照图转换到对数域求取对数域中的反射图像，再进行指数运算即可得到增强图像。最后，利用双边滤波器抑制水下噪声，获得更细致的水下增强图像。本发明提出的方法有效地提高了水下光照不均匀图像的质量，相较于同类方法，在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：从水下图像中提取初始光照图
步骤2：基于交替方向乘子法原理，构造一个增广拉格朗日框架的约束优化方程，通过迭代求解优化方程，获取精准光照图；再采用Gamma校正方法对精准光照图进行校正，得到校正后的精准光照图；
步骤3：根据Retinex理论对校正后的精准光照图进行增强，得到反射图；再采用双边滤波方法对反射图保边去噪，得到最终的水下增强图像。
进一步地，所述从水下图像中提取初始光照图的方法如下：
将水下图像S(x,y)从RGB颜色空间转换到Lab颜色空间，将Lab颜色空间的亮度分量L作为初始光照图
进一步地，所述获取精准光照图的方法如下：
构造优化方程：
其中，‖·‖F表示Frobenious范数，‖·‖1表示L1范数，α是系数，W是权重矩阵，
是T的一阶微分，T是精准光照图；
利用交替方向乘子法将优化方程式(1)更新如式(2)：
采用增广拉格朗日乘子方法求解式(2)，构造式(2)的增广拉格朗日目标函数：
其中
λ为增广拉格朗日乘子，ρ为增广拉格朗日参数，ρ>0，则式(3)的迭代方式如式(4)～式(7)：
其中，ε是正实数，k是迭代序数；
迭代过程在满足式(7)时停止，获取精准光照图。
进一步地，所述采用Gamma校正方法对精准光照图进行校正的方法如下：
采用Gamma校正方法对精准光照图在亮度域进行校正，降低亮区像素点的亮度值，提高暗区像素点的亮度值，得到校正后的精准光照图Tγ(x,y)，校正过程如式(8)：
其中，T(x,y)是精准光照图。
进一步地，根据Retinex理论对校正后的精准光照图进行增强得到反射图的方法如式(9)：
R(x，y)＝exp(log S(x，y)-log Tγ(x，y)) (9)
其中，R(x,y)是反射图。
进一步地，所述采用双边滤波方法对反射图保边去噪，得到最终的水下增强图像RD(i，j)的方法，如式(10)：
其中，R(m,n)是反射图的像素点，(m,n)是中心点位置，(i,j)是当前点位置；q(i,j,m,n)是权重系数，由定义域核与值域核确定，如式(11)：
式中，σd和σr分别为定义域方差和值域方差。
进一步地，所述α＝0.08，γ＝0.8，σd＝0.1，σr＝1，ε＝10-5。
本发明的有益效果如下：
1、本发明基于Retinex颜色恒常性理论，提出一种在交替方向乘子法基础上构造增广拉格朗日框架的优化方法来求取精准光照图，将亮度通道与颜色通道分离，只对光照图进行处理，保证了处理过程中水下图像的颜色不受影响。本发明提出的方法有效地提高了水下光照不均匀图像的质量，相较于其他几种算法，在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。
2、经由本发明所提出方法处理后的增强水下图像的信息熵都高于其他算法，相比于其他算法，本算法处理后的图像质量更高、蕴含的信息量更大；大多情况下本文算法处理结果的NIQE值均优于其他算法，更接近人眼视觉系统。
附图说明
图1为本发明方法流程图。
图2为四种不同情况下的原始水下图像及其像素分布直方图，其中(a)为图像1：人工点光源不均匀水下图像；(b)为图像2：弱光照水下图像；(c)为图像3：自然光照不均匀水下图像；(d)为图像4：自然弱光照且光照不均匀水下图像；(e)～(h)分别为(a)～(d)的像素分布直方图。
图3为采用五种不同算法分别对图像1的增强结果及其像素分布直方图，其中(a)为VCIP算法增强结果；(b)为UDCP算法增强结果；(c)为GC算法增强结果；(d)为SSR算法增强结果；(e)为本发明方法增强结果；(f)～(j)分别为(a)～(e)的像素分布直方图。
图4为采用五种不同算法分别对图像2的增强结果及其像素分布直方图，其中(a)为VCIP算法增强结果；(b)为UDCP算法增强结果；(c)为GC算法增强结果；(d)为SSR算法增强结果；(e)为本发明方法增强结果；(f)～(j)分别为(a)～(e)的像素分布直方图。
图5为采用五种不同算法分别对图像3的增强结果及其像素分布直方图，其中(a)为VCIP算法增强结果；(b)为UDCP算法增强结果；(c)为GC算法增强结果；(d)为SSR算法增强结果；(e)为本发明方法增强结果；(f)～(j)分别为(a)～(e)的像素分布直方图。
图6为采用五种不同算法分别对图像4的增强结果及其像素分布直方图，其中(a)为VCIP算法增强结果；(b)为UDCP算法增强结果；(c)为GC算法增强结果；(d)为SSR算法增强结果；(e)为本发明方法增强结果；(f)～(j)分别为(a)～(e)的像素分布直方图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
根据Retinex理论中物体颜色恒常性的特性，将一幅图像S(x,y)分解为反射图像R(x,y)和亮度图像L(x,y)两幅不同的图像，将亮度图像分离，即可求出反射图像。
如图1所示，一种基于交替方向乘子法的水下光照不均匀图像增强方法，包括以下步骤：
步骤1：从水下图像中提取初始光照图
步骤2：基于交替方向乘子法原理，构造一个增广拉格朗日框架的约束优化方程，通过迭代求解优化方程，获取精准光照图；再采用Gamma校正方法对精准光照图进行校正，得到校正后的精准光照图；
步骤3：根据Retinex理论对校正后的精准光照图进行增强，得到反射图；再采用双边滤波方法对反射图保边去噪，得到最终的水下增强图像。
进一步地，所述从水下图像中提取初始光照图的方法如下：
将水下图像S(x,y)从RGB颜色空间转换到Lab颜色空间，在Lab颜色空间中，L、a、b三个分量相互独立、互不影响，将Lab颜色空间的亮度分量L作为初始光照图
进一步地，所述获取精准光照图的方法如下：
构造优化方程：
其中，‖·‖F表示Frobenious范数，‖·‖1表示L1范数，α是系数，W是权重矩阵，
是T的一阶微分，T是精准光照图；
利用交替方向乘子法将优化方程式(1)更新如式(2)：
采用增广拉格朗日乘子方法求解式(2)，构造式(2)的增广拉格朗日目标函数：
其中
λ为增广拉格朗日乘子，ρ为增广拉格朗日参数，ρ>0，则式(3)的迭代方式如式(4)～式(7)：
其中，ε是一个非常小的正实数，通常取值为10-5，k是迭代序数；
迭代过程在满足式(7)时停止，获取精准光照图。
进一步地，所述采用Gamma校正方法对精准光照图进行校正的方法如下：
采用Gamma校正方法对精准光照图在亮度域进行校正，降低亮区像素点的亮度值，提高暗区像素点的亮度值，得到校正后的精准光照图Tγ(x,y)，校正过程如式(8)：
其中，T(x,y)是精准光照图。
进一步地，根据Retinex理论对校正后的精准光照图进行增强得到反射图的方法如式(9)：
R(x,y)＝exp(log S(x,y)-log Tγ(x,y)) (9)其中，R(x,y)是反射图。
进一步地，针对增强图像往往存在着边缘模糊、噪声明显的问题，采用双边滤波方法对反射图保边去噪，得到最终的水下增强图像RD(i,j)的方法，如式(10)：
其中，R(m，n)是反射图的像素点，(m，n)是中心点位置，(i，j)是当前点位置；q(i，j，m,n)是权重系数，由定义域核与值域核确定，如式(11)：
式中，σd和σr分别为定义域方差和值域方差。
具体实施例：
1、针对图2中人工点光源不均匀(图像1)、弱光照(图像2)、自然光照不均匀(图像3)和自然弱光照且光照不均匀(图像4)四种不同情况的水下图像采用本发明方法进行实验验证，如图3～6，并与VCIP、UDCP、伽马校正(GC)、SSR四种算法进行对比。
2、分别估计四幅水下图像的初始光照图，并基于交替方向乘子法原理，构造一个增广拉格朗日框架的约束优化方程，通过迭代求解优化方程，得到精准光照图。
3、根据Retinex理论，将原始水下图像与精准光照图转换到对数域求取对数域中的反射图像，再进行指数运算即可得到增强图像。最后，利用双边滤波器抑制水下噪声，获得更细致的水下图像的增强图像。
4、如表1，采用图像信息熵(Information Entropy)和图像自然统计特性(Naturalimage quality evaluator，NIQE)作为指标对处理结果进行对比和评价。
表1处理结果评价表
从表1中可以看出，本发明方法相对于其他四种方法有效地提高了水下光照不均匀图像的质量，在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。
Claims (7)
1.一种基于交替方向乘子法的水下光照不均匀图像增强方法，其特征在于，包括以下步骤：
步骤1：从水下图像中提取初始光照图
步骤2：基于交替方向乘子法原理，构造一个增广拉格朗日框架的约束优化方程，通过迭代求解优化方程，获取精准光照图；再采用Gamma校正方法对精准光照图进行校正，得到校正后的精准光照图；
步骤3：根据Retinex理论对校正后的精准光照图进行增强，得到反射图；再采用双边滤波方法对反射图保边去噪，得到最终的水下增强图像。
2.根据权利要求1所述的一种基于交替方向乘子法的水下光照不均匀图像增强方法，其特征在于，所述从水下图像中提取初始光照图的方法如下：
将水下图像S(x,y)从RGB颜色空间转换到Lab颜色空间，将Lab颜色空间的亮度分量L作为初始光照图
3.根据权利要求2所述的一种基于交替方向乘子法的水下光照不均匀图像增强方法，其特征在于，所述获取精准光照图的方法如下：
构造优化方程：
其中，‖·‖F表示Frobenious范数，‖·‖1表示L1范数，α是系数，W是权重矩阵，
是T的一阶微分，T是精准光照图；
利用交替方向乘子法将优化方程式(1)更新如式(2)：
采用增广拉格朗日乘子方法求解式(2)，构造式(2)的增广拉格朗日目标函数：
其中
λ为增广拉格朗日乘子，ρ为增广拉格朗日参数，ρ>0，则式(3)的迭代方式如式(4)～式(7)：
其中，ε是正实数，k是迭代序数；
迭代过程在满足式(7)时停止，获取精准光照图。
4.根据权利要求3所述的一种基于交替方向乘子法的水下光照不均匀图像增强方法，其特征在于，所述采用Gamma校正方法对精准光照图进行校正的方法如下：
采用Gamma校正方法对精准光照图在亮度域进行校正，降低亮区像素点的亮度值，提高暗区像素点的亮度值，得到校正后的精准光照图Tγ(x,y)，校正过程如式(8)：
其中，T(x,y)是精准光照图。
5.根据权利要求4所述的一种基于交替方向乘子法的水下光照不均匀图像增强方法，其特征在于，根据Retinex理论对校正后的精准光照图进行增强得到反射图的方法如式(9)：
R(x,y)＝exp(log S(x,y)-log Tγ(x,y)) (9)其中，R(x,y)是反射图。
6.根据权利要求5所述的一种基于交替方向乘子法的水下光照不均匀图像增强方法，其特征在于，所述采用双边滤波方法对反射图保边去噪，得到最终的水下增强图像RD(i,j)的方法，如式(10)：
其中，R(m，n)是反射图的像素点，(m，n)是中心点位置，(i，j)是当前点位置；q(i,j,m,n)是权重系数，由定义域核与值域核确定，如式(11)：
式中，σd和σr分别为定义域方差和值域方差。
7.根据权利要求6所述的一种基于交替方向乘子法的水下光照不均匀图像增强方法，其特征在于，所述α＝0.08，γ＝0.8，σd＝0.1，σr＝1，ε＝10-5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110487082.7A CN113313670B (zh) | 2021-05-04 | 2021-05-04 | 一种基于交替方向乘子法的水下光照不均匀图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110487082.7A CN113313670B (zh) | 2021-05-04 | 2021-05-04 | 一种基于交替方向乘子法的水下光照不均匀图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313670A true CN113313670A (zh) | 2021-08-27 |
| CN113313670B CN113313670B (zh) | 2024-02-02 |
Family
ID=77371500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110487082.7A Active CN113313670B (zh) | 2021-05-04 | 2021-05-04 | 一种基于交替方向乘子法的水下光照不均匀图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313670B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070039347A (ko) * | 2005-10-07 | 2007-04-11 | 삼성전자주식회사 | 칼라 영상의 화질 향상을 위한 방법 및 시스템 |
| CN108053374A (zh) * | 2017-12-05 | 2018-05-18 | 天津大学 | 一种结合双边滤波与Retinex的水下图像增强方法 |
| CN109872285A (zh) * | 2019-01-21 | 2019-06-11 | 电子科技大学 | 一种基于变分约束的Retinex低照度彩色图像增强方法 |
| CN111553863A (zh) * | 2020-04-30 | 2020-08-18 | 河南大学 | 一种基于非凸全变分型正则化的图像增强方法 |
-
2021
- 2021-05-04 CN CN202110487082.7A patent/CN113313670B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070039347A (ko) * | 2005-10-07 | 2007-04-11 | 삼성전자주식회사 | 칼라 영상의 화질 향상을 위한 방법 및 시스템 |
| CN108053374A (zh) * | 2017-12-05 | 2018-05-18 | 天津大学 | 一种结合双边滤波与Retinex的水下图像增强方法 |
| CN109872285A (zh) * | 2019-01-21 | 2019-06-11 | 电子科技大学 | 一种基于变分约束的Retinex低照度彩色图像增强方法 |
| CN111553863A (zh) * | 2020-04-30 | 2020-08-18 | 河南大学 | 一种基于非凸全变分型正则化的图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 涂清华;戴声奎;: "基于域滤波的自适应Retinex图像增强", 计算机工程与科学, no. 09 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313670B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Single image defogging based on illumination decomposition for visual maritime surveillance | |
| US11127122B2 (en) | Image enhancement method and system | |
| CN110889812B (zh) | 一种多尺度融合图像特征信息的水下图像增强方法 | |
| Muniraj et al. | Underwater image enhancement by combining color constancy and dehazing based on depth estimation | |
| CN105976330B (zh) | 一种嵌入式雾天实时视频稳像方法 | |
| Dharejo et al. | A color enhancement scene estimation approach for single image haze removal | |
| CN111968062B (zh) | 基于暗通道先验镜面高光图像增强方法、装置及存储介质 | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN111210395B (zh) | 基于灰度值映射的Retinex水下图像增强方法 | |
| CN107203977A (zh) | 一种基于暗原色先验和稀疏表示的水下图像复原方法 | |
| Pan et al. | De-scattering and edge-enhancement algorithms for underwater image restoration | |
| CN113313702A (zh) | 基于边界约束与颜色校正的航拍图像去雾方法 | |
| CN110415193A (zh) | 煤矿低照度模糊图像的复原方法 | |
| CN112541869A (zh) | 一种基于matlab实现的Retinex图像去雾方法 | |
| Li et al. | Image enhancement algorithm based on depth difference and illumination adjustment | |
| Chang | Single underwater image restoration based on adaptive transmission fusion | |
| Fu et al. | Scene-awareness based single image dehazing technique via automatic estimation of sky area | |
| CN117830134A (zh) | 基于混合滤波分解和图像融合的红外图像增强方法及系统 | |
| Malik et al. | Contrast enhancement and smoothing of CT images for diagnosis | |
| CN113313670B (zh) | 一种基于交替方向乘子法的水下光照不均匀图像增强方法 | |
| Tong et al. | Infrared and visible image fusion under different illumination conditions based on illumination effective region map | |
| Zheng et al. | An illumination adaptive underwater image enhancement method | |
| Subramani et al. | Pixel intensity optimization and detail-preserving contextual contrast enhancement for underwater images | |
| Ting et al. | Underwater image enhancement based on IMSRCR and CLAHE-WGIF | |
| Yu et al. | A novel nighttime dehazing model integrating Retinex algorithm and atmospheric scattering model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |