CN108550120A - 一种变分框架下水下图像复原方法 - Google Patents
一种变分框架下水下图像复原方法 Download PDFInfo
- Publication number
- CN108550120A CN108550120A CN201810272897.1A CN201810272897A CN108550120A CN 108550120 A CN108550120 A CN 108550120A CN 201810272897 A CN201810272897 A CN 201810272897A CN 108550120 A CN108550120 A CN 108550120A
- Authority
- CN
- China
- Prior art keywords
- underwater
- image
- image restoration
- variation
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000013459 approach Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于数字图像处理技术领域,涉及一种变分框架下水下图像复原方法,将水下成像物理模型引入到变分能量模型中,设计基于水下特征的数据项和光滑项,巧妙借助辅助变量,通过L2范数约束,实现能量方程最小化极值问题的快速求解,恢复出清晰的水下图像;其方法简单,操作方便,原理科学可靠,能有效提高水下图像的清晰度,降低噪声,具有非常好的实际应用价值。
Description
技术领域:
本发明属于数字图像处理技术领域,涉及一种针对水下图像复原的方法,特别是一种变分框架下水下图像复原方法。
背景技术:
水下图像复原是图像处理的基本问题,由于水及其悬浮粒子对光的吸收和散射,水体流动对成像设备的影响及水下成像系统自身制约导致所观测到的图像呈现出雾化、光照不均匀、颜色退化、模糊不清、噪声严重等问题。目前侧重于直接利用图像处理领域现有方法来进行针对性的水下图像增强,算法过程中并不过多考虑成像中的物理过程和成像模型,这类方法虽然从多方面解决了不同特点图像质量问题,但由于图像增强处理过程是分步独立进行的,算法耦合度低,极易产生顾此失彼的现象,如增强对比度过程中反而噪声“过加强”、降噪处理时又难免会导致图像细节模糊等。
目前,对基于物理模型传统复原方法的研究多基于经典的McGlamery成像退化模型或是改进后的相关模型,处理后的水下图像无论是从视觉效果还是客观评价上均能得到比较理想的效果,但由于其没有描述生成图像的空间表达,即忽略了图像边缘、纹理等特征信息的保持,限制了其在更高层次图像处理(如图像识别、图像理解等)上的应用。
融合成像物理模型的变分复原方法,考虑光的散射、水体流动、成像设备等因素对水下成像的影响,可将水下退化图像表达为I=J·t+(1-t)·B+ξ,进而转化为已知退化图像I,求解理想图像J的问题,其中B为背景光,t为光谱透射率,ξ为噪声,但在模型求解方面,迭代方法与梯度降方法存在计算过程复杂、速度慢的问题。因此,设计一种变分框架下水下图像复原方法,在模型求解过程中通过引入辅助变量进行求解,能够提高效率,减少计算的复杂度,恢复出清晰的水下图像。
发明内容:
本发明的目的在于克服现有技术存在的缺点,寻求设计提供一种变分框架下水下图像复原方法,将水下成像物理模型引入到变分能量模型中,设计基于水下特征的数据项和光滑项,巧妙借助辅助变量,通过L2范数约束,实现能量方程最小化极值问题的快速求解,恢复出清晰的水下图像。
为了实现上述发明目的,本发明将水下图像复原的具体过程为:
(1)对水下成像物理模型Ic=Jc·tc+(1-tc)·Bc+ξ进行等价变换得到水下图像变分复原模型,令f=ln(Ic-Bc),u=ln(Jc-Bc),t'=lntc得:
f=u+t'+ξ
其中I为相机得到的水下退化图像,J为同一场景的清晰图像,B为水下背景光,t为水下光谱透射率,ξ为噪声,c∈{R,G,B};
(2)建立水下图像复原变分能量方程为:
其中,Ω为图像区域,λ,μ分别为光滑项和参数估计项的惩罚参数,分别为u和t′的梯度;
(3)引入辅助变量和逼近和水下图像复原变分能量方程转换为:
其中,θ1,θ2是正的惩罚参数,是拉格朗日乘子,可根据相应规则更新;
(4)利用变量交替迭代优化求解分别计算步骤(3)中的变量将步骤(3)的极小化问题转换为以下4个子问题:
并分别求解ε1(u),ε2(t'),和的欧拉方程;
(5)对步骤(4)中的进行迭代求解,当相邻两次迭代的能量差小于设定的阈值时停止;
(6)输出水下图像复原后结果。
本发明与现有技术相比,利用变分思想融合水下成像模型对水下退化图像进行复原,对于建立的变分复原能量方程为了避免其在求解时所产生的复杂运算,引入辅助变量,采用交替迭代方法进行求解,不但提高了效率,而且减少了计算的复杂度;其方法简单,操作方便,原理科学可靠,能有效提高水下图像的清晰度,降低噪声,具有非常好的实际应用价值。
附图说明:
图1为本发明的工艺流程原理示意框图。
图2为本发明实施例的工艺流程原理示意图。
图3为利用本发明在水下图像U-1的复原结果与DCP(Dark Channel Prior)算法(本算法是2009年何凯明博士提出的暗通道先验去雾经典算法)和AHE(AdaptiveHistogram Equalization)算法(是图像增强的经典算法,常被应用于实验对比)比较,其中(a)为原始图像,(b)为DCP复原结果,(c)为AHE复原结果,(d)为本发明复原结果。
图4为利用本发明在图像U-2的复原结果与DCP算法和AHE算法的比较,其中(a)为原始图像,(b)为DCP复原结果,(c)为AHE复原结果,(d)为本发明复原结果。
图5为利用本发明在图像U-3的分割过程,其中(a)为原始图像,(b)为本发明10步迭代复原结果,(c)为本发明100步迭代复原结果,(d)为本发明500步迭代复原结果。
具体实施方式:
下面通过实施例并结合附图对本发明作进一步说明。
实施例:
本实施例将水下图像复原的具体过程为:
(1)基于水下成像物理模型,对原始问题Ic=Jc·tc+(1-tc)·Bc+ξ进行等价变换得:
Ic=tc·(Jc-Bc)+Bc+ξ
令f=ln(Ic-Bc),u=ln(Jc-Bc),t'=lntc得f=u+t'+ξ
其中I为相机得到的水下退化图像,J为同一场景的清晰图像,B为水下背景光,t为水下光谱透射率,ξ为噪声,c∈{R,G,B};根据暗通道先验理论,背景光B取各自颜色通道(R,G,B)的暗通道中强度值最高的像素,透射率t的初始值t0通过模拟水下场景拟合获取。
(2)基于步骤(1)得到的成像模型建立水下图像复原变分能量方程为:
其中,Ω为图像区域,λ,μ分别为光滑项和参数估计项的惩罚参数在图像U-1、图像U-2、图像U-3中取λ=1,μ=1;
(3)引入辅助变量和逼近和水下图像复原变分能量方程转换为:
其中,θ1,θ2是正的惩罚参数,在图像U-1、图像U-2中取θ1=θ2=5,在图像U-3中取θ1=θ2=10;是拉格朗日乘子,在图像U-1、图像U-2、图像U-3中初始值取可根据相应规则更新,在求解时初始化t'0=lnt0,u0=f,并设定最大迭代步数;
(4)利用变量交替迭代优化求解分别计算步骤(3)中的变量步骤c的极小化问题转换为以下4个子问题:
(5)分别求解ε1(u),ε2(t'),和的欧拉方程,得到:
(6)对步骤(5)中的进行迭代求解,当相邻两次迭代的能量差小于设定的阈值|uk+1-uk|/uk+1≤ε时停止;
(7)输出水下图像复原后结果。
本实施例进行迭代求解的具体过程为:
Step1:初始化参数t'0=ln t0,u0=f,iternum;
Step2:固定求解ε1(u)的欧拉方程,采用Gauss–Seidel半隐式方法迭代求解每个uk+1;其中欧拉方程为:
Gauss–Seidel半隐式方法迭代为:
其中k为迭代步数,h为迭代步长,一般取h=1,i,j为图像像素点坐标;
Step3:固定求解ε2(t')的欧拉方程,采用Gauss–Seidel半隐式方法迭代求解每个t'k+1;其中欧拉方程为:
Step4:固定求解的欧拉方程,采用广义软阈值公式求解每个欧拉方程为:
其软阈值求解公式为:
Step5:固定求解的欧拉方程,采用广义软阈值公式求解每个欧拉方程为:
其软阈值求解公式为:
Step6:更新Lagrange乘子
Claims (1)
1.一种变分框架下水下图像复原方法,其特征在于将水下图像复原的具体过程为:
(1)对水下成像物理模型Ic=Jc·tc+(1-tc)·Bc+ξ进行等价变换得到水下图像变分复原模型,令f=ln(Ic-Bc),u=ln(Jc-Bc),t'=lntc得:
f=u+t'+ξ
其中I为相机得到的水下退化图像,J为同一场景的清晰图像,B为水下背景光,t为水下光谱透射率,ξ为噪声,c∈{R,G,B};
(2)建立水下图像复原变分能量方程为:
s.t.t∈(0,1)
其中,Ω为图像区域,λ,μ分别为光滑项和参数估计项的惩罚参数,分别为u和t′的梯度;
(3)引入辅助变量和逼近和水下图像复原变分能量方程转换为:
s.t.t∈(0,1)
其中,θ1,θ2是正的惩罚参数,是拉格朗日乘子,可根据相应规则更新;
(4)利用变量交替迭代优化求解分别计算步骤(3)中的变量u,t',将步骤(3)的极小化问题转换为以下4个子问题:
并分别求解ε1(u),ε2(t'),和的欧拉方程;
(5)对步骤(4)中的u,t',进行迭代求解,当相邻两次迭代的能量差小于设定的阈值时停止;
(6)输出水下图像复原后结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810272897.1A CN108550120B (zh) | 2018-03-29 | 2018-03-29 | 一种变分框架下水下图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810272897.1A CN108550120B (zh) | 2018-03-29 | 2018-03-29 | 一种变分框架下水下图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108550120A true CN108550120A (zh) | 2018-09-18 |
CN108550120B CN108550120B (zh) | 2020-03-27 |
Family
ID=63517428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810272897.1A Active CN108550120B (zh) | 2018-03-29 | 2018-03-29 | 一种变分框架下水下图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108550120B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949244A (zh) * | 2019-03-21 | 2019-06-28 | 青岛大学 | 一种基于曲率项的水下图像盲复原变分方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
CN107316278A (zh) * | 2017-05-13 | 2017-11-03 | 天津大学 | 一种水下图像清晰化处理方法 |
CN107705265A (zh) * | 2017-10-11 | 2018-02-16 | 青岛大学 | 一种基于总曲率的sar图像变分去噪方法 |
CN107798665A (zh) * | 2017-11-07 | 2018-03-13 | 天津大学 | 基于结构‑纹理分层的水下图像增强方法 |
-
2018
- 2018-03-29 CN CN201810272897.1A patent/CN108550120B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
CN107316278A (zh) * | 2017-05-13 | 2017-11-03 | 天津大学 | 一种水下图像清晰化处理方法 |
CN107705265A (zh) * | 2017-10-11 | 2018-02-16 | 青岛大学 | 一种基于总曲率的sar图像变分去噪方法 |
CN107798665A (zh) * | 2017-11-07 | 2018-03-13 | 天津大学 | 基于结构‑纹理分层的水下图像增强方法 |
Non-Patent Citations (3)
Title |
---|
XUEYANG FU 等: "A RETINEX-BASED ENHANCING APPROACH FOR SINGLE UNDERWATER IMAGE", 《ICIP 2014》 * |
ZHENKUAN PAN 等: "A Double Total Variation Regularized Model of Retinex Theory Based on Nonlocal Differential Operators", 《2013 6TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP 2013)》 * |
郭继昌 等: "水下图像增强和复原方法研究进展", 《中国图象图形学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949244A (zh) * | 2019-03-21 | 2019-06-28 | 青岛大学 | 一种基于曲率项的水下图像盲复原变分方法 |
CN109949244B (zh) * | 2019-03-21 | 2023-01-24 | 青岛大学 | 一种基于曲率项的水下图像盲复原变分方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108550120B (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jian et al. | Underwater image processing and analysis: A review | |
Ren et al. | Joint enhancement and denoising method via sequential decomposition | |
Ju et al. | Single image dehazing via an improved atmospheric scattering model | |
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
Zhang et al. | Underwater image enhancement via weighted wavelet visual perception fusion | |
Yang et al. | Low complexity underwater image enhancement based on dark channel prior | |
CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
Zhou et al. | Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement | |
CN103345733A (zh) | 基于改进暗通道先验的快速低照度图像增强方法 | |
Shu et al. | Alternating minimization algorithm for hybrid regularized variational image dehazing | |
Tang et al. | Improved retinex image enhancement algorithm | |
Mi et al. | Multi-purpose oriented real-world underwater image enhancement | |
CN109345609A (zh) | 基于卷积神经网络进行壁画图像去噪和线描画生成的方法 | |
CN108550120A (zh) | 一种变分框架下水下图像复原方法 | |
Zhou et al. | Single image dehazing based on weighted variational regularized model | |
Wu et al. | An improved guided filtering algorithm for image enhancement | |
Pei et al. | Nighttime haze removal using bilateral filtering and adaptive dark channel prior | |
Wang et al. | Single-image de-raining using joint filter and multi-scale deep alternate-connection dense network | |
Shuang et al. | Algorithms for improving the quality of underwater optical images: A comprehensive review | |
Menon et al. | An enhanced digital image processing based dehazing techniques for haze removal | |
Wang et al. | Adaptive Bright and Dark Channel Combined with Defogging Algorithm Based on Depth of Field | |
CN108364261B (zh) | 一种梯度引导的TV-Retinex单帧图像去雾方法 | |
Tang et al. | Single image dehazing algorithm based on sky segmentation | |
Moni et al. | Color balance and fusion for underwater image enhancement: Survey | |
Kumar et al. | Image defogging by multiscale depth fusion and hybrid scattering model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210628 Address after: 266061 13 / F, block g, International Innovation Park, No.1 Keyuan Weiyi Road, Zhonghan street, Laoshan District, Qingdao City, Shandong Province Patentee after: JIANTOU DATA TECHNOLOGY (SHANDONG) Co.,Ltd. Address before: 266061 Hongkong East Road, Laoshan District, Qingdao, Shandong Province, No. 7 Patentee before: QINGDAO University |
|
TR01 | Transfer of patent right |