CN108550120A - 一种变分框架下水下图像复原方法 - Google Patents

一种变分框架下水下图像复原方法 Download PDF

Info

Publication number
CN108550120A
CN108550120A CN201810272897.1A CN201810272897A CN108550120A CN 108550120 A CN108550120 A CN 108550120A CN 201810272897 A CN201810272897 A CN 201810272897A CN 108550120 A CN108550120 A CN 108550120A
Authority
CN
China
Prior art keywords
underwater
image
image restoration
variation
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810272897.1A
Other languages
English (en)
Other versions
CN108550120B (zh
Inventor
侯国家
潘振宽
黄宝香
王国栋
魏伟波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANTOU DATA TECHNOLOGY (SHANDONG) Co.,Ltd.
Original Assignee
Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University filed Critical Qingdao University
Priority to CN201810272897.1A priority Critical patent/CN108550120B/zh
Publication of CN108550120A publication Critical patent/CN108550120A/zh
Application granted granted Critical
Publication of CN108550120B publication Critical patent/CN108550120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明属于数字图像处理技术领域,涉及一种变分框架下水下图像复原方法,将水下成像物理模型引入到变分能量模型中,设计基于水下特征的数据项和光滑项,巧妙借助辅助变量,通过L2范数约束,实现能量方程最小化极值问题的快速求解,恢复出清晰的水下图像;其方法简单,操作方便,原理科学可靠,能有效提高水下图像的清晰度,降低噪声,具有非常好的实际应用价值。

Description

一种变分框架下水下图像复原方法
技术领域:
本发明属于数字图像处理技术领域,涉及一种针对水下图像复原的方法,特别是一种变分框架下水下图像复原方法。
背景技术:
水下图像复原是图像处理的基本问题,由于水及其悬浮粒子对光的吸收和散射,水体流动对成像设备的影响及水下成像系统自身制约导致所观测到的图像呈现出雾化、光照不均匀、颜色退化、模糊不清、噪声严重等问题。目前侧重于直接利用图像处理领域现有方法来进行针对性的水下图像增强,算法过程中并不过多考虑成像中的物理过程和成像模型,这类方法虽然从多方面解决了不同特点图像质量问题,但由于图像增强处理过程是分步独立进行的,算法耦合度低,极易产生顾此失彼的现象,如增强对比度过程中反而噪声“过加强”、降噪处理时又难免会导致图像细节模糊等。
目前,对基于物理模型传统复原方法的研究多基于经典的McGlamery成像退化模型或是改进后的相关模型,处理后的水下图像无论是从视觉效果还是客观评价上均能得到比较理想的效果,但由于其没有描述生成图像的空间表达,即忽略了图像边缘、纹理等特征信息的保持,限制了其在更高层次图像处理(如图像识别、图像理解等)上的应用。
融合成像物理模型的变分复原方法,考虑光的散射、水体流动、成像设备等因素对水下成像的影响,可将水下退化图像表达为I=J·t+(1-t)·B+ξ,进而转化为已知退化图像I,求解理想图像J的问题,其中B为背景光,t为光谱透射率,ξ为噪声,但在模型求解方面,迭代方法与梯度降方法存在计算过程复杂、速度慢的问题。因此,设计一种变分框架下水下图像复原方法,在模型求解过程中通过引入辅助变量进行求解,能够提高效率,减少计算的复杂度,恢复出清晰的水下图像。
发明内容:
本发明的目的在于克服现有技术存在的缺点,寻求设计提供一种变分框架下水下图像复原方法,将水下成像物理模型引入到变分能量模型中,设计基于水下特征的数据项和光滑项,巧妙借助辅助变量,通过L2范数约束,实现能量方程最小化极值问题的快速求解,恢复出清晰的水下图像。
为了实现上述发明目的,本发明将水下图像复原的具体过程为:
(1)对水下成像物理模型Ic=Jc·tc+(1-tc)·Bc+ξ进行等价变换得到水下图像变分复原模型,令f=ln(Ic-Bc),u=ln(Jc-Bc),t'=lntc得:
f=u+t'+ξ
其中I为相机得到的水下退化图像,J为同一场景的清晰图像,B为水下背景光,t为水下光谱透射率,ξ为噪声,c∈{R,G,B};
(2)建立水下图像复原变分能量方程为:
其中,Ω为图像区域,λ,μ分别为光滑项和参数估计项的惩罚参数,分别为u和t′的梯度;
(3)引入辅助变量逼近水下图像复原变分能量方程转换为:
其中,θ1,θ2是正的惩罚参数,是拉格朗日乘子,可根据相应规则更新;
(4)利用变量交替迭代优化求解分别计算步骤(3)中的变量将步骤(3)的极小化问题转换为以下4个子问题:
并分别求解ε1(u),ε2(t'),的欧拉方程;
(5)对步骤(4)中的进行迭代求解,当相邻两次迭代的能量差小于设定的阈值时停止;
(6)输出水下图像复原后结果。
本发明与现有技术相比,利用变分思想融合水下成像模型对水下退化图像进行复原,对于建立的变分复原能量方程为了避免其在求解时所产生的复杂运算,引入辅助变量,采用交替迭代方法进行求解,不但提高了效率,而且减少了计算的复杂度;其方法简单,操作方便,原理科学可靠,能有效提高水下图像的清晰度,降低噪声,具有非常好的实际应用价值。
附图说明:
图1为本发明的工艺流程原理示意框图。
图2为本发明实施例的工艺流程原理示意图。
图3为利用本发明在水下图像U-1的复原结果与DCP(Dark Channel Prior)算法(本算法是2009年何凯明博士提出的暗通道先验去雾经典算法)和AHE(AdaptiveHistogram Equalization)算法(是图像增强的经典算法,常被应用于实验对比)比较,其中(a)为原始图像,(b)为DCP复原结果,(c)为AHE复原结果,(d)为本发明复原结果。
图4为利用本发明在图像U-2的复原结果与DCP算法和AHE算法的比较,其中(a)为原始图像,(b)为DCP复原结果,(c)为AHE复原结果,(d)为本发明复原结果。
图5为利用本发明在图像U-3的分割过程,其中(a)为原始图像,(b)为本发明10步迭代复原结果,(c)为本发明100步迭代复原结果,(d)为本发明500步迭代复原结果。
具体实施方式:
下面通过实施例并结合附图对本发明作进一步说明。
实施例:
本实施例将水下图像复原的具体过程为:
(1)基于水下成像物理模型,对原始问题Ic=Jc·tc+(1-tc)·Bc+ξ进行等价变换得:
Ic=tc·(Jc-Bc)+Bc
令f=ln(Ic-Bc),u=ln(Jc-Bc),t'=lntc得f=u+t'+ξ
其中I为相机得到的水下退化图像,J为同一场景的清晰图像,B为水下背景光,t为水下光谱透射率,ξ为噪声,c∈{R,G,B};根据暗通道先验理论,背景光B取各自颜色通道(R,G,B)的暗通道中强度值最高的像素,透射率t的初始值t0通过模拟水下场景拟合获取。
(2)基于步骤(1)得到的成像模型建立水下图像复原变分能量方程为:
其中,Ω为图像区域,λ,μ分别为光滑项和参数估计项的惩罚参数在图像U-1、图像U-2、图像U-3中取λ=1,μ=1;
(3)引入辅助变量逼近水下图像复原变分能量方程转换为:
其中,θ1,θ2是正的惩罚参数,在图像U-1、图像U-2中取θ1=θ2=5,在图像U-3中取θ1=θ2=10;是拉格朗日乘子,在图像U-1、图像U-2、图像U-3中初始值取可根据相应规则更新,在求解时初始化t'0=lnt0,u0=f,并设定最大迭代步数;
(4)利用变量交替迭代优化求解分别计算步骤(3)中的变量步骤c的极小化问题转换为以下4个子问题:
(5)分别求解ε1(u),ε2(t'),的欧拉方程,得到:
(6)对步骤(5)中的进行迭代求解,当相邻两次迭代的能量差小于设定的阈值|uk+1-uk|/uk+1≤ε时停止;
(7)输出水下图像复原后结果。
本实施例进行迭代求解的具体过程为:
Step1:初始化参数t'0=ln t0,u0=f,iternum;
Step2:固定求解ε1(u)的欧拉方程,采用Gauss–Seidel半隐式方法迭代求解每个uk+1;其中欧拉方程为:
Gauss–Seidel半隐式方法迭代为:
其中k为迭代步数,h为迭代步长,一般取h=1,i,j为图像像素点坐标;
Step3:固定求解ε2(t')的欧拉方程,采用Gauss–Seidel半隐式方法迭代求解每个t'k+1;其中欧拉方程为:
Step4:固定求解的欧拉方程,采用广义软阈值公式求解每个欧拉方程为:
其软阈值求解公式为:
Step5:固定求解的欧拉方程,采用广义软阈值公式求解每个欧拉方程为:
其软阈值求解公式为:
Step6:更新Lagrange乘子

Claims (1)

1.一种变分框架下水下图像复原方法,其特征在于将水下图像复原的具体过程为:
(1)对水下成像物理模型Ic=Jc·tc+(1-tc)·Bc+ξ进行等价变换得到水下图像变分复原模型,令f=ln(Ic-Bc),u=ln(Jc-Bc),t'=lntc得:
f=u+t'+ξ
其中I为相机得到的水下退化图像,J为同一场景的清晰图像,B为水下背景光,t为水下光谱透射率,ξ为噪声,c∈{R,G,B};
(2)建立水下图像复原变分能量方程为:
s.t.t∈(0,1)
其中,Ω为图像区域,λ,μ分别为光滑项和参数估计项的惩罚参数,分别为u和t′的梯度;
(3)引入辅助变量逼近水下图像复原变分能量方程转换为:
s.t.t∈(0,1)
其中,θ1,θ2是正的惩罚参数,是拉格朗日乘子,可根据相应规则更新;
(4)利用变量交替迭代优化求解分别计算步骤(3)中的变量u,t',将步骤(3)的极小化问题转换为以下4个子问题:
并分别求解ε1(u),ε2(t'),的欧拉方程;
(5)对步骤(4)中的u,t',进行迭代求解,当相邻两次迭代的能量差小于设定的阈值时停止;
(6)输出水下图像复原后结果。
CN201810272897.1A 2018-03-29 2018-03-29 一种变分框架下水下图像复原方法 Active CN108550120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810272897.1A CN108550120B (zh) 2018-03-29 2018-03-29 一种变分框架下水下图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810272897.1A CN108550120B (zh) 2018-03-29 2018-03-29 一种变分框架下水下图像复原方法

Publications (2)

Publication Number Publication Date
CN108550120A true CN108550120A (zh) 2018-09-18
CN108550120B CN108550120B (zh) 2020-03-27

Family

ID=63517428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810272897.1A Active CN108550120B (zh) 2018-03-29 2018-03-29 一种变分框架下水下图像复原方法

Country Status (1)

Country Link
CN (1) CN108550120B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949244A (zh) * 2019-03-21 2019-06-28 青岛大学 一种基于曲率项的水下图像盲复原变分方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN107316278A (zh) * 2017-05-13 2017-11-03 天津大学 一种水下图像清晰化处理方法
CN107705265A (zh) * 2017-10-11 2018-02-16 青岛大学 一种基于总曲率的sar图像变分去噪方法
CN107798665A (zh) * 2017-11-07 2018-03-13 天津大学 基于结构‑纹理分层的水下图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN107316278A (zh) * 2017-05-13 2017-11-03 天津大学 一种水下图像清晰化处理方法
CN107705265A (zh) * 2017-10-11 2018-02-16 青岛大学 一种基于总曲率的sar图像变分去噪方法
CN107798665A (zh) * 2017-11-07 2018-03-13 天津大学 基于结构‑纹理分层的水下图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUEYANG FU 等: "A RETINEX-BASED ENHANCING APPROACH FOR SINGLE UNDERWATER IMAGE", 《ICIP 2014》 *
ZHENKUAN PAN 等: "A Double Total Variation Regularized Model of Retinex Theory Based on Nonlocal Differential Operators", 《2013 6TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP 2013)》 *
郭继昌 等: "水下图像增强和复原方法研究进展", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949244A (zh) * 2019-03-21 2019-06-28 青岛大学 一种基于曲率项的水下图像盲复原变分方法
CN109949244B (zh) * 2019-03-21 2023-01-24 青岛大学 一种基于曲率项的水下图像盲复原变分方法

Also Published As

Publication number Publication date
CN108550120B (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
Jian et al. Underwater image processing and analysis: A review
Ren et al. Joint enhancement and denoising method via sequential decomposition
Ju et al. Single image dehazing via an improved atmospheric scattering model
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
Zhang et al. Underwater image enhancement via weighted wavelet visual perception fusion
Yang et al. Low complexity underwater image enhancement based on dark channel prior
CN109118446B (zh) 一种水下图像复原及去噪方法
Zhou et al. Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement
CN103345733A (zh) 基于改进暗通道先验的快速低照度图像增强方法
Shu et al. Alternating minimization algorithm for hybrid regularized variational image dehazing
Tang et al. Improved retinex image enhancement algorithm
Mi et al. Multi-purpose oriented real-world underwater image enhancement
CN109345609A (zh) 基于卷积神经网络进行壁画图像去噪和线描画生成的方法
CN108550120A (zh) 一种变分框架下水下图像复原方法
Zhou et al. Single image dehazing based on weighted variational regularized model
Wu et al. An improved guided filtering algorithm for image enhancement
Pei et al. Nighttime haze removal using bilateral filtering and adaptive dark channel prior
Wang et al. Single-image de-raining using joint filter and multi-scale deep alternate-connection dense network
Shuang et al. Algorithms for improving the quality of underwater optical images: A comprehensive review
Menon et al. An enhanced digital image processing based dehazing techniques for haze removal
Wang et al. Adaptive Bright and Dark Channel Combined with Defogging Algorithm Based on Depth of Field
CN108364261B (zh) 一种梯度引导的TV-Retinex单帧图像去雾方法
Tang et al. Single image dehazing algorithm based on sky segmentation
Moni et al. Color balance and fusion for underwater image enhancement: Survey
Kumar et al. Image defogging by multiscale depth fusion and hybrid scattering model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210628

Address after: 266061 13 / F, block g, International Innovation Park, No.1 Keyuan Weiyi Road, Zhonghan street, Laoshan District, Qingdao City, Shandong Province

Patentee after: JIANTOU DATA TECHNOLOGY (SHANDONG) Co.,Ltd.

Address before: 266061 Hongkong East Road, Laoshan District, Qingdao, Shandong Province, No. 7

Patentee before: QINGDAO University

TR01 Transfer of patent right