CN113989164B - 一种水下彩色图像复原方法、系统及存储介质 - Google Patents
一种水下彩色图像复原方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113989164B CN113989164B CN202111404314.4A CN202111404314A CN113989164B CN 113989164 B CN113989164 B CN 113989164B CN 202111404314 A CN202111404314 A CN 202111404314A CN 113989164 B CN113989164 B CN 113989164B
- Authority
- CN
- China
- Prior art keywords
- underwater
- background light
- depth
- image
- offset component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 32
- 238000012937 correction Methods 0.000 claims description 19
- 238000002834 transmittance Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000018044 dehydration Effects 0.000 abstract 1
- 238000006297 dehydration reaction Methods 0.000 abstract 1
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Abstract
本发明公开了一种水下彩色图像复原方法、系统及存储介质。方法中提出了背景光偏移假设，并基于此建立背景光修正的水下成像模型，将水下图像分解为雾天图像和水下偏移分量；利用单目深度估计网络获得水下图像的相对深度并将其转化为绝对深度，结合深度图估计全局背景光并基于背景光偏移假设将水下图像背景光修正为雾天图像背景光；再利用非线性最小二乘拟合获得水下偏移分量，从而实现水下图像去水并得到雾天图像；最后，优化去水后的含雾图像的透射率，并结合修正后的背景光实现图像复原。因此，本发明提供的方法将水下图像复原问题转化为雾天图像复原问题，从而可以有效消除水下图像的颜色失真和雾状模糊。
Description
技术领域
本发明涉及一种水下彩色图像复原方法、系统及存储介质，属于图像处理技术领域。
背景技术
在不同水体中拍摄的图像常存在低对比度、清晰度差和色偏严重等现象。质量退化的图像不能清晰、准确的记录和表达场景中的信息，直接影响人类视觉感受，更进一步影响后续计算机视觉任务处理效果，严重限制了各类图像的应用价值。随着人工智能技术的发展，水下图像处理问题包括水下图像增强与复原在图像处理和计算机视觉领域的研究得到高度关注，逐渐成为近年的研究热点。
现有的水下图像复原方法通常利用先验假设来解决不适定问题。并且在已有的对水下图像复原技术的研究中，以建立水下成像系统的退化模型为主要手段。Peng等发现散射效应作用下图像的模糊程度随着距离的增加而增加，他们忽略了传输的光谱依赖性而通过图像的模糊度来估计场景深度。He等假设在小图像块内，至少有一个像素在某些颜色通道中具有较低的值，并且使用最小值来估计透射率。Berman等基于雾线先验假设将图像表示为以背景光为中心的球坐标形式，并选取每根雾线中距离背景光最远处的像素点作为对清晰像素点的估计。上述方法虽致力于实现水下图像的清晰化，但未考虑复杂成像环境中模糊、色彩失衡等多种退化现象带来的综合影响。
发明内容
本发明所要解决的技术问题是，在水下彩色图像复原过程中，如何使得水下图像复原问题转化为雾天图像复原问题，从而有效消除水下图像的颜色失真和雾状模糊。
本发明的原理：基于提出的背景光偏移假设，本发明构建了背景光修正模型，将水下图像分解为雾天图像和水下偏移分量，从而使得水下图像复原问题转化为雾天图像复原问题。本发明提出一种水下彩色图像复原方法、系统及存储介质，可以有效消除颜色失真和雾状模糊。
本发明采用的技术方案为：
一种水下彩色图像复原方法，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：结合步骤一得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及其对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及其对应的深度值，使用拟合算法计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，并在此基础上计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
一种水下彩色图像复原系统，包括以下功能模块：
深度估计模块：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
背景光偏移估计模块：利用得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
水下成像模型修正模块：采用背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及对应的深度值；
水下图像去水模块：采用选取的水下偏移分量离散点及其对应的深度值，使用拟合算法计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
透射率优化模块：以由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，计算去水后的雾天图像的优化透射率；
含雾图像复原模块：根据得到的雾天图像背景光和优化后的透射率，由图像复原的公式计算得到复原图像。
一种计算可读取存储介质，用于存储上述水下彩色图像复原方法。
本发明所达到的有益技术效果：通过采用上述技术方案，本发明的优点是，基于提出的水下背景光偏移假设构建背景光修正模型，将水下图像分解为雾天图像和水下偏移分量，再利用单目深度估计网络获得粗略估计的深度图并使用拟合方法获得水下偏移分量，最后基于雾线先验优化透射率并对去水后的雾天图像进行复原。因此，本发明提供的方法将水下图像复原问题转化为雾天图像复原问题，可以有效消除水下图像的颜色失真和雾状模糊。
附图说明
图1为本发明的流程示意图。
具体实施方式
为了展示本发明的技术特征、技术内容及其达到的技术效果，现将本发明结合实施例进行更详细的说明。然而，所示附图，只是为了更好地说明本发明的技术方案，所以不要就附图限制本发明的权利要求保护范围。
实施例1
如图1所示，本发明提供的一种水下彩色图像复原方法，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：结合步骤一得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及其对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及其对应的深度值，使用非线性最小二乘拟合计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，并在此基础上计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
所述步骤一中，使用自适应直方图均衡对单目深度估计网络的输入图像进行预处理。
所述步骤一中将单目深度估计网络输出的相对深度转化为绝对深度的转化公式为：其中，dr为单目深度估计网络输出的相对深度；da为绝对深度；/>和/>分别为相对深度的最大值和最小值；m和n分别是人为估计最大能见距离和最小能见距离，其中，最大能见距离的取值范围在5米～20米之间，默认为10米；最小能见距离的取值范围在0米～1米之间，默认为1米。
利用单目深度估计网络估计深度图，并通过人为定义的最大和最小绝对深度值将单目深度估计输出的相对深度转化为绝对深度。
实施例2
一种水下彩色图像复原方法，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：结合步骤一得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及其对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及其对应的深度值，使用非线性最小二乘拟合计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，并在此基础上计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
所述步骤二中，背景光偏移假设：地面无穷远处的真实大气光在RGB 坐标轴中位于经过坐标原点的正立方体对角线上，受大气散射影响后沿着对角线方向向下衰减，随后由于水体对光的吸收和散射作用，雾天背景光从对角线上发生偏移并最终获得实际拍摄得到的水下背景光。
所述步骤二中，水下彩色图像全局背景光的计算：利用步骤一中得到的深度图，选取输入的水下彩色图像中景深最远的设定比例(如1％) 像素点，计算所述像素点的平均值，像素点的平均值用于计算全局背景光；
水下背景光修正为雾天背景光的方法：在将水下背景光修正为雾天背景光过程中，依据背景光偏移假设的逆推，以坐标原点为圆心，原点到水下背景光/>的距离为半径做圆，并将其与RGB坐标轴中经过原点的空间正立方体对角线的交点视作雾天背景光/>
所述步骤二中，背景光偏移分量的计算:
实施例3
一种水下彩色图像复原方法，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：结合步骤一得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及其对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及其对应的深度值，使用非线性最小二乘拟合计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，并在此基础上计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
所述步骤三中，背景光修正的水下成像模型为：
其中，Iwater为输入的水下彩色图像；Jc为目标物体的反射光强；z为目标物体到相机之间的距离，即场景深度；βD为目标物体反射光的衰减系数，主要与场景深度和水体等相关；βB为背景光的衰减系数，主要与水体散射和衰减系数、背景光谱等相关；为水下无穷远处的背景光；/>为水下背景光/>修正后得到的雾天背景光。
所述步骤三中，水下偏移分量的建模如下：
其中，表示水下偏移分量；/>为步骤二中计算得到的水下全局背景光；/>为步骤二中由水下背景光修正得到的雾天背景光；βB为水下偏移分量的衰减系数；z为步骤一中得到的深度值；Jc'为残差分量；βD'为残差分量衰减系数。
所述步骤三中，选取水下偏移分量离散点及其对应的深度值的方法如下：将原始彩色图像依据场景深度划分为M(如10)个均匀的区域，在每个区域中寻找RGB三元组最小的设定比例(如1％)处的像素点，并用集合Ω表示；由步骤一得到的深度图获得集合Ω中对应像素点的深度值z；将集合Ω中的离散像素点利用步骤二中水下背景光修正为雾天背景光的方法进行修正，计算修正前后的差值作为水下偏移分量的离散近似值。
实施例4
一种水下彩色图像复原方法，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：结合步骤一得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及其对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及其对应的深度值，使用非线性最小二乘拟合计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，并在此基础上计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
所述步骤四中，采用步骤三中选取的水下偏移分量离散点及其对应的深度值拟合水下偏移分量。优选的，利用非线性最小二乘方法拟合水下偏移分量，采用残差平方和最小原则，即最小化如下函数：
其中，S为目标函数；k为步骤三中选取的水下偏移分量离散点的总个数；表示步骤三中选取的某一水下偏移分量离散点的值；/>为步骤二中计算得到的水下全局背景光；/>为步骤二中由水下背景光修正得到的雾天背景光；βB为水下偏移分量的衰减系数；zi为步骤三中选取的某一水下偏移分量离散点对应的深度值；Jc'为残差分量；βD'为残差分量衰减系数。
进一步，确定水下偏移分量衰减系数βB，残差分量Jc'和残差分量衰减系数βD'的方法如下：利用最优化方法，将S作为目标函数，将其中的未知参数βB、Jc'和βD'视作变量，采用三维无约束最优化搜索方法来系统地调整未知参数的值，使得S最小时的βB、Jc'和βD'的值即为所求。
进一步，确定含雾图像的方法如下：确定水下偏移分量衰减系数βB，残差分量Jc'和残差分量衰减系数βD'的值后，将步骤一得到的深度图代入计算得到整幅图像的水下偏移分量，利用原始水下彩色图像减去水下偏移分量得到含雾图像。
所述步骤五中，以修正后的背景光为中心均匀地向四周发散雾线，利用霍夫投票将所有像素点投票给不同的雾线，基于雾线先验得到的雾天图像的球坐标公式为：
Ihaze(x)＝[r(x),θ(x),φ(x)]
其中，x表示含雾图像中的像素点；Ihaze(x)为像素点对应的像素值； (θ(x),φ(x))为预先设定的以背景光为中心的不同角度的均匀雾线；r(x)则代表雾线中每一像素点到背景光/>的距离。
实施例5
一种水下彩色图像复原方法，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：结合步骤一得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及其对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及其对应的深度值，使用非线性最小二乘拟合计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，并在此基础上计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
所述步骤五中，选取每根雾线中距离背景光合适距离处的像素点作为这根雾线中的清晰像素点的公式如下所示：
其中，为每根雾线中清晰像素点到背景光/>的距离；x为含雾图像中的像素点；H为任一给定雾线；r(x)为雾线H中每一像素点到背景光/>的距离；μ为经验调节参数；/>为雾线H中距离背景光/>最远的像素点；d为判断每根雾线中距离背景光/>最远处的像素点作为对雾线H中清晰像素点的估计是否合适的界定值。优选的，我们定义d的值为背景光/>到亮度为0的像素点(RGB坐标原点)距离的一半。
所述步骤五中，优化后的雾天图像透射率公式为：
其中，t0为防止因透射率较低导致复原效果较差而人工设置的阈值，优选地，t0＝0.2。
实施例6
一种水下彩色图像复原方法，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：结合步骤一得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及其对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及其对应的深度值，使用非线性最小二乘拟合计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，并在此基础上计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
所述步骤六中，利用步骤二中得到的雾天图像背景光和步骤五中优化后的透射率计算清晰的光学图像，复原公式为：
其中，x为含雾图像中的像素点；Jc(x)为复原后的图像；Ihaze(x)为含雾图像；为步骤二中由水下图像背景光修正得到的雾天图像背景光；/>为步骤五中计算得到的透射率；εc为经验调节参数。
一种水下彩色图像复原系统，其特征在于，包括以下功能模块：
深度估计模块：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
背景光偏移估计模块：利用得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
水下成像模型修正模块：采用背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及对应的深度值；
水下图像去水模块：采用选取的水下偏移分量离散点及其对应的深度值，使用非线性最小二乘拟合计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
透射率优化模块：以由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，计算去水后的雾天图像的优化透射率；
含雾图像复原模块：根据得到的雾天图像背景光和优化后的透射率，由图像复原的公式计算得到复原图像。
一种计算可读取存储介质，用于存储上述水下彩色图像复原方法或系统。
以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。
Claims (10)
1.一种水下彩色图像复原方法，其特征在于，包括以下步骤：
步骤一：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
步骤二：利用得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
步骤三：采用步骤二中的背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及对应的深度值；
步骤四：采用步骤三中选取的水下偏移分量离散点及对应的深度值，使用拟合算法计算全局水下偏移分量，再利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
步骤五：以步骤二中由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，计算去水后的雾天图像的优化透射率；
步骤六：根据步骤二中得到的雾天图像背景光和步骤五中优化后的透射率，由图像复原的公式计算得到复原图像。
2.根据权利要求1所述的一种水下彩色图像复原方法，其特征在于：所述步骤一中，使用自适应直方图均衡对单目深度估计网络的输入图像进行预处理，将单目深度估计网络输出的相对深度转化为绝对深度的转化公式为：
其中，dr为单目深度估计网络输出的相对深度；da为绝对深度；和/>分别为相对深度的最大值和最小值；m和n分别是人为估计最大能见距离和最小能见距离。
3.根据权利要求1所述的一种水下彩色图像复原方法，其特征在于：所述步骤二中，水下彩色图像全局背景光的计算：
利用步骤一中得到的深度图，选取输入的水下彩色图像中景深最远的设定比例像素点，计算所述像素点的平均值，像素点的平均值用于计算全局背景光。
4.根据权利要求3所述的一种水下彩色图像复原方法，其特征在于：水下背景光修正为雾天背景光的方法：在将水下背景光修正为雾天背景光/>过程中，依据背景光偏移假设的逆推，以坐标原点为圆心，原点到水下背景光/>的距离为半径做圆，并将其与RGB坐标轴中经过原点的空间正立方体对角线的交点视作雾天背景光/>
所述背景光偏移假设：地面无穷远处的真实大气光在RGB坐标轴中位于经过坐标原点的正立方体对角线上，受大气散射影响后沿着对角线方向向下衰减，随后由于水体对光的吸收和散射作用，雾天背景光从对角线上发生偏移并最终获得实际拍摄得到的水下背景光。
5.根据权利要求3所述的一种水下彩色图像复原方法，其特征在于：所述步骤三中，背景光修正的水下成像模型为：
其中，Iwater为输入的水下彩色图像；Jc为目标物体的反射光强；z为目标物体到相机之间的距离，即场景深度；βD为目标物体反射光的衰减系数；βB为背景光的衰减系数；为水下无穷远处的背景光；/>为水下背景光/>修正后得到的雾天背景光。
6.根据权利要求3所述的一种水下彩色图像复原方法，其特征在于：所述步骤三中，水下偏移分量的建模如下：
其中，表示水下偏移分量；/>为步骤二中计算得到的水下全局背景光；/>为步骤二中由水下背景光修正得到的雾天背景光；βB为水下偏移分量的衰减系数；z为步骤一中得到的深度值；Jc'为残差分量；βD'为残差分量衰减系数。
7.根据权利要求3所述的一种水下彩色图像复原方法，其特征在于：所述步骤三中，选取水下偏移分量离散点及其对应的深度值的方法如下：将原始彩色图像依据场景深度划分为M个均匀的区域，在每个区域中寻找RGB三元组最小的设定比例处的像素点，并用集合Ω表示；由步骤一得到的深度图获得集合Ω中对应像素点的深度值z；将集合Ω中的离散像素点利用步骤二中水下背景光修正为雾天背景光的方法进行修正，计算修正前后的差值作为水下偏移分量的离散近似值。
8.根据权利要求1所述的一种水下彩色图像复原方法，其特征在于：所述步骤四中，采用步骤三中选取的水下偏移分量离散点及其对应的深度值拟合水下偏移分量,利用非线性最小二乘方法拟合水下偏移分量，采用残差平方和最小原则，即最小化如下函数：
其中，S为目标函数；k为步骤三中选取的水下偏移分量离散点的总个数；表示步骤三中选取的某一水下偏移分量离散点的值；/>为步骤二中计算得到的水下全局背景光；为步骤二中由水下背景光修正得到的雾天背景光；βB为水下偏移分量的衰减系数；zi为步骤三中选取的某一水下偏移分量离散点对应的深度值；Jc'为残差分量；βD'为残差分量衰减系数。
9.一种水下彩色图像复原系统，其特征在于，包括以下功能模块：
深度估计模块：对原始水下彩色图像进行预处理后，利用单目深度估计网络获得相对深度图，并将相对深度转化为绝对深度；
背景光偏移估计模块：利用得到的深度图计算原始彩色图像的全局背景光，再将计算得到的水下背景光依据背景光偏移假设修正为雾天背景光，并将水下背景光和雾天背景光的差值视作背景光偏移分量；
水下成像模型修正模块：采用背景光偏移分量，建立背景光修正的水下成像模型以及水下偏移分量模型，并选取水下偏移分量离散点及对应的深度值；
水下图像去水模块：采用选取的水下偏移分量离散点及其对应的深度值，使用拟合算法计算全局水下偏移分量，随后利用原始水下彩色图像减去全局水下偏移分量得到去水后的雾天图像；
透射率优化模块：以由水下背景光修正得到的雾天背景光为中心建立雾线模型，选取每根雾线中的清晰像素点，计算去水后的雾天图像的优化透射率；
含雾图像复原模块：根据得到的雾天图像背景光和优化后的透射率，由图像复原的公式计算得到复原图像。
10.一种计算可读取存储介质，其特征在于：用于存储权利要求1-8任一项所述的水下彩色图像复原方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111404314.4A CN113989164B (zh) | 2021-11-24 | 2021-11-24 | 一种水下彩色图像复原方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111404314.4A CN113989164B (zh) | 2021-11-24 | 2021-11-24 | 一种水下彩色图像复原方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113989164A CN113989164A (zh) | 2022-01-28 |
| CN113989164B true CN113989164B (zh) | 2024-04-09 |
Family
ID=79750304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111404314.4A Active CN113989164B (zh) | 2021-11-24 | 2021-11-24 | 一种水下彩色图像复原方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989164B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926353B (zh) * | 2022-04-19 | 2023-05-23 | 中山大学 | 一种水下图像复原方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
| CN109118446A (zh) * | 2018-07-30 | 2019-01-01 | 西南财经大学 | 一种水下图像复原及去噪方法 |
| CN110135434A (zh) * | 2018-11-13 | 2019-08-16 | 天津大学青岛海洋技术研究院 | 基于颜色线模型的水下图像质量提升算法 |
| CN110335210A (zh) * | 2019-06-11 | 2019-10-15 | 长江勘测规划设计研究有限责任公司 | 一种水下图像复原方法 |
-
2021
- 2021-11-24 CN CN202111404314.4A patent/CN113989164B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
| CN109118446A (zh) * | 2018-07-30 | 2019-01-01 | 西南财经大学 | 一种水下图像复原及去噪方法 |
| CN110135434A (zh) * | 2018-11-13 | 2019-08-16 | 天津大学青岛海洋技术研究院 | 基于颜色线模型的水下图像质量提升算法 |
| CN110335210A (zh) * | 2019-06-11 | 2019-10-15 | 长江勘测规划设计研究有限责任公司 | 一种水下图像复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周丽丽 ; 朱佳琦 ; 王桥桥 ; 蒋玉红 ; .基于雾线暗通道先验的水下图像复原方法.南京邮电大学学报(自然科学版).2020,(04),68-73. * |
| 蒋泽新 ; 朴燕 ; .基于电磁理论的水下图像色彩补偿.激光与光电子学进展.2018,(08),237-242. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113989164A (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
| CN107767354A (zh) | 一种基于暗原色先验的图像去雾算法 | |
| CN108596853A (zh) | 基于背景光统计模型和传输地图优化的水下图像增强方法 | |
| CN110428389B (zh) | 基于msr理论和曝光融合的微光图像增强方法 | |
| CN110910456B (zh) | 基于Harris角点互信息匹配的立体相机动态标定方法 | |
| CN112837233A (zh) | 一种基于差分偏振获取透射率的偏振图像去雾方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN111354077A (zh) | 一种基于双目视觉的三维人脸重建方法 | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| CN113989164B (zh) | 一种水下彩色图像复原方法、系统及存储介质 | |
| CN111833258A (zh) | 一种基于双透射率水下成像模型的图像颜色校正方法 | |
| Li et al. | Underwater image restoration based on improved background light estimation and automatic white balance | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN110880191B (zh) | 基于直方图均衡化的红外立体相机动态外参计算方法 | |
| CN113344796A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN106709876B (zh) | 一种基于暗像元原理的光学遥感图像去雾方法 | |
| CN112200755B (zh) | 一种图像去雾方法 | |
| CN112419163A (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
| CN116757949A (zh) | 一种大气-海洋散射环境退化图像复原方法及系统 | |
| CN111541886A (zh) | 一种应用于浑浊水下的视觉增强系统 | |
| Zhang et al. | An underwater image enhancement method based on local white balance | |
| CN112598777B (zh) | 一种基于暗通道先验的雾霾融合方法 | |
| CN113888420A (zh) | 一种基于修正模型的水下图像复原方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |