CN113538309A - 水下散射图像多尺度融合复原方法和装置 - Google Patents
水下散射图像多尺度融合复原方法和装置 Download PDFInfo
- Publication number
- CN113538309A CN113538309A CN202110779046.8A CN202110779046A CN113538309A CN 113538309 A CN113538309 A CN 113538309A CN 202110779046 A CN202110779046 A CN 202110779046A CN 113538309 A CN113538309 A CN 113538309A
- Authority
- CN
- China
- Prior art keywords
- image
- input image
- weight map
- fusion
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000007499 fusion processing Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000010287 polarization Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提出了一种水下散射图像融合复原方法，涉及抗散射成像技术领域，其中，该方法包括：通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出一幅图像，作为第一输入图像；对第一输入图像进行视觉增强处理，得到第二输入图像；分别计算第一输入图像、第二输入图像融合过程中的权重图；根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图。本申请消除后向散射的同时对图像的颜色、对比度进行了增强，实现了水下目标的清晰成像。
Description
技术领域
本申请涉及抗散射成像技术领域，尤其涉及一种水下散射图像多尺度融合复原方法和装置。
背景技术
近年来，海洋环境探测特别是水下探测技术越来越得到人们的关注。水下资源开发的迫切需求对高质量的水下成像技术提出了要求。水下成像技术主要受两方面因素的制约：一是受水体和水中粒子的吸收，二是受水体和水中粒子的散射，造成水下图像颜色偏移，对比度低，图像模糊的问题，因此恢复水下场景正常颜色、提高对比度、增强细节成为许多学者研究的重点。
传统的水下成像技术有距离选通技术和激光扫描技术。距离选通技术利用目标反射光和后向散射光到达探测器的时间的不同，设计一个时序信号控制相机快门的开闭以达到消除后向散射光的目的。激光扫描技术利用小视场的激光扫描目标实现成像，利用小视场不容易接收散射光的特点达到消除后向散射光的目的。但传统的水下成像技术成本高，限制多。
为了更好地对水下目标进行成像，水下偏振成像技术发展起来。有学者进行水下强度图像和偏振度信息融合的研究，全面表征目标及背景特性。但由于目标表面粗糙度会影响反射光的偏振状态，因此直接获取目标偏振度对图像效果提升有限。为更加有效地利用目标的偏振特性，学者们提出了一种水下主动照明的偏振差分成像技术。该技术通过在探测器前调整检偏器获得一组正交图，利用子图像中的偏振信息不同作差来消除后向散射光。
对水下图像的恢复方法还有利用图像增强的手段来改善水下图像的视觉质量，例如，Bazeille等人通过对水下图像进行同态滤波、小波去噪、各向异性滤波、颜色均衡的预处理可以使图像的对比度得到增强；Hitam等人利用对比度受限制的自适应直方图均衡法(CLAHE)，将RGB空间和HSV空间里经过CLAHE处理的结果相结合，能够有效降低噪声；Singh等人利用传统图像增强方法中的小波变换法也能够提高成像质量，消除颜色畸变；C.Ancuti等人将图像融合技术应用到水下成像，通过对两个预先进行颜色校正和滤波处理的退化图像作为融合的输入，可以获得符合期望的结果。
上述水下偏振差分成像方法不能解决水下场景颜色偏移的问题，并且恢复出的图像在对比度和细节上略显不足。单纯的图像增强方法又没有考虑到真实的物理成像过程，恢复出的图像仍与实际图像不符。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种水下散射图像融合复原方法，解决了水下成像技术受水体和水中粒子的散射造成水下图像颜色偏移、对比度低、图像模糊的问题，也解决了传统的水下成像技术成本高，限制多的问题，还解决了现有方法恢复出的图像在对比度和细节上略显不足的技术问题，提出了一种水下散射图像融合复原方法，消除后向散射的同时对图像的颜色进行了校正，对比度进行了增强，实现水下目标的清晰且真实地成像。
本申请的第二个目的在于提出一种水下散射图像融合复原装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种水下散射图像融合复原方法，包括：通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；对第一输入图像进行视觉增强处理，得到第二输入图像；分别计算第一输入图像、第二输入图像融合过程中的权重图；根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图。
可选地，在本申请的一个实施例中，通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像，包括：
利用水体对RGB三通道衰减不同的先验信息估计水下图像的三个通道的透射率；
对水下图像进行暗通道操作得到暗通道图像；
将暗通道图像中像素值最大的点作为环境光光强，再通过物理成像模型将估计的参数代入反演得到第一输入图像。
可选地，在本申请的一个实施例中，对第一输入图像进行的视觉增强处理步骤包括白平衡、伽马校正、锐化处理，得到第二输入图像。
可选地，在本申请的一个实施例中，计算第一输入图像融合过程中的权重图，包括以下步骤：
计算第一输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图；
对拉普拉斯对比度权重图、显著性权重图和饱和度权重图进行归一化处理，生成第一输入图像融合过程中的权重图。
可选地，在本申请的一个实施例中，拉普拉斯对比度权重图表示为：
其中，Ir、Ig、Ib为输入一的红、绿、蓝通道，L'为对第一输入图像转换到Lab空间的L通道作拉普拉斯滤波得到的结果；
对第一输入图像进行高斯滤波，将滤波后的图像转换到Lab空间，得到显著性权重图，其中，
滤波后的图像表示为：
其中
为滤波后的图像，I为第一输入图像，G表示高斯滤波操作。
显著性权重图表示为：
其中L、a、b分别为图像
在Lab空间的三个通道；
饱和度权重图表示为：
其中，Ir、Ig、Ib表示第一输入图像的RGB三通道，L表示下一层的下采样图像。
进行归一化处理得到第一输入图像融合过程中的权重图，具体表示为：
其中，Wc1、Ws1、Wsat1表示第一输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，Wc2、Ws2、Wsat2表示第二输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，δ表示数值很小的正则项，以确保每个输入都对结果有贡献，δ＝0.1。
可选地，在本申请的一个实施例中，将第一输入图像与第二输入图像乘以相应的权重后，通过图像融合方法得到一张清晰图像，其图像融合方法包括拉普拉斯金字塔融合、PCA融合和小波融合。
为达上述目的，本申请第二方面实施例提出了一种水下散射图像融合复原装置，包括：第一输入图像生成模块、第二输入生成图像模块、权重图生成模块、融合图像生成模块，其中，
第一输入图像生成模块，用于通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；
第二输入图像生成模块，用于对第一输入图像进行视觉增强处理，得到第二输入图像；
权重图生成模块，用于计算第一输入图像、第二输入图像融合过程中的权重图；
融合图像生成模块，用于根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图。
可选地，在本申请的一个实施例中，第一输入图像生成模块，还用于：
利用水体对RGB三通道衰减不同的先验信息估计水下图像的三个通道的透射率；
对水下图像进行暗通道操作得到暗通道图像；
将暗通道图像中像素值最大的点作为环境光光强，再通过物理成像模型将估计的参数代入反演得到第一输入图像。
为了实现上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行一种水下散射图像多尺度融合复原方法和装置。
本申请实施例的水下散射图像融合复原方法、水下散射图像融合复原装置和非临时性计算机可读存储介质，解决了传统基于物理模型的图像复原方法不能解决水下场景颜色偏移的问题，同时也解决了图像增强方法未考虑到真实的物理成像过程恢复出的图像仍与实际图像不符的问题，提出了一种水下散射图像融合复原方法，消除后向散射的同时对图像的颜色进行了校正，对比度进行了增强，实现了水下目标的清晰且真实地成像。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种水下散射图像融合复原方法的流程图；
图2为本申请实施例的水下散射图像融合复原方法的算法流程图；
图3为本申请实施例的水下散射图像融合复原方法的恢复效果图；
图4为本申请实施例二所提供的一种水下散射图像融合复原装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的水下散射图像融合复原方法和装置。
图1为本申请实施例一所提供的一种水下散射图像融合复原方法的流程图。
如图1所示，该水下散射图像融合复原方法包括以下步骤：
步骤101，通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；
步骤102，对第一输入图像进行视觉增强处理，得到第二输入图像；
步骤103，分别计算第一输入图像、第二输入图像融合过程中的权重图；
步骤104，根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图。
本申请实施例的水下散射图像融合复原方法，通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；对第一输入图像进行视觉增强处理，得到第二输入图像；分别计算第一输入图像、第二输入图像融合过程中的权重图；根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图。由此，能够解决传统基于物理模型的图像复原方法不能解决水下场景颜色偏移的问题，同时可以解决图像增强方法未考虑到真实的物理成像过程恢复出的图像仍与实际图像不符的问题，提出了一种水下散射图像融合复原方法，消除后向散射的同时对图像的颜色进行了校正，对比度进行了增强，实现了水下目标的清晰且真实地成像。
进一步地，在本申请实施例中，通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像，包括：
利用水体对RGB三通道衰减不同的先验信息估计水下图像的三个通道的透射率；
对水下图像进行暗通道操作得到暗通道图像；
将暗通道图像中像素值最大的点作为环境光光强，再通过物理成像模型将估计的参数代入反演得到第一输入图像。
使用Unon-local(不限于Unon-local方法，还可以用UDCP、sea-thru等基于物理模型的图像复原方法)方法对水下拍摄的降质图像作处理，得到一张初步恢复的图像作为第一输入图像。
得到一张初步恢复的图像作为第一输入图像后，由于此时的图像颜色还有些偏移，并且对比度不高，不能符合预期的期待，对第一输入图像进行视觉增强处理。
进一步地，在本申请实施例中，对第一输入图像进行的视觉增强处理步骤包括白平衡、伽马校正、锐化处理，得到第二输入图像。
第二输入图像表示为：
S＝(I+N{I-G*I})/2
其中S表示锐化后的第二输入图像，N表示线性归一化操作，G表示高斯滤波。
进一步地，在本申请实施例中，计算第一输入图像融合过程中的权重图，包括以下步骤：
计算第一输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图；
对拉普拉斯对比度权重图、显著性权重图和饱和度权重图进行归一化处理，生成第一输入图像融合过程中的权重图。
计算第一输入图像的拉普拉斯对比度权重，显著性权重和饱和度权重。拉普拉斯对比度权重通过计算应用于每个输入亮度通道的拉普拉斯滤波器的绝对值来估计全局对比度；显著性权重强调在水下场景中失去突出地位的显著物体；饱和度权重是使融合算法能够通过充分利用高度饱和的区域来适应色度信息。
进一步地，在本申请实施例中，拉普拉斯对比度权重图表示为：
其中，Ir、Ig、Ib为输入一的红、绿、蓝通道，L'为对第一输入图像转换到Lab空间的L通道作拉普拉斯滤波得到的结果；
对第一输入图像进行高斯滤波，将滤波后的图像转换到Lab空间，得到显著性权重图，其中，
滤波后的图像表示为：
其中
为滤波后的图像，I为第一输入图像，G表示高斯滤波操作。
显著性权重图表示为：
其中L、a、b分别为图像
在Lab空间的三个通道；
饱和度权重图表示为：
其中，Ir、Ig、Ib表示第一输入图像的RGB三通道，L表示下一层的下采样图像。
进行归一化处理得到第一输入图像融合过程中的权重图，具体表示为：
其中，Wc1、Ws1、Wsat1表示第一输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，Wc2、Ws2、Wsat2表示第二输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，δ表示数值很小的正则项，以确保每个输入都对结果有贡献，δ＝0.1。
同理可得第二输入图像的归一化权重图，具体表示为：
其中，Wc2、Ws2、Wsat2表示第二输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，Wc1、Ws1、Wsat1表示第一输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，δ表示数值很小的正则项，以确保每个输入都对结果有贡献，δ＝0.1。
进一步地，在本申请实施例中，将第一输入图像与第二输入图像乘以相应的权重后，通过图像融合方法得到一张清晰图像，图像融合方法包括拉普拉斯金字塔融合、PCA融合和小波融合。
使用Laplacian pyramid fusion(不限于Laplacian pyramid fusion，还可以使用PCA fusion、Wavelet fusion等)根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图，包括以下步骤：
对第一输入图像和第二输入图像进行拉普拉斯金字塔处理，将每层图像减去下一层下采样图得到差值图；
对对应的权重图进行高斯金字塔处理；
在每一层中，将差值图分别乘以对应各自的权重图得到这层的融合图；
从最下层往上进行上采样重建，得到原始尺寸的融合图。
在每一层金字塔里，将差值图分别乘以对应各自的权重图得到这层的融合图，具体如下：
Rk＝Ik1·Wk1+Ik2·Wk2
其中下标k表示第k层金字塔，Rk为第k层的融合图。
图2为本申请实施例的水下散射图像融合复原方法的算法流程图。
如图2所示，该水下散射图像融合复原方法，使用Unon-local的方法对水下拍摄的降质图像作处理，得到一张初步恢复的图像作为输入一；对输入一图像作锐化处理，得到的锐化图像作为输入二；分别计算输入一、输入二的拉普拉斯对比度权重图，显著性权重图和饱和度权重图；分别对输入一、输入二的三个权重图作归一化处理，得到权重一、权重二；根据输入一和输入二的权重图作拉普拉斯金字塔融合，得到恢复图。
图3为本申请实施例的水下散射图像融合复原方法的恢复效果图。
如图3所示，该水下散射图像融合复原方法，消除后向散射的同时对图像的颜色进行了校正，对比度进行了增强，实现水下目标的清晰成像。
图4为本申请实施例二所提供的一种水下散射图像融合复原装置的结构示意图。
如图4所示，水下散射图像融合复原装置，包括：第一输入图像生成模块、第二输入生成图像模块、权重图生成模块、融合图像生成模块，其中，
第一输入图像生成模块10，用于通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；
第二输入图像生成模块20，用于对第一输入图像进行视觉增强处理，得到第二输入图像；
权重图生成模块30，用于计算第一输入图像、第二输入图像融合过程中的权重图；
融合图像生成模块40，用于根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图。
进一步地，在本申请实施例中，第一输入图像生成模块，还用于：
利用水体对RGB三通道衰减不同的先验信息估计水下图像的三个通道的透射率；
对水下图像进行暗通道操作得到暗通道图像；
将暗通道图像中像素值最大的点作为环境光光强，再通过物理成像模型将估计的参数代入反演得到第一输入图像。
本申请实施例的水下散射图像融合复原装置，包括：第一输入图像生成模块、第二输入生成图像模块、权重图生成模块、融合图像生成模块，其中，第一输入图像生成模块，用于通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；第二输入图像生成模块，用于对第一输入图像视觉增强处理，得到第二输入图像；权重图生成模块，用于计算第一输入图像、第二输入图像融合过程中的权重图；融合图像生成模块，用于根据第一输入图像和对应的权重图、第二输入图像和对应的权重图生成融合图。由此，能够解决传统基于物理模型的图像复原方法不能解决水下场景颜色偏移的问题，同时可以解决图像增强方法未考虑到真实的物理成像过程恢复出的图像仍与实际图像不符的问题，提出了一种水下散射图像融合复原方法，消除后向散射的同时对图像的颜色进行了校正，对比度进行了增强，实现了水下目标的清晰且真实地成像。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的水下散射图像多尺度融合复原方法和装置。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种水下散射图像融合复原方法，其特征在于，包括以下步骤：
通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；
对所述第一输入图像进行视觉增强处理，得到第二输入图像；
分别计算所述第一输入图像、所述第二输入图像融合过程中的权重图；
根据所述第一输入图像和对应的权重图、所述第二输入图像和对应的权重图生成融合图。
2.如权利要求1所述的方法，其特征在于，通过分析水下图像的物理成像模型，对物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像，包括：
利用水体对RGB三通道衰减不同的先验信息估计所述水下图像的三个通道的透射率；
对所述水下图像进行暗通道操作得到暗通道图像；
将所述暗通道图像中像素值最大的点作为环境光光强，再通过所述物理成像模型将估计的参数代入反演得到所述第一输入图像。
3.如权利要求1所述的方法，其特征在于，所述对第一输入图像进行的视觉增强处理步骤包括白平衡、伽马校正、锐化处理，得到所述第二输入图像。
4.如权利要求1所述的方法，其特征在于，计算所述第一输入图像融合过程中的权重图，包括以下步骤：
计算所述第一输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图；
对所述拉普拉斯对比度权重图、显著性权重图和饱和度权重图进行归一化处理，生成所述第一输入图像融合过程中的权重图。
5.如权利要求4所述的方法，其特征在于，所述拉普拉斯对比度权重图表示为：
其中，Ir、Ig、Ib为输入一的红、绿、蓝通道，L'为对所述第一输入图像转换到Lab空间的L通道作拉普拉斯滤波得到的结果；
对所述第一输入图像进行高斯滤波，将滤波后的图像转换到Lab空间，得到所述显著性权重图，其中，
所述滤波后的图像表示为：
其中
为滤波后的图像，I为所述第一输入图像，G表示高斯滤波操作。
所述显著性权重图表示为：
其中L、a、b分别为图像
在Lab空间的三个通道；
所述饱和度权重图表示为：
其中，Ir、Ig、Ib表示所述第一输入图像的RGB三通道，L表示下一层的下采样图像。
进行归一化处理得到所述第一输入图像融合过程中的权重图，具体表示为：
其中，Wc1、Ws1、Wsat1表示所述第一输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，Wc2、Ws2、Wsat2表示所述第二输入图像的拉普拉斯对比度权重图、显著性权重图和饱和度权重图，δ表示数值很小的正则项，以确保每个输入都对结果有贡献，δ＝0.1。
6.如权利要求1所述的方法，其特征在于，将第一输入图像与第二输入图像乘以相应的权重后，通过图像融合方法得到一张清晰图像，所述图像融合方法包括拉普拉斯金字塔融合、PCA融合和小波融合。
7.一种水下散射图像融合复原装置，其特征在于，包括第一输入图像生成模块、第二输入生成图像模块、权重图生成模块、融合图像生成模块，其中，
所述第一输入图像生成模块，用于通过分析水下图像的物理成像模型，对所述物理成像模型中的参数进行估计从而反演恢复出图像，得到第一输入图像；
所述第二输入图像生成模块，用于对所述第一输入图像进行视觉增强处理，得到第二输入图像；
所述权重图生成模块，用于计算所述第一输入图像、所述第二输入图像融合过程中的权重图；
所述融合图像生成模块，用于根据所述第一输入图像和对应的权重图、所述第二输入图像和对应的权重图生成融合图。
8.如权利要求7所述的装置，其特征在于，所述第一输入图像生成模块，还用于：
利用水体对RGB三通道衰减不同的先验信息估计所述水下图像的三个通道的透射率；
对所述水下图像进行暗通道操作得到暗通道图像；
将所述暗通道图像中像素值最大的点作为环境光光强，再通过所述物理成像模型将估计的参数代入反演得到所述第一输入图像。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110779046.8A CN113538309A (zh) | 2021-07-09 | 2021-07-09 | 水下散射图像多尺度融合复原方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110779046.8A CN113538309A (zh) | 2021-07-09 | 2021-07-09 | 水下散射图像多尺度融合复原方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113538309A true CN113538309A (zh) | 2021-10-22 |
Family
ID=78098267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110779046.8A Pending CN113538309A (zh) | 2021-07-09 | 2021-07-09 | 水下散射图像多尺度融合复原方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538309A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240800A (zh) * | 2021-12-22 | 2022-03-25 | 清华大学 | 面向散射场景的编码摄像图像增强方法及装置 |
| CN115034997A (zh) * | 2022-06-28 | 2022-09-09 | 中国石油大学(华东) | 图像处理方法及装置 |
-
2021
- 2021-07-09 CN CN202110779046.8A patent/CN113538309A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240800A (zh) * | 2021-12-22 | 2022-03-25 | 清华大学 | 面向散射场景的编码摄像图像增强方法及装置 |
| CN115034997A (zh) * | 2022-06-28 | 2022-09-09 | 中国石油大学(华东) | 图像处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Galdran | Image dehazing by artificial multiple-exposure image fusion | |
| Ancuti et al. | Color balance and fusion for underwater image enhancement | |
| Chen et al. | Robust image and video dehazing with visual artifact suppression via gradient residual minimization | |
| Ancuti et al. | Night-time dehazing by fusion | |
| Tang et al. | Investigating haze-relevant features in a learning framework for image dehazing | |
| Park et al. | Single image dehazing with image entropy and information fidelity | |
| Chatterjee et al. | Noise suppression in low-light images through joint denoising and demosaicing | |
| Negru et al. | Exponential contrast restoration in fog conditions for driving assistance | |
| JP2015011717A (ja) | 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法 | |
| CN113538309A (zh) | 水下散射图像多尺度融合复原方法和装置 | |
| Barros et al. | Single-shot underwater image restoration: A visual quality-aware method based on light propagation model | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| Wang et al. | Haze removal algorithm based on single-images with chromatic properties | |
| Ali et al. | Lidn: a novel light invariant image dehazing network | |
| Khan et al. | Recent advancement in haze removal approaches | |
| Han et al. | Automatic illumination and color compensation using mean shift and sigma filter | |
| CN112907467A (zh) | 彩虹纹去除方法、装置及电子设备 | |
| Banerjee et al. | Bacterial foraging-fuzzy synergism based image Dehazing | |
| CN113160082B (zh) | 一种基于参考图像的晕影校正方法、系统、装置及介质 | |
| US20210133939A1 (en) | Image processing | |
| CN114418874A (zh) | 一种低照度图像增强方法 | |
| Gautam et al. | An advanced visibility restoration technique for underwater images | |
| Elhefnawy et al. | Effective visibility restoration and enhancement of air polluted images with high information fidelity | |
| Jayanthi et al. | Underwater haze removal using contrast boosted grayscale image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |