CN115496694A - 基于改进图像形成模型对水下图像进行恢复和增强的方法 - Google Patents
基于改进图像形成模型对水下图像进行恢复和增强的方法 Download PDFInfo
- Publication number
- CN115496694A CN115496694A CN202211218289.5A CN202211218289A CN115496694A CN 115496694 A CN115496694 A CN 115496694A CN 202211218289 A CN202211218289 A CN 202211218289A CN 115496694 A CN115496694 A CN 115496694A
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- value
- underwater
- estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 230000006740 morphological transformation Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进图像形成模型对水下图像进行恢复和增强的方法,首先在水下图像的模糊图像区域中提取BL,之后再基于水下图像模糊区域提取的BL得到了图像的场景深度和图像的TM,最后选取三种深度估计方法来估计场景深度的方法,通过得到的三个数值将水下图像进行场景恢复,得到了水下增强的图像;处理后的图像可以与当前的陆地上的目标检测识别技术相融合,实现陆地检测到水下检测的应用。
Description
技术领域
本发明涉及水下图像处理领域,特别涉及一种基于改进图像形成模型对水下图像进行恢复和增强的方法。
背景技术
水下成像在海洋资源勘探、海洋生物识别、海防、水下机器人等方面发挥了重要的作用。由于水对光线的吸收和向后散射特性,造成了水下图像退化现象。通常,不同波长光纤的水体吸收系数也不相同,即各个通道的衰减程度不一致,从而导致了颜色偏移。光的衰减是产生雾状外观的主要原因,而从介质沿视线散射回来的光场景对比度大大降低。
在过去的几年里,水下图像增强在图像处理和水下视觉中都受到了广泛的关注。由于水下环境和光照条件复杂,水下图像的增强是一个具有挑战性的问题。通常,水下图像的退化是由波长相关的吸收和散射,包括前向散射和后向散射,这些不利影响降低了能见度,降低了对比度,甚至引入了色差,限制了水下图像和视频在海洋生物学和考古学,海洋生态等方面的实际应用。为了解决这个问题,早期的方法依赖于多个水下图像或偏振滤波器,而最近的算法只使用单个图像的信息来处理这个问题。尽管水下图像增强算法的研究成果丰富,但由于缺乏公开的真实水下图像数据集,水下图像增强算法的全面研究和深入分析在很大程度上仍不令人满意。此外,对于不同的水体类型,要同时拍摄真实的水下场景和对应的地面真实图像几乎是不可能的。
发明内容
为了解决上述技术问题,本发明提供一种算法简单的基于改进图像形成模型对水下图像进行恢复和增强的方法。
本发明解决上述技术问题的技术方案是:一种基于改进图像形成模型对水下图像进行恢复和增强的方法,包括以下步骤:
1)引入一个空间高斯滤波器,将输入的图像送入高斯滤波器进行处理,图像为水下图像,将处理之后的图像进行顶帽变换,得到了图像的模糊估计;
5)确定了三种候选后,为输入图像分别对R,G,B每个颜色通道选取背景光BL;
6)选取三种深度估计方法来估计场景深度的方法,并融合三种深度估计方法提出新的场景深度估计方法,得到图像初步深度估计值,并经过一系列算法最终确定图像各通道的深度估计;
7)经过场景亮度恢复公式得到水下图像增强的图片。
上述基于改进图像形成模型对水下图像进行恢复和增强的方法,所述步骤1)的具体过程为:
(1-1)计算初始模糊度图Pinit:
其中Ig是原始图像的灰度变换,Gk,σ为经过一个k*k的窗口,方差为σ2的高斯滤波器输出后的图像;r=2n+1,此处的n为迭代次数;
(1-2)经过最大滤波器计算粗略的模糊度图像Pr:
其中Ω(x)是以x为中心的大小为k*k的一个区域;
(1-3)通过对模糊度图像Pr的开运算和顶帽操作,得到最终的细化模糊度图像Pblr:
Pblr(x)=Fg{Cr[Pr(x)]}
其中Pr是对图像进行的开运算,Cr是对图像进行的顶帽变换操作,Fg为模糊度处理总函数。
上述基于改进图像形成模型对水下图像进行恢复和增强的方法,所述步骤2)的具体过程为:将输入图像每个通道像素点进行取以x为中心的大小为k*k的一个区域最小值作为该中心点的像素值,将处理完的图像R,G,B每一通道像素值进行由亮到暗的排序,对每个通道最亮的前0.1%的像素值取平均值作为第一种候选
上述基于改进图像形成模型对水下图像进行恢复和增强的方法,所述步骤3)中:
通过四叉树分别分解图像R,G,B三个通道,分别地将输入图像每个通道分成n个等大小的块,取图像各个通道信息熵最大的区域进行迭代,最终得到每一个通道的信息熵最大区域的数值,将此数值作为第二种候选c∈(R、G、B)。
上述基于改进图像形成模型对水下图像进行恢复和增强的方法,所述步骤4)中:
其中σ2为总体方差;X为R,G,B三通道每一个像素点的值;E(X)为期望值即R,G,B三通道每一通道像素的均值;N为通道的像素点数;通过四叉树分别分解经过步骤1)处理之后的模糊度图像R,G,B三个通道,分别地将输入图像每个通道分成n个等大小的块,取图像各个通道方差最小的区域进行迭代,最终得到每一个通道的方差最小区域的数值作为第三种候选
上述基于改进图像形成模型对水下图像进行恢复和增强的方法,所述步骤5)中:
S(a,v)=[1+e-s(a-v)]-1
其中S是一个经验函数用于处理后续的数值,s为常数,其中a代表图片各个通道像素点亮度大于0.5*225在该通道所有像素点中比例,v是经验值是一常数;
上述基于改进图像形成模型对水下图像进行恢复和增强的方法,所述步骤6)中:
Fs为一个拉伸函数,V是自变量,max(V)为自变量V中最大值,min(V)为自变量V中最小值;
通过假设保留更多红光的场景点离摄像机更近,直接从红色通道地图获得深度的第一个估计:
根据水下固有的光学性质,其中λc为R,G,B通道光的波长,βk表示蓝、绿通道衰减系数,βr表示红色通道衰减系数,为红色通道BL估计值,γ=-0.00113,σ=1.62517,为蓝、绿通道TM估计值,为蓝、绿通道BL估计值。
上述基于改进图像形成模型对水下图像进行恢复和增强的方法,所述步骤7)中:
本发明的有益效果在于:本发明提出了一种基于光吸收和图像模糊相结合的水下图像增强技术,首先在水下图像的模糊图像区域中提取BL,之后再基于水下图像模糊区域提取的BL得到了图像的场景深度和图像的TM,最后选取三种深度估计方法来估计场景深度的方法,通过得到的三个数值将水下图像进行场景恢复,得到了水下增强的图像;处理后的图像可以与当前的陆地上的目标检测识别技术相融合,实现陆地检测到水下检测的应用。
附图说明
图1为本发明的流程图。
图2为本发明四叉树分解示意图。
图3为本发明顶帽变化原图和处理之后的示意图。
图4为本发明水下图像增强对比示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示,一种基于改进图像形成模型对水下图像进行恢复和增强的方法,包括以下步骤:
1)引入一个空间高斯滤波器,将输入的图像送入高斯滤波器进行处理,图像为水下图像,将处理之后的图像进行顶帽变换,得到了图像的模糊估计。
步骤1)的具体过程为:
(1-1)计算初始模糊度图Pinit:
其中Ig是原始图像的灰度变换,Gk,σ为经过一个k*k的窗口,方差为σ2的高斯滤波器输出后的图像,r=2n+1,此处的n为迭代次数;
(1-2)经过最大滤波器计算粗略的模糊度图像Pr:
其中Ω(x)是以x为中心的大小为k*k的一个区域;
(1-3)通过对模糊度图像Pr的开运算和顶帽操作,得到最终的细化模糊度图像Pblr:
Pblr(x)=Fg{Cr[Pr(x)]}
其中Pr是对图像进行的开运算,Cr是对图像进行的顶帽变换操作,如图3所示,顶帽变换是在原图像基础上做出的形态学变换,即用原图像减掉原图像的开运算;Fg为模糊度处理总函数。
步骤2)的具体过程为:将输入图像每个通道像素点进行取以x为中心的大小为k*k的一个区域最小值作为该中心点的像素值,将处理完的图像R,G,B每一通道像素值进行由亮到暗的排序,对每个通道最亮的前0.1%的像素值取平均值作为第一种候选
3)将图像R,G,B三通道的每一通道进行四叉树处理分解,如图2所示,,将图片平均分成四个大小相等的区域,计算区域的相关数值,取符合要求的区域重复上述步骤,直到满足规定的条件;计算各通道区域的信息熵,选取每一通道信息熵最大区域再进行四叉树分解,重复步骤(3)迭代n次,得到第二种候选
其中σ2为总体方差;X为R,G,B三通道每一个像素点的值;E(X)为期望值即R,G,B三通道每一通道像素的均值;N为通道的像素点数;通过四叉树分别分解经过步骤1)处理之后的模糊度图像R,G,B三个通道,分别地将输入图像每个通道分成n个等大小的块,取图像各个通道方差最小的区域进行迭代,最终得到每一个通道的方差最小区域的数值作为第三种候选
5)确定了三种候选后,为输入图像分别对R,G,B每个颜色通道选取背景光BL。
S(a,v)=[1+e-s(a-v)]-1
其中S是一个经验函数用于处理后续的数值,s为常数,其中a代表图片各个通道像素点亮度大于0.5*225在该通道所有像素点中比例,v是经验值是一常数;
6)选取三种深度估计方法来估计场景深度的方法,并融合三种深度估计方法提出新的场景深度估计方法,得到图像初步深度估计值,并经过一系列算法最终确定图像各通道的深度估计。
Fs为一个拉伸函数,V是自变量,max(V)为自变量V中最大值,min(V)为自变量V中最小值;
通过假设保留更多红光的场景点离摄像机更近,直接从红色通道地图获得深度的第一个估计:
根据水下固有的光学性质,其中λc为R,G,B通道光的波长,βk表示蓝、绿通道衰减系数,βr表示红色通道衰减系数,为红色通道BL估计值,γ=-0.00113,σ=1.62517,为蓝、绿通道TM估计值,为蓝、绿通道BL估计值。
7)经过场景亮度恢复公式得到水下图像增强的图片。
如图4所示,图4为本发明水下图像增强对比示意图,相对与原始图像对比,大大提高了图像的清晰程度。
Claims (8)
1.一种基于改进图像形成模型对水下图像进行恢复和增强的方法,其特征在于,包括以下步骤:
1)引入一个空间高斯滤波器,将输入的图像送入高斯滤波器进行处理,图像为水下图像,将处理之后的图像进行顶帽变换,得到了图像的模糊估计;
5)确定了三种候选后,为输入图像分别对R,G,B每个颜色通道选取背景光BL;
6)选取三种深度估计方法来估计场景深度的方法,并融合三种深度估计方法提出新的场景深度估计方法,得到图像初步深度估计值,并经过一系列算法最终确定图像各通道的深度估计;
7)经过场景亮度恢复公式得到水下图像增强的图片。
2.根据权利要求1所述的基于改进图像形成模型对水下图像进行恢复和增强的方法,其特征在于,所述步骤1)的具体过程为:
(1-1)计算初始模糊度图Pinit:
其中Ig是原始图像的灰度变换,Gk,σ为经过一个k*k的窗口,方差为σ2的高斯滤波器输出后的图像;r=2n+1,此处的n为迭代次数;
(1-2)经过最大滤波器计算粗略的模糊度图像Pr:
其中Ω(x)是以x为中心的大小为k*k的一个区域;
(1-3)通过对模糊度图像Pr的开运算和顶帽操作,得到最终的细化模糊度图像Pblr:
Pblr(x)=Fg{Cr[Pr(x)]}
其中Pr是对图像进行的开运算,Cr是对图像进行的顶帽变换操作,Fg为模糊度处理总函数。
7.根据权利要求6所述的所述的基于改进图像形成模型对水下图像进行恢复和增强的方法,其特征在于,所述步骤6)中:
Fs为一个拉伸函数,V是自变量,max(V)为自变量V中最大值,min(V)为自变量V中最小值;
通过假设保留更多红光的场景点离摄像机更近,直接从红色通道地图获得深度的第一个估计:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211218289.5A CN115496694B (zh) | 2022-09-30 | 2022-09-30 | 基于改进图像形成模型对水下图像进行恢复和增强的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211218289.5A CN115496694B (zh) | 2022-09-30 | 2022-09-30 | 基于改进图像形成模型对水下图像进行恢复和增强的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115496694A true CN115496694A (zh) | 2022-12-20 |
CN115496694B CN115496694B (zh) | 2023-07-25 |
Family
ID=84473163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211218289.5A Active CN115496694B (zh) | 2022-09-30 | 2022-09-30 | 基于改进图像形成模型对水下图像进行恢复和增强的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115496694B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705258A (zh) * | 2017-09-19 | 2018-02-16 | 东华大学 | 一种三基色联合预均衡和去模糊的水下图像增强方法 |
CN108257101A (zh) * | 2018-01-16 | 2018-07-06 | 上海海洋大学 | 一种基于最优复原参数的水下图像增强方法 |
CN113269763A (zh) * | 2021-06-03 | 2021-08-17 | 大连海事大学 | 基于深度图复原和亮度估计的水下图像清晰度恢复方法 |
CN115100063A (zh) * | 2022-06-28 | 2022-09-23 | 大连海洋大学 | 基于自监督的水下图像增强方法、装置及计算机存储介质 |
-
2022
- 2022-09-30 CN CN202211218289.5A patent/CN115496694B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705258A (zh) * | 2017-09-19 | 2018-02-16 | 东华大学 | 一种三基色联合预均衡和去模糊的水下图像增强方法 |
CN108257101A (zh) * | 2018-01-16 | 2018-07-06 | 上海海洋大学 | 一种基于最优复原参数的水下图像增强方法 |
CN113269763A (zh) * | 2021-06-03 | 2021-08-17 | 大连海事大学 | 基于深度图复原和亮度估计的水下图像清晰度恢复方法 |
CN115100063A (zh) * | 2022-06-28 | 2022-09-23 | 大连海洋大学 | 基于自监督的水下图像增强方法、装置及计算机存储介质 |
Non-Patent Citations (1)
Title |
---|
宋巍;王;黄冬梅;贺琪;王振华;: "结合背景光融合及水下暗通道先验和色彩平衡的水下图像增强", 模式识别与人工智能, no. 09 * |
Also Published As
Publication number | Publication date |
---|---|
CN115496694B (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107103591B (zh) | 一种基于图像雾霾浓度估计的单幅图像去雾方法 | |
CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
CN107301624B (zh) | 基于区域划分及浓雾预处理的卷积神经网络去雾方法 | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
CN104299192B (zh) | 一种基于大气光散射物理模型的单幅图像去雾方法 | |
CN107767354A (zh) | 一种基于暗原色先验的图像去雾算法 | |
CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
CN108257101B (zh) | 一种基于最优复原参数的水下图像增强方法 | |
CN108154492B (zh) | 一种基于非局部均值滤波的图像去雾霾方法 | |
CN111667433A (zh) | 一种基于简单线性迭代聚类优化的无人机图像去雾方法 | |
CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
CN110675340A (zh) | 一种基于改进的非局部先验的单幅图像去雾方法及介质 | |
CN110689490A (zh) | 一种基于纹理颜色特征和优化透射率的水下图像复原方法 | |
CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
CN110827221A (zh) | 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法 | |
CN107093173A (zh) | 一种图像雾霾浓度的估计方法 | |
CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN105023246B (zh) | 一种基于对比度和结构相似度的图像增强方法 | |
CN110335210B (zh) | 一种水下图像复原方法 | |
CN110349113B (zh) | 一种基于暗原色先验改进的自适应图像去雾方法 | |
CN111598886A (zh) | 一种基于单幅图像的像素级透过率估计方法 | |
CN116757949A (zh) | 一种大气-海洋散射环境退化图像复原方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |