CN111968054B - 基于潜在低秩表示和图像融合的水下图像颜色增强方法 - Google Patents
基于潜在低秩表示和图像融合的水下图像颜色增强方法 Download PDFInfo
- Publication number
- CN111968054B CN111968054B CN202010815229.6A CN202010815229A CN111968054B CN 111968054 B CN111968054 B CN 111968054B CN 202010815229 A CN202010815229 A CN 202010815229A CN 111968054 B CN111968054 B CN 111968054B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- underwater
- channel
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 title claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 10
- 239000003086 colorant Substances 0.000 claims abstract description 8
- 238000005286 illumination Methods 0.000 claims abstract description 7
- 230000008447 perception Effects 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000000875 corresponding effect Effects 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000003707 image sharpening Methods 0.000 claims description 5
- 230000031700 light absorption Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 239000002390 adhesive tape Substances 0.000 claims 1
- 239000011248 coating agent Substances 0.000 claims 1
- 238000000576 coating method Methods 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000003702 image correction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明属于水下图像处理技术领域,公开了一种基于潜在低秩表示和图像融合的水下图像颜色增强方法,具体涉及一种能够对水下图像进行颜色校正、去雾、细节增强等处理的方法,包括以下步骤:1)采用带有颜色补偿的色彩平衡方法消除由照明或不同颜色光线在水中的衰减特性所引起的成像结果中的色偏,以恢复图像的自然色彩;2)利用雾中成像与水下光传播的相似性的特点对图像进行去雾操作,使图像更符合人眼的感知习惯;3)采用潜在低秩表示对图像进行分解,最大限度保留图像中的细节信息,增强场景的边缘和细节;4)通过图像融合的方法得到增强图像。本发明可使得水下图像质量显著提升,为图像特征提取、目标识别、跟踪等研究奠定基础。
Description
技术领域
本发明属于水下图像处理技术领域,尤其涉及一种基于潜在低秩表示和图像融合的水下图像颜色增强方法。
背景技术
近年来,随着陆地资源的匮乏,人们开始把目光投向海洋资源,水下图像处理逐渐成为了相关领域的研究重点。水下图像是海洋信息的重要载体,但是复杂的水下环境及恶劣的光照条件使得获得的水下图像出现严重的退化;由于水体的散射和吸收等因素导致水下图像出现对比度低、噪声大、纹理模糊、雾化效应严重、呈现蓝绿色调及颜色失真等问题,对后续水下图像的特征处理和目标识别、跟踪等有着严重的影响。因此,为了改善水下图像的图像质量,便于后续图像特征提取、目标识别和跟踪等技术的研究,对原始图像的增强处理变得尤为重要。
目前,常见的水下图像颜色增强算法有直方图均衡算法、双直方图均衡算法和灰度世界算法等。这些水下图像颜色校正算法,通常都是针对色偏这个具体问题而提出,能够一定程度地解决色偏问题,而对于水下图像存在的色偏严重、边缘、细节模糊等问题无法恢复,甚至会造成图像的细节信息丢失,进而得到的水下图像的实用性差、影响后续研究结果的准确性。因此,为保证水下图像特征提取、目标识别、跟踪等研究的顺利推进,一种既能够有效校正水下图像颜色失真问题,又能够保留甚至还原图像中边缘和细节等信息的图像颜色增强算法亟待提出。
图像融合是将两幅或多幅同一区域的图像中的信息提取出来,再通过一些方法将其融合到一幅图像中去。由于图像融合被融合的图像所包括的数据信息不仅仅可以是R、G、B三种颜色通道的信息,也可以是明暗、色彩、温度、距离等等,有效克服了传统算法的缺陷,因此,被广泛运用到图像处理研究中来。目前,图像融合领域较为常用的方法就是基于多尺度变换的方法,例如离散小波变换(DWT),轮廓波变换,四元数小波变换等等,这些方法将图像分解,再如一定的融合规则进行融合,取得了较好的效果;然而直接将多尺度的变换方法用于水下图像图像融合效果并不理想,因为这些常用的变换通常没有保留足够细节的能力;XU F等提出了一种基于小波变换的图像融合方法,对低频和高频分量分别进行对比度增强和边缘增强,该方法能有效提高融合图像的对比度,但一些图像背景的细节信息会产生失真;LOU S等提出了一种基于上下文统计相似性和非亚采样剪切变换的融合方法,可以从源图像中获取局部结构信息,能有效地提取图像细节,但图像整体对比度不足;LI等对低频和高频子带图像分别采用基于显著图和区域对比度的融合规则,该方法有效地保留了源图像的信息,细节信息明显,却在一定程度上改变了源图像的结构信息;近年来,基于表征学习的图像融合方法也越来越引起人们的关注,而其中最具有代表的就是稀疏表示(SR)。例如Zong等提出的一种基于SR的医学图像融合方法。该方法利用方向梯度直方图(HOG)特征对图像块进行分类并学习多个子词典,然后,使用l1范数和选择最大策略重构图像。除此之外还有许多基于SR和其他工具的组合方法,例如脉冲耦合神经网络(PCNN)等,尽管基于SR的融合方法获得了良好的效果,但是这些方法不可避免地存在一些缺点,例如获取全局结构的能力受到限制。为此,使用另外一种新的方法,即潜在的低秩表示(LatLRR)。与低秩表示(LRR)不同,潜在的低秩表示(LatLRR)可以从源图像中提取全局结构信息和局部结构信息,能够保留更多的细节信息,应用于水下图像能够得到更好的融合效果。
发明内容
针对现有水下图像颜色校正算法存在的问题,本发明提供了一种基于潜在低秩表示和图像融合的水下图像颜色增强方法。图像的色彩平衡可以有效地校正由于水体对于不同颜色光线的吸收程度不同而引起的色偏;潜在低秩表示与图像融合能够最大限度地提取图像中的细节信息,减少图像细节的丢失,两种算法互补结合,有效地提高图像增强效率和质量。
本发明所采用的技术方案如以下步骤进行:
步骤A:图像色彩平衡与校正
获取输入图像,输入图像I(w,h,3)是一个大小为w×h×3的三维矩阵,w表示宽,h表示高,3表示图像的通道数,通常为图像的RGB三个通道,其中每个通道提取出大小为w×h的二维矩阵,表示源图像中每个通道中所蕴含的空间信息,图像的任意通道信息用IΩ(x,y)来表示,其中Ω表示通道;
步骤A1:对输入图像进行初步的色彩平衡处理,消除因为光照或是不同颜色光线在水中的衰减特性而导致的图像色偏,突出图像边缘的过渡部分,以表现出更多的图片边缘信息:
步骤A10:考虑到水体对光的吸收具有明显的选择性,红色波长较长,光的吸收衰减系数比较大,采用红色通道补偿的方法,来校正水下图像呈现的短波长蓝绿色调;
对源图像进行红色通道色彩补偿,色彩补偿方法为:
步骤A11:采用灰度世界假设对补偿后的图像进一步白色平衡处理,从平均RGB值估计颜色投射,然后计算这些平均值的平均值,从而得到一个灰度值,所有的通道都与之进行比较,从而得到白色平衡的图像;
白平衡处理中,为了标准化图像,像素的缩放因子s为:
其中,arg为图像的亮度估计,以三个通道的均值作为图像的光照估计;argi为各颜色通道的均值;
进而得到完全相同的两幅图像,分别记为IA(x,y,3)和IB(x,y,3);
步骤A2:对图像IA(x,y,3)的3个通道分别进行拉普拉斯锐化处理,突出图像边缘的过渡部分,以表现出更多的图片边缘信息,计算方法为:
IAiL(x,y)=(1+4α)IAi(x,y)-α[IAi(x+1,y)+IAi(x-1,y)+IAi(x,y+1)+IAi(x,y-1)]
其中i表示R、G、B三个通道;α表示锐化强度系数,取大于零的整数,且图像锐化程度与α正相关,得到图像IA(x,y,3)锐化后的图像,记为IAL(x,y,3);
步骤A3:利用雾中成像与水下光传播的相似性的特点对图像进行去雾操作校正图像:把本来线性分布的颜色值校正为非线性分布的值,提高暗色的精度,使图像符合人眼的感知习惯;
步骤A30:如大气中处理雾天成像所采用的去雾算法,采用去雾算法中常用的暗通道先验的方式对水下图像IB(x,y,3)的每个像素信息L(x)进行处理,则处理后的像素信息E(x)计算方式为:
L(x)=E(x)t(x)+B∞(x)[1-t(x)]
其中t(x)表示水下透射率,大气中t(x)=e-β·d(x),β表示大气对光的散射系数,水中t(x)=e-η·d(x),η表示水体对光的衰减系数,B∞(x)表示光强,暗通道先验公式为:
其中Ω是以某一像素点为中心的局部区域,J(λ)则表示R,G,B三通道中的一个;
步骤A31:对于R、G、B三个通道,先分别作最小化运算得到:
其中λ代表R、G、B,经过化简可得:
然后再对三个通道作最小化,得:
步骤A32:依据暗通道先验得公式计算水下折射率t(λ):
步骤A33:借助IB(x,y,3)的暗通道图,求得其亮度大小的前0.1%最亮的像素,进而在IB(x,y,3)中寻找对应的具有最高亮度的点的平均值,作为B∞(x)值;
步骤A34:如步骤A30到A33的方法,计算出去雾以后的图像信息E(λ):
其中,t0是为了防止t近似于0而导致图像噪声放大,并将经过暗通道先验算法的图像IB(x,y,3)记为IBQ(x,y,3);
步骤A4:对图像IBQ(x,y,3)进行gamma校正:增强场景的边缘和细节,减轻由于反向散射而导致的对比度损失,最大限度提取图像中的细节信息,提高融合图像信息的使用率;Gamma校正的公式为:
f(I)=Iγ
其中,当γ<1时,在低灰度值区域内,图像动态范围变大,进而图像的对比度增强;而在高灰度值区域内,情况正好与之相对,同时,图像的整体灰度值变大;当γ>1时,正好与γ<1情况相反,此种情况让图像暗部更加难以被看清;将校正后图像记为IBQ'(x,y,3);
步骤B:图像分解与融合
图像的分解方法为:将图像数据矩阵X表示成字典矩阵B下的线性组合,即X=BZ,并且希望Z是低秩的,取数据矩阵X本身作为字典矩阵,得到图像的分解公式为;
X=XZ+LX+E
其中,X代表观测数据矩阵,Z是低秩系数,L是显著系数,E是稀疏噪声部分;
求解满足分解公式的最小优化问题,得到低秩系数Z,显著系数L以及稀疏噪声部分E:
其中,lambda为常数;
进而可以得到每张图像的低阶部分和显著部分,如下式所示:
Xlrr=XZ
Xs=LX
步骤B2:对每一通道的两幅图像做如下处理:
步骤B20:使用加权平均策略将两幅图像的低秩部分相加来获取融合后的低秩部分,相应的公式如下所示:
步骤B21:使用求和策略将两幅图像的显著部分相加来获取融合后显著部分,融合的公式如下表示:
步骤B22:通过将融合后的低阶部分和显著性部分相加,将二者重构成融合后的图像,公式如下所示:
F(i,j)=Flrr(i,j)+Fs(i,j)
步骤B3:将融合后的三个通道图像进行拼接得到融合图像;
进一步,所述步骤A10中,公式中的α常数值,赋值为1;
进一步,所述步骤A11中,亮度估计的计算方法为:首先计算平均R、G、B值估计颜色投射,然后计算这些值得平均值,每个通道得到一个灰度值,继续取平均得到亮度估计值;
进一步,所述步骤A2中,根据水下图像对比度差的特点,将公式中的α赋值为3;
进一步,所述步骤A2二阶微分图像的拉普拉斯算子的公式表达如下:
其中,2<m<M-1,2<n<N-1,M、N为图像的长宽像素点个数;
进一步,步骤A33中,公式中的t0赋值为0.1;
进一步,所述步骤A4中,将公式中的γ赋值为0.48;
进一步,所述步骤B1中,lambda常数取值为0.8,稀疏噪声E部分可以忽略不计;
进一步,所述步骤B20中,公式中的w1,w2代表权重值,赋值为0.5;
进一步,所述步骤B21中,公式中的s1,s2代表权重值,赋值为1。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:1)本发明能够实现图像最大限度地颜色校正、增强场景的边缘和细节,减轻图像对比度的损失;2)本发明根据雾天成像与水下成像的相似性,将处理大气中雾天图像的去雾算法用于水下图像的处理,提高了图像的边缘细节;3)本发明将用在融合红外图像与可视图像上的LatLRR图像融合算法运用在水下图像的融合中,最大限度提取了图像中的细节信息,提高了融合图像信息的使用率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例所述水下图像颜色校正算法流程图。
图2是本发明实施例提供的水下图像颜色校正方法的实施步骤框图。
图3是本发明实施例所述LatLrr图像融合方法示意图。
图4是本发明实施例所述实验验证结果对比图。
图5是本发明实施例所述实际场景图像实验验证结果对比示意图。
图6是本发明实施例所述水下图像网络图1校正前后的三原色直方图对比示意图。
图7是本发明实施例所述水下图像网络图2校正前后的三原色直方图对比示意图。
图8是本发明实施例所述水下图像实验图1校正前后的三原色直方图对比示意图。
图9是本发明实施例所述水下图像网络图2校正前后的三原色直方图对比示意图。
图10是本发明实施例所述水下图像校正前后边缘细节示意图。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点,下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例。
本实施例提出了一种基于色彩平衡和LatLrr融合的水下图像颜色校正算法,如图1所示,本发明提供的水下图像颜色校正方法包括以下步骤:
S101:颜色平衡校正模块通过消除因为光照或是不同颜色光线在水中的衰减特性而导致的不希望出现在成像结果中的色偏来恢复图像自然颜色;图像锐化模块突出图像边缘的过渡部分,以表现出更多的图片边缘信息;
S102:图像去雾模块利用雾中成像与水下光传播的相似性的特点对图像进行去雾操作校正图像;图像gamma校正模块把本来线性分布的颜色值校正为非线性分布的值,提高暗色的精度,使图像符合人眼的感知习惯;
S103:LatLrr图像融合模块:增强场景的边缘和细节,减轻由于反向散射而导致的对比度损失,最大限度提取图像中的细节信息,提高融合图像信息的使用率;
S104:最终经过处理,得到经过颜色校正的水下图像。
如图2所示,本发明提供的水下图像颜色校正方法包括以下步骤:
步骤一:获取输入图像,输入图像I(w,h,3)是一个大小为w×h×3的三维矩阵,w表示宽,h表示高,3表示图像的通道数,通常为图像的RGB三个通道,其中每个通道提取出大小为w×h的二维矩阵,表示源图像中每个通道中所蕴含的空间信息,图像的任意通道信息用IΩ(x,y)来表示,其中Ω表示通道;
步骤二:首先取源图像进行色彩平衡:对源图像进行红色通道色彩补偿,色彩补偿方法为:
采用灰度世界假设对补偿后的图像进一步白色平衡处理,从平均RGB值估计颜色投射,然后计算这些平均值的平均值,从而得到一个灰度值,所有的通道都与之进行比较,从而得到白色平衡的图像,以更好表现图像中物体的真实色彩;处理过程中,为了标准化图像,像素的缩放因子s为:
其中,arg为图像的亮度估计,argi为各颜色通道的均值;亮度估计的计算方法为:首先计算平均R、G、B值估计颜色投射,然后计算这些值得平均值,每个通道得到一个灰度值,继续取平均得到亮度估计值;
进而得到完全相同的两幅图像,分别记为IA(x,y,3)和IB(x,y,3);
步骤三:分别对图像IA(x,y,3)的三个通道进行拉普拉斯锐化处理,突出图像边缘的过渡部分,以表现出更多的图片边缘信息:分别记为IARL(x,y)、IAGL(x,y)、IABL(x,y),计算方法为:
IARL(x,y)=(1+4α)IAR(x,y)-α[IAR(x+1,y)+IAR(x-1,y)+IAR(x,y+1)+IAR(x,y-1)]
IAGL(x,y)=(1+4α)IAG(x,y)-α[IAG(x+1,y)+IAG(x-1,y)+IAG(x,y+1)+IAG(x,y-1)]
IABL(x,y)=(1+4α)IAB(x,y)-α[IAB(x+1,y)+IAB(x-1,y)+IAB(x,y+1)+IAB(x,y-1)]
其中α表示锐化强度系数(取大于零的整数),且图像锐化程度与α正相关;根据水下图像的特点,锐化强度系数α取值为3;得到图像IA(x,y,3)锐化后的图像,记为IAL(x,y,3);
步骤四:采用去雾算法中暗通道先验的方法对图像IB(x,y,3)的每个像素信息L(x)进行处理,则处理后的像素信息E(x)计算方式为:
L(x)=E(x)t(x)+B∞(x)[1-t(x)]
其中t(x)表示水下透射率,B∞(x)表示光强,暗通道先验公式为:
其中Ω是以某一像素点为中心的局部区域,J(λ)则表示R,G,B三通道中的一个;
步骤五:对于R、G、B三个通道,先分别作最小化运算可以得到:
其中λ代表R、G、B,经过化简可得:
然后再对三个通道作最小化,得:
步骤六:依据暗通道先验得公式计算水下折射率t(λ):
步骤七:借助IB(x,y,3)的暗通道图,求得其亮度大小的前0.1%最亮的像素,进而在IB(x,y,3)中寻找对应的具有最高亮度的点的平均值,作为B∞(x)值;
步骤八:如步骤四到步骤七的方法,可以计算出去雾以后的图像信息E(λ):
其中,t0是为了防止t近似于0而导致图像噪声放大,本实施例中t0取值为0.1,并将经过暗通道先验算法的图像IB(x,y,3)记为IBQ(x,y,3);
步骤九:对图像IBQ(x,y,3)进行gamma校正,Gamma校正的公式为:
f(I)=Iγ
将公式中的γ赋值为0.48,得到待融合的两幅图像:IAL(x,y,3)和IBQ'(x,y,3)
如图3所示,本发明提供的水下图像LatLrr(潜在的低秩表示)与融合方法包括以下步骤:
步骤十:如图3(1)所示,将两幅待融合的图像:IAL(x,y,3)和IBQ'(x,y,3),R、G、B三个通道分别进行分解与融合;
步骤十一:如图3(2)所示,以红色通道为例,如分解公式,求解满足分解公式的最小优化问题,得到低秩系数Z,显著系数L以及稀疏噪声部分E:
其中,X代表观测数据矩阵,Z是低秩系数,L是显著系数,E是稀疏噪声部分,可以忽略不计,lambda为常数,取值为0.8;
进而由下式可以分别对每个通道的两幅图像分别分解出各自的低阶部分Xlrr、X2rr和显著部分X1s、X2s:
Xlrr=XZ
Xs=LX
步骤十二:使用加权平均策略将两幅图像的低秩部分相加来获取融合后的低秩部分,相应的公式如下所示:
步骤十三:使用求和策略将两幅图像的显著部分相加来获取融合后显著部分,融合的公式如下表示:
步骤十四:通过将融合后的低阶部分和显著性部分相加,将二者重构成融合后的图像,公式如下所示:
F(i,j)=Flrr(i,j)+Fs(i,j)
步骤十五:将三个通道的融合图像进行拼接得到最终的增强图像。
下面结合实验对本发明的技术效果作详细的描述。
1、实验条件
本实验分别选取部分互联网水下图像和青岛团岛海试实验中GoPro6相机采集的水下图像作为实验数据,采用Windows7下的MATLAB R2018a作为仿真工具,计算机配置为Intel(R)Core(TM)i3-6100 CPU@3.70GHz。
2、实验内容
(1)分别从两组数据中选取部分图像,使用本发明所述算法进行处理,对比原始图像与校正后图像的实验结果;
(2)利用直方图来直观的展现图像对比度的情况,分析去雾模块、颜色平衡校正模块对图像校正的结果;
(3)利用边缘检测导出图片的边缘细节,来表现LatLRR融合的效果;
(4)利用客观图像质量评价指标定量分析水下图像校正效果。
3、实验结果
实验1:分别从两组数据中选取部分图像,对其使用本算法进行处理,对比原始图像与算法校正后的图像。如图4(互联网图像)和图5(实验采集图像)所示,左侧为源图像、右侧为本发明算法校正处理后的图像。可以明显看出,本发明算法处理结果较好,颜色校正、去雾算法和图像融合算法从这里可以看出明显的效果。两张图都变得更加通透,也能感知到更多的色彩,图中的珊瑚礁、鱼群、绳索的色彩更加的自然,整体也变得更清晰。图4的黄色沙石以及远处调色板的颜色都很符合现实情况,且远处的石头也十分真切,对后续的水下图像的目标识别、分类等任务奠定了坚实的基础。
实验2:将原图和校正后图像的三原色的直方图分别导出后得到如图6-9的结果(每两行为一组,分别对应图4、5中的四张图像,上边是校正之前的直方图,下边是校正之后的直方图,从左至右依次是R、G、B通道)。
从结果不难看出,校正之后R、G、B三通道的直方图都比较宽阔,而原图三原色的直方图都只是聚集在一堆,呈现出锥状。这体现出校正前的图像是较为昏暗,对比度不明显的;而校正之后的图像,是对比度明显,图像视觉效果较好的。
此外,本次实验给出的是R、G、B三个通道各自的直方图,而不是单一的灰度直方图,这样,在表现结果上更加丰富,能表现出R、G、B三个通道不同的特点。同时,校正后的图像在三个通道上都效果明显,更加表明校正方法的有效性。
实验3:利用边缘检测导出图片的边缘细节,来表现LatLRR融合的效果。图10为图4第二张图像和图5第二张图像导出的边缘细节,从左至右第一列至第三列依次是原图、预处理之后和融合之后的边缘检测结果,从上至下第一行到第三行依次是采用了Sobel,Roberts,Laplace算子得到的结果。这里不仅提取了原图(第一列)与融合后(第三列)的边缘检测结果,还提取了原图经过预处理但在融合之前的图像(第二列)的边缘检测结果,以便于突显出LatLRR图像融合算法的效果。
从结果不难看出,在经历了颜色平衡模块、去雾模块的预处理之后,图像的边缘细节增多了不少,三种算子提取的边缘检测结果所表现得都是这样。而将预处理之后(第二列)与融合之后(第三列)的边缘结果对比发现,融合之后的图像在远景上的细节增多了不少,这证明了基于LatLRR图像融合算法的优势所在。
实验4:使用常用的图像质量评估指标,从客观评价角度出发,定量分析图像校正的效果。用到的指标有UCIQE、UICM、UIConM和UISM。其中,UCIQE是指水下彩色图像质量评价指标,可以用来评价水下图像的色偏、模糊度和低对比度。它是饱和度、对比度还有色彩浓度的线性组合;UICM是指水下图像色彩指标,从白平衡的角度来描述图像的特性;UIConM是指水下图像对比度指标,用于评价图像的对比度,分块对比度高的图像,其指标较高;UISM是指水下图像锐化指标,用于评价水下图像的边缘信息;图片边缘信息丰富,对比度高,则其指标会更好。
从表1结果不难看出,不论是网络数据图像(网络图1、2)还是实际实验采集数据图像(实验图1、2),本发明算法使得水下图像的客观评价指标显著提升,有效地提升了水下图像的图像质量。网络图1的UCIQE提升了+17.2607,其他几张图像也得到一定的提升,验证了本发明算法在改善水下图像色偏、模糊和低对比度问题上的有效性;水下图像色彩指标UICM,可以看到四张图像的UICM都有显著的提升,最高达+74.9832,再次从白平衡的角度展现了算法的优越性;此外,UIConM和UISM指标也有一定的提升,从对比度和锐化的角度展现了本算法的优势。
表1实验4图像质量评估指标
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上;术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于潜在低秩表示和图像融合的水下图像颜色增强方法,其特征在于,所述基于潜在低秩表示和图像融合的水下图像颜色增强方法包括:
通过消除因为各种照明或是在水中对于不同颜色光线的衰减特性而导致的不希望出现在成像结果中的色偏来恢复图像颜色;突出图像边缘的过渡部分,以表现出更多的图片边缘信息;
利用雾中成像与水下光传播的相似性的特点对图像进行去雾操作校正图像;把本来线性分布的颜色值校正为非线性分布的值,提高暗色的精度,使图像符合人眼的感知习惯;
增强场景的边缘和细节,减轻由于反向散射而导致的对比度损失,最大限度提取图像中的细节信息,提高融合图像信息的使用率;
经过处理,得到经过颜色校正的水下图像;
所述的基于潜在低秩表示和图像融合的水下图像颜色增强方法具体包括以下步骤:
步骤一:获取输入图像,输入图像I(w,h,3)是一个大小为w×h×3的三维矩阵,w表示宽,h表示高,3表示图像的通道数,通常为图像的RGB三个通道,其中每个通道提取出大小为w×h的二维矩阵,表示源图像中每个通道中所蕴含的空间信息,图像的任意通道信息用Ii(x,y)来表示,其中i表示通道;
步骤二:取源图像进行色彩平衡,具体涉及一种带有红色通道补偿的白平衡方法,有效地去除不真实的色彩,以感知水下图像中物体的真实色彩;
色彩平衡后得到完全相同的两幅图像,分别记为IA(x,y,3)和IB(x,y,3);
步骤三:对图像IA(x,y,3)的3个通道分别进行拉普拉斯锐化处理,突出图像边缘的过渡部分,以表现出更多的图片边缘信息,计算方法为:
IAiL(x,y)=(1+4α)IAi(x,y)-α[IAi(x+1,y)+IAi(x-1,y)+IAi(x,y+1)+IAi(x,y-1)]
其中i表示R、G、B三个通道;α表示锐化强度系数,取大于零的整数,且图像锐化程度与α正相关,得到图像IA(x,y,3)锐化后的图像,记为IAL(x,y,3);
步骤四:如大气中处理雾天成像所采用的去雾算法,采用去雾算法中暗通道先验的方法对图像IB(x,y,3)的每个像素信息L(x)进行处理,则处理后的像素信息E(x)计算方式为:
L(x)=E(x)t(x)+B∞(x)[1-t(x)]
其中t(x)表示水下透射率,B∞(x)表示光强,暗通道先验公式为:
其中Ω是以某一像素点为中心的局部区域,J(λ)则表示R,G,B三通道中的一个;
步骤五:对于R、G、B三个通道,先分别作最小化运算得到:
其中λ代表R、G、B,L(λ)表示图像I在通道λ上对应的每个像素信息;B∞(λ)表示光强;E(λ)为图像处理后的图像像素信息;t(λ)为水中透射率信息,经过化简可得:
然后再对三个通道作最小化,得:
步骤六:依据暗通道先验得公式计算水下折射率t(λ):
步骤七:借助IB(x,y,3)的暗通道图,求得其亮度大小的前0.1%最亮的像素,进而在IB(x,y,3)中寻找对应的具有最高亮度的点的平均值,作为B∞(x)值;
步骤八:如步骤四到步骤七的方法,可以计算出去雾以后的图像信息E(λ):
其中,t0是为了防止t近似于0而导致图像噪声放大,并将经过暗通道先验算法的图像IB(x,y,3)记为IBQ(x,y,3);
步骤八:对图像IBQ(x,y,3)进行gamma校正,Gamma校正的公式为:
f(I)=Iγ
其中,当γ<1时,在低灰度值区域内,图像动态范围变大,进而图像的对比度增强;而在高灰度值区域内,情况正好与之相对,同时,图像的整体灰度值变大;当γ>1时,正好与γ<1情况相反,此种情况让图像暗部更加难以被看清;将校正后图像记为IBQ'(x,y,3);
2.如权利要求1所述的基于潜在低秩表示和图像融合的水下图像颜色增强方法,其特征在于,所述步骤二色彩平衡算法包括:
(1)考虑到水体对光的吸收具有明显的选择性,红色波长较长,光的吸收衰减系数比较大,采用红色通道补偿的方法,来校正水下图像呈现的短波长蓝绿色调;
(2)采用灰度世界假设对补偿后的图像进一步白色平衡处理,从平均RGB值估计颜色投射,然后计算这些平均值的平均值,从而得到一个灰度值,所有的通道都与之进行比较,从而得到白色平衡的图像,以更好表现图像中物体的真实色彩;
为了标准化图像,像素值按下述因子进行缩放:
其中,arg为图像的亮度估计,以三个通道的均值作为图像的光照估计;argi为各颜色通道的均值。
4.如权利要求1所述的基于潜在低秩表示和图像融合的水下图像颜色增强方法,其特征在于,所述步骤三公式中的锐化强度系数α取值为3;
步骤三二阶微分图像的拉普拉斯算子的公式表达如下:
其中,2<m<M-1,2<n<N-1,M、N为图像的长宽像素点个数;
所述步骤七中,t0赋值为0.1;
所述步骤八中,γ赋值为0.48;
所述步骤九中,LatLRR图像分解和融合的步骤为:
(2)对每一通道的两幅图像做如下处理;
1)使用加权平均策略将两幅图像的低秩部分相加来获取融合后的低秩部分;
2)使用求和策略将两幅图像的显著部分相加来获取融合后显著部分;
3)通过将融合后的低阶部分和显著性部分相加,将二者重构成融合后的图像;
(3)将融合后的三个通道图像进行拼接得到融合图像。
8.如权利要求7所述的基于潜在低秩表示和图像融合的水下图像颜色增强方法,其特征在于,所述公式中的s1,s2代表权重值,赋值为1。
9.如权利要求4所述的基于潜在低秩表示和图像融合的水下图像颜色增强方法,其特征在于,所述由融合低阶部分和显著部分相加重构融合图像F(x,y)的方法为:
F(x,y)=Flrr(x,y)+Fs(x,y)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010815229.6A CN111968054B (zh) | 2020-08-14 | 2020-08-14 | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010815229.6A CN111968054B (zh) | 2020-08-14 | 2020-08-14 | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111968054A CN111968054A (zh) | 2020-11-20 |
CN111968054B true CN111968054B (zh) | 2022-06-24 |
Family
ID=73366016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010815229.6A Active CN111968054B (zh) | 2020-08-14 | 2020-08-14 | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111968054B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529802B (zh) * | 2020-12-09 | 2021-07-20 | 电子科技大学 | 基于散射系数比估计的大气散射降质图像恢复方法 |
CN112560870B (zh) * | 2020-12-15 | 2022-04-29 | 哈尔滨工程大学 | 一种用于水下复杂环境中的图像目标识别方法 |
CN112926652B (zh) * | 2021-02-25 | 2023-10-24 | 青岛科技大学 | 一种基于深度学习的鱼类细粒度图像识别方法 |
CN113034391B (zh) * | 2021-03-19 | 2023-08-08 | 西安电子科技大学 | 一种多模式融合水下图像增强方法、系统及应用 |
CN113191992B (zh) * | 2021-04-13 | 2023-06-02 | 宁波大学 | 一种基于低秩分解与融合的水下图像增强方法 |
CN113298730B (zh) * | 2021-05-24 | 2022-11-01 | 中国科学院长春光学精密机械与物理研究所 | 一种基于图像分解的去雾复原方法 |
CN113763267A (zh) * | 2021-08-26 | 2021-12-07 | 长春理工大学 | 一种基于nsct图像融合的强散射环境下图像复原方法 |
CN113822830B (zh) * | 2021-08-30 | 2023-06-06 | 天津大学 | 基于深度感知增强的多曝光图像融合方法 |
CN114066764B (zh) * | 2021-11-23 | 2023-05-09 | 电子科技大学 | 基于距离加权色偏估计的沙尘退化图像增强方法及装置 |
CN114445300A (zh) * | 2022-01-29 | 2022-05-06 | 赵恒� | 一种双曲正切变形函数变换的非线性水下图像增益算法 |
TWI822623B (zh) * | 2023-04-06 | 2023-11-11 | 友達光電股份有限公司 | 影像復原方法與影像處理裝置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886486A (zh) * | 2017-12-01 | 2018-04-06 | 天津大学 | 基于暗通道先验与变分Retinex水下图像增强方法 |
CN107895357A (zh) * | 2017-12-25 | 2018-04-10 | 北京航空航天大学 | 一种基于fpga的实时水面浓雾场景图像增强方法 |
CN109801229A (zh) * | 2018-12-19 | 2019-05-24 | 南京林业大学 | 一种基于暗通道先验与小波变换的水下图像增强方法 |
CN110490914A (zh) * | 2019-07-29 | 2019-11-22 | 广东工业大学 | 一种基于亮度自适应和显著性检测的图像融合方法 |
CN110889812A (zh) * | 2019-10-11 | 2020-03-17 | 大连海事大学 | 一种多尺度融合图像特征信息的水下图像增强方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047530B (zh) * | 2019-11-29 | 2023-05-23 | 大连海事大学 | 基于多特征融合的水下图像颜色校正和对比度增强方法 |
-
2020
- 2020-08-14 CN CN202010815229.6A patent/CN111968054B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886486A (zh) * | 2017-12-01 | 2018-04-06 | 天津大学 | 基于暗通道先验与变分Retinex水下图像增强方法 |
CN107895357A (zh) * | 2017-12-25 | 2018-04-10 | 北京航空航天大学 | 一种基于fpga的实时水面浓雾场景图像增强方法 |
CN109801229A (zh) * | 2018-12-19 | 2019-05-24 | 南京林业大学 | 一种基于暗通道先验与小波变换的水下图像增强方法 |
CN110490914A (zh) * | 2019-07-29 | 2019-11-22 | 广东工业大学 | 一种基于亮度自适应和显著性检测的图像融合方法 |
CN110889812A (zh) * | 2019-10-11 | 2020-03-17 | 大连海事大学 | 一种多尺度融合图像特征信息的水下图像增强方法 |
Non-Patent Citations (3)
Title |
---|
Color Balance and Fusion for Underwater Image Enhancement;Codruta O. Ancuti et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20180131;全文 * |
Underwater Single Image Dehazing Using the Color Space Dimensionality Reduction Prior;YONGBIN LIU等;《IEEE Access》;20200514;全文 * |
基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法;江泽涛等;《光子学报》;20200306(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111968054A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111968054B (zh) | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 | |
Li et al. | Underwater image enhancement via medium transmission-guided multi-color space embedding | |
Raveendran et al. | Underwater image enhancement: a comprehensive review, recent trends, challenges and applications | |
CN108596849B (zh) | 一种基于天空区域分割的单幅图像去雾方法 | |
Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
Fang et al. | Variational single image dehazing for enhanced visualization | |
CN111080686B (zh) | 用于自然场景中图像高光去除的方法 | |
Guo et al. | Image dehazing via enhancement, restoration, and fusion: A survey | |
CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
Huang et al. | Color correction and restoration based on multi-scale recursive network for underwater optical image | |
CN113724164A (zh) | 一种基于融合重构制导滤波的可见光图像噪声去除方法 | |
Chang | Single underwater image restoration based on adaptive transmission fusion | |
Lai et al. | Single underwater image enhancement based on differential attenuation compensation | |
Wang et al. | Underwater color disparities: Cues for enhancing underwater images toward natural color consistencies | |
CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
Li et al. | Adaptive weighted multiscale retinex for underwater image enhancement | |
Chaudhry et al. | Underwater visibility restoration using dehazing, contrast enhancement and filtering | |
An et al. | HFM: A hybrid fusion method for underwater image enhancement | |
Verma et al. | Systematic review and analysis on underwater image enhancement methods, datasets, and evaluation metrics | |
Zhao et al. | Color channel fusion network for low-light image enhancement | |
CN111476739A (zh) | 水下图像增强方法、系统及存储介质 | |
Guan et al. | DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model | |
Shuang et al. | Algorithms for improving the quality of underwater optical images: A comprehensive review | |
Fu et al. | Jointly adversarial networks for wavelength compensation and dehazing of underwater images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |