CN107256536A - 一种基于色彩恒常性和群稀疏的水下图像复原方法 - Google Patents

一种基于色彩恒常性和群稀疏的水下图像复原方法 Download PDF

Info

Publication number
CN107256536A
CN107256536A CN201710411503.1A CN201710411503A CN107256536A CN 107256536 A CN107256536 A CN 107256536A CN 201710411503 A CN201710411503 A CN 201710411503A CN 107256536 A CN107256536 A CN 107256536A
Authority
CN
China
Prior art keywords
mrow
msub
image
degradation
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710411503.1A
Other languages
English (en)
Other versions
CN107256536B (zh
Inventor
王鑫
戴慧凤
王慧斌
徐立中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710411503.1A priority Critical patent/CN107256536B/zh
Publication of CN107256536A publication Critical patent/CN107256536A/zh
Application granted granted Critical
Publication of CN107256536B publication Critical patent/CN107256536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于色彩恒常性和群稀疏的水下图像复原方法,该方法首先设计了一种改进的基于色彩恒常性的水下图像颜色失真校正算法,在Shades Of Gray算法的基础上,针对水下图像的颜色失真特点,加入颜色补偿的概念,对水下图像进行了颜色校正;然后,提出了一种改进的基于退化模型和群稀疏的水下图像去模糊算法,将设计出的水下图像退化算子和水体分层融入到经典的群稀疏去模糊的框架中,对校正后的图像进行复原,以进一步提高水下图像的清晰度;最后,通过对实际拍摄的水下图像进行实验,结果表明提出的基于色彩恒常性和群稀疏的水下图像复原方法不仅可以很好地对水下图像进行颜色校正,而且能够有效的去除模糊,达到良好的复原效果。

Description

一种基于色彩恒常性和群稀疏的水下图像复原方法
技术领域
本发明涉及一种基于色彩恒常性和群稀疏的水下图像复原方法,属于数字图像处理技术领域。
背景技术
近些年来,水下图像处理对水资源开发和保护、海洋勘探、水体污染检测等研究具有极其重要的意义。然而,在复杂的水下环境中,由于水对光线的吸收和散射作用,及成像过程中可能产生的一些不可避免的噪声,采集得到的水下图像往往存在一定程度的退化。具体来说,一方面,水对光的吸收作用表明不同颜色的光在水下有不同的衰减特征,这使得水下图像会产生颜色失真;另一方面,水对光的散射作用和水中各种悬浮粒子给成像带来的噪声,使得水下图像呈现“雾化”效果,图像变得比较模糊。因此,如何同时有效解决上述两个问题以得到良好的水下图像复原效果,需要进一步研究。
公开号CN106600547A水下图像复原方法,该方法将图像去雾算法与颜色恒常算法相结合,首先,将退化水下图像的蓝绿信道根据水下成像数据模型进行去模糊处理;其次,在蓝绿信道去雾的基础上,退化的红信道根据复原的蓝绿信道的像素值,依据灰度世界色彩恒常算法进行颜色矫正。该方法虽然可以取得一定的水下图像复原效果,但是在去模糊的过程中,没有考虑水体中悬浮微粒和溶质的分布不均问题,去模糊的效果不是很理想;另外,针对水下图像而言,该方法采用的灰度世界颜色失真矫正算法还会引入一些鲜艳颜色噪声。
公开号CN104766284A水下彩色图像的复原方法,该方法首先采用中值滤波的方法实现图像的光照均匀化操作;其次依据暗原色先验理论建立水下光学图像成像模型I(x,y)=J(x,y)t(x,y)+A(1-t(x,y));再次通过自适应求解水体光强A,利用双边滤波法求解水体透射率t(x,y),将A和t(x,y)代入水下光学图像成像模型,得到去模糊图像t0为水体透射率下限值;最后对去模糊图像的每个颜色通道直方图分析的基础上,对每个通道的中间灰度区进行量化处理。该方法在去模糊的过程中,使用了一个固化的自适应模型,没有阈值的控制和反复的修正过程,在水下成像条件较差的时候,去模糊效果不是很好;另外,针对于水下图像的颜色失真问题,该方法采用的直方图方法效果不是很理想。
Guo等人在2014年IEEE Oceans上发表论文“Improving visibility andfidelity of underwater images using an adaptive restoration algorithm”,该文献使用了暗通道先验去除水下图像模糊,之后使用了R、G、B三个通道中均衡颜色均值来平衡颜色,然后将颜色空间从RGB变换到HSV进行了对比度的增强。该方法在水下成像条件较差的时候,去模糊效果不是很好;另外,该方法虽然增强了水下图像的对比度,但是颜色失真矫正问题没有很好地解决。
总之,现有的水下图像处理方法,其存在的诸多局限性主要表现在:
(1)在水下颜色矫正方面,没有充分考虑水下图像的特性,仅采用传统图像颜色失真校正策略,无法得到令人满意的结果。
(2)在图像去模糊的过程中没有考虑到水体本身悬浮微粒和溶质分布不均的问题,因此也没给出相应的解决手段,去模糊效果不是非常理想。
发明内容
发明目的:针对现有技术中存在的问题,本发明提供一种基于色彩恒常性和群稀疏的水下图像复原方法,先利用引入颜色补偿的Shades Of Gray算法进行颜色失身去除,再利用基于水下图像退化模型和群稀疏的图像去模糊算法进行水下图像去模糊的水下图像复原方式。该方法不仅可以很好地对水下图像进行颜色校正,而且能够有效的去除模糊,达到良好的复原效果。
技术方案:一种基于色彩恒常性和群稀疏的水下图像复原方法,包括如下步骤:
步骤一:在Shades Of Gray算法的基础上,针对水下图像的颜色失真特点,加入颜色补偿的概念,提出了一种改进的基于色彩恒常性的水下图像颜色失真校正算法,对原始的水下图像进行颜色失真矫正。
首先,给定一幅原始水下图像,求取无穷远处背景光,即假设相机与物体相距无穷远处时,在该物体上颜色的背景光,该背景光一般选取各个暗通道中强度最高的像素
其中,Iλ(y)表示颜色为λ通道的图像,Ω(x)表示以y为中心的局域块,I表示图像中所有的局域块。
其次,求取水下图像的衰减系数比。无穷远处背景光不仅与图像上像素点的位置有关,而且与散射系数bλ成正比,与衰减系数cλ成反比
因此,为了得到各个通道之间的衰减系数之比cλ,我们采用Richard提出的Ⅰ类和Ⅱ类海水中的散射系数bλ与光的波长λ之间的物理模型首先计算bλ,该模型表示为:
bλ=(-0.00113λ+1.62517)b(λr)
其中b(λr)表示参考波长的散射系数。对于水下图像来说,蓝色分量的衰减最小。因此,将蓝色作为参考,由此,可以得到R、G、B三个通道的衰减系数比
其中,cR、cG、cB分别代表R、G、B三个通道衰减系数,bR、bG、bB分别代表R、G、B三个通道的散射系数,BR,∞、BG,∞、BB,∞分别代表R、G、B三个通道的无穷远处背景光。
第三,对颜色衰减进行补偿。根据光在水中的传输函数
其中,cλ表示波长为λ的光对水体的衰减系数,d(x)表示光的传输距离,也就是场景景深,tλ(x)表示光的透射率。假设蓝光在水体中并没有被吸收或散射幸存个衰减,仅仅与景深有关,即
dB=e-d(x)
其中,d(x)表示场景景深,dB表示蓝色光的传输模型。以蓝色光为参考,结合衰减系数比,可以分别求出红色光分量和绿色光分量的传输模型
最后,将上述计算所得的dB、dR、dG融入到Shades Of Gray算法框架中,得到改进后的颜色失真校正模型:
其中,p表示闵可夫斯基范数,I(x)为图像的信息,dλ表示R、G、B三个通道的光的传输模型,e为假设条件下的光源,k是系数。
步骤二:针对水下图像的特点,设计出针对水下图像的图像退化模型,该模型包括两部分内容:退化算子的构建和水体的分层。
1)退化算子的构建具体步骤如下:
水下的成像有两部分构成,直接部分Ed和介质散射部分Efb,即
E=Ed+Efb
水下图像的模糊问题主要由于光在水中的散射作用,特别是后向散射所引起,并且模糊问题会随着景深的增大成指数形式发展。由此,我们将E=Ed+Efb作为水下图像的成像模型,将后向散射模型近似作为水下图像退化部分的模型,即
Efb(x)≈Eb=E(1-e-βd(x))
其中,E表示水中的光照强度,β表示衰减系数,d(x)表示场景的景深。
根据该水下图像退化部分的模型的目标函数,可以发现水下图像的退化水平和其各场景点的景深有直接关系,景深越大,介质散射部分就越大,在水体成像的过程中产生的退化也就越严重。基于上述退化规律,我们构建退化算子。
首先,考虑到场景点的退化水平和其距消失点的距离成反比,我们来选取一幅图像中消失点的近似位置。为了方便计算,我们假设图像中心点位置的场景点为消失点,具有最大的景深。将图片的中心位置记为坐标原点,则坐标位置为(r1,r2)的景深可以定义为:
从该公式可以看出,中心位置的景深为d=1,随着距消失点的距离的增大,景深逐渐减小,符合水下图像后向散射模型的规律。
然后,结合水下后向散射模型,我们设计的后向散射退化算子Hb表示为:
2)水体的分层具体步骤如下:
由于水体中悬浮粒子的分布不均,以及水体溶液本身的分布不均,光子在水中每前进一点,其退化算子的参数都会产生些许的变化。针对这种情况,我们引入光的传递函数,即点扩散函数(point spread function,PSF),按照光所要通过的距离,也就是沿着景深增大的方向,对水体进行分层。
下面,我们将光子所要运行的距离分为n个水层,分别由n1、n2…nn表示。
水体退化模型可以描述为y=Hx+η其中,x,y分别代表原始的清晰图像和观测到的退化图像,H是退化算子,η是退化过程中可能引入的噪声。
由此可知,水下图像的第一层退化可以表示为
y1=H1x+η
水下图像的第二层退化可以表示为
y2=H2y1
=H2(H1x+η)+η
依次类推,水下图像的第n层退化可以表示为
yn=Hn(yn-1+η)+η
=HnHn-1...H1x+HnHn-1...H2η+...+HnHn-1η+Hnη+η
由此可知,光子在每一层水体中,都经过了不同的退化过程,可以说,是不同退化算子的叠加。虽然,在水体分层的过程中,每层的退化算子参数会有一些出入,但是根据微分的思想,当分一层水体的距离都趋于0时,可以将每一层退化算子的参数看成是相同的,即
H=H1=H2=...=Hn
因此,水下图像的退化模型可以用图3来表示。其中,d为景深,x为清晰图像,y1,y2,...yn为1,2,...n层水体经过退化后的图像。
我们可以看出,水体分层过程的逆过程就如同对水下图像在不断进行去模糊修正的过程。而在基于群稀疏的图像去模糊算法的核心算法就是SBI算法,即一个不断迭代的过程。因此,水体分层还可以看做该迭代过程的理论基础。
步骤三:将上述退化模型,即退化算子和水体分层融入到群稀疏框架中,提出了一种融合退化模型和群稀疏的水下图像去模糊算法,将该算法用于处理经过颜色失真矫正之后的水下图像,以期提高其清晰度。
首先,给定一幅退化图像y,对其先构造群,具体操作为,将退化图像y分成n块相互重叠的图像块,每一个图像块可以表示为一个矢量yk∈RB,RB表示长度为B的矢量,(k=1,2,...n)。对于每个图像块,在其邻近区域利用欧氏距离寻找c个相似块作为匹配块,然后将所有的相似块堆叠成一个矩阵该矩阵称为群。
其次,将该退化模型融入到群稀疏表示模型的框架中,则图像去模糊问题可以表示为:
其中,是一个关于l2的数据保真项,λ是正则化参数,λ||αG||0是正则化项。DG是群字典的级联,是学习得到的适应于每个群的群字典。αG是稀疏系数的级联,是每个群基于自适应字典的稀疏系数。很明显,要想解决这个复原问题,需要先计算求得
第三,获取学习字典。每个群的自适应字典从它的近似值中求得,每个群的近似值可以在优化求解过程中自然的获得。对每个群的估计采用一次奇异值分解得到字典的原子(i=1,2,...n)。最后,每个群的自适应学习字典可以表示为:
第四,对于给定的字典,基于字典的稀疏编码问题是寻找一个稀疏向量使得采用分离Bregman迭代算法,通过SBI,计算出稀疏编码稀疏αG。并根据字典和稀疏系数进行水下图像去模糊。进行Bregman迭代的迭代过程,其实就是在一层一层地不断修正每个水层所带来的的退化影响,迭代次数就可以简单的被理解为水体分层的层数。
最后,当我们求得了自适应字典DG和稀疏编码系数αG,去模糊后的图像可以表示为:
本发明采用上述技术方案,具有以下有益效果:
(1)本发明的方法针对水体对光的吸收特性,提出了颜色补偿这一概念,根据水下图像蓝光衰减最小的特点和光在水中的传输规律,先对图像进行颜色补偿,再融入ShadesOf Gray算法进行颜色矫正,从而使得颜色矫正效果更加良好。
(2)本方法在群稀疏的基础上,融入了水下图像退化模型,即退化算子和水体分层,使得提出的去模糊算法更有针对性地贴合实际水下图像特点。
附图说明
图1是本发明方法的整体框架图;
图2是群构建示意图;
图3是水下图像分层退化模型图;
图4是水下图像复原示例图,(a)为原始图像,(b)为颜色矫正后的图像,(c)为最终复原后的图像。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示,基于色彩恒常性和群稀疏的水下图像复原方法,包括如下步骤:
第一,了解经典的水下图像颜色矫正方法。
现有的经典颜色恒常性算法都是基于灰度世界假说提出的,即对于一副丰富的彩色图像,R、G、B三个通道的均值趋于同一灰度值也就是说,场景对所有光的光照反射率是相同的,如下
其中,I(x)为图像的信息,e为假设条件下的光源,k是系数。
Shades Of Gray假设在灰度世界假设的基础上提出,图像数据的在经过非线性变换以后,不会影响其颜色信息。因此,将闵可夫斯基范式引入到灰度世界算法,提出了Shades Of Gray算法,如下
其中,p表示闵可夫斯基范数,I(x)为图像的信息,e为假设条件下的光源,k是系数。
第二,针对水下图像颜色是失真的特点,计算针对水下图像的颜色衰减。
首先,给定一幅原始水下图像,求取无穷远处背景光,即假设相机与物体相距无穷远处时,在该物体上颜色的背景光,该背景光一般选取各个暗通道中强度最高的像素
其中,Iλ(y)表示颜色为λ通道的图像,Ω(x)表示以y为中心的局域块,I表示图像中所有的局域块。
其次,求取水下图像的衰减系数比。无穷远处背景光不仅与图像上像素点的位置有关,而且与散射系数bλ成正比,与衰减系数cλ成反比
因此,为了得到各个通道之间的衰减系数之比cλ,我们采用Richard提出的Ⅰ类和Ⅱ类海水中的散射系数bλ与光的波长λ之间的物理模型首先计算bλ,该模型表示为:
bλ=(-0.00113λ+1.62517)b(λr) (5)
其中,b(λr)表示参考波长的散射系数。对于水下图像来说,蓝色分量的衰减最小。因此,将蓝色作为参考,由此,可以得到R、G、B三个通道的衰减系数比
其中,cR、cG、cB分别代表R、G、B三个通道衰减系数,bR、bG、bB分别代表R、G、B三个通道的散射系数,BR,∞、BG,∞、BB,∞分别代表R、G、B三个通道的无穷远处背景光。
第三,根据颜色通道的衰减系数以及水下光子的传输模型,计算R、G、B三个通道的光线传输模型。
根据光在水中的传输函数
其中cλ表示波长为λ的光对水体的衰减系数,d(x)表示光的传输距离,也就是场景景深,tλ(x)表示光的透射率。假设蓝光在水体中并没有被吸收或散射幸存个衰减,仅仅与景深有关,即
dB=e-d(x) (8)
其中d(x)表示场景景深,dB表示蓝色光的传输模型。以蓝色光为参考,结合衰减系数比,可以分别求出红色光分量和绿色光分量的传输模型
第四,将上述计算所得的dB、dR、dG融入到Shades Of Gray算法框架中,得到改进后的颜色失真校正模型:
其中,p表示闵可夫斯基范数,I(x)为图像的信息,dλ表示R、G、B三个通道的光的传输模型,e为假设条件下的光源,k是系数。基于该改进的模型,颜色失真校正后的水下图像即可通过如下公式获得:
其中,k'为常数。
第五,在经过颜色矫正的水下图像上,建立稀疏群表示模型。
如图2,首先将图像划分成n块相互重叠的图像小块xk,k=1,2,3...n,即图中的小方块。然后再在大方块标记的训练窗内搜索与其相近的其他图像小块,利用欧氏距离进行图像的相似度匹配,寻找到c个与其最相似的相似块作为匹配块,这些块组成了集合最后,将集合堆叠成一个矩阵其中每一个图像小块代表这个矩阵的一列,矩阵就称之为群。
第六,分析水下图像散射模型,并据此设计水下图像的退化算子。
水下的成像有两部分构成,直接部分Ed和介质散射部分Efb,即
E=Ed+Efb (12)
水下图像的模糊问题主要由于光在水中的散射作用,特别是后向散射所引起,并且模糊问题会随着景深的增大成指数形式发展。由此,我们将E=Ed+Efb作为水下图像的成像模型,将后向散射模型近似作为水下图像退化部分的模型,即
Efb(x)≈E(1-e-βd(x)) (13)
根据该水下图像退化部分的模型的目标函数,可以发现水下图像的退化水平和其各场景点的景深有直接关系,景深越大,介质散射部分就越大,在水体成像的过程中产生的退化也就越严重。基于上述退化规律,我们构建退化算子。
首先,考虑到场景点的退化水平和其距消失点的距离成反比,我们来选取一幅图像中消失点的近似位置。为了方便计算,我们假设图像中心点位置的场景点为消失点,具有最大的景深。将图片的中心位置记为坐标原点,则坐标位置为(r1,r2)的景深可以定义为:
从该公式可以看出,中心位置的景深为d=1,随着距消失点的距离的增大,景深逐渐减小,符合水下图像后向散射模型的规律。
然后,结合水下后向散射模型,设计后向散射退化算子Hb如下:
第七,将水下图像沿着景深增大的方向,对水体进行分层。
我们将光子所要运行的距离分为n个水层,分别由n1、n2…nn表示。
水体退化模型可以描述为y=Hx+η,其中,x,y分别代表原始的清晰图像和观测到的退化图像,H是退化算子,η是退化过程中可能引入的噪声。
由此可知,水下图像的第一层退化可以表示为
y1=H1x+η (17)
水下图像的第二层退化可以表示为
依次类推,水下图像的第n层退化可以表示为
由此可知,光子在每一层水体中,都经过了不同的退化过程,可以说,是不同退化算子的叠加。虽然,在水体分层的过程中,每层的退化算子参数会有一些出入,但是根据微分的思想,当分一层水体的距离都趋于0时,可以将每一层退化算子的参数看成是相同的,即
H=H1=H2=...=Hn (20)
因此,水下图像的退化模型可以用图3来表示。其中,d为景深,x为清晰图像,y1,y2,...yn为1,2,...n层水体经过退化后的图像。
我们可以看出,水体分层过程的逆过程就如同对水下图像在不断进行去模糊修正的过程。而基于群稀疏的图像去模糊算法的核心算法就是SBI算法,即一个不断迭代的过程。因此,水体分层还可以看做该迭代过程的理论基础。
第八,将退化算子和水体分层融入到群稀疏表示模型的框架中,则图像去模糊问题可以表示为:
其中,是一个关于l2的数据保真项,λ是正则化参数,λ||αG||0是正则化项。DG是群字典的级联,是学习得到的适应于每个群的群字典。αG是稀疏系数的级联,是每个群基于自适应字典的稀疏系数。
第九,获取学习字典,每个群的自适应字典从它的近似值中求得,每个群的近似值可以在优化求解过程中自然的获得。对每个群的估计采用一次奇异值分解(singular value decomposition,SVD)
其中为矩阵的特征值,分别表示的列向量。
定义每一个群字典中的每一个原子为
最后,每个群的自适应学习字典可以表示为:
第十,采用分离Bregman迭代,通过SBI算法,计算出稀疏编码稀疏αG。并根据字典和稀疏系数进行水下图像去模糊。
该最小化问题可以被等价为
其中,u是我们为了利用SBI算法而引入的变量,再引入变量b,从而求解上述问题可以表示为求解SBI算法中的三个子问题:
其中,t代表迭代次数,μ和λ均为常数。具体求解步骤如下:
(1)首先要求解u,记u(0)=y,y是观测到的退化图像。对于公式(26),如果αG已知,则(26)可以表示为:
将上面函数的梯度取零,可以求得
u=(HTH+μI)-1q (30)
其中,I是单位矩阵。
(2)上面已经求得u。在SBI算法每次迭代过程中,会得到原始图像的近似图像,称为估计,记为r,且有r(t+1)=u(t+1)-b(t),其中设置初始值b(0)=0。这样就可以求得每次原始图像的估计r(t)
(2)接着求解每个群在群字典上的稀疏系数也就是公式(27)的求解,在求解出u和DG之后,该问题可以转化为:
直接求解上述问题很难,做一下变形,令则有
这里记残差为res=x-r,有实验证明,在每次迭代中,res(t)的分布满足广义高斯分布,且每一个元素是独立的,则在第t次迭代过程中,有下列等式:
说明求解αG的问题等价于求解关于n个群的子问题。其中,N为待处理图像的大小,K=B×c×n,分别表示x、r在一个群小块中的值。将公式(33)带入到(31)中可得:
其中,
将上述问题转化为求解关于n个群的子问题,则每个子问题的求解可以表示为:
其中,表示自适应字典,表示稀疏系数。群字典已经求得,因为字典中任意两个原子的正交性,则有:
其中,表示矩阵的特征值。借助式(36),则(35)关于群的子问题可以转化为:
因此对应群的稀疏系数就可以求解出来:
其中,hard(·)代表的是硬阈值算子,⊙代表向量对应元素的点乘算子。对构建的每一个群都按照上述方法求得稀疏系数也就求出了αG
(5)在求得第t次的群字典和稀疏系数之后,跟据公式(28)更新b(t+1)
至此,一次完整的迭代过程就完成了,当t达到最大迭代次数之后,算法结束,可以得到最终的群字典和稀疏系数。则复原后的图像x可以由最后一次求得的群字典和稀疏系数表示出来。

Claims (5)

1.一种基于色彩恒常性和群稀疏的水下图像复原方法,其特征在于,包括如下步骤:
步骤一:在Shades Of Gray算法的基础上,针对水下图像的颜色失真特点,加入颜色补偿的概念,提出了一种改进的基于色彩恒常性的水下图像颜色失真校正算法,对原始的水下图像进行颜色失真矫正;
步骤二:针对水下图像的特点,设计出针对水下图像的图像退化模型,该模型包括两部分内容:退化算子的构建和水体的分层;
步骤三:将该退化模型融入到群稀疏框架中,提出了一种融合退化模型和群稀疏的水下图像去模糊算法,将该算法用于处理经过颜色失真矫正之后的水下图像,以期提高其清晰度。
2.根据权利要求1所述的一种基于色彩恒常性和群稀疏的水下图像复原方法,其特征在于,先对水下图像中不同颜色的光的衰减进行分析,在此基础上引入颜色补偿这一概念,进而对Shades Of Gray算法进行改进,提出了一种改进的基于色彩恒常性的水下图像颜色失真校正算法,对原始的水下图像颜色失真进行矫正;
首先,给定一幅原始水下图像,求取无穷远处背景光,即假设相机与物体相距无穷远处时,在该物体上颜色的背景光,该背景光一般选取各个暗通道中强度最高的像素
<mrow> <msub> <mi>B</mi> <mrow> <mi>&amp;lambda;</mi> <mo>,</mo> <mi>&amp;infin;</mi> </mrow> </msub> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>x</mi> <mo>&amp;Element;</mo> <mi>I</mi> </mrow> </munder> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>y</mi> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>I</mi> <mi>&amp;lambda;</mi> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>&amp;lambda;</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>r</mi> <mi>e</mi> <mi>d</mi> <mo>,</mo> <mi>g</mi> <mi>r</mi> <mi>e</mi> <mi>e</mi> <mi>n</mi> <mo>,</mo> <mi>b</mi> <mi>l</mi> <mi>u</mi> <mi>e</mi> <mo>}</mo> </mrow>
其中,Iλ(y)表示颜色为λ通道的图像,Ω(x)表示以y为中心的局域块,I表示图像中所有的局域块;
其次,求取水下图像的衰减系数比;无穷远处背景光不仅与图像上像素点的位置有关,而且与散射系数bλ成正比,与衰减系数cλ成反比
<mrow> <msub> <mi>B</mi> <mrow> <mi>&amp;lambda;</mi> <mo>,</mo> <mi>&amp;infin;</mi> </mrow> </msub> <mo>&amp;Proportional;</mo> <mfrac> <msub> <mi>b</mi> <mi>&amp;lambda;</mi> </msub> <msub> <mi>c</mi> <mi>&amp;lambda;</mi> </msub> </mfrac> </mrow>
因此,为了得到各个通道之间的衰减系数之比cλ,采用Richard提出的Ⅰ类和Ⅱ类海水中的散射系数bλ与光的波长λ之间的物理模型首先计算bλ,该模型表示为:
bλ=(-0.00113λ+1.62517)b(λr)
其中b(λr)表示参考波长的散射系数;对于水下图像来说,蓝色分量的衰减最小;因此,将蓝色作为参考,由此,可以得到R、G、B三个通道的衰减系数比
<mrow> <mfrac> <msub> <mi>c</mi> <mi>R</mi> </msub> <msub> <mi>c</mi> <mi>B</mi> </msub> </mfrac> <mo>=</mo> <mfrac> <mrow> <msub> <mi>b</mi> <mi>R</mi> </msub> <msub> <mi>B</mi> <mrow> <mi>B</mi> <mo>,</mo> <mi>&amp;infin;</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>b</mi> <mi>B</mi> </msub> <msub> <mi>B</mi> <mrow> <mi>R</mi> <mo>,</mo> <mi>&amp;infin;</mi> </mrow> </msub> </mrow> </mfrac> <mo>,</mo> <mfrac> <msub> <mi>c</mi> <mi>G</mi> </msub> <msub> <mi>c</mi> <mi>B</mi> </msub> </mfrac> <mo>=</mo> <mfrac> <mrow> <msub> <mi>b</mi> <mi>G</mi> </msub> <msub> <mi>B</mi> <mrow> <mi>B</mi> <mo>,</mo> <mi>&amp;infin;</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>b</mi> <mi>B</mi> </msub> <msub> <mi>B</mi> <mrow> <mi>G</mi> <mo>,</mo> <mi>&amp;infin;</mi> </mrow> </msub> </mrow> </mfrac> </mrow>
其中,cR、cG、cB分别代表R、G、B三个通道衰减系数,bR、bG、bB分别代表R、G、B三个通道的散射系数,BR,∞、BG,∞、BB,∞分别代表R、G、B三个通道的无穷远处背景光。
第三,对颜色衰减进行补偿;根据光在水中的传输函数
<mrow> <msub> <mi>t</mi> <mi>&amp;lambda;</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>c</mi> <mi>&amp;lambda;</mi> </msub> <mi>d</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msup> </mrow>
其中cλ表示波长为λ的光对水体的衰减系数,d(x)表示光的传输距离,也就是场景景深,tλ(x)表示光的透射率;假设蓝光在水体中并没有被吸收或散射幸存个衰减,仅仅与景深有关,即
dB=e-d(x)
其中,d(x)表示场景景深,dB表示蓝色光的传输模型;以蓝色光为参考,结合衰减系数比,可以分别求出红色光分量和绿色光分量的传输模型
<mrow> <msub> <mi>d</mi> <mi>R</mi> </msub> <mo>=</mo> <msubsup> <mi>d</mi> <mi>B</mi> <mfrac> <msub> <mi>c</mi> <mi>R</mi> </msub> <msub> <mi>c</mi> <mi>B</mi> </msub> </mfrac> </msubsup> <mo>,</mo> <msub> <mi>d</mi> <mi>G</mi> </msub> <mo>=</mo> <msubsup> <mi>d</mi> <mi>B</mi> <mfrac> <msub> <mi>c</mi> <mi>G</mi> </msub> <msub> <mi>c</mi> <mi>B</mi> </msub> </mfrac> </msubsup> </mrow>
最后,将上述计算所得的dB、dR、dG融入到Shades Of Gray算法框架中,得到改进后的颜色失真校正模型:
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>&amp;Integral;</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>I</mi> <mi>&amp;lambda;</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mrow> <msub> <mi>d</mi> <mi>&amp;lambda;</mi> </msub> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mi>p</mi> </msup> <mi>d</mi> <mi>x</mi> </mrow> <mrow> <mo>&amp;Integral;</mo> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mi>p</mi> </mfrac> </msup> <mo>=</mo> <mi>k</mi> <mi>e</mi> </mrow> </mtd> <mtd> <mrow> <mi>&amp;lambda;</mi> <mo>&amp;Element;</mo> <mrow> <mo>{</mo> <mrow> <mi>r</mi> <mi>e</mi> <mi>d</mi> <mo>,</mo> <mi>g</mi> <mi>r</mi> <mi>e</mi> <mi>e</mi> <mi>n</mi> <mo>,</mo> <mi>b</mi> <mi>l</mi> <mi>u</mi> <mi>e</mi> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中,p表示闵可夫斯基范数,I(x)为图像的信息,dλ表示R、G、B三个通道的光的传输模型,e为假设条件下的光源,k是系数。
3.根据权利要求1所述的一种基于色彩恒常性和群稀疏的水下图像复原方法,其特征在于,针对水下图像的特点,设计出针对水下图像的图像退化模型,该模型包括两部分内容:退化算子的构建和水体的分层;退化算子的构建具体步骤如下:
水下的成像有两部分构成,直接部分Ed和介质散射部分Efb,即
E=Ed+Efb
水下图像的模糊问题主要由于光在水中的散射作用,特别是后向散射所引起,并且模糊问题会随着景深的增大成指数形式发展;由此,将E=Ed+Efb作为水下图像的成像模型,将后向散射模型近似作为水下图像退化部分的模型,即
Efb(x)≈Eb=E(1-e-βd(x))
其中,E表示水中的光照强度,β表示衰减系数,d(x)表示场景的景深;
根据该水下图像退化部分的模型的目标函数,可以发现水下图像的退化水平和其各场景点的景深有直接关系,景深越大,介质散射部分就越大,在水体成像的过程中产生的退化也就越严重;基于上述退化规律,我们构建退化算子;
首先,考虑到场景点的退化水平和其距消失点的距离成反比,选取一幅图像中消失点的近似位置;假设图像中心点位置的场景点为消失点,具有最大的景深;将图片的中心位置记为坐标原点,则坐标位置为(r1,r2)的景深可以定义为:
<mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>r</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>r</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> </mrow>
从该公式可以看出,中心位置的景深为d=1,随着距消失点的距离的增大,景深逐渐减小,符合水下图像后向散射模型的规律;
然后,结合水下后向散射模型,我们设计的后向散射退化算子Hb表示为:
<mrow> <msub> <mi>H</mi> <mi>b</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>-</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mi>&amp;beta;</mi> <mi>d</mi> </mrow> </msup> <mo>=</mo> <mn>1</mn> <mo>-</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mi>&amp;beta;</mi> <mrow> <msubsup> <mi>r</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>r</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </msup> <mo>.</mo> </mrow>
4.根据权利要求1所述的一种基于色彩恒常性和群稀疏的水下图像复原方法,其特征在于,针对水下图像的特点,设计出针对水下图像的图像退化模型,该模型包括两部分内容:退化算子的构建和水体的分层;水体的分层具体步骤如下:
由于水体中悬浮粒子的分布不均,以及水体溶液本身的分布不均,光子在水中每前进一点,其退化算子的参数都会产生些许的变化;针对这种情况,引入光的传递函数,即点扩散函数(point spread function,PSF),按照光所要通过的距离,也就是沿着景深增大的的方向,对水体进行分层;
将光子所要运行的距离分为n个水层,分别由n1、n2…nn表示;
水体退化模型可以描述为y=Hx+η,其中,x,y分别代表原始的清晰图像和观测到的退化图像,H是退化算子,η是退化过程中可能引入的噪声。
由此可知,水下图像的第一层退化可以表示为
y1=H1x+η
水下图像的第二层退化可以表示为
y2=H2y1
=H2(H1x+η)+η
依次类推,水下图像的第n层退化可以表示为
yn=Hn(yn-1+η)+η
=HnHn-1...H1x+HnHn-1...H2η+...+HnHn-1η+Hnη+η
由此可知,光子在每一层水体中,都经过了不同的退化过程,可以说,是不同退化算子的叠加。虽然,在水体分层的过程中,每层的退化算子参数会有一些出入,但是根据微分的思想,当分一层水体的距离都趋于0时,可以将每一层退化算子的参数看成是相同的,即
H=H1=H2=...=Hn
5.根据权利要求1所述的一种基于色彩恒常性和群稀疏的水下图像复原方法,其特征在于,将上述退化模型,即退化算子和水体分层融入到群稀疏框架中,提出了一种融合退化模型和群稀疏的水下图像去模糊算法;
首先,给定一幅退化图像y,对其先构造群,具体操作为,将退化图像y分成n块相互重叠的图像块,每一个图像块可以表示为一个矢量yk∈RB,(k=1,2,...n);对于每个图像块,在其邻近区域利用欧氏距离寻找c个相似块作为匹配块,然后将所有的相似块堆叠成一个矩阵该矩阵称为群;
其次,将该退化模型融入到群稀疏表示模型的框架中,则图像去模糊问题可以表示为:
其中,是一个关于l2的数据保真项,λ是正则化参数,λ||αG||0是正则化项;DG是群字典的级联,是学习得到的适应于每个群的群字典;αG是稀疏系数的级联,是每个群基于自适应字典的稀疏系数;很明显,要想解决这个复原问题,需要先计算求得
第三,获取学习字典;每个群的自适应字典从它的近似值中求得,每个群的近似值可以在优化求解过程中自然的获得;对每个群的估计采用一次奇异值分解得到字典的原子最后,每个群的自适应学习字典可以表示为:
<mrow> <msub> <mi>D</mi> <msub> <mi>G</mi> <mi>k</mi> </msub> </msub> <mo>=</mo> <mo>&amp;lsqb;</mo> <msub> <mi>d</mi> <mrow> <msub> <mi>G</mi> <mi>k</mi> </msub> <mo>&amp;CircleTimes;</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>d</mi> <mrow> <msub> <mi>G</mi> <mi>k</mi> </msub> <mo>&amp;CircleTimes;</mo> <mn>2</mn> </mrow> </msub> <mo>,</mo> <mo>...</mo> <msub> <mi>d</mi> <mrow> <msub> <mi>G</mi> <mi>k</mi> </msub> <mo>&amp;CircleTimes;</mo> <mi>m</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> 3
第四,对于给定的字典,基于字典的稀疏编码问题是寻找一个稀疏向量使得采用分离Bregman迭代算法,通过SBI,计算出稀疏编码稀疏αG;并根据字典和稀疏系数进行水下图像去模糊;进行Bregman迭代的迭代过程,其实就是在一层一层地不断修正每个水层所带来的的退化影响,迭代次数就可以简单的被理解为水体分层的层数;
最后,当求得了自适应字典DG和稀疏编码系数αG,去模糊后的图像可以表示为:
CN201710411503.1A 2017-06-05 2017-06-05 一种基于色彩恒常性和群稀疏的水下图像复原方法 Active CN107256536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710411503.1A CN107256536B (zh) 2017-06-05 2017-06-05 一种基于色彩恒常性和群稀疏的水下图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710411503.1A CN107256536B (zh) 2017-06-05 2017-06-05 一种基于色彩恒常性和群稀疏的水下图像复原方法

Publications (2)

Publication Number Publication Date
CN107256536A true CN107256536A (zh) 2017-10-17
CN107256536B CN107256536B (zh) 2021-01-05

Family

ID=60022952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710411503.1A Active CN107256536B (zh) 2017-06-05 2017-06-05 一种基于色彩恒常性和群稀疏的水下图像复原方法

Country Status (1)

Country Link
CN (1) CN107256536B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909552A (zh) * 2017-10-31 2018-04-13 天津大学 基于水下先验约束的图像复原方法
CN108564543A (zh) * 2018-04-11 2018-09-21 长春理工大学 一种基于电磁理论的水下图像色彩补偿方法
CN109410180A (zh) * 2018-09-30 2019-03-01 清华-伯克利深圳学院筹备办公室 衰减系数的确定方法、装置、计算机设备和存储介质
CN110135434A (zh) * 2018-11-13 2019-08-16 天津大学青岛海洋技术研究院 基于颜色线模型的水下图像质量提升算法
CN111192222A (zh) * 2020-01-07 2020-05-22 大连海事大学 一种基于变分框架的水下图像颜色校正方法及系统
CN111861896A (zh) * 2019-04-30 2020-10-30 陕西师范大学 一种面向uuv的水下图像色彩补偿与恢复方法
WO2021191896A1 (en) * 2020-03-23 2021-09-30 Carmel Haifa University Economic Corporation Ltd. Estimating optical properties of a scattering medium
WO2023070958A1 (zh) * 2021-10-28 2023-05-04 中国科学院沈阳自动化研究所 一种基于物理散射模型的图像恢复方法
CN116309232A (zh) * 2023-05-15 2023-06-23 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459818B1 (en) * 1999-03-01 2002-10-01 University Of Rochester System for recovery of degraded images
JP4860512B2 (ja) * 2007-03-13 2012-01-25 株式会社市川ソフトラボラトリー 画像処理装置
CN106296597A (zh) * 2016-07-25 2017-01-04 天津大学 一种基于最优化颜色修正和回归模型的水下图像复原方法
CN106683055A (zh) * 2016-12-09 2017-05-17 河海大学 一种基于退化模型和群稀疏的雾天图像复原方法
CN106780368A (zh) * 2016-11-24 2017-05-31 天津大学 一种基于前景模型的水下图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459818B1 (en) * 1999-03-01 2002-10-01 University Of Rochester System for recovery of degraded images
JP4860512B2 (ja) * 2007-03-13 2012-01-25 株式会社市川ソフトラボラトリー 画像処理装置
CN106296597A (zh) * 2016-07-25 2017-01-04 天津大学 一种基于最优化颜色修正和回归模型的水下图像复原方法
CN106780368A (zh) * 2016-11-24 2017-05-31 天津大学 一种基于前景模型的水下图像增强方法
CN106683055A (zh) * 2016-12-09 2017-05-17 河海大学 一种基于退化模型和群稀疏的雾天图像复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙飞飞: "水下图像增强和复原方法研究", 《中国博士学位论文全文数据库(信息科技辑)》 *
郑佳: "水下图像复原方法研究", 《中国学位论文全文数据库》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909552A (zh) * 2017-10-31 2018-04-13 天津大学 基于水下先验约束的图像复原方法
CN108564543A (zh) * 2018-04-11 2018-09-21 长春理工大学 一种基于电磁理论的水下图像色彩补偿方法
CN109410180B (zh) * 2018-09-30 2021-09-21 清华-伯克利深圳学院筹备办公室 衰减系数的确定方法、装置、计算机设备和存储介质
CN109410180A (zh) * 2018-09-30 2019-03-01 清华-伯克利深圳学院筹备办公室 衰减系数的确定方法、装置、计算机设备和存储介质
CN110135434A (zh) * 2018-11-13 2019-08-16 天津大学青岛海洋技术研究院 基于颜色线模型的水下图像质量提升算法
CN110135434B (zh) * 2018-11-13 2023-05-05 天津大学青岛海洋技术研究院 基于颜色线模型的水下图像质量提升方法
CN111861896A (zh) * 2019-04-30 2020-10-30 陕西师范大学 一种面向uuv的水下图像色彩补偿与恢复方法
CN111192222A (zh) * 2020-01-07 2020-05-22 大连海事大学 一种基于变分框架的水下图像颜色校正方法及系统
CN111192222B (zh) * 2020-01-07 2023-05-23 大连海事大学 一种基于变分框架的水下图像颜色校正方法及系统
WO2021191896A1 (en) * 2020-03-23 2021-09-30 Carmel Haifa University Economic Corporation Ltd. Estimating optical properties of a scattering medium
WO2023070958A1 (zh) * 2021-10-28 2023-05-04 中国科学院沈阳自动化研究所 一种基于物理散射模型的图像恢复方法
CN116309232A (zh) * 2023-05-15 2023-06-23 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法
CN116309232B (zh) * 2023-05-15 2023-08-18 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法

Also Published As

Publication number Publication date
CN107256536B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN107256536B (zh) 一种基于色彩恒常性和群稀疏的水下图像复原方法
CN107507138B (zh) 一种基于Retinex模型的水下图像增强方法
JP6656111B2 (ja) 画像のノイズを除去する方法及びシステム
Shi et al. Total variation image restoration using hyper-Laplacian prior with overlapping group sparsity
CN106373105B (zh) 基于低秩矩阵恢复的多曝光图像去伪影融合方法
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN106447632B (zh) 一种基于稀疏表示的raw图像去噪方法
Huang et al. Luminance learning for remotely sensed image enhancement guided by weighted least squares
Hosono et al. Weighted tensor nuclear norm minimization for color image denoising
CN105787892A (zh) 一种基于机器学习的蒙特卡洛噪声去除方法
CN114092416A (zh) 一种dr模糊图像盲反卷积复原方法及系统
Selva Nidhyanandhan et al. Double stage gaussian filter for better underwater image enhancement
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN109544470A (zh) 一种边界约束的卷积神经网络单幅图像去雾方法
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
EP4302258A1 (en) Noise reconstruction for image denoising
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法
Ye et al. Low-quality image object detection based on reinforcement learning adaptive enhancement
CN116843559A (zh) 一种基于图像处理与深度学习的水下图像增强方法
CN114549342A (zh) 一种用于水下图像的复原方法
CN108550120B (zh) 一种变分框架下水下图像复原方法
Zhang et al. SCRNet: a Retinex Structure-based Low-light Enhancement Model Guided by Spatial Consistency
Chen et al. Through the Real World Haze Scenes: Navigating the Synthetic-to-Real Gap in Challenging Image Dehazing
CN113822823B (zh) 气动光学效应图像空变模糊核的点近邻复原方法及系统
CN115496694B (zh) 基于改进图像形成模型对水下图像进行恢复和增强的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant