CN107256536B - 一种基于色彩恒常性和群稀疏的水下图像复原方法 - Google Patents
一种基于色彩恒常性和群稀疏的水下图像复原方法 Download PDFInfo
- Publication number
- CN107256536B CN107256536B CN201710411503.1A CN201710411503A CN107256536B CN 107256536 B CN107256536 B CN 107256536B CN 201710411503 A CN201710411503 A CN 201710411503A CN 107256536 B CN107256536 B CN 107256536B
- Authority
- CN
- China
- Prior art keywords
- image
- degradation
- underwater
- underwater image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006731 degradation reaction Methods 0.000 claims abstract description 75
- 230000015556 catabolic process Effects 0.000 claims abstract description 70
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 65
- 238000012937 correction Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- 238000013517 stratification Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000005562 fading Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 238000013461 design Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于色彩恒常性和群稀疏的水下图像复原方法，该方法首先设计了一种改进的基于色彩恒常性的水下图像颜色失真校正算法，在Shades Of Gray算法的基础上，针对水下图像的颜色失真特点，加入颜色补偿的概念，对水下图像进行了颜色校正；然后，提出了一种改进的基于退化模型和群稀疏的水下图像去模糊算法，将设计出的水下图像退化算子和水体分层融入到经典的群稀疏去模糊的框架中，对校正后的图像进行复原，以进一步提高水下图像的清晰度；最后，通过对实际拍摄的水下图像进行实验，结果表明提出的基于色彩恒常性和群稀疏的水下图像复原方法不仅可以很好地对水下图像进行颜色校正，而且能够有效的去除模糊，达到良好的复原效果。
Description
技术领域
本发明涉及一种基于色彩恒常性和群稀疏的水下图像复原方法，属于数字图像处理技术领域。
背景技术
近些年来，水下图像处理对水资源开发和保护、海洋勘探、水体污染检测等研究具有极其重要的意义。然而，在复杂的水下环境中，由于水对光线的吸收和散射作用，及成像过程中可能产生的一些不可避免的噪声，采集得到的水下图像往往存在一定程度的退化。具体来说，一方面，水对光的吸收作用表明不同颜色的光在水下有不同的衰减特征，这使得水下图像会产生颜色失真；另一方面，水对光的散射作用和水中各种悬浮粒子给成像带来的噪声，使得水下图像呈现“雾化”效果，图像变得比较模糊。因此，如何同时有效解决上述两个问题以得到良好的水下图像复原效果，需要进一步研究。
公开号CN106600547A水下图像复原方法，该方法将图像去雾算法与颜色恒常算法相结合，首先，将退化水下图像的蓝绿信道根据水下成像数据模型进行去模糊处理；其次，在蓝绿信道去雾的基础上，退化的红信道根据复原的蓝绿信道的像素值，依据灰度世界色彩恒常算法进行颜色矫正。该方法虽然可以取得一定的水下图像复原效果，但是在去模糊的过程中，没有考虑水体中悬浮微粒和溶质的分布不均问题，去模糊的效果不是很理想；另外，针对水下图像而言，该方法采用的灰度世界颜色失真矫正算法还会引入一些鲜艳颜色噪声。
公开号CN104766284A水下彩色图像的复原方法，该方法首先采用中值滤波的方法实现图像的光照均匀化操作；其次依据暗原色先验理论建立水下光学图像成像模型I(x,y)＝J(x,y)t(x,y)+A(1-t(x,y))；再次通过自适应求解水体光强A，利用双边滤波法求解水体透射率t(x,y)，将A和t(x,y)代入水下光学图像成像模型，得到去模糊图像t0为水体透射率下限值；最后对去模糊图像的每个颜色通道直方图分析的基础上，对每个通道的中间灰度区进行量化处理。该方法在去模糊的过程中，使用了一个固化的自适应模型，没有阈值的控制和反复的修正过程，在水下成像条件较差的时候，去模糊效果不是很好；另外，针对于水下图像的颜色失真问题，该方法采用的直方图方法效果不是很理想。
Guo等人在2014年IEEE Oceans上发表论文“Improving visibility andfidelity of underwater images using an adaptive restoration algorithm”，该文献使用了暗通道先验去除水下图像模糊，之后使用了R、G、B三个通道中均衡颜色均值来平衡颜色，然后将颜色空间从RGB变换到HSV进行了对比度的增强。该方法在水下成像条件较差的时候，去模糊效果不是很好；另外，该方法虽然增强了水下图像的对比度，但是颜色失真矫正问题没有很好地解决。
总之，现有的水下图像处理方法，其存在的诸多局限性主要表现在：
(1)在水下颜色矫正方面，没有充分考虑水下图像的特性，仅采用传统图像颜色失真校正策略，无法得到令人满意的结果。
(2)在图像去模糊的过程中没有考虑到水体本身悬浮微粒和溶质分布不均的问题，因此也没给出相应的解决手段，去模糊效果不是非常理想。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于色彩恒常性和群稀疏的水下图像复原方法，先利用引入颜色补偿的Shades Of Gray算法进行颜色失身去除，再利用基于水下图像退化模型和群稀疏的图像去模糊算法进行水下图像去模糊的水下图像复原方式。该方法不仅可以很好地对水下图像进行颜色校正，而且能够有效的去除模糊，达到良好的复原效果。
技术方案：一种基于色彩恒常性和群稀疏的水下图像复原方法，包括如下步骤：
步骤一：在Shades Of Gray算法的基础上，针对水下图像的颜色失真特点，加入颜色补偿的概念，提出了一种改进的基于色彩恒常性的水下图像颜色失真校正算法，对原始的水下图像进行颜色失真矫正。
首先，给定一幅原始水下图像，求取无穷远处背景光，即假设相机与物体相距无穷远处时，在该物体上颜色的背景光，该背景光一般选取各个暗通道中强度最高的像素
其中，Iλ(y)表示颜色为λ通道的图像，Ω(x)表示以y为中心的局域块，I表示图像中所有的局域块。
其次，求取水下图像的衰减系数比。无穷远处背景光不仅与图像上像素点的位置有关，而且与散射系数bλ成正比，与衰减系数cλ成反比
因此，为了得到各个通道之间的衰减系数之比cλ，我们采用Richard提出的Ⅰ类和Ⅱ类海水中的散射系数bλ与光的波长λ之间的物理模型首先计算bλ，该模型表示为：
bλ＝(-0.00113λ+1.62517)b(λr)
其中b(λr)表示参考波长的散射系数。对于水下图像来说，蓝色分量的衰减最小。因此，将蓝色作为参考，由此，可以得到R、G、B三个通道的衰减系数比
其中，cR、cG、cB分别代表R、G、B三个通道衰减系数，bR、bG、bB分别代表R、G、B三个通道的散射系数，BR，∞、BG，∞、BB，∞分别代表R、G、B三个通道的无穷远处背景光。
第三，对颜色衰减进行补偿。根据光在水中的传输函数
其中，cλ表示波长为λ的光对水体的衰减系数，d(x)表示光的传输距离，也就是场景景深，tλ(x)表示光的透射率。假设蓝光在水体中并没有被吸收或散射幸存个衰减，仅仅与景深有关，即
dB＝e-d(x)
其中，d(x)表示场景景深，dB表示蓝色光的传输模型。以蓝色光为参考，结合衰减系数比，可以分别求出红色光分量和绿色光分量的传输模型
最后，将上述计算所得的dB、dR、dG融入到Shades Of Gray算法框架中，得到改进后的颜色失真校正模型：
其中，p表示闵可夫斯基范数，I(x)为图像的信息，dλ表示R、G、B三个通道的光的传输模型，e为假设条件下的光源，k是系数。
步骤二：针对水下图像的特点，设计出针对水下图像的图像退化模型，该模型包括两部分内容：退化算子的构建和水体的分层。
1)退化算子的构建具体步骤如下：
水下的成像有两部分构成，直接部分Ed和介质散射部分Efb，即
E＝Ed+Efb
水下图像的模糊问题主要由于光在水中的散射作用，特别是后向散射所引起，并且模糊问题会随着景深的增大成指数形式发展。由此，我们将E＝Ed+Efb作为水下图像的成像模型，将后向散射模型近似作为水下图像退化部分的模型，即
Efb(x)≈Eb＝E∞(1-e-βd(x))
其中，E∞表示水中的光照强度，β表示衰减系数，d(x)表示场景的景深。
根据该水下图像退化部分的模型的目标函数，可以发现水下图像的退化水平和其各场景点的景深有直接关系，景深越大，介质散射部分就越大，在水体成像的过程中产生的退化也就越严重。基于上述退化规律，我们构建退化算子。
首先，考虑到场景点的退化水平和其距消失点的距离成反比，我们来选取一幅图像中消失点的近似位置。为了方便计算，我们假设图像中心点位置的场景点为消失点，具有最大的景深。将图片的中心位置记为坐标原点，则坐标位置为(r1,r2)的景深可以定义为：
从该公式可以看出，中心位置的景深为d＝1，随着距消失点的距离的增大，景深逐渐减小，符合水下图像后向散射模型的规律。
然后，结合水下后向散射模型，我们设计的后向散射退化算子Hb表示为：
2)水体的分层具体步骤如下：
由于水体中悬浮粒子的分布不均，以及水体溶液本身的分布不均，光子在水中每前进一点，其退化算子的参数都会产生些许的变化。针对这种情况，我们引入光的传递函数，即点扩散函数(point spread function,PSF)，按照光所要通过的距离，也就是沿着景深增大的方向，对水体进行分层。
下面，我们将光子所要运行的距离分为n个水层，分别由n1、n2…nn表示。
水体退化模型可以描述为y＝Hx+η其中，x，y分别代表原始的清晰图像和观测到的退化图像，H是退化算子，η是退化过程中可能引入的噪声。
由此可知，水下图像的第一层退化可以表示为
y1＝H1x+η
水下图像的第二层退化可以表示为
y2＝H2y1+η
＝H2(H1x+η)+η
依次类推，水下图像的第n层退化可以表示为
yn＝Hn(yn-1+η)+η
＝HnHn-1...H1x+HnHn-1...H2η+...+HnHn-1η+Hnη+η
由此可知，光子在每一层水体中，都经过了不同的退化过程，可以说，是不同退化算子的叠加。虽然，在水体分层的过程中，每层的退化算子参数会有一些出入，但是根据微分的思想，当分一层水体的距离都趋于0时，可以将每一层退化算子的参数看成是相同的，即
H＝H1＝H2＝...＝Hn
因此，水下图像的退化模型可以用图3来表示。其中，d为景深，x为清晰图像，y1,y2,...yn为1,2,...n层水体经过退化后的图像。
我们可以看出，水体分层过程的逆过程就如同对水下图像在不断进行去模糊修正的过程。而在基于群稀疏的图像去模糊算法的核心算法就是SBI算法，即一个不断迭代的过程。因此，水体分层还可以看做该迭代过程的理论基础。
步骤三：将上述退化模型，即退化算子和水体分层融入到群稀疏框架中，提出了一种融合退化模型和群稀疏的水下图像去模糊算法，将该算法用于处理经过颜色失真矫正之后的水下图像，以期提高其清晰度。
首先，给定一幅退化图像y，对其先构造群，具体操作为，将退化图像y分成n块相互重叠的图像块，每一个图像块可以表示为一个矢量yk∈RB，RB表示长度为B的矢量，(k＝1,2,...n)。对于每个图像块，在其邻近区域利用欧氏距离寻找c个相似块作为匹配块，然后将所有的相似块堆叠成一个矩阵
该矩阵称为群。
其次，将该退化模型融入到群稀疏表示模型的框架中，则图像去模糊问题可以表示为：
其中，
是一个关于l2的数据保真项，λ是正则化参数，λ||αG||0是正则化项。DG是群字典
的级联，
是学习得到的适应于每个群
的群字典。αG是稀疏系数
的级联，
是每个群基于自适应字典的稀疏系数。很明显，要想解决这个复原问题，需要先计算求得
和
第三，获取学习字典。每个群
的自适应字典
从它的近似值
中求得，每个群的近似值可以在优化求解过程中自然的获得。对每个群的估计
采用一次奇异值分解得到字典的原子
(i＝1,2,...n)。最后，每个群的
自适应学习字典可以表示为：
第四，对于给定的字典，基于字典
的稀疏编码问题是寻找一个稀疏向量
使得
采用分离Bregman迭代算法，通过SBI，计算出稀疏编码稀疏αG。并根据字典和稀疏系数进行水下图像去模糊。进行Bregman迭代的迭代过程，其实就是在一层一层地不断修正每个水层所带来的的退化影响，迭代次数就可以简单的被理解为水体分层的层数。
最后，当我们求得了自适应字典DG和稀疏编码系数αG，去模糊后的图像可以表示为：
本发明采用上述技术方案，具有以下有益效果：
(1)本发明的方法针对水体对光的吸收特性，提出了颜色补偿这一概念，根据水下图像蓝光衰减最小的特点和光在水中的传输规律，先对图像进行颜色补偿，再融入ShadesOf Gray算法进行颜色矫正，从而使得颜色矫正效果更加良好。
(2)本方法在群稀疏的基础上，融入了水下图像退化模型，即退化算子和水体分层，使得提出的去模糊算法更有针对性地贴合实际水下图像特点。
附图说明
图1是本发明方法的整体框架图；
图2是群构建示意图；
图3是水下图像分层退化模型图；
图4是水下图像复原示例图，(a)为原始图像，(b)为颜色矫正后的图像，(c)为最终复原后的图像。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，基于色彩恒常性和群稀疏的水下图像复原方法，包括如下步骤：
第一，了解经典的水下图像颜色矫正方法。
现有的经典颜色恒常性算法都是基于灰度世界假说提出的，即对于一副丰富的彩色图像，R、G、B三个通道的均值趋于同一灰度值
也就是说，场景对所有光的光照反射率是相同的，如下
其中，I(x)为图像的信息，e为假设条件下的光源，k是系数。
Shades Of Gray假设在灰度世界假设的基础上提出，图像数据的在经过非线性变换以后，不会影响其颜色信息。因此，将闵可夫斯基范式引入到灰度世界算法，提出了Shades Of Gray算法，如下
其中，p表示闵可夫斯基范数，I(x)为图像的信息，e为假设条件下的光源，k是系数。
第二，针对水下图像颜色是失真的特点，计算针对水下图像的颜色衰减。
首先，给定一幅原始水下图像，求取无穷远处背景光，即假设相机与物体相距无穷远处时，在该物体上颜色的背景光，该背景光一般选取各个暗通道中强度最高的像素
其中，Iλ(y)表示颜色为λ通道的图像，Ω(x)表示以y为中心的局域块，I表示图像中所有的局域块。
其次，求取水下图像的衰减系数比。无穷远处背景光不仅与图像上像素点的位置有关，而且与散射系数bλ成正比，与衰减系数cλ成反比
因此，为了得到各个通道之间的衰减系数之比cλ，我们采用Richard提出的Ⅰ类和Ⅱ类海水中的散射系数bλ与光的波长λ之间的物理模型首先计算bλ，该模型表示为：
bλ＝(-0.00113λ+1.62517)b(λr) (5)
其中，b(λr)表示参考波长的散射系数。对于水下图像来说，蓝色分量的衰减最小。因此，将蓝色作为参考，由此，可以得到R、G、B三个通道的衰减系数比
其中，cR、cG、cB分别代表R、G、B三个通道衰减系数，bR、bG、bB分别代表R、G、B三个通道的散射系数，BR，∞、BG，∞、BB，∞分别代表R、G、B三个通道的无穷远处背景光。
第三，根据颜色通道的衰减系数以及水下光子的传输模型，计算R、G、B三个通道的光线传输模型。
根据光在水中的传输函数
其中cλ表示波长为λ的光对水体的衰减系数，d(x)表示光的传输距离，也就是场景景深，tλ(x)表示光的透射率。假设蓝光在水体中并没有被吸收或散射幸存个衰减，仅仅与景深有关，即
dB＝e-d(x) (8)
其中d(x)表示场景景深，dB表示蓝色光的传输模型。以蓝色光为参考，结合衰减系数比，可以分别求出红色光分量和绿色光分量的传输模型
第四，将上述计算所得的dB、dR、dG融入到Shades Of Gray算法框架中，得到改进后的颜色失真校正模型：
其中，p表示闵可夫斯基范数，I(x)为图像的信息，dλ表示R、G、B三个通道的光的传输模型，e为假设条件下的光源，k是系数。基于该改进的模型，颜色失真校正后的水下图像即可通过如下公式获得：
其中，k'为常数。
第五，在经过颜色矫正的水下图像上，建立稀疏群表示模型。
如图2，首先将图像划分成n块相互重叠的图像小块xk，k＝1,2,3...n，即图中的小方块。然后再在大方块标记的训练窗内搜索与其相近的其他图像小块，利用欧氏距离进行图像的相似度匹配，寻找到c个与其最相似的相似块作为匹配块，这些块组成了集合
最后，将集合
堆叠成一个矩阵
其中每一个图像小块代表这个矩阵的一列，矩阵
就称之为群。
第六，分析水下图像散射模型，并据此设计水下图像的退化算子。
水下的成像有两部分构成，直接部分Ed和介质散射部分Efb，即
E＝Ed+Efb (12)
水下图像的模糊问题主要由于光在水中的散射作用，特别是后向散射所引起，并且模糊问题会随着景深的增大成指数形式发展。由此，我们将E＝Ed+Efb作为水下图像的成像模型，将后向散射模型近似作为水下图像退化部分的模型，即
Efb(x)≈E∞(1-e-βd(x)) (13)
根据该水下图像退化部分的模型的目标函数，可以发现水下图像的退化水平和其各场景点的景深有直接关系，景深越大，介质散射部分就越大，在水体成像的过程中产生的退化也就越严重。基于上述退化规律，我们构建退化算子。
首先，考虑到场景点的退化水平和其距消失点的距离成反比，我们来选取一幅图像中消失点的近似位置。为了方便计算，我们假设图像中心点位置的场景点为消失点，具有最大的景深。将图片的中心位置记为坐标原点，则坐标位置为(r1,r2)的景深可以定义为：
从该公式可以看出，中心位置的景深为d＝1，随着距消失点的距离的增大，景深逐渐减小，符合水下图像后向散射模型的规律。
然后，结合水下后向散射模型，设计后向散射退化算子Hb如下：
第七，将水下图像沿着景深增大的方向，对水体进行分层。
我们将光子所要运行的距离分为n个水层，分别由n1、n2…nn表示。
水体退化模型可以描述为y＝Hx+η，其中，x，y分别代表原始的清晰图像和观测到的退化图像，H是退化算子，η是退化过程中可能引入的噪声。
由此可知，水下图像的第一层退化可以表示为
y1＝H1x+η (17)
水下图像的第二层退化可以表示为
依次类推，水下图像的第n层退化可以表示为
由此可知，光子在每一层水体中，都经过了不同的退化过程，可以说，是不同退化算子的叠加。虽然，在水体分层的过程中，每层的退化算子参数会有一些出入，但是根据微分的思想，当分一层水体的距离都趋于0时，可以将每一层退化算子的参数看成是相同的，即
H＝H1＝H2＝...＝Hn (20)
因此，水下图像的退化模型可以用图3来表示。其中，d为景深，x为清晰图像，y1,y2,...yn为1,2,...n层水体经过退化后的图像。
我们可以看出，水体分层过程的逆过程就如同对水下图像在不断进行去模糊修正的过程。而基于群稀疏的图像去模糊算法的核心算法就是SBI算法，即一个不断迭代的过程。因此，水体分层还可以看做该迭代过程的理论基础。
第八，将退化算子和水体分层融入到群稀疏表示模型的框架中，则图像去模糊问题可以表示为:
其中，
是一个关于l2的数据保真项，λ是正则化参数，λ||αG||0是正则化项。DG是群字典
的级联，
是学习得到的适应于每个群
的群字典。αG是稀疏系数
的级联，
是每个群基于自适应字典的稀疏系数。
第九，获取学习字典，每个群
的自适应字典
从它的近似值
中求得，每个群的近似值可以在优化求解过程中自然的获得。对每个群的估计
采用一次奇异值分解(singular value decomposition，SVD)
其中
为矩阵
的特征值，
分别表示
的列向量。
定义每一个群字典
中的每一个原子为
最后，每个群的
自适应学习字典可以表示为：
第十，采用分离Bregman迭代，通过SBI算法，计算出稀疏编码稀疏αG。并根据字典和稀疏系数进行水下图像去模糊。
该最小化问题可以被等价为
其中，u是我们为了利用SBI算法而引入的变量，再引入变量b，从而求解上述问题可以表示为求解SBI算法中的三个子问题：
其中，t代表迭代次数，μ和λ均为常数。具体求解步骤如下：
(1)首先要求解u，记u(0)＝y，y是观测到的退化图像。对于公式(26)，如果αG已知，则(26)可以表示为：
将上面函数的梯度取零，可以求得
u＝(HTH+μI)-1q (30)
其中，
I是单位矩阵。
(2)上面已经求得u。在SBI算法每次迭代过程中，会得到原始图像的近似图像，称为估计，记为r，且有r(t+1)＝u(t+1)-b(t)，其中设置初始值b(0)＝0。这样就可以求得每次原始图像的估计r(t)。
(2)接着求解每个群在群字典上的稀疏系数
也就是公式(27)的求解，在求解出u和DG之后，该问题可以转化为：
直接求解上述问题很难，做一下变形，令
则有
这里记残差为res＝x-r，有实验证明，在每次迭代中，res(t)的分布满足广义高斯分布，且每一个元素是独立的，则在第t次迭代过程中，有下列等式：
说明求解αG的问题等价于求解关于n个群的子问题。其中，N为待处理图像的大小，K＝B×c×n，
分别表示x、r在一个群小块中的值。将公式(33)带入到(31)中可得：
其中，
将上述问题转化为求解关于n个群的子问题，则每个子问题的求解可以表示为：
其中，
表示自适应字典，
表示稀疏系数。群字典
已经求得，因为字典中任意两个原子的正交性，则有：
其中，
表示矩阵
的特征值。借助式(36)，则(35)关于群的子问题可以转化为：
因此对应群的稀疏系数就可以求解出来：
其中，hard(·)代表的是硬阈值算子，⊙代表向量对应元素的点乘算子。对构建的每一个群都按照上述方法求得稀疏系数
也就求出了αG。
(5)在求得第t次的群字典
和稀疏系数
之后，跟据公式(28)更新b(t+1)。
至此，一次完整的迭代过程就完成了，当t达到最大迭代次数之后，算法结束，可以得到最终的群字典和稀疏系数。则复原后的图像x可以由最后一次求得的群字典和稀疏系数表示出来。
Claims (2)
1.一种基于色彩恒常性和群稀疏的水下图像复原方法，其特征在于，包括如下步骤：
步骤一：在Shades Of Gray算法的基础上，针对水下图像的颜色失真特点，加入颜色补偿的概念，提出了一种改进的基于色彩恒常性的水下图像颜色失真校正算法，对原始的水下图像进行颜色失真矫正，具体步骤如下：
1)给定一幅原始水下图像，求取无穷远处背景光，即当相机与物体相距无穷远处时该物体上颜色的背景光，该背景光选取各个暗通道中强度最高的像素
其中，Iλ(y)表示颜色为λ通道的图像，Ω(x)表示以x为中心的局域块，I表示图像中所有的局域块；
2)求取水下图像的衰减系数比：将蓝色光blue作为参考光波，红色red、绿色green通道的衰减系数比为：
其中，cred、cgreen、cblue分别代表红色、绿色、蓝色三个通道衰减系数，bred、bgreen、bblue分别代表红色、绿色、蓝色三个通道的散射系数，Bred，∞、Bgreen，∞、Bblue，∞分别代表红色、绿色、蓝色三个通道的无穷远处背景光；
3)对颜色衰减进行补偿：令蓝色光的传输模型为：dblue＝exp-d(x)，d(x)表示场景景深，以蓝色光为参考，结合衰减系数比，分别求出红色光分量和绿色光分量的传输模型：
4)将上述计算所得的dblue、dred、dgreen融入到Shades Of Gray算法框架中，得到改进后的颜色失真校正模型：
其中，p表示闵可夫斯基范数，dλ表示红色、绿色、蓝色三个通道的光的传输模型，e为假设条件下的光源，k是系数；
步骤二：针对水下图像的特点，设计出针对水下图像的图像退化模型，该模型包括两部分内容：退化算子的构建和水体的分层，其中，
所述退化算子的构建具体步骤如下：
水下的成像由两部分构成，直接部分Ed和介质散射部分Efb，即
E＝Ed+Efb
将E＝Ed+Efb作为水下图像的成像模型，将后向散射模型作为水下图像退化部分的模型，即
Efb(x)≈E＝E∞(1-exp-βd(x))
其中，E∞表示水中的光照强度，β表示水下光照后向衰减系数；
根据该水下图像退化部分的模型，发现水下图像的退化水平和其各场景点的景深有直接关系，景深越大，介质散射部分就越大，在水体成像的过程中产生的退化也就越严重；基于上述退化规律，构建退化算子；
首先，考虑到场景点的退化水平和其距消失点的距离成反比，选取一幅图像中消失点的近似位置；将图像中心点位置的场景点作为消失点，具有最大的景深；将图像的中心位置记为坐标原点，则坐标位置(r1,r2)的景深定义为：
从该公式看出，中心位置的景深为d＝1，随着距消失点的距离的增大，景深逐渐减小，符合水下图像后向散射模型的规律；
结合水下后向散射模型，设计后向散射退化算子H表示为：
所述水体的分层具体步骤如下：
由于水体中悬浮粒子的分布不均，以及水体溶液本身的分布不均，光子在水中每前进一点，其退化算子的参数都会产生变化；针对这种情况，引入点扩散函数，按照光所要通过的距离，也就是沿着景深增大的方向，对水体进行分层；
将光子所要运行的距离分为n个水层，分别由1、2…n表示；
水体退化模型描述为Y＝HX+η，其中，X，Y分别代表原始的清晰图像和观测到的退化图像，H是退化算子，η是退化过程中引入的噪声；
得到水下图像的第一层退化表示为：
Y1＝H1X+η
水下图像的第二层退化表示为：
Y2＝H2Y1+η
＝H2(H1X+η)+η
依次类推，水下图像的第n层退化表示为：
Yn＝Hn(Yn-1+η)+η
＝HnHn-1...H1X+HnHn-1...H2η+...+HnHn-1η+Hnη+η
每一层退化算子是相同的，即H＝H1＝H2＝...＝Hn；
步骤三：将该退化模型融入到群稀疏框架中，提出了一种融合退化模型和群稀疏的水下图像去模糊算法，用于处理经过颜色失真矫正之后的水下图像，以期提高其清晰度。
2.根据权利要求1所述的一种基于色彩恒常性和群稀疏的水下图像复原方法，其特征在于，所述融合退化模型和群稀疏的水下图像去模糊算法包括以下步骤：
a)给定一幅退化图像Y，对其先构造群，具体操作为，将退化图像Y分成S块相互重叠的图像块，每一个图像块表示为一个矢量Yj∈RB，j＝1,2,...S；对于每个图像块，在其邻近区域利用欧氏距离寻找c个相似块作为匹配块，然后将所有的相似块堆叠成一个矩阵
该矩阵称为群；
b)将该退化模型融入到群稀疏表示模型的框架中，则图像去模糊问题表示为：
其中，
是一个关于l2的数据保真项，t是正则化参数，t||αG||0是正则化项；H是退化算子，DG是群字典
的级联，
是学习得到的适应于每个群
的群字典；αG是稀疏系数
的级联，
是每个群基于自适应字典的稀疏系数；很明显，要想解决这个复原问题，需要先求得
和
c)获取学习字典；每个群
的自适应字典
从它的近似值
中求得，每个群的近似值在优化求解过程中自然获得；对每个群的估计
采用一次奇异值分解得到字典的原子
m表示字典的原子的个数，最后，每个群的
自适应学习字典表示为：
d)对于给定的字典，基于字典
的稀疏编码问题是寻找一个稀疏向量
使得
采用分离Bregman迭代算法，计算出稀疏编码稀疏αG；并根据字典和稀疏系数进行水下图像去模糊；其中Bregman迭代的迭代次数为水体分层的层数；
e)当求得了自适应字典DG和稀疏编码系数αG后，去模糊后的图像表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710411503.1A CN107256536B (zh) | 2017-06-05 | 2017-06-05 | 一种基于色彩恒常性和群稀疏的水下图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710411503.1A CN107256536B (zh) | 2017-06-05 | 2017-06-05 | 一种基于色彩恒常性和群稀疏的水下图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107256536A CN107256536A (zh) | 2017-10-17 |
| CN107256536B true CN107256536B (zh) | 2021-01-05 |
Family
ID=60022952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710411503.1A Active CN107256536B (zh) | 2017-06-05 | 2017-06-05 | 一种基于色彩恒常性和群稀疏的水下图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107256536B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909552A (zh) * | 2017-10-31 | 2018-04-13 | 天津大学 | 基于水下先验约束的图像复原方法 |
| CN108564543A (zh) * | 2018-04-11 | 2018-09-21 | 长春理工大学 | 一种基于电磁理论的水下图像色彩补偿方法 |
| CN109410180B (zh) * | 2018-09-30 | 2021-09-21 | 清华-伯克利深圳学院筹备办公室 | 衰减系数的确定方法、装置、计算机设备和存储介质 |
| CN110135434B (zh) * | 2018-11-13 | 2023-05-05 | 天津大学青岛海洋技术研究院 | 基于颜色线模型的水下图像质量提升方法 |
| CN111861896A (zh) * | 2019-04-30 | 2020-10-30 | 陕西师范大学 | 一种面向uuv的水下图像色彩补偿与恢复方法 |
| CN111192222B (zh) * | 2020-01-07 | 2023-05-23 | 大连海事大学 | 一种基于变分框架的水下图像颜色校正方法及系统 |
| WO2021191896A1 (en) * | 2020-03-23 | 2021-09-30 | Carmel Haifa University Economic Corporation Ltd. | Estimating optical properties of a scattering medium |
| CN114037625A (zh) * | 2021-10-28 | 2022-02-11 | 中国科学院沈阳自动化研究所 | 一种基于物理散射模型的图像恢复方法 |
| CN116309232B (zh) * | 2023-05-15 | 2023-08-18 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6459818B1 (en) * | 1999-03-01 | 2002-10-01 | University Of Rochester | System for recovery of degraded images |
| JP4860512B2 (ja) * | 2007-03-13 | 2012-01-25 | 株式会社市川ソフトラボラトリー | 画像処理装置 |
| CN106296597B (zh) * | 2016-07-25 | 2019-03-29 | 天津大学 | 一种基于最优化颜色修正和回归模型的水下图像复原方法 |
| CN106780368B (zh) * | 2016-11-24 | 2020-08-04 | 天津大学 | 一种基于前景模型的水下图像增强方法 |
| CN106683055A (zh) * | 2016-12-09 | 2017-05-17 | 河海大学 | 一种基于退化模型和群稀疏的雾天图像复原方法 |
-
2017
- 2017-06-05 CN CN201710411503.1A patent/CN107256536B/zh active Active
Non-Patent Citations (4)
| Title |
|---|
| Removing color cast of underwater images through non-constant color constancy hypothesis;Birgit Henke 等;《2013 8th International Symposium on Image and Signal Processing and Analysis (ISPA)》;20140109;第20-24页 * |
| Underwater image restoration by red-dark channel prior and point spread function deconvolution;Chia-Yang Cheng 等;《2015 IEEE International Conference on Signal and Image Processing Applications (ICSIPA)》;20160225;第110-115页 * |
| 亮度补偿变化矩阵的色彩恒常性算法;袁兴生 等;《中国图像图形学报》;20120930;第1055-1060页 * |
| 基于暗原色先验模型的水下彩色图像增强算法;曹美 等;《量子电子学报》;20160331;第33卷(第2期);第140-147页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107256536A (zh) | 2017-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107256536B (zh) | 一种基于色彩恒常性和群稀疏的水下图像复原方法 | |
| CN107507138B (zh) | 一种基于Retinex模型的水下图像增强方法 | |
| Yang et al. | Proximal dehaze-net: A prior learning-based deep network for single image dehazing | |
| Yu et al. | Underwater-GAN: Underwater image restoration via conditional generative adversarial network | |
| CN106373105B (zh) | 基于低秩矩阵恢复的多曝光图像去伪影融合方法 | |
| CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN116823686B (zh) | 一种基于图像增强的夜间红外与可见光图像融合方法 | |
| CN102306384A (zh) | 一种基于单幅图像的颜色恒常性处理方法 | |
| CN111462022B (zh) | 一种水下图像清晰化增强方法 | |
| CN106447632B (zh) | 一种基于稀疏表示的raw图像去噪方法 | |
| CN105787892A (zh) | 一种基于机器学习的蒙特卡洛噪声去除方法 | |
| Mehra et al. | TheiaNet: Towards fast and inexpensive CNN design choices for image dehazing | |
| CN113962878A (zh) | 一种低能见度图像去雾模型方法 | |
| Zhu et al. | Underwater image enhancement based on colour correction and fusion | |
| Manu | Rain removal from still images using L0 gradient minimization technique | |
| CN113362375A (zh) | 用于车辆的运动目标检测方法 | |
| Selva Nidhyanandhan et al. | Double stage gaussian filter for better underwater image enhancement | |
| Liang et al. | Learning to remove sandstorm for image enhancement | |
| Yang et al. | A model-driven deep dehazing approach by learning deep priors | |
| CN109544470A (zh) | 一种边界约束的卷积神经网络单幅图像去雾方法 | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN107301625A (zh) | 基于亮度融合网络的图像去雾算法 | |
| Krishnapriya et al. | Underwater image processing using hybrid techniques | |
| Dasari et al. | Image Enhancement of Underwater Images Using Deep Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |