CN110135434A - 基于颜色线模型的水下图像质量提升算法 - Google Patents

Abstract

基于颜色线模型的水下图像复原算法，能够在保持较低运算复杂度的前提下，通过把大气中的颜色线模型代入水下图像生成模型、雾图形成模型，解决水下原始拍摄图像清晰度对比度不高色差明显的问题。实验结果表明，本文的算法可以较好地实现水下图像复原任务，重建出的清晰图像更接近以真实场景，颜色准确，细节明显，具有更好的主观性能和客观质量。

Description

基于颜色线模型的水下图像质量提升算法

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于颜色线模型的水下图像质量提升算法。

背景技术

作为图像处理领域的重要分支，一直以来，图像复原技术既是科学领域也是工程领域的研究热点。图像复原是指根据可视性低的不清晰原始图像，找到其退化原因，并基于一定的退化模型进行反向处理，恢复出足够清晰真实的目标图像的过程。而水下图像质量提升即为将图像复原任务应用于水下的特殊环境，通过复原算法，处理由散射和吸收等复杂的影响而造成的水下拍摄的原始图像的降质问题，恢复清晰景物的过程。

随着科学技术的发展和社会的进步，人们的眼界早已不仅局限于肉眼可见的陆地范围，占据地球面积百分之七十的海洋便是陆地之外人们最渴望探索的重要领域之一。而通过水下图像信息的采集与处理，可以帮助人们完成水质检测，水下施工，能源勘探的诸多重要任务。水下图像恢复不仅可以提供更加良好的视觉效果，也作为一种预处理方式，为后续的模式识别，特征提取等任务服务，具有极为重要的作用。

水下图像恢复可以简单地分成硬件恢复和软件处理两方面。早期的研究主要是从硬件方面着手的，比如由Jaffe等人提出的通过外设一个激光源照明水下景物，合理设置传感器的曝光时长； Treaibitz和Schechner等人提出的对摄像头以及外加激光源加装两个光偏振分析装置，获取更多信息等方法，但由于成本以及效果等因素，并不具备足够的普适性。

而基于软件的图像处理方法同样也可以分成图像增强以及图像复原两类。借助图像增强的方法最早的是以Petit等人为代表的，他们借助“四元法”的处理方式，使景物区域的颜色信息得到增强；Bazeile等人提出对图像进行同态滤波、各向异性滤波、小波变换处理等步骤为主的预处理方式，增加可视性并削减了干扰，使恢复图像的色彩得到改良；Ancuti等人利用了图像融合技术，改善水下单幅图像甚至水下拍摄的视频的质量。基于复原技术的水下图像处理在过去的十几年里发展迅速，开发出若干种用于水中环境拍摄的降质照片的复原处理方式。在这些方法中，大多数是建立并利用了退化降解过程中的数学模型。通过添加一个先验条件来获得期望的图像，然后解决退化的逆问题，在之前相关领域的实践中，由He等人发现的暗通道先验是最常被采用的先验。一些基于dark channel prior（DCP）的图象恢复方法被证明是有效的。例如，Jiang等人应用DCP模型，提出了一个在波形补偿同时恢复的基础上的水下图像复原方案，并根据每个光通道中的场景深度和该光通道的归一化剩余能量比，对衰减光进行补偿，削减水下拍摄照片的光线散射与色偏问题。Galdran等人根据水下环境中光传播的特性，将暗通道先验（DCP）改进为红通道先验，让图像复原算法更好地适应了先前的情况。Lu等人针对浑浊图像开发了一种基于距离的对比度和颜色退化模型。

然而在上述方法中，存在色彩恢复信息不够充分，水体本身颜色预期误差等问题，可能会导致误差，最近，Fattal等人将颜色线模型引入去雾的场景深度估计问题，我们发现它在图像色彩信息开发中良好的功能特性，这促使我们采用颜色线模型来处理水下环境中的退化问题，提出了一种基于颜色线模型处理水下图像复原问题的新方法。

迄今为止，在国内外已发表的论文中尚未出现将颜色线模型与水下图像退化模型结合的水下图像复原算法，因此，本专利的发明内容具有独创性，该复原算法适应各种复杂水下环境，具有较好的效果，有着广泛的应用场景。

发明内容

针对现有技术存在的问题，本发明基于颜色线模型的水下图像质量提升算法，将大气中原始的颜色线模型引入水下环境，结合水下图像获取过程的分析与水下图像距离依赖性退化模型，充分利用采集到的原始图像信息，并利用颜色线模型来增加不确定的复原问题的约束条件，推导出局部透射率以及深度信息，得到更全面的优化函数，由此来解决退化过程的反问题，再对拍摄的原始图像水深进行估计，最终实现水下图像复原任务。

基于颜色线模型的水下图像质量提升算法，具体方案为：

1水下图像光学成像模型

散射过程是指光线在介质中传播时，不均匀介质中的细微颗粒以其物理性质使光线偏离入射方向，是导致图像模糊和背景噪声的重要原因；散射介质中的成像模型通常采用以下公式：

其中，为传感器捕捉到的图像的亮度值，即输入图像；为目标物体表面反射光，即真实场景辐射光的亮度值；为图像全局一致的环境光矢量，是介质透射率，用于描述未被散射的最终到达摄像头的光与原始辐射光的比率；散射介质中的图像复原的主要任务是从单幅图像中求得、和；可见，为去雾问题增加约束是去雾方法的关键问题。

水下图像受水介质对光线的吸收作用和散射作用影响，呈现的降质现象主要有对比度低、模糊、蓝绿色色偏；根据先验理论，水下图像的降质模型为：

指某一波长范围内的各种颜色的光；是摄像机捕捉到的像素值，而则反映了从物体表面辐射出的光线强度；被定义为归一化剩余能量比，它表示一个特定波长范围的衰减率，和水体特性有关；是水的深度，是相机到物体表面的距离；是指背景光，其方向和大小与介质的颜色和厚度有关；上式也可以表示为：

其中，，记为像素点x处的透射率，表示到达镜头的光线强度与物体表面反射出的光线强度的比值。

2颜色线模型

2.1 自然图像的Color-line先验理论

颜色信息是最基本的图像信息之一，颜色线理论的主要内容为在自然图像中存在一种一般规律：在一小块图像块中，像素点的灰度值在RGB空间中的映射往往分布在一条直线附近，即大部分自然图像的图像块符合如下物体表面辐射光的分解式：

在该方程中，是场景的亮度值，是像素坐标，标量表示辐射的大小，光的模值，而向量表示物体表面的色度向量。

2.2 水下场景的颜色线模型

将颜色线模型带入到散射介质退化模型，可以用颜色线的观点来描述退化问题，每个小图像块的像素值仍然沿着RGB空间中的一维线分布，然而，这个退化的图像块的颜色线不再经过原始图像，相反，它出现了的偏倚，这种降解过程如图2所示，即散射介质影响下的图像块颜色线模型；经过原点的绿颜色实线为真实图像块中各个像素点的亮度值汇总而成的射线，也就是没有退化的真实景物图像块的颜色线；蓝色的箭头矢量是背景光矢量，不难看出，蓝颜色的虚线为对应的像素位置在背景光矢量正方向上位移后拟合得到的直线，也就是退化后的颜色线；退化的图像块的颜色线与背景光向量在处相交，已知了就可以确定。

3基于颜色线先验的水下图像复原方法

首先将输入图像分成若干n×n大小的图像块，为符合颜色线模型适用条件的图像块生成Color-line直线；得到背景光矢量的估计后，建立求解水下图像的局部透射率的最优化方程，同步求解局部透射率t和局部场景深度d；最后，将求得的量代入散射介质退化模型中，对水下图像的降质过程进行反演，得到复原的图像。方法的流程如图3所示。

3.1 求图像块的颜色线

采用PCA主成分分析法对图像块中像素点的亮度值在RGB空间中形成的直线进行拟合；为避免离群值的影响，将PCA方法操作两次：第一次使用图像块中全部像素点的亮度值，第二次将图像块中距离拟合得到的直线最远的20%的像素点舍弃，再次进行PCA方法得到估计的直线。

3.2水下图像局部透射率估计

估计背景光矢量后，即可根据输入图像图像块生成的颜色线的斜率和偏移量参数求得背景光与颜色线的交点，得到透射率t的值；设图像块的颜色线上两点x1，x2，得到直线的表达式：其中，D=x1-x2代表线的方向，V=x1为直线提供偏移量，l为伸缩量，可使I代表直线上的任何一点；代表的方向，可视作；求解该颜色线与背景光矢量的交点即可得出透射率，在真实场景中，三维空间中的两条线不太可能完全相交；所以，颜色线与估计背景光矢量的交点是基于优化理论计算的，这个问题可以用如下优化问题阐述：

用最小二乘法求解该线性最优化问题，而水下透射率和和场景的深度以及不同波长的光线衰减有关，即，，确定水下场景的局部深度并不是一个简单的线性求极值的问题，这个问题可以被更直接地表达为：

用交替迭代法计算和，求解过程参照表1：

表1 交替迭代求解

得到透射率后，采用引导图像滤波的方法进行透射率图的细化。

3.3基于波长补偿的颜色恢复

由1中给出的水下退化成像模型，中间结果可被下式计算：

通过给定的输入图像确定了背景光和在每个像素的传输透射率，因此，可以获取，此外，因为，仍然需要估计水的深度来获取最终的结果。

对于自然光源，有：，即灰度世界假设，把这个灰度世界假设扩展到水下环境中，在水深为的地方，场景的光照强度会降低到：

其中，表示具有较低传输透射率的像素的平均像素值，然后，计算水的深度；选择三个方程计算出来的的中值作为估计的水深，即；得到中间结果和水深信息，便可以恢复出真实清晰场景。

基于颜色线模型的水下图像复原算法，能够在保持较低运算复杂度的前提下，通过把大气中的颜色线模型代入水下图像生成模型、雾图形成模型，解决水下原始拍摄图像清晰度对比度不高色差明显的问题。实验结果表明，本文的算法可以较好地实现水下图像复原任务，重建出的清晰图像更接近以真实场景，颜色准确，细节明显，具有更好的主观性能和客观质量。

附图说明

图1是水下图像成像简化模型；

图2是散射介质影响下的图像块颜色线模型；

图3是基于颜色线模型的水下图像复原方法流程图。

具体实施方式

为验证本专利提出算法的有效性，利用matlab软件对算法进行实现，并对实验结果与其他同目的算法进行主观与客观对比分析。本实验方法中，红、绿、蓝三个颜色通道对应的的值分别设定为0.82、0.95和0.975，表1中交替迭代算法的迭代次数为50次。

为进一步说明本专利算法的有效性，表2列举了三幅测试图像在不同水下图像复原算法下的水下图片质量评价指标（the Underwater Image Quality Measure (UIQM)）评价结果，该客观质量评价指标是来源于人类视觉效果启发的质量评价标准，专门针对水下图像复原中需要关注的色彩、锐度、对比度等图像质量标准作出评价。UIQM的分数越高，说明图像的复原效果越好。

从表2中也可以明显看出，本文算法较其它四种算法在客观指标上也有一定程度的提高，进一步验证本文算法的有效性。

Claims (1)

1.基于颜色线模型的水下图像质量提升算法，其特征在于：具体方案为：

1水下图像光学成像模型

散射过程是指光线在介质中传播时，不均匀介质中的细微颗粒以其物理性质使光线偏离入射方向，是导致图像模糊和背景噪声的重要原因；散射介质中的成像模型通常采用以下公式：

其中，为传感器捕捉到的图像的亮度值，即输入图像；为目标物体表面反射光，即真实场景辐射光的亮度值；为图像全局一致的环境光矢量，是介质透射率，用于描述未被散射的最终到达摄像头的光与原始辐射光的比率；散射介质中的图像复原的主要任务是从单幅图像中求得、和；可见，为去雾问题增加约束是去雾方法的关键问题；

水下图像受水介质对光线的吸收作用和散射作用影响，呈现的降质现象主要有对比度低、模糊、蓝绿色色偏；根据先验理论，水下图像的降质模型为：

指某一波长范围内的各种颜色的光；是摄像机捕捉到的像素值，而则反映了从物体表面辐射出的光线强度；被定义为归一化剩余能量比，它表示一个特定波长范围的衰减率，和水体特性有关；是水的深度，是相机到物体表面的距离；是指背景光，其方向和大小与介质的颜色和厚度有关；上式也可以表示为：

其中，，记为像素点x处的透射率，表示到达镜头的光线强度与物体表面反射出的光线强度的比值；

2颜色线模型

2.1 自然图像的Color-line先验理论

颜色信息是最基本的图像信息之一，颜色线理论的主要内容为在自然图像中存在一种一般规律：在一小块图像块中，像素点的灰度值在RGB空间中的映射往往分布在一条直线附近，即大部分自然图像的图像块符合如下物体表面辐射光的分解式：

在该方程中，是场景的亮度值，是像素坐标，标量表示辐射的大小，光的模值，而向量表示物体表面的色度向量；

2.2 水下场景的颜色线模型

将颜色线模型带入到散射介质退化模型，可以用颜色线的观点来描述退化问题，每个小图像块的像素值仍然沿着RGB空间中的一维线分布，然而，这个退化的图像块的颜色线不再经过原始图像，相反，它出现了的偏倚，这种降解过程即散射介质影响下的图像块颜色线模型；经过原点的绿颜色实线为真实图像块中各个像素点的亮度值汇总而成的射线，也就是没有退化的真实景物图像块的颜色线；蓝色的箭头矢量是背景光矢量，不难看出，蓝颜色的虚线为对应的像素位置在背景光矢量正方向上位移后拟合得到的直线，也就是退化后的颜色线；退化的图像块的颜色线与背景光向量在处相交，已知了就可以确定；

3基于颜色线先验的水下图像复原方法

首先将输入图像分成若干n×n大小的图像块，为符合颜色线模型适用条件的图像块生成Color-line直线；得到背景光矢量的估计后，建立求解水下图像的局部透射率的最优化方程，同步求解局部透射率t和局部场景深度d；最后，将求得的量代入散射介质退化模型中，对水下图像的降质过程进行反演，得到复原的图像；

3.1 求图像块的颜色线

采用PCA主成分分析法对图像块中像素点的亮度值在RGB空间中形成的直线进行拟合；为避免离群值的影响，将PCA方法操作两次：第一次使用图像块中全部像素点的亮度值，第二次将图像块中距离拟合得到的直线最远的20%的像素点舍弃，再次进行PCA方法得到估计的直线；

3.2水下图像局部透射率估计

估计背景光矢量后，即可根据输入图像图像块生成的颜色线的斜率和偏移量参数求得背景光与颜色线的交点，得到透射率t的值；设图像块的颜色线上两点x1，x2，得到直线的表达式：其中，D=x1-x2代表线的方向，V=x1为直线提供偏移量，l为伸缩量，可使I代表直线上的任何一点；代表的方向，可视作；求解该颜色线与背景光矢量的交点即可得出透射率，在真实场景中，三维空间中的两条线不太可能完全相交；所以，颜色线与估计背景光矢量的交点是基于优化理论计算的，这个问题可以用如下优化问题阐述：

用最小二乘法求解该线性最优化问题，而水下透射率和和场景的深度以及不同波长的光线衰减有关，即，，确定水下场景的局部深度并不是一个简单的线性求极值的问题，这个问题可以被更直接地表达为：

用交替迭代法计算和，得到透射率后，采用引导图像滤波的方法进行透射率图的细化；

3.3基于波长补偿的颜色恢复

由1中给出的水下退化成像模型，中间结果可被下式计算：

通过给定的输入图像确定了背景光和在每个像素的传输透射率，因此，可以获取，此外，因为，仍然需要估计水的深度来获取最终的结果；

对于自然光源，有：，即灰度世界假设，把这个灰度世界假设扩展到水下环境中，在水深为的地方，场景的光照强度会降低到：

其中，表示具有较低传输透射率的像素的平均像素值，然后，计算水的深度；选择三个方程计算出来的的中值作为估计的水深，即；得到中间结果和水深信息，便可以恢复出真实清晰场景。