CN103617617A - 基于功率谱描述的水下图像质量评价测量方法 - Google Patents

Abstract

本发明是一种基于功率谱描述的水下图像质量评价测量方法，对一幅水下图像I，设I的图像质量为PSVIQE={C,Q}，其中，C为描述水下成像环境的因子，Q为对水下图像本身的质量测量值；C用于区别水下图像所在的水下环境，C越大，水体透明度较好，有利于清晰成像，C越小，水体的吸收和散射衰减越大；Q值是测量水下图像的清晰程度；Q值越大说明图像中包含目标且比较清晰，Q值越小说明水下图像中没有目标或图像比较模糊；Q值采用了块平均清晰度组合水下图像质量测量方法，该方法选择全局对比度并基于局部清晰度进行质量测量，将图像边缘检测的结果作为判断是否有目标存在的依据。本发明方法通用性强，它结合了成像环境的描述和对图像质量的测量，可以更有效的用于评估在恶劣成像环境中目标图像对观察者的价值。

Description

基于功率谱描述的水下图像质量评价测量方法

技术领域

本发明属于图像处理和分析技术领域，特别是一种基于功率谱描述的水下图像质量评价测量方法，可以对存在吸收和散射光学衰减的环境中例如水下环境中拍摄图像进行处理和分析。

背景技术

图像质量客观评价算法的研究是图像处理和图像分析领域非常基本的科学问题。人们希望找到一种可靠和合理的图像质量客观评价的方法，能够逼近人类视觉系统的评价结果。在水中，光速受温度和盐度变化的影响较小，探测方向性好，定位较准确，同时光波具有能直接二维强度成像、多光谱摄像以及图像分辨率高等特点，能够自动、快速的识别目标。典型的水下视觉图像由于存在照明条件不良及水体对光的吸收效应、散射效应和卷积效应等使得水下图像有较严重的非均匀亮度和细节模糊，而且图像信噪比很低，图像对比度明显变差，易出现假细节、自阴影、假轮廓等。前向散射导致图像特征的模糊，后向散射通常使图像的对比度降低，产生雾状模糊叠加在图像上。吸收和散射不仅仅是由水体本身产生，还包括溶解有机物和小的漂浮粒子影响，漂浮粒子称为“海雪”（在种类和浓度上变化较大）。水下图像采集系统所拍摄的水下图像大多存在以下问题：有限的可视距离、低对比度、非均匀照明、模糊、光斑、色彩丢失和各种复杂因素的噪声。应用传统的计算机视觉方法对水下图像进行处理和分析将面临上述这些问题。随着水下传感器技术水平的不断进步，如何提高水下视频图像信息自动处理能力是解决智能水下监测和水下作业的关键。空气中的图像与水中不同，水下环境中没有原图像可言，对于现场测量得到的水下图像，则我们需要一个无参考或者说盲评价的客观图像质量测评方法，用来在不同环境中定义真实的图像质量。建立这样的标准很重要，计算机系统需要知道什么时候停止，并决定是否已经发现了最好的结果，并且这个“最好”的结果在可比较的水下环境中是可接受的。

水下图像的退化虽然可以应用MTF(Modulation Transfer Function)的建模来描述，通过实验测量水体、微粒的组分等，但实际上，有效性常受限于MTF建模的有效性和小角散射等近似。而对于增强或复原严重退化图像过程中取得的一点点质量的提高，很难判断一种方法比另一种结果更好，而对于实时的和自动的处理，这却是最重要的。目前用于水下图像的质量评价方法非常有限，主要见于各种水下图像复原和增强过程，Schechner and Karpel等人在水下偏振光装置分析中采用对比度度量水下图像质量的标准。但是，水下偏振光分析需要特殊的装置，而且全局对比度的度量方法容易受到噪声和非均匀照明的影响。Hou等人对以后向散射为主，存在噪声的水下目标图像，提出了一种基于加权灰度尺度角（GSA，GrayScale Angle）的图像清晰度评价标准（美国专利US201313856487）。Hou等人提出的WGSA仅对存在有意义目标的水下图像给出评价值，而对于任意一副水下图像，并未有相应的质量评价，且时间复杂度较大。Arnold-Bos等对深海和未知的水生环境实验中，提出了梯度幅值直方图应近似指数分布程度的评价准则，定义了一个0~1之间的鲁棒索引。以上方法均针对某种水下图像增强和复原具体应用，仅仅针对图像本身内容的清晰度来定义图像质量，在以图像质量为选择基础的后续处理中，将会造成恶劣水下环境中的目标图像的丢失。目前并没有可用于评价不同水生环境中图像质量的方法。同时，以上方法会受到噪声影响，对无目标水下图像无法评价和与视觉主观一致性差的问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提出一种通用性的基于功率谱描述的水下图像质量评价测量方法，该方法采用log对比度功率谱斜率综合因子描述水下环境，同时应用归一化对比度分布、平均亮度和块平均清晰度操作的加权组合来测量具体的水下图像。

本发明所要解决的技术问题是通过以下的技术方案来实现的。本发明是一种基于功率谱描述的水下图像质量评价测量方法，其特点是：对一幅水下图像I，设I的图像质量为PSVIQE={C, Q}，其中，C为描述水下成像环境的因子，Q为对水下图像本身的测量值；C用于区别水下图像所在的水下环境，C越大，水体透明度较好，有利于清晰成像，C越小，水体的吸收和散射衰减越大；Q值是测量水下图像的清晰程度；Q值越大说明图像中包含目标且比较清晰，Q值越小说明水下图像中没有目标或图像比较模糊；

C ∈（0，1），C值通过以下式（1）确定：

               (1)

式（1）中，0<α<π/2，α为从log对比度功率谱初值衰减到最大值1%处拟合的倾角；

0<f _cut <π为log对比度功率谱最大值1%对应的空间角频率；

u ₁, u ₂为加权系数，u ₁=0.8，u ₂=0.2；

Q值采用了块平均清晰度组合水下图像质量测量方法，该方法选择全局对比度并基于局部清晰度进行质量测量，将图像边缘检测的结果作为判断是否有目标存在的依据；检测时将有目标的图像划分成一系列图像块，将对有测量价值的图像块进行清晰度评价的平均值和全局对比度及平均亮度的加权和作为对图像质量的度量；当图像中不存在目标的情况下，用对比度可拉伸范围和平均亮度作为衡量图像质量的指标；

对水下图像I， Q值越大说明图像中包含目标且更清晰，Q值越小说明水下图像中没有目标或图像模糊；Q值通过以下式（2）确定：

       （2）

其中，T ₁为图像的归一化对比度拉伸范围，T ₂为平均亮度值，T ₃为块平均清晰度，T ₃通过式（3）确定：

（3）

式（3）中，N _edge 为水下图像的边缘数量；

若图像中边缘检测的总数大于阈值Edge_threhold ₁，则认为图像中存在目标，将图像划分成N×N大小的图像块；W ₁，W ₂，W ₃为加权系数，W ₃=0.5，且W ₃ >W ₁>W ₂，W ₁+W ₂+W ₃  ＝1，则不存在目标的图像质量Q测量值小于等于0.5；            

L为有检测意义图像块的个数；

若图像块P _i 块中的边缘像素数大于阈值Edge_threhold ₂，则选定为有检测意义的图像块，通过式（4）确定P _i 块内清晰度：

  （4）

其中，M·N为块大小，为块内像素（

）的灰度值；

阈值Edge_threhold ₁、Edge_threhold ₂的取值为图像及图像块大小的2-10%。

本发明方法中：所述的边缘检测优选采用Sobel检测方法。

以下对本发明原理进行进一步的阐述：

从典型的Jaffe-McGlamery成像模型（参照图1）可以得知，相机接收到的光由反射光辐照度和后向散射光辐照度构成，水体对光的吸收和散射经物体反射按照光学传递函数H可分为两部分， 

 （5）

其中，H _d 为光源未经散射直接进入相机的直接成分，水体散射光部分经物体反射，H _g 为前向散射光学传递函数： 

             （6）

R _c 为从相机到目标平面点(x’, y’)的距离，c为衰减系数，可见，H _d 对所有频率均为常数。光学传递函数的另一部分为水体散射光部分：

       （7）

其中，G是经验因子，|G| < |c|，B是阻尼函数，由经验确定，其中，

为径向频率。其零频幅值为

，随频率增加，幅值逐渐衰减。

参照Jaffe-McGlamery水下成像模型设置，附图2为水下成像组成部分，系统采用点光源，波长530nm，假设相机光轴垂直于目标平面，设置虚拟目标为棋盘格图像512×512大小，如图2中的a部分所示，这里的相机和点光源距离目标平面12m，点光源距离相机4m，透镜数目F=2.8，镜头透射比T _l =0.75和焦距F _l =27.5mm。则模拟图像的直接成分H _d ，前向散射成分H _g ，后向散射H _b 和综合图像分别如图2中的b、c、d和e所示。可见，前向散射导致图像特征的模糊，直接成分由于光源的影响，存在非均匀亮度区域，后向散射与目标无关通常使图像的对比度降低，产生雾状模糊叠加在图像上。

自然图像的功率谱研究发现，从时域上看，所有自然图像的景物都不同，但当采用功率谱方法在频域对其进行分析时发现，所有场景的相位信息都被隐藏了，大多数任意场景理论上具有大致相同的功率谱，功率谱幅值P变化遵循如下规律。

（8）

其中，k为空间频率，η为指数变量。选择的图像环境不同，η会有所差别。

设I(x) 为灰度图像，Ruderman等人在对自然图像统计属性的研究中定义了log对比度为，

（9）

其中，对每幅图像可以任意定义I ₀ ，使得。证明了log对比度的功率谱对不同的图像集合、光谱敏感度和图像获得的方法具有相似的形式，

（10）

Log对比度功率谱与灰度功率谱一样具有尺度不变性，无论图像拍摄的焦距和图像具体内容而具有统一形式的统计属性，这对于用于描述水下环境成像来说是非常重要的。

将海水介质中的传输过程视为一个线性系统，原始图像f(x,y)经过退化系统h，并加入噪声n(x,y)，得到退化图像g(x,y)。

（11）

对应的频域表示为：

（12）

u,v为频率，F,G,H分别为f,g,h的傅里叶变换。H为光学传递函数（OTF，Optical Transfer Function），其幅度分量为调制传递函数（MTF，Modulation Transfer Function）。

当忽略噪声的影响时，对式（12）取模值，则：

(13)

  (14)

取对数，进一步简化为：

   (15)

由式(15)可知，降质图像功率谱的对数即等于调制传输函数的功率谱与原始图像功率谱对数之和。

由水下降质模型可知，

(16)

式（16）与频率无关，考虑在不同的水体中固定相机距离拍摄图像间的差异，对原图像功率谱的影响表现为功率谱幅值的整体减少。

由公式（17），

（17）

随空间频率增加，功率谱的幅值近似线性衰减，衰减幅度与水体固有光学属性参数有关，因此，不同水下环境中拍摄的水下图像功率谱具有相同形状，水体光学属性对原图像功率谱的影响包括功率谱初值的改变及随频率增加引起的衰减，而衰减的快慢与水体固有光学属性c,B,G等有关。噪声将引起图像功率谱幅值的增大。

与现有技术相比，本发明有如下优点：

1.本发明方法通用性强，它结合了成像环境的描述和对图像质量的测量，可以更有效的用于评估在恶劣成像环境中目标图像对观察者的价值；

2．本发明中的功率谱描述因子C与测量水体光学属性相比，是一种简单快速的描述水下成像环境的方法，与图像中的具体内容无关，与成像距离无关，具有尺度性；

3．本发明中的水下图像质量评价因子Q可以对所有的水下光视觉灰度图像给出质量值，而现有的部分水下图像质量评价方法（WGSA）仅评价存在目标的水下图像；

4．本发明对存在目标和不存在目标的水下图像采用不同的测量，与人类视觉感知对目标和非目标图像的敏感因素相结合，与主观判断一致性好；

5．本发明对目标图像进行分块并行处理，提高了实际应用的实时性；

6．本发明采用分块边缘判断机制，可减弱水下图像中噪声对目标图像质量判断的影响，具有一定的鲁棒性；

7．本发明计算量小，计算简单，敏感度高；

8．本发明中采用了加权组合的质量测量方法，在结合水下视频产品时，可设计进行调节选择，满足不同水下环境的需要。

9．本发明中采用了加权组合，在结合水下视频产品时，可设计进行调节选择，满足不同水下环境的需要。涉及水下成像环境的客观描述和水下图像的质量测量，可用于实时测评水下增强和复原的效果，并用于水下图像视频采集系统作业环境和图像获取质量的综合检测，并可用于图像采集系统参数的自动调整来获得最佳质量的图像数据。

10．本发明是结合成像环境描述和图像质量评价的双因素图像质量测评，其两个分量不局限于采用一种方法，可采用其他评价成像环境和图像质量的方法。本发明不仅仅可以用于水下图像的质量评价，同样适用于其他存在光学散射和衰减相关的成像介质中，例如雾天、烟雾环境下拍摄的图像。通过水下图像质量测评，海洋系统的操作人员可以优化不同配置的成像系统，对水下成像中不同的后处理方法给出适当的建议；从大量的视频图像中，自动的选择图像可用还是应该丢弃，对于满足实时性的自动分类和识别目标是非常有意义的。特别是，建立对水下图像质量的有效客观评价方法，对动态地检测和调整图像质量，自动调整图像采集系统中的参数来获得最佳质量的图像数据。根据质量测评的结果对图像进行图像复原、图像重建、后滤波等算法进行最优化处理及用作判定图像处理系统的算法优劣的度量具有重要的价值。

附图说明

图1为水下光学成像模型；

图2为水下退化图像组成(c=0.045m^-1, G=0.195m^-1, B=0.00937)；

图3为水池铁管目标人工光源图像log对比度方向平均功率谱图 （“--”代表中等水质,“·-”是混水）；

图4为水池标板目标自然光图像log对比度方向平均功率谱图（“--”代表中等水质,“· -”是清水）；

图5为水下视频log对比度功率谱分布图（1100帧图像，分别对应三个水下视频）；

图6 水下视频log对比度功率谱斜率（1100帧图像，分别对应三个水下视频）；

图7-8为自然光照水池实验图像序列环境描述因子C估计值（“+”为清水，“△”为中等水质，“*”为混水）；

图9-10为人工光源水池实验图像序列环境描述因子C估计值（“+”为清水，“ o ” 为中等水质，“*”为混水）；

图11为两个水下环境拍摄的四幅图像。

具体实施方式

以下进一步对本发明的技术方案进行描述，使本领域技术人员进一步理解本发明，而不构成对本发明权利的限制。

实施例1，一种基于功率谱描述的水下图像质量评价测量方法，对一幅水下图像I，设I的图像质量为PSVIQE={C, Q}，其中，C为描述水下成像环境的因子，Q为对水下图像本身的测量值；C用于区别水下图像所在的水下环境，C越大，水体透明度较好，有利于清晰成像，C越小，水体的吸收和散射衰减越大；Q值是测量水下图像的清晰程度；Q值越大说明图像中包含目标且比较清晰，Q值越小说明水下图像中没有目标或图像比较模糊；

C ∈（0，1），C值通过以下式（1）确定：

               (1)

式（1）中，0<α<π/2，α为从log对比度功率谱初值衰减到最大值1%处拟合的倾角；

0<f _cut <π为log对比度功率谱最大值1%对应的空间角频率；

u ₁, u ₂为加权系数，u ₁=0.8，u ₂=0.2；

Q值采用了块平均清晰度组合水下图像质量测量方法，该方法选择全局对比度并基于局部清晰度进行质量测量，将图像边缘检测的结果作为判断是否有目标存在的依据；检测时将有目标的图像划分成一系列图像块，将对有测量价值的图像块进行清晰度评价的平均值和全局对比度及平均亮度的加权和作为对图像质量的度量；当图像中不存在目标的情况下，用对比度可拉伸范围和平均亮度作为衡量图像质量的指标；其步骤如下：

对水下图像I，Q值越大说明图像中包含目标且更清晰，Q值越小说明水下图像中没有目标或图像模糊；Q值通过以下式（2）确定：

       （2）

其中，T ₁为图像的归一化对比度拉伸范围，T ₂为平均亮度值，T ₃为块平均清晰度，T ₃通过式（3）确定：

（3）

式（3）中，N _edge 为水下图像的边缘数量；

若图像中边缘检测的总数大于阈值Edge_threhold ₁，则认为图像中存在目标，将图像划分成N×N大小的图像块；W ₁，W ₂，W ₃为加权系数，W ₃=0.5，且W ₃ >W ₁>W ₂，W ₁+W ₂+W ₃  ＝1，则不存在目标的图像质量Q测量值小于等于0.5；            

L为有检测意义图像块的个数；

若图像块P _i 块中的边缘像素数大于阈值Edge_threhold ₂，则选定为有检测意义的图像块，通过式（4）确定P _i 块内清晰度：

  （4）

其中，M·N为块大小，为块内像素（）的灰度值；

阈值Edge_threhold ₁、Edge_threhold ₂的取值为图像及图像块大小的2-10%。

实施例2，基于功率谱描述的水下图像质量评价测量方法实验：

参照图3和4水池图像log对比度方向平均功率谱，在水池图像验中，水池长4.5米，宽2米，高2米。每次试验用水约15吨。水池三面带有四个观测窗口。试验目标为铁管和标板，其中标板为40 cm×50 cm的白板，上面的条纹间距是2mm，条纹宽度依次为1mm、2mm、3 mm、4 mm。

目标图像低频部分功率谱幅值较大，而高频部分幅值较小。在相对浑浊的水体中，由于水的吸收和散射作用，图像对比度低，模糊。所以图像频谱中的高频部分衰减更为严重。可以看出，不同水体环境的log对比度平均功率谱形状相同，但是具有不同的衰减幅度和初值。

图5为三组视频中1100帧图像的log对比度方向功率谱，图6为log对比度方向功率谱的幅值下降线性拟合斜率。三组视频拍摄于不同的水下环境中，在视频拍摄过程中，图像内容不断的在变化，可见，不同的水下环境功率谱斜率在相近的范围内分布。

通过对水下降质模型的功率谱分析说明，水体透明度越好，则目标图像高频分量有分布，水中颗粒对应的亮斑噪声对应高频，功率谱斜率小，衰减的速度慢。水体浑浊，则目标边缘和纹理细节模糊，功率谱高频分量分布少，则功率谱斜率越大。同时，对衰减速度相同的水下环境，初值越高，分布的频率范围越大，水下环境的可视程度越好。

图7-10为水池实验环境，对描述因子C的测量，C越大，说明水下环境有利于成像，C越小，说明水体浑浊，具有较大的衰减和散射效应，且与拍摄距离无关。

对一幅水下图像I，设I的图像质量为PSVIQE={C, Q}，对于任意一副水下光视觉灰度图像的Q值为：

1．计算归一化的对比度调整范围,计算输入灰度图像的归一化累计直方图，设I_Low为该直方图中从0开始第一个累计分布达到0.01对应的归一化灰度级（0~1），I_High为该直方图中从0开始第一个累计分布达到0.99所对应的归一化灰度级（0~1）。T ₁ =I_High-I_Low。

2．计算图像归一化灰度级的平均值T ₂。设图像I的大小为M×N，则归一化灰度级平均值T ₂为：

                          (18)

3．对图像进行边缘检测，在本发明实施例中采用Sobel边缘检测的算法得到二值边缘图像，但是本发明中对图像进行边缘检测可采用其他任何有效单像素宽二值图像边缘检测方法。

然后，计算检测到的图像边缘像素数。若检测到的图像边缘像素数大于等于阈值1，则判断该图像为存在目标的图像。阈值1的选取与水下环境的浑浊程度和图像的分辨率大小有关，本例中阈值1等于图像总像素数目的3%。若图像的边缘像素数目小于阈值1，则判断该图像不存在目标，即T ₃=0; 

对存在目标的水下图像，根据图像的大小，将图像划分成N×N大小的图像块（块大小的选择可以为32×32，56×56，72×72等），本例中实施图像大小为513×707，N=72。在水中，目标边缘受到光衰减和散射的影响而变得模糊，因此选择包含边缘的图像块来作为评价水下图像质量的对象。对每一个图像块P _i，判断块内边缘像素的数目是否大于阈值2，本例中阈值2为图像块大小的4%。P _i块内边缘像素的数目大于阈值2，则判断P _i为有意义的图像块，计算该图像块P _i的清晰度AG _Pi。对所有有意义的图像块，计算块清晰度的均值记为T ₃。最终，水下图像的质量评价值为T ₁ 、T ₂ 、T ₃ 的加权组合，权值W ₁，W ₂，W ₃的选择与具体的水下环境有关，本例中W ₁=0.3，W ₂=0.2，W ₃=0.5。

图11为两个水下环境拍摄的四幅图像，由图中PSVIQE-Q值可以看出，从对比度和清晰度得出的图像质量值四幅图像比较接近，但是由PSVIQE-C的值可以看出，两幅图像分别拍摄于不同的水下环境，因此本发明可用于指导AUV综合评价拍摄图像的价值。

Claims (2)

1.一种基于功率谱描述的水下图像质量评价测量方法，其特征在于：对一幅水下图像I，设I的图像质量为PSVIQE={C, Q}，其中，C为描述水下成像环境的因子，Q为对水下图像本身质量的测量值；C用于区别水下图像所在的水下环境，C越大，水体透明度较好，有利于清晰成像，C越小，水体的吸收和散射衰减越大；Q值是测量水下图像的清晰程度；Q值越大说明图像中包含目标且比较清晰，Q值越小说明水下图像中没有目标或图像比较模糊；

C ∈（0，1），C值通过以下式（1）确定：

                                                    

                           (1)

式（1）中，0<α<π/2，α为从log对比度功率谱初值衰减到最大值1%处拟合的倾角；

0<f _cut <π为log对比度功率谱最大值1%对应的空间角频率；

u ₁, u ₂为加权系数，u ₁=0.8，u ₂=0.2；

Q值采用了块平均清晰度组合水下图像质量测量方法，该方法选择全局对比度并基于局部清晰度进行质量测量，将图像边缘检测的结果作为判断是否有目标存在的依据；测量时将有目标的图像划分成一系列图像块，将对有测量价值的图像块进行清晰度评价的平均值和全局对比度及平均亮度的加权和作为对图像质量的度量；当图像中不存在目标的情况下，用对比度可拉伸范围和平均亮度作为衡量图像质量的指标；其步骤如下：

对水下图像I，Q值越大说明图像中包含目标且更清晰，Q值越小说明水下图像中没有目标或图像模糊；Q值通过以下式（2）确定：

                    （2）

其中，T ₁为图像的归一化对比度拉伸范围，T ₂为平均亮度值，T ₃为块平均清晰度，T ₃通过式（3）确定：

（3）

式（3）中，N _edge 为水下图像的边缘数量；

若图像中边缘检测的总数大于阈值Edge_threhold ₁，则认为图像中存在目标，将图像划分成N×N大小的图像块；W ₁，W ₂，W ₃为加权系数，W ₃=0.5，且W ₃ >W ₁>W ₂，W ₁+W ₂+W ₃  ＝1，则不存在目标的图像质量测量值Q小于等于0.5；            

L为有检测意义图像块的个数；

若图像块P _i 块中的边缘像素数大于阈值Edge_threhold ₂，则选定为有检测意义的图像块，通过式（4）确定P _i 块内清晰度：

  （4）

其中，M·N为块大小，

为块内像素（

）的灰度值；

阈值Edge_threhold ₁、Edge_threhold ₂的取值为图像及图像块大小的2-10%。

2.根据权利要求1所述的方法，其特征在于：所述的边缘检测采用Sobel检测方法。

Images