CN113034454B

CN113034454B - 一种基于人类视觉感官的水下图像质量评价方法

Info

Publication number: CN113034454B
Application number: CN202110282285.2A
Authority: CN
Inventors: 王鸿东; 刘洋; 王检耀; 王双园; 刘怀周
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2023-11-24
Anticipated expiration: 2041-03-16
Also published as: CN113034454A

Abstract

本发明提出一种人类视觉感官下水下图像的质量评价方法，包括1采用超像素分割算法进行预分割；2通过改进MSRM融合算法分离出背景和前景，并保持较好的边缘信息；3将背景图分块并在背景块中提取颜色、饱和度和对比度等特征；4拟合多元高斯模型；5用马氏距离来度量单个图像与真实的水下图像的相似性，从而建立客观定量评价指标等步骤实现。本发明中的水下图像质量评价方法与现有的水下图像质量评价相比与人类视觉感官系统具有更高的一致性，能够更直观的评价水下图像质量。

Description

一种基于人类视觉感官的水下图像质量评价方法

技术领域

本发明涉及水下图像质量评价技术领域，具体涉及一种基于人类视觉感官的水下图像质量评价方法。

背景技术

由于海洋、河流和湖泊等水下资源丰富,水下图像处理技术引起研究人员的广泛关注,并成为重要的研究课题。近几年，基于机器学习算法被大量用于水下图像的增强与复原，并取得了良好的效果。然而自然彩色图像质量评价指标不能有效的应用于水下图像，水下图像质量评价指标与主观评价不一致，不符合人类视觉感官系统。因此，建立一个有效的、客观的水下图像质量指标，对评价水下图像的质量以及机器学习算法的优化至关重要。图像质量评价可分为主观图像评价和客观图像评价。主观质量评价被认为是最可靠的结果，但是对于实时实现和系统集成来说，代价昂贵、耗时且不切实际。客观图像质量评价方法可以根据是否存在代表原始信号的参考图像可分成三类：全参考图像、半参考图像评价和无参考图像评价。对于无法获得参考图像的水下图像，需要一个无参考的客观图像质量评价来测量图像质量，其能够识别出测试图像与真实水下图像中的差异，并符合人类的视觉感官系统。在现有技术中，专利“基于功率谱描述的水下图像质量评价测量方法(CN21316429213)”中选择全局对比度并基于局部清晰度进行质量测量，可以有效的用于评价成像环境中目标图像对观察者的价值；另外，在专利“块平均清晰度组合无参考水下图像通用性质量检测方法(CN21316429872)”中将图像块的清晰度的平均值、对比度和平均亮度进行加权和进行质量测量，该方法对灰度图像给出了质量检测值，与主观判断一致。但现有技术中的两种方法没有考虑到水下图像色偏对图像质量的影响，因此也就无法测量具有严重色偏的水下图像。

发明内容

本发明的目的是针对现有技术提出了一种有效解决水下图像色偏问题的基于人类视觉感官的水下图像质量评价方法。

具体的，一种基于人类视觉感官的水下图像质量评价方法，其特征在于，所述水下图像质量评价方法包括以下步骤：

步骤1：对参考图像集和测试图像采用超像素分割算法对图像进行预分割为超像素图；

步骤2：将超像素图中部分前景和部分背景作标记，通过改进MSRM融合算法分离出背景图和前景图；

步骤3：将背景图分块并提取背景块中特征，所述特征包括颜色特征、饱和度特征、对比度特征；

步骤4：分别计算参考图像集和测试图像的特征拟合生成特征空间多元高斯分布的均值和协方差矩阵；

步骤5：通过参考图像集和测试图像的特征空间多元高斯分布的均值和协方差矩阵的相似性判断测试图像质量。

更进一步地，在步骤2中，还包括以下步骤：

步骤21：通过人工将超像素图像前景中部分超像素标记为红色，背景中部分超像素标记为黄色；

步骤22：提取超像素中颜色特征和Hog特征作为相似性度量指标d，并根据相似性度量指标d来合并超像素；

步骤23：利用颜色和HOG特征综合的度量指标进行相似性判断，相似性较高的超像素合并。

更进一步地，在步骤22中，还包括以下步骤：

步骤221：将RGB颜色空间中每个通道均匀量化为16级，利用巴氏系数来测量超像素间颜色特征的相似性；

步骤222：获取基于超像素的方向梯度直方图特征度量；

步骤223：在颜色特征的基础上融合了方向梯度直方图特征。

更进一步地，在步骤221中，所述超像素间颜色特征的巴氏系数定义公式为：

其中，是超像素M的颜色特征归一化直方图，/>是超像素N的颜色特征归一化直方图，u表示第u个元素；所述ρ(M,N)值越大，则说明超像素M和N之间的颜色相似度就越大。

更进一步地，在步骤222中，所述方向梯度直方图特征的巴氏系数定义公式为：

其中，是超像素M的HOG特征归一化直方图，/>是超像素N的HOG特征归一化直方图，i表示第i个元素；所述r(M,N)值越大，则说明超像素M和N之间的HOG相似度就越大。

更进一步地，在步骤223中，所述相似性度量指标的度量表达式：

d(M,N)＝ρ(M,N)+α×r(M,N)

其中，d(M,N)是颜色特征和HOG特征的综合度量指标，α∈[0,1]。

更进一步地，在步骤23中，先将与背景标记区域相邻的未标记区域中的超像素合并至背景标记区域，再将未标记区域中的超像素相互合并。

更进一步地，在步骤4中，所述参考图像集和测试图像的均值和协方差矩阵由特征空间多元高斯分布的概率密度函数表示为：

其中，q表示向量x的维度，q＝4。x₁,…,x₄分别是提取的颜色a、颜色b、饱和度和对比度的特征值，v是多元高斯模型的均值，∑是多元高斯模型的协方差矩阵。

更进一步地，在步骤4中，所述多元高斯模型的均值和协方差矩阵通过最大似然估计得到：

其中，Z表示参考图像集或测试图像的背景块特征向量的总数量，x^z表示第z个背景块特征向量。

更进一步地，在步骤5中，通过马氏距离判断所述多元高斯模型的均值和协方差矩阵的相似性，所述马氏距离度量公式为：

其中，v₁是测试图像多元高斯分布的均值，v₂是参考图像集多元高斯分布的均值，∑1是测试图像多元高斯分布的协方差矩阵，∑2是参考图像集多元高斯分布的协方差矩阵。

本发明的优点在于：

本发明通过水下图像和参考图像相似性的方式对水下图像进行主观质量度量；在图像分隔中引入方向梯度克服水下图像中前景与背景区分度太小的问题；同时在提取特征中选取颜色、饱和度和对比度特征分析水下图像和参考图像的距离，克服水下环境中光线受到水的吸收和散射的影响，从而解决导致水下图像偏色，模糊，对比度低等问题；通过建立与客观定量评价相似性指标，进而实现符合人类视觉感官的水下图像质量评价。

主观图像质量评价相比现有技术中采用的客观图像质量评价方法相比，主观图像质量评价有较高的相关性并且性能优于UIQM、UCIQE和NIQE，与人类视觉感官系统具有更高的一致性可以更准确更符合人类视觉的评价图像的质量。

附图说明

图1是本发明实施例提供的一种基于人类视觉感官的水下图像质量评价方法的流程示意图；

图2是本发明实施例提供的一种基于人类视觉感官的水下图像质量评价方法中改进的MSRM算法与传统MSRM算法背景与前景分割示意图；

图3是本发明实施例提供的一种基于人类视觉感官的水下图像质量评价方法中UWCNN生成的TypeI、TypeII、TypeIII以及UWGAN生成TypeIV、TypeV的偏蓝图像示意图。

具体实施方式

下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。

如附图1所示，本发明提出一种基于人类视觉感官的水下图像质量评价方法，该方法包括以下步骤：

步骤1：采用超像素分割算法对图像进行预分割为超像素图；

步骤3：将背景图分块并提取背景块中的颜色特征，饱和度特征，对比度特征；

其中，步骤1具体包括以下步骤：

步骤11：通过以步长S初始化聚类中心C_k＝[l_k a_k b_k x_k y_k]^T以及初始化像素点的标签l(i)和距离d(i)。

具体的，按照设定的超像素个数，在图像内均匀的初始化聚类中心点。假设图片总共有G个像素点，预分割为K个相同尺寸的超像素，那么每个超像素的大小为G/K，则相邻中心点的距离(步长)近似为其中C_k表示第k个聚类中心点；l、a、b是LAB颜色空间，l表示亮度，a代表红绿色，b代表黄蓝色；x、y表示聚类中心在图像中的坐标位置；l(i)＝-1，d(i)＝∞。

步骤12：以LAB颜色特征和位置特征作为距离度量D，并根据D将像素点分配到各个聚类中心；

具体的，对于每个聚类中心点C_k邻域2S×2S范围内的像素点，分别计算它和聚类中心点的距离D，若D＜d(i)，则设置d(i)＝D，l(i)＝k。距离计算方法如下：

其中，i表示2S×2S范围内的像素点，k表示第k个聚类中心点，d_c、d_s分别表示2S×2S范围内的像素点与中心像素点之间的颜色距离和空间距离，D是最终的距离度量，m是颜色距离系数且m∈[1,40]，S是相邻中心之间的距离。l(i)＝k表示像素点i被分配给第k个聚类中心。

步骤13：更新聚类中心的位置(x_k,y_k)，计算残差E；

具体的，q表示被分配到第k个聚类中心的像素点，n表示被分配到第k个聚类中心的像素点的个数。E＝(∑x_k-∑x_k′+∑y_k-∑y_k′)，(x_k,y_k)表示第k个聚类中心当前的位置坐标，(x_k′,y_k′)表示第k个聚类中心上一次迭代的位置坐标。

步骤14：如果残差E≤阈值ξ(ξ＝0.5)，结束迭代，否则转到步骤13。

如附图2所示，步骤2具体包括以下步骤：

步骤21：将预分割的超像素图像通过人工将前景中部分超像素标记为红色，背景中部分超像素标记为黄色，并根据标记颜色建立前景标记区域T^O，背景标记区域T^B和未标记区域T^N。

步骤22：提取超像素中颜色特征和Hog特征作为相似性度量指标d，并根据相似性度量指标d来合并超像素。

具体的，步骤22还包括以下步骤：

步骤221：通常的MSRM算法用颜色直方图来描述区域特征，首先将RGB颜色空间中每个通道均匀量化为16级，每个区域有16×16×16＝4096级颜色，利用巴氏系数来测量超像素间颜色特征的相似性，巴氏系数定义公式为：

其中，是超像素M的颜色特征归一化直方图，/>是超像素N的颜色特征归一化直方图，u表示第u个元素；ρ(M,N)值越大，则说明超像素M和N之间的颜色相似度就越大。但是水下图像具有颜色单调、对比度低和模糊度高等特性，如果只用颜色特征可能会使目标边缘附近的前景与背景区分度太小，从而导致超像素合并，造成前景与背景的分割不完整，因此还要基于形状特征。

步骤222：基于超像素的方向梯度直方图(Histogram of Oriented Gradient，HOG)特征度量如下：

计算超像素内在18个方向上的梯度，从而得到180×1归一化HOG特征，然后利用巴氏系数来测量超像素间HOG特征的相似性，巴氏系数定义为：

其中，是超像素M的HOG特征归一化直方图，/>是超像素N的HOG特征归一化直方图；r(M,N)值越大，则说明超像素M和N之间的HOG相似度就越大。

步骤223：在颜色特征的基础上融合了HOG特征后，超像素之间相似性度量指标的度量表达式：

d(M,N)＝ρ(M,N)+α×r(M,N)

其中，d(M,N)是颜色特征和HOG特征的综合度量指标；α∈[0,1]，当水下图像颜色单调，背景与前景模糊不清时，此时α取值接近于1，反之α取值接近于0。

步骤23：利用颜色和HOG特征综合的度量指标进行相似性判断，相似性最大的超像素合并，生成背景图。其主要分为两个阶段：第一阶段，将与背景标记区域相邻的未标记区域中的超像素合并至背景标记区域，第二阶段，将未标记区域中的超像素相互合并，此时的未标记区域包括未标记的前景和未标记的背景，两个阶段循环，若两个阶段都没有出现超像素合并，则退出两个阶段生成背景图。

第一阶段具体包括：对于任意一个背景标记区域的超像素T_K∈T^B，找到它的相邻超像素集合其中，/>表示背景标记区域的第i个相邻超像素。对于每个超像素并且/>确定其相应的邻域集合/>这里/>然后计算/>和/>中的每一个超像素的相似度，若超像素T_K和/>的相似度关系满足式，则将T_K和/>进行合并，并将新的超像素标记为背景，否则不合并。更新相应的背景标记区域T^B和未标记区域T^N。最后，若背景标记区域T^B找不到新的超像素合并则进入第二阶段。

第二阶段具体包括：对于任意一个未标记区域的超像素T_w∈T^N，找到它的相邻超像素集合其中，/>表示未标记区域T_w的第v个相邻超像素。对于每一个/>超像素，若满足/>和/>找到其相应的超像素邻域集合则/>然后计算/>和/>中每一个超像素的相似度，若超像素区域T_w和/>的相似度满足/>则合并T_w和/>这两个超像素，否则不合并。更新未标记区域T^N。最后，若未标记区域T^N找不到新的超像素合并则退出第二阶段。

步骤3具体包括以下步骤：

步骤31：将背景图中除了背景标记区域T^B外其他区域的像素点RGB三通道都设置为255，转换为空白区域；并将转换后的背景图分成分辨率为P×P的小块；若背景图分辨率为720*480，初始化时P＝64；

步骤32：检测小块中是否有空白区域(空白区域的RGB三通道的值均为255)，若有空白区域则舍去，若没有空白区域(即背景块)则保留；

步骤33：如果背景块数量达到12则结束循环，若小于12，更新P’＝P-20，则把背景图分成更多的P’×P’的小块，转到步骤32；若大于12则随机选取任意的12个背景块；

步骤34：在水下环境中，由于光线受到水的吸收和散射的影响，从而导致水下图像偏色，模糊，对比度低等，为了评价水下图像质量，所以选用颜色、饱和度和对比度作为特征，而且这些特征也与人类视觉感官具有高度相关性。

具体的，步骤34还包括以下步骤：

步骤341:背景块颜色特征获取：将彩色图像的RGB转换为LAB颜色空间并提取a，b两个颜色通道作为颜色特征。

步骤342:背景块饱和度特征提取：将彩色图像的RGB转换为HSV颜色空间并提取s饱和度作为特征；

步骤343:背景块对比度特征提取：通过在强度图像上应用logAMEE度量来测量，公式如下：

Contrast＝log A MEE(Intensity)

其中，背景块被分成k₁×k₂个小块，每个小块的大小为4×4。Θ、/>是克罗内克和、差和积运算。I_max,o,l和I_min,o,l分别表示小块中灰度最大值和最小值。在计算背景块对比度时采用加权平均的方式，即分别计算原图和背景块的对比度，然后乘以权重系数η(通常取η＝5)。

步骤4具体包括以下步骤：

选择800张对比度高、清晰、质量较高的真实的水下偏蓝图像作为参考图像集，并在每一张图像中分割出12个背景块，在每个背景块中提取4个特征，作为背景块特征向量的4个维度；将9600组特征拟生成多元高斯模型，通过最大似然估计得到均值和协方差矩阵。同时，任意选择一张水下偏蓝图像作为测试图像，并分割出12个背景块，在每个背景块中提取4个特征，作为背景块特征向量的4个维度，然后将12组特征拟生成多元高斯模型，通过最大似然估计得到均值和协方差矩阵。

本发明中运用到的多元高斯分布，其概率密度函数形式如下所示：

其中，q表示向量x的维度，q＝4。x₁,…,x₄分别是提取的颜色a、颜色b、饱和度和对比度的特征值，v是多元高斯模型的均值，∑是协方差矩阵，通过最大似然估计得到：

步骤5具体包括以下步骤：

用马氏距离来度量测试图像与参考图像集分布之间的距离，距离越小则测试图像与参考图像集越相似，马氏距离度量公式如下：

其中，v₁、v₂、∑₁、∑₂是测试图像多元高斯分布和参考图像集多元高斯分布的均值和协方差矩阵。

如附图3所示，为了测试所提出的指标的性能，本文使用了来自海洋牧场的真实水下偏蓝图像作为参考图像，使用了UWCNN生成的TypeI、TypeII、TypeIII以及UWGAN生成TypeIV、TypeV的偏蓝图像作为测试图像。邀请10名学生分别对每一张生成的测试图像进行主观评价，最后计算得到了平均意见得分。为了说明所提出的客观评价指标与主观评价的相关性，采用了皮尔逊相关系数(PRCC)和Spearman的秩序相关系数(SRCC)来进行验证；其中，皮尔逊相关系数(PRCC)是用于度量两个变量X和Y之间的线性相关性，其值介于-1与1之间；秩序相关系数(SRCC)是用于度量两个变量之间单调关系强弱的相关系数，其中介于-1与1之间；皮尔逊相关系数(PRCC)和Spearman的秩序相关系数(SRCC)的越接近1相关性越强。本文将所提出的方法UGIQE与目前先进水下彩色图像评价指标UCIQE、UIQM和大大气彩色图像评价NIQE进行了对比，如下表一所示。

表一本发明提出的方法UGIQE与先进的图像评价指标比较

表二本发明所提出方法UGIQE与先进的图像质量评价指标比较

表二反映了所提出UGIQE与先进的图像质量评价指标对比，从数值中可以看出UCIQE和UIQM对TypeI、TypeII和TypeIV这3种类型的图像区分度低，无法判断哪种图像质量好坏。虽然NIQE在数值上具有一定的区分度，但无法从数值大小中判断图像质量好坏。相反，所提出的客观指标UGIQE有较好的区分度，从中可以看出TypeIV类型数值最小，与真实的水下偏蓝图像相似度较高，水下图像质量较高，并且与主观评价一致。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。

Claims

1.一种基于人类视觉感官的水下图像质量评价方法，其特征在于，所述水下图像质量评价方法包括以下步骤：

步骤5：通过参考图像集和测试图像的特征空间多元高斯分布的均值和协方差矩阵的相似性判断测试图像质量；

步骤1包括以下步骤：

步骤11：通过以步长S初始化聚类中心C_k＝[l_k a_k b_k x_k y_k]^T以及初始化像素点的标签l(i)和距离d(i)；

其中C_k表示第k个聚类中心点；l、a、b是LAB颜色空间，l表示亮度，a代表红绿色，b代表黄蓝色；x、y表示聚类中心在图像中的坐标位置；l(i)＝-1，d(i)＝∞；

按照设定的超像素个数，在图像内均匀的初始化聚类中心点；假设图片总共有G个像素点，预分割为K个相同尺寸的超像素，那么每个超像素的大小为G/K，则相邻中心点的距离(步长)近似为

对于每个聚类中心点C_k邻域2S×2S范围内的像素点，分别计算它和聚类中心点的距离D，若D<d(i)，则设置d(i)＝D，l(i)＝k；距离计算方法如下：

其中，i表示2S×2S范围内的像素点，k表示第k个聚类中心点，d_c、d_s分别表示2S×2S范围内的像素点与中心像素点之间的颜色距离和空间距离，D是最终的距离度量，m是颜色距离系数且m∈[1,40]，S是相邻中心之间的距离；l(i)＝k表示像素点i被分配给第k个聚类中心；

步骤13：更新聚类中心的位置(x_k,y_k)，计算残差E；

q表示被分配到第k个聚类中心的像素点，n表示被分配到第k个聚类中心的像素点的个数；E＝(∑x_k-∑x_k′+∑y_k-∑y_k′)，(x_k,y_k)表示第k个聚类中心当前的位置坐标，(x_k′,y_k′)表示第k个聚类中心上一次迭代的位置坐标；

步骤14：如果残差E≤阈值ξ，结束迭代，否则转到步骤13；

在步骤2中，还包括以下步骤：

步骤23：利用颜色和HOG特征综合的度量指标进行相似性判断，相似性较高的超像素合并；

在步骤22中，还包括以下步骤：

步骤222：获取基于超像素的方向梯度直方图特征度量；

步骤223：在颜色特征的基础上融合了方向梯度直方图特征；

在步骤223中，所述相似性度量指标的度量表达式：

d(M,N)＝ρ(M,N)+α×r(M,N)

其中，d(M,N)是颜色特征和HOG特征的综合度量指标，α∈[0,1]，ρ(M,N)表示超像素间颜色特征的巴氏系数，r(M,N)表示方向梯度直方图特征的巴氏系数；

步骤3包括以下步骤：

步骤31：将背景图中除了背景标记区域T^B外其他区域的像素点RGB三通道都设置为255，转换为空白区域，并将转换后的背景图分成分辨率为P×P的小块；

步骤32：检测小块中是否有空白区域，若有空白区域则舍去，若没有空白区域则保留；

步骤34：提取背景块的颜色、饱和度和对比度特征；

步骤34还包括以下步骤：

步骤341:背景块颜色特征获取：将彩色图像的RGB转换为LAB颜色空间并提取a，b两个颜色通道作为颜色特征；

Contrast＝log A M EE(Intensity)

其中，背景块被分成k₁×k₂个小块，⊕、Θ、是克罗内克和、差和积运算，I_max,o,l和I_min,o,l分别表示小块中灰度最大值和最小值，在计算背景块对比度时采用加权平均的方式，即分别计算原图和背景块的对比度，然后乘以权重系数η。

2.根据权利要求1所述水下图像质量评价方法，其特征在于，在步骤221中，所述超像素间颜色特征的巴氏系数定义公式为：

3.根据权利要求1所述水下图像质量评价方法，其特征在于，在步骤222中，所述方向梯度直方图特征的巴氏系数定义公式为：

4.根据权利要求1所述水下图像质量评价方法，其特征在于，在步骤23中，先将与背景标记区域相邻的未标记区域中的超像素合并至背景标记区域，再将未标记区域中的超像素相互合并。

5.根据权利要求1所述水下图像质量评价方法，其特征在于，在步骤4中，所述参考图像集和测试图像的均值和协方差矩阵由特征空间多元高斯分布的概率密度函数表示为：

其中，q表示向量x的维度，q＝4，x₁,…,x₄分别是提取的颜色a、颜色b、饱和度和对比度的特征值，v是多元高斯模型的均值，∑是多元高斯模型的协方差矩阵。

6.根据权利要求5所述水下图像质量评价方法，其特征在于，在步骤4中，所述多元高斯模型的均值和协方差矩阵通过最大似然估计得到：

7.根据权利要求1所述水下图像质量评价方法，其特征在于，在步骤5中，通过马氏距离判断多元高斯模型的均值和协方差矩阵的相似性，所述马氏距离度量公式为：

其中，v₁是测试图像多元高斯分布的均值，v₂是参考图像集多元高斯分布的均值，∑₁是测试图像多元高斯分布的协方差矩阵，∑₂是参考图像集多元高斯分布的协方差矩阵。