CN112381761B - 一种鲁棒的低光照增强图像质量评价方法 - Google Patents

Abstract

本发明公开了一种鲁棒的低光照增强图像质量评价方法，过程如下：对输入的图像进行颜色空间转换，分离得到图像的亮度和色度通道信息，根据亮度和色度通道信息合成亮度和色度图像；根据分离得到的图像信息，利用特征提取网络分别提取参考图像和低光照增强后图像的亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征；计算参考图像和低光照增强后图像的亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征的相似性系数；通过训练优化神经网络的方法得到最佳的图像特征相似性系数的权重参数，根据权重参数进行相似性系数的相加求和，得到最终低光增强后图像的质量评分。

Description

一种鲁棒的低光照增强图像质量评价方法

技术领域

本发明涉及图像分析与图像质量评价技术领域，具体涉及一种鲁棒的低光照增强图像质量评价方法。

背景技术

图像质量评价是图像分析领域一个重要的研究方向，它希望利用算法模拟人类对图像质量差异的感知，分析图像的质量，为图像增强技术提供优化方向。这项技术在计算机视觉、图像增强、图像优化等领域发挥着不可或缺的作用。

一般来说，图像质量评价方法主要分为全参考图像质量评价，半参考图像质量评价以及无参考图像质量评价三类典型的方法。在对失真图像的质量进行评估时，全参考质量评价可以参考原始图像的全部信息，半参考图像质量评价方法仅能参考原始图像的部分信息，而无参考图像质量评价则是完全无法参考原始图像的任何信息。全参考图像质量评价方法在能获取参考图像的场景下，准确度高于另外两类评价方法，并且一致性更好，不存在无参考图像质量评价方法过拟合特定数据集的情况，可以应用到很多图像质量增强优化的场景中。

目前全参考质量评价方法在不同场景中的图像质量评价性能表现不俗，但是其针对的评价目标是通用图像，缺乏考虑复杂场景下低光增强后的图像与通用图像的差异性。通常低光照图像增强后会面临亮度过低或者过曝、对比度异常、色彩偏移以及纹理细节丢失的问题，故通用图像质量评价方法在低光照增强图像的质量评价过程中存在较大偏差。

为了更好地适应复杂场景下低光增强后的图像质量评价的需求，克服上述全参考质量评价方法存在的问题，我们需要考虑低光照图像增强后特定的失真问题，开发一种针对低光照图像增强后的精确全参考质量评价方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种鲁棒的低光照增强图像质量评价方法。

本发明的目的可以通过采取如下技术方案达到：

一种鲁棒的低光照增强图像质量评价方法，所述的评价方法包括：

S1、获取亮度和色度图像：对输入图像进行颜色空间转换，分离得到图像的亮度和色度通道信息，根据亮度和色度通道信息合成亮度和色度图像；

S2、提取图像特征：根据原始RGB图像以及合成的亮度图像和色度图像，进行图像特征提取；基于在ImageNet数据集上预训练好的卷积神经网络VGG-16构建特征提取网络，该特征提取网络取自原始卷积神经网络VGG-16的前17个网络层级，包括13个卷积层和4个最大池化层；利用该特征提取网络逐层提取参考图像I的特征F_n,n＝1,…,5和低光照增强后图像I′的特征F_n′,n＝1,…,5，该特征提取网络提取的5类特征包括图像的亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征；

S3、计算图像特征的相似度：计算参考图像I的特征F_n和低光照增强后图像I′的特征F_n′的相似性系数S_n,n＝1,…,5，此过程中针对亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征分别采用不同的公式计算图像特征的相似性系数；

S4、计算图像质量评分：通过训练优化神经网络权重参数的方法获取最佳的图像特征相似性系数S_n的权重W_n,n＝1,…,5，根据权重进行相似性系数相加求和，最终得到低光图像增强后的质量评分S，其中

进一步地，所述步骤S1中图像亮度和色度信息分离的过程如下：

S11、分离图像亮度和色度通道信息：将原始图像从RGB颜色空间转换至YCbCr颜色空间，并分离亮度通道Y和蓝色色度通道Cb、红色色度通道Cr；

S12、合成亮度图像和色度图像：利用从转换颜色空间的原始图像分离的亮度通道Y、蓝色色度通道Cb、红色色度通道Cr合成独立的亮度图像L和色度图像C，其中，所述亮度图像L的三个通道均取值为从原始图像分离出来的亮度通道Y的值；所述色度图像C的第一、二通道分别取从原始图像分离出来的蓝色色度通道Cb、红色色度通道Cr的值，而第三通道则取蓝色色度通道Cb和红色色度通道Cr的平均值。

进一步地，所述步骤S3中分别采用不同的公式计算图像特征的相似性系数的过程如下：

计算亮度特征相似性系数S₁(l,l′)：通过步骤S2获取到参考图像I的亮度特征l和低光照增强后图像I′的亮度特征l′，计算图像亮度特征的相似性系数，计算公式如下：

其中μ_l,μ_l′分别表示参考图像I和低光照增强后图像I′的亮度特征的均值，c₁为极小常数，用于避免上述式子出现零分母的情况；

计算对比度特征相似性系数S₂(c,c′)：通过步骤S2获取到参考图像I的对比度特征c和低光照增强后图像I′的对比度特征c′，计算对比度特征的相似性系数，计算公式如下：

其中

分别表示参考图像I和低光照增强后图像I′的对比度特征的方差，c₂为极小常数，用于避免上述式子出现零分母的情况；

计算颜色特征相似性系数S₃(cl，cl′)：通过步骤S2获取到参考图像I的颜色特征cl和低光照增强后图像I′的颜色特征cl′，计算颜色特征的相似性系数，计算公式如下：

其中σ_cl，cl′为参考图像和低光增强后图像颜色特征的协方差，

分别表示参考图像I和低光照增强后图像I′的颜色特征的方差，c₃为极小常数，用于避免上述式子出现零分母的情况；

计算纹理细节特征相似性系数S₄(t，t′)：通过步骤S2获取到参考图像I的纹理特征t和低光照增强后图像I′的纹理特征t′，计算纹理细节特征的相似性系数，计算公式如下：

其中μ_t、μ_t′分别表示参考图像I和低光照增强后图像I′的纹理细节特征的均值，c₄为极小常数，用于避免上述式子出现零分母的情况；

计算全局结构特征相似性系数S₅(s，s′)：通过步骤S2获取到参考图像I的结构特征s和低光照增强后图像I′的全局结构特征s′，计算全局结构特征的相似性系数，计算公式如下：

其中σ_s，s′表示参考图像和低光增强后图像全局结构特征的协方差，

分别表示参考图像I和低光照增强后图像I′的全局结构特征的方差，c₅为极小常数，用于避免上述式子出现零分母的情况。

本发明相对于现有技术具有如下的优点及效果：

1、本发明充分考虑了低光图像增强后出现的典型的失真问题，有效地评价低光图像增强后的亮度、色彩、对比度、全局结构以及纹理细节构成的整体质量，使得低光增强图像的质量评价结果更加准确。

2、本发明能广泛应用在低光图像增强优化领域，提高了低光图像质量的感知能力，为低光图像增强技术的改进提供了优化方向，促进低光图像增强技术的发展。

附图说明

图1是本发明公开的一种鲁棒的低光照增强图像质量评价方法的流程图；

图2是本发明实施例中参考图像及其分离的亮度和色度图像，其中，图2(a)是参考图像，图2(b)是分离的亮度图像，图2(c)是分离的色度图像；

图3是本发明实施例中从亮度和色度图像提取的亮度特征图、颜色特征图、纹理细节特征图、对比度特征图以及全局结构特征图，其中，图3(a)是亮度特征图，图3(b)是颜色特征图，图3(c)是纹理细节特征图，图3(d)是对比度特征图，图3(e)是全局结构特征图；

图4是本发明实施例中参考图像、低光照图像、使用低光增强算法LIME与ALSM增强的图像及其对应的图像质量评分，其中，图4(a)是参考图像，其对应的图像质量评分1.000，图4(b)是低光照图像，其对应的图像质量评分0.725，图4(c)是使用低光增强算法LIME增强的图像，其对应的图像质量评分0.864，图4(d)是使用低光增强算法ALSM增强的图像，其对应的图像质量评分0.920。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本实施例公开了一种鲁棒的低光照增强图像质量评价方法，如该评价方法的流程图所示，具体包括以下步骤：

S1、获取亮度和色度图像：对输入的图像进行颜色空间转换，分离得到图像的亮度和色度通道信息，根据亮度和色度通道信息合成亮度和色度图像，同时保留图像的原始RGB颜色空间信息；

本实施例中，步骤S1中图像亮度和色度信息分离的过程如下：

S11、分离图像亮度和色度通道信息：人视觉系统对图像的亮度信息更敏感，将图像的亮度信息与色度信息分离能有效地避免两者在图像质量评价过程中的互相干扰。YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。亮度分量Y包含了图像的亮度与灰度信息，色度分量CbCr包含的图像的颜色信息，故将图像从RGB颜色空间转换为YCbCr颜色空间可以有效地分离图像的亮度与色度信息。本发明中将原始图像从RGB颜色空间转换至YCbCr颜色空间，并分离亮度通道Y和蓝色色度通道Cb、红色色度通道Cr；

S12、合成亮度图像和色度图像：利用从转换颜色空间的原始图像分离的亮度通道Y、蓝色色度通道Cb、红色色度通道Cr合成独立的亮度图像L和色度图像C。

其中，亮度图像L的三个通道均取值为从原始图像分离出来的亮度通道Y的值，如图2(b)所示；

色度图像C的第一、二通道分别取从原始图像分离出来的蓝色色度通道Cb、红色色度通道Cr的值，而第三通道则取蓝色色度通道Cb和红色色度通道Cr的平均值，如图2(c)所示。

S2、提取图像特征：根据原始RGB图像以及合成的亮度图像和色度图像，进行图像特征提取。基于在ImageNet数据集上预训练好的卷积神经网络VGG-16构建特征提取网络，该特征提取网络取自原始卷积神经网络VGG-16的前17个网络层级，包括13个卷积层和4个最大池化层。利用上述特征提取网络逐层提取参考图像I的特征F_n(其中n＝1,…,5)和低光照增强后图像I′的特征F_n′(其中n＝1,…,5)，提取的特征包括图像的亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征。其中由于原始RGB图像包含完整图像的信息，故从原始RGB图像中提取全局结构特征和纹理细节特征；而亮度图像包含更多的图像亮度信息与灰度对比度信息，故从亮度图像提取亮度特征和对比度特征；最后从色度图像中提取颜色特征；具体如图3所示。

S3、计算图像特征的相似度：计算参考图像I的特征F_n(其中n＝1,…,5)和低光照增强后图像I′的特征F_n′(其中n＝1,…,5)的相似性系数S_n(其中n＝1,…,5)，此过程中针对亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征分别采用不同的公式计算图像特征的相似性系数。由于人视觉系统对图像的相对亮度敏感，而对图像的绝对亮度不敏感，故所述方法中使用与在光自适应建模领域广泛使用的韦伯定律一致的计算方式来描述图像亮度特征的相似性；而图像中颜色通常以颜色块的形式存在，并且颜色块内相邻系数具有很强的统计相关性，故所述方法中使用图像特征的协方差与方差描述这种相关性；全局结构特征在全局图像中，相邻的系数之间同样存在较强的相关性，与描述颜色特征类似使用图像特征的协方差与方差描述图像全局特征；图像的纹理信息更依赖图像特征自身的强度，故使用图像特征的均值来描述图像的纹理细节信息，而图像之间纹理特征相似性与亮度特征相似性描述方法类似；

本实施例中，步骤S3中分别采用不同的公式计算图像特征的相似性系数的过程如下：

计算亮度特征相似性系数S₁(l，l′)：通过步骤S2获取到参考图像I的亮度特征l和低光照增强后图像I′的亮度特征l′，计算图像亮度特征的相似性系数，计算公式如下：

其中μ_l，μ_l′分别表示参考图像I和低光照增强后图像I′的亮度特征的均值，c₁为极小常数，用于避免上述式子出现零分母的情况；

计算对比度特征相似性系数S₂(c，c′)：通过步骤S2获取到参考图像I的对比度特征c和低光照增强后图像I′的对比度特征c′，计算对比度特征的相似性系数，计算公式如下：

其中

分别表示参考图像I和低光照增强后图像I′的对比度特征的方差，c₂为极小常数，用于避免上述式子出现零分母的情况；

计算颜色特征相似性系数S₃(cl，cl′)：通过步骤S2获取到参考图像I的颜色特征cl和低光照增强后图像I′的颜色特征cl′，计算颜色特征的相似性系数，计算公式如下：

其中σ_cl，cl′为参考图像I和低光照增强后图像I′颜色特征的协方差，

分别表示参考图像I和低光照增强后图像I′的颜色特征的方差，c₃为极小常数，用于避免上述式子出现零分母的情况；

计算纹理细节特征相似性系数S₄(t，t′)：通过步骤S2获取到参考图像I的纹理特征t和低光照增强后图像I′的纹理特征t′，计算纹理细节特征的相似性系数，计算公式如下：

其中μ_t，μ_t′分别表示参考图像I和低光照增强后图像I′的纹理细节特征的均值，c₄为极小常数，用于避免上述式子出现零分母的情况；

计算全局结构特征相似性系数S₅(s，s′)：通过步骤S2获取到参考图像I的结构特征s和低光照增强后图像I′的全局结构特征s′，计算全局结构特征的相似性系数，计算公式如下：

其中σ_s，s′表示参考图像和低光增强后图像全局结构特征的协方差，

分别表示参考图像I和低光照增强后图像I′的全局结构特征的方差，c₅为极小常数，用于避免上述式子出现零分母的情况。

S4、计算图像质量评分：通过训练优化神经网络权重参数的方法获取最佳的图像特征相似性系数S_n(其中n＝1，...，5)的权重W_n(其中n＝1，...，5)，根据权重进行相似性系数相加求和，最终得到低光图像增强后的质量评分S，其中

如图4所示，图4是本实施例中参考图像、低光照图像、使用低光增强算法LIME与ALSM增强的图像及其对应的图像质量评分，其中，图4(a)是参考图像，其对应的图像质量评分1.000，图4(b)是低光照图像，其对应的图像质量评分0.725，图4(c)是使用低光增强算法LIME增强的图像，其对应的图像质量评分0.864，图4(d)是使用低光增强算法ALSM增强的图像，其对应的图像质量评分0.920。

综上所述，该实施例公开的低光照增强图像质量评价方法考虑了输入低光照增强后图像的亮度过低或者过曝、对比度异常、色彩偏移以及纹理细节丢失的问题，通过计算低光增强后图像的亮度、对比度、色彩、全局结构以及纹理细节特征与参考图像对应特征的相似度，获得低光增强后图像的质量评分，该评分在低光图像数据集上取得比通用图像质量评价方法更优秀的评估性能，并且在通用图像质量评价数据集上取得与通用图像质量评价方法近似甚至更好的评估性能。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种鲁棒的低光照增强图像质量评价方法，其特征在于，所述评价方法包括：

S1、获取亮度和色度图像：对输入图像进行颜色空间转换，分离得到图像的亮度和色度通道信息，根据亮度和色度通道信息合成亮度和色度图像；

S2、提取图像特征：根据原始RGB图像以及合成的亮度图像和色度图像，进行图像特征提取；基于在ImageNet数据集上预训练好的卷积神经网络VGG-16构建特征提取网络，该特征提取网络取自原始卷积神经网络VGG-16的前17个网络层级，包括13个卷积层和4个最大池化层；利用该特征提取网络逐层提取参考图像I的特征F_n,n＝1,…,5和低光照增强后图像I′的特征F_n′,n＝1,…,5，该特征提取网络提取的5类特征包括图像的亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征；

S3、计算图像特征的相似度：计算参考图像I的特征F_n和低光照增强后图像I′的特征F_n′的相似性系数S_n,n＝1,…,5，此过程中针对亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征分别采用不同的公式计算图像特征的相似性系数；

S4、计算图像质量评分：通过训练优化神经网络权重参数的方法获取最佳的图像特征相似性系数S_n的权重W_n,n＝1,…,5，根据权重进行相似性系数相加求和，最终得到低光图像增强后的质量评分S，其中

2.根据权利要求1所述的一种鲁棒的低光照增强图像质量评价方法，其特征在于，所述步骤S1中图像亮度和色度信息分离的过程如下：

S11、分离图像亮度和色度通道信息：将原始图像从RGB颜色空间转换至YCbCr颜色空间，并分离亮度通道Y和蓝色色度通道Cb、红色色度通道Cr；

S12、合成亮度图像和色度图像：利用从转换颜色空间的原始图像分离的亮度通道Y、蓝色色度通道Cb、红色色度通道Cr合成独立的亮度图像L和色度图像C，其中，所述亮度图像L的三个通道均取值为从原始图像分离出来的亮度通道Y的值；所述色度图像C的第一、二通道分别取从原始图像分离出来的蓝色色度通道Cb、红色色度通道Cr的值，而第三通道则取蓝色色度通道Cb和红色色度通道Cr的平均值。

3.根据权利要求1所述的一种鲁棒的低光照增强图像质量评价方法，其特征在于，所述步骤S3中分别采用不同的公式计算图像特征的相似性系数的过程如下：

计算亮度特征相似性系数S₁(l,l′)：通过步骤S2获取到参考图像I的亮度特征l和低光照增强后图像I′的亮度特征l′，计算图像亮度特征的相似性系数，计算公式如下：

其中μ_l,μ_l′分别表示参考图像I和低光照增强后图像I′的亮度特征的均值，c₁为用于避免公式中出现零分母情况的极小常数；

计算对比度特征相似性系数S₂(c,c′)：通过步骤S2获取到参考图像I的对比度特征c和低光照增强后图像I′的对比度特征c′，计算对比度特征的相似性系数，计算公式如下：

其中

分别表示参考图像I和低光照增强后图像I′的对比度特征的方差，c₂为用于避免公式中出现零分母情况的极小常数；

计算颜色特征相似性系数S₃(cl,cl′)：通过步骤S2获取到参考图像I的颜色特征cl和低光照增强后图像I′的颜色特征cl′，计算颜色特征的相似性系数，计算公式如下：

其中σ_cl,cl′为参考图像和低光增强后图像颜色特征的协方差，

分别表示参考图像I和低光照增强后图像I′的颜色特征的方差，c₃为用于避免公式中出现零分母情况的极小常数；

计算纹理细节特征相似性系数S₄(t,t′)：通过步骤S2获取到参考图像I的纹理特征t和低光照增强后图像I′的纹理特征t′，计算纹理细节特征的相似性系数，计算公式如下：

其中μ_t、μ_t′分别表示参考图像I和低光照增强后图像I′的纹理细节特征的均值，c₄为用于避免公式中出现零分母情况的极小常数；

计算全局结构特征相似性系数S₅(s,s′)：通过步骤S2获取到参考图像I的结构特征s和低光照增强后图像I′的全局结构特征s′，计算全局结构特征的相似性系数，计算公式如下：

其中σ_s,s′表示参考图像和低光增强后图像全局结构特征的协方差，

分别表示参考图像I和低光照增强后图像I′的全局结构特征的方差，c₅为用于避免公式中出现零分母情况的极小常数。

Images