CN110363763B - 图像质量评价方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请涉及图像处理领域，具体提供了一种图像质量评价方法、装置、电子设备及可读存储介质，该图像质量评价方法通过对待处理图像进行小波分解，得到多个子带图像，接着计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理。利用预先建立的图像质量预测模型，对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值。最后，将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。如此，利用了小波对数熵能较好地描述图像的突变区域的特点及小波变换的多尺度分析特性，提高了图像质量评价的有效性和稳健性。

Description

图像质量评价方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理领域，具体而言，涉及一种图像质量评价方法、装置、电子设备及可读存储介质。

背景技术

图像质量评价在图像压缩、图像复原及视频处理等领域有着广泛的应用。已有的图像质量评价方法主要包括主观评价方法和客观评价方法。其中，主观评价方法根据人们自身的相关经验对图像质量直接评估或打分，常用的评分等级有优秀、良好、中等、较差、很差等。由此可以看出主观评价方法简单，准确性较高。但是主观评价方法需要依赖人们的主观经验，人工成本较高，在实际应用中难以推广，尤其是在实时处理方面的应用也非常受限。

客观评价方法的性能虽然不如主观评价方法，但是通过建立图像的失真评价模型可以对图像质量自动评价，节省了人工成本，而且客观评价方法具有较强的实时性能。因此，客观评价方法成了近年来图像质量评价领域中的热点研究课题。一般来说，客观评价方法包括全参考(Full Reference,FR)、部分参考(Reduced Reference,RR)以及无参考(NoReference,NR)三种类型。

近年来，深度神经网络(deep neural network,DNN)在图像处理领域得到了空前的发展，尤其是卷积神经网络(convolutional neural network,CNN)技术，在图像识别、目标检测及图像复原等领域取得了优于传统客观评价方法的效果。但是其图像质量评价的有效性及稳健性有待提高。

发明内容

本申请提供了一种图像质量评价方法、装置、电子设备和可读存储介质，以提高图像质量评价的有效性及稳健性。

本申请的实施例可以这样实现：

第一方面，本申请实施例提供一种图像质量评价方法，所述方法包括:

获取待处理图像，对所述待处理图像进行小波分解，得到多个子带图像；

计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理；

利用预先建立的图像质量预测模型，对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值；

将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。

进一步地，所述计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理的步骤包括：

将每个所述子带图像划分为多个第一图像子块，根据各所述第一图像子块的小波系数，按以下公式计算各所述第一图像子块的小波对数熵：

其中，W_(a，i)为第i个所述第一图像子块中第a个小波系数，N_w为第i个所述第一图像子块包含的小波系数的数量；

根据各所述第一图像子块的小波对数熵及第一图像子块的总数，按以下公式计算对所述小波对数熵进行归一化处理：

其中，N_B为所述第一图像子块的总数，H(W)为各所述第一图像子块的所述小波对数熵，

为各所述第一图像子块的归一化后的小波对数熵。

进一步地，所述图像质量预测模型根据卷积神经网络训练获得，其中，所述卷积神经网络包括输入层、隐藏层和输出层，所述隐藏层包括池化层及多个卷积层。

进一步地，通过所述卷积神经网络训练得到所述图像质量预测模型的步骤，包括：

获得待训练图像，对所述待训练图像进行小波分解，得到多个待训练子带图像；

对各所述待训练子带图像进行预处理；

将预处理后的各所述待训练子带图像划分为多个第二图像子块；

输入各所述第二图像子块至所述输入层，通过所述卷积层对各所述第二图像子块进行图像特征提取，并通过所述池化层对各所述第二图像子块进行降采样，获得图像特征数据；

将所述图像特征数据输入至所述输出层，以进行分类处理，得到网络输出值；

根据获得的网络输出值，基于预设损失函数，使用反向传播算法对所述卷积神经网络的连接权重进行调整后继续训练，直至得到的预设损失函数的输出小于预设阈值时停止训练，得到所述图像质量预测模型。

进一步地，所述对各所述待训练子带图像进行预处理的步骤包括：

根据高斯函数窗口的权值、所述待训练子带图像的像素值，按照以下公式计算所述待训练子带图像的像素均值：

其中，w_(m，n)为所述高斯函数窗口的权值，I(i+m，j+n)为所述待训练子带图像在(i+m，j+n)处的像素值；

根据高斯函数窗口的权值、所述待训练子带图像的像素值以及所述待训练子带图像的像素均值，按照以下公式计算所述待训练子带图像的标准方差：

其中，w_(m，n)为所述高斯函数窗口的权值，I(i+m，j+n)为所述待训练子带图像在(i+m，j+n)处的像素值，μ_I为所述待训练子带图像的像素均值；

根据所述待训练子带图像的像素均值及标准方差，按照以下公式对各所述待训练子带图像进行对比度归一化处理：

其中，C为任意常数，μ_I为所述待训练子带图像的像素均值，σ_I为所述待训练子带图像的标准方差，I(i，j)为所述待训练子带图像在(i，j)处的像素值。

进一步地，所述将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值的步骤包括：

根据子带图像的个数、各子带图像对应的归一化处理后的小波对数熵以及各子带图像对应的质量预测值，按照以下公式计算获得所述待处理图像的质量评价值：

其中，K为所述子带图像的个数，

为第i个所述子带图像的归一化处理后的小波对数熵，CNN_IQA_i为第i个所述子带图像的质量预测值。

进一步地，所述子带图像分别为低频子带图像、水平方向子带图像、垂直方向子带图像和对角方向子带图像。

第二方面，本申请实施例提供一种图像质量评价装置，所述装置包括：

获取模块，用于对所述待处理图像进行小波分解，得到多个子带图像；

计算模块，用于计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理；

图像质量预测模型，用于对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值；

融合模块，用于将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。

第三方面，本申请实施例提供一种电子设备，所述设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，并执行如前述实施方式任意一项所述的图像质量评价方法的步骤。

第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任一项所述的图像质量评价方法。

本申请实施例提供了一种图像质量评价方法、装置、电子设备及可读存储介质，通过小波分解对待处理图像进行多尺度分析，同时基于卷积神经网络预测每个经小波分解得到的子带图像的质量预测值，并将归一化后的小波对数熵作为权值，与各子带图像的质量预测值进行加权融合处理，得到整个待处理图像的变化规律，进一步提高了图像质量评价的有效性和稳定性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的结构框图；

图2为本申请实施例提供的图像质量评价方法的流程图；

图3为本申请实施例提供的建立图像质量预测模型方法的流程图；

图4为本申请实施例提供的图像质量评价装置的功能模块框图。

图标：100-电子设备；110-存储器；120-处理器；130-图像质量评价装置；131-获取模块；132-计算模块；133-图像质量预测模型；134-融合模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

经发明人研究发现，目前传统的客观评价方法中最简单的当属峰值信噪比(Peaksignal-to-noise ratio,，PSNR)方法和均方误差(mean squared error，MSE)方法。这两种方法实现简单，计算效率高，在各种图像处理的视觉质量评价中得到了广泛的采用。但是这两种方法没有考虑到人类视觉感知心理，其评价结果与主观判断有着较大的出入，难以体现人类视觉感知的内在特性。

而现有技术中基于卷积神经网络的图像质量评价方法相较于传统的客观评价方法取得了较好的效果，其主要过程可总结为：

1)输入一个待评价的灰度图像，首先对待评价的灰度图像进行局部对比度归一化处理。

2)将待评价的灰度图像划分为互不重叠，大小为N×N的图像块，N一般设置为32。

3)使用卷积神经网络估计每个图像子块的质量分数，并对每个图像子块的质量分数进行平均，最后得到整个图像的质量估计值。

也即，现有的基于卷积神经网络的图像质量评价方法采用图像子块的质量平均值表示整个图像的质量评价值，该类方法虽然可以较好地检测到低质量和高质量的图像区域，取得了相对较好的图像质量评价效果。

但是，该类方法中一方面局部图像子块的视觉质量容易随着空间位置的变化而变化，在图像经受各种失真处理后，基于局部图像子块的质量评价难以反映整个失真图像的视觉质量。另一方面，具有相似失真类型(如模糊或平滑区域)的图像子块也可能具有显著不同的视觉质量。因此，其图像质量评价的有效性及稳健性有待提高。

基于上述研究，本申请实施例提供了一种图像质量评价方法，通过卷积神经网络与小波变换提取图像特征，综合评价图像的质量，提升了图像质量评价方法的有效性、泛化性及稳健性。下面对此方法进行详细阐述。

请参阅图1，图1为本申请实施例提供的一种电子设备100的结构示意图。所述设备可以包括处理器120、存储器110、图像质量评价装置130及总线，所述存储器110存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器110之间通过总线通信，所述处理器120执行所述机器可读指令，并执行图像质量评价方法的步骤。

所述存储器110、处理器120以及其他各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。

例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。图像质量评价装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述图像质量评价装置130所包括的软件功能模块或计算机程序。

其中，存储器110可以是，但不限于，随机读取存储器(Random Access memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。

还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行所述程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由所述处理器120实现。

可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。

请参阅图2，图2为本实施例提供的一种图像质量评价方法的流程图。下面对图2所示的具体流程进行详细描述。

S1：获取待处理图像，对所述待处理图像进行小波分解，得到多个子带图像。

本申请实施例中，所述子带图像分别为低频子带图像、水平方向子带图像、垂直方向子带图像和对角方向子带图像。

其中，低频子带图像是由行方向及列方向利用低通小波滤波器卷积后产生的小波系数，其表示图像的近似图像。

水平方向子带图像是在行方向利用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，其表示图像的水平方向的特征。

垂直方向子带图像是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，其表示图像的垂直方向的特征。

对角方向子带图像是由行方向及列方向，利用高通小波滤波器卷积后产生的小波系数，其表示图像的对角的边缘特征。

S2：计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理。

可选地，S2中计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理可以通过下列方式实现：

首先，将每个所述子带图像划分为多个第一图像子块，根据各所述第一图像子块的小波系数，按以下公式计算各所述第一图像子块的小波对数熵：

其中，W_(a，i)为第i个所述第一图像子块中第a个小波系数，N_w为第i个所述第一图像子块包含的小波系数的数量。

需要注意的是，上述多个第一图像子块之间互不重叠。同时，本申请实施例中小波分解的层数为一层，图像像素大小为K×L。

接着，根据各所述第一图像子块的小波对数熵及第一图像子块的总数，按以下公式计算对所述小波对数熵进行归一化处理：

其中，N_B为所述第一图像子块的总数，H(W)为各所述第一图像子块的所述小波对数熵，

为各所述第一图像子块的归一化后的小波对数熵。

S3：利用预先建立的图像质量预测模型，对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值。

所述图像质量预测模型根据卷积神经网络训练获得，其中，所述卷积神经网络包括输入层、隐藏层和输出层，所述隐藏层包括池化层及多个卷积层。

本申请实施例中，所述池化层为1层，卷积层为1层，输出层为全连接层，其数量为2层。

请参阅图3，通过所述卷积神经网络训练得到所述图像质量预测模型的步骤可以通过S100-S600实现。

S100，获得待训练图像，对所述待训练图像进行小波分解，得到多个待训练子带图像。

本申请实施例中，此步骤与S1中的方法步骤相同，得到的多个待训练子带图像同样为待训练低频子带图像、待训练水平方向子带图像、待训练垂直方向子带图像以及待训练对角方向子带图像。

S200，对各所述待训练子带图像进行预处理。

可选地，S200中对各所述待训练子带图像进行预处理的方法为：

根据高斯函数窗口的权值、所述待训练子带图像的像素值，按照以下公式计算所述待训练子带图像的像素均值：

其中，w_(m，n)为所述高斯函数窗口的权值，I(i+m，j+n)为所述待训练子带图像在(i+m，j+n)处的像素值。

同时，根据高斯函数窗口的权值、所述待训练子带图像的像素值以及所述待训练子带图像的像素均值，按照以下公式计算所述待训练子带图像的标准方差：

其中，w_(m，n)为所述高斯函数窗口的权值，I(i+m，j+n)为所述待训练子带图像在(i+m，j+n)处的像素值，μ_I为所述待训练子带图像的像素均值。

最后，根据所述待训练子带图像的像素均值及标准方差，按照以下公式对各所述待训练子带图像进行对比度归一化处理：

其中，C为任意常数，μ_I为所述待训练子带图像的像素均值，σ_I为所述待训练子带图像的标准方差，I(i，j)为所述待训练子带图像在(i，j)处的像素值。

本申请实施例中，C可以为1，高斯窗口函数的窗口大小可以为3×3，即M为3，N为3。

本申请实施例中，分别对各待训练子带图像进行对比度归一化处理，去除了与图像质量联系较弱的图像冗余特征。使得训练时的图像特征更加明确，进而质量预测值更加准确有效。

S300，将预处理后的各所述待训练子带图像划分为多个第二图像子块。同样的，多个第二图像子块之间互不重叠，以避免图像信息冗余。

现以第二图像子块的大小为32×32，卷积核大小为7×7、卷积核数量为50，步长为1，为例做详细的说明。可以理解，第二图像子块的大小还可以是8×8、16×16、64×64或128×128等，卷积核大小、卷积核数量、步长还可以是其他任意大小或数量。

S400，输入各所述第二图像子块至所述输入层，通过所述卷积层对各所述第二图像子块进行图像特征提取，并通过所述池化层对各所述第二图像子块进行降采样，获得图像特征数据。

通过S400，第二图像子块与卷积核卷积后，经激活函数激活后的特征图尺寸为26×26((32-7)/1+1＝26)。因此，此时得到50个大小为26×26的特征图。其中，激活函数为RReLu(Randomized leaky Rectified Linear units，RReLu)函数，其表达式为：

其中，x表示输入，a为正常数，本申请实施例中a＝0.01。

通过卷积层后，将得到的特征图作为池化层的输入数据，本申请实施例中，采用最大池化，池化步长为2，即，通过池化后的特征图尺寸为13×13((26-2)/2+1＝13)，因此将得到50个13×13的特征图。其中，还使用局部响应值归一化(Local ResponseNormalization，LRN)做处理，以增强卷积神经网络的泛化性，提高识别率。

S500，将所述图像特征数据输入至所述输出层，以进行分类处理，得到网络输出值。

其中，输出层为全连接层，其数量为2，均使用RReLu作为激活函数。在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。

在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高，但是在测试数据上损失函数比较大，预测准确率较低。因此，本申请实施例中使用Dropout处理，其目的是按照0.5的概率将全连接层中的一部分单元从网络中丢弃，来避免过拟合现象。具体地，其原理可参照现有技术，在此不做赘述。

S600，根据获得的网络输出值，基于预设损失函数，使用反向传播算法对所述卷积神经网络的连接权重进行调整后继续训练，直至得到的预设损失函数的输出小于预设阈值时停止训练，得到所述图像质量预测模型。

本申请实施例中预设的损失函数为Softmax loss(非线性回归损失函数)。可以理解，在其他方式中，使用反向传播算法对所述卷积神经网络的连接权重进行调整后继续训练，还可以是直到训练次数达到预设的最大更迭次数时停止训练。上述原理可参阅现有技术，在此不做赘述。

本申请实施例中，上述的四种子带图像(低频子带图像、水平方向子带图像、垂直方向子带图像以及对角方向子带图像)使用同样的卷积神经网络分别一一训练后得到对应的网络输出值，在经过损失函数重新调整连接权重得到图像质量预测模型后，在实际使用对待处理图像提取特征，得到对应的质量预测值，分别为：CNN_IQA1、CNN_IQA2、CNN_IQA3以及CNN_IQA4。

S4：将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。

作为一种实施方式，本申请实施例根据子带图像的个数、各子带图像对应的进行归一化处理后的小波对数熵以及各子带图像对应的质量预测值，按照以下公式计算获得质量评价值：

其中，K为所述子带图像的个数，

(i＝1，2，…，K)为第i个所述子带图像的归一化处理后的小波对数熵，CNN_IQA_i为第i个所述子带图像的质量预测值。

通过将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，将归一化后的小波对数熵对应的图像特征与质量预测值对应的图像特征融合，最终获得整个待处理图像的质量评价值。

本申请实施例通过小波变换对待处理图像进行多尺度分析，同时基于卷积神经网络预测每个经小波变换得到的子带图像的质量预测值，并将归一化后的小波对数熵作为权值，与各子带图像的质量预测值进行加权处理，得到整个待处理图像的变化规律，进一步增强了图像质量评价的有效性和泛化性。

请参阅图4，本实施例也提供了一种图像质量评价装置130，所述装置包括：

获取模块131，用于对所述待处理图像进行小波分解，得到多个子带图像。

计算模块132，用于计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理。

图像质量预测模型133，用于对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值。

融合模块134，用于将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。

可以理解，本申请实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

本实施例也提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的图像质量评价方法。

为了进一步说明本申请具有的良好效果，本申请还采用TID2008图像数据库和LIVE图像数据库来评价本申请实施例提出的图像质量评价方法。其中，TID2008数据库包括25幅参考图像、1700幅不同类型不同程度的失真图像，共有17种失真类型，包括加性高斯噪声、JPEG压缩、椒盐噪声、高斯模糊、JPEG2000压缩、亮度改变等。失真图像的主观评价分数通过观察者的主观评估，以差分平均主观分的形式(Difference mean opinion score，DMOS)给出，DMOS的值反应了失真图像主观质量的好坏，其值较小，相应的主观评价质量就较高。

LIVE图像数据库共有779幅失真图像，包括JPEG2000(169幅)、JPEG(175幅)、高斯白噪声(Whiten Noise,WN；145幅)、高斯模糊(Gaussian Blur,GB；145幅)和快速衰落(FastFading,FF；145幅)。LIVE图像数据库中失真图像是在29幅参考图像上认为加入不同类型和不同等级的失真得到的。

为了评价本申请与其他图像质量评价方法的性能，本申请具体采用2个指标来评价。分别为：Pearson线性相关系数(Pearson Linear Correlation Coefficient,PLCC)、和Spearman秩相关系数(Spearman rank-order correlation coeffcient,SROCC)。PLCC主要用来评价图像质量评价方法的精确程度，其值越大，相应的图像质量评价方法的精确性就越好。SROCC主要体现的是客观评价与主观评价之间的一致性，值越大性能越好。

表1和表2分别给出了本申请中的图像质量评价方法和其他方法在图像数据库TID2008、LIVE多个性能比较结果。

表1本申请方法与其他几种方法在TID2008数据库上的性能比较

PLCC	JPEG	JPEG2000	高斯白噪声	高斯模糊	平均值
						方法1	0.8679	0.8535	0.8960	0.9015	0.8797
方法2	0.8723	0.8648	0.8967	0.9011	0.8837
						方法3	0.8824	0.8790	0.8962	0.8936	0.8878
本申请方法	0.8726	0.8731	0.9169	0.9047	0.8918
						SROCC	JPEG	JPEG2000	高斯白噪声	高斯模糊	平均值
方法1	0.8595	0.9243	0.8834	0.8498	0.8792
						方法2	0.8678	0.9104	0.8856	0.8730	0.8842
方法3	0.8719	0.9248	0.8991	0.8924	0.8970
						本申请方法	0.8634	0.9327	0.9050	0.8975	0.8996

其中，在表1所对应的实验中，选取384幅图像作为测试集，随机抽取数据集中的80％作为训练样本，20％作为测试样本进行实验。

方法1为预测图像质量分数的深度神经网络。方法2为一种基于两阶段的深度神经网络模型。方法3为用于图像质量预测的深度卷积神经模型。方法1-3均为现有所公开的常规的评价方案。

表2本申请方法与其他几种方法在LIVE数据库上的性能比较

PLCC	JPEG	JPEG2000	高斯白噪声	高斯模糊	平均值
						方法1	0.9773	0.9524	0.9780	0.9627	0.9676
方法2	0.9869	0.9650	0.9705	0.9458	0.9670
						方法3	0.9814	0.9532	0.9846	0.9629	0.9705
本申请方法	0.9778	0.9643	0.9861	0.9790	0.9768
						SROCC	JPEG	JPEG2000	高斯白噪声	高斯模糊	平均值
方法1	0.9790	0.9635	0.9840	0.9534	0.9699
						方法2	0.9743	0.9526	0.9807	0.9565	0.9660
方法3	0.9774	0.9668	0.9778	0.9627	0.9711
						本申请方法	0.9682	0.9709	0.9856	0.9733	0.9745

在表2所对应的实验中，选取LIVE数据库中23幅原始图像对应的失真图像作为训练样本，剩下6幅原始图像对应的失真图像作为测试样本进行实验。所有的对比实验均在Windows 10环境下测试，内存8G，并采用了MATLAB中深度学习工具库MatConvNet软件。

同样的，表2中使用的方法1-3与表1中采用的方法一致。

从表1和表2中的结果可以看出，不论是哪一种失真图像，根据Pearson线性相关系数和Spearman秩相关系数均可以看出本申请中的图像质量评价方法的性能相对其他方法都有了一定的提升。

一方面，本申请实施例应用了小波变换的多尺度分析特性，选取了待处理图像经小波分解后的低频子带图像、水平方向子带图像、垂直方向子带图像和对角方向子带图像作为卷积神经网络的输入，利用卷积神经网络提取了图像多个方向上的特征信息，进一步提升了图像质量评价方法的有效性和泛化性。

另一方面，本申请实施例利用了小波对数熵能较好地描述图像的边缘、纹理以及轮廓等突变区域的特点，并考虑到图像敏锐度与小波对数熵之间较强的关联性，通过计算每个子带图像的归一化处理后的小波对数熵，并将每个子带图像的归一化处理后的小波对数熵作为每个子带图像质量预测的权重，最终对四个子带图像的质量评价值进行加权融合处理，进一步提升了图像质量评价方法的稳健性。

综上所述，本申请实施例提供了一种图像质量评价方法、装置、电子设备100及可读存储介质，该图像质量评价方法通过对待处理图像进行小波分解，得到多个子带图像。接着计算各所述子带图像的小波对数熵，并对所述小波对数熵进行归一化处理。利用预先建立的图像质量预测模型，对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值。最终，将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。如此，利用了小波对数熵能较好地描述图像的突变区域的特点及小波变换的多尺度分析特性，提高了图像质量评价的有效性和稳健性。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图像质量评价方法，其特征在于，所述方法包括:

获取待处理图像，对所述待处理图像进行小波分解，得到多个子带图像；

将每个所述子带图像划分为多个第一图像子块，根据各所述第一图像子块的小波系数，按以下公式计算各所述第一图像子块的小波对数熵：

其中，W_(a,i)为第i个所述第一图像子块中第a个小波系数，N_w为第i个所述第一图像子块包含的小波系数的数量；

根据各所述第一图像子块的小波对数熵及第一图像子块的总数，对所述小波对数熵进行归一化处理，获得所述子带图像归一化后的小波对数熵；

利用预先建立的图像质量预测模型，对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值；

将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。

2.根据权利要求1所述的图像质量评价方法，其特征在于，所述图像质量预测模型根据卷积神经网络训练获得，其中，所述卷积神经网络包括输入层、隐藏层和输出层，所述隐藏层包括池化层及多个卷积层。

3.根据权利要求2所述的图像质量评价方法，其特征在于，通过所述卷积神经网络训练得到所述图像质量预测模型的步骤，包括：

获得待训练图像，对所述待训练图像进行小波分解，得到多个待训练子带图像；

对各所述待训练子带图像进行预处理；

将预处理后的各所述待训练子带图像划分为多个第二图像子块；

输入各所述第二图像子块至所述输入层，通过所述卷积层对各所述第二图像子块进行图像特征提取，并通过所述池化层对各所述第二图像子块进行降采样，获得图像特征数据；

将所述图像特征数据输入至所述输出层，以进行分类处理，得到网络输出值；

根据获得的网络输出值，基于预设损失函数，使用反向传播算法对所述卷积神经网络的连接权重进行调整后继续训练，直至得到的预设损失函数的输出小于预设阈值时停止训练，得到所述图像质量预测模型。

4.根据权利要求3所述的图像质量评价方法，其特征在于，所述对各所述待训练子带图像进行预处理的步骤包括：

根据高斯函数窗口的权值、所述待训练子带图像的像素值，按照以下公式计算所述待训练子带图像的像素均值：

其中，w_(m，n)为所述高斯函数窗口的权值，I(i+m，j+n)为所述待训练子带图像在(i+m，j+n)处的像素值；

根据高斯函数窗口的权值、所述待训练子带图像的像素值以及所述待训练子带图像的像素均值，按照以下公式计算所述待训练子带图像的标准方差：

其中，w_(m，n)为所述高斯函数窗口的权值，I(i+m，j+n)为所述待训练子带图像在(i+m，j+n)处的像素值，μ_I为所述待训练子带图像的像素均值；

根据所述待训练子带图像的像素均值及标准方差，按照以下公式对各所述待训练子带图像进行对比度归一化处理：

其中，C为任意常数，μ_I为所述待训练子带图像的像素均值，σ_I为所述待训练子带图像的标准方差，I(i，j)为所述待训练子带图像在(i，j)处的像素值。

5.根据权利要求1所述的图像质量评价方法，其特征在于，所述将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值的步骤包括：

根据子带图像的个数、各子带图像对应的归一化处理后的小波对数熵以及各子带图像对应的质量预测值，按照以下公式计算获得所述待处理图像的质量评价值：

其中，K为所述子带图像的个数，

为第i个所述子带图像的归一化处理后的小波对数熵，CNN_IQA_i为第i个所述子带图像的质量预测值。

6.根据权利要求1-5任意一项所述的图像质量评价方法，其特征在于，所述子带图像分别为低频子带图像、水平方向子带图像、垂直方向子带图像和对角方向子带图像。

7.一种图像质量评价装置，其特征在于，所述装置包括：

获取模块，用于获取待处理图像，对所述待处理图像进行小波分解，得到多个子带图像；

计算模块，用于将每个所述子带图像划分为多个第一图像子块，根据各所述第一图像子块的小波系数，按以下公式计算各所述第一图像子块的小波对数熵：

其中，W_(a,i)为第i个所述第一图像子块中第a个小波系数，N_w为第i个所述第一图像子块包含的小波系数的数量；

根据各所述第一图像子块的小波对数熵及第一图像子块的总数，对所述小波对数熵进行归一化处理，获得所述子带图像归一化后的小波对数熵；

图像质量预测模型，用于对各所述子带图像进行图像特征提取，以获得各所述子带图像对应的质量预测值；

融合模块，用于将各所述子带图像归一化处理后的小波对数熵作为累加权重以对多个子带图像的质量预测值进行累加处理，获得所述待处理图像的质量评价值。

8.一种电子设备，其特征在于，所述设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-6任意一项所述的图像质量评价方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6中任一项所述的图像质量评价方法。

Images