CN112581461A - 基于生成网络的无参考图像质量评价方法及装置 - Google Patents

Abstract

本发明提供了一种基于生成网络的无参考图像质量评价方法及装置，所述方法包括，将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算，获得图像在不同角度下的边缘特征图，并将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图；对输入图像进行视觉显著性估计获得显著性表示图；获取输入图像的JND特征表示图；将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像，构建生成网络，以生成质量图，并将质量图通过一个回归网络处理，得到质量分数。本发明的有益效果在于：提高了无参考图像质量评价的准确性。

Description

基于生成网络的无参考图像质量评价方法及装置

技术领域

本发明涉及一种无参考图像质量评价方法及装置，尤其是指一种基于生成网络的无参考图像质量评价方法及装置。

背景技术

图像是人们日常生活获取信息的重要载体，然而图像在获取、压缩和传输等过程中不可避免地会面临图像质量受损的问题。图像质量评价作为计算机视觉中的基本问题，在监视图像质量下降，优化图像处理系统和改进视频编码算法中发挥重要作用。

客观质量评价通常可以分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价这三类。其中，全参考图像质量评价是在能获取参考图像全部信息的情况下，根据参考图像和失真图像之间的差异来衡量失真图像的质量；半参考图像质量评价是在只考虑部分参考图像信息的情况下来衡量失真图像的质量；无参考图像质量评价是在没有任何参考图像信息的情况下来衡量失真图像的质量。虽然根据应用情况不同，这三种客观评价方法都有其研究的意义和价值，但在大部分实际应用场景中往往无法获取参考图像的信息。因此，无参考图像质量评价具有更高的实际应用价值和研究意义。

无参考图像质量评价方法的关键问题是如何以数据驱动的方式有效地建模人类视觉系统的特性。由于参考信息的缺失，无参考图像质量评价方法为了模仿人类视觉系统的感知特性，构建准确率高的质量评估模型是更具有挑战性的。近年来，许多基于深度学习的无参考质量评估方法已表现出其在预测性能上的优越性。

大部分基于深度学习的无参考质量评估方法利用卷积神经网络(CNN)来学习各种失真类型的判别特征，将CNN当作特征提取器或者是复杂的回归函数，这样一个端到端的模型通常是无法解释的，我们无法了解特征学习的过程是否能够很好的模拟人类视觉系统，以至于无法有针对性地提升性能。

发明内容

本发明所要解决的技术问题是：提供一种基于生成网络的无参考图像质量评价方法及装置，以提高无参考图像质量评价的准确性。

为了解决上述技术问题，本发明采用的技术方案为：一种基于生成网络的无参考图像质量评价方法，包括以下步骤，

S10、将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算，获得图像在不同角度下的边缘特征图，并将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图，其中滤波器角度分别选用了0°及90°，滤波核的尺寸分别为5×5，7×7；

S20、对输入图像进行超像素分割，再计算每个超像素的亮度对比度和颜色对比度，得到亮度对比度图和颜色对比度图，融合亮度对比度图和颜色对比度图获得显著性表示图；

S30、将输入图像转为灰度图，通过将灰度图的亮度掩蔽度量和对比度掩蔽度量进行非线性拟合生成图像的JND特征表示图；

S40、将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像，构建生成网络，以生成质量图，并将质量图通过一个回归网络处理，得到质量分数。

进一步的，步骤S10中，将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算的计算方式为：

其中，I表示输入的图像，

表示卷积运算，K_s，θ表示尺度为s角度为θ方向上的滤波核，EM_s，θ表示卷积后得到的边缘特征图；

步骤S10中，将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图的计算方式为：

其中，

分别为图像在不同角度下的边缘特征图；α，β，γ，κ是四个正比例因子，用于调整每个融合部分的权重。

进一步的，步骤S20具体包括，

S21、通过简单线性迭代聚类算法将图像划分为多个超像素块；

S22、对多个超像素块进行处理，计算出亮度对比度图和颜色对比度图；

S23、将亮度对比度图和颜色对比度图进行融合，生成显著性表示图。

进一步的，步骤S22具体包括，

S221、将每个超像素块当作一个区域，定义当前区域的对比度值为它与其它所有区域在YCbCr空间上的差异；

S222、根据对比度与亮度/颜色距离成正比，与几何距离成反比，定义所有区域的亮度对比度和颜色对比度，得到所有区域的亮度对比度值和颜色对比度值；

S223、根据所有区域的亮度对比度值和颜色对比度值，输出两张与输入图像大小一致的亮度对比度图和颜色对比度图。

进一步的，步骤S221的计算公式为：

其中，Y为亮度通道，C_b，C_r为两个色度通道。

进一步的，步骤S222的计算公式为：

其中，Y_i和Y_j为亮度通道区域i和区域j的像素值展开的向量；C_bi和C_bj对应的是C_b色度通道，C_ri和C_rj对应C_r色度通道；z_i和z_j分别为两区域的中心坐标；

和

分别为区域i的亮度对比度值和颜色对比度值。

进一步的，步骤S23的计算公式为：

SM＝max{H_Y，H_C}^1/ρ·min{H_Y，H_C}^ρ

其中，

和

分别表示H_Y+H_C的均值和方差；

是一个调节因子，用于控制结果的稳定性；SM为获得的显著性表示图。

进一步的，步骤S30的计算公式为：

JM(x，y)＝LA(x，y)+CM(x，y)-||LA(x，y)-CM(x，y)||_F×min{LA(x，y)，CM(x，y)}

其中，G(x，y)表示每个像素点对应的梯度值，

表示灰度图I(x，y)在5x5窗口内的平均亮度值，T作为可见性阈值设置为127，参数l₁，l₂，l₃用来控制背景亮度与可见性阈值的关系，分别设置为-16，4，3/127；JM即为获得的JND特征表示图。

进一步的，步骤S40具体包括，

S41、将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像分别输入生成网络的两个输入通道，训练目标为生成质量图；

S42、将生成网络生成的质量图进一步输入构建的回归网络，获得样本的质量分数，训练时输入样本对应的标签为主观质量分数；

S43、将训练好的生成模型和回归模型串联得到质量评价模型；

S44、将待检测的图像输入质量评价模型，得到质量分数。

本发明还提供了一种基于生成网络的无参考图像质量评价装置，包括，

融合边缘特征图获取模块，用于将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算，获得图像在不同角度下的边缘特征图，并将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图，其中滤波器角度分别选用了0°及90°，滤波核的尺寸分别为5×5，7×7；

显著性表示图获取模块，用于对图像进行超像素分割，再计算每个超像素的亮度对比度和颜色对比度，得到亮度对比度图和颜色对比度图，融合亮度对比度图和颜色对比度图获得显著性表示图；

JND特征表示图获取模块，用于将输入图像转为灰度图，通过将灰度图的亮度掩蔽度量和对比度掩蔽度量进行非线性拟合生成图像的JND特征表示图；

质量分数获取模块，用于将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像，构建生成网络，以生成质量图，并将质量图通过一个回归网络处理，得到质量分数。

本发明的有益效果在于：提出了三种符合人眼视觉特性的与图像质量紧密相关的特征表示方法，包括一种多方向多尺度融合的边缘特征，一种图像的视觉显著性表示，以及一种基于图像JND的特征表示。另外，为改善基于深度学习方法的解释性的问题，将质量评价任务通过生成网络和回归网络两个部分实现，利用与人眼感知密切相关的质量图作为生成网络的训练目标，引导整个质量评价模型先通过生成网络学习出有效的质量图，再通过回归网络得到最终的质量分数，提高了无参考图像质量评价的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的机构获得其他的附图。

图1为本发明实施例的基于生成网络的无参考图像质量评价方法流程图；

图2为本发明实施例的基于生成网络的无参考图像质量评价装置框图；

图3为本发明实施例的生成网络结构图；

图4为本发明实施例的回归网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参阅图1，本发明的第一实施例为：一种基于生成网络的无参考图像质量评价方法，包括以下步骤，

S10、将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算，获得图像在不同角度下的边缘特征图，并将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图，其中滤波器角度分别选用了0°及90°，滤波核的尺寸分别为5×5，7×7；

进一步的，步骤S10中，将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算的计算方式为：

其中，I表示输入的图像，

表示卷积运算，K_s，θ表示尺度为s角度为θ方向上的滤波核，EM_s，θ表示卷积后得到的边缘特征图；

步骤S10中，将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图的计算方式为：

其中，

分别为图像在不同角度下的边缘特征图；α，β，γ，κ是四个正比例因子，用于调整每个融合部分的权重。

S20、对输入图像进行超像素分割，再计算每个超像素的亮度对比度和颜色对比度，得到亮度对比度图和颜色对比度图，融合亮度对比度图和颜色对比度图获得显著性表示图；

进一步的，步骤S20具体包括，

S21、通过简单线性迭代聚类算法将图像划分为多个超像素块；

简单线性迭代聚类算法(simple linear iterative clustering，SLIC)结构简单，需要参数少，可以有效地将图像分成形状不同的像素块，符合人眼感知特性以及显著性检测算法对图像分块的需要。

S22、对多个超像素块进行处理，计算出亮度对比度图和颜色对比度图；

S23、将亮度对比度图和颜色对比度图进行融合，生成显著性表示图。

进一步的，步骤S22具体包括，

S221、将每个超像素块当作一个区域，定义当前区域的对比度值为它与其它所有区域在YCbCr空间上的差异；

S222、根据对比度与亮度/颜色距离成正比，与几何距离成反比，定义所有区域的亮度对比度和颜色对比度，得到所有区域的亮度对比度值和颜色对比度值；

S223、根据所有区域的亮度对比度值和颜色对比度值，输出两张与输入图像大小一致的亮度对比度图和颜色对比度图。

进一步的，步骤S221的计算公式为：

其中，Y为亮度通道，C_b，C_r为两个色度通道。

进一步的，步骤S222的计算公式为：

其中，Y_i和Y_j为亮度通道区域i和区域j的像素值展开的向量；C_bi和C_bj对应的是C_b色度通道，C_ri和C_rj对应C_r色度通道；z_i和z_j分别为两区域的中心坐标；

和

分别为区域i的亮度对比度值和颜色对比度值。

进一步的，步骤S23的计算公式为：

SM＝max{H_Y，H_C}^1/ρ·min{H_Y，H_C}^ρ

其中，

和

分别表示H_Y+H_C的均值和方差；

是一个调节因子，用于控制结果的稳定性；SM为获得的显著性表示图。

S30、将输入图像转为灰度图，通过将灰度图的亮度掩蔽度量和对比度掩蔽度量进行非线性拟合生成图像的JND特征表示图；

进一步的，步骤S30的计算公式为：

JM(x，y)＝LA(x，y)+CM(x，y)-||LA(x，y)-CM(x，y)||_F×min{LA(x，y)，CM(x，y)}

其中，G(x，y)表示每个像素点对应的梯度值，

表示灰度图I(x，y)在5x5窗口内的平均亮度值，T作为可见性阈值设置为127，参数l₁，l₂，l₃用来控制背景亮度与可见性阈值的关系，分别设置为-16，4，3/127；JM即为获得的JND特征表示图。

S40、将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像，构建生成网络，以生成质量图，并将质量图通过一个回归网络处理，得到质量分数。

如图3所示为本发明采用的生成网络结构图，如图4所示为本发明采用的回归网络结构图。

进一步的，步骤S40具体包括，

S41、将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像分别输入生成网络的两个输入通道，训练目标为生成质量图；

S42、将生成网络生成的质量图进一步输入构建的回归网络，获得样本的质量分数，训练时输入样本对应的标签为主观质量分数；

S43、将训练好的生成模型和回归模型串联得到质量评价模型；

S44、将待检测的图像输入质量评价模型，得到质量分数。

待检测的失真图像需要通过手工特征提取方式得到4张特征图，将特征图两两级联成2张输入图像输入最终的质量评价模型，就可以得到一个对应的质量分数。

本实施例中，提出了三种符合人眼视觉特性的与图像质量紧密相关的特征表示方法，包括一种多方向多尺度融合的边缘特征，一种图像的视觉显著性表示，以及一种基于图像JND的特征表示。另外，为改善基于深度学习方法的解释性的问题，将质量评价任务通过生成网络和回归网络两个部分实现，利用与人眼感知密切相关的质量图作为生成网络的训练目标，引导整个质量评价模型先通过生成网络学习出有效的质量图，再通过回归网络得到最终的质量分数，提高了无参考图像质量评价的准确性。

如图2所示，本发明的第二实施例为：一种基于生成网络的无参考图像质量评价装置，包括，

融合边缘特征图获取模块10，用于将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算，获得图像在不同角度下的边缘特征图，并将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图，其中滤波器角度分别选用了0°及90°，滤波核的尺寸分别为5×5，7×7；

显著性表示图获取模块20，用于对图像进行超像素分割，再计算每个超像素的亮度对比度和颜色对比度，得到亮度对比度图和颜色对比度图，融合亮度对比度图和颜色对比度图获得显著性表示图；

JND特征表示图获取模块30，用于将输入图像转为灰度图，通过将灰度图的亮度掩蔽度量和对比度掩蔽度量进行非线性拟合生成图像的JND特征表示图；

质量分数获取模块40，用于将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像，构建生成网络，以生成质量图，并将质量图通过一个回归网络处理，得到质量分数。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于生成网络的无参考图像质量评价装置的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上所述的基于生成网络的无参考图像质量评价方法。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于生成网络的无参考图像质量评价方法，其特征在于：包括以下步骤，

S10、将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算，获得图像在不同角度下的边缘特征图，并将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图，其中滤波器角度分别选用了0°及90°，滤波核的尺寸分别为5×5，7×7；

S20、对输入图像进行超像素分割，再计算每个超像素的亮度对比度和颜色对比度，得到亮度对比度图和颜色对比度图，融合亮度对比度图和颜色对比度图获得显著性表示图；

S30、将输入图像转为灰度图，通过将灰度图的亮度掩蔽度量和对比度掩蔽度量进行非线性拟合生成图像的JND特征表示图；

S40、将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像，构建生成网络，以生成质量图，并将质量图通过一个回归网络处理，得到质量分数。

2.如权利要求1所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S10中，将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算的计算方式为：

其中，I表示输入的图像，

表示卷积运算，K_s，θ表示尺度为s角度为θ方向上的滤波核，EM_s，θ表示卷积后得到的边缘特征图；

步骤S10中，将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图的计算方式为：

其中，

分别为图像在不同角度下的边缘特征图；α，β，γ，κ是四个正比例因子，用于调整每个融合部分的权重。

3.如权利要求1所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S20具体包括，

S21、通过简单线性迭代聚类算法将图像划分为多个超像素块；

S22、对多个超像素块进行处理，计算出亮度对比度图和颜色对比度图；

S23、将亮度对比度图和颜色对比度图进行融合，生成显著性表示图。

4.如权利要求3所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S22具体包括，

S221、将每个超像素块当作一个区域，定义当前区域的对比度值为它与其它所有区域在YCbCr空间上的差异；

S222、根据对比度与亮度/颜色距离成正比，与几何距离成反比，定义所有区域的亮度对比度和颜色对比度，得到所有区域的亮度对比度值和颜色对比度值；

S223、根据所有区域的亮度对比度值和颜色对比度值，输出两张与输入图像大小一致的亮度对比度图和颜色对比度图。

5.如权利要求4所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S221的计算公式为：

其中，Y为亮度通道，C_b，C_r为两个色度通道。

6.如权利要求5所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S222的计算公式为：

其中，Y_i和Y_j为亮度通道区域i和区域j的像素值展开的向量；C_bi和C_bj对应的是C_b色度通道，C_ri和C_rj对应C_r色度通道；z_i和z_j分别为两区域的中心坐标；

和

分别为区域i的亮度对比度值和颜色对比度值。

7.如权利要求3所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S23的计算公式为：

SM＝max{H_Y，H_C}^1/ρ·min{H_Y，H_C}^ρ

其中，

和

分别表示H_Y+H_C的均值和方差；

是一个调节因子，用于控制结果的稳定性；SM为获得的显著性表示图。

8.如权利要求1所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S30的计算公式为：

JM(x，y)＝LA(x，y)+CM(x，y)-||LA(x，y)-CM(x，y)||F×min{LA(x，y)，CM(x，y)}

其中，G(x，y)表示每个像素点对应的梯度值，

表示灰度图I(x，y)在5x5窗口内的平均亮度值，T作为可见性阈值设置为127，参数l₁，l₂，l₃用来控制背景亮度与可见性阈值的关系，分别设置为-16，4，3/127；JM即为获得的JND特征表示图。

9.如权利要求1所述的基于生成网络的无参考图像质量评价方法，其特征在于：步骤S40具体包括，

S41、将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像分别输入生成网络的两个输入通道，训练目标为生成质量图；

S42、将生成网络生成的质量图进一步输入构建的回归网络，获得样本的质量分数，训练时输入样本对应的标签为主观质量分数；

S43、将训练好的生成模型和回归模型串联得到质量评价模型；

S44、将待检测的图像输入质量评价模型，得到质量分数。

10.一种基于生成网络的无参考图像质量评价装置，其特征在于：包括，

融合边缘特征图获取模块，用于将一组多方向多尺度的4个滤波核分别与输入图像进行卷积运算，获得图像在不同角度下的边缘特征图，并将图像在不同角度下的边缘特征图进行融合，得到融合边缘特征图，其中滤波器角度分别选用了0°及90°，滤波核的尺寸分别为5×5，7×7；

显著性表示图获取模块，用于对图像进行超像素分割，再计算每个超像素的亮度对比度和颜色对比度，得到亮度对比度图和颜色对比度图，融合亮度对比度图和颜色对比度图获得显著性表示图；

JND特征表示图获取模块，用于将输入图像转为灰度图，通过将灰度图的亮度掩蔽度量和对比度掩蔽度量进行非线性拟合生成图像的JND特征表示图；

质量分数获取模块，用于将融合边缘特征图、显著性表示图、JND特征表示图及灰度图两两级联成两个输入图像，构建生成网络，以生成质量图，并将质量图通过一个回归网络处理，得到质量分数。

Images