CN111507426B - 基于视觉融合特征的无参考图像质量分级评价方法及装置 - Google Patents

Abstract

本发明提供了一种基于视觉融合特征的无参考图像质量分级评价方法及装置，所述方法包括：构建训练集、验证集以及测试集，提取表征图像视觉质量的综合特征，其中，图像综合特征(62维)包括：UniformLBP特征、边缘强度特征、频谱特征以及信噪比；基于支持向量机算法，使用训练集预先训练得到图像质量评价模型，并使用验证集循环验证训练后的模型，得到训练后的目标模型；使用测试集测试目标模型，在目标支持向量机模型的准确率达到预设阈值的情况下，使用该模型作为图像视觉质量最终评价模型。在线评价图像视觉质量时，只需输入待评价图像的同时加载质量评价模型和支持向量机分离器，即可得到待评价图像质量。

Description

基于视觉融合特征的无参考图像质量分级评价方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于视觉融合特征的无参考图像质量分级评价方法及装置。

背景技术

图像以其自身的简单直观、形象生动等特点很容易被人眼所捕捉，在工业、农业、医疗、军事、公共安全和居家生活等各个领域得到广泛应用，据统计，人类获取信息的80％来自图像。随着图像获取和应用越来越多，人们对于图像的质量要求也越来越高。然而，在图像获取、传输和应用的过程中，由于受环境噪声、设备噪声及信道噪声的影响，会造成图像不同程度的失真，严重的会导致图像无法使用。例如，(1)在图像获取方面：因设备、操作、天气情况等各种原因，图像在获取的过程中会存在各种失真，严重的可能影响对事物的判断。此时，需要在设备端对图像的视觉质量进行实时评价，使其能够自动调节相关参数，获取更为清晰和准确的图像。(2)在图像传输方面：由于图像数据量较大，当传输大量图像数据时，为提高传输效率，往往会对图像进行压缩，进而导致不同程度图像失真。此时，需要运用图像的视觉质量评价方法对图像压缩过程进行指导，在保证图像的视觉质量的同时提高图像压缩传输的效率。(3)在图像处理方面。图像的视觉质量好坏对图像信息提取和分析影响较大，因此如何评价图像的视觉质量，进而采取相应方法改善图像的视觉质量，对准确提取图像信息意义重大。因此，如何对图像的视觉质量，即像质进行评价是亟待解决的技术问题。

目前，图像的像质评价根据实施评估的主体可分为主观评价和客观评价方法。前者以观测者为度量质量优劣的主体，通过自身的视觉系统感知图像的质量并赋予合适的评分，主观评价方法虽然能够较好地反映图像的质量，但其往往需要很多人的参与，耗时时间较长，而且不同观察者由于知识背景不同得出的评价结果差别很大，难以应用到工农业生产中。客观质量评估主要通过计算机建模对图像的视觉质量进行评估，解决了主观质量评估中耗时多、费用高、难应用等问题，实现了快速自动化评估图像视觉质量的目的。其中，图像的客观评价方法按照有无参考图像可分为全参考、部分参考和无参考图像三种。全参考图像的视觉质量评价方法需要原始图像的全部信息，通过待评估图像和原始图像的对比生成质量评分；部分参考图像的视觉质量评估方法需要原始图像的部分信息，往往对原始图像进行信息提取后对待评估图像进行质量评估；无参考图像的视觉质量评估不需要原始图像作为参考，只需要待评估对象即可。因此，无参考图像的视觉质量评估是最难同时也是最有应用价值和前景的图像的视觉质量评价方法。申请号为CN201710505135.7发明专利公开了基于多尺度分析法建立的无参考图像的视觉质量评估方法，能有效评估基于深度图像绘制技术合成图像的质量。该发明考虑到基于深度图像绘制技术合成图像的参考图像通常不可获得，利用深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随图像尺寸缩小而趋于减小的先验知识建立了无参考图像多尺度分析质量评估模型。根据利用主流数据库来对模型进行性能测试的结果，该发明的性能和现有的评估方法相比有较大优势。

但是，现有技术中采用的是升采样得到的近似图像与标准图像之间的相似度来衡量图像的视觉质量，如果没有标准图像则无法评价图像的视觉质量。

发明内容

本发明所要解决的技术问题在于如何在没有标准图像的情况下评价图像的视觉质量。

本发明通过以下技术手段实现解决上述技术问题的：

本发明实施例提供了一种基于视觉融合特征的无参考图像质量分级评价方法，所述方法包括：

构建用于图像质量评价的样本库，包含训练集、验证集以及测试集，提取表征图像质量的综合特征，其中，所述图像综合特征包括：LBP特征、边缘强度特征、频谱特征以及信噪比；

基于支持向量机机器学习算法，使用训练集预先离线训练得到图像质量评价模型，并使用验证集循环验证训练后的模型，得到训练后的目标模型；

使用测试集测试目标模型，在目标模型的准确率达到预设阈值的情况下，将该模型作为图像视觉质量评价的最终模型，并使用最终模型对待评价图像进行评价。

应用本发明实施例，通过提取表征图像视觉质量的图像综合特征，并基于支持向量机算法通过预先训练得到图像质量评估模型，而后可以利用预先训练的评估模型对待评价图像进行视觉质量评价，由于模型是训练好的，模型中已经保存了视觉质量评价所需的分类模型参数。因此，在进行视觉质量评价时，直接输入待评价图像，加载图像质量评估模型和支持向量机分类器即可获得评价结果，相对于相似度评价，不涉及标准图像，因此，可以无需依赖标准图像以实现图像的视觉质量评价。

可选的，所述构建图像视觉质量评价样本库，包括：

获取样本图像，其中，所述样本图像包括了各个场景的图像、各个噪声水平的图像以及不同失真程度的图像；

针对每一样本图像，提取出所述样本图像的图像综合特征，其中，所述图像综合特征包含UniformLBP特征、边缘强度特征、频谱特征和图像信噪比的62维复合特征；

获取所述样本图像的视觉质量结果，将该结果作为样本图像的质量标签，得到训练样本；

将所述训练样本的集合按照6:2:2的预设比例分成训练集、验证集以及测试集。

可选的，所述UniformLBP特征的获取过程包括：

针对样本图像中的每一个像素点，利用公式，

计算所述像素点的UniformLBP特征，其中：/>

为所述像素点的UniformLBP特征；∑为求和函数；g_c为样本图像对应的灰度图像的像素点的像素值；R为半径；P为以所述像素点为圆心，半径为R的范围内的像素点数量；g_i为半径为R的范围内的第i个像素点的像素值。

可选的，所述边缘强度特征的获取过程包括：

针对样本图像中的每一个像素点，利用公式，

H_i＝f(i,j)*S_l(l＝1,2,…,8)，对所述像素进行邻域卷积计算，得到所述像素点的八方向梯度值，其中，

H_i为第i个像素对应的卷积结果；f(i,j)为第i行第j列像素点的像素值；S_l为方向模板，且方向模板包括：

将所述像素点的八方向梯度值求和得到所述像素点的梯度值；

根据所述像素点的梯度值，利用公式，

计算所述样本图像的边缘强度特征，其中，

E₁为所述样本图像的边缘强度特征；T(i,j)为第i行第j列的像素点的梯度值。

可选的，所述频谱特征的获取过程包括：

利用公式，

计算样本图像的高频强度特征，并将所述高频强度特征作为频谱特征，其中，

E₂为样本图像的高频强度特征；ρ₀为大于0的值；ρ₁为系统的截止频率。

可选的，所述信噪比的获取过程包括：

利用公式，

计算所述样本图像的信噪比，其中，

SNR为样本图像的信噪比；I_max为样本图像的最大像素灰度值；I_min为样本图像的最小像素灰度值；Std_I为样本图像的灰度值方差。

本发明实施例提供了一种基于视觉融合特征的无参考图像质量分级评价装置，所述装置包括：

构建模块，构建用于图像质量评价样本库，包含训练集、验证集以及测试集，提取图像综合特征，其中，所述图像综合特征包括：LBP特征、边缘强度特征、频谱特征以及信噪比；

训练模块，基于支持向量机算法，用训练集预先离线训练得到图像质量评估模型，并使用验证集循环验证训练后的模型，得到训练后的目标模型；

评价模块，用于使用测试集测试目标模型，在目标模型的准确率达到预设阈值的情况下，将该模型作为图像视觉质量评价的最终模型，并使用最终模型对待评价图像进行评价。

可选的，所述构建模块，用于：

获取样本图像，其中，所述样本图像包括了各个场景的图像、各个噪声水平的图像以及不同失真程度的图像；

针对每一样本图像，提取出所述样本图像的图像综合特征，其中，所述图像综合特征包括：UniformLBP特征、边缘强度特征、频谱特征以及信噪比；

获取所述样本图像的视觉质量结果，将该结果作为样本图像的质量标签，得到训练样本；

将所述训练样本的集合按照预设比例分成训练集、验证集以及测试集。

可选的，所述构建模块，用于：

针对样本图像中的每一个像素点，利用公式，

计算所述像素点的UniformLBP特征，其中：

为所述像素点的UniformLBP特征；∑为求和函数；g_c为样本图像对应的灰度图像的像素点的像素值；R为半径；P为以所述像素点为圆心，半径为R的范围内的像素点数量；g_i为半径为R的范围内的第i个像素点的像素值。

可选的，所述构建模块，用于：

针对样本图像中的每一个像素点，利用公式，

H_i＝f(i,j)*S_l(l＝1,2,…,8)，对所述像素进行邻域卷积计算，得到所述像素点的八方向梯度值，其中，

H_i为第i个像素对应的卷积结果；f(i,j)为第i行第j列像素点的像素值；S_l为方向模板，且方向模板包括：

将所述像素点的八方向梯度值求和得到所述像素点的梯度值；

根据所述像素点的梯度值，利用公式，

计算所述样本图像的边缘强度特征，其中，

E₁为所述样本图像的边缘强度特征；T(i,j)为第i行第j列的像素点的梯度值。

可选的，所述构建模块，用于：

利用公式，

计算样本图像的高频强度特征，并将所述高频强度特征作为频谱特征，其中，

E₂为样本图像的高频强度特征；ρ₀为大于0的值；ρ₁为系统的截止频率。

可选的，所述构建模块，用于：

利用公式，

计算所述样本图像的信噪比，其中，

SNR为样本图像的信噪比；I_max为样本图像的最大像素灰度值；I_min为样本图像的最小像素灰度值；Std_I为样本图像的灰度值方差。

本发明的优点在于：

应用本发明实施例，通过提取表征图像视觉质量的图像综合特征，并基于支持向量机算法通过预先训练得到图像质量评估模型，而后可以利用预先训练的评估模型对待评价图像进行视觉质量评价，由于模型是预先训练好的，模型中已经保存了视觉质量评价所需的分类模型参数，因此，在进行视觉质量评价时，直接输入待评价图像，加载图像质量评估模型和支持向量机分类器即可得到评价结果，相对于相似度评价，不涉及标准图像，因此，可以无需依赖标准图像以实现图像的视觉质量评价。

附图说明

图1为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价方法的流程示意图；

图2为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价方法中像质评价模型的训练过程示意图；

图3为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价方法中图像的视觉质量评价的过程示意图；

图4为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价方法的流程示意图；图2为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价方法中像质评价模型的训练过程示意图；图3为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价方法中图像的视觉质量评价的过程示意图，如图1-图3所示，所述方法包括：

S101：构建用于图像质量评价的样本库，包含训练集、验证集以及测试集。

A：获取样本图像，其中，所述样本图像包括了各个场景的图像、各个噪声水平的图像以及不同失真程度的图像。

样本库数据集中应包含不同场景、不同噪声水平和不同失真程度的图像，并根据人工主观判断的标准，按照视觉质量从高到低(最好(E)、较好(G)、一般(N)、较差(B)、最差(W))5个等级对图像进行分类，构建时应该结合多人判定意见进行综合判定，且训练集中每类样本不低于30幅图像。

需要强调的是，失真程度可以为人工分级得出的结果。

B：构建好用于训练的图像视觉质量分级评价数据库后，逐帧遍历图像，并提取表征图像视觉质量的图像综合特征：针对每一样本图像，提取出所述样本图像的图像综合特征，其中，所述图像综合特征包括：LBP特征、边缘强度特征、频谱特征以及信噪比。

图像的视觉质量特征是本发明的核心要素。对提取特征的要求：一是应充分表达人的主观判断标准，用定量的方式进行表示，二是要尽量高效，满足算法在不同应用场合下实时处理的需要。

通常，图像纹理越丰富、细节越清晰且信噪比越高图像的视觉质量越好，图像的视觉质量越好。因此，选取了表达图像整体纹理信息丰富程度的UnifromLBP特征、表达图像细节信息的边缘强度和频谱特征、表达图像整体噪声水平的信噪比三种特征，将这三种特征融合在一起作为图像的视觉质量的综合特征，其中，各个特征的获取过程如下：

B1：UnifromLBP特征是一个用于提取局部纹理信息的特征描述子，通过计算被检测像素点与周围像素点间关系来表示图像纹理。视觉系统在获取信息时主要是通过综合各种纹理信息进行学习的，因此LBP特征具有较好的优越性。所述LBP(Local BinaryPattern，局部二值模式)特征的获取过程包括：

针对样本图像中的每一个像素点，利用公式，

计算所述像素点的LBP特征，其中，

LBP_P,R为所述像素点的LBP特征；∑为求和函数；g_c为样本图像对应的灰度图像的像素点的像素值；R为半径；P为以所述像素点为圆心，半径为R的范围内的像素点数量；g_i为半径为R的范围内的第i个像素点的像素值。

由上可知，每个像素处的LBP特征有2^P个特征值，统计这2^P个特征值的直方图就可以描述图像的纹理信息，但当图像旋转时，会造成图像综合特征变化。因此，为了解决上述问题，本发明实施例中使用UnifromLBP特征来表示图像纹理。

UnifromLBP特征是对LBP特征的改进，UniformLBP特征是在LBP特征基础上增加了旋转不变性和模式化处理，其中，UniformLBP特征的获取过程包括：

针对样本图像中的每一个像素点，利用公式，

计算所述像素点的UniformLBP特征，其中：

为所述像素点的UniformLBP特征；∑为求和函数；g_c为样本图像对应的灰度图像的像素点的像素值；R为半径；P为以所述像素点为圆心，半径为R的范围内的像素点数量；g_i为半径为R的范围内的第i个像素点的像素值。

UniformLBP特征核心思想是在构造LBP特征二值序列时，保留01和10跳变次数不大于2次的每个特征值作为单独维度，这样其模式由2^P降低为P(P-1)+2种，其余特征值作为1个维度。当P＝8，R＝1时，UniformLBP特征为59维，较256维的LBP特征在大大减少了模式数量的同时保留了对纹理信息的描述能力。UniformLBP特征较LBP特征具有了旋转不变性，并能很好地描述边缘、拐角和斑点等图像纹理，因此可用于表征图像的视觉质量。

图像中物体的边缘越清晰、图像细节越丰富，表示图像的视觉质量越好，此外由于图像细节越丰富，其频谱中高频分量占比越大。因此，提取了2种图像细节特征：基于八方向Sobel算子的图像边缘强度特征和基于高频分量图像细节特征。基于八方向Sobel算子的图像边缘强度特征的获取过程如B3步骤所示，基于高频分量图像细节特征的获取过程如B4步骤所示。

B3：所述边缘强度的获取过程包括：

针对样本图像中的每一个像素点，利用公式，

H_i＝f(i,j)*S_l(l＝1,2,…,8)，对所述像素进行邻域卷积计算，得到所述像素点的八方向梯度值，其中，

H_i为第i个像素对应的卷积结果；f(i,j)为第i行第j列像素点的像素值；S_l为方向模板，且方向模板包括：

将所述像素点的八方向梯度值求和得到所述像素点的梯度值；

根据所述像素点的梯度值，利用公式，

计算所述样本图像的边缘强度特征，其中，

E₁为所述样本图像的边缘强度特征；T(i,j)为第i行第j列的像素点的梯度值。

图像的边缘是图像最基本的特征，图像的轮廓、细节大都存在于图像的边缘部分。图像越清晰，则图像边缘越锐利，计算得到的灰度梯度值越大。传统的梯度计算方法只能检测垂直和水平方向的边缘，为了解决传统方法中方向局限的问题，采用八个方向(0°-325°)如上述所示的SOBEL算子模板对图像的多方向边缘进行检测，使得该方法对各个方向上的图像细节充分估计。

B4：清晰的图像比模糊的图像包含更多的信息，人们能更好地分辨其中的细节(细节意味着图像有清晰可辨的边缘，在局部中有很强的灰度级变化)，空域中更多的细节，反映在频域中即为包含更多的高频信息，因此，所述频谱特征的获取过程包括：

利用公式，

计算样本图像的高频强度特征，并将所述高频强度特征作为频谱特征，其中，

E₂为样本图像的高频强度特征；ρ₀为大于0的值；ρ₁为预先设置的系统的截止频率，这样既能滤除基本不变的低频成分，又可以降低噪声的干扰。假设图像最大频谱为F_max，则取[0.2*F_max-0.8*F_max]作为图像高频强度细节特征。

B5：众所周知，图像噪声越少，图像就越清晰，视觉质量越好。因此图像信噪比也是表征图像视觉质量好坏的重要因素。

所述信噪比的获取过程包括：

利用公式，

计算所述样本图像的信噪比，其中，

SNR为样本图像的信噪比；I_max为样本图像的最大像素灰度值；I_min为样本图像的最小像素灰度值；Std_I为样本图像的灰度值方差。

综上，将所提取的UnifromLBP特征(59维)+边缘强度特征(1维)+高频强度特征(1维)+图像信噪比(1维)，共62维特征经线性融合后作为表征图像视觉质量的综合特征。

C：将人工视觉质量评价结果作为样本图像的质量标签，将质量标签与B步骤中的图像综合特征对应起来得到训练样本，训练样本的集合分别组成训练集、验证集和测试集；

D：对于机器学习，算法模型是对样本特征分布进行拟合的结果。因此，样本库是基础，合理构建图像的视觉质量分级评价样本库是基于机器学习的图像的视觉质量分级评价的基础性工作。

该样本库包含训练集、验证集和测试集。其中训练集是用于训练基础原料，是用于模型拟合的数据样本；验证集是模型训练过程中用于初步评估模型的精度，调整和选择模型参数，监督训练的进程；测试集用来测试模型在在未知数据上的精度，从而评估最终模型的泛化能力。

为了防止过度拟合，样本库中训练集、验证集和测试集的样本量比例为6:2:2。

训练集的作用是估计模型，通过学习样本数据集的特征，来建立一个较好的分类模型。

验证集的作用是，确定网络结构或者控制模型复杂程度的参数，即对学习出来的模型，调整分类器的参数，如支持向量的个数、向量参数等。验证集还用来确定网络结构或者控制模型复杂程度的参数。

测试集的作用是，检验最终选择最优的模型的性能如何，其用于测试训练好的模型的分辨能力、识别准确率等。

S102：使用训练集训练预先得到图像质量评价模型，并使用验证集循环验证训练后的模型，得到训练后的目标模型。

示例性的，离线训练是为了获取图像的视觉质量评价的模型，从而为在线预测提供支撑。这里，使用支持向量机(SVM)机器学习算法进行图像质量模型训练和像质评价，得到*.xml格式的模型文件，示例如下：

/>

/>

/>

/>

/>

/>

其中，RBF为高斯径向基核函数；gamma为分类面权重；C为惩罚系数；support_vectors为支持向量。

支持向量机(Support Vector Machine，SVM)是基于统计学习的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本较少的情况下，也能获得良好的统计规律。支持向量机是一个二类分类模型，其基本模型定义为在特征空间上的间隔最大的线性分类器。可以将向量稀疏化，把低维空间中的向量投影到高维空间，进而降低了向量与向量之间的交叉度。但是，低维投影高维往往会增加了计算的复杂度，SVM运用核函数(可以是高斯径向基核函数、多项式核函数或Sigmoid核函数)，来代替低维到高维的映射关系。本发明实施例选择常用的高斯径向基核函数作为核函数，可以使结果泛化性更好。

S103：使用测试集测试目标模型，在目标模型的准确率达到99％的情况下，将该目标模型作为最终模型，然后使用最终模型对待评价图像的视觉质量进行评价。

然后，将最终模型部署后可以实现在线评估进而给出待评估图像的视觉质量等级。其过程是，输入待评估图像，提取出待评估图像的图像综合特征，然后，加载像质评价最终模型和SVM分类器在线输出待评估图像视觉质量等级。

应用本发明实施例，通过提取表征图像视觉质量的图像综合特征，并基于支持向量机算法通过预先训练得到图像质量评估模型，而后可以利用预先训练的评估模型对待评价图像进行视觉质量评价，由于模型是离线状态下预先训练得到的，模型中已经保存了视觉质量评价所需的分类模型参数，因此，在进行在线视觉质量评价时，直接输入待评价图像，加载图像质量评估模型和支持向量机分类器即可得到评价结果，相对于相似度评价，不涉及标准图像，可以无需依赖标准图像以实现图像的视觉质量评价。

另外，本发明实施例不仅可应用于光学图像质量评价，如可见光图像和红外图像，也可应用于SAR/ISAR雷达图像等图像的质量评价，适用于图像获取、传输和处理的各个环节，具有简洁易用、适用性强的特点，满足生产生活等领域对图像视觉质量进行客观评估的需求。

最后，由于图像视觉质量评价是视频监控、目标监视和专业图像处理中重要的基础性工作，目的是获取的图像进行分级分类，挑选成像质量较好的图像或剔除成像质量较差的图像，为进一步的处理或分析研判奠定良好基础。目前，现有技术中图像的视觉质量评价主要以主观判断为主，人工对每幅图像的成像质量进行评价，存在费时、费力、效率低和标准不统一等问题。本发明无参考图像视觉质量分级方法具有自动化程度高、鲁棒性强、适用范围广的特点，可作为衡量图像的视觉质量的客观标准，用于各种类型图像的视觉质量评价。

实施例2

与本发明实施例1相对应，图4为本发明实施例提供的一种基于视觉融合特征的无参考图像质量分级评价装置的结构示意图，如图4所示，所述装置包括：

构建模块401，构建图像质量评价样本库，包含训练集、验证集以及测试集；

训练模块402，基于支持向量机算法，使用训练集预先离线训练得到图像质量评估模型，并使用验证集循环验证训练后的模型，得到训练后的目标模型；

评价模块403，用于使用测试集测试目标模型，在目标模型的准确率达到预设阈值的情况下，将该模型作为最终的图像视觉质量评价模型。

应用本发明实施例，通过提取表征图像视觉质量的图像综合特征，并基于支持向量机算法通过预先训练得到图像质量评估模型，而后可以利用预先训练的评估模型对待评价图像进行视觉质量评价，由于模型是预先离线训练好的，模型中已经保存了视觉质量评价所需的分类模型参数，因此，在进行视觉质量评价时，直接输入待评价图像，加载图像质量评估模型和支持向量机分类器即可得到评价结果，相对于相似度评价，不涉及标准图像，可以无需依赖标准图像以实现图像的视觉质量评价。

在本发明实施例的一种具体实施方式中，所述构建模块401，用于：

获取样本图像，其中，所述样本图像包括了各个场景的图像、各个噪声水平的图像以及不同失真程度的图像；

针对每一样本图像，提取出所述样本图像的图像综合特征，其中，所述图像综合特征包括：UniformLBP特征、边缘强度特征、频谱特征以及信噪比；

获取所述样本图像的视觉质量结果，将该结果作为样本图像的质量标签，得到训练样本；

将所述训练样本的集合按照预设比例分成训练集、验证集以及测试集。

在本发明实施例的一种具体实施方式中，所述构建模块401，用于：

在此基础上，针对样本图像中的每一个像素点，利用公式，

计算所述像素点的UniformLBP特征，其中：

为所述像素点的UniformLBP特征；∑为求和函数；g_c为样本图像对应的灰度图像的像素点的像素值；R为半径；P为以所述像素点为圆心，半径为R的范围内的像素点数量；g_i为半径为R的范围内的第i个像素点的像素值。

在本发明实施例的一种具体实施方式中，所述构建模块401，用于：

针对样本图像中的每一个像素点，利用公式，

H_i＝f(i,j)*S_l(l＝1,2,…,8)，对所述像素进行邻域卷积计算，得到所述像素点的八方向梯度值，其中，

H_i为第i个像素对应的卷积结果；f(i,j)为第i行第j列像素点的像素值；S_l为方向模板，且方向模板包括：

将所述像素点的八方向梯度值求和得到所述像素点的梯度值；

根据所述像素点的梯度值，利用公式，

计算所述样本图像的边缘强度特征，其中，

E₁为所述样本图像的边缘强度特征；T(i,j)为第i行第j列的像素点的梯度值。

在本发明实施例的一种具体实施方式中，所述构建模块401，用于：

利用公式，

计算样本图像的高频强度特征，并将所述高频强度特征作为频谱特征，其中，

E₂为样本图像的高频强度特征；ρ₀为大于0的值；ρ₁为系统的截止频率。

在本发明实施例的一种具体实施方式中，所述构建模块401，用于：

利用公式，

计算所述样本图像的信噪比，其中，

SNR为样本图像的信噪比；I_max为样本图像的最大像素灰度值；I_min为样本图像的最小像素灰度值；Std_I为样本图像的灰度值方差。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于视觉融合特征的无参考图像质量分级评价方法，其特征在于，所述方法包括：

构建图像质量评价样本库，包含训练集、验证集以及测试集，提取表征图像视觉质量的综合特征，其中，所述图像综合特征包括：UniformLBP特征、边缘强度特征、频谱特征以及信噪比；具体构建方法为：

A:获取样本图像，其中，所述样本图像包括了各个场景的图像、各个噪声水平的图像以及不同失真程度的图像；

B:构建好用于训练的图像视觉质量分级评价数据库后，逐帧遍历图像，并提取表征图像视觉质量的图像综合特征；针对每一样本图像，提取出所述样本图像的图像综合特征，其中，所述图像综合特征包括:LBP特征、边缘强度特征、频谱特征以及信噪比；

C:将人工视觉质量评价结果作为样本图像的质量标签，将质量标签与B步骤中的图像综合特征对应起来得到训练样本，训练样本的集合分别组成训练集、验证集和测试集；

D:对于机器学习，算法模型是对样本特征分布进行拟合的结果；因此，样本库是基础，合理构建图像的视觉质量分级评价样本库是基于机器学习的图像的视觉质量分级评价的基础性工作；

基于支持向量机算法，用训练集预先离线训练得到图像质量评估模型，并使用验证集循环验证训练后的模型，得到训练后的目标模型；

使用测试集测试目标模型，在目标模型的准确率达到预设阈值的情况下，将该模型作为图像视觉质量评价的最终模型，并使用最终模型对待评价图像进行评价。

2.根据权利要求1所述的一种基于视觉融合特征的无参考图像质量分级评价方法，其特征在于，所述构建图像质量评价样本库，包括：

获取样本图像，其中，所述样本图像包括了各个场景的图像、各个噪声水平的图像以及不同失真程度的图像；

针对每一样本图像，提取出所述样本图像的图像综合特征，其中，所述图像综合特征包含UniformLBP特征、边缘强度特征、频谱特征和图像信噪比的62维复合特征；

获取所述样本图像的视觉质量结果，将该结果作为样本图像的质量标签，得到训练样本；

将所述训练样本的集合按照6:2:2比例分成训练集、验证集以及测试集。

3.根据权利要求2所述的一种基于视觉融合特征的无参考图像质量分级评价方法，其特征在于，所述UniformLBP特征的获取过程包括：

针对样本图像中的每一个像素点，利用公式，

计算所述像素点的UniformLBP特征，其中：

为所述像素点的UniformLBP特征；∑为求和函数；g_c为样本图像对应的灰度图像的像素点的像素值；R为半径；P为以所述像素点为圆心，半径为R的范围内的像素点数量；g_i为半径为R的范围内的第i个像素点的像素值。

4.根据权利要求2所述的一种基于视觉融合特征的无参考图像质量分级评价方法，其特征在于，所述边缘强度的获取过程包括：

针对样本图像中的每一个像素点，利用公式，

H_i＝f(i,j)*S_l (l＝1,2,...,8)，对所述像素进行邻域卷积计算，得到所述像素点的八方向梯度值，其中，

H_i为第i个像素对应的卷积结果；f(i,j)为第i行第j列像素点的像素值；S_l为方向模板，且方向模板包括：

将所述像素点的八方向梯度值求和得到所述像素点的梯度值；

根据所述像素点的梯度值，利用公式，

计算所述样本图像的边缘强度特征，其中，

E₁为所述样本图像的边缘强度特征；T(i,j)为第i行第j列的像素点的梯度值。

5.根据权利要求2所述的一种基于视觉融合特征的无参考图像质量分级评价方法，其特征在于，所述频谱特征的获取过程包括：

利用公式，

计算样本图像的高频强度特征，并将所述高频强度特征作为频谱特征，其中，

E₂为样本图像的高频强度特征；ρ₀为大于0的值；ρ₁为系统的截止频率。

6.根据权利要求2所述的一种基于视觉融合特征的无参考图像质量分级评价方法，其特征在于，所述信噪比的获取过程包括：

利用公式，

计算所述样本图像的信噪比，其中，

SNR为样本图像的信噪比；I_max为样本图像的最大像素灰度值；I_min为样本图像的最小像素灰度值；Std_I为样本图像的灰度值方差。

7.一种基于视觉融合特征的无参考图像质量分级评价装置，其特征在于，所述装置包括：

构建模块，构建图像质量评价样本库，包含训练集、验证集以及测试集，提取表征图像视觉质量的综合特征，其中，所述图像综合特征包括：UniformLBP特征、边缘强度特征、频谱特征以及信噪比；具体构建方法为：

A:获取样本图像，其中，所述样本图像包括了各个场景的图像、各个噪声水平的图像以及不同失真程度的图像；

B:构建好用于训练的图像视觉质量分级评价数据库后，逐帧遍历图像，并提取表征图像视觉质量的图像综合特征；针对每一样本图像，提取出所述样本图像的图像综合特征，其中，所述图像综合特征包括:LBP特征、边缘强度特征、频谱特征以及信噪比；

C:将人工视觉质量评价结果作为样本图像的质量标签，将质量标签与B步骤中的图像综合特征对应起来得到训练样本，训练样本的集合分别组成训练集、验证集和测试集；

D:对于机器学习，算法模型是对样本特征分布进行拟合的结果；因此，样本库是基础，合理构建图像的视觉质量分级评价样本库是基于机器学习的图像的视觉质量分级评价的基础性工作；

训练模块，基于支持向量机算法，用训练集预先离线训练得到图像质量评估模型，并使用验证集循环验证训练后的模型，得到训练后的目标模型；

评价模块，用于使用测试集测试目标模型，在目标模型的准确率达到预设阈值的情况下，将该模型作为图像视觉质量评价的最终模型，并使用最终模型对待评价图像进行评价。

Images