CN111127387B - 无参考图像的质量的评价方法 - Google Patents
无参考图像的质量的评价方法 Download PDFInfo
- Publication number
- CN111127387B CN111127387B CN201910626258.5A CN201910626258A CN111127387B CN 111127387 B CN111127387 B CN 111127387B CN 201910626258 A CN201910626258 A CN 201910626258A CN 111127387 B CN111127387 B CN 111127387B
- Authority
- CN
- China
- Prior art keywords
- image
- local
- value
- lbp
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 101000822805 Naja atra Cytotoxin A5 Proteins 0.000 claims 2
- 101000822803 Naja kaouthia Cytotoxin homolog Proteins 0.000 claims 2
- 101000783567 Naja naja Cytotoxin 1 Proteins 0.000 claims 2
- 101000822819 Naja naja Cytotoxin-like basic protein Proteins 0.000 claims 2
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 6
- 238000002790 cross-validation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012353 t test Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108091035707 Consensus sequence Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- RAABOESOVLLHRU-UHFFFAOYSA-N diazene Chemical compound N=N RAABOESOVLLHRU-UHFFFAOYSA-N 0.000 description 1
- 229910000071 diazene Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种无参考图像的质量的评价方法包括以下评价步骤：将失真图像进行尺度缩减，然后对图像进行局部归一化处理，局部归一化处理中，对彩色图像进行灰度化，采用局部二值模式LBP描述子描述纹理特征变化；拟合梯度幅值的概率分布，利用分布的参数来刻画失真图像的结构变化；采用支持向量回归建立非线性回归模型。本发明提供的无参考图像质量评价方法，通过提取两类具有互补性的低层特征分布,并结合浅层机器学习作为回归模型来评价图像质量，具有参数少、模型简单、效率高、鲁棒性强的优点。
Description
技术领域：
本发明涉及图像质量评价领域，特别涉及一种无参考图像的质量评价方法。
背景技术：
信息和通信技术的快速发展为终端用户的高质量体验提出了更高的要求。图像质量评价(Image Quality Assessment,IQA)的主要目标就是设计出客观的图像质量评价方法，使之与人的主观视觉感知保持一致。图像质量评价方法可分为主观评价和客观评价。客观评价分为:全参考图像质量评价(Full Reference,FR)、半参考图像质量评价(ReducedReference,RR)和无参考型图像质量评价(No Reference,NR)。NR IQA不需要获取参考图像，仅根据失真图像通过计算机模拟人类视觉系统(Human Visual System,HVS)来评价图像质量。由于参考图像在实际应用中常常无法获得，NRIQA在图像处理及其应用中更有意义。
发明内容：
有鉴于此，有必要提供一种无参考图像的质量的评价方法。
一种无参考图像的质量的评价方法，包括以下评价步骤：
步骤一，将失真图像进行尺度缩减，然后对图像进行局部归一化处理；
首先，对彩色图像进行灰度化，灰度化的公式为：
I(i,j)＝0.2989×R(i,j)+0.5870×G(i,j)+0.1140×B(i,j) 公式一
其中R(i,j),G(i,j),B(i,j)分别表示彩色图像的三个颜色分量；
其次，将I(i,j)进行局部归一化得到图像亮度的系数
其中i和j分别表示图像的空间索引i＝1,2,...,M,j＝1,2,...,N,M×N表示图像的大小.；
这里ω＝{ωk,l|k＝-K,...,K,l＝-L,...,L}定义(2K+1)×(2L+1)了的高斯窗口,取K＝L＝3；μ和σ是图像局部块的均值和标准差,C是一个正常数为避免分母取到0；选择C＝(αL)2,L是像素灰度级的动态范围，对于8位灰度图像,L＝255,α是一个很小的常量；
步骤二，采用局部二值模式LBP描述子描述纹理特征变化；
步骤三，拟合梯度幅值的概率分布，利用分布的参数来刻画失真图像的结构变化；
步骤四，采用支持向量回归建立非线性回归模型。
优选的，步骤二中采用加权局部二值模式CLBP直方图提取纹理变化特征：
应用CLBP算子后可以分别得到局部CLBP-S和CLBP-M映射图；然后,我们从这两个映射图中提取全局结构特征作为像素加权的和/>直方图,定义如下:
这里k∈[0,K],K＝9为GTLBP模式的最大值,M×N表示失真图像大小。
优选的，步骤三中采用Prewitt滤波器计算失真图像f(x,y)偏导数Gx(x,y)和Gy(x,y)，计算公式为：
其中，符号*”表示卷积运算,然后计算图像f(x,y)的梯度幅值G(x,y)，计算公式为：
优选的，步骤三中采用Weibull分布来描述失真图像的结构变化，Weibull分布的概率密度函数的公式为：
其中x是图像梯度幅值，γ>0是形状参数，β<0是比例参数，γ表示分布峰值，对局部对局部边缘空间频率敏感；β表示分布的宽度并反映局部对比度。
优选的，步骤四中采用非线性回归模型SVR进行无参考图像的质量评价，训练一组训练数据{(x1,y1),(x2,y2),...,(xl,yl)},其中xi∈Rn是提取的质量感知特征,yi是相应的差异平均主观得分DMOS.SVR的标准形式表示公式为:
其中φ(xi)表示xi映射后的特征向量,ωTφ(xi)+b为在特征空间中所划分的超平面模型,ω和b分别为模型的权重和偏置,ξi和为松弛变量，通过反复试验,正则化参数C和ε>0分别从集合(2-3,2-2,...210)和(2-10,2-9,...26)中搜索最优值作为SVR的训练参数。
本发明提供的无参考图像质量评价方法，通过提取两类具有互补性的低层特征分布,并结合浅层机器学习作为回归模型来评价图像质量，具有参数少、模型简单、效率高、鲁棒性强的优点。首先，利用广义局部二值模式的加权直方图来描述失真图像的纹理变化；其次,利用梯度特征的Weibull分布来描述失真图像的结构变化；然后,采用经典的支持向量回归(Support Vector Regression,SVR)建立非线性回归模型。本发明相较于目前流行的全参考型、无参考型以及深度学习的方法，基于两种低层特征分布具有优越的评价性能和较强的泛化能力。
附图说明：
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为不同方法之间的SROCC(w)和运行时间(对数尺度)对比。
具体实施方式：
本发明的基于两种低层特征分布的无参考图像质量的评价方法由低层特征提取和池化两个阶段组成，低层特征提取包括失真图像的纹理特征变化的提取和失真图像的梯度特征变化提取，将这两个低层特征集中的特征作为失真图像的结构信息，建立非线性回归模型。
无参考图像的质量的评价方法，包括以下评价步骤：
步骤一，将失真图像进行尺度缩减，然后对图像进行局部归一化处理：
首先，对彩色图像进行灰度化，灰度化的公式为：
I(i,j)＝0.2989×R(i,j)+0.5870×G(i,j)+0.1140×B(i,j) 公式一
其中R(i,j),G(i,j),B(i,j)分别表示彩色图像的三个颜色分量。
其次，将I(i,j)进行局部归一化得到图像亮度的系数
其中i和j分别表示图像的空间索引i＝1,2,...,M,j＝1,2,...,N,M×N表示图像的大小。
这里ω＝{ωk,l|k＝-K,...,K,l＝-L,...,L}定义(2K+1)×(2L+1)了的高斯窗口,取K＝L＝3；μ和σ是图像局部块的均值和标准差,C是一个正常数,为避免分母取到0；选择C＝(αL)2,L是像素灰度级的动态范围(对于8位灰度图像,L＝255),α是一个很小的常量。
步骤二，采用局部二值模式LBP描述子描述纹理特征变化。
基本的LBP最初定义在3×3像素块中，将每一局部块的中心像素点值作为阈值，与其周围8个像素点值做比较，如果周围领域像素点值大于等于阈值，则该领域像素点位置就记为1，否则记为0或者-1；然后将阈值化后的值分别与对应位置像素的权重相乘再相加所得的结果记为LBP值，为了改进原始LBP对领域尺度大小和领域样本点数目的局限性，定义了一个以R为半径、P为领域像素点个数的圆环形局部块，得到了一般的LBP模式。
由于半径为R的圆形区域内含有P个邻域像素点的LBP算子将会产生2P种模式。很显然,LBP模式种类会随着邻域样本点个数的增加而呈指数增长,进而产生的特征向量维数巨增。为解决这一问题,Ojala等人[17]提出的一致LBP模式大大减少了特征的维数,模式数量由原来的2P种减少为P(P-1)+3种,提高了计算效率。为使图像具有旋转不变性,Ojala等[16]又提出了旋转不变LBP,通过旋转圆形邻域得到一系列的初始定义的LBP,取其最小值作为旋转不变LBP的值。为进一步加强LBP的旋转不变性和辨别力,提高计算速度,于是Ojala等人[17]将旋转不变LBP与一致模式结合,得到了旋转不变一致LBP。
其中LBP上标“riu2”表示值小于等于2的旋转不变“均匀”模式，U值定义为该模式中空间转换的次数(按位0/1变化)；gc,gi分别表示中心像素点和邻域像素点；P是邻域的像素点总个数i＝0,1,...,P-1。
在整个图像中使用旋转不变一致LBP模式最终生成的纹理特征仅P+2维,其中包含了P+1类为均匀模式和1类非均匀模式,明显低于使用原始LBP的维数；同时,大量的旋转不变和光照不变的纹理实验表明,旋转不变一致LBP具有良好的不变性。
在具体应用中，旋转不变一致LBP方法仍然在尺度大小、图像噪声等方面存在一定的局限性。为了改善LBP提取纹理信息的局限性,与传统LBP不同,本文采用在不同尺度下,先经过式(2)预处理得到局部归一化亮度图,再进行提取LBP,可得到更具表达力和辨别力的特征。
针对LBP对图像噪声的敏感问题,研究者们提出了基于阈值的广义LBP方法,减小了LBP对噪声和周围邻域像素值微小波动的敏感性。为提高局部二值模式对噪声干扰的鲁棒性,Guo等[30]提出了完整的局部二值模式(Completed LBP,CLBP)。该方法从局部差值符号与幅值转换(Local Difference Sign-Magnitude Transform,LDSMT)的角度分析了LBP算法,公式如下:
其中T是一个可自适应选取的正阈值参数。若T值较大,则CLBP倾向于描述图像纹理变化剧烈的特征；反之,若T值较小,则CLBP倾向于描述图像的细节纹理信息。
当T＝0时,记作:称为差值符号特征。此时S′(x,T)＝S(x),因此/>与公式(5)中的旋转不变一致LBP相同。当T≠0时,记作:/>称为差值幅值特征,其中阈值T设置为整个图像/>的平均值。文献[30]验证了CLBP-S和CLBP-M信息的重要性,以及将两种描述符进行融合得到的特征更具纹理辨别力。
本发明采用加权局部二值模式CLBP的直方图特征来提取失真图像的纹理变化特征。
应用CLBP算子后可以分别得到局部CLBP-S和CLBP-M映射图；然后,我们从这两个映射图中提取全局结构特征作为像素加权的和/>直方图,定义如下:
这里k∈[0,K],K＝9为GTLBP模式的最大值,M×N表示失真图像大小。
LBP方法虽然应用领域广泛,但仍需进一步研究与完善,将多种特征融合是当前发展的一个方向，目前,已有研究者开始对多特征融合进行研究,将LBP与颜色、轮廓等特征融合,更有效地提取图像特征，通常特征之间应具有互补性,以适用于不同类型图片数据库和不同领域，相对于LBP的图像纹理特征描述,梯度对图像的边缘信息具有较好的刻画能力。
步骤三，拟合梯度幅值的概率分布，利用分布的参数来刻画失真图像的结构变化。
采用Prewitt滤波器计算失真图像f(x,y)偏导数Gx(x,y)和Gy(x,y)，计算公式为：
其中，符号*”表示卷积运算,然后计算图像f(x,y)的梯度幅值G(x,y)，计算公式为：
采用Weibull分布来描述失真图像的结构变化，Weibull分布的概率密度函数的公式为：
其中x是图像梯度幅值，γ>0是形状参数，β<0是比例参数，γ表示分布峰值，对局部对局部边缘空间频率敏感；β表示分布的宽度并反映局部对比度。
步骤四，采用支持向量回归建立非线性回归模型。
采用非线性回归模型SVR进行无参考图像的质量评价，训练一组训练数据{(x1,y1),(x2,y2),...,(xl,yl)},其中xi∈Rn是提取的质量感知特征,yi是相应的差异平均主观得分DMOS.SVR的标准形式表示公式为:
其中φ(xi)表示xi映射后的特征向量,ωTφ(xi)+b为在特征空间中所划分的超平面模型,ω和b分别为模型的权重和偏置,ξi和为松弛变量，通过反复试验,正则化参数C和ε>0分别从集合(2-3,2-2,...210)和(2-10,2-9,...26)中搜索最优值作为SVR的训练参数。
本发明提供的无参考图像质量评价方法，通过提取两类具有互补性的低层特征分布,并结合浅层机器学习作为回归模型来评价图像质量，具有参数少、模型简单、效率高、鲁棒性强的优点。首先，利用广义局部二值模式的加权直方图来描述失真图像的纹理变化；其次,利用梯度特征的Weibull分布来描述失真图像的结构变化；然后,采用经典的支持向量回归(Support Vector Regression,SVR)建立非线性回归模型。本发明相较于目前流行的全参考型、无参考型以及深度学习的方法，基于两种低层特征分布具有优越的评价性能和较强的泛化能力。
本发明的基于两种低层特征的无参考质量评价方法在LIVE、TID2008、CSIQ、MICT四个标准数据库上,针对五种失真类型(JPEG-2000，JPEG，WN，GB，FF)分别进行大量的数值实验。
数据库的选择：
在四个标准IQA数据库进行了比较实验，IQA数据库包括LIVE、CSIQ、TID2008、MICT，表1列出了四个数据库的基本属性信息。对于CSIQ和TID2008数据库，我们只测试四种常见的失真类型：JPEG-2000、JPEG、WN和GB。
表1为IQA性能验证的标准数据库。
Table.1 Benchmark Database for IQA Performance Validation。
对于CSIQ和TID2008数据库，我们只测试四种常见的失真类型：JPEG-2000、JPEG、WN和GB，此外，我们排除了TID2008数据库中第25幅人工合成图像。
为了说明算法的有效性，即客观评价与HVS的一致性程度，通常采用将客观评价值与主观评价值(Mean Opinion Score,MOS)进行一致性分析，采用四个标准评估IQA指标的表现：Spearman等级相关系数((Spearman Rank-order Correlation Coefficient,SROCC)，Kendall等级相关系数(Kendall Rank-order CoefficientCoefficient,KRCC)，Pearson线性相关系数(PearsonLinearcor-relation Coefficient Coefficient,PLCC)和均方根误差(Root Mean Squared Error,RMSE)，前两个相关系数可以测量图像质量评价算法的单调性,其数值越大,说明相关性越好；计算PLCC和RMSE这两个指标需要应用回归分析，提供一个客观得分与MOS之间的一个非线性映射；对于非线性回归，使用下面的映射函数:
其中βi,i＝1,2,...,5是相应选择的参数；一个好的客观评价算法相应的有较高的SROCC，KROCC和PLCC，同时有较低的RMSE。
实验部分与当前流行的算法也进行了比较,4种全参考图像质量评价算法:PSNR和SSIM、FSIM、VSI和8种NR IQA算法:NIQE,ILNIQE,BIQI,DIIVINE,BLIINDS2,BRISQUE,GMLOG和NFERM,以及5种深度学习IQA方法:Dip IQA,OG IQA,Deep IQA,MEON,CNN。
数值实验：
对于HGTLBP计算,邻域数量P＝8,半径R＝1，为了证明不同尺度对结果的影响,我们通过在LIVE上提取不同尺度下的特征得到不同的SROCC、KROCC、PLCC和RMSE；不同尺度分别是:只在原尺度图像下进行特征提取；对原尺度和尺度缩减一倍的图像分别提取特征；分别对原尺度、尺度缩减一倍、尺度缩减两倍的图像提取特征,如表2所示，从表中可以看出,提取两个尺度下提取的特征效果最好,且本文方法在不同尺度下性能保持相对稳定，综合考虑,本文方法提取两个尺度的低层特征,给定一幅512×512的失真彩色图像,提取44维特征。
表2在LIVE数据库上的不同尺度的指标比较。
Table.2 Comparison of different scales of indicators on the LIVEdatabase。
在单个数据库上的性能比较：
首先,我们评估了各个评价指标在四个标准数据库中的性能，在每个数据库上,我们将整个数据库分成训练集和测试集，随机选择80％的失真图像用于训练,其余用于测试，取训练-测试组的1000次迭代的均值结果作为最终评价,见表3SROCC,PLCC值越接近于1,表明识别算法的质量预测得分与相应的DMOS相关性越好,其中最优的两个NR IQA模型的值(SROCC,PPLCC)用粗体显示，由表3可知,所提出的模型在所有数据库上的评价结果与人类主观评价DMOS具有很高的相关性，在LIVE上,TLLFD方法的SROCC,PLCC值都达到了0.96；在TID2008上SROCC,PLCC值接近0.94；在MICT上SROCC,PLCC值近似于0.92。
与PSNR、SSIM、VSI、FSIM模型相比,两种低层特征分布方法的优点在于不需要参考图像，与目前最流行的FR IQA方法FSIM和VSI相比,两种低层特征分布方法仍能达到相同的评价效果，随着深度学习的发展,一些学者将深度学习应用到NR IQA算法中，遗憾的是,只有CNN在LIVE数据库上的评价结果,以及Dip IQA和Deep IQA在CSIQ数据库上的评价结果，与深度学习的NR IQA方法相比,两种低层特征分布方法参数少,且有较好的评价效果。
表3在4个基准数据库上的15个IQA模型的SROCC、PLCC性能比较，最好的模型以粗体显示。
Table.3 SROCC,PLCC performance comparison of 15 IQA models on 4benchmark databases,the best models are shown in bold。
单个失真类型的表现：
其次,我们测试NR IQA在单个失真类型上的表现，使用80％的具有五种失真的图像训练NR IQA模型,并在具有特定失真类型的失真图像的20％上测试，KROCC,PLCC和RMSE指标获得了类似的结果,简单起见表4只使用SROCC指标，表4给出了四个数据库的15组失真类型,粗体显示了每个失真类型的两组最佳NR IQA模型的评价指标，此外,表4最后一行列出了所有失真类型的SROCC加权平均值,其中权重是每个失真组中的图像数量。
我们可以观察到本文方法在15个失真组中的12个胜过其他NRIQA方法。由表4可知,在LIVE,TI D2008,CSIQ,MICT上,本文方法在不同失真类型下的SROCC值都很高,不论是从整体识别率还是单个失真类型识别率上质量预测准确性都是最高的，在单个失真类型中,识别效果最好的是WN,GB,对于JPEG2000,JPEG,FF识别率相对较低。主要原因:1)不同的失真类型具有不同的CLBP图,它可以有效地反映不同失真类型对图像结构变化的影响。2)通过加权直方图得到全局结构特征GTLBP,它是反映不同失真类型影响的有效描述符。3)JPEG2000,JPEG,FF会使图像产生不同程度的模糊,模糊降低了图像的细节信息,尽管在这三种失真类型上的性能相对较差,但仍然比大多数NR IQA方法的SROCC值要高。除此之外,从整体来看,TLLFD具有最高的加权平均值.
表4 12个NR IQA模型在单个失真类型上的SROCC比较，最好的NR IQA模型以粗体显示。
Table.4 SROCC comparisons of 12 NR IQA models on individualdistortion types.The best NR IQA models are shown in bold。
交叉验证：
同时,为了说明TLLFD方法的泛化能力,防止过拟合对实验产生干扰,我们在具有相同失真类型的自然图像的LIVE,CSIQ,TID2008和MICT上进行跨数据库交叉验证实验。为了公平起见,在表5中,我们在LIVE(779)数据库的所有图像上训练NR IQA模型,并在CSIQ,TID2008和MICT数据库上进行测试。在表6中,我们对来自CSIQ(600)数据库的图像训练NRIQA模型,并在其他三个数据库上进行测试,最好的两个结果用粗体表示。分别从表5和表6可以看到,SROCC值分别不小于0.88和0.83,同时随着训练数据的减少,算法的性能下降并不明显,这说明TLLFD具有良好的鲁棒性和普适性。
表5当NR IQA模型在LIVE上训练时，交叉验证比较SROCC。
Table.5 SROCC comparison on cross-database validation when NR IQAmodels are trained on LIVE。
表6当NR IQA模型在CSIQ上训练时，交叉验证比较SROCC。
Table.6 SROCC comparison on cross-database validation when NR IQAmodels are trained on CSIQ。
统计显著性和假设检验：
为了进一步表明TLLFD优越性,我们从统计角度与其他NRIQA方法进行对比，在四个数据库中,我们对两个样本分别进行1000次迭代训练测试,然后将产生的两组SROCC值进行t检验,目的是测量两个独立样本均值的差异是否显著，t检验在5％显著水平下进行,其中1或-1表明本文方法在统计学上优于或低于比较方法,0表示在统计学上与比较方法效果相同,结果见表7。从整体来看,在LIVE,TID2008,CSIQ和MICT上,除了NFERM,TLLFD在统计上优与其他NR IQA方法。
表7统计显著性t检验,1(-1)表示本文方法在统计学上比在该列中的方法更好(更差)，0表示在统计上与该栏中的方法相同。
Table.7Statistical significance t test.1(-1)indicates our methodbetter(worse)than the method in the column.0 indicates our method isstatistically equivalent to the method in the column。
| T-test | NIQE | ILNIQE | BIQI | DIIVINE | BLINDS2 | BRISQUE | GMLOG | NFERM |
| LIVE | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| CSIQ | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 |
| TID08 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| MICT | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
计算复杂性：
在许多实际应用中,人们非常希望有一种低复杂度的NR IQA方法来实时检测图像质量。因此,我们评估了所有竞争方法的加权平均SROCC值和运行时间的关系。实验在IntelCore(TM)i5-3210MCPU@2.50GHz和4GB RAM的华硕A45V的笔记本电脑上进行,该软件平台是Windows环境下的MATLAB R2012a(7.14)。图1为二维散点图显示了4个标准数据库的加权平均SROCC值,以及在一幅图像512×512中用不同方法提取特征所运行的时间。
从图1可知,TLLFD计算复杂性明显低于NIQE,ILNIQE,DIIVINE,BLINDS2,但劣于BIQI和GMLOG。主要原因如下:1)BIQI只有2个特征,采用小波分解系数经广义高斯分布拟合的参数作为特征,提取时间较短,然而,在所有竞争模型中,它的性能是最差的；2)GMLOG虽提取40个统计特征,融合梯度幅值和拉普拉斯特征,提取过程简单,运行效率高；3)NIQE共有36个特征,先对图像提取一组局部特征,然后将特征向量拟合到多元高斯模型,相比其他方法计算过程复杂,从而运行速度较慢；4)ILNIQE提取五种类型的NSS特征,并用它们来学习原始图像的多元高斯模型,并以此作为参考模型来预测图像质量,该模型参数多,计算量大,运行时间长；5)DIIVINE特征维数高达88个,因此运行时间长,效率低；6)BLINDS2对图像进行离散余弦变换,提取特征计算过程复杂,需要相当长的运行时间。整体来看,TLLFD方法计算复杂度较低、效率较高。
本发明提出了一种新的无参考图像质量评价方法:两种低层特征分布方法，该方法通过提取两种低层特征分布和采用SVR作为回归模型来模拟HVS对图像质量感知,特征提取分为两个阶段进行。第一个阶段先对图像进行局部对比度归一化处理,再通过广义的局部二值模式产生差值符号特征图和幅值特征图,最后利用加权CLBP-S和加权CLBP-M直方图系数被作为图像纹理特征。另一个阶段是将Weibull分布拟合梯度图的参数被用作图像梯度特征。这两个特征集具有互补性,它们的组合对NR IQA任务是有效的。在四个公开数据库与目前流行的算法(4个FR IQA、8个经典的NR IQA以及5个基于Deep learning NR IQA)进行实验比较,结果表明:两种低层特征分布方法在预测精度、失真一致性和交叉验证方面,与当前流行的NR IQA方法相比具有很强的竞争力。
Claims (1)
1.一种无参考图像的质量的评价方法，其特征在于：无参考图像的质量的评价方法包括以下评价步骤：
步骤一，将失真图像进行尺度缩减，然后对图像进行局部归一化处理，局部归一化处理中，
首先，对彩色图像进行灰度化，灰度化的公式为：
I(i,j)＝0.2989×R(i,j)+0.5870×G(i,j)+0.1140×B(i,j) 公式一
其中R(i,j),G(i,j),B(i,j)分别表示彩色图像的三个颜色分量；
其次，将I(i,j)进行局部归一化得到图像亮度的系数
其中i和j分别表示图像的空间索引i＝1,2,...,M,j＝1,2,...,N,M×N表示图像的大小.；
这里ω＝{ωk,l|k＝-K,...,K,l＝-L,...,L}定义(2K+1)×(2L+1)了的高斯窗口,取K＝L＝3；μ和σ是图像局部块的均值和标准差,C是一个正常数,为避免分母取到0；选择C＝(αL)2,L是像素灰度级的动态范围，对于8位灰度图像，L＝255，α是一个很小的常量；
步骤二，采用局部二值模式LBP描述子描述纹理特征变化；
步骤三，拟合梯度幅值的概率分布，利用分布的参数来刻画失真图像的结构变化；
步骤四，采用支持向量回归建立非线性回归模型；
步骤二中，采用加权局部二值模式CLBP直方图提取纹理变化特征；
应用CLBP算子后可以分别得到局部CLBP-S和CLBP-M映射图；然后,我们从这两个映射图中提取全局结构特征作为像素加权的和/>直方图,定义如下:
这里k∈[0,K],K＝9为GTLBP模式的最大值，M×N表示失真图像大小；
步骤三中，采用Prewitt滤波器计算失真图像f(x,y)偏导数Gx(x,y)和Gy(x,y)，计算公式为：
其中，符号“*”表示卷积运算,然后计算图像f(x,y)的梯度幅值G(x,y)，计算公式为：
步骤三中，采用Weibull分布来描述失真图像的结构变化，Weibull分布的概率密度函数的公式为：
其中x是图像梯度幅值，γ＞0是形状参数，β＜0是比例参数，γ表示分布峰值，对局部对局部边缘空间频率敏感；β表示分布的宽度并反映局部对比度；
步骤四中，采用非线性回归模型SVR进行无参考图像的质量评价，训练一组训练数据{(x1,y1),(x2,y2),...,(xl,yl)},其中xi∈Rn是提取的质量感知特征,yi是相应的差异平均主观得分DMOS.SVR的标准形式表示公式为:
目标函数:
约束条件:
其中表示xi映射后的特征向量,/>为在特征空间中所划分的超平面模型,ω和b分别为模型的权重和偏置,ξi和/>为松弛变量，通过反复试验,正则化参数C和ε＞0分别从集合(2-3,2-2,...210)和(2-10,2-9,...26)中搜索最优值作为SVR的训练参数；
基本的LBP最初定义在3×3像素块中，将每一局部块的中心像素点值作为阈值，与其周围8个像素点值做比较，如果周围领域像素点值大于等于阈值，则该领域像素点位置就记为1，否则记为0或者-1；然后将阈值化后的值分别与对应位置像素的权重相乘再相加所得的结果记为LBP值，为了改进原始LBP对领域尺度大小和领域样本点数目的局限性，定义了一个以R为半径、P为领域像素点个数的圆环形局部块，得到了一般的LBP模式；
由于半径为R的圆形区域内含有P个邻域像素点的LBP算子将会产生2P种模式；
其中LBP上标“riu2”表示值小于等于2的旋转不变“均匀”模式，U值定义为该模式中空间转换的次数，按位0/1变化；gc,gi分别表示中心像素点和邻域像素点；P是邻域的像素点总个数i＝0,1,...,P-1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910626258.5A CN111127387B (zh) | 2019-07-11 | 2019-07-11 | 无参考图像的质量的评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910626258.5A CN111127387B (zh) | 2019-07-11 | 2019-07-11 | 无参考图像的质量的评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127387A CN111127387A (zh) | 2020-05-08 |
| CN111127387B true CN111127387B (zh) | 2024-02-09 |
Family
ID=70495140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910626258.5A Active CN111127387B (zh) | 2019-07-11 | 2019-07-11 | 无参考图像的质量的评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127387B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696090B (zh) * | 2020-06-08 | 2022-07-29 | 电子科技大学 | 一种无约束环境下人脸图像质量评估方法 |
| CN111968073B (zh) * | 2020-07-07 | 2022-07-12 | 南昌大学 | 一种基于纹理信息统计的无参考图像质量评价方法 |
| CN112489145A (zh) * | 2020-12-29 | 2021-03-12 | 重庆邮电大学 | 一种基于颜色相关局部二值模式的彩色图像描述方法 |
| CN112950597B (zh) * | 2021-03-09 | 2022-03-08 | 深圳大学 | 一种失真图像质量评价方法、装置、计算机设备及存储介质 |
| CN114782422B (zh) * | 2022-06-17 | 2022-10-14 | 电子科技大学 | 一种svr特征融合的无参考jpeg图像质量评价方法 |
| CN115345845B (zh) * | 2022-08-10 | 2024-07-30 | 重庆大学 | 基于方向梯度直方图的特征融合烟幕干扰效能评估及处理方法及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875383A (zh) * | 2017-01-24 | 2017-06-20 | 北京理工大学 | 基于威布尔统计特征的内容不敏感模糊图像质量评价方法 |
| CN107481236A (zh) * | 2017-08-28 | 2017-12-15 | 方玉明 | 一种屏幕图像的质量评价方法 |
| CN107578406A (zh) * | 2017-09-06 | 2018-01-12 | 天津大学 | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 |
| CN108681997A (zh) * | 2018-04-26 | 2018-10-19 | 天津大学 | 基于改进lbp特征的无参考多失真图像质量评价方法 |
| CN109344860A (zh) * | 2018-08-19 | 2019-02-15 | 天津大学 | 一种基于lbp的无参考图像质量评价方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913413B (zh) * | 2016-03-31 | 2019-02-22 | 宁波大学 | 一种基于在线流形学习的彩色图像质量客观评价方法 |
-
2019
- 2019-07-11 CN CN201910626258.5A patent/CN111127387B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875383A (zh) * | 2017-01-24 | 2017-06-20 | 北京理工大学 | 基于威布尔统计特征的内容不敏感模糊图像质量评价方法 |
| CN107481236A (zh) * | 2017-08-28 | 2017-12-15 | 方玉明 | 一种屏幕图像的质量评价方法 |
| CN107578406A (zh) * | 2017-09-06 | 2018-01-12 | 天津大学 | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 |
| CN108681997A (zh) * | 2018-04-26 | 2018-10-19 | 天津大学 | 基于改进lbp特征的无参考多失真图像质量评价方法 |
| CN109344860A (zh) * | 2018-08-19 | 2019-02-15 | 天津大学 | 一种基于lbp的无参考图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127387A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127387B (zh) | 无参考图像的质量的评价方法 | |
| Li et al. | DRPL: Deep regression pair learning for multi-focus image fusion | |
| Zhang et al. | A feature-enriched completely blind image quality evaluator | |
| CN109325550B (zh) | 基于图像熵的无参考图像质量评价方法 | |
| Montazer et al. | An improved radial basis function neural network for object image retrieval | |
| CN103475898B (zh) | 一种基于信息熵特征的无参考图像质量评价方法 | |
| CN109766858A (zh) | 结合双边滤波的三维卷积神经网络高光谱影像分类方法 | |
| CN102063708B (zh) | 基于Treelet和非局部均值的图像去噪 | |
| CN109003265B (zh) | 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法 | |
| CN110782413B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN114926680B (zh) | 一种基于AlexNet网络模型的恶意软件分类方法及系统 | |
| Backes et al. | A new approach to estimate fractal dimension of texture images | |
| CN111415323B (zh) | 图像的检测方法及装置，神经网络的训练方法及装置 | |
| Lu et al. | No reference quality assessment for multiply-distorted images based on an improved bag-of-words model | |
| CN113610862A (zh) | 一种屏幕内容图像质量评估方法 | |
| Sadiq et al. | Blind image quality assessment using natural scene statistics of stationary wavelet transform | |
| Wu et al. | Visual structural degradation based reduced-reference image quality assessment | |
| CN106023093A (zh) | 一种基于改进图像块匹配的非局部均值图像去噪方法 | |
| Silva et al. | Fractal measures of image local features: An application to texture recognition | |
| Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
| Hussain et al. | Image denoising to enhance character recognition using deep learning | |
| Yu et al. | A hybrid indicator for realistic blurred image quality assessment | |
| Tamilmani et al. | Early detection of brain cancer using association allotment hierarchical clustering | |
| Florindo et al. | Texture descriptors by a fractal analysis of three-dimensional local coarseness | |
| Du et al. | Blind image quality assessment with the histogram sequences of high-order local derivative patterns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |