CN108921824A - 一种基于稀疏化特征提取的彩色图像质量评价方法 - Google Patents
一种基于稀疏化特征提取的彩色图像质量评价方法 Download PDFInfo
- Publication number
- CN108921824A CN108921824A CN201810594794.7A CN201810594794A CN108921824A CN 108921824 A CN108921824 A CN 108921824A CN 201810594794 A CN201810594794 A CN 201810594794A CN 108921824 A CN108921824 A CN 108921824A
- Authority
- CN
- China
- Prior art keywords
- image
- dis
- ref
- vector
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000000605 extraction Methods 0.000 title claims abstract description 30
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 134
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 15
- 241000282414 Homo sapiens Species 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 7
- 230000004438 eyesight Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002087 whitening effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 15
- 230000006872 improvement Effects 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于稀疏化特征提取的彩色图像质量评价方法,所述方法包括:基于若干个参考图像建立训练样本矩阵,由此获得特征提取器矩阵W;将参考图像和彩色失真图像各自分割成M个互不重叠的图像块,得到图像块向量对;从图像块向量对中选取视觉显著图像块向量对,使用特征提取器矩阵W进行特征提取;由此计算考图像及彩色失真图像间的特征相似度;根据亮度及对比度变化从图像块向量对中选取亮度及对比度敏感图像块向量对,计算参考图像及彩色失真图像间的亮度关系度及对比度关系度;将特征相似度、亮度关系度及对比度关系度进行加权平均作为彩色失真图像质量评分值。本发明的方法极大的降低了图像质量评价所需时间,提高了评价的准确度。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种基于稀疏化特征提取的彩色图像质量评价方法。
背景技术
图像质量评价方法分为主观质量评价方法和客观质量评价方法。主观质量评价方法是观测者在观测图像后,对图像的视觉质量作出评分。主观质量评价最符合人眼的视觉系统,但不适用于实际系统。客观质量评价是对输入图像采用数学模型进行运算而做出的视觉质量评分。客观质量评价与主观质量评价的一致性是衡量客观质量评价方法优劣的唯一标准。按照是否需要参考图像信息的标准,客观质量评价方法分为全参考评价方法,部分参考评价方法及无参考评价方法。全参考评价方法是以参考图像的全部信息为标准,评价待测图像的质量。全参考评价方法主要有均方误差方法(Mean Square Error,MSE),结构相似度(Structural Similarity Index Measurement System,SSIM)方法等。无参考评价方法则不考虑参考图像的任何信息,对待测图像基于统计特性的描述。部分参考评价方法介于全参考评价方法与无参考评价方法,利用诸如参考图像的边缘、结构的部分信息作为参考,对待测图像进行评价。
为更好理解人眼视觉系统,许多研究人员提出使用稀疏表示描述图像的视觉感知质量,相关研究表明,稀疏表示符合人类的大脑认知。但基于稀疏表示方法忽视了彩色图像的颜色、亮度及对比度信息,从而影响了该评价模型性能。
由于独立主成分分析(Independent Component Analysis,ICA)通过训练代价函数与稀疏性惩罚的约束条件,可实现图像的稀疏化表示,因此符合人类的认知机制。
发明内容
本发明的目的在于克服稀疏表示对彩色图像的质量表达能力的不足,并结合人类的视觉系统(HVS),使用了彩色图像的R,G和B三通道信息,结合ICA稀疏化表示、人眼的视觉敏感度模型及图像的亮度及对比度关系提出一种基于稀疏化特征提取器的彩色图像质量评价方法。在LIVE Multiply、TID2008、TID2013及IVC等4个图像质量评价数据库中的实验表明,本发明放入方法与人类视觉感知的一致性较好。
为了实现上述目的,本发明提出了一种基于稀疏化特征提取的彩色图像质量评价方法,所述方法包括:
基于若干个参考图像建立训练样本矩阵,由此获得特征提取器矩阵W;
将参考图像和彩色失真图像各自分割成M个互不重叠的图像块,得到图像块向量对;
从图像块向量对中选取视觉显著图像块向量对,使用特征提取器矩阵W进行特征提取;由此计算考图像及彩色失真图像间的特征相似度;
根据亮度及对比度变化从图像块向量对中选取亮度及对比度敏感图像块向量对,计算参考图像及彩色失真图像间的亮度关系度及对比度关系度;
将特征相似度、亮度关系度及对比度关系度进行加权平均作为彩色失真图像质量评分值。
作为上述方法的一种改进,所述方法具体包括:
步骤1)选取训练样本,形成训练样本矩阵T;
步骤2)对所述训练样本矩阵T进行处理,得到特征提取器矩阵W;
步骤3)将参考图像和彩色失真图像各自分割成M个互不重叠的图像块,并分别转换成高维向量Xref和Xdis,图像块向量对为(Xref,Xdis);
步骤4)根据视觉敏感度模型选取视觉显著图像块向量对(Yref,Ydis);
步骤5)对所述视觉显著图像块向量对使用特征提取器矩阵W进行特征提取,得到提取后的特征矩阵A和B;
步骤6)将所述特征矩阵A和B分别转换成高维向量Ath和Bth,计算向量Ath和Bth之间的夹角作为特征相似度;
步骤7)根据人眼视觉关注的亮度及对比度变化,从所述图像块向量对(Xref,Xdis)中选取出亮度及对比度敏感图像块向量对(Mref ,Mdis);
步骤8)根据向量对(Mref,Mdis)计算参考图像及彩色失真图像间的亮度关系度及对比度关系度;
步骤9)将步骤6)的特征相似度、步骤8)中的亮度关系度及对比度关系度进行加权平均作为彩色失真图像质量评分值。
作为上述方法的一种改进,所述步骤1)具体包括:
步骤1-1)从数据库中的若干张参考图像上随机选取可重叠的N个8×8的图像块;
步骤1-2)将每个图像块转换成高维列向量,作为一个训练样本Ti,1≤i≤N,由此形成训练样本矩阵T=[T1,T2,…,TN]。
作为上述方法的一种改进,所述步骤2)具体包括:
步骤2-1)对训练样本矩阵进行去均值处理;
步骤2-2)对去均值处理后的训练样本矩阵进行ZCA白化处理,得到矩阵Z;
计算训练样本的协方差矩阵∑:
其中,N是样本的个数,对协方差矩阵∑进行SVD分解:
∑=USUT (2)
其中,S=diag(d1,…,dS),dj,1≤j≤S为特征值,S为特征值的总数,U=(e1,…,eS)为特征向量;
矩阵Z为:
Z=U(S-1/2)TUTT (3)
步骤2-3)从矩阵Z中得到特征提取基矩阵W;
代价函数J(W)为:
式中,s.t.表示“受…约束”,对代价函数J(W)求偏导数,ε为稀疏参数,取值为10-6,并更新参数W:
式(5)中,W(p)为迭代次数为p的W值,W(p+1)表示迭代次数为p+1的W值,为迭代次数为p的W偏导数,a为学习率,取值为0.5;反复迭代式(5),直至W收敛,收敛的条件为:
||W(p)WT(p-1)-I||F<10-5 (6)
式(6)中,F是Frobenius范数,I为其单位矩阵;由此得到收敛的特征提取基矩阵W。
作为上述方法的一种改进,所述步骤4)具体包括:
Xref=(x1 ref,…xi ref,…xM ref),Xdis=(x1 dis,…xi dis,…xM dis),选取参考图像的第i个图像块向量xi ref,彩色失真图像的第i个图像块向量xi dis,则两个图像块向量xi ref和xi dis间的绝对误差均值MAE(xi ref,xi dis)为:
式(7)中,表示第i个图像块向量xi ref的第j个像素;表示第i个图像块向量xi dis的第j个像素;n代表一个图像块中像素总数;所有图像块向量间的MAE值形成一个向量,记为d=(d1,…di,…dM),
定义一个阈值THx:
THx=Tx·median(d) (8)
其中,·表示相乘,median(d)为向量d的中值,Tx为一常数,取值为1;
选取视觉显著图像块向量对:
其中,(Yref,Ydis)为视觉显著图像块向量对,Yref=(y1 ref,…yi ref,…yP ref),Ydis=(y1 dis,…yi dis,…yP dis),P为视觉显著图像块向量对的向量的个数。
作为上述方法的一种改进,所述步骤5)具体包括:
使用向量对(ai,bi)表示参考图像块及彩色失真图像块所提取的特征向量:
形成两个特征矩阵A和B:
(A,B)={(ai,bi)|i=1,…,P} (11)
选取阈值VT:
式(12)中,Tv是一个阈值调节参数,取值为0.4,VR(ai)表示感受野的响应强度值,大小为:
式(13)中,aij为ai的第j个元素,1≤j≤m;对于每一个参考特征向量ai,如果VR(ai)>VT,则保留ai与对应的bi;形成两个特征矩阵,记作Ath和Bth:
(Ath,Bth)={(ak,bk)|VR(ak)>VT,k∈(1,…P)} (14)。
作为上述方法的一种改进,所述步骤6)具体包括:
将提取的特征矩阵Ath和Bth按照行排列的形式转换成向量,分别记为 则两向量和的夹角,即特征相似度SFM为:
式(15)中,argcos(·)为反余弦函数,|·|为向量的模值;对SFM归一化,有:
SFM=SFM/(max(SFM)) (16)
式(16)中,max(·)表示取元素中的最大值。
作为上述方法的一种改进,所述步骤7)具体包括:
计算参考图像的第i个图像块向量xi ref与彩色失真图像的第i个图像块向量xi dis之间的均值差则所有块向量的均值差形成向量h,根据人眼视觉关注的亮度及对比度变化,从所述图像块向量对(Xref,Xdis)中选取出亮度及对比度敏感图像块向量对(Mref,Mdis):
THm=Tm·median(h) (18)
其中,THm为阈值,Tm是取值为1的常数,median(·)为取中值,Mref=(m1 ref,…mi ref,…mQ ref),Mdis=(m1 dis,…mi dis,…mM dis);其中,
作为上述方法的一种改进,所述步骤8)具体包括:
令向量为向量为
参考图像及彩色失真图像之间的亮度关系度SFL为:
对比度关系度量SFC为:
其中,·代表相乘,μ(·)为均值运算符号,分别为向量 的第k个元素cl,cc为常数,其值均为0.001。
作为上述方法的一种改进,所述步骤9)的彩色图像质量评分值ICASR_IQA为:
ICASR_IQA=μ·SFM+λ·SFL+(1-μ-λ)·SFC (21)
其中,μ和λ权重参数,μ=0.85,λ=0.02。
本发明的优势在于:
1、本发明将图像的稀疏化的特征提取器引入到图像质量评价方法中,通过离线训练特征提取器,极大的降低了图像质量评价方法所需时间;
2、神经科学指出,稀疏化的特征提取器相当于视皮层中的感受野,更加符合大脑的认知系统,因此本发明的图像质量评价方法性能较高;
3、本发明的方法既避免了欠拟合与过拟合情况的产生,同时也降低了回归误差,提高了客观质量评分的性能;
4、通过对比时间效率,本发明的方法的实用性较强。
附图说明
图1为本发明的基于稀疏化特征提取的彩色图像质量评价方法的实现框图;
图2(a)为多失真图像数据库LIVE Multiply的PSNR方法与DMOS的散点图;
图2(b)为多失真图像数据库LIVE Multiply的SSIM方法与DMOS的散点图;
图2(c)多失真图像数据库LIVE Multiply的PSNRHVS方法与DMOS的散点图;
图2(d)多失真图像数据库LIVE Multiply的PSNRHMA方法与DMOS的散点图;
图2(e)为多失真图像数据库LIVE Multiply的FISTM方法与DMOS的散点图;
图2(f)为多失真图像数据库LIVE Multiply的TMQI方法与DMOS的散点图;
图2(g)为多失真图像数据库LIVE Multiply的FSITMTIMQI方法与DMOS的散点图;
图2(h)为多失真图像数据库LIVE Multiply的本发明的方法与DMOS的散点图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细的说明。
如图1所示,本发明提供了一种基于稀疏化特征提取的彩色图像质量评价方法,所述方法包括:
步骤1)特征基矩阵的训练:选取训练样本,从Multiply LIVE,TID2013(TID2008与TID2013参考图像相同),IVC数据库中的50张参考图像上随机选取可重叠的50000个8×8的图像块,并将每个图像块转换成高维列向量,作为一个训练样本Ti,则形成训练样本矩阵T=[T1,T2,…,T50000];因为彩色图像有3个通道,则列向量的维数是8×8×3=192。
步骤2)对步骤1)中的训练样本矩阵使用ICA方法进行训练,得到特征提取器矩阵W;具体包括:
步骤2-1)训练样本矩阵的去均值:在训练特征提取的基矩阵W之前,需要对训练样本去均值处理,即是将训练样本矩阵X的每一列元素减去对应的均值;
步骤2-2)训练样本矩阵的ZCA白化:训练样本矩阵去均值处理后,需要对训练样本进行ZCA白化处理(Zero-phase Component Analysis,ZCA),使用奇异值分解(SingularValue Decomposition,SVD)进行ZCA白化。首先计算训练样本的协方差矩阵∑,如式(1):
式(1)中,N是样本的个数。对协方差矩阵∑进行SVD分解有:
∑=USUT (2)
其中,S=diag(d1,…,dS),dj,1≤j≤S为特征值,S为特征值的总数,U=(e1,…,eS)为特征向量。通过式(3)获得白化后的矩阵Z为:
Z=U(S-1/2)TUTX (3)
为从矩阵Z中得特征提取基矩阵W,需优化代价函数,如下:
代价函数J(W)为:
式中,s.t.表示“受…约束”,对代价函数J(W)求偏导数,ε为稀疏参数,取值为10-6,并更新参数W:
式(5)中,W(p)为迭代次数为p的W值,W(p+1)表示迭代次数为p+1的W值,为迭代次数为p的W偏导数,a为学习率,取值为0.5;反复迭代式(5),直至W收敛,收敛的条件为:
||W(p)WT(p-1)-I||F<10-5 (6)
式(6)中,F是Frobenius范数,I为其单位矩阵;由此得到收敛的特征提取基矩阵W。
步骤3)将参考图像及失真图像各自分割成互不重叠的8×8图像块,并转换成高维向量Xref,Xdis,用图像块向量对表示为(Xref,Xdis);
步骤4)根据视觉敏感度模型选取视觉显著图区块对(Yref,Ydis);
视觉显著图区块对的选取:视觉敏感度理论指出,人眼对图像质量的视觉感知主要集中在参考图像及失真图像差异较大的图像区块上,即视觉显著图像块向量对,利用视觉显著模型提取视觉显著图像块向量对。
Xref=(x1 ref,…xi ref,…xM ref),Xdis=(x1 dis,…xi dis,…xM dis),选取参考图像的第i个图像块向量xi ref,彩色失真图像的第i个图像块向量xi dis,则两个图像块向量xi ref和xi dis间的绝对误差均值MAE(xi ref,xi dis)为:
式(7)中,表示第i个图像块向量xi ref的第j个像素;表示第i个图像块向量xi dis的第j个像素;n代表一个图像块中像素总数;所有图像块向量间的MAE值形成一个向量,记为d=(d1,…di,…dM),
定义一个阈值THx:
THx=Tx·median(d) (8)
其中,·表示相乘,median(d)为向量d的中值,Tx为一常数,取值为1;
选取视觉显著图像块向量对:
其中,(Yref,Ydis)为视觉显著图像块向量对,Yref=(y1 ref,…yi ref,…yP ref),Ydis=(y1 dis,…yi dis,…yP dis),P为视觉显著图像块向量对的向量的个数。
步骤5)对步骤4)中的视觉显著图区块对使用特征提取器矩阵W进行特征提取,得提取后的特征矩阵A和B;
特征提取:选取视觉显著图区块对后,使用特征提取基矩阵W与视觉显著图区块对相乘,分别得稀疏向量ai,bi,使用向量对(ai,bi)表示参考图像块及彩色失真图像块所提取的特征向量:
形成两个特征矩阵A和B:
(A,B)={(ai,bi)|i=1,…,P} (11)
选取阈值VT:
式(12)中,Tv是一个阈值调节参数,取值为0.4,VR(ai)表示感受野的响应强度值,大小为:
式(13)中,aij为ai的第j个元素,1≤j≤m;对于每一个参考特征向量ai,如果VR(ai)>VT,则保留ai与对应的bi;保存下来的向量形成两个特征矩阵,记作Ath和Bth:
(Ath,Bth)={(ak,bk)|VR(ak)>VT,k∈(1,…P)} (14)
步骤6)将步骤5)中的特征提取矩阵A和B,转换成高维向量,记作Ath和Bth,使用向量Ath和Bth之间的夹角衡量特征相似度;
特征相似性度量:将提取的特征矩阵Ath和Bth按照行排列的形式转换成向量,分别记为计算两向量和的夹角,即特征相似度SFM为:
式(15)中,argcos(·)为反余弦函数,|·|为向量的模值。对SFM归一化,有:
SFM=SFM/(max(SFM)) (16)
式(16)中,max(·)表示取元素中的最大值。
步骤7)亮度及对比度关系度量:选取步骤3)中的图像块向量对(Xref,Xdis)的人眼视觉系统关注的亮度及对比度变化明显的图像块向量对;
计算参考图像的第i个图像块向量xi ref与彩色失真图像的第i个图像块向量xi dis之间的均值差则所有块向量的均值差形成向量h,根据人眼视觉关注的亮度及对比度变化,从所述图像块向量对(Xref,Xdis)中选取出亮度及对比度敏感向量对(Mref,Mdis):
THm=Tm·median(h) (18)
其中,THm为阈值,Tm是取值为1的常数,median(·)为取中值,Mref=(m1 ref,…mi ref,…mQ ref),Mdis=(m1 dis,…mi dis,…mM dis);其中,
步骤8)计算参考图像及失真图像间的亮度关系及对比度关系;
令向量为向量为
参考图像及彩色失真图像之间的亮度关系度SFL为:
对比度关系度量SFC为:
其中,·代表相乘,μ(·)为均值运算符号,分别为向量 的第k个元素cl,cc为常数,其值均为0.001。
步骤9)对步骤6)及步骤8)中的特征相似性,亮度及对比度关系进行加权平均作为最终的彩色图像质量评分值;
ICASR_IQA=μ·SFM+λ·SFL+(1-μ-λ)·SFC (21)
式(21)中,μ和λ权重参数,其值取为μ=0.85,λ=0.02。
验证和仿真分析
对彩色失真图像质量评分值选取合适的回归函数,将步骤9)中的彩色图像质量评分值映射得到主观差异评分DMOS中,并与PSNR,SSIM,PSNRHVS,PSNRHMA,FSITM,TMQI以及FSITMTMQI等7种客观评价方法进行性能比较,实验结果如图2所示,其中,PSNR如图2(a),SSIM如图2(b),PSNRHVS如图2(c),PSNRHMA如图2(d),FSITM如图2(e),TMQI如图2(f),FSITMTMQI如图2(g),本发明的方法如图2(h)。
根据VQEG提出的准则,需要将模型得到的客观评分值Q进行非线性回归,得到客观模型的预测值Qp,如式(22):
Qp=hchose[Q] (22)
为选择合适的拟合函数hchose,采取交叉验证算法选取hchose,方法如下:预选取10种拟合函数H∈{h1,h2,…,h10},使用随机抽取70%的数据作为训练样本集,训练各模型{hi},将余下30%的数据作为验证集,验证各hi模型,选取使得误差值最小的hi,作为客观评分值的预测模型hchose。
选取拟合函数模型包括:a0+a1x,a0+a1x+a2x2,…,a0+a1x+a2x2+…a5x5,a1sin(b1x+c1),…,a1sin(b1x+c1)+…+a5sin(b5x+c5)。
对所得的主观差异评分值与实际的DMOS值计算均方根误差值RMSE,Pearson线性相关系数,Spearman秩序相关系数,衡量客观质量评价方法的准确性;本发明利用3个评价指标来客观反映图像质量评价方法的性能。其中,Spearman秩序相关系数(Spearman RankOrder Correlation Coefficient,SROCC)用来测量客观评分与主观评分之间的单调性,其取值范围在0~1之间,数值越大表明评价方法的单调性越好;Pearson线性相关系数(Pearson Linear correlation coefficient,PLCC)反映预测的准确性,取值范围为0~1,数值越大说明评价方法越准确。
其公式分别为:
其中,n代表数据库中参加实验的数目,x'i表示使用步骤9)计算得到的DMOS的值,yi表示数据库中实际的DMOS值。X代表x'i的集合,即:X=[x'1,…,x'n]。Y代表yi的集合,即:Y=[y1,…,yn]。E(·)表示求均值。
本发明的方法首先将数据库中无失真图像进行随机采样,得到训练样本,利用独立主成分分析(ICA)构建特征提取矩阵;其次,利用视觉敏感度模型及特征提取矩阵,获取视觉敏感的特征向量对;最后,构建特征向量对间的特征相似度,亮度及对比度关系模型,得到彩色图像质量评分值。如表1和表2所示。表1为本发明方法在LIVE Multiply数据库的各失真类型图像的性能指标,其中Blur-jpeg失真是模糊图像经不同倍率Jpeg压缩形成的失真图像;而Blur-Noise失真是模糊图像经添加不同程度的噪声形成的失真图像,All代表所有失真类型的整体性能指标。从表3中各项指标值可以发现,无论是某一种失真还是交叉失真,本发明的方法都能够很好的预测图像质量。表2为在各数据库中各评价方法的性能指标。在LIVE Multiply,TID2008,TID2013及IVC数据库中的实验结果显示,所提评价模型表现性能优越,这表明本发明的方法能够很好地表达图像的视觉感知效果。
表1:本发明方法在LIVE Multiply数据库的各失真类型图像的性能指标
表2:在4个图像库上与其他方法性能指标比较
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于稀疏化特征提取的彩色图像质量评价方法,所述方法包括:
基于若干个参考图像建立训练样本矩阵,由此获得特征提取器矩阵W;
将参考图像和彩色失真图像各自分割成M个互不重叠的图像块,得到图像块向量对;
从图像块向量对中选取视觉显著图像块向量对,使用特征提取器矩阵W进行特征提取;由此计算考图像及彩色失真图像间的特征相似度;
根据亮度及对比度变化从图像块向量对中选取亮度及对比度敏感图像块向量对,计算参考图像及彩色失真图像间的亮度关系度及对比度关系度;
将特征相似度、亮度关系度及对比度关系度进行加权平均作为彩色失真图像质量评分值。
2.根据权利要求1所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述方法具体包括:
步骤1)选取训练样本,形成训练样本矩阵T;
步骤2)对所述训练样本矩阵T进行处理,得到特征提取器矩阵W;
步骤3)将参考图像和彩色失真图像各自分割成M个互不重叠的图像块,并分别转换成高维向量Xref和Xdis,图像块向量对为(Xref,Xdis);
步骤4)根据视觉敏感度模型选取视觉显著图像块向量对(Yref,Ydis);
步骤5)对所述视觉显著图像块向量对使用特征提取器矩阵W进行特征提取,得到提取后的特征矩阵A和B;
步骤6)将所述特征矩阵A和B分别转换成高维向量Ath和Bth,计算向量Ath和Bth之间的夹角作为特征相似度;
步骤7)根据人眼视觉关注的亮度及对比度变化,从所述图像块向量对(Xref,Xdis)中选取出亮度及对比度敏感图像块向量对(Mref,Mdis);
步骤8)根据向量对(Mref,Mdis)计算参考图像及彩色失真图像间的亮度关系度及对比度关系度;
步骤9)将步骤6)的特征相似度、步骤8)中的亮度关系度及对比度关系度进行加权平均作为彩色失真图像质量评分值。
3.根据权利要求2所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤1)具体包括:
步骤1-1)从数据库中的若干张参考图像上随机选取可重叠的N个8×8的图像块;
步骤1-2)将每个图像块转换成高维列向量,作为一个训练样本Ti,1≤i≤N,由此形成训练样本矩阵T=[T1,T2,…,TN]。
4.根据权利要求3所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤2)具体包括:
步骤2-1)对训练样本矩阵进行去均值处理;
步骤2-2)对去均值处理后的训练样本矩阵进行ZCA白化处理,得到矩阵Z;
计算训练样本的协方差矩阵∑:
其中,N是样本的个数,对协方差矩阵∑进行SVD分解:
∑=USUT (2)
其中,S=diag(d1,…,dS),dj,1≤j≤S为特征值,S为特征值的总数,U=(e1,…,eS)为特征向量;
矩阵Z为:
Z=U(S-1/2)TUTT (3)
步骤2-3)从矩阵Z中得到特征提取基矩阵W;
代价函数J(W)为:
式中,s.t.表示“受…约束”,对代价函数J(W)求偏导数,ε为稀疏参数,取值为10-6,并更新参数W:
式(5)中,W(p)为迭代次数为p的W值,W(p+1)表示迭代次数为p+1的W值,▽W(p)J为迭代次数为p的W偏导数,a为学习率,取值为0.5;反复迭代式(5),直至W收敛,收敛的条件为:
||W(p)WT(p-1)-I||F<10-5 (6)
式(6)中,F是Frobenius范数,I为其单位矩阵;由此得到收敛的特征提取基矩阵W。
5.根据权利要求4所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤4)具体包括:
Xref=(x1 ref,…xi ref,…xM ref),Xdis=(x1 dis,…xi dis,…xM dis),选取参考图像的第i个图像块向量xi ref,彩色失真图像的第i个图像块向量xi dis,则两个图像块向量xi ref和xi dis间的绝对误差均值MAE(xi ref,xi dis)为:
式(7)中,表示第i个图像块向量xi ref的第j个像素;表示第i个图像块向量xi dis的第j个像素;n代表一个图像块中像素总数;所有图像块向量间的MAE值形成一个向量,记为d=(d1,…di,…dM),
定义一个阈值THx:
THx=Tx·median(d) (8)
其中,·表示相乘,median(d)为向量d的中值,Tx为一常数,取值为1;
选取视觉显著图像块向量对:
其中,(Yref,Ydis)为视觉显著图像块向量对,Yref=(y1 ref,…yi ref,…yP ref),Ydis=(y1 dis,…yi dis,…yP dis),P为视觉显著图像块向量对的向量的个数。
6.根据权利要求5所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤5)具体包括:
使用向量对(ai,bi)表示参考图像块及彩色失真图像块所提取的特征向量:
形成两个特征矩阵A和B:
(A,B)={(ai,bi)|i=1,…,P} (11)
选取阈值VT:
式(12)中,Tv是一个阈值调节参数,取值为0.4,VR(ai)表示感受野的响应强度值,大小为:
式(13)中,aij为ai的第j个元素,1≤j≤m;对于每一个参考特征向量ai,如果VR(ai)>VT,则保留ai与对应的bi;形成两个特征矩阵,记作Ath和Bth:
(Ath,Bth)={(ak,bk)|VR(ak)>VT,k∈(1,…P)} (14)。
7.根据权利要求6所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤6)具体包括:
将提取的特征矩阵Ath和Bth按照行排列的形式转换成向量,分别记为 则两向量和的夹角,即特征相似度SFM为:
式(15)中,argcos(·)为反余弦函数,|·|为向量的模值;对SFM归一化,有:
SFM=SFM/(max(SFM)) (16)
式(16)中,max(·)表示取元素中的最大值。
8.根据权利要求7所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤7)具体包括:
计算参考图像的第i个图像块向量xi ref与彩色失真图像的第i个图像块向量xi dis之间的均值差则所有块向量的均值差形成向量h,根据人眼视觉关注的亮度及对比度变化,从所述图像块向量对(Xref,Xdis)中选取出亮度及对比度敏感图像块向量对(Mref,Mdis):
THm=Tm·median(h) (18)
其中,THm为阈值,Tm是取值为1的常数,median(·)为取中值,Mref=(m1 ref,…mi ref,…mQ ref),Mdis=(m1 dis,…mi dis,…mM dis);其中,
9.根据权利要求8所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤8)具体包括:
令向量为向量为
参考图像及彩色失真图像之间的亮度关系度SFL为:
对比度关系度量SFC为:
其中,·代表相乘,μ(·)为均值运算符号,分别为向量 的第k个元素cl,cc为常数,其值均为0.001。
10.根据权利要求9所述的基于稀疏化特征提取的彩色图像质量评价方法,其特征在于,所述步骤9)的彩色图像质量评分值ICASR_IQA为:
ICASR_IQA=μ·SFM+λ·SFL+(1-μ-λ)·SFC (21)
其中,μ和λ权重参数,μ=0.85,λ=0.02。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810594794.7A CN108921824A (zh) | 2018-06-11 | 2018-06-11 | 一种基于稀疏化特征提取的彩色图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810594794.7A CN108921824A (zh) | 2018-06-11 | 2018-06-11 | 一种基于稀疏化特征提取的彩色图像质量评价方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108921824A true CN108921824A (zh) | 2018-11-30 |
Family
ID=64410872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810594794.7A Pending CN108921824A (zh) | 2018-06-11 | 2018-06-11 | 一种基于稀疏化特征提取的彩色图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108921824A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103037212A (zh) * | 2011-10-08 | 2013-04-10 | 太原科技大学 | 基于视觉感知的自适应块压缩传感图像编码方法 |
CN103996192A (zh) * | 2014-05-12 | 2014-08-20 | 同济大学 | 基于高质量自然图像统计量模型的无参考图像质量评价方法 |
CN104361574A (zh) * | 2014-10-14 | 2015-02-18 | 南京信息工程大学 | 一种基于稀疏表示的无参考彩色图像质量评价方法 |
CN105913413A (zh) * | 2016-03-31 | 2016-08-31 | 宁波大学 | 一种基于在线流形学习的彩色图像质量客观评价方法 |
CN106023267A (zh) * | 2016-05-23 | 2016-10-12 | 郑州轻工业学院 | 稀疏性相关度图像质量评价方法 |
WO2017017584A1 (en) * | 2015-07-24 | 2017-02-02 | Öztireli Ahmet Cengiz | Image processing system for downscaling images using perceptual downscaling method |
-
2018
- 2018-06-11 CN CN201810594794.7A patent/CN108921824A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103037212A (zh) * | 2011-10-08 | 2013-04-10 | 太原科技大学 | 基于视觉感知的自适应块压缩传感图像编码方法 |
CN103996192A (zh) * | 2014-05-12 | 2014-08-20 | 同济大学 | 基于高质量自然图像统计量模型的无参考图像质量评价方法 |
CN104361574A (zh) * | 2014-10-14 | 2015-02-18 | 南京信息工程大学 | 一种基于稀疏表示的无参考彩色图像质量评价方法 |
WO2017017584A1 (en) * | 2015-07-24 | 2017-02-02 | Öztireli Ahmet Cengiz | Image processing system for downscaling images using perceptual downscaling method |
CN105913413A (zh) * | 2016-03-31 | 2016-08-31 | 宁波大学 | 一种基于在线流形学习的彩色图像质量客观评价方法 |
CN106023267A (zh) * | 2016-05-23 | 2016-10-12 | 郑州轻工业学院 | 稀疏性相关度图像质量评价方法 |
Non-Patent Citations (3)
Title |
---|
HUA-WEN CHANG ET AL: "Sparse Feature Fidelity for Perceptual Image Quality Assessment", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
LEIDA LI ET AL: "Color image quality assessment based on sparse representation and reconstruction residual", 《J. VIS. COMMUN. IMAGE R.》 * |
王朝云 等: "基于流形特征相似度的感知图像质量评价", 《自动化学报》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
CN105913413B (zh) | 一种基于在线流形学习的彩色图像质量客观评价方法 | |
Shao et al. | Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties | |
CN109389591B (zh) | 基于彩色描述子的彩色图像质量评价方法 | |
CN104023230B (zh) | 一种基于梯度关联性的无参考图像质量评价方法 | |
CN108537788B (zh) | 迷彩伪装效果评测方法及装置、计算机设备及存储介质 | |
CN106127741B (zh) | 基于改良自然场景统计模型的无参考图像质量评价方法 | |
CN105447884A (zh) | 一种基于流形特征相似度的图像质量客观评价方法 | |
CN104350746A (zh) | 基于局部幅度和相位谱的图像质量测量 | |
CN109218716B (zh) | 基于色彩统计和信息熵无参考色调映射图像质量评价方法 | |
CN110874576B (zh) | 一种基于典型相关分析融合特征的行人再识别方法 | |
CN107146220B (zh) | 一种通用型无参考图像质量评价方法 | |
CN114612714B (zh) | 基于课程学习的无参考图像质量评价方法 | |
CN113191206A (zh) | 基于黎曼特征迁移的脑磁图信号分类方法、装置及介质 | |
CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
Madrid-Herrera et al. | Human image complexity analysis using a fuzzy inference system | |
CN115713634A (zh) | 一种联合相似性度量与视觉感知的色彩搭配评价方法 | |
CN108257117B (zh) | 图像曝光度的评测方法及装置 | |
CN106022362A (zh) | 针对jpeg2000压缩失真的无参考图像质量客观评价方法 | |
CN112233065B (zh) | 显著性调制下多维视觉特征协作的全盲图像质量评价方法 | |
CN113810683A (zh) | 一种客观评估水下视频质量的无参考评价方法 | |
CN108680535A (zh) | 基于改进r矩阵的光谱反射率重建方法 | |
CN108428226B (zh) | 一种基于ica稀疏表示与som的失真图像质量评价方法 | |
CN115760822B (zh) | 一种图像质量检测模型建立方法及系统 | |
CN108921824A (zh) | 一种基于稀疏化特征提取的彩色图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181130 |