CN105243385A - 一种基于非监督学习的图像质量评价方法 - Google Patents

一种基于非监督学习的图像质量评价方法 Download PDF

Info

Publication number
CN105243385A
CN105243385A CN201510613840.XA CN201510613840A CN105243385A CN 105243385 A CN105243385 A CN 105243385A CN 201510613840 A CN201510613840 A CN 201510613840A CN 105243385 A CN105243385 A CN 105243385A
Authority
CN
China
Prior art keywords
sub
image
block
vector
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510613840.XA
Other languages
English (en)
Other versions
CN105243385B (zh
Inventor
邵枫
姜求平
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou You Yan Intellectual Property Service Co.,Ltd.
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510613840.XA priority Critical patent/CN105243385B/zh
Publication of CN105243385A publication Critical patent/CN105243385A/zh
Application granted granted Critical
Publication of CN105243385B publication Critical patent/CN105243385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非监督学习的图像质量评价方法,其在训练阶段,根据每个子块的HOG特征统计直方图及所有像素点在不同中心频率和不同方向因子下的振幅的均值,获取图像特征矢量,并根据每个子块的客观评价预测值获取图像质量矢量;接着根据每个子块的图像特征矢量和图像质量矢量,通过非监督学习方式分别构造图像特征字典表和图像质量字典表;在测试阶段,根据图像特征字典表通过优化得到测试图像中的每个子块的稀疏系数矩阵,并通过稀疏系数矩阵和图像质量字典表得到图像质量客观评价预测值,其与主观评价值保持了较好的一致性,且不需要再计算图像特征字典表和图像质量字典表,降低了计算复杂度,同时无需预知各评价图像的主观评价值。

Description

一种基于非监督学习的图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于非监督学习的图像质量评价方法。
背景技术
随着图像编码和显示等技术的迅速发展,图像质量评价研究已经成为其中非常重要的环节。图像质量客观评价方法研究的目标是与主观评价结果尽可能保持一致,从而摆脱耗时而枯燥的图像质量主观评价方法,其能够利用计算机自动地评价图像质量。根据对原始图像的参考和依赖程度,图像质量客观评价方法可以分为三大类:全参考(FullReference,FR)图像质量评价方法、部分参考(ReducedReference,RR)图像质量评价方法和无参考(NoReference,NR)图像质量评价方法。
无参考图像质量评价方法由于无需任何参考图像信息,具有较高的灵活性,因此受到了越来越广泛的关注。目前,已有方法是通过机器学习来预测评价模型,但其计算复杂度较高,并且训练模型需要预知各评价图像的主观评价值,并不适用于实际的应用场合,存在一定的局限性。稀疏表示将信号在已知的函数集上进行分解,力求在变换域上用尽量少的基函数来对原始信号进行逼近。稀疏表示的一个关键问题就是如何有效地构造字典来表征图像的本质特征。因此,如何构造能反映图像特征的字典,如何构造能反映图像质量的字典,如果在图像特征和图像质量的字典之间建立联系,都是在无参考图像质量评价研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于非监督学习的图像质量评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性,且计算复杂度低,无需预知各评价图像的主观评价值。
本发明解决上述技术问题所采用的技术方案为:一种基于非监督学习的图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、选取N幅原始的无失真图像;然后将选取的N幅原始的无失真图像和每幅原始的无失真图像对应的L个失真强度的失真图像构成训练图像集,记为其中,N>1,L>1,表示中的第u幅原始的无失真图像,表示中的第u幅原始的无失真图像对应的第v个失真强度的失真图像;
①-2、通过采用Gabor滤波器获取中的每幅失真图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取中的每幅失真图像中的每个像素点在不同中心频率和不同方向因子下的振幅,将中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的振幅记为其中,(x,y)表示原始的无失真图像及其对应的失真图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W和H对应表示原始的无失真图像及其对应的失真图像的宽度和高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωωθ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ Ω θ = { 0 , π 4 , π 2 , 3 π 4 } ;
①-3、将中的每幅失真图像划分成个互不重叠的尺寸大小为8×8的子块;然后将中的所有失真图像中的所有子块构成一个失真子块集合,记为{Rk|1≤k≤M},其中,Rk表示{Rk|1≤k≤M}中的第k个子块;
①-4、计算{Rk|1≤k≤M}中的每个子块中的所有像素点的HOG特征统计直方图,将以矢量形式表示的HOG特征统计直方图作为每个子块的第一图像特征矢量,对于{Rk|1≤k≤M}中的第k个子块,将该子块中的所有像素点的HOG特征统计直方图作为该子块的第一图像特征矢量,记为其中,的维数为36;并计算{Rk|1≤k≤M}中的每个子块中的所有像素点在不同中心频率和不同方向因子下的振幅的均值,将得到的每个子块对应的20个均值按序组成每个子块的第二图像特征矢量,将{Rk|1≤k≤M}中的第k个子块对应的20个均值按序组成的第二图像特征矢量记为其中,的维数为20,中的一个元素的值为该子块中的所有像素点在一个中心频率和一个方向因子下的振幅的均值;然后根据{Rk|1≤k≤M}中的每个子块的第一图像特征矢量和第二图像特征矢量,获得{Rk|1≤k≤M}中的每个子块的图像特征矢量,将{Rk|1≤k≤M}中的第k个子块的图像特征矢量记为其中,的维数为56,此处符号“[]”为矢量表示符号;再将{Rk|1≤k≤M}中的所有子块的图像特征矢量构成的集合记为 { x k d i s | 1 ≤ k ≤ M } ;
①-5、采用6种不同的全参考图像质量评价方法分别获取{Rk|1≤k≤M}中的每个子块的客观评价预测值,将得到的每个子块对应的6个客观评价预测值按序组成每个子块的图像质量矢量,将{Rk|1≤k≤M}中的第k个子块对应的6个客观评价预测值按序组成的图像质量矢量记为其中,的维数为6;然后将{Rk|1≤k≤M}中的所有子块的图像质量矢量构成的集合记为
①-6、采用最小角回归方法对由构成的集合进行字典训练操作,构造得到的图像特征字典表和图像质量字典表,对应记为Df和Dq,Df和Dq是采用最小角回归方法求解 m i n { 1 2 ( | | X d i s - D f a | | F 2 + β | | Y d i s - D q a | | F 2 ) + λ 1 | | a | | 1 + λ 2 | | a | | 2 } 得到的,其中,Df的维数为56×K,Dq的维数为6×K,K表示设定的字典的个数,K≥1,min()为取最小值函数,符号“||||F”为求取矩阵的弗罗贝尼乌斯范数-范数符号,符号“||||1”为求取矩阵的1-范数符号,符号“||||2”为求取矩阵的2-范数符号,Xdis的维数为56×M,中的第1个图像特征矢量,中的第k个图像特征矢量,中的第M个图像特征矢量,,Ydis的维数为6×M,中的第1个图像质量矢量,中的第k个图像质量矢量,中的第M个图像质量矢量,a表示稀疏矩阵,a=[a1…ak…aM],a的维数为K×M,a1为a中的第1个列向量,ak为a中的第k个列向量,aM为a中的第M个列向量,符号“[]”为矢量表示符号,β为加权参数,λ1和λ2为拉格朗日参数;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试图像Stest,按照步骤①-2的过程,以相同的操作方式获取Stest中的每个像素点在不同中心频率和不同方向因子下的振幅;然后将Stest划分成个互不重叠的尺寸大小为8×8的子块,再将Stest中的所有子块构成一个集合,记为其中,W'和H'对应表示Stest的宽度和高度,W'与W相同,H'与H相同,Rt'表示中的第t个子块;
②-2、按照步骤①-4的过程,以相同的操作方式获取中的每个子块的图像特征矢量,将中的第t个子块的图像特征矢量记为其中,的维数为56;
②-3、根据中的每个子块的图像特征矢量和在训练阶段过程中构造得到的Df,获取中的每个子块的稀疏系数矩阵,将中的第t个子块的稀疏系数矩阵记为其中,的维数为K×1;
②-4、根据中的每个子块的稀疏系数矩阵和在训练阶段过程中构造得到的Dq,计算中的每个子块的局部客观评价度量值,将中的第t个子块的局部客观评价度量值记为zt
②-5、根据中的每个子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,
所述的步骤①-2中的的获取过程为:
①-2a、采用Gabor滤波器对进行滤波处理,得到中的每个像素点在不同中心频率和不同方向因子下的频率响应,将中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 G u , v d i s ( x , y ; ω , θ ) = e u , v d i s ( x , y ; ω , θ ) + jo u , v d i s ( x , y ; ω , θ ) , 其中,的实部,的虚部,j为虚数单位;
①-2b、根据中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算中的每个像素点在不同中心频率和不同方向因子下的振幅,中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的振幅为:其中,符号“||||2”为求取矩阵的2-范数符号。
所述的步骤②-3中的是采用最小角回归方法求解 m i n { | | x t t e s t - D f a t t e s t | | F 2 + λ 1 | | a t t e s t | | 1 + λ 2 | | a t t e s t | | 2 } 得到的。
所述的步骤②-4中的
与现有技术相比,本发明的优点在于:
1)本发明方法在训练阶段,获取训练图像集中的每幅失真图像中的每个像素点在不同中心频率和不同方向因子下的振幅,并对每幅失真图像进行非重叠的分块处理;然后根据每个子块的HOG特征统计直方图及每个子块中的所有像素点在不同中心频率和不同方向因子下的振幅的均值,获取每个子块的图像特征矢量,并根据每个子块的客观评价预测值获取每个子块的图像质量矢量;接着根据每个子块的图像特征矢量和图像质量矢量,通过非监督学习方式分别构造图像特征字典表和图像质量字典表;在测试阶段不需要再计算图像特征字典表和图像质量字典表,这样避免了复杂的机器学习训练过程,降低了计算复杂度,并且无需预知各评价图像的主观评价值,使得本发明方法适用于实际的应用场合。
2)本发明方法在测试阶段,根据在训练阶段构造得到的图像特征字典表,通过优化得到测试图像中的每个子块的稀疏系数矩阵,并通过稀疏系数矩阵和在训练阶段构造得到的图像质量字典表,来计算测试图像的图像质量客观评价预测值,使得最终计算得到的图像质量客观评价预测值与主观评价值保持了较好的一致性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于非监督学习的图像质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、选取N幅原始的无失真图像;然后将选取的N幅原始的无失真图像和每幅原始的无失真图像对应的L个失真强度的失真图像构成训练图像集,记为其中,N>1,如取N=100,L>1,如取L=5,表示中的第u幅原始的无失真图像,表示中的第u幅原始的无失真图像对应的第v个失真强度的失真图像,符号“{}”为集合表示符号。
在具体实施时,原始的无失真图像的幅数和每幅原始的无失真图像对应的失真图像的失真强度的选择依实际情况而定,不同图像库中的原始的无失真图像的幅数和每幅原始的无失真图像对应的失真图像的失真强度都有所差别。
①-2、通过采用现有的Gabor滤波器获取中的每幅失真图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取中的每幅失真图像中的每个像素点在不同中心频率和不同方向因子下的振幅,将中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的振幅记为其中,(x,y)表示原始的无失真图像及其对应的失真图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W和H对应表示原始的无失真图像及其对应的失真图像的宽度和高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωωθ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ Ω θ = { 0 , π 4 , π 2 , 3 π 4 } .
在此具体实施例中,步骤①-2中的的获取过程为:
①-2a、采用Gabor滤波器对进行滤波处理,得到中的每个像素点在不同中心频率和不同方向因子下的频率响应,将中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 G u , v d i s ( x , y ; ω , θ ) = e u , v d i s ( x , y ; ω , θ ) + jo u , v d i s ( x , y ; ω , θ ) , 其中,的实部,的虚部,j为虚数单位。
①-2b、根据中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算中的每个像素点在不同中心频率和不同方向因子下的振幅,中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的振幅为:其中,符号“||||2”为求取矩阵的2-范数符号。
①-3、将中的每幅失真图像划分成个互不重叠的尺寸大小为8×8的子块;然后将中的所有失真图像中的所有子块构成一个失真子块集合,记为{Rk|1≤k≤M},其中,Rk表示{Rk|1≤k≤M}中的第k个子块。
①-4、采用现有技术计算{Rk|1≤k≤M}中的每个子块中的所有像素点的HOG特征统计直方图,将以矢量形式表示的HOG特征统计直方图作为每个子块的第一图像特征矢量,对于{Rk|1≤k≤M}中的第k个子块,将该子块中的所有像素点的HOG特征统计直方图作为该子块的第一图像特征矢量,记为其中,的维数为36,在实施时HOG特征统计直方图的维数是可控制的,在本实施例中取36维;并计算{Rk|1≤k≤M}中的每个子块中的所有像素点在不同中心频率和不同方向因子下的振幅的均值,将得到的每个子块对应的20个均值按序组成每个子块的第二图像特征矢量,将{Rk|1≤k≤M}中的第k个子块对应的20个均值按序组成的第二图像特征矢量记为其中,的维数为20,中的一个元素的值为该子块中的所有像素点在一个中心频率和一个方向因子下的振幅的均值,如中的一个元素的值为该子块中的所有像素点在中心频率ω为1和方向因子θ为0下的振幅的均值;然后根据{Rk|1≤k≤M}中的每个子块的第一图像特征矢量和第二图像特征矢量,获得{Rk|1≤k≤M}中的每个子块的图像特征矢量,将{Rk|1≤k≤M}中的第k个子块的图像特征矢量记为 其中,的维数为56,此处符号“[]”为矢量表示符号;再将{Rk|1≤k≤M}中的所有子块的图像特征矢量构成的集合记为
①-5、采用6种不同的全参考图像质量评价方法分别获取{Rk|1≤k≤M}中的每个子块的客观评价预测值,将得到的每个子块对应的6个客观评价预测值按序组成每个子块的图像质量矢量,将{Rk|1≤k≤M}中的第k个子块对应的6个客观评价预测值按序组成的图像质量矢量记为其中,的维数为6;然后将{Rk|1≤k≤M}中的所有子块的图像质量矢量构成的集合记为
在本实施例中,采用的6种不同的全参考图像质量评价方法分别为公知的SSIM、IW-SSIM、MS-SSIM、FSIM、FSIMc和VSI全参考图像质量评价方法。
①-6、采用现有的最小角回归方法对由构成的集合进行字典训练操作,构造得到的图像特征字典表和图像质量字典表,对应记为Df和Dq,Df和Dq是采用最小角回归方法求解 m i n { 1 2 ( | | X d i s - D f a | | F 2 + β | | Y d i s - D q a | | F 2 ) + λ 1 | | a | | 1 + λ 2 | | a | | 2 } 得到的,其中,Df的维数为56×K,Dq的维数为6×K,K表示设定的字典的个数,K≥1,在本实施例中取K=256,min()为取最小值函数,符号“||||F”为求取矩阵的弗罗贝尼乌斯(Frobeniu)范数-范数符号,符号“||||1”为求取矩阵的1-范数符号,符号“||||2”为求取矩阵的2-范数符号,Xdis的维数为56×M,中的第1个图像特征矢量,中的第k个图像特征矢量,中的第M个图像特征矢量,Ydis的维数为6×M,中的第1个图像质量矢量,中的第k个图像质量矢量,中的第M个图像质量矢量,a表示稀疏矩阵,a=[a1…ak…aM],a的维数为K×M,a1为a中的第1个列向量,ak为a中的第k个列向量,aM为a中的第M个列向量,符号“[]”为矢量表示符号,β为加权参数,在本实施例中取β=0.5,λ1和λ2为拉格朗日参数,在本实施例中取λ1=0.15,λ2=0.15。
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试图像Stest,按照步骤①-2的过程,以相同的操作方式获取Stest中的每个像素点在不同中心频率和不同方向因子下的振幅;然后将Stest划分成个互不重叠的尺寸大小为8×8的子块,再将Stest中的所有子块构成一个集合,记为其中,W'和H'对应表示Stest的宽度和高度,W'与W相同,H'与H相同,Rt'表示中的第t个子块。
在此,获取Stest中的每个像素点在不同中心频率和不同方向因子下的振幅的具体过程为:通过采用现有的Gabor滤波器获取Stest中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取Stest中的每个像素点在不同中心频率和不同方向因子下的振幅,将Stest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的振幅记为其中,1≤x≤W',1≤y≤H',ω表示所采用的Gabor滤波器的中心频率,ω∈Ωωθ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ Ω θ = { 0 , π 4 , π 2 , 3 π 4 } .
②-2、按照步骤①-4的过程,以相同的操作方式获取中的每个子块的图像特征矢量,将中的第t个子块的图像特征矢量记为其中,的维数为56。
的获取过程为:计算中的第t个子块中的所有像素点的HOG特征统计直方图,将以矢量形式表示的HOG特征统计直方图作为中的第t个子块的第一图像特征矢量,记为其中,的维数为36;并计算中的第t个子块中的所有像素点在不同中心频率和不同方向因子下的振幅的均值,将中的第t个子块对应的20个均值按序组成中的第t个子块的第二图像特征矢量,记为其中,的维数为20,中的一个元素的值为该子块中的所有像素点在一个中心频率和一个方向因子下的振幅的均值;然后根据中的第t个子块的第一图像特征矢量和第二图像特征矢量,获得中的第t个子块的图像特征矢量
②-3、根据中的每个子块的图像特征矢量和在训练阶段过程中构造得到的Df,获取中的每个子块的稀疏系数矩阵,将中的第t个子块的稀疏系数矩阵记为其中,的维数为K×1,是采用最小角回归方法求解 m i n { | | x t t e s t - D f a t t e s t | | F 2 + λ 1 | | a t t e s t | | 1 + λ 2 | | a t t e s t | | 2 } 得到的。
②-4、根据中的每个子块的稀疏系数矩阵和在训练阶段过程中构造得到的Dq,计算中的每个子块的局部客观评价度量值,将中的第t个子块的局部客观评价度量值记为zt
②-5、根据中的每个子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,
这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelationcoefficient,PLCC)和Spearman相关系数(Spearmanrankordercorrelationcoefficient,SROCC),PLCC反映失真图像的客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算LIVE图像库、CSIQ图像库和TID2008图像库中的每幅失真图像的图像质量客观评价预测值,再根据LIVE图像库、CSIQ图像库和TID2008图像库中的每幅失真图像的平均主观评分差值,将按本发明方法计算得到的失真图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合,PLCC和SROCC的值越高说明利用本发明方法得到的失真图像的图像质量客观评价预测值与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法在LIVE图像库、CSIQ图像库和TID2008图像库上得到的Pearson相关系数和Spearman相关系数。从表1中可以看出,采用本发明方法得到的失真图像的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,并且本发明方法随着训练图像集中的图像幅数的下降,评价性能并没有明显的下降,足以说明本发明方法的有效性。
表1采用本发明方法在LIVE图像库、CSIQ图像库和TID2008图像库上得到的Pearson相关系数和Spearman相关系数

Claims (4)

1.一种基于非监督学习的图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、选取N幅原始的无失真图像;然后将选取的N幅原始的无失真图像和每幅原始的无失真图像对应的L个失真强度的失真图像构成训练图像集,记为 { S u o r g , S u , v d i s | 1 ≤ u ≤ N , 1 ≤ v ≤ L } , 其中,N>1,L>1,表示 { S u o r g , S u , v d i s | 1 ≤ u ≤ N , 1 ≤ v ≤ L } 中的第u幅原始的无失真图像,表示中的第u幅原始的无失真图像对应的第v个失真强度的失真图像;
①-2、通过采用Gabor滤波器获取中的每幅失真图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取中的每幅失真图像中的每个像素点在不同中心频率和不同方向因子下的振幅,将中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的振幅记为其中,(x,y)表示原始的无失真图像及其对应的失真图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W和H对应表示原始的无失真图像及其对应的失真图像的宽度和高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωωθ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ Ω θ = { 0 , π 4 , π 2 , 3 π 4 } ;
①-3、将中的每幅失真图像划分成个互不重叠的尺寸大小为8×8的子块;然后将中的所有失真图像中的所有子块构成一个失真子块集合,记为{Rk|1≤k≤M},其中,Rk表示{Rk|1≤k≤M}中的第k个子块;
①-4、计算{Rk|1≤k≤M}中的每个子块中的所有像素点的HOG特征统计直方图,将以矢量形式表示的HOG特征统计直方图作为每个子块的第一图像特征矢量,对于{Rk|1≤k≤M}中的第k个子块,将该子块中的所有像素点的HOG特征统计直方图作为该子块的第一图像特征矢量,记为其中,的维数为36;并计算{Rk|1≤k≤M}中的每个子块中的所有像素点在不同中心频率和不同方向因子下的振幅的均值,将得到的每个子块对应的20个均值按序组成每个子块的第二图像特征矢量,将{Rk|1≤k≤M}中的第k个子块对应的20个均值按序组成的第二图像特征矢量记为其中,的维数为20,中的一个元素的值为该子块中的所有像素点在一个中心频率和一个方向因子下的振幅的均值;然后根据{Rk|1≤k≤M}中的每个子块的第一图像特征矢量和第二图像特征矢量,获得{Rk|1≤k≤M}中的每个子块的图像特征矢量,将{Rk|1≤k≤M}中的第k个子块的图像特征矢量记为 其中,的维数为56,此处符号“[]”为矢量表示符号;再将{Rk|1≤k≤M}中的所有子块的图像特征矢量构成的集合记为 { x k d i s | 1 ≤ k ≤ M } ;
①-5、采用6种不同的全参考图像质量评价方法分别获取{Rk|1≤k≤M}中的每个子块的客观评价预测值,将得到的每个子块对应的6个客观评价预测值按序组成每个子块的图像质量矢量,将{Rk|1≤k≤M}中的第k个子块对应的6个客观评价预测值按序组成的图像质量矢量记为其中,的维数为6;然后将{Rk|1≤k≤M}中的所有子块的图像质量矢量构成的集合记为
①-6、采用最小角回归方法对由构成的集合进行字典训练操作,构造得到的图像特征字典表和图像质量字典表,对应记为Df和Dq,Df和Dq是采用最小角回归方法求解 m i n { 1 2 ( | | X d i s - D f a | | F 2 + β | | Y d i s - D q a | | F 2 ) + λ 1 | | a | | 1 + λ 2 | | a | | 2 } 得到的,其中,Df的维数为56×K,Dq的维数为6×K,K表示设定的字典的个数,K≥1,min()为取最小值函数,符号“||||F”为求取矩阵的弗罗贝尼乌斯范数-范数符号,符号“||||1”为求取矩阵的1-范数符号,符号“||||2”为求取矩阵的2-范数符号,Xdis的维数为56×M,中的第1个图像特征矢量,中的第k个图像特征矢量,中的第M个图像特征矢量,Ydis的维数为6×M,中的第1个图像质量矢量,中的第k个图像质量矢量,中的第M个图像质量矢量,a表示稀疏矩阵,a=[a1…ak…aM],a的维数为K×M,a1为a中的第1个列向量,ak为a中的第k个列向量,aM为a中的第M个列向量,符号“[]”为矢量表示符号,β为加权参数,λ1和λ2为拉格朗日参数;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试图像Stest,按照步骤①-2的过程,以相同的操作方式获取Stest中的每个像素点在不同中心频率和不同方向因子下的振幅;然后将Stest划分成个互不重叠的尺寸大小为8×8的子块,再将Stest中的所有子块构成一个集合,记为其中,W'和H'对应表示Stest的宽度和高度,W'与W相同,H'与H相同,Rt'表示中的第t个子块;
②-2、按照步骤①-4的过程,以相同的操作方式获取中的每个子块的图像特征矢量,将中的第t个子块的图像特征矢量记为其中,的维数为56;
②-3、根据中的每个子块的图像特征矢量和在训练阶段过程中构造得到的Df,获取中的每个子块的稀疏系数矩阵,将中的第t个子块的稀疏系数矩阵记为其中,的维数为K×1;
②-4、根据中的每个子块的稀疏系数矩阵和在训练阶段过程中构造得到的Dq,计算中的每个子块的局部客观评价度量值,将中的第t个子块的局部客观评价度量值记为zt
②-5、根据中的每个子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,
2.根据权利要求1所述的一种基于非监督学习的图像质量评价方法,其特征在于所述的步骤①-2中的的获取过程为:
①-2a、采用Gabor滤波器对进行滤波处理,得到中的每个像素点在不同中心频率和不同方向因子下的频率响应,将中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 G u , v d i s ( x , y ; ω , θ ) = e u , v d i s ( x , y ; ω , θ ) + jo u , v d i s ( x , y ; ω , θ ) , 其中,的实部,的虚部,j为虚数单位;
①-2b、根据中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算中的每个像素点在不同中心频率和不同方向因子下的振幅,中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的振幅为:其中,符号“||||2”为求取矩阵的2-范数符号。
3.根据权利要求1或2所述的一种基于非监督学习的图像质量评价方法,其特征在于所述的步骤②-3中的是采用最小角回归方法求解 m i n { | | x t t e s t - D f a t t e s t | | F 2 + λ 1 | | a t t e s t | | 1 + λ 2 | | a t t e s t | | 2 } 得到的。
4.根据权利要求3所述的一种基于非监督学习的图像质量评价方法,其特征在于所述的步骤②-4中的
CN201510613840.XA 2015-09-23 2015-09-23 一种基于非监督学习的图像质量评价方法 Active CN105243385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510613840.XA CN105243385B (zh) 2015-09-23 2015-09-23 一种基于非监督学习的图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510613840.XA CN105243385B (zh) 2015-09-23 2015-09-23 一种基于非监督学习的图像质量评价方法

Publications (2)

Publication Number Publication Date
CN105243385A true CN105243385A (zh) 2016-01-13
CN105243385B CN105243385B (zh) 2018-11-09

Family

ID=55041026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510613840.XA Active CN105243385B (zh) 2015-09-23 2015-09-23 一种基于非监督学习的图像质量评价方法

Country Status (1)

Country Link
CN (1) CN105243385B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210711A (zh) * 2016-08-05 2016-12-07 宁波大学 一种无参考立体图像质量评价方法
CN106803248A (zh) * 2016-12-18 2017-06-06 南京邮电大学 模糊车牌图像模糊度评价方法
CN108460752A (zh) * 2017-12-20 2018-08-28 宁波大学 一种非对称多失真立体图像质量客观评价方法
CN111327946A (zh) * 2018-12-17 2020-06-23 中移(杭州)信息技术有限公司 视频质量评价和特征字典的训练方法、装置和介质
CN112699863A (zh) * 2021-03-25 2021-04-23 深圳阜时科技有限公司 指纹增强算法、计算机可读存储介质及电子设备
US11416469B2 (en) 2020-11-24 2022-08-16 International Business Machines Corporation Unsupervised feature learning for relational data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347196A (zh) * 2013-06-27 2013-10-09 宁波大学 一种基于机器学习的立体图像视觉舒适度评价方法
CN103914835A (zh) * 2014-03-20 2014-07-09 宁波大学 一种针对模糊失真立体图像的无参考质量评价方法
CN104036502A (zh) * 2014-06-03 2014-09-10 宁波大学 一种无参考模糊失真立体图像质量评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104240248A (zh) * 2014-09-12 2014-12-24 宁波大学 一种无参考立体图像质量客观评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347196A (zh) * 2013-06-27 2013-10-09 宁波大学 一种基于机器学习的立体图像视觉舒适度评价方法
CN103914835A (zh) * 2014-03-20 2014-07-09 宁波大学 一种针对模糊失真立体图像的无参考质量评价方法
CN104036502A (zh) * 2014-06-03 2014-09-10 宁波大学 一种无参考模糊失真立体图像质量评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104240248A (zh) * 2014-09-12 2014-12-24 宁波大学 一种无参考立体图像质量客观评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210711A (zh) * 2016-08-05 2016-12-07 宁波大学 一种无参考立体图像质量评价方法
CN106803248A (zh) * 2016-12-18 2017-06-06 南京邮电大学 模糊车牌图像模糊度评价方法
CN106803248B (zh) * 2016-12-18 2019-11-05 南京邮电大学 模糊车牌图像模糊度评价方法
CN108460752A (zh) * 2017-12-20 2018-08-28 宁波大学 一种非对称多失真立体图像质量客观评价方法
CN108460752B (zh) * 2017-12-20 2020-04-10 宁波大学 一种非对称多失真立体图像质量客观评价方法
CN111327946A (zh) * 2018-12-17 2020-06-23 中移(杭州)信息技术有限公司 视频质量评价和特征字典的训练方法、装置和介质
US11416469B2 (en) 2020-11-24 2022-08-16 International Business Machines Corporation Unsupervised feature learning for relational data
CN112699863A (zh) * 2021-03-25 2021-04-23 深圳阜时科技有限公司 指纹增强算法、计算机可读存储介质及电子设备
CN112699863B (zh) * 2021-03-25 2022-05-17 深圳阜时科技有限公司 指纹增强方法、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
CN105243385B (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN105243385A (zh) 一种基于非监督学习的图像质量评价方法
CN104902267B (zh) 一种基于梯度信息的无参考图像质量评价方法
CN102682446B (zh) 使用自适应联合双边滤波器生成稠密深度图的设备和方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN105574901B (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
CN102547368B (zh) 一种立体图像质量客观评价方法
CN104658002A (zh) 一种无参考图像客观质量评价方法
CN105678700A (zh) 基于预测梯度的图像插值方法及系统
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN105357519A (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN105376563A (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN103413298A (zh) 一种基于视觉特性的立体图像质量客观评价方法
CN105282543A (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN109685772B (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN104240248A (zh) 一种无参考立体图像质量客观评价方法
CN106791822A (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN103841411B (zh) 一种基于双目信息处理的立体图像质量评价方法
Zhou et al. Image quality assessment using kernel sparse coding
CN103914835A (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN103200420B (zh) 一种基于三维视觉注意力的立体图像质量客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201218

Address after: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University