CN109598707B - 一种基于特征信息处理的全参考图像质量客观评价方法 - Google Patents
一种基于特征信息处理的全参考图像质量客观评价方法 Download PDFInfo
- Publication number
- CN109598707B CN109598707B CN201811417360.6A CN201811417360A CN109598707B CN 109598707 B CN109598707 B CN 109598707B CN 201811417360 A CN201811417360 A CN 201811417360A CN 109598707 B CN109598707 B CN 109598707B
- Authority
- CN
- China
- Prior art keywords
- visual
- image
- gradient
- reference image
- distorted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 122
- 230000010365 information processing Effects 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 223
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 230000035945 sensitivity Effects 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 29
- 238000000354 decomposition reaction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 101100394003 Butyrivibrio fibrisolvens end1 gene Proteins 0.000 claims description 2
- 230000006641 stabilisation Effects 0.000 claims description 2
- 238000011105 stabilization Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 abstract description 2
- 210000001747 pupil Anatomy 0.000 abstract description 2
- 238000013441 quality evaluation Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 7
- 101100114968 Mus musculus Csf3 gene Proteins 0.000 description 4
- DWKNOLCXIFYNFV-HSZRJFAPSA-N 2-[[(2r)-1-[1-[(4-chloro-3-methylphenyl)methyl]piperidin-4-yl]-5-oxopyrrolidine-2-carbonyl]amino]-n,n,6-trimethylpyridine-4-carboxamide Chemical class CN(C)C(=O)C1=CC(C)=NC(NC(=O)[C@@H]2N(C(=O)CC2)C2CCN(CC=3C=C(C)C(Cl)=CC=3)CC2)=C1 DWKNOLCXIFYNFV-HSZRJFAPSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于特征信息处理的全参考图像质量客观评价方法，核心是充分利用人眼视觉系统特性和信息保真度(IFC)理论对图像的梯度特征进行更深层次的处理和评价。首先，通过在图像处理的多个环节步骤融入人眼瞳孔的光学折射、多分辨率、阈值滤波、对比度敏感、中央凹加权等显著视觉特性，对图像的梯度特征进行了较为有效的视觉感知处理；其次，对图像的视觉梯度特征进一步进行信息保真度评价；最后，基于多分辨特性对图像进行了多尺度上的视觉灰度信息评价、视觉梯度特征评价和视觉梯度特征信息评价，并将评价结果分别进行了多分辨率尺度融合和深度融合处理。本发明方法的重要评价指标具有较高的水平和最好的稳定性。
Description
技术领域
本发明涉及图像处理技术领域，一种基于特征信息处理的全参考图像质量客观评价方法。
背景技术
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究引起了人们的重视。全参考图像质量客观评价方法的结果相对稳定可靠，并且是半参考及无参考图像质量客观评价方法的理论基础，因此，全参考图像质量评价的研究意义重大。
传统的经典评价方法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等评价结果和人眼主观测试差距较大。近些年来的工程学评价方法如结构相似度SSIM、信息保真度IFC、奇异值分解SVD等方法，由于完全依赖算法本身特性而没有考虑人眼视觉系统的特性，因此，这类方法的重要评价指标水平仍有待改进。通过提取图像特征进行质量评价的一些方法，例如梯度相似度GSM，相位一致性相似度FSIM等性能相对较好，但是这类方法的评价结果不稳定，重要评价指标在部分图像失真类型上的水平有较大幅度的下降，另外一个更突出的问题是这类方法对于图像特征的处理一般较为简单，没有对提取到的图像特征进行更深层次的信息处理，同时也没有有效的结合人眼视觉特性。综上，全参考图像质量客观评价领域的研究，尤其是一些有重大应用价值的评价方法，仍需要进一步的研究来提高其评价性能。
申请公布号为CN 107770517A的专利申请公开了一种基于图像失真类型的全参考图像质量评价方法，申请公布号为CN 108335289A的专利申请公开了一种全参考融合的图像客观质量评价方法，这两个全参考图像质量评价方法中均没有考虑人眼视觉特性，导致对失真图像的全参考图像质量评价结果稳定性低。
发明内容
本发明的目是提供一种基于特征信息处理的全参考图像质量客观评价方法，该评价方法充分考虑了人眼视觉特性，提高了对失真图像的全参考图像质量评价结果的稳定性。
为实现上述发明目的，本发明提供以下技术方案：
一种基于特征信息处理的全参考图像质量客观评价方法，包括：
包括以下步骤：
(1)对失真图像和与失真图像对应的参考图像依次进行灰度化处理和高斯低通滤波处理；
(2)利用当前视觉多尺度分辨率因子对高斯低通滤波处理后的失真图像和参考图像进行下采样；
(3)根据灰度阈值、视觉对比度敏感函数以及视觉中央凹函数对下采样后的失真图像和参考图像进行视觉灰度感知处理；
(4)根据视觉灰度感知处理后的失真图像和参考图像，采用IFC算法计算失真图像的视觉灰度信息评价；
(5)提取视觉灰度感知处理后的失真图像和参考图像的梯度特征视图，并对提取的梯度特征视图进行视觉梯度感知处理；
(6)根据视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图，计算失真图像的视觉梯度特征评价；
(7)根据视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图，采用IFC算法计算失真图像的视觉梯度特征信息评价；
(8)更新视觉多尺度分辨率因子后，迭代执行步骤(2)～(7)，直到获得n个视觉多尺度分辨率因子对应的n组数据为止，每组数据包括一个失真图像的视觉灰度信息评价、视觉梯度特征评价以及视觉梯度特征信息评价；
(9)融合n个失真图像的视觉灰度信息评价，融合n个失真图像的视觉梯度特征评价，融合n个失真图像的视觉梯度特征信息评价，获得失真图像的融合视觉灰度信息评价、融合视觉梯度特征评价和融合视觉梯度特征信息评价；
(10)对失真图像的融合视觉灰度信息评价、融合视觉梯度特征评价和融合视觉梯度特征信息评价三个类别数据进行深度融合，获得失真图像的全参考图像质量客观评价结果。
本发明核心是充分利用人眼视觉系统特性和信息保真度(IFC)理论对图像的梯度特征进行更深层次的处理和评价。首先，通过在图像处理的多个环节步骤融入人眼瞳孔的光学折射、多分辨率、阈值滤波、对比度敏感、中央凹加权等显著视觉特性，对图像的梯度特征进行了较为有效的视觉感知处理；其次，对图像的视觉梯度特征进一步进行信息保真度评价；最后，基于多分辨特性对图像进行了多尺度上的视觉灰度信息评价、视觉梯度特征评价和视觉梯度特征信息评价，并将评价结果分别进行了多分辨率尺度融合和深度融合处理。
与现有方法相比，本发明取得了明显的优势，体现在：
1)对于图像不同失真类型的评价，本发明方法的RMSE、PLCC和SROCC三项评价指标均具有非常高的水平，绝大部分评价指标水平超越了现有方法，表明本发明方法能够提高失真图像的全参考图像质量客观评价结果的准确性；
2)本发明方法的评价性能更加稳定，RMSE、PLCC和SROCC三项评价指标水平不会因为图像失真类型不同而出现明显大幅的下降；
3)对所有图像失真类型的整体评价上，本发明方法的RMSE、PLCC和SROCC三项评价指标水平，相对现有方法均具有较大的优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提供的基于特征信息处理的全参考图像质量客观评价方法的流程图；
图2是本实施例灰度化处理和高斯低通滤波处理后的图像；
图3是当γ＝3时对图像2下采样后的结果图像；
图4是对图3进行视觉灰度阈值滤波感知处理后的结果图像；
图5是对图4进行视觉灰度加权处理后的结果图像；
图6是图5的梯度特征视图；
图7是对图6进行视觉梯度阈值滤波感知处理后的结果图像。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施中以德克萨斯大学奥斯汀分校图像视频工程所提供的LIVE Release 2图像标准数据库为例进行说明。德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease 2图像标准数据库，存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的MOS值(主观评价分值)已知，该MOS值即为人眼的主观测试结果。
进行全参考图像质量客观评价时首先从LIVE Release 2图像标准数据库选择参考图像和相应的失真图像，然后进行对选择的失真图像进行全参考图像质量客观评价，即利用参考图像评价失真图像相对于参考图像的质量，具体流程如图1所示，具体方法包括：
步骤1，对失真图像和与失真图像对应的参考图像依次进行灰度化处理和高斯低通滤波处理。
具体地，首先，按照公式(1)对参考图像和失真图像机械能给您灰度化处理，将其分别变换为灰度图像Gray：
Gray＝0.29900·R+0.58700·G+0.11400·B(1)
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B三个通道上的强度值。
然后，分别对经过灰度化处理得到的灰度图像进行高斯低通滤波处理，滤波器的窗口大小为k×k，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。
本实施例中考虑到LIVE Release 2图像标准数据库中的图像大小，针对所有图像进行高斯低通滤波时采用的窗口大小均为11×11，且标准差为1.0。
基于滤波器对灰度图像进行低通滤波处理，在二维互相关过程中，未使用边缘补0部分进行计算的结果部分。低通滤波处理后的图像如图2所示。
步骤2，利用当前视觉多尺度分辨率因子对高斯低通滤波处理后的失真图像和参考图像进行下采样。
具体地，采用公式(2)对高斯低通滤波处理后的失真图像和参考图像进行下采样，
yγ(i,j)＝xγ(1:γ:end1，1:γ:end2) (2)
其中，xγ表示原始失真图像和参考图像，yr(i,j)表示下采样后获得图像，(i,j)为下采样后获得图像的像素点，1:γ:end表示对失真图像和参考图像进行间隔γ行和隔γ列采样，γ表示视觉多尺度分辨率因子，γ＝γ0+2·(ω-1)，γ0为视觉尺度分辨率因子初始值，ω为尺度因子循环迭代次数，end1和end2为图像的行数和列数。
本实施例中，γ0和ω的初始值设定为常数1，第一次循环时γ＝1。
步骤3，根据灰度阈值、视觉对比度敏感函数以及视觉中央凹函数对下采样后的失真图像和参考图像进行视觉灰度感知处理。
具体地，利用公式(3)对下采样后的失真图像和参考图像进行视觉灰度感知处理，
其中，δ表示灰度阈值，本实施例δ＝5.0，yγ(i,j)表示下采样后的失真图像和参考图像，y‘γ(i,j)表示视觉灰度感知处理后的图像，CSF(γ)表示视觉对比度敏感函数，τ(i,j))表示视觉中央凹函数，
视觉对比度敏感函数CSF(γ)定义为：
其中，r为显示器的分辨率，v为视距，根据国际视频质量专家组(Video QualityExperts Group，VQEG)建议的主观测试条件，本实施例取r＝96(pixels/inch)，v＝19.1(inch)，λ为γ的调节参数，pixels表示图像的单位为像素，inch表示长度单位为英寸，γpeak表示γ的最大值，本实施例中λ＝0.228，γpeak＝4c/deg，c表示视觉频率单位为周，deg表示视觉空间单位为度。
视觉中央凹函数τ(i,j))定义如下：
其中，d(i,j)表示像素点(i,j)到图像中心的距离，d0表示图像边缘到图像中心的距离，dt表示调节参数，本实施例dt＝4.0。
步骤4，根据视觉灰度感知处理后的失真图像和参考图像，采用IFC算法计算失真图像的视觉灰度信息。
具体过程为：
首先，利用公式(6)分别对视觉灰度感知处理后的失真图像和参考图像进行视觉加权处理，
y“γ(i,j)＝y'γ(i,j)·τ(i,j) (6)
其中，y'γ(i,j)表示视觉灰度感知处理后的失真图像和参考图像，y“γ(i,j)表示视觉加权处理后的图像，τ(i,j))表示视觉中央凹函数；
然后，采用IFC算法计算失真图像的视觉灰度信息评价VLI(γ)，公式如下：
其中，k代表图像经小波分解后的通道序号，M代表k的数量，i代表图像经高斯尺度混合(Gaussian Scale Mixtures，GSM)模型分解后的系数序号，N代表i的数量，Sγ,i,k代表参考图像经GSM模型分解后的标量系数，σγ,Uγ,k表示代表参考图像经GSM模型分解后的方差系数，gγ,i,k代表失真图像经GSM模型分解后的衰减系数，σγ,Vγ,k表示代表失真图像经GSM模型分解后的方差系数，Uγ＝{Uγ,i:i∈I}代表参考图像经GSM模型分解后的均值为零、方差为
的高斯变量取值域，Vγ＝{vγ,i:i∈I}代表失真图像经GSM模型分解后的均值为零、方差为
的加性高斯变量取值域。
步骤5，提取视觉灰度感知处理后的失真图像和参考图像的梯度特征视图，并对提取的梯度特征视图进行视觉梯度感知处理。
具体地，采用Scharr算子提取视觉灰度感知处理后的失真图像和参考图像关于视觉通道的梯度特征视图，具体提取公式为：
其中，gγ(i)和gγ(j)分别为梯度特征视图gγ(i,j)水平方向投影和垂直方向投影，具体计算公式为：
其中，*表示卷积运算；
采用公式(8)和(9)提取图像的梯度特征视图，然后按照公式(10)进行视觉梯度感知处理，
其中，δg表示梯度阈值，本实施例δg＝16.0，CSF(γ)表示视觉对比度敏感函数，τ(i,j))表示视觉中央凹函数。该处的CSF(γ)和τ(i,j))的计算方式与公式(4)和公式(5)类似。
步骤6，根据视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图，计算失真图像的视觉梯度特征。
具体地，利用公式(11)计算失真图像的视觉梯度特征评价VGS(γ)，
其中，g’γ,x(i,j)、g’γ,y(i,j)分别代表视觉梯度感知处理后的参考图像和失真图像的梯度特征视图，T为稳定算法的常数，本实施例T＝160，Q、P表示梯度特征视图的尺寸大小，τ(i,j))表示视觉中央凹函数，VGS(γ)为失真图像的视觉梯度特征。
步骤7，根据视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图，采用IFC算法计算失真图像的视觉梯度特征信息。
具体过程为：
首先，利用公式(12)分别对视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图进行视觉加权处理，
g”γ(i,j)＝g’γ(i,j)·τ(i,j)(12)
其中，g’γ(i,j))表示视觉梯度感知处理后的失真图像和参考图像对应的梯度特征视图，g”γ(i,j))表示视觉加权处理后的图像，τ(i,j))表示视觉中央凹函数；
然后，采用IFC算法计算失真图像的视觉梯度特征信息评价VGFI(γ)，
其中，k代表图像视觉梯度图经小波分解后的通道序号，M代表k的数量，i代表图像经高斯尺度混合(Gaussian Scale Mixtures，GSM)模型分解后的系数序号，N代表i的数量，sg:γ,i,k代表参考图像视觉梯度图经GSM模型分解后的标量系数，σg:γ,Uγ,k表示代表参考图像视觉梯度图经GSM模型分解后的方差系数，gg:γ,i,k代表失真图像视觉梯度图经GSM模型分解后的衰减系数，σg:γ,Vγ,k表示代表失真图像视觉梯度图经GSM模型分解后的方差系数。
步骤8，更新视觉多尺度分辨率因子后，迭代执行步骤2～步骤7，直到获得n个视觉多尺度分辨率因子对应的n组数据为止，每组数据包括一个失真图像的视觉灰度信息评价、视觉梯度特征评价以及视觉梯度特征信息评价。
具体地，根据尺度因子循环迭代次数ω更新视觉多尺度分辨率因子，即当循环迭代次数ω增加为ω＝ω+1，利用γ＝γ0+2·(ω-1)来更新视觉多尺度分辨率因子，具体的循环迭代次数ω取决于图像数据和IFC算法，本实施例中循环迭代次数ω为3次，即环迭代次数ω依次取值为1，2，3，γ对应依次取值为1，3，5。
第二次迭代，即γ＝3时，对图2下采样后获得如图3所示的下采样图；对图3进行视觉灰度阈值滤波感知处理后，获得如图4所示的视觉灰度处理图；对图4进行视觉灰度加权处理后，获得图5；对图5进行梯度特征提取后，获得如图6所示的梯度特征视图；对图6进行视觉梯度阈值滤波感知处理后，获得图7。
每一次迭代会产生一组包含一个失真图像的视觉灰度信息评价、视觉梯度特征评价以及视觉梯度特征信息评价的数据，n次迭代即会产生n组数据。
步骤9，融合n个失真图像的视觉灰度信息评价，融合n个失真图像的视觉梯度特征评价，融合n个失真图像的视觉梯度特征信息评价，获得失真图像的融合视觉灰度信息评价、融合视觉梯度特征评价和融合视觉梯度特征信息评价。
具体过程为：
采用公式(14)对n个失真图像的视觉灰度信息进行融合，
采用公式(15)对n个失真图像的视觉梯度特征进行融合，
采用公式(16)对n个失真图像的视觉梯度特征信息进行融合，
其中，L(γ)表示视觉灰度信息尺度分辨率调整因子，CSF(γ)表示对比度敏感函数，G(γ)表示视觉梯度特征尺度分辨率调整因子，F(γ)表示视觉梯度特征信息尺度分辨率调整因子，R表示视觉多尺度分辨率因子的集合，调整之后，CSFL(γ)表示视觉灰度对比度敏感函数，CSFG(γ)表示视觉梯度对比度敏感函数，CSFF(γ)表示视觉梯度信息对比度敏感函数，
表示对集合R中的所有视觉多尺度分辨率因子下的数据进行求和。
本实施例中，进行了3次迭代，集合R中包含γ＝1，γ＝3，γ＝5，即对3个失真图像的视觉灰度信息进行融合，在融合的过程中，将γ＝1，γ＝3，γ＝5对应的VLI(γ)·CSFL(γ)求和后，再除以γ＝1，γ＝3，γ＝5对应的CSFL(γ)之和，获得融合视觉灰度信息。
本实施例中：
CSFL(1)＝4.0,CSFL(3)＝0.01,CSFL(5)＝1.6，
CSFG(1)＝4.0,CSFG(3)＝1.8,CSFG(5)＝0.01，
CSFF(1)＝4.0,CSFL(3)＝0.8,CSFF(5)＝1.9。
步骤10，对失真图像的融合视觉灰度信息、融合视觉梯度特征和融合视觉梯度特征信息三个类别数据进行深度融合，获得失真图像的全参考图像质量客观评价结果。
具体地，采用公式(17)对失真图像的融合视觉灰度信息、融合视觉梯度特征和融合视觉梯度特征信息三个类别数据进行深度融合，
其中，FIP表示失真图像的全参考图像质量客观评价结果，VIL为融合视觉灰度信息，VGS为融合视觉梯度特征，VGFI融合视觉梯度特征信息，λ1、λ2为深度融合参数。
其中，
β11、β12为参数，经过经验和实验训练确定，本实施例中，β11＝0.01，β12＝0.5。
实验中，基于客观评价结果MVFF分值和LIVE Release 2图像标准数据库中记载的各个失真图像的主观评估分MOS分值，根据国际视频质量专家组(Video Quality ExpertsGroup，VQEG)规范计算得到本发明的客观评价方法的SROCC指标、RMSE指标和PLCC指标。
表1为利用本实施例的客观评价方法(FIP)与现有的评价方法对LIVE Release 2图像标准数据库中的标准案例进行全参考图像质量客观评价时得到的评价结果的SROCC指标、RMSE指标和PLCC指标对比。
本实施例中的现有评价方法涵盖了目前主流较新的研究成果，将其分为三类。第一类是基于工程学的信息处理类评价方法，包括IFC(Information Fidelity Criterion，信息保真度)、SSIM(Structural Similarity，结构相似度)；第二类是图像特征类评价方法，包括GSM(Gradient Similarity，梯度相似度)、FSIM(Feature Similarity FSIM，特征结构相似度)；第三类是融入视觉特性的评价方法，包括VSNR(Visual Signal NoiseRatio，视觉信噪比)、VIF(Visual Information Fidelity，视觉信息保真度)、MSSIM(MultiStructural Similarity，多尺度结构相似度)和VSI(Visual Saliency Index，视觉显著索引)。
Release 2图像标准数据库中失真图像的格式包括JP2K、JPEG、WN、Gblur和FF，为说明本实施例的方法的适用范围，表1中给出的不同方法下各个指标(即评价指标)的值为对Release 2图像标准数据库中该类的所有失真图像评的评价指标水平，表1中All表示针对Release 2图像标准数据库中的所有格式的失真图像。
表1
表1的结果反映出相对于现有方法，本发明方法实施例的结果FIP有如下优势：
1)本发明方法的RMSE和PLCC两项指标对于JPEG2000、JPEG、WN和Gblur四种图像失真类型的评价具有最高水平(RMSE<＝5.2669，PLCC>＝0.9761)，并且明显优于其它所有方法，而在fastfading失真类型评价上和IFC方法基本持平，但是也明显优于其它方法；
2)本发明方法的SROCC指标对于各种图像失真类型的评价，和其它方法相比大多情况下处于领先水平；
3)本发明方法的RMSE、PLCC和SROCC三项指标水平对于各类失真图像的评价，均保持了较好的稳定性，没有像其它方法一样出现非常明显的下降；
4)各类失真图像的整体评价上，本发明方法的RMSE和PLCC指标水平明显优于其它方法，SROCC指标水平仅略低于FSIM方法，但是优于其他方法。
由以上优势可知，本发明提供的基于特征信息处理的全参考图像质量客观评价方法提高了对失真图像的全参考图像质量评价结果的稳定性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于特征信息处理的全参考图像质量客观评价方法，包括以下步骤：
(1)对失真图像和与失真图像对应的参考图像依次进行灰度化处理和高斯低通滤波处理；
(2)利用当前视觉多尺度分辨率因子对高斯低通滤波处理后的失真图像和参考图像进行下采样；
(3)根据灰度阈值、视觉对比度敏感函数以及视觉中央凹函数对下采样后的失真图像和参考图像进行视觉灰度感知处理；
(4)根据视觉灰度感知处理后的失真图像和参考图像，采用IFC算法计算失真图像的视觉灰度信息评价；
(5)提取视觉灰度感知处理后的失真图像和参考图像的梯度特征视图，并对提取的梯度特征视图进行视觉梯度感知处理；
(6)根据视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图，计算失真图像的视觉梯度特征评价；
(7)根据视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图，采用IFC算法计算失真图像的视觉梯度特征信息评价；
(8)更新视觉多尺度分辨率因子后，迭代执行步骤(2)～(7)，直到获得n个视觉多尺度分辨率因子对应的n组数据为止，每组数据包括一个失真图像的视觉灰度信息评价、视觉梯度特征评价以及视觉梯度特征信息评价；
(9)融合n个失真图像的视觉灰度信息评价，融合n个失真图像的视觉梯度特征评价，融合n个失真图像的视觉梯度特征信息评价，获得失真图像的融合视觉灰度信息评价、融合视觉梯度特征评价和融合视觉梯度特征信息评价；
(10)对失真图像的融合视觉灰度信息评价、融合视觉梯度特征评价和融合视觉梯度特征信息评价三个类别数据进行深度融合，获得失真图像的全参考图像质量客观评价结果。
2.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(2)中，采用公式(1)对高斯低通滤波处理后的失真图像和参考图像进行下采样，
yγ(i,j)＝xγ(1:γ:end1，1:γ:end2) (1)
其中，xγ表示原始失真图像和参考图像，yr(i,j)表示下采样后获得图像，(i,j)为下采样后获得图像的像素点，1:γ:end表示对失真图像和参考图像进行间隔γ行和隔γ列采样，γ表示视觉多尺度分辨率因子，γ＝γ0+2·(ω-1)，γ0为视觉尺度分辨率因子初始值，ω为尺度因子循环迭代次数，end1和end2为图像的行数和列数。
3.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(3)中，利用公式(2)对下采样后的失真图像和参考图像进行视觉灰度感知处理，
其中，δ表示灰度阈值，yγ(i,j)表示下采样后的失真图像和参考图像，y‘γ(i,j)表示视觉灰度感知处理后的图像，CSF(γ)表示视觉对比度敏感函数，τ(i,j))表示视觉中央凹函数，γ表示视觉多尺度分辨率因子；
视觉对比度敏感函数CSF(γ)定义为：
其中，r为显示器的分辨率，v为视距，根据主观测试条件，取r＝96(pixels/inch)，v＝19.1(inch)，λ为γ的调节参数，pixels表示图像的单位为像素，inch表示长度单位为英寸，γpeak表示γ的最大值，γpeak取值为γpeak＝4c/deg，c表示视觉频率单位为周，deg表示视觉空间单位为度；
视觉中央凹函数τ(i,j))定义如下：
其中，d(i,j)表示像素点(i,j)到图像中心的距离，d0表示图像边缘到图像中心的距离，dt表示调节参数。
4.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(4)的具体过程为：
首先，利用公式(5)分别对视觉灰度感知处理后的失真图像和参考图像进行视觉加权处理，
y“γ(i,j)＝y’γ(i,j)·τ(i,j) (5)
其中，y’γ(i,j)表示视觉灰度感知处理后的失真图像和参考图像，y“γ(i,j)表示视觉加权处理后的图像，τ(i,j))表示视觉中央凹函数；
然后，采用IFC算法计算失真图像的视觉灰度信息评价VLI(γ)，公式如下：
其中，k代表图像经小波分解后的通道序号，M代表k的数量，i代表图像经高斯尺度混合(Gaussian Scale Mixtures，GSM)模型分解后的系数序号，N代表i的数量，Sγ,i,k代表参考图像经GSM模型分解后的标量系数，σγ,Uγ,k代表参考图像经GSM模型分解后的方差系数，gγ,i,k代表失真图像经GSM模型分解后的衰减系数，σγ,Vγ,k表示代表失真图像经GSM模型分解后的方差系数，γ表示视觉多尺度分辨率因子，Uγ代表参考图像经GSM模型分解后的均值为零、方差为
的高斯变量取值域，Vγ代表失真图像经GSM模型分解后的均值为零、方差为
的加性高斯变量取值域。
5.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(5)中，采用Scharr算子提取视觉灰度感知处理后的失真图像和参考图像关于视觉通道的梯度特征视图，具体提取公式为：
其中，gγ(i)和gγ(j)分别为梯度特征视图gγ(i,j)水平方向投影和垂直方向投影，具体计算公式为：
其中，*表示卷积运算，y’γ(i,j)表示视觉灰度感知处理后的失真图像和参考图像；
利用公式(9)对梯度特征视觉进行感知处理，
其中，δg表示梯度阈值，CSF(γ)表示视觉对比度敏感函数，τ(i,j))表示视觉中央凹函数，γ表示视觉多尺度分辨率因子。
6.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(6)中，利用公式(10)计算失真图像的视觉梯度特征评价VGS(γ)，公式如下:
其中，g’γ,x(i,j)、g’γ,y(i,j)分别代表视觉梯度感知处理后的参考图像x和失真图像y的梯度特征视图，T为稳定算法的常数，Q、P表示梯度特征视图的尺寸大小，τ(i,j))表示视觉中央凹函数，VGS(γ)为失真图像的视觉梯度特征，γ表示视觉多尺度分辨率因子。
7.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(7)的具体过程为：
首先，利用公式(11)分别对视觉梯度感知处理后的失真图像对应的梯度特征视图和参考图像对应的梯度特征视图进行视觉加权处理，
g”γ(i,j)＝g’γ(i,j)·τ(i,j) (11)
其中，g’γ(i,j))表示视觉梯度感知处理后的失真图像和参考图像对应的梯度特征视图，g”γ(i,j))表示视觉加权处理后的图像，τ(i,j))表示视觉中央凹函数；
然后，采用IFC算法计算失真图像的视觉梯度特征信息评价VGFI(γ)，
其中，k代表图像视觉梯度图经小波分解后的通道序号，M代表k的数量，i代表图像经高斯尺度混合(Gaussian Scale Mixtures，GSM)模型分解后的系数序号，N代表i的数量，sg:γ,i,k代表参考图像视觉梯度图经GSM模型分解后的标量系数，σg:γ,Uγ,k表示代表参考图像视觉梯度图经GSM模型分解后的方差系数，gg:γ,i,k代表失真图像视觉梯度图经GSM模型分解后的衰减系数，σg:γ,Vγ,k表示代表失真图像视觉梯度图经GSM模型分解后的方差系数，γ表示视觉多尺度分辨率因子，Uγ代表参考图像经GSM模型分解后的均值为零、方差为
的高斯变量取值域，Vγ代表失真图像经GSM模型分解后的均值为零、方差为
的加性高斯变量取值域。
8.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(9)的具体过程为：
采用公式(13)对n个失真图像的视觉灰度信息评价进行融合，
采用公式(14)对n个失真图像的视觉梯度特征评价进行融合，
采用公式(15)对n个失真图像的视觉梯度特征信息评价进行融合，
其中，L(γ)表示视觉灰度信息尺度分辨率调整因子，CSF(γ)表示对比度敏感函数，G(γ)表示视觉梯度特征尺度分辨率调整因子，F(γ)表示视觉梯度特征信息尺度分辨率调整因子，R表示视觉多尺度分辨率因子的集合，
表示对集合R中的所有视觉多尺度分辨率因子下的数据进行求和，γ表示视觉多尺度分辨率因子，VLI(γ)为视觉灰度信息评价，VGS(γ)为视觉梯度特征评价，VGFI(γ)为视觉梯度特征信息评价。
9.如权利要求1所述的基于特征信息处理的全参考图像质量客观评价方法，其特征在于，步骤(10)中，基于回归方程采用公式(16)对失真图像的融合视觉灰度信息、融合视觉梯度特征和融合视觉梯度特征信息三个类别数据进行深度融合，
其中，FIP表示失真图像的全参考图像质量客观评价结果，VIL为融合视觉灰度信息，VGS为融合视觉梯度特征，VGFI融合视觉梯度特征信息，λ1、λ2为深度融合回归方程的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811417360.6A CN109598707B (zh) | 2018-11-26 | 2018-11-26 | 一种基于特征信息处理的全参考图像质量客观评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811417360.6A CN109598707B (zh) | 2018-11-26 | 2018-11-26 | 一种基于特征信息处理的全参考图像质量客观评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109598707A CN109598707A (zh) | 2019-04-09 |
| CN109598707B true CN109598707B (zh) | 2020-07-17 |
Family
ID=65959902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811417360.6A Active CN109598707B (zh) | 2018-11-26 | 2018-11-26 | 一种基于特征信息处理的全参考图像质量客观评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598707B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930398B (zh) * | 2019-12-09 | 2023-05-09 | 嘉兴学院 | 一种基于Log-Gabor相似度的全参考视频质量评价方法 |
| CN111986082B (zh) * | 2020-07-22 | 2022-06-21 | 中国西安卫星测控中心 | 一种自适应图像处理分辨率评价方法 |
| CN112597916B (zh) * | 2020-12-24 | 2021-10-26 | 中标慧安信息技术股份有限公司 | 人脸图像抓拍质量分析方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021545A (zh) * | 2014-05-12 | 2014-09-03 | 同济大学 | 一种基于视觉显著性的全参考彩色图像质量评价方法 |
| CN104346810A (zh) * | 2014-09-23 | 2015-02-11 | 上海交通大学 | 基于图片质量水平分类的图片质量评价方法 |
| CN104902267A (zh) * | 2015-06-08 | 2015-09-09 | 浙江科技学院 | 一种基于梯度信息的无参考图像质量评价方法 |
| CN108550152A (zh) * | 2018-04-20 | 2018-09-18 | 浙江科技学院 | 基于深度特征感知推理的全参考图像质量客观评价方法 |
| CN108648180A (zh) * | 2018-04-20 | 2018-10-12 | 浙江科技学院 | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7516417B2 (en) * | 2004-11-29 | 2009-04-07 | Canon U.S.A. | Display parameter adjustment |
-
2018
- 2018-11-26 CN CN201811417360.6A patent/CN109598707B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021545A (zh) * | 2014-05-12 | 2014-09-03 | 同济大学 | 一种基于视觉显著性的全参考彩色图像质量评价方法 |
| CN104346810A (zh) * | 2014-09-23 | 2015-02-11 | 上海交通大学 | 基于图片质量水平分类的图片质量评价方法 |
| CN104902267A (zh) * | 2015-06-08 | 2015-09-09 | 浙江科技学院 | 一种基于梯度信息的无参考图像质量评价方法 |
| CN108550152A (zh) * | 2018-04-20 | 2018-09-18 | 浙江科技学院 | 基于深度特征感知推理的全参考图像质量客观评价方法 |
| CN108648180A (zh) * | 2018-04-20 | 2018-10-12 | 浙江科技学院 | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于视觉特性的图像质量综合评价方法研究";丰明坤;《中国博士学位论文全文数据库 信息科技辑》;20180115;第1-7章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109598707A (zh) | 2019-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| CN109598707B (zh) | 一种基于特征信息处理的全参考图像质量客观评价方法 | |
| CN105654436A (zh) | 一种基于前景背景分离的背光图像增强去噪方法 | |
| CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
| CN107292316B (zh) | 一种基于稀疏表示的提升图像清晰度的方法 | |
| US20140294318A1 (en) | Gray image processing method and apparatus | |
| CN115456914B (zh) | 一种基于先验知识的散焦图像去模糊方法、装置及介质 | |
| Brunet | A study of the structural similarity image quality measure with applications to image processing | |
| CN110648302B (zh) | 基于边缘增强引导滤波的光场全聚焦图像融合方法 | |
| Hintermüller et al. | Generating structured nonsmooth priors and associated primal-dual methods | |
| CN106991670B (zh) | 一种无参考噪声图像质量评价方法及系统 | |
| De los Reyes et al. | Bilevel optimization methods in imaging | |
| CN108776958B (zh) | 混合降质图像的图像质量评价方法和装置 | |
| CN115082296B (zh) | 一种基于小波域图像生成框架的图像生成方法 | |
| Thanh et al. | Single image dehazing with optimal color channels and nonlinear transformation | |
| CN111105361B (zh) | 基于场景先验的遥感图像增强方法 | |
| CN109410142B (zh) | 一种基于图像质量评价最优的去雾方法 | |
| CN111354048A (zh) | 一种面向相机获取图片的质量评价方法和装置 | |
| CN111539894A (zh) | 一种新型图像增强方法 | |
| Zheng et al. | Regularization parameter selection for total variation model based on local spectral response | |
| CN116630218B (zh) | 一种基于边缘保持平滑金字塔的多曝光图像融合方法 | |
| CN110648291A (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| CN108805816B (zh) | 一种高光谱图像去噪方法及装置 | |
| Rao et al. | De-noising and contrast enhancement using bilateral filter and adaptive histogram equalization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |