CN108550153B - 一种非整数插值图像的质量评价方法 - Google Patents

一种非整数插值图像的质量评价方法 Download PDF

Info

Publication number
CN108550153B
CN108550153B CN201810400137.4A CN201810400137A CN108550153B CN 108550153 B CN108550153 B CN 108550153B CN 201810400137 A CN201810400137 A CN 201810400137A CN 108550153 B CN108550153 B CN 108550153B
Authority
CN
China
Prior art keywords
image
similarity
energy
frequency
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810400137.4A
Other languages
English (en)
Other versions
CN108550153A (zh
Inventor
徐艺文
陈锦铃
赵铁松
黄慧闻
黄亚萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810400137.4A priority Critical patent/CN108550153B/zh
Publication of CN108550153A publication Critical patent/CN108550153A/zh
Application granted granted Critical
Publication of CN108550153B publication Critical patent/CN108550153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明涉及一种非整数插值图像的质量评价方法，通过研究LR与HR图像间像素的对应关系，建立LR‑HR图像块间的对应关系；基于HR与LR图像间的相似性以及HR图像自身的视觉特性，采用半参考质量指标能量相似性（ES）、频率相似性（FS）和无参考质量指标局部清晰度（LS）作为衡量HR图像质量的三个特征；基于ES、FS和LS三个特征的质量评价模型，以达到精准评估非整数插值图像感知质量的目的。本发明针对非整数插值图像提出一种包含半参考和无参考质量指标的质量评价模型，解决了当HR图像的插值因子是非整数时，实现对HR图像质量准确预测的问题。

Description

一种非整数插值图像的质量评价方法
技术领域
本发明涉及图像质量评价领域，特别是一种非整数插值图像的质量评价方法。
背景技术
现有的大多数算法都仅适用于整数插值图像的质量评价，对于非整数插值图像的质量评价涉足甚少，而实用性强的非整数插值图像的质量评价才是发展趋势。
发明内容
本发明的目的在于提供一种非整数插值图像的质量评价方法，以克服现有技术中存在的缺陷。
为实现上述目的，本发明的技术方案是：一种非整数插值图像的质量评价方法，按照如下步骤实现：
步骤S1：根据LR图像与HR图像像素间的对应关系，构建LR-HR图像块间的对应关系；
步骤S2：根据LR图像与HR图像的能量特性，获取二者间的能量相似性；
步骤S3：根据LR图像与HR图像的频率特性，获取二者间的频率相似性；
步骤S4：通过Sobel算子提取HR图像的边缘信息，获取图像的局部清晰度；
步骤S5：为能量相似性、频率相似性和局部清晰度三个特征分别分配对应的预设权重，并根据能量相似性、频率相似性和局部清晰度的加权总和，构建质量评价模型；
步骤S6：通过所述质量评价模型，对待评价的非整数插值图像的质量进行评价，获取评价结果。
在本发明一实施例中，在所述步骤S1中，所述LR-HR图像块间的对应关系如下所示：
Figure BDA0001645451990000021
其中，HR图像块的大小是MH×NH,对应的LR图像块的大小是ML×NL；f为从LR图像生成HR图像时所用的插值因子。
在本发明一实施例中，在所述步骤S2中，所述LR图像与HR图像间的能量相似性通过如下方式获取：
基于LR-HR图像块间的对应关系，分别对LR图像与HR图像块进行金字塔分割，图像块中每个尺度的能量按照如下方式通过变换系数的平方和获取：
Figure BDA0001645451990000022
其中，Cij表示第j个尺度中第i个变换系数的平方和，n为金字塔分割的尺度数；将相邻尺度的能量值进行相减，得到一个长度n-1的新向量E＝{Ej|j＝1,...n}；为了获取LR图像和HR图像的图像块能量的相似性，分别将LR图像块的能量El和HR图像块的能量Eh进行傅里叶变换，将变换后的结果分别记为EL和EH；再通过计算EL和EH间的欧式距离来获取LR图像和HR图像的图像块间的能量相似性：
Figure BDA0001645451990000023
在本发明一实施例中，在所述步骤S3中，LR图像与HR图像的图像块间频率相似性的通过如下方式获取：
通过二维离散傅里叶变换将图像块从空域f(x,y)转化为频域F(u,v)，记每个图像块的频谱S为：
S(u,v)＝||F(u,v)||
LR图像与HR图像的图像块的频率相似性通过如下方式获取：
Figure BDA0001645451990000024
其中，HR图像和LR图像的图像块频谱的水平分量和垂直分量分别表示为HH、VH、HL和VL，并且HH和VH分别与HL和VL的长度相等。
在本发明一实施例中，在所述步骤S4中，记通过所述Sobel算子获取的HR图像的图像块的水平方向偏导的近似值为Gx，垂直方向偏导的近似值为Gy，图像块中每一点(i,j)的梯度幅度为：
Figure BDA0001645451990000031
HR图像块的局部清晰度通过如下方式获取：
Figure BDA0001645451990000032
在本发明一实施例中，在所述步骤S5中，所述质量评价模型通过如下步骤建立：
Q＝α*Ne+β*Nf+γ*Ns
其中，权重α，β和γ分别调整图像级能量相似性Ne，频率相似性Nf和局部清晰度Ns的重要性，并且α+β+γ＝1。
相较于现有技术，本发明具有以下有益效果：本发明提出的一种非整数插值图像的质量评价方法，针对非整数插值图像，采用半参考质量指标能量相似性(ES)、频率相似性(FS)和无参考质量指标局部清晰度(LS)作为衡量HR图像质量的三个特征，提出一种包含半参考和无参考质量指标的质量评价模型，本发明提出的质量评价算法能实现对非整数插值图像质量的精确预测，并且在整数插值图像中也能取得较好的性能。
附图说明
图1为本发明中一种非整数插值图像的质量评价方法的流程图。
图2为本发明一实施例中LR和HR图像块间对应关系示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提出一种非整数插值图像的质量评价方法，按照如下步骤实现：
步骤S1：通过分析HR(High-Resolution)与LR(Low-Resolution)图像像素间的对应关系，构建LR-HR图像块间的对应关系。
步骤S2：分析LR与HR图像的能量特性，计算二者间的能量相似性。
步骤S3：分析LR与HR图像的频率特性，计算二者间的频率相似性。
步骤S4：利用Sobel算子提取HR图像的边缘信息，计算图像的局部清晰度。
步骤S5：通过能量相似性、频率相似性和局部清晰度三个特征的加权总和来构建最终的质量评价模型，其中，权重根据主观测试进行校准。
步骤S6：根据质量评价模型对待评价的非整数插值图像的质量进行评价，获取评价结果。在本实施例中，在步骤S1中，构建LR-HR图像块间对应关系的方法按照如下步骤实现：
考虑到非整数插值的特点，不可能在LR和HR图像之间建立一对一的像素映射，只能在LR与HR图像块之间建立大致的对应关系。对于特定的插值算法，在插值过程中不会改变原先图像内容的形状，因此，LR和HR的图像块之间能够线性匹配，即图像块之间的图像分辨率比率保持不变。对于HR图像块MH×NH和LR图像块ML×NL之间的对应关系可以表示为：
Figure BDA0001645451990000041
其中，f代表从LR图像生成HR图像时所用的插值因子。较佳的，设置MH＝NH＝256,如果HR图像本身的大小小于256×256，则选取整个HR图像作为HR的图像块。
在本实施例中，在步骤S2中，LR与HR图像块间能量相似性的计算方法为：
图像的能量信息能够捕获全局图像失真和表征重要的图像特征。由于LR和HR图像的能量下降曲线十分相似，因此通过计算LR和HR图像块间的能量相似性去衡量HR图像的全局视觉信息失真。首先，使用金字塔分别对LR与HR图像块进行金字塔分割，这样可以将能量集中在空域里。图像块每个尺度的能量通过变换系数的平方和计算：
Figure BDA0001645451990000042
其中，Cij表示第j个尺度中第i个变换系数的平方和，n为金字塔分割的尺度数。将相邻尺度的能量值进行相减，得到一个长度n-1的新向量E＝{Ej|j＝1,...n}。为了计算LR和HR图像块能量的相似性，分别将LR图像块的能量El和HR图像块的能量Eh进行傅里叶变换，变换后的结果分别定义为EL和EH，然后通过计算EL和EH间的欧式距离来衡量LR与HR图像块间的能量相似性：
Figure BDA0001645451990000051
在本实施例中，在步骤S3中，LR与HR图像块间频率相似性的计算方法为：
频率是图像光谱变化强度的指标，二维离散傅里叶变换可以将图像块从空域f(x,y)转化为频域F(u,v)，每个图像块的频谱S定义为：
S(u,v)＝||F(u,v)|| (4)
LR与HR图像块的频率相似性可由式(5)计算得到：
Figure BDA0001645451990000052
其中，HR和LR图像块频谱的水平分量和垂直分量分别表示为HH,VH,HL和VL，并且HH和VH分别与HL和VL的长度相等。
在本实施例中，在步骤S4中，HR图像局部清晰度的计算方法为：
HR图像的一个主要问题是随着插值因子的增长，其模糊性变得更加显著。基于这一特性，利用无参考的局部清晰度来衡量HR图像的视觉质量。由于梯度信息通常用于衡量图像的清晰度，可以很好地反映图像的边缘信息，因此选用Sobel算子分别计算HR图像块的水平和垂直方向偏导的近似值，分别记为Gx和Gy，图像块中每一点(i,j)的梯度幅度为：
Figure BDA0001645451990000053
HR图像块的局部清晰度通过如下方式获取：
Figure BDA0001645451990000054
在本实施例中，在步骤S5中，整体质量评价算法的构建方法为：
基于上述能量相似性、频率相似性和局部清晰度的计算方法，采用池化过程将三个特征转化为图像级别的特征，记为Ne、Nf和Ns。考虑到不同特征对HR图像质量评估有不同的影响，因此对这些特征分配不同的权重并通过这些特征的线性加权总和来构建整体质量评价算法：
Q＝α*Ne+β*Nf+γ*Ns (8)
其中，权重参数α、β和γ分别调整Ne、Nf和Ns的重要性，并且α+β+γ＝1。通过测试结果对参数α，β和γ进行校准。较佳地，令α＝0.18，β＝0.79和γ＝0.03。
为了让本领域技术人员进一步了解本发明提出的方法，下面结合具体实施例进行说明。
为了验证本发明算法的有效性，需要建立非整数插值图像的主观数据库。首先，选取15张不同内容的原始图像，通过三个非整数插值因子(3.5，37/7和7)对原始图像进行下采样获得LR图像，然后使用6种插值算法对LR图像进行插值得到HR图像，最终建立一个270张HR图像的数据库。在进行主观测试时，6张HR图像与原始图像随机排列显示在同一个屏幕上，实验人员将原始图像作为参考对其余6张图像按照0-10分进行打分。数据库中HR图像的主观质量分数由22个实验人员的平均意见分数表示。
通过计算主观质量分数与算法获得的质量值之间的相关系数来验证本发明算法的性能，其中相关系数包括皮尔森线性相关系数(PearsonLinearCorrelationCoefficient，PLCC)，斯皮尔曼秩相关系数(Spearman Rank-order CorrelationCoefficient，SRCC)以及肯德尔秩次相关系数(KendallRank-orderCorrelationCoefficient，KRCC)，相关系数的值越接近1，代表模型的准确性越高。实验结果如表1所示。
表1实验结果
Figure BDA0001645451990000061
Figure BDA0001645451990000071
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种非整数插值图像的质量评价方法，其特征在于，按照如下步骤实现：
步骤S1：根据低分辨率的LR图像与高分辨率的HR图像像素间的对应关系，构建LR-HR图像块间的对应关系；
步骤S2：根据LR图像与HR图像的能量特性，获取二者间的能量相似性；
步骤S3：根据LR图像与HR图像的频率特性，获取二者间的频率相似性；
步骤S4：通过Sobel算子提取HR图像的边缘信息，获取图像的局部清晰度；
步骤S5：为能量相似性、频率相似性和局部清晰度三个特征分别分配对应的预设权重，并根据能量相似性、频率相似性和局部清晰度的加权总和，构建质量评价模型；
步骤S6：通过所述质量评价模型，对待评价的非整数插值图像的质量进行评价，获取评价结果；
在所述步骤S2中，所述LR图像与HR图像间的能量相似性通过如下方式获取：
基于LR-HR图像块间的对应关系，分别对LR图像与HR图像的图像块进行金字塔分割，图像块中每个尺度的能量按照如下方式通过变换系数的平方和获取：
Figure FDA0003323846570000011
其中，Cij表示第j个尺度中第i个变换系数的平方和，n为金字塔分割的尺度数；将相邻尺度的能量值进行相减，得到一个长度n-1的新向量E＝{Ej|j＝1,...n}；为了获取LR图像和HR图像的图像块能量的相似性，分别将LR图像的图像块的能量El和HR图像的图像块的能量Eh进行傅里叶变换，将变换后的结果分别记为EL和EH；再通过计算EL和EH间的欧式距离来获取LR图像和HR图像的图像块间的能量相似性：
Figure FDA0003323846570000021
在所述步骤S3中，LR图像与HR图像的图像块间频率相似性的通过如下方式获取：
通过二维离散傅里叶变换将图像块从空域f(x,y)转化为频域F(u,v)，记每个图像块的频谱S为：
S(u,v)＝||F(u,v)||
LR图像与HR图像的图像块的频率相似性通过如下方式获取：
Figure FDA0003323846570000022
其中，HR图像的图像块频谱的水平分量和垂直分量分别为HH、VH，LR图像的图像块频谱的水平分量和垂直分量分别表示为HL和VL，并且HH和HL长度相等，VH与VL的长度相等；
在所述步骤S4中，记通过所述Sobel算子获取的HR图像的图像块的水平方向偏导的近似值为Gx，垂直方向偏导的近似值为Gy，图像块中任意像素(a,b)的梯度幅度为：
Figure FDA0003323846570000023
HR图像的图像块的局部清晰度通过如下方式计算：
Figure FDA0003323846570000024
2.根据权利要求1所述的一种非整数插值图像的质量评价方法，其特征在于，在所述步骤S1中，所述LR-HR图像块间的对应关系如下所示：
Figure FDA0003323846570000025
其中，HR图像的图像块的大小是MH×NH,对应的LR图像的图像块的大小是ML×NL；f为从LR图像生成HR图像时所用的插值因子。
3.根据权利要求1所述的一种非整数插值图像的质量评价方法，其特征在于，在所述步骤S5中，所述质量评价模型通过如下步骤建立：
Q＝α*Ne+β*Nf+γ*Ns
其中，权重α，β和γ分别用于调整图像级能量相似性Ne，频率相似性Nf和局部清晰度Ns的重要性，并且α+β+γ＝1。
CN201810400137.4A 2018-04-28 2018-04-28 一种非整数插值图像的质量评价方法 Active CN108550153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810400137.4A CN108550153B (zh) 2018-04-28 2018-04-28 一种非整数插值图像的质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810400137.4A CN108550153B (zh) 2018-04-28 2018-04-28 一种非整数插值图像的质量评价方法

Publications (2)

Publication Number Publication Date
CN108550153A CN108550153A (zh) 2018-09-18
CN108550153B true CN108550153B (zh) 2021-12-17

Family

ID=63512815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810400137.4A Active CN108550153B (zh) 2018-04-28 2018-04-28 一种非整数插值图像的质量评价方法

Country Status (1)

Country Link
CN (1) CN108550153B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002174564A (ja) * 2000-12-06 2002-06-21 Hitachi Ltd ディスプレイ装置の画質定量評価方法並びにディスプレイ装置
CN101853504A (zh) * 2010-05-07 2010-10-06 厦门大学 基于视觉特性与结构相似度的图像质量评测方法
CN102436655A (zh) * 2011-09-02 2012-05-02 清华大学 一种基于svd的超分辨率重建图像质量评价方法
CN105205820A (zh) * 2015-09-21 2015-12-30 昆明理工大学 一种改进的特征相似性图像质量评估方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965414B2 (en) * 2008-01-23 2011-06-21 Xerox Corporation Systems and methods for detecting image quality defects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002174564A (ja) * 2000-12-06 2002-06-21 Hitachi Ltd ディスプレイ装置の画質定量評価方法並びにディスプレイ装置
CN101853504A (zh) * 2010-05-07 2010-10-06 厦门大学 基于视觉特性与结构相似度的图像质量评测方法
CN102436655A (zh) * 2011-09-02 2012-05-02 清华大学 一种基于svd的超分辨率重建图像质量评价方法
CN105205820A (zh) * 2015-09-21 2015-12-30 昆明理工大学 一种改进的特征相似性图像质量评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Objective Quality Assessment of Interpolated Natural Images;Hojatollah Yeganeh et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20151130;第24卷(第11期);第4651-4662页 *
基于频域的结构相似度的图像质量评价方法;李航等;《清华大学学报 (自然科学版)》;20091231;第49卷(第4期);第559-562页 *

Also Published As

Publication number Publication date
CN108550153A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN109214470B (zh) 一种基于编码网络微调的图像能见度检测方法
CN109523506B (zh) 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
CN102945552A (zh) 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN106408561A (zh) 一种基于图像纹理特征的无参考图像质量评价方法
CN107464222B (zh) 基于张量空间的无参考高动态范围图像客观质量评价方法
CN102572499B (zh) 基于小波变换多分辨率预测的无参考图像质量评价方法
CN102547368A (zh) 一种立体图像质量客观评价方法
CN106447647A (zh) 一种压缩感知恢复图像的无参考质量评价方法
CN107491793B (zh) 一种基于稀疏散射全卷积的极化sar图像分类方法
CN104202594B (zh) 一种基于三维小波变换的视频质量评价方法
CN106548472A (zh) 基于沃尔什哈达玛变换的无参考图像质量评价方法
CN110070539A (zh) 基于信息熵的图像质量评价方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN104616294A (zh) 一种基于视觉显著性的色调映射图像质量评价方法
CN108550146A (zh) 一种基于roi的图像质量评价方法
CN102254185B (zh) 基于对比度敏感函数的背景杂波量化方法
CN109257592B (zh) 基于深度学习的立体视频质量客观评价方法
CN107220974A (zh) 一种全参考图像质量评价方法和装置
CN107292866A (zh) 一种基于相对梯度的图像质量客观评价方法
CN108550153B (zh) 一种非整数插值图像的质量评价方法
CN107203991B (zh) 一种基于光谱残差的半参考图像质量评价方法
CN107578406A (zh) 基于网格与韦泊统计特性的无参考立体图像质量评价方法
CN108682005A (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法
CN108416770B (zh) 一种基于视觉显著性的图像质量评价方法
CN109543717B (zh) 基于自适应邻域及字典的联合协作表达高光谱分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant