CN109285146B - 基于恰可觉察失真的全参考图像质量评价方法 - Google Patents
基于恰可觉察失真的全参考图像质量评价方法 Download PDFInfo
- Publication number
- CN109285146B CN109285146B CN201811001682.2A CN201811001682A CN109285146B CN 109285146 B CN109285146 B CN 109285146B CN 201811001682 A CN201811001682 A CN 201811001682A CN 109285146 B CN109285146 B CN 109285146B
- Authority
- CN
- China
- Prior art keywords
- block
- image
- calculating
- reference image
- jnd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于恰可觉察失真的全参考图像质量评价方法,其特征在于,读入参考图像与失真图像,计算参考图像各像素的恰可觉察失真JND;基于JND对失真图像做像素级误差隐藏处理;计算参考图像与JND误差隐藏处理后失真图像之间的差异图像;对差异图像以4×4像素块为单位计算边缘点所占比率,根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域;对平滑区域以4×4块为单位计算PSNR并做归一化处理;对结构化区域以4×4块为单位计算结构相似度;融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分。优点:更有效地表达了误差特性,提高了失真图像质量评价的准确度。
Description
技术领域
本发明涉及一种基于恰可觉察失真的全参考图像质量评价方法,属于图像处理与分析技术领域。
背景技术
图像质量评价一直是图像处理与分析领域的重要研究课题,在图像处理的很多方面都有重要的应用。目前最准确的图像质量评价方法仍然是靠人工打分来得到评价结果,但主观评分耗时耗力且无法自动评价。客观评价方法中应用最广泛的是峰值信噪比(PSNR)与结构相似性测量(SSIM)。PSNR与对应的均方误差(MSE)计算上最为简单且物理意义明确,对非结构性误差如噪声失真评价效果较好,但对结构性误差评价效果不好。SSIM通过提取局部分块的亮度、对比度与结构相似性进行综合测量,对结构性失真评价效果较好,因此受到了学术界与工业界的广泛关注,但其计算量相比PSNR有所增加,而且对非结构性失真评价效果一般。
近年来,基于人眼视觉特性的图像处理与分析方法受到了更多关注。恰可觉察失真(JND)作为人眼重要的视觉特性之一,目前将JND用于图像或视频质量评价的方法还有待于进一步研究探索,一些重要的问题比如如何使用JND对误差进行隐藏、如何根据误差信号的特性使用合适的质量评价方法、如何融合不同评价方法的质量指标得到失真图像的总体质量指标等会严重影响质量评价效果。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷,提供一种基于恰可觉察失真的全参考图像质量评价方法。
为解决上述技术问题,本发明提供一种基于恰可觉察失真的全参考图像质量评价方法,其特征在于,包括以下步骤:
1)读入参考图像与失真图像,计算参考图像各像素的恰可觉察失真JND;
2)基于JND对失真图像做像素级误差隐藏处理;
3)计算参考图像与JND误差隐藏处理后失真图像之间的差异图像;
4)对差异图像以4×4像素块为单位计算边缘点所占比率,根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域;
5)对平滑区域以4×4块为单位计算峰值信噪比PSNR并做归一化处理;
6)对结构化区域以4×4块为单位计算结构相似度;
7)融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分。
进一步的,所述步骤2)包括如下步骤:
21)当失真图像的像素值与参考图像的像素值之差大于等于JND值时,将失真图像的像素值减去JND值作为误差隐藏后的失真像素值;
22)当失真图像的像素值与参考图像的像素值之差的绝对值小于JND值时,将参考图像的像素值直接作为误差隐藏后的失真像素值;
23)当失真图像的像素值与参考图像的像素值之差小于等于JND值的负数时,将失真图像的像素值加上JND值作为误差隐藏后的失真像素值。
进一步的,所述步骤4)包括如下步骤:
41)使用Prewitt算子对差异图像进行梯度滤波,得到各像素位置的水平与垂直梯度,进而得到梯度幅值;
42)以4×4像素块为单位计算块内16个像素梯度幅值的平均值,将块内各像素梯度幅值大于平均值的点作为边缘点,并计算块内边缘点所占的比率;
43)检查4×4块内边缘点所占的比率是否小于等于6/16,即块内边缘点的数目是否小于等于6,是则将此块判定为平滑4×4块,否则将此块判定为结构化4×4块。
进一步的,所述步骤5)包括如下步骤:
51)对平滑4×4块区域,按照空间位置对应关系,以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块PSNR;
52)对分块PSNR根据最大值进行归一化处理。
进一步的,所述步骤6)包括如下步骤:
61)对结构化4×4块区域,按照空间位置对应关系,以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块相关系数;
62)使用分块相关系数作为分块结构化相似度的测量。
进一步的,所述步骤7)包括如下步骤:
71)以4×4块为单位计算平滑区域归一化后的平均PSNR;
72)以4×4块为单位计算结构化区域的平均相关系数;
73)根据平滑区域与结构化区域的面积加权,融合平滑区域的PSNR质量指标和结构化区域的相关系数质量指标得到失真图像的最终质量评分。
本发明所达到的有益效果:
(1)本发明利用JND对失真图像中的像素级误差进行隐藏处理,使得质量评价结果更加接近于人眼主观评价;(2)本发明对引入JND后的差异图像根据边缘特性进行分区处理,更有效地表达了误差特性;(3)本发明对不同误差特性分区后的区域使用特性相关的质量评价并进行有效融合,提高了失真图像质量评价的准确度。
附图说明
图1为本发明的基于恰可觉察失真的全参考图像质量评价方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,基于恰可觉察失真的全参考图像质量评价方法,包括以下步骤:
步骤1,读入参考图像I与失真图像D,计算参考图像I各像素的恰可觉察失真(JND):
11)读入参考图像I与失真图像D;
12)使用基于亮度掩模与对比度掩模的方法计算参考图像I各像素的JND值,计算公式如下,
JND(x,y)=Tl(x,y)+Tt(x,y)-Clt·min{Tl(x,y),Tt(x,y)}
其中,x与y是像素在图像中的横坐标与纵坐标,Tl(x,y)与Tt(x,y)分别是像素I(x,y)基于亮度掩模与基于对比度掩模的JND值,Clt是亮度掩模与对比度掩模之间的重叠效应因子,取值为0.3,JND(x,y)为像素I(x,y)处的恰可觉察失真值;
Tl(x,y)的计算方法如下,
其中,B(i,j)是5×5的加权低通滤波器,定义式如下,
Tt(x,y)的计算方法如下,
其中,G(x,y)是像素I(x,y)周围5×5邻域窗在四个方向上进行梯度计算后的最大值,定义式如下;
步骤2,基于JND对失真图像D做像素级误差隐藏处理,具体操作如下式,
其中,DiffJND(x,y)是引入JND值后差异图像在(x,y)处的值。
步骤4,对差异图像以4×4像素块为单位计算边缘点所占比率,根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域:
41)对引入JND值后的差异图像DiffJND以4×4像素块为单位计算边缘点所占比率,首先使用Prewitt算子对差异图像DiffJND进行梯度滤波,得到各像素位置的水平与垂直梯度,进而得到梯度幅值;
42)以4×4像素块为单位计算块内16个像素梯度幅值的平均值,将块内各像素梯度幅值大于平均值的点作为边缘点,并计算块内边缘点所占的比率;
43)如果4×4块内边缘点所占的比率小于等于6/16,即块内边缘点的数目小于等于6,则将此块判定为平滑4×4块,否则将此块判定为结构化4×4块。
步骤5,对平滑区域以4×4块为单位计算峰值信噪比PSNR并做归一化处理:
52)对PSNRi_JND根据最大值进行归一化处理,定义式如下,
其中,PSNRMax_JND表示所有平滑4×4块PSNR的最大值,PSNRiS_JND表示第i个平滑4×4块根据最大值归一化后的PSNR值,ε是一个小常数,取值为0.001。
步骤6,对结构化区域以4×4块为单位计算结构相似:
根据由差异图像划分得到的结构化4×4块区域,按照空间位置对应关系,以4×4块为单位计算参考图像I与JND误差隐藏处理后失真图像之间的分块结构化相似度,分块结构化相似度使用相关系数进行测量,定义式如下,
其中,Ij(x,y)与分别表示参考图像与JND误差隐藏处理后失真图像的第j个结构化4×4块,与分别表示相应第j个4×4块的平均值,Corrj_JND是第j个结构化4×4块的相关系数,表达结构化相似度。
步骤7,融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分:
71)以4×4块为单位计算平滑区域归一化后的平均PSNR,定义式如下,
其中,M是整个图像中所有平滑4×4块的数目,PSNRFAVE是失真图像由平滑区域得到的平均PSNR,表达平滑区域的质量指标;
72)以4×4块为单位计算结构化区域的平均相关系数,定义式如下,
其中,N是整个图像中所有结构化4×4块的数目,CorrFAVE是失真图像由结构化区域得到的平均相关系数,表达结构化区域的质量指标;
73)融合平滑区域的PSNR质量指标和结构化区域的相关系数质量指标得到失真图像的最终质量评分;
其中,Score是根据区域面积加权PSNR与相关系数得到的失真图像的质量评分,其值越大,表示失真图像在视觉上与参考图像越接近,质量越好。
上述通过利用JND隐藏失真图像中人眼不可见的误差,并根据差异图像的边缘比率特性进行分区以分别采用合适的质量评价指标,提高了全参考图像质量评价的准确度。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (5)
1.一种基于恰可觉察失真的全参考图像质量评价方法,其特征在于,包括以下步骤:
1)读入参考图像与失真图像,计算参考图像各像素的恰可觉察失真JND;
2)基于JND对失真图像做像素级误差隐藏处理,包括如下步骤:
21)当失真图像的像素值与参考图像的像素值之差大于等于JND值时,将失真图像的像素值减去JND值作为误差隐藏后的失真像素值;
22)当失真图像的像素值与参考图像的像素值之差的绝对值小于JND值时,将参考图像的像素值直接作为误差隐藏后的失真像素值;
23)当失真图像的像素值与参考图像的像素值之差小于等于JND值的负数时,将失真图像的像素值加上JND值作为误差隐藏后的失真像素值;
3)计算参考图像与JND误差隐藏处理后失真图像之间的差异图像;
4)对差异图像以4×4像素块为单位计算边缘点所占比率,根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域;
5)对平滑区域以4×4块为单位计算峰值信噪比PSNR并做归一化处理;
6)对结构化区域以4×4块为单位计算结构相似度;
7)融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分。
2.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法,其特征在于,所述步骤4)包括如下步骤:
41)使用Prewitt算子对差异图像进行梯度滤波,得到各像素位置的水平与垂直梯度,进而得到梯度幅值;
42)以4×4像素块为单位计算块内16个像素梯度幅值的平均值,将块内各像素梯度幅值大于平均值的点作为边缘点,并计算块内边缘点所占的比率;
43)检查4×4块内边缘点所占的比率是否小于等于6/16,即块内边缘点的数目是否小于等于6,是则将此块判定为平滑4×4块,否则将此块判定为结构化4×4块。
3.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法,其特征在于,所述步骤5)包括如下步骤:
51)对平滑4×4块区域,按照空间位置对应关系,以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块PSNR;
52)对分块PSNR根据最大值进行归一化处理。
4.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法,其特征在于,所述步骤6)包括如下步骤:
61)对结构化4×4块区域,按照空间位置对应关系,以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块相关系数;
62)使用分块相关系数作为分块结构化相似度的测量。
5.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法,其特征在于,所述步骤7)包括如下步骤:
71)以4×4块为单位计算平滑区域归一化后的平均PSNR;
72)以4×4块为单位计算结构化区域的平均相关系数;
73)根据平滑区域与结构化区域的面积加权,融合平滑区域的PSNR质量指标和结构化区域的相关系数质量指标得到失真图像的最终质量评分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811001682.2A CN109285146B (zh) | 2018-08-30 | 2018-08-30 | 基于恰可觉察失真的全参考图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811001682.2A CN109285146B (zh) | 2018-08-30 | 2018-08-30 | 基于恰可觉察失真的全参考图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109285146A CN109285146A (zh) | 2019-01-29 |
CN109285146B true CN109285146B (zh) | 2021-12-10 |
Family
ID=65183189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811001682.2A Active CN109285146B (zh) | 2018-08-30 | 2018-08-30 | 基于恰可觉察失真的全参考图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109285146B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113971675A (zh) * | 2021-10-13 | 2022-01-25 | 南京邮电大学 | 基于拆分结构失真与信号误差的全参考图像质量评价方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2685111B2 (ja) * | 1992-02-14 | 1997-12-03 | 富士写真フイルム株式会社 | 画像形成方法 |
US5719966A (en) * | 1996-03-29 | 1998-02-17 | David Sarnoff Research Center, Inc. | Apparatus for assessing the visiblity of differences between two image sequences |
US6678424B1 (en) * | 1999-11-11 | 2004-01-13 | Tektronix, Inc. | Real time human vision system behavioral modeling |
DE60022164T2 (de) * | 2000-04-20 | 2006-08-17 | Hewlett-Packard Development Co., L.P., Houston | Verfahren und Einrichtung zur Verbesserung der Bildqualität in einem Druckgerät |
CN101877127B (zh) * | 2009-11-12 | 2012-04-11 | 北京大学 | 基于梯度剖面的图像无参考质量评价方法及系统 |
CN103186898B (zh) * | 2011-12-29 | 2016-01-06 | 中国科学院沈阳自动化研究所 | 基于图像信息人眼可感知度的图像质量表征方法 |
CN102629379B (zh) * | 2012-03-02 | 2014-03-26 | 河海大学 | 一种基于视觉特性的图像质量评价方法 |
CN103024375B (zh) * | 2012-11-15 | 2015-08-05 | 宁波大学 | 一种基于双目恰可觉察失真的立体图像半脆弱水印方法 |
CN102999911B (zh) * | 2012-11-27 | 2015-06-03 | 宁波大学 | 一种基于能量图的立体图像质量客观评价方法 |
CN103237226B (zh) * | 2013-04-07 | 2016-08-03 | 宁波大学 | 一种立体视频宏块丢失错误隐藏方法 |
CN103745457B (zh) * | 2013-12-25 | 2016-07-06 | 宁波大学 | 一种立体图像客观质量评价方法 |
CN104574381B (zh) * | 2014-12-25 | 2017-09-29 | 南京邮电大学 | 一种基于局部二值模式的全参考图像质量评价方法 |
CN105635743A (zh) * | 2015-12-30 | 2016-06-01 | 福建师范大学 | 基于显著性检测和全变分的最小可察觉失真方法及系统 |
CN108280797B (zh) * | 2018-01-26 | 2021-08-31 | 江西理工大学 | 一种基于纹理复杂度和jnd模型的图像数字水印算法系统 |
-
2018
- 2018-08-30 CN CN201811001682.2A patent/CN109285146B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109285146A (zh) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101567044B (zh) | 一种人脸图像质量检测方法 | |
CN103630496B (zh) | 基于路面视亮度和最小二乘法的交通视频能见度检测方法 | |
CN116168039A (zh) | 一种环保节能硅酸铝板质量检测方法 | |
CN103558229B (zh) | 一种tft-lcd制程的mura视觉自动检测方法及装置 | |
CN102523477B (zh) | 一种基于双目最小可辨失真模型的立体视频质量评价方法 | |
CN109727233A (zh) | 一种lcd缺陷检测方法 | |
CN104182983B (zh) | 基于角点特征的高速公路监控视频清晰度的检测方法 | |
CN109064418A (zh) | 一种基于非局部均值的非均匀噪声图像去噪方法 | |
CN111709964B (zh) | 一种pcba目标边缘检测方法 | |
CN116612112B (zh) | 一种水桶表面缺陷视觉检测方法 | |
CN105205820A (zh) | 一种改进的特征相似性图像质量评估方法 | |
CN116883408B (zh) | 基于人工智能的积算仪壳体缺陷检测方法 | |
CN104574381A (zh) | 一种基于局部二值模式的全参考图像质量评价方法 | |
CN116740061A (zh) | 一种爆珠生产质量视觉检测方法 | |
CN109949725A (zh) | 一种aoi系统图像灰度标准化方法及系统 | |
CN111445435B (zh) | 一种基于多区块小波变换的无参考图像质量评价方法 | |
CN109285146B (zh) | 基于恰可觉察失真的全参考图像质量评价方法 | |
WO2018227881A1 (zh) | 一种视频去噪方法 | |
Huang et al. | Research on evaluation method of underwater image quality and performance of underwater structure defect detection model | |
CN109801273B (zh) | 一种基于极平面线性相似度的光场图像质量评价方法 | |
CN115511814A (zh) | 一种基于兴趣区域多纹理特征融合的图像质量评价方法 | |
CN114419039A (zh) | 一种基于模板匹配的装饰墙纸缺陷检测方法 | |
CN102685547B (zh) | 一种基于块效应和噪声的低码率视频质量检测方法 | |
CN109598692A (zh) | 一种基于局部对比度显著性区域检测的缺陷检测方法 | |
CN109978859B (zh) | 一种基于可见失真池化的图像显示适应质量评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |