CN105631890B - 基于图像梯度和相位一致性的失焦图片质量评价方法 - Google Patents
基于图像梯度和相位一致性的失焦图片质量评价方法 Download PDFInfo
- Publication number
- CN105631890B CN105631890B CN201610080803.1A CN201610080803A CN105631890B CN 105631890 B CN105631890 B CN 105631890B CN 201610080803 A CN201610080803 A CN 201610080803A CN 105631890 B CN105631890 B CN 105631890B
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- quality
- map
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013441 quality evaluation Methods 0.000 title abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000007480 spreading Effects 0.000 claims description 2
- 238000003892 spreading Methods 0.000 claims description 2
- 230000002265 prevention Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 2
- 238000001303 quality assessment method Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图像梯度和相位一致性的失焦图片质量评价方法，在图像获取过程中，由于焦距没对准，所拍摄的图像会出现失焦模糊，从而影响了图像的视觉质量。本发明分别提取失焦图像的梯度和相位一致性特征，对图像进行模糊估计，获得反应图像局部模糊程度的模糊图，然后结合显著性检测，利用得到的显著性图对模糊图进行加权得到局部质量图，通过池化局部质量图来对失焦图像的质量进行评价，提供了比主流图片质量评价方法更加优良的性能。
Description
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种基于梯度和相位一致性的失焦图片质量评价方法。
背景技术
图像质量评价技术在许多图像处理应用中具有非常重要的作用，如图像压缩、存储、传输和重构方法的开发和优化。现今的图像质量评价方法可以分为主观评价和客观评价，主观评价是图像质量的最终标准，但是主观评价对于实际的图像处理系统来说通常不太现实。近年来许多研究者投入到客观图像质量评价方法中，客观图像质量评价方法根据是否能够得到原图可以分为全参、半参及无参三类方法。
均方误差(MSE)和峰值性噪比(PSNR)尽管有时候与测试者的主观评分不是特别符合，但由于其简单性，MSE和PSNR仍然是目前最普遍的质量评价标准。近年来，受一些经典心理学认知范例的激发，许多研究者提出了一些基于认知的评价方法。如Wang,Z.等人在《IEEE Trans.Image Process》第13卷第4期第600页至第612页发表的论文“Image qualityassessment:from error visibility to structural similarity”中提出的结构相似性方法(SSIM)就是现今非常流行的基于认知的图像质量评价方法，该方法实际上关注的是图像的结构信息。Wang,Z.等人在《IEEE Asilomar Conference on Signals,Systems andComputer》第2卷第1398页至第1402页发表的论文“Multi-scale structural similarityfor image quality assessment”中提出的多尺度结构相似性方法(MS-SSIM)将SSIM方法扩展到多尺度上，提供了更好的性能。Sheikh,H.R.等人在《IEEE Trans.Image Process》第15卷第2期第430页至第444页发表的论文《Image information and visual quality》中提出的视觉信息保真度方法(VIF)也提供了良好的性能，该方法通过量化从原图到失真图的图片信息损失进行质量评价。此外，作者还在该文中提供了VIF方法的低计算复杂度版本：基于像素的视觉信息保真度方法(VIFP)。
最近许多图像质量评价领域的研究者发现图像失真类型分类对图像质量评价非常重要，如Liu,H.等人在《IEEE Trans.Circuits Syst.Video Technol.》第21卷第7期第971页至第982页提出的Blind Image Quality Indices(BIQI)方法。该方法分为两个步骤，首先利用失真图像统计(DIS)将图像根据失真类型进行分类，再根据不同失真类型进行质量评价。
图像质量评价方法很多，但是很少有人研究过专门的方法来评价失焦模糊的图像质量。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于图像梯度和相位一致性的失焦图片质量评价方法，该方法通过提取失焦图像的梯度强度和相位一致性对失焦图像进行模糊度估计，然后结合视觉显著性对模糊度图进行加权，从而对失焦图像的质量做出评价，通过该方法得到的评价结果与主观评价的结果具有高度的一致性。。
为实现以上目的，本发明提供一种基于图像梯度和相位一致性的失焦图片质量评价方法，所述方法包括以下步骤：
S1，分别提取失焦图像的梯度强度和相位一致性特征，得到梯度强度图和相位一致性图，并把两幅图进行最大值融合得到图像的模糊程度图；
S2，对失焦图像进行显著性检测，得到图像的显著性图；
S3，用S2的图像显著性图对S1的模糊程度图进行加权得到图像的质量图(qualitymap)，通过池化该质量图对图像的质量做出评价。
优选地，所述S1，具体为：提取图像四个方向的梯度，分别是0°，45°，90°，135°，然后计算梯度强度图(GM map)，提取图像的相位一致性图(PC map)，然后用最大值策略将梯度强度图和相位一致性图进行融合，形成模糊程度图。
优选地，所述计算梯度强度图，是指：梯度强度的计算首先定义四个方向的梯度算子，用梯度算子对失焦图像进行卷积，得到四个方向的梯度图，然后取四个方向梯度的平方和的算术平方根作为梯度强度特征，提取图像结构特征。
优选地，所述提取图像的相位一致性特征，是指：采用Kovesi的计算方法，得到失焦图像对应的相位一致性图像，提取图像的纹理特征。
优选地，所述把两幅图进行最大值融合得到图像的模糊程度图，是指：将失焦图像的梯度强度图和相位一致图进行最大值融合，即融合图像的每个像素取梯度强度图和相位一致图对应位置的最大值，得到失焦图像的模糊程度图像。
优选地，所述S2，具体为：对失焦图像进行显著性检测，找出人类视觉系统(HVS)敏感的区域，得到一幅显著图像，显著图像逐像素给出失焦图中每个点对HVS的重要性，显著性检测算法可以借鉴成熟的显著性模型，比如Itti,GBVS,AIM,Covsal等。
本发明的原理是：
失焦模糊图片具有其特殊性，仅仅通过模糊程度的估计来对其质量进行评价是不够的，本发明基于梯度强度特征和相位一致性特征能够捕捉由于失焦模糊导致的图像纹理的退化，利用这两个特征进行模糊程度的估计，作为质量评价的基础，其次利用显著性检测来进一步提高质量评价的性能。
与现有技术相比，本发明具有如下的有益效果：
本发明所述的失焦图片质量评价方法具有良好的性能，结合了梯度强度和相位一致性做基础的模糊度评价，用视觉显著性机制进行加权，取得了比传统方法更加优越的性能，与主观质量评价达到高度的一致性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例原理图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，一种基于图像梯度和相位一致性的失焦图片质量评价方法，首先提取图像四个方向(0°，45°，90°，135°)的梯度，然后计算梯度强度图(GM map)，提取图像的相位一致性图(PC map)，然后用最大值策略将梯度强度图和相位一致性图进行融合，形成模糊程度图；另一方面，提取图像的显著性图(saliency map)，用显著性图对模糊程度图进行加权得到质量图(quality map)，池化质量图得到图像质量的估计值。
在一实施例中，上述的失焦图片质量评价方法具体实施过程和详细细节如下：
首先，得到图像四个方向的梯度图来提取图像中的结构特征，梯度提取算子分别定义为：
用梯度算子对图像进行卷积，得到四个方向的梯度图：
其中，G代表提取的梯度图，代表卷积运算，I代表失焦图像，然后梯度的强度GM定义为：
G0°、G45°、G90°、G135°分别是四个方向的0°，45°，90°，135°的梯度的强度。
其次，提取图像的相位一致性特征进一步提取图像的纹理特征，具体地采用Kovesi的计算方法，给一个一维信号s，定义和分别为偶和奇对称的n尺度下的滤波器，它们形成正交的一对滤波器，这里用log-Gabor滤波器来近似，用这对滤波器对图像进行滤波，得到在j位置的响应为en(j)表示用定义的偶滤波器对信号s进行滤波得到的响应，on(j)表示用定义的奇滤波器对信号s进行滤波得到的响应；振幅定义为令F(j)＝Σnen(j)，H(j)＝Σnon(j)，则相位一致性PC可以计算为：
其中，ε是一个小的正数，防止分母出现0。排除无关的噪声影响，PC的计算变为：
其中，ε代表所有噪声的影响，(·)+表示防止分子出现负数，T表示所有无关噪声的总和。一维信号PC的计算可以推广到二维信号PC的计算，定义为：
其中，o代表各个方向的索引，二维PC的计算即对各个方向的一维PC进行求和得到。然后，将一个sigmoid函数引入PC的计算来调节不同滤波器的蔓延对不同方向的PC的影响，即：
调节函数W(j)定义为：
其中，c是截断参数，在一实施例中可以取值为0.4，g是增益系数，在一实施例中可以取值为10，蔓延函数s(j)定义为：
其中，N是所有尺度的和，Amax(j)是在j位置的幅值的最大值。
然后，利用最大值策略对图像的GM图和PC图进行融合，形成图像的模糊程度图，即：
B＝max{GM,PC}
其中，B表示图像的模糊程度图。
接着，对失焦图像进行显著性检测，找出人类视觉系统(HVS)敏感的区域，得到一幅显著图像，显著图像逐像素给出失焦图中每个点对HVS的重要性，显著性检测算法可以借鉴成熟的显著性模型，比如Itti,GBVS,AIM,Covsal等。
再利用显著性图像对模糊程度图进行加权得到质量分布图，即：
其中，Q代表计算的质量分布图，x代表图像I中的每一个位置；B表示图像的模糊程度图，S表示图像的显著性图。
最后，对质量分布图进行池化，得到失焦图像最终的质量估计，即：
其中，Quality表示失焦图像整体的质量，Ω是质量分布图Q前10％(按从大到小排序)的数的位置的集合，N表示前10％的数的数量。
依据上述，将本发明所提出的方法与BIQI，BRISQUE，DESIQUE，DIIVINE，NFERM，NIQE，SISBLIM，CPBD，ARISMC，FISH，JNB，LPC，S3，FISH+Covsal十四种主流的图像质量评价方法进行了性能比较，所用的性能好坏衡量标准包括以下五种：Pearson linearcorrelation coefficient(PLCC),Spearman rank-order correlation coefficient(SRCC),Root Mean Squared Error(RMSE)。
表1
表1为本发明一实施例的性能对比表，该表列出了本发明与与BIQI，BRISQUE，DESIQUE，DIIVINE，NFERM，NIQE，SISBLIM，CPBD，ARISMC，FISH，JNB，LPC，S3，FISH+Covsal十四种主流的图像质量评价方法在失焦图像质量评价库上的性能分数。其中，表的上半部分表示无参考的通用质量评价方法的性能；表的下半部分表示专门评价图像模糊的方法的性能；从以上所述的表中可以看出，本发明提出的失焦图像的质量评价方法取得了最优的质量评价性能，达到了与主观质量评价的高度一致性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (3)
1.一种基于图像梯度和相位一致性的失焦图片质量评价方法，其特征在于，包括如下步骤：
S1，分别提取失焦图像的梯度强度和相位一致性特征，得到梯度强度图和相位一致性图，并把两幅图进行最大值融合得到图像的模糊程度图；
所述S1，具体为：提取图像四个方向的梯度，分别是0°，45°，90°，135°，然后计算梯度强度图，提取图像的相位一致性图，然后用最大值策略将梯度强度图和相位一致性图进行融合，形成模糊程度图；
所述提取图像的相位一致性特征，是指：采用Kovesi的计算方法，得到失焦图像对应的相位一致性图像，提取图像的纹理特征；
所述把两幅图进行最大值融合得到图像的模糊程度图，是指：将失焦图像的梯度强度图和相位一致图进行最大值融合，即融合图像的每个像素取梯度强度图和相位一致图对应位置的最大值，得到失焦图像的模糊程度图；
S2，对失焦图像进行显著性检测，得到图像的显著性图；
所述S2，具体为：对失焦图像进行显著性检测，找出人类视觉系统敏感的区域，得到一幅显著图像，显著图像逐像素给出失焦图中每个点对HVS的重要性；
S3，用S2的图像显著性图对S1的模糊程度图进行加权得到图像的质量图，通过池化该质量图对图像的质量做出评价；
所述S3，具体为：利用显著性图像对模糊程度图进行加权得到质量分布图，即：
其中，Q代表计算的质量分布图，x代表失焦图像I中的每一个位置；B表示图像的模糊程度图，S表示图像的显著性图；
对质量分布图进行池化，得到失焦图像最终的质量估计，即：
其中，Quality表示失焦图像整体的质量，Ω是质量分布图Q按从大到小排序前10％的数的位置的集合，M表示前10％的数的数量；
所述计算梯度强度图，是指：梯度强度的计算首先定义四个方向的梯度算子，用梯度算子对失焦图像进行卷积，得到四个方向的梯度图，然后取四个方向梯度的平方和的算术平方根作为梯度强度特征，提取图像结构特征；
所述提取图像的相位一致性特征，具体为：采用Kovesi的计算方法，给一个一维信号s，定义和分别为偶和奇对称的n尺度下的滤波器，它们形成正交的一对滤波器，这里用log-Gabor滤波器来近似，用这对滤波器对图像进行滤波，得到在j位置的响应振幅定义为令F(j)＝∑nen(j)，H(j)＝∑non(j)，则相位一致性PC计算为：
其中，ε是一个小的正数，防止分母出现0，排除无关的噪声影响，PC的计算变为：
其中，ε代表所有噪声的影响，(·)+表示防止分子出现负数，T表示所有无关噪声的总和，一维信号PC的计算推广到二维信号PC的计算，定义为：
其中，o代表各个方向的索引，二维PC的计算即对各个方向的一维PC进行求和得到；然后，将一个sigmoid函数引入PC的计算来调节不同滤波器的蔓延对不同方向的PC的影响，即：
调节函数W(j)定义为：
其中，c是截断参数，g是增益系数，蔓延函数s(j)定义为：
其中，N是所有尺度的和，Amax(j)是在j位置的幅值的最大值。
2.根据权利要求1所述的基于图像梯度和相位一致性的失焦图片质量评价方法，其特征在于，四个方向的梯度算子分别定义为：
用梯度算子对图像进行卷积，得到四个方向的梯度图：
其中，G代表提取的梯度图，代表卷积运算，然后梯度的强度GM定义为：
3.根据权利要求1-2中任一项所述的基于图像梯度和相位一致性的失焦图片质量评价方法，其特征在于，利用最大值策略对图像的梯度强度图GM和相位一致性图PC进行融合，形成图像的模糊程度图，即：
B＝max{GM,PC}
其中，B表示图像的模糊程度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610080803.1A CN105631890B (zh) | 2016-02-04 | 2016-02-04 | 基于图像梯度和相位一致性的失焦图片质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610080803.1A CN105631890B (zh) | 2016-02-04 | 2016-02-04 | 基于图像梯度和相位一致性的失焦图片质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105631890A CN105631890A (zh) | 2016-06-01 |
| CN105631890B true CN105631890B (zh) | 2019-05-24 |
Family
ID=56046776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610080803.1A Active CN105631890B (zh) | 2016-02-04 | 2016-02-04 | 基于图像梯度和相位一致性的失焦图片质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105631890B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
| CN107169484B (zh) * | 2017-07-14 | 2021-01-12 | 南京邮电大学 | 基于人眼视觉特性的图像质量评价方法 |
| CN107610093B (zh) * | 2017-08-02 | 2020-09-25 | 西安理工大学 | 基于相似性特征融合的全参考型图像质量评价方法 |
| CN110070519B (zh) * | 2019-03-13 | 2023-07-14 | 西安电子科技大学 | 基于相位一致性的拼接图像质量测定方法、图像拼接系统 |
| CN110807745B (zh) * | 2019-10-25 | 2022-09-16 | 北京小米智能科技有限公司 | 图像处理方法及装置、电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217404A (zh) * | 2014-08-27 | 2014-12-17 | 华南农业大学 | 雾霾天视频图像清晰化处理方法及其装置 |
| CN104581143A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种基于机器学习的无参考立体图像质量客观评价方法 |
-
2016
- 2016-02-04 CN CN201610080803.1A patent/CN105631890B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217404A (zh) * | 2014-08-27 | 2014-12-17 | 华南农业大学 | 雾霾天视频图像清晰化处理方法及其装置 |
| CN104581143A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种基于机器学习的无参考立体图像质量客观评价方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Fast Feature Similarity Index for Image Quality Assessment;Shaoping Xu et al.;《International Journal of Signal Processing, Image Processing and Pattern Recognition》;20151130;第8卷(第11期);179-194页 |
| image quality assessment based on structural saliency;Ziran Zhang et al.;《Proceedings of the 19th International Conference on Digital Signal Processing》;20140823;摘要及第II部分 |
| 结合HVS和相似特征的图像质量评估方法;王正友 等;《仪器仪表学报》;20120731;第33卷(第7期);2-3部分 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105631890A (zh) | 2016-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zamir et al. | Learning enriched features for fast image restoration and enhancement | |
| CN105631890B (zh) | 基于图像梯度和相位一致性的失焦图片质量评价方法 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN104616274B (zh) | 一种基于显著性区域提取的多聚焦图像融合方法 | |
| CN111612741B (zh) | 一种基于失真识别的精确无参考图像质量评价方法 | |
| Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
| CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 | |
| CN104899834A (zh) | 基于sift算法的模糊图像识别方法及装置 | |
| Wang et al. | Gradient-based no-reference image blur assessment using extreme learning machine | |
| CN111429392A (zh) | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 | |
| CN110796616A (zh) | 基于分数阶微分算子的l0范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN117274759A (zh) | 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合系统 | |
| CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| CN104346810A (zh) | 基于图片质量水平分类的图片质量评价方法 | |
| Amirshahi et al. | Reviving traditional image quality metrics using CNNs | |
| Szandała | Convolutional neural network for blur images detection as an alternative for Laplacian method | |
| CN106157240B (zh) | 基于字典学习的遥感图像超分辨率方法 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| Akamine et al. | Video quality assessment using visual attention computational models | |
| CN104766287A (zh) | 一种基于显著性检测的模糊图像盲复原方法 | |
| Song et al. | A single image dehazing method based on end-to-end cpad-net network in deep learning environment | |
| Tong et al. | Visual attention inspired distant view and close-up view classification | |
| CN112508828A (zh) | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 | |
| Tian et al. | A modeling method for face image deblurring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |