CN106780452B - 一种结合小波和角点特征的全参考屏幕图像质量评估方法 - Google Patents
一种结合小波和角点特征的全参考屏幕图像质量评估方法 Download PDFInfo
- Publication number
- CN106780452B CN106780452B CN201611114594.4A CN201611114594A CN106780452B CN 106780452 B CN106780452 B CN 106780452B CN 201611114594 A CN201611114594 A CN 201611114594A CN 106780452 B CN106780452 B CN 106780452B
- Authority
- CN
- China
- Prior art keywords
- screen image
- reference screen
- distorted
- corner feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000035945 sensitivity Effects 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000013441 quality evaluation Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 3
- 238000001303 quality assessment method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000016776 visual perception Effects 0.000 abstract description 5
- 229910000831 Steel Inorganic materials 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000002592 echocardiography Methods 0.000 abstract 1
- 239000000284 extract Substances 0.000 abstract 1
- 239000010959 steel Substances 0.000 abstract 1
- 230000004304 visual acuity Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种结合小波和角点特征的全参考屏幕图像质量评估方法。该方法首先分别提取参考屏幕图像和失真屏幕图像的角点特征相似性图，并以小波变换系数幅值来权衡参考屏幕图像的视觉敏感度，基于该视觉敏感度对角点特征相似性图进行加权融合，从而计算得到失真屏幕图像质量分数。本发明充分利用了角点特征对于图像局部结构的描述能力且考虑到了人眼视觉感知对屏幕图像中不同区域的视觉敏感程度不同，具有较好的屏幕图像质量评估性能，且计算简单。
Description
技术领域
本发明涉及图像处理领域，特别是一种结合小波和角点特征的全参考屏幕图像质量评估方法。
背景技术
屏幕图像是一种复合图像，既包含由计算机直接生成的图表和文字，又包含摄像机拍摄的自然图像。由于在虚拟屏幕共享、在线教育和广告等领域具有较大的应用价值，屏幕图像成为学术界和工业界研究热点。然而同自然图像一样，屏幕图像在生成、压缩、保存、传输和显示过程中不可避免地会引入各种失真导致图像质量退化。因此，如何对屏幕图像进行精确的图像质量评估有助于提高相关屏幕图像处理系统性能，具有重要理论意义和实际应用价值。
图像质量评估方法分为主观质量评估方法和客观质量评估方法。主观质量评估方法是由观察者在标准规定的光线、屏幕尺寸、观测距离等环境下对图像进行主观打分。通常人眼是图像的最终感知者，因此主观质量评估是最科学准确的，但是存在致命缺点：耗时耗力不易实际应用。相反，客观质量评估方法通过设计数学模型以逼近人眼视觉特性进而衡量失真图像质量，具有一定的主观质量评价性能且易于实际应用的优点。
传统的均方误差(Mean Square Error,MSE)以及峰值信噪比(Peak Signal toNoise Ratio,PSNR)是最简单和最常用的客观图像质量评估算法，具有明确物理含义和计算简单的优点，但是并不能很准确反应人眼对图像的主观视觉感知。因此，如何充分考虑人眼视觉感知特性成为建立有效客观质量评估算法的关键点。其中一个里程碑的工作是结构相似度(Structural Similarity, SSIM)，其充分利用到人类视觉系统对于结构失真的敏感度以有效判断图像质量且计算简单。随后涌现出各种各样的图像质量评价方法，充分利用了人眼对图像中比较敏感的边缘信息，信息保真度，相位信息等，进一步提高了客观质量评估与人眼对图像的主观视觉感知的一致性。
然而现有绝大多数图像客观质量评估方法均针对自然图像而设计。由于屏幕图像与自然图像具有不同的图像结构和统计特性，如具有更尖锐的边缘，所以它们没有充分考虑屏幕图像特性，并不能很准确地评估屏幕图像质量。因此在图像处理领域，如何准确有效地评估屏幕图像质量仍然是一个函待解决的问题。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种高效、计算简单的结合小波加权和角点特征相似性的全参考屏幕图像质量评估方法。
本发明采用如下技术方案：
一种结合小波和角点特征的全参考屏幕图像质量评估方法，其特征在于，包括如下步骤：
1)输入一张参考屏幕图像r和一张失真屏幕图像d；
2)分别提取参考屏幕图像r和失真屏幕图像d的角点特征cfr(x,y)、cfd(x,y)；
3)得到参考屏幕图像r和失真屏幕图像d的角点特征相似性图cfs(x,y)；
4)计算参考屏幕图像r的小波变换系数幅值以衡量其视觉敏感度；
5)基于步骤4)得到的视觉敏感度对步骤3)得到的角点特征相似性图进行加权池化得到失真屏幕图像d的质量评估值。
优选的，在步骤1)中分别对参考屏幕图像r与失真屏幕图像d进行灰度化处理，将输入的彩色图像转化为灰度图像。
优选的，在步骤5)中，通过提取参考屏幕图像的视觉敏感度图，对角点特征相似性进行加权融合，得到质量评估值。
优选的，在步骤2)中，所述的提取参考屏幕图像r的角点特征，步骤如下：
2.1a)分别对参考屏幕图像r计算得到水平方向和垂直方向的差分图，计算步骤如下：
其中，r(x,y)为参考屏幕图像r中的(x,y)位置的像素，Dh为水平方向差分算子，Dv为垂直方向差分算子，二者对应的卷积核定义如下：
2.2a)计算参考屏幕图像r的相关矩阵Mr(x,y)，步骤如下：
其中，和 为高斯函数，σ为标准差，取值为0.3；
2.3a)提取参考屏幕图像r的角点特征，步骤如下：
其中det(Mr)和trace(Mr)分别表示参考屏幕图像r的相关矩阵Mr的行列式值及迹。
优选的，所述的提取失真屏幕图像d的角点特征，步骤如下：
2.1b)分别对失真屏幕图像d计算得到水平方向和垂直方向的差分图，计算步骤如下：
其中，d(x,y)为失真屏幕图像d中(x,y)位置的像素；Dh为水平方向差分算子，Dv为垂直方向差分算子，对应卷积核定义如下：
2.2b)计算失真屏幕图像d的相关矩阵Md(x,y)，具体如下：
其中，和σ为标准差，取值为0.3；
2.3b)提取失真屏幕图像d的角点特征，步骤如下：
其中det(Md)和trace(Md)分别表示失真屏幕图像d的相关矩阵Md的行列式值及迹。
优选的，在步骤3)中，计算参考屏幕图像r和失真屏幕图像d的角点特征相似性图：
其中c1为防止公式分母为0的参数，取正数。
优选的，在步骤4)中，计算参考屏幕图像r的小波变换系数幅值以衡量视觉敏感度，其计算步骤如下：
4.1)计算参考屏幕图像r在s尺度下的水平方向和垂直方向的小波变换系数，和具体如下
其中，尺度s＝2j,j＝2；和的初始值和m表示低通滤波器H(m)第m个点，低通滤波器H(m)的定义为：
4.2)计算参考屏幕图像r的小波变换系数幅值作为视觉敏感度图：
优选的，在步骤5)中，基于视觉敏感度图对角点特征相似性图进行加权池化得到失真屏幕图像d的质量评估值：
其中Ω代表角点特征相似度图cfs(x,y)和视觉敏感度图WMs(x,y)中的所有像素集。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明提供了一种结合小波和角点特征的全参考屏幕图像质量评估方法，一方面充分利用了角点特征对于图像局部结构的描述能力，另一方面充分考虑到了人眼对屏幕图像中不同区域的视觉敏感程度不同，如视觉感知对边缘区域的敏感度大于屏幕图像中的平滑区域。因此，本方法计算得到的客观分数与主观评价有较高的一致性，且其计算简单。
附图说明
图1为本发明方法的流程示意图。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
参照图1，一种结合小波和角点特征的全参考屏幕图像质量评估方法，包括如下步骤：
1)输入一张参考屏幕图像r和一张失真屏幕图像d,分别对参考屏幕图像r与失真屏幕图像d进行灰度化处理，将输入的彩色图像转化为灰度图像；
2)分别提取参考屏幕图像r和失真屏幕图像d的角点特征cfr(x,y)、cfd(x,y)。其中提取参考屏幕图像r的角点特征，步骤如下：
2.1a)分别对参考屏幕图像r计算得到水平方向和垂直方向的差分图，计算步骤如下：
其中，r(x,y)为参考屏幕图像r中的(x,y)位置的像素；Dh为水平方向差分算子，Dv为垂直方向差分算子，对应卷积核定义如下：
2.2a)计算参考屏幕图像r的相关矩阵Mr(x,y)，步骤如下：
其中，和 为高斯函数，σ为标准差，取值为0.3；
2.3a)提取参考屏幕图像r的角点特征，步骤如下：
其中det(Mr)和trace(Mr)分别表示参考屏幕图像r的相关矩阵Mr的行列式值及迹。
提取失真屏幕图像d的角点特征，步骤如下：
2.1b)分别对失真屏幕图像d计算得到水平方向和垂直方向的差分图，计算步骤如下：
其中，d(x,y)为参考屏幕图像d中的(x,y)位置的像素；Dh为水平方向差分算子，Dv为垂直方向差分算子，对应卷积核定义如下：
2.2b)计算失真屏幕图像d的相关矩阵Md(x,y)，具体如下：
其中，和σ为标准差，取值为0.3；
2.3b)提取失真屏幕图像d的角点特征，步骤如下：
其中det(Md)和trace(Md)分别表示失真屏幕图像d的相关矩阵Md的行列式值及迹。
3)计算参考屏幕图像r和失真屏幕图像d的角点特征相似性图：
其中c1为防止公式分母为0的参数，取正数。
4)计算参考屏幕图像r的小波变换系数幅值以衡量其视觉敏感度；其计算步骤如下：
4.1)计算参考屏幕图像r在s尺度下的水平方向和垂直方向的小波变换系数，和具体如下
其中，尺度s＝2j,j＝2；和的初始值和m表示低通滤波器H(m)第m个点，低通滤波器H(m)的定义为：
4.2)计算参考屏幕图像r的小波变换系数幅值作为视觉敏感度图：
5)基于步骤4)得到的视觉敏感度对步骤3)得到的角点特征相似性图进行加权池化得到失真屏幕图像d的质量评估值。即通过提取参考屏幕图像的视觉敏感度图，对角点特征相似性进行加权合并，得到质量评估值：
其中，Ω代表角点特征相似度图cfs(x,y)和视觉敏感度图WMs(x,y)中的所有像素集
由上式可知，WMCS值与失真屏幕图像质量成正比，即WMCS值越大表示屏幕图像失真越小，主观质量越好。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (5)
1.一种结合小波和角点特征的全参考屏幕图像质量评估方法，其特征在于，包括如下步骤：
1)输入一张参考屏幕图像r和一张失真屏幕图像d；
2)分别提取参考屏幕图像r和失真屏幕图像d的角点特征cfr(x,y)、cfd(x,y)；
所述的提取参考屏幕图像r的角点特征，步骤如下：
2.1a)分别对参考屏幕图像r计算得到水平方向和垂直方向的差分图，计算步骤如下：
其中，r(x,y)为参考屏幕图像r中的(x,y)位置的像素，Dh为水平方向差分算子，Dv为垂直方向差分算子，二者对应的卷积核定义如下：
2.2a)计算参考屏幕图像r的相关矩阵Mr(x,y)，步骤如下：
其中，和 为高斯函数，为高斯函数，σ为标准差，取值为0.3；
2.3a)提取参考屏幕图像r的角点特征，步骤如下：
其中det(Mr)和trace(Mr)分别表示参考屏幕图像r的相关矩阵Mr的行列式值及迹；
所述的提取失真屏幕图像d的角点特征，步骤如下：
2.1b)分别对失真屏幕图像d计算得到水平方向和垂直方向的差分图，计算步骤如下：
其中，d(x,y)为失真屏幕图像d中(x,y)位置的像素；Dh为水平方向差分算子，Dv为垂直方向差分算子，对应卷积核定义如下：
2.2b)计算失真屏幕图像d的相关矩阵Md(x,y)，具体如下：
其中，和σ为标准差，取值为0.3；
2.3b)提取失真屏幕图像d的角点特征，步骤如下：
其中det(Md)和trace(Md)分别表示失真屏幕图像d的相关矩阵Md的行列式值及迹；
3)得到参考屏幕图像r和失真屏幕图像d的角点特征相似性图cfs(x,y)；
4)计算参考屏幕图像r的小波变换系数幅值得到视觉敏感度WMs(x,y)；
5)基于步骤4)得到的视觉敏感度图对步骤3)得到的角点特征相似性图进行加权融合，得到失真屏幕图像d的质量评估值。
2.如权利要求1所述的一种结合小波和角点特征的全参考屏幕图像质量评估方法，其特征在于：在步骤1)中分别对参考屏幕图像r与失真屏幕图像d进行灰度化处理，将输入的彩色图像转化为灰度图像。
3.如权利要求1所述的一种结合小波和角点特征的全参考屏幕图像质量评估方法，其特征在于：在步骤3)中，计算参考屏幕图像r和失真屏幕图像d的角点特征相似性图：
其中c1为防止公式分母为0的参数，取正数。
4.根据权利要求1所述的一种结合小波和角点特征的全参考屏幕图像质量评估方法，其特征在于：在步骤4)中，计算参考屏幕图像r的小波变换系数幅值以衡量视觉敏感度，其计算步骤如下：
4.1)计算参考屏幕图像r在s尺度下的水平方向和垂直方向的小波变换系数，和具体如下
其中，尺度s＝2j,j＝2；和的初始值和m表示低通滤波器H(m)第m个点，低通滤波器H(m)的定义为：
4.2)计算参考屏幕图像r的小波变换系数幅值作为视觉敏感度图：
5.根据权利要求1所述的一种结合小波和角点特征的全参考屏幕图像质量评估方法，其特征在于：在步骤5)中，基于视觉敏感度图对角点特征相似性图进行加权池化得到失真屏幕图像d的质量评估值：
其中Ω代表角点特征相似度图cfs(x,y)和视觉敏感度图WMs(x,y)中的所有像素集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611114594.4A CN106780452B (zh) | 2016-12-07 | 2016-12-07 | 一种结合小波和角点特征的全参考屏幕图像质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611114594.4A CN106780452B (zh) | 2016-12-07 | 2016-12-07 | 一种结合小波和角点特征的全参考屏幕图像质量评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780452A CN106780452A (zh) | 2017-05-31 |
| CN106780452B true CN106780452B (zh) | 2019-08-06 |
Family
ID=58874768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611114594.4A Active CN106780452B (zh) | 2016-12-07 | 2016-12-07 | 一种结合小波和角点特征的全参考屏幕图像质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780452B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110858394B (zh) * | 2018-08-20 | 2021-03-05 | 深圳云天励飞技术有限公司 | 一种图像质量评估方法、装置、电子设备及计算机可读存储介质 |
| CN109978859B (zh) * | 2019-03-27 | 2022-06-14 | 福州大学 | 一种基于可见失真池化的图像显示适应质量评估方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170581A (zh) * | 2011-05-05 | 2011-08-31 | 天津大学 | 基于hvs的ssim与特征匹配立体图像质量评价方法 |
| CN105809691A (zh) * | 2016-03-09 | 2016-07-27 | 华侨大学 | 一种全参考屏幕图像质量评估方法 |
| CN106023224A (zh) * | 2016-05-30 | 2016-10-12 | 天水师范学院 | 一种中药材显微图像的pcnn自动分割方法 |
-
2016
- 2016-12-07 CN CN201611114594.4A patent/CN106780452B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170581A (zh) * | 2011-05-05 | 2011-08-31 | 天津大学 | 基于hvs的ssim与特征匹配立体图像质量评价方法 |
| CN105809691A (zh) * | 2016-03-09 | 2016-07-27 | 华侨大学 | 一种全参考屏幕图像质量评估方法 |
| CN106023224A (zh) * | 2016-05-30 | 2016-10-12 | 天水师范学院 | 一种中药材显微图像的pcnn自动分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 《一种基于人眼视觉特性的图像质量评价》;丁绪星等;《中国图象图像学报》;20040229;第190-194页 |
| 《基于Harris角点和SIFT算法的泵体识别》;俞维露;《中国优秀硕士学位论文全文数据库信息科技辑》;20111215;第14-16页 |
| 《基于角点的结构相似性图像质量评价方法研究》;董慧;《中国优秀硕士学位论文全文数据库信息科技辑》;20130315;第22-41页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780452A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
| Fu et al. | Screen content image quality assessment using multi-scale difference of Gaussian | |
| CN109978854B (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
| CN101976444B (zh) | 一种基于像素类型的结构类似性图像质量客观评价方法 | |
| CN102421007B (zh) | 基于多尺度结构相似度加权综合的图像质量评价方法 | |
| Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
| CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
| CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
| CN108830823B (zh) | 基于空域结合频域分析的全参考型图像质量评价方法 | |
| CN106504230B (zh) | 基于相位一致性的全参考彩色屏幕图像质量评估方法 | |
| CN108805825B (zh) | 一种重定位图像质量评价方法 | |
| CN105205820A (zh) | 一种改进的特征相似性图像质量评估方法 | |
| CN112184672A (zh) | 一种无参考图像质量评价方法及系统 | |
| CN111127298B (zh) | 一种全景图像盲质量评估方法 | |
| CN107018410B (zh) | 一种基于预注意机制和空间依赖性的无参考图像质量评价方法 | |
| CN106780452B (zh) | 一种结合小波和角点特征的全参考屏幕图像质量评估方法 | |
| CN110691236B (zh) | 一种全景视频质量评价方法 | |
| CN104574363A (zh) | 一种考虑梯度方向差异的全参考图像质量评价方法 | |
| CN106023214A (zh) | 基于中央凹视梯度结构相似性的图像质量评价方法及系统 | |
| CN103996188B (zh) | 一种基于Gabor加权特征的全参考型图像质量评价方法 | |
| CN107945151A (zh) | 一种基于相似性变换的重定位图像质量评价方法 | |
| CN105809691A (zh) | 一种全参考屏幕图像质量评估方法 | |
| CN111047618A (zh) | 基于多尺度的无参考屏幕内容图像质量评估方法 | |
| Fu et al. | Screen content image quality assessment using Euclidean distance | |
| CN107578406A (zh) | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |