CN107578399B - 基于边界特征分割的全参考图像质量评价方法 - Google Patents
基于边界特征分割的全参考图像质量评价方法 Download PDFInfo
- Publication number
- CN107578399B CN107578399B CN201710613139.7A CN201710613139A CN107578399B CN 107578399 B CN107578399 B CN 107578399B CN 201710613139 A CN201710613139 A CN 201710613139A CN 107578399 B CN107578399 B CN 107578399B
- Authority
- CN
- China
- Prior art keywords
- image
- boundary
- reference image
- region
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，为提出一种新型全参考图像质量评价方法，得到与主观评价更相近的结果。本发明，基于边界特征分割的全参考图像质量评价方法,步骤如下：Step1：所以首先对三原色RGB色彩空间进行转换；Step2：分别计算两幅图像的结构相似性矩阵和色彩相似性矩阵；Step3：引入边界检测算法对图像进行分区；Step4：进行低水平特征的提取；Step5：对于第二部分的综合策略，通过综合策略，将其综合后的结果作为综合策略；Step6：得到最后的参考图像和失真图像的质量评价结果。本发明主要应用于图像处理场合。
Description
技术领域
本发明涉及图像处理技术领域。图像质量评价方法在图像处理算法的分析比较、图像系统的性能优化和参数自适应调整等方面发挥着重要作用。具体讲,涉及基于边界特征分割的的全参考图像质量评价方法。
背景技术
图像质量关乎到图像的最终接收对象(人)的感受，一副好的图像可以给人更多的信息并且使人容易接受和理解。在图像的获取、处理、传输和存储过程中存在各种因素会造成图像质量的损坏。建立与人眼主观评价保持一致的客观图像质量评价模型可以评价图像系统的性能优越，从而反过来对系统进行优化。因此，近年从人眼的视觉系统角度出发的图像质量评价方法的理论和研究正在不断发展和完善。
图像质量评价方法分为主观评价方法和客观评价方法。根据原始图像的可利用程度又可以将客观评价方法又分为全参考图像质量评价、部分参考图像质量评价和无参考图像质量评价，本专利的方法为全参考图像质量评价方法即在图像质量评价过程中原始图像完全可用。
通过对人眼视觉现象的长期观察，并结合视觉生理、心理学的研究成果，人们发现了各种视觉掩盖效应，即一个独立存在的视觉刺激我们能够感知，如果把它放在某个背景中，我们就无法感知它的存在。
空间掩盖效应：图像的边缘信息对视觉很重要，特别是边缘的位置信息，人眼很容易察觉到边缘的位置变化，但是对于边缘周边像素不敏感，即使灰度的较大改变也不会影响图像的视觉效果。色彩掩盖效应：彩色的掩盖特性也就是视觉系统对彩色变化的分辨力，即在亮度变化剧烈的背景上，人对色彩的变化敏感程度明显降低。熵掩盖效应：即失真信号容易在图像平滑区域被察觉，也就是说人眼对低频区域的失真比较容易察觉而对高频区域的失真不易察觉。
发明内容
为克服现有技术的不足，本发明旨在提出一种新型全参考图像质量评价方法，结合视觉生理和心理学的相关内容，可以得到与主观评价更相近的结果。本发明采用的技术方案是，基于边界特征分割的全参考图像质量评价方法,步骤如下：
Step1：所以首先对三原色RGB色彩空间进行转换,分别将参考图像和失真图像的RGB色彩空间转换到符合人类视觉感知特性的色彩空间上；
Step2：分别计算两幅图像的结构相似性矩阵和色彩相似性矩阵；
Step3：引入边界检测算法对图像进行分区，将图像分为三个区域：边界区域，边界扩展区和缓慢变化区域，边界区域是指通过边界检测器检测后的参考图像和失真图像共同的边界区域，边界扩展区是指边界区域周围的像素点，其余区域为缓慢变化区域；
Step4：边界像素点只考虑参考图像和失真图像的结构相似性，边界扩展区只考虑参考图像和失真图像的色彩相似性，缓慢变化区域同时考虑两幅图像的结构和色彩特征，进行低水平特征的提取；
Step5：对于第二部分的综合策略，通过综合策略，对于图像中每个像素点给予不同的权重，体现该像素点在人类视觉系统对于整幅图像的观察中的重要性，这里同时考虑视觉显著性和视觉掩盖效应两部分的内容，将其综合后的结果作为综合策略；
Step6：通过低水平的特征的提取和对像素点的综合，分别得到边界区域，边界扩展区和缓慢变化区的图像质量评价结果，综合三个区域的各自的图像质量评价结果，对每个区域的结果在最终评价中所占的比例进行分配，得到最后的参考图像和失真图像的质量评价结果。
将色彩空间转换至符合人类视觉系统感知特性的LMN色彩空间：
其中L为图像的亮度，M和N为图像的色彩饱和度，L通道用于计算结构相似性，M和N通道用于对色彩相似性进行评价，对于结构相似性，采用索贝尔Sobel算法计算梯度幅值，用所得的梯度幅值G(x)来表示各像素点的结构特征，则参考图像和失真图像各像素点的梯度相似性和色彩相似性表示如下，其中Gr(x)和Gd(x)分别为参考图像和失真图像的梯度幅值，Mr(x)和Md(x)为参考图像和失真图像的M通道的数值，Nr(x)和Nd(x)为参考图像和失真图像N 通道的数值
上式中C1,C2,C3为防止分母为0的大于零的系数；
区域划分通过坎尼Canny边界检测器的得到，参考图像和失真图像共同的边界区域，该区域像素点的低水平特征相似性参数为SG(x)，由于空间掩盖效应是局部掩盖效应，所以取边界周围5*5的区域为边界扩展区，该区域的低水平特征相似性参数为SC(x)，其余区域为缓慢变化区，该区域采用(SC(x)·SG(x))作为提取的低水平特征相似性参数。
对于综合策略中视觉显著性算法考虑三个方面：1.人类视觉系统具有带通滤波性2.人们更关注于图像的中心区域3.人们对于暖色的关注度要高于冷色的关注度，即视觉显著性表示如V(x)：
V(x)＝VF(x)·VD(x)·VC(x)
VF(x),VD(x),VC(x)分别对应上面所说的三个方面，即位置x处的像素点的带通滤波性、距离中心区域的距离以及暖色程度。
对于综合策略中的视觉掩盖效应，采用熵掩盖效应来进行描述，如下式所示：
根据熵掩盖的定义，使用方差δ来衡量该点x背景区域中图像的混乱程度，选取以该像素点为中心的周围5*5的像素点作为该点的背景区域，根据背景区域中像素点和中心像素点的距离，在背景亮度计算中给予不同的权重，BL代表x位置处的像素点的背景亮度。δ值越大表明该点的掩盖效应越明显，该点的低水平特征差异性越不易被人类视觉系统感知。因此最终综合策略IM(x)为：
IM(x)＝max(Vr(x),Vd(x))·(1-min(δr(x),δd(x)))
其中Vr(x)和Vd(x)分别为参考图像和失真图像的视觉显著性参数，δr(x)和δd(x)分别为参考图像和失真图像的掩盖效应参数。
三个区域分别计算出该区域的图像质量评价参数，然后对三个区域的结果进行综合，从而得到最后的全图的图像质量评价结果。
本发明的特点及有益效果是：
本发明所提出的全局图像质量评价方法相比更贴近于人类视觉系统实际感知，所得到的评价结果与主观评价更为接近，更能代表人眼对图像的真实感受。
附图说明：
图1图像质量评价方法流程图。
图2图像质量评价方法实例。
图3分区示意图。
具体实施方式
图像质量评价分为两部分：第一部分为每个像素点低水平特征的提取，第二部分为不同像素点的相似性矩阵的综合。最终得到参考图像和失真图像的相似性参数。传统算法忽略了视觉掩盖效应在这两部分的重要作用。
因此为了得到与主观评价更相近的结果，我们引入了视觉掩盖效应来对图像进行评价。本发明提出了一种基于边界特征分割的全参考图像质量评价方法，流程图如图1所示。在传统的图像质量评价方法上根据视觉掩盖效应，引入了分区评价策略。
Step1：因为RGB色彩空间三通道关联性较强，不符合人类视觉系统的感知特性，所以首先对RGB色彩空间进行转换,分别将参考图像和失真图像的RGB色彩空间转换到符合人类视觉感知特性的色彩空间上。
Step2：分别计算两幅图像的结构相似性矩阵和色彩相似性矩阵。
Step3：我们引入坎尼(Canny)边界检测算法对图像进行分区，我们将图像分为三个区域：边界区域，边界扩展区和缓慢变化区域。边界区域是指通过边界检测器检测后的参考图像和失真图像共同的边界区域，边界扩展区是指边界区域周围的像素点，其余区域为缓慢变化区域。
Step4：对于第一部分低水平特征的提取，由空间掩盖效应和色彩掩盖效应我们可知不同特征的像素点对结构和色彩的感知不同，因此对于一幅图像中不同特征的像素点不能采用统一的低水平特征来评价。基于图像的边界特征，由于边界像素点是亮度变化剧烈的像素点的集合，由色彩掩盖效应可知人类视觉系统对于这些像素点的结构变化敏感，颜色变化不敏感。因此对于这些区域的像素点我们只考虑参考图像和失真图像的结构相似性。由空间掩盖效应可知，人类视觉系统对于边界周围像素点的结构特征不敏感，因此对于边界扩展区我们只考虑参考图像和失真图像的色彩相似性。缓慢变化区域我们同时考虑两幅图像的结构和色彩特征。
Step5：对于第二部分的综合策略，通过综合策略，对于图像中每个像素点给予不同的权重，可以体现该像素点在人类视觉系统对于整幅图像的观察中的重要性。我们同时考虑视觉显著性和视觉掩盖效应两部分的内容，将其综合后的结果作为综合策略。图像显著性表明注意焦点的选择不是由场景自身特征所决定的，而是基于它与周围环境相比较产生的相对特征。而视觉掩盖效应则表明周围像素点对于中心像素点的绝对影响，与中心像素点的特征无关，只与周围像素点的变化特征相关。视觉显著性和视觉掩盖效应是互补的，综合考虑两部分内容，我们得到每个像素点的综合策略。
Step6：通过低水平的特征的提取和对像素点的综合，我们可以分别得到边界区域，边界扩展区和缓慢变化区的图像质量评价结果。综合三个区域的各自的图像质量评价结果，对每个区域的结果在最终评价中所占的比例进行分配，得到最后的参考图像和失真图像的质量评价结果。
基于边界特征分割的全参考图像质量评价方法。下面结合图2所示的流程图，以一实例对本发明进行进一步的说明。首先将色彩空间转换至符合人类视觉系统感知特性的LMN色彩空间。
其中L为图像的亮度，M和N为图像的色彩饱和度。L通道用于计算结构相似性，M和N通道用于对色彩相似性进行评价。对于结构相似性，我们采用索贝尔(Sobel)算法计算梯度幅值，用所得的梯度幅值G(x)来表示各像素点的结构特征。则参考图像和失真图像各像素点的梯度相似性和色彩相似性可以表示如下，其中Gr(x)和Gd(x)分别为参考图像和失真图像的梯度幅值，Mr(x)和Md(x)为参考图像和失真图像的M通道的数值，Nr(x)和Nd(x)为参考图像和失真图像N通道的数值：
上式中C1,C2,C3为防止分母为0的大于零的系数。
区域划分可以通过坎尼(Canny)边界检测器的得到。如图3所示为按边界特征划分后的示意图，颜色最深的区域为参考图像和失真图像共同的边界区域，该区域像素点的低水平特征相似性参数为SG(x)。由于空间掩盖效应是局部掩盖效应，所以我们取边界周围5*5的区域为边界扩展区，图中浅灰色区域为边界扩展区，该区域的低水平特征相似性参数为SC(x)。其余区域为缓慢变化区，为图中黄色区域，该区域采用(SC(x)·SG(x))作为提取的低水平特征相似性参数。
对于综合策略中视觉显著性算法我们考虑三个方面：1.人类视觉系统具有带通滤波性2. 人们更关注于图像的中心区域3.人们对于暖色的关注度要高于冷色的关注度。即视觉显著性可以表示如V(x)：
V(x)＝VF(x)·VD(x)·VC(x)
VF(x),VD(x),VC(x)分别对应上面所说的三个方面，即位置x处的像素点的带通滤波性、距离中心区域的距离以及暖色程度。
对于综合策略中的视觉掩盖效应，我们采用熵掩盖效应来进行描述。如下式所示：
根据熵掩盖的定义，我们使用方差δ来衡量该点背景区域中图像的混乱程度。我们选取以该像素点为中心的周围5*5的像素点作为该点的背景区域。根据背景区域中像素点和中心像素点的距离，在背景亮度计算中给予不同的权重。BL代表x位置处的像素点的背景亮度，δ值越大表明该点的掩盖效应越明显，该点的低水平特征差异性越不易被人类视觉系统感知。因此最终综合策略IM(x)为：
IM(x)＝max(Vr(x),Vd(x))·(1-min(δr(x),δd(x)))
其中Vr(x)和Vd(x)分别为参考图像和失真图像的视觉显著性参数，δr(x)和δd(x)分别为参考图像和失真图像的掩盖效应参数。
如图2所示，我们可以分别得到边界区域，边界扩展区和缓慢变化区的图像质量评价结果EFS1,EFS2和EFS3。综合三个区域的各自的图像质量评价结果，对每个区域的结果在最终评价中所占的比例进行分配，得到最后的参考图像和失真图像的质量评价结果EFS。系数 a,b,c的取值可以通过对大型数据库的实际测试结果得到。
Claims (4)
1.一种基于边界特征分割的全参考图像质量评价方法，其特征是，步骤如下：
Step1：首先对三原色RGB色彩空间进行转换,分别将参考图像和失真图像的RGB色彩空间转换到符合人类视觉感知特性的色彩空间上；
Step2：分别计算两幅图像的结构相似性矩阵和色彩相似性矩阵；
Step3：引入边界检测算法对图像进行分区，将图像分为三个区域：边界区域，边界扩展区和缓慢变化区域，边界区域是指通过边界检测器检测后的参考图像和失真图像共同的边界区域，边界扩展区是指边界区域周围的像素点，其余区域为缓慢变化区域；
Step4：边界像素点只考虑参考图像和失真图像的结构相似性，边界扩展区只考虑参考图像和失真图像的色彩相似性，缓慢变化区域同时考虑两幅图像的结构和色彩特征，进行低水平特征的提取；
Step5：通过综合策略，对于图像中每个像素点给予不同的权重，体现该像素点在人类视觉系统对于整幅图像的观察中的重要性，这里同时考虑视觉显著性和视觉掩盖效应两部分的内容，将其综合后的结果作为综合策略；
Step6：通过低水平的特征的提取和对像素点的综合，分别得到边界区域，边界扩展区和缓慢变化区的图像质量评价结果，综合三个区域的各自的图像质量评价结果，对每个区域的结果在最终评价中所占的比例进行分配，得到最后的参考图像和失真图像的质量评价结果。
2.如权利要求1所述的基于边界特征分割的全参考图像质量评价方法，其特征是，将色彩空间转换至符合人类视觉系统感知特性的LMN色彩空间具体步骤是：
其中L为图像的亮度，M和N分别代表为图像的色彩饱和度的一个通道，L通道用于计算结构相似性，M和N通道用于对色彩相似性进行评价，对于结构相似性，采用索贝尔Sobel算法计算梯度幅值，用所得的梯度幅值G(x)来表示各像素点的结构特征，则参考图像和失真图像各像素点的梯度相似性和色彩相似性表示如下，其中Gr(x)和Gd(x)分别为参考图像和失真图像的梯度幅值，Mr(x)和Md(x)为参考图像和失真图像的M通道的数值，Nr(x)和Nd(x)为参考图像和失真图像N通道的数值；
上式中C1,C2,C3为防止分母为0的大于零的系数；
区域划分通过坎尼Canny边界检测器得到，参考图像和失真图像共同的边界区域，该区域像素点的低水平特征相似性参数为SG(x)，由于空间掩盖效应是局部掩盖效应，所以取边界周围5*5的区域为边界扩展区，该区域的低水平特征相似性参数为SC(x)，其余区域为缓慢变化区，该区域采用(SC(x)·SG(x))作为提取的低水平特征相似性参数。
3.如权利要求1所述的基于边界特征分割的全参考图像质量评价方法，其特征是，对于综合策略中视觉显著性算法考虑三个方面：1.人类视觉系统具有带通滤波性；2.人们更关注于图像的中心区域；3.人们对于暖色的关注度要高于冷色的关注度，即视觉显著性表示如V(x)：
V(x)＝VF(x)·VD(x)·VC(x)
VF(x),VD(x),VC(x)分别对应上面所说的三个方面，即位置x处的像素点的带通滤波性、距离中心区域的距离以及暖色程度；
对于综合策略中的视觉掩盖效应，采用熵掩盖效应来进行描述，如下式所示：
根据熵掩盖的定义，使用方差δ来衡量该点背景区域中图像的混乱程度，选取以该像素点为中心的周围5*5的像素点作为该点的背景区域，根据背景区域中像素点和中心像素点的距离，在背景亮度计算中给予不同的权重，BL代表x位置处的像素点的背景亮度，L为图像的亮度，δ值越大表明该点的掩盖效应越明显，该点的低水平特征差异性越不易被人类视觉系统感知；因此最终综合策略IM(x)为：
IM(x)＝max(Vr(x),Vd(x))·(1-min(δr(x),δd(x)))
其中Vr(x)和Vd(x)分别为参考图像和失真图像的视觉显著性参数，δr(x)和δd(x)分别为参考图像和失真图像的掩盖效应参数。
4.如权利要求1所述的基于边界特征分割的全参考图像质量评价方法，其特征是，三个区域分别计算出该区域的图像质量评价参数，然后对三个区域的结果进行综合，从而得到最后的全图的图像质量评价结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710613139.7A CN107578399B (zh) | 2017-07-25 | 2017-07-25 | 基于边界特征分割的全参考图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710613139.7A CN107578399B (zh) | 2017-07-25 | 2017-07-25 | 基于边界特征分割的全参考图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107578399A CN107578399A (zh) | 2018-01-12 |
| CN107578399B true CN107578399B (zh) | 2020-12-15 |
Family
ID=61034106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710613139.7A Expired - Fee Related CN107578399B (zh) | 2017-07-25 | 2017-07-25 | 基于边界特征分割的全参考图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578399B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859157B (zh) * | 2018-11-16 | 2023-04-11 | 天津大学 | 基于视觉注意特征的全参考图像质量评价方法 |
| CN109873696A (zh) * | 2019-01-18 | 2019-06-11 | 天津大学 | 一种能实现篡改帧定位的视频加密方法 |
| CN109903247B (zh) * | 2019-02-22 | 2023-02-03 | 西安工程大学 | 基于高斯颜色空间相关性的彩色图像高精度灰度化方法 |
| CN112308873B (zh) * | 2020-11-09 | 2024-04-05 | 西安工程大学 | 多尺度Gabor小波PCA融合图像边缘检测方法 |
| CN113298763B (zh) * | 2021-05-09 | 2022-08-19 | 复旦大学 | 一种基于显著性窗口策略的图像质量评估方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8515182B2 (en) * | 2009-02-11 | 2013-08-20 | Ecole De Technologie Superieure | Method and system for determining a quality measure for an image using multi-level decomposition of images |
| CN104144339B (zh) * | 2014-06-13 | 2016-04-13 | 宁波大学 | 一种基于人眼感知的质降参考立体图像质量客观评价方法 |
| CN104318577A (zh) * | 2014-11-06 | 2015-01-28 | 天津大学 | 多尺度全参考型图像质量评测方法 |
| CN104574363B (zh) * | 2014-12-12 | 2017-09-29 | 南京邮电大学 | 一种考虑梯度方向差异的全参考图像质量评价方法 |
| CN105825503B (zh) * | 2016-03-10 | 2019-04-23 | 天津大学 | 基于视觉显著性的图像质量评价方法 |
-
2017
- 2017-07-25 CN CN201710613139.7A patent/CN107578399B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN107578399A (zh) | 2018-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578399B (zh) | 基于边界特征分割的全参考图像质量评价方法 | |
| CN110246108B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| Maalouf et al. | CYCLOP: A stereo color image quality assessment metric | |
| CN108549874B (zh) | 一种目标检测方法、设备及计算机可读存储介质 | |
| Ganesan et al. | Segmentation and edge detection of color images using CIELAB color space and edge detectors | |
| CN103152600B (zh) | 一种立体视频质量评价方法 | |
| CN103295191A (zh) | 多尺度视觉自适应图像增强方法及评价方法 | |
| CN104103082A (zh) | 一种基于区域描述和先验知识的图像显著性检测方法 | |
| CN102523477B (zh) | 一种基于双目最小可辨失真模型的立体视频质量评价方法 | |
| CN105404888A (zh) | 结合颜色和深度信息的显著性目标检测方法 | |
| KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
| CN107705286A (zh) | 一种彩色图像质量综合评价方法 | |
| CN104574328A (zh) | 一种基于直方图分割的彩色图像增强方法 | |
| JP2015162718A (ja) | 画像処理方法、画像処理装置及び電子機器 | |
| CN106886992A (zh) | 一种基于饱和度的彩色多曝光融合图像的质量评价方法 | |
| CN110910365A (zh) | 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 | |
| CN116664462B (zh) | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 | |
| CN104331877A (zh) | 融合色调梯度的彩色图像边缘检测方法 | |
| CN109859157B (zh) | 基于视觉注意特征的全参考图像质量评价方法 | |
| Hwang et al. | Stereo image quality assessment using visual attention and distortion predictors | |
| CN101901482A (zh) | 判断去雾增强图像质量效果的方法 | |
| CN104394405A (zh) | 一种基于全参考图像的客观质量评价方法 | |
| CN109167988B (zh) | 一种基于d+w模型和对比度的立体图像视觉舒适度评价方法 | |
| CN107194906A (zh) | 一种基于曲波变换融合的图像处理方法及系统 | |
| Chu et al. | Saliency structure stereoscopic image quality assessment method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201215 Termination date: 20210725 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |