CN110084782B - 基于图像显著性检测的全参考图像质量评价方法 - Google Patents

基于图像显著性检测的全参考图像质量评价方法 Download PDF

Info

Publication number
CN110084782B
CN110084782B CN201910239746.0A CN201910239746A CN110084782B CN 110084782 B CN110084782 B CN 110084782B CN 201910239746 A CN201910239746 A CN 201910239746A CN 110084782 B CN110084782 B CN 110084782B
Authority
CN
China
Prior art keywords
image
distorted
saliency
regions
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910239746.0A
Other languages
English (en)
Other versions
CN110084782A (zh
Inventor
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910239746.0A priority Critical patent/CN110084782B/zh
Publication of CN110084782A publication Critical patent/CN110084782A/zh
Application granted granted Critical
Publication of CN110084782B publication Critical patent/CN110084782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像显著性检测的全参考图像质量评价方法,其包括以下步骤:空间转换(提取失真图像和其对应的原始图像,将图像从RGB颜色空间转换到Lab颜色空间),图像分割(将Lab颜色空间下的彩色图像分割成区域),RCC显著性检测,超像素分割(对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割),AMC显著性检测,VSI计算。本发明的有益之处在于:(1)我们通过显著性检测得到图像的显著性区域,应用提取出的显著性图像进行图像质量评价,绕开了人眼视觉系统建模难的问题,所以本发明提供的评价方法思路简单,较好的符合人眼视觉系统特性,与主观评价具有较好的一致性;(2)具有较强的鲁棒性及较好的预测性能。

Description

基于图像显著性检测的全参考图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法,具体涉及一种基于图像显著性检测的全参考图像质量评价方法,属于数字视频图像质量评价技术领域。
背景技术
随着计算机技术的不断发展,人类对图像处理的需求大幅增加,并在遥感、生物医学、军事、工农业生产、政府工作等领域得到了广泛的应用。生物心理学研究证明,对于一幅图像,人类只关注其中极少的显著性部分而忽略其他区域。图像显著性检测可以只专注于一幅图像的显著性区域而舍弃其他部分,这对图像处理来说,大大节省了计算时间和内存,所以图像显著性检测在图像处理中发挥了非常重要的角色。
鉴于大部分的数字图像处理算法都是为了保持和提升被人类接收的图像的观测质量,图像质量评价技术对日新月异的计算机视觉领域具有重要作用。由于在图像的采集、传输、分析、处理和重建的过程中,都可能会发生失真的情况,为了保持、量化和增强数字图像的质量,能够对数字图像进行质量的评价就显得尤为重要。
传统的图像质量评价是指人眼观察并打分的主观图像质量评价。采用大量的观察员进行评分并取平均值的“平均意见分数”(MOS,Mean Opinion Score)很长时间内都是对数字图像进行评价的最优策略,但是此方法的一些缺陷也不能忽视,因为观察者的观察动机、知识背景、观测环境及心理状态等情况都不尽相同,无法精确可重复的进行评价,其次这种方式需要花费大量的人力物力,速度慢而且成本过高,可操作性不强,而且这种方法不能用数学模型进行描述,难以大量应用于工业生产中。
广义上来讲,图像质量是图像的一个固有属性,是根据数字图像的降质程度来度量的。图像质量评价也是对视觉保真度的测量,主要评价失真图像与原始图像之间的相似程度,即寻找某种符合视觉特性有意义的标准来度量数字图像之间的距离。图像质量的客观评价方法是设计数学模型,此模型能自动测量图像的感知质量,可以对图像处理算法和系统进行评估,图像采集设备可以检测图像的质量然后自动调节并选择能达到最佳效果的图像数据,例如:网络视频服务器通过监测传输的图像质量,能够灵活的配置数字流资源。
发明内容
本发明的目的在于提供一种基于图像显著性检测的、计算简单、时间复杂度低、对图像有较好的鲁棒性、与主观质量评价具有较高的一致性的全参考图像质量评价方法。
为了实现上述目标,本发明采用如下的技术方案:
一种基于图像显著性检测的全参考图像质量评价方法,其特征在于,包括以下步骤:
Step1:空间转换
提取失真图像和其对应的原始图像,并将失真图像和其对应的原始图像从RGB颜色空间转换到Lab颜色空间;
Step2:图像分割
将Lab颜色空间下的彩色图像分割成区域;
Step3:RCC显著性检测
(1)计算区域的颜色对比度
对于分割成区域的图像,计算每个区域的颜色距离,计算公式如下:
Figure BDA0002009293720000031
其中,Dr(r1,r2)是两个区域r1和r2的颜色距离度量,f(ck,i)是第i个颜色ck,i在第k个区域rk的所有nk种颜色中出现的概率,其中k=1或2,nk是图像中所含的颜色总数;
(2)计算区域的亮度对比度
对于分割成区域的图像,计算每个区域的亮度度量,计算公式如下:
Figure BDA0002009293720000032
其中,Nk和Ni分别为区域k和i中的像素个数,Ik,n和Ii,m为区域k和i中第n个和第m个像素的亮度值;
(3)结合空间权值计算显著值
显著值的计算公式如下:
Figure BDA0002009293720000033
其中,Ds(rk,ri)是区域rk和ri的欧式空间距离,
Figure BDA0002009293720000034
Da(rk,ri)=D1(rk,ri)+Dr(rk,ri),ω(ri)作为权值是区域ri中的像素个数,σs是控制空间权值强度;
Step4:超像素分割
对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割;
Step5:AMC显著性检测
根据超像素分割后的图像中马尔可夫链的被吸收时间遍历马尔科夫链的击中时间,同时考虑显著目标和背景的外观差异及空间的分布,从转移节点到吸收节点的被吸收时间依赖它们之间的路径权重及空间距离,建立一种图模型,将显著性检测作为半监督分类的一种方式,根据部分吸收随机游走的吸收概率进行马尔可夫链的显著性检测,得到显著图;
Step6:VSI计算
将以上步骤计算出的失真图像和其对应的原始图像的RCC显著图VS3、VS1以及失真图像和其对应的原始图像的AMC显著图VS4、VS2共计四个显著图作为输入,计算得出失真图像的图像质量。
前述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step2中,将Lab颜色空间下的彩色图像分割成区域的方法具体如下:
(1)计算每一个像素点与其8邻域或4邻域的不相似度;
(2)将边按照不相似度从小到大排列,排序得到e1,e2,…,eN
(3)选择ei并对当前选择的ei进行合并判断,i∈[1,N],令其所连接的顶点为(Vm,Vn),如果满足合并条件,则执行步骤(4),否则执行步骤(5),该合并条件有两条:
(i)Vm和Vn不属于同一个区域,即Id(Vm)≠Id(Vn);
(ii)每个像素点的不相似度不大于Vm和Vn两个区域内部的不相似度;
(4)更新阈值以及类标号,将Id(Vm)≠Id(Vn)的类标号统一为Id(Vm)的类标号,更新该类的不相似性阈值;
(5)如果i≤N,则按照排好的顺序,选择下一条边转到步骤(3),否则结束。
前述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step3中,选择
Figure BDA0002009293720000051
像素坐标归一化到{0,1}区间内。
前述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step4中,对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割的方法具体如下:
(1)初始化种子点
按照设定的超像素个数,在图像内均匀的分配种子点;
(2)在种子点的n×n邻域内重新选择种子点
计算该邻域内所有像素点的梯度值,将种子点移到该邻域内梯度最小的地方;
(3)在每个种子点周围的邻域内为每个像素点分配类标签
搜索范围限制为2S×2S;
(4)距离度量
对于每个搜索到的像素点,分别计算它和该种子点的距离,计算公式如下:
Figure BDA0002009293720000061
Figure BDA0002009293720000062
Figure BDA0002009293720000063
其中,dc代表颜色距离,ds代表空间距离,D′代表距离度量,Ns是类内最大空间距离,定义为Ns=S=sqrt(N/K),适用于每个聚类,Nc代表最大的颜色距离,l,a,b是图像经过Lab空间变换的三个要素,(x,y)是图像中像素点的坐标,下标i表示每个搜索到的像素点,下标j表示选择的种子点;
(5)迭代优化
不断迭代直到误差收敛;
(6)增强连通性
新建一张标记表,表内元素均为-1,按照“Z”型走向将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素,遍历过的像素点分配给相应的标签,直到所有点遍历完毕为止。
前述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step6中,计算失真图像的图像质量的公式为:
Figure BDA0002009293720000064
Figure BDA0002009293720000065
VSm=max(VS1(x),VS2(x),VS3(x),VS4(x))
S(x)=[SRCC(x)]α·[SAMC(x)]β
Figure BDA0002009293720000071
公式中,SRCC(x)是经过RCC检测的原始图像和其相应的失真图像差异的量化结果,SAMC(x)是经过AMC显著性检测的原始图像和其相应的失真图像差异的量化结果,VSm是权重,S(x)是图像质量的度量,Ω表示整幅图像的空间区域,C是常数。
前述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,α和β分别取0.04和0.02。
前述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,c取0.01。
本发明的有益之处在于:
(1)因为人眼视觉系统是一个高度复杂、非线性的系统,而且目前对人眼视觉系统的认识非常有限,所以无法建立一个精确又统一的视觉模型,而人类可以特别容易的寻找到一幅图像中的显著性区域,所以我们通过显著性检测得到图像的显著性区域,应用提取出的显著性图像进行图像质量评价,绕开了人眼视觉系统建模难的问题,所以本发明提供的评价方法思路简单,较好的符合人眼视觉系统特性,与主观评价具有较好的一致性。
(2)经典的自低而上的图像质量评价方法是尝试仿真可能与图像质量评价相关的人类视觉系统中的功能部件,最终是为了建立一个与人类视觉系统功能类似的模型,从而得到图像质量评价的结果,但是由于图像的空间维度与图像的像素数目一致,图像的空间维度是成千上万的排列,所以这类方法花费巨大,是典型的“维度灾难”,本发明提供了自顶向下的方法,缓和了维数问题,明显简化了算法。
(3)客观图像质量评价方法显然在很多的应用中都发挥了重要的作用,传统的质量评价方法如MSE算法,目前仍在普遍的应用,但是MSE算法用一维表达式严格定义,所以并没有包括图像的任何空间信息,而有些空间信息对测量图像的质量发挥了非常重要的作用,同时MSE算法对空间平移、尺度及旋转具有高度敏感性,然而人眼对这些变换的主观评价几乎可以忽略,本发明所采用的RCC(Region Contrast Contact)显著性检测算法充分考虑了空间关系在人类视觉系统中的重要作用,因此具有较强的鲁棒性及较好的预测性能。
附图说明
图1是本发明提供的基于图像显著性检测的全参考图像质量评价方法的流程图;
图2是用来进行图像质量评价的一组原始图像;
图3是图2中的原始图像经过RCC检测后提取的RCC显著图;
图4是图2中的原始图像经过AMC检测后提取的AMC显著图;
图5是图2中的原始图像经高斯白噪声处理后得到的失真图像;
图6是图5中的失真图像经过RCC检测后提取的RCC显著图;
图7是图5中的失真图像经过AMC检测后提取的AMC显著图;
图8(a)是标准的k-means的搜索示意图;
图8(b)是SLIC的搜索示意图。
具体实施方式
客观图像质量评价方法可以分为:全参考、无参考和部分参考的图像质量评价方法。本发明属于一种全参考的图像质量评价方法。
可靠的视觉显著性能够在没有先验知识的情况下对图像进行适当的处理。通过研究发现,人们认为人类的大脑皮质细胞在它们的接受域可能是硬编码的,因为这样可以优先响应高对比度的刺激。基于全局对比度的检测方法倾向于将大范围的目标和周围的环境分离。这种方法优于那些通常只在轮廓附近产生较高显著性的局部对比度方法。全局的考虑可以为图像中相似区域分配一个相近的显著性值,并且可以均匀的突出目标。一个区域的显著性,主要是由它和周围区域的对比度决定,相距很远的区域起的作用较小。
本发明采用一种融合的显著性检测算法,将吸收马尔可夫链进行显著性检测的算法和基于区域的显著性检测算法有机的结合起来,然后将生成的显著图作为特征进行图像质量的计算。
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1,本发明提供的基于图像显著性检测的全参考图像质量评价方法具体包括以下步骤:
Step1:空间转换
提取失真图像(如图5所示)和其对应的原始图像(如图2所示),并将失真图像和其对应的原始图像从RGB颜色空间转换到Lab颜色空间。
RGB颜色空间不能直接转换到Lab颜色空间,需要借助XYZ颜色空间,即需要先把RGB颜色空间转换到XYZ颜色空间,然后再把XYZ颜色空间转换到Lab颜色空间,其中:
(1)RGB颜色空间与XYZ颜色空间的转换关系如下:
Figure BDA0002009293720000101
(2)XYZ颜色空间与Lab颜色空间的转换关系如下:
L=116f(Y/Yn)–16
a=500[f(X/Xn)-f(Y/Yn)]
b=200[f(X/Xn)-f(Z/Zn)]
Step2:图像分割
将Lab颜色空间下的彩色图像分割成区域,具体如下:
(1)计算每一个像素点与其8邻域或4邻域的不相似度;
(2)将边按照不相似度从小到大排列,排序得到e1,e2,…,eN
(3)选择ei并对当前选择的ei进行合并判断,i∈[1,N],令其所连接的顶点为(Vm,Vn),如果满足合并条件,则执行步骤(4),否则执行步骤(5),该合并条件有两条:
(i)Vm和Vn不属于同一个区域,即Id(Vm)≠Id(Vn);
(ii)每个像素点的不相似度不大于Vm和Vn两个区域内部的不相似度;
(4)更新阈值以及类标号,将Id(Vm)≠Id(Vn)的类标号统一为Id(Vm)的类标号,更新该类的不相似性阈值;
(5)如果i≤N,则按照排好的顺序,选择下一条边转到步骤(3),否则结束。
图像区域之间的边界定义是图像分割算法的关键,我们采用基于图表示的使用贪心选择来产生图像分割的方法,此方法能够考虑图像的全局特征,在全局特征变化比较小的情况下,此方法对细节的重视性将大于特征变化比较大时的情形,因此能够提取到感知重要的区域。另外,该方法在时间效率上,基本上与图像的图表示的边数量成线性关系,而图像的图表示的边与像素点成正比,也就是说,图像分割的时间效率与图像的像素点个数成线性关系。
基于图表示的使用贪心选择来产生图像分割的方法有一个非常重要的特性:它能保持低变化区域的细节,同时能够忽略高变化区域的细节。因此,该方法对图像有一个很好的分割效果,即能够找出视觉上一致的区域,也就是高变化区域有一个很好聚合,能够把它们分在同一个区域。
Step3:RCC显著性检测
人们在观看图像时,图像中与周围物体对比度越大的区域越容易被注意到。除了对比度之外,空间关系在人类注意力方面也起到非常大的作用,相邻区域的高对比度比很远区域的高对比度更容易引起视觉注意。在计算像素级对比度时引进空间关系计算代价会非常大,所以我们采用了另一种对比度分析方法:区域对比度,以此来将空间关系和区域级对比度计算结合到一起,从而减小计算代价。
在区域对比度的基础上,我们还引入了亮度空间信息,将亮度空间信息与区域对比度结合到一起进行显著性值的计算。图像的亮度会改变图像的强度,同时也会影响图像的饱和度、对比度和清晰度。图像的饱和度更高的时候,外观上会看起来更鲜艳,调整对比度可以修正过度曝光或者未充分曝光的图片,使图像看上去更加自然,引入空间亮度进行显著性检测能够更符合人眼视觉特征,使图像质量评价更符合主观评价评估结果。
本发明提出的RCC显著性检测的方法,具体包括以下步骤:
(1)计算区域的颜色对比度
对于分割成区域的图像,计算每个区域的颜色距离,计算公式如下:
Figure BDA0002009293720000121
其中,Dr(r1,r2)是两个区域r1和r2的颜色距离度量,f(ck,i)是第i个颜色ck,i在第k个区域rk的所有nk种颜色中出现的概率,其中k=1或2,nk是图像中所含的颜色总数。
(2)计算区域的亮度对比度
对于分割成区域的图像,计算每个区域的亮度度量,计算公式如下:
Figure BDA0002009293720000122
其中,Nk和Ni分别为区域k和i中的像素个数,Ik,n和Ii,m为区域k和i中第n个和第m个像素的亮度值。
图像的亮度会改变图像的强度,同时也会影响图像的饱和度、对比度和清晰度。图像的饱和度更高的时候,外观上会看起来更鲜艳,调整对比度可以修正过度曝光或者未充分曝光的图片,使图像看上去更加自然,引入空间亮度进行显著性检测能够更符合人眼视觉特征,使图像质量评价更符合主观评价评估结果。
(3)结合空间权值计算显著值
显著值的计算公式如下:
Figure BDA0002009293720000131
其中,Ds(rk,ri)是区域rk和ri的欧式空间距离,
Figure BDA0002009293720000132
Da(rk,ri)=D1(rk,ri)+Dr(rk,ri),ω(ri)作为权值是区域ri中的像素个数(为了强调大区域的颜色和亮度对比度),σs是控制空间权值强度,σs越大,空间权值的影响越小,导致较远区域的对比度会对当前区域显著性值做出较大的贡献,选择
Figure BDA0002009293720000133
像素坐标归一化到{0,1}区间内。
用来进行图像质量评价的一组原始图像如图2所示。
该组原始图像经过RCC显著性检测后提取的RCC显著图(记为VS1)如图3所示。
对比图2和图3可以看出:图3RCC显著图有效的提取到了原始图像的显著性目标区域,与人眼视觉系统具有一致性。
图2中的原始图像经高斯白噪声处理后得到的失真图像如图5所示。
该组失真图像经过RCC显著性检测后提取的RCC显著图(记为VS3)如图6所示。
对比图5和图6可以看出:图6RCC显著图充分的提取到了图像的特征以及图像的失真。
Step4:超像素分割
对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割(SLIC),具体的步骤如下:
(1)初始化种子点(聚类中心)
按照设定的超像素个数,在图像内均匀的分配种子点。假设图片总共有N个像素点,预分割为K个相同尺寸的超像素,那么每个超像素的大小为N/K,则相邻种子点的距离(步长)近似为S=sqrt(N/K)。
(2)在种子点的n×n邻域内重新选择种子点(一般取n=3)
具体方法为:计算该邻域内所有像素点的梯度值,将种子点移到该邻域内梯度最小的地方。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上,以免影响后续聚类效果。
(3)在每个种子点周围的邻域内为每个像素点分配类标签(即属于哪个聚类中心)
和标准的k-means在整张图中搜索(参照图8(a))不同,SLIC的搜索范围限制为2S×2S(参照图8(b)),可以加速算法收敛。
在此注意一点:期望的超像素尺寸为S×S,但是搜索的范围是2S×2S。
(4)距离度量(包括颜色距离和空间距离)
对于每个搜索到的像素点,分别计算它和该种子点的距离。距离计算方法如下:
Figure BDA0002009293720000141
Figure BDA0002009293720000142
Figure BDA0002009293720000143
其中,dc代表颜色距离,ds代表空间距离,D′代表距离度量,Ns是类内最大空间距离,定义为Ns=S=sqrt(N/K),适用于每个聚类,Nc代表最大的颜色距离,l,a,b是图像经过Lab空间变换的三个要素,(x,y)是图像中像素点的坐标,下标i表示每个搜索到的像素点,下标j表示选择的种子点。
最大的颜色距离Nc既随图片不同而不同,也随聚类不同而不同,所以我们取一个固定常数m来代替Nc,m取值范围[1,40],一般取10。
最终的距离度量D'如下:
Figure BDA0002009293720000151
由于每个像素点都会被多个种子点搜索到,所以每个像素点都会有一个与周围种子点的距离,取最小值对应的种子点作为该像素点的聚类中心。
(5)迭代优化
理论上上述步骤不断迭代直到误差收敛(可以理解为每个像素点聚类中心不再发生变化为止),实验发现10次迭代对绝大部分图片都可以得到较理想效果,所以一般迭代次数取10。
(6)增强连通性
经过上述迭代优化可能出现以下瑕疵:出现多连通情况、超像素尺寸过小,单个超像素被切割成多个不连续超像素等,这些情况可以通过增强连通性解决。主要思路是:新建一张标记表,表内元素均为-1,按照“Z”型走向(从左到右,从上到下顺序)将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素,遍历过的像素点分配给相应的标签,直到所有点遍历完毕为止。
SLIC主要具有以下优点:
(1)生成的超像素如同细胞一般紧凑整齐,邻域特征比较容易表达。这样基于像素的方法可以比较容易的改造为基于超像素的方法。
(2)不仅可以分割彩色图,也可以兼容分割灰度图。
(3)需要设置的参数非常少,默认情况下只需要设置一个预分割的超像素的数量。
(4)相比其他的超像素分割方法,SLIC在运行速度、生成超像素的紧凑度、轮廓保持方面都比较理想。
Step5:AMC显著性检测
根据超像素分割后的图像中马尔可夫链的被吸收时间遍历马尔科夫链的击中时间,同时考虑显著目标和背景的外观差异及空间的分布,从转移节点到吸收节点的被吸收时间依赖它们之间的路径权重及空间距离,建立一种图模型,将显著性检测作为半监督分类的一种方式,根据部分吸收随机游走的吸收概率进行马尔可夫链的显著性(Saliencyvia Markov Chain)检测,得到显著图。
用来进行图像质量评价的一组原始图像如图2所示。
该组原始图像经过AMC显著性检测后提取的AMC显著图(记为VS2)如图4所示。
对比图2和图4可以看出:图4AMC显著图较好的提取到了原始图像目标的细节信息,与人眼观察结果有较好的一致性。
图2中的原始图像经高斯白噪声处理后得到的失真图像如图5所示。
该组失真图像经过AMC显著性检测后提取的AMC显著图(记为VS4)如图7所示。
对比图5和图7可以看出:图7AMC显著图没有很好的提取到失真图像的显著物的轮廓信息,说明此方法可以通过显著图来度量图像的失真。
Step6:VSI计算
将以上步骤计算出的失真图像和其对应的原始图像的RCC显著图VS3、VS1以及失真图像和其对应的原始图像的AMC显著图VS4、VS2共计四个显著图作为输入,根据下面的VSI公式计算得出失真图像的图像质量:
Figure BDA0002009293720000171
Figure BDA0002009293720000172
VSm=max(VS1(x),VS2(x),VS3(x),VS4(x))
S(x)=[SRCC(x)]α·[SAMC(x)]β
Figure BDA0002009293720000173
公式中,SRCC(x)是经过RCC检测的原始图像和其相应的失真图像差异的量化结果,SAMC(x)是经过AMC显著性检测的原始图像和其相应的失真图像差异的量化结果,VSm是权重(用来度量整体相似性的重要程度),S(x)是图像质量的度量,α和β分别取0.04和0.02,Ω表示整幅图像的空间区域,C是常数(C=0.01,增加公式的稳定性)。
经计算,图5中的这组失真图像的图像质量分别是:
(1)第一排从左向右分别是:0.5175、0.4060、0.5170、0.5562、0.4066;
(2)第二排从左向右分别是:0.5409、0.4889、0.5205、0.5788、0.5846。
可感知的图像质量失真可以导致图像显著图的可测变化,因此图像的显著图不但可以作为计算失真图像局部区域的特征,在计算图像质量分数时,也可以作为一个权重函数反应一个局部区域的重要程度。
本发明采用的RCC检测方法,运用了颜色、亮度及局部区域特征,与人眼视觉系统对图像显著性具有较好的一致性,同时结合了AMC算法,因为马尔可夫链的被吸收时间能够综合的考虑所有背景先验,能够自动消除奇异点,这对RCC检测在图像质量评价的应用中起到了一定程度的补充和完善。
本发明提取了图像的低阶视觉场景特征,计算简单,具有较强的鲁棒性及较好的预测性能。
需要说明的是,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。

Claims (7)

1.一种基于图像显著性检测的全参考图像质量评价方法,其特征在于,包括以下步骤:
Step1:空间转换
提取失真图像和其对应的原始图像,并将失真图像和其对应的原始图像从RGB颜色空间转换到Lab颜色空间;
Step2:图像分割
将Lab颜色空间下的彩色图像分割成区域;
Step3:RCC显著性检测
(1)计算区域的颜色对比度
对于分割成区域的图像,计算每个区域的颜色距离,计算公式如下:
Figure FDA0003191349290000011
其中,Dr(r1,r2)是两个区域r1和r2的颜色距离度量,f(ck,i)是第i个颜色ck,i在第k个区域rk的所有nk种颜色中出现的概率,其中k=1或2,nk是图像中所含的颜色总数;
(2)计算区域的亮度对比度
对于分割成区域的图像,计算每个区域的亮度度量,计算公式如下:
Figure FDA0003191349290000012
其中,Nk和Ni分别为区域k和i中的像素个数,Ik,n和Ii,m为区域k和i中第n个和第m个像素的亮度值;
(3)结合空间权值计算显著值
显著值的计算公式如下:
Figure FDA0003191349290000021
其中,Ds(rk,ri)是区域rk和ri的欧式空间距离,
Figure FDA0003191349290000022
Da(rk,ri)=D1(rk,ri)+Dr(rk,ri),ω(ri)作为权值是区域ri中的像素个数,σs是控制空间权值强度;
Step4:超像素分割
对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割;
Step5:AMC显著性检测
根据超像素分割后的图像中马尔可夫链的被吸收时间遍历马尔科夫链的击中时间,同时考虑显著目标和背景的外观差异及空间的分布,从转移节点到吸收节点的被吸收时间依赖它们之间的路径权重及空间距离,建立一种图模型,将显著性检测作为半监督分类的一种方式,根据部分吸收随机游走的吸收概率进行马尔可夫链的显著性检测,得到显著图;
Step6:VSI计算
将以上步骤计算出的失真图像和其对应的原始图像的RCC显著图VS3、VS1以及失真图像和其对应的原始图像的AMC显著图VS4、VS2共计四个显著图作为输入,计算得出失真图像的图像质量。
2.根据权利要求1所述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step2中,将Lab颜色空间下的彩色图像分割成区域的方法具体如下:
(1)计算每一个像素点与其8邻域或4邻域的不相似度;
(2)将边按照不相似度从小到大排列,排序得到e1,e2,…,eN
(3)选择ei并对当前选择的ei进行合并判断,i∈[1,N],令其所连接的顶点为(Vm,Vn),如果满足合并条件,则执行步骤(4),否则执行步骤(5),该合并条件有两条:
(i)Vm和Vn不属于同一个区域,即Id(Vm)≠Id(Vn);
(ii)每个像素点的不相似度不大于Vm和Vn两个区域内部的不相似度;
(4)更新阈值以及类标号,将Id(Vm)≠Id(Vn)的类标号统一为Id(Vm)的类标号,更新该类的不相似性阈值;
(5)如果i≤N,则按照排好的顺序,选择下一条边转到步骤(3),否则结束。
3.根据权利要求1所述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step3中,选择
Figure FDA0003191349290000031
像素坐标归一化到{0,1}区间内。
4.根据权利要求1所述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step4中,对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割的方法具体如下:
(1)初始化种子点
按照设定的超像素个数,在图像内均匀的分配种子点;
(2)在种子点的n×n邻域内重新选择种子点
计算该邻域内所有像素点的梯度值,将种子点移到该邻域内梯度最小的地方;
(3)在每个种子点周围的邻域内为每个像素点分配类标签搜索范围限制为2S×2S;
(4)距离度量
对于每个搜索到的像素点,分别计算它和该种子点的距离,计算公式如下:
Figure FDA0003191349290000041
Figure FDA0003191349290000042
Figure FDA0003191349290000043
其中,dc代表颜色距离,ds代表空间距离,D′代表距离度量,Ns是类内最大空间距离,定义为Ns=S=sqrt(N/K),适用于每个聚类,Nc代表最大的颜色距离,l,a,b是图像经过Lab空间变换的三个要素,(x,y)是图像中像素点的坐标,下标i表示每个搜索到的像素点,下标j表示选择的种子点;
(5)迭代优化
不断迭代直到误差收敛;
(6)增强连通性
新建一张标记表,表内元素均为-1,按照“Z”型走向将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素,遍历过的像素点分配给相应的标签,直到所有点遍历完毕为止。
5.根据权利要求1所述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,在Step6中,计算失真图像的图像质量的公式为:
Figure FDA0003191349290000051
Figure FDA0003191349290000052
VSm=max(VS1(x),VS2(x),VS3(x),VS4(x))
S(x)=[SRCC(x)]α·[SAMC(x)]β
Figure FDA0003191349290000053
公式中,SRCC(x)是经过RCC检测的原始图像和其相应的失真图像差异的量化结果,SAMC(x)是经过AMC显著性检测的原始图像和其相应的失真图像差异的量化结果,VSm是权重,S(x)是图像质量的度量,Ω表示整幅图像的空间区域,C是常数。
6.根据权利要求5所述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,α和β分别取0.04和0.02。
7.根据权利要求5所述的基于图像显著性检测的全参考图像质量评价方法,其特征在于,C取0.01。
CN201910239746.0A 2019-03-27 2019-03-27 基于图像显著性检测的全参考图像质量评价方法 Active CN110084782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910239746.0A CN110084782B (zh) 2019-03-27 2019-03-27 基于图像显著性检测的全参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910239746.0A CN110084782B (zh) 2019-03-27 2019-03-27 基于图像显著性检测的全参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110084782A CN110084782A (zh) 2019-08-02
CN110084782B true CN110084782B (zh) 2022-02-01

Family

ID=67413694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910239746.0A Active CN110084782B (zh) 2019-03-27 2019-03-27 基于图像显著性检测的全参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110084782B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443800B (zh) * 2019-08-22 2022-02-22 深圳大学 视频图像质量的评价方法
KR102094780B1 (ko) * 2019-11-22 2020-03-30 주식회사 핏펫 색공간 변환을 이용한 생화학 정보 측정 방법 및 시스템
CN111815554A (zh) * 2020-05-21 2020-10-23 南通大学 一种基于边缘搜索mrf模型的宫颈细胞图像分割方法
CN112950629A (zh) * 2021-04-02 2021-06-11 上海大学 一种无参考全景图像质量评价方法及系统
CN113298763B (zh) * 2021-05-09 2022-08-19 复旦大学 一种基于显著性窗口策略的图像质量评估方法
CN114758119B (zh) * 2022-04-20 2024-06-07 北京航空航天大学 一种基于仿鹰眼视觉与似物性的海面回收目标检测方法
CN115131589B (zh) * 2022-08-31 2022-11-22 天津艺点意创科技有限公司 一种互联网文创作品智能设计的图像生成方法
CN115880297B (zh) * 2023-03-01 2023-05-05 深圳市富安娜艺术家居有限公司 基于机器视觉的被套染色质量评估方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136766A (zh) * 2012-12-28 2013-06-05 上海交通大学 一种基于颜色对比和颜色分布的物体显著性检测方法
CN104021545A (zh) * 2014-05-12 2014-09-03 同济大学 一种基于视觉显著性的全参考彩色图像质量评价方法
CN104318569A (zh) * 2014-10-27 2015-01-28 北京工业大学 基于深度变分模型的空间显著性区域提取方法
CN104463870A (zh) * 2014-12-05 2015-03-25 中国科学院大学 一种图像显著区域检测方法
CN105184763A (zh) * 2014-06-23 2015-12-23 索尼公司 图像处理方法和装置
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN107483918A (zh) * 2017-07-20 2017-12-15 天津大学 基于显著性的全参考立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法
CN109242831A (zh) * 2018-08-20 2019-01-18 百度在线网络技术(北京)有限公司 图像质量检测方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136766A (zh) * 2012-12-28 2013-06-05 上海交通大学 一种基于颜色对比和颜色分布的物体显著性检测方法
CN104021545A (zh) * 2014-05-12 2014-09-03 同济大学 一种基于视觉显著性的全参考彩色图像质量评价方法
CN105184763A (zh) * 2014-06-23 2015-12-23 索尼公司 图像处理方法和装置
CN104318569A (zh) * 2014-10-27 2015-01-28 北京工业大学 基于深度变分模型的空间显著性区域提取方法
CN104463870A (zh) * 2014-12-05 2015-03-25 中国科学院大学 一种图像显著区域检测方法
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN107483918A (zh) * 2017-07-20 2017-12-15 天津大学 基于显著性的全参考立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法
CN109242831A (zh) * 2018-08-20 2019-01-18 百度在线网络技术(北京)有限公司 图像质量检测方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Global contrast based salient region detection;Ming-Ming Cheng 等;《CVPR 2011》;IEEE;20110625;409-416 *
Image Retrieval by Salient Region Detection;Fanjie Meng;《2015 International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP)》;IEEE;20150925;270-273 *
基于显著性图像边缘的全参考图像质量评价;闫钧华 等;《仪器仪表学报》;20160930;第37卷(第9期);2140-2148 *

Also Published As

Publication number Publication date
CN110084782A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110084782B (zh) 基于图像显著性检测的全参考图像质量评价方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
Sowmya et al. Colour image segmentation using fuzzy clustering techniques and competitive neural network
CN106296695B (zh) 基于显著性的自适应阈值自然目标图像分割抽取算法
Zhang et al. A new haze removal approach for sky/river alike scenes based on external and internal clues
CN108537239B (zh) 一种图像显著性目标检测的方法
CN108898145A (zh) 一种结合深度学习的图像显著目标检测方法
Liu et al. A unified variational model for single image dehazing
CN105761238B (zh) 一种通过灰度统计数据深度信息提取显著目标的方法
CN104616308A (zh) 一种基于核模糊聚类的多尺度水平集图像分割方法
CN109035196B (zh) 基于显著性的图像局部模糊检测方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
Jiang et al. Image segmentation with pulse-coupled neural network and Canny operators
CN107330875A (zh) 基于遥感图像正反向异质性的水体周边环境变化检测方法
CN106991686A (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
Du et al. Double-channel guided generative adversarial network for image colorization
Li et al. Optimized automatic seeded region growing algorithm with application to ROI extraction
Kuzovkin et al. Descriptor-based image colorization and regularization
Ying et al. Region-aware RGB and near-infrared image fusion
Huang et al. An efficient single image enhancement approach using luminance perception transformation
Kong et al. Full-reference IPTV image quality assessment by deeply learning structural cues
Wu et al. A graph based superpixel generation algorithm
Lu et al. Bridging the invisible and visible world: Translation between rgb and ir images through contour cycle gan
Geng et al. A novel color image segmentation algorithm based on JSEG and Normalized Cuts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant