CN105654465B - 一种采用视差补偿视点间滤波的立体图像质量评价方法 - Google Patents

一种采用视差补偿视点间滤波的立体图像质量评价方法 Download PDF

Info

Publication number
CN105654465B
CN105654465B CN201510961830.5A CN201510961830A CN105654465B CN 105654465 B CN105654465 B CN 105654465B CN 201510961830 A CN201510961830 A CN 201510961830A CN 105654465 B CN105654465 B CN 105654465B
Authority
CN
China
Prior art keywords
dis
org
denoted
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510961830.5A
Other languages
English (en)
Other versions
CN105654465A (zh
Inventor
宋洋
蒋刚毅
郁梅
彭宗举
陈芬
王朝云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510961830.5A priority Critical patent/CN105654465B/zh
Publication of CN105654465A publication Critical patent/CN105654465A/zh
Application granted granted Critical
Publication of CN105654465B publication Critical patent/CN105654465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本发明公开了一种采用视差补偿视点间滤波的立体图像质量评价方法,其通过对立体图像的左、右视点图像进行视差补偿和视点间滤波,得到高频图像和低频图像,在频域完成了对立体图像的立体感知特性的描述,能够更准确地评价立体图像的质量;其对低频图像进行二维小波变换,提取近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵来获得部分特征,这些特征能够有效地提高对失真立体图像的质量评价的准确性;其利用支持向量回归的方法构建立体图像的特征向量与图像主观质量之间的映射关系,避免了对于人类视觉系统工作机制的复杂模拟,同时避免了对于训练过程的过度依赖,从而提高了主观质量和客观预测质量之间的相关性。

Description

一种采用视差补偿视点间滤波的立体图像质量评价方法
技术领域
本发明涉及一种立体图像质量评价技术,尤其是涉及一种采用视差补偿视点间滤波的立体图像质量评价方法。
背景技术
随着图像编码技术和立体显示技术的快速发展,立体图像及其相关应用已经越来越多的出现在了人们的日常生活之中,并已逐渐成为图像处理领域的一个研究热点。立体图像技术根据人眼的双目视差原理,利用双目分别独立接受来自同一场景的左视点图像和右视点图像,双目视差通过大脑融合形成立体感,从而使观看者欣赏到具有深度感和真实感的立体场景。由于立体图像在图像采集、编码压缩、网络传输以及解码显示等各个阶段均会不可避免地因为一系列不可控制的因素而引入失真。因此,如何准确有效地衡量立体图像质量对于立体图像技术的进一步发展起到了重要的作用。立体图像质量评价主要分为主观质量评价和客观质量评价两大类。由于视觉信息最终由人眼所接受,因此主观质量评价的准确性最为可靠,然而主观质量评价需要观察者打分得到,费时费力且不易集成于立体图像系统之中。而客观质量评价模型却可以很好地集成于立体图像系统中实现实时质量评价,有助于及时调整立体图像系统参数,从而实现高质量立体图像系统应用。因此,建立准确有效且符合人眼视觉特点的立体图像质量客观评价方法具有很高的实际应用价值。
现有的立体图像质量客观评价方法主要从模拟人眼视觉对于立体图像的左、右视点的处理方式的角度出发,并结合一些平面图像的质量评价方法,即在现有的平面图像质量评价方法的基础上加入立体感知特性,从而完成对于立体图像的质量评价。虽然上述的这类方法通过模拟人眼视觉系统完成对于立体图像立体感知特性的描述,然而由于目前对于人眼视觉系统工作机制的研究尚不成熟,因此这类评价方法也存在一定的局限性。因此,研究符合人类视觉特性的立体图像质量客观评价方法是一个重要的研究问题。
发明内容
本发明所要解决的技术问题是提供一种采用视差补偿视点间滤波的立体图像质量评价方法,其能够有效地提高客观评价结果与人眼主观感知质量之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种采用视差补偿视点间滤波的立体图像质量评价方法,其特征在于包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg经失真后的失真立体图像,将Sdis作为待评价的失真立体图像,将Sorg的左视点图像记为Lorg,将Sorg的右视点图像记为Rorg,将Sdis的左视点图像记为Ldis,将Sdis的右视点图像记为Rdis
②以Lorg作为参考视点图像,对Rorg进行视差补偿,得到Sorg的右视点视差补偿图像,记为同样,以Ldis作为参考视点图像,对Rdis进行视差补偿,得到Sdis的右视点视差补偿图像,记为
③对Lorg进行视点间滤波,得到Sorg的高频图像和低频图像,对应记为HVorg和LVorg;同样,对Ldis进行视点间滤波,得到Sdis的高频图像和低频图像,对应记为HVdis和LVdis
④对LVorg进行二维离散小波变换,得到LVorg的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵,对应记为以及同样,对LVdis进行二维离散小波变换,得到LVdis的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵,对应记为以及
⑤计算之间的结构相似度,记为 其中,SSIM( )为结构相似度计算函数;
⑥对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为同样,对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为
⑨采用n”幅原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,将该失真立体图像集合作为训练集,训练集包括多幅失真立体图像;然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分差值,将训练集中的第j幅失真立体图像的平均主观评分差值记为DMOSj;再按照步骤①至步骤⑧的操作,以相同的方式获取训练集中的每幅失真立体图像的特征向量,将训练集中的第j幅失真立体图像的特征向量记为Xdis,j;其中,n”>1,j的初始值为1,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100;
⑩利用支持向量回归对训练集中的所有失真立体图像各自的平均主观评分差值及特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对Xdis进行测试,预测得到Sdis的客观质量评价预测值,记为Q,Q=f(Xdis),其中,Q是Xdis的函数,f( )为函数表示形式,(Wopt)T为Wopt的转置矢量,为Xdis的线性函数。
所述的步骤②中的的获取过程为:
②-1a、将Rorg划分为R×C个互不重叠的尺寸大小为8×8的图像块,其中, M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度,符号为向下取整运算符;
②-1b、构建一个维数为8R×8C的空白矩阵,记为B;
②-1c、将Rorg中当前待处理的图像块定义为当前图像块;
②-1d、假设当前图像块为Rorg中的第i个图像块,并记为则在Lorg中对进行视差匹配,得到Lorg中与匹配的图像块的左上角像素点的坐标位置,记为(s,t);然后将中的所有像素点的像素值一一对应的作为B中自坐标位置为(s,t)开始的8×8个元素的值;其中,i的初始值为1,1≤i≤R×C,1≤s≤8R,1≤t≤8C;
②-1e、将Rorg中下一个待处理的图像块作为当前图像块,然后返回步骤②-1d继续执行,直至Rorg中的所有图像块处理完毕,得到每个元素的值已知的B;
②-1f、将B中的每个元素的值一一对应的作为中的每个像素点的像素值,的宽度为8R,的高度为8C;
所述的步骤②中的的获取过程为:
②-2a、将Rdis划分为R×C个互不重叠的尺寸大小为8×8的图像块,其中, M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度,符号为向下取整运算符;
②-2b、构建一个维数为8R×8C的空白矩阵,记为B';
②-2c、将Rdis中当前待处理的图像块定义为当前图像块;
②-2d、假设当前图像块为Rdis中的第i个图像块,并记为则在Ldis中对进行视差匹配,得到Ldis中与匹配的图像块的左上角像素点的坐标位置,记为(s',t');然后将中的所有像素点的像素值一一对应的作为B'中自坐标位置为(s',t')开始的8×8个元素的值;其中,i的初始值为1,1≤i≤R×C,1≤s'≤8R,1≤t'≤8C;
②-2e、将Rdis中下一个待处理的图像块作为当前图像块,然后返回步骤②-2d继续执行,直至Rdis中的所有图像块处理完毕,得到每个元素的值已知的B';
②-2f、将B'中的每个元素的值一一对应的作为中的每个像素点的像素值,的宽度为8R,的高度为8C。
所述的步骤③中的HVorg和LVorg的获取过程为:
③-1a、去除Lorg中最下方的M-8R行像素点和最右侧的N-8C列像素点,得到新的图像,记为L'org,其中,M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度, 符号为向下取整运算符,L'org的宽度为8R,L'org的高度为8C;
所述的步骤③中的HVdis和LVdis的获取过程为:
③-2a、去除Ldis中最下方的M-8R行像素点和最右侧的N-8C列像素点,得到新的图像,记为L'dis,其中,M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度, 符号为向下取整运算符,L'dis的宽度为8R,L'dis的高度为8C;
与现有技术相比,本发明的优点在于:
1)本发明方法将视差补偿、视点间滤波应用于立体图像质量评价之中,通过对立体图像的左视点图像和右视点图像进行视差补偿和视点间滤波,得到立体图像的高频图像和低频图像,在频域完成了对立体图像的立体感知特性的描述,避免了对于人眼视觉特性的复杂模拟,从而能够更准确地评价立体图像的质量。
2)本发明方法对低频图像进行二维小波变换,并通过研究自然图像中所存在的统计特性,提取近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵来获得部分特征,相比于一些传统图像特征,这些特征能够稳定地反映立体图像的失真程度,从而能够有效地提高对失真立体图像的质量评价的准确性。
3)本发明方法利用支持向量回归的方法构建立体图像的特征向量与图像主观质量之间的映射关系,从而避免了对于人类视觉系统工作机制的复杂模拟,同时,由于训练样本独立,因此避免了对于训练过程的过度依赖,从而提高了主观质量和客观预测质量之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种采用视差补偿视点间滤波的立体图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg经失真后的失真立体图像,将Sdis作为待评价的失真立体图像,将Sorg的左视点图像记为Lorg,将Sorg的右视点图像记为Rorg,将Sdis的左视点图像记为Ldis,将Sdis的右视点图像记为Rdis
②以Lorg作为参考视点图像,对Rorg进行视差补偿,得到Sorg的右视点视差补偿图像,记为同样,以Ldis作为参考视点图像,对Rdis进行视差补偿,得到Sdis的右视点视差补偿图像,记为
在此具体实施例中,的获取过程为:
②-1a、将Rorg划分为R×C个互不重叠的尺寸大小为8×8的图像块,其中, M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度,符号为向下取整运算符。
②-1b、构建一个维数为8R×8C的空白矩阵,记为B。
②-1c、将Rorg中当前待处理的图像块定义为当前图像块。
②-1d、假设当前图像块为Rorg中的第i个图像块,并记为则在Lorg中对进行视差匹配,得到Lorg中与匹配的图像块的左上角像素点的坐标位置,记为(s,t);然后将中的所有像素点的像素值一一对应的作为B中自坐标位置为(s,t)开始的8×8个元素的值,即这8×8个元素的左上角元素在B中的坐标位置为(s,t),中的第1个像素点的像素值作为B中坐标位置为(s,t)的元素的值,中的第2个像素点(即该图像块中的第1行第2列的像素点)的像素值作为B中坐标位置为(s,t+1)的元素的值,依次类推;其中,i的初始值为1,1≤i≤R×C,1≤s≤8R,1≤t≤8C。
②-1e、将Rorg中下一个待处理的图像块作为当前图像块,然后返回步骤②-1d继续执行,直至Rorg中的所有图像块处理完毕,得到每个元素的值已知的B。
②-1f、将B中的每个元素的值一一对应的作为中的每个像素点的像素值,即B与中相同坐标位置的值相同,的宽度为8R,的高度为8C。
在此具体实施例中,的获取过程为:
②-2a、将Rdis划分为R×C个互不重叠的尺寸大小为8×8的图像块,其中, M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度,符号为向下取整运算符。
②-2b、构建一个维数为8R×8C的空白矩阵,记为B'。
②-2c、将Rdis中当前待处理的图像块定义为当前图像块。
②-2d、假设当前图像块为Rdis中的第i个图像块,并记为则在Ldis中对进行视差匹配,得到Ldis中与匹配的图像块的左上角像素点的坐标位置,记为(s',t');然后将中的所有像素点的像素值一一对应的作为B'中自坐标位置为(s',t')开始的8×8个元素的值,即这8×8个元素的左上角元素在B'中的坐标位置为(s',t');其中,i的初始值为1,1≤i≤R×C,1≤s'≤8R,1≤t'≤8C。
②-2e、将Rdis中下一个待处理的图像块作为当前图像块,然后返回步骤②-2d继续执行,直至Rdis中的所有图像块处理完毕,得到每个元素的值已知的B'。
②-2f、将B'中的每个元素的值一一对应的作为中的每个像素点的像素值,的宽度为8R,的高度为8C。
③对Lorg进行视点间滤波,得到Sorg的高频图像和低频图像,对应记为HVorg和LVorg;同样,对Ldis进行视点间滤波,得到Sdis的高频图像和低频图像,对应记为HVdis和LVdis
在此具体实施例中,HVorg和LVorg的获取过程为:
③-1a、去除Lorg中最下方的M-8R行像素点和最右侧的N-8C列像素点,得到新的图像,记为L'org,其中,M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度, 符号为向下取整运算符,L'org的宽度为8R,L'org的高度为8C。
在此具体实施例中,HVdis和LVdis的获取过程为:
③-2a、去除Ldis中最下方的M-8R行像素点和最右侧的N-8C列像素点,得到新的图像,记为L'dis,其中,M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度, 符号为向下取整运算符,L'dis的宽度为8R,L'dis的高度为8C。
④对LVorg进行二维离散小波变换,得到LVorg的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵,对应记为以及同样,对LVdis进行二维离散小波变换,得到LVdis的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵,对应记为以及
⑤计算之间的结构相似度,记为 其中,SSIM( )为结构相似度计算函数;将作为Sdis的其中一个特征,
⑥采用现有技术对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为同样,采用现有技术对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为采用现有技术对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为采用现有技术对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为采用现有技术对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为采用现有技术对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为
⑧将Sdis的所有特征组合在一起,获得Sdis的特征向量,记为Xdis
⑨采用n”幅原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,将该失真立体图像集合作为训练集,训练集包括多幅失真立体图像;然后利用现有的主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分差值,将训练集中的第j幅失真立体图像的平均主观评分差值记为DMOSj,DMOSj=100-MOSj;再按照步骤①至步骤⑧的操作,以相同的方式获取训练集中的每幅失真立体图像的特征向量,将训练集中的第j幅失真立体图像的特征向量记为Xdis,j;其中,n”>1,如取n”=3,j的初始值为1,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100,MOSj表示训练集中的第j幅失真立体图像的主观评分的平均值。
⑩支持向量回归(Support Vector Regression,SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论,其可以有效地抑制过拟合问题,因此本发明利用支持向量回归对训练集中的所有失真立体图像各自的平均主观评分差值及特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对Xdis进行测试,预测得到Sdis的客观质量评价预测值,记为Q,Q=f(Xdis),其中,Q是Xdis的函数,f( )为函数表示形式,(Wopt)T为Wopt的转置矢量,为Xdis的线性函数。
为说明本发明方法的有效性和可行性,利用德克萨斯大学奥斯汀分校视频图像工程实验室所建立的LIVE立体图像数据库进行了实验验证,以分析利用本发明方法得到的客观评价结果与平均主观评分差值(Difference Mean Opinion Score,DMOS)之间的相关性。LIVE立体图像数据库中包含了20幅原始的无失真立体图像和365幅经添加对称失真而得到的失真立体图像。其中,失真立体图像包括80幅经JPEG编码标准得到的JPEG压缩失真立体图像,80幅经JPEG2000编码标准得到的JPEG2000压缩失真立体图像,80幅添加了高斯白噪声得到的高斯白噪声失真立体图像,80幅添加了经信道传输所产生的快速衰落失真的快衰落失真立体图像以及45幅添加了高斯模糊噪声所产生的高斯模糊失真立体图像。同时,利用评估视频质量评价方法的4个常用客观参量作为评价标准,即非线性回归条件下的Pearson相关系数(Correlation Coefficients,CC)、Spearman等级相关系数(SpearmanRank Order Correlation Coefficients,SROCC)、异常值比率指标(Outlier Ratio,OR)以及均方根误差(Rooted Mean Squared Error,RMSE)。其中,CC用来反映客观质量评价方法预测的精确性,SROCC用来反映客观质量评价方法的预测单调性,CC和SROCC的值越接近1,表示该客观质量评价方法的性能越好;OR用来反映客观质量评价方法的离散程度,OR值越接近0表示客观质量评价方法越好;RMSE用来反映客观质量评价方法的预测准确性,RMSE的值越小表示客观质量评价方法准确性越高。
反映本发明方法准确性、单调性和离散率的CC、SROCC、OR和RMSE系数如表1所列,根据表1所列数据可见,虽然对于不同失真类型的评价准确性稍有差异,但是对于365幅失真立体图像相对的整体评价指标表明,本发明方法的整体混合失真CC值和SROCC值均达到0.91以上,离散率OR为0,均方根误差RMSE低于5.5,按本发明方法得到的失真立体图像的客观质量评价预测值和平均主观评分差值DMOS之间的相关性较高,表明本发明方法的客观评价结果与人眼主观感知的结果较为一致,很好地说明了本发明方法的有效性。
表1本发明方法对于各类型失真立体图像的客观评价准确性性能指标
CC SROCC OR RMSE
80幅高斯白噪声失真立体图像 0.9235 0.9177 0 5.2021
45幅高斯模糊失真立体图像 0.8893 0.8313 0 5.8260
80幅JPEG压缩失真立体图像 0.7382 0.6653 0 7.4110
80幅JPEG压缩失真立体图像 0.9306 0.8737 0 4.9612
80幅块衰落失真立体图像 0.8443 0.7922 0 6.4570
共365幅失真立体图像 0.9131 0.9107 0 5.4528

Claims (2)

1.一种采用视差补偿视点间滤波的立体图像质量评价方法,其特征在于包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg经失真后的失真立体图像,将Sdis作为待评价的失真立体图像,将Sorg的左视点图像记为Lorg,将Sorg的右视点图像记为Rorg,将Sdis的左视点图像记为Ldis,将Sdis的右视点图像记为Rdis
②以Lorg作为参考视点图像,对Rorg进行视差补偿,得到Sorg的右视点视差补偿图像,记为同样,以Ldis作为参考视点图像,对Rdis进行视差补偿,得到Sdis的右视点视差补偿图像,记为
③对Lorg进行视点间滤波,得到Sorg的高频图像和低频图像,对应记为HVorg和LVorg;同样,对Ldis进行视点间滤波,得到Sdis的高频图像和低频图像,对应记为HVdis和LVdis
所述的步骤③中的HVorg和LVorg的获取过程为:
③-1a、去除Lorg中最下方的M-8R行像素点和最右侧的N-8C列像素点,得到新的图像,记为L'org,其中,M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度, 符号为向下取整运算符,L'org的宽度为8R,L'org的高度为8C;
③-1b、获取Sorg的高频图像HVorg,将HVorg中坐标位置为(m,n)的像素点的像素值记为HVorg(m,n),HVorg(m,n)为通过对L'org中坐标位置为(m,n)的像素点的像素值L'org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量,其中,1≤m≤8R,1≤n≤8C;
并获取Sorg的低频图像LVorg,将LVorg中坐标位置为(m,n)的像素点的像素值记为LVorg(m,n),LVorg(m,n)为通过对L'org中坐标位置为(m,n)的像素点的像素值L'org(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量,其中,1≤m≤8R,1≤n≤8C;
所述的步骤③中的HVdis和LVdis的获取过程为:
③-2a、去除Ldis中最下方的M-8R行像素点和最右侧的N-8C列像素点,得到新的图像,记为L'dis,其中,M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度, 符号为向下取整运算符,L'dis的宽度为8R,L'dis的高度为8C;
③-2b、获取Sdis的高频图像HVdis,将HVdis中坐标位置为(m,n)的像素点的像素值记为HVdis(m,n),HVdis(m,n)为通过对L'dis中坐标位置为(m,n)的像素点的像素值L'dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的高频分量,其中,1≤m≤8R,1≤n≤8C;
并获取Sdis的低频图像LVdis,将LVdis中坐标位置为(m,n)的像素点的像素值记为LVdis(m,n),LVdis(m,n)为通过对L'dis中坐标位置为(m,n)的像素点的像素值L'dis(m,n)和中坐标位置为(m,n)的像素点的像素值进行视点间滤波得到的低频分量,其中,1≤m≤8R,1≤n≤8C;
④对LVorg进行二维离散小波变换,得到LVorg的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵,对应记为以及同样,对LVdis进行二维离散小波变换,得到LVdis的近似系数矩阵、水平细节系数矩阵、垂直细节系数矩阵以及对角线细节系数矩阵,对应记为以及
⑤计算之间的结构相似度,记为 其中,SSIM()为结构相似度计算函数;
⑥对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为同样,对的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为的系数分布直方图进行α稳定分布拟合,得到的α稳定分布尺度参数,记为
然后计算之间的距离,记为 同样,计算之间的距离,记为 计算之间的距离,记为 其中,符号“| |”为取绝对值符号;
⑦计算HVorg的相位一致性图,记为PCHV,org;并计算HVdis的相位一致性图,记为PCHV,dis;然后计算PCHV,org中的每个像素点与PCHV,dis中对应的像素点之间的相似度,将PCHV,org中坐标位置为(x,y)的像素点与PCHV,dis中坐标位置为(x,y)的像素点之间的相似度记为 其中,1≤x≤8R,1≤y≤8C,PCHV,org(x,y)表示PCHV,org中坐标位置为(x,y)的像素点的像素值,PCHV,dis(x,y)表示PCHV,dis中坐标位置为(x,y)的像素点的像素值,c3为常数;再计算PCHV,org中的所有像素点与PCHV,dis中对应的像素点之间的相似度的平均值,记为
⑧获得Sdis的特征向量,记为Xdis其中,符号“[]”为向量表示符号;
⑨采用n”幅原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,将该失真立体图像集合作为训练集,训练集包括多幅失真立体图像;然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分差值,将训练集中的第j幅失真立体图像的平均主观评分差值记为DMOSj;再按照步骤①至步骤⑧的操作,以相同的方式获取训练集中的每幅失真立体图像的特征向量,将训练集中的第j幅失真立体图像的特征向量记为Xdis,j;其中,n”>1,j的初始值为1,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100;
⑩利用支持向量回归对训练集中的所有失真立体图像各自的平均主观评分差值及特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对Xdis进行测试,预测得到Sdis的客观质量评价预测值,记为Q,Q=f(Xdis),其中,Q是Xdis的函数,f()为函数表示形式,(Wopt)T为Wopt的转置矢量,为Xdis的线性函数。
2.根据权利要求1所述的一种采用视差补偿视点间滤波的立体图像质量评价方法,其特征在于所述的步骤②中的的获取过程为:
②-1a、将Rorg划分为R×C个互不重叠的尺寸大小为8×8的图像块,其中, M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度,符号为向下取整运算符;
②-1b、构建一个维数为8R×8C的空白矩阵,记为B;
②-1c、将Rorg中当前待处理的图像块定义为当前图像块;
②-1d、假设当前图像块为Rorg中的第i个图像块,并记为则在Lorg中对进行视差匹配,得到Lorg中与匹配的图像块的左上角像素点的坐标位置,记为(s,t);然后将中的所有像素点的像素值一一对应的作为B中自坐标位置为(s,t)开始的8×8个元素的值;其中,i的初始值为1,1≤i≤R×C,1≤s≤8R,1≤t≤8C;
②-1e、将Rorg中下一个待处理的图像块作为当前图像块,然后返回步骤②-1d继续执行,直至Rorg中的所有图像块处理完毕,得到每个元素的值已知的B;
②-1f、将B中的每个元素的值一一对应的作为中的每个像素点的像素值,的宽度为8R,的高度为8C;
所述的步骤②中的的获取过程为:
②-2a、将Rdis划分为R×C个互不重叠的尺寸大小为8×8的图像块,其中, M表示Sorg和Sdis的宽度,N表示Sorg和Sdis的高度,符号为向下取整运算符;
②-2b、构建一个维数为8R×8C的空白矩阵,记为B';
②-2c、将Rdis中当前待处理的图像块定义为当前图像块;
②-2d、假设当前图像块为Rdis中的第i个图像块,并记为则在Ldis中对进行视差匹配,得到Ldis中与匹配的图像块的左上角像素点的坐标位置,记为(s',t');然后将中的所有像素点的像素值一一对应的作为B'中自坐标位置为(s',t')开始的8×8个元素的值;其中,i的初始值为1,1≤i≤R×C,1≤s'≤8R,1≤t'≤8C;
②-2e、将Rdis中下一个待处理的图像块作为当前图像块,然后返回步骤②-2d继续执行,直至Rdis中的所有图像块处理完毕,得到每个元素的值已知的B';
②-2f、将B'中的每个元素的值一一对应的作为中的每个像素点的像素值,的宽度为8R,的高度为8C。
CN201510961830.5A 2015-12-21 2015-12-21 一种采用视差补偿视点间滤波的立体图像质量评价方法 Active CN105654465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510961830.5A CN105654465B (zh) 2015-12-21 2015-12-21 一种采用视差补偿视点间滤波的立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510961830.5A CN105654465B (zh) 2015-12-21 2015-12-21 一种采用视差补偿视点间滤波的立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN105654465A CN105654465A (zh) 2016-06-08
CN105654465B true CN105654465B (zh) 2018-06-26

Family

ID=56477423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510961830.5A Active CN105654465B (zh) 2015-12-21 2015-12-21 一种采用视差补偿视点间滤波的立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN105654465B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010023B (zh) * 2017-12-08 2020-03-27 宁波大学 基于张量域曲率分析的高动态范围图像质量评价方法
CN108074241B (zh) * 2018-01-16 2021-10-22 深圳大学 目标图像的质量评分方法、装置、终端及存储介质
CN110858394B (zh) * 2018-08-20 2021-03-05 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN110163855B (zh) * 2019-05-17 2021-01-01 武汉大学 一种基于多路深度卷积神经网络的彩色图像质量评价方法
US11389965B2 (en) 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
CN112991190A (zh) * 2019-12-16 2021-06-18 荣耀终端有限公司 图像降噪方法及其介质和电子设备
CN111582437B (zh) * 2020-04-03 2023-06-20 华南理工大学 一种视差回归深度神经网络的构造方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202594A (zh) * 2014-07-25 2014-12-10 宁波大学 一种基于三维小波变换的视频质量评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202594A (zh) * 2014-07-25 2014-12-10 宁波大学 一种基于三维小波变换的视频质量评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Video Quality Assessment based on Structural Distortion Measurement;Zhou Wang等;《Signal Processing:Image Communication》;20040228;第19卷(第2期);第121-132页 *
基于结构相似度的自适应图像质量评价;靳鑫等;《光电子.激光》;20140215;第25卷(第2期);第378-385页 *

Also Published As

Publication number Publication date
CN105654465A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105654465B (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN102547368B (zh) 一种立体图像质量客观评价方法
CN104658002B (zh) 一种无参考图像客观质量评价方法
CN102209257A (zh) 一种立体图像质量客观评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN105574901B (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
CN104240248B (zh) 一种无参考立体图像质量客观评价方法
CN106530282B (zh) 基于空域特征的无参考立体图像质量客观评价方法
CN104581143A (zh) 一种基于机器学习的无参考立体图像质量客观评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN103338379A (zh) 一种基于机器学习的立体视频客观质量评价方法
CN102722888A (zh) 基于生理与心理立体视觉的立体图像客观质量评价方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN107018410B (zh) 一种基于预注意机制和空间依赖性的无参考图像质量评价方法
CN104144339B (zh) 一种基于人眼感知的质降参考立体图像质量客观评价方法
CN111641822A (zh) 一种重定位立体图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant