CN103517065B - 一种质降参考立体图像质量客观评价方法 - Google Patents
一种质降参考立体图像质量客观评价方法 Download PDFInfo
- Publication number
- CN103517065B CN103517065B CN201310406361.1A CN201310406361A CN103517065B CN 103517065 B CN103517065 B CN 103517065B CN 201310406361 A CN201310406361 A CN 201310406361A CN 103517065 B CN103517065 B CN 103517065B
- Authority
- CN
- China
- Prior art keywords
- picture
- singular value
- designated
- distortion
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种质降参考立体图像质量客观评价方法,该方法的评价指标是由左右视点图像质量和深度感知两部组成,该模型利用立体图像的左右视点经小波分解后的多通道特性,并根据图像奇异值能表征的图像属具有较强稳定性的特点,对各子带进行奇异值分解。利用分解得到的奇异值提取图像的特征,作为半参考模型的特征值。结合信息熵和对比敏感度特性对各子带的特征值进行加权得到最终结果。该方法在保证质量评价结果的同时,有效节省了评价图像质量时,所需的传输带宽,可以客观地反映立体图像处理算法的优劣。
Description
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种质降参考立体图像质量客观评价方法。
背景技术
随着立体编码和显示技术的不断发展,立体图像已经大量的融入到人类社会生活中,如立体电视,立体电影,裸眼3D等已变得较为普遍。然而,在立体图像采集、压缩、编码、传输、显示等过程中或多或少会引入不同程度和不同类型的失真。因而,对图像的质量评价是不可或缺的,图像质量评价可分为主观评价和客观评价两大类,如何用客观模型准确评价立体图像的质量成为了图像研究领域的一个关键问题。目前对立体图像质量评价的方法有全参考、无参考的方法。但全参考方法在评价图像质量时,需要在接收端用到原始图像,因此,对传送信道有更高的要求;而无参考方法,因为没有参考图像,所以客观评价结果与主观感知的一致性较差。
发明内容
本发明所要解决的技术问题是提供一种即能够有效提高客观评价结果与主观感知的一致性又对传送信道要求较低的质降参考立体图像质量客观评价方法。
本发明解决上述技术问题所采用的技术方案为:一种质降参考立体图像质量客观评价方法,包括以下步骤:
①令Iorg为原始的无失真的立体图像,令Idis为待评价的失真的立体图像,将原始的无失真的立体图像Iorg的左视点图像记为Lorg,将原始的无失真的立体图像Iorg的右视点图像记为Rorg,将待评价的失真的立体图像Idis的左视点图像记为Ldis,将待评价的失真的立体图像Idis的右视点图像记为Rdis;
②在发送端,对Lorg和Rorg2幅图像分别实施M级小波变换,即将图像分解到各个子带频率的不同方向,分别得到Lorg、Rorg2幅图像各自对应的M个子带的系数矩阵,将Lorg实施第m级小波变换后得到的系数矩阵记为将Rorg实施第m级小波变换后得到的系数矩阵记为1≤m≤M,所述的系数矩阵即为图像在各个频率上的显示,即系数矩阵可以作为图像来对待;
对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对2M幅图的每一个8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;
对两个奇异值对角矩阵分别进行求和,分别得到两个奇异值对角矩阵对应的奇异值和;将实施奇异值对角矩阵求和得到的奇异值和记为将实施奇异值对角矩阵求和得到的奇异值和记为
③在接收端,对Ldis和Rdis2幅失真图像分别实施M级小波变换,即将图像分解到各个子带频率的不同方向,分别得到Ldis和Rdis 2幅图像各自对应的M个子带的系数矩阵,将Ldis实施第m级小波变换后得到的系数矩阵记为将Rdis实施第m级小波变换后得到的系数矩阵记为1≤m≤M,所述的系数矩阵即为图像在各个频率上的显示,即系数矩阵可以作为图像来对待;
对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对2M幅图的每一个8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;
对2个奇异值对角矩阵分别进行求和,分别得到2个奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为将实施奇异值对角矩阵求和得到的奇异值和记为
④在发送端,对和2M幅图分别求取局部信息熵,得到各小波子带的局部信息熵矩阵记为局部信息熵映射图,将的局部信息熵映射图记为将的局部信息熵映射图记为对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为为块中坐标为(i,j)的局部信息熵值,为块中坐标为(i,j)的局部信息熵值,其中,1≤i,j≤8,对和计算各块的局部信息熵均值,的信息熵均值记为 的信息熵均值记为
⑤在接收端,对原始左图像对应的奇异值和和失真左图像对应的奇异值和实施绝对差值计算,求得的绝对差值也称为奇异值特征距离,得到左图像第m子带第e块的奇异值特征距离记为 对原始右图像对应的奇异值和和失真右图像对应的奇异值和实施绝对差值计算,求得的绝对差值也称为奇异值特征距离,得到右图像第m子带第e块的奇异值特征距离记为 用和对各子带的和做信息熵加权,得到左右图像各子带的质量因子,将左图像子带的质量因子记为 将右图像子带的质量因子记为 其中,和表示m子带中,各块经和计算后的中值,λ表示块信息熵均值和的权重系数;且λ=0.02;
⑥在接收端,利用对比敏感度函数对左右图像的各子带质量因子和做加权,得到左图像质量和右图像的质量将左图像质量记为 将右图像质量记为 其中,各方向子带记为i,wi,j是不同方向的各M级的对比灵敏度函数系数, a、b分别表示频带区间的下线和上线,f表示小波变换的频率;
⑦在接收端,根据和计算待评价的失真的左右视点图像相对于原始的左右视点图像的相似度度量,记为Qs,其中,ω1表示的权值,1-ω1表示的权值;
⑧在发送端,计算原始的左视点图像Lorg和右视点图像Rorg的绝对差值图,记为对绝对差值图实施M级小波变换,得到各自对应的M个子带的系数矩阵,将实施第m级小波变换后得到的系数矩阵为1≤m≤M;
⑨在接收端,计算待评价的失真立体图像的左视点图像Ldis和右视点图像Rdis的绝对差值图,记为对绝对差值图实施M级小波变换,得到各自对应的M个子带的系数矩阵,将实施第m级小波变换后得到的系数矩阵为1≤m≤M;
⑩在发送端,将分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;对奇异值对角矩阵进行求和,得到奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为
将分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的左右奇异值正交矩阵分别记为用对角单位矩阵替换奇异值对角矩阵经过反变换得到原始和失真绝对差值图在剥除奇异值信息之后的残余信息图记其中,Λ为8×8的单位对角矩阵;对残余信息图提取残余信息图特征,记为其中,为原始绝对差值残余信息图的均值,为原始绝对差值残余信息图的方差;
在接收端,将分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高,对奇异值对角矩阵进行求和,得到奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为对原始绝对差值图的和失真绝对差值图的实施绝对差值计算,得到左图像第m子带第e块的奇异值特征距离记为
将分别分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的左右奇异值正交矩阵分别记为用对角单位矩阵替换奇异值对角矩阵经过反变换得到原始和失真绝对差值图在剥除奇异值信息之后的残余信息图记其中,Λ为8×8的单位对角矩阵;对残余信息图提取残余信息图特征,记为其中,为失真绝对差值残余信息图的均值,为失真绝对差值残余信息图的方差;
在接收端,对残余信息图和求取奇异值结构相似度,记为其中为原始的绝对差值残余信息图的特征值,为失真的绝对差值残余信息图的特征值;用奇异值结构相似度Cm,e对各子带的加权,得到绝对差值图的立体感知质量因子记为 其中,表示m子带中各块经计算后的中值;
在接收端,对绝对差值图的各质量因子做对比敏感度加权,得立体感知质量记为Qd,其中,各方向子带记为i,wi,j是不同方向的各M级的对比灵敏度函数系数, a、b分别表示频带区间的下线和上线,f表示小波变换的频率;
在接收端,根据左右图像质量Qs和立体感知质量Qd计算待评价的失真的立体图像相对于原始的立体图像的度量分数,记为Q,Q=Qs×Qd p,其中,p表示Qd的权值系数。
所述步骤⑦中ω1的获取包括以下步骤:
⑦-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑦-b、采用主观质量评价方法,获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑦-c、根据步骤①至步骤⑥的过程,计算得到失真立体图像集中的失真的立体图像的左视点图像和对应的无失真的立体图像的左视点图像质量因子和失真立体图像集中的失真的立体图像的右视点图像和对应的无失真的立体图像的右视点图像质量因子
⑦-d、采用加性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Qs,得到的权值ω1;和对应的的权值1-ω1。
所述步骤中P的获取包括以下步骤:
-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
-b、采用主观质量评价方法,获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
-c、根据步骤①至步骤的过程,计算得到失真立体图像集中的失真的立体图像的左、右视点图像和对应的无失真的立体图像的左、右视点图像质量因子Qs和失真立体图像集中的失真的立体图像和对应的无失真的立体图像的立体感知质量因子Qd;
-d、采用乘性加权的拟合方法Q=Qs×Qd p拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q,得到Qs和Qd的权值p。
与现有技术相比,本发明的优点在于通过结合人眼的多通道效应和对比敏感度特性提取有效的质降参考特征,相比在保证评价质量的前提下,有效提高带宽利用率,更适合实际应用。该模型分为左右视点图像质量评价和立体感知评价两部分,前者主要从人眼视觉的多通道效应、对比敏感度特性,以及图像的奇异值能表征图像属性具有较好的稳定性进行了考虑,对奇异值变换后的图像提取质降参考的特征值,并结合人眼的视觉特性进行信息熵的加权;后者从人眼视觉的多通道效应,以及奇异值向量能很好的表征图像的结构信息,用奇异值距离和结构特征相似度组合的全局误差来评价立体感知信息的变化情况。在评价左视点图像和右视点图像质量的基础上,结合了立体感知,保证立体图像客观质量评价模型与主观感知之间的相关性,提高带宽利用率。
附图说明
图1为本发明方法的总体实现框图;
图2a为Akko&Kayo(640×480)立体图像;
图2b为Alt Moabit(1024×768)立体图像;
图2c为Balloons(1024×768)立体图像;
图2d为Door Flowers(1024×768)立体图像;
图2e为Kendo(1024×768)立体图像;
图2f为Leaving Laptop(1024×768)立体图像;
图2g为Lovebird1(1024×768)立体图像;
图2h为Newspaper(1024×768)立体图像;
图2i为Xmas(640×480)立体图像;
图2j为Puppy(720×480)立体图像;
图2k为Soccer2(720×480)立体图像;
图2l为Horse(480×270)立体图像;
图3b为在ω1=0.5的情况下,不同λ下的左视点图像质量和主观感知质量之间的CC性能变化图;
图3b为在ω1=0.5的情况下,不同λ下的左视点图像质量和主观感知质量之间的RMSE性能变化图;
图4a为在λ=1的情况下,不同ω1下的左视点图像质量和主观感知质量之间的CC性能变化图;
图4b为在λ=1的情况下,不同ω1下的左视点图像质量和主观感知质量之间的RMSE性能变化图;
图5a为不同p下的立体图像质量和主观感知质量之间的CC性能变化图;
图5b为不同p下的立体图像质量和主观感知质量之间的RMSE性能变化图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的立体图像客观质量评价方法,其分别评价了左视点图像和右视点图像质量以及立体图像的立体感知效果,并将这两部分评价的结果进行结合,得到对立体图像质量的最终评价结果。图1给出了本发明方法的总体实现框图,其具体包括以下步骤:
①令Iorg为原始的无失真的立体图像,令Idis为待评价的失真的立体图像,将原始的无失真的立体图像Iorg的左视点图像记为Lorg,将原始的无失真的立体图像Iorg的右视点图像记为Rorg,将待评价的失真的立体图像Idis的左视点图像记为Ldis,将待评价的失真的立体图像Idis的右视点图像记为Rdis;
②在发送端,对Lorg和Rorg2幅图像分别实施M级小波变换,即将图像分解到各个子带频率的不同方向,分别得到Lorg、Rorg2幅图像各自对应的M个子带的系数矩阵,将Lorg实施第m级小波变换后得到的系数矩阵记为将Rorg实施第m级小波变换后得到的系数矩阵记为1≤m≤M,所述的系数矩阵即为图像在各个频率上的显示,即系数矩阵可以作为图像来对待;
对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,这里主要是为了降低计算复杂度,一个块和它最相邻的左块或右块或上块或下块没有重复列或重复行,然后分别对2M幅图的每一个8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;
对两个奇异值对角矩阵分别进行求和,分别得到两个奇异值对角矩阵对应的奇异值和;将实施奇异值对角矩阵求和得到的奇异值和记为将实施奇异值对角矩阵求和得到的奇异值和记为
③在接收端,对Ldis和Rdis2幅失真图像分别实施M级小波变换,即将图像分解到各个子带频率的不同方向,分别得到Ldis和Rdis 2幅图像各自对应的M个子带的系数矩阵,将Ldis实施第m级小波变换后得到的系数矩阵记为将Rdis实施第m级小波变换后得到的系数矩阵记为1≤m≤M,所述的系数矩阵即为图像在各个频率上的显示,即系数矩阵可以作为图像来对待;
对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对2M幅图的每一个8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;
对2个奇异值对角矩阵分别进行求和,分别得到2个奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为将实施奇异值对角矩阵求和得到的奇异值和记为
④在发送端,对和2M幅图分别求取局部信息熵,得到各小波子带的局部信息熵矩阵记为局部信息熵映射图,将的局部信息熵映射图记为将的局部信息熵映射图记为对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为为块中坐标为(i,j)的局部信息熵值,为块中坐标为(i,j)的局部信息熵值,其中,1≤i,j≤8,对和计算各块的局部信息熵均值,的信息熵均值记为 的信息熵均值记为
⑤在接收端,对原始左图像对应的奇异值和和失真左图像对应的奇异值和实施绝对差值计算,求得的绝对差值也称为奇异值特征距离,得到左图像第m子带第e块的奇异值特征距离记为 对原始右图像对应的奇异值和和失真右图像对应的奇异值和实施绝对差值计算,求得的绝对差值也称为奇异值特征距离,得到右图像第m子带第e块的奇异值特征距离记为 用和对各子带的和做信息熵加权,得到左右图像各子带的质量因子,将左图像子带的质量因子记为 将右图像子带的质量因子记为 其中,和表示m子带中,各块经和计算后的中值,λ表示块信息熵均值和的权重系数;
λ的获取过程为:
⑤-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑤-b、采用主观质量评价方法,获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑤-c、根据步骤①至步骤⑥的过程,计算得到失真立体图像集中的失真的立体图像的左视点图像和对应的无失真的立体图像的左视点图像质量因子和失真立体图像集中的失真的立体图像的右视点图像和对应的无失真的立体图像的右视点图像质量因子
⑤-d、采用线性加权的拟合方法和拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的和得到权值λ。
在本实施方案中,利用如图2所示的12对无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真类型包括JPEG压缩、JP2K压缩、高斯白噪声、高斯模糊和H264编码失真,且立体图像对的左图像和右图像同时同程度失真,该失真立体图像集共包括312对失真的立体图像,其中JPEG压缩的失真的立体图像共60对,JPEG2000压缩的失真的立体图像共60对,高斯白噪声失真的立体图像共60对,高斯模糊失真的立体图像共60对,H264编码失真的立体图像共72对。对这312对失真的立体图像采用公知的主观质量评价方法进行主观评价评价,得到312对失真的立体图像各自的平均主观评分差值(DMOS,Difference Mean OpinionScores),即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值(MOS)和满分(100)的差值,即DMOS=100-MOS,因此,DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好,且DMOS的取值范围为[0,100]。
对上述312对失真的立体图像按本发明方法步骤①至⑥计算得到每幅失真的左右图像相应的和然后采用进行作四参数Logistic函数非线性拟合,得到λ;λ值决定信息熵权重对左右图像质量的影响。这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Correlation Coefficient,CC)和均方误差系数(Rooted MeanSquared Error,RMSE),CC反映失真的立体图像评价函数这一客观模型的精度,RMSE反映其预测的准确性。CC值越高说明立体图像客观评价方法与DMOS相关性越好,RMSE值越低说明立体图像客观评价方法与DMOS相关性越好。Qs值是随着立体图像失真程度加深而变大。图3显示了在不同λ值下,混合失真的312对立体图像质量与主观感知质量之间的性能变化曲线。从图3中可知,λ值取得太大或太小都会影响立体图像质量客观评价模型与主观感知之间的一致性。随着λ值变化情况下,CC和RMSE值都存在极值点,且大致位置相同。这里λ=0.02。
⑥在接收端,利用对比敏感度函数对左右图像的各子带质量因子和做加权,得到左图像质量和右图像的质量将左图像质量记为 将右图像质量记为 其中,各方向子带记为i,wi,j是不同方向的各M级的对比灵敏度函数系数, a、b分别表示频带区间的下线和上线,f表示小波变换的频率;
⑦在接收端,根据和计算待评价的失真的左右视点图像相对于原始的左右视点图像的相似度度量,记为Qs,其中,ω1表示的权值,1-ω1表示的权值;
ω1的获取过程为:
⑦-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑦-b、采用主观质量评价方法,获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑦-c、根据步骤①至步骤⑥的过程,计算得到失真立体图像集中的失真的立体图像的左视点图像和对应的无失真的立体图像的左视点图像质量因子和失真立体图像集中的失真的立体图像的右视点图像和对应的无失真的立体图像的右视点图像质量因子
⑦-d、采用加性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Qs,得到的权值ω1;和对应的的权值1-ω1。
在本实施方案中,利用如图2所示的12对无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,对312对失真的立体图像按本发明方法步骤①至⑥计算得到每幅失真的左右图像相应的和然后采用进行作四参数Logistic函数非线性拟合,得到ω1;ω1值决左图像和右图像的权重对左右图像质量的影响。这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Correlation Coefficient,CC)和均方误差系数(Rooted Mean SquaredError,RMSE),CC反映失真的立体图像评价函数这一客观模型的精度,RMSE反映其预测的准确性。CC值越高说明立体图像客观评价方法与DMOS相关性越好,RMSE值越低说明立体图像客观评价方法与DMOS相关性越好。Qs值是随着立体图像失真程度加深而变大。图4显示了在不同ω1值下,混合失真的312对立体图像质量与主观感知质量之间的性能变化曲线。从图4中可知,ω1值取得太大或太小都会影响立体图像质量客观评价模型与主观感知之间的一致性。随着ω1值变化情况下,CC和RMSE值都存在极值点,且大致位置相同。这里ω1=0.4。
⑧在发送端,计算原始的左视点图像Lorg和右视点图像Rorg的绝对差值图,记为对绝对差值图实施M级小波变换,得到各自对应的M个子带的系数矩阵,将实施第m级小波变换后得到的系数矩阵为1≤m≤M;
⑨在接收端,计算待评价的失真立体图像的左视点图像Ldis和右视点图像Rdis的绝对差值图,记为对绝对差值图实施M级小波变换,得到各自对应的M个子带的系数矩阵,将实施第m级小波变换后得到的系数矩阵为1≤m≤M;
⑩在发送端,将分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;对奇异值对角矩阵进行求和,得到奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为
将分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的左右奇异值正交矩阵分别记为用对角单位矩阵替换奇异值对角矩阵经过反变换得到原始和失真绝对差值图在剥除奇异值信息之后的残余信息图记其中,Λ为8×8的单位对角矩阵;对残余信息图提取残余信息图特征,记为其中,为原始绝对差值残余信息图的均值,为原始绝对差值残余信息图的方差;
在接收端,将分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高,对奇异值对角矩阵进行求和,得到奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为对原始绝对差值图的和失真绝对差值图的实施绝对差值计算,得到左图像第m子带第e块的奇异值特征距离记为
将分别分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的左右奇异值正交矩阵分别记为用对角单位矩阵替换奇异值对角矩阵经过反变换得到原始和失真绝对差值图在剥除奇异值信息之后的残余信息图记其中,Λ为8×8的单位对角矩阵;对残余信息图提取残余信息图特征,记为其中,为失真绝对差值残余信息图的均值,为失真绝对差值残余信息图的方差;
在接收端,对残余信息图和求取奇异值结构相似度,记为其中为原始的绝对差值残余信息图的特征值,为失真的绝对差值残余信息图的特征值;用奇异值结构相似度Cm,e对各子带的加权,得到绝对差值图的立体感知质量因子记为 其中,表示m子带中各块经计算后的中值;
在接收端,对绝对差值图的各质量因子做对比敏感度加权,得立体感知质量记为Qd,其中,各方向子带记为i,wi,j是不同方向的各M级的对比灵敏度函数系数, a、b分别表示频带区间的下线和上线,f表示小波变换的频率;
在接收端,根据左右图像质量Qs和立体感知质量Qd计算待评价的失真的立体图像相对于原始的立体图像的度量分数,记为Q,Q=Qs×Qd p,其中,p表示Qd的权值系数。
p的获取过程为:
-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1。
-b、采用主观质量评价方法,获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100]。
-c、根据步骤①至步骤的过程,计算得到失真立体图像集中的失真的立体图像的左、右视点图像和对应的无失真的立体图像的左、右视点图像质量因子Qs和失真立体图像集中的失真的立体图像和对应的无失真的立体图像的立体感知质量因子Qd。
-d、采用乘性加权的拟合方法Q=Qs×Qd p拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q,得到Qs和Qd的权值p。
在本实施方案中,对上述312对失真的立体图像按本发明方法步骤①至计算得到每幅失真的立体图像相应的Qs和Qd,然后采用Q=Qs×Qd p进行作四参数Logistic函数非线性拟合,得到p;p值决定左右视点图像质量和立体感知质量在立体图像质量中的贡献。Qs和Qd值都是随着立体图像失真程度加深而变大,故p值的取值范围为大于0。图5显示了在不同p值下,混合失真的三百一十二对立体图像质量与主观感知质量之间的性能变化曲线。从图5中可知,p值取得太大或太小都会影响立体图像质量客观评价模型与主观感知之间的一致性。随着p值变化情况下,CC和RMSE值都存在极值点,且大致位置相同。这里p=0.3。
分析本实施例得到的失真的立体图像的图像质量评价函数Q=Qs×(Qd)0.3的最终评价结果与主观评分DMOS之间的相关性。首先按本实施例得到的失真立体图像的图像质量评价函数Q=Qs×(Qd)0.3计算得到的最终立体图像质量评价结果的输出值Q,然后将输出值Q做四参数Logistic函数非线性拟合,最后得到立体客观评价模型与主观感知之间的性能指标值。这里,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即CC、SROCC、常值比率(OutlierRatio,OR)、RMSE。OR反映立体图像质量客观评级模型的离散程度,即所有失真立体图像中四参数拟合后的评价值与DMOS之间的差异大于某一阈值的失真立体图像数目所占比例。表示了评价性能的CC、SROCC、OR和RMSE系数表1为本实施得到的失真立体图像的图像质量评价分值与主观评分之间的相关性,由表1数据可见,按本实施例得到的失真立体图像的图像质量评价函数Q=Qs×(Qd)0.3计算得到的最终评价结果的输出值Q与主观评分DMOS之间的相关性是很高的,CC值和SROCC值都超过0.91,RMSE值低于5.8,表明客观评价结果与人眼主观感知的结果较为一致,说明了本发明方法的有效性。
表1
Gblur | JP2K | JPEG | WN | H264 | ALL | |
数目 | 60 | 60 | 60 | 60 | 72 | 312 |
CC | 0.9674 | 0.9437 | 0.9154 | 0.9509 | 0.9632 | 0.9440 |
SROCC | 0.9600 | 0.9459 | 0.9316 | 0.9266 | 0.9500 | 0.9468 |
OR | 0 | 0 | 0 | 0 | 0 | 0 |
RMSE | 5.3349 | 3.9639 | 5.7324 | 4.8337 | 3.7711 | 5.6638 |
Claims (3)
1.一种质降参考立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Iorg为原始的无失真的立体图像,令Idis为待评价的失真的立体图像,将原始的无失真的立体图像Iorg的左视点图像记为Lorg,将原始的无失真的立体图像Iorg的右视点图像记为Rorg,将待评价的失真的立体图像Idis的左视点图像记为Ldis,将待评价的失真的立体图像Idis的右视点图像记为Rdis;
②在发送端,对Lorg和Rorg2幅图像分别实施M级小波变换,即将图像分解到各个子带频率的不同方向,分别得到Lorg、Rorg2幅图像各自对应的M个子带的系数矩阵,将Lorg实施第m级小波变换后得到的系数矩阵记为将Rorg实施第m级小波变换后得到的系数矩阵记为1≤m≤M,所述的系数矩阵即为图像在各个频率上的显示,即系数矩阵可以作为图像来对待;
对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对2M幅图的每一个8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;
对两个奇异值对角矩阵分别进行求和,分别得到两个奇异值对角矩阵对应的奇异值和;将实施奇异值对角矩阵求和得到的奇异值和记为将实施奇异值对角矩阵求和得到的奇异值和记为
③在接收端,对Ldis和Rdis2幅失真图像分别实施M级小波变换,即将图像分解到各个子带频率的不同方向,分别得到Ldis和Rdis 2幅图像各自对应的M个子带的系数矩阵,将Ldis实施第m级小波变换后得到的系数矩阵记为将Rdis实施第m级小波变换后得到的系数矩阵记为1≤m≤M,所述的系数矩阵即为图像在各个频率上的显示,即系数矩阵可以作为图像来对待;
对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对2M幅图的每一个8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;
对2个奇异值对角矩阵分别进行求和,分别得到2个奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为将实施奇异值对角矩阵求和得到的奇异值和记为
④在发送端,对和2M幅图分别求取局部信息熵,得到各小波子带的局部信息熵矩阵记为局部信息熵映射图,将的局部信息熵映射图记为将的局部信息熵映射图记为对2M幅图分别分割成个尺寸大小为8×8的互不重叠的图像块,将实施分块后得到的第e块的奇异值对角矩阵记为将实施分块后得到的第e块的奇异值对角矩阵记为为块中坐标为(i,j)的局部信息熵值,为块中坐标为(i,j)的局部信息熵值,其中,1≤i,j≤8,对和计算各块的局部信息熵均值,的信息熵均值记为 的信息熵均值记为
⑤在接收端,对原始左图像对应的奇异值和和失真左图像对应的奇异值和实施绝对差值计算,求得的绝对差值也称为奇异值特征距离,得到左图像第m子带第e块的奇异值特征距离记为对原始右图像对应的奇异值和和失真右图像对应的奇异值和实施绝对差值计算,求得的绝对差值也称为奇异值特征距离,得到右图像第m子带第e块的奇异值特征距离记为 用和对各子带的和做信息熵加权,得到左右图像各子带的质量因子,将左图像子带的质量因子记为 将右图像子带的质量因子记为 其中, 和 表示m子带中,各块经 和计算后的中值,λ表示块信息熵均值和的权重系数;且λ=0.02;
⑥在接收端,利用对比敏感度函数对左右图像的各子带质量因子和做加权,得到左图像质量和右图像的质量将左图像质量记为 将右图像质量记为 其中,各方向子带记为i,wi,j是不同方向的各M级的对比灵敏度函数系数, a、b分别表示频带区间的下线和上线,f表示小波变换的频率;
⑦在接收端,根据和计算待评价的失真的左右视点图像相对于原始的左右视点图像的相似度度量,记为Qs,其中,ω1表示的权值,1-ω1表示的权值;
⑧在发送端,计算原始的左视点图像Lorg和右视点图像Rorg的绝对差值图,记为 对绝对差值图实施M级小波变换,得到各自对应的M个子带的系数矩阵,将实施第m级小波变换后得到的系数矩阵为1≤m≤M;
⑨在接收端,计算待评价的失真立体图像的左视点图像Ldis和右视点图像Rdis的绝对差值图,记为 对绝对差值图实施M级小波变换,得到各自对应的M个子带的系数矩阵,将实施第m级小波变换后得到的系数矩阵为1≤m≤M;
⑩在发送端,将分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高;对奇异值对角矩阵进行求和,得到奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为
将分割成个尺寸大小为8×8的互不重叠的图像块,然后分别对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的左右奇异值正交矩阵分别记为用对角单位矩阵替换奇异值对角矩阵经过反变换得到原始和失真绝对差值图在剥除奇异值信息之后的残余信息图记其中,Λ为8×8的单位对角矩阵;对残余信息图提取残余信息图特征,记为其中,为原始绝对差值残余信息图的均值,为原始绝对差值残余信息图的方差;
在接收端,将分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的奇异值对角矩阵记为其中,Wm和Hm分别为的宽和高,对奇异值对角矩阵进行求和,得到奇异值对角矩阵对应的奇异值和,将实施奇异值对角矩阵求和得到的奇异值和记为对原始绝对差值图的和失真绝对差值图的实施绝对差值计算,得到左图像第m子带第e块的奇异值特征距离记为
将分别分割成个尺寸大小为8×8的互不重叠的图像块,然后对的每一8×8块进行奇异值分解,将实施分块后得到的第e块的左右奇异值正交矩阵分别记为用对角单位矩阵替换奇异值对角矩阵经过反变换得到原始和失真绝对差值图在剥除奇异值信息之后的残余信息图记其中,Λ为8×8的单位对角矩阵;对残余信息图提取残余信息图特征,记为其中,为失真绝对差值残余信息图的均值,为失真绝对差值残余信息图的方差;
在接收端,对残余信息图和求取奇异值结构相似度,记为其中为原始的绝对差值残余信息图的特征值,为失真的绝对差值残余信息图的特征值;用奇异值结构相似度Cm,e对各子带的加权,得到绝对差值图的立体感知质量因子记为 其中,表示m子带中各块经计算后的中值;
在接收端,对绝对差值图的各质量因子做对比敏感度加权,得立体感知质量记为Qd,其中,各方向子带记为i,wi,j是不同方向的各M级的对比灵敏度函数系数, a、b分别表示频带区间的下线和上线,f表示小波变换的频率;
在接收端,根据左右图像质量Qs和立体感知质量Qd计算待评价的失真的立体图像相对于原始的立体图像的度量分数,记为Q,Q=Qs×Qd p,其中,p表示Qd的权值系数。
2.根据权利要求1所述的一种质降参考立体图像质量客观评价方法,其特征在于:所述步骤⑦中ω1的获取包括以下步骤:
⑦-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑦-b、采用主观质量评价方法,获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑦-c、根据步骤①至步骤⑥的过程,计算得到失真立体图像集中的失真的立体图像的左视点图像和对应的无失真的立体图像的左视点图像质量因子和失真立体图像集中的失真的立体图像的右视点图像和对应的无失真的立体图像的右视点图像质量因子
⑦-d、采用加性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Qs,得到的权值ω1;和对应的的权值1-ω1。
3.根据权利要求1所述的一种质降参考立体图像质量客观评价方法,其特征在于:所述步骤中P的获取包括以下步骤:
-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
-b、采用主观质量评价方法,获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
-c、根据步骤①至步骤的过程,计算得到失真立体图像集中的失真的立体图像的左、右视点图像和对应的无失真的立体图像的左、右视点图像质量因子Qs和失真立体图像集中的失真的立体图像和对应的无失真的立体图像的立体感知质量因子Qd;
-d、采用乘性加权的拟合方法Q=Qs×Qd p拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q,得到Qs和Qd的权值p。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310406361.1A CN103517065B (zh) | 2013-09-09 | 2013-09-09 | 一种质降参考立体图像质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310406361.1A CN103517065B (zh) | 2013-09-09 | 2013-09-09 | 一种质降参考立体图像质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103517065A CN103517065A (zh) | 2014-01-15 |
CN103517065B true CN103517065B (zh) | 2015-04-08 |
Family
ID=49898982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310406361.1A Expired - Fee Related CN103517065B (zh) | 2013-09-09 | 2013-09-09 | 一种质降参考立体图像质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103517065B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104010189B (zh) * | 2014-05-28 | 2015-11-04 | 宁波大学 | 一种基于色度共生矩阵加权的视频质量客观评价方法 |
CN104144339B (zh) * | 2014-06-13 | 2016-04-13 | 宁波大学 | 一种基于人眼感知的质降参考立体图像质量客观评价方法 |
CN104394403B (zh) * | 2014-11-04 | 2016-04-27 | 宁波大学 | 一种面向压缩失真的立体视频质量客观评价方法 |
CN105338343B (zh) * | 2015-10-20 | 2017-05-31 | 北京理工大学 | 一种基于双目感知的无参考立体图像质量评价方法 |
CN106303513B (zh) * | 2016-08-26 | 2017-11-03 | 宁波大学 | 一种降参考三维视频质量评价方法 |
CN106778917A (zh) * | 2017-01-24 | 2017-05-31 | 北京理工大学 | 基于小波统计特征的无参考噪声图像质量评价方法 |
JP7023212B2 (ja) * | 2018-10-29 | 2022-02-21 | 京セラ株式会社 | 画像処理装置、撮像装置、移動体および画像処理方法 |
CN110363763B (zh) * | 2019-07-23 | 2022-03-15 | 上饶师范学院 | 图像质量评价方法、装置、电子设备及可读存储介质 |
CN113727105B (zh) * | 2021-09-08 | 2022-04-26 | 北京医百科技有限公司 | 一种深度图压缩方法、装置、系统及存储介质 |
CN115147316B (zh) * | 2022-08-06 | 2023-04-04 | 南阳师范学院 | 计算机图像高效压缩方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872479B (zh) * | 2010-06-09 | 2012-05-09 | 宁波大学 | 一种立体图像客观质量评价方法 |
CN102209257B (zh) * | 2011-06-17 | 2013-11-20 | 宁波大学 | 一种立体图像质量客观评价方法 |
CN102271279B (zh) * | 2011-07-22 | 2013-09-11 | 宁波大学 | 一种立体图像的最小可察觉变化步长的客观分析方法 |
CN102333233B (zh) * | 2011-09-23 | 2013-11-06 | 宁波大学 | 一种基于视觉感知的立体图像质量客观评价方法 |
-
2013
- 2013-09-09 CN CN201310406361.1A patent/CN103517065B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103517065A (zh) | 2014-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103517065B (zh) | 一种质降参考立体图像质量客观评价方法 | |
CN101872479B (zh) | 一种立体图像客观质量评价方法 | |
CN102209257B (zh) | 一种立体图像质量客观评价方法 | |
CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
CN102333233B (zh) | 一种基于视觉感知的立体图像质量客观评价方法 | |
CN101378519B (zh) | 一种基于Contourlet变换的质降参考图像质量评价方法 | |
CN102547368B (zh) | 一种立体图像质量客观评价方法 | |
CN104394403B (zh) | 一种面向压缩失真的立体视频质量客观评价方法 | |
CN104202594B (zh) | 一种基于三维小波变换的视频质量评价方法 | |
Ma et al. | Reduced-reference stereoscopic image quality assessment using natural scene statistics and structural degradation | |
CN104376565A (zh) | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 | |
CN103136748B (zh) | 一种基于特征图的立体图像质量客观评价方法 | |
CN104811691A (zh) | 一种基于小波变换的立体视频质量客观评价方法 | |
CN102708568B (zh) | 一种基于结构失真的立体图像客观质量评价方法 | |
CN103354617B (zh) | 一种基于dct域的边缘强度压缩的图像质量客观评价方法 | |
CN102903107B (zh) | 一种基于特征融合的立体图像质量客观评价方法 | |
Geng et al. | A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property | |
CN103400378A (zh) | 基于人眼视特性的立体图像质量客观评价方法 | |
CN103841411B (zh) | 一种基于双目信息处理的立体图像质量评价方法 | |
CN104361583A (zh) | 一种非对称失真立体图像客观质量评价方法 | |
CN104144339B (zh) | 一种基于人眼感知的质降参考立体图像质量客观评价方法 | |
CN102567990B (zh) | 一种立体图像客观质量评价方法 | |
CN102737380B (zh) | 一种基于梯度结构张量的立体图像质量客观评价方法 | |
CN102999911B (zh) | 一种基于能量图的立体图像质量客观评价方法 | |
CN103108209A (zh) | 基于视觉阈值与通道融合的立体图像客观质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150408 Termination date: 20190909 |