CN105321175B - 一种基于结构纹理稀疏表示的立体图像质量客观评价方法 - Google Patents

一种基于结构纹理稀疏表示的立体图像质量客观评价方法 Download PDF

Info

Publication number
CN105321175B
CN105321175B CN201510613829.3A CN201510613829A CN105321175B CN 105321175 B CN105321175 B CN 105321175B CN 201510613829 A CN201510613829 A CN 201510613829A CN 105321175 B CN105321175 B CN 105321175B
Authority
CN
China
Prior art keywords
sub
block
pixel
texture
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510613829.3A
Other languages
English (en)
Other versions
CN105321175A (zh
Inventor
邵枫
李柯蒙
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhuimeng Information Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510613829.3A priority Critical patent/CN105321175B/zh
Publication of CN105321175A publication Critical patent/CN105321175A/zh
Application granted granted Critical
Publication of CN105321175B publication Critical patent/CN105321175B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本发明公开了一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其在训练阶段,对多幅无失真立体图像的左视点图像实施结构纹理分离,然后通过无监督学习方式对由所有结构图像中的子块构成的集合进行字典训练得到结构字典表,并对由所有纹理图像中的子块构成的集合进行字典训练得到纹理字典表;在测试阶段,根据在训练阶段构造得到的结构字典表和纹理字典表,联合优化得到结构稀疏系数矩阵和纹理稀疏系数矩阵,并计算失真立体图像的图像质量客观评价预测值,与主观评价值保持了较好的一致性,并且在测试阶段不需要再计算结构字典表和纹理字典表,降低了计算复杂度,同时无需预知各评价图像的主观评价值,使得本发明方法适用于实际的应用场合。

Description

一种基于结构纹理稀疏表示的立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于结构纹理稀疏表示的立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左视点图像和右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。由于受到采集系统、存储压缩及传输设备的影响,立体图像会不可避免地引入一系列的失真,而与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对其进行质量评价具有非常重要的意义。然而,目前对立体图像质量缺乏有效的客观评价方法进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
由于影响立体图像质量的因素较多,如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等,因此如何有效地进行立体图像质量评价是亟需解决的难点问题。目前,已有方法是通过机器学习来预测评价模型,但其计算复杂度较高,并且训练模型需要预知各评价图像的主观评价值,并不适用于实际的应用场合,存在一定的局限性。稀疏表示将信号在已知的函数集上进行分解,力求在变换域上用尽量少的基函数来对原始信号进行逼近,目前的研究主要集中在字典构造和稀疏分解两方面。稀疏表示的一个关键问题就是如何有效地构造字典来表征图像的本质特征。因此,如何构造能反映图像本质特征的字典,如何根据字典来进行质量估计,都是在立体图像质量评价研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性,且计算复杂度低,无需预知各评价图像的主观评价值。
本发明解决上述技术问题所采用的技术方案为:一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、将选取的N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像,原始的无失真立体图像的宽度为W,原始的无失真立体图像的高度为H;
①-2、对{Li,org|1≤i≤N}中的每幅图像实施结构纹理分离,得到{Li,org|1≤i≤N}中的每幅图像的结构图像和纹理图像,将Li,org的结构图像和纹理图像对应记为然后将{Li,org|1≤i≤N}中的所有图像的结构图像构成的集合记为并将{Li,org|1≤i≤N}中的所有图像的纹理图像构成的集合记为
①-3、对中的每幅结构图像进行非重叠的分子块处理;然后采用K-SVD方法对中的所有结构图像中的子块构成的集合进行字典训练操作,构造得到的结构字典表,记为Dstr,其中,Dstr的维数为64×K,K表示设定的字典的个数,K≥1;
同样,对中的每幅纹理图像进行非重叠的分子块处理;然后采用K-SVD方法对中的所有纹理图像中的子块构成的集合进行字典训练操作,构造得到的纹理字典表,记为Dtex,其中,Dtex的维数为64×K;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试立体图像Stest,假设Stest对应的原始的无失真立体图像为Sorg,其中,Stest的宽度与步骤①-1中的原始的无失真立体图像的宽度一致,Stest的高度与步骤①-1中的原始的无失真立体图像的高度一致;
②-2、按照步骤①-2的过程,以相同的方式获取Stest的左视点图像Ltest和右视点图像Rtest及Sorg的左视点图像Lorg和右视点图像Rorg各自的结构图像和纹理图像,将Ltest的结构图像和纹理图像对应记为将Rtest的结构图像和纹理图像对应记为将Lorg的结构图像和纹理图像对应记为将Rorg的结构图像和纹理图像对应记为
②-3、对Ltest和Rtest分别进行非重叠的分子块处理;然后根据在训练阶段过程构造得到的Dstr和Dtex联合优化,获取由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵;接着根据中的每个子块对应的结构稀疏系数矩阵、中的每个子块对应的纹理稀疏系数矩阵,计算Ltest中的每个子块的局部客观评价度量值,并根据中的每个子块对应的结构稀疏系数矩阵、中的每个子块对应的纹理稀疏系数矩阵,计算Rtest中的每个子块的局部客观评价度量值;最后根据Ltest和Rtest中的部分子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值。
所述的步骤①-2中的的获取过程为:
①-2a、将Li,org中当前待处理的像素点定义为当前像素点;
①-2b、将当前像素点在Li,org中的坐标位置记为p;将以当前像素点为中心的21×21邻域窗口内除当前像素点外的每个像素点作为当前像素点的邻域像素点;将以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块定义为当前子块,记为将以当前像素点的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块作为当前子块的邻域子块,将以坐标位置为q的邻域像素点为中心的9×9邻域窗口内的所有像素点构成的邻域子块记为其中,p∈Ωi,org,Ωi,org表示Li,org中的所有像素点的坐标位置的集合,(x2,y2)表示中的像素点在中的坐标位置,1≤x2≤9,1≤y2≤9,表示中坐标位置为(x2,y2)的像素点的像素值,(x3,y3)表示中的像素点在中的坐标位置,1≤x3≤9,1≤y3≤9,表示中坐标位置为(x3,y3)的像素点的像素值;
上述步骤①-2b中,对于任意一个邻域像素点、当前子块中的任意一个像素点及邻域子块中的任意一个像素点,假设该像素点的坐标位置为(x,y),则如果x<1且1≤y≤H,则将Li,org中坐标位置为(1,y)的像素点的像素值赋值给该像素点;如果x>W且1≤y≤H,则将Li,org中坐标位置为(W,y)的像素点的像素值赋值给该像素点;如果1≤x≤W且y<1,则将Li,org中坐标位置为(x,1)的像素点的像素值赋值给该像素点;如果1≤x≤W且y>H,则将Li,org中坐标位置为(x,H)的像素点的像素值赋值给该像素点;如果x<1且y<1,则将Li,org中坐标位置为(1,1)的像素点的像素值赋值给该像素点;如果x>W且y<1,则将Li,org中坐标位置为(W,1)的像素点的像素值赋值给该像素点;如果x<1且y>H,则将Li,org中坐标位置为(1,H)的像素点的像素值赋值给该像素点;如果x>W且y>H,则将Li,org中坐标位置为(W,H)的像素点的像素值赋值给该像素点;
①-2c、计算中的每个像素点的特征矢量,将中坐标位置为(x2,y2)的像素点的特征矢量记为 ,其中,的维数为7,符号“[]”为矢量表示符号,符号“||”为取绝对值符号,表示中坐标位置为(x2,y2)的像素点的密度值,在水平方向的一阶偏导数,在垂直方向的一阶偏导数,在水平方向的二阶偏导数,在垂直方向的二阶偏导数;
①-2d、根据中的每个像素点的特征矢量,计算的协方差矩阵,记为 其中,的维数为7×7,表示中的所有像素点的特征矢量的均值矢量,的转置矢量;
①-2e、对进行Cholesky分解,得到的Sigma特征集,记为 ,其中,的转置矩阵,的维数为7×15,符号“[]”为矢量表示符号,1≤j≤7,表示的第1列向量,表示的第j列向量,表示的第7列向量;
①-2f、按照步骤①-2c至步骤①-2e的操作,以相同的方式获取当前子块的每个邻域子块的Sigma特征集,将的Sigma特征集记为其中,的维数为7×15;
①-2g、根据及当前子块的每个邻域子块的Sigma特征集,计算当前像素点的结构信息,记为 其中,N(p)表示当前像素点的所有邻域像素点的坐标位置的集合,exp()表示以自然基数e为底的指数函数,σ表示高斯函数的标准差,符号“||||”为欧氏距离计算符号,Li,org(q)表示坐标位置为q的像素点的像素值;
①-2h、根据计算当前像素点的纹理信息,记为 其中,Li,org(p)表示当前像素点的像素值;
①-2i、将Li,org中下一个待处理的像素点作为当前像素点,然后返回步骤①-2b继续执行,直至Li,org中的所有像素点处理完毕,得到Li,org中的每个像素点的结构信息和纹理信息,将Li,org中的所有像素点的结构信息构成的图像作为Li,org的结构图像将Li,org中的所有像素点的纹理信息构成的图像作为Li,org的纹理图像
所述的步骤①-3中的Dstr的获取过程为:
①-3a、将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块;
①-3b、将中的所有结构图像中的子块构成一个集合,记为其中, 表示中的所有结构图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
①-3c、采用K-SVD方法对进行字典训练操作,获得的结构字典表Dstr,Dstr通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ystr的维数为64×M,中的第1个列向量,中的第t个列向量,中的第M个列向量,Xstr表示稀疏矩阵,Xstr的维数为K×M,表示Xstr中的第1个列向量,表示Xstr中的第t个列向量,表示Xstr中的第M个列向量,符号“[]”为矢量表示符号,表示对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数;
所述的步骤①-3中的Dtex的获取过程为:
①-3d、将中的每幅纹理图像划分成个互不重叠的尺寸大小为8×8的子块,其中,W和H对应表示原始的无失真立体图像的宽度和高度;
①-3e、将中的所有纹理图像中的子块构成一个集合,记为其中, 表示中的所有纹理图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
①-3f、采用K-SVD方法对进行字典训练操作,获得的纹理字典表Dtex,Dtex通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ytex的维数为64×M,中的第1个列向量,中的第t个列向量,中的第M个列向量,Xtex表示稀疏矩阵,Xtex的维数为K×M,表示Xtex中的第1个列向量,表示Xtex中的第t个列向量,表示Xtex中的第M个列向量,符号“[]”为矢量表示符号,对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数。
所述的步骤①-3c和所述的步骤①-3f中的τ取值为0.1。
所述的步骤②-3的具体过程为:
②-3a、将Ltest和Rtest分别划分成个互不重叠的尺寸大小为8×8的子块;
②-3b、将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
②-3c、根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵,表示结构稀疏系数矩阵,表示纹理稀疏系数矩阵,的维数均为K×64,Ω表示的集合,符号“||||2”为求取矩阵的2-范数符号,符号“||||1”为求取矩阵的1-范数符号,λ表示拉格朗日参数;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
②-3d、计算Ltest中的每个子块的局部客观评价度量值,将Ltest中的第t'个子块的局部客观评价度量值记为zt',L其中,(xt′,L,test)T为xt',L,test的转置矩阵, 的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,符号“[]”为矢量表示符号,C为控制参数;
计算Rtest中的每个子块的局部客观评价度量值,将Rtest中的第t'个子块的局部客观评价度量值记为zt',R其中,(xt',R,test)T为xt',R,test的转置矩阵, 的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,符号“[]”为矢量表示符号;
②-3e、从Ltest中选出满足设定的第一判定条件的所有子块作为选定子块,对于Ltest中的第t'个子块,如果该子块对应的满足设定的第一判定条件则将该子块作为选定子块,其中,符号“||||”为欧氏距离计算符号,T1为设定的第一阈值;
从Rtest中选出满足设定的第二判定条件的所有子块作为选定子块,对于Rtest中的第t'个子块,如果该子块对应的满足设定的第二判定条件则将该子块作为选定子块,其中,T2为设定的第二阈值;
②-3f、根据Ltest和Rtest中的选定子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,Q=wL×zL+wR×zR,其中, NL表示Ltest中的选定子块的总个数,z'g,L表示Ltest中的第g个选定子块的局部客观评价度量值,NR表示Rtest中的选定子块的总个数,z'h,R表示Rtest中的第h个选定子块的局部客观评价度量值, 表示Ltest中的第g个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Ltest中的第g个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵, 表示Rtest中的第h个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Rtest中的第h个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵。
所述的步骤②-3e中的
与现有技术相比,本发明的优点在于:
1)本发明方法考虑到失真会导致图像结构或纹理信息的损失,因此在训练阶段,对多幅无失真立体图像的左视点图像实施结构纹理分离,然后通过无监督学习方式对由所有结构图像中的子块构成的集合进行字典训练操作,构造得到结构字典表,并通过无监督学习方式对由所有纹理图像中的子块构成的集合进行字典训练操作,构造得到纹理字典表,而在测试阶段不需要再计算结构字典表和纹理字典表,这样避免了复杂的机器学习训练过程,降低了计算复杂度,并且无需预知各评价图像的主观评价值,使得本发明方法适用于实际的应用场合。
2)本发明方法在测试阶段,根据在训练阶段构造得到的结构字典表和纹理字典表,联合优化得到测试立体图像的左视点图像和右视点图像各自的结构图像中的每个子块对应的结构稀疏系数矩阵和各自的纹理图像中的每个子块对应的纹理稀疏系数矩阵,及对应的无失真立体图像的左视点图像和右视点图像各自的结构图像中的每个子块对应的结构稀疏系数矩阵和各自的纹理图像中的每个子块对应的纹理稀疏系数矩阵,然后通过结构稀疏系数矩阵和纹理稀疏系数矩阵来计算失真立体图像的图像质量客观评价预测值,使得最终计算得到的失真立体图像的图像质量客观评价预测值与主观评价值保持了较好的一致性。
附图说明
图1为本发明方法的总体实现框图;
图2为利用本发明方法得到的宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图;
图3为利用本发明方法得到的LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、将选取的N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像,即表示第i幅原始的无失真立体图像的左视点图像,符号“{}”为集合表示符号,原始的无失真立体图像的宽度为W,原始的无失真立体图像的高度为H。
在具体实施时,原始的无失真立体图像选取的幅数应当适当,如果N的值越大,则通过训练得到的结构字典表和纹理字典表的精度也就越高,但计算复杂度也就越高,因此在本实施例中取N=10。
①-2、对{Li,org|1≤i≤N}中的每幅图像实施结构纹理分离,得到{Li,org|1≤i≤N}中的每幅图像的结构图像和纹理图像,将Li,org的结构图像和纹理图像对应记为然后将{Li,org|1≤i≤N}中的所有图像的结构图像构成的集合记为并将{Li,org|1≤i≤N}中的所有图像的纹理图像构成的集合记为
在此具体实施例中,步骤①-2中的的获取过程为:
①-2a、将Li,org中当前待处理的像素点定义为当前像素点。
①-2b、将当前像素点在Li,org中的坐标位置记为p;将以当前像素点为中心的21×21邻域窗口内除当前像素点外的每个像素点作为当前像素点的邻域像素点;将以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块定义为当前子块,记为将以当前像素点的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块作为当前子块的邻域子块,将以坐标位置为q的邻域像素点为中心的9×9邻域窗口内的所有像素点构成的邻域子块记为其中,p∈Ωi,org,Ωi,org表示Li,org中的所有像素点的坐标位置的集合,(x2,y2)表示中的像素点在中的坐标位置,1≤x2≤9,1≤y2≤9,表示中坐标位置为(x2,y2)的像素点的像素值,(x3,y3)表示中的像素点在中的坐标位置,1≤x3≤9,1≤y3≤9,表示中坐标位置为(x3,y3)的像素点的像素值。
上述步骤①-2b中,对于任意一个邻域像素点、当前子块中的任意一个像素点及邻域子块中的任意一个像素点,假设该像素点的坐标位置为(x,y),则如果x<1且1≤y≤H,则将Li,org中坐标位置为(1,y)的像素点的像素值赋值给该像素点;如果x>W且1≤y≤H,则将Li,org中坐标位置为(W,y)的像素点的像素值赋值给该像素点;如果1≤x≤W且y<1,则将Li,org中坐标位置为(x,1)的像素点的像素值赋值给该像素点;如果1≤x≤W且y>H,则将Li,org中坐标位置为(x,H)的像素点的像素值赋值给该像素点;如果x<1且y<1,则将Li,org中坐标位置为(1,1)的像素点的像素值赋值给该像素点;如果x>W且y<1,则将Li,org中坐标位置为(W,1)的像素点的像素值赋值给该像素点;如果x<1且y>H,则将Li,org中坐标位置为(1,H)的像素点的像素值赋值给该像素点;如果x>W且y>H,则将Li,org中坐标位置为(W,H)的像素点的像素值赋值给该像素点。
若当前像素点的某个邻域像素点、当前子块中的某个像素点及邻域子块中的某个像素点超出图像边界,则超出图像边界的像素点的像素值由最邻近的边界像素点的像素值替代。即上述步骤①-2b中,如果以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块内的某个像素点的坐标位置超出了Li,org的边界,则该像素点的像素值以最邻近的边界像素点的像素值替代;如果以当前像素点为中心的21×21邻域窗口内的邻域像素点的坐标位置超出了Li,org的边界,则该邻域像素点的像素值以最邻近的边界像素点的像素值替代;如果以当前像素点为中心的21×21邻域窗口内的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块内的某个像素点的坐标位置超出了Li,org的边界,则该像素点的像素值以最邻近的边界像素点的像素值替代。
①-2c、计算中的每个像素点的特征矢量,将中坐标位置为(x2,y2)的像素点的特征矢量记为 ,其中,的维数为7,符号“[]”为矢量表示符号,符号“||”为取绝对值符号,表示中坐标位置为(x2,y2)的像素点的密度值,在水平方向的一阶偏导数,在垂直方向的一阶偏导数,在水平方向的二阶偏导数,在垂直方向的二阶偏导数。
①-2d、根据中的每个像素点的特征矢量,计算的协方差矩阵,记为 其中,的维数为7×7,表示中的所有像素点的特征矢量的均值矢量,的转置矢量。
①-2e、对进行Cholesky分解,得到的Sigma特征集,记为 ,其中,的转置矩阵,的维数为7×15,符号“[]”为矢量表示符号,1≤j≤7,表示的第1列向量,表示的第j列向量,表示的第7列向量。
①-2f、按照步骤①-2c至步骤①-2e的操作,以相同的方式获取当前子块的每个邻域子块的Sigma特征集,将的Sigma特征集记为其中,的维数为7×15。
如:的获取过程为:a、计算中的每个像素点的特征矢量,将中坐标位置为(x3,y3)的像素点的特征矢量记为 其中,的维数为7,符号“[]”为矢量表示符号,符号“||”为取绝对值符号,表示中坐标位置为(x3,y3)的像素点的密度值,在水平方向的一阶偏导数,在垂直方向的一阶偏导数,在水平方向的二阶偏导数,在垂直方向的二阶偏导数;b、根据中的每个像素点的特征矢量,计算的协方差矩阵,记为 其中,的维数为7×7,表示中的所有像素点的特征矢量的均值矢量;c、对进行Cholesky分解,得到的Sigma特征集 ,其中,的维数为7×15,1≤j≤7。
①-2g、根据及当前子块的每个邻域子块的Sigma特征集,计算当前像素点的结构信息,记为 其中,N(p)表示当前像素点的所有邻域像素点的坐标位置的集合,exp()表示以自然基数e为底的指数函数,e=2.71828183,σ表示高斯函数的标准差,在本实施例中取σ=0.06,符号“||||”为欧氏距离计算符号,Li,org(q)表示坐标位置为q的像素点的像素值。
①-2h、根据计算当前像素点的纹理信息,记为 其中,Li,org(p)表示当前像素点的像素值。
①-2i、将Li,org中下一个待处理的像素点作为当前像素点,然后返回步骤①-2b继续执行,直至Li,org中的所有像素点处理完毕,得到Li,org中的每个像素点的结构信息和纹理信息,将Li,org中的所有像素点的结构信息构成的图像作为Li,org的结构图像将Li,org中的所有像素点的纹理信息构成的图像作为Li,org的纹理图像
①-3、对中的每幅结构图像进行非重叠的分子块处理;然后采用现有的K-SVD方法对中的所有结构图像中的子块构成的集合进行字典训练操作,构造得到的结构字典表,记为Dstr,其中,Dstr的维数为64×K,K表示设定的字典的个数,K≥1,K的取值过大会出现过聚类现象,K的取值过小会出现欠聚类现象,在本实施例中取K=128。
同样,对中的每幅纹理图像进行非重叠的分子块处理;然后采用现有的K-SVD方法对中的所有纹理图像中的子块构成的集合进行字典训练操作,构造得到的纹理字典表,记为Dtex,其中,Dtex的维数为64×K。
在此具体实施例中,步骤①-3中的Dstr的获取过程为:
①-3a、将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块。
①-3b、将中的所有结构图像中的子块构成一个集合,记为其中, 表示中的所有结构图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1。
①-3c、采用现有的K-SVD方法对进行字典训练操作,获得的结构字典表Dstr,Dstr通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ystr的维数为64×M,中的第1个列向量,亦表示由N幅结构图像中的第1个子块中的所有像素点组成的列向量,中的第t个列向量,亦表示由N幅结构图像中的第t个子块中的所有像素点组成的列向量,中的第M个列向量,Xstr表示稀疏矩阵,亦表示由N幅结构图像中的第M个子块中的所有像素点组成的列向量,Xstr的维数为K×M,表示Xstr中的第1个列向量,表示Xstr中的第t个列向量,表示Xstr中的第M个列向量,符号“[]”为矢量表示符号,表示对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,在本实施例中τ取值为0.1。
在此具体实施例中,步骤①-3中的Dtex的获取过程为:
①-3d、将中的每幅纹理图像划分成个互不重叠的尺寸大小为8×8的子块,其中,W和H对应表示原始的无失真立体图像的宽度和高度。
①-3e、将中的所有纹理图像中的子块构成一个集合,记为其中, 表示中的所有纹理图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1。
①-3f、采用现有的K-SVD方法对进行字典训练操作,获得的纹理字典表Dtex,Dtex通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ytex的维数为64×M,中的第1个列向量,亦表示由N幅纹理图像中的第1个子块中的所有像素点组成的列向量,中的第t个列向量,亦表示由N幅纹理图像中的第t个子块中的所有像素点组成的列向量,中的第M个列向量,亦表示由N幅纹理图像中的第M个子块中的所有像素点组成的列向量,Xtex表示稀疏矩阵,Xtex的维数为K×M,表示Xtex中的第1个列向量,表示Xtex中的第t个列向量,表示Xtex中的第M个列向量,符号“[]”为矢量表示符号,表示对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,在本实施例中τ取值为0.1。
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试立体图像Stest,假设Stest对应的原始的无失真立体图像为Sorg,其中,Stest的宽度与步骤①-1中的原始的无失真立体图像的宽度一致,Stest的高度与步骤①-1中的原始的无失真立体图像的高度一致。
②-2、按照步骤①-2的过程,以相同的方式获取Stest的左视点图像Ltest和右视点图像Rtest及Sorg的左视点图像Lorg和右视点图像Rorg各自的结构图像和纹理图像,将Ltest的结构图像和纹理图像对应记为将Rtest的结构图像和纹理图像对应记为将Lorg的结构图像和纹理图像对应记为将Rorg的结构图像和纹理图像对应记为
②-3、对Ltest和Rtest分别进行非重叠的分子块处理;然后根据在训练阶段过程构造得到的Dstr和Dtex联合优化,获取由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵;接着根据中的每个子块对应的结构稀疏系数矩阵、中的每个子块对应的纹理稀疏系数矩阵,计算Ltest中的每个子块的局部客观评价度量值,并根据中的每个子块对应的结构稀疏系数矩阵、中的每个子块对应的纹理稀疏系数矩阵,计算Rtest中的每个子块的局部客观评价度量值;最后根据Ltest和Rtest中的部分子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值。
在此具体实施例中,步骤②-3的具体过程为:
②-3a、将Ltest和Rtest分别划分成个互不重叠的尺寸大小为8×8的子块。
②-3b、将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
②-3c、根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵,表示结构稀疏系数矩阵,表示纹理稀疏系数矩阵,的维数均为K×64,Ω表示的集合,符号“||||2”为求取矩阵的2-范数符号,符号“||||1”为求取矩阵的1-范数符号,λ表示拉格朗日参数,在本实施例中取λ=0.01。
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵。
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵。
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵。
②-3d、计算Ltest中的每个子块的局部客观评价度量值,将Ltest中的第t'个子块的局部客观评价度量值记为zt',L其中,(xt',L,test)T为xt',L,test的转置矩阵, 的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,符号“[]”为矢量表示符号,C为控制参数,在本实施例中取C=0.02。
计算Rtest中的每个子块的局部客观评价度量值,将Rtest中的第t'个子块的局部客观评价度量值记为zt',R其中,(xt',R,test)T为xt',R,test的转置矩阵, 的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,符号“[]”为矢量表示符号。
②-3e、从Ltest中选出满足设定的第一判定条件的所有子块作为选定子块,对于Ltest中的第t'个子块,如果该子块对应的满足设定的第一判定条件则将该子块作为选定子块,其中,符号“||||”为欧氏距离计算符号,T1为设定的第一阈值,在本实施例中取
从Rtest中选出满足设定的第二判定条件的所有子块作为选定子块,对于Rtest中的第t'个子块,如果该子块对应的满足设定的第二判定条件则将该子块作为选定子块,其中,T2为设定的第二阈值,在本实施例中取
②-3f、根据Ltest和Rtest中的选定子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,Q=wL×zL+wR×zR,其中, NL表示Ltest中的选定子块的总个数,z'g,L表示Ltest中的第g个选定子块的局部客观评价度量值,NR表示Rtest中的选定子块的总个数,z'h,R表示Rtest中的第h个选定子块的局部客观评价度量值, 表示Ltest中的第g个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Ltest中的第g个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵, 表示Rtest中的第h个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Rtest中的第h个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵。
这里,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient,KROCC)、均方误差(root meansquared error,RMSE),PLCC和RMSE反映失真立体图像的客观评价结果的准确性,SROCC和KROCC反映其单调性。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值和LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值,再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合,PLCC、SROCC和KROCC值越高,RMSE值越低说明客观评价方法与平均主观评分差值之间的相关性越好。表1、表2、表3和表4分别给出了采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差。从表1、表2、表3和表4中可以看出,采用本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
图2给出了利用本发明方法得到的宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,图3给出了利用本发明方法得到的LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,散点越集中,说明客观评价结果与主观感知的一致性越好。从图2和图3中可以看出,采用本发明方法得到的散点图比较集中,与主观评价数据之间的吻合度较高。
表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数比较
表3利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Kendall相关系数比较
表4利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的均方误差比较

Claims (5)

1.一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、将选取的N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像,原始的无失真立体图像的宽度为W,原始的无失真立体图像的高度为H;
①-2、对{Li,org|1≤i≤N}中的每幅图像实施结构纹理分离,得到{Li,org|1≤i≤N}中的每幅图像的结构图像和纹理图像,将Li,org的结构图像和纹理图像对应记为然后将{Li,org|1≤i≤N}中的所有图像的结构图像构成的集合记为并将{Li,org|1≤i≤N}中的所有图像的纹理图像构成的集合记为
所述的步骤①-2中的的获取过程为:
①-2a、将Li,org中当前待处理的像素点定义为当前像素点;
①-2b、将当前像素点在Li,org中的坐标位置记为p;将以当前像素点为中心的21×21邻域窗口内除当前像素点外的每个像素点作为当前像素点的邻域像素点;将以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块定义为当前子块,记为将以当前像素点的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块作为当前子块的邻域子块,将以坐标位置为q的邻域像素点为中心的9×9邻域窗口内的所有像素点构成的邻域子块记为其中,p∈Ωi,org,Ωi,org表示Li,org中的所有像素点的坐标位置的集合,(x2,y2)表示中的像素点在中的坐标位置,1≤x2≤9,1≤y2≤9,表示中坐标位置为(x2,y2)的像素点的像素值,(x3,y3)表示中的像素点在中的坐标位置,1≤x3≤9,1≤y3≤9,表示中坐标位置为(x3,y3)的像素点的像素值;
上述步骤①-2b中,对于任意一个邻域像素点、当前子块中的任意一个像素点及邻域子块中的任意一个像素点,假设该像素点的坐标位置为(x,y),则如果x<1且1≤y≤H,则将Li,org中坐标位置为(1,y)的像素点的像素值赋值给该像素点;如果x>W且1≤y≤H,则将Li,org中坐标位置为(W,y)的像素点的像素值赋值给该像素点;如果1≤x≤W且y<1,则将Li,org中坐标位置为(x,1)的像素点的像素值赋值给该像素点;如果1≤x≤W且y>H,则将Li,org中坐标位置为(x,H)的像素点的像素值赋值给该像素点;如果x<1且y<1,则将Li,org中坐标位置为(1,1)的像素点的像素值赋值给该像素点;如果x>W且y<1,则将Li,org中坐标位置为(W,1)的像素点的像素值赋值给该像素点;如果x<1且y>H,则将Li,org中坐标位置为(1,H)的像素点的像素值赋值给该像素点;如果x>W且y>H,则将Li,org中坐标位置为(W,H)的像素点的像素值赋值给该像素点;
①-2c、计算中的每个像素点的特征矢量,将中坐标位置为(x2,y2)的像素点的特征矢量记为 ,其中,的维数为7,符号“[]”为矢量表示符号,符号“||”为取绝对值符号,表示中坐标位置为(x2,y2)的像素点的密度值,在水平方向的一阶偏导数,在垂直方向的一阶偏导数,在水平方向的二阶偏导数,在垂直方向的二阶偏导数;
①-2d、根据中的每个像素点的特征矢量,计算的协方差矩阵,记为 其中,的维数为7×7,表示中的所有像素点的特征矢量的均值矢量,的转置矢量;
①-2e、对进行Cholesky分解,得到的Sigma特征集,记为 ,其中,的转置矩阵,的维数为7×15,符号“[]”为矢量表示符号,1≤j≤7,表示的第1列向量,表示的第j列向量,表示的第7列向量;
①-2f、按照步骤①-2c至步骤①-2e的操作,以相同的方式获取当前子块的每个邻域子块的Sigma特征集,将的Sigma特征集记为其中,的维数为7×15;
①-2g、根据及当前子块的每个邻域子块的Sigma特征集,计算当前像素点的结构信息,记为 其中,N(p)表示当前像素点的所有邻域像素点的坐标位置的集合,exp()表示以自然基数e为底的指数函数,σ表示高斯函数的标准差,符号“||||”为欧氏距离计算符号,Li,org(q)表示坐标位置为q的像素点的像素值;
①-2h、根据计算当前像素点的纹理信息,记为 其中,Li,org(p)表示当前像素点的像素值;
①-2i、将Li,org中下一个待处理的像素点作为当前像素点,然后返回步骤①-2b继续执行,直至Li,org中的所有像素点处理完毕,得到Li,org中的每个像素点的结构信息和纹理信息,将Li,org中的所有像素点的结构信息构成的图像作为Li,org的结构图像将Li,org中的所有像素点的纹理信息构成的图像作为Li,org的纹理图像
①-3、对中的每幅结构图像进行非重叠的分子块处理;然后采用K-SVD方法对中的所有结构图像中的子块构成的集合进行字典训练操作,构造得到的结构字典表,记为Dstr,其中,Dstr的维数为64×K,K表示设定的字典的个数,K≥1;
同样,对中的每幅纹理图像进行非重叠的分子块处理;然后采用K-SVD方法对中的所有纹理图像中的子块构成的集合进行字典训练操作,构造得到的纹理字典表,记为Dtex,其中,Dtex的维数为64×K;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试立体图像Stest,假设Stest对应的原始的无失真立体图像为Sorg,其中,Stest的宽度与步骤①-1中的原始的无失真立体图像的宽度一致,Stest的高度与步骤①-1中的原始的无失真立体图像的高度一致;
②-2、按照步骤①-2的过程,以相同的方式获取Stest的左视点图像Ltest和右视点图像Rtest及Sorg的左视点图像Lorg和右视点图像Rorg各自的结构图像和纹理图像,将Ltest的结构图像和纹理图像对应记为将Rtest的结构图像和纹理图像对应记为将Lorg的结构图像和纹理图像对应记为将Rorg的结构图像和纹理图像对应记为
②-3、对Ltest和Rtest 分别进行非重叠的分子块处理;然后根据在训练阶段过程构造得到的Dstr和Dtex联合优化,获取由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵;接着根据中的每个子块对应的结构稀疏系数矩阵、中的每个子块对应的纹理稀疏系数矩阵,计算Ltest中的每个子块的局部客观评价度量值,并根据中的每个子块对应的结构稀疏系数矩阵、中的每个子块对应的纹理稀疏系数矩阵,计算Rtest中的每个子块的局部客观评价度量值;最后根据Ltest和Rtest中的部分子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值。
2.根据权利要求1所述的一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其特征在于所述的步骤①-3中的Dstr的获取过程为:
①-3a、将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块;
①-3b、将中的所有结构图像中的子块构成一个集合,记为其中, 表示中的所有结构图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
①-3c、采用K-SVD方法对进行字典训练操作,获得的结构字典表Dstr,Dstr通过K-SVD方法求解得到,满足条件:其中,min{}为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ystr的维数为64×M,中的第1个列向量,中的第t个列向量,中的第M个列向量,Xstr表示稀疏矩阵,Xstr的维数为K×M,表示Xstr中的第1个列向量,表示Xstr中的第t个列向量,表示Xstr中的第M个列向量,符号“[]”为矢量表示符号,表示对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数;
所述的步骤①-3中的Dtex的获取过程为:
①-3d、将中的每幅纹理图像划分成个互不重叠的尺寸大小为8×8的子块,其中,W和H对应表示原始的无失真立体图像的宽度和高度;
①-3e、将中的所有纹理图像中的子块构成一个集合,记为其中, 表示中的所有纹理图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
①-3f、采用K-SVD方法对进行字典训练操作,获得的纹理字典表Dtex,Dtex通过K-SVD方法求解得到,满足条件:其中,min{}为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ytex的维数为64×M,中的第1个列向量,中的第t个列向量,中的第M个列向量,Xtex表示稀疏矩阵,Xtex的维数为K×M,表示Xtex中的第1个列向量,表示Xtex中的第t个列向量,表示Xtex中的第M个列向量,符号“[]”为矢量表示符号,对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数。
3.根据权利要求2所述的一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其特征在于所述的步骤①-3c和所述的步骤①-3f中的τ取值为0.1。
4.根据权利要求2所述的一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其特征在于所述的步骤②-3的具体过程为:
②-3a、将Ltest和Rtest 分别划分成个互不重叠的尺寸大小为8×8的子块;
②-3b、将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
②-3c、根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵,表示结构稀疏系数矩阵,表示纹理稀疏系数矩阵,的维数均为K×64,Ω表示的集合,符号“||||2”为求取矩阵的2-范数符号,符号“||||1”为求取矩阵的1-范数符号,λ表示拉格朗日参数;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
②-3d、计算Ltest中的每个子块的局部客观评价度量值,将Ltest中的第t'个子块的局部客观评价度量值记为zt',L其中,(xt',L,test)T为xt',L,test的转置矩阵, 的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,符号“[]”为矢量表示符号,C为控制参数;
计算Rtest中的每个子块的局部客观评价度量值,将Rtest中的第t'个子块的局部客观评价度量值记为zt',R其中,(xt',R,test)T为xt',R,test的转置矩阵, 的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,的转置矩阵,符号“[]”为矢量表示符号;
②-3e、从Ltest中选出满足设定的第一判定条件的所有子块作为选定子块,对于Ltest中的第t'个子块,如果该子块对应的满足设定的第一判定条件则将该子块作为选定子块,其中,符号“||||”为欧氏距离计算符号,T1为设定的第一阈值;
从Rtest中选出满足设定的第二判定条件的所有子块作为选定子块,对于Rtest中的第t'个子块,如果该子块对应的满足设定的第二判定条件则将该子块作为选定子块,其中,T2为设定的第二阈值;
②-3f、根据Ltest和Rtest中的选定子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,Q=wL×zL+wR×zR,其中, NL表示Ltest中的选定子块的总个数,z'g,L表示Ltest中的第g个选定子块的局部客观评价度量值,NR表示Rtest中的选定子块的总个数,z'h,R表示Rtest中的第h个选定子块的局部客观评价度量值, 表示Ltest中的第g个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Ltest中的第g个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵, 表示Rtest中的第h个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Rtest中的第h个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵。
5.根据权利要求4所述的一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其特征在于所述的步骤②-3e中的
CN201510613829.3A 2015-09-23 2015-09-23 一种基于结构纹理稀疏表示的立体图像质量客观评价方法 Expired - Fee Related CN105321175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510613829.3A CN105321175B (zh) 2015-09-23 2015-09-23 一种基于结构纹理稀疏表示的立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510613829.3A CN105321175B (zh) 2015-09-23 2015-09-23 一种基于结构纹理稀疏表示的立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN105321175A CN105321175A (zh) 2016-02-10
CN105321175B true CN105321175B (zh) 2017-09-19

Family

ID=55248490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510613829.3A Expired - Fee Related CN105321175B (zh) 2015-09-23 2015-09-23 一种基于结构纹理稀疏表示的立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN105321175B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040775B (zh) * 2017-03-20 2019-01-15 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法
CN109872302A (zh) * 2019-01-15 2019-06-11 宁波大学科学技术学院 一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法
CN112437314B (zh) * 2020-10-16 2022-11-01 陕西师范大学 高效视频编码标准帧内图像质量估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6164024B2 (ja) * 2013-10-07 2017-07-19 富士ゼロックス株式会社 画像処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于稀疏表示的立体图像客观质量评价方法";李柯蒙等;《光电子·激光》;20141130;第25卷(第11期);第2227-2233页 *
"立体图像质量的主观感知评价研究";朱江英等;《宁波大学学报(理工版)》;20150131;第28卷(第1期);第35-41页 *
"结构-纹理字典学习的图像分解模型与算法";李亚峰;《计算机辅助设计与图形学学报》;20130831;第25卷(第8期);第1190-1197页 *

Also Published As

Publication number Publication date
CN105321175A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
CN104036501B (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104581143B (zh) 一种基于机器学习的无参考立体图像质量客观评价方法
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104240248B (zh) 一种无参考立体图像质量客观评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN105979253B (zh) 基于广义回归神经网络的无参考立体图像质量评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN102209257A (zh) 一种立体图像质量客观评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
Geng et al. A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property
CN105321175B (zh) 一种基于结构纹理稀疏表示的立体图像质量客观评价方法
CN109242834A (zh) 一种基于卷积神经网络的无参考立体图像质量评价方法
CN109523513A (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN111127435A (zh) 基于双流卷积神经网络的无参考图像质量评估方法
CN106023152B (zh) 一种无参考立体图像质量客观评价方法
CN105488792B (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN105898279B (zh) 一种立体图像质量客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191213

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210430

Address after: 226600 Building 1, 8 Xiaoxing Avenue, Chengdong Town, Hai'an City, Nantong City, Jiangsu Province

Patentee after: Jiangsu Zhuimeng Information Technology Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170919

Termination date: 20210923