发明内容
本发明所要解决的技术问题是提供一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性,且计算复杂度低,无需预知各评价图像的主观评价值。
本发明解决上述技术问题所采用的技术方案为:一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、将选取的N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像,原始的无失真立体图像的宽度为W,原始的无失真立体图像的高度为H;
①-2、对{Li,org|1≤i≤N}中的每幅图像实施结构纹理分离,得到{Li,org|1≤i≤N}中的每幅图像的结构图像和纹理图像,将Li,org的结构图像和纹理图像对应记为和然后将{Li,org|1≤i≤N}中的所有图像的结构图像构成的集合记为并将{Li,org|1≤i≤N}中的所有图像的纹理图像构成的集合记为
①-3、对中的每幅结构图像进行非重叠的分子块处理;然后采用K-SVD方法对中的所有结构图像中的子块构成的集合进行字典训练操作,构造得到的结构字典表,记为Dstr,其中,Dstr的维数为64×K,K表示设定的字典的个数,K≥1;
同样,对中的每幅纹理图像进行非重叠的分子块处理;然后采用K-SVD方法对中的所有纹理图像中的子块构成的集合进行字典训练操作,构造得到的纹理字典表,记为Dtex,其中,Dtex的维数为64×K;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试立体图像Stest,假设Stest对应的原始的无失真立体图像为Sorg,其中,Stest的宽度与步骤①-1中的原始的无失真立体图像的宽度一致,Stest的高度与步骤①-1中的原始的无失真立体图像的高度一致;
②-2、按照步骤①-2的过程,以相同的方式获取Stest的左视点图像Ltest和右视点图像Rtest及Sorg的左视点图像Lorg和右视点图像Rorg各自的结构图像和纹理图像,将Ltest的结构图像和纹理图像对应记为和将Rtest的结构图像和纹理图像对应记为和将Lorg的结构图像和纹理图像对应记为和将Rorg的结构图像和纹理图像对应记为和
②-3、对Ltest和Rtest、和和和和分别进行非重叠的分子块处理;然后根据在训练阶段过程构造得到的Dstr和Dtex联合优化,获取由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵;接着根据和中的每个子块对应的结构稀疏系数矩阵、和中的每个子块对应的纹理稀疏系数矩阵,计算Ltest中的每个子块的局部客观评价度量值,并根据和中的每个子块对应的结构稀疏系数矩阵、和中的每个子块对应的纹理稀疏系数矩阵,计算Rtest中的每个子块的局部客观评价度量值;最后根据Ltest和Rtest中的部分子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值。
所述的步骤①-2中的和的获取过程为:
①-2a、将Li,org中当前待处理的像素点定义为当前像素点;
①-2b、将当前像素点在Li,org中的坐标位置记为p;将以当前像素点为中心的21×21邻域窗口内除当前像素点外的每个像素点作为当前像素点的邻域像素点;将以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块定义为当前子块,记为将以当前像素点的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块作为当前子块的邻域子块,将以坐标位置为q的邻域像素点为中心的9×9邻域窗口内的所有像素点构成的邻域子块记为其中,p∈Ωi,org,Ωi,org表示Li,org中的所有像素点的坐标位置的集合,(x2,y2)表示中的像素点在中的坐标位置,1≤x2≤9,1≤y2≤9,表示中坐标位置为(x2,y2)的像素点的像素值,(x3,y3)表示中的像素点在中的坐标位置,1≤x3≤9,1≤y3≤9,表示中坐标位置为(x3,y3)的像素点的像素值;
上述步骤①-2b中,对于任意一个邻域像素点、当前子块中的任意一个像素点及邻域子块中的任意一个像素点,假设该像素点的坐标位置为(x,y),则如果x<1且1≤y≤H,则将Li,org中坐标位置为(1,y)的像素点的像素值赋值给该像素点;如果x>W且1≤y≤H,则将Li,org中坐标位置为(W,y)的像素点的像素值赋值给该像素点;如果1≤x≤W且y<1,则将Li,org中坐标位置为(x,1)的像素点的像素值赋值给该像素点;如果1≤x≤W且y>H,则将Li,org中坐标位置为(x,H)的像素点的像素值赋值给该像素点;如果x<1且y<1,则将Li,org中坐标位置为(1,1)的像素点的像素值赋值给该像素点;如果x>W且y<1,则将Li,org中坐标位置为(W,1)的像素点的像素值赋值给该像素点;如果x<1且y>H,则将Li,org中坐标位置为(1,H)的像素点的像素值赋值给该像素点;如果x>W且y>H,则将Li,org中坐标位置为(W,H)的像素点的像素值赋值给该像素点;
①-2c、计算中的每个像素点的特征矢量,将中坐标位置为(x2,y2)的像素点的特征矢量记为 ,其中,的维数为7,符号“[]”为矢量表示符号,符号“||”为取绝对值符号,表示中坐标位置为(x2,y2)的像素点的密度值,为在水平方向的一阶偏导数,为在垂直方向的一阶偏导数,为在水平方向的二阶偏导数,为在垂直方向的二阶偏导数;
①-2d、根据中的每个像素点的特征矢量,计算的协方差矩阵,记为 其中,的维数为7×7,表示中的所有像素点的特征矢量的均值矢量,为的转置矢量;
①-2e、对进行Cholesky分解,得到的Sigma特征集,记为 ,其中,为的转置矩阵,的维数为7×15,符号“[]”为矢量表示符号,1≤j≤7,表示的第1列向量,表示的第j列向量,表示的第7列向量;
①-2f、按照步骤①-2c至步骤①-2e的操作,以相同的方式获取当前子块的每个邻域子块的Sigma特征集,将的Sigma特征集记为其中,的维数为7×15;
①-2g、根据及当前子块的每个邻域子块的Sigma特征集,计算当前像素点的结构信息,记为 其中,N(p)表示当前像素点的所有邻域像素点的坐标位置的集合,exp()表示以自然基数e为底的指数函数,σ表示高斯函数的标准差,符号“||||”为欧氏距离计算符号,Li,org(q)表示坐标位置为q的像素点的像素值;
①-2h、根据计算当前像素点的纹理信息,记为 其中,Li,org(p)表示当前像素点的像素值;
①-2i、将Li,org中下一个待处理的像素点作为当前像素点,然后返回步骤①-2b继续执行,直至Li,org中的所有像素点处理完毕,得到Li,org中的每个像素点的结构信息和纹理信息,将Li,org中的所有像素点的结构信息构成的图像作为Li,org的结构图像将Li,org中的所有像素点的纹理信息构成的图像作为Li,org的纹理图像
所述的步骤①-3中的Dstr的获取过程为:
①-3a、将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块;
①-3b、将中的所有结构图像中的子块构成一个集合,记为其中, 表示中的所有结构图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
①-3c、采用K-SVD方法对进行字典训练操作,获得的结构字典表Dstr,Dstr通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ystr的维数为64×M,为中的第1个列向量,为中的第t个列向量,为中的第M个列向量,Xstr表示稀疏矩阵,Xstr的维数为K×M,表示Xstr中的第1个列向量,表示Xstr中的第t个列向量,表示Xstr中的第M个列向量,符号“[]”为矢量表示符号,表示对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数;
所述的步骤①-3中的Dtex的获取过程为:
①-3d、将中的每幅纹理图像划分成个互不重叠的尺寸大小为8×8的子块,其中,W和H对应表示原始的无失真立体图像的宽度和高度;
①-3e、将中的所有纹理图像中的子块构成一个集合,记为其中, 表示中的所有纹理图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
①-3f、采用K-SVD方法对进行字典训练操作,获得的纹理字典表Dtex,Dtex通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ytex的维数为64×M,为中的第1个列向量,为中的第t个列向量,为中的第M个列向量,Xtex表示稀疏矩阵,Xtex的维数为K×M,表示Xtex中的第1个列向量,表示Xtex中的第t个列向量,表示Xtex中的第M个列向量,符号“[]”为矢量表示符号,对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数。
所述的步骤①-3c和所述的步骤①-3f中的τ取值为0.1。
所述的步骤②-3的具体过程为:
②-3a、将Ltest和Rtest、和和和和分别划分成个互不重叠的尺寸大小为8×8的子块;
②-3b、将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
②-3c、根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵,表示结构稀疏系数矩阵,表示纹理稀疏系数矩阵,和的维数均为K×64,Ω表示的集合,符号“||||2”为求取矩阵的2-范数符号,符号“||||1”为求取矩阵的1-范数符号,λ表示拉格朗日参数;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵;
②-3d、计算Ltest中的每个子块的局部客观评价度量值,将Ltest中的第t'个子块的局部客观评价度量值记为zt',L,其中,(xt′,L,test)T为xt',L,test的转置矩阵, 为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,符号“[]”为矢量表示符号,C为控制参数;
计算Rtest中的每个子块的局部客观评价度量值,将Rtest中的第t'个子块的局部客观评价度量值记为zt',R,其中,(xt',R,test)T为xt',R,test的转置矩阵, 为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,符号“[]”为矢量表示符号;
②-3e、从Ltest中选出满足设定的第一判定条件的所有子块作为选定子块,对于Ltest中的第t'个子块,如果该子块对应的和满足设定的第一判定条件则将该子块作为选定子块,其中,符号“||||”为欧氏距离计算符号,T1为设定的第一阈值;
从Rtest中选出满足设定的第二判定条件的所有子块作为选定子块,对于Rtest中的第t'个子块,如果该子块对应的和满足设定的第二判定条件则将该子块作为选定子块,其中,T2为设定的第二阈值;
②-3f、根据Ltest和Rtest中的选定子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,Q=wL×zL+wR×zR,其中, NL表示Ltest中的选定子块的总个数,z'g,L表示Ltest中的第g个选定子块的局部客观评价度量值,NR表示Rtest中的选定子块的总个数,z'h,R表示Rtest中的第h个选定子块的局部客观评价度量值, 表示Ltest中的第g个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Ltest中的第g个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵, 表示Rtest中的第h个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Rtest中的第h个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵。
所述的步骤②-3e中的
与现有技术相比,本发明的优点在于:
1)本发明方法考虑到失真会导致图像结构或纹理信息的损失,因此在训练阶段,对多幅无失真立体图像的左视点图像实施结构纹理分离,然后通过无监督学习方式对由所有结构图像中的子块构成的集合进行字典训练操作,构造得到结构字典表,并通过无监督学习方式对由所有纹理图像中的子块构成的集合进行字典训练操作,构造得到纹理字典表,而在测试阶段不需要再计算结构字典表和纹理字典表,这样避免了复杂的机器学习训练过程,降低了计算复杂度,并且无需预知各评价图像的主观评价值,使得本发明方法适用于实际的应用场合。
2)本发明方法在测试阶段,根据在训练阶段构造得到的结构字典表和纹理字典表,联合优化得到测试立体图像的左视点图像和右视点图像各自的结构图像中的每个子块对应的结构稀疏系数矩阵和各自的纹理图像中的每个子块对应的纹理稀疏系数矩阵,及对应的无失真立体图像的左视点图像和右视点图像各自的结构图像中的每个子块对应的结构稀疏系数矩阵和各自的纹理图像中的每个子块对应的纹理稀疏系数矩阵,然后通过结构稀疏系数矩阵和纹理稀疏系数矩阵来计算失真立体图像的图像质量客观评价预测值,使得最终计算得到的失真立体图像的图像质量客观评价预测值与主观评价值保持了较好的一致性。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于结构纹理稀疏表示的立体图像质量客观评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:
①-1、将选取的N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像,即表示第i幅原始的无失真立体图像的左视点图像,符号“{}”为集合表示符号,原始的无失真立体图像的宽度为W,原始的无失真立体图像的高度为H。
在具体实施时,原始的无失真立体图像选取的幅数应当适当,如果N的值越大,则通过训练得到的结构字典表和纹理字典表的精度也就越高,但计算复杂度也就越高,因此在本实施例中取N=10。
①-2、对{Li,org|1≤i≤N}中的每幅图像实施结构纹理分离,得到{Li,org|1≤i≤N}中的每幅图像的结构图像和纹理图像,将Li,org的结构图像和纹理图像对应记为和然后将{Li,org|1≤i≤N}中的所有图像的结构图像构成的集合记为并将{Li,org|1≤i≤N}中的所有图像的纹理图像构成的集合记为
在此具体实施例中,步骤①-2中的和的获取过程为:
①-2a、将Li,org中当前待处理的像素点定义为当前像素点。
①-2b、将当前像素点在Li,org中的坐标位置记为p;将以当前像素点为中心的21×21邻域窗口内除当前像素点外的每个像素点作为当前像素点的邻域像素点;将以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块定义为当前子块,记为将以当前像素点的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块作为当前子块的邻域子块,将以坐标位置为q的邻域像素点为中心的9×9邻域窗口内的所有像素点构成的邻域子块记为其中,p∈Ωi,org,Ωi,org表示Li,org中的所有像素点的坐标位置的集合,(x2,y2)表示中的像素点在中的坐标位置,1≤x2≤9,1≤y2≤9,表示中坐标位置为(x2,y2)的像素点的像素值,(x3,y3)表示中的像素点在中的坐标位置,1≤x3≤9,1≤y3≤9,表示中坐标位置为(x3,y3)的像素点的像素值。
上述步骤①-2b中,对于任意一个邻域像素点、当前子块中的任意一个像素点及邻域子块中的任意一个像素点,假设该像素点的坐标位置为(x,y),则如果x<1且1≤y≤H,则将Li,org中坐标位置为(1,y)的像素点的像素值赋值给该像素点;如果x>W且1≤y≤H,则将Li,org中坐标位置为(W,y)的像素点的像素值赋值给该像素点;如果1≤x≤W且y<1,则将Li,org中坐标位置为(x,1)的像素点的像素值赋值给该像素点;如果1≤x≤W且y>H,则将Li,org中坐标位置为(x,H)的像素点的像素值赋值给该像素点;如果x<1且y<1,则将Li,org中坐标位置为(1,1)的像素点的像素值赋值给该像素点;如果x>W且y<1,则将Li,org中坐标位置为(W,1)的像素点的像素值赋值给该像素点;如果x<1且y>H,则将Li,org中坐标位置为(1,H)的像素点的像素值赋值给该像素点;如果x>W且y>H,则将Li,org中坐标位置为(W,H)的像素点的像素值赋值给该像素点。
若当前像素点的某个邻域像素点、当前子块中的某个像素点及邻域子块中的某个像素点超出图像边界,则超出图像边界的像素点的像素值由最邻近的边界像素点的像素值替代。即上述步骤①-2b中,如果以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块内的某个像素点的坐标位置超出了Li,org的边界,则该像素点的像素值以最邻近的边界像素点的像素值替代;如果以当前像素点为中心的21×21邻域窗口内的邻域像素点的坐标位置超出了Li,org的边界,则该邻域像素点的像素值以最邻近的边界像素点的像素值替代;如果以当前像素点为中心的21×21邻域窗口内的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块内的某个像素点的坐标位置超出了Li,org的边界,则该像素点的像素值以最邻近的边界像素点的像素值替代。
①-2c、计算中的每个像素点的特征矢量,将中坐标位置为(x2,y2)的像素点的特征矢量记为 ,其中,的维数为7,符号“[]”为矢量表示符号,符号“||”为取绝对值符号,表示中坐标位置为(x2,y2)的像素点的密度值,为在水平方向的一阶偏导数,为在垂直方向的一阶偏导数,为在水平方向的二阶偏导数,为在垂直方向的二阶偏导数。
①-2d、根据中的每个像素点的特征矢量,计算的协方差矩阵,记为 其中,的维数为7×7,表示中的所有像素点的特征矢量的均值矢量,为的转置矢量。
①-2e、对进行Cholesky分解,得到的Sigma特征集,记为 ,其中,为的转置矩阵,的维数为7×15,符号“[]”为矢量表示符号,1≤j≤7,表示的第1列向量,表示的第j列向量,表示的第7列向量。
①-2f、按照步骤①-2c至步骤①-2e的操作,以相同的方式获取当前子块的每个邻域子块的Sigma特征集,将的Sigma特征集记为其中,的维数为7×15。
如:的获取过程为:a、计算中的每个像素点的特征矢量,将中坐标位置为(x3,y3)的像素点的特征矢量记为 其中,的维数为7,符号“[]”为矢量表示符号,符号“||”为取绝对值符号,表示中坐标位置为(x3,y3)的像素点的密度值,为在水平方向的一阶偏导数,为在垂直方向的一阶偏导数,为在水平方向的二阶偏导数,为在垂直方向的二阶偏导数;b、根据中的每个像素点的特征矢量,计算的协方差矩阵,记为 其中,的维数为7×7,表示中的所有像素点的特征矢量的均值矢量;c、对进行Cholesky分解,得到的Sigma特征集 ,其中,的维数为7×15,1≤j≤7。
①-2g、根据及当前子块的每个邻域子块的Sigma特征集,计算当前像素点的结构信息,记为 其中,N(p)表示当前像素点的所有邻域像素点的坐标位置的集合,exp()表示以自然基数e为底的指数函数,e=2.71828183,σ表示高斯函数的标准差,在本实施例中取σ=0.06,符号“||||”为欧氏距离计算符号,Li,org(q)表示坐标位置为q的像素点的像素值。
①-2h、根据计算当前像素点的纹理信息,记为 其中,Li,org(p)表示当前像素点的像素值。
①-2i、将Li,org中下一个待处理的像素点作为当前像素点,然后返回步骤①-2b继续执行,直至Li,org中的所有像素点处理完毕,得到Li,org中的每个像素点的结构信息和纹理信息,将Li,org中的所有像素点的结构信息构成的图像作为Li,org的结构图像将Li,org中的所有像素点的纹理信息构成的图像作为Li,org的纹理图像
①-3、对中的每幅结构图像进行非重叠的分子块处理;然后采用现有的K-SVD方法对中的所有结构图像中的子块构成的集合进行字典训练操作,构造得到的结构字典表,记为Dstr,其中,Dstr的维数为64×K,K表示设定的字典的个数,K≥1,K的取值过大会出现过聚类现象,K的取值过小会出现欠聚类现象,在本实施例中取K=128。
同样,对中的每幅纹理图像进行非重叠的分子块处理;然后采用现有的K-SVD方法对中的所有纹理图像中的子块构成的集合进行字典训练操作,构造得到的纹理字典表,记为Dtex,其中,Dtex的维数为64×K。
在此具体实施例中,步骤①-3中的Dstr的获取过程为:
①-3a、将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块。
①-3b、将中的所有结构图像中的子块构成一个集合,记为其中, 表示中的所有结构图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1。
①-3c、采用现有的K-SVD方法对进行字典训练操作,获得的结构字典表Dstr,Dstr通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ystr的维数为64×M,为中的第1个列向量,亦表示由N幅结构图像中的第1个子块中的所有像素点组成的列向量,为中的第t个列向量,亦表示由N幅结构图像中的第t个子块中的所有像素点组成的列向量,为中的第M个列向量,Xstr表示稀疏矩阵,亦表示由N幅结构图像中的第M个子块中的所有像素点组成的列向量,Xstr的维数为K×M,表示Xstr中的第1个列向量,表示Xstr中的第t个列向量,表示Xstr中的第M个列向量,符号“[]”为矢量表示符号,表示对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,在本实施例中τ取值为0.1。
在此具体实施例中,步骤①-3中的Dtex的获取过程为:
①-3d、将中的每幅纹理图像划分成个互不重叠的尺寸大小为8×8的子块,其中,W和H对应表示原始的无失真立体图像的宽度和高度。
①-3e、将中的所有纹理图像中的子块构成一个集合,记为其中, 表示中的所有纹理图像中的子块中的第t个子块中的所有像素点组成的列向量,的维数为64×1。
①-3f、采用现有的K-SVD方法对进行字典训练操作,获得的纹理字典表Dtex,Dtex通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Ytex的维数为64×M,为中的第1个列向量,亦表示由N幅纹理图像中的第1个子块中的所有像素点组成的列向量,为中的第t个列向量,亦表示由N幅纹理图像中的第t个子块中的所有像素点组成的列向量,为中的第M个列向量,亦表示由N幅纹理图像中的第M个子块中的所有像素点组成的列向量,Xtex表示稀疏矩阵,Xtex的维数为K×M,表示Xtex中的第1个列向量,表示Xtex中的第t个列向量,表示Xtex中的第M个列向量,符号“[]”为矢量表示符号,表示对于任意一个t,1≤t≤M,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,在本实施例中τ取值为0.1。
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一副测试立体图像Stest,假设Stest对应的原始的无失真立体图像为Sorg,其中,Stest的宽度与步骤①-1中的原始的无失真立体图像的宽度一致,Stest的高度与步骤①-1中的原始的无失真立体图像的高度一致。
②-2、按照步骤①-2的过程,以相同的方式获取Stest的左视点图像Ltest和右视点图像Rtest及Sorg的左视点图像Lorg和右视点图像Rorg各自的结构图像和纹理图像,将Ltest的结构图像和纹理图像对应记为和将Rtest的结构图像和纹理图像对应记为和将Lorg的结构图像和纹理图像对应记为和将Rorg的结构图像和纹理图像对应记为和
②-3、对Ltest和Rtest、和和和和分别进行非重叠的分子块处理;然后根据在训练阶段过程构造得到的Dstr和Dtex联合优化,获取由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵;接着根据和中的每个子块对应的结构稀疏系数矩阵、和中的每个子块对应的纹理稀疏系数矩阵,计算Ltest中的每个子块的局部客观评价度量值,并根据和中的每个子块对应的结构稀疏系数矩阵、和中的每个子块对应的纹理稀疏系数矩阵,计算Rtest中的每个子块的局部客观评价度量值;最后根据Ltest和Rtest中的部分子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值。
在此具体实施例中,步骤②-3的具体过程为:
②-3a、将Ltest和Rtest、和和和和分别划分成个互不重叠的尺寸大小为8×8的子块。
②-3b、将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
将中的所有子块构成一个集合,记为其中,表示中的第t'个子块中的所有像素点组成的列向量,的维数为64×1。
②-3c、根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵,表示结构稀疏系数矩阵,表示纹理稀疏系数矩阵,和的维数均为K×64,Ω表示的集合,符号“||||2”为求取矩阵的2-范数符号,符号“||||1”为求取矩阵的1-范数符号,λ表示拉格朗日参数,在本实施例中取λ=0.01。
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵。
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵。
根据在训练阶段过程构造得到的Dstr和Dtex联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩阵,将的结构稀疏系数矩阵和的纹理稀疏系数矩阵对应记为和 其中,表示取使得的值最小的结构稀疏系数矩阵和纹理稀疏系数矩阵。
②-3d、计算Ltest中的每个子块的局部客观评价度量值,将Ltest中的第t'个子块的局部客观评价度量值记为zt',L,其中,(xt',L,test)T为xt',L,test的转置矩阵, 为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,符号“[]”为矢量表示符号,C为控制参数,在本实施例中取C=0.02。
计算Rtest中的每个子块的局部客观评价度量值,将Rtest中的第t'个子块的局部客观评价度量值记为zt',R,其中,(xt',R,test)T为xt',R,test的转置矩阵, 为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,为的转置矩阵,符号“[]”为矢量表示符号。
②-3e、从Ltest中选出满足设定的第一判定条件的所有子块作为选定子块,对于Ltest中的第t'个子块,如果该子块对应的和满足设定的第一判定条件则将该子块作为选定子块,其中,符号“||||”为欧氏距离计算符号,T1为设定的第一阈值,在本实施例中取
从Rtest中选出满足设定的第二判定条件的所有子块作为选定子块,对于Rtest中的第t'个子块,如果该子块对应的和满足设定的第二判定条件则将该子块作为选定子块,其中,T2为设定的第二阈值,在本实施例中取
②-3f、根据Ltest和Rtest中的选定子块的局部客观评价度量值,计算Stest的图像质量客观评价预测值,记为Q,Q=wL×zL+wR×zR,其中, NL表示Ltest中的选定子块的总个数,z'g,L表示Ltest中的第g个选定子块的局部客观评价度量值,NR表示Rtest中的选定子块的总个数,z'h,R表示Rtest中的第h个选定子块的局部客观评价度量值, 表示Ltest中的第g个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Ltest中的第g个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵, 表示Rtest中的第h个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵,表示Rtest中的第h个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵。
这里,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient,KROCC)、均方误差(root meansquared error,RMSE),PLCC和RMSE反映失真立体图像的客观评价结果的准确性,SROCC和KROCC反映其单调性。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值和LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值,再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合,PLCC、SROCC和KROCC值越高,RMSE值越低说明客观评价方法与平均主观评分差值之间的相关性越好。表1、表2、表3和表4分别给出了采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差。从表1、表2、表3和表4中可以看出,采用本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
图2给出了利用本发明方法得到的宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,图3给出了利用本发明方法得到的LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,散点越集中,说明客观评价结果与主观感知的一致性越好。从图2和图3中可以看出,采用本发明方法得到的散点图比较集中,与主观评价数据之间的吻合度较高。
表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数比较
表3利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Kendall相关系数比较
表4利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的均方误差比较