CN104581143A - 一种基于机器学习的无参考立体图像质量客观评价方法 - Google Patents

一种基于机器学习的无参考立体图像质量客观评价方法 Download PDF

Info

Publication number
CN104581143A
CN104581143A CN201510017701.0A CN201510017701A CN104581143A CN 104581143 A CN104581143 A CN 104581143A CN 201510017701 A CN201510017701 A CN 201510017701A CN 104581143 A CN104581143 A CN 104581143A
Authority
CN
China
Prior art keywords
picture
represent
yardstick
training
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510017701.0A
Other languages
English (en)
Other versions
CN104581143B (zh
Inventor
邵枫
李柯蒙
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhidake Information Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510017701.0A priority Critical patent/CN104581143B/zh
Publication of CN104581143A publication Critical patent/CN104581143A/zh
Application granted granted Critical
Publication of CN104581143B publication Critical patent/CN104581143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器学习的无参考立体图像质量客观评价方法,其通过在训练阶段构造视觉字典表,对于任意一幅失真立体图像的左视点图像和右视点图像,根据已构造的视觉字典表,计算左视点图像和右视点图像各自中的每个子块的稀疏系数矩阵,并通过最大池化方法得到左视点图像和右视点图像各自的特征矢量,特征提取简单,计算复杂度低;通过构造左视点图像和右视点图像的支持向量回归训练模型,预测得到测试样本数据集合中的每个特征矢量对应的左视点图像和右视点图像各自的客观质量评价预测值,并根据特征矢量信息进行加权,得到立体图像的客观质量评价预测值,客观评价结果与主观感知之间的相关性高。

Description

一种基于机器学习的无参考立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于机器学习的无参考立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左视点图像和右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对其进行质量评价具有非常重要的意义。然而,目前对立体图像质量缺乏有效的客观评价方法进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
由于影响立体图像质量的因素较多,如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等,因此如何有效地进行立体图像质量评价是亟需解决的难点问题。现有的方法主要是通过机器学习来预测评价模型的,但针对立体图像,现有的立体图像评价方法还是平面图像评价方法的简单扩展,并没有考虑双目视觉特性,因此,如何在在评价过程中有效地提取图像特征信息,如果在评价过程中进行双目结合,使得客观评价结果更加感觉符合人类视觉系统,是在对立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于机器学习的无参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于机器学习的无参考立体图像质量客观评价方法,其特征在于包括以下步骤:
①选取N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像;
②利用高斯差分滤波器对{Li,org|1≤i≤N}中的每幅图像实施高斯差分滤波,得到{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像;
③对{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理;然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典;再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S},其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,Dj表示第j个尺度下的目标训练字典,Dj亦表示第j个尺度下的N幅滤波图像的视觉字典表,Dj亦表示D中的第j个视觉字典;
④将待评价的失真立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},其中,此处(x,y)表示{IL(x,y)}和{IR(x,y)}中的像素点的坐标位置,1≤x≤W′,1≤y≤H′,W′表示待评价的失真立体图像的宽度,H′表示待评价的失真立体图像的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑤利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像;然后对{IL(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IL(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IL(x,y)}的特征矢量,记为FL其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,在此M′表示{IL(x,y)}在每个尺度下的滤波图像中包含的子块的总个数,表示由{IL(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;
同样,利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像;然后对{IR(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IR(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IR(x,y)}的特征矢量,记为FR其中,在此M′表示{IR(x,y)}在每个尺度下的滤波图像中包含的子块的总个数,表示由{IR(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;
⑥采用n幅失真立体图像建立失真立体图像集合,利用主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量FL和右视点图像的特征矢量FR的操作,以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量,将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为Fi,L和Fi,R,其中,1≤i≤n,n表示失真立体图像集合中包含的失真立体图像的幅数;
⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集;接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对左视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型,记为fL(Finp),其中,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性函数;
同样,将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对右视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp),其中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性函数;
⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合;然后根据左视点图像的支持向量回归训练模型,对左视点测试样本数据集合中的每个特征矢量进行测试,预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值,将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为QL,q,QL,q=fL(FL,q),其中,1≤q≤n-m,m表示训练集中包含的失真立体图像的幅数,FL,q表示左视点测试样本数据集合中的第q个特征矢量,表示左视点测试样本数据集合中的第q个特征矢量的线性函数;
同样,将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合;然后根据右视点图像的支持向量回归训练模型,对右视点测试样本数据集合中的每个特征矢量进行测试,预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为QR,q,QR,q=fR(FR,q),其中,FR,q表示右视点测试样本数据集合中的第q个特征矢量,表示右视点测试样本数据集合中的第q个特征矢量的线性函数;
⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,计算测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第q幅失真立体图像的客观质量评价预测值记为Qq,Qq=wL,q×QL,q+wR,q×QR,q,其中,QL,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值,QL,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值,QR,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值,QR,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值,wL,q表示QL,q的权重,wR,q表示QR,q的权重,符号“||||2”为求取矩阵的2-范数符号,符号“<>”为求内积符号;
⑩重复执行步骤⑦至步骤⑨P次,并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集,经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值,再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值,其中,P的取值大于100。
所述的步骤③的具体过程为:
③-1、将{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块;然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合,将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中,W表示原始的无失真立体图像的宽度,H表示原始的无失真立体图像的高度,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数, 表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典,将第j个尺度下的目标训练字典记为Dj,Dj通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Yj的维数为64×M,中的第1个列向量,中的第t个列向量,中的第M个列向量,Xj表示第j个尺度下的稀疏矩阵, 表示Xj中的第1个列向量,表示Xj中的第t个列向量,表示Xj中的第M个列向量,Xj的维数为K×M,K表示设定的字典的个数,K≥1,符号“[]”为矢量表示符号,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,Dj的维数为64×K;
③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S}。
所述的步骤③-2中取τ=0.1。
所述的步骤⑤的具体过程为:
⑤-1a、利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像,将{IL(x,y)}在第j个尺度下的滤波图像记为其中,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数,表示中坐标位置为(x,y)的像素点的像素值;
⑤-2a、将{IL(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块,然后将{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由中的所有子块构成的集合记为其中,表示由中的第t′个子块中的所有像素点组成的列向量,的维数为64×1;
⑤-3a、根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于中的每个元素的稀疏系数矩阵,根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典Dj获得,将的稀疏系数矩阵记为 其中,(Dj)-1为Dj的逆矩阵,的维数为K×1;
⑤-4a、获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将经最大池化后得到的稀疏系数矩阵记为的获取过程为:将的转置矩阵表示为然后采用最大池化方法重新计算中的每个元素的值,将经最大池化方法重新获得的表示为 ( x ~ t &prime; , L j ) T = [ &theta; ~ 1 , t &prime; , L j . . . &theta; ~ k , t &prime; , L j . . . &theta; ~ K , t &prime; , L j ] , 再对进行转置得到其中,1≤k≤K,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,的转置矩阵,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,max()为取最大值函数;
⑤-5a、获取{IL(x,y)}的特征矢量,记为FL其中,FL的维数为K×1;
⑤-1b、利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像,将{IR(x,y)}在第j个尺度下的滤波图像记为其中,表示中坐标位置为(x,y)的像素点的像素值;
⑤-2b、将{IR(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块,然后将{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由中的所有子块构成的集合记为其中,表示由中的第t′个子块中的所有像素点组成的列向量,的维数为64×1;
⑤-3b、根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于中的每个元素的稀疏系数矩阵,根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典Dj获得,将的稀疏系数矩阵记为 其中,(Dj)-1为Dj的逆矩阵,的维数为K×1;
⑤-4b、获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将经最大池化后得到的稀疏系数矩阵记为的获取过程为:将的转置矩阵表示为然后采用最大池化方法重新计算中的每个元素的值,将经最大池化方法重新获得的表示为 ( x ~ t &prime; , L j ) T = [ &theta; ~ 1 , t &prime; , L j . . . &theta; ~ k , t &prime; , L j . . . &theta; ~ K , t &prime; , L j ] , 再对进行转置得到其中,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,的转置矩阵,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值;
⑤-5b、获取{IR(x,y)}的特征矢量,记为FR其中,FR的维数为K×1。
所述的步骤⑦的具体过程为:
⑦-1、随机选择失真立体图像集合中的幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集,其中,符号为向下取整符号;
⑦-2、将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合,记为 其中,Fp,L表示训练集中的第p幅失真立体图像的左视点图像的特征矢量,DMOSp表示训练集中的第p幅失真立体图像的平均主观评分差值,1≤p≤m;
⑦-3、构造中的每个特征矢量的回归函数,将Fp,L的回归函数记为f(Fp,L),其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,表示Fp,L的线性函数,D(Fp,L,Fp′,L)为支持向量回归中的核函数,Fp′,L表示训练集中的第p′幅失真立体图像的左视点图像的特征矢量,1≤p′≤m,γ为核参数,exp()表示以自然基底e为底的指数函数,符号“||||”为求欧式距离符号;
⑦-4、采用支持向量回归对中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项将最优的权重矢量和最优的偏置项的组合记为 ( w L opt , b L opt ) = arg min ( w , b ) &Element; &Psi; &Sigma; p = 1 m ( f ( F p , L ) - DMOS p ) 2 , 然后利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型,记为fL(Finp),其中,Ψ表示对中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,表示求使得最小的w和b的值,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性函数;
⑦-5、将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合,记为 其中,Fp,R表示训练集中的第p幅失真立体图像的右视点图像的特征矢量,1≤p≤m;然后按照步骤⑦-3至步骤⑦-4的操作,以相同的方式获取最优的权重矢量和最优的偏置项并利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp),其中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性函数。
与现有技术相比,本发明的优点在于:
1)本发明方法通过在训练阶段构造视觉字典表,对于任意一幅失真立体图像的左视点图像和右视点图像,根据已构造的视觉字典表,计算左视点图像和右视点图像各自中的每个子块的稀疏系数矩阵,并通过最大池化方法得到左视点图像和右视点图像各自的特征矢量,特征提取方法简单,计算复杂度低。
2)本发明方法通过构造左视点图像的支持向量回归训练模型和右视点图像的支持向量回归训练模型,分别预测得到测试样本数据集合中的每个特征矢量对应的左视点图像和右视点图像各自的客观质量评价预测值,并根据特征矢量信息进行加权,计算得到立体图像的最终的客观质量评价预测值,由于获得的立体图像的特征矢量信息能够较好地反映立体图像的质量变化情况,因此有效地提高了客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于机器学习的无参考立体图像质量客观评价方法,其总体实现框图如图1所示,其包括以下步骤:
①选取N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像,即表示第i幅原始的无失真立体图像的左视点图像,符号“{}”为集合表示符号。
在具体实施时,原始的无失真立体图像选取的幅数应当适当,如果N的值越大,则通过训练得到的视觉字典表的精度也就越高,但计算复杂度也就越高,因此在本实施例中取N=10。
②利用高斯差分滤波器对{Li,org|1≤i≤N}中的每幅图像实施高斯差分滤波,得到{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像,将由第j个尺度下的N幅滤波图像构成的集合记为其中,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数,在本实施例中取S=5,1≤x≤W,1≤y≤H,W表示选取的原始的无失真立体图像的宽度,H表示选取的原始的无失真立体图像的高度,表示Li,org在第j个尺度下的滤波图像中坐标位置为(x,y)的像素点的像素值。
③对{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理;然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典;再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S},其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,在本实施例中取S=5,Dj表示第j个尺度下的目标训练字典,Dj亦表示第j个尺度下的N幅滤波图像的视觉字典表,Dj亦表示D中的第j个视觉字典。
在此具体实施例中,步骤③的具体过程为:
③-1、将{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块;然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合,将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中,W表示原始的无失真立体图像的宽度,H表示原始的无失真立体图像的高度,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数, 表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量,的维数为64×1。
③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典,将第j个尺度下的目标训练字典记为Dj,Dj通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Yj的维数为64×M,中的第1个列向量,亦表示由第j个尺度下的N幅滤波图像中的第1个子块中的所有像素点组成的列向量,中的第t个列向量,亦表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量,中的第M个列向量,亦表示由第j个尺度下的N幅滤波图像中的第M个子块中的所有像素点组成的列向量,Xj表示第j个尺度下的稀疏矩阵, 表示Xj中的第1个列向量,表示Xj中的第t个列向量,表示Xj中的第M个列向量,Xj的维数为K×M,K表示设定的字典的个数,K≥1,K的取值过大会出现过聚类现象,K的取值过小会出现欠聚类现象,在本实施例中取K=128,符号“[]”为矢量表示符号,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,在本实施例中取τ=0.1,Dj的维数为64×K。
③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S}。
④将待评价的失真立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},其中,此处(x,y)表示{IL(x,y)}和{IR(x,y)}中的像素点的坐标位置,1≤x≤W′,1≤y≤H′,W′表示待评价的失真立体图像的宽度,H′表示待评价的失真立体图像的高度,W′的值与W的值可以相同,也可以不相同,H′的值与H的值可以相同,也可以不相同,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值。
⑤利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像;然后对{IL(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IL(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IL(x,y)}的特征矢量,记为FL其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,在此M′表示{IL(x,y)}在每个尺度下的滤波图像中包含的子块的总个数,表示由{IL(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵。
同样,利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像;然后对{IR(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IR(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IR(x,y)}的特征矢量,记为FR其中,在此M′表示{IR(x,y)}在每个尺度下的滤波图像中包含的子块的总个数,表示由{IR(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵。
在此具体实施例中,步骤⑤的具体过程为:
⑤-1a、利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像,将{IL(x,y)}在第j个尺度下的滤波图像记为其中,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数,表示中坐标位置为(x,y)的像素点的像素值。
⑤-2a、将{IL(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块,然后将{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由中的所有子块构成的集合记为其中,表示由中的第t′个子块中的所有像素点组成的列向量,的维数为64×1。
⑤-3a、根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于中的每个元素的稀疏系数矩阵,根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典Dj获得,将的稀疏系数矩阵记为 其中,(Dj)-1为Dj的逆矩阵,的维数为K×1。
⑤-4a、获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将经最大池化后得到的稀疏系数矩阵记为的获取过程为:将的转置矩阵表示为然后采用最大池化(Max-pooling)方法重新计算中的每个元素的值,将经最大池化方法重新获得的表示为 ( x ~ t &prime; , L j ) T = [ &theta; ~ 1 , t &prime; , L j . . . &theta; ~ k , t &prime; , L j . . . &theta; ~ K , t &prime; , L j ] , 再对进行转置得到其中,1≤k≤K,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,的转置矩阵,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,max()为取最大值函数。
⑤-5a、获取{IL(x,y)}的特征矢量,记为FL其中,FL的维数为K×1。
⑤-1b、利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像,将{IR(x,y)}在第j个尺度下的滤波图像记为其中,表示中坐标位置为(x,y)的像素点的像素值。
⑤-2b、将{IR(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块,然后将{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由中的所有子块构成的集合记为其中,表示由中的第t′个子块中的所有像素点组成的列向量,的维数为64×1。
⑤-3b、根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于中的每个元素的稀疏系数矩阵,根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典Dj获得,将的稀疏系数矩阵记为 其中,(Dj)-1为Dj的逆矩阵,的维数为K×1。
⑤-4b、获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将经最大池化后得到的稀疏系数矩阵记为的获取过程为:将的转置矩阵表示为然后采用最大池化(Max-pooling)方法重新计算中的每个元素的值,将经最大池化方法重新获得的表示为 ( x ~ t &prime; , L j ) T = [ &theta; ~ 1 , t &prime; , L j . . . &theta; ~ k , t &prime; , L j . . . &theta; ~ K , t &prime; , L j ] , 再对进行转置得到其中,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,的转置矩阵,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值。
⑤-5b、获取{IR(x,y)}的特征矢量,记为FR其中,FR的维数为K×1。
⑥采用n幅失真立体图像建立失真立体图像集合,利用现有的主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量FL和右视点图像的特征矢量FR的操作,以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量,将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为Fi,L和Fi,R,其中,1≤i≤n,n表示失真立体图像集合中包含的失真立体图像的幅数,在本实施例中,宁波大学立体图像库中取n=312,LIVE立体图像库中取n=365。
⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集;接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对左视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型,记为fL(Finp),其中,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性函数。
同样,将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对右视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp),其中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性函数。
在此具体实施例中,步骤⑦的具体过程为:
⑦-1、随机选择失真立体图像集合中的幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集,其中,符号为向下取整符号。
⑦-2、将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合,记为 其中,Fp,L表示训练集中的第p幅失真立体图像的左视点图像的特征矢量,DMOSp表示训练集中的第p幅失真立体图像的平均主观评分差值,1≤p≤m。
⑦-3、构造中的每个特征矢量的回归函数,将Fp,L的回归函数记为f(Fp,L),其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,表示Fp,L的线性函数,D(Fp,L,Fp′,L)为支持向量回归中的核函数,Fp′,L表示训练集中的第p′幅失真立体图像的左视点图像的特征矢量,1≤p′≤m,γ为核参数,其用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,在本实施例中取γ=54,exp()表示以自然基底e为底的指数函数,e=2.71828183,符号“||||”为求欧式距离符号。
⑦-4、采用支持向量回归对中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项将最优的权重矢量和最优的偏置项的组合记为 ( w L opt , b L opt ) = arg min ( w , b ) &Element; &Psi; &Sigma; p = 1 m ( f ( F p , L ) - DMOS p ) 2 , 然后利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型,记为fL(Finp),其中,Ψ表示对中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,表示求使得最小的w和b的值,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性函数。
⑦-5、将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合,记为 其中,Fp,R表示训练集中的第p幅失真立体图像的右视点图像的特征矢量,1≤p≤m;然后按照步骤⑦-3至步骤⑦-4的操作,以相同的方式获取最优的权重矢量和最优的偏置项并利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp),其中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性函数。
⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合;然后根据左视点图像的支持向量回归训练模型,对左视点测试样本数据集合中的每个特征矢量进行测试,预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值,将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为QL,q,QL,q=fL(FL,q),其中,1≤q≤n-m,m表示训练集中包含的失真立体图像的幅数,FL,q表示左视点测试样本数据集合中的第q个特征矢量,表示左视点测试样本数据集合中的第q个特征矢量的线性函数。
同样,将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合;然后根据右视点图像的支持向量回归训练模型,对右视点测试样本数据集合中的每个特征矢量进行测试,预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为QR,q,QR,q=fR(FR,q),其中,FR,q表示右视点测试样本数据集合中的第q个特征矢量,表示右视点测试样本数据集合中的第q个特征矢量的线性函数。
⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,计算测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第q幅失真立体图像的客观质量评价预测值记为Qq,Qq=wL,q×QL,q+wR,q×QR,q,其中,QL,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值,QL,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值,QR,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值,QR,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值,wL,q表示QL,q的权重,wR,q表示QR,q的权重,符号“||||2”为求取矩阵的2-范数符号,符号“<>”为求内积符号。
⑩重复执行步骤⑦至步骤⑨P次,并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集,经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值,再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值,其中,P的取值大于100,在本实施例中取P=1000。
这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)和Spearman相关系数(Spearman rank order correlation coefficient,SROCC),PLCC反映失真立体图像的客观质量评价预测值的准确性,SROCC反映其单调性。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的客观质量评价预测值和LIVE立体图像库中的每幅失真立体图像的客观质量评价预测值,再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做四参数Logistic函数非线性拟合,PLCC和SROCC值越高,说明客观评价结果与平均主观评分差值之间的相关性越好。表1和表2给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数和Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数比较

Claims (5)

1.一种基于机器学习的无参考立体图像质量客观评价方法,其特征在于包括以下步骤:
①选取N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像;
②利用高斯差分滤波器对{Li,org|1≤i≤N}中的每幅图像实施高斯差分滤波,得到{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像;
③对{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理;然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典;再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S},其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,Dj表示第j个尺度下的目标训练字典,Dj亦表示第j个尺度下的N幅滤波图像的视觉字典表,Dj亦表示D中的第j个视觉字典;
④将待评价的失真立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},其中,此处(x,y)表示{IL(x,y)}和{IR(x,y)}中的像素点的坐标位置,1≤x≤W',1≤y≤H',W'表示待评价的失真立体图像的宽度,H'表示待评价的失真立体图像的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑤利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像;然后对{IL(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IL(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IL(x,y)}的特征矢量,记为FL其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,在此M'表示{IL(x,y)}在每个尺度下的滤波图像中包含的子块的总个数,表示由{IL(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t'个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;
同样,利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像;然后对{IR(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IR(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IR(x,y)}的特征矢量,记为FR其中,在此M'表示{IR(x,y)}在每个尺度下的滤波图像中包含的子块的总个数,表示由{IR(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t'个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;
⑥采用n幅失真立体图像建立失真立体图像集合,利用主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量FL和右视点图像的特征矢量FR的操作,以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量,将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为Fi,L和Fi,R,其中,1≤i≤n,n表示失真立体图像集合中包含的失真立体图像的幅数;
⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集;接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对左视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型,记为fL(Finp),其中,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性函数;
同样,将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对右视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp),其中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性函数;
⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合;然后根据左视点图像的支持向量回归训练模型,对左视点测试样本数据集合中的每个特征矢量进行测试,预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值,将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为QL,q,QL,q=fL(FL,q),其中,1≤q≤n-m,m表示训练集中包含的失真立体图像的幅数,FL,q表示左视点测试样本数据集合中的第q个特征矢量,表示左视点测试样本数据集合中的第q个特征矢量的线性函数;
同样,将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合;然后根据右视点图像的支持向量回归训练模型,对右视点测试样本数据集合中的每个特征矢量进行测试,预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为QR,q,QR,q=fR(FR,q),其中,FR,q表示右视点测试样本数据集合中的第q个特征矢量,表示右视点测试样本数据集合中的第q个特征矢量的线性函数;
⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,计算测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第q幅失真立体图像的客观质量评价预测值记为Qq,Qq=wL,q×QL,q+wR,q×QR,q,其中,QL,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值,QL,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值,QR,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值,QR,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值,wL,q表示QL,q的权重,wR,q表示QR,q的权重,符号“||||2”为求取矩阵的2-范数符号,符号“<>”为求内积符号;
⑩重复执行步骤⑦至步骤⑨P次,并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集,经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值,再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值,其中,P的取值大于100。
2.根据权利要求1所述的一种基于机器学习的无参考立体图像质量客观评价方法,其特征在于所述的步骤③的具体过程为:
③-1、将{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块;然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合,将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中,W表示原始的无失真立体图像的宽度,H表示原始的无失真立体图像的高度,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数,表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量,的维数为64×1;
③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典,将第j个尺度下的目标训练字典记为Dj,Dj通过K-SVD方法求解得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号,Yj的维数为64×M,中的第1个列向量,中的第t个列向量,中的第M个列向量,Xj表示第j个尺度下的稀疏矩阵,表示Xj中的第1个列向量,表示Xj中的第t个列向量,表示Xj中的第M个列向量,Xj的维数为K×M,K表示设定的字典的个数,K≥1,符号“[]”为矢量表示符号,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,Dj的维数为64×K;
③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S}。
3.根据权利要求2所述的一种基于机器学习的无参考立体图像质量客观评价方法,其特征在于所述的步骤③-2中取τ=0.1。
4.根据权利要求1或2所述的一种基于机器学习的无参考立体图像质量客观评价方法,其特征在于所述的步骤⑤的具体过程为:
⑤-1a、利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像,将{IL(x,y)}在第j个尺度下的滤波图像记为其中,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数,表示中坐标位置为(x,y)的像素点的像素值;
⑤-2a、将{IL(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块,然后将{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由中的所有子块构成的集合记为其中,表示由中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
⑤-3a、根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于中的每个元素的稀疏系数矩阵,根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典Dj获得,将的稀疏系数矩阵记为 其中,(Dj)-1为Dj的逆矩阵,的维数为K×1;
⑤-4a、获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将经最大池化后得到的稀疏系数矩阵记为的获取过程为:将的转置矩阵表示为然后采用最大池化方法重新计算中的每个元素的值,将经最大池化方法重新获得的表示为 ( x ~ t &prime; , L j ) T = [ &theta; ~ 1 , t &prime; , L j . . . &theta; ~ k , t &prime; , L j . . . &theta; ~ K , t &prime; , L j ] , 再对进行转置得到其中,1≤k≤K,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,的转置矩阵,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,max()为取最大值函数;
⑤-5a、获取{IL(x,y)}的特征矢量,记为FL其中,FL的维数为K×1;
⑤-1b、利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像,将{IR(x,y)}在第j个尺度下的滤波图像记为其中,表示中坐标位置为(x,y)的像素点的像素值;
⑤-2b、将{IR(x,y)}在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块,然后将{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由中的所有子块构成的集合记为其中,表示由中的第t'个子块中的所有像素点组成的列向量,的维数为64×1;
⑤-3b、根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于中的每个元素的稀疏系数矩阵,根据中的每个元素和在训练阶段构造得到的视觉字典表D中的第j个视觉字典Dj获得,将的稀疏系数矩阵记为 其中,(Dj)-1为Dj的逆矩阵,的维数为K×1;
⑤-4b、获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将经最大池化后得到的稀疏系数矩阵记为的获取过程为:将的转置矩阵表示为然后采用最大池化方法重新计算中的每个元素的值,将经最大池化方法重新获得的表示为 ( x ~ t &prime; , R j ) T = [ &theta; ~ 1 , t &prime; , r j . . . &theta; ~ k , t &prime; , R j . . . &theta; ~ K , t &prime; , R j ] , 再对进行转置得到其中,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值,的转置矩阵,表示中的第1列元素的值,表示中的第k列元素的值,表示中的第K列元素的值;
⑤-5b、获取{IR(x,y)}的特征矢量,记为FR其中,FR的维数为K×1。
5.根据权利要求4所述的一种基于机器学习的无参考立体图像质量客观评价方法,其特征在于所述的步骤⑦的具体过程为:
⑦-1、随机选择失真立体图像集合中的幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集,其中,符号“”为向下取整符号;
⑦-2、将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合,记为 其中,Fp,L表示训练集中的第p幅失真立体图像的左视点图像的特征矢量,DMOSp表示训练集中的第p幅失真立体图像的平均主观评分差值,1≤p≤m;
⑦-3、构造中的每个特征矢量的回归函数,将Fp,L的回归函数记为f(Fp,L),其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,表示Fp,L的线性函数,为支持向量回归中的核函数,Fp',L表示训练集中的第p'幅失真立体图像的左视点图像的特征矢量,1≤p'≤m,γ为核参数,exp()表示以自然基底e为底的指数函数,符号“||||”为求欧式距离符号;
⑦-4、采用支持向量回归对中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项将最优的权重矢量和最优的偏置项的组合记为 ( w L opt , b L opt ) = arg min ( w , b ) &Element; &Psi; &Sigma; p = 1 m ( f ( F p , L ) - DMOS p ) 2 , 然后利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型,记为fL(Finp),其中,Ψ表示对中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,表示求使得最小的w和b的值,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性函数;
⑦-5、将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合,记为 其中,Fp,R表示训练集中的第p幅失真立体图像的右视点图像的特征矢量,1≤p≤m;然后按照步骤⑦-3至步骤⑦-4的操作,以相同的方式获取最优的权重矢量和最优的偏置项并利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp),其中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量,的转置矩阵,表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性函数。
CN201510017701.0A 2015-01-14 2015-01-14 一种基于机器学习的无参考立体图像质量客观评价方法 Active CN104581143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510017701.0A CN104581143B (zh) 2015-01-14 2015-01-14 一种基于机器学习的无参考立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510017701.0A CN104581143B (zh) 2015-01-14 2015-01-14 一种基于机器学习的无参考立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN104581143A true CN104581143A (zh) 2015-04-29
CN104581143B CN104581143B (zh) 2016-08-24

Family

ID=53096212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510017701.0A Active CN104581143B (zh) 2015-01-14 2015-01-14 一种基于机器学习的无参考立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN104581143B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376563A (zh) * 2015-11-17 2016-03-02 浙江科技学院 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105631890A (zh) * 2016-02-04 2016-06-01 上海文广科技(集团)有限公司 基于图像梯度和相位一致性的失焦图片质量评价方法
CN105976361A (zh) * 2016-04-28 2016-09-28 西安电子科技大学 基于多级字典集的无参考图像质量评价方法
CN106210711A (zh) * 2016-08-05 2016-12-07 宁波大学 一种无参考立体图像质量评价方法
CN107040775A (zh) * 2017-03-20 2017-08-11 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法
CN107992800A (zh) * 2017-11-10 2018-05-04 杭州晟元数据安全技术股份有限公司 一种基于svm和随机森林的指纹图像质量判断方法
CN108322733A (zh) * 2018-01-17 2018-07-24 宁波大学 一种无参考高动态范围图像客观质量评价方法
CN108389189A (zh) * 2018-02-08 2018-08-10 天津大学 基于字典学习的立体图像质量评价方法
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
CN109544504A (zh) * 2018-10-16 2019-03-29 天津大学 基于稀疏表示的屏幕图像质量评价方法
CN111060076A (zh) * 2019-12-12 2020-04-24 南京航空航天大学 一种面向机场飞行区无人机巡检路径规划和异物探测方法
CN112713835A (zh) * 2020-12-21 2021-04-27 南通斯迈尔精密设备有限公司 一种计及预测模型分解的永磁同步直线电机模型预测电流控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法
CN103338379A (zh) * 2013-06-05 2013-10-02 宁波大学 一种基于机器学习的立体视频客观质量评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法
CN103338379A (zh) * 2013-06-05 2013-10-02 宁波大学 一种基于机器学习的立体视频客观质量评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEMENG LI: "Full-reference quality assessment of stereoscopic images by learning sparse monocular and binocular features", 《PROC. OF SPIE》 *
李柯蒙: "基于稀疏表示的立体图像客观质量评价方法", 《光电子·激光》 *
顾珊波: "基于支持向量回归的立体图像客观质量评价模型", 《电子与信息学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376563A (zh) * 2015-11-17 2016-03-02 浙江科技学院 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105631890A (zh) * 2016-02-04 2016-06-01 上海文广科技(集团)有限公司 基于图像梯度和相位一致性的失焦图片质量评价方法
CN105631890B (zh) * 2016-02-04 2019-05-24 上海文广科技(集团)有限公司 基于图像梯度和相位一致性的失焦图片质量评价方法
CN105976361B (zh) * 2016-04-28 2019-03-26 西安电子科技大学 基于多级字典集的无参考图像质量评价方法
CN105976361A (zh) * 2016-04-28 2016-09-28 西安电子科技大学 基于多级字典集的无参考图像质量评价方法
CN106210711A (zh) * 2016-08-05 2016-12-07 宁波大学 一种无参考立体图像质量评价方法
CN107040775A (zh) * 2017-03-20 2017-08-11 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法
CN107040775B (zh) * 2017-03-20 2019-01-15 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法
CN107992800A (zh) * 2017-11-10 2018-05-04 杭州晟元数据安全技术股份有限公司 一种基于svm和随机森林的指纹图像质量判断方法
CN108322733A (zh) * 2018-01-17 2018-07-24 宁波大学 一种无参考高动态范围图像客观质量评价方法
CN108389189A (zh) * 2018-02-08 2018-08-10 天津大学 基于字典学习的立体图像质量评价方法
CN108389189B (zh) * 2018-02-08 2021-05-14 天津大学 基于字典学习的立体图像质量评价方法
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
CN108648188B (zh) * 2018-05-15 2022-02-11 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
CN109544504A (zh) * 2018-10-16 2019-03-29 天津大学 基于稀疏表示的屏幕图像质量评价方法
CN111060076A (zh) * 2019-12-12 2020-04-24 南京航空航天大学 一种面向机场飞行区无人机巡检路径规划和异物探测方法
CN112713835A (zh) * 2020-12-21 2021-04-27 南通斯迈尔精密设备有限公司 一种计及预测模型分解的永磁同步直线电机模型预测电流控制方法

Also Published As

Publication number Publication date
CN104581143B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN104581143A (zh) 一种基于机器学习的无参考立体图像质量客观评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN103581661A (zh) 一种立体图像视觉舒适度评价方法
CN102209257B (zh) 一种立体图像质量客观评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN105654465B (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN103347196A (zh) 一种基于机器学习的立体图像视觉舒适度评价方法
CN103338379B (zh) 一种基于机器学习的立体视频客观质量评价方法
CN104811693A (zh) 一种立体图像视觉舒适度客观评价方法
CN102547368A (zh) 一种立体图像质量客观评价方法
CN104811691A (zh) 一种基于小波变换的立体视频质量客观评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN104902268A (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN105574901A (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN102708568B (zh) 一种基于结构失真的立体图像客观质量评价方法
CN105069794B (zh) 一种基于双目竞争的全盲立体图像质量评价方法
CN103914835A (zh) 一种针对模糊失真立体图像的无参考质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191219

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200604

Address after: Room 501, office building, market supervision and Administration Bureau, Langchuan Avenue, Jianping Town, Langxi County, Xuancheng City, Anhui Province, 230000

Patentee after: Langxi pinxu Technology Development Co.,Ltd.

Address before: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240229

Address after: 100071 No. 301, block B, yuanzhonglin real estate building, No. 28, South Third Ring West Road, Fengtai District, Beijing

Patentee after: Beijing zhidake Information Technology Co.,Ltd.

Country or region after: China

Address before: 230000 Room 501, office building, market supervision and Administration Bureau, Langchuan Avenue, Jianping Town, Langxi County, Xuancheng City, Anhui Province

Patentee before: Langxi pinxu Technology Development Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right