CN105407349B - 基于双目视觉感知的无参考立体图像质量客观评价方法 - Google Patents
基于双目视觉感知的无参考立体图像质量客观评价方法 Download PDFInfo
- Publication number
- CN105407349B CN105407349B CN201510855619.5A CN201510855619A CN105407349B CN 105407349 B CN105407349 B CN 105407349B CN 201510855619 A CN201510855619 A CN 201510855619A CN 105407349 B CN105407349 B CN 105407349B
- Authority
- CN
- China
- Prior art keywords
- image
- distorted
- dis
- value
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 20
- 230000016776 visual perception Effects 0.000 title abstract description 3
- 239000013598 vector Substances 0.000 claims abstract description 161
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 230000008447 perception Effects 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 22
- 230000004438 eyesight Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 241000287196 Asthenes Species 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 101100057875 Caenorhabditis elegans asg-2 gene Proteins 0.000 claims description 3
- 241000764238 Isis Species 0.000 claims description 3
- 101150097482 ash2 gene Proteins 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000005562 fading Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双目视觉感知的无参考立体图像质量客观评价方法,其利用能量增益控制模型构建失真立体图像的会聚独眼图,利用左、右视点图像构建左、右视差图及不确定左、右图;然后,对会聚独眼图提取曲波域特征,并分别在左、右视差图及不确定左、右图上提取广义高斯拟合参数特征和对数正态分布拟合参数特征,将这三部分特征作为立体图像特征信息;最后通过支持向量回归建立立体图像特征与平均主观评分差值之间的关系,得到失真立体图像的客观质量评价预测值;优点在于获得的失真立体图像的特征向量具有较强的稳定性且能够反映失真立体图像的质量变化情况,与人眼的主观感知具有很好的一致性,提高了客观评价结果与主观感知之间的相关性。
Description
技术领域
本发明涉及一种立体图像质量评价方法,尤其是涉及一种基于双目视觉感知的无参考立体图像质量客观评价方法。
背景技术
数字化信息时代的高速发展,带动了图像领域的研究热潮。图像在获取、压缩、处理、传输、存储和显示等过程中会不可避免地带来不同程度和类型的失真,而这些失真会直接影响到图像的质量。因此,设计有效的图像质量评价机制是图像/视频系统的重要环节。图像质量客观评价方法可分为全参考、半参考和无参考等类型。全参考型图像质量客观评价方法的评价结果比较准确可行,但是由于其需使用原始图像的全部信息,而在实际应用过程中很难获得原始图像作为参考,因此无需原始图像信息的无参考型图像质量客观评价方法已成为该领域的研究重点。
对于立体图像质量客观评价方法,根据是否使用深度/视差信息可分为两类:第一类是基于平面的立体图像质量评价模型,其不需要从立体图像中计算深度或视差信息;第二类是考虑立体感知特性的立体图像质量评价模型,其考虑了立体图像中的深度或视差信息。然而,立体感知是具有视差的左右眼图像经由大脑的视觉皮层融合形成的,因此,相比于平面图像质量客观评价,立体图像质量客观评价不仅需要考虑左右图像的质量,而且还要重点考虑视差信息、深度感知等影响立体用户体验质量的因素。除立体内容(深度或视差)之外,还存在一些重要问题:首先,观察者在观看立体内容时可能会遇到双目竞争、双目抑制等,而这会影响立体感知质量;其次,立体图像的视觉感知质量可能涉及深度质量、平面质量和立体质量之间的相互作用;再者,观察者在观看失真的立体图像时可能会产生视觉不舒适和疲劳等感觉,从而对立体图像的主观质量产生消极影响。因此,如何将双目融合、双目竞争和深度感知的人眼立体视觉特性融入到立体图像质量客观评价中,使客观评价结果更好地符合人类视觉系统,是立体图像质量客观评价过程中一个重要的研究问题。
发明内容
本发明所要解决的技术问题是提供一种基于双目视觉感知的无参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于双目视觉感知的无参考立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Idis表示待评价的失真立体图像,将Idis的左视点图像和右视点图像对应记为Ldis和Rdis,其中,Idis的宽度和高度对应为W和H;
②采用光流法获取以Ldis为参考的左视差图,记为DL dis;并采用光流法获取以Rdis为参考的右视差图,记为DR dis;然后利用DR dis对Ldis进行视差补偿,获得视差补偿左图,记为将中坐标位置为(x,y)的像素点的像素值记为并利用DL dis对Rdis进行视差补偿,获得视差补偿右图,记为将中坐标位置为(x,y)的像素点的像素值记为接着根据Ldis和获取不确定左图,记为ULdis,将ULdis中坐标位置为(x,y)的像素点的像素值记为并根据Rdis和获取不确定右图,记为URdis,将URdis中坐标位置为(x,y)的像素点的像素值记为再对和进行能量增益控制,获得会聚独眼图,记为ICC,将ICC中坐标位置为(x,y)的像素点的像素值记为其中,1≤x≤W,1≤y≤H;
③-1、对ICC进行重叠块分图像块处理,然后对ICC中的每个图像块进行曲波变换,使ICC中的每个图像块转换成多层不同尺度上的曲波系数;
③-2、根据ICC中的所有图像块各自对应的第5层尺度上的曲波系数包含的一个矩阵中的所有系数的幅值的对数的经验概率分布函数,获取ICC在曲波域的尺度系数特征向量,记为fNSS,其中,fNSS的维数为4;
③-3、根据ICC中的所有图像块各自对应的第4层尺度上的曲波系数包含的前32个方向矩阵各自的方向能量,获取ICC在曲波域的方向能量分布特征向量,记为fOED,其中,fOED的维数为2;
③-4、根据ICC中的所有图像块各自对应的每层尺度上的曲波系数包含的每个矩阵中的每个系数的幅值的对数,获取ICC在曲波域的标量能量分布特征向量,记为fSED,其中,fSED的维数为6;
③-5、通过采用零均值的广义高斯分布拟合DL dis对应的归一化后的左视差图直方图,获取DL dis的特征向量,记为fDL,其中,fDL的维数为2;
③-6、通过采用零均值的广义高斯分布拟合DRdis对应的归一化后的右视差图直方图,获取DRdis的特征向量,记为fDR,其中,fDR的维数为2;
③-7、通过采用对数正态分布拟合ULdis的直方图,获取ULdis的特征向量,记为fUL,其中,fUL的维数为2;
③-8、通过采用对数正态分布拟合URdis的直方图,获取URdis的特征向量,记为fUR,其中,fUR的维数为2;
④将fNSS、fOED、fSED、fDL、fDR、fUL和fUR构成Idis的特征向量,记为Fdis,Fdis=[fNSS,fOED,fSED,fDL,fDR,fUL,fUR],其中,Fdis的维数为20,符号“[]”为向量表示符号;
⑤构造针对不同失真类型的失真立体图像的支持向量回归模型;然后利用针对与Idis相同失真类型的失真立体图像的支持向量回归模型,计算Idis的客观质量评价预测值,记为Qdis,假设Idis属于第z种失真类型,则其中,表示构造支持向量回归模型时所采用的失真立体图像集中的失真立体图像的失真类型的种类数,fz()为针对第z种失真类型的失真立体图像的支持向量回归模型的函数表示形式,Kz表示构造支持向量回归模型时所采用的失真立体图像集中属于第z种失真类型的失真立体图像的总幅数,ωopt为最优的权重矢量,bopt为最优的常数项,表示构造支持向量回归模型时所采用的失真立体图像集中属于第z种失真类型的第l幅失真立体图像的特征向量,为fz(Fdis)的核函数。
所述的步骤②中的 其中,表示Ldis中坐标位置为的像素点的像素值,表示DR dis中坐标位置为(x,y)的像素点的像素值,表示Rdis中坐标位置为的像素点的像素值,表示DL dis中坐标位置为(x,y)的像素点的像素值。
所述的步骤②中的其中,表示Ldis中坐标位置为(x,y)的像素点与中坐标位置为(x,y)的像素点之间的结构相似度值,表示Rdis中坐标位置为(x,y)的像素点与中坐标位置为(x,y)的像素点之间的结构相似度值。
所述的步骤②中的的获取过程为:
②-1、计算的能量图,记为ELdis,将ELdis中坐标位置为(x,y)的像素点的像素值记为计算的能量图,记为ERdis,将ERdis中坐标位置为(x,y)的像素点的像素值记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,符号“||”为取绝对值符号;
②-2、计算和的总能量图,记为EDdis,将EDdis中坐标位置为(x,y)的像素点的像素值记为
②-3、根据能量比重对和进行线性加权,得到会聚独眼图ICC,
所述的步骤③-1的具体过程为:a1、采用尺寸大小为n×n的滑动窗口,在ICC中以逐像素点移动的方式滑动,将ICC分割成(W-n+1)×(H-n+1)个重叠的尺寸大小为n×n的图像块,其中,n=256;a2、对ICC中的每个图像块进行曲波变换,使ICC中的每个图像块转换成s层不同尺度上的曲波系数,其中,s=log2(n)-3=log2(256)-3=5;
所述的步骤③-2的具体过程为:b1、将ICC中当前待处理的第g个图像块定义为当前图像块,其中,1≤g≤(W-n+1)×(H-n+1);b2、将当前图像块记为将对应的第5层尺度上的曲波系数记为θg,5;b3、计算θg,5包含的一个矩阵中的所有系数的幅值的对数的经验概率分布函数,记为h(θg,5);b4、利用非对称广义高斯分布拟合h(θg,5),得到拟合后的非对称广义高斯分布的幅值、均值、左标准偏差和右标准偏差,对应记为ag,5、μg,5、和b5、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤b2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;b6、获取ICC在曲波域的尺度系数特征向量fNSS,其中,fNSS的维数为4, 符号“[]”为向量表示符号;
所述的步骤③-3的具体过程为:c1、将ICC中当前待处理的第g个图像块定义为当前图像块;c2、将当前图像块记为将对应的第4层尺度上的曲波系数记为θg,4;c3、从θg,4包含的64个方向矩阵中提取出前32个方向矩阵,将从θg,4包含的64个方向矩阵中提取出的第t个方向矩阵记为其中,1≤t≤32,的维数为c4、计算从θg,4包含的64个方向矩阵中提取出的每个方向矩阵的方向能量,将的方向能量记为其中,表示中坐标位置为(p,q)的系数,符号“||”为取绝对值符号;c5、将从θg,4包含的64个方向矩阵中提取出的水平方向和垂直方向的方向矩阵作为主要方向矩阵,且将从θg,4包含的64个方向矩阵中提取出的其余方向的方向矩阵作为非主要方向矩阵;然后计算从θg,4包含的64个方向矩阵中提取出的2个主要方向矩阵的方向能量的均值,记为并计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的均值,记为c6、计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的标准偏差,记为然后计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的变化系数,记为 c7、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤c2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;c8、获取ICC在曲波域的方向能量分布特征向量fOED,其中,fOED的维数为2,符号“[]”为向量表示符号;
所述的步骤③-4的具体过程为:d1、将ICC中当前待处理的第g个图像块定义为当前图像块;d2、将当前图像块记为将对应的第j层尺度上的曲波系数记为θg,j,其中,1≤j≤s;d3、计算对应的每层尺度上的曲波系数包含的每个矩阵中的每个系数的幅值的对数;然后计算对应的每层尺度上的曲波系数包含的所有矩阵中的系数的幅值的对数的均值;d4、根据对应的每层尺度上的曲波系数包含的所有矩阵中的系数的幅值的对数的均值,获取对应的每层尺度上的标量能量,将对应的第j层尺度上的标量能量记为eg,j;d5、计算对应的相邻的两层尺度之间的能量差,将对应的第j'+1层尺度与第j'层尺度之间的能量差记为dg,j',dg,j'=eg,j'+1-eg,j';并计算对应的间隔的两层尺度之间的能量差,将对应的第j″-1层尺度与第j″-3层尺度之间的能量差记为dg ,j″,dg,j″=eg,j″-1-eg,j″-3;其中,1≤j'≤4,5≤j″≤6;d6、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤d2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;d7、获取ICC在曲波域的标量能量分布特征向量fSED,其中,fSED的维数为6,符号“[]”为向量表示符号;
所述的步骤③-5的具体过程为:e1、对DL dis的直方图进行归一化处理,得到归一化后的左视差图直方图,记为e2、采用零均值的广义高斯分布拟合得到零均值的广义高斯分布的形状参数和方差,对应记为和e3、将和构成DL dis的特征向量fDL,其中,fDL的维数为2,符号“[]”为向量表示符号;
所述的步骤③-6的具体过程为:f1、对DRdis的直方图进行归一化处理,得到归一化后的左视差图直方图,记为f2、采用零均值的广义高斯分布拟合得到零均值的广义高斯分布的形状参数和方差,对应记为和f3、将和构成DRdis的特征向量fDR,其中,fDR的维数为2,符号“[]”为向量表示符号;
所述的步骤③-7的具体过程为:g1、将ULdis的直方图记为g2、采用对数正态分布拟合得到对数正态分布的位置参数和尺度参数,对应记为和g3、将和构成ULdis的特征向量fUL,其中,fUL的维数为2,符号“[]”为向量表示符号;
所述的步骤③-8的具体过程为:h1、将URdis的直方图记为h2、采用对数正态分布拟合得到对数正态分布的位置参数和尺度参数,对应记为和h3、将和构成URdis的特征向量fUR,其中,fUR的维数为2,符号“[]”为向量表示符号。
所述的步骤⑤中构造针对不同失真类型的失真立体图像的支持向量回归模型的具体过程为:
⑤-1、采用幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集共包括幅失真立体图像,其中,然后利用主观质量评价方法获得该失真立体图像集中的每幅失真立体图像的平均主观评分差值,将该失真立体图像集中的第k幅失真立体图像的平均主观评分差值记为其中,再按照步骤①至步骤④的过程,以相同的方式获取该失真立体图像集中的每幅失真立体图像的特征向量,将该失真立体图像集中的第k幅失真立体图像的特征向量记为
⑤-2、选取该失真立体图像集中属于第z种失真类型的所有失真立体图像,并将选取的所有失真立体图像的特征向量和平均主观评分差值构成的集合定义为当前立体图像训练集,其中,表示该失真立体图像集中的失真立体图像的失真类型的种类数,
⑤-3、将当前立体图像训练集记为Ωz,其中,表示选取的第k'幅失真立体图像的特征向量,亦表示Ωz中的第k'个特征向量,表示选取的第k'幅失真立体图像的平均主观评分差值,亦表示Ωz中的第k'个平均主观评分差值,1≤k'≤Kz,Kz表示该失真立体图像集中属于第z种失真类型的失真立体图像的总幅数;
⑤-4、构造Ωz中的每个特征向量的支持向量回归模型,将的支持向量回归模型记为其中,fz()为针对第z种失真类型的失真立体图像的特征向量的支持向量回归模型的函数表示形式,1≤l≤Kz,ω为权重矢量,b为常数项,表示Ωz中的第l个特征向量,表示的核函数,exp()表示以自然基数e为底的指数函数,符号“||||”为求欧式距离符号,γ为核参数;
⑤-5、采用支持向量回归对Ωz中的所有特征向量进行训练,使得经过训练得到的回归函数值与对应的平均主观评分差值之间的误差最小,拟合得到最优的权重矢量ωopt和最优的常数项bopt,将ωopt和bopt的组合记为(ωopt,bopt),其中,Ψ表示对Ωz中的所有特征向量进行训练的所有的权重矢量和常数项的组合的集合,表示取使得的值最小的ω和b的值;然后利用得到的最优的权重矢量ωopt和最优的常数项bopt构造支持向量回归模型,记为其中,为支持向量回归模型的输入向量,
⑤-6、令z=z+1,然后选取该失真立体图像集中属于下一种失真类型的所有失真立体图像,并将选取的所有失真立体图像的特征向量和平均主观评分差值构成的集合作为当前立体图像训练集,再返回步骤⑤-3继续执行,直至该失真立体图像集中属于每种失真类型的所有失真立体图像均处理完毕,构造得到针对不同失真类型的失真立体图像的支持向量回归模型,其中,z=z+1中的“=”为赋值符号。
与现有技术相比,本发明的优点在于:本发明方法充分考虑到左视点和右视点的相互作用、双目竞争和双目融合的人眼立体视觉特性,分别以左视点图像和右视点图像为参考融合形成会聚独眼图;并将会聚独眼图变换到曲波域提取特征,不仅提取了曲波系数的分布特性,还提取了曲波域中的方向能量分布和标量能量分布特性;本发明方法还考虑了深度感知信息,构建了包含立体感知的左视差图、右视差图和不确定左图、不确定右图,并提取了零均值的广义高斯分布和对数正态分布的拟合参数特征;最后将这三部分特征组合起来作为失真立体图像的特征向量,获得的失真立体图像的特征向量具有较强的稳定性且能够较好地反映失真立体图像的质量变化情况,与人眼的主观感知具有很好的一致性,从而能够有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图;
图2为一幅原始的无失真立体图像(org)以及该无失真立体图像经jpeg2000压缩(jp2k)、jpeg压缩(jpeg)、白噪声(wn)、模糊(blur)和快衰落(ff)失真后的失真立体图像经曲波变换后对应的第5层尺度上的曲波系数的幅值的对数的经验概率分布函数的分布统计规律示意图;
图3为一幅原始的无失真立体图像(org)以及该无失真立体图像经jpeg2000压缩(jp2k)、jpeg压缩(jpeg)、白噪声(wn)、模糊(blur)和快衰落(ff)失真后的失真立体图像的不确定左图的直方图的分布统计规律示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明根据双目融合、双目竞争和深度感知的人眼立体视觉特性,提出了一种基于双目视觉感知的无参考立体图像质量客观评价方法,其首先为模拟双目立体视觉,利用能量增益控制模型构建失真立体图像的会聚独眼图,同时,利用左视点图像和右视点图像构建左视差图和右视差图及不确定左图和不确定右图;然后,对会聚独眼图提取曲波域特征,并分别在左视差图和右视差图及不确定左图和不确定右图上提取广义高斯拟合参数特征和对数正态分布拟合参数特征,将这三部分特征作为立体图像特征信息;最后通过支持向量回归建立立体图像特征与平均主观评分差值之间的关系,从而预测得到失真立体图像的客观质量评价预测值。
本发明提出的一种基于双目视觉感知的无参考立体图像质量客观评价方法,其总体实现框图如图1所示,其包括以下步骤:
①令Idis表示待评价的失真立体图像,将Idis的左视点图像和右视点图像对应记为Ldis和Rdis,其中,Idis的宽度和高度对应为W和H。
②以Ldis为参考,采用现有的光流法获取以Ldis为参考的左视差图,记为DL dis;并以Rdis为参考,采用现有的光流法获取以Rdis为参考的右视差图,记为DR dis;然后利用DR dis对Ldis进行视差补偿,获得视差补偿左图,记为将中坐标位置为(x,y)的像素点的像素值记为并利用DL dis对Rdis进行视差补偿,获得视差补偿右图,记为将中坐标位置为(x,y)的像素点的像素值记为接着根据Ldis和获取不确定左图,记为ULdis,将ULdis中坐标位置为(x,y)的像素点的像素值记为并根据Rdis和获取不确定右图,记为URdis,将URdis中坐标位置为(x,y)的像素点的像素值记为再对和进行能量增益控制,获得会聚独眼图,记为ICC,将ICC中坐标位置为(x,y)的像素点的像素值记为其中,1≤x≤W,1≤y≤H。
在此具体实施例中,步骤②中的 其中,表示Ldis中坐标位置为的像素点的像素值,表示DR dis中坐标位置为(x,y)的像素点的像素值,表示Rdis中坐标位置为的像素点的像素值,表示DL dis中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中,步骤②中的 其中,表示Ldis中坐标位置为(x,y)的像素点与中坐标位置为(x,y)的像素点之间的结构相似度值,表示Rdis中坐标位置为(x,y)的像素点与中坐标位置为(x,y)的像素点之间的结构相似度值。在此,结构相似度值的计算直接采用现有技术。
在此具体实施例中,步骤②中的的获取过程为:
②-1、计算的能量图,记为ELdis,将ELdis中坐标位置为(x,y)的像素点的像素值记为计算的能量图,记为ERdis,将ERdis中坐标位置为(x,y)的像素点的像素值记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,符号“||”为取绝对值符号。
②-2、计算和的总能量图,记为EDdis,将EDdis中坐标位置为(x,y)的像素点的像素值记为
②-3、根据能量比重对和进行线性加权,得到会聚独眼图ICC,
③-1、对ICC进行重叠块分图像块处理,然后对ICC中的每个图像块进行曲波变换,使ICC中的每个图像块转换成多层不同尺度上的曲波系数。
在此具体实施例中,步骤③-1的具体过程为:a1、采用尺寸大小为n×n的滑动窗口,在ICC中以逐像素点移动的方式滑动,将ICC分割成(W-n+1)×(H-n+1)个重叠的尺寸大小为n×n的图像块,其中,n=256;a2、对ICC中的每个图像块进行曲波变换,使ICC中的每个图像块转换成s层不同尺度上的曲波系数,其中,s=log2(n)-3=log2(256)-3=5。
③-2、根据ICC中的所有图像块各自对应的第5层尺度上的曲波系数包含的一个矩阵中的所有系数的幅值的对数的经验概率分布函数,获取ICC在曲波域的尺度系数特征向量,记为fNSS,其中,fNSS的维数为4。
在此具体实施例中,步骤③-2的具体过程为:b1、将ICC中当前待处理的第g个图像块定义为当前图像块,其中,1≤g≤(W-n+1)×(H-n+1);b2、将当前图像块记为将对应的第5层尺度上的曲波系数记为θg,5;b3、计算θg,5包含的一个矩阵中的所有系数的幅值的对数的经验概率分布函数,记为h(θg,5);b4、利用现有的非对称广义高斯分布拟合h(θg,5),得到拟合后的非对称广义高斯分布的幅值、均值、左标准偏差和右标准偏差这四个特征参数,对应记为ag,5、μg,5、和b5、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤b2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;b6、获取ICC在曲波域的尺度系数特征向量fNSS,其中,fNSS的维数为4, 符号“[]”为向量表示符号。
图2给出了一幅原始的无失真立体图像(org)以及该无失真立体图像经jpeg2000压缩(jp2k)、jpeg压缩(jpeg)、白噪声(wn)、模糊(blur)和快衰落(ff)失真后的失真立体图像经曲波变换后对应的第5层尺度上的曲波系数的幅值的对数的经验概率分布函数的分布统计规律。从图2中可以看出,经验概率分布函数的分布具有非对称和重尾特性,服从非对称广义高斯分布,并且该分布的峰的位置和形状会随着失真类型的不同而改变。
③-3、根据ICC中的所有图像块各自对应的第4层尺度上的曲波系数包含的前32个方向矩阵各自的方向能量,获取ICC在曲波域的方向能量分布特征向量,记为fOED,其中,fOED的维数为2。
在此具体实施例中,步骤③-3的具体过程为:c1、将ICC中当前待处理的第g个图像块定义为当前图像块;c2、将当前图像块记为将对应的第4层尺度上的曲波系数记为θg,4;c3、从θg,4包含的64个方向矩阵中提取出前32个方向矩阵,将从θg,4包含的64个方向矩阵中提取出的第t个方向矩阵记为其中,1≤t≤32,的维数为c4、计算从θg,4包含的64个方向矩阵中提取出的每个方向矩阵的方向能量,将的方向能量记为其中,表示中坐标位置为(p,q)的系数,符号“||”为取绝对值符号;c5、将从θg,4包含的64个方向矩阵中提取出的水平方向和垂直方向的方向矩阵作为主要方向矩阵,且将从θg,4包含的64个方向矩阵中提取出的其余方向的方向矩阵作为非主要方向矩阵;然后计算从θg,4包含的64个方向矩阵中提取出的2个主要方向矩阵的方向能量的均值,记为并计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的均值,记为c6、计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的标准偏差,记为然后计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的变化系数,记为 c7、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤c2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;c8、获取ICC在曲波域的方向能量分布特征向量fOED,其中,fOED的维数为2,符号“[]”为向量表示符号。
③-4、根据ICC中的所有图像块各自对应的每层尺度上的曲波系数包含的每个矩阵中的每个系数的幅值的对数,获取ICC在曲波域的标量能量分布特征向量,记为fSED,其中,fSED的维数为6。
在此具体实施例中,步骤③-4的具体过程为:d1、将ICC中当前待处理的第g个图像块定义为当前图像块;d2、将当前图像块记为将对应的第j层尺度上的曲波系数记为θg,j,其中,1≤j≤s;d3、计算对应的每层尺度上的曲波系数包含的每个矩阵中的每个系数的幅值的对数;然后计算对应的每层尺度上的曲波系数包含的所有矩阵中的系数的幅值的对数的均值;d4、根据对应的每层尺度上的曲波系数包含的所有矩阵中的系数的幅值的对数的均值,获取对应的每层尺度上的标量能量,将对应的第j层尺度上的标量能量记为eg,j;d5、计算对应的相邻的两层尺度之间的能量差,将对应的第j'+1层尺度与第j'层尺度之间的能量差记为dg,j',dg,j'=eg,j'+1-eg,j';并计算对应的间隔的两层尺度之间的能量差,将对应的第j″-1层尺度与第j″-3层尺度之间的能量差记为dg,j″,dg,j″=eg,j″-1-eg,j″-3;其中,1≤j'≤4,5≤j″≤6;d6、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤d2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;d7、获取ICC在曲波域的标量能量分布特征向量fSED,其中,fSED的维数为6,符号“[]”为向量表示符号。
③-5、通过采用零均值的广义高斯分布拟合DL dis对应的归一化后的左视差图直方图,获取DL dis的特征向量,记为fDL,其中,fDL的维数为2。
在此具体实施例中,步骤③-5的具体过程为:e1、对DL dis的直方图进行归一化处理,得到归一化后的左视差图直方图,记为e2、采用零均值的广义高斯分布拟合得到零均值的广义高斯分布的形状参数和方差,对应记为和e3、将和构成DL dis的特征向量fDL,其中,fDL的维数为2,符号“[]”为向量表示符号。
③-6、通过采用零均值的广义高斯分布拟合DRdis对应的归一化后的右视差图直方图,获取DRdis的特征向量,记为fDR,其中,fDR的维数为2。
在此具体实施例中,步骤③-6的具体过程为:f1、对DRdis的直方图进行归一化处理,得到归一化后的左视差图直方图,记为f2、采用零均值的广义高斯分布拟合得到零均值的广义高斯分布的形状参数和方差,对应记为和f3、将和构成DRdis的特征向量fDR,其中,fDR的维数为2,符号“[]”为向量表示符号。
③-7、通过采用对数正态分布拟合ULdis的直方图,获取ULdis的特征向量,记为fUL,其中,fUL的维数为2。
在此具体实施例中,步骤③-7的具体过程为:g1、将ULdis的直方图记为g2、采用对数正态分布拟合得到对数正态分布的位置参数和尺度参数,对应记为和g3、将和构成ULdis的特征向量fUL,其中,fUL的维数为2,符号“[]”为向量表示符号。
③-8、通过采用对数正态分布拟合URdis的直方图,获取URdis的特征向量,记为fUR,其中,fUR的维数为2。
在此具体实施例中,步骤③-8的具体过程为:h1、将URdis的直方图记为h2、采用对数正态分布拟合得到对数正态分布的位置参数和尺度参数,对应记为和h3、将和构成URdis的特征向量fUR,其中,fUR的维数为2,符号“[]”为向量表示符号。
图3给出了一幅原始的无失真立体图像(org)以及该无失真立体图像经jpeg2000压缩(jp2k)、jpeg压缩(jpeg)、白噪声(wn)、模糊(blur)和快衰落(ff)失真后的失真立体图像的不确定左图的直方图的分布统计规律示意图。从图3中可以看出,不确定左图的直方图服从对数正态分布,且失真类型不同,不确定左图的直方图的形状也随之改变。
④将fNSS、fOED、fSED、fDL、fDR、fUL和fUR构成Idis的特征向量,记为Fdis,Fdis=[fNSS,fOED,fSED,fDL,fDR,fUL,fUR],其中,Fdis的维数为20,符号“[]”为向量表示符号。
⑤构造针对不同失真类型的失真立体图像的支持向量回归模型;然后利用针对与Idis相同失真类型的失真立体图像的支持向量回归模型,计算Idis的客观质量评价预测值,记为Qdis,假设Idis属于第z种失真类型,则其中,表示构造支持向量回归模型时所采用的失真立体图像集中的失真立体图像的失真类型的种类数,fz()为针对第z种失真类型的失真立体图像的支持向量回归模型的函数表示形式,Kz表示构造支持向量回归模型时所采用的失真立体图像集中属于第z种失真类型的失真立体图像的总幅数,ωopt为最优的权重矢量,bopt为最优的常数项,表示构造支持向量回归模型时所采用的失真立体图像集中属于第z种失真类型的第l幅失真立体图像的特征向量,为fz(Fdis)的核函数。
在此具体实施例中,步骤⑤中构造针对不同失真类型的失真立体图像的支持向量回归模型的具体过程为:
⑤-1、采用幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集共包括幅失真立体图像,其中,然后利用现有的主观质量评价方法获得该失真立体图像集中的每幅失真立体图像的平均主观评分差值,将该失真立体图像集中的第k幅失真立体图像的平均主观评分差值记为其中,再按照步骤①至步骤④的过程,以相同的方式获取该失真立体图像集中的每幅失真立体图像的特征向量,将该失真立体图像集中的第k幅失真立体图像的特征向量记为
⑤-2、选取该失真立体图像集中属于第z种失真类型的所有失真立体图像,并将选取的所有失真立体图像的特征向量和平均主观评分差值构成的集合定义为当前立体图像训练集,其中,表示该失真立体图像集中的失真立体图像的失真类型的种类数,
⑤-3、将当前立体图像训练集记为Ωz,其中,表示选取的第k'幅失真立体图像的特征向量,亦表示Ωz中的第k'个特征向量,表示选取的第k'幅失真立体图像的平均主观评分差值,亦表示Ωz中的第k'个平均主观评分差值,1≤k'≤Kz,Kz表示该失真立体图像集中属于第z种失真类型的失真立体图像的总幅数。
⑤-4、构造Ωz中的每个特征向量的支持向量回归模型,将的支持向量回归模型记为其中,fz()为针对第z种失真类型的失真立体图像的特征向量的支持向量回归模型的函数表示形式,1≤l≤Kz,ω为权重矢量,b为常数项,表示Ωz中的第l个特征向量,表示的核函数,exp()表示以自然基数e为底的指数函数,e=2.71828183,符号“||||”为求欧式距离符号,γ为核参数,γ由大量统计得到,一般可取γ=0.25。
⑤-5、采用支持向量回归对Ωz中的所有特征向量进行训练,使得经过训练得到的回归函数值与对应的平均主观评分差值之间的误差最小,拟合得到最优的权重矢量ωopt和最优的常数项bopt,将ωopt和bopt的组合记为(ωopt,bopt),其中,Ψ表示对Ωz中的所有特征向量进行训练的所有的权重矢量和常数项的组合的集合,表示取使得的值最小的ω和b的值;然后利用得到的最优的权重矢量ωopt和最优的常数项bopt构造支持向量回归模型,记为其中,为支持向量回归模型的输入向量,
⑤-6、令z=z+1,然后选取该失真立体图像集中属于下一种失真类型的所有失真立体图像,并将选取的所有失真立体图像的特征向量和平均主观评分差值构成的集合作为当前立体图像训练集,再返回步骤⑤-3继续执行,直至该失真立体图像集中属于每种失真类型的所有失真立体图像均处理完毕,构造得到针对不同失真类型的失真立体图像的支持向量回归模型,其中,z=z+1中的“=”为赋值符号。
为进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
采用LIVE实验室提供的立体图像数据库作为立体图像评价库,LIVE立体图像数据库包括PhaseⅠ和PhaseⅡ两个数据库,其中PhaseⅠ数据库有20幅原始的无失真的立体图像和365幅失真立体图像,PhaseⅡ数据库有8幅原始的无失真的立体图像和360幅失真立体图像,两个数据库都包含了5种失真类型,分别为JPEG压缩(JPEG)、JPEG2000压缩(JP2K)、高斯白噪声(Gaussian white noise,WN)、高斯模糊(Gaussian blur,GBLUR)以及快衰落(Fast-fading,FF),LIVE立体图像数据库给出了每组失真立体图像的平均主观评分差值。为评价本发明方法预测得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性,采用3个常用的指标来评价立体图像质量的客观性能,即Pearson线性相关系数(Pearson linear correlation coefficient,PLCC)、Spearman等级相关系数(Spearmanrank order correlation coefficient,SROCC)以及均方根误差(Root Mean SquaredError,RMSE)。PLCC和RMSE指标衡量客观质量评价方法的精确性,SROCC指标衡量客观质量评价方法的单调性。PLCC和SROCC的绝对值越接近1,RMSE的值越小,表明客观质量评价预测值与平均主观评分差值之间的相关性越好。
首先分别随机选取LIVE PhaseⅠ和LIVE PhaseⅡ数据库中的所有失真立体图像的80%构成训练集,剩余20%的失真立体图像构成测试集;然后按照步骤①至步骤④的过程,以相同的方式得到训练集和测试集中的每幅失真立体图像的特征向量;再利用支持向量回归对训练集中的所有失真立体图像的特征向量进行训练,使得经过训练得到的回归函数值与对应的平均主观评分差值之间的误差最小,训练得到支持向量回归模型;接着根据训练得到的支持向量回归模型,对测试集中的每幅失真立体图像的特征向量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值。
表1和表2分别给出了本发明方法在LIVE PhaseⅠ和PhaseⅡ数据库中针对不同失真类型的性能评价指标。从表1中可以看出,本发明方法对LIVE PhaseⅠ数据库中的各种失真类型,客观质量评价预测值与平均主观评分差值都能达到较好的一致性。由表2可见,本发明方法对PhaseⅡ数据库中的各种失真类型的客观质量评价预测值都接近最优评价值。利用本发明方法得到的客观质量评价预测值与平均主观评分差值具有很好的一致性,能够很好地预测人眼对失真立体图像的主观感知。
表1 本发明方法在LIVE PhaseⅠ中针对不同失真类型的性能指标的评价结果
JP2K | JPEG | WN | GBLUR | FF | 所有失真 | |
PLCC | 0.9487 | 0.7888 | 0.9605 | 0.9479 | 0.8867 | 0.9496 |
SROCC | 0.8971 | 0.7147 | 0.9353 | 0.8833 | 0.8206 | 0.9391 |
RMSE | 3.9843 | 3.8447 | 4.4661 | 4.2968 | 5.3722 | 5.1323 |
表2 本发明方法在LIVE PhaseⅡ中针对不同失真类型的性能指标的评价结果
JP2K | JPEG | WN | GBLUR | FF | 所有失真 | |
PLCC | 0.9445 | 0.8810 | 0.9796 | 0.9820 | 0.9680 | 0.9445 |
SROCC | 0.9165 | 0.8286 | 0.9516 | 0.9319 | 0.9516 | 0.9363 |
RMSE | 3.1129 | 3.2858 | 2.0645 | 2.6027 | 2.7374 | 3.6848 |
Claims (5)
1.一种基于双目视觉感知的无参考立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Idis表示待评价的失真立体图像,将Idis的左视点图像和右视点图像对应记为Ldis和Rdis,其中,Idis的宽度和高度对应为W和H;
②采用光流法获取以Ldis为参考的左视差图,记为DLdis;并采用光流法获取以Rdis为参考的右视差图,记为DRdis;然后利用DRdis对Ldis进行视差补偿,获得视差补偿左图,记为将中坐标位置为(x,y)的像素点的像素值记为并利用DLdis对Rdis进行视差补偿,获得视差补偿右图,记为将中坐标位置为(x,y)的像素点的像素值记为接着根据Ldis和获取不确定左图,记为ULdis,将ULdis中坐标位置为(x,y)的像素点的像素值记为并根据Rdis和获取不确定右图,记为URdis,将URdis中坐标位置为(x,y)的像素点的像素值记为再对和进行能量增益控制,获得会聚独眼图,记为ICC,将ICC中坐标位置为(x,y)的像素点的像素值记为其中,1≤x≤W,1≤y≤H;
所述的步骤②中的其中, 表示Ldis中坐标位置为(x,y)的像素点与中坐标位置为(x,y)的像素点之间的结构相似度值, 表示Rdis中坐标位置为(x,y)的像素点与中坐标位置为(x,y)的像素点之间的结构相似度值;
③-1、对ICC进行重叠块分图像块处理,然后对ICC中的每个图像块进行曲波变换,使ICC中的每个图像块转换成多层不同尺度上的曲波系数;
③-2、根据ICC中的所有图像块各自对应的第5层尺度上的曲波系数包含的一个矩阵中的所有系数的幅值的对数的经验概率分布函数,获取ICC在曲波域的尺度系数特征向量,记为fNSS,其中,fNSS的维数为4;
③-3、根据ICC中的所有图像块各自对应的第4层尺度上的曲波系数包含的前32个方向矩阵各自的方向能量,获取ICC在曲波域的方向能量分布特征向量,记为fOED,其中,fOED的维数为2;
③-4、根据ICC中的所有图像块各自对应的每层尺度上的曲波系数包含的每个矩阵中的每个系数的幅值的对数,获取ICC在曲波域的标量能量分布特征向量,记为fSED,其中,fSED的维数为6;
③-5、通过采用零均值的广义高斯分布拟合DLdis对应的归一化后的左视差图直方图,获取DLdis的特征向量,记为fDL,其中,fDL的维数为2;
③-6、通过采用零均值的广义高斯分布拟合DRdis对应的归一化后的右视差图直方图,获取DRdis的特征向量,记为fDR,其中,fDR的维数为2;
③-7、通过采用对数正态分布拟合ULdis的直方图,获取ULdis的特征向量,记为fUL,其中,fUL的维数为2;
③-8、通过采用对数正态分布拟合URdis的直方图,获取URdis的特征向量,记为fUR,其中,fUR的维数为2;
④将fNSS、fOED、fSED、fDL、fDR、fUL和fUR构成Idis的特征向量,记为Fdis,Fdis=[fNSS,fOED,fSED,fDL,fDR,fUL,fUR],其中,Fdis的维数为20,符号“[]”为向量表示符号;
⑤构造针对不同失真类型的失真立体图像的支持向量回归模型;然后利用针对与Idis相同失真类型的失真立体图像的支持向量回归模型,计算Idis的客观质量评价预测值,记为Qdis,假设Idis属于第z种失真类型,则其中, 表示构造支持向量回归模型时所采用的失真立体图像集中的失真立体图像的失真类型的种类数,fz()为针对第z种失真类型的失真立体图像的支持向量回归模型的函数表示形式,Kz表示构造支持向量回归模型时所采用的失真立体图像集中属于第z种失真类型的失真立体图像的总幅数,ωopt为最优的权重矢量,bopt为最优的常数项,表示构造支持向量回归模型时所采用的失真立体图像集中属于第z种失真类型的第l幅失真立体图像的特征向量,为fz(Fdis)的核函数。
2.根据权利要求1所述的基于双目视觉感知的无参考立体图像质量客观评价方法,其特征在于所述的步骤②中的 其中,表示Ldis中坐标位置为的像素点的像素值,表示DRdis中坐标位置为(x,y)的像素点的像素值,表示Rdis中坐标位置为的像素点的像素值,表示DLdis中坐标位置为(x,y)的像素点的像素值。
3.根据权利要求1所述的基于双目视觉感知的无参考立体图像质量客观评价方法,其特征在于所述的步骤②中的的获取过程为:
②-1、计算的能量图,记为ELdis,将ELdis中坐标位置为(x,y)的像素点的像素值记为 计算的能量图,记为ERdis,将ERdis中坐标位置为(x,y)的像素点的像素值记为 其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,符号“||”为取绝对值符号;
②-2、计算和的总能量图,记为EDdis,将EDdis中坐标位置为(x,y)的像素点的像素值记为
②-3、根据能量比重对和进行线性加权,得到会聚独眼图ICC,
4.根据权利要求3所述的基于双目视觉感知的无参考立体图像质量客观评价方法,其特征在于所述的步骤③-1的具体过程为:a1、采用尺寸大小为n×n的滑动窗口,在ICC中以逐像素点移动的方式滑动,将ICC分割成(W-n+1)×(H-n+1)个重叠的尺寸大小为n×n的图像块,其中,n=256;a2、对ICC中的每个图像块进行曲波变换,使ICC中的每个图像块转换成s层不同尺度上的曲波系数,其中,s=log2(n)-3=log2(256)-3=5;
所述的步骤③-2的具体过程为:b1、将ICC中当前待处理的第g个图像块定义为当前图像块,其中,1≤g≤(W-n+1)×(H-n+1);b2、将当前图像块记为将对应的第5层尺度上的曲波系数记为θg,5;b3、计算θg,5包含的一个矩阵中的所有系数的幅值的对数的经验概率分布函数,记为h(θg,5);b4、利用非对称广义高斯分布拟合h(θg,5),得到拟合后的非对称广义高斯分布的幅值、均值、左标准偏差和右标准偏差,对应记为ag,5、μg,5、和b5、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤b2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;b6、获取ICC在曲波域的尺度系数特征向量fNSS,其中,fNSS的维数为4, 符号“[]”为向量表示符号;
所述的步骤③-3的具体过程为:c1、将ICC中当前待处理的第g个图像块定义为当前图像块;c2、将当前图像块记为将对应的第4层尺度上的曲波系数记为θg,4;c3、从θg,4包含的64个方向矩阵中提取出前32个方向矩阵,将从θg,4包含的64个方向矩阵中提取出的第t个方向矩阵记为其中,1≤t≤32,的维数为c4、计算从θg,4包含的64个方向矩阵中提取出的每个方向矩阵的方向能量,将的方向能量记为 其中,表示中坐标位置为(p,q)的系数,1≤p≤mθg,4,1≤q≤nθg,4,符号“| |”为取绝对值符号;c5、将从θg,4包含的64个方向矩阵中提取出的水平方向和垂直方向的方向矩阵作为主要方向矩阵,且将从θg,4包含的64个方向矩阵中提取出的其余方向的方向矩阵作为非主要方向矩阵;然后计算从θg,4包含的64个方向矩阵中提取出的2个主要方向矩阵的方向能量的均值,记为并计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的均值,记为c6、计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的标准偏差,记为然后计算从θg,4包含的64个方向矩阵中提取出的30个非主要方向矩阵的方向能量的变化系数,记为 c7、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤c2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;c8、获取ICC在曲波域的方向能量分布特征向量fOED,其中,fOED的维数为2,符号“[]”为向量表示符号;
所述的步骤③-4的具体过程为:d1、将ICC中当前待处理的第g个图像块定义为当前图像块;d2、将当前图像块记为将对应的第j层尺度上的曲波系数记为θg,j,其中,1≤j≤s;d3、计算对应的每层尺度上的曲波系数包含的每个矩阵中的每个系数的幅值的对数;然后计算对应的每层尺度上的曲波系数包含的所有矩阵中的系数的幅值的对数的均值;d4、根据对应的每层尺度上的曲波系数包含的所有矩阵中的系数的幅值的对数的均值,获取对应的每层尺度上的标量能量,将对应的第j层尺度上的标量能量记为eg,j;d5、计算对应的相邻的两层尺度之间的能量差,将对应的第j'+1层尺度与第j'层尺度之间的能量差记为dg,j',dg,j'=eg,j'+1-eg,j';并计算对应的间隔的两层尺度之间的能量差,将对应的第j”-1层尺度与第j”-3层尺度之间的能量差记为dg,j”,dg,j”=eg,j”-1-eg,j”-3;其中,1≤j'≤4,5≤j”≤6;d6、令g=g+1,然后将ICC中下一个待处理的图像块作为当前图像块,再返回步骤d2继续执行,直至ICC中的所有图像块处理完毕,其中,g=g+1中的“=”为赋值符号;d7、获取ICC在曲波域的标量能量分布特征向量fSED,其中,fSED的维数为6,1≤j*≤6,符号“[]”为向量表示符号;
所述的步骤③-5的具体过程为:e1、对DLdis的直方图进行归一化处理,得到归一化后的左视差图直方图,记为e2、采用零均值的广义高斯分布拟合得到零均值的广义高斯分布的形状参数和方差,对应记为和e3、将和构成DLdis的特征向量fDL,其中,fDL的维数为2,符号“[]”为向量表示符号;
所述的步骤③-6的具体过程为:f1、对DRdis的直方图进行归一化处理,得到归一化后的左视差图直方图,记为f2、采用零均值的广义高斯分布拟合得到零均值的广义高斯分布的形状参数和方差,对应记为和f3、将和构成DRdis的特征向量fDR,其中,fDR的维数为2,符号“[]”为向量表示符号;
所述的步骤③-7的具体过程为:g1、将ULdis的直方图记为g2、采用对数正态分布拟合得到对数正态分布的位置参数和尺度参数,对应记为和g3、将和构成ULdis的特征向量fUL,其中,fUL的维数为2,符号“[]”为向量表示符号;
所述的步骤③-8的具体过程为:h1、将URdis的直方图记为h2、采用对数正态分布拟合得到对数正态分布的位置参数和尺度参数,对应记为和h3、将和构成URdis的特征向量fUR,其中,fUR的维数为2,符号“[]”为向量表示符号。
5.根据权利要求4所述的基于双目视觉感知的无参考立体图像质量客观评价方法,其特征在于所述的步骤⑤中构造针对不同失真类型的失真立体图像的支持向量回归模型的具体过程为:
⑤-1、采用幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集共包括幅失真立体图像,其中,然后利用主观质量评价方法获得该失真立体图像集中的每幅失真立体图像的平均主观评分差值,将该失真立体图像集中的第k幅失真立体图像的平均主观评分差值记为其中,再按照步骤①至步骤④的过程,以相同的方式获取该失真立体图像集中的每幅失真立体图像的特征向量,将该失真立体图像集中的第k幅失真立体图像的特征向量记为
⑤-2、选取该失真立体图像集中属于第z种失真类型的所有失真立体图像,并将选取的所有失真立体图像的特征向量和平均主观评分差值构成的集合定义为当前立体图像训练集,其中, 表示该失真立体图像集中的失真立体图像的失真类型的种类数,
⑤-3、将当前立体图像训练集记为Ωz,其中,表示选取的第k'幅失真立体图像的特征向量,亦表示Ωz中的第k'个特征向量,表示选取的第k'幅失真立体图像的平均主观评分差值,亦表示Ωz中的第k'个平均主观评分差值,1≤k'≤Kz,Kz表示该失真立体图像集中属于第z种失真类型的失真立体图像的总幅数;
⑤-4、构造Ωz中的每个特征向量的支持向量回归模型,将的支持向量回归模型记为 其中,fz()为针对第z种失真类型的失真立体图像的特征向量的支持向量回归模型的函数表示形式,1≤l≤Kz,ω为权重矢量,b为常数项,表示Ωz中的第l个特征向量,表示的核函数,exp()表示以自然基数e为底的指数函数,符号“|| ||”为求欧式距离符号,γ为核参数;
⑤-5、采用支持向量回归对Ωz中的所有特征向量进行训练,使得经过训练得到的回归函数值与对应的平均主观评分差值之间的误差最小,拟合得到最优的权重矢量ωopt和最优的常数项bopt,将ωopt和bopt的组合记为(ωopt,bopt),其中,Ψ表示对Ωz中的所有特征向量进行训练的所有的权重矢量和常数项的组合的集合,表示取使得的值最小的ω和b的值;然后利用得到的最优的权重矢量ωopt和最优的常数项bopt构造支持向量回归模型,记为 其中,为支持向量回归模型的输入向量,
⑤-6、令z=z+1,然后选取该失真立体图像集中属于下一种失真类型的所有失真立体图像,并将选取的所有失真立体图像的特征向量和平均主观评分差值构成的集合作为当前立体图像训练集,再返回步骤⑤-3继续执行,直至该失真立体图像集中属于每种失真类型的所有失真立体图像均处理完毕,构造得到针对不同失真类型的失真立体图像的支持向量回归模型,其中,z=z+1中的“=”为赋值符号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510855619.5A CN105407349B (zh) | 2015-11-30 | 2015-11-30 | 基于双目视觉感知的无参考立体图像质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510855619.5A CN105407349B (zh) | 2015-11-30 | 2015-11-30 | 基于双目视觉感知的无参考立体图像质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105407349A CN105407349A (zh) | 2016-03-16 |
CN105407349B true CN105407349B (zh) | 2017-05-03 |
Family
ID=55472554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510855619.5A Active CN105407349B (zh) | 2015-11-30 | 2015-11-30 | 基于双目视觉感知的无参考立体图像质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105407349B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105959679B (zh) * | 2016-04-27 | 2017-09-19 | 宁波大学 | 一种立体图像视觉舒适度和深度感联合优化方法 |
CN106530282B (zh) * | 2016-10-20 | 2019-06-14 | 天津大学 | 基于空域特征的无参考立体图像质量客观评价方法 |
CN109429051B (zh) * | 2017-07-12 | 2020-08-18 | 天津大学 | 基于多视图特征学习的无参考立体视频质量客观评价方法 |
CN107371016A (zh) * | 2017-07-25 | 2017-11-21 | 天津大学 | 基于非对称失真的无参考3d立体图像质量评价方法 |
CN107578406A (zh) * | 2017-09-06 | 2018-01-12 | 天津大学 | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 |
CN107798676B (zh) * | 2017-10-23 | 2021-05-07 | 北京工业大学 | 基于多尺度自然场景统计建立的无参考图像质量感知方法 |
CN108156451B (zh) * | 2017-12-11 | 2019-09-13 | 江苏东大金智信息系统有限公司 | 一种三维图像/视频的无参考质量评估方法 |
CN109257593B (zh) * | 2018-10-12 | 2020-08-18 | 天津大学 | 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法 |
CN109360178B (zh) * | 2018-10-17 | 2021-11-19 | 天津大学 | 基于融合图像的无参考立体图像质量评价方法 |
CN110415211B (zh) * | 2019-06-18 | 2021-11-05 | 宁波大学 | 基于图谱特征和空间特征的盲参考三维网格质量评价方法 |
CN110944166B (zh) * | 2019-11-13 | 2021-04-16 | 宁波大学 | 一种立体图像视觉满意度的客观评价方法 |
CN112581453B (zh) * | 2020-12-22 | 2023-06-06 | 宁波大学 | 基于深度、结构和角度的无参考光场图像质量评价方法 |
CN112950592B (zh) * | 2021-03-05 | 2023-06-06 | 宁波大学 | 基于高维离散余弦变换的无参考光场图像质量评价方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103200420A (zh) * | 2013-03-19 | 2013-07-10 | 宁波大学 | 一种基于三维视觉注意力的立体图像质量客观评价方法 |
CN103347196A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种基于机器学习的立体图像视觉舒适度评价方法 |
CN103581661A (zh) * | 2013-10-28 | 2014-02-12 | 宁波大学 | 一种立体图像视觉舒适度评价方法 |
CN104394403A (zh) * | 2014-11-04 | 2015-03-04 | 宁波大学 | 一种面向压缩失真的立体视频质量客观评价方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101550065B1 (ko) * | 2013-06-21 | 2015-09-07 | 한국과학기술원 | 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템 |
-
2015
- 2015-11-30 CN CN201510855619.5A patent/CN105407349B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103200420A (zh) * | 2013-03-19 | 2013-07-10 | 宁波大学 | 一种基于三维视觉注意力的立体图像质量客观评价方法 |
CN103347196A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种基于机器学习的立体图像视觉舒适度评价方法 |
CN103581661A (zh) * | 2013-10-28 | 2014-02-12 | 宁波大学 | 一种立体图像视觉舒适度评价方法 |
CN104394403A (zh) * | 2014-11-04 | 2015-03-04 | 宁波大学 | 一种面向压缩失真的立体视频质量客观评价方法 |
Non-Patent Citations (3)
Title |
---|
No-reference image quality assessment in curvelet domain;Lixiong Liu ET AL;《Signal Processing: Image Communication 29 (2014)》;20141231;第494-550页 * |
基于双目能量响应的无参考立体图像质量评价;王珊珊等;《光电子激光》;20140430;第25卷(第4期);第741-747页 * |
基于小波高频的立体图像质量评价;刘姗姗等;《光学技术》;20150930;第41卷(第5期);第445-450页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105407349A (zh) | 2016-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105407349B (zh) | 基于双目视觉感知的无参考立体图像质量客观评价方法 | |
CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
CN104023230B (zh) | 一种基于梯度关联性的无参考图像质量评价方法 | |
CN103581661B (zh) | 一种立体图像视觉舒适度评价方法 | |
US10210433B2 (en) | Method for evaluating quality of tone-mapping image based on exposure analysis | |
CN104658001B (zh) | 一种无参考非对称失真立体图像客观质量评价方法 | |
CN104658002B (zh) | 一种无参考图像客观质量评价方法 | |
CN104954778B (zh) | 一种基于感知特征集的立体图像质量客观评价方法 | |
CN105654465B (zh) | 一种采用视差补偿视点间滤波的立体图像质量评价方法 | |
CN105376563B (zh) | 基于双目融合特征相似度的无参考立体图像质量评价方法 | |
CN107146220B (zh) | 一种通用型无参考图像质量评价方法 | |
CN109242834A (zh) | 一种基于卷积神经网络的无参考立体图像质量评价方法 | |
Geng et al. | A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property | |
CN111641822B (zh) | 一种重定位立体图像质量评价方法 | |
CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
CN104361583B (zh) | 一种确定非对称失真立体图像客观质量的方法 | |
CN104902268A (zh) | 基于局部三元模式的无参考立体图像客观质量评价方法 | |
CN109685772A (zh) | 一种基于配准失真表示的无参照立体图像质量评估方法 | |
CN110717892A (zh) | 一种色调映射图像质量评价方法 | |
CN102708568B (zh) | 一种基于结构失真的立体图像客观质量评价方法 | |
CN103745457B (zh) | 一种立体图像客观质量评价方法 | |
CN105488792B (zh) | 基于字典学习和机器学习的无参考立体图像质量评价方法 | |
CN107018410A (zh) | 一种基于预注意机制和空间依赖性的无参考图像质量评价方法 | |
CN114596287A (zh) | 图像质量确定方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |