CN105898279A - 一种立体图像质量客观评价方法 - Google Patents

一种立体图像质量客观评价方法 Download PDF

Info

Publication number
CN105898279A
CN105898279A CN201610380129.9A CN201610380129A CN105898279A CN 105898279 A CN105898279 A CN 105898279A CN 201610380129 A CN201610380129 A CN 201610380129A CN 105898279 A CN105898279 A CN 105898279A
Authority
CN
China
Prior art keywords
pixel
coordinate position
dis
visual cortex
org
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610380129.9A
Other languages
English (en)
Other versions
CN105898279B (zh
Inventor
邵枫
陈婉婷
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Maiwei Intelligent Technology Co.,Ltd.
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201610380129.9A priority Critical patent/CN105898279B/zh
Publication of CN105898279A publication Critical patent/CN105898279A/zh
Application granted granted Critical
Publication of CN105898279B publication Critical patent/CN105898279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种立体图像质量客观评价方法,其通过计算无失真立体图像和失真立体图像各自的左和右视点图像中的每个像素点经外侧膝状体处理后的响应输出及经初级视皮层单目处理后的响应输出、无失真立体图像的左和右视点图像中同坐标位置的像素点及失真立体图像的左和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、无失真立体图像的左和右视点图像中同坐标位置的像素点及失真立体图像的左和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,获得失真立体图像的质量矢量,其能较好地反映失真立体图像的质量变化情况,有效地提高了客观评价结果与主观感知之间的相关性。

Description

一种立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左视点图像和右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。由于受采集系统、存储压缩及传输设备的影响,立体图像会不可避免地引入一系列的失真,而与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对立体图像进行质量评价具有非常重要的意义。然而,目前缺乏有效的客观评价方法对立体图像质量进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
目前已有一些仿照人脑视觉系统的层级处理方式以及对脑皮层在生理学上的数学模型刻画,人脑的认知系统是一个逐层抽象、层层递进的过程,视觉信息处理会经历外侧膝状体(LGN,lateral geniculate nucleus)、初级视皮层V1层和第二视皮层V2层等阶段,各子层在处理视觉信息的过程中都扮演了不同的角色,实现了不同的视觉功能,因此,如何获取各层及其中间子层模拟的大脑皮层细胞的激励响应,如何根据各层的响应输出构造质量预测模型,都是立体图像质量客观评价中需要解决的难点问题。
发明内容
本发明所要解决的技术问题是提供一种立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②计算{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为其中,d表示视差平面的坐标位置;
同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为
④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6;
⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,100],Fp的维数为1×6;
⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0;
⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1<Q<P,f()为函数表示形式,Finp表示支持向量回归训练模型的输入矢量,1≤n≤P-Q,Fn表示测试集中的第n幅失真立体图像的质量矢量,m=m+1中的“=”为赋值符号;
⑨判断m<M是否成立,如果成立,则重新随机分配构成训练集的失真立体图像和构成测试集的失真立体图像,然后返回步骤⑧继续执行;否则,计算立体图像库中的每幅失真立体图像的多个客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真立体图像的最终的客观质量评价预测值;其中,M表示设定的总迭代次数,M>100。
所述的步骤②中的 其中,tanh()表示双曲正切函数,kLGN为控制参数,hσ表示标准差为σ的高斯拉普拉斯滤波器,符号为卷积操作符号。
所述的步骤③中的的获取过程为:
③_Lorg1、根据计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,符号为卷积操作符号,max()为取最大值函数;
③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_Rorg1、根据计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, s为体视敏度,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤③中的的获取过程为:
③_Ldis1、根据计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_Rdis1、根据计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤④中的的获取过程为:
④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, max()为取最大值函数,s为体视敏度,为补偿参数,β表示单目连接的强度,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤④中的的获取过程为:
④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤⑤的具体过程为:
⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 其中,C为控制参数;
⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_5、计算Sdis的质量矢量F,其中,F的维数为1×6,符号“[]”为矢量表示符号, Ωd表示视差平面的坐标位置的集合,Nd表示视差平面的总个数。
与现有技术相比,本发明的优点在于:
本发明方法充分考虑了人脑层状皮质系统中外侧膝状体、初级视皮层和第二视皮层处理对立体图像质量的影响,通过计算无失真立体图像和失真立体图像各自的左视点图像和右视点图像中的每个像素点经外侧膝状体处理后的响应输出、无失真立体图像和失真立体图像各自的左视点图像和右视点图像中的每个像素点经初级视皮层单目处理后的响应输出、无失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、无失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出、失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,获得失真立体图像的质量矢量,由于根据人脑层状皮质系统得到的不同阶段的响应输出能够很好地模拟人脑视觉神经处理视觉信息的各个过程,因此该质量矢量能够较好地反映失真立体图像的质量变化情况,从而有效地提高了客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像质量客观评价方法,其总体实现框图如图1所示,其具体包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示Sorg和Sdis中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②计算{Lorg(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculatenucleus)处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rorg(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculatenucleus)处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
其中,tanh()表示双曲正切函数,kLGN为控制参数,在本实施例中取kLGN=2π,hσ表示标准差为σ的高斯拉普拉斯(LoG)滤波器,在本实施例中取σ=2,符号为卷积操作符号。
③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层(V1层)单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为其中,d表示视差平面的坐标位置,在本实施例中取d∈{-30,-15,0,15,30}。
同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为
在此具体实施例中,步骤③中的的获取过程为:
③_Lorg1、根据计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,在本实施例中Ωω={1.74,2.47,3.49,4.93,6.98,9.87},θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,在本实施例中Ωθ={0°,90°},符号为卷积操作符号,max()为取最大值函数。
③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
在此具体实施例中,步骤③中的的获取过程为:
③_Rorg1、根据计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
在此具体实施例中,步骤③中的的获取过程为:
③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, s为体视敏度,在本实施例中,当d=-30时取s=-30,当d=-15时取s=-15,当d=0时取s=0,当d=15时取s=15,当d=30时取s=30,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s。
③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
在此具体实施例中,步骤③中的的获取过程为:
③_Ldis1、根据计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
在此具体实施例中,步骤③中的的获取过程为:
③_Rdis1、根据计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
在此具体实施例中,步骤③中的的获取过程为:
③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s。
③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层(V2层)双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层(V2层)双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
在此具体实施例中,步骤④中的的获取过程为:
④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, max()为取最大值函数,s为体视敏度,在本实施例中,当d=-30时取s=-30,当d=-15时取s=-15,当d=0时取s=0,当d=15时取s=15,当d=30时取s=30,为补偿参数,在本实施例中取β表示单目连接的强度,在本实施例中取β=1.42,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s。
④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
在此具体实施例中,步骤④中的的获取过程为:
④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s。
④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6。
在此具体实施例中,步骤⑤的具体过程为:
⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 其中,C为控制参数,在本实施例中取C=0.85。
⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_5、计算Sdis的质量矢量F,其中,F的维数为1×6,符号“[]”为矢量表示符号, Ωd表示视差平面的坐标位置的集合,在本实施例中Ωd={-30,-15,0,15,30},Nd表示视差平面的总个数,在本实施例中Nd=5。
⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,100],Fp的维数为1×6。
⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0。
⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1<Q<P,f()为函数表示形式,Finp表示支持向量回归训练模型的输入矢量,1≤n≤P-Q,Fn表示测试集中的第n幅失真立体图像的质量矢量,m=m+1中的“=”为赋值符号。
⑨判断m<M是否成立,如果成立,则重新随机分配构成训练集的失真立体图像和构成测试集的失真立体图像,然后返回步骤⑧继续执行;否则,计算立体图像库中的每幅失真立体图像的多个客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真立体图像的最终的客观质量评价预测值;其中,M表示设定的总迭代次数,M>100。
在此,采用宁波大学立体图像库和LIVE立体图像库来分析本实施例得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性。宁波大学立体图像库由12幅无失真立体图像在不同失真程度的JPEG压缩情况下的60幅失真立体图像、JPEG2000压缩情况下的60幅失真立体图像、高斯模糊情况下的60幅失真立体图像、高斯白噪声情况下的60幅失真立体图像和H.264编码失真情况下的72幅失真立体图像构成。LIVE立体图像库由20幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、JPEG2000压缩情况下的80幅失真立体图像、高斯模糊情况下的45幅失真立体图像、高斯白噪声情况下的80幅失真立体图像和Fast Fading失真情况下的80幅失真立体图像构成。
这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC),PLCC反映失真立体图像客观评价结果的准确性,SROCC反映其单调性。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的客观质量评价预测值和LIVE立体图像库中的每幅失真立体图像的客观质量评价预测值,再利用现有的主观质量评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做四参数Logistic函数非线性拟合,PLCC和SROCC值越高,说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数,表2给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数比较

Claims (5)

1.一种立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②计算{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为其中,d表示视差平面的坐标位置;
同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为
④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6;
⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,100],Fp的维数为1×6;
⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0;
⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1<Q<P,f()为函数表示形式,Finp表示支持向量回归训练模型的输入矢量,1≤n≤P-Q,Fn表示测试集中的第n幅失真立体图像的质量矢量,m=m+1中的“=”为赋值符号;
⑨判断m<M是否成立,如果成立,则重新随机分配构成训练集的失真立体图像和构成测试集的失真立体图像,然后返回步骤⑧继续执行;否则,计算立体图像库中的每幅失真立体图像的多个客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真立体图像的最终的客观质量评价预测值;其中,M表示设定的总迭代次数,M>100。
2.根据权利要求1所述的一种立体图像质量客观评价方法,其特征在于所述的步骤②中的 其中,tanh()表示双曲正切函数,kLGN为控制参数,hσ表示标准差为σ的高斯拉普拉斯滤波器,符号“”为卷积操作符号。
3.根据权利要求1或2所述的一种立体图像质量客观评价方法,其特征在于所述的步骤③中的的获取过程为:
③_Lorg1、根据计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,符号“”为卷积操作符号,max()为取最大值函数;
③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_Rorg1、根据计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, s为体视敏度,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤③中的的获取过程为:
③_Ldis1、根据计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_Rdis1、根据计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为 其中, 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,记为 其中,
③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的的获取过程为:
③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出 其中,
4.根据权利要求3所述的一种立体图像质量客观评价方法,其特征在于所述的步骤④中的的获取过程为:
④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, max()为取最大值函数,s为体视敏度,为补偿参数,β表示单目连接的强度,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
所述的步骤④中的的获取过程为:
④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为 并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为 其中, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出 其中,
5.根据权利要求1所述的一种立体图像质量客观评价方法,其特征在于所述的步骤⑤的具体过程为:
⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为其中,C为控制参数;
⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将的客观评价度量值记为
⑤_5、计算Sdis的质量矢量F,其中,F的维数为1×6,符号“[]”为矢量表示符号, Ωd表示视差平面的坐标位置的集合,Nd表示视差平面的总个数。
CN201610380129.9A 2016-06-01 2016-06-01 一种立体图像质量客观评价方法 Active CN105898279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610380129.9A CN105898279B (zh) 2016-06-01 2016-06-01 一种立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610380129.9A CN105898279B (zh) 2016-06-01 2016-06-01 一种立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN105898279A true CN105898279A (zh) 2016-08-24
CN105898279B CN105898279B (zh) 2017-08-04

Family

ID=56709963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610380129.9A Active CN105898279B (zh) 2016-06-01 2016-06-01 一种立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN105898279B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016668A (zh) * 2017-03-23 2017-08-04 西安电子科技大学 基于视皮层方位选择性机理的无参考图像质量评价方法
CN108377387A (zh) * 2018-03-22 2018-08-07 天津大学 基于3d卷积神经网络的虚拟现实视频质量评价方法
CN108449595A (zh) * 2018-03-22 2018-08-24 天津大学 基于卷积神经网络的全参考虚拟现实视频质量评价方法
CN110944166A (zh) * 2019-11-13 2020-03-31 宁波大学 一种立体图像视觉满意度的客观评价方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389822A (zh) * 2015-11-24 2016-03-09 西安电子科技大学昆山创新研究院 基于方位选择特性的部分参考图像质量评价方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389822A (zh) * 2015-11-24 2016-03-09 西安电子科技大学昆山创新研究院 基于方位选择特性的部分参考图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINA JIN等: "Quantifying the importance of cyclopean view and binocular rivalry-related features for objective quality assessment of mobile 3D video", 《EURASIP JOURNAL ON IMAGE &VIDEO PROCESSING》 *
周武杰等: "Research on Stereoscopic Images Quality Assessment Methods", 《INTERNATIONAL CONFERENCE OF CHINA COMMUNICATION AND INFORMATION TECHNOLOGY》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016668A (zh) * 2017-03-23 2017-08-04 西安电子科技大学 基于视皮层方位选择性机理的无参考图像质量评价方法
CN107016668B (zh) * 2017-03-23 2019-08-13 西安电子科技大学 基于视皮层方位选择性机理的无参考图像质量评价方法
CN108377387A (zh) * 2018-03-22 2018-08-07 天津大学 基于3d卷积神经网络的虚拟现实视频质量评价方法
CN108449595A (zh) * 2018-03-22 2018-08-24 天津大学 基于卷积神经网络的全参考虚拟现实视频质量评价方法
CN110944166A (zh) * 2019-11-13 2020-03-31 宁波大学 一种立体图像视觉满意度的客观评价方法
CN110944166B (zh) * 2019-11-13 2021-04-16 宁波大学 一种立体图像视觉满意度的客观评价方法

Also Published As

Publication number Publication date
CN105898279B (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN102209257B (zh) 一种立体图像质量客观评价方法
CN106097327B (zh) 结合流形特征及双目特性的立体图像质量客观评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN108391121B (zh) 一种基于深度神经网络的无参考立体图像质量评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN104240248B (zh) 一种无参考立体图像质量客观评价方法
CN102708567B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN103413298B (zh) 一种基于视觉特性的立体图像质量客观评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN105898279B (zh) 一种立体图像质量客观评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN109523513A (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
Geng et al. A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN104361583A (zh) 一种非对称失真立体图像客观质量评价方法
CN106023152B (zh) 一种无参考立体图像质量客观评价方法
CN103745457B (zh) 一种立体图像客观质量评价方法
CN105488792B (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN102737380B (zh) 一种基于梯度结构张量的立体图像质量客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191217

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co., Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210525

Address after: 226600 Building 1, 8 Xiaoxing Avenue, Chengdong Town, Hai'an County, Nantong City, Jiangsu Province

Patentee after: Jiangsu Maiwei Intelligent Technology Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.