CN102523477A - 一种基于双目最小可辨失真模型的立体视频质量评价方法 - Google Patents

一种基于双目最小可辨失真模型的立体视频质量评价方法 Download PDF

Info

Publication number
CN102523477A
CN102523477A CN2011103914788A CN201110391478A CN102523477A CN 102523477 A CN102523477 A CN 102523477A CN 2011103914788 A CN2011103914788 A CN 2011103914788A CN 201110391478 A CN201110391478 A CN 201110391478A CN 102523477 A CN102523477 A CN 102523477A
Authority
CN
China
Prior art keywords
video
binocular
model
stereoscopic
stereoscopic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103914788A
Other languages
English (en)
Other versions
CN102523477B (zh
Inventor
张艳
安平
张兆杨
张秋闻
郑专
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201110391478.8A priority Critical patent/CN102523477B/zh
Publication of CN102523477A publication Critical patent/CN102523477A/zh
Application granted granted Critical
Publication of CN102523477B publication Critical patent/CN102523477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于双目最小可辨失真模型的立体视频质量评价方法，该方法首先建立双目立体亮度关系模型，研究左右视点视频各自的像素亮度与融合为立体视频时的亮度关系；根据背景亮度和纹理掩盖建立立体图像JND模型，根据视频帧间掩盖的可视阈值建立立体视频的JND模型；由基于空间-时间对比灵敏度函数和显示设备的相关参数获得基于空间-时间对比灵敏度函数的可视阈值；然后由立体视频的JND模型和基于于空间-时间对比灵敏度函数的可视阈值组合得到双眼的JND模型；最后建立基于立体视频质量的双目感知峰值信噪比对立体视频质量评价。该方法基于双目的JND模型，使立体视频质量的评价与人眼的视觉主观感知的视频质量相一致，正确反映人眼视觉的主观立体视频感知质量。

Description

一种基于双目最小可辨失真模型的立体视频质量评价方法
技术领域
本发明涉及一种立体视频质量评价方法，特别是一种基于双目最小可辨失真（Just Noticeable Distortion）模型的立体视频质量评价方法。
背景技术
目前，为了满足人们对场景真实和自然再现的需求，一种能显示立体视频的三维电视（3DTV），采用双摄像机拍摄的双路视频与基于双路视频用以作为显示终端的3DTV系统，当人们在观看立体视频时，立体视频的左右两路视频质量的变化，对合成的立体视频质量是有影响的。对于两路视频或其中一路视频失真到什么程度，立体视频质量的变化才为人们所感知，视频失真程度是立体视频质量评价的指标。对于单路视频质量评价的指标，最普遍、最广泛的评价指标是基于视频独立像素差值的峰值信噪比（Peak Signal to Noise Ratio, PSNR），该峰值信噪比计算表达式为：
Figure 423809DEST_PATH_IMAGE001
但是，由于峰值信噪比是基于独立的像素差值的，忽略了图像内容和观测条件对失真可见度的影响，因此上述感知峰值信噪比往往和人眼主观感知的视频质量不相一致。有时甚至会出现峰值信噪比PSNR较高的视频质量反而比峰值信噪比较低的视频质量差。导致上述感知峰值信噪比与频质量评价不一致原因是人眼的视觉对于误差的敏感度常常会受到多种因素的影响会发生变化，例如：人眼对空间频率较低的区域图像，其对比差异敏感度较高，人眼对亮度对比差异的敏感度比色度的敏感度要高，人眼对一个区域的感知结果还会受到其周围邻近区域的影响。为了使视频质量的评价与人眼的视觉的主观感知的视频质量相一致，在上述峰值信噪比与频质量评价上增加基于背景亮度、纹理掩盖等感知的JND (Just Noticeable Distortion)模型，由此得到感知峰值信噪比（Peak Signal to Perceptible Noise Ratio, PSPNR），该感知峰值信噪比计算表达式为：
Figure 511850DEST_PATH_IMAGE002
然而，上述基于视频独立像素差值的峰值信噪比和基于背景亮度及纹理掩盖的感知峰值信噪比PSPNR仅适用于单路视频评价，由于立体视频不同于单路视频，立体视频采用的双路视频的融合不是简单的叠加，因此单路视频的JND模型并不适用于双路视频的立体视频质量评价。
目前，立体视频质量评价分为立体视频质量主观和立体视频质量客观评价方法，立体视频质量主观评价方法需要测试者对测试立体视频进行打分，再统计，费时，不能马上给出评价结果。立体视频质量客观评价方法主要分为两种，一种是对每路视频用单路视频评价方法进行评价，最后通过平均每路视频质量评价得到立体视频质量评价，由于立体视频是双路视频的融合而不是简单的叠加，不能反映人眼的视觉感知。另一种是通过量化左右两视点的边缘区域和平滑区域的失真，然后利用logistic函数拟合来预测立体图像的质量，该客观评价方法是基于统计特征的，其评价易受视频内容的影响，加之没有考虑真实场景的深度感知对立体视频质量产生的影响，其评价结果不能完全反映人眼视觉的主观感知。迄今，对立体视频的质量评价方法研究较少，还没有普遍使用的方法。
发明内容             
本发明的目的是提供一种基于双目最小可辨失真模型的立体视频质量评价方法，该方法基于双目的JND模型，使立体视频质量的评价与人眼的视觉的主观感知的视频质量相一致，正确反映人眼视觉的主观立体视频感知质量。
为达到上述目的，本发明的构思是：
一种基于双目最小可辨失真模型的立体视频质量评价方法，首先建立双目立体亮度关系模型，研究左右视点视频各自的像素亮度与融合为立体视频时的亮度关系，以改善后续JND模型中的像素亮度；根据背景亮度和纹理掩盖建立立体图像JND模型，根据视频的帧间掩盖可视阈值建立立体视频的JND模型；并由基于空间-时间对比灵敏度函数和显示设备的相关参数获得基于空间-时间对比灵敏度函数的可视阈值；然后由立体视频的JND模型和基于于空间-时间对比灵敏度函数的可视阈值组合得到双目的JND模型；最后建立基于双眼的JND的双目感知峰值信噪比立体视频质量评价方法。
为达到上述构思，本发明的技术方案是：
一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于分别建立双目立体亮度关系模型、立体图像的JND模型、立体视频的JND模型，提取纹理掩盖、背景亮度、帧间掩盖的可视阈值，设置基于空间-时间对比灵敏度函数的可视阈值T，对立体视频进行质量评价，建立双目的JND模型，计算用于立体视频质量评价的双目感知峰值信噪比。双目感知峰值信噪比越高，立体视频质量越好，其具体步骤是：
(1)、分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型；
(2)、分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型；
(3)、根据视频帧间掩盖的可视阈值建立立体视频的JND模型；
(4)、建立基于空间-时间对比灵敏度函数的可视阈值T；
(5)、建立双目的JND模型；
(6)、依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价。
上述步骤(1)所述的分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型，其具体步骤如下： 
（1-1）计算左视点视频的像素亮度
Figure 778884DEST_PATH_IMAGE003
；
（1-2）计算右视点视频的像素亮度
Figure 40101DEST_PATH_IMAGE004
；
（1-3）对JND模型的融合图像的像素亮度进行修正，建立双目立体亮度关系模型：
Figure 443400DEST_PATH_IMAGE005
=
Figure 702343DEST_PATH_IMAGE006
   （1）    
其中，
Figure 456672DEST_PATH_IMAGE007
表示像素，是表示双目立体亮度关系模型，
Figure 779386DEST_PATH_IMAGE008
，
Figure 209231DEST_PATH_IMAGE009
为常数，
Figure 185277DEST_PATH_IMAGE010
为与显示器有关的亮度校正系数，
Figure 788297DEST_PATH_IMAGE011
。
上述步骤(2)所述的分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型，其具体步骤如下：
（2-1）设置纹理掩盖效应的可视阈值，其计算式如下：
Figure 431768DEST_PATH_IMAGE012
                             （2）
其中，
Figure 766934DEST_PATH_IMAGE013
表示纹理掩盖的可视阈值，
Figure 495856DEST_PATH_IMAGE014
代表在像素周围的亮度梯度的加权平均，是线性函数
Figure 132035DEST_PATH_IMAGE013
的斜率，
Figure 638102DEST_PATH_IMAGE015
                （3）
其中，是在四个方向上计算加权的平均亮度变化的算子，(i , j )表示像素(x , y)的邻近像素，i =1, 2, 3 ,4 ,5 ，j = 1 ,2 ,3 ,4 ,5；
（2-2）设置背景亮度引起的可视阈值，通过实验得到如下公式：
Figure 151626DEST_PATH_IMAGE018
              （4）
其中， 
Figure 94175DEST_PATH_IMAGE019
表示背景亮度引起的可视阈值，bg( x ,y )是平均背景亮度， 和
Figure 15043DEST_PATH_IMAGE021
分别代表当背景灰度值为0时的可视阈值和在高背景亮度时的模型曲线的线性斜率，平均背景亮度
Figure 487613DEST_PATH_IMAGE022
计算式如下：
Figure 397800DEST_PATH_IMAGE023
                  （5）
其中，
Figure 323031DEST_PATH_IMAGE024
为平均背景亮度算子，i = 1, 2 ,3, 4, 5， j = 1, 2, 3, 4, 5 ；
（2-3）建立立体图像JND模型，其具体如下：
Figure 547338DEST_PATH_IMAGE025
                 （6）                   
其中，
Figure 874415DEST_PATH_IMAGE026
代表由式（1）测得的像素亮度，沿着每个水平方向的差分为
Figure 221082DEST_PATH_IMAGE027
                         （7）                      
其中， ，，
Figure 639928DEST_PATH_IMAGE030
表示图像的水平和垂直方向的最大像素个数，
对于水平零跨区：
Figure 95180DEST_PATH_IMAGE031
                         （8）
其中，
Figure 995003DEST_PATH_IMAGE032
为水平方向的差分的特征符号，
与像素沿水平水平方向左右相邻像素差分的特征符号的乘积为
Figure 659520DEST_PATH_IMAGE034
                      （9）
那么，对于
Figure 285673DEST_PATH_IMAGE035
，判断水平方向边缘像素的因子为
             （10）
同样方法得到判断垂直方向边缘像素的因子为
Figure 839331DEST_PATH_IMAGE037
，
Figure 60753DEST_PATH_IMAGE038
     （11）
那么，上述背景亮度的可视阈值构成立体图像JND模型计算式（6）为：
Figure 920124DEST_PATH_IMAGE039
  （12）
上述步骤(3)所述的根据视频的帧间掩盖可视阈值建立立体视频的JND模型，其具体步骤如下：
（3-1）建立帧间掩盖的可视阈值，建立帧间亮度差函数，该函数采用第n帧和n-1帧之间的平均亮度差函数表示，其表达式
Figure 702453DEST_PATH_IMAGE041
和
Figure 713134DEST_PATH_IMAGE042
分别由式（13）和（14）表示为：
         （13）   
      （14）
其中，
Figure 285564DEST_PATH_IMAGE040
表示为第n帧和n-1帧之间的平均亮度差函数，
Figure 478648DEST_PATH_IMAGE041
表示帧间掩盖的可视阈值；
（3-2）建立立体视频的JND模型，将上述步骤（2-3）中所述的立体图像JND模型
Figure 617505DEST_PATH_IMAGE045
与步骤(3-1)中所述的帧间掩盖的可视阈值相乘，所得的乘积为立体视频的JND模型，其表达式为：
Figure 200933DEST_PATH_IMAGE046
               （15）
其中，
Figure 450649DEST_PATH_IMAGE047
表示立体视频的JND模型，表示立体图像JND模型，
Figure 807998DEST_PATH_IMAGE041
表示帧间掩盖的可视阈值。
上述步骤(4)所述的建立基于空间-时间对比灵敏度函数的可视阈值T，其具体步骤如下：
（4-1）计算立体视频的空间-时间对比灵敏度函数，其计算表达式为：
Figure 878722DEST_PATH_IMAGE048
      (16) 
其中，
Figure 994446DEST_PATH_IMAGE049
、
Figure 834226DEST_PATH_IMAGE050
、
Figure 314885DEST_PATH_IMAGE051
、
Figure 607327DEST_PATH_IMAGE008
为常数，
Figure 526741DEST_PATH_IMAGE052
 是视网膜成像速度，
Figure 221028DEST_PATH_IMAGE009
 表示空间频率；
（4-2）选择显示设备参数，其参数计算式为：
                           （17）
其中，
Figure 917905DEST_PATH_IMAGE054
为显示设备参数，
Figure 375431DEST_PATH_IMAGE055
分别代表与最大和最小灰度值相对应的显示器的亮度值，M是图像的灰度级别数，
Figure 924224DEST_PATH_IMAGE010
为与显示器有关的亮度校正系数，
Figure 12266DEST_PATH_IMAGE011
；
（4-3）获得的基于空间-时间对比灵敏度函数的可视阈值，其表达式如下：
Figure 279299DEST_PATH_IMAGE056
                           （18）
其中，
Figure 272007DEST_PATH_IMAGE057
是基于空间-时间对比灵敏度函数的可视阈值，
Figure 940886DEST_PATH_IMAGE058
 是空间-时间对比灵敏度函数，
Figure 199829DEST_PATH_IMAGE054
为显示设备参数。
上述步骤(5)所述的建立双目的JND模型，其具体步骤为：
将上述步骤(3)所述的立体视频的JND模型与步骤(4)所述的基于空间-时间对比灵敏度函数的可视阈值
Figure 688579DEST_PATH_IMAGE057
相乘所得的乘积，其乘积为双目的JND模型，其计算表达式为：
Figure 753487DEST_PATH_IMAGE059
                 （27）
其中，
Figure 276873DEST_PATH_IMAGE060
 为双目的JND模型，
Figure 441138DEST_PATH_IMAGE061
 为立体视频的JND模型，
Figure 745080DEST_PATH_IMAGE057
 为基于空间-时间对比灵敏度函数的可视阈值。
上述步骤(6)所述的依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价方法，其质量评价表达式为：
  （28）
其中，
Figure 663675DEST_PATH_IMAGE063
  
Figure 264420DEST_PATH_IMAGE064
    （29）
其中，BPSPNR表示立体视频质量的双目感知峰值信噪比，
Figure 790079DEST_PATH_IMAGE065
为原始视频第n帧左右视点重构后的亮度，代表失真视频第n帧左右视点重构后的亮度，
Figure 632451DEST_PATH_IMAGE067
是双目的JND模型。
本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：该方法通过建立双目立体亮度关系模型、立体图像的JND模型、立体视频的JND模型、双目的JND模型进而得到立体视频质量的双目感知峰值信噪比对立体视频质量评价，经由主观实验证明，本发明所得结果与传统的结果相比较，相关系数更高，更加符合人类视觉特性，能反映主观判断结果。
附图说明
图1是本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法的总体流程框图。
图2是图1中步骤(1)所述的建立双目立体亮度关系模型流程框图。
图3是图1中步骤(2)所述的建立立体图像JND模型（
Figure 138518DEST_PATH_IMAGE068
）的流程框图。
图4是图1中步骤(3)所述的建立立体视频JND模型（
Figure 417053DEST_PATH_IMAGE069
）的流程框图。
图5是图1中步骤(4)所述的建立基于空间-时间对比灵敏度函数的可视阈值T流程框图。
图6是图5中步骤(4-1)所述的计算立体视频的空间-时间对比灵敏度函数的流程框图。
图7是本发明的步骤（2-2）中设置可视阈值和背景亮度之间的关系图。
图8是本发明的步骤（3-1）中时间掩盖效应函数
Figure 652042DEST_PATH_IMAGE041
的平均亮度差与帧间亮度差的关系图。
图9是对“Book_Arrival”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图，图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
图10是对“Champagne_tower”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
图11是对“Lovebird1”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
图12是对“Ballet”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
 
具体实施方式
以下结合附图对本发明的实施例作进一步的详细说明。
本实施例以本发明的技术方案为前提进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例子。
本发明的实验数据为：MEPG提供的立体视频测试序列“Book_arrival”、“Champagne_tower”、“Lovebird1”和微软研究所的“Ballet”，每个序列的其中相邻的两路视频，以4个不同的量化参数（22、28、34和40）对立体视频图像进行数字量化后的立体视频。
参见图1，本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于分别建立双目立体亮度关系模型、立体图像的JND模型，立体视频的JND模型，在提取、纹理掩盖、背景亮度、帧间的掩盖参数，设置可视阈值T，再分别计算时间空间对比灵敏度函数和显示设备相关参数，对立体视频进行质量评价，建立双目的JND模型，计算用于立体视频质量评价的双目感知峰值信噪比，双目感知峰值信噪比越高，立体视频质量越好，其具体步骤是：
 (1)、分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型，如图2所示，其具体步骤如下： 
（1-1）计算左视点视频的像素亮度
Figure 329011DEST_PATH_IMAGE003
；
（1-2）计算右视点视频的像素亮度
Figure 829263DEST_PATH_IMAGE004
；
（1-3）对JND模型的融合图像的像素亮度进行修正，建立双目立体亮度关系模型：
=
Figure 722449DEST_PATH_IMAGE006
    （1）    
其中，
Figure 835899DEST_PATH_IMAGE070
表示像素，
Figure 823446DEST_PATH_IMAGE005
是表示双目立体亮度关系模型，
Figure 47754DEST_PATH_IMAGE008
，
Figure 374830DEST_PATH_IMAGE009
为常数，
Figure 721498DEST_PATH_IMAGE010
为与显示器有关的亮度校正系数，
Figure 868446DEST_PATH_IMAGE011
；
 (2)、分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型，如图3所示，其具体步骤如下：
（2-1）设置纹理掩盖效应的可视阈值，其计算式如下：
Figure 896445DEST_PATH_IMAGE012
                            （2）
其中，表示纹理掩盖的可视阈值，
Figure 598526DEST_PATH_IMAGE014
代表在像素周围的亮度梯度的加权平均，是线性函数
Figure 162865DEST_PATH_IMAGE013
的斜率，
Figure 789019DEST_PATH_IMAGE015
，
Figure 972875DEST_PATH_IMAGE016
                （3）
其中，是在四个方向上计算加权的平均亮度变化的算子，( i , j)表示像素( x , y)的邻近像素，i = 1, 2, 3, 4, 5 ，j = 1, 2, 3, 4, 5 ；
（2-2）设置背景亮度引起的可视阈值，通过实验得到如下公式：
              （4）
其中， 
Figure 295906DEST_PATH_IMAGE019
表示背景亮度引起的可视阈值，bg(x,y)是平均背景亮度，可视阈值T和平均背景亮度之间的关系，见图7，横坐标表示平均背景亮度，纵坐标表示可视阈值，横纵坐标范围均为0-255亮度级，
Figure 967059DEST_PATH_IMAGE020
和分别代表当背景灰度值为0时的可视阈值和在高背景亮度时的模型曲线的线性斜率，平均背景亮度
Figure 947971DEST_PATH_IMAGE022
计算式如下：
                  （5）
其中，
Figure 12059DEST_PATH_IMAGE072
为平均背景亮度算子，i=1,2,3,4,5，j=1,2,3,4,5；
（2-3）建立立体图像JND模型，其具体如下：
Figure 723663DEST_PATH_IMAGE025
               （6）                   
其中，
Figure 916747DEST_PATH_IMAGE026
代表由式（1）测得的像素亮度，沿着每个水平方向的差分为
 
Figure 55604DEST_PATH_IMAGE027
                        （7）                      
其中，
Figure 373453DEST_PATH_IMAGE028
，
Figure 951065DEST_PATH_IMAGE029
，
Figure 936338DEST_PATH_IMAGE030
表示图像的水平和垂直方向的最大像素个数，
对于水平零跨区：
Figure 246097DEST_PATH_IMAGE031
                            （8）
其中，
Figure 113559DEST_PATH_IMAGE032
为水平方向的差分的特征符号，
将像素
Figure 166965DEST_PATH_IMAGE033
沿水平水平方向的左右相邻像素差分特征符号相乘，其乘积为：
                           （9）
那么，对于
Figure 487405DEST_PATH_IMAGE035
，判断沿水平方向边缘像素的因子为：
Figure 104813DEST_PATH_IMAGE036
               （10）
同样方法得到判断垂直方向边缘像素的因子为
Figure 696331DEST_PATH_IMAGE037
，
Figure 656197DEST_PATH_IMAGE038
         （11）
那么，上述背景亮度的可视阈值构成立体图像JND模型计算式（6）为：
    （12）
(3)、根据视频帧间掩盖的可视阈值建立立体视频的JND模型；参见图4，其具体步骤如下：
（3-1）建立帧间掩盖的可视阈值建立帧间亮度差异函数，该函数采用第n帧和n-1帧之间的平均亮度差函数
Figure 149812DEST_PATH_IMAGE040
表示，如图8所示，横坐标表示帧间亮度差，纵坐标表示平均亮度差，其表达式
Figure 545021DEST_PATH_IMAGE041
和
Figure 359394DEST_PATH_IMAGE042
分别由式（13）和（14）表示为：
Figure 244173DEST_PATH_IMAGE043
         （13）   
Figure 511206DEST_PATH_IMAGE044
      （14）
其中，
Figure 710106DEST_PATH_IMAGE040
表示为第n帧和n-1帧之间的平均亮度差函数，
Figure 378985DEST_PATH_IMAGE041
表示帧间掩盖的可视阈值；
（3-2）建立立体视频的JND模型，将上述步骤（2-3）中所述的立体图像JND模型
Figure 434666DEST_PATH_IMAGE045
与步骤(3-1)中所述的帧间掩盖的可视阈值相乘，所得的乘积为立体视频的JND模型，其表达式为：
Figure 188995DEST_PATH_IMAGE046
                （15）
其中，
Figure 191586DEST_PATH_IMAGE047
表示立体视频的JND模型，
Figure 714971DEST_PATH_IMAGE045
表示立体图像JND模型，
Figure 941553DEST_PATH_IMAGE041
表示帧间掩盖的可视阈值；
(4)、建立基于空间-时间对比灵敏度函数的可视阈值T，如图5所示，其具体步骤如下：
（4-1）计算立体视频的空间-时间对比灵敏度函数，其计算表达式为：
       (16) 
其中，
Figure 723882DEST_PATH_IMAGE049
、、
Figure 764836DEST_PATH_IMAGE051
、
Figure 228178DEST_PATH_IMAGE008
为常数，这里取
Figure 572572DEST_PATH_IMAGE074
、
Figure 804970DEST_PATH_IMAGE075
、
Figure 638934DEST_PATH_IMAGE076
、
Figure 589572DEST_PATH_IMAGE008
=1，
Figure 472078DEST_PATH_IMAGE052
是视网膜成像速度，
Figure 886879DEST_PATH_IMAGE009
表示空间频率；
（4-2）计算显示设备参数，其计算表达式为：
   
Figure 829427DEST_PATH_IMAGE053
                                         （17）
其中，
Figure 267361DEST_PATH_IMAGE054
为显示设备参数，
Figure 953558DEST_PATH_IMAGE055
分别代表与最大和最小灰度值相对应的显示器的亮度值，M是图像的灰度级别数，通常灰度级别数取为256，
Figure 225795DEST_PATH_IMAGE010
为与显示器有关的亮度校正系数，
Figure 339244DEST_PATH_IMAGE011
；
（4-3）获得基于空间-时间对比灵敏度的可视阈值，其计算表达式为：
         
Figure 488783DEST_PATH_IMAGE056
                           （18）
其中，是基于空间-时间对比灵敏度函数的可视阈值，
Figure 896948DEST_PATH_IMAGE058
 是空间-时间对比灵敏度函数，
Figure 309474DEST_PATH_IMAGE054
为显示设备参数。
上述步骤（4-1）计所述的算立体视频的空间-时间对比灵敏度函数，如图6所示，其具体步骤如下：
（4-1-1）定义立体图像的空间频率，其计算表达式为：
Figure 337473DEST_PATH_IMAGE077
                                   （19）
式中，表示行频率，其计算表达式为：
Figure 36625DEST_PATH_IMAGE079
                 （20）
式中， 
Figure 670868DEST_PATH_IMAGE080
表示列频率，其计算表达式为：
Figure 236979DEST_PATH_IMAGE081
                 （21）
M，N为图像的宽度和高度，(x,y)为像素位置，
Figure 600964DEST_PATH_IMAGE082
为(x,y)位置的像素亮度，
于是，在第
Figure 227118DEST_PATH_IMAGE083
帧上的点
Figure 348657DEST_PATH_IMAGE084
的空间-时间对比灵敏度函数为：
       （22）
其中，
Figure 936951DEST_PATH_IMAGE078
表示行频率，
Figure 734005DEST_PATH_IMAGE080
表示列频率，
Figure 342841DEST_PATH_IMAGE086
表示视网膜中图像的速度；
（4-1-2）计算视网膜中图像的速度，其计算表达式为：
Figure 313071DEST_PATH_IMAGE087
                                        （23）
其中，表示视网膜中图像的速度，
Figure 291709DEST_PATH_IMAGE088
表示在第n帧中如果没有眼睛运动的视网膜中图像平面物体的速度，
表示在第n帧中眼睛运动的速度，其计算表达式为：
Figure 161762DEST_PATH_IMAGE090
                        （24）
其中，表示跟踪物体的效率，
Figure 165807DEST_PATH_IMAGE092
和
Figure 811552DEST_PATH_IMAGE093
分别指眼睛运动的最小和最大速度，上述计算式（22）中的为：
Figure 46541DEST_PATH_IMAGE095
  （25）              
其中， 
Figure 439124DEST_PATH_IMAGE096
表示立体视频的帧率，
Figure 509848DEST_PATH_IMAGE097
和
Figure 563255DEST_PATH_IMAGE098
分别表示为在第n帧中图像分别沿x、y方向的运动向量，
Figure 403035DEST_PATH_IMAGE099
和
Figure 946012DEST_PATH_IMAGE100
分别表示为一个像素在可视角度水平和垂直尺寸的大小，计算公式如下：
        
Figure 504032DEST_PATH_IMAGE101
,
Figure 95551DEST_PATH_IMAGE102
                      （26）
其中，l表示观看距离，
Figure 852154DEST_PATH_IMAGE103
 表示像素在显示器上的显示宽度；
（4-1-3）空间-时间对比灵敏度函数，将（4-1-1）的立体图像的空间频率及（4-1-2）的视网膜中图像的速度计算值代入式（22）中得到空间-时间对比灵敏度函数；
 (5)、建立双目的JND模型： 
将上述步骤(3)所述的立体视频的JND模型与步骤(4)所述的基于空间-时间对比灵敏度函数可视阈值相乘所得的乘积，其乘积为双目的JND模型，其计算表达式为：
                  （27）
其中，
Figure 549032DEST_PATH_IMAGE060
 双目的JND模型，
Figure 944241DEST_PATH_IMAGE061
表示立体视频的JND模型，
Figure 820930DEST_PATH_IMAGE057
 表示基于空间-时间对比灵敏度的可视阈值； 
(6)、依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价，其质量评价表达式为：
Figure 643392DEST_PATH_IMAGE105
  （28）
其中，
Figure 910426DEST_PATH_IMAGE106
  
Figure 171643DEST_PATH_IMAGE107
     （29）
式中，BPSPNR表示立体视频质量的双目感知峰值信噪比，
Figure 840522DEST_PATH_IMAGE065
为原始视频第n帧左右视点重构后的亮度，
Figure 833885DEST_PATH_IMAGE066
代表失真视频第n帧左右视点重构后的亮度，
Figure 588215DEST_PATH_IMAGE067
为双目的JND模型。
下面将本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法应用到立体视频质量评价中，结合主观实验与其它方法进行比较与验证。
实验序列为：立体视频测试序列“Book_arrival”、“Champagne_tower”、“Lovebird1”和微软研究所给出的“Ballet”。
视频序列进行如下处理：用国际标准化组织中联合视频专家组（Joint Video Team , JVT）提供的JMVC 8.2压缩软件进行量化处理，量化参数分别为：22、28、34、40。
主观实验参照国际标准ITU-R BT.500-11，为便于比较，用百分制来代替5分制。 
以峰值信噪比、加入JND模型的感知峰值信噪比方法和本发明提出的双目感知峰值信噪比方法对客观实验结果进行了比较。其中，峰值信噪比方法由左右眼的平均值得到，感知峰值信噪比 由左右眼的感知峰值信噪比平均值得到，双目感知峰值信噪比是本文提出的方法。图9、图10、图11、图12分别是“Book_Arrival”、“Champagne_tower”、“Lovebird1”、“Ballet”序列的实验结果，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。本发明还采用视频质量专家组(Video Quality Expert Group, VQEG)提出的视频质量评价算法的测试指标Pearson相关系数(Pearson Correlation Coefficient, PCC)进一步分析客观评价与主观评价的一致性。表1列出各方法由PCC测试的结果，可以看到，本文所提出的方法与人类的视觉感知一致性最好。
表1 对不同序列用峰值信噪比、感知峰值信噪比、双目感知峰值信噪比方法进行PCC比较（1为完全一致）
[0001]     序列 [0002]       峰值信噪比 [0003]       感知峰值信噪比 [0004]       双目感知峰值信噪比
[0005]     Book-arrival [0006]       0.978500 [0007]       0.995400 [0008]       0.996954
[0009]     Champagne_tower [00010]   0.960032 [00011]   0.961258 [00012]   0.988678
[00013] Lovebird1 [00014]   0.986851 [00015]   0.993930 [00016]   0.998325
[00017] Ballet [00018]   0.988981 [00019]   0.989284 [00020]   0.996774

Claims (8)

1.一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，分别建立双目立体亮度关系模型、立体图像的JND模型，立体视频的JND模型，提取纹理掩盖、背景亮度、帧间掩盖的可视阈值，设置基于空间-时间对比灵敏度函数的可视阈值T，对立体视频进行质量评价，建立双目的JND模型，计算用于立体视频质量评价的双目感知峰值信噪比；双目感知峰值信噪比越高，立体视频质量越好，其具体步骤是：
(1)、分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型；
(2)、分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型；
(3)、根据视频帧间掩盖的可视阈值建立立体视频的JND模型；
(4)、建立基于空间-时间对比灵敏度函数的可视阈值T；
(5)、建立双目的JND模型；
(6)、依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价。
2.根据权利要求1所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(1)所述的分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型，其具体步骤如下： 
（1-1）计算左视点视频的像素亮度                                                
Figure 246358DEST_PATH_IMAGE001
；
（1-2）计算右视点视频的像素亮度；
（1-3）对JND模型的融合图像的像素亮度进行修正，建立双目立体亮度关系模型：
Figure 432806DEST_PATH_IMAGE003
=
Figure 639796DEST_PATH_IMAGE004
   (1)
其中，表示像素，
Figure 740793DEST_PATH_IMAGE003
是表示双目立体亮度关系模型，
Figure 965101DEST_PATH_IMAGE006
，
Figure 292177DEST_PATH_IMAGE007
为常数，
Figure 310949DEST_PATH_IMAGE008
为与显示器有关的亮度校正系数，
Figure 785793DEST_PATH_IMAGE009
。
3.根据权利要求2所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(2)所述的分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型，其具体步骤如下：
（2-1）设置纹理掩盖效应的可视阈值，其计算式如下：
Figure 813792DEST_PATH_IMAGE010
                              (2)        
其中，表示纹理掩盖的可视阈值，
Figure 450626DEST_PATH_IMAGE012
代表在像素
Figure 147187DEST_PATH_IMAGE013
周围的亮度梯度的加权平均，
Figure 713297DEST_PATH_IMAGE014
是线性函数
Figure 14966DEST_PATH_IMAGE011
的斜率
                            
Figure 824976DEST_PATH_IMAGE016
                (3)          
其中，
Figure 194777DEST_PATH_IMAGE017
是在四个方向上计算加权的平均亮度变化的算子，( i , j )表示像素(x , y)的邻近像素，i = 1, 2, 3, 4, 5，j = 1, 2, 3, 4, 5；
（2-2）设置背景亮度引起的可视阈值，通过实验得到如下公式：
Figure 350952DEST_PATH_IMAGE018
       (4)       
其中， 
Figure 148007DEST_PATH_IMAGE019
表示背景亮度引起的可视阈值，bg( x ,y )是平均背景亮度，
Figure 822089DEST_PATH_IMAGE020
和分别代表当背景灰度值为0时的可视阈值和在高背景亮度时的模型曲线的线性斜率，平均背景亮度
Figure 740684DEST_PATH_IMAGE022
计算式如下：
Figure 770957DEST_PATH_IMAGE023
          (5)        
其中，为平均背景亮度算子，i=1,2,3,4,5，j=1,2,3,4,5；
（2-3）建立立体图像JND模型，其具体如下：
       (6)          
其中，
Figure 443880DEST_PATH_IMAGE026
代表由式（1）测得的像素亮度，沿着每个水平方向的差分为
Figure 645055DEST_PATH_IMAGE027
                (7)                    
其中， 
Figure 228483DEST_PATH_IMAGE028
，
Figure 743778DEST_PATH_IMAGE029
，
Figure 463472DEST_PATH_IMAGE030
表示图像的水平和垂直方向的最大像素个数，
对于水平零跨区：
          
Figure 835548DEST_PATH_IMAGE031
                              (8)                        
其中，
Figure 906272DEST_PATH_IMAGE032
为水平方向的差分的特征符号，
与像素
Figure 959678DEST_PATH_IMAGE033
沿水平水平方向左右相邻像素差分的特征符号的乘积为：
Figure 799458DEST_PATH_IMAGE034
     那么，上述背景亮度的可视阈值构成立体图像JND模型计算式（6）为：
Figure 342435DEST_PATH_IMAGE035
    (12) 。
4.根据权利要求3所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤（3）所述的根据视频帧间掩盖的可视阈值建立立体视频的JND模型，其具体步骤如下：
（3-1）建立帧间掩盖的可视阈值，建立帧间亮度差函数，该函数采用第n帧和n-1帧之间的平均亮度差函数
Figure 900456DEST_PATH_IMAGE036
表示，其表达式
Figure 491974DEST_PATH_IMAGE037
和
Figure 248577DEST_PATH_IMAGE038
分别由式（13）和（14）表示为：
Figure 165718DEST_PATH_IMAGE039
         （13）   
Figure 945455DEST_PATH_IMAGE040
      （14）
其中，
Figure 340664DEST_PATH_IMAGE036
表示为第n帧和n-1帧之间的平均亮度差函数，
Figure 217353DEST_PATH_IMAGE037
表示帧间掩盖的可视阈值；
（3-2）建立立体视频的JND模型，将上述步骤（2-3）中所述的立体图像JND模型与步骤(3-1)中所述的帧间掩盖的可视阈值相乘，所得的乘积为立体视频的JND模型，其表达式为：
Figure 306849DEST_PATH_IMAGE042
                （15）
其中，
Figure 505749DEST_PATH_IMAGE043
表示立体视频的JND模型，
Figure 236945DEST_PATH_IMAGE041
表示立体图像JND模型，
Figure 289696DEST_PATH_IMAGE037
表示帧间掩盖的可视阈值。
5.根据权利要求4所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤（4）所述的建立基于空间-时间对比灵敏度函数的可视阈值T，其具体步骤如下：
（4-1）计算立体视频的空间-时间对比灵敏度函数，其计算表达式为：
Figure 44025DEST_PATH_IMAGE044
     (16) 
其中，
Figure 843354DEST_PATH_IMAGE045
、
Figure 366739DEST_PATH_IMAGE046
、
Figure 796584DEST_PATH_IMAGE047
、
Figure 38209DEST_PATH_IMAGE006
为常数， 
Figure 375649DEST_PATH_IMAGE048
是视网膜成像速度，
Figure 19120DEST_PATH_IMAGE007
表示空间频率；
（4-2）计算显示设备参数，其计算表达式为：
Figure 354287DEST_PATH_IMAGE049
                                       （17）
其中，
Figure 83208DEST_PATH_IMAGE050
为显示设备参数，
Figure 224340DEST_PATH_IMAGE051
分别代表与最大和最小灰度值相对应的显示器的亮度值，M是图像的灰度级别数， 为与显示器有关的亮度校正系数，
Figure 493964DEST_PATH_IMAGE009
；
（4-3）获得基于空间-时间对比灵敏度的可视阈值
Figure 506919DEST_PATH_IMAGE052
，其计算表达式为：
  
Figure 389425DEST_PATH_IMAGE053
                           （18）
其中，
Figure 741909DEST_PATH_IMAGE052
是基于空间-时间对比灵敏度函数的可视阈值， 是空间-时间对比灵敏度函数，为显示设备参数。
6.根据权利要求5所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(4-1)对于空间-时间对比灵敏度函数获得过程的进一步说明，其具体步骤如下：
（4-1-1）立体图像的空间频率，其计算表达式为：
Figure 605325DEST_PATH_IMAGE055
                                   （19）
式中，
Figure 77895DEST_PATH_IMAGE056
表示行频率，其计算表达式为：
                 （20）
式中， 
Figure 178892DEST_PATH_IMAGE058
表示列频率，其计算表达式为：
                 （21）
M，N为图像的宽度和高度，(x,y)为像素位置，为(x,y)位置的像素亮度，
于是，在第
Figure 811365DEST_PATH_IMAGE061
帧上的点的空间-时间对比灵敏度函数为：
  （22）
其中，
Figure 433473DEST_PATH_IMAGE056
表示行频率，
Figure 688393DEST_PATH_IMAGE058
表示列频率，
Figure 588215DEST_PATH_IMAGE064
表示视网膜中图像的速度；
（4-1-2）计算视网膜中图像的速度，其计算表达式为：
Figure 154326DEST_PATH_IMAGE065
                                        （23）
其中，
Figure 455994DEST_PATH_IMAGE064
表示视网膜中图像的速度，
Figure 878885DEST_PATH_IMAGE066
表示在第n帧中如果没有眼睛运动的视网膜中图像平面物体的速度，
Figure 266004DEST_PATH_IMAGE067
表示在第n帧中眼睛运动的速度，其计算表达式为：
Figure 635806DEST_PATH_IMAGE068
                        （24）
其中，
Figure 526401DEST_PATH_IMAGE069
表示跟踪物体的效率，和
Figure 994609DEST_PATH_IMAGE071
分别指眼睛运动的最小和最大速度，上述计算式（22）中的
Figure 168101DEST_PATH_IMAGE072
为：
Figure 241100DEST_PATH_IMAGE073
  （25）              
其中， 
Figure 209056DEST_PATH_IMAGE074
表示立体视频的帧率，
Figure 367504DEST_PATH_IMAGE075
和
Figure 79108DEST_PATH_IMAGE076
分别表示为在第n帧中图像分别沿x、y方向的运动向量，
Figure 6613DEST_PATH_IMAGE077
和
Figure 145470DEST_PATH_IMAGE078
分别表示为一个像素在可视角度水平和垂直尺寸的大小，计算公式如下：
Figure 791215DEST_PATH_IMAGE079
,
Figure 40931DEST_PATH_IMAGE080
                （26）
其中，l表示观看距离，
Figure 88522DEST_PATH_IMAGE081
 表示像素在显示器上的显示宽度，
（4-1-3）空间-时间对比灵敏度函数，将（4-1-1）的立体图像的空间频率及（4-1-2）的视网膜中图像的速度计算值代入式（22）中得到空间-时间对比灵敏度函数。
7.根据权利要求5或6所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(5)所述的建立双目的JND模型，其具体步骤为：将立体视频的JND模型与基于空间-时间对比灵敏度函数的可视阈值
Figure 398280DEST_PATH_IMAGE052
相乘，其乘积为双目的JND模型，其计算表达式为：
Figure 469004DEST_PATH_IMAGE082
                  （27）
其中，
Figure 581798DEST_PATH_IMAGE083
 双目的JND模型，
Figure 421578DEST_PATH_IMAGE084
表示立体视频的JND模型，
Figure 902238DEST_PATH_IMAGE052
 表示基于空间-时间对比灵敏度函数的可视阈值。
8.根据权利要求7所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(6)所述的依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价，评价立体视频质量，其质量评价表达式为：
Figure 194679DEST_PATH_IMAGE085
  （28）
其中，
Figure 114094DEST_PATH_IMAGE086
  
Figure 808380DEST_PATH_IMAGE087
    （29）
其中，BPSPNR表示立体视频质量的双目感知峰值信噪比，
Figure 522258DEST_PATH_IMAGE088
为原始视频第n帧左右视点重构后的亮度，代表失真视频第n帧左右视点重构后的亮度，
Figure 962784DEST_PATH_IMAGE090
为双目的JND模型。
CN201110391478.8A 2011-12-01 2011-12-01 一种基于双目最小可辨失真模型的立体视频质量评价方法 Active CN102523477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110391478.8A CN102523477B (zh) 2011-12-01 2011-12-01 一种基于双目最小可辨失真模型的立体视频质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110391478.8A CN102523477B (zh) 2011-12-01 2011-12-01 一种基于双目最小可辨失真模型的立体视频质量评价方法

Publications (2)

Publication Number Publication Date
CN102523477A true CN102523477A (zh) 2012-06-27
CN102523477B CN102523477B (zh) 2014-02-12

Family

ID=46294253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110391478.8A Active CN102523477B (zh) 2011-12-01 2011-12-01 一种基于双目最小可辨失真模型的立体视频质量评价方法

Country Status (1)

Country Link
CN (1) CN102523477B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750706A (zh) * 2012-07-13 2012-10-24 武汉大学 基于深度显著度的立体图像恰可感知差异模型的构建方法
CN102930593A (zh) * 2012-09-28 2013-02-13 上海大学 一种双目系统中基于gpu的实时绘制方法
CN103118255A (zh) * 2013-01-25 2013-05-22 深圳广晟信源技术有限公司 基于凹模型的自适应量化的方法及装置
CN103458265A (zh) * 2013-02-01 2013-12-18 深圳信息职业技术学院 一种视频质量评价方法、装置
CN103780895A (zh) * 2014-01-16 2014-05-07 天津大学 一种立体视频质量评价方法
CN104811691A (zh) * 2015-04-08 2015-07-29 宁波大学 一种基于小波变换的立体视频质量客观评价方法
CN105338343A (zh) * 2015-10-20 2016-02-17 北京理工大学 一种基于双目感知的无参考立体图像质量评价方法
CN105959684A (zh) * 2016-05-26 2016-09-21 天津大学 基于双目融合的立体图像质量评价方法
CN106683072A (zh) * 2015-11-09 2017-05-17 上海交通大学 一种基于pup图的3d图像舒适度质量评价方法及系统
CN107948649A (zh) * 2016-10-12 2018-04-20 北京金山云网络技术有限公司 一种基于主观质量模型的视频编码方法及装置
CN110838120A (zh) * 2019-11-18 2020-02-25 方玉明 一种基于时空信息的非对称失真三维视频的加权质量评价方法
CN114359784A (zh) * 2021-12-03 2022-04-15 湖南财政经济学院 一种面向视频压缩的人眼恰可察觉失真的预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146226A (zh) * 2007-08-10 2008-03-19 中国传媒大学 一种基于自适应st区的高清视频图像质量评价方法及装置
CN101795411A (zh) * 2010-03-10 2010-08-04 宁波大学 一种立体图像的人眼最小可辨变化分析方法
CN102170581A (zh) * 2011-05-05 2011-08-31 天津大学 基于hvs的ssim与特征匹配立体图像质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146226A (zh) * 2007-08-10 2008-03-19 中国传媒大学 一种基于自适应st区的高清视频图像质量评价方法及装置
CN101795411A (zh) * 2010-03-10 2010-08-04 宁波大学 一种立体图像的人眼最小可辨变化分析方法
CN102170581A (zh) * 2011-05-05 2011-08-31 天津大学 基于hvs的ssim与特征匹配立体图像质量评价方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHUN-HSIEN CHOU 等: "A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
CHUN-HSIEN CHOU: "A perceptually optimized 3-D subband codec for video communication over wireless channels", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
CURTIS DWIGHT W等: "Binocular processing of brightness information：A vector-sum model", 《JOURNAL OF EXPERIMENTAL PSYCHOLOGY: HUMAN PERCEPTION AND PERFORMANCE》 *
D. H. KELLY: "Motion and vision. II. Stabilized spatio-temporal threshold surface", 《OPTICAL SOCIETY OF AMERICA》 *
MULLER, K. 等: "3-D video representation using depth maps", 《PROCEEDINGS OF THE IEEE》 *
YUTING JIA 等: "Estimating just-noticeable-distortion for video", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750706A (zh) * 2012-07-13 2012-10-24 武汉大学 基于深度显著度的立体图像恰可感知差异模型的构建方法
CN102930593B (zh) * 2012-09-28 2016-01-13 上海大学 一种双目系统中基于gpu的实时绘制方法
CN102930593A (zh) * 2012-09-28 2013-02-13 上海大学 一种双目系统中基于gpu的实时绘制方法
CN103118255A (zh) * 2013-01-25 2013-05-22 深圳广晟信源技术有限公司 基于凹模型的自适应量化的方法及装置
CN103458265A (zh) * 2013-02-01 2013-12-18 深圳信息职业技术学院 一种视频质量评价方法、装置
CN103458265B (zh) * 2013-02-01 2015-03-04 深圳信息职业技术学院 一种视频质量评价方法、装置
CN103780895A (zh) * 2014-01-16 2014-05-07 天津大学 一种立体视频质量评价方法
CN103780895B (zh) * 2014-01-16 2015-11-04 天津大学 一种立体视频质量评价方法
CN104811691A (zh) * 2015-04-08 2015-07-29 宁波大学 一种基于小波变换的立体视频质量客观评价方法
CN105338343A (zh) * 2015-10-20 2016-02-17 北京理工大学 一种基于双目感知的无参考立体图像质量评价方法
CN106683072A (zh) * 2015-11-09 2017-05-17 上海交通大学 一种基于pup图的3d图像舒适度质量评价方法及系统
CN105959684A (zh) * 2016-05-26 2016-09-21 天津大学 基于双目融合的立体图像质量评价方法
CN105959684B (zh) * 2016-05-26 2019-05-14 天津大学 基于双目融合的立体图像质量评价方法
CN107948649A (zh) * 2016-10-12 2018-04-20 北京金山云网络技术有限公司 一种基于主观质量模型的视频编码方法及装置
CN110838120A (zh) * 2019-11-18 2020-02-25 方玉明 一种基于时空信息的非对称失真三维视频的加权质量评价方法
CN114359784A (zh) * 2021-12-03 2022-04-15 湖南财政经济学院 一种面向视频压缩的人眼恰可察觉失真的预测方法及系统

Also Published As

Publication number Publication date
CN102523477B (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
CN102523477A (zh) 一种基于双目最小可辨失真模型的立体视频质量评价方法
CN103152600B (zh) 一种立体视频质量评价方法
CN103763552B (zh) 基于视觉感知特性的立体图像无参考质量评价方法
CN106028026B (zh) 一种基于时空域结构的高效视频质量客观评价方法
CN103606132B (zh) 基于空域和时域联合滤波的多帧数字图像去噪方法
CN104079925B (zh) 基于视觉感知特性的超高清视频图像质量客观评价方法
CN104243973B (zh) 基于感兴趣区域的视频感知质量无参考客观评价方法
CN102215423B (zh) 用于测量视听参数的方法和设备
CN106341677B (zh) 虚拟视点视频质量评价方法
CN100559880C (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
CN102724525B (zh) 一种基于中心凹恰可觉察失真模型的深度视频编码方法
CN106875389B (zh) 基于运动显著性的立体视频质量评价方法
Ekmekcioglu et al. Depth based perceptual quality assessment for synthesised camera viewpoints
CN103780895B (zh) 一种立体视频质量评价方法
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
Tsai et al. Quality assessment of 3D synthesized views with depth map distortion
CN109345502A (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN110139095B (zh) 一种裸眼3d显示模组检测方法、系统和可读存储介质
JP2015095779A (ja) 画像処理装置、画像処理方法及び電子機器
CN105898174A (zh) 用于提高视频清晰度的方法及设备
Opozda et al. The survey of subjective and objective methods for quality assessment of 2D and 3D images
CN102509311A (zh) 运动检测方法和装置
CN105430397B (zh) 一种3d图像体验质量预测方法及装置
CN110838120A (zh) 一种基于时空信息的非对称失真三维视频的加权质量评价方法
Nur et al. An abstraction based reduced reference depth perception metric for 3D video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant