CN104767993B - 一种基于质降时域加权的立体视频客观质量评价方法 - Google Patents

Abstract

本发明公开了一种基于质降时域加权的立体视频客观质量评价方法，其考虑到人眼在视频感知过程中存在的时域感知冗余特性，利用无失真的立体视频的运动强度均值和运动强度方差及每个帧组的运动强度均值和运动强度方差，确定无失真的立体视频中的每个帧组的运动强度等级；然后对于不同运动强度等级的帧组，通过不同密度的帧提取策略选取无失真质降立体图像；接着度量同时刻的失真质降立体图像相对于无失真质降立体图像的质量；最终通过加权各同时刻的失真质降立体图像相对于无失真质降立体图像的质量，得到失真的立体视频相对于无失真的立体视频的质量；优点是获得的质量更符合人眼的时域感知，有效地提高了客观评价结果与主观感知之间的相关性。

Description

一种基于质降时域加权的立体视频客观质量评价方法

技术领域

本发明涉及一种视频质量评价方法，尤其是涉及一种基于质降时域加权的立体视频客观质量评价方法。

背景技术

三维图像和立体视频技术在当前的图像视频处理领域发展迅速，其相关技术的应用已经大量的融入到了当前的社会生活中，例如立体电视、立体电影、裸眼3D等。国内外许多高校和科研机构对于立体图像的客观质量评价展开了研究，并在立体图像客观质量评价领域取得了丰硕的成果，而在立体视频客观质量评价领域研究相对较少。

现有的立体视频客观质量评价方案主要是借鉴立体图像客观质量评价方法对立体视频进行评价，这种方案较少的考虑了立体视频在时域上的感知特性，通常仅对时域上的各帧质量进行平均加权，忽视了各帧的不同特性差异(如亮度、运动等)对立体视频质量的影响，忽略了时域加权的重要性，导致立体视频的客观评价结果与主观感知之间的相关性较差。另一方面，现有的大多数的立体视频客观质量评价方案为全参考型，如基于PSNR的质量评价方案，其需要逐像素的比较失真视点与原始视点的差异，因此，在评价视频质量时，需要完整的原始视频信息，由于全参考型需要完整的原始视频信息做参考比较，而在实际应用过程中往往不能得到原始视频信息，而质降参考型通过在原始视频中提取有效的特征进行质量比较，所需的信息较原始视频信息量大大降低，因此质降参考型较全参考型更加实用。

发明内容

本发明所要解决的技术问题是提供一种基于质降时域加权的立体视频客观质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于质降时域加权的立体视频客观质量评价方法，其特征在于包括以下步骤：

①令V_org表示原始的无失真的立体视频，将V_org中的第n帧立体图像记为将的左视点图像和右视点图像对应记为和令V_dis表示待评价的失真的立体视频；其中，1≤n≤f_num，f_num表示V_org和V_dis中各自包含的立体图像的总帧数；

②计算V_org中的每帧立体图像的左视点图像的运动强度，将的运动强度记为 并计算V_org中的每帧立体图像的右视点图像的运动强度，将的运动强度记为 然后计算V_org中的每帧立体图像的运动强度，将的运动强度记为

其中，M表示V_org和V_dis中各自包含的立体图像的宽度，N表示V_org和V_dis中各自包含的立体图像的高度，1≤x≤M，1≤y≤N，表示中坐标位置为(x,y)的像素点的运动强度， 和对应表示中坐标位置为(x,y)的像素点的运动矢量的水平偏移量和垂直偏移量，表示中坐标位置为(x,y)的像素点的运动强度， 和对应表示中坐标位置为(x,y)的像素点的运动矢量的水平偏移量和垂直偏移量；

③计算V_org的运动强度均值和运动强度方差，对应记为E_org,mean和E_org,var， $E_{\mathrm{org},\mathrm{mean}}=\frac{\underset{n=1}{\overset{f_{\mathrm{num}}}{\mathrm{\Σ}}}{\mathrm{IE}}_{\mathrm{org}}^n}{f_{\mathrm{num}}},E_{\mathrm{org},\mathrm{var}}=\frac{\underset{n=1}{\overset{f_{\mathrm{num}}}{\mathrm{\Σ}}}{({\mathrm{IE}}_{\mathrm{org}}^n-E_{\mathrm{org},\mathrm{mean}})}^2}{f_{\mathrm{num}}};$

④在V_org中从第1帧立体图像开始，以连续的g帧立体图像为一个帧组，将V_org划分成个帧组，将V_org中的第n'个帧组记为其中，g＝2^p，p＝3或4或5，符号为向下取整符号，

⑤计算V_org中的每个帧组的运动强度均值和运动强度方差，将的运动强度均值和运动强度方差对应记为和 $E_{\mathrm{org},\mathrm{var}}^{n^{\′}}=\frac{\underset{n=n^{\′}\×g-2^p-1}{\overset{n^{\′}\×g}{\mathrm{\Σ}}}{({\mathrm{IE}}_{\mathrm{org}}^n-E_{\mathrm{org},\mathrm{mean}})}^2}{g};$

⑥确立V_org中的每个帧组的运动强度等级，将的运动强度等级记为 其中，表示的运动强度最弱，表示的运动强度中等，表示的运动强度最强；

⑦根据V_org中的每个帧组的运动强度等级，在V_org中的每个帧组中选取不同帧数的立体图像作为V_org中的无失真质降立体图像；对于如果或，则在中任意选取一帧立体图像作为无失真质降立体图像；如果则在中以连续的帧立体图像为一个子帧组，将划分成2^q个子帧组，然后在中的每个子帧组中任意选取一帧立体图像作为无失真质降立体图像，在中共获得2^q帧无失真质降立体图像，其中，q＝0或1或2；

⑧假设V_org中的无失真质降立体图像共有f_num'帧，并将V_dis中与每帧无失真质降立体图像同时刻的一帧立体图像作为V_dis中的一帧失真质降立体图像，则V_dis中的失真质降立体图像共有f_num'帧，将V_org中的第m帧无失真质降立体图像记为将V_dis中的第m帧失真质降立体图像记为其中，1≤m≤f_num'；

⑨计算V_dis中的每帧失真质降立体图像相对于V_org中同时刻的一帧无失真质降立体图像的质量，将相对于的质量记为Q^m；

⑩计算V_dis相对于V_org的质量，记为Q，其中，表示的运动强度。

所述的步骤④中取p＝4；所述的步骤⑦中取q＝2。

所述的步骤⑨中相对于的质量Q^m的获取过程为：

⑨-1、将的左视点图像和右视点图像对应记为和

⑨-2、采用峰值信噪比图像质量评价方法获取和各自的质量，对应记为和

⑨-3、计算相对于的质量，记为Q^m，

所述的步骤⑨中相对于的质量Q^m的获取过程为：

⑨-1)、将的左视点图像和右视点图像对应记为和

⑨-2)、采用结构相似度图像质量评价方法获取和各自的质量，对应记为和

⑨-3)、计算相对于的质量，记为Q^m，

所述的步骤⑨中相对于的质量Q^m的获取过程为：采用基于人眼感知的质降参考立体图像质量客观评价方法获取相对于的质量，记为Q^m。

与现有技术相比，本发明的优点在于：本发明方法考虑到人眼对时域运动感知的特性，分析视频的运动特性，根据不同运动剧烈程度的视频片段，采取不同策略选取质降帧进行后续的质量评价，使得本发明方法符合人眼对视频的时域感知特性，能够很好的反映视频片段在整个立体视频中的重要程度，并通过提取质降帧，有效地降低了立体视频的冗余信息，提高了实际应用能力；本发明方法在最终的视频质量计算中，利用时域运动剧烈程度加权质降帧得到最终的立体视频质量，计算结果更符合人眼的时域感知，有效地提高了客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于质降时域加权的立体视频客观质量评价方法，其考虑到人眼在视频感知过程中存在的时域感知冗余特性，利用无失真的立体视频的运动强度均值和运动强度方差及无失真的立体视频中的每个帧组的运动强度均值和运动强度方差，确定无失真的立体视频中的每个帧组的运动强度等级；然后对于不同运动强度等级的帧组，通过不同密度的帧提取策略选取无失真质降立体图像；接着度量同时刻的失真质降立体图像相对于无失真质降立体图像的质量；最终通过加权各同时刻的失真质降立体图像相对于无失真质降立体图像的质量，得到失真的立体视频相对于无失真的立体视频的质量。

本发明的立体视频客观质量评价方法的总体实现框图如图1所示，其包括以下步骤：

①令V_org表示原始的无失真的立体视频，将V_org中的第n帧立体图像记为将的左视点图像和右视点图像对应记为和令V_dis表示待评价的失真的立体视频，将V_dis中的第n帧立体图像记为将的左视点图像和右视点图像对应记为和其中，1≤n≤f_num，f_num表示V_org和V_dis中各自包含的立体图像的总帧数。

②计算V_org中的每帧立体图像的左视点图像的运动强度，将的运动强度记为并计算V_org中的每帧立体图像的右视点图像的运动强度，将的运动强度记为 然后计算V_org中的每帧立体图像的运动强度，将的运动强度记为

其中，M表示V_org和V_dis中各自包含的立体图像的宽度，N表示V_org和V_dis中各自包含的立体图像的高度，1≤x≤M，1≤y≤N，表示中坐标位置为(x,y)的像素点的运动强度， 和对应表示中坐标位置为(x,y)的像素点的运动矢量的水平偏移量和垂直偏移量，表示中坐标位置为(x,y)的像素点的运动强度， 和对应表示中坐标位置为(x,y)的像素点的运动矢量的水平偏移量和垂直偏移量。

在本实施例中，中坐标位置为(x,y)的像素点的运动矢量和中坐标位置为(x,y)的像素点的运动矢量均采用现有的成熟技术获得。

③计算V_org的运动强度均值和运动强度方差，对应记为E_org,mean和E_org,var， $E_{\mathrm{org},\mathrm{mean}}=\frac{\underset{n=1}{\overset{f_{\mathrm{num}}}{\mathrm{\Σ}}}{\mathrm{IE}}_{\mathrm{org}}^n}{f_{\mathrm{num}}},E_{\mathrm{org},\mathrm{var}}=\frac{\underset{n=1}{\overset{f_{\mathrm{num}}}{\mathrm{\Σ}}}{({\mathrm{IE}}_{\mathrm{org}}^n-E_{\mathrm{org},\mathrm{mean}})}^2}{f_{\mathrm{num}}}.$

④在V_org中从第1帧立体图像开始，以连续的g帧立体图像为一个帧组，将V_org划分成个帧组，将V_org中的第n'个帧组记为并在V_dis中从第1帧立体图像开始，以连续的g帧立体图像为一个帧组，将V_dis划分成个帧组，将V_dis中的第n'个帧组记为其中，g＝2^p，p＝3或4或5，在本实施例中取p＝4，符号为向下取整符号，

在此，V_org和V_dis中多余的没有构成一个帧组的所有立体图像舍弃不处理。

⑤计算V_org中的每个帧组的运动强度均值和运动强度方差，将的运动强度均值和运动强度方差对应记为和 $E_{\mathrm{org},\mathrm{var}}^{n^{\′}}=\frac{\underset{n=n^{\′}\×g-2^p-1}{\overset{n^{\′}\×g}{\mathrm{\Σ}}}{({\mathrm{IE}}_{\mathrm{org}}^n-E_{\mathrm{org},\mathrm{mean}})}^2}{g}.$

⑥确立V_org中的每个帧组的运动强度等级，将的运动强度等级记为 其中，表示的运动强度最弱，表示的运动强度中等，表示的运动强度最强。

⑦根据V_org中的每个帧组的运动强度等级，在V_org中的每个帧组中选取不同帧数的立体图像作为V_org中的无失真质降立体图像；对于如果或则在中任意选取一帧立体图像作为无失真质降立体图像；如果则在中以连续的帧立体图像为一个子帧组，将划分成2^q个子帧组，然后在中的每个子帧组中任意选取一帧立体图像作为无失真质降立体图像，在中共获得2^q帧无失真质降立体图像，其中，q＝0或1或2，在本实施例中取q＝2。

⑧假设V_org中的无失真质降立体图像共有f_num'帧，并将V_dis中与每帧无失真质降立体图像同时刻的一帧立体图像作为V_dis中的一帧失真质降立体图像，则V_dis中的失真质降立体图像共有f_num'帧，将V_org中的第m帧无失真质降立体图像记为将V_dis中的第m帧失真质降立体图像记为其中，1<f_num'<f_num，1≤m≤f_num'。

⑨计算V_dis中的每帧失真质降立体图像相对于V_org中同时刻的一帧无失真质降立体图像的质量，将相对于的质量记为Q^m。

在此具体实施例中，相对于的质量Q^m的获取可采用现有的任意成熟的图像质量评价方法，一般情况下可采用现有的三种图像质量评价方法，即现有的峰值信噪比(PSNR)图像质量评价方法和现有的结构相似度(SSIM)图像质量评价方法以及基于人眼感知的质降参考立体图像质量客观评价方法获取，在具体操作时可任选一种方法。

采用现有的峰值信噪比(PSNR)图像质量评价方法获取Q^m的具体过程为：⑨-1、将的左视点图像和右视点图像对应记为和⑨-2、采用现有的峰值信噪比(PSNR)图像质量评价方法获取和各自的质量，对应记为和⑨-3、计算相对于的质量，记为Q^m，

采用现有的结构相似度(SSIM)图像质量评价方法获取Q^m的具体过程为：⑨-1)、将的左视点图像和右视点图像对应记为和⑨-2)、采用现有的结构相似度(SSIM)图像质量评价方法获取和各自的质量，对应记为和⑨-3)、计算相对于的质量，记为Q^m，

在具体操作时建议采用中国公开的发明专利申请“基于人眼感知的质降参考立体图像质量客观评价方法”(公开号：CN104144339A)中公开的方法来获取相对于的质量Q^m。

⑩计算V_dis相对于V_org的质量，记为Q，其中，表示的运动强度。

为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。

在本实施例中，选取法国IRCCyN研究机构提供的立体视频库中的H.264编码失真立体视频进行测试，该立体视频库中包含10对不同场景的原始高清立体视频，其中H.264编码失真立体视频包含3组不同失真程度的H.264编码失真立体视频，共30对失真的立体视频。对上述30对失真的立体视频按本发明方法计算得到每对失真的立体视频相对于对应的无失真的原始高清立体视频的质量，然后将计算得到的质量与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合，最后得到客观评价结果与主观感知之间的性能指标值。这里，利用评估视频质量评价方法的3个常用客观参量作为评价指标，即线性相关系数(Correlation coefficient，CC)、Spearman秩相关系数(Spearman Rank OrderCorrelation coefficient，SROCC)和均方根误差(Rooted Mean Squared Error，RMSE)。CC和SROCC的取值范围是[0,1]，其值越接近1，表明客观评价方法越好，反之，表明客观评价方法越差；RMSE值越小，表示客观评价方法的预测越准确，性能越好；反之，表示客观评价方法的预测越差。利用现有的PSNR图像质量评价方法(PSNR方法)、现有的SSIM图像质量评价方法(SSIM方法)、本发明方法(同时刻的失真质降立体图像相对于无失真质降立体图像的质量使用PSNR图像质量评价方法获取)(T-PSNR方法)、本发明方法(同时刻的失真质降立体图像相对于无失真质降立体图像的质量使用SSIM图像质量评价方法获取)(T-SSIM方法)、本发明方法(同时刻的失真质降立体图像相对于无失真质降立体图像的质量使用基于人眼感知的质降参考立体图像质量客观评价方法获取)(T-method方法)分别获取每对失真的立体视频相对于对应的无失真的原始高清立体视频的质量，获取的立体视频质量与平均主观评分差值之间的相关性能参数CC、SROCC和RMSE系数如表1所列。从表1中所列的数据可见，按本发明方法计算得到的失真的立体视频相对于对应的无失真的立体视频的质量与平均主观评分差值DMOS之间有很好的相关性，其中T-PSNR方法的CC值达到了0.7906，SROCC值达到了0.7876，而RMSE值低至0.7087；对于T-SSIM方法，CC值达到了0.8486，SROCC值达到了0.8047，而RMSE值低至0.6122；而T-method方法的CC值达到了0.9487，SROCC值达到了0.9243，而RMSE值低至0.3602，相比于现有的PSNR图像质量评价方法和现有的SSIM图像质量评价方法，本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。

表1各方法计算得到的失真的立体视频相对于对应的无失真的立体视频的质量与平均主观评分差值之间的相关性能参数

Claims (4)

1.一种基于质降时域加权的立体视频客观质量评价方法，其特征在于包括以下步骤：

①令V_org表示原始的无失真的立体视频，将V_org中的第n帧立体图像记为将的左视点图像和右视点图像对应记为和令V_dis表示待评价的失真的立体视频；其中，1≤n≤f_num，f_num表示V_org和V_dis中各自包含的立体图像的总帧数；

②计算V_org中的每帧立体图像的左视点图像的运动强度，将的运动强度记为 并计算V_org中的每帧立体图像的右视点图像的运动强度，将的运动强度记为 然后计算V_org中的每帧立体图像的运动强度，将的运动强度记为

其中，M表示V_org和V_dis中各自包含的立体图像的宽度，N表示V_org和V_dis中各自包含的立体图像的高度，1≤x≤M，1≤y≤N，表示中坐标位置为(x,y)的像素点的运动强度， 和对应表示中坐标位置为(x,y)的像素点的运动矢量的水平偏移量和垂直偏移量，表示中坐标位置为(x,y)的像素点的运动强度， 和对应表示中坐标位置为(x,y)的像素点的运动矢量的水平偏移量和垂直偏移量；

③计算V_org的运动强度均值和运动强度方差，对应记为E_org,mean和E_org,var，

④在V_org中从第1帧立体图像开始，以连续的g帧立体图像为一个帧组，将V_org划分成个帧组，将V_org中的第n'个帧组记为其中，g＝2^p，p＝3或4或5，符号为向下取整符号，

⑤计算V_org中的每个帧组的运动强度均值和运动强度方差，将的运动强度均值和运动强度方差对应记为和

⑥确立V_org中的每个帧组的运动强度等级，将的运动强度等级记为 其中，表示的运动强度最弱，表示的运动强度中等，表示的运动强度最强；

⑦根据V_org中的每个帧组的运动强度等级，在V_org中的每个帧组中选取不同帧数的立体图像作为V_org中的无失真质降立体图像；对于如果或则在中任意选取一帧立体图像作为无失真质降立体图像；如果则在中以连续的帧立体图像为一个子帧组，将划分成2^q个子帧组，然后在中的每个子帧组中任意选取一帧立体图像作为无失真质降立体图像，在中共获得2^q帧无失真质降立体图像，其中，q＝0或1或2；

⑧假设V_org中的无失真质降立体图像共有f_num'帧，并将V_dis中与每帧无失真质降立体图像同时刻的一帧立体图像作为V_dis中的一帧失真质降立体图像，则V_dis中的失真质降立体图像共有f_num'帧，将V_org中的第m帧无失真质降立体图像记为将V_dis中的第m帧失真质降立体图像记为其中，1≤m≤f_num'；

⑨计算V_dis中的每帧失真质降立体图像相对于V_org中同时刻的一帧无失真质降立体图像的质量，将相对于的质量记为Q^m；

⑩计算V_dis相对于V_org的质量，记为Q，其中，表示的运动强度。

2.根据权利要求1所述的一种基于质降时域加权的立体视频客观质量评价方法，其特征在于所述的步骤④中取p＝4；所述的步骤⑦中取q＝2。

3.根据权利要求1或2所述的一种基于质降时域加权的立体视频客观质量评价方法，其特征在于所述的步骤⑨中相对于的质量Q^m的获取过程为：

⑨-1、将的左视点图像和右视点图像对应记为和

⑨-2、采用峰值信噪比图像质量评价方法获取和各自的质量，对应记为和

⑨-3、计算相对于的质量，记为Q^m，

4.根据权利要求1或2所述的一种基于质降时域加权的立体视频客观质量评价方法，其特征在于所述的步骤⑨中相对于的质量Q^m的获取过程为：

⑨-1)、将的左视点图像和右视点图像对应记为和

⑨-2)、采用结构相似度图像质量评价方法获取和各自的质量，对应记为和

⑨-3)、计算相对于的质量，记为Q^m，