CN103297801A - 一种针对视频会议的无参考视频质量评价方法 - Google Patents

Abstract

本发明公开了一种针对视频会议的无参考视频质量评价方法，包括：（1）确定图像的ROI；（2）计算图像的量化影响参数；（3）计算图像的码率控制影响参数；（4）计算视频的质量评价值。本发明针对视频会议场景简单，人眼感兴趣区域特殊等特点，制定针对视频会议的无参考视频质量评价方法，只需要待评价视频就可以得到视频质量评价结果，具有很好的灵活性和适应性，评价结果准确度较高，符合人眼对视频的主观感知；且本发明对各种不同场景的视频会议都能得到比较准确的评价结果，具有较好的普适性。

Description

一种针对视频会议的无参考视频质量评价方法

技术领域

本发明属于视频质量评价技术领域，具体涉及一种针对视频会议的无参考视频质量评价方法。

背景技术

随着计算机与网络通信技术的飞速发展，人们对获取多媒体信息的需求日益旺盛。近年来，与视频相关的应用涵盖各个领域，如视频会议、视频监控和移动电视等。其中，视频会议作为一种以传送视觉信息为主的会议方式的多方通信，可以在多个地点之间实现远距离多用户的实时可视化交流，不仅降低了开展会议所需要的成本，同时节省了人力成本，具有非常重要的实际应用价值。在视频会议应用中，视频信息在到达接收者之前都需要经过压缩和传输，而这些过程往往会造成视频质量损失。为了获得更好的主观效果，有必要对视频质量作出评价，根据结果调整编码器和传输信道的参数。视频的最终受体是人类的眼睛，人眼观察被认为是最精确的评价视频质量的方法。然而，由于视频的信息量非常大，依靠人工观察的主观方法对视频质量进行评价需要消耗大量的人力和时间，不适合大规模实际应用。因此，如何根据人眼视觉系统特性建立视频质量评价模型，在此基础上由计算机自动完成视频的质量评价，成为一个非常有意义的课题。

视频客观质量评价方法（Video Objective Quality Assessment）是指通过设计数学模型对视频进行智能化分析，并按设定的尺度对视频进行自动评分的客观评价方法。根据对原始视频的依赖程度，视频客观质量评价方法可以分为全参考型、部分参考型和无参考型三类。由于全参考型和部分参考型评价方法都需要额外的带宽来传输原始视频及相关信息，其实用价值非常有限。相比之下，无参考质量评价方法不需要依赖任何与原始视频相关的信息，直接根据待评价视频的信息计算视频质量，具有更好的灵活性和适应性，以及更广泛的应用价值。特别是在与网络多媒体相关的视频应用中，无参考视频客观质量评价在服务器质量检测（Quality of Service，QoS）和终端质量体验（Quality of Experience，QoE）上面起到重要作用，根据视频质量评价反馈信息，视频服务器可以动态调整视频编码器参数和传输信道参数，以保证传输稳定性，提高接收端视频质量。另外，无参考视频客观质量评价可以取代人眼，公正地比较不同视频编解码器输出的视频质量，为视频接收端提供参考，做出最优选择。

现有的视频质量评价方法虽然取得了一定的效果，形成了一些比较成熟的模型；如Wang Zhou等人在标题为Image quality assessment:From error visibilityto structural similarity（IEEE Transactios on Image Processing）的文献中提出了基于PSNR（峰值信噪比）和基于SSIM（结构相似性）的两种视频质量评价模型，但这两种模型仍然存在一些问题如：没有考虑HVS（人类视觉系统）在视频质量评价中的作用，忽视了视频内容特征对视频质量的影响，没有考虑视频会议场景的特殊性，故准确度还有待提高。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种针对视频会议的无参考视频质量评价方法，针对视频会议场景简单，人眼感兴趣区域特殊等特点，无需原始视频作为参考，实现灵活有效的视频质量评价且具有较高的准确度。

一种针对视频会议的无参考视频质量评价方法，包括如下步骤：

（1）将待评价视频每帧图像分割成若干个宏块；

（2）通过检测图像中的人脸区域和运动显著区域，确定每帧图像的ROI（人眼感兴趣区域）；

（3）结合ROI估计量化过程对视频质量造成的影响，计算出每帧图像的量化影响参数；

（4）结合ROI估计码率分配过程对视频质量造成的影响，计算出每帧图像的码率控制影响参数；

（5）根据所述的量化影响参数和码率控制影响参数，计算出每帧图像的质量评价值Q；进而对待评价视频所有图像的质量评价值Q求平均，得到的平均值即为待评价视频的质量评价值。

所述的步骤（2）中，确定每帧图像的ROI的方法如下：

A1.对于待评价视频的任一帧图像，从待评价视频的码流中提取该图像每个宏块的水平运动矢量和垂直运动矢量；

A2.对于该图像的任一宏块，通过人脸像素检测法检测该宏块中属于人脸像素的像素个数N_face；若N_face≥T_face，则判定该宏块属于人脸区域；否则，则判定该宏块不属于人脸区域，T_face为预设的像素阈值；依此遍历该图像的每个宏块，以确定该图像的人脸区域；

A3.对于该图像的任一宏块，通过对该宏块的水平运动矢量和垂直运动矢量均方根得到该宏块的运动强度E_motion；若E_motion≥T_motion，则判定该宏块属于运动显著区域；否则，则判定该宏块不属于运动显著区域，T_motion为预设的运动强度阈值；依此遍历该图像的每个宏块，以确定该图像的运动显著区域；

A4.取该图像人脸区域与运动显著区域的合集为该图像的ROI；

A5.根据步骤A1～A4，遍历待评价视频每帧图像，以确定每帧图像的ROI。

所述的步骤（3）中，计算每帧图像量化影响参数的方法如下：

B1.对于待评价视频的任一帧图像，从待评价视频的码流中提取该图像每个宏块对应的量化系数；

B2.对于该图像的任一宏块，根据以下算式计算该宏块的量化影响参数V_qp：

V_qp＝(a1×Cv+a2)×qp

$C_v=B{\×2}^{\frac{\mathrm{qp}}{6}}$

其中：B为宏块所消耗的码流，qp为宏块对应的量化系数，a₁和a₂均为给定的计算参数；

B3.对该图像内所有宏块的量化影响参数V_qp加权求和，从而得到该图像的量化影响参数V_Q；其中，属于ROI的宏块采用权重系数w1，不属于ROI的宏块采用权重系数w₂；

B4.根据步骤B1～B3，遍历待评价视频每帧图像，以计算出每帧图像的量化影响参数V_Q。

所述的步骤（4）中，计算每帧图像码率控制影响参数的方法如下：

C1.对于待评价视频的任一帧图像，根据该图像中每个宏块所消耗的码流，计算出该图像的码流方差D_B；

C2.根据该图像中每个宏块所消耗的码流，计算出该图像的码率控制准确度C_RC；

C3.根据公式V_B=D_B×C_RC计算出该图像的码率控制影响参数V_B；

C4.根据步骤C1～C3，遍历待评价视频每帧图像，以计算出每帧图像的码率控制影响参数V_B。

所述的步骤C1中，根据以下算式计算图像的码流方差D_B：

$D_B=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(B_i-B_{\mathrm{ave}})}^2}{n}$

其中：Bi为图像中第i宏块所消耗的码流，B_avg为图像中所有宏块消耗码流的平均值，i为自然数且1≤i≤n，n为图像中的宏块个数。

所述的步骤C2中，根据以下算式计算图像的码率控制准确度C_RC：

$C_{\mathrm{RC}}=\frac{N_I}{N_B}\×100\%$

其中：N_I为图像中属于ROI且消耗码流大于B_avg的宏块个数，N_B为图像中消耗码流大于B_avg的宏块个数，B_avg为图像中所有宏块消耗码流的平均值。

所述的步骤（5）中，根据以下算式计算每帧图像的质量评价值Q：

Q＝b₁×V_Q+b₂×V_B

其中：V_Q为图像的量化影响参数，V_B为图像的码率控制影响参数，b₁和b₂均为给定的权重系数。

本发明方法的有益效果如下：

（1）本发明只需要待评价视频就可以得到视频质量评价结果，具有很好的灵活性和适应性。

（2）本发明针对视频会议的特殊性制定相应算法，评价结果准确度较高，符合人眼对视频的主观感知。

（3）本发明对各种不同场景的视频会议都能得到比较准确的评价结果，具有较好的普适性。

附图说明

图1为本发明视频质量评价方法的步骤流程示意图。

图2为本发明实验关于主客观评价结果的散点图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

我们首先将待评价视频每帧图像分割成若干个宏块；如图1所示，一种针对视频会议的无参考视频质量评价方法，包括如下步骤：

（1）确定图像的ROI。

视频会议的场景比较特殊，一般分为固定的背景和前景的人体活动两部分。针对人眼视觉系统的研究结果表明：人眼对此类场景中的人脸和肢体活动比较敏感，而对背景并不关注。因此，本实施方式将人脸和肢体活动区域作为人眼感兴趣区域，加大这部分区域在视频质量评价体系中的权重。

本实施方式通过检测图像中的人脸区域和运动显著区域，确定每帧图像的ROI：

A1.对于待评价视频的任一帧图像，从待评价视频的码流中提取该图像每个宏块的水平运动矢量mvx和垂直运动矢量mvy；

A2.对于该图像的任一宏块，通过人脸像素检测法（取自Rein-Lien Hsu等人在标题为Face detection in color images（IEEE International Conference on ImageProcessing）的文献中公开的方法）检测该宏块中属于人脸像素的像素个数N_face；若N_face≥T_face，则判定该宏块属于人脸区域；否则，则判定该宏块不属于人脸区域，T_face为预设的像素阈值；依此遍历该图像的每个宏块，以确定该图像的人脸区域；本实施方式中，T_face=16。

A3.对于该图像的任一宏块，通过对该宏块的水平运动矢量mvx和垂直运动矢量mvy均方根得到该宏块的运动强度E_motion；即：

$E_{\mathrm{motion}}=\sqrt{{\mathrm{mvx}}^2+{\mathrm{mvy}}^2}$

若E_motion≥T_motion，则判定该宏块属于运动显著区域；否则，则判定该宏块不属于运动显著区域，T_motion为预设的运动强度阈值；依此遍历该图像的每个宏块，以确定该图像的运动显著区域；本实施方式中，T_motion=8。

A4.取该图像人脸区域与运动显著区域的合集为该图像的ROI；

A5.根据步骤A1～A4，遍历待评价视频每帧图像，以确定每帧图像的ROI。

（2）计算图像的量化影响参数。

压缩视频的失真程度随着压缩过程中使用的量化参数增大而增强，研究发现，视频主观质量（DMOS）与量化系数呈近似线性关系。但是即使使用相同的量化参数，不同内容的视频表现出来的失真程度也不一样。综合这些因素，本实施方式根据ROI通过估计量化过程对视频质量造成的影响，计算出每帧图像的量化影响参数；

B1.对于待评价视频的任一帧图像，从待评价视频的码流中提取该图像每个宏块对应的量化系数；

B2.对于该图像的任一宏块，根据以下算式计算该宏块的量化影响参数V_qp：

V_qp＝(a1×Cv+a2)×qp

$C_v=B{\×2}^{\frac{\mathrm{qp}}{6}}$

其中：B为宏块所消耗的码流，qp为宏块对应的量化系数，a₁和a₂均为给定的计算参数；本实施方式中，a₁=0.000085，a₂=0.8。

B3.对该图像内所有宏块的量化影响参数V_qp加权求和，从而得到该图像的量化影响参数V_Q；其中，属于ROI的宏块采用权重系数w1，不属于ROI的宏块采用权重系数w₂；本实施方式中，w₁=0.7，w₂=0.3。

B4.根据步骤B1～B3，遍历待评价视频每帧图像，以计算出每帧图像的量化影响参数V_Q。

（3）计算图像的码率控制影响参数。

码率控制的目标是将有限的码流分配到合适的区域，得到最佳的视频质量。研究结果表明，一帧视频内码流分配的均匀程度与视频的质量有一定联系，将有限的码流集中分配到最合适的位置有利于提高视频质量。因此，本实施方式用每帧图像消耗码流值的方差D_B来反映码流分配的集中程度，以此评估码流分配对视频客观质量的影响。但是，任何码率控制算法都不能完全确保能把码流分配到合适的区域，码流分配的准确度C_RC也对视频质量起到一定影响。本实施方式根据ROI通过估计码率分配过程对视频质量造成的影响，计算出每帧图像的码率控制影响参数；具体实施方式如下：

C1.对于待评价视频的任一帧图像，根据该图像中每个宏块所消耗的码流，通过以下算式计算出该图像的码流方差D_B；

$D_B=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(B_i-B_{\mathrm{ave}})}^2}{n}$

其中：B_i为图像中第i宏块所消耗的码流，B_avg为图像中所有宏块消耗码流的平均值，i为自然数且1≤i≤n，n为图像中的宏块个数。

C2.根据该图像中每个宏块所消耗的码流，通过以下算式计算出该图像的码率控制准确度C_RC；

$C_{\mathrm{RC}}=\frac{N_I}{N_B}\×100\%$

其中：N_I为图像中属于ROI且消耗码流大于B_avg的宏块个数，N_B为图像中消耗码流大于B_avg的宏块个数。

C3.根据公式V_B=D_B×C_RC计算出该图像的码率控制影响参数V_B；

C4.根据步骤C1～C3，遍历待评价视频每帧图像，以计算出每帧图像的码率控制影响参数V_B。

（4）计算视频的质量评价值。

根据量化影响参数V_Q和码率控制影响参数V_B，通过以下算式计算出每帧图像的质量评价值Q；

Q＝b₁×V_Q ⁺b₂×V_B

其中：b₁和b₂均为给定的权重系数；本实施方式中，b₁=0.64，b₂=0.36。

最后，对待评价视频所有图像的质量评价值Q求平均，得到的平均值Q_AVG即为待评价视频的质量评价值；Q_AVG的取值范围为[0，100]，0代表视频质量最好，100代表视频质量最差。

以下我们通过60个JM压缩的典型视频会议场景码流来验证本实施方式的效果，根据公式用多参数非线性方程对主客观评价结果进行拟合，使经过转换后的客观评价结果DMOS_P与主观评价值DMOS的关系接近线性，方便对评价结果的准确性和单调性进行比较，测试结果散点图如图2所示。

同时，我们分别用Spearman相关系数和Pearson相关系数来衡量本实施方式的单调性和准确性，并与传统PSNR和SSIM评价模型作对比，如表1所示：

表1

质量评价方法	Spearman相关系数	Pearson相关系数
			PSNR	0.5216	0.5345
SSIM	0.6765	0.6843
			本实施方式	0.7689	0.7987

Spearman系数和Pearson系数越大，说明该评价方法的单调性和准确性越好，从图2和表1这些结果可以看到，本实施方式评价结果准确率要高于这现有两种视频质量评价方法。

Claims (7)

1.一种针对视频会议的无参考视频质量评价方法，包括如下步骤：

（1）将待评价视频每帧图像分割成若干个宏块；

（2）通过检测图像中的人脸区域和运动显著区域，确定每帧图像的ROI；

（3）结合ROI估计量化过程对视频质量造成的影响，计算出每帧图像的量化影响参数；

（4）结合ROI估计码率分配过程对视频质量造成的影响，计算出每帧图像的码率控制影响参数；

（5）根据所述的量化影响参数和码率控制影响参数，计算出每帧图像的质量评价值Q；进而对待评价视频所有图像的质量评价值Q求平均，得到的平均值即为待评价视频的质量评价值。

2.根据权利要求1所述的无参考视频质量评价方法，其特征在于：所述的步骤（2）中，确定每帧图像的ROI的方法如下：

A1.对于待评价视频的任一帧图像，从待评价视频的码流中提取该图像每个宏块的水平运动矢量和垂直运动矢量；

A2.对于该图像的任一宏块，通过人脸像素检测法检测该宏块中属于人脸像素的像素个数N_face；若N_face≥T_face，则判定该宏块属于人脸区域；否则，则判定该宏块不属于人脸区域，T_face为预设的像素阈值；依此遍历该图像的每个宏块，以确定该图像的人脸区域；

A3.对于该图像的任一宏块，通过对该宏块的水平运动矢量和垂直运动矢量均方根得到该宏块的运动强度E_motion；若E_motion≥T_motion，则判定该宏块属于运动显著区域；否则，则判定该宏块不属于运动显著区域，T_motion为预设的运动强度阈值；依此遍历该图像的每个宏块，以确定该图像的运动显著区域；

A4.取该图像人脸区域与运动显著区域的合集为该图像的ROI；

A5.根据步骤A1～A4，遍历待评价视频每帧图像，以确定每帧图像的ROI。

3.根据权利要求1所述的无参考视频质量评价方法，其特征在于：所述的步骤（3）中，计算每帧图像量化影响参数的方法如下：

B1.对于待评价视频的任一帧图像，从待评价视频的码流中提取该图像每个宏块对应的量化系数；

B2.对于该图像的任一宏块，根据以下算式计算该宏块的量化影响参数V_qp：

V_qp＝(a1×C_v+a₂)×qp

$C_v=B\×2^{\frac{\mathrm{qp}}{6}}$

其中：B为宏块所消耗的码流，qp为宏块对应的量化系数，a₁和a₂均为给定的计算参数；

B3.对该图像内所有宏块的量化影响参数V_qp加权求和，从而得到该图像的量化影响参数V_Q；其中，属于ROI的宏块采用权重系数w₁，不属于ROI的宏块采用权重系数w₂；

B4.根据步骤B1～B3，遍历待评价视频每帧图像，以计算出每帧图像的量化影响参数V_Q。

4.根据权利要求1所述的无参考视频质量评价方法，其特征在于：所述的步骤（4）中，计算每帧图像码率控制影响参数的方法如下：

C1.对于待评价视频的任一帧图像，根据该图像中每个宏块所消耗的码流，计算出该图像的码流方差D_B；

C2.根据该图像中每个宏块所消耗的码流，计算出该图像的码率控制准确度C_RC；

C3.根据公式V_B=D_B×C_RC计算出该图像的码率控制影响参数V_B；

C4.根据步骤C1～C3，遍历待评价视频每帧图像，以计算出每帧图像的码率控制影响参数V_B。

5.根据权利要求4所述的无参考视频质量评价方法，其特征在于：所述的步骤C1中，根据以下算式计算图像的码流方差D_B：

$D_B=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(B_i-B_{\mathrm{ave}})}^2}{n}$

其中：B_i为图像中第i宏块所消耗的码流，B_avg为图像中所有宏块消耗码流的平均值，i为自然数且1≤i≤n，n为图像中的宏块个数。

6.根据权利要求4所述的无参考视频质量评价方法，其特征在于：所述的步骤C2中，根据以下算式计算图像的码率控制准确度C_RC：

$C_{\mathrm{RC}}=\frac{N_I}{N_B}\×100\%$

其中：N_I为图像中属于ROI且消耗码流大于B_avg的宏块个数，N_B为图像中消耗码流大于B_avg的宏块个数，B_avg为图像中所有宏块消耗码流的平均值。

7.根据权利要求1所述的无参考视频质量评价方法，其特征在于：所述的步骤（5）中，根据以下算式计算每帧图像的质量评价值Q：

Q＝b₁×V_Q+b₂×V_B

其中：V_Q为图像的量化影响参数，V_B为图像的码率控制影响参数，b₁和b₂均为给定的权重系数。

Images