CN101783971A - 一种视频质量主观测试方法 - Google Patents

Abstract

本发明涉及一种视频质量的主观测试方法，其特征在于：包括以下步骤：a：选择测试环境及条件参数；b：选择测试序列；c：选择测试者；d：测试者对测试序列进行主观测试评分。针对测试编码器在低码率下的压缩性能，提出了本发明所述的视频编码器性能主观测试方案。

Description

一种视频质量主观测试方法

技术领域

本发明涉及多媒体通信中的视频压缩编码技术，尤其涉及一种视频质量主观测试方法。

背景技术

对压缩后的视频质量进行评估是一件困难的工作。大体上，可分为主观质量评定和客观质量评定两种估计方法。客观质量的测定方法速度快、易实行，但往往不会太符合人的视觉感受，只能说大体上的质量。主观质量评定则是建立在人员视觉效果评价的基础上，可提供终端用户更为直接的反应情况，从而建立起开发端与终端用户之间的视觉评价反馈体系。

现行的视频及多媒体主观测试方法主要有：DSCQS、SC、SDSCE、SAMVIQ等。

发明内容

本发明要解决的技术问题在于针对测试编码器在低码率下的压缩性能，提出一种视频编码器性能主观测试方案。

为解决上述问题，本发明提出了视频质量主观测试方法包括以下步骤：

a：选择测试环境及条件参数；

b：选择测试序列；

c：选择测试者；

d：测试者对测试序列进行主观测试评分。

附图说明

图1为本发明方法的主要实现原理流程图；

图2为测试界面及所需评分对象示例。

具体实施方式

如图1所示为本发明方法流程图：

步骤11，选择测试条件与参数：测试条件主要包括显示设备与设置、测试序列、观测者的选择等，下面将针对PC、手机上测试编码器在低码率下的压缩性能的要求介绍相应的条件。

PC测试环境参数	说明(参考设置值)
		观看距离	建议1米，实际测试时观测者可按其习惯自行调整
显示器类型	LCD
		显示器尺寸	统一尺寸(如17寸)
显示器分辨率	1024x768
		显卡	统一显卡类别
显示器亮度	90
		显示器对比度	50

手机测试环境参数	说明(参考设置值)
		手机型号	LG GW880
操作系统	OMS 1.5
		芯片组	Marrell PxA930
CPU	624MHz
		分辨率	800x480

步骤12选择测试序列，本步骤中，先对测试序列信息覆盖度选择，

测试序列选择考虑：

①复杂度由测试序列Y分量确定空间复杂度、时间复杂度

②场景：由时间、空间复杂度信息分布选定典型场景(至少涵盖以下四种情况)

A、简单场景运动少即SI小TI小

B、简单场景运动多即SI小TI大

C、复杂场景运动少即SI大TI小

D、复杂场景运动多即SI大TI大

备注：

具体测试时，可根据需要选择测试序列的数量，一般要求A、B、C、D各有一个。

而场景的复杂度与运动量分别由测试序列参量SI与TI给出。

Sobel滤波

首先对原始图像进行垂直及水平滤波

$G_v(i,j)=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\⊗\left[\begin{array}{ccc}x(i-1,j-1)& x(i-1,j)& x(i-1,j+1)\\ x(i,j-1)& x(i,j)& x(i,j+1)\\ x(i+1,j+1)& x(i+1,j)& x(i+1,j+1)\end{array}\right]$

$G_h(i,j)=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]\⊗\left[\begin{array}{ccc}x(i-1,j-1)& x(i-1,j)& x(i-1,j+1)\\ x(i,j-1)& x(i,j)& x(i,j+1)\\ x(i+1,j+1)& x(i+1,j)& x(i+1,j+1)\end{array}\right]$

然后，计算Sobel滤波的最终输出值

$y(i,j)=\sqrt{{G_v}^2(i,j)+{G_h}^2(i,j)}$

计算空间信息度SI

SI＝Max_time{std_space[sobeI[F_n]}

其中，F_n为第n帧测试图像

计算时间信息度TI

TI＝Max_time{std_space[F_n(i，j)-F_n-1(i，j)]}

步骤13，选择测试人员

至少15人；视力、色彩信息观察力正常；选择非专业人士，即工作不能直接与图像质量有关；按一定的条件(如职业、年龄、性别等)涵盖一定的范围。

步骤14，测试人员对测试序列进行主观测试评分，

评分档次设置

取值	主观评价说明
		3	非常好
2	很好
		1	好
0	可以接受
		-1	比较差
-2	差
		-3	非常差

①鉴于本方案测试主体为编码器低码率下压缩性能，采用有损压缩评分档次。若为高清测试则需修改相应的评分档设置

②主观测试评分x∈[-3，3]，考虑数据的分布性，评分x可以是半分档，即允许最小区分度为0.5；

如图2所示为测试界面及所需评分对象说明：

①PC测试时参与一次主观测试评分的对象，可依据所需比较的目的自行增加，即不局限于上述的一次两个评分对象；手机测试时，受限于手机显示屏大小，采用单激励源；

②由于人的主观评分具有很强的随机性，在进行比较测试时，若单独评分会失去评分的比较意义，即无法横向比较；所以在进行比较测试时，建议在客观条件允许的情况下将所需参与测试的比较对象同时显示并评分；如对象太多无法一次显示或是考虑到视频源所处的位置对测试的影响，可将测试对象交叠显示，即通过显示已评分对象和其评分作为下轮测试的参考对象

③参与主观评分测试对象：编解码后图像序列

主观测试源排列要求(当同时显示比较对象时)

随机性：同一编码器处理的图像测试时出现的位置不固定，即位置1出现的测试对象可来自于不同的编码器。

重复性：在整个测试过程同一编码结果，将在位置1、位置2都出现1次。消除视觉上位置影响。

对等性：被比较对象(不同编码器)的测试结果数量一致

主观测试评分过程为：播放测试对象，播放完后，开始打分；评分后可以进行回放修改原始的打分，但仅限于此测试片断；片断间不能回放；

由于原始测试数据由于主观测试的原因，存在不可用性。下面将对原始数据进行相应的处理，从而使得主观测试结果更为合理。对于打分所得数据的处理分为以下步骤：

步骤141：测试数据有效性判定

有训练过程时，有效数据筛选丢弃测试初期的5个测试结论；如果测试组合较多，则丢弃前3个测试结论，

计算当前判断观测者y的评分与所有观测者平均评分的相关系数r_1y(x，y)，r_2y(x，y)其中x为所有观测者的平均评分变量，y为一个观测者的评分变量

处理流程

Pearson相关性分析

计算相关系数r_1y(x，y)

$r_{1y}(x,y)=\frac{\mathrm{Cov}(x,y)}{{\mathrm{\σ}}_x*{\mathrm{\σ}}_y}$

其中Cov(x，y)为协方差，σ_x、σ_y为相应的标准差

x₁：第i种测试组合时，所有观测者评分的均值(即在算法、比特率、测试序列组合成的第i种测试条件下相应测试评分的平均)

y_i：第i种测试组合时，当前判断观测者y的评分

n：测试算法总数x测试序列总数

Spearman等级相关性分析

计算相关系数r_2y(x，y)

$r_{2y}(x,y)=[1-\frac{6*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\mathrm{rank}\left(x_i\right)-\mathrm{rank}\left(y_i\right))}^2}{n^3-n}]$

③确定判定阈值

如果mean(min(r_1y，r_2y))-std(min(r_1y，r_2y))＞0.85，则Thres＝0.85

否则              Thres＝mean(min(r_1y，r_2y))-std(min(r_1y，r_2y))

④判定观测者数据的有效性

如果min(r_1y，r_2y)＞Thres，则当前观测者y的数据有效，

否则，当前观测者y的数据无效。

142：测试数据统计分析

所有观测者评分均值

${\stackrel{\‾}{\mathrm{\μ}}}_{\mathrm{jkr}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\μ}}_{\mathrm{ijkr}}$

μ_ijk：观测者i，在比特率j，测试序列k，算法r时所作的评分置信区间

[μ_jkr-δ_jkr，μ_jkr+δ_jkr]

其95％的置信区间参数

如服从正态分布 ${\mathrm{\δ}}_{\mathrm{jkr}}=1.96\frac{S_{\mathrm{jkr}}}{\sqrt{N}}$

S_jkr为统计标准差

步骤143：测试数据处理步骤

将每个测试者的测试数据作线性归一化处理，将原始范围[-3，3]的主观评分转换成[0，1]的主观评分，消除个体差异

$x_{\mathrm{ij}}^{\′}=(x_{\mathrm{ij}}-\underset{i}{\min }\left(x_{\mathrm{ij}}\right))/(\underset{i}{\max }\left(x_{\mathrm{ij}}\right)-\underset{i}{\min }\left(x_{\mathrm{ij}}\right))$

其中i＝1，2，...，I，j＝1，2，...，J；I为每个测试者所需进行的主观评分次数，J为参加测试的人数

进行有效数据筛选；

基于有效数据计算统计变量；

数据统计方法1：同一片断两个编码器性能评分相同时，所有有效观测者评分均值；用于两个编码器实际比特率相差悬殊，

数据统计方法2：所有有效观测者评分均值；用于两个编码器实际比特率相近，

反归一化，将范围[0，1]的平均得分转换成[-3，3]的评分，将得分与评分档次设置含义再度对应。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频质量的主观测试方法，其特征在于：包括以下步骤：

a：选择测试环境及条件参数；

b：选择测试序列；

c：选择测试者；

d：测试者对测试序列进行主观测试评分。

2.如权利要求1所述的视频质量的主观测试方法，其特征在于：步骤a中测试环境为通过计算机进行测试，条件参数包括：观看距离设置为1米，显示器类型以及尺寸为17寸LCD显示器，显示器分辨率设置为1024×768，显示器亮度设置为90对比度设置为50。

3.如权利要求1所述的视频质量的主观测试方法，其特征在于：步骤b中测试序列选择包括四种测试序列：简单场景运动少即SI小TI小，简单场景运动多即SI小TI大，复杂场景运动少即SI大TI小，复杂场景运动多即SI大TI大，其中SI为空间度信息，TI为时间度信息。

4.如权利要求3所述的视频质量的主观测试方法，其特征在于：对于所述四种测试序列：首先进行Sobel滤波

首先对原始图像进行垂直及水平滤波

$G_v(i,j)=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\⊗\left[\begin{array}{ccc}x(i-1,j-1)& x(i-1,j)& x(i-1,j+1)\\ x(i,j-1)& x(i,j)& x(i,j+1)\\ x(i+1,j+1)& x(i+1,j)& x(i+1,j+1)\end{array}\right]$

$G_h(i,j)=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]\⊗\left[\begin{array}{ccc}x(i-1,j-1)& x(i-1,j)& x(i-1,j+1)\\ x(i,j-1)& x(i,j)& x(i,j+1)\\ x(i+1,j+1)& x(i+1,j)& x(i+1,j+1)\end{array}\right]$

然后，计算Sobel滤波的最终输出值

$y(i,j)=\sqrt{{G_v}^2(i,j)+{G_h}^2(i,j)}$

计算空间信息度SI

SI＝Max_time{std_space[sobel[F_n]}

其中，F_n为第n帧测试图像

计算时间信息度TI

TI＝Max_time{std_space[F_n(i，j)-F_n-1(i，j)]}。

5.如权利要求1所述的视频质量的主观测试方法，其特征在于：步骤c测试者选择为至少15人，视力、色彩信息观察力正常。

6.如权利要求1所述的视频质量的主观测试方法，其特征在于：主观测试评分范围设为x∈[-3，3]，考虑数据的分布性，评分x可以是半分档，即允许最小区分度为0.5。

7.如权利要求6所述的视频质量的主观测试方法，其特征在于：还进一步包括对测试评分数据的处理，包括以下步骤：

将每个测试者的测试数据作线性归一化处理，将原始范围[-3，3]的主观评分转换成[0，1]的主观评分，消除个体差异

$x_{\mathrm{ij}}^{\′}=(x_{\mathrm{ij}}-\underset{i}{\min }\left(x_{\mathrm{ij}}\right))/(\underset{i}{\max }\left(x_{\mathrm{ij}}\right)-\underset{i}{\min }\left(x_{\mathrm{ij}}\right))$

其中i＝1，2，...，I，j＝1，2，...，J；I为每个测试者所需进行的主观评分次数，J为参加测试的人数；

进行有效数据筛选；

基于有效数据计算统计变量：同一片断两个编码器性能评分相同时，所有有效观测者评分均值；

进行反归一化，将范围[0，1]的平均得分转换成[-3，3]的评分，将得分与评分含义再度对应。

Images