CN101895787A - 一种视频编码性能主观评价方法及系统 - Google Patents

一种视频编码性能主观评价方法及系统 Download PDF

Info

Publication number
CN101895787A
CN101895787A CN 201010233014 CN201010233014A CN101895787A CN 101895787 A CN101895787 A CN 101895787A CN 201010233014 CN201010233014 CN 201010233014 CN 201010233014 A CN201010233014 A CN 201010233014A CN 101895787 A CN101895787 A CN 101895787A
Authority
CN
China
Prior art keywords
bit rate
subjective
scoring
module
bitrate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010233014
Other languages
English (en)
Other versions
CN101895787B (zh
Inventor
舒倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yunzhou Multimedia Technology Co., Ltd.
Original Assignee
SHENZHEN RONGCHUANG TIANXIA TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN RONGCHUANG TIANXIA TECHNOLOGY DEVELOPMENT Co Ltd filed Critical SHENZHEN RONGCHUANG TIANXIA TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN 201010233014 priority Critical patent/CN101895787B/zh
Publication of CN101895787A publication Critical patent/CN101895787A/zh
Priority to PCT/CN2011/076606 priority patent/WO2012010046A1/zh
Application granted granted Critical
Publication of CN101895787B publication Critical patent/CN101895787B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Abstract

本发明提出一种视频编码性能主观评价方法,一方面用主观评分衡量编码器在视频主观质量上的压缩性能,另一方面将常规的平均比特率替换为最大窗口比特率,表示编码器的传输性能。通过根据最大窗口比特率、主观评分值为横坐标和纵坐标所构建的主观条件率失真曲线图,可获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,也可通过在相同测试场景、相同编码参数的条件下,比较编码器最大窗口比特率,获取编码器的网络传输性能优劣,比较主观评分,获取编码器在图像主观质量上的压缩性能。

Description

一种视频编码性能主观评价方法及系统
技术领域
本发明涉及视频编码技术领域,尤其涉及一种视频编码性能主观评价方法及系统。
背景技术
一种视频编码技术的优劣主要取决于视频压缩性能和对网络传输的适应性。编码技术的视频压缩性能决定了,经过其压缩处理以后的视频图像的质量,而对网络传输的适应性则决定了,经过其压缩后的视频码流能否在网络中稳定传输,码流接收端是否会经常性的陷入缓冲。
对视频质量的评估,大体上,可分为主观质量评定和客观质量评定两种方法。目前的主流的客观质量评价方法,就是利用率失真性能来衡量编码器的压缩性能,虽然率失真数据能够客观地衡量编码后的图像相对于原始图像的失真度,缺陷是无法判别这些失真对重建图像效果的价值。相同的率失真性能下,有些编码器的失真度体现在丢弃高频信息,而有些编码器会主动丢弃对人眼不敏感的区域信息。而主观测试则是建立在人员视觉效果评价的基础上,以此分析编码器对细节的保存能力,是衡量视频质量的重要手段。主观测试通常会采集大量样本,通过统计方法去除测试人员的主观误差。
码率波动特性衡量视频编码器对网络传输的适应性,这对移动信道尤其重要。移动信道具有资源受限,易错(error-prone)的特性。编码器输出的码流,如果波动特征明显,会导致终端播放器频繁陷入缓冲。
常规的主观评价方法,仅提供对编码技术视频主观质量的性能评价,没有同时考察编码技术的网络传输性能。当需要综合评价编码技术在上述两个性能的综合水平上,就会陷入困难的境地,不利于对视频编码技术进行综合评价。
发明内容
本发明实施例的目的在于提出一种视频编码性能主观评价方法方法,旨在解决现有技术主观评价方法中,仅提供对编码技术视频主观质量的性能评价,没有同时考察编码技术的网络传输性能的问题。
本发明实施例方法是这样实现的,一种视频编码性能主观评价方法,所述方法包括以下步骤:
求取最大窗口比特率;
获取主观评分;
根据最大窗口比特率与主观评分值,构建条件率失真曲线图,考察性能,获取比较结果。
本发明实施例的另一目的在于提出一种视频编码性能主观评价系统,所述系统包括:
最大窗口获取模块,用于求取时间窗口内最大平均比特率(即最大窗口比特率MWBR);
评分模块,用于获取测试对象的主观评分;
评测模块,用于通过以最大窗口比特率、主观评分值为横坐标和纵坐标构建的主观条件率失真曲线图来获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,并用于通过在相同条件下,比较主观评分值,获取编码器在图像主观质量上的压缩性能优劣,并用于通过在相同条件下,比较最大窗口比特率,获取编码器网络传输性能优劣。
本发明的有益效果:
本发明提出的主观条件率失真性能,一方面用主观评分衡量编码器在视频主观质量上的压缩性能,另一方面将常规的平均比特率替换为最大窗口比特率,表示编码器的传输性能。通过根据最大窗口比特率、主观评分值为横坐标和纵坐标所构建的主观条件率失真曲线图,可获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,也可通过在相同测试片源、相同编码参数的条件下,比较编码器最大窗口比特率,获取编码器的网络传输性能优劣,比较主观评分,获取编码器在图像主观质量上的压缩性能。
附图说明
图1是本发明实施例一种视频编码性能主观评价方法流程图;
图2是本发明实施例测试界面及测试对象说明图表;
图3是本发明实施例对同一测试视频源,经过不同编码器编码获取不同码流的最大窗口比特率与主观评分所构建条件率失真曲线图的性能解读图;
图4是本发明实施例对同一测试视频源,经过不同编码器编码获取不同码流的最大窗口比特率与主观评分所构建条件率失真曲线图的另一性能解读图;
图5是本发明实施例一种视频编码性能主观评价系统示意图,
图6是图5一种视频编码性能主观评价系统中最大窗口获取模块详细示意图。
图7是图5一种视频编码性能主观评价系统中数据筛选模块详细示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本发明进行进一步详细说明,为了便于说明,仅示出了与本发明实施例相关的部分。应当理解,此处所描写的具体实施例,仅仅用于解释本发明,并不用以限制本发明。
本发明实施例提出了一种视频编码性能主观评价方法-主观条件率失真性能,来综合评价编码技术在视频主观质量上的压缩性能和网络传输性能。本发明实施例首先通过建立以最大窗口比特率为横坐标,以主观评分值为纵坐标的主观条件率失真曲线图,然后根据曲线图,一方面可以获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,即曲线越高对应的编码技术性能越好;另一方面亦可以获取单项性能的比较:通过在相同测试片源相同编码参数下,比较编码器最大窗口比特率,获取编码器的网络传输性能优劣;比较主观评分的值,获取编码器在图像主观质量上的压缩性能。
实施例一
图1是本发明实施例一种视频编码性能主观评价方法流程图。所述方法包括以下步骤:
S101、获取待评测编码器对同一测试片源进行编码后的码流和解码序列;
S102,根据所述码流和解码序列判定所述待评测编码器的实际输出比特率与目标比特率的相对误差是否在特定范围内,是则进入步骤S104,否则则进入步骤S103;
本发明实施例提出的主观条件率失真性能,一方面用主观评分衡量编码器在视频主观质量上的压缩性能,另一方面将常规的平均比特率替换为最大窗口比特率,表示编码器的传输性能。考虑到编码的目标比特率与编码器的实际输出比特率存在不一致的可能,为了进行平等的性能测试,要求所有的编码器实际输出比特率与目标比特率的相对误差在特定范围之内,即:
abs(bitrate t arg et-bitrateactual)/bitrate t arg et*100%≤Thres
其中,Thres为判定阈值,bitratet arg et为目标比特率,bitrateactual为实际输出比特率,Thres为判定阈值,其由所需达到的试验精度确定,abs(bitratet arg et-bitrateactual)为取bitratet arg et-bitrateactual的绝对值。
满足此条件的才可以进入视频条件率失真性能的实质评价阶段。
S103,修改目标比特率,进入步骤S101;
S104:获取最大窗口比特率;
由于在实际的流媒体传输中,客户端具有一定的缓冲时长(时间窗),即客户端是否陷入缓冲,取决于该时间窗口内最大比特率是否超过实际传输带宽。本发明实施例提出基于实际传输中的时间窗,进行码率波动性能的衡量,并把时间窗口内最大平均比特率,称为最大窗口比特率MWBR。
最大窗口比特率计算方法如下:
A:根据实际传输中的客户端缓冲时长,确定时间窗;
B:计算每个时间窗内的输出平均比特率作为一个数据点(即一个窗口比特率值);
C:删除窗口比特率最大值,消除偶然因数;
D:将剩余窗口比特率序列降序排列,取前若干个窗口比特率的平均值作为最大窗口比特率;
S105:获取主观评分;
获取主观评分可用如下方法,但不仅限于此,所述方法包括以下步骤:
S1051,进行模拟主观评价测试;
第一步:介绍测试目的、要求、如何评价即如何利用测试对象作为隐性参考;
第二步:利用测试片源进行模拟测试,评价各类所损图像,熟悉评分流程,稳定评分;
测试条件主要包括显示设备与设置、测试序列、观测人员的选择等,下面将针对PC、手机上测试编码器在低码率下的压缩性能的要求介绍相应的条件。
  PC测试环境参数   说明(参考设置值)
  观看距离   建议1米,实际测试时观测者可按
  其习惯自行调整
  显示器类型   LCD
  显示器尺寸   统一尺寸(如17寸)
  显示器分辨率   1024x768
  显卡   统一显卡类别
  显示器亮度   90
  显示器对比度   50
  手机测试环境参数   说明(参考设置值)
  手机型号   LG GW880
  操作系统   OMS 1.5
  芯片组   Marrell PxA930
  CPU   624MHz
  分辨率   800x480
其他测试条件如下:
(1)对测试片源信息覆盖度选择。
测试片源选择考虑:
①复杂度由测试片源Y分量确定空间复杂度、时间复杂度
②场景:由时间、空间复杂度信息分布选定典型场景(至少涵盖以下四种情况)
A、简单场景运动少即SI小TI小
B、简单场景运动多即SI小TI大
C、复杂场景运动少即SI大TI小
D、复杂场景运动多即SI大TI大
具体测试时,可根据需要选择测试片源的数量,一般要求A、B、C、D各有一个。
而场景的复杂度与运动量分别由测试序列参量SI与TI给出。
Sobel滤波
首先对原始图像进行垂直及水平滤波
G v ( i , j ) = - 1 - 2 - 1 0 0 0 1 2 1 ⊗ x ( i - 1 , j - 1 ) x ( i - 1 , j ) x ( i - 1 , j + 1 ) x ( i , j - 1 ) x ( i , j ) x ( i , j + 1 ) x ( i + 1 , j + 1 ) x ( i + 1 , j ) x ( i + 1 , j + 1 )
G h ( i , j ) = - 1 0 1 - 2 0 2 - 1 0 1 ⊗ x ( i - 1 , j - 1 ) x ( i - 1 , j ) x ( i - 1 , j + 1 ) x ( i , j - 1 ) x ( i , j ) x ( i , j + 1 ) x ( i + 1 , j + 1 ) x ( i + 1 , j ) x ( i + 1 , j + 1 )
然后,计算Sobel滤波的最终输出值
y ( i , j ) = G v 2 ( i , j ) + G h 2 ( i , j )
计算空间信息度SI
SI=Maxtime{stdspace[sobel[Fn]}
其中,Fn为第n帧测试图像
计算时间信息度TI
TI=Maxtime{stdspace[Fn(i,j)-Fn-1(i,j)]}
(2)选择测试人员
至少15人;视力、色彩信息观察力正常;选择非专业人士,即工作不能直接与图像质量有关;按一定的条件(如职业、年龄、性别等)涵盖一定的范围。
(3)测试人员对测试对象进行主观测试评分,
评分档次设置:
  取值   主观评价说明
  3   非常好
  2   很好
  1   好
  0   可以接受
  -1   比较差
  -2   差
  -3   非常差
①鉴于本方案测试主体为编码器低码率下压缩性能,采用有损压缩评分档次。若为高清测试则需修改相应的评分档设置
②主观测试评分x∈[-3,3],考虑数据的分布性,评分x可以是半分档,即允许最小区分度为0.5;
①PC测试时参与同时主观测试评分的测试对象(即经过不同编解码器输出的解码序列),可依据所需比较的目的自行增加,即不局限于上述的一次两个评分对象;手机测试时,受限于手机显示屏大小,采用单激励源;
②由于人的主观评分具有很强的随机性,在进行比较测试时,若单独评分会失去评分的比较意义,即无法横向比较;所以在进行比较测试时,建议在客观条件允许的情况下将所需参与测试的测试对象同时显示并评分;如测试对象太多无法一次显示或是考虑到测试视频源所处的位置对测试的影响,可将测试对象交叠显示,即通过显示已评分对象和其评分作为下轮测试的参考对象;
③参与主观评分测试对象为编解码后解码序列
主观测试视频源排列要求(当同时显示比较对象时)
随机性:同一编码器处理的图像测试时出现的位置不固定,即位置1出现的测试对象可来自于不同的编码器。
重复性:在整个测试过程中,同一测试对象将在位置1、位置2都出现1次。消除视觉上位置影响。
对等性:测试对象(不同编码器)的测试结果数量一致
主观测试评分过程为:播放测试对象,播放完后,开始打分;评分后可以进行回放修改原始的打分,但仅限于此测试片源;片断间不能回放。
S1052:进行正式主观评价测试,获取主观评分;
测试人员进行测试,其中正式主观评价中的测试片源和模拟评价测试时不相同;
在进行正式主观评价测试时,必须注意以下问题:
同时评分性:由于测试人员的主观评分具有很强的随机性,在对待评测编码器的编码性能进行比较测试时,若单独评分会失去评分的比较意义(即无法横向比较),所以在客观条件允许的情况下将所需参与测试的测试对象同时显示并评分;若所述测试对象太多无法一次显示或是考虑到测试对象所处的位置对测试的影响,可将测试对象交叠显示,即通过显示已评分测试对象和其评分作为下轮测试的参考对象;
测试片源息的覆盖度:时间、空间复杂度的覆盖度要高,即选取具有代表意义的测试片源;
测试对象的排列满足:随机性(使得测试人员无法获取测试对象排列的规律性,评分更为客观)、对等性(消除视觉上的位置影响)、重复性(测试对象获取相同数量的统计数据);
S1053:主观测试数据处理;
主观测试原始数据由于主观的原因,存在不可用性。须对主观测试原始数据进行相应的统计处理,消除测试人员的主观误差,从而使得主观测试结果更为合理,所述处理方法如下:
A:测试数据归一化处理
将每个测试人员的测试数据作线性归一化处理,将原始范围[-3,3]的主观评分转换成[0,1]的主观评分,消除个体差异,
x ij ′ = ( x ij - min i ( x ij ) ) / ( max i ( x ij ) - min i ( x ij ) )
其中i=1,2,...,I,j=1,2,...,J;I为每个测试人员所需进行的主观评分次数,J为参加测试的人数;
B:进行有效数据筛选;
b1,有效测试数据筛选
有模拟测试时,进行有效测试数据筛选,丢弃测试初期的5个测试数据;如果测试组合较多,则丢弃前3个测试数据。
b2,正式测试中测试人员评分数据有效性判定;
计算当前测试人员y的评分与所有测试人员平均评分的相关系数r1y(x,y)、r2y(x,y),其中x为所有测试人员的平均评分变量,y为一个测试人员的评分变量。计算方法如下:
①Pearson相关性分析
计算相关系数r1y(x,y),
r 1 y ( x , y ) = Cov ( x , y ) σ x * σ y
其中Cov(x,y)为协方差,σx、σy为相应的标准差;xi:第i种测试组合时,所有测试人员评分的均值(即在算法、比特率、测试序列组合成的第i种测试条件下相应测试评分的平均);yi:第i种测试组合时,当前测试人员y的评分;n:测试算法总数x测试序列总数。
②Spearman等级相关性分析
计算相关系数r2y(x,y)
r 2 y ( x , y ) = [ 1 - 6 * Σ i = 1 n ( rank ( x i ) - rank ( y i ) ) 2 n 3 - n ]
③确定判定阈值
如果mean(min(r1y,r2y))-std(min(r1y,r2y))>0.85,则Thres=0.85否则Thres=mean(min(r1y,r2y))-std(min(r1y,r2y))
④判定测试人员评分数据的有效性
如果min(r1y,r2y)>Thres,则当前测试人员y的评分数据有效否则当前测试人员y的评分数据无效
C:基于有效评分数据计算统计变量:所有有效测试人员评分均值;所有测试人员评分均值
μ ‾ jkr = 1 N Σ i = 1 N μ ijkr
μijk:测试人员i,在比特率j,测试序列k,算法r时所作的评分
D:反归一化,将范围[0,1]的平均得分转换成[-3,3]的评分,将得分与评分含义再度对应。
S106:根据最大窗口比特率与主观评分,构建主观条件率失真曲线图,获取比较结果,考察性能。
以最大窗口比特率MWBR为横坐标,以主观评分为纵坐标绘制主观条件率失真曲线图,根据曲线图来比较不同编码技术对应的网路传输性能和视频压缩质量。
最大窗口比特率-衡量编码技术的网络传输适应性;主观评分衡量视频的质量
1)不同编码器的对应不同的性能曲线,曲线位置越高,表示该曲线对应的编码技术在图像主观质量的压缩及网络传输上的综合性能就越好;
2)相同条件下,比较主观评分,分数越高,对应编码技术的视频图像主观质量越好;
3)相同条件下,比较最大窗口比特率,值越小,对应编码技术的网络传输性能越好;
如图3所示是本发明实施例对同一测试片源,经过不同编码器编码获取不同码流的最大窗口比特率与主观评分所构建条件率失真曲线图的性能解读图;
其中两条虚线线是两个编码器的主观条件率失真曲线,实线是单项性能对比辅助线。图中每个点为不同测试片源不同编码参数对应的数据点。
以编码器1为例说明,其共测试了四个测试片源,从左到右依次为纹理简单运动剧烈、纹理复杂运动剧烈、纹理复杂运动缓慢、纹理简单运动缓慢场景;
综合性能评价:
编码器1对应的曲线高于编码器2对应的曲线,即在图像主观质量与网络传输性的综合性能上,编码器1优于编码器2;
单项性能比较:相同测试片源相同编码参数下,网络传输性能比较:以在纹理简单运动缓慢的场景下,编码器网络传输性能比较为例,说明如下:编码器1最大窗口比特率小于编码器2最大窗口比特率,即在此场景和编码参数下,编码器1比编码器2具有更好的网络传输性能;
如图4所示是本发明实施例对同一测试片源,经过不同编码器编码获取不同码流的最大窗口比特率与主观评分所构建条件率失真曲线图的另一性能解读图;
其中两条虚线线是两个编码器的主观条件率失真曲线,实线是单项性能对比辅助线。图中每个点为不同测试场景不同编码参数对应的数据点
单项性能比较:相同场景相同编码参数下,图像主观质量性能比较:以在纹理简单运动缓慢的场景下,图像主观质量性能比为例,说明如下:编码器1的主观评分高于编码器2的主观评分,即在此测试场景下编码器1的视频主观质量优于编码器2。
本发明实施例提出的主观条件率失真性能,一方面用主观评分衡量编码器在视频主观质量上的压缩性能,另一方面将常规的平均比特率替换为最大窗口比特率,表示编码器的传输性能。通过根据最大窗口比特率、主观评分值为横坐标和纵坐标所构建的主观条件率失真曲线图,可获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,也可通过在相同测试片源、相同编码参数的条件下,比较编码器最大窗口比特率,获取编码器的网络传输性能优劣,比较主观评分,获取编码器在图像主观质量上的压缩性能。
实施例二
图5是本发明实施例一种视频编码性能主观评价系统示意图,所述系统包括,编解码模块,平均码率判定模块,最大窗口获取模块、评分模块、评测模块。
编解码模块,用于对同一测试视频源进行编解码并获取编码后的码流与解码序列;
平均码率判定模块,用于根据所述码流判定待评测编码器的实际输出比特率与目标比特率的相对误差是否在特定范围内,其中所述特定范围为:
abs(bitrate t arg et-bitrateactual)/bitrate t arg et*100%≤Thres
其中,Thres为判定阈值,bitratet arg et为目标比特率,bitrateactual为实际输出比特率,Thres为判定阈值,其由所需达到的试验精度确定,abs(bitratet arg et-bitrateactual)为取bitratet arg et-bitrateactual的绝对值。
目标比特率修改模块,用于修改所述目标比特率以使重新编解码后的所述实际输出比特率与所述目标比特率的相对误差在所述特定范围内;
最大窗口获取模块,用于求取时间窗口内最大平均比特率(即最大窗口比特率MWBR);
评分模块,用于获取测试对象的主观评分;其包括模拟主观测试模块、正式主观测试模块、测试评分数据处理模块;
所述模拟主观测试模块用于介绍测试目的、要求,如何评分、熟悉评分流程,稳定评分;
所述正式主观测试模块用于正式主观测试获取评分;
所述测试评分数据处理模块用于处理主观测试的数据处理,其中包括以下模块(如图7所示):
归一化模块,用于将每个测试人员的测试数据作线性归一化处理,将原始范围[-3,3]的主观评分转换成[0,1]的主观评分,消除个体差异;
数据筛选模块,包括测试数据有效性判定模块,用于对测试过程中有效测试数据的筛选;测试人员数据有效性判定模块,用于对测试人员评分有效性的判定,即用于根据Pearson相关性分析、Spearman等级相关性分析、判定阈值对测试人员的评分进行有效性判定;
评分均值计算模块,用于计算有效测试人员评分均值;
反归一化模块,用于将范围[0,1]的平均得分转换成[-3,3]的评分,将得分与评分含义再度对应。
评测模块,用于通过以最大窗口比特率、主观评分值为横坐标和纵坐标构建的主观条件率失真曲线图来获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,并用于获取不同编码技术网络传输性能和视频压缩性能单项性能的比较(不同编码器的对应不同的性能曲线,曲线位置越高,表示该曲线对应的编码技术在图像主观质量的压缩及网络传输上的综合性能就越好;在相同条件下,比较主观评分,分数越高,对应编码技术的视频图像主观质量越好;在相同条件下,比较最大窗口比特率,值越小,对应编码技术的网络传输性能越好)。
图6是图5一种视频编码性能主观评价系统中最大窗口获取模块详细示意图。
其中,最大窗口获取模块包括时间窗确定模块、数据点获取模块、偶然因素消除模块、最大窗口选定模块。所述时间窗确定模块用于根据实际传输中的客户端缓冲时长,确定时间窗;所述数据点获取模块用于计算每个时间窗内的输出平均比特率作为一个数据点(即一个窗口比特率值);所述偶然因素消除模块用于删除窗口比特率最大值,消除偶然因数;最大窗口选定模块用于将剩余窗口比特率序列降序排列,取前若干个窗口比特率的平均值作为最大窗口比特率。
本发明实施例提出的主观条件率失真性能,一方面用主观评分衡量编码器在视频主观质量上的压缩性能,另一方面将常规的平均比特率替换为最大窗口比特率,表示编码器的传输性能。通过根据最大窗口比特率、主观评分值为横坐标和纵坐标所构建的主观条件率失真曲线图,可获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,也可通过在相同测试场景、相同编码参数的条件下,比较编码器最大窗口比特率,获取编码器的网络传输性能优劣,比较主观评分,获取编码器在图像主观质量上的压缩性能。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种视频编码性能主观评价方法,其特征在于,所述方法包括以下步骤:
求取最大窗口比特率;
获取主观评分;
根据最大窗口比特率与主观评分值,构建主观条件率失真曲线图,考察性能,获取比较结果。
2.如权利要求1所述视频编码性能主观评价方法,其特征在于,步骤“求取最大窗口比特率”之前还包括步骤:
判定待评测编码器的实际输出比特率与目标比特率的相对误差在特定范围内。
3.如权利要求1所述视频编码性能主观评价方法,其特征在于,步骤“判定待评测编码器的实际输出比特率与目标比特率的相对误差在特定范围内”之前还包括步骤:
待评测编码器对同一测试视频源进行编解码,获取编码后的码流和解码序列。
4.如权利要求2或3所述的一种视频编码性能主观评价方法,其特征在于,所述特定范围为:
abs(bitrate t arg et-bitrateactual)/bitrate t arg et*100%≤Thres
其中,Thres为判定阈值,bitratet arg et为目标比特率,bitrateactual为实际输出比特率,Thres为判定阈值,abs(bttratet arg et-bitrateactual)为bitratet arg et-bitrateactual的绝对值。
5.如权利要求1所述的视频编码性能主观评价方法,其特征在于,所述求取最大窗口比特率的方法包括:
根据实际传输中的客户端缓冲时长,确定时间窗;
计算每个时间窗内的输出平均比特率作为一个窗口比特率值;
删除窗口比特率最大值,消除偶然因数;
将剩余窗口比特率序列降序排列,取前若干个窗口比特率的平均值作为最大窗口比特率。
6.如权利要求1所述的视频编码性能主观评价方法,其特征在于,所述步骤“根据最大窗口比特率与主观评分值,构建主观条件率失真曲线图,考察性能,获取比较结果”包括:
根据以最大窗口比特率、主观评分值为横坐标和纵坐标所构建的条件率失真曲线图,可获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,或可通过在相同条件下,比较主观评分值,获取编码器在图像主观质量上的压缩性能优劣,或可通过在相同条件下,比较最大窗口比特率,获取编码器网络传输性能优劣。
7.如权利要求1所述的视频编码性能主观评价方法,其特征在于,所述步骤“获取主观评分”包括:
进行模拟主观评价测试熟悉评分流程;
进行正式主观评价测试获取评分;
主观测试评分处理。
8.若权利要求7所述的视频编码性能主观评价方法,其特征在于,所述步骤“主观测试评分处理”包括:
测试数据归一化处理;
进行有效测试数据筛选;
基于有效测试数据计算所有有效测试人员评分均值;
测试数据反归一化处理。
9.若权利要求8所述的视频编码性能主观评价方法,其特征在于,所述步骤“进行有效数据筛选”包括:
对测试过程中有效测试数据的筛选;
对测试人员评分有效性的判定。
10.若权利要求9所述的视频编码性能主观评价方法,其特征在于,所述步骤“对测试人员评分有效性的判定”包括:
Pearson相关性分析;
Spearman等级相关性分析;
确定判定阈值;
判定测试人员评分数据的有效性。
11.一种视频编码性能主观评价系统,其特征在于,所述系统包括:
最大窗口获取模块,用于求取时间窗口内最大平均比特率(即最大窗口比特率MWBR);
评分模块,用于获取测试对象的主观评分;
评测模块,用于通过以最大窗口比特率、主观评分值为横坐标和纵坐标构建的主观条件率失真曲线图来获取不同编码技术在视频压缩性能和对网络传输的适应性能上的综合评价,并用于通过在相同条件下,比较主观评分值,获取编码器在图像主观质量上的压缩性能优劣,并用于通过在相同条件下,比较最大窗口比特率,获取编码器网络传输性能优劣。
12.如权利要求11所述视频编码性能主观评价系统,其特征在于,所述系统还包括:
平均码率判定模块,与所述最大窗口获取模块相连,用于判定待评测编码器的实际输出比特率与目标比特率的相对误差是否在特定范围内;
目标比特率修改模块,与所述平均码率判定模块相连,用于修改所述目标比特率以使重新编解码后输出的所述实际输出比特率与所述目标比特率的相对误差在所述特定范围内。
13.如权利要求11所述视频编码性能主观评价系统,其特征在于,所述系统还包括:
编解码模块,与所述平均码率判定模块和所述目标比特率修改模块相连,用于对同一片源进行编解码并获取编码后的码流与解码序列。
14.如权利要求11所述视频编码性能主观评价系统,其特征在于,所述最大窗口获取模块包括:
时间窗确定模块,用于根据实际传输中的客户端缓冲时长,确定时间窗;
数据点获取模块,用于计算每个时间窗内的输出平均比特率作为一个窗口比特率值;
偶然因素消除模块,用于删除窗口比特率最大值,消除偶然因数;
最大窗口选定模块,用于将剩余窗口比特率序列降序排列,取前若干个窗口比特率的平均值作为最大窗口比特率。
15.如权利要求12所述视频编码性能主观评价系统,其特征在于,所述特定范围为:
abs(bitrate t arg et-bitrateactual)/bitrate t arg et*100%≤Thres
其中,Thres为判定阈值,bitratet arg et为目标比特率,bitrateactual为实际输出比特率,Thres为判定阈值,abs(bitratet arg et-bitrateactual)为取bitratet arg et-bitrateactual的绝对值。
16.如权利要求12所述视频编码性能主观评价系统,其特征在于,所述评分模块包括:
模拟主观测试模块,用于进行模拟测试,熟悉评分流程,稳定评分;
正式主观测试模块,用于正式主观测试获取评分;
测试评分数据处理模块,用于基于有效测试评分数据计算所有有效测试人员评分均值,获取最终的主观评分。
17.如权利要求16所述视频编码性能主观评价系统,其特征在于,所述测试评分数据处理模块包括:
归一化模块,用于将每个测试人员的测试数据作线性归一化处理,将原始范围[-3,3]的主观评分转换成[0,1]的主观评分,消除个体差异;
数据筛选模块,包括测试数据有效性判定模块,用于对测试过程中有效测试数据的筛选,测试人员数据有效性判定模块,用于对测试人员评分有效性的判定;
评分均值计算模块,用于计算有效测试人员评分均值;
反归一化模块,用于将范围[0,1]的平均得分转换成[-3,3]的评分,将得分与评分含义再度对应。
18.如权利要求17所述视频编码性能主观评价系统,其特征在于,所述对测试人员评分有效性的判定具体为:
根据Pearson相关性分析、Spearman等级相关性分析、判定阈值对测试人员的评分进行有效性判定。
CN 201010233014 2010-07-21 2010-07-21 一种视频编码性能主观评价方法及系统 Expired - Fee Related CN101895787B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 201010233014 CN101895787B (zh) 2010-07-21 2010-07-21 一种视频编码性能主观评价方法及系统
PCT/CN2011/076606 WO2012010046A1 (zh) 2010-07-21 2011-06-30 一种视频编码性能测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010233014 CN101895787B (zh) 2010-07-21 2010-07-21 一种视频编码性能主观评价方法及系统

Publications (2)

Publication Number Publication Date
CN101895787A true CN101895787A (zh) 2010-11-24
CN101895787B CN101895787B (zh) 2012-09-12

Family

ID=43104826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010233014 Expired - Fee Related CN101895787B (zh) 2010-07-21 2010-07-21 一种视频编码性能主观评价方法及系统

Country Status (2)

Country Link
CN (1) CN101895787B (zh)
WO (1) WO2012010046A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012010046A1 (zh) * 2010-07-21 2012-01-26 深圳市融创天下科技股份有限公司 一种视频编码性能测试方法及系统
CN102428705A (zh) * 2010-03-18 2012-04-25 松下电器产业株式会社 数据处理装置以及数据处理方法
CN105828069A (zh) * 2016-04-06 2016-08-03 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
CN111953966A (zh) * 2020-08-11 2020-11-17 广州市百果园信息技术有限公司 一种编码测试的方法、装置、服务器和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080025400A1 (en) * 2006-07-31 2008-01-31 Kddi Corporation Objective perceptual video quality evaluation apparatus
CN101151904A (zh) * 2006-05-09 2008-03-26 日本电信电话株式会社 视频品质评估设备、方法和程序
CN101151903A (zh) * 2006-05-09 2008-03-26 日本电信电话株式会社 视频品质评估设备、方法和程序
CN101523916A (zh) * 2006-10-19 2009-09-02 艾利森电话股份有限公司 确定视频质量的方法
CN101616315A (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150903A (zh) * 2007-10-31 2008-03-26 深圳市和而泰电子科技有限公司 一种发光二极管驱动电路及其控制方法
CN101895788B (zh) * 2010-07-21 2013-07-03 深圳市融创天下科技股份有限公司 一种视频编码性能客观评价方法及系统
CN101895787B (zh) * 2010-07-21 2012-09-12 深圳市融创天下科技股份有限公司 一种视频编码性能主观评价方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151904A (zh) * 2006-05-09 2008-03-26 日本电信电话株式会社 视频品质评估设备、方法和程序
CN101151903A (zh) * 2006-05-09 2008-03-26 日本电信电话株式会社 视频品质评估设备、方法和程序
US20080025400A1 (en) * 2006-07-31 2008-01-31 Kddi Corporation Objective perceptual video quality evaluation apparatus
CN101523916A (zh) * 2006-10-19 2009-09-02 艾利森电话股份有限公司 确定视频质量的方法
CN101616315A (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428705A (zh) * 2010-03-18 2012-04-25 松下电器产业株式会社 数据处理装置以及数据处理方法
CN102428705B (zh) * 2010-03-18 2014-12-24 松下电器(美国)知识产权公司 数据处理装置以及数据处理方法
US9113173B2 (en) 2010-03-18 2015-08-18 Panasonic Intellectual Property Corporation Of America Data processing device and data processing method which compresses image data
WO2012010046A1 (zh) * 2010-07-21 2012-01-26 深圳市融创天下科技股份有限公司 一种视频编码性能测试方法及系统
CN105828069A (zh) * 2016-04-06 2016-08-03 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
CN111953966A (zh) * 2020-08-11 2020-11-17 广州市百果园信息技术有限公司 一种编码测试的方法、装置、服务器和存储介质
CN111953966B (zh) * 2020-08-11 2022-06-28 广州市百果园信息技术有限公司 一种编码测试的方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
WO2012010046A1 (zh) 2012-01-26
CN101895787B (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN101783971B (zh) 一种视频质量主观测试方法
CN107027023B (zh) 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN100559881C (zh) 一种基于人工神经网络的视频质量评价方法
Seshadrinathan et al. Study of subjective and objective quality assessment of video
Hassan et al. Structural similarity measure for color images
KR100731358B1 (ko) 화질 평가 방법 및 시스템
CN105100789A (zh) 一种视频质量评价方法
CN100584047C (zh) 面向无线网络的视频质量自动评测系统及其评测方法
CN101695141B (zh) 一种视频质量评估方法和装置
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN105208374A (zh) 一种基于深度学习的无参考图像质量客观评价方法
CN105430383A (zh) 一种视频流媒体业务的体验质量评估方法
CN100512456C (zh) 一种方块效应度量方法和视频质量评估方法
KR20020084172A (ko) 자동 비디오 품질 평가를 위한 스케일링 가능한 객관적매트릭
CN104023232A (zh) 基于层次分析和多元线性回归的移动视频质量评估方法
CN104202594B (zh) 一种基于三维小波变换的视频质量评价方法
CN101146226A (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
CN103152599A (zh) 基于有序回归的移动视频业务用户体验质量评估方法
CN101895787B (zh) 一种视频编码性能主观评价方法及系统
CN105163106A (zh) 一种多重数据处理的视频质量评价系统
CN106375754B (zh) 基于视觉刺激衰减特性的无参考视频质量评估方法
CN111355949B (zh) 音视频多媒体数据库的构建及多媒体主观质量评价方法
CN105049835A (zh) 感知立体图像质量的客观评价方法
Gao et al. A content-based image quality metric
CN101789091A (zh) 视频清晰度自动识别系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SHENZHEN TEMOBI SCIENCE + TECHNOLOGY CO., LTD.

Effective date: 20140805

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140805

Address after: Unit B4 9 building 518057 Guangdong city of Shenzhen province Nanshan District high in the four EVOC Technology Building No. 31

Patentee after: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

Address before: 19, building 18, Changhong technology building, 518057 South twelve Road, South tech Zone, Nanshan District hi tech Zone, Guangdong, Shenzhen

Patentee before: Shenzhen Temobi Science & Tech Development Co.,Ltd.

C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: The central Shenzhen city of Guangdong Province, 518057 Keyuan Road, Nanshan District science and Technology Park No. 15 Science Park Sinovac A Building 1 unit 403, No. 405 unit

Patentee after: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

Address before: Unit B4 9 building 518057 Guangdong city of Shenzhen province Nanshan District high in the four EVOC Technology Building No. 31

Patentee before: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120912

Termination date: 20190721

CF01 Termination of patent right due to non-payment of annual fee