CN103379358A - 评估多媒体质量的方法和装置 - Google Patents

评估多媒体质量的方法和装置 Download PDF

Info

Publication number
CN103379358A
CN103379358A CN2012101201846A CN201210120184A CN103379358A CN 103379358 A CN103379358 A CN 103379358A CN 2012101201846 A CN2012101201846 A CN 2012101201846A CN 201210120184 A CN201210120184 A CN 201210120184A CN 103379358 A CN103379358 A CN 103379358A
Authority
CN
China
Prior art keywords
multimedia
quality
sequence
section
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101201846A
Other languages
English (en)
Other versions
CN103379358B (zh
Inventor
孙李娜
高山
谢清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201210120184.6A priority Critical patent/CN103379358B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to BR112014025773-6A priority patent/BR112014025773B1/pt
Priority to KR1020147028527A priority patent/KR101595875B1/ko
Priority to SG11201405801WA priority patent/SG11201405801WA/en
Priority to EP12874996.7A priority patent/EP2819329B8/en
Priority to PCT/CN2012/081967 priority patent/WO2013159487A1/zh
Priority to JP2015507338A priority patent/JP6010685B2/ja
Publication of CN103379358A publication Critical patent/CN103379358A/zh
Priority to HK14103702.7A priority patent/HK1190845A1/zh
Priority to US14/492,508 priority patent/US20150009406A1/en
Application granted granted Critical
Publication of CN103379358B publication Critical patent/CN103379358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Monitoring And Testing Of Transmission In General (AREA)

Abstract

本发明公开了一种评估多媒体质量的方法和装置。该方法包括:获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量;根据视频的基准质量和音频的基准质量,确定多媒体序列的基准质量;根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定多媒体序列的失真值;根据多媒体序列的基准质量和多媒体序列的失真值,确定多媒体序列的多媒体质量。本发明实施例的评估多媒体质量的方法和装置,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。

Description

评估多媒体质量的方法和装置
技术领域
本发明涉及多媒体领域,并且更具体地,涉及评估多媒体质量的方法和装置。
背景技术
随着网络技术的发展和多媒体新时代的到来,影视点播、网络电视、可视电话等已成为宽带网络的主要业务,并且这些业务也将成为第三代(3G,the 3rd Generation)无线网络的主要业务。各类多媒体处理和通信技术层出不穷,由于多媒体业务数据量大,实时性要求高,并且用户敏感性强,因此多媒体质量评估对于多媒体通信设备制造商和运营商有着非常重要的意义。如果设备商能够提供系统有说服力的多媒体质量评估结果,对于其产品的销售将会有很大推动作用;对于运营商,多媒体质量的评估数据可以用于其业务推广宣传。另外,如果能够开发出自动实时的多媒体质量评估方法,设备商和运营商都可以基于此实现对于多媒体设备进行实时监控,从而有助于问题的定位和故障诊断,以保证用户对多媒体业务的体验需求。
多媒体质量是衡量数字多媒体相对于原始信号失真的一种度量。影响多媒体通信质量的关键因素是视频质量和音频质量以及视频失真程度和音频失真程度。多媒体序列中的视频信号和音频信号要经过对模拟信号的采样、量化、压缩编码、网络传输、解码以及还原等环节,其中在每个环节上都会引入误差和信息失真,导致用户满意度下降。由于音频和视频分别的损伤和失真都会导致多媒体的体验下降,因此如何根据视频质量和音频质量联合得到多媒体质量成为了一个关键问题。
通常的多媒体质量评估方法是在有网络损伤条件下先分别评价多媒体序列中的音频序列质量和视频序列质量,然后用一个具体的多项式公式组合这两个质量来得到多媒体的质量。
在网络无丢包时,音频和视频都有比较平稳的基准质量,人对多媒体的质量感受是直接联合了音频和视频的基准质量;但是,当有丢包时,人会感受到原本平稳的多媒体质量有一个突然的质量下降,即多媒体序列由于丢包而引起的失真,而不是在丢包情况下分别对视频和音频做各自的评价后再进行联合。现有的多媒体质量评估方法无法直接反映出丢包对多媒体序列的影响和多媒体序列的失真,不符合人的主观感受。
发明内容
本发明实施例提供了一种评估多媒体质量的方法和装置,符合人的主观感受,能够准确有效地评估多媒体质量。
一方面,本发明实施例提供了一种评估多媒体质量的方法,该方法包括:获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量;根据视频的基准质量和音频的基准质量,确定多媒体序列的基准质量;根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定多媒体序列的失真值;根据多媒体序列的基准质量和多媒体序列的失真值,确定多媒体序列的多媒体质量。
另一方面,本发明实施例提供了一种评估多媒体质量的方法,该方法包括:将多媒体序列分为N个多媒体段,其中N为正整数且N大于或等于2;评估该N个多媒体段中的每个多媒体段的多媒体质量;根据该N个多媒体段中的每个多媒体段的多媒体质量,确定该多媒体序列的多媒体质量。
再一方面,本发明实施例提供了一种评估多媒体质量的装置,该装置包括:第一获取模块,用于获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量;基准质量确定模块,用于根据第一获取模块获取的视频的基准质量和音频的基准质量,确定多媒体序列的基准质量;失真值确定模块,用于根据第一获取模块获取的视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定多媒体序列的失真值;多媒体质量确定模块,用于根据基准质量确定模块确定的多媒体序列的基准质量和失真值确定模块确定的多媒体序列的失真值,确定多媒体序列的多媒体质量。
再一方面,本发明实施例提供了一种评估多媒体质量的装置,该装置包括:分段模块,用于将多媒体序列分为N个多媒体段,其中N为正整数且N大于或等于2;评估模块,用于评估N个多媒体段中的每个多媒体段的多媒体质量;处理模块,用于根据N个多媒体段中的每个多媒体段的多媒体质量,确定多媒体序列的多媒体质量。
基于上述技术方案,本发明实施例的评估多媒体质量的方法和装置,通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的评估多媒体质量的方法的示意性流程图。
图2是根据本发明实施例的确定多媒体序列的失真值的方法的示意性流程图。
图3是根据本发明实施例的评估多媒体质量的方法的另一示意性流程图。
图4是根据本发明实施例的评估多媒体质量的方法的再一示意性流程图。
图5是根据本发明另一实施例的评估多媒体质量的方法的示意性流程图。
图6是根据本发明实施例的评估多媒体质量的装置的示意性框图。
图7是根据本发明实施例的失真值确定模块的示意性框图。
图8是根据本发明实施例的评估多媒体质量的装置的另一示意性框图。
图9是根据本发明另一实施例的评估多媒体质量的装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
图1示出了根据本发明实施例的评估多媒体质量的方法100的示意性流程图。如图1所示,该方法100包括:
S110,获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量;
S120,根据视频的基准质量和音频的基准质量,确定多媒体序列的基准质量;
S130,根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定多媒体序列的失真值;
S140,根据多媒体序列的基准质量和多媒体序列的失真值,确定多媒体序列的多媒体质量。
人对于多媒体质量的感受是在一个平稳的多媒体基准质量上叠加了失真。多媒体的基准质量描述的是由于多媒体中的视频和音频分别由于各自的编码压缩导致的多媒体的压缩质量。由于丢包或者是多媒体卡顿等因素,人会感受到多媒体序列的失真,失真是相对于基准质量的相对下降程度,即多媒体质量会在一个较平稳的基准质量上有所下降。本发明实施例在获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量后,根据视频的基准质量和音频的基准质量确定多媒体序列的基准质量,根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量确定多媒体序列的失真值,最后再根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量。这样,多媒体序列的失真是被综合理解的,而不是单独对视频和音频理解后的联合。
因此,本发明实施例的评估多媒体质量的方法,通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
在S110中,获取多媒体序列的视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量。视频的基准质量是由于视频编码压缩导致的视频压缩质量,具体可根据不同编码类型、分辨率的视频的编码码率计算得到;音频的基准质量是由于音频编码压缩导致的音频压缩质量,具体可根据不同编码类型、采样频率、声道数等的音频编码码率计算得到。视频的最终质量和音频的最终质量是获取到的多媒体序列的视频和音频分别在经过网络损伤(比如丢包、抖动等)后的最终体验质量,具体可以通过对多媒体序列进行音视频分析计算得到。
在S120中,根据视频的基准质量和音频的基准质量,确定多媒体序列的基准质量。本发明实施例对确定多媒体序列的基准质量的具体方式并不限定。例如,多媒体序列的基准质量Qav′可由下面的等式(1)确定:
Qav′=a1·Qv_coding+a2·Qa_coding+a3·Qv_coding·Qa_coding+a4     (1)
其中,Qv_coding和Qa_coding分别为视频的基准质量和音频的基准质量,a1,a2,a3和a4为与视频空间分辨率及显示模式相关的参数,其值是由数据训练得到,基本均为0到1之间的小数,比如分辨率为(128×96)时,a1=0.207962,a2=0.124365,a3=0.179018,a4=0.5456。
在S130中,根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定多媒体序列的失真值。如图2所示,S130又包括:
S131,根据视频的基准质量和视频的最终质量,确定视频的失真值;
S132,根据音频的基准质量和音频的最终质量,确定音频的失真值;
S133,根据视频的失真值和音频的失真值,确定多媒体序列的失真值。
视频的失真值可以由视频的基准质量减去视频的最终质量得到,音频的失真值可以由音频的基准质量减去音频的最终质量得到。
在S133中,根据视频的失真值和音频的失真值,确定多媒体序列的失真值。具体可通过如下方式得到。
根据视频的基准质量和视频的失真值,确定视频的失真因子。视频的失真因子dv为视频的失真值Dv占视频的基准质量Qv_coding的比例,可选地,可由下面的等式(2)确定:
d v = D v Q v _ coding - - - ( 2 )
应理解,因为视频的失真值Dv为视频的基准质量减去视频的最终质量,因此,可选地,视频的失真因子dv还可以由下面的等式(3)确定:
d v = Q v _ coding - Q v Q v _ coding - - - ( 3 )
根据音频的基准质量和音频的失真值,确定音频的失真因子。音频的失真因子da为音频的失真值Da占音频的基准质量Qa_coding的比例,可选地,可由下面的等式(4)确定:
d a = D a Q a _ coding - - - ( 4 )
同样地,因为音频的失真值Da为音频的基准质量减去音频的最终质量,因此,可选地,音频的失真因子da还可以由下面的等式(5)确定:
d a = Q a _ coding - Q a Q a _ coding - - - ( 5 )
根据视频的失真因子和音频的失真因子,确定多媒体序列的失真因子。多媒体序列的失真因子dav由视频的失真因子dv和音频的失真因子da决定,视频的失真因子dv或音频的失真因子da增大都会使得多媒体序列的失真因子dav增大,其关系可以是线性的也可以是非线性的,也可以是线性与非线性的组合,本发明实施例对由视频的失真因子dv和音频的失真因子da计算多媒体序列的失真因子dav的具体方式并不限定,例如,可以由下面的等式(6)或(7)确定:
d av = a 5 · d v + a 6 · d a 1 + a 5 · d v + a 6 · d a - - - ( 6 )
dav=a5+a6·dv+a7·da  (7)
其中,a5,a6,a7为常数,其值与编码类型和视频分辨率有关,并满足当dv或da增大时dav增大,具体数值可由实验得到。
根据多媒体序列的基准质量和多媒体序列的失真因子,确定多媒体序列的失真值。例如,多媒体序列的失真值Dav可由下面的等式(8)确定:
Dav=(Qav′-Qmin)·dav (8)
其中,Qmin为常数,表示多媒体最低质量。比如,当评分为五分制时,最低质量为1。
在S140中,根据多媒体序列的基准质量和多媒体序列的失真值,确定多媒体序列的多媒体质量。在确定了多媒体序列的基准质量Qav′和多媒体序列的失真值Dav后,多媒体序列的多媒体质量Qav由Qav′和Dav得到,其关系可由下面的等式(9)表示:
Qav=f(Qav′,Dav)            (9)
例如,可以表示为下面的等式(10):
Qav=Qav′-Dav                (10)
公式(9)和(10)表示多媒体序列的多媒体质量是多媒体序列的基准质量叠加了失真后的结果,而人对于多媒体质量的感受正是在一个平稳的多媒体基准质量上叠加了失真。因此,本发明实施例的评估多媒体质量的方法,符合人的认知特性。
这样,本发明实施例的评估多媒体质量的方法,通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
可选地,将等式(1)、(3)、(5)、(6)和(8)代入等式(10)后便可得到多媒体序列的多媒体质量,在这种情况下,多媒体序列的多媒体质量Qav是视频的基准质量Qv_coding、音频的基准质量Qa_coding、视频的最终质量Qv和音频的最终质量Qa的函数。
可选地,对于等式(1),将其各个参数代入并整理,可得到下面的等式(11):
Qav′=a1·(Qv+Dv)+a2·(Qa+Da)+a3·(Qv+Dv)·(Qa+Da)+a4
=a1·Qv+a1·Dv+a2·Qa+a2·Da+a3·(Qv·Qa+Qv·Da+Dv·Qa+Dv·Da)+a4
                                        (11)
=(a1·Qv+a2·Qa+a3·Qv·Qa+a4)+(a1·Dv+a2·Qa+a3·(Qv·Da+Dv·Qa+Dv·Da))
=Q″+f1(Qv,Qa,Dv,Da)
在等式(11)中,Q″表示a1·Qv+a2·Qa+a3·Qv·Qa+a4,即根据视频和音频的最终质量得到的一个质量分数。将a1·Dv+a2·Qa+a3·(Qv·Da+Dv·Qa+Dv·Da)表示成函数f1(Qv,Qa,Dv,Da)的形式,则计算多媒体质量的公式(10)可以表示成下面的等式(12):
Qav=(Q″+f1(Qv,Qa,Dv,Da))-(Q″+f1(Qv,Qa,Dv,Da)-Qmin)·dav(12)
其中,多媒体失真因子dav可以有多种函数表达形式,因此可以表示成f2(Qv,Qa,Dv,Da)的形式,则等式(12)可以展开为下面的等式(13):
Qav=Q″·(1-f2(Qv,Qa,Dv,Da))+
f1(Qv,Qa,Dv,Da)·(1-f2(Qv,Qa,Dv,Da))+Qmin·f2(Qv,Qa,Dv,Da)(13)
=Q″·f3(Qv,Qa,Dv,Da)+f4(Qmin,Qv,Qa,Dv,Da)
用函数f3(Qv,Qa,Dv,Da)来表示1-f2(Qv,Qa,Dv,Da),用函数f4(Qmin,Qv,Qa,Dv,Da)来表示f1(Qv,Qa,Dv,Da)·(1-f2(Qv,Qa,Dv,Da))+Qmin·f2(Qv,Qa,Dv,Da),则多媒体质量的计算方法可以展开成上述另一种表达形式,即多媒体质量Qav是视频的最终质量Qv、音频的最终质量Qa、视频的失真值Dv和音频的失真值Da的函数。
本发明实施例的评估多媒体质量的方法,通过根据多媒体序列的基准质量和失真值确定多媒体序列的多媒体质量,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
当音视频不同步时,多媒体序列的多媒体质量会有可能下降,在这种场景下,需要考虑音视频不同步的问题。因此,如图3所示,本发明实施例的评估多媒体质量的方法100还包括:
S150,获取多媒体序列的音视频不同步影响因子;
S140又包括:
S141,根据多媒体序列的基准质量、多媒体序列的失真值和多媒体序列的音视频不同步影响因子,确定多媒体序列的多媒体质量。
在S150中,获取多媒体序列的音视频不同步影响因子。多媒体序列的音视频不同步影响因子是音视频不同步时间差ΔTsyn的函数,反映音视频不同步对多媒体质量的影响。
在S141中,根据多媒体序列的基准质量、多媒体序列的失真值和多媒体序列的音视频不同步影响因子,确定多媒体序列的多媒体质量。其关系可以表示为下面的等式(14):
Qav=f(Qav′,Dav,f5(ΔTsyn))        (14)
其中,f5(ΔTsyn)为多媒体序列的音视频不同步影响因子,
例如,可选地,多媒体序列的多媒体质量Qav可以由下面的等式(15)确定:
Qav=Qav′-Dav·f5(ΔTsyn)             (15)
其中,f5(ΔTsyn)大于1,并且当|ΔTsyn|越大时,f5(ΔTsyn)越大,使得Qav越小,f5(ΔTsyn)形式不限,可以是线性也可以是非线性的,也可以是线性公式与非线性公式的组合。比如,其具体形式可以表示为下面的等式(16):
f5(ΔTsyn)=b1·|ΔTsyn|+c1(b1>0)或
f5(ΔTsyn)=b1·(|ΔTsyn|)2+c1·|ΔTsyn|+d1(b1>0,c1≥0)或(16)
f 5 ( Δ T syn ) = b 1 | Δ T syn | ( b 1 > 1 )
其中,b1,c1,d1为常数。
可选地,多媒体序列的多媒体质量Qav还可以由下面的等式(17)确定:
Qav=(Qav′-Dav)·f6(ΔTsyn)(17)
其中,f6(ΔTsyn)为多媒体序列的音视频不同步影响因子,其值小于1且大于0,并且当|ΔTsyn|越大时,f6(ΔTsyn)越小,使得Qav越小,f6(ΔTsyn)形式不限,可以是线性也可以是非线性的,也可以是线性公式与非线性公式的组合。比如,其具体形式可以表示为下面的等式(18):
f6(ΔTsyn)=b2·|ΔTsyn|+c2(b2<0)或
f6(ΔTsyn)=b2·(|ΔTsyn|)2+c2·|ΔTsyn|+d2(b2<0,c2≤0)或   (18)
f 6 ( &Delta; T syn ) = b 2 | &Delta; T syn | ( 0 < b 2 < 1 )
其中,b2,c2,d2为常数。
公式(14)、(15)和(17)表示多媒体序列的多媒体质量是多媒体序列的基准质量叠加了失真以及音视频不同步影响后的结果,符合人的认知特性。
因此,本发明实施例的评估多媒体质量的方法,通过根据多媒体序列的基准质量、多媒体序列的失真值和多媒体序列的音视频不同步影响因子确定多媒体质量,符合人的主观感受,从而能够准确有效地评估多媒体质量。
下面结合图4,详细描述本发明实施例的评估多媒体质量的方法。
S410,由视频的基准质量和音频的基准质量计算多媒体序列的基准质量。例如,可以用上述等式(1)。
S420,由视频的基准质量和视频的最终质量计算视频的失真因子。例如,可以用上述等式(3)。
S430,由音频的基准质量和音频的最终质量计算音频的失真因子。例如,可以用上述等式(5)。
S440,由视频的失真因子和音频的失真因子计算多媒体序列的失真因子。例如,可以用上述等式(6)或(7)。
S450,计算多媒体序列的多媒体质量。在没有出现音视频不同步时,由多媒体序列的基准质量和多媒体序列的失真因子计算多媒体序列的多媒体质量,例如,可以用上述等式(8)和(10);在音视频不同步时,由多媒体序列的基准质量、多媒体序列的失真因子和多媒体序列的音视频不同步影响因子计算多媒体序列的多媒体质量,例如,可以用上述等式(8)以及等式(15)或(17)。
因此,本发明实施例的评估多媒体质量的方法,通过根据多媒体序列的基准质量和多媒体序列的失真因子确定多媒体序列的多媒体质量,符合人的主观感受,能够准确有效地评估多媒体质量。
图5示出了根据本发明实施例的评估多媒体质量的方法500的示意性流程图。如图5所示,该方法500包括:
S510,将多媒体序列分为N个多媒体段,其中N为正整数且N大于或等于2;
S520,评估该N个多媒体段中的每个多媒体段的多媒体质量;
S530,根据该N个多媒体段中的每个多媒体段的多媒体质量,确定该多媒体序列的多媒体质量。
对于一个多媒体序列,由于人的短时记忆性,对多媒体质量的理解也是在距当前较短时段里记忆较深。本发明实施例首先将多媒体序列分为多个多媒体段,再分别评估各多媒体段的多媒体质量,然后根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量。
因此,本发明实施例的评估多媒体质量的方法,通过将多媒体序列分段,根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量,符合人的认知特性,能够提高多媒体质量评估的准确性。
在S510中,将多媒体序列分为N个多媒体段。N为正整数,且N大于或等于2,即,将多媒体序列分为至少两个多媒体段。
可选地,可以按照时长将多媒体序列分为N个多媒体段。比如,从多媒体序列的第一帧开始,每L秒时长的多媒体序列被分为一段,L值可根据具体情况进行调整。
可选地,还可以按照多媒体质量、视频质量或音频质量的高低,将多媒体序列分为N个多媒体段。人们容易关注多媒体序列中比较特殊的内容,比如受误码影响的视频画面和失真音频的声音等。因此多媒体分段以低质量的多媒体内容为中心,把整个多媒体序列分成时长大约为L秒的连续多媒体段,L值可根据具体情况进行调整。比如,可以按照如下方式进行分段:
1、从第一帧开始,滑动0.8*L秒的窗口,计算每个窗口内的多媒体质量;
2、选取质量最差的窗口位置确定为一个多媒体段;
3、排除选定的多媒体段,重复步骤1、2得到一个新的多媒体段,新的多媒体段若与已确定的多媒体段相邻,则间隔控制在0-0.4*L秒;
4、重复步骤3对整个多媒体序列进行划分;
5、对多媒体段间隔处的多媒体帧采用平均分配的方式合并到邻近的多媒体段,实现对整个多媒体序列完整分段。
应理解,上述按照多媒体质量进行分段的方式还可以替换为按照视频的质量或音频的质量进行分段,按照视频质量进行分段时,长度单位可以为视频的GOP(Group of Pictures,画面组),即一个或多个GOP长度作为一个多媒体段。
还应理解,对多媒体序列进行分段的方式还可以有其它方式,比如,每段的长度可以不同,又比如,按照多媒体质量进行分段时,可以先选择质量高的多媒体段等等,本发明实施例对将多媒体序列分为N个多媒体段的具体方式不做限定。
在S520中,评估N个多媒体段中的每个多媒体段的多媒体质量。对每个多媒体段可以根据其音频和视频的质量、失真情况联合计算得到该多媒体段的多媒体质量。本发明实施例对评估每个多媒体段的多媒体质量的方式不做限定,具体方式可以采用现有技术,也可以采用上述本发明实施例的评估多媒体质量的方法100,在此不再赘述。
在S530,根据N个多媒体段中的每个多媒体段的多媒体质量,确定多媒体序列的多媒体质量。在评估完N个多媒体段中的每个多媒体段的多媒体质量后,根据N个多媒体段的多媒体质量,得到多媒体序列的多媒体质量。
可选地,可以通过对N个多媒体段的多媒体质量进行加权平均,确定多媒体序列的多媒体质量。可以基于相等的权重值对N个多媒体段的多媒体质量进行加权平均,也可以基于与N个多媒体段中的每个多媒体段的多媒体质量相关的权重值,对N个多媒体段的多媒体质量进行加权平均,比如,多媒体段的多媒体质量越低,权重越高。例如,多媒体序列的质量可以用下面的等式(19)确定:
Q = &Sigma; m &Element; sequence Q av , m &CenterDot; W m &Sigma; m &Element; sequence W m - - - ( 19 )
其中,m表示多媒体序列中第m个多媒体段,Qav,m是第m个多媒体段的多媒体质量,Wm是其权重值,可以是相等的常数,或是针对多媒体质量高低所施加的权重。
由于人的遗忘性,会对最近看到的多媒体段印象深刻,对较早看到的多媒体段记忆较模糊,因此还可以基于与N个多媒体段中的每个多媒体段的时刻相关的权重值,对N个多媒体段的多媒体质量进行加权平均,比如,多媒体段的时刻到当前评分时刻的时间距离越小,权重值越大。例如,多媒体序列的质量可以用下面的等式(20)确定:
Q = &Sigma; m &Element; sequence Q av , m &CenterDot; W t m &Sigma; m &Element; sequence W t m - - - ( 20 )
其中,tm是第m个多媒体段的时刻到当前评分时刻的时间距离,
Figure BDA0000156182940000122
是与该时间距离相关的权重值。
还可以基于与N个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值,对N个多媒体段的多媒体质量进行加权平均。例如,多媒体序列的质量可以用下面的等式(21)确定:
Q = &Sigma; m &Element; sequence Q av , m &CenterDot; W m &CenterDot; W t m &Sigma; m &Element; sequence W m &CenterDot; W t m - - - ( 21 )
其中,Wm是与多媒体质量相关的权重值,
Figure BDA0000156182940000124
是与时间距离相关的权重值,这两个权重值也可以合为一个权重值,它既与多媒体质量相关,也与时间距离相关。
由于人眼容易注意到质量较差的多媒体段,较差的多媒体段可以反映整个多媒体序列的质量,因此,可选地,可以从N个多媒体段中选取多媒体质量最差的K个多媒体段,通过对该K个多媒体段的多媒体质量进行加权平均,确定多媒体序列的多媒体质量,其中,K为正整数并且K大于或等于1且小于N,具体的值可根据实际应用场景进行设置。对该K个多媒体段的多媒体质量进行加权平均的方式可以参照上述对N个多媒体段的多媒体质量进行加权平均的方式,即,可以基于相等的权重值,也可以基于与该K个多媒体段中的每个多媒体段的多媒体质量和/或时刻相关的权重值,对该K个多媒体段的多媒体质量进行加权平均。
可选地,若基于相等的权重值加权平均,多媒体序列的质量可以用下面的等式(22)确定:
Q = &Sigma; k &Element; sequence Q av , k K - - - ( 22 )
其中,k表示多媒体序列中第k个质量最差的多媒体段,Qav,k是多媒体序列中第k个质量最差的多媒体段的多媒体质量。
可选地,若基于与该K个多媒体段中的每个多媒体段的多媒体质量相关的权重值加权平均,多媒体序列的质量可以用下面的等式(23)确定:
Q = &Sigma; k &Element; sequence Q av , k &CenterDot; W k &Sigma; k &Element; sequence W k - - - ( 23 )
其中,Wk是与多媒体质量相关的权重值。
可选地,若基于与该K个多媒体段中的每个多媒体段的时刻相关的权重值加权平均,多媒体序列的质量可以用下面的等式(24)确定:
Q = &Sigma; k &Element; sequence Q av , k &CenterDot; W t k &Sigma; k &Element; sequence W t k - - - ( 24 )
其中,
Figure BDA0000156182940000134
是与时刻相关的权重值。
可选地,若基于与该K个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值加权平均,多媒体序列的质量可以用下面的等式(25)确定:
Q = &Sigma; k &Element; sequence Q av , k &CenterDot; W k &CenterDot; W t k &Sigma; k &Element; sequence W k &CenterDot; W t k - - - ( 25 )
因此,本发明实施例的评估多媒体质量的方法,通过将多媒体序列分段,然后再根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量,符合人的认知特性,能够提高多媒体质量评估的准确性。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上文结合图1至图5,详细描述了根据本发明实施例的评估多媒体质量的方法,下面结合图6至图9,对根据本发明实施例的评估多媒体质量的装置进行描述。
图6示出了根据本发明实施例的评估多媒体质量的装置600的示意性框图。如图6所示,该装置600包括:
第一获取模块610,用于获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量;
基准质量确定模块620,用于根据第一获取模块610获取的视频的基准质量和音频的基准质量,确定多媒体序列的基准质量;
失真值确定模块630,用于根据第一获取模块610获取的视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定多媒体序列的失真值;
多媒体质量确定模块640,用于根据基准质量确定模块620确定的多媒体序列的基准质量和失真值确定模块630确定的多媒体序列的失真值,确定多媒体序列的多媒体质量。
本发明实施例的评估多媒体质量的装置,通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
在本发明实施例中,如图7所示,可选地,该失真值确定模块630包括:
第一确定单元631,用于根据视频的基准质量和视频的最终质量,确定视频的失真值;
第二确定单元632,用于根据音频的基准质量和音频的最终质量,确定音频的失真值;
第三确定单元633,用于根据视频的失真值和音频的失真值,确定多媒体序列的失真值。
在本发明实施例中,可选地,该第三确定单元633包括:
第一确定子单元,用于根据视频的基准质量和视频的失真值,确定所述视频的失真因子;
第二确定子单元,用于根据音频的基准质量和音频的失真值,确定音频的失真因子;
第三确定子单元,用于根据视频的失真因子和音频的失真因子,确定多媒体序列的失真因子;
第四确定子单元,用于根据多媒体序列的基准质量和多媒体序列的失真因子,确定多媒体序列的失真值。
在本发明实施例中,该第三确定子单元还用于根据以下等式确定多媒体序列的失真因子dav
d av = a 5 &CenterDot; d v + a 6 &CenterDot; d a 1 + a 5 &CenterDot; d v + a 6 &CenterDot; d a
dav=a5+a6·dv+a7·da
其中,dv和da分别为视频的失真因子和音频的失真因子,a5、a6和a7为常数。
在本发明实施例中,如图8所示,评估多媒体质量的装置600还包括:
第二获取模块650,用于获取多媒体序列的音视频不同步影响因子。
多媒体质量确定模块640还用于根据多媒体序列的基准质量、多媒体序列的失真值和第二获取模块650获取的多媒体序列的音视频不同步影响因子,确定多媒体序列的多媒体质量。
在本发明实施例中,多媒体质量确定模块640还用于根据以下等式确定多媒体序列的多媒体质量Qav
Qav=Qav′-Dav·f5(ΔTsyn)或
Qav=(Qav′-Dav)·f6(ΔTsyn),
其中,Qav′为多媒体序列的基准质量,Dav为多媒体序列的失真值,f5(ΔTsyn)和f6(ΔTsyn)为多媒体序列的音视频不同步影响因子,ΔTsyn为多媒体序列的音视频不同步时间差,|ΔTsyn|越大时,f5(ΔTsyn)越大,f6(ΔTsyn)越小。
本发明实施例的评估多媒体质量的装置,通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
图9示出了根据本发明实施例的评估多媒体质量的装置900的示意性框图。如图9所示,该装置900包括:
分段模块910,用于将多媒体序列分为N个多媒体段,其中N为正整数且N大于或等于2;
评估模块920,用于评估N个多媒体段中的每个多媒体段的多媒体质量;
处理模块930,用于根据N个多媒体段中的每个多媒体段的多媒体质量,确定多媒体序列的多媒体质量。
本发明实施例的评估多媒体质量的装置,通过将多媒体序列分段,根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量,符合人的认知特性,能够提高多媒体质量评估的准确性。
在本发明实施例中,可选地,该分段模块910包括:
第一分段单元,用于按照时长将多媒体序列分为N个多媒体段。
在本发明实施例中,可选地,该分段模块910包括:
第二分段单元,用于按照多媒体质量、视频质量或音频质量的高低将多媒体序列分为N个多媒体段。
在本发明实施例中,该评估模块920包括:
第一获取单元,用于获取每个多媒体段的视频的基准质量、视频的最终质量、每个多媒体段的音频的基准质量和音频的最终质量;
基准质量确定单元,用于根据视频的基准质量和音频的基准质量,确定每个多媒体段的基准质量;
失真值确定单元,用于根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定每个多媒体段的失真值;
评估单元,用于根据每个多媒体段的基准质量和每个多媒体段的失真值,确定每个多媒体段的多媒体质量。
在本发明实施例中,可选地,该评估模块920还包括:
第二获取单元,用于获取每个多媒体段的音视频不同步影响因子;
评估单元还用于根据每个多媒体段的基准质量、每个多媒体段的失真值和每个多媒体段的音视频不同步影响因子,确定每个多媒体段的多媒体质量。
在本发明实施例中,该处理模块930还用于,通过对N或K个多媒体段的多媒体质量进行加权平均,确定多媒体序列的多媒体质量,其中,该K个多媒体段为N个多媒体段中多媒体质量最差的K个多媒体段,K为正整数并且K大于或等于1且小于N。
在本发明实施例中,可选地,该处理模块930包括:
第一处理单元,用于基于相等的权重值,通过对N或K个多媒体段的多媒体质量进行加权平均,确定多媒体序列的多媒体质量。
在本发明实施例中,可选地,该处理模块930包括:
第二处理单元,用于基于与N或K个多媒体段中的每个多媒体段的多媒体质量相关的权重值,通过对N或K个多媒体段的多媒体质量进行加权平均,确定多媒体序列的多媒体质量。
在本发明实施例中,可选地,该处理模块930包括:
第三处理单元,用于基于与N或K个多媒体段中的每个多媒体段的时刻相关的权重值,通过对N或K个多媒体段的多媒体质量进行加权平均,确定多媒体序列的多媒体质量。
在本发明实施例中,可选地,该处理模块930包括:
第四处理单元,用于基于与N或K个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值,通过对N或K个多媒体段的多媒体质量进行加权平均,确定多媒体序列的多媒体质量。
本发明实施例的评估多媒体质量的装置,通过将多媒体序列分段,根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量,符合人的认知特性,能够提高多媒体质量评估的准确性。
应理解,在本发明实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (24)

1.一种评估多媒体质量的方法,其特征在于,包括:
获取多媒体序列的视频的基准质量、所述视频的最终质量、所述多媒体序列的音频的基准质量和所述音频的最终质量;
根据所述视频的基准质量和所述音频的基准质量,确定所述多媒体序列的基准质量;
根据所述视频的基准质量、所述视频的最终质量、所述音频的基准质量和所述音频的最终质量,确定所述多媒体序列的失真值;
根据所述多媒体序列的基准质量和所述多媒体序列的失真值,确定所述多媒体序列的多媒体质量。
2.根据权利要求1所述的方法,其特征在于,所述根据所述视频的基准质量、所述视频的最终质量、所述音频的基准质量和所述音频的最终质量,确定所述多媒体序列的失真值,包括:
根据所述视频的基准质量和所述视频的最终质量,确定所述视频的失真值;
根据所述音频的基准质量和所述音频的最终质量,确定所述音频的失真值;
根据所述视频的失真值和所述音频的失真值,确定所述多媒体序列的失真值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述视频的失真值和所述音频的失真值,确定所述多媒体序列的失真值,包括:
根据所述视频的基准质量和所述视频的失真值,确定所述视频的失真因子;
根据所述音频的基准质量和所述音频的失真值,确定所述音频的失真因子;
根据所述视频的失真因子和所述音频的失真因子,确定所述多媒体序列的失真因子;
根据所述多媒体序列的基准质量和所述多媒体序列的失真因子,确定所述多媒体序列的失真值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述视频的失真因子和所述音频的失真因子,确定所述多媒体序列的失真因子,包括:
根据以下等式确定所述多媒体序列的失真因子dav
d av = a 5 &CenterDot; d v + a 6 &CenterDot; d a 1 + a 5 &CenterDot; d v + a 6 &CenterDot; d a
dav=a5+a6·dv+a7·da
其中,dv和da分别为所述视频的失真因子和所述音频的失真因子,a5、a6和a7为常数。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
获取所述多媒体序列的音视频不同步影响因子;
所述根据所述多媒体序列的基准质量和所述多媒体序列的失真值,确定所述多媒体序列的多媒体质量,包括:
根据所述多媒体序列的基准质量、所述多媒体序列的失真值和所述多媒体序列的音视频不同步影响因子,确定所述多媒体序列的多媒体质量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述多媒体序列的基准质量、所述多媒体序列的失真值和所述多媒体序列的音视频不同步影响因子,确定所述多媒体序列的多媒体质量,包括:
根据以下等式确定所述多媒体序列的多媒体质量Qav
Qav=Qav′-Dav·f5(ΔTsyn)或
Qav=(Qav′-Dav)·f6(ΔTsyn),
其中,Qav′为所述多媒体序列的基准质量,Dav为所述多媒体序列的失真值,f5(ΔTsyn)和f6(ΔTsyn)为所述多媒体序列的音视频不同步影响因子,ΔTsyn为所述多媒体序列的音视频不同步时间差,|ΔTsyn|越大时,f5(ΔTsyn)越大,f6(ΔTsyn)越小。
7.一种评估多媒体质量的方法,其特征在于,包括:
将多媒体序列分为N个多媒体段,其中N为正整数且N大于或等于2;
评估所述N个多媒体段中的每个多媒体段的多媒体质量;
根据所述N个多媒体段中的每个多媒体段的多媒体质量,确定所述多媒体序列的多媒体质量。
8.根据权利要求7所述的方法,其特征在于,所述评估所述N个多媒体段中的每个多媒体段的多媒体质量,包括:
获取所述每个多媒体段的视频的基准质量、所述视频的最终质量、所述每个多媒体段的音频的基准质量和所述音频的最终质量;
根据所述视频的基准质量和所述音频的基准质量,确定所述每个多媒体段的基准质量;
根据所述视频的基准质量、所述视频的最终质量、所述音频的基准质量和所述音频的最终质量,确定所述每个多媒体段的失真值;
根据所述每个多媒体段的基准质量和所述每个多媒体段的失真值,确定所述每个多媒体段的多媒体质量。
9.根据权利要求8所述的方法,其特征在于,所述评估所述N个多媒体段中的每个多媒体段的多媒体质量,还包括:
获取所述每个多媒体段的音视频不同步影响因子;
所述根据所述每个多媒体段的基准质量和所述每个多媒体段的失真值,确定所述每个多媒体段的多媒体质量,包括:
根据所述每个多媒体段的基准质量、所述每个多媒体段的失真值和所述每个多媒体段的音视频不同步影响因子,确定所述每个多媒体段的多媒体质量。
10.根据权利要求7至9中任一项所述的方法,其特征在于,所述将多媒体序列分为N个多媒体段,包括:
按照时长将所述多媒体序列分为所述N个多媒体段;或
按照多媒体质量、视频质量或音频质量的高低,将所述多媒体序列分为所述N个多媒体段。
11.根据权利要求7至9中任一项所述的方法,其特征在于,所述根据所述N个多媒体段中的每个多媒体段的多媒体质量,确定所述多媒体序列的多媒体质量,包括:
通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量,其中,所述K个多媒体段为所述N个多媒体段中多媒体质量最差的K个多媒体段,K为正整数并且K大于或等于1且小于N。
12.根据权利要求11所述的方法,其特征在于,所述通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量,包括:
基于相等的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量;或
基于与所述N或K个多媒体段中的每个多媒体段的多媒体质量相关的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量;或
基于与所述N或K个多媒体段中的每个多媒体段的时刻相关的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量;或
基于与所述N或K个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量。
13.一种评估多媒体质量的装置,其特征在于,包括:
第一获取模块,用于获取多媒体序列的视频的基准质量、所述视频的最终质量、所述多媒体序列的音频的基准质量和所述音频的最终质量;
基准质量确定模块,用于根据所述第一获取模块获取的所述视频的基准质量和所述音频的基准质量,确定所述多媒体序列的基准质量;
失真值确定模块,用于根据所述第一获取模块获取的所述视频的基准质量、所述视频的最终质量、所述音频的基准质量和所述音频的最终质量,确定所述多媒体序列的失真值;
多媒体质量确定模块,用于根据所述基准质量确定模块确定的所述多媒体序列的基准质量和所述失真值确定模块确定的所述多媒体序列的失真值,确定所述多媒体序列的多媒体质量。
14.根据权利要求13所述的装置,其特征在于,所述失真值确定模块包括:
第一确定单元,用于根据所述视频的基准质量和所述视频的最终质量,确定所述视频的失真值;
第二确定单元,用于根据所述音频的基准质量和所述音频的最终质量,确定所述音频的失真值;
第三确定单元,用于根据所述视频的失真值和所述音频的失真值,确定所述多媒体序列的失真值。
15.根据权利要求14所述的装置,其特征在于,所述第三确定单元包括:
第一确定子单元,用于根据所述视频的基准质量和所述视频的失真值,确定所述视频的失真因子;
第二确定子单元,用于根据所述音频的基准质量和所述音频的失真值,确定所述音频的失真因子;
第三确定子单元,用于根据所述视频的失真因子和所述音频的失真因子,确定所述多媒体序列的失真因子;
第四确定子单元,用于根据所述多媒体序列的基准质量和所述多媒体序列的失真因子,确定所述多媒体序列的失真值。
16.根据权利要求15所述的装置,其特征在于,所述第三确定子单元还用于根据以下等式确定所述多媒体序列的失真因子dav
d av = a 5 &CenterDot; d v + a 6 &CenterDot; d a 1 + a 5 &CenterDot; d v + a 6 &CenterDot; d a
dav=a5+a6·dv+a7·da
其中,dv和da分别为所述视频的失真因子和所述音频的失真因子,a5、a6和a7为常数。
17.根据权利要求13至16中任一项所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取所述多媒体序列的音视频不同步影响因子;
所述多媒体质量确定模块还用于根据所述多媒体序列的基准质量、所述多媒体序列的失真值和所述第二获取模块获取的所述多媒体序列的音视频不同步影响因子,确定所述多媒体序列的多媒体质量。
18.根据权利要求17所述的装置,其特征在于,所述多媒体质量确定模块还用于根据以下等式确定所述多媒体序列的多媒体质量Qav
Qav=Qav′-Dav·f5(ΔTsyn)或
Qav=(Qav′-Dav)·f6(ΔTsyn),
其中,Qav′为所述多媒体序列的基准质量,Dav为所述多媒体序列的失真值,f5(ΔTsyn)和f6(ΔTsyn)为所述多媒体序列的音视频不同步影响因子,ΔTsyn为所述多媒体序列的音视频不同步时间差,|ΔTsyn|越大时,f5(ΔTsyn)越大,f6(ΔTsyn)越小。
19.一种评估多媒体质量的装置,其特征在于,包括:
分段模块,用于将多媒体序列分为N个多媒体段,其中N为正整数且N大于或等于2;
评估模块,用于评估所述N个多媒体段中的每个多媒体段的多媒体质量;
处理模块,用于根据所述N个多媒体段中的每个多媒体段的多媒体质量,确定所述多媒体序列的多媒体质量。
20.根据权利要求19所述的装置,其特征在于,所述评估模块包括:
第一获取单元,用于获取所述每个多媒体段的视频的基准质量、所述视频的最终质量、所述每个多媒体段的音频的基准质量和所述音频的最终质量;
基准质量确定单元,用于根据所述视频的基准质量和所述音频的基准质量,确定所述每个多媒体段的基准质量;
失真值确定单元,用于根据所述视频的基准质量、所述视频的最终质量、所述音频的基准质量和所述音频的最终质量,确定所述每个多媒体段的失真值;
评估单元,用于根据所述每个多媒体段的基准质量和所述每个多媒体段的失真值,确定所述每个多媒体段的多媒体质量。
21.根据权利要求20所述的装置,其特征在于,所述评估模块还包括:
第二获取单元,用于获取所述每个多媒体段的音视频不同步影响因子;
所述评估单元还用于根据所述每个多媒体段的基准质量、所述每个多媒体段的失真值和所述每个多媒体段的音视频不同步影响因子,确定所述每个多媒体段的多媒体质量。
22.根据权利要求19至21中任一项所述的装置,其特征在于,所述分段模块包括:
第一分段单元,用于按照时长将所述多媒体序列分为所述N个多媒体段;或
第二分段单元,用于按照多媒体质量、视频质量或音频质量的高低,将所述多媒体序列分为所述N个多媒体段。
23.根据权利要求19至21中任一项所述的装置,其特征在于,所述处理模块还用于,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量,其中,所述K个多媒体段为所述N个多媒体段中多媒体质量最差的K个多媒体段,K为正整数并且K大于或等于1且小于N。
24.根据权利要求23所述的装置,其特征在于,所述处理模块包括:
第一处理单元,用于基于相等的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量;或
第二处理单元,用于基于与所述N或K个多媒体段中的每个多媒体段的多媒体质量相关的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量;或
第三处理单元,用于基于与所述N或K个多媒体段中的每个多媒体段的时刻相关的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量;或
第四处理单元,用于基于与所述N或K个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值,通过对所述N或K个多媒体段的多媒体质量进行加权平均,确定所述多媒体序列的多媒体质量。
CN201210120184.6A 2012-04-23 2012-04-23 评估多媒体质量的方法和装置 Active CN103379358B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201210120184.6A CN103379358B (zh) 2012-04-23 2012-04-23 评估多媒体质量的方法和装置
KR1020147028527A KR101595875B1 (ko) 2012-04-23 2012-09-26 멀티미디어 품질 평가 방법 및 장치
SG11201405801WA SG11201405801WA (en) 2012-04-23 2012-09-26 Method and apparatus for evaluating multimedia quality
EP12874996.7A EP2819329B8 (en) 2012-04-23 2012-09-26 Method and device for evaluating multimedia quality
BR112014025773-6A BR112014025773B1 (pt) 2012-04-23 2012-09-26 Método e aparelho para avaliar qualidade de multimídia
PCT/CN2012/081967 WO2013159487A1 (zh) 2012-04-23 2012-09-26 评估多媒体质量的方法和装置
JP2015507338A JP6010685B2 (ja) 2012-04-23 2012-09-26 マルチメディア品質を評価する方法及び装置
HK14103702.7A HK1190845A1 (zh) 2012-04-23 2014-04-17 評估多媒體質量的方法和裝置
US14/492,508 US20150009406A1 (en) 2012-04-23 2014-09-22 Method and apparatus for evaluating multimedia quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210120184.6A CN103379358B (zh) 2012-04-23 2012-04-23 评估多媒体质量的方法和装置

Publications (2)

Publication Number Publication Date
CN103379358A true CN103379358A (zh) 2013-10-30
CN103379358B CN103379358B (zh) 2015-03-18

Family

ID=49463842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210120184.6A Active CN103379358B (zh) 2012-04-23 2012-04-23 评估多媒体质量的方法和装置

Country Status (9)

Country Link
US (1) US20150009406A1 (zh)
EP (1) EP2819329B8 (zh)
JP (1) JP6010685B2 (zh)
KR (1) KR101595875B1 (zh)
CN (1) CN103379358B (zh)
BR (1) BR112014025773B1 (zh)
HK (1) HK1190845A1 (zh)
SG (1) SG11201405801WA (zh)
WO (1) WO2013159487A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539943A (zh) * 2012-08-22 2015-04-22 华为技术有限公司 多媒体质量的监控方法和设备
US9402074B2 (en) 2012-08-22 2016-07-26 Huawei Technologies Co., Ltd. Multimedia quality monitoring method, and device
CN105843876A (zh) * 2016-03-18 2016-08-10 合网络技术(北京)有限公司 多媒体资源的质量评估方法和装置
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股(北京)有限公司 全景视频质量判断方法及系统
CN107660124A (zh) * 2015-06-03 2018-02-02 Mjn 美国控股有限责任公司 含有升高的水平的肌醇的营养组合物及其应用
CN108476317A (zh) * 2015-12-16 2018-08-31 日本电信电话株式会社 音频视频质量推测装置、音频视频质量推测方法以及程序
CN108683909A (zh) * 2018-07-12 2018-10-19 北京理工大学 Vr音视频整体用户体验质量评估方法
CN109302603A (zh) * 2017-07-25 2019-02-01 中国移动通信集团北京有限公司 一种视频通话质量评估方法和装置
CN109474486A (zh) * 2018-09-30 2019-03-15 深圳市网心科技有限公司 流媒体数据传输欠速判定方法、系统及装置
CN111314691A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN111479105B (zh) * 2020-03-12 2021-06-04 上海交通大学 一种视频及音频联合质量评价方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769754B (zh) * 2018-05-14 2020-10-13 中国科学院计算技术研究所 一种基于视频回放终端的视频回放方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244289A1 (en) * 2008-03-28 2009-10-01 Deutsche Telekom Ag Audio-visual quality estimation
CN101635846A (zh) * 2008-07-21 2010-01-27 华为技术有限公司 一种视频质量评估方法、系统及装置
CN101790107A (zh) * 2009-01-22 2010-07-28 华为技术有限公司 一种测量视频质量的方法、装置及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050044207A (ko) * 2003-11-07 2005-05-12 엘지전자 주식회사 무선 인터넷 멀티미디어 서비스 품질 측정 방법
KR100541526B1 (ko) * 2004-01-30 2006-01-10 에스케이 텔레콤주식회사 멀티미디어 데이터의 전송품질 측정방법 및 장치
KR100858999B1 (ko) * 2004-10-18 2008-09-18 니폰덴신뎅와 가부시키가이샤 영상품질 객관적 평가장치, 평가방법 및 프로그램
JP4510583B2 (ja) * 2004-10-28 2010-07-28 日本電信電話株式会社 双方向マルチモーダルサービス品質推定装置および方法
CN101068166A (zh) * 2007-05-30 2007-11-07 中兴通讯股份有限公司 一种多媒体终端音频延迟的测定方法
KR20090063406A (ko) * 2007-12-14 2009-06-18 삼성전자주식회사 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법
CN101540896A (zh) * 2008-03-17 2009-09-23 中国移动通信集团公司 一种视频业务质量测试方法、装置及系统
JP4861371B2 (ja) * 2008-06-27 2012-01-25 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
CN101998137B (zh) * 2009-08-21 2016-09-07 华为技术有限公司 视频质量参数获取方法和装置及电子设备
JP5373704B2 (ja) * 2010-06-16 2013-12-18 日本電信電話株式会社 マルチメディア品質推定装置およびマルチメディア品質推定方法
WO2012037515A1 (en) * 2010-09-17 2012-03-22 Xiph. Org. Methods and systems for adaptive time-frequency resolution in digital data coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244289A1 (en) * 2008-03-28 2009-10-01 Deutsche Telekom Ag Audio-visual quality estimation
CN101635846A (zh) * 2008-07-21 2010-01-27 华为技术有限公司 一种视频质量评估方法、系统及装置
CN101790107A (zh) * 2009-01-22 2010-07-28 华为技术有限公司 一种测量视频质量的方法、装置及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116929B2 (en) 2012-08-22 2018-10-30 Huawei Technologies Co., Ltd. Multimedia quality monitoring method, and device
US9402074B2 (en) 2012-08-22 2016-07-26 Huawei Technologies Co., Ltd. Multimedia quality monitoring method, and device
CN104539943B (zh) * 2012-08-22 2017-01-04 华为技术有限公司 多媒体质量的监控方法和设备
CN104539943A (zh) * 2012-08-22 2015-04-22 华为技术有限公司 多媒体质量的监控方法和设备
CN107660124A (zh) * 2015-06-03 2018-02-02 Mjn 美国控股有限责任公司 含有升高的水平的肌醇的营养组合物及其应用
CN108476317A (zh) * 2015-12-16 2018-08-31 日本电信电话株式会社 音频视频质量推测装置、音频视频质量推测方法以及程序
CN108476317B (zh) * 2015-12-16 2021-07-09 日本电信电话株式会社 音频视频质量推测装置、音频视频质量推测方法以及程序
CN105843876A (zh) * 2016-03-18 2016-08-10 合网络技术(北京)有限公司 多媒体资源的质量评估方法和装置
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股(北京)有限公司 全景视频质量判断方法及系统
CN109302603A (zh) * 2017-07-25 2019-02-01 中国移动通信集团北京有限公司 一种视频通话质量评估方法和装置
CN108683909B (zh) * 2018-07-12 2020-07-07 北京理工大学 Vr音视频整体用户体验质量评估方法
CN108683909A (zh) * 2018-07-12 2018-10-19 北京理工大学 Vr音视频整体用户体验质量评估方法
CN109474486A (zh) * 2018-09-30 2019-03-15 深圳市网心科技有限公司 流媒体数据传输欠速判定方法、系统及装置
CN111314691A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN111314691B (zh) * 2018-12-11 2022-09-16 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN111479105B (zh) * 2020-03-12 2021-06-04 上海交通大学 一种视频及音频联合质量评价方法和装置

Also Published As

Publication number Publication date
EP2819329B8 (en) 2018-04-18
BR112014025773A8 (pt) 2021-06-22
EP2819329A1 (en) 2014-12-31
JP2015520548A (ja) 2015-07-16
HK1190845A1 (zh) 2014-07-11
EP2819329B1 (en) 2017-11-15
JP6010685B2 (ja) 2016-10-19
KR20140135240A (ko) 2014-11-25
KR101595875B1 (ko) 2016-02-19
US20150009406A1 (en) 2015-01-08
BR112014025773A2 (pt) 2017-06-20
EP2819329A4 (en) 2015-06-17
BR112014025773B1 (pt) 2022-06-07
CN103379358B (zh) 2015-03-18
WO2013159487A1 (zh) 2013-10-31
SG11201405801WA (en) 2014-10-30

Similar Documents

Publication Publication Date Title
CN103379358B (zh) 评估多媒体质量的方法和装置
US20090225170A1 (en) Video Quality Estimation Apparatus, Method, and Program
CN102740108B (zh) 一种视频数据质量评估方法和装置
US7965203B2 (en) Video quality estimation apparatus, method, and program
CN109740499A (zh) 视频分割方法、视频动作识别方法、装置、设备及介质
CN101998137B (zh) 视频质量参数获取方法和装置及电子设备
US20100316131A1 (en) Macroblock level no-reference objective quality estimation of video
US8243143B2 (en) Method and apparatus for generation of a video quality parameter
CN103458264B (zh) 一种媒体质量的评估方法及装置
CN105430383A (zh) 一种视频流媒体业务的体验质量评估方法
CN102137271A (zh) 一种图像质量评价方法及装置
CN103379360A (zh) 一种视频质量评估方法和装置
Shanableh Prediction of structural similarity index of compressed video at a macroblock level
CN103428523B (zh) 评估视频质量的方法和装置
Rehman et al. Perceptual experience of time-varying video quality
CN110248195B (zh) 用于输出信息的方法和装置
CN108810522B (zh) 一种流媒体数据的评估方法及装置
CN105550334A (zh) 一种视频推荐方法及装置
CN102572501A (zh) 考虑网络性能及视频本身特征的视频质量评估方法及装置
CN110070304B (zh) 一种大数据资产质量评估方法
CN101895787B (zh) 一种视频编码性能主观评价方法及系统
CN106412567A (zh) 用于确定视频清晰度的方法及系统
KR20140101745A (ko) 다수 아티팩트를 고려한 비디오 품질 측정
CN103339951A (zh) 根据丢帧图案测量视频质量的方法和装置
KR102053594B1 (ko) 시뮬레이션을 이용한 순간전압강하 발생빈도 산출 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1190845

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1190845

Country of ref document: HK