CN100588271C - 基于分组度量和图像度量两者测量视频质量的系统和方法 - Google Patents

基于分组度量和图像度量两者测量视频质量的系统和方法 Download PDF

Info

Publication number
CN100588271C
CN100588271C CN200610109545A CN200610109545A CN100588271C CN 100588271 C CN100588271 C CN 100588271C CN 200610109545 A CN200610109545 A CN 200610109545A CN 200610109545 A CN200610109545 A CN 200610109545A CN 100588271 C CN100588271 C CN 100588271C
Authority
CN
China
Prior art keywords
vqm
module
video
image
neural net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200610109545A
Other languages
English (en)
Other versions
CN101123737A (zh
Inventor
张春宏
马新宇
张国松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Only Yahweh Communication Technology Co Ltd
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Priority to CN200610109545A priority Critical patent/CN100588271C/zh
Priority to US11/707,513 priority patent/US7936916B2/en
Publication of CN101123737A publication Critical patent/CN101123737A/zh
Application granted granted Critical
Publication of CN100588271C publication Critical patent/CN100588271C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明提供了一种用于视频流的视频质量测量(VQM)系统。所述系统包括神经网络VQM模块,该神经网络VQM模块的体系结构被构建为基于视频流的图像度量和分组度量两者来计算视频质量度量。该VQM系统还包括图像度量测量模块,其接收视频流并计算该视频流的图像度量。该VQM系统还包括分组度量测量模块,其获得关于视频流的分组级别特性的信息,以计算分组度量。计算出的图像度量和分组度量被输入所述神经网络VQM模块,以计算视频质量度量。该VQM系统还包括VQM测试台,用于确定和验证神经网络VQM模块的体系结构。此外,本发明还提供了基于图像度量和分组度量两者执行的用于视频流的视频质量测量(VQM)方法。

Description

基于分组度量和图像度量两者测量视频质量的系统和方法
技术领域
本发明的技术领域涉及视频质量测量(VQM),具体而言,涉及用于通过组合运用分组度量和图像度量两者来实现无参考在线服务中VQM的系统和方法。
背景技术
由于视频服务(例如视频蜂窝电话、视频会议、基于需求视频、因特网协议电视(IPTV)和远程学习)被广泛应用于分组网络(例如下一代网络(NGN)、三重播放网络和第3代网络),因此在实时测量通过分组网络传送的服务中视频质量方面存在极大并且迫切的需求。
现有两种VQM方法,即主观方法和客观方法。主观方法基于人类主体在已定义的受控条件下所执行的评估。主观方法成本很高并且耗时。另外,主观方法的过程无法自动化。
客观方法采用给定的算术、物理或心理模型评估视频质量。另外,客观方法的执行可以参考或不参考原始视频图像。因此,客观方法可被划分为三类:全参考(FR)方法、简化参考(RF)方法或无参考(NR)方法。FR方法和RF方法都需要参考关于原始视频(即从发送端实际发送的视频)的信息,因此无法被用于在线服务中VQM。NR方法无需参考原始视频的信息。相反,NR方法只关注解码后的视频(即在接收端接收并解码后的视频)并且仅使用观察到的关于解码后视频的信息来评估视频质量。这使得NR方法适合于真实网络环境中的在线服务中VQM。
NRVQM方法一般被分成两类,即基于图像度量的NRVQM方法和基于分组度量的NRVQM方法。
基于图像度量的NRVQM方法通过分析最终用户接收到的视频图像的图像特征来评估视频质量,所述图像特征例如是急动失真、块失真、模糊失真以及空间信息和时间信息。但是,基于图像度量的NRVQM方法的主要缺点在于它的计算复杂度非常高,从而使它无法适用于实时应用,尤其是无法适用于其计算资源非常受限的移动设备。此外,另一缺点是基于图像度量的NRVQM方法无法应用于网络排查。
基于分组度量的NRVQM方法是通过测量视频流的分组级别特性来评价视频质量的,分组级别特性例如是抖动、延迟和分组丢失。这些基于分组度量的NRVQM方法的主要缺点在于它们无法与人类感觉很好地关联起来。虽然已经提出了某些改进方法来克服上述问题,但是这些方法仍然无法捕获由源引起的视频毁损,而这种情况在用于视频蜂窝电话和视频会议的应用中是非常典型而且常见的。
因此,需要一种在不具有上述缺陷的NRVQM方法和系统来实时测量视频质量。
发明内容
一种用于视频流的视频质量测量(VQM)系统包括神经网络VQM模块,该神经网络VQM模块的体系结构被构建为基于视频流的图像度量和分组度量两者来计算视频质量度量。该VQM系统还包括图像度量测量模块,其接收视频流并计算该视频流的图像度量。该VQM系统还包括分组度量测量模块,其获得关于视频流的分组级别特性的信息,以计算分组度量。计算出的图像度量和分组度量被输入所述神经网络VQM模块,以计算视频质量度量。该VQM系统还包括VQM测试台,用于确定和验证神经网络VQM模块的体系结构。
此外,一种基于图像度量和分组度量两者的视频质量测量(VQM)方法包括确定和验证用于计算视频流的视频质量度量的神经网络VQM模块的体系结构的步骤。该VQM方法还包括计算接收到的视频流的图像度量和分组度量并将该图像度量和分组度量输入上述神经网络VQM模块,以计算视频质量度量。
附图说明
当结合附图阅读以下描述时,可以更全面地理解本发明的前述和其它特征,在附图中:
图1示出根据本发明一个实施例的VQM系统的框图,该VQM系统利用分组度量和图像度量两者来计算视频质量度量;
图2是示出图1所示神经网络VQM模块的体系结构模型的一个示例的结构图;
图3是由图1的VQM系统100执行的基于图像度量和分组度量两者的VQM方法的流程图;
图4示出了如图1所示的用于仿真各种网络状况的VQM测试台的框图;
图5示出如何生成用在图4的VQM测试台中的失真视频质量数据库;
图6示出利用图4所示VQM测试台确定和验证神经网络VQM模块的体系结构模型的过程的一个示例;
图7示出图1所示分组度量测量模块的一个示例的框图;
图8是示出MPEG4图像帧的传输协议栈的图;
图9示出图1所示图像度量测量模块的一个示例的框图;以及
图10是图9所示采样单元的采样过程的一个示例的示意图。
具体实施方式
根据本发明的实施例并且如图1所示,VQM系统100用于基于分组度量和图像度量两者来实时评估视频质量。VQM系统100利用神经网络VQM模块103来基于分组度量和图像度量产生视频质量度量。VQM系统100能够实现NR在线服务中VQM,并且其与人类感觉具有很好的关联性。同时,其计算复杂度很低,从而使其能够应用于计算资源在大多数情况下受限的无线VQM应用或便携式装备,并能够应用于同时提供多个视频流信道的有线VQM应用。此外,该系统还被应用于网络排查。
以下以MPEG4格式视频流作为示例给出了根据本发明一个实施例的VQM系统100的详细描述。但是,应该注意,该VQM系统也可用于其它视频格式,例如MPEG2、H.263、H.264/AVC、VC-1等等。VQM系统的结构和操作理论
下面,将参考图1来描述根据本发明一个实施例的VQM系统100,以及示出VQM系统100的操作的图2的流程图。在图1中,除了VQM系统100之外,还示出了接收客户端105,以辅助对VQM系统100从接收端收集参数的过程的描述。VQM系统100包括图像度量测量模块101、分组度量测量模块102和神经网络VQM模块103。
在VQM系统100中,图像度量测量模块101从接收客户端105的视频解码器1052获取视频流并计算图像度量,例如图像差分度量image。本领域公知的任何用于测量图像度量的方法都可被用于图像度量测量模块101。这些方法中的一个示例将随后参考图9和图10来更详细描述。分组度量测量模块102负责获取关于RTP(实时协议)层中分组统计量的信息,以生成分组度量。例如,对于MPEG4视频流而言,分组度量是一个分组度量向量PM=<IR,RLR_I,PLR_P>T,其中IR、PLR_I和PLR_P分别代表I帧速率、I帧分组丢失率和P帧分组丢失率。对于其它视频格式,可以采用其它分组统计参数作为分组度量PM。用于测量分组度量PM=<IR,PLR_I,PLR_P>T的方法的一个示例将随后参考图7和图8来描述。图像度量测量模块101和分组度量测量模块102的输出,即图像差分度量image和分组度量向量PM=<IR,PLR_I,PLR_P>T,将被用作神经网络VQM模块103的输入。最终,神经网络VQM模块103将基于这些输入计算出视频质量度量q。
图2示出了神经网络VQM模块103的体系结构模型的一个示例,该神经网络模块是典型的多层反向传播神经网络。在该神经网络中,输入P1是一个4×1向量,即P1=<IR,PLR_I,PLR_P,image>T,如上所述,其中各项代表I帧速率、I帧分组丢失率、P帧分组丢失率和图像差分度量。输出a2对应于图1中的视频质量度量q。图2所示用于实现VQM的神经网络的体系结构仅仅出于举例说明的目的。在其它实施例中,可以采用更复杂的神经网络,以便应用到具有更多计算资源并要求更高测量精确度的设备。在一个实施例中,神经网络VQM模块103的体系结构模型是利用VQM测试台110来确定和验证的,并且随后将描述确定和验证的过程。
接下来,将参考图3来描述利用VQM系统100执行的基于图像度量和分组度量两者的VQM方法300。
在图3的流程图中,过程开始于构建合适的神经网络VQM模块103(步骤301)以评估视频质量。在一个实施例中,神经网络VQM模块103的体系结构模型是通过使用由VQM测试台110生成的一系列训练样本训练由用户选出的多个神经网络候选来确定的,该确定过程随后将更详细描述。但是,应该注意,本发明并不局限于该特定实施例,任何用于构建合适的神经网络VQM模块103的方法都可被应用。
在构建了合适的神经网络VQM模块103之后,该构建出的神经网络VQM模块103可以被验证和测试以评价其精确性和适应性(步骤302),该步骤是一个可选步骤。在一个实施例中,该验证和测试步骤也是由VQM测试台110执行,如随后将描述的。但是,用于验证和测试神经网络VQM模型的方法并不局限于该特定实施例。
接下来,VQM系统100的图像度量测量模块101和分组度量测量模块102从接收客户端105收集参数(步骤303),包括来自视频解码器1052的视频流和RTP层1053中的分组统计信息。然后,图像度量测量模块101和分组度量测量模块102分别生成图像度量image和分组度量PM
(步骤304和305)。用于生成图像度量image和分组度量PM的详细过程随后将描述。在步骤306中,生成的图像度量image和分组度量PM被输入到神经网络VQM模块103,并在其中计算出视频质量度量q。
接下来,参考图4到图10,将更详细地描述VQM测试台110、图像度量测量模块101和分组度量测量模块102的结构以及它们的功能与操作。但是,应该注意,这些模块的结构和操作并不局限于这些特定实施例。
VQM测试台
如图3所示,由于本发明的一个实施例利用神经网络VQM模块评估视频质量,因此我们首先需要确定该神经网络的体系结构。在一个实施例中,首先由用户选出多个神经网络候选。然后,VQM测试台110生成一个典型训练序列S=<s0,s1,s2,...,sn>来训练这些神经网络候选,从而选出一个最佳神经网络作为神经网络VQM模块103。一个训练样本si=Ii,Oi>(0≤i≤n)包括输入向量Ii=<IRi,PLR_Ii,PLR_Pi,imagei>T和相应的输出Oi。就是告诉神经网络其体系结构模型应该是这样的:如果模块的输入是Ii,则应该生成输出Oi。在该实施例中,输入Ii是一个4×1向量,其中元素分别代表I帧速率、I帧分组丢失率、P帧分组丢失率和图像差分度量。而输出Oi代表被评价视频的视频质量度量。因此,为了选择用于VQM的最佳神经网络,需要首先生成多个训练样本si=<Ii,Oi>(0≤i≤n)。在该实施例中,VQM测试台110被用于仿真网络状况以及生成失真视频d,该失真视频d进而被用于构建训练样本si=<Ii,Oi>(0≤i≤n),随后将对此进行详细描述。此外,除了生成训练样本之外,VQM测试台110还可用于验证和测试所选神经网络VQM模块103的体系结构模型。
在一个实施例中,VQM测试台110具有两种工作模式,即失真视频生成模式和模型验证模式。
在图4中,处于失真视频生成模式的VQM测试台110的结构被示出。该VQM测试台110包括视频流服务器401、流操纵器402、视频流客户端403、失真配置工具404、原始视频数据库405、失真参数数据库406和失真视频数据库407。参考图4,用于生成训练样本si=<Ii,Oi>(0≤i≤n)的过程将被描述。
首先,VQM测试台110中的失真参数数据库406被构建,用以存储输入向量Ii的一部分,即<IRi,PLR_Ii,PLR_Pi>T。这些初始参数是通过实际网络测量预先确定的。用于确定这些网络参数的方法是本领域技术人员公知的,因此这里省略其详细描述。
随后,失真配置工具404基于失真参数数据库406指定失真配置并使用该失真配置来配置流操纵器402。然后,从原始视频数据库405选出原始视频片断(clip)v,并将传送该片断的流分组发送到流操纵器402。流操纵器402根据失真配置工具404指定的失真配置仿真一种网络环境,使其接收的分组失真,并将失真的流分组输出到视频流客户端403。视频流客户端403将失真视频片断d存储在失真视频数据库407中。然后,在一个实施例中,可以使用一种离线的FR(全参考)VQM方法来评估失真视频质量,即输出Oi,这是通过参考原始视频片断v和失真视频片断d两者来实现的。
图5示出用于使用FRVQM模块501来评估失真视频质量的过程的一个示例。所获得的失真视频质量Oi可被存储在失真视频质量数据库502中。本领域技术人员公知的任何FRVQM方法可被用于FRVQM模块501,例如峰值信噪比(PSNR)方法、ITS模型、基于结构失真的方法等等。应该注意,任意种类的VQM方法都可被用于评估失真视频质量,无论是客观方法还是主观方法。但是,客观方法可以节省成本和时间。此外,FRVQM方法可以提供准确而精细的视频质量评估。由于该处理是离线的,因此可以使用更加高级和复杂的NRVQM方法,即使这些方法的计算复杂性非常高也可使用。
最后,失真视频片断d被发送到图像度量测量模块101来计算图像差分度量imagei,其作为输入向量Ii的另一部分。图像度量测量模块101可以利用现有的NRVQM方法之一来生成图像差分度量imagei。这些NRVQM方法中的一个示例随后将参考图9和图10来描述。应该注意,这里也可以使用其它用于生成图像度量的NRVQM方法。然后,我们将原始参数向量<IRi,PLR_Ii,PLR_Pi>T与图像差分度量imagei组合在一起,从而构建出完整的输入向量Ii。从而,我们得到了一个完整的训练样本si=<Ii,Oi>。
以同样方式生成所有训练样本si=<Ii,Oi>(0≤i≤n),然后这些训练样本被用于训练神经网络候选以获得一个最佳的神经网络VQM模块103。利用典型的训练序列训练神经网络的方法是本领域公知的,因此这里省略。
如图3中的步骤302所述,在构建了神经网络VQM模块103之后,VQM测试台110可被用来验证和测试其精确性和适应性。此时,VQM测试台110处于模型验证模式中。处于模型验证模式的VQM测试台110的结构如图6所示。
如图6所示,在模型验证模式中,典型的验证过程由三个阶段构成:会话建立阶段、流分组传输阶段和视频质量测量与反馈阶段。在第一阶段,视频流客户端403向视频流服务器401发送会话初始请求。服务器401从请求中获得客户端信息,从而初始化会话并将会话初始回复传递到客户端403。此时,服务器401将初始化流操纵器402。在第二阶段,服务器401将读取原始视频片断v,对片断v中的流分组打包并将其传递到流操纵器402。流操纵器402可以根据用户指定的不同IP毁损(例如分组丢失率、抖动和延迟)来仿真各种网络状况。然后,流操纵器402使接收的流分组失真并将失真的流分组发送到客户端403。在第三阶段,客户端403记录失真视频片断d,并基于已生成的神经网络VQM模块103来计算失真视频质量度量q。失真视频质量度量q被反馈到视频流服务器401。
在完成该过程之后,图5所述FRVQM方法被用来计算失真视频片断d的视频质量度量q′。然后,视频质量度量q和q′被用于校准分析过程,以评价所构建的神经网络VQM模块的精确性和适应性。
分组度量测量模块
图7示出了图1所示VQM系统100的分组度量测量模块102的一个示例的框图。分组度量测量模块102包括视频流帧类型确定单元701、IR计算单元702、PLR_I计算单元703和PLR_P计算单元704。分组度量测量模块102例如接收多个MPEG4帧(其中每个MPEG4帧包含若干RTP分组),或者关于RTP层分组统计量的信息以及输出分组度量PM。在该示例中,分组度量PM是一个向量PM=<IR,PLR_I,PLR_P>T,其中IR、PLR_I和PLR_P分别代表MPEG4视频流的I帧速率、I帧分组丢失率和P帧分组丢失率。但是,应该注意,本发明并不局限于该特定示例,其它分组统计量也可被用来构建分组度量PM。
在图8中,示出了用于描绘MPEG4图像帧的传输协议栈的图。利用分组度量测量模块102,首先接收多个MPEG4帧。假设考虑每秒钟的RTP分组统计量,并且如本领域技术人员公知的,每秒钟的MPEG4帧数目为25或30,例如分组度量测量模块102首先接收30个MPEG4帧。这30个帧被逐个发送到视频流帧类型确定单元701以确定它们的类型。如本领域技术人员所知,MPEG4帧被分成I帧、P帧、B帧和D帧。在每个MPEG4帧头部,存在某些代表MPEG4标准中帧类型的字段。因此,当接收到特定帧fi时,视频流帧类型确定单元701根据这些字段确定该帧(I帧、P帧等等)的类型。
在确定了帧fi的类型之后,过程前进至确定各种RTP分组统计量。具体而言,如果帧fi被确定为I帧,则IR计算单元702中的用于对I帧数目计数的计数器(未示出)加1。然后,可以获得1秒的I帧速率IR。同时,帧fi被发送到PLR_I计算单元703,以计算该帧的分组丢失率。在每个RTP固定头部,存在被称为“序列号”的字段,其被用于检测分组丢失和存储分组序列。并且有一个标记位(M)被用于指示传送一帧数据的最后一个分组。对于帧fi,我们可以获得其第一个和最后一个序列号,分别记作si min和si max。当接收到该帧的一个新分组时,PLR_I计算单元703中的分组计数器(未示出)加1,就是说,对于帧fi,ci=ci+1。当帧fi的最后一个分组(其标记位(M)被设置为1)被接收时,我们可以计算用于在网络上发送该帧fi的分组总数ni=si max-si min+1,丢失分组数li=ni-ci以及分组丢失率ri=li/ni。对于一秒钟的所有I帧,PLR_I计算单元703计算出总的分组丢失率,作为I帧分组丢失率PLR_I。另一方面,如果帧fi被确定为P帧,则将帧fi发送到PLR_P计算单元704来计算该帧的分组丢失率。计算P帧分组丢失率的过程与计算I帧分组丢失率的过程相同。然后,PLR_P计算单元704计算出一秒钟的所有P帧的总分组丢失率作为P帧分组丢失率PLR_P。然后,可以获得分组度量向量PM=<IR,PLR_I,PLR_P>T。如上所述,用于获得分组度量的过程并不局限于特定实施例,其它适当的方法可被利用。
图像度量测量模块
在一个实施例中,用于计算图像度量image的图像度量测量模块101的一个示例如图9所示。该图像度量测量模块101包括用于截取多个相邻图像帧的截取单元901、用于在每个图像帧中采样多个像素块的采样单元902、用于检测每个被采样的块在截取的帧期间的变化以确定经历了图像质量下降的块的数目的检测单元903,以及用于生成图像度量image的图像度量生成器904。与处理图像帧的整个图像区域以获得或计算图像度量的方法不同,该图像度量测量模块101中的采样单元902仅采样图像帧中的某些块。例如,可以在图像帧中采样构成矩阵的M×N个块,如图10所示。因此,该图像度量测量模块和方法提供了精确性和速度之间的折衷。在该实施例中,图像度量image被测量为image=P/M×N,其中P是经历了图像质量下降的块的数目。但是,应该注意,本发明并不局限于该特定实施例,任意用于测量视频流的图像度量的系统和方法都可被使用。
如上所述,在分组度量测量模块102测量出分组度量PM并且图像度量测量模块101测量出图像度量image之后,分组度量PM和图像度量image被作为输入向量P1发送到神经网络VQM模块103以获得视频质量度量q。
根据本发明的一个实施例的VQM系统和方法将分组度量和图像度量组合在一起来实时评估服务中视频质量,从而使其能够克服仅使用图像度量或分组度量的VQM方法的缺陷。根据本发明实施例的VQM系统和方法实现了与人类感觉相关联的NR在线服务中VQM。同时,根据本发明实施例的VQM系统和方法具有最小的计算复杂性,从而使其可被用于无线VQM应用或便携式装备。此外,它们还可用于网络排查。
在不脱离本发明的精神或本质特性的情况下,可以用其他特定形式体现本发明。因此,这里的实施例在所有方面都应看作是示例性的,而非限制性的,并且本发明的范围由所附权利要求书指定。因此,落入权利要求书及其等同物的范围内的所有修改都被视为包含在其中。

Claims (15)

1.一种用于视频流的视频质量测量VQM系统,包括:
图像度量测量模块,用于测量所述视频流的图像度量;
分组度量测量模块,用于测量所述视频流的分组度量;
耦合到所述图像度量测量模块和所述分组度量测量模块的神经网络VQM模块,用于基于所述图像度量和所述分组度量来计算所述视频流的视频质量度量;以及
耦合到所述神经网络VQM模块的VQM测试台,用于确定和验证所述神经网络VQM模块的体系结构,
其中所述VQM测试台包括:
视频流服务器,用于发送原始视频流;
流操纵器,用于根据来自失真参数数据库的失真参数仿真网络环境并使所述原始视频流失真,以生成失真视频流;
视频流客户端,用于接收所述失真视频流;
失真参数数据库,用于存储通过先前的网络测量获得的失真参数;以及
VQM模块,用于将所述原始视频流和所述失真视频流相比较,以生成参考视频质量度量,
其中由所述失真参数数据库中的失真参数和所述参考视频质量度量构成的一系列训练样本被用于训练多个神经网络候选,以确定所述神经网络VQM模块的体系结构模型,并且
通过比较所述VQM模块生成的参考视频质量度量与所确定的神经网络VQM模块的输出来执行校准分析,从而验证所述神经网络VQM模块的精确性和适应性。
2.如权利要求1所述的系统,其中所述视频流是MPEG4视频流,并且所述分组度量涉及I帧分组丢失率、P帧分组丢失率和I帧速率。
3.如权利要求2所述的系统,其中所述分组度量测量模块还包括:
帧类型确定单元,用于确定接收到的MPEG4图像帧的类型;
I帧分组丢失率计算单元,用于计算所述I帧分组丢失率;
P帧分组丢失率计算单元,用于计算所述P帧分组丢失率;以及
I帧速率计算单元,用于计算所述I帧速率。
4.如权利要求1所述的系统,其中所述图像度量测量模块还包括:
截取单元,用于从所述视频流中截取多个相邻图像帧;
采样单元,用于在每个截取的图像帧中采样多个像素块;
检测单元,用于检测每个被采样块在截取的帧期间的变化以确定经历了图像质量下降的块的数目;以及
图像度量生成器用于基于所述检测单元的结果来生成所述图像度量。
5.如权利要求1所述的系统,其中所述VQM模块使用主观VQM方法来生成所述参考视频质量度量。
6.如权利要求1所述的系统,其中所述VQM模块使用全参考客观VQM方法来离线地生成所述参考视频质量度量。
7.如权利要求1所述的系统,其中所述图像度量测量模块使用无参考VQM方法来生成所述图像度量。
8.一种用于视频流的视频质量测量VQM方法,包括:
构建神经网络VQM模块;
计算所述视频流的图像度量;
计算所述视频流的分组度量;以及
利用所述神经网络VQM模块来基于所述图像度量和所述分组度量计算视频质量度量,
其中所述构建神经网络VQM模块的步骤包括:
选择多个神经网络候选;
利用一VQM测试台生成一系列训练样本;以及
利用所述训练样本训练所述神经网络候选,以选出最佳神经网络,作为所述神经网络VQM模块,
并且其中所述VQM测试台包括:
视频流服务器,用于发送原始视频流;
流操纵器,用于根据来自失真参数数据库的失真参数仿真网络环境并使所述原始视频流失真,以生成失真视频流;
视频流客户端,用于接收所述失真视频流;
失真参数数据库,用于存储通过先前的网络测量获得的失真参数;以及
VQM模块,用于将所述原始视频流和所述失真视频流相比较,以生成参考视频质量度量,
其中所述一系列训练样本由所述失真参数数据库中的失真参数和所述参考视频质量度量构成。
9.如权利要求8所述的方法,还包括在创建所述神经网络VQM模块之后验证所创建的神经网络VQM模块的精确性和适应性。
10.如权利要求9所述的方法,其中所述验证步骤也由所述VQM测试台执行。
11.如权利要求10所述的方法,其中所述验证步骤还包括将所述参考视频质量度量和所创建的神经网络VQM模块的输出相比较,以执行校准分析,从而验证所创建的神经网络VQM模块的精确性和适应性。
12.如权利要求8所述的方法,其中所述分组度量基于所述视频流的分组级别特性。
13.如权利要求12所述的方法,其中所述视频流是MPEG4视频流,并且所述分组度量涉及I帧分组丢失率、P帧分组丢失率和I帧速率。
14.如权利要求13所述的方法,其中所述计算分组度量的步骤还包括:
确定每个MPEG4帧的类型;以及
计算所述I帧分组丢失率、所述P帧分组丢失率和所述I帧速率,作为所述分组度量。
15.如权利要求8所述的方法,其中所述计算图像度量的步骤还包括:
从所述视频流截取多个相邻图像帧;
在每个截取的图像帧中采样多个像素块;
检测每个被采样的块在所截取的帧期间的变化,以确定经历了图像质量下降的块的数目;以及
基于所述检测结果来生成所述图像度量。
CN200610109545A 2006-08-08 2006-08-08 基于分组度量和图像度量两者测量视频质量的系统和方法 Active CN100588271C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200610109545A CN100588271C (zh) 2006-08-08 2006-08-08 基于分组度量和图像度量两者测量视频质量的系统和方法
US11/707,513 US7936916B2 (en) 2006-08-08 2007-02-16 System and method for video quality measurement based on packet metric and image metric

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200610109545A CN100588271C (zh) 2006-08-08 2006-08-08 基于分组度量和图像度量两者测量视频质量的系统和方法

Publications (2)

Publication Number Publication Date
CN101123737A CN101123737A (zh) 2008-02-13
CN100588271C true CN100588271C (zh) 2010-02-03

Family

ID=39050861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610109545A Active CN100588271C (zh) 2006-08-08 2006-08-08 基于分组度量和图像度量两者测量视频质量的系统和方法

Country Status (2)

Country Link
US (1) US7936916B2 (zh)
CN (1) CN100588271C (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8966551B2 (en) * 2007-11-01 2015-02-24 Cisco Technology, Inc. Locating points of interest using references to media frames within a packet flow
US9197857B2 (en) * 2004-09-24 2015-11-24 Cisco Technology, Inc. IP-based stream splicing with content-specific splice points
CN100588271C (zh) * 2006-08-08 2010-02-03 安捷伦科技有限公司 基于分组度量和图像度量两者测量视频质量的系统和方法
US8023419B2 (en) 2007-05-14 2011-09-20 Cisco Technology, Inc. Remote monitoring of real-time internet protocol media streams
US7936695B2 (en) 2007-05-14 2011-05-03 Cisco Technology, Inc. Tunneling reports for real-time internet protocol media streams
US7835406B2 (en) * 2007-06-18 2010-11-16 Cisco Technology, Inc. Surrogate stream for monitoring realtime media
US7817546B2 (en) 2007-07-06 2010-10-19 Cisco Technology, Inc. Quasi RTP metrics for non-RTP media flows
EP2289249A1 (en) * 2008-06-13 2011-03-02 Telefonaktiebolaget L M Ericsson (PUBL) Packet loss analysis
US8370880B2 (en) * 2008-06-21 2013-02-05 Microsoft Corporation Telephone control service
EP2144449A1 (en) * 2008-07-07 2010-01-13 BRITISH TELECOMMUNICATIONS public limited company Video quality measurement
US8159520B1 (en) * 2008-07-11 2012-04-17 Sprint Communications Company L.P. Ensuring quality of a video stream through a telecommunications network
US8189052B1 (en) * 2008-07-29 2012-05-29 Sprint Communications Company L.P. Method and system for evaluating video processing technology
US8301982B2 (en) * 2009-11-18 2012-10-30 Cisco Technology, Inc. RTP-based loss recovery and quality monitoring for non-IP and raw-IP MPEG transport flows
US9401813B2 (en) * 2009-12-29 2016-07-26 Iheartmedia Management Services, Inc. Media stream monitor
US8619588B2 (en) * 2010-04-07 2013-12-31 Avaya Inc. System and method for predicting video transmission quality through a network
CN102026017B (zh) * 2010-11-29 2012-08-08 福州瑞芯微电子有限公司 一种视频解码高效测试方法
TWI457003B (zh) * 2011-01-14 2014-10-11 Gemtek Technology Co Ltd 單位時間內影像訊框數量測方法及其裝置
CN102143388B (zh) * 2011-04-22 2013-12-18 赛特斯信息科技股份有限公司 Iptv用户体验质量评估装置及评估方法
WO2013029214A1 (en) * 2011-08-26 2013-03-07 Huawei Technologies Co., Ltd. Video quality monitor and method for determining a network video quality measure in a communication network
WO2013033913A1 (en) * 2011-09-09 2013-03-14 Technicolor (China) Technology Co., Ltd. Method and device for calculating distortion of a video being affected by compression artifacts and channel artifacts
DE102012207558B4 (de) * 2012-05-07 2016-01-07 Opticom Dipl.-Ing. Michael Keyhl Gmbh Verfahren und vorrichtung zur bestimmung der qualität eines kodierten mediensignals
CN103581662B (zh) * 2012-07-26 2016-08-31 腾讯科技(深圳)有限公司 视频清晰度测量方法和系统
US9680689B2 (en) * 2013-02-14 2017-06-13 Comcast Cable Communications, Llc Fragmenting media content
US9674515B2 (en) * 2013-07-11 2017-06-06 Cisco Technology, Inc. Endpoint information for network VQM
US9432624B2 (en) * 2014-01-03 2016-08-30 Clearone Communications Hong Kong Ltd. Method for improving an MCU's performance using common properties of the H.264 codec standard
US9681163B1 (en) * 2015-03-26 2017-06-13 Amazon Technologies, Inc. Identify bad files using QoS data
US9741107B2 (en) 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
US9843837B2 (en) 2015-08-03 2017-12-12 At&T Intellectual Property I, L.P. Cross-platform analysis
CN106383888A (zh) * 2016-09-22 2017-02-08 深圳市唯特视科技有限公司 一种利用图片检索定位导航的方法
EP3573338A1 (en) 2018-05-25 2019-11-27 Carrier Corporation Video device and network quality evaluation/diagnostic tool
EP3588946B1 (en) 2018-06-28 2023-11-29 Unify Patente GmbH & Co. KG Method and system for assessing the quality of a video transmission over a network
WO2020158095A1 (ja) * 2019-02-01 2020-08-06 株式会社Nttドコモ 評価装置
CN111953959A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 Vr视频质量评估方法及装置
CN111314733B (zh) * 2020-01-20 2022-06-10 北京百度网讯科技有限公司 用于评估视频清晰度的方法和装置
US11522939B2 (en) 2020-06-19 2022-12-06 Exfo Inc. Over-the-top media service testing and QoE issues isolation

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046019A (en) * 1989-10-13 1991-09-03 Chip Supply, Inc. Fuzzy data comparator with neural network postprocessor
US6075884A (en) * 1996-03-29 2000-06-13 Sarnoff Corporation Method and apparatus for training a neural network to learn and use fidelity metric as a control mechanism
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US6285797B1 (en) * 1999-04-13 2001-09-04 Sarnoff Corporation Method and apparatus for estimating digital video quality without using a reference video
US6594524B2 (en) * 2000-12-12 2003-07-15 The Trustees Of The University Of Pennsylvania Adaptive method and apparatus for forecasting and controlling neurological disturbances under a multi-level control
US6876381B2 (en) * 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
JP2003199128A (ja) * 2001-12-25 2003-07-11 Ando Electric Co Ltd 動画配信試験装置
JP2006507775A (ja) * 2002-11-25 2006-03-02 サーノフ・コーポレーション 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置
US7764844B2 (en) * 2004-09-10 2010-07-27 Eastman Kodak Company Determining sharpness predictors for a digital image
EP1862017A4 (en) * 2005-03-25 2011-03-23 Algolith Inc DEVICE AND METHOD FOR OBJECTIVELY EVALUATING THE DCT-CODED VIDEO QUALITY WITH OR WITHOUT AN ORIGINAL VIDEOS SEQUENCE
US7933329B2 (en) * 2005-08-24 2011-04-26 Exfo Service Assurance Inc. System and method for monitoring video packets for quantifying video quality
CN100588271C (zh) * 2006-08-08 2010-02-03 安捷伦科技有限公司 基于分组度量和图像度量两者测量视频质量的系统和方法

Also Published As

Publication number Publication date
US20080037864A1 (en) 2008-02-14
US7936916B2 (en) 2011-05-03
CN101123737A (zh) 2008-02-13

Similar Documents

Publication Publication Date Title
CN100588271C (zh) 基于分组度量和图像度量两者测量视频质量的系统和方法
US7768937B2 (en) Video quality assessment
EP2761879B1 (en) A method to measure quality of experience of a video service
Chen et al. A lightweight end-side user experience data collection system for quality evaluation of multimedia communications
US20140201330A1 (en) Method and device for quality measuring of streaming media services
CN1980161A (zh) 监控实时通信质量的方法
CN104115448A (zh) 监测网络传输特性的方法与装置
Cherif et al. A_PSQA: Efficient real-time video streaming QoE tool in a future media internet context
CN103119895A (zh) 用于测量传输链上的音频和视频比特流传输的质量的方法和系统
Gómez et al. YouTube QoE evaluation tool for Android wireless terminals
Aguiar et al. A real-time video quality estimator for emerging wireless multimedia systems
Ellis et al. A two-level Markov model for packet loss in UDP/IP-based real-time video applications targeting residential users
Begluk et al. Machine learning-based QoE prediction for video streaming over LTE network
CN103152599A (zh) 基于有序回归的移动视频业务用户体验质量评估方法
Aguiar et al. Video quality estimator for wireless mesh networks
Du et al. Research on relationship between QoE and QoS based on BP neural network
CN101616315A (zh) 一种视频质量评价方法、装置和系统
Ghalut et al. Non-intrusive method for video quality prediction over lte using random neural networks (rnn)
US20100322095A1 (en) Packet analysis apparatus and method thereof
Frank et al. A neural network based test bed for evaluating the quality of video streams in IP networks
Botia Valderrama et al. Nonintrusive method based on neural networks for video quality of experience assessment
Mushtaq et al. Crowd-sourcing framework to assess QoE
CN104506453B (zh) 一种面向用户体验质量的码率分配方法
Wolfinger et al. Analytical modeling of primary and secondary load as induced by video applications using UDP/IP
He et al. PNN-based QoE measuring model for video applications over LTE system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: FLEX PRODUCTS INC. A. JDS UNIPHA

Free format text: FORMER OWNER: ANJELEN SCI. + TECH. INC.

Effective date: 20130718

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130718

Address after: No. 430 California Milpitas Boulevard Mccarthy

Patentee after: Flex Products Inc. A. JDS Unipha

Address before: American California

Patentee before: Anjelen Sci. & Tech. Inc.

C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: No. 430 California Milpitas Boulevard Mccarthy

Patentee after: Only Yahweh Communication Technology Co Ltd

Address before: No. 430 California Milpitas Boulevard Mccarthy

Patentee before: Flex Products Inc. A. JDS Unipha