CN105474650B - 用于确定具有变化的质量对比特率的媒体数据流的质量的概念 - Google Patents

Abstract

确定包括数据流段的序列在内的媒体数据流的质量，所述数据流段以在媒体内容上变化的质量对比特率级别来传输媒体内容的不同媒体段，例如，在自适应流传输的上下文中，通过以下方式被配置为更为有效：根据每个数据流段来导出相应段的标识符，以及针对每个数据流段，通过针对相应数据流段导出的标识符，从查找表中查找参数集，使得可以聚合参数集并基于其来确定质量。

Description

用于确定具有变化的质量对比特率的媒体数据流的质量的 概念

技术领域

本发明涉及确定具有变化的质量对比特率的媒体数据流的质量。

背景技术

在现代传输技术中，用于数据减少的特定编码方法可用于传输音频和视频信号。采用所述特定编码方法，以向最终用户提供取决于传输信道的当前容量的最佳可能质量。

图11示出了如当前所使用的通向最终用户的典型传输链路。其包括存储要传输的所有类型媒体数据的数据库、通过网络来执行数据传输的流传输服务器、网络本身、以及接收所需数据的最终用户/客户端。媒体数据可以是例如视频。常见问题涉及由最终用户感知到的视频的实际质量。结果是比例日益增加的自适应视频流传输技术(例如DASH(基于http的动态自适应流传输)或HLS(HTTP实况流传输)，其中，在服务器上以不同质量级别提供媒体数据)要求稳定的或统一的质量测量(质量度量)，其可以用最大可能程度的标准化m的方式来评估不同的帧大小和/或质量级别，以评价在接收侧处感知到的媒体内容的质量。

一般来说，可以将质量概念分为三个类别：

所谓的全参考(FR)质量测量技术将未通过压缩而劣化的原始媒体内容与要确定质量的媒体内容进行比较。此处不利之处在于必须访问原始版本的媒体内容。所谓的无参考(NR)质量测量技术仅基于接收到的媒体内容或仅基于接收到的并代表所述媒体内容的数据流来确定质量。这可能仅涉及检测传输伪像，并将它们量化以确定质量度量。所谓的精简参考(RR)质量测量技术表示FR和NR技术之间的中间类型方案，在于它们不仅使用接收到的数据流或接收到的媒体内容来确定接收侧质量，而是在发送侧实时确定的中间结果对于确定接收侧质量也作出贡献。所述参数或中间结果通常在传输的媒体数据流中联合传输(联合编码)。

具体地，在移动应用中，FR质量测量技术可能几乎很难实现。在US 2009/0153668A1中描述了该问题的解决方案。在发送侧，将发送侧接收到的质量分析结果插入所传输的数据流中，例如插入RTP扩展首部中，所述质量分析结果通常是对所传输的媒体内容的FR分析的结果。在接收侧，执行验证，以确定所传输的媒体数据流是否以没有伪像的方式被传输。在这样情况的阶段中，在数据流本身中传输的质量信息用于确定接收质量。在发生了错误传输的阶段中，即出现了传输伪像，则在接收侧执行质量估计。最终，根据两个质量测量(即，基于在无干扰阶段期间传输的质量信息所获得的质量测量，以及在有干扰倾向的阶段期间在接收侧估计出的质量测量)的组合来导出接收侧质量。即使该方案导致为了应用FR方法而在接收侧处不需要存在参考媒体内容，上述参考文献中提出的方法在很多方面是不利的，且不适用于找到自适应流传输方法中的令人满意的方案。自适应流传输方法向各个客户端提供了具有变化质量级别的媒体内容。自然地，取决于当前可用于每个客户端的带宽，质量对于所述客户端按不同程度变化。然而，为了同时向大量客户端提供变化的质量，自适应流传输方法通常求助于预编码数据。例如，将视频分为时隙，且针对每个时隙来创建具有高度多样化质量级别的预编码版本。预定的协议通过在时隙边界处在各个质量级别之间切换，使得客户端能够以变化的质量级别来加载视频。所述时隙可以具有例如二至四秒的长度，且有时也被称为组块(chunk)。然而，已适应主观测试的诸如ITU-T J.247之类的FR质量测量技术要求比组块持续时间长的持续时间来测量质量，即在若干组块上延伸。从而，为了实现US参考文献中描述的方法，发送侧质量测量将必须在发送侧针对每个客户端来专门执行，且必须借助扩展首部使其对于接收侧可用，即对于所有客户端在线和/或实时进行。然而，对于具有同时存在的很多客户端的很多应用来说，考虑到其在时间和能量方面的巨大支出，这种方案是不可行的。

US 2012/0278441 A1描述了一种在接收侧估计质量的方法，即最终用户实际感知到的质量。针对所述方法指示的一个优点是：认为在接收侧仅需要很少的计算能力，且能够在任何时间点上执行。这样，也有可能专门使用接收侧测量来影响媒体数据的传输。US文献中提出的方法开始于在发送侧提供具有不同级别质量的媒体内容。如果需要，在发送侧创建表示媒体内容的签名，所述签名或多或少取决于整个画面内容以及或多或少表示画面内容。将所述签名连同画面内容向接收侧传输，使得至少以没有伪像的方式来接收签名。在接收侧，然后以相同方式根据获得的媒体内容来产生签名，并随后将该签名与从发送侧传输的签名进行比较，以根据比较来获得质量值QoE。为了将比较映射到QoE值，使用连续训练和/或提前已知的分类函数。QoE值现在指示接收侧的质量，例如，按“优”、“良”、“合格”以及“差”分类。认为QoE值能够从接收侧发回发送侧，以由那里的媒体服务器使用，以借助诸如重新路由传输路径、改变播放质量等的措施，将接收侧处实际获得的质量调整为实际期望的质量。

发明内容

本发明的目的是提供一种用于确定媒体数据流的质量的概念，其更为有效和/或实现了在端到端测量的意义下针对质量感知来说关键的所有特性的实际检测和评估。

该目的是由新提交的独立权利要求的主题来实现的。

本发明的核心理念在于发现了：如果根据每个数据流段来导出相应段的标识符，以及如果针对每个数据流段，借助针对相应数据流段导出的标识符从查找表中查找参数集，使得有可能聚合参数集并基于其来确定质量，则可以更有效率地确定包括数据流段(该数据流段以在媒体内容上变化的质量对比特率级别来传输媒体内容的不同媒体段，例如，在自适应流传输的上下文中)的序列在内的媒体数据流的质量。该方案允许由每个客户端的媒体数据流根据其可能随时间改变的各自带宽情形所构成的数据流段保持不变-不需要向数据流中添加任何东西。换言之，不需要连同媒体数据流一起向接收侧发送质量信息。相反，在针对数据流段的查找表中提供的参数足以确定接收侧的每个客户端处的质量，即不管质量对比特率的针对相应客户端选择的变化如何，且甚至不管其中确定质量且若干媒体段位于其中的测试或分析段如何。以这种方式，有可能求助于适于主观测试的标准化测试技术，例如ITU-T J.247，作为用于确定质量的基础。

根据实施例，标识符的导出是通过对的相应数据流段未解码版本应用例如散列函数来执行的。这实现了在不同质量的数据流段、媒体内容的不同媒体段、以及不同媒体内容本身之间的有效可区分性。具体地，该类型的标识符导出本质上受到保护以不受到传输改变的影响：在通向客户端的传输链路上的传输伪像以及转码操作导致了在充分高的概率级别上查找操作失败，使得不能将错误地提前确定的参数集(其因此可能实质上与编码质量相关，而与媒体数据流中的后续改变不相关)用于确定质量。从而，如果借助非解码版本(例如，在基本流(ES)级别上)执行识别，则查找操作隐式地还实现了检测传输伪像和/或转码操作。

附图说明

本申请的有利实现形成了从属权利要求的主题。下面参照附图来更详细地解释本申请的优选实施例，其中

图1示出了包括服务器和客户端在内的网络环境的示意框图，在服务器和客户端之间发生具有变化质量对比特率的媒体数据流的传输，质量确定概念被应用在根据实施例的所述环境中；

图2示出了媒体数据流以及其中编码的媒体内容的示意附图以及在服务器侧存在不同的质量对比特率级别；

图3示出了根据实施例的用于质量确定的设备的框图，该设备访问离线准备的查找表；

图4示出了根据实施例的包括查找表在内的服务器的示意框图，其有可能供服务器用于与图3的设备交互；

图5示出了根据实施例的创建表的流程图；

图6示出了根据实施例的用于创建查找表的设备的可能实现的框图；

图7示出了根据实施例的用于在接收侧确定质量的设备的操作的可能模式的流程图；

图8示出了根据实施例的参数集确定的流程图；

图9示意性地示出了服务器侧可用的媒体信号的一部分，包括具有参考信号的时间对应段的特定恒定质量对比特级别，以示出其中的参数集确定；

图10示出了根据实施例的在考虑到传输伪像的同时确定整体质量的可能实现的流程图；

图11示出了具有比特率自适应媒体数据流传输的常见服务器-客户端网络环境；以及

图12示出了表示OTT(过顶，over-the-top)流传输服务的整体QoE且通过四层来建模的四层OTT质量模型的示意表示图，每一层在基础架构中所涉及的各负责方的手上。

具体实施方式

图1示出了包括服务器和客户端在内的环境，且其中使用了根据本申请的实施例的用于确定媒体数据流的质量的概念。具体地，图1示出了与图11所示相同的传输链路，包括其中以预编码方式存储媒体内容的媒体数据库10、具有针对媒体数据库10的访问权的服务器12、以及经由网络16与服务器12通信连接的客户端14。例如，客户端14是在用户的终端上运行的计算机程序或应用。终端可以是例如移动终端，如移动电话、笔记本等。网络16可以包括有线部分和/或无线部分。服务器12是例如计算机或计算机网络，且媒体数据库10包括例如一个或若干硬盘或其他非易失性存储器。

在服务器12和客户端14之间的通信的上下文中，服务器12经由网络16向客户端14传输例如媒体数据流。作为示例，以下描述将假定媒体数据流是视频数据流，其表示作为媒体内容的视频，但是应当注意到：后续实施例可以轻易地转移到其他媒体内容、或者其他媒体数据流，例如音频内容、3D网格模型等。作为示例，图2示出了媒体数据流18和用其传输的媒体内容20，如已经提到的，其在这里是作为示例的视频。

如图2所示，媒体数据流18包括数据流段22的序列，媒体内容20的不同媒体段24以在媒体内容上变化的质量对比特率被编码到数据流段22中。在图2中，将在图2中作为时间变化媒体信号的示例的视频20绘成被细分为例如媒体段24，视频的直接相互相邻的连续时隙形成了单独的媒体段24。每个媒体段24从而包括视频20的画面26的相应序列。

根据例如合适的准则来控制将段24编码到数据流段22中所使用的质量对比特率的变化，以避免在客户端处实时再现媒体内容或视频20时在客户端14侧对数据流缓冲区的闲置，所谓的“停顿”，且另一方面避免缓冲区拥塞。自适应流传输可以是例如媒体数据流18的基于http的流传输，例如DASH，根据媒体数据流18的基于http的流传输，服务器12经由所谓的MPD(媒体呈现描述)向客户端14提供与可用的可下载的质量对比特率级别有关的信息。基于所述级别，位于客户端14内的调整模块可以根据针对从服务器12到客户端14的有效可用传输带宽进行的估计以及根据客户端14处的当前缓冲区填充级别来执行并改变在可用级别中的选择。

如图2所示，例如针对每个媒体段24的多个质量对比特率级别Q₁～Q₄中的每一个质量对比特率级别，媒体数据库10将数据流段存储于其中。所述数据流段由图2中的矩形28来示出。从而，针对客户端14实际输出的媒体数据流18由数据流段22的序列或流来构成，每个数据流段22与媒体段24中的不同一个媒体段24相关联，且与可用于所述媒体段24的所存储的数据流段28之一相对应。作为示例，图2示出了在时间t₀、t₁、t₂和t₃之间在质量级别Q₁、Q₃和Q₂上在媒体数据流18内传输媒体段24，但是如上所述，所述选择取决于与单个客户端14相关的情形。图2通过箭头30指示了取决于情形的质量对比特率调整。如前所述，所述调整可以由例如客户端14来执行。

为了在客户端14处或者在服务器12和客户端14之间的传输链路上的不同位置处确定媒体数据流的质量，下面将描述的确定质量的概念提供了以下内容：设备32根据数据流段22导出标识符，以基于其在查找表34中查找，以获得用于数据流段22的参数集，以聚合一个或多个测试或分析段的所述参数集，并根据其来确定质量。如根据描述将变得清楚的，媒体数据库10中存储的数据流段28不需要为此目的而改变，这使得将该质量确定概念引入媒体服务器的现有基础架构中变得更容易。此外，不需要在服务器-客户端通信中额外引入其他信息。后者保持原样。查找表34的内容是通过创建表36来提前离线生成的，表36将在确定质量时设备32部分所涉及的工作量保持在合理的低水平上。无论如何，下面将更详细描述的质量确定的概念允许以下述形式来进行质量确定：其构成了适于主观质量测试方法的前提条件，例如跨特定测试或分析段的质量确定，或者例如跨若干媒体段24延伸的预定时间间隔，特别地不管数据流段i(22)的序列的变化质量级别Q_i如何。

应当注意到：目前为止提到的媒体段24实际上具有不同的含义，且仅出于简化的目的将其描述为相同：被彼此单独编码在媒体数据流中的媒体段，例如GOP，和在每种情况下在表34中存在参数集的媒体段。前者GOP(例如，即画面序列)是彼此独立可解码的，例如IPPP...PP画面序列等。以这种媒体内容为单位，则媒体数据流18可能例如将其质量对比特率在级别Q₁～Q₄上改变。对于每个这种媒体段24，可能生成标识符，即质量对比特率的变化的粒度可能与标识符生成的粒度相同。然而，不一定是这种情况。以下说明清楚地示出了标识符生成可以用相对小的单位来发生，例如，针对每个画面26。承载附图标记24′的媒体段始终指的是媒体内容20的这种段：其与具有相应标识符的相应数据流段相关联。对于GOP，即可以相对于其他GOP单独解码的自包含的画面序列，从而将存在若干媒体段24′，即若干画面，包括若干标识，特别地针对每个质量对比特率级别。数据流段22始终与所述媒体段24′相关联。相比之下，没有撇号的媒体段24指定这种段：比特率可以用这种段作为单位来变化，例如GOP。如已经提到的，两种单位/段可能一致，但是不一定是这种情况，且根据后续实施例，实际上并不是这种情况，即使他们可能在这方面是轻易可变的，即具有所有中间形式，例如段24′，其大于画面，但小于GOP。从而，在图2中，在数据库中，针对段24还可能存在M*N个数据流段，即对于N个质量级别和将段24细分为段24′的M个细分。

现在将参考图3和4来描述包括查找表34在内的设备32或服务器38的可能设置。

如图3所示，设备32包括标识符生成器40、查找单元42、聚合器44和质量确定器46。如图3所示，元件40至46可以顺序连接，标识符生成器40接收媒体数据流18，且质量确定器46输出媒体数据流的质量48。

标识符生成器40根据传入的媒体数据流18的每个数据流段22来导出相应段24′的标识符50。查找单元42获得传入的媒体数据流18的数据流段22的标识符50。其在服务器38的查找表34中查找每个数据流段22，以获得每个数据流段22的参数集52，查找单元42借助针对数据流段22所导出的标识符50来执行查找操作，其中，其向服务器38传输例如对应查询54，并获得作为响应56的与相应查询内包含的标识符有关的参数集。下面应当更详细地说明数据流段22的参数集。简而言之，它们是针对相应数据流段22中编码的相应媒体内容24′内的每个段24′(例如，每个画面26)的若干参数在内的测量参数，该若干参数描述相应画面26的编码质量，或更准确地说，对于无干扰传输情况的所考察画面26的再现质量，还有可能让参数包括针对每个段24′的一个或多个参数(作为示例)，该一个或多个参数描述没有任何编码干扰的媒体内容的质量，即，原始媒体内容的质量。在后续描述中应当给出进一步的细节；然而应当注意到：如已经提到的，本申请和以下描述的实施例不限于视频。例如，媒体段24还可能是音频信号的连续时间间隔、或者时间变化网格模型的时隙等。一般而言，相关联数据流段22的参数集描述了编码质量，即媒体内容24′的偏差，该媒体内容24′是根据数据流段22可再现的，并包括不是由有损编码所引入的原始编码错误，且一般可选地包括媒体内容24′的质量。

聚合器44将所需测试或分析段的参数集52加以聚合。测试端例如跨媒体段24的序列来延伸，且因此也跨段24′的序列来延伸。关于图2，测试段可能例如从时间t₀延伸到时间t₆。测试间隔的长度满足对应主观FR质量测试方法所要求的准则，例如与特定最小持续时间、连续性(即，时间间隙的不存在性)等有关的准则。从而聚合器44输出参数集52的聚合58，该参数集52是针对传输位于媒体信号的测试段内的媒体段24′的数据流段22所查找到的，例如在图2中在t₀和t₆之间。如根据上面的描述已经变得清楚的，聚合的参数集52可以源自于不同的质量级别。

从而，质量确定器46获得多个聚合58，即对于位于媒体内容20的对应测试段中的所有媒体段24′，以及基于参数集52的所述聚合58，其确定质量48，下面更详细地描述与此相关的细节。

仅出于完整性考虑，图4示出了图1的服务器38，其包括查找表34。对于媒体数据库10内的每个数据流段28，查找表34在其中存储了由标识符生成器40在无错传输情况下生成的标识符60，作为数据流18的段22，且在其中存储了与所述数据流段相关联的、或者根据与所述数据流段28相关联的媒体段24′生成的参数集62。如图4所示，每个参数集62可以包括例如N个不同的参数。参数集62涉及媒体段24，即例如涉及每个情况下的画面26，且若干媒体段24′可以位于媒体段24内，客户端在获取的比特率和/或质量的意义上以该媒体段24为单位变化。服务器38包括查询响应器64，查询响应器64连接到查找表34，且被配置为对来自于设备32并包括特定标识符在内的查询响应以表34中针对该标识符所存储的参数集62，以在返回传输56中向设备32返回该参数集。

设备32和服务器38之间的通信54和56还可以经由网络16来发生，例如，经由互联网连接。服务器38可以是其自己的服务器，与服务器12和媒体数据库10分离。查找表34可被实现在例如非易失性存储器中，且查询响应器64可以由例如计算机或计算机网络来实现。设备32可能是在还执行客户端14的移动设备上执行的应用，但是设备32的不同布置和实现当然也是可能的。

如根据上面的描述已经变得清楚的，借助根据数据流段所获得的标识符来查找参数集的方案的优点在于：可以提前离线执行参数集确定，且从而提前离线执行设置查找表34，即表生成36，即在针对客户端14的媒体流传输实际发生之前。出于完整性考虑，图5现在示出了表生成36的可能性。根据所述可能性，对于媒体数据库10内的每个数据流段28，执行标识符生成66，特别地以下述方式执行：得到与标识符生成器40在无干扰传输的情况下相同的标识符，且执行参数集确定68。

现在已参照图1和5给出了质量确定概念中涉及的元素的概览，下面将例如给出作为示例如何可以实际实现该概念或元素的相互作用的说明。在该上下文中，将关于例如参数集给出相对具体的说明，但是也关于上述其他元素给出相对具体的说明，且所有所述实际可能性将被理解为分别适用于前述实现。这是为什么下面将反复提到图1至5，且将尽可能多的重复使用图1至5的描述中使用的附图标记。

如在本申请说明书的引论中描述的，媒体数据传输中的重要问题涉及实际到达最终用户的媒体数据的质量的类型。如已经关于在先附图所大致解释的，可以通过访问提前获得的参数来进行确定。如图1所述，其涉及的是分析媒体数据库10的表生成模块36、提供用于存储根据媒体数据库10所计算出的参数集的数据库的查找表34、以及设备32，即在例如客户端侧采用的用于计算当前质量的设备。

在最终用户或客户端14处评估媒体数据的整体质量时，原则上要注意到两种扰动模式：

1)编码质量，其尤其是取决于所使用的编码方法和所使用的设置，例如平均比特率，以及

2)传输质量，其描述了传输信道中的当前扰动。传输质量考虑到诸如分组丢失、比特错误等的扰动。

目前为止的图1至5的在先描述实际上仅说明了编码质量。例如，作为示例，当如前所述的标识符生成发生在未解码域中时，从而其已经充分确保了有错数据流段导致了可检测到的有错标识符，因为例如对于在每种情况下关联的媒体段24，他们与当前媒体内容20在查找表34中针对所述媒体段24所存储的任何数据流段28不匹配。如下面将描述的，将有可能让质量确定器46组合根据参数集52的对应聚合58针对测试段或若干测试段来确定的、使用与质量扰动的数量有关的估计反映了编码质量的质量，以获得整体质量。

将信号的整体质量分解为编码质量和传输质量的规定子区使得客观方法能够优化质量预测所需要的计算能力。此处要注意到的是：编码质量不取决于传输信道内的当前扰动。因此，原则上将有可能针对不同的输入序列和编码设置(即，跨整个测试段)来提前完全计算编码质量。然而如在本申请说明书的引论中描述的，这么做是困难的，因为在小于测试段的时间单位上比特率以客户端单独方式变化。换言之，编码设置根据传输信道的当前状态而经常改变。此外，整体质量不仅仅是上述质量级别之间的线性串联。这就是为什么提前确定基准数据(上面被称为“参数”且下面有时称为“指示符”)并将其用于根据实际传输特性来估计质量更有意义。

图6示出了用于通过使用视频的示例作为媒体内容来针对媒体传输确定参数集的设备，即适用于执行表生成36的设备。

如可以看到的，图6的设备包括解码器70、划分器72、评估器74、标识符确定器76、以及用于接收参考媒体内容(此处，特别地是参考视频)的输入78、用于以恒定质量对比特率级别来接收媒体数据流的输入80、以及输出查找表34的数据库条目或查找表条目(即，标识符60和相关联参数集62的对)的输出82。划分器72包括三个输入：连接到输入78的输入、直接连接到输入80的另一输入、以及经由解码器70连接到输入80以获得经解码的或可再现版本的输入80处的媒体数据流的第三输入，该媒体数据流可以借助例如H.264来编码，如图6所指示，使得测试视频出现在解码器70的输出处或者划分器72的输入处。划分器72将传入的参考视频、传入的测试视频、以及传入的媒体数据流划分为观看时段，该观看时段实质上例如在其大小方面对应于之前提到的测试段，并针对每个观看时段将输入80处的媒体数据流的对应数据流段22向标识符确定器76转发，并将来自于测试视频的位于对应观看时段内的媒体段24′(例如，帧26)以及来自参考视频的对应段(例如，画面)向评估器74转发。为了简单起见，下面将假定对观看时段的划分在没有任何间隙的情况下发生，使得观看时段彼此无缝衔接，但是与此不同也是可行的。

标识符确定器76以与上面描述的相同方式来确定所有传入的数据流段22的标识符，和/或使用与设备32内标识符生成器40所进行的相同映射来确定所有传入的数据流段22的标识符。将提到：标识符生成器可以包括散列值形成，但是标识符还可能由散列值和为了可区分的原因而向例如媒体库10内的各个媒体内容分配的其它ID构成。

评估器74内的评估如下面更详细解释那样发生，且对于来自每个观看时段的每个媒体段24′，该评估导致与已经根据其中编码有对应媒体内容24′的数据流段22所获得的标识符相关联的对应参数集。

对于出现在媒体数据库10中的相应媒体内容或视频20所具有的每个质量对比特率级别，重复刚刚描述的过程，因为对输入80应用对应的媒体数据流18，而参考视频出现在输入78处并表示没有任何编码损耗的媒体内容。质量对比特率级别每次保持恒定。更具体地，输入80处的媒体数据流18的数据流段22每次表示具有对于所有数据流段22相同的质量对比特率级别的相关联媒体段24′，该级别在连续时间之间是改变的。以这种方式，如已经描述的，对于媒体内容20的每个媒体段24′的每个质量对比特率级别，标识符和关联参数集的对导致了查找表。

从而原则上图6的评估器74采用了图5的参数集确定64，且标识符确定器76采用了图5的标识符生成66。划分器72执行划分观看时段，该观看时段在图6的实施例中与评估器74执行的评估相关，以获得参数集。观看时段是这种时段：其可以满足与设备32内的质量确定器46选择测试段所使用的准则相同的准则。从而，观看时段可以例如跨若干媒体段24延伸。无论如何，评估器74根据观看时段的评估来生成针对位于当前观看时段中的每个媒体段24′的参数集。

更具体地，因此参考视频以及包括相应恒定质量对比特率级别在内的要传输的媒体数据流和根据该媒体数据流而解码出的测试视频按其原始长度被用作图6的设备的输入。评估器74可以使用客观测试方法，例如ITU-T J.247或ITU-T J.341，以映射主观测试。这种客观测试方法适于在这种测试中使用的画面序列。这种画面序列的持续时间或者这种观看时段的持续时间在例如10和16秒之间或者在6和20秒之间，在每种情况下均包含边界。划分器72从而将例如参考视频、测试视频和传入的媒体数据流划分为这种观看时段，并向评估器74转发以这种方式划分的参考和测试视频。在评估器74内执行的客观测量技术中，则针对观看时段72内的每个媒体段24′来确定参数或指示符(即，参数集)，例如针对相应观看时段72内的每个画面26。针对可能用于提取参数集的方法的更详细描述将如下所述。同样如下所述的是对参数或指示符的描述。

正如针对每个段24′(例如针对每个画面)得到的参数集，在评估划分器72将参考视频和测试视频划分为的观看时段时，标识符确定器76针对每个媒体段24′(例如，针对每个画面26)根据相应数据流段22来确定标识符，该标识符在下面也将被称为标识元素。标识元素是关于段24′来计算的，使得比特流18内编码的段24′与数据库条目的精确关联在稍后的时间点上是可能的。作为标识元素，可以例如使用以无歧义的方式来确定的MD5和或者不同的“散列”和。

如上面已经描述的，随后将指示符或参数集连同“散列”和以及可选的可能其他控制元素(例如，与画面几何形状有关的信息)一起存储在数据库中。从而，对于大量视频序列和帧级别上的编码设置，用于确定编码质量的任何必需信息在数据库34中可用。

图7示出了估计当前传输信号的整体质量或者向客户端14传输的媒体数据流18的整体质量的方法。所述方法由设备32执行，例如图3的设备32，然而补充图3的功能，以执行以下将描述的图7的方法。如已经提到的，说明是针对视频流来说明的，然而它们也可以轻易地转移到除了视频之外的其他媒体内容。

如图7所示，传入的媒体数据流18首先经过数据流分析86，数据流18是例如到达接收机的那个数据流，或者概括地说，在接收侧，例如如已经提到的客户端14。为了获得媒体数据流18，可以例如将数据分接出(tap off)网卡。在数据流分析86中，针对传输伪像(例如，分组丢失、比特错误、时间延迟、分组重复等)来分析视频相关数据或此处作为示例视频数据流的媒体数据流18。该分析可以在例如与标识符生成器40并联的传输伪像分析器或检测器186中执行和/或还获得媒体数据流18。基于分析结果，则可以在步骤88中估计描述传输链路的扰动的当前传输质量。同时，借助计算数据流元素22的标识符或标识元素，从传入的媒体数据流18中提取表示H.264比特流的数据流元素22的序列，即针对每个画面段24′，例如在画面级别上或针对每个视频帧。标识符确定90由例如标识符生成器40来执行。如已经提到的，针对在步骤90中计算的标识元素，采用与在步骤66中生成数据库或在标识符确定器76中采用的相同的算法或相同的映射。因此，如果“散列”值或标识符由于传输扰动而不能被确定，则画面段24′与查找表34中的条目的不含糊关联可能发生，该步骤被称为图7中的数据库搜索92，其是由图3中的查找单元42来执行的步骤。然后将针对每个画面段24′(例如画面26)查找到的指示符或参数集用于计算当前编码质量，即在编码质量估计的步骤94中，其由图3中的聚合器44和质量确定器46来执行。该步骤的唯一前提条件是设备32具有对之前建立的数据库34的访问权限。这可以通过例如无损数据线来确保，或通过已经提前传输的数据库34来确保。下面将给出对编码质量估计94的过程的更详细的描述。

此时将注意到：目前为止描述的实施例也支持现代的流传输方法，例如HLS(HTTP实况流传输)。

步骤96包括基于步骤88和94的估计出的编码质量和估计出的传输质量来最终估计整体质量。该步骤也可以例如由图3的质量确定器46来执行，就好像传输质量估计88一样。

从而，上述实施例解决了自适应流传输方法取决于现有的传输信道容量而采用不同的编码质量的问题。如果传输信道属性改变，编码质量甚至可以在传输期间改变。由于利用了存储任何数量的在帧级别上的质量组合的查找表34，可以根据上述实施例始终提取出恰当的指示符。

下面将给出可以如何配置参数集确定器64或评估器74的更详细的描述。如已经描述的，可以将实际上已被证明提供良好的质量预测的已建立的标准化测量技术用于提取指示符或参数集。例如，可以使用ITU所标准化的名为ITU-T J.247的方法。出于完整性考虑，还将提到：其他非标准化方法或NR方法也可以用于获得参数集，然而该参数集在测量准确性的意义上一般伴随着损耗。

图8示出了可能具体地由图6的评估器74执行的步骤的可能序列的示例，假定为了确定观看时段的参数集，评估器74获得借助解码根据接收到的媒体数据流18所获得的测试视频以及相关联的参考视频。然而以下说明将示出在生成参数集时划分观看时段不是绝对强制性的。所述划分仅使得将完全标准化的测量技术用于生成参数集更容易。

作为输入参数，向图8的参数集提取方法提供来自被分为观看时段的参考视频的时间段以及要评估的并源自可能呈现出编码扰动的视频的对应时间段。时间观看时段和/或测试段的持续时间可以取决于主观测试(借助该主观测试来评估客观测量技术)的典型持续时间以及取决于其中规定了可能质量切换段24的流传输方法的要求。在例如HLS方法中，传输段24作为单个文件出现，使得理想上选择所述长度的整数倍。典型值是例如4至14秒的段长度，或备选地2至25秒的段长度，在每种情况下均包含边界。

确保了在参考视频中与观看时段相对应的段与测试视频中的段之间没有时间偏移。如果需要，采用用于将帧加以时间关联的算法。

在准备100(第一步骤)的上下文中，将各个段读入并传输至内部画面表示。该步骤是可选的，且如果不要求画面表示传输，则可被免除。

在信号分析102中，在画面级别上分析并表征各个视频段，即相应观看时段或相应测试段。此处，画面序列分析发生，其中，识别改变画面序列和各个静止帧段。在该框中，分别分析原始视频和测试视频。

后续步骤104包括执行颜色匹配。所述步骤包括对各个灰阶和颜色分量的直方图分析，且随后调整原始视频和测试视频之间的分布。此处移除轻微不同的系统颜色显示(颜色表示)和系统失真，因为其通常很难被观众所识别。该移除导致后续指示符分析106对于所述有错颜色显示(颜色误表示)和失真不敏感。

具体地，指示符分析106涉及提取与质量评估相关的扰动元素的集合，即参数集。针对测试视频中段24′在每种情况下(即例如针对每种情况下的画面)执行参数集的计算，使得参数集可用于每个帧。如已经提到的，媒体段24′大于仅一个帧的另一示例也将是可行的。下面将更详细地描述参数或指示符的属性。

如上面描述的，然后将参数集62或指示符以编码形式(此处，例如单个画面)存储在数据库或查找表34中，特别地连同已根据数据流段22获得的并包含相应媒体段24′在内的相应标识符一起存储或关联存储，已针对该相应媒体段24’确定了所述集合62。如图8所示，有可能让集合62的指示符连同用于在稍后的时间点上进行后处理的控制元素一起被缓冲。上面已经提到了这种控制元素的示例。此时，数据库或查找表34的设置是自由可选的，且取决于大小和现有软件与硬件要求。可以提到MySQL作为此处可以采用的数据库的示例。值得提到的是：标识符的生成确保了标识符60、画面或帧(即测试视频中的媒体段24′)以及关联参数或参数集62之间的不含糊关联。还将注意到：集合62的各个指示符值可以例如作为IEEE浮点数可用。如果将J.247用于生成参数，数据库条目82可以例如包含集合62的六个参数、一个标识符60、以及可选的一个控制元素。

下面将说明针对之前实施例可能如何选择参数的可能性，即所述参数可能具有哪些维度、如何产生它们等等。然而，将注意到的是：后续描述仅是示例性的，且当然存在变化的可能性。如上面已经提到的，作为示例，在后续描述中将假定针对于各个画面或帧26相对应的媒体段24′来确定参数集。在使用或遵循J.247的同时来执行计算。然而，下面将仅给出针对测试视频中的每一帧如何计算参数的概述，即重构版本的媒体内容。对于详细的数学描述，请附加地还参考建议ITU-T J.247，即第B.1.10章，其以引用的方式并入本文中。

因此根据下述实施例，在图1的表生成36中或者在指示符分析106的上下文中或者由评估器74来执行以下分析，即以下分析中的一个、若干个、或全部：

相似度分析：

在例如相似度分析的上下文中，确定每个媒体段24′的重构版本(因此在本情况下作为示例视频20的每个画面26的重构版本)和参考视频120的对应段124′的重构版本之间的基于相关性的相似度度量。将再次提醒读者：该分析一般离线发生。视频20是由于编码而源于包含具有恒定质量对比特率级别的数据流段的序列在内的媒体数据流的视频。由于在本实施例中，媒体段24′是单个帧，相似度分析从而比较测试视频20的画面26与未收到编码损耗损害的参考视频120的时间对应画面126。为了说明测试视频20和参考视频120中画面26或126的时间序列，作为示例，在图9中示出了所述视频的两个连续画面，且通过索引1和2来区分。为了计算基于相关性的度量，跨不同画面段的画面区域来确定例如画面26₁和126₁之间的相关性，且随后基于对局部获得的相关性进行恰当求平均来确定基于相关性的度量。从而例如，将来自测试视频20(且具体地来自测试段)的画面26₁以及参考视频120的时间对应画面126₁划分为单个画面区域130，且确定这些区域130在参考视频和测试视频之间的相关性；例如，将平均相关性值确定为相似度度量和/或基于相关性的度量，以获得参数之一。在该指示符或参数的辅助下特别强调了画面的区域结构的扰动。针对测试段或观看时段内的每个媒体段24′(即，此处针对每个帧26)来确定相似度分析。

边缘分析

对于每个画面26和/或每个媒体段24′，边缘分析得到相应画面26内存在的边缘与对应画面126内存在的边缘之间的差的度量。在例如画面26和126的亮度平面内确定边缘和/或根据画面26和126的亮度分量来确定边缘。作为例如区分度量，使用从画面26和126获得的对应边缘画面的减法。可以重复使用跨画面区域的恰当求平均，以实现边缘差的一个度量。求平均可以基于例如L5范数。换言之，边缘分析涉及比较参考画面和测试画面的亮度平面内的边缘画面，并针对差异来检验它们。经由例如加权L5范数来执行为了确定指示符值而对扰动的求平均。当观看画面时，眼睛经常通过边缘对自身定向。因此以特别明显的方式来感知边缘扰动。

块分析：

块分析得到测试段中每个画面26和/或媒体段24′的块扰动的度量。块形成是对于现代“编解码器”经常出错的类别。该扰动也被称为“块效应(blockiness)”或“拼接效应(tiling)”。该误差以类似于边缘分析的方式来计算。然而，对于该值，仅评估测试画面26中相比于原始画面126添加的那些边缘。此处可以例如经由加权L2范数来影响局部求平均，以实现块扰动的度量。就与其他分析相类似的，即相似度分析和边缘分析以及后续分析，块分析是针对观看时段和/或测试段中的每个画面26来执行的。

色度分析：

色度分析得到相应画面26和对应原始画面126内的色度平面的差的度量。该度量和/或指示符的值基于画面的色度平面的差。下述是例如原始和测试画面之间的归一化画面点的差的加权求平均，用于确定指示符值。

扰动的时间进程的分析：

扰动的时间进程的分析得到了测试视频20的画面26中存在的边缘的时间改变与参考视频120的对应画面126中存在的边缘的时间改变之差的度量。例如如下确定测试视频20的画面262的边缘的时间改变：首先在亮度级别上例如再次确定该画面262和时间上在先的画面261的边缘画面，且将这两个时间连续边缘画面之差与在参考视频120中根据时间对应的画面1261和1262获得的边缘画面的对应差进行比较。就像在其他分析选项中一样，还例如经由对应的高通滤波来确定边缘画面。可以重复使用恰当的局部求平均，以实现这些时间改变的差的度量。针对扰动的时间进程的分析的背景是：呈现出时间改变的预期外扰动被观众感知为非常让人讨厌。为了评估该扰动类别，在参考视频和测试视频的边缘画面的时间改变发生时记录它们。此处计算的指示符描述了参考画面126和测试画面26的当前画面或帧的边缘画面中的改变之差。由于取决于是添加扰动还是移除一部分，观众的反应不同，因此可以针对该类别来计算两个指示符或参数：此处在针对添加扰动的加权L5范数和针对错失部分的加权L2范数的辅助下执行局部求平均。然而，这些仅是示例，毕竟本领域技术人员可以偏离这些示例。

如果并入了全部上述分析和结果参数，六个参数的数目导致了每个参数集62，所述六个参数描述了相应媒体段(此处相应画面)，作为来自与标识符不含糊关联的数据流段的结果，其进而在表34中被存储为属于所述参数集62。

随后，将描述质量确定器46或编码质量估计94的质量确定的可能实现细节。上面概述的例如在数据库34中存储画面平面内(即针对具有单一画面大小的媒体段24′)的指示符和/或参数使得在稍后时间点上在设备32中能够计算接收侧获得的视频序列的段的质量，即针对测试段和/或观看时段。因此，下面将给出对在接收侧执行编码质量估计的设备32的更详细的描述。设备32仅要求针对各个指示符和/或参数的访问权。如上所述，对于所述访问权，其使用标识元素或标识符。针对所有画面和针对所有质量级别，条目82在数据库34中可用。

然而，在继续描述可能的实现细节之前，将注意到：基于表34中参数集的接收侧编码质量确定的观看时段不需要与用于生成参数集的离线使用的观看时段相匹配，或者不需要与在接收侧离线用于表生成的观看时段相匹配。不同的开始和结束时间是可能的。在本上下文中确保在观看时段中或者在测试段中不发生中断可以是有利的。这样，有可能检测现代流传输方法的切换处理，以估计实际质量曲线。

图10示出了质量确定器46中编码质量估计94或质量确定的可能实现的流程图。针对媒体内容和/或视频的当前观看时段或当前测试段，首先让通过查找在数据库34内借助标识符50获得的参数集52和/或对其的聚合58(参见图3)经历步骤150中的求平均，即在时间上求平均，然后基于求平均的结果来执行步骤152中的编码质量估计。更具体地，因此借助由设备32根据实际传输的数据流18所计算出的标识元素或标识符，确定来自数据库34的关联参数集合/或指示符52，并让其在对应的求平均模块中经历求平均150。经历求平均的参数集52的数量对应于观看时段内的帧26的数量，如结合图2所描述的，即对应于要执行编码质量估计的观看时段和/或测试段。

求平均150涉及在时间上对各个指示符和/或参数求平均。可以针对例如不同的指示符类别和/或不同的参数来采用不同的求平均处理。针对指示符和/或参数的以下求平均技术是可能的：

·相似度分析的指示符：

经由逻辑映射各个值以及后续在元素的时间进程上的L2范数来实现所述指示符的求平均1。

经由逻辑映射各个值以及后续在元素的时间进程上的L4范数来实现所述指示符的求平均2。

·边缘分析的指示符：

经由线性映射各个值以及后续在时间元素上的L2范数来实现所述指示符的求平均1。

经由逻辑映射各个值以及后续在时间元素上的L2范数来实现所述指示符的求平均2。

·块分析的指示符：

时间求平均的指示符值是各个值的最小值。

·色度分析的指示符：

经由元素的L1范数来实现所述指示符的求平均。

·用于分析扰动的时间进程的指示符：

经由L1范数来实现已经介绍过的扰动的指示符的求平均。

经由L1范数来实现已经移除的段的指示符的求平均。

后续借助时间求平均的指示符来执行要测量的段的质量估计152。为此，向逻辑功能提供各个时间求平均的指示符，且让其后续经历线性求平均。此处，逻辑功能的参数也取决于帧大小。

在步骤96中通过合并编码质量和传输质量来确定传输信号的整体质量。此处要注意：针对每个观看段来计算一个编码质量值的最大值。由于例如传输扰动而导致数据关联不可能而导致丢失的任何观看段可以在考虑到传输扰动的同时借助于插值来计算。作为整体质量估计的度量，可以确定单一数值值，或者可以用直方图的形式来指示质量级别的分布。

因此最终将再次注意到：主要涉及视频的上述实施例仅作为示例。然而，上述实施例可以轻易地转移到音频信号。质量确定的组合(即音频和视频信号的组合的质量的确定)也是可行的。关于标识符生成，将注意到：根据实施例，前者不一定发生在未解码域中，例如在基本流级别上，具体地不一定借助于散列值形成。相反，有可能还使用所考察的数据流段的已解码版本的一部分，以生成标识符。优选的是上述版本，根据该版本，为了确定标识符，向映射(例如，散列映射)提供未解码版本的相应数据流段，或至少提供大部分(例如，多于其80％)，这导致与所述段中的小改变或单个比特错误有关的不同标识符，使得确保了数据库10内的数据流段28的可靠可区分性。

即使上面未曾指出，应当显而易见的是：由设备32、查找表34和表生成32所实现的质量确定服务可以成为支付系统的对象。换言之，当然可以在商业上利用质量确定概念。可以针对每个设备32、针对每个质量确定处理、针对每个表生成32、针对对表34的每次访问、针对提供的持续时间和表34的大小、或针对其他恰当选项来接收特许使用费。

如图7的描述所澄清的，除了已经针对图3所描述的元素之外，还可以提供传输伪像检测器186，所述传输伪像检测器186检测媒体数据流18的错误接收的部分，质量确定器46可被配置为针对错误接收的部分以在线方式来执行针对媒体数据流18的传输伪像的量化88，并在步骤96中将针对错误接收的部分所确定的传输伪像用于确定整体质量。

针对数据库的离线生成，将注意到：针对划分观看时段所描述的可能性也可以被免除。还可以在没有针对单个媒体段24′的任何这种划分的情况下执行参数的生成。

如已经描述的，可以执行对测试段的聚合参数集的统计分析，使得针对聚合参数集中包含的不同参数执行不同的统计评价，例如，针对不同参数的集中趋势和/或分散来确定不同的统计时刻和度量，但是它们不限于上面作为示例提到的那些。

为了更实际地示出上面概述实施例的优点和效果，使用四层质量模型，且下面将参考图12来呈现，所述模型反映了可能对传输期间的伪像做出贡献的不同源。

内容质量：可以用专业演播室质量来提供原始内容，要么是未压缩的，要么仅以非常高的比特率来轻微编码。因此术语“内容质量”指的是原始内容的最高可能质量。其由原始画面或帧、大小(UHD、HD或SD)、渐进式或交织式扫描、以及由原始帧速率(29.97、25或24帧/秒(fps))来定义。将要求大量存储/传输资源的未处理(raw)视频内容在可以将其存储和分发之前编码。

媒体流质量：对于基于IP的分发，需要对视频转码(即，更高效的重新编码)，以匹配各种分发格式。我们将该层称为“媒体流质量”。在该阶段，压缩视频的质量有原始内容的质量加上编码质量来定义。后者主要由编码器的类型(主要是H.264)连同编码参数(主要是输出比特率)以及若干其他设置来确定。这种设置包括目标帧速率、I、B和P帧或画面的比例、以及影响编码效率的其他选择可能性，即熵编码的优选类型。CAVLC(基于上下文的自适应可变长度编码)或CABAC(基于上下文的自适应二进制算数编码)。可能确定媒体流质量的另一方面是编码器被设置为产生恒定比特率(CBR)还是可变比特率(VBR)。

所有自适应流传输解决方案具有共同之处：内容要以各种比特率来提供，且从而要以各种质量来提供，而客户端将或多或少地在相应网或网络所允许的不同质量级别之间“平滑”切换。实际上，这可能意味着同一内容在例如高至11个流中驻留在服务器上，每个流以不同比特率编码且针对不同的目标屏幕。注意到：当从一个流切换到另一个流时，不仅比特率可能要改变，取决于可用比特率，帧大小(分辨率)和编码器简档也可能要改变。

传输质量：实际网络中的分组传输很少没有损耗。带宽失配、分组丢失、时延、以及其他传输损害可能导致视频质量的严重劣化，且从而降低订户的QoE。因此，传输质量由所述传输损害来确定。已设计出了各种流传输设置和协议，以应对静止和移动网络的实时约束，特别是适应当前可用的比特率。尽管对于渐进式下载，帧大小和比特率一旦选定就在视频呈现期间不改变，然而针对每个2秒或4秒组块以多种比特率来编码视频(和/或音频)时，动态元素在自适应流传输协议中有了用武之地。客户端/播放器现在可以选择最适合其需求的那些组块-其在该时刻可以处理的最佳比特率和分辨率。Web服务器通常以与网络带宽允许的速度来传输数据。客户端可以轻易地估计出用户带宽，并提前决定是下载较大还是较小的组块。

呈现质量：感知呈现质量的关键元素将是客户端设备本身：平面屏幕电视、平板电脑或智能电话。除了可能涉及完全不同用户期望的屏幕大小和观看环境之外，播放器软件对于呈现质量也具有值得注意的影响：诸如播出大小和下载缓冲区之类的参数是完全可定制的。

除了上述方面，呈现质量取决于客户端侧的多个方面，即：

-最终用户设备的CPU能力、存储器、和连接性约束。

-操作系统及其对流传输协议的固有支持

-使用中的流传输协议的性能，即实际上客户端/服务器协商

-包括重新缓冲、错误隐藏技术等在内的播放器软件，它们是操作系统、互联网浏览器、(第三方)插件(例如，Adobe Flash、微软Silverlight)或OTT服务提供商提供的APP的功能集合，以及

-最终，(当地)显示器、或连接的监视器或TV的大小、分辨率和刷新速率、其交互(WLAN、RGB或HDMI)、连同观看环境。

图12中示出了已设计出的四层OTT质量模型。刚刚提出的四层方案非常适用于在OTT流传输服务的情况下与订户的QoE竞争中涉及的各方：实际上，图12的四层模型包括与涉及的所述各方的1_∶1对应关系：

-内容质量落在内容拥有者的负责范围内。内容拥有者的示例是索尼影业、派拉蒙、环球、华纳兄弟等(注册品牌)。它们想要通过经由新的VoD渠道推广它们的电影和电视剧作品来扩展它们的收入流。

-媒体流质量落入OTT提供商的负责范围内，OTT提供商的示例是Netflix、Hulu、亚马逊/Lovefilm等(注册品牌)。针对在线视频提供，它们彼此竞争新的商业模型，但是也与本身设立OTT服务的内容拥有者竞争。

-传输质量清楚地落入网络提供商的负责范围内。网络提供商的示例是BBC、德国电信、时代华纳有线。这些网络提供商提供传输基础结构，但是也建立它们自己的VoD提供(BBC iPlayer、Telekom Entertain)，以及

-呈现质量落入设备或手机制造商的首要负责范围内。诸如连接和智能TV、机顶盒(“STB”，包括连接蓝光播放器和游戏机)、PC、平板电脑和智能电话之类的最终用户设备的折中制造商以及操作和标准软件的供货商(微软、Adobe、苹果)向观众(＝订户)提供用户界面。

基于四层质量模型，我们可以总结适用于自适应流传输的针对准确感知度量的要求如下所述：

内容质量的评价：取决于可访问性，要么是原始内容的专业演播室质量，要么是用于分发的(轻度编码)版本被视为表示内容质量。该“参考”质量将形成任何FR测量的基础，用于评价稍后通过编码和转码所积累的压缩伪像的量。因此，自适应流传输质量指标应当能够适应该参考信号。

对媒体流质量的评价：对于自适应视频流传输，当从一个流切换到另一个流时，不仅比特率要改变，而且取决于可用比特率，帧大小(分辨率)和编码器简档也要改变。因此，针对自适应流传输的感知视频质量度量必须适用于分辨率和帧大小的可扩缩性。

对传输质量的评价：适用于自适应流传输的感知质量度量不仅需要对于有线和无线IP网络的所有类型的传输伪像敏感，其还必须适合评价在长期尺度上下文中由对不同比特率的组块进行自适应切换所导致的伪像。这也要求时域中的可扩缩性，从微观尺度(组块长度)到宏观尺度(实际内容长度)。

对呈现质量的评价：感知呈现质量的关键元素将是客户端设备本身：平面屏幕TV、平板电脑或智能电话。除了可以包括完全不同用户期望的屏幕尺寸和观看环境之外，适合自适应流传输的感知质量度量对于由播放器软件引入的所有类型的伪像必须敏感。

总而言之，用于自适应流传输的准确感知视频质量度量不仅应当能够连续跟踪不同的比特率(＝质量)，还能够评价播放器切换流的频率以及在拥塞网络中播放器能够与服务器交互的“平滑”的程度。此外，应当能够针对不同帧大小和帧速率来测量和比较画面质量。最后，为了准确预测感知QoE，应当考虑到设备特性和观看环境。

上面提出的实施例可以而满足所述要求，或至少形成满足所有所有要求的基础。

上面提出的实施例内后的第一理念是：对在自适应视频流传输中一般被视为组块(序列)长度的2秒至4秒视频的分析依然合理地适合当前标准的标准化用例。上面提出的实施例提供了将串联测量合并用于相对长的序列的可能性。

上面提出的实施例背后的第二理念是：所提到的四个质量层(内容质量、媒体质量、传输质量和呈现质量)可被成组为动态和准恒定质量方面：

可以将典型的点播OTT应用的流传输服务器(参见图1中的10和12)上呈现的媒体流的编码质量视为是“准恒定的”。一旦被编码和格式化为不同质量级别，服务器上的文件的编码质量保持不变。

另一方面，针对通过特定网络的针对特定内容的每个请求，传输和呈现质量动态改变。

针对这两个方面的背景，上述实施例能够以下述方式来涵盖准恒定和动态方面：即使在移动设备上，其也实现了将例如FR高度准确视频质量测量与实时测量的组合。因此，使用由两个主要块构成的混合设置：媒体流质量分析(参见64和66)和客户端探测(参见图3)。

媒体流质量分析的任务是确定在流传输服务器(参见图1中的10和12)上出现的特定编码内容的媒体流质量。对于自适应流传输的情况，这意味着针对这种内容的每个质量级别来评估媒体流质量(参见图2和5)。

该分析分两步执行：获取内容以及实际质量测量。

在获取期间，根据上述媒体数据流段24从流传输服务器取回所有编码质量级别(参见图2中的Q₁至Q₄)的所有组块。由于自适应流传输基于TCP来运行，不存在在获取期间将额外引入失真的分组丢失的风险。然而，应当注意确保在没有任何间隙的情况下完全获取内容的所有质量级别，例如该间隙可能有服务器上丢失的组块引起或者有不正确的清单文件引起。

例如上面阐述的，实际媒体流质量分析可被构建在标准化的FR视频质量模型PEVQ之上，其被进一步推进以确保对短长度视频组块的正确分析。在PEVQ中，通常需要提供参考视频(通常是具有高分辨率的原始内容)作为作为输入，而通过使用参考解码器对获取的质量级别进行解码来生成劣化视频。该分析(参见图5)得到了针对每个质量级别的每个帧的质量值集合。通过在特定短视频持续时间(例如，10s)上对这些质量值聚合(参见图4)，有可能计算例如对应视频的符合J.247的MOS分数。

媒体流质量数据库(参见10)将质量值连同相应内容的若干项元信息一起加以存储。然后在动态质量方面的测量期间，数据库中的信息由客户端探测(即图1中的32)来使用。

根据解码视频信号来测量媒体流质量的主要优点在于：分析对于使用的底层编码技术是不可知的。这确保了跨不同编码系统的准确和一致的测量结果。另一值得注意的优点是：由于将媒体流质量视为准恒定的，针对每个内容仅需要生成数据库一次。这意味着需要大量计算的视频解码以及可能的FR质量分析不需要针对每次测试来重复，也不需要在客户端设备上运行，而是可以被分配给专用的离线媒体流质量分析设备。

客户端探测的任务是分析动态视频流传输质量(即，传输和呈现质量)并将其与静态质量方面有关的信息(内容和媒体流质量)加以合并，以计算最终的QoE分数。

为了该目的，探测捕捉传入的HTTP业务，然后是比特流分析：

在该比特流分析期间，可以考虑诸如抖动和分组重新传输之类的网络分组属性。对于流传输的视频内容的每一帧，可以计算客户端处的到达时间。

然后将该信息馈送至流传输播放器模型，该流传输播放器模型对客户端设备上的软件播放器的播出行为进行建模。因此，播放器模型输出表示了在当前网络状况下视频的实际播出行为。这包括诸如初始缓冲(直到第一次播出为止的时间)和重新缓冲/停顿之类的效果。

自适应流传输的高度典型的是：客户端设备上的软件播放器根据网络拥塞以及因此根据缓冲区空转来负责与服务器协商每个组块的比特率。因此，如从播放器所请求的，现在可以针对每个组块和每个比特率在数据库中准确识别媒体流质量的质量值。然后通过将针对所接收的视频序列所存储的质量值加以聚合和后处理，计算流传输的视频的实际质量。

上面提出的混合方案还具有以下优点：在客户端处实际接收到的视频的准确编码质量，而没有FR测量的计算负担，同时后者可以容易地在离线预处理媒体流分析期间执行。

探测可以例如在具有针对数据库的HTTP访问的基于PC的测试器上运行，或者对于移动和便携式应用，探测甚至可以被嵌入在流传输客户端上的软件中，该软件与流传输播放器并行运行。取决于相应的使用情况，例如所谓的移动网络的驾驶和/或步行测试(即，针对车辆中的移动设备或步行中的移动设备的测量)，通常将采用定义明确的且从而高度有限的视频测试序列集合。此外，优选地在客户端设备上存储数据库的离线摘要，以排除在数据库访问期间由附加网络业务对测量所产生的任何影响。

从而，上面解释的实施例的概念实现了多种应用和使用。优化潜力提供了针对所涉及的所有各方的有用指导，即内容拥有者、网络和CDN运营商、OTT服务提供商、以及设备制造商。

该混合架构极其适合将客户端侧的低复杂度比特流分析的优点与真实的基于像素的画面质量分析的高度准确但是复杂的FR测量结合在一起。

即使已在设备的上下文中描述了一些方面，应当理解：所述方面还表示了对对应方法的描述，使得设备的块或结构组件还被理解为对应的方法步骤或方法步骤的特征。通过与之类比，结合方法步骤来描述或被描述为方法步骤的方面也表示对对应设备的对应块或细节或特征的描述。一些或全部方法步骤可以由硬件设备来执行(或同时使用硬件设备)，例如微处理器、可编程计算机或电子电路。在一些实施例中，最重要的方法步骤中的一些或若干可以由这种设备来执行。

取决于具体实现要求，本发明的实施例可以用硬件或软件来实现。可以在使用数字存储介质的同时来实现各种实现方式，例如软盘、DVD、蓝光盘、CD、ROM、PROM、EPROM、EEPROM或闪存、硬盘或任何其他磁或光存储器，其将电可读控制信号存储于其上，其可以与可编程计算机系统协作或合作，使得执行相应方法。这就是为什么数字存储介质可以是计算机可读的。

从而根据本发明的一些实施例包括数据载体，该数据载体包括能够与可编程计算机系统合作以执行本文描述的任何方法的电可读控制信号。

一般而言，本发明的实施例可被实现为具有程序代码的计算机程序产品，该程序代码用于在计算机上运行计算机程序产品时执行任何方法。

该程序代码还可以存储在例如机器可读载体上。

其他实施例包括用于执行本文描述的任何方法的计算机程序，所述计算机程序存储在机器可读载体上。

换言之，本发明方法的实施例从而使具有程序代码的计算机程序，该程序代码用于在计算机上运行计算机程序时执行本文描述的任何方法。

本发明方法的另一实施例从而是数据载体(或数字存储介质或计算机可读介质)，其上记录有用于执行本文描述的任何方法的计算机程序。

本发明方法的另一实施例从而是表示用于执行本文描述的任何方法的计算机程序的数据流或信号序列。数据流或信号序列可被配置为例如经由数据通信链路(例如，经由互联网)来传输。

另一实施例包括例如计算机或可编程逻辑器件之类的处理手段，其被配置为或适于执行本文描述的任何方法。

另一实施例包括其上安装有用于执行本文描述的任何方法的计算机程序的计算机。

根据本发明的另一实施例包括被配置为用于向接收机传输用于执行本文描述的至少一个方法的计算机程序的设备或系统。该传输可以是例如电子的或光学的。接收机可以是例如计算机、移动设备、存储器设备或类似设备。该设备或系统可以包括例如用于向接收机传输计算机程序的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列FPGA)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以执行本文描述的任何方法。一般而言，在一些实施例中，方法由任何硬件设备来执行。所述硬件设备可以是任何通用硬件，例如计算机处理器(CPU)，或者可以是方法专用的硬件，例如ASIC。

上述实施例仅表示对本发明的原理的说明。应当理解：本领域其他技术人员将意识到本文描述的布置和细节的任何修改和变化。这就是为什么本发明预期仅由所附权利要求的范围来限制，而非本文借助对实施例的描述和讨论所提出的具体细节来限制。

Claims (13)

1.一种用于确定包括数据流段(22)的序列在内的媒体数据流(18)的质量的设备，所述数据流段(22)以在媒体内容(20)上变化的质量对比特率级别来传输所述媒体内容的不同媒体段(26)，所述设备包括：

标识符生成器(40)，被配置为利用散列函数，根据每个数据流段(22)来导出相应段(22)的标识符(50)；

查找单元(42)，被配置为针对每个数据流段(22)，通过针对相应数据流段(22)导出的标识符(50)，从查找表(34)中查找参数集(52)；以及

聚合器(44)，被配置为聚合针对传输位于所述媒体内容(20)的测试段中的媒体段(24′)的数据流段(22)所查找的参数集(52)；以及

质量确定器(46)，被配置为基于聚合的参数集来确定质量。

2.根据权利要求1所述的设备，其中，所述标识符生成器(40)被配置为基于相应数据流段(22)的未解码版本来执行所述标识符的导出。

3.根据权利要求1所述的设备，其中，所述数据流段(22)的序列以下述方式来传输所述媒体内容(20)的不同媒体段(24′)：质量对比特率级别的变化以所述媒体数据流(18)的自包含的段(24)为单位来发生，以能够相对于所述媒体数据流的其他段单独再现，每个段(24)包括一个或多个媒体段(24′)。

4.根据权利要求3所述的设备，其中，所述段(24)是GOP或者单独文件。

5.根据权利要求1所述的设备，其中，所述数据流段(22)传输作为媒体内容(20)的视频的画面(26)，作为每种情况下的媒体段(24′)。

6.根据权利要求1所述的设备，还包括：传输伪像检测器(186)，被配置为检测所述媒体数据流(18)的缺陷接收部分，所述质量确定器(46)被配置为针对所述缺陷接收部分来执行对所述媒体数据流的传输伪像的在线定量(88)，以及将针对所述缺陷接收部分所确定的传输伪像用于确定所述质量(96)。

7.根据权利要求1所述的设备，其中，每个参数集包括以下一项或多项：

由相应数据流段传输的媒体段的重构版本与参考媒体内容的对应段之间的基于相关性的相似度度量；

位于相应媒体段内的边缘和位于对应参考段内的边缘的差的度量；

相应媒体段内的块扰动的度量；

相应媒体段和对应参考媒体段内的色度平面的差的度量；以及

位于相应段内的边缘的时间改变和位于对应媒体段内的边缘的时间改变的差的度量。

8.根据权利要求1所述的设备，其中，所述质量确定器被配置为根据聚合的质量参数集的随机分析来确定所述质量。

9.一种服务器，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述服务器在查找表中存储，

针对媒体内容的每个媒体段，针对多个质量对比特率级别中的每一个质量对比特率级别：

参数集，描述相应媒体段以相应质量对比特率级别编码的数据流段的编码质量，以及

标识符，与所述参数集相关联，并且能够利用对于所有数据流段相同的散列函数，根据相应媒体段以相应质量对比特率级别编码的数据流段来导出，以及

被配置为通过返回与所述标识符相关联的质量参数集来响应包括所述标识符在内的请求。

10.一种用于生成查找表的设备，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述设备：

针对媒体内容的每个媒体段，针对多个质量对比特率级别中的每一个质量对比特率级别，生成

参数集，描述相应媒体段以相应质量对比特率级别编码的数据流段的编码质量，以及

标识符，与所述参数集相关联，并且能够利用对于所有数据流段相同的散列函数，根据相应媒体段以相应质量对比特率级别编码的数据流段来导出。

11.一种用于确定包括数据流段的序列在内的媒体数据流的质量的方法，所述数据流段以在媒体内容上变化的质量对比特率级别来传输所述媒体内容的不同媒体段，所述方法包括：

利用散列函数，根据每个数据流段，导出相应段的标识符；

针对每个数据流段，通过针对相应数据流段导出的标识符，从查找表中查找参数集；以及

聚合针对传输位于所述媒体内容的测试段中的媒体段的数据流段所查找的参数集；以及

基于聚合的参数集来确定质量。

12.一种用于生成查找表的方法，包括：

针对媒体内容的每个媒体段，针对多个质量对比特率级别中的每一个质量对比特率级别：

生成参数集，所述参数集描述相应媒体段以相应质量对比特率级别编码的数据流段的编码质量，以及

生成标识符，所述标识符与所述参数集相关联，并且所述标识符能够利用对于所有数据流段相同的散列函数，根据相应媒体段以相应质量对比特率级别编码的数据流段来导出。

13.一种存储计算机程序的计算机可读介质，所述计算机程序包括程序代码，所述程序代码用于在计算机上运行程序时执行根据权利要求11或12所述的方法。