CN103535047A - 流式传输视频内容的方法、监视视频内容流的网络中的节点 - Google Patents

Abstract

本发明涉及一种用于通过经由网络的信道将视频内容从服务器流式传输到客户端的方法。视频内容作为一组连续片段被提供，所述一组连续片段中的各个片段以相应于各自的编码数据率的多个质量等级被提供。所述方法包括在所述客户端处传送一个或多个片段的请求和经由所述网络接收针对所述请求的包括具有目标质量等级的一个或多个片段的回复。在所述客户端处显示这些视片段。在捕获节点处捕获所述会话的请求和/或针对所述请求的回复。捕获的数据被用于重建如在所述客户端处所体验（QoE）的会话的至少一部分。

Description

流式传输视频内容的方法、监视视频内容流的网络中的节点

技术领域

本发明涉及联网的视频流式传输（streaming）服务，具体地涉及通过超文本传输协议（HTTP）（例如HTTP自适应流式传输（HAS））提供的视频流式传输服务。

背景技术

在一种典型的实施中，通过HTTP协议来提供基于互联网的视频流式传输服务。由于作为传输网络的互联网的服务质量基本上是“尽力而为”，因此协议已经被设计为通过为所传输的内容在不同等级的视频质量之间动态地切换，在任何给定的时刻最大限度地利用服务器和客户端之间的可用带宽。HTTP自适应流式传输是一个示例。

因此，在当所述可用带宽较高的时刻，例如由于整个网络流量的降低而导致可用带宽较高时，对以相对高质量编码的视频进行流式传输是有利的，会呈现出具有高数据率和/或解析度和/或高帧率的图像。类似地，在当所述可用带宽较低的时刻，例如由于整个网络流量的增加而导致可用带宽较低时，对以相对低数据率编码的视频进行流式传输是有利的，会呈现出具有低解析度和/或低帧率的图像。

HTTP自适应流式传输（HAS）是用于视频传输的新兴技术。工业界领袖例如微软（平滑流式传输）和苹果（直播流式传输）支持HAS。HAS的一个优势在于用于HTTP网页内容的现有基础架构（包括HTTP服务器和代理、CDN、等等）可被重新用于视频分发。

虽然作为新的、改进的视频传输解决方案的HAS越来越流行，但是目前对于提供商（内容提供商、ISP、CDN提供商）来说跟踪到客户的传输质量是不可能的。

发明内容

根据本发明的一个方面，提供了用于通过经由网络的信道将视频内容从服务器流式传输到客户端的方法。所述方法包括所述服务器提供所述视频内容来作为一组连续片段，所述一组连续片段中的各个片段是以对应于各自编码数据率的多个质量等级而被提供的。即使连续片段有不同的质量等级，所述客户端也能够接收并且显示所述片段。作为在所述方法期间的会话的一部分，所述片段被请求并且被接收。根据所述方法所述会话包括传送针对将被显示在所述客户端处的所述视频内容的具有目标质量等级的片段的一个或多个请求。从所述客户端通过所述网络向所述服务器发送所述请求。此外所述方法包括在所述客户端处通过所述网络接收针对所述请求的一个或多个回复。所述回复可包括具有目标质量等级的所请求的片段。此外所述一个或多个接收的片段在所述客户端处被显示。所述方法的一个实施例是HTTP自适应流式传输。

根据一个实施例，所述方法还包括在所述网络中捕获所述会话的请求和/或针对所述请求的回复。所述方法还包括重建所述会话的至少一部分。这将允许获得如在所述客户端处所体验的关于所述会话的参数。与重建的会话相关的参数可以与服务质量、体验质量相关。重建的会话可以仅与会话变量/参数相关，而不与实际的内容相关。

因此，会话参数被重建并且可用于提高服务或监视服务的结果。

在本发明的实施例中，重建如在所述客户端处所体验的所述会话的至少一部分可包括重建在所述客户端处选择的片段质量、缓冲器填充、和用户交互（例如，暂停/恢复，视频光标重定位、等等）。在所述会话期间，这些参数与所述视频的实际播放和显示相关。

作为示例，描述了在所述客户端处重建用户交互。即使由所述客户端发送的请求没有包括由所述用户与所述客户端进行交互的指示，从所述请求和所述客户端的行为来推断并且因此重建使用所述客户端的用户交互（例如，暂停）是可能的。如果在可能的暂停事件后，所述客户端示出请求/回复模式，该请求/回复模式通常用于所述客户端的稳定态条件，其中所述客户端的缓冲器被完全填充，则这可被推断为所述用户暂停回放。

本发明的特征允许在所述重建的会话可用时从所述重建的会话估算可能的（HAS）视频效应（artifact）。视频效应的列表包括图像定格（picturefreeze）、质量降低、质量变化和交互时延，以下将更详细地阐述。这些视频效应允许量化用户体验。根据本发明这些视频效应中的任何一个可以是所述重建的一部分。

可以在物理上在所述客户端处或在所述服务器处或在所述客户端和所述服务器之间的任何中间点处捕获所述请求。

在一个实施例中，本发明的所述方法还包括测量在所述客户端处的可用的信道数据率，并且所述目标质量等级还被选择作为可用的信道数据率的函数。在一个实施例中，考虑了用于传输所述片段的传输时间。在一个实施例中，所述缓冲器填充是用于选择所述目标质量的参数。

在本发明的所述方法的一个实施例中，所述请求的传送包括发送HTTP请求数据报。在一个具体实施例中，所述目标质量等级由至少一个统一资源定位符来指示。在一个具体实施例中，所述目标质量等级由参数来指示。在一个实施例中，所述请求是至少包括捕获时间和片段质量等级的HTTP-获取（GET）。

在一个实施例中，重建如在所述客户端所体验的所述会话的至少一部分包括外插所述重建会话的至少一个参数。虽然作为所述方法的一部分，优选捕获所有请求和回复，但是缓冲，特别是本地缓冲，可能导致捕获点/节点没有接收请求和回复。丢失的会话信息通过从在中断前和中断后对最新接收的会话信息执行内插来进行重建。

在一个实施例中，所述方法包括通过所述网络传送所述重建的会话。所述重建的会话可被提供给提供商（内容提供商、ISP的提供商、CDN提供商）来跟踪到所述客户的传输质量。

根据本发明的一个方面，提供了在用于将作为一组连续片段的视频内容在会话中经由节点从服务器流式传输到客户端的网络中的节点。所述会话将在所述客户端处被显示。所述客户端将看到所述连续的片段。所述一组连续片段的各个片段以多个质量等级被提供。会话可包括不同质量等级的连续片段。在所述会话期间具有目标质量等级的片段的请求从所述客户端被发送给所述服务器，并且包括针对所述请求的具有目标质量等级的一个或多个片段的回复被发送给所述客户端。

在一个实施例中，所述节点包括用于捕获至少一部分所述会话的至少一个捕获设备和用于重建如在所述客户端所体验（QoE）的所述会话的一部分的至少一个重建设备。通过在节点处捕获所述会话的一部分，在所述客户端处不适配播放器的情况下，可获得关于所述会话的质量的细节。本发明的思想是使用捕获的会话部分来重建在所述用户处的会话体验。原始请求和回复数据没有用于在所述客户端处的所述会话的服务/体验质量的指示，也没有用于在所述客户端处的所述体验的指示。然而重建可被用于使用在所述节点处捕获的所述会话数据重建在所述客户端处的所述会话。

所述请求/回复的传输时间被考虑作为在所述请求自身的内容之上另外的变量。

在本发明的一个实施例中，所述重建设备被布置来重建在所述客户端处的用户交互。通过分析所述请求和/或回复和所述内容，例如所述片段的请求的质量等级，能够在所述客户端处从所述请求的片段来推断回放的暂停。

在一个实施例中，所述重建设备被布置为在所述会话期间重建客户端处的缓冲器填充和图像定格。缓冲器填充和图像定格分别是重要的会话质量和会话视频效应。所述缓冲器填充的重建通过考虑所述请求和响应的内容和所述请求和响应的传输时间来获得。还可以考虑另一些客户端特征，例如播放器特点。

还可以重建其他会话质量和视频效应。

所述节点还可包括用于通过所述网络传送所述重建的会话的传送设备。这使得收集的信息可被获得。

根据本发明的另一个方面，提供了用于在会话中当接收到来自客户端的请求时对作为一组连续片段的视频内容从服务器进行流式传输的网络，其中所述一组连续片段中的各个片段以对应于各自的编码数据率的多个质量等级通过信道被提供。根据本文所描述的任何实施例，所述网络包括节点。

“由所述客户端所体验的会话”包括与所接收到的会话数据的感知相关的至少一些服务质量参数。

“用户交互”在本文中被定义为流式视频内容的任何形式的呈现而不是正常速度的回放。

附图说明

现在，依照本发明的实施例的设备和/或方法的某些实施例并且参照附图仅通过示例的方式被描述，其中：

图1示出本发明的方法的实施例的流程图；

图2示出本发明的网络的原理图；

图3是本发明的实施例的原理图；和

图4-5示出使用根据本发明的方法的重建会话参数的示图。

具体实施方式

在以下描述中，假设了在客户端和服务器之间的交互，客户端和服务器以通常的方式被定义为参与网络协议的具有不同作用的主机。

本领域的技术人员将了解归属于所述“客户端”200的动作可由被配置为与所述服务器交互的硬件和/或软件的任何组合来执行，并且这样的动作可能是或可能不是由所述客户端设备的人工操作来明确发起。

同样，归属于所述“服务器”270的动作可由被配置为由与所述服务器交互的硬件和/或软件的任何组合来执行，并且特别地由包括在内容分发网络（CDN）261或存储区域网络（SAN）或HTTP代理的实施设备中的服务器装置来执行。

为允许在视频编码率之间动态地切换，视频服务器270为流式传输的内容的不同时间片段生成分开的视频文件（例如，根据文件格式（例如MP4）被编码为文件的视频段或视频块），所述分开的视频文件中的每个以各种质量（例如以不同的数据率编码）被提供给所述客户端。

在一个实施例中，所述客户端200不时地或持续地评估从所述服务器270、261到所述客户端200的下行链路的可用带宽，并且依照该评估来请求130下一个请求的片段的适合的版本。根据一种方案，所述客户端请求130以低于当前测量的下行数据率的最高数据率编码的版本。根据另一个方案，所述客户端考虑关于信道带宽波动的统计信息来确定最适合的编码率。

根据以上方案由所述客户端选择的不同的片段可利用专用的统一资源定位符（URI）来编址。通过这种方式，所述客户端只需要为每个新的片段选择合适的URI。可获得的版本和他们的URI连同在播放列表或“清单”文件中相关联的元数据由所述服务器来记录。

结合CDN缓存261，其提供所述视频块的缓存和分发，并且因此卸载原始HTTP服务器，自适应流式传输以可扩展的方式通过尽力而为的互联网提供平滑视频呈现体验。

本发明的中一个实施例使用HTTP自适应流式传输（HAS）。在HAS中内容以几种比特速率被编码并且以典型的若干秒的视频片的形式被分割。包括在播放中的描述不同片段的信息和可用的质量等级被包括在所谓的清单文件中。这个清单文件在HAS-服务器/代理处是可获得的。在片段的播放和下载开始前，所述清单文件由所述客户端取回。

为避免图像定格，所述客户端软件将应用播放缓冲器，该播放缓冲器范围跨度从用于（接近）直播的HAS流式传输的7秒到用于按需点播传输的超过30秒。基于若干标准例如实际的缓冲器填充和所请求的片段的测量的传输时间，所述客户端软件将确定必须被下载的下一个片段的质量等级。

在用于QoE监视的现有方法中，捕获文件或实时的捕获信息被用于检测一般的网络损伤（时延、丢包、抖动、突发分组、等等）。基于这些观测到的损伤，做出关于将由所述用户感知的虚拟的视频效应（图像锁住、定格、不同步、细节丢失、等等）的预测。基于这些视频效应，可以确定整个会话的质量分数。由于在视频流中的视频压缩，当分组丢失的影响例如严重地依赖于帧类型（I/P/B）、场景中的运动数量、在所述压缩中所使用的运动向量时，这个方法变得非常复杂和容易出错。

本发明的实施例的一个目标是简化现有技术中的方法。

本发明至少部分地基于使用捕获文件（或实时捕获）来重建整个（HAS）会话（包括选择的片段质量、在（HAS-）客户端处的缓冲器填充、和用户交互（例如，暂停/恢复、视频光标重定位、等等））的思想。

（HAS-）会话重建的技术提供若干新的可能性。ISP、CDN提供商和内容提供商可以清楚地知道每个（HAS）传输的质量。早期检测到有问题的（HAS）传输能够避免客户扰动。累积的HAS测量将使得提供商能够监视、检查、检修网络的HAS传输能力。在本发明的高级实施例中根据本发明的所述方法和节点可被用于实质地减少图像定格的数量和客户的交互时延，提高平均QoE体验。

在本发明的实施例中，本发明的思想与已知的视频流式传输技术组合。

现在，参照图1来更详细地描述本发明方法的实施例。在步骤110中，可以估计某些本地和/或网络参数，该过程可连续地执行、或间断地执行，例如在接收到每个针对片段的请求时执行一次。网络参数可以是可用的带宽。本地参数可以是缓冲器填充。不同的参数可以按照组合的方式来估计。此外，可以考虑如由所述用户指示的期望的回放模式。

来自步骤110的信息在步骤130中被组合，从而生成具有与在步骤110中所考虑的参数相一致的质量等级的片段的请求。

所述请求的结果是，在步骤140处适当的片段被接收。然后，在步骤150处所述片段由所述客户端显示。在流式传输中，可以（例如在显示（接收的）更早期片段前）发送针对接收进一步的片段的请求。

现在，参照图2更详细地描述本发明的设备的实施例。所述设备是经由网络260（例如互联网）连接到视频服务器270的客户端设备200（例如机顶盒、个人计算机、移动电话、或类似的）。所述网络的一部分可以是CDN261。

将所述客户端设备200连接到所述网络260的接入链路可以是例如xDSL线路、WiFi链路、3G移动链路、WiMAX链路、或任何其他类型的连接。所述视频服务器270的功能可以由内容分发网络（未示出）的一个或多个元件或代理元件来执行。不失一般性，所述视频服务器270被示出为已经接入三个版本271、272、273的特定项的视频内容。各个版本271、272、273包括一组确定持续时间的片段。

在所述客户端设备200内，处理设备210估计将所述视频服务器270链接到所述客户端设备200的可用参数，例如所述网络260的下行信道的数据率。这种评估可包括估计带宽。所述评估可另外地或替代地包括测量下载已知的数据量所需的实际时间量；特别地，所述数据率的评估可包括测量输入的片段的一个片段或各个片段的传输的持续时间。

所述客户端设备200还包括用户输入装置（未示出），该用户输入装置可以是远程控制装置、鼠标、键盘、或专用控制面板、和必需的驱动以解释由这样的设备提供的信号。所述用户输入装置运行所述用户选择期望的回放模式，例如慢速回放、全速回放、快进、暂停/恢复、视频光标重定位、改变视角、等等。所述期望的回放模式可由所述处理设备210来评估。

基于从所述处理设备210所获得的信息，请求代理230从由所述视频服务器270提供的质量等级271、272、273中选择目标质量等级。优选地，所述目标质量等级是最高的可持续的质量等级，所述最高的可持续的质量等级可以被下载而不会在下游链路上引起拥塞、并且可以基本上按照其被下载的速率通过显示相应的视频内容而被消耗。这种确定可以根据以上所描述的估算来做出。一旦确定了所述目标质量等级，就生成请求以在所选择的目标质量等级获得下一个片段或多个片段。所述请求根据由所述服务器270支持的协议的要求被格式化。优选地，所述请求是HTTP“get（获取）”请求，其中相应于一个或多个特定质量等级来指定URI。更优选地，所述请求还包括相应于由所述URI指定的那些质量等级中的一个特定质量等级尤其是所选择的目标质量等级的参数。

为响应于所述请求，所述视频服务器270通过所述网络260向所述客户端设备200传送适当版本的所请求的视频片段。使用可扩展的视频编码或类似的编码技术，作为不同质量等级的版本217、272、273的一部分，给定质量等级的单个片段可以在多个文件中被呈现。本领域的技术人员将了解属于同一片段的不同文件和属于同一视频流的不同片段的文件可从不同的源通过所述网络260被传送到所述客户端设备200，尤其是在目标在于优化存储使用的网络架构中，例如在内容分发网络261中。为了阐述本发明方法的操作的目的，这种情况与单个集成的视频服务器270的情况相比没有什么不同。

所述客户端设备200的接收设备240接收所述片段，并且将其传递到显示器250。所述显示器250执行通常的解密和解码步骤，并且适配帧速率和/或所述视频流的解析度以使得所述内容根据所选择的回放模式而被显示）。所述显示器250还可包括构建在所述客户端设备200中的真实的显示器。可替换地，所述显示器250可包括连接外部显示器的接口。

连续传送请求的结果是，在所述客户端设备200处一组连续片段将被接收。

依赖于例如所述片段的质量等级，显示接收的片段将导致所述用户的某种体验。在评估在所述客户端处的所述质量等级中可被考虑的视频效应的示例的非限制性列表是：

-图像定格

-低质量

-质量变化

-交互时延

图像定格可能是客户端缓冲欠载运行的结果。当在所述客户端的带宽估计/感知和所述网络中的实际可用带宽之间存在（暂时的）失配时，这种情况可能出现。图像定格可由带宽波动、或缓存与未缓存的片段的混合触发。

如果所述可用的带宽是较低的，那么所述客户端将为其片段的下载选择较低（更低）质量。通过这种方式，所述客户端将为图像定格保护观看者。

由于许多原因（包括竞争的HTTP自适应流式传输客户端），每个客户端感知的带宽可能波动。基于所感知的带宽，所述客户端调节选择的质量。每次所述质量被调节时，所述用户的观看体验会潜在地被干扰。

在许多HAS客户端中，所述用户有重定位视频光标或执行另一种类型的用户交互的能力。对大多数类型的交互（除了暂停/恢复）来说，所述HAS客户端将不得不使得其当前片段的缓冲作废并且必须从擦除开始再次填充这个缓冲器。交互时延可被定义为包括在实际的用户交互和新序列的第一图像的显示之间的等待时间。

需要注意的是除了这四种类型的HAS视频效应外，其他的（潜在的）视频效应可由HAS算法和底层协议（例如用于时间估计和同步的HAS、用于重传的TCP）内部解决。

图3是使用网络300的本发明的实施例的另一种呈现。网络300仅原理性地示出为客户端301和服务器302之间的单个连接。本领域的技术人员将理解不同的和/或多个连接是可能的。

所述网络300允许传送针对目标质量等级的片段的请求和传送针对所述请求的包括目标质量等级的片段的回复。

节点303是所述网络中的节点并且可在所述服务器303和客户端301之间的连接内的任何位置处。在实施例中节点303物理上位于所述客户端301上或所述服务器303上。在一个实施例中，安装在所述客户端301上的软件构成所述节点303。

通过网络300的HAS流在节点303处被捕获。在这个应用中捕获被理解为在所述节点处复制（部分）HAS流的步骤。捕获可包括在节点处探测、偷听或干扰。

在本发明的实施例中，包括作为HAS会话的一部分被发送的至少某些请求和针对所述请求的回复的捕获数据被用于重建在所述客户端处的会话的服务质量（=体验）。重建在所述客户端处的会话允许获得在客户端处的关于所述服务质量和关于HAS会话的用户体验的数据。

为执行完整重建所述会话这一过程，从所述捕获的HAS流中可以获取304以下信息：

1）在HTTP消息级别

a.每个片段的请求时间：HTTP-GET的捕获时间；

b.请求的片段质量：在所述HTTP-GET的请求的URL中作为参数可获得；

c.单个片段的播放时间：在所请求的URL中或在所述清单文件中可获得；

d.片段持续时间：固定的或在所述清单文件（其它）中可获得；

e.所述片段的第一字节的到达时间：HTTP-OK报头的捕获时间；

f.缓存指示：如果所述客户端已经执行有条件的获取并且同时在所述服务器中的数据没有改变，则使用HTTP消息304“NotModified（未修改）”。

2）在TCP消息级别

a.HAS片段的最后字节的到达。

3）在HAS客户端301级别

a.从所捕获的数据，检测所使用的客户端软件也是可能的。

当关于所使用的客户端软件的信息是可获得的时，这个信息可被用于例如找出由这个客户端（-版本）所使用的最大缓冲器填充或这个客户端的其他重要行为特征。所述客户端软件的行为特征的示例是例如当所述缓冲器填充下降到某个应急（panic）阈值之下时所述客户端跳跃到最低的质量等级。

在一个实施例中，客户端版本（在平滑流式处理的情况下由*.XAP文件表示）可从文件名、文件大小和可使用的文件的哈希组合来确定。

作为重建在客户端处的会话参数的一部分，也可为各个检测的客户端版本推断客户端特征。推断的特征可以是基于观测的检索模式。而且客户端特征可以是最大的缓冲器填充、应急阈值等级、等等。

在一个实施例中，不同的节点303可一起工作并且将客户端的特征信息转发给在所述网络中的中心服务器（在图3中未示出），从那里所述客户端行为信息被验证、过滤并且结论被再次分发给所述节点303。

捕获的会话数据304被输入到重建算法305，该算法将在以下被更详细地描述。

所述重建将允许获得关于在HAS客户端处的用户的体验的参数306。重建的参数可用于重建307会话的视频效应，例如图像定格、质量下降、质量变化和交互时延。这些参数值可用作呈现使用客户端301的用户的体验的数据。复制的会话信息可通过网络300被提供308给在网络中的更中心的点（例如网络分析器实体），例如为有关主体（例如内容提供商、网络提供商或CDN提供商）收集信息的网络分析实体。

现在，将描述用于重建所述会话的具体处理步骤的另一个实施例。

在片段被本地缓存在浏览器中或在位于所述节点303和终端用户301之间的HTTP代理中的情况下，在所述节点303中这些片段的请求将丢失。因此，这些缓存的片段所使用的质量等级对所述节点303仍旧不可见。

重建丢失的质量等级可使用所述丢失的质量等级的简单外插来执行。如果在丢失的片段前最后的可获得的质量等级是等级1质量、并且下一个质量等级（在所述丢失的片段后）也是等级1，那么丢失的等级可被设置在等级1。

在一个实施例中使用元件（例如当前的缓冲器填充）、客户端的特征（例如向上或向下移动质量的阈值等级）、在某些时间量中在向上和向下方向中可采用的最大数目的质量步长、在丢失的片段后缓冲器填充的等级、等等来推断质量等级。

在图4中，示出了示例性实施例。如果特定的客户端将质量增加动作限定于例如每10秒最多一个质量等级的增加/减少，并且如果从等级n到等级n+3的特定转换需要30秒，那么基于这个情况，在不知道在这个30秒期间接收到的片段的情况下，可准确地估算中间质量等级。

在这个示例中，在大约30秒的时间期间，探测装置（probe）303没有接收到任何片段/请求。当探测装置接收到新的片段时，所述片段是第n+30片段。为了继续播出（playout），应该已经由客户端请求的片段没有被探测装置接收到。这种情况的原因可能是这些片段（片段n+1到片段n+29）先前（在前一播出中）被请求并且被以下两者之一提供服务：

1）从网页浏览器的本地缓存中被提供服务；

2）从客户端和HAS探测之间的中间节点的缓存中被提供服务。

基于每个片段的持续时间（例如1秒）、每个片段必须被播出时的时间（seqnr）和假设的播放进程（每1秒有1秒的缓冲），所述HAS会话重建算法（HAS-SR）可将丢失的片段外插在会话中（例如在最后被接收的片段（n）和下一个被接收片段（n+30）之间按照相等间隔）并且基于这个估计来估算可能的缓冲器欠载的可能性和持续时间。

由于关于片段n+1和片段n+2的信息没有被捕获，因此所述探测装置303没有接收到所请求的视频质量（VQ）的任何指示。片段n用VQ1来请求并且片段n+30用VQ4来请求。当所述HAS-SR识别了特定的客户端/客户端版本并且已知这个客户端在前一个提高所述VQ后的10秒的帧时间后将只提高VQ时，如在这个图中所示所述HAS-SR算法推断质量转换。通过这种方式，转换到VQ3和稍后转换到VQ4的时刻可被准确地估计。

在一个实施例中，部分重建在客户端处的会话包括跟踪缓冲器填充。依靠所述缓冲器填充，利用带宽中的波动可导致或不导致图像定格。为此，在会话中的任何点处所述缓冲器填充等级（以秒为单位）将被确定为会话重建过程的一部分。

在一个实施例中，当跟踪所述缓冲器填充时，考虑若干因素/事件：

-视频数据的到达：通过所述HTTP/TCP消息可被检测；

-视频数据的规则播放：等于流逝时间；

-实际的缓冲器填充：当低于零时，播出将挂起；

-用户交互，例如

○重定位所述视频光标：将所述缓冲器置零直到新的数据到达；

○暂停/恢复动作：挂起播放。

在一个实施例中，重建在所述客户端处的所述会话的一部分包括考虑与所述客户端301的用户交互的影响。在用户交互被包括的情况下，所述缓冲器填充不能被确定性地预测。原因在于HAS客户端301不向服务器300提供关于正在进行的用户动作的信息。这些用户动作干扰所述缓冲器填充的确定性的预测。

一个示例是当所述客户端算法正快速填充所述缓冲器时（例如在初始载入期间或在用户重定位之后）所述观看者使用暂停按钮的情况。在客户端的GET模式中，这个用户动作的影响不是立即可见的，因为所述客户端将使用这个暂停来将所述缓冲器进一步快速填充到安全的缓冲值。因此，所述暂停潜在地仍旧没有被HAS会话重建注意到，导致所述缓冲器填充的过低估计。所述客户端启发式地给出没有达到其全部缓冲器能力的现象。

图5示出一个示例。一般在初始载入期间，片段被连续地载入以填充所述客户端缓冲器。在这个初始载入期间后，所述客户端将切换到稳定态行为，其中在片段之间插入另外的等待时间以避免缓冲器溢出。

在这个示例中，在初始载入期间，在t=x1处用户暂停播放器。在暂停期间播放器将继续请求另外的片段并且接收将会继续。在客户端处实际的缓冲器填充由图400示出。在x4处，由于接收到随后的片段，缓冲器填充增加。这种增加在x5处结束。由于所述暂停，没有从所述本地缓冲器显示的数据，所以缓冲器的实际填充保持在那个等级。

实际的缓冲器填充400以随后的步长增加，直到用虚线指示的最大等级。对于可用的播放器，典型的最大等级是在20秒和40秒之间。只有在x2处由于从所述缓冲器中显示片段，因此所述缓冲器等级将降低。其后，片段的后续请求和接收这些请求/目标片段导致缓冲器填充等级在缓冲器最大值附近。

在捕获节点处所述请求和回复被捕获。在一个实施例中，所述重建方法假设连续播放。随着重建中的时间进展，构建了图形401。在两个图形400、401之间的‘高度’差异恰好等于在那个时刻暂停的长度。

由于所述暂停，探测装置过低估计实际的缓冲器填充。

在所述会话的重建中似乎是所述客户端的缓冲器有由404所指示的最大缓冲器等级。如果在探测装置中客户端的播放器的缓冲器填充的最大等级是已知的（例如由于由这个探测装置所处理的先前会话或当探测装置从所述网络中的中心收集和信息点接收到这个信息时），所述重建方法可校正所述过低估计。可以估计时间差异406。时间差异406与实际暂停的持续时间（在x1和x2之间）相一致。在所述重建方法中，因此重建暂停而不实际接收这样的信息是可能的。

另一个示例是所述用户将暂停与重定位到更远离于播出中的点组合的情况。在这种情况下，所述会话重建可合理地假设丢失的GET和OK是由中间缓存引起的。此外在这种情况下，估计的缓冲器填充等级可能不同于在客户端中的实际的缓冲器填充等级。

在这种情况下，关于所使用的客户端的启发式的信息（例如由所述客户端-（版本）应用的最大缓冲器填充）将被用于校正所述缓冲器填充。通过检测何时所述缓冲器时处于稳定态，所述缓冲器填充可被准确地调节。通过监视完整的会话重建，即使在节点303中没有接收到关于在所述客户端301处的某些用户动作的输入，所述缓冲器填充被准确地调节也是可能的。

在基于按照请求的片段质量和实际的缓冲器填充来重建所述HAS会话的实施例中，估算所述会话的QoE参数是可能的，包括但不限制于：

-图像定格：图像定格的次数、图像定格的全部时间、初始交互时延；

-播出质量：平均播出质量、最高播出质量、最低播出质量；

-质量变化：质量转换的次数（向上/向下）、在质量转换中的步长的平均数目；

-全部的交互时延，每个用户动作的平均交互时延。

另外，可以提供关于平均和最高的缓冲器填充（作为用于所述片段的平滑传输的测量）和关于观测的用户行为（暂停次数、全部的暂停时间、用户重定位、快速移动和跳跃、片段受欢迎性、等等）的信息。

使用这些QoE参数，现在对于ISP、内容提供商和CDN提供商来说当传输HAS内容时持久地测量、监视和跟踪所述网络的全局性能是可能的。此外ISP和CDN提供商可在所述网络中执行HAS故障排除。重建还允许内容提供商和CDN提供商为可以是服务水平协议（SLA）基础的HAS传输确定可测量的对象。此外，可以定义HAS服务传输质量的最小值。

由于重建在所述客户端的QoE并且提供所述QoE数据，关于HAS会话的缓存问题可被优化。

经常用非常低的缓冲器填充来请求在所述视频内容的开始处或在所述视频内容中的某个受欢迎的跳跃点处的片段（由于初始载入或由于用户光标重定位）。当他们被请求时基于平均的缓冲器填充，所述网络可决定在更接近于终端用户的缓存中存储这些片段。另一个可能性是在所述节点的缓存移除策略中考虑每个片段的平均缓冲器填充。被经常用低的缓冲器填充请求的片段可在所述缓存中被保留更长的时间。在这两种情况中，初始等待时间和所述交互时延可被显著地减少。

需要注意的是与运行以每个请求为基础提供其实际缓冲器填充的（修改）客户端相比，可以认为在可信网络节点中进行重建是更安全的。这样的客户端可能更加容易被操纵或入侵来恶意地报告非常低的缓冲器值以便从所述网络中获得不公平的资源量。

所述HAS-SR功能可运行在被包括在HAS流传输的节点中并且可将若干另外的参数（例如当前缓冲器填充、用户动作（例如暂停/恢复）、等等）添加到原始请求中以通知中间节点。

在图中所示的各种元件的功能，包括标记为“代理”或“处理器”的任何功能块，可通过使用专用硬件和能够执行与适当的软件相关联的软件的硬件来提供。当由处理器来提供时，所述功能可由单个专用处理器、由单个共享处理器、或由多个单个处理器（其中一些可被共享）来提供。此外，明确使用的术语“处理器”或“控制器”不应被认为是排他地指能够执行软件的硬件，并且可隐含的包括并且不限于：数字信号处理器（DSP）硬件、网络处理器、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、用于存储软件的只读存储器（ROM）、随机访问存储器（RAM）、非易失性存储器。其他的硬件，传统的和/或定制的，也可被包括在内。类似地，在图中所示的任何切换仅是概念性的。他们的功能可通过程序逻辑运行、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至通过手工地执行，如从上下文可更具体的理解特定技术是可由实施者选择的。

Claims (14)

1.一种用于通过经由网络的信道将视频内容从服务器流式传输到客户端的方法，所述服务器提供所述视频内容来作为一组连续片段，所述一组连续片段中的各个片段是以对应于各自的编码数据率的多个质量等级而被提供的，所述方法至少包括以下会话：

-经由所述网络从所述客户端向所述服务器传送针对将被显示在所述客户端处的具有所述视频内容的目标质量等级的片段的一个或多个请求；和

-在所述客户端处，经由所述网络接收针对所述请求的包括具有目标质量等级的片段的一个或多个回复，

其中一个或多个片段在所述客户端处被显示，其中所述方法还包括：在所述网络中捕获所述会话的请求和/或针对所述请求的回复、并且重建如在所述客户端处所体验的会话的至少一部分。

2.根据权利要求1所述的方法，其中重建如在所述客户端所体验的会话的至少一部分包括重建所述客户端处的缓冲器填充和/或图像定格。

3.根据权利要求1或2所述的方法，其中重建如在所述客户端所体验会话的至少一部分包括重建客户端选择的质量等级和质量变化。

4.根据前述权利要求中任何一项所述的方法，其中重建如在所述客户端所体验的会话的至少一部分包括重建所述客户端处的用户交互。

5.根据前述权利要求中任何一项所述的方法，其中重建如在所述客户端所体验的会话的至少一部分包括发送HTTP请求数据报。

6.根据权利要求5所述的方法，其中所述请求是至少包括捕获时间和片段质量等级的HTTP-获取。

7.根据权利要求5或6所述的方法，其中所述目标质量等级由至少一个统一资源定位符指示。

8.根据前述权利要求中任何一项所述的方法，其中重建如在所述客户端所体验的会话的至少一部分包括外插所述重建会话的至少一个参数。

9.根据前述权利要求中任何一项所述的方法，该方法还包括通过所述网络传送所述重建的会话。

10.一种用于在会话中经由节点将视频内容作为一组连续片段从服务器流式传输到客户端的网络中的节点，其中所述一组连续片段中的各个片段是以多个质量等级被提供的，所述会话包括：从所述客户端向所述服务器发送针对具有目标质量等级的片段的请求、和针对所述请求的包括具有目标质量等级的一个或多个片段的回复，所述节点包括：

-至少一个捕获设备，用于捕获所述会话的至少一部分；

-至少一个重建设备，用于重建如在所述客户端处所体验（QoE）的所述会话的一部分。

11.根据权利要求10所述的节点，其中所述重建设备被布置为重建在所述客户端处的用户交互。

12.根据权利要求10或11所述的节点，其中重建设备被布置为重建在所述会话期间所述客户端处的缓冲器填充和图像定格。

13.根据权利要求10至12任何一项所述的节点，其中所述节点还包括用于通过所述网络传送所重建的会话的传送设备。

14.一种用于在会话中根据来自客户端的请求将视频内容作为一组连续片段从服务器进行流式传输的网络，其中所述一组连续片段中的各个片段是以对应于各自编码数据率的多个质量等级被提供的，所述网络包括根据权利要求10至13中任何一项所述的节点。

Images