CN102014300B - 视频点播中实现快速浏览功能的装置 - Google Patents

Abstract

本发明涉及一种能够在进行视频点播时实现快速浏览功能，同时有效的降低所消耗的带宽的装置。本发明提供一种内容提供装置，通过网络与内容播放装置连接，具有：接收单元，接收从内容播放装置发送的浏览内容的快进用数据的快进请求信号；视频信号产生单元，根据快进请求信号，对于包含在浏览内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别对时间及信噪比选择一个以上的分层，并产生视频信号；发送单元，将视频信号产生单元产生的视频信号发送给内容播放装置。本发明也可以应用于本地播放视频文件。

Description

视频点播中实现快速浏览功能的装置

技术领域

本发明涉及一种网络视频服务中的视频点播装置，特别涉及在视频点播应用中利用可扩展视频编码实现快速浏览功能的内容提供装置和内容播放装置。

背景技术

网络视频服务将会越来越普及，视频点播(VOD)将会成为网络视频服务的主要应用之一。相对于其他应用，VOD提供的最重要的用户体验就是快速浏览(如快进或快退)，因而如何在VOD中实现快速浏览功能是一个非常重要的问题。

解决这个问题的难点在于如何减少实现快速浏览功能所需的带宽。举例来说，如果某客户端选择以8倍速进行快速浏览，理论上其可以要求服务器每隔8帧发送一帧。但是，由于视频编码为了提高压缩率往往采用帧间预测的方法，从而使得某些视频帧之间具有一定的依赖关系，不能单独解码。因而为了实现快速浏览内容的解码，服务器还须发送目标帧的所有参考帧。因此，最极端的情况下，实现8倍速快速浏览需要消耗8倍于正常视频流码率的带宽。快速浏览的速率越高，其带宽需求也越高。因而如何尽量减少快速浏览的带宽消耗是非常重要的。

发明内容

已经有一些工作在试图解决这一问题。比如，实现快速浏览的方法是只发送I(帧内预测编码，Intra-coded)帧，由于I帧可独立解码，这样就不需要发送多余的参考帧了。但是该方法也存在一定的问题。一个问题是该方法所支持的快速浏览的速度受限于I帧的间隔。假设I帧的间隔是15帧，容易理解所支持的速度只能是15帧的倍数。另一个问题是该方法的带宽消耗仍然较高。通常一个视频序列由I、P(帧间预测编码，Predictive-coded)和B(双向帧间预测编码，Bidirectionalpredictive-coded)帧构成，I帧的大小要远远大于P和B帧。但是快速浏览内容只由I帧构成。根据测试，快速浏览内容的码率是正常码率的3~4倍。

因而需要一种简单有效的能够支持快速浏览同时降低带宽消耗的方法。

本发明的目的是提供这样一种装置，能够在进行视频点播时实现快速浏览功能，同时有效的降低所消耗的带宽。

本发明提供一种内容提供装置，通过网络与内容播放装置连接，

具有：

接收单元，接收从上述内容播放装置发送的浏览上述内容的快进用数据的快进请求信号；

视频信号产生单元，根据上述快进请求信号，对于包含在上述内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别对上述时间及信噪比选择一个以上的分层，并产生视频信号；

发送单元，将所述视频信号产生单元产生的视频信号发送给所述内容播放装置。

本发明提供一种内容播放装置，通过网络与内容提供装置连接，通过该网络下载内容并进行播放，具有：

发送单元，发送浏览上述内容的快进用数据的快进请求信号；

视频信号接收单元，接收所述内容提供装置产生的视频信号，所述视频信号对于包含在上述内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别对上述时间及信噪比选择一个以上的分层；

播放单元，播放所述视频信号接收装置接收的视频信号。

本发明还提供一种内容播放装置，对存储有被编码的影像数据的记录介质进行播放，具有：

选择单元，选择浏览内容的快进倍速和视频质量，以及

视频信号产生单元，根据上述选择的快进倍速和视频质量，对于包含在上述内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别对上述时间及信噪比选择一个以上的分层，从而产生视频信号；

播放单元，播放所述视频信号产生单元产生的视频信号。

本发明基于可扩展编码，包括：

a.采用时域可扩展编码将视频从时域上压缩为若干分层，这样以不同的速度进行快速浏览就可以由组合相应的时域层次来实现。这样的好处是，不需要额外发送不属于快速浏览内容的视频帧作为解码时的参考帧，因而降低了带宽消耗；

b.结合SNR(信噪比，Signal-Noise-Ratio)可扩展编码和时域可扩展编码来进一步降低带宽消耗。当网络过载时，在高倍速浏览模式下，可以在考虑不同浏览速度对视频质量的不同需求情况下，丢掉若干较高的SNR层，从而显著降低带宽消耗，而用户在高速浏览下的用户体验并没有明显的下降。

附图说明

图1是关于时域可扩展编码的说明示意图；

图2是关于如何利用时域可扩展编码支持不同速度的快速浏览的示意图；

图3是本发明的结合使用时域可扩展和SNR可扩展编码的示意图；

图4是本发明的关于如何利用时域可扩展和SNR可扩展编码支持不同速度的快速浏览的示意图；

图5是本发明的实施例的简化的VOD系统结构图；

图6是本发明的实施例的服务请求者即内容请求装置的结构框图；

图7是本发明的实施例的服务提供者即内容提供装置的结构框图；

图8是本发明的实施例的系统流程图；

图9是本发明的实施例的服务请求者关于视频质量设置的界面；

图10是本发明的实施例的服务请求者的流程图；

图11是本发明的实施例的服务提供者的流程图

图12是本发明中定义的消息格式；

图13是本发明的实施例的本地播放装置的结构框图；

图14是本发明的实施例的本地播放装置的流程图；

具体实施方式

可扩展视频编码(Scalable Video Coding，最新的H.264 SVC已正式被ITU-T接纳为国际标准)可以细分为时域可扩展编码，空域可扩展编码和质量(SNR)可扩展编码，主要目的是为了满足不同用户在播放帧率(时域)、图像分辨率(空域)和视频质量(SNR)方面不同的需求。目前，其主要用于自适应视频传输或者分层组播方案。在本发明提出的方案中，时域可扩展编码和SNR可扩展编码可以很好的支持VOD中的快速浏览功能。

(1)采用时域可扩展编码提供基本的快速浏览功能；

假设系统需要支持用户分别以2倍、4倍、8倍和16倍的速度进行快速浏览。如图1所示，图1是关于时域可扩展编码的说明示意图，可以将整个视频序列从时域上分为5层，也就是TLayer0~TLayer4。在TLayer0中，每相邻两帧的间隔是16帧。因而，以正常帧率播放TLayer0相当于以16倍速进行快速浏览。为了实现8倍速的快速浏览，需要以正常帧率播放TLayer0和TLayer1，因为在TLayer0+TLayer1中，每相邻两帧的间隔是8帧。类似的，播放TLayer0、TLayer1和TLayer2可以实现4倍速的快速浏览，播放TLayer0~TLayer3可以实现2倍速的快速浏览，而播放所有的分层(即TLayer0~TLayer4)意味着以正常速度进行播放。

图2是关于如何利用时域可扩展编码支持不同速度的快速浏览的示意图。如图2所示，在时域可扩展编码模式下，任意一帧A的参考帧都不会处于比A更高的时域分层中。举例来说，根据图1所示的帧参考关系，帧1(属于TLayer0)的参考帧是帧0(属于TLayer0)，帧2(属于TLayer1)的参考帧是帧0(属于TLayer0)和帧1(属于TLayer0)，帧3(属于TLayer2)的参考帧是帧0(属于TLayer0)和帧2(属于TLayer1)，帧4(属于TLayer3)的参考帧是帧0(属于TLayer0)和帧3(属于TLayer2)，帧5(属于TLayer4)的参考帧是帧0(属于TLayer0)和帧4(属于TLayer3)。因此上述的方案在解码时不需要传送额外的参考帧，所传送和解码的帧都是需要播放的帧，所以降低了带宽消耗。

因此本发明的上述的方案在解码时不需要传送额外的参考帧，所传送和解码的帧都是需要播放的帧，所以降低了带宽消耗。

(2)结合时域可扩展和SNR可扩展视频编码以进一步降低带宽消耗。

快速浏览内容中I帧的频率较高，因而其带宽消耗仍高于正常的视频流码率。在某些带宽资源非常稀缺的场景下，可以根据以下两点考虑采用SNR可扩展编码进一步降低带宽消耗：

a，在进行快速浏览时，速度越快，用户越没有机会看清图像的细节；

b，在进行快速浏览时，用户感兴趣的往往不是图像的细节，而是视频所展现的内容事件的大致发展过程。

因此，无论是从用户体验还是用户期望的角度来说，在快速浏览的速度较高时，适当忽略图像的一些细节，播放画质较粗的视频是可以接受的。这里，假设在以4倍速以上的速度进行快速浏览时可以播放画质较粗的视频。如图3所示，图3是本发明的结合使用时域可扩展和SNR可扩展编码的示意图，采用时域可扩展编码和SNR可扩展编码的混合模式。时域分层TLayer0、TLayer1和TLayer2的每一帧都由4个SNR分层组成(即SLayer0、SLayer1、SLayer2和SLayer3)。SLayer0是基本层，提供基本(画质最粗)的视频质量，可以独立解码。Slayer0以上的分层提供图像的细节，不能独立解码，需要和所有低层的SNR分层结合起来才能解码。一帧包含的SNR分层越多，则视频质量越高。所有的SNR分层加在一起提供完整的视频质量。

图4是本发明的关于如何利用时域可扩展和SNR可扩展编码支持不同速度的快速浏览的示意图。如图4所示，当快速浏览的速度是4倍速时，根据前面的讨论，从时域的角度来说需要TLayer0~TLayer2。为了降低带宽消耗，必要时可以丢弃TLayer0~TLayer2中的每一帧的SLayer3。随着快速浏览速度的提高，可以丢弃更多的SNR分层，因为用户看清图像细节的机会越少。当快速浏览的速度是8倍速时，从时域的角度来说需要TLayer0和TLayer1。为了降低带宽消耗，必要时可以丢弃SLayer3和SLayer2，从而只播放TLayer0和TLayer1的每一帧的SLayer0和SLayer1。当以16倍速进行快速浏览时，可以只播放TLayer0的SLayer0。

对该方案进行的测试表明，通过丢弃较高的SNR分层，当快速浏览的倍速是32时，可以将带宽消耗压缩到正常视频码率的20％，而快速浏览的用户体验并没有受到明显的影响。

下面列举可以应用该方案的2个具体的应用例。

应用例1

图5所示是本发明的实施例的简化的VOD系统结构图，系统由一个服务提供者和若干个服务请求者组成。该系统结构具有普适性，既可以对应于传统的客户端-服务器方式，也可以对应于P2P模式。在客户端-服务器模式下，服务提供者即为服务器，其储存着所有视频内容的原始视频数据，服务请求者即客户端可以从服务器下载视频内容。在P2P模式下，服务提供者对应可以提供服务的对等节点，其可以在接收播放某视频内容时缓存部分数据，来为其他客户端提供服务，也可以将接收到的数据存储于硬盘中，以为其他客户端提供服务。服务请求者和提供者之间的网络连接既可以是有线网络，也可以是无线网络。视频内容由时域可扩展和SNR可扩展编码压缩而成，如图3所示。

图6是本发明的实施例的服务请求者(即内容提供装置)的框架图。服务请求者由网络接口、CPU、硬盘、内存和总线组成。客户端程序运行于内存之中，由通信单元、播放单元和GUI(图形界面)组成。

通信单元主要负责与服务提供者之间信令以及数据的传输，包括：发送单元，发送浏览内容的浏览请求信号；视频信号接收单元，接收后述的服务提供者产生的视频信号，该视频信号对于包含在浏览内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别对时间及信噪比选择一个以上的分层。

播放模块主要负责将接收到的节目数据进行播放。GUI主要负责与用户的交互，如提取用户关于快速浏览的命令(快进或快退，倍速等)，以及用户关于快速浏览内容画质的设置(关于这部分内容，图9中会有详细的介绍)。

图7是本发明的实施例的服务提供者即内容提供装置的框架图，其由网络接口、CPU、硬盘、内存和总线组成。硬盘上有视频内容存储，存放着源视频数据(在客户端-服务器模式下)或者是接收到的视频数据(在P2P模式下)，同时还有服务请求者信息数据库，记录服务请求者的相关信息。服务请求者信息数据库中包含有服务请求者信息数据表，其中，“IP地址”指的是服务请求者的IP地址，“点播节目”指的是所点播节目的内容标志符，“快速浏览倍速”指的是用户快速浏览节目所选择的倍速，正值表示的是快进的倍速，负值表示的是快退的倍速，“视频质量设置”表示的是用户对快速浏览内容的视频质量的设置。

服务提供程序运行于内存之中，由请求接收单元、视频信号产生单元和带宽资源管理单元组成。请求接收单元主要负责接收服务请求者的请求以及与请求者之间的信令通信。视频信号产生单元主要负责根据请求者的快速浏览内容请求，对于包含在浏览内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别对时间及信噪比选择一个以上的分层，生成所需的快速浏览内容，并传输给请求者。带宽资源管理单元主要负责实时监测与客户端之间的网络状况及可用带宽，以帮助服务提供者确定网络实际能够负担的视频最大分层，从而实现网络自适应传输。

本发明的实施例的系统流程如图8所示。服务请求者A需要预先设置快速浏览时的视频质量，否则直接采用系统默认设置。如图9所示，A可以选择三种视频质量，即“系统默认设置”、“最佳视频质量”和“基本视频质量”。“基本视频质量”意味着服务提供者只会发送快速浏览内容的SNR基本层，其优点是可以最大限度的节约网络带宽，但相应的视频质量也最粗糙。“最佳视频质量”意味着服务提供者会将网络可用带宽所允许的最多SNR分层发送给客户端，因而可以得到最佳的视频质量，但缺点是将消耗较多的带宽资源。“系统默认设置”的基本原则如图4所示，系统会预先设定根据不同的快速浏览速度播放不同的SNR分层，根据前面的讨论，快速浏览的速度越高，则所需播放的SNR分层可以随之减少，这样可以节约网络带宽，同时仍然能够保证一定的用户体验。但如果网络可用带宽不能满足系统默认设置的需求，则只发送网络带宽所允许的最多SNR分层。

在设置完视频质量后，假设服务请求者A想要点播某个节目，其对应的服务提供者为B，首先从服务提供者B处下载数据并开始播放。当服务请求者A想要进行快速浏览时，服务请求者A将快速浏览请求(包括视频质量的需求)发送给相应的服务提供者B，服务提供者B首先检测与服务请求者A之间的可用网络带宽，然后根据浏览速度来确定所需的时域分层。比如说，如果快速浏览速度是8，根据前面的讨论，需要时域分层TLayer0和TLayer1。然后服务提供者B根据快速浏览的倍速、实际网络可用带宽以及用户对视频质量的需求决定出所需发送的SNR分层。之后，服务提供者B需要向服务请求者A发送消息确认实际能够发送的分层信息。然后检查目标内容是否存在于本地的存储当中，如果没有的话，需要向其他服务提供者C(即客户端-服务器模式下的其他服务器或者是P2P模式下的对等节点)申请所需的内容，然后向用户传输其所需的数据。

通过上述机制，可以有效的实现对快速浏览功能的支持。在“最佳视频质量”模式下，当网络条件较好时，服务请求者有可能得到快速浏览内容的全部SNR分层，如果网络处于过载状态，快速浏览内容的较高的SNR分层可以被丢弃，以保证快速浏览内容能够及时的传送到服务请求者。在“系统默认设置”模式下，由于考虑了快速浏览的特性以及不同浏览速度对视频质量的不同需求，可以进一步降低网络带宽的消耗，同时用户体验并没有受到明显的影响。

图10是本发明的实施例的服务请求者的流程图。当开始播放时，服务请求者首先从服务提供者处下载数据并进行正常模式的播放。如果用户想进行快速浏览，首先从GUI处提取出快速浏览的倍速以及对于视频质量的设置，然后向服务提供者发送快速浏览请求，并开始接收其传来的快速浏览内容以进行播放。当用户取消快速浏览时，客户端将会返回正常播放模式，直至播放结束。

图11是本发明的实施例的服务提供者的流程图。服务提供者在启动后监听用户的请求，收到用户的请求后在正常播放模式下为其提供服务，当服务请求者发送来快速浏览请求后，首先根据倍速决定出所需的时域分层，然后根据与客户端之间的网络可用带宽以及用户对视频质量的需求，决定出所需的SNR分层。具体来说，如果客户端选择的是“基本视频质量”模式，则只需选择SNR基本层；如果客户端选择的是“最佳视频质量”模式，则选择可用带宽所允许的最多SNR分层；如果选择的是“系统默认设置”模式，则首先根据倍速以及系统的默认设置决定出在该倍速下所需的SNR分层，然后根据可用带宽决定出网络情况所允许的最多SNR分层，两者之间取最小值。在决定出所需的时域以及SNR分层后，服务提供者将检查是否本地存储中有目标内容，如果没有的话首先需要向其他服务提供者申请所需数据，否则的话可以直接向用户传送快速浏览内容。

图12是本发明的实施例的系统流程所用到的消息的定义格式。

应用例2

上述实施方式讨论的是在网络视频播放中实现快速浏览功能，但实际上，本发明也适用于在本地播放中实现快速浏览功能的情况。通过本发明，播放装置在进行快速浏览时，可以有效地节约系统资源、降低功耗，从而延长电池的使用时间，这对于电池资源受限的播放终端(比如某些手持终端，像MP4等)，是很有意义的。

图13是本发明的实施例的本地播放装置的框架图。装置由CPU、存储装置、内存和总线组成。存储装置中存储着以可扩展视频编码编好的本地文件，播放程序运行于内存之中，由GUI(图形界面)、数据提取单元和播放单元组成。GUI主要负责与用户的交互，如提取用户关于快速浏览的命令(快进或快退，倍速等)，以及用户关于快速浏览内容画质的设置。

数据提取单元主要负责根据快速浏览的倍速以及用户的关于快速浏览画质的设置，决定出所需的视频内容的时域分层和SNR分层，然后从存储文件中提取相应的分层，生成快速浏览内容。数据提取单元包括：选择单元，选择浏览内容的快进倍速和视频质量，以及视频信号产生单元，根据选择的快进倍速和视频质量，对于包含在浏览内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别对时间及信噪比选择一个以上的分层，从而产生视频信号；

播放单元主要负责将数据提取单元准备好的数据进行播放。

图14所示是本发明的实施例的播放装置的系统流程图。类似的，如图9所示，用户需要预先选择视频质量需求，否则默认为用户选择系统默认模式。其可以选择“基本视频质量”模式、“最佳视频质量”模式和“系统默认设置”模式。假设视频播放装置在播放本地视频文件时，用户需要快速浏览。数据提取模块首先根据快速浏览的倍速决定出所需的时域分层，然后根据用户的视频质量需求决定出所需的SNR分层。“基本视频质量”意味着只播放快速浏览内容的SNR基本层，其优点是可以最大限度降低解码复杂度，节省CPU资源并降低功耗，但相应的视频质量也最粗糙。“最佳视频质量”意味着将播放全部的SNR分层，因而可以得到最佳的视频质量，但缺点是解码复杂度最高，消耗最多的系统资源，功耗也最高。在“系统默认设置”模式下，系统会预先设定根据不同的快速浏览速度播放不同的SNR分层，根据前面的讨论，快速浏览的速度越高，则所需播放的SNR分层可以随之减少，这样可以节约降低解码复杂度，节省系统资源并降低功耗，同时仍然能够保证一定的用户体验。数据提取模块在决定出所需的时域及SNR分层后，从存储文件中提取相应的分层，然后交付播放模块进行解码播放。

Claims (10)

1.一种内容提供装置，通过网络与内容播放装置连接，其特征在于，

具有：

接收单元，接收从上述内容播放装置发送的浏览上述内容的快进用数据的快进请求信号；

视频信号产生单元，根据上述快进请求信号，对于包含在上述内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别按上述时间及信噪比选择一个以上的分层，并产生视频信号；

发送单元，将所述视频信号产生单元产生的视频信号发送给所述内容播放装置，

所述内容播放装置的快进请求信号包括用户设定的快进倍速和视频质量；

所述视频信号产生单元根据所述快进倍速对影像数据进行时域分层，并根据所述快进倍速、所述视频质量、及网络可用带宽对影像数据进行信噪比分层。

2.根据权利要求1所述的内容提供装置，其特征在于，

所述时域分层将视频序列从时域上分为多层，其中，每层的帧间距是该层与其上一层叠加后帧间距的2倍。

3.根据权利要求2所述的内容提供装置，其特征在于，

所述信噪比分层是将所述时域分层的每个帧分为多个信噪比层；所述多个信噪比层包括视频质量最低的基本层，和视频质量逐层提高的其它层。

4.根据权利要求3所述的内容提供装置，其特征在于，

根据所述快进倍速决定影像数据的时域分层的层数，所述快进倍速越大，影像数据的分层的层数越多。

5.根据权利要求3所述的内容提供装置，其特征在于，

根据快进倍速预先决定影像数据的信噪比分层，所述快进倍速越大，影像数据的信噪比分层越多。

6.根据权利要求5所述的内容提供装置，其特征在于，

根据可用带宽决定该可用带宽所允许的影像数据的信噪比分层。

7.根据权利要求1所述的内容提供装置，其特征在于，

所述网络是无线或有线网络。

8.一种内容播放装置，通过网络与内容提供装置连接，通过该网络下载内容并进行播放，其特征在于，具有：

发送单元，发送浏览上述内容的快进用数据的快进请求信号；

视频信号接收单元，接收所述内容提供装置产生的视频信号，所述视频信号对于包含在上述内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别按上述时间及信噪比选择一个以上的分层；

播放单元，播放所述视频信号接收装置接收的视频信号，

所述内容播放装置的快进请求信号包括用户设定的快进倍速和视频质量；

所述内容提供装置根据所述快进倍速对影像数据进行时域分层，并根据所述快进倍速、所述视频质量、及网络可用带宽对影像数据进行信噪比分层。

9.根据权利要求8所述的内容播放装置，其特征在于，

还具有浏览设置单元，设置所要浏览的倍速和视频质量；

所述快进倍速包括正常浏览速度和正常浏览速度的倍速；

所述视频质量包括最低视频质量、最佳视频质量和由所述内容提供装置设定的系统默认设置。

10.一种内容播放装置，对存储有被编码的影像数据的记录介质进行播放，其特征在于，具有：

选择单元，选择浏览内容的快进倍速和视频质量，以及

视频信号产生单元，根据上述选择的快进倍速和视频质量，对于包含在上述内容中的影像数据分别按时间及信噪比进行了多个分层并编码生成的编码数据，分别按上述时间及信噪比选择一个以上的分层，从而产生视频信号；

播放单元，播放所述视频信号产生单元产生的视频信号。

Images