CN103918258A - 减少视频编码中的数据量 - Google Patents

Abstract

一种用于将应用的屏幕输出编码成一系列视频序列的方法，其中各视频序列能够包括帧内(I帧)以及与I帧相关的帧间(P帧)，并且各视频序列对一个屏幕输出来形成。该方法能够包括对第一屏幕输出形成第一视频序列，其中第一视频序列能够包括I帧和(P帧)，以及对第二屏幕输出形成包括I帧和(P帧)的第二视频序列，其中第二视频序列的I帧能够通过对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来得到。还提供一种用于编码的装置、编码器、用于解码的装置以及解码。能够按照本发明减少视频数据。

Description

减少视频编码中的数据量

 

技术领域

本发明涉及多媒体数据的处理，具体来说，涉及减少对应用的屏幕输出进行编码中的数据量。

背景技术

点播服务指在需求时通过网络连接、服务器、相关压缩技术等直接向最终用户流播的那些服务。服务的内容不是存储在诸如计算机、移动电话等的最终用户机器上，而是存储在服务器上。服务器对内容进行编码，并且将编码内容传送给最终用户机器，使得最终用户体验该服务而无需在他/她的机器中安装与服务相关的任何应用。

随着包括固定网络、移动通信网络和用来在装置之间传送数据的其它网络的网络技术的高度发展，点播服务变得越来越普遍。

游戏点播(GoD)是点播服务的一个示例。用户能够使用经由网络连接到服务器的用户设备(即，上述用户机器)玩游戏，所述游戏安装在服务器中。点播服务的其它示例涉及视频点播(VOD)、电视点播(TOD)等。

服务器对与点播服务相关的应用的内容（例如游戏的内容）进行编码，以便形成压缩数据以促进网络上的传送。

没有网络等待时间的通过网络的平滑传送给预期欣赏点播服务的用户带来良好体验。但是，当网络的业务超出某个阈值时，网络等待时间由于网络拥塞而发生，并且使点播服务对用户是不良体验。

发明内容

鉴于前面所述，本发明的一个目的是提供允许待编码的视频数据量被减少以使得能够解决上述和其它问题的方法、装置和编码器。

本发明提供一种用于将应用的屏幕输出编码成一系列视频序列的方法，其中各视频序列能够包括帧内(I帧)以及与I帧相关的帧间(P帧)。应用的屏幕输出能够输入到用来对其编码的装置，并且存储在那个装置的存储器中。按照本发明的一个方面的各视频序列能够对各屏幕输出而形成。该方法能够包括：对第一屏幕输出形成第一视频序列，其中第一视频序列能够包括I帧和P帧；以及对第二屏幕输出形成包括I帧和P帧的第二视频序列，其中第二视频序列的I帧能够通过对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来得到。

本发明还提供一种用于将应用的屏幕输出编码成多个视频序列的编码器，其中各视频序列包括帧内(I帧)以及与I帧相关的帧间(P帧)，并且各视频序列对一个屏幕输出而形成。编码器布置成对第一屏幕输出形成包括I帧和P帧的第一视频序列，以及对第二屏幕输出形成包括I帧和P帧的第二视频序列，其中第二视频序列的I帧通过对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来得到。

本发明还提供一种用于将应用的屏幕输出编码成一系列视频序列的装置，其中各视频序列对一个屏幕输出而形成，并且各视频序列包括帧内(I帧)以及与I帧相关的帧间(P帧)。该装置能够包括存储装置和编码元件，其中存储装置能够用来将应用的屏幕输出存储为原始数据，以及编码元件能够用来对第一屏幕输出形成包括I帧和P帧的第一视频序列，并且对第二屏幕输出形成包括I帧和P帧的第二视频序列，其中第二视频序列的I帧能够通过对第二屏幕输出与屏幕输出相比的变更区域进行编码来得到。

本发明还提供一种用于对一系列视频序列进行解码的方法，其中各视频序列包括帧内(I帧)以及与I帧相关的帧间(P帧)，并且各视频序列对于应用的多个屏幕输出中的屏幕输出而形成。该方法能够包括：对包括I帧和P帧的第一视频序列进行解码，其中第一视频序列对第一屏幕输出而形成；以及对包括I帧和P帧的第二视频序列进行解码，其中第二视频序列对第二屏幕输出而形成，其中第二视频序列的I帧通过对第二屏幕输出与屏幕输出相比的变更区域进行编码来得到。

本发明另外提供一种用于对一系列视频序列进行解码的解码器，各视频序列包括帧内(I帧)以及与I帧相关的帧间(P帧)，各视频序列对于应用的多个屏幕输出中的屏幕输出而形成。解码器能够布置成将对第一屏幕输出所形成并且包括I帧和P帧的第一视频序列进行解码，以及将对第二屏幕输出所形成并且包括I帧和P帧的第二视频序列进行解码，其中第二视频序列的I帧通过对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来得到。

本发明还提供一种用于对一系列视频序列(其中的每个包括帧内(I帧)以及与I帧相关的帧间(P帧))进行解码的装置，各视频序列对于应用的多个屏幕输出中的屏幕输出而形成。装置能够包括存储装置和解码元件，其中存储装置能够用于存储接收的视频序列，以及解码元件能够用于将对第一屏幕输出所形成并且包括I帧和P帧的第一视频序列进行解码，并且用于将对第二屏幕输出所形成并且包括I帧和P帧的第二视频序列进行解码，其中第二视频序列的I帧通过对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来得到。

变更区域的位置信息能够包含在第二视频序列的I帧中。

按照本发明，能够减少视频序列的I帧中的视频数据量。

附图说明

下面将参照示例和附图来详细描述本发明，其中，

图1是示出平均网络带宽相对于视频序列的每帧的数据量的图。

图2是按照本发明的实施例，用于将应用的屏幕输出编码成一系列视频序列的方法的流程图。

图3示出按照本发明的实施例的I帧的RTP(实时协议)分组的示范结构。

图4示出图3所示的扩展数据的示范结构。

图5a示出第一视频序列的示范显示。

图5b示出接着图5a所示的第一视频序列的显示。

图6示出按照本发明，用于将应用的屏幕输出编码成一系列视频序列的装置的框图。

图7是按照本发明的实施例，用于对一系列编码视频序列进行解码的方法的流程图。

图8示出按照本发明的实施例，用于对一系列视频帧进行解码的装置的框图。

图9示出应用的一个屏幕输出的示例。

图10示出按照本发明的云计算的示范架构。

具体实施方式

将参照附图更全面地描述本发明，附图中示出各个实施例。但是，本发明可按照许多不同形式来实施，而不应构造为限于本文阐述的实施例。而是，提供这些实施例使得本公开将是全面和完整的，并且将把本发明的范围全部传达给本领域的技术人员。

本文所使用的术语仅用于便于描述具体实施例的目的，而不意在限制本发明。如本文所使用的，单数形式“一”、“一个”和“所述”意图也包括复数形式，除非上下文另外明确说明。还将理解，术语“包括”、“包含”及其变型在本说明书中使用时指定所述特征、步骤、元件和/或组件的存在，但是并不排除一个或多个其它特征、步骤、元件、组件和/或其组的存在或附加。

将理解，虽然术语“第一”、“第二”在本文中可用来描述各种视频序列、元件等，这些视频序列和元件不应当受到这些术语限制。这些术语仅用来将本文所述的一个视频序列和元件与另一个加以区分。因此，以下讨论的第一视频序列或者第一元件可称作第二视频序列或者第二元件，而没有背离本发明的教导。

除非另外限定，本文所使用的所有术语(包括技术术语和科学术语)都具有与本发明所属领域的普通技术人员通常所理解的相同的含意。

多媒体文件中的视频文件包括大量静止图像帧，其被接连(通常每秒15至30帧)快速显示以创建运动图像的印象。图像帧通常包括通过基本上保持不变的图像信息所确定的多个静止背景对象以及通过在某种程度上改变的图像信息所确定的几个运动对象。由连续显示的图像帧所包含的信息通常在很大程度上是相似的，即，连续图像帧包括大量冗余。在视频文件中出现的冗余能够分为空间、时间和谱冗余。空间冗余指邻近图像像素的互相关，时间冗余指后续帧中的特定图像对象中发生的变化，以及谱冗余指图像帧内的不同色彩分量的相关。

为了减少视频文件中的数据量，能够通过减少图像帧中的冗余信息量来将图像数据压缩成较小形式。另外，在编码时，当前使用的视频编码器的大多数使视频信息中不太重要的图像帧部分中的图像质量降级。此外，许多视频编码方法允许从要通过称作VLC(可变长度编码)的压缩参数的有效无损编码来减少的图像数据所编码的比特流中的冗余。

另外，许多视频编码方法利用连续图像帧的上述时间冗余。在那种情况下，使用称作运动补偿时间预测的方法，即，视频序列中的图像帧的一些(通常为大部分)的内容通过跟踪连续图像帧的特定对象或区域中的变化而从序列中的其它帧预测。视频序列始终包括一些压缩的图像帧，其图像信息尚未使用运动补偿时间预测来确定。这类帧称作帧内或I帧。对应地，从先前的图像帧所预测的运动补偿视频序列图像帧称作帧间或P帧(预测的)。P帧的图像信息使用一个I帧以及可能地一个或多个先前编码P帧来确定。

I帧通常发起定义为图像组(GOP)的视频序列，其P帧只能基于所述的GOP的I帧和先前P帧来确定。下一个I帧开始新的图像组GOP，即新的视频序列。新GOP的P帧只能基于新GOP的I帧来确定。在ITU-T(国际电信联盟，电信标准化部门)所发布的某些标准（例如H.264、MPEG-4等）中应用用来减少视频图像中的冗余的这样的编码方法。但是，在将方法应用于一些标准（例如H.264和MPEG-4）时，I帧的视频数据量仍然相对较大。

图1是示出平均网络带宽相对于视频序列的每帧的数据量的图。图1所示的视频序列是通过MPEG-4来编码的游戏的一系列视频序列之一。如所示，能够称作GOP的视频序列开始于I帧10和必要数量的P帧20。如所示，I帧10的数据量比网络的平均吞吐量30要大许多。大量视频数据块平滑通过网络的I帧10的传送，使得I帧无法由接收器(其能够提供有电子装置，例如移动电话)实时地接收和解码。实际上，为常规接收器的解码器提供抖动缓冲器，以确保整个I帧能够在解码之前接收。

图2是按照本发明的实施例，用于将应用的屏幕输出编码成一系列视频序列的方法的流程图。本文中的应用的屏幕输出指输入到装置并且存储在那个装置的存储器中的原始数据，其中该装置用来将屏幕输出编码成一系列视频序列。视频序列的编码序列能够在能够经由网络连接到装置用户设备（诸如移动电话、MP3、MP4、膝上型计算机等）中显示。开始于I帧并且还包括必要数量的P帧的各视频序列对于应用的屏幕输出而形成。

如所示，第一视频序列对于第一屏幕输出(其包括I帧和必要数量的P帧)而形成(步骤101)。第一视频序列的P帧基于I帧和/或先前P帧而确定。然后，第二视频序列对第二屏幕输出而形成(步骤103)，其中第二视频序列的I帧通过仅对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来得到。能够理解，第二屏幕输出比第一屏幕输出更迟地向用户显示。

为了使用户设备在显示应用中知道相对于整个屏幕输出的变更区域的特定位置，将变更区域的位置信息作为扩展数据包含在第二视频帧的I帧中。

通过示例的方法，按照本发明的一个实施例的方法，通过使用H.264或MPEG-4对视频序列进行编码。图3示出按照本发明的实施例的I帧的RTP(实时协议)分组的示范结构。图4示出图3所示的扩展数据的示范结构。如图3所示，I帧的RTP分组包括扩展数据部分，其指示变更区域的位置信息。诸如UDP(用户数据报协议)报头、RTP报头等的RTP分组的其它部分通过RFC 3984(H.264视频的RTP有效载荷格式)和RFC 3016(MPEG-4视频/视觉流的RTP有效载荷格式)来定义。参照图4，扩展数据包括：视频宽度部分440（示出变更区域的宽度的值）；视频高度442（示出变更区域的高度的值）；以及参考点部分444（其相对于应用的屏幕输出来定位变更区域）。按照本实施例，扩展数据44能够仅附加到I帧的第一RTP分组，并且接着I帧的P帧能够使用I帧中的扩展数据而没有包含位置信息，即，P帧也不需要附加扩展数据，使得能够避免不必要的网络业务。在附加有扩展数据的I帧的大小超出预期大小的情况下，I帧能够分为若干RTP分组。但是，位置信息还能够以其它方式提供有视频序列，例如在P帧中。能够理解，图3和图4中的图示只是说明性示例。此外，按照本发明，变更区域能够是保持为暂时改变的区域。

参照图2，将理解，“第一视频序列”或“第一屏幕输出”的术语“第一”不是用来限制第一视频序列或者第一屏幕输出是视频序列的系列中的实际第一个或者实际第一屏幕输出。如上所述，术语“第一”仅用来将一个视频序列与另一个加以区分，以及将一个屏幕输出与另一个加以区分。按照本发明的第一屏幕输出能够是应用的实际第一屏幕输出，以及也能够是应用的屏幕输出的任一个。类似地，第一视频序列能够是视频序列的系列中的实际第一视频序列，以及也能够是视频序列的系列中的任一个。例如，应用的屏幕输出能够形成为视频序列1、视频序列2、视频序列3、视频序列4、视频序列5、…、视频序列n-2、视频序列n-1和视频序列n。在这种情况下，本文中的第一视频序列能够用来指示任何视频序列，例如视频序列2或者视频序列5或者视频序列n-2或者实际第一视频序列，即视频序列1。类似地，第二屏幕输出用来指除了实际第一视频序列之外的应用的任何屏幕输出。对应地，第二视频序列能够是除了实际第一视频序列之外的视频序列的系列中的任何视频序列。例如，第二视频序列能够是视频序列1，例如视频序列3或者视频序列6或者视频序列n-1或者实际第二视频序列，即视频序列2。

此外，如果第一视频序列是视频序列系列中的实际第一视频序列，则在步骤101，通过对应用的第一屏幕输出的原始数据进行编码来形成第一视频序列的I帧；以及如果第一视频序列不是实际第一视频序列，例如第一视频序列是视频序列2、视频序列3等，则通过仅将对应屏幕输出与先前屏幕输出相比的变更区域进行编码来形成第一视频序列的I帧。

图5a示出第一视频序列的示范显示。第一视频序列的显示是应用的第一屏幕输出。应当注意，图5a只是说明性的，而不意在限制。实际上，在解码之后所显示的视频序列可包括比所示更多的细节。通过示例的方式，第一屏幕输出的人305将从位置301移动到另一个位置。第二视频序列（即应用的第二屏幕输出）的显示在图5b中示出，其中人305移动到的位置指示为302。与第一屏幕输出相比，只有人305的位置改变。因此，至少包括人的原始位置301和新位置302的区域30能够被视为变更区域。在这种情况下，第二视频序列的I帧仅通过对变更区域30进行编码来形成。在编码期间，这个变更区域30的位置信息也包含在第二视频序列的I帧中。由于仅对变更区域30进行编码，第二序列的I帧的视频数据量比对整个屏幕输出进行编码要少许多。返回到图1，超过网络的平均吞吐量30的I帧的数据量甚至减少到低于网络的平均吞吐量。由大I帧产生的网络等待时间得到极大改进。

图6示出按照本发明，用于将应用的屏幕输出编码成一系列视频序列的装置的框图。装置包括存储装置50和编码元件52。存储装置50将应用的屏幕输出存储为能够用来形成视频序列的原始数据。存储装置50能够用来存储其它相关数据。编码元件52将应用的屏幕输出编码成一系列视频序列，其中各视频序列对屏幕输出而形成，以及各视频序列包括I帧和必要数量的P帧。本文中的必要数量的P帧指在形成视频序列中所需要的一个或多个P帧。第一视频序列由编码元件52对第一屏幕输出来形成，其中第一视频序列包括I帧和P帧。如以上参照图2所述，第一屏幕输出和第一视频序列能够分别是应用的实际第一屏幕输出和视频序列系列的实际第一视频序列，在这种情况下，第一视频序列的I帧能够通过对第一屏幕输出的原始数据进行编码来形成，其中原始数据能够输入到装置中并且存储在存储装置50中。但是，如果第一视频序列不是视频序列系列的实际第一视频序列（例如视频序列3或者视频序列5等），则第一视频序列的I帧通过仅对第一屏幕输出与先前屏幕输出（例如对应于视频序列2的屏幕输出）相比的变更区域进行编码来形成。第二视频序列也由编码元件52来编码。元件编码元件52通过以下来形成第二视频序列：借助于仅对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来形成I帧，并且然后基于所形成I帧来形成必要的P帧。由装置在对应用的屏幕输出进行编码期间所产生的视频数据减少，因为编码元件52仅对变更区域进行编码。为了使对编码视频序列进行接收和解码的装置知道变更区域相对于第一视频序列的I帧的位置，变更区域的位置信息包含在第二视频序列的I帧中。例如，位置信息能够提供有I帧，如图3和图4所示。图6所示的装置能够实施为计算机、便携装置，例如移动电话、媒体播放器等。将理解，装置还能够包括输入和输出元件、处理器等。在装置包括处理器的情况下，编码元件能够可选地集成到其中。

图6所示装置的编码元件52能够实施为独立元件，其能够提供在各种设备中，例如计算机、便携装置、如移动电话等。独立元件还能够实施为编码器，其布置成按照参照图2讨论的方法来对应用的屏幕输出进行编码。按照本发明的编码器能够通过软件、硬件或者它们两者来实现。本文中的编码器能够包括由常规编码器包含的元件，除了本发明的编码器布置成通过将对应的屏幕输出与先前屏幕输出相比的变更区域进行编码来形成一个视频序列的I帧之外。在本发明的一个实施例中，编码器是H.264编码器或Mpeg-4编码器。

图7是按照本发明的实施例，用于对一系列编码视频序列进行解码的方法的流程图。各视频序列包括I帧以及与I帧相关的P帧，以及各视频序列对于应用的多个屏幕输出中的屏幕输出来形成。如所示，在步骤601，第一视频序列被解码，其中第一视频序列对第一屏幕来输出来形成，并且包括I帧和必要数量的P帧。在步骤603，第二视频序列经过解码，其中第二视频序列对第二屏幕输出来形成，并且包括I帧和P帧，其中I帧通过仅对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来形成。变更区域相对于整个屏幕输出的位置信息包含在第二视频序列中，以便确定变更区域的位置信息。作为示例，能够按照参照图3和图4讨论的方式，将位置信息包含在I帧中。因此，变更区域的特定位置能够在对第二视频序列的I帧进行解码期间得到，使得与第二视频序列关联的视频图像能够适当地再现。第一视频序列能够是如以上参照图2所述的视频序列系列的实际第一视频序列，在那种情况下，第一视频序列的I帧能够通过对第一视频屏幕输出的原始数据进行编码来形成。但是，如果第一视频序列不是视频序列系列的实际第一视频序列（例如视频序列3或者视频序列5等），则第一视频序列的I帧通过仅将对应屏幕输出与先前屏幕输出(例如视频序列2或者视频序列4等)相比的变更区域进行编码来形成。

执行按照本发明的用于对编码视频序列的系列进行解码的方法的任何设备（例如用户设备）能够以更少时间和更少开销来对视频序列进行解码，因为视频序列的大多数的I帧具有少得多的数据量。该设备仅更新与显示解码视频序列中的变更区域相关的它的显示的屏幕输出中的部分。

图8示出按照本发明的实施例，用于对一系列视频序列进行解码的装置的框图。视频序列对应用的屏幕输出来形成，其中各视频序列对屏幕输出来形成。该装置包括存储装置70和解码元件72。存储装置70用于存储接收的视频序列。接收的视频序列在被解码之前暂时存储在存储装置70中。解码元件72将对第一屏幕输出所形成并且包括I帧和P帧的第一视频序列进行解码。解码元件72还对第二视频序列进行解码。第二视频序列对第二屏幕输出来形成，并且包括I帧和P帧，其中第二视频序列的I帧通过对第二屏幕输出与第一屏幕输出相比的变更区域进行编码来得到。变更区域的位置信息编码在第二视频序列中，使得装置知道变更区域相对于屏幕输出的特定位置。因此，变更区域的特定位置能够在对第二视频序列的I帧进行解码期间得到，使得与第二视频序列关联的视频图像能够适当地再现。此外，装置能够包括用于显示解码视频序列的显示器。图8所示的装置能够实施为计算机、便携装置，例如移动电话、媒体播放器等。将理解，装置还能够包括输入和输出元件、处理器等。在装置包括处理器的情况下，解码元件能够可选地集成到其中。

图8所示装置的解码元件72能够实施为独立元件，其能够提供在各种设备中，例如计算机、便携装置、如移动电话、MP3、MP4等。独立元件还能够实施为解码器，其布置成按照参照图8所述的方法来对应用的屏幕输出进行解码。按照本发明的解码器能够通过软件、硬件或者它们两者来实现。

本发明的用于对一系列视频帧进行解码的装置或者提供有按照本发明的解码器的设备能够以更少时间和更少开销来对视频序列进行解码，因为视频序列中的大多数视频序列的I帧具有少得多的数据量。

一般来说，按照本发明，视频序列能够通过仅对屏幕输出的变更区域进行编码来得到。因为变更区域大部分小于整个屏幕输出，除了变更区域是整个屏幕输出之外，所以编码视频序列，特别是视频序列的I帧具有少得多的视频数据量。应用的屏幕输出保持变化，也就是说，变更区域不是固定的而是变化的。但是，本发明的方法、装置和编码器能够例如从应用本身得到变更区域，即，应用（例如游戏）基本上知道将来的变更区域。此外，本发明的方法、装置和编码器能够通过与用户交互来得到变更区域。

如上所述的应用能够是游戏、电影以及能够按照视频方式向用户示出的其它应用。按照本发明，应用编码为一系列视频序列并且如上所述来进行解码。

方法、装置、编码器和解码器能够单独地或者相互组合地使用。例如，按照本发明的方法能够在系统(例如点播服务提供系统，其包括经由例如电信网络（如2.5G、3G和4G）以及因特网、局域网等的网络连接到用户设备的一个或多个服务器)中单独使用。在这样的系统中，按照本发明的一个实施例，参照图2的用于对应用进行编码的方法能够应用于服务器。这样的系统中的编码视频序列对各视频序列的I帧具有少得多的数据量，使得有可能某个吞吐量的网络以更少等待时间甚至没有等待时间来传送视频序列。此外，这样的流播系统中的服务器能够是参考图6所述的装置，或者能够配置有如上所述的编码器。用户设备从点播系统的服务器接收视频序列，并且还按照参照图7所述的方式来对接收的视频序列进行解码。此外，用户设备能够是图8所示的装置，或者能够配置有如上所述的解码器。实际上，通过仅对变更区域进行编码，需要解码的数据也相对较低，由此减少解码中的时间以及对编码视频序列进行解码中的装置的开销。

参照图9，示出应用的一个屏幕输出的示例。这个示例中的应用是游戏，其能够是点播游戏。屏幕输出是能够在显示器上显示的图像。如所示的，屏幕输出80具有640像素的长度和480像素的高度。关注区域802是按照游戏暂时保持变化的区域，其中关注区域802的长度和高度分别为320和320像素。关注区域相对于整个屏幕输出80的参考点通过具有坐标(160, 80)的804来表示。按照本发明的实施例，整个屏幕输出80(即，视频图像)首先编码为视频序列，并且传送给用户设备。然后，只有关注区域802编码为要传送的下一个视频序列。包括参考点804的坐标、宽度的值和高度的值的关注区域801的位置信息提供在下一个视频序列的I帧内，例如在如图3和图4所示的I帧的第一RTP分组中。

用来对应用(例如游戏、电影以及对其要求视频编码的其它任何应用)的屏幕输出进行编码的方法、装置和编码器能够应用于需要视频编码的任何地方。对应地，方法、装置和解码器能够应用于例如按照本发明形成接收的视频序列的地方。这样的地方能够是IPTV系统、上述点播服务提供系统等。在IPTV系统中，服务器能够采用如以上参照图2所述的方法来对应用的屏幕输出（即电视节目）进行编码。备选地，服务器能够是如参照图6所述的装置，或者服务器能够配置有如上所述的编码器。向用户设备传送编码视频序列。接收编码视频序列的装置，例如电视机、计算机、便携装置、如移动电话、媒体播放器等能够如参照图7所述来对接收的视频序列进行解码。备选地，对编码视频序列进行接收和解码的装置能够是参照图8所述的这种装置，或者能够提供有如上所述的解码器。

此外，方法、装置、编码器和解码器也能够应用于流播系统。术语“流播”指数据（通常为多媒体数据，例如音频和视频数据）的同时发送和回放，其中接收方可在接收待传送的所有数据之前已经开始数据回放。多媒体数据流播系统包括流播服务器以及用户设备，接收方将所述用户设备用于例如经由电信网络建立到流播服务器的数据连接。从流播服务器，接收方取回存储的或者实时的多媒体数据，并且通过用户设备中包含的流播应用，多媒体数据的回放则能够最有利地与数据的传送几乎实时地开始。提供点播服务的系统能够被看作是一种类型的流播系统。

图10示出按照本发明的云计算的示范架构。用户设备92，例如移动电话、个人计算机、电视机和平板个人计算机能够经由应用点播中心91来请求点播服务。假定所请求的点播服务是游戏点播，则应用点播中心91找到能够提供游戏的应用点播服务器90（虚拟机），然后把来自用户设备92的请求发送给找到的服务器90。服务器90采用如以上参照图2所述的方法来对游戏进行编码。备选地，服务器90能够是如参照图6所述的装置，或者服务器90配置有如上所述的编码器。游戏的编码视频序列经由网络传送给用户设备92。用户设备92能够如参照图7所述来对编码视频序列进行解码。备选地，用户设备92能够是参照图8所述的这种装置，或者能够包括如上所述的解码器。

按照本发明，仅对屏幕输出的变更区域进行编码，I帧的视频数据量减少，以及甚至基于I帧得到的P帧的数据量也减少。通过减少的视频数据，有可能避免产生于网络的传送的等待时间。此外，接收编码视频序列的装置能够以较低开销来对视频序列进行解码。

虽然为了清楚地理解，在一些细节中描述了上述发明，但是将显而易见的是，在所附权利要求书的范围内可实施某些变更和修改。因此，本文的实施例应当被理解为说明性而不是限制性的，以及本发明不应限于本文所给出的细节，而是应当由所附权利要求及其等同物的全部范围来限定。

Claims (19)

1. 一种用于将作为原始数据输入并且存储在存储器中的应用的屏幕输出编码成视频序列的系列的方法，对屏幕输出形成各视频序列，各屏幕序列包括帧内(I帧)以及与所述I帧相关的帧间(P帧)，所述方法包括：

对第一屏幕输出形成第一视频序列，其中所述第一视频序列包括I帧和P帧，

对第二屏幕输出形成包括I帧和P帧的第二视频序列，其中所述第二视频序列的所述I帧通过对所述第二屏幕输出与所述第一屏幕输出相比的变更区域进行编码来得到。

2. 如权利要求1所述的方法，其中所述变更区域的位置信息包含在所述第二视频序列的所述I帧中。

3. 如权利要求1或2所述的方法，其中将所述应用的屏幕输出编码成多个视频序列是通过使用H.264或MPEG-4标准来将所述应用的屏幕输出编码成视频序列的系列。

4. 一种用于将应用的屏幕输出编码成多个视频序列的编码器，对屏幕输出形成各视频序列，各视频序列包括帧内(I帧)以及与所述I帧相关的帧间(P帧)，其中所述编码器布置成对第一屏幕输出形成包括I帧和P帧的第一视频序列，以及对第二屏幕输出形成包括I帧和P帧的第二视频序列，其中所述第二视频序列的所述I帧通过对所述第二屏幕输出与所述第一屏幕输出相比的变更区域进行编码来得到。

5. 如权利要求4所述的编码器，还布置成在所述第二视频序列的所述I帧中包含所述变更区域的位置信息。

6. 如权利要求3或4所述的编码器，其中所述编码器是基于H.264或MPEG-4标准的编码器。

7. 一种用于将应用的屏幕输出编码成视频序列的系列的装置，对屏幕输出形成各视频序列，各屏幕序列包括帧内(I帧)以及与所述I帧相关的帧间(P帧)，所述装置包括：

存储装置，用于将应用的所述屏幕输出存储为原始数据，以及

编码元件，用于对第一屏幕输出形成包括I帧和P帧的第一视频序列，并且用于对第二屏幕输出形成包括I帧和P帧的第二视频序列，其中所述第二视频序列的所述I帧通过对所述第二屏幕输出与所述第一屏幕输出相比的变更区域进行编码来得到。

8. 如权利要求7所述的装置，其中所述编码元件在所述第二视频序列的所述I帧中包含所述变更区域的位置信息。

9. 如权利要求7或8所述的装置，其中所述编码元件通过使用H.264或MPEG-4标准来将所述应用的所述屏幕输出编码成视频序列的系列。

10. 一种用于对视频序列的系列进行解码的方法，各视频序列包括帧内(I帧)以及与所述I帧相关的帧间(P帧)，对应用的多个屏幕输出中的屏幕输出形成各视频序列，所述方法包括：

对包括I帧和P帧的第一视频序列进行解码，其中对第一屏幕输出形成所述第一视频序列，以及

对包括I帧和P帧的第二视频序列进行解码，其中对第二屏幕输出形成所述第二视频序列，并且通过对所述第二屏幕输出与所述第一屏幕输出相比的变更区域进行编码来得到所述第二视频序列的所述I帧。

11. 如权利要求10所述的方法，其中所述变更区域的位置信息在对所述第二视频序列进行解码中从所述第二视频序列的所述I帧得到。

12. 如权利要求10或11所述的方法，其中对视频序列的系列进行解码是采用H.264或MPEG-4标准来对视频序列的所述系列进行解码。

13. 一种用于对视频序列的系列进行解码的解码器，各视频序列包括帧内(I帧)以及与所述I帧相关的帧间(P帧)，对于应用的多个屏幕输出中的屏幕输出形成各视频序列，其中所述解码器布置成将对第一屏幕输出所形成并且包括I帧和P帧的第一视频序列进行解码，并且将对第二屏幕输出所形成并且包括I帧和P帧的第二视频序列进行解码，其中所述第二视频序列的所述I帧通过对所述第二屏幕输出与所述第一屏幕输出相比的变更区域进行编码来得到。

14. 如权利要求13所述的解码器，还布置成在对所述第二视频序列进行解码中从所述第二视频序列的所述I帧得到所述变更区域的位置信息。

15. 如权利要求13或14所述的解码器，其中所述解码器是基于H.264或MPEG-4标准的编码器。

16. 一种用于对视频序列的系列进行解码的装置，所述视频序列中的每个包括帧内(I帧)以及与所述I帧相关的帧间(P帧)，对于应用的多个屏幕输出中的屏幕输出形成各视频序列，所述装置包括：

存储装置，用于存储接收的视频序列，以及

解码元件，用于将对第一屏幕输出所形成并且包括I帧和P帧的第一视频序列进行解码，并且用于将对第二屏幕输出所形成并且包括I帧和P帧的第二视频序列进行解码，其中所述第二视频序列的所述I帧通过对所述第二屏幕输出与所述第一屏幕输出相比的变更区域进行编码来得到。

17. 如权利要求16所述的装置，其中所述解码元件在对所述第二视频序列进行解码中通过所述第二视频序列的所述I帧得到所述变更区域的位置信息。

18. 如权利要求16或17所述的装置，其中所述解码元件采用H.264或MPEG-4标准来对所述多个视频序列进行解码。

19. 如权利要求16所述的装置，还包括用于显示所述解码视频序列的显示器。