CN105379281B - 用于使用图形处理器的视频解码的图片参考控制 - Google Patents

Abstract

视频解码器获取与已编码视频比特流的当前图片相关联的第一图片缓冲参数集。所述第一图片缓冲参数集标识了一个或者多个参考图片的集合以用于由图形处理器在解码所述当前图片时使用。视频解码器将所述第一图片缓冲参数集修改为第二（不同）图片缓冲参数集以用于由图形处理器在解码当前图片时使用。将所述第二图片缓冲参数集输送到图形处理器以用于解码所述当前图片。

Description

用于使用图形处理器的视频解码的图片参考控制

背景技术

视频记录可以作为定义可显示图片序列的已编码图像数据而以数字形式进行传送和/或存储以用于视频回放。一些视频编码格式被标准组织定义，以促进工业界和消费者的广泛接受（例如，H.261、MPEG-1、H.262/MPEG-2、H.263、MPEG-4 第2部分、H.264/AVC、SMPTE VC-1和H.265/HEVC）。视频编码通常包括减小与视频记录相关联的传输和存储要求的压缩方面。例如，经压缩的视频在计算设备上占用较少存储并且可以在较短时间段内输送（例如，流传送）到计算设备/从计算设备进行输送。当解码数字数据时，用于已编码视频序列中的每个编码图片的数据被解码，以便生成用于在诸如计算机屏幕、电话屏幕或者其他显示设备之类的显示器上呈现的可显示图片。

附加地，通常将图形处理器与计算系统中的主处理器组合地使用，以卸去某些处理器密集的解码操作的负担。在对已编码图像数据进行解码时在主处理器执行的解码器和图形处理器之间的交互可以显著改进系统性能。这样的交互可以依赖于用于编码视频的标准，并且其自身可以被标准化接口所管控。

因为正常回放是在视频回放系统中最频繁使用的操作模式，所以视频编码标准通常聚焦于视频的正常回放。结果，可被称为“特技播放（trick play）”操作的其他回放模式（例如，快进、倒退、向前跳过/前向寻找、向后跳过/倒回等等）可以呈现解码的挑战。例如，对于这样的特技播放操作的解码可以依赖于当该特技播放模式被执行时还没有被完全输送、解码或者以其他方式可用的视频数据。因此，不可用的视频数据可能会导致在特技播放操作期间的不良性能和/或不良的图片质量。

发明内容

在本文描述和要求保护的实现方式通过获取与已编码视频比特流的当前图片相关联的第一图片缓冲参数集而解决了前述问题。第一图片缓冲参数集标识了一个或者多个参考图片的集合以用于由图形处理器在解码当前图片时使用。视频解码器将第一图片缓冲参数集修改为第二（不同的）图片缓冲参数集以用于由图形处理器在解码当前图片时使用。第二图片缓冲参数集被输送给图形处理器以用于解码当前图片。

本发明内容被提供来以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不打算标识所要求保护主题的关键特征或者必要特征，其也不打算用来限制所要求保护主题的范围。

本文中还描述和记载了其他实现方式。

附图说明

图1图示了用于视频回放设备的视频解码系统的示例。

图2图示了使用图片缓冲参数来对来自在输入信道处接收的已编码视频比特流的编码图片进行解码的示例主处理设备。

图3图示了编码/解码过程和用于在特技播放模式期间使用的已修改参数的生成的示例。

图4图示了可以用来构造一系列可显示图片的编码图片的示例序列。

图5图示了用于视频特技播放操作的示例过程。

图6图示了可以在实现所描述技术时有用的示例系统。

具体实施方式

图1图示了用于视频回放设备的视频解码系统100的示例。在该示例中，所接收的视频数据流被称为已编码视频比特流102，其可以从各种各样的源接收。例如，视频数据流可以从位于互联网上的站点、从云中的一个或者多个存储设备或服务、从存储盘（诸如DVD）、从视频电话会议系统、从电视广播系统、从位于远程的相机系统、从形成同一视频回放设备的一部分的存储器等等接收。

主处理设备104从视频源（例如，基于Web的视频服务）将已编码视频比特流102接收到输入缓冲器110（例如，在存储器中）。播放器模块114被作为主处理器示例的中央处理单元（CPU）112执行或者与其相结合地执行，并且管理来自输入缓冲器110的已编码视频比特流102的解码以及对应的可显示图片的回放。因此，播放器114指导已编码视频比特流102的哪些编码图片被解码器116解码以用于回放的目的。在图1的示例中，播放器114可以指导解码器116解码已编码视频比特流数据102以用于正常的前向回放。附加地，播放器114可以指导解码器116解码已编码视频比特流102以用于其他类型的回放，其包括（不作为限制）涉及隐藏数据差错（例如，数据丢失或者损坏）以及“特技播放”操作（例如，快进、倒退、跳到视频图片序列中的任意图片等等）的回放。数据输送模块117用来将已编码视频比特流102和来自主处理设备104的其他数据输送到图形处理器106。在所图示的示例中，在数据输送模块117和图形处理器106之间的接口被诸如设备驱动程序接口（DDI）或者应用程序接口（API）之类的标准化接口107管控。

图形处理器106可以是高度专用的以执行特定功能，诸如使用存储的（或者“缓冲的”）参考图片集来解码已编码视频比特流102的可显示图片。在一个实现方式中，每个参考图片表示组成整个图片（例如，用于给定图片的每个像素）的三个颜色分量（例如，表示亮度、对蓝色的色度差和对红色的色度差的颜色分量）的样本的三个数组。用于在解码每个编码图片时使用的图片标识参数（本文中被称为参考图片集合的元素）被标识在已编码视频比特流102的头部数据中（例如，在图片级或者条带级头部数据中，其中每个条带对应于图片的不同可解码区域），并且被解码器116提取。在该示例中，参考图片集被图形处理器106使用来解码已编码视频比特流102的编码图片并且生成可在视频显示器108上显示的图片。当调用图形处理器106的服务时，解码器116指令图形处理器106使用所标识的参考图片集来解码当前编码图片。

正常的显示次序通常指的是已编码视频序列的视频图片在正常前向回放期间将被显示的次序。然而，编码视频图片出现在已编码视频比特流102中的次序可能不同于图片正常地在视频显示器上显示的次序。在已编码视频比特流102内的图片排序信息标识了对于解码器而言在正常解码次序（也被称为“比特流次序”）和正常输出次序（也被称为“正常显示次序”）之间的任何差别。在正常回放模式期间，图形处理器106能够访问在参考图片集合中标识的所有参考图片的所存储的副本（例如，在图形处理器106的缓冲器存储器中）以用于在以适时的方式解码当前图片时使用。

然而，在特技播放操作期间，回放并不遵循可显示图片的正常回放顺序，并且所以，之前缓冲的参考图片可能不适用于特技播放的目标图片。例如，对于快进操作，快进序列的下一图片可能在按照用于已编码视频序列的正常输出次序的当前图片之前若干图片。这样，之前缓冲的参考图片可能不适用于快进操作的下一操作，并且与快进操作的下一图片相关联的参考图片中的一些可能不可用于在解码下一图片时使用（因为其在快进期间被跳过）。这样，解码器116可以修改与解码下一图片相关联的参考图片集合以忽略不可用的参考图片。对于参考图片集合的这样的修改可以用于其他类型的特技播放，其包括快进、平滑倒退、信道采集、随机寻找等等。

特别地，对于其中操作被切换到新数据流或者视频图片序列中的任意位置的特技播放（诸如信道采集或者随机寻找）而言，之前缓冲的图片可能与用于特技播放的新目标图片的参考图片集合没有多少关系或者没有关系。因此，对用于新目标图片的参考图片集合的修改可以允许对新目标图片进行较快解码，例如，通过省略施加长解码时间的参考图片（例如，省略要求对许多未缓冲的参考图片进行在先解码的参考图片）。

对于参考图片集合的这样的修改还可以用于隐藏在已编码视频比特流102中的差错（例如，诸如丢失的数据）。例如，如果解码器116检测到平常将用于解码当前图片的参考图片丢失了，则解码器116可以将丢失的参考图片从当前图片的参考图片集合中移除，诸如通过采用不同的、可用的参考图片替代丢失的参考图片以用于在解码当前图片时使用。

在又另一个实现方式中，计算资源（例如，视频解码器资源、图形处理器资源等等）和/或通信带宽可以导致回放落后或者具有落后的风险。在这样的情形中，解码器可以决定使用所描述的技术（例如，跳过对某些图片的解码、从对序列中的每个图片的解码中省略某些参考图片等等，由此加快解码以允许回放追上或者跟上例如音频流）来简化对图片序列的解码。同样地，解码器可以从其对提供视频比特流的视频服务器的数据传递请求中省略某些图片。这样的图片因此可以作为用于视频序列中的某些图片的参考图片而被省略。

如所讨论的，主处理设备104可以通过指导图形处理器106在解码当前图片时利用不同的参考图片集来解决这样的操作模式。因此，平常将在正常回放期间使用第一缓冲参考图片集来解码的图片可以在特技播放或者差错隐藏操作期间使用不同的参考图片集（例如，子集）来进行解码。所修改的参考图片集可以规定图形处理器106已经缓冲的或者可以快速从可用图片中解码的参考图片。因此，当前图片其自身可以从这些已经缓冲的或者快速解码的参考图片中快速地得以解码。一旦当前图片被解码，生成了可显示图片，则主处理设备104将解码的可显示图片发送给视频显示器108以用于向用户进行呈现（例如，显示）。

图2图示了使用图片缓冲参数来解码来自在输入信道202处接收到的已编码视频比特流的编码图片的示例主处理设备204。主处理设备204接收已编码视频比特流并且利用CPU 203、播放器205和解码器207来处理已编码视频比特流。图形处理器206被用于专用图形处理以协助对已编码视频比特流进行解码。

解码器207规定了要被图形处理器206使用来对编码图片解码从而生成可显示图片的参考图片集。例如，按照各种视频标准，典型类型的编码图片可以被称为I图片、P图片和B图片。每个可显示图片可以从这些编码图片中的一个编码图片中解码。参考图片不被用于解码I图片，但一个或者多个参考图片被用于解码P图片或者B图片。例如，如果电影包含鸟飞过蓝天的情景，则视频内容的大部分从一个所显示图片到下一所显示图片保持相同。主要的改变是鸟在其移动穿过蓝天时的位置。因此，不是发送用于每个编码P图片或者B图片的全新的视频数据集，视频编码重使用来自其他图片——例如，之前编码的图片——的图像数据来编码随后可显示的图片。在鸟/天的示例中，蓝天并不改变——所以对应于蓝天区域的之前解码图片的部分可以被重使用来解码随后解码的P图片和B图片。这种方法减少了被下载到主处理设备204的数据量以及被编码和解码的数据量。

如作为该解码方案的举例说明，图2示出了被指定为用于当前图片的参考图片集合220的数据数组。参考图片集合220可以按照用于已编码视频序列的解码次序指定用于解码当前图片以及任何随后的图片（例如，当执行用于正常视频回放的解码过程时）的一个或者多个参考图片。因此，参考图片集合220可以向图形处理器206标识要被缓冲用于按照正常解码次序解码当前图片以及任何随后图片的解码参考图片。由解码器207和/或图形处理器206进行的用于解码每个当前图片的解码过程的操作取决于用于每个图片的编码数据，并且可以取决于关于图片排序和定时的信息，以及在解码过程中使用的参考图片在比特流数据中是被标识为短期参考图片还是被标识为长期参考图片的分类。用于当前图片的解码过程可以取决于在解码过程中使用的参考图片在比特流数据中是被标识为短期参考图片还是被标识为长期参考图片，例如，相对于参考图片被标识于图片缓冲参数中的方式或者相对于与参考图片相关联的运动向量数据被使用的方式。例如，将图片标识为短期参考图片或者长期参考图片的方式影响已编码比特流数据格式，并且解码过程可以是如在H.264/AVC标准中规定的、如在H.265/HEVC标准中规定的或者如在其他视频编码技术中使用的。

在所图示的示例中，在参考图片集合220中的每一项被标引以允许特定项被其他参数引用。在图2中，三个图片缓冲参数RefPicSetStCurrBefore[]、RefPicSetStCurrAfter[]和RefPicSetLtCurr[]被定义为规定在参考图片集合220中的要被用于解码当前图片的参考图片。参考图片集合220还可以包含未被包括在这三个图片缓冲参数中的附加项（未在图2中示出）（例如，以标识在参考图片集合中的、未被用于解码当前图片但是可以用来解码一些其他随后图片的图片）。在示例中的三个图示的图片缓冲参数如下进一步详细描述：

·RefPicSetStCurrBefore[]-规定按照正常显示次序在当前图片之前的、要用作用于已编码视频序列中的当前编码图片的解码过程中的短期参考图片的零个或者更多图片的图片缓冲参数

·RefPicSetStCurrAfter[]-规定按照正常显示次序在当前图片之后的、要用作用于已编码视频序列中的当前编码图片的解码过程中的短期参考图片的零个或者更多图片的图片缓冲参数

·RefPicSetLtCurr[]-规定了要用作用于已编码视频序列中的当前编码图片的解码过程中的长期参考图片的零个或者更多图片的图片缓冲参数

这些图片缓冲参数分别被指示为数组224、226和228。这些参数的每个持有指定参考图片集合220中的特定参考项的一个或者多个索引。解码器207针对要被解码的每个编码图片将这样的参数传递给图形处理器206（例如，通过DDI 209），以使得图形处理器206可以标识要使用的参考图片来解码当前编码图片。由这些图片缓冲参数（数组224、226和228）规定用于当前编码图片的参考图片被称为参考图片集合的当前部分。参考图片集合的当前部分标识了与当前图片（不是随后的图片）相关联的参考图片集，并且包括按照解码次序在相关联图片之前的所有参考图片，其可以被用于对当前图片的图片间预测。除了包含参考图片集合的当前部分之外，参考图片集合220可以包含不属于当前图片的附加项（例如，这样的项可以属于按照解码次序的随后图片）。

在图2中，三个图示的图片缓冲参数（数组224、226和228）引用参考图片集合220中的适当项。例如，RefPicSetStCurrBefore[]数组224引用参考图片集合220中的项230和232。除了参考图片集合220中的对应项的标识之外，与所图示的图片缓冲参数（数组224、226和228）中的每一项相关联的数据可以包括一些附加相关联数据，诸如图片排序位置数据、图片定时数据等等。与参考图片集合220中的每一项相关联的数据还可以包括除了与参考图片集合220中的项相关联的图片的标识之外的一些附加相关联数据。在可替换实现方式中，与图片缓冲参数相关联的数据可以直接标识参考图片，而不是经由参考图片集合220间接地标识它们。

如相对于图1讨论的，图片缓冲参数可以从已编码视频比特流中的每个编码图片的条带头部中提取。然而，在某些情况下（例如，特技播放操作、差错隐藏操作等等），解码器207可以在将图片缓冲参数传递给图形处理器206之前对其进行更改。这样的更改可以包括（不作为限制）将对于（用于当前图片的参考图片集合中的）一个参考图片的参考采用对于不同参考图片的参考进行替代。在一个实现方式中，所更改的参考图片集合可以包括对于已经在参考图片集合中标识的参考图片的重复参考。在另一个实现方式中，替代参考图片可以是已经被图形处理器缓冲的不同参考图片。在又另一个实现方式中，替代参考图片可以对应于可以比在原始未更改的参考图片集合中标识的参考图片被图形处理器更快解码（例如，从容易地可用的编码图片数据和/或缓冲的参考图片）的编码图片。

图3图示了编码/解码过程300的示例。所图示的过程生成了修改的图片缓冲参数以用于在特技播放操作期间使用。类似过程可以生成修改的图片缓冲参数以用于在差错隐藏操作或者一些其他回放操作期间使用。诸如视频相机之类的记录设备捕获初始图片序列302。初始图片序列被保存在计算机存储器缓冲器中，并且被输入到将所捕获的视频数据转换成编码格式的编码器304中，如由用于图片A-N的数据集合306图示的。例如，数据集A₁、A₂和A₃图示了三个图片缓冲参数的集合，而A₄图示了可以用来对编码图片A解码的底层图像数据以及其他解码参数。三个图片缓冲参数A₁、A₂和A₃表示规定了用于图片A的参考图片集合的三个图片缓冲参数。应该理解的是，其他图片缓冲参数（未示出）和其他数据可以用于各个视频图像的编码和解码。格式化器308用来形成可以跨通信网络312传输的已编码视频比特流310。应该理解的是，已编码视频比特流210还可以经由其他手段来存储和/或传输。

主处理系统从通信网络312接收已编码视频比特流310'。主处理系统的播放器314从已编码视频比特流310'的条带头部提取原始数据集316，其包括图片缓冲参数。在正常回放模式期间，原始数据集316（例如，图片缓冲参数A₁、A₂和A₃和其他数据A₄）通过接口被传递给图形处理器，以用于解码对应的编码图片来生成图片A、B、…N以用于显示。然而，在特技播放模式期间，解码器318可以修改原始数据集A₁、A₂和A₃以例如创建新的图片缓冲参数（例如，A₁'、A₂'、A₃'）。（应该理解的是，取决于由播放器314执行的回放，可以修改图片缓冲参数中的一个或者多个——并非图片缓冲参数的所有都需要被修改。这些一个或者多个修改的图片缓冲参数以及其他数据（例如，A₄）被解码器318通过接口供应给图形处理器322，以产生稍微（或者甚至基本上）不同的解码图片A'、B'、C'、D'…N'。序列A'、B'、C'、D'…N'表示例如在快进特技播放操作期间显示的修改图片集324。

图4图示了可以用来构建一系列可显示图片的编码图片的示例序列400，这一系列可显示图片中的许多可以是参考图片。最终在视频显示器上显示的每个图片可以使用被称为图片间预测的技术从解码图片和零个或者更多参考图片的集合来构建。在图4中的箭头指示了哪些其他图片被用来解码当前编码图片，以生成用于由箭头所指的每个特定图片的可显示图片。图4示出了I、P和B图片。I图片可由其自身解码，而不需要使用图片间预测来生成对应的可显示图片。因此，在图4中，没有箭头指向I图片。相反，P和B图片确实使用了图片间预测参考。因此，在图4中，各种箭头指向了这样的P和B图片。

在图4中，每个图片按照其图片类型由I、P或者B指定。而且，当每个图片使用对应于具有指向该特定图片的箭头的图片的参考图片来解码时，生成可显示图片。用于每个I、P或者B的上标指示了对于这一系列图片而言在它们被串行地从已编码视频比特流中被解码时的正常解码次序。用于每个I、P或者B的下标指示了在正常回放模式期间从每个编码图片解码的图片的显示次序（即，正常显示次序）。因此，例如，图片P₄ ¹是在I₀ ⁰之后解码的第一图片，并且被用来产生在从I₀ ⁰构建的图片之后显示的第四图片。

如较早前指出的，参考图片集合规定了用来解码当前图片以及可能地按照解码次序在编码视频序列中的所有随后图片的一个或者多个参考图片的列表。因此，在参考图片集合中规定的图片被缓冲以用于在解码当前图片和随后的图片时使用。在图4的所图示的示例中，用于正常前向回放中的前20个图片的参考图片集合的内容如下。为了简化起见，只有用来解码对应的当前图片的、在参考图片集合中的项（被称为“参考图片集合的当前部分”）在以下列表中进行描述。每个P或者B图片使用对于其他图片（I、P或者B图片）的参考来解码，所述其他图片被用作用于针对P或者B图片的图片间预测的参考图片。

·对于图片I₀ ⁰，在参考图片集合的当前部分中不存在图片，因为I₀ ⁰是I图片，并且因此不使用任何图片间预测参考。

·对于图片P₄ ¹，参考图片集合的当前部分包括{I₀ ⁰}。

·对于图片B₂ ²，参考图片集合的当前部分包括{I₀ ⁰,P₄ ¹}。

·对于图片B₁ ³，参考图片集合的当前部分包括{I₀ ⁰,B₂ ²}。

·对于图片B₃ ⁴，参考图片集合的当前部分包括{I₀ ⁰,P₄ ¹,B₂ ²}。

·对于图片P₈ ⁵，参考图片集合的当前部分包括{I₀ ⁰,P₄ ¹}。

·对于图片B₆ ⁶，参考图片集合的当前部分包括{P₄ ¹,P₈ ⁵}。

·对于图片B₅ ⁷，参考图片集合的当前部分包括{P₄ ¹,B₆ ⁶}。

·对于图片B₇ ⁸，参考图片集合的当前部分包括{P₄ ¹,P₈ ⁵,B₆ ⁶}。

·对于图片P₁₂ ⁹，参考图片集合的当前部分包括{I₀ ⁰,P₈ ⁵}。

·对于图片B₁₀ ¹⁰，参考图片集合的当前部分包括{P₈ ⁵,P₁₂ ⁹}。

·对于图片B₉ ¹¹，参考图片集合的当前部分包括{P₈ ⁵,B₁₀ ¹⁰}。

·对于图片B₁₁ ¹²，参考图片集合的当前部分包括{P₈ ⁵,B₁₀ ¹⁰,P₁₂ ⁹}。

·对于图片I₁₆ ¹³，在参考图片集合的当前部分中不存在图片，因为I₁₆ ¹³是I图片，并且因此不使用任何图片间预测参考。

·对于图片B₁₄ ¹⁴，参考图片集合的当前部分包括{P₁₂ ⁹,I₁₆ ¹³}。

·对于图片B₁₃ ¹⁵，参考图片集合的当前部分包括{P₁₂ ⁹,B₁₄ ¹⁴}。

·对于图片B₁₅ ¹⁶，参考图片集合的当前部分包括{P₁₂ ⁹,I₁₆ ¹³,B₁₄ ¹⁴}。

·对于图片P₂₀ ¹⁷，参考图片集合的当前部分包括{I₁₆ ¹³}。

·对于图片B₁₈ ¹⁸，参考图片集合的当前部分包括{I₁₆ ¹³，P₂₀ ¹⁷}。

·对于图片B₁₇ ¹⁹，参考图片集合的当前部分包括{I₁₆ ¹³，B₁₈ ¹⁸}。

·对于图片B₁₉ ²⁰，参考图片集合的当前部分包括{I₁₆ ¹³，P₂₀ ¹⁷，B₁₈ ¹⁸}。

当特技播放操作被诸如主处理设备之类的视频播放器系统执行时，与当前图片相关联的参考图片中的一些可能当前不能被容易地可用作缓冲解码图片——因为它们从未被解码，因为它们之前被解码但是不再被缓冲（例如，因为缓冲容量限制）等等。因此，在一个实现方式中，权宜之计是避免在已编码视频比特流中规定用于解码特定编码图片的一些参考图片的某种重新传输或者重新解码。例如，如果解码器指令图形处理器对编码图片B₁ ³解码，则正常的回放解码过程使用在用于B₁ ³的当前参考图片集合中规定的参考图片I₀ ⁰和B₂ ²来解码图片B₁ ³。而且，因为B₂ ²依赖于P₄ ¹，所以P₄ ¹将也被解码，以使得B₂ ²可以被解码。相反，在特技播放模式期间，用于B₂ ²的参考图片可能不再被缓冲，所以解码器可以选择跳过B₂ ²的解码，并且采用对于P₄ ¹的参考来替代在B₁ ³的参考图片集合中的B₂ ²的参考位置。图4描绘了采用对于P₄ ¹的参考（由实线箭头404来图示）来替代参考图片B₂ ²（由虚线箭头402图示）。换言之，

·对于B₁ ³，参考图片集合被修改为包括{I₀ ⁰,P₄ ¹}，省略对于B₂ ²的参考。

如果指示了对B₇ ⁸的访问，则最佳的重新构建将涉及首先解码在用于B₇ ⁸的参考图片集合中的图片。因此，I₀ ⁰，然后P₄ ¹，然后P₈ ⁵，然后B₆ ⁶，并且然后B₇ ⁸将被解码来实现B₇ ⁸的最佳重新构建。在特技播放模式期间，主播放器可以选择跳过那些图片中的一些的解码——例如，通过在访问B₇ ⁸时采用对于P₄ ¹或者P₈ ⁵的参考来替代B₆ ⁶，或者可能通过采用对P₄ ¹的参考来替代对于P₈ ⁵和B₆ ⁶两者的参考。

可以用于特技播放情景的另一个策略在于，简单地以不同图片替换所期望的目标图片。例如，如果播放器正在执行快进操作，并且要解码的理想目标图片将是图片B₁₅ ¹⁶，则解码器可以替代地指导图形处理器解码并且显示替换图片I₁₆ ¹³。图片I₁₆ ¹³是单独的图片——因此，在该示例中隐含的是，然后将没有附加参考图片需要被解码。因此，小心地替换要显示的目标图片可以是省时的技术。

也可以实现以可替换图片替换初始作为目标的图片的组合。因此，如果要访问的理想目标图片将是图片B₁₃ ¹⁵，则主处理器可能以图片P₁₂ ⁹来替换图片B₁₃ ¹⁵。此外，主处理器可能通过更改用作用于解码P₁₂ ⁹的参考图片的图片集来简化对可替换目标图片的解码（例如，跳过解码P₈ ⁵并且替代地以对于P₄ ¹的参考来替换对于P₈ ⁵的参考）。这种简化可以针对在解码用于目标图片的参考图片等等时所使用的参考图片而递归地实现。

以上示例图示了在特技播放快进操作期间替换数据可以被如何利用。其他特技播放模式也可以被利用。例如，在随机访问寻找期间，主处理系统可以移动到视频比特流中由用户随机选择的位置。这将通常导致将播放器定位于视频比特流中的随机点。结果，可能会存在不够充足的缓冲数据来允许在回放开始时进行精确的图片描绘。所以，主处理系统可以以已经被解码的（或者将首先被解码的）一些图片来替代将稍后被解码的图片，而不是延迟回放直到所有数据都可以被解码为止。这将允许图片被更快地解码和显示——即便所显示的图片与在已针对目标图片遵循正常解码过程的情况下将显示的图片并不精确地相同。随着回放继续，主处理系统可以追上以使得不再利用修改。

可以与上文描述的快进播放类似地实现倒退播放和快速倒回的特技播放操作。主处理器可以选择倒退播放的图片，但是用于所选的倒退播放的图片的参考图片可能不是立即（或者快速）可用。对于倒退播放解码的存储器容量要求可能是尤其挑战性的，并且可能涉及到在解码了一些图片后从存储器丢弃它们。所以，主处理器可以替换参考图片集合内的图片以便允许图形处理器更快地生成图片。所生成的图片然后可以作为用于倒退播放或者快速倒回的一系列图片的一部分而被显示在视频显示器上。

类似过程还可以用于差错隐藏。当用于图片的数据被确定为丢失或者损坏时，可以显示另一图片作为对于该图片的替换，并且用于使用该图片作为参考图片进行图片间预测的其他图片的参考图片集合可以被适当地修改以计及这种替换。因此，即便在正常回放操作期间，修改的参考图片集合可以用来提供修改的图片而替代丢失或者损坏的图片。

图5图示出用于使用修改的图片缓冲参数集来解码图片的示例操作。接收操作502获取已编码视频比特流。已编码视频比特流可以作为从外部网络的下载操作的一部分被直接获取，或者以某种其他方式被获取。例如，已编码视频比特流可能从与视频播放器相关联的计算机存储器被接收。

提取操作504从已编码视频比特流提取第一图片缓冲参数集。当调用了特技播放模式时，第一图片缓冲参数集可以被修改，以促进更高效的特技播放操作。修改操作506将第一图片缓冲参数集修改成第二图片缓冲参数集以用于对编码图片解码。第二图片缓冲参数集不与可以从与当前图片相关联的已编码视频比特流中获取的图片缓冲参数相一致（例如，不匹配）。

输送操作508将第二图片缓冲参数集输送到图形处理器。解码操作510经由图形处理器使用第二图片缓冲参数集来解码当前图片。显示操作512显示由图形处理器使用第二图片缓冲参数集解码当前图片而产生的图片。

图6图示了可以在实现所描述技术时有用的示例系统。图6的用于实现所描述技术的示例硬件和操作环境包括计算设备，诸如游戏控制台或者计算机20、移动电话、个人数字助理（PDA）、机顶盒形式的通用计算设备或者其他类型的计算设备。在图6的实现方式中，例如，计算机20包括处理单元21、系统存储器22、和操作地将包括系统存储器的各种系统组件耦合到处理单元21的系统总线23。可以存在仅一个处理单元21或者可以存在多于一个处理单元21，以使得计算机20的处理器包括单个中央处理单元（CPU）、或者多个处理单元（诸如图形处理器），其通常被称为并行处理环境。计算机20可以是常规计算机、分布式计算机或者任何其他类型的计算机；实现方式并非如此受限。特别地，图形处理器可以包括以对于一个或者多个主处理器而言卸去负担的容量使用参考图片集合执行用于视频图片的解码过程的全部或者一部分的任何架构元件。

系统总线23可以是若干类型的总线结构中的任一项，其包括存储器总线或者存储器控制器、外围总线、交换结构、点对点连接、和使用各种各样总线架构中的任一种的本地总线。系统存储器还可以被简单地称为存储器，并且包括只读存储器（ROM）24和随机存取存储器（RAM）25。包含诸如在启动期间有助于在计算机20内的元件之间输送信息的基本例程的基本输入/输出系统（BIOS）26存储在ROM 24中。计算机20进一步包括用于从硬盘（未示出）读取并且向硬盘写入的硬盘驱动器27、用于从可移动磁盘29读取或者向可移动磁盘29写入的磁盘驱动器28、以及用于从可移动光盘31（诸如CD ROM、DVD）或其他光学介质读取或者向可移动光盘31或其他光学介质写入的光盘驱动器30。

硬盘驱动器27、磁盘驱动器28和光盘驱动器30分别通过硬盘驱动器接口32、磁盘驱动器接口33和光盘驱动器接口34连接到系统总线23。驱动器及其相关联的有形计算机可读介质提供计算机可读指令、数据结构、程序模块以及用于计算机20的其他数据的非易失性存储。本领域技术人员应当领会到，可以存储计算机可访问的数据的任何类型的有形计算机可读介质（诸如盒式磁带、闪存卡、数字视频盘、随机存取存储器（RAM）、只读存储器（ROM）等）可以用在示例操作环境中。

数个程序模块可以存储在硬盘、磁盘29、光盘31、ROM 24或RAM 25上，包括操作系统35、一个或多个应用程序36、其他程序模块37和程序数据38。用户可以通过诸如键盘40和指向设备42之类的输入设备将命令和信息录入到个人计算机20中。其他输入设备（未示出）可以包括麦克风（例如用于话音输入）、相机（例如用于自然用户接口（NUI））、操纵杆、游戏板、碟式卫星天线、扫描仪、触摸板（例如，用于手势或者触摸输入）等。这些和其他输入设备通常通过耦合到系统总线的串行端口接口46连接到处理单元21，但是也可以通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其他接口进行连接。监视器47或其他类型的显示设备也经由诸如视频适配器48之类的接口连接到系统总线23。除监视器之外，计算机通常包括其他外围输出设备（未示出），诸如扬声器和打印机。

计算机20可以使用到一个或多个远程计算机（诸如远程计算机49）的逻辑连接在联网环境中操作。这些逻辑连接通过耦合到计算机20或作为其部分的通信设备来实现；实现方式不限于特定类型的通信设备。远程计算机49可以是另一计算机、服务器、路由器、网络PC、客户端、对等设备或者其他常见网络节点，并且通常包括以上相对于计算机20所描述的元件中的许多元件或全部元件，尽管在图6中仅图示了存储器存储设备50。在图6中描绘的逻辑连接包括局域网（LAN）51和广域网（WAN）52。这样的联网环境在作为所有类型网络的办公室网络、企业范围的计算机网络、内联网和互联网中是常见的。

当在LAN联网环境中使用时，计算机20通过作为一种类型通信设备的网络接口或适配器53连接到本地网络51。当在WAN联网环境中使用时，计算机20通常包括调制解调器54、网络适配器、某种类型的通信设备、或者用于通过广域网52建立通信的任何其他类型的通信设备。可以处于内部或外部的调制解调器54经由串行端口接口46连接到系统总线23。在联网环境中，相对于个人计算机20或其部分描绘的程序引擎可以存储在远程存储器存储设备中。要领会，所示出的网络连接是示例，并且可以使用用于建立计算机之间的通信链路的其他手段和通信设备。

在示例实现方式中，用于提供视频播放器、解码器、数据输送模块、图片缓冲参数、编码图片、参考图片、可显示图片和其他数据的软件或固件指令和数据可以存储在存储器22和/或存储设备29或31中并且由处理单元21处理。图片缓冲参数、编码图片、参考图片、可显示图片和其他数据可以存储在存储器22和/或作为持久数据存储装置的存储设备29或31中。

一些实施例可以包括制造品。制造品可以包括存储逻辑的有形存储介质。存储介质的示例可以包括能够存储电子数据的一个或多个类型的计算机可读存储介质，其包括易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写入或可重写存储器等。逻辑的示例可以包括各种软件元件，诸如软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、流程、软件接口、应用程序接口（API）、设备驱动程序接口（DDI）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。例如，在一个实施例中，制造品可以存储可执行计算机程序指令，其在由计算机执行时使计算机执行按照所描述的实施例的方法和/或操作。可执行计算机程序指令可以包括任何适当类型的代码，诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。可执行计算机程序指令可以按照预定义的计算机语言、方式或语法来实现，以用于指令计算机执行某一功能。指令可以使用任何适当的高级、低级、面向对象、可视化、编译和/或解释编程语言来实现。

本文描述的实现方式被实现为一个或多个计算机系统中的逻辑步骤。逻辑操作可以实现为（1）在一个或多个计算机系统中执行的处理器实现步骤的序列以及（2）一个或多个计算机系统内的互连机器或电路模块。实现方式是选择的问题，取决于所利用的计算机系统的性能要求。相应地，组成本文描述的实现方式的逻辑操作被不同地称为操作、步骤、对象或模块。此外，应当理解，逻辑操作可以以任何次序来执行，除非以其他方式明确地要求保护或者特定的次序是权利要求的语言内在地必需的。

以上说明书、示例和数据提供示范性实现方式的结构和使用的完整描述。由于可以做出许多实现方式而不脱离所要求保护的发明的精神和范围，所以下文所附的权利要求限定本发明。此外，不同示例的结构特征可以在又另一实现方式中组合而不脱离所记载的权利要求。

Claims (10)

1.一种方法，包括：

获取与已编码视频比特流的当前图片相关联的第一图片缓冲参数的集合，所述第一图片缓冲参数的集合标识一个或者多个参考图片集合以用于在正常回放期间由图形处理器在解码所述当前图片时使用，所述图形处理器具有用于存储参考图片的缓冲器存储器；

将所述一个或者多个参考图片集合接收在所述缓冲器存储器中；

将所述第一图片缓冲参数的集合修改为第二图片缓冲参数的集合以用于由所述图形处理器在解码所述当前图片时使用，与所述第一图片缓冲参数的集合相比，所述第二图片缓冲参数的集合标识不同的一个或者多个参考图片集合，所述不同的一个或者多个参考图片集合包括当前没被存储在所述图形处理器的所述缓冲器存储器中的至少一个参考图片，所述缓冲器存储器中的所述一个或者多个参考图片集合足够解码当前没被存储在所述缓冲器存储器中的所述至少一个参考图片；以及

将所述第二图片缓冲参数的集合输送到所述图形处理器以用于解码所述当前图片。

2.权利要求1所述的方法，其中获取第一图片缓冲参数的集合包括：

在解码器处接收所述已编码视频比特流；以及

从所述已编码视频比特流中提取所述第一图片缓冲参数的集合。

3.权利要求1所述的方法，其中修改第一图片缓冲参数的集合包括：

采用被指示用于解码整个当前图片的所述第二图片缓冲参数的集合来替代被指示用于解码整个当前图片的所述第一图片缓冲参数的集合。

4.权利要求1所述的方法，其中第一图片缓冲参数的集合和第二图片缓冲参数的集合的每个包括参考图片集合。

5.权利要求1所述的方法，其中第一图片缓冲参数的集合和第二图片缓冲参数的集合的每个包括引用在参考图片集合中的至少一项的图片缓冲参数，所述至少一项标识按照正常显示次序在所述当前图片之前并且被用作用于所述当前图片的解码过程中的短期参考图片的图片。

6.权利要求1所述的方法，其中第一图片缓冲参数的集合和第二图片缓冲参数的集合的每个包括引用在参考图片集合中的至少一项的图片缓冲参数，所述至少一项标识按照正常显示次序在所述当前图片之后并且被用作用于所述当前图片的解码过程中的短期参考图片的图片。

7.权利要求1所述的方法，其中第一图片缓冲参数的集合和第二图片缓冲参数的集合的每个包括引用在参考图片集合中的至少一项的图片缓冲参数，所述至少一项标识被用作用于所述当前图片的解码过程中的长期参考图片的图片。

8.权利要求1所述的方法，其中第二图片缓冲参数的集合不与可由所述图形处理器从所述已编码视频比特流中获取的对应图片缓冲参数的集合相一致。

9.一个或者多个编码了用于在计算机系统上执行计算机过程的计算机可执行指令的计算机可读存储介质，所述计算机过程包括：

获取与已编码视频比特流的当前图片相关联的第一图片缓冲参数的集合，所述第一图片缓冲参数的集合标识一个或者多个参考图片集合以用于在正常回放期间由图形处理器在解码所述当前图片时使用，所述图形处理器具有用于存储参考图片的缓冲器存储器；

将所述一个或者多个参考图片集合接收在所述缓冲器存储器中；

将所述第一图片缓冲参数的集合修改为第二图片缓冲参数的集合以用于由所述图形处理器在解码所述当前图片时使用，与所述第一图片缓冲参数的集合相比，所述第二图片缓冲参数的集合标识不同的一个或者多个参考图片集合，所述不同的一个或者多个参考图片集合包括当前没被存储在所述图形处理器的所述缓冲器存储器中的至少一个参考图片，所述缓冲器存储器中的所述一个或者多个参考图片集合足够解码当前没被存储在所述缓冲器存储器中的所述至少一个参考图片；以及

将所述第二图片缓冲参数的集合输送到所述图形处理器以用于解码所述当前图片。

10.一种系统，包括：

解码器，其获取与已编码视频比特流的当前图片相关联的第一图片缓冲参数的集合，所述第一图片缓冲参数的集合标识一个或者多个参考图片集合以用于在正常回放期间由图形处理器在解码所述当前图片时使用，并且将所述第一图片缓冲参数的集合修改为第二图片缓冲参数的集合以用于由所述图形处理器在解码所述当前图片时使用，所述图形处理器将所述一个或者多个参考图片集合存储在缓冲器存储器中，与所述第一图片缓冲参数的集合相比，所述第二图片缓冲参数的集合标识不同的一个或者多个参考图片集合，所述不同的一个或者多个参考图片集合包括当前没被存储在所述图形处理器的所述缓冲器存储器中的至少一个参考图片，所述缓冲器存储器中的所述一个或者多个参考图片集合足够解码当前没被存储在所述缓冲器存储器中的所述至少一个参考图片；以及

数据输送模块，其将所述第二图片缓冲参数的集合输送到所述图形处理器以用于解码所述当前图片。

Images