CN104602007A

CN104602007A - 基于信道质量的动态视频编码

Info

Publication number: CN104602007A
Application number: CN201410756033.9A
Authority: CN
Inventors: V·巴尔布拉查; R·阿比利; V·S·索马雅祖鲁; T·阿佐吉
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2013-10-30
Filing date: 2014-09-26
Publication date: 2015-05-06
Also published as: US20150117516A1; EP2869576A8; EP2869576A1

Abstract

各个实施例总体上定向到基于信道质量和接收到的视频质量而将视频动态地进行编码的技术。一种用于将视频动态地进行编码的装置包括处理器组件；以及由所述处理器组件执行的动态视频编码器，所述动态视频编码器包括参考图生成器，其用于基于与要在信道上传输的多个已编码视频帧相对应的信道质量而生成参考图，为了将多个视频帧编码为所述多个已编码视频帧的目的，所述参考图包括所述多个视频帧之间关系的表示以在在所述信道上传输所述多个已编码视频帧并将其进行解码时，提高所述多个已编码视频帧的视觉质量。

Description

基于信道质量的动态视频编码

技术领域

本文中描述的实施例总体上涉及通过动态地生成用于对视频进行编码的参考图来提高在信道上传输的编码视频的视觉质量。

背景技术

在将数字视频从数字视频的发射器或源传输到该数字视频的接收器之前，可以对该数字视频进行压缩。如将会理解的，存在各种不同的编码技术和编码标准，每个都具有它们自身的压缩级别。然而一般来说，压缩程度越大，传输对丢失越敏感。例如，与未压缩的数字视频或经过较小压缩的数字视频相比，高度压缩的数字视频将对丢包更敏感。压缩数字视频丢包的效果可以呈现为可视伪影(例如，定格的帧或块、黑帧、模糊、重影、缺失像素、抖动等)。另外，使用时间编码技术(例如，I、P、B、帧等)来编码的数字视频对丢失更敏感，这是由于通常需要来自先前帧的数据或者先前帧和将来帧的数据来解码特定帧。由此，单个包的丢失可能导致超过单个帧的可视伪影。在极端的情况下，依靠该丢失包的所有帧都会定格，直到接收到完整的刷新帧。

如将会理解的，未压缩的视频可能太大而无法在一些传输信道(例如，无线信道)上传输。由此，基于现有技术将压缩视频对丢失的稳健性和该压缩视频的质量进行平衡。由于在其上传输视频的信道的状态在变化，这可能不能导致提高的稳健性，并且质量也可能被不必要地降低。此外，信道资源可能不能被有效地利用。

因此，需要提供对在信道上传输的视频的编码的动态适应以提高在接收器处的视频质量。

附图说明

图1示出了一个动态视频编码和解码系统的实施例。

图2-3各示出了该动态视频编码和解码系统的实施例的一部分。

图4-7各示出了根据实施例的参考图的示例。

图8-9各示出了根据实施例的逻辑流程。

图10示出了根据实施例的处理架构。

具体实施方式

各个实施例总体上定向到基于参考图将视频动态地进行编码的技术。基于表明了要在其上传输编码视频的信道的质量以及该视频的质量的数据来生成参考图。在编码视频的传输过程中(例如，周期性地、在设定的时间间隔、在检测到变化时等)，可以重新生成参考图以便提高视频质量并且考虑到变化的信道质量数据。

如将会理解的，在将视频在信道(例如，无线、有线等)上传输之前，通常已经将视频进行了编码。在很多情况下，该编码包括对视频的压缩以方便在对应于信道的带宽上传输该视频。一旦在信道上传输视频(例如，在接收器处接收到并解码)，则该视频的质量就依赖于编码以及信道。例如，高级别的压缩可以导致降低的视频质量。作为另一个示例，在信道上进行传输过程中的高丢包率也可以导致降低的视频质量。由此，本公开提供了基于参考图而动态地将视频进行编码，所述参考图被更新以考虑到变化的信道状态。

通过一般性地引用本文中所使用的注释和术语，可以按照在计算机或计算机网络上执行的程序过程来呈现后文中的详细描述的一些部分。这些过程描述和表被本领域技术人员使用以最高效地将他们的工作的实质传递给本领域其他技术人员。总体上，本文中的过程可以被设想为可以导致期望的结果的自相一致的操作序列。这些操作需要对物理量进行物理操作。通常来说，尽管不是必须地，但是这些物理量采用电、磁或光信号的形式，其中该信号能够被存储、转移、组合、比较、以及进行其它操作。主要为了通用的原因，有时将这些信号称为比特、数值、元件、符号、字符、术语、数字等是方便的。然而应当注意的是，所有这些和类似的术语都与合适的物理数量相关联，并且仅为应用于这些物理量的方便标签。

此外，这些操作通常被明确地指代(例如，添加和比较)，其中这些通常与由人类操作者所执行的智力操作相关联。然而，在本文描述的、形成一个或多个实施例的一部分的任意操作中，人类操作者的这种能力不是必须的，或者在大多数情况下是不需要的。相反，这些操作是机器操作。用于执行各个实施例的操作的有用机器包括由存储于其中的根据本文中的教导所编写的计算机程序所选择性地激活或配置的通用数字计算机，和/或包括为了所要求的目的而特别构造的装置。各个实施例还关于用于执行这些操作的装置和系统。这些设备可以为了所要求的目的而特别构造，或可以包括通用计算机。针对各种这些机器所要求的结构将在给定的描述中显而易见。

现在参考附图，其中相似的附图标记用于指代全文中相似的元件。在以下描述中，为了说明的目的，阐述了许多具体细节以提供对其的透彻理解。然而可能明显的是，可以实践这些新颖的实施例而无需这些具体细节。在其它实例中，以框图的形式示出了公知的结构和设备以方便对其的描述。目的在于覆盖权利要求范围内所有的修改、等同物、和替代物。

图1是包含有计算设备100和计算设备200的动态视频编码和解码系统1000的实施例的框图。这些计算设备中的每一个计算设备可以是各种类型的计算设备中的任意一种，其包括但不限于：台式计算机系统，数据输入终端、膝上型计算机、上网本计算机、平板计算机、手持个人数据助理、智能电话、数码相机、集成到布料或可穿戴配件(例如，眼镜、手表等)中的人体可穿戴的计算设备、集成到车辆(例如，轿车、自行车、轮椅等)中的计算设备、服务器、服务器集群、服务器场、站、无线站、用户设备等等。此外，计算设备100可以是在传统意义上并不被认为是“计算机”的各种类型的显示设备中的任意一种，其包括但不仅限于：DVD播放机、便携式视频播放机、视频游戏机系统、电视接收机、视频内容流设备等等。实施例并不限于此上下文中。

如图所示，计算设备100和200通过网络999来交换传递编码视频和/或信道质量数据的信号。然而，这些计算设备中的一个或多个可以通过网络999相互和/或与其它计算设备(未示出)交换与编码视频和/或质量信息完全无关的数据。在各个实施例中，网络999可以是可能限于在单个的建筑或其它相对有限的区域内扩展的单一网络、可以是可能扩展相当大的距离的连接网络的集合、和/或可以包括因特网。因此，网络999可以基于信号可以基于其进行交换的各种通信技术(或通信技术的集合)中的任意通信技术，其包括但不限于：采用电和/或光导电缆的有线技术、以及采用红外、射频或其它形式的无线传输的无线技术。此外，尽管网络999被示出为无线网络，但是在一些示例中，其也可以是有线网络。

应当注意的是，尽管单个计算设备(例如，计算设备100)被描述为用于编码和传输视频而同时单个计算设备(例如，计算设备200)被描述为用于接收和解码视频，但是根据本公开，每个单独的计算设备的特征可以被集成到两个计算设备中，使得每个计算设备都可以编码、传输、接收和解码视频。由此，计算设备100和200可以例如用于促成计算设备的用户之间的视频通话。作为特定的示例性示例，计算设备100和200可以是在网络999上运行的智能电话。这些智能电话可以用于参与智能电话的用户之间的视频通话。

在各种实施例中，计算设备100包含了处理组件110、控制器120、存储设备130、显示器140、和接口150中的一个或多个，以将计算设备100耦合到网络999。存储设备130存储控制例程131、信道质量数据300、参考图132、已编码的视频帧133、和视频帧134中的一个或多个。在各个实施例中，计算设备200包含处理组件210、控制器220、存储设备230、显示器240、和接口250中的一个或多个，以将计算设备200耦合到网络999。存储设备230存储控制例程231、信道质量数据300、已编码的视频帧133、和已解码的视频帧232中的一个或多个。

应当注意的是，尽管所示的存储设备130和230均包括信道质量数据300，但是存储在存储设备130和230每个中的信道质量数据300可以不是相同的信道质量数据和/或可以包括信道质量数据的一部分。此外，在存储设备130和230包括信道质量数据的一部分的情况下，其所包括的部分可以是不同的。

在计算设备100中，控制例程131包含一系列指令，这些指令在作为主处理器组件或图像处理单元的处理器组件110上运行，以实现执行各种功能的逻辑。在执行控制例程131的过程中，在计算设备100将视频进行编码时，处理器组件110生成信道质量数据300的一部分。生成的信道质量数据300的该部分可以包括已编码视频帧的视觉质量的表示，在信道999上传输该表示之前，在计算设备100处测量该表示。控制例程131可以实现用于测量已编码视频帧的视觉质量的各种技术中的任意技术。

如将在下文中更详细描述的，在计算设备100处测量的视觉质量可以对应于质量的基本级别。此外，如将在下文中更详细说明的，信道质量数据300可以包括由计算设备200生成的部分。

另外，在执行控制例程131的过程中，基于信道质量数据300，处理器组件110生成参考图132。如将在下文中更详细说明的，为了编码的目的，参考图132包括视频帧134中的各个单独的视频帧之间的关系的表示。换句话说，参考图132将关系定义为视频的I、P、和B帧。在一些示例中，该关系可以是分层的。此外，如将在下文中更详细说明的，该参考图可以动态更新(例如，基于变化的信道质量数据)。

另外，在执行控制例程131过程中，基于所述参考图，处理器组件对视频帧134进行编码，生成已编码视频帧133。控制例程131可以实现用于对视频进行编码的各种编码技术和/或算法中的任意一种。例如，可以采用但不限于：h.264编解码器、由编码的VC1、由编码的VP8、或用于数字视频的其它任意编码方案或编解码器。

此外，在执行控制例程131过程中，处理器组件110可以通过信道999将已编码视频帧133传输到计算设备200。

在计算设备200中，控制例程231包含一系列指令，这些指令在作为主处理器组件或图像处理单元的处理器组件210上运行，以实现执行各种功能的逻辑。在执行控制例程231的过程中，处理器组件210从计算设备100接收已编码视频帧133。

另外，在执行控制例程231的过程中，处理器组件210可以解码已编码视频帧133并将已解码视频保存为已解码视频帧232。此外，在执行控制例程231的过程中，处理器组件210可以使显示器显示已解码视频帧232。

此外，在执行控制例程231的过程中，处理器组件210生成信道质量数据300的一些部分。生成的信道质量数据300的这些部分包括已解码视频帧的视觉质量的表示，从在信道999上接收到之后，在计算设备200处测量该表示。控制例程231可以实现用于测量已解码视频帧的视觉质量的各种技术中的任意一种。如将在下文中更详细说明的，在计算设备200处测量的视觉质量可以对应于接收到的质量级别。此外，如将在下文中更详细说明的，生成的信道质量数据300的这些部分可以包括对应于信道999的网络质量的表示。控制例程131可以实现各种网络质量测量中的任意一种以生成信道999的网络质量的表示。

另外，在执行控制例程231的过程中，处理器组件210可以将生成的信道质量数据的一部分发送到计算设备100，以为了基于“端到端”信道质量测量来生成参考图的目的。

重要的是要注意，本文中所提供的示例可以用于基于变化的信道状态数据，通过动态地生成和/或更新参考图来提高“流”数字视频的质量。由此，编码可以改变以平衡视频质量与当前信道质量数据。

在各个实施例中，处理器组件110和210中的每个都可以包括多种多样的商用处理器组件，诸如例如，中央处理单元、图像处理单元、或其它任何处理单元中的任意一种。此外，这些处理器组件中的一个或多个可以包括多个处理器、多线程处理器、多核处理器(无论多个核是否共同存在于相同或分离的管芯上)、和/或通过其以某种方式将物理上分离的多个处理器链接起来的其它一些种类的多处理器架构。

在各个实施例中，存储设备130和230中的每个都可以基于多种多样的信息存储技术中的任意信息存储技术，其可能包括要求不间断的电源供应的易失性技术、并且可能包括需要使用可移除或不可移除的机器可读存储介质的技术。因此这些存储设备中的每个都可以包括多种多样类型(或类型的组合)的存储设备中的任意类型，其包括但不限于：只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDR-DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、闪速存储器、聚合物存储器(例如，铁电体聚合物存储器)、奥氏存储器、相位变化或铁电存储器、硅氧化氮氧化硅(SONOS)存储器、磁或光学卡、一个或多个单独的铁磁盘驱动器、或被组织为一个或多个阵列的多个存储设备(例如，被组织为独立磁盘冗余阵列(或RAID阵列)的多个铁磁盘驱动器)。应当注意的是，尽管这些存储器中的每个都被描述为单个块，但是这些存储器中的一个或多个存储器可以包括基于不同存储技术的多个存储设备。因此，例如每个这些描述的存储设备中的一个或多个可以表示以下的组合：光驱或闪存卡读卡器，通过其可以在某种形式的机器可读存储介质上存储并传递程序和/或数据、铁磁盘驱动器，其用于在相对扩展的时间内在本地存储程序和/或数据、以及一个或多个易失性固态存储器设备，其需要相对快地接入程序和或数据(例如，SRAM或DRAM)。还应当注意的是，可以基于同样的存储技术由多个存储组件来组成这些存储设备中的每个存储设备，但是由于专门化使用，这些存储设备也可单独地保持(例如，一些DRAM设备被用作主存储器，而其它DRAM被用作不同的图像控制器的帧缓冲器)。

在各个实施例中，接口150和250中的每个可以采用使得计算设备被耦合到已经描述的其它设备的多种多样的信令技术中的任何技术。这些接口中的每个可以包括提供至少一些必要功能以使能这样的耦接的电路。然而，还可以使用由对应的一些处理器组件所执行的指令序列来至少部分地实现这些接口中的每个(例如，实现协议栈或其它特征)。在采用电或光导电缆的情况下，这些接口可以采用符合以下各种工业标准中的任何标准的信令和/或其它协议，所述工业标准包括但不仅限于：RS-232C、RS-42、USB、以太网(IEEE-802.3)或IEEE-1394。在需要使用无线信号传输的情况下，这些接口可以采用符合以下各种工业标准中的任何标准的信令和/或其它协议，所述工业标准包括但不仅限于：IEEE802.11a、802.11b、802.11g、802.16、802.20(一般被称为“移动宽带无线接入”)；蓝牙；ZigBee；或蜂窝无线电话服务，例如具有通用分组无线业务的GSM(GSM/GPRS)、CDMA/1xRTT、增强数据速率全球演进(EDGE)、仅演进数据/优化(EV-DO)、数据和语音演进(EV-DV)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、4G LTE等。

图2是图1的动态视频编码和解码系统1000的实施例的一部分的简化框图。这些图的每个描绘了生成参考图、基于所述参考图对视频进行编码、对视频进行解码、和生成基于其可以生成所述参考图的信道质量数据等操作的方面。更具体地，图2描绘了生成信道质量数据、生成参考图、以及对视频进行编码的操作的方面。图3描绘了解码已编码视频和生成信道质量数据的一部分的操作的方面。

在各个实施例中，控制例程131和231中的每个可以包括操作系统、设备驱动器和/或应用级例程(例如，在磁盘介质上提供的所谓“软件套件”、从远程服务器获得的“小应用程序”等)中的一个或多个。在包括了操作系统的情况下，该操作系统可以是适合于处理器组件110或210中的任何一些对应组件的各种可用操作系统中的任意操作系统。在包括了一个或多个设备驱动器的情况下，这些设备驱动器可以为计算系统100或200中的一些对应系统的各种其它组件(无论是硬件或软件组件)提供支持。

控制例程131和231中的每个都可以包括或者另外被链接到可由处理器组件110和21执行的通信组件139和239以来别操作接口190和290，以如已经描述的通过网络999来传输和接收信号。在接收到的信号中，可以是传递已编码视频帧133和/或信道质量数据300的信号。如本领域技术人员所熟悉的，选定这些通信组件中的每个以用于所选定的用于实施接口190和290中的那些对应接口的任何类型的接口技术。

另外，控制例程231可以包括或另外被链接到可由处理器组件210执行的与显示组件238，以用于操作显示器240来显示已解码视频帧232。

更具体地转向图2，控制例程131的动态视频编码器1311包括发射器(Tx)质量测量器1312、参考图生成器1313、和视频编码器1314。参考图生成器1313为了编码的目的而生成数字视频的帧之间的关系的表示以，并且将这些表示存储为参考图132。关于图4-7描述了示例参考图。然而，一般而言，如前文所述，为了对数字视频进行编码的目的，参考图定义了该数字视频的帧之间的关系。如上所述，可以多次生成参谋码表。重要的是要注意到，起初可以基于期望的质量级别、信道999的已知网络状态、或从计算设备200接收到的信道质量数据的一部分来生成该参考图。

视频编码器1314基于参考图对视频帧134进行编码，并且将已编码的视频帧存储为已编码视频帧133。要理解的是，计算设备100可以从各个源(例如，存储设备130、另一个未示出的存储设备、未示出的但是通过信道999或另一个网络被连接到计算设备100的另一个计算设备)中的任意源接收视频帧134。

发射器(Tx)质量测量器1312生成信道质量数据300的一部分，其包括已编码视频帧133的质量的表示并将这些表示存储为发射器(Tx)视觉质量分数302。在一些示例中，发射器(Tx)视觉质量分数302基于由于由视频编码器1314所使用的压缩方法导致的可视伪影，并考虑所发出的用于传送开销和前向纠错出的带宽、以及编码配置，例如分片大小、量化参数、GoP结构、帧速率、分辨率等。

现在转向图3，控制例程231的动态视频解码器2311包括网络质量测量器2312、接收器(Rx)质量测量器2313、和视频解码器2314。

网络质量测量器2312生成信道质量数据300的一部分，其包括信道999的网络质量的表示并且将这些表示存储为网络质量分数301。在一些示例中，网络质量分数可以基于各种统计的网络质量测量并且考虑带宽、拥塞、和丢包等。

视频解码器2314解码已编码视频帧133的帧，并且将解码帧存储为解码视频帧232。接收器(Rx)质量测量器2313生成所述信道质量数据300的一部分，其包括解码视频帧232的质量的表示，并且将这些表示存储为接收器(Rx)视觉质量分数234。在一些示例中，接收器(Rx)视觉质量分数基于在计算设备200(例如，接收器)处所测量的可视伪影，并且包括携带视频数据的包的延迟或丢失的影响。

在一些实施中，参考图对于编码器可用但对于解码器不可用。由不同编码技术(例如，H.264等)天然地提供了对这些视频流的解码以及确定哪些帧是依靠哪些帧。在一些实例中，解码器不需要知道参考图，这是因为每个编码帧指定了哪些帧用于解码该帧。另外，在一些实例中，通过文件类型来参考用于编码的编解码器和用于解码视频流的编解码器。

图4-7中的每幅图描绘了参考图132的各种示例，其定义了视频帧134之间的关系。重要的是要注意到，进提供这些参考图示例以用于说明，而不是限制性的。此外，除了定义帧之间的关系之外，参考图可以指定要使用的编码的特定类型。如前文所述，在操作过程中，参考图可以变化或者另外更新。由此，参考图的类型和/或编码的类型可以随例如信道质量数据变化而变化。在一些示例中，随着信道质量(例如，由信道质量数据300所表示的)变低，可以生成更稳健的参考图。例如，但不限于此，相比于不分层的参考图，分层的参考图(例如，参见图5和图7)可以更稳健，其具有比分层二值参考图(例如，参见图5)更稳健的分层伪随机画面间预测参考图(例如，参见图7)。由此，在一些示例中，当信道质量较低时，可以选择分层参考图。此外，在信道质量较高的情况下，可以选择非分层的参考图(例如，参见图4和图6)，其具有+1递进参考图(例如，参见图4)，其比伪随机参考图(例如，参见图6)稳健性更低但是可以提供更好的压缩效率和质量。

另外，如前所述，一些参考图可以包含帧之间的分层关系。可以理解的是，存在并可以使用各种分层编码技术。然而，一般来说，分层视频编码包括将帧组织成基础层(BL)，以及可以带来关于质量、分辨率或帧速率的额外信息的一个或多个增强层(EL)。参考图132可以利用分层编码以基于信道质量数据而增加/减少编码层的数量，以试图提高由计算设备200接收到的视频的质量。此外，将会理解的是，由于分层编码的基于层的编码结构，分层编码可以特别地适应于不等差错保护。对于解码过程，基础层通常来说比增强层更为重要，这是由于其它层对基础层的依赖。此外，当与增强层进行比较时，基础层总体上表示有限数量的数据。可以将更好的稳健的差错保护技术(例如，AL-FEC)应用到基础层上，而增强层可以不受保护，这是因为丢失增强层帧数据的影响仅限于直到接收到下一个基础层帧之前的时间。

更具体地转向图4，其示出了参考图432，参考图432描绘了定义视频帧434-1到434-9之间的关系(例如，由实线所表示的)的递进加1(+1)编码。如图所示，第一视频帧434-1对应于初始视频帧，有时被称为内编码帧。更特别地，第一视频帧434-1将不需要来自其它帧的数据以被解码。然而，视频帧434-2到434-9需要来自先前帧的数据以被解码，其有时被称为P帧或预测编码帧。一般来说，由于执行双跳，相比于视频帧434之间的连续参考，对应于递进+1编码的压缩效率更低。然而，递进+1编码可以提供更好的错误恢复，这是因为直到接收到刷新(例如，新的I帧)之前，仅丢失一半的比特率。在一些示例中，参考图生成器1313可以基于递进+1编码而生成参考图132以基于信道质量数据300来平衡视觉质量。

更具体地转向图5，其示出了分层参考图532，分层参考图532描绘了定义视频帧534-1到534-9之间的关系(例如，由实线所示)的二值参考编码。如图所示，视频帧534-1、534-5、和534-9对应于基础层视频帧，而视频帧534-1是初始视频帧；视频帧534-2到534-3及534-6到534-7对应于第一增强层视频帧，而视频帧534-4和534-8对应于第二增强层视频帧。一般来说，与连续参考相比，对于基础层帧(例如，534-5和534-9)的压缩效率可以更低，但是当在信道999上传输与第一增强层帧中的一个帧有关的数据的过程中丢失的情况下，该结构提供自我修复。此外，该结构允许基于帧损失的重要性(例如，对基础层的更高的差错保护等)的不对称差错保护方案。在一些示例中，参考图生成器1313可以基于二值编码而生成参考图132以基于信道质量数据300来平衡视觉质量。

更具体地转向图6，其示出了参考图632，参考图632描述了定义视频帧634-1到634-22之间的关系(例如，由实线所示)的伪随机编码。视频帧634-1和634-4对应于初始视频帧。其它视频帧(例如，634-2到634-3和634-5到634-22)对应于预测编码视频帧，其中用实线描绘其与初始视频帧634-1或634-4之间的关系。一般来说，使用伪随机预测编码的参考图可以与使用交错传输的编码具有类似的效果。然而，使用伪随机画面间预测编码可以维持对于时间敏感信息(例如，直播流视频、视频电话等)的预测时延。在一些示例中，参考图生成器1313可以基于预测伪随机画面间预测编码而生成参考图132以基于信道质量数据300来平衡视觉质量。

更具体地转向图7，其示出了分层参考图732，分层参考图732描述了定义视频帧734-1到734-16之间的关系(例如，由实线所示)的伪随机画面间预测编码。视频帧734-1到734-2以及734-9到734-10对应于基础层视频帧，其中视频帧734-1和734-2是初始视频帧；视频帧734-3、734-6、734-11、和734-14对应于第一增强层视频帧；视频帧734-4、734-7、734-12、和734-15对应于第二增强层视频帧；并且视频帧734-5、734-8、734-13、和734-16对应于第三增强层视频帧。将会理解的是，通过将层级引入到伪随机参考图中，视频传输可以更稳健并且在对应于较低层帧中的一个帧的数据丢失的情况下，提供提高的视频质量。在一些示例中，参考图生成器1313可以基于伪随机画面间预测编码而生成参考图132以基于信道质量数据300来平衡视觉质量。

图8示出了逻辑流程8100的一个实施例。逻辑流程8100可以表示由本文中所描述的一个或多个实施例执行的操作中的一些或全部。更具体地，逻辑流程8100可以示出由执行至少控制例程131的处理器组件110所执行的操作，和/或由计算设备100的其它组件所执行的操作。

在8110，通过控制例程的动态视频编码器进行执行而使得动态视频编码和解码系统的计算设备的处理器组件(例如，动态编码和解码系统1000的计算设备100的处理器组件110)基于信道质量而生成对应于多个要在信道上传输的已编码视频帧的参考图，为了将多个视频帧编码为多个已编码视频帧的目的，该参考图包括多个视频帧之间关系的表示以当在信道上传输该多个已编码视频帧以及进行解码时，提高该多个已编码视频帧的视觉质量。

例如，控制例程131的动态视频编码器1311的参考图生成器1313可以生成参考图132。此外，在一些示例中，可以基于本文中呈现的各个示例参考图(例如，参见图4-7)而生成参考图以定义视频帧134之间的关系。另外，在一些示例中，可以至少部分地基于网络质量分数、发射器视觉质量分数、和/或接收器视觉质量分数而生成参考图。

在8120，通过控制例程的动态视频编码器进行执行而使得动态视频编码和解码系统的计算设备的处理器组件(例如，动态编码和解码系统1000的计算设备100的处理器组件110)基于参考图来对多个视频帧进行编码。例如，控制例程131的动态视频编码器1311的视频编码器1314可以基于参考图132来对多个视频帧134进行编码，并将已编码视频帧保存为已编码视频帧133。

图9示出了逻辑流程9100的一个实施例。逻辑流程9100可以表示由本文中所描述的一个或多个实施例执行的操作中的一些或全部。更具体地，逻辑流程9100可以示出由执行至少控制例程231的处理器组件210所执行的操作，和/或由计算设备200的其它组件所执行的操作。

在9110，通过控制例程的动态视频解码器进行执行而使得动态视频编码和解码系统的计算设备的处理器组件(例如，动态编码和解码系统1000的计算设备200的处理器组件210)来将通过信道从发射器接收到的多个已编码视频帧解码成多个已解码视频帧。例如，视频解码器2314可以将已编码视频帧133解码成已解码视频帧232。

在9120，通过控制例程的动态视频解码器进行执行而使得动态视频编码和解码系统的计算设备的处理器组件(例如，动态编码和解码系统1000的计算设备200的处理器组件210)生成接收器视觉分数以传输到发射器来提高已解码视频帧的质量，接收器视觉质量分数对应于多个已解码视频帧的质量。例如，接收器(Rx)质量测量器2313可以生成接收器(Rx)视觉质量分数303。

图10示出了适合于实现如前所述的各个实施例的示例性处理架构3000的实施例。更具体地，该处理架构3000(或其变型)可以被实现为计算设备100和200中的一个或者两者的一部分。

处理架构3000可以包括在数字处理中常用的各种元件，包括但不限于：一个或多个处理器、多核处理器、协作处理器、存储器单元、芯片组、控制器、外围设备、接口、振荡器、计时设备、视频卡、音频卡、多介质输入/输出(I/O)组件、电源等。在本申请中所使用的，术语“系统”和“元件”是要指代在其中执行数字处理的计算设备的实体，该实体是硬件、软件和硬件的组合、软件、或执行中的软件，由该描述的示例性处理架构提供了该实体的示例。例如，组件可以是，但是不限于：在处理器组件上运行的进程、该处理器组件本身、可以采用光学和/或磁存储介质的存储设备(例如，硬盘驱动器、阵列中的多个存储驱动器等)、软件对象、可执行指令序列、可执行线、程序、和/或整个计算设备(例如，整个计算机)。通过示例的方式，运行在服务器上的应用程序和该服务器都可以作为组件。一个或多个组件可以驻留于执行进程和/或线程中，并且组件可以定位于一个计算设备上和/或分散在两个或更多计算设备中。此外，可以通过各种类型的通信介质将组件相互通信地耦合以协调操作。该协调可以包括单向或双向的信息交换。例如，组件可以以在通信介质上通信的信号的形式来通信信息。该信息可以被实现为被分配到一个或多个信号线的信号。消息(包括，命令、状态、地址或数据消息)可以是这样的信号之一或可以是多个这样的信号，并且可以通过各种连接和/或接口中的任意连接和/或接口而串行地或实质上并行地进行传输。

如图所示，在实现处理架构3000的过程中，计算设备可以至少包括处理器组件950、存储设备960、到其它设备的接口990、和耦接器955。如将在下文说明的，根据实现处理架构3000的计算设备的各个方面，包括其预期的用途和/或使用条件，这样的计算设备可以进一步包括附加组件，例如但不限于显示接口985。

耦接器955可以包括一个或多个总线、点对点互连、收发器、缓冲器、交叉点交换器、和/或至少将处理器组件950通信地耦合到存储设备960的其它导体和/或逻辑。耦接器955可以进一步将处理器组件950耦合到接口990、音频子系统970和显示接口985中的一个或多个(取决于还存在这些和/或其它组件中的哪个)。有了被耦接器955这样进行耦合的处理器组件950，处理器组件950能够执行上文中所详细描述的各种各样的任务，该任务是由前文所述的无论哪个(些)处理设备来实现处理架构3000。可以使用通过其而光学地和/或电地传递信号的各种技术或技术的组合中的任意一种来实现耦接器955。此外，耦接器955的至少一部分可以采用符合以下多种工业标准的时序和/或协议中的任意一种，其包括但不限于：加速图形端口(AGP)、卡总线、扩展工业标准架构(E-ISA)、微信道架构(MCA)、新总线、外部组件互联(扩展)(PCI-X)、PCI Express(PCI-E)、个人计算机存储卡国际协会(PCMCIA)总线、HyperTransport^TM、QuickPath等。

如前文所讨论的，处理器组件950(对应于处理器组件110和/或210)可以包括各种商用处理器中的任意商用处理器、采用任何各种技术中的任意技术并且使用以多种方式中的任意方式进行物理组合的一个或多个内核。

如前文所讨论的，存储设备960(对应于存储设备130和/或230)可以由基于各种各样的技术或这些技术的组合中的任意技术的一个或多个不同的存储设备组成。更具体地，如图所示，存储设备960可以包括易失性存储设备961(例如，基于一种或多种形式的RAM技术的固态存储设备)、非易失性存储设备962(例如，固态、铁磁或不需要持续的电力提供来保存它们的内容的其它存储设备)、和可移除的介质存设备963(例如，通过其可以在计算机之间传递信息的可移除光盘或固态存储卡存储设备)中的一个或多个。对很可能包括多种不同类型存储设备的存储设备960的描述认识到在计算设备中普遍使用了多于一种存储设备，其中一种提供相对快速的读取和写入的能力，以使得由处理器组件950能够更加快速地操作数据(但是很可能使用持续地需要电力的“易失性”技术)，而另一种提供相对高密度的非易失性存储设备(但是可能提供相对慢的读取和写入的能力)。

考虑到采用不同技术的不同存储设备的常见不同特性，通过不同的存储设备控制器将这样不同的存储设备耦合到计算设备的其它部分是公知常识，其中所述不同的存储设备控制器通过不同的接口被耦合到它们的不同存储设备。通过示例的方式，当存在易失性存储设备961并且其基于RAM技术的情况下，通过提供到易失性存储设备961(其可能采用行和列寻址)的合适接口的存储设备控制器965a，可以将易失性存储设备961通信地耦合到耦接器955，并且其中存储设备控制器965a可以执行行刷新和/或其它保持任务来辅助保存存储在易失性存储设备961中的信息。通过另一个示例的方式，当存在非易失性存储设备962并且其包括一个或多个铁磁和/或固态盘驱动器的情况下，通过提供到非易失性存储设备962(其可能采用信息块寻址和/或柱面寻址和扇区寻址)的合适接口的存储设备控制器965b，可以将非易失性存储设备962通信地耦合到耦接器955。通过又一个示例的方式，当存在可移除介质存储设备963并且其包括采用机器可读存储介质969的一块或多块的一个或多个光学和/或固态盘驱动器的情况下，通过提供到可移除介质存储设备963(其可能采用信息块寻址)的合适接口的存储设备控制器965c，可以将可移除介质存储设备963通信地耦何到耦接器955，并且其中存储设备控制器965c可以以针对延长机器可读存储介质969的使用寿命的方式来协调读取、擦除和写入的操作，以特别地扩展。

易失性存储设备961或非易失性存储设备962中的一个或另一个可以包括机器可读存储介质形式的制品，根据每个实施例所基于的技术，该制品上可以存储有包括了可由处理器组件950来执行的指令序列的用于实现各个实施例的例程。通过示例的方式，当非易失性存储设备962包括基于铁磁的盘驱动器(例如，所谓的“硬盘”)的情况下，每个这样的盘驱动器通常采用一个或多个旋转盘片，其上沉积有磁响应颗粒的涂层并且以各种模式对该涂层进行磁定向来以类似于诸如软盘这样的存储介质的方式来存储信息(例如，指令序列)。通过另一个示例的方式，非易失性存储设备962可以由固态存储设备库组成，以类似于闪存卡的方式来存储指令(例如，指令序列)。再一次，在计算设备中采用不同类型的存储设备在不同时间来存储可执行的例程和/或数据是公知常识。因此，包括可由处理器组件950执行的用于实现各个实施例的指令序列的例程最初可以被存储在机器可读存储介质969上，并且随后可以在将该例程复制到非易失性存储设备962以用于较长期存储的过程中采用可移除介质存储设备963，该保存不需要机器可读存储介质969和/或易失性存储设备961连续存在，以使得在执行该例程时，能由处理器组件950更快速的访问。

如前文所讨论的，接口990(很可能对应于接口150和/或250)，可以采用对应于各种通信技术中的任何通信技术的各种信令技术中的任何信令技术，其中这些通信技术可以用于将计算设备通信地耦合到一个或多个其它设备。再一次，可以采用各种形式的有线或无线信令中的一个或两个以使得处理器组件950很可能能够通过网络或互连的网络组来与输入/输出设备(例如，所述的示例键盘920或打印机925)和/或与其它计算设备进行交互。认识到各种类型的信令和/或协议的通常具有很大差异的特性必须经常由任意一个计算设备所支持，接口990被描述为包括多个不同接口控制器995a、995b和995c。接口控制器995a可以采用任意的各种类型的有线数字串行接口或射频无线接口来接收来自用户输入设备(例如，所描述的键盘920)的串行传输的消息。接口控制器995b可以采用任意的各种基于有线或者无线信令、时序时和/或协议以通过所述的网络999(可以是由一个或多个链路、小型网络、或互联网组成的网络)来接入其它计算设备。接口995c可以采用任意的使能使用串行或并行信号传输的各种电导电缆来向所述的打印机925传递数据。可以通过接口990的一个或多个接口控制器被通信地耦合的设备的其它示例包括但不限于：麦克风、遥控器、手写笔、读卡器、指纹识别器、虚拟现实交互手套、图形输入板、操纵杆、其它键盘、视网膜扫描器、触摸屏的触摸输入组件、轨迹球、各种传感器、监视人的移动以接受这些人通过手势和/或面部表情所发出的命令和/或数据的信号的摄像机或摄像机阵列、激光打印机、喷墨式打印机、机械机器人、铣床等。

当计算设备被通信地耦合到(或可能实际为包括)显示器(例如，所述的示例显示器980，对应于显示器140和/或142)的情况下，实施处理架构3000的这样的计算设备也可以包括显示接口985。尽管可以采用更通用的类型的接口以通信地耦合到显示器，但是经常还是需要某种程度上专用的额外处理以在显示器上视觉地显示各种形式的内容，并且所使用的基于电缆的接口在某种程度上专用的实质，经常使得不同的显示接口的提供是可取的。可以由显示接口985所采用的用于通信地耦合显示器980的有线和/或无线信令技术可以使用符合任意的各种工业标准的信令和/或其它协议，其包括但不限于：任意的各种模拟视频接口、数字视频接口(DVI)、显示端口等。

更一般地，本文中所描述和描绘的计算设备的各种元件可以包括各种硬件元件、软件元件、或两者的组合。硬件元件的示例可以包括设备、逻辑设备、组件、处理器、微处理器、电路、处理器组件、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体设备、芯片、微型芯片、芯片组等。软件元件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。然而，如针对给定实施所期望的，确定是否使用硬件元件和/或软件元件来实现实施例可以根据任何数量的因素而变化，例如所期望的计算速率、功率电平、耐热度、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能限制。

可以使用表述“一个实施例”或“实施例”以及它们的衍生物来描述一些实施例。这些术语意味着关于该实施例所描述的特定特征、结构、或特性被包括在至少一个实施例中。在本说明中各处出现的短语“在一个实施例中”并不一定指代相同的实施例。此外，可以使用表述“耦合”或“连接”以及它们的衍生物来描述一些实施例。这些术语不一定要作为彼此的同义词。例如，可以使用术语“连接”和/或“耦合”来描述一些实施例，以表明两个或更多元件相互直接物理或电接触。然而，术语“耦合”还可以意味着两个或更多元件之间没有相互直接接触，但是仍然相互协作或交互。此外，来自不同实施例的方面或元件可以进行组合。

需要强调的是，提供本公开的摘要以允许读者快速确定本技术公开的实质。所主张的是这样的理解，它不能用于解释或限定权利要求的范围或意义。另外，在前述具体实施方式中，可以看到为了对本发明进行简化的目的，将各个特征组合在单个实施例中。这一公开的方法不应该被理解为反映了这样的意图：所请求保护的实施例要求比在每一个权利要求中明确记载的特征更多的特征。相反，如以下权利要求反映的，发明主题在于少于单个公开的实施例的所有特征。因而，以下权利要求特此被并入到具体实施方式中，其中每一个权利要求本身作为一个独立的实施例。在所附权利要求中，将术语“包括”和“在其中”分别作为相应术语“包含”和“其中”的纯英语同义词。此外，术语“第一”、“第二”、“第三”等仅用作标签，而并不是要对其客体施加数字要求。

前文中所描述的内容所公开的架构的示例。当然，不可能描述组件和/或方法的所有可以想象的组合，但是本领域普通技术人员可以认识到许多进一步的组合和排列是可能的。由此，新颖性的架构是要包括所有这样的落入所附权利要求的精神和范围内的改变、修改和变型。详细的公开现在转向提供与进一步的实施例有关的示例。下面提供的所述示例不能被理解为限制性的。

示例1：一种将视频动态地进行编码的装置。所述装置包括动态视频编码器，其包括参考图生成器以至少部分地基于对应于要在信道上传输的多个已编码视频帧的信道质量而生成参考图，为了将多个视频帧编码为所述多个已编码视频帧的目的，所述参考图包括所述多个视频帧之间的关系的表示以当在所述信道上传输所述多个已编码视频帧并将其进行解码时，提高所述多个已编码视频帧的视觉质量。

示例2：如示例1的装置，所述信道质量包括对应于在所述信道上将所述多个已编码视频帧进行传输之前的所述多个已编码视频帧的质量的视觉质量分数，所述动态视频编码器包括发射器质量测量器以生成所述视觉质量分数。

示例3：如示例2的装置，所述发射器质量测量器基于所述多个已编码视频帧而生成所述视觉质量分数。

示例4：如示例2或3的装置，所述视觉质量分数是发射器视觉质量分数，所述信道质量包括对应于在所述信道上将所述多个已编码视频帧传输到接收器之后的所述多个已编码视频帧的接收器视觉质量分数。

示例5：如示例4的装置，所述动态视频编码器从所述接收器接收所述接收器视觉质量分数。

示例6：如示例1-5中的任意一种装置，其中，所述信道是无线传输信道。

示例7：如示例1-6中的任意一种装置，所述动态视频编码器包括视频编码器，其用于基于所述参考图而将所述多个视频帧编码为所述多个已编码视频帧。

示例8：如示例2-7中的任意一种装置，所述信道质量包括对应于所述信道的质量的网络质量分数。

示例9：如示例5-7中的任意一种装置，所述信道质量包括对应于所述信道的质量的网络质量分数，并且所述动态视频编码器从所述接收器接收所述网络质量分数。

示例10：如示例1-9中的任意一种装置，所述动态视频编码器使得所述参考图迭代地生成。

示例11：如示例1-9中的任意一种装置，所述动态视频编码器使得所述参考图基于检测到的所述信道质量的变化而生成。

示例12：如示例1-11中的任意一种装置，所述参考图定义所述多个视频帧中的一些视频帧之间的分层关系。

示例13：如示例12的装置，所述参考图生成器基于二值模式或伪随机模式而生成。

示例14：如示例1-11中的任意一种装置，所述参考图生成器基于递进加1编码或伪随机编码而生成。

示例15：如权利要求1-11中的任意一种装置，所述参考图定义所述多个视频帧中的一些视频帧之间的分层关系，并且包括画面间预测编码以产生交错传输效果以减少时延。

示例16：一种将已编码视频动态地进行解码的装置。所述装置包括动态视频解码器，其包括视频解码器将通过信道从发射器接收到的多个已编码视频帧解码为多个已解码视频帧；以及接收器质量测量器，其用于生成接收器视觉质量分数以传输到所述发射器来提高所述多个已解码视频帧的质量，所述接收器视觉质量分数对应于所述多个已解码视频帧的质量。

示例17：如示例16的装置，所述动态视频解码器包括网络质量测量器，其用于生成网络质量分数以传输到所述发射器，所述网络质量分数对应于所述信道的质量。

示例18：一种将视频动态地进行编码和解码的装置。所述装置包括如示例1-15中的任意一种装置和如示例16和17中的任意一种装置。

示例19：一种用于将视频动态地进行编码的计算机实现的方法。所述方法包括至少部分地基于对应于要在信道上传输的多个已编码视频帧的信道质量而生成参考图，为了将多个视频帧编码为多个已编码视频帧的目的，所述参考图包括所述多个视频帧之间的关系的表示以当要在所述信道上传输所述多个已编码视频帧并将其进行解码时，提高所述多个已编码视频帧的视觉质量；并基于所述参考图而将所述多个视频帧进行编码。

示例20：如示例19的计算机实现的方法，所述信道质量包括对应于在所述信道上传输所述多个已编码视频帧之前的所述多个已编码视频帧的质量的视觉质量分数，所述方法包括生成所述视觉质量分数。

示例21：如示例20的计算机实现的方法，其中，所述视觉质量分数基于所述多个已编码视频帧而生成。

示例22：如示例20或21的计算机实现的方法，所述视觉质量分数是发射器视觉质量分数，所述信道质量包括对应于在所述信道上将所述多个已编码视频帧传输到接收器之后的所述多个已编码视频帧的接收器视觉质量分数。

示例23：如示例22的计算机实现的方法，所述方法包括从所述接收器接收所述接收器视觉质量分数。

示例24：如示例19-23中的任意一种计算机实现的方法，其中，所述信道是无线传输信道。

示例25：如示例22-24中的任意一种计算机实现的方法，所述信道质量包括对应于所述信道的质量对应的网络质量分数。

示例26：如示例25中的任意一种计算机实现的方法，所述方法包括从所述接收器接收所述网络质量分数。

示例27：如示例19-26中的任意一种计算机实现的方法，包括迭代地生成所述参考图。

示例28：如示例19-26中的任意一种计算机实现的方法，包括检测所述信道质量的变化，并其基于变化的信道质量而生成所述参考图。

示例29：如示例19-28中的任意一种计算机实现的方法，所述参考图定义所述多个视频帧中的一些视频帧之间的分层关系。

示例30：如示例29的计算机实现的方法，包括基于二值模式或伪随机模式而生成所述参考图。

示例31：如示例19-28中的任意一种计算机实现的方法，包括基于递进加1编码或伪随机编码而生成所述参考图。

示例32：如权利要求19-28中的任意一种计算机实现的方法，所述参考图定义所述多个视频帧中的一些视频帧之间的分层关系，并其包括画面间预测编码以产生交错传输效果以减少时延。

示例33：一种用于将视频动态地进行解码的计算机实现的方法。所述方法包括将通过信道从发射器接收到的多个已编码视频帧解码为多个已解码视频帧；并且生成接收器视觉质量分数以传输到所述发射器来提高所述多个已解码视频帧的质量，所述接收器视觉质量分数对应于所述多个已解码视频帧的质量。

示例34：如示例33的计算机实现的方法，包括生成网络质量分数以传输到所述发射器，所述网络质量分数对应于所述信道的质量。

示例35：一种用于将视频动态地进行编码和解码的计算机实现的方法。所述方法包括如示例19-32中的任意一种方法和示例33或34中的任意一种方法。

示例36：至少一个机器可读存储介质。所述至少一个机器可读存储介质包括指令，当所述指令由计算设备执行使，使得所述计算设备执行如示例19-35中的任意一种方法。

示例37：一种将视频动态地进行解码和/或编码的装置。所述装置包括用于执行示例19-35中的任意一种方法的模块。

Claims

1.一种装置，包括：

动态视频编码器，其包括参考图生成器以至少部分地基于对应于用于在信道上传输的多个已编码视频帧的信道质量而生成参考图，所述参考图包括多个视频帧之间的关系的表示以用于将所述多个视频帧编码为所述多个已编码视频帧，以提高所述多个已编码视频帧的视觉质量。

2.根据权利要求1所述的装置，所述信道质量包括对应于在所述信道上对所述多个已编码视频帧进行传输之前所述多个已编码视频帧的质量的视觉质量分数，所述动态视频编码器包括发射器质量测量器以生成所述视觉质量分数。

3.根据权利要求2所述的装置，所述发射器质量测量器基于所述多个已编码视频帧而生成所述视觉质量分数。

4.根据权利要求2或3所述的装置，所述视觉质量分数是发射器视觉质量分数，所述信道质量包括对应于在所述信道上将所述多个已编码视频帧传输到接收器之后所述多个已编码视频帧的接收器视觉质量分数。

5.根据权利要求4所述的装置，所述动态视频编码器从所述接收器接收所述接收器视觉质量分数。

6.根据权利要求1-5中的任意一项所述的装置，其中，所述信道是无线传输信道。

7.根据权利要求1-6中的任意一项所述的装置，所述动态视频编码器包括视频编码器，其用于基于所述参考图而将所述多个视频帧编码为所述多个已编码视频帧。

8.根据权利要求2-7中的任意一项所述的装置，所述信道质量包括对应于所述信道的质量的网络质量分数。

9.根据权利要求5-7中的任意一项所述的装置，所述信道质量包括对应于所述信道的质量的网络质量分数，并且动态视频编码应用从所述接收器接收所述网络质量分数。

10.根据权利要求1-9中的任意一项所述的装置，所述动态视频编码器使得所述参考图迭代地生成。

11.根据权利要求1-9中的任意一项所述的装置，动态视频编码应用使得所述参考图基于检测到的所述信道质量的变化而生成。

12.根据权利要求1-11中的任意一项所述的装置，所述参考图定义所述多个视频帧中的一些视频帧之间的分层关系。

13.根据权利要求12所述的装置，所述参考图生成器基于二值模式、伪随机模式、递进加1编码、或伪随机编码而生成所述参考图。

14.根据权利要求1-11中的任意一项所述的装置，所述参考图定义所述多个视频帧中的一些视频帧之间的分层关系，并且包括画面间预测编码以生成交错传输效果来减少时延。

15.一种用于对已编码视频动态地进行解码的装置，所述装置包括：

动态视频解码器，其用于由处理器组件执行，动态视频解码应用包括：

视频解码器，其用于将通过信道从发射器接收到的多个已编码视频帧解码为多个已解码视频帧；以及

接收器质量测量器，其用于生成接收器视觉质量分数以传输到所述发射器来提高所述多个已解码视频帧的质量，所述接收器视觉质量分数对应于所述多个已解码视频帧的质量。

16.根据权利要求15所述的装置，所述动态视频解码器包括网络质量测量器，其用于生成网络质量分数以传输到所述发射器，所述网络质量分数对应于所述信道的质量。

17.一种用于对视频动态地进行编码的计算机实现的方法，所述方法包括：

至少部分地基于对应于用于在信道上传输的多个已编码视频帧的信道质量而生成参考图，所述参考图包括多个视频帧之间的关系的表示以用于对所述多个视频帧进行编码，以提高所述多个已编码视频帧的视觉质量；并且

基于所述参考图而对所述多个视频帧进行编码。

18.根据权利要求17所述的计算机实现的方法，所述信道质量包括对应于在所述信道上对所述多个已编码视频帧进行传输之前所述多个已编码视频帧的质量的视觉质量分数，所述方法包括生成所述视觉质量分数。

19.根据权利要求18所述的计算机实现的方法，其中，所述视觉质量分数基于所述多个已编码视频帧而生成。

20.根据权利要求18或19所述的计算机实现的方法，所述视觉质量分数是发射器视觉质量分数，所述信道质量包括对应于在所述信道上将所述多个已编码视频帧传输到接收器之后所述多个已编码视频帧的接收器视觉质量分数。

21.根据权利要求20所述的计算机实现的方法，所述方法包括从所述接收器接收所述接收器视觉质量分数。

22.根据权利要求17-21中的任意一项所述的计算机实现的方法，其中，所述信道是无线传输信道。

23.根据权利要求17-22中的任意一项所述的计算机实现的方法，所述参考图定义所述多个视频帧中的一些视频帧之间的分层关系，并且包括画面间预测编码以生成交错传输效果来减少时延。

24.一种用于对视频动态地进行解码的计算机实现的方法，所述方法包括：

将通过信道从发射器接收到的多个已编码视频帧解码为多个已解码视频帧；并且

生成接收器视觉质量分数以传输到所述发射器来提高所述已解码视频帧的质量，所述接收器视觉质量分数对应于所述多个已解码视频帧的质量。

25.根据权利要求24所述的方法，包括生成网络质量分数以传输到所述发射器，所述网络质量分数对应于所述信道的质量。