CN101164345B - 用于速率受控视频编码的自适应跳帧的装置及方法 - Google Patents

Abstract

本发明涉及用于视频序列的速率受控视频编码的自适应跳帧技术。根据所揭示的技术，编码器以相对于使用常规跳帧的编码而言可改进经编码序列的视频质量的方式执行跳帧。具体而言，所揭示的跳帧方案是自适应的，且考虑视频帧的运动活动性以标识可被跳过而不牺牲显著视频质量的某些帧。所述跳帧技术可顾及不同视频帧的空间与时间质量之间的折中。以此方式，所述技术能够以可改进视频序列的可视外观的方式在空间与时间质量之间分配有限的资源。

Description

用于速率受控视频编码的自适应跳帧的装置及方法

相关申请案交叉参考 

本申请案主张2005年3月1日提出申请的第60/657,956号美国临时申请案的权利，其全部内容以引用方式并入本文中。 

技术领域

本发明涉及视频编码，且更具体而言，涉及用于视频编码中的跳帧技术。 

背景技术

人们已制订了大量不同的视频编码标准用于将数字视频序列编码。例如，运动图像专家组(MPEG)已开发出大量标准，包括MPEG-1、MPEG-2和MPEG-4。其他实例包括国际电信联盟(ITU)H.263标准和新兴ITU H.264标准。这些视频编码标准一般通过以压缩方式将数据编码来支持视频序列的改进传输效率。压缩会减少需要传输的数据总量，以便有效地传输视频帧。 

例如，MPEG-4标准和ITU H.263及ITU H.264标准支持利用各顺序性视频帧之间的相似性(称作时间或帧间相关)来提供帧间压缩的视频编码技术。所述帧间压缩技术通过将基于像素的视频帧表达转换至运动表达来利用跨越帧的数据冗余。通常执行称为运动估计和运动补偿的过程以将基于像素的视频帧表达转换为运动表达，且因而实现帧间压缩。 

人们已开发出大量速率控制技术用于视频编码。速率控制技术有利于促进视频序列的实时传输，特别是在计算功率有限时。例如，一种实现速率受控编码的方式是允许调整在视频编码过程期间所用的量化参数(QP)。QP界定在视频编码期间出现的量化等级，并直接影响在编码中使用的位数量。对基于QP的速率控制的一种变化形式称作ρ域速率控制。参数ρ用于表示视频帧的各视频块在量化之后的非零系数数量。ρ值可被映射至QP值，以产生不同的ρ值供使用所选QP实现ρ域速率控制。 

在任一情形中，QP的动态选择可用于控制每秒编码的位数量。随QP增大，保存较少的数据，且视频编码的质量可能降级。随QP减小，保存较多的数据，且视频编码的质量提高。不幸的是，为速率控制选择的QP并不总是足以满足有限的带宽要求。因此，例如视频电话或视频流等某些视频应用可使用跳帧技术来进一步降低位速率。对于跳帧技术而言，可在视频编码中完全跳过一个或多个视频帧，以确保满足带宽要求。特定而言，保存那些原本将分配至被跳过帧的位以应用至视频序列中的其他帧。 传统的跳帧通常固定地出现，或随需要而出现，以确保满足带宽要求。 

发明内容

本发明内容涉及用于视频序列的速率受控视频编码的自适应跳帧技术。根据所揭示技术，编码器以能够相对于使用传统跳帧进行编码改进编码序列的视频质量的智能方式执行跳帧。特定而言，所揭示的跳帧方案是自适应的，且考虑视频帧的运动活动性以标识某些可跳过而不显著牺牲视频质量的帧。 

所阐述的跳帧技术可顾及不同视频帧的空间和时间质量之间的折衷。以此方式，所述技术可以能够改进视频序列的可视外观的方式在空间和时间质量之间分配有限带宽。人体视力在运动是高速时对时间质量更敏感，而在运动是低速时对空间质量更敏感。根据这一揭示内容，可基于运动活动性将各帧分等级，并基于空间质量对其进行单独分析，以标识可跳过而不显著牺牲视频质量的帧。 

在一实施例中，这一揭示内容阐述一种视频编码方法，其包括至少部分地基于与视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧，并在所述视频序列的编码期间跳过所述一个或多个候选视频帧。 

在另一实施例中，这一揭示内容阐述一种视频编码装置，其包括：编码器，其将视频序列的帧编码；及速率控制单元，其至少部分地基于与所述视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧，并使得编码器在所述视频序列的编码期间跳过所述一个或多个候选视频帧。 

本文所述技术可按硬件、软件、固件或其任一组合形式实施于视频编码装置中。如果以软件形式实施，则该软件可在例如数字信号处理器(DSP)等可编程处理器中执行。在所述情形中，执行所述技术的软件可首先存储于计算机可读媒体中，并载入及执行于可编程处理器中，以在数字视频装置中进行有效的速率受控编码。因此，这一揭示内容还涵盖一种包括可执行指令的计算机可读媒体，所述指令在执行于视频编码装置中时，使得所述装置至少部分地基于与视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧，并在所述视频序列的编码期间跳过所述一个或多个候选视频帧。 

在附图和下文说明中列举各实施例的其它细节。根据本说明和图式及根据权利要求书，将易知其它特征、目的和优点。 

附图说明

图1是图解说明其中源数字视频装置将经编码的视频数据序列传输至接收数字视频装置的实例性系统的框图。 

图2是根据这一揭示内容的实施例的视频编码装置的实例性框图。 

图3是图解说明存储一组经分等级的视频帧的数据结构的概念图。 

图4-6是图解说明根据这一揭示内容的各实施例的自适应跳帧技术的流程图。 

图7是图解说明一种用于根据这一揭示内容的实施例确定是否跳过一视频帧的技术的实例性流程图。 

具体实施方式

本发明内容涉及用于视频序列的速率受控视频编码的跳帧技术。所揭示的跳帧方案是自适应的，且考虑视频帧的运动活动性以标识某些可跳过而不显著牺牲视频质量的帧。例如，可使用与所述视频帧相关联的运动信息将所述帧分等级，以标识可跳过而不显著牺牲视频质量的一个或多个候选视频帧。所述跳帧技术可结合速率控制技术使用，其中以动态方式选择量化参数(QP)，但也可以单独使用而不使用这种速率控制。 

在一实例中，用于将候选视频帧分等级的运动信息包括候选视频帧的各视频块的运动向量长度平均值。在另一实例中，与候选视频帧相关联的运动信息包括在所述视频序列中的候选视频帧之前的一个帧中各视频块的运动向量长度平均值。如果使用前述帧的运动向量长度来界定与候选视频块相关联的运动信息，则所述信息是运动的近似值，但可使用而在编码方案中不需要其他运动估计回路。所述视频块在本文中还可以称作宏块(MB)，但不必限定至任一特定大小或格式。 

所述技术可包括：至少部分地基于视频帧的宏块(也就是当前候选者的宏块或一前述帧的宏块)的平均运动向量长度将视频序列的各视频帧分等级，并基于由与视频帧相关联的量化参数(QP)界定的空间质量来标识每一视频帧的阈值。在QP不同的情况下，所述阈值可因不同视频帧而不同。以此方式，可使得以较低QP编码的视频帧(其具有较高空间解析度)优先于具有较高QP且因此具有较低空间解析度的帧。通过使用基于运动的分等级和界定为空间解析度函数的阈值，所述技术可平衡不同视频帧的空间和时间质量，以标识用于跳帧的较佳候选者。许多其他候选者也可以用于所述跳帧方案，(例如)以防止在带宽充裕时跳帧或防止在运动极高速时跳帧。 

所述技术可以能够改进视频序列的可视外观的方式，基于不同视频帧的空间和时间质量来分配有限资源。人体视力在运动是高速时对时间质量更敏感。然而，当运动是低速时，人体视力对空间质量更敏感。根据这一揭示内容，可基于运动活动性将各帧分等级，并基于空间质量进行评定，以标识可跳过而不显著牺牲视频质量的帧。 

图1是图解说明其中源装置12将经编码的视频数据序列经由通信链路15传输至接收装置14的实例性系统10的框图。源装置12依据一种可利用速率受控视频编码的视频标准(例如MPEG-4标准、ITU H.263标准、ITU H.264标准、或各种其它标准的任一者)对视频数据编码。如下文更详细阐述，系统10的装置12、14中的一者或二者均实施使用自适应跳帧的速率控制技术，以改进视频编码过程。这种使用自适应跳帧的速率控制技术特别有利于视频序列在有限带宽的通信链路15上进行实时传输，例 如在视频电话或视频流应用中。所述速率控制技术可能在(例如)无线通信链路上的移动视频电话或移动视频流应用中尤其合意。 

大体而言，通信链路15可包括无线链路、实际传输线、光纤、例如局域网、广域网等基于分组的网络、或例如因特网等全球网络、公共交换电话网络(PSTN)、或任何其它能够传送数据的通信链路。因此，通信链路15表示任一适合的通信媒体，或可能不同网络和链路的集合，供用于将视频数据从源装置12传输至接收装置14。然而，如上文提及，通信链路15可能具有有限带宽，从而使得速率控制对视频序列在链路15上的实时传输极为合意。所述有限带宽可能是由于通信链路15上的实际约束，或可能是通信链路15的提供商所施加的服务质量(QoS)限制或带宽分配约束。 

源装置12可包含任一能够编码及传输视频数据的数字视频装置。源装置12可包括：视频存储器16，以存储数字视频序列；视频编码器18，以将所述序列编码；及发射机20，以在通信链路15上将所述经编码序列传输至源装置14。视频编码器18可包括(例如)各种硬件、软件或固件、或一个或多个执行可编程软件模块以控制如本文所述的视频编码技术的数字信号处理器(DSP)。可提供相关联的存储器及逻辑电路以支持DSP控制所述视频编码技术。 

源装置12还可以包括例如视频照相机等视频捕获装置23，以捕获视频序列并将所捕获的序列存储于存储器16中。特定而言，视频捕获装置23可包括电荷耦合装置(CCD)、电荷注入装置、光电二极管阵列、互补金属氧化物半导体(CMOS)装置、或任一其他能够捕获视频图像或数字视频序列的光敏装置。 

再例如，视频捕获装置23可包括视频转换器，其将模拟视频数据从(例如)电视机、录像机、摄像放像机、或另一视频装置转换成数字视频数据。在某些实施例中，源装置12可经配置以在通信链路15上传输实时视频序列。在所述情形中，接收装置14可接收所述实时视频序列并将所述视频序列显示给用户。另一选择为，源装置12可捕获作为视频数据文件(即不是以实时形式)发送至接收装置14的视频序列并进行编码。因此，源装置12及接收装置14可在例如移动无线网络中支持例如视频电信、视频剪辑重放、视频邮件、或视频会议等应用。装置12及14可包括未在图1中具体显示的各种其它元件。 

接收装置14可采取任一能够接收视频数据并进行解码的数字视频装置形式。例如，接收装置14可包括接收机22，以(例如)经由中间链路、路由器、其它网络设备及类似装置从发射机20接收经编码的数字视频序列。接收装置14也可包括用于将所述序列解码的视频解码器24，及用于向用户显示所述序列的显示装置26。然而，在某些实施例中，接收装置14可不包括集成显示装置14。在这种情形中，接收装置14可充当接收机，其将所接收的视频数据解码以驱动例如电视机或监视器等离散显示装置。 

源装置12和接收装置14的实例性装置包括位于计算机网络上的服务器、工作站或其它桌上型计算装置，及例如膝上型计算机或个人数字助理(PDA)等移动计算装 置。其它实例包括数字电视广播卫星及例如数字电视、数字照相机、数字摄像机或其它数字记录装置等接收装置、例如具有视频能力的移动电话或手机等数字视频电话、具有视频能力的直接双向通信装置、其它无线视频装置及类似装置。 

在某些情形中，源装置12和接收装置14分别包括用于对数字视频数据进行编码和解码的编码器/解码器(CODEC)。源装置12和接收装置14二者均可包括发射机和接收机以及存储器和显示器。下文概述的许多编码技术是阐述于包含编码器的数字视频装置上下文中。然而，应了解，所述编码器可构成CODEC的一部分。于所述情形中，CODEC可构建于硬件、软件、固件、DSP、微处理器、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散硬件组件、或其各种组合中。 

源装置12内的视频编码器18对视频帧序列内的像素块进行操作，以将所述视频数据编码。例如，视频编码器18可执行运动估计和运动补偿技术，其中将想要传输的视频帧划分成若干像素块(称作视频块)。为便于例示，所述视频块可包含任意大小的块，且可在给定的视频序列中有所变化。作为一实例，ITU H.264标准支持16×16视频块、16×8视频块、8×16视频块、8×8视频块、8×4视频块、4×8视频块及4×4视频块。在视频编码中使用较小的视频块可在编码中产生较佳的解析度，且可专门用于包含较高详细程度的视频帧区域(所关注域)。此外，视频编码器18可经设计以对4×4视频块进行操作，并随需要根据所述4×4视频块来重构更大的视频块。对于例如MPEG-4等标准，视频块可包括16×16视频块，其有时称作“宏块”。然而，本文所述技术一般并不限定于任一大小或格式的视频块或宏块。 

举例而言，视频块中的每一像素可由各种界定像素的可视特性(例如以色度和发光度值表示的色彩和亮度)的n位值(例如8位)来表示。每一像素均可具有一个或多个用于色度和发光度二者的8位值。然而，本发明的技术又不限于像素格式，而可以更简单的更少位像素格式或更复杂的更多位像素格式来扩充。也可根据其它色彩座标系统来界定像素。此外，视频块可由离散余弦变换(DCT)系数后跟由像素值表示的视频块的DCT来表示。另一选择为，视频块可由非零小波值后跟像素值的小波变换来表示。如本文所述，使用自适应跳帧的速率控制技术可适用于大量编码标准、像素格式和视频块大小及形状。 

图2是可对应于源装置12的视频编码装置30的实例性框图。大体而言，装置30包括能够执行本文所述自适应跳帧技术的数字视频装置。装置30可符合例如MPEG-4、ITU H.263、ITU H.264等视频编码标准，或另一可受益于本文所述自适应跳帧技术的视频编码标准。 

如图2所示，装置30包括用于将视频序列编码的视频编码设备32，及用于在编码之前和之后存储所述视频序列的视频存储器34。装置30还可以包括用于将经编码序列传输至另一装置的发射机36，且可能包括用于捕获视频序列并将所捕获序列存储于存储器34中的视频捕获装置38，例如视频照相机。装置30的各种元件可经由通信总线35以通信方式耦合在一起。例如帧内编码器元件等各种其他元件、各种滤波器或 其他元件也可以包含于装置30中，但为简明起见而不具体图解说明。 

视频存储器34通常包括相对大的存储空间。例如，视频存储器34可包括动态随机存取存储器(DRAM)、或FLASH(闪速)存储器。在其它实例中，视频存储器34可包括非易失性存储器或任一其它数据存储装置。 

视频编码设备32可包含用于移动无线电电话的芯片组，所述芯片组包括硬件、软件、固件、及/或处理器或数字信号处理器(DSP)的任一组合。视频编码设备32一般包括耦合至本地存储器37的视频编码器28。本地存储器37可包括相对于视频存储器34较小和较快的存储空间。举例而言，本地存储器37可包括同步动态随机存取存储器(SDRAM)。本地存储器37可包括与视频编码设备32的其它组件集成的“芯片上”存储器，以允许在处理器密集型编码过程期间极快速地存取数据。在给定视频帧的编码期间，可将想要编码的当前视频块从视频存储器34载入至本地存储器37。也可以将用于定位最佳预测的查找空间从视频存储器34载入至本地存储器37。然而，对于本文所述技术的执行来说，不同存储器是不必要的。换句话说，视频编码器28可存取芯片上或芯片外存储器，以获得所述视频块和查找空间。 

根据这一揭示内容，视频编码器28包括速率控制单元46，其执行自适应跳帧技术以确保可将视频序列有效地编码供在有限带宽上传输。在图2所示实例中，速率控制单元包括基于选择量化参数来执行速率控制的QP速率控制模块45，及执行自适应跳帧的跳帧模块47。然而，在某些实施例中，可单独使用所述跳帧技术，而无需基于选择QP进行动态速率控制。 

为将给定视频帧(也就是未跳过的帧)编码，运动估计器40和运动补偿器42通过存取载入至本地存储器37的查找空间而对视频帧分别执行运动估计和运动补偿。例如，可为本地存储器37载入一欲编码的当前视频块和查找空间，所述查找空间包括用于帧间编码的一个或多个视频帧的一些或所有。运动估计器40将当前视频块与所述查找空间中的各个视频块进行比较，以便标识最佳预测。然而，在某些情形中，无需具体检查每一可能候选者即可更快速地为所述编码标识一适当匹配者。在所述情形中，所述适当匹配者可能实际上并非“最佳”预测，但对于有效的视频编码而言已足够。一般而言，短语“预测视频块”是指适当匹配者，其可能是最佳预测。 

运动估计器40执行欲编码的当前视频块与存储器37的查找空间中的候选视频块之间的比较。举例而言，运动估计器40可执行绝对差求和(SAD)技术、平方差求和(SSD)技术、或其它比较技术，以便为候选视频块界定差值。差值越小通常指示候选视频块是越佳的匹配者，且因而是比其它会产生更高差值的候选视频块更佳的供用于运动估计编码的候选者。 

最后，运动估计器40标识“最佳预测”-其是与所要编码的视频块最紧密匹配的候选视频块。然而，应了解，在许多情形中，可在最佳预测之前对适当匹配者进行定位，且在那些情形中，可使用适当匹配者来进行编码。同样，预测视频块是指适当匹配者，其可能是最佳预测。 

一旦运动估计器40将想要编码的视频块标识为预测视频块，则运动补偿器42创建可指示当前视频块与最佳预测之间的差异的差异块。差异块编码器44可进一步对所述差异块编码以压缩所述差异块，且可转发经编码的差异块以将其连同运动向量(或所述运动向量与运动向量预测值之间的差)一起传输至另一装置，以标识所述查找空间中哪一候选视频块曾用于进行编码。为简明起见，将用于在运动补偿之后执行编码的其它组件归纳为差异块编码器44，因为具体组件将视所支持的具体标准而变化。也就是说，差异块编码器44可对差异块执行大量传统编码技术，例如8×8离散余弦变换、标量量化、光栅-锯齿形重排序、运行长度编码、霍夫曼编码或其他编码或压缩技术。 

在编码过程期间，速率控制可帮助确保用于将给定序列编码的位数量不超过与发射机36相关联的通信通道的带宽限制。然而，如上文提及，仅基于QP选择的速率控制并不总是足以满足有限的带宽要求。在这些情形中，可更频繁地应用跳帧，以通过在视频编码期间跳过某些视频帧来确保满足带宽要求。对于跳帧而言，原本应分配至被跳过的帧的位被另外重新捕获，供用于分配给视频序列中的其他帧。本文所述的自适应跳帧技术相对于传统跳帧改进了视频序列的质量。 

为执行速率控制，视频编码器28包括速率控制单元46。速率控制单元46包括用于基于QP动态选择来执行速率控制的QP速率控制模块45，及用于执行自适应跳帧的跳帧模块47。在某些情形中，QP速率控制模块45开发每帧所编码的位数量与视频块在量化之后的非零系数数量之间的关系。ρ的值表示视频块在量化之后的非零系数数量，其一般与每帧所编码的位数量(且因此，在恒定帧速率下每秒所编码的位数量)成正比。相应地，QP速率控制模块46可利用ρ与QP之间的关系，以实现速率受控视频编码。 

在任一情形中，QP速率控制模块45选择对应于视频编码的合意速率的QP。QP可逐帧地选择，或逐视频块地选择。这一基于QP的速率控制可针对每一视频帧的编码而形成编码回路的一部分。 

此外，基于QP的速率控制并不总是足以满足有限的带宽要求。因此，速率控制单元46还包括跳帧模块47。跳帧模块47通过标识可跳过的较佳候选者来执行自适应跳帧。所述候选者可基于运动信息、空间质量或运动信息及空间质量二者来选择。人体视力在运动是高速时对时间质量更敏感，但人体视力在运动是低速时对空间质量更敏感。根据这一揭示内容，可基于运动活动性将各帧分等级，并基于空间质量分别对其评定，以标识可跳过而不显著牺牲视频质量的帧。 

跳帧模块47可标识与给定视频帧相关联的运动信息，以确定所述视频帧是否是用于跳帧的较佳候选者。例如，运动信息可包括组成候选视频帧的各视频块的平均运动向量长度。然而，在这一情形中，由于运动估计确定平均运动向量长度，则在跳帧确定之前通常需要进行运动估计。如果跳过所述帧，则这些运动估计计算在编码中不使用，且因此被废损。出于这一原因，在另一实例中，与给定视频帧相关联的运动信息可包括与组成所述序列中给定视频帧之前的视频帧的各视频块相关联的平均运动向 量长度。在这一情形中，原本将参照用于编码的前一视频帧来执行运动估计，且因此可避免参照被跳过的帧进行不必要的运动估计。前一帧可能是紧邻的前一个，但所述技术不一定限于这一方面。 

跳帧模块47可至少部分地基于视频帧宏块(也就是当前候选者的宏块或前一帧的宏块)的平均运动向量长度将视频序列的视频帧分等级，并基于由与视频帧相关联的量化参数(QP)界定的空间质量标识每一视频帧的阈值。在QP不同的情况下，阈值可能针对不同视频帧而不同。以此方式，可使得以较低QP进行编码的视频帧(其具有较高空间解析度)优先于具有较低空间解析度的帧。通过使用基于运动的分等级和界定为空间解析度函数的阈值，跳帧模块47可平衡不同视频帧的空间和时间质量，以标识用于跳帧的较佳候选者。 

图3是视频序列的一组经分等级视频帧的概念图。跳帧模块47可在本地存储器37中创建这种数据结构以进行跳帧确定。特定而言，数据结构50包括一从“高”到“低”进行分类的视频帧序列。所述“高”和“低”是基于与各种视频帧相关联的运动向量长度的相对量。运动向量长度可以是组成当前候选帧或所述候选者之前的一个帧的各视频块的平均运动向量长度。以此方式，数据结构50一般基于与不同帧相关联的运动活动性将视频序列的视频帧分等级。数据结构50可以分等级方式维持帧的滑动窗口，且可在考虑及将新帧分等级时丢弃较旧的帧。 

在某些情形中，跳帧模块47可仅选择数据结构50中最低的候选者供用于跳帧。例如，可界定截止点，以便可将任何具有低于所述截止点的运动向量长度的帧标定为跳帧候选者。所标定的帧是用于跳帧的候选者，但并不必需跳过。例如，跳帧模块47可经配置以使得如果这些帧均非常“低”则避免跳过连续的帧。 

然而，运动并非唯一影响合意的跳帧确定的视频帧特性。例如，如上文提及，在运动是高速时人体视力对时间质量更敏感，但在运动是低速时人体视力对空间质量更敏感。因此，除运动外还可以使用空间质量，以标识候选者或将某些帧排除在跳帧之外。 

作为速率控制的一部分而为帧或视频块选择的QP可用于评定不同视频帧的空间质量。例如，可基于由与视频帧相关联的量化参数(QP)界定的空间质量，为每一视频帧界定一阈值。较低的QP一般意指视频帧将具有较高空间质量，因为较低的QP会导致在编码中使用更多个位。基于QP，在QP针对不同帧而不同的情况下，阈值可针对不同视频帧而不同。图3所示AFS(“自适应跳帧”)阈值可被设定为运动向量长度范围的“高”端和“低”端之间的百分比。 

下列表1提供一表格实例，其可由跳帧模块47用于除经分等级视频帧的运动向量长度之外计及空间解析度。与帧相关联的QP可针对一帧界定，或者，如果允许所述QP逐视频块地改变，则其可以是所述帧的平均QP。此外，较低的QP会产生更大的空间解析度，也就是较佳质量的视频帧。 

表1 

QP	百分比(％)
		＞22	90
21-22	80
		5-20	50
＜5	0(无跳帧)

如表1中显示，参照MPEG-4实例，如果与一帧相关联的QP大于22，则百分比阈值为90％。这意味着：如果QP大于22的视频帧落入图3的数据结构50中所界定的后90％的运动范围内，那么所述视频帧可被跳过，也就是说除非其具有位于前10％的高等级，否则就会被跳过。如果QP是21-22，则百分比阈值为80％，其意指如果视频帧落入后80％的运动范围内则其可被跳过。如果QP是5-20，则百分比阈值为50％，其意指如果视频帧落入后50％的运动范围内则其可被跳过。对于小于5的QP而言，可不考虑运动而避免跳帧，因为QP小于5的视频帧定义了极佳的空间解析度。当然，可用不同方式界定所述阈值，且QP可以视标准而界定更高或更低级别的解析度。 

通过使用根据帧的运动向量长度在一系列帧中对所述帧进行的分等级和与应用至所述帧的QP相关联的百分比阈值，跳帧模块47确定是否跳过对所述帧的编码。如果所述帧的运动向量长度等级低于所述百分比阈值，则跳过所述帧。所述阈值还可以视可用带宽而是自适应的。例如，可依据可用带宽使用不同的表格，以便根据需要使跳帧的可能性更大或更小。重要的是，通过使用基于运动的分等级和界定为空间解析度函数的阈值，所述技术可平衡不同视频帧的空间和时间质量，以标识用于跳帧的较佳候选者。 

在某些情形中，如果跳过一帧，则接续帧的运动估计将基于被跳过的帧之前的帧，这自然会导致一跳帧之后的任一帧均具有较高速运动。因此，跳过两个连续帧是极不可能的。而且，跳帧模块47可在需要时采取其他步骤以避免跳过连续帧。此外，跳帧模块47可为极高速运动界定一标准，其中可无论如何地避免跳帧。例如，依据表1所示实例，无论QP如何，均不可能跳过相关联的平均运动向量长度大于10的视频帧。 

此外，跳帧模块47可界定其他测试或参数，以完全地防止在带宽充裕时跳帧。此外，在某些情形中，跳帧模块47可经编程以采用分层方式，其中依据可用带宽来执行较主动跳帧或不太主动的跳帧。以这些或其他方式，跳帧可基于运动活动性、空间质量和可用带宽来执行。重要的是，最后的跳帧决策至少部分地基于运动活动性，以使得无论所应用的跳帧主动性如何，选择作为跳帧候选者的帧是其中跳帧将不会引起视频序列外观过度降级的帧。 

图4是图解说明其中结合基于QP的速率控制来使用自适应跳帧的实施例的流程图。在图4所示实例中，用于做出跳帧确定的运动信息是与所讨论的视频帧相关联的 平均运动向量长度。此意指必须在做出跳帧确定之前参照所讨论的视频帧来执行运动估计。 

如图4中显示，速率控制单元46的QP速率控制模块45执行速率控制(61)，以计算所讨论的视频帧的QP。在某些情形中，可针对帧的不同视频块来调整QP，其中可在跳帧确定中使用平均QP。然而，为简明起见，将假设给定帧的QP是固定的。 

在某些情形中，模块45可自本地存储器37存取ρ-QP表格，或可应用一将ρ的不同值映射至不同QP的等式。在任一情形中，一旦选定QP，则运动估计器40为所讨论的视频帧执行运动估计(62)。所述运动估计产生用于进行跳帧确定所需的运动信息。 

跳帧模块47使用所述运动信息和帧的所选QP来确定所述帧是否是跳帧的较佳候选者。更具体而言，跳帧模块可将所述帧载入至经分等级的数据结构50，以基于其运动而相对于其他近期帧将当前帧分等级，其中所述数据结构包含视频序列的近期历史中的许多其他帧。随后，可使用QP确定百分比阈值。跳帧模块47考虑所述视频帧在数据结构50内的等级来应用表格1，以确定跳帧是否应发生(63)。如果跳过所述帧(63的“是”分支)，则所述过程针对序列中的下一帧而重复(65)。如果否(63的“否”分支)，则(例如)通过对所述帧应用运动估计和运动补偿来对所述帧编码。出于更有效实施的目的，可存储在步骤62中所执行的运动估计的结果，以使得无需在编码步骤64中重复运动估计。然而，如果跳过所述帧，则在步骤62中执行的运动估计不用于任何编码。所述步骤可针对视频序列的所有帧而重复(65)。 

图5是图解说明其中结合基于QP的速率控制来使用自适应跳帧的实施例的另一流程图。然而，在图5所示实例中，用于做出跳帧确定的运动信息是与所讨论的视频帧之前的一个帧相关联的平均运动向量长度。这意指无需参照所讨论的当前视频帧来执行运动估计以做出跳帧确定。相反，在前一帧的编码期间执行的前一运动估计可将可能与当前帧相关联的运动活动性界定为一近似值。 

如图5中显示，速率控制单元46的QP速率控制模块45执行速率控制(71)，以计算所讨论的视频帧的QP。此外，在某些情形中，QP速率控制模块45可自本地存储器37存取ρ-QP表格，或可应用一将ρ的不同值映射至不同QP的等式。跳帧模块47使用运动信息(在这一情形中，前一视频帧的平均运动向量长度)及当前帧的所选QP，以确定所述帧是否是跳帧的较佳候选者。跳帧模块可将所述帧载入至经分等级的数据结构50，其中所述数据结构包括视频序列的当前历史中的其他帧。基于与当前帧相关联的运动信息，这会参照帧的近期历史将所述帧分等级。此外，在图5所示实例中，与当前帧相关联的运动信息可以是前一帧的平均运动向量长度。在这一实例中，前一帧可以是紧邻的前一个，但所述技术并不限定于此。如果前一帧是紧邻的前一帧，则在跳帧之后，所述前一相同帧可用于界定下一帧的运动信息(在这一点处，使当前帧和前一帧成为分开的两个帧)。 

在任一情形中，均可随后使用QP确定百分比阈值。跳帧模块47考虑所述视频帧 在数据结构50内的等级而应用例如表1等百分比表格，以确定是否应发生跳帧(72)。如果跳过所述帧(72的“是”分支)，则针对序列中的下一帧重复所述过程(74)。如果否(72的“否”分支)，则(例如)通过对所述帧应用运动估计和运动补偿来对所述帧编码(73)。应注意，在图5中，如果跳过所述帧，则可完全避免对所述帧的运动估计，因为所述运动信息是基于前一帧的平均运动向量长度而导出(估计)的。一旦将当前帧编码，则可针对一视频序列的所有帧重复所述过程(74)。 

图6是图解说明其中结合基于QP的速率控制来使用自适应跳帧的另一实施例的另一流程图。在图6所示实例中，类似于图5所示实例，用于做出跳帧确定的运动信息是与所讨论的视频帧之前的一个帧相关联的平均运动向量长度。然而，不同于图5所示技术，在图6中，当跳过一帧时，参照被跳过的帧来执行运动估计，以使用与被跳过的帧相关联的运动信息做出下一帧的跳帧确定。以此方式，用于跳帧确定的运动信息可以总是紧邻的前一帧的平均运动向量长度(即使接续一跳帧)。 

如图6中显示，速率控制单元46的QP速率控制模块45执行速率控制(75)，以计算所讨论的视频帧的QP。跳帧模块47使用运动信息(在这一情形中，紧邻的前一视频帧的平均运动向量长度)和当前帧的所选QP，以确定所述帧是否是跳帧的较佳候选者。跳帧模块47可将所述帧载入至经分等级的数据结构50中，所述数据结构包括视频序列的当前历史中的其他帧。基于与当前帧相关联的运动信息，这会参照帧的近期历史将所述帧分等级。此外，在图6所示实例中，与当前帧相关联的运动信息可以是紧邻的前一帧的平均运动向量长度。 

随后，可使用QP确定百分比阈值。跳帧模块47考虑视频帧在数据结构50内的等级而应用例如表1等百分比表格，以确定是否应发生跳帧(76)。如果不跳过所述帧(76的“否”分支)，则(例如)通过对所述帧应用运动估计、运动补偿和其他编码技术来对所述帧编码(77)。应注意，在图6中，如果跳过所述帧，则执行所述帧的运动估计(79)，以允许下一跳帧确定使用被跳过的帧的平均运动向量长度。然而，如果跳过所述帧，则可避免为所述帧执行例如运动补偿、纹理编码、去块滤波或其他编码步骤等其他编码步骤。可针对视频序列的所有帧重复所述过程(78)。 

图7是图解说明用于确定是否跳过一帧的实例性技术的另一流程图。图7所示技术(例如)可一般对应于图4所示项目63或图5所示项目72或图6所示项目76。如图7中显示，跳帧模块47基于平均运动向量长度(针对给定帧或基于前一帧的运动向量长度)将视频帧分等级(81)。所述分等级可存储于类似于表1的表格中，且可构成经分等级帧的滑动窗口，其中在考虑及将新帧分等级时丢弃最旧的帧。 

针对每一给定帧，速率控制模块47基于空间质量来标识百分比阈值(82)。例如，可使用所述帧的QP来评定空间质量，尽管也可替代使用其他技术用于评定空间质量。百分比阈值界定关于所述经分等级的帧的百分比。如果正在考虑的当前帧被分等级为低于所述阈值的百分比(83的“是”分支)，则跳过所述帧(84)。然而，如果所考虑的当前帧被分等级为高于所述阈值的百分比(83的“否”分支)，则将所述帧编码(85)。 在分等级基于运动信息(其中较低等级的视频帧相对于较高等级的帧具有较低运动)的情况下，所述分等级计及时间质量。所述阈值计及空间质量。此外，由于所述分等级是相对于近期帧的，则跳帧决策也是基于给定帧相对于最近编码的帧的时间和空间质量而做出的相对决策。 

本文已阐述了多个实施例。具体而言，已提议了各种利用自适应跳帧的速率控制技术。所述技术可通过以自适应方式确定帧的运动、量化和可用资源来确定何时跳过一帧。所述技术可动态分配一可用位预算以在时间和空间质量之间折中。与不具有跳帧的技术相比，所述技术可提供极佳的空间质量而不损害时间质量。此外，所述技术可在维持运动平滑度和时间质量方面胜过固定式跳帧，尤其是在高速运动视频序列中。 

所述技术可构建于硬件、软件、固件或其任一组合中。如果构建于软件中，则所述技术可涉及一种包含程序代码的计算机可读媒体，所述程序代码在执行于对视频序列进行编码的装置中时会执行上文提及的一种或多种方法。于所述情形中，计算机可读媒体可包括随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)、FLASH(快闪)存储器、及类似存储器。 

所述程序代码可以计算机可读指令形式存储于存储器上。在所述情形中，处理器(例如DSP)可执行存储于存储器中的指令，以便执行本文所述的一种或多种技术。在某些情形中，所述技术可由调用各种硬件组件以加速编码过程的DSP来执行。在其它情形中，所述视频编码器可构建为微处理器、一个或多个应用专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、或某些其它硬件-软件组合。 

然而，可在不背离本揭示内容的精神和范畴的前提下对所述技术做出各种修改。例如，出于视频帧分等级的目的，其他类型的运动信息可用于量化与视频帧相关联的运动。此外，阈值可视可用频宽而以不同方式界定，或可以是自适应的。此外，可将不同阈值用作可用带宽的函数，以根据需要使得跳帧的可能性更大或更小。这些及其他实施例仍归属于以下权利要求书的范畴内。 

Claims (26)

1.一种视频编码方法，其包括：

至少部分地基于与视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧的步骤，其中所述运动信息包括所述视频帧的宏块的平均运动向量长度，该步骤包含：

至少部分地基于所述运动信息将所述视频序列的视频帧分等级；

基于由与所述视频帧相关联的量化参数所界定的空间质量来标识所述视频帧的每一者的阈值；及

基于所述分等级和所述视频帧的每一者的阈值来选择所述一个或多个候选视频帧；及

在所述视频序列的编码期间跳过所述一个或多个候选视频帧。

2.如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧包括：

选择一个或多个低等级的视频帧作为所述一个或多个候选视频帧。

3.如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧包括：至少部分地基于与所述一个或多个候选视频帧相关联的宏块的平均运动向量长度来标识所述一个或多个候选视频帧。

4.如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧包括：至少部分地基于与所述视频序列中所述一个或多个候选视频帧之前的视频帧相关联的宏块的平均运动向量长度来标识所述一个或多个候选视频帧。

5.如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧包括：

至少部分地基于所述视频帧的宏块的平均运动向量长度，将所述视频序列的视频帧分等级。

6.如权利要求5所述的方法，其进一步包括基于所述视频序列的前一视频帧确定与每一给定视频帧相关联的给定平均运动向量长度。

7.如权利要求5所述的方法，其进一步包括基于所述给定视频帧确定与每一给定视频帧相关联的给定平均运动向量长度。

8.如权利要求5所述的方法，其进一步包括动态地选择所述量化参数以影响所述视频编码的编码速率。

9.一种视频编码装置，其包括：

编码器，其对视频序列的帧进行编码；及

速率控制单元，其至少部分地基于与所述视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧，并使得所述编码器在所述视频序列的编码期间跳过所述一个或多个候选视频帧，其中所述运动信息包括所述视频帧的宏块的平均运动向量长度，其中所述速率控制单元通过以下步骤来标识所述一个或多个候选视频帧供用于跳帧：

至少部分地基于所述运动信息将所述视频序列的视频帧分等级；

基于由与所述视频帧相关联的量化参数所界定的空间质量来标识所述视频帧的每一者的阈值；及

基于所述分等级和所述视频帧的每一者的阈值选择所述一个或多个候选视频帧。

10.如权利要求9所述的视频编码装置，其中所述速率控制单元通过以下步骤来标识所述一个或多个候选视频帧供用于跳帧：

选择一个或多个低优先级的视频帧作为所述一个或多个候选视频帧。

11.如权利要求9所述的视频编码装置，其中所述速率控制单元至少部分地基于与所述一个或多个候选视频帧相关联的宏块的平均运动向量长度来标识所述一个或多个候选视频帧供用于跳帧。

12.如权利要求9所述的视频编码装置，其中所述速率控制单元至少部分地基于与所述视频序列中所述一个或多个候选视频帧之前的视频帧相关联的宏块的平均运动向量长度来标识所述一个或多个候选视频帧供用于跳帧。

13.如权利要求9所述的视频编码装置，其中所述速率控制单元通过以下步骤来标识所述一个或多个候选视频帧供用于跳帧：

至少部分地基于所述视频帧的宏块的平均运动向量长度将所述视频序列的视频帧分等级。

14.如权利要求13所述的视频编码装置，其中基于所述视频序列的前一视频帧，针对给定视频帧确定与所述视频帧的每一者相关联的给定平均运动向量长度。

15.如权利要求13所述的视频编码装置，其中基于给定视频帧，针对所述给定视频帧确定与所述视频帧的每一者相关联的给定平均运动向量长度。

16.如权利要求13所述的视频编码装置，其中所述编码器动态地选择所述量化参数以影响所述视频编码的编码速率。

17.如权利要求9所述的视频编码装置，其中所述装置包括电信手持机。

18.一种用于视频编码的装置，其包含：

用于至少部分地基于与视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧的装置，其中所述运动信息包括所述视频帧的宏块的平均运动向量长度，所述用于标识的装置包含：

用于至少部分地基于所述运动信息将所述视频序列的视频帧分等级的装置；

用于基于由与所述视频帧相关联的量化参数所界定的空间质量来标识所述视频帧的每一者的阈值的装置；及

用于基于所述分等级和所述视频帧的每一者的阈值选择所述一个或多个候选视频帧的装置；及

用于在所述视频序列的编码期间跳过所述一个或多个候选视频帧的装置。

19.如权利要求18所述的装置，其中用于标识所述一个或多个候选视频帧供用于跳帧的装置包含：

用于选择一个或多个低优先级的视频帧作为所述一个或多个候选视频帧的装置。

20.如权利要求18所述的装置，其中所述用于标识的装置包含用于至少部分地基于与所述一个或多个候选视频帧相关联的宏块的平均运动向量长度来标识所述一个或多个候选视频帧的装置。

21.如权利要求18所述的装置，其中所述用于标识的装置包含用于至少部分地基于与所述视频序列中所述一个或多个候选视频帧之前的视频帧相关联的宏块的平均运动向量长度来标识所述一个或多个候选视频帧的装置。

22.如权利要求18所述的装置，其中用于标识所述一个或多个候选视频帧供用于跳帧的的装置包含：

用于基于所述分等级和所述视频帧的每一者的阈值选择所述一个或多个候选视频帧的装置。

23.如权利要求22所述的装置，包含基于所述视频序列的前一视频帧，针对给定视频帧确定与所述视频帧的每一者相关联的给定平均运动向量长度的装置。

24.如权利要求22所述的装置，包含基于给定视频帧，针对所述给定视频帧确定与所述视频帧的每一者相关联的给定平均运动向量长度的装置。

25.如权利要求22所述的装置，其中所述用于标识的装置包含用于动态地选择所述量化参数以影响所述视频编码的编码速率的装置。

26.一种视频编码方法，其包括：

为视频序列中的视频帧产生运动向量长度值；

根据所述视频帧的相应运动向量长度值将所述视频帧分等级；

基于与所述视频帧相关联的相应量化参数值，为所述视频帧产生等级百分比阈值；及

跳过对等级低于所述对应的等级百分比阈值的一个或多个所述视频帧的编码。

Images