CN105103550A - 基于绝对变换差的总和的用于视频编码的帧内速率控制 - Google Patents

Abstract

本发明描述用于经帧内译码帧的速率控制的技术。在本发明的一个实例中，可使用目标位速率及复杂度度量计算速率控制参数。在一个实例中，用经帧内译码帧的绝对变换差总和SATD计算来计算所述复杂度度量。

Description

基于绝对变换差的总和的用于视频编码的帧内速率控制

本申请案请求2013年4月8日申请的第61/809,846号美国临时申请案的权利，其全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频编码。

背景技术

数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置通过实施此类视频压缩技术可以更有效地发射、接收、编码、解码及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作CTU、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称为参考帧。

空间或时间预测导致对块的预测块进行译码。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据来编码。经帧内译码块根据帧内译码模式和残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

发明内容

本发明描述用于针对编码视频数据的经帧内预测帧的位速率控制的技术。在本发明的一个实例中，可使用目标位速率及复杂度度量计算位速率控制参数。在一个实例中，用经帧内译码帧的绝对变换差总和(SATD)计算来计算所述复杂度度量。

在本发明的一个实例中，一种用于视频编码中的速率控制的方法包括：基于对视频数据帧中每一块的SATD计算确定视频数据帧的复杂度度量，其中所述视频数据帧将使用帧内预测编码；基于所述复杂度度量及目标位速率确定速率控制参数；基于所确定的速率控制参数确定帧内预测模式；及使用所确定的帧内预测模式编码视频数据帧。

在本发明的另一实例中，一种经配置以在视频编码过程中执行速率控制的设备包括：存储器，其经配置以存储视频数据帧；及视频编码器，其经配置以：基于对视频数据帧中的每一块的SATD计算确定视频数据帧的复杂度度量，其中所述视频数据帧将使用帧内预测编码；基于所述复杂度度量及目标位速率确定速率控制参数；基于所确定的速率控制参数确定帧内预测模式；及使用所确定的帧内预测模式编码视频数据帧。

在本发明的另一实例中，一种经配置以在视频编码过程中执行速率控制的设备包括：用于基于对视频数据帧中的每一块的SATD计算确定视频数据帧的复杂度度量的装置，其中将使用帧内预测编码所述视频数据帧；用于基于所述复杂度度量及目标位速率确定速率控制参数的装置；用于基于所确定的速率控制参数确定帧内预测模式的装置；及用于使用所确定的帧内预测模式编码视频数据帧的装置。

在另一实例中，本发明描述一种计算机可读存储媒体，其存储在被执行时引起经配置以编码视频数据的装置的一或多个处理器执行以下操作的指令：基于对视频数据帧中每一块的SATD计算确定视频数据帧的复杂度度量，其中将使用帧内预测编码所述视频数据帧；基于所述复杂度度量及目标位速率确定速率控制参数；基于所确定的速率控制参数确定帧内预测模式；及使用所确定的帧内预测模式编码视频数据帧。

在附图和下文描述中阐述本发明的一或多个实例的细节。本发明的其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。

附图说明

图1为说明可利用本发明中描述的技术的实例视频编码及解码系统的框图。

图2为说明可实施本发明中描述的技术的实例视频编码器的框图。

图3为说明可实施本发明中描述的技术的实例速率控制单元的框图。

图4为说明实例视频解码器的框图。

图5为说明本发明的实例方法的流程图。

具体实施方式

本发明描述用于视频编码过程中的位速率控制的技术。用于经帧内译码帧的速率控制的一些先前解决方案仅依赖于目标位速率来确定速率控制参数。但是，此类技术在当译码具有不同复杂度的帧内帧时维持目标位速率方面缺乏精确度。本发明提出用于帧内帧的速率控制技术，其中使用帧内帧的复杂度度量确定速率控制参数。在一个实例中，使用对帧内帧的绝对变换差总和(SATD)计算来确定所述复杂度度量。

图1为说明可利用本发明中描述的帧内速率控制技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生稍后由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。

目的地装置14可通过链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，并且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。

替代地，可将经编码数据从输出接口22输出到存储装置32。类似地，可通过输入接口从存储装置32存取经编码数据。存储装置32可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置32可对应于文件服务器或可保持源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置32存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置32的发射可为流式传输发射、下载发射或两者的组合。

本发明的用于帧内速率控制的技术不必限于无线应用或设定。用于帧内速率控制的所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，通过因特网)、编码数字视频以供存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统或此类来源的组合等来源。作为一个实例，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。但是，本发明中所描述的技术一般来说可适用于视频译码，并且可应用于无线及/或有线应用。

可由视频编码器20编码所俘获视频、预俘获视频或计算机产生的视频。经编码视频数据可通过源装置12的输出接口22直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置32上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。

目的地装置14包含输入接口28、视频解码器30及显示装置31。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置32上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码的视频数据包含在一起。

显示装置31可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成式显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置31将经解码视频数据显示给用户，并且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可根据例如高效率视频译码(HEVC)标准等视频压缩标准操作，并且可符合HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可根据其它专有或行业标准来操作，所述标准例如是ITU-TH.264标准(替代地被称作MPEG-4第10部分高级视频译码(AVC))或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。

尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，并且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用，MUX-DEMUX单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分以软件实施所述技术时，装置可将用于所述软件的指令存储于合适非暂时性计算机可读媒体中并使用一或多个处理器以硬件执行所述指令来执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。

如将在下文更详细地阐释，图1的视频编码器20可经配置以：基于对视频数据的帧中每一块的SATD计算确定视频数据帧的复杂度度量，其中视频数据帧将使用帧内预测编码；基于所述复杂度度量及目标位速率确定速率控制参数；基于所确定的速率控制参数确定帧内预测模式；及使用所确定的帧内预测模式编码视频数据帧。视频编码器20可基于所确定的速率控制参数进一步确定量化参数并使用所确定的量化参数编码视频数据帧。

JCT-VC基于被称作HEVC测试模型(HM)的视频译码装置的演进模型开发HEVC标准。HM根据(例如)ITU-TH.264/AVC假设视频译码装置相对于现存装置的若干额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。被称作“HEVC工作草案10”或“WD10”的HEVC标准的一个草案描述于Bross等人的文档JCTVC-L1003v34“Highefficiencyvideocoding(HEVC)textspecificationdraft10”(ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到23日)中，所述文档从2013年4月8日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下载。HEVCWD10的全部内容在此以引用的方式并入本文中。

一般来说，HM的工作模型描述了视频帧或图片可划分成包含明度及色度样本两者的译码树单元(CTU)或最大译码单元(LCU)的序列。CTU具有与H.264标准的宏块类似的目的。切片包含译码次序的大量连续CTU。视频帧或图片可被分割成一或多个切片。每一CTU可根据四叉树而分裂成译码单元(CU)。举例来说，可将作为四叉树的根节点的CTU分裂成四个子节点，并且每一子节点又可为父节点且可分裂成另外四个子节点。作为四叉树的叶节点的最后的未经分裂的子节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义CTU可分裂的最大次数，并且还可定义译码节点的最小大小。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，并且形状可为正方形。CU的大小范围可从8×8像素直到具有最大64×64像素或更大的CTU大小。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形形状。

HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称作TU。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。

一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

一般来说，TU用于变换和量化过程。具有一或多个PU的给定CU还可包含一或多个TU。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化并且使用TU进行扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指代CU的译码节点。在一些具体情况下，本发明还可使用术语“视频块”来指代CTU(即，LCU)或包含译码节点及PU和TU的CU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列的视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，并且可根据指定译码标准而有不同大小。

作为实例，HM支持各种PU大小的预测。假定特定CU的大小为2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”后面接着“上方”、“下方”、“左侧”或“右侧”的指示来指示。因此，例如，“2N×nU”指代经水平地分割的2N×2NCU，其中顶部为2N×0.5NPU，而底部为2N×1.5NPU。

在本发明中，“N×N”与“N乘N”可互换使用来指代在垂直及水平尺寸方面的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样，N×N块一般在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说，块可包括N×M像素，其中M未必等于N。

在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，并且在将变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)应用到残余视频数据之后，TU可包括变换域中的系数。所述残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在用以产生变换系数的任何变换后，视频编码器20可执行变换系数的量化。量化一般指代量化变换系数以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被下舍入到m位值，其中n大于m。如将在下文更详细地阐释，可基于根据本发明的技术确定的速率控制参数设置量化参数。

在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可向待发射的符号指配上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。

图2为说明可实施本发明中描述的帧内速率控制技术的实例视频编码器20的框图。视频编码器20可经配置以执行对视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含视频数据存储器40、预测处理单元41、参考图片存储器64、求和器50、变换处理单元52、量化单元54、速率控制单元51及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。为了视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60，及求和器62。还可包含解块滤波器(图2中未展示)以便对块边界进行滤波，以将成块效应假象从经重构的视频中去除。需要时，解块滤波器通常将对求和器62的输出进行滤波。除了解块滤波器之外，还可使用额外的环路滤波器(环路内或环路后)。

视频数据存储器40可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器40中的视频数据。参考图片存储器64为解码图片缓冲器(DPB)的一个实例，其存储参考视频数据供视频编码器20用于编码视频数据(例如，在帧内或帧间译码模式中，也被称作帧内或帧间预测译码模式)。视频数据存储器40及参考图片存储器64可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器40及参考图片存储器64可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器40可与视频编码器20的其它组件一起在芯片上，或相对于所述组件在芯片外。

视频编码器20接收视频数据，且分割单元(未展示)将所述数据分割为视频块。此分割还可包含分割成切片、图块或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明对待编码视频切片内的视频块进行编码的组件。所述切片可划分成多个视频块(并且可能划分成被称作图块的多组视频块)。预测处理单元41可基于误差结果(例如，译码速率及失真层级)针对当前视频块选择多种可能译码模式中的一者，例如多种帧内译码模式中的一者或多种帧间译码模式中的一者。如下文将更详细论述，根据本发明的技术，预测处理单元41可经配置以基于由速率控制单元51确定及供应的速率控制参数选择预测模式。预测处理单元41可将所得的经帧内译码或经帧间译码块提供到求和器50以产生残余块数据，并提供到求和器62以重构经编码块以用作参考图片。

预测处理单元41内的帧内预测处理单元46可相对于与待译码的当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测块执行当前视频块的帧间预测性译码以提供时间压缩。

运动估计单元42可经配置以根据用于视频序列的预定模式确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片指定为P切片或B切片。运动估计单元42及运动补偿单元44可高度集成，但出于概念的目的分别加以说明。运动估计单元42执行的运动估计为产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。

预测性块为被发现在像素差方面与待译码的视频块的PU密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量值来确定。在一些实例中，视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一个识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42向熵编码单元56及运动补偿单元44发送计算出的运动向量。

通过运动补偿单元44执行的运动补偿可涉及基于通过运动估计(可能执行对子像素精度的内插)确定的运动向量获取或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成所述块的残余数据，并且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。具体来说，帧内预测处理单元46可确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块，并且帧内预测处理单元46可从经测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测处理单元46可使用速率失真分析计算用于各种所测试的帧内预测模式的速率失真值，并从所述所测试的模式当中选择具有最佳速率失真特性的帧内预测模式。如下文将更详细论述，帧内预测处理单元46可经配置以使用基于由速率控制单元51供应的速率控制参数的速率失真分析确定帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测处理单元46可根据用于各种经编码块的失真及速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在任何情况下，在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术对指示所选帧内预测模式的信息进行编码。视频编码器20可在所发射的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)，编码用于各种块的上下文的定义，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。

在预测处理单元41通过帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中并应用到变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素值域转换到变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。替代性地，熵编码单元56可执行扫描。

在量化后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码之后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正被译码的当前视频切片的运动向量及其它语法元素进行熵编码。

反量化单元58及反变换处理单元60分别应用反量化及反变换以在像素域中重构残余块，以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于参考帧以计算子整数像素值用于运动估计。求和器62将经重构的残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。参考块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。

视频编码器20可进一步包含速率控制单元51，其经配置以控制视频编码的速率(即，用于表示经编码视频的位数目)。速率控制单元51可通过确定速率控制参数来控制视频编码的速率。由速率控制单元51产生的速率控制参数可由预测处理单元41及量化单元54用于控制视频编码的速率。如下文将更详细地阐释，预测处理单元41可在用于选择预测模式(即，最佳框间或帧内预测模式)的速率失真分析中使用速率控制参数。另外，量化单元54可使用速率控制参数以确定量化参数。所确定的预测模式及量化参数影响视频编码器的编码速率。

根据本发明的技术，如下文将更详细地阐释，视频编码器20(包含速率控制单元51)可经配置以基于对视频数据帧中的一或多个块的绝对变换差总和(SATD)计算来确定视频数据帧的复杂度度量，其中将使用帧内预测编码所述视频数据帧。视频编码器20可经进一步配置以基于所述复杂度度量及目标位速率确定速率控制参数并基于所确定的速率控制参数确定帧内预测模式。视频编码器20可接着使用所确定的帧内预测模式编码视频数据帧。以下描述论述一般速率控制技术，以及根据本发明的技术对帧内帧的速率控制。

在典型的视频编码器(例如，视频编码器20)中，初始视频序列的帧被分割成矩形区域或块，其可在帧内模式(I模式)或帧间模式(P模式或B模式)中经编码。使用例如DCT译码等某一种类的变换译码对块进行译码。但是，基于纯变换的译码仅减少特定块内的像素间相关而不考虑像素的块间相关。基于变换的译码还产生用于发射的高位速率。当前数位图像译码标准(例如HEVC)亦采用减少块之间的像素值的相关的某些方法。

一般来说，从经先前译码的帧及发射的帧中的一者中预测在P模式中编码的块。块的预测信息由二维(2D)运动向量表示。对于在I模式中编码的块，经预测块使用从同一帧内的已经编码的相邻块的空间预测而形成。预测误差E(x,y)(即，经编码的块I(x,y)及经预测块P(x,y)之间的差)表示为变换基础函数的加权总和f_ij(i,j)：

$E(x,y)=\underset{i=0}{\overset{N-1}{\Σ}}\underset{j=0}{\overset{N-1}{\Σ}}{c}_{ij}{f}_{ij}(i,j)---\left(1\right)$

通常在8×8(N＝8)或4×4(N＝4)块基础上执行变换。权重c_ij(被称为预测误差系数)随后经量化：

l_ij＝Q(c_ij,QP)，(2)

其中l_ij被称为经量化系数或层级。量化的操作引入信息的损耗。另一方面，经量化系数可用较小位数目表示。压缩层级(信息的损耗)通过调整量化参数(QP)的值来控制。较低QP值通常产生较少失真，但可需要更多位并因此需要更高位速率。较高QP值通常产生更多失真，但可需要较少位并因此需要较低位速率。因而，QP的选择为可借以获得失真与位速率之间的平衡点的一种技术。

经量化变换系数与运动向量及某一控制信息一起形成完整译码序列表示，并且被称作语法元素。在从视频编码器20发射到视频解码器30之前，可对语法元素进行熵译码以便进一步减少其表示所需要的位数目。

在视频解码器30处，通过首先以与由视频编码器20执行的相同方式构造其预测并通过将压缩预测误差添加到所述预测来获得当前帧中的经重构块。通过使用解量化系数通过执行反变换来找到压缩预测误差：

$\tilde{E}(x,y)=\underset{i=0}{\overset{N-1}{\Σ}}\underset{j=0}{\overset{N-1}{\Σ}}{r}_{ij}{\tilde{f}}_{ij}(i,j)---\left(3\right)$

经解量化(也被称为经重构)系数r_ij通过反量化来计算：

r_ij＝Q^-1(l_ij,QP)(4)

重构帧R(x,y)与初始帧I(x,y)之间的差被称为重构误差。

HEVC标准为视频编码器20的实施者保留关于量化的决策、运动向量的选择及哪一帧应用于预测。速率失真理论将有损压缩目标形式化为最小化译码失真目标，其为根据所选度量值的经受用于译码数据的速率的约束的初始数据与经压缩数据之间的距离度量。因此，视频编码器20的一个目标为针对每一帧寻找语法元素的值，使得预测误差E(x,y)与预测误差的重构版本之间的均方误差(MSE)失真D经受用于译码语法元素的速率R的约束而减至最小：

$min\&lsqb;D\left(E\right(x,y)-\tilde{E}(x,y))\&rsqb;$ 受约于R<R_budget。(5)

其它附加失真度量值可用于代替MSE，例如，活性加权MSE。公式(5)中的速率受约束问题可通过借拉格朗日乘数(Lagrangemultiplier)λ“合并”速率及失真而转化成等效无约束问题来解决。在本发明中，所述拉格朗日乘数λ将被称作速率控制参数。所述无约束问题变成语法元素的值的判定(针对固定λ)，其产生定义如下的最小总拉格朗日成本

$J\left(\mathrm{\&lambda;}\right)=D\left(E\right(x,y)-\tilde{E}(x,y))+\mathrm{\&lambda;}R.---\left(6\right)$

速率控制参数λ可被看作用于确定速率与失真之间的平衡点的参数。λ的低值有利于优先于速率将失真减至最小，并且λ的高值有利于优先于失真将速率减至最小。在极限处，在λ等于零的情况下，失真减至最小；在λ倾向于无限时，速率减至最小。

在视频编码器20及视频解码器30中，存在缓冲器(例如，在图2的视频数据存储器40中)以暂时存储经编码位，此引起所谓的端对端延迟。常常，视频编码中的速率控制的挑战为确定λ的适当值来实现缓冲器大小约束内的最佳视频质量。

在HM中，每一CTU的复杂度用于为框间帧分配CTU位预算。通过先前讯框中同一位置处的CTU的平均绝对差(MAD)测量框间帧的复杂度。但是，在帧内帧的情况下，可预期连续经帧内译码帧之间的相关将小于经帧间译码帧之间的相关，这是因为在大部分实际使用情况中，连续帧内帧出现在彼此相距较大时间距离处。

在HM中，仅使用当前帧(或CTU)的目标速率R_t计算帧内帧的速率控制参数λ。仅使用目标速率的用于速率控制的技术描述于B.Li等人的JCTVC-K0103“RatecontrolbyR-lambdamodelforHEVC”(ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，中国上海，2012年10月10日到19日)中。JCTVC-K0103在此以引用的方式并入本文。仅使用目标速率来计算速率控制参数λ在所有条件下可能并不精确。执行I帧的帧内预测译码的复杂度通常取决于帧的视频内容的复杂度因帧而不同。即，一些帧内帧与其它帧相比可需要更多位来编码，以维持同一层级的失真。JCTVC-K0103的速率控制技术并不对此情况进行考虑。

鉴于这些缺点，本发明提出更改用于通过添加帧内帧(或帧内帧的CTU)的复杂度度量C来确定所述帧/CTU的速率控制参数λ的HM模型：

$\mathrm{\&lambda;}=\mathrm{\&alpha;}{\left(\frac{C}{R_{t\arg et}}\right)}^{\mathrm{\&beta;}}.---\left(7\right)$

通过使公式(7)中的模型与大量自然图像的统计数据拟合来确定辅助速率控制参数α及β的初始值。举例来说，α及β可分别采用6.7542及1.7860的初始值。如上文在公式(6)中所展示，速率控制参数λ可用于速率失真分析以确定适当预测模式(例如，以确定用于I帧的CU的具体帧内预测模式)。另外，还可使用速率控制参数λ计算QP值，如在B.Li等人的JCTVC-I0426“QPdeterminationbylambdavalue”(ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞士日内瓦，2012年4月27日到5月7日)中所提出：

QP＝4.2005ln(λ)+13.7122。(8)

JCTVC-I0426在此以引用的方式并入本文中。

在本发明的一个实例中，所述复杂度度量是基于绝对变换差总和(SATD)计算。SATD为在对像素块(例如，明度像素的8×8块)应用变换(例如，阿达马变换(Hadamardtransform))之后获得的系数h_ij的绝对值的总和。作为一个实例：

$SATD=\underset{i=0}{\overset{N-1}{\&Sigma;}}\underset{j=0}{\overset{N-1}{\&Sigma;}}\left|h_{ij}\right|,N=8---\left(9\right)$

其中N为像素中的正方形块的高度/宽度，i为变换系数的行，并且j为变换系数的列。使用公式(9)计算的SATD值可为帧内帧的一个块的SATD值。为了计算CTU或整个帧的SATD值，将简单地将每一块(例如，每一8×8块)的SATD值相加在一起用于CTU或整个帧。在其它实例中，可对CTU中的并非全部块进行SATD计算。举例来说，可对CTU中的单一块进行SATD计算。在另一实例中，可对CTU行中的每一其它8×8块进行SATD计算。应注意，将阿达马变换(或其它类型的变换)应用于像素值本身，而不应用于预测残余，如将在视频编码过程中进行。在变换像素本身时的变换系数的值表示复杂度的精确测量。

为了考虑帧内预测的特定特性，可使用SATD计算的一些经修改度量使得可在复杂度计算中较小程度地排除某些低频系数或对其进行计数。举例来说，第一SATD值(SATD₀)及第二SATD值(SATD₁)可使用以下公式进行计算：

SATD₀＝SATD-|h₀₀|(10)

及

${\mathrm{SATD}}_1=\underset{i=1}{\overset{N-1}{\&Sigma;}}\underset{j=1}{\overset{N-1}{\&Sigma;}}\left|h_{ij}\right|.---\left(11\right)$

第一SATD值(SATD₀)通过确定整个块的SATD及接着在所述块中位置(0,0)处减去变换系数(即，DC系数)进行计算。由于每一块将在DC系数位置处具有某一非零值并且可通过帧内预测良好预测此DC分量，因此从SATD计算去除DC系数值产生复杂度的更精确确定。即，在除DC系数位置外的位置处的系数值比在DC系数处的值更能指示块的复杂度。为计算CTU或整个帧的第一SATD值(SATD₀)，针对CTU或帧中的每一块计算第一SATD值(SATD₀)，并且对所有所得第一SATD值一起进行求和。

通过在不使用块的第一行及第一列中的任何变换系数的值的情况下计算所述块的SATD值来计算第二SATD值(SATD₁)。如同在DC系数位置处的变换值，更可能的是变换块的第一行及第一列将具有可通过帧内预测良好预测的一些非零值。因而，在变换块中其它位置处的变换系数值可更能指示复杂度。为计算CTU或整个帧的第二SATD值(SATD₁)，针对CTU或帧中的每一块计算第二SATD值(SATD₁)，并且对所有所得第二SATD值一起进行求和。

在一些实例中，上文所描述的第一SATD值(SATD₀)或第二SATD值(SATD₁)可用作唯一的用作帧内帧速率控制的复杂度度量的SATD值。但是，SATD值的任何计算可用作复杂度度量，包含使用公式(9)计算的SATD值。在其它实例中，如下文将描述，可计算第一SATD值(SATD₀)及第二SATD值(SATD₁)，并且可基于某一预定准则选择SATD值中的一者来用作复杂度度量。

举例来说，已观察到在计算第一SATD值(SATD₀)及第二SATD值(SATD₁)并且选择第一或第二SATD值中的一者用于复杂度度量C时可获得良好结果。在一个实例中，除非第一SATD值(SATD₀)大于预定阈值，否则使用第一SATD值。此阈值可固定，或可根据GOP或帧适配。如果第一SATD值(SATD₀)大于预定阈值约束，那么使用第二SATD值(SATD₁)。

在本发明的另一实例中，第二SATD值(SATD₁)用于具有720p及以上的分辨率的视频数据，否则使用第一SATD值(SATD₀)。

图3为展示可经配置以实施本发明的技术的实例速率控制单元的框图。速率控制单元51可包含阿达马变换处理单元102、SATD计算单元104、复杂度度量选择单元106、速率控制参数计算单元108。

阿达马变换处理单元102可经配置以从帧内帧接收视频块(例如，CTU)。阿达马变换处理单元102可经配置以对视频块中的每一者(例如，对CTU的每一明度块中的明度值)应用阿达马变换。块中的所得变换系数可提供到SATD计算单元104。

SATD计算单元104可(例如)使用公式(9)中所展示的技术计算CTU的每一块的SATD值。SATD计算单元104可通过对帧中的每一块的SATD值一起进行求和来计算整个帧的SATD值。在本发明的一个实例中，SATD计算单元104可经配置以使用公式(10)及公式(11)中所展示的技术计算帧内帧的每一块的第一SATD值(SATD₀)及第二SATD值(SATD₁)。接着使所得SATD值(第一和第二SATD值)可供复杂度度量选择单元106使用。

基于所接收的SATD值，复杂度度量选择单元106可选择一SATD值用作CTU或帧的复杂度度量。如上文所论述，复杂度度量选择单元106可基于预定阈值或基于视频的分辨率选择SATD值。接着将所选复杂度度量提供到速率控制参数计算单元108来计算速率控制参数λ。举例来说，速率控制参数计算单元108可如上文公式(7)中所展示使用复杂度度量及目标位速率计算速率控制参数λ。可由视频编码器基于视频序列的位预算设置目标位速率。位预算可基于所使用的特定视频编码应用程序。如将在下文更详细地描述，速率控制参数计算单元108可经配置以在帧或块层级上更新速率控制参数λ及辅助速率控制参数α和β。

本发明提出用于使用上文所描述的复杂度度量对帧内帧进行速率控制的操作的三个不同模式。举例来说，可使用以下模式：

1)针对整体帧使用恒定速率控制参数λ。在编码每一帧之后更新辅助速率控制参数α及β。

2)辅助速率控制参数α及β针对整个帧保持恒定。但是，取决于分配到此帧的剩余位的数目来根据CTU分配位。使用公式(7)针对每一CTU计算速率控制参数λ的值。

3)在编码每一CTU之后更新辅助速率控制参数α及β。如上文模式2中，取决于分配到此帧的剩余位的数目来根据CTU分配位。使用公式(7)针对每一CTU计算速率控制参数λ的值。

本发明的下一部分将论述对于速率控制参数λ及辅助速率控制参数α及β的参数适配。在编码图像之后的所有模式中，使用获得的(实际)位的值R_actual(即，实际上经编码的位的数目)更新α及β的值：

α＝αe^Δλ，(12)

$\mathrm{\&beta;}=\mathrm{\&beta;}+\frac{\mathrm{\&Delta;}\mathrm{\&lambda;}}{ln(C/R_{actual})},---\left(13\right)$

其中

Δλ＝δβ(ln(R_actual)-ln(R_target))(14)

并且δ为减少λ变化的速度的按比例调整参数。在一个实例中，δ可设置为0.25。在模式3中，亦在每一CTU的编码之后更新α及β的值。R_target为分配到已经经编码CTU以用于正经编码帧的目标位的总和，并且R_actual为在编码所述CTU时获得的位的总数。

本发明的下一部分将论述位分配。在模式3(即，在块层级上更新速率控制参数及辅助速率控制参数)中，分配给第i个CTU的目标位的数目如下导出：

$R_{t\arg et}^{CTU}\left(i\right)=\mathrm{\&omega;}\left(i\right)R_{left}.---\left(15\right)$

项R_left代表可供译码所述帧使用的总剩余位。权重ω(i)为第i个CTU的复杂度C^CTU(i)与仍待译码的所有剩余CTU的复杂度的比率：

$\mathrm{\&omega;}\left(i\right)=\frac{C^{CTU}\left(i\right)}{{\mathrm{\&Sigma;}}_{j=i}^{M-1}{C}^{CTU}\left(j\right)},---\left(16\right)$

其中M为经写码帧中的CTU的数目。

在模式2(即，仅在块层级上更新速率控制参数λ)中，由于参数α及β未经适配，可预期如果其初始值不匹配帧的统计数据，那么分配的位数目与在编码期间获得的实际位数目之间将存在不匹配。为了补偿所述情况，经修改的剩余位用于获得经分配以译码第i个CTU的位数目：

$R_{t\arg et}^{CTU}\left(i\right)=\mathrm{\&omega;}\left(i\right){\tilde{R}}_{left}.---\left(17\right)$

经修改的剩余位如下计算：

${\tilde{R}}_{left}=R_{left}+\frac{(R_{left}-{\mathrm{\&Sigma;}}_{j=i}^{M-1}{R}_{initT\arg et}^{CTU}(j\left)\right)(M-i)}{W},---\left(18\right)$

其中为如下分配给每一CTU的初始位目标：

$R_{initT\arg et}^{CTU}\left(i\right)=\frac{C^{CTU}\left(i\right)}{{\mathrm{\&Sigma;}}_{j=0}^{M-1}{C}^{CTU}\left(j\right)}{R}_{t\arg et}---\left(19\right)$

并且W为用于使位速率变化更平滑的窗口的大小。用于我们的仿真的W为4。项R_target代表可经分配来译码所述帧的位数目。

图4为说明实例视频解码器30的框图。在图4的实例中，视频解码器30包含视频数据存储器83、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90及参考图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行一般与关于来自图2的视频编码器20描述的编码遍次互逆的解码遍次。

视频数据存储器83可存储待由视频解码器30的组件解码的视频数据。可(例如)从视频编码器20获得存储在视频数据存储器83中的视频数据。参考图片存储器92为解码图片缓冲器(DPB)的一个实例，其存储参考视频数据供视频解码器30用于解码视频数据(例如，在帧内或帧间译码模式中，也被称作帧内或帧间预测译码模式)。视频数据存储器83及参考图片存储器92可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器83及参考图片存储器92可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器83可与视频解码器30的其它组件一起在芯片上，或相对于所述组件在芯片外。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可接收在视频切片层级及/或视频块层级处的语法元素。

当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储在参考图片存储器92中的参考图片使用默认构造技术构造参考帧列表：列表0及列表1。

运动补偿单元82通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元82使用一些所接收的语法元素确定用于译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

反量化单元86将在位流中提供并由熵解码单元80解码的经量化的变换系数反量化，即解量化。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的反量化程度。反变换处理单元88将反变换(例如反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便产生像素域中的残余块。

在运动补偿单元82基于运动向量及其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元88的残余块与运动补偿单元82产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的一或多个组件。需要时，还可应用解块滤波器以对经解码块进行滤波以便去除成块效应假象。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置31)上。

图5为说明本发明的实例方法的流程图。图5的技术可由视频编码器20的一或多个组件(包含速率控制单元51)实施。

在本发明的一个实例中，速率控制单元51可经配置以基于对视频数据帧中的每一块的SATD计算确定视频数据帧的复杂度度量(152)，其中将使用帧内预测编码视频数据帧。速率控制单元51可经进一步配置以基于复杂度度量及目标位速率确定速率控制参数(154)。视频编码器20可经配置以基于所确定的速率控制参数确定帧内预测模式(156)，及使用所确定的帧内预测模式编码视频数据帧(158)。在本发明的另一实例中，视频编码器20可经进一步配置以基于所确定的速率控制参数确定量化参数，及使用所确定的量化参数编码视频数据帧。

在本发明的一个实例中，视频编码器20经配置以确定视频数据帧的每一块的复杂度度量及速率控制参数。在一个实例中，包含速率控制单元51的视频编码器20经进一步配置以通过以下各者确定复杂度度量：对块执行频域变换以产生变换系数块、通过对所有变换系数求和及在变换系数块中的DC系数位置处减去变换系数的值来计算第一SATD值，及将第一SATD值指配为复杂度度量。在本发明的另一实例中，包含速率控制单元51的视频编码器20经进一步配置以通过以下各者确定复杂度度量：对块执行频域变换以产生变换系数块、通过对变换系数块中除了块变换系数的最顶部行及最左边列中的变换系数的所有变换系数进行求和来计算第二SATD值，及将第二SATD值指配为复杂度度量。在另一实例中，速率控制单元51可经进一步配置以计算第一及第二SATD值并基于预定准则选择第一SATD值或第二SATD值作为复杂度度量。

在一个实例中，速率控制单元51经配置以在第一SATD值小于预定阈值的情况下选择第一SATD值作为复杂度度量，并在第一SATD值大于预定阈值的情况下选择第二SATD值作为复杂度度量。在另一实例中，速率控制单元51经配置以在视频数据帧具有小于720p的分辨率的情况下选择第一SATD值作为复杂度度量，并在视频数据帧具有大于或等于720p的分辨率的情况下选择第二SATD值作为复杂度度量。

在本发明的另一实例中，视频编码器20经配置以确定整个视频数据帧的复杂度度量及速率控制参数。在此实例中，包含速率控制单元51的视频编码器20经配置以通过以下各者确定视频数据帧的复杂度度量：对视频数据帧的每一块执行频域变换以产生变换系数块、通过对相应块的所有变换系数进行求和及减去一位置处的变换系数的值来计算每一块的第一SATD值、对每一块的第一SATD值进行求和以产生第一帧SATD值、通过对相应块的变换系数块中除了块变换系数的最顶部行及最左边列中的变换系数的所有变换系数进行求和来计算每一的第二SATD值、对每一块的第二SATD值进行求和以产生第二帧SATD值，及选择第一帧SATD值或第二帧SATD值作为复杂度度量。

在本发明的一个实例中，速率控制单元51经配置以在第一帧SATD值小于预定阈值的情况下选择第一帧SATD值作为复杂度度量，并在第一帧SATD值大于预定阈值的情况下选择第二帧SATD值作为复杂度度量。在本发明的另一实例中，速率控制单元51经配置以在视频数据帧具有小于720p的分辨率的情况下选择第一帧SATD值作为复杂度度量，并在视频数据帧具有大于或等于720p的分辨率的情况下选择第二帧SATD值作为复杂度度量。

在本发明的一个实例中，速率控制单元51经配置以通过计算以下公式确定速率控制参数： $\mathrm{\&lambda;}=\mathrm{\&alpha;}{\left(\frac{C}{R_{t\arg et}}\right)}^{\mathrm{\&beta;}},$

其中λ为速率控制参数，C为复杂度度量，R_target为目标位速率，并且α及β为辅助速率控制参数。

在本发明的一个实例中，速率控制单元51经配置以在帧层级上更新辅助速率控制参数。在本发明的另一实例中，速率控制单元51经配置以在块层级上更新辅助速率控制参数。

在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含任何促进将计算机程序从一处传送到另一处的任何媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)有形计算机可读存储媒体，其是非暂时形的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用于存储呈指令或数据结构形式的所要程序代码并且可由计算机存取的媒体。而且，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或者并入于组合式编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在多种多样的装置或设备中实施，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所公开的技术的装置的功能性方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。所述及其它实例在以下权利要求书的范围内。

Claims (30)

1.一种用于视频编码中的速率控制的方法，所述方法包括：

基于对视频数据帧中每一块的绝对变换差总和SATD计算来确定所述视频数据帧的复杂度度量，其中所述视频数据帧将使用帧内预测编码；

基于所述复杂度度量及目标位速率确定速率控制参数；

基于所述所确定的速率控制参数确定帧内预测模式；及

使用所述所确定的帧内预测模式编码所述视频数据帧。

2.根据权利要求1所述的方法，其进一步包括：

基于所述所确定的速率控制参数确定量化参数；及

使用所述所确定的量化参数编码所述视频数据帧。

3.根据权利要求1所述的方法，其中针对所述视频数据帧的每一译码树单元CTU确定所述复杂度度量及所述速率控制参数。

4.根据权利要求3所述的方法，其中确定所述视频数据的一个CTU的所述复杂度度量包括：

对所述CTU执行频域变换，从而产生变换系数块；

通过对所有所述变换系数进行求和及减去在所述变换系数块中的DC系数位置处的变换系数的值来计算第一SATD值；及

将所述第一SATD值指配为所述复杂度度量。

5.根据权利要求4所述的方法，其中对所述CTU执行所述频域变换包括对所述CTU的每一块执行所述频域变换，并且其中计算所述第一SATD值包括通过对每一块的所有所述变换系数进行求和及减去在所述变换系数块中的所述DC系数位置处的所述变换系数的所述值来计算所述第一SATD值。

6.根据权利要求3所述的方法，其中确定所述视频数据的一个CTU的所述复杂度度量包括：

对所述CTU执行频域变换，从而产生变换系数块；

通过对所述变换系数块中除了所述块变换系数的最顶部行及最左边列中的变换系数以外的所有所述变换系数进行求和来计算第二SATD值；及

将所述第二SATD值指配为所述复杂度度量。

7.根据权利要求3所述的方法，其中确定所述视频数据帧的一个CTU的所述复杂度度量包括：

对所述CTU执行频域变换，从而产生变换系数块；

通过对所有所述变换系数进行求和及减去在所述变换系数块中的DC系数位置处的变换系数的值来计算第一SATD值；

通过对所述变换系数块中除了所述块变换系数的最顶部行及最左边列中的变换系数以外的所有所述变换系数进行求和来计算第二SATD值；及

基于一或多个预定准则选择所述第一SATD值或所述第二SATD值作为所述复杂度度量。

8.根据权利要求7所述的方法，其中选择所述第一SATD值或所述第二SATD值作为所述复杂度度量包括：

在所述第一SATD值小于预定阈值的情况下选择所述第一SATD值作为所述复杂度度量；及

在所述第一SATD值大于预定阈值的情况下选择所述第二SATD值作为所述复杂度度量。

9.根据权利要求7所述的方法，其中选择所述第一SATD值或所述第二SATD值作为所述复杂度度量包括：

在所述视频数据帧具有小于720p的分辨率的情况下选择所述第一SATD值作为所述复杂度度量；及

在所述视频数据帧具有大于或等于720p的分辨率的情况下选择所述第二SATD值作为所述复杂度度量。

10.根据权利要求1所述的方法，其进一步包括确定所述整个视频数据帧的所述复杂度度量及所述速率控制参数。

11.根据权利要求1所述的方法，其中确定所述速率控制参数包括：

计算公式 $\mathrm{\&lambda;}=\mathrm{\&alpha;}{\left(\frac{C}{R_{t\arg et}}\right)}^{\mathrm{\&beta;}},$

其中λ为所述速率控制参数，C为所述复杂度度量，R_target为所述目标位速率，并且α及β为辅助速率控制参数。

12.根据权利要求11所述的方法，所述方法进一步包括：

在帧层级上更新所述辅助速率控制参数。

13.根据权利要求11所述的方法，所述方法进一步包括：

在译码树单元CTU层级上更新所述辅助速率控制参数。

14.一种设备，其经配置以在视频编码过程中执行速率控制，所述设备包括：

存储器，其经配置以存储视频数据帧；及

视频编码器，其经配置以：

基于对视频数据帧中每一块的绝对变换差总和SATD计算来确定所述视频数据帧的复杂度度量，其中所述视频数据帧将使用帧内预测编码；

基于所述复杂度度量及目标位速率确定速率控制参数；

基于所述所确定的速率控制参数确定帧内预测模式；及

使用所述所确定帧内预测模式编码所述视频数据帧。

15.根据权利要求14所述的设备，其中所述视频编码器经进一步配置以：

基于所述所确定的速率控制参数确定量化参数；及

使用所述所确定的量化参数编码所述视频数据帧。

16.根据权利要求15所述的设备，其中视频编码器经配置以确定所述视频数据帧的每一译码树单元CTU的所述复杂度度量及所述速率控制参数。

17.根据权利要求16所述的设备，其中所述视频编码器经进一步配置以通过以下操作确定所述复杂度度量：

对所述CTU执行频域变换，从而产生变换系数块；

通过对所有所述变换系数进行求和及减去在所述变换系数块中的DC系数位置处的变换系数的值来计算第一SATD值；

将所述第一SATD值指配为所述复杂度度量。

18.根据权利要求17所述的设备，其中对所述CTU执行所述频域变换包括对所述CTU的每一块执行所述频域变换，并且其中计算所述第一SATD值包括通过对所有所述变换系数进行求和及减去在所述变换系数块中DC系数位置处的变换系数的值来计算所述第一SATD值。

19.根据权利要求16所述的设备，其中所述视频编码器经进一步配置以通过以下操作确定所述复杂度度量：

对所述CTU执行频域变换，从而产生变换系数块；

通过对所述变换系数块中除了所述块变换系数的最顶部行及最左边列中的变换系数以外的所有所述变换系数进行求和来计算第二SATD值；及

将所述第二SATD值指配为所述复杂度度量。

20.根据权利要求16所述的设备，其中所述视频编码器经进一步配置以通过以下操作确定所述复杂度度量：

对所述CTU执行频域变换，从而产生变换系数块；

通过对所有所述变换系数进行求和及减去在所述变换系数块中的DC系数位置处的变换系数的值来计算第一SATD值；

通过对所述变换系数块中除了所述块变换系数的最顶部行及最左边列中的变换系数以外的所有所述变换系数进行求和来计算第二SATD值；及

基于一或多个预定准则选择所述第一SATD值或所述第二SATD值作为所述复杂度度量。

21.根据权利要求20所述的设备，其中所述视频编码器经进一步配置以：

在所述第一SATD值小于预定阈值的情况下选择所述第一SATD值作为所述复杂度度量；及

在所述第一SATD值大于预定阈值的情况下选择所述第二SATD值作为所述复杂度度量。

22.根据权利要求20所述的设备，其中所述视频编码器经进一步配置以：

在所述视频数据帧具有小于720p的分辨率的情况下选择所述第一SATD值作为所述复杂度度量；及

在所述视频数据帧具有大于或等于720p的分辨率的情况下选择所述第二SATD值作为所述复杂度度量。

23.根据权利要求14所述的设备，其中所述视频编码器经配置以确定所述整个视频数据帧的所述复杂度度量及所述速率控制参数。

24.根据权利要求14所述的设备，其中所述视频编码器经配置以通过以下操作确定所述速率控制参数：

计算公式 $\mathrm{\&lambda;}=\mathrm{\&alpha;}{\left(\frac{C}{R_{t\arg et}}\right)}^{\mathrm{\&beta;}},$

其中λ为所述速率控制参数，C为所述复杂度度量，R_target为所述目标位速率，并且α及β为辅助速率控制参数。

25.根据权利要求24所述的设备，其中所述视频编码器经进一步配置以：

在帧层级上更新所述辅助速率控制参数。

26.根据权利要求24所述的设备，其中所述视频编码器经进一步配置以：

在译码树单元CTU层级上更新所述辅助速率控制参数。

27.一种设备，其经配置以在视频编码过程中执行速率控制，所述设备包括：

用于基于对视频数据帧中每一块的绝对变换差总和SATD计算来确定所述视频数据帧的复杂度度量的装置，其中所述视频数据帧将使用帧内预测编码；

用于基于所述复杂度度量及目标位速率确定速率控制参数的装置；

用于基于所述所确定的速率控制参数确定帧内预测模式的装置；及

用于使用所述所确定的帧内预测模式编码所述视频数据帧的装置。

28.根据权利要求27所述的设备，其进一步包括∶

用于基于所述所确定的速率控制参数确定量化参数的装置；及

用于使用所述所确定的量化参数编码所述视频数据帧的装置。

29.一种计算机可读存储媒体，其存储在被执行时引起经配置以编码视频数据的装置的一或多个处理器执行以下操作的指令：

基于对视频数据帧中每一块的绝对变换差总和SATD计算来确定所述视频数据帧的复杂度度量，其中所述视频数据帧将使用帧内预测编码；

基于所述复杂度度量及目标位速率确定速率控制参数；

基于所述所确定的速率控制参数确定帧内预测模式；及

使用所述所确定的帧内预测模式编码所述视频数据帧。

30.根据权利要求29所述的计算机可读存储媒体，其中所述指令进一步引起所述一或多个处理器：

基于所述所确定的速率控制参数确定量化参数；及

使用所述所确定的量化参数编码所述视频数据帧。