CN1502207A

CN1502207A - 使用比特预算执行视频编码速率控制的方法

Info

Publication number: CN1502207A
Application number: CNA018228437A
Authority: CN
Inventors: T; T·阿查亚; H·M·金
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2001-01-03
Filing date: 2001-12-27
Publication date: 2004-06-02
Anticipated expiration: 2021-12-27
Also published as: EP1350394A2; KR100544219B1; WO2002054772A2; WO2002054772A3; KR20030065588A; US20020122482A1; JP2004521533A; AU2002239668A1; CN1223199C; TW571589B

Abstract

揭示了用于使用比特预算进行视频编码速率控制的方法的实施例。

Description

使用比特预算执行视频编码速率控制的方法

相关专利申请

本专利申请涉及在____时提交的、Kim等的题目为“Method ofPerfoming Video Encoding Rate Control(执行视频编码速率控制的方法)”的美国专利申请序列号No.____(代理人档案No.042390.P10264)，以及在____同时提交的、Kim等的题目为“Method ofPerfoming Video Encoding Rate Control Using Motion Estimation(使用运动估值执行视频编码速率控制的方法)”的美国专利申请序列号No.____(代理人档案No.042390.P10265)，这两份专利申请都转让给本发明的受让人，以及在此引用，以供参考。

背景

本公开内容涉及视频图像的编码速率控制。

众所周知，视频编码可以通过多种或各种各样的技术中的任一种被执行。经常采用的通用技术遵循某些已建立的标准，诸如’MPEG’(活动图像专家组)和’H.26x’标准。这些标准包括下列内容：ITU-T“Videocoding for low bit-rate communications(用于低比特率通信的视频编码)”，ITU-T Reeommendation H.263，version 1，Nov.1995和version 2，Jan.1998；“Generic Coding of Moving Picture andAssociated Audio Information：Video(活动图像和相关的音频信息的通用编码：视频)”，ISO/IEC 13818-2：International Standard(国际标准)1995；和“Coding of audio-visual Objects-Part 2：VisualAmendment1；Visual extensions(音频-视频目标的编码-第二部分：视频修改1；视频扩展)”，ISO/IEC 14496-2：Draft of January6，2000；此后分别具体地称为H.263，H.263+，MPEG-2，和MPEG-4，以及总的称为MPEG和H.2 6x。然而，这样的标准规定比特流语法，以使得可以利用任何的遵循标准的译码器来译码编码的视频。这给编码器在实施方案上提供相当大的灵活性。

速率控制，诸如比特速率控制，是尚未对于视频编码器一般地规定的问题之一，所以，有可能提供利用各种各样不同的技术的能力。而且，应用速率控制可能在几个方面影响视频的处理。一个方面，速率控制可被利用来保持缓存器约束条件，由此，防止在编码期间的过流和/或欠流，以及具体地与实时应用相结合。同样地，在另一个方面，速率控制也可能影响图像质量。

除了速率控制以外，在编码期间其他的参量可能被编码器改变，这导致各种程度的图像失真，所以影响性能。所以，有时很难把图像质量改进到可接受的水平，而同时还满足各种想要的约束条件，诸如，总的比特预算、利用适当的时延量，等等。

存在有一些对这些考虑加以平衡的技术，以便提供可接受的或想要的解决方案。例子包括利用拉格朗日(Lagrangian)最优化或动态编程。然而，不幸地，这样的技术常常或典型地是计算上复杂的，所以，从这样的方法耗费的处理资源量来说是昂贵的。而且，在视频处理时在图像或图像帧之间典型地存在的依赖性，有时使得解决这样的问题甚至更复杂。例如，当前帧的失真可能至少部分地取决于对于先前的一帧或几帧的量化参量的选择。所以，希望有一种在视频编码时执行速率控制的技术，它在计算上比起先前的或现有技术的方法不太复杂的，而且也平衡上述的复杂的考虑中的至少某些考虑。

附图简述

本发明的内容在本说明书的结论部分中被具体指出以及明确地提出专利权保护请求。然而，当结合附图阅读以下的详细说明时将更好地了解本发明，其构成和运行方法，连同本发明的目的，特性和优点，其中：

图1是显示可利用按照本发明的使用比特预算执行视频编码速率控制的方法的实施例的视频编码器的方框图；

图2是显示在用于特定的数目的量化仓(bins)的各种图像类型的宏块SAD与比特数目之间的相互关系的一系列曲线图；

图3是显示在Q2控制方法与按照本发明的、使用比特预算执行视频编码速率控制的方法的实施例之间的性能参量的比较的表。

详细说明

在以下的详细说明中，为了提供对本发明的透彻的了解，阐述许多具体细节。然而，本领域技术人员将会看到，本发明可以不用这些具体细节来实施。在其他的事例中，熟知的方法、程序过程、部件和电路没有详细地描述，以免遮蔽本发明。

如上所述，视频编码速率控制可以是视频编码器的一个特征。虽然本发明在范围上并不限于这个方面，但是，在按照本发明的使用比特预算执行视频编码速率控制的方法的一个实施例中，在视频编码期间采用的视频比特速率至少部分地是根据被编码的视频图像的选择的部分的象素信号电平值的变化的测量值而改变的。用于采用这样的方法的一个原理可以是：象素信号电平值的范围或变化越大，用来代表或区分不同的象素信号电平值所采用的比特的数目就越大，以及反之亦然。

所以，对于本特定的实施例，当然，虽然本发明在范围上并不限于这个方面，但是，可以利用在宏块的象素信号电平值的变化与由视频编码器施加的相关的视频编码速率控制之间的相互关系。而且，虽然有各种各样的技术可被利用来测量变化，以及本发明在范围上并不限于任何具体的技术，但是，在本特定的实施例中，可以使用绝对差值的和值(SAD)来测量变化，这是在运动估值中采用的。

SAD = \min_{(x, y) &Element; S} Σ_{j = 0}^{15} Σ_{i = 0}^{15} | C [i, j] - R [x_{0} + x + {i, y}_{0} + y + j] | - - [1]

其中

(x₀，y₀) 当前的宏块的左上角坐标

C[x，y] 当前的宏块的亮度样本

R[x，y] 重建的先前的帧的亮度样本

S 搜索范围：{(x，y)：-16≤x，y＜16}

众所周知，SAD值是在搜索空间(S)的所有的或某些选择的搜索点上计算的。运动矢量(MVx，MVy)是根据搜索点的移位选择的，这导致在搜索空间中所有的SAD值之间的最小SAD。应当指出，当然，变化的其他潜在的测量值实际上是SAD的替代物。例如，可以采用平均绝对差值(MAD)来代替SAD，它应当提供几乎相同的结果(如果是不同的话)。所以，这样的其他的替代测量值显然在本发明的范围内。

在这方面，SAD提供几个优点。它已作为运动估值的一部分被计算，所以，在处理资源的消耗方面，很少或不引入附加开销。而且，运动估值提供在视频编码速率控制时有用的信息。例如，运动估值提供有关预测模式判决、运动矢量选择、和移位帧的差值编码保真度的信息。

在这方面，应当指出，量化步长大小的修正具体地导致视频编码速率(这里是视频编码比特速率)的调节。所以，虽然再次地，本发明在范围上并不限于这个方面，但是，对于本实施例，调节量化步长大小是被利用来修正或调节视频编码速率的一种机制。这至少部分地从观察得出，高的量化步长大小提供相当粗的量化。因此，当利用高的量化步长大小时，要被发送到译码器的信息量被减小。

在这方面，可能希望适当地表征在被利用来编码宏块的比特数目与宏块的SAD之间的相互关系，至少对于本具体的实施例。所以，对于量化步长大小参量的不同的值，这里从1到31，对于各种各样的图像计算这些特定的参量。当然，这只是一种潜在的方法，以及可以采用多种方法的任一种方法。本发明在范围上并不限于采用任何特定的方法。所以，而且，在本具体的实施例中，正如此后将更详细地描述的，宏块(MB)按照类型被分类成块间的、内部的、B和4MV。在这方面，‘内部的’是指不用运动矢量被编码的MB，‘块间的’是指使用一个前向运动矢量的MB，‘4MV’是指使用四个前向运动矢量的MB，以及B是指使用前向和后向运动矢量的MB，以便减小时间冗余性，虽然，再次地，本发明在范围上并不限于这个方面。应当指出，模式也提供在视频编码速率控制中是有用的、基于运动估值的信息。

在本具体的实施例中，虽然，再次地本发明在范围上并不限于采用这个具体的方法，但是，SAD是在执行运动估值后得到的，例如在图1所述的方框图上显示的点处，当然，除了内部宏块以外。图1上的这个点被选择为使得对于本具体的实施例，可以得到使用运动估值的结果的每个宏块的模式。

通过使用这个方法，可以对于每个量化参量或步长大小产生在宏块SAD与数目之间的相互关系。可以，在本特定的实施方案中，根据量化参量或步长大小，可以生成31个数字，虽然对于本发明范围内的另外的方法不打算限于这一点。然后，对于每个不同的量化步长大小，从具有SAD的多个宏块确定总的比特数目。同样地，如前所述，也可以利用不同的宏块类型。至少对于本特定的实施方案，除了至少部分地取决于宏块的SAD以外，在SAD与比特数目之间的相互关系可被显示为至少部分地取决于宏块的类型；然而，如前所述，本发明在范围上并不限于本特定的实施方案。

为了使得生成的数据适合于视频编码速率控制时使用，希望量化宏块SAD，虽然，再次地，当然，本发明在范围上并不限于这个方面。例如，某些其他实施例可以利用上述的、不用应用量化的、有关SAD的方法。无论如何，在本特定的实施例中采用以下的量化技术。当然，可以替换地利用多个其他适当的方法的任一种方法，以及所有这样的其他量化技术包括在本发明的范围内，因为所应用的具体技术是不重要的。然而，在本特定的实施例或方法中，采用以下的量化技术。

Index＝SAD/bin_size (2)

其中bin_size＝range/no_bins

在公式(2)中，’SAD’当然是宏块SAD。同样地，’no_bins’是8。对于给定的量化步长大小，在本实施例中，希望根据特定的下标对比特数目进行平均。这由图2的曲线图显示，取决于采用的图像类型，在本实施例中，是类型I、P或B。应当指出，这样的图像类型是结合遵从MPEG的视频编码器被利用的，虽然再次地，本发明在范围上并不限于MPEG或遵从MPEG。

图2所示的曲线图在一个图上显示在SAD与比特数目之间的相互关系，其中量化步长大小对于每个分开的曲线保持为常数，但在每个各自的曲线图上显示的曲线族中是变化的。所以，通过使用这个数据，对于视频编码器，考虑到宏块的SAD和/或宏块类型，要采用的视频比特速率可以改变。更具体地，通过量化比特总数和宏块SAD，图2所示的曲线图可被变换成查找表(LUT)，它可被存储以及在编码视频处理期间由视频编码器利用来施加视频编码速率控制。对于这些曲线图，采用40个仓用于每个图像类型的比特数目，当然，虽然本发明在范围上并不限于这个方面。

对于这样的实施例，可以采用以下的方法，虽然本发明在范围上也并不限于这个方面。对于图像或帧，采用最大可接受的量化步长大小。然后，通过使用下标、这里的量化的SAD、及量化步长大小，从查找表计算用于帧或图像的速率，或比特数目。这里，这是在宏块的基础上完成的，然后在图像或帧上进行相加，当然，虽然本发明在范围上并不限于这个方面。如果对于帧计算的速率或比特数目小于由比特预算表示的速率，则这表示量化步长大小可以减小，以提供更好的性能而不超过预算。所以，量化尺寸被减小，并重复进行先前描述的过程，直至超过比特预算或速率为止，表示量化步长大小的减小已达到极限。

在本特定的实施例中，最大可接受的步长大小对于I和P类型图像是20，以及对于B类型图像是28。所以，对于本实施例，可以采用以下的伪码来实施本实施例。

For (1-Qp_max；1＞＝Qp_min；1--)(

sum_rate＝0；

for(i＝0；i＜N；i++)(

for(j＝0；j＜M；j++)(

sum_rate+＝RATE[index][1]；

}

if(sum_rate＞budget)break；

}

Qp＝1；/* your desired Qp for current frame */

N，M是图像高度和宽度除以16。N×M代表每个帧的宏块的数目。Sum_rate代表使用下标和Qp相互关系花费的、估值的比特。预算是对于当前的帧的分配的比特。

与调节视频比特速率的现有技术方法相比较，按照本发明的实施例具有几个优点。例如，被称为Q2的方法是结合MPEG-4使用的。目标比特速率是根据可提供的比特和上一个编码的帧进行计算的。如果上一个帧是复杂的以及使用过量的比特，则可以分配更多的比特给这个帧。然而，如果有较少的比特留下来用于编码，则由于比特预算，可以分配较少的比特。所以，加权平均提供在这两个因素之间的折衷。

一旦确定对于该帧的目标比特速率，就选择满足它的量化步长大小。这是通过使用最小平方统计模型技术完成的。编码器速率失真函数被建模为：

R = X_{1} \cdot \frac{S}{Q} + X_{2} \cdot \frac{S}{Q^{2}} - - [3]

编码比特数目被表示为R。编码复杂性，被表示为S，是通过使用平均绝对差值(MAD)被测量的。量化步长大小是参量Q。模型参量X₁和X₂可以通过使用来自先前的数据的最小平方被估值。然后，对于Q求解以上方程。为了使用这个技术解决该方程，典型地采用多到2个先前的数据帧，暗示出计算复杂性以及利用显著的存储器。而且，仿真结果表示，Q2技术对于所有的图像不满足比特预算，也就是，只遵守目标速率。

所以，本特定的实施例的一个优点是减小的计算复杂性。对于本特定的实施例，例如采用一个参量，比特预算或速率。同样地，在本实施例中，虽然再次地，本发明在范围上并不限于这个方面，采用宏块SAD。在计算复杂性方面，这并不产生重大的附加开销量，因为如前所述地，除了I帧以外，计算SAD来确定宏块模式。而且，对于I帧的这个计算，虽然提供某一附加的开销，但在所耗费的处理资源方面也是不大的。同样地，正如以下的结果表示的，所有的图像满足比特预算。

图3是提供在按照本发明的实施例与Q2的各个性能参量之间的比较结果的表。这个数据是从六个图像序列生成的。采用每个序列150帧，它们具有每秒15帧的帧速率。在P或I帧之间的B帧的数目是2，以及内部周期是15帧。表上的数据暗示：性能质量的恶化是轻微的，以及在某些情形下性能质量是更好的。而且，本实施例以更高的压缩效率保持在预算内。

先前描述的实施例提供多个想要的优点和特性。例如，如前所述，诸如先前描述的速率控制机制的实施方案减小计算复杂性。所以，虽然结果可能随各种因素而变化，但这样的实施例可适合于低功率应用，正如经常想要的。同样地，先前描述的实施例可以以硬件、软件、固件或它们的任一种组合被实施。而且，按照本发明的实施例提供与已知的视频标准(诸如，MPEG和H.26x)的兼容性。

当然，将会看到，虽然描述了特定的实施例，但本发明在范围上并不限于特定的实施例或实施方案。例如，一个实施例可以以硬件实施，而另一个实施例可以以软件实施。同样地，实施例可以以固件，或硬件、软件或固件的任一种组合被实施。同样地虽然本发明在范围上并不限于这个方面，但一个实施例可包括一个产品，诸如贮存媒体。这样的贮存媒体，诸如CD-ROM或软盘，可以已在其上存储了诸如先前描述的查找表。同样地，贮存媒体可以已存储了指令，它在由系统(诸如计算机系统或平台，或成像系统)执行时，可导致被执行的、按照本发明的方法的实施例，诸如使用比特预算执行视频编码速率控制的方法的实施例，正如前面描述的。例如，视频处理平台或成像系统可包括视频编码器、视频输入设备和存储器。视频编码器可包括调节在视频编码期间采用的视频编码速率的机构，诸如通过采用先前描述的实施例之一。而且，本发明的实施例也不限于视频编码器或视频编码。例如，可以在通过使用按照本发明的实施例已编码视频的场合下来译码该视频。

虽然在这里显示和描述了本发明的某些特性，但对于本领域技术人员将出现许多修正方案，替换例，改变和等价物。所以，应当看到，附属权利要求打算覆盖属于本发明的精神内的所有的这样的修正方案和改变。

Claims

1.执行视频编码的方法，包括：

至少部分地根据在被编码的视频图像的选择部分的象素值中的变化的测量值和根据比特预算，调节在视频编码期间采用的视频编码速率。

2.权利要求1的方法，其中视频图像的选择的部分包括宏块。

3.权利要求2的方法，其中视频编码速率也至少部分地根据宏块的类型被调节。

4.权利要求3的方法，其中类型包括以下的至少一项：内部的、宏块间的、4MV、和B。

5.权利要求1的方法，其中变化的测量包括绝对差值的和值(SAD)。

6.权利要求1的方法，其中视频编码速率通过调节在视频编码期间采用的量化步长大小而被调节。

7.权利要求6的方法，其中视频图像的选择的部分包括宏块。

8.权利要求7的方法，其中视频编码速率也至少部分地根据宏块的类型被进一步调节。

9.权利要求8的方法，其中类型包括以下的至少一项：内部的、宏块间的、4MV、和B。

10.权利要求1的方法，其中所执行的视频编码基本上遵循MPEG或H.26x。

11.具有执行视频编码的能力的设备，包括：

一种机构，该机构用于至少部分地根据在被编码的视频图像的选择部分的象素值中的变化的测量和根据比特预算来调节在视频编码期间采用的视频编码速率；

其中所述机构是在视频编码器中提供的。

12.权利要求11的设备，其中所述视频编码器是以硅在至少一个集成电路上实施的。

13.权利要求12的设备，其中所述视频编码器的硅实施方案包括微代码。

14.权利要求12的设备，其中所述视频编码器的硅实施方案包括固件。

15.权利要求11的设备，其中所述视频编码器是以能够在处理器上执行的软件实施的。

16.权利要求15的设备，其中所述处理器包括微处理器。

17.一个产品，包括：贮存媒体，所述媒体中存储这样的指令，该指令在执行时导致产生通过以下步骤编码的视频性能，该步骤是：

18.权利要求17的产品，其中在所述媒体上还存储这样的指令，该指令在执行时导致被编码的视频图像的选择的部分包括宏块。

19.权利要求18的产品，其中在所述媒体上还存储这样的指令，该指令在执行时导致视频编码速率也至少部分地根据宏块的类型被调节。

20.权利要求17的产品，其中所述媒体在其上还存储这样的指令，该指令在执行时导致变化的测量值包括SAD。

21.权利要求17的产品，其中在所述媒体上还存储这样的指令，该指令在执行时导致通过调节在视频编码期间采用的量化步长而调节视频编码速率。

22.视频处理平台，包括：

视频编码器；

被耦合到所述视频编码器的视频输入设备；以及

存储器；

其中所述存储器被耦合到所述视频编码器，以便用来存储由所述视频编码器编码的视频；以及

其中所述视频编码器包括一个机构，该机构用于至少部分地根据在被编码的视频图像的选择部分的象素值中的变化的测量值和根据比特预算来调节在视频编码期间采用的视频编码速率。

23.权利要求22的系统，其中视频图像的选择的部分包括宏块。

24.权利要求23的系统，其中所述调节在视频编码期间采用的视频编码速率的机构也至少部分地根据宏块的类型。

25.权利要求22的系统，其中变化的测量包括SAD。

26.权利要求22的系统，其中所述调节在视频编码期间采用的视频编码速率的机构是通过调节在视频编码期间采用的量化步长而被调节的。

27.执行视频译码的方法，包括：

译码已被编码的视频，其中所述编码的视频是通过至少部分地根据在被编码的视频图像的选择部分的象素值中的变化的测量和根据比特预算，调节在视频编码期间采用的视频编码速率而被编码的。

28.权利要求27的方法，其中视频图像的选择的部分包括宏块。

29.权利要求28的方法，其中视频编码速率也至少部分地根据宏块的类型被调节。

30.权利要求27的方法，其中变化的测量值包括SAD。

31.权利要求27的方法，其中视频编码速率是通过调节在视频编码期间采用的量化步长而被调节的。

32.权利要求31的方法，其中视频图像的选择的部分包括宏块。

33.权利要求32的方法，其中视频编码速率还至少部分地根据宏块的类型被进一步调节。

34.视频处理平台，包括：

视频译码器；

被耦合到所述视频译码器的视频输出设备；以及

存储器；

其中所述存储器被耦合到所述视频译码器，以便用来存储先前由视频编码器编码的视频，其中所述视频编码器包括至少部分地根据在被编码的视频图像的选择部分的象素值中的变化的测量和根据比特预算，调节在视频编码期间采用的视频编码速率的机构。

35.权利要求34的系统，其中视频图像的选择的部分包括宏块。

36.权利要求34的系统，其中调节在视频编码期间采用的视频编码速率的机构也至少部分地根据宏块的类型。

37.权利要求34的系统，其中变化的测量包括SAD。

38.权利要求34的系统，其中调节在视频编码期间采用的视频编码速率的机构通过调节在视频编码期间采用的量化步长而被调节。

39.一个产品，包括：贮存媒体，在所述媒体上存储指令，该指令在执行时导致产生通过以下步骤译码的视频性能，该步骤是：

40.权利要求39的产品，其中在所述媒体上还存储这样的指令，该指令在执行时导致被编码的视频图像的选择的部分包括宏块。

41.权利要求40的产品，其中在所述媒体上还存储这样的指令，该指令在执行时导致视频编码速率也至少部分地根据宏块的类型被调节。

42.权利要求39的产品，其中在所述媒体上还存储这样的指令，该指令在执行时导致变化的测量值包括SAD。

43.权利要求39的产品，其中在所述媒体上还存储这样的指令，该指令在执行时导致通过调节在视频编码期间采用的量化步长而调节视频编码速率。

44.一个产品，包括：

贮存媒体，在其上存储了查找表，所述查找表包括对于各种各样的量化步长大小在比特数目与多个视频图像的象素信号值的变化之间的相互关系；

其中所述贮存媒体还包括其上存储的指令，以便利用查找表和比特预算来执行视频编码速率控制。

45.权利要求44的产品，其中当指令被处理器执行时，利用查找表来执行视频编码速率控制。

46.权利要求45的产品，其中象素信号值的变化包括SAD。