CN1175859A - 立体数字式视频编码的速率控制 - Google Patents

Abstract

按时间预测的帧(从同一层)或不均衡预测的帧(从相对层),改善增强层中P或B帧数据的量化程度。实现主体数字式视频通信系统中速率控制。为不均衡预测的P图象设置附加的量化位,能使图像质量保持稳定。选择的量化水平相当于增强层的全部位速率要求。对不均衡预测的P帧而言,根据增强层中编码的帧的有效值或基准帧的有效值改进量化步长。在要求随机存取图象数据的快速向前和快速向后的编辑工作中,能提高图象质量和防止帧冻结。

Description

立体数字式视频编码的速率控制

本发明涉及数字式视频信号的编码。特别涉及编码立体数字视频信号以使图像质量最佳并保持带宽限制的方法和装置。还提供了在快速正向和反向编辑时提高图像质量的方法和装置。

数字技术使其为消费者服务的视频和音频信号的传递起了很大变化，因为，它能传递比模拟术质量高得多的信号，而且，还提供了以前得不到的其它一特征。数字式系统对经有线电视网络传播信号，或经卫星将信号传播到有线电视联合广播电台和/或直接将信号传递到家庭卫星电视接收机特别有利。这些系统中，用户经接收机/对数据减压和译码的解扰器接收数字式数据流，以重现原始视频和音频信号。数字式接收机包括微型电子计算机和该处理中用的存储器存储元件。

但是，需要提供价格低而仍能提供高质量的视频和音频信号，要求处理的数据量受到限制。而且，很多实际的约束，存在的通信协议，政府规定等均限制了数字式信号发送所允许的频带宽度。而且，已开发出的各种帧内数据压缩方案有特殊视频图象(例如帧)中相邻像素之间空间相关的优点。

而且，帧内压缩方案采取了用运动补偿数据和块匹配运动估算法的连续帧的相应区域之间的时间相关优点。这种情况下，识别与最当前块最相同的当前图象中的块，来确定图像的当前图象中每个块用的运动矢量。之后，发送表示相应块之间差的数据，与识别相应对所需的运动矢量一起，能在译码器重现全部当前图象。结合诸如离散余弦变换(DCT)的以块为基础的空间压缩技术时，块匹配运动估计法特别有效。

但是，目前对拟用的立体发送格式面临着更大挑战，如在文件ISO/IECJTCl/SC29/WG1/NID88，中标题为“Proposed Draft Amendmen No.3 to13818-2(Multi-View Profile)”November 1995所描述的运动图象专家组(Motion Picture Experts Group)(MPEG)MPEG-2多视图象(Multi-ViewProfik)(MVP)系统。这里引作参考。立依视频提供同一图像稍微偏移的多个视图，以产生有更大景深的组合图像。由此，建立三维(3-D)作用。该系统中，两个摄像机相距两英寸设置，以在两个分开的视频信号上记录事件。两个摄像机的间距与人的左右眼睛之间的距离相近。而且，用某些立体摄录一体机，两个透镜构成一个摄录一体机的记录头，因而，当在图像上摄全景时，同步运动。能传输两个视频信号，并在接收机上重现，以产生与正常人视力相当的景深图像。还有其它的特别功能。

MPEG MVP系统包括按多路传输信号传输的两个视频层。首先，基层表示三维物体的左视图。第2，增强层(例如，辅助层)表示物体的右视图，由于左右视图是同一物体，只是相互间微微偏移，因此，在基层和增强层的视频图像极其相关。这种相关可用于相对于基层压缩增强层数据，由此减少需在增强层中传输的数据量，以保持给定的图像质量。图像质量通常与视频数据的量化水平有关。

MPEG MVP系统包括3种视频图象；具体地说是，帧内编码图象(I图象)，预测编码图象(P-图象)和双向预测编码图象(B-图象)。而且，基层能容纳帧或场结构视频信号序列，而增强层只容纳帧结构。I图象完全描述单个视频图象而与其它任何图象无关。为改善潜在的误差，运动矢量能包括I-图象。由于可从I图象预测基层中的P-图象和B-图象，因此，I图象中的误差有在显示的视频上产生更大碰撞的潜能。而且，能按交叉层预测法，已认为是不均匀预测法，以基层中的图象预测增强层中的图象。对层内的一帧到另一帧的预测认为是短暂预测。

基层中，以前面的I或P图象为基础预测P图象，从较早的I或P图象至另一P图象为标准，并认为是向前预测。从最接近的较早的I或P图象和最接近的较迟I或P图象预测B图象。

增强层中，按显示顺序，从增强层中最近的编码图象能预测P图象，而与图象类型无关，或从最近的基层图象预测P图象，无类形无关。用增强层中的B图象，朝前的基准图象是最近编码的增强层中的图象，朝后的基准图象是基层中最近编码的图象，按显示顺序。由于增强层中的B图象可以是增强层中的其它图象的基准图象，因此，必须以多个图象中图像的复杂程度(例如，有效性)为基础调节增强层中P-和B-图象用的比特配置。任意结构中，增强层只有P和B图象，而无I图象。访问未来图象(即，一个还未显示的图象)叫做向后预测。朝后预测的位置在提高压缩比中很有用。例如，在一个打开门的场景中，当前图象就能根据门已经打开的未来图象预测门后面是什么。

B图象产生最大压缩，但也伴随着最大误差。为了消除误差传播，绝不能从基层中的另一B图象预测B图象。P图象产生较小的误差，和较小的压缩。I图象产生最小压缩，但能提供随机存取。

因此，在基层中，为了解码P图象，应允许存在前I-图象或P-图象。同样，要解码B图象，应存在前P或I和未来P或I图象。结果，按顺序对视频图象译码并传输，因而，在预测图象之前，用于预测的全部图象被译码。而且，为在显示之前缓冲数，需用暂时存储元件。

关于非立体视频信号的MPEG-2标准没有规定I图象，P图象和B图象要按顺序在层中有任何特殊的分布，以使其压缩和随机存取性有不同的程度，基层中一个公用分布是连续的I或B图象之间有两个B图象。例如，图象顺序是Z1，B1，B2，P1，B2，34，I2，B5，B6，P2，B7，B3，I3等。增强层中，在3个B图象之后有一个P图象，每12个P和B图象设置一个I图象，例如，按顺序Z1，B1，B2，P1，B3，34，P2，B5，B6，P2，B7，B8，I2。在文件ISO/IECJTC1/SC29/WG11 NO702。标题为“InfonnationTechnology-Generic Coding of Moving Pictures and Associated Audion，Recommendation H.262”March 25 1994中能找到MPEG-2标准的更详细说明，在此引作参考。

图1是MPEG MVP系统的常规的暂时的和不均衡视频图象预测方案。箭头指示预测方向，根据连接到箭尾的图象预测用箭头指示的图象。用I_b155，B_b1160，B_b2165，P_b170的基层(左视图)顺序，如所示，出现暂时预测，其中“b”脚注是指基层。具体地说，从I_b155预测B_b1160，从I_b155和P_b170预测B_b2165，从I_b155预测P_b170。用P_e105，B_e1110，B_e2115和B_e3120的增强层(右视图)顺序100出现暂时和/或不均衡的预测，其中“e”脚注是指增强层。具体地说，从I_b155不均衡的预测P_e105暂时预测B_e110，并从B_b1160不均衡预测B_e1110。从B_e1110暂时预测B_e2115，并从B_b2165不均衡预测B_e115。从B_e2115暂时预测B_e3120，并从P_b170不均衡预测B_e2115。

通常，按主外形(MP)协议编码MPEG MVP系统中的基层，而按MPEG-2时间可标度工具(Temporal Scalability(tools)编码增强层。

对固定带宽立体视频业务而言，包括基层和增强层的多路传输的输出位流不应超过给定的位速率或相应的带宽。用基层和增强层中分开速率控制方案能使每层的位速率不超过给定的阈值，而且，两个位速率之和能满足全部带宽要求。另外，只要组合位速率能满足带宽需要，每层中的位速率可以变化。

而且，速率控制方案还应提供增强层中全部图象类型的较恒定的视频信号质量(例如，在I..P和B图象上的质量)，并与MPEG MVP系统中视频缓冲检验器(Video Buffering Verifier)(VBO)模式一致。VBV是一假定的译码器，它概念式地连接到编码器的输出。编码数据按所用的恒定位速率放到缓冲器中，并按它除去在缓冲器中存放时间周期最长的数据。要求用不会引起VBV上溢(overflow)或下溢(undrflow)的编码器或编辑器产生位流。

用常规系统，增强层中P-图象质量能随其暂时预测或不均衡预测而变化。例如，用摄像机拍摄右边的镜头，具有恒定的数字化水平，从增强层中的B图象暂时预测的P图象的质量低于从基层中的I图象不均衡预淀的P图象的质量。这是因为，如上所述，B图象产生最大压缩，但也伴随最大的误差。反之，由于B图象不能用作基层中的基准图象，所以能保持基层P-图象的质量。P图象图像的质量与P图象数据的平均量化步长相当。

而且，能按用户发出的指令在译码器终端进行诸如快速向前和向后的编辑工作。由于基层和增强层中图象组(GOP)或更新周期帧不同，因此，这种编辑工作会引起编码误差，而且，它们各自的起始点也会暂时偏移。一个以上的连续图象构成GOP。图象显示顺序与编码顺序通常不同，因此位流出现变形。位流中，GOP中的第1帧图总是I图象。但是，按显示顺序，GOP中的第1图象是I图象或暂时先于I图象的连续B图象系列中的第1B图象。而且，按显示顺序，GOP中最后的图象总是I或P图象。

而且，按位流编码的I-帧之前暂时使用GOP头，以展示出译码器，无论暂时跟随按位流编码的I-帧的第1连续的B图象是否能在随机存取情况下适当的重现，而I帧不能用作基准帧。甚至不能利用I帧时，只用由后面的I或P帧向后预测也能重现B图象。

要求显示不是暂时跟随GOP头的帧时，在编辑工作中，基层帧与增强层帧之间的同步也会破坏。这就能导致不连续，使图帧凝滞或造成视频图像的其它损坏。

因而，对诸如按无论是否是暂时或不均衡预测的图象而调节增强层中P图象的量化水平的MPEG MVP系统的立体视频系统提供速率控制方案是有利的。方案还应估计编码图象和基准帧的复杂程度。方案还应估算潜在的编辑工作中所需的数据速率，同时提供均匀的图像质量，并避免帧凝滞。本发明具有上述的和其它的优点。

按本发明的速率控制方法和装置，用于在立体数字式视频通信系统的发送器边的编码器上，按无论是暂时预测(从同一层)的帧或不均衡预测(从相对层)的帧调节增强层中的P或B帧的量化程度。本发明对不均衡预测的P图象供给附加的量化位，例如，从基层中的B帧对P帧编码，而使图像质量保持恒定。选择的量化程度相当于增强层的全部位速率要求、右-位-速率，和虚拟缓冲器完全参数，Vr。

而且，在很多应用中，必须对诸如快速前进和快速返回的编辑模式用的已译码的数据重新编码。按本发明，当基层中的基准帧是GOP的第1帧时，为改善图象质量和消除在这种潜在编辑模式中传播误差，相应的增强层帧要编码为I或P帧。例如，若正在讨论中的增强层帧编码成用常规图象分布方案的B帧，图象类形会转换，而不是P或I图象。而且，用减小增强层中当前帧的配位能计算发送机处的速率控制，以避免在编码器的虚拟缓冲器的可能的溢出。

而且，对不均衡预测的P帧而言，按增强层中编码的帧的有效性程度或基层中基准帧的有效程度改变量化步长，而无论那个更长。

图1是MPEG MVP系统的常规暂时和不均衡预测方案；

图2是按本发明的初始GOP或更新周期子程序；

图3是按本发明的用于增强层序列的图象层时间标记；

图4是用于按本发明的当前图象预处理的子程序；

图5是用于按本发明的前图象后处理的子程序；

图6是按本发明的图象分布结构；

本发明的速率控制方法包括7个程序，包括参数预置，增强层预置，更新周期或图象组(GOP)的预置和更新，当前图象的预处理，前图象的后处理，宏-码组任务和部分任务速率控制处理，和合适的量化处理。

后面使用的参数预置包括相当于增强层的GOp或更新周期的帧用的位的最小配置数Trmin，Trmin由下式确定：式中右-位-速率是增强层的最大配置位速率，图象-速率是立体信号的图象速率，例如，对VTSC视频而言是30帧图象/秒，对PAL视频而言是25帧图象/秒。

而且，初始复杂性值，Kx₁是指增强层中的当前图象。当前图象选择的量化水平相当于复杂水。因此，较小的量化步长用较复杂的图象，由此，产生更多的编码数据位。所示的初始复杂水平与图象的类型有关。用I-图象作随机存取基准图象，因此，应按较少的步骤量化。因此，I-图象有较大的复杂程度。P和B图象展示出较低的复杂性初始值，因此，量化较粗。而且，能在空间畴或变换畴中确定所给图象的复杂性。表示值是Kxr＝1.39，Kx_DP＝0.52，Kx_TP＝0.37，和K_XB＝0.37，其中，脚注“I”是指I-图象，“DP”是指不均衡-预测的P-图象，“TP”是指暂时预测的P图象，“B”是指B-图象。而且，这里用的P_D和P_T分别表示不均衡-预测的P图象和暂时预测的P图象。复杂的参数应满足是关系式

Kx_T＞Kx_DP≥Kx_TP≥Kx_B

对给定的图象类型而言，能调节复杂性值Kx。例如，高复杂的图像的象素亮度或色度值有更大变化。为保持给定的图像质量(例如清晰度)，与低复杂图像相比，高复杂的图像要用附加位编码。而且，若与相同类型的其它图象相比，图象的复杂程度更大或更小，则所给定的图象的复杂值可分别增大或减小。

Kr_DP，Kr_TD，Kv_B是增强层中预测编码的帧(例如，P_D，P_T和B-帧)的初始虚.拟缓冲器全参数。例如，Kr_DP＝1.0，Kr_TD＝1.4，Kr_B＝1，4合适。这些参数能调节，应满足Kr_DT＜Kr_TP≤Kr_B。Xr_DP，Xv_TD和Xr_B分别是P_D、P_T和B图像的复杂性值，分别由复杂性参数Kx_DP，Kx_TP和Kx_B最初确定。具体地说，用增强层的位最小配置数，右-位-速率，I图象要求的位速率是：

Xr_T＝Kx₂ ^*右-位-速率。对P_D-图象是，Xr_DT＝Kx_DP ^*右-位-速率，对P_T-图象是，Xr_TD＝Kx_TP ^*右-位-速率，对B-图象是，Xr_B＝Kx_B ^*右-位-速率。而且，在不是增强层中的I帧的情况下，不均衡预测的P图象的配置位可增大Xr₂/N₂，式中

N₂＝最大{Nr/Gop-左视图的长度，1}，

Nr是增强层的更新周期，如上所述，GOP-左视图长度是基层中图象组中的帧数。这时，Xr_DP＝Dx_DP ^*右-位-速率+Xr_I/N₂。关于GOP-左视图长度，看做是基层中常规图象分布方案，I₁，B₁，B₂，P₁，B₂，B₄，I₂，B₅，B₆，P₂，B₇，B₈。这时GOD-左视图长度＝12。

随后，确定增强层中当前图象。若当前图象是I图象，则虚拟缓冲器全值是Vr₂＝10^*RP₂/31。若当前图象是不均衡预测的P图象，虚拟缓冲器全值是Vr_DP＝10^*RPr^*Krop/31。对暂时预测的P形象而言，虚拟缓冲器全值是Vr_TP＝10^*RPr^*Kr_TP/31。就B图象而方，虚拟缓冲器全值是Vr_B＝Vr_TP＝10^*RPr^*Kr_B/31，由于Kr_TP＝Kr_B，所以，反应参数RP_r确定为Rpr＝2^*右-位-速率/图象-速率。

现在说明增强层预置。图2展示按本发明的初始GOP或更新周期的子程序。程序方框200处开始，在方框210，能恢复值Nr，N1，和M1。是增强层(右视图)的更新周期或GOP中的图象数(例如，长度。N1是基层(左视图)的GOP长度，M1标志基层中的图象种类的构形。具体地说，M1＝1时，基层只有I和P图象。M1＝2时，基层有I、P和B图象，在I或P图象之间有一个B图象。M1＝3时，基层有I、P、和B图象，在I或P图象之间有两个连续的B图象。

在方框220，计算出增强层中更新周期或GOP中I..P和B图象数的初始值。Nr_I是I帧数，Nr_DP是不均衡预测的P帧数，Nr_TP是暂时预测的P帧数，Nr_B是B帧数。

在方框230，增强层的更新周期或GOP中剩余位数的初始值Gr，由下式确定：

在方框240，恢复更新周期或GOP中用于编码剩余图象允许的剩余位数Rr。增强层中的每个图象编码后，Rr重新回到平衡。剩余位数的初始值Rr＝0。在码组250，Rr更新为Rr＝Rr+Gr。

在方框260，如上所述预置其它参数，包括：Rr_min，Kx，Kr，Xr和Vr。在码组270程序结束。

现在将说明图象组(GOP)或更新周期的预置和更新。基层中，更新周期是编码的视频帧序列中连续I图象之间的间隔。并确定与GOP相同的图象。增强层中，更新周期是连续I图象之间的间隔，若存在，或为两个预先指定的暂时预测的P图象(例如，P_D-图象)之间的间隔。预先指定的意思是在考基层结构之前设定在增强层中的图象类型。按本发明，预先指定的图象类型在编码之前可以转换成其它的图象类型。基层中，和增强层中，用I帧时，GOP头暂时先于分组的视频流中已编码的I帧，以显示暂时跟随已编码的I帧的第1连续B图象是否在随机存取的情况下能适当的重现。例如，在译码器上编辑一序列视频帧的过程中会出现该位置。增强层中不用I帧时，也就相应地无GOP。而且，在基层和增强层中用GOP或更新周期时会有典型的暂时偏移的开始和终点。即，基层中的GOP第1帧不必与增强层中更新周期的第1帧重叠。同样，基层和增强层间的GOP或更新周期长度(例如，帧数)也有典型地变化。

事实上，由于基层与增强层会偏移，并有不同的长度，因而，在诸如快速前进和快速返回的编辑模式中会带来问题。事实上，编辑工作会引起增强层损失或其它视觉损坏。诸如MPEG-2的协议提供了允许有这种编辑功能的编码位流中的语法层次。例如，能用各种存取点给位流编码，以允许处理和编辑基层的相应部分，而不用对整个视频译码。

但是，基层中的这些存取点不必对应增强层中可接受的存取点。例如，存取点通常设置在基层中有I图象的位置处。由于I帧提供自主式视频帧图像，可用I图象预测基层中的后续帧。但是，基层中I帧可与增强层中B帧重叠。这时，由于B帧不包含来自全视频帧的数据，所以不能从增强层中的B帧正确预测后续图象。

按本发明，当确将预定为B图象的增强层图象编码为P_D图象时，该图象与基层中GOP的第1I图象重叠，即，图象类型转换。因此，要求基层中随机存取，能用基层中I帧暂时预测增强层中相应的P图象，以提供重现增强层图像所需的信息。另外，若允许有足够的位数，增强层图象能编码成I图象，由此，为基层和增强层提供同步随机存取。

而且，在译码器，由于存在量化误差和其它误差，因此，能传播从其它帧预测的帧中的误差。因此，必须定期提供诸如自主式帧，与其它帧(如基层中I帧)无关的帧，或从I帧(如增强层中不均衡预测的P-帧)直接预测的帧等新帧。当供给这些帧时，由于消除或减小了传播误差，并建立了新基线，因此，数据流称作更新。例如，用30帧/秒的帧速率和用基层中每一个第8图象为I图象，更新周期是8/30秒。相对于GOP头的帧称作跨越更新周期。

图3是按本发明的增强层序列用的图象层时间分配标记。增强层包括全GOP展示的帧序列：I₁，B₁，P_D1，P_T1，B₃，B₄，P_T2，B₅，P_T3，B₇，B₈。图象P_D1和P_D2已分别由B₂和B₄代替(未画出)。重设信号310表示用脉冲315的编码序列开始点。脉冲同步信号(PSYNC)320供给一脉冲串，脉冲325表示先GOP或更新周期中最后一帧(如所示的B图象)。脉冲330表示下一个GOP或更新周期中的第1帧如上述，GOP是在增强层中用I图象时确定的。另一种方式，更新周期确定用位配置数编码的一组图象。因此，即使无GOP，更新周期的图象仍会编组脉冲330至390分别对应I₁，B₁，P_D1，P_T1，B₂，B₄，P_T2，B₅，B₆，B_T3，B₇，B₈，I₂。

脉冲390表示增强层中其它图象组成或更新周期开始。所示例中，编码进GOP或更新周期中的第1帧分别是I图象或P_D图象。下一帧，用脉冲335指示的，是B图象。但是，按本发明，用脉冲340指示的下一帧已由B图象(例如B2)转换成P_D图象。同样，脉冲370表示的P_D2用另一B图象B₆(未画出)代替。GOP或更新周期最后两帧是分别用脉冲380和385表示的B₇和B₈。重设信号脉冲317之后是用脉冲390指示的有另一I图象或P_D图象的另一GOP或更新周期。脉冲395表示该GOP的第1B图象等等。

而且，脉冲330至385中的每个脉冲包括前图象的后续处理中的具体须和当前图象的预处理的具体值。例如，假定增强层中无I图象。因此，脉冲330表示要编码成P_D图象的当前帧的预处理。而且，此时，用脉冲325表示的P_D图象开始后续处理。以下将说明预处理和后续处理阶段。

图4表示按本发明的当前图象预处理用的子程序。程序在方框400开始。在参方框405恢复参数Rr，Tr_min，Nr_DP，Nr_TD，Nr₈，Kr_DP，Kr₂，Xr_DP，Xr₈和Xr₉₇。Rr是能配置给增强层的GOP或更新周期的帧的剩余位数。Tr_min是帧的最小配置位数。

Nr_I，Nr_DP，Nr_TP和Nr_B分别是按本发明的增强层的GOP或更新周期中设置的I，P_D，P_T和B图象数。在立体视频信号中，若基层编码的帧是GOP的第1帧，则增强层中相应的帧应该是用基层帧作基准帧的I帧或P帧。为确保更新周期的准确构形，在速率控制计算中还应计算该因数。

例如，图6展示出按本发明的图象分布结构。应该了解，所示例只是众多可能的图象分布结构中的一种。在增强层中是图象602至626，在基层中是图象652至676。图象中指出了图象的类型。脚注“e”用于表示增强层，脚注“b”表示基层，数字脚注是顺序标记。例如，图象Be₄616是指所示的增强层中第4个B图象。P_D和P_T分别指不均衡预测的P图象和暂时预测的P图象。注意，按顺序示出的图象，是指图象按此顺序在位流中传输，它通常与显示顺序不同。

而且，箭头所指的增强层中的各个图象表示出用于图象的编码类型。实线箭头表示用箭尾处的图象作基准图象对所指图象编码。例如，B_e1604是用增强层中的I_e1602和基层中的B_b2654编码。虚线箭头表示选择编码方案。例如，图象608是图象P_T1时可用增强层中图象P_D1606编码，或图象608是图象P_D时可用基层中图象B_b3658编码。按本发明，可选择满足特殊准则的方案。该准应反映出最小化的预选误差，或要求的位配置或图象质量，例如，在任何情况下按本发明的速率控制方案均应考虑所选图象类型。

还应注意，当P图象类只有一个基准帧时，在平均处理中在两层中B图象有典型的从多帧预测的多个宏码组例如，B_e3612是从B_e2610和P_b1662预测的。基层中的预测模式是常规模式因此不画。

图6展示出的图象分布和预测模式结构中，增强层包括I图象I_e1602和I_e2606。因此，增强层的GOP包括602至624的12个图象。增强层的另一GOP在I_e2626开始，但没完全示出。基层的GOP包括图象I_b1656至B_b6666。基层的另一GOP在图象I_b2668开始，但没完全示出。注意，基层中的12个图象B_b1652至P_b674相当于增强层的GOP。该基层中12个图象的序列，在基层GOP的开始有两个I图象。按本发明，与这些基层I图象相当的增强层中的图象转换成用于编码的不同图象类型。具体地说，相当于基层中图象I_b1656的图象P_D1606已转换。同样，相当于基层中图象I_b2668的图象P_D2618也已转换。以前，按常规图象分布方案，图象P_D1606和P_D2618是B图象。另一实施例中，相当于基层中GOP图象开始的增强层图象能转换成I图象。按所公开的方式，B图象转换成P图象或I图象，当要求在基层和增强层中随机存取时，在编辑模式中有利。

因此，图6所示例中，在跨越图象I_e1602至B_e6624的增强层的GOP中，Nr₁＝1，Nr_DP＝2，Nr_TP＝3。而且，由于增强层(右)GOP中有12个图象，Nr＝12，在基层(左)GOP中有6个图象，N₂＝6，由于在基层中I或P图象之间有两个连续的B图象，M1＝3。

再看图4，在方框410确定增强层中当前图象类型。根据图象类型跟踪图4中4个不同分支中的1个。若当前图象是I图象，方框415确定虚拟缓冲器全值V_r2。若当前图象是P图象，在方框412确定P图象的类型。对不均衡预测的P图象而言，在方框435确定虚拟缓冲器的全值Vr_DP。对暂时预测的图象，在方框455确定虚拟的缓冲器全值。对B图象，在方框475确定虚拟缓冲器全值Vr_B。

之后，预处理在增强层中编码的当前图象，以确定“目标”位配置Tr，它是允许对下一图象编码的位数估计值。而且，在GOP或更新周期确定的全部帧数上进行位配置。而且，还必须知道有多少帧，它们的类型，包括GOP或更新周期。特别是，在方框420处新编码的帧是I图象时， $T_{r1}=\max \{\frac{\mathrm{Rr}}{N_{r1}+\frac{{{\mathrm{Nr}}_{\mathrm{DP}}}^{*}{\mathrm{Xr}}_{\mathrm{DP}}}{{K{r}_{\mathrm{DP}}}^{*}{\mathrm{Xr}}_1}+\frac{{{\mathrm{Nr}}_{\mathrm{TP}}}^{*}{\mathrm{Xr}}_{\mathrm{TP}}}{{{\mathrm{Kr}}_{\mathrm{TP}}}^{*}{\mathrm{Xr}}_1}+\frac{N{r_B}^{*}{\mathrm{Xr}}_B}{{{{\mathrm{Kr}}_B}^{*}}_{}{\mathrm{Xr}}_1}},{\mathrm{Tr}}_{\min }\}$ 对不均衡预测的P图象，在程序块440， ${\mathrm{Tr}}_{\mathrm{DP}}=\max \{\frac{\mathrm{Rr}}{{\mathrm{Nr}}_{\mathrm{Dp}}+{{\mathrm{Kr}}_{\mathrm{DP}}}^{*}\frac{{{\mathrm{Nr}}_1}^{*}{\mathrm{Xr}}_1}{{\mathrm{Xr}}_{\mathrm{DP}}}+{\mathrm{Kr}}_{\mathrm{DP}}\frac{{{\mathrm{Nr}}_{\mathrm{TP}}}^{*}{\mathrm{Xr}}_{\mathrm{TP}}}{{{\mathrm{Kr}}_{\mathrm{TP}}}^{*}{\mathrm{Xr}}_{\mathrm{DP}}}+{{\mathrm{Kr}}_{\mathrm{DP}}}^{*}\frac{{{\mathrm{Nr}}_B}^{*}{\mathrm{Xr}}_B}{{{\mathrm{Kr}}_B}^{*}{\mathrm{Xr}}_{\mathrm{DP}}}},{\mathrm{Tr}}_{\min }\}$ 对暂时预测的P图象，在程序块460， ${\mathrm{Tr}}_{\mathrm{DP}}=\max \{\frac{\mathrm{Rr}}{{\mathrm{Nr}}_{\mathrm{TP}}+{{\mathrm{Kr}}_{\mathrm{TP}}}^{*}\frac{{{\mathrm{Nr}}_1}^{*}{\mathrm{Xr}}_1}{{\mathrm{Xr}}_{\mathrm{TP}}}+{\mathrm{Kr}}_{\mathrm{DP}}\frac{{{\mathrm{Nr}}_{\mathrm{DP}}}^{*}{\mathrm{Xr}}_{\mathrm{DP}}}{{{\mathrm{Kr}}_{\mathrm{DP}}}^{*}{\mathrm{Xr}}_{\mathrm{TP}}}+{{\mathrm{Kr}}_{\mathrm{DP}}}^{*}\frac{{{\mathrm{Nr}}_B}^{*}{\mathrm{Xr}}_B}{{{\mathrm{Kr}}_B}^{*}{\mathrm{Xr}}_{\mathrm{DP}}}},{\mathrm{Tr}}_{\min }\}$ 对B图象，在程序块480， ${\mathrm{Tr}}_E=\max \{\frac{\mathrm{Rr}}{{\mathrm{Nr}}_b+{{\mathrm{Kr}}_B}^{*}\frac{{{\mathrm{Nr}}_1}^{*}{\mathrm{Xr}}_1}{{\mathrm{Xr}}_B}+{{\mathrm{Kr}}_B}^{*}\frac{{{\mathrm{Nr}}_{\mathrm{DP}}}^{*}{\mathrm{Xr}}_{\mathrm{DP}}}{{{\mathrm{Kr}}_{\mathrm{DP}}}^{*}{\mathrm{Xr}}_B}+{{\mathrm{Kr}}_B}^{*}\frac{{{\mathrm{Nr}}_{\mathrm{TP}}}^{*}{\mathrm{Xr}}_{\mathrm{TP}}}{{{\mathrm{Kr}}_{\mathrm{TP}}}^{*}{\mathrm{Xr}}_B}},{\mathrm{Tr}}_{\min }\}$

当当前帧编码为确定图象类型时，增强层中所需类型的剩余图象数能减1。因此，对I图象，在程序块425，Nr₁减1并存储。在程序块445，465和485分别相应的运算。

之后，按本发明，若当前图象是P_D图象，新的平均有效值avg-act”在程序块450确定。avg-act是指增强层中前帧的平均有效性，可在空间畴中用MPEG测试模式5系统确定，或在变换畴中用某些MPEG-2系统确定。在文献ISO/IECJTC1/SC29/WG11AVC-491.Versionl.标题为“Test Model 5，April，1993”中能找到测试模式5的更详细说明。在此引作参考。

通常，只根据基准帧的有效值确定待编码的帧的量化值。但是，若当前帧的有效值高于基准帧的有效值，会产生低的图像质量。对P_D图象而言，基准帧应位于基层(左)中，具有的平均有效值为avg-act-1。按本发明，对P_D图象，用前帧和基准帧的平均有效值的最大值。因此，新的平均有效值是，

avg-act”＝最大{avg-act，avg-act-1}。

另外，系统有帧缓冲器时，增强层中编码的帧的avg-act能预先计算并存储。即，对待编码的当前帧，能以当前图象自身算出平均有效值。

对I.PT和B图象，分别在程序块430，470和487的平均有效值是avg-act”＝avg-act。

在方框489，存储当前图象类型用户在前图象的后续处理中恢复。在490，确定要用线性或非线性量化。对线性量化而言，从宏程序块量化参数导出当前帧中按DC和AC两个刻度的量化系数用的初始量化步长，MOUANT在方框492确定为MOUANT＝最大{2，最小

}。如上述，Vr是虚.拟缓冲器全值，RPr是反应参数。对非线性量化刻度，在方框494。MOUANT＝最大{1.最小{非线性量化表

，112}}式中，“非线性量化表”是用Vr^*31/RPr的检查表的输出。

在方框496结束程序。

图5展示出按本发明的前图象的后续处理用的子程序。在方框505，恢复参数Rr，MBr，Sr，Tr，TQr和Vt，Rr是当前帧编码后增强层中GOP或更新周期的帧用的能够配置的位的剩余数。MBr是在帧中宏程序块的数。Sr是增强层中前图象中的位数，它不包括插入位，在数据流开始编码之前它先插入的空位。Tr是用于编码当前帧配置的位数，TQr是前图象间的MQUANT的累积。Vr是虚拟缓冲器全值。

在程序块510，计算平均量化参数Qr。如果下一图象是P_D图象，Qr_DP＝TQr_DP/MBr，否则，Qr＝TQr/MBr。

在程序块515，确定整个复杂性值Xr。若下一个图象是P_D图象，整体复杂性是Xr＝Sr_DP ^*Qr_DP。另外，Xr＝Sr^*Or。

在方框520，取前缓冲器全值更新的虚拟缓冲器全值Vr，在前图象中加位数，Sr并减去配置到当前图象的位数Tr。

在方框525，恢复前图象类型。若增强层中前图象是I图象，在方框535设定Xr_I和Vr_I并存储。并在方框555确定的前图象是P_D图象，在方框545设定Xr_DP和Vr_DP并存储。若前图象是在方框555确定的P_T图象，在方框560设定和存储Xr_DP和Vr_DP。若前图象是B图象，在方框570设定并存储Xr_B和Vr_P。

之后，如结合图4所示方框430，450，470和487所述，分别在方框540，550，565和575计算并存储关于图象I，P_D，和B的平均有效值。

之后，用减去增强层中前图象的位数Sr来更新为增强层中GOP或更新周期中的帧配置的剩余位数。

在方框585结束程序。

现在将说明宏块任务和每份(Slice)任务速率控制处理。MPEG2系统中，速率控制部分基于宏块电平和视频帧的每份电平。例如，用NTSC帧，视频帧可分成30份，每份有44个宏程序块。因此整个NTSC帧包括1320宏块。用PAL帧，有1584宏块。

就以宏块为基础的速率控制而言，假设Bm(j)表示当前图象中第j个宏块中的位数，j＝1至1320。Abm(j)是达到当前图象第j宏块的累积位数。MBr是图象中的宏块数。宏块虚拟缓冲器差d(j)由下式确定： $d\left(j\right)=\mathrm{Vr}+\mathrm{ABm}\left(j\right)-\frac{j^{*}\mathrm{Tr}}{\mathrm{MBr}}$ 第j个宏块的基准量化参数是 $Q\left(j\right)=\frac{{d\left(j\right)}^{*}31}{\mathrm{RPr}}$ 就片电平速率控制而言，Bs(j)是当前图象中第j份中的位数，j＝1至30。Abs(j)是达到当前图象中第j份的累积位数。NO-slice是图象中的份数。每份虚拟缓冲器差是ds(j)， $\mathrm{ds}\left(j\right)=\mathrm{Vr}+\mathrm{ABs}\left(j\right)-\frac{j^{*}\mathrm{Tr}}{\mathrm{No}-\mathrm{Slice}}$ 第j份的基准量化参数是 $\mathrm{Qs}\left(j\right)=\frac{{\mathrm{ds}\left(j\right)}^{*}31}{\mathrm{RPr}}$ 现在将说明适当的量化处理。首先，计算第j个宏块的有效性值act(j)。若当前图象是不均衡预测模式P图象，按下式计算出第j宏块的正常有效性值N-act(j). $N-\mathrm{act}\left(j\right)=\frac{2^{*}\mathrm{act}\left(j\right)+\mathrm{avg}-{\mathrm{act}}^{\′\′}}{\mathrm{act}\left(j\right)+2^{*}\mathrm{avg}-{\mathrm{act}}^{\′\′}}$ 对其它类型的P图象 $\left(j\right)=\frac{2^{*}\mathrm{act}\left(j\right)+\mathrm{avg}-\mathrm{act}}{\mathrm{act}\left(j\right)+2^{*}\mathrm{avg}-\mathrm{act}}$

用宏块电平速率检测，按下式计算第j宏块的量化步长；对线性Q刻度为：

MQUANT(j)＝最大{2，最小[Q(j)^*N-act(j)，62]}

对非线性量化刻度为，MQUANT(j)＝最大{1，最小{非线性量化表[Q(j)^*N-act(j)]，112}}式中，“非线性量化表”是用Q(j)^*N-act(j)的输入的检查表的输出。

用片电平速率检测Qs(j)代替Q(j)，所以，对线性Q刻度为：

MQUANT(j)＝最大{2，最小{QS(j)^*N-act(j)，62}}.

对线性量化刻度为MQUANT(j)＝最大{1，最小{非线性量化表[QS(j)^*N-act(j)]112]}.式中，“非线性量化表”是用Qs(j)^*N-act(j)的输入的检查表的输出。

而且，能看出，本发明提供的用于立体数字式视频通信系统的速率控制方案，根据无论是暂时预测帧(从同一层)或不均匀预测的帧(从目对层)改善增强层中P或B帧数据的量化程度。而且，根据增强层中的待编码帧的有效性值或基层中基准帧的有效性值，无论那个更大，而改善量化步长。而且，当基层中的基准帧是图象组(GOP)的第1帧时，将增强层帧编码为I或P帧，能改善编辑模式中的图象质量和防止帧凝滞。

尽管结合各种特殊实施例说了本发明，本行业的技术人员应该了解，不脱离本发明精神和范围的情况下还会有很多修改和改进，这些修改和改进均属本发明要求保护的范围。

Claims (22)

1、立体数字数据信号的增强层中视频数据的连续图象的编码方法，包括以下步骤：

提供所述图象组的当前图象编码用的基准图象，其中：

若所述基准图象设置在所述增强层中，用第1数目的位对所述当前图象的至少一部分编码；

若所述基准图象设置在所述主体信号的基层中，用与第1数目的位不同的第2数目的位对所述当前图象的一部分编码。

2、按权利要求1的方法，还包括步骤：

为所述图象组编码配置最初数目的位；和保持适合所述编码图象组中的每个图象的剩余位流动总数，其中，第1和第2数目的位的至少一个按所述流动总数修改。

3、按权利要求1或2的方法，其中，对于用于编码所述当前图象的所述部分的各第1和第2量化步长起决定作用的是所述第1和第2数目的位。

4、按前述任一权利要求的方法，其中，所述第1和第2数目的位与所述主体信号所需数据速率有关。

5、按前述任一权利要求的方法，其中，所述当前图象是不均衡预测的图象(PD图象)，还包括步骤：

相对于在所述增强层中有内编码图象(I图象)的情况，所述增强层中无内编码图象时，增大所述第1和第2数目的位中的一个。

6、按权利要求1至5之一的方法，其中所述基准图象设置于所述基层中，还包括步骤：

确定先于所述增强层中所述当前图象的图象的至少一部分的第1有效值；

确定所述基准图象的至少一部分的第2有效值；和

从所述第1和第2有效值中较大的值推导所述第1和第2位数中的一个。

7、按权利要求1至5之一的方法，其中，所述基准图象设置于所述基层中，还包括步骤：

确定先于所述增强层中所述当前图象的图象的至少一部分的第1活动电平；

确定所述基准图象的至少一部分的第2活动电平；和

从所述第1和第2活动电平的平均值导出所述第1和第2数目的位之一。

8、按权利要求1至5之一的方法，还包括步骤：

所述当前图象待编码时，预先计算并存储包括是编码前的当前图象的至少一部分的有效值的第1活动电平的值；

恢复所述当前图象编码中用的值；

确定是所述基准图象的至少一部分的活动电平的第2活动电平；和

用第1和第2活动电平中较大的值导出编码所述当前图象用的位数。

9、按权利要求1至5之一的方法，还包括步骤：

当所述当前图象待编码时，预先计算并存储包括是编码前的所述当前图象的至少一部分的活动电平的第1活动电平的值；

恢复所述当前图象编码中用的所述值：

确定是所述基准图象的至少一部分的活动电平的第2活动电平；和

用所述第1和第2活动电平导出所述当前图象编码中用的位数。

10、主体数字式数据信号的增强层中视频信号的连续图象编码方法，包括步骤：

确定所述增强层的所述图象编组；其中，

当所述增强层图象组的当前图象相当于主体信号中基层图象组(GOP)中的第1图象时，所述当前图象编码为内编码图象(I图象)和预测的编码图象(P图象)中的一个。

11、按权利要求10的方法，其中，所述增强层中所述图象组的第1图象与所述基层的所述基准图象暂时偏移。

12、主体数字式数据信号的增强层中视频数据的连续图象用的编码装置，包括：

用于给所述图象组的当前图象编码的基准图象供给装置，其中，

所述基准图象设置于所述增强层中时，用第1数目的位给所述当前图象的至少一部分编码；

所述基准图象设置在所述主体信号的基层中时，用不同于第1数目的位的第2数目的位给所述当前图象的至少一部分编码。

13、按权利要求12的装置，包括：

用于给所述图象组编码配置初始位数的装置；和

保持适合于所述编码图象组中每个图象的剩余位流动总数的装置；其中，按所数流动总数改进所述第1和第2数目的位的至少一个。

14、按权利要求12至13之一的装置，还包括：

按用于编码所述当前图象的一部分的第1和第2数目的位，确定各第1和第2量化步长的装置。

15、按权利要求14至15之一的装置，其中，第1和第2数目的位与所述主体信号的要求数据速率相关。

16、按权利要求14至15之一的装置，其中，当前图象是不均衡预测图象(PD图象)，包括：

相对于所述增强层中有帧内编码图象(I-图象)的情况，当所述增强层中无帧内编码图象(I-图象)时，用于增大所述第1数目的位和第2数目的位之一的装置。

17、按权利要求12至16之一的装置，其中，所述基准图象设置于所述基层中，包括：

确定先于所述增强层中所述当前图象的图象的至少一部分的第1活动电平用的装置；

确定所述基准图象至少一部分的第2活动电平用的装置；和

从所述第1和第2活动电平之较大值导出所述第1和第2数目的位之一用的装置。

18、按权利要求12至16之一的装置，其中，所述基准图象设置于所述基层中，包括：

确定先于所述增强层中所述当前图象的图象的至少一部分的第1活动电平用的装置；

确定所述基准图象的至少一部分的第2活动电平用的装置；和

从所述第1和第2活动电平的平均值导出所述第1和第2数目的位之一用的装置。

19、按权利要求12至16之一的装置，包括：

当所述当前图象待编码时，预先计算并存储包括是编码前的当前图象至少一部分的活动电平的第1活动电平的值用的装置；

恢复所述当前图象编码中用的值用的装置；

确定是所述基准图象的至少一部分的活动电平的第2活动电平用的装置；和

用所述第1和第2活动电平中较大的值导出所述当前图象编码用的位数用的装置。

20、按权利要求12至16之一的装置，包括：

当所述当前图象待编码时，预先计算并存储包括是编码前的当前图象至少一部分的活动电平的第1活动电平的值用的装置；

恢复所述当前图象编码中用的所述值用的装置；

确定是所述基准图象的至少一部分的活动电平的第2活动电平用的装置；和

用所述第1和第2活动电平的平均值导出所述当前图象编码用的位数用的装置。

21、立体数字式数据信号的增强层中视频信号的连续图象用的编码装置；包括：

确定所述增强层的所述图象编组用的装置；其中，当所述图象组中的当前图象相当于所述立体信号的所述基层中的图象组(GOP)的第1图象时，所述当前图象编码为内编码图象(I-图象)和预测的编码图象(P图象)之一。

22、按权利要求21的装置，其中：所述增强层中所述图象组的第1图象与所述基层的基准图象暂时偏移。

Images