CN1109247A - 立体视频信号的编码方法和装置 - Google Patents

Abstract

压缩立体视频信号的方法和装置。该系统中一 对同步摄象机(10、11)提供左、右立体视频图象信 号。压缩装置(12—19)按照平面场信号压缩协议压 缩左视频信号。而压缩装置(23—28)按照相对于左 视频图象信号的图象，至少局部进行预测的预测方法 来压缩右视频图象。经压缩的左和右图象信号经 (20，29)调整供发射。压缩的左图象信号可由标准 接收机接收，以重现左(平面场)图象，而压缩的左和 右信号可由增强型接收机接收，以重现立体图象。

Description

本发明涉及用于重现立体图象的经压缩的视频信号的产生，发射和接收。

集成电路技术和视频信号压缩方法的发展使得立体视频信号的发射和接收在经济上趋于实用。名义上，为了重现真正的立体图象需要一对左和右的图象。右和左图象由    相隔一个小水平距离，例如为人眼间隔的平均距离的两个分隔的摄象机产生的。由于右和左图象是相对互不相同的，故为发射立体图象所需要的频带宽度似乎是为发射正常的平面场图象所需频带宽度的二倍。为发射立体信号需要正常频带宽度的二个频道或二倍带宽的频道，这在经济上和一定程度在技术上是无法接受的。

本发明是这样一种方法和装置即用于产生和传输立体视频信号，而不明显增加发射的带宽，只有相对于单频道的平面场视频系统标称的额外编码和解码装置。正如此处用到的“平面场视频”一词意思就是指标准的非立体的视频信号。

左和右立体视频图象信号由例如一对同步的摄象机产生的。左视频图象信号加在压缩装置上，该装置按照例如MPEG（国际标准化组织移动图象专家小组）的移动图象压缩协议的平面场信号压缩协议压缩左视频信号。右视频图象信号也加在压缩装置上，该装置按照至少部分地相对于左视频图象信号的图象作出预测的预测处理来压缩右视频图象。经压缩的左和右图象信号经调整供发射。压缩后的左图象信号可以由标准接收机接收，以重现左（平面场）图象，而压缩后的左和右图象信号可由增强型接收机接收，以重现立体图象。

图1是在说明本发明中使用的视频信号预先压缩处理的图解示意图;

图2、图3和4是实施本发明的可供选择的视频信号压缩处理的图解示意图;

图5和7是实施本发明的立体视频信号压缩装置的示意图;

图6是实施本发明的立体视频信号去压（decompression）装置的示意图。

假如，利用运动补偿预压缩，立体视频图象可运用对一对立体视频信号进行编码所需要的最少附加代码字，加以压缩。人们认识到立体图象信号由位置相互紧靠的两个独立的摄象机摄取的右和左图象信号组成。与各个摄象机相距较远的所有成象物体在两个摄象机（假定使用配套的摄象机）中在尺寸，颜色和位置等方面显得基本一致的。较近的物体在两个摄象机中显得具有不同水平位置和由于各种较近的成象物体的相对距离，在两个摄象机中可能实现不同的遮盖。然而，一般地说由两个摄象机同时扫描的图象将包含基本相似的信息。

在MPEG协议中所介绍的这种类型的运动补偿预测编码将各个图象分为若干小区域，在相邻图象中进行搜索，以确定相邻图象中完全相同或几乎相同的区域位置。在相邻图象中这些区域的位置和现行图象中区域和相邻图象中对应的相同或几乎相同区域之间的差异被编码以供发射。注意假如对应区域实际上是完全相同的，所有差别为零，那末一个区域可以仅仅用识别对应区域位置的矢量和指示所有差别为零的代码加以编码。这样，经压缩的相同或几乎相同的图象可以用较少的代码字加以认识。由于立体图象对属于这类相同或几乎相同的图象，左和右图象信号中的一个信号可以用较少的代码字加以压缩。

参阅图1，该图示出对应于立体视频信号的左和右图象信号分量的两组图象（视频帧）序列。假定图象“对”被同时摄取，使在垂直方向上相邻图象帧之间居中的图象物体运动为不可能。左或上帧序列的压缩与右或下帧序列无关。相反，下或右帧序列与左序列有依赖关系地被预先压缩。如图所示，各个右帧面按照正好上面的左帧和左边一个左帧加以预测编码。

也就是说，例如右场RF2的压缩模型可以从左帧LF1或左帧LF2或两帧按MPEG协议被预测。类似地右帧RF3的压缩模型可以从左帧LF2或左帧LF3或两帧被预测。

参阅图2，图示若干个垂直长方形，每个表示一个视频帧。上面一行帧表示立体视频信号的左图象序列，下面序列表示立体视频信号的右图象。左信号在各帧的上方有I，P，B的符号，这些符号表示在按照MPEG协议压缩那帧时所使用的压缩处理方法。符号为I的帧编码为内帧。在MPEG系统中内帧编码包括将该帧从空间上分为许多小区域，然后对表示这些区域的信号进行离散余弦变换，数字化，运行长度（run-length）和统计编码。符号为P的帧或者从I帧或者从P帧预测编码。例如P帧L4是从I帧L1预测编码，和P帧L7从P帧L4预测编码。注意，具有从其发出箭头的帧是现行正被预测编码的帧，而具有箭头在其上终止的帧可能是从该帧进行预测的帧。符号为B的帧从B帧被夹在其中的I和/或P帧双向预测的。注意在左序列中没有任何帧从B帧预测。图2所示的左图象的帧内/帧间编码序列是其中一个可能的MPEG压缩序列。

在压缩右图象的第一实施例中，所有右图象从正好现行的左图象或正好前面一个左图象或两者预测的。该预测过程类似于B帧编码处理，不同之处在于一个信号的帧预测依赖于第二信号帧，和一个信号的所有帧用作编码第二信号的预测基础。这不同于正常B帧编码，因为B帧通常不被用作预测的基底（基础）。从右图象发出的和终止于各个左图象的箭头表示右帧的预测依赖性。例如右帧R14从左帧L4或L3预测，和右帧R15从左帧L5或L4预测等依此类推，概念上假如如虚线箭头所示，预测不仅从垂直方向上相邻或前一个左帧，而且从随后的左帧均可获得，那末可以获得更精确的预测。然而这更多的预测使压缩硬件复杂化，因为为了构造该系统需要多得多的存储器。

图3示出第二实施例，其中右图象仅仅是从垂直方向相邻的（同时发生的）左图象预测的。这种预测处理类似于P帧预测，不同之处在于基底帧和待预测帧发生在不同图象信号中。名义上为了产生经压缩的预测信号，一帧预测依赖性需要少得多的计算。然而，所付出的代价是压缩信号中的数据（代码字）。具有较少预测的选择方案转化为在预测帧和基底帧之间更少的相同的对应区域，从而更多的非零余项和因而更多的数据。

图4表示产生DP′压缩帧的标为双p预测压缩的另一实施例。右图象是从垂直相邻左帧的类P型预测和正好前一个右帧的类P型预测的预测组合。对每一预测产生运动矢量和编码。各次预测经平均，经平均后的预测产生压缩数据。

对于涉及从垂直相邻的左帧或图象预测右帧或图象的图3实施例和图2和4实施例中的那些部分，预测计算可以被限制在水平设置的搜索容器。垂直相邻左图象与对应的右图象同时被获取，因此在它们之间不可能有相对的图象目标运动。在右和左图象之间任何明显区别仅仅在于水平尺寸，因为两个摄象机在同一水平面内。因此仅仅需要搜索垂直相邻图象的目标区域或方块的水平位移。

图5表示适用于实现如上所概括的立体图象的压缩的典型压缩装置。右和左图象信号由物理上和电气上组成一套的右（11）和左（10）摄象机提供的。即，两摄象机以很小的水平距离，被相隔固定并在电气上同步。由摄象机产生的视频信号加在各个预处理器PP，预处理器调整各个信号供压缩。例如预处理器可以将依次的视频场组合为帧和将帧重新安排为适于以存储器有效方式压缩/扩展的序列。请阅（例如）美国专利5122875。左图象信号被加至众所皆知的包括相容元件12至21的运动补偿预测压缩器结构。包括元件12至21的压缩器例如按照在图2关于左图象信号所示的例如I、P和B帧压缩序列执行帧内和帧间压缩并按美国专利5122875介绍的方式动作。这种类型的压缩器的详细说明不在此文介绍。一般，I帧象素数据未受变化地经过减法器12至编码器15。编码器15对象素数据（在8×8象素方块中）进行离散余弦变换DCT，以产生DCT系数。该系数被量化以控制数据率，和被以预定的序列定序，这往往要汇集大多数零值系数，供有效运行长度编码用。然后编码器运行长度和用统计法编码该系数。经编码的象素表示加在格式器19上的数据，格式器19按照所选择的压缩协议，例如MPEG2，附上指示各方块在帧内的源位置，编码类型（I、P、B），帧数，时间标记等的信息。数据从格式器加至传送处理器20，传送处理器20将格式化数据分段为特定位数的有效负载包，产生跟踪各有效负载的标记符，产生同步信息和产生错误纠正/检测代码，并将所有这几项附在各有效负载包上构成传送包。传送包被加至合适的调制解调器，以供发送。由传送处理器20提供的传送包与标准单一频道或平面场压缩视频信号是一致的，并包括为重现左图象信号所必须的所有数据。

从编码器15来的I压缩帧被加至执行与编码器25相反功能的解码器16。对于I压缩帧，解码器16的输出是重现的I帧信号。去压的I帧未受变化地经过加法器18送至缓冲存储器17，它被存储在存储器内，供继后的P和B帧的预测压缩用。P和B帧的预测编码是类似的，将要讨论P帧压缩。左图象帧加在运动估算器14上，它将现行正被压缩的帧划分为（例如）16×16象素的方块。然后估算器14搜索前一I或P帧中类似的16×16象素块，和计算表示现行帧中方块和在被搜索帧中最接近相同的方块的空间座标上的相对不同的一组矢量。利用这矢量，在缓冲存储器17中的对应去压帧的相应块被送入减法器12，减法器12按照象素对应象素的基础，从现行正被去压帧的对应方块减去来自存储器17的预测方块。由减法器提供的差或余数被送入编码器15，在其中它们受到类似于I帧象素数据的处理。由估算器14产生的矢量被送入格式器19，在那里它们作为与各方块有关的编码数据的一部分被包含其中。

压缩的P帧在解码器16中被解码并送入加法器18。被用之于预测帧的图象帧的各方块同时由预测器13从缓冲存储器取出，并送入加法器18的第二个输入端，在那里解码的余数或差值按象素对应象素的基础被加，以恢复为实际图象。从加法器18输出的恢复后的P帧数据存储在缓冲存储器17中，以便对继后的P和B帧进行预测编码/解码。

包含依次去压帧的缓冲存储器17名义上只需要足够的尺寸以存储二个视频帧，即一个P帧和一个I帧或另一个P帧。这是因为在图2为左图象举例说明的类型的通常处理中，所有帧是从I和P帧预测的。因此不需要在压缩硬件中去压或存储B帧。在现行系统中，右帧是从所有帧I，P或B中预测的这就必须去压缩和存储B帧以及I帧和P帧。B帧不必须存储在左图象压缩器的缓冲存储器17中，但可以存储在右图象压缩器的缓冲存储器27中。

实际的存储器配置将取决于为特定系统所选择的设备技术以及与系统速度要求有关的其他因素。假如存储器足够快，存储器17和27可以被合并成一个存储器，而由右和左两个预测电路24和13存取。

由各自预处理器处理的右图象信号被连到运动估算器23和减法器25。左图象信号也被连到运动估算器23。右和左帧在各预处理器中是如此同步的，以使各右帧和左帧按图2-4所示暂时相关。由加法器18提供的经预测去压的左图象I，P和B帧按序加在并被存储在缓冲存储器27中。运动估算器23将各右帧划分为象素值的空间方块，并搜索相应的左图象帧或最接近相同的象素值方块的几帧。估算器计算关联现行右图象帧象素方块至最接近相同左图象帧象素方块的矢量，并将矢量送入运动补偿预测器24。预测器对各矢量作出响应，从缓冲存储器27取出对应的去压（缩）的左图象帧象素方块，并将数据送至减法器25。正被处理的现行右图象帧象素方块同时送至减法器25，该减法器在逐个象素的基础上产生余数。

余数被加至编码器26，执行与编码器15相同的编码功能。从编码器26来的经处理的数据以及从估算器23来的相应矢量被加至格式器28。格式器28与格式器19相同，执行相同的功能。经格式化的压缩右图象数据由传送处理器29分包为传送包，并被送入调制解调器，以供发射。

由或者格式器28或者传送处理器29提供的压缩后右图象数据独立于左图象数据不能被扩展。

图5表示从各传送处理器来的压缩右和左图象数据被送至各速率缓冲器21，30然后再送至调制解调器22。调制解调器22多路传输右和左压缩后信号和将多路传输数据加在所需发射介质上。多路传输可以或者是时分多路类型或者频分多路类型。在任一情况下两种信号均在同一频道上传输。另一方面，假如需要，右和左压缩图象信号可以在独立的通道上，例如二个不同的电缆通道或卫星信道上发射。

可供选择的结构可以只包含单个传送处理器，其中右和左两个图象数据信号被分包为互斥传送包。名个传送包用指示右或左图象状态的标识符编码。本例中右和左图象传送包被自动地按时分多路传输。

图6表示用于重现发射的压缩立体图象信号的接收机的例子。一般说，典型的接收机装置被安排为功能上正与图5编码装置相反。注意，图6中调制解调器50将信号提供给独立的左和右图象信号传送处理器。实际上最可能的数据传输形式是时分多路传输右和左图象信号传送包。单个传送处理器将实现a）分离右和左图象信号包和b）打开各信号包。

在该图中，发射信号由调制解调器50检测，调制解调器50分离基带右和左压缩图象信号，并将它们分别提供给相反传送处理器70和60。相反传送处理器从各传送包中取出各信号有效负载，并将有效负载向前送至各个速率缓冲器71和61。相反传送处理器在前送有效负载数据之前还进行错误核对和例如在美国专利5168356中所介绍的那类其他内务处理任务。从各传送包来的信号标识符供给系统控制器53。控制器53对这些信号标识符作出响应，保持全球系统同步，以确保对应的右和左图象信号瞬时对准地经过接收系统。这可通过（例如）对相反传送处理器或各速率缓冲器的适当控制来实现。各右和左图象信号分别加在反格式器72，62上，反格式器分离象素代表数据，矢量，和控制数据。右和左矢量加在各运动补偿预测器75和65上，象素数据加在各自的加法器74和64上，和控制数据加在系统控制器53上，以协调去压缩。

左图象象素数据加在解码器63上，该解码器63与图5的解码器16相同，或者将象素DCT系数（I帧）或者将象素余数DCT系数（P和B帧）供至加法器64。运动补偿预测器65或者将零值（I帧）或者将预测值（P和B帧）送至加法器64的第二输入端。加法器64在总线67上提供去压缩的左图象信号。当依次的I和P帧从加法器64输出后，它们被存储在缓冲存储器66，据此预测器65对相应矢量作出响应产生预测值。元件60-66一般与单频道MPEG类型去压装置相一致。

右图象象素代表数据从反格式器72加到解码器73上。解码器73与解码器63相同，向加法器74提供象素余数DCT系数。对应的预测象素值通过预测器75加在加法器74的第二输入端。加法器74提供去压缩的右图象视频信号。

矢量从反格式器72加在预测器75上。这些矢量使正被处理的现行右图象帧的余数方块与部分产生余数的左图象帧的象素方块发生联系。这些象素方块驻留在缓冲存储器76中，与去压缩的左图象帧相对应。当各I、P和B去压缩帧在加法器64的输出端产生时，它们被依次存入缓冲存储器76中，供产生预测右图象值之用。

图7表示图5电路的一种改型，使其能执行图4所示压缩处理。由于图4处理包括依赖于右图象帧的右图象帧的预测编码，故右处理通道必须包括一个完整的压缩器。这样，右图象压缩电路必须增添加法器118和解码器116。解码器116在结构和功能上与解码器16相同。

Claims (6)

1、一种用于压缩立体视频信号的方法，其特征在于包括以下步骤：

提供左视频图象信号和右视频图象信号；

依照至少部分地预测压缩处理，压缩所述左和右视频图象信号中一个信号，而与另一个信号无关；

依照仅仅预测压缩处理，压缩所述左和右视频图象信号中另一个信号，其中所述左和右视频图象信号中所述另一个信号的预测依赖于所述左和右视频图象信号中的所述一个信号；和

调整经压缩的所述左和右图象信号，以供发射。

2、依据权利要求1规定的方法，其特征在于：

所述左和右视频图象信号中的所述另一个信号是依照只依赖于所述右和左视频图象信号中所述一个信号的预测压缩处理进行压缩的。

3、依照权利要求1规定的方法，其特征在于：

所述左和右视频图象信号中所述另一个信号是依照依赖于所述右和左视频图象信号中两者的预测压缩处理进行压缩的。

4、依照权利要求1所规定的方法，其特征在于：

所述左和右视频图象信号中所述另一个信号的各帧是依照依赖于所述左和右视频图象信号中另一个信号的同时获取的各帧的预测压缩处理进行压缩的。

5、依照权利要求1所规定的方法，其特征在于：

所述左和右视频图象信号中所述另一个信号的各帧是依照依赖于所述左和右视频图象信号中所述另一个信号的同时获取和正好前面的各帧的预测压缩处理进行压缩的。

6、用于接收包括压缩的左和右图象分量的压缩的立体视频图象信号的装置，其中左图象分量的各帧是与所述右图象分量无关不是帧内（intraframe）被压缩就是帧间（interframe）被压缩，而所述右图象分量的各帧是根据所述左图象分量而帧间被压缩的，所述装置的特征在于：

检测器（50），用于检测所述压缩的立体视频图象信号和提供压缩的所述左和右图象分量;

帧间/帧内去压装置（60-66），对所述压缩的左图象分量作出响应，以重现非压缩的左图象信号;和

帧间去压装置（70-76），对所述压缩的右图象分量和所述非压缩的左图象信号作出反应，以重现非压缩的右图象信号。

Images