CN1144590A - 视频信号编码 - Google Patents

Abstract

一种对表示运动图象的视频信号进行编码的方法，此方法包括产生表示第一视频信号帧序列的第一组数字信号和表示另一视频信号帧序列的至少另一组数字信号，此另一序列为视频信号帧m+n，m+2n，m+3n，m+4n……，其中n为非0或1的整数。此每一另外的帧序列可以是第一序列的子集。一种交互式视频系统可访问和传送一组应用户请求的数字信号而不必对之作进一步数字信号处理。

Description

视频信号编码

本发明是关于视频信号的编码，特别是关于为存贮并随即发送而进行的视频信号编码。

广播性质的电视信号需要大约6MHz的模拟频宽或者具有通过对模拟信号顺序采样以生成PCM数字信号所获得的数字格式、大于100Mbit/S的信息。这样高的比特率信号发送是很昂贵的和/或经由有限带宽的系统发送也是不现实的。因此希望降低所需的信息量。这可利用相邻图象元素(象素)间的相关性并由此兼顾信息减少和图象质量来实现。

冗余缩减技术假定相邻象素间在空间或时间上具有某种相关性。例如，在一相对均匀的景区(例如一房间的墙壁)中，这一景区内相邻象素的象素值多半相当接近。类似地，在一相当静止的景象中，一帧的象素将与前一帧的对等象素相当一致。

因此单帧的象素能就它们相互间的关系(帧内编码)和/或就它们与相邻帧间的关系(帧间编码)来进行编码。帧内编码的帧(画面内)可清晰加以解码无需参照任何其他的帧，而帧间编码的帧(帧间的)则需要有关用于预测的帧的信息。还可采用差分编码技术来压缩视频信号。因帧间差分编码可能由于传送误差而导致某些信息无法弥补的失真，所以如果仅只采用帧间差分编码的话解码图象中会产生假象。因而将帧内和帧间编码技术相结合应用是有利的，在画面内恢复解码信号的完整性。

也可利用其它的压缩技术，例如变换编码法，它通过求得另一组系数来设法利用一帧内的象素值间的关系，其中许多系数的值将相对很小。因而这些系数可加以粗略地量化或完全省略。这样一帧的变换系数就能以较少的信息进行编码。变换编码的一种通用形式是采用离散余弦变换(DCT)。

另一种形式的帧间压缩编码是涉及识别连续帧中呈现出一致性的区域的运动补偿编码法。对每个识别出参照帧中的对应区的区域计算出一运动向量，然后由此参照帧和运动向量形成一个预测帧。接着计算预测帧和实际帧之间的误差，并连同运动向量一起被编码。与不作运动补偿的二帧编码相比这就可能使传送的信息较少。

视频信号压缩是众多标准化工作的主题。这种标准之一是ISO-IEC11172标准“用于最高达1.5Mbit/s数字存贮媒体的运动图象和声音的编码”，代号为MPEG-1，它涉及将视频信号和相应的音频信号存贮到数字存储媒体诸如CD-ROM、数字音频磁带(DAT)、磁带驱动器、可写入光盘驱动器，或通过远程通信信道如综合业务数字网(ISDN)和局域网来传送。这样的编码技术对于通过有限带宽系统提供视听服务是很有吸引力的。

访问和检索存贮的视频信号所需的时间会阻碍交互式视频服务的提供，在这种提供中用户从可用的服务范围里选择一项特定服务。如果所存贮的视频信号在其能被输出到显示装置之前需要进一步处理的话此访问时间会大大地增加。

这类服务的最近发展是提供家庭娱乐和购物服务，在其中用户从所提供范围里选择一项服务，而相关的视频信号即由服务中心传送到用户地。例如在视频实时应答环境中，用户以远程盒式录象放象机的方式来利用视频服务中心。因而用户期望有与他们自己的盒式录象放象机相同的功能，例如放象、暂停、停止、快速前进和倒带的功能。

各种不同的处理器可用来提供这些功能。当一用户要求放象时，存放在远地服务中心的经过编码的视频信号被传送给此用户。用户地的本地解码器对输入的信号进行解码产生电视机上的视频图象。在暂停模式中，暂停信号被送往服务中心，后者作出响应此发送信号给用户的解码器指示该帧不改变。

但在选择快速前进或倒带时，被编码的信号必须由视频服务中心再次加以处理。当一用户要求快速前进时，给服务中心发送一信号，然后服务中心即发送已编码信号的每个，比如说，第四帧。如果此视频信号为未经压缩的格式，服务中心须定位视频信号中的每个第四帧的起点并将其传送给用户。这时处理机和时间都是非常紧张的，并有可能产生用户无法接收的延迟。

同样，如果已采用了压缩编码技术，图象的第五帧可能对照第四帧进行了编码。如果在快速前进模式中仅需传送第一、第五、第九帧等，每一被发送的帧必须相对于前面被发送的帧被加以记录。这在处理机和时间上是非常紧张的。对于采用帧内编码技术编码的视频信号，大家都知道快速前进模式是通过从已编码的视频信号中提取帧内编码的帧(图象内)并将这些帧按其原先顺序传送来实现的。同样地在快速倒带模式中它们也能以相反的顺序发送。在日本专利申请公开号NO.3-66272和3-85974中对这样的系统示例有介绍。但是，在接收到一快速前进请求信号后，服务中心不仅要为帧内图象搜寻编码信号，而且所得信号的比特率与放象模式相比增加了，这是由于帧内图象压缩相对很小。因此用户地的解码器就必须能应付比特率中的过度变化。

按照本发明的一种对表示运动图象的视频信号进行编码的方法，此方法包括生成表示该视频信号第一帧序列的第一组数字信号和表示该视频信号另一帧序列的至少另外一组数字信号，此另一序列为视频信号的m＋n、m＋2n、m＋3n、m＋4n…帧，n为不等于0或1的整数。

这样就可以生成表示放象、倒带、快速前进和快速倒带的数字信号组的任意组合。将会看到，所生成的数字信号序列较之表示放象模式的单个序列将会有更多的存贮需求。但经过编码的数据序列可以不经任何进一步处理就可放象。最好这些序列采用同样的编码技术进行编码，以使得序列的平均比特率相同。因而用于对这些序列解码的解码器就可以比已知的解码器简化，因为解码器不必包括用于处理比特率过度变化的装置。

这些序列可采用任何合适的编码技术生成，例如PCM或压缩编码。可以采用帧内、帧间、差分、DCT和运动补偿技术的组合。最好利用一种符合ISO11172或CCITT推荐的H.261的技术。

这些序列最好代表一种放象模式和倒向放象模式、快速前进模式或快速倒带模式的任意组合，在后面两种情况下的另一组帧为放象或倒带模式的帧的子集。可提供任何合适数量的放象模式，例如可将二快速前进模式编码，一个以正常放象模式的三倍速度，另一个以放象模式的六倍速度。

本发明还提供一种数据载体，其上记录有第一组数字信号和第二组数字信号，前者是编码表示的第一视频信号帧序列，后者是编码表示的第二不同帧序列，所述第二序列的每一帧与第一序列中的某一帧相同，并且第二序列的每一帧(除最后一帧外)后面跟随除在第一序列中紧随其后的那一帧之外的某一帧。

最好在第一序列中，各帧K后跟随帧K＋1，而在第二序列中各帧m后跟随帧m＋n，这里n是一非0或1的正或负整数。

这个或每个另外的帧序列可以是第一序列的一个子集。此子集可代表快速前放模式和/或快速倒放模式。

这些数字信号组最好这样编码，使得它们能以相同解码方法进行译码。

数据载体可以采用任何合适的形式，例如CD-ROM，DAT、磁带驱动器或可写光盘驱动器。典型的以六倍放象速度运行的快速前进或快速倒向序列，较之仅对应于放象模式的序列所需的存贮容量将需要16％的额外存贮容量。

按照本发明还提供一种视频放象设备，包括在记录媒体上的第一顺序文件和第二顺序文件之间进行转换的转换装置，用于记录正放象的顺序文件上的当前位置的位置计数器，和按照此位置计数器及该记录媒体上存放的信息确定另一顺序文件上对应位置的装置。

最好，此确定装置按存放在该记录媒体上有关顺序文件的长度的信息，计算以文件中当前的位置所表示的正在放象的所述文件的长度比例，并计算对应于另一文件的同样的长度比例的所述另一文件中的位置。这样，如果正放象的文件代表一运动图象的放象模式并且当前的位置为整个顺序文件的25％的话，则在代表快速前进模式的第二顺序文件中的对应位置即为整个第二文件的25％。

同样，如果第一文件代表一运动图象的放象模式和第二文件代表倒带模式，就可通过计算正放象文件的剩余长度比例和计算对应于正放象文件的剩余比例的所述另一文件中的位置来确定倒带模式中的对应位置。由此，如果放象器处于整个第一文件路程的75％处的话，其对应位置即为整个第二文件的25％处。

此视频重放设备可用于一交互式视频系统中，其中记录媒体响应来自远地用户的信号而被访问并输出相关的序列为该用户地的解码器所接收。

按照本发明的另一个方面，一种视频编码器包括：用于选择视频信号帧的前置处理器；用于生成表示第一帧视频信号序列的第一组数字信号和表示另一帧视频信号序列m、m＋n、m＋2n、m＋3n…，(n为非0或1的整数)的至少另一组数字信号的编码装置；以及用于将这些序列写到数据载体上的装置。

这个或每个另外的帧序列可以是第一序列的子集，代表视频信号的快速前进或快速倒向放象模式。最好此第一组数字信号表示视频信号的每一帧。

最好此编码装置包含帧间差分编码装置。

现在仅参照附图以示例来对本发明作进一步说明。

所列附图为：

图1表示按照本发明的编码器；

图2为表示由图1的编码器所产生的编码序列的示意图；及

图3表示按照本发明的交互式视频系统。

图1所示的编码器2按照MPEG-1标准对数字视频信号进行编码。这一标准是关于比特率为1.5Mbit/s的视频的编码。MPEG-1标准的特点在于图象内和预测图象，它们可参照一前置图象内或前置预测图象进行编码。此MPEG-1标准还有内插图象的特点，它们可参照一过去的和/或将来的图象内或预测图象进行编码。

图1的编码器用来生成代表输入视频信号的三种放象模式的编码序列：放象，快进和快倒。为生成n倍正常放象速度的快速前进或快速倒带序列，对输入视频信号的每个第n帧进行编码。因此为正常放象速度三倍的快速前进速度就相当于在第一帧之后对每个第三帧加以编码，而同样地，快速倒带速度则对应于以快速倒带顺序对每个第三帧加以编码。

数字视频信号(表示一运动图象)输入到前置处理器3，在此选择欲进行编码的视频信号帧。在欲生成放象序列时，此前置处理器不必整理输入信号，所以这些信号帧直接穿过进入当前帧存贮器4。当欲生成除放象或倒带序列外的序列时，此前置处理器必须选择欲编码的帧。例如，为生成代表三倍正常放象模式的快速前放模式的序列，此前置处理器3第一帧和此后的每个第三帧输出给当前帧存储器4。同样，当欲对快速倒带模式进行编码时，此前置处理器在倒向放象时从输入视频信号中选择相关的帧。

由前置处理器3选择的帧逐帧地输入到存放单个视频信号输入帧的当前帧存储器4。第一视频信号输入帧K按图象内加以编码因而成为减法器5的唯一输入。减法器5的输出输入给DCT变换器6，它将此输入数据变换成随后由量化器8进行量化的DCT系数。然后数据传送到对量化器输出的数据进行编码的可变长编码器(VLC)10。然后，将对第一帧K所得的编码数据存贮到记录媒体12中。量化器8输出的数据也传送到反量化器18和反DCT20以再现输入信号的当前帧。这一帧存放在先期帧存储器22中。第二帧存储器24存放随后的帧，它将连同存放在前期帧存贮器22的帧可利用双向编码技术来用于编码，如在MPEG-1标准中所要求的。随后的输入信号帧利用前向预测，双向预测和帧内技术进行编码。

为生成放象序列，对输入到前置处理器的每个的帧K、K＋1、K＋2……进行编码。为此目的，如上所述将反DCT20的输出存贮进先期帧存贮器22。一旦第二帧K＋1输入到当前存贮器4，先期帧存贮器22和当前帧存贮器4的内容输入到为当前帧K＋1计算运动向量的运动估算器26。此运动向量连同先期帧存贮器22的内容一齐输入到运动补偿预测器28以产生当前帧预测。该预测帧由减法器5从实际输入信号的当前帧中相减，所得差分信号由DCT6和量化器8进行处理。然后如上述，由VLC10对信号进行编码，此VLC10还将已编码的差分信号乘以运动向量、量化参数和以后解码中所需的相互间/内部的分类值。然后将这一编码数据存到记录媒体12。

这种对输入视频信号的处理逐帧地进行直到整个视频信号被编码为止。从而记录媒体12将包含代表视频信号的放象模式的编码数据序列。

为生成三倍正常放象速度的快速前进序列，在第一帧m之后视频信号的每个第三帧m＋3、m＋6、m＋9……被编码。当视频信号第四帧从前置处理器3输入到当前帧存贮器4时，按先期帧存贮器22(即第一帧m)和运动估算器26的内容计算得的预测帧由减法器5从存放在当前帧存贮器4中存放的实际第四帧m＋3中相减。然后这样所生成的差分信号由DCT6、量化器8和VLC10进行处理并存贮到记录媒体12。这种编码如图2中示意说明的那样对每个第三帧m＋6、m＋9……继续进行，忽略掉中间的各帧。

同样，为生成快速倒带序列，对反向视频信号的每个第三帧进行编码。这样，对在一视频信号的未端的第一帧m，帧m－3、m－6，m－9……加以编码。这种经编码的序列也被存贮在记录媒体12上。

这样就互相独立地生成了三个编码数据序列：一个代表放象模式，一个代表快速前进模还有一个代表快速倒带模式。由于这些序列是采用相同编码技术加以编码的所以所有这些序列都具有恒定的平均比特率。

图3表示用于提供交互式服务的系统，例如视频实时应答系统服务中心30，例如一主计算机，经由远程通信链路34连接到位于在用户地的远程解码器32。服务中心30接收来自用户的信号并访问存贮有如上述那样产生的编码数据文件的记录媒体12。在接收到一用户的信号后，此服务中心即访问相关文件并通过链路34将数据传送到用户解码器32。此用户地的解码器32对编码数据进行解码并在电视机上显示所得的视频信号。

此服务中心30能由一文件移动到另一文件而不会在文件中引起无法接收的信号错位，因为存贮在文件中的数字数据的平均比特率是恒定的。利用指向文件内部位置的指针和该特定文件的长度来实现从一文件到另一文件的内插。这就是说，

POS_快速前进＝POS_放象×Length_快速前进/Length_放象式中

POS＝文件内的位置，可采用任何合适的量度，如时间，位等。

Length＝文件的长度，采用与POS相同的单位。

因而，如果用户已观看了一部电影的75％而请求快速前进的话，服务中心就按下式计算此快速前进文件中的对应位置：

POS_快速前进＝75×Length_快速前进/100亦即，服务中心访问了占整个序列的四分之三的快速前进序列。当用户请求放象模式时，服务中心计算在快速前进序列中已到达的位置并计算放象序列中的对应位置，如上所述。

同样，可从放象象序列中的当前位置计算快速倒带序列中的对应位置，如下式：

POS_倒向＝(Length_放象－POS_放象)×Length_倒向/Legth_放象

虽然上述本发明的实施例是参照视频实时应答系统进行说明的，但应当理解本发明可以被应用于任何其他适当的交互式视频系统，例如家庭购物、娱乐、银行事务、教育、培训服务等等。

Claims (18)

1、一种对表示运动图象的视频信号进行编码的方法，该方法包括产生表示第一视频信号帧序列的第一组数字信号和表示另一视频信号帧序列的至少另一组数字信号，此另一序列是视频信号帧m＋n、m＋2n、m＋3n、m＋4n……，其中n为非0或1的整数。

2、按照权利要求1的方法，其中另一帧序列为由该第一序列所表示的帧的子集。

3、按照权利要求1或2的方法，其中第一组数字信号表示视频信号的每一帧。

4、按照权利要求1、2或3的方法，其中各序列均由相同的编码技术所产生。

5、按照任一个前述权利要求的方法，其中这些序列采用帧间差分编码来生成。

6、一种视频重放设备，包括在记录媒体的第一顺序文件和第二顺序文件间进行转换的转换装置，用于记录正放象的顺序文件上的当前位置的位置记数器，和按位置记数器记录媒体上存贮的信息确定另一顺序文件上的对应位置的装置。

7、按照权利要求6的视频重放设备，其中确定装置按照存贮在记录媒体上的有关顺序文件的长度的信息计算由所述顺序文件中当前位置所表示的正放象的顺序文件的长度比例，并计算对应于另一顺序文件的同样长度比例的所述另一顺序文件中的位置。

8、按照权利要求6的视频重放设备，其中确定装置按照存贮在记录媒体上的有关顺序文件的长度的信息计算由所述顺序文件中当前位置所表示的正放象的顺序文件的剩余长度比例，并计算对应于正放象的顺序文件的剩余比例的所述另一顺序文件中的位置。

9、按照权利要求6至8中任一个所要求的视频重放设备，包含用于处理来自至少一处远程地的信号的装置，和按照来自远程地的信号去访问记录媒体上的顺序文件并输出相关顺序文件以传送到远程地的装置。

10、一种数据载体，其上记录有第一组数字信号和第二组数字信号，前者是编码表示的第一视频信号帧序列，后者是编码表示的第二不同帧序列，所述第二序列的每一帧与第一序列中的一帧相同并且此第二序列的每一帧(除最后一帧外)之后跟随除在第一序列中跟随它的一帧之外的某一帧。

11、按照权利要求10的数据载体，其中第二帧序列为第一序列的子集。

12、按照权利要求10的数据载体，其中在第一序列中每一帧K后跟随帧K＋1和在第二序列中每一帧m后跟随帧m＋n，这里n为非或1的正或负整数。

13、按照权利要求10、11或12的数据载体，其中在使用中，按照同样的解码算法从此数据载体中读出各组数字信号。

14、一种视频编码器，包括：用于择视频信号帧的前置处理器；用于生成表示第一视频信号帧序列的第一组数字信号和表示另一视频信号帧序列m、m＋n、m＋2n、m＋3n……的至少另一组数字信号的编码装置，其中n为非0或1的整数；以及用于将这些序列写到数据载体上的装置。

15、按照权利要求14的视频编码器，其中另一数字信号序列表示为第一序列的子集的帧序列。

16、按照权利要求14或15的视频编码器，能用于对每一帧视频信号进行编码以生成第一序列。

17、按照权利要求16的视频编码器，其中第一序列表示运动图象的放象模式以及另一序列表示快速前进模式。

18、按照权利要求14至17中任一个的视频编码器，其中编码装置包含帧间差分编码装置。

Images