CN1301620C - 可适应场景改变的视讯压缩方法 - Google Patents

Abstract

一种视讯压缩方法，提供一预设序列，该预设序列是以一I帧与一P帧分别作为开头和结尾，中间包含有数个连续的B帧。该方法依据每一个被编码的帧的种类以及其位于该序列中的位置，对每一个被编码的帧内的块进行编码；并决定出被编码的一P帧中图像内编码块的数量；当该P帧中图像内编码块的数量大于一预设数量时，即判定此时产生了一场景变化。当本方法在该P帧中检测到了一场景变化时，即将该P帧重新定义成一I帧，将该序列中所有的B帧重新定义成P帧，并对重新定义后的帧进行重新编码的工作。

Description

可适应场景改变的视讯压缩方法

技术领域

本发明涉及一种用来处理数字视讯的方法，特别是涉及一种用来对视讯帧进行压缩的方法。

背景技术

在当今科技进步的世界中，数字视讯是一种很重要的信息交换方式，举例来说，以计算机技术为基础的视讯会议和数字电视，就是数字视讯的两个常见的例子。在一个单张的数字影像中，通常可以包含有数以百万计的像素(pixel)，而为了要得到品质良好的视讯效果，常常需要使用到一连串连续的影像帧，这通常会伴随着非常庞大的数据量。为了要以有效率的方式处理视讯数据、并减少所使用的储存空间，常常就必须使用所谓的「压缩」技术来对视讯数据进行处理。

一般而言，影像压缩的技术是以不同区域内像素的相关性作为压缩的基础。当数据传输速度受限时，就必须使用高的压缩率对视讯数据进行压缩，此时除非能提供额外的压缩硬件(或是软件)，否则经过压缩后，视讯数据的品质势必会受到影响。至于在对视讯品质有较高的需求时，所必须付出的代价通常就是硬件成本(例如存储器的成本)的增加。由此可知，在视讯品质与硬件成本间常有很多种不同的折衷方案，此时，任何能够在不大幅降低视讯品质或是增加硬件成本的情形下增加压缩率的解决方案，都可以对使用者或是厂商带来极大的利益。

实际上，有两种方式可以对一视讯帧进行压缩，第一种方式是所谓的帧内编码(intra-frame encoding)，由多个像素所构成的一个块(block)会以参考该块外的像素信息的方式(但是被参考到像素信息与被编码的块属于同一个帧)被压缩。第二种方式是所谓的帧间编码(inter-frameencoding)，此时被编码的一个块会以参考该其它帧内像素信息的方式进行压缩。在当今常见的压缩规格中(例如MPEG-4)，通常定义了数种不同的帧，对于每一种不同的帧则采用不同的压缩方式。一些压缩规格所定义的帧大致可包含以下所述的三类：仅包含有图像内编码块的帧(I帧)；由图像内编码块和图像间编码块共同组成的帧(P帧)；仅包含有图像间编码块的帧(B帧)。上述的I帧是经过最少压缩但具有最高影像品质的帧，B帧是有最高压缩率但牺牲了影像品质的帧，至于P帧的特性则介于上述两者之间。以MPEG-4的系统为例，因为定义了上述三种具有不同特性的影像帧，故系统可以很轻易地动态决定压缩率与影像品质间的折衷方式。

在决定出不同帧的定义之后，系统即可以使用由多个帧所组成的一预设序列(通常此一预设序列会重复出现)来对一视讯数据进行压缩。请先参阅图1，图1是一帧序列10的示意图，帧序列10中包含有由帧12到帧20的五个帧。在这个例子中，帧12为一I帧，帧14、16、18为B帧，至于帧20则为一P帧。首先被编码的是I帧12，其包含的块(例如块22)会以仅参考同一帧(即I帧12)内的画面信息的方式进行编码。接下来被编码的则是B帧14、16、18，这些B帧内的块(例如块24、26、28)会以参考I帧12内的画面信息的方式，使用移动向量(motion vector)进行编码。最后被编码的是P帧20，其包含了图像内编码块(如块30)以及图像间编码块(如块32)。使用这个例子中「I-B-B-B-P」的帧序列，即可在压缩率与影像品质间达到不错的平衡。

使用上述方法所面临的一个主要的问题是所谓的「场景变化」(scenechange)，场景变化是电影中常常会出现的情形。以视讯压缩的观点来看，场景变化可以简单的定义成：被编码的视讯数据内两个相邻的影像帧产生彻底的变化。若是场景变化产生在一B帧上，则该B帧的参考帧(即位于该B帧前的一I帧)在压缩该B帧时仅能提供很少量有用的信息(因为B帧内仅包含有图像间编码块，而图像间编码块则会以相对的移动向量参考至参考帧内的影像信息)。举例来说，若图1中的I帧12包含有一辆驶离高速公路的汽车，则此时较佳的情况是在B帧14中包含有与I帧12相似的影像信息(产生了些许位移的汽车)，此时压缩可以顺利进行。然而，若是产生了场景变化，在B帧16中变成了一个在海滩玩耍的男孩，此时由于I帧12并无法提供多少可用于帧间压缩的有用信息，故B帧16会有不好的压缩率。由此可知，发生于B帧的场景变化常常会降低整体的视讯品质。

发明内容

因此本发明的一个目的在于提供一种视讯压缩方法，可对发生于帧间编码帧(B帧)的场景变化进行处理，以增进视讯品质。

简言之，本发明的方法包含有提供由多个视讯帧所构成的一预设序列，该预设序列是以一I帧作为开头并以一P帧作为结尾。一I帧定义为仅包含有参考图像内信息编码得出的块的帧；一P帧定义为包含有参考图像内信息或图像间信息编码得出的块的帧。另外，一B帧则定义为仅包含有参考图像间信息编码得出的块的帧。该方法包含有：依据每一个被编码的帧的种类以及其位于该序列中的位置，对每一个被编码的帧内的块进行编码；决定出被编码的一P帧中图像内编码块的数量；当该P帧中图像内编码块的数量大于一预设数量时，即判定此时产生了一场景变化。最后，该方法还包含有：当在该P帧中检测到了一场景变化时，即将该P帧重新定义成一I帧，将该序列中所有的B帧重新定义成P帧，并对重新定义后的帧进行重新编码的工作。

另外，本发明的方法还包含有在重新定义出的帧中检测是否有场景变化的产生。如此的反复执行的作法是用来确保系统可以明确的得出发生场景变化的帧的所在位置。

本发明的一个优点在于，经由对帧的种类进行重新定义，可以对场景变化进行正确的编码，故整体的视讯品质可以比已知技术更为提升。

附图说明

图1为已知技术一视讯帧序列的示意图。

图2为用来执行本发明方法的一视讯系统的示意图。

图3为本发明方法的实施例流程图。

图4为使用图3所示的方法对一帧序列进行编码的一个例子。

图5为依据本发明方法对一视讯300进行编码后的示意图。

附图符号说明

10、302、304、306、308    帧序列

12、14、16、18、20、202   帧

204、206、208、210

22、24、26、28、30、32    块

40                        视讯系统

42       视讯来源

44       随机存取存储器

46       处理器

48       压缩算法

50       播放或储存装置

300      视讯

具体实施方式

图2是用来执行本发明压缩方法的一视讯系统40的示意图。在这个例子当中，视讯系统40包含有：一随机存取存储器(random access memory，RAM)44；一处理器46，用来执行依据本发明方法所设计出的一压缩算法48。压缩算法48除了可以储存于随机存取存储器44中，亦可以储存于另外一个处理器46专用的存储器内，这皆是可行的作法。视讯系统40可以使用随机存取存储器44通过一接收接口(未显示于图中)自一视讯来源42(例如一数字摄影机)接收一初始视讯讯号。然后处理器46可以对储存于随机存取存储器44内的初始视讯讯号执行压缩算法48，并通过一输出接口(未显示于图中)将一已压缩视讯数据输出至一播放或储存装置50。在实作上，视讯来源42、随机存取存储器44、处理器46以及播放或储存装置50可以是一个数字摄影机系统或是一个人计算机系统的一部份。相似的，视讯来源42可以是与一计算机相连的数字摄影机，随机存取存储器44和处理器46则属于与该数字摄影机相连的计算机，至于播放或储存装置50则为一远程的监视器，可通过网络接受已压缩视讯数据。

图3显示了本发明方法的一实施例流程图100。图3所示的流程图100可以以压缩算法48的形式使用于图2之中。以下将详述图3中个各步骤：

步骤102：选择出由特定I、B、P帧顺序所组成的一帧序列(例如「I-B-B-B-P」)。

步骤104：选择出第一个编码的帧(亦即上述例子中的I帧)。

步骤106：依据帧所属的种类对其进行编码。对I帧内的块，使用图像内编码方式，仅参考目前帧的影像信息进行编码；对B帧内的块，使用图像间编码方式，参考之前的I帧的影像信息进行编码；对P帧内的块，则分别使用图像内或图像间编码方式，参考相对应的影像信息进行编码。

步骤108：检查在进行编码的目前帧的种类(这可以在编码前、编码中、或编码后进行)。若目前帧为一P帧，进入步骤114；否则则进入步骤110。

步骤110：若目前帧为最后一个被编码的帧，即结束整个流程图；否则则进入步骤112。

步骤112：选择出下一个要编码的帧。请注意在上述例子「I-B-B-B-P」的帧序列中，P帧之后会接着后续序列中的第一个I帧。

步骤114：是否在P帧内检测到场景变化？换句话说，就是检测是否图像内编码块的数量超过一个默认值？若检测到场景变化，进入步骤116，否则进入步骤110。

步骤116：将目前帧从P帧改变成I帧，并将目前帧序列中的B帧改变成P帧(请注意此处可能有一个以上的B帧被改变成P帧)。

步骤118：从改变后的帧序列中找出第一个P帧。

先来说明对帧进行编码的步骤106。判断要用图像内编码或图像间编码的方式对一块进行编码，已是普通技术人员可以轻易做到的一件工作。举例来说，只要编码得出的图像品质是可以接受的(有时系统可以使用一个品值指针值来判断影像品质，当品值指针值大于一默认值时，系统即认为图像品质是可以接受的)，一个对P帧进行的算法可以预设地对所有的块进行图像间编码。至于使用图像间编码会造成品质太差的块，算法则可以改为使用图像内编码方式。

再来说明用来检测是否有场景变化的步骤114，这个步骤可以有数种不同的执行方式。在某些实施例中，在对一P帧进行编码时，可以动态检测图像内编码块的数量，若这个数量超过了一个默认值，则系统就认为已检测到了场景变化。举例来说，在一个640×480像素的视讯帧中，包含有多个大小为16×16像素的不重迭的块(总共有1200个块)，上述的默认值可以设为800，此时，若有第801个图像内编码块产生时，即代表发生了场景变化。当然，上述的默认值是可以由系统设计者自行决定。并请注意，若在P帧中检测到了场景变化，则场景变化有可能发生在检测到的帧中，亦有可能发生在后续的B帧中。因为流程图100具有反复(iterative)执行的本质，故本方法可以明确地决定出场景变化究竟发生在哪一帧之中。

请参阅图4。图4示出了使用流程图100对帧序列进行编码的一个例子。在图4中的帧序列(帧202-210对应于「I-B-B-B-P」的帧序列)是在步骤102中所选择出的帧序列。从步骤104到106会开始对此帧序列进行编码。然后，在步骤114中在P帧210检测到了场景变化，依据步骤116，帧序列会被修改成「I-P-P-P-I」，亦即，帧204、206、208的种类会从B帧被修改成P帧，帧210的的种类会从P帧被修改成I帧。在新的序列当中，第一个P帧是P帧204，在步骤118中会被选出来继续进行编码。在由B帧改变成的P帧中，有很多的块会被重新编码成图像内编码决，然而，依旧会被编码成图像间编码的块则不需要进行重新编码。持续执行本方法，在步骤114中又会在第二个P帧206检测出场景变化，此时P帧206会被改变成I帧。因为此时并没有需要被改变成P帧的B帧存在，故编码会继续执行，直到结束为止。

接下来请参阅图5。图5示出了依据本发明方法对视讯300进行编码的情形。视讯300是由一系列的帧序列「I-B-B-B-P」所组成。然而，在压缩的过程中，流程图100会依据检测到的场景变化对帧的种类进行改变。视讯300中包含有一帧序列302，没有产生场景变化(这是较典型的情形)；一帧序列304，在第三个帧中产生了场景变化(如同图4所示的例子)；一帧序列306，在第一个帧中产生了场景变化；以及一帧序列308，在第四个帧中产生了场景变化。请注意在帧序列306中的场景变化发生于I帧中，虽然不需要进行帧种类的改变，但是本发明的方法依旧会对帧序列306的场景变化进行处理。因此系统可以明确决定出场景变化发生的帧位置。这些帧则被编码成可以保留住上述场景变化的信息。

在实作上，本发明的方法可以被使用于MPEG-4视讯压缩程序(或装置)之中。将本发明所提出的方法使用于MPEG-4系统内则是本领域的技术人员可以轻易完成的，故在此不多做赘述。

相较于已经知技术，本发明藉由改变帧所属的种类，以正确的对场景变化进行编码。以上述实施例而言，亦即当场景变化在P帧内被检测到时，P帧会被改变成I帧，而同一序列中的所有B帧则会被改变成P帧。如此一来系统即可明确的决定出场景变化所发生的帧的所在位置，故可以对场景变化进行适切的编码。

以上所述仅为本发明的较佳实施例，凡依本发明的权利要求所做的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (4)

1.一种用来对包含有多个视讯帧的一序列进行编码的方法，所述视讯帧中包含有多个具有影像信息的块，所述视讯帧的种类包含有：I帧，仅具有参考图像内信息编码得出的块；P帧，具有参考图像内信息或图像间信息编码得出的块；以及B帧，仅具有参考图像间信息编码得出的块；该方法包含有：

(a)提供由多个视讯帧所组成的一预设序列，其中该预设序列是以一I帧作为开头并以一P帧作为结尾；

(b)依据每一个被编码帧所属的种类，依序对每一个被编码帧内的块进行编码；

(c)决定出一P帧中的图像内编码块的数量，当该P帧中的图像内编码块的数量大于一预设数量时，判定此时发生了一场景变化；以及

(d)当在一P帧中检测出了一场景变化，将该P帧重新定义成一I帧，将该序列内的B帧重新定义成P帧，并对重新定义后的帧进行重新编码。

2.如权利要求1所述的方法，其中当在步骤(d)中产生了新的P帧时，步骤(b)、(c)、(d)即在产生了新的P帧的步骤(d)之后被重复执行。

3.如权利要求1所述的方法，其中该预设序列是由一开头的I帧、多个连续的B帧、以及一最后的P帧所组成。

4.如权利要求1所述的方法，其中由多个视讯帧所构成的该序列以及对所述视讯帧进行的编码工作均符合MPEG-4的规格。

Images