物体自适应框图码生成法
本发明涉及一种物体自适应框图码生成法。即在物体编码系统中生成一个物体自适应框图码来。特别是按照一个宏块中所存在物体的块的个数,适用一个相互不同框图用的可变长编码表,因而既可能提高数据缩短效率,又可能提高编码化增益。
一般来说,电视电话或电视会议等,通常采用由ISDN网提供的H.261标准以及采用由空中电话网(PSTN)提供的电视电话服务用H.263标准,而这些标准都是为世界标准化的要求而提出来的。
就像电视电话一样,可提供一个超低速动态图象的上述H.261和H.263标准,由于降低图象质量,因此还要推出一个更高级的标准。另一方面,在动态图象关连技术中,已经实现了两种标准,即一种MPEG1和一种MPEG2。前者适合DSM(数据存取媒体:Digital Storage Media)的要求:后者适合DSM HDTV、ATV等的要求。
现有的H.261、H.263、MPEG1和MPEG2标准技术均是采用以块为基础的编码法,但用于超低速传输时,图象质量就大大地下降。为此,MPEG4标准则采用了一种与现有方式截然不同的崭新的方式并且正在谋求引用物体概念的块基础编码化方面的标准化。
其中,物体中心编码方式(object oriented coding)是一种块不作为基础;而把两个图像之间的位移区的物体(object)作为基础。这样,把整个图象区分为背景(background),非被服区(uncovered)、位移补偿区(MC-region)和不可位移补偿区(MF-region)。
所谓可位移补偿物体(MC-object)指的是将三维空间上的物体转换成二维物体,然后物体则进行水平位移、旋转位移和线性变形等,就是应按一定原则进行位移。所谓不可位移补偿物体(MF-object)指的是物体则不适用上述一定原则。
图10表示一个帧方格座标31与一个位块33之间的关系。图10A表示帧方格座标起始定点为X-0、Y-0。图10B表示一个位块的放大,即表示一个位块的分割状态为X轴8度、Y轴8度。这里,被分割的质点叫做象素(34:象素)。位块33是对应象素数的大小,称做N×M块,所以,图10B位块应为8×8块。
下面参照图9进一步看一看怎样用从前的模式适应型技术方法来实现被分割物体的编码过程。
设帧方格座标为8×8块。一旦在一个块中将不可位移补偿物体全部置位时,则具有与二维DCT(离散余弦转换:Discrete Cosine Transform)同样的效率。如果在一个块中将不可位移补偿物体不全部置位,则只是与此相对应的不可位移补偿物体模式部分的X轴进行一维DCT转换,同时Y轴也进行一维DCT转换。
下面将对从前模式适应型技术方法作更详细的说明。图11表示一个8×8块中的不可位移补偿物体(用斜线表示部分)。
为使上述不可位移补偿物体进行模式自适应型DCT编码处理,首先把上述不可位移补偿物体置位于块的上方边界。然后,在垂直方向,即Y方向进行一维DCT编码处理,如图11B所示。
图11C黑圈表示垂直方向一维DCT的DC值。在此状态下,进行Y方向一维DCT处理。这样,一旦进行Y方向一维DCT处理时,将不可位移补偿物体重置于块的左侧边界,然后在水平方向(X方向)进行一维DCT编码处理,如图11E所示。一旦X方向一维DCT处理完毕。X方向和Y方向的一维模式适应型DCT处理可算最终完成,如图11F所示。
在最终形态图11F上进行Z字形(ZIGZAG SCAN)扫描,即从最左侧顶上的一块向对角线方向来扫描位移物体。
上述中用于中心编码MPEG-1、MPEG-2、JPEG、H.261和H.263等现有标准中均是使用如图1所示形态宏块MB。在这种情况下,在一个宏块可存在4个块Y1、Y2、Y3、Y4,如图1所示。当对宏块MB中所存在的4个块(block)进行编码处理时,就有可能出现各块中存有数据或不存数据。在现有标准中,为了表示在一个块中是否存有数据而使用一个框图码(coded blockpattern)。图2表示在H263标准所使用的框图码与可变长编码表(variable length code table)之间的关系。通过用此种方法,就能有效地表示各个块中是否存有数据并且还能缩短传输的数据量。
然而,在上述从前的块中心图象信号编码处理过程中,为了表示在宏块中是否有数据而使用框图码。但这时,框图码与可变长编码表是集成为一个固定不变的表,因此仍存在着降低传输数据的缩短效率问题。
也就是说,在一个宏块中尽管物体分布数不一样(例如只是在宏块的局部存在小物体或者整个宏块存在物体)都适用同一个可变长编码表,因而会降低数据的缩短效率。
本发明是为解决在从前的物体中心编码处理中所出现的降低编码效率的问题。其目的在于提供一种这样的物体自适应框图码生成法,即按照宏块中所存在物体的块的个数,适用一个相互不同的框图用的可变长编码表,因而提高传输数据的缩短效率。
也就是说,本发明是在宏块内的位块中,当物体是以选择性存在的情况下,对于存在物体的位块的个数大小均可分别适用相互不同的框图用可变长编码表,因而,既可缩短传输数据量,又可提高编码效率。这就是本发明所要达到的目的。
为达到上述目的,本发明采取以下技术方案:
物体自适应框图码生成法,其特征包括:
在1帧图象被分割成为各宏块内的位块中,当物体是以选择性存在的情况下,可按照所存在物体的位块的个数,适用相互不同框图用的可变长编码表,由此可缩短传输的数据量。
所记载的物体自适应框图码生成法,其进一步的特征是:
上述宏块的分割就是将上述各宏块分割成4个正方形位块。
所记载的物体自适应框图码生成法,其进一步的特征是:
在对上述位块中是否存在物体进行检测,其检测结果,如果在一个宏块中只有3个位块存在物体,则适用如下表所示的可变长编码表。
CBPY(INTRA)(非予测)(123) |
CBPY(INTER)(予测)(123) |
Number of bits位编号 |
Code码 |
000001010011100101110111 |
111110101100011010001000 |
34433332 |
0000010001101110010101011 |
所记载的物体自适应框图码生成法,其进一步的特征是:
在对上述位块中是否存在物体进行检测,其检测结果,如果在1个宏块中只有2个位块中存在物体,则适用如下表所示之可变长编码表。
CBPY(INTRA)(非予测)(12) |
CBPY(INTER)(予测)(12) |
Number of bits位编号 |
Code码 |
00011011 |
11100100 |
2331 |
000110101 |
所记载的物体自适应框图码生成法,其进一步的特征是:
在对上述位块中是否存在物体进行检测,其检测结果,如果在一个宏块中只有一个位块存在物体,则适用如下表示之可变长编码表
CBPY(INTER)(非序测)(12) |
CBPY(INTER)(序测)(12) |
Number of bits位编号 |
Code码 |
01 |
10 |
11 |
01 |
本发明的特征是,在一个宏块内的位块中,当物体是以选择性存在的情况下,可按照存在物体的位块的个数来适用一个相互不同的框图用可变长编码表。
本发明具有积极效果:
如上所述,本发明的效果在于按照被分割成的各宏块内的位块中是否存在物体,来适用一个编码化增益最佳的且相互不同的可变长编码表,因而既能提高传输数据的缩短效率,又能提高编码化增益。
以下参照附图,对本发明的实施例做详细说明:
图1表示在MPEG-1、MPEG-2、H261、H263等现有标准中使用的在1个宏块中存在4个块Y1,Y2,Y3,Y4的情况。
图2表示在H.263标准中使用的框图码与可变长编码表。
图3表示适用于本发明的物体图象编码系统方块图。
图4表示图3之一编码器的详细结构图。
图5(1)表示图象以宏块单位分割的图。(2)表示任意物体以宏块单位分割的示例图。
图6表示图3中宏块中存在物体的块的示意图。
图7表示在宏块内3个块中存在物体时所提出的可变长编码表方案。
图8表示在宏块内2个块中存在物体时所提出的可变长编码表方案。
图9表示在宏块内1个块中存在物体时所提出的可变长编码表方案。
图10表示一般的帧方格座标的说明图。
图11A至图11F是表示一般的模式自适应型DCT转换说明图。
下面根据附图对本发明作详细的说明
本发明的适用系统,如图3所示之一般图象编码系统。其组成部分有:将一帧图象分割成不同物体图象的VOP成形部10;将由VOP成形部10得到的各种物体模式信息进行编码处理的编码部20;以及将上述编码部20内各自编码部21~21n分别得到的编码图象进行多路化处理的多路部30。
编码部20之中的一个编码器21如图4所示。其组成部分有:物体模式信息选择开关21a;将由上述开关21a选择的模式信息进行编码处理的模式信息编码部21c;将由上述模式信息编码部21C来编码处理的模式信息和任意模式加以选择用的选择开关21d;将由上述开关21a选择的模式信息位移按照被重现的以前模式信息或任意模式信息来加以指定的位移推定部21e;按照由上述位移推定部21e推定的位移量来补偿模式信息位移的位移补偿部21f;将上述VOP成形部10得到的图象与上述位移补偿部21f补偿的图象相减用的减法器21g;将由上述减法器21g得到的图象信息进行编码处理的图象信号编码部21h;将由上述图象信号编码部21h得到的图象信号与由上述位移补偿部21f来位移补偿的图象信号相加用的加法器21i;借助上述加法器21i得到的图象信号来重现VOP用的VOP重现部21j;以及一个存储器21b,该存储器中存放了按照宏块中所存在物体的块的个数,可提供一个相互不同的框图用可变长编码表。
这样组成的编码器可借助开关21a将由VOP成形10得到的物体模式信息进行选择,并选择好的模式信息,通过模式信息编码21c,即可对该物体的模式信息进行编码处理。然后,借助选择开关21d,把上述编码处理的模式信息和任意模式信息的VOP进行选择后传送到多路部21k。位移推定部21e是从上述VOP成形部10得到的模式信息中推定出一个位移量。而位移补偿部21f是按照推定出的物体位移量来补偿位移的。
被补偿的位移图象是借助减法器21g,从上述VOP成形部10得到的物体模式信息中被减后,通过图象信号编码部21h,把图象信号转换成编码,然后作为信号信息传送到上述多路部21k。
这时,图象信号编码部21h是按照宏块中所存在物体的块的个数大小,可选择性的适用存放在存储器21b中的相互不同的框图用可变编码表,使之生成21框图码。
另外,借助加法器21i就可把由图象信号编码部21h编码处理的图象信号与上述位移补偿图象信号相加起来。然后通过VOP重现部21e来重现成从前VOP。位移推定部21e是按照被重现P21e来推定出由上述VOP成形部10得到的物体模式信息的位移量,并根据位移的推定结果,将被推定的位移信息传送到上述多路部21k。
多路部21k是将多个输入信息且经编码处理的模式信息和位移信息及信号信息进行多路处理后加以输出,并其通路化信号,再通过缓冲部21m缓冲之后,传输到译码器中。
本发明的核心是按照宏块内的各位块中所存在的物体的个数,有选择性的适用存放在存储器21b中的多个可变编码表。
下面对为此目的的本发明的实施例作说明。
也就是说,由于物体是非正方形的,因此,如果以宏块单位进行分割,则被分割的宏块中有可能出现含有物体的块。与此相反也有可能出现不含物体的块,如图5所示。
图6表示在宏块中含有物体的块与不含物体的块之间的区别。
也就是说,图6(1)表示的宏块1(MB1)是除第1个位块Y1之外的其他块Y2,Y3,Y4中全部存在物体,(2)表示的宏块2(MB2)是整个位块Y1,Y2,Y3,Y4中全部存在物体,(3)表示的宏块3(MB3)是只是在第2个位块Y2中存在物体。(4)表示的宏块4(MB4)是只在是在第1个位块Y1和第2个位块Y2中存在物体。
从上所述,在宏块内各位块中,物体是以选择性存在的,因此,在各种场合下,均可使用一个相互不同的可变长编码表,因而既能提高编码化增益,又能提高数据的缩短效率。
也就是说,在宏块1(MB1)中,只是3个位块Y2,Y3,Y4中存在物体,所以,如果适用本发明中提出的如图7所示之可变长编码表,那么,数据的缩短即可实现。并且也能提高编码化增益。在宏块2(MB2)中4个位块Y1,Y2,Y3,Y4均是存在物体,因此仍原封不动的适用现有可变长编码表。在宏块3(MB3)中,只有一个位块Y2存在物体,这时,可适用本发明中提出的如图8所示之可变长编码表。在宏块4(MB4)中,只有2个位块Y1,Y2存在物体,这时,可适用本发明中提出的如图9所示之可变长编码表。
从上所述,按照宏块内各位块中是否存在物体来适用一个相互不同的可变长编码表(编码化增益最佳的可变长编码表),因而提高数据的缩短效率。
本发明中图7-图9的相互不同的可变长编码表是根据实验后提出来的,是一种新的可变长编码表,仅供参考。下面,对INTRA和INTER的用语给出定义如下:
对时间轴上的物体特性,大致区分以下几种类型:在以前帧上未出现的但现在帧上出现的物体的场合(物体I型);在极小物体的场合(象素小于10的物体:物体II型);在相对极大物体的场合(象素大于10的物体:物体III型)。这里,在以前帧上来出现的但现在帧上出现的物体以及物体尺寸不到10象素的场合下,则编码类型给定为INTRA模式(非予测模式),而不具备上述特性的物体,则给出INTER模式(予测模式)的定义。