CN101049006A - 图像编码方法及装置以及图像解码方法及装置 - Google Patents

Abstract

本发明提供一种图像编码装置(100)，在图像局部指定评价的区域时，实现在解码侧生成其的种种处理。在图像编码装置(100)中，ROI设定部(20)在图像内设定ROI区域。熵编码部(14)将图像熵编码。ROI信息编码部(24)将用于特定ROI区域的信息编码。编码流生成部(16)明确包含编码了的图像和编码了的所述信息，生成编码流。在图像内设定多个ROI区域时，在该信息中也可以包含其优先度。

Description

图像编码方法及装置以及图像解码方法及装置

技术领域

本发明涉及图像编码技术、图像解码技术，尤其是涉及能够将图像的局部区域优先解码的编码方法及装置、将其解码的方法以及装置。

背景技术

在ISO/ITU-T中，作为静止图像的压缩编码的标准技术的JPEG(JointPhotograghic Exoert Grorp)的后续技术，使用离散小波变换(DWT)的JPEG2000被标准化。在JPEG2000中，能够将从低位速率编码到无损压缩的广大范围的画质高性能地编码，并且也容易实现慢慢提高画质的可缩放性功能。另外，JPEG2000还备有目前的JPEG标准中没有的多种功能。

作为JPEG2000的功能之一，将图像的评价区(Region of Interest；ROI)比其它区域优先编码，将传送的ROI编码标准化。通过ROI编码，在编码速率有上限时，除能够将评价区的再生画质优先高品质化外，在依次对编码流解码时，能够在早期高品质地再生评价区。

特许文献1中公示了相对于操作者指定的重要范围的图像，在编码时实现重点提高画质的技术。

特许文献1：特开平7-203434号公报

但是，上述特许文献1由于将被指定范围及其以外的范围的图像分别以指定的画质编码，所以在解码时受其画质的限制，从而难以用各种分辨率解码。另外，例如，也难以实现只再生被指定范围的再生处理。

发明内容

本发明是鉴于上述的课题而构成的，其目的在于，提供图像编码方法以及装置、以及图像解码方法及装置，在图像的局部指定评价区时，能够实现在解码侧将其生成的各种处理。

为解决上述课题，本发明的一种形式的图像编码方法，在包含图像的编码数据的编码流内明确记述用于特定在图像上定义的评价区的信息。“用于特定评价区的信息”也可以是参照帧间的差值信息而编码的信息。该“差值信息”也可以是用帧间的变化量表示评价区的位置、大小、以及形状的至少其中之一的信息。另外，也可以是表示各帧的评价区的位置、大小、及形状的至少其中之一的平均值和编码对象的这些帧对应的值的差值。或着，也可以是表示评价区的位置、大小、以及形状的值的至少其中之一的帧间的变化量的平均值和编码对象的帧中的帧间对应的值的变化量的差值。而且，也可以是帧间的变化量的平均值和表示各帧中的评价区的位置、大小、以及形状的值的至少其中之一的差值。它们在评价区很大地扩大缩小时等有效。也可以将“用于特定在图像上定义的评价区的信息”作为相对于时间的函数编码。在评价区以一定的规律变化时等有效。

根据该状态，由于在编码流内明确记述上述的信息，从而在图像内设定评价区时，能够在解码侧提供有益的信息，能够实现与评价区有关的各种处理。

本发明其它的形式是图像编码装置。该装置具备：在图像上定义评价区的评价区设定部；将图像编码的图像编码部；将用于特定评价区的信息进行编码的评价区信息编码部；生成明确包含编码后的图像和上述信息的编码流的编码流生成部。“评价区设定部”，也可以通过用户的指定，或通过自动识别目标等，在图像上定义评价区。

根据该形式，通过在编码流内明确记述上述的信息而生成编码流，在图像内设定评价区时，能够在解码侧提供有益的信息，能够实现与评价区有关的各种处理。

在上述信息中，在图像内设定了多个评价区时，包含其优先度。根据该形式，能够在解码侧识别多个评价区的优先度，且也能够进行更精确的处理。

在图像上定义多个评价区时，也可以按其优先度的顺序记述上述的信息。根据该形式，能够用少量的编码量，在解码侧识别多个评价区的优先度。

本发明的再一其它的形式是图像解码方法。该方法参照在包含图像编码数据的编码流内明确记述的、用于特定在图像上定义的评价区的信息，将包含评价区的区域从编码流解码。“包含评价区的区域”也可以是评价区、包含评价区和其周边区域的区域，或图像的全体区域。

根据该形式，能够参照在编码流内明确记述的上述信息，实现与评价区有关的各种处理。

本发明的再一其它的形式是图像解码装置。该装置具备：将在包含图像的编码数据的编码流内明确记述的、用于特定在图像上定义的评价区的信息进行解码的评价区信息解码部；参照解码后的信息，将包含评价区的区域从所述编码流解码的图像解码部。

根据该形式，能够参照在编码流内明确记述的上述信息，实现与评价区有关的各种处理。

另外，将以上的构成要素的任意组合、本发明的表现在方法、装置、系统、计算机程序、记录媒体等之间变换的结构，作为本发明的形式也有效。

根据本发明，在图像的局部指定评价区域时，能够实现在解码侧生成其的各种处理。

附图说明

图1是实施例1的图像编码装置的构成图；

图2是表示ROI区域迁移的一例的图；

图3是表示编码流的一例的图；

图4是实施例2的图像解码装置的构成图；

图5在表示各分割水平的ROI区域图。

符号说明

10 小波变换部

12 量子化部

14 熵编码部

16 编码流生成部

20 ROI设定部

22 ROI预测处理部

24 ROI信息编码部

30 编码数据提取部

32 熵解码部

34 逆量子化部

36 小波逆变换部

40 ROI信息解码部

42 ROI预测处理部

44 ROI区域控制部

100 图像编码装置

200 图像解码装置

具体实施方式

实施例1

图1是实施例1的图像编码装置100的构成图。图像编码装置100的构成，在硬件方面可由任意计算机的CPU、储存器、其它的LSI实现，在软件方面由储存器调取的具有编码功能的程序等来实现，在此，描述通过这些联合而实现的功能块。因此，这些功能块通过只用硬件、只用软件或它们的组合以各种形态实现对于从业者来说是可以理解的。

图像编码装置100将被输入的原图像作为一例通过JPEG2000方式压缩编码。输入到图像编码装置100的原图像是动图像的帧。图像编码装置100能够用JPEG2000方式将动图像的各帧连续地编码，生成动图像的编码流。

小波变换部10将被输入的原图像次能带分割，计算各次能带图像的的小波变换系数，生成被层次化的小波变换系数。具体地说，小波变换部10在原图像的x、y各方向应用低通滤波器以及高通滤波器，向四个频率次能带分割，进行小波变换。这些次能带是具有在x、y两方向具有低频成分的LL次能带；在x、y的任一个方向具有低频成分、并且在另一个方向具有高频成分的HL以及LH次能带；在x、y两个方向具有高频成分的HH次能带。各次能带的纵横像素数分别是处理前的图像的1/2，通过一次滤波得到分辨率，即图像大小为1/4的次能带图像。

小波变换部10对这样得到的次能带中的LL次能带再次进行滤波处理，将其进一步分割成LL、HL、LH、HH这四个次能带，进行小波变换。小波变换部10将该滤波进行规定的次数，在次能带图像上使原图像层次化，输出各次能带的小波变换系数。量子化部12以规定的量化幅度将从小波变换部10输出的小波变换系数量子化。

熵编码部14将通过量子化部12量子化的量子化值进行熵编码。例如，从上位比特流顺序进行扫描并进行编码。这样，熵编码部14的编码对象是原图像，具有作为图像编码部的功能。

ROI设定部20在原图像的局部区域内设定ROI区域。ROI区域的形状也可以是矩形、圆形或其它的复杂的形状。其形状既可以固定也可以活动变化。例如，也可以在图像的中心部分和周边部分，使ROI区域的形状发生变化。另外，ROI区域也可以在一个图像中设定多个。

用户既可以手动设定这种ROI区域，也可以自动识别、设定系统移动的某区域。具体地说，用户或系统，将ROI区域的位置、大小、形状、多个设定时的优先顺序等作为初期值在ROI设定部20设定。还有，在用户指定对象时，或者系统自动识别时，ROI设定部20也可以在ROI区域自动设定包含其对象的规定的范围。用户或系统，在动图像时，也可以在每一帧内设定ROI区域，并开始指定ROI区域，之后，也可以使ROI区域追踪其ROI区域内的对象的移动。这可通过检测对象的移动矢量来实现。

ROI设定部20将ROI区域的开始位置、大小等用于特定ROI区域的信息(以下称ROI信息)输出到ROI预测处理部22。在进行上述的追踪处理时，也可以将以对象的移动矢量为基础设定的ROI区域的移动矢量输出。

ROI预测处理部22对ROI信息进行帧间预测处理。ROI预测处理部22具备用于存储ROI信息的储存器，例如，在其中存储成为基准的帧的ROI信息，算出和现帧的差值信息。

图2是表示ROI区域的迁移的一例的图。图2(a)表示在图像内设定ROI区域R的状态。由于该ROI区域R是长方形，所以，可以用左上顶点坐标和水平方向的大小以及垂直方向的大小表现。在此，将其表记为坐标(A，B)、大小(X，Y)。首先，ROI预测处理部22将这些信息作为ROI信息，向ROI信息编码部24输出，同时存储在上述储存器中。该帧成为相对于下一帧的基准。

图2(b)表示图2(a)所示的帧的下一帧，表示ROI区域R移动的状态。在此，在图像内，ROI区域R向右移动M1像素量。如果通过与上述相同样的方法表现该ROI区域R的ROI信息，就能将其表记为坐标(A+M1，B)、大小(X，Y)。这一点上，ROI预测处理部22能够利用上述储存器中存储的前帧的ROI信息，以其差值表现现帧的ROI信息。例如，如果能够从现帧内生成的ROI信息引出前帧的ROI信息，则就能够将其表现为坐标△(M1，0)、大小△(0，0)。ROI预测处理部22再次向ROI信息编码部24输出该ROI信息，同时将其存储在上述储存器中。

图2(c)表示图2(b)所示的帧的下一帧，表示ROI区域R移动，ROI区域R自身形状变化的状态。在此，在图像内，ROI区域R向下移动N2像素量，ROI区域R沿水平方向增大M2像素量。ROI预测处理部22，利用存储于上述储存器的前帧的ROI信息，用和上述相同的方法表现现帧的ROI信息，若这样的话，就能够表现为坐标△(0，-N2)、大小△(M2，0)。ROI预测处理部22再次向ROI信息编码部24输出该ROI信息，同时存储于上述储存器中。

这样，当利用帧间预测处理时，0及其附近值的出现频率提高，能够使统计的偏差保持在ROI信息内。如果用后述的ROI信息编码部24将这样的ROI信息进行熵编码，就能够减少其编码量。熵编码的出现频率的偏差越大，就越能减少编码量。

另外，帧间预测处理不限于上述单纯取得和前帧的差值的处理，例如也可以利用移动补偿预测处理。移动补偿预测处理能够求出表示ROI区域R移动的方向和距离的移动矢量，能够以该移动矢量表示的位置信息和现帧的差值作为ROI信息。特别是，相对于ROI区域R的移动大的动图像，能够提高0及其附近值的出现频率。这样，成为帧间预测对象的帧不限于前面的一个帧，也可以是一个后边的将来的帧。而且，不限于前后一帧，利用前后数帧，也能够实现利用其平均值的处理等。

不用说，不使用帧间预测处理，也能够在各帧内生成ROI信息。该情况下，能够降低储存容量和计算量。因此，用户也可以根据移动图像的特性，选择是否利用帧间预测处理。特别是在快速移动的图像中，即使利用帧间预测处理，与运算量增加相比，也产生编码量减少不大的情况。在如此情况下，也可以在每帧单纯地生成ROI信息。

ROI信息编码部24将从ROI预测处理部22输入的ROI信息编码。例如，进行熵编码。然后，将编码后的ROI信息向编码流生成部16输出。

编码流生成部16基于从熵编码部14输入的图像的编码数据、从ROI信息编码部24输入的ROI信息的编码数据等生成编码流。然后，将生成的编码流向记录介质及网络输出。在此，作为记录媒体，可以使用SDRAM和闪存盘驱动器等。

ROI信息编码数据记述在报头(header)中。报头也存在各种标准，也可以记述在任一个标准内。例如，能够在流报头、序列报头、GOP(Groupof Picture)报头、帧报头、图像报头、在区域单位附加的报头等内，记述ROI信息。

所谓在上述区域单位附加的报头是指如下的报头。例如，在一帧或图像内设定多个ROI区域时，按照ROI区域1的图像数据→ROI区域2的图像数据→…周边区域的图像数据的顺序，排列帧及图像。所谓上述报头，就是对每个此时的ROI区域1的图像数据和ROI区域2的图像数据附加的报头。

图3是表示编码流的一例的图。在此，用MPEG(Moving Picture ExpertsGroup)中使用的序列(sequence)这一用语表示编码流。在MPEG中，将一种视频程序整体编码信号称为序列。序列如图3所示开始于序列报头(sequence header)，终于序列尾(sequence end)，其间记述多个GOP。GOP记述GOP报头和多个图像。在图3的示例中，该GOP报头中记述多个ROI信息。在GOP报头内记述编码条件等解码所需的各种参数。本实施例中也在此记述ROI信息。

上述的ROI信息是表示顶点坐标和大小的信息。这一点上，ROI不仅包含这样信息，而且可以包含各种信息，通过这样的信息可以特定ROI信息。举例如下。

首先，需要有作为基本的坐标。如上所述，顶点的坐标和中心点坐标、重心坐标等相应。从这些坐标内，可使用适于ROI区域形状的坐标。例如，ROI区域为圆形时，中心点坐标成为最合适的坐标。其次，用各帧内的信息特定ROI区域时，需要有大小。例如，需要有水平方向的大小，垂直方向的大小。再次，使用帧间预测处理时，能够运用与前帧的差值数据、与使用移动矢量的后帧的差值数据、仿射变换系数等的各种关系的系数等。

其次，在一个图像内设定多个ROI区域时，也可以在ROI信息内包含其优先度。例如，不但其优先顺序位，而且也可以包含其ROI区域的表示是否是必须的信息。另外，也可以用ROI信息的排列顺序表现该优先顺序位。即，对于优先顺序位高的ROI区域的信息，可以是前面记述的方法。另外，也可以包含各ROI区域的信息量。例如，是该ROI区域的编码量和压缩率、演算量等。另外，也可以在每个ROI区域内包含画质和其以外区域的画质比。

再有，该ROI区域也可以包含表示是否能够独立解码的信息。例如，在JPEG2000方式中，作为比特面(bit plane)内的各系数比特，可使用S通道(significance propagation pass)、R通道(magnitude refinement pass)、C通道(cleanup pass)这三种处理通道。S通道中，对在周围存在有用的系数的无用系数进行解码，R通道中，对有用系数进行解码，C通道中，对残留系数进行解码。S通道、R通道、C通道的各处理通道按该顺序对图像的画质影响程度较大。各处理通道依该顺序执行，各系数的压缩考虑附近系数的信息决定。因此，在每个通道独立编码时，也可以将可变长度的解码在中途切断。这样的信息对解码侧是有益的信息。另外，如果是作为在解码时有益的信息可以利用的信息，则也可以在ROI信息内包含上述举例以外的信息。另外，说明了将ROI信息记述在报头中的例子，但也可以记述在用户可以自由使用的用户区域。

根据如以上说明的实施例1，将在ROI区域解码时必要的或者有用的信息作为ROI信息明确包含在编码流中，由此，可以实现在解码侧产生其信息的各种处理。例如，在快速再生等时，取出包含ROI区域或其周边数个像素的区域，使其可以容易地再生显示。

另外，通过利用帧间预测处理将ROI信息编码，从而可以减少ROI信息的编码量。例如，在JPEG2000中，将图像作为静止画面处理，进行编码，因此，在进行ROI区域编码时，必须赋予每一个图像ROI信息。因此，在对不动的图像进行ROI编码时，对连续的各图像数据附加完全相同的ROI信息，作为整体就会生成无用的编码。这种情况下，利用帧间预测处理的形式就可以特别发挥效果。再有，通过减少编码量，能够使处理高速化，也能够减少电力消费。

实施例2

图4是实施例2的图像解码装置200的构成图。在实施例2中，图像解码装置200对由实施例1编码后的编码流进行解码。通过对作为编码流输入的动图像的各编码帧连续进行解码，能够再生动画。

ROI信息解码部40对编码流内记述的ROI信息进行解码，向ROI预测处理部42输出。ROI信息记述在编码流内的任一个标准的报头内。

ROI预测处理部42对解码后的ROI信息进行帧间预测处理。ROI预测处理部42具备用于存储ROI信息的储存器，例如，在那里存储成为基准的帧的ROI信息。通过将由差值信息给与的现帧的ROI信息和储存器中存储的ROI信息相加，将现帧的ROI信息复原为原始的数据形式。

例如，成为基准帧的ROI区域是长方形时，可以将其ROI区域用顶点坐标(A，B)和水平方向的大小以及垂直方向大小(X，Y)表示。首先，ROI预测处理部42将这些信息作为ROI信息向ROI区域控制部44输出，同时，存储在上述储存器中。该帧成为相对于下一帧的基准。

运用实施例1的方法对ROI信息编码时，在下一帧中，如果该ROI区域向右移动M1像素量，则作为其差值信息，就提供坐标△(M1，0)、大小△(0，0)和ROI信息。ROI预测处理部42在存储在上述储存器的前一帧的ROI信息上加上该差值信息，由此可以求得现帧的绝对坐标(A+M1，B)、大小(X，Y)。

ROI预测处理部42这样在解码图像前解码取得下一图像的ROI信息。由此，能够进行与ROI区域有关的各种处理。另外，在运用其它的帧间预测编码时，使用与其对应的还原方法。

ROI区域控制部44根据用户或系统要求，设定有关ROI区域的各种处理。例如，也可以进行再生只包含ROI区域的图像或其周边像素的区域的处理。决定该周边像素的方法在后面叙述。另外，在运用目标识别搜索某场面时，也可以进行只将ROI区域内的目标作为对象的检索处理。无论如何都能够进行高速处理。在进行这些处理时，可以参照包含在ROI信息内的优先顺序位信息而进行处理。例如，也可以不需要表示或者不表示优先顺序位低的ROI区域，从检索对象取出。

另外，ROI区域控制部44通过由ROI信息的指定、用户或者系统的要求，能够设定ROI区域的画质和其它区域的画质比。

编码数据提取部30从输入的编码流提取编码数据。此时，也有时从ROI区域控制部44只提取指定的区域的编码数据。熵解码部32将提取的编码数据解码在每个比特面进行解码，取得得到解码结果的量子化的小波变换系数。逆量子化部34将小波变换系数逆量子化。小波逆变换部36逆变换被逆量子化的小波变换系数，输出得到的解码图像。

其次，对用于由ROI区域控制部44决定包含ROI区域和其周边区域的区域坐标和大小的方法进行说明。图5是表示小波变换系数的各分割标准的ROI区域的图。图5(a)表示在分割标准0的原图像80上设定ROI区域90的状态。图5(b)表示将原图像80只通过一次小波变换得到的分割标准1的变换图像82。分割标准1的变换图像82由四个次能带LL1、HL1、LH1、HH1构成。ROI区域控制部44将为还原原图像80的ROI区域90所需的分割标准1的变换图像82上的ROI区域91～94在分割标准1的各次能带LL1、HL1、LH1、HH1中特定。

图5(c)表示通过将图5(b)的变换图像82的最低频率成分的次能带LL1进一步进行小波变换得到的分割标准2的变换图像84。分割标准2的变换图像84如同图所示，除分割标准1的三个次能带HL1、LH1、HH1之外，还包含分割标准2的四个变换图像LL2、HL2、LH2、HH2。ROI区域控制部44将为在分割标准1的变换图像82的次能带LL1中的ROI区域91还原所需的分割标准2的变换图像84上的ROI区域95～98在各次能带LL2、HL2、LH2、HH2中特定。

同样，通过将与原图像80的ROI区域90对应的ROI区域在各分割标准内以小波变换次数递推特定，在最终分割标准的变换图像中可全部特定为还原ROI区域90所需的ROI变换区域。

ROI区域控制部44在各分割标准的各次能带内决定应当解码的小波变换系数的对象区域的开始位置和大小，使得由原图像上设定的ROI区域的周边区域内不会产生噪音而解码到原图像80。将其设定在编码数据提取部30内。

设原图像80的ROI区域开始的x或y坐标为P，设ROI区域的或x或y方向的大小为Q时，在各分割标准内的解码对象区域的开始坐标以及大小如下。

分割标准1…开始坐标P/2-α、大小Q/2+β

分割标准2…开始坐标(P/2-α)/2-α、大小(Q/2+β)/2+β

分割标准3…开始坐标{(P/2-α)/2-α}/2-α、

               大小{(Q/2+β)/2+β}/2+β}

分割标准J…开始坐标[…]/2-α、大小[…]/2+β

通过对x和y进行上述运算，可求取各分割标准下的解码对象区域的开始坐标以及大小。在开始坐标中，减去最后的α之前的值中产生小数点以下时，将其舍弃。另一方面，大小满足最后的β之前的值中产生小数点以下时，将其进位。α、β的值可以由设计者任意设定。例如，可以设定为α＝1、β＝2或α＝2、β＝4。在ROI区域的上下左右对称设定周边区域时，β成为α的两倍的值。该值依存于所使用的滤波器。滤波次数越多，周边区域的像素就越多。

根据以上已说明的实施例2，能够将在编码流中明确记述的ROI信息解码，并能够生成该信息，实现各种处理。例如，可以提取ROI区域或者包含该周边像素的区域，很容易地将其再生表示。并且，也能够将ROI区域及其以外的区域分别以希望的画质再生。

以上，主要对本发明实施例进行了说明。实施例是举例，它们的各构成要素和各处理工艺的组合可以有各种各样的变形例，并且，这样的变形例也在本发明的范围之内，这对从业人员来说是可以理解的。以下表示其变形例。

在上述的实施例中，ROI区域也可以只是目标的区域。该情况下，系统能够将作为ROI信息的用于特定目标的信息等记述在报头等中。与实施例相同，通过利用帧间预测处理记述有关该目标的形状变化的信息等，从而能够减少该信息的编码量。

在上述的实施例中，将用JPEG2000方式连续编码后的动图像的编码流解码，但不限于JPEG2000方式，根据需要，只要是将动图像的编码流解码的方式即可。

在上述的实施例中，作为用于图像编码的空间滤波，说明了小波变换，但也可以运用其它的空间频率变换。例如，也可以运用用于JPEG标准的离散余弦变换。

工业上的可利用性

本发明可以应用于将图像编码的装置或将图像解码的装置。

Claims (8)

1、一种图像编码方法，其特征在于，在包含图像的编码数据的编码流内明确记述用于特定在所述图像上定义的评价区的信息。

2、如权利要求1所述的图像编码方法，其特征在于，在所述图像上定义了多个评价区时，所述信息中包含其优先度。

3、如权利要求1或2所述的图像编码方法，其特征在于，在所述图像上定义了多个评价区时，按其优先度的顺序记述所述信息。

4、一种图像编码装置，其特征在于，具备：

在图像上定义评价区的评价区设定部；

将所述图像编码的图像编码部；

将用于特定所述评价区的信息编码的评价区信息编码部；

明确包含编码了的图像和编码了的所述信息生成编码流的编码流生成部。

5、如权利要求4所述的图像编码装置，其特征在于，在所述图像上定义了多个评价区时，所述信息中包含其优先度。

6、如权利要求4或5所述的图像编码装置，其特征在于，所述编码流生成部在所述图像上定义了多个评价区时，按其优先度的顺序记述所述信息。

7、一种图像解码方法，其特征在于，参照在包含图像的编码数据的编码流内明确记述的、用于特定在所述图像上定义的评价区的信息，将包含所述评价区的区域从所述编码流解码。

8、一种图像解码装置，其特征在于，具备：

评价区信息解码部，其将在包含图像的编码数据的编码流内明确记述的、用于特定在所述图像上定义的评价区的信息解码；

图像解码部，其参照经解码的信息，将包含所述评价区的区域从所述编码流解码。

Images