CN1243635A - 图像处理方法、图像处理装置及数据记录媒体 - Google Patents

Abstract

如图1中所示,本发明的层次图像编码装置101具有对作为图像输入信号的高分辨率图像信号HSg进行二次采样而生成低分辨率图像信号LSg的二次采样器2;按由多个像素组成的块依次对该低分辨率图像信号LSg进行编码的低分辨率编码单元101L;以及接由多个像素组成的块依次对上述高分辨率图像信号进行编码的高分辨率编码单元101H设成在上述高分辨率图像信号HSg的编码处理之际,参照与处在与成为编码处理的对象的对象高分辨率块的空间位置同一空间位置的参照低分辨率块相对应的低分辨率图像信号LSg。在这种构成的层次图像编码装置101中,可以不招致编码效率降低地对具有物体的形状信息的图像信号进行层次编码处理。

Description

图像处理方法、图像处理装置及数据记录媒体

本发明涉及图像处理方法、图像处理装置及数据记录媒体，特别是涉及用来即使用较少的比特数也不损及画面质量地进行图像信号的记录或传送的层次编码处理和层次解码处理，以及储存用来实现这些层次编码处理和层次解码处理的程序的记录媒体。

为了能以显示画面上所显示的各个物体(对象)为单位进行图像处理，作为图像信号除了通常的辉度信号和色差信号之外还需要表示物体的形状的形状信号。在以下的说明中，把这种除了辉度信号、色差信号之外还包含形状信号在内的，也就是具有物体的形状信息的图像信号，单称为图像信号。

这种图像信号从以物体单位来处理这样的观点来说适合于同时关联地表示图像信息和声音信息的多媒体。有关此一图像信号的编码处理的技术，目前由作为ISO/IEC(国际标准化组织/国际电工委员会联合技术委员会)的工作组的MPEG(动画专家组)4来进行标准化活动。

下面就现有的图像信号的层次编码处理进行说明。

图22示出与分辨率不同的图像信号相对应的显示画面(以下也称为帧)。图中，LF是与低分辨率图像信号相对应的显示画面(图22(a))，HF是与高分辨率图像信号相对应的显示画面(图22(b))。此外，Lob是由低分辨率图像信号在上述帧LF上所显示的一个物体的图像，Hob是由高分辨率图像信号在上述帧HF上所显示的一个物体的图像，点显示区是各物体内部的区域。

在现有的图像编码处理(目前的MPEG 4的最新评价模型模式)中，在1帧上，设定与各个物体相对应的包含该物体的矩形区，再把这种矩形区进一步分割成块(MPEG 4的评价模型中是16×16像素的正块)。于是，针对各个物体的图像信号的编码处理，以构成上述矩形区的块为单位来进行。

因而，在与MPEG 4相对应的层次编码处理中，有必要如图22(c)中所示，在低分辨率帧LF上设定与物体Lob相对应的低分辨率矩形区LR，同时如图22(d)中所示，在高分辨率帧HF上设定与物体Hob相对应的高分辨率矩形区HR。

在这种层次编码处理中，在设定矩形区之际，就要分别进行针对低分辨率图像信号的矩形区LF的设定和针对高分辨率图像信号的矩形区HR的设定。作为其结果，虽然编码处理简单，但是针对物体的各块的空间位置(也就是各块在帧上的位置)在低分辨率矩形区的块与高分辨率矩形区的块之间不一致，此外，在低分辨率矩形区与高分辨率矩形区之间的块有时也不对应。

下面进行详细描述。图23是用来说明现有的层次图像编码装置的方框图。

该现有图像编码装置200a的构成为：接受图像输入信号，再把该图像输入信号作为高分辨率图像信号HSg进行层次编码处理。也就是说，该层次图像编码装置200a具有对该高分辨率图像信号HSg进行二次采样而生成低分辨率图像信号LSg的二次采样器2；和对该低分辨率图像信号LSg施行编码处理而生成低分辨率编码信号LEg的低分辨率编码单元201L。此外，该层次图像编码装置200a还具有对上述低分辨率编码信号LEg进行解码的解码器9a；对该解码器9a的输出Ldg进行上采样的上采样器10a；以及根据该上采样器10a的输出LAg，对上述高分辨率图像信号HSg施行编码处理，输出高分辨率编码信号HEg的高分辨率编码单元201H。

上述低分辨率编码单元201L具有根据上述低分辨率图像信号LSg，检测与低分辨率帧LF上的各个物体相对应的低分辨率矩形区LR的位置或大小等信息，把该信息作为矩形信号LRg输出的区域检测器3；和根据该矩形信号LRg，从上述低分辨率图像信号LSg中提取与上述矩形区LR相对应的图像信号LOg的区域提取器5。进而，上述编码单元201L还具有把与上述矩形区LR相对应的图像信号(物体对应图像信号)LOg分割成对应于由划分该矩形区的16×16像素组成的块MB，输出与各块相对应的图像信号(分块图像信号)LBg的分块器6；和对该分块图像信号LBg进行编码，输出低分辨率编码信号LEg的编码器7。

此外，上述高分辨率编码单元201H具有根据上述高分辨率图像信号HSg，检测与高分辨率帧HF上的各个物体相对应的高分辨率矩形区HR的位置或大小等信息，把该信息作为矩形信号HRg输出的区域检测器12；和根据该矩形信号HRg，从上述高分辨率图像信号HSg中提取与上述矩形区HR相对应的图像信号HOg的区域提取器14。进而，上述编码单元201H还具有把与上述矩形区HR相对应的图像信号(物体对应图像信号)HOg分割成对应于由划分该矩形区的16×16像素组成的块MB，输出与各块相对应的图像信号(分块图像信号)HBg的分块器15；和对该分块图像信号HBg进行编码，输出高分辨率编码信号HEg的编码器16。

下面就操作进行说明。

高分辨率图像信号HSg一旦作为图像输入信号输入本图像编码装置200a，上述高分辨率图像信号HSg就在二次采样器2中通过其二次采样而变换成低分辨率图像信号LSg。

在上述低分辨率编码单元201L的区域检测器3中，根据上述低分辨率图像信号LSg，如图22(c)中所示在低分辨率帧LF上检测包含成为处理对象的物体Lob的矩形区LR的范围，把该矩形区LR的位置和大小等信息作为矩形信号LRg输出。于是，在上述编码单元201L的区域提取器5中，根据这一矩形信号LRg，从上述低分辨率图像信号LSg中，提取与上述矩形区LR相对应的物体对应图像信号LOg。进而，在上述编码单元201L的分块器6中，如图22(c)中所示，上述物体对应图像信号LOg被分割成分别对应于划分上述低分辨率矩形区LR的多个块MB，作为与各块MB相对应的分块图像信号LBg输出到编码器7。然后，在该编码器7中，进行上述分块图像信号LBg的编码处理，从上述编码单元201L输出低分辨率编码信号LEg。

该低分辨率编码信号LEg在解码器9a中通过解码处理变换成低分辨率解码信号Ldg，该解码信号Ldg在上采样器10a中通过插补处理变换成与高分辨率图像信号同一空间分辨率的插补解码信号LAg，输出到高分辨率编码单元201H的编码器16。

此时，在上述高分辨率编码单元201H中，进行与上述低分辨率编码单元201L大体上相同的处理。

也就是说，在编码单元201H的区域检测器12中，根据上述高分辨率图像信号HSg如图22(d)中所示在高分辨率帧HF上检测包含成为处理对象的物体Hob的矩形区HR的范围，把该矩形区HR的位置和大小等信息作为矩形信号HRg输出。于是，在上述编码单元201H的区域提取器14中，根据此一矩形信号HRg从上述高分辨率图像信号HSg中提取与上述矩形区HR相对应的物体对应图像信号HOg。进而，在上述编码单元201H的分块器15中，如图22(d)中所示，上述物体对应图像信号HOg被分割成分别对应于划分上述高分辨率矩形区HR的多个块MB，作为与各块MB相对应的分块图像信号HBg输出到编码器16。然后，在该编码器16中，根据上述插补解码信号LAg进行上述分块图像信号HBg的编码处理，从上述编码单元201H输出高分辨率编码信号HEg。

对于由上述这样的层次图像编码装置200a编码的低分辨率编码信号LEg来说，可以根据它们和矩形信号LRg来进行生成相当于低分辨率图像信号LSg的解码信号的解码处理。此外，对于由上述编码装置200a编码的高分辨率编码信号HEg来说，可以根据上述低分辨率编码信号LEg、矩形信号LRg、高分辨率编码信号HEg以及矩形信号HRg来进行生成相当于高分辨率图像信号HSg的解码信号的解码处理。而且，在高分辨率图像信号HSg的编码处理中，通过参照低分辨率图像信号LSg来利用这两个图像信号LSg和HSg间的像素的关联，可以以与单独对其进行编码的场合相比较少的比特数，来对高分辨率图像信号HSg进行编码。

图24是用来说明现有的层次图像解码装置的方框图。

该层次图像解码装置200b是以由图23中所示的现有的图像编码装置200a编码的低分辨率编码信号LEg和高分辨率编码信号HEg为输入信号进行层次解码处理的装置。

也就是说，该层次图像解码装置200b具有对上述低分辨率编码信号LEg施行解码处理而生成低分辨率再生信号LCg的低分辨率解码单元202L；通过上采样对在该解码单元202L中的解码处理中途的信号LDg进行插补的上采样器10b；以及根据该上采样器10b的输出ADg对上述高分辨率编码信号HEg施行解码处理而生成高分辨率再生信号HCg的高分辨率解码单元202H。

上述低分辨率解码单元202L具有进行对上述低分辨率编码信号LEg的解码处理，生成与各块相对应的低分辨率解码信号LDg的解码器9；综合该低分辨率解码信号LDg，生成与上述矩形区LR相对应的解码综合信号LIg的逆分块器20；以及把与该矩形区LR相对应的解码综合信号LIg与形成1帧的其他图像信号合成、使该矩形区LR将被配置在来自上述编码装置200a的矩形信号LRg所示的低分辨率帧LF上的位置的区域合成器21。

此外，上述高分辨率解码单元202H具有根据上述上采样器10b的输出ADg来进行对高分辨率编码信号HEg的解码处理，生成与各块相对应的高分辨率解码信号HDg的解码器30；综合该高分辨率解码信号HDg，生成与上述矩形区HR相对应的解码综合信号HIg的逆分块器31；以及把与该矩形区HR相对应的解码综合信号HIg与形成1帧的其他图像信号合成、使该矩形区HR将被配置在来自上述编码装置200a的矩形信号HRg所示的高分辨率帧HF上的位置的区域合成器32。

下面说明其操作过程。

上述低分辨率编码信号LEg和高分辨率编码信号HEg一旦输入本图像解码装置200b，该低分辨率编码信号LEg就在上述低分辨率解码单元202L的解码器9中被施以解码处理而生成低分辨率解码信号LDg。这个低分辨率解码信号LDg在上述上采样器10b中通过上采样处理而被插补变换成具有与上述高分辨率相对应的空间分辨率的插补解码信号ADg。另外，上述低分辨率解码信号LDg进而由逆分块器20来综合，生成与上述矩形区LR相对应的解码综合信号LIg。然后，该解码综合信号LIg在区域合成器21中根据来自上述编码装置200a的矩形信号LRg，与形成1帧的其他图像信号合成，作为低分辨率再生信号LCg输出。通过这一合成处理，解码综合信号LIg引起的矩形区LR的图像被配置在上述矩形信号LRg所示帧LF上的位置。

另一方面，上述高分辨率编码信号HEg在上述高分辨率解码单元202H的解码器30中根据上采样器10b的输出ADg被施以解码处理，生成高分辨率解码信号HDg。这一高分辨率解码信号HDg进而由逆分块器31来综合，生成与上述矩形区HR内的图像相对应的解码综合信号HIg。然后，该解码综合信号HIg在区域合成器32中根据来自上述编码装置200a的矩形信号HRg与对应于1帧的其他图像信号合成，作为高分辨率再生信号HCg输出。通过这一合成处理，解码综合信号HIg引起的矩形区HR的图像被配置在上述矩形信号HRg所示帧HF上的位置。

在这种构成的层次图像解码装置200b中，由于在对低分辨率编码信号LEg依次施行了解码处理和逆分块处理之后，矩形区LR将被配置在帧LF内的规定位置，对与该矩形区LR相对应的低分辨率解码信号LIg施行区域合成处理，所以可以对以与帧LF内的各个物体相对应的矩形区LR为对象的通过编码处理所得到的低分辨率编码信号Leg进行解码处理。

此外，由于参照低分辨率解码信号LDg对高分辨率编码信号HEg进行解码而生成高分辨率解码信号HDg，然后对这一解码信号HDg施行逆分块处理，进而矩形区HR将被配置在帧HF内的规定位置，对与该矩形区HR相对应的高分辨率解码信号HIg施行区域合成处理，所以可以对以与帧HF内的各个物体相对应的矩形区HR为对象的通过层次编码处理所得到的高分辨率编码信号HEg正确地进行解码处理。

可是，在现有的层次图像编码装置200a中，对低分辨率帧LF内的矩形区LR的范围的检测处理与对高分辨率帧HF内的矩形区HR的范围的检测处理是分别进行的，因此，如图22(c)、图22(d)中所示，划分低分辨率矩形区LR的各块MB的、针对低分辨率图像Lob的空间位置，与划分高分辨率矩形区HR的各块MB的、针对高分辨率图像Hob的空间位置不一致。在这一场合下，在对与上述高分辨率矩形区HR相对应的高分辨率图像信号HOg按块进行编码之际，建立低分辨率块相对于被编码高分辨率块的对应变得困难，高分辨率图像信号与低分辨率图像信号的差分值的运算处理变得复杂。结果，存在着在针对被编码高分辨率块的编码处理之际，与在参照与此一被编码高分辨率块之间空间位置完全一致的低分辨率块的场合相比，层次编码处理中的预测效率变得劣化，还存在着编码效率降低的问题。

本发明是为了解决上述这样的问题而作出的，其目的在于得到一种在进行以与帧内的各个物体相对应的矩形区为对象的层次编码处理之际，可以不招致编码效率的降低地进行参照低分辨率图像信号的高分辨率图像信号的编码处理的层次编码处理、并且可以实现与此相对应的层次解码处理的图像处理方法和图像处理装置，以及储存可以用软件来实现上述层次编码处理和层次解码处理的程序的记录媒体。

根据本发明(方案1)的图像处理方法是一种根据具有物体的形状信息的图像输入信号，作为形成空间分辨率不同的多个图像空间的层次图像信号，至少生成低分辨率图像信号和高分辨率图像信号，把上述高分辨率图像信号划分成与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应，同时把上述低分辨率图像信号划分成与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应，参照形成与该高分辨率块相对应的低分辨率块的低分辨率图像信号，依次进行对形成成为处理对象的高分辨率块的高分辨率图像信号的编码处理的层次图像编码方法，该方法把在上述编码处理之际所参照的参照低分辨率块设成为其低分辨率图像空间中的空间位置对应于与该参照低分辨率块相对应的上述对象高分辨率块在高分辨率图像空间中的空间位置的低分辨率块。

在这种构成的图像处理方法中，在高分辨率图像信号的编码处理之际，通过参照在低分辨率图像空间中处在与成为编码处理对象的对象高分辨率块的空间位置有关联的空间位置的低分辨率块的图像信号，可以不招致编码效率劣化地对具有物体的形状信息的图像信号进行层次编码处理。

本发明(方案2)是在方案1中所述的图像处理方法中，使构成上述高分辨率图像空间的各个像素与通过上述低分辨率图像空间的分辨率变换所得到的、空间分辨率与上述高分辨率图像空间相等的分辨率变换图像空间中的各个像素一一对应。

在这种构成的图像处理方法中，使高分辨率块中的多个像素全部对应于对低分辨率块进行分辨率变换的分辨率变换块中的规定像素，借此，可以进一步提高层次编码处理中的编码效率。

本发明(方案3)是在方案1中所述的图像处理方法中，使构成上述参照低分辨率块的像素的数量与构成上述对象高分辨率块的像素的数量相一致。

在这种构成的图像处理方法中，在高分辨率图像信号与低分辨率图像信号之间共用分块器和编码器成为可能，可以谋求电路构成的紧凑化。

本发明(方案4)是在方案1中所述的图像处理方法中，使上述参照低分辨率块的低分辨率图像空间中的相对位置与对象高分辨率块的高分辨率图像空间中的相对位置相一致。

在这种构成的图像处理方法中，因为对象高分辨率块的空间位置与参照低分辨率块的空间位置相一致，故构成高分辨率块的各像素的像素值与构成低分辨率块的各像素的像素值的差分不会不必要地变大，可以以很高的编码效率进行层次编码处理。

本发明(方案5)是在方案1中所述的图像处理方法中，根据针对上述参照低分辨率块的、用来识别编码处理方法的编码模式来切换模式信号，该模式信号表示针对上述对象高分辨率块的、用来识别编码处理方法的编码模式的编码方式。

在这种构成的图像处理方法中，通过在与针对低分辨率块的编码模式相一致的针对高分辨率块的编码模式中分配短码，可以减少表示高分辨率图像信号的编码模式的模式信号的编码处理中的编码比特数。

本发明(方案6)是在方案5中所述的图像处理方法中，以上述编码模式为表示图像空间上所显示的物体的形状的边界是否包含在上述对象高分辨率块内的编码模式。

在这种构成的图像处理方法中，在高分辨率块与物体的位置关系和低分辨率块与物体的位置关系相一致的场合，通过在表示高分辨率图像信号的编码模式的模式信号中分配短码，可以减少该编码模式信号的编码所需要的编码比特数。

本发明(方案7)是在方案5中所述的图像处理方法中，以上述编码模式为表示按像素依次对与上述参照低分辨率块相对应的图像信号进行编码的编码处理是否沿着水平扫描方向和竖直扫描方向中的某个扫描方向来进行的编码模式。

在这种构成的图像处理方法中，高分辨率图像信号沿着构成它们的像素值的关联大的扫描方向被编码，因此，在低分辨率图像信号与高分辨率图像信号之间，像素值的关联大的扫描方向相一致的场合，通过在表示高分辨率图像信号的编码模式的模式信号中分配短码，可以减少该编码模式信号的编码所需要的编码比特数。

本发明(方案8)是在方案1中所述的图像处理方法中，参照与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换与上述对象高分辨率块相对应的、表示上述高分辨率图像空间中的物体的运动的运动信息的编码方法。

在这种构成的图像处理方法中，因为在高分辨率图像信号与低分辨率图像信号之间存在着有关像素的大的关联，所以在高分辨率块和与其相对应的低分辨率块之间运动向量相一致的场合，通过在表示高分辨率图像信号的运动向量(编码模式)的模式信号中分配短码，可以减少运动向量的编码所需要的编码比特数。

本发明(方案9)是在方案1中所述的图像处理方法中，参照已经施行了编码处理的已处理高分辨率块的、表示高分辨率图像空间中的物体的运动的运动信息以及与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换表示与上述对象高分辨率块相对应的上述高分辨率图像空间中的物体的运动的运动信息的编码方法。

在这种构成的图像处理方法中，由于从与对象高分辨率块相对应的已处理高分辨率块的运动向量和与对象高分辨率块相对应的低分辨率块的运动向量，生成预测向量，根据该预测向量，对对象高分辨率块的运动向量进行编码，所以图像信号在画面间存在着有关像素值的关联，此外在高分辨率图像信号与低分辨率图像信号之间存在着有关像素值的大的关联，因此对象高分辨率块的运动向量与预测运动向量的误差减小，可以减少高分辨率图像信号的运动向量的编码所需要的编码比特数。

根据本发明(方案10)的图像处理方法是一种对对具有物体的形状信息的图像信号施行层次编码处理所得到的至少两个分块了的层次编码信号中的低分辨率编码信号进行解码，生成与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应的低分辨率解码信号，综合该低分辨率解码信号而生成与上述低分辨率图像空间相对应的低分辨率综合信号，参照对应的低分辨率解码信号，对上述两个分块了的层次编码信号中的高分辨率编码信号进行解码，生成与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应的高分辨率解码信号，综合该高分辨率解码信号而生成与上述高分辨率图像空间相对应的高分辨率综合信号的层次图像解码方法，该方法把在上述高分辨率编码信号的解码处理之际所参照的参照低分辨率块设定成其在低分辨率图像空间中的空间位置，对应于与该参照低分辨率块相对应的成为上述解码处理的对象的对象高分辨率块，在高分辨率图像空间中的空间位置的低分辨率块。

在这种构成的图像处理方法中，在高分辨率图像信号的解码处理之际，在低分辨率图像空间中，处在与成为解码处理对象的对象高分辨率块的空间位置有关联的空间位置的低分辨率块的解码信号被参照，可以实现抑制编码效率劣化的、具有物体的形状信息的图像信号的与层次编码处理相对应的层次解码处理。

本发明(方案11)是在方案10中所述的图像处理方法中，使构成上述高分辨率图像空间的各个像素与通过上述低分辨率图像空间的分辨率变换所得到的、空间分辨率与上述高分辨率图像空间相等的分辨率变换图像空间中的各个像素一一对应。

在这种构成的图像处理方法中，高分辨率块中的多个像素全都对应于通过低分辨率块的分辨率变换所得到的分辨率变换块中的规定的像素，借此，可以得到编码效率高的针对层次编码处理的层次解码处理。

本发明(方案12)是在方案10中所述的图像处理方法中，使构成上述参照低分辨率块的像素数与构成上述对象高分辨率块的像素数相一致。

在这种构成的图像处理方法中，在高分辨率编码信号与低分辨率编码信号之间共用解码器和逆分块器成为可能，可以谋求电路构成的紧凑化。

本发明(方案13)是在方案10中所述的图像处理方法中，使上述参照低分辨率块的低分辨率图像空间中的相对位置与对象高分辨率块的高分辨率图像空间中的相对位置相一致。

在这种构成的图像处理方法中，因为对象高分辨率块的空间位置与参照低分辨率块的空间位置相一致，故构成高分辨率块的各像素的像素值与构成低分辨率块的各像素的像素值的差分不会不必要地变大，从而可以实现编码效率高的与层次编码处理相对应的层次解码处理。

本发明(方案14)是在方案10中所述的图像处理方法中，根据针对上述参照低分辨率块的用来识别解码处理方法的编码模式，来切换模式编码信号，该模式编码信号表示针对上述对象高分辨率块的、用来识别解码处理方法的编码模式的解码方式。

在这种构成的图像处理方法中，通过在与针对低分辨率块的编码模式相一致的表示高分辨率块的编码模式的模式信号中分配短码，可以实现减少了表示高分辨率图像信号的编码模式的模式信号的编码中所用的编码比特数的与层次编码处理相对应的层次解码处理。

本发明(方案15)是在方案14中所述的图像处理方法中，以上述编码模式为表示图像空间上所显示的物体的形状的边界是否包含在上述对象高分辨率块内的编码模式。

在这种构成的图像处理方法中，在高分辨率块与物体的位置关系和低分辨率块与物体的位置关系相一致的场合，通过在表示高分辨率图像信号的编码模式的模式信号中分配短码，可以实现减少了编码比特数的与层次编码处理相对应的层次解码处理。

本发明(方案16)是在方案14中所述的图像处理方法中，以上述编码模式为表示按像素依次对与参照低分辨率块相对应的图像信号进行解码的解码处理是否沿着水平扫描方向和竖直扫描方向中的某个扫描方向来进行的编码模式。

在这种构成的图像处理方法中，在低分辨率图像信号与高分辨率图像信号之间像素值的关联大的扫描方向相一致的场合，通过在表示高分辨率图像信号的编码模式的模式信号中分配短码，可以实现减少了编码比特数的与层次编码处理相对应的层次解码处理。

本发明(方案17)是在方案10中所述的图像处理方法中，参照与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换与上述对象高分辨率块相对应的、表示上述高分辨率图像空间中的物体的运动的运动信息的解码方法。

在这种构成的图像处理方法中，在高分辨率块和与其相对应的低分辨率块之间运动向量相一致的场合，通过在表示高分辨率图像信号的运动向量(编码模式)的模式信号中分配短码，可以实现减少了编码比特数的与层次编码处理相对应的层次解码处理。

本发明(方案18)是在方案10中所述的图像处理方法中，参照已经施行了解码处理的已处理高分辨率块的、表示高分辨率图像空间中的物体的运动的运动信息和与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换与上述对象高分辨率块相对应的、表示上述高分辨率图像空间中的物体的运动的运动信息的解码方法。

在这种构成的图像处理方法中，对象高分辨率块的运动向量与预测运动向量的误差减小，可以实现减少了编码比特数的与层次编码处理相对应的层次解码处理。

本发明(方案19)的图像处理装置是一个接受具有物体的形状信息的图像输入信号，对形成空间分辨率不同的多个图像空间的层次图像信号进行编码的层次图像编码装置，包括：对上述图像输入信号进行二次采样而生成低分辨率图像信号的二次采样装置；把该低分辨率图像信号分块成与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应的第1分块装置；依次进行对成为编码处理对象的形成低分辨率块的低分辨率图像信号的编码处理的第1编码装置；把上述图像输入信号作为高分辨率图像信号分块成与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应的第2分块装置；依次进行对成为编码处理对象的形成低高晰度块的高分辨率图像信号的编码处理的第2编码装置；其中在上述编码处理之际所参照的参照低分辨率块被设定成其在低分辨率图像空间中的空间位置对应于与该参照低分辨率块相对应的上述对象高分辨率块在高分辨率图像空间中的空间位置的低分辨率块。

在这种构成的图像处理装置中，在高分辨率图像信号的编码处理之际，在低分辨率图像空间中，处在与成为编码处理对象的对象高分辨率块的空间位置有关联的空间位置的低分辨率块的图像信号被参照，可以不招致编码效率劣化地对具有物体的形状信息的图像信号进行层次编码处理。

根据本发明(方案20)的图像处理装置是一个对对具有物体的形状信息的图像信号施行层次编码处理所得到的至少两个分块了的层次编码信号进行解码的层次图像解码装置，包括：对上述两个分块了的层次编码信号中的低分辨率编码信号进行解码，生成与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应的低分辨率解码信号的第1解码装置；综合与各该低分辨率块相对应的低分辨率解码信号，生成与上述低分辨率图像空间相对应的低分辨率综合信号的第1逆分块装置；参照对应的低分辨率解码信号，对上述两个分块了的层次编码信号中的高分辨率编码信号进行解码，生成与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应的高分辨率解码信号的第2解码装置；以及综合与各该高分辨率块相对应的高分辨率解码信号，生成与上述高分辨率图像空间相对应的高分辨率综合信号的第2逆分块装置；其中在上述高分辨率编码信号的解码处理之际所参照的参照低分辨率块被设定成为其在低分辨率图像空间中的空间位置对应于与该参照低分辨率块相对应的成为上述解码处理的对象的对象高分辨率块在高分辨率图像空间中的空间位置的低分辨率块。

在这种构成的图像处理装置中，在高分辨率图像信号的解码处理之际，在低分辨率图像空间中，处在与成为解码处理对象的对象高分辨率块的空间位置有关联的空间位置的低分辨率块的图像解码信号被参照，可以实现抑制编码效率劣化的、具有物体的形状信息的图像信号的与层次编码处理相对应的层次解码处理。

根据本发明(方案21)的数据记录媒体是一个储存用来在计算机中进行层次图像编码处理的程序的数据记录媒体，其中上述程序被构筑成能使计算机进行按方案1中所述的图像处理方法的层次图像编码处理。

在这种构成的数据记录媒体中，在高分辨率图像信号的编码处理之际，在低分辨率图像空间中，处在与成为编码处理对象的对象高分辨率块的空间位置有关联的空间位置的低分辨率块的图像信号被参照，可以用计算机实现针对具有物体的形状信息的图像信号的，不招致编码效率劣化的层次编码处理。

根据本发明(方案22)的数据记录媒体是一种储存用来在计算机中进行层次图像解码处理的程序的数据记录媒体，其中上述程序被构筑成计算机将进行按方案10中所述的图像处理方法的层次图像解码处理。

在这种构成的数据记录媒体中，在高分辨率图像信号的解码处理之际，在低分辨率图像空间中，处在与成为解码处理对象的对象高分辨率块的空间位置有关联的空间位置的低分辨率块的图像信号被参照，可以由计算机实现抑制编码效率劣化的，具有物体的形状信息的图像信号的与层次编码处理相对应的层次解码处理。

图1是用来作为根据本发明的第1实施例的图像处理装置说明的层次图像编码装置的方框图。

图2(a)～图2(d)是用来说明上述第1实施例的层次图像编码装置的操作过程的示意图。

图3是用来作为根据本发明的第2实施例的图像处理装置说明的层次图像编码装置的方框图。

图4(a)～图4(f)是用来说明根据本发明的第2实施例的层次图像编码装置的工作过程的示意图。

图5是用来作为根据本发明的第3实施例的图像处理装置说明的层次图像编码装置的方框图。

图6(a)～图6(d)是用来说明根据本发明的第3实施例的层次图像编码装置的操作过程的示意图。

图7是用来作为根据本发明的第4实施例的图像处理装置说明的层次图像编码装置的方框图。

图8是用来作为根据本发明的第5实施例的图像处理装置说明的层次图像解码装置的方框图。

图9(a)和图9(b)是用来作为根据本发明的第6实施例的图像处理装置说明的层次图像编码装置的方框图。

图10(a)和图10(b)是用来作为根据本发明的第7实施例的图像处理装置说明的层次图像解码装置的方框图。

图11(a)和图11(b)是用来作为根据本发明的第8实施例的图像处理装置说明的层次图像编码装置的方框图。

图12(a)～图12(d)是用来说明上述第8实施例的层次图像编码装置的操作过程的示意图。

图13(a)和图13(b)是用来作为根据本发明的第9实施例的图像处理装置说明的层次图像解码装置的方框图。

图14(a)和图14(b)是用来作为根据本发明的第10实施例的图像处理装置说明的层次图像编码装置的方框图。

图15(a)和图15(b)是用来作为根据本发明的第11实施例的图像处理装置说明的层次图像解码装置的方框图。

图16(a)～图16(c)是用来作为根据本发明的第12实施例的图像处理装置说明的层次图像编码装置的方框图。

图17(a)～图17(c)是用来作为根据本发明的第13实施例的图像处理装置说明的层次图像解码装置的方框图。

图18(a)～图18(c)是用来作为根据本发明的第14实施例的图像处理装置说明的层次图像编码装置的方框图。

图19(a)～图19(d)是用来说明上述第14实施例的层次图像编码装置的操作过程的示意图。

图20(a)～图20(c)是用来作为根据本发明的第15实施例的图像处理装置说明的层次图像解码装置的方框图。

图21(a)～图21(c)是表示储存用来利用计算机系统实现由上述各实施例的图像处理装置进行的层次编码处理或层次解码处理的程序的数据记录媒体的示意图。

图22是用来说明现有的层次图像编码处理的示意图。

图23是用来作为现有的图像处理装置说明层次图像编码装置的方框图。

图24是用来作为现有的图像处理装置说明层次图像解码装置的方框图。

下面用图1至图21就本发明的实施例进行说明。

第1实施例

图1是用来说明作为本发明的第1实施例的图像处理装置(层次图像编码装置)的方框图。此外，图2(a)～图2(d)是用来说明由上述第1实施例的层次图像编码装置进行的编码处理的示意图。图中，LF是与低分辨率图像信号相对应的显示画面(参照图2(a))，HF是与高分辨率图像信号相对应的显示画面(参照图2(b))。此外，Lob是由低分辨率图像信号在上述帧(显示画面)LF上所显示的一个物体的图像，Hob是由高分辨率图像信号在上述帧(显示画面)HF上所显示的一个物体的图像，各图像Lob和Hob的点显示区是各物体内部的区域。

该第1实施例的层次图像编码装置101的构成为，即接受图像输入信号，以该图像输入信号作为高分辨率图像信号HSg来进行层次编码处理。

也就是说，该层次图像编码装置101与现有的层次图像编码装置201a同样，包括：对上述高分辨率图像信号HSg进行二次采样的二次采样器2；对作为该二次采样器2的输出的低分辨率图像信号LSg进行编码的低分辨率编码单元101L；对作为其输出的低分辨率编码信号LEg进行解码的解码器9a；对该解码器9a的输出Ldg进行上采样的上采样器10a；以及根据该上采样器10a的输出LAg，对上述高分辨率图像信号HSg进行编码的高分辨率编码单元101H。

此外，上述各个编码单元101L和101H与现有的层次图像编码装置200a同样，分别带有区域检测器30a和12、区域提取器5和14、分块器6和15以及编码器7和16a。

而且，在第1实施例中，只有上述区域检测器30a与现有的层次图像编码装置200a中的区域检测器构成不同。也就是说，该区域检测器30a成为这样的构成，即参照高分辨率帧HF(参照图2(b))上的表示与各个物体Hob相对应的矩形区HR的范围的矩形信号HRg，来检测低分辨率帧LF(参照图2(a))上的表示与各个物体Lob相对应的矩形区LR的范围。具体地说，在上述区域检测器30a中，根据高分辨率矩形信号HRg来检测高分辨率矩形区HR的空间位置HRp，这样来确定低分辨率矩形区LR的空间位置LRp，使得通过对低分辨率图像信号LSg的上采样所得到的插补矩形区AR的空间位置ARp与上述高分辨率矩形区HR的空间位置HRp相一致。

再者，在这种构成的区域检测器30a中，低分辨率矩形区LR的空间位置LRp的检测进行到使插补矩形区AR的空间位置ARp与上述高分辨率矩形区HR的空间位置HRp相一致就可以了，进行上述区域的位置检测，没有必要一定使低分辨率矩形区LR的空间位置LRp与高分辨率矩形区HR的空间位置HRp相一致。此外，上述编码器16a与现有的层次图像编码装置200a中的编码器16具有完全相同的构成。

下面就操作过程进行说明。

高分辨率图像信号HSg一旦作为图像输入信号输入本图像编码装置101a，上述高分辨率图像信号HSg就在二次采样器2中通过其二次采样而变换成低分辨率图像信号LSg。然后，在各个编码单元101H和101L中，分别进行高分辨率图像信号HSg和低分辨率图像信号LSg的编码处理。

这里，在上述高分辨率编码单元101H中，进行与现有的层次图像编码装置200a中的高分辨率编码单元201H完全相同的图像信号的处理。此外，在上述低分辨率编码单元101L中，除了由区域检测器30a进行的帧LF上的低分辨率矩形区LR的位置检测处理之外，进行与现有的层次图像编码装置200a中的低分辨率编码单元201L完全相同的处理。

因此，下面以上述区域检测器30a的操作为主，就由上述低分辨率编码单元101L进行的编码处理进行说明。

在该第1实施例中，由高分辨率编码单元101H的区域检测器12根据高分辨率图像信号HSg来检测对应的物体Hob的矩形区HR(参照图2(b))，由上述区域检测器30a根据上述高分辨率矩形区HR的空间位置HRp，来检测低分辨率图像信号LSg的矩形区LR的空间位置LRp(参照图2(a))。

也就是说，在上述区域检测器30a中，在高分辨率矩形区HR的基准位置HRp沿水平方向按距离(HΔx)、沿竖直方向按距离(HΔy)离开高分辨率帧HF的基准位置HFp的场合，把低分辨率矩形区LR这样配置在低分辨率帧LF上，以便使其基准位置LRp与低分辨率帧LF的基准位置LFp的水平方向的距离为(LΔx)，竖直方向的距离为(LΔy)。此时，上述距离(HΔx)/距离(LΔx)和距离(HΔy)/距离(LΔy)设定成与高分辨率图像的空间分辨率对低分辨率图像的空间分辨率的比率(这里取为2/1)相一致。

这样一来，通过在低分辨率帧LF上设定矩形区LR的位置，可以使低分辨率帧LF上的低分辨率矩形区LR的空间位置(基准位置)与高分辨率帧HF上的高分辨率矩形区HR的空间位置(基准位置)相一致。

然后，与如上所述在低分辨率帧LF上所设定的低分辨率矩形区LR相对应的图像信号LOg在分块器6中被这样分块，以便对应于划分上述矩形区LR的各块LMB。进而所分块的图像信号LBg在编码器7中被编码，作为低分辨率编码信号LEg而输出。这里，上述块LMB是由16×16像素组成的图像空间。

此外，低分辨率编码信号LEg由解码器9a变换成低分辨率解码信号Ldg，该信号Ldg进而由上采样器10a来插补，被变换成空间分辨率与高分辨率图像信号HSg相等的插补图像信号LAg。在此一场合，划分与通过上述低分辨率编码信号LEg的上采样所得到的插补图像信号LAg相对应的插补矩形区AR的块AMB成为由32×32像素组成的图像空间。

图2(c)示出了与上述插补图像信号LAg相对应的、具有与高分辨率帧HF相同的空间分辨率的插补帧AF，和该插补帧AF中的、与插补图像信号LAg相对应的插补图像Aob。针对上述插补帧AF的与该插补图像相对应的插补矩形区AR的相对位置，与针对高分辨率帧HF的高分辨率矩形区HR的相对位置相一致。

另一方面，高分辨率图像信号HSg一旦输入区域提取器14，就在该区域提取器14中根据来自上述区域检测器12的矩形信号HRg提取与高分辨率矩形区HR相对应的图像信号HOg，进而，在分块器15中，该图像信号HOg被分割成对应于划分该矩形区HR的各块HMB1，输出与各块HMB1相对应的图像信号HBg。然后，在编码器16a中，该分块图像信号HBg通过参照上述插补图像信号LAg的编码处理，变换成高分辨率编码信号HEg。这里块HMB1是由32×32像素组成的图像空间。

此时，因为上述插补矩形区AR在帧AF上的相对位置与高分辨率矩形区HR在帧HF上的相对位置相一致，故在上述编码器16a中，可以以各矩形区的块单位很容易地计算分块图像信号的差分值，可以对构成高分辨率图像的像素的像素值与构成插补图像的像素的像素值的差分值简单地进行编码。

再者，图2(d)把与上述差分值(误差)D相对应的差分图像D表示在高分辨率帧HF上。

这样一来，在本第1实施例中，由于构成高分辨率矩形区HR的块HMB1的空间位置与构成对低分辨率矩形区LR进行分辨率变换所得到的插补矩形区AR的块AMB的空间位置相一致，所以在进行以与高分辨率帧HF内的各个物体相对应的矩形区HR为对象的层次编码处理之际，可以参照低分辨率图像信号LSg，不招致编码效率的降低地进行高分辨率图像信号HSg的编码处理。

第2实施例

图3是用来说明根据本发明的第2实施例的图像处理装置(层次图像编码装置)的方框图。

虽然在上述第1实施例中，示出了以对低分辨率图像信号进行分辨率变换的插补图像信号与高分辨率图像信号的差分值为误差而进行编码的构成作为层次图像编码装置，但是在图像信号为双值的图像信号也就是双值形状信号的场合，存在着对块的差分值直接进行编码的更加有效的方法。

因此，第2实施例的层次图像编码装置102具有对根据低分辨率图像信号所得到的图像的边界、与根据高分辨率图像信号所得到的图像的边界的错位的大小进行编码的编码器16b，代替对把低分辨率图像信号进行分辨率变换所得到的插补图像信号与高分辨率图像信号的差分值进行编码的第1实施例的编码器16a，其他构成与第1实施例的层次图像编码装置101相同。也就是说，构成第2实施例的层次图像编码装置102的低分辨率编码单元102L与上述第1实施例的构成相同，此外构成层次图像编码装置102的高分辨率编码单元102H中，只有编码器16b的构成与上述第1实施例的不同。

下面就其作用和效果进行说明。

图4是用来说明由上述第2实施例的层次图像编码装置进行的编码处理的示意图，图4(a)示出与低分辨率图像信号相对应的帧LF，图4(b)示出与高分辨率图像信号相对应的帧HF，图4(c)示出与分辨率变换图像信号(插补图像信号)相对应的帧AF。此外，图4(d)示出设定在帧HF上的矩形区HR内的物体Hob的边界HB，图4(e)示出设定在帧AF上的矩形区AR内的物体Aob的边界AB，而图4(f)在上述帧HF上把与高分辨率图像信号相对应的物体Hob的边界HB和与插补图像信号相对应的物体Aob的边界AB重合起来示出。

这里所谓的物体的边界，是指构成图像信号的双值的形状信号的值在空间上变化的像素的位置。

在该第2实施例中，与上述第1实施例同样，由高分辨率编码单元102H的区域检测器12根据高分辨率图像信号HSg来检测对应的物体的矩形区HR(参照图4(b))，由低分辨率编码单元102L的区域检测器30a以这样的方式来检测低分辨率图像信号LSg的矩形区LR的空间位置LRp(参照图4(a))，亦即使空间位置与上述矩形区HR相一致。

这样一来，通过在低分辨率帧LF上设定矩形区LR的位置LRp，可以使低分辨率帧LF上的低分辨率矩形区LR的位置LRp与高分辨率帧HF上的高分辨率矩形区HR的位置HRp相一致。

然后，与设定在低分辨率帧上的低分辨率矩形区相对应的图像信号LOg如上面所述的那样在分块器6中被分块，进而该分块图像信号LBg在编码器7中被编码，作为低分辨率编码信号LEg输出。此一低分辨率编码信号LEg被施以由解码器9a进行的解码处理和由上采样器10a进行的插补处理，变换成具有与高分辨率图像信号相等的空间分辨率的插补图像信号LAg(参照图4(c))。

另一方面，在区域提取器14中，从高分辨率图像信号HSg中提取与高分辨率矩形区HR相对应的图像信号HOg，这一图像信号HOg在分块器15中被分块。

然后，在编码器16b中，根据从分块后的图像信号HBg所得到的物体Hob的边界位置HB和从上述插补图像信号LAg所得到的物体Aob的边界位置AB，两者的错位量ΔB被编码并作为高分辨率编码信号HEg输出。

这样一来，在本第2实施例中，由于具有对从低分辨率图像信号所得到的插补图像的边界与从高分辨率图像信号所得到的图像的边界的错位的大小进行编码的编码器16b，所以在图像信号为双值图像信号的场合，也能以很高的编码效率进行层次编码处理。

再者，虽然在上述第2实施例中示出了对高分辨率图像Hob的边界HB与插补图像Aob的边界AB的错位进行编码的层次编码处理，但是针对双值图像信号的层次编码处理，也可以根据从低分辨率图像信号所得到的插补图像信号，按像素来切换用于高分辨率图像信号的编码处理的编码表。

第3实施例

图5是用来说明根据本发明的第3实施例的图像处理装置(层次图像编码装置)的方框图。

虽然在上述第1实施例中示出了对低分辨率矩形区进行分辨率变换所得到的插补矩形区中的各块的位置与高分辨率矩形区中的各块的位置完全一致的例子，但是在综合高分辨率矩形区的多个块的综合块与插补矩形区的一个块相一致的场合，也可以与上述第1实施例同样地避免编码效率的降低地进行层次编码处理。

因此，第3实施例的层次图像编码装置103设置成这样的构成，即具有把综合分块了的高分辨率图像信号的综合信号与分块了的插补图像信号进行比较、求出该综合信号与插补图像信号的差分值、对这一差分值进行编码的编码器16c，代替把分块了的插补图像信号与分块了的高分辨率图像信号进行比较而求出差分值的构成的编码器16a。此外，在第3实施例中，构成高分辨率矩形区HR的高分辨率块HMB2(参照图6(b))与构成低分辨率矩形区LR的低分辨率块LMB(参照图6(a))同样，设置成由16×16像素组成的图像空间；构成插补矩形区AR的插补块AMB(参照图6(c))则被设置成由32×32像素组成的图像空间。因而，在第3实施例中，分块器15为这样的构成，即以由16×16像素组成的块HMB2为单位进行高分辨率图像信号的分块处理。而且，第3实施例的层次图像编码装置103中的其他构成设置成与上述第1实施例的层次图像编码装置101相同。也就是说，构成该第3实施例的层次图像编码装置103的低分辨率编码单元103L与上述第1实施例的构成相同。此外，构成层次图像编码装置103的高分辨率编码单元103H中只有编码器16c的构成与上述第1实施例的不同。

下面就其作用和效果进行说明。

图6是用来说明由上述第3实施例的层次图像编码装置进行的编码处理的示意图，图6(a)示出与低分辨率图像信号相对应的显示画面(帧)LF，图6(b)示出与高分辨率图像信号相对应的显示画面(帧)HF。此外，图6(c)示出与对低分辨率图像信号进行分辨率变换的插补图像信号相对应的显示画面(帧)AF。

在第3实施例中，由区域检测器12根据高分辨率图像信号HSg，检测与该信号相对应的物体Hob的矩形区HR(参照图6(b))，由区域检测器30a以这样的方式来检测低分辨率图像信号LSg的矩形区LR的空间位置LRp(参照图6(a))，就是使上述矩形区HR的空间位置HRp与插补矩形区AR的空间位置ARp相一致。

这样一来，通过在低分辨率帧LF上设定矩形区LR的空间位置LRp，可以使低分辨率帧LF上的低分辨率矩形区LR的空间位置LRp与高分辨率帧HF上的高分辨率矩形区HR的空间位置HRp实际上相一致。

然后，如上所述，与在低分辨率帧LF上所设定的低分辨率矩形区相对应的图像信号LOg在分块器6中被分块，进而该分块了的图像信号LBg在编码器7中被编码，作为低分辨率编码信号LEg输出。该低分辨率编码信号LEg被施以由解码器9a进行的解码处理和由上采样器10a进行的插补处理，变换成具有与高分辨率图像信号相等的空间分辨率的插补图像信号LAg(图6(c))。

另一方面，在区域提取器14中从高分辨率图像信号HSg中提取与矩形区HR相对应的图像信号HOg，该图像信号HOg在分块器15中被分块成对应于由16×16像素组成的块HMB2。

此时，因为构成上述插补图像Aob的矩形区AR的一个块AMB与综合构成高分辨率图像Hob的矩形区HR的4个块HMB2的区域相一致，故在上述编码器16c中参照与一个块AMB相对应的插补图像信号，对与该块相一致的与高分辨率矩形区的4个块HMB2相对应的图像信号HBg进行编码。也就是说，对与该4个块HMB2相对应的图像信号HOg和与上述一个块AMB相对应的插补图像信号LAg的差分值进行编码，作为高分辨率编码信号HEg输出。

这样一来，在第3实施例中，由于对与综合4个高分辨率块HMB2的综合区相对应的高分辨率图像信号HOg和与与该综合区相一致的插补一个块AMB相对应的插补图像信号ALg的差分值进行编码，所以即使在高分辨率块与插补块不一一对应的场合，也可以采取高分辨率块中的像素与插补块中的像素的对应，可以参照低分辨率图像信号对高分辨率图像信号进行编码。

此外，因为可以如上所述采取高分辨率块与插补块的对应，故可以很容易地实现块单位的信息(编码模式信息等)的预测编码，而且因为采取两个块间的空间位置的对应，故编码效率也提高。

此外，在该第3实施例中，因为分割低分辨率矩形区的块的大小与分割高分辨率矩形区的块是相同的大小，故低分辨率编码单元中的编码器7与高分辨率编码单元中的编码器17的构成几乎相同，通过时间分割处理等可以很容易地实现编码单元的硬件资源的共享。

第4实施例

图7是用来说明根据本发明的第4实施例的图像处理装置(层次图像编码装置)的方框图。

第4实施例的层次图像编码装置104省略了第1实施例中的与低分辨率图像信号相对应的区域检测器30a，具有根据第1实施例中的区域检测器12的输出HRg、提取在低分辨率帧LF上处在与高分辨率矩形区HR的空间位置相对应的空间位置的低分辨率矩形区LR的区域提取器31d，代替第1实施例的区域提取器5。

也就是说，该第4实施例的层次图像编码装置104的低分辨率编码单元104L由上述区域提取器31d、对其输出进行分块的分块器6、以及对分块了的图像信号进行编码的编码器7构成。此外，上述层次图像编码装置104的高分辨率编码单元104H与第1实施例的高分辨率编码单元101H完全相同，由区域检测器12、区域提取器14、分块器15、以及编码器16a构成。

下面就作用效果进行说明。

根据二次采样器2的空间分辨率变换方法的工作原理，在查明与对低分辨率图像信号进行分辨率变换所得到的插补图像信号相对应的物体的形状始终不大于与高分辨率图像信号相对应的物体的形状的大小的场合下，把与矩形信号HRg所示的高分辨率矩形区HR相对应的空间位置HRp(参照图2(b))设置成与其相对应的低分辨率矩形区LR的空间位置LRp(参照图2(a))，借此可以把低分辨率图像信号的物体Lob完全包含于低分辨率矩形区LR中。

由于这一点意味着不需要第1实施例中的从低分辨率图像信号LSg中提取与包含物体的矩形区LR相对应的矩形信号LRg，所以只要上述二次采样器2满足上述条件，就可以用比较简单的构成实现与第1实施例的图像编码装置相同的效果。

也就是说，在第4实施例的层次图像编码装置104中，对于图像输入信号的高分辨率图像信号HSg，由高分辨率编码单元104H施以与上述第1实施例完全相同的处理。

此外，通过上述高分辨率图像信号HSg的二次采样所得到的低分辨率图像信号LSg，通过与上述第1实施例几乎同样的处理，在低分辨率编码单元104L中被编码。此时，区域提取器31d接受低分辨率图像信号LSg，根据高分辨率编码单元104H的区域检测器12的输出HRg，来确定低分辨率帧上的矩形区的位置，把与该矩形区相对应的图像信号LOg输出到分块器6。该图像信号LOg在分块器6中被分块，进而分块了的图像信号LBg在编码器7中被编码，从低分辨率编码单元104L输出与各块相对应的低分辨率编码信号LEg。

该低分辨率编码信号LEg在解码器9a中被解码，该解码器9a的输出Ldg在上采样器10a中被变换成具有与高分辨率图像信号相同的空间分辨率的插补图像信号LAg，输出到高分辨率编码单元104H的编码器16a。

这样，在本第4实施例中，由于在低分辨率编码单元104L的区域提取器31d中根据作为高分辨率编码单元104H的区域检测器12的输出的矩形信号HRg来确定低分辨率帧上的矩形区LR的位置，所以在低分辨率编码单元104L中不需要区域提取用的电路构成，可以用比较简单的构成来实现与第1实施例的图像编码装置相同的效果。

第5实施例

图8是用来说明根据本发明的第5实施例的图像处理装置(层次图像解码装置)的方框图。

第5实施例的层次图像解码装置105的构成如下，即以由图7中所示的第4实施例的层次图像编码装置104编码了的低分辨率编码信号LEg和高分辨率编码信号HEg为输入信号进行层次解码处理。也就是说，层次图像解码装置105与现有的层次图像解码装置200b同样，具有对上述低分辨率编码信号LEg施行解码处理，生成低分辨率再生信号LCg的低分辨率解码单元105L；通过上采样对该解码单元105L中的解码信号LDg进行插补的上采样器10b；以及根据该上采样器10b的输出LAg对上述高分辨率编码信号HEg进行解码，生成高分辨率再生信号HCg的高分辨率解码单元105H。

这里，上述各解码单元105L和105H与现有的层次图像解码装置200b同样，分别具有解码器9和30、逆分块器20和31、以及区域合成器34和32。

而且在本第5实施例中，上述区域合成器34为这样的构成，即参照来自上述第4实施例的层次图像编码装置104的高分辨率矩形信号HRg，把低分辨率矩形区配置在低分辨率帧上的、该矩形信号HRg所示的位置，把与该矩形区相对应的图像信号LIg合成于与帧相对应的其他图像信号，只有这一点与图24中所示的现有的层次图像解码装置200b不同。

下面就其操作过程进行说明。

作为上述第4实施例的层次图像编码装置104的输出的低分辨率编码信号LEg和高分辨率编码信号HEg一旦输入本层次图像解码装置105，低分辨率编码信号LEg就在低分辨率解码单元105L中由解码器9来进行解码，进而解码器9的输出LDg由逆分块器20来综合。进而，逆分块器20的输出LIg根据高分辨率矩形信号HRg被合成为与低分辨率帧相对应的图像信号。

此时，上述解码器9的输出LDg在上采样器10b中被插补并被输出到高分辨率解码单元105H。

此外，与上述现有的层次图像解码装置200b中完全相同，上述高分辨率编码信号HEg在高分辨率解码单元105H中根据来自上述上采样器10b的插补图像信号ADg和高分辨率矩形信号HRg被解码。

这样一来，在本第5实施例中，可以接受来自第4实施例的层次图像编码装置104的编码信号LEg、HEg以及矩形信号HRg，在区域合成器34中，通过与第4实施例的区域提取器30d同样的操作，把低分辨率矩形区合成于低分辨率帧上的、高分辨率矩形信号HRg所示的空间位置内。

因而，通过把与由逆分块器20所综合的图像解码信号相对应的图像配置在设定在低分辨率帧上的低分辨率空间区内，可以对由上述第4实施例的层次图像编码装置编码了的编码信号LEg和HEg正确地进行解码。

第6实施例

图9(a)和图9(b)是用来说明根据本发明的第6实施例的图像处理装置(层次图像编码装置)的方框图。

第6实施例的层次图像编码装置106与图1中所示的第1实施例的层次图像编码装置101同样，具有二次采样器2、低分辨率编码单元106L、解码器9a、上采样器10a以及高分辨率编码单元106H。这里，带有与上述第1实施例相同标号的是与第1实施例完全相同的构成。

而且，在此一第6实施例中，对低分辨率图像信号LSg进行编码的低分辨率编码单元106L具有生成并输出与分块了的低分辨率图像信号LBg相对应的低分辨率编码信号Leg、同时生成并输出表示各该分块图像信号LBg的编码模式的编码模式信号Mg的编码器7f，代替第1实施例的低分辨率编码单元101L中的编码器7，其他构成与第1实施例完全相同。

此外，在本第6实施例中，对高分辨率图像信号HSg进行编码的高分辨率编码单元106H，具有不仅根据上采样器10a的输出LAg而且根据上述编码模式信号Mg来进行分块了的高分辨率图像信号HBg的编码处理的编码器16f，代替上述第1实施例的高分辨率编码单元101H中的编码器16a，其他构成与第1实施例完全相同。

编码器16f具有接受上述分块了的高分辨率图像信号HBg，判定其编码模式并输出高分辨率块的编码模式信号MD的判定单元50；根据分块了的低分辨率图像信号LBg的编码模式信号Mg，对该编码模式信号MD进行编码并输出模式编码信号EMg的模式编码器51；以及对高分辨率分块图像信号HBg的编码方法不同的第1和第2编码器53和54(参照图9(b))。

这里的第1编码器53的构成为，参照对低分辨率解码信号Ldg进行上采样所得到的插补信号LAg，进行高分辨率分块图像信号HBg的编码处理；上述第2编码器54的构成为，不参照上述插补信号LAg地进行高分辨率分块图像信号HBg的编码处理。进而，具体地说，上述模式判定器50的构成为，根据上述高分辨率分块图像信号HBg，来判定是应该参照与低分辨率图像信号相对应的插补信号LAg对该分块图像信号HBg进行编码，还是应该不参照该插补信号LAg地对该图像信号HBg进行编码。

此外，上述编码器16f具有根据上述模式判定器50的输出(编码模式信号)MD，把上述高分辨率分块图像信号HBg供给到上述第1和第2编码器53、54中的某一方的前级开关52；根据上述模式判定器50的输出MD，来选择上述第1和第2编码器53、54中的某一个的输出HEg1或HEg2的后级开关55；以及对该后级开关55的输出SHEg和上述模式编码信号EMg进行多路复合的多路复合器56。

下面就其作用和效果进行说明。

作为图像输入信号的高分辨率图像信号HSg一旦输入层次图像编码装置106，就在二次采样器2中通过高分辨率图像信号HSg的二次采样而生成低分辨率图像信号LSg，该信号LSg在上述低分辨率编码单元106L中被编码。在该编码单元106L的编码器7f中，在低分辨率分块图像信号LBg的编码处理之际，输出与该图像信号LBg相对应的编码模式信号Mg。

另一方面，在高分辨率编码单元106H中，通过针对高分辨率图像信号HSg的、与第1实施例同样的区域检测处理和区域提取处理，生成与高分辨率矩形区HR相对应的图像信号HOg，进而通过分块处理从图像信号HOg生成与高分辨率块HMB1相对应的分块图像信号HBg。然后，该分块图像信号HBg在编码器16f中根据上述上采样输出LAg和编码模式信号Mg被编码。

也就是说，在由第6实施例的层次图像编码装置106进行的层次编码处理中，编码模式信号Mg从低分辨率编码单元106L的编码器7f输出到高分辨率编码单元106H的编码器16f，在编码器16f中，参照低分辨率分块图像信号LBg的编码模式Mg，对分块了的高分辨率图像信号HBg进行编码，这一点与上述第1实施例的编码处理不同。

下面，就上述编码器16f的详细操作简单地进行说明。

在上述编码器16f中，通过模式判定器50中的模式判定并根据分块了的高分辨率图像信号HBg来确定与该图像信号HBg相对应的编码方法。也就是说，确定是参照插补信号ALg来对该图像信号HBg进行编码，还是不参照插补信号ALg地对该图像信号HBg进行编码。于是，与这一模式判定结果相对应的编码模式信号MD从上述模式判定器50输出，在上述各开关52和55中，根据该编码模式信号MD来选择上述第1和第2编码器53和54中的某一个。借此，上述高分辨率图像信号HBg在所选择的编码器53或54中被编码，并输出到多路复合器56。

此外，此时在上述模式编码器51中，上述编码模式信号MD的编码处理根据低分辨率块的编码模式Mg来进行，在上述多路复合器56中，上述开关55的输出SHEg和上述模式编码器51的输出EMg被多路复合，作为高分辨率编码信号HEg输出。

这样一来，在本第6实施例中，由于在编码器16f中参照低分辨率块的编码模式进行高分辨率块的编码处理，所以可以实现编码效率更高的层次编码处理。

也就是说，上述高分辨率块的编码模式与对应的低分辨率块的编码模式有关。例如，在低分辨率块处在物体的边界部分的场合，对应的高分辨率块也处在边界部分的概率较高，同样，在低分辨率块处在物体外部或物体内部的场合，对应的高分辨率块也处在物体外部或物体内部的概率较高。

这样一来，因为低分辨率块的编码模式与高分辨率块的编码模式相一致的概率较高，故在高分辨率编码单元106H中的编码器16f中，通过参照低分辨率块的编码模式信号Mg进行在此一编码模式信号Mg和模式相同的高分辨率块的编码模式信号中分配短码的预测编码，可以比不参照低分辨率块的编码模式信号Mg的场合减少编码比特数。

再有，虽然在上述第6实施例中示出了这样的构成，即根据低分辨率块的编码模式来切换高分辨率图像信号的编码方法，同时切换高分辨率块的编码模式的编码方法；但是也可以设置成根据低分辨率块的编码模式来仅切换高分辨率图像信号的编码方法和高分辨率块的编码方法中的一方。

此外，虽然在第6实施例中示出了这样的构成，即作为层次图像编码装置106不仅根据低分辨率图像信号而且还根据低分辨率块的编码模式来进行图1中所示的上述第1实施例的层次图像编码装置101中的层次编码处理，但是这种层次图像编码装置不限于上述第6实施例，举个例子来说，也可以这样来构成，即根据低分辨率图像信号和低分辨率块的编码模式来进行图5中所示的第3实施例中的层次编码处理。

在这一场合下，参照与由16×16像素组成的低分辨率块LMB(参照图6(a))相对应的编码模式的、与由16×16像素组成的高分辨率块HMB2(参照图6(b))相对应的编码模式的编码处理，可以以与通过上述低分辨率块LMB的分辨率变换处理所得到的由32×32像素组成的一个插补块AMB(参照图6(c))相对应的、由4个高分辨率块HMB2组成的综合区为单位来进行。但是在这一场合下，对于与比低分辨率块LMB更小的单位相对应的信息(即像素值的预测误差等)来说，也与上述第3实施例同样，例如，如图6(d)中所示以像素单位，来计算与高分辨率帧HF相对应的像素值(图6(b))，和与分辨率变换(插补)帧AF相对应的像素值(图6(c))的误差(差分图像D)，以由16×16像素组成的小块单位对此一误差信号进行编码处理。

第7实施例

图10(a)和图10(b)是用来说明根据本发明的第7实施例的图像处理装置(层次图像解码装置)的方框图。

第7实施例的层次图像解码装置107与图24中所示的现有的层次图像解码装置200b同样，具有低分辨率解码单元107L、上采样器10b以及高分辨率解码单元107H。这里，带有与上述现有的层次图像解码装置200b中的相同标号的为与现有的层次图像解码装置200b的完全相同的构成。在根据该第7实施例的层次图像解码装置107中，参照从低分辨率的解码器9g输出的编码模式Mg来进行高分辨率编码信号HEg的解码处理，这一点与上述图24中所示的现有的层次图像解码装置200b不同。

也就是说，在第7实施例中，对低分辨率编码信号LEg进行解码的低分辨率解码单元107L具有同时输出低分辨率解码信号LDg和编码模式信号Mg的解码器9g，代替现有的层次图像解码装置200b的低分辨率解码单元202L中的解码器9，其他构成与现有的层次图像解码装置200b的构成完全相同。

此外，在本第7实施例中，对高分辨率编码信号HEg进行解码的高分辨率解码单元107H，具有不仅根据上述上采样器10b的输出ADg而且还根据上述编码模式信号Mg来进行所输入的高分辨率编码信号HEg的解码处理的解码器40g，代替上述现有的层次图像解码装置200b的高分辨率解码单元202H中的解码器30，其他构成与现有的层次图像解码装置200b完全相同。

该解码器40g具有从上述高分辨率编码信号HEg中分离并提取模式编码信号EMg的分离器60；对该所分离的模式编码信号EMg进行解码的模式解码器61；以及针对该模式编码信号EMg和所分离的高分辨率编码信号SHEg的解码方法不同的第1和第2解码器63和64。

此外，上述解码器40g还具有根据在上述模式解码器61中所解码的编码模式信号DMg，把上述高分辨率编码信号SHEg供给到上述第1和第2解码器63和64中的某一方的前级开关62；以及根据在上述模式解码器61中所解码的编码模式信号DMg来选择上述第1和第2解码器63和64中的某一个的输出HDg1或HDg2作为高分辨率解码信号HDg输出的后级开关65。

这里，上述第1解码器63的构成为，参照对低分辨率解码信号LDg进行上采样所得到的插补信号ADg，来进行高分辨率编码信号HEg的解码处理。此外第2解码器64的构成为，不参照上述插补信号ADg地进行高分辨率编码信号HEg的解码处理。

下面就其作用和效果进行说明。

高分辨率编码信号HEg和低分辨率编码信号LEg一旦输入本层次图像解码装置107，就在低分辨率解码单元107L中依次进行对上述编码信号LEg的解码处理和逆分块处理，通过该逆分块处理所综合的、与规定的矩形区相对应的低分辨率解码信号LIg由区域合成器21和与帧相对应的其他图像信号合成。

在进行这一解码处理之际，低分辨率解码信号LDg和编码模式信号Mg同时从解码器9g输出，该低分辨率解码信号LDg由上采样器10b来插补，被变换成空间分辨率与高分辨率解码信号HDg相等的插补解码信号ADg。

此外，在高分辨率解码单元107H中，对上述高分辨率编码信号HEg的由解码器40g进行的解码处理，根据上述编码模式信号Mg和插补解码信号ADg来进行，进而在逆分块器31中对解码器40g的输出HDg施以逆分块处理。然后通过逆分块处理所综合的、与规定的矩形区相对应的高分辨率解码信号HIg由区域合成器32和与帧相对应的其他图像信号合成。

下面，就上述解码器40g的详细操作进行说明。

在上述解码器40g中，在分离器60中，高分辨率编码信号HEg分离成与编码模式相对应的码部分EMg和其他码部分SHEg，与编码模式相对应的码部分EMg输出到模式解码器61，其他码部分SHEg输出到前级开关62。此时在上述模式解码器61中，与高分辨率块相对应的模式编码信号参照低分辨率块的编码模式信号Mg被解码。在上述各开关62和65中，参照高分辨率块的解码了的编码模式信号DMg，选择第1解码器63和第2解码器64中的某一方以及某一个解码器的输出HDg1或HDg2作为解码器40g的输出HDg而输出。

这样一来，由于在本第7实施例中设置成不仅根据通过对低分辨率解码信号LDg上采样而插补了的插补解码信号ADg而且还根据低分辨率块的编码模式信号Mg来进行高分辨率编码信号HEg的解码处理，所以使由图9中所示的第6实施例的层次图像编码装置106所编码的高分辨率编码信号HEg在解码器40g中参照编码模式信号Mg被解码，可以进行与第6实施例中的编码器16f进行的编码处理相对应的解码处理。因此，可以对由第6实施例的层次图像编码装置所编码的低分辨率编码信号LEg和高分辨率编码信号HEg正确地进行解码。

再者，虽然在上述第7实施例中设置成根据低分辨率块的编码模式来切换高分辨率编码信号的解码方法和高分辨率块的编码模式的解码方法，但是也可以设成根据低分辨率块的编码模式，仅切换上述高分辨率编码信号的解码方法和高分辨率块的编码模式的解码方法中的一方。

第8实施例

图11是用来说明根据本发明的第8实施例的图像处理装置(层次图像编码装置)的示意图，图11(a)是表示其总体构成的方框图，图11(b)是表示构成该层次图像编码装置的编码器的详细构成的方框图。

第8实施例中的层次图像编码装置108具有根据物体的形状来切换编码模式的编码器16h，代替图9中所示的第6实施例的层次图像编码装置106中的编码器16f，其他构成与上述第6实施例的层次图像编码装置106相同。

而且，第8实施例的编码器16h具有接受分块了的高分辨率编码信号HBg，判定物体的边界是否包含在与此一图像信号相对应的块内，输出与判定结果相对应的判定信号BD，同时输出表示物体的边界包含在该块内的判定信号BD1的边界判定器70；以及接受上述高分辨率编码信号HBg和上述判定信号BD1，当物体的边界包含在上述块内时，输出表示是否应该参照低分辨率图像信号LSg的识别信号MD1的模式判定器75。

此外，上述编码器16h还具有根据低分辨率编码信号LEg的编码模式信号Mg对该判定信号BD和识别信号MD1进行编码并输出模式编码信号EMg的模式编码器71；对高分辨率图像信号HSg的任意形状的编码处理的方法不同的第1和第2任意形状编码器73a和73b；以及对高分辨率图像信号HSg施行固定形状编码处理的固定形状编码器74。

这里，上述第1任意形状编码器73a的构成为，参照对低分辨率解码信号Ldg进行上采样所得到的插补信号LAg来进行高分辨率图像信号HSg的任意形状编码处理。上述第2任意形状编码器73b的构成为，不参照对低分辨率解码信号进行上采样所得到的插补信号LAg地进行高分辨率图像信号HSg的任意形状编码处理。

此外，上述编码器16h还具有根据上述边界判定器70的输出BD和模式判定器75的输出MD1，把上述高分辨率图像信号HSg供给到上述第1、第2任意形状编码器73a、73b，和固定形状编码器74中的某一个的前级开关52；根据上述边界判定器70的输出BD和模式判定器75的输出MD1，来选择上述第1、第2任意形状编码器73a、73b，和固定形状编码器74中的某一个的输出的后级开关55；以及对上述后级开关55的输出与上述模式编码信号EMg进行多路复合的多路复合器56。

下面就其作用和效果进行说明。

对于具有物体的形状信息的图像信号来说，根据物体的形状信息来切换编码模式是有效的。

也就是说，在物体边界被包含在高分辨率块内的场合下，由任意形状编码器73a或73b来进行根据物体形状的任意形状编码处理，在高分辨率块处在物体外部或高分辨率块处在物体内部的场合，由可以对块内的图像信号(固定形状)高效地编码的固定形状编码器74来进行编码。

此外，在物体边界被包含在低分辨率块内的场合下，在物体边界也被包含在对应的高分辨率块内、低分辨率块处在物体内部或物体外部的场合，对应的高分辨率块也处在物体内部或物体外部的概率较高。因而，参照对低分辨率块的编码模式(也就是，低分辨率块与物体的边界的位置关系)来进行对高分辨率块的编码处理，在提高编码效率方面是有效的。

以下进行详细描述。图12是表示低分辨率矩形区和高分辨率矩形区处在物体内部或物体外部的示意图。图12(a)示出构成图2(a)中所示的低分辨率矩形区LR的各块LMB是否处在物体Lob内，图12(b)示出构成图2(b)中所示的高分辨率矩形区HR的各块HMB1是否处在物体Hob内。此外，图12(c)示出构成图2(c)中所示的插补矩形区AR的块AMB是否处在物体Aob内，图12(d)示出构成图6(d)中所示的高分辨率矩形区HR的各块HMB2是否处在物体Hob内。这里，带有符号I的块是处在物体内部的块，带有符号O的块是处在物体外部的块，带有符号IO的块是处在物体边界的块。

从图12看出，如果把与对低分辨率图像信号LSg进行分辨率变换的插补图像信号LAg相对应的插补矩形区AR(图12(c))和与高分辨率图像信号HSg相对应的矩形区HR(图12(b)或图12(d))进行比较，则在低分辨率块LMB处在物体内部、物体外部或物体边界的判定结果与高分辨率块HMB1或HMB2处在物体内部、物体外部或物体边界的判定结果之间，存在着很大的关联。

因此，由边界判定器70来判定物体的边界是否被包含在高分辨率块内，在参照表示有无低分辨率图像的边界的编码模式信号Mg，由模式编码器71对表示有无高分辨率图像的边界的编码模式信号BD进行编码之际，在低分辨率块和与之相对应的高分辨率块之间的物体边界的有无相一致的场合下，通过在上述高分辨率块的编码模式信号BD和BD1中分配码长短的码，可以节约编码比特数。

下面，就上述编码器16h的具体操作简单地进行说明。

在上述编码器16h中，由边界判定器70根据分块了的高分辨率图像信号HBg来确定对该图像信号HBg是施行任意形状编码处理还是施行固定形状编码处理。此外，在模式判定器75中，根据与来自边界判定器70的判定结果相对应的判定信号BD1和分块了的高分辨率图像信号HBg来确定是参照对低分辨率解码信号Ldg进行插补所得到的插补图像信号LAg地进行对高分辨率图像信号HBg的任意形状编码处理，还是不参照该插补图像信号LAg地进行对高分辨率图像信号HBg的任意形状编码处理。

于是，在上述各开关52和55中，根据上述各判定器70和75的判定结果，来选择上述第1、第2任意形状编码器73a、73b和固定形状编码器74中的某一个。借此，上述高分辨率图像信号HBg在所选择的编码器73a、73b或74中被编码，并输出到多路复合器56。

此外，此时在上述模式编码器71中，上述边界判定器70的判定信号BD和模式判定器75的判定信号MD1的编码处理根据低分辨率块的编码模式Mg来进行，在上述多路复合器56中，上述开关55的输出SHEg与上述模式编码器71的输出EMg被多路复合，作为高分辨率编码信号HEg输出。

这样一来，由于在本第8实施例中，由编码器16h参照低分辨率块的编码模式Mg对高分辨率块的编码模式进行编码，所以可以减少编码模式的编码所需的比特数。

此外，由于判定高分辨率块与物体的位置关系，而且判定对高分辨率块的编码处理的方法，并根据这些的判定结果对高分辨率图像信号施行参照低分辨率图像信号的任意形状编码处理、不参照低分辨率图像信号的任意形状编码处理、以及固定形状编码处理中的某一种处理，所以可以进行编码效率更高的层次编码处理。

再者，虽然在上述第8实施例中示出了这样的构成，即根据低分辨率块的编码模式来切换高分辨率图像信号的编码方法，同时切换高分辨率块的编码模式的编码方法，但是也可以设成根据低分辨率块的编码模式，仅切换高分辨率图像信号的编码方法和高分辨率块的编码方法中的一方。

第9实施例

图13是用来说明根据本发明的第9实施例的图像处理装置(层次图像解码装置)的示意图，图13(a)是表示其总体构成的方框图，图13(b)是表示构成该层次图像解码装置的解码器的详细构成的方框图。

第9实施例的层次图像解码装置109对由图11中所示的第8实施例的层次图像编码装置108编码了的低分辨率编码信号和高分辨率编码信号进行解码，具有根据解码了的编码模式信号来切换解码模式的解码器40I，代替图10中所示的第7实施例的层次图像解码装置107中的解码器40g。这一层次图像解码装置109中的其他构成与上述第7实施例的层次图像解码装置107相同。

而且，第9实施例的解码器40i具有：从上述高分辨率编码信号HEg中分离并提取模式编码信号EMg的分离器60；参照低分辨率图像信号的编码模式信号Mg来对该所分离的模式编码信号EMg进行解码的模式解码器75a；对高分辨率编码信号HSg的解码方法不同的第1和第2任意形状解码器76a和76b；以及固定形状解码器77。这里，上述第1任意形状解码器76a的构成为，参照对低分辨率解码信号进行上采样的插补信号来进行高分辨率编码信号的解码处理。上述第2任意形状解码器76b的构成为，不参照对低分辨率解码信号进行上采样的插补信号地进行高分辨率编码信号的解码处理。

此外，上述解码器40i还具有根据在上述模式解码器75a中所解码的编码模式信号DMg，把上述高分辨率编码信号HEg供给到上述第1、第2任意形状解码器76a、76b和固定形状解码器77中的某一个的前级开关62；以及根据在上述模式解码器75a中所解码的编码模式信号DMg，来选择上述第1、第2任意形状解码器76a、76b和固定形状解码器77中的某一个的输出作为高分辨率解码信号HDg而输出的后级开关65。

下面就其作用和效果进行说明。

由于在本第9实施例的层次图像解码装置109中，除了解码器40i以外的操作，与上述第7实施例的层次图像解码装置107完全相同，所以下面仅就解码器40i的操作进行说明。

在上述解码器40i的模式解码器75a中，参照低分辨率图像的编码模式信号Mg(即处在物体之内还是处在物体之外)，对高分辨率图像的模式编码信号EMg进行解码。在上述前级开关62和后级开关65中，根据解码了的高分辨率图像的编码模式，来选择上述3个解码器中的某一个。

借此，任意形状编码了的图像编码信号由第1或第2任意形状解码器76来进行解码，固定形状编码了的图像信号由固定形状解码器77来进行解码。

这样一来，可以对由上述第8实施例的层次图像编码装置108根据物体的形状来编码的编码信号，正确地进行解码。

第10实施例

图14是用来说明根据本发明的第10实施例的图像编码装置(层次图像编码装置)的示意图，图14(a)是表示其总体构成的方框图，图14(b)是表示构成该层次图像编码装置的编码器的详细构成的方框图。

该第10实施例的层次图像编码装置110具有根据像素值的关联大的扫描方向来切换编码模式的编码器16j，代替图9中所示的第6实施例的层次图像编码装置106中的编码器16f，其他构成与上述第6实施例的层次图像编码装置106相同。

上述编码器16j具有：接受分块了的高分辨率编码信号HBg，判定各块中的像素值的关联大的扫描方向的扫描方向判定器80；根据针对低分辨率编码信号LEg的、表示像素值的关联大的扫描方向的模式信号Mg，对表示该判定结果的信号SD进行编码并输出模式编码信号EMg的模式编码器81；对高分辨率图像信号HSg进行水平扫描编码处理的水平扫描编码器83；以及对上述高分辨率图像信号HSg进行竖直方向编码处理的竖直方向编码器84。

此外，上述编码器16j还具有根据上述扫描方向判定器80的输出SD，把上述高分辨率图像信号HSg供给到上述水平扫描编码器83和竖直扫描编码器84中的某一个的前级开关52；根据上述扫描方向判定器80的输出SD，来选择上述水平扫描编码器83和竖直扫描编码器84中的某一个的输出的后级开关55；以及对该后级开关55的输出和上述模式编码信号EMg进行多路复合的多路复合器56。

下面就其作用和效果进行说明。

因为在此一第10实施例的层次图像编码装置中，除了编码器16j以外的操作与第6实施例的层次图像编码装置106完全相同地进行，故仅就有关编码器16j的操作进行说明。

在沿扫描线方向对图像信号进行编码的编码方式的场合，编码效率随着扫描方向而变化。也就是说，对于像素值的水平方向的关联大的图像信号而言，通过沿着水平扫描方向依次对各像素的像素值进行编码，有效地利用水平方向的关联的编码是可能的。此外，对于像素值的竖直方向的关联大的图像信号而言，通过沿着竖直扫描方向依次对各像素的像素值进行编码，有效地利用像素值的竖直方向的关联的编码是可能的。

因此，在此一第10实施例的层次图像编码装置110中的编码器16j中，由扫描方向判定器80来判定像素值的关联大的扫描方向，根据其判定结果由开关52和55来选择水平扫描编码器83和竖直扫描编码器84中的某一个，由所选择的该编码器来进行对高分辨率图像信号的编码处理。借此可以提高层次编码处理中的编码效率。

此外，由于高分辨率图像在与低分辨率图像之间有关像素值的关联也很大，所以在低分辨率图像中的像素值的关联大的扫描方向与高分辨率图像中的像素值的关联大的扫描方向之间也存在着关联。

因此，在本第10实施例中，在参照表示低分辨率图像中的像素值的关联大的扫描方向的编码模式信号Mg、对表示由扫描方向判定器80来判定的、高分辨率图像中的像素值的关联大的扫描方向的编码模式信号在模式编码器81中进行编码之际，在低分辨率图像与高分辨率图像之间像素值的关联大的扫描方向相一致的场合，在与上述高分辨率图像信号相对应的编码模式信号中，分配短码长的码。借此，可以进一步节约编码模式信号的编码所需的编码比特数。

第11实施例

图15是用来说明根据本发明的第11实施例的图像处理装置(层次图像解码装置)的示意图，图15(a)是表示其总体构成的方框图，图15(b)是表示构成该层次图像解码装置的解码器的详细构成的方框图。

第11实施例的层次图像解码装置111对由图14中所示的第10实施例的层次图像编码装置110编码了的低分辨率编码信号和高分辨率编码信号进行解码，具有根据解码了的编码模式信号来切换解码方式的解码器40k，代替上述第7实施例中的解码器40g。而且，此一层次图像解码装置111中的其他构成与图10中所示的第7实施例的层次图像解码装置107相同。

而且，第11实施例的解码器40k具有从上述高分辨率编码信号HEg中分离并提取模式编码信号EMg的分离器60；对该分离了的模式编码信号EMg进行解码的模式解码器85；对高分辨率编码信号HEg进行水平扫描解码处理的水平扫描解码器86；以及对高分辨率编码信号HEg进行竖直扫描解码处理的竖直扫描解码器87。

此外，上述解码器40k还具有根据在上述模式解码器85中所解码的编码模式信号DMg，把上述高分辨率编码信号HEg供给到上述水平扫描解码器86和竖直扫描解码器87中的某一个的前级开关62；以及根据在上述模式解码器85中所解码的编码模式信号DMg，来选择上述水平扫描解码器86和竖直扫描解码器87中的某一个的输出作为高分辨率解码信号HDg而输出的后级开关65。

下面就其作用和效果进行说明。

因为在此一第11实施例的层次图像解码装置111中，除了解码器40k以外的操作，与上述第7实施例的层次图像解码装置107完全相同地进行，故仅就解码器40k的操作进行说明。

在上述解码器40k的模式解码器85中，参照低分辨率图像的编码模式信号Mg(即像素值的关联大的扫描方向)，对高分辨率图像的编码模式信号EMg进行解码。根据解码了的高分辨率图像的编码模式信号(表示像素值的关联大的扫描方向的信号)DMg，来切换开关62和开关65，借此水平扫描编码处理了的图像信号在水平扫描解码器86中被解码，竖直扫描编码处理了的图像信号在竖直扫描解码器87中被解码。

这样一来，在本第11实施例中，可以对根据物体的形状来施行水平扫描编码处理或竖直扫描编码处理的编码信号，正确地进行解码。

第12实施例

图16是用来说明根据本发明的第12实施例的图像编码装置(层次图像编码装置)的示意图，图16(a)是表示其总体构成的方框图，图16(b)是表示构成该层次图像编码装置的编码器16m的详细构成的方框图，图16(c)是表示构成该编码器16m的第2编码器54m的具体构成的方框图。

第12实施例的层次图像编码装置112，具有参照低分辨率图像的运动向量来进行高分辨率图像信号的编码的编码器16m，代替上述第6实施例中的编码器16f，其他构成与图9中所示的第6实施例的层次图像编码装置106相同。

编码器16m用于把上述第6实施例的编码器16f中的第2编码器54设成根据需要进行画面间预测编码的构成，其他构成与上述编码器16f相同。

也就是说，构成此一实施例中的编码器16m的第2编码器54m包括：根据预测信号Pc对高分辨率图像信号HBg进行编码并输出高分辨率编码信号HEg的编码器92；根据上述预测信号Pc对高分辨率编码信号HEg进行解码并输出高分辨率局部解码信号Hdg的解码器93；以及储存该高分辨率局部解码信号Hdg的存储器94。此外，上述第2编码器54m还具有接受上述高分辨率图像信号HBg，参照上述存储器94中所储存的高分辨率局部解码信号Hdg，和作为低分辨率图像的编码模式Mg的运动向量LMV，来检测与高分辨率图像相对应的运动向量HMV的运动检测器90；根据该运动向量HMV，从上述存储器94中提取上述预测信号Pc的运动补偿器91；根据低分辨率图像的运动向量LMV对上述高分辨率图像的运动向量HMV进行编码并输出运动向量编码信号HMVc的运动编码器95；以及对该运动向量编码信号HMVc和上述高分辨率编码信号HEg进行多路复合并输出之的多路复合器56m。

下面就其作用和效果进行说明。

在第12实施例的层次图像编码装置112中，因为除了编码器16m以外的操作，与第6实施例的层次图像编码装置106完全同样地进行，故仅就有关编码器16m的操作进行说明。

由于图像信号存在着时间方向的关联，也就是说存在着前后的帧间的像素值的关联，所以通过用运动向量来进行运动补偿，可以提高编码效率，这是众所周知的。

在上述编码器16m的运动检测器90中，根据存储器94中所储存的已解码的图像信号Hdg和分块了的高分辨率图像信号HBg来检测高分辨率图像的运动向量HMV。在运动补偿器91中，根据所检测的高分辨率图像的运动向量HMV来生成运动补偿图像(预测信号)Pc。

然后，在编码器92中，参照运动补偿图像Pc来进行对高分辨率图像的分块图像信号HBg的编码处理。通过此一处理所得到的高分辨率编码信号HEg由解码器93来进行解码，作为高分辨率局部解码信号Hdg储存在存储器94中。

此外，由于在高分辨率图像与低分辨率图像之间像素值的关联很大，所以在低分辨率图像的运动向量LMV与高分辨率图像的运动向量HMV之间也存在着向量值的关联。

因此，在运动编码器95中，参照与低分辨率图像的运动向量LMV相当的编码模式信号Mg对在运动检测器90中所检测的高分辨率图像的运动向量HMV进行编码之际，在低分辨率图像与高分辨率图像之间运动向量相一致的场合，在该高分辨率图像的运动向量HMV中分配码长短的码。借此可以节约高分辨率图像的运动向量HMV的编码所需的编码比特数。

第13实施例

图17是用来说明根据本发明的第13实施例的图像处理装置(层次图像解码装置)的示意图，图17(a)是表示其总体构成的方框图，图17(b)是表示构成该层次图像解码装置的解码器40n的详细构成的方框图，图17(c)是表示构成该解码器40n的第2解码器64n的具体构成的方框图。

第13实施例的层次图像解码装置113对由图16中所示的第12实施例的层次图像编码装置112所编码的编码信号进行层次解码。该层次图像解码装置113具有参照低分辨率图像的运动向量来进行高分辨率编码信号的解码的解码器40n，代替图10中所示的第7实施例中的解码器40g，其他构成与图10中所示的第7实施例的层次图像解码装置107相同。

此外，构成上述解码器40n的解码器64n把上述第7实施例的解码器107中的解码器64设成根据需要来进行画面间预测解码的构成，其他构成与上述第7实施例的解码器40g相同。

也就是说，构成此一实施例中的解码器40n的第2解码器64n具有根据预测信号Pd对高分辨率编码信号HEg进行解码并输出高分辨率解码信号HDg2的解码器93b；和储存该高分辨率解码信号HDg2的存储器94b。此外，上述第2解码器64n带有参照低分辨率图像的编码模式(运动向量)LMV，来施行对所分离的模式编码信号EMg的解码处理，对高分辨率图像的运动向量HMV进行再生的运动编码器96；和根据该再生运动向量HMV，从储存在存储器94b中的高分辨率解码信号HDg2中提取预测信号Pd的运动补偿器91b。

下面就其操作进行说明。

在第13实施例的层次图像解码装置113中，因为除了解码器40n以外的操作，与上述第7实施例的层次图像解码装置107完全同样地进行，故仅就有关解码器40n的操作进行说明。

在上述解码器40n中的分离器60中，从高分辨率编码信号HEg中分离出与模式信息(运动向量信息)EMg相对应的码部分。

然后，该模式信息EMg和高分辨率编码信号HEg一供给到构成上述解码器40n的第2解码器64n，就在该解码器64n中，由运动解码器96，参照低分辨率图像的编码模式Mg(即运动向量LMV)，根据在分离器60中所分离的模式信息的码对高分辨率图像的运动向量HMV进行解码，此一运动向量HMV供给到运动补偿器91b。

于是，在上述运动补偿器91b中，参照存储器94b中所储存的已解码高分辨率图像信号Pd来进行运动补偿。在解码器93b中，参照运动补偿器91b的输出Pd，对高分辨率编码信号HEg的除了模式信息以外的码部分进行解码，输出高分辨率解码信号HDg2。该解码信号HDg2被储存在存储器94b中，在后续的块的解码处理之际被参照。

这样一来，在本第13实施例中，可以对在第12实施例的层次图像编码装置112中参照低分辨率图像的运动向量LMV所编码的高分辨率编码信号HEg，正确地进行解码。

第14实施例

图18是用来说明根据本发明的第14实施例的图像处理装置(层次图像编码装置)的示意图，图18(a)是表示其总体构成的方框图，图18(b)是表示构成该层次图像编码装置的编码器16p的详细构成的方框图，图18(c)是表示构成该编码器16p的第2编码器54p的具体构成的方框图。

第14实施例的层次图像编码装置114具有参照根据低分辨率图像的运动向量和从已编码的高分辨率图像的运动向量所预测的预测向量、来进行高分辨率图像信号的编码的编码器16p，代替图9中所示的第6实施例中的编码器16f，其他构成与上述第6实施例的层次图像编码装置106相同。

该编码器16p把上述第6实施例的编码器16f中的第2编码器54设置成根据需要进行画面间预测编码的构成，其他构成与上述编码器16f相同。

也就是说，构成此一第14实施例中的编码器16p的第2编码器54p除了构成图16中所示的第12实施例中的编码器16m的第2编码器54m的构成之外，还具有根据与低分辨率图像相对应的运动向量的编码信号和与已编码的高分辨率图像相对应的运动向量的编码信号、来生成预测运动向量PMV的运动向量预测器97，其他构成与构成上述第12实施例中的编码器16m的第2编码器54m相同。

下面就作用效果进行说明。

第14实施例中的第2编码器54p与第12实施例的第2编码器54m的不同之处在于：在图16中所示的第12实施例的编码器54m中，参照低分辨率图像的运动向量，对高分辨率图像的运动向量进行编码；而在图18中所示的第14实施例的编码器54p中，参照从低分辨率的图像的运动向量和已编码的高分辨率图像的运动向量预测生成的运动向量，对高分辨率图像的运动向量进行编码。

图19是有关运动向量的参照的示意图。图19(a)示出低分辨率图像的运动向量LMV，图19(b)示出高分辨率图像的运动向量HMV，图19(c)示出对低分辨率图像进行分辨率变换的插补运动向量AMV。

下面进行详细描述。根据从同一空间位置的低分辨率图像的运动向量LMV(参照图19(a))所得到的插补运动向量AMV(参照图19(c))，和已编码高分辨率图像的运动向量HMV1～HMV3(参照图19(b))，预测生成图19(d)中所示的针对高分辨率图像的被编码块Bx的运动向量。借此，比起单纯参照同一空间位置的低分辨率图像的运动向量，来对高分辨率图像的运动向量进行编码的场合，可以提高运动向量的编码效率。

因此，在运动预测器97中，参照在运动编码器95中编码的、高分辨率图像的运动向量HMV(HMV1～HMV3)的编码信号HEmv和低分辨率图像的运动向量的编码信号Mg(LEmv)来生成高分辨率图像的运动向量的预测值PMV。在运动编码器95中，参照预测生成的运动向量PMV，对由运动检测器90所检测的高分辨率图像的运动向量HMV进行编码。再者，由上述运动编码器95所编码的预测运动向量PEmv在多路复合器56m中与作为编码器92的输出的高分辨率编码信号被多路复合，作为第2编码器54p的输出HDg而输出。

这样一来，在本第14实施例中，由于参照从低分辨率图像的运动向量和高分辨率图像的运动向量预测生成的预测运动向量，来对高分辨率图像的运动向量进行编码，所以比起上述第12实施例来，可以更多地节约针对高分辨率图像的运动向量的编码比特数。

再者，在上述第12、14实施例中，在由运动检测器90从储存在存储器94中的局部解码信号中，提取与成为编码处理的对象的对象高分辨率块相对应的预测信号(预测区)之际，具有尽可能接近低分辨率图像的运动向量的值的运动向量被选择作为高分辨率图像的运动向量，也就是说离上述对象高分辨率块尽可能近的预测区被选择，借此可以进一步减少运动编码器95的编码比特数。

此外，虽然在上述第12、14实施例中设置成根据低分辨率图像的编码模式来切换高分辨率图像信号的编码方法和高分辨率图像信号的编码模式的编码方法，但是也可以根据低分辨率图像的编码模式，仅切换高分辨率图像信号的编码方法及其编码模式的编码方法中的一方。

第15实施例

图20是用来说明根据本发明的第15实施例的图像处理装置(层次图像解码装置)的示意图，图20(a)是表示其总体构成的方框图，图20(b)是表示构成该层次图像解码装置的解码器40q的详细构成的方框图，图20(c)是表示构成该解码器40q的第2解码器64q的具体构成的方框图。

第15实施例的层次图像解码装置115对由图18中所示的第14实施例的层次图像编码装置114所编码的编码信号进行层次解码。此一层次图像解码装置115具有参照从低分辨率图像的运动向量和已编码的高分辨率图像的运动向量所预测的预测向量、来进行高分辨率编码信号的解码的解码器40q，代替图10中所示的第7实施例中的解码器40g，其他构成与上述第7实施例的层次图像解码装置107相同。

解码器40q把上述第7实施例的解码器40g中的第2解码器64设成根据需要来进行画面间预测解码的构成，其他构成与上述解码器40g相同。

也就是说，构成此一实施例中的解码器40q的第2解码器64q除了构成图17中所示的第13实施例中的第2解码器64n的构成之外，还具有根据与低分辨率图像相对应的运动向量LMV，和与已编码的高分辨率图像相对应的运动向量HMV来生成预测运动向量PMV的运动向量预测器98，其他构成与上述第13实施例中的第2解码器64n相同。

下面就其操作进行说明。

在此一第15实施例的层次图像解码装置115中，因为除了解码器40q中的第2解码器64q以外的操作，与上述第13实施例的层次图像解码装置113完全同样地进行，故仅就有关解码器40q中的第2解码器64q的操作进行说明。

在上述第2解码器64q中的运动预测器98中，参照由运动解码器96所解码的高分辨率图像的运动向量HMV和从模式解码器61所供给的低分辨率图像的运动向量LMV(DMg)，来生成高分辨率图像块的运动向量的预测值PMV。于是，在运动解码器96中，参照上述预测生成的运动向量PMV，针对高分辨率图像的运动向量的编码信号EMg被解码。其他操作与图17的第13实施例的层次图像解码装置113相同。

这样一来，在本第15实施例中，可以参照已编码的高分辨率图像的运动向量和低分辨率图像的运动向量来对编码了的运动向量编码信号正确地解码。

再者，通过把用来实现上述各实施例中所示的图像编码处理和图像解码处理的编码或解码程序记录在软盘等数据记录媒体上，使得在独立的计算机系统中简单地实施上述各实施例中所示的处理成为可能。

图21是用来说明靠计算机系统使用储存与这些图像处理相对应的程序的软盘来实施由上述各实施例的图像处理装置进行的层次图像编码处理或层次图像解码处理的示意图。

图21(b)示出软盘FD的从正面看的外观、剖面结构、以及作为记录媒体的软盘盘体，图21(a)示出软盘盘体D的物理格式的例子。软盘盘体D内装于壳体F内，在该软盘盘体D的表面上，同心圆状地从外周向内周形成多个磁道Tr，各磁道沿圆周方向分割成16个扇区Se。因而，对于储存上述程序的软盘盘体D而言，作为上述程序的数据被记录于在上述软盘盘体D上所分配的区域中。

此外，图21(c)示出用来对软盘FD进行上述程序的记录重放的构成。在把上述程序记录到软盘FD上的场合，从计算机系统Cs把作为上述程序的数据经由软盘驱动器FDD写入软盘FD。此外，在由软盘FD内的程序在计算机系统Cs中建立上述解码方法的场合，由软盘驱动器FDD从软盘FD读出程序，转送到计算机系统Cs。

再者，虽然在上述说明中进行了由用软盘作为数据记录媒体的计算机系统实现的图像处理的说明，但是此一图像处理同样也可以用光盘来进行。此外，记录媒体不限于此，集成电路卡、只读存储器盒等，只要是能够记录程序的媒体，同样可以实施上述图像处理。

再者，虽然在第6实施例、第8实施例和第10实施例的编码器中，模式判定器50(图9(b))、边界判定器70(图11(b))和扫描方向判定器80(图14(b))在编码处理前根据从外部输入的高分辨率图像信号来判定编码方式，但是这些判定器也可以把由多种编码方式编码的结果(编码信号)进行比较，来确定编码方式(即编码模式)。

以上这样根据本发明的图像处理方法和图像处理装置以及数据记录媒体，可以谋求图像信号的压缩处理中的编码效率的提高，作为进行图像信号的传送或储存的系统中的实现图像编码处理或图像解码处理的东西是极其有用的，特别适合于依据MPEG4等标准的动画图像的压缩、解压缩处理。

Claims (22)

1.一种图像处理方法，该方法根据具有物体的形状信息的图像输入信号，作为形成空间分辨率不同的多个图像空间的层次图像信号，至少生成低分辨率图像信号和高分辨率图像信号，

把上述高分辨率图像信号划分成与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应，同时把上述低分辨率图像信号划分成与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应，

参照形成与该高分辨率块相对应的低分辨率块的低分辨率图像信号，依次进行形成对成为处理对象的高分辨率块的高分辨率图像信号的编码处理，其特征在于：

在上述编码处理之际所参照的参照低分辨率块，是其在低分辨率图像空间中的空间位置对应于与该参照低分辨率块相对应的上述对象高分辨率块在高分辨率图像空间中的空间位置的低分辨率块。

2.如权利要求1中所述的图像处理方法，其特征在于：

构成上述高分辨率图像空间的各个像素，与通过上述低分辨率图像空间的分辨率变换所得到的、空间分辨率与上述高分辨率图像空间相等的分辨率变换图像空间中的各个像素一一对应。

3.如权利要求1中所述的图像处理方法，其特征在于：

构成上述参照低分辨率块的像素数，与构成上述对象高分辨率块的像素数相一致。

4.如权利要求1中所述的图像处理方法，其特征在于：

上述参照低分辨率块的低分辨率图像空间中的相对位置，与对象高分辨率块的高分辨率图像空间中的相对位置相一致。

5.如权利要求1中所述的图像处理方法，其特征在于：

根据针对上述参照低分辨率块的、用来识别编码处理方法的编码模式来切换模式信号，该模式信号表示针对上述对象高分辨率块的、用来识别编码处理方法的编码模式的编码方式。

6.如权利要求5中所述的图像处理方法，其特征在于：

上述编码模式是表示图像空间上所显示的物体的形状的边界是否包含在上述对象高分辨率块内的编码模式。

7.如权利要求5中所述的图像处理方法，其特征在于：

上述编码模式是表示按像素依次对与参照低分辨率块相对应的图像信号进行编码的编码处理是否沿着水平扫描方向和竖直扫描方向中的某个扫描方向来进行的编码模式。

8.如权利要求1中所述的图像处理方法，其特征在于：

参照与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换与上述对象高分辨率块相对应的、表示上述高分辨率图像空间中的物体的运动的运动信息的编码方法。

9.如权利要求1中所述的图像处理方法，其特征在于：

参照已经施行了编码处理的已处理高分辨率块的、表示高分辨率图像空间中的物体的运动的运动信息和与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换与上述对象高分辨率块相对应的、表示上述高分辨率图像空间中的物体的运动的运动信息的编码方法。

10.一种图像处理方法，该方法对对具有物体的形状信息的图像信号施行层次编码处理所得到的至少两个分块了的层次编码信号中的低分辨率编码信号进行解码，生成与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应的低分辨率解码信号，

综合该低分辨率解码信号而生成与上述低分辨率图像空间相对应的低分辨率综合信号，

参照对应的低分辨率解码信号，对上述两个分块了的层次编码信号中的高分辨率编码信号进行解码，生成与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应的高分辨率解码信号，

综合该高分辨率解码信号而生成与上述高分辨率图像空间相对应的高分辨率综合信号，其特征在于：

在上述高分辨率编码信号的解码处理之际所参照的参照低分辨率块，是其在低分辨率图像空间中的空间位置对应于与该参照低分辨率块相对应的成为上述解码处理的对象的对象高分辨率块在高分辨率图像空间中的空间位置的低分辨率块。

11.如权利要求10中所述的图像处理方法，其特征在于：

构成上述高分辨率图像空间的各个像素，与通过上述低分辨率图像空间的分辨率变换所得到的、空间分辨率与上述高分辨率图像空间相等的分辨率变换图像空间中的各个像素一一对应。

12.如权利要求10中所述的图像处理方法，其特征在于：

构成上述参照低分辨率块的像素的数，与构成上述对象高分辨率块的像素的数相一致。

13.如权利要求10中所述的图像处理方法，其特征在于：

上述参照低分辨率块的低分辨率图像空间中的相对位置，与对象高分辨率块的高分辨率图像空间中的相对位置相一致。

14.如权利要求10中所述的图像处理方法，其特征在于：

根据针对上述参照低分辨率块的、用来识别解码处理方法的编码模式来切换模式编码信号，该模式编码信号表示针对上述对象高分辨率块的、用来识别解码处理方法的编码模式的解码方式。

15.如权利要求14中所述的图像处理方法，其特征在于：

上述编码模式是表示图像空间上所显示的物体的形状的边界，是否包含在上述对象高分辨率块内的编码模式。

16.如权利要求14中所述的图像处理方法，其特征在于：

上述编码模式是表示按像素依次对与参照低分辨率块相对应的图像信号进行解码的解码处理，是否沿着水平扫描方向和竖直扫描方向中的某个扫描方向来进行的编码模式。

17.如权利要求10中所述的图像处理方法，其特征在于：

参照与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换与上述对象高分辨率块相对应的、表示上述高分辨率图像空间中的物体的运动的运动信息的解码方法。

18.如权利要求10中所述的图像处理方法，其特征在于：

参照已经施行了解码处理的已处理高分辨率块的、表示高分辨率图像空间中的物体的运动的运动信息和与上述参照低分辨率块相对应的、表示上述低分辨率图像空间中的物体的运动的运动信息，来切换与上述对象高分辨率块相对应的、表示上述高分辨率图像空间中的物体的运动的运动信息的解码方法。

19.一种图像处理装置，该装置接受具有物体的形状信息的图像输入信号，对形成空间分辨率不同的多个图像空间的层次图像信号进行编码，包括：

对上述图像输入信号进行二次采样而生成低分辨率图像信号的二次采样装置，

把该低分辨率图像信号分块成，与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应的第1分块装置，

依次进行对成为编码处理对象的形成低分辨率块的低分辨率图像信号的编码处理的第1编码装置，

把上述图像输入信号作为高分辨率图像信号分块成，与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应的第2分块装置，以及

依次进行对成为编码处理对象的形成低高晰度块的高分辨率图像信号的编码处理的第2编码装置，其特征在于：

在上述编码处理之际所参照的参照低分辨率块，是其在低分辨率图像空间中的空间位置，对应于与该参照低分辨率块相对应的上述对象高分辨率块，在高分辨率图像空间中的空间位置的低分辨率块。

20.一种图像处理装置，该装置对对具有物体的形状信息的图像信号施行层次编码处理所得到的至少两个分块了的层次编码信号进行解码的层次图像解码装置，包括：

对上述两个分块了的层次编码信号中的低分辨率编码信号进行解码，生成与低分辨率图像空间中的由规定数的像素组成的低分辨率块相对应的低分辨率解码信号的第1解码装置，

综合与各该低分辨率块相对应的低分辨率解码信号，生成与上述低分辨率图像空间相对应的低分辨率综合信号的第1逆分块装置，

参照对应的低分辨率解码信号，对上述两个分块了的层次编码信号中的高分辨率编码信号进行解码，生成与高分辨率图像空间中的由规定数的像素组成的高分辨率块相对应的高分辨率解码信号的第2解码装置，以及

综合与各该高分辨率块相对应的高分辨率解码信号，生成与上述高分辨率图像空间相对应的高分辨率综合信号的第2逆分块装置，其特征在于：

在上述高分辨率编码信号的解码处理之际所参照的参照低分辨率块，是其在低分辨率图像空间中的空间位置，对应于与该参照低分辨率块相对应的成为上述解码处理的对象的对象高分辨率块，在高分辨率图像空间中的空间位置的低分辨率块。

21.一种数据记录媒体，该数据记录媒体储存用来在计算机中进行层次图像编码处理的程序，其特征在于：

上述程序

这样来构成，即计算机将进行按权利要求1中所述的图像处理方法的层次图像编码处理。

22.一种数据记录媒体，该数据记录媒体储存用来在计算机中进行层次图像解码处理的程序，其特征在于：

上述程序

这样来构成，即计算机将进行按权利要求10中所述的图像处理方法的层次图像解码处理。

Images