CN1505384A - 图像处理方法及图像处理装置以及图像处理程序 - Google Patents

Abstract

本发明提供一种图像处理方法及图像处理装置以及图像处理程序，使图像的扩大缩小、分辨率转换、图像一部分的高精细化处理变得容易，谋求处理速度的提高、线路规模的小型化。具有：图像数据输入单元1，其输入图像并进行存储；正方形区域分割单元2，其将输入的图像分割成1个以上正方形区域；递归三角形区域分割单元3，其按递归方式将分割成的各个正方形区域分割成三角形区域；三角形区域分割控制单元4，其进行递归三角形区域的分割控制；编码数据生成单元5，其对分割成的三角形区域进行编码；编码数据输出单元6，其对生成的编码数据进行输出。上述正方形区域分割单元2生成的正方形区域的1边中包含的像素是2的N次方+1(这里N是自然数)。

Description

图像处理方法及图像处理装置以及图像处理程序

技术领域

本发明涉及一种图像处理方法及图像处理装置以及图像处理程序。特别涉及将图像作为正方形区域，将该正方形区域分割成三角形区域，对分割成的三角形区域进行图像处理的图像处理方法及图像处理装置以及图像处理程序。

背景技术

特许文献1：特开平9-84002号公报

特许文献2：特开平9-191409号公报

特许文献3：特开平11-298897号公报

特许文献4：特开2000-125294号公报

由于网络环境的普及，类似图像那样的数据量大的信息也可以作为通信对象被非常普通地使用，在各种各样的机器上处理图像已很常见。此时，即使是同一图像数据，也要求对应其输出机器的能力，对其大小、分辨率进行高效的优化。

此外，在传输能力低的通信中传送图像时，或浏览大量的图像时，为了减少数据量，或者为了优先显示对用户来说有意义的部分，要求只高效地提高图像的一部分的分辨率等。

目前，作为与这样的要求相关的技术，有特开平9-84002号公报、特开平9-191409号公报、特开平11-298897号公报、特开2000-125294号公报等。

特开平9-84002号公报中记载的技术，如其图1的流程图所示，将输入的图像分割成具有规定关联的对象区域，用多边形近似表示该各个对象区域，对其内部分层进行平面近似。其具有可以对每个构成图像的对象设置最适宜的分辨率，而且可以优先传输用户关心的对象等优点。

特开平9-191409号公报中记载的技术，如其图8所示，是将图像作为三角形区域平面的集合来表现的技术。为此，可以用相对少的计算量、存储量进行处理，具有便于在通用机器、小型机器中使用的优点。

特开平11-298897号公报中记载的技术，与JPEG2000标准相同，在图像处理部分中，通过小波转换或用频率区域表现的图像数据的倍频程分割来表现图像，如其图2及图3所示，通过倍频程分割可以按递归方式得到缩小图像。通过对此进行组合，可以实现图像的部分分辨率的改善、分阶段的分辨率的提高。

特开2000-125294号公报中记载的技术，与特开平11-298897号公报中记载的技术相同，但是，主要目的是在硬件上执行小波转换。这种情况下，有望改善处理速度等。

但是，在特开平9-84002号公报中记载的技术中，存在为了抽出对象区域需要大的计算量、大的存储量的问题。此外，对象区域抽出失败时的图像的劣化也非常大。

在特开平9-191409号公报中记载的技术中，如其图7、图11所示，为了进行其图像的传输，需要3顶点的坐标及图像信息，信息量会变得很大。最坏的情况下，甚至会有数据量成为原来的数据的数倍的情况。此外，在这个技术中，很难实现部分分辨率的改善、和分阶段的分辨率的提高。

在特开平11-298897号公报中记载的技术中，为了进行处理需要非常大的计算量及存储量。这在通用的装置或小型信息机器等中是非常大的问题。

在特开2000-125294号公报中记载的技术中，用软件执行该处理时的问题与特开平11-298897号公报中记载的技术相同。此外，用硬件执行该特开2000-125294号公报中记载的技术时，存在装置的通用性受损的问题。

发明内容

因此，本发明的目的在于实现以下图像处理方法及图像处理装置以及图像处理程序，其通过更少的计算量、存储量、数据量，可以使图像大小、分辨率最适合输出机器，此外，其可以提高图像的特定部分的分辨率。

本发明进行图像数据的编码及解码，但是，进行该编码及解码时，以将作为处理对象的图像作成正方形为前提。在将该图像作成正方形时，本发明采用了两种方法。其一是将处理对象图像分割成1个以上正方形区域的方法，其二是通过将处理对象图像变形为正方形而生成1个正方形区域的方法。

首先，就本发明的图像处理方法而言，发明1至发明3是涉及将处理对象图像分割成1个以上正方形区域，生成多个正方形区域，对各个正方形区域进行编码的处理的发明，发明4至发明6是涉及与之相对的解码的发明。此外，发明7至发明9是涉及通过将处理对象图像变形为正方形而生成1个正方形区域，对该1个正方形区域进行编码的处理的发明，发明10至发明12是涉及与之相对的解码的发明。

即，发明1的图像处理方法，将作为处理对象的图像分割成1个以上正方形区域，将各个正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其图像处理过程包含：图像输入步骤：输入所述作为处理对象的图像，并进行存储；正方形区域分割步骤：将输入的图像分割成1个以上正方形区域；递归三角形区域分割步骤：按递归方式，将分割成的各个正方形区域分割成三角形区域；编码数据生成步骤：对分割成的三角形区域进行编码；编码数据输出步骤：输出所生成的编码数据。

发明2的图像处理方法，在发明1中，优选所述正方形区域分割步骤生成的正方形区域的1边中包含的像素数是2的N次方+1(其中，N是自然数)。

发明3的图像处理方法，在发明1或2中，优选所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

发明4的图像处理方法，将分割成1个以上正方形区域的图像的各个正方形区域按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其图像处理过程包含：编码数据输入步骤：输入所述编码的图像数据；编码数据解析步骤：解析输入的编码数据；递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；图像数据输出步骤：根据合成的正方形区域，复原图像数据，并进行输出。

发明5的图像处理方法，在如发明4中，优选所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1(其中，N是自然数)。

发明6的图像处理方法，在发明4或5中，优选所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

发明7的图像处理方法，使作为处理对象的图像变形为1个正方形区域，将该正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其图像处理过程包含：图像输入步骤：输入图像，并进行存储；图像区域正方形化步骤：使输入的图像变形为1个正方形区域；递归三角形区域分割步骤：按递归方式，将该正方形化后的区域分割成三角形区域；编码数据生成步骤：对分割成的三角形区域进行编码；编码数据输出步骤：输出所生成的编码数据。

发明8的图像处理方法，在发明7中，优选所述图像区域正方形化步骤生成的正方形区域的1边中包含的像素数是2的N次方+1(其中，N是自然数)。

发明9的图像处理方法，在发明7或8中，优选所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

发明10的图像处理方法，将变形为1个正方形区域的图像按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其图像处理过程包含：编码数据输入步骤：输入编码的数据；编码数据解析步骤：解析输入的编码数据；递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；图像数据输出步骤：使合成的正方形区域变形为原来的图像数据区域。

发明11的图像处理方法，在发明10中，优选所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，(其中，N是自然数)。

发明12的图像处理方法，在发明10或11中，优选所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

此外，本发明的图像处理装置中，发明13至发明15是涉及将作为处理对象的图像分割成一个以上的正方形区域，生成多个正方形区域，对各个正方形区域进行编码处理的发明，发明16至发明18是涉及与之相对的解码的发明。此外，发明19至发明21是涉及通过将作为处理对象的图像变形为正方形来生成一个正方形区域，对该正方形区域进行编码处理的发明，发明22至发明24是涉及与之相对的解码的发明。

即发明13的图像处理装置，将作为处理对象的图像分割成1个以上正方形区域，将各个正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其构成要素包含：图像输入单元：其输入图像，并进行存储；正方形区域分割单元：其将输入的图像分割成1个以上正方形区域；递归三角形区域分割单元：其按递归方式，将分割成的各个正方形区域分割成三角形区域；编码数据生成单元：其对分割成的三角形区域进行编码；编码数据输出单元：其输出所生成的编码数据。

发明14的图像处理装置，在发明13中，优选所述正方形区域分割单元生成的正方形区域的1边中包含的像素数是2的N次方+1(其中，N是自然数)。

发明15的图像处理装置，在发明13或14中，优选所述递归三角形区域分割单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

发明16的图像处理装置，将分割成1个以上正方形区域的图像的各个正方形区域按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其构成要素包含：编码数据输入单元：其输入编码的图像数据；编码数据解析单元：其解析输入的编码数据；递归三角形区域合成单元：其根据解析后的编码数据，按递归方式合成三角形区域；正方形区域合成单元：其根据合成的三角形区域，合成正方形区域；图像数据输出单元：其根据合成的正方形区域，复原并输出图像数据。

发明17的图像处理装置，在发明16中，优选所述正方形区域合成单元生成的正方形区域的1边中包含的像素数是2的N次方+1，(其中，N是自然数)。

发明18的图像处理装置，在发明16或17中，优选所述递归三角形区域合成单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

发明19的图像处理装置，使作为处理对象的图像变形为1个正方形区域，将该正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其构成要素包含：图像输入单元：其输入图像，并进行存储；图像区域正方形化单元：其使输入的图像变形为1个正方形区域；递归三角形区域分割单元：其按递归方式，将该正方形化后的区域分割成三角形区域；编码数据生成单元：其对分割成的三角形区域进行编码；编码数据输出单元：其输出所生成的编码数据。

发明20的图像处理装置，在发明19中，优选所述图像区域正方形化单元生成的正方形区域的1边中包含的像素数是2的N次方+1，(其中，N是自然数)。

发明21的图像处理装置，在发明19或20中，优选所述递归三角形区域分割单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

发明22的图像处理装置，将变形为1个正方形区域的图像按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其构成要素包含：编码数据输入单元：其输入编码的数据；编码数据解析单元：其解析输入的编码数据；递归三角形区域合成单元：其根据解析后的编码数据，按递归方式合成三角形区域；正方形区域合成单元：其根据合成的三角形区域，合成正方形区域；图像数据输出单元：其使合成的正方形区域变形为原来的图像数据区域。

发明23的图像处理装置，在发明22中，优选所述正方形区域合成单元生成的正方形区域的1边中包含的像素数是2的N次方+1，(其中，N是自然数)。

发明24的图像处理装置，在发明22或23中，优选所述递归三角形区域合成单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

此外，本发明的图像处理程序中，发明25至发明27是涉及将作为处理对象的图像分割成一个以上正方形区域，生成多个正方形区域，对各个正方形区域进行编码处理的发明，发明28至发明30是涉及与之相对的解码的发明。此外，发明31至发明33是涉及通过将作为处理对象的图像变形为正方形来生成一个正方形区域，对该正方形区域进行编码处理的发明，发明34至发明36是涉及与之相对的解码的发明。

即发明25的图像处理程序，用于使计算机执行下述的图像处理，该图像处理将作为处理对象的图像分割成1个以上正方形区域，将各个正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，该图像处理程序包含：图像输入步骤：输入所述作为处理对象的图像，并进行存储；正方形区域分割步骤：将输入的图像分割成1个以上正方形区域；递归三角形区域分割步骤：按递归方式，将分割成的各个正方形区域分割成三角形区域；编码数据生成步骤：对分割成的三角形区域进行编码；编码数据输出步骤：输出所生成的编码数据。

发明26的图像处理程序，在发明25中，优选所述正方形区域分割步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，(其中，N是自然数)。

发明27的图像处理程序，在发明25或26中，优选所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

发明28的图像处理程序，用于使计算机执行下述的图像处理，该图像处理将分割成1个以上正方形区域的图像的各个正方形区域按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，该图像处理程序包含：编码数据输入步骤：输入所述编码的图像数据；编码数据解析步骤：解析输入的编码数据；递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；图像数据输出步骤：根据合成的正方形区域，复原图像数据，并进行输出。

发明29的图像处理程序，在发明28中，优选所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1(其中，N是自然数)。

发明30的图像处理程序，在发明28或29中，优选所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

发明31的图像处理程序，用于使计算机执行下述的图像处理，该图像处理使作为处理对象的图像变形为1个正方形区域，将该正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，该图像处理程序包含：图像输入步骤：输入图像，并进行存储；图像区域正方形化步骤：使输入的图像变形为1个正方形区域；递归三角形区域分割步骤：按递归方式，将该正方形化后的区域分割成三角形区域；编码数据生成步骤：对分割成的三角形区域进行编码；编码数据输出步骤：输出所生成的编码数据。

发明32的图像处理程序，在发明31中，优选所述图像区域正方形化步骤生成的正方形区域的1边中包含的像素数是2的N次方+1(其中，N是自然数)。

发明33的图像处理程序，在发明31或32中，优选所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

发明34的图像处理程序，用于使计算机执行下述的图像处理，该图像处理将变形为1个正方形区域的图像按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，该图像处理程序包含：编码数据输入步骤：输入编码的数据；编码数据解析步骤：解析输入的编码数据；递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；图像数据输出步骤：使合成的正方形区域变形为原来的图像数据区域。

发明35的图像处理程序，在发明34中，优选所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1(其中，N是自然数)。

发明36的图像处理程序，在发明34或35中，优选所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

这样，本发明在将图像作成正方形区域的基础上进行处理，根据发明1至发明3、发明13至发明15、发明25至发明27，在对作为处理对象的图像数据进行编码时，将处理对象即图像数据分割成1个以上正方形区域，按递归方式将取出的正方形分割成三角形区域，以获得所得到的各个三角形区域的3顶点的像素信息(以下称为像素值)及斜边中点的像素值。此时，只要预先确定对原来的正方形的分割方法，以后就可以根据分割顺序，自动决定通过递归分割处理得到的各个三角形的类型。此外，各个三角形的顶点的像素值可以直接继承正方形带有的像素值，斜边中点的像素值也可以根据原来的正方形求得。

然后，可以用2叉树来表现由这样的递归三角形分割处理产生的三角形的类型及需保持的像素值，根据该二叉树，可以作为一维化的数据进行输出。

据此，对作为处理对象的图像数据进行编码时，进行编码时需保持或传输的数据的量可以很少，因此，在可以大幅度简化运算的同时，可以大幅度减少存储器的使用量。

此外，对这样进行了编码的数据进行解码(对应发明4至发明6、发明16至发明18、发明28至发明30)时，与编码相同，在解码中所需保持的数据的量可以很少，因此，在可以大幅度简化运算的同时，可以大幅度减少存储器的使用量。此外，根据图像的关心区域等，通过对用2叉树表示的数据的传输或读出顺序设置优先度，可以迅速地用高分辨率只显示图像整体中的特定部分。因此，在从多个图像数据中检索希望的图像数据或进行图像数据的分类等时，可以迅速地用高分辨率只显示各个图像的特征部分，所以，可以高效地进行图像的检索及分类。

此外，根据发明7至发明9、发明19至发明21、发明31至发明33，对作为处理对象的图像数据进行编码时，通过将处理对象的图像数据变形处理为正方形，生成1个正方形，按递归方式将该1个正方形区域分割成三角形区域，对所得到的各个三角形区域的3顶点的像素值及斜边中点的像素值进行编码。

这样，通过将处理对象即图像数据变形处理为正方形来生成1个正方形区域，对该1个正方形区域进行递归三角形区域分割，对应1个正方形区域只要生成1个2叉树表现就可以，所以，可以进一步减少编码中所需保持的数据，因此，在可以大幅度简化运算的同时，可以大幅度减少存储器的使用量。

此外，对其进行解码(对应发明10至发明12、发明22至发明24、发明34至发明36)时也是如此，可以进一步减少解码中所需保持的数据，因此，在可以大幅度简化运算的同时，可以大幅度减少存储器的使用量。

此外，在以上的本发明中，优选对生成的正方形区域，设置如下的条件：该正方形区域的1边中包含的像素数是2的N次方+1(这里，N是自然数)，因此，分割成的三角形的斜边中一定在中点存在像素，可以使递归三角形分割变得容易。

附图说明

图1是示出说明本发明的实施方式1的图，是图像处理装置的编码侧的结构图。

图2是说明图1所示的图像数据输入单元的结构的图。

图3是示出实施方式1中使用的图像是正方形时，将该图像分割成三角形的例子的图。

图4是示出实施方式1中使用的图像不是正方形时，将该图像分割成多个正方形区域的例子的图。

图5是说明将图像分割成多个正方形区域时的分割处理过程的流程图。

图6是说明向将图像分割成多个正方形区域时生成的空白部分填补像素值0的例子的图。

图7是说明将某1个正方形分割成2个三角形的2种方法(第1方法及第2方法)的图。

图8是示出对某1个正方形进行2分割得到2个三角形，进而，对这2个三角形按递归方式进行分割所得到的三角形的8种类型的图。

图9是说明图8所示的三角形的类型互相关联的图。

图10是示出根据图7所示的2个分割方法分割成的三角形与原来的正方形的像素值的继承规则的图。

图11是示出图8所示的8种类型与分别进行2分割得到的三角形的类型的像素值的继承规则的图。

图12是示出将某1个正方形用第1方法进行2分割得到的2个三角形进一步进行2分割所得到的三角形的类型的图。

图13是示出将某1个正方形用第1方法进行2分割得到的2个三角形进一步进行2分割，用2叉树表现对其进一步进行2分割得到的三角形的类型的图。

图14是示出为了详细说明实施方式1，在一边的像素数为3的情况下，对各个像素给出具体数值(像素值)的图。

图15是说明使用图14进行三角形区域的递归分割处理的例子的图。

图16是说明图15所示的三角形区域的递归分割处理过程的流程图。

图17是说明参照图11所示的继承规则，获得进行图15所示的三角形区域的递归分割处理过程时需求出的像素值的处理的图。

图18是示出用2叉树表现图15至图17所示的处理的图，是在图13的2叉树表现中加上斜边中点的像素值的图。

图19是示出将实施方式1中使用的图像例分割成多个正方形区域的例子的图。

图20是说明分别用图19所示的2叉树表现图19所得到的正方形区域的例子的图。

图21是说明对用某1个2叉树表现的图像数据进行编码的过程的一个例子的图。

图22是示出根据图21说明的编码过程进行了编码的数据例的图。

图23是说明对用某1个2叉树表现的图像数据进行编码的过程的其他的例子。

图24是示出根据图23说明的编码过程进行了编码的数据例的图。

图25是说明实施方式1的整体处理过程的流程图。

图26是说明本发明的实施方式2的图，是图像处理装置的解码侧的结构图。

图27是说明对图22的编码数据进行解码的过程的图。

图28是以实际图像的复原为例说明图27的解码过程的图。

图29是说明对图像数据进行解码时在三角形内部中插值数据的处理的一个例子的图。

图30是说明对图像数据进行解码时，对某特定区域(例如，关心区域)优先用高分辨率进行解码的处理的图。

图31是示出使图30中的某特定区域与作为处理对象的图像对应的例子的图。

图32是示出根据图30的解码过程被复原的图像的复原程度变化的图。

图33是说明实施方式2的整体处理过程的流程图。

图34是说明图26所示的图像数据输出单元的结构的图。

图35是说明本发明的实施方式3的图，是图像处理装置的编码侧的结构图。

图36是说明实施方式3的整体处理过程的流程图。

图37是说明本发明的实施方式4的图，是图像处理装置的解码侧的结构图。

图38是说明实施方式4的整体处理过程的流程图。

符号说明

1：图像数据输入单元；2：正方形区域分割单元；3：递归三角形区域分割单元；4：三角形区域分割控制单元；5：编码数据生成单元；6：编码数据输出单元；10：图像区域正方形化单元；11：编码数据输入单元；12：编码数据解析单元；13：递归三角形区域合成单元；14：三角形区域合成控制单元；15：正方形区域合成单元；16：图像数据输出单元；20：图像区域复原单元；31、131：形状类型存储单元；32、132：顶点像素值存储单元；33、133：斜边中点像素值取得单元；34、134：形状类型更新单元；35、135：顶点像素值更新单元；#1～#8：三角形类型。

具体实施方式

以下，根据附图，说明本发明的实施方式。

实施方式1

图1是说明本发明涉及的图像处理装置的实施方式1的图，是示出编码侧的结构的框图。其结构可大致划分为：图像数据输入单元1；正方形区域分割单元2；递归三角形区域分割单元3；三角形区域分割控制单元4；编码数据生成单元5；编码数据输出单元6。

如图2所示，图像数据输入单元1具有：像素数据输入单元11，其输入各个像素数据；颜色成分分离单元12，其将输入的像素的颜色数据分离成各颜色成分；颜色转换单元13，其根据分离的颜色数据，例如，从RGB转换为YUV数据；数据间除单元14，其根据需要进行数据的间除。另外，输入到该图像数据输入单元1中的图像数据可以设想有，例如，来自照相机的图像数据、来自文件的图像数据、来自某些通信单元的图像数据等。

递归三角形区域分割单元3至少具有：形状类型存储单元31，其存储多种种类的三角形类型(关于这个问题，以后叙述)；顶点像素值存储单元32，其存储三角形的3个顶点的像素值及斜边中点像素值；斜边中点像素值取得单元33，其补充三角形斜边中点的像素值；形状更新单元34，其使用后述的规则(参照图11)，更新三角形类型；和顶点像素值更新单元35，其更新三角形的3个顶点的像素值及斜边中点的像素值。

以下，就图1所示的各构成要素的动作进行详细的说明。

本发明将需处理的图像数据作成正方形，按递归方式，将其分割成三角形区域，对该三角形区域进行图像处理。例如，假设从图像数据输入单元1得到的图像数据的某1个颜色成分如图3(a)所示。如图3(b)所示，本发明将其作为三角形区域的集合来表现。

这样，在本发明中，以要处理的图像数据为正方形为前提进行处理，但是，从图像数据输入单元1得到的图像数据不一定是正方形。所以，就图像数据不是正方形的情况的处理进行说明。

输入的图像数据不是正方形时，由正方形区域分割单元2将输入的图像数据分割成1个以上正方形区域。例如，输入的图像数据是如图4(a)所示的横长的长方形图像时，将其分割成如图4(b)所示的多个正方形区域。此时，假设分割成的正方形的1边中包含的像素数为L，则优选L是2的N次方+1。

该理由在以后叙述。另外，N是自然数。

这样，如果由正方形区域分割单元2将本来不是正方形的图像分割成正方形区域，则如图4(b)所示，重叠在图像的端部的正方形部分中就会产生空白部分。此外，一般来说，图像数据的宽度和高度不是L的整数倍。关于针对该空白部分的处理及图像数据的宽度和高度不是L的整数倍时的处理，参照图5的流程图及图6的图像例进行说明。

图5是说明正方形区域分割处理单元2进行的正方形区域分割处理过程的流程图，首先，作为要分割的正方形区域的1边的值输入L(步骤S1)。其中，如上所述，L采用2的N次方+1(N是自然数)。在此，该图像的宽度W不是L的整数倍时，插入0，直到该图像的宽度W成为L的整数倍(步骤S2)。此外，同样的，当该图像的高度H不是L的整数倍时，插入0，直到该图像的高度H成为L的整数倍(步骤S3)。

图6是对某横长的图像实施了图5说明的正方形区域分割处理的例子。从图6可以看出，该图像的宽度W不是L的整数倍，所以，将该图像的宽度设成L的整数倍，在其空白部分填补0。同样地，该图像的高度H不是L的整数倍，所以，将该图像的高度H设成L的整数倍，在其空白部分填补0。

该图5及图6说明的例子对将图像的宽度方向及高度方向设成L的整数倍，在由此产生的空白部分中填补0的例子进行了说明，但是，除此以外，也可以是例如，如在JPEG等的处理中可以看到的那样，在宽度方向上重复该图像的最右侧的列的像素值，在高度方向上重复该图像最下侧的行的像素值。此外，也可以是如在JPEG2000等中可以看到的那样，在宽度方向上，在该图像最右侧的列回折像素值，在高度方向上，在该图像最下侧的行回折像素值。

另外，这以后的处理与JPEG等相同，是在该分割成的各个正方形区域上的独立的处理，所以，不会损失一般性，假设图像数据是正方形来继续说明。

下面，对将如上所述分割成正方形区域的各个正方形分割成三角形的处理进行说明。该分割成三角形的处理由递归三角形区域分割单元3进行。该递归三角形区域分割单元3按递归方式，将各个正方形区域分割成三角形区域，例如，如图7(a)、图7(b)所示，将某1个正方形区域分割成2个三角形。然后，图7(a)、图7(b)中没有图示，但是，将分割成的三角形分别进一步分割成三角形。

该将正方形分割成三角形的方法有二种，其第1方法是如图7(a)所示的分割方法，其第2方法是如图7(b)所示的分割方法。

即，正方形的4个角部的像素值为a、b、c、d时，图7(a)是根据第1方法分割成2个三角形的例子，图7(b)是根据第2方法分割成2个三角形的例子，通过使用该第1及第2方法进行分割而生成的三角形的类型如各自的图中所示，用#1、#2、#3、#4表示。

但是，对如图7(a)、图7(b)所示分割成的三角形进行递归分割得到的三角形总计有8种，这8种分别如图8所示，附加#1、#2、#3、#4、#5、#6、#7、#8的类型编号。另外，在图8所示的各三角形的各个顶上所附加的a、b、c分别表示该位置上的像素值，此外，在各个斜边上所附加的d表示该斜边中点位置上的像素值，以后将对此进行说明。

可以将被这样递归三角形区域分割成的各个三角形的类型(三角形类型)互相关联。例如，如图9所示，分割#6类型的三角形，则生成#1、#4类型的三角形。即，在本发明的递归三角形区域分割处理中，分割处理后的三角形的类型根据其源三角形的类型自动决定，所以，不需要在输出数据中保存三角形的类型。

上面，通过上述图7对将正方形分割成三角形的方法(第1方法及第2方法)进行了说明，这里，对如何将正方形的4顶点位置的像素值继承到三角形进行说明。

在此，假设正方形的4顶点的像素值是a、b、c、d，则根据图7(a)、(b)说明的分割的方法，作为该正方形的4顶点的像素值a、b、c、d的继承类型有2种。

图10是示出该继承规则的图。例如，假设正方形按照图7(a)所示的方法(第1方法)分割成三角形，则如图10的上一栏所示，在此将分割前(正方形)的类型表示为#0，则该正方形的4顶点的像素值(a，b，c，d)，作为三角形分割中得到的#1类型的三角形的像素值，(a，b，c，-)被继承，作为#2类型的三角形的像素值，(b，c，d，-)被继承。

另一方面，如果正方形按照图7(b)所示的方法(第2方法)进行三角形分割，则如图10的下一栏所示，在此也将分割前(正方形)的类型表示为#0，则该正方形的4顶点的像素值(a，b，c，d)作为三角形分割中得到的#3类型的三角形的像素值，(a，c，d，-)被继承，作为#4类型的三角形的像素值，(a，b，d，-)被继承。

另外，在本发明中，在各个三角形的3顶点的像素值之外，还考虑包含三角形的斜边中点的像素信息的4个像素值，在图10中，用连字符“-”表示的部分是斜边中点的像素值，该连字符表示其不明或必须设定该像素值。

图11是示出将图8所示的8种类型的三角形进一步分割时的像素值的继承规则的图，如图11所示，对分割前的某种类型(#1至#8)的三角形进行分割，则分别成为2种类型的三角形，但是，此时的像素值如图11所示被继承。另外，在图11中，用连字符“-”表示的部分也是斜边中点的像素值，该连字符表示其不明或必须设定该像素值。

根据该图11，例如，对顶点的像素值为a、b、c，斜边中点的像素值为d的#6类型三角形进行分割，则分割为#1类型及#4类型2个三角形(参照图9)，#1类型三角形的像素值为(a，d，c，-)，#4类型三角形的像素值为(c，d，b，-)。

通过图12说明以上的递归三角形分割处理的总结。将某1个正方形，例如，分割成#1和#2类型三角形。该#1和#2类型三角形，将#1类型进一步分割成#5类型和#6类型，将#2类型进一步分割成#7类型和#8类型。将该分割成的三角形进一步分割成比较小的三角形。另外，虽然该递归分割处理只要斜边中点上存在像素就可以继续向下分割，但是，即使没有到达分割限度，也可以在规定阶段结束分割处理。可以预先设置分割到哪个阶段。

上述递归三角形分割处理可以用图13所示的2叉树来表现。在图13中，○中的数字表示三角形的类型。最上部的内部没有数字的○为正方形，生成以此为根R的2叉树。

从根R生成的2个节点(节)N11、N12的三角形类型取决于图7(a)、图7(b)的2种分割方法(第1方法或第2方法)，但是只要确定了该类型，则可以根据图11所示的继承规则唯一确定对各个节点进行2分割所形成的三角形。例如，带有#1类型的三角形，如图11所示，2分为#5类型及#6类型三角形。

同样，带有#5类型的三角形，如图11所示，2分为#1类型及#3类型三角形。

以后，为了简化描述，用T(a，b，c，d)表示三角形类型为T、3顶点的像素值为a、b、c且斜边中点的像素值为d的三角形。例如，用#6(a，b，c，d)表示三角形类型为#6，其3顶点的像素值为a、b、c，斜边中点的像素值为d的三角形，其表示被分割为#1(d，b，c，-)和#4(a，d，c，-)。

从该例子可以看出，在对各个三角形进行了分割后的三角形中，通过补充用连字符表示的不定的斜边中点的像素值，可以使用图11的继承规则，按递归方式进行三角形区域分割。

如上述的背景技术中引用的特开平9-191409号公报中记载的技术那样，为了表现一个三角形，需要3个顶点的X坐标值3个、Y坐标值3个、作为3个顶点的像素值3个，共计9个像素信息，并需要对其进行保持，与该技术相比，在最坏的情况下，是1/9的数据量。

综上所述，图1所示的递归三角形区域分割单元3，至少通过以下单元，可以按递归方式分割三角形区域。所述单元为：形状类型存储单元31，其存储类型1至类型8的8种三角形类型；顶点像素值存储单元32，其存储三角形的3个顶点的像素值及斜边中点的像素值；斜边中点像素值取得单元33，其补充三角形的斜边中点像素值；形状类型更新单元34，其使用图11所示的继承规则，更新三角形类型；顶点像素值更新单元35，其更新三角形的3个顶点的像素值及斜边中点的像素值。

使用具体的数值例，说明上述的递归三角形区域分割处理。为了简化说明，如图14所示，以1边的像素数L为L＝3(这种情况是在L是2的N次方+1的条件下，N＝1的情况)的正方形为例。另外，在图14中，用黑圆表示各个像素，各个像素上所附加的数值表示该像素上的像素值。

对这样的正方形，用图7(a)所示的方法(第1方法)进行2分割，则如图15(a)所示，分割成两个三角形。该左上的三角形是#1类型的三角形，其顶点的像素值是(3，9，1)，所以，表示为#1(3，9，1，-)，通过在其中补充斜边中点的像素值7，可以生成#1(3，9，1，7)这样的信息。

生成这样的信息后，使用该信息，用如图16的流程图所示的过程得到分割后的三角形。即，使用当前的类型信息，进行图11所示的继承规则的检索，求分割后的2个三角形的信息(步骤S21)。然后，根据图11所示的继承规则的信息，进行当前三角形的4个像素值的排列，得到两个新的三角形(步骤S22)。

即，在本例中，如图17所示，具有#1(3，9，1，7)的信息的三角形被分割成#5(3，7，1，-)及#6(3，9，7，-)。表示该内容的是图15(a)、图15(b)，具有#1(3，9，1，-)的信息的三角形，在其斜边中点上填补像素值7，对其进行2分割，则得到具有#5(3，7，1，-)的信息的三角形及具有#6(3，9，7，-)的信息的三角形。以后，如图15(c)所示，通过进行对#5类型的三角形填补5，对#6类型的三角形T12填补4作为这些三角形的各自的个斜边中点的像素值的处理，进行递归三角形区域分割。

以上图14至图17说明的处理可以用图18所示的2叉树表现。该图18的2叉树表现也与图13所示的2叉树表现相同，2叉树的○中表示的三角形类型因为根据其上层的类型唯一确定，所以，不需要作为数据进行输出，通过只对该○下面表示的斜边中点的像素值进行补充，就可以进行更下层的三角形区域分割。

该图18是对图14表示的正方形进行三角形分割时的2叉树表现，相当于根R的正方形如图14所示，其4顶点的像素值是(3，9，1，8)，对这样的正方形进行了图15(a)、(b)、(c)说明的三角形区域分割处理。

这样，对作为处理对象的图像数据，通过最初的正方形的4顶点的像素值、对其最初进行了三角形分割时的三角形的类型、分割成的三角形的斜边中点的像素值的一连串的3种数据，可以表现正方形区域的图像。

另外，该数据之中，在最初将正方形分割成三角形时，可以固定用图7(a)、图7(b)的第1方法或第2方法。此外，正方形区域的1边中包含的像素数L如果满足2的N次方+1(N是自然数)，则分割成的三角形的斜边中点上一定存在像素。为此，为了容易处理，优选正方形区域的1边中包含的像素数L是2的N次方+1(N是自然数)。

上述处理的结果，例如，如图19所示，某图像被分割成多个正方形区域时，其各个正方形区域被转换成如图20所示的2叉树。

但是，为了对作为2叉树表现的图像数据进行传输、记录，需要将其转换为1维的数据列。其顺序可以考虑几种方法，例如，可以采用下列2种方法。

图21是示出2叉树的宽度方向优先的输出方法的图。其按照用数字下面的字母A、B、C、…表示的顺序(字母顺序)对数据进行一维化。例如，最初，作为根R输出正方形的数据(4顶点的像素值)A，之后，输出该根R的下层的同样深度的节点N11、N12的数据(斜边中点的像素值)B、C，进而，之后，输出节点N11、N12的下层的同样深度的节点N21、N22、N23、N24的数据(斜边中点的像素值)D、E、F、G。

图22是示出根据这个方法进行了一维化的数据的结果的图，按照字母A、B、C、…的顺序，输出各个字母A、B、C、…对应的像素值。

图23是示出2叉树的深度方向优先的输出方法的图。与图21同样，用字母A、B、C、…表示输出的顺序。此时，在输出根R的数据A后，输出节点N11的数据B，之后，进行其下层的节点N21的数据C的输出。按这种方式，如果进行了到达2叉树的最底层的输出，则进行节点N22的数据D的输出。然后，数据输出顺序如下：下次进行节点N12的数据E的输出，接着，输出该节点N12的下层的节点N23的数据F。

图24是示出根据该方法进行了一维化的数据的结果，按字母A、B、C、…的顺序，输出各个字母A、B、C、…对应的像素值。

如上操作之后，结束作为处理对象的图像数据的编码处理。通过该处理进行了编码的数据，例如，形成如图21或图23所示的2叉树的数据结构，根据该2叉树，以图22或图24的数据形式输出。

图25是示出将上述说明的内容总结成流程图的图。关于各部分的详细内容已经说明了，所以，在这里说明其概要内容。

在图25中，首先，进行正方形区域分割处理(步骤S31)。如图3至图6的说明所示，这是将作为处理对象的图像数据分割成1个以上正方形区域的处理，对通过该正方形区域分割处理得到的各个正方形进行编码处理，判断是否对全部正方形区域都进行了编码(步骤S32)，如果对全部的正方形都已经进行了编码则结束处理，如果还没有进行编码，则输出该正方形的4顶点像素值(步骤S33)。

然后，判断三角形分割处理是否已经结束(步骤S34)，如果已经结束，则返回到步骤S32，如果还没有结束，则判断是否对全部三角形都已经进行了编码(步骤S35)。这里，如果全部三角形的编码还没有结束，则输出斜边中点的像素值(步骤S36)，进行三角形区域更新处理(步骤S37)，返回到步骤S35。

然后，如果全部三角形的编码结束，并且，三角形分割处理结束，进而，如果全部正方形区域的编码已经结束，则结束对该图像的编码处理。

如上所述，该实施方式1是对作为处理对象的图像数据进行编码处理的说明，其大致的处理为：将作为处理对象的图像数据作为正方形区域取出，按递归方式，将取出的正方形分割成三角形区域，已获得所得到的各个三角形区域的3顶点的像素值及斜边中点的像素值。此时，只要预先确定原来的正方形的2分割的方法，以后，就可以根据分割顺序自动决定通过递归分割处理得到的各个三角形的类型。此外，各个三角形的顶点的像素值可以直接继承正方形带有的像素值，所以，只要根据原来的正方形求得斜边中点的像素值，就可以用如图18所示的2叉树来表现整个图像，可以将其如图21及图22或图23及图24所示进行一维化并输出。

这样，根据本发明，为了表现作为处理对象的图像数据而需保持的数据的量可以很少，因此，在可以大幅度简化运算的同时，可以大幅度减少存储器的使用量。

实施方式2

该实施方式2就对通过上述实施方式1进行了编码的数据进行解码的处理进行说明。

图26是示出说明本发明涉及的图像处理装置的第2实施例的图，是表示针对实施方式1的解码侧的结构的框图。作为该解码侧的结构，大致划分为：编码数据输入单元11；编码数据解析单元12；递归三角形区域合成单元13；三角形区域合成控制单元14；正方形区域合成单元15；图像数据输出单元16。

递归三角形区域合成单元13至少具有：形状类型存储单元131，其存储分割成所得的三角形的类型(在上述的实施方式1中，有#1类型至#8类型这8种类型，所以，在这个实施方式2中，也有#1类型至#8类型这8种类型)的三角形类型；顶点像素值存储单元132，其存储三角形的3个顶点的像素值及斜边中点像素值；斜边中点像素值取得单元133，其补充三角形的斜边中点的像素值；形状更新单元134，其使用上述图11的继承规则，更新三角形类型；顶点像素值更新单元135，其更新三角形的3个顶点的像素值及斜边中点的像素值。

此外，编码数据输入单元11从传输线路或存储介质输入来自图1所示的编码数据输出单元6的编码数据(例如，如图22及图24所示的编码数据)。作为输入到该编码数据输入单元11的编码数据，如图27(a)所示，最初，输入正方形的4顶点的像素值。例如，作为编码数据，以图22为例，首先，读入图22所示的编码数据中的下划线部A的部分，复原正方形的4顶点的像素值(3，9，1，8)。之后，读入与图22的下划线部B对应的像素值(7)，复原如图27(a)所示的2叉树的粗线部分。此外，其对应正方形区域的粗线部分。以后，陆续读入数据(像素值)，按如图27(b)、图27(c)所示的方式，复原数据的2叉树的粗线部分，从而，复原正方形区域的粗线部分。

图28是示出从渐进复原的角度说明图27的处理内容的图。根据图22所示的编码数据格式，如图28(a)所示，最初只复原2叉树的上层，接着，如图28(b)所示，复原2叉树的下一层，进而，如图28(c)所示，复原2叉树的再下一层，按这种方式，按2叉树的层顺序复原，最终，如图28(d)所示，进行直到2叉树的最底层的复原。

这样，作为处理对象的图像，随着2叉树的每一层的复原，成为顺序变大或分辨率提高的图像。

另外，例如，如果将如图28(a)所示的数据量少的小图像直接扩大成最终图像的大小，则为分辨率低的图像。即，从图像的外观的观点而言，可以认为它是对整个图像进行缩小显示的图像。或者，在使图像的大小与原来的数据相同时，可以认为它是用低分辨率表示的图像。

假设认为是用低分辨率来表现整个图像的图像时，各个三角形区域被扩大。此时，可以通过使用其3顶点的像素值作为平面进行内插来求得三角形区域的内部。当然，也可以使用其周边的三角形区域的数据，进行更高次的推断。

使用3顶点的像素值作为平面进行内插时，可以使用如图29所示的方法。对该图29简单地进行说明。设指向三角形的3顶点的位置向量为a、b、c(在a、b、c上分别加上→)，其顶点上的像素值为A、B、C。在此，将需求出像素值的位置(设为p)的位置向量设为p(p上加上→)，该位置向量p(p上加上→)为[公式1] $\stackrel{\→}{p}=x\stackrel{\→}{a}+y\stackrel{\→}{b}+z\stackrel{\→}{c}$ 给出的内容。另外，因为要求出的像素值的位置p是该三角形区域的内部，所以，x、y、z是0以上的像素信息，并且，需要满足条件：x+y+z＝1    (2)使用该x、y、z，可以通过P＝xA+yB+zC    (3)来求出位置p上的像素值P。

但是，上述实施方式1中的图21、图22或图23、图24所示的数据的一维化方法与图像数据的内容无关。但是，通过改变编码方法或来自存储介质的数据的读出方法，可以优先对关心区域或ROI(Region OfInterest)进行高画质化。

例如，如图30所示，优先对2叉树中的斜线部分进行传输或读出。假定该2叉树的深层部分如图31所示，是本发明的实施方式1及实施方式2的说明中使用的图像例的猴子的面部图像的眼睛部分。这样，可以进行如下显示：在图30的2叉树的浅层部分的复原处理中，如图32(a)所示，用低分辨率对整个图像进行复原后，随着层的加深，如图32(b)所示，首先从眼睛部分进行高分辨率化，最终，如图32(c)所示，对整体进行高分辨率化。当然，也可以在中间的阶段中止这样的显示。

按照这样的方式，通过按用2叉树表现的数据的传输或读出顺序，基于关心区域或ROI设置优先度，可以迅速地用高分辨率只显示图像整体中的某特定部分。

因此，在从大量的图像数据中检索希望的图像数据进行图像数据的分类时，可以迅速地用高分辨率只显示各个图像的特征部分，所以，可以高效地进行检索及分类。而且，此时，也可以在了解了各个图像的内容的阶段中止处理，不进行其后的显示处理。

图33是示出将上述说明的实施方式2的处理内容(解码处理内容)总结为流程图的图。由于对各部分的详细内容已经进行了说明，所以，在这里说明其概要内容。

在图33中，首先，判断是否对全部正方形区域进行了解码(步骤S41)，如果全部正方形区域的解码还没有结束，则对该正方形的4顶点像素值进行解码(步骤S42)。然后，判断三角形合成处理是否结束(步骤S43)，如果已经结束，则返回步骤S41，如果还没有结束，则判断是否已经对全部三角形进行了合成(步骤S44)。

然后，如果全部三角形的合成还没有结束，则对斜边中点的像素值进行解码(步骤S45)，进行三角形区域合成处理(步骤S46)，返回到步骤S44。

然后，如果全部正方形区域的解码已经结束(步骤S41)，则进行正方形区域合成处理(步骤S47)，结束解码处理。

根据该步骤S47进行了正方形区域合成处理的图像数据，通过如图26所示的输出单元16进行输出处理。该图像数据输出单元16，如图34所示，具有：颜色数据输入单元161；间除数据复原单元162；颜色转换单元163；像素数据复原单元164，从复原的图像数据中，除去为了使图像宽度、图像高度为正方形的1边的整数倍而补充的数据，输出原来的图像。另外，该图像数据输出单元16进行的图像数据输出处理中，也可以包含干扰降低处理等某些后处理。

实施方式3

在上述说明的实施方式1及实施方式2中，作为处理对象的图像数据不是正方形时，从该图像数据取出正方形区域时，如用图6所说明的那样，通过将图像数据分割成多个正方形区域，得到多个正方形区域，但是，本实施方式3是通过进行使不是正方形的图像数据变形为正方形的图像处理，生成1个正方形的例子。下面，就该实施方式3进行说明。

图35是说明本发明的实施方式3涉及的图像处理装置的图，是示出编码侧的结构的框图。该图35所示的编码侧的结构只是对上述实施方式1的说明中使用的图1的结构，作为其构成要素，将正方形区域分割单元2(参照图1)替换成图像区域正方形化单元10(参照图35)，其他结构与图1相同，所以这里对同一部分标注同一符号，省略其结构的说明。

图像区域正方形化单元10进行使处理对象即图像数据变形为正方形的图像处理单元，由此单元，可以将不是正方形的图像作成正方形图像。因此，这种情况不是对作为处理对象的图像数据生成多个正方形区域，而是生成1个正方形区域。

其结果，与实施方式1中需要处理1个以上正方形区域相比较，在本实施方式3中，总是处理1个正方形化区域。这样，通过将作为处理对象的图像数据作成1个正方形图像，在上述的实施方式1中对应各个正方形准备了如图18所示的2叉树(参照图20)，而在本实施方式3中，只生成对应1个正方形区域的1个2叉树。

另外，关于编码处理等，在上述的实施方式1中已经进行了说明，所以这里省略其说明。

图36是示出将该实施方式3的处理内容总结为流程图的图。关于由于已经对各部分的详细内容进行了说明，所以，在这里说明其概要内容。

在图36中，首先，作为用于对处理对象的图像进行正方形化的处理，求出该图像的纵横比，根据求得的值，对该图像进行正方形化(步骤S51)。其次，输出该正方形化了的图像的4顶点像素值(步骤S52)。

然后，判断三角形分割处理是否已经结束(步骤S53)，如果还没有结束，则判断是否已经对全部的三角形进行了编码(步骤S54)。

在此，如果全部三角形的编码还没有结束，则输出斜边中点的像素值(步骤S55)，进行三角形区域更新处理(步骤S56)，返回到步骤S54。

然后，如果全部三角形的编码已经结束，并且，三角形分割处理已经结束，则结束一系列的编码处理。

实施方式4

图37是说明本发明的实施方式4涉及的图像处理装置的图，是示出针对实施方式3的解码侧的结构的框图。该图37所示的解码侧的结构只是对上述实施方式2(针对实施方式1的解码)的说明中使用的图26的结构，作为其构成要素，将正方形区域合成单元15(参照图26)替换成图像区域形状复原单元20(参照图37)，其他结构与图26相同，所以这里对同一部分标注同一符号，省略其结构的说明。

在该实施方式4中，在编码侧进行图像处理，将图像正方形化成1个正方形，所以，在该解码侧，通过图像区域形状复原单元20，进行将正方形化了的图像复原成原来的图像的处理。关于此外的解码处理等，与在实施方式2中说明的相同，所以，省略其说明。

图38是示出将上述说明的实施方式4的处理内容总结为流程图的图。由于已经对各部分的详细内容进行了说明，所以这里说明其概要内容。

在图38中，首先，对正方形的4顶点像素值进行解码(步骤S61)。然后，判断三角形合成处理是否已经结束(步骤S62)，如果还没有结束，则判断是否已经对全部三角形进行了合成(步骤S63)。然后，如果全部三角形的合成还没有结束，则对斜边中点的像素值进行解码(步骤S64)，进行三角形区域合成处理(步骤S65)，返回到步骤S63。

另一方面，如果步骤S62中的全部三角形合成处理已经结束，则作为用于进行原来的图像的纵横比复原的处理，进行正方形纵横比调整处理(步骤S66)，结束编码处理。

另外，本发明不限于上述的各实施方式，在不背离本发明的主旨的范围内，可以实施各种变形。此外，本发明可以制作描述用于实现以上说明的本发明的处理过程的处理程序，将该处理程序存储在软盘、光盘、硬盘等存储介质中，本发明包含存储了该处理程序的存储介质。此外，也可以从网络得到该处理程序。

如上所述，根据本发明，在对作为处理对象的图像数据进行编码时，将处理对象即图像数据分割成1个以上正方形区域，按递归方式，将取出的正方形分割成三角形区域，获得所得到的各个三角形区域的3顶点的像素信息(以下称为像素值)及斜边中点的像素值。

此时，只要预先确定对原来的正方形的分割方法，以后，就可以根据分割顺序，自动确定通过递归分割处理得到的各个三角形的类型。此外，各个三角形的顶点的像素值可以直接继承正方形带有的像素值，斜边中点的像素值也可以根据原来的正方形求得。而且，可以用2叉树来表现由这样的递归三角形分割处理产生的三角形的类型及需保持的像素值，根据该二叉树可以作为一维化的数据进行输出。

这样，对作为处理对象的图像数据进行编码时，进行编码时需保持或传输的数据的量可以很少，因此，在可以大幅度简化运算的同时，可以大幅度减少存储器的使用量。

此外，对这样进行了编码的数据进行解码时，与编码相同，解码中所需保持的数据的量可以很少，因此，在可以大幅度简化运算的同时，可以大幅度减少存储器的使用量。此外，根据图像的关心区域等，通过对用2叉树表示的数据的传输或读出顺序设置优先度，可以迅速地用高分辨率只显示图像整体中的特定部分。因此，在从大量的图像数据中检索希望的图像数据或进行图像数据的分类等时，可以迅速地用高分辨率只显示各个图像的特征部分，所以，可以高效地进行图像的检索及分类处理。

Claims (36)

1.一种图像处理方法，将作为处理对象的图像分割成1个以上正方形区域，将各个正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其图像处理过程包含：

图像输入步骤：输入所述作为处理对象的图像，并进行存储；

正方形区域分割步骤：将输入的图像分割成1个以上正方形区域；

递归三角形区域分割步骤：按递归方式，将分割成的各个正方形区域分割成三角形区域；

编码数据生成步骤：对分割成的三角形区域进行编码；

编码数据输出步骤：输出所生成的编码数据。

2.如权利要求1所述的图像处理方法，其特征在于，所述正方形区域分割步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

3.如权利要求1或2所述的图像处理方法，其特征在于，所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

4.一种图像处理方法，将分割成1个以上正方形区域的图像的各个正方形区域按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其图像处理过程包含：

编码数据输入步骤：输入所述编码的图像数据；

编码数据解析步骤：解析输入的编码数据；

递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；

正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；

图像数据输出步骤：根据合成的正方形区域，复原图像数据，并进行输出。

5.如权利要求4所述的图像处理方法，其特征在于，所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

6.如权利要求4或5所述的图像处理方法，其特征在于，所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

7.一种图像处理方法，使作为处理对象的图像变形为1个正方形区域，将该正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其图像处理过程包含：

图像输入步骤：输入图像，并进行存储；

图像区域正方形化步骤：使输入的图像变形为1个正方形区域；

递归三角形区域分割步骤：按递归方式，将该正方形化后的区域分割成三角形区域；

编码数据生成步骤：对分割成的三角形区域进行编码；

编码数据输出步骤：输出所生成的编码数据。

8.如权利要求7所述的图像处理方法，其特征在于，所述图像区域正方形化步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

9.如权利要求7或8所述的图像处理方法，其特征在于，所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

10.一种图像处理方法，将变形为1个正方形区域的图像按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其图像处理过程包含：

编码数据输入步骤：输入编码的数据；

编码数据解析步骤：解析输入的编码数据；

递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；

正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；

图像数据输出步骤：使合成的正方形区域变形为原来的图像数据区域。

11.如权利要求10所述的图像处理方法，其特征在于，所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

12.如权利要求10或11所述的图像处理方法，其特征在于，所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

13.一种图像处理装置，将作为处理对象的图像分割成1个以上正方形区域，将各个正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其构成要素包含：

图像输入单元：其输入图像，并进行存储；

正方形区域分割单元：其将输入的图像分割成1个以上正方形区域；

递归三角形区域分割单元：其按递归方式，将分割成的各个正方形区域分割成三角形区域；

编码数据生成单元：其对分割成的三角形区域进行编码；

编码数据输出单元：其输出所生成的编码数据。

14.如权利要求13所述的图像处理装置，其特征在于，所述正方形区域分割单元生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

15.如权利要求13或14所述的图像处理装置，其特征在于，所述递归三角形区域分割单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

16.一种图像处理装置，将分割成1个以上正方形区域的图像的各个正方形区域按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其构成要素包含：

编码数据输入单元：其输入编码的图像数据；

编码数据解析单元：其解析输入的编码数据；

递归三角形区域合成单元：其根据解析后的编码数据，按递归方式合成三角形区域；

正方形区域合成单元：其根据合成的三角形区域，合成正方形区域；

图像数据输出单元：其根据合成的正方形区域，输出图像数据。

17.如权利要求16所述的图像处理装置，其特征在于，所述正方形区域合成单元生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

18.如权利要求16或17所述的图像处理装置，其特征在于，所述递归三角形区域合成单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

19.一种图像处理装置，使作为处理对象的图像变形为1个正方形区域，将该正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，其构成要素包含：

图像输入单元：其输入图像，并进行存储；

图像区域正方形化单元：其使输入的图像变形为1个正方形区域；

递归三角形区域分割单元：其按递归方式，将该正方形化后的区域分割成三角形区域；

编码数据生成单元：其对分割成的三角形区域进行编码；

编码数据输出单元：其输出所生成的编码数据。

20.如权利要求19所述的图像处理装置，其特征在于，所述图像区域正方形化单元生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

21.如权利要求19或20所述的图像处理装置，其特征在于，所述递归三角形区域分割单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

22.一种图像处理装置，将变形为1个正方形区域的图像按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，其构成要素包含：

编码数据输入单元：其输入编码的数据；

编码数据解析单元：其解析输入的编码数据；

递归三角形区域合成单元：其根据解析后的编码数据，按递归方式合成三角形区域；

正方形区域合成单元：其根据合成的三角形区域，合成正方形区域；

图像数据输出单元：其使合成的正方形区域变形为原来的图像数据区域。

23.如权利要求22所述的图像处理装置，其特征在于，所述正方形区域合成单元生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

24.如权利要求22或23所述的图像处理装置，其特征在于，所述递归三角形区域合成单元包含：形状类型存储单元：其存储三角形区域的形状的类型；顶点像素信息存储单元：其存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得单元：其取得三角形区域的斜边中点的像素信息；形状类型更新单元：其更新三角形区域的形状的类型；顶点像素信息更新单元：其更新三角形区域的顶点及斜边中点的像素信息。

25.一种图像处理程序，用于使计算机执行下述的图像处理，该图像处理将作为处理对象的图像分割成1个以上正方形区域，将各个正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，该图像处理程序包含：

图像输入步骤：输入所述作为处理对象的图像，并进行存储；

正方形区域分割步骤：将输入的图像分割成1个以上正方形区域；

递归三角形区域分割步骤：按递归方式，将分割成的各个正方形区域分割成三角形区域；

编码数据生成步骤：对分割成的三角形区域进行编码；

编码数据输出步骤：输出所生成的编码数据。

26.如权利要求25所述的图像处理程序，其特征在于，所述正方形区域分割步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

27.如权利要求25或26所述的图像处理程序，其特征在于，所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

28.一利图像处理程序，用于使计算机执行下述的图像处理，该图像处理将分割成1个以上正方形区域的图像的各个正方形区域按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，该图像处理程序包含：

编码数据输入步骤：输入所述编码的图像数据；

编码数据解析步骤：解析输入的编码数据；

递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；

正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；

图像数据输出步骤：根据合成的正方形区域，复原图像数据，并进行输出。

29.如权利要求28所述的图像处理程序，其特征在于，所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

30.如权利要求28或29所述的图像处理程序，其特征在于，所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

31.一种图像处理程序，用于使计算机执行下述的图像处理，该图像处理使作为处理对象的图像变形为1个正方形区域，将该正方形区域分割成三角形区域，对分割成的三角形区域进行编码，其特征在于，该图像处理程序包含：

图像输入步骤：输入图像，并进行存储；

图像区域正方形化步骤：使输入的图像变形为1个正方形区域；

递归三角形区域分割步骤：按递归方式，将该正方形化后的区域分割成三角形区域；

编码数据生成步骤：对分割成的三角形区域进行编码；

编码数据输出步骤：输出所生成的编码数据。

32.如权利要求31所述的图像处理程序，其特征在于，所述图像区域正方形化步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

33.如权利要求31或32所述的图像处理程序，其特征在于，所述递归三角形区域分割步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

34.一种图像处理程序，用于使计算机执行下述的图像处理，该图像处理将变形为1个正方形区域的图像按递归方式分割成三角形区域，对编码该分割成的三角形区域所得到的编码数据进行解码，其特征在于，该图像处理程序包含：

编码数据输入步骤：输入编码的数据；

编码数据解析步骤：解析输入的编码数据；

递归三角形区域合成步骤：根据解析后的编码数据，按递归方式合成三角形区域；

正方形区域合成步骤：根据合成的三角形区域，合成正方形区域；

图像数据输出步骤：使合成的正方形区域变形为原来的图像数据区域。

35.如权利要求34所述的图像处理程序，其特征在于，所述正方形区域合成步骤生成的正方形区域的1边中包含的像素数是2的N次方+1，其中，N是自然数。

36.如权利要求34或35所述的图像处理程序，其特征在于，所述递归三角形区域合成步骤包含：形状类型存储步骤：存储三角形区域的形状的类型；顶点像素信息存储步骤：存储三角形区域的顶点及斜边中点的像素信息；斜边中点像素信息取得步骤：取得三角形区域的斜边中点的像素信息；形状类型更新步骤：更新三角形区域的形状的类型；顶点像素信息更新步骤：更新三角形区域的顶点及斜边中点的像素信息。

Images