CN1867076A - 图像显示方法、图像编码装置及图像解码装置 - Google Patents

Abstract

在图像提供方和用户方对图像分配存在各种等级的请求。在图像编码装置(100)中，编码块(8)对规定的图像数据进行编码。分离单元(19)，按照在不同机会下分配的方式，将编码图像数据分离为将其内容作为可视认图像再生的基本数据和补充该基本数据的补充数据。添加单元(24)，对于基本数据及补充数据中的至少一方，添加用于进行各自独立的版权管理的信息。

Description

图像显示方法、图像编码装置及图像解码装置

技术领域

本发明涉及一种用于分配可分离为多个要素的图像数据的图像显示方法、图像编码装置及图像解码装置。

背景技术

近年来，随着DVD媒体、数字广播及通过网络的点播(on demand)通信这样的基础设施的普及，数字内容的利用正在扩大。由于数字内容不会因复制引起品质劣化，因而其版权管理就变得重要了。今后，还会进一步地提高对正当地保护数字内容等作品的版权的请求。

此外，因特网上可利用的数字内容的数量逐年增加，利用因特网的用户的数量也在逐年增加。伴随该现象，因特网上的信息量也正在增加。关于这一点，专利文献1中公开有根据传输线路的信息量，进行仅传输构成MPEG数据的I帧的模式，传输I帧及P帧的模式，传输I帧、P帧及B帧的模式的交换的图像传输装置。

但是，即使采用这种方法，也不能充分满足在图像提供方和用户方存在的多种标准的请求。例如，图像提供方有注重版权保护，并希望多数用户认识自己的内容的愿望。另一方面，用户方存在从高品质意向到低价格意向的各种意向。

专利文献1：特开平9-46677号公报

发明内容

本发明正是鉴于上述情况而提出的，其目的在于，提供一种能够进行满足图像提供方及利用其图像的用户方双方利益的灵活的图像提供的图像显示方法、图像编码装置及图像解码装置。

为了解决上述课题，本发明的某一方式的图像分配方法，具备：再生规定图像数据将其内容作为可视认图像的基本数据，分离成补充用于提高图像品质的上述基本数据的补充数据的步骤；分配基本数据的第一分配步骤；在与基本数据的分配不同的时机分配补充数据的第二分配步骤。“第二分配步骤”也可按照来自分配方的请求，分配补充数据。“图像品质”也可包含动态图像的变动的平滑度。

根据此方式，通过分离图像数据，就能够增加向用户方提供图像的变化，能够进行满足图像提供方和用户方双方利益的灵活的图像提供。

还可包括独立地版权管理基本数据和补充数据的步骤。根据此方式，能够进行在任何一方禁止保存等版权管理，使另一方自由地利用等，进行灵活的版权管理。

分离步骤也可将图像数据的直流成分及低频成分的至少一种成分作为基本数据。根据此方式，在空间上分离图像数据，将直流成分及低频成分的至少一种成分作为基本数据，由此能够生成能够把握内容的基本数据。

分离步骤也可将构成图像数据的多个帧之中的帧内编码的帧作为基本数据。还可将用与其它帧的差分表示的帧作为补充数据。根据此方式，在时间上分离图像数据，将可独立还原的帧作为基本数据，由此能够生成能够把握内容的基本数据。

本发明的另一方式，是图像编码装置。此装置，包括：编码规定图像数据的编码单元；将编码的图像数据分离为将其内容作为可视认图像而再生的基本数据，和为了提高图像品质而补充上述基本数据的补充数据的不同数据流的分离单元。

根据此方式，通过分离图像数据，能够增加向用户方提供图像的变化，能够进行满足图像提供方和用户方双方利益的灵活的图像提供。

还可具备相对于基本数据和补充数据中的至少一种，添加用于各自独立地管理版权的信息的添加单元。“添加单元”也可在生成编码图像数据流时进行记录，也可作为编码之后的后处理进行记录。

分离单元也可将图像数据的直流成分及低频成分的至少一种成分作为基本数据。此外，还可将构成图像数据的多个帧之中的帧内编码的帧作为基本数据。

本发明的又一个方式是图像解码装置。此装置具备：预先记录将规定图像数据的内容作为可辨别图像进行再生的基本数据的记录单元；获取为了提高图像品质而补充基本数据的补充数据的获取单元；组合基本数据和上述补充数据的组合单元；和解码组合的图像数据的解码单元。“解码单元”也可解码基本数据。

根据此方式，由于具备组合分离的图像数据的功能，就能够实现进行满足图像提供方及用户方双方利益的灵活的图像提供的结构。

还可包括参照添加在基本数据及补充数据中至少一种数据上的、用于进行各自独立地版权管理的信息，进行版权管理的版权管理单元。根据此方式，图像提供方就能够实现进行灵活的版权管理的结构。

还可具备在获取基本数据后，根据本装置的处理能力，请求分配方应补充基本数据的数据的数据请求单元。根据此方式，就能够抑制超过装置的处理能力的无用的补充数据的分配。

本发明的又一方式是图像显示装置。此装置包括不同机会获取由规定图像数据分离出的、将其内容作为可视认的图像再生的基本数据，及为了提高图像品质而补充基本数据的补充数据的获取单元；显示组合了基本数据和补充数据的图像数据的显示单元。“显示单元”也可解码并显示基本数据。

根据此方式，由于具备组合被分离的图像数据的功能，就能够实现进行满足图像提供方及用户方双方利益的灵活的图像提供的结构。

还可具备参照添加在基本数据及补充数据中至少一种数据上的、用于进行各自独立地版权管理的信息，进行版权管理的版权管理单元。获得基本数据后，根据本装置的处理能力，请求分配方应补充基本数据的数据的数据请求单元。

再有，将上述构成要素的任意组合、和本发明的构成要素和展现方法、装置、系统、记录媒体、程序等间相互交换，作为本发明的方式也是有效的。

发明效果

根据本发明，能够进行满足图像提供方及利用此图像的用户方双方利益的灵活的图像提供。

附图说明

图1是表示图像编码处理顺序的图。

图2是表示实施方式1中的图像编码装置的结构图。

图3是表示空间上分离前后的编码图像数据的构造图。

图4是表示版权级别管理表的一个例子的图。

图5是表示实施方式2中的图像解码装置的结构图。

图6是表示时间上分离前后的编码图像数据的构造图。

图7是有关实施方式5的图像编码装置的结构图。

图8是有关实施方式6的图像解码装置的结构图。

图9是表示随经过时间使分辨率下降的一个例子的图。

图10是表示随经过时间使图像质量下降的一个例子的图。

图11是表示随经过时间使显示区域变窄的一个例子的图。

图12是表示随经过时间使图像缩小的一个例子的图。

图13是表示随经过时间使帧延迟下降的一个例子的图。

图14是有关实施方式7的图像编码装置的结构图。

图15是表示图像编码处理顺序的图。

图16是表示编码图像数据流的数据结构的一个例子的图。

图17表示版权级别信息的一个例子的图。

图18是表示本发明的实施方式8中的图像处理装置的结构图。

图19是表示本实施方式8中的存储单元的数据结构图。

图20是表示用多窗口显示图像质量不同的同一内容的图像画面的图。

图21是表示用多窗口显示包含重叠了噪声的图像的、图像质量不同的同一内容的图像画面的图。

具体实施方式

(实施方式1)

本发明实现了一种对于提供静态图像或动态图像的图像提供方及利用此图像的用户方双方都有魅力的图像提供系统。实施方式1对空间上分离图像数据的图像编码装置100进行说明。例如，图像编码装置100将直流成分作为基本数据，将其它频率成分作为补充数据。并且，对它们分别进行分配，独立地进行版权管理。

实施方式1能够利用由单一的编码图像数据流生成图像质量不同的静态图像、动态图像的技术。作为一个例子，参照图1，简单地说明按Motion-JPEG2000方式对动态图像进行编码的方法。未图示的图像编码装置按照帧单位连续地对动态图像的各帧进行编码，从而生成动态图像的编码数据流。在编码处理开始时，将相当于动态图像的一帧的原图像OI(原图像，Original Image)102读入帧缓冲器中。读入帧缓冲器的原图像OI由小波(wavelet)变换器进行分级。

JPEG 2000中的小波变换器利用Daubechies滤波器。该滤波器在图像X、Y各方向中同时作为高通滤波器及低通滤波器起作用，将一个图像分割成四个子频带(subband)。这些子频带是在x、y两个方向具有低频成分的LL子频带；在x、y任意一个方向具有低频成分且在另一个方向具有高频成分的HL子频带及LH子频带；在x、y两个方向具有高频成分的HH子频带。此外，该滤波器还兼有对于x、y两个方向将像素数减少到1/2的作用。即，各子频带的纵横像素数分别为处理前的图像的1/2，通过一次滤波就能够获得分辨率即图像尺寸为1/4的子频带的图像。在本说明书中，相对于原图像OI将经历一次小波变换的图像称为第一级图像WI1，下面，根据所经历小波变换的次数称为第n级图像WIn。

如图1中示意性所示，在第一级图像WI1 104中，生成四个子频带LL1、HL1、LH1、HH1。对第一级图像WI1 104实施小波变换后，生成第二级图像WI2 106。在此，第二次之后，仅针对前一级图像之中的LL子频带成分实施小波变换。因此，在第二级图像WI2 106中，第一级图像WI1的LL1子频带被分解为四个子频带，即LL2、HL2、LH2、HH2。小波变换器实施规定次数的滤波，输出各子频带的小波变换系数。此后，图像编码装置实施量化及其它处理，最后输出编码图像数据CI(编码图像，Coded Image)。

为了说明的简单，在此例中，图像编码装置对原图像OI实施三次小波变换。因此，例如，当原图像OI 102为1440×960像素时，第一级图像WI1 104的LL1子频带的尺寸就为720×480、第二级图像WI2 106的LL2子频带就为360×240、第三级图像WI3 108的LL3子频带的尺寸就为180×120。

对于分级化的图像应该注意，原图像OI中的低频成分在图1中是出现在靠左上单元。在图1的情况下，位于第三级图像WI3的左上角的LL3子频带为最低频率，如果反过来讲，只要能得到此LL3子频带，就能够再生原图像OI的最基本性质。

编码数据流除了Motion-JPEG 2000以外，例如，也可以是在一个数据流中同时具有高图像质量HD流和低图像质量SD流的SVC(ScalableVideo Codec)，也可以是Motion-JPEG。在JPEG中，具有一种从通过离散余弦变换得到的系数中的低次项系数开始发送各帧的方式，根据使用几次项系数进行解码，就能够选择图像质量。根据这些规格，就能够分级对空间分辨率进行编码。

上述的例子是通过频率分割型的编码进行分级化的例子。此点也可通过近似精度提高型的编码来进行分级。即，通过调整来自DCT(离散余弦变换，Discrets Cosine Transform)系数和小波系数高数位(higher order bit)的解码位数，也能够对不同图像质量的图像进行解码。此外，在MPEG2中，除了能够分级编码上述空间分辨率之外，还能够通过调整帧数来分级编码时间分辨率。

图2表示第一实施方式中的图像编码装置100的结构。在硬件中，此结构可由任意的计算机的CPU、存储器、其它的LSI来实现，在软件中，能够通过存储器所装载的具有解码功能的程序等来实现，在此，描述了通过连接它们而实现的功能块。因此，本领域普通技术人员应当理解，仅通过硬件、仅通过软件或通过由它们的组合而构成的各种形式，就能够实现这些功能块。

图像编码装置100，包括：编码块8、分离单元19、数据流产生单元20、版权级别管理表22及添加单元24。编码块8包含小波变换单元10、帧缓冲器12、量化单元14、位面编码单元16以及算术编码单元18。

首先，将原图像OI读入帧缓冲器12中。小波变换单元10从帧缓冲器12中读出原图像OI，通过小波变换递归(recursive)地变换图像。如上所述，JPEG 2000中的小波变换利用Daubechies滤波器。该滤波器在图像的纵横各方向中起低通滤波器和高通滤波器的作用，将一个图像分割成四个子频带。各子频带的纵横像素数分别是处理前图像的1/2，经一次滤波后可获得分辨率即图像尺寸为1/4子频带的图像。将由此获得的子频带图像一并存储在帧缓冲器12中。

小波变换单元10从帧缓冲器12中读出由此获得的子频带中的最低频率成分即LL子频带的图像，再次进行滤波处理，进一步将其分割为LL、HL、LH、HH四个子频带，读入帧缓冲器12。进行规定次数的滤波，获取最终滤波所产生的LL子频带，作为原图像OI中最接近DC成分的图像。下面，同一级的各子频带即实施相同次数滤波获得的四个子频带按LL、HL及LH、HH的顺序依次含有高频成分，含有比这些子频带更高高频成分的图像，作为前一个滤波处理获得的四个子频带延续。通过相对于最低频率成分重复使用这样的纵横四分割的滤波，就能够在帧缓冲器12中获得在纵横四个分割的递归结构中从低频成分到高频成分分级形成的图像。

量化单元14根据需要，按从低频成分起的顺序对存储在帧缓冲器12中的分级的图像进行量化。位面编码单元16将量化并根据用于算术编码被称为编码块的单位分解的小波系数作为位面加以展现。算术编码单元18对该位面进行算术编码。

分离单元19通过已进行算术编码的位列的位数据流，按级别单位分离为多个组。例如，如果是图1的第一级的图像WI1 104，可分离为子频带LL1组、和其它的三个子频带HL1、LH1、HH1组。

图3表示空间上分离前后的编码图像数据的结构。如上所述，分级的编码图像数据50的各帧，从数据区域的开头开始，按直流成分、低频成分、中频成分、高频成分的顺序来记录数据。因此，虽然仅仅即使是各帧的前半部分，也能够再生图像，但却形成低图像质量图像。随着到后半部分包含的再生，形成所希望的高图像质量的图像。图3中，分离此解码图像数据50，并分离为直流成分及低频成分的编码图像数据52、中频成分及高频成分的编码图像数据54。再有，分类不限于两个，也可为三个。例如，也可将中频成分的编码图像数据和高频成分的编码图像数据按其它分类进行分类。

数据流产生单元20按由分离单元19分类的每一位列生成位数据流。经过这样的过程，上述原图像OI就成为按级别单位分离的多个编码图像数据CI(Coded Image)。

该多个编码数据CI，在各个不同的机会下通过各种方法被提供给用户方。例如，直流成分及低频成分的编码图像数据也可进行免费分发。此时，也可通过DVD-ROM等的媒体作为样品分发，也可从网络上下载给用户。此后，将中频成分和高频成分的编码图像数据提供给用户方。此时也，即可通过媒体分发或从服务器中下载。此外，为了不在用户方保存该编码图像数据，也可通过数据流分配来进行提供。并且，此数据流分配也可在用户有请求时进行收费提供。

根据此方法，虽然在以低图像质量再生图像的情况下，用户可以免费观赏，但以高图像质量再生的情况下，就必须收费观赏。由此，分离编码图像数据并在不同机会下通过各种方法提供给用户方时，图像提供方就可以进行图像质量单位极细的版权管理，还拓宽了图像内容的销售方法。用户方也增加了选择面，能够利用符合意向的图像内容。

下面，说明图像提供方进行更加细致的版权管理的方法。为此，使用版权级别管理表22及添加单元24。版权级别管理表22管理对使用该编码图像数据CI的用户许诺的版权级别。图4表示版权级别管理表22的一个例子。横轴表示该编码图像数据CI的用途，纵轴表示按照各个用途允许的图像质量等级。该承诺图像质量等级对应于由分离单元19分离的各编码图像数据。图4中，低图像质量、中图像质量、高图像质量无论何种等级都许诺再生。高图像质量等级禁止复制，低图像质量、中图像质量等级允许复制。中图像质量、高图像质量等级禁止编辑，低图像质量等级允许编辑。在此，所谓编辑包括，例如从通过数字电视广播接收的编码图像数据中删减CM部分这样的编辑。因此，虽然在中图像质量可以复制此数据，但此时，删减了CM部分，以致不能进行复制。禁止再分配。任何图像质量等级都不能再分配。

复制世代表示可复制的世代和此世代的许诺图像质量等级。第一世代虽然可进行中图像质量的复制，但复制第一世代的复制数据的第二世代仅能在低图像质量进行复制。从第四世代起就不能进行复制。版权级别管理表22针对每个用户管理上面这样的分布图(profile)。此外，分布图的各项目可通过管理者的键输入等进行适当更新。

在将上述编码图像数据CI有偿提供给用户方的情况下，根据用户方支付的费用和成本设定，可利用的用途和对应于此用途的允许图像质量等级不同。此外，分布图不仅针对每个用户，也可针对每个地域和时间来生成。例如，生成每个时间的分布图时，能够在用户的图像内容利用中设置限制时间。如果用户方的装置，设定为超过某一时间时就切换分布图的结构，就能够在此期间后，设定限制用途形式的时间限制，以使允许图像质量等级下降，而不进行不能利用所有内容的处理。

添加单元24考虑提供的用户和地区等，将相应的分布图版权级别信息记录在各编码图像数据CI的标题(header)等中。可以将版权级别信息写入标题和其它的能够自由设定管理者的区域。在设置时间限制等的情况下，也可添加多个分布图的版权级别信息。再有，在对应于没有进行版权管理的图像质量等级的编码图像数据中，也可以不添加版权级别信息。再有，版权级别管理表22和添加单元24也可以是外设的独立的装置。通过将此装置与网络连接，就能够将版权级别信息添加在此网络通信过程中的上述编码图像数据CI上。

根据上述说明的本实施方式，就能够灵活地提供满足图像提供方及利用此图像的用户方双方利益的图像。图像提供方能够对每一个分离的各编码图像数据进行版权管理，可进行极其细致的版权管理。此外，当分离为多个编码图像数据时，由于生成了能生成可辨别内容的图像的直流成分和低频成分的编码图像数据，就能够使用多样的销售方法及促销方法。例如，由于该编码图像数据可辨别内容，所以就能够作为样品图像来分发。并且，当仅希望高图像质量的视听的用户，请求其它的频率成分的编码图像数据，图像提供方响应此请求，对此用户分发请求的图像数据时，就能够节约硬件资原。即，与对全体用户分配含有高频成分的完整的编码图像数据的情况相比，能够减少网络上的信息量。此外，能够节约接收此信息的用户终端的硬件等的记录容量。

(实施方式2)

实施方式2是在不同时机获取按级别单位分离的多个编码图像数据，并能够解码将这些数据组合了的编码图像数据的图像解码装置200。再有，如果搭载有显示单元38，就具有图像显示装置的功能。

图5表示实施方式2中的图像解码装置200的结构。图像解码装置200包括：获取单元32、记录单元34、组合单元36及解码块250。获取单元32获取实施方式1中所说明的按级别单位分离的编码图像数据CI。获取单元32也可从网络上通过下载获取编码图像数据CI，也可从记录了编码图像数据CI的记录媒体中获取。此外，也可从广播电波中获取。获取单元32将获取的编码图像数据CI记录在记录单元34。再有，在为通过流分配等禁止保存的数据时，就不能记录在记录单元34中，而是直接输出到解码块250。

用户在获取直流成分及低频成分的编码图像数据等、能够形成由此单独的数据就可把握内容的图像数据的情况下，将此编码图像数据输出到解码块250，由此就能够观赏图像。

组合单元36对不同时机获取的多个编码图像数据，按帧单位进行分离，组合相应的各帧。并且，按顺序排列组合后的帧，再构筑为分离前的编码数据。例如，与上述图3所示的分离编码图像数据的处理相反。在图3中，分别按帧单位分割直流成分及低频成分的编码图像数据52以及中频成分、高频成分的编码图像数据54。并且，对每个帧从数据区域的开头起，按直流成分、低频成分、中频成分、高频成分的顺序再构筑分割的各要素。最后，按顺序将再构筑的帧连接起来。再有，也能够以同样的方法，由三个以上的编码图像数据再构筑成原编码图像数据。

组合单元36至少能够从获取单元32及记录单元34的任意一个中获取可作为再构筑对象的多个编码图像数据。例如，能够组合已记录在记录单元34中的直流成分及低频成分的编码图像数据，以及数据流分配的中频成分及高频成分的编码图像数据。并且，将组合后的编码图像数据输出到解码块250。

解码块250包括：数据流解析单元252、算术解码单元254、位面解码单元256、逆量化单元258、小波逆变换单元260及帧缓冲器262。数据流解析单元252从组合单元36或记录单元34中接收编码图像数据CI，对此数据流进行分解。此外，在该编码图像数据CI的标题等中含有版权级别信息的情况下，将其检测出来，并传送到版权管理单元40。算术解码单元254对该解析的结果、能够判明的解码数据列实施算术解码。位面解码单元256按位面的形式对每一色分量(component)解码由算术解码的结果获得的数据。逆量化单元258对解码后的量化数据进行逆量化。小波逆变换单元260，利用帧缓冲器262，对逆量化结果获得的第n级图像WIn实施小波逆变换。针对编码图像数据CI，每实施一次小波逆变换，就能获得更高位级的图像，如果解码到最高位级别时，就能够获得解码图像数据DI(Decoded Image)。

显示单元38显示解码块250解码的解码图像数据DI。在图5中，虽然描述的是在图像解码装置200内，但也可设置在装置200之外。版权管理单元40管理本装置200中利用的编码图像数据CI的版权。管理下述信息：数据流解析单元252检测出的版权级别信息，或通过内容提供方的服务器等对话(session)获得的版权级别信息。例如，也可在用户利用编码图像数据CI时，特定对应于其用途的允许图像质量等级，将实施对应此图像质量等级的小波逆变换的次数指定给小波逆变换单元260。这种情况下，即使包含可实现高图像质量的编码图像数据，在此图像质量中也不能进行再生等利用。

数据请求单元42在分离前的编码图像数据中、已经持有记录单元34中一部分编码图像数据的情况下，请求内容提供方的服务器等分发其中的另外的编码图像数据。例如，在已经保持有直流成分及低频成分的编码图像数据的情况下，也可请求补充它们的中频成分及高频成分的编码图像数据。该数据的请求，也可通过用户操作来实行，还可以根据本图像解码装置200的规格来实行。

在由用户操作实行的情况下，也可以支付相对于应补充的编码图像数据的费用。此外，用户考虑到所希望图像质量和费用的折衷关系，以相对高额的对价请求中频成分及高频成分的编码图像数据，以相对低额的对价请求中频成分的编码图像数据。

能力检测单元44检测本图像解码装置200的处理能力。例如，检测解码块250的处理能力、图像分辨率等显示单元38的处理能力。解码块250的处理能力中包括运算能力和缓冲容量等。能力检测单元44依据检测出的处理能力，决定应该对图像提供方请求的编码图像数据。例如，计算出本图像解码装置200的最大性能，推定具有不超过此的最大图像质量或图像分辨率的编码图像数据，决定出实现其所必需的编码图像数据。能力检测单元44补充已经记录在记录单元34中的编码图像数据，将对图像提供方请求的有关编码图像数据的信息传送给数据请求单元42。

数据请求单元42将此信息传送给图像提供方。这不限于用户操作，也可通过网络自动地向图像提供方发送信息。例如，也可在获取直流成分及低频成分的编码图像数据时发送信息。此外，也可从能力检测单元44接收本图像解码装置200的最大性能，将其发送到图像提供方。据此，图像提供方就能够参酌于此、决定编码图像数据的补充数据量，就能够抑制超过应分发的解码装置方的处理能力的无用分发。

此外，数据请求单元42也可这样进行工作，即在通过用户操作请求需补充图像编码数据的情况下，将上述最大性能作为最高限度(stopper)来利用，在符合此性能的范围内也能提出补充请求。

如上所述，根据本实施方式，就能够提供一种有助于实现满足图像提供方及利用此图像的用户方双方利益的灵活的图像提供的图像解码装置。例如，用户接收能够生成可辨别内容的图像的直流成分及低频成分的编码图像数据，对其进行视听，能够判别是否希望更高图像质量的视听。这对于图像提供方，与不分离编码图像数据而根据限制解码的程度保护有关高图像质量再生的版权相比，由于没有将用于实现其的数据本身传送到用户方，就会更加安全。此外，由于也存在不希望在高图像质量下观赏的用户，所以在此情况下，不需要发送应补充的编码图像数据，能够抑制网络整体的信息量。此外，依据解码装置方的处理能力，向图像提供方请求应补充的编码图像数据，由此就能够减少无用数据的分配，可进一步抑制信息量。

(实施方式3)

实施方式3对时间上分离图像数据的图像编码装置100进行了说明。图像编码装置100将构成动态图像的多个帧的一部分作为基本数据，将其它的帧作为补充数据。在此，多个帧的一部分相当于在设置的8片中抽出一片的情况下的抽出的一片的组合等。并且，分别分配它们，进行独立的版权管理。

实施方式3中的图像编码装置100的结构及工作基本上与实施方式1相同。下面，说明其不同之处。在实施方式1中，说明了通过Motion-JPEG2000方式对动态图像进行编码的例子，实施方式3中，说明通过MPEG方式进行编码的例子。由于MPEG方式的编码为常规技术，所以省略其详细的说明。根据图2简单说明MPEG方式的编码时，在编码块8中，不进行小波变换，多数为离散余弦变换，此外，在进行系数变换前进行各帧之间的工作补偿预测，追加将各帧之间预测误差作为转化对象的处理。

分离单元19将由编码块8编码的多个帧分离为多个组。例如，既可以分离为I帧的组和其它的组，也可以分离为I帧的组、P帧的组及B帧的组。I帧是帧内编码的帧，能够独立地形成图像。P帧是编码一串帧的前方向预测误差的帧，B帧是编码一串帧的两个方向预测误差的帧。

图6表示分离前及分离后的编码图像数据的结构。分离前的编码图像数据60包括帧内已编码的帧61及利用各帧之间的预测误差编码的帧。当仅再生帧内已编码帧61时，如放映幻灯片那样，形成图像运动不连续滑动的动态图像。但是，不限制帧内已编码帧61的几率非常小的情况，由此能够把握内容。

图6中，分离编码图像数据60，分离成由帧内已编码帧61组成的编码图像数据62以及由除此以外的利用各帧之间的预测误差已编码帧组成的编码图像数据64。再有，分类不限于两个，也可以是三个以上。例如，也可将上述这样的P帧群按奇数和偶数进一步进行分离。毫无疑问，可分离I帧群。

根据如上说明的本实施方式，具有与上述的实施方式1相同的效果。在时间上分离的情况下，可以仍旧维持组成动态图像的静态图像的图像质量不变作为样品用来进行分发，可以对用户的视觉赋予深刻印象，可以期待高的宣传效果。

(实施方式4)

实施方式4是能够在不同时机获取按编码方式不同的帧单位分离的多个编码图像数据，并解码组合了它们的编码图像数据的图像解码装置200。再有，如果搭载了显示单元38，就具有作为图像显示装置的功能。

实施方式4中的图像编码装置200的结构及工作基本上与实施方式2中的相同。下面，说明不同之处。在实施方式2中，说明了组合空间上分离的多个编码图像数据的例子，实施方式4中说明组合时间上分离的多个编码图像数据的例子。

组合单元36针对不同时机获取的多个编码图像数据，按分离前的顺序排列各帧，再构筑分离前的编码图像数据。例如，与分离上述图6所示的编码图像数据的处理相反。图6中，按分离前的顺序排列替换由帧内编码的帧61组成的编码图像数据62及由利用各帧之间的预测误差编码的帧组成的编码图像数据64的各帧，再构筑分离前的编码图像数据60。再有，从三个以上的编码图像数据中也能够以相同的方法再构筑为原编码图像数据。

由于解码用MPEG方式编码的编码图像数据是常规技术，所以省略其详细的说明。根据图5简单说明该编码图像数据的解码，在解码块250中，在编码方进行离散余弦变换并对DCT系数进行编码的情况下，不进行小波逆变换，而进行离散余弦逆变换。此外，进行逆变换之后，需要进行使用参照图像及预测误差的动态补偿处理。

根据上述说明的本实施方式，具有与上述的实施方式2相同的效果。在时间上分离的编码图像数据中，获取能够独立解码图像的帧群的情况下，可以仍旧维持组成动态图像的静态图像的图像质量不变，能够进行观赏。因此，用户基于对图像本身的好坏的观点，可以判断是否请求此动态图像的补充数据。此外，相对于时间方向的帧的组合能够相对简单地进行。

以上，从根本上说明本发明的一些实施方式。本领域普通技术人员应当理解，此实施方式是一个例子，在这些各构成要素和各处理过程的组合中能够进行各种变化例，此外，这些变化例也属于本发明的范围。

在第二实施方式中，说明频率分割型的分级。这一点也可使用近似精度提高型的分级。此情况下，通过在小波变换系数的位列之中，取消规定数的低数位(lower order bit)，就能够解码各种图像质量等级的图像。即，版权管理单元40通过在位面解码单元256中指定变换的位数，就能够调整图像质量等级。

使用这种分级方式时，能够以图像的部分单位在图像质量等级中设置差异。此情况下，不仅能够通过用途、图像质量等级两个参数记述管理图4中所示的版权级别信息的表的各个分布图，还能通过用途、图像质量等级、图像部分三个参数来记述。此外，也能够通过图像质量等级、图像部分两个参数来记述。此情况下，内容提供方比上述实施方式能够更加灵活地管理版权。

此外，不同的图像质量等级，不仅通过分级图像分辨率，而且也通过分级压缩率和色数能够实现。如果使用JPEG 2000的分层(layering)功能，就能够进行压缩率分级。彩色图像虽然可由亮度成分和色差成分表现，但相对于色差成分，也能够使用上述这样的分级方法。

(实施方式5)

实施方式5至7的技术领域如下。本发明涉及由内容分配等获取的动态图像的再生中可利用的图像显示方法、图像编码装置、图像解码装置及图像显示装置。

实施方式5至7的背景技术如下。近年来，随着DVD媒体、数字广播及通过网络的点播通信这样的基础设施的普及，数字内容的利用正在扩大。由于数字内容不因复制引起品质劣化，所以其版权管理很重要。今后会更加提高正当保护数字内容等的作品的版权的请求。

为了保护图像的版权，专利文献1公开了按内容利用者阶段地设定允许信息再生的程度(以下称保护等级)并进行再生的技术。即，对保护等级高的人分发高质量的动态图像，对保护等级低的人分发降低了品质的动态图像。

此外，伴随着上述这种基础设施的普及，也增加了图像内容提供行业人员的数量，竞争逐步激化。这些从业人员在认识到版权保护的重要性的同时，图像内容的销售的扩大也越演越烈。此外，以广告收入为主要收入来源的图像内容提供行业人员也正向着提供的内容的利用者数量增加而努力。

专利文献2：特开平9-163306号公报

实施方式5至7的发明所要解决的问题如下。在上述专利文献2中，保护等级低的人能视听低品质的动态图像，不能视听原本高品质的图像。低品质的动态图像中，对于保护等级低的人此内容很难留有印象。因此不能太期待此内容的宣传效果，不能充分地促进加入内容的购入和内容分配服务的行列。

本发明正是鉴于上述状况而提出的，其目的在于，提供一种能够兼容图像内容的版权保护和利用促进的图像显示方法、图像编码装置、图像解码装置及图像显示方法。

用于解决实施方式5至7中课题的方法如下。为了解决上述课题，本发明的某一方式的图像显示方法，根据规定的设定值，一面随着经过时间改变品质，一面显示动态图像。“品质”也可以劣化。根据此方式，由于图像提供方能够使用户看到高品质及低品质的图像，所以既能够实现图像内容的版权保护，又能对高品质图像留下印象。

设定值可以是使动态图像的图像分辨率、图像质量、及帧速度中的至少一种阶段性地降低的值。此外，也可为使动态图像的亮度及色差中的至少一种阶段性地下降的值。此外，也可为使动态图像的显示区域阶段性地变窄的数值。使“显示区域”变窄也可为减小显示图像本身的尺寸，  “阶段”可包括动态图像品质状态进行了三个以上的改变。也可不改变图像自身尺寸而缩小可视区域。根据此方式，能够调整在用户中可视的图像品质，当降低品质时，能够保护版权。

在动态图像显示区域外，也可显示规定的广告。根据此方式，图像提供方能够获取广告的机会和收入来源。

也可根据用户规定的动作固定设定值。“规定动作”，也可为用于在图像提供方显示意在支付费用的法律意思的体现的数据传送信息。“设定值”也可固定为常规再生时的值。根据此方式，能够使版权管理的解除与对价地获取有联系，能够促进图像内容的销售等。

本发明的另一方式是图像编码装置。此装置包括：编码动态图像数据的编码单元；和随经过时间一面改变品质一面进行显示的这样的、对编码了的动态图像数据添加规定的设定值的添加单元。根据此方式，由于图像提供方能够使用户看到高品质及低品质的图像，所以既能够实现图像内容的版权保护，又能对高品质图像留下印象。

本发明的又一个方式是图像编码装置。此装置包括：随经过时间一面改变品质一面进行显示的这样的、编码动态图像数据的编码单元；和将用于改变品质的设定值赋予编码单元的品质设定单元。根据此方式，由于图像提供方能够使用户看到高品质及低品质的图像，所以既能够实现图像内容的版权保护，又能对高品质图像留下印象。此外，在设置使品质劣化的区间的情况下，能够消减应分发的编码了的图像数据的容量。

本发明的又一方式是图像解码装置。此装置包括：解码编码了的动态图像数据的解码单元；和将按随经过时间改变品质这样设定的设定值赋予解码单元的品质设定单元。解码单元，根据设定值一面改变品质一面进行解码。根据此方式，即使是进行版权管理的图像内容，也能够在一部分区间内看到高品质的图像，能够容易地进行通过用户的图像内容的评价。

本发明的又一方式是图像显示装置。此装置，根据规定的设定值一面随经过时间改变品质，一面显示动态图像。根据此方式，即使是进行版权管理的图像内容，也能够在一部分区间内看到高品质的图像，能够容易地进行由用户对图像内容进行的评价。

再有，将在方法、装置、系统、计算机程序、记录媒体等之间交换以上的构成要素的任意组合、本发明展现的方式作为本发明的方式也是有效的。

根据本发明的概要说明，内容的作者或版权者进行下面的设定，在动态图像的任意期间，使图像质量和帧速度等参数变化，而使再生时品质劣化。观众通过向内容提供方支付报酬等，执行某些合同，就能够以原有的品质视听视频。作为变化的参数有图像分辨率、图像质量、帧速度及色等。此外，也可使显示区域变窄。此情况下，在区域外能够插入促进收费的信息和广告。

为了实现这些目的，首先，说明将在编码方没有调整品质而生成的编码图像数据分发给解码方，并在解码方一面调整品质一面显示动态图像的例子。

图7是实施方式5的图像编码装置1100的结构图。图像编码装置1100的结构，对于硬件，能够由任意计算机的CPU、存储器、其它的LSI来实现，对于软件，能够通过输入存储器的具有编码功能的程序等来实现，在此描述通过这些连接而实现的功能块。因此，本领域普通技术人员应当理解，可以通过只有硬件、只有软件、或它们的组合得到的各种形式实现这些功能块。

正交变换单元1010对输入的原图像实施小波变换和离散余弦变换等。例如，进行小波变换的情况下，正交变换单元1010将输入的原图像分割为子频带，计算各子频带图像的小波变换系数，生成分级的小波变换系数。具体地来说，正交变换单元1010，在原图像的x、y各方向中使用低通滤波器及高通滤波器，分割成四个子频带，进行小波变换。这些子频带是，在x、y两个方向具有低频成分的LL子频带；在x、y任意一个方向具有低频成分，并且还在另一方向具有高频成分的HL子频带及LH子频带；在x、y两个方向具有高频成分的HH子频带。各子频带的纵横像素数，分别为处理前的图像的1/2，通过一次滤波能够获得图像分辨率即图像尺寸为1/4的子频带的图像。

正交变换单元1010对这样获得的子频带中的LL子频带进行再次滤波处理，将其进一步分割为LL、HL、LH、HH四个子频带，进行小波变换。正交变换单元1010进行规定次数的这种滤波，将原图像分级为子频带图像，输出各子频带的小波变换系数。量化单元1012以规定的量化幅度对从正交变换单元1010输出的小波变换系数等规定的系数进行量化。

熵(entropy)编码单元1014对量化单元1012量化的量化值进行熵编码。例如，从高数位位面起按顺序一边扫描一边进行编码。如此，熵编码单元1014的编码对象为原图像，具有图像编码单元的功能。

品质信息添加单元1018对由本图像编码装置1100编码了的编码流进行解码，将控制显示时的品质的信息(下面称为品质信息)添加到该编码流中。将解码时的图像分辨率、图像质量、帧速度、显示范围、色差、明暗等各种参数的至少一种与解码时的经过时间联系起来，规定此品质信息。例如，在图像分辨率的情况下，能够进行如下这样的设定，即从开始解码起五分钟中，以全图像分辨率进行解码，下一个五分钟，除高频成分外进行解码，接着的五分钟，除中频成分及高频成分外进行解码，这样随时间一边降低图像分辨率一边进行解码及显示。并且，最终也可仅解码并显示直流成分。此解码方法，能够适用于具有上述的小波变换等SVC(Scalable Video Codec)功能的编码流的解码中。

控制图像质量的情况下，随经过时间，在由多个位组成的小波变换系数和离散余弦变换系数等系数中，使解码的位数减少。在使图像质量劣化的情况下，按不解码低数位的方式缓缓进行。

显示区域的控制，可通过在图像中设定关注区域(Region of Interest；ROI)来实现。用于特定关注区域的信息(下面称为ROI信息)中，包含位置、形状、尺寸、图像质量等信息。此ROI信息也能够随经过时间进行减少其尺寸等的设定。对于包含其它的参数的品质信息的详细内容在后面记述。

品质信息添加单元1018能够在编码流的标题(ヘツダ)等中加以记述。虽然标题中也存在各种等级，但也可记载各种等级。例如，能够在数据流标题、时序标题、GOP(图像组，Group of Picture)标题、帧标题、图画标题等中记录品质信息。

品质信息添加单元1018根据来自解码方的用户的支付费用等，就能够生成使在解码方进行的品质管理无效的信息。此信息由后述的编码数据流产生单元1016添加到图像的编码数据中，或独立地送到用户方的后述的图像解码装置中，使通过此图像解码装置的动态图像的品质管理无效。

编码数据流产生单元1016，根据从熵编码单元1014输入的图像的编码数据、来自品质信息添加单元1018的品质信息的编码数据等来生成编码流。并且，将生成的编码流输出到网络和记录媒体中。

根据以上说明的本实施方式，能够实现兼容动态图像的版权保护和促进利用的图像编码装置。图像提供方，通过随经过时间使动态图像的品质劣化，就能够保护版权。并且，在一部分区间内将高品质的图像供用户观赏，就能够留下印象，能够促进内容的销售和加入内容分配服务。例如，通过以免费和高图像质量分配节目的播放，吸引视听者，通过在节目中途慢慢降低品质，在最后就能够提高所谓想视听此节目的视听者的内容购买欲望。

此外，图像提供方由于不需要分别准备视听用和再生用的动态图像数据，就能够使内容的作成简单，能够减少存储区域。并且，在减少显示区域的情况下，能够将剩余的区域作为本公司或其他公司的广告空间来利用，能够获得广告费收入。

(实施方式6)

图8是有关实施方式6的图像解码装置1200的结构图。图像解码装置1200对添加了由上述图像编码装置1100编码了的编码流这样的品质信息的编码流进行解码。

数据流获取单元1020从外单元获取编码流，暂时存储在数据流用存储器1022中。也可获取通过流分配发送的编码流，还可获得DVD-ROM等的记录媒体中记录的编码流。

数据流获取单元1020在从后述品质设定单元1036中指定应解码的流等级的情况下，根据此数据流等级，废弃获取的编码流的一部分并传送到可变长度解码单元1024。例如，为了降低图像分辨率，能够废弃高频成分。

数据流用存储器1022能够将从数据流获取单元1020中输入的编码流暂时保持。可调长度解码单元1024在每一位面中解码从数据流获取单元1020传送的编码流，解码量化的像素数据和各种参数，输出到逆量化单元1026。在可使用各帧之间预测编码的流的情况下，也解码动态矢量。此外，在熵编码的流的情况下，进行熵解码。

逆量化单元1026对输入的像素数据进行逆量化，并输出到正交逆变换单元1028。根据后述的量化等级设定单元1038指定量化等级的情况下，根据此量化等级，进行逆量化。正交逆变换单元1028，将通过离散余弦变换和小波变换等变换的像素值恢复到原始值。此外，在能够使用各帧之间预测编码的流的情况下，将各帧之间对应的像素的差分值恢复到原始值。正交逆变换单元1028将该像素值等输出到像素值计算单元1030。像素值计算单元1030将还原的像素值写入图像用存储器1042中。

图像用存储器1042暂时保存通过像素值计算单元1030还原的像素值。再有，如果地址空间不同时，图像用存储器1042也可使用与数据流用存储器1022相同的存储器。

参照数据指定单元1040，在使用MPEG等各帧之间预测编码的流的情况下是必需的。参照数据指定单元1040，指示从可调长度解码单元1024传送的动态矢量，将保持在图像用存储器1042中的参照图像的像素值指定为参照值。此情况下，像素值计算单元1030，将根据参照数据指定单元1040指定的参照值与从与此相对应的正交逆变换单元1028中取得的差分值进行加法运算，在图像用存储器1042上还原像素值。此外，像素值计算单元1030，当从品质设定单元1036指定亮度和色差的修正时，就进行亮度值的修正和色差的修正。

帧重新构成单元1032将像素值计算单元1030按帧单位还原的像素值加以组合，再构筑动态图像数据。从品质设定单元1036指定帧速度时，就以此帧速度进行再构筑。此外，从品质设定单元1036指定显示尺寸时，间隔提取像素或增加像素。显示单元1050显示帧重新构成单元1032构筑的动态图像数据。再有，显示单元1050也可外设，此情况下，图像解码装置1200进行编码流的解码，就能够将解码数据输出到由电缆和无线等连接的未图示的显示装置中。

品质管理单元1034获取添加在从外部输入的编码流上的品质信息。此外，在能够通过其它途径发送使上述品质管理无效的信息的情况下，也获取此信息。品质管理单元1034根据获取的品质信息，管理动画再生的经过时间、收费状况等，在品质设定单元1036中指定根据该品质信息指定的品质。

品质设定单元1036根据从品质管理单元1034指定的品质，将用于调整品质的参数设定在各单元。首先，在改变图像分辨率的情况下，在数据流获取单元1020中设定流等级。图9是表示随经过时间图像分辨率下降的例子的图。时间从图的左面经过到右面。左面的画面1060表示使用编码流中的所有的频率成分并解码的画面。中央的画面1062表示去掉编码流中的高频成分并解码的画面。右面的画面1064表示仅使用编码流中的直流成分及低频成分进行解码的画面。如此，如不使用高频成分，则图像分辨率变低，如使用高频成分，则图像分辨率变高。相对于具有SVC功能的编码流，通过指定使用哪种频率成分作为流等级，就能够容易地变更图像分辨率。

接着，在改变图像质量的情况下，品质设定单元1036在量化等级设定单元1038中设定量化等级。图10表示随经过时间使图像质量下降的例子的图。随着从左面的画面1070变为右面的画面1074，使图像质量下降。品质设定单元1036，按量化等级慢慢下降的方式，在量化等级设定单元1038中设定量化等级。如JPEG 2000等，在搭载有ROI功能的情况下，也可在ROI区域中指定全体画面，变更ROI信息。

接着，在使显示区域变化的情况下，品质设定单元1036在量化等级设定单元1038中设定ROI信息。图11表示随经过时间使显示区域变窄的例子的图。随着从左面的画面1080变为右面的画面1084，显示区域逐步变窄。品质设定单元1036，相对于中央使ROI区域变窄了。再有，ROI区域以外也可变黑，也可作为图11所示的CM区域。CM区域中显示的标识(LOGO)和信息等的广告也可与图像一起预先进行编码，也可由本图像解码装置1200的像素值计算单元1030进行叠加。

再有，如果将图11的处理和图9或图10的处理组合，就既可以维持相对于中央变窄的区域的图像分辨率或图像质量，又可以使此区域以外的图像分辨率或图像质量下降。

接着，在改变显示图像尺寸的情况下，品质设定单元1036，在帧重新构成单元1032中设定显示尺寸。图12表示随经过时间使图像缩小的例子的图。随着从左面的画像1090变成右面的画像1094，图像逐步缩小。当由品质管理单元1034指定的显示尺寸与复原了的动态图像的尺寸相同的情况下，品质设定单元1036，不需要进行任何工作。当此显示尺寸比复原了的动态图像的尺寸小的情况下，按固定的比例间隔提取像素的方式，在帧重新构成单元1032中进行设定。此外，当指定的显示尺寸比复原了的动态图像的尺寸大的情况下，根据邻接的像素值进行计算而增加像素。此扩大缩小的处理，在加大系统负担的情况下，也可在硬件中设置专用的扩大缩小电路来进行处理。

接着，在改变帧速度的情况下，品质设定单元1036在帧重新构成单元1032中指定帧速度。图13表示随经过时间使帧速度下降的例子的图。再有，所谓帧速度表示帧的更新频度。图13中，随经过时间使帧速度下降。对相同的期间，帧速度从8片下降到4片、2片。再有，如果不更新帧，就变成静态图像，品质设定单元1036也能够成为静态图像。

接着，在改变显示图像的亮度的情况下，品质设定单元1036在像素值计算单元1030中设定亮度的修正值。像素值计算单元1030根据此修正值，对初始的亮度值进行加法运算或减法运算。当进行加法运算时就变亮，进行减法运算时就变暗。

接着，在改变显示图像的色调的情况下，品质设定单元1036在像素值计算单元1030中设定色差的修正值。像素值计算单元1030根据此修正值进行色差的修正。在相对于初始色差值进行修正以使修正后的色差值接近零时，就能够接近黑白图像。在色差值为零时就变成黑白图像。

品质设定单元1036也可将上述说明的两个以上的参数变更进行组合。此外，品质设定单元1036在接收使品质管理无效的信息的情况下，将以上说明的参数设定为常规值。再有，能够任意地设定动态图像再生开始时的品质。此外，当影片的结束辊轴(エンドロ一ル、end roll)等希望鲜明地显示后面的部分的图像的情况下，按照用途，也能够随经过时间提高品质。

根据以上说明的本实施方式，能够实现兼容动态图像的版权保护和促进利用的图像解码装置。图像提供方，通过随经过时间使动态图像的品质劣化，就能够保护版权。并且，使高品质的图像在一部分区间供用户观赏，就能够使其留下印象，能够促进内容的销售和加入内容分配服务。此外，在使显示区域变窄的情况下，也能够将剩余的区域作为本公司或其他公司的广告空间来利用，能够获得广告费收入。

用户方对于一部分区间能够观赏高品质的图像，就能够获得适当地作出是否购买此内容等的判断的材料。用户方，通过与内容提供产业人员签定合同，就能够以常规品质再生动态图像。此外，在显示区域外显示广告时，用户方通过低价或免费就能够利用内容的可能性变大，这种机制大大有利于用户方。

接着，说明将在编码方调整品质生成的编码图像数据向解码方分发的例子。

(实施方式7)

图14是实施方式7的图像编码装置1300的结构图。再有，图像编码装置1300能够使用帧间编码进行编码，由于是常规处理，所以在图14中省略此部分。

像素值修正单元1302在通过后述的品质设定单元1318进行亮度值和色差值的变更的情况下，根据来自品质设定单元1318的设定值修正这些值。在进行此修正的情况下，利用图像用存储器1304。在不进行亮度值等变更的情况下，就不需要设置像素值修正单元1302及图像用存储器1304。

正交变换单元1306实施小波变换和离散余弦变换等。在通过后述的品质设定单元1318指定图像分辨率的情况下，据此，例如调整小波变换的次数。量化单元1308，按规定的量化幅度对从正交变换单元1306输出的小波变换系数等的规定系数进行量化。在从后述的量化等级设定单元1320指定量化等级的情况下，根据此量化等级，进行量化。可调长度编码单元1310按每一位面对从量化单元1308传送过来的位列进行编码。此外，对解码所必需的各种参数等进行编码。再有，也可对位列进行熵编码。

数据流产生单元1312，组合从可调长度编码单元1310输入的图像编码数据，生成编码流。并且，将生成的编码流输出到网络和记录媒体中。在通过后述的品质设定单元1318指定帧速度和显示尺寸的情况下，据此变更帧速度和显示尺寸。再有，数据流产生单元1312能够利用数据流存储器1314。接收上述编码流的解码装置能按照常规对其进行解码。

品质管理单元1316管理图像提供方设定的各种品质，并将其设定在品质设定单元1318中，以随经过时间使动态图像的品质发生变化。此外，在因视听者的内容购买等解除品质管理的情况下，也将其设定在品质设定单元1318。

品质设定单元1318根据由品质管理单元1316指定的品质，将用于调整品质的参数设定在各单元。首先，在改变图像分辨率的情况下，在正交变换单元1306中指定小波变换次数等。在改变图像质量的情况下，在量化等级设定单元1320中设定量化等级。

此外，在使显示区域变化的情况下，品质设定单元1318在量化等级设定单元1320设定ROI信息。在改变显示图像尺寸的情况下，在帧产生单元1312中设定显示尺寸。在改变帧速度的情况下，在帧产生单元1312中指定帧速度。

此外，在改变显示图像的亮度的情况下，品质设定单元1318在像素值修正单元1302中设定亮度的修正值。在改变显示图像的颜色的情况下，在像素值修正单元1302中设定色差的修正值。品质设定单元1318与实施方式6中说明的品质设定单元1036相同，也能够在各单元设定参数，各单元也同样能够改变动态图像的品质。

根据以上说明的本实施方式，能够实现兼容动态图像的版权保护和促进利用的图像解码装置。此外，在编码方生成使品质劣化的动态图像数据的情况下，也能够减少编码数据的容量。因此，能够减少网络上的信息量，此外还能够节约接收此信息的用户终端的硬件的记录容量。并且，即使是现存的解码装置，也能够进行解码，能够生成通用性高的编码数据。

以上，从根本上说明了本发明的实施方式。本领域普通技术人员应能理解，实施方式是一个例子，在这些各构成要素和各处理过程的组合中能够进行各种变化例，此外，这些变化例也属于本发明的范围。

在上述实施方式中，图像编码装置1100、300通过单独的服务器管理用户的收费状况，也可在用户支付费用的情况下，通知图像编码装置1100、300，解除品质管理。此情况下，能够利用现存的收费系统。

在上述实施方式5、6中，说明将品质信息添加在编码流中，并发送到解码方的例子。这点，也可在解码方另外下载品质信息来实施。如果没有此信息，若不能在再生开始时进行设定，就能期待用户主动地进行下载。此情况下，不需要在编码方编码流中添加品质信息，就能够简化编码装置的结构。

(实施方式8)

实施方式8的技术领域如下。本发明涉及用于解码具有分级结构的编码图像数据流的图像处理装置、图像显示装置及方法。

实施方式8的背景技术如下。近年来，随着DVD媒体、数字广播及通过网络的点播通信这样的基础设施的普及，数字内容的利用正在扩大。由于数字内容不因复制引起品质劣化，所以其版权管理就更加重要。认为正当保护数字内容等的作品的版权的要求，今后会进一步提高。专利文献1公开了根据流所具有的复制限制信息来禁止复制的方法。

专利文献3：特开2001-86444号公报

实施方式8的发明要解决的课题如下。但是，这种方法是统一允许还是禁止的处理，难于满足图像提供方及用户方双方的各种等级的请求。例如，图像提供方存在仅单纯禁止复制，失去商业机会的情况。用户方也存在从整体意向向低价格意向的各种意向。

鉴于上述状况而进行本发明，其目的在于，提供一种能够进行满足图像提供方及利用其图像的用户方双方利益的灵活的图像提供的图像处理装置、图像显示装置及方法。

用于解决实施方式8的课题的手段如下。为了解决上述课题，本发明的一种方式的图像处理装置包括：解码单元，获取能够以多个图像质量在可解码的状态下进行多路复用编码的图像数据，产生图像质量不同的至少两个以上的图像，如此对上述编码图像数据进行解码；和存储单元，能够对应规定的处理，存储解码了的多个图像数据。“图像质量”也可包含图像分辨率。“规定处理”可以是表示各个图像质量不同的多个图像的处理。此情况下，也可用多窗口显示。

根据此方式，就能够进行满足图像提供方及利用其图像的用户方双方利益的灵活的图像提供。并且，能够快速地处理图像质量不同的多个图像。

本发明的另一方式是图像处理装置。此装置包括：获取能够以多个图像质量在可解码的状态下进行多路复用编码的图像数据，通过能够解码的多个图像质量对上述编码图像数据进行解码的解码单元；和能够对应规定的处理，存储解码了的多个图像数据的存储单元。

根据此方式，能够进行满足图像提供方及利用其图像的用户方双方利益的灵活的图像提供。并且，能够实时地处理图像质量不同的多个图像。

解码单元也可通过可解码的所有图像质量解码编码图像数据。根据此方式，能够由此编码图像数据作出能够最灵活提供图像的状况。

还包括根据设定的版权管理信息，对于在存储单元存储的多个图像数据，进行版权管理的版权管理单元。“版权管理信息”也可以是决定利用编码图像数据时的允许图像质量等级的信息，还可以是决定利用编码图像数据的用途和允许图像质量等级的组合的信息。根据此方式，能够进行灵活的版权管理。例如，也能够设置进行版权管理的图像质量和不进行版权管理的图像质量。

版权管理单元也可在存储在存储单元的多个图像数据中，对至少其中一个加上噪声成分。根据此方式，就不是一律禁止利用的版权管理，而成为灵活的版权管理。

也可以包括将从存储在存储单元中的多个图像数据中选择的图像数据发送到规定的终端的发送单元。发送单元也可对多个终端的每一个终端，实际上同时发送图像质量不同的图像数据。发送单元也可发送通过用户操作选择的图像数据，还可以发送根据规定终端的规格信息选择的图像数据。此规格信息，也可含有此终端的显示单元的图像分辨率。根据此方式，就能够进行灵活的图像发送。

本发明的另一个方式是图像显示装置。此装置包括上述任何一个方式的图像处理装置，包含显示各个图像质量不同的多个图像的显示单元。

根据此方式，能够进行满足图像提供方及利用其图像的用户方双方利益的灵活的图像显示。并且，能够快速地显示图像质量不同的多个图像。

显示单元可以一面根据所设定的版权管理信息单独对每个图像进行版权管理，一面显示图像质量不同的多个图像。根据此方式，能够进行灵活的版权管理。

显示单元可以由用户选择任何图像质量的图像，通过多个窗口显示图像质量不同的多个图像。根据此方式，能够提高用户的操作性。

本发明的又一方式是图像显示方法。此方法显示在按多个图像质量可解码的状态下进行从多路复用的编码图像数据解码的、各图像质量不同的多个图像。

根据此方式，能够进行满足图像提供方及利用其图像的用户方双方利益的灵活的图像显示。并且，能够快速地显示图像质量不同的多个图像。

再有，将上述构成要素的任意组合、和本发明的构成要素和表现方法、装置、系统、记录媒体、程序等在其间相互交换，作为本发明的状态也是有效的。

本发明能够利用从单一的编码图像数据流生成图像质量不同的静态图像、动态图像的技术。作为一个例子，参照图15，简单说明通过Motion-JPEG 2000方式编码动态图像的方法。未图示的图像编码装置以帧单位连续地编码动态图像的各帧，生成动态图像编码图像数据流。与编码处理的开始相对应，将相当于动态图像的一个帧的原图像OI(OriginalImage)102读入帧缓冲器中。读入帧缓冲器的原图像OI由小波变换器进行分级。

JPEG2000中的小波变换器利用Daubechies滤波器。此滤波器，在图像X、Y各方向中同时作为高通滤波器及低通滤波器起作用，将一个图像分割成四个子频带。这些子频带是，在x、y两个方向具有低频成分的LL子频带；在x、y任意一个方向具有低频成分，且在另一方向具有高频成分的HL子频带及LH子频带；在x、y两个方向具有高频成分的HH子频带。此外，此滤波器还兼起对于x、y两个方向将像素数减少到1/2的作用。即，各子频带的纵横像素数，为处理前的各个图像的1/2，通过一次滤波能够获得图像分辨率即图像尺寸为1/4的子频带的图像。在本说明书中，相对于原图像OI将经历一次小波变换的图像称为第一级图像WI1，下面按照经历小波变换的次数称为第n级图像WIn。

如图15中示意性地表示，在第一级图像WI1 104中，生成四个子频带LL1、HL1、LH1、HH1。对第一级图像WI1 104实施小波变换，生成第二级图像WI2 106。在此，第二次之后的小波变换仅针对前一级的图像内的LL子频带成分实施。因此，在第二级图像WI2 106中，第一级图像WI1的LL1子频带被分解为四个子频带即LL2、HL2、LH2、HH2。小波变换器实施规定次数的此滤波，输出各子频带的小波变换系数。此后，图像编码装置实施量化的其它处理，最后输出编码图像数据CI(CodedImage)。

为了说明的简单，此例中，设图像编码装置对原图像OI实施三次小波变换。因此，例如，设原图像OI 102为1440×960像素时，第一级图像WI1 104的LL1子频带的尺寸为720×480、第二级图像WI2 106的LL2子频带为360×240、第三级图像WI3 108的LL3子频带的尺寸为180×120。

应该注意，对于分级了的图像，原图像OI中的低频成分在图15中是出现在靠左上单元。图15的情况下，位于第三级图像WI3的左上角的LL3子频带为最低频，若反过来讲，只要能得到此LL3子频带，就能再现原图像OI的最基本的性质。

编码图像数据流除了Motion-JPEG 2000以外，例如，也可以是在一个数据流中同时具有高图像质量HD流和低图像质量SD流的SVC(ScalableVideo Codec)，也可以是Motion-JPEG。在JPEG中，存在从各帧通过离散余弦变换得到的DCT(Discrete Cosine Transform)系数中的低次项的系数被发送的方式，根据使用到几次项的系数止就解码了，就能够选择图像质量。根据这些规格，就能够分级进行空间图像分辨率的编码。

上述例子是通过频率分割型的编码进行分级的例子。此点也可通过近似精度提高型的编码进行分级。即，通过调整来自DCT系数和小波系数的高数位的解码位数，也能够进行不同图像质量的解码。此外，MPEG 2中，除能够分级编码上述空间图像分辨率外，还能够通过帧数的调整来分级地编码时间图像分辨率。

图16表示编码的图像数据流的数据结构的一个例子。图16中的标题(ヘツダ)代表流标题。在此标题区域的自由的区域中，编码方能够添加后述的版权级别信息。在各帧中，还记述未图示的帧标题所添加的解码所必需的信息等。再有，也可将该版权级别信息添加在帧标题中。例如，能够添加在每几个帧中等，添加在帧群的任意的帧中。

如上所述，进行频率分割生成分级的编码图像数据CI的情况下，从各帧的数据区的开头起，按低频成分、中频成分、高频成分的顺序记述数据。再有，在采用分割到直流成分为止的方式的情况下，在低频成分之前记述直流成分的数据。即使使用仅各帧的前半部分，也能够再生可把握内容的图像，成为低图像质量的图像。随着到后半部分为止含有的再生，就逐步形成高图像质量的图像。如此，分级了的编码图像数据流，兼有再生高图像质量的图像所必需的图像数据区域，和以重叠在此区域上的状态，再生低图像质量的图像所必需的图像数据区域。因此，能够由一个编码图像数据流再生图像质量不同的多个图像。

图17表示版权级别信息的一个例子。版权级别信息是用于管理对使用管理编码图像数据CI的用户所许诺的版权级别的信息。不是全面允许或禁止编码图像数据CI的利用的二选一的管理，是对用途和图像质量、它们的组合等、其利用方式每一方面进行个别地管理。在图17中，用表展现可添加在编码图像数据CI上的版权级别信息。横轴表示该编码图像数据CI的用途，纵轴表示对应于各用途的许诺图像质量等级。

用途的一种方式的表示，在低图像质量中无限制地允许。在中图像质量和高图像质量中，添加用于干扰显示等妨碍视听的噪声。因此，中图像质量和高图像质量下的显示实际上被限制了。再有，此噪声，在由用户支付费用等满足规定条件的情况下，就不被重叠。初始显示代表，对于从显示开始的一定期间内，将重叠有噪声会使视听变困难的图像作成没有添加噪声的正常的画面来显示的功能。在图17中，对于高图像质量进行一分钟初始显示，对于中图像质量进行30秒初始显示。此后，就变成重叠了噪声的图像。

发送表示从解码该编码图像数据CI的设备向其它设备发送的功能。在图17中，对于所有图像质量无限制地允许发送。复制在高图像质量中被禁止，在低图像质量和中图像质量中被无限制地允许。编辑在中图像质量及高图像质量中被禁止，在低图像质量中无限制地允许。此编辑中，也可包含从通过数字电视广播接收的编码图像数据中删减商业部分的编辑。此情况下，虽然能够在中图像质量下复制编码图像数据，但删减商业部分就不能够复制。

图像提供方对每个用户进行这种表格化的分布图管理，并能够适当更新该分布图的各项目。在将编码图像数据通过收费方式提供给用户方的情况下，根据用户方支付的费用和成本设定等，就能够分配不同的分布图。如果分布图不同，可利用的用途和对应于此用途的许诺图像质量等级就不同。此外，分布图不仅针对每个用户，也可针对每个地域和每个时间来生成。例如，生成每个时间的分布图时，也能够在用户的图像内容的利用中设置限制时间。用户方的装置中，如果设定为超过某一时间时就切换分布图(profile)的结构，就能够在此期间后，设定限制用途形式的时间限制，以使允许图像质量等级下降，而不进行不能利用所有内容的处理。

接着，说明解码上述这样的分级了的编码图像数据流的图像处理装置2200。图18表示本发明的实施方式8的图像处理装置2200的结构。图像处理装置2200的结构为，对于硬件能够由任意计算机的CPU、存储器、其它的LSI来实现，对于软件能够通过装载到存储器中的具有解码功能的程序等来实现，在此描述通过这些的连携实现的功能块。因此，能够通过只有硬件、只有软件、或它们的组合得到的各种形式实现这些功能块，这是本领域普通技术人员应该可以理解的。

图像处理装置2200包括解码块2250。解码块2250包括数据流解析单元2252、算术解码单元2254、位面解码单元2256、逆量化单元2258、小波逆变换单元2260及帧缓冲器2262。

数据流解析单元2252从外单元获取编码图像数据流CI，并对此数据流进行解析。也可以通过从网络上下载来获取编码图像数据流CI，也可从广播电波中获取，还可以从记录其的记录媒体中获取。此外，在该编码图像数据CI的标题(ヘツダ)等中添加有版权级别信息的情况下，将其读出，并传送到版权管理单元2030。

算术解码单元2254对该数据流解析的结果、能够判明的应解码数据列实施算术解码。位面解码单元2256按位面的形式对每一色分量(component)解码算术解码的结果、所得到的数据。逆量化单元2258，对解码后的量化数据进行逆量化。小波逆变换单元2260，利用帧缓冲器2262，对逆量化结果、获得的第n级图像WIn实施小波逆变换。针对编码图像数据CI，每实施一次小波逆变换，就能获得更高位级的图像，如果解码到最高位级别时，就能够获得解码图像数据DI(解码图像，DecodedImage)。

解码块2250将在帧缓冲器2262中展开的图像数据针对多个分级输出到存储单元2034中。例如，可以针对从第一级到最高位级的所有的级，输出分别展开的图像数据。此情况下，如果实施小波逆变换时，将帧缓冲器2262内的图像数据输出到存储单元2034，就能够输出所有的级的图像数据。此外，针对从第一级到最高位级的级中的两个以上的级，也可以根据规定的设定将这些图像数据输出到存储单元2034。例如，从第一级到最高位级中也可每隔一级输出。

版权管理单元2030管理本图像处理装置2200中利用的编码图像数据CI的版权。管理从数据流解析单元2252传送的版权级别信息，或通过英特网等网络从图像提供方的服务器获取的版权级别信息CLI。这些版权级别信息中，可以含有对应于费用的支付等，允许在此之前被限制的利用的信息。例如，可以在限制高图像质量中的显示的情况下，含有允许此的信息。版权管理单元2030，在用户利用该编码图像数据CI时，特定根据其用途的允许图像质量，管理在存储单元2034中存储的图像质量不同的多个图像数据。

版权管理单元2030可包括噪声重叠单元2032。噪声重叠单元2032为了生成干扰显示等用于妨碍视听的显示，在解码了的图像数据上重叠规定的噪声成分。在解码块2250内的帧缓冲器2262中，实施小波逆变换中也可重叠噪声成分，在将存储单元2034中存储的图像数据进一步输出到发送单元2036或显示单元2038时也可进行重叠。再有，噪声重叠单元2032作为版权管理，在只禁止某一图像质量的图像显示时没有设置的必要。此外，在本图像处理装置2200不进行版权管理的情况下，也没必要设置版权管理单元2030。

存储单元2034存储从解码块2250输出的图像数据。本实施方式中，能够存储图像质量不同的多个图像数据，同时将图像质量不同的相同内容的图像提供给发送单元2036和显示单元2038。

图19表示本实施方式8中的存储单元2034的数据结构。存储单元2034存储从单一的编码图像数据CI解码的图像质量不同的多个图像数据。在图19中，以各自独立的方式存储高图像分辨率图像数据2322、中图像分辨率图像数据2324及低图像分辨率图像数据2326。在动态图像的情况下，虽然各区域的图像数据依次更新，但实际上分别保持同一场面的图像数据。

发送单元2036通过有线或无线通信将存储在存储单元2034中的图像数据发送到TV、PC、携带电话、PDA(个人数字助理，Personal DigitalAssistance)等的终端。显示单元2038显示存储在存储单元2034中的图像数据。再有，本图像处理装置2200也可包括发送单元2036和显示单元2038中的至少一个。

选择单元2040在从存储单元2034向发送单元2036或显示单元2038输出图像数据的情况下，从存储单元2034内的多个图像数据中选择应输出的图像数据。选择单元2040可以从未图示的操作单元接收用户指示来进行选择，也可以根据规定的规格信息来进行选择。该规格信息中可包含显示单元2038的图像分辨率和发送方显示器的图像分辨率、解码块2250的运算速度和存储器容量等。例如，选择单元2040可以预先获取发送方终端的显示器的图像分辨率，自动选择在此图像分辨率以内的且图像分辨率最高的图像数据。

接着，说明本实施方式8中的图像处理装置2200的工作例。本图像处理装置2200由于将图像质量不同的多个图像数据保持在存储单元2034中，所以能够实现以下说明的各种应用。

首先，本图像处理装置2200能够实际上同时显示图像质量不同的同一内容的图像。图20表示由多个窗口显示图像质量不同的同一内容的图像的画面。图20中，将由高图像分辨率图像数据2322、中图像分辨率图像数据2324及低图像分辨率图像数据2326生成的三个高图像分辨率图像2342、中图像分辨率图像2344及低图像分辨率图像2346重叠，在一个画面中加以显示。用户能够进行选择，以显示在显示单元2038中显示出的图像质量不同的多个图像中的一个。选择单元2040进行控制，以便仅将用于显示由用户选择出的图像的图像数据从存储单元2034输出到显示单元2038。

未图示的尺寸变更单元根据用户的指示，可以放大或缩小选择出的图像数据。但是，即使放大原始低图像分辨率的图像数据，仅发生块噪声，也不能提高图像质量。再有，在图20所示的图像选择画面中，可以通过用户操作在任何时候进行转移。

在这种结构中，视听了中图像分辨率的图像的用户为了在最动人的某一画面下进行视听，也可以进行所谓的交换为高图像分辨率的图像的处理。此外，也可以在按照显示的图像质量收取不同费用的应用等中利用。如果按照图像质量相对于每单位时间的显示的费用进行不同的设定，例如，如果设在低图像质量显示为低费用或免费，高图像质量显示设定为相对高额时，用户能够采用所谓的在追求情节的场面下选择低图像质量的图像，在达到高潮时选择高图像质量的图像的视听方法。在实现这些的情况下，可以设置时间监视单元。未图示的时间监视单元，通过监视选择单元2040，将用户什么时间视听的何种图像质量的图像作为视听时间信息加以记录。并且，在视听结束后，如果对图像提供方的服务器等发送该视听时间信息，图像提供方就能根据此信息计算出应该向用户请求的费用。

此外，在实际上，本图像处理装置2200同时显示图像质量不同的同一内容的图像的情况下，能够使一个以上的图像重叠有用于妨碍视听的噪声。图21含有重叠了噪声的图像。表示用多个窗口显示图像质量不同的同一内容的图像的画面。在图21中，在由高图像分辨率图像数据2322生成的高图像分辨率图像2342中施加干扰。如上所述，版权管理单元2030，就能够根据获取的版权级别信息，对于图像提供方进行版权管理的图像质量图像重叠噪声。此外，也能够进行所谓的通过时间限定解除画面上的干扰的控制。例如能够进行这样的控制，从显示开始的几十秒间，使应该管理的图像质量的图像按常规显示，此后，显示重叠了干扰的图像。用户在想视听从重叠了噪声的图像中去除噪声这样的图像的情况下，通过选择此图像，执行支付费用等规定的手续，就能够去除噪声。

此外，实际上，本图像处理装置2200能够同时将同一内容的图像发送给多个终端。通过此使用方法，就使本图像处理处理装置2200具有作为本地(home)服务器的功能。此时，就能够将不同图像质量的图像发送到每个终端。此外，能够发送重叠在多个终端的一个以上的噪声的图像。将何种图像质量的图像发送到何种终端就能够通过用户操作来指定。此外，选择单元2040可以根据发送方终端的规格信息，自动地发送最佳图像质量的图像。例如，针对携带终端等显示区域变窄的终端，可以自动地发送低图像分辨率图像数据。用户可以很容易地从图像处理装置2200将图像数据发送到携带终端，即使外出时也能视听图像。例如，能够使用携带终端在外面视听通过家里的TV视听的内容的继续。

根据以上说明的本实施方式，能够实现进行满足图像提供方及利用该图像的用户方双方利益的灵活的图像提供。即，由于将图像质量不同的同一内容的图像数据保持在存储单元，就能够快速地利用这些图像数据实现各种处理。例如，能够一边用多个窗口显示图像质量不同的多个图像，一边实际上同时将不同图像质量的图像发送到各个不同的终端。图像提供方利用这种功能，就能够使用多样的销售方法和促销方法。

此外，通过按每一图像质量和用途进行版权管理，不仅能够进行所谓的允许还是禁止图像利用的二选一的选择，还能够灵活地进行图像提供方的版权保护的请求和用户方的利用请求的平衡。

以上，从根本上说明了本发明的几个实施方式，此实施方式是例子，本领域普通技术人员应能理解在这些各构成要素和各处理过程的组合中能够实现各种变化例，此外这些变化例也属于本发明的范围。

在实施方式8中，说明频率分割型的分级。这一点也可使用近似精度提高型的分级。此情况下，通过在小波变换系数的位列之中，取消规定数的低数位，就能够解码各种图像质量等级的图像。即，版权管理单元2030通过在位面解码单元2256中指定变换的位数，就能够调整图像质量等级。

使用这种分级方式时，就能够以图像的部分单位在图像质量中设置差异。此情况下，不仅能够通过用途、图像质量等级两个参数记述管理图17中所示的版权级别信息的表格的各个分布图，还能通过用途、图像质量、图像部分三个参数来记述。此外，也能够通过图像质量、图像部分两个参数来记述。此情况下，图像提供方比上述实施方式8能够更灵活地管理版权。

此外，不同的图像质量不仅分级图像分辨率，而且也能实现分级压缩率和色数。如果使用JPEG 2000分层功能就能够进行压缩率分级。彩色图像虽然可由亮度成分和色差成分展现，但相对于色差成分，也能够使用上述这种分级方法。

Claims (18)

1、一种图像显示方法，

根据规定的设定值一边随经过时间改变品质、一边显示动态图像。

2、根据权利要求1中所述的图像显示方法，其特征在于，

所述设定值是至少使所述动态图像的分辨率、图像质量及帧速度中的至少一项逐级下降的值。

3、根据权利要求1中所述的图像显示方法，其特征在于，

所述设定值是至少使所述动态图像的亮度及色差中的至少一项逐级下降的值。

4、根据权利要求1中所述的图像显示方法，其特征在于，

所述设定值是使所述动态图像的显示区域逐级变窄的值。

5、根据权利要求4中所述的图像显示方法，其特征在于，

在所述动态图像显示区域之外，显示规定的广告。

6、根据权利要求1中所述的图像显示方法，其特征在于，

根据用户的规定的操作，固定所述设定值。

7、一种图像编码装置，具备：

编码单元，编码动态图像数据；

添加单元，将规定的设定值添加在编码了的动态图像数据上，从而一边随经过时间改变品质、一边进行显示。

8、根据权利要求7中所述的图像编码装置，其特征在于，

所述设定值是至少使所述动态图像的分辨率、图像质量及帧速度中的至少一项逐级下降的值。

9、根据权利要求7中所述的图像编码装置，其特征在于，

所述设定值是至少使所述动态图像的亮度及色差中的至少一项逐级下降的值。

10、根据权利要求7中所述的图像编码装置，其特征在于，

所述设定值是使所述动态图像的显示区域逐级变窄的值。

11、一种图像编码装置，具备：

编码单元，编码动态图像数据，从而一边随经过时间改变品质一边进行显示；和

品质设定单元，将用于改变所述品质的设定值提供给所述编码单元。

12、根据权利要求11中所述的图像编码装置，其特征在于，

所述设定值是至少使所述动态图像的分辨率、图像质量及帧速度中的至少一项逐级下降的值。

13、根据权利要求11中所述的图像编码装置，其特征在于，

所述设定值是至少使所述动态图像的亮度及色差中的至少一项逐级下降的值。

14、根据权利要求11中所述的图像编码装置，其特征在于，

所述设定值是使所述动态图像的显示区域逐级变窄的值。

15、一种图像解码装置，具备：

解码单元，对编码了的动态图像数据进行解码；和

品质设定单元，将按随经过时间改变品质那样设定的设定值提供给所述解码单元，

所述解码单元根据所述设定值一边改变所述品质一边进行解码。

16、一种图像解码装置，具备：

记录单元，预先记录将规定图像数据的内容作为可视认图像再生的基本数据；

获取单元，获取用于提高所述图像的品质而补充所述基本数据的补充数据；

组合单元，组合所述基本数据和所述补充数据；和

解码单元，对组合了的图像数据进行解码。

17、根据权利要求16中所述的图像解码装置，其特征在于，

还具备数据请求单元，其获取所述基本数据后，依据本装置的处理能力，向分配方请求应补充所述基本数据的数据。

18、一种图像处理装置，具备：

解码单元，获取在按多个图像质量能够解码的状态下进行多路复用的编码图像数据，对所述编码了的图像数据进行解码以便生成图像质量不同的至少两个以上的图像；

存储单元，对应于规定的处理，存储解码了的多个图像数据。

Images