CN103957416B - 部分伸展方法以及图像处理装置 - Google Patents

Abstract

本发明提供一种部分伸展方法以及图像处理装置，能够抑制部分伸展用的CPU的处理成本，在进行部分伸展处理而进行画面显示时，迅速响应用户操作从而能够进行高画质的画面显示。生成以宏块为单位对压缩图像进行解压所需的数据即映射数据，并且，生成与显示装置的画面尺寸匹配的缩小图像，与压缩图像相关联地保存所生成的映射数据和缩小图像。根据图像操作要求，将与压缩图像相关联的缩小图像输出到显示装置，根据缩小图像的显示范围确定应解压的宏块，关于所确定的宏块，使用映射数据对压缩图像进行部分解压，将部分解压后的图像中的显示范围的图像输出至显示装置。

Description

部分伸展方法以及图像处理装置

本申请是申请号为201010568244.1、申请日为2010年12月1日、发明名称为“压缩图像的部分伸展方法以及图像处理装置”的发明专利申请的分案申请。

技术领域

本发明涉及仅使被压缩的图像数据中的一部分伸展的技术，特别是涉及根据用户的显示范围或放大、缩小以及滚动（scroll）的指示对JPEG形式等的压缩图像数据的一部分进行译码（解压）而使其伸展并输出至显示装置的压缩图像的部分伸展方法以及图像处理装置的技术。

背景技术

近年来，由于数码相机或带摄像功能的移动电话的高分辨率化，变得要处理大容量的图像数据。另一方面，显示设备的分辨率通常不会像所显示的数据的分辨率那么高。

例如，浏览图像数据的显示设备通常只有0.5M（VGA）～2M像素（高清晰电视）程度的分辨率，在该情况下，该显示设备不可能输出所有10M像素的数据而一次全看到。因此，作为浏览方法，采用“缩小图像而观看整体”或“不缩小（或不太缩小）图像而观看一部分”这样的某一方法进行浏览。在该图像处理或图像数据的保存中需要相当大的存储容量，但由于商品低成本化和硬件的限制，大多情况存储容量存在限制。

因此，以往，提出了用于节约图像处理和图像数据的保存中所使用的存储容量的技术。

例如，在专利文献1中，提出了这样的部分伸展装置：根据保持插入于JPEG压缩数据的RST的位置的RST表，指定表示伸展开始位置的RST位置和表示伸展结束位置的RST位置，并自记录介质读取从比伸展开始位置靠前的读取开始区段到比伸展结束位置靠后的读取结束区段的数据，使该数据中从伸展开始位置到上述伸展结束位置的数据伸展。

在专利文献2中，公开了这样的技术：利用小的存储容量无障碍地展开大尺寸的图像压缩数据，进行部分伸展图像的快速显示、滚动，因此，在图像数据的压缩时或图像压缩数据的展开时等，每隔预定间隔对图像压缩数据距开头的比特位置进行设定，并将其作为压缩数据偏移值进行存储，在原始图像内的部分区域被指定时，读取适当的压缩数据偏移值，从压缩数据流的中途对图像压缩数据进行部分展开来进行滚动处理。

另外，在专利文献3中记载了使用用于使原始图像有效地部分伸展的扫描表进行JPEG图像的部分伸展的具体方法。

另一方面，为了使图像数据进行部分伸展来显示，需要一定程度的处理时间。因此，在专利文献4中，公开了以下技术：利用由摄影得到的原始图像数据作成使像素数减少而得到的预览图像数据、以及比其进一步减少像素数而形成为规定的像素数的缩略图像数据，将原始图像数据和对应的预览图像数据及缩略图像数据一起记录在存储卡中，在再现模式时，从记录于存储卡的图像数据中选择一个数据，在该图像数据不包含预览图像数据的情况下，将对应的原始图像数据或缩略图像数据显示于显示部。

【专利文献1】日本专利第3108283号公报

【专利文献2】日本专利第3399743号公报

【专利文献3】日本特开2000-278685号公报

【专利文献4】日本专利第3747914号公报

但是，要生成用于使图像部分伸展的控制数据或使用该控制数据进行部分伸展，会花费不少存储容量和CPU负荷等的处理成本。例如，在控制数据生成中存在图像显示或滚动、放大缩小等来自用户的操作要求的情况下，存在这样的问题：为了生成控制数据该操作要求需要等待，或者虽说与解压压缩图像整体相比进行部分解压会很快，但为了部分展开而进行滚动处理等的速度非常受限。

发明内容

本发明就是鉴于上述情况而完成的，其目的在于提供压缩图像的部分伸展方法以及图像处理装置，能够抑制部分伸展用的CPU的处理成本，在进行部分伸展处理并进行画面显示时，能够迅速响应用户操作而进行高画质的画面显示。

本发明的压缩图像的部分伸展方法的概要情况如下：在生成针对每个块解压压缩图像所需的控制数据（以下，将该控制数据称为“映射数据”）时，同时生成全画面显示用的图像（以下，称为“高精细缩小图像”）和用于一览显示多个图像的缩略图像（以下，称为“低精细缩小图像”）并将它们以文件形式保存在辅助存储器（storage）中，在用户有操作要求时仅将这些生成的数据中所需的数据存储于主存储器，并根据该操作要求的内容，通过将使用高精细缩小图像或低精细缩小图像以及映射数据进行部分解压后的图像有效地输出至显示设备，由此，能够进行压缩图像的高速显示。

以下，将由该映射数据、高精细缩小图像、低精细缩小图像构成的数据称为“高速缓存数据”。并且，将以文件形式保存于闪存等大容量的辅助存储器中的高速缓存数据称为“高速缓存文件”。

高速缓存数据的生成定时既可以是利用CPU的空闲时间（idling）的任意定时，也可以是压缩图像的最初的译码（解压）处理时，或者在作为非压缩图像（原始图像）输入的情况下为其编码（压缩）处理时。

通常，图像显示的模式大致分为两个模式。即，用于放大/缩小/滚动来观看一个图像的“详细显示模式”和一览显示多个图像以寻找目标图像的“缩略一览模式”。在本发明中，在详细显示模式中，使用高精细缩小图像和高速缓存数据两者进行高速显示，在缩略一览模式中，仅使用低精细缩小图像进行高速显示。

通过预先保存该低精细缩小图像，由于在用户有显示要求时不需要读取原始图像，所以能够进行高速浏览，而有时低精细缩小图像根据压缩图像的形式而被预先准备。例如，在JPEG数据内存在以160×120像素的尺寸嵌入的被称为Exif缩略图的缩略图像，一般在数码相机或移动电话的摄影时被附加。

该Exif缩略图在数码相机的液晶画面的分辨率小时是足够的，但考虑在最近的数码相机和高清晰电视上显示，其尺寸有时会不够用。对于缩小到何种程度的尺寸取决于显示设备，因此，也可以不使用Exif缩略图那样预先嵌入的低精细缩小图像，而是在浏览时动态地由高精细缩小图像生成，并对该数据进行高速缓存而再利用。

关于详细显示模式，在将压缩图像从左上向右下展开的过程中，舍弃不需要的部分，由此能够以少的存储器消耗量进行处理。但是，在观看图像的一部分时，大多情况使图像滚动进行显示，在该情况下，每逢滚动时需要展开图像整体，这导致性能变差，对用户操作的响应变差。在本发明中，预先扫描图像数据的文件流上的位置与图像内的哪个位置对应并进行记录，若基于此将图像部分地进行解压，能够进行高速解压。

<映射数据的构造>

接着，以JPEG为例说明本发明的映射数据的构造。JPEG数据是利用图像压缩的标准格式将原始图像分割为被称作宏块的单位进行压缩而生成的图像数据。

JPEG针对每个宏块进行频率变换、量化、熵压缩，按照从图像的左上到右下的宏块的顺序进行压缩。例如在图2中，将图像整体分割为8×6=48个宏块，按照MB00、MB01、…、MB47的顺序进行压缩。

压缩后的各宏块的数据按照从画面左上到右下的顺序排列成位流状，进而，其DC分量值利用与自己前面的宏块的相对差异而来保持值，因此，为了对某宏块进行译码，需要从前头的宏块依次进行扫描。因此，在对图像的一部分进行解压时，每次需要展开图像整体，成为处理性能降低的原因。

因此，在本实施方式中，预先扫描图像数据的文件流上的位置与图像内的哪个位置对应、进而预先扫描该宏块中的DC分量值（各YUV）并将其作为映射数据进行记录，实现处理的高速化。

图3表示映射数据的构成。

此处，映射数据针对每个宏块ID，关联文件流位置、DC分量值Y、DC分量值U、DC分量值V。

JPEG在熵压缩中以比特为单位进行压缩，因此，文件流位置以比特为单位进行指定。

在进行JPEG图像的部分解压时，一边参照映射数据，一边抽出要显示的部分的宏块的文件流位置，从该位置起进行解压处理，由此，能够高速进行解压。例如、若图4的粗框实线部分为显示到显示设备的画面的显示范围，则仅抽出包括其范围在内的斜线宏块进行解压处理。

另外，当对所有宏块分别生成映射数据时，数据量变大，因此，优选将宏块间拔，按照某一定个数进行记录。图5表示按照每5个宏块来记录文件流位置得到的映射数据的构造的一个例子。

在对宏块间拔而生成映射数据的情况下，未保存到映射数据中的宏块通过以在映射数据中记录的宏块为基准进行扫描，由此被解压。

例如在进行用于显示图6的粗框部分的解压处理的情况下，也解压成为对象的宏块的周围，但能够削减映射数据的数据量，另外，能够进行比解压所有宏块快得多的高速解压。

<渐进式JPEG的映射数据的情况>

通常，在JPEG中存在渐进式JPEG。渐进式JPEG是在文件流上其前头保存低频的数据、随着接近流的后方而成为高频的数据。由此，在通过网络进行文件传送时，在传送了文件前头的时刻显示粗的图像，随着文件传送的进展，能够显示详细数据。在渐进式JPEG中，将各频带的每一个的数据的集合称为扫描（scan），该数据构造如图7所示。此处，扫描0为最低频带（YUV的DC分量），保存扫描ID变大的更高频带的数据。

各扫描能够具有标题数据（header data），能够具有针对每个该扫描的霍夫曼表等。该霍夫曼表在对霍夫曼编码化后的数据进行解压时是必要的。

有关渐进式JPEG的映射数据如图8所示，针对每个扫描ID保存扫描标题在文件流上的位置，针对各宏块的每个扫描ID保存文件流上的位置。此处，渐进式JPEG关于扫描0（DC分量）为与前面MCU（Minimum Code Unit）的差分值，因此，关于渐进式JPEG的映射数据，针对各宏块的每个计算并保存文件流上的到其为止的MCU的DC分量的累计值。该YUV各自的DC分量值是不存在于每个扫描中而仅存在于扫描0的值。

在图8的示例中，扫描的个数为8个，宏块的个数为8×6=48个，按照每5个宏块进行间拔来保持数据。

与图5的映射数据的差异是追加了扫描标题的文件流位置、以及宏块的文件流位置对于所有扫描保持其位置。由此，也能够迅速对应于文件内的多个位置参照。

关于渐进式JPEG的映射数据必须保持多个扫描的文件流位置，因此其数据量变大。也有想根据主存储器的容量使映射数据的数据尺寸处于某一定的数据量以内的情况，该情况下，只要调整宏块的间拔间隔即可。例如、设映射数据的数据量的上限为Smap字节，设扫描的个数为Nscan，为了保持扫描的文件流位置而针对每一个扫描设为Sscan字节，设宏块的个数为Nmb个，为了保持宏块的文件流位置而针对每一个宏块设为Smb字节，为了对于各个DC分量值YUV进行保持而设为Sdc字节，则宏块间拔间隔X用下式求出。

X=[Nmb·（Smb·Nscan+3·Sdc）/（Smap-Nscan·Sscan）]…（1）

这里，[v]表示v以上的最小整数。

具体而言，本发明的压缩图像文件的部分伸展方法使用计算机对按照每个压缩单位即宏块压缩后所得的压缩图像进行部分伸展，其特征在于，该方法包括以下步骤：将压缩图像保存到计算机的存储装置的步骤；根据压缩图像的位流生成以一个或两个以上的宏块为单位进行解压所需的数据即映射数据，并且根据显示装置的画面分辨率生成规定尺寸的缩小图像，并与该压缩图像相关联地将上述生成的映射数据和缩小图像保存到存储装置中的步骤；根据从输入装置输入的图像操作要求将与显示对象的压缩图像相关联的缩小图像输出到显示装置的步骤；根据缩小图像的显示范围确定应解压的一个或两个以上的宏块的步骤；关于所确定的宏块，使用映射数据对压缩图像进行部分解压的步骤；以及将部分解压后的图像中的显示范围的图像输出到显示装置的步骤。

并且，本发明的图像处理装置的特征在于，该图像处理装置具备以下单元：保存按照每个压缩单位即宏块压缩后的压缩图像的单元；根据压缩图像的位流生成以一个或两个以上的宏块为单位进行解压所需的数据即映射数据，并且根据显示装置的画面分辨率生成规定尺寸的缩小图像，并与该压缩图像相关联地生成上述生成的映射数据和缩小图像的高速缓存文件生成单元；根据从输入装置输入的图像操作要求将与显示对象的压缩图像相关联的缩小图像输出到显示装置的缩小图像输出单元；根据缩小图像的显示范围确定映射数据中的使用的一个或两个以上的宏块的使用块判定单元；关于由使用块判定单元所确定的宏块，使用映射数据对压缩图像进行部分解压的部分解压单元；以及将利用部分解压单元部分解压后的图像中的显示范围的图像输出到显示装置的部分解压图像输出单元。

在本发明中，通过使生成映射数据的处理和生成与显示装置的画面尺寸匹配的缩小图像的处理通用化，从而抑制CPU的处理成本。进而，根据用户的图像操作要求，首先，基于缩小图像生成画面显示用的数据并输出，然后使用利用映射数据进行部分解压后的图像数据，生成画面显示用的数据并将其输出至显示装置。

并且，在本发明的图像处理装置中，其特征在于，使用块判定单元还根据显示范围和图像操作要求的内容追加应利用部分解压单元部分解压的宏块。

在本发明中，仅根据缩小图像的当前的显示范围确定应解压的宏块，根据放大、缩小、移动方向等图像操作要求的内容预测应解压的宏块。

并且，在本发明的图像处理装置中，其特征在于，部分解压图像输出单元判定是否存在用于输出给显示装置的部分解压图像，在存在的情况下，停止缩小图像输出单元的动作。

在本发明中，在存在部分解压后的图像数据（以下，称为“部分解压图像数据”）的情况下，禁止缩小图像的输出，立即显示输出部分解压后的图像数据，因此，降低操作要求时的画质不均匀，能够平滑地移动高画质的显示图像等。

并且，在本发明的图像处理装置中，其特征在于，该图像处理装置还具备部分解压图像删除单元，该部分解压图像删除单元根据显示范围和图像操作要求的内容，以宏块为单位删除部分解压图像数据。

在本发明中，根据显示范围和图像操作要求的内容判定利用可能性变低的部分解压图像数据而将其从存储器删除，因此，能够有效利用存储器。

根据本发明，在生成映射数据时与显示画面的尺寸匹配地生成缩小图像，有效地整理主存储器上的映射数据和部分解压图像，因此，能够抑制CPU的处理成本。另外，在用户的操作要求时，在使用部分解压图像进行画面显示之前，首先使用缩小图像进行画面显示，因此，能够迅速响应用户操作，进行高画质的画面显示。

附图说明

图1是本发明的第一实施方式的图像处理装置的功能框图。

图2是作为JPEG数据的压缩时的分割单位即宏块的说明图。

图3是相对于所谓的基本DCT方式的JPEG的宏块的构成的一例。

图4是应解压的宏块与显示范围的关系的说明图。

图5是映射数据的构成的其它例子，是按照每5个宏块保存一次的情况的说明图。

图6是图5的映射数据情况下的应解压的宏块与显示范围的关系的说明图。

图7是渐进式JPEG的数据构造的说明图。

图8是相对于渐进式JPEG的映射数据的构成例。

图9是图1的高速缓存文件生成单元26的动作概要的说明图。

图10是通常的JPEG数据的解压步骤的说明图。

图11是在图1的高速缓存文件生成单元26中同时生成高精细缩小图像和映射数据的步骤的说明图。

图12是用于说明图1的高速缓存文件生成控制单元25中的高速缓存数据生成定时的流程图。

图13是利用图1的高速缓存文件删除单元32进行的高速缓存数据删除处理的优先级的一个例子。

图14是高精细图像和原始图像的显示范围的对应关系的说明图。

图15是本发明的第二实施方式的图像处理装置的功能框图。

图16是表示图15的使用块判定单元28的宏块追加例程的处理步骤的流程图。

图17是表示图15的部分解压图像删除单元33的处理步骤的流程图。

图18是基于操作信息的部分解压图像数据中的显示范围的移动状况的说明图。

图19是表示图15的使用块判定单元28的其它实施例的处理步骤的流程图之一。

图20是表示图15的使用块判定单元28的其它实施例的处理步骤的流程图之二。

标号说明

1 图像处理装置

11 输入装置（输入设备）

12 显示装置（显示设备）

20 运算处理部

21 输入处理单元

22 存储器接口单元

23 图像数据登记单元

24 操作要求输入单元

25 高速缓存文件生成控制单元

26 高速缓存文件生成单元

27 缩小图像输出单元

28 使用块判定单元

29 部分解压单元

30 部分解压图像输出单元

31 显示处理单元

32 高速缓存文件删除单元

33 部分解压图像删除单元

40 主存储器

50 高速缓存数据

51 映射数据

52 高精细缩小图像

53 低精细缩小图像

60 辅助存储器

61 压缩图像

62 高速缓存文件

具体实施方式

下面，说明本发明的实施方式。图1是第一实施方式的实现图像部分伸展方法的图像处理装置的功能框图。图像处理装置1包括：输入图像数据、用户的操作要求的输入装置11；具有CPU并使用所输入的数据执行运算处理的运算处理部20；显示图像等运算结果的显示装置12；能够从CPU直接读写的主存储器40；以及闪存等大容量的辅助存储器60。另外，输入装置11具备摄像机等摄像单元，可以将由摄像单元拍摄的图像传递给运算处理部20。

该图像处理装置1只要具有上述各功能即可，因此，既可以利用个人计算机等通用的计算机来实现，也可以通过具备摄像功能的移动电话等来实现。

运算处理部20具有：执行从输入装置11传递来的数据的输入处理的输入处理单元21；执行向辅助存储器60进行写入的写入处理和从辅助存储器60读取的读取处理的存储器接口单元（以下，称为“存储器I/F单元”）22；经由存储器I/F单元将图像数据存储到辅助存储器60的图像数据登记单元23；接受来自用户的图像显示、滚动等的操作要求的操作要求输入单元24；对高速缓存文件的生成定时进行控制的高速缓存文件生成控制单元25；生成高速缓存文件的高速缓存文件生成单元26；根据用户的操作要求选择低精细缩小图像53或高精细缩小图像52进行显示输出的缩小图像输出单元27；对压缩图像中的应解压的宏块进行判定的使用块判定单元28；对被判定为应解压的宏块执行解压处理的部分解压单元29；显示输出被部分解压后的图像的部分解压图像输出单元30；以及执行向显示装置12显示的显示处理的显示处理单元31。各单元21～31能够通过程序作为CPU的功能来实现。另外，图1中，用虚线箭头表示压缩图像数据流，用实现箭头表示除此以外的数据流。

接着，对具有上述结构的图像处理装置1的动作进行说明。

<压缩图像数据输入处理>

图像处理装置1的运算处理部20接收到经由输入处理单元21从输入装置11传送来的压缩图像数据时，将其传递至图像数据登记单元23。图像数据登记单元经由存储器I/F单元22以文件形式保存于辅助存储器60的压缩图像DB61。在该图像文件中，带有表示输入顺序的ID（以下称为“图像ID”）和输入时的时刻。

另外，图1中对根据非压缩图像生成压缩图像的功能没有记载，但也可以根据需要具有该功能。在本实施方式中，以直接输入非压缩图像为前提进行说明。

<高速缓存文件生成处理>

接着，对高速缓存文件生成控制单元25和利用高速缓存文件生成单元26进行的高速缓存文件生成处理的步骤进行说明。

高速缓存文件生成控制单元25在用户未进行浏览软件的操作的操作空闲时，启动高速缓存文件生成单元26。高速缓存文件生成控制单元25还通过操作要求输入单元24接收到来自用户的操作要求（图像的显示或放大、缩小、移动等要求）的通知时，调查应显示的图像的高速缓存文件是否存在于辅助存储器60中，在不存在高速缓存文件的情况下，即使用户正在操作，也启动高速缓存文件生成单元26。

当高速缓存文件生成单元26被启动时，生成缩小图像和映射数据51以舒适地浏览图像。作为缩小图像，生成在全画面显示某特定图像时所需的比较大的高精细缩小图像52和以一览显示的方式观看多个图像时所需的低精细缩小图像（所谓缩略图像）53这两种。高精细缩小图像52的尺寸取决于显示装置12的显示尺寸（即，显示装置的画面分辨率）。即，输入作为图像处理装置1的显示装置的参数而被设定的画面分辨率信息（例如XGA模式），从而生成该分辨率的尺寸（1024×768）的高精细缩小图像。

与直接从原始图像生成高精细缩小图像52和低精细缩小图像53这两者的情况相比，在从原始图像生成高精细缩小图像52后从高精细缩小图像52生成低精细缩小图像53能更快地作成，是优选的实际方法。

生成映射数据51需要抽出扫描位置、累积计算DC分量等对压缩图像整体进行扫描。另一方面，为了生成高精细缩小图像也需要对压缩图像整体进行扫描。高精细缩小图像生成和映射数据生成需要相应的处理成本，为了缩短该处理过程，优选在生成高精细缩小图像52的同时也生成映射数据51自身。

高速缓存文件生成单元26生成映射数据51、高精细缩小图像52以及低精细缩小图像53的各数据，并将该高速缓存数据与对应的图像文件的图像ID相关联地以文件形式保存在辅助存储器60中。

另外，在显示输出未生成高速缓存数据的图像时，高速缓存文件生成单元26在生成高速缓存数据50后，利用该高速缓存数据进行图像显示，然后将该高速缓存数据50输出至辅助存储器60的高速缓存文件62。由此，能够迅速地显示图像，操作性提高。图9示出高速缓存数据50和高速缓存文件62的生成处理的流程。

在图9中，高速缓存文件生成单元26利用高精细缩小图像/映射数据生成处理（S101）从原始图像（压缩图像）61同时（即，在一个解压处理中）生成高精细缩小图像52和映射数据51。然后，利用低精细缩小图像生成处理（S102）从高精细缩小图像生成低精细缩小图像53。在用户有显示要求的情况下，该映射数据51、高精细缩小图像52、低精细缩小图像53在用于显示输出后输出至高速缓存文件62。

（高速缓存文件生成的实施例）

接着，以JPEG形式的图像为例，说明高速缓存文件生成的步骤。作为专门化为JPEG的高精细缩小图像生成的研究，通过不解压所有的频带，而仅使用某个频率以下的低频带的数据，从而提高其处理速度。通常，JPEG数据的解压在图10所示的步骤下进行。

在该图中，熵代码的合成（S201）是从压缩后的位流复原数据的工序。在JPEG的情况下，对熵压缩使用霍夫曼编码，该工序为对霍夫曼编码化数据进行解压的工序。此后，进行逆量化（S202），对频率数据进行复原。频率数据通过逆频变换（在JPEG的情况下为逆DCT变换）成为YUV颜色空间的数据（S203）。然后，与显示装置12的颜色空间（例如RGB）对应地进行颜色变换（S204），解压处理完成。

生成的高精细缩小图像再次以JPEG形式保存。由此，能够减少数据量。此时，不需要对所有频带进行逆频变换。因此，通过仅对根据缩小图像的尺寸所需的低频带进行逆频变换，从而提高处理速度。并且，映射数据51在熵代码的合成时刻生成。

图11表示高精细缩小图像和映射数据生成的步骤。

高速缓存文件生成单元26在熵代码的合成（S201）的时刻由压缩图像即压缩后的位流生成映射数据51。在步骤S201之后，进行逆量化（S202），接着，仅对低频带进行逆频变换（S203a）。另外，在步骤S203a中，具备预先确定了画面尺寸与执行逆频变换的频带（扫描为否）之间的关系的表，参照该表抽出与画面尺寸对应的频带进行逆频变换即可。

在步骤S203a之后，执行缩小处理（S301）、频率变换（S302）、量化（S303）、熵编码（S304），生成JPEG形式的高精细缩小图像52。

（高速缓存文件生成的定时）

高速缓存文件62的生成处理如上所述，在用户操作空闲时等的规定定时进行，但此时，为了实现更舒适的图像浏览，生成哪个图像的高速缓存文件、即高速缓存文件生成的顺序很重要。

在本实施方式中，作为用户操作的模式，在显示某特定图像的详细显示模式和显示多个图像的缩略一览模式下以不同的顺序生成高速缓存文件62。

下面，使用图12说明高速缓存文件生成控制单元25的动作。

高速缓存文件生成控制单元25定期启动或根据来自操作要求输入单元24的启动要求而启动时，首先判定当前的操作模式是否为详细显示模式（S401）。

该判定的结果，若是详细显示模式（在S401中为“是”），则高速缓存文件生成控制单元25首先判定关于浏览中的图像是否存在高速缓存文件62（S402）。如果没有浏览中的图像的高速缓存文件62，则启动高速缓存文件生成单元26，首先对该图像生成高速缓存数据50（S403）。此时，高速缓存文件生成单元26将如上所述生成的高速缓存数据50首先输出至显示装置12，然后将该高速缓存数据50写入辅助存储器60的高速缓存文件62。

接着，高速缓存文件生成控制单元25判定用户是否正在利用输入装置11的GUI进行操作（S404）。另外，检测到操作要求的输入后，将未完成有关该操作要求的处理的期间设为操作中。

当在操作中生成高速缓存数据50时，对操作的响应变慢，妨碍舒适的浏览动作，因此，操作中不生成高速缓存数据而结束（在S404中为“是”）。另一方面，在用户未进行操作的情况下，高速缓存文件生成控制单元25根据图像ID判定关于紧靠浏览中的图像之前之后的图像是否存在高速缓存文件62（S406），如果不存在，则启动高速缓存文件生成单元26，生成高速缓存数据50，并将生成的高速缓存数据50写入辅助存储器60的高速缓存文件62（S407）。

接着，若没有用户操作（在S408中为“否”），则高速缓存文件生成控制单元25进一步对另一个前后（相邻的块）的图像也执行同样的处理（S406～S409）。这样，一边根据当前正浏览的图像对取得顺序处于一定范围内的图像依次确认有无用户操作，一边反复进行步骤S406～S409的处理而生成高速缓存文件62（S410）。

在缩略一览模式时，高速缓存文件生成的顺序与详细显示模式时不同。这是因为，在具有低精细缩小图像的情况下，暂时显示该图像即可，可以降低生成的优先级。下面，对缩略一览模式时的高速缓存文件生成控制单元25的处理步骤进行说明。

在缩略一览模式中，高速缓存文件生成控制单元25首先判定用户是否正在进行操作（S411），如果正在操作，则不进行高速缓存数据生成。另一方面，在用户未进行操作的情况下（在S411中为“否”），高速缓存文件生成控制单元25判定当前的图像数据是否具有高速缓存文件和低精细缩小图像中的某一个（S412，S413）。如果具有高速缓存文件或低精细缩小图像中的某一个（在S413中为“是”），则在该阶段，不生成高速缓存文件。如果没有高速缓存文件也不具有低精细缩小图像（在S413中为“否”），则高速缓存文件生成控制单元25启动高速缓存文件生成单元26而生成高速缓存数据50，并将其写入高速缓存文件62（S414）。接着，如果没有用户操作（在S415中为“否”），则高速缓存文件生成控制单元25进一步对另一个前后（相邻的块）的图像也执行同样的处理（S413，S414）。这样，一边根据当前正浏览的图像对取得顺序处于一定范围内的图像依次确认有无用户操作，一边反复进行步骤S413～S416的处理而生成高速缓存文件62（S417）。

在步骤S417之后，高速缓存文件生成控制单元26判定当前的图像是否具有高速缓存文件，如果没有，则启动高速缓存文件生成单元26而生成高速缓存文件（S418～S420）。在该阶段，即使存在低精细缩小图像，如果没有高速缓存文件，则进行高速缓存文件生成。接着，如果没有用户操作（在S421中为“否”），则高速缓存文件生成控制单元25进一步对另一个前后（相邻的块）的图像也执行同样的处理（S419～S420）。这样，一边根据当前正浏览的图像对取得顺序处于一定范围内的图像依次确认有无用户操作，一边反复进行步骤S419～S422的处理而生成高速缓存文件62（S423）。

<高速缓存文件删除处理>

高速缓存文件62的生成的顺序如上所述，但对所有的图像生成高速缓存文件62而保存到辅助存储器60时，相应地消耗大量存储器。

因此，在高速缓存文件的个数/或高速缓存文件的数据量的总和超过预先确定的某一定阈值Sc的情况下，高速缓存文件删除单元32进行删除不需要的高速缓存文件的处理。该判定通过来自高速缓存文件生成单元26的启动要求，在每生成高速缓存文件后立即执行。这是因为只有在生成高速缓存数据时高速缓存文件增加。高速缓存文件删除单元32一旦判定为删除高速缓存文件，则进行删除处理，直到高速缓存文件的个数/或高速缓存文件的总量小于预先确定的某一定阈值Sc’（＜Sc）为止。这里，对删除高速缓存文件的顺序将在后面叙述，有时在紧接删除该高速缓存文件之前生成的高速缓存文件会成为接下来要删除的高速缓存文件。在该情况下，不进行高速缓存文件的删除，设为对于高速缓存文件生成处于不继续进行的状态。但是，在该情况下，当从当前图像移动到前后的图像时，再次复位成进行高速缓存文件生成的状态。

作为要删除的高速缓存文件的顺序，高速缓存文件删除单元32首先对距离当前的图像处于某一定范围外的图像进行删除。一定范围能够任意确定，例如有如下的确定方法：在登记压缩图像时标以连续号码，在偏离预先设定的一定号码以上的情况下为范围外，在不是这样的情况下为范围内的确定方法；以及对文件的压缩图像进行分类，在与当前正在显示的图像的种类相同的情况下为范围内，种类不同的情况下为范围外的确定方法等。

高速缓存文件删除单元32以下述方式进行删除：对于范围外的文件，优先删除生成日期和时间旧的文件，在所有范围外的文件都删除之后，依次删除范围内的文件。高速缓存文件删除单元32对于范围内的文件优先删除偏离当前图像的图像。即，删除高速缓存文件的顺序按图13所示的优先级。例如，对于距离当前显示的图像一定范围外的高速缓存文件生成日期和时间旧的文件，与其它文件相比，删除的优先级设定得高。

<压缩图像显示处理>

接着，说明对压缩图像进行解压并显示输出至显示装置12时的步骤。

当用户有画面操作要求时，操作要求输入单元24将有操作要求这一信息传递给高速缓存文件生成控制单元25。高速缓存文件生成控制单元25根据该通知，使高速缓存生成单元26的启动处于停止状态直到对操作要求的处理结束为止。

并且，操作要求输入单元24启动缩小图像输出单元27和部分解压图像输出单元30，并且，除了操作模式（详细显示模式、缩略一览模式）之外，还对两单元27、30传递显示对象的图像ID、滚动方向、滚动量、放大·缩小等操作信息。

缩小图像输出单元27当由操作要求输入单元24启动时，从与显示对象图像的图像ID对应的高速缓存文件62读取高速缓存数据50。读取到的高速缓存数据存储在主存储器40上。

缩小图像输出单元27接着判定操作模式，在缩略一览模式时，显示输出高速缓存数据50的低精细缩小图像。

另一方面，在详细显示模式时，缩小图像输出单元27根据操作信息确定高精细缩小图像的显示范围，并经由显示处理单元31将显示范围的图像数据输出至显示装置12。另外，显示范围的指定方法采用以往技术，例如，利用以高精细缩小图像的图像左上顶点为坐标原点（0，0）时处于矩形显示范围的对角关系的顶点坐标（以下称为“对角坐标”）（x1，y1）（x2，y2）进行指定，并将该指定的范围的数据传递至显示装置12。

接着，缩小图像输出单元27启动使用块判定单元28。当使用块判定单元28启动时，根据显示范围对包括该显示范围的宏块的ID进行运算。

使用图14说明该运算方法的一个例子。图14（a）表示高精细缩小图像和显示范围，图14（b）表示被分割为宏块的原始图像和显示范围。例如，若高精细缩小图像的尺寸为a×b、原始图像的块分割数为m×n个，与高精细缩小图像的坐标（x，y）对应的原始图像上的坐标所属的宏块的ID可以用下式所示。

宏块ID=<m·x/a>+m·<n·y/b> ……（2）

这里，<v>表示v以下的最大整数。

另外，上述式（2）是设ID的初始值为“0”、如图2所示从左上到右下号码连续的情况的运算式。

例如若高精细缩小图像的尺寸为1024×768，矩形显示范围的对角坐标为（x1，y1）=（500，200）、（x2，y2）=（750，500），则根据上式（2），（x1，y1）的宏块ID为“11”，（x2，y2）的宏块ID为“29”。同样，求出其它顶点的宏块ID，并且，宏块ID关于水平方向一次增加1，关于垂直方向一次增加m，因此，能够特定所有矩形显示范围所属的宏块ID。使用块判定单元28将求出的矩形显示范围所属的宏块ID保存于主存储器40的缓冲区2（42）。此后，使用块判定单元28启动部分解压单元29。

当部分解压单元29启动时，使用压缩图像的映射数据51中其ID被记录于缓冲区2的宏块的映射数据来对压缩图像61进行部分解压。部分解压后的图像数据（以下，称为“部分解压图像数据”）保存在主存储器40的缓冲区1（41）中。部分解压单元29对保存在缓冲区2（42）的所有宏块ID完成该ID的宏块的解压处理时，启动部分解压图像输出单元30。

接着，当部分解压图像输出单元30启动时，将保存在缓冲区1（41）的部分解压图像数据中的显示范围的图像输出至显示装置12。

使用图14说明此时的坐标变换的方法的一个例子。可以通过下式求出以图像尺寸A×B的原始图像的左上顶点作为坐标原点时的坐标（X，Y）与上述高精细缩小图像的坐标（x，y）的关系。

X=（A/a）·x

Y=（B/b）·y

因此，若设部分解压图像的左上顶点的坐标为（α、β），则在以部分解压图像的左上顶点为坐标原点的坐标系中，

（X’，Y’）=（（A/a）·x-α，（B/b）·y-β） ……（3）。

并且，若设宏块ID为C，则（α、β）可以用下式求出。

α=（A/m）·（C-m·<C/m>）

β=（B/n）·<C/m>

这里，<v>表示v以下的最大整数。

通过上式（3），能够将高分辨率缩小图像的坐标系变换为进行了矩形展开的部分解压图像的坐标系，由此，能够显示输出与高分辨率缩小图像的显示范围对应的部分解压图像。

通过上述处理，从缩小图像输出单元27或部分解压图像单元30输出的图像数据经由显示处理单元31被输出至显示装置12。

以上，根据本实施方式，在用户有详细显示模式的操作输入时，首先，显示输出高精细缩小图像，然后，对压缩图像进行部分解压并将其显示输出至显示装置12，因此，能够不会给用户带来压力地进行部分解压处理。并且，在用户有操作要求时不需要对所有压缩图像进行解压，因此能够节约存储器资源。

另外，使用上述（2）、（3）式的坐标变换的方法是一个示例，本发明不限于此。

接着，说明第二实施方式。本实施方式有效利用位于主存储器上的被部分解压后的图像，从而更迅速地响应用户的操作要求。图15是第二实施方式的实现图像部分伸展方法的图像处理装置的功能框图。与图1的图像处理装置的主要区别在于，追加用于删除主存储器上的部分解压图像的部分解压图像删除单元33，如后所述变更使用块判定单元28和部分解压单元29的处理内容，以及，对于高精细缩小图像的输出处理，缩小图像输出单元27从部分解压单元29接受处理停止要求，由此，停止显示输出处理。

并且，在本实施方式中，在主存储器40上，除了设置保存当前正在使用的宏块ID及其部分解压图像数据的缓冲区1、保存与当前的高精细缩小图像的显示范围对应的宏块ID的缓冲区2之外，还设置保存处于显示范围外但与缓冲区2的宏块ID相邻的宏块ID的缓冲区3。其它功能与图1同样，对同一功能标以同一标号并省略说明。

接着，对具有上述构成的图像处理装置1的动作进行说明。

当有操作要求输入时，由缩小图像输出单元27启动的使用块判定单元28将与当前的显示范围对应的宏块ID保存于主存储器40上的缓冲区2，来启动部分解压单元29。然后，在部分解压处理之后，执行后述的宏块追加例程。

当部分解压单元29启动时，抽出在缓冲区2保存的宏块ID。然后，判定缓冲区1内是否存在缓冲区2的所有宏块ID，在存在所有宏块ID的情况下，对缩小图像输出单元27输出高精细缩小图像的显示输出处理的停止指令。由此，缩小图像输出单元27停止高精细缩小图像的显示输出处理。

另一方面，在宏块ID一个也不存在的情况下，部分解压单元29对缩小图像输出单元27不输出停止指令，对不存在的宏块ID的块进行部分解压而将其追加到缓冲区1。当不存在的所有宏块的解压结束时，启动部分解压图像输出单元30。部分解压图像输出单元30的动作与第一实施方式相同。

接着，使用图16说明使用块判定单元28所执行的宏块追加例程。

当宏块追加例程启动时，求出与在缓冲区2中保存的宏块ID相邻的宏块ID（S501），仅将未在缓冲区2中保存的宏块ID保存到缓冲区3（S502）。

然后，抽出在缓冲区3中保存的宏块ID，判定抽出的宏块ID是否存在于缓冲区1（S503），在未存在的情况下，利用部分解压单元29对该宏块ID的块进行部分解压而将其追加到缓冲区1（S504）。当对缓冲区3的所有宏块ID结束了步骤S504的处理时，启动部分解压图像删除单元33。

当部分解压图像删除单元33启动时，首先从缓冲区1抽出最初的宏块ID（S601），判定抽出的宏块ID是否存在于缓冲区2（S603），在未存在的情况下，接着判定是否存在于缓冲区3（S604），在未存在的情况下，删除该宏块ID以及该ID的部分解压图像数据（S605）。对在步骤S601中抽出的所有宏块ID反复进行上述步骤S603～S605的处理（S602a、S602b）。

另外，在任务处理的情况下，部分解压图像删除单元33与使用块判定单元28、部分解压单元29、部分解压图像输出单元30等其它单元相比降低优先等级。由此，在部分解压图像删除单元33的动作中发生新的操作要求的情况下，也能够使该操作要求优先。

根据本实施方式，在主存储器上，始终保存着当前正在显示的部分解压图像数据，对其相邻块也预先准备，因此，对滚动等操作要求能够以更高精细的部分解压图像迅速地进行显示。并且，仅对于来不及处理的情况，显示高精细缩小图像，由此，与第一实施方式相比，能够进行更有效的图像显示。另外，比相邻的宏块离得远的位置的宏块的部分解压图像数据逐次删除，因此，能够有效地使用主存储器。

另外，在对相邻的宏块进行解压的情况下，也可以在用户的操作指示为图像的缩小（zoom out）操作时对所有的相邻宏块进行解压，在滚动操作时仅对在滚动方向上相邻的宏块进行解压。由此，有效利用主存储器，能够进行有效的预测解压处理。

图19、图20示出使用块判定单元28所执行的预测解压步骤的一例。如图18所示，该步骤例在显示范围的各顶点的移动方向以及各顶点与宏块的图像边界之间的距离满足预定条件的情况下，对其相邻的宏块也进行解压。

以左上的顶点（X1，Y1）为例进一步详细地进行说明。使用块判定单元28通过上述式（2）算出（X1，Y1）所属的宏块ID，并代入变量I（S701）。然后，根据从操作要求输入单元24传递来的操作信息，在该顶点向X轴的负方向移动的情况下（在S702中为“是”），判定当前的显示范围的顶点坐标（X1，Y1）与该顶点所属的宏块的X负方向的边界之间的距离是否为固定值以下（S703）。在为固定值以下的情况下（在S703中为“是”），判定在X负方向是否存在“I-l”的宏块（S704）。即，判定当前（X1，Y1）所属的宏块是否未处于左端。这既可以根据宏块的分割条件（m×n）和当前的宏块ID求出，也可以如图2所示，通过存储几何学上的排列信息而求出。该判定结果，当在X负方向存在“I-l”的宏块时（在S704中为“是”），启动部分解压单元29，进行宏块ID“I-l”的解压（S705）。

接着，使用块判定单元28与上述同样判定是否向Y轴上的负方向移动（S706），在该顶点向Y轴负方向移动的情况下（在S706中为“是”），判定当前的显示范围的顶点坐标（X1，Y1）与该顶点所属的宏块的Y负方向的边界之间的距离是否为固定值以下（S707）。在为固定值以下的情况下，判定在Y负方向是否存在“I-m”的宏块（S708）。即，判定当前（X1，Y1）所属的宏块是否未处于上端。该判定结果，当在Y负方向存在“I-m”的宏块时（在S708中为“是”），启动部分解压单元29，进行宏块ID“I-m”的解压（S709）。另外，利用部分解压单元29进行宏块ID“I-m-l”的解压（S710）。这是因为，顶点（X1，Y1）向斜左上方向移动，接近斜方向的宏块。

另一方面，在步骤S702、步骤S703、步骤S704中判定为“否”的情况下，转移到步骤S711，执行与步骤S706～S709同样的处理。

以上是基于显示范围的画面左上的顶点的动作进行的宏块的预测解压处理，但对于右上（X3，Y3）、左下（X4，Y4）、右下（X2，Y2）的顶点，也能够利用图19、图20所示的步骤同样地进行预测解压处理。

利用该预测解压处理实现对虽然处于显示范围外但显示可能性高的宏块事前进行解压，因此，除了上述实施方式的效果外，还能够提高响应性能。

本发明不限于上述实施方式，在不脱离其主旨的范围内能够进行各种变形来实现。并且，在各实施方式中说明的各功能（单元）能够在所有实施方式中单独或组合来实现。

Claims (19)

1.一种部分伸展方法，该部分伸展方法使用计算机对按照宏块进行压缩后所得的图像进行部分伸展，该部分伸展方法的特征在于，包括以下步骤：

(a)在上述计算机的存储装置中存储压缩图像、根据压缩图像的位流生成的映射数据、以及根据压缩图像生成的缩小图像以将映射数据和缩小图像与压缩图像相关联，其中，上述映射数据用于解压压缩图像的至少一个宏块；

(b)根据从输入装置接收到的操作要求，将与应显示的压缩图像相关联的上述缩小图像输出到显示装置；

(c)根据上述缩小图像的显示范围确定应解压的至少一个宏块；

(d)关于所确定的宏块，使用上述映射数据对上述压缩图像进行部分解压；以及

(e)将显示范围的部分解压后的图像输出到上述显示装置，以使得用上述输出的部分解压后的图像代替上述显示范围上显示的缩小图像。

2.根据权利要求1所述的方法，其中，在步骤(a)中，在空闲时生成上述映射数据和上述缩小图像。

3.根据权利要求1所述的方法，还包括如下步骤：在从当前正浏览的图像起图像取得顺序处于一定范围内，生成图像的映射数据和缩小图像，上述图像的映射数据和缩小图像是与已经生成了映射数据和缩小图像的图像相邻。

4.根据权利要求1所述的方法，还包括如下步骤：在获得多个图像的缩略一览模式下，在从当前正浏览的图像起图像取得顺序处于一定范围内，生成图像的缩小图像，上述图像的缩小图像是与已经生成了缩小图像的图像相邻。

5.根据权利要求1所述的方法，还包括对与部分解压的宏块相邻的宏块进行部分解压的步骤，其中，上述部分解压的宏块与当前显示范围对应。

6.根据权利要求1所述的方法，还包括根据画面操作追加应部分解压的宏块的预测解压步骤。

7.根据权利要求1所述的方法，其中，在处理由于操作要求而被延迟时，不执行步骤(e)。

8.根据权利要求1所述的方法，其中，在用户操作期间，停止生成映射数据和缩小图像。

9.根据权利要求6所述的方法，还包括如下步骤：确定是否存在应被输出到显示器装置的部分解压图像，并且在存在这样的部分解压图像时停止用于输出缩小图像的步骤(b)。

10.一种图像处理装置，包括：

输入装置，输入图像数据和操作请求；

运算处理装置，对输入的图像数据进行运算处理；

显示装置，显示图像的处理结果；以及

存储装置，存储压缩图像、根据压缩图像的位流生成的映射数据、以及根据压缩图像生成的缩小图像以将映射数据和缩小图像与压缩图像相关联，其中，上述映射数据用于解压压缩图像的至少一个宏块；

其中，上述运算处理装置包括：

缩小图像输出单元，在从输入装置接收到操作要求时，向显示装置输出与应被显示的压缩图像相关联的缩小图像；

使用块判断单元，根据缩小图像的显示范围确定应被部分解压的至少一个的宏块；

部分解压单元，关于所确定的宏块，使用映射数据对压缩图像进行部分解压；以及

部分解压图像输出单元，将利用部分解压单元部分生成的显示范围的部分解压图像输出到显示装置，以使得用上述输出的部分解压后的图像代替在上述显示范围上显示的缩小图像。

11.根据权利要求10所述的图像处理装置，其中，上述运算处理装置还包括缓存文件生成单元，该缓存文件生成单元生成在存储装置中存储的上述映射数据和上述缩小图像。

12.根据权利要求11所述的图像处理装置，其中，上述缓存文件生成单元在空闲时生成上述映射数据和上述缩小图像。

13.根据权利要求11所述的图像处理装置，其中，上述缓存文件生成单元在从当前正浏览的图像起图像取得顺序处于一定范围内，生成图像的映射数据和缩小图像，上述图像的映射数据和缩小图像是与已经生成了映射数据和缩小图像的图像相邻。

14.根据权利要求11所述的图像处理装置，其中，上述缓存文件生成单元在获得多个图像的缩略一览模式下，在从当前正浏览的图像起图像取得顺序处于一定范围内，生成图像的缩小图像，上述图像的缩小图像是与已经生成了缩小图像的图像相邻。

15.根据权利要求10所述的图像处理装置，其中，上述部分解压单元还对与部分解压的宏块相邻的宏块进行部分解压，该部分解压的宏块与当前显示范围对应。

16.根据权利要求10所述的图像处理装置，其中，上述使用块判断单元根据画面操作要求进行追加应部分解压的宏块的预测解压处理。

17.根据权利要求10所述的图像处理装置，其中，在处理由于操作要求而被延迟时，不进行部分解压图像输出单元的操作。

18.根据权利要求11所述的图像处理装置，其中，在用户操作时，停止缓存文件生成单元的操作。

19.根据权利要求16所述的图像处理装置，其中，上述部分解压图像输出单元确定是否存在应被输出到显示器装置的部分解压图像、并且在存在这样的部分解压图像时停止上述缩小图像输出单元的操作。