CN103988164B - 图像处理设备和图像处理方法 - Google Patents

Abstract

控制单元(100)的输入信息获取单元(102)获取显示设备上显示的图像的显示区域移动(如放大/缩小、滚动等)的请求，以及视窗的生成/消除、大小改变、位移等的请求，该请求由用户从输入设备(20)输入。视窗控制单元(104)接着相应地确定视窗的数量、其安排或其大小。显示区域确定单元(106)确定在每个视窗中接着要显示的图像的区域。加载单元(108)确定要重新加载的瓦片图像，并从硬盘驱动器(50)加载其数据。解码单元(110)解码要用于每个视窗中的图像渲染的瓦片图像的数据。显示图像处理单元(114)为每个视窗单独地更新显示区域。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及用于改变图像的显示区域并在显示器上显示图像的图像处理技术。

背景技术

已经提出用于家庭使用的娱乐系统，其不仅能够运行游戏程序，而且还能够再现运动图像。在用于家庭使用的娱乐系统中，GPU使用多边形生成三维图像(例如，见PTL1)。

如何有效地显示图像一直是重要的问题，不管图像是运动图像或静止图像。因此，在许多领域中，许多技术已经开发并投入实际使用，如图像数据压缩技术、传输技术、图像处理技术、显示技术等。因此，高清晰度图像已经在许多情况下变得可容易获取。

[引用列表]

[专利文献]

[PTL1]

美国专利No.6563999

发明内容

[技术问题]

一直期望根据用户请求显示具有好的响应的高清晰度图像。为了响应具有自由度的视窗(viewpoint)移动请求(如放大并显示用户引导关注的区域或将显示移动到已显示的整个图像的另一区域的请求)更新具有好的响应的显示图像，例如，随机区域中的图像数据的传送、解码和渲染需要在有限时间内完成。因此，使得图像质量和响应在设备的处理性能和资源的限制下相互兼容一直是主要问题。

已经考虑这样的问题做出本发明。本发明的目的是提供一种图像处理技术，其能够响应与显示区域有挂的操作显示具有好的响应的高清晰度图像。

[解决问题的技术方案]

本发明的一种模式涉及一种图像处理设备。该图像处理设备包括：图像数据存储部分，用于存储阶层数据，该阶层数据通过按照分辨率的顺序分层以不同分辨率表示显示对象图像的多条图像数据形成；视窗控制部分，用于确定用于渲染要在显示设备的屏幕上生成的多个视窗的每个中显示的图像的层和区域，所述层和区域包括在所述阶层数据中；显示区域确定部分，用于根据输入显示区域移动请求信号，独立地更新用于渲染感兴趣视窗的图像的层和区域；以及显示图像处理部分，用于从图像数据存储部分读取由视窗控制部分或显示区域确定部分确定的层和区域的数据，使用所述数据渲染每个视窗的图像，并且使得每个视窗的图像显示在显示设备上。

本发明的另一种模式涉及一种图像处理方法。该图像处理方法包括：在图像处理设备中，确定用于渲染要在显示设备的屏幕上生成的多个视窗的每个中显示的图像的层和区域的步骤，所述层和区域包括在阶层数据中，该阶层数据通过按照分辨率的顺序分层以不同分辨率表示显示对象图像的多条图像数据形成；从存储设备读取确定的层和确定的区域的数据，使用所述数据渲染每个视窗的图像，并且使得每个视窗的图像显示在显示设备上的步骤；根据输入显示区域移动请求信号独立地更新用于渲染感兴趣视窗的图像的层和区域的步骤；以及从存储设备读取更新后的层和区域的数据，并且使用所述数据更新感兴趣的示出的图像的步骤。

要注意，上述构成元素和通过将本发明的表达在方法、设备、系统、计算机程序等之间转换所实现的模式的任意组合，也有效地成为本发明的模式。

[本发明的有利效果]

根据本发明，可能在保持期望图像质量的同时，响应于用户的指令显示具有好的响应的图像。

附图说明

图1是示出根据本实施例的图像处理设备的配置的图。

图2是在本实施例中使用的图像数据的阶层结构的概念图。

图3是示意性示出本实施例中用于渲染的瓦片图像的数据和显示屏幕之间的关系的图。

图4是主要更详细地示出本实施例中的图像处理设备的控制部分的配置的图。

图5是示意性示出本实施例中为视窗控制部分生成用于控制视窗的参数的图。

图6是本实施例中图像处理设备显示图像的处理过程的流程图。

图7是示出本实施例的设备配置能够实现的显示屏幕的示例的图。

图8是帮助说明本实施例中使得视窗的总面积不可变的方法的图。

图9是示出本实施例中当使得视窗的总面积不可变时的另一屏幕示例的图。

图10是帮助说明本实施例中调整用于渲染的层的方法的图。

图11是帮助说明本实施例中调整用于渲染的层的方法的图。

图12是帮助说明本实施例中当调整用于渲染的层时的另一屏幕示例。

具体实施方式

图1是示出根据本实施例的图像处理设备的配置的图。图像处理设备10包括无线接口40、输入设备20、显示处理部分44、显示设备12、硬盘驱动器50、记录介质安装部分52、盘驱动器54、主存储器60、缓冲存储器70、和控制部分100。

显示设备12包括任意显示器之一，如液晶显示器、EL(电致发光)显示器、等离子显示器等。显示设备12可以与图像处理设备10的其它模块集成提供，或者可以通过例如线缆或无线LAN(局域网)，通过有线连接或无线电连接与图像处理设备10的其它模块连接。显示处理部分44具有帧存储器(未示出)，用于缓冲要在显示设备12的显示器上显示的数据。

无线接口40配置为能够通过根据预定无线通信协议的无线电，通过连接到外部设备或网络，从服务器接收各种类型的数据，如图像数据等。输入设备20由任意输入设备形成，如操纵杆、触摸面板、鼠标、键盘、按钮等。输入设备20至少包括输入部件，用于用户输入放大/缩小显示设备12上显示的图像或在上、下、左或右方向上滚动显示设备12上显示的图像的显示区域移动请求，或生成/擦除稍后将描述的视窗、改变视窗的大小或移动视窗等的请求。

根据输入设备20的类型和分配功能给输入设备20中包括的操作部件的方法，可想到用于执行这些输入的各种具体操作方法。例如，当触摸面板用作输入设备20时，可以实现这样的模式，其中与触摸面板接触的手指移动从而在相同方向上滚动显示图像，并且通过张开或闭合两个手指来放大或缩小显示图像。任意技术可应用于与这样的操作有关的处理，因此将适当地省略其描述。在输入设备20上从用户输入的各种类型的请求信号提供给控制部分100。

硬盘驱动50用作用于存储数据的存储设备。从服务器接收的各种类型的数据存储在硬盘驱动器50上。当诸如存储卡等的可移除记录介质安装在记录介质安装部分52上时，记录介质安装部分52从可移除记录介质读取数据。当只读ROM盘安装在盘驱动器54上时，盘驱动器54驱动并识别ROM盘，并且从ROM盘读取数据。ROM盘可以是光盘、磁光盘等。诸如图像数据等的各种类型的数据可以存储在这些记录介质上。

控制部分100包括多核CPU。控制部分100具有一个CPU内的一个通用处理器核心和多个简单处理器核心。通用处理器核心被称为PPU(PowerPC处理器单元)。其它处理器核心被称为SPU(协处理器单元)。

控制部分100包括连接到主存储器60和缓冲存储器70的存储器控制器。PPU具有寄存器，并且包括作为操作执行的实体的主处理器。PPU有效地分配作为各个SPU执行的应用中的处理的基本单元的任务。顺带提及，PPU自身可以执行任务。SPU具有寄存器，并且包括作为操作执行的实体的子处理器和作为本地存储区的本地存储器。本地存储器可以用作缓冲存储器70。

主存储器60和缓冲存储器70是存储设备，并且形成为RAM(随机存取存储器)。SPU具有作为控制单元的专用DMA(直接存储器存取)控制器，并且允许主存储器60和缓冲存储器70之间的高速数据传送和显示处理部分44中的帧存储器和缓冲存储器70之间的高速数据传送。根据本实施例的控制部分100通过相互并行地操作多个SPU实现高速图像处理功能。显示处理部分44连接到显示设备12，并且输出根据来自用户的请求的图像处理的结果。

根据本实施例的图像处理设备10预先从硬盘驱动器50加载一部分压缩图像数据到主存储器60中，以便在执行显示图像放大/缩小处理和滚动处理时平滑地改变显示图像。此外，加载到主存储器60中的一部分压缩图像数据预先进一步解码和存储在缓冲存储器70中。这允许在显示图像的生成中使用的图像在随后的必要定时立即改变。

本实施例中设为处理对象的图像的数据结构不具体限定。然而，将通过以具有阶层结构的图像数据作为示例进行下面的描述。图像数据具有阶层结构，其包括不同分辨率的图像，该图像通过将原始图像缩小多级生成。每层中的图像被划分为一个或多个瓦片图像。例如，最低分辨率的图像由一个瓦片图像形成，并且最高分辨率的原始图像由最大数量的瓦片图像形成。在图像显示时，当显示图像变为预定分辨率时，用于渲染的瓦片图像变为不同层中的瓦片图像，从而快速地进行放大显示或缩小显示。

图2是图像数据的阶层结构的概念图。图像数据具有阶层结构，其在深度方向(Z轴)上包括第零层30、第一层32、第二层34和第三层36。顺带提及，尽管图2中只示出了四层，但是层数不限于此。具有这样的阶层结构的图像数据以下将称为“阶层数据”。

图2所示的阶层数据具有四叉树阶层结构。每层由一个或多个瓦片图像38形成。所有的瓦片图像38以相同大小形成，具有相同数量的像素，并且例如具有256×256像素。每层中的图像数据表示具有不同分辨率的一个图像。第二层34、第一层32和第零层30中的图像数据通过将第三层36中的具有最高分辨率的原始图像缩小多级生成。例如，第N层(N是零或更大的整数)的分辨率在左右(X轴)方向上和上下(Y轴)方向上可以是第(N+1)层的分辨率的1/2。

在图像处理设备10中，阶层数据按照单独的瓦片图像38的形式、以预定压缩形式的状态保持在存储设备中，并且在显示器上显示之前从存储设备中读取并解码。根据本实施例的图像处理设备10具有支持多种压缩格式的解码功能，并且能够解码JPEG格式、JPEG2000格式、PNG格式和S3TC格式的压缩数据。

在如图2所示的阶层数据的阶层结构中，以左右方向设为X轴，上下方向设为Y轴，以及深度方向设为Z轴，构造虚拟的三维空间。在控制部分100基于从输入设备20提供的显示区域移动请求信号导出显示区域的移动量之后，控制部分100使用该移动量导出虚拟空间中帧的四个角的坐标(帧坐标(frame coordinate))。虚拟空间中的帧坐标用于将压缩数据加载到主存储器60中，并且生成显示图像。

例如，对于显示图像的分辨率的改变，改变边界在Z轴上设置在各层之间。当帧的Z坐标根据显示区域移动请求信号跨越这样的改变边界时，用于渲染显示图像的层改变。然后，根据要求执行加载和解码，并且根据请求的分辨率执行放大/缩小，由此生成显示图像。顺带提及，替代虚拟空间中的帧坐标，图像处理设备10可以导出识别层的信息和层中的纹理坐标(UV坐标)。以下，层识别信息和纹理坐标的组合也将称为帧坐标。

本实施例不仅实现一个图像显示在整个屏幕上的模式，而且实现独立可操作的多个图像同时显示的模式。用于在屏幕内显示图像的部分以下将称为“视窗”，而不管存在一个图像或多个图像。图3示意性示出当阶层数据用作图像数据时显示屏幕和用于渲染的瓦片图像的数据之间的关系。

在本示例中，准备风景图像数据220和叠加图像数据222，风景图像数据220通过将风景照片的图像分层为第零层220a、第一层220b、第二层220c和第三层220d获得，并且叠加图像数据222通过将包括期望以叠加在风景照片上的状态显示的字符信息的图像分层为第零层222a、第一层222b、第二层222c获得。使用这些条阶层数据由两个视窗形成的屏幕的示例是屏幕210、212和214。

首先，屏幕210包括第一视窗210a和第二视窗210b，在第一视窗210a中全部风景照片显示在整个屏幕上，在第二视窗210b中一部分字符信息以叠加在屏幕的右上的状态显示。第一视窗210a的图像使用风景图像数据220的第一层220b中的瓦片图像的数据渲染。第二视窗220b的图像使用叠加图像数据222的第一层222b中的一部分瓦片图像的数据渲染。该情况下使用的层由根据各个视窗的大小和图像上的显示区域的大小设置的优化分辨率值确定。

屏幕212包括第一视窗212a和第二视窗212b，在第一视窗212a中全部风景照片显示在整个屏幕上，在第二视窗212b中一部分风景照片以放大和叠加状态显示。如在屏幕210的情况，第一视窗212a的图像使用风景图像数据220的第一层220b中的瓦片图像的数据渲染。第二视窗220b的图像使用相同风景图像数据220中更高分辨率的第二层220c中的一部分瓦片图像的数据渲染。

屏幕214包括第一视窗214a和第二视窗214b，在第一视窗214a中一部分风景照片比屏幕212上进一步放大并显示在整个屏幕212上，在第二视窗214b中比屏幕210上更广范围内的字符信息被放大并以叠加在屏幕的左上的状态显示。第一视窗214a的图像使用风景图像数据220的最高分辨率的第三层220d中的一部分瓦片图像的数据渲染。第二视窗220b的图像使用叠加图像数据222的高分辨率的第二层222c中的一部分瓦片图像的数据渲染。

因此，在本实施例中，可以显示一个或多个视窗，并且以视窗为单位相互独立地渲染图像。对每个视窗接收用于放大、缩小或滚动的显示区域移动请求。还接收用于生成或擦除视窗或改变视窗的布置或大小的请求。例如，当用户执行指定屏幕210上的第一视窗210a内的部分区域211并放大部分区域211的指令输入时，生成显示该区域的第二视窗212b。然后，屏幕212可以通过根据放大量增加第二视窗212b的大小来显示。

因此，提供多个视窗能够实现灵活的和自由的图像表达。当图像数据是阶层数据时，具体地，即使在相同图像的情况下，在分辨率上显著相互不同的多个图像也可以同时显示，如屏幕212的情况。此外，即使在假设要相互合成的不同种类的图像(如风景图像和叠加图像等)的情况下，当这些图像是分开的多条阶层数据时，与准备原始合成的图像数据相比，也可以极大地增加显示模式变化。即使在存在多条阶层数据和多个视窗时，在以瓦片图像为单位的处理方面不改变基本处理过程，因此便利数据控制。

图4主要更详细地视窗本实施例中的图像处理设备10的控制部分100的配置。控制部分100包括：输入信息获取部分102，用于获取用户从输入设备20输入的信息；视窗控制部分104，用于根据用户的输入控制视窗；显示区域确定部分106，用于确定每个视窗中接着要显示的图像的区域；以及加载部分108，用于确定要重新加载的瓦片图像并从硬盘驱动器50加载压缩数据。控制部分100还包括：解码部分110，用于解码压缩数据；以及显示图像处理部分114，用于渲染显示图像。

图4中描述为执行各种处理的功能块的元素在硬件方面可以由CPU(中央处理单元)、存储器和其他LSI形成，并且在软件方面可以由加载在存储器等中的程序实现。如已经描述的，控制部分100具有一个PPU和多个SPU。PPU和SPU可以单独地或相互协作地形成各个功能块。因此，本领域技术人员要理解的是，这些功能块可以只由硬件、只由软件或硬件和软件的组合，以各种形式实现，并且不限于任何一种形式。

输入信息获取单元102获取用于启动/结束图像显示的指令的细节，选择图像文件，移动显示区域，或操作视窗，例如，该指令由用户输入到输入设备20。视窗控制部分104根据从输入信息获取部分102通知的用户输入信息，连续地确定形成屏幕的视窗的数量、布置和大小。例如，当执行用于指定和放大图3中的屏幕210上的部分区域211的指令输入时，示出该区域的放大图像的新视窗被生成和放置，以便叠加在原始图像中的对应区域上，并且每次视窗的大小根据放大速度确定。除了这样根据来自用户的指令输入改变视窗以外，视窗控制部分104可以根据与图像数据一起准备的设置确定示出的布置和大小。

此外，视窗控制部分104基于视窗的布置，识别作为从输入信息获取部分102通知的显示区域移动请求的对象的视窗，使得可以对每个视窗独立地执行后级中的处理，该处理在显示图像更新中涉及。具体地，诸如放大、缩小、滚动等的操作的细节和作为操作对象的视窗的识别信息相互关联，并且通知给显示区域确定部分106。显示区域确定部分106、加载部分108、解码部分110、和显示图像处理部分114与视窗的识别信息相关联地执行它们各自的处理，从而可以实现对于每个视窗的显示图像控制。

显示区域确定部分106根据每个视窗中的当前显示区域的关于帧坐标的信息和用户输入的显示区域移动请求，确定由帧速率确定的每个时间的帧坐标。此外，当帧坐标随着视窗的大小改变而改变时，从视窗控制部分104获取每个时间的关于帧坐标的信息。关于帧坐标的信息通知给加载部分108、解码部分110和显示图像处理部分114的每个。

加载部分108基于来自显示区域确定部分106的信息，确定要预先加载到主存储器60中的瓦片图像。此外，当存在仍要加载的瓦片图像时，加载部分108将瓦片图像的数据从硬盘驱动器50加载到主存储器60中。要预先加载到主存储器60中的瓦片图像不仅是从显示区域驱动部分106通知的显示区域中包括的瓦片图像，而且是围绕该显示区域中包括的瓦片图像的外围的预定范围内的瓦片图像、从过去的帧坐标的改变预测在此后将是必须的区域中的瓦片图像等。例如，除了渲染紧接在后的显示图像所需的那些以外的瓦片图像的数据可以以预定时间间隔周期性地加载。

相同图示意性地示出多个瓦片图像组62的数据加载到主存储器60中的状态。然而，加载处理可以以瓦片图像为单元或以图像块为单位执行，该图像块每个通过将多个瓦片图像收集到一起形成。当将每个瓦片图像的数据的标识信息与硬盘驱动器50上存储的原始阶层数据、阶层数据中的层和图像上的位置相关联的索引数据(未示出)单独准备时，渲染所需的瓦片图像的数据可以基于帧坐标识别。因此，在主存储器60中的存储顺序不具体限定。此外，所有的图像数据可以以瓦片图像为单位统一地处理，而不管视窗和阶层数据的条数。

解码部分110基于每个视窗的关于帧坐标的信息从主存储器60读取所需的瓦片图像的数据，该信息从显示区域确定部分106获取，解码该数据，并且将该数据存储在缓冲存储器70中。相同图示意性示出与两个视窗对应的两个显示图像的数据72a和72b，作为存储在缓冲器中存储的数据。然而，实际上，如在主存储器60中，数据的存储顺序不具体地限定，只要该数据与要显示的视窗相关联。

此外，对应显示图像数据的条数根据视窗的数量而不同。显示图像数据72a和72b至少由包括各个视窗中的显示区域的图像的一个或多个瓦片图像的数据形成。优选地，解码围绕每个视窗的显示区域的周围的更多瓦片图像，从而显示图像可以响应于用户的滚动请求平滑地更新。此外，当解码表示相同区域的其它层中的瓦片图像时，显示图像也可以响应于放大或缩小请求平滑地更新。

显示图像处理部分114包括安排块120和渲染块122。安排块120基于屏幕上每个示出的布置和大小和从显示区域确定部分106通知的帧坐标，将屏幕上的更新区域与更新更新区域所需的瓦片图像的数据相关联，该布置和大小从视窗控制部分104通知。根据该关联，渲染块122从缓冲存储器70读取瓦片图像的数据，并且渲染显示处理部分44的帧存储器中的显示图像，以便基于通知的帧坐标更新视窗内的作为更新目标的显示图像。

图5示意性示出为视窗控制部分104生成的用于控制视窗的参数。图5中的矩形150表示显示设备12的显示屏幕。假设与屏幕对应的视窗的标识号为“0”，并且显示以便叠加在与屏幕对应的视窗上的两个视窗152和154的标识号分别为“1”和“2”。视窗控制部分104通过每个视窗的标识号和布置和大小(例如，每个视窗的左上坐标和垂直/水平长度)管理视窗。

例如，如图5所示，假设具有标识号“0”的视窗(矩形150)的左上坐标为(0，0)，并且具有标识号“0”的视窗的水平和垂直长度为w0和h0，通过创建数据组(0，(0，0)，(w0，h0))生成该视窗。类似地，为视窗152生成参数(1，(x1，y1)，(w1，h1))，并且为视窗154生成参数(2，(x2，y2)，(w2，h2))。当改变视窗的布置和大小的需要根据用户的操作等出现时，除了标识号以外的对应参数被更新。

视窗控制部分104进一步将每个视窗的标识号和要在视窗中首先显示的图像的帧坐标相关联。图5的示例示出这样的状态，其中准备图像156和图像160作为显示对象，并且图像156的整个区域的帧坐标、图像156的部分区域158的帧坐标和图像160的部分区域162的帧坐标分别与具有标识号“0”、“1”和“2”的视窗相关联。当视窗的大小根据用户的视窗操作等改变时，视窗控制部分104根据大小改变增加或减少显示区域的范围，并且确定每个时间的帧坐标。

接着，将关于图像处理设备10的基本操作进行描述。图6是图像处理设备10显示图像的处理过程的流程图。首先，根据用户的选择图像数据、开始开始等的指令输入显示初始图像(S10)。通过加载、解码、和渲染设为初始图像的图像的数据执行该过程。当用户通过例如生成新视窗或改变原始存在的视窗的布置或大小来执行改变视窗的区域的操作时(S12中是)，视窗控制部分104根据操作计算视窗的布置和大小(S14)。

此外，视窗控制部分104计算要在视窗中显示的显示区域的帧坐标(S16)。当视窗逐渐改变时，每次执行S14和S16的处理。关于视窗的布置和大小的信息与视窗的标识号相关联地通知给显示图像处理部分114。关于帧坐标的信息与视窗的标识号相关联地通知给显示区域确定部分106。因此，使用加载部分108和解码部分110加载并解码的瓦片图像的数据，显示图像处理部分114将视窗布置在适当位置，并且更新显示图像(S22)。

另一方面，当没有执行改变视窗的区域的操作而是执行移动视窗内的显示区域的操作时(S12中否以及S18中是)，视窗控制部分104将相应的显示区域移动请求信号照原样与感兴趣的视窗的标识号相关联地通知给显示区域确定部分106。接收显示区域移动请求信号，显示区域确定部分106通过将根据显示区域移动请求信号的移动量增加到感兴趣视窗的目前为止的帧坐标，计算新的帧坐标(S20)。

然后，通过加载部分108、解码部分110和显示图像处理部分114的协作更新感兴趣视窗的显示图像(S22)。当用户不执行结束图像显示的指令输入时(S24中否)，重复S12到S22的处理。当执行结束图像显示的指令输入时，处理结束(S24中是)。顺带提及，输入设备20提供有操作部件，其确定S12和S18的分支确定，即，是否改变视窗的区域或是否移动视窗内的显示区域。可替代地，可以通过对触摸面板等上的操作过程提供规则，并且将该规则与实际执行的操作过程进行比较来进行确定。

图7显示能够通过上述设备配置实现的显示屏幕的示例。相同图的示例假设旅游指南的电子书。屏幕30显示在电子书的内容的表格的一页看到的图像。此时，有一个由整个屏幕形成的第一视窗。当用户指定屏幕230上的感兴趣项目的区域232并且执行放大操作时，视窗控制部分104生成新的第二视窗，用于显示指定区域的放大图像。然后，第二视窗的面积根据放大操作增加，并且帧坐标在放大方向上改变。第二视窗的布置可以通过移动第二视窗由用户确定，或者可以根据预先设置的规则确定。

相应地，加载部分108江浙根据要求改变的层中的瓦片图像的数据，并且解码部分110解码该数据。显示图像处理部分114使用该数据渲染第二视窗内的显示区域的图像。从而显示屏幕234，其显示处于叠加在第一视窗上的状态的第二视窗236。当第二视窗236中显示的图像使用比第一视窗的图像更高分辨率的层中的数据渲染时，可以显示更清楚的放大图像。

关于屏幕230上的区域232的指定，可以通过使用输入设备20选择预先为原始图像中的每个项目设置的区域之一，或者可以允许用户使用形成输入设备20的指向设备、触摸面板等自由地指定区域。本实施例可以通过改变用于渲染的层放大和缩小显示图像中的任意区域，并且因此可以处理如后者情况中的自由区域指定。

在屏幕234上，内容的表格的图像(该图像显示在第一视窗中)以与屏幕230相比转换到右边的状态显示。这样的滚动可以由用户执行，或者可以预先设置规则，当确定第二视窗236的布置时，图像在缩小叠加区域的方向上偏移。在该情况下，视窗控制部分104确定第一视窗中的显示图像的新帧坐标，并且将新帧坐标通知给显示区域确定部分106。

当指定在屏幕234的第二视窗236中显示照片的区域237并进一步执行放大操作时，视窗控制部分104例如将各视窗返回一个视窗，并且使得屏幕240显示，该屏幕240仅由指定区域的放大图像形成。例如，视窗自身的大小根据放大请求增加，并且当视窗的大小变得等于屏幕的大小时，原始存在的第一视窗被擦除。可替代地，可以为放大比提供阈值，并且当放大比根据放大请求超过预定阈值时，放大图像可以显示在整个屏幕上。

此时，可以使用内容的表格的原始图像的阶层数据中更高分辨率的层的数据渲染指定区域的放大图像，或者显示可以变为与电子书的文本页面中的指定项目对应的页面的图像。在后者情况下，视图控制部分104将改变后的图像的阶层数据的标识信息与帧坐标一起通知给显示区域确定部分106。当加载部分108相应地从硬盘驱动器50加载阶层数据的瓦片图像时，类似地执行随后处理而不管阶层数据。

另一方面，当指定屏幕234上的第一视窗中的另一区域238并且执行放大操作时，视窗控制部分104擦除屏幕234上显示的第二视窗236，并且生成显示指定区域的放大图像的第三视窗244。结果，显示示出第三视窗244的屏幕242，该第三视窗244显示新的放大图像处于叠加在第一视窗上的状态。可替代地，不擦除屏幕234上的第二视窗236，第二视窗236的显示图像可以更新为新指定区域238的图像。

图7的示例是为放大指定区域的操作实现的屏幕改变的示例。然而，本实施例可以在每个视窗中独立地执行放大、缩小、和滚动，如上所述。因此，可以显示的屏幕不限于这些屏幕。例如，第二视窗236中的图像也可以滚动以显示相邻项目。

此外，适当地对输入设备20的输入部件进行分配，使得屏幕234和屏幕242上显示的第二和第三视窗可以被擦除，并且显示内容的表格的原始图像的新视窗可以显示在屏幕240上。这些配置允许自由的图像表达，如改变不同区域中相同图像的放大比或以相互叠加的状态显示不同图像，并且可以实现允许期望信息容易到达的内容。

在图7所示的示例中，通过在屏幕上将多个视窗相互叠加，执行各种图像表达。在该情况下，视窗的数量和面积越大，渲染所需的瓦片图像的数量越多。当作为处理对象的瓦片图像的数量增加时，数据加载处理和解码处理的负担增加，并且所需的资源(如数据传送要求的带宽、主存储器60和缓冲存储器70中的数据存储区)增加。

另一方面，当显示对象图像准备为阶层数据时，优点在于即使当在任何设备上进行显示时，通过根据显示的面积适当地选择作为处理对象的层，图像可以只通过一定数量的瓦片图像的处理以类似方式显示，该数量是稳定的并且适于每个设备的资源。当如上所述使得视窗的数量和面积可变时，所需资源的量不稳定，使得在一些情况下上述阶层数据的优点可能受损。相应地，接着将描述使用多个视窗实现自由图像表达同时保持阶层数据的优点的方法。顺带提及，下面要描述的方法可以与迄今为止描述的模式适当地组合。

图8是帮助说明使得视窗的总面积不可变从而资源消耗量恒定而不管视窗数量的方法的图。在相同图中，如图7中的屏幕240，例如，屏幕260只由第一视窗262形成，该第一视窗262显示通过放大内容的表格的图像中包括的照片获得的图像。具体地，内容的表格的图像的阶层数据270设为处理对象，并且使用阶层数据270的第三层中的部分区域272的瓦片图像的数据渲染显示图像。

屏幕260不仅显示第一视窗262，而且在屏幕的左边缘显示以带形显示的标签264。标签264是用于生成第二视窗的GUI(图形用户界面)，该第二视窗用于显示图像的整体或图8所示的示例中的内容的表格的图像的整体。然而，标签264的形状和位置不限于此。当用户经由输入设备20指示屏幕260上的标签264时，标签264变为第二视窗268，并且使得第二视窗268根据右方向上的滚动操作逐渐地出现(屏幕266和269)。优选地，当输入设备20是屏幕上的触摸面板并且第二视窗268通过手指拉出时，实现直观操作。

第二视窗268的面积通过该显示改变增加。此时，第一和第二视窗的总面积通过从渲染对象中排除第一视窗262的显示图像中的区域保持恒定，该区域通过第二视窗268的叠加被隐藏。当如图8所示在阶层数据270的第一层中渲染第二视窗268的显示图像时，使用第一层的图像的右半区域274中的瓦片图像的数据在屏幕266上渲染第二视窗268，该右半区域274在屏幕上显示。

第二视窗268使用显示内容表格的图像的整体的屏幕269上的第一层的整个图像的区域278中的瓦片图像的数据渲染。同时，随着第一视窗262从屏幕260变为屏幕266变为屏幕269，从渲染对象中排除第一视窗262的隐藏部分，从而将渲染第一视窗262所需的瓦片图像的数量减少，如在第三层中的区域272、276和280中。结果，在图8的示例中的任何屏幕的状态下，渲染所有视窗的图像所需的瓦片图像的总数量是6。

实际上，取决于显示区域之间的边界线之间的位置关系和瓦片图像之间的划分以及显示区域的周围的瓦片图像的数量(该瓦片图像应当推测地解码)，作为处理对象的瓦片图像的数量稍微增加或减少。然而，即使当考虑这样的增加或减少时，通过这样的从渲染对象中排除隐藏区域，可以使得所需资源的量基本稳定。例如，当在主存储器60和缓冲存储器70中无效不必要的渲染瓦片图像的数据时，可以用新视窗的瓦片图像的数据覆盖不必要的渲染瓦片图像的数据。因此，不增加必要的存储器容量。

顺带提及，在图8的示例中通过使用一条阶层数据表示两个视窗。然而，各个视窗的显示图像可以使用不同条的阶层数据渲染。此外，显示对象图像数据不仅可以包括阶层数据，还可以包括一种分辨率的图像数据。

此外，如上所述，每个视窗配置为允许其中的显示图像独立地控制。因此，例如，在屏幕266上，第一视窗262中的显示图像可以放大、缩小或滚动，并且第二视窗268可以在相反方向上滚动以缩回。此外，当在屏幕269上的第二视窗268中指定内容表格的图像中的项目或照片之一的区域时，指定区域的图像可以在第一视窗262中以放大状态显示，或者对应文本页面的图像可以在第一视窗262中显示。

图9视窗当使得视窗的总面积不可变时的另一屏幕示例。在本示例中，假设文本和照片相互混合的页面的图像作为显示对象。首先，屏幕282由显示整个页面的一个视窗形成。当用户执行指定屏幕282上的文本区域284的输入时，使得第二视窗290从屏幕的底部出现，如屏幕286上所示，第二视窗290中放大文本以便更容易地看到。例如，当输入设备20是屏幕上的触摸面板并且在屏幕282上将文本区域284触摸预定时间或更多时，第二视窗290的上边缘在屏幕的下边缘出现。

然后，用户可以通过将第二视窗290滚动到上侧(屏幕288)进行读取文本。上限可以设为第二视窗290的面积，并且在到达上限之后，只有视窗内的文本可以通过滚动操作滚动，而不改变视窗的面积。

如图9的左侧所示，作为要在第二视窗290中显示的图像，其中只提取文本的图像292的数据可以与原始页面图像294分开地准备。在该情况下，如该图中的箭头所示，将只有文本的图像292的区域与原始页面图像294中的照片区域相关联的信息可以基于原始页面图像294中的文本和照片之间的对应关系准备，并且当在第二视窗290中滚动文本时，对应文本可以在第一视窗中显示。顺带提及，在文本区域和照片区域以列形式原始相互分开的页面图像的情况下，可以通过相同图像数据实现类似模式。

图10和11是帮助说明调节用于渲染的层以便使得资源消耗量恒定而不管视窗的数量的方法的图。如图8中的屏幕260，图10中的屏幕300使用内容表格的图像的阶层数据310的第三层中的部分区域314中的瓦片图像的数据，显示第一窗口302中的放大照片的图像。标签304显示在屏幕的左边缘。

当用户指示屏幕300上的标签304并且执行在右方向上移动标签304的滚动操作时，显示内容表格的图像的整体的第二视窗308以从标签304的位置拉出的方式出现，如在屏幕306上所示。这与图8相同。然而，在图10和11中，第一视窗302的显示图像保持原样，替代地用于渲染第二视窗308的层是比原始应当使用的层的分辨率低的层。

假设用于显示第二视窗308大小的图像的整体的适当层是第一层，如图8所示，图10和11的方法使用分辨率比第一层低的第零层的数据渲染第二视窗308。本示例中第零层由一个瓦片图像316形成。因此，瓦片图像的数量不随显示区域的改变而改变。

第一视窗302使用第三层中的区域314中的瓦片图像的数据渲染，这与用于渲染阶层数据310中的屏幕300相同。如图10所示，通过使得第二视窗308的图像的整体或只有屏幕306上第二视窗308的背景半透明，可以使得第一视窗302的区域(该区域与第二视窗308一致)可见。

在第二视窗308继续滚动之后，内容表格的图像的整体出现在第二视窗308中，如图11的屏幕312上所示。此外，与此同时，第二视窗308使用阶层数据310的第零层中的瓦片图像316的数据渲染，并且第一视窗302使用阶层数据310的第三层中的区域314中的瓦片图像的数据渲染。

然后，在用户停止滚动操作的时间点，用于渲染第二视窗308的层变为适当层，并且第一视窗302的显示图像中的区域(该区域通过第二视窗308的叠加被隐藏)从渲染对象中排除。作为结果显示的屏幕320类似于图8中的屏幕269。也就是说，第一视窗302使用第三层中小区域318中的瓦片图像的数据渲染，并且第二视窗308使用第一层中的区域319中的瓦片图像的数据渲染。顺带提及，从屏幕312变为屏幕320不仅在内容表格的图像的整体在第二视窗308中显示时进行，而且在用户停止滚动操作的时间点进行该改变。

通常，很少关注被滚动的图像的更多细节，并且通常关注在停止滚动的时间点的第一时间的图像。特别是在屏幕被手指隐藏的状态下在使用屏幕上的触摸面板执行滚动操作时，该趋势变得强烈。也就是说，在滚动中间，有点粗糙的图像质量的图像被认为引起用户很少的压力。

利用该特性，对于滚动中间的视窗，通过放大低分辨率的层中的瓦片图像生成显示图像，并且在停止滚动的时间点使用适当层中的图像数据。通过这样消除用户的关注度并通过改变用于渲染的层相应地调整瓦片图像的数量，在视窗的任何状态下可以抑制要处理的瓦片图像的数量的变化，并且可以使得必要资源的量基本稳定。

在图10和11的示例中，使用低分辨率的层中的数据，直到停止使得新第二视窗308出现的滚动。同样在滚动原始显示的视窗内的显示图像的情况下，通过执行类似处理，可以抑制要处理的瓦片图像的数量的变化。当用户高速执行滚动时，例如，必须预测显示区域此后移动的目的地，并且预测地加载和解码更宽范围内的瓦片图像的数据，如上所述，用于平滑图像转换。

结果，要处理的瓦片图像的数量根据滚动速度变化。相应地，在滚动速度超过预定阈值期间，用于渲染的层变为低分辨率的层，并且在放大状态下显示低分辨率的层。这不引起图像的观看的问题，因为在快速滚动期间用户密切检查正滚动的图像的概率小。结果，一直处理大约相同数量的瓦片图像是足够的，并且可以一直资源消耗量的变化。

图12示出当调整用于渲染的层时的另一屏幕示例。该示例显示当使用风景照片的图像的阶层数据350和叠加图像的阶层数据352时可以显示的各种屏幕，该叠加图像包括在叠加在风景照片上的状态下期望显示的字符信息。首先，屏幕330只由第一视窗331形成，在第一视窗331中使用适于显示的大小的分辨率的第二层353中的瓦片图像渲染风景图像的整体。当用户指定区域332并输入放大指令时，生成显示该区域的放大图像的第二视窗336，如屏幕334上所示。

第二视窗336的图像使用第三层中的区域354中的瓦片图像的数据渲染，该第三层具有适于显示第二视窗336的大小的区域的分辨率。此时，假设用户的注意力集中在第二视窗336上。因此，用于渲染第一视窗331的层从第二层353变为第一层356，从而减少作为处理对象的瓦片图像的数量。

顺带提及，在从屏幕330转换为屏幕334的过程中放大第二视窗336期间，用于显示第二视窗336的层可以是更低分辨率的层。这是因为对被放大的图像的关注度被认为低，特别是当放大操作通过使用触摸面板的手指执行时，如同上述滚动操作的情况。

当在屏幕334上执行放大第二视窗336的大小的操作并且第二视窗336的范围到达显示器的整个表面时，原始的第一视窗331被擦除，如屏幕338上所示。当接收这样放大视窗的大小的操作的功能分配给图像处理设备10的后表面上分开提供的触摸面板时，这样放大视窗的大小的操作可以与前表面的触摸面板上的显示图像放大操作分开。在该情况下，显示图像不被手指遮挡，因此同样在转换过程中第二视窗336使用相同的高分辨率的第三层中的数据渲染。

顺带提及，由于相似原因，后表面提供的触摸面板可以用于低速放大操作，在此期间保持高图像质量，并且提供在前表面的触摸面板可以用于具有粗糙图像质量的高速放大操作。进一步使得显示一部分叠加图像的第三视窗340从屏幕的右边缘出现在屏幕338上。该第三视窗340可以通过操作图8所示的标签等，通过滚动操作显示，或者这样的功能可以分配给输入设备20的输入部件之一。

屏幕338上的第二视窗336的图像使用通过进一步扩展用于显示风景图像的阶层数据350中的屏幕334的第三层中的区域354获得的区域358中的瓦片图像的数据渲染。同时，第三视窗340的图像使用第一层中的区域360中的瓦片图像的数据渲染，第一层具有比第二层低的分辨率，该第二层具有叠加图像的阶层数据352中的适当分辨率。这是因为滚动中间对图像的关注度假设低，如上所述。此时使得第三视窗340的图像的背景透明或半透明。

然后，当停止第三视窗340的滚动操作时(屏幕342)，用于渲染第三视窗340的数据变为具有适当分辨率的第二层中的区域364，并且第二视窗336的区域(该区域被第三视窗340隐藏)从渲染对象中排除。结果，风景图像的阶层数据350中用于渲染的瓦片图像在小于用于屏幕338的区域的区域362中。屏幕342处于与图9所示的模式相似的状态。因此，例如，可以执行相似处理，如将第二视窗336的图像变为与根据第三视窗340内的字符信息的滚动而显示的字符信息相关联的图像。

除了这样滚动视窗以外，同样分别在生成放大指定区域的视窗和通过多条阶层数据生成视窗的情况下，根据消除的关注度等适当地改变使用的层可以抑制作为处理对象的瓦片图像的数量的变化，因此使得资源消耗量稳定。

根据上述本实施例，根据用户的操作和预先设置的规则，使得形式显示屏幕的视窗的数量和安排可变，并且与视窗相关联地确定帧坐标，从而可以对每个视窗独立地移动显示区域。因此，在诸如照片和文本的多个图像相互合成并显示的情况下，只有多个图像之一可以滚动、放大或缩小，因此可以实现自由图像表达。

这里，当图像数据具有通过将不同分辨率的数据分层形成的阶层结构时，放大和缩小可以更动态地表达，并且从一个图像生成但是在分辨率上显著地相互不同的多个图像可以在不同视窗中同时显示。此外，通过以用预定大小划分的瓦片图像为单位处理所有图像数据，即使在多个图像设为显示对象时也可以类似地执行加载处理和解码处理，并且即使利用简单的设备配置也可以实现复杂的图像表达。

此外，在多个视窗在相互叠加的状态下显示的情况下，由于叠加而隐藏的部分从渲染对象中排除。可替代地，预测用户关注度低的视窗(如滚动中间的视窗)的图像使用低分辨率的图像数据渲染。这些措施允许用于渲染的数据量保持恒定，因此即使使得视窗的数量和面积可变，也允许抑制资源消耗量的变化。这在用于使用通用阶层数据在各种设备上实现类似的图像显示的技术中特别有效。

上面已经基于其实施例描述了本发明。前述实施例是说明性的，并且本领域技术人员要理解的是，各实施例的构成元素和处理过程的组合可以想到各种修改，并且这样的修改也落入本发明的范围内。

[参考符号列表]

例如，在本发明中，已经关于主要使用阶层数据作为处理对象的情况进行了描述。然而，还可以使用一种分辨率的图像数据。当这样的图像数据划分为瓦片图像然后如在本实施例中那样处理时，例如，通过以瓦片图像为单位的类似处理可以实现自由图像表达，而不敢图像数据的条数和视窗的数量。此外，通过使得相互叠加的视窗经历与本实施例的那些相似的调整，能够使得作为处理对象的瓦片图像的数量基本恒定等的类似效果。

作为处理对象的图像可以是静态图像或运动图像，而不管图像是否是阶层数据。例如，作为处理对象的图像可以通过成像网页浏览器的显示屏幕获得。在这样的情况下，即使在执行自由图像操作(如放大、缩小等)时，也一直可以显示精确的和清楚的图像，而不需要预先准备多种大小的字体数据和各种语言。

10图像处理设备，12显示设备，20输入设备，30第零层，32第一层，34第二层，36第三层，44显示处理部分，50硬盘驱动器，60主存储器，70缓冲存储器，100控制部分，102输入信息获取部分，104视窗控制部分，106显示区域确定部分，108加载部分，110解码部分，114显示图像处理部分，120安排块，122渲染块

[产业可应用性]

如上所述，本发明可应用于诸如计算机的信息处理设备、图像处理设备、图像显示设备、便携式终端、游戏机等。

Claims (9)

1.一种图像处理设备，包括：

图像数据存储部分，用于存储阶层数据，该阶层数据通过按照分辨率的顺序分层以不同分辨率表示显示对象图像的多条图像数据形成，不同分辨率的每个由瓦片图像的各自数量定义；

视窗控制部分，用于确定用于渲染要在显示设备的屏幕上生成的多个视窗的每个中显示的图像的层和区域，所述层和区域包括在所述阶层数据中；

显示区域确定部分，用于根据输入显示区域移动请求信号，独立地更新用于渲染要在多个视窗的每个中显示的图像的层和区域，使得通过保持基本恒定的要用于渲染图像的瓦片图像的总数量，在图像处理设备上保持基本恒定的资源消耗量，而不管根据输入显示区域移动请求信号进行的改变；以及

显示图像处理部分，用于从图像数据存储部分读取由视窗控制部分或显示区域确定部分确定的层和区域的数据，使用所述数据渲染多个视窗的每个的图像，并且使得每个视窗的图像显示在显示设备上。

2.如权利要求1所述的图像处理设备，

其中，所述视窗控制部分根据输入视窗大小改变请求信号，改变多个视窗的每个的大小，并且在改变一个或多个视窗的大小的同时，使得用于渲染在视窗中显示的图像的层成为这样的层，该层的分辨率比从视窗的大小和显示的图像的大小确定的适当层的分辨率低。

3.如权利要求2所述的图像处理设备，

其中，在用于增加一个或多个视窗的大小的输入视窗大小改变请求信号的输入停止的时间点，所述视窗控制部分将用于渲染一个或多个视窗的图像的层变为适当层，并且无效存储器中的数据，所述数据已经用于渲染其它视窗内的区域，所述其他视窗内的区域通过将视窗和其他视窗叠加来隐藏。

4.如权利要求1所述的图像处理设备，

其中，所述视窗控制部分根据输入视窗大小改变请求信号改变多个视窗的一个或多个的大小，并且随着叠加区域增加无效存储器中的数据，所述数据已经用于渲染通过将一个或多个视窗与构成屏幕的视窗中的另一视窗叠加而隐藏的区域。

5.如权利要求1到4的任一所述的图像处理设备，还包括：

输入部分，用于接收用户将在屏幕的边缘显示的标签朝屏幕的中心拉出的操作，

其中，当开始拉出操作时，所述视窗控制部分将标签变为新视窗，并且随着操作进行增加视窗的大小。

6.如权利要求2或3所述的图像处理设备，

其中，在将用于渲染在大小被改变的视窗中显示的图像的层变为更低分辨率的层的同时，所述视窗控制使得视窗的背景透明或半透明。

7.如权利要求1到4的任一所述的图像处理设备，

其中，根据指定特定视窗的图像内的区域的放大请求信号，所述视窗控制部分生成显示该区域的放大图像的新视窗，并且所述视窗控制部分改变原始视窗的图像的显示区域以便减少被新视窗隐藏的面积。

8.如权利要求1到4的任一所述的图像处理设备，

其中，根据滚动特定视窗的图像的请求信号，所述显示区域确定部分更新用于渲染该图像的区域，使得图像滚动，并且所述显示区域确定部分将另一视窗的图像变为与滚动后的显示区域相关联的图像。

9.一种图像处理方法，包括：

在图像处理设备中，

存储阶层数据，该阶层数据通过按照分辨率的顺序分层以不同分辨率表示显示对象图像的多条图像数据形成，不同分辨率的每个由瓦片图像的各自数量定义；

确定用于渲染要在显示设备的屏幕上生成的多个视窗的每个中显示的图像的层和区域，所述层和区域包括在阶层数据中；

从存储设备读取确定的层和确定的区域的数据，使用所述数据渲染多个视窗的每个的图像，并且使得多个视窗的每个的图像显示在显示设备上；

根据输入显示区域移动请求信号独立地更新用于渲染要在多个视窗的每个中显示的图像的层和区域，使得通过保持基本恒定的要用于渲染图像的瓦片图像的总数量，在图像处理设备上保持基本恒定的资源消耗量，而不管根据输入显示区域移动请求信号进行的改变；以及

从存储设备读取更新后的层和区域的数据，并且使用所述数据更新多个视窗的每个的图像。