CN103188546A - 图像提供服务器、信息处理装置、图像处理系统及其方法 - Google Patents

Abstract

本发明提供一种图像处理系统、图像提供服务器、信息处理装置及图像处理方法。首先，从图像提供服务器发送动图像数据。阶层数据生成装置对动图像数据解码，并通过将其中所包含的帧1阶段或多阶段地缩小，来生成以多种分辨率表现各帧的动图像的数据。解码器仅读取出与各帧对应的阶层数据中的由所要求显示的分辨率所确定的阶层的数据进行解码。由此，得到以所要求的分辨率来表现各帧的帧串，通过由显示装置显示它，能以所要求的分辨率显示动图像。

Description

图像提供服务器、信息处理装置、图像处理系统及其方法

技术领域

本发明涉及使动图像、静图像显示在显示器上的图像处理技术。

背景技术

已提出有不仅执行游戏程序，还能再现动图像的家庭用娱乐系统。在该家庭用娱乐系统中，GPU生成使用了多面体的三维图像（例如参照专利文献1）。

〔在先技术文献〕

〔专利文献〕

〔专利文献1〕美国专利第6563999号公报

为了不拘泥于静图像、动图像地在用户操作的终端中显示各种各样的图像，需要确保用于存储所要求的图像数据的存储装置等足够的资源。此外，在根据用户的指示输入而一边移动显示区域一边显示图像的方案中，希望即使是高精细的图像也能得到针对指示输入的足够的响应性。另一方面，根据终端所具有的性能、图像显示的目的等，用户认为的最佳显示环境也正在多样化。在能够介由网络取得巨大数量的内容（contents）的当前环境下，希望有一种能自由地选择内容、质量、响应性等多个要素的组合的技术。

发明内容

本发明是鉴于这样的课题而研发的，其目的在于提供一种能在符合用户要求的环境中显示多样的图像的技术。

本发明的一个方案涉及图像处理系统。该图像处理系统是一种包括根据用户的操作进行图像显示的信息终端、和介由网络与信息终端连接并向该信息终端发送图像数据的服务器的图像显示系统。其中，信息终端包括：操作信息发送部，接受使显示对象图像的大小变化的操作输入，并将该操作输入的信息发送到服务器；显示图像处理部，利用根据操作输入而从服务器发送来的、使显示对象图像的大小变化的显示画面数据来进行显示的显示图像处理部。服务器具有显示图像处理装置，该显示图像处理装置包括：阶层数据生成装置，生成以不同的分辨率来表现显示对象图像，并按分辨率顺序阶层化而成的阶层数据；解码部，根据基于从信息终端发送的操作输入的信息的、信息终端中的显示对象图像的显示分辨率的变化，切换阶层数据中的处理对象的阶层进行解码；显示画面生成部，生成包含解码后的显示对象图像的显示画面数据；以及数据发送部，将显示画面数据发送到信息终端。

本发明的另一方案涉及图像提供服务器。该图像提供服务器包括：操作信息接收部，从介由网络连接的信息终端接受使显示对象图像的大小变化的操作输入的信息；阶层数据生成部，生成以不同的分辨率表现显示对象图像，并按分辨率顺序阶层化而成的阶层数据；解码部，根据基于操作输入的信息的、信息终端中的显示对象图像的显示分辨率的变化，切换阶层数据中的处理对象的阶层进行解码；显示画面生成部，生成包含解码后的显示对象图像的显示画面数据；以及数据发送部，为使得改变了显示对象图像的大小后的显示画面显示在信息终端上，而将该显示画面数据发送给信息终端。

本发明的再一个方案涉及信息处理装置。该信息处理装置包括：阶层数据生成部，生成以不同的分辨率表现动图像数据的各帧、并按分辨率顺序阶层化而成的阶层数据，存储到存储装置中；输入部，在显示动图像的过程中，接受使同时显示的动图像数变化的操作输入；解码部，在显示对象动图像的显示分辨率因操作输入而变化了时，切换阶层数据中的处理对象的阶层进行解码；以及显示部，生成包含解码后的动图像的显示画面数据并进行显示。

本发明再一个方案涉及图像处理方法。该图像处理方法是一种由根据用户操作进行图像显示的信息终端、和介由网络连接于信息终端并向该信息终端发送图像数据的服务器实施的图像处理方法，包括以下步骤：在信息终端中，接受使显示对象图像的大小变化的操作输入并发送给服务器；在服务器中，生成以不同的分辨率来表现显示对象图像，并按分辨率顺序阶层化而成的阶层数据，根据基于从信息终端发送的操作输入的信息的、信息终端中的显示对象图像的显示分辨率的变化，切换阶层数据中的处理对象的阶层进行解码，生成包含解码后的显示对象图像的显示画面数据，将显示画面数据发送到信息终端；在信息终端中，使用根据操作输入而从服务器发送来的、使显示对象图像的大小变化后的显示画面数据，进行显示。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序等间转换后的实施方式，作为本发明的方案也是有效的。

附图说明

图1是表示在本实施方式中能实现的显示画面的例子的图。

图2是示意性地表示本实施方式中的装置构成例和图像数据的变化的

图。

图3是在本实施方式中生成的阶层数据的概念图。

图4是表示能适用本实施方式的图像显示系统的构成例的图。

图5是详细表示本实施方式中的显示处理代行系统的构成的图。

图6是详细表示本实施方式中的信息终端的构成的图。

图7是示意性地表示本实施方式中的、在阶层数据中成为解码对象的阶层与显示画面的对应的图。

图8是表示本实施方式中的图像处理的步骤的流程图。

图9是详细表示在本实施方式中实现从多个供给源取得要同时显示的动图像的数据的方案时的信息终端的构成的图。

具体实施方式

以下基于具体实施方式说明本发明，但实施方式仅用于说明本发明的原理及应用，并非限定本发明的范围。

本实施方式实现在显示动图像或静图像的过程中能通过用户操作等来改变其分辨率的方案。图1表示了在本实施方式中能实现的显示画面的例子。画面40、42、44是在信息终端中显示从动图像提供服务器介由网络而取得的动图像的画面的例子，被施以阴影的矩形分别表示动图像。

首先，画面40显示用户在信息终端中选择的一个动图像，即“动图像A”的图像46。另一方面，画面42中作为“动图像列表（3×2）”，显示有横方向三、纵方向二的动图像排列（例如图像48a、48b）的例子。此外，画面44中作为“动图像列表（7×5）”，显示有横方向七、纵方向五的动图像排列（例如图像50a～50e）的例子。

画面40、42、44间的转变随着用户对未图示的菜单画面的选择输入而不连续地切换。或者，也可以预先生成有使应列表显示的所有动图像如画面44那样排列后的虚拟图像，通过用户的放大、缩小、滚动操作等而使显示区域连续地变化。不论在哪种情况下，在画面40、42、44中显示的动图像因用户的操作而变化分辨率。这样排列显示的图像可以不仅是动图像，也可以混有静图像，还可以仅是静图像。

在能进行这样的画面变化时，即使是动图像，也能一眼掌握可显示的多个图像，对于图像选择等也是有效的。另一方面，各图像的数据本来是设想个别显示而被编码的。因此，同时显示的图像的数量越增加，解码处理和数据传输所需的资源消耗量就越増加。例如画面44与画面40相比，解码处理、传输频带等的资源消耗量大约会成为其35倍。

在显示动图像时特别容易表现出因这样的资源消耗量的増加而使得显示处理跟不上、出现画面卡格等不理想的情况。因此，在本实施方式中，在比用于显示的解码处理靠前的某个阶段，将从供给源供给来的图像数据转换成具有多种分辨率的图像数据。然后，根据显示所要求的分辨率，切换解码对象图像数据的分辨率。这样，图像数据转换后的资源消耗量就不取决于解码对象图像的数量，而主要取决于显示图像的显示装置的画面尺寸了。在以后的说明中，作为显示对象，主要以动图像为例进行说明，但静图像也是一样。

图2示意性地表示了本实施方式中的装置构成例和图像数据的变化。此外，该图中表示了一个动图像数据，但在要同时显示多个动图像时，也可以对其它动图像数据进行同样的处理。此外，为便于理解，被编码了的数据也表示为帧串。首先，从图像提供服务器10发送动图像数据（S10）。此时的动图像数据是对以一种分辨率表现的帧串18进行编码后的一般的数据。该动图像数据首先被提供给阶层数据生成装置12。供给形态可以是文件下载，也可以是流传输。

阶层数据生成装置12对动图像数据进行解码，通过将其中所含的帧按1阶段或多阶段地缩小，来生成以多种分辨率表现各帧的动图像的数据20（S12）。通过将此时所生成的多种分辨率的图像按分辨率顺序阶层化，能使所要求显示的分辨率与数据的对应变得容易。以后将被这样阶层化了的图像数据称作“阶层数据”。

接下来，解码器14仅读取出各帧所对应的阶层数据中的、根据被要求显示的分辨率而确定的阶层的数据22，进行解码（S14）。由此，得到以所要求的分辨率表现各帧的帧串24，通过将其用显示装置16显示，就以所要求的分辨率来显示动图像了（S16）。通过这样的结构，所要求显示的分辨率越小，从阶层数据生成装置12传输数据时的数据传输频带和解码器14中的解码处理所需要的每1动图像的资源消耗量就越减轻。

同时显示的动图像的数量与各个动图像的显示分辨率大致呈反比例关系，故即使在如图1的画面44那样同时显示较多动图像时，阶层数据生成装置12中的处理之后的数据处理的资源消耗量也不为动图像的数量所左右，而是大致一定。例如若将阶层数据生成装置12连接于多个解码器14、显示装置16来共享阶层数据，则换算到每一个显示装置16上的阶层数据生成装置12中的处理的负荷是减少的，故能抑制系统整体的资源消耗量的变动。通过使阶层数据生成装置12中的处理在因图像而不同的定时（timing）进行来使负荷分散，也是一样的。

图3表示阶层数据的概念图。阶层数据具有在深度（Z轴）方向上由第0阶层30、第1阶层32、第2阶层34及第3阶层36构成的阶层构造。在该图中，仅示出了4个阶层，但阶层数并不限于此。

图3所示的阶层数据具有4叉树的阶层构造，各阶层由1个以上的平铺（tile）图像38构成。所有平铺图像38都被形成为具有相同像素数的相同尺寸，例如具有256×256像素。各阶层的图像数据将一个图像用不同的分辨率来表现，分辨率按第3阶层36、第2阶层34、第1阶层32、第0阶层30的顺序逐渐变小。

例如第N阶层的分辨率（N为0以上的整数）可以在左右（X轴）方向、上下（Y轴）方向上都为第（N＋1）阶层的分辨率的1／2。在该情况下，通过将作为动图像数据而得到的帧在X轴方向、Y轴方向上分别缩小1／2倍，能够生成与各帧对应的阶层数据。

关于阶层数据的阶层构造，如图3所示那样将左右方向设定为X轴，将上下方向设定为Y轴，将深度方向设定为Z轴，构建虚拟的三维空间。关于解码用的数据的指定，可以用虚拟空间中的帧的4角的坐标（帧坐标）来进行。在Z轴上，在各阶层之间设定有切换边界。当帧的Z坐标越过该切换边界时，切换解码对象阶层。进而通过使被解码后的图像符合显示所被要求的分辨率地适当放大／缩小，来得到所希望的分辨率的图像。

此外，也可以导出用于确定阶层的信息和该阶层中的纹理坐标（UV坐标），来取代虚拟空间中的帧坐标。以下，将阶层确定信息和纹理坐标的组合也称作帧坐标。在图1的例子中，在每个画面中都显示出了动图像的整体，但也可以通过如上述那样用帧坐标指定数据，来放大动图像的一部分。

图4表示能适用本实施方式的图像显示系统的构成例。图像处理系统5被构成为信息终端200a、200b、···、200n能连接于因特网等网络8。网络8上还连接图像提供服务器10a、10b、10c、显示处理代行系统100。

信息终端200a、200b、···、200n是接受用户的操作而显示图像的装置，可以用个人计算机、移动电话、平板型终端、游戏装置等一般的信息处理装置的任一种来实现。但在本实施方式中，信息终端200a、200b、···、200n具有如下功能：收到用户的操作时将该信息发送到显示处理代行系统100;接收从显示处理代行系统100发送来的显示画面数据而进行显示。在此，所谓“显示画面数据”，是设想具有信息终端200a、200b、···、200n的画面尺寸、基本上原样显示而生成的图像数据。但也可以在信息终端侧施以某些加工后再显示。

图像提供服务器10a、10b、10c介由网络8来提供符合其它装置的要求的图像数据。如上所述供给形式可以是文件下载，也可以是流传输。并且所提供的图像数据既可以是预先生成好的图像数据，也可以是将由图像提供服务器10a、10b、10c自身或者另外的装置正拍摄的图像实时地提供的数据。此外，图像提供服务器10a、10b、10c的数量并不特别限定。

显示处理代行系统100是代为执行信息终端200a、200b、···、200n中的信息处理的一部分的系统。例如用户对信息终端200a输入图像显示的开始、结束、显示画面的放大、缩小、滚动、画面的切换等要求时，生成应响应于此而显示的画面的数据，并发送给要求源的信息终端200a。用户要求阅览图像提供服务器10a所提供的图像时，显示处理代行系统100从图像提供服务器10a接收图像数据，并生成使之显示的显示画面数据后发送给信息终端200a。

显示处理代行系统100包含如下功能：为生成显示画面数据，对从图像提供服务器10a等接收到的图像数据进行解码。在用该结构实现图1所示那样的画面变化的情况下，在未导入向阶层数据的转换时所会发生的上述资源消耗量的问题更加显著。即，在多个信息终端200a、200b、···、200n中同时期地要求使较多动图像一次显示时，显示处理代行系统100中的资源消耗量会与信息终端的数量成正比地增大。

即，与一个装置内的解码处理相比，资源消耗量的变化幅度会特别增大。因此对显示处理代行系统100导入图2的阶层数据生成装置12。由此，显示处理代行系统100内的数据传输及解码处理所需的资源消耗量不因显示内容而异，而是成为与信息终端200a、200b、···、200n所具有的显示装置的画面尺寸的合计相对应的值，便于预算。结果，不会无用地增强显示处理代行系统100的处理性能，能稳定地应对信息终端200a、200b、···、200n的各种各样的要求。

图5详细表示了显示处理代行系统100的构成。显示处理代行系统100具有如下构成：与图2的阶层数据生成装置12对应的阶层数据生成装置102和包含与图2的解码器14对应的功能的显示图像处理装置120a、120b、120c、···通过LAN（Local Area Network：局域网）等网络104相连接。

在图5和后述的图6、图9中，作为进行各种各样处理的功能块而记载的各要素在硬件上能由CPU（Central Processing Unit：中央处理单元）、存储器及其它LSI构成，软件上由被载入存储器中的程序等实现。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或者通过它们的组合以各种各样的形式实现，并不限定于某一种。

显示图像处理装置120a基本上具有从信息终端200a等接收用户的操作内容的信息，并发送显示画面的功能。显示图像处理装置120a根据操作内容而进行的处理不仅是图像显示处理，也可以包括游戏、计算等一般的信息处理，但在此特别着眼于生成图1所示那样的显示画面的处理来进行说明。此外，如图所示在显示处理代行系统100中，多个显示图像处理装置120a、120b、120c、···介由网络104而同样地连接于阶层数据生成装置102，可以分别与不同的信息终端进行数据的收发。

显示图像处理装置120a包括：接收用户对信息终端200a进行的操作内容的信息的操作信息接收部122；决定显示对象动图像的显示对象决定部124；决定动图像的显示分辨率的分辨率决定部126；取得显示对象动图像的阶层数据中的与显示分辨率对应的阶层的压缩数据的数据取得部128；对压缩数据进行解码的解码部130；将解码后的图像配置在表现画面的图像区域中，并生成显示画面数据的显示画面生成部132；以及将显示画面数据发送给信息终端200a的数据发送部134。

操作信息接收部122接收用户对信息终端200a进行的操作内容的信息。操作内容的信息中如上所述包括图像显示的开始、结束、画面的放大、缩小、滚动等，还包括图像提供服务器10a的指定、欲显示的动图像、或者动图像的种类等指定信息。例如显示图像处理装置120a按照来自信息终端200a的要求，将图像提供服务器10a等的网站的图像数据作为显示画面发送给信息终端200a。

然后，从信息终端200a取得从在该网站中显示的动图像名的一览显示中指定一个动图像的输入信息。或者，取得对该网站所输入的检索条件的信息。操作信息接收部122在连接时等还取得信息终端200a所具有的显示装置的画面尺寸的信息。显示对象决定部124根据操作内容的信息决定显示对象动图像。

在被进行了如图1所示那样改变针对动图像排列的显示区域的操作的情况下，根据操作内容的信息，决定所预先生成的、使排列显示的动图像与显示它的画面上的位置建立了对应的虚拟图像中的显示区域的帧坐标，确定被包含在该显示区域中的动图像。在将排列的动图像作为与用户输入的检索条件对应的检索结果的情况下，将成为如下两阶段的处理，即，在将操作信息接收部122接收到的检索条件发送给图像提供服务器10a后接收作为检索结果的动图像的列表，然后决定其排列后确定显示区域内的动图像。若被进行了选择特定的动图像的操作，则当然地将该动图像作为显示对象。

分辨率决定部126基于使显示对象动图像配置时的动图像相对于画面的相对大小、和信息终端200a的显示装置的画面尺寸，来决定动图像的显示分辨率。分辨率决定部126还决定显示对象动图像中的显示区域。通过如上那样导入帧坐标，不论是动图像的整体区域还是一部分，都能同样地指定分辨率和显示区域。分辨率决定部126将由显示对象动图像的识别信息和帧坐标构成的数据集（data set）通知给数据取得部128。

数据取得部128基于从分辨率决定部126通知来的信息，从阶层数据生成装置102取得相应的压缩数据。解码部130对这样取得的压缩数据进行解码。在动图像数据被流传输的情况下，解码部130对数据取得部128取得的数据在流作业中进行解码。

显示画面生成部132决定显示对象动图像在画面上的配置，并使用所解码的数据，生成使动图像的帧的图像表现在各位置上的显示画面数据。由于显示对象是动图像，故显示画面生成部132按与帧率对应的定时（timing）生成新的显示画面数据。数据发送部134将这样生成的显示画面数据依次以预定方式编码后发送给信息终端200a。

阶层数据生成装置102包括：接收来自显示图像处理装置120a的要求并发送数据的数据发送部108；从图像提供服务器10a等取得动图像数据的图像数据取得部106；对所取得的动图像数据进行解码的解码部110；按各帧而分别生成阶层数据的阶层数据生成部112；对阶层数据进行编码的编码部114；以及存储被编码后的阶层数据的存储器116。

图像数据取得部106从数据发送部108取得显示图像处理装置120a所指定的动图像的识别信息，并按照此从图像提供服务器10a、10b、10c接收显示对象动图像的数据。此时的动图像数据可以以一般的方式编码。但以前已接收、其阶层数据已被存储在存储器116中的动图像数据可以不再新接收。如该图所示，图像数据取得部106也可以从信息终端200a自身取得动图像数据。在该情况下，根据信息终端200a保持的动图像数据而生成阶层数据，同其它动图像一样成为列表显示等的对象。

解码部110对图像数据取得部106取得的动图像数据进行解码。阶层数据生成部112将由解码后的帧串构成的动图像按各帧分别缩小到预定的分辨率，并按分辨率顺序建立对应，由此来生成阶层数据。由此，生成显示对象动图像的阶层数据串。显示对象动图像有多个时，针对各动图像分别同样地生成阶层数据串。编码部114对该阶层数据串进行编码。关于编码的方式，根据网络104所具有的传输频带、显示图像处理装置120a的解码部130的处理能力等显示处理代行系统100内的资源环境而预先决定。

为抑制如上述那样同时显示的动图像数量的増减所导致的资源消耗量的变动，优选在压缩状态下可限定地读取所需阶层的所需区域的编码方式。此外，压缩率高的方式一般来说编码处理、解码处理的负荷较重。若是网络104的传输速度能充分保证的环境，则优选即使压缩率多少低一些，也减轻编码处理、解码处理的负荷，提高对信息终端200a发送数据的吞吐量。

考虑到这些点，例如如下压缩方法较为合适，即，将动图像的帧按预定帧分别分割成预定尺寸而成数据块单位，按该数据块单位对像素值进行量化。在静图像的情况下，S3TC（S3Texture Compression：S3纹理压缩）较为合适。这些方式都无需为解码而将其它区域的数据也一起解压缩到存储器中，故无用的解码处理和存储器区域的消耗较少。

另一方面，当编码部114和解码部130的处理性能较充沛时，关于动图像，压缩率高的AVC（Advanced Video Coding：高级视频编码）、SVC（ScalableVideo Coding：可分级视频编码）较为合适，关于静图像，JPEG（JointPhotographic Experts Group：联合图像专家组）等较为合适。或者，也可以先生成以多种方式编码了的阶层数据，根据网络104和显示图像处理装置120a的资源使用状况而适应性地选择。

编码部114将编码后的阶层数据串与动图像的识别信息建立对应地存储到存储器116中，各阶层数据与原动图像的各帧相对应，故阶层数据被对应有帧编号。存储器116是RAM（随机存取存储器）等，存储被编码后的阶层数据串。将信息终端200a这之前作为显示对象的动图像的阶层数据串、以及其它信息终端作为显示对象的动图像的阶层数据串至少存储在存储器116中预定期间。

由此，阶层数据生成装置102的解码部110应新解码的动图像就仅是在存储器116中尚未存储有阶层数据串的动图像。但是，在动图像被从图像提供服务器10a等流传输的情况下，将后续的帧逐次转换成阶层数据而继续存储在存储器116中。在该情况下，若同时显示相同动图像的信息终端有多个，则能共享数据，故与针对各个信息终端分别进行解码时相比，处理的负荷被减轻。

数据发送部108将显示图像处理装置120a所要求的动图像的识别信息通知给图像数据取得部106，并读取出被存储在存储器116内的阶层数据串中的、所被要求的动图像中的与显示分辨率对应的阶层的压缩数据，介由网络104而发送给显示图像处理装置120a。如上所述通过在阶层数据的分辨率方向上设置切换边界，就能唯一确定与显示分辨率对应的阶层了。

图6详细表示了信息终端200a的构成。信息终端200b、···、200n可以是同样的构成。此外，信息终端200a也可以具有执行不伴随有各种信息处理、通信等与显示处理代行系统100收发数据的处理的功能，但由于这些能根据构成信息终端200a的装置的种类等适用一般的技术，故省略了功能块的图示。

信息终端200a包括：用于用户操作信息终端200a的输入部142；将操作内容的信息发送到显示处理代行系统100的操作信息发送部140；从显示处理代行系统100接收显示画面数据的数据接收部146；对显示画面数据进行解码的解码部148；使用解码后的数据描绘显示画面的显示图像处理部150；以及显示显示画面的显示部144。

输入部142接受用户一边看着显示在显示部144上的画面一边进行的操作、例如文件或指令的选择操作、显示切换、画面的放大、缩小、滚动等操作，并通知给操作信息发送部140。输入部142能用指示设备、鼠标、键盘、触摸屏、游戏手柄、按钮等一般的输入装置来实现。

操作信息发送部140将从输入部142通知来的操作内容的信息发送给显示处理代行系统100。此时，可以根据用户的操作将输入部142产生的信号原样发送，也可以由操作信息发送部140基于预定的算法对该信号进行解释，新生成仅包含必要信息的信号来发送。具体采用哪种方案，可根据显示处理代行系统100的代为执行的内容等适当选择。

数据接收部146从显示处理代行系统100逐次接收显示画面的压缩数据。该显示画面会根据用户的操作，因显示处理代行系统100中处理的结果而变化，并且在动图像显示时，还随动图像的进度而变化。解码部148对显示画面的压缩数据进行解码，解压缩到未图示的缓存器等中。显示图像处理部150将被解压缩后的显示画面数据转换成用于输出给显示部144的视频信号。显示部144通过输出该视频信号而显示显示画面。显示部144可以是液晶显示器、EL（Electroluminescence：电致发光）显示器、等离子显示器等一般的显示装置的任一种。

图7示意性地表示了在阶层数据中成为解码对象的阶层与显示画面的对应。阶层数据生成装置102被从图像提供服务器10a等输入多个动图像数据170a、170b、170c、···等。阶层数据生成装置102将其按各帧而分别转换成阶层数据。在该图中，分别用阶层数据172a、172b、172c象征性地表示动图像数据170a、170b、170c的1个帧的阶层数据。

在用户仅选择了动图像数据170a的情况下，显示图像处理装置120a的分辨率决定部126在画面区域174内决定用于显示一个动图像的动图像显示区域176。该信息可以是被预先设定为一个动图像显示用的，也可以在显示多个动图像排列的图像时，作为用户使1个动图像放大后的结果而取得。然后，分辨率决定部126基于信息终端200a的显示部144的画面尺寸和画面区域174中的动图像显示区域176的相对尺寸来决定显示分辨率。基于此，从动图像数据170a的阶层数据172a中选择解码对象阶层。在该图中，第3阶层178被选择了。

用户进行了向显示多个动图像的排列的画面切换的切换操作，或者从原本使动图像排列中的一者放大显示的状态起进行了缩小操作时，首先，显示对象决定部124确定成为显示对象的多个动图像。在该图中，6个动图像成为显示对象。然后，分辨率决定部126为同上述一样在画面区域180内显示6个动图像而决定动图像显示区域（例如区域182a、182b、182c），由此从动图像数据170a、170b、170c、···的阶层数据172a、172b、172c、···中选择解码对象阶层。在该图的情况下，第1阶层184a、184b、184c被选择了。

此外，在图7的例子中，是设想显示动图像的全部区域而将所选择的阶层的全部区域的数据都选为解码对象的，但如果能按阶层内的平铺图像单位等针对各区域分别访问压缩数据，则也可以仅将阶层内的部分区域作为解码对象。此外，在该图的例子中是使同时显示的动图像全都成为相同尺寸的，但也可以通过显示画面的设计等来改变同时显示的动图像的大小。在该情况下，也可以针对不同的动图像使解码对象阶层不同。

接下来说明通过如上所述的结构来实现的图像处理系统的动作。图8是表示在图4的图像处理系统5中主要由信息终端200a和显示处理代行系统100进行的图像处理的步骤的流程图。首先，用户对信息终端200a进行要求动图像显示的操作（S30）。例如可以是显示属于某个类别的动图像的缩略图的指示，也可以如上述那样是检索条件的输入等。

这样，显示处理代行系统100中的显示图像处理装置120a基于该操作来确定显示对象动图像（S32）。然后，通过根据该动图像的个数等决定各动图像的显示分辨率，来从阶层数据生成装置102取得解码对象阶层的压缩数据（S34）。在S32至S34之间，阶层数据生成装置102还根据需要从图像提供服务器等取得在S32中所决定的显示对象动图像，并生成阶层数据。

然后，对所取得的压缩数据进行解码，通过将解码后的帧或背景适当配置在表现画面的区域内，来生成显示画面数据（S36）。信息终端200a取得显示画面的压缩数据后，将之解码并显示（S38）。在用户不进行改变显示区域的操作的期间（S40的“否”），从与相同动图像的后续帧对应的阶层数据中适当取得数据来生成显示画面，继续显示该动图像（S34～S38）。

另一方面，若用户切换画面，或者对排列画面进行放大、缩小、滚动操作等而变更显示区域（S40的“是”），则显示图像处理装置120a通过确定包含在新的显示区域中的动图像，来更新显示对象动图像（S42）。并且在该动图像的个数发生变化等显示分辨率发生了变化时，根据需要而切换解码对象阶层（S44）。

然后，对新确定的显示对象动图像的阶层数据中的对象阶层进行解码，并生成显示画面显示（S34～S38）。反复进行以上处理直到在信息终端200a中被进行了显示的结束操作（S46的“否”、S34～S44），当被进行了显示结束的操作时，结束处理（S46的“是”）。

在以上所述的结构中，信息终端200a是对显示处理代行系统100生成的显示画面数据进行解码，并原样显示的。另一方面，也可以使得同时显示显示处理代行系统100所生成的显示画面和信息终端200a自身保持的图像。还可以从图像提供服务器10a等直接接收一部分动图像，将其也同时显示。图9详细表示了实现从多个供给源取得要同时显示的动图像的数据的方案时的信息终端的构成。

信息终端200b中的输入部142、操作信息发送部140、数据接收部146、解码部148、显示图像处理部150、显示部144在大概的功能上与图6所示的信息终端200a是一样的，故标注了相同的标号。信息终端200b还具有存储动图像等的图像数据的图像数据存储部154、根据用户的操作而载入显示对象的动图像数据的载入部152。

图像数据存储部154由硬盘驱动器构成。或者也可以是存储卡等可移动式记录介质及其读取装置、只读ROM盘及其驱动装置等。此外，除图像数据存储部154存储的图像数据以外，还可以是信息终端200b所具有的未图示的摄像头正拍摄的动图像的数据等。

图像数据存储部154存储的图像数据可以是阶层数据，也可以是仅由一种分辨率构成的动图像或静图像的数据。若是阶层数据，则基于与在显示处理代行系统100中生成阶层数据同样的理由，能抑制解码部148和内部总线等的资源消耗的变动。载入部152确认由用户操作所决定的显示对象动图像中是否包含有存储在图像数据存储部154中的图像数据，若包含，则读取出该数据提供给解码部148。图像数据是阶层数据时，载入部算出显示分辨率，选择应载入的阶层。

在该方案中，根据图像的种类而决定了应存储在图像数据存储部154中的图像和应从外部取得的图像，可以根据用户的操作内容而决定显示哪个图像。例如从外部取得候选非常多的图像和易被更新的图像，而将候选较限定的图像和状况变化较少的图像存储在图像数据存储部154中。以购物宣传册的图像为例，用于选择商品类别的图像的更新频率较低，故将其数据存储在图像数据存储部154中。另一方面，具体的商品及其信息、关联商品的图像等需要经常最新，候选也较多，故在每次显示时从外部取得。

操作信息发送部140按照预先设定的规则，针对各动图像分别决定是从显示处理代行系统100取得从外部得到的动图像数据，还是从图像提供服务器10a直接取得。从图像提供服务器10a直接取得的动图像数据包含有缩小显示所不需要的过多信息。因此，缩小的程度越大，数据传输和解码处理中就越发生浪费。

考虑到该点，可以使得显示分辨率越下降，就越减少从图像提供服务器10a直接取得的动图像数据。或者也可以实时地确认传输频带的空余状况，随着状况恶化而减少要直接取得的动图像数据。操作信息发送部140向显示处理代行系统100发送用户所进行的操作内容的信息，向图像提供服务器10a发送用于指定决定要直接取得的动图像的信息，并要求图像数据的发送。

在这样的情况下，显示处理代行系统100以空出要显示信息终端200b从其它供给源取得的动图像的区域的状态，生成显示画面数据。关于该区域的信息可以由信息终端200b指定，也可以作为应在显示处理代行系统100和信息终端200b间共有的信息而预先定好决定规则等。针对根据状况的变化而改变要从图像提供服务器10a取得的动图像的情况也是一样，可以由信息终端200b通知给显示处理代行系统100，也可以设定两者共有的规则。数据接收部146从显示处理代行系统100和图像提供服务器10a等接收所要求的图像数据。

解码部148对数据接收部146接收的来自外部的图像数据、和载入部152载入的在内部保持的图像数据进行解码。显示图像处理部150以例如显示处理代行系统100生成的显示画面为背景，将从图像提供服务器10a发送来的图像或载入部152载入的图像重叠其上。这样，在显示部144中能使供给源不同的动图像和静图像同时排列在同一画面中进行显示。此外，同时显示的动图像的供给源可以是上述三种中的任意两种的组合，也可以根据显示内容或网络状况等从1～3种中适当选择。

通过以上那样的构成，能在将资源消耗量维持在一定范围内的基础上，一次显示较多的动图像和静图像。但是根据传输频带的状况和连接至显示处理代行系统100的信息终端的数量等，也会发生处理速度变慢的状况。因此，根据在信息终端中同时显示的图像的数量等，调整显示处理代行系统100的处理内容，抑制整体的资源消耗，使得不论状况如何都难以发生画面卡格等不理想的情况。

当例如同时显示的动图像的数量在阈值以上、或者显示分辨率在阈值以下时，可以对特定动图像的帧按预定比率剔除地进行画面播放再现，所述特定动图像，是距画面中心或光标所处的动图像等用户作为选择对象的动图像预定范围外的动图像。此时，也可以距离越远，就越增加所剔除的帧数。在该情况下，显示对象决定部124基于动图像的配置决定各动图像的帧剔除量。然后，数据取得部128取得未剔除的帧的数据。

解码部130和显示画面生成部132也按照该剔除量，使各动图像数据的解码间隔、画面中的帧的更新间隔因动图像而不同。由此，用户所关注的动图像以较高的时间分辨率显示，而越远离视点，就越以低的时间分辨率显示动图像。同样，也可以越远离视点，就越降低图像本身的分辨率。通过这样，也能不对一眼确认多个动图像这一目的产生大障碍地节省资源消耗量。在并非依次处理动图像的流的形态，而是已由数据取得部128取得了全部帧数据的动图像的情况下，通过不改变帧率地剔除帧，也能提高再现速度。

此外，也可以根据要显示的动图像的数量而使所有动图像的再现速度变化。例如在同时显示的动图像的数量在阈值以上、或者显示分辨率在阈值以下时，使再现快进，而能较快地确认动图像全片。在动图像的数量不足阈值、是与动图像原来的分辨率同程度的显示分辨率的情况下，采用通常的再现速度，进而还可以在显示放大了的图像时，使再现速度比通常慢。

认为同时显示的动图像的数量表示了用户对各个动图像的关注程度。因此，要同时显示的动图像数较多，就推测为用户是想要俯瞰整体，此时在时间方向上也使得易于俯瞰。另一方面，在进行了放大时，就推测为想要详细确认该动图像，故通过慢放而使得更加容易确认。关于这样的再现速度的调整，可以通过改变显示画面生成部132进行的画面生成处理和数据发送部134进行的向信息终端200a发送数据的处理的处理率来实现。

进而，还可以根据显示的动图像数而使动图像的内容本身变化。例如在显示处理代行系统100的阶层数据生成装置102中，从图像提供服务器10a取得电影正片和宣传用的动图像。然后，阶层数据生成部112对于高分辨率的阶层，用正片的动图像的帧生成阶层数据，而对于低分辨率的阶层，用将宣传用的动图像的帧缩小了的图像来生成阶层数据。在该情况下，既可以使得仅针对电影正片的初始帧的阶层数据这样做，也可以使得低分辨率的阶层重复宣传用的动图像。

即使是这样的阶层数据，图像显示处理本身也可以同上述的情况一样。通过这样做，能实现如下显示方案：在对动图像进行缩略图显示时，宣传用的动图像被再现，而将某动图像放大时，正片被显示。关于该方案，不限于电影和宣传用的动图像，只要是一个动图像和与之对应地生成的简易内容的动图像，就能同样地实现。

通过以上所述的本实施方式，在对所输入的静图像或动图像的数据进行解码前的某个定时，就将原图像转换成以多种分辨率表现的阶层数据。然后，根据所要求显示的分辨率来切换解码对象阶层。由此，不论是静图像还是动图像，即使从显示着1个图像的状态向同时显示较多图像的状态变化，也能抑制处理对象的数据大小的变动。结果，用于解码的处理资源和解码前的数据传输频带的消耗都变得恒定。

在如接受来自多个信息终端的要求，进行图像数据取得和解码处理，代为生成显示画面的显示处理代行系统那样，显示对象动图像数量因多个用户的意向而有较大变动的系统中，上述效果更加显著。此外在本实施方式中，根据同时显示的动图像的数量来推测用户对各动图像的关注度，并根据此来剔除帧或使再现速度变化。由此，能在适于用户的动图像显示目的的范围内抑制资源消耗。结果，即使传输频带的空余或各用户的操作状况等发生变化，显示速度变得迟延的可能性也较低，能响应性良好地同时显示较多的图像。

以上基于实施方式说明了本发明。本领域技术人员当理解上述实施方式仅是例示，其各构成要素和各处理过程的组合可以有各种各样的变形例，并且这样的变形例也包含在本发明的范围内。

例如在本实施方式中，主要说明了在显示处理代行系统100中具有阶层数据生成装置的情况。在显示处理代行系统100中要接收多个信息终端的要求，故同一动图像的阶层数据以前已生成的可能性较高，易于分散阶层数据生成装置中的用于阶层数据生成的解码处理。结果，在显示图像处理装置120a的解码处理中，容易显现出因切换解码对象阶层而带来的资源消耗量恒定化的效果。

另一方面，在未导入显示处理代行系统100的环境下，也可以使得信息终端具有阶层数据生成装置。在该情况下，例如只要使阶层数据生成装置进行的阶层数据生成处理分散到不同的时间，在图像显示阶段也能同本实施方式一样保证资源消耗量不因同时显示的图像数而变化，而是几乎保持恒定，能抑制显示速度迟延等状况的发生。此时信息终端成为包括图2所示的阶层数据生成装置12、解码器14、显示装置16的结构。能同本实施方式一样实现画面的变化和处理内容的调整。

Claims (15)

1.一种包括根据用户的操作进行图像显示的信息终端、和介由网络与上述信息终端连接并向该信息终端发送图像数据的服务器的图像处理系统，其特征在于，

上述信息终端包括：

操作信息发送部，接受使显示对象图像的大小变化的操作输入，并将该操作输入的信息发送到上述服务器，和

显示图像处理部，利用根据上述操作输入而从上述服务器发送来的、使上述显示对象图像的大小变化的显示画面数据来进行显示的显示图像处理部；

上述服务器具有显示图像处理装置，该显示图像处理装置包括：

阶层数据生成装置，生成以不同的分辨率来表现上述显示对象图像，并按分辨率顺序阶层化而成的阶层数据，

解码部，根据基于从上述信息终端发送的操作输入的信息的、上述信息终端中的显示对象图像的显示分辨率的变化，切换上述阶层数据中的处理对象的阶层进行解码，

显示画面生成部，生成包含解码后的上述显示对象图像的显示画面数据，以及

数据发送部，将上述显示画面数据发送到上述信息终端。

2.如权利要求1所述的图像处理系统，其特征在于，

上述阶层数据生成装置集中地进行在多个信息终端中成为显示对象的图像的阶层数据生成处理；

上述服务器向所具有的多个上述显示图像处理装置发送被各显示图像处理装置中的上述解码部作为解码对象阶层的数据。

3.如权利要求1或2所述的图像处理系统，其特征在于，

上述信息终端的上述操作信息发送部接受用于使同时显示的图像数变化的上述操作输入；

上述服务器的上述显示画面生成部生成包含上述解码部解码后的多个显示对象图像的显示画面数据。

4.如权利要求1或2所述的图像处理系统，其特征在于，

上述服务器的上述阶层数据生成装置生成表现作为显示对象图像的动图像的各帧的上述阶层数据；

上述数据发送部将上述显示画面生成部生成的上述各帧的上述显示画面数据依次发送给上述信息终端。

5.如权利要求4所述的图像处理系统，其特征在于，

在显示对象动图像的显示分辨率在预定的阈值以下时，上述显示画面生成部通过不使上述显示画面数据的生成率变化地按预定比率剔除生成的对象的帧，来使上述动图像的再现速度増加。

6.如权利要求4所述的图像处理系统，其特征在于，

在因同时显示的动图像数増加而使得显示分辨率在预定的阈值以下时，上述显示画面生成部按预定的比率剔除距画面中心或用户作为选择对象的动图像预定范围外的动图像的帧，来生成上述显示画面数据。

7.如权利要求4所述的图像处理系统，其特征在于，

上述阶层数据生成装置生成包含以原分辨率表现动图像的各帧的图像的阶层、和以比上述分辨率低的分辨率表现与该动图像对应地生成的另一动图像的图像的阶层的阶层数据。

8.如权利要求1或2所述的图像处理系统，其特征在于，

上述信息终端还包括数据接收部，从图像提供服务器介由网络接收图像数据；

上述信息终端的上述显示图像处理部将在从上述服务器数据发送来的上述显示画面上包含有对上述图像数据解码而成的图像的显示画面作为最终的显示画面进行显示。

9.如权利要求8所述的图像处理系统，其特征在于，

上述显示图像处理部还使对存储在上述信息终端内的存储装置中的图像数据解码而成的图像包含在上述显示画面中。

10.如权利要求8所述的图像处理系统，其特征在于，

上述信息终端根据图像数据的传输频带的空余信息而使显示画面中所包含的图像的数据供给源变化。

11.一种图像提供服务器，其特征在于，包括：

操作信息接收部，从介由网络连接的信息终端接受使显示对象图像的大小变化的操作输入的信息，

阶层数据生成部，生成以不同的分辨率表现上述显示对象图像，并按分辨率顺序阶层化而成的阶层数据，

解码部，根据基于上述操作输入的信息的、上述信息终端中的显示对象图像的显示分辨率的变化，切换上述阶层数据中的处理对象的阶层进行解码，

显示画面生成部，生成包含解码后的上述显示对象图像的显示画面数据，以及

数据发送部，为使得改变了上述显示对象图像的大小后的显示画面显示在上述信息终端上，而将该显示画面数据发送给上述信息终端。

12.一种信息处理装置，其特征在于，包括：

阶层数据生成部，生成以不同的分辨率表现动图像数据的各帧、并按分辨率顺序阶层化而成的阶层数据，存储到存储装置中，

输入部，在显示动图像的过程中，接受使同时显示的动图像数变化的操作输入，

解码部，在显示对象动图像的显示分辨率因上述操作输入而变化了时，切换上述阶层数据中的处理对象的阶层进行解码，以及

显示部，生成包含解码后的动图像的显示画面数据并进行显示。

13.一种由根据用户操作进行图像显示的信息终端、和介由网络连接于上述信息终端并向该信息终端发送图像数据的服务器实施的图像处理方法，其特征在于，包括以下步骤：

在上述信息终端中，接受使显示对象图像的大小变化的操作输入并发送给上述服务器；

在上述服务器中，

生成以不同的分辨率来表现上述显示对象图像，并按分辨率顺序阶层化而成的阶层数据，

根据基于从上述信息终端发送的操作输入的信息的、上述信息终端中的显示对象图像的显示分辨率的变化，切换上述阶层数据中的处理对象的阶层进行解码，

生成包含解码后的上述显示对象图像的显示画面数据，以及

将上述显示画面数据发送到上述信息终端；

在上述信息终端中，使用根据上述操作输入而从上述服务器发送来的、使上述显示对象图像的大小变化后的显示画面数据，进行显示。

14.一种计算机程序，其特征在于，使计算机实现以下功能：

从介由网络连接的信息终端接受使显示对象图像的大小变化的操作输入的信息的功能，

生成以不同的分辨率来表现上述显示对象图像，并按分辨率顺序阶层化而成的阶层数据的功能，

根据基于上述操作输入的信息的、上述信息终端中的显示对象图像的显示分辨率的变化，切换上述阶层数据中的处理对象的阶层进行解码的功能，

生成包含解码后的上述显示对象图像的显示画面数据的功能，以及

为使得使上述显示对象图像的大小变化后的显示画面显示在上述信息终端上，将该显示画面数据发送给上述信息终端的功能。

15.一种记录介质，其特征在于，记录有使计算机实现以下功能的计算机程序：

从介由网络连接的信息终端接受使显示对象图像的大小变化的操作输入的信息的功能，

生成以不同的分辨率来表现上述显示对象图像，并按分辨率顺序阶层化而成的阶层数据的功能，

根据基于上述操作输入的信息的、上述信息终端中的显示对象图像的显示分辨率的变化，切换上述阶层数据中的处理对象的阶层进行解码的功能，

生成包含解码后的上述显示对象图像的显示画面数据的功能，以及

为使得使上述显示对象图像的大小变化后的显示画面显示在上述信息终端上，将该显示画面数据发送给上述信息终端的功能。

Images