CN1260979C - 图像处理装置及系统、解码装置、编码装置及编码方法 - Google Patents

图像处理装置及系统、解码装置、编码装置及编码方法 Download PDF

Info

Publication number
CN1260979C
CN1260979C CNB031017290A CN03101729A CN1260979C CN 1260979 C CN1260979 C CN 1260979C CN B031017290 A CNB031017290 A CN B031017290A CN 03101729 A CN03101729 A CN 03101729A CN 1260979 C CN1260979 C CN 1260979C
Authority
CN
China
Prior art keywords
animated image
image
unit
resolution
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031017290A
Other languages
English (en)
Other versions
CN1436003A (zh
Inventor
小柳雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1436003A publication Critical patent/CN1436003A/zh
Application granted granted Critical
Publication of CN1260979C publication Critical patent/CN1260979C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Abstract

提供一种图像处理装置，将同一内容的动画图像以不同解像度(a)～(c)分割为多个贴图，对每个贴图进行编码来形成比特流。在解码时，取得显示上所需的最低限度的贴图并进行解码。另外，同时执行解像度高的动画图像的解码和解像度低的动画图像的解码。在完成必要的解像度的动画图像的解码前，将解像度低的动画图像放大来代用。

Description

图像处理装置及系统、解码装置、编码装置及编码方法
技术领域
本发明涉及对以多个不同的解像度形成的动画图像进行解码的图像处理装置及其相关技术。
背景技术
在基于MPEG(Moving Picture Experts Group；动画图像专家组)的动画图像编码的国际标准方式之一的MPEG-4中，作为高效率处理以多个不同的解像度形成的动画图像的功能，被定义为所谓的空间可扩缩性功能。
空间可扩缩性功能是这样一种方式：对输入的动画图像准备高解像度和低解像度的两种数据，在网络或终端的状态良好时对高解像度的数据进行解码并显示，而在状态差时使用低解像度的数据。
具体地说，在编码端，通过前处理将输入图像分成高解像度图像和低解像度图像。
然后，将低解像度图像以通常的MPEG-4的编码算法进行编码，形成VOL(Video Object Layer；视频对象层)0的比特流。
VOL0的比特流在解码端也以通常的解码算法作为低解像度图像进行重现、显示。
另一方面，将高解像度图像通过VOP(Video Object Plane；视频对象平面)间编码进行编码。在其预测模式中，有依据高解像度图像进行预测的情况和依据低解像度图像进行预测的情况。
在依据低解像度图像进行预测时，将进行了解像度变换的图像用作预测图像。
这样，在高解像度图像的编码中，使用低解像度编码的结果，所以在解码中需要双方(VOL0+VOL1)的比特流。
如果使用该空间可扩缩性的功能，则例如将通常的电视广播作为低解像度图像进行广播，同时将高清晰度电视广播作为高解像度图像进行广播，按照接收终端的性能，可以实现选择其中任何一个的应用。
但是，对于根据使用终端的用户指示，将显示的动画图像的一部分对话性地扩大显示或将整体缩小显示，使扩大显示的部分移动的应用来说，在采用上述空间可扩缩性时，产生以下问题。
(1)在显示比终端的显示画面的动画图像显示区域尺寸大的高解像度图像时，最终包含未显示在显示画面的动画图像显示区域中的地方，必须进行高解像度图像的解码。
因此，需要极大的解码处理量和工作存储器，存在浪费大的问题。
(2)在显示画面的动画图像显示区域中，包含最终不被显示的地方需要传输高解像度图像的编码。因此，存在不能有效地利用网络频带的问题。
(3)在对使用空间可扩缩性的功能所生成的编码进行解码时，需要专用的解码器。该专用解码器未广泛普及，在开发和制造成本上产生问题。
而且，在只能进行低解像度图像显示的终端上，期望仅显示高解像度图像的一部分。此外，根据用户的喜好，也有要切换高解像度图像和低解像度图像的要求。
作为对应于这种要求的技术，有日本特开平8-130733号公报等。
在日本特开平8-130733号公报中，公开了以下动画图像处理装置：将作为动画图像编码的国际标准方式之一的MPEG-2的空间可扩缩性进行扩展，通过将图像中的一个以上的部分区域进行分层编码并传输，在接收者端可以按照喜好来选择低解像度的整个区域和高解像度的部分区域的其中一个。
详细地说，该图像处理装置可指定分层编码的图像的部分区域，将与该指定对应的数据(坐标、原图像尺寸、放大图像尺寸)写入到MPEG-2的比特流的用户数据区域，进行与其对应的高位分层的编码。
但是，根据使用终端的用户的指示，在使用该图像处理装置来实现将显示的动画图像的一部分对话性地扩大显示或将整体缩小显示，使扩大显示的部分移动的应用时，产生以下问题。
(4)最终包含不显示在显示画面的动画图像显示区域的地方，必须进行高解像度的多个部分图像的解码。
因此，需要极大的解码处理量和工作存储器，存在浪费大的问题。
(5)最终包含不显示在终端的显示画面的动画图像显示区域上的地方，需要传输高解像度的多个部分图像的编码。因此，存在不能有效地利用网络频带的问题。
(6)在使用写入到用户数据区域的信息并对编码进行解码时，需要专用解码器。因此，在该专用解码器的开发和制造成本上产生问题。
(7)在作为对象的动画图像中，存在只能在预先设定的几个位置来变更放大对象位置的问题。
发明内容
因此，本发明的目的在于提供一种图像处理装置及其相关技术，可以减少解码处理量和有效利用传输路径的频带，同时降低开发和制造成本，并且可以进行以动画图像中的任意区域为对象的显示形态的变更。
第1发明的图像处理装置从存储以多个不同的解像度形成的同一内容的已编码的动画图像的图像存储单元中，通过传输路径取得所述动画图像，对取得的所述动画图像进行解码。
该图像处理装置包括：编码输入单元，从所述图像存储单元中取得所述动画图像；以及两个解码单元，对所述编码输入单元从所述图像存储单元取得的所述动画图像进行解码，所述两个解码单元中的一个解码单元对显示在动画图像显示区域上的动画图像进行解码；所述两个解码单元中的另一个解码单元对解像度比显示在所述动画图像显示区域上的动画图像的解像度低的动画图像进行解码；还包括解像度变换单元，根据对所述动画图像显示区域上当前显示的动画图像的形态进行变更的显示形态变更指示，从所述另一个解码单元解码后的低解像度的动画图像的各帧中，取得并放大一部分区域。
而且，在以多个不同的解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割为多个部分区域，对每个该部分区域实施编码来形成比特流。
根据该结构，对于规定的解像度的动画图像，将各帧分割为多个部分区域，所以编码输入单元不是取得全体帧，而是取得动画图像的帧中包含的必要数目的部分区域。
因此，对于比显示装置的动画图像显示区域大的高解像度的动画图像，在将各帧的一部分显示在动画图像显示区域上时，可以不取得不显示的部分区域。
其结果，与从传输路径取得全体帧的情况相比，可以有效地利用传输路径的传输频带。
此外，对于所有解像度的动画图像，将各帧分割为多个部分区域，所以可以从一帧中取得必要的部分区域。
因此，与取得并解码全体帧的情况相比，可以减轻取得的动画图像的信息量以及解码处理量。
其结果，可以实现设备的存储器节省、低成本和低消耗电力。
而且，对于规定解像度的动画图像，将各帧分割为多个部分区域，编码输入单元可以从一帧中取得必要数目的部分区域。这种情况下，具有一般能力的解码单元也可以从一帧中取得可解码数目的部分区域。
于是，不需要使用具有特别能力的解码单元，可以使用一般的解码单元。其结果，可以抑制解码单元的开发费用和制造成本。
而且，对于规定解像度的动画图像，将各帧分割成多个部分区域，所以编码输入单元可以在该动画图像的帧中取得包含要显示在显示装置上的任意部分区域的部分区域。
即，编码输入单元可以从构成动画图像的帧的部分区域中取得任意选择的部分区域，所以可以将动画图像的帧中任意的区域显示在显示装置上。
其结果，如果将高解像度的动画图像和低解像度的动画图像分割为部分区域并进行编码，则可进行以这些动画图像中的任意区域为对象的显示形态的变更(例如，放大、缩小、滚动等)。
在第2发明的图像处理装置中，所述编码输入单元从所述图像存储单元中存储的所述动画图像中取得包含显示在动画图像显示区域中的区域的最小数目的所述部分区域的比特流。
根据该结构，对于解像度比显示装置的动画图像显示区域大的动画图像，在将各帧的一部分显示在动画图像显示区域上时，仅取得显示所需的最低限度数目的部分区域。
其结果，可以进一步有效地使用传输路径的传输频带，同时进一步减轻解码处理量。
第3发明的图像处理装置还包括解像度变换单元，该解像度变换单元设置两个所述解码单元。
在第3发明的图像处理装置中，当所述显示状态变更指示，在有将所述动画图像显示区域中当前显示的动画图像进行放大的放大指示时，所述解像度变换单元从对当前显示的所述动画图像进行解码的解码单元中，取得解码后的动画图像的各帧的一部分区域，实施放大处理。
在有所述放大指示时，所述编码输入单元从所述图像存储单元中取得解像度比当前显示的所述动画图像的解像度高的动画图像。
在有所述放大指示时，与对当前显示的所述动画图像进行解码的解码单元不同的另一个解码单元来对所述编码输入单元取得的所述高解像度的所述动画图像进行解码。
该图像处理装置还包括图像选择单元，在有所述放大指示时，在所述高解像度的所述动画图像的解码完成前，选择并输出所述解像度变换单元实施了放大处理的所述一部分区域，在所述高解像度的所述动画图像的解码完成后，选择完成了该解码的高解像度的动画图像。
根据该结构，在有放大指示时，在从图像存储单元中取得与放大指示对应的高解像度的动画图像至完成解码的期间，可以将图像选择单元选择的一部分区域显示到显示装置的动画图像显示区域。
即，在从图像存储单元中取得与放大指示对应的高解像度的动画图像至完成解码的期间，用解像度变换单元放大的低解像度的动画图像的一部分区域进行代用。
其结果，在有放大指示时，用户可观察的显示延迟显著减轻，用户的等待时间被缓和，使包含本图像处理装置的显示终端的便利性提高。
此外，在图像存储单元中存储分割为部分区域的动画图像，所以可进行将该动画图像的帧的任意区域作为对象的放大处理。
在第4发明的图像处理装置中，还包括图像选择单元，当所述显示形态变更指示，是缩小所述动画图像显示区域中当前显示的动画图像的缩小指示时，选择并输出与对当前显示的所述动画图像进行解码的解码单元不同的解码单元解码的低解像度的动画图像。
在有所述缩小指示时，在与对当前显示的所述动画图像进行解码的解码单元不同的解码单元解码的动画图像不是最低的解像度时，所述编码输入单元从所述图像存储单元中取得解像度比该不同的解码单元解码的所述动画图像的解像度低的动画图像。
在有所述缩小指示时，对当前显示的所述动画图像进行解码的解码单元对所述编码输入单元取得的所述低解像度的所述动画图像进行解码。
根据该结构，在有缩小指示时，可以向显示装置的动画图像显示区域直接显示低解像度的动画图像。
其结果，在有缩小指示时，用户可观察的显示延迟显著减轻，用户的等待时间被缓和，使包含本图像处理装置的显示终端的便利性提高。
此外，在图像存储单元中存储分割为部分区域的动画图像，所以可进行将该动画图像的帧的任意区域作为对象的缩小处理。
在第5发明的图像处理装置中，当所述显示形态变更指示，是将所述动画图像显示区域中当前显示的区域以外的指定区域按与当前显示的动画图像的解像度相同的解像度显示的显示区域变更指示时，所述解像度变换单元从与对当前显示的所述动画图像进行解码的解码单元不同的解码单元中，取得作为解码的动画图像的各帧的一部分区域、并且是与基于所述显示区域变更指示的所述指定区域对应的区域，并实施放大处理。
在有所述显示区域变更指示时，所述编码输入单元从所述图像存储单元中取得解像度与当前显示的所述动画图像的解像度相同、并且基于所述显示区域变更指示的所述指定区域的动画图像。
在有所述显示区域变更指示时，对当前显示的所述动画图像进行解码的所述解码单元对所述编码输入单元取得的所述指定区域的所述动画图像进行解码。
该图像处理装置还包括图形图像选择单元，在有所述显示区域变更指示时，在完成所述指定区域的所述动画图像的解码前，选择并输出由所述解像度变换单元实施了放大处理的所述一部分区域，在完成了所述指定区域的所述动画图像的解码后，选择并输出完成了该解码的动画图像。
根据该结构，在有显示区域变更指示(滚动指示)时，在从图像存储单元中取得与显示区域变更指示对应的动画图像至完成解码的期间，可以将图像选择单元选择的一部分区域显示到显示装置的动画图像显示区域。
即，在从图像存储单元中取得与显示区域变更指示对应的动画图像至完成解码的期间，用解像度变换单元放大的低解像度的动画图像的一部分区域进行代用。
其结果，在有显示区域变更指示时，用户可观察的显示延迟显著减轻，用户的等待时间被缓和，使包含本图像处理装置的显示终端的便利性提高。
此外，在图像存储单元中存储分割为部分区域的动画图像，所以可进行以该动画图像的帧的任意区域为对象的显示区域变更处理(滚动)。
在第6发明的图像处理装置中，该图像处理装置还包括：部分区域选择单元，在指示将所述图像存储单元中存储的动画图像的各帧的任意区域显示在动画图像显示区域上，对包含该任意区域的最小数目的所述部分区域解码所需要的处理量超过解码单元的处理能力时，从该最小数目的部分区域中，选择所述部分区域，使得所选择的所述部分区域在所述动画图像显示区域显示的面积最大，解码上需要的处理量在解码单元的处理能力范围内，并且所选择的所述部分区域的数目在满足所述处理能力范围要求的情况下为最大；图像选择单元，从已解码的所述部分区域选择单元选择的已解码的所述部分区域中，取得在所述动画图像显示区域上显示的部分，将该取得部分和通过所述解像度变换单元变换了解像度的动画图像进行合成并输出。
所述解像度变换单元还从与对所述部分区域选择单元选择的所述部分区域进行解码的解码单元不同的解码单元解码的动画图像中，取得包含在所述部分区域选择单元未选择的所述部分区域中的与所述任意区域对应的部分，并变换成与所述部分区域选择单元选择的所述部分区域的解像度相同的解像度，所述编码输入单元从所述图像存储单元取得所述部分区域选择单元选择的所述部分区域。
所述两个解码单元中的一个解码单元对所述部分区域选择单元选择的、并且是所述编码输入单元取得的所述部分区域进行解码。
根据该结构，在要将图像存储单元中存储的动画图像的各帧的任意区域显示在动画图像显示区域中时，即使包含该任意区域的最小数目的部分区域的解码上所需的处理量超过解码单元的处理能力时，通过使用另一个解码单元解码的动画图像，在解码单元的处理能力范围内，实质上可显示该任意区域的动画图像。
这意味着即使在任意变化动画图像中要显示的区域时，在解码单元的处理能力范围内，实质上可显示要显示的任意区域的动画图像。因此，可进行以注目点为中心的范围的显示。
在第7发明的图像处理装置中，所述显示形态变更指示对所述动画图像显示区域的像素进行指定，以该指定的像素为中心，执行依据所述显示形态变更指示的动画图像形态的变更。
通过该结构，在对显示装置的动画图像显示区域中显示的动画图像的形态进行变更(例如，放大、缩小、滚动等)时，用户容易以直观进行操作。
在第8发明的图像处理装置中，所述两个解码单元作为单一的解码处理单元来构成，分时执行不同解像度的动画图像的解码。
通过该结构，可降低消耗电力和抑制封装面积。
第9发明的解码装置从存储以多个不同的解像度形成的同一内容的动画图像的图像存储单元中，通过传输路径取得所述动画图像，并显示解码的动画图像。
该解码装置包括：编码输入单元，从所述图像存储单元中取得所述动画图像；两个解码单元，对所述编码输入单元从所述图像存储单元取得的所述动画图像进行解码；以及显示单元，显示所述两个解码单元解码的动画图像。
而且，两个解码单元中的一个解码单元对所述显示单元上显示的动画图像进行解码；两个解码单元中的另一个解码单元对解像度比所述显示单元上显示的动画图像的解像度低的动画图像进行解码；该解码装置还包括解像度变换单元，按照变更所述显示单元上当前显示的动画图像形态的显示形态变更指示，从另一个解码单元解码的解像度低的动画图像的各帧中，取得并放大一部分区域。
在以多个不同解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割成多个部分区域，对每个该部分区域，实施编码并形成比特流。
根据该结构，对于规定的解像度的动画图像，将各帧分割为多个部分区域，所以编码输入单元可以取得动画图像的帧中包含的必要数目的部分区域，而不是取得全体帧。
因此，对于比显示单元的动画图像显示区域大的高解像度的动画图像，在将各帧的一部分显示在动画图像显示区域上时，可以不取得不要显示的部分区域。
其结果，与从传输路径取得全体帧的情况相比，可以有效地利用传输路径的传输频带。
此外，对于规定解像度的动画图像，将各帧分割为多个部分区域，所以可从一个帧中取得必要数目的部分区域。
因此，与取得全体帧并进行解码的情况相比，可以减轻取得的动画图像的信息量和解码处理量。
其结果，可实现设备的存储器节省、低成本和低消耗电力。
而且，对于规定的解像度的动画图像，将各帧分割成多个部分区域，所以编码输入单元可从一个帧中取得必要数目的部分区域。这种情况下，具有一般能力的解码单元可从一个帧中取得可解码的数目的部分区域。
于是，可以使用一般的解码单元，而不必使用具有特别能力的解码单元。其结果，可以抑制解码单元的开发费用及制造成本。
而且，对于规定的解像度的动画图像，将各帧分割成多个部分区域，所以编码输入单元可在该动画图像的帧中取得包含要显示在显示单元上的任意区域的部分区域。
即，编码输入单元可从构成动画图像的帧的部分区域中取得任意选择的部分区域，所以可以将动画图像的帧中的任意区域显示在显示单元上。
其结果，如果将高解像度的动画图像和低解像度的动画图像分割为部分区域并进行编码，则可进行以这些动画图像中的任意区域为对象的显示形态的变更(例如，放大、缩小、滚动等)。
在第10发明的解码装置中，该解码装置还包括：部分区域选择单元，在指示将所述图像存储单元中存储的动画图像的各帧的任意区域显示在动画图像显示区域上，对包含该任意区域的最小数目的所述部分区域解码所需要的处理量超过解码单元的处理能力时，从该最小数目的部分区域中，选择所述部分区域，使得所选择的所述部分区域在所述动画图像显示区域显示的面积最大，解码所选择的所述部分区域需要的处理量在解码单元的处理能力范围内，并且所选择的所述部分区域的数目在满足所述处理能力访问要求的情况下为最大；解像度变换单元从与对所述部分区域选择单元选择的所述部分区域进行解码的解码单元不同的解码单元解码的动画图像中，取得包含在所述部分区域选择单元未选择的所述部分区域中的与所述任意区域对应的部分，并变换成与所述部分区域选择单元选择的所述部分区域的解像度相同的解像度；以及图像选择单元，从已解码的所述部分区域选择单元选择的已解码的所述部分区域中，取得在所述显示单元上显示的部分，将该取得部分和通过所述解像度变换单元变换了解像度的动画图像进行合成并输出。
所述编码输入单元从所述图像存储单元取得所述部分区域选择单元选择的所述部分区域。
所述两个解码单元中的一个解码单元对所述部分区域选择单元选择的、并且是所述编码输入单元取得的所述部分区域进行解码。
根据该结构，在要将图像存储单元中存储的动画图像的各帧的任意区域显示在显示单元上时，即使在包含该任意区域的最小数目的部分区域的解码所需的处理量超过解码单元的处理能力时，通过使用另一个解码单元解码的动画图像，在解码单元的处理能力范围内，实质上可进行该任意区域的动画图像的显示。
这意味着即使在任意变化动画图像中的要显示的区域时，在解码单元的处理能力范围内，实质上可进行要显示的任意区域的动画图像的显示。因此，可进行以注目点为中心的范围的显示。
本发明还提供一种图像处理系统，包括解码装置和编码装置，所述解码装置从存储以多个不同的解像度形成的同一内容的动画图像的图像存储单元中，通过传输路径取得所述动画图像，并显示解码的动画图像，其特征在于，该解码装置包括：编码输入单元，从所述图像存储单元中取得所述动画图像；解码单元，对所述编码输入单元从所述图像存储单元取得的所述动画图像进行解码；显示单元，显示所述解码单元解码的动画图像；所述解码单元设置第1解码单元和第2解码单元；所述第1解码单元对所述显示单元上显示的动画图像进行解码；所述第2解码单元对解像度比所述显示单元上显示的动画图像的解像度低的动画图像进行解码；该解码装置还包括解像度变换单元，按照变更所述显示单元上当前显示的动画图像形态的显示形态变更指示，从所述第2解码单元解码的解像度低的动画图像的各帧中，取得并放大一部分区域，以及在以多个不同解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割成多个部分区域，对每个该部分区域，实施编码并形成比特流，所述编码装置，包括：分割单元，对输入的动画图像的各帧分割成多个部分区域；编码处理单元，对输入的多个解像度不同的动画图像实施编码处理；以及所述编码处理单元对于由所述分割单元分割的动画图像，对每个所述部分区域实施编码处理，对每个所述部分区域形成比特流。
本发明还提供一种图像处理方法，该方法包括以下步骤：选择并取得以多个不同解像度形成的同一内容的已编码的动画图像；以及对取得的所述动画图像进行解码；在以多个不同解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割为多个部分区域，对每个该部分区域实施编码并形成比特流，其特征在于，还包括按照变更动画图像显示区域上当前显示的动画图像形态的显示形态变更指示，从进行解码的所述步骤中解码的多个不同解像度的动画图像中解像度低的动画图像的各帧中，取得并放大一部分区域的步骤；进行解码的所述步骤包括：对所述动画图像显示区域上显示的动画图像进行解码的步骤；以及对解像度比所述动画图像显示区域上显示的动画图像的解像度低的动画图像进行解码的步骤。
附图说明
图1是本发明实施例1的图像处理系统的方框图。
图2是该图像处理系统的例示图。
图3(a)是该图像处理系统中的解像度(a)的动画图像的分割例示图。
图3(b)是该图像处理系统中的解像度(b)的动画图像的分割例示图。
图3(c)是该图像处理系统中的解像度(c)的动画图像的分割例示图。
图4是该图像处理系统中的图像关联信息的例示图。
图5是该图像处理系统中的图像管理数据的数据构造的例示图。
图6是该图像处理系统的图像处理单元的方框图。
图7(a)是该图像处理系统中的图像处理单元的处理例示图。
图7(b)是该图像处理系统中的图像处理单元的处理例示图。
图7(c)是该图像处理系统中的图像处理单元的处理例示图。
图7(d)是该图像处理系统中的图像处理单元的处理例示图。
图7(e)是该图像处理系统中的图像处理单元的处理例示图。
图7(f)是该图像处理系统中的图像处理单元的处理例示图。
图7(g)是该图像处理系统中的图像处理单元的处理例示图。
图7(h)是该图像处理系统中的图像处理单元的处理例示图。
图8是本发明实施例2中的图像处理单元的方框图。
图9是该图像处理单元的处理说明图。
图10(a)是本发明实施例3中的图像处理系统的解像度(a)的动画图像的例示图。
图10(b)是本发明实施例3中的图像处理系统的解像度(b)的动画图像的分割例示图。
图10(c)是本发明实施例3中的图像处理系统的解像度(c)的动画图像的例示图。
图11是该图像处理系统中的图像关联信息的例示图。
图12是该图像处理系统的图像处理单元的解码处理量的说明图。
具体实施方式
以下，参照附图来说明本发明的实施例。
(实施例1)
图1是本发明实施例1的图像处理系统的方框图。如图1所示，该图像处理系统包括编码装置1和解码装置3，编码装置1和解码装置3通过传输路径2来连接。
编码装置1包括分割单元11、编码处理单元12、以及图像存储单元13。
解码装置3包括图像处理单元30、显示单元31、以及输入单元32。
分割单元11将输入的动画图像的各帧分割成多个部分区域。对于输入的多个不同解像度的动画图像进行这样的部分区域的分割。
这里，在本实施例的说明中，将该‘部分区域’称为‘贴图’，列举该贴图为矩形区域的例子。在后述的其他实施例2、3中也是同样。
编码处理单元12对从分割单元11输入的多个不同解像度的动画图像数据实施编码处理。
这种情况下，编码处理单元12对各解像度的动画图像数据按每个贴图实施编码处理，形成每个贴图的比特流。
再有，在本实施例的说明中，图1的编码处理单元12的动画图像的编码方式为ISO/IEC14496，即符合MPEG-4规格。对于后述的其他实施例2、3也是同样。
详细地说，编码处理单元12根据ISO/IEC14496-2显示部分的Simple@L1自然显示协议子集(以下称为‘Simple@L1′)规定的编码规格，对各个贴图进行编码。
图像存储单元13存储编码处理单元12生成的比特流、即由编码处理单元12编码的多个解像度的动画图像数据。
例如，图像存储单元13是计算机装置，由硬盘、存储器、与传输路径2的接口电路、微处理器等构成(未图示)。
而且，图像存储单元13响应来自图像处理单元30的请求，将存储的与动画图像数据有关的信息(以下称为‘图像关联信息’)、以及存储的动画图像数据经由传输路径2向图像处理单元30送出。
传输路径2包含连接图像存储单元13和图像处理单元30的网络装置。
图像处理单元30输入已编码的动画图像数据，进行解码处理，实施必要的图像处理，输出显示数据。有关图像处理单元30的细节将后述。
输入单元32是直接接收来自终端用户指示的接口装置。
显示单元31显示由图像处理单元30生成的显示数据。
而且，图像处理单元30例如可以安装在携带终端上。在本实施例中，列举将图像处理单元30安装在携带电话上的例子。对于后述的其他实施例2、3也同样。
图2是图1的图像处理系统的例示图。如图2所示，作为图1的图像处理系统的一例，编码装置1由服务器来构成，解码装置3由携带电话构成。
传输路径2包含网络20和无线基站21。于是，在将解码装置3由携带电话构成的例子中，传输路径2由携带电话的无线通信网构成。
在本实施例中，在携带电话3中，显示单元31相当于液晶显示器。
这种情况下，液晶显示器31的可显示像素数为横128像素、纵160像素，其中，动画图像的显示区域(动画图像显示区域)形成横128像素、纵96像素的范围。对于后述的其他实施例2、3也是同样。
此外，在本实施例中，在携带电话3中，输入单元32相当于多个健(包含软键、数字键、以及游标键)。对于后述的其他实施例2、3也是同样。
在本实施例中，终端用户的可指示的种类有：在显示的动画图像上向上下左右移动游标的‘游标移动’(使用上下左右的游标键)、将游标位置的动画图像向画面的中央或中央附近移动并进行再显示的‘滚动’(使用确定键)、显示的动画图像的一级‘放大’(使用软键‘1’)、显示的动画图像的一级‘缩小’(使用软键‘2’)。对于后述的其他实施例2、3也是同样。
下面，列举具体例来说明图1的编码装置1的细节。
图3是图1的分割单元11的分割例示图。图3(a)是将解像度最低的(解像度(a))的动画图像进行贴图分割的例子，图3(b)是将中间解像度的(解像度(b))的动画图像进行贴图分割的例子，图3(c)是将解像度最高的(解像度(c))的动画图像进行贴图分割的例子。
在图3中，使用内容和宽高比相同、解像度不同的三个动画图像。
如图3(a)所示，解像度(a)的一个帧由横128像素(W1a)，纵96像素(H1a)构成。
在该解像度(a)的动画图像中，一个帧由分割单元11分割成四个贴图。即，各贴图由横64像素(Wta)，纵48像素(Hta)构成。
将各帧被分割成四个贴图的解像度(a)的动画图像通过编码处理单元12按每个贴图进行编码。因此，四个贴图由四个编码的比特流构成。
如图3(b)所示，解像度(b)的动画图像的一个帧由横256像素(W1b)，纵192像素(H1b)构成。
在该解像度(b)的动画图像中，将一个帧通过分割单元11分割成16个贴图。即，各贴图由横64像素(Wtb)，纵48像素(Htb)构成。
将各帧被分割成16个贴图的解像度(b)的动画图像通过编码处理单元12按每个贴图进行编码。因此，16个贴图由16个编码的比特流构成。
如图3(c)所示，解像度(c)的动画图像的一个帧由横512像素(W1c)，纵384像素(H1c)构成。
在该解像度(c)的动画图像中，将一个帧通过分割单元11分割成64个贴图。即，各贴图由横64像素(Wtc)，纵48像素(Htc)构成。
将各帧被分割成64个贴图的解像度(c)的动画图像通过编码处理单元12按每个贴图进行编码。因此，64个贴图由16个编码的比特流构成。
从图3可知，解像度(b)为解像度(a)的2倍，解像度(c)为解像度(a)的4倍。此外，在图3中，在所有的解像度中贴图的尺寸固定。
上述的有关各解像度的动画图像的信息是上述图像关联信息。
图4是图1的图像存储单元13生成的图像关联信息的例示图。图4所示的图像关联信息是对图3所示的解像度(a)～(c)的动画图像形成的信息。
在图4中，对于解像度(a)的图像，宽度W1＝W1a，高度H1＝H1a，贴图宽度Wt＝Wta，贴图高度Ht＝Hta。
在图4中，对于解像度(b)的图像，宽度W1＝W1b，高度H1＝H1b，贴图宽度Wt＝Wtb，贴图高度Ht＝Htb。
在图4中，对于解像度(c)的图像，宽度W1＝W1c，高度H1＝H1c，贴图宽度Wt＝Wtc，贴图高度Ht＝Htc。
图像存储单元13根据用于管理存储的动画图像数据(比特流)的数据(以下称为‘图像管理数据’)，形成图像关联信息。下面详细说明该图像管理数据。
图5是图1的图像存储单元13使用的图像管理数据的数据构造的说明图。
在图5中，表示与图3的解像度(a)～(c)的动画图像数据对应的图像管理数据。因此，图4的图像关联信息是基于图5的图像管理数据形成的信息。
如图5所示，图像管理数据由首标部、等级数据部、以及比特流指针部这三个部分构成。在各部中分别定义几个项目和值的组。
首标部是图像管理数据的数据构造的起点块。具体地说，首标部由表示动画图像中准备了几个解像度等级的‘解像度等级数’、以及与‘解像度等级数’的值相等数目的‘对等级数据部的指针’这两种项目构成。
在图5中，为了使说明简单，仅记述解像度(a)的等级数据部，但实际上还存在解像度(b)和解像度(c)的等级数据部。
等级数据部具有保持各解像度等级的详细数据的数据构造。具体地说，该等级数据部由表示对应的解像度等级的‘解像度等级’、表示解像度等级间的解像度比率的‘比率’、表示将该解像度等级的动画图像是否被分割成几个贴图的‘贴图分割数(横)’·‘贴图分割数(纵)’、表示该解像度等级的动画图像的水平方向的像素数的‘宽度W1’、表示该解像度等级的动画图像的垂直方向的像素数的‘高度H1’、表示各贴图的水平方向的像素数的‘贴图宽度Wt’、表示各贴图的垂直方向的像素数的‘贴图高度Ht’、以及容纳对比特流指针部的指针的‘BS指针部’等项目构成。
比特流指针部是在每个贴图中容纳对比特流的指针的数组状的数据构造。
例如，对于解像度等级(a)，成为2×2大小的指针数组。
各比特流作为文件被存储在配有图像存储单元13的硬盘装置等(未图示)中。
这里，用[i，j]表示动画图像上的各贴图位置。这种情况下，‘i’表示贴图的水平方向位置，‘j’表示贴图的垂直方向位置。在动画图像上，设左上角的水平位置为i＝0，从其向右为1、2、...。此外，在动画图像上，设左上角的垂直位置为j＝0，从其向下为1、2、...。
例如，如图3(a)所示，在将动画图像分割成四个贴图，各个贴图以不同的四个比特流进行编码时，左上的贴图位置表示为[0，0]，左下的贴图位置表示为[0，1]，右上的贴图位置表示为[1，0]，右下的贴图位置表示为[1，1]。
比特流指针部的指针数组也具有与贴图位置对应的结构，通过添加字符[i，j]，可以对期望的比特流进行存取。
下面，以图4和图5为例，说明图像存储单元13形成图像关联信息的步骤。
首先，图1的图像处理单元30在动画图像显示前，对图像存储单元13请求发送图4所示的图像关联信息(图像关联信息的发送请求)。
接收该发送请求后，图像存储单元13由图5所示的图像管理数据来构筑图4形式的图像关联信息，并发送到图像处理单元30。
然后，图像处理单元30根据接收的图像关联信息，来指定要显示的动画图像的解像度等级和贴图位置。
接着，图像处理单元30对图像存储单元13请求发送与指定的解像度等级和贴图位置对应的比特流(动画图像数据的发送请求)。
例如，图像处理单元30对图像存储单元13请求发送解像度等级(a)且位置[0，0]的贴图的比特流。
接收该发送请求后，图像存储单元13参照图5的图像管理数据，使用对比特流的指针，对解像度等级(a)的[0，0]比特流进行存取，将[0，0]比特流发送到图像处理单元30。
然后，图像处理单元30对接收的[0，0]比特流进行解码，并写入到与帧存储器(未图示)内的[0，0]位置对应的位置。这一点将后述。
写入到该帧存储器的动画图像数据(解码后的比特流)在显示单元31中被显示在与[0，0]位置对应的显示位置。
下面，用图1和图6来说明图1的图像处理单元30的细节。
图6是图1的图像处理单元30的方框图。如图6所示，该图像处理单元30包括编码输入单元300、解码单元301、解码单元302、解像度变换单元303、图像选择单元304、显示图像输出单元305、指示信息输入单元306、以及控制单元307。
以下，用图6和图1来说明各结构。
编码输入单元300是管理与传输路径2的接口的块，由天线、RF(RadioFrequency)处理器、基带处理器、用于缓冲的存储器等构成(未图示)。
编码输入单元300根据来自控制单元307的控制信号，对图像存储单元13请求发送有关动画图像的存储状态的各种信息(图像关联信息的发送请求)、即图像关联信息(参照图4)。
按照该发送请求，图像存储单元13形成基于图像管理数据(参照图5)的图像关联信息，通过传输路径2发送到编码输入单元300。
然后，编码输入单元300将图像存储单元13发送的图像关联信息输出到控制单元307。
编码输入单元300根据来自控制单元307的控制信号，经由传输路径2，对图像存储单元13请求发送动画图像数据(动画图像数据的发送请求)。
按照该发送请求，图像存储单元13通过传输路径2，将动画图像数据发送到编码输入单元300。
然后，编码输入单元300逐次输入图像存储单元13发送的动画图像数据，并暂时保持，以便转交给解码单元301、302。
解码单元301和解码单元302都具有与MPEG-4的Simple@L1协议子集对应的动画图像数据的解码功能及性能。
即，解码单元301可以执行每秒达1485个块的解码处理，此外，如果在该处理性能的范围内，则具有可对多个比特流并行进行解码的多解码功能。
同样，解码单元302可以执行每秒达1485个块的解码处理，此外，如果在该处理性能的范围内，则具有可对多个比特流并行进行解码的多解码功能。
具体地说，将解码单元301和解码单元302作为每秒最大可进行2970个宏块的解码处理的单一DSP(Digital Signal Processor；数字信号处理器)来安装。
然后，该单一的DSP通过分时并行处理，如同配有两个解码单元那样动作。
解码单元301对编码输入单元300输出的动画图像数据进行解码，将解码后的动画图像数据输出到图像选择单元304和解像度变换单元303或图象选择单元304。
同样，解码单元302对编码输入单元300输出的动画图像数据进行解码，将解码后的动画图像数据输出到图像选择单元304和解像度变换单元303或图像选择单元304。
其中，解码单元301和解码单元302对相互不同解像度的动画图像数据进行解码。这一点将后述。
解像度变换单元303切出由解码单元301或解码单元302的其中一个进行了解码的动画图像的各帧的一部分区域。
然后，解像度变换单元303对切出的一部分区域进行放大处理，输出到图像选择单元304。
例如，解像度变换单元303从解码单元301解码后的图3(a)的解像度(a)的动画图像中，切出与[1，0](右上)的贴图相当的横64像素×纵48像素的区域。
然后，解像度变换单元303将切出的横64像素×纵48像素的区域纵横分别放大2倍，形成横128像素×纵96像素的区域并输出。
再有，在解像度变换单元303的放大算法中，假设使用单纯的像素重复的算法。
图像选择单元304从解码单元301、解码单元302、以及解像度变换单元303输出的动画图像数据中选择一个动画图像数据，输出到显示图像输出单元305。
这种情况下，图像选择单元304根据后述的算法，由控制单元307来控制按哪个定时选择输出哪个输入动画图像数据的细节。
显示图像输出单元305存储图像选择单元304输出的动画图像数据，作为显示数据输出到显示单元31。具体地说是如下那样。
显示图像输出单元305具有两个与显示单元31的画面一对一对应的帧存储器(未图示)，根据显示单元31的显示定时(垂直同步和水平同步定时)，向显示单元31定期地输出显示数据。
这两个帧存储器的一个帧存储器将存储的动画图像数据作为显示数据输出到显示单元31，同时另一个帧存储器写入下一个帧的动画图像数据，具有作为双缓冲器的功能。
再有，从图像选择单元304输出的动画图像数据被写入到帧存储器内的用于存储动画图像的区域中(与显示单元31的动画图像显示区域对应的区域)。在其他区域中，通过携带电话的操作系统，写入游标和携带电话的天线标记、电池标记等。
指示信息输入单元306从输入单元32接收用户指示信息，输出到控制单元307。
作为用户指示信息的第1例，有指示计算从按压了游标键的时间起的游标移动量(dx，dy)的信息(游标移动量计算指示信息)。该用户指示信息在用户按压了游标键时被输出到控制单元307。
作为用户指示信息的第2例，有指示开始滚动的信息(滚动指示信息)。该用户指示信息在用户按压了确定键时被输出到控制单元307。
作为用户指示信息的第3例，有指示开始进行放大处理的信息(放大指示信息)。该用户指示信息在用户按压了软键‘1’时被输出到控制单元307。
作为用户指示的第4例，有指示开始进行缩小处理的信息(缩小指示信息)。该用户指示信息在用户按压了软键‘2’时被输出到控制单元307。
再有，上述情况为用户指示信息的种类和键的关系的一例，但并不限于此。
控制单元307具有管理图像处理单元30的所有处理的功能，根据后述的算法，对图6所示的各结构，发出控制信号或命令，控制各结构的工作。
下面，用图1、图3、图6和图7，列举具体例来说明放大、缩小、滚动指示时的图像处理单元30的工作。
图7是放大、缩小、滚动指示时的图像处理单元30的动作例示图。
图7(a)是时刻T1的动作说明图，图7(b)是时刻T2的动作说明图，图7(c)是时刻T3的动作说明图，图7(d)是时刻T4的动作说明图，图7(e)是时刻T5的动作说明图，图7(f)是时刻T6的动作说明图，图7(g)是时刻T7的动作说明图，图7(h)是时刻T8的动作说明图。
即，图7(a)～图7(h)是表示在连续的时刻T1～T8中解码单元301、解码单元302、以及解像度变换单元303执行的处理内容和此时显示在显示单元31上的动画图像的图。
在图7(a)～图7(h)中，‘解码单元301’一栏表示解码单元301在对哪个解像度(a)～(c)的哪个位置的贴图进行解码。
在图7(a)～图7(h)中，‘解码单元302’一栏表示解码单元302在对哪个解像度(a)～(c)的哪个位置的贴图进行解码。
在‘解码单元301’一栏和‘解码单元302’一栏中，贴图位置的表示方法与上述相同。
在图7(a)～图7(h)中，‘解像度变换单元’一栏表示解像度变换单元303在解码单元301或解码单元302中，切出哪些解码单元解码的动画图像的帧的哪个像素位置并放大到多少倍。
再有，在图7中，列举了解像度变换单元303从解码后的动画图像中切出矩形区域的例子。
此外，在‘解像度变换单元’一栏中，像素位置的表记如下。
以水平方向为x轴，以垂直方向为y轴，设成为解像度变换单元303切出的对象的动画图像的帧的最左上位置的像素位置为(x，y)＝(0，0)。
这种情况下，设定向右方向x坐标增大、并且向下方向y坐标增大的坐标系。
因而，在‘解像度变换单元’一栏中，表示解像度变换单元303切出的矩形区域的左上顶点和右下顶点的坐标。
此外，在图7的例中，限定解像度变换单元303将切出的矩形区域保持原来的宽高比来进行放大。
即，对于切出的矩形区域，x方向和y方向同时采用记述在‘解像度变换单元’一栏中的放大倍率。
在图7(a)～图7(h)中，‘动画图像显示’一栏记述在各时刻T1～T8时显示在显示单元31上的动画图像。
而且，在图7中，与记述了‘*’一栏对应的单元表示在该时刻可直接显示的单元。
再有，在图7的例中，列举了图像存储单元13存储图3所示的解像度(a)～(c )的动画图像数据，图像处理单元30取得这些动画图像数据并进行解码的例子。
以下，沿图7(a)～图7(h)的顺序，说明图6所示的各结构的动作。
如图7(a)所示，预先在时刻T1时，设解像度(a)的动画图像数据是被解码单元301解码并显示在显示单元31上的动画图像数据。以下，详细说明时刻T1时的动作。
解像度比解像度(a)低的动画图像数据不存储在图像存储单元13中，所以在时刻T1时，解码单元302不进行解码处理。此外，解像度变换单元303也不工作。
因此，在时刻T1时，图像选择单元304选择唯一执行解码处理的解码单元301解码的动画图像数据。
然后，图像选择单元304将选择的动画图像数据写入到显示图像输出单元305配有的帧存储器中(未图示)。
再有，如上所述，该帧存储器在显示图像输出单元305中设置两个。
显示图像输出单元305按适当的定时对两个帧存储器进行切换，与视频时钟进行同步，将帧存储器中存储的动画图像数据作为显示数据输出到显示单元31。
于是，在时刻T1时，在显示单元31上显示动画图像。此时，如果用户指示将显示中的动画图像进行放大显示，则控制单元307从指示信息输入单元306输入该放大指示信息。
这样，紧接着在时刻T2时，控制单元307指示编码输入单元300取得四个距游标位置最近并且比显示中的解像度(a)高一级的解像度(b)的贴图。
接收了该指示的编码输入单元300对图像存储单元13请求发送这四个贴图的比特流。
接收了该发送请求的图像存储单元13将这四个贴图的比特流通过传输路径2发送到编码输入单元300。
然后，编码输入单元300将从图像存储单元13取得的解像度(b)的四个贴图的比特流依次输出到解码单元302。
这样，如图7(b)所示，解码单元302开始进行编码输入单元300输出的解像度(b)的四个贴图的比特流的解码处理。
另一方面，在时刻T2时，控制单元307在对编码输入单元300的解像度(b)的四个贴图的取得指示的同时，对解像度变换单元303指示切出由解码单元301解码的解像度(a)的动画图像的一部分区域，进行放大到与解像度(b)相同的解像度的处理。
这种情况下，作为切出对象的区域位于与新取得的解像度(b)的四个贴图对应的位置，可根据解像度(a)和解像度(b)的比率容易地求出。
即，如图7(b)所示，作为切出对象的区域是左上顶点为(32，0)、右下顶点为(95、47)的矩形区域。
解像度变换单元303切出该矩形区域，纵横分别放大两倍后，输出到图像选择单元304。
再有，有时将解像度变换单元303放大切出的矩形区域而生成的动画图像称为‘简易放大动画图像’。
图像选择单元304在解码单元302完成解像度(b)的四个贴图的比特流(解像度(b)的动画图像数据)的解码前的期间，选择解像度变换单元303输出的简易放大动画图像数据，存储到显示图像输出单元305的帧存储器。
其结果，在时刻T2时，如图7(b)所示，在显示单元31上显示解像度变换单元303生成的简易放大图像。
在时刻T3时，在解码单元302完成解像度(b)的四个贴图的比特流(解像度的动画图像数据)的解码后，按照来自控制单元307的指示，图像选择单元304选择解码单元302解码的解像度(b)的动画图像数据，输出到显示图像输出单元305。
其结果，在时刻T3时，如图7(c)所示，在显示单元31上显示解码单元302解码的解像度(b)的动画图像。
再有，在时刻T3时，解像度变换单元303结束切出和放大处理，但解码单元301对后续解像度(a)的四个贴图的比特流继续进行解码。
其中，在时刻T3时，图像选择单元304不选择解码单元301解码的解像度(a)的动画图像数据，所以在显示单元31上不显示解像度(a)的动画图像。
在时刻T3时，如果用户再次指示对显示中的动画图像进行放大显示，则控制单元307从指示信息输入单元306输入该放大指示信息。
这样，紧接着在时刻T4时，控制单元307指示编码输入单元300取得四个距游标位置最近并且比显示中的解像度(b)高一级的解像度(c)的贴图。
接收了该指示的编码输入单元300对图像存储单元13请求发送这四个贴图的比特流。
接收了该发送请求的图像存储单元13将这四个贴图的比特流通过传输路径2发送到编码输入单元300。
然后，编码输入单元300将从图像存储单元13取得的解像度(c)的四个贴图的比特流依次输出到解码单元301。
这样，如图7(d)所示，解码单元301开始进行编码输入单元300输出的解像度(b)的四个贴图的比特流的解码处理。
另一方面，在时刻T4时，控制单元307在对编码输入单元300的解像度(c)的四个贴图的取得指示的同时，对解像度变换单元303指示切出由解码单元302解码的解像度(b)的动画图像的一部分区域，进行放大到与解像度(c)相同的解像度的处理。
这种情况下，作为切出对象的区域位于与新取得的解像度(c)的四个贴图对应的位置，可根据解像度(b)和解像度(c)的比率容易地求出。
即，如图7(d)所示，作为切出对象的区域是左上顶点为(32，0)、右下顶点为(95、47)的矩形区域。
解像度变换单元303切出该矩形区域，纵横分别放大2倍，输出到图像选择单元304。
图像选择单元304在解码单元301完成解像度(c)的四个贴图的比特流(解像度(c)的动画图像数据)的解码前的期间，选择解像度变换单元303输出的简易放大动画图像数据，存储到显示图像输出单元305的帧存储器。
其结果，在时刻T4时，如图7(d)所示，在显示单元31中，显示解像度变换单元303生成的简易放大图像。
在时刻T5时，如果解码单元301完成解像度(c)的四个贴图的比特流(解像度(c)的动画图像数据)的解码，则按照来自控制单元307的指示，图像选择单元304选择解码单元301解码的解像度(c)的动画图像数据，输出到显示图像输出单元305。
其结果，在时刻T5时，如图7(c)所示，在显示单元31中，显示解码单元301解码的解像度(c)的动画图像。
再有，在时刻T5时，解像度变换单元303结束切出和放大处理，但解码单元302对后续解像度(b)的四个贴图的比特流继续进行解码。
其中，在时刻T5时，图像选择单元304不选择解码单元302解码的解像度(b)的动画图像数据，所以在显示单元31上不显示解像度(b)的动画图像。
在时刻T5时，如果用户指示对显示中的动画图像进行缩小显示，则控制单元307从指示信息输入单元306输入该缩小指示信息。
这样，在时刻T6时，控制单元307对编码输入单元300指示取得四个距游标位置最近并且比显示中的解像度(c)低两级的解像度(a)的贴图。
接收了该指示的编码输入单元300对图像存储单元13请求发送这四个贴图的比特流。
接收了该发送请求的图像存储单元13将这四个贴图的比特流通过传输路径2发送到编码输入单元300。
然后，编码输入单元300将从图像存储单元13取得的解像度(a)的四个贴图的比特流依次输出到解码单元301。
这样，如图7(f)所示，解码单元301开始进行编码输入单元300输出的解像度(a)的四个贴图的比特流的解码处理。
其中，在时刻T6时，图像选择单元304不选择解码单元301解码的解像度(a )的动画图像数据，所以在显示单元31上不显示解像度(a)的动画图像。
另一方面，在时刻T6时，控制单元307在对编码输入单元300的解像度(a)的四个贴图的取得指示的同时，对图像选择单元304变换单元303指示选择由解码单元302解码的解像度(b)的动画图像数据。
这样，图像选择单元304选择解码单元302解码的解像度(b)的动画图像数据，存储到显示图像输出单元305的帧存储器。
其结果，在时刻T6时，如图7(f)所示，在显示单元31中，显示解码单元302解码的解像度(b)的动画图像。
此时，如果用户指示将显示中的动画图像向右下滚动一个贴图进行显示，则控制单元307从指示信息输入单元306输入该滚动指示信息。
这样，紧接着在时刻T7时，控制单元307指示编码输入单元300取得四个距滚动目标位置最近并且与显示中的解像度(b)相同解像度的贴图。
接收了该指示的编码输入单元300对图像存储单元13请求发送这四个贴图的比特流。
接收了该发送请求的图像存储单元13将这四个贴图的比特流通过传输路径2发送到编码输入单元300。
然后，编码输入单元300将从图像存储单元13取得的解像度(b)的四个贴图的比特流依次输出到解码单元302。
这样，如图7(g)所示，解码单元302开始进行编码输入单元300输出的解像度(b)的四个贴图的比特流的解码处理。
另一方面，在时刻T7时，控制单元307在对编码输入单元300的解像度(c)的四个贴图的取得指示的同时，对解像度变换单元303指示切出由解码单元301解码的解像度(a)的动画图像的一部分区域，进行放大到与解像度(b)相同的解像度的处理。
这种情况下，作为切出对象的区域位于与新取得的解像度(b)的四个贴图对应的位置，可根据解像度(a)和解像度(b)的比率容易地求出。
即，如图7(g)所示，作为切出对象的区域是左上顶点为(64，24)、右下顶点为(127、71)的矩形区域。
解像度变换单元303切出该矩形，纵横分别放大2倍，输出到图像选择单元304。
图像选择单元304在解码单元302完成解像度(b)的四个贴图的比特流(解像度(b)的动画图像数据)的解码前的期间，选择解像度变换单元303输出的简易放大动画图像数据，存储到显示图像输出单元305的帧存储器。
其结果，在时刻T7时，如图7(g)所示，在显示单元31中，显示解像度变换单元303生成的简易放大图像。
在时刻T8时，如果解码单元302完成解像度(b)的四个贴图的比特流(解像度(b)的动画图像数据)的解码，则按照来自控制单元307的指示，图像选择单元304选择解码单元302解码的解像度(b)的动画图像数据，输出到显示图像输出单元305。
其结果，在时刻T8时，如图7(h)所示，在显示单元31中，显示解码单元302解码的解像度(b)的动画图像。
再有，在时刻T8时，解像度变换单元303结束切出和放大处理，但解码单元301对后续解像度(a)的四个贴图的比特流继续进行解码。
其中，在时刻T8时，图像选择单元304不选择解码单元301解码的解像度(a)的动画图像数据，所以在显示单元31上不显示解像度(a)的动画图像。
在上述图7的说明中，控制单元307对编码输入单元300输出指示，以便从图像存储单元13取得控制单元307指定的解像度和位置的四个贴图的比特流。
虽在图7的说明中进行了省略，但控制单元307在输出该指示前，从图像存储单元13取得图像关联信息，根据该图像关联信息和用户指示信息，指定四个贴图的解像度和位置，对编码输入单元300输出取得指定的四个贴图的指示。
如上所述，在图7的说明中，解码单元301、302解码的四个贴图构成的一个完整帧作为显示在显示单元31的动画图像显示区域上的区域。
而且，使显示单元31的动画图像显示区域的尺寸(横128像素×纵96像素)和解码单元301、302解码的四个贴图构成的一个帧的尺寸(四个横64像素×纵48像素的贴图)相等。
如上所述，在图7的说明中，贴图的尺寸相当于横为四个宏块、纵为三个宏块的尺寸。再有，一个宏块的尺寸是16像素×16像素。
然后，解码单元301、302对四个贴图进行解码，将四个贴图整体(1帧)显示在与四个贴图(1帧)尺寸相等的动画图像显示区域上。
而且，解码单元301的解码处理能力是Simple@L1协议子集中规定的1485(宏块/秒)。解码单元302的解码处理能力也是同样。
这里，在本实施例中，动画图像的帧速率的制约条件都设在每秒15帧(15fps(frame per second))以上。
因此，在本实施例中，是被Simple@L1协议子集覆盖的范围内的解码处理量。这一点在实施例2中很明显。
如上所述，在本实施例中，由三个不同解像度(a)～(c)形成的动画图像的各帧被分割单元11分割成多个贴图(参照图3)。
然后，编码处理单元12对每个贴图进行编码并形成比特流。
这样，将各解像度的动画图像的各帧分割为多个贴图并进行编码。
因此，编码输入单元300可以取得动画图像的帧中包含的必要数目的贴图，而不是取得全体帧。
因此，可归纳以下四点。
第1，对于比显示单元31的动画图像显示区域大的高解像度的动画图像，在将各帧的一部分显示在动画图像显示区域上时，可以不取得不要显示的贴图。
其结果，与从传输路径2取得全体帧的情况相比，可以有效地利用传输路径2的传输频带。
特别是在本实施例中，编码输入单元300从图像存储单元13存储的动画图像中取得包含在显示单元31的动画图像显示区域上显示的区域的最小数目的贴图(四个贴图)的比特流。
即，编码输入单元300从图像存储单元13取得在显示单元31的显示上所需的最低限度数目的贴图(四个贴图)。因此，可以更有效地利用传输路径2的传输频带。
再有，四个贴图成为包含在显示单元31的动画图像显示区域上显示的区域的最小数目的贴图原因在于，在本实施例中，将四个贴图组成的一个全体帧作为显示单元31的动画图像显示区域上显示的区域，而且，使显示单元31的动画图像显示区域的尺寸和四个贴图组成的一个帧的尺寸相等。
第2，与取得并解码全体帧的情况相比，可以减轻取得的动画图像的信息量和解码处理量。
其结果，可实现设备的存储器节省、低成本和低消耗电力。
特别是在本实施例中，编码输入单元300从图像存储单元13取得在显示单元31的显示上所需的最低限度数目的贴图(四个贴图)，所以可进一步减轻取得的动画图像的信息量和解码处理量。
第3，编码输入单元300在从一个帧取得必要数目的贴图时，可以从一个帧取得具有一般能力的解码单元可解码的数目的贴图。
这样，不必使用具有特别能力的解码单元，可使用一般的解码单元。其结果，可以抑制解码单元的开发费和制造成本。
特别是在本实施例中，编码输入单元300从图像存储单元13取得显示单元31的显示上所需的最低限度数目的贴图(四个贴图)，所以如上所述，作为解码单元301、302，例如可以使用与MPEG-4的Simple@L1协议子集对应的解码器LSI(large scale integrated circuit)。
与MPEG-4的Simple@L1协议子集对应的解码器LSI是广泛普及的解码器，与使用可空间定标功能的专用解码器的情况相比，可以用少的开发费和批量生产成本来制造具有本实施例说明的功能的终端装置。
第4，编码输入单元300在各解像度的动画图像的帧中可以取得包含要显示在显示单元31上的任意区域的贴图。
即，编码输入单元300从构成各解像度的动画图像的帧的贴图中，可以取得任意选择的贴图，所以可以将各解像度的动画图像的帧中的任意区域显示在显示单元31上。
例如，从图3(c)所示的解像度(c)的任何位置中，也可以取得四个贴图来显示。
其结果，可进行以各解像度的动画图像的任意区域为对象的显示形态的变更(例如，放大、缩小、滚动等)(参照图7)。
而且，在本实施例中，对于各帧比显示单元31的动画图像显示区域(四个贴图的大小)大的解像度(b)、(c)的动画图像，分割单元11将该动画图像的各帧分割成多个贴图(参照图3(b)、(c))。
由于高解像度的动画图像的信息量大，所以解码端的处理负担增大，也需要更多传输路径的频带，分割的必要性很大。
因此，如果通过对信息量大的动画图像进行分割，编码输入单元300可以取得必要数目的贴图，则在图像处理单元30中可以减轻处理量，同时作为解码单元301、302可以使用普通的解码单元，并且可以有效使用传输频带。
此外，在本实施例中，对于尺寸与显示单元31的动画图像显示区域相等的解像度(a)的动画图像，也由分割单元11实施分割(参照图3(a))。
但是，不一定进行该分割，对于尺寸与显示单元31的动画图像显示区域相等的解像度(a)的动画图像，也可以直接进行编码而不由分割单元11进行分割。
即，尺寸不超过显示单元31的动画图像显示区域的解像度(a)的动画图像也可以不由分割单元11进行分割，而由编码处理单元12进行编码处理。
由此，对于解像度(a)的动画图像，没有分割单元11的分割处理的开销，可减轻处理负荷，同时MPEG-4的移动搜索范围扩大，可以改善图像质量和压缩率。
此外，分割单元11还可以将输入的动画图像的各帧分割成显示单元31的动画图像显示区域大小的贴图。
例如，在本实施例中，动画图像显示区域为横128像素×96像素，所以也可以使一个贴图的尺寸为横128像素×96像素。
这样的话，在图像处理单元30中，只要准备两个可以对单一的比特流进行解码的解码单元就足够了，而不需要准备具有多解码功能的解码单元301、302。
在本实施例中，分割单元11将动画图像的各帧分割成比显示单元31的动画图像显示区域小的贴图。
因此，使用具有多解码功能的解码单元301、302。但是，通过这样的分割，可以细致地指定显示在显示单元31上的动画图像的区域。
例如，在图3(c)的动画图像中，在将纵和横的分割数从‘8’变为‘16’时，贴图也变细，编码输入单元300可以更细地指定要取得的贴图位置。
此外，在本实施例中，分割单元11将各解像度的动画图像的各帧分割成显示单元31的动画图像显示区域尺寸的整数分之一的尺寸的贴图。
例如，在图3的解像度(a)的动画图像中，一个贴图的尺寸为横64像素×纵48像素，动画图像显示区域的尺寸为横128像素×纵96像素，所以该动画图像被分割成动画图像显示区域尺寸的二分之一尺寸的贴图。
由此，图像处理单元30可以简化从图像存储单元13中取得处理贴图时的算法。
此外，分割单元11可以将最小解像度的动画图像以外的解像度的动画图像的各帧分割成最小解像度的动画图像的帧尺寸的贴图。
这种情况下，图像处理单元30可以简化从图像存储单元13中取得处理贴图时的算法。
此外，在本实施例中，分割单元11将动画图像的各帧分割成固定尺寸(横64像素×纵48像素)的贴图。因此，可以简化分割单元11的分割处理的算法。
再有，在本实施例中，在所有的解像度(a)～(c)中，使贴图的尺寸固定，但也可以按每个解像度分割成不同尺寸的贴图。
此外，分割单元11的分割数不限定于图4的例子，可以任意地设定。
此外，在本实施例中，列举了解像度的等级为三个的情况，但并不限定于此，可以设定任意数的解像度等级。
而且，在本实施例中，设置两个解码单元301、302，将解像度比显示单元31上显示的动画图像低的动画图像的解码与显示单元31上显示的动画图像的解码并行执行。
例如，在图7(c)中，解码单元302对显示单元31上显示的动画图像(解像度(b))进行解码，解码单元301对解像度比显示单元31上显示的动画图像(解像度(b))低一级的动画图像(解像度(a))进行解码。
因此，在有显示形态变更指示(放大指示或滚动指示)时，在从图像存储单元13取得与显示形态变更指示(放大指示或滚动指示)对应的动画图像至结束解码的期间，解像度变换单元303可以对显示单元31显示放大的解像度低的动画图像的一部分区域(简易放大动画图像)。
即，在从图像存储单元13取得与显示形态变更指示(放大指示或滚动指示)对应的动画图像至结束解码的期间，解像度变换单元303用放大的解像度低的动画图像的一部分区域(简易放大动画图像)进行代用。
此外，在有显示形态变更指示(缩小指示)时，直接从当前显示的动画图像切换到不是对当前显示的动画图像进行解码的解码单元的另一个解码单元解码的解像度低的动画图像，可以向显示单元31显示。
以上的结果是，在有显示形态变更指示(放大指示、滚动指示、缩小指示等)时，用户可观察到的显示延迟明显减轻，用户的等待时间被缓和，使便利性提高。
如果使用2001年目前可普遍使用的半导体元件来实现本发明，则在用户的放大指示后，可在1～2帧以内显示简易放大动画图像。
在取得和解码新的动画图像数据并结束显示前，需要几十帧，时间上为1秒～几秒。
因此，假设在不取得本实施例的结构，仅设置一个解码单元，来执行与显示形态变更指示(放大指示、滚动指示、缩小指示等)对应的处理时，用户要等够该等待时间(1秒～几秒)。
再有，在本实施例中，在将解像度变换单元303生成的简易放大动画图像显示在显示单元31上时，不将成为基于生成该简易放大动画图像的动画图像称为在显示单元31上显示的动画图像。
例如，在图7(b)中，在时刻T3时，显示单元31上显示的动画图像为简易放大动画图像，所以解码单元301解码的动画图像(生成基于简易放大动画图像的动画图像)不是显示在显示单元31上的动画图像。此外，在本实施例中，在图像存储单元13中存储分割成贴图的动画图像，所以可进行以该动画图像的帧的任意区域为对象的放大处理、缩小处理及滚动处理。
而且，在本实施例中，将两个解码单元301、302作为单一的DSP来构成，分时执行不同解像度的动画图像的解码。
因此，可以降低消耗电力和抑制安装面积。
但是，仅使用一个DSP的情况不对本发明的范围进行任何限制。因此，也可以物理上使用两个LSI来构筑系统。
此外，在本实施例中，使编码处理单元12的编码方式为符合MPEG-4规格的方式。
因此，可提供适合于广泛使用的MPEG-4规格的编码装置1，可以期待经济效果。
但是，编码方式不限定于MPEG-4，也可以使用任意的协议子集和任意的编码方式。
此外，如果在每个贴图中生成独立的编码比特流，由图像处理单元30控制各比特流的显示位置，则使用哪种编码方式都可使用本发明。
此外，在本实施例中，作为安装图像处理单元30的一例，列举了携带电话。
但是，安装图像处理单元30的终端的形态不限于携带电话等携带终端。
例如，也可以安装在PC(Personal Computer；个人计算机)和PDA(Personal Digital Assistants；个人数字助理)等上。
PC情况下，主要的变更点是：编码输入单元300由以网络接口卡为中心的硬件构成，将解码单元301、302、解像度变换单元303、图像选择单元304、以及显示图像输出单元305安装在视频卡上，输入单元32为鼠标器。但是，在功能上不脱离本发明的范围。
(实施例2)
本发明实施例2的图像处理系统的整体结构与图1的图像处理系统相同。因此，在实施例2的说明中，使用图1。
此外，在实施例2的说明中，如图2所示，也列举将图1的图像处理单元30安装在携带电话上的例子。
因此，在实施例2中，也与实施例1同样，列举显示单元31为液晶显示器，动画图像显示区域为128像素×96像素范围的例子。
此外，列举在图1的图像存储单元13中存储图3所示的解像度(a)～(c)的动画图像的例子。
此外，动画图像的帧速率的制约条件设为15fps以上。解码单元301的解码处理能力为Simple@L1协议子集规定的1485(宏块/秒)。解码单元302的解码处理能力也相同。
以下，省略与实施例1相同部分的说明，以与实施例1不同的部分为中心来进行说明。
在实施例1中，将解码单元301、302解码的四个贴图构成的一个全体帧显示在显示单元31的动画图像显示区域上。
即，在实施例1中，解码单元301、302解码的四个贴图构成的一个帧和显示单元31的动画图像显示区域上显示的区域一致。
而且，在实施例1中，将解码单元301、302解码的四个贴图构成的一个全体帧作为显示在显示单元31的动画图像显示区域上的区域。
而且，使显示单元31的动画图像显示区域的尺寸和解码单元301、302解码的四个贴图构成的一个帧的尺寸相等。
在实施例2中，将这样的条件称为‘显示条件’。为了该显示条件，在实施例1中，动画图像数据必须占有四个贴图，所以要保障解码上需要的处理量收敛在Simple@L1协议子集的范围内。下面详细说明这一点。
一个贴图由4(横)×3(纵)＝12个宏块构成。因此，四个贴图由12(宏块/贴图)×4(贴图)＝48个宏块构成。
而且，一个帧由四个贴图构成，所以在一个帧中包含48个宏块。
另一方面，Simple@L1协议子集规定的解码处理能力为1485(宏块/秒)。
因此，按照该解码处理能力，每单位时间可处理的帧数为1485(宏块/秒)/48(宏块/帧)。
即，按照该解码处理能力，每单位时间可处理的帧数约为30.9个(30.9fps)。
这样，在实施例1中，根据上述显示条件，可保障解码上需要的处理量收敛在Simple@L1协议子集的范围内。
但是，有时该显示条件对用户造成不便。为了消除这种情况，在实施例2中，以用户指定的任意关注点为中心，可进行放大、缩小及滚动。
下面使用图8和图9来说明这一点。
图8是本发明实施例2的图1的图像处理单元30的方框图。再有，在图8中，对与图6相同的部分附以相同的标号并相应省略说明。
如图8所示，该图像处理单元30除了图6的图像处理单元的结构以外，还包含贴图选择单元308。其工作将后述。
图9是说明图8的图像处理单元30的处理的动画图像例示图。图9所示的动画图像是与图3(c)所示的解像度(c)的动画图像相同的动画图像。
如图9所示，将解像度(c)的动画图像的区域A作为要显示在显示单元31上的区域。
然后，将区域A中包含的贴图和包含区域A一部分的贴图合并为区域B。换句话说，区域B是包含区域A的最小数目的贴图构成的区域。
于是，区域B由合计9个贴图构成。如果根据宏块数来计算9个贴图的解码上需要的处理量，则如下那样。再有，将9个贴图看作一个帧。
一个帧由4(横)×3(纵)＝12个宏块构成。因此，9个贴图由12(宏块/贴图)×9(贴图)＝108个宏块构成。
而且，一个帧由9个贴图构成，所以在一个帧中包含108个宏块。
另一方面，Simple@L1协议子集规定的解码处理能力为1485(宏块/秒)。
因此，按照该解码处理能力，每单位时间可处理的帧数为1485(宏块/秒)/108(宏块/帧)。
即，按照该解码处理能力，每单位时间可处理的帧数约为13.75个(13.75fps)。
因此，可知Simple@L1协议子集规定的解码处理能力在以15fps来处理9个贴图时能力稍稍不足。
因此，为了可进行动画图像中的任意区域的显示，也可考虑降低显示帧速率的方式，但在实施例2中采用其他的方法。
在15fps这样的制约条件下，可处理的贴图数的上限按下式求出。
【式1】
1485[宏块/秒]/(4×3)[宏块/贴图]/15[fps]＝8.25[贴图]
从(式1)可知，使用满足Simple@L1协议子集的解码单元301、302，可进行直至8个贴图的处理。
因此，在本实施例中，进行如下的处理。
由一个解码单元在9个贴图中对8个贴图进行解码。而且，不解码显示面积最小的贴图(包含图9的区域C的贴图)。
另外，从另一解码单元解码的解像度低一级的解像度(b)的动画图像中取得与区域C对应的区域，用对取得的区域进行放大后的动画图像来进行区域C显示的代用。
下面，继续以图9为例，使用图8来详细说明这一点。
这种情况下，设解码单元301对解像度(c)的动画图像进行解码，解码单元302对比解像度(c)低一级的解像度(b)的动画图像进行解码。
此外，设图9所示的动画图像的区域A为要显示在显示单元31上的区域。于是，为了显示区域A，需要9个贴图(区域B)。
如上所述，解码单元301和解码单元302的各自的解码能力为1485(宏块/秒)，所以就对9个贴图进行解码来说，不能满足15fps这样的制约条件。
即，对9个贴图进行解码的处理量超过解码单元301、302的解码处理能力。
因此，贴图选择单元308选择贴图，使得在显示单元31的动画图像显示区域上显示的面积最大，解码上需要的处理量在解码单元301的处理能力范围内，并且贴图的数目最大。具体说明如下。
关注区域B的9个贴图，设水平方向为‘行’，垂直方向为‘列’。
如果将区域B的9个贴图以显示单元31的动画图像显示区域上显示的面积大的顺序来排列，则为2行2列的贴图、2行1列的贴图、1行2列的贴图、1行1列的贴图、3行2列的贴图、3行1列的贴图、2行3列的贴图、1行3列的贴图、3行3列的贴图。
而且，如上所述，在解码单元301、302的处理能力中，最大可以处理8个贴图。
因此，满足显示单元31的动画图像显示区域上显示的面积最大、解码上需要的处理量在解码单元301的处理能力范围内、并且贴图的数目最大这样的条件的贴图是在区域B的9个贴图中除去3行3列的贴图(包含区域C的贴图)以外的8个贴图。
以上的结果是，贴图选择单元308选择除了包含区域C的贴图以外的8个贴图。
然后，贴图选择单元308对编码输入单元300产生从图像存储单元13中取得选择的8个贴图的指示。
编码输入单元300从图像存储单元13中取得贴图选择单元308选择的8个贴图，输出到解码单元301。
解码单元301对编码输入单元300输出的8个贴图进行解码，输出到图像选择单元304。
在将整个区域A显示在显示单元31上时，仅对贴图选择单元308选择的8个贴图进行解码，有不显示区域C的不足。
因此，贴图选择单元308在对编码输入单元300的8个贴图的取得指示的同时，还对解像度变换单元303指示从解码单元302解码的解像度(b)的动画图像的各帧中切出与解像度(c)的动画图像的区域C对应位置的区域，进行放大到与解像度(c)相同解像度的处理。
区域C是矩形，所以切出的区域为矩形。解像度变换单元303将该矩形区域长宽分别放大2倍，并输出到图像选择单元304。
再有，有时也将解像度变换单元303放大切出的矩形区域而生成的动画图像称为‘简易放大动画图像’。
图像选择单元304从解码单元301解码的8个贴图中仅切出显示所需的区域。
然后，图像选择单元304将切出的区域和解像度变换单元303生成的简易放大动画图像连接合并(合成)。
图像选择单元304将连接合并的动画图像数据输出到显示图像输出单元305。由此，实质上将区域A的整体显示在显示单元31上。
在图9的动画图像中，不限于将区域A作为要显示的区域的情况，即使在将要显示的区域任意地变化时，执行上述处理，在解码单元301、302的处理能力范围内，实质上可以将动画图像中的任意区域显示在显示单元31上。
由此，以关注点(游标指示的像素(关注像素))为中心的128像素×96像素的区域成为显示范围，用户容易直观地操作，可进行动画图像的放大、缩小、及滚动处理。
再有，在上述例中，如果解码单元302对解像度(c)的动画图像进行解码，解码单元301对比解像度(c)低一级的解像度(b)的动画图像进行解码，则对8个贴图进行解码的解码单元是解码单元302，解像度变换单元303根据解码单元301解码的动画图像来生成简易放大动画图像。
如上所述，在本实施例中，在要将图像存储单元13中存储的动画图像的各帧的任意区域(例如，图9的区域A)显示在显示单元31上时，在包含该任意区域的最小数目的贴图(在图9的例中，为9个贴图)的解码所需的处理量超过解码单元301、302的处理能力(在图9的例中，可处理到8个贴图)时，由解码单元301、302的一个解码单元来执行其处理能力范围内的解码(在图9的例中，对8个贴图进行解码)。
而且，作为包含任意区域的最小数目的贴图中的不进行解码的贴图(在图9的例中，为1个贴图)的代用，使用将解码单元301、302的另一个解码单元解码的低解像度的动画图像的一部分区域放大的动画图像(简易放大动画图像)。
以上的结果是，即使在任意改变动画图像中的要显示的区域时，在解码单元301、302的处理能力范围内，实质上可进行要显示的任意区域的动画图像的显示。
因此，可进行以关注点为中心的范围的显示，可进行以关注点为中心的放大、缩小或滚动。
因此，将显示单元31上显示的动画图像进行放大、缩小或滚动时，用户容易直观地操作。
此外，在本实施例中，分割单元11将解像度(b)、(c)的动画图像的各帧分割成比显示单元31的动画图像显示区域(横128像素×纵96像素)小的贴图(参照图4)。
因此，可以细致地指定显示单元31上显示的动画图像区域。
此外，具有多解码功能的解码单元301、302可以用小的能力来对付。下面详细说明这一点。
在要将图像存储单元13中存储的动画图像的各帧的任意区域显示在显示单元31的动画图像显示区域上时，包含该任意区域的最小数目的贴图的面积有时比动画图像显示区域的面积大。
这里，为了简化说明，假设对包含该任意区域的所有贴图进行解码。
这种情况下，如果贴图的面积大，则显示上不需要的部分(任意区域以外的部分)的面积当然也大，具有多解码功能的解码单元需要大的能力。
但是，如果贴图的面积小，则显示上不需要的部分(任意区域以外的部分)的面积当然也小，具有多解码功能的解码单元可以用小的能力来对付。
在本实施例中，在包含该任意区域的所有贴图的解码所需的处理量超过解码单元301、302的处理能力时，不取得并解码包含该任意区域的所有贴图，而取得并解码处理能力范围内的贴图，但即使是这种情况，在解码的贴图中也包含显示上不需要的部分。
因此，即使在这种情况下，也与上述同样，如果贴图的面积小，则显示上不需要的部分的面积当然也小，具有多解码功能的解码单元301、302可以用小的能力来对付。
此外，本实施例的图像处理系统配有实施例1的图像处理系统的所有结构，除此以外，还设置贴图选择单元308，追加了上述功能。
因此，本实施例的图像处理系统也具有实施例1的图像处理系统的功能，有可达到与实施例1同样的效果。
(实施例3)
本发明实施例3的图像处理系统的整体结构与图1的图像处理系统相同。因此，在实施例3的说明中使用图1。
此外，实施例3的图1的图像处理单元30的结构也与图6的图像处理单元的结构相同。因此，在实施例3的说明中使用图6。
此外，如图2所示，在实施例3的说明中，也列举将图1的图像处理单元30安装在携带电话上的例子。
因此，实施例3也与实施例1同样，列举显示单元31为液晶显示器，动画图像显示区域为128像素×96像素范围的例子。
此外，动画图像的帧速率的制约条件设为15fps以上。解码单元301的解码处理能力为Simple@L1协议子集规定的1485(宏块/秒)。解码单元302的解码处理能力也相同。
以下，省略与实施例1相同部分的说明，以与实施例1不同的部分为中心来进行说明。
实施例3与实施例1的不同在于分割单元11的分割方式。其他方面与实施例1相同。以下详细说明。
图10是本发明实施例3的图1的分割单元11的分割方式的说明图。
图10(a)是解像度(a)的动画图像的例示图，图10(b)是解像度(b)的动画图像的例示图，图10(c)是解像度(c)的动画图像的例示图。
在图10中，使用内容和宽高比相同、解像度不同的三个动画图像。
如图10(a)所示，解像度(a)的动画图像由横128像素(W1a)、纵96像素(H1a)构成。
该解像度(a)的动画图像不由分割单元11实施分割处理。即，解像度(a)的动画图像是横Wta＝W1a、纵Hta＝H1a的一个贴图。
一个贴图的解像度(a)的动画图像由编码处理单元12进行编码。然后，一个贴图的解像度(a)的动画图像由一个已编码的比特流构成。
如图10(b)所示，解像度(b)的动画图像由横256像素(W1b)、纵192像素(H1b)构成。
分割单元11将该解像度(b)的动画图像分割成具有两种宽度的贴图。
其结果，分割后的解像度(b)的动画图像产生宽度不同的两种贴图交替排满的构造。
具体地说，在解像度(b)的动画图像中，位于最左列的贴图具有与3个宏块(48像素)相同宽度Wtb0。
另一方面，位于第2列的贴图与实施例1和2同样，具有与4个宏块(64像素)相同的宽度Wtb1。
以下，将宽度窄的Wtb0的贴图和宽度宽的Wtb1的贴图交替排列。再有，在所有的贴图中，高度Htb相同。
于是，分割成16个贴图的解像度(b)的动画图像由编码处理单元12对每个贴图进行编码。然后，16个贴图由16个已编码的比特流构成。
如图10(c)所示，解像度(c)的动画图像由横512像素(W1c)、纵384像素(H1c)构成。
分割单元11将该解像度(c)的动画图像分割成具有两种宽度的贴图。
其结果，分割后的解像度(c)的动画图像产生宽度不同的两种贴图交替排满的构造。其中，与分割的解像度(b)的动画图像比较，贴图的顺序被调换。
具体地说，在解像度(c)的动画图像中，位于最左列的贴图具有与4个宏块(64像素)相同的宽度Wtc0。
另一方面，位于第2列的贴图具有与3个宏块(48像素)相同的宽度Wtc1。
以下，将宽度宽的Wtc0的贴图和宽度窄的Wtc1的贴图交替排列。再有，在所有的贴图中，高度Htb相同。
于是，分割成64个贴图的解像度(c)的动画图像由编码处理单元12对每个贴图进行编码。然后，64个贴图由64个已编码的比特流构成。
再有，从图10可容易地看出，解像度(b)是解像度(a)的2倍，解像度(c)是解像度(a)的4倍。
以上那样编码的解像度(a)～(c)的动画图像数据被存储在图像存储单元13中。
与实施例1同样，图像存储单元13根据管理存储的动画图像数据(比特流)的数据(图像管理数据)，来形成图像关联信息。该图像管理数据的数据构造与图5的构造相同。
图11是实施例3的图1的图像存储单元13生成的图像关联信息的例示图。
图11所示的图像关联信息是对图10所示的解像度(a)～(c)的动画图像形成的信息。
在图11中，对于解像度(a)的动画图像，宽度W1＝W1a、高度H1＝H1a、贴图的宽度Wt0＝Wt1＝Wta、贴图的高度Ht＝Hta。
在图11中，对于解像度(b)的动画图像，宽度W1＝W1b、高度H1＝H1b、贴图的宽度Wt0＝Wtb0、贴图的宽度Wt1＝Wtb1、贴图的高度Ht＝Htb。
在图11中，对于解像度(c)的动画图像，宽度W1＝W1c、高度H1＝H1c、贴图的宽度Wt0＝Wtc0、贴图的宽度Wt1＝Wtc1、贴图的高度Ht＝Htc。
将解像度(b)、(c)的动画图像以这样的分割方式进行分割，所以即使在任意地变化动画图像中的显示区域时，在Simple@L1协议子集规定的解码处理能力(1485(宏块/s))范围内，也可以满足制约条件(15fps)。下面列举具体例来说明这一点。
图12是本实施例的图像处理单元30的解码处理量的说明图。图12表示与图10(c)所示的解像度(c)的动画图像相同的动画图像，分割方式也相同。
在图12中，区域D是包含多个大贴图的区域，区域E是包含多个小贴图的区域。区域D和区域E双方都包含9个贴图。
在本实施例中，显示单元31上显示的显示区域无论是区域D的情况还是区域E的情况，在Simple@L1协议子集规定的解码处理能力(1485(宏块/s))范围内，可以满足制约条件(15fps)。下面详细地研讨这一点。
首先，计算区域D的宏块数和帧速率。
包含区域D的大贴图有6个，1个大贴图由4×3个宏块构成。
另一方面，包含区域D的小贴图有3个，1个小贴图由3×3个宏块构成。因此，区域D的宏块数如下式那样。
【式2】
(4×3×6)+(3×3×3)＝99[宏块]
而且，解码单元301、302的各自处理能力是1485(宏块/s)，所以执行区域D的解码时的帧速率如下式那样。
【式3】
1485[宏块/秒]/99[宏块/帧]＝15[fps]
接着，计算区域E的宏块数和帧速率。
包含区域E的大贴图有3个，1个大贴图由4×3个宏块构成。
另一方面，包含区域E的小贴图有6个，1个小贴图由3×3个宏块构成。因此，区域E的宏块数如下式那样。
【式4】
(4×3×3)+(3×3×6)＝90[宏块]
而且，解码单元301、302的各自处理能力是1485(宏块/s)，所以执行区域E的解码时的帧速率如下式那样。
【式5】
1485[宏块/秒]/90[宏块/帧]＝16.5[fps]
如(式3)和(式5)所示，可知都满足15fps的制约条件。
于是，在本实施例中，即使在任意变化动画图像中的显示区域时，也可以满足制约条件。
因为动画图像的各帧被交替分割成尺寸不同的贴图，所以即使在任意变化动画图像中的显示区域时，无论是哪个位置的显示区域，与分割成相同尺寸的贴图的情况相比，包含该显示区域的最小数目的贴图的信息量减小。
其结果，使帧速率下降，同时不用专门准备具有比普通的解码单元性能强的解码单元，可以将图像存储单元13中存储的动画图像的各帧的任意区域显示在显示单元31上。
即，使帧速率下降，同时不用专门准备具有比普通的解码单元性能强的解码单元，可将动画图像中的任意区域作为对象来进行放大、缩小及滚动。
因此，在显示单元31的动画图像显示区域中，能够以关注点(游标指定的像素(关注像素))为中心进行放大、缩小、或滚动。
因此，在对显示单元31上显示的动画图像进行放大、缩小或滚动时，用户容易直观地进行操作。
此外，在本实施例中，不超过显示单元31的动画图像显示区域的尺寸大的解像度(a)的动画图像不由分割单元11进行分割，而由编码处理单元12进行编码处理(参照图10(a))。
因此，对于解像度(a)的动画图像，没有分割单元11的分割处理开销，可以减轻作为整体的处理负荷。
此外，本实施例的图像处理系统配有实施例1的图像处理系统的所有结构。
因此，本实施例的图像处理系统也具有实施例1的图像处理系统的功能，也可达到与实施例1同样的效果。

Claims (16)

1.一种图像处理装置，从存储以多个不同的解像度形成的同一内容的已编码的动画图像的图像存储单元中，通过传输路径取得所述动画图像，对取得的所述动画图像进行解码，其特征在于，该图像处理装置包括：
编码输入单元，从所述图像存储单元中取得所述动画图像；
两个解码单元，对所述编码输入单元从所述图像存储单元取得的所述动画图像进行解码；
所述两个解码单元中的一个解码单元对显示在动画图像显示区域上的动画图像进行解码；
所述两个解码单元中的另一个解码单元对解像度比显示在所述动画图像显示区域上的动画图像的解像度低的动画图像进行解码；
还包括解像度变换单元，根据对所述动画图像显示区域上当前显示的动画图像的形态进行变更的显示形态变更指示，从所述另一个解码单元解码后的低解像度的动画图像的各帧中，取得并放大一部分区域；
在以多个不同的解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割为多个部分区域，对每个该部分区域实施编码来形成比特流。
2.如权利要求1所述的图像处理装置，其特征在于，所述编码输入单元从所述图像存储单元中存储的所述动画图像中取得包含动画图像显示区域中的显示区域的最小数目的所述部分区域的比特流。
3.如权利要求1所述的图像处理装置，其特征在于，还包括图像选择单元，
当所述显示状态变更指示，是将所述动画图像显示区域中当前显示的动画图像进行放大的放大指示时，所述解像度变换单元从对当前显示的所述动画图像进行解码的解码单元中，取得解码后的动画图像的各帧的一部分区域，实施放大处理；
在有所述放大指示时，所述编码输入单元从所述图像存储单元中取得解像度比当前显示的所述动画图像的解像度高的动画图像；
在有所述放大指示时，与对当前显示的所述动画图像进行解码的解码单元不同的另一个解码单元来对所述编码输入单元取得的所述高解像度的所述动画图像进行解码；
在有所述放大指示时，在所述高解像度的所述动画图像的解码完成前，选择并输出所述解像度变换单元实施了放大处理的所述一部分区域，在所述高解像度的所述动画图像的解码完成后，选择并输出完成了该解码的高解像度的动画图像。
4.如权利要求1所述的图像处理装置，其特征在于，还包括图像选择单元，当所述显示形态变更指示，是缩小所述动画图像显示区域中当前显示的动画图像的缩小指示时，选择并输出与对当前显示的所述动画图像进行解码的解码单元不同的解码单元解码的低解像度的动画图像；
在有所述缩小指示时，在与对当前显示的所述动画图像进行解码的解码单元不同的解码单元解码的动画图像不是最低的解像度时，所述编码输入单元从所述图像存储单元中取得解像度比该不同的解码单元解码的所述动画图像的解像度低的动画图像；
在有所述缩小指示时，对当前显示的所述动画图像进行解码的解码单元对所述编码输入单元取得的所述低解像度的所述动画图像进行解码。
5.如权利要求1所述的图像处理装置，其特征在于，还包括图像选择单元，
当所述显示形态变更指示，是将所述动画图像显示区域中当前显示的区域以外的指定区域按与当前显示的动画图像的解像度相同的解像度显示的显示区域变更指示时，所述解像度变换单元从与对当前显示的所述动画图像进行解码的解码单元不同的解码单元中，取得作为解码的动画图像的各帧的一部分区域、并且是与基于所述显示区域变更指示的所述指定区域对应的区域，并实施放大处理；
在有所述显示区域变更指示时，所述编码输入单元从所述图像存储单元中取得解像度与当前显示的所述动画图像的解像度相同、并且基于所述显示区域变更指示的所述指定区域的动画图像；
在有所述显示区域变更指示时，对当前显示的所述动画图像进行解码的解码单元对所述编码输入单元取得的所述指定区域的所述动画图像进行解码；
在有所述显示区域变更指示时，在完成所述指定区域的所述动画图像的解码前，选择并输出由所述解像度变换单元实施了放大处理的所述一部分区域，在完成了所述指定区域的所述动画图像的解码后，选择并输出完成了该解码的动画图像。
6.如权利要求1所述的图像处理装置，其特征在于，所述显示形态变更指示对所述动画图像显示区域的像素进行指定，以该指定的像素为中心，执行依据所述显示形态变更指示的动画图像的形态变更。
7.如权利要求1所述的图像处理装置，其特征在于，所述两个解码单元作为单一的解码处理单元来构成，分时执行不同解像度的动画图像的解码。
8.如权利要求1所述的图像处理装置，其特征在于，
该图像处理装置还包括：
部分区域选择单元，在指示将所述图像存储单元中存储的动画图像的各帧的任意区域显示在动画图像显示区域上，对包含该任意区域的最小数目的所述部分区域解码所需要的处理量超过解码单元的处理能力时，从该最小数目的部分区域中，选择所述部分区域，使得所选择的所述部分区域在所述动画图像显示区域显示的面积最大，解码所选择的所述部分区域时需要的处理量在解码单元的处理能力范围内，并且所选择的所述部分区域的数目在满足所述处理能力范围要求的情况下为最大；以及
图像选择单元，从已解码的所述部分区域选择单元选择的所述部分区域中，取得在所述动画图像显示区域上显示的部分，将该取得部分和通过所述解像度变换单元变换了解像度的动画图像进行合成并输出；
所述解像度变换单元还从与对所述部分区域选择单元选择的所述部分区域进行解码的解码单元不同的解码单元解码的动画图像中，取得包含在所述部分区域选择单元未选择的所述部分区域中的与所述任意区域对应的部分，并变换成与所述部分区域选择单元选择的所述部分区域的解像度相同的解像度，
所述编码输入单元从所述图像存储单元取得所述部分区域选择单元选择的所述部分区域；
所述两个解码单元中的一个解码单元对所述部分区域选择单元选择的、并且是所述编码输入单元取得的所述部分区域进行解码。
9.如权利要求8所述的图像处理装置，其特征在于，所述显示形态变更指示对所述动画图像显示区域的像素进行指定，以该指定的像素为中心，依据所述显示形态变更指示执行动画图像形态的变更。
10.如权利要求8所述的图像处理装置，其特征在于，所述两个解码单元作为单一的解码处理单元来构成，分时执行不同解像度的动画图像的解码。
11.一种解码装置，从存储以多个不同的解像度形成的同一内容的动画图像的图像存储单元中，通过传输路径取得所述动画图像，并显示解码的动画图像，其特征在于，该解码装置包括：
编码输入单元，从所述图像存储单元中取得所述动画图像；
两个解码单元，对所述编码输入单元从所述图像存储单元取得的所述动画图像进行解码；
显示单元，显示所述两个解码单元解码的动画图像；
两个解码单元中的一个解码单元对所述显示单元上显示的动画图像进行解码；
两个解码单元中的另一个解码单元对解像度比所述显示单元上显示的动画图像的解像度低的动画图像进行解码；
该解码装置还包括解像度变换单元，按照变更所述显示单元上当前显示的动画图像形态的显示形态变更指示，从另一个解码单元解码的解像度低的动画图像的各帧中，取得并放大一部分区域，以及
在以多个不同解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割成多个部分区域，对每个该部分区域，实施编码并形成比特流。
12.如权利要求11所述的解码装置，其特征在于，
该解码装置还包括：
部分区域选择单元，在指示将所述图像存储单元中存储的动画图像的各帧的任意区域显示在所述显示单元上，对包含该任意区域的最小数目的所述部分区域解码所需要的处理量超过解码单元的处理能力时，从该最小数目的部分区域中，选择所述部分区域，使得所选择的所述部分区域在所述显示单元显示的面积最大，解码所选择的所述部分区域需要的处理量在解码单元的处理能力范围内，并且所选择的所述部分区域的数目在满足所述处理能力范围要求的情况下为最大；
所述解像度变换单元还从与对所述部分区域选择单元选择的所述部分区域进行解码的解码单元不同的解码单元解码的动画图像中，取得包含在所述部分区域选择单元未选择的所述部分区域中的与所述任意区域对应的部分，并变换成与所述部分区域选择单元选择的所述部分区域的解像度相同的解像度；以及
图像选择单元，从已解码的所述部分区域选择单元选择的所述部分区域中，取得在所述显示单元上显示的部分，将该取得部分和通过所述解像度变换单元变换了解像度的动画图像进行合成并输出；
所述编码输入单元从所述图像存储单元取得所述部分区域选择单元选择的所述部分区域；
所述两个解码单元中的一个解码单元对所述部分区域选择单元选择的、并且是所述编码输入单元取得的所述部分区域进行解码。
13.一种图像处理系统，其特征在于，包括解码装置和编码装置，
所述解码装置从存储以多个不同的解像度形成的同一内容的动画图像的图像存储单元中，通过传输路径取得所述动画图像，并显示解码的动画图像，其特征在于，该解码装置包括：
编码输入单元，从所述图像存储单元中取得所述动画图像；
两个解码单元，对所述编码输入单元从所述图像存储单元取得的所述动画图像进行解码；
显示单元，显示所述两个解码单元解码的动画图像；
两个解码单元中的一个解码单元对所述显示单元上显示的动画图像进行解码；
两个解码单元中的另一个解码单元对解像度比所述显示单元上显示的动画图像的解像度低的动画图像进行解码；
该解码装置还包括解像度变换单元，按照变更所述显示单元上当前显示的动画图像形态的显示形态变更指示，从另一个解码单元解码的解像度低的动画图像的各帧中，取得并放大一部分区域，以及
在以多个不同解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割成多个部分区域，对每个该部分区域，实施编码并形成比特流，
所述编码装置，包括：
分割单元，对输入的动画图像的各帧分割成多个部分区域；
编码处理单元，对输入的多个解像度不同的动画图像实施编码处理；以及
所述编码处理单元对于由所述分割单元分割的动画图像，对每个所述部分区域实施编码处理，对每个所述部分区域形成比特流。
14.如权利要求13所述的图像处理系统，其特征在于，所述解码装置还包括：
部分区域选择单元，在指示将所述图像存储单元中存储的动画图像的各帧的任意区域显示在所述显示单元上，对包含该任意区域的最小数目的所述部分区域解码所需要的处理量超过解码单元的处理能力时，从该最小数目的部分区域中，选择所述部分区域，使得所选择的所述部分区域在所述显示单元显示的面积最大，解码所选择的所述部分区域需要的处理量在解码单元的处理能力范围内，并且所选择的所述部分区域的数目在满足所述处理能力范围要求的情况下为最大；
所述解像度变换单元还从与对所述部分区域选择单元选择的所述部分区域进行解码的解码单元不同的解码单元解码的动画图像中，取得包含在所述部分区域选择单元未选择的所述部分区域中的与所述任意区域对应的部分，并变换成与所述部分区域选择单元选择的所述部分区域的解像度相同的解像度；以及
图像选择单元，从已解码的所述部分区域选择单元选择的所述部分区域中，取得在所述显示单元上显示的部分，将该取得部分和通过所述解像度变换单元变换了解像度的动画图像进行合成并输出；
所述编码输入单元从所述图像存储单元取得所述部分区域选择单元选择的所述部分区域；
所述两个解码单元中的一个解码单元对所述部分区域选择单元选择的、并且是所述编码输入单元取得的所述部分区域进行解码。
15.如权利要求13所述图像处理系统，其特征在于，
在所述编码装置中，所述部分区域为矩形，所述分割单元将输入的动画图像的各帧交替分割为大小不同的矩形区域。
16.一种图像处理方法，其特征在于，该方法包括以下步骤：
选择并取得以多个不同解像度形成的同一内容的已编码的动画图像；以及
对取得的所述动画图像进行解码；
在以多个不同解像度形成的同一内容的所述动画图像中，对于每个解像度的动画图像，将各帧分割为多个部分区域，对每个该部分区域实施编码并形成比特流，
其特征在于，还包括按照变更动画图像显示区域上当前显示的动画图像形态的显示形态变更指示，从进行解码的所述步骤中解码的多个不同解像度的动画图像中解像度低的动画图像的各帧中，取得并放大一部分区域的步骤；
进行解码的所述步骤包括：
对所述动画图像显示区域上显示的动画图像进行解码的步骤；以及
对解像度比所述动画图像显示区域上显示的动画图像的解像度低的动画图像进行解码的步骤。
CNB031017290A 2002-01-29 2003-01-21 图像处理装置及系统、解码装置、编码装置及编码方法 Expired - Fee Related CN1260979C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP019729/02 2002-01-29
JP2002019729A JP2003224846A (ja) 2002-01-29 2002-01-29 画像処理装置、復号化装置、符号化装置、画像処理システム、画像処理方法、及び、符号化方法
JP019729/2002 2002-01-29

Publications (2)

Publication Number Publication Date
CN1436003A CN1436003A (zh) 2003-08-13
CN1260979C true CN1260979C (zh) 2006-06-21

Family

ID=27606253

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031017290A Expired - Fee Related CN1260979C (zh) 2002-01-29 2003-01-21 图像处理装置及系统、解码装置、编码装置及编码方法

Country Status (4)

Country Link
US (1) US20030142872A1 (zh)
EP (1) EP1335603A2 (zh)
JP (1) JP2003224846A (zh)
CN (1) CN1260979C (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4496209B2 (ja) 2003-03-03 2010-07-07 モービリゲン コーポレーション メモリワードアレイ構成およびメモリアクセス予測結合
JP4409897B2 (ja) 2003-09-19 2010-02-03 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US8321907B2 (en) 2004-02-09 2012-11-27 Panasonic Corporation Broadcast receiving apparatus, broadcast receiving method, broadcast receiving program, and broadcast receiving circuit
JP4491295B2 (ja) * 2004-07-22 2010-06-30 キヤノン株式会社 画像再生方法及び画像再生装置
JP2006121347A (ja) * 2004-10-20 2006-05-11 Toshiba Corp 画像処理装置
US8621543B2 (en) * 2004-12-08 2013-12-31 Imagine Communications Ltd. Distributed statistical multiplexing of multi-media
KR100652956B1 (ko) * 2005-01-14 2006-12-01 삼성전자주식회사 비디오 수신지연 알림방법 및 이를 적용한 방송수신장치
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
JP2009212821A (ja) * 2008-03-04 2009-09-17 Toshiba Corp コンテンツ配信装置、受信装置、コンテンツ配信方法及び受信方法
JP4798172B2 (ja) * 2008-05-20 2011-10-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像出力方法および画像出力プログラム
JP4504443B2 (ja) * 2008-08-12 2010-07-14 株式会社東芝 再生装置および再生装置の制御方法
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
KR101456498B1 (ko) 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP5325745B2 (ja) * 2009-11-02 2013-10-23 株式会社ソニー・コンピュータエンタテインメント 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置
JP5361763B2 (ja) * 2010-02-24 2013-12-04 日本電信電話株式会社 マルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラム
JP5632171B2 (ja) * 2010-02-24 2014-11-26 日本電信電話株式会社 マルチ解像度映像符号化方法、マルチ解像度映像復号方法、マルチ解像度映像符号化装置、マルチ解像度映像復号装置、及びプログラム
JP5148655B2 (ja) * 2010-04-19 2013-02-20 株式会社東芝 情報処理装置および情報処理装置の制御方法
WO2012050832A1 (en) * 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
JP5811097B2 (ja) * 2010-11-01 2015-11-11 日本電気株式会社 動画像配信システム、動画像配信方法および動画像配信用プログラム
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
JP2012222399A (ja) * 2011-04-04 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生システム、映像再生方法、映像再生装置及びプログラム
JP2012249145A (ja) * 2011-05-30 2012-12-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5603840B2 (ja) * 2011-07-11 2014-10-08 日本電信電話株式会社 映像タイルサイズ決定方法
US9467708B2 (en) * 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US9955195B2 (en) 2011-08-30 2018-04-24 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US8875210B2 (en) * 2012-01-13 2014-10-28 Dell Products L.P. Video conference touch blur
US8773463B2 (en) * 2012-01-20 2014-07-08 Nephosity, Inc. Systems and methods for image data management
JP2013157759A (ja) * 2012-01-30 2013-08-15 Nippon Hoso Kyokai <Nhk> 映像配信装置、端末装置及びこれらのプログラム、並びに、映像配信システム
CN104285444B (zh) 2012-02-04 2017-11-14 Lg 电子株式会社 视频编码方法、视频解码方法和使用其的设备
JP5838925B2 (ja) * 2012-06-29 2016-01-06 ブラザー工業株式会社 通信システム、端末装置、動画の表示方法、及びプログラム
WO2014050211A1 (ja) * 2012-09-27 2014-04-03 シャープ株式会社 プログラム、表示装置、テレビジョン受信機、表示方法及び表示システム
GB2506911B (en) * 2012-10-12 2015-12-09 Canon Kk Method and correponding device for streaming video data
EP2907313A1 (en) 2012-10-12 2015-08-19 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
EP2946566B1 (en) * 2013-01-18 2021-09-01 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating partitioned timed media data
GB2509954B (en) * 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
US10085016B1 (en) 2013-01-18 2018-09-25 Ovics Video prediction cache indexing systems and methods
BR112016000132B1 (pt) 2013-07-12 2023-02-28 Sony Corporation Dispositivo e método para decodificação de imagem
US9591188B2 (en) * 2013-08-01 2017-03-07 Bass Roots Technologies, Llc Cascaded bit sequences in display systems
WO2016092698A1 (ja) 2014-12-12 2016-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
HK1205426A2 (zh) * 2015-09-24 2015-12-11 Tfi Digital Media Ltd 種分佈式視頻編碼方法
US10162936B2 (en) * 2016-03-10 2018-12-25 Ricoh Company, Ltd. Secure real-time healthcare information streaming
US20170323416A1 (en) * 2016-05-09 2017-11-09 Intel Corporation Processing image fragments from one frame in separate image processing pipes based on image analysis
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
JP6752080B2 (ja) * 2016-08-10 2020-09-09 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US10628907B2 (en) 2017-04-01 2020-04-21 Intel Corporation Multi-resolution smoothing
JP7130653B2 (ja) 2017-09-12 2022-09-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
US20200294188A1 (en) * 2017-11-30 2020-09-17 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
JP7417373B2 (ja) 2019-07-25 2024-01-18 日本放送協会 映像符号化装置、再生装置及びプログラム
KR102499900B1 (ko) * 2020-11-18 2023-02-15 주식회사 엘지유플러스 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
JP3210862B2 (ja) * 1996-06-27 2001-09-25 シャープ株式会社 画像符号化装置及び画像復号装置
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6038257A (en) * 1997-03-12 2000-03-14 Telefonaktiebolaget L M Ericsson Motion and still video picture transmission and display
JP3013808B2 (ja) * 1997-05-19 2000-02-28 日本電気株式会社 解像度変換方法およびこれを用いた表示制御装置
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
ATE327625T1 (de) * 1998-10-30 2006-06-15 British Telecomm Datentransport
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream

Also Published As

Publication number Publication date
EP1335603A2 (en) 2003-08-13
CN1436003A (zh) 2003-08-13
JP2003224846A (ja) 2003-08-08
US20030142872A1 (en) 2003-07-31

Similar Documents

Publication Publication Date Title
CN1260979C (zh) 图像处理装置及系统、解码装置、编码装置及编码方法
CN1272967C (zh) 视频编码方法和装置
CN1156171C (zh) 提高处理效率的图象声音处理装置
CN1320809C (zh) 图像处理装置与方法
CN1545813A (zh) 图象编码装置、图象译码装置、图象编码方法、图象译码方法、图象编码程序和图象译码程序
CN1110963C (zh) 图象解码装置
CN1271862C (zh) 动画图象编码方法和动画图象译码方法
CN1204753C (zh) 基于相邻像素预测的帧内预测方法
CN1649416A (zh) 运动矢量检测装置以及移动图像照相机
CN1578158A (zh) 数据处理装置和方法以及记录介质
CN1182518A (zh) 编码装置、译码装置和编码、译码方法以及图象处理装置
CN1253013C (zh) 预测装置、编码装置、逆预测装置、解码装置
CN1229758C (zh) 正交变换图像的分辨率变换装置和方法
CN1245030C (zh) 数据处理系统
CN1170437C (zh) 图像信号混洗装置和方法
CN1265647C (zh) 块组编码结构及基于块组结构的自适应分阶段预测编码方法
CN1254110C (zh) 图像处理方法和图像处理装置
CN101064852A (zh) 动画图象译码方法和动画图象译码装置
CN1459698A (zh) 一种快速输入小键盘和手机
CN1540483A (zh) 一种快速输入小键盘和手机
CN1804766A (zh) 一种快速输入小键盘和手机
CN1527572A (zh) 一种快速输入小键盘和手机
CN1609767A (zh) 一种快速输入小键盘和手机
CN1459966A (zh) 一种快速输入小键盘和手机
CN1609769A (zh) 一种快速输入小键盘和手机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060621

Termination date: 20120121