CN103098466A - 图像处理装置、图像处理方法、动图像文件的数据结构、数据压缩装置、数据解码装置、数据压缩方法、数据解码方法及压缩动图像文件的数据结构 - Google Patents

图像处理装置、图像处理方法、动图像文件的数据结构、数据压缩装置、数据解码装置、数据压缩方法、数据解码方法及压缩动图像文件的数据结构 Download PDF

Info

Publication number
CN103098466A
CN103098466A CN2011800432917A CN201180043291A CN103098466A CN 103098466 A CN103098466 A CN 103098466A CN 2011800432917 A CN2011800432917 A CN 2011800432917A CN 201180043291 A CN201180043291 A CN 201180043291A CN 103098466 A CN103098466 A CN 103098466A
Authority
CN
China
Prior art keywords
mentioned
data
motion video
image
stratum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800432917A
Other languages
English (en)
Other versions
CN103098466B (zh
Inventor
稻田彻悟
大场章男
势川博之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010204806A external-priority patent/JP5484276B2/ja
Priority claimed from JP2010204805A external-priority patent/JP5544253B2/ja
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103098466A publication Critical patent/CN103098466A/zh
Application granted granted Critical
Publication of CN103098466B publication Critical patent/CN103098466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

动图像的数据采用在图中自上而下的z轴方向上由第0阶层（30）、第1阶层（32）、第2阶层（34）及第3阶层（36）构成的阶层构造。各阶层由将以不同的分辨率表示一个动图像的动图像数据、即多个图像帧按照时序顺序排列的数据构成。动图像显示时的视点坐标及与其对应的显示区域由表示图像的左右方向的x轴、表示上下方向的y轴、表示分辨率的z轴所构成的虚拟三维空间而定。通过预先对z轴设置阶层的切换边界，来根据帧坐标的z的值，切换用于帧描绘的动图像数据的阶层。

Description

图像处理装置、图像处理方法、动图像文件的数据结构、数据压缩装置、数据解码装置、数据压缩方法、数据解码方法及压缩动图像文件的数据结构
技术领域
本发明涉及显示动图像的图像处理装置及图像处理方法、对动图像等三维数据进行编码、解码的信息处理装置及信息处理方法。
背景技术
已提出有不仅执行游戏程序，还能够再现动图像的家庭用娱乐系统。在该家庭用娱乐系统中，GPU生成使用了多面体的三维图像（例如参照专利文献1）。
无论是动图像还是静止图像，如何高效地显示图像一直都是重要的问题。因此，在图像数据的压缩技术、传输技术、图像处理技术、显示技术等多方面都正在开发并实用化各种技术，已逐渐能够在各种场合近身欣赏高精细的图像了。
〔在先技术文献〕
〔专利文献〕
〔专利文献1〕美国专利第6563999号公报
发明内容
〔发明所要解决的课题〕
〔0005〕
想按照用户的要求响应性好地显示高精细图像这样的需求一直存在。例如为响应性良好地实现将所显示的整体图像中的想要关注的区域放大显示或移动至其它区域这样的针对用户视点有自由度的图像显示，既要短时间内处理尺寸大的图像数据，又必须使得能够随机存取，需要技术更加进步。
〔0006〕
本发明是鉴于这样的课题而研发的，其目的在于提供一种能够针对用户对显示区域的操作输入，响应性好地显示高精细动图像的图像处理技术。此外，其另一个目的在于提供一种能够针对各种要求响应性好地输出动图像等三维数据的信息处理技术。
〔用于解决课题的手段〕
本发明的一个方案涉及图像处理装置。该图像处理装置的特征在于，包括：动图像数据存储部，存储将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，该多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧；输入信息取得部，依次取得用户对显示区域的操作输入信息；以及显示图像处理部，根据输入信息取得部所取得的操作输入信息，一边使动图像中要显示的区域变化，一边使用阶层动图像数据来生成要显示于显示装置的动图像；其中，显示图像处理部根据由操作输入信息决定的分辨率的变化，来切换阶层动图像数据中的用于动图像的生成的阶层。
本发明的另一方案涉及图像处理方法。该图像处理方法的特征在于，包括：从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的步骤，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧；取得用户对显示区域的操作输入信息的步骤；以及根据操作输入信息，使动图像中要显示的区域变化的步骤；其中，使动图像中要显示的区域变化的步骤包括根据由操作输入信息决定的分辨率的变化，来切换阶层动图像数据中的用于动图像的生成的阶层的步骤。
本发明另一方案涉及动图像文件的数据结构。该数据结构的特征在于，是用于显示于显示装作的动图像文件的数据结构，将由用户对显示区域的操作输入决定的分辨率与以不同的分辨率表示构成一个动图像的图像帧的多个图像帧串建立了对应，所述多个图像帧串是根据分辨率而被切换使用的图像帧串。
本发明的另一方案涉及数据压缩装置。该数据压缩装置包括：数据分割部，将压缩对象的三维参数空间中的数据串在该三维方向上分割，形成编码单位；以及压缩编码部，生成调色板和索引作为压缩数据，所述调色板针对数据分割部所形成的各编码单位，分别将数据中的2个值作为代表值而保持，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码单位的原来的数据。
本发明的另一个方案涉及数据解码装置。该动图像数据解码装置包括：压缩数据读出部，从存储装置读出压缩数据，该压缩数据是将调色板与索引建立了对应，其中所述调色板针对将三维参数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码单位的原来的数据；解码部，对调色板所保持的代表值线性插值而生成中间值，并按照索引所保持的信息，将各编码单位所包含的数据决定为代表值及中间值中的一者后，基于编码单位的排列，重构并生成原来的数据串；以及输出部，输出所生成的数据串。
本发明的另一个方案涉及压缩方法。数据压缩方法包括：从存储装置读出压缩对象的三维参数空间中的数据串的步骤；将数据串在该三维方向上分割而形成编码单位的步骤；以及生成调色板和索引，作为压缩数据存储于存储装置的步骤，其中所述调色板针对各编码单位分别保持数据中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码单位的原来的数据。
本发明的另一方案涉及数据解码方法。该数据解码方法包含：从存储装置读出压缩数据的步骤，该压缩数据中将调色板与索引建立了对应，所述调色板针对将三维参数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码单位的原来的数据；对调色板所保持的代表值线性插值而生成中间值，按照索引所保持的信息，将各编码单位所包含的数据决定为代表值及中间值中的一者后，基于编码单位的排列，重构并生成原来的数据串的步骤；以及将所生成的数据串输出到输出装置的步骤。
本发明的另一个方案涉及压缩动图像文件的数据结构。该数据结构使调色板与索引建立对应，并与图像帧的图像区域对应地排列，其中所述调色板是针对将与构成动图像的图像帧串对应、以亮度Y为像素值的Y图像串、以色差Cb为像素值的Cb图像串、以色差Cr为像素值的Cr图像串分别时空间分割而形成的各编码单位所分别生成的，保持像素值中的2个值作为代表值，所述索引针对各像素分别保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序等间变换后的实施方式，作为本发明的方案也是有效的。
〔发明效果〕
通过本发明，能够实现能平滑地响应用户的操作输入的动图像显示。进而，能够可随机存取地进行处理量（Throughput）高的三维数据输出。
附图说明
图1是表示能够适用于本实施方式的图像处理系统的使用环境的图。
图2是表示能够适用于图1的图像处理系统的输入装置的外观构成例的图。
图3是概念性地表示在本实施方式中作为处理对象的动图像的阶层数据的图。
图4是表示本实施方式中的图像处理装置的构成的图。
图5是详细地表示在本实施方式中，使用具有阶层构造的动图像数据来显示动图像的功能的控制部的构成的图。
图6是表示在本实施方式中成为处理对象的动图像数据的构造例的图。
图7是表示在本实施方式中成为处理对象的动图像数据的构造例的图。
图8是表示在本实施方式中成为处理对象的动图像数据的构造例的图。
图9是表示在本实施方式中成为处理对象的动图像数据的构造例的图。
图10是示意性地表示在本实施方式中以其它阶层的动图像流代替一部分阶层的动图像流时的动图像的数据结构的图。
图11是详细地表示在本实施方式中具有动图像数据压缩功能的控制部及硬盘驱动器的构成的图。
图12是示意性地表示包含图11所示的控制部的图像处理装置所实施的动图像流的压缩步骤的图。
图13是示意性地表示在本实施方式中从Y图像串的编码单位生成调色板（pallet）及索引的数据的方法的图。
图14是示意性地表示在本实施方式中从CbCr图像串的编码单位生成调色板及索引的数据的方法的图。
图15是表示在本实施方式中分割一个处理单位的模式的变化（variation）的图。
图16是表示本实施方式中的分割模式图的数据结构例的图。
图17是用于说明本实施方式的压缩数据存储部中的压缩数据的排列的图。
图18是示意性地表示在本实施方式中对动图像流整体施以压缩编码处理时的数据的变化的图。
图19是用于说明在本实施方式中对2个调色板嵌入分割模式的识别编号的方法的图。
具体实施方式
在本实施方式中的动图像显示中，使与用户的视点移动请求对应的显示区域可移动。在此，视点移动包括将视点靠近图像平面、或将其远离图像平面，动图像与之相应地被再现、并被放大和缩小。因此，在本实施方式中，使处理对象动图像数据成为将多个动图像流按照分辨率顺序阶层化而成的阶层构造，其中所述多个动图像流分别由以不同分辨率表现一个动图像的图像帧串构成。并且，针对视点的远近方向的移动请求，将用于显示的动图像流切换到不同的阶层，由此迅速地进行放大显示或缩小显示。下面，将这样的具有阶层构造的动图像数据也称作“阶层数据”。
首先，说明这样的阶层数据的基本显示方式。图1表示能够适用本实施方式的图像处理系统1的使用环境。图像处理系统1包括执行图像处理软件的图像处理装置10和输出图像处理装置10的处理结果的显示装置12。显示装置12可以是具有输出图像的显示器及输出音声的扬声器的电视。
显示装置12可以通过有线缆线与图像处理装置10连接，也可以通过无线LAN（Local Area Network：局域网）等无线连接。在图像处理系统1中，图像处理装置10可以介由缆线14连接于因特网等外部网络，下载并取得阶层数据。此外，图像处理装置10还可以通过无线通信连接于外部网络。
图像处理装置10例如可以是游戏装置或个人计算机，可以通过载入图像处理用的应用程序来实现图像处理功能。图像处理装置10根据来自用户的视点移动请求，而进行显示于显示装置12的显示器的动图像的放大/缩小处理、向上下左右方向的滚动处理等。下面，将这样的包含放大/缩小的显示区域变更处理表达为“显示区域的移动”。用户一边看显示器所显示的图像一边操作输入装置时，输入装置将显示区域移动请求信号发送到图像处理装置10。
图2表示输入装置20的外观构成例。输入装置20中，作为用户可操作的操作手段，具备十字键21、模拟摇杆27a、27b和4种操作按钮26。4种操作按钮26由○按钮22、×按钮23、□按钮24及△按钮25构成。
在图像处理系统1中，输入装置20的操作手段被分派用于输入放大/缩小显示图像的请求、及向上下左右方向滚动的请求的功能。例如，输入放大/缩小显示图像的请求的功能被分派给右侧的模拟摇杆27b。用户通过将模拟摇杆27b向身前拉，能够输入缩小显示图像的请求，此外，通过向前推，而能够输入放大显示图像的请求。
此外，输入滚动请求的功能被分派给十字键21。用户通过按下十字键21，能够输入向十字键21所被按下的方向的滚动请求。此外，输入显示区域移动请求的功能可以分派给其它操作手段，例如可以向模拟摇杆27a分派输入滚动请求的功能。
输入装置20具有将所被输入的显示区域移动请求的信号传输到图像处理装置10的功能，在本实施方式中，被构成为能与图像处理装置10无线通信。输入装置20与图像处理装置10可以使用Bluetooth（蓝牙）（注册商标）协议、IEEE802.11协议等来建立无线连接。此外，输入装置20可以介由缆线与图像处理装置10连接，将显示区域移动请求信号传输到图像处理装置10。此外，输入装置20不限定于图2所示的装置，可以是键盘、触摸板、按钮、照相机、麦克风等能够取得用户的意思等作为电子信息的接口，其种类和外观都不限定。
图3概念性地表示了在本实施方式中作为处理对象的动图像的阶层数据。阶层数据具有在从图的上方指向下方的z轴方向上由第0阶层30、第1阶层32、第2阶层34和第3阶层36构成的阶层构造。此外，在该图中，仅表示了4阶层，但阶层数不限于此。如上述那样，各阶层由按照时序顺序排列了多个图像帧的数据构成，所述多个图像帧是以不同的分辨率来表现一个动图像的动图像数据。在该图中，以4张图像帧象征性地表示了各阶层，但图像帧的数量当然根据动图像的再现时间和帧率的不同而不同。
此外，如后述的那样，本实施方式在针对动图像数据所具有的图像平面及时间轴的三维空间的随机存取性方面很好。因此，例如可以通过将时间轴看做“深度”，而将三维容量（volume）数据代替动图像数据来作为处理对象。同样地，只要是在三维方向上可能具有冗余性的数据即可，不特别限定参数的种类。
阶层数据例如具有四叉树阶层构造，当将构成各阶层的图像帧分割为具有同一尺寸的“平铺（tile）图像”时，第0阶层30是1个平铺图像，第1阶层32是2×2个平铺图像，第2阶层34是4×4个平铺图像，第3阶层是8×8个平铺图像等。此时，第N阶层的分辨率（N是0以上的整数）在图像平面上的左右（x轴）方向、上下（y轴）方向上都是第（N＋1）阶层的分辨率的1/2。阶层数据能够基于具有最高分辨率的第3阶层36的动图像而多阶段地缩小图像帧等来生成。
如图3所示的那样，动图像显示时的视点坐标及与其对应的显示区域能够以由表示图像的左右方向的x轴、表示上下方向的y轴、表示分辨率的z轴构成的虚拟三维空间来表示。此外，如上述的那样，在本实施方式中，由于将多个图像帧所连成的动图像数据作为阶层来准备，故实际上所显示的图像还依赖于距再现开始时的时间，在该图中针对各阶层分别表示了时间轴t。
图像处理装置10基本上沿时间轴t以预定的帧率依次描绘某个阶层的图像帧。例如将第0阶层30的分辨率的动图像作为基准图像来显示。在此过程中，若被从输入装置20提供了显示区域移动请求信号，则从该信号导出显示图像的变更量，使用该变更量导出下一帧的在虚拟空间中的4角坐标（帧坐标）。然后，描绘对应于该帧坐标的图像帧。此时，通过预先对z轴设置阶层的切换边界，来根据帧坐标的z值适当切换用于帧描绘的动图像数据的阶层。
此外，图像处理装置10也可以导出用于确定阶层的信息和该阶层中的纹理坐标（UV坐标）来代替虚拟空间中的帧坐标。以下，将阶层确定信息及纹理坐标的组合也称作帧坐标。
在图像处理装置10中，阶层数据以被按预定的压缩格式压缩了的状态保存在存储装置中。然后，从存储装置读出并解码帧描绘所需的数据。此外，图3仅是概念性地表示了阶层数据，并非限定存储装置所存储的数据的存储顺序和格式。例如若阶层数据的虚拟空间中的位置与实际的动图像数据的存储区域建立有对应，则动图像数据能够存储于任意区域。此外，如在之后所述的那样，可以对构成各阶层的图像帧串施以空间分割和时间分割，按该单位进行压缩编码。
图4表示图像处理装置10的构成。图像处理装置10具备无线接口40、开关42、显示处理部44、硬盘驱动器50、记录介质安装部52、盘驱动器54、主存储器60、缓冲存储器70及控制部100。显示处理部44具有缓冲显示于显示装置12的显示器的数据的帧存储器。
开关42是以太网开关（以太网是注册商标），是通过有线或无线与外部设备连接并收发数据的器件。开关42被构成为介由缆线14连接于外部网络，能够从图像服务器接收阶层数据。此外，开关42连接于无线接口40，无线接口40以预定的无线通信协议与输入装置20连接。在输入装置20中，用户所输入的显示区域移动请求信号经由无线接口40、开关42提供给控制部100。
硬盘驱动器50作为存储数据的存储装置来发挥作用。阶层数据可以存储于硬盘驱动器50。记录介质安装部52在被安装存储卡等可插拔记录介质时，从可插拔记录介质读出数据。盘驱动器54被安装只读的ROM盘后驱动并识别ROM盘，读出数据。ROM盘可以是光盘或光磁盘等。阶层数据可以存储于这些记录介质中。
控制部100具备多核CPU，一个CPU中具有一个通用处理器核和多个单处理器核。通用处理器核被称作PPU（Power Processing Unit），其它处理器核被称作SPU（Synergistic-Processing Unit）。控制部100可以还具备GPU（Graphics Processing Unit）。
控制部100具备连接于主存储器60及缓冲存储器70的存储器控制器。PPU具有寄存器，并具备主处理器作为运算执行主体，将作为要执行的应用程序中的基本处理单位的任务高效地分派给各SPU。此外，PPU自己也可以执行任务。SPU具有寄存器，具备作为运算执行主体的副处理器和作为本地存储区域的本地存储器。本地存储器可以作为缓冲存储器70来使用。
主存储器60及缓冲存储器70是存储装置，作为RAM（随机存取存储器）来构成。SPU具有专用的DMA（Direct Memory Access：直接存储器存取）控制器作为控制单元，能够高速地进行主存储器60和缓冲存储器70之间的数据传输，还能够实现显示处理部44中的帧存储器与缓冲存储器70之间的高速的数据传输。本实施方式的控制部100通过使多个SPU并行地动作，来实现高速的图像处理功能。显示处理部44连接于显示装置12，输出与来自用户的请求相应的图像处理结果。
图像处理装置10为顺利地进行显示图像的放大/缩小处理和滚动处理，而将在空间上、时间上接近当前所显示的帧的动图像数据依次从硬盘驱动器50载入到主存储器60。此外，对已载入到主存储器60的动图像数据的一部分进行解码，存储到缓冲存储器70中。由此，能够使动图像的再现进展的同时，使显示区域平滑地移动。此时，可以基于至此为止的显示区域的移动方向来预读之后所需的区域，由此决定成为载入和解码的对象的数据。
在图3所示的阶层数据中，z轴方向上的位置表示分辨率，越是靠近第0阶层30的位置，分辨率越低，越是靠近第3阶层36的位置，分辨率越高。若关注显示器所显示的图像的大小，则z轴方向上的位置对应于放缩率，将第3阶层36的显示图像的放缩率定为1时，第2阶层34中的放缩率是1/4、第1阶层32中的放缩率是1/16，第0阶层30中的放缩率是1/64。
因此，在z轴方向上，当显示图像沿从第0阶层30侧向第3阶层36侧的方向变化时，显示图像逐渐放大，当沿从第3阶层36侧向第0阶层30侧的方向变化时，显示图像逐渐缩小。例如当显示图像的放缩率处于第2阶层34附近时，使用第2阶层34的图像数据制作显示图像。
具体来讲，如上述那样，对各阶层的中间的放缩率等分别设置切换边界。例如当所显示的图像的放缩率位于第1阶层32和第2阶层34之间的切换边界与第2阶层34和第3阶层36之间的切换边界之间时，使用第2阶层34的图像数据描绘帧。当放缩率处于第1阶层32与第2阶层34之间的切换边界同第2阶层34之间时，将第2阶层34的图像帧缩小来显示。当缩放率处于第2阶层34与第3阶层36之间的切换边界同第2阶层34之间时，将第2阶层34的图像帧放大来显示。
另一方面，在确定并解码从显示区域移动请求信号预测出的以后所需的区域时，预先将各阶层的放缩率等设定为预读边界。例如，在显示区域移动请求信号的请求放缩率越过第2阶层34的放缩率时，从硬盘驱动器50或主存储器60预读并解码缩小方向上的第1阶层32的图像数据的至少一部分，并写入缓冲存储器70。
图像的上下左右方向的预读处理也是一样。具体来讲，预先对解压缩在缓冲存储器70中的图像数据设定预读边界，使得在基于图像变更请求信号的显示位置越过预读边界时，开始进行预读处理。通过这样做，能够实现在按照用户的显示区域移动的要求平滑地使分辨率及显示位置变化的同时，动图像的再现也在推进的方案。
图5详细地表示了在本实施方式中具有使用具有阶层构造的动图像数据显示动图像的功能的控制部100a的构成。控制部100a包括：输入信息取得部102，从输入装置20取得用户所输入的信息；帧坐标决定部110，决定应新显示的区域的帧坐标；载入流决定部106，决定应新载入的动图像流的压缩数据；以及载入部108，从硬盘驱动器50载入需要的动图像流。控制部100a还包括：解码部112，解码动图像流的压缩数据；以及显示图像处理部114，描绘图像帧。
在图5及后述的图10中，作为进行各种处理的功能块而叙述的各要素，从硬件上来讲，能够由CPU（Central Processing Unit：中央处理器）、存储器、其它LSI来构成，从软件上来讲，由被载入到存储器的程序等实现。如已述的那样，控制部100具有一个PPU和多个SPU，PPU及SPU能够分别单独或共同构成各功能块。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或由它们的组合以各种形式实现，并不限定于某一种。
输入信息取得部102取得用户向输入装置20输入的动图像再现的开始/结束、显示区域的移动等请求内容，并通知给帧坐标决定部110。帧坐标决定部110按照当前的显示区域的帧坐标和用户所输入的显示区域移动请求信号，来决定应新显示的区域的帧坐标，并通知给载入流决定部106、解码部112、显示图像处理部114。
载入流决定部106基于帧坐标决定部110所通知的帧坐标，来确定应从硬盘驱动器50向主存储器60新载入的动图像的压缩数据，向载入部108发出载入请求。如后述的那样，本实施方式的阶层数据针对将构成各阶层的帧图像串空间分割为相同尺寸而成的各平铺图像串，分别单独地保持动图像流。
因此，在放缩率与用于其显示的阶层的对应关系之外，预先将各阶层中的空间坐标与包含对应于该坐标的图像数据的动图像流的标识信息及其存储区域建立对应。载入流决定部106基于该信息取得所需的动图像流的标识信息。然后，若相应的动图像流的压缩数据没有载入完毕，则向载入部108发出载入请求。此外，即使在帧坐标不变的情况下，也根据动图像的进展而依次请求载入所需的动图像流的压缩数据。
载入流决定部106可以除该时点的帧描绘所需的动图像流外，还通过之前所述的预读处理等来确定被预测为今后所需的动图像流，向载入部108发出载入请求。载入流决定部106可以在载入部108未正进行载入处理的状态下，例如按预定的时间间隔、或者在用户输入了显示区域移动请求时等预定的时机进行载入请求。载入部108按照来自载入流决定部106的请求，进行从硬盘驱动器50的载入处理。具体来讲，根据应载入的动图像流的标识信息确定出存储区域，将从该存储区域读出的数据存储于主存储器60。
解码部112基于各时刻的帧坐标从主存储器60读出并解码所需的动图像流的数据，依次存储到缓冲存储器70。解码对象可以是动图像流单位，当帧坐标决定部110所决定的帧坐标的区域横跨多个动图像流时，逐次解码该多个动图像流。显示图像处理部114基于各时刻的帧坐标从缓冲存储器70读出相对应的图像帧的数据，逐次描绘到显示处理部44的帧存储器中。
在允许在一个动图像再现过程中进行包括放大缩小在内的显示区域的移动的方案中，优选所有阶层共用时间轴，无论所利用的动图像数据的阶层是否已被切换，都无缝地进行帧描绘。因此，如上述的那样，将图像帧作为平铺图像单位的动图像流来生成阶层数据。由此，能够优先载入、解码一次显示所需的区域和被预测为那之后所需的数据，故能够提高至帧描绘所需的处理的效率。此外，优选以时间上可随机存取的状态准备数据。
由于在本实施方式中成为处理对象的动图像数据具有包含放缩率方向的三维帧坐标、及时间这样的四维参数，故能够根据压缩方法和动图像的内容等使生成动图像流的单位和整体构成适当地变化。图6至图9表示在本实施方式中成为处理对象的动图像数据的构造例。
在这些图中，三角形表示动图像的阶层数据，长方体表示一个动图像流。此外，各阶层数据由第0阶层、第1阶层、第2阶层3个阶层构成，但阶层的数量并不限定于此。如上述那样，针对将各阶层的图像帧分割为同一尺寸而成的各平铺图像分别生成一个动图像流，在这些例子中，将第0阶层的图像的尺寸定为平铺图像的尺寸。
首先，图6所示的动图像数据结构200由一个阶层数据201构成，该一个阶层数据201针对各阶层的各平铺图像，从动图像的开始到结束，将之作为一个动图像流。在此，由于作为各动图像流的图像帧的平铺图像如上所述具有同一尺寸，故第0阶层由1个动图像流202a构成，第1阶层由4个动图像流202b构成，第2阶层由16个动图像流202c等构成。
在图6的动图像数据结构200的情况下，动图像流的时间方向的长度根据原来的动图像的长度、即原来的图像帧的数量而变化。因此，在图像帧的数量原本就少的情况下、以及采用能够压缩长时间数据且可随机存取的压缩方式、例如将所有帧作为I图像的MPEG（Moving Picture Experts Group：活动图像专家组）等情况下有利。
图7所示的动图像数据结构204由一个阶层数据205构成，该一个阶层数据205中，按预定的图像帧数划分动图像数据，并针对各阶层的各平铺图像，在时间轴方向上使之成为多个动图像流。即，该图的动图像流将图6所示的各动图像流针对图的纵向、即时间轴进行了分割。在此例中，图6的动图像流分别被分割为6个动图像流。因此，第0阶层由1×6个动图像流206a构成，第1阶层由4×6个动图像流206b构成，第2阶层由16×6个动图像流206c等构成。在采用按固定数量的图像帧单位进行压缩的压缩方式时，成为这样的构造。
图8所示的动图像数据结构208具有如下构造：按预定的图像帧数划分动图像数据，针对按该单位生成的各动图像流分别生成了阶层数据210a、210b、210c。即，各阶层数据210a、210b、210c与图6同样地，针对各阶层分别在时间轴方向上由一个动图像流构成，但各动图像流具有固定数量的图像帧。例如阶层数据210a的第0阶层由1个动图像流212a构成，第1阶层由4个动图像流212b构成，第2阶层由16个动图像流212c构成。
在图8的动图像数据结构208的情况下，由于在时间轴方向上由多个阶层数据构成，故仅将某场景替换为其它的阶层数据，或插入、删除阶层数据这样，在时间轴方向上的动图像编辑较为容易。此外，由于各动图像流的图像帧数是固定的，故容易估计数据尺寸。例如适用后述的压缩方式时，由于能够使各动图像流的数据成为与将静止图像同样地作成阶层构造时的平铺图像的数据一样的构造，故将静止图像的显示机构用于动图像显示、或使一部分区域成为静止图像等与静止图像的共存变得容易。
图9所示的动图像数据结构214具有如下结构：按预定的图像帧数划分动图像数据，将按该单位生成的动图像流进一步分别分为预定的数量，分别成为阶层数据216a、216b、216c。即，各阶层数据216a、216b、216c与图7一样，针对各阶层在时间轴方向上由多个动图像流构成，但其数量不随动图像的长度变化，而是固定的，该图中定为2个，由此划分阶层数据。
例如阶层数据216a的第0阶层由1×2个动图像流218a构成，第1阶层由4×2个动图像流218b构成，第2阶层由16×2个动图像流218c构成。此时，构成一个阶层数据的各阶层的数据尺寸的估计及调整较为容易，并且通过替换阶层数据，在时间轴方向上的动图像编辑也比较容易。
图6至图9所示的动图像数据结构都保持有动图像流，以使得在各阶层网罗图像帧的所有区域，但也可以根据动图像所具有的冗余性而从动图像数据中省略一部分动图像流，用其它阶层的动图像流来代替。图10示意性地表示了以其它阶层的动图像流代替一部分阶层的动图像流时的动图像的数据结构。数据结构的表示方法与图6一样。该图所示的阶层数据222中省略了与区域224对应的动图像流。
与图6所示的阶层数据201相比，在第1阶层228及第2阶层230中，动图像流的数量减少了。是被省略了该差量的动图像流。此时，被省略的动图像流所表示的区域的阶层中不存在数据。因此，在以应使用这样的阶层的数据的放缩率来显示该区域时，要追溯到保持该区域的数据的阶层，在该图的例子中是追溯到第0阶层226阶层，放大对应的区域来进行描绘。
这样的方案能够适用于图像帧中不需要详细信息的区域，例如能够适用于天空、海洋、草坪等几乎由单色构成的区域等存在的情况。这样，能够通过图像解析检测到图像帧中有无冗余性。例如针对各时刻的图像帧分别生成将低分辨率侧的阶层的图像帧放大了的图像与高分辨率侧的图像的差分图像，检测出差分值在预定的阈値以下的区域。然后，从动图像数据中除去该区域所包含的动图像流中的高分辨率侧的阶层的动图像流。
通过这样做，既能够将动图像数据的尺寸抑制得小，又能够省略一部分动图像流的载入处理。在这样的情况下，通过在将前述阶层数据所规定的三维坐标与动图像流建立了对应的信息中，将与已除去的动图像流对应的区域的坐标与放大地使用的上面阶层的动图像流的标识信息建立对应，并附加放大倍率等信息，从而能够进行描绘。
图10的例子是本实施方式通过兼有使动图像数据成为阶层构造的特征和空间分割帧图像、个别地生成动图像流这样的特征而成立的方案。即，通过将帧图像分割为平铺图像，而能够局部地使数据的保持格式不同，还能够代替使用分辨率低的阶层的数据，因此，能够省略一部分数据，抑制数据尺寸。按照同样的构想，也可以仅一部分动图像流间取所构成的图像帧来减少其数量，抑制数据尺寸。
若这样做，则该动图像流所负责的区域的时间分辨率会降低，但在包含背景等时间上变化少的区域的动图像中是有效的。此时的时间冗余性与上述空间冗余性一样，例如能够通过检测相邻的图像帧彼此的差分图像中的具有预定阈値以下的差分值的区域等来确定。同样地，也能够将一部分动图像流置换为静止图像。
此外，可以针对各动图像流分别使压缩方式不同。此外，也可以通过在阶层数据内不共有时间轴，按各阶层、各动图像流、图像中的各像素串等预定的单位分别有意地使时间轴错开，使得能够表现各种各样的图像。
如上述的那样，在本实施方式中成为显示对象的动图像数据的阶层构造，其各动图像流的压缩方式不被特别限制，可以适用JPEG（Joint PhotographicExperts Group：联合摄影专家组）、MPEG、S3TC（S3Texture Compression：S3纹理压缩技术）等已有的方式之一。但是，为使得包含阶层的切换在内的显示区域的移动能够无缝地进行，希望空间上、时间上可随机存取，即使是高精细图像也能够维持图像质量和解码处理量两者。
接下来，说明能够适用于图7至图9所示的动图像数据结构的、按固定数量的图像帧单位压缩动图像流的方法。该压缩方法不仅能够适用于构成阶层数据的多个动图像流，还能够适用于单个的动图像流。实施本压缩方法的装置也能够以与图4所示的图像处理装置10一样的构成来实现。下面，重点对控制部100的构成进行说明。
图11详细地表示了在本实施方式中具有动图像数据压缩功能的控制部100b及硬盘驱动器50的构成。控制部100b包含：YCbCr变换部120，将构成压缩对象动图像流的图像帧的色空间变换为YCbCr；图像分割部122，将变换后的图像串时空间分割，生成编码单位；以及压缩编码部124，针对被分割出的各编码单位分别将图像数据量化，由此进行压缩编码处理。
硬盘驱动器50包含：动图像流存储部126，存储由各图像帧串构成的压缩对象的动图像流；分割模式存储部128，存储图像分割部122分割图像串时的分割模式；以及压缩数据存储部130，存储压缩编码部124压缩编码所生成的压缩数据。
YCbCr变换部120从动图像流存储部126依次读出构成压缩对象的动图像流的图像帧的数据。然后，通过将作为各图像帧的像素值的RGB值变换为亮度Y、色差Cb和Cr，来生成将它们的值作为像素值的Y图像、Cb图像、Cr图像。能够适用现有的方法进行从RGB到YCbCr的色空间的变换。由于从一个图像帧生成Y图像、Cb图像、Cr图像，故针对构成动图像流的多个图像帧生成Y图像串、Cb图像串、Cr图像串。
图像分割部122首先以预定的比例缩小YCbCr变换部120所生成的Y图像串、Cb图像串、Cr图像串中的各Cb图像及Cr图像。然后，以分割模式存储部128所存储的分割模式对Y图像串、Cb图像串、Cr图像串进行时空间分割。将通过分割而生成的单位称作“编码单位”。
由于根据图像内容不同，其最合适的分割模式也不同，故图像分割部122可以进行从分割模式存储部128所存储的多个分割模式中选择最合适的模式的处理，详细情况会在后面叙述。此外，在以后的处理中，将被缩小的Cb图像及Cr图像针对对应的各帧分别作为组来处理。下面，将这样的Cb图像和Cr图像的组简称作“CbCr图像”。
压缩编码部124针对Y图像、CbCr图像的编码单位分别生成表示2个代表值的调色板（pallet）、以及针对各像素指定该2个代表值和将代表值线性插值而得到的多个中间值中的一者的索引，由此将图像数据量化并压缩编码。由此，针对Y图像串的编码单位、及CbCr图像串的编码单位，分别生成调色板及索引。
图12示意性地表示了包含控制部100b的图像处理装置10所实施的动图像流的压缩步骤。压缩对象动图像流250例如可以与在图6至图9中以长方体表示的动图像流对应。动图像流250由RGB图像的图像帧构成。在本压缩方法中，按预定张数的图像帧，在图12的例子中按每8帧压缩该动图像流250。
首先，YCbCr变换部120将8帧量的图像帧进一步空间分割为预定的尺寸，在图像平面（x，y）及时间轴t的三维空间内规定处理单位。在图例中，将8像素×8像素×8帧的数据定为处理单位252。接着，基于该处理单位252所包含的8张RGB图像，生成8张Y图像串254和CbCr图像串256（S10）。
在此，CbCr图像串256如上述的那样，是将从原来的RGB图像直接得到的Cb图像、Cr图像在纵横两个方向上缩小为1/2尺寸而得到的图像串。因此，Y图像串254成为8帧的8像素×8像素的图像帧、CbCr图像串256成为8帧的将4像素×4像素的Cb图像与4像素×4像素的Cr图像连结起来的图像。
接着，图像分割部122以分割模式存储部128所存储的分割模式中的一个模式对Y图像串254及CbCr图像串256进行时空间分割，形成编码单位（S12）。在该图的例子中，将4像素×2像素×2张的数据定为编码单位，该4像素×2像素×2张的数据是按时间方向上相邻的每2个图像帧，分割将Y图像串254及CbCr图像串256的各图像帧按横4像素×纵2像素的相同尺寸进行空间分割所得到的图像块而成的。
如上述的那样，由于Y图像串254是8像素×8像素，故各图像帧被分割为“A”、“B”、“C”、“D”、“E”、“F”、“G”、“H”8个图像块，由第一个帧的图像块“A”和第二个帧的图像块“A”形成编码单位258（灰色区域）。其它图像块及图像帧也是一样，作为结果，针对Y图像串254形成空间分割数8×时间分割数4＝32个编码单位。
另一方面，由于CbCr图像串256的Cb图像、Cr图像都是4像素×4像素，故前者被分割为“I”、“J”，后者被分割为“K”、“L”2个图像块，由第一个帧的图像块“I”和“K”、及第二个帧的图像块“I”和“K”形成编码单位260（灰色区域）。其它图像块及图像帧也是一样，作为结果，针对CbCr图像串256形成空间分割数2×时间分割数4＝8个编码单位。
压缩编码部124针对各编码单位生成调色板及索引的数据。基本上来讲，调色板及索引与在S3TC的纹理压缩方式中从RGB图像生成的调色板及索引是一样的。另一方面，在本实施方式中，参数的维数与一般的S3TC不同。图13示意性地表示了从Y图像串254的编码单位258生成调色板及索引的数据的方法。
当以图12所示的模式进行分割时，编码单位258包含4×2×2＝16像素。在该图中，以圆形示意性地表示像素。若在亮度Y的轴上表示各像素作为像素值而具有的亮度Y的样本值，则成为分布262那样。从按该分布262所标画的16个样本中，选择2个代表值。例如将最小值（min）及最大值（max）选为代表值，将保持该2个值的数据作为调色板。在进一步将亮度Y的轴上的以1：2内分最小值与最大值之间的线段的亮度Y的值定为第1中间值（mid1）、以2：1内分的亮度Y的值作为第2中间值（mid2）时，将针对各像素分别保持用于指定最小值、第1中间值、第2中间值、最大值这4个值中的一者的信息的数据定为索引。
即，针对Y图像串254的1个编码单位258，调色板是表示亮度Y的8比特×2值＝2字节，索引是以0～3表示4个值的识别编号的信息2比特×16像素＝4字节的数据。如上述的那样，由于作为一个处理单位的Y图像串254由32个编码单位构成，故Y图像串254整体上，成为调色板是32×2字节＝64字节、索引是32×4字节＝128字节的数据。
图14示意性地表示了基于CbCr图像串256的编码单位260生成调色板及索引的数据的方法。在以图12所示的模式进行分割的情况下，编码单位260的Cb图像、Cr图像分别包含4×2×2＝16像素。因此，若将以（色差Cb，色差Cr）为要素的色差的样本值表示在具有色差Cb、色差Cr的轴的二维平面上，则成为分布264，其中（色差Cb，色差Cr）是两图像所对应的像素作为像素值而具有的（色差Cb，色差Cr）。
从该分布264所标画的16个样本中，选择2个代表值。例如用直线来近似分布264时，将位于直线的左端、右端的色差分别作为最小值（min）及最大值（max）而定为代表值。并且，将保持该2个值的数据定为调色板。此时，各代表值是以（色差Cb，色差Cr）为要素的二维参数。此外，将在近似直线上以1：2内分最小值与最大值之间的线段的色差定为第1中间值（mid1），以2：1内分的色差定为第2中间值（mid2）时，将针对各像素分别保持指定最小值、第1中间值、第2中间值、最大值4个值中的一者的信息的数据定为索引。
即，对于CbCr图像串256的1个编码单位260，调色板是表示色差Cb及Cr的2要素×各色差的8比特×2值＝4字节、索引是以0～3表示4个值的识别编号的信息2比特×16像素＝4字节的数据。如上述的那样，由于作为一个处理单位的CbCr图像串256由8个编码单位构成，故在CbCr图像串256整体上，调色板是8×4字节＝32字节、索引是8×4字节＝32字节的数据。
若这样压缩，则1个处理单位的8像素×8像素×8帧的RGB图像是Y图像串的调色板64字节和索引128字节、以及CbCr图像串的调色板32字节和索引32字节，共计256字节。即，每1像素是0．5字节的数据。
使用S3TC压缩4像素×4像素的RGB图像时，由于调色板是表示RGB值的2字节×2值＝4字节，索引是以0～3表示RGB值中的4个值的识别编号的信息2比特×16像素＝4字节的数据，故压缩后的数据每像素是8字节/16像素＝0．5字节，与上述压缩方法的压缩后的数据尺寸相同。因此，通过按这样的处理单位压缩动图像数据，基于要从硬盘驱动器50载入主存储器60的数据的单位和主存储器60内的缓存行（cache line）的尺寸等观点，能够同等地处理静止图像和动图像。
此外，在本实施方式中，将RGB图像分解为保持一维参数的Y图像及保持二维参数的CbCr图像后，生成调色板及索引。因此，在一维的Y图像的情况下，所有样本值分布于直线上，而关于二维的CbCr图像，偏离近似直线的样本仅出现在该近似直线的法线方向上。因此，与用直线对保持三维参数的RGB图像进行近似来量化的一般的S3TC的方法相比，能够将量化误差抑制得较小。
在图12的分割模式下，将动图像流分割为横4像素×竖2像素×2帧量来作为编码单位。也可以使该分割模式如上述的那样根据图像的内容而适当变化。图15表示分割一个处理单位的模式的变化。从该图左端起依次记为模式（A）、模式（B）、模式（C）、模式（D），上方的Y图像串及下方的CbCr图像串都用直线表示空间分割的划分，将一个编码单位涂灰来代表性地表示。
模式（A）是按横4像素×纵4像素×1帧来进行分割的模式。模式（B）与图12所示的模式相同。模式（C）是按横2像素×纵2像素×4帧来进行分割的模式，模式（D）是按横2像素×纵1像素×8帧来进行分割的模式。
由于这些模式的任何一个都是1个处理单位对Y图像串是16像素、对CbCr图像串是16像素×2，故量化时的样本数与图13及图14所示的一样。另一方面，从模式（D）向模式（A）逐渐进行更细致的时间分割，从模式（A）向模式（D）逐渐进行更细致的空间分割。准备这样的分割模式，根据是在空间方向有冗余性还是在时间方向有冗余性这样的图像的特性，来选择分割模式。
具体来讲，在如天空、草坪等包含较多接近单色的区域时等、图像具有空间冗余性时，其像素值相对于空间更容易一样，即使减少空间分割数，也不容易包含量化的误差，故选择接近模式（A）的分割模式。另一方面，在如定点观测活动较少的景色的时等图像具有时间冗余性时，其像素值在时间方向上容易一样，即使减少时间分割数，也不容易包含量化的误差，故选择接近模式（D）的分割模式。
例如在模式（D）的情况下，一个编码单位在空间方向上仅具有2像素。若同一编码单位所包含的8帧量没有时间变化，则调色板所保持的2个代表值原样表示原来的像素值，故量化误差是0。当以S3TC的方法对RGB图像进行压缩时，使调色板所保持的RGB的数据从原来的24比特减少至16比特，故有时在解码时无法得到足够的灰阶等，发生图像质量的下降。在本实施方式中，由于针对亮度Y、色差Cb、Cr分别准备8比特的调色板，故能够保持原来的图像质量的可能性较大。
将模式（A）～模式（D）4种分割模式与用于识别它们的信息、例如0，1，2，3这4个识别编号建立对应地存储在分割模式存储部128中。图像分割部122对YCbCr变换部120所生成的各图像串实施所有分割模式存储部128存储的分割模式，选择与原图像的误差最少的分割模式。
该处理实际上是使压缩编码部124实施以各分割模式分割时的图像串的压缩编码，针对各图像帧分别比较解码各压缩数据后的图像与压缩前的图像。然后，只要选择差分少的分割模式即可。图像分割部122将所选择的分割模式的识别编号通知给压缩编码部124，压缩编码部124使所生成的压缩数据包含该识别编号的信息而作为最终的压缩数据，存储于压缩数据存储部130。
可以使分割模式在图像内的区域中不同。针对各区域分别选择分割模式的步骤可以与上述的一样。然后，图像分割部122生成将所选择的分割模式的识别编号和区域建立了对应的图（map），使其包含于最终的压缩数据中。图16表示分割模式图的数据结构例。该图的例子表示以256像素×256像素的图像帧构成一个动图像流的情况。当使得可设定图15所示的4种分割模式时，将能够设定分割模式的最小单位定为作为1个处理单位的8像素×8像素×8帧。
当针对各最小单位分别设定分割模式时，如图16所示的那样，对于256像素×256像素的图像帧，按8像素×8像素的区域分别与分割模式的识别编号、即0～3的值建立对应。作为结果，分割模式图270成为32×32×2比特＝256字节的信息。若将这样的分割模式图270按每8帧来进行附加，则能够使分割模式针对时间方向也不同。
图16的例子是针对各最小单位的8像素×8像素分别设定分割模式的情况，但可以同样地针对各16像素×16像素、各64像素×32像素等、纵向或横向地连结了8像素×8像素的区域分别设定分割模式。此外，能够对全部区域设定一个分割模式等，多样地设定设定单位本身。分割模式图除了能够如上述那样实际解码压缩编码了的数据，根据与原来的图像的误差的小的程度而生成以外，还可以根据具有同样内容的测试图像，预先准备设定单位和对其设定的分割模式。
接着，说明压缩编码部124将已压缩编码的数据存储于压缩数据存储部130的步骤。在本实施方式中所生成的压缩数据与S3TC的纹理压缩方式一样，由调色板及索引构成。因此，解码处理能够直接利用图4的图像处理装置10的控制部100所包含的一般的GPU的渲染功能。
因此，希望将Y图像串的数据量化而生成的索引和调色板、及将CbCr图像串的数据量化而生成的索引和调色板，能够与通常的纹理图像同样地被读出并解码。因此，存储压缩数据时，使表示同一区域的Y图像串的量化数据和CbCr图像串的量化数据成为一个整体，由此能够以较少的数据访问来还原像素。
图17是用于说明压缩数据存储部130中的压缩数据的排列的图。如上述那样，为与RGB图像的压缩数据同等地处理在分解为Y图像串、CbCr图像串之后量化的数据，优选将表示同一区域的这些数据汇总地存储。因此，在本实施方式中，将针对Y图像串的压缩数据280和针对表示同一区域的CbCr图像串的压缩数据282汇总为一个存储单位。
图中，针对Y图像串的压缩数据280中的被标记为“I”的长方体分别是由1个编码单位生成的索引，被标记为“P”的长方体分别是由1个编码单位生成的调色板。针对CbCr图像串的压缩数据282也是一样。如上述那样，Y图像串的索引及调色板是每1个编码单位分别为4字节、2字节的数据。CbCr图像串的索引及调色板都是每1个编码单位为4字节的数据。
因此，如图17所示那样，将表示同一区域的、Y图像串的4个编码单位和CbCr图像串的1个编码单位的数据排列汇集到深度4字节的存储区域中。在此，针对Y图像串的压缩数据280中的调色板是各2字节的数据，故通过如图那样在深度方向上配置2个，而成为纵向2×横向4×4字节的数据。在此，所谓表示同一区域的Y图像串和CbCr图像串，例如是图12中的Y图像的图像块“A”、“B”、“C”、“D”、以及Cb图像的图像块“I”、Cr图像的图像块“K”等。
若这样汇集压缩数据，则能够直接存储在用于存储纵向2像素×横向4像素量的RGBA图像的数据的存储区域284中。如上述的那样，由于每8像素×8像素×8帧的处理单位内，Y图像串被形成32个编码单位，CbCr图像串被形成8个编码单位，故每1处理单位被形成8个这样的存储单位。由于1存储单位是与纵向2像素×横向4像素量的RGBA图像相同的数据尺寸，故每1处理单位成为8像素×8像素的RGBA图像量的数据。此特征在图15所示的任何一个分割模式下都是同样的。
图18示意性地表示了对动图像流整体施以之前所述的压缩编码处理时的数据的变化。动图像流由256像素×256像素的RGB图像的图像帧构成，假定按8帧单位来对其进行压缩。首先，将8张图像帧分割为8像素×8像素的处理单位（S20）。由此，在纵向及横向上形成32个处理单位。
接着，对各个处理单位如图12所示的那样施以YCbCr变换，生成Y图像、缩小了的CbCr图像，并将其分别分割为编码单位后，生成索引及调色板。将它们汇总，每1处理单位生成8个存储单位（S22）。结果，8帧量的RGB图像就被压缩为具有相同像素数的1帧RGBA图像。
在此，说明将上述的分割模式图嵌入压缩数据的方法。如图17所示的那样，一个存储单位内存储有4个Y图像串的调色板。各调色板中存储有作为亮度Y的代表值的2个值。因此，使用一个存储单位所包含的4个调色板中的在深度方向上排列配置的2个调色板，来嵌入用于识别4个分割模式的2比特的信息。
图19是用于说明向该2个调色板嵌入分割模式的识别编号的方法的图。假定2个调色板中的第1调色板290所保持的2个值从图的靠身前的起始地址起依次为“Pa0”、“Pa1”，第2调色板292所保持的2个值按照地址顺序依次为“Pb0”、“Pb1”。在此，通过“Pa0”与“Pa1”的大小关系、“Pb0”与“Pb1”的大小关系来表示共计2比特的信息。
例如若第1调色板290的“Pa0”比“Pa1”大，则定为“1”，除此之外，定为“0”，由此来表现1比特的信息。同样地，若第2调色板292的“Pb0”比“Pb1”大，则定为“1”，除此之外，则定为“0”，由此来表现1比特的信息。调色板所保持的2个值不论哪一个被存储于靠前的地址都不影响解码处理。因此，在各调色板中，通过根据分割模式的识别编号来更换将较大者的值存储于哪个地址，而能够将分割模式的识别编号嵌入到调色板中。
通过这样做，能够不在压缩数据本身之外另行生成分割模式图，而是将其包含于压缩数据内，并整体上抑制数据尺寸。此外，由于是嵌入到所对应的区域的压缩数据中，故参照时的效率较高。由于分割模式如上述那样最小是1处理单位（＝8个存储单位），故只要对8个存储单位中的其中一个的调色板对嵌入一个分割模式即可。另一方面，可以向8个存储单位所包含的调色板的16个对都嵌入相同的分割模式。
在对像这样已被嵌入分割模式的压缩数据进行解码时，首先针对各处理单位分别读出已被嵌入分割模式的Y图像串的调色板，确定该处理单位所被设定的分割模式的识别编号。由此，能够将像素与包含有描绘该像素所需的数据的索引及调色板的存储位置建立对应。只要照此读出并解码与描绘对象像素对应的Y图像串的索引及调色板、CbCr图像串的索引及调色板即可。
解码处理基本上能够与S3TC同样地进行。即，基于各调色板所保持的代表值生成对其插值的中间值，按照索引中的指定，将代表值或中间值作为各像素的像素值。另一方面，在本实施方式中，针对各编码单位分别生成调色板及索引，故基于将所决定的像素值与分割模式进行了对应的、图像串中的编码单位的排列，在空间方向及时间方向上重构像素的排列，由此还原Y图像串、CbCr图像串。然后，通过放大CbCr图像，生成Cb图像、Cr图像，能够得到与原来的图像帧对应的YCbCr图像。
通过以上所述的本实施方式，生成将多个动图像流阶层化了的阶层数据，一边根据来自用户的视点移动请求移动显示区域，一边显示动图像，其中所述多个动图像流是以不同的分辨率表示构成动图像的图像帧的动图像流。根据所要求的放缩率来切换用于帧描绘的数据的阶层，由此，即使是一般的高精细图像或分辨率高于此的动图像，也能够依次接受为确认细节而放大、或为俯瞰整体而缩小这样的请求，并响应性好地进行显示。
使构成阶层数据的各阶层的动图像流在任一阶层中都由相同尺寸的图像帧构成。结果，越是高分辨率的阶层，构成一个阶层的动图像流的数量越增多。通过这样统一图像帧的尺寸，既能够与阶层无关地将显示时的载入、解码等处理均一化，又能够进行适合于显示对象区域的局部性的高效的描绘处理。
此外，通过以多个动图像流构成一个图像，能够根据图像的空间局部性而针对各动图像流分别使帧率不同、或实施将一部分区域作为静止图像等的调整。此外，当在某分辨率的阶层的图像中存在能通过放大低分辨率侧的阶层的图像来代替使用的区域时，还能从数据中省去负责该区域的动图像流本身。
可以使动图像通篇不是由一个阶层数据构成，而是在时间轴上分割，由多个阶层数据构成。此外，可以使一个阶层数据所包含的各阶层的动图像流通篇作为一个动图像压缩数据，也可以按每预定数量的图像帧来分别作为不同的动图像压缩数据。通过像这样使得能根据动图像的内容及再现时间等适当选择阶层数据的数量和阶层数据内的动图像流的数据结构、压缩编码形式，能够基于动图像显示时的处理负荷、所要求的图像质量等多方面的观点实现最合适的显示方案。
此外，在本实施方式中，按每预定数量的图像帧来分别压缩编码动图像流。此时，分别生成以亮度Y、色差Cb及Cr来表示构成原动图像流的图像帧的RGB图像的图像。然后，将Cb图像及Cr图像缩小后，将各图像串按预定尺寸、预定的图像帧数来进行分割，生成编码单位。这样，针对Y图像串及CbCr图像串分别生成调色板及索引的数据。调色板是表示各图像的代表值的2个值的数据，索引是针对各像素分别指定通过对代表值线性插值而得到的中间值及代表值中的一者的数据。
调色板及索引的概念是以针对纹理的RGB图像的S3TC的压缩方法而导入的，但在本实施方式中，由于调色板的2个值针对亮度Y、色差Cb、色差Cr的任何一个都保持8比特，故图像质量不容易劣化。此外，由于分别对Y图像串及CbCr图像串进行量化，故与对RGB的三维参数进行量化时相比，参数的维数较小，量化误差较少。此外，使形成编码单位时的空间分割数、时间分割数的组合变化，能够灵活地提供适应于图像具有的空间方向的冗余性、时间方向的冗余性的数据结构。
若采用上述压缩方法，则能够与GPU的纹理映射处理同样地进行描绘处理，故有望实现切换阶层的同时读入显示区域的动图像流，以预定的帧率描绘图像这样的也能适用于本实施方式的阶层构造的动图像数据的高处理量。与以往的压缩编码方式相比，例如使用JPEG针对各图像帧分别解码时，根据图像的内容，解码的处理负荷容易增大。此外，MPEG因需要分别对多个动图像流进行I图像的解码，故存在处理负荷易增大，而若减少I图像，则针对时间方向的随机存取容易产生延迟（latency）这样的问题。
本实施方式中的压缩编码技术实现以GPU进行的解码，故与上述以往技术相比，能够进行高速描绘。其结果，能够既抑制CPU中的处理的负荷，又显示高精细的动图像。因此，除了能够在CPU中进一步地进行附加处理外，即使是便携式终端等CPU的处理性能不好的装置，丢帧等风险也会降低。该特征可以说符合伴随于SSD（Solid Sate Drive：固态硬盘）的普及等，从存储装置读出数据的速度被高速化，解码处理容易成为瓶颈的今后的技术动向。
作为结果，本压缩编码技术能够在保持图像质量的同时实现高处理量描绘，还能够实现低延迟的时间、空间性的随机存取，故通过适用于为一边使显示区域变化一边显示高精细动图像而使用的阶层构造的动图像数据，能够实现更高效的动图像显示技术。
以上基于实施方式对本发明进行了说明。本领域技术人员当理解上述实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。
〔标号说明〕
1图像处理系统、10图像处理装置、12显示装置、20输入装置、30第0阶层、32第1阶层、34第2阶层、36第3阶层、44显示处理部、50硬盘驱动器、60主存储器、70缓冲存储器、100控制部、102输入信息取得部、106载入流决定部、108载入部、110帧坐标决定部、112解码部、114显示图像处理部、120YCbCr变换部、122图像分割部、124压缩编码部、126动图像流存储部、128分割模式存储部、130压缩数据存储部。
〔工业可利用性〕
如上述那样，本发明能够适用于计算机、图像处理装置、图像显示装置、数据压缩装置等信息处理装置。

Claims (34)

1.一种图像处理装置，其特征在于，包括：
动图像数据存储部，存储将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，该多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧，
输入信息取得部，依次取得用户对显示区域的操作输入信息，以及
显示图像处理部，根据上述输入信息取得部所取得的上述操作输入信息，一边使上述动图像中要显示的区域变化，一边使用上述阶层动图像数据来生成要显示于显示装置的动图像；
其中，上述显示图像处理部根据由上述操作输入信息决定的分辨率的变化，来切换上述阶层动图像数据中的用于动图像的生成的阶层。
2.如权利要求1所述的图像处理装置，其特征在于，
构成上述阶层动图像数据的各阶层的图像帧串由将图像平面划分为预定尺寸而成的平铺图像单位的动图像流构成；
上述显示图像处理部根据上述操作输入信息，从上述动图像数据存储部读出与要显示的区域对应的动图像流的数据，生成动图像。
3.如权利要求1所述的图像处理装置，其特征在于，
构成上述阶层动图像数据的各阶层的图像帧串由针对将图像平面划分为预定尺寸而成的各平铺图像、各预定帧数分别被压缩编码了的动图像流构成；
上述显示图像处理部根据上述操作输入信息及时间的经过，从上述动图像数据存储部读出对应的动图像流的数据，生成动图像。
4.如权利要求2或3所述的图像处理装置，其特征在于，
上述阶层动图像数据包含从构成中除去与上述构成一个动图像的图像帧的一部分区域对应的上述动图像流后的阶层；
上述显示图像处理部通过使其它阶层的动图像流的放缩率变化来代替在用于动图像的生成的阶层中所除去的动图像流，生成动图像。
5.如权利要求2或3所述的图像处理装置，其特征在于，
上述阶层动图像数据包含与上述构成一个动图像的图像帧的一部分区域对应的上述动图像流的帧率不同于与其它区域对应的上述动图像流的帧率的阶层。
6.如权利要求1至5的任意一项所述的图像处理装置，其特征在于，
上述动图像数据存储部存储针对将上述一个动图像时间分割而成的多个动图像块所分别生成的多个上述阶层动图像数据；
上述显示图像处理部根据时间的经过而从上述动图像数据存储部依次读出上述阶层动图像数据，生成动图像。
7.一种图像处理方法，其特征在于，包括：
从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的步骤，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧，
取得用户对显示区域的操作输入信息的步骤，以及
根据上述操作输入信息，使上述动图像中要显示的区域变化的步骤；
其中，上述使动图像中要显示的区域变化的步骤包括根据由上述操作输入信息决定的分辨率的变化，来切换上述阶层动图像数据中的用于动图像的生成的阶层的步骤。
8.一种使计算机实现如下功能的计算机程序，其特征在于，
从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的功能，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧，
取得用户对显示区域的操作输入信息的功能，以及
根据上述操作输入信息，使上述动图像中要显示的区域变化的功能；
其中，上述使动图像中要显示的区域变化的功能包括根据由上述操作输入信息决定的分辨率的变化，来切换上述阶层动图像数据中的用于动图像的生成的阶层的功能。
9.一种记录有计算机程序的记录介质，其特征在于，
所述计算机程序使计算机实现如下功能：
从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的功能，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧，
取得用户对显示区域的操作输入信息的功能，以及
根据上述操作输入信息，使上述动图像中要显示的区域变化的功能；
其中，上述使动图像中要显示的区域变化的功能包括根据由上述操作输入信息决定的分辨率的变化，来切换上述阶层动图像数据中的用于动图像的生成的阶层的功能。
10.一种用于显示于显示装置的动图像文件的数据结构，其特征在于，
将由用户对显示区域的操作输入决定的分辨率与以不同的分辨率表示构成一个动图像的图像帧的多个图像帧串建立了对应，所述多个图像帧串是根据上述分辨率而被切换使用的图像帧串。
11.如权利要求10所述的动图像文件的数据结构，其特征在于，
上述多个图像帧串分别由将图像平面划分为预定尺寸而成的平铺图像单位的动图像流构成。
12.一种记录介质，其特征在于，
记录有具有权利要求10或权利要求11所述的数据结构的动图像文件。
13.一种数据压缩装置，其特征在于，包括：
数据分割部，将压缩对象的三维参数空间中的数据串在该三维方向上分割，形成编码单位，以及
压缩编码部，生成调色板和索引作为压缩数据，所述调色板针对上述数据分割部所形成的各编码单位，分别将数据中的2个值作为代表值而保持，所述索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据。
14.如权利要求13所述的数据压缩装置，其特征在于，还包括：
YCbCr变换部，作为上述数据串，生成将以亮度Y为像素值的Y图像、以色差Cb为像素值的Cb图像、以及以色差Cr为像素值的Cr图像按照时序顺序排列而成的Y图像串、Cb图像串及Cr图像串，其中所述Y图像、Cb图像及Cr图像是通过将具有针对图像帧平面及时间轴的像素值的动图像数据的各图像帧中的像素值变换为亮度Y及2个色差Cb、Cr，而针对各上述图像帧分别生成的；
上述数据分割部将上述YCbCr变换部所生成的Y图像串、Cb图像串及Cr图像串分别进行时空间分割而形成编码单位。
15.如权利要求13或14所述的数据压缩装置，其特征在于，
上述数据分割部通过按预先准备的多个分割模式进行上述数据串的分割，来形成多个编码单位的模式，使上述压缩编码部以各模式进行数据压缩，选择误差最少的分割模式。
16.如权利要求13至15的任意一项所述的数据压缩装置，其特征在于，
上述数据分割部针对上述三维参数空间的各预定单位的区域分别选择分割模式，生成使所选择的分割模式的标识信息与上述预定单位的区域建立了对应的分割模式图；
上述压缩编码部在针对由所选择的分割模式形成的各编码单位分别生成上述调色板和上述索引后，使上述分割模式图包含于上述压缩数据。
17.如权利要求14所述的数据压缩装置，其特征在于，
上述压缩编码部按Y图像串的各编码单位分别生成针对亮度Y的调色板及索引，并按Cb图像串及Cr图像串的各编码单位分别生成针对要素中包含（色差Cb，色差Cr）的参数的调色板及索引。
18.如权利要求14或17所述的数据压缩装置，其特征在于，
上述数据分割部在进行分割前将上述Cb图像及Cr图像在图像平面方向上以预定倍率缩小，并进行时空间分割，使得上述编码单位所包含的像素数在上述Y图像串、Cb图像串、Cr图像串中相等。
19.如权利要求13至18的任意一项所述的数据压缩装置，其特征在于，
上述压缩编码部生成将针对上述各编码单位分别生成的调色板及索引按原来的三维参数空间的预定区域单位汇集而成的存储单位，按该存储单位分别作为压缩数据存储于存储装置。
20.如权利要求16所述的数据压缩装置，其特征在于，
上述压缩编码部通过上述调色板所保持的2个值的大小关系及其存储顺序来表现上述分割模式的标识信息，由此将上述分割模式图嵌入按上述编码单位分别生成的上述调色板中。
21.如权利要求14、17及18的任意一项所述的数据压缩装置，其特征在于，
上述动图像数据构成将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，是将各阶层的图像帧串的图像平面划分为预定尺寸而成的平铺（tile）图像单位的动图像流，其中所述多个图像帧串以不同的分辨率表示构成一个动图像的图像帧。
22.一种数据解码装置，其特征在于，包括：
压缩数据读出部，从存储装置读出压缩数据，该压缩数据是将调色板与索引建立了对应，其中所述调色板针对将三维参数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据，
解码部，对上述调色板所保持的代表值线性插值而生成上述中间值，并按照上述索引所保持的信息，将各编码单位所包含的数据决定为上述代表值及上述中间值中的一者后，基于上述编码单位的排列，重构并生成原来的数据串，以及
输出部，输出所生成的数据串。
23.如权利要求22所述的数据解码装置，其特征在于，
上述压缩数据读出部读出与构成动图像的图像帧串对应，且以亮度Y为像素值的Y图像串、以色差Cb为像素值的Cb图像串、以色差Cr为像素值的Cr图像串作为上述数据串；
上述解码部通过基于上述编码单位的排列重构像素的排列，来生成上述Y图像串、Cb图像串、Cr图像串的数据；
上述输出部将基于上述Y图像串、Cb图像串、Cr图像串的数据来表示上述图像帧串的YCbCr图像串的数据输出到显示装置。
24.如权利要求22或23所述的数据解码装置，其特征在于，
上述压缩数据还包含按上述三维参数空间的预定区域单位保持识别上述三维方向的分割模式的信息的分割模式图；
上述解码部根据上述分割模式图所示的分割模式确定上述编码单位的排列，并基于此重构原来的数据的排列。
25.如权利要求22至24的任意一项所述的数据解码装置，其特征在于，
按原来的三维参数空间的预定的区域单位汇集的存储单位将上述压缩数据的上述各编码单位的调色板及索引存储于存储装置，
上述压缩数据读出部针对各解码对象的区域分别确定上述存储单位后，读出该存储单位所包含的调色板及索引。
26.一种数据压缩方法，其特征在于，包括：
从存储装置读出压缩对象的三维参数空间中的数据串的步骤，
将上述数据串在该三维方向上分割而形成编码单位的步骤，以及
生成调色板和索引，作为压缩数据存储于存储装置的步骤，其中所述调色板针对各上述编码单位分别保持数据中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据。
27.一种数据解码方法，其特征在于，包括：
从存储装置读出压缩数据的步骤，该压缩数据中将调色板与索引建立了对应，所述调色板针对将三维参数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据，
对上述调色板所保持的代表值线性插值而生成上述中间值，按照上述索引所保持的信息，将各编码单位所包含的数据决定为上述代表值及上述中间值中的一者后，基于上述编码单位的排列，重构并生成原来的数据串的步骤，以及
将所生成的上述数据串输出到输出装置的步骤。
28.一种计算机程序，其特征在于，使计算机实现如下功能：
从存储装置读出压缩对象的在三维参数空间中的数据串的功能，
将上述数据串在该三维方向上分割而形成编码单位的功能，以及
生成调色板和索引，作为压缩数据存储于存储装置的功能，其中所述调色板针对上述各编码单位分别保持数据中的2个值作为代表值，索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据。
29.一种计算机程序，其特征在于，使计算机实现如下功能：
从存储装置读出压缩数据的功能，该压缩数据中将调色板与索引建立了对应，所述调色板针对将三维参数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据，
对上述调色板所保持的代表值线性插值而生成上述中间值，按照上述索引所保持的信息，将各编码单位所包含的数据决定为上述代表值及上述中间值中的一者后，基于上述编码单位的排列，重构并生成原来的数据串的功能，以及
将所生成的上述数据串输出到输出装置的功能。
30.一种记录有计算机程序的记录介质，其特征在于，所述计算机程序使计算机实现如下功能：
从存储装置读出压缩对象的在三维参数空间中的数据串的功能，
将上述数据串在该三维方向上分割而形成编码单位的功能，以及
生成调色板和索引，作为压缩数据存储于存储装置的功能，其中所述调色板针对上述各编码单位分别保持数据中的2个值作为代表值，索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据。
31.一种记录有计算机程序的记录介质，其特征在于，所述计算机程序使计算机实现如下功能：
从存储装置读出压缩数据的功能，该压缩数据中将调色板与索引建立了对应，所述调色板针对将三维参数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码单位的原来的数据，
对上述调色板所保持的代表值线性插值而生成上述中间值，按照上述索引所保持的信息，将各编码单位所包含的数据决定为上述代表值及上述中间值中的一者后，基于上述编码单位的排列，重构并生成原来的数据串的功能，以及
将所生成的上述数据串输出到输出装置的功能。
32.一种压缩动图像文件的数据结构，其特征在于，
使调色板与索引建立对应，并与上述图像帧的图像区域对应地排列，其中所述调色板是针对将与构成动图像的图像帧串对应、以亮度Y为像素值的Y图像串、以色差Cb为像素值的Cb图像串、以色差Cr为像素值的Cr图像串分别时空间分割而形成的各编码单位所分别生成的，保持像素值中的2个值作为代表值，所述索引针对各像素分别保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息。
33.如权利要求32所述的压缩动图像文件的数据结构，其特征在于，
还将分割模式图与上述调色板和索引建立对应，该分割模式图按上述图像帧的预定图像区域单位保持用于识别上述时空间分割时的分割模式的信息。
34.一种记录有压缩动图像文件的记录介质，其特征在于，
所述压缩动图像文件具有权利要求32或权利要求33所述的数据结构。
CN201180043291.7A 2010-09-13 2011-07-06 图像处理装置和图像处理方法 Active CN103098466B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010-204806 2010-09-13
JP2010-204805 2010-09-13
JP2010204806A JP5484276B2 (ja) 2010-09-13 2010-09-13 データ圧縮装置、データ復号装置、データ圧縮方法、データ復号方法、および圧縮動画像ファイルのデータ構造
JP2010204805A JP5544253B2 (ja) 2010-09-13 2010-09-13 画像処理装置、画像処理方法、および動画像ファイルのデータ構造
PCT/JP2011/003871 WO2012035691A1 (ja) 2010-09-13 2011-07-06 画像処理装置、画像処理方法、動画像ファイルのデータ構造、データ圧縮装置、データ復号装置、データ圧縮方法、データ復号方法、および圧縮動画像ファイルのデータ構造

Publications (2)

Publication Number Publication Date
CN103098466A true CN103098466A (zh) 2013-05-08
CN103098466B CN103098466B (zh) 2016-08-17

Family

ID=45831187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180043291.7A Active CN103098466B (zh) 2010-09-13 2011-07-06 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (2) US9218640B2 (zh)
EP (2) EP3334161B1 (zh)
CN (1) CN103098466B (zh)
WO (1) WO2012035691A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464888A (zh) * 2014-03-17 2017-02-22 诺基亚技术有限公司 用于视频编码和解码的方法和技术设备
CN106464912A (zh) * 2014-05-23 2017-02-22 寰发股份有限公司 调色板表预测和发信的方法和装置
CN108369751A (zh) * 2015-12-14 2018-08-03 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN110519604A (zh) * 2014-11-12 2019-11-29 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
CN111221924A (zh) * 2018-11-23 2020-06-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置、存储介质和网络设备
TWI718101B (zh) * 2014-08-04 2021-02-11 美商高通公司 調色盤模式編碼及解碼設計
CN113261033A (zh) * 2019-01-08 2021-08-13 索尼集团公司 信息处理装置和信息处理方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5548671B2 (ja) * 2011-12-27 2014-07-16 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、画像提供サーバ、情報処理装置、および画像処理方法
JP5722761B2 (ja) * 2011-12-27 2015-05-27 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US10136141B2 (en) * 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9466124B2 (en) * 2014-11-10 2016-10-11 Intel Corporation Compression using index bits in MSAA
US20160283483A1 (en) * 2015-03-27 2016-09-29 Google Inc. Providing selected images from a set of images
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9986135B2 (en) * 2015-11-13 2018-05-29 Texas Instruments Incorporated Spatially localized cluster compression
US9892542B2 (en) * 2015-11-19 2018-02-13 Adobe Systems Incorporated Creating bump and normal maps from images with multi-scale control
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10552717B2 (en) * 2016-03-16 2020-02-04 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, and storage medium
CN114359487A (zh) * 2016-09-16 2022-04-15 松下电器（美国）知识产权公司 三维数据制作方法以及三维数据制作装置
JP6840506B2 (ja) * 2016-10-20 2021-03-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
WO2018131233A1 (ja) * 2017-01-16 2018-07-19 ソニーセミコンダクタソリューションズ株式会社 送信制御装置、受信制御装置および送受信制御システム
CN108010112B (zh) * 2017-11-28 2023-08-22 腾讯数码（天津）有限公司 动画处理方法、装置及存储介质
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189955A (zh) * 1995-06-29 1998-08-05 汤姆森多媒体公司 分层压缩视频数据的编解码系统
CN1258366A (zh) * 1998-03-18 2000-06-28 松下电器产业株式会社 运动图象再生质量控制装置及其控制方法
JP2003348562A (ja) * 2002-05-27 2003-12-05 Telecommunication Advancement Organization Of Japan Ｃｇ画像配信システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
US6819793B1 (en) * 2000-06-30 2004-11-16 Intel Corporation Color distribution for texture and image compression
JP4017436B2 (ja) * 2002-04-23 2007-12-05 日本電信電話株式会社 ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体
JP2004234476A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置
SE526226C2 (sv) * 2003-12-19 2005-08-02 Ericsson Telefon Ab L M Bildbehandling
WO2006006915A1 (en) * 2004-07-08 2006-01-19 Telefonaktiebolaget Lm Ericsson (Publ) Multi-mode image processing
JP4371982B2 (ja) * 2004-11-08 2009-11-25 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US7714873B2 (en) * 2006-06-29 2010-05-11 Microsoft Corporation Strategies for compressing textures
JP4835554B2 (ja) 2007-09-06 2011-12-14 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びにプログラム
GB2457646B (en) * 2007-10-30 2010-03-03 Imagination Tech Ltd Method and apparatus for compressing and decompressing data
JP4978598B2 (ja) * 2008-09-17 2012-07-18 コニカミノルタビジネステクノロジーズ株式会社 画像処理方法、画像処理装置、および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189955A (zh) * 1995-06-29 1998-08-05 汤姆森多媒体公司 分层压缩视频数据的编解码系统
CN1258366A (zh) * 1998-03-18 2000-06-28 松下电器产业株式会社 运动图象再生质量控制装置及其控制方法
JP2003348562A (ja) * 2002-05-27 2003-12-05 Telecommunication Advancement Organization Of Japan Ｃｇ画像配信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRANCOIS-OLIVIER DEVAUX: "Remote Interactive Browsing of Video Surveillance Content Based on JPEG 2000", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464888A (zh) * 2014-03-17 2017-02-22 诺基亚技术有限公司 用于视频编码和解码的方法和技术设备
CN106464912A (zh) * 2014-05-23 2017-02-22 寰发股份有限公司 调色板表预测和发信的方法和装置
TWI718101B (zh) * 2014-08-04 2021-02-11 美商高通公司 調色盤模式編碼及解碼設計
CN110519604A (zh) * 2014-11-12 2019-11-29 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
CN110519604B (zh) * 2014-11-12 2022-04-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
CN108369751A (zh) * 2015-12-14 2018-08-03 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN108369751B (zh) * 2015-12-14 2023-09-08 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN111221924A (zh) * 2018-11-23 2020-06-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置、存储介质和网络设备
CN111221924B (zh) * 2018-11-23 2023-04-11 腾讯科技（深圳）有限公司 一种数据处理方法、装置、存储介质和网络设备
CN113261033A (zh) * 2019-01-08 2021-08-13 索尼集团公司 信息处理装置和信息处理方法

Also Published As

Publication number Publication date
US9218640B2 (en) 2015-12-22
WO2012035691A1 (ja) 2012-03-22
EP2618565A4 (en) 2014-04-16
EP3334161B1 (en) 2019-08-21
EP2618565A1 (en) 2013-07-24
CN103098466B (zh) 2016-08-17
US9607357B2 (en) 2017-03-28
US20160071235A1 (en) 2016-03-10
EP3334161A1 (en) 2018-06-13
US20130176211A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
CN103098466A (zh) 图像处理装置、图像处理方法、动图像文件的数据结构、数据压缩装置、数据解码装置、数据压缩方法、数据解码方法及压缩动图像文件的数据结构
US11458393B2 (en) Apparatus and method of generating a representation of a virtual environment
JP5826730B2 (ja) 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
JP2013135463A (ja) 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US8830300B2 (en) Multiscalar stereo video format conversion
EP3657800A1 (en) Method and device for coding image, and method and device for decoding image
CN102947866B (zh) 图像处理装置、内容生成辅助装置、图像处理方法、内容生成辅助方法
RU2733218C2 (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
JP7320146B2 (ja) ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート
CN111901666B (zh) 图像处理方法、装置、电子设备以及存储介质
KR101709822B1 (ko) 부호화된 텍셀 블록에서 동작할 수 있는 복호 시스템 및 방법
JP5544253B2 (ja) 画像処理装置、画像処理方法、および動画像ファイルのデータ構造
KR102273141B1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR102356037B1 (ko) 다시점 360도 영상 스트리밍 방법 및 장치
JP5484276B2 (ja) データ圧縮装置、データ復号装置、データ圧縮方法、データ復号方法、および圧縮動画像ファイルのデータ構造
KR20000029715A (ko) 화상매핑장치및방법과화상생성장치및방법
JP5520890B2 (ja) 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造
CN105376593B (zh) 一种信息处理方法、终端及系统
CN110119313A (zh) 图像处理方法及图像处理装置
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
EP3886055A1 (en) Image coding system and method
CN118214872A (zh) 一种超高清无损图像编解码方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant