CN102484674A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN102484674A
CN102484674A CN2011800036811A CN201180003681A CN102484674A CN 102484674 A CN102484674 A CN 102484674A CN 2011800036811 A CN2011800036811 A CN 2011800036811A CN 201180003681 A CN201180003681 A CN 201180003681A CN 102484674 A CN102484674 A CN 102484674A
Authority
CN
China
Prior art keywords
progressive
code stream
ken
image processing
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800036811A
Other languages
English (en)
Inventor
福原隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102484674A publication Critical patent/CN102484674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明涉及能够提高编码了多视域图像的码流的便利性的图像处理装置和方法。渐进确定单元(183)基于对每个输入视域的码流(112)的渐进结构的分析结果或者从外部提供的对渐进结构的指定来确定合并后的码流的渐进结构。合并单元(184)基于该确定来合并每个码流以便具有渐进结构。渐进信息生成单元(185)为合并后的码流(194)生成渐进信息，并且将该信息嵌入到预定位置中。本发明例如可应用到图像处理装置。

Description

图像处理装置和方法
技术领域
本发明涉及图像处理装置和方法，更具体而言涉及被配置为使得可以提高编码了多视域图像(multiview image)的码流(codestream)的便利性的图像处理装置和方法。
背景技术
近来，支持立体视觉(也称为3D图像显示)的电影已经在普及了。例如，能够进行3D显示的电影(也称为3D电影)已经在被积极地制作并且变得与仅能够进行传统2D显示的电影(也称为2D电影)有很大差别。在3D电影的情况下，内容(图像数据等等)根据MPEG-4 AVC格式的MVC(多视域视频编码)修正被高效压缩并被记录到诸如蓝光盘(Blu-rayDisc，注册商标)之类的记录介质。
用户能够在家中通过利用消费类蓝光盘播放器重放内容并在佩戴立体眼镜(也称为3D眼镜)的同时观看它来欣赏3D电影。
这种3D电影和其他立体内容(3D内容)正在迅速普及。3D内容中的主流图像是利用人眼的双眼视差的立体图像(stereo image)。这种图像通过分别向用户的两眼示出左眼图像和右眼图像而使得用户感知到视差并且三维地感知到对象。
然而，利用上述的使用双眼视差的立体视觉，不能实现从任意方向的立体视觉。实现这一点要求从对象图像中提取深度数据(depth_map)。
关于利用图像处理/分析技术从图像数据中自动提取大致的深度信息的研究正被蓬勃进行着(例如，参见NPL 1和NPL 2)。这种技术，以及使得可以比较容易地提取来自多个相机的图像中的对象的深度信息的技术，提供了一个立足点，基于该立足点，不仅能够从双眼视点生成立体图像，而且能够从多个自由视点生成立体图像。
然而，虽然双眼立体图像的基本数据量是有限的，但多个视点的图像数据及其深度数据总计起来可产生巨大数据量。因此，尽可能高效地压缩这种数据变得很重要。
例如，在立体图像的情况下，存在通过分别对左视域图像和右视域图像进行编码而生成的两个编码码流。类似地，在多视域的情况下，存在与视域数目相等数目的编码码流。从而，将这多个码流合并成单个编码码流已被认为是一种方法。这样做可以提高编码效率。
同时，JPEG 2000是一种用于静止图像的ISO国际标准，其不仅被实现为数字影院标准编解码器，而且也被广泛用于安保、档案、医疗成像、广播等等。JPEG 2000的丰富功能之一是可扩展性(scalability)。此功能将单个编码码流划分成属于同一类别的多个流。结果，通过重新布置编码码流中的渐进(progression)(顺序)，可以实现分辨率和图像质量等等的可扩展性(解码图像的可扩展性)。因此，可以将码流用在更多样的应用中，从而提高了码流的便利性。
引文列表
非专利文献
NPL 1：″Fast Approximate Energy Minimization via Graph Cuts，″IEEETransactions on Pattern Analysis and Machine Intelligence，Vol.23，No.11，November 2001。
NPL 2：″Stereo Matching Using Belief Propagation，″IEEE Transactionson Pattern Analysis and Machine Intelligence，Vol.25，No.7，July 2003。
发明内容
技术问题
然而，对于合并多视域码流的情况，尚未定义作为用于实现解码图像可扩展性的数据结构的渐进。因此，在合并多视域码流以生成单个码流的情况下，存在不能使用渐进功能并且不能提高码流便利性的危险。
考虑到这种情况而提出的本发明的一个目的是通过为对多视域图像编码并生成单个码流的情况定义渐进来使得可以提高编码了多视域图像的码流的便利性。
解决问题的方案
本发明的一个方面是一种图像处理装置，设有：分析装置，用于分析编码了图像的多视域码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，确定装置，用于根据分析装置给出的分析结果确定多视域码流的合并后渐进结构，以及合并装置，用于根据由确定装置确定的合并后渐进结构合并多视域码流，并且生成具有渐进结构的单个码流。
码流可具有针对层、分辨率级别、成分和位置的渐进结构。
确定装置可确定合并后渐进结构以使得针对视域的渐进结构被添加到由分析装置分析出的渐进结构。
在由分析装置分析出的渐进结构具有按层、分辨率级别、成分和位置的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按视域、层、分辨率级别、成分和位置的顺序的层次结构。
在由分析装置分析出的渐进结构具有按层、分辨率级别、成分和位置的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按层、视域、分辨率级别、成分和位置的顺序的层次结构。
在由分析装置分析出的渐进结构具有按分辨率级别、层、成分和位置的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按视域、分辨率级别、层、成分和位置的顺序的层次结构。
在由分析装置分析出的渐进结构具有按分辨率级别、层、成分和位置的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按分辨率级别、视域、层、成分和位置的顺序的层次结构。
在由分析装置分析出的渐进结构具有按分辨率级别、位置、成分和层的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按视域、分辨率级别、位置、成分和层的顺序的层次结构。
在由分析装置分析出的渐进结构具有按分辨率级别、位置、成分和层的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按分辨率级别、位置、视域、成分和层的顺序的层次结构。
在由分析装置分析出的渐进结构具有按位置、成分、分辨率级别和层的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按视域、位置、成分、分辨率级别和层的顺序的层次结构。
在由分析装置分析出的渐进结构具有按位置、成分、分辨率级别和层的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按位置、视域、成分、分辨率级别和层的顺序的层次结构。
在由分析装置分析出的渐进结构具有按成分、位置、分辨率级别和层的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按视域、成分、位置、分辨率级别和层的顺序的层次结构。
在由分析装置分析出的渐进结构具有按成分、位置、分辨率级别和层的顺序的层次结构的情况下，确定装置可认为合并后渐进结构是按成分、视域、位置、分辨率级别和层的顺序的层次结构。
图像处理装置可还设有渐进信息生成装置，用于生成渐进信息，即关于合并后渐进结构的信息，并将其添加到码流。
渐进信息生成装置可在合并后码流中包括的JPEG 2000 COD标记片段中的SGcod、SPcoc和Ppoc的至少一者中定义合并后渐进结构的层次结构作为渐进信息。
渐进信息生成装置可在合并后码流中包括的JPEG 2000 SIZ标记片段中的Rsiz中定义由合并装置合并的码流中的视域数目作为渐进信息。
图像处理装置可还设有指令接收装置，用于接收关于渐进结构的外部指令，其中确定装置根据由分析装置给出的分析结果和由指令接收装置接收到的外部指令来确定合并后渐进结构。
图像处理装置可还设有编码装置，用于对各个视域的图像编码以使之具有渐进结构，其中分析装置分析由编码装置对图像编码而生成的各个视域的码流的渐进结构。
图像处理装置可还设有深度数据生成装置，用于从各个视域的图像生成指示图像深度的深度数据，其中编码装置还对由深度数据生成装置生成的深度数据编码，并且合并装置把由编码装置生成的深度数据的码流与其他多视域码流一起合并为单个码流。
本发明的一个方面是一种用于图像处理装置的图像处理方法，其中，分析手段分析编码了图像的多视域码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，确定手段根据分析结果确定多视域码流的合并后渐进结构，并且合并手段根据所确定的合并后渐进结构合并多视域码流，并且生成具有渐进结构的单个码流。
本发明的另一方面是一种图像处理装置，设有：分析装置，用于分析单个码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，该单个码流是通过对编码了图像的多视域码流进行合并而生成的，以及分割装置，用于根据由分析装置分析出的渐进结构中包括的针对视域的渐进结构，把合并后的单个码流分割成多视域码流。
图像处理装置可还设有解码装置，用于对由分割装置分割出的各个视域的码流进行解码。
图像处理装置可还设有渐进信息生成装置，用于为由分割装置分割出的各个视域的码流生成渐进信息，即关于渐进结构的信息，并将其添加到码流。
合并后的单个码流可具有针对视域、层、分辨率级别、成分和位置的渐进结构。
本发明的另一方面是一种用于图像处理装置的图像处理方法，其中，分析手段分析单个码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，该单个码流是通过对编码了图像的多视域码流进行合并而生成的，并且分割手段根据分析出的渐进结构中包括的针对视域的渐进结构，把合并后的单个码流分割成多视域码流。
在本发明的一个方面中，分析编码了图像的多视域码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，根据分析结果为多视域码流确定合并后渐进结构，并且根据所确定的合并后渐进结构合并多视域码流，并生成具有渐进结构的单个码流。
在本发明的另一方面中，分析单个码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，该单个码流是通过对编码了图像的多视域码流进行合并而生成的，并且根据分析出的渐进结构中包括的针对视域的渐进结构，把合并后的单个码流分割成多视域码流。
本发明的有利效果
根据本发明，可以处理图像。更具体而言，可以提高编码了多视域图像的码流的便利性。
附图说明
图1是示出应用了本发明的图像编码装置的示例性主要配置的框图。
图2是示出编码器的示例性主要配置的框图。
图3是示出示例性的子带(subband)配置的示图。
图4是示出示例性的子带配置的示图。
图5是示出各个子带中的码块(code-block)的示图。
图6是说明示例性的比特平面(bit-plane)的示图。
图7是说明示例性的编码过程(encoding pass)的示图。
图8是说明示例性的系数扫描的示图。
图9是说明层的示图。
图10是说明示例性的层配置的示图。
图11是示出码流生成器的示例性主要配置的框图。
图12是说明示例性的渐进功能的示图。
图13是说明另一示例性渐进功能的示图。
图14是说明JPEG 2000 SGcod参数的示图。
图15是说明示例性的JPEG 2000渐进顺序参数的示图。
图16是说明应用了本发明的示例性码流解码顺序的示图。
图17是说明应用了本发明的另一示例性码流解码顺序的示图。
图18是说明应用了本发明的另一示例性码流解码顺序的示图。
图19是说明应用了本发明的另一示例性码流解码顺序的示图。
图20是示出示例性的渐进顺序扩展的示图。
图21是说明JPEG 2000能力R大小参数定义的示图。
图22是说明应用了本发明的定义视域数目的示例性方法的示图。
图23是说明多输入编码处理的示例性流程的流程图。
图24是说明编码处理的示例性流程的流程图。
图25是说明码流生成处理的示例性流程的流程图。
图26是示出应用了本发明的图像解码装置的示例性主要配置的框图。
图27是示出码流分析器的示例性主要配置的框图。
图28是示出解码器的示例性主要配置的框图。
图29是说明多输出解码处理的示例性流程的流程图。
图30是说明分析处理的示例性流程的流程图。
图31是说明解码处理的示例性流程的流程图。
图32是示出应用了本发明的图像编码装置的示例性主要配置的框图。
图33是说明示例性深度数据的示图。
图34是说明多输入编码处理的另一示例性流程的流程图。
图35是说明应用了本发明的网络系统的示例性主要配置的示图。
图36是示出应用了本发明的个人计算机的示例性配置的框图。
具体实施方式
以下，将描述用于实现本发明的实施例(以下称为实施例)。描述将按以下顺序进行。
1.第一实施例(图像编码装置)
2.第二实施例(图像解码装置)
3.第三实施例(图像编码装置)
4.第四实施例(网络系统)
5.第五实施例(个人计算机)
<1.第一实施例>
[图像编码装置配置]
图1是示出应用了本发明的图像编码装置的示例性主要配置的框图。
图1中所示的图像编码装置100包括多个输入(多视域输入)，通过分别对输入到各个输入的多视域图像数据编码来生成码流，而且还合并这些码流以生成单个码流。此时，图像编码装置100生成具有例如JPEG2000(联合图片专家组2000)中的用于实现解码图像可扩展性的渐进功能的码流。换言之，图像编码装置100生成可用在更多样的应用中的非常便利的码流。
如图1中所示，图像编码装置100接受X个视域的图像数据。图像编码装置100包括编码器101-1至101-X，以及码流生成器102。
编码器101-1至101-X分别对X个视域的输入图像数据(输入图像数据111-1至111-X)编码，并且生成X个码流(码流112-1至112-X)。
码流生成器102接受来自编码器101-1至101-X的输出(码流112-1至112-X)，并且基于外部指令113而合并它们以生成并输出单个码流(码流114)。
以下，编码器101-1至101-X在不必单独区分它们的情况下将被简称为编码器101。同样，输入图像数据111-1至111-X在不必单独区分它们的情况下将被简称为输入图像数据111。另外，码流112-1至112-X在不必单独区分它们的情况下将被简称为码流112。
如后文所述，各个编码器101生成码流112以使得它们对于图像质量和分辨率等等具有渐进结构，渐进结构是用于实现解码图像可扩展性的数据结构。码流生成器102基于外部指令113生成码流114，使得它除了具有码流112中包括的渐进结构以外，还具有针对多视域的渐进结构(实现多视域相关可扩展性的数据结构，或者换言之，使得可以控制对哪些视域编码以及按什么顺序编码等等的数据结构)。
虽然在前文中编码器101被描述为是对各个视域分别设置的，但也可配置成单个编码器101能够分别对多个视域的输入图像数据111编码。例如，图像编码装置100可被配置为包括一个编码器101，并且该编码器101可被配置为分别对X个视域的输入图像数据111编码并生成X个视域的码流。
[编码器配置]
图2是示出图1中的编码器101的示例性主要配置的框图。编码器101是进行编码以生成具有类似于JPEG 2000格式的渐进结构的码流的编码器。也可以配置成编码器101根据JPEG 2000格式对图像编码。
如图2中所示，编码器101包括DC电平移动器131、小波变换单元132、量化器133、码块化单元134以及比特平面展开器135。
DC电平移动器131对如箭头161所示的输入到编码器101中的图像数据(图1中的输入图像数据111)的DC成分进行电平移动以便高效地进行随后的小波变换。例如，RGB信号具有正值(无符号整数)。从而，DC电平移动器131利用这个事实并且进行使原始信号的动态范围变成一半的电平移动，从而尝试提高压缩率。因此，在像YCbCr信号的色度数据Cb和色度数据Cr中那样原始信号是具有带符号(正和负)整数值的信号的情况下，不进行电平移动。
小波变换单元132是由包括普通的低通滤波器和高通滤波器的滤波器组实现的。另外，由于数字滤波器通常具有与其多个抽头相当的冲击响应(滤波器系数)，所以小波变换单元132包括缓冲器，该缓冲器预缓冲数目与能够被滤波的数目相等的输入图像。
一旦小波变换单元132如箭头162所示从DC电平移动器131输出的图像数据中获取了用于滤波的至少最低必要量的数据，小波变换单元132就利用给定的小波变换滤波器对经DC电平移动的图像数据进行滤波，并且生成小波系数。这里，小波变换单元132进行将图像数据分离成低通成分和高通成分并且在图像的垂直方向和水平方向上分别进行的滤波。
然后，小波变换单元132在垂直方向和水平方向上对作为低通成分被分离出的子带递归地重复这种滤波处理给定次数。这是因为图像的能量大多集中在低通成分中，例如如图3中所示。
图3是示出示例性的子带配置的示图。如图3中所示，无论是在分解级别1的状态中还是在分解级别3的状态中，图像的能量都大多集中在低通成分中。
图4是示出具有分解级别4的小波变换处理生成的子带的示例性配置的示图。
在此情况下，小波变换单元132首先对整个图像滤波并且生成子带1LL(未示出)、1HL、1LH和1HH。接下来，小波变换单元132对所生成的子带1LL再次进行滤波，并且生成子带2LL(未示出)、2HL、2LH和2HH。此外，小波变换单元132对所生成的子带2LL再次进行滤波，并且生成3LL、3HL、3LH和3HH。此外，小波变换单元132对所生成的子带3LL再次进行滤波，并且生成4LL、4HL、4LH和4HH。
这样，当进行直到分解级别4的分析处理时，生成了13个子带。如图4中所示，每次分解级别提高1时，子带的大小在垂直方向和水平方向上就分别减半。
换言之，如果单遍分析滤波被应用到例如水平方向具有1920个像素的图像的基带图像数据，则水平方向上具有960个像素的四个子带(1LL、1HL、1LH、1HH)被生成。此外，如果单遍分析滤波被应用到子带1LL，则水平方向上具有480个像素的四个子带(2LL、2HL、2LH、2HH)被生成。此外，如果单遍分析滤波被应用到子带2LL，则水平方向上具有240个像素的四个子带(3LL、3HL、3LH、3HH)被生成。此外，如果单遍分析滤波被应用到子带3LL，则水平方向上具有120个像素的四个子带(4LL、4HL、4LH、4HH)被生成。
然而，小波变换中的分解级别的数目是任意的。
小波变换单元132将针对每个子带的通过滤波而获得的小波系数提供给量化器133，如箭头163所示。量化器133对提供来的小波系数进行量化。量化方法是任意的，但一般是除以量化步长大小的标量量化。量化器133将通过量化获得的量化系数提供给码块化单元134，如箭头164所示。此时，在随后的级中取代小波系数提供量化系数，但基本上仍是以与小波系数的情况相同的方式对待量化系数的。因此，除非必要否则以下将省略对这一点的说明，并且量化系数将被简称为系数或系数数据。
同时，在编码器101根据无损编码格式对图像数据编码从而原始数据可通过解码处理完全恢复的情况下，量化器133的处理被省略，并且小波变换单元132的输出被提供到码块化单元134，如箭头165所示。
在码块化单元134，小波系数被划分成给定大小的码块，码块是熵编码的处理单位。图5示出了每个子带中的码块的位置关系。例如，在所有分解的子带中生成具有大约64×64像素大小的码块。随后的各个处理单元分别处理这些码块。
码块化单元134将各个码块提供给比特平面展开器135，如箭头166所示。比特平面展开器135根据比特有效性(significance)将系数数据展开到各个比特平面中。
比特平面是通过如下方式获得的：取得由给定数目的小波系数构成的系数群组，并且以比特为单位，即按比特有效性来划分(切割)它。换言之，比特平面是系数群组中具有相同有效性的比特(系数比特)的集合。
图6示出了其具体示例。图6的左侧示出了水平方向和垂直方向各四个、总共16个系数。在这16个系数中，具有最大幅值的是13，其在二进制中被表述为1101。比特平面展开器135将这样的系数群组展开成表述幅值的四个比特平面(幅值比特平面)和表述符号的一个比特平面(符号比特平面)。换言之，图6的左侧的系数被展开到四个幅值比特平面和一个符号比特平面中，如图6的右侧所示。这里，幅值比特平面中的元素都取值0或1。另外，表述符号的比特平面中的元素取以下值中的一种：指示系数值是正的值，指示系数值是0的值，以及指示系数值是负的值。
编码器101还包括比特建模单元136、算术编码器137、比特率加法器138、率控制器139、头部生成器140以及分组生成器141。
比特平面展开器135把展开的比特平面提供给比特建模单元136，如箭头167所示。
比特建模单元136和算术编码器137充当EBCOT(具有优化截取的嵌入式编码)单元151，并且对输入的系数数据执行JPEG 2000标准中定义的被称为EBCOT的熵编码。EBCOT是对给定大小的各个块编码并同时测量这些块中的系数的总比特率的技术。
比特建模单元136遵循JPEG 2000标准中定义的程序对系数数据进行比特建模，并且把诸如控制信息、符号和上下文信息之类的信息提供给算术编码器137，如箭头168所示。算术编码器137对系数比特平面进行算术编码。
码块的水平和垂直大小是从4到256的2的幂，常用的大小是32×32，64×64、128×32等等。系数值被表述为n比特的有符号二进制数，其中bit0到bit(n-2)表示从LSB到MSB的各个比特。剩余的比特表述符号。码块的编码是通过按从MSB比特平面开始的顺序应用的以下三个编码过程进行的。
(1)有效性传播过程(Significance Propagation Pass)
(2)幅值细化过程(Magnitude Refinement Pass)
(3)清理过程(Cleanup Pass)
三个编码过程的使用顺序在图7中示出。首先，通过清理过程对比特平面(n-1)(MSB)编码。随后，在朝着LSB前进并按有效性传播过程、幅值细化过程和清理过程的顺序使用三个编码过程的同时，相继进行各个比特平面的编码。
然而，在实践中，从MSB开始1首次出现的第n比特平面被写入在头部中，并且从MSB开始的连续全0比特平面(称为零比特平面)不被编码。按此顺序，按此顺序的三个编码过程被重复用于编码，并且通过在任意比特平面的任意编码过程截止编码，取得了比特率和图像质量之间的折衷(即，进行了率控制)。
接下来，将利用图8来描述系数扫描。码块被划分成条带，每个条带的高度为四个系数。条带的宽度等于码块的宽度。扫描顺序是扫描扁历单个码块中的所有系数的顺序，并且是在每个码块中从顶部条带进行到底部条带、在每个条带中从左列进行到右列并且在每列中从顶进行到底的顺序。在每个编码过程中，码块中的所有系数按此扫描顺序被处理。
以下，将论述三个编码过程。以下都是JPEG 2000书面标准(参考文献：ISO/IEC 15444-1，Information technology-JPEG 2000，Part 1：Corecoding system)中记载的内容。
(1)有效性传播过程(SP过程)：
对比特平面编码的有效性传播过程对在其八个近邻中有至少一个有效系数的非有效系数的比特平面值进行算术编码。在经编码的比特平面值是1的情况下，其符号随后被MQ编码为+或-。
现在将描述与JPEG 2000具体有关的术语“有效性”。有效性是编码器为各个系数维持的状态。默认有效性值是0，指示非有效系数，但当对该系数编码1时，该值变为1，指示有效系数，并且在此之后该值继续为1。因此，有效性也可被说成是指示是否已经编码了有效数字的标志。如果系数在给定的比特平面中变成有效的，其在随后的比特平面中保持有效。
(2)幅值细化过程(MR过程)：
对比特平面编码的幅值细化过程对在对比特平面编码的有效性传播过程中未被编码的有效系数的比特平面值进行MQ编码。
(3)清理过程(CU过程)：
对比特平面编码的清理过程对在对比特平面编码的有效性过程中未被编码的非有效系数的比特平面值进行MP编码。在经编码的比特平面值是1的情况下，其符号随后被MQ编码为+或-(符号信息)。
同时，在上述三个编码过程的MQ编码中，取决于情况分别使用ZC(零编码)、RLC(游程长度编码)、SC(符号编码)和MR(幅值细化)。这里，使用被称为MQ编码的算术编码。MQ编码是在JBIG2中定义的自适应二进制算术编码(参考文献：ISO/IEC FDIS 14492，″Lossy/Lossless Coding of Bi-level Images″，March 2000)。
返回图2，算术编码器137将所生成的码流提供给比特率加法器138，如箭头169所示。比特率加法器138对码流中的比特率的累积总计进行计数和保存。
然后，比特率加法器138把码流提供给头部生成器140和分组生成器141，如箭头172和箭头173所示，而且还把比特率的累积总计提供给率控制器139，如箭头170所示。率控制器139基于所提供的比特率的累积总计来控制EBCOT单元151，如箭头171所示，并且一旦累积总计达到目标比特率就终止编码。换言之，率控制器139进行对输出比特率的控制(码流的率控制)。
分组生成器141对提供来的码流进行分组化。头部生成器140为分组生成头部信息并将头部信息提供给分组生成器141，如箭头174所示。分组生成器141利用头部信息进行分组化。
在图9中概念性地示出分组。在图9所示的示例中，小波变换被执行了三次，结果，该示例示出生成了从最低的分组-1到最高的分组-4的四个分组。因此，这各个分组中的子带中存在的所有码块的编码码流被封装在各个分组中。
另外，图10是对编码过程被分成从层1到层L的L层的情况的图示。在给定的码块中，对于层n的第一编码过程的位置紧随在对于层(n-1)的最后编码过程之后。因此，码流的比特率随着层数目增大而增大。换言之，解码图像的图像质量提高(分辨率不变)。
因此，当解码时，通过控制从层1到层n解码多少层，可以控制解码图像的图像质量。以下，除非具体注明，否则“图像质量”将被认为指的是取决于这些层(或者换言之，每个像素的信息量)的解码图像的感知质量。
这里，在该处设置层边界的特定码块的特定编码过程可由编码器(图像编码装置100)来设定。这各个分组中的子带中存在的所有码块的码流被封装在各个分组中。
所生成的分组从编码器101被输出到外部并被提供到码流生成器102，如箭头175所示。
每个编码器101如上所述按JPEG 2000格式对图像数据编码并生成对于分辨率和层等等具有JPEG 2000的渐进功能的码流。
[码流生成器]
图11是示出图1中的码流生成器102的示例性主要配置的框图。如图11中所示，码流生成器102包括渐进分析器181、指令接收器182、渐进确定单元183、合并单元184以及渐进信息生成器185。
渐进分析器181分析各个输入码流112-1至112-X的渐进结构，并且识别构成每个码流的结构的种类。渐进分析器181将经分析的码流191-1至191-X提供给合并单元184。
另外，渐进分析器181把对各个码流的分析结果提供给渐进确定单元183(箭头192)。
然而，以下，码流191-1至191-X在不必单独区分它们的情况下将被简称为码流191。
指令接收器182接收例如由用户或另外的装置从外部提供的关于合并后码流的渐进结构的指令113，并将它们提供给渐进确定单元183(箭头192)。基于从渐进分析器181提供的分析结果和由指令接收器182提供的外部指令，渐进确定单元183确定合并后码流的渐进结构，并将其信息提供给合并单元184(箭头194)。然而，渐进确定单元183也可被配置为不仅利用分析结果和外部指令、而且还适当地利用其他信息来确定渐进结构。
合并单元184基于由渐进确定单元183提供的关于渐进结构的信息合并从渐进分析器181提供来的各个码流，以使得合并后的码流对于分辨率和图像质量而且对于各个视域具有渐进结构。合并单元184将单个合并后码流195提供给渐进信息生成器185。
渐进信息生成器185生成作为关于码流194的渐进结构的信息的渐进信息，并将渐进信息嵌入在合并后码流194中的给定位置处，例如嵌入在头部信息中。渐进信息生成器185输出具有附加的渐进信息的码流114。
[JPEG 2000渐进]
JPEG 2000编码的一些特性是比特平面和通过小波变换生成的子带。有了这些，渐进的定义成为了可能。
渐进是属于同一类别的码字的顺序。例如，如果收集属于同一分辨率级别的不同层的码字，则可生成具有相同图像大小但不同图像质量的图像。类似地，如果收集属于同一层的不同分辨率级别的码字，则可生成具有相同图像质量但不同图像大小的图像。换言之，渐进是用于实现解码图像可扩展性的数据结构。
在JPEG 2000中，这样，对于给定元素，可以只解码来自码流的数据的一部分。从而，从单个码流可以容易地获得多种解码图像。换言之，通过赋予码流这种渐进结构，可以将其用在更多样的应用中，并且提高了码流的便利性。
例如，从单个码流，可以向大型且昂贵的高性能液晶显示器提供具有高比特率的高分辨率解码图像，而可以向具有小屏幕和低图像处理性能的移动电话等等提供具有低比特率的低分辨率解码图像。这些可以通过选择要解码的渐进元素(例如层和子带)来容易地实现。
另外，这种渐进结构不仅可用于解码，而且可用于改变解码图像图像大小和质量的转码。换言之，与上述解码的情况类似地，只要通过选择诸如层和子带之类的渐进元素，就可容易地生成其中解码图像大小和质量已被改变的码流(或者换言之，转码)。
在JPEG 2000的情况下，存在四个渐进元素：分辨率级别、层、位置和成分。
分辨率级别如图3中所示是作为小波变换的一部分生成的级别。换言之，分辨率级别定义解码图像的图像大小。层是规定在比特平面方向上的级别的图像质量的元素。另外，成分是在图像由诸如YCbCr之类的不同成分构成的情况下定义的(在YCbCr或RGB的情况下成分的数目为3)。最后，位置与作为JPEG 2000的特性之一的瓦片结构(tiling)有关。位置定义了在将图片分割成多个矩形块以编码/解码的情况下的各个瓦片的数目和位置。
在存在像上述那样的多个渐进元素的情况下，对于每个元素创建层次结构。在JPEG 2000 Part 1的情况下，有五个使用上述元素的层次结构可用：LRCP(层分辨率级别成分位置渐进)、RLCP(分辨率级别层成分位置渐进)、RPCL(分辨率级别位置成分层)、PCRL(位置成分分辨率级别层)和CPRL(成分位置分辨率级别层)。
图12是通过取得其中按LRCP顺序布置了JPEG 2000码字的编码码流并且按该顺序对其进行解码而生成的解码图像的图示。在此渐进结构的情况下，分组是按以下顺序布置的。即，码字被布置成使得层在最高层次(层的总数＝L)，分辨率级别在接下来的低一层次(N(max)是最大分辨率级别)，成分在接下来的低一层次(Csiz是成分总数)，并且位置在最低层次。然而，在下文中，省略对位置(P)的描述。
for each l＝0，…，L-1
    for each r＝0，…，N(max)
        for each i＝0，…，Csiz-1
            {packet for component(i)，resolution-level(r)，layer(l)}
在此情况下，由于最高层次是层，所以解码图像是以逐渐提高的图像质量显示的，就像图12中所示的图像201、图像202、图像203和图像204的顺序那样。
图13是通过取得其中按RLCP顺序布置了JPEG 2000码字的编码码流并且按该顺序对其进行解码而生成的解码图像的图示。在这个渐进的情况下，分组是按以下顺序布置的。即，码字被布置成使得分辨率级别在最高层次，层在接下来的低一层次，成分在接下来的低一层次，并且位置在最低层次。然而，在下文中，省略对位置(P)的描述。
for each r＝0，…，N(max)
    for each l＝0，…，L-1
        for each i＝0，…，Csiz-1
            {packet for component(i)，resolution-level(r)，layer(l)}
在此情况下，由于最高层次是分辨率级别，所以解码图像是以逐渐增大的图像大小(分辨率)显示的，就像图13中所示的图像211、图像212、图像213和图像214的顺序那样。
这样，码流解码顺序根据各个渐进元素的层次结构而不同，并且解码图像的显示方式也变化。对于其他渐进RPCL、PCRL和CPRL，解码也类似地按取决于各个层次结构的顺序进行。
[JPEG 2000中的渐进定义]
图14是示出示例性的SGcod参数的示图。SGcod参数是JPEG 2000Part 1草案的表A-14中定义的编码式样参数。可以利用SGcod中的“Progression order”(8比特)来定义上述渐进顺序。
在表A-16中，定义了先前所述的五个渐进LRCP、RLCP、RPCL、PCRL和CPRL，如图15中所示。
[渐进扩展]
被提供到图1中的码流生成器102(图11中的渐进分析器181)的码流112具有像上述那样的JPEG 2000渐进结构。
码流生成器102(图11中的合并单元184)扩展渐进结构，合并各个码流以使得可向其额外添加用于多视域的渐进结构(实现针对视域的可扩展性的渐进结构)，并且生成单个码流。以下将描述合并后的渐进的示例性层次结构。
[XLRCP]
第一示例性层次结构是XLRCP，其认为最高层次是视域并且较低层次是LRCP。在此情况下，解码图像被一次一个视域地解码并显示，如图16中所示。换言之，XLRCP码流首先对于第1视域被从层1到层N解码，就像图像201-1、图像202-1、图像203-1、图像204-1那样(图像质量逐渐提高)。
一旦获得了第1视域的解码图像，接下来就对于第2视域从层1到层N对码流解码，就像图像201-2、图像202-2、图像203-2、图像204-2那样(图像质量逐渐提高)。
这样，一次一个视域地对码流解码，并且最后，对于第X视域从层1到层N对码流解码，就像图像201-X、图像202-X、图像203-X、图像204-X那样(图像质量逐渐提高)。
例如，在输入图像数据111是具有V个视域的多视域数据的情况下(或者换言之，输入视域数目X＝V的情况下)，码流生成器102(合并单元184)如下生成具有这种XLRCP结构的码流。注意，在下文中，变量v表示视域的数目(输入视域数目X)(VLRCP)。多视域的一个特性是通过增加相机的数目，可以生成具有宽视角的3D图像，而且与立体图像相比可以更容易地实现图像的深度方向的提取。结果，在许多研究机构也正在研究对相机之间的任意视点处的图像进行插值/合成的技术。此外，通过在一条水平线上部署相机而生成全景图像在除了3D以外的其他应用中也是有用的。然而，在下文中，省略对位置(P)的描述。
Figure BPA00001516107400181
Figure BPA00001516107400191
另外，例如，在输入图像数据111是3D图像数据的情况下(或者换言之，输入视域数目X＝2的情况下)，码流生成器102(合并单元184)如下生成具有这种XLRCP结构的码流。注意，在下文中，变量s表示视域(左或右)(SLRCP)。然而，在下文中，省略对位置(P)的描述。
Figure BPA00001516107400192
[LXRCP]
第二示例性层次结构是LXRCP，其认为LRCP的第二层次是视域。在此情况下，解码图像被一次一层地解码并显示，如图17中所示。换言之，首先对于第1视域按从第1视域到第X视域的顺序对LXRCP码流解码，就像图像201-1、图像201-2等等直到图像201-X那样(生成X个层1图像)。
一旦获得了X个层1解码图像，接下来就对于第2层按从第1视域到第X视域的顺序对码流解码，就像图像202-1、图像202-2等等直到图像202-X那样(生成X个层2图像)。
随后，类似地对于第3层按从第1视域到第X视域的顺序对码流解码，就像图像203-1、图像203-2等等直到图像203-X那样(生成X个层3图像)。
这样，一次一层地对码流解码，并且最后，对于层L按从第1视域到第X视域的顺序对码流解码，就像图像204-1、图像204-2等等直到图像204-X那样(生成X个层L图像)。
此示例性结构对于例如具有较小网络带宽用于传送的应用是理想的，因为通过按从较低层到较高层的顺序传送编码码流，立体图像的图像质量在接收方(解码方)逐渐提高。
例如，在输入图像数据111是具有V个视域的多视域数据的情况下(或者换言之，输入视域数目X＝V的情况下)，码流生成器102(合并单元184)如下生成具有这种LXRCP结构的码流。注意，在下文中，变量v表示视域的数目(输入视域数目X)(LVRCP)。然而，在下文中，省略对位置(P)的描述。
另外，例如，在输入图像数据111是3D图像数据的情况下(或者换言之，输入视域数目X＝2的情况下)，码流生成器102(合并单元184)如下生成具有这种LXRCP结构的码流。注意，在下文中，变量s表示视域(左或右)(LSRCP)。然而，在下文中，省略对位置(P)的描述。
Figure BPA00001516107400202
[XRLCP]
第三示例性层次结构是XRLCP，其认为最高层次是视域并且较低层次是RLCP。在此情况下，解码图像被一次一个视域地解码并显示，如图18中所示。换言之，XRLCP码流首先对于第1视域被从最低层次分辨率级别到最高层次分辨率级别解码，就像图像211-1、图像212-1、图像213-1、图像214-1那样(图像大小逐渐增大)。
一旦获得了第1视域的解码图像，接下来就类似地对于第2及其后的视域一次一个视域地对码流解码。最后，对于第X视域从最低层次分辨率级别到最高层次分辨率级别对码流解码，就像图像211-X、图像212-X、图像213-X、图像214-X那样(图像大小逐渐增大)。
例如，在输入图像数据111是具有V个视域的多视域数据的情况下(或者换言之，输入视域数目X＝V的情况下)，码流生成器102(合并单元184)如下生成具有这种XRLCP结构的码流。注意，在下文中，变量v表示视域的数目(输入视域数目X)(VRLCP)。然而，在下文中，省略对位置(P)的描述。
Figure BPA00001516107400211
另外，例如，在输入图像数据111是3D图像数据的情况下(或者换言之，输入视域数目X＝2的情况下)，码流生成器102(合并单元184)如下生成具有这种XLRCP结构的码流。注意，在下文中，变量s表示视域(左或右)(SRLCP)。然而，在下文中，省略对位置(P)的描述。
Figure BPA00001516107400212
[RXLCP]
第四示例性层次结构是RXLCP，其认为RLCP的第二层次是视域。在此情况下，解码图像被一次一个分辨率级别地解码并显示，如图19中所示。换言之，首先对于最低层次分辨率级别按从第1视域到第X视域的顺序对RXLCP码流解码，就像图像211-1到211-X那样(生成处于最低层次分辨率级别的X个图像)。
一旦获得了处于最低层次分辨率级别的X个解码图像，接下来就对较高的下一分辨率级别按从第1视域到第X视域的顺序对码流解码，就像图像212-1到212-X那样(生成处于倒数第二分辨率级别的X个图像)。
随后，类似地对于倒数第三分辨率级别按从第1视域到第X视域的顺序对码流解码，就像图像213-1到213-X那样(生成处于倒数第三分辨率级别的X个图像)。
这样，一次一个分辨率级别地对码流解码，并且最后，对于最高层次分辨率级别按从第1视域到第X视域的顺序对码流解码，就像图像214-1到214-X那样(生成处于最高层次分辨率级别的X个图像)。
此示例性结构对于例如具有较小网络带宽用于传送的应用是理想的，因为通过按从较低层到较高层的顺序传送编码码流，立体图像的分辨率在接收方(解码方)逐渐提高。此示例性结构对于取决于接收设备(例如电视接收机(TV)、便携式显示装置或移动终端)的可显示分辨率仅发送和接收来自最佳层次的码字的应用也是理想的。
例如，在输入图像数据111是具有V个视域的多视域数据的情况下(或者换言之，输入视域数目X＝V的情况下)，码流生成器102(合并单元184)如下生成具有这种RXLCP结构的码流。注意，在下文中，变量v表示视域的数目(输入视域数目X)(RVLCP)。然而，在下文中，省略对位置(P)的描述。
Figure BPA00001516107400221
另外，例如，在输入图像数据111是3D图像数据的情况下(或者换言之，输入视域数目X＝2的情况下)，码流生成器102(合并单元184)如下生成具有这种LXRCP结构的码流。注意，在下文中，变量s表示视域(左或右)(RSLCP)。然而，在下文中，省略对位置(P)的描述。
Figure BPA00001516107400232
[其他结构]
对RPCL、PCRL和CPRL的扩展基本上是按与上述LRCP和RLCP的情况类似的方式进行的。
例如，RPCL的情况的渐进结构被表述如下。在下文中，(tx(0)，tx(1))表示给定瓦片的左边缘X坐标和右边缘X坐标，而(ty(0)，ty(1))表示给定瓦片的左边缘Y坐标和右边缘Y坐标。
Figure BPA00001516107400233
然而，在没有瓦片结构(图片中只存在一个瓦片)的情况下，第二层次和第三层次循环实际上不存在。
如上，层次结构对于每个渐进结构是不同的，但是当合并码流时，针对多视域的渐进(实现视域相关可扩展性的数据结构)在所有情况中被插入到指定层次中。
在这样做时，可以定义10类结构作为合并后的渐进结构，例如XLRCP、LXRCP、XRLCP、RXLCP、XRPCL、RPXCL、VPCRL、PXCRL、XCPRL和CXPRL。显然，可以配置成除了上述以外的结构被应用作为合并后的渐进结构。例如，也可配置成针对多视域的这个渐进被插入到另一层次中。另外，也可不包括上述10类中的一些。另外，任意数目的可用渐进结构都是可接受的，可以有九类或更少，或者11类或更多。
[扩展渐进定义]
在JPEG 2000的情况下，如参考图15所说明的，渐进的层次结构是由SGcod中的“Progression order”(8比特)定义的。在渐进信息生成器185中，较高的4个比特也被用于扩展“Progression order”并且定义先前所述的10个层次结构(XLRCP(0001 0000)、LXRCP(0010 0000)、XRLCP(0001 0001)、RXLCP(0010 0001)、XRPCL(0001 0010)、RPXCL(0010 0010)、XPCRL(0001 0011)、PXCRL(0010 0011)、XCPRL(00010100)和CXPRL(0010 0100))，如图20中所示。
渐进信息生成器185把存在于由合并单元184合并出的单个码流195的瓦片部分头部或主头部中的SGcod参数的“Progression order”设定为与该码流195的渐进结构相对应的值。
显然，指派给每个渐进结构的值是任意的，并且可以配置成指派除了图20中所示那些以外的值。定义层次结构的方法也是任意的，并且也可配置成在其他参数中定义层次结构。例如，也可配置成在同一COD标记片段中的SPcoc和Ppoc中定义层次结构。例如，可以配置成在SGcod、SPcoc和Ppoc之中的至少一个中定义层次结构。
显然，也可在除上述以外的参数中定义层次结构。然而，通过如图20中所示使用“Progression order”的较高4比特来扩展定义，可以提高与传统JPEG 2000的亲和性，例如通过在较低4比特中维持与传统JPEG 2000的兼容性。因此，不支持这种扩展的传统JPEG 2000数据可以利用较低4比特作为四元素层次结构被以传统方式解码。
[视域数目的定义]
接下来，将说明视域数目(输入视域数目)的定义。图21是定义JPEG 2000 Part1中定义的主头部中的SIZ标记的Rsiz(16比特)的表A-10。该规格的主文本包含以下描述。
Rsiz：表示解码器为了对码流适当解码而需要的能力。
这样，根据表A-10，虽然Rsiz被指派了16比特，但目前其只被用于定义Profile 0和Profile 1(只有部分例外，即在数字影院标准(DCI标准)中Rsiz＝3被用于2K分辨率并且Rsiz＝4被用于4K分辨率)。
渐进信息生成器185被配置为利用此空区域来用Rsiz的较高12比特定义视域数目，如图22中所示。通过这样进行配置，可支持4096的最大数。注意，图22中的符号“x”指的是“不可用”。
渐进信息生成器185根据图22中的定义，把合并单元184中生成的码流195的主头部中的Rsiz值设定为与合并前码流中的视域数目X相对应的值。
显然，定义视域数目的方法是任意的，并且可以配置成在除Rsiz以外的其他地方定义视域数目。然而，通过如前所述在Rsiz中定义视域数目，保持了与传统JPEG 2000的高度亲和性，而不会不必要地增大数据大小，并且可以容易地支持很大数目的输入视域(最大数目为4096)。
[多视域输入编码处理流程]
接下来，将描述像上述那样的图像编码装置100执行的处理的示例性流程。
首先，将参考图23中的流程图来描述由图像编码装置100执行的对多视域输入图像数据编码、合并它们以使之具有渐进功能并且生成单个码流的多视域输入编码处理的示例性流程。
当输入图像数据111被输入并且多视域输入编码处理被启动时，在步骤S101中，每个编码器101对输入到其自己的相应输入视域的输入图像数据111进行编码。在步骤S102中，图像编码装置100判定是否已对所有视域编码了输入图像，并且在判定存在未处理的视域的情况下，使处理返回到步骤S101并且待机直到判定已对所有视域处理了输入图像为止。
图像编码装置100在在步骤S102中判定已对所有视域编码了输入图像的情况下使处理前进到步骤S103。在步骤S103中，码流生成器102合并各个视域的码流并且生成具有渐进功能的单个码流。一旦生成了码流，图像编码装置100就结束多视域输入编码处理。
[编码处理流程]
接下来，将参考图24中的流程图来描述在图23的步骤S101中执行的用于对各个视域编码的处理的示例性流程。
当编码处理被启动时，在步骤S121中，DC电平移动器131移动由其自己的相应输入视域输入的图像数据的DC电平。在步骤S122中，小波变换单元132向经DC电平移动的图像数据应用小波变换。
在步骤S123中，量化器133在有损编码格式的情况下对在步骤S122中生成的小波系数进行量化。然而，在无损编码格式的情况下，此处理被省略。
在步骤S124中，码块化单元134将经量化的系数分割成码块单位。在步骤S125中，比特平面展开器135把这些码块的每一个中的系数展开到比特平面中。
在步骤S126中，EBCOT单元151对经比特平面展开的系数进行编码。在步骤S127中，率控制器139通过使用在比特率加法器138中相加的比特率等等来控制输出比特率。
在步骤S128中，头部生成器140生成分组头部。在步骤S129中，分组生成器141生成分组。在步骤S130中，编码器101向外部输出分组。
一旦步骤S130中的处理结束，编码处理就终止。然而，此编码处理被重复地分别对给定数据单位执行，直到图像数据的提供结束为止或者直到接收到终止指令为止。另外，在每个编码器101中执行此编码处理。
通过进行这种编码处理，编码器101能够对各个视域的输入图像编码以便具有渐进结构，即用于实现解码图像可扩展性的数据结构。
[码流生成处理流程]
接下来，将参考图25中的流程图来描述在图23的步骤S103中执行的码流生成处理的示例性流程。
码流生成器102在被提供以来自编码器101的码流112时启动码流生成处理。一旦码流生成处理被启动，在步骤S151中，渐进分析器181就对从编码器101提供来的所有码流分析渐进。
在步骤S152中，指令接收器182接收关于合并码流后的渐进结构的指令，这些指令例如是从用户或外部装置提供的。
在步骤S153中，渐进确定单元183基于由步骤S151中的处理获得的分析结果和由步骤S152中的处理接收到的外部指令来确定合并后码流的渐进结构。
在步骤S154中，合并单元184合并各个视域的码流以便具有在步骤S153中确定的渐进结构。在步骤S155中，渐进信息生成器185生成合并后码流的渐进信息，并且将渐进信息添加到合并后码流中的给定位置，例如SGcod中的“Progression order”中或SIZ标记的Rsiz中。
在步骤S156中，渐进信息生成器185输出码流。
这样，码流生成器102能够合并各个视域的码流以使之具有如下结构：在该结构中，针对视域的渐进结构(实现视域相关可扩展性的数据结构)被添加到了码流的渐进结构。通过这样做，图像编码装置100能够对多视域输入图像编码，实现解码图像可扩展性，并且生成可用于更多样的应用中的码流。
另外，由于表述合并后渐进结构(扩展的渐进结构)的渐进信息被添加到码流，所以对该码流解码的图像解码装置能够基于添加到该码流的渐进信息来容易地对码流解码。
换言之，图像编码装置100能够提高编码了多视域图像的码流的便利性。
同时，还可配置成渐进信息作为与码流分离的数据被提供给解码方。然而，在此情况下，必须阐明码流与渐进信息之间的关联关系(即，使得解码方能够确定该关联关系)。
<2.第二实施例>
[图像解码装置配置]
图26是示出应用了本发明的图像解码装置的示例性主要配置的框图。
图26中所示的图像解码装置300是与图1中的图像编码装置100相对应的解码装置。图像解码装置300取得由对多视域输入图像进行编码和合并的图像编码装置100生成的单个码流，对其进行解码和分割以生成多视域解码图像。
在这样做时，图像解码装置300能够根据输入码流所拥有的渐进结构(即用于实现解码图像可扩展性的数据结构)对码流解码，并且获得多视域解码图像。显然，图像解码装置300也可被配置为能够根据输入码流所拥有的渐进结构仅对必要信息解码，并且获得图像质量和图像大小等等与应用相适应的解码图像(依从于应用的解码图像)。
如图26中所示，图像解码装置300包括码流分析器301以及解码器302-1至302-X。
码流分析器301基于添加到码流311的渐进信息来分析输入码流311的渐进结构，并且将码流311分割成X个视域的合并前码流。
码流分析器301将分割的码流312-1至312-X提供给各个相应的解码器302-1至302-X。解码器302-1至302-X分别利用与图1中的编码器101相对应的方法对输入的码流解码，并且生成并输出解码图像数据313-1至313-X。
换言之，图像解码装置300接受码流311作为输入，并且从X个输出视域输出解码图像(换言之，X个视域的解码图像被输出)。此时，图像解码装置300能够按遵循码流311的渐进结构的顺序对码流解码，或者遵循码流311的渐进结构仅对数据的一部分解码。这样，图像解码装置300能够更容易地从码流311获得取决于各种应用的解码图像(实现解码图像可扩展性)。
注意，以下解码器302-1至302-X在不必单独区分它们的情况下将被简称为解码器302。另外，以下，码流312-1至312-X在不必单独区分它们的情况下将被简称为码流312。此外，以下，解码图像数据313-1至313-X在不必单独区分它们的情况下将被简称为解码图像数据313。
虽然解码器302在前文中被描述为是对各个视域分别设置的，但也可配置成单个解码器302能够分别对多个视域的码流312解码。例如，图像解码装置300可被配置为包括一个解码器302，并且该解码器302可被配置为分别对X个视域的码流312解码并且生成X个视域的解码图像数据313。
[码流分析器配置]
图27是示出图26中的码流分析器301的示例性主要配置的框图。如图27中所示，码流分析器301包括渐进分析器321、分割器322以及渐进信息生成器323。
渐进分析器321分析被添加到输入码流311的渐进信息，并且分析码流311的渐进结构。例如，渐进分析器321可参考码流311的主头部或瓦片部分头部中记载的SGcod中的“Progression order”或SIZ标记的Rsiz，并且确定码流311的渐进结构及其视域数目。渐进分析器321将经分析的码流331和分析结果332提供给分割器322。
分割器322基于从渐进分析器321提供来的渐进分析结果并且基于从渐进分析器321提供来的码流331拥有的针对多视域的渐进结构(实现视域相关可扩展性的数据结构)，将单个码流331分割成X个视域的合并前码流。
在码流331中，各个给定单位的编码数据是根据渐进结构的顺序布置的。分割器322根据该码流3331所拥有的渐进结构中的针对视域的渐进结构的部分，切换充当码流331的供应源的解码器302。
换言之，在码流331中，各个视域的合并前的码流的部分数据是根据针对多视域的渐进结构来布置的。分割器322根据针对多视域的渐进结构，将各个部分数据输出到该部分数据所属的视域。通过此处理，码流331被分割成X个视域。
分割器322把分割的码流333-1至333-X提供给渐进信息生成器323。渐进信息生成器323为码流333-1至333-X中的每一个生成指示渐进结构的渐进信息，并将其添加到码流333-1至333-X中的给定位置。
渐进信息生成器323把添加了渐进信息的码流312-1至312-X提供给各个视域的解码器302。
然而，以下，码流333-1至333-X在不必单独区分它们的情况下将被简称为码流333。
[解码器配置]
图28是示出解码器302的示例性主要配置的框图。此解码器302对应于图1中的编码器101，并且对由编码器101编码并生成的码流进行解码。如图28中所示，解码器302包括分组解译器351、算术解码器352、比特建模单元353、比特平面合成器354、码块合成器355、逆小波变换单元356以及DC电平移动去除器357。
分组解译器351对从图像编码装置100提供来的分组进行解译，如箭头361所示，并且将码流提供给算术解码器352，如箭头362所示。
算术解码器352和比特建模单元353充当EBCOT单元371并且对输入的码流进行例如JPEG 2000标准中定义的被称为EBCOT的熵解码。
算术解码器352利用与算术编码器137相对应的方法对码流解码，并且将上下文提供给比特建模单元353，如箭头363所示。比特建模单元353利用与比特建模单元136相对应的方法生成经比特平面展开的小波系数。比特建模单元353把每个生成的比特平面的系数数据提供给比特平面合成器354，如箭头364所示。
比特平面合成器354合成比特平面展开的小波系数。比特平面合成器354把经比特平面合成的小波系数提供给码块合成器355，如箭头365所示。
码块合成器355使用所提供的比特平面来生成码块单位的系数数据，而且还合成它们以生成每个子带的系数数据。码块合成器355把结果提供给逆小波变换单元356，如箭头366所示。
逆小波变换单元356对所提供的小波系数应用逆小波变换并生成基带图像数据。逆小波变换单元356把所生成的基带图像数据提供给DC电平移动去除器357，如箭头367所示。
DC电平移动去除器357根据需要进行DC电平移动去除处理，该处理去除在DC电平移动器131中应用到图像数据的DC成分的移动。DC电平移动去除器357向解码器302外部输出经历了DC电平移动去除处理的图像数据(解码图像数据)，如箭头368所示。
在每个码流312中，各个给定单位中的编码数据是按根据渐进结构的顺序布置的。因此，由于解码器302对输入码流312顺次解码，可以按根据码流312中包括的渐进结构的顺序对码流312解码。
[多视域输出解码处理流程]
接下来，将描述像上述那样的图像解码装置300执行的各种处理的示例性流程。图像解码装置300进行多视域输出解码处理以便对其中合并了多视域图像的码流进行解码。首先，将参考图29中的流程图来描述此多视域输出解码处理的示例性流程。
图像解码装置300在获取由图像编码装置100生成的码流时启动多视域输出解码处理。当多视域输出解码处理被启动时，在步骤S301中，码流分析器301分析所获取的码流并且将该码流分割成数个视域的合并前码流。
在步骤S302中，各个视域的解码器302根据码流的渐进结构对码流解码，并且输出解码图像数据313。在步骤S303中，图像解码装置300判定是否已对所有视域完成了码流的解码，并且在判定存在尚未完成解码的视域的情况下使处理返回到步骤S302。在判定对于所有视域都完成了码流的解码的情况下，图像解码装置300结束多视域输出解码处理。
[分析处理流程]
接下来，将参考图30中的流程图来描述在图29的步骤S301中执行的分析处理的示例性详细流程。
当分析处理被启动时，在步骤S321中，渐进分析器321分析被添加到码流的渐进信息并且确定码流中的渐进结构和视域数目等等。
在步骤S322中，分割器322根据由步骤S321中的处理所分析出的码流的渐进结构来将码流分割成各个视域。
在步骤S323中，渐进信息生成器323分别生成并添加渐进信息到所分割的各个视域的码流。
在步骤S324中，渐进信息生成器323输出添加了渐进信息的各个视域的码流。
当步骤S324中的处理结束时，码流分析器301结束分析处理，使处理返回到图29的步骤S301，并且使得步骤S302及其后步骤中的处理被执行。
[解码处理流程]
接下来，将参考图31中的流程图来描述在图29的步骤S302中执行的解码处理的示例性详细流程。
当解码处理被启动时，在步骤S341中，分组解译器351从所获取的分组中提取编码数据。
在步骤S342中，EBCOT单元371对在步骤S341中提取的编码数据进行解码。在步骤S343中，比特平面合成器354合成通过解码获得的系数数据的比特平面，并且生成各个码块的系数数据。在步骤S344中，码块合成器355合成各个码块的系数数据的码块，并且生成各个子带的系数数据。
在步骤S345中，逆小波变换单元356向各个子带的系数数据应用逆小波变换并且生成基带图像数据。同时，在系数数据在图像编码装置100被量化了的情况下，首先对系数数据进行与这种量化相对应的解量化，然后应用逆小波变换。
在步骤S346中，DC电平移动去除器357去除通过逆小波变换获得的基带图像数据中的DC电平移动。
在步骤S347中，解码器302把经历了DC电平移动去除处理的图像数据作为解码图像数据从输出视域368输出。例如，解码图像数据可被输出到例如未示出的显示器，并且其图像可被显示。
当步骤S347中的处理结束时，解码器302结束解码处理。解码器302对各个解码处理单位重复这种解码处理。由于码流中的各个编码数据是按根据渐进结构的顺序布置的，因此解码器302能够容易地通过根据渐进信息对所提供的编码数据顺次解码来按照遵循渐进结构的顺序对码流进行解码。
如上，图像解码装置300能够通过分析添加到码流的渐进信息来根据渐进结构(即用于实现解码图像可扩展性的数据结构)进行解码并且生成多视域解码图像数据。换言之，图像解码装置300能够对由图像编码装置100生成的码流适当地解码，并且实现解码图像可扩展性。因此，图像解码装置300能够提高编码了多视域图像的码流的便利性。
<3.第三实施例>
[图像编码装置配置]
虽然使能对图像进行立体观看的3D视频近来已经在普及，但利用双眼视差的立体图像是主流。然而，在利用这种立体图像的基于双眼视差的立体观看中，不能实现从任意方向的立体观看。从而，已考虑了使用指示对象图像的各个部分的深度的深度数据(depth_map)的方法。
正在考虑从多视域图像数据中提取这种深度数据的方法。换言之，从多个方向拍摄给定对象，并且根据拍摄的图像中对象的位置差异来计算对象的深度。根据这种方法，对于拍摄的图像中的所有对象计算深度，并且生成深度数据。
由于利用这种深度数据可以识别对象的深度，所以可以基于此信息从任意视点计算双眼视差。换言之，可以生成从任意视点的立体图像。
可以配置成这种深度数据作为一视域与图像数据一起被编码以得出具有如前所述的渐进结构的单个码流。
换言之，虽然在第一实施例中描述了对多视域图像编码并生成单个码流的情况，但本发明也可应用到这种深度数据也作为一个视域的输入被编码以得出具有渐进结构的单个码流的情况。
图32是示出此情况的图像编码装置的示例性配置的框图。在图32中，向与图1中的图像编码装置100类似的配置部分给予相同的编号。在图32中，图像编码装置400基本上具有与图像编码装置100类似的配置，但还包括深度数据生成器411和编码器412。
然而，在此情况下，各个输入视域的输入图像数据111是其中从不同方向拍摄或渲染了大致相同的对象的图像，或者换言之是构成多视域的图像。
深度数据生成器411使用各个输入图像数据111来生成表述图像中的对象的深度的深度数据421。计算对象的深度的方法是任意的。
图33示出了示例性的深度数据。图33中的A所示的图像数据111的示例性深度数据由图33中的B示出。如图33中的B所示，深度数据421是对于每个给定范围(例如每个像素或每个块)利用给定数目的比特指示输入图像数据111的整个区域的深度的信息。换言之，深度数据421通常可被表述为灰度级位图数据。此位图数据中的阶调数目是深度数据421的比特深度(或者换言之，深度的表现力)。
因此，可以按与其他输入图像数据111基本类似的方式对深度数据编码。返回图32，深度数据生成器411将所生成的深度数据421提供给编码器412。编码器412具有与编码器101类似的配置并且进行类似的处理。换言之，编码器412以与编码器101类似的方式对深度数据421编码并且生成具有像JPEG 2000的那样的渐进结构的码流422。编码器412把所生成的码流422提供给码流生成器102。
换言之，当从码流生成器102来看时，输入增加了一个视域(X+1)，但输入视域数目X本来就是任意的。换言之，码流生成器102以与第一实施例的情况类似的方式合并各个视域的码流，并且生成具有被添加了针对多视域的渐进结构的渐进结构的单个码流114。
然而，也可配置成在图像编码装置400的外部生成深度数据。此情况下的图像编码装置400具有与图1中的图像编码装置100类似的配置。换言之，当图像数据和深度数据被输入时，它们可被图像编码装置100编码。
[多视域输入编码处理流程]
接下来，将参考图34中的流程图来描述图像编码装置400执行的多视域输入编码处理的示例性流程。此处理对应于图23中的流程图。
换言之，图34中的步骤S401和步骤S402的相应处理是与图23中的步骤S101和步骤S102的处理类似地执行的。
在步骤S403中，深度数据生成器411从各个视域的输入图像数据111生成深度数据。在步骤S404中，与步骤S401的情况类似地，编码器412对深度数据编码。
在步骤S405中，与图23中的步骤S103的情况类似地，码流生成器102合并在步骤S401中生成的码流和在步骤S404中生成的码流，并且生成具有渐进结构的单个码流。
当步骤S405中的处理结束时，图像编码装置400结束多视域输入编码处理。
这样，图像编码装置400能够从构成多视域的多个输入图像数据生成深度数据，将该深度数据与各个视域的输入图像数据一起编码，并且生成具有渐进结构的单个码流。
换言之，即使在这样包括了深度数据的情况下，图像编码装置400也能够提高编码了多视域图像的码流的便利性。
同时，在解码方，深度数据可作为一个视域的图像数据(位图数据)被处理。换言之，与由图像编码装置100生成的码流114类似地，第二实施例中描述的图像解码装置300也能够对由图像编码装置400生成的码流114解码。
<4.第四实施例>
[网络系统配置]
也可配置成前文所述的图像编码装置100或图像编码装置400生成的码流通过任意方法被传送到图像解码装置300。例如，也可配置成图像编码装置100或图像编码装置400把所生成的码流记录到任意记录介质，例如蓝光盘、闪存或硬盘，并且图像解码装置300从记录介质读出码流并对其进行解码。
另外，可以配置成图像编码装置100或图像编码装置400经由诸如有线或无线网络之类的任意通信介质把所生成的码流传送到图像解码装置300。
另外，虽然在前文中图像编码装置100和图像编码装置400中的码流生成器102被描述为获取关于渐进结构的外部指令113，但提供这种指令的源是任意的。例如，可以配置成从对由图像编码装置生成的码流解码的图像解码装置提供指令。
图35是示出应用了本发明的网络系统的示例性配置的框图。
图35中所示的网络系统500是把多视域图像数据从编码方经由网络501传送到解码方的系统。在这样做时，网络系统500在发送方编码并打包多视域图像数据以便减少传送期间使用的带宽量，将其作为单个码流传送，并且在接收方解码并获得原始多视域解码图像数据。
网络501是由任意通信介质构成的。例如，网络501可由以因特网或LAN等等为代表的任意网络构成。网络501可以是单个网络或多个网络的集合。因此，网络501可被配置为除了线缆或其他通信介质以外还包括中继器或其他任意通信设备。另外，网络501可以是有线网络或无线网络，并且也可被配置为有线和无线技术的混合。
网络系统500在发送方包括前述的图像编码装置100作为编码装置。另外，网络系统500在接收方包括前述的图像解码装置300作为解码装置。
换言之，发送方的图像编码装置100对要传送的多视域图像数据编码，生成具有渐进结构的单个码流114，并且经由网络501将其发送到图像解码装置300。
接收方的图像解码装置300将其作为码流311接收，对该码流解码并将其分割成原始多视域图像数据，并且输出结果。
另外，图像解码装置300基于图像数据使用方法等等经由网络501向图像编码装置100提供关于渐进结构的指令511。图像编码装置100的码流生成器102将其作为外部指令113接收。
通过这样配置，图像编码装置100能够容易地生成具有与其在接收(解码)方的应用相符的渐进结构的码流。换言之，网络系统500能够提高编码了多视域图像的码流的便利性。
然而，也可配置成关于渐进结构的指令是由除图像解码装置300以外的装置发出的(提供给图像编码装置100的)。例如，网络501中包括的控制中心或中间集线器可基于网络501的带宽或拥塞状况等等而发出指令。
另外，注意，只要配置码流以使之具有渐进结构就足够了，图像数据编码格式并不限于JPEG 2000格式。
<5.第五实施例>
[个人计算机]
前述系列处理可以用硬件执行，但也可用软件执行。在此情况下，实施例也可被配置为例如图36中所示那样的个人计算机。
在图36中，个人计算机600的中央处理单元(CPU)601通过遵循只读存储器(ROM)602中存储的程序或者从存储单元613加载到随机访问存储器(RAM)603中的程序来执行各种处理。RAM 603也可适当地存储其他信息，例如CPU 601执行各种处理所需的数据。
CPU 601、ROM 602和RAM 603经由总线604相互连接。输入/输出接口610也连接到总线604。
连接到输入/输出接口610的还有包括键盘、鼠标等等的输入单元611、包括诸如阴极射线管(CRT)显示器或液晶显示(LCD)显示器之类的显示器以及扬声器等等的输出单元612、包括闪存或其他固态驱动器(SSD)、硬盘等等的存储单元613、以及包括有线局域网(LAN)或无线LAN接口、调制解调器等等的通信单元614。通信单元614经由包括因特网在内的网络进行通信处理。
驱动器615根据需要也可连接到输入/输出接口610，诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质621可被适当地加载到该驱动器615中。从这种介质读出的计算机程序根据需要被安装到存储单元613。
在用软件执行前述系列处理的情况下，构成这种软件的程序是从网络或记录介质安装的。
此记录介质可由包括磁盘(包括柔性盘)、光盘(包括致密盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括袖珍盘(DVD))或半导体存储器的可移除介质621构成，程序被记录到其上，并且其是与主装置分开发行的，以便将程序递送给用户，例如如图36中所示。另外，此记录介质可由ROM 602或存储单元613中包括的硬盘构成，程序被记录到其上并且其在已经置入主装置的状态中被递送给用户。
同时，计算机执行的程序可以是遵循本说明书中描述的顺序按时序进行处理的程序，但也可以是并行地或在必要定时(例如在被调用时)进行处理的程序。
另外，在本说明书中，记载被记录到记录介质的程序的步骤显然可包括遵循所描述的顺序按时序进行的处理，但也可包括并行或个别执行的处理，而不一定是按时序处理的。
另外，在本说明书中，系统是表述由多个设备(装置)构成的装置的总体的术语。
另外，在前文中被描述为单个装置(或处理器)的配置也可被配置为多个装置(或处理器)。类似地，在前文中被描述为多个装置(或处理器)的配置也可被配置为单个统一装置(或处理器)。另外，显然也可配置成向各个装置(或各个处理器)的配置添加除了前述那些以外的元素。另外，也可配置成给定装置(或处理器)的一部分被包括在另一装置(或处理器)的配置中，只要整体上系统的配置和操作基本相同即可。换言之，本发明的实施例不限于前述实施例，在不脱离本发明的主要内容的范围内可以进行各种修改。
例如，配置成图1中的码流生成器102是接受多个码流、合并它们并且将它们作为具有渐进结构的单个码流输出的独立装置。
本发明可应用到例如3D数字影院编辑装置、3D档案系统、广播台处的3D图像传送装置、3D图像数据库、3D医疗图像记录系统、3D游戏控制台、电视接收机系统、3D兼容蓝光盘记录器或播放器、自由视点电视、网真视频会话系统或安装到个人计算机或其软件模块的编著工具。
标号列表
100图像编码装置
101编码器
102码流生成器
181渐进分析器
182指令接收器
183渐进确定单元
184合并单元
185渐进信息生成器
300图像解码装置
301码流分析器
302解码器
321渐进分析器
322分割器
323渐进信息生成器
400图像编码装置
411深度数据生成器
412编码器
500网络系统
501网络

Claims (25)

1.一种图像处理装置，包括：
分析装置，用于分析编码了图像的多视域码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构；
确定装置，用于根据所述分析装置给出的分析结果确定所述多视域码流的合并后渐进结构；以及
合并装置，用于根据由所述确定装置确定的合并后渐进结构合并所述多视域码流，并且生成具有所述渐进结构的单个码流。
2.根据权利要求1所述的图像处理装置，其中
所述码流具有针对层、分辨率级别、成分和位置的渐进结构。
3.根据权利要求2所述的图像处理装置，其中
所述确定装置确定所述合并后渐进结构以使得针对视域的渐进结构被添加到由所述分析装置分析出的渐进结构。
4.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按层、分辨率级别、成分和位置的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按视域、层、分辨率级别、成分和位置的顺序的层次结构。
5.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按层、分辨率级别、成分和位置的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按层、视域、分辨率级别、成分和位置的顺序的层次结构。
6.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按分辨率级别、层、成分和位置的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按视域、分辨率级别、层、成分和位置的顺序的层次结构。
7.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按分辨率级别、层、成分和位置的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按分辨率级别、视域、层、成分和位置的顺序的层次结构。
8.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按分辨率级别、位置、成分和层的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按视域、分辨率级别、位置、成分和层的顺序的层次结构。
9.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按分辨率级别、位置、成分和层的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按分辨率级别、位置、视域、成分和层的顺序的层次结构。
10.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按位置、成分、分辨率级别和层的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按视域、位置、成分、分辨率级别和层的顺序的层次结构。
11.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按位置、成分、分辨率级别和层的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按位置、视域、成分、分辨率级别和层的顺序的层次结构。
12.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按成分、位置、分辨率级别和层的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按视域、成分、位置、分辨率级别和层的顺序的层次结构。
13.根据权利要求3所述的图像处理装置，其中
在由所述分析装置分析出的渐进结构具有按成分、位置、分辨率级别和层的顺序的层次结构的情况下，所述确定装置将所述合并后渐进结构确定为按成分、视域、位置、分辨率级别和层的顺序的层次结构。
14.根据权利要求1所述的图像处理装置，还包括：
渐进信息生成装置，用于生成渐进信息，即关于所述合并后渐进结构的信息，并将其添加到所述码流。
15.根据权利要求14所述的图像处理装置，其中
所述渐进信息生成装置在合并后码流中包括的JPEG 2000 COD标记片段中的SGcod、SPcoc和Ppoc的至少一者中定义所述合并后渐进结构的层次结构作为所述渐进信息。
16.根据权利要求14所述的图像处理装置，其中
所述渐进信息生成装置在合并后码流中包括的JPEG 2000 SIZ标记片段中的Rsiz中定义由所述合并装置合并的码流中的视域数目作为所述渐进信息。
17.根据权利要求1所述的图像处理装置，还包括：
指令接收装置，用于接收关于所述渐进结构的外部指令；
其中
所述确定装置根据由所述分析装置给出的分析结果和由所述指令接收装置接收到的外部指令来确定所述合并后渐进结构。
18.根据权利要求1所述的图像处理装置，还包括：
编码装置，用于对各个视域的图像编码以使之具有所述渐进结构；
其中
所述分析装置分析由所述编码装置对所述图像编码而生成的各个视域的码流的渐进结构。
19.根据权利要求18所述的图像处理装置，还包括：
深度数据生成装置，用于从各个视域的图像生成指示图像深度的深度数据；
其中
所述编码装置还对由所述深度数据生成装置生成的深度数据编码，并且
所述合并装置把由所述编码装置生成的所述深度数据的码流与其他多视域码流一起合并为单个码流。
20.一种用于图像处理装置的图像处理方法，包括：
分析手段，分析编码了图像的多视域码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构；
确定手段，根据分析结果确定所述多视域码流的合并后渐进结构；以及
合并手段，根据所确定的合并后渐进结构合并所述多视域码流，并且生成具有所述渐进结构的单个码流。
21.一种图像处理装置，包括：
分析装置，用于分析单个码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，该单个码流是通过对编码了图像的多视域码流进行合并而生成的；以及
分割装置，用于根据由所述分析装置分析出的渐进结构中包括的针对视域的渐进结构，把合并后的单个码流分割成所述多视域码流。
22.根据权利要求21所述的图像处理装置，还包括：
解码装置，用于对由所述分割装置分割出的各个视域的码流进行解码。
23.根据权利要求21所述的图像处理装置，还包括：
渐进信息生成装置，用于为由所述分割装置分割出的各个视域的码流生成渐进信息，即关于所述渐进结构的信息，并将其添加到所述码流。
24.根据权利要求21所述的图像处理装置，其中
所述合并后的单个码流具有针对视域、层、分辨率级别、成分和位置的渐进结构。
25.一种用于图像处理装置的图像处理方法，包括：
分析手段，分析单个码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，该单个码流是通过对编码了图像的多视域码流进行合并而生成的；以及
分割手段，根据分析出的渐进结构中包括的针对视域的渐进结构，把合并后的单个码流分割成所述多视域码流。
CN2011800036811A 2010-07-09 2011-07-01 图像处理装置和方法 Pending CN102484674A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-156708 2010-07-09
JP2010156708A JP5392199B2 (ja) 2010-07-09 2010-07-09 画像処理装置および方法
PCT/JP2011/065208 WO2012005193A1 (ja) 2010-07-09 2011-07-01 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN102484674A true CN102484674A (zh) 2012-05-30

Family

ID=45441172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800036811A Pending CN102484674A (zh) 2010-07-09 2011-07-01 图像处理装置和方法

Country Status (7)

Country Link
US (1) US8953898B2 (zh)
EP (1) EP2458841A1 (zh)
JP (1) JP5392199B2 (zh)
CN (1) CN102484674A (zh)
BR (1) BR112012004815A2 (zh)
RU (1) RU2012108119A (zh)
WO (1) WO2012005193A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144244A (zh) * 2013-04-29 2015-12-09 高通股份有限公司 用于基于瓦片的渲染器的查询处理

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0516549D0 (en) 2005-08-12 2005-09-21 Sulaiman Brian Milling system
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5770378B2 (ja) * 2011-09-08 2015-08-26 モトローラ モビリティ エルエルシーＭｏｔｏｒｏｌａ Ｍｏｂｉｌｉｔｙ Ｌｌｃ 係数の矩形ブロックを量子化及び逆量子化するための方法及び機器
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US20130088485A1 (en) * 2011-10-10 2013-04-11 John Gerald Chapman Method of storing or transmitting auto-stereoscopic images
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) * 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
GB2548558A (en) * 2016-03-17 2017-09-27 Nokia Technologies Oy Method and apparatus for processing video information
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
JP7118659B2 (ja) * 2018-02-15 2022-08-16 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
CN114746717A (zh) 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN115022715B (zh) * 2020-06-04 2023-07-25 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法及设备
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027816A (ja) * 2005-07-12 2007-02-01 Ricoh Co Ltd 符号化処理装置および方法、並びにプログラムおよび記録媒体
US20070041443A1 (en) * 2005-08-22 2007-02-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding multiview video
CN101605264A (zh) * 2008-06-10 2009-12-16 索尼株式会社 信息处理装置和信息处理方法
US20100020966A1 (en) * 2007-11-05 2010-01-28 Sumitomo Electric Industries, Ltd. Method for generating encryption key
CN101690249A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、封装的3d视频信号、用于3d视频信号解码器的方法和系统
WO2010038337A1 (ja) * 2008-09-30 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US7110608B2 (en) * 2001-07-02 2006-09-19 Canon Kabushiki Kaisha Digital image compression
JP2004040351A (ja) * 2002-07-02 2004-02-05 Ricoh Co Ltd 画像配信システム及び画像配信再生システム
JP2004104347A (ja) * 2002-09-06 2004-04-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
US7149370B2 (en) * 2003-03-07 2006-12-12 Nokia Corporation Method and device for image surfing
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
TW200843510A (en) * 2007-01-17 2008-11-01 Lg Electronics Inc Method and apparatus for processing a video signal
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
JP4809412B2 (ja) * 2008-09-30 2011-11-09 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027816A (ja) * 2005-07-12 2007-02-01 Ricoh Co Ltd 符号化処理装置および方法、並びにプログラムおよび記録媒体
US20070041443A1 (en) * 2005-08-22 2007-02-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding multiview video
CN101690249A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、封装的3d视频信号、用于3d视频信号解码器的方法和系统
US20100020966A1 (en) * 2007-11-05 2010-01-28 Sumitomo Electric Industries, Ltd. Method for generating encryption key
CN101605264A (zh) * 2008-06-10 2009-12-16 索尼株式会社 信息处理装置和信息处理方法
WO2010038337A1 (ja) * 2008-09-30 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144244A (zh) * 2013-04-29 2015-12-09 高通股份有限公司 用于基于瓦片的渲染器的查询处理
CN105144244B (zh) * 2013-04-29 2018-06-15 高通股份有限公司 用于基于瓦片的渲染器的查询处理的方法、设备和计算机可读存储媒体

Also Published As

Publication number Publication date
JP5392199B2 (ja) 2014-01-22
EP2458841A1 (en) 2012-05-30
US20120163725A1 (en) 2012-06-28
JP2012019449A (ja) 2012-01-26
US8953898B2 (en) 2015-02-10
BR112012004815A2 (pt) 2016-03-15
RU2012108119A (ru) 2013-09-10
WO2012005193A1 (ja) 2012-01-12

Similar Documents

Publication Publication Date Title
CN102484674A (zh) 图像处理装置和方法
Zhao et al. Light field image coding via linear approximation prior
US9955176B2 (en) Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
TWI448145B (zh) Image processing apparatus and method, and program
JP4611386B2 (ja) 多視点映像のスケーラブル符号化、復号化方法及び装置
KR102126886B1 (ko) 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
US8274551B2 (en) Method and apparatus for generating header information of stereoscopic image data
US10602187B2 (en) Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
US20170155905A1 (en) Efficient intra video/image coding using wavelets and variable size transform coding
JP5993092B2 (ja) 映像復号化方法及びそれを利用する装置
US20090002481A1 (en) Method and apparatus for generating stereoscopic image bitstream using block interleaved method
CN1618237A (zh) 支持多显示模式的立体视频编码/译码装置及其方法
MX2013003871A (es) Metodo y aparato para escalabilidad espacial para hevc.
CN1882080A (zh) 包括图像数据的传输流结构及收发图像数据的设备和方法
JP5950157B2 (ja) 画像処理装置および方法、並びに、プログラム
Maitre et al. Joint encoding of the depth image based representation using shape-adaptive wavelets
US10687068B1 (en) Method for compressing light field data using variable block-size four-dimensional transforms and bit-plane decomposition
EP1585338B1 (en) Decoding method and decoding device
Zayed et al. 3D wavelets with SPIHT coding for integral imaging compression
JP2011239066A (ja) 画像処理装置および方法
Hu et al. Motion differential set partition coding for image sequence and video compression
JP2007027816A (ja) 符号化処理装置および方法、並びにプログラムおよび記録媒体
JP2000349644A (ja) 多視点画像符号化復号化装置および多視点画像符号化復号化方法
Akbari et al. MULIRESOLUTION, ADAPTIVE VECTOR QUANTIZATION AND PERCEPTUAL BASED MULTIVIEW IMAGE CODEC
Onno et al. JPEG2000: present and future of the new standard

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120530