CN103109534B

CN103109534B - 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置

Info

Publication number: CN103109534B
Application number: CN201280002274.3A
Authority: CN
Inventors: 林宗顺; V·瓦哈达尼亚; 乃苏孟德; 西孝启; 柴原阳司; 笹井寿郎; 杉尾敏康
Original assignee: Sun Patent Trust Inc
Current assignee: Sun Patent Trust Inc
Priority date: 2011-02-22
Filing date: 2012-02-21
Publication date: 2016-11-16
Anticipated expiration: 2032-02-21
Also published as: US8917946B2; US10602159B2; CN107094258B; TWI523499B; JP2014003658A; CN103109534A; EP2680582A4; US20120224774A1; JP2013243770A; RU2594489C2; US20170006297A1; US9489749B2; CN107094258A; US8855435B2; CA2807545C; RU2013104978A; US20130343666A1; WO2012114725A1; JP5341277B2; BR112013003102B1

Abstract

本发明涉及图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置。提供能适用适合的比特深度提高编码效率的图像编码方法。图像编码方法对图像进行编码而生成编码流，其中具备：第1写入步骤（S1001），在生成的编码流的序列参数集合中写入第1参数，该第1参数表示图像的重构样本的比特深度即第1比特深度；及第2写入步骤（S1002），在序列参数集合中写入第2参数，该第2参数是表示图像的IPCM样本的比特深度即第2比特深度的参数、且是与第1参数不同的参数。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置

技术领域

本发明涉及对图像进行编码而生成编码流的图像编码方法、及对编码流所含的图像进行解码的图像解码方法。

背景技术

在H.264标准(非专利文献1参照)中，在图像(包括影像)的编码中，典型的有使用了空间的预测方法的帧内编码(intra coding)和使用了时间的预测方法的帧间编码(inter coding)。

有时对像帧间16×16、帧间16×8、帧间8×16、帧间8×8、帧间8×4、帧间4×8、帧间4×4等那样的多的不同的帧间编码块(block)类型进行时间的预测，另一方面，有时对像帧内16×16、帧内8×8、帧内4×4等那样的多的帧内编码块类型进行空间的预测。帧内脉冲编码调制(IPCM：Intra Pulse Code Modulation)块是帧内编码块的一种。

IPCM块是亮度及色差的原(RAW)样本被信号化成编码流的块，是未被压缩的图像样本的块。这些通常用于如下情况：熵编码器对图像样本的块进行编码时，做出比原数据的比特数还多的比特数。一般而言，IPCM块在编码流中，作为未被压缩的数据而编码。

现有技术文献

非专利文献：ITU-T H.264 03/2010

但是，有时因IPCM块而妨碍编码效率的提高。IPCM块的数据量依赖于亮度及色差的比特深度的大小。比特深度大的情况下，未被压缩的IPCM块的数据量变大。因而，这样的情况下，因IPCM块而妨碍编码效率的提高。

发明内容

本发明的目的在于提供图像编码方法及图像解码方法，能使用适合的比特深度来提高编码效率。

为了解决上述问题，本发明涉及的图像编码方法对图像进行编码而生成编码流，其中包括：第1写入步骤，在生成的上述编码流的序列参数集合中写入第1参数，该第1参数表示上述图像的重构样本的比特深度即第1比特深度；及第2写入步骤，在上述序列参数集合中写入第2参数，该第2参数是表示上述图像的IPCM样本的比特深度即第2比特深度的参数、且是与上述第1参数不同的参数。

这样一来，能与重构样本用的比特深度不同，独立设定IPCM样本用的比特深度。因此，能削减IPCM样本的冗长数据。因而，编码效率的提高成为可能。

而且，上述图像编码方法也可以还包括第3写入步骤，该第3写入步骤将上述IPCM样本以上述第2比特深度写入上述编码流。

这样一来，IPCM样本以与设定为重构样本用的比特深度不同的、设定为IPCM样本用的比特深度，写入编码流。因而，编码效率的提高成为可能。

而且，上述图像编码方法也可以还包括重构步骤，该重构步骤根据上述图像的编码样本，对比特深度为上述第1比特深度的样本进行重构，从而生成上述重构样本。

这样一来，以与设定为IPCM样本用的比特深度不同的、设定为重构样本用的比特深度，生成重构样本。因而，画质的提高成为可能。

而且，在上述第2写入步骤中，也可以写入表示在上述第1比特深度以下的上述第2比特深度的上述第2参数。

这样一来，IPCM样本用的比特深度，被设定为在重构样本用的比特深度以下。因而，IPCM样本的冗长数据的削减成为可能。

而且，上述图像编码方法也可以还包括变换步骤，该变换步骤将比特深度是上述第2比特深度的上述IPCM样本变换为比特深度是上述第1比特深度的上述重构样本。

这样一来，即使在IPCM样本用的比特深度与重构样本用的比特深度不同的情况下，也能将IPCM样本作为重构样本来使用。

而且，也可以在上述第2写入步骤中，写入表示比上述图像的原始样本的比特深度即第3比特深度还小的上述第2比特深度的上述第2参数，上述图像编码方法还包括比特深度缩小步骤，该比特深度缩小步骤通过将比特深度是上述第3比特深度的上述原始样本变换为比特深度是上述第2比特深度的样本，缩小与上述原始样本相对应的上述IPCM样本的比特深度。

这样一来，能削减与原始样本相对应的IPCM样本的冗长数据。因而，编码效率的提高成为可能。

而且，也可以在上述第1写入步骤中，写入表示比上述图像的原始样本的比特深度即第3比特深度还大的上述第1比特深度的上述第1参数，上述图像编码方法还包括比特深度扩大步骤，该比特深度扩大步骤通过将比特深度是上述第3比特深度的上述原始样本变换为比特深度是上述第1比特深度的样本，扩大与上述原始样本相对应的上述重构样本的比特深度。

这样一来，扩大与原始样本相对应的重构样本的比特深度成为可能。因而，画质的提高成为可能。

而且，上述图像编码方法也可以还包括第4写入步骤，该第4写入步骤将使用比特深度是上述第1比特深度的上述重构样本进行编码的编码样本写入上述编码流。

这样一来，使用具有重构样本用的比特深度的重构样本进行编码的编码样本，写入编码流。

而且，也可以本发明涉及的图像解码方法对编码流中所含的图像进行解码，其中包括：第1取得步骤，从上述编码流的序列参数集合取得第1参数，该第1参数表示上述图像的重构样本的比特深度即第1比特深度；及第2取得步骤，从上述序列参数集合取得第2参数，该第2参数是表示上述图像的IPCM(Intra Pulse Code Modulation)样本的比特深度即第2比特深度的参数、且是与上述第1参数不同的参数。

而且，上述图像解码方法也可以还包括第3取得步骤，该第3取得步骤以上述第2比特深度从上述编码流取得上述IPCM样本。

这样一来，以与设定为重构样本用的比特深度不同的、设定为IPCM样本用的比特深度，从编码流得到IPCM样本。因而，编码效率的提高成为可能。

而且，上述图像解码方法也可以还包括重构步骤，该重构步骤根据上述图像的编码样本，对比特深度为上述第1比特深度的样本进行重构，从而生成上述重构样本。

而且，也可以在上述第2取得步骤中，取得表示上述第1比特深度以下的上述第2比特深度的上述第2参数。

这样一来，IPCM样本用的比特深度被设定为在重构样本用的比特深度以下。因而，IPCM样本的冗长数据的削减成为可能。

而且，上述图像解码方法也可以还包括变换步骤，该变换步骤将比特深度是上述第2比特深度的上述IPCM样本变换为比特深度是上述第1比特深度的上述重构样本。

而且，也可以在上述第2取得步骤中，取得表示比上述第1比特深度还小的上述第2比特深度的上述第2参数，上述图像解码方法还包括比特深度扩大步骤，该比特深度扩大步骤通过将比特深度是上述第2比特深度的上述IPCM样本变换为比特深度是上述第1比特深度的样本，扩大上述IPCM样本的比特深度。

这样一来，即使在IPCM样本用的比特深度比重构样本用的比特深度还小的情况下，也能将IPCM样本作为重构样本来使用。

而且，也可以在上述第2取得步骤中，取得表示比上述图像的原始样本的比特深度即第3比特深度还小的上述第2比特深度的上述第2参数。

这样一来，能适当地取得削减了冗长数据的IPCM样本。因而，编码效率的提高成为可能。

而且，也可以在上述第1取得步骤中，取得表示比上述图像的原始样本的比特深度即第3比特深度还大的上述第1比特深度的上述第1参数。

这样一来，能扩大重构样本的比特深度。因而，画质的提高成为可能。

而且，上述图像解码方法也可以还包括第4取得步骤，该第4取得步骤从上述编码流取得使用比特深度是上述第1比特深度的上述重构样本进行解码的编码样本。

这样一来，能适用具有重构样本用的比特深度的重构样本，对从编码流得到的编码样本进行解码。

而且，本发明涉及的图像编码装置也可以对图像进行编码而生成编码流，其中具备：第1写入部，在生成的上述编码流的序列参数集合中写入第1参数，该第1参数表示上述图像的重构样本的比特深度即第1比特深度；及第2写入部，在上述序列参数集合中写入第2参数，该第2参数是表示上述图像的IPCM(Intra Pulse Code Modulation)样本的比特深度即第2比特深度的参数、且是与上述第1参数不同的参数。

这样一来，图像编码方法作为图像编码装置来实现。

而且，本发明涉及的图像解码装置也可以对编码流中所含的图像进行解码，其中具备：第1取得部，从上述编码流的序列参数集合取得第1参数，该第1参数表示上述图像的重构样本的比特深度即第1比特深度的第1参数；及第2取得部，从上述序列参数集合取得第2参数，该第2参数是表示上述图像的IPCM(Intra Pulse Code Modulation)样本的比特深度即第2比特深度的参数、且是与上述第1参数不同的参数。

这样一来，图像解码方法作为图像解码装置来实现。

而且，也可以本发明涉及的图像编解码装置，其中，上述图像编解码装置具备对图像进行编码而生成编码流的图像编码部；上述图像编码部具备：第1写入部，在生成的上述编码流的序列参数集合中写入第1参数，该第1参数表示上述图像的重构样本的比特深度即第1比特深度；及第2写入部，在上述序列参数集合中写入第2参数，该第2参数是表示上述图像的IPCM(Intra Pulse Code Modulation)样本的比特深度即第2比特深度的参数、且是与上述第1参数不同的参数；上述图像编解码装置还具备对编码流中所含的图像进行解码的图像解码部；上述图像解码部具备：第1取得部，从上述编码流的序列参数集合取得第1参数，该第1参数表示上述图像的重构样本的比特深度即第1比特深度；及第2取得部，从上述序列参数集合中取得第2参数，该第2参数是表示上述图像的IPCM样本的比特深度即第2比特深度的参数、且是与上述第1参数不同的参数。

这样一来，图像编码装置及图像解码装置作为图像编解码装置来实现。

发明的效果如下：

根据本发明，能与重构样本用的比特深度不同，独立地设定IPCM样本用的比特深度。因此，能削减IPCM样本的冗长数据。因而，编码效率的提高成为可能。

附图说明

图1是示出编码流内的场(field)参数的位置的语法图。

图2是示出H.264标准章节7.3.5中的图像解码方法的一连串的动作的流程图。

图3是示出实施方式1的图像编码装置的构造的方框图。

图4是示出基于实施方式1的8比特深度变换的语法图。

图5是示出实施方式1的图像编码装置的一连串的动作的流程图。

图6是示出实施方式1的编码流内的2个场参数的语法图。

图7是示出实施方式2的图像解码装置的构造的方框图。

图8是示出实施方式2的图像解码装置的一连串的动作的流程图。

图9是示出实施方式3涉及的图像比特流的编码方法的流程图。

图10A是示出实施方式4涉及的图像编码装置的构造的方框图。

图10B是示出实施方式4涉及的图像编码装置的动作的流程图。

图11A是示出实施方式4涉及的图像解码装置的构造的方框图。

图11B是示出实施方式4涉及的图像解码装置的动作的流程图。

图12是示出实施方式5涉及的图像编码装置的构造的方框图。

图13是示出实施方式5涉及的图像编码装置的动作的流程图。

图14是示出实施方式5涉及的图像解码装置的构造的方框图。

图15是示出实施方式5涉及的图像解码装置的动作的流程图。

图16是实现内容分发服务器的内容供给系统的全体构成图。

图17是数字广播用系统的全体构成图。

图18是示出电视机的构成例的方框图。

图19是示出对是光盘的记录介质进行信息的读写的信息再生/记录部的构成例的方框图。

图20是示出是光盘的记录介质的构造例的图。

图21A是示出便携式电话的一个例子的图。

图21B是示出便携式电话的构成例的方框图。

图22是示出复用数据的构成的图。

图23是示意性地示出各流如何复用在复用数据中的图。

图24是更详细地示出如何在PES包列中容纳视频流的图。

图25是示出复用数据中的TS包和源包的构造的图。

图26是示出PMT的数据构成的图。

图27是示出复用数据信息的内部构成的图。

图28是示出流属性信息的内部构成的图。

图29是示出识别影像数据的步骤的图。

图30是示出实现各实施方式的动图像编码方法及动图像解码方法的集成电路的构成例的方框图。

图31是示出切换驱动频率的构成的图。

图32是示出识别影像数据、切换驱动频率的步骤的图。

图33是示出将影像数据的标准和驱动频率对应起来的查找表的一个例子的图。

图34A是示出使信号处理部的模块共有化的构成的一个例子的图。

图34B是示出使信号处理部的模块共有化的构成的一个其他例子的图。

具体实施方式

以下，对于本发明的实施方式，使用附图详细地进行说明。并且，以下说明的实施方式，都示出了本发明的优选的一个具体例。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等，是一个例子，不是限定本发明的主旨。本发明通过权利要求来确定。因此，有关以下的实施方式的构成要素之中的、表示本发明的最上位概念的独立权利要求未记载的构成要素，不是为了达成本发明的问题而必要的，但作为构成更优选形态的构成要素来说明。

(引言)

HEVC(High Efficiency Video Coding)在图像的解码中，支持比特深度的扩大。这意味着即使源图像是8比特的比特深度的源图像，HEVC解码器也将编码图像作为10比特的比特深度的图像来解码，改善编码效率。在对比特深度为10比特的图像进行解码时，缓和帧间预测的存储器带宽的要件，对于比特深度为10比特的图像样本的块的压缩，也可以使用用于使存储器存取高速化的轻量压缩方式。

现在，有经由编码图像比特流，将重构图像的比特深度向解码器进行信号发送的方法。在H.264标准中，通过序列参数集合(sequence parameter set)的语法要素(bit_depth_luma_minus8及bit_depth_chroma_minus8)，在High profile、High 10profile及High 4:4:2profile等多个简图(profile)中，分别确定重构亮度数据及重构色差数据的比特深度。关于H.264标准中的其他多个简图，语法要素(bit_depth_luma_minus8及bit_depth_chroma_minus8)不存在于编码图像比特流中，推定重构图像数据的比特深度相当于8。

但是，存在如下问题：有时被信号化的比特深度通过比特深度的扩大而变得比编码处理前的原来的图像的比特深度还大。关于IPCM块，以比原来的图像样本还大的比特深度，对亮度及色差的原样本进行编码是非效率的，使编码效率降低。

在重构图像的比特深度比原来的图像的比特深度还大的情况下，为了削减存储器带宽，也可以使用轻量压缩方式。但是，由于存在IPCM的重构块和轻量压缩块在存储器内的识别的问题，所以不能将包括原来的图像样本的IPCM块以低的比特深度直接保存在存储器中。当错误的解码方式在IPCM的重构图像块中使用时，典型地带来帧间预测中的错误的发生。

图1是示出编码流内的场参数的位置的语法图。如图1所示，在表示“重构样本的比特深度”的参数的场F1存在的情况下，这保存在比特流的序列头中。比特流包含图片P1…图片Pi…这样的一连串的图片，各图片包含一连串的切片(slice)。在此，图片P1包括切片S1及切片S2，切片S1的宏块(macroblock)MBi是IPCM块。

在图1中，头信息保存在比特流的序列头中，该头信息包括表示被重构的样本的比特深度的参数的场F1。在图1的脚本中，无论宏块MBi是否为IPCM块，表示比特深度的固定长度的参数的场F1都在(在解码器或编码器中)重构中使用。

图2是示出H.264标准章节中的图像解码方法的一连串的动作的流程图。

控制部判断宏块类别(mb_type)是否为I_PCM(IPCM块)(步骤S202)。在此，在控制部判断为宏块类别不是I_PCM的情况下(在步骤S202为“否”)，使用其他mb_type值用的其他方法来处理宏块(步骤S206)。

另一方面，在控制部判断为mb_type是I_PCM的情况下(在步骤S202为“是”)，对IPCM宏块执行字节位置调整(Byte_alignment)的动作(步骤S204)。接着，读出样本[0…Num_of_samples]的全部的亮度样本值(sample_luma)(例如，8比特)(步骤S208)。在H.264标准中，仅1个分析方法能用于16×16大小(宏块大小)的I_PCM块。

这样，有针对用于使用适当的比特深度信息对图像进行编解码的方法及装置的需求。在以下的实施方式中，示出了能使用适合的比特深度来提高编码效率的技术。

并且，IPCM块是由IPCM样本构成的块。而且，在HEVC中，IPCM块作为预测单元的一种来处理。因此，有时IPCM块被称作IPCM预测单元块、或IPCM PU块。

(实施方式1)

图3是示出本实施方式的图像编码装置的构造的方框图。图3所示的图像编码装置300是对所输入的图像比特流以块为单位进行编码，生成编码输出比特流的装置。

如图3所示，图像编码装置300具备2个N比特深度变换部302A、302B、减法运算器304A、加法器304B、变换部306、量子化部308、逆量子化部310、逆变换部312、帧间/帧内预测部314、2个复用器(MUX部)316A、316B、存储器318、滤波器部319、熵编码部320、控制部322、及可选处理部324。

输入图像向N比特深度变换部302A及可选处理部324输入。输入图像比特流输入到N比特深度变换部302A中之后，N比特深度变换部302A按照由控制部322确定的通知，对输入图像执行N比特深度变换，将作为结果而得到的变换为N比特深度的值向减法运算器304A输出。

减法运算器304A从由N比特深度变换部302A输出的N比特深度的值中减去由帧间/帧内预测部314输出的预测图像值，将通过减法运算而得到的值向变换部306输出。变换部306将通过减法运算而得到的值变换为频率系数，将得到的频率系数向量子化部308输出。量子化部308将输入的频率系数量子化，将得到的量子化值向逆量子化部310及熵编码部320输出。

熵编码部320按照由控制部322确定的通知，对从量子化部308输出的量子化值进行编码，将得到的值输出到复用器316B。这时，熵编码部320也可以对参数等进行可变长编码。

逆量子化部310将从量子化部308输出的量子化值逆量子化，将得到的逆量子化值向逆变换部312输出。逆变换部312对频率系数进行逆频率变换，将频率系数变换成比特流的样本值，将得到的样本值向加法器304B输出。加法器304B将从逆变换部312输出的样本值加在从帧间/帧内预测部314输出的预测图像值上，经由滤波器部319，将得到的加法运算值向复用器316A输出。

滤波器部319根据需要，对得到的加法运算值，进行将块失真除去的去块滤波器处理等滤波器处理。

复用器316A按照由控制部322确定的通知，选择从滤波器部319输出的值、及从N比特深度变换部302B输出的值之中的任一值，将得到的值为了进一步的预测而输出到存储器318。帧间/帧内预测部314在保存在存储器318中的重构图像内进行检索，例如，为了预测，在输入图像中检测最类似的图像的区域。

而且，输入图像输入到可选处理部324。可选处理部324对图像的比特流进行鲜明化、平滑化、及比特流的去块化等操作，(以IPCM样本的比特深度)选出固定长度的图像的原样本，将作为结果而选出的值向N比特深度变换部302B输出。N比特深度变换部302B按照由控制部322确定的通知，对图像的原样本执行N比特深度变换，将得到的值向复用器316A输出。可选处理部324还将得到的值向复用器316B输出。

并且，可选处理部324如上所述，以IPCM样本的比特深度选出固定长度的图像的原样本。即，可选处理部324将输入图像的比特深度调整为IPCM用的比特深度。例如，可选处理部324将输入图像的比特深度缩小到IPCM用的比特深度。

复用器316B可以按照由控制部322确定的通知，选择从熵编码部320输出的值、及从可选处理部324输出的值之中的任一值，输出得到的值。复用器316B的输出比特流是编码比特流，后面在图6的语法图中示出。

控制部322确定用于向N比特深度变换部302A、302B通知是否应对输入的图像执行N比特深度变换的通知。控制部322还决定用于通知给复用器316A的通知，以便选择从滤波器部319输出的值、及从N比特深度变换部302B输出的值之中的任一值。控制部322同样决定用于通知给复用器316B的通知，以便选择从可选处理部324输出的值、及从熵编码部320输出的值之中的任一值。

例如，控制部322可以使用规定的方式，即，将由熵编码部320生成的编码比特数与来自可选处理部324的固定长度的原样本比特数进行比较的方式。在编码比特数比固定长度的原样本比特数还小的情况下，控制部322通知给复用器316B，以便选择从熵编码部320输出的值。这以外的情况，控制部322通知给复用器316B，以便选择从可选处理部324输出的值。

控制部322进一步向将(1)IPCM样本的比特深度及(2)重构样本的比特深度的2个参数写入输出比特流中的熵编码部320，输出该2个参数。

如上所述，所谓“N比特深度变换”，是例如通过在原来的M比特数据中插入间隔量(padding)而使M比特数据扩张为N比特数据，或通过将原来的M比特数据压缩到N比特数据，而将原来的M比特数据变换为N比特数据的变换。

M＝N的情况下，N比特深度变换部302A、302B，作为由N比特深度变换得到的值而直接输出M比特数据。在输入数据的比特数M＞N的情况下，N比特深度变换部302A、302B也可以将M比特数据压缩到N比特数据。另外，输出所压缩的N比特数据。另一方面，在输入数据的比特数M＜N的情况下，N比特深度变换部302A、302B也可以例如将[0，0，…，0]或[1，0，…，0](合计(M-N)比特)的间隔量，插入到原来的M比特数据的开始、原来的M比特数据的结束、或原来的M比特数据之间。然后，输出被间隔量化的N比特数据。

图4是示出基于本实施方式的8比特深度变换的语法图。

在图4的(a)中，有关重构图像的亮度成分的比特深度(402)和有关重构图像的色差成分的比特深度(404)都是8比特。另一方面，有关原来的IPCM块的亮度成分的比特深度(406)和有关原来的IPCM块的色差成分的比特深度(408)都是8比特。这样，有关亮度和色差这两个成分的重构图像的比特深度(8比特)，与有关亮度和色差这两个成分的原来的IPCM块的比特深度(8比特)相等。其结果，8比特深度的变换，既不需要扩大比特也不需要缩小比特。

在图4的(b)中，有关重构图像的亮度成分的比特深度(410)及有关重构图像的色差的成分的比特深度(412)都是8比特。另一方面，有关原来的IPCM块的亮度成分的比特深度(414)和有关原来的IPCM块的色差成分的比特深度(416)都是10比特。这样，有关亮度和色差这两个成分的重构图像的比特深度(8比特)，比有关亮度和色差这两个成分的原来的IPCM块的比特深度(10比特)还小。IPCM块的比特深度，例如通过将10比特数据压缩成8比特数据的手段，削减为与重构图像的比特深度相等的水平。

在图4的(c)中，有关重构图像的亮度成分的比特深度(418)和有关重构图像的色差成分的比特深度(420)都是10比特。另一方面，有关原来的IPCM块的亮度成分的比特深度(422)和有关原来的IPCM块的色差成分的比特深度(424)都是8比特。这样，有关亮度和色差这两个成分的重构图像的比特深度(10比特)，比有关亮度和色差这两个成分的原来的IPCM块的比特深度(8比特)还大。IPCM块的比特深度，例如通过将2比特的间隔量插入到IPCM块中的手段，扩大到与重构图像的比特深度相等的水平。

接着，对上述图像编码装置300的动作进行说明。

图5是示出本实施方式的图像编码装置300的一连串的动作的流程图。

在步骤S502中，示出重构样本的比特深度的信号sigRec和示出IPCM样本的比特深度的信号sigPcm被写入视频流的头中。在步骤S504中，IPCM PU块使用信号sigPcm所示的比特深度例如10比特来写入。然后，IPCM PU块通过将比特深度从由信号sigPcm所示的比特深度变换到由信号sigRec所示的比特深度，例如从10比特变换到8比特，来重构(步骤S506)。

图6是示出本实施方式的编码流内的2个场参数的语法图。

如图6所示，在表示“重构样本的比特深度”(例如，图4的bit_depth_luma_minus8及bit_depth_chroma_minus8)的参数的场F1和表示“IPCM样本的比特深度”(例如，图4的pcm_bit_depth_luma_minus1及pcm_bit_depth_chroma_minus1)的参数的场F2存在的情况下，这些保存在一连串的图片的序列头中。在图6中，编码比特流包括像图片P1…图片Pi那样的一连串的图片，各图片包括一连串的切片。在此，图片P1包括切片S1及切片S2，切片S1的块Bi是IPCM块。

在图6中，头信息包括序列头(序列参数集合：Sequence Parameter Set)、图片头(图片参数集合：Picture Parameter Set)、切片头、SEI(辅助扩张信息：SupplementalEnhancement Infomation)、NAL(网络提取层：Network Abstraction Layer)等参数。

头信息保存在图像流的头中，例如，序列头包括表示8比特的“重构样本的比特深度”的参数的场F1(sigRec)和表示10比特的“IPCM样本的比特深度”的参数的场F2(sigPcm)。在图6中，块Bi是IPCM块，在块Bi的重构中，不使用场F1(sigRec)的比特深度的参数，而使用场F2(sigPcm)的比特深度的参数。

在本实施方式中，改善编码图像比特流的IPCM数据的编码效率。而且，IPCM数据以存在与重构图像样本的比特深度不同的情况、的非压缩的比特深度来编码。非压缩样本的比特深度比重构样本的比特深度还小的情况下，除掉过剩比特的编码的冗长性。另一方面，提供如下构成：在非压缩样本的比特深度比重构样本的比特深度还大的情况下，不失去比特精度地正确保持IPCM数据的非压缩的比特深度。

(实施方式2)

图7是示出本实施方式的图像解码装置的构造的方框图。图7所示的图像解码装置700是用块基对输入的编码比特流进行解码，并输出图像的装置。

如图7所示，图像解码装置700具备解复用器(DEMUX部)702A、复用器(MUX部)702B、熵解码部704、加法器706、逆量子化部708、逆变换部710、存储器712、帧间/帧内预测部714、控制部716、IPCM块分析部718、滤波器部719及N比特深度变换部720。

输入的编码比特流输入解复用器702A，解复用器702A向熵解码部704或IPCM块分析部718，按照通过控制部716决定的通知来输出得到的值。

输入的编码比特流向熵解码部704输入后，熵解码部704对来自解复用器702A的输出值进行解码，将解码值输出到逆量子化部708及控制部716。这时，熵解码部704也可以对参数等进行可变长解码。

逆量子化部708对输入值进行逆量子化，将得到的逆量子化值向逆变换部710输出。逆变换部710对频率系数进行逆频率变换，将频率系数变换为样本值，将得到的像素值向加法器706输出。加法器706将从逆变换部710输出的样本值加到从帧间/帧内预测部714输出的预测图像值中，经由滤波器部719，将得到的值向复用器702B输出。

滤波器部719根据需要，进行除去块失真的去块滤波器处理等滤波器处理。

复用器702B按照通过控制部716决定的通知，选择来自滤波器部719的输出值、及来自N比特深度变换部720的输出值之中的任一值，将得到的值为了进一步的预测而输出到存储器712。解码的图像从存储器712输出并显示。进而，帧间/帧内预测部714在保存在存储器712中的图像内进行检索，例如，为了预测，检测与解码的图像最类似的图像的区域。

对于IPCM块分析部718及N比特深度变换部720，分析及变换的处理依赖于“IPCM样本的比特深度(sigPcm)”及“重构样本的比特深度(sigRec)”这2个参数。该2个参数“IPCM样本的比特深度(sigPcm)”及“重构样本的比特深度(sigRec)”，从输入比特流的头通过熵解码部704得到。

输入的编码比特流及从控制部716输出的信号sigPcm(例如示出10比特)，输入IPCM块分析部718，IPCM块分析部718将得到的分析值向N比特深度变换部720输出。N比特深度变换部720使用从控制部716得到的信号sigRec和从IPCM块分析部718输出的分析值，执行N比特深度变换，将得到的变换值向复用器702B输出。

复用器702B可以按照通过控制部716决定的通知，选择从滤波器部719输出的值、及从N比特深度变换部720输出的值之中的任一值。

控制部716决定用于通知给解复用器702A的通知，以便向熵解码部704或IPCM块分析部718输出。而且，控制部716决定用于通知给复用器702B的通知，以便选择从滤波器部719输出的值、及从N比特深度变换部720输出的值之中的任一值。进而，控制部716作为针对IPCM块分析部718及N比特深度变换部720的各自的输入值，还提供信号sigPcm(10比特)及信号sigRec(N比特)的2个参数。

接着，对如上描述的图像解码装置700的动作进行说明。

图8是示出本实施方式的图像解码装置700的一连串的动作的流程图。

在步骤S802中，判断PU_type(预测单元类别)是否为I_PCM。在该判断的结果为PU_type不是I_PCM的情况下(在步骤S802为“否”)，为了对块进行解码而使用其他PU_type值用的其他方法(步骤S804)。

另一方面，在该判断的结果为PU_type是I_PCM的情况下(在步骤S802为“是”)，控制部716从图像流的头中取得信号sigRec和信号sigPcm的参数(步骤S806)。接着，I_PCM PU块使用10比特等的信号sigPcm所示的固定长度的原样本的比特深度来读出(步骤S808)。然后，判断由信号sigRec示出的比特深度和由信号sigPcm示出的比特深度是否不同(步骤S810)。在由sigRec示出的比特深度与由sigPcm示出的比特深度不同的情况下(在步骤S810为“是”)，以从10比特变换为8比特等的方式，使用信号sigRec执行N比特深度变换(步骤S812)。

如上所述，解码器确定IPCM块的比特深度，认识在IPCM块的分析中每个样本需要多少比特数，所以可以使用图像序列的头的参数“IPCM样本的比特深度”。

在重构图像的比特深度比IPCM块的比特深度还大(小)，轻量存储器压缩用于重构图像的压缩的情况下，IPCM块的比特深度被扩大(缩小)到与重构图像的比特深度相等的水平，相同的轻量压缩方式应用于IPCM块的同时，维持用于帧间预测的解码处理的匹配性。使用轻量存储器压缩的情况下，通过比特深度变换处理，与非IPCM样本同等地处理IPCM样本。

在本实施方式中，以改善了IPCM数据的编码效率的形式进行编码的编码图像数据的解码是可能的。在非压缩样本的比特深度比重构样本的比特深度还小的情况下，除去过剩比特的编码的冗长性。另一方面，提供在非压缩样本的比特深度比重构样本的比特深度还大的情况下，不丢失比特精度地正确保持IPCM数据的非压缩的比特深度的构成。

即使IPCM数据和非IPCM数据的比特深度不同，也能通过使用表示IPCM数据的比特深度的、编码图像数据的参数，适当地进行解码。

(实施方式3)

本实施方式示出实施方式1中示出的图像编码装置300中执行的特征的动作。

图9是示出本实施方式涉及的图像比特流的编码方法的流程图。在步骤S902中，表示在图像比特流内被信号化的固定长度的原样本的比特深度的第1参数，写入到图像比特流的头中。在步骤S904中，表示根据图像比特流而重构的样本的比特深度的第2参数，写入到图像比特流的头中。在步骤S906中，固定长度的原样本的子组，根据第1参数，每个样本以多个比特，写入到图像比特流中。在步骤S908中，重构固定长度的原样本的子组，在重构时，将固定长度的原样本的子组的比特深度从第1参数变换为第2参数。

(实施方式4)

本实施方式涉及的图像编码装置，具备实施方式1中示出的图像编码装置300的特征的构成要素。而且，本实施方式涉及的图像解码装置，具备实施方式2中示出的图像解码装置700的特征的构成要素。

图10A是示出本实施方式涉及的图像编码装置的构造的方框图。图10A所示的图像编码装置1000，对图像进行编码，生成编码流。另外，图像编码装置1000具备第1写入部1001及第2写入部1002。第1写入部1001及第2写入部1002主要对应于实施方式1的熵编码部320。

图10B是示出图10A所示的图像编码装置1000的动作的流程图。

像图10B那样，第1写入部1001在生成的编码流的序列参数集合中写入第1参数，该第1参数表示第1比特深度，该第1比特深度是图像的重构样本的比特深度(S1001)。第2写入部1002在序列参数集合中写入第2参数，该第2参数是表示第2比特深度的参数，且是与第1参数不同(不同)的参数，该第2比特深度是图像的IPCM样本的比特深度(S1002)。

这样一来，能与重构样本用的比特深度不同，独立地设定IPCM样本用的比特深度。因此，能削减IPCM样本的冗长数据。因而，编码效率的提高成为可能。

图11A是示出本实施方式涉及的图像解码装置的构造的方框图。图11A所示的图像解码装置1100对编码流中所含的图像进行解码的。另外，图像解码装置1100具备第1取得部1101及第2取得部1102。第1取得部1101及第2取得部1102主要对应于实施方式2的熵解码部704。

图11B是示出图11A所示的图像解码装置1100的动作的流程图。

像图11B那样，第1取得部1101从编码流的序列参数集合中，取得表示图像的重构样本的比特深度即第1比特深度的第1参数(S1101)。第2取得部1102从序列参数集合中取得第2参数，该第2参数是表示图像的IPCM样本的比特深度即第2比特深度的参数，且是与第1参数不同的参数(S1102)。

(实施方式5)

本实施方式涉及的图像编码装置，具备实施方式1中示出的图像编码装置300的特征的构成要素。而且，本实施方式涉及的图像解码装置，具备实施方式2中示出的图像解码装置700的特征的构成要素。而且，在本实施方式中，示出了在实施方式4所示的构成要素上能任意追加的构成要素。

图12是示出本实施方式涉及的图像编码装置的构造的方框图。图12所示的图像编码装置1200具备第1写入部1201、第2写入部1202、第3写入部1203、第4写入部1204、重构部1205、变换部1206、比特深度缩小部1207及比特深度扩大部1208。

第1写入部1201及第2写入部1202，是与图像编码装置1000的第1写入部1001及第2写入部1002同样的构成要素。其他构成要素是追加的构成要素，任意地追加他们的一部分或全部。

第3写入部1203主要对应于实施方式1的复用器316B。第4写入部1204主要对应于实施方式1的熵编码部320。变换部1206主要对应于实施方式1的N比特深度变换部302B。比特深度缩小部1207主要对应于实施方式1的可选处理部324。比特深度扩大部1208主要对应于实施方式1的N比特深度变换部302A。

重构部1205主要对应于实施方式1的加法器304B。也可以在重构部1205中，包括实施方式1的逆量子化部310、逆变换部312、滤波器部319、及帧间/帧内预测部314。

图13是示出图12所示的图像编码装置1200的动作的流程图。像图13那样，第1写入部1201在生成的编码流的序列参数集合中，写入表示图像的重构样本的比特深度即第1比特深度的第1参数(S1301)。

第2写入部1202在序列参数集合中写入第2参数，该第2参数是表示图像的IPCM样本的比特深度即第2比特深度的参数，且是与第1参数不同的参数(S1302)。这时，典型地，第2写入部1202写入表示在第1比特深度以下的第2比特深度的第2参数。

第1写入部1201也可以写入表示比图像的原始样本的比特深度即第3比特深度还大的第1比特深度的第1参数。这样的情况下，比特深度扩大部1208通过将比特深度是第3比特深度的原始样本变换为比特深度是第1比特深度的样本，扩大与原始样本相对应的重构样本的比特深度(S1303)。

第2写入部1202也可以写入表示比图像的原始样本的比特深度即第3比特深度还小的第2比特深度的第2参数。这样的情况下，比特深度缩小部1207通过将比特深度是第3比特深度的原始样本变换为比特深度是第2比特深度的样本，缩小与原始样本相对应的IPCM样本的比特深度(S1304)。

重构部1205通过根据图像的编码样本对比特深度是第1比特深度的样本进行重构，生成重构样本(S1305)。在此，通过对图像的原始样本执行编码处理的至少一部分来生成编码样本。变换部1206将比特深度是第2比特深度的IPCM样本变换为比特深度是第1比特深度的重构样本(S1306)。

第3写入部1203将IPCM样本以第2比特深度写入编码流(S1307)。第4写入部1204将使用比特深度是第1比特深度的重构样本进行编码的编码样本写入编码流(S1308)。

这样一来，在图像编码装置1200中，使用重构样本用的比特深度、及IPCM样本用的比特深度，适当地进行图像处理。例如，对重构样本使用大的比特深度，并对IPCM样本使用小的比特深度。这样一来，画质的提高和编码效率的提高的并存成为可能。

并且，处理的顺序不限于图13所示的顺序，也可以变更。而且，特别是对于点划线所示的多个处理，也可以省略这些处理的一部分或全部。而且，图像编码装置1200还可以具备使用重构样本对原始样本进行编码的编码处理部。该编码处理部主要对应于实施方式1的帧间/帧内预测部314、减法运算器304A、熵编码部320、量子化部308及变换部306等。

图14是示出本实施方式涉及的图像解码装置的构造的方框图。图14所示的图像解码装置1400具备第1取得部1401、第2取得部1402、第3取得部1403、第4取得部1404、重构部1405、变换部1406及比特深度扩大部1407。

第1取得部1401及第2取得部1402，是与图像解码装置1100的第1取得部1101及第2取得部1102同样的构成要素。其他构成要素是追加的构成要素，任意地追加他们的一部分或全部。

第3取得部1403主要对应于实施方式2的IPCM块分析部718。第4取得部1404主要对应于实施方式2的熵解码部704。变换部1406主要对应于实施方式2的N比特深度变换部720。比特深度扩大部1407主要对应于实施方式2的N比特深度变换部720。

重构部1405主要对应于实施方式2的加法器706。在重构部1405中，也可以包括实施方式2的逆量子化部708、逆变换部710、滤波器部719、及帧间/帧内预测部714。

图15是示出图14所示的图像解码装置1400的动作的流程图。像图15那样，第1取得部1401从编码流的序列参数集合中，取得表示图像的重构样本的比特深度即第1比特深度的第1参数(S1501)。

第2取得部1402从序列参数集合中取得第2参数，该第2参数是表示图像的IPCM样本的比特深度即第2比特深度的参数，且是与第1参数不同的参数(S1502)。这时，典型地，第2取得部1402取得表示在第1比特深度以下的第2比特深度的第2参数。

第2取得部1402也可以取得表示比第1比特深度还小的第2比特深度的第2参数。例如，第2取得部1402取得表示比图像的原始样本的比特深度即第3比特深度还小的第2比特深度的第2参数。而且，例如，第1取得部1401取得表示比图像的原始样本的比特深度即第3比特深度还大的第1比特深度的第1参数。

第4取得部1404从编码流取得使用比特深度是第1比特深度的重构样本进行解码的编码样本(S1503)。第3取得部1403以第2比特深度从编码流取得IPCM样本(S1504)。重构部1405通过根据图像的编码样本对比特深度是第1比特深度的样本进行重构，而生成重构样本(S1505)。

在第2取得部1402取得表示比第1比特深度还小的第2比特深度的第2参数的情况下，比特深度扩大部1407通过将比特深度是第2比特深度的IPCM样本变换为比特深度是第1比特深度的样本，扩大IPCM样本的比特深度(S1506)。变换部1406将比特深度是第2比特深度的IPCM样本变换为比特深度是第1比特深度的重构样本(S1507)。

这样一来，在图像解码装置1400中，使用重构样本用的比特深度、及IPCM样本用的比特深度，适当地进行图像处理。例如，对重构样本使用大的比特深度，及对IPCM样本使用小的比特深度。这样一来，画质的提高和编码效率的提高的并存成为可能。

并且，处理的顺序不限于图15所示的顺序，也可以变更。而且，特别是对于点划线所示的多个处理，也可以省略这些处理的一部分或全部。而且，图像解码装置1400还可以具备使用重构样本对编码样本进行解码的解码处理部。该解码处理部主要对应于实施方式2的帧间/帧内预测部714、加法器706、熵解码部704、逆量子化部708、及逆变换部710等。

以上，对本发明涉及的图像编码装置及图像解码装置，根据实施方式进行了说明，但本发明不限于实施方式。对实施方式施以本领域技术人员想到的变形而得到的形态、及任意地组合实施方式的构成要素而实现的其他形态也包含在本发明中。

例如，也可以是其他的处理部执行特定的处理部执行的处理。而且，执行处理的顺序也可以变更，也可以并行执行多个处理。

而且，本发明涉及的图像编码装置及图像解码装置，也可以作为将这些所含的任意的构成要素组合起来实现的图像编解码装置来实现。例如，本发明涉及的图像编解码装置具备本发明涉及的图像编码装置作为图像编码部，具备本发明涉及的图像解码装置作为图像解码部。

而且，本发明不仅能作为图像编码装置及图像解码装置来实现，还可以作为将构成图像编码装置及图像解码装置的处理手段作为步骤的方法来实现。例如，这些步骤通过计算机来执行。另外，本发明可以将这些方法所含的步骤作为用于使计算机执行的程序来实现。再者，本发明可以作为记录了该程序的CD-ROM等非暂时的计算机可读的记录介质来实现。

而且，图像编码装置及图像解码装置所含的多个构成要素，也可以作为是集成电路的LSI(Large Scale Integration)来实现。这些构成要素也可以个别地单芯片化，也可以包含一部分或全部地单芯片化。在此，虽然为LSI，但因集成度的不同，有时也称作IC(Integrated Circuit)、系统LSI、超大LSI或甚大LSSI。

而且，集成电路化的手法不限于LSI，也可以用专用电路或通用处理器来实现。也可以利用可编程的FPGA(Field Programmable Gate Array)、或能对LSI内部的电路单元的连接及设定进行重构的可重构处理器。

再者，若通过半导体技术的进步或派生的其他技术置换成LSI的集成电路化的技术登场，当然，也可以使用该技术，进行图像编码装置及图像解码装置所含的构成要素的集成电路化。

(实施方式6)

通过将用于实现上述各实施方式中示出的动图像编码方法(图像编码方法)或动图像解码方法(图像解码方法)的构成的程序记录在存储介质中，能在独立的计算机系统中简单地实施上述各实施方式中示出的处理。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等能记录程序的介质即可。

并且在此，说明上述各实施方式中示出的动图像编码方法(图像编码方法)、动图像解码方法(图像解码方法)的应用例及使用这些方法的系统。该系统的特征在于具有图像编解码装置，该图像编解码装置由使用了图像编码方法的图像编码装置及使用了图像解码方法的图像解码装置构成。对于系统中的其他构成，可以根据情况适当地变更。

图16是示出实现内容分发服务器的内容供给系统ex100的全体构成的图。将通信服务器的提供地区分成所期望的大小，在各单元内设置着作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上从因特网服务提供商ex102及电话网ex104及基站ex106经由ex110，连接计算机ex111、PDA(Personal Digital Assistant)ex112、相机ex113、便携式电话ex114、游戏机ex115等各设备。

但是，内容供给系统ex100不限于像图16那样的构成，也可以将任意的要素组合起来进行连接。而且，从作为固定无线站的基站ex106，不经由ex110，而使各设备直接连接到电话网ex104上也可以。而且，各设备经由近距离无线等相互地直接连接也可以。

相机ex113是数字视频相机等能进行动画摄影的设备，相机ex116是数字相机等能进行静止画面摄影、动画摄影的设备。而且，便携式电话ex114是GSM(注册商标)(GlobalSystem for Mobile Communications)方式CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携式电话机，或PHS(Personal HandyphoneSystem)等，哪个都没问题。

在内容供给系统ex100中，相机ex113等通过基站ex109、电话网ex104连接到流媒体服务器ex103，从而能即时分发等。在即时分发中，对用户使用相机ex113拍摄的内容(例如，音乐现场秀的影像等)，像上述各实施方式中说明的那样进行编码处理(即，起到本发明的图像编码装置的功能)，发送到流媒体服务器ex103。另一方面，流媒体服务器ex103对针对有要求的客户机发送的内容数据进行流分发。作为客户机，有能对上述编码处理的数据进行解码的计算机ex111、PDAex112、相机ex113、便携式电话ex114、游戏机ex115等。接收了分发的数据的各设备中，对接收的数据进行解码处理后进行再生(即，起到本发明的图像解码装置的功能)。

并且，摄影的数据的编码处理也可以用相机ex113来进行，也可以用进行数据的发送处理的流媒体服务器ex103来进行，也可以相互分担。同样，分发的数据的解码处理可以用客户机进行，也可以用流媒体服务器ex103进行，也可以相互分担。而且，也可以不限于用相机ex113，而将用相机ex116拍摄的静止图像及/或动图像数据，经由计算机ex111发送到流媒体服务器ex103。这样的情况下的编码处理，用相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担。

而且，这些编码·解码处理，一般在具有计算机ex111、各设备的LSIex500中处理。LSIex500可以是单芯片的构成，也可以是由多个芯片组成的构成。并且，也可以将动图像编码·解码用的软件装入计算机ex111等可读的任意记录介质(CD-ROM、软盘、硬盘等)中，使用该软件进行编码·解码处理。再有，在便携式电话ex114附带相机的情况下，也可以发送用该相机取得的动画数据。此时的动画数据是用便携式电话ex114具有的LSIex500进行编码处理的数据。

而且，流媒体服务器ex103也可以是多个服务器、多个计算机，是将数据分散后进行处理或记录来分发的装置。

如上所述，在内容供给系统ex100中，客户机可以接收并再生被编码的数据。在这样内容供给系统ex100中，客户机可以实时地接收用户发送的信息并进行解码、再生，即使没有特别的权利和设备的用户也可以实现个人广播。

并且，不限于内容供给系统ex100的例子，可以如图17所示，在数字广播用系统ex200中，组装上述各实施方式的至少动图像编码装置(图像编码装置)或动图像解码装置(图像解码装置)的任一装置。具体而言，广播局ex201中，在影像数据上复用了音乐数据等的复用数据经由电波来通信或发送到卫星ex202。该影像数据是通过上述各实施方式中说明的动图像编码方法进行编码的数据(即，通过本发明的图像编码装置进行编码的数据)。接收了该数据的广播卫星ex202发送广播用的电波，能进行卫星广播的接收的家庭的天线ex204接收该电波。电视机(接收机)ex300或机顶盒(STB)ex217等装置对接收到的复用数据进行解码并再生(即，起到本发明的图像解码装置的功能)。

而且，也可以在读写器(reader/recorder)ex218中安装上述各实施方式中示出的动图像解码装置或动图像编码装置，其中，读写器ex218读取在DVD、BD等记录介质ex215中记录的复用数据进行解码，或对影像信号进行编码，再根据情况与音乐信号复用后写入记录介质ex215中。这样的情况下，再生的影像信号显示在监视器ex219上，能通过记录了复用数据的记录介质ex215在其他装置或系统中再生影像信号。而且，也可以在连接在有线电视机用的线缆ex203或卫星/地上波广播的天线ex204上的机顶盒ex217内安装动图像解码装置，用电视机的监视器ex219来显示这些。此时也可以不在机顶盒内，而在电视机内组装动图像解码装置。

图18是示出使用了上述各实施方式中说明的动图像解码方法及动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备：调谐器ex301，经由接收上述广播的天线ex204或线缆ex203等来取得或输出在影像数据中复用了声音数据而成的复用数据；调制/解调部ex302，对接收到的复用数据进行解调，或调制成发送到外部的复用数据；及复用/分离部ex303，将解调的复用数据分离成影像数据和声音数据，或将用信号处理部ex306编码的影像数据、声音数据复用。

而且，电视机ex300具有：信号处理部ex306，具有分别对声音数据、影像数据进行解码、对各自的信息进行编码的声音信号处理部ex304、影像信号处理部ex305(起到本发明的图像编码装置或图像解码装置的功能)；及输出部ex309，具有将解码的声音信号输出的扬声器ex307、将解码的影像信号显示的显示器等显示部ex308。电视机ex300还具有接口部ex317，该接口部ex317具有接收用户操作的输入的操作输入部ex312等。电视机ex300还具有统括地控制各部的控制部ex310、将电力供给各部的电源电路部ex311。接口部ex317在操作输入部ex312以外，也可以具有与读写器ex218等外部设备连接的桥ex313、用于能装入SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。而且，记录介质ex216是能通过容纳的非易失性/易失性的半导体存储器元件电气地进行信息的记录的介质。电视机ex300的各部经由同步总线而相互连接。

首先，对电视机ex300对通过天线ex204等从外部取得的复用数据进行解码、并再生的构成进行说明。电视机ex300接收来自遥控器ex220等的用户操作，根据具有CPU等的控制部ex310的控制，用复用/分离部ex303对将用调制/解调部ex302解调了的复用数据进行分离。电视机ex300还用声音信号处理部ex304对分离的声音数据进行解码，用影像信号处理部ex305使用上述各实施方式中说明的解码方法对分离的影像数据进行解码。解码的声音信号、影像信号分别从输出部ex309向外部输出。在输出时，可在缓冲器ex318、ex319等中暂时蓄积这些信号，以便同步再生声音信号和影像信号。而且，电视机ex300也可以不从广播等，而从磁/光盘、SD卡等记录介质ex215、ex216中读出复用数据。接着，对电视机ex300对声音信号和影像信号进行编码，并向外部发送或在记录介质等中写入的构成进行说明。电视机ex300接收来自遥控器ex220等的用户操作，根据控制部ex310的控制，用声音信号处理部ex304对声音信号进行编码，用影像信号处理部ex305使用上述各实施方式中说明的编码方法对影像信号进行编码。编码的声音信号、影像信号通过复用/分离部ex303复用，并输出到外部。在复用时，可在缓冲器ex320、ex321等中暂时蓄积这些信号，以便使声音信号和影像信号同步。并且，缓冲器ex318、ex319、ex320、ex321也可以如图示的那样具有多个，也可以是共有1个以上的缓冲器的构成。再者，在图示以外，例如也可以在调制/解调部ex302、复用/分离部ex303之间等，作为避免系统的溢出、下溢的缓冲材而在缓冲器中蓄积数据。

而且，电视机ex300在从广播等、记录介质等取得声音数据、影像数据以外，还具备接收麦克风、相机的AV输入的构成，也可以对从这些取得的数据进行编码处理。并且，在此，对电视机ex300为能进行上述编码处理、复用及外部输出的构成进行了说明，但也可以是不进行这些处理，仅能进行上述接收、解码处理、外部输出的构成。

而且，在用读写器ex218从记录介质读出复用数据或写入的情况下，上述解码处理或编码处理也可以通过电视机ex300、读写器ex218的任意一个进行，电视机ex300和读写器ex218也可以相互分担。

在图19中，作为一个例子而示出从光盘进行数据的读入写入的情况的信息再生/记录部ex400的构成。信息再生/记录部ex400具备以下说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对是光盘的记录介质ex215的记录面照射激光点来写入信息，检测从记录介质ex215的记录面来的反射光以读入信息。调制记录部ex402电驱动在光头ex401中内置的半导体激光器，对应于记录数据进行激光的调制。再生解调部ex403通过内置在光头ex401中的光检测器对电气地检测了来自记录面的反射光的再生信号进行放大，将记录在记录介质ex215中的信号成分分离并解调，再生必要的信息。缓冲器ex404暂时保持用于在记录介质ex215进行记录的信息及从记录介质ex215再生的信息。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光点的追踪处理。系统控制部ex407进行信息再生/记录部ex400全体的控制。上述读出和写入的处理如下实现：系统控制部ex407利用保持在缓冲器ex404中的各种信息，还根据需要进行新的信息的生成·追加，而且一边使调制记录部ex402、再生解调部ex403、伺服控制部ex406协调动作，一边通过光头ex401进行信息的记录再生。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行这些处理。

以上，说明了光头ex401照射激光点，但也可以是使用近场光进行更高密度的记录的构成。

在图20中示出是光盘的记录介质ex215的示意图。在记录介质ex215的记录面上螺旋状地形成引导槽(groove)，在信息轨道ex230上，预先利用槽的形状的变化来记录表示盘上的绝对位置的地址信息。该地址信息包括用于确定作为记录数据的单位的记录块ex231的位置的信息，可以通过在进行记录和再生的装置中再生信息轨道ex230并读取地址信息来确定记录块。而且，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233、比数据记录区域ex233还配置在内周或外周的内周区域ex232和外周区域ex234，用于用户数据的记录以外的特定用途。信息再生/记录部ex400对这样的记录介质ex215的数据记录区域ex233，进行编码的声音数据、影像数据或复用了这些数据的复用数据的读写。

以上，以1层的DVD、BD等光盘为例进行了说明，但不限于此，也可以是多层构造、在表面以外也能记录的光盘。而且，也可以是在盘的相同部位使用各种不同波长的颜色的光来记录信息，或从各种角度记录不同的信息的层等进行多维的记录/再生的构造的光盘。

而且，在数字广播用系统ex200中，也能用具有天线ex205的车ex210从卫星ex202等接收数据，在车ex210具有的汽车导航仪ex211等的显示装置上再生动画。并且，汽车导航仪ex211的构成，可考虑例如增加了图18所示的构成之中的GPS接收部的构成，同样的情形在计算机ex111和便携式电话ex114等中也可以考虑。

图21A是示出使用了上述实施方式中说明的动图像解码方法及动图像编码方法的便携式电话ex114的图。便携式电话ex114具备：用于在基站ex110之间收发电波的天线ex350；能拍摄影像、静止画面的相机部ex365；及对用相机部ex365拍摄的影像、用天线ex350接收的影像等被解码而成的数据进行显示的液晶显示器等显示部ex358。便携式电话ex114还具备：具有操作键部ex366的本体部；用于输出声音的扬声器等即声音输出部ex357；用于输入声音的麦克风等即声音输入部ex356；对拍摄的影像、静止画面、录音的声音，或接收的影像、静止画面、邮件等的被编码的数据或被解码的数据进行保存的存储器部ex367，或作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，对便携式电话ex114的构成例，使用图21B进行说明。便携式电话ex114相对于统括地控制具备显示部ex358及操作键部ex366的本体部的各部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、相机接口部ex363、LCD(Liquid Crystal Display)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361在通过用户的操作而成为结束通话及电源键导通的状态时，通过从电池对各部提供电力，使便携式电话ex114启动为能动作的状态。

便携式电话ex114根据具有CPU、ROM、RAM等的主控制部ex360的控制，在声音通话模式时，将用声音输入部ex356接收到的声音信号，通过声音信号处理部ex354变换为数字声音信号，用调制/解调部ex352对该信号进行频谱扩散处理，用发送/接收部ex351施以数模变换处理及频率变换处理之后经由天线ex350发送。而且，便携式电话ex114在声音通话模式时将经由天线ex350接收到的接收数据放大并施以频率变换处理及模拟数字变换处理，用调制/解调部ex352进行频谱逆扩散处理，用声音信号处理部ex354变换为模拟声音信号之后，将其从声音输出部ex357输出。

再者，在数据通信模式时发送电子邮件的情况下，通过本体部的操作键部ex366等的操作而输入的电子邮件的文本数据经由操作输入控制部ex362送到主控制部ex360。主控制部ex360对文本数据用调制/解调部ex352进行频谱扩散处理，用发送/接收部ex351施以数模变换处理及频率变换处理之后经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据进行与之大致相反的处理，输出到显示部ex358。

在数据通信模式时发送影像、静止画面、或影像和声音的情况下，影像信号处理部ex355对从相机部ex365供给的影像信号通过上述各实施方式中示出的动图像编码方法进行压缩编码(即，起到本发明的图像编码装置的功能)，将编码的影像数据送到复用/分离部ex353。而且，声音信号处理部ex354对正在用相机部ex365拍摄影像、静止画面等时用声音输入部ex356接收到的声音信号进行编码，将编码的声音数据送到复用/分离部ex353。

复用/分离部ex353以规定的方式对从影像信号处理部ex355供给的被编码的影像数据和从声音信号处理部ex354供给的被编码的声音数据进行复用，将结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行频谱扩散处理，用发送/接收部ex351施以数模变换处理及频率变换处理之后经由天线ex350发送。

在数据通信模式时接收链接到主页等上的动图像文件的数据的情况下，或在接收附加了影像及或声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过分离复用数据而分成影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355的同时，将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355通过用与上述各实施方式中示出的动图像编码方法相对应的动图像解码方法进行解码而对影像信号进行解码(即，起到本发明的图像解码装置的功能)，经由LCD控制部ex359从显示部ex358，显示例如链接到主页上的动图像文件中所含的影像、静止画面。而且，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

而且，上述便携式电话ex114等终端与电视机ex300同样，还可以考虑具有编码器·解码器这两者的收发型终端，以及仅具有编码器的发送终端、仅具有解码器的接收终端这三种安装形式。再者，虽然说明了在数字广播用系统ex200中，接收、发送在影像数据中复用了音乐数据等而成的复用数据，但也可以复用声音数据以外的与影像相关联的文字数据等而成的数据，也可以不是复用数据而是影像数据自身。

这样，能将上述各实施方式中示出的动图像编码方法或动图像解码方法用于上述任意的设备·系统，这样一来，能得到上述各实施方式中说明的效果。

而且，本发明不仅限于这些上述实施方式，还能不脱离本发明的范围地进行各种变形或修正。

(实施方式7)

能通过根据需要适当地对上述各实施方式中示出的动图像编码方法或装置，及以MPEG-2、MPEG4-AVC、VC-1等不同标准为基准的动图像编码方法或装置进行切换，生成影像数据。

在此，在生成以各种标准为基准的多个影像数据的情况下，在解码时，需要选择与各标准相对应的解码方法。但是，由于不能识别解码的影像数据是以哪个标准为基准的，所以存在不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等而成的复用数据，为包括表示影像数据是以哪种标准为基准的识别信息的构成。以下说明通过上述各实施方式所示的动图像编码方法或装置而生成的影像数据的复用数据的具体的构成。复用数据是MPEG-2传输流形式的数字流。

图22是示出复用数据的构成的图。如图22所示复用数据是通过复用视频流、音频流、显示图形流(PG)、交互式图形流之中的1个以上的流而得到的。视频流表示电影的主影像及副影像，音频流(IG)表示将电影的主声音部分和该主声音混音的副声音，显示图形流表示电影的字幕。在此，所谓“主影像”是表示显示在画面上的通常的影像，所谓“副影像”是在主影像之中以小的画面显示的影像。而且，交互式图形流显示通过在画面上配置GUI部品而作成的对话画面。视频流通过上述各实施方式中示出的动图像编码方法或装置、现有的以MPEG-2、MPEG4-AVC、VC-1等标准为基准的图像编码方法或装置来编码。音频流以杜比AC-3、杜比数字脉冲、MLP、DTS、DTS-HD、或线性PCM等方式来编码。

复用数据所含的各流通过PID来识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配从0x1100到0x111F，对显示图形分配从0x1200到0x121F，对交互式图形流分配从0x1400到0x141F，对在电影的副影像中使用的视频流分配从0x1B00到0x1B1F，对在与主声音混音的副声音中使用的音频流分配从0x1A00到0x1A1F。

图23是示意性地示出复用数据如何复用的图。首先，分别将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238变换为PES包列ex236及ex239、TS包ex237及ex240。同样分别将显示图形流ex241及交互式图形ex244的数据变换为PES包列ex242及ex245，还有TS包ex243及ex246。复用数据ex247通过将这些TS包复用在1个流中而构成。

图24更详细地示出在PES包列中如何容纳视频流。图24中的第1段表示视频流的视频帧列。第2段表示PES包列。如图24的箭头yy1、yy2、yy3、yy4所示，视频流的多个作为视频显示单元(Video Presentation Unit)的I图片、B图片、P图片，每个图片都进行分割，容纳在PES包的负载(payload)中。各PES包具有PES头，在PES头中容纳图片的显示时刻即PTS(Presentation Time-Stamp：显示时间戳)和图片的解码时刻即DTS(Decoding Time-Stamp：解码时间戳)。

图25示出在复用数据中最终写入的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和容纳数据的184字节的TS负载构成的188字节固定长度的包，上述PES包被分割并容纳在TS负载中。BD-ROM的情况下，对TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包的解码器向PID滤波器传送的开始时刻。在复用数据中如图25下段所示排列源包，从复用数据的先头开始递增的号码被称作SPN(源包号)。

而且，在复用数据所含的TS包中，除影像·声音·字幕等各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID以0来登录。PMT具有复用数据中所含的影像·声音·字幕等各流的PID和与各PID相对应的流的属性信息，还具有与复用数据相关的各种描述符。在描述符中有复制控制信息等，该复制控制信息指示允许·不允许复用数据的复制。为了取得ATS的时间轴即ATC(Arrival Time Clock)和PTS·DTS的时间轴即STC(System Time Clock)的同步，PCR具有与该PCR包被传送到解码器的ATS相对应的STC时间的信息。

图26是详细地说明PMT的数据结构的图。在PMT的先头配置PMT头，该PMT头描述该PMT所含的数据的长度等。此后，配置多个与复用数据相关的描述符。上述复制控制信息等作为描述符来记载。在描述符之后，配置多个与复用数据所含的各流相关的流信息。流信息由流描述符构成，该流描述符记载了用于对流的压缩编解码等进行识别的流类型、流的PID、流的属性信息(帧率，宽高比等)。流描述符仅存在于复用数据中存在的流的数量。

在记录介质等中记录的情况下，上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图27所示是复用数据的管理信息，与复用数据一一对应，由复用数据信息、流属性信息和入口映射构成。

复用数据信息如图27所示由系统速率、再生开始时刻、再生结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大传送速率。复用数据中所含的ATS的间隔设定为在系统速率以下。再生开始时刻是复用数据的先头的视频帧的PTS，再生结束时刻设定为是在复用数据的终端的视频帧的PTS中加上1帧分的再生间隔而得到的。

流属性信息如图28所示，每个PID都登录有关复用数据所含的各流的属性信息。属性信息按每个视频流、音频流、显示图形流、交互式图形流具有不同的信息。视频流属性信息具有如下信息：该视频流用什么压缩编解码来压缩，构成视频流的各个图片数据的分辨率是多少，宽高比是多少，帧率是多少等信息。音频流属性信息具有如下信息：该音频流用什么压缩编解码来压缩，该音频流所含的信道数是多少，对应于何种语言，采样频率是多少等信息。这些信息用于播放器再生前的解码器的初始化等中。

在本实施方式中，使用上述复用数据之中的PMT所含的流类型。而且，在记录介质中记录着复用数据的情况下，使用复用数据信息所含的视频流属性信息。具体而言，在上述各实施方式中示出的动图像编码方法或装置中，设置对PMT所含的流类型、或视频流属性信息设定固有的信息的步骤或单元，该固有的信息表示是通过上述各实施方式中示出的动图像编码方法或装置而生成的影像数据。通过该构成，能识别通过上述各实施方式中示出的动图像编码方法或装置而生成的影像数据、及以其他标准为基准的影像数据。

而且，在图29中示出本实施方式的动图像解码方法的步骤。在步骤exS100中，从复用数据取得PMT所含的流类型、或复用数据信息所含的视频流属性信息。接着，在步骤exS101中，判断是否表示流类型或视频流属性信息是通过上述各实施方式中示出的动图像编码方法或装置而生成的复用数据。然后，在判断为流类型或视频流属性信息是通过上述各实施方式中示出的动图像编码方法或装置而生成的情况下，在步骤exS102中，通过上述各实施方式中示出的动图像解码方法进行解码。而且，在流类型或视频流属性信息是以现有的MPEG-2、MPEG4-AVC、VC-1等标准为基准的情况下，在步骤exS103中，通过以现有的标准为基准的动图像解码方法进行解码。

这样，通过对流类型或视频流属性信息设定新的固有值，在解码时，可以判断能够用上述各实施方式中示出的动图像解码方法或装置进行解码。因此，即使是输入了以不同的标准为基准的复用数据的情况下，也可以选择适当的解码方法或装置，所以能不产生错误地解码。而且，能将本实施方式中示出的动图像编码方法或装置，或动图像解码方法或装置，用于上述任意设备·系统。

(实施方式8)

上述各实施方式中示出的动图像编码方法及装置，动图像解码方法及装置，典型地用作为集成电路的LSI来实现。作为一个例子，在图30中示出单芯片化的LSIex500的构成。LSIex500具有以下说明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素经由总线ex510连接。电源电路部ex505在电源导通的状态的情况下对各部供给电力从而启动为能动作的状态。

例如在进行编码处理的情况下，LSIex500根据具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117、相机ex113等输入AV信号。输入的AV信号暂时继续在SDRAM等外部的存储器ex511中。根据控制部ex501的控制，蓄积的数据对应于处理量、处理速度适当地分成多次等，送到信号处理部ex507，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。在此影像信号的编码处理是上述各实施方式中说明的编码处理。在信号处理部ex507中还根据情况进行对编码的声音数据和编码的影像数据进行复用等处理，从流I/Oex506输出到外部。该输出的复用数据向基站ex107发送，或写入记录介质ex215。并且，在复用时，可同步地在缓冲器ex508中暂时蓄积数据。

并且，虽然在上述说明中，存储器ex511作为LSIex500的外部的构成进行了说明，但也可以是LSIex500的内部所含的构成。缓冲器ex508也不限于1个，也可以具备多个缓冲器。而且，LSIex500可以单芯片化，也可以多芯片化。

而且，虽然在上述说明中，控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的构成不限于该构成。例如，信号处理部ex507也可以是还具备CPU的构成。通过在信号处理部ex507的内部还设置CPU，能进一步提高处理速度。而且，作为其他例子，CPUex502也可以是具备信号处理部ex507，或信号处理部ex507的一部分例如声音信号处理部的构成。这样的情况下，控制部ex501为具备信号处理部ex507或其一部分的CPUex502的构成。

并且，在此，虽然为LSI，但有时因集成度的不同而被称作IC、系统LSI、超大LSI、甚大LSSI。

而且，集成电路化的手法不限于LSI，也可以用专用电路或通用处理器来实现。也可以利用在LSI制造后，可编程的FPGA(Field Programmable Gate Array)、能对LSI内部的电路单元的连接和设定进行重构的可重构处理器。

再者，若通过半导体技术的进步或派生的其他技术置换成LSI的集成电路化的技术登场，当然，也可以使用该技术进行功能块的集成化。生物技术的应用等也存在可能性。

(实施方式9)

对通过上述各实施方式中示出的动图像编码方法或装置而生成的影像数据进行解码的情况，与以现有的MPEG-2、MPEG4-AVC、VC-1等标准为基准的影像数据进行解码的情况相比较，认为处理量增加。因此，在LSIex500中，需要设定为比对以现有的标准为基准的影像数据进行解码时的CPUex502的驱动频率还高的驱动频率。但是，若将驱动频率设定得高，则产生消費电力变高这样的问题。

为了解决该问题，电视机ex300、LSIex500等动图像解码装置构成为，对影像数据是以什么标准为基准的进行识别，根据标准来切换驱动频率。图31示出本实施方式的构成ex800。驱动频率切换部ex803在影像数据是通过上述各实施方式中示出的动图像编码方法或装置而生成的情况下，将驱动频率设定得高。另外，对执行上述各实施方式中示出的动图像解码方法的解码处理部ex801进行指示，以便对影像数据进行解码。另一方面，在影像数据是以现有的标准为基准的影像数据的情况下，与影像数据是通过上述各实施方式中示出的动图像编码方法或装置而生成的情况相比较，将驱动频率设定得低。另外，对以现有的标准为基准的解码处理部ex802进行指示，以便对影像数据进行解码。

更具体而言，驱动频率切换部ex803由图30的CPUex502和驱动频率控制部ex512构成。而且，执行上述各实施方式中示出的动图像解码方法的解码处理部ex801、及以现有的标准为基准的解码处理部ex802，相当于图30的信号处理部ex507。CPUex502对影像数据以什么标准为基准进行识别。另外，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。而且，根据来自CPUex502的信号，信号处理部ex507进行影像数据的解码。在此，考虑在影像数据的识别中，例如使用实施方式7所记载的识别信息。关于识别信息，不限于实施方式7所记载的情形，只要是可以对影像数据以什么标准为基准进行识别的信息即可。例如，在根据对影像数是用于电视机还是用于盘等进行识别的外部信号，而能对影像数据以什么标准为基准进行识别的情况下，也可以根据这样的外部信号进行识别。而且，CPUex502的驱动频率的选择，例如可以考虑根据像图33那样的将影像数据的标准和驱动频率对应起来的查找表进行。将查找表预先容纳在缓冲器ex508、LSI的内部存储器中，CPUex502参照该查找表，从而能选择驱动频率。

图32示出实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据取得识别信息。接着，在步骤exS201中，在CPUex502中，根据识别信息来识别影像数据是否通过上述各实施方式中示出的编码方法或装置而生成。在影像数据是通过上述各实施方式中示出的编码方法或装置而生成的情况下，在步骤exS202中，CPUex502将把驱动频率设定得高的信号送到驱动频率控制部ex512。然后，在驱动频率控制部ex512中，设定为高的驱动频率。另一方面，在表示是以现有的MPEG-2、MPEG4-AVC、VC-1等标准为基准的影像数据的情况下，在步骤exS203中，CPUex502将把驱动频率设定得低的信号送到驱动频率控制部ex512。然后，在驱动频率控制部ex512中，与影像数据是通过上述各实施方式中示出的编码方法或装置而生成的情况相比较，设定为低的驱动频率。

另外，与驱动频率的切换相联动，对赋予给LSIex500或包括LSIex500的装置的电压进行变更，从而能进一步提高省电效果。例如，在将驱动频率设定得低的情况下，随之，考虑与将驱动频率设定得高的情况相比较，将赋予给LSIex500或包括LSIex500的装置的电压设定得低。

而且，驱动频率的设定方法在解码时的处理量大的情况下，将驱动频率设定得高，在解码时的处理量小的情况下，将驱动频率设定得低即可，不限于上述设定方法。例如，在对以MPEG4-AVC标准为基准的影像数据进行解码的处理量，比对通过上述各实施方式中示出的动图像编码方法或装置而生成的影像数据进行解码的处理量还大的情况下，考虑使驱动频率的设定与上述情况相反。

另外，驱动频率的设定方法不限于将驱动频率设定得低的构成。例如，在识别信息表示是通过上述各实施方式中示出的动图像编码方法或装置而生成的影像数据的情况下，考虑将赋予给LSIex500或包括LSIex500的装置的电压设定得高，在表示是以现有的MPEG-2、MPEG4-AVC、VC-1等标准为基准的影像数据的情况下，考虑将赋予给LSIex500或包括LSIex500的装置的电压设定得低。而且，作为其他例子，在识别信息表示是通过上述各实施方式中示出的动图像编码方法或装置而生成的影像数据的情况下，考虑不停止CPUex502的驱动，在表示是以现有的MPEG-2、MPEG4-AVC、VC-1等标准为基准的影像数据的情况下，处理有余裕，所以考虑暂时停止CPUex502的驱动。在识别信息表示是通过上述各实施方式中示出的动图像编码方法或装置而生成的影像数据的情况下，若处理有余裕，也考虑暂时停止CPUex502的驱动。这样的情况下，与表示是以现有的MPEG-2、MPEG4-AVC、VC-1等标准为基准的影像数据的情况相比较，考虑将停止时间设定得短。

这样，对应于影像数据作为基准的标准，通过切换驱动频率，能谋求省电化。而且，使用电池对LSIex500或包括LSIex500的装置进行驱动的情况下，能随着省电化，而使电池的寿命较长。

(实施方式10)

在电视机、便携式电话等上述设备·系统中，有时输入以不同的标准为基准的多个影像数据。这样，为了在输入了以不同的标准为基准的多个影像数据的情况下也能解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，若个别地使用对应于各个标准的信号处理部ex507，则存在LSIex500的电路规模变大，而且成本增加这样的问题。

为了解决该问题，构成为将用于执行上述各实施方式中示出的动图像解码方法的解码处理部和以现有的MPEG-2、MPEG4-AVC、VC-1等标准为基准的解码处理部，部分共有化。在图34A的ex900中示出该构成例。例如，上述各实施方式中示出的动图像解码方法和以MPEG4-AVC标准为基准的动图像解码方法，在熵编码、逆量子化、去块化·滤波器、运动补偿等处理中处理内容的一部分是共通的。考虑构成为：有关共通的处理内容，使对应于MPEG4-AVC标准的解码处理部ex902为共有，不对应于MPEG4-AVC标准，有关本发明特有的其他处理内容，使用专用的解码处理部ex901。特别是本发明对脉冲编码调制具有特征，所以例如，对于脉冲编码调制使用专用的解码处理部ex901，对于这以外的熵编码、去块化·滤波器、运动补偿、逆量子化的任一个或全部处理，考虑使解码处理部为共有。关于解码处理部的共有化，也可以构成为对于共通的处理内容，使用于执行上述各实施方式中示出的动图像解码方法的解码处理部为共有，对于MPEG4-AVC标准特有的处理内容，使用专用的解码处理部。

而且，在图34B的ex1000中示出使处理为部分共有化的其他例子。在该例子中，构成为使用与本发明所特有的处理内容相对应的专用的解码处理部ex1001、与其他现有标准所特有的处理内容相对应的专用的解码处理部ex1002、即本发明的动图像解码方法和其他现有标准的动图像解码方法中共通的处理内容相对应的共用的解码处理部ex1003。在此，专用的解码处理部ex1001、ex1002不必是特化为本发明或其他现有标准所特有的处理内容的处理部，也可以是执行其他通用处理的处理部。而且，也能用LSIex500安装本实施方式的构成。

这样，对于本发明的动图像解码方法和现有的标准的动图像解码方法中共通的处理内容，通过共有解码处理部，能减小LSI的电路规模，而且降低成本。

工业实用性

本发明涉及的图像编码方法及图像解码方法，能应用于各种多媒体数据，提高编码效率。例如，本发明涉及的图像编码方法及图像解码方法在，便携式电话、DVD装置及个人计算机等中是有用的。

符号的说明

300、1000、1200 图像编码装置

302A、302B、720 N比特深度变换部

304A 减法运算器

304B、706 加法器

306 变换部

308 量子化部

310、708 逆量子化部

312、710 逆变换部

314、714 帧间/帧内预测部

316A、316B、702B 复用器(MUX部)

318、712 存储器

319、719 滤波器部

320 熵编码部

322、716 控制部

324 可选处理部

700、1100、1400 图像解码装置

702A 解复用器(DEMUX部)

704 熵解码部

718 IPCM块分析部

1001、1201 第1写入部

1002、1202 第2写入部

1101、1401 第1取得部

1102、1402 第2取得部

1203 第3写入部

1204 第4写入部

1205、1405 重构部

1206、1406 变换部

1207 比特深度缩小部

1208、1407 比特深度扩大部

1403 第3取得部

1404 第4取得部

Claims

1.一种图像编码方法，对图像进行编码而生成编码流，具备如下步骤：

第1写入步骤，在生成的上述编码流的序列参数集合中写入第1参数，该第1参数表示第1比特深度，该第1比特深度是上述图像的重构样本的比特深度；及

第2写入步骤，在上述序列参数集合中写入第2参数，该第2参数是表示第2比特深度的参数、且是与上述第1参数不同的参数，该第2比特深度是上述图像的IPCM样本即帧内脉冲编码调制样本的比特深度。

2.根据权利要求1记载的图像编码方法，

上述图像编码方法还包括第3写入步骤，该第3写入步骤将上述IPCM样本以上述第2比特深度写入上述编码流。

3.根据权利要求1或2记载的图像编码方法，

上述图像编码方法还包括重构步骤，该重构步骤根据上述图像的编码样本，对比特深度为上述第1比特深度的样本进行重构，从而生成上述重构样本。

4.根据权利要求1或2记载的图像编码方法，

在上述第2写入步骤中写入表示在上述第1比特深度以下的上述第2比特深度的上述第2参数。

5.根据权利要求1或2记载的图像编码方法，

上述图像编码方法还包括变换步骤，该变换步骤将比特深度是上述第2比特深度的上述IPCM样本变换为比特深度是上述第1比特深度的上述重构样本。

6.根据权利要求1或2记载的图像编码方法，

在上述第2写入步骤中，写入表示比第3比特深度还小的上述第2比特深度的上述第2参数，该第3比特深度是上述图像的原始样本的比特深度；

上述图像编码方法还包括比特深度缩小步骤，该比特深度缩小步骤通过将比特深度是上述第3比特深度的上述原始样本变换为比特深度是上述第2比特深度的样本，缩小与上述原始样本相对应的上述IPCM样本的比特深度。

7.根据权利要求1或2记载的图像编码方法，

在上述第1写入步骤中，写入表示比第3比特深度还大的上述第1比特深度的上述第1参数，该第3比特深度是上述图像的原始样本的比特深度；

上述图像编码方法还包括比特深度扩大步骤，该比特深度扩大步骤通过将比特深度是上述第3比特深度的上述原始样本变换为比特深度是上述第1比特深度的样本，扩大与上述原始样本相对应的上述重构样本的比特深度。

8.根据权利要求1或2记载的图像编码方法，

上述图像编码方法还包括第4写入步骤，该第4写入步骤将使用比特深度是上述第1比特深度的上述重构样本进行编码而得到的编码样本写入上述编码流。

9.一种图像编码装置，对图像进行编码而生成编码流，具备：

第1写入部，在生成的上述编码流的序列参数集合中写入第1参数，该第1参数表示第1比特深度，该第1比特深度是上述图像的重构样本的比特深度；及

第2写入部，在上述序列参数集合中写入第2参数，该第2参数是表示第2比特深度的参数、且是与上述第1参数不同的参数，该第2比特深度是上述图像的IPCM样本即帧内脉冲编码调制样本的比特深度。