CN103650498B

CN103650498B - 运动图像解码方法及运动图像解码装置

Info

Publication number: CN103650498B
Application number: CN201380001846.0A
Authority: CN
Inventors: 寺田健吾; 柴原阳司; 谷川京子; 笹井寿郎; 杉尾敏康; 松延彻
Original assignee: Sun Patent Trust Inc
Current assignee: Sun Patent Trust Inc
Priority date: 2012-06-04
Filing date: 2013-05-17
Publication date: 2018-01-05
Anticipated expiration: 2033-05-17
Also published as: MX340432B; EP2858357A1; TWI554947B; TW201412122A; BR112013032418B1; US9414057B2; ES2923648T3; BR112013032418A2; PL2858357T3; CN107820092A; US10356429B2; AU2013273044A1; SG10201608534XA; CA2840064C; CA2840064A1; EP2858357B1; MX2013014753A; US20190289304A1; US20130322520A1; AR091182A1

Abstract

对输入图像进行编码的运动图像编码方法，将第1参数的值变换为第1二值信号，该第1参数用于识别在与输入图像对应的重构图像中应用的样本偏移处理的种类（S301）；通过使用固定概率的旁路算术编码，对所述第1二值信号的至少一部分进行编码（S302）。

Description

运动图像解码方法及运动图像解码装置

技术领域

本发明涉及对运动图像进行编码或解码的装置及方法，更详细地说，涉及SAO参数的算术编码、算术解码。

背景技术

近年来，数字影像设备的技术显著进步，将影像(运动图像)信号(按照时间序列的顺序排列的多个图片)进行压缩编码并记录于DVD或硬盘等记录媒体、或发布到网络上的机会增多。作为图像编码标准有H.264/AVC(MPEG-4AVC)，但是作为下一代的标准，正在研究HEVC(High Efficiency Video Coding)标准。

在非专利文献1所记载的HEVC标准中，提出了被称为SAO(Sample AdaptiveOffset)的样本偏移处理。在SAO处理中，对于从码串解码的图像(重构图像)内的样本值(像素值)加上偏移值。由此，在SAO处理后的重构图像中，能够更忠实地再现编码前的原图像(输入图像)，降低编码导致的画质劣化。

在先技术文献

非专利文献

非专利文献1：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC1/SC29/WG119th Meeting:Geneva,CH,27April-7May 2012,JCTVC-I0602_CDTexts_r3.doc,BoG report on integrated text of SAO adoptions ontop of JCTVC-I0030,http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0602-v4.zip

发明的概要

发明所要解决的课题

但是，在以往的使用样本偏移处理的运动图像编码/解码处理中，要求抑制编码效率降低并且使处理高速化或减少处理负荷。

发明内容

因此，本发明提供一种运动图像编码/解码方法，在使用样本偏移处理的运动图像编码/解码处理中，抑制编码效率降低并且实现处理的高速化或处理负荷的减少。

解决课题所采用的手段

本发明的一个方式的运动图像编码方法，是对输入图像进行编码的运动图像编码方法，将第1参数的值变换为第1二值信号，该第1参数用于识别在与所述输入图像对应的重构图像中应用的样本偏移处理的种类，通过使用固定概率的旁路(bypass)算术编码，对所述第1二值信号的至少一部分进行编码。

另外，这些整体或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、装置、集成电路、计算机程序及记录介质的任意组合来实现。

发明效果

本发明的一个方式的运动图像编码/解码方法，在使用样本偏移处理的运动图像编码/解码处理中，能够抑制编码效率降低并且实现处理的高速化或处理负荷的减少。

附图说明

图1是表示实施方式1中的运动图像编码装置的构成的框图。

图2是表示实施方式1中的运动图像编码装置的处理动作的流程图。

图3是表示实施方式1中的SAO参数可变长编码部的内部构成的框图。

图4是表示实施方式1中的SAO参数可变长编码部的处理动作的流程图。

图5是表示实施方式1中的sao_type_idx编码部的内部构成的框图。

图6是表示实施方式1中的sao_type_idx编码部的处理动作的流程图。

图7是表示实施方式1中的多值信号与二值信号的对应关系的表。

图8是表示实施方式1、变形例1及变形例2中的binIdx与上下文的对应关系的表。

图9是表示对以往技术与实施方式1、变形例1及变形例2的编码效率进行比较的测试结果的表。

图10是表示变形例3中的多值信号与二值信号的对应关系的表。

图11是表示变形例3中的binIdx与上下文的对应关系的表。

图12是表示实施方式2中的运动图像解码装置的构成的框图。

图13是表示实施方式2中的运动图像解码装置的处理动作的流程图。

图14是表示实施方式2中的SAO参数可变长解码部的内部构成的框图。

图15是表示实施方式2中的SAO参数可变长解码部的处理动作的流程图。

图16是表示实施方式2中的sao_type_idx解码部的内部构成的框图。

图17是表示实施方式2中的sao_type_idx解码部的处理动作的流程图。

图18A是表示其他实施方式的运动图像编码装置的构成的框图。

图18B是表示其他实施方式的运动图像编码装置的处理动作的流程图。

图19A是表示其他实施方式的运动图像解码装置的构成的框图。

图19B是表示其他实施方式的运动图像解码装置的处理动作的流程图。

图20是实现内容分发服务的内容供给系统的整体结构图。

图21是数字广播用系统的整体结构图。

图22是表示电视机的结构例的模块图。

图23是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图24是表示作为光盘的记录介质的构造例的图。

图25A是表示便携电话的一例的图。

图25B是表示便携电话的结构例的模块图。

图26是表示复用数据的结构的图。

图27是示意地表示各流在复用数据中怎样被复用的图。

图28是更详细地表示在PES包序列中视频流怎样被保存的图。

图29是表示复用数据的TS包和源包的构造的图。

图30是表示PMT的数据结构的图。

图31是表示复用数据信息的内部结构的图。

图32是表示流属性信息的内部结构的图。

图33是表示识别影像数据的步骤的图。

图34是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图35是表示切换驱动频率的结构的图。

图36是表示识别影像数据、切换驱动频率的步骤的图。

图37是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图38A是表示将信号处理部的模块共用的结构的一例的图。

图38B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

(成为本发明的基础的见解)

在SAO处理中，重构图像中包含的多个像素被分类为多个类别。并且，按每个类别，对属于该类别的像素值加上与该类别对应的偏移值。另外，作为像素的分类方法，准备了多个分类方法。因此，对表示实际在编码中利用的分类方法的参数(即，用于识别样本偏移处理的种类的参数(sao_type_idx))进行算术编码，并附加到比特流中。

此外，在HEVC标准中，将编码对象信号从多值信号变换为二值信号(由0和1构成的信号)(二值化)，并对该二值信号进行算术编码。

二值信号指的是，至少包含1个表示2个码元(“0”及“1”)中的某一个码元的比特的信号。在本说明书中，将1个比特也称为bin(位元)。这时，二值信号也被称为位元字串(binstring)。

在此，在HEVC标准中，定义了2种算术编码(上下文自适应算术编码及旁路算术编码)。在上下文自适应算术编码中，使用基于上下文自适应地选择的码元发生概率对二值信号进行算术编码。此外，在旁路算术编码中，使用固定的码元发生概率(例如50％)对二值信号进行算术编码。

具体地说，在上下文自适应算术编码中，例如按编码对象的二值信号中包含的每个bin选择上下文。然后，加载所选择的上下文的概率信息，使用由该概率信息确定的码元发生概率对bin进行算术编码。进而，根据算术编码后的bin的值(码元)，更新所选择的上下文的概率信息(码元发生概率)。

另一方面，在旁路算术编码中，不使用上下文，而将码元发生概率固定为50％对bin进行算术编码。因此，在旁路算术编码中，不进行上下文的概率信息的加载及更新。

以往，认为与sao_type_idx对应的二值信号中包含的各bin在码元发生概率上存在偏向，所以进行上下文自适应算术编码。因此，在以往的sao_type_idx的编码中，上下文的概率信息的加载及更新等的处理负荷变高。此外，使用同一上下文对2个比特进行算术编码的情况下，在针对第1个比特的上下文更新处理结束之前，无法开始第2个比特的算术编码。因此，sao_type_idx的算术编码处理是依次进行的，吞吐量降低。

因此，本发明的一个方式的运动图像编码方法，是对输入图像进行编码的运动图像编码方法，将第1参数的值变换为第1二值信号，该第1参数用于识别在与所述输入图像对应的重构图像中应用的样本偏移处理的种类，通过使用固定概率的旁路算术编码，对所述第1二值信号的至少一部分进行编码。

由此，能够通过旁路算术编码对与第1参数的值对应的二值信号的至少一部分进行编码，该第1参数用于识别样本偏移处理的种类。因此，与通过上下文自适应算术编码对全部二值信号进行编码的情况相比，能够减少与上下文对应的概率信息的加载及更新的次数。进而，在旁路算术编码中，不需要概率信息的更新，所以能够并行地对二值信号中包含的多个比特进行算术编码。

此外，以往认为与第1参数的值对应的二值信号在码元发生概率上存在偏向，所以认为在通过旁路算术编码进行编码的情况下编码效率大大降低。但是，在本公开中发现，即使将与第1参数的值对应的二值信号的至少一部分通过旁路算术编码进行编码，编码效率也不会较大降低。

即，通过旁路算术编码对与用于识别样本偏移处理的种类的第1参数的值对应的二值信号的至少一部分进行编码，由此能够抑制编码效率的降低，并且实现处理的高速化或处理负荷的减少。

此外，例如也可以是，所述第1二值信号的第1部分通过上下文自适应算术编码进行编码，所述第1二值信号在所述第1部分之后包含第2部分的情况下，所述第1二值信号的第2部分通过旁路算术编码进行编码。

由此，能够通过上下文自适应算术编码将二值信号的第1部分编码，并通过旁路算术编码将二值信号的第2部分编码。因此，能够在码元发生概率的偏向较大的第1部分和码元发生概率的偏向较小的第2部分之间切换算术编码，能够进一步抑制编码效率的降低。

此外，例如也可以是，所述第1参数的值与规定值一致的情况下，不对所述重构图像应用所述样本偏移处理，所述第1二值信号的第1部分表示所述第1参数的值是否与所述规定值一致。

由此，能够将表示第1参数的值是否与规定值一致的第1部分通过上下文自适应算术编码进行编码。即，能够将表示是否对重构图像应用样本偏移处理的第1部分进行上下文自适应算术编码。表示是否对该重构图像应用样本偏移处理的部分的码元发生概率的偏向较大，所以能够进一步抑制编码效率的降低。

此外，例如也可以是，所述第1二值信号的第1部分由所述第1二值信号的开头的比特构成，所述第1二值信号的第2部分由所述第1二值信号的剩余的比特构成。

由此，能够将二值信号的开头的比特通过上下文自适应算术编码来编码，将二值信号的剩余的比特通过旁路算术编码来编码。

此外，例如也可以是，所述运动图像编码方法还将第2参数的值和第3参数的值中的至少一方变换为第2二值信号，该第2参数用于识别帧内(画面内)预测模式，该第3参数用于从包含运动矢量的候选的列表中识别在帧间预测中使用的候选，通过上下文自适应算术编码对所述第2二值信号的第1部分进行编码，所述第2二值信号在所述第1部分之后包含第2部分的情况下，通过旁路算术编码对所述第2二值信号的第2部分进行编码，所述第1二值信号的第1部分的比特长度与所述第2二值信号的第1部分的比特长度一致。

由此，能够在用于识别样本偏移处理的种类的第1参数和其他参数(第2参数或第3参数)之间使算术编码的切换共通化，能够实现编码装置的简略化。

此外，例如也可以是，在所述第1参数的值大于0的情况下，所述第1二值信号包含1个以上的第1比特，该第1比特具有第1码元，而且该第1比特的数量与所述第1参数的值一致，在(a)所述第1参数的值小于最大值的情况下，所述第1二值信号还包含具有第2码元的1个第2比特；在(b)所述第1参数的值与所述最大值一致的情况下，所述第1二值信号不包含所述第2比特。

由此，第1参数的值与最大值一致的情况下，能够省略具有第2码元的1个第2比特(例如“0”)。因此，能够提高编码效率。

此外，本发明的一个方式的运动图像解码方法，是对编码图像进行解码的运动图像解码方法，将与第1参数的值对应的第1二值信号的编码后的至少一部分通过使用固定概率的旁路算术解码进行解码，该第1参数用于识别对从所述编码图像得到的重构图像应用的样本偏移处理的种类，将解码后的所述第1二值信号变换为所述第1参数的值。

由此，能够将与第1参数的值对应的二值信号的解码后的至少一部分通过旁路算术解码来解码，该第1参数用于识别样本偏移处理的种类。因此，与将全部二值信号通过上下文自适应算术解码进行解码的情况相比，能够减少与上下文对应的概率信息的加载及更新的次数。进而，在旁路算术解码中，不需要概率信息的更新，所以能够并行地对二值信号中包含的编码后的多个比特进行算术解码。

此外，以往认为与第1参数的值对应的二值信号在码元发生概率上存在偏向，所以认为通过旁路算术编码来进行编码的情况下编码效率大大降低。但是，在本公开中发现，即使将与第1参数的值对应的二值信号的至少一部分通过旁路算术编码进行编码，编码效率也不会较大降低。

即，通过旁路算术解码将与用于识别样本偏移处理的种类的第1参数的值对应的二值信号的编码后的至少一部分进行解码，由此能够抑制编码效率的降低，实现处理的高速化或处理负荷的减少。

此外，例如也可以是，所述第1二值信号的编码后的第1部分通过上下文自适应算术解码进行解码，所述第1二值信号在所述第1部分之后包含第2部分的情况下，所述第1二值信号的编码后的第2部分通过旁路算术解码进行解码。

由此，能够通过上下文自适应算术解码将二值信号的编码后的第1部分解码，通过旁路算术解码将二值信号的编码后的第2部分解码。因此，能够将在码元发生概率的偏向较大的第1部分和码元发生概率的偏向较小的第2部分之间切换算术编码而编码得到的二值信号解码，能够进一步抑制编码效率的降低。

由此，能够通过上下文自适应算术解码对表示第1参数的值是否与规定值一致且编码后的第1部分进行解码。即，能够将表示是否对重构图像应用样本偏移处理且编码后的第1部分进行上下文自适应算术解码。表示是否对该重构图像应用样本偏移处理的部分的码元发生概率的偏向较大，所以能够进一步抑制编码效率的降低。

由此，能够将二值信号的开头的编码后的比特通过上下文自适应算术解码进行解码，将二值信号的剩余的编码后的比特通过旁路算术解码进行解码。

此外，例如也可以是，所述运动图像解码方法还将与第2参数的值和第3参数的值中的至少一方对应的第2二值信号的编码后的第1部分通过上下文自适应算术解码进行解码，该第2参数用于识别帧内预测模式，该第3参数用于从包含运动矢量的候选的列表中识别在帧间预测中使用的候选，所述第2二值信号在所述第1部分之后包含第2部分的情况下，通过旁路算术解码对所述第2二值信号的编码后的第2部分进行解码，所述第1二值信号的第1部分的比特长度与所述第2二值信号的第1部分的比特长度一致。

由此，能够在用于识别样本偏移处理的种类的第1参数和其他参数(第2参数或第3参数)之间使基于二值信号的比特位置的算术解码的切换共通化，能够实现解码装置的简略化。

由此，在第1参数的值与最大值一致的情况下，能够省略具有第2码元的1个第2比特(例如“0”)。因此，能够提高编码效率。

以下参照附图说明实施方式。

另外，以下说明的实施方式都只是示出整体或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等只是一例，不意图限定保护范围。此外，以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素来说明。

(实施方式1)

＜整体构成＞

图1表示实施方式1中的运动图像编码装置100的构成。该运动图像编码装置100按每个块对输入图片进行编码。

如图1所示，运动图像编码装置100具备：块分割部101、预测部102、减法部103、变换部104、逆变换部105、加法部106、SAO处理部107、SAO参数可变长编码部108、系数可变长编码部109和帧存储器110。

＜动作(整体)＞

接下来说明以上那样构成的运动图像编码装置100的动作。图2表示实施方式1中的运动图像编码装置100的处理动作。

(步骤S101)

块分割部101将输入图片分割为多个块(例如编码单元)。然后，多个块依次作为编码对象块(输入图像)被输出至减法部103和预测部102。这时，块的尺寸是可变的。块分割部101使用图像的特征将输入图片分割为多个块。例如，块的最小尺寸为横4像素×纵4像素，块的最大尺寸为横32像素×纵32像素。

(步骤S102)

预测部102基于编码对象块和与帧存储器110中保存的已经编码的图片对应的重构图片，生成预测块。

(步骤S103)

减法部103根据编码对象块和预测块生成残差块。

(步骤S104)

变换部104将残差块变换为频率系数。然后，变换部104对频率系数进行量化。

(步骤S105)

逆变换部105对量化后的频率系数进行逆量化。然后，逆变换部105对逆量化后的频率系数进行逆变换，从而将残差块复原。

(步骤S106)

加法部106通过将复原后的残差块和预测块相加，生成重构块(重构图像)。重构块(重构图像)有时也被称为本地解码块(本地解码图像)。

(步骤S107)

SAO处理部107决定SAO参数。此外，SAO处理部107对重构块中包含的至少1个像素值(样本值)加上偏移值，将相加结果保存到帧存储器110中。即，SAO处理部107将SAO处理后的重构块保存到帧存储器110中。

具体地说，SAO处理部107将重构块中包含的多个像素分类为多个类别。然后，SAO处理部107按每个类别，对属于该类别的像素值加上与该类别对应的偏移值。另外，作为像素的分类方法，准备了多个分类方法。即，自适应地利用像素的分类方法不同的多种SAO处理的某一个。因此，SAO参数包含用于识别SAO处理的种类的参数(sao_type_idx)。此外，SAO参数也包含表示偏移值的参数(sao_offset)。

另外，也可以有不执行该SAO处理的情况。

(步骤S108)

SAO参数可变长编码部108对SAO参数进行可变长编码(熵编码)，输出码串。

(步骤S109)

系数可变长编码部109对频率系数进行可变长编码，输出码串。

(步骤S110)

重复步骤S102～步骤S109，直到输入图片内的全部块编码结束。

下面详细说明SAO参数可变长编码部108及其动作(步骤S108)。

＜SAO参数可变长编码部的构成＞

图3表示实施方式1中的SAO参数可变长编码部108的内部构成。如图3所示，SAO参数可变长编码部108具备sao_type_idx编码部121和sao_offset编码部122。

＜动作(SAO参数可变长编码)＞

接下来说明以上那样构成的SAO参数可变长编码部108的动作。图4表示实施方式1中的SAO参数可变长编码部108的处理动作。

(步骤S121)

sao_type_idx编码部121对用于识别SAO处理的种类的sao_type_idx进行编码。

(步骤S122)

sao_offset编码部122对表示SAO处理中的偏移值的sao_offset进行编码。

下面详细说明sao_type_idx编码部121及其动作(步骤S121)。

＜sao_type_idx编码部的构成＞

图5表示实施方式1中的sao_type_idx编码部121的内部构成。如图5所示，sao_type_idx编码部121具备sao_type_idx二值化部140和sao_type_idx算术编码部150。

sao_type_idx二值化部140将sao_type_idx的值变换为二值信号。如图5所示，sao_type_idx二值化部140具备bin设定部141和最终bin判定部142。

sao_type_idx算术编码部150通过使用固定概率的旁路算术编码，对二值信号的至少一部分进行编码。如图5所示，sao_type_idx算术编码部150具备：算术编码切换部151、第1上下文自适应算术编码部152、第2上下文自适应算术编码部153和旁路算术编码部154。

＜动作(sao_type_idx编码)＞

接下来，详细说明以上那样构成的sao_type_idx编码部121的动作。图6表示实施方式1中的sao_type_idx编码部121的处理动作。

(步骤S141～S144)

bin设定部141将sao_type_idx的值变换为二值信号(位元字串)。具体地说，bin设定部141使用用于识别二值信号内的bin的位置的索引(binIdx)和sao_type_idx的值，对构成二值信号的各bin设定“0”或“1”。在此，sao_type_idx的值的范围是0以上且5以下。

图7是表示多值信号(sao_type_idx的值)与二值信号的对应关系的表。从图7可知，从二值信号的开头起的“1”的出现次数与多值信号所示的值一致。

即，sao_type_idx的值大于0的情况下，二值信号包含1个以上的第1比特，该第1比特具有第1码元“1”，且数量与sao_type_idx的值一致。此外，在(a)sao_type_idx的值小于最大值“5”的情况下，二值信号还包含具有第2码元“0”的1个第2比特；在(b)sao_type_idx的值与最大值一致的情况下，二值信号不包含具有第2码元“0”的第2比特。

此外，binIdx的开头为“0”，以后是逐个增加1而得到的值。bin和binIdx被输出至sao_type_idx算术编码部150。

(步骤S145～S149)

算术编码切换部151基于binIdx的值，切换进行bin的算术编码的处理部(构成要素)。

图8是表示binIdx和上下文的对应关系的表。在本实施方式中，如图8的表的实施方式1的栏所示，使用2种上下文(上下文0及上下文1)对二值信号进行算术编码。

具体地说，在binIdx的值与“0”一致的情况下，算术编码切换部151切换至第1上下文自适应算术编码部152。此外，在binIdx的值与“1”一致的情况下，算术编码切换部151切换至第2上下文自适应算术编码部153。此外，在binIdx的值与“0”和“1”都不一致的情况下，算术编码切换部151切换至旁路算术编码部154。

即，第1上下文自适应算术编码部152使用上下文0，对具有“0”的值的binIdx的bin进行算术编码。此外，第2上下文自适应算术编码部153使用上下文1，对具有“1”的值的binIdx的bin进行算术编码。此外，旁路算术编码部154不使用上下文而使用固定概率“50％”，对具有2以上的值的binIdx的bin进行算术编码。

在此，将通过上下文自适应算术编码被编码的bin(在本实施方式中是由具有“0”及“1”的值的binIdx识别的bin)的组(集合)称为二值信号的第1部分。此外，将通过旁路算术编码被编码的bin(在本实施方式中是由具有2以上的值的binIdx识别的bin)的组称为二值信号的第2部分。

即，在本实施方式中，二值信号的第1部分通过上下文自适应算术编码而被编码。此外，二值信号在第1部分之后包含第2部分的情况下，二值信号的第2部分通过旁路算术编码而被编码。

(步骤S150～S151)

最终bin判定部142判定bin是否具有“0”的值(第1条件)、以及binIdx是否具有“4”的值(第2条件)。在此，在满足第1条件及第2条件中的至少一方的情况下，sao_type_idx的编码结束。

另一方面，不满足第1条件及第2条件的双方的情况下，最终bin判定部142用对binIdx的值加上“1”而得到的值来更新binIdx。然后，回到步骤S142，进行下一bin的编码。

在本实施方式中，通过该步骤S150及S151，如图7所示，sao_type_idx具有最大值“5”的情况下，能够在二值信号的最后不附加“0”。

＜效果＞

以上，根据本实施方式，sao_type_idx具有最大值的情况下，通过在二值信号的最后不附加0，能够削减符号量。在非专利文献1所记载的HEVC标准中，将sao_type_idx的值“5”变换为二值信号“111110”。但是，sao_type_idx只能取0～5的值，所以在解码装置侧二值信号内的“1”的连续个数成为5个(“11111”)的时点，sao_type_idx的值确定为“5”。因此，sao_type_idx的值与最大值“5”一致的情况下，以在二值信号的最后不包含“0”的方式进行二值化，由此能够削减符号量。

此外，通过将sao_type_idx的二值信号中包含的bin的最大数(最大比特长度)决定为“5”，能够提高解码侧的容错性。具体地说，对异常的码串(例如“1”无限连续的二值信号)进行解码的情况下，在以往的处理中，由于未出现“0”，所以解码处理不会结束，但是通过将bin的最大数决定为“5”，即使在二值信号内不出现“0”，也能够结束解码处理。

此外，通过对于从sao_type_idx的值得到的二值信号的后半部分(第2部分)的bin进行旁路算术编码，能够实现算术编码处理的高速化或算术编码处理的负荷减轻。在本实施方式中，具有2以上的值的binIdex的bin不是通过上下文自适应算术编码而是通过旁路算术编码被编码。如上述那样，在旁路算术编码中，不需要上下文的加载及更新，并且不必等待前段处理的上下文更新结束就能够开始处理，所以与上下文自适应算术编码相比，能够使处理高速化或减少处理负荷。

此外，在非专利文献1所记载的HEVC标准中，具有1以上的值的binIdx的bin使用相同上下文进行上下文自适应算术编码。这是因为，认为binIdx的值为“1”以上的bin中的码元发生概率(bin的值成为“1”的概率)基本上相同，存在非50％的某种偏向。即，binIdx的值为“1”以上的bin包含在二值信号中的情况下(sao_type_idx的值为“1”以上的情况下)，认为(a)binIdx的值为“1”的bin具有“0”的值、且binIdx的值为“2”以上的bin不包含在二值信号中的情形(sao_type_idx的值为“1”)、或者(b)到具有较大值的binIdx的bin为止不出现值为“0”的bin的情形(sao_type_idx的值为“4”或“5”等)较多发生。

但是，将binIdx的值为“2”以上的bin中的码元发生概率固定为“50％”而进行了算术编码的测试，结果发现编码效率几乎不变差。即，sao_type_idx的值为中间(“2”或“3”等)的情形较多发生，并且binIdx的值为“2”以上的bin的码元发生概率接近50％。因此，将binIdx的值为“2”以上的bin不使用上下文自适应算术编码而使用旁路算术编码进行编码，从而能够抑制编码效率的降低，并且使处理高速化或减少处理负荷。

另外，根据本实施方式，对binIdx的值为“2”以上的bin进行旁路算术编码，但是不限于此。例如，也可以对binIdx的值为“1”以上的bin通过旁路算术编码进行编码(变形例1)。此外，例如也可以对二值信号内的全部bin通过旁路算术编码进行编码(变形例2)。

如图8所示，在变形例1中，对binIdx的值为“1”以上的bin通过旁路算术编码进行编码。即，通过上下文自适应算术编码被编码的二值信号的第1部分由二值信号的开头的bin构成。此外，通过旁路算术编码被编码的二值信号的第2部分由二值信号的剩余的bin构成。此外，在变形例2中，全部bin通过旁路算术编码被编码。

在此，说明这些实施方式1、变形例1及变形例2的测试结果。在该测试中，使用安装了对binIdx的值为“2”以上的bin进行旁路算术编码的方法(实施方式1)、对binIdx的值为“1”以上的bin进行旁路算术编码的方法(变形例1)、以及对全部bin进行旁路算术编码的方法(变形例2)的HEVC标准的测试用软件。

图9表示将以往技术与实施方式1、变形例1及变形例2的编码效率进行比较的测试结果。测试条件遵循HEVC标准化团体的共通测试条件。图9的数值是针对测试用图像的开头49帧的结果。值越大则表示编码效率越低。负的值表示编码效率比以往(非专利文献1)有所提高。

如图9所示，在实施方式1和变形例1中，在全部条件下值处于－0.1～0.1％的范围内。即，在实施方式1及变形例1中，即使通过旁路算术编码使处理高速化，编码效率也几乎不变化。

此外，在变形例2中，编码效率比实施方式1及变形例1降低，但是也全部在1％以内。此外，在对全部帧进行帧内编码的条件AI之下，编码效率几乎不降低。

因此，也可以是，在即使编码效率稍微降低也以处理高速化优先的情形、以及大量使用帧内编码的情形下使用变形例2的编码方法，在其以外的情形下使用实施方式1或变形例1的编码方法对运动图像进行编码。

另外，当然也可以构成为，对binIdx为“2”以下的bin使用上下文自适应算术编码进行编码，对binIdx为“3”以上的bin使用旁路算术编码进行编码。

另外，在本实施方式中，作为SAO参数，使用用于识别SAO处理的种类的sao_type_idx和表示SAO的偏移值的sao_offset，但是不限于此。例如，SAO参数也可以包含表示用于将像素分类的辅助信息的参数。此外，SAO参数也可以包含表示sao_offset的符号比特(正负)的sao_offset_sign。

此外，sao_type_idx也可以包含表示不实施SAO处理的信息。例如，也可以设为在sao_type_idx的值与“0”一致的情况下不对重构块实施SAO处理。

此外，在本实施方式中，按每个块对SAO参数进行编码，但是不限于此，也可以按照比块小的单位对SAO参数进行编码。此外，反之也可以按照将块连结多个而成的单位对SAO参数进行编码。此外，在对象块中，也可以构成为不对SAO参数进行编码，而拷贝其他块的值来使用。

此外，在本实施方式中，sao_type_idx的值为0～5，但是不限于此。sao_type_idx的最大值也可以为6以上或4以下。

例如，说明sao_type_idx的最大值为“2”的情况。即，说明SAO处理的种类数为3的情况。

图10表示变形例3中的多值信号(sao_type_idx)与二值信号的对应关系。此外，图11表示变形例3中的binIdx与上下文的对应关系。

在该变形例3中，sao_type_idx的值与“0”一致的情况下，不对重构块应用SAO处理。此外，sao_type_idx的值与“1”一致的情况下，对重构块应用第1SAO处理。此外，sao_type_idx的值与“2”一致的情况下，对重构块应用第2SAO处理。

第1SAO处理例如是带偏移(band offset)处理。此外，第2SAO处理例如是边缘偏移(edge offset)处理。在边缘偏移处理中，对于多个像素的每一个，基于该像素的像素值和与该像素邻接的像素的像素值的差分，决定该像素所属的类别。此外，在带偏移处理中，将像素值可能取得的值的范围分割为多个区间(带)，对于多个像素的每一个，基于该像素的像素值所属的区间，决定该像素所属的类别。另外，边缘偏移处理及带偏移处理的详细情况已经在非专利文献1等中公开，因此在此省略。

如图10及图11所示，在变形例3中，二值信号的开头的bin(binIdx＝0、第1部分)通过上下文自适应算术编码被编码。此外，二值信号的剩余的bin(binIdx＝1、第2部分)通过旁路算术编码被编码。

在此，开头的bin仅在sao_type_idx的值与“0”一致的情况下具有“0”的值，其他情况下具有“1”的值。即，二值信号的第1部分表示sao_type_idx的值是否与规定值“0”一致。换言之，二值信号的第1部分表示是否对重构块应用SAO处理。这样，将表示是否对重构块应用SAO处理的部分通过上下文自适应算术编码进行编码，将其他部分通过旁路算术编码进行编码，由此，能够进一步抑制编码效率的降低，并且实现处理的高速化或处理负荷的减少。

另外，不限于sao_type_idx，对于向码串赋予的其他syntax，也可以应用本实施方式或变形例1～3的编码方法。由此，能够使可变长编码部的处理共通化。

例如，对于表示SAO偏移值的sao_offset、表示参照图像的索引的ref_idx、从包含运动矢量等的候选的列表中识别在帧间预测中使用的候选的merge_idx、或识别帧内预测模式的mpm_idx或intra_chroma_pred_mode，也可以对二值信号的第2部分进行旁路算术编码。另外，关于sao_offset、ref_idx、merge_idx、mpm_idx及intra_chroma_pred_mode已经在非专利文献1中公开，因此省略详细说明。

即，第1二值信号的第1部分的比特长度和第2二值信号的第1部分的比特长度也可以一致。在此，第1二值信号是将用于识别样本偏移处理的种类的参数(sao_type_idx)的值进行二值化而得到的二值信号。此外，第2二值信号是将用于识别帧内预测模式的参数(例如intra_chroma_pred_mode)的值和用于从包含运动矢量的候选的列表中识别在帧间预测中使用的候选的参数(例如merge_idx)的值中的至少一方进行二值化而得到的二值信号。

这样，通过使sao_type_idx和其他syntax中进行旁路算术编码的部分统一，不仅能够使处理高速化，还能够使用共通的可变长编码部，从而实现装置的简略化。

此外，在本实施方式中，块的尺寸为最大32×32、最小4×4，但是不限于此。此外，块的尺寸也可以不是可变，而是固定的。

此外，样本偏移处理不限于非专利文献1所记载的SAO处理。即，样本偏移处理只要是使重构图像的样本值(像素值)偏移的处理即可。

(实施方式2)

接下来说明实施方式2。在实施方式2中，对通过实施方式1的运动图像编码方法被编码的图像进行解码。特别是，对在实施方式1中被编码的、用于识别样本偏移处理的种类的参数进行算术解码。

＜整体构成＞

图12表示实施方式2中的运动图像解码装置200的构成。该运动图像解码装置200按每个块对编码图片进行解码。

如图12所示，运动图像解码装置200具备：SAO参数可变长解码部201、系数可变长解码部202、逆变换部203、预测部204、加法部205、SAO处理部206、块结合部207和帧存储器208。

＜动作(整体)＞

接下来说明以上那样构成的运动图像解码装置200的动作。图13表示实施方式2中的动图像解码装置200的处理动作。

(步骤S201)

SAO参数可变长解码部201对码串(比特流)中包含的编码后的SAO参数进行可变长解码(熵解码)。

(步骤S202)

系数可变长解码部202对码串中包含的编码后的频率系数进行可变长解码，并输出至逆变换部203。

(步骤S203)

逆变换部203将频率系数逆变换为像素数据，生成残差块。

(步骤S204)

预测部204基于帧存储器208中保存的已经解码的图片，生成预测块。

(步骤S205)

加法部205将预测块和残差块相加，生成重构块。

(步骤S206)

SAO处理部206按照SAO参数，将重构块中包含的多个像素分类为多个类别。然后，加上与每个类别对应的偏移值。即，SAO处理部206使用SAO参数，对重构块应用SAO处理。在此，SAO参数包含用于识别SAO处理的种类的参数(sao_type_idx)和表示偏移值的参数(sao_offset)。

另外，也可以不执行该SAO处理。例如，sao_type_idx的值与规定值一致的情况下，也可以不执行SAO处理。

(步骤S207)

重复步骤S201～步骤S206，直到解码对象图片内的全部块解码结束。

(步骤S208)

块结合部207通过将多个块结合而生成解码图片。此外，块结合部207将解码图片保存到帧存储器208中。

下面详细说明SAO参数可变长解码部201及其动作(步骤S201)。

＜SAO参数可变长解码部的构成＞

图14表示实施方式2中的SAO参数可变长解码部201的内部构成。如图14所示，SAO参数可变长解码部201具备sao_type_idx解码部221和sao_offset解码部222。

＜动作(SAO参数可变长解码)＞

接下来说明以上那样构成的SAO参数可变长解码部201的动作。图15表示实施方式2中的SAO参数可变长解码部201的处理动作。

(步骤S221)

sao_type_idx解码部221对编码后的sao_type_idx进行解码。

(步骤S222)

sao_offset解码部222对编码后的sao_offset进行解码。

下面详细说明sao_type_idx解码部221及其动作(步骤S221)。

＜sao_type_idx解码部的构成＞

图16表示实施方式2中的sao_type_idx解码部221的内部构成。如图16所示，sao_type_idx解码部221具备sao_type_idx算术解码部240和sao_type_idx多值化部250。

sao_type_idx算术解码部240将与用于识别对重构块应用的SAO处理的种类的sao_type_idx的值对应的二值信号的编码后的至少一部分通过旁路算术解码进行解码。如图16所示，sao_type_idx算术解码部240具备：算术解码切换部241、第1上下文自适应算术解码部242、第2上下文自适应算术解码部243和旁路算术解码部244。

sao_type_idx多值化部250将解码后的二值信号变换为sao_type_idx的值。如图16所示，sao_type_idx多值化部250具备最终bin判定部251和sao_type_idx设定部252。

＜动作(sao_type_idx解码)＞

下面详细说明以上那样构成的sao_type_idx解码部221的动作。图17表示实施方式2中的sao_type_idx解码部221的处理动作。

(步骤S241～S246)

算术解码切换部241对处理对象bin的binIdx的值进行判定。然后，算术解码切换部241基于判定出的binIdx的值，切换进行编码后的bin的算术解码的处理部(构成要素)。具体地说，binIdx的值与“0”一致的情况下，算术解码切换部241切换至第1上下文自适应算术解码部242。此外，binIdx的值与“1”一致的情况下，算术解码切换部241切换至第2上下文自适应算术解码部243。此外，binIdx的值与“0”和“1”都不一致的情况下，算术解码切换部241切换至旁路算术解码部244。

即，第1上下文自适应算术解码部242使用上下文0，对具有“0”的值的binIdx的编码后的bin进行算术解码。此外，第2上下文自适应算术解码部243使用上下文1，对具有“1”的值的binIdx的编码后的bin进行算术解码。此外，旁路算术解码部244不使用上下文而使用固定概率“50％”，对具有2以上的值的binIdx的编码后的bin进行算术解码。

在此，将通过上下文自适应算术编码被编码的bin(在本实施方式中是由具有“0”及“1”的值的binIdx识别的bin)的组称为二值信号的第1部分。此外，将通过旁路算术编码被编码的bin(在本实施方式中是由具有2以上的值的binIdx识别的bin)的组称为二值信号的第2部分。

即，在本实施方式中，二值信号的编码后的第1部分通过上下文自适应算术解码来解码。此外，二值信号在第1部分之后包含第2部分的情况下，二值信号的编码后的第2部分通过旁路算术解码来解码。

(步骤S247～S248)

最终bin判定部251在作为算术解码结果的bin的值与“0”一致的情况下，或者binIdx的值与“4”一致的情况下，结束编码后的bin的算术解码，进入步骤S249。另一方面，bin的值与“1”一致、且binIdx的值为3以下的情况下，最终bin判定部251对binIdx的值加上“1”，进入步骤S242。

(步骤S249～S251)

sao_type_idx设定部252将binIdx的值设定为sao_type_idx。此外，binIdx的值与“4”一致、且bin的值与“1”一致的情况下，对sao_type_idx设定“5”。通过这些步骤S249～S251，即使在二值信号的最后没有“0”，也能够从二值信号变换为sao_type_idx的值“5”。二值信号和多值信号的对应关系与实施方式1的图7相同。

＜效果＞

以上，根据本实施方式，能够将在实施方式1中编码的sao_type_idx解码。即，能够将与sao_type_idx的值对应的二值信号的编码后的至少一部分通过旁路算术解码进行解码。因此，能够实现与实施方式1同样的效果。例如，能够抑制编码效率的降低，并且实现处理的高速化或处理负荷的减少。

另外，对于本实施方式，也能够应用与实施方式1同样的变形例。即，也可以将在图8、图10及图11所示的变形例1～3中编码的sao_type_idx解码。

此外，在本实施方式中，例如对于表示SAO偏移值的sao_offset、表示参照图像的索引的ref_idx、用于从包含运动矢量等的候选的列表中识别在帧间预测中使用的候选的merge_idx、或者用于识别帧内预测模式的mpm_idx或intra_chroma_pred_mode，也可以对二值信号的编码后的第2部分进行旁路算术解码。即，第1二值信号的第1部分的比特长度与第2二值信号的第1部分的比特长度一致。

以上基于实施方式说明了1个或多个方式的运动图像编码装置及运动图像解码装置，但是本发明不限于这些实施方式。只要不脱离本发明的主旨，对本实施方式进行本领域技术人员能够想到的各种变形而得到的方式、以及将不同实施方式中的构成要素组合而构建的方式，也包含在1个或多个方式的范围内。

例如，运动图像编码装置也可以不具备图1所示的构成要素的一部分，也可以不执行图2所示的步骤的一部分。此外，运动图像解码装置也可以不具备图12所示的构成要素的一部分，也可以不执行图13所示的步骤的一部分。以下说明这样的运动图像编码装置及运动图像解码装置的一例。

图18A表示其他实施方式的运动图像编码装置300的构成。此外，图18B表示其他实施方式的运动图像编码装置300的处理动作。

运动图像编码装置300具备二值化部(二值化器)301和算术编码部(算术编码器)302。

二值化部301相当于实施方式1中的sao_type_idx二值化部140。二值化部301将用于识别样本偏移处理的种类的参数的值变换为二值信号(S301)。

算术编码部302相当于实施方式1中的sao_type_idx算术编码部150。算术编码部302通过使用固定概率的旁路算术编码，对二值信号的至少一部分进行编码(S302)。

这样的运动图像编码装置300，也能够将与识别样本偏移处理的种类的参数的值对应的二值信号的至少一部分通过旁路算术编码进行编码，所以能够抑制编码效率的降低，并实现处理的高速化或处理负荷的减少。

图19A表示其他实施方式的运动图像解码装置400的构成。此外，图19B表示其他实施方式的运动图像解码装置400的处理动作。

运动图像解码装置400具备算术解码部(算术解码器)401和多值化部(多值化器)402。

算术解码部401对应于实施方式2中的sao_type_idx算术解码部240。算术解码部401将与用于识别对从编码图像得到的重构图像应用的样本偏移处理的种类的参数的值对应的二值信号的编码后的至少一部分，通过使用固定概率的旁路算术解码进行解码(S401)。

多值化部402对应于实施方式2中的sao_type_idx多值化部250。多值化部402将解码后的二值信号变换为用于识别样本偏移处理的种类的参数的值(S402)。

这样的运动图像解码装置400，也能够将与识别样本偏移处理的种类的参数的值对应的二值信号的编码后的至少一部分通过旁路算术解码进行解码，所以能够抑制编码效率的降低，并且实现处理的高速化或处理负荷的减少。

另外，在上述各实施方式中，各个功能模块通常能够通过MPU及存储器等来实现。此外，各个功能模块的处理通常能够通过软件(程序)来实现，该软件记录在ROM等记录介质中。并且，也可以将这样的软件通过下载等发布，还可以记录在CD-ROM等记录介质中发布。另外，各功能模块当然也可以通过硬件(专用电路)来实现。

此外，各实施方式中说明的处理可以使用单一装置(系统)进行集中处理来实现，或者也可以使用多个装置进行分散处理来实现。此外，执行上述程序的计算机可以是1个，也可以是多个。即，可以进行集中处理，也可以进行分散处理。

另外，在上述各实施方式中，各构成要素可以由专用的硬件构成，也可以通过执行适于各构成要素的软件程序来实现。各构成要素通过由CPU或处理器等程序执行部读取并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。

换言之，运动图像编码装置及运动图像解码装置也可以具备控制电路(controlcircuitry)和与该控制电路电连接(能够从该控制电路访问的)存储装置(storage)。控制电路也可以包括专用的硬件及程序执行部的至少一方。此外，在控制电路包括程序执行部的情况下，也可以在存储装置中存储由该程序执行部执行的软件程序。

在此，实现上述各实施方式的运动图像编码装置及运动图像解码装置等的软件是如下的程序。

即，该程序使计算机执行如下的运动图像编码方法：该运动图像编码方法是对输入图像进行编码的运动图像编码方法，将第1参数的值变换为第1二值信号，该第1参数用于识别在与所述输入图像对应的重构图像中应用的样本偏移处理的种类，通过使用固定概率的旁路算术编码，对所述第1二值信号的至少一部分进行编码。

此外，该程序使计算机执行如下的运动图像解码方法：该运动图像解码方法是对编码图像进行解码的运动图像解码方法，将与第1参数的值对应的第1二值信号的编码后的至少一部分通过使用固定概率的旁路算术解码进行解码，该第1参数用于识别对从所述编码图像得到的重构图像应用的样本偏移处理的种类，将解码后的所述第1二值信号变换为所述第1参数的值。

(实施方式3)

通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编解码装置。关于系统的其他结构，可以根据情况而适当变更。

图20是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图20那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图21所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图22是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图23中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图24中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图22所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图25A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图25B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式4)

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图26是表示复用数据的结构的图。如图26所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图27是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图28更详细地表示在PES包序列中怎样保存视频流。图28的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图28的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

图29表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图29下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图30是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图31所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图31所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图32所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图33中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

(实施方式5)

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图34中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这种可编程逻辑设备典型的是，通过加载或从存储器等读入构成软件或固件的程序，能够执行上述各实施方式所示的运动图像编码方法或运动图形解码方法。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

(实施方式6)

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图35表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图34的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图34的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图37所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图36表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

(实施方式7)

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图38A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在熵解码方面具有特征，因此可以考虑例如对于熵解码使用专用的解码处理部ex901，对于除此之外的逆量化、解块·滤波、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图38B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

工业实用性

本发明的一个方式的运动图像编码装置或运动图像解码装置，例如能够应用于电视接收机、数字视频记录机、车辆导航仪、便携电话、数字照相机、或数字视频摄影机等。

附图标记说明

100、300 运动图像编码装置

101 块分割部

102、204 预测部

103 减法部

104 变换部

105、203 逆变换部

106、205 加法部

107、206 SAO处理部

108SAO 参数可变长编码部

109 系数可变长编码部

110、208 帧存储器

121 sao_type_idx编码部

122 sao_offset编码部

140 sao_type_idx二值化部

141 bin设定部

142、251 最终bin判定部

150 sao_type_idx算术编码部

151算术编码切换部

152 第1上下文自适应算术编码部

153 第2上下文自适应算术编码部

154 旁路算术编码部

200、400 运动图像解码装置

201 SAO参数可变长解码部

207 块结合部

221 sao_type_idx解码部

222 sao_offset解码部

240 sao_type_idx算术解码部

241 算术解码切换部

242 第1上下文自适应算术解码部

243 第2上下文自适应算术解码部

244 旁路算术解码部

250 sao_type_idx多值化部

252 sao_type_idx设定部

301 二值化部

302 算术编码部

401 算术解码部

402 多值化部

Claims

1.一种运动图像解码方法，对编码图像进行解码，其中，

通过上下文自适应算术解码将第1二值信号的编码后的第1部分解码，

通过使用固定概率的旁路算术解码，将所述第1二值信号的编码后的第2部分解码，在所述旁路算术解码中不使用可变概率，所述第1二值信号的第1部分由所述第1二值信号的开头的比特构成，所述第1二值信号的第2部分由所述第1二值信号的剩余的比特构成，所述第1二值信号对应于第1参数的值，该第1参数用于识别对重构图像应用的样本偏移处理的种类，该重构图像是从所述编码图像得到的重构图像，

将解码后的所述第1二值信号变换为所述第1参数的值。

2.如权利要求1所述的运动图像解码方法，

在所述第1参数的值与规定值一致的情况下，所述样本偏移处理不被应用于所述重构图像，

所述第1二值信号的第1部分表示所述第1参数的值是否与所述规定值一致。

3.如权利要求1所述的运动图像解码方法，

所述运动图像解码方法还进行以下处理：

通过上下文自适应算术解码，将与第2参数的值和第3参数的值中的至少一方对应的第2二值信号的编码后的第1部分解码，该第2参数用于识别帧内预测模式，该第3参数用于从包含运动矢量的候选的列表中识别在帧间预测中使用的候选，

在所述第2二值信号的第1部分之后包含所述第2二值信号的第2部分的情况下，通过旁路算术解码对所述第2二值信号的编码后的第2部分进行解码，

所述第1二值信号的第1部分的比特长度与所述第2二值信号的第1部分的比特长度一致。

4.如权利要求1所述的运动图像解码方法，

在所述第1参数的值大于0的情况下，所述第1二值信号包含1个以上的第1比特，该第1比特具有第1码元，而且该第1比特的数量与所述第1参数的值一致，

(a)在所述第1参数的值小于最大值的情况下，所述第1二值信号还包含具有第2码元的1个以上的第2比特；

(b)在所述第1参数的值与所述最大值一致的情况下，所述第1二值信号不包含所述第2比特。

5.如权利要求1所述的运动图像解码方法，

在带偏移处理和边缘偏移处理之中应用哪个种类的样本偏移处理通过所述第1二值信号的第2部分识别。

6.一种运动图像解码装置，对编码图像进行解码，具备：

第1解码部，通过上下文自适应算术解码将第1二值信号的编码后的第1部分解码，

第2解码部，通过使用固定概率的旁路算术解码，将所述第1二值信号的编码后的第2部分解码，所述第1二值信号的第1部分由所述第1二值信号的开头的比特构成，所述第1二值信号的第2部分由所述第1二值信号的剩余的比特构成，所述第1二值信号对应于第1参数的值，该第1参数用于识别对重构图像应用的样本偏移处理的种类，该重构图像是从所述编码图像得到的重构图像；以及

多值化部，将解码后的所述第1二值信号变换为所述第1参数的值。