CN103650501A

CN103650501A - 使用切片编码方案对视频进行编码、提取和解码的方法和装置

Info

Publication number: CN103650501A
Application number: CN201280033779.6A
Authority: CN
Inventors: 林宗顺; 乃苏孟德; 孙海威; 袁明亮; 西孝启; 笹井寿郎; 柴原阳司; 杉尾敏康; 谷川京子; 松延彻
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Sun Patent Trust Inc
Priority date: 2011-08-25
Filing date: 2012-08-23
Publication date: 2014-03-19
Anticipated expiration: 2032-08-23
Also published as: BR112014000368A2; JP2014527316A; EP2749029A4; WO2013027407A1; KR20140057238A; KR101912485B1; CN103650501B; JP6384650B2; US9225946B2; EP2749029A1; US20140119671A1

Abstract

现有技术的视频编码方案支持将图片划分为被称为切片单元的较小矩形单元。能够分别通过单独的编码器和解码器对每一个切片单元独立地进行编码和解码。切片单元的主要目的是允许图片的并行处理以便降低实现成本和复杂性。本发明提供了附加的功能以便定义灵活划分的切片区域并且允许切片区域的部分解码和重构。

Description

使用切片编码方案对视频进行编码、提取和解码的方法和装置

技术领域

本发明能够用于任何多媒体数据编码，并且特别地，能够用于将图片划分为多个切片区域的图像和视频编码。

背景技术

例如即将到来的HEVC（高效视频编码）的现有技术视频编码方案支持将图片划分为被称为切片单元的较小矩形单元。能够分别通过单独的编码器和解码器来对每一个切片单元独立地进行编码和解码。切片单元的主要目的是允许图片的并行处理以便降低实现成本和复杂性。

现有技术中将图片划分为较小切片的方法是首先将图片水平地切割为列，并且然后将图片垂直地切割为行。图13示出了这一切割图片的方法。通过按照这种方式对图片进行切割，传送所有列宽度并且然后传送所有行高度将足以定义图片中的切片区域。

在现有技术中使用的切片编码方案中，对切片单元单独地进行编码，并且能够去除切片之间的空间依赖性。然而，切片的间预测会穿过参照图片中的切片区域。

发明内容

[发明要解决的技术问题]

按照列并且然后按照行将图片划分为切片的方法对于并行处理有用，但是如果切片编码用于定义子图片区域，则这一方法是无用的。图4示出了将图片划分为3个区域的方法，其中左上区域是包含子图片的最大切片区域。现有技术方案的问题是必须将图片划分为4个区域，其中，需要将底部切片区域划分为两个区域，并且因而降低了底部切片的编码效率。

现有技术的第二个问题是切片的间预测会穿过参照图片中的预定义切片区域。并且因而不能够仅对图片中的切片区域之一进行解码以便从编码比特流中产生较小分辨率的图片。

[用于解决问题的手段]

为了解决这些问题，引入了将图片划分为切片单元的新方法以及约束穿过切片区域的运动预测的新方法。

本发明的新颖之处在于本发明允许用于将图片划分为切片区域的更加灵活的方法、提供用于从编码比特流中提取子比特流的新功能并且提供用于执行编码比特流的部分解码以便产生较小分辨率图片的新功能。

[获得的有益效果]

本发明的效果在于改善编码效率的形式以及增加用于部分比特流解码的新功能的形式。

附图说明

图1是说明用于本发明的视频编码器的示例装置的方框图。

图2是说明用于本发明的子比特流提取器和视频解码器的示例装置的方框图。

图3是说明用于本发明的子比特流提取器和视频解码器的示例装置的方框图。

图4是说明将图片划分为每个区域具有不同宽度和高度的三个切片区域的示例的图。

图5A是表示每一个切片单元的切片宽度和切片高度在压缩视频流中的图片参数集合中的位置的图。

图5B是表示每一个切片单元的切片宽度和切片高度在压缩视频流中的切片公共参数集合中的位置的图。

图5C是表示每一个切片单元的切片宽度和切片高度在压缩视频流中的顺序参数集合中的位置的图。

图6是表示用于每一个切片单元的运动预测被约束的切片标志在压缩视频流中的SEI（补充增强信息）消息中的位置的图。

图7是表示使用本发明第一实施例的视频编码处理的流程图。

图8是表示在本发明第二实施例中将运动预测约束到参照图片中的相同切片区域的图。

图9是表示使用本发明第二实施例的视频编码处理的流程图。

图10是表示使用本发明第三实施例的视频解码处理的流程图。

图11是表示使用本发明第四实施例的视频提取处理的流程图。

图12是表示使用本发明第五实施例的视频解码处理的流程图。

图13是说明如现有技术中描述的将图片划分为切片区域的示例的图。

图14示出了用于实现内容分发服务的内容提供系统的整体配置。

图15示出了数字广播系统的整体配置。

图16示出了说明电视机的配置示例的方框图。

图17示出了说明对作为光盘的记录介质进行信息读取和写入的信息再现/记录单元的配置示例的方框图。

图18示出了作为光盘的记录介质的配置示例。

图19A示出了蜂窝电话的示例。

图19B是表示蜂窝电话的配置示例的方框图。

图20说明了复用数据的结构。

图21示意性示出了在复用数据中如何复用每一个流。

图22更加详细地示出了如何在PES分组流中存储视频流。

图23示出了复用数据中的TS分组和源分组的结构。

图24示出了PMT的数据结构。

图25示出了复用数据信息的内部结构。

图26示出了流属性信息的内部结构。

图27示出了用于识别视频数据的步骤。

图28示出了用于实现根据每一个实施例的运动图片编码方法和运动图片解码方法的集成电路的配置示例。

图29示出了用于在驱动频率之间进行切换的配置。

图30示出了用于识别视频数据并且在驱动频率之间进行切换的步骤。

图31示出了其中将视频数据标准与驱动频率相关联的查找表的示例。

图32A是表示用于共享信号处理单元的模块的配置的示例的图。

图32B是表示用于共享信号处理单元的模块的配置的另一示例的图。

具体实施方式

[实施例1]

实施例（I&II）：视频编码器方框图：

图1是表示本发明一个实施例中的视频/图像编码装置的结构的方框图。

所述视频编码装置是用于逐块地对输入视频/图像比特流进行编码以便生成编码的输出比特流的装置。如图1所示，所述装置包括变换单元101、量化单元102、逆量化单元103、逆变换单元104、块存储器105、帧存储器106、内预测单元107、间预测单元108、熵编码单元109、切片划分单元110和写入单元111。

将输入视频输入到切片划分单元110，并且该切片划分单元110将按照切片单元的顺序扫描的像素块输出到加法器。切片划分单元110还将切片区域的尺寸和用于禁止穿过切片区域的运动预测的标志写入到写入单元111。然后写入单元111将输入的参数输出到比特流的头部。

在将像素块输入到加法器之后，将加和值块输出到变换单元101。变换单元101将加和值变换为频率系数，并且将产生的频率系数输出到量化单元102。量化单元102对输入的频率系数进行量化，并且将产生的量化值输出到逆量化单元103和熵编码单元109。熵编码单元109对从量化单元102输出的量化值进行编码，并且输出比特流。

逆量化单元103对从量化单元102输出的样本值进行逆量化，并且将频率系数输出到逆变换单元104。所述逆变换单元104对频率系数执行逆频率变换以便将频率系数变换为比特流的样本值，并且输出到加法器。加法器将从逆变换单元104输出的比特流的样本值加到从间/内预测单元107、108输出的预测的视频/图像值，并且将产生的加和值输出到块存储器105或帧存储器106用于进一步预测。所述间/内预测单元107、108在存储在块存储器105或帧存储器106中的重构的视频/图像中进行搜索，并且估计例如与输入视频/图像最相似的视频/图像区域用于进行预测。

实施例（I）：句法

图5A到5C是表示在本发明示例实施例中对于每一个切片单元的切片参数的位置的句法图。

在图5A中，切片参数可以位于图片参数集合中。图片参数集合中的切片参数包括对于切片的数量的参数以及对于每一个切片单元的切片参数。对于每一个切片单元的切片参数包括指定对于每一个切片单元的切片区域的尺寸的切片宽度和切片高度。

在图5B中，切片参数可以位于切片公共参数集合中。切片公共参数集合的另一可能名称是自适应参数集合，其中多个切片使用这一参数集合中的相同参数。切片自适应参数集合中的切片参数包括对于切片的数量的参数以及对于每一个切片单元的切片参数。对于每一个切片单元的切片参数包括指定对于每一个切片单元的切片区域的尺寸的切片宽度和切片高度。

在图5C中，切片参数可以位于序列参数集合中。所述序列参数集合中的切片参数包括对于切片的数量的参数以及对于每一个切片单元的切片参数。对于每一个切片单元的切片参数包括指定对于每一个切片单元的切片区域的尺寸的切片宽度和切片高度。

接下来给出关于如上所述的视频编码装置100的操作的描述。

实施例（I）：编码流程图：

图7是表示本发明第一实施例中的视频/图像编码装置100的编码方法/步骤的操作序列的流程图（S700）。

在步骤S702，将图像划分为多个切片区域。在步骤S704，将代表切片区域的数量的参数写入视频流的头部。然后，在步骤S706，将对于每一个切片区域的宽度参数和高度参数写入视频流的头部。并且在步骤S708，在与其它切片区域不具有空间依赖性的情况下对每一个切片区域独立地进行编码。最后在步骤S710中，按照以图片内的切片区域的光栅扫描顺序为基础的顺序将多个编码的切片单元写入视频流。

本发明的效果在于在将图像划分为切片区域方面的较好灵活性的形式。利用本发明，通过单独地对每一个切片区域的尺寸发送信号，能够以更加灵活的方式将图像划分为切片区域。本发明提供更加灵活的方式来定义切片区域，并且因而减少了由确定不必要的切片区域导致的开销。

实施例（II）：句法

图6是表示在本发明实施例中用于约束对于每一个切片单元的运动预测的标志的位置的句法图。

在图6中，切片参数位于补充增强信息消息中。位于补充增强信息消息中的切片参数包括对于图片中的切片区域的数量的参数以及与每一个切片区域有关的参数。对于每一个切片区域的切片参数包括代表转换到启用或禁止对于穿过切片区域的运动预测的约束的标志。

图8示出了将运动预测约束到参照图片中的相同切片区域的示例说明。按照仅位于参照图片中的相同切片区域内的样本能够用于预测的方式来约束运动预测。

接下来给出关于如上所述的视频编码装置100的操作的描述。

实施例（II）：编码流程图：

图9是表示本发明第二实施例中的视频/图像编码装置100的编码方法/步骤的操作序列的流程图（S900）。

在步骤S902，将图像划分为多个切片区域。在步骤S904，将代表切片区域的数量的参数写入视频流的头部。类似地，在步骤S906，将代表是否对运动预测应用了约束的对于每一个切片区域的标志写入视频流的头部。

并且在步骤S906，做出判断以便确定是否每一个标志具有预定义值。如果判断标志具有预定义值，则在步骤S908，在对运动预测具有约束的情况下对切片区域进行编码以便仅从参照图片中的相同切片区域进行预测。否则，在步骤S910，在对运动预测没有约束的情况下对切片区域进行编码，以便保持在参照图片中的相同切片区域内。

本发明的效果在于提供在不同切片区域上不具有时间依赖性地对切片区域进行编码的功能的形式。因而，本发明允许构建视频流以使得在不对全部视频流进行解码的情况下能够对图片的区域进行解码和重构。与全部分辨率视频相比较，部分重构的视频是具有相同帧速率的较小分辨率视频。

实施例（III、IV和V）：解码器方框图

图2是表示本发明实施例中的视频解码装置200的结构的方框图。

视频解码装置200是用于逐块地对输入编码比特流进行解码并且输出视频/图像的装置，并且如图2所示包括熵解码单元201、逆量化单元202、逆变换单元203、块存储器204、帧存储器205、内预测单元206、间预测单元207和子比特流提取器单元208。在本发明的另一可能实施例中，子比特流提取器单元208是独立于视频解码装置的另一个分开的装置。

将输入编码比特流输入到子比特流提取器单元208，并且输出子比特流。然后将所述子比特流输入到熵解码单元201。

在将输入编码比特流输入到熵解码单元201之后，熵解码单元201对输入编码比特流进行解码，并且将解码值输出到逆量化单元202。逆量化单元202对解码值进行逆量化，并且将频率系数输出到逆变换单元203。逆变换单元203对频率系数执行逆频率变换以便将频率系数变换为样本值，并且将产生的像素值输出到加法器。加法器将产生的像素值加到从内/间预测单元206、207输出的预测的视频/图像值，并且将产生的值输出到显示器，并且将产生的值输出到块存储器204或帧存储器205用于进一步预测。此外，内/间预测单元206、207在存储在块存储器204或帧存储器205中的视频/图像内进行搜索，并且估计例如与解码的视频/图像最相似的视频/图像区域用于进行预测。

图3是表示本发明实施例中的子比特流提取器单元208的结构的方框图。

子比特流提取器单元208是用于从输入比特流中提取子比特流的装置，并且如图3所示包括提取单元301、解析单元303和可选的头部重写单元302。

将输入编码比特流输入到解析单元303，并且将包括切片区域的尺寸和代表对运动预测的约束的标志的参数输出到提取单元301。将输入编码比特流和解析的参数输入到提取单元301，并且输出比特流的一部分。然后，将部分比特流和解析的参数输入到可选的头部重写单元302，并且输出在头部中包含修改的参数的比特流。

接下来给出关于如上所述的视频解码装置200的操作的描述。

实施例（III）：解码流程图：

图10是表示本发明第三实施例中的视频/图像解码装置200的解码方法/步骤的操作序列的流程图（S1000）。

在步骤S1002，从视频流的头部中解析对于图片的宽度参数和高度参数。图片宽度和高度参数可以位于序列参数集合中。在步骤S1004，从视频流的头部中解析指示图片内的切片区域的数量的参数。然后，在步骤S1006，从视频流的头部中解析对于每一个切片区域的宽度参数和高度参数。并且在步骤S1008，在与不同切片区域中的块没有空间依赖性的情况下对切片区域中的块独立地进行解码和重构。并且最后在步骤S1010，以解码的切片为基础，通过将重构的切片区域放置在由它们的解析的宽度和高度参数以及解析的图片宽度和解析的图片高度定义的特定位置中，来对图片进行重构。按照光栅扫描顺序布置重构的切片以便填充由图片宽度和图片高度定义的矩形区域。

本发明的效果在于通过允许图片的并行处理来降低复杂性的形式。利用本发明，能够使用并行处理来对具有不同矩形尺寸的切片进行解码，并且通过按照光栅扫描顺序重新布置切片以便填充由图片宽度和高度定义的图片区域，能够重新创建图片。

实施例（IV）：解码流程图：

图11是表示本发明第四实施例中的视频/图像解码装置200的解码方法/步骤的操作序列的流程图（S1100）。

在步骤S1102，从视频流的头部中解析对于切片区域的宽度参数和高度参数。在步骤S1104，从视频流的头部中解析代表是否对于切片区域约束运动预测的决定的标志参数。然后在步骤S1106，做出判断以便确定解析的标志是否具有预定义值。如果判断解析的标志具有预定义值，则在可选的步骤S1108，将图片宽度参数和图片高度参数替换为解析的切片区域宽度和切片区域高度参数，并且将其重新写入视频流的头部。图片宽度和高度参数位于视频流的序列参数集合中。最后在步骤S1110，当判断解析的标志具有预定义值时，从视频流中提取编码的切片单元以便创建具有修改的头部的新的视频流。

本发明的效果在于添加新的功能以便允许在没有对输入的视频流进行解码的情况下从该视频流中提取子视频流，并且能够通过本发明的视频解码器对提取的视频流进行解码和重构的形式。

实施例（V）：解码流程图：

图12是表示本发明第五实施例中的视频/图像解码装置200的解码方法/步骤的操作序列的流程图（S1200）。

在步骤S1202，从视频流的头部中解析对于切片区域的宽度参数和高度参数。在步骤S1204，从视频流的头部中解析代表对于切片区域是否约束运动预测的决定的标志参数。然后在步骤S1206，做出判断以便确定解析的标志是否具有预定义值。如果判断解析的标志具有预定义值，则在步骤S1208，使用对于部分重构的参照图片的图片间预测来对切片单元进行解码，并且在步骤S1210，显示仅包括解码的切片区域的重构图片的一部分。

回到步骤S1206，如果判断解析的标志不具有预定义值，则在步骤S1212，使用对于完全重构的参照图片的图片间预测来对切片单元进行解码，并且然后，在步骤S1214，显示包括属于该图片的所有解码的切片单元的图片。在本发明的另一个可能实施例中，返回到步骤S1206，如果判断解析的标志不具有预定义值，则跳过步骤S1212和步骤S1214，并且将不对切片单元进行解码。

本发明的效果在于允许视频解码器执行视频流的部分解码以便降低复杂性或者在不要求对剩余的区域进行解码的情况下仅显示该图片的区域的附加的解码灵活性的形式。

[实施例2]

通过将用于实现在上述每一个实施例中描述的运动图片编码方法（图像编码方法）和运动图片解码方法（图像解码方法）的程序记录在存储介质中，能够将在上述每一个实施例中描述的处理简单地实现在独立的计算机系统中。所述存储介质是只要能够记录程序的任何存储介质，例如磁盘、光盘、光磁盘、IC卡和半导体存储器。

以下将描述在上述每一个实施例中描述的运动图片编码方法（图像编码方法）和运动图片解码方法（图像解码方法）以及使用其的系统的应用。所述系统具有如下特征：具有包括使用所述图像编码方法的图像编码装置和使用所述图像解码方法的图像解码装置的图像编码和解码装置。可以取决于情况而适当地改变系统中的其它配置。

图14说明了用于实现内容分发服务的内容提供系统ex100的整体配置。将用于提供通信服务的区域划分为具有期望尺寸的单元，并且在每一个单元中放置作为固定无线站的基站ex106、ex107、ex108、ex109和ex110。

所述内容提供系统ex100经由互联网ex101、互联网服务提供商ex102、电话网络ex104和基站ex106到ex110分别连接到诸如计算机ex111、个人数字助理（PDA）ex112、照相机ex113、蜂窝电话ex114和游戏机ex115的设备。

然而，内容提供系统ex100的配置并不局限于图14所示的配置，并且其中连接任何要素的组合是可接受的。此外，每一个设备可以直接连接到电话网络ex104，而不是经由作为固定无线站的基站ex106到ex110。而且，也可以经由短距离无线通信等等将设备彼此互连。

诸如数码摄像机的照相机ex113能够拍摄视频。诸如数码相机的照相机ex116能够拍摄静止图像和视频。而且，蜂窝电话ex114可以是满足任何标准的设备，这些标准例如是全球移动通信系统（GSM）（注册商标）、码分多址（CDMA）、宽带码分多址（W-CDMA）、长期演进（LTE）和高速分组接入（HSPA）。或者，蜂窝电话ex114可以是个人手持电话系统（PHS）。

在内容提供系统ex100中，经由电话网络ex104和基站ex109将流媒体服务器ex103连接到照相机ex113，这能够进行现场显示的图像等等的分发。在这样的分发中，按照上面在每一个实施例中描述的那样对由使用照相机ex113的用户拍摄的内容（例如音乐会现场的视频）进行编码（即，照相机起根据本发明方面的图像编码装置的作用），并且将编码的内容传输到流媒体服务器ex103。另一方面，流媒体服务器ex103将传输的内容数据根据客户端的请求而向客户端执行流分发。所述客户端包括能够对上述编码数据进行解码的计算机ex111、PDA ex112、照相机ex113、蜂窝电话ex114和游戏机ex115。接收到分发的数据的每一个设备对该编码数据进行解码和再现（即，起根据本发明方面的图像解码装置的作用）。

可以通过照相机ex113或传输数据的流媒体服务器ex103对拍摄的数据进行编码，或者所述编码处理可以在照相机ex113和流媒体服务器ex103之间共享。类似地，可以通过客户端或流媒体服务器ex103解码分发的数据，或者所述解码处理可以在客户端和流媒体服务器ex103之间共享。而且，可以将不仅由照相机ex113而且由照相机ex116拍摄的静止图像和视频的数据经过计算机ex111传输到流媒体服务器ex103。所述编码处理可以通过照相机ex116、计算机ex111或流媒体服务器ex103执行，或者可以在它们之间共享。

并且，可以由通常包括在每一个计算机ex111和所述设备中的LSIex500执行所述编码解码处理。LSI ex500可以配置有单个芯片或多个芯片。可以将用于对视频进行编码和解码的软件集成到能够由计算机ex111等等读取的某一类型的记录介质（例如CD-ROM、软盘、硬盘）中，并且可以使用所述软件执行编码和解码处理。而且，当蜂窝电话ex114配备有照相机时，可以传输通过所述照相机获得的视频数据。视频数据是由包括在蜂窝电话ex114中的LSI ex500解码的数据。

而且，流媒体服务器ex103可以由服务器和计算机组成，并且可以使数据分散且处理分散的数据、记录或者分发数据。

如上所述，客户端可以在内容提供系统ex100中接收并且再现编码数据。换句话说，在内容提供系统ex100中，客户端能够接收和解码由用户传输的信息，并且实时地再现解码的数据，以使得不具有任何特定权利和设备的用户能够实现个人广播。

除了内容提供系统ex100的示例之外，可以在图15中说明的数字广播系统ex200中实现在每一个实施例中描述的运动图片编码装置（图像编码装置）和运动图片解码装置（图像解码装置）中的至少一个。更具体地说，广播站ex201经由无线电波将通过将音频数据等等复用到视频数据上获得的复用数据通信或者传输到广播卫星ex202。该视频数据是通过在每一个实施例中描述的运动图片编码方法进行编码的数据（即，由根据本发明方面的图像编码装置进行编码的数据）。在接收到该复用数据时，广播卫星ex202发射无线电波用于广播。然后，具有卫星广播接收功能的家庭用天线ex204接收该无线电波。接下来，诸如电视机（接收机）ex300和机顶盒（STB）ex217的设备对接收的复用数据进行解码，并且再现解码数据（即，起根据本发明方面的图像解码装置的作用）。

而且，读取器/记录仪ex218（ⅰ）对记录在诸如DVD、BD等等的记录介质ex215上的复用数据进行读取和解码，或者（ⅱ）对记录介质ex215中的视频信号进行编码，并且在一些情况下，对通过将音频数据复用在编码数据上获得的数据进行写入。读取器/记录仪ex218能够包括在每一个实施例中示出的运动图片解码装置或运动图片编码装置。在这一情况下，可以将再现的视频信号显示在监视器ex219上，并且能够通过使用其上记录有复用数据的记录介质ex215的另一设备或系统来再现视频信号。也能够在连接到用于有线电视的线缆ex203或用于卫星和/或地面广播的天线ex204的机顶盒ex217中实现运动图片解码装置，以便在电视机ex300的监视器ex219上显示视频信号。可以不是在机顶盒中而是在电视机ex300中实现运动图片解码装置。

图16说明了使用在每一个实施例中描述的运动图片编码方法和运动图片解码方法的电视机（接收机）ex300。电视机ex300包括：获得或者提供通过经由接收广播的天线ex204或线缆ex203将音频数据复用到视频数据上获得的复用数据的调谐器ex301；解调接收的复用数据或者将数据调制为要被供应到外部的复用数据的调制/解调单元ex302；将调制的复用数据解复用为视频数据和音频数据或者将由信号处理单元ex306编码的视频数据和音频数据复用为数据的复用/解复用单元ex303。

电视机ex300进一步包括：包括分别对音频数据和视频数据进行解码并且对音频数据和视频数据进行编码的音频信号处理单元ex304和视频信号处理单元ex305的信号处理单元ex306（起根据本发明方面的图像编码装置和图像解码装置的作用）；以及包括提供解码音频信号的扬声器ex307和诸如显示器的显示解码视频信号的显示单元ex308的输出单元ex309。而且，电视机ex300包括具有接收用户操作的输入的操作输入单元ex312的接口单元ex317。而且，电视机ex300包括整体控制电视机ex300的每一个构成元件的控制单元ex310、向每一个元件供应功率的电源供应电路单元ex311。除了操作输入单元ex312，接口单元ex317还可以包括：连接到诸如读取器/记录仪ex218的外部设备的桥ex313；用于使能诸如SD卡的记录介质ex216的附接的插槽单元ex314；要被连接到诸如硬盘的外部记录介质的驱动器ex315；以及要被连接到电话网络的调制解调器ex316。这里，记录介质ex216能够使用用于存储的非易失性/易失性半导体存储元件来电气地记录信息。电视机ex300的构成元件经过同步总线彼此连接。

首先，将描述其中电视机ex300对经过天线ex204等等从外部获得的复用数据进行解码并且再现解码数据的配置。在电视机ex300中，当具有经远程控制器ex220等等的用户操作时，在包括CPU的控制单元ex310的控制下，复用/解复用单元ex303对由调制/解调单元ex302解调的复用数据进行解复用。而且，在电视机ex300中，使用在每一个实施例中描述的解码方法，音频信号处理单元ex304对解复用的音频数据进行解码，并且视频信号处理单元ex305对解复用的视频数据进行解码。输出单元ex309分别将解码的视频信号和音频信号提供到外部。当输出单元ex309提供视频信号和音频信号时，可以将这些信号临时存储在缓冲器ex318和ex319等等中，以使得彼此同步地再现这些信号。而且，电视机ex300可以不经过广播等等而是从诸如磁盘、光盘和SD卡的记录介质ex215和ex216来读取复用数据。接下来，将对其中电视机ex300对音频信号和视频信号进行编码并且将数据传输到外部或者将数据写入到记录介质的配置进行说明。在电视机ex300中，在具有经过远程控制器ex220等等的用户操作时，在控制单元ex310的控制下，使用在每一个实施例中描述的编码方法，音频信号处理单元ex304对音频信号进行编码，并且视频信号处理单元ex305对视频信号进行编码。复用/解复用单元ex303对编码的视频信号和音频信号进行复用，并且将产生的信号提供到外部。当复用/解复用单元ex303对视频信号和音频信号进行复用时，可以将这些信号临时存储在缓冲器ex320和ex321等等中，以使得能够彼此同步地再现这些信号。这里，缓冲器ex318、ex319、ex320、ex321可以如所说明的那样为多个，或者可以在电视机ex300中共享至少一个缓冲器。而且，可以将数据存储在缓冲器中，以使得能够例如在调制/解调单元ex302和复用/解复用单元ex303之间避免上溢和下溢。

而且，电视机ex300除了包括用于从广播或者记录介质获得音频和视频数据的配置之外，也可以包括用于接收从麦克风或照相机输入的AV的配置，并且可以对获得的数据进行编码。尽管在该描述中电视机ex300能够编码、复用并且提供外部数据，但是它也能够仅接收、解码和提供外部数据而不进行编码、复用和提供外部数据。

而且，当读取器/记录仪ex218从记录介质读取复用数据或者向记录介质写入复用数据时，电视机ex300和读取器/记录仪ex218中的一个可以对复用数据进行解码或编码，并且电视机ex300和读取器/记录仪ex218可以共享解码或编码。

作为示例，图17说明了当从光盘读取数据或向光盘写入数据时信息再现/记录单元ex400的配置。信息再现/记录单元ex400包括以下要进行描述的构成要素ex401、ex402、ex403、ex404、ex405、ex406和ex407。光学头ex401在作为光盘的记录介质ex215的记录表面中照射激光斑以便写入信息，并且检测来自记录介质ex215的记录表面的反射光以便读取信息。调制记录单元ex402电气地驱动包括在光学头ex401中的半导体激光器，并且根据记录数据来调制激光。再现解调单元ex403使用包括在光学头ex401中的光检测器放大通过电气地检测来自记录表面的反射光获得的再现信号，并且通过分离记录在记录介质ex215上的信号分量来解调再现信号，以便再现必要信息。缓冲器ex404临时保持要被记录在记录介质ex215上的信息以及从记录介质ex215再现的信息。盘马达ex405使记录介质ex215旋转。伺服控制单元ex406在控制盘马达ex405的旋转驱动的同时使光学头ex401移动到预定的信息轨道，以便追踪激光斑。系统控制单元ex407整体控制信息再现/记录单元ex400。通过使用存储在缓冲器ex404中的各种信息并且根据需要生成且添加新信息的系统控制单元ex407，并且通过在按照协调的方式进行操作的同时经过光学头ex401记录并且再现信息的调制记录单元ex402、再现解调单元ex403和伺服控制单元ex406，能够实现读取和写入处理。系统控制单元ex407例如包括微处理器，并且通过使计算机执行用于读取和写入的程序来执行处理。

尽管在该描述中所述光学头ex401照射激光斑，但是也可以使用近场光来执行高密度记录。

图18说明了作为光盘的记录介质ex215。在记录介质ex215的记录表面上，以螺旋状形成导引槽，并且信息轨道ex230根据导引槽形状的改变提前记录指示在该盘上的绝对位置的地址信息。该地址信息包括用于确定作为用于记录数据的单元的记录块ex231的位置的信息。在记录和再现数据的装置中再现信息轨道ex230并且读取地址信息可以导致记录块位置的确定。而且，记录介质ex215包括数据记录区域ex233、内周区域ex232和外周区域ex234。数据记录区域ex233是用于在记录用户数据时使用的区域。分别位于所述数据记录区域ex233内侧和外侧的内周区域ex232和外周区域ex234用于除了记录用户数据之外的特定用途。所述信息再现/记录单元400从记录介质ex215的数据记录区域ex233读取编码的音频、编码的视频数据或通过复用编码的音频和视频数据获得的复用数据并且将该编码的音频、编码的视频数据或通过复用编码的音频和视频数据获得的复用数据写入该记录介质ex215的数据记录区域ex233。

尽管在说明中作为示例描述了具有层状的光盘，例如DVD和BD，但是所述光盘并不局限于这些，并且可以是具有多层结构且能够在表面以外的部分上进行记录的光盘。而且，光盘可以具有用于多维记录/再现的结构，例如在光盘的相同部分中使用具有不同波长的颜色的光的信息的记录，以及从各种角度记录具有不同层的信息。

而且，在数字广播系统ex200中，具有天线ex205的车辆ex210能够从卫星ex202等等接收数据，并且在诸如设置在车辆ex210内的车辆导航系统ex211的显示设备上再现视频。这里，车辆导航系统ex211的配置可以例如是包括来自图16中说明的配置的GPS接收单元的配置。对于具有计算机ex111、蜂窝电话ex114等等的配置，也是如此。

图19A说明了使用在上述实施例中描述的运动图片编码方法和运动图片解码方法的蜂窝电话ex114。蜂窝电话ex114包括：用于经过基站ex110发射和接收无线电波的天线ex350；能够拍摄运动和静止图像的照相机单元ex365；以及例如用于显示诸如由照相机单元ex365拍摄的或由天线ex350接收的解码的视频的液晶显示器的显示单元ex358。蜂窝电话ex114进一步包括：包括操作键单元ex366的主体单元；用于输出音频的诸如扬声器的音频输出单元ex357；用于输入音频的诸如麦克风的音频输入单元ex356；用于存储拍摄的视频或静止图片，记录的音频，接收的视频的编码或解码数据、静止图片、电子邮件等等的存储器单元ex367；以及作为用于按照存储器单元ex367相同方式存储数据的记录介质的接口单元的插槽单元ex364。

接下来，将参照图19B描述蜂窝电话ex114的配置的示例。在蜂窝电话ex114中，设计为总体控制包括显示单元ex358以及操作键单元ex366的主体的每一个单元的主控制单元ex360，经由同步总线ex370共同连接到电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、照相机接口单元ex363、液晶显示器（LCD）控制单元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、插槽单元ex364和存储器单元ex367。

当通过用户的操作开启通话结束键或者电源键时，电源电路单元ex361从电池组向各自单元供应功率以便激活蜂窝电话ex114。

在蜂窝电话ex114中，在包括CPU、ROM和RAM的主控制单元ex360的控制下，音频信号处理单元ex354将在语音通话模式中由音频输入单元ex356收集的音频信号转换为数字音频信号。然后，调制/解调单元ex352对所述数字音频信号执行扩频处理，并且发射和接收单元ex351对数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。并且，在蜂窝电话ex114中，发射和接收单元ex351放大在语音通话模式中由天线ex350接收的数据并对所述数据执行频率变换和数模转换。然后，所述调制/解调单元ex352对所述数据执行逆扩频处理，并且所述音频信号处理单元ex354将该数据转换为模拟音频信号，以便经由音频输出单元ex357将其输出。

而且，当在数据通信模式下发送电子邮件时，将通过操作主体的操作键单元ex366等等输入的电子邮件的文本数据经由操作输入控制单元ex362发送出到主控制单元ex360。主控制单元ex360使调制/解调单元ex352对该文本数据执行扩频处理，并且发射和接收单元ex351对产生的数据执行数模转换和频率变换，以便经由天线ex350向基站ex110发射数据。当接收到电子邮件时，对接收的数据执行与上述用于发送电子邮件的处理近似为逆的处理，并且将产生的数据提供到显示单元ex358。

当发射视频、静止图像、或者数据通信模式中的视频和音频时，视频信号处理单元ex355使用在每一个实施例中示出的运动图片编码方法对从照相机单元ex365供应的视频信号进行压缩和编码，并且将编码的视频数据发射到复用/解复用单元ex353。相反地，在照相机单元ex365拍摄视频、静止图像等等期间，音频信号处理单元ex354对由音频输入单元ex356收集的音频信号进行编码，并将编码的音频数据发射到复用/解复用单元ex353。

所述复用/解复用单元ex353使用预定的方法，对从视频信号处理单元ex355供应的编码的视频数据和从音频信号处理单元ex354供应的编码的音频数据进行复用。然后，调制/解调单元（调制/解调电路单元）ex352对复用数据执行扩频处理，并且发射和接收单元ex351对该数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。

当在数据通信模式下接收到具有链接到网页等等的视频文件的数据时，或者当接收到附加有视频和/或音频的电子邮件时，为了对经由天线ex350接收的复用数据进行解码，复用/解复用单元ex353将复用数据解复用为视频数据比特流和音频数据比特流，并且经过同步总线ex370为视频信号处理单元ex355供应编码的视频数据且为音频信号处理单元ex354供应编码的音频数据。所述视频信号处理单元ex355使用在每一个实施例中示出的与运动图片编码方法相对应的运动图片解码方法来对视频信号进行解码（即，起根据本发明方面的图像解码装置的作用），并且然后，所述显示单元ex358例如经由LCD控制单元ex359显示包括在链接到网页的视频文件中的视频和静止图像。而且，所述音频信号处理单元ex354对音频信号进行解码，并且所述音频输出单元ex357提供音频。

而且，与电视机ex300类似，诸如蜂窝电话ex114的终端可能具有三种类型的实现配置，不仅包括（ⅰ）包括编码装置和解码装置二者的发射和接收终端，还包括（ⅱ）仅包括编码装置的发射终端以及（ⅲ）仅包括解码装置的接收终端。尽管在该描述中数字广播用系统ex200接收和发射通过将音频数据复用到视频数据上获得的复用数据，但是复用数据可以是通过将与视频相关的字符数据而非音频数据复用到视频数据上获得的数据，并且也可以不是复用数据而是视频数据本身。

这样，可以在所描述的任意设备和系统中使用每一个实施例中的运动图片编码方法和运动图片解码方法。因而，能够获得在每一个实施例中描述的优点。

而且，本发明并不局限于上述每一个实施例，并且能够对本发明的任意实施例做出各种变型或修改。

[实施例3]

如果需要，可以通过在（i）在上述每一个实施例中示出的运动图片编码方法或运动图片编码装置与（ii）符合诸如MPEG-2、MPEG-4AVC和VC-1的不同标准的运动图片编码方法或运动图片编码装置之间进行切换来生成视频数据。

这里，当生成并且然后解码符合不同标准的多个视频数据时，需要选择解码方法以便符合不同的标准。然而，由于不能够检测要被解码的多个视频数据中的每一个符合哪个标准，因此存在不能够选择适当的解码方法的问题。

为了解决该问题，通过将音频数据等等复用到视频数据获得的复用数据具有包括指示该视频数据符合哪个标准的识别信息的结构。以下将描述包括通过在每一个实施例中示出的运动图片编码方法和运动图片编码装置中生成的视频数据的复用数据的具体结构。所述复用数据是MPEG-2传输流格式的数字流。

图20说明了复用数据的结构。如图20中说明的，能够通过复用视频流、音频流、演示图形流（PG）和交互图形流中的至少一个来获得复用数据。视频流代表电影的主视频和辅视频，音频流（IG）代表主音频部分和要与主音频部分混合的辅音频部分，并且演示图形流代表电影的字幕。这里，主视频是要在屏幕上显示的正常视频，并且辅视频是要在主视频中的较小窗口上显示的视频。而且，交互图形流代表通过在屏幕上布置GUI部件生成的交互屏幕。通过在每一个实施例中示出的运动图片编码方法或运动图片编码装置或者通过符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准的运动图片编码方法或运动图片编码装置来对视频流进行编码。根据诸如杜比AC-3、杜比数字+、MLP、DTS、DTS-HD和线性PCM的标准对音频流进行编码。

包括在复用数据中的每一个媒体流由PID进行识别。例如，将0x1011分配到要用于电影的视频的视频流，将0x1100到0x111F分配到音频流，将0x1200到0x121F分配到演示图形流，将0x1400到0x141F分配到交互图形流，将0x1B00到0x1B1F分配到要用于电影的辅视频的视频流，并且将0x1A00到0x1A1F分配到要用于与主音频混合的辅音频的音频流。

图21示意性说明了如何复用数据。首先，将由视频帧构成的视频流ex235和由音频帧构成的音频流ex238分别变换为PES分组流ex236和PES分组流ex239，并且进一步地分别变换为TS分组ex237和TS分组ex240。类似地，将演示图形流ex241的数据和交互图形流ex244的数据分别变换为PES分组流ex242和PES分组流ex245，并且进一步地分别变换为TS分组ex243和TS分组ex246。将这些TS分组复用为流以便获得复用数据ex247。

图22更加详细地说明了如何将视频流存储在PES分组流中。图22中的第一条形示出了视频流中的视频帧流。第2条形示出了PES分组流。如图22中的箭头yy1、yy2、yy3和yy4所指示的，将视频流划分为分别作为视频演示单元的I-图片、B-图片和P-图片的图片，并且将这些图片保存在每一个PES分组的有效载荷中。每一个PES分组具有PES头部，并且所述PES头部存储指示图片的显示时间的演示时间戳（PTS）以及指示图片的解码时间的解码时间戳（DTS）。

图23说明了要被最终写入在复用数据上的TS分组的格式。每一个TS分组是包括具有诸如用于识别流的PID的信息的4字节TS头部和用于存储数据的184字节TS有效载荷的188字节固定长度分组。所述PES分组分别被划分并且存储在TS有效载荷中。当使用BD ROM时，对每一个TS分组给出4字节TP_Extra_Header，因而产生192字节源分组。将源分组写入在复用数据上。TP_Extra_Header存储诸如ATS（Arrival_Time_Stamp）的信息。ATS表示要将每一个TS分组传送到PID滤波器的传送开始时间。如图23的下部示出的，在复用数据中布置源分组。将从复用数据的头部开始递增的号码称为源分组号码（SPN）。

包括在复用数据中的每一个TS分组不仅包括视频、音频、字幕等等的流，而且还包括程序关联表（PAT）、程序映射表（PMT）以及程序时钟参考（PCR）。PAT表示在复用数据中使用的PMT中的PID指示什么，并且PAT自身的PID被登记为0。PMT存储包括在复用数据中的视频、音频、字幕等等的流的PID以及与PID相对应的流的属性信息。PMT还具有与复用数据相关的各种描述。描述具有诸如表示是否允许复用数据的拷贝的拷贝控制信息的信息。PCR存储与ATS相对应的表示何时将PCR分组传送到解码器的STC时间信息，以便实现作为ATS的时间轴的到达时间时钟（ATC）与作为PTS和DTS的时间轴的系统时间时钟（STC）之间的同步。

图24详细地说明了PMT的数据结构。将PMT头部布置在该PMT的顶部处。PMT头部描述了包括在该PMT中的数据长度等等。在PMT头部之后布置有与复用数据相关的多个描述符。在该描述符中描述了诸如拷贝控制信息的信息。在描述符之后布置有与包括在复用数据中的流相关的多条流信息。每一条流信息包括流描述符，每一个流描述符描述诸如用于识别流的压缩编解码器的流类型、流PID和流属性信息（例如帧速率或宽高比）的信息。所述流描述符在数量上与复用数据中的流的数量相等。

当将复用数据记录到记录介质等等上时，将上述复用数据与复用数据信息文件一起进行记录。

每一个复用数据信息文件是如图25所示的复用数据的管理信息。复用数据信息文件与复用数据一对一地对应，并且每一个文件包括复用数据信息、流属性信息以及条目地图。

如图25中说明的，复用数据信息包括系统速率、再现开始时间和再现结束时间。系统速率指示后面将描述的系统目标解码器向PID滤波器传送复用数据的最大传送速率。将包括在复用数据中的ATS的间隔设置为不高于系统速率。再现开始时间指示在复用数据的头部处视频帧中的PTS。向位于复用数据末端的视频帧中的PTS添加一个帧的间隔，并且将PTS设置为再现结束时间。

如图26所示，对于包括在复用数据中的每一个流的每一个PID，在流属性信息中登记一条属性信息。取决于相对应的流是视频流、音频流、演示图形流或交互图形流，每一条属性信息具有不同的信息。每一条视频流属性信息携带有包括使用何种压缩编解码器对视频流进行压缩、分辨率、宽高比以及包括在视频流中的多段图片数据的帧速率的信息。每一条音频流属性信息携带有包括使用何种压缩编解码器对音频流进行压缩、音频流中包括多少信道、音频流支持哪种语言以及采样频率是多高的信息。所述视频流属性信息和所述音频流属性信息用于在播放器重放信息之前解码器的初始化。

在当前实施例中，要被使用的复用数据具有包括在PMT中的流类型。而且，当在记录介质上记录复用数据时，使用包括在复用数据信息中的视频流属性信息。具体而言，在每一个实施例中描述的运动图片编码方法或运动图片编码装置包括如下步骤或单元，该步骤或单元用于将指示由每一个实施例中的运动图片编码方法或者运动图片编码装置生成的视频数据的唯一信息分配到包括在PMT中的流类型或视频流属性信息。利用该配置，能够将通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据与符合另一标准的视频数据区分开。

而且，图27说明了根据当前实施例的运动图片解码方法的步骤。在步骤exS100中，从复用数据获得包括在PMT中的流类型或者包括在复用数据信息中的视频流属性信息。接下来，在步骤exS101中，确定该流类型或视频流属性信息是否指示该复用数据通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成。当确定该流类型或视频流属性信息指示复用数据通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成时，在步骤exS102中，通过在上述各实施例中描述的运动图片解码方法进行解码。而且，当该流类型或视频流属性信息指示符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时，在步骤exS103中，通过符合传统标准的运动图片解码方法执行解码。

这样，通过向流类型或者视频流属性信息分配新的唯一值，能够确定在上述各实施例中描述的运动图片解码方法或运动图片解码装置是否能够执行解码。甚至当输入符合不同标准的复用数据时，也能够选择适当的解码方法或装置。因而，能够没有任何误差地对信息进行解码。而且，可以在上述的设备和系统中使用当前实施例中的运动图片编码方法或装置、或者运动图片解码方法或装置。

[实施例4]

典型地按照集成电路或大规模集成（LSI）电路的形式实现在上述各实施例中描述的运动图片编码方法、运动图片编码装置、运动图片解码方法和运动图片解码装置。作为所述LSI的示例，图28说明了被制造在一个芯片中的LSI ex500的配置。LSI ex500包括要在下面描述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508和ex509，并且所述元件经过总线ex510彼此连接。当电源电路单元ex505接通时，通过对每一个元件供应功率来激活电源电路单元ex505。

例如，当执行编码时，在包括CPU ex502、存储器控制器ex503、流控制器ex504和驱动频率控制单元ex512的控制单元ex501的控制下，所述LSI ex500经过AV I/O ex509接收从麦克风ex117和照相机ex113等等输入的AV信号。接收到的AV信号被临时存储在诸如SDRAM的外部存储器ex511中。在控制单元ex501的控制下，根据处理量以及要传输到信号处理单元ex507的速度，将存储的数据分段为数据部分。然后，信号处理单元ex507对音频信号和/或视频信号进行编码。这里，视频信号的编码是在上述各实施例中描述的编码。而且，所述信号处理单元ex507有时对编码的音频数据和编码的视频数据进行复用，并且流I/O ex506将复用数据提供到外部。将该提供的复用数据传输到基站ex107，或者写入记录介质ex215。当复用数据集合时，可以将数据临时存储在缓冲器ex508中以使得数据集合彼此同步。

尽管存储器ex511是位于LSI ex500外部的元件，但是也可以将其包括在LSI ex500中。缓冲器ex508也并不局限于一个缓冲器，而是可以由多个缓冲器组成。而且，可以将LSI ex500制造在一个芯片或者多个芯片中。

而且，尽管控制单元ex510包括CPU ex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512，但是控制单元ex510的配置并不局限于此。例如，信号处理单元ex507可以进一步包括CPU。在信号处理单元ex507中包括另一CPU能够提高处理速度。而且，作为另一示例，CPU ex502可以用作信号处理单元ex507或者作为信号处理单元ex507的一部分，并且例如，CPU ex502可以包括音频信号处理单元。在这样的情况下，控制单元ex501包括信号处理单元ex507或者包括具有信号处理单元ex507一部分的CPU ex502。

这里使用的名称为LSI，但是取决于集成度，也可以将其称作IC、系统LSI、超级LSI或特级LSI。

而且，实现集成的方式并不局限于LSI，并且专用电路或通用处理器等等也可以实现集成。能够在LSI制造之后进行编程的现场可编程门阵列（FPGA）或者允许LSI的连接或配置的重新配置的可配置处理器能够用于相同目的。

未来，随着半导体技术的发展，新生技术可能替代LSI。可以使用这样的技术来集成功能方框。本发明有可能应用于生物技术。

[实施例5]

与当对符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准的视频数据进行解码时相比较，当对通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据进行解码时，处理量可能会增加。因而，需要将LSI ex500设置到比在对符合传统标准的视频数据进行解码时使用的CPU ex502的驱动频率更高的驱动频率。然而，当将驱动频率设置得较高时，存在功耗增加的问题。

为了解决该问题，诸如电视机ex300和LSI ex500的运动图片解码装置配置为确定视频数据符合哪个标准，并且根据确定的标准在驱动频率之间进行切换。图29说明了当前实施例中的配置ex800。当通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成视频数据时，驱动频率切换单元ex803将驱动频率设置为较高驱动频率。然后，驱动频率切换单元ex803指导执行在上述各实施例中描述的运动图片解码方法的解码处理单元ex801对视频数据进行解码。当视频数据符合传统标准时，驱动频率切换单元ex803将驱动频率设置为比通过在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据的驱动频率更低的驱动频率。然后，驱动频率切换单元ex803指导符合传统标准的解码处理单元ex802对视频数据进行解码。

更具体地，驱动频率切换单元ex803包括图28所示的CPU ex502和驱动频率控制单元ex512。这里，执行在上述各实施例中描述的运动图片解码方法的解码处理单元ex801以及符合传统标准的解码处理单元ex802中的每一个与图28中的信号处理单元ex507相对应。CPU ex502确定视频数据符合哪个标准。然后，驱动频率控制单元ex512以来自CPU ex502的信号为基础来确定驱动频率。而且，信号处理单元ex507以来自CPU ex502的信号为基础来对视频数据进行解码。例如，在实施例3中描述的识别信息可能用于识别视频数据。识别信息并不局限于在实施例3中描述的信息，而是可以是只要能够指示视频数据符合哪个标准的任何信息。例如，当以用于确定视频数据用于电视机或者盘等等的外部信号为基础来确定视频数据符合哪个标准时，可以以这样的外部信号为基础来进行确定。而且，CPU ex502例如以查找表为基础来选择驱动频率，如图31所示，在查找表中，将视频数据的标准与驱动频率相关联。可以通过将查找表存储在缓冲器ex508中和LSI的内部存储器中，并且通过CPU ex502参照该查找表，来选择驱动频率。

图30说明了用于执行当前实施例的方法的步骤。首先，在步骤exS200中，信号处理单元ex507从复用数据中获得识别信息。接下来，在步骤exS201中，以该识别信息为基础，CPU ex502确定视频数据是否由在上述各实施例中描述的编码方法和编码装置生成。当视频数据由在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成时，在步骤exS202中，CPUex502发送将用于将驱动频率设置到较高驱动频率的信号传输到驱动频率控制单元ex512。然后，驱动频率控制单元ex512将驱动频率设置到较高驱动频率。另一方面，当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时，在步骤exS203中，CPU ex502将用于将驱动频率设置到较低驱动频率的信号传输到驱动频率控制单元ex512。然后，与由在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据的情况相比较，驱动频率控制单元ex512将驱动频率设置到较低驱动频率。

而且，随着驱动频率的切换，通过改变要施加到LSI ex500或包括LSI ex500的装置的电压来提高节电效果。例如，当将驱动频率设置得较低时，与将驱动频率设置得较高的情况相比，将对LSI ex500或包括LSI ex500的装置施加的电压设定得更低。

而且，作为用于设置驱动频率的方法，当用于解码的处理量较大时，可以将驱动频率设置得较高，并且当用于解码的处理量较小时，可以将驱动频率设定得较低。因而，设置方法并不局限于上述的设置方法。例如，当用于对符合MPEG-4AVC的视频数据进行解码的处理量大于用于对由在上述各实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据进行解码的处理量时，与上述的情况相反地设置驱动频率。

而且，用于设置驱动频率的方法并不局限于用于将驱动频率设置得更低的方法。例如，当识别信息指示通过在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，可以将施加到LSI ex500或包括LSI ex500的装置的电压设置得更高。当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时，可以将施加到LSI ex500或包括LSI ex500的装置的电压设置得更低。作为另一示例，当识别信息指示通过在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，可能不必暂停CPU ex502的驱动。当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时，由于CPU ex502具有额外的处理能力，因此可能在给定时间暂停CPU ex502的驱动。即使当识别信息指示通过在上述各实施例中描述的运动图片编码方法和运动图片编码装置生成视频数据时，在CPU ex502具有额外处理能力的情况下，也可能在给定时间暂停CPU ex502的驱动。在这样的情况下，与当识别信息指示视频数据符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准时的情况相比较，可以将暂停时间设置得较短。

因此，通过根据视频数据符合的标准来切换驱动频率，能够提高节电效果。并且，当使用电池来驱动LSI ex500或包括LSI ex500的装置时，能够随着节电效果而延长电池的寿命。

[实施例6]

存在将符合不同标准的多个数据提供到诸如电视机和蜂窝电话的设备和系统的情况。为了能够对符合不同标准的多个视频数据进行解码，LSI ex500的信号处理单元ex507需要符合不同的标准。然而，随着符合各自标准的信号处理单元ex507的单独使用，会产生增加LSI ex500的电路规模以及增加成本的问题。

为了解决该问题，设想一种其中部分地共享用于实现在上述各实施例中描述的运动图片解码方法的解码处理单元和符合诸如MPEG-2、MPEG-4AVC和VC-1的传统标准的解码处理单元的配置。图32A中的ex900表示该配置的示例。例如，在上述各实施例中描述的运动图片解码方法与符合MPEG-4AVC的运动图片解码方法部分共同地具有诸如熵编码、逆量化、解块滤波器和运动补偿预测的处理细节。要被共享的处理细节可能包括符合MPEG-4AVC的解码处理单元ex902的使用。相反，专用解码处理单元ex901可以用于对于本发明一个方面唯一的其它处理。尤其是，由于本发明的方面例如以帧存储器控制为特征，因此，专用解码处理单元ex901用于帧存储器控制。否则，可能对于熵解码、解块滤波器和运动补偿中的一个或者处理的全部来共享解码处理单元。对于要被共享的处理，可以共享在上述各实施例中描述的运动图片解码方法，并且专用的解码处理单元可以用于MPEG-4AVC特有的处理。

而且，图32B中的ex1000表示将部分地共享处理的另一示例。这一示例使用包括支持对于本发明的一个方面特有的处理的专用解码处理单元ex1001、支持对于另一传统标准特有的处理的专用解码处理单元ex1002以及支持要在根据本发明一个方面的运动图片解码方法和传统的运动图片解码方法之间共享的处理的解码处理单元ex1003的配置。这里，专用解码处理单元ex1001和ex1002不必分别地专用于根据本发明一个方面的处理和所述具有传统标准的处理，并且可以是能够实现通用处理的解码处理单元。并且，也能够通过LSI ex500实现当前实施例的配置。

这样，通过共享用于要在根据本发明一个方面的运动图片解码方法和符合传统标准的运动图片解码方法之间共享的处理的解码处理单元，能够减小LSI的电路规模并且降低成本。

[产业上的可用性]

根据本发明的用于对视频进行编码和解码的方法具有提高编码效率的优点。例如，所述方法可以应用于视频照相机、移动电话和个人计算机。

[标号说明]

100 视频编码装置

101 变换单元

102 量化单元

103 逆量化单元

104 逆变换单元

105 块存储器

106 帧存储器

107 内预测单元

108 间预测单元

109 熵编码

110 切片划分单元

111 写入单元

200 视频解码装置

201 熵解码单元

202 逆量化单元

203 逆变换单元

204 块存储器

205 帧存储器

206 内预测单元

207 间预测单元

208 子比特流提取器单元

Claims

1.一种使用切片编码方案对视频进行编码的方法，包括：

将图像划分为多个切片；

将代表所述多个切片的数量的参数写入视频流的头部；

将代表所述图片内的每一个切片区域的单独的宽度参数和单独的高度参数的参数写入所述视频流的头部；

在与其它切片不具有空间依赖性的情况下将每一个切片区域独立地编码到编码的切片单元中；并且

按照一顺序将所述编码的切片单元写入单个视频流，所述顺序以按照光栅扫描顺序扫描的切片区域在图片内的位置为基础。

2.一种使用切片编码方案对视频进行编码的方法，包括：

将图像划分为多个切片；

将多个标志写入视频流的头部，其中，每一个标志代表是否对于每一个切片单元约束运动预测的决定；

判断所述标志是否具有预定义值；

其中，如果所述标志具有预定义值，

则在对要在参照图片的相同切片区域内执行的运动预测具有约束的情况下对切片进行编码；并且

其中，如果所述标志不具有预定义值，

则在对要在参照图片的相同切片区域内执行的运动预测不具有约束的情况下对切片进行编码。

3.一种使用切片编码方案对视频进行解码的方法，包括：

从视频流的头部中解析图片宽度参数和图片高度参数；

从视频流的头部中解析代表图片内的切片区域的数量的参数；

从所述视频流的头部中解析代表所述图片内的每一个切片区域的单独的宽度参数和单独的高度参数的参数；

在与其它切片单元中的块不具有空间依赖性的情况下独立地对切片单元中的块进行解码；并且

通过按照光栅扫描顺序布置解码的切片以便填充通过解析的图片宽度和图片高度定义的矩形区域，从而创建图片。

4.一种使用切片编码方案提取视频的方法，包括：

从视频流的头部中解析代表图片内的切片区域的单独的宽度参数和单独的高度参数的参数；

从视频流的头部中解析标志，其中，所述标志代表是否对于切片单元约束运动预测的决定；

判断所述标志是否具有预定义值；

其中，如果所述标志具有预定义值，

则通过分别地将图片宽度参数和图片高度参数的值替换为解析的切片区域宽度和切片区域高度参数，来修改视频流的头部中的图片宽度参数和图片高度参数；并且

从所述视频流中提取编码的切片单元以便创建新的视频流，其中，所述新的视频流包含具有修改的图片宽度和图片高度参数的头部。

5.一种使用切片编码方案对视频进行解码的方法，包括：

判断所述标志是否具有预定义值；

其中，如果所述标志具有预定义值，

则使用对于部分重构的参照图片的图片间预测来对所述切片单元进行解码；

仅显示所述图片的解码的切片区域；

其中，如果所述标志不具有预定义值，

则使用对于完全重构的参照图片的图片间预测来对所述切片单元进行解码；

显示包括解码的切片区域的整个图片。

6.一种使用切片编码方案的视频比特流编码装置，包括：

用于将图像划分为多个切片的划分单元；

用于将代表所述多个切片的数量的参数写入视频流的头部的写入单元；

用于将代表所述图片内的每一个切片区域的单独的宽度参数和单独的高度参数的参数写入所述视频流的头部的写入单元；

用于在与其它切片不具有空间依赖性的情况下将每一个切片区域编码到编码的切片单元中的编码单元；以及

用于按照一顺序将所述编码的切片单元写入单个视频流的写入单元，所述顺序以按照光栅扫描顺序扫描的切片区域在图片内的位置为基础。

7.一种使用切片编码方案的视频比特流编码装置，包括：

用于将图像划分为多个切片的划分单元；

用于将多个标志写入视频流的头部的写入单元，其中，每一个标志代表对于每一个切片单元是否约束运动预测的决定；

用于判断所述标志是否具有预定义值的判断单元；

其中，如果所述标志具有预定义值，

则用于在对要在所述参照图片的相同切片区域内执行的运动预测具有约束的情况下对切片进行编码的编码单元；以及

其中，如果所述标志不具有预定义值，

则用于在对要在所述参照图片的相同切片区域内执行的运动预测不具有约束的情况下对切片进行编码的编码单元。

8.一种使用切片编码方案的视频比特流解码装置，包括：

用于从视频流的头部中解析图片宽度参数和图片高度参数的解析单元；

用于从视频流的头部中解析代表图片内的切片区域的数量的参数的解析单元；

用于从所述视频流的头部中解析代表所述图片内的每一个切片区域的单独的宽度参数和单独的高度参数的参数的解析单元；

用于在与其它切片单元中的块没有空间依赖性的情况下对切片单元中的块独立地进行解码的解码单元；以及

用于通过按照光栅扫描顺序布置解码的切片以便填充通过解析的图片宽度和图片高度定义的矩形区域来创建图片的布置单元。

9.一种使用切片编码方案的视频比特流提取装置，包括：

用于从视频流的头部中解析代表图片内的切片区域的单独的宽度参数和单独的高度参数的参数的解析单元；

用于从视频流的头部中解析标志的解析单元，其中，所述标志代表对于切片单元是否约束运动预测的决定；

用于判断所述标志是否具有预定义值的判断单元；

其中，如果所述标志具有预定义值，

则用于通过分别地将图片宽度参数和图片高度参数的值替换为解析的切片区域宽度和切片区域高度参数来修改视频流的头部中的图片宽度参数和图片高度参数的修改单元；以及

用于从所述视频流中提取编码的切片单元以便创建新的视频流的提取单元，其中，所述新的视频流包含具有修改的图片宽度和图片高度参数的头部。

10.一种使用切片编码方案的视频比特流解码装置，包括：

用于判断所述标志是否具有预定义值的判断单元；

其中，如果所述标志具有预定义值，

则用于使用对于部分重构的参照图片的图片间预测对所述切片单元进行解码的解码单元；

用于仅显示所述图片的解码的切片区域的显示单元；

其中，如果所述标志不具有预定义值，

则用于使用对于完全重构的参照图片的图片间预测对所述切片单元进行解码的解码单元；

用于显示包括解码的切片区域的整个图片的显示单元。