CN102088599A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理设备和图像处理方法。该图像处理设备包括编码装置和发送装置，编码装置用于对形成立体图像的多视角图像的图像数据进行编码以生成编码流，发送装置用于将指示图像的解码结果的输出时间的输出时间信息仅连接到编码流中多视角图像中的任意一个的编码数据。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法，具体而言涉及当形成立体图像的多视角图像被复用和编码时能够在解码时识别多视角图像对的图像处理设备和图像处理方法。

背景技术

近年来，符合MPEG(运动图像专家组)方法等的设备正在广播台处的信息传递和家庭处的信息接收中变得普及，其中图像信息被视为数字信号并且利用图像信息专有的冗余性通过诸如离散余弦变换之类的正交变换和运动补偿被压缩，以高效地发送并累积信息。

即，编码器和解码器正变得普及，它们被用在通过诸如卫星广播、线缆TV和因特网之类的网络介质接收通过应用正交变换(例如离散余弦变换或Karhunen-Loeve变换)和运动补偿(例如MPEG和H.26x)的编码方法被压缩的图像信息(比特流)时，或者被用在处理诸如光盘/磁盘和闪存之类的存储介质上的图像信息时。

例如，MPEG2(ISO/IEC 13818-2)被定义为一种通用图像编码方法，其是一种覆盖隔行扫描图像(交织方法的图像)和逐行扫描图像(累进方法的图像)以及标准清晰度图像和高清晰度图像两者的标准，并且在当前被广泛用于专业用途和消费类用途的广阔应用。使用MPEG2压缩方法实现了高压缩速率和良好的图像质量，它是通过将4到8Mbps的代码量(比特率)分配给在水平×垂直方向上具有例如720×480像素的标准清晰度的隔行扫描图像、并将18到22Mbps的比特率分配给具有1920×1088像素的高清晰度的隔行扫描图像而实现的。

MPEG2定位于主要适合于广播的高图像质量，但是它不会对低于MPEG1(即，具有更高压缩速率的编码方法)的代码量(比特率)作出响应。根据便携式终端的发展，预期从现在开始对于这种编码方法的需要将日益增加，并且MPEG4编码方法的标准化被执行以响应于这种需要。关于图像编码方法，在1998年12月该标准被批准作为国际标准ISO/IEC 14496-2。

此外，AVC(MPEG-4第10部分，ISO/IEC 14496-10，ITU-T H.264)编码方法的标准化也在执行。该标准化是由一个被称为JVT(联合视频组)的组织推动的，其用于以彼此协作的方式实现ITU-T和ISO/IEC之间的图像编码方法的标准化。

AVC是以与MPEG2和MPEG4相同的方式将运动补偿与离散余弦变换相组合的混合编码方法。在AVC中，已知与诸如MPEG2和MPEG4之类的相关技术的编码方法相比，由于编码/解码需要大量的计算量，但是可以实现较高的编码效率。

随着近年来可以三维观看的立体图像的成像技术和显示技术的发展，不仅两维图像的内容而且立体图像的内容都被看作是作为上述编码目标的图像内容。形成立体图像的多视角图像的编码/解码方法例如在JP-A-2008-182669(专利文献1)中有所描述。

立体图像中具有最小数目的视点的图像是3D(3维)图像(立体图像)，其中视点的数目是2。3D图像的图像数据包括作为由左眼观察的图像的左眼图像(在下面的描述中也称为L(左)图像)的图像数据和作为由右眼观察的图像的右眼图像(在下面的描述中也称为R(右)图像)的图像数据。为了更容易进行说明，下面将利用具有两个视点的3D图像(其具有最小数目的视点)作为形成立体图像的多视角图像的示例。

发明内容

当3D图像的编码数据是通过在时间方向上复用形成3D图像的L图像和R图像(在下面的描述中称为LR对)并通过AVC编码方法进行编码而获得的比特流时，不同的DPB(解码图片缓冲器)输出时间信息(dpb_output_delay)被添加到形成LR对的L图像和R图像的编码数据。DPB输出时间信息是解码结果被从DPB输出时的时间信息。

因此，难以识别出LR对的编码数据由哪一图像的编码数据组成并且比特流中的哪一图像的编码数据被解码器解码。因此难以显示立体图像。

考虑到上述内容，希望当形成立体图像的多视角图像被复用和编码时能够在解码时识别多视角图像的对。

根据本发明的一个实施例，提供了一种图像处理设备，包括编码装置和发送装置，编码装置用于对形成立体图像的多视角图像的图像数据进行编码以生成编码流，发送装置用于将指示图像的解码结果的输出时间的输出时间信息仅连接到编码流中多视角图像中的任意一个的编码数据。

根据本发明一个实施例的图像编码方法对应于本发明一个实施例的图像处理设备。

在本发明的一个实施例中，对形成立体图像的多视角图像的图像数据进行编码并生成编码流，并且以下述状态发送编码流，其中指示图像的解码结果的输出时间的输出时间信息连接到多视角图像中的任意一个的编码数据，并且输出时间信息不连接到除了该图像以外的图像的编码数据。

根据本发明的另一个实施例，提供了一种图像处理设备，包括接收装置、解码装置和输出装置，接收装置用于接收通过对形成立体图像的多视角图像的图像数据进行编码而获得的编码流和指示图像的解码结果的输出时间的输出时间信息，该输出时间信息连接到编码流中多视角图像中的任意一个的编码数据，解码装置用于对接收装置所接收的编码流进行解码以生成图像数据，输出装置用于基于接收装置所接收的输出时间信息输出已由解码装置生成的、与输出时间信息相对应的图像的图像数据和不与输出时间信息相对应的图像的图像数据，作为多视角图像的图像数据。

根据本发明另一个实施例的图像处理方法对应于本发明另一个实施例的图像处理设备。

在本发明的另一个实施例中，接收通过对形成立体图像的多视角图像的图像数据进行编码而获得的编码流和指示图像的解码结果的输出时间的输出时间信息，该输出时间信息连接到编码流中多视角图像中的任意一个的编码数据，对所接收的编码流进行解码以生成图像数据，并且基于所接收的输出时间信息输出已通过解码生成的、与输出时间信息相对应的图像的图像数据和不与输出时间信息相对应的图像的图像数据，作为多视角图像的图像数据。

根据实施例的图像处理设备可以是独立设备或者配置成一个设备的内部块。

根据实施例的图像处理设备可以通过计算机执行程序来实现。

根据本发明的一个实施例，可以向对编码流(该编码流是通过复用并编码形成立体图像的多视角图像而获得的)进行解码的设备通知关于多视角图像的对以允许该设备识别多视角图像的对。

根据本发明的另一个实施例，当对通过复用并编码形成立体图像的多视角图像而获得的编码流进行解码时，可以识别多视角图像的对。

附图说明

图1是示出应用了本发明一个实施例的编码系统的配置示例的框图；

图2是示出图1的视频编码设备的配置示例的框图；

图3是用于说明编码系统中的成像定时的示图；

图4是用于说明编码系统中的另一种成像定时的示图；

图5是用于说明视频合成电路的复用的示图；

图6是示出图2的编码电路的配置示例的框图；

图7是用于说明比特流的示例的示图；

图8是示出DPB输出时间信息的语法示例的图表；

图9是用于说明可逆编码单元添加DPB输出时间信息的处理的流程图；

图10是示出应用了本发明另一个实施例的编码系统的另一种配置示例的框图；

图11是用于说明从图10的合成单元输出的复用信号的示图；

图12是示出解码系统的配置示例的框图；

图13是示出图12的视频解码设备的配置示例的框图；

图14是示出图13的解码电路的配置示例的框图；

图15是用于说明图像排序缓冲器识别LR对的处理的流程图；

图16是用于说明添加DPB输出时间信息的另一示例的示图；

图17是示出根据一个实施例的计算机的配置示例的框图；

图18是示出应用了本发明实施例的电视接收机的基本配置示例的框图；

图19是示出应用了本发明实施例的蜂窝电话设备的基本配置示例的框图；

图20是示出应用了本发明实施例的硬盘记录器的基本配置示例的框图；以及

图21是示出应用了本发明实施例的相机的基本配置示例的框图。

具体实施方式

<实施例>

[根据实施例的编码系统的配置示例]

图1是示出应用了本发明的一个实施例的编码系统的配置示例的框图。

图1的编码系统10包括左眼成像设备11、右眼成像设备12和视频编码设备13。

左眼成像设备11是用于对L图像成像的成像设备，右眼成像设备12是用于对R图像成像的成像设备。同步信号(Sync)被从左眼成像设备11输入到右眼成像设备12，并且左眼成像设备11和右眼成像设备12被彼此同步。左眼成像设备11和右眼成像设备12在预定成像定时执行成像。

被左眼成像设备11成像的L图像的图像信号以及被右眼成像设备12成像的R图像的成像信号被输入到视频编码设备13。视频编码设备13在时间方向上以LR对的形式复用L图像的图像信号和R图像的图像信号，并对通过复用获得的复用信号执行符合AVC编码方法的编码。视频编码设备13将通过编码获得的编码流输出作为比特流。

[视频编码设备的配置示例]

图2是示出图1的视频编码设备13的配置示例的框图。

图2的视频编码设备13包括视频合成电路21和编码电路22。

视频合成电路21以LR对的形式在时间方向上复用被左眼成像设备11成像的L图像的图像信号和被右眼成像设备12成像的R图像的图像信号，并将通过复用获得的复用信号提供给编码电路22。

编码电路22对从视频合成电路21输入的复用信号进行编码以便符合AVC编码方法。此时，编码电路22向在LR对的编码顺序中先前的图像的编码数据添加DPB输出时间信息，而不向后续图像的编码数据添加DPB输出时间信息。编码电路22将编码流输出作为比特流，在编码流中，DPB输出时间信息被添加到在LR对的编码顺序中先前的图像的编码数据。

在下面的说明中，将假定在LR对的编码顺序中，L图像被先编码而R图像被后编码。

[成像定时的说明]

图3和图4是用于说明编码系统10中的成像定时的示图。

在编码系统10中，左眼成像设备11和右眼成像设备12在如图3所示的相同定时执行LR对的成像，或者在如图4所示的连续不同定时执行LR对的成像。

[L图像和R图像的复用的说明]

图5是用于说明视频合成电路21的复用的示图。

在图3和图4中说明的定时成像的L图像的图像信号和R图像的图像信号被并行提供给视频合成电路21。视频合成电路21在时间方向上以LR对的形式复用L图像的图像信号和R图像的图像信号。根据该处理，从视频合成电路21输出的复用信号将是这样一种图像信号，其中L图像的图像信号和R图像的图像信号被交替重复。

[编码电路的配置示例]

图6是示出图2的编码电路22的配置示例的框图。

编码电路22的A/D转换器41对从视频合成电路21提供来的作为模拟信号的复用信号执行A/D转换以获得作为数字信号的图像数据。然后，A/D转换器41将图像数据提供给图像排序缓冲器42。

图像排序缓冲器42临时存储来自A/D转换器41的图像数据并根据需要读出数据，从而根据作为编码电路22的输出的比特流的GOP(图片组)结构按编码顺序对图像数据(场)的图片(帧)进行排序。

从图像排序缓冲器42读出的图片中对其执行了帧内编码的帧内图片被提供给计算单元43。

计算单元43从提供自图像排序缓冲器42的帧内图片的像素值中减去提供自帧内预测单元53的预测图像的像素值(如果必要的话)，并将该值提供给正交变换单元44。

正交变换单元44对帧内图片(的像素值或者通过减去预测图像获得的减法值)执行诸如离散余弦变换或Karhunen-Loeve变换之类的正交变换，将作为变换结果获得的变换系数提供给量化单元45。在正交变换单元44中执行的离散余弦变换可以是近似实数的离散预先变换的整数变换。作为离散余弦变换的变换方法，可以使用以4×4块大小执行整数系数变换的方法。

量化单元45对来自正交变换单元44的变换系数进行量化，并将作为量化结果获得的量化值提供给可逆编码单元46。

可逆编码单元46对来自量化单元45的量化值执行诸如可变长度编码或算术编码之类的可逆编码，并将作为编码结果获得的编码数据提供给累积缓冲器47。

累积缓冲器47临时存储来自可逆编码单元46的编码数据并将数据作为给定比特流发送。

速率控制单元48监视累积缓冲器47中编码数据的累积量，并基于累积量来控制诸如量化单元45的量化台阶之类的量化单元45的行为。

由量化单元45获得的量化值不仅被提供给可逆编码单元46，还被提供给反向量化单元49。反向量化单元49将来自量化单元45的量化值反向量化为变换系数并将数据提供给反向正交变换单元50。

反向正交变换单元50对来自反向量化单元49的变换系数执行反向正交变换并将变换系数提供给计算单元51。

计算单元51根据需要将提供自帧内预测单元53的预测图像的像素值加到提供自反向正交变换单元50的数据，从而获得要提供给帧存储器52的帧内图片的解码图像。

帧存储器52临时存储从计算单元51提供来的解码图像，并根据需要将解码图像提供给帧内预测单元53或运动预测/运动补偿单元54作为用于生成预测图像的参考图像。

帧内预测单元53根据计算单元43中处理目标的部分(块)附近的像素中已经存储在帧存储器52中的像素生成预测图像，并将图像提供给计算单元43、51。

关于对其执行了帧内编码的图片，当预测图像被以上述方式从帧内预测单元53提供给计算单元43时，在计算单元43中从提供自图像排序缓冲器42的图片中减去提供自帧内预测单元53的预测图像。

在计算单元51中，在计算单元43中减去的预测图像被加到从反向正交变换单元50提供来的数据。

另一方面，对其执行了帧间编码的非帧内图片被从图像排序缓冲器42提供给计算单元43和运动预测/运动补偿单元54。

运动预测/运动补偿单元54从帧存储器52中读取在来自图像排序缓冲器42的非帧内图片的运动预测时参考的解码图像的图片作为参考图像。运动预测/运动补偿单元54还利用来自帧存储器52的参考图像来检测关于来自图像排序缓冲器42的非帧内图片的运动向量。

然后，运动预测/运动补偿单元54通过根据运动向量对参考图像执行运动补偿来生成非帧内图片的预测图像，并将图像提供给计算单元43、51。运动补偿中的块大小可以是固定或者可变的。

在计算单元43中，从提供自图像排序缓冲器42的非帧内图片中减去提供自帧内预测单元53的预测图像，之后，以与帧内图片的情况相同的方式执行编码。

帧内预测模式(它是帧内预测单元53生成预测图像的模式)被从帧内预测单元53提供给可逆编码单元46。由运动预测/运动补偿单元54获得的运动向量以及作为运动预测/运动补偿单元54执行运动补偿的模式的运动补偿预测模式被从运动预测/运动补偿单元54提供给可逆编码单元46。

另外，由未示出的控制整个编码电路22的控制电路生成的DPB输出时间信息也被提供给可逆编码单元46。

在可逆编码单元46中，解码所必需的信息，例如帧内预测模式、运动向量、运动补偿预测模式和每个图片的图片类型，被可逆编码，该信息被包括在编码数据的头部中。此外，DPB输出时间信息在可逆编码单元46中被添加到L图像的编码数据。

[比特流的说明]

图7是用于说明从编码电路22输出的比特流的示例的示图。

如图7所示，在编码电路22中，L图像的图像数据和R图像的图像数据以LR对的形式在时间方向上被复用，并且L图像和R图像按该顺序被编码。然后，DPB输出时间信息仅被添加到作为编码结果获得的L图像的编码数据，且DPB输出时间信息不被添加到R图像的编码数据。

因此，对上述比特流解码的视频解码设备可以将添加了DPB输出时间信息的编码数据的解码结果识别为L图像的图像数据，并且可以将恰好在上述编码数据之后解码的未添加DPB输出时间信息的编码数据的解码结果识别为与L图像构成同一LR对的R图像的图像数据。即，视频解码设备可以识别LR对。

例如，当DPB输出时间信息被添加到第一图像的编码数据且DPB输出时间信息未被添加到第二图像的编码数据(如图7所示)时，视频解码设备可以将第一图像的编码数据和第二图像的编码数据识别为LR对的编码数据。结果，可以显示3D图像。

[DPB输出时间信息的语法示例]

图8是示出DPB输出时间信息的语法示例的图表。

从图8的顶部起的第四段是DPB输出时间信息(dpb_output_delay)。

[编码系统的处理的说明]

图9是用于说明编码系统10的可逆编码单元46(图6)添加DPB输出时间信息的处理的流程图。添加DPB输出时间信息的处理例如在可逆编码单元46生成各个图片的编码数据时开始。

在图9的步骤S11中，可逆编码单元46判定所生成的编码数据是否是L图像的编码数据。当在步骤S11中确定所生成的编码数据是L图像的编码数据时，由未示出的控制单元生成的DPB输出时间信息被添加到编码数据并且处理结束。

另一方面，当在步骤S11中确定所生成的编码数据不是L图像的编码数据时，即，当所生成的编码数据是R图像的编码数据时，不执行步骤S12的处理并且处理结束。也就是说，DPB输出时间信息不被添加到R图像的编码数据。

视频合成电路21被设在图1的编码系统10中的视频编码设备13中，但是，视频合成电路21也可以设在视频编码设备13的外部。在这种情况下，被左眼成像设备11成像的L图像的图像信号和被右眼成像设备12成像的R图像的图像信号在视频合成电路21中被复用，并且复用信号被输入到视频编码设备13。

[根据实施例的编码系统的另一配置示例]

图10是示出应用了本发明实施例的编码系统的另一配置示例的框图。

图10的编码系统10包括成像设备101和视频编码设备102。在编码系统10中，L图像和R图像被一个成像设备101成像，并且L图像的图像信号和R图像的图像信号被复用以按串行顺序输入到视频编码设备102。

具体而言，成像设备101包括成像单元111、分支单元112、两个成像处理单元113、114和合成单元115。成像单元111在成像处理单元113的控制下执行成像，并将通过成像获得的图像信号通过分支单元112提供给成像处理单元113。成像单元111还在成像处理单元114的控制下执行成像，并将通过成像获得的图像信号通过分支单元112提供给成像处理单元114。

成像处理单元113控制成像单元111以在与成像处理单元114的成像定时相同的定时或者在连续的不同定时执行成像。成像处理单元113将作为成像结果提供的图像信号从分支单元112提供给合成单元115。

成像处理单元114控制成像单元111以在与成像处理单元113的成像定时相同的定时或者在连续的不同定时执行成像。成像处理单元114将作为成像结果提供的图像信号从分支单元112提供给合成单元115作为R图像的图像信号。

合成单元115在时间方向上以LR对的形式复用从成像处理单元113提供来的L图像的图像信号和从成像处理单元114提供来的R图像的图像信号，以将复用信号输出到视频编码设备102。

视频编码设备102由图2的编码电路22配置而成，对从合成单元115提供来的复用信号执行符合AVC编码方法的编码。

图11是用于说明从合成单元115输出的复用信号的示图。

在合成单元115中，在成像处理单元113的控制下成像的L图像的图像信号和在成像处理单元114的控制下成像的R图像的图像信号在时间方向上被复用为LR对的形式。结果，从合成单元115输出的复用信号将是L图像的图像信号和R图像的图像信号被交替重复的成像信号，如图11所示。

[解码系统的配置示例]

图12是示出对从上述编码系统10输出的比特流解码的解码系统的配置示例的框图。

图12的解码系统200包括视频解码设备201和3D视频显示设备202。

视频解码设备201接收从编码系统10输出的比特流并通过与AVC编码方法相对应的方法对比特流解码。视频解码设备201将作为通过解码获得的模拟信号的图像信号以LR对的形式输出到3D视频显示设备202。

3D视频显示设备202显示基于以LR对的形式从视频解码设备201输入的L图像的图像信号和R图像的图像信号的3D图像。因此，用户可以观看立体图像。

作为3D视频显示设备202，可以使用在相同定时显示LR对的显示设备或者在连续的不同定时显示LR对的显示设备。作为在连续的不同定时显示LR对的显示设备，有逐行交织L图像和R图像并以场为单位交替显示图像的显示设备、以帧为单位交替显示L图像和R图像作为高帧速率的图像的显示设备，等等。

[视频解码设备的配置示例]

图13是示出图12的视频解码设备201的配置示例的框图。

如图13所示，视频解码设备201包括解码电路211、帧存储器212、图像大小转换电路213、帧速率转换电路214、D/A转换电路215和控制器216。

解码电路211接收从编码系统10输出的比特流并通过与AVC编码系统相对应的系统对比特流解码。解码电路211基于比特流中包括的DPB输出时间信息来从作为通过解码获得的数字信号的图像数据中识别LR对的图像数据。解码电路211还基于DPB输出时间信息将作为解码结果获得的LR对的图像数据提供给帧存储器212。

帧存储器212存储从解码电路211提供来的图像数据。帧存储器212在控制器216的控制下以LR对的形式读出所存储的L图像的图像数据和R图像的图像数据，并将数据输出到图像大小转换电路213。

图像大小转换电路213分别将从帧存储器212提供来的LR对的图像数据的图像大小放大或缩小到预定大小，并将数据提供给帧速率转换电路214。

帧速率转换电路214输出LR对的图像数据，同时在控制器216的控制下控制从图像大小转换电路213提供来的LR对的图像数据的输出定时，以使得L图像和R图像的帧速率将是预定速率。

D/A转换电路215对从帧速率转换电路214输出的LR对的图像数据执行D/A转换，并将作为转换结果获得的模拟信号的图像信号输出到3D视频显示设备202。

控制器216控制帧存储器212以LR对的形式读出图像数据。控制器216还控制帧速率转换电路214以将从图像大小转换电路213输出的L图像和R图像的图像数据的帧速率转换为预定帧速率并输出图像数据。

[解码电路的配置示例]

图14是示出图13的解码电路211的配置示例的框图。

累积缓冲器271从编码系统10接收比特流并临时存储比特流。

可逆编码/解码单元272通过基于比特流的格式对来自累积缓冲器271的比特流执行诸如可变长度解码和算术解码之类的处理，来对量化值和编码数据的头部中包括的对图像解码所必需的信息(例如帧内预测模式、运动向量、运动补偿预测模式和每个图片的图片类型)进行解码。

由可逆编码/解码单元272获得的量化值被提供给反向量化单元273，并且帧内预测模式被提供给帧内预测单元277。由可逆编码/解码单元272获得的运动向量(MV)、运动补偿预测模式和图片类型被提供给运动预测/运动补偿单元278。

可逆编码/解码单元272还从比特流中提取出DPB输出时间信息并将该信息提供给图像排序缓冲器279。

反向量化单元273、反向正交变换单元274、计算单元275、帧存储器276、帧内预测单元277和运动预测/运动补偿单元278执行与图6的反向量化单元49、反向正交变换单元50、计算单元51、帧存储器52、帧内预测单元53和运动预测/运动补偿单元54相同的处理，从而对图像解码(可以获得解码图像)。

即，反向量化单元273将来自可逆编码/解码单元272的量化值反向量化为变换系数并将数据提供给反向正交变换单元274。

反向正交变换单元274基于比特流的格式对来自反向量化单元273的变换系数执行诸如离散余弦变换或反向Karhunen-Loeve变换之类的反向正交变换，并将数据提供给计算单元275。

计算单元275根据需要将提供自帧内预测单元277的预测图像的像素值加到提供自反向正交变换单元274的数据中的帧内图片数据，从而获得帧内图片的解码图像。计算单元275将提供自运动预测/运动补偿单元278的预测图像的像素值加到提供自反向正交变换单元274的数据中的非帧内图片数据，从而获得非帧内图片的解码图像。

在计算单元275中获得的解码图像被提供给帧存储器276，并且必要的话被提供给图像排序缓冲器279。

帧存储器276临时存储从计算单元275提供来的解码图像，并根据需要将解码图像提供给帧内预测单元277和运动预测/运动补偿单元278作为用于生成预测图像的参考图像。

当要在计算单元275中处理的数据是帧内图片的数据时，帧内预测单元277根据需要利用解码图像作为来自帧存储器276的参考图像来生成帧内图片的预测图像，并将图像提供给计算单元275。

即，帧内预测单元277根据来自可逆编码/解码单元272的帧内预测模式由计算单元275中处理目标的部分(块)附近的像素中的已经存储在帧存储器276中的像素生成预测图像，并将图像提供给计算单元275。

另一方面，当要在计算单元275中处理的数据是非帧内图片数据时，运动预测/运动补偿单元278生成非帧内图片的预测图像并将图像提供给计算单元275。

即，运动预测/运动补偿单元278根据来自可逆编码/解码单元272的图片类型等从帧存储器276中读出用于生成预测图像的解码图像的图片作为来自帧存储器276的参考图像。运动预测/运动补偿单元278还通过根据来自可逆编码/解码单元272的运动向量和运动补偿预测模式对来自帧存储器276的参考图像执行运动补偿来生成预测图像，并将图像提供给计算单元275。

在计算单元275中，从帧内预测单元277或运动预测/运动补偿单元278提供来的预测图像如上所述被加到从反向正交变换单元274提供来的数据，从而对图片(的像素值)解码。

图像排序缓冲器279根据是否从可逆编码/解码单元272提供来DPB输出时间信息来识别来自计算单元275的图片(解码图像)的图像数据是L图像的图像数据还是R图像的图像数据。图像排序缓冲器279临时存储来自计算单元275的图片的图像数据。

图像排序缓冲器279基于从可逆编码/解码单元272提供来的DPB输出时间信息，顺序读出所存储的图片的图像数据中添加了DPB输出时间信息的L图像的图片的图像数据和在编码顺序中紧邻该图片之后的未添加DPB输出时间信息的L图像的图片的图像数据，从而将图片的布置排序为原始布置(显示顺序)并以LR对的形式将图片输出到帧存储器212(图13)。

这里，图像排序缓冲器279和帧存储器276对应于图14的解码设备中的DPB。

[解码电路的处理的说明]

图15是用于说明解码电路211(图14)的图像排序缓冲器279识别LR对的处理的流程图。识别LR对的处理例如在来自计算单元275的通过解码获得的各个图片的图像数据被输入时开始。

在图15的步骤S21中，图像排序缓冲器279判定DPB输出时间信息是否已被添加到从计算单元275提供来的解码之前的图片的图像数据的编码数据。具体而言，图像排序缓冲器279判定是否已从可逆编码/解码单元272提供了DPB输出时间信息。

当在步骤S21中确定DPB输出时间信息已被添加到编码数据时，图像排序缓冲器279在步骤S22中将从计算单元275提供来的图像数据识别为L图像的图像数据并且处理结束。

当在步骤S21中确定DPB输出时间信息未被添加到编码数据时，图像排序缓冲器279在步骤S23中将从计算单元275提供来的图像数据识别为R图像的图像数据并且处理结束。

如上所述识别的L图像的图像数据和在编码顺序中紧邻该图像数据之后的R图像的图像数据被输出到帧存储器212作为LR对的图像数据。

如上所述，编码系统10仅将DPB输出时间信息添加到LR对中在编码顺序中先前的L图像的编码数据。因此，解码系统200可以识别出添加了DPB输出时间信息的编码数据的解码结果和在该编码数据之后解码的未添加DPB输出时间信息的编码数据的解码结果是LR对的解码结果。结果，解码系统200可以显示3D图像。

在以上说明中，LR对的编码顺序被预先确定，然而，LR对的编码顺序可以改变。在这种情况下，例如，指示LR对的编码顺序的编码顺序信息被添加到编码数据，并且图像排序缓冲器279基于获取或者未获取DPB输出时间信息和编码顺序信息来识别L图像的图片和R图像的图片中的哪一个是从计算单元275提供来的图片。

添加了DPB输出时间信息的图像可以是在LR对的编码顺序中预定顺序的图像。即，DPB输出时间信息可以被添加到在编码顺序中先前的图像(如以上说明中的那样)以及顺序靠后的图像。当DPB输出时间信息被添加到在编码顺序中靠后的图像时，解码系统200识别出添加了DPB输出时间信息的编码数据的解码结果和在该编码数据之前解码的未添加DPB输出时间信息的编码数据的解码结果是LR对的解码结果。

[添加DPB输出时间信息的另一种方法]

在以上说明中，DPB输出时间信息仅被添加到L图像的编码数据，然而，DPB输出时间信息被添加到L图像的编码数据和R图像的编码数据两者(如图16所示)也是优选的。在这种情况下，视频编码设备可以允许视频解码设备通过向L图像的编码数据添加指示L图像的标志或者向LR对的编码数据添加指示LR对的信息来识别LR对。

在实施例中，DPB输出时间信息和编码顺序信息被添加到编码数据(被写入在编码数据中)，然而，DPB输出时间信息和编码顺序信息可以连接到图像数据(或比特流)。

这里，“连接”指示一种状态，其中图像数据(或比特流)和DPB输出时间信息彼此链接。因此，要彼此连接的图像数据和DPB输出时间信息可以在不同的传输线中传输。另外，要彼此连接的图像数据(或比特流)和DPB输出时间信息可以记录在不同的记录介质中(或者记录在同一记录介质的不同记录区域中)。图像数据(或比特流)和DPB输出时间信息彼此链接的单位可以是编码处理的单位(1帧、多帧等等)。

[应用了本发明实施例的计算机的说明]

接下来，上述处理序列可以通过硬件以及软件执行。当处理序列通过软件执行时，软件中包括的程序被安装到通用计算机等。

图17示出了根据一个实施例安装了执行上述处理序列的程序的计算机的配置示例。

程序可以预先记录在作为计算机中内置的存储介质的存储单元608和ROM 602中。

或者，程序可以存储(记录)在可移除介质611中。可移除介质611可以提供作为所谓的封装软件。这里，作为可移除介质611，例如有软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器。

程序不仅可以通过驱动器610从上述可移除介质611安装到计算机，还可以通过通信网络或广播网络下载到计算机并安装在内置的存储单元608中。即，程序通过无线方式例如被从下载站点通过用于数字卫星广播的卫星传送到计算机，或者通过有线方式经由诸如LAN(局域网)和因特网之类的网络被传送到计算机。

计算机容纳有CPU(中央处理单元)601并且输入/输出接口605通过总线604连接到CPU 601。

当指令例如通过输入单元606(该输入单元606由用户通过输入/输出接口605操作)输入时，CPU 601根据指令执行存储在ROM(只读存储器)602中的程序。CPU 601还通过将存储在存储单元608中的程序加载到RAM(随机访问存储器)603来执行该程序。

CPU 601执行与上述流程相对应的处理或者由上述框图的配置执行的处理。然后，CPU 601允许输出单元607例如通过输入/输出接口605输出处理结果或者允许通信单元609发送处理结果，并且根据需要进一步允许存储单元608记录处理结果。

输入单元606包括键盘、鼠标、麦克风等。输出单元607包括LCD(液晶显示器)、扬声器等。

在说明书中，由计算机根据程序执行的处理并不一定沿着流程图所述的顺序按时序执行。即，由计算机根据程序执行的处理包括并行或单独执行的处理(例如，并行处理和按对象的处理)。

程序可以被一个计算机(处理器)处理或者分布式处理可以被多个计算机执行。此外，程序可以通过被传送到远程计算机来执行。

在说明书中，系统指示包括多个设备的整个装置。

本发明的实施例并不限于上述实施例，而是可以在不脱离本发明的精神的范围内进行各种修改。

例如，上述编码系统10和解码系统200可以应用于任意的电子设备。其示例将在下面说明。

[电视接收机的配置示例]

图18是示出使用应用了本发明实施例的解码系统的电视接收机的基本配置示例的框图。

图18的电视接收机700获取作为广播信号或者数字广播的内容数据由上述编码系统10获得的比特流，并且通过执行与解码系统200相同的处理来显示立体图像。

电视接收机700的地面调谐器713通过天线接收地面模拟广播的广播波信号，对信号解调并获取要提供给视频解码器715的图像信号。视频解码器715对从地面调谐器713提供来的视频信号执行解码处理，并将所获得的数字分量信号提供给视频信号处理电路718。

视频信号处理电路718对从视频解码器715提供来的视频数据执行诸如噪声滤波之类的给定处理，并将所获得的视频数据提供给图形生成电路719。

图形生成电路719通过基于通过网络提供来的应用的处理来生成要显示在显示面板721上的节目的视频数据和图像数据，将所生成的视频数据或图像数据提供给面板驱动电路720。图形生成电路719适当地执行将视频数据提供给面板驱动电路720的处理，该视频数据是通过生成用于显示用于供用户选择项目的画面的视频数据(图形)并将数据叠加在节目的视频数据上而获得的。

面板驱动电路720基于从图形生成电路719提供来的数据来驱动显示面板721，并在显示面板721上显示上述节目视频和各种画面。

显示面板721在面板驱动电路720的控制下显示节目视频等。

电视接收机700还包括语音A/D(模/数)转换电路714、语音信号处理电路722、回声抵消/语音合成电路723、语音放大器电路724和扬声器725。

地面调谐器713通过对所接收的广播波信号解调不仅获取视频信号还获取语音信号。地面调谐器713将所获取的语音信号提供给语音A/D转换电路714。

语音A/D转换电路714对从地面调谐器713提供来的语音信号执行A/D转换处理，并将所获得的数字语音信号提供给语音信号处理电路722。

语音信号处理电路722对从语音A/D转换电路714提供来的语音数据执行诸如噪声滤波之类的给定处理，并将所获得的语音数据提供给回声抵消/语音合成电路723。

回声抵消/语音合成电路723将从语音信号处理电路722提供来的语音数据提供给语音放大器电路724。

语音放大器电路724对从回声抵消/语音合成电路723提供来的语音数据执行D/A转换处理和放大处理，并将语音调节到给定音量以从扬声器725输出。

电视接收机700还包括数字调谐器716和MPEG解码器717。

数字调谐器716通过天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，对信号解调并获取要提供给MPEG解码器717的MPEG-TS(运动图像专家组-传输流)。

MPEG解码器717释出给予从数字调谐器716提供来的MPEG-TS的扰波，并提取出包括作为重放目标(观看目标)的节目数据的流。MPEG解码器717对所提取的流中包括的语音分组解码并将所获得的语音数据提供给语音信号处理电路722，并且对流中包括的视频分组解码然后将所获得的视频数据提供给视频信号处理电路718。MPEG解码器717将从MPEG-TS提取出的EPG(电子节目指南)数据通过未示出的路径提供给CPU 732。

从MPEG解码器717提供来的视频数据以与从视频解码器715提供来的视频数据相同的方式在视频信号处理电路718中接收给定处理。已执行给定处理的视频数据被通过面板驱动电路720提供给显示面板721(其中由图形生成电路719生成的视频数据被适当地叠加)，并且图像被显示。

电视接收机700执行与上述视频解码设备201类似的处理作为对视频分组解码并在显示面板721上显示图像的处理。结果，可以识别出例如节目的LR对并显示节目的立体图像。

从MPEG解码器717提供来的语音数据以与从语音A/D转换电路714提供来的语音数据相同的方式在语音信号处理电路722中接收给定处理。然后，已执行了给定处理的语音数据被通过回声抵消/语音合成电路723提供给语音放大器电路724并且执行D/A转换处理和放大处理。结果，调节到给定音量的语音被从扬声器725输出。

电视接收机700还具有麦克风726和A/D转换电路727。

A/D转换电路727接收由设在电视接收机700处的麦克风726摄取的用户的语音信号以进行语音转换。A/D转换电路727对所接收的语音信号执行A/D转换处理，并将所获得的数字语音数据提供给回声抵消/语音合成电路723。

当电视接收机700的用户(用户A)的语音数据被从A/D转换电路727提供来时，回声抵消/语音合成电路723对用户A的语音数据执行回声抵消。然后，回声抵消/语音合成电路723通过语音放大器电路724从扬声器725输出通过将语音数据与回声抵消之后的另一语音数据相合成而获得的语音数据。

电视接收机700还包括语音编解码器728、内部总线729、SDRAM(同步动态随机访问存储器)730、闪存731、CPU 732、USB(通用串行总线)I/F 733和网络I/F 734。

A/D转换电路727接收由设在电视接收机700处的麦克风726摄取的用户的语音信号以进行语音转换。A/D转换电路727对所接收的语音信号执行A/D转换处理，并将所获得的数字语音数据提供给语音编解码器728。

语音编解码器728将从A/D转换电路727提供来的语音数据转换为给定格式的数据以通过网络发送数据，并通过内部总线729将数据提供给网络I/F 734。

网络I/F 734通过附接到网络端子735的线缆连接到网络。网络I/F734例如将从语音编解码器728提供来的语音数据发送到连接到网络的另一设备。网络I/F 734还通过网络端子735接收从通过网络连接的另一设备发送来的语音数据，并通过内部总线729将语音数据提供给语音编解码器728。

语音编解码器728将从网络I/F 734提供来的语音数据转换为给定格式的数据，并将语音数据提供给回声抵消/语音合成电路723。

回声抵消/语音合成电路723对从语音编解码器728提供来的语音数据执行回声抵消，并通过语音放大器电路724从扬声器725输出通过将该数据与另一语音数据相合成而获得的语音数据。

SDRAM 730存储在CPU 732执行处理时所必需的各种数据。

闪存731存储由CPU 732执行的程序。存储在闪存731中的程序在预定定时(例如在激活电视接收机700时)被从CPU 732读出。闪存731还存储通过数字广播获取的EPG数据、通过网络从给定服务器获取的数据等等。

例如，闪存731在CPU 732的控制下存储包括通过网络从给定服务器获取的内容数据的MPEG-TS。闪存731在例如CPU 732的控制下将MPEG-TS通过内部总线729提供给MPEG解码器717。

MPEG解码器717以与从数字调谐器716提供来的MPEG-TS的情况相同的方式处理MPEG-TS。结果，例如，可以识别内容数据的LR对并显示与内容数据相对应的立体图像。

如上所述，电视接收机700通过网络接收包括立体图像、语音等的内容数据，利用MPEG解码器717对数据解码并显示立体图像或输出语音。

电视接收机700包括接收从遥控器751发送来的红外信号的光接收单元737。

光接收单元737从遥控器751接收红外线并向CPU 732输出指示通过解调获得的用户操作的内容的控制代码。

CPU 732执行存储在闪存731中的程序并根据从光接收单元737提供来的控制代码来控制电视接收机700的整体操作。CPU 732和电视接收机700的各个单元通过未示出的路径连接。

USB I/F 733执行电视接收机700和通过附接到USB端子736的USB线缆连接的外部设备之间的数据的发送/接收。网络I/F 734通过附接到网络端子735的线缆连接到网络，对连接到网络的各个设备执行除了语音数据以外的数据的发送/接收。

[蜂窝电话的配置示例]

图19是示出使用应用了本发明实施例的编码系统和解码系统的蜂窝电话设备的基本配置示例的框图。

图19的蜂窝电话设备800执行与上述编码系统10类似的处理并获得用于显示立体图像的比特流。蜂窝电话设备800还接收由上述编码系统10获得的比特流并执行与解码系统200相同的处理以显示立体图像。

图19的蜂窝电话设备800包括被配置为总体控制各个单元的主控制单元850、电源电路单元851、操作输入控制单元852、图像编码器853、相机I/F单元854、LCD控制单元855、图像解码器856、复用/分离单元857、记录/重放单元862、调制/解调电路单元858和语音编解码器859。这些单元通过总线860彼此连接。

蜂窝电话设备800包括操作键819、CCD(电荷耦合器件)相机816、液晶显示屏818、存储单元823、发送/接收电路单元863、天线814、麦克风821和扬声器817。

电源电路单元851从电池组向各个单元提供功率从而当通过用户操作接通呼叫结束和电源键时激活蜂窝电话设备800。

蜂窝电话设备800基于包括CPU、ROM、RAM等的主控制单元850的控制来执行各种操作，例如语音信号的发送/接收、电子邮件和图像数据的发送/接收、在各种模式(例如语音呼叫模式和数据通信模式)中的图像摄取和数据记录。

例如，在语音呼叫模式中，蜂窝电话设备800通过语音编解码器859将由麦克风821收集的语音信号转换为数字语音信号，在调制/解调电路单元858处对数据执行展谱处理，并且在发送/接收电路单元863处对数据执行数/模转换处理以及频率转换处理。蜂窝电话设备800通过天线814将通过转换处理获得的用于发送的信号发送到未示出的基站。发送到基站的用于发送的信号(语音信号)通过公共电话线网络被提供给另一方的蜂窝电话设备。

另外，例如，在语音呼叫模式中，蜂窝电话设备800在发送/接收电路单元863处对通过天线814接收的接收信号进行放大，对信号执行频率转换处理以及模/数转换处理，在调制/解调电路单元858处对信号执行反向展谱处理，并在语音编解码器859处将信号转换为模拟语音信号。蜂窝电话设备800从扬声器817输出通过转换获得的模拟语音信号。

此外，例如，在数据通信模式中电子邮件被发送的情况下，蜂窝电话设备800在操作输入控制单元852处接收通过操作键819的操作输入的电子邮件的文本数据。蜂窝电话设备800在主控制单元850处处理文本数据，并通过LCD控制单元855在液晶显示屏818上显示作为图像的数据。

蜂窝电话设备800还基于操作输入控制单元852所接收的文本数据、用户指令等在主控制单元850中生成电子邮件数据。蜂窝电话设备800在调制/解调电路单元858处对电子邮件数据执行展谱处理，并且在发送/接收电路单元863处对数据执行数/模转换处理以及频率转换处理。蜂窝电话设备800通过天线814将通过转换处理获得的用于发送的信号发送到未示出的基站。发送到基站的用于发送的信号(电子邮件)通过网络、邮件服务器等被提供给给定地址。

例如，当在数据通信模式中接收电子邮件时，蜂窝电话设备800通过天线814利用发送/接收电路单元863接收从基站发送来的信号，对信号进行放大并进一步对信号执行频率转换处理以及模/数转换处理。蜂窝电话设备800在调制/解调电路单元858处对所接收的信号执行反向展谱处理以恢复原始电子邮件数据。蜂窝电话设备800通过LCD控制单元855在液晶显示屏818上显示所恢复的电子邮件数据。

还可以通过蜂窝电话设备800中的记录/重放单元862将所接收的电子邮件数据存储在存储单元823中。

存储单元823是可重写的任意存储介质。存储单元823可以例如是诸如RAM或内部闪存、硬盘之类的半导体存储器，或者诸如磁盘、磁光盘、光盘、USB存储器和存储卡之类的可移除介质。当然也可使用其他存储介质。

此外，例如，当在数据通信模式中发送图像数据时，蜂窝电话设备800通过利用CCD相机816执行成像来生成图像数据。CCD相机816包括诸如镜头和光圈之类的光学器件和作为光电转换元件的CCD(对对象成像)，将所接收的光强转换为电信号以生成对象图像的图像数据。图像数据通过AVC编码方法经由相机I/F单元854被图像编码器853压缩并编码以转换为编码图像数据。

蜂窝电话设备800执行与上述视频编码设备13相同的处理作为压缩并编码通过成像生成的图像数据的处理。结果，可以识别摄取图像的LR对并在解码时显示摄取图像的立体图像。

蜂窝电话设备800通过给定方法在复用/分离单元857处将从图像编码器853提供来的编码图像数据与从语音编解码器859提供来的数字语音数据进行复用。蜂窝电话设备800在调制/解调电路单元858处对作为复用结果获得的复用数据执行展谱处理，并在发送/接收电路单元863处执行数/模转换处理以及频率转换处理。蜂窝电话设备800通过天线814将作为转换处理的结果获得的用于发送的信号发送到未示出的基站。发送到基站的用于发送的信号(图像数据)通过网络等被提供给通信的另一方。

当图像数据不被发送时，蜂窝电话设备800可以通过LCD控制单元855而不通过图像编码器853在液晶显示屏818上显示由CCD相机816生成的图像数据等。

例如，当在数据通信模式中接收链接到休闲网站等的运动图像文件的数据时，蜂窝电话设备800通过天线814在发送/接收电路单元863处接收从基站发送来的信号，对信号进行放大并进一步对信号执行频率转换处理以及模/数转换处理。蜂窝电话设备800在调制/解调电路单元858处对所接收的信号执行反向展谱处理以恢复原始复用数据。蜂窝电话设备800在复用/分离单元857处将复用数据分离为编码图像数据和语音数据。

蜂窝电话设备800通过在图像解码器856处利用与AVC编码方法相对应的解码方法对编码图像数据进行解码来生成重放运动图像数据，并且通过LCD控制单元855在液晶显示屏818上显示数据。因此，例如，在连接到休闲网站的运动图像文件中包括的运动图像数据的立体图像被显示在液晶显示屏818上。

蜂窝电话设备800执行与上述视频解码设备201相同的处理作为对编码图像数据解码并在液晶显示屏818上显示数据的处理。结果，例如，可以识别与链接到休闲网站的运动图像文件相对应的运动图像的LR对并且可以显示运动图像的立体图像。

在蜂窝电话设备800中，与电子邮件的情况一样，可以通过记录/重放单元862将链接到所接收的休闲网站等的数据存储在存储单元823中。

蜂窝电话设备800还可以在主控制单元850处分析由CCD相机816成像并获得的两维代码以获取记录在两维代码中的信息。

此外，蜂窝电话设备800可以在红外通信单元881处通过红外线执行与外部设备的通信。

在以上描述中，CCD相机816被用在蜂窝电话设备800中，然而，使用采用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)而不是CCD相机816也是优选的。同样在这种情况下，与使用CCD相机816的情况一样，蜂窝电话设备800可以对对象成像并生成对象图像的图像数据。

在以上描述中，已经说明了蜂窝电话设备800，并且可以与蜂窝电话设备800的情况中相同的方式将上述编码系统和解码系统应用在任何类型的设备中，只要它是具有与蜂窝电话设备800相同的成像功能和通信功能的设备即可，例如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、上网本和笔记本个人计算机。

[硬盘记录器的配置示例]

图20是示出使用应用了本发明实施例的解码系统的硬盘记录器和监视器的基本配置示例的框图。

图20的硬盘记录器(HDD记录器)900获取作为从卫星或地面天线等发送来并被调谐器接收的广播波信号(电视信号)等由上述编码系统10获得的比特流，并将信号存储在内部硬盘中。硬盘记录器900利用所存储的比特流按与用户的指令相对应的定时执行与解码系统200相同的处理，并在监视器960上显示广播波信号的立体图像。

硬盘记录器900包括接收单元921、解调单元922、解复用器923、音频解码器924、视频解码器925和记录器控制单元926。硬盘记录器900还包括EPG数据存储器927、程序存储器928、工作存储器929、显示转换器930、OSD(屏幕上显示)控制单元931、显示控制单元932、记录/重放单元933、D/A转换器934和通信单元935。

显示转换器930包括视频编码器941。记录/重放单元933包括编码器951和解码器952。

接收单元921从遥控器(未示出)接收红外信号，将信号转换为电信号并将信号输出到记录器控制单元926。记录器控制单元926例如包括微处理器等，并根据存储在程序存储器928中的程序执行各种处理。记录器控制单元926根据需要在此时使用工作存储器929。

通信单元935连接到网络并通过网络执行与其他设备的通信处理。例如，通信单元935由记录器控制单元926控制以便与调谐器(未示出)通信，并将频道选择控制信号输出到主体中的调谐器。

解调单元922对从调谐器提供来的信号进行解调并将信号输出到解复用器923。解复用器923将从解调单元922提供来的数据分离为音频数据、视频数据和EPG数据，并将分离后的数据分别输出到音频解码器924、视频解码器925和记录器控制单元926。

音频解码器924例如通过MPEG方法对输入的音频数据进行解码并将数据输出到记录/重放单元933。视频解码器925通过与AVC编码方法相对应的方法对输入的视频数据解码并将数据输出到显示转换器930。记录器控制单元926将输入的EPG数据提供给EPG数据存储器927以存储在其中。

显示转换器930例如通过视频编码器941将从视频解码器925或记录器控制单元926提供来的视频数据编码为按照NTSC(国家电视标准委员会)方法的视频数据，并将数据输出到记录/重放单元933。

显示转换器930将从视频解码器925或记录器控制单元926提供来的视频数据的画面大小转换为与监视器960的大小相对应的大小。显示转换器930还通过视频编码器941将其画面大小已转换的视频数据转换为按NTSC方法的视频数据，将数据转换为模拟信号并将信号输出到显示控制单元932。

显示控制单元932在记录器控制单元926的控制下将由OSD(屏幕上显示)控制单元931输出的OSD信号叠加在由显示转换器930输入的视频信号上，将信号输出在监视器960的显示器上以在其上显示。

硬盘记录器900执行与视频解码设备201相同的处理作为对视频数据解码并以上述方式在监视器960上显示图像的处理。结果，例如，可以识别节目的LR对并且可以显示节目的立体图像。

由音频解码器924输出的音频数据被D/A转换器934转换为模拟信号并被提供给监视器960。监视器960从内部扬声器输出音频信号。

记录/重放单元933包括作为记录介质的硬盘，其记录视频数据和音频数据。

记录/重放单元933例如以MPEG方法通过编码器951对从音频解码器924提供来的音频数据进行编码。记录/重放单元933还以AVC编码方法通过编码器951对从显示转换器930的视频编码器941提供来的视频数据进行编码。

硬盘记录器900执行与视频编码设备13相同的处理作为以这种方式对视频数据编码的处理。结果，可以识别出节目的LR对并在解码/重放时显示节目的立体图像。

记录/重放单元933还通过复用器将音频数据的编码数据与视频数据的编码数据相合成。记录/重放单元933通过对数据进行频道编码来放大合成数据并通过记录头将数据写入在硬盘中。

记录/重放单元933通过重放头重放并放大记录在硬盘中的数据，然后通过解复用器将数据分离为音频数据和视频数据。记录/重放单元933以与MPEG编码系统相对应的方法通过解码器952对音频数据进行解码，并通过与AVC编码方法相对应的方法对视频数据进行解码。记录/重放单元933对解码的音频数据执行D/A转换并将数据输出到监视器960的扬声器。记录/重放单元933还对编码的视频数据执行D/A转换并将数据输出到监视器960的显示器。

记录器控制单元926基于通过接收单元921从遥控器接收的红外信号形式的用户指令来从EPG数据存储器927中读出最新的EPG数据并将数据提供给OSD控制单元931。OSD控制单元931生成与输入的EPG数据相对应的图像数据并将数据输出到显示控制单元932。显示控制单元932将从OSD控制单元931输入的视频数据输出到监视器960的显示器以在其上显示。因此，EPG(电子节目指南)被显示在监视器960的显示器上。

硬盘记录器900可以通过诸如因特网之类的网络获取从其他设备提供来的诸如视频数据、音频数据和EPG数据之类的各种数据。

通信单元935由记录器控制单元926控制以获取通过网络从其他设备发送来的视频数据、音频数据、EPG数据等的编码数据并将数据提供记录器控制单元926。例如，记录器控制单元926将所获取的视频数据或音频数据的编码数据提供给记录/重放单元933以存储在硬盘中。此时记录器控制单元926和记录/重放单元933可根据需要执行诸如重编码之类的处理。

记录器控制单元926对所获取的视频数据或音频数据的编码数据进行解码并将所获得的视频数据提供给显示转换器930。显示转换器930以与从视频解码器925提供来的视频数据相同的方式对从记录器控制单元926提供来的视频数据执行处理，通过显示控制单元932将数据提供给监视器960并在监视器960上显示视频。

记录器控制单元926还可以通过D/A转换器934将解码后的音频数据输出到监视器960并根据图像显示从扬声器输出音频。

记录器控制单元926还对所获取的EPG数据的编码数据进行解码并将解码后的EPG数据提供给EPG数据存储器927。

在以上描述中，已经描述了在硬盘中记录视频数据、音频数据等的硬盘记录器900，然而，可以使用任何记录介质。例如，应用除了硬盘以外的记录介质(例如闪存、光盘和录像带等)的记录器可以与上述硬盘记录器900相同的方式应用上述编码系统10和解码系统200。

[相机的配置示例]

图21是示出使用应用了本发明实施例的编码系统和解码系统的相机的基本配置示例的框图。

图21的相机1000执行与编码系统10相同的处理以获得比特流。相机1000还执行与解码系统200相同的处理以利用比特流显示立体图像。

相机1000的镜头块1011允许光(即，对象视频)入射在CCD/CMOS1012上。CCD/CMOS 1012是使用CCD或CMOS的图像传感器，其将所接收的光强转换为电信号并将信号提供给相机信号处理单元1013。

相机信号处理单元1013将从CCD/CMOS 1012提供来的电信号转换为色差信号Y、Cr和Cb以提供给图像信号处理单元1014。图像信号处理单元1014对从相机信号处理单元1013提供来的图像信号执行给定图像处理，并在控制器1021的控制下在编码器1041处对图像信号执行符合MVC编码方法的编码。

相机1000执行与上述视频编码设备13相同的处理作为以这种方式对通过成像生成的图像信号进行编码的处理。结果，可以识别出摄取图像的LR对并在解码时显示摄取图像的立体图像。

图像信号处理单元1014将通过对图像信号编码而生成的编码数据提供给解码器1015。图像信号处理单元1014还获取在屏上显示(OSD)1020处生成的显示数据并将数据提供给解码器1015。

在上述处理中，相机信号处理单元1013适当地采用通过总线1017连接的DRAM(动态随机访问存储器)1018，以允许DRAM 1018根据需要存储图像数据、通过对图像数据编码获得的编码数据等。

解码器1015对从图像信号处理单元1014提供来的编码数据进行解码并将所获得的图像数据(解码图像数据)提供给LCD 1016。解码器1015将从图像信号处理单元1014提供来的显示数据提供给LCD 1016。LCD 1016适当地合成已从解码器1015提供来的解码图像数据的图像和显示数据的图像并显示合成图像。

相机1000执行与视频解码设备201相同的处理作为对编码数据解码并在LCD 1016上显示数据的处理。结果，例如，可以识别出摄取图像的LR对并显示摄取图像的立体图像。

屏上显示1020在控制器1021的控制下将诸如菜单屏幕(其包括符号、文本和图形或者图标)之类的显示数据通过总线1017输出到图像信号处理单元1014。

控制器1021基于用户利用操作单元1022指令的指示内容的信号来执行各种处理，并且通过总线1017控制图像信号处理单元1014、DRAM 1018、外部接口1019、屏上显示1020、介质驱动器1023等等。闪存ROM 1024存储当控制器1021执行各种处理时所必需的程序、数据等。

例如，取代图像信号处理单元1014和解码器1015，控制器1021可以对存储在DRAM 1018中的图像数据进行编码，并且可以对存储在DRAM 1018中的编码数据进行解码。此时，控制器1021可以按照与图像信号处理单元1014和解码器1015的编码/解码方法相同的方法执行编码/解码处理，或者可以按照图像信号处理单元1014和解码器1015不符合的方法执行编码/解码处理。

另外，例如，当从操作单元1022指令图像打印的开始时，控制器1021从DRAM 1018中读出图像数据并通过总线1017将数据提供给连接到外部接口1019的打印机1034以打印图像。

另外，例如，当从操作单元1022指令图像记录时，控制器1021从DRAM 1018中读出编码数据并通过总线1017将数据提供给安装在介质驱动器1023上的记录介质1033以存储在其中。

记录介质1033是可以写和读的任意可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。关于记录介质1033，可移除介质的类型是任意的，其包括带式设备、盘或存储卡。当然也可使用非接触式IC卡等。

介质驱动器1023和记录介质1033被集成以配置成不可运输的记录介质也是优选的，该记录介质例如是内部硬盘驱动器、SSD(固态驱动器)等等。

外部接口1019例如由USB输入/输出端子配置而成，并且在执行图像打印时连接到打印机1034。驱动器1031根据需要连接到外部接口1019，诸如磁盘、光盘和磁光盘之类的可移除介质1032被适当地安装在驱动器1031上，并且从介质读取的计算机程序在必要情况下被安装在闪存ROM1024中。

外部接口1019还包括连接到诸如LAN和因特网之类的给定网络的网络接口。控制器1021可以例如根据来自操作单元1022的指令从DRAM1018中读出编码数据，并且可以将数据从外部接口1019提供给通过网络连接的其他设备。控制器1021还通过外部接口1019获取通过网络从其他设备提供来的编码数据和图像数据，并将数据存储在DRAM 1018中或者将数据提供给图像信号处理单元1014。

由相机1000摄取的图像数据可以是运动图像或静止图像。

上述编码系统10和解码系统200可以应用于除了上述设备以外的设备和系统。

本申请包含与2009年12月2日向日本专利局提交的日本优先专利申请JP 2009-274538中公开的内容有关的主题，该申请的全部内容通过引用结合于此。

本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在权利要求或其等同物的范围之内。

Claims (16)

1.一种图像处理设备，包括：

编码装置，用于对形成立体图像的多视角图像的图像数据进行编码以生成编码流；以及

发送装置，用于将指示图像的解码结果的输出时间的输出时间信息仅连接到所述编码流中多视角图像中的任意一个的编码数据。

2.如权利要求1所述的图像处理设备，

其中所述发送装置将所述输出时间信息连接到所述编码流中多视角图像的编码顺序中的第一图像的编码数据。

3.如权利要求1所述的图像处理设备，

其中所述发送装置将所述输出时间信息连接到所述编码流中多视角图像的编码顺序中的最后一图像的编码数据。

4.如权利要求1所述的图像处理设备，

其中所述多视角图像是包括由左眼观察的左图像和由右眼观察的右图像的立体图像，

所述发送装置将所述输出时间信息连接到所述编码流中左图像的编码数据。

5.如权利要求1所述的图像处理设备，

其中所述多视角图像是包括由左眼观察的左图像和由右眼观察的右图像的立体图像，

所述发送装置将所述输出时间信息连接到所述编码流中右图像的编码数据。

6.如权利要求1所述的图像处理设备，

其中所述发送装置将指示所述多视角图像的编码顺序的编码顺序信息连接到所述编码流。

7.一种图像处理设备的图像处理方法，包括以下步骤：

对形成立体图像的多视角图像的图像数据进行编码以生成编码流；以及

将指示图像的解码结果的输出时间的输出时间信息仅连接到所述编码流中多视角图像中的任意一个的编码数据。

8.一种图像处理设备，包括：

接收装置，用于接收通过对形成立体图像的多视角图像的图像数据进行编码而获得的编码流和指示图像的解码结果的输出时间的输出时间信息，所述输出时间信息连接到所述编码流中多视角图像中的任意一个的编码数据；

解码装置，用于对所述接收装置所接收的编码流进行解码以生成图像数据；以及

输出装置，用于基于所述接收装置所接收的输出时间信息输出已由所述解码装置生成的、与所述输出时间信息相对应的图像的图像数据和不与所述输出时间信息相对应的图像的图像数据，作为所述多视角图像的图像数据。

9.如权利要求8所述的图像处理设备，

其中与所述输出时间信息相对应的图像是所述多视角图像中编码顺序中的第一图像，并且

所述输出装置基于所述输出时间信息输出已由所述解码装置生成的、与所述输出时间信息相对应的图像的图像数据和编码顺序在所述第一图像之后的不与所述输出时间信息相对应的图像的图像数据，作为所述多视角图像的图像数据。

10.如权利要求8所述的图像处理设备，

其中与所述输出时间信息相对应的图像是所述多视角图像中编码顺序中的最后一图像，并且

所述输出装置基于所述输出时间信息输出已由所述解码装置生成的、与所述输出时间信息相对应的图像的图像数据和编码顺序在所述最后一图像之前的不与所述输出时间信息相对应的图像的图像数据，作为所述多视角图像的图像数据。

11.如权利要求8所述的图像处理设备，

其中所述多视角图像是包括由左眼观察的左图像和由右眼观察的右图像的立体图像，

与所述输出时间信息相对应的图像是所述左图像，并且

所述输出装置基于所述输出时间信息输出已由所述解码装置生成的、与所述输出时间信息相对应的左图像的图像数据和不与所述输出时间信息相对应的右图像的图像数据，作为所述多视角图像的图像数据。

12.如权利要求8所述的图像处理设备，

其中所述多视角图像是包括由左眼观察的左图像和由右眼观察的右图像的立体图像，

与所述输出时间信息相对应的图像是所述右图像，并且

所述输出装置基于所述输出时间信息输出已由所述解码装置生成的、与所述输出时间信息相对应的右图像的图像数据和不与所述输出时间信息相对应的左图像的图像数据，作为所述多视角图像的图像数据。

13.如权利要求8所述的图像处理设备，

其中所述接收装置接收指示所述多视角图像的编码顺序的编码顺序信息，并且

所述输出装置基于由所述编码顺序信息指示的编码顺序输出已由所述解码装置生成的、与所述输出时间信息相对应的图像的图像数据和编码顺序在与该信息相对应的图像之前或之后的不与所述输出时间信息相对应的图像的图像数据，作为所述多视角图像的图像数据。

14.一种图像处理设备的图像处理方法，包括以下步骤：

接收通过对形成立体图像的多视角图像的图像数据进行编码而获得的编码流和指示图像的解码结果的输出时间的输出时间信息，所述输出时间信息连接到所述编码流中多视角图像中的任意一个的编码数据；

对通过接收步骤的处理接收的编码流进行解码以生成图像数据；以及

基于通过接收步骤的处理接收的输出时间信息输出已通过解码步骤的处理生成的、与所述输出时间信息相对应的图像的图像数据和不与所述输出时间信息相对应的图像的图像数据，作为所述多视角图像的图像数据。

15.一种图像处理设备，包括：

编码单元，被配置为对形成立体图像的多视角图像的图像数据进行编码以生成编码流；以及

发送单元，被配置为将指示图像的解码结果的输出时间的输出时间信息仅连接到所述编码流中多视角图像中的任意一个的编码数据。

16.一种图像处理设备，包括：

接收单元，被配置为接收通过对形成立体图像的多视角图像的图像数据进行编码而获得的编码流和指示图像的解码结果的输出时间的输出时间信息，所述输出时间信息连接到所述编码流中多视角图像中的任意一个的编码数据；

解码单元，被配置为对所述接收单元所接收的编码流进行解码以生成图像数据；以及

输出单元，被配置为基于所述接收单元所接收的输出时间信息输出已由所述解码单元生成的、与所述输出时间信息相对应的图像的图像数据和不与所述输出时间信息相对应的图像的图像数据，作为所述多视角图像的图像数据。

Images