CN102334340A - 三维影像处理装置及三维影像处理方法 - Google Patents

Abstract

一种三维影像处理装置(100)，输出重叠于主影像上的左眼用图像与右眼用图像，具备输出左眼用图像的左眼用对象处理部(210)、输出右眼用图像的右眼用对象处理部(220)以及控制左眼用对象处理部(210)与右眼用对象处理部(220)以同步输出左眼用图像与右眼用图像的输出控制部(230)，左眼用对象处理部(210)具备判定左眼用图像的输出准备是否完成的输出处理部(215)，右眼用对象处理部(220)具备判定右眼用图像的输出准备是否完成的输出处理部(225)，输出控制部(230)在判定为左眼用图像及右眼用图像之一的输出准备未完成的情况下，使左眼用图像及右眼用图像双方的输出跳过。

Description

三维影像处理装置及三维影像处理方法

技术领域

本发明涉及一种三维影像处理装置，尤其涉及一种在三维主影像上重叠对象图像的三维影像处理装置。

背景技术

以前，已知三维显示影像以使视听者立体感受的技术。例如，三维影像显示装置显示具有视差的2个图像(左眼用图像与右眼用图像)。三维影像显示装置控制显示方法以向视听者的左眼入射左眼用图像、向右眼入射右眼用图像，由此视听者能立体感受图像。

另外，还已知使字幕等对象图像重叠显示于电影等主影像上的技术。另外，伴随着重叠显示技术的发展，在字幕数据因传输错误等破损的情况下进行字符校正的技术也在开发之中(例如参照专利文献1)。

如上所述，可以想到如下技术，即通过使三维显示的技术与对象图像的重叠显示的技术组合，不仅三维显示主影像，还三维显示字幕。

先行技术文献

专利文献

专利文献1：特开2005-236925号公报

发明概要

发明要解决的课题

但是，在上述现有技术中，存在以下课题：在规定的输出时刻之前未准备好应输出的图像的情况下，视听三维影像的视听者感到不适。具体如下。

在对象图像的解码不及时的情况下，或因为流中产生错误而不能正确解码的情况下，在规定的输出时刻之前未准备好应输出的图像。在现有的三维影像处理装置中，在左眼用对象图像及右眼用对象图像中的某一方的输出准备未完成、仅另一方的输出准备完成的情况下，仅输出输出准备完成的一方的图像。因此，应输出的对象图像会以二维显示。

例如，在专利文献1所述的技术中，在对象图像由字符构成的情况下，即便有数据破损也能校正，但在对象图像由位图等图形构成的情况下，不能校正对象图像的管理信息。因此，会废弃不能校正的数据。此时，若仅废弃左眼用对象图像及右眼用对象图像之一的数据，则仅对应于未废弃的数据的对象图像被二维显示。

这样，若三维显示主影像、二维显示对象图像，则视听者会感到不适。

发明内容

因此，本发明为了解决上述课题而做出，其目的在于，提供一种三维影像处理装置及三维影像处理方法，减轻在三维影像过程中显示变为二维这样对视听者造成的不适。

用于解决课题的手段

为了实现上述目的，根据本发明的三维影像处理装置输出具有视差的、重叠于主影像上的左眼用对象图像与右眼用对象图像，具备：第1图像处理部，进行作为所述左眼用对象图像及所述右眼用对象图像中的一方的第1图像的输出准备后输出；第2图像处理部，进行作为所述左眼用对象图像及所述右眼用对象图像中的另一方的第2图像的输出准备后输出；和输出控制部，控制所述第1图像处理部与所述第2图像处理部，以使所述第1图像与所述第2图像同步输出；所述第1图像处理部具备第1判定部，判定所述第1图像的输出准备是否完成，所述第2图像处理部具备第2判定部，判定所述第2图像的输出准备是否完成，所述输出控制部在由所述第1判定部及所述第2判定部的一方判定为所述第1图像及所述第2图像中的一方的输出准备未完成的情况下，使所述第1图像及所述第2图像双方的输出跳过。

发明效果

根据本发明的三维影像处理装置及三维影像处理方法，能减轻对视听者造成的不适。

附图说明

图1是表示根据实施方式1的三维影像处理装置的构成的框图。

图2是表示具备三维影像处理装置的数字视频记录器及数字电视的外观的示意图。

图3是表示根据实施方式1的对象处理部的构成的框图。

图4是表示根据实施方式1的对象处理部的与错误检测有关的动作的流程图。

图5A是示意地表示根据实施方式1的错误发生时输出的图像的图。

图5B是示意地表示根据实施方式1的错误发生时输出的图像的图。

图6是表示根据实施方式2的对象处理部的构成的框图。

图7是表示根据实施方式2的对象处理部的与错误检测有关的动作的流程图。

图8是示意地表示根据实施方式2的错误发生时输出的图像的图。

图9是表示根据实施方式3的对象处理部的构成的框图。

图10是表示根据实施方式3的对象处理部的与输出有关的动作的流程图。

图11是表示根据实施方式4的对象处理部的构成的框图。

图12是表示根据实施方式4的对象处理部的与输出有关的动作的流程图。

图13是示意地表示根据实施方式4的输出准备未完成的情况下输出的图像的图。

图14是表示根据实施方式5的对象处理部的构成的框图。

图15是表示根据实施方式5的对象处理部的与输出有关的动作的流程图。

图16是示意地表示根据实施方式5的输出准备未完成的情况下输出的图像的图。

图17是表示根据实施方式6的对象处理部的构成的框图。

图18是表示根据实施方式6的对象处理部的与输出有关的动作的流程图。

图19是示意地表示根据实施方式6的输出准备未完成的情况下输出的图像的图。

具体实施方式

以下，根据实施方式，参照附图详细说明根据本发明的三维影像处理装置及三维影像处理方法。

(实施方式1)

根据实施方式1的影像信号处理装置是输出具有视差的、重叠于主影像上的左眼用对象图像与右眼用对象图像的三维影像处理装置，其特征在于，具备：第1图像处理部，进行作为左眼用对象图像及右眼用对象图像中的一方的第1图像的输出准备后输出；第2图像处理部，进行作为左眼用对象图像及右眼用对象图像中的另一方的第2图像的输出准备后输出；和输出控制部，控制第1图像处理部与第2图像处理部，以使第1图像与第2图像同步输出。第1图像处理部具备第1判定部，判定第1图像的输出准备是否完成，第2图像处理部具备第2判定部，判定第2图像的输出准备是否完成，输出控制部在由第1判定部及第2判定部的一方判定为第1图像及第2图像中的一方的输出准备未完成的情况下，使第1图像及第2图像双方的输出跳过。

首先，说明根据实施方式1的三维影像处理装置的构成。

图1是表示根据实施方式1的三维影像处理装置100的构成的框图。根据实施方式1的三维影像处理装置100取得表示被编码的三维影像的编码流，将取得的编码流解码，由此生成三维影像后输出。其中，编码流是电影等主影像与重叠于主影像上的字幕等对象图像被编码而生成的流。

如图1所示，三维影像处理装置100具备输入部110、分离部120、主影像处理部130、对象处理部140与合成部150。

输入部110取得编码流。例如，输入部110从记录有编码流的记录介质160取得编码流。将取得的编码流例如存储在缓冲器(未图示)等中。

编码流是主影像与对象图像被分别编码、表示被编码的主影像的编码主影像流与表示被编码的对象图像的编码对象流被多路复用而生成的流。主影像由应入射到视听者左眼的左眼用主图像和应入射到视听者右眼的右眼用主图像构成。主影像例如是电影、TV节目等的影像。

对象图像由应入射到视听者左眼的左眼用对象图像和应入射到视听者右眼的右眼用对象图像构成。对象图像例如是电影的字幕、记号、图形或菜单图像。菜单图像是表示选择按钮等的图像。

另外，记录介质160例如是BD(Blu-ray Disc)等光盘、HDD(Hard DiskDrive)等磁盘或非易失性存储器等。

另外，输入部110也可不从记录介质160取得编码流，而从由HDMI(High Definition Multimedia Interface)线缆等连接的影像记录再现装置(例如数字视频记录器)等经HDMI线缆取得编码流。或者，输入部110也可经地面数字电视广播或卫星数字电视广播等广播波或因特网取得编码流。

分离部120将由输入部110取得的编码流分离成左眼用主影像、右眼用主影像、左眼用对象图像与右眼用对象图像。具体地，将左眼用对象图像与右眼用对象图像分别分离成独立的流(左眼用对象流与右眼用对象流)。另外，下面将左眼用对象流与右眼用对象流分别仅记载为左眼用流与右眼用流。

另外，左眼用主影像与右眼用主影像也一样，分别分离成独立的流(左眼用主影像流与右眼用主影像流)。其中，左眼用主影像流与右眼用主影像流也可具有参照关系。例如，右眼用主影像流中包含的图像也可参照左眼用主影像流中包含的图像来编码。

将左眼用主影像(左眼用主影像流)与右眼用主影像(右眼用主影像流)输出到主影像处理部130。将左眼用对象图像(左眼用流)与右眼用对象图像(右眼用流)输出到对象处理部140。

另外，左眼用流与右眼用流定义成能分别独立解码，并且为相同构成。另外，所谓相同构成是指左眼用流与右眼用流各自所包含的头中的多个信息彼此为相同信息。

另外，也可分别单独输入左眼用主影像流、右眼用主影像流、左眼用流及右眼用流。例如，也可左眼用主影像流与右眼用主影像流从记录介质160输入，左眼用流与右眼用流经由因特网输入。此时，分离部120对应于被输入的流的种类，向主影像处理部130及对象处理部140之一输出被输入的流。

主影像处理部130通过处理左眼用主影像与右眼用主影像，生成三维显示的主影像。如图1所示，主影像处理部130具备左眼用主影像处理部131、右眼用主影像处理部132与选择部133。

左眼用主影像处理部131通过解码表示被编码的左眼用主影像的左眼用主影像流，生成左眼用主影像。另外，将生成的左眼用主影像例如存储在DRAM(Dynamic Random Access Memory)等存储器中。并且，左眼用主影像处理部131也可变更生成的左眼用主影像的图像尺寸、帧速率及扫描方式。

右眼用主影像处理部132通过解码表示被编码的右眼用主影像的右眼用主影像流，生成右眼用主影像。另外，将生成的右眼用主影像例如存储在DRAM等存储器中。并且，右眼用主影像处理部132也可变更生成的右眼用主影像的图像尺寸、帧速率及扫描方式。

选择部133对每个图片交替选择左眼用主影像与右眼用主影像，将选择到的图像输出到合成部150。另外，作为三维显示技术，利用对每个图片使左眼用主影像与右眼用主影像交替显示的技术。也可使用在一个图片中使左眼用主影像与右眼用主影像按空间上不同的每个像素配置而显示的技术。此时，主影像处理部130只要具备在每个像素配置左眼用主影像与右眼用主影像的影像合成部来代替选择部133即可。

对象处理部140通过分别解码左眼用流与右眼用流，生成左眼用对象图像与右眼用对象图像。对象处理部140的详细构成及动作在后说明。

合成部150通过按每个图片重叠从主影像处理部130输出的主影像与从对象处理部140输出的对象图像来生成合成图像。将生成的合成图像输出到显示面板等显示装置后显示。

另外，根据实施方式1的三维影像处理装置100例如配备在图2所示的数字电视10或数字视频记录器20中。在数字视频记录器20具备三维影像处理装置100的情况下，将由合成部150生成的合成图像例如经HDMI线缆等输出到数字电视10。

接着，说明根据实施方式1的对象处理部140的详细构成。

图3是表示根据实施方式1的对象处理部140的构成的框图。对象处理部140生成重叠于主影像上的图像、且具有视差的左眼用对象图像与右眼用对象图像后输出。左眼用对象图像及右眼用对象图像是字幕、记号、图形或菜单图像。

如图3所示，对象处理部140具备左眼用对象处理部210、右眼用对象处理部220、输出控制部230与选择部240。

左眼用对象处理部210是执行作为左眼用对象图像及右眼用对象图像中的一方的第1图像的输出准备后输出的第1图像处理部的一例。左眼用对象处理部210通过解码包含被编码的左眼用对象图像的左眼用流，生成左眼用对象图像。另外，左眼用对象处理部210具有第1平面存储器，作为输出准备，使用头(header)，将生成的左眼用对象图像描绘在第1平面存储器中，在规定的输出预定时刻输出。

如图3所示，左眼用对象处理部210具备流缓冲器211、解码器212、对象缓冲器213、属性信息缓冲器214、输出处理部215、图形平面216与颜色变换部217。

流缓冲器211是存储从分离部120输出的左眼用流的缓冲存储器。

解码器212从流缓冲器211中读出左眼用流，解码读出的左眼用流，由此生成左眼用对象图像与头。将左眼用对象图像存储在对象缓冲器213中，将头存储在属性信息缓冲器214中。

另外，头包含左眼用对象图像的属性信息，例如包含用于控制左眼用对象的描绘及输出的信息。例如，头包含表示主影像的图像尺寸及帧速率的视频信息、表示窗口的识别符及窗口尺寸的窗口信息、以及表示对象图像的识别符及切出尺寸的对象控制信息等。另外，头包含表示对象图像的显示位置的信息等。

另外，上面所示的头所表示的信息中，视频信息、窗口信息及对象控制信息在左眼用对象图像与右眼用对象图像中相同。

对象缓冲器213是保持左眼用对象图像的缓冲存储器。另外，左眼用对象图像例如是位图形式的图像。

属性信息缓冲器214是保持上述头的缓冲存储器。

输出处理部215使用属性信息缓冲器214中存储的头，进行左眼用对象图像的输出准备。具体地，输出处理部215根据头中包含的属性信息，通过将对象缓冲器213中存储的左眼用对象图像描绘在图形平面216中，进行输出准备。若输出准备完成，则输出处理部215将表示输出准备完成的准备完成通知通知给输出控制部230。准备完成通知中包含输出准备完成的左眼用对象图像的输出预定时刻、例如PTS(Presentation Time Stamp)。

之后，输出处理部215根据从输出控制部230通知的输出指示，控制图形平面216及颜色变换部217，以在作为输出左眼用对象图像的时刻的输出预定时刻，输出左眼用对象图像。并且，输出处理部215是第1判定部的一例，判定左眼用对象图像的输出准备是否完成。

具体地，输出处理部215解析存储在属性信息缓冲器214中的头。解析的结果，在头中发生错误的情况下，输出处理部215判定为左眼用对象图像的输出准备未完成，将表示发生错误的错误通知通知给输出控制部230。错误通知包含构成对象的左眼用对象图像的输出预定时刻、具体为构成对象的左眼用对象图像的PTS。

另外，所谓头中发生错误的情况例如是头未按照预定的标准的情况，即头为不按照标准的值的情况。或者，是头缺失、对象的左眼用对象图像的头未存储在属性信息缓冲器214中的情况。

另外，输出处理部215在从输出控制部230接受了输出跳过指示的情况下，跳过与输出跳过指示所示的时刻对应的左眼用对象图像的输出。具体地，输出处理部215不执行图形平面216的输出处理，由此跳过左眼用对象图像的输出。另外，写入图形平面216中的数据被清除以备下一对象图像的输出准备。

图形平面216是第1平面存储器的一例，是用于描绘左眼用对象图像的描绘用平面存储器。

颜色变换部217具有CLUT(Color Look Up Table)，使左眼用对象图像彩色显示。

另外，在将未编码的左眼用对象图像输入左眼用对象处理部210的情况下，左眼用对象处理部210也可不具备流缓冲器211及解码器212。

右眼用对象处理部220是执行作为左眼用对象图像及右眼用对象图像中的另一方的第2图像的输出准备后输出的第2图像处理部的一例。右眼用对象处理部220通过解码包含被编码的右眼用对象图像的右眼用流，生成右眼用对象图像。另外，右眼用对象处理部220具有第2平面存储器，作为输出准备，使用头，将生成的右眼用对象图像描绘在第2平面存储器中，在规定的输出预定时刻输出。

如图3所示，右眼用对象处理部220具备流缓冲器221、解码器222、对象缓冲器223、属性信息缓冲器224、输出处理部225、图形平面226与颜色变换部227。

流缓冲器221是存储从分离部120输出的右眼用流的缓冲存储器。

解码器222从流缓冲器221中读出右眼用流，解码读出的右眼用流，由此生成右眼用对象图像与头。将右眼用对象图像存储在对象缓冲器223中，将头存储在属性信息缓冲器224中。

另外，头包含右眼用对象图像的属性信息，例如包含用于控制右眼用对象的描绘及输出的信息。例如，头包含表示主影像的图像尺寸及帧速率的视频信息、表示窗口的识别符及窗口尺寸的窗口信息、以及表示对象图像的识别符及切出尺寸的对象控制信息等。另外，头包含表示对象图像的显示位置的信息、及表示左眼用对象图像与右眼用对象图像具有的视差的信息。

另外，上面所示的头所表示的信息中，视频信息、窗口信息及对象控制信息在左眼用对象图像与右眼用对象图像中相同。

对象缓冲器223是保持右眼用对象图像的缓冲存储器。另外，右眼用对象图像例如是位图形式的图像。

属性信息缓冲器224是保持上述头的缓冲存储器。

输出处理部225使用属性信息缓冲器224中存储的头，进行右眼用对象图像的输出准备。具体地，输出处理部225根据头中包含的属性信息，将对象缓冲器223中存储的右眼用对象图像描绘在图形平面226中，由此进行输出准备。若输出准备完成，则输出处理部225将表示输出准备完成的准备完成通知通知给输出控制部230。准备完成通知包含输出准备完成的右眼用对象图像的输出预定时刻、例如PTS。

之后，输出处理部225根据从输出控制部230通知的输出指示，控制图形平面226及颜色变换部227，以在作为输出右眼用对象图像的时刻的输出预定时刻，输出右眼用对象图像。并且，输出处理部225是第2判定部的一例，判定右眼用对象图像的输出准备是否完成。

具体地，输出处理部225解析存储在属性信息缓冲器224中的头。解析的结果，在头中发生错误的情况下，输出处理部225判定为右眼用对象图像的输出准备未完成，将表示发生错误的错误通知通知给输出控制部230。错误通知包含构成对象的右眼用对象图像的输出预定时刻、具体为构成对象的右眼用对象图像的PTS。

另外，所谓头中发生错误的情况例如是头未按照预定的标准的情况，即头为不按照标准的值的情况。或者，是头缺失、对象的右眼用对象图像的头未存储在属性信息缓冲器224中的情况。

另外，输出处理部225在从输出控制部230接受了输出跳过指示的情况下，跳过与输出跳过指示所示的时刻对应的右眼用对象图像的输出。具体地，输出处理部225不执行图形平面226的输出处理，由此跳过右眼用对象图像的输出。另外，写入图形平面226中的数据被清除以备下一对象图像的输出准备。

图形平面226是第2平面存储器的一例，是用于描绘右眼用对象图像的描绘用平面存储器。

颜色变换部227具有CLUT(Color Look Up Table)，使右眼用对象图像彩色显示。

另外，在将未编码的右眼用对象图像输入右眼用对象处理部220的情况下，右眼用对象处理部220也可不具备流缓冲器221及解码器222。

输出控制部230控制左眼用对象处理部210与右眼用对象处理部220，以使左眼用对象图像与右眼用对象图像同步输出。如图3所示，输出控制部230具备输出同步部231与解码器控制部232。

输出同步部231使左眼用对象图像与右眼用对象图像同步。具体地，输出同步部231根据从输出处理部215及225通知的PTS，向输出处理部215及225分别通知输出指示，以在PTS所示的相同时刻输出具有相同PTS的左眼用对象图像与右眼用对象图像。

解码器控制部232在由输出处理部215及输出处理部225一方判断为左眼用对象图像及右眼用对象图像中的一方的输出准备未完成的情况下，使左眼用对象图像及右眼用对象图像双方的输出跳过。具体地，在从输出处理部215及225一方接受了错误通知的情况下，解码器控制部232向输出处理部215及225双方通知输出跳过指示。

输出跳过指示是用于使输出跳过的指示，包含跳过的图像的PTS。即，解码器控制部232将从输出处理部215及225一方与错误通知一起通知的PTS作为输出跳过指示，通知给输出处理部215及225双方。

选择部240对每个图片交替选择从左眼用对象处理部210输出的左眼用对象图像与从右眼用对象处理部220输出的右眼用对象图像，将选择的图像输出到合成部150。

另外，选择部240与选择部133一样，作为三维显示技术，利用对每个图片使左眼用对象图像与右眼用对象图像交替显示的技术。也可使用在一个图片中使左眼用对象图像与右眼用对象图像按空间上不同的每个像素配置而显示的技术。此时，对象处理部140只要具备按每个像素配置左眼用对象图像与右眼用对象图像的对象图像合成部来代替选择部240即可。

如上面构成所示，根据实施方式1的三维影像处理装置100具备执行主影像的解码等的主影像处理部130、以及执行作为重叠于主影像上的图像的对象图像的解码等的对象处理部140。对象处理部140中，左眼用对象处理部210解码左眼用流，由此生成左眼用对象图像后输出，右眼用对象处理部220解码右眼用流，由此生成右眼用对象图像后输出。

另外，输出控制部230使左眼用对象图像与右眼用对象图像同步后输出。并且，输出控制部230在左眼用对象图像与右眼用对象图像中的一方的输出准备未完成的情况下，具体地在一方的头中发生错误的情况下，使左眼用对象图像及右眼用对象图像双方的输出跳过。

由此，根据实施方式1的三维影像处理装置100通过跳过输出，从而继续三维显示，所以能减轻因为头中发生错误而二维显示对象图像等对视听者造成的不适。

接着，说明根据实施方式1的对象处理部140的动作中、尤其涉及错误检测的动作。另外，下面为了简单，说明左眼用对象图像的头中发生错误的情况。因为右眼用对象图像的头中发生错误的情况也一样，所以省略说明。另外，作为头中发生错误的情况，举例说明头不按照标准的情况。

图4是表示根据实施方式1的对象处理部140的与错误检测有关的动作的流程图。

首先，输出处理部215解析存储在属性信息缓冲器214中的头(S101)。解析的结果，在判定为头不按照标准的情况下(S102为是)，输出处理部215向解码器控制部232通知包含与判定为不按照标准的头对应的左眼用对象图像的输出预定时刻(PTS)的错误通知(S103)。解码器控制部232在接受错误通知的情况下，将包含错误通知所表示的输出预定时刻的输出跳过指示通知给输出处理部215及225双方(S104)。

接受了输出跳过指示的输出处理部215及225分别跳过对应于输出预定时刻的左眼用对象图像及右眼用对象图像的输出(S105)。另外，输出处理部215及225分别清除图形平面216及226的数据。

另外，解析的结果，在判定为头按照标准的情况下(S102为否)，则输出处理部215根据来自输出同步部231的输出指示，输出左眼用对象图像(S106)。输出处理部225也一样，根据来自输出同步部231的输出指示，输出右眼用对象图像。

重复以上处理(S101-S106)，直到无应输出的下一图像为止(S107)。

如上所述，根据实施方式1的对象处理部140通过解析头来检测左眼用对象图像及右眼用对象图像中的一方的输出准备未完成的情况。具体地，对象处理部140判定左眼用对象图像的头及右眼用对象图像的头中的一方是否按照标准。

解析(判定)的结果，在头不按照标准的情况下，对象处理部140跳过判定为不按照标准的输出预定时刻的左眼用对象图像及右眼用对象图像双方的输出。即，对象处理部140不输出左眼用对象图像及右眼用对象图像双方，而执行下一对象图像的处理。

另外，在图4的说明中，在左眼用对象图像中发生错误的情况下，具体说明左眼用对象处理部210的动作，但右眼用对象处理部220也与左眼用对象处理部210同样动作。

如上所述，因为左眼用流与右眼用流能独立解码，所以左眼用对象处理部210与右眼用对象处理部220除了输出的定时之外不必同步。因此，输出控制部230只要在从左眼用对象处理部210与右眼用对象处理部220任一方接受了错误通知的时刻向另一方通知输出跳过指示即可。

图5A是示意地表示根据实施方式1的错误发生时输出的图像的图。

如图5A所示，三维的对象图像由左眼用对象图像(L1、L2、L3…)与右眼用对象图像(R1、R2、R3…)构成。通过使左眼用对象图像与右眼用对象图像具有视差，当视听者看图像时，能立体感受图像。

通常，在三维显示左眼用图像与右眼用图像的方法中，例如有对每个图片交替显示左眼用图像与右眼用图像的方法。此时，视听者只要戴上具备左眼用液晶快门与右眼用液晶快门的快门眼镜并使快门的开闭与显示同步即可。

具体地，通过来自显示装置的控制，显示左眼用图像的期间仅打开左眼用液晶快门，显示右眼用图像的期间仅打开右眼用液晶快门。由此，视听者能有选择地用左眼看左眼用图像，用右眼看右眼用图像，能立体感受图像。

或者，显示装置也可将左眼用图像与右眼用图像按每个像素在1图片内配置成方格状，在左眼用图像与右眼用图像上施加不同的偏振光显示。此时，视听者只要戴上具备左眼用偏振光滤波器与右眼用偏振光滤波器的偏振光眼镜即可。由此，视听者能有选择地用左眼看左眼用图像，用右眼看右眼用图像，能立体感受图像。

这里，如图5A所示，说明右眼用对象图像R2的头不按照标准、输出处理部225将错误通知通知给解码器控制部232的情况。此时，解码器控制部232因为将输出跳过指示通知给输出处理部215及225双方，所以不仅不输出右眼用对象图像R2，也不输出左眼用对象图像L2。

因此，在本来应显示左眼用对象图像L2与右眼用对象图像R2的期间，仍三维显示左眼用对象图像L1与右眼用对象图像R1。

相反，若在以前，由于二维显示与出现错误的图像成对的图像(这里为左眼用对象图像L2)，结果让视听者感到不适。但是，在根据实施方式1的三维影像处理装置100中，因为继续三维显示，所以能减轻视听者的不适。

另外，如图5B所示，也可以不仅跳过左眼用对象图像L2与右眼用对象图像R2的输出，而且代之输出用于消除以前显示的图像的消除用数据。

具体地，输出处理部215及225将消除用数据写入图形平面216及226中。消除用数据是用于消除仍描绘在图形平面216或226中的左眼用对象图像或右眼用对象图像的数据，具体地，是使重叠对象的图像(例如左眼用主影像及右眼用主影像)透过的透过图像。因此，在本来应显示左眼用对象图像L2及右眼用对象图像R2的期间什么也不显示(仅三维显示主影像)。

由此，不仅不二维显示出现错误的图像，还能防止继续显示前一个图像。例如，在主影像是电影、对象图像是字幕的情况下，能防止在主影像显示说下一台词的影像的期间显示前一个台词的字幕。因此，能进一步减轻视听者的不适。

这样，通过输出消除用数据，能消除以前显示的图像。因此，例如因为能消除前一个字幕，所以能防止主影像与字幕不一致的情况。

如上所述，在根据实施方式1的三维影像处理装置100中，输出控制部230在左眼用对象图像与右眼用对象图像的一方的输出准备未完成的情况下，具体地在一方头中发生错误的情况下，换言之在不能正确显示图像的情况下，使左眼用对象图像及右眼用对象图像双方的输出跳过。

由此，根据实施方式1的三维影像处理装置100由于通过跳过发生错误的图像的输出来继续三维显示，所以能减轻因为头中发生错误而二维显示对象图像等对视听者造成的不适。

具体地，判定头是否按照标准，在判定为头不按照标准的情况下，使双方的输出跳过，所以当显示对象图像时，继续三维显示。因此，能减轻因为头不按照标准的情况下二维显示对象图像等不适。

(实施方式2)

根据实施方式2的三维影像处理装置输出具有视差的、重叠于主影像上的左眼用对象图像与右眼用对象图像，其特征在于，具备：第1图像处理部，进行作为左眼用对象图像及右眼用对象图像中的一方的第1图像的输出准备后输出；第2图像处理部，进行作为左眼用对象图像及右眼用对象图像中的另一方的第2图像的输出准备后输出；和输出控制部，控制第1图像处理部与第2图像处理部，以使第1图像与第2图像同步输出；第1图像处理部具备第1判定部，判定第1图像的输出准备是否完成，第2图像处理部具备第2判定部，判定第2图像的输出准备是否完成，输出控制部在由第1判定部判定为第1图像的输出准备未完成、且由第2判定部判定为第2图像的输出准备完成的情况下，将规定的补充图像作为第1图像输出。

由此，因为在第1图像的输出准备未完成的情况下输出补充图像，所以能由补充图像与第2图像继续三维显示。因此，能减轻二维显示对象图像的不适。

具体地，根据实施方式2的三维影像处理装置判定头中是否发生错误，在判定为头中发生错误的情况下，判定为对应于该头的图像的输出准备未完成。另外，其特征在于，在头中发生错误的情况下，使用判定为发生错误的另一方的头的属性信息来生成补充图像。

即，根据实施方式2的三维影像处理装置与根据实施方式1的三维影像处理装置相比，不同之处在于，在判断为头中发生错误的情况下，不使左眼用对象图像与右眼用对象图像双方的输出跳过，而是生成补充图像，并输出生成的补充图像来代替与发生错误的头对应的图像。

下面，省略说明与实施方式1相同之处，主要说明不同之处。具体地，编码流的分离及主影像的处理与实施方式1一样，所以省略说明，主要说明对象图像的处理。

图6是表示根据实施方式2的对象处理部140a的构成的框图。另外，对象处理部140a相当于图1所示的对象处理部140。

图6所示的对象处理部140a与图3所示的对象处理部140相比，不同之处在于，具备左眼用对象处理部310、右眼用对象处理部320及输出控制部330来代替左眼用对象处理部210、右眼用对象处理部220及输出控制部230。

具体地，左眼用对象处理部310与图3所示的左眼用对象处理部210相比，不同之处在于具备输出处理部315来代替输出处理部215。右眼用对象处理部320与图3所示的右眼用对象处理部220相比，不同之处在于具备输出处理部325来代替输出处理部225。输出控制部330与图3所示的输出控制部230相比，不同之处在于具备头补充部332来代替解码器控制部232。

输出处理部315除输出处理部215的动作外，还在向输出控制部330通知错误通知时，将识别出现错误的头中包含的属性信息的识别符通知给头补充部332。具体地，输出处理部315判定每个属性信息是否不按照标准，通知表示判定为不按照标准的属性信息的识别符。

另外，此时，输出处理部315通知表示能与右眼用对象图像的头中包含的属性信息置换的属性信息、即相同的属性信息的识别符。具体地，是上述视频信息、窗口信息及对象控制信息等。

另外，输出处理部315在从头补充部332接受了头取得要求的情况下，将头取得要求所表示的头的属性信息返回头补充部332。另外，头取得要求包含出现错误的头中包含的属性信息的识别符。

并且，输出处理部315在通知错误通知之后，在从头补充部332接受了头的情况下，使用接受的头的属性信息，生成补充图像，在与出现错误的头对应的左眼用对象图像的输出预定时刻输出生成的补充图像。另外，此时输出处理部315解析从头补充部332接受的头。具体地，输出处理部315从对象缓冲器213中读出左眼用对象图像，使用头的属性信息，将读出的左眼用对象图像描绘在图形平面216中，由此生成补充图像。

输出处理部325除输出处理部225的动作外，还在向输出控制部330通知错误通知时，将识别出现错误的头中包含的属性信息的识别符通知给头补充部332。具体地，输出处理部315判定每个属性信息是否不按照标准，通知表示判定为不按照标准的属性信息的识别符。

另外，此时，输出处理部325通知表示能与左眼用对象图像的头中包含的属性信息置换的属性信息、即相同的属性信息的识别符。具体地，是上述视频信息、窗口信息及对象控制信息等。

另外，输出处理部325在从头补充部332接受了头取得要求的情况下，将头取得要求所表示的头的属性信息返回头补充部332。另外，头取得要求包含出现错误的头中包含的属性信息的识别符。

并且，输出处理部325在通知错误通知之后，在从头补充部332接受了头的情况下，使用接受的头的属性信息，生成补充图像，在与出现错误的头对应的右眼用对象图像的输出预定时刻输出生成的补充图像。另外，此时输出处理部325解析从头补充部332接受的头。具体地，输出处理部325从对象缓冲器223中读出右眼用对象图像，使用头的属性信息，将读出的右眼用对象图像描绘在图形平面226中，由此生成补充图像。

头补充部332在左眼用对象图像及右眼用对象图像任一方的头不按照标准的情况下，取得包含与该头包含的属性信息相同的属性信息的另一方的头。具体地，在从输出处理部315及325任一方接受了错误通知的情况下，头补充部332将包含接受的错误通知中包含的属性信息的识别符的头取得要求通知给输出处理部315及325的另一方。之后，头补充部332从接受头取得要求的输出处理部315及325的另一方取得属性信息，将取得的属性信息返回到输出处理部315及325的一方。

如上面构成所示，根据实施方式2的对象处理部140a具备头补充部332，在左眼用对象处理部210及右眼用对象处理部220任一方中头判定为错误的情况下，从另一方取得头的属性信息，将取得的头的属性信息输出到检测到错误的一方的处理部。新取得头的属性信息的一方的处理部使用取得的属性信息，生成补充图像，输出生成的补充图像。

由此，根据实施方式2的对象处理部140a输出补充图像来代替输出发生错误的图像，所以能减轻因为头不按照标准而二维显示对象图像等对视听者造成的不适。并且，因为补充了未发生错误时应得到的信息，所以还能减轻得不到应得到的信息的不适。

接着，说明根据实施方式2的对象处理部140a的动作中、尤其涉及错误检测的动作。另外，下面为了简单，说明左眼用对象图像的头中发生错误的情况。因为右眼用对象图像的头中发生错误的情况也一样，所以省略说明。另外，作为头中发生错误的情况，举例说明头不按照标准的情况。

图7是表示根据实施方式2的对象处理部140a的与错误检测有关的动作的流程图。

首先，输出处理部315解析存储在属性信息缓冲器214中的头(S201)。解析的结果，在判定为头不按照标准的情况下(S202为是)，输出处理部315向头补充部332通知错误通知，该错误通知包含与判定为不按照标准的头对应的左眼用对象图像的输出预定时刻(PTS)和发生错误的属性信息的识别符(S203)。

头补充部332若接受错误通知，则将头取得要求通知给输出处理部325(S204)。输出处理部325将与头取得要求表示的识别符对应的属性信息返回头补充部332。并且，头补充部332将从输出处理部325接受的属性信息返回输出处理部315(S205)。输出处理部315再次解析接受的属性信息(S201)。

另外，解析的结果，在判定为头按照标准的情况下(S202为否)，则输出处理部315根据来自输出同步部231的输出指示，输出左眼用对象图像(S206)。输出处理部325也一样，根据来自输出同步部231的输出指示，输出右眼用对象图像。

此时，在从头补充部332接受了属性信息的情况下，输出处理部315根据接受的属性信息，生成补充图像，将生成的补充图像作为左眼用对象图像输出。

重复以上处理(S201-S206)，直到无应输出的下一图像为止(S207)。

另外，在输出处理部325解析从头补充部332接受的属性信息，结果再次判定为不按照标准的情况下，例如也可如实施方式1所示，跳过左眼用对象图像及右眼用对象图像双方的输出。

如上所述，根据实施方式2的对象处理部140a通过解析头来检测左眼用对象图像及右眼用对象图像任一方的输出准备未完成的情况。即，对象处理部140a判定左眼用对象图像的头及右眼用对象图像的头任一方是否按照标准。

解析(判定)的结果，在头不按照标准的情况下，对象处理部140a输出使用左眼用对象图像及右眼用对象图像中的另一方的头的属性信息生成的补充图像，代替判定为不按照标准的输出预定时刻的左眼用对象图像及右眼用对象图像中的一方。

另外，在图7的说明中，在左眼用对象图像中发生错误的情况下，具体说明左眼用对象处理部310的动作，但右眼用对象处理部320也与左眼用对象处理部310同样动作。

如上所述，因为左眼用流与右眼用流能独立解码，所以左眼用对象处理部310与右眼用对象处理部320除了输出的定时之外不必同步。因此，输出控制部330只要在从左眼用对象处理部310与右眼用对象处理部320任一方接受了错误通知的时刻向另一方通知错误取得要求即可。在左眼用对象处理部310及右眼用对象处理部320的另一方接受错误取得要求的时刻，在对应的头还未存储在属性信息缓冲器214或224中的情况下，只要等待解码器212或222生成头后返回到头补充部332即可。

图8是示意地表示根据实施方式2的错误发生时输出的图像的图。

如图8所示，说明右眼用对象图像R2的头不按照标准、输出处理部325将错误通知通知给头补充部332的情况。此时，头补充部332将头取得要求通知给输出处理部315，并从输出处理部315取得头的属性信息。

之后，头补充部332将取得的属性信息返回到输出处理部325。输出处理部325根据从头补充部332接受的属性信息，生成补充图像，将生成的补充图像作为右眼用对象图像R2，在与左眼用对象图像L2相同的输出预定时刻输出。

由此，如图8所示，在应显示左眼用对象图像L2与右眼用对象图像R2的期间，三维显示左眼用对象图像L2与补充图像。因此，因为继续三维显示，所以能减轻视听者的不适。

如上所述，根据实施方式2的三维影像处理装置100在左眼用对象图像与右眼用对象图像任一方的输出准备未完成的情况下，具体地在任一方头不按照标准的情况下，利用左眼用对象图像及右眼用对象图像中的另一方的头来生成补充图像，代替判定为头不按照标准的图像，输出生成的补充图像。

由此，根据实施方式2的三维影像处理装置100还能减轻因为头不按照标准而二维显示对象图像的不适以及得不到应得到的信息的不适双方。

这样，因为左眼用对象图像的头与右眼用对象图像的头中包含共同的属性信息，所以在一方头的属性信息因错误未能利用的情况下，能通过利用另一方的头的属性信息来生成补充图像。因此，因为由补充图像与未发生错误的图像来继续三维显示，所以能减轻二维显示对象图像的不适。并且，通过生成补充图像并输出，能输出有可能因错误而不能显示的对象图像，所以能向视听者提供更多的信息。

(实施方式3)

根据实施方式3的三维影像处理装置的特征在于，具备输出同步部，该输出同步部判定在输出预定时刻之前左眼用对象图像及右眼用对象图像双方的输出准备是否完成，该三维影像处理装置在一方的输出准备未完成的情况下，使双方的输出跳过。

即，根据实施方式3的三维影像处理装置与根据实施方式1的三维影像处理装置相比，不同之处在于，不是通过判定头是否不按照标准，而是通过判定在规定时刻之前输出准备是否完成，来决定是否跳过输出。

下面，省略说明与实施方式1相同之处，主要说明不同之处。具体地，编码流的分离及主影像的处理与实施方式1一样，所以省略说明，主要说明对象图像的处理。

图9是表示根据实施方式3的对象处理部140b的构成的框图。另外，对象处理部140b相当于图1所示的对象处理部140。

图9所示的对象处理部140b与图3所示的对象处理部140相比，不同之处在于，具备输出控制部430来代替输出控制部230。具体地，输出控制部430具备输出同步部431与时钟提供部432。

输出同步部431使左眼用对象图像与右眼用对象图像同步。具体地，输出同步部431根据从输出处理部215及225通知的准备完成通知中包含的PTS，向输出处理部215及225分别通知输出指示，以在PTS所示的相同时刻输出具有相同PTS的左眼用对象图像与右眼用对象图像。

具体地，输出同步部431从输出处理部215及225任一方接受准备完成通知的情况下，通过比较接受的准备完成通知中包含的PTS所示的时刻与从时钟提供部432提供的基准时钟，判定输出预定时刻。之后，输出同步部431在从输出处理部215及225另一方于输出预定时刻之前接受具有相同PTS的图像的准备完成通知的情况下，在输出预定时刻将输出指示通知给输出处理部215及225双方。

在从输出处理部215及225另一方未接受具有相同PTS的图像的准备完成通知的情况下，即在左眼用对象图像及右眼用对象图像的另一方的输出准备未完成的情况下，输出同步部431将输出跳过指示通知给输出处理部215及225双方。

时钟提供部432将基准时钟提供给输出同步部431。基准时钟是规定频率的时钟信号。

如上面构成所示，根据实施方式3的对象处理部140b在左眼用对象图像与右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，跳过左眼用对象图像及右眼用对象图像双方的输出。具体地，输出同步部431在从左眼用对象图像与右眼用对象图像任一方被通知准备完成通知的情况下，在准备完成通知中包含的PTS所示的时刻之前，未从另一方被通知准备完成通知的情况下，使左眼用对象图像及右眼用对象图像双方的输出跳过。

由此，根据实施方式3的三维影像处理装置100，因为通过跳过输出来继续三维显示，所以能减轻二维显示输出准备完成的一方的对象图像等对视听者造成的不适。

接着，说明根据实施方式3的对象处理部140b的动作中、尤其涉及输出的动作。另外，下面为了简单，说明右眼用对象图像的输出准备在输出预定时刻之前未完成的情况。因为左眼用对象图像的输出准备未完成的情况也一样，所以省略说明。

图10是表示根据实施方式3的对象处理部140b的与输出有关的动作的流程图。

首先，输出同步部431等待从输出处理部215及225任一方接受准备完成通知(S301)。例如，输出同步部431在从输出处理部215接受了左眼用对象图像的准备完成通知的情况下(S301为是)，通过比较从时钟提供部432提供的基准时钟与准备完成通知中包含的PTS，判断输出预定时刻。之后，输出同步部431在时刻到达输出预定时刻之前的期间，等待从输出处理部225接受右眼用对象图像的准备完成通知(S302)。

在时刻到达输出预定时刻的情况下(S302为是)，并且从输出处理部215及225的另一方(这里为输出处理部225)接受了准备完成通知的情况下(S303为是)，输出同步部431将输出指示通知给输出处理部215及225。之后，输出处理部215及225分别在输出预定时刻输出左眼用对象图像与右眼用对象图像(S304)。

在时刻到达输出预定时刻的情况下(S302为是)，并且未从输出处理部225接受准备完成通知的情况下(S303为否)，输出同步部431将输出跳过指示通知给输出处理部215及225双方(S305)。接受了输出跳过指示的输出处理部215及225分别跳过对应于输出预定时刻的左眼用对象图像及右眼用对象图像的输出(S306)。之后，输出处理部215及225分别清除图形平面216及226的数据。

重复以上处理(S301-S306)，直到无应输出的下一图像为止(S307)。

如上所述，根据实施方式3的对象处理部140b通过与基准时钟的比较，来判定左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前是否完成。

判定的结果，在判定为左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，对象处理部140b跳过左眼用对象图像及右眼用对象图像双方的输出。即，对象处理部140b不输出左眼用对象图像及右眼用对象图像双方，而执行下一对象图像的处理。

另外，如上所述，因为左眼用流与右眼用流能独立解码，所以左眼用对象处理部210与右眼用对象处理部220除了输出的定时之外不必同步。因此，输出控制部430由于难以预测左眼用对象处理部210与右眼用对象处理部220哪个先完成输出的准备，所以最好如上所述，输出同步部431在等待来自任一方的准备完成通知之后进行输出预定时刻的判定。

另外，由根据实施方式3的对象处理部140b处理后的对象图像的显示与图5A及图5B一样。

如上所述，根据实施方式3的三维影像处理装置100在左眼用对象图像与右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，跳过左眼用对象图像及右眼用对象图像双方的输出。

由此，根据实施方式3的三维影像处理装置100，通过跳过输出准备未完成的图像的输出来继续三维显示，所以能减轻二维显示准备完成了的图像等对视听者造成的不适。

(实施方式4)

根据实施方式4的三维影像处理装置的特征在于，具备输出同步部，该输出同步部判定在输出预定时刻之前左眼用对象图像及右眼用对象图像双方的输出准备是否完成，该三维影像处理装置在到输出预定时刻为止任一方的输出准备完成且另一方的输出准备未完成的情况下，将输出准备完成的第1图像作为输出准备未完成的第2图像来输出。

即，根据实施方式4的三维影像处理装置与根据实施方式3的三维影像处理装置相比，不同之处在于，不是使左眼用对象图像及右眼用对象图像双方的输出跳过，而是将准备完成的一方的图像作为准备未完成的另一方的图像来输出。由此，仅对应的输出预定时刻的显示暂时变为二维显示。

下面，省略说明与实施方式3相同之处，主要说明不同之处。具体地，编码流的分离及主影像的处理与实施方式3一样，所以省略说明，主要说明对象图像的处理。

图11是表示根据实施方式4的对象处理部140c的构成的框图。另外，对象处理部140c相当于图1所示的对象处理部140。

图11所示的对象处理部140c与图9所示的对象处理部140b相比，不同之处在于，具备左眼用对象处理部510、右眼用对象处理部520及输出控制部530来代替左眼用对象处理部210、右眼用对象处理部220及输出控制部430。

具体地，左眼用对象处理部510与左眼用对象处理部210相比，不同之处在于新具备输出选择器518。右眼用对象处理部520与右眼用对象处理部220相比，不同之处在于新具备输出选择器528。输出控制部530与输出控制部430相比，不同之处在于具备输出同步部531来代替输出同步部431。

输出选择器518及528根据输出控制部530的控制，对从颜色变换部217输出的左眼用对象图像和从颜色变换部227输出的右眼用对象图像进行选择，并输出到选择部240。例如，输出选择器518及528根据从输出控制部530通知的、表示应选择的左眼用对象图像或右眼用对象图像的图像选择指示，选择图像选择指示所表示的图像。

输出同步部531执行与根据实施方式3的输出同步部431相同的动作。其中，输出同步部531在到输出预定时刻为止左眼用对象图像及右眼用对象图像双方的输出准备未完成的情况下，进行以下处理。

在到输出预定时刻为止左眼用对象图像及右眼用对象图像双方的输出准备未完成的情况下，即，未从输出处理部215及225某一方接受准备完成通知的情况下，输出同步部531控制输出选择器518及528，以从左眼用对象处理部510及右眼用对象处理部520双方输出相同图像。

例如，在从输出处理部215接受了准备完成通知，而未从输出处理部225接受准备完成通知的情况下，输出同步部531使输出选择器518及528选择从颜色变换部217输出的左眼用对象图像。即，输出同步部531将表示左眼用对象图像的图像选择指示通知给输出选择器518及528。

另外，也可输出选择器518通常选择左眼用对象图像，输出选择器528通常选择右眼用对象图像，仅在接收到来自输出同步部531的选择切换指示的情况下，输出选择器518才选择右眼用对象图像，输出选择器528才选择左眼用对象图像。选择切换指示是用于选择与通常选择的图像不同的图像的指示。此时，输出同步部531将选择切换指示仅输出到输出选择器518及528中、输出准备未完成的对象处理部具备的输出选择器。

如上面构成所示，根据实施方式4的对象处理部140c在左眼用对象图像与右眼用对象图像某一方的输出准备在规定输出预定时刻之前未完成的情况下，将输出准备完成的另一方的图像作为输出准备未完成的一方的图像来输出。具体地，输出左眼用对象图像来代替右眼用对象图像，或输出右眼用对象图像来代替左眼用对象图像。即，二维显示对应于该输出预定时刻的对象图像。

由此，根据实施方式4的三维影像处理装置100，虽然存在会二维显示的缺点，但视听者需要的信息例如即便是二维显示也能得到显示。因此，能减轻得不到应得到的信息的不适。

接着，说明根据实施方式4的对象处理部140c的动作中、尤其涉及输出的动作。另外，下面为了简单，说明右眼用对象图像的输出准备在输出预定时刻之前未完成的情况。因为左眼用对象图像的输出准备未完成的情况也一样，所以省略说明。

图12是表示根据实施方式4的对象处理部140c的与输出有关的动作的流程图。

首先，输出同步部531等待从输出处理部215及225任一方接受准备完成通知(S401)。例如，输出同步部531在从输出处理部215接受了左眼用对象图像的准备完成通知的情况下(S401为是)，通过比较从时钟提供部432提供的基准时钟与准备完成通知中包含的PTS，判断输出预定时刻。之后，输出同步部531在时刻到达输出预定时刻之前的期间，等待从输出处理部225接受右眼用对象图像的准备完成通知(S402)。

在时刻到达输出预定时刻的情况下(S402为是)，并且从输出处理部215及225的另一方(这里为输出处理部225)接受了准备完成通知的情况下(S403为是)，输出同步部531将输出指示通知给输出处理部215及225。之后，输出处理部215及225分别在输出预定时刻输出左眼用对象图像与右眼用对象图像(S405)。

在时刻到达输出预定时刻的情况下(S402为是)，并且未从输出处理部225接受准备完成通知的情况下(S403为否)，输出同步部531控制输出选择器518及528，以选择准备完成的左眼用对象图像(S404)。之后，输出选择器518及528双方均输出准备完成的左眼用对象图像(S405)。

重复以上处理(S401-S405)，直到无应输出的下一图像为止(S406)。

如上所述，根据实施方式4的对象处理部140c通过与基准时钟的比较，来判定左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前是否完成。

判定的结果，在判定为左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，对象处理部140c将准备完成的左眼用对象图像及右眼用对象图像中的另一方作为输出准备未完成的一方的图像来输出。

另外，如上所述，因为左眼用流与右眼用流能独立解码，所以左眼用对象处理部510与右眼用对象处理部520除了输出的定时之外不必同步。因此，输出控制部530由于难以预测左眼用对象处理部510与右眼用对象处理部520哪个先完成输出的准备，所以最好如上所述，输出同步部531在等待来自某一方的准备完成通知之后进行输出预定时刻的判定。

图13是示意地表示根据实施方式4的输出准备未完成的情况下输出的图像的图。

如图13所示，说明右眼用对象图像R2的输出准备未完成的情况。此时，输出同步部531通过控制输出选择器518及528，选择输出准备完成的左眼用对象图像L2。由此，如图13所示，因为代替右眼用对象图像R2来显示左眼用对象图像L2，所以在应显示左眼用对象图像L2与右眼用对象图像R2的期间，二维显示左眼用对象图像。

由此，通过显示变为二维显示，尽管也许对视听者多少造成不适，但能显示应提供给视听者的信息。因此，视听者能不损失必要的信息而看到全部信息，所以能减轻因损失信息而产生的不适。

如上所述，根据实施方式4的三维影像处理装置100在左眼用对象图像与右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，将输出准备完成的另一方的图像作为输出准备未完成的一方的图像来输出。

由此，根据实施方式4的三维影像处理装置100，虽然存在二维显示的缺点，但视听者需要的信息例如即便二维显示也能得到显示。因此，能减轻得不到应得到的信息的不适。

(实施方式5)

根据实施方式5的三维影像处理装置判定左眼用对象图像或右眼用对象图像是否是用于消除以前显示的图像的消除用数据。另外，其特征在于，在判定为作为左眼用对象图像及右眼用对象图像中的一方的第1图像的输出准备未完成，且判定为作为左眼用对象图像及右眼用对象图像中的另一方的第2图像的输出准备完成、并且判定为第1图像或第2图像是消除用数据的情况下，将第2图像作为第1图像来输出。

即，根据实施方式5的三维影像处理装置与根据实施方式4的三维影像处理装置相比，不同之处在于，判定输出准备完成的图像是否是消除用数据，在是消除用数据的情况下，将该消除用数据作为左眼用对象图像及右眼用对象图像来输出。

下面，省略说明与实施方式4相同之处，主要说明不同之处。具体地，编码流的分离及主影像的处理与实施方式4一样，所以省略说明，主要说明对象图像的处理。

图14是表示根据实施方式5的对象处理部140d的构成的框图。另外，对象处理部140d相当于图1所示的对象处理部140。

图14所示的对象处理部140d与图11所示的对象处理部140c相比，不同之处在于具备输出控制部630来代替输出控制部530。具体地，输出控制部630与图10所示的输出控制部530相比，不同之处在于具备输出同步部631来代替输出同步部531，还新具备消除用数据判别部633。

输出同步部631执行与根据实施方式5的输出同步部531相同的动作。并且，输出同步部631在时刻变为输出预定时刻的情况下，且左眼用对象图像及右眼用对象图像中的另一方的输出准备未完成的情况下，将同步延迟通知通知给消除用数据判别部633。

同步延迟通知是表示左眼用对象图像及右眼用对象图像中的一方的输出准备完成、但另一方的输出准备未完成的通知。同步延迟通知包含表示输出准备未完成的图像与输出准备完成的图像的信息。

消除用数据判别部633判定输出准备完成的图像是否是用于消除以前显示的图像的消除用数据。具体地，在消除用数据判别部633从输出同步部631接受了同步延迟通知的情况下，从图形平面216及226的一方与颜色变换部217及227的一方，判定输出准备完成的图像是否是消除用数据。另外，消除用数据具体是使重叠对象的图像(例如左眼用主影像及右眼用主影像)透过的透过图像。

另外，在消除用数据的判定中，也可输出处理部215及225判定是否在图形平面216及226中执行了描绘。在图形平面216及226中未执行描绘的情况是输出准备完成的图像是消除用数据的情况。

消除用数据判别部633在判定为输出准备完成的图像是消除用数据的情况下，控制输出选择器518及528，以选择消除用数据。在判定为输出准备完成的图像不是消除用数据的情况下，消除用数据判别部633向输出处理部215及225双方通知输出跳过指示。

如上面构成所示，根据实施方式5的对象处理部140d在规定的输出预定时刻之前左眼用对象图像与右眼用对象图像中的一方的输出准备完成、另一方的输出准备未完成的情况下，判定输出准备完成的图像是否是消除用数据。在是消除用数据的情况下，对象处理部140d将该消除用数据作为左眼用对象图像及右眼用对象图像来输出。在不是消除用数据的情况下，对象处理部140d跳过对应于该输出预定时刻的左眼用对象图像及右眼用对象图像双方的输出。

由此，因为消除用数据是透过图像，显示可以是二维也可以是三维，所以通过输出消除用数据，能消除以前显示的图像，而且显示不变为二维。因此，能减轻对象图像被二维显示的不适，同时还能防止仍显示输出预定时刻不同的图像。

接着，说明根据实施方式5的对象处理部140d的动作中、尤其涉及输出的动作。另外，下面为了简单，说明右眼用对象图像的输出准备在输出预定时刻之前未完成的情况。因为左眼用对象图像的输出准备未完成的情况也一样，所以省略说明。

图15是表示根据实施方式4的对象处理部140c的与输出有关的动作的流程图。

首先，输出同步部631等待从输出处理部215及225某一方接受准备完成通知(S501)。例如，输出同步部631在从输出处理部215接受了左眼用对象图像的准备完成通知的情况下(S501为是)，通过比较从时钟提供部432提供的基准时钟与准备完成通知中包含的PTS，判断输出预定时刻。之后，输出同步部631在时刻到达输出预定时刻之前的期间，等待从输出处理部225接受右眼用对象图像的准备完成通知(S502)。

在时刻到达输出预定时刻的情况下(S502为是)，并且从输出处理部215及225的另一方(这里为输出处理部225)接受了准备完成通知的情况下(S503为是)，输出同步部631将输出指示通知给输出处理部215及225。之后，输出处理部215及225分别在输出预定时刻输出左眼用对象图像与右眼用对象图像(S506)。

在时刻到达输出预定时刻的情况下(S502为是)，并且未从输出处理部225接受准备完成通知的情况下(S503为否)，输出同步部631向消除用数据判别部633通知同步延迟通知。接受了同步延迟通知的消除用数据判别部633判定输出准备完成的左眼用对象图像是否是消除用数据(S504)。

在判定为输出准备完成的左眼用对象图像是消除用数据的情况下(S504为是)，消除用数据判别部633控制输出选择器518及528，以选择准备完成的左眼用对象图像(S505)。之后，输出选择器518及528双方均输出准备完成的左眼用对象图像、即消除用数据(S506)。

在判定为输出准备完成的左眼用对象图像不是消除用数据的情况下(S504为否)，消除用数据判别部633向输出处理部215及225通知输出跳过指示(S507)。接受了输出跳过指示的输出处理部215及225分别跳过对应于输出预定时刻的左眼用对象图像及右眼用对象图像的输出(S508)。输出处理部215及225分别清除图形平面216及226的数据。

重复以上处理(S501-S508)，直到无应输出的下一图像为止(S509)。

如上所述，根据实施方式5的对象处理部140d通过与基准时钟的比较，来判定左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前是否完成。判定的结果，在判定为左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，对象处理部140d判定输出准备完成的图像是否是消除用数据。

在是消除用数据的情况下，对象处理部140d将准备完成的左眼用对象图像及右眼用对象图像中的另一方作为输出准备未完成的一方的图像，即消除用数据来输出。在不是消除用数据的情况下，对象处理部140d跳过左眼用对象图像及右眼用对象图像双方的输出。

图16是示意地表示根据实施方式5的输出准备未完成的情况下输出的图像的图。

如图16所示，说明右眼用对象图像R2及R4的输出准备未完成的情况。此时，设右眼用对象图像R2是消除用数据。

此时，在应显示左眼用对象图像L2及右眼用对象图像R2的期间，消除用数据判别部633通过控制输出选择器518及519，使其选择输出准备完成的左眼用对象图像L2、即消除用数据。由此，如图16所示，代替右眼用对象图像R2来显示左眼用对象图像L2、即透过图像(消除用数据)。

另外，在应显示左眼用对象图像L4及右眼用对象图像R4的期间，消除用数据判别部633向输出处理部215及225通知输出跳过指示。由此，在应显示左眼用对象图像L4及右眼用对象图像R4的期间，仍显示左眼用对象图像L3及右眼用对象图像R3。

这样，因为消除用数据是透过图像，显示可以是二维也可以是三维，所以通过输出消除用数据，能消除以前显示的图像，而且显示不变为二维。另外，在不是消除用数据的情况下，使输出跳过，所以能与实施方式1一样继续三维显示。因此，能减轻对象图像二维显示的不适，同时还能防止仍显示输出预定时刻不同的图像。

如上所述，根据实施方式5的三维影像处理装置100在左眼用对象图像与右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，且构成对象的图像是消除用数据的情况下，将输出准备完成的另一方的图像、即消除用数据作为输出准备未完成的一方的图像来输出。

由此，因为消除用数据是透过图像，显示可以是二维也可以是三维，所以通过输出消除用数据，能消除以前显示的图像，并且显示不变为二维。因此，能减轻对象图像被二维显示的不适，并且还能防止仍显示输出预定时刻不同的图像。

(实施方式6)

根据实施方式6的三维影像处理装置中，输出控制部在未被通知当前的左眼用对象图像的准备完成通知及当前的右眼用对象图像的准备完成通知中的一方的情况下，并且在输出下一左眼用对象图像及下一右眼用对象图像之前的期间、即剩余期间比规定的阈值大的期间内，接受了当前的准备完成通知及当前的准备完成通知的一方的情况下，输出当前的左眼用对象图像及当前的右眼用对象图像。另外，其特征在于，当剩余期间到达上述阈值时，在未接受到当前的准备完成通知及当前的准备完成通知的一方的情况下，使当前的左眼用对象图像及当前的右眼用对象图像双方的输出跳过。

换言之，根据实施方式6的三维影像处理装置在判定为当前的左眼用对象图像及当前的右眼用对象图像中的一方的输出准备未完成的情况下，并且在到输出下一左眼用对象图像及右眼用对象图像为止的期间、即剩余期间比规定的阈值大的期间内，当前的左眼用对象图像及当前的右眼用对象图像双方的输出准备完成的情况下，输出当前的左眼用对象图像及当前的右眼用对象图像。另外，当剩余期间到达上述阈值时，在当前的左眼用对象图像及当前的右眼用对象图像中的一方的输出准备未完成的情况下，使当前的左眼用对象图像及当前的右眼用对象图像双方的输出跳过。

即，根据实施方式6的三维影像处理装置与根据实施方式3的三维影像处理装置相比，不是若到达当前的左眼用对象图像及当前的右眼用对象图像的输出预定时刻则立即跳过输出，而是在规定的期间等待输出准备的完成。因此，不同之处在于，在即便经过规定的期间而输出准备也未完成的情况下，跳过双方的输出。

下面，省略说明与实施方式3相同之处，主要说明不同之处。具体地，编码流的分离及主影像的处理与实施方式3一样，所以省略说明，主要说明对象图像的处理。

图17是表示根据实施方式6的对象处理部140e的构成的框图。另外，对象处理部140e相当于图1所示的对象处理部140。

图17所示的对象处理部140e与图9所示的对象处理部140b相比，不同之处在于具备输出控制部730来代替输出控制部430。具体地，输出控制部730具备输出同步部731、时钟提供部732与同步等待判定部733。

输出同步部731执行与根据实施方式3的输出同步部431相同的动作。其中，输出同步部731在到输出预定时刻为止左眼用对象图像及右眼用对象图像双方的输出准备未完成的情况下，进行以下处理。

在到输出预定时刻为止左眼用对象图像及右眼用对象图像双方的输出准备未完成的情况下，即，未从输出处理部215及225任一方接受准备完成通知的情况下，不立即通知输出跳过指示，而等待规定期间。换言之，输出同步部731在到输出下一左眼用对象图像及下一右眼用对象图像为止的期间、即剩余期间比规定的阈值大的期间内，等待输出输出跳过指示。

输出同步部731在等待中当前的左眼用对象图像及当前的右眼用对象图像双方的输出准备完成的情况下，即从输出处理部215及225的另一方接受了准备完成通知的情况下，向输出处理部215及225通知输出指示。另外，输出同步部731在等待中接受了下一输出预定时刻的左眼用对象图像及右眼用对象图像的准备完成通知的情况下，向同步等待判定部733通知下一输出预定时刻(PTS)。

另外，输出同步部731在从同步等待判定部733接受了同步等待取消通知的情况下，向输出处理部215及225通知输出跳过指示。同步等待取消通知是用于使输出同步部731通知输出跳过指示的通知，包含跳过输出的对象的PTS。

时钟提供部732向输出同步部731与同步等待判定部733提供基准时钟。基准时钟是规定频率的时钟信号。

同步等待判定部733在从输出同步部731接受了下一PTS的情况下，通过比较下一PTS所示的时刻与从时钟提供部732提供的基准时钟，判断下一图像的输出预定时刻。即，同步等待判定部733根据下一图像的输出预定时刻与当前时刻，判断由输出同步部731等待输出的当前图像的剩余期间。

同步等待判定部733在剩余期间为规定阈值以下的情况下，向输出同步部731通知同步等待取消通知。规定阈值例如是应输出一个左眼用对象图像及右眼用对象图像的期间的一半或0等。

通过上面构成，根据实施方式6的对象处理部140e在左眼用对象图像与右眼用对象图像中的一方的输出准备未完成的情况下，在规定的期间等待输出准备完成。另外，对象处理部140e在即便经过规定的期间而输出准备也未完成的情况下，跳过左眼用对象图像及右眼用对象图像的输出。

由此，因为能够多少提高输出图像的可能性，所以能减轻得不到应得到的信息的不适。并且，在输出准备在期间内未完成的情况下，因为跳过左眼用对象图像及右眼用对象图像双方的输出，所以能使三维显示继续。因此，还能减轻显示变为二维的不适。

接着，说明根据实施方式6的对象处理部140e的动作中、尤其涉及输出的动作。另外，下面为了简单，说明右眼用对象图像的输出准备在输出预定时刻之前未完成的情况。因为左眼用对象图像的输出准备未完成的情况也一样，所以省略说明。

图18是表示根据实施方式6的对象处理部140e的与输出有关的动作的流程图。

首先，输出同步部731等待从输出处理部215及225某一方接受准备完成通知(S601)。例如，输出同步部731在从输出处理部215接受了左眼用对象图像的准备完成通知的情况下(S601为是)，通过比较从时钟提供部732提供的基准时钟与准备完成通知中包含的PTS，判断输出预定时刻。之后，输出同步部731在时刻到达输出预定时刻之前的期间，等待从输出处理部225接受右眼用对象图像的准备完成通知(S602)。

在时刻到达输出预定时刻的情况下(S602为是)，并且从输出处理部215及225的另一方(这里为输出处理部225)接受了准备完成通知的情况下(S603为是)，输出同步部731将输出指示通知给输出处理部215及225。之后，输出处理部215及225分别在输出预定时刻输出左眼用对象图像与右眼用对象图像(S607)。

在时刻到达输出预定时刻的情况下(S602为是)，并且未从输出处理部225接受准备完成通知的情况下(6403为否)，输出同步部731在输出下一图像之前剩余的剩余期间比阈值大的情况下，等待(S604)。具体地，输出同步部731等待，直到从同步等待判定部733接受同步等待取消通知。

在等待的期间(S604为是)中，在另一方的准备完成的情况下(S603为是)，输出同步部731向输出处理部215及225通知输出指示。由此，输出处理部215及225分别在输出预定时刻输出左眼用对象图像与右眼用对象图像(S607)。

在仍未被通知来自另一方的准备完成通知，且剩余期间到达阈值的情况下(S604为否)，同步等待判定部733向输出同步部731通知同步等待取消通知，输出同步部731向输出处理部215及225双方通知输出跳过指示(S605)。接受了输出跳过指示的输出处理部215及225分别跳过对应于输出预定时刻的左眼用对象图像及右眼用对象图像的输出(S606)。之后，输出处理部215及225分别清除图形平面216及226的数据。

重复以上处理(S601-S607)，直到无应输出的下一图像为止(S608)。

如上所述，根据实施方式6的对象处理部140e通过与基准时钟的比较，来判定左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前是否完成。

判定的结果，在判定为左眼用对象图像及右眼用对象图像中的一方的输出准备在规定的输出预定时刻之前未完成的情况下，对象处理部140e在输出下一图像之前剩余的剩余期间比阈值大的期间，等待双方的输出准备完成。在双方的输出准备未完成而剩余期间到达阈值的情况下，对象处理部140e跳过左眼用对象图像及右眼用对象图像双方的输出。即，对象处理部140e不输出左眼用对象图像及右眼用对象图像双方，而执行下一对象图像的处理。

图19是示意地表示根据实施方式6的输出准备未完成的情况下输出的图像的图。

如图19所示，说明右眼用对象图像R2的输出准备未完成的情况。在右眼用对象图像R2的输出准备未完成的情况下，对象处理部140e等待左眼用对象图像L2的输出。

在规定期间内，即输出下一左眼用对象图像L3及右眼用对象图像R3前剩余的剩余期间比阈值大的期间，在右眼用对象图像R2的输出准备完成的情况下，输出左眼用对象图像L2与右眼用对象图像R2。因此，如图19所示，本来是比应输出左眼用对象图像L2与右眼用对象图像R2的期间少的期间，但仍输出左眼用对象图像L2与右眼用对象图像R2。另外，等待中仍输出左眼用对象图像L1与右眼用对象图像R1。

由此，因为继续三维显示，所以能减轻显示变为二维的不适。

如上所述，根据实施方式6的三维影像处理装置100在左眼用对象图像及右眼用对象图像中的一方的输出准备未完成的情况下，在规定的期间等待输出准备完成。在规定的期间内输出准备完成的情况下，输出左眼用对象图像及右眼用对象图像，在即便经过规定的期间而输出准备也未完成的情况下，跳过左眼用对象图像及右眼用对象图像的输出。

由此，因为能够多少提高输出图像的可能性，所以能减轻得不到本来应得到的信息的不适。并且，在输出准备在期间内未完成的情况下，因为跳过左眼用对象图像及右眼用对象图像双方的输出，所以能使三维显示继续。因此，还能减轻显示变为二维的不适。

以上根据实施方式说明了根据本发明的三维影像处理装置及三维影像处理方法，但本发明不限于这些实施方式。只要不脱离本发明的主旨，在该实施方式中实施本领域技术人员想到的各种变形的方式和组合不同实施方式中的构成要素来构筑的方式也包含于本发明的范围内。

上述各装置具体为由微处理器、ROM(Read Only Memory)、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在RAM或硬盘单元中存储有计算机程序。通过微处理器根据计算机程序动作，各装置实现其功能。这里，计算机程序为了实现规定的功能，组合多个表示针对计算机的指令的命令代码来构成。

构成上述各装置的构成要素的部分或全部也可由一个系统LSI(LargeScale Integration)构成。系统LSI是将多个构成要素集成在一个芯片上制造的超多功能LSI，具体地，是包含微处理器、ROM、RAM等构成的计算机系统。在RAM中存储有计算机程序。通过微处理器根据计算机程序动作，系统LSI实现其功能。

构成上述各装置的构成要素的部分或全部也可由能拆装于各装置的IC卡或单体模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可包含上述超多功能LSI。通过微处理器根据计算机程序动作，IC卡或模块实现其功能。该IC卡或模块也可具有耐篡改性。

另外，本发明也可是上述所示的方法。另外，也可是由计算机实现这些方法的计算机程序，或是由计算机程序构成的数字信号。

另外，本发明也可将计算机程序或数字信号记录在计算机可读取的记录介质中、例如软盘、硬盘、CD-ROM、MO(Magneto-Optical Disk)、DVD(Digital Versatile Disc)、DVD-ROM、DVD-RAM、BD、半导体存储器等中。另外，也可是记录在这些记录介质中的数字信号。

另外，本发明也可经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传输计算机程序或数字信号。

另外，本发明也可是具备微处理器与存储器的计算机系统，存储器存储上述计算机程序，微处理器根据计算机程序动作。

另外，也可通过将程序或数字信号记录在记录介质中移送，或通过将程序或数字信号经由网络等移送，由独立的其他计算机系统来实施。

产业上的可利用性

根据本发明的三维影像处理装置及三维影像处理方法实现能减轻对视听者造成的不适的效果，例如能适用于数字电视及数字视频记录器等。

符号说明

10  数字电视

20  数字视频记录器

100 三维影像处理装置

110 输入部

120 分离部

130 主影像处理部

131 左眼用主影像处理部

132 右眼用主影像处理部

133 选择部

140、140a、140b、140c、140d、140e  对象处理部

150 合成部

160 记录介质

210、310、510 左眼用对象处理部

211、221  流缓冲器

212、222  解码器

213、223  对象缓冲器

214、224  属性信息缓冲器

215、225、315、325  输出处理部

216、226  图形平面

217、227  颜色变换部

220、320、520  右眼用对象处理部

230、330、430、530、630、730 输出控制部

231、431、531、631、731  输出同步部

232  解码器控制部

240  选择部

332  头补充部

432、732  时钟提供部

518、528  输出选择器

633  消除用数据判别部

733  同步等待判定部

Claims (18)

1.一种三维影像处理装置，输出左眼用对象图像和右眼用对象图像，该左眼用对象图像和右眼用对象图像具有视差，且重叠在主影像上，该三维影像处理装置具备：

第1图像处理部，进行作为所述左眼用对象图像及所述右眼用对象图像中的一方的第1图像的输出准备并输出；

第2图像处理部，进行作为所述左眼用对象图像及所述右眼用对象图像中的另一方的第2图像的输出准备并输出；以及

输出控制部，控制所述第1图像处理部和所述第2图像处理部，以使所述第1图像与所述第2图像同步输出；

所述第1图像处理部具备第1判定部，该第1判定部判定所述第1图像的输出准备是否完成；

所述第2图像处理部具备第2判定部，该第2判定部判定所述第2图像的输出准备是否完成；

在由所述第1判定部及所述第2判定部中的一方判定为所述第1图像及所述第2图像中的一方的输出准备未完成的情况下，所述输出控制部使所述第1图像及所述第2图像的双方的输出跳过。

2.根据权利要求1所述的三维影像处理装置，其中，

所述第1图像处理部具有第1平面存储器，使用包含所述第1图像的属性信息的第1头，将所述第1图像描绘在所述第1平面存储器中，由此进行输出准备；

所述第2图像处理部具有第2平面存储器，使用包含所述第2图像的属性信息的第2头，将所述第2图像描绘在所述第2平面存储器中，由此进行输出准备；

在所述第1头发生错误的情况下，所述第1判定部判定为所述第1图像的输出准备未完成，

在所述第2头发生错误的情况下，所述第2判定部判定为所述第2图像的输出准备未完成。

3.根据权利要求2所述的三维影像处理装置，其中，

在所述第1头未按照预定的标准的情况下，所述第1判定部判定为所述第1图像的输出准备未完成；

在所述第2头未按照所述标准的情况下，所述第2判定部判定为所述第2图像的输出准备未完成。

4.根据权利要求2所述的三维影像处理装置，其中，

所述第1图像处理部在跳过所述第1图像的输出的情况下，代替所述第1图像，输出用于消除仍描绘在所述第1平面存储器中的图像的第1消除用数据；

所述第2图像处理部在跳过所述第2图像的输出的情况下，代替所述第2图像，输出用于消除仍描绘在所述第2平面存储器中的图像的第2消除用数据。

5.根据权利要求2所述的三维影像处理装置，其中，

所述第1图像处理部在跳过所述第1图像的输出的情况下，输出仍描绘在所述第1平面存储器中的第1图像；

所述第2图像处理部在跳过所述第2图像的输出的情况下，输出仍描绘在所述第2平面存储器中的第2图像。

6.根据权利要求1所述的三维影像处理装置，其中，

所述第1判定部在判定为所述第1图像的输出准备完成的情况下，向所述输出控制部通知表示所述第1图像的输出准备完成的第1完成通知；

所述第2判定部在判定为所述第2图像的输出准备完成的情况下，向所述输出控制部通知表示所述第2图像的输出准备完成的第2完成通知；

所述输出控制部在到规定时刻为止未被通知所述第1完成通知及所述第2完成通知中的一方的情况下，使所述第1图像及所述第2图像的双方的输出跳过。

7.根据权利要求6所述的三维影像处理装置，其中，

所述输出控制部在未被通知当前的所述第1完成通知及当前的所述第2完成通知中的一方，并且，在到输出下一左眼用对象图像及下一右眼用对象图像为止的期间即剩余期间比规定的阈值大的期间内，接受了当前的所述第1完成通知及当前的所述第2完成通知中的一方的情况下，使当前的所述第1图像及当前的所述第2图像输出；在所述剩余期间达到了所述阈值时，未接受到当前的所述第1完成通知及当前的所述第2完成通知中的一方的情况下，使当前的所述第1图像及当前的所述第2图像的双方的输出跳过。

8.根据权利要求7所述的三维影像处理装置，其中，

所述剩余期间是应输出一个左眼用对象图像或右眼用对象图像的期间的一半。

9.根据权利要求1所述的三维影像处理装置，其中，

所述左眼用对象图像及所述右眼用对象图像是字幕、记号、图形或菜单图像。

10.一种三维影像处理装置，输出左眼用对象图像和右眼用对象图像，该左眼用对象图像和右眼用对象图像具有视差，且重叠在主影像上，该三维影像处理装置具备：

第1图像处理部，进行作为所述左眼用对象图像及所述右眼用对象图像中的一方的第1图像的输出准备并输出；

第2图像处理部，进行作为所述左眼用对象图像及所述右眼用对象图像中的另一方的第2图像的输出准备并输出；以及

输出控制部，控制所述第1图像处理部和所述第2图像处理部，以使所述第1图像与所述第2图像同步输出；

所述第1图像处理部具备第1判定部，该第1判定部判定所述第1图像的输出准备是否完成；

所述第2图像处理部具备第2判定部，该第2判定部判定所述第2图像的输出准备是否完成；

在由所述第1判定部判定为所述第1图像的输出准备未完成、且由所述第2判定部判定为所述第2图像的输出准备完成的情况下，所述输出控制部使规定的补充图像作为所述第1图像输出。

11.根据权利要求10所述的三维影像处理装置，其中，

所述第1图像处理部具有第1平面存储器，使用包含所述第1图像的属性信息的第1头，将所述第1图像描绘在所述第1平面存储器中，由此进行输出准备；

所述第2图像处理部具有第2平面存储器，使用包含所述第2图像的属性信息的第2头，将所述第2图像描绘在所述第2平面存储器中，由此进行输出准备；

在所述第1头发生错误的情况下，所述第1判定部判定为所述第1图像的输出准备未完成；

所述三维影像处理装置还具备头补充部，在由所述第1判定部判定为所述第1头发生错误的情况下，该头补充部从所述第2图像处理部取得包含与所述第1头所包含的属性信息相同的属性信息的所述第2头；

在判定为所述第1图像的输出准备未完成的情况下，所述第1图像处理部使用由所述头补充部取得的第2头，将所述补充图像描绘在所述第1平面存储器中，将描绘的补充图像作为所述第1图像输出。

12.根据权利要求11所述的三维影像处理装置，其中，

在所述第1头未按照预定的标准的情况下，所述第1判定部判定为所述第1头发生错误。

13.根据权利要求10所述的三维影像处理装置，其中，

所述第1判定部在判定为所述第1图像的输出准备完成的情况下，向所述输出控制部通知表示所述第1图像的输出准备完成的第1完成通知；

所述第2判定部在判定为所述第2图像的输出准备完成的情况下，向所述输出控制部通知表示所述第2图像的输出准备完成的第2完成通知；

所述输出控制部在接受了所述第2完成通知之后，到规定时刻为止未被通知所述第1完成通知的情况下，使作为所述第2图像的补充图像作为所述第1图像输出。

14.根据权利要求13所述的三维影像处理装置，其中，

所述输出控制部还判定所述第1图像或所述第2图像是否是用于消除以前描绘的图像的消除用数据；

所述输出控制部在接受了所述第2完成通知之后，到所述规定时刻为止未被通知所述第1完成通知，而且判定为所述第2图像是所述消除用数据的情况下，使作为所述第2图像的所述消除用数据作为所述第1图像输出。

15.一种三维影像处理方法，输出左眼用对象图像和右眼用对象图像，该左眼用对象图像和右眼用对象图像具有视差，且重叠在主影像上，该三维影像处理方法包括：

第1图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的一方的第1图像的输出准备并输出；

第2图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的另一方的第2图像的输出准备并输出；以及

输出控制步骤，使所述第1图像与所述第2图像同步地控制输出；

所述第1图像处理步骤包括第1判定步骤，该第1判定步骤判定所述第1图像的输出准备是否完成；

所述第2图像处理步骤包括第2判定步骤，该第2判定步骤判定所述第2图像的输出准备是否完成；

在所述第1判定步骤及所述第2判定步骤中的一方判定为所述第1图像及所述第2图像中的一方的输出准备未完成的情况下，所述输出控制步骤中使所述第1图像及所述第2图像的双方的输出跳过。

16.一种三维影像处理方法，输出左眼用对象图像和右眼用对象图像，该左眼用对象图像和右眼用对象图像具有视差，且重叠在主影像上，该三维影像处理方法包括：

第1图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的一方的第1图像的输出准备并输出；

第2图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的另一方的第2图像的输出准备并输出；以及

输出控制步骤，使所述第1图像与所述第2图像同步地控制输出；

所述第1图像处理步骤包括第1判定步骤，该第1判定步骤判定所述第1图像的输出准备是否完成；

所述第2图像处理步骤包括第2判定步骤，该第2判定步骤判定所述第2图像的输出准备是否完成；

在所述第1判定步骤中判定为所述第1图像的输出准备未完成、且在所述第2判定步骤中判定为所述第2图像的输出准备完成的情况下，所述输出控制步骤使规定的补充图像作为所述第1图像输出。

17.一种非暂时性的计算机可读取的记录介质，存储使计算机执行三维影像处理方法的程序，所述三维影像处理方法输出左眼用对象图像和右眼用对象图像，该左眼用对象图像和右眼用对象图像具有视差，且重叠在主影像上，其中，包括：

第1图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的一方的第1图像的输出准备并输出；

第2图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的另一方的第2图像的输出准备并输出；以及

输出控制步骤，使所述第1图像与所述第2图像同步地控制输出；

所述第1图像处理步骤包括第1判定步骤，该第1判定步骤判定所述第1图像的输出准备是否完成；

所述第2图像处理步骤包括第2判定步骤，该第2判定步骤判定所述第2图像的输出准备是否完成；

在所述第1判定步骤及所述第2判定步骤中的一方判定为所述第1图像及所述第2图像中的一方的输出准备未完成的情况下，所述输出控制步骤中使所述第1图像及所述第2图像的双方的输出跳过。

18.一种非暂时性的计算机可读取的记录介质，存储使计算机执行三维影像处理方法的程序，所述三维影像处理方法输出左眼用对象图像和右眼用对象图像，该左眼用对象图像和右眼用对象图像具有视差，且重叠在主影像上，其中，包括：

第1图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的一方的第1图像的输出准备并输出；

第2图像处理步骤，进行作为所述左眼用对象图像及所述右眼用对象图像中的另一方的第2图像的输出准备并输出；以及

输出控制步骤，使所述第1图像与所述第2图像同步地控制输出；

所述第1图像处理步骤包括第1判定步骤，该第1判定步骤判定所述第1图像的输出准备是否完成；

所述第2图像处理步骤包括第2判定步骤，该第2判定步骤判定所述第2图像的输出准备是否完成；

在所述第1判定步骤中判定为所述第1图像的输出准备未完成、且在所述第2判定步骤中判定为所述第2图像的输出准备完成的情况下，所述输出控制步骤使规定的补充图像作为所述第1图像输出。

Images