CN103339948B - 3d视频再现装置、3d成像装置和3d视频再现方法 - Google Patents

Abstract

获得输出目的地的3D显示器的显示大小。从3D图像文件读取左视点的GOP_L和右视点的GOP_R，并且，读取作为GOP相关联信息的GOP最大显示大小、GOP最大视差量等。将显示大小和GOP最大显示大小作比较，并且，基于该比较，确定（步骤26）当在3D显示器上显示在GOP内的3D视频时双眼视像融合是否是可能的。当确定双眼视像融合是不可能的时，以使得在GOP内的3D视频的双眼视像融合变得可能的方式来将视差校正和输出（步骤S28）。

Description

3D视频再现装置、3D成像装置和3D视频再现方法

技术领域

本发明涉及立体视频再现装置、立体视频再现程序及其记录介质、立体显示装置、立体成像装置和立体视频再现方法。特别地，本发明涉及再现立体视频文件的立体视频的技术，在该立体视频文件中，在时间轴方向上连续地记录使用多个视点图像形成的立体图像。

背景技术

立体成像装置使用布置有视差的两个右和左成像单元来拍摄在右和左视点上的物体的图像，分别获取左眼的视点图像和右眼的视点图像，并且在记录介质中记录它们。当这些获取的右和左视点图像从记录介质中被读取，被输入到可以执行三维（3D）显示的3D显示器中，并且被显示使得可以分别通过右眼和左眼来可视地查看左眼的视点图像和右眼的视点图像时，将结果识别为立体视频是可能的。

顺便提及，在所记录的右和左视点图像之间的视差量根据在图像场景中的改变、物体的移动、在变焦放大率上的改变等而变化，并且同时，3D装置具有各种屏幕大小。因此，在其中要执行立体视频的再现显示的情况下，存在下述情况：立体视频的视差量不适合于3D显示器的大小。在该情况下，产生了下述问题：从屏幕的上弹量和下弹量过大，并且不可能将立体视频识别为自然的立体视频。

PTL 1公开了下述技术：除了获取可以被立体观看的图像信息之外，还获取与适合于立体图像的再现的屏幕大小相关的适当屏幕大小信息、3D显示器的显示屏幕大小信息、用于观察者在再现时观看显示屏幕的与相对于显示屏幕的适当距离相关的适当可视距离信息和与从观察者至3D显示器的显示屏幕的距离相关的可视距离信息；基于这些信息项目来设置在左眼图像和右眼图像之间的移位量（偏移）；并且，调整所述显示的图像的立体感觉。

{引用列表}

{专利文献}

{PTL 1}日本公开专利申请特开No.2004-180069

发明内容

{技术问题}

不清楚在PTL 1中公开的立体图像是静止图像还是视频。在立体视频的情况下，右和左视点图像的视差量根据在成像场景中的改变、物体的移动和在变焦放大率上的改变等而变化。即使为了讨论的方便通过在PTL 1中公开的技术来调整立体视频的视差量使得立体视频具有自然的上弹量，也考虑以立体视频的帧为单位来调整视差量。然而，在该情况下，存在下述问题：丢失了立体感觉变化的作为立体视频的特征，并且提供了不自然的立体视频。

顺便提及，在3D显示器的显示屏幕上，在右眼图像相对于左眼图像在右方向上具有视差的情况下，将立体图像作为具有比显示屏幕大的深度的图像来可视地查看，但是，当3D显示器的屏幕大小增大时，该视差也增大。当视差超过人的双眼间隔时，双眼视像融合是不可能的（即，双眼视觉是不可能的）。

虽然PTL 1公开了获取一种立体图像，其中将最佳立体程度（即，深度量）与3D显示器的显示屏幕大小成比例地进行调整，但是它未公开调整在左眼图像和右眼图像之间的移位量使得上述的双眼视像融合不是不可能的。而且，因为它也不包含与立体图像的远景侧（或深度侧）的最大视差量相关的说明，所以在PTL 1中公开的立体图像显示装置不能调整在左眼图像和右眼图像之间的移位量，使得该视差不超过人的双眼间隔，而与3D显示器的屏幕大小无关。

本发明鉴于这样的情况而被作出，并且目的是提供立体视频再现装置、立体视频再现程序及其记录介质、立体显示装置、立体成像装置和立体视频再现方法，它们可以：调整立体视频的视差量使得双眼视像融合是可能的，而与在具有任意屏幕大小的立体显示器上立体地显示从立体视频文件读取的立体视频时的立体显示器的屏幕大小无关；并且，再现自然的立体视频。

{对于问题的解决方案}

为了实现上面的目的，根据本发明的一种立体视频再现装置包括：第一获取部件，所述第一获取部件读取立体视频文件，并且从所述立体视频文件获取立体视频和附属信息，其中，在所述立体视频文件中记录所述立体视频和所述附属信息，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括区间内最大显示大小，该区间内最大显示大小是当在立体显示器上显示所述立体视频的每一个帧时双眼视像融合是可能的每一个帧的最大显示大小中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的最大显示大小；第二获取部件，所述第二获取部件获取输出目的地的立体显示器的显示大小；判定部件，所述判定部件将与所述立体视频的每一个预定区间对应地获取的所述区间内最大显示大小和所获取的所述立体显示器的显示大小作比较，并且基于比较结果来判定当在所述立体显示器上显示所述立体视频时在每个预定区间所述双眼视像融合是否是可能的；视差校正部件，当所述判定部件判定所述双眼视像融合是不可能的时，所述视差校正部件校正视差，使得在其中判定双眼视像融合是不可能的预定区间中，双眼视像融合在所述立体视频中变得可能；以及，输出部件，所述输出部件：当向所述立体显示器输出所获取的立体视频时，在所述判定部件判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正部件在所述立体视频中校正所述视差；并且，在所述判定部件判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频。

根据本发明，将所述立体显示器的所述显示大小和从所述立体视频文件获取的所述区间内最大显示大小作比较，并且，基于所述比较结果，可以判定在立体显示器上以所述区间显示所述立体视频时双眼视像融合是否是可能的，并且，当判定所述双眼视像融合是不可能的时，因为校正所述视差使得所述双眼视像融合在所述区间的所述立体视频中变得可能以输出结果，所以使用适当的视差量来显示所述立体视频是可能的。而且，通过使用被记录为所述立体视频文件的附属信息的所述区间内最大显示大小，可以在输出目的地的所述立体显示器上立体地显示在所述区间中的所述立体视频的情况下，判定所述双眼视像融合是否是可能的，并且可以减小图像处理的负荷。

根据本发明的一种立体视频再现装置包括：第一获取部件，所述第一获取部件读取立体视频文件，并且从所述立体视频文件获取立体视频和附属信息，其中，在所述立体视频文件中记录所述立体视频和所述附属信息，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括区间内最大视差量，该区间内最大视差量是在所述立体视频的每一个帧中在远景侧上的最大视差量中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的最大视差量；第二获取部件，所述第二获取部件获取输出目的地的立体显示器的显示大小；判定部件，所述判定部件基于与所述立体视频的每一个预定区间对应地获取的所述区间内最大视差量、所获取的所述立体显示器的显示大小和指示人的双眼间隔的预定值，来判定当在所述立体显示器上显示所述立体视频时在每个预定区间所述双眼视像融合是否是可能的；视差校正部件，当所述判定部件判定所述双眼视像融合是不可能的时，所述视差校正部件校正视差，使得在其中判定双眼视像融合是不可能的预定区间中，双眼视像融合在所述立体视频中变得可能；以及，输出部件，所述输出部件：当向所述立体显示器输出所获取的立体视频时，在所述判定部件判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正部件在所述立体视频中校正所述视差；并且，在所述判定部件判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频。

根据本发明，基于与所述立体视频的每一个预定区间对应地获取的所述区间内最大视差量、所述立体显示器的所述显示大小和指示人的双眼间隔的预定值，可以判定当在所述立体显示器上以所述区间来显示所述立体视频时双眼视像融合是否是可能的，并且，当判定所述双眼视像融合是不可能的时，因为校正所述视差使得所述双眼视像融合在所述区间的所述立体视频中变得可能以输出结果，所以使用适当的视差量来显示所述立体视频是可能的。而且，通过使用被记录为所述立体视频文件的附属信息的所述区间内最大视差量，可以在输出目的地的所述立体显示器上立体地显示在所述区间中的所述立体视频的情况下，判定所述双眼视像融合是否是可能的，并且可以减小图像处理的负荷是可能的。

在上面的立体视频再现装置中，所述判定部件基于所述立体显示器的所述显示大小和指示人的双眼间隔的所述预定值来计算能够允许的视差量，并且对于多个区间内最大视差量的每一个和预定区间的每一个，根据所述多个区间内最大视差量是否等于或小于所述能够允许的视差量来判定所述双眼视像融合是否是可能的。

在上面的立体视频再现装置中，所述判定部件包括图像移位量计算部件，所述图像移位量计算部件基于所述获取的区间内最大视差量和所述立体显示器的所述显示大小来计算与所述区间内最大视差量对应的在所述立体显示器上的图像移位量，并且根据所计算的图像移位量是否超过指示人的双眼间隔的所述预定值来确定所述双眼视像融合是否是可能的。

在上面的立体视频再现装置中，所述视差校正部件通过下述方式来校正所述视差：对于在其中判定所述双眼视像融合是不可能的所述预定区间中的所述立体视频，通过在与所述预定区间中的所述立体视频对应的视点图像之间移位预定视差移位量，使得在所述立体显示器上的所述区间内最大视差量不超过指示人的双眼间隔的所述预定值。因此，可以将其中判定所述双眼视像融合是不可能的所述立体视频进行容易的视差校正以被立体地观看。

在上面的立体视频再现装置中，所述立体视频文件的所述附属信息包括在所述预定区间中的所述立体视频中的在近景侧上的区间内最大视差量，进一步包括：相加部件，所述相加部件将在所述近景侧上的所述区间内最大视差量与在所述视差校正部件中的所述预定视差移位量相加；以及，判定部件，所述判定部件判定与在所述近景侧上的相加的区间内最大视差量对应的图像移位量是否超过在所述立体显示器上显示时的双眼视像融合极限；并且，在所述判定部件判定所述图像移位量超过所述双眼视像融合极限的情况下，所述输出部件向所述立体显示器输出由所述第一获取部件获取的所述立体视频的所述视点图像的任何一个来显示平面图像。

当通过视差移位来减小在远景侧上的所述视差量时，在所述近景侧上的所述视差量增大。因此，从在所述近景侧上的所述区间最佳视差量和由所述视差校正部件的所述视差移位量的相加结果，判定与在所述近景侧上的所述区间最佳视差量对应的图像移位量是否在所述立体显示器上显示时超过所述双眼视像融合极限，并且，在判定它超过所述双眼视像融合极限的情况下，通过向所述立体显示器输出所述立体视频的视点图像的任何一个，显示平面图像。

在上面的立体视频再现装置中，所述立体视频文件是MPEG文件，其中，对于由多个帧形成的每一个GOP依序记录多个视点图像，并且，所述立体视频的所述预定区间是与等于1或2或大于2的预定数量的GOP对应的区间。

在上面的立体视频再现装置中，所述立体视频的所述预定区间是每个场景区别的区间。

在上面的立体视频再现装置中，所述立体视频文件是MPEG文件，其中，对于由多个帧形成的每一个GOP依序记录多个视点图像，并且，所述立体视频的所述预定区间包括与等于1或2或大于2的预定数量的GOP对应的第一区间和长于每一个场景区别的所述第一区间的第二区间。

上面的立体视频再现装置包括：计算部件，当所述判定部件基于根据所述立体视频的所述第二区间获取的区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，所述计算部件计算在所述第二区间中的所述第一区间的区间内最大显示大小或区间内最大视差量与在所述第二区间中的区间内最大显示大小或区间内最大视差量的第一比率；以及，视差校正系数获取部件，所述视差校正系数获取部件获取视差校正系数，所述视差校正系数包括作为参数的所述第一比率，并且当所述第一比率从0接近1时从1接近在在所述第二区间中的所述区间内最大显示大小与输出目的地的所述立体显示器的所述显示大小的第二比率，其中，当所述判定部件基于根据所述立体视频的所述第二区间获取的所述区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，所述视差校正部件从所述视差校正系数获取部件获取与由所述计算部件计算的所述第一比率对应的视差校正系数，将所述视差校正系数和所述第一区间的所述区间内最大显示大小或区间内最大视差量相乘，并且基于所述相乘的结果来校正视差，使得在其中判定所述双眼视像融合是不可能的所述第二区间中，所述双眼视像融合在所述立体视频中变得可能。

通过该手段，有可能：执行视差校正，使得所述双眼视像融合在所述场景中的所述立体视频中是可能的；当所述视差量变得更接近所述区间内最大显示大小或所述区间内最大视差量时减小和立体显示所述视差量；并且，相反，当所显示的视差变得远离所述区间内最大显示大小或区间内最大视差量时执行视差校正以减小（或使得更接近原始）所述显示的视差的递减量。

上面的立体视频再现装置包括：判定部件，所述判定部件判定所述第二区间是否相对于所述第一区间足够长，其中，当所述判定部件判定所述第二区间相对于所述第一区间足够长时，所述视差校正部件使用所述视差校正系数来校正所述视差，并且，当所述判定部件判定所述第二区间不相对于所述第一区间足够长时，基于根据在所述第二区间中的所述第一区间所获取的所述区间内最大显示大小或区间内最大视差量来校正所述视差。

根据本发明的一种立体视频再现程序使得计算机实现上面的立体视频再现装置。在本发明中也包括记录该立体视频再现程序的计算机可读记录介质。

根据本发明的一种立体显示装置包括上面的立体视频再现装置和输出目的地的立体显示器。

根据本发明的一种立体成像装置包括：成像部件，所述成像部件获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；视差量计算部件，所述视差量计算部件从所获取的立体视频的每一个帧的多个视点图像计算指示在具有公共特征的特征点之间的移位量的视差量；最大视差量获取部件，所述最大视差量获取部件从每一个帧的每一个特征点的所计算的视差量获取在远景侧上的最大视差量；区间内最大视差量获取部件，所述区间内最大视差量获取部件在所获取的所述远景侧上的最大视差量中获取在所述立体视频的每一个预定区间中最大的区间内最大视差量；区间内最大显示大小获取部件，所述区间内最大显示大小获取部件基于所述立体视频的每一个预定区间的获取的所述区间内最大视差量来获取当在每个预定区间在所述立体显示器上显示所述立体图像时其中双眼视像融合是可能的区间内最大显示大小；记录部件，所述记录部件产生其中记录了所述立体视频的立体视频文件，并且在记录介质中记录所述立体视频文件，其中，所述记录部件在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为附属信息；以及，上述立体视频再现装置，其中，所述第一获取部件从所述记录介质读取所述立体视频文件。

根据本发明的一种立体成像装置包括：成像部件，所述成像部件获取立体视频，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；视差量计算部件，所述视差量计算部件从所获取的立体视频的每一个帧的多个视点图像计算指示在具有公共特征的特征点之间的移位量的视差量；最大视差量获取部件，所述最大视差量获取部件从每一个帧的每一个特征点的所计算的视差量获取在远景侧上的最大视差量；区间内最大视差量获取部件，所述区间内最大视差量获取部件在所获取的所述远景侧上的最大视差量中，获取在所述立体视频的每一个预定区间中最大的区间内最大视差量；记录部件，所述记录部件产生其中记录了所述立体视频的立体视频文件，并且在记录介质中记录所述立体视频文件，其中，所述记录部件在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大视差量记录为附属信息；以及，上述立体视频再现装置，其中，所述第一获取部件从所述记录介质读取所述立体视频文件。

根据本发明的一种立体视频再现方法使得立体视频再现装置执行：读取立体视频文件并且从所述立体视频文件获取立体视频和附属信息的步骤，其中，在所述立体视频文件中记录所述立体视频和所述立体视频的所述附属信息，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括区间内最大显示大小，该区间内最大显示大小是当在立体显示器上显示所述立体视频的每一个帧时双眼视像融合是可能的每一个帧的最大显示大小中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的最大显示大小；获取输出目的地的立体显示器的显示大小的步骤；判定步骤，所述判定步骤将与所述立体视频的每一个预定区间对应地获取的所述区间内最大显示大小和所获取的所述立体显示器的显示大小作比较，并且基于所述比较结果来判定当在所述立体显示器上显示所述立体视频时在每个预定区间所述双眼视像融合是否是可能的；视差校正步骤，当所述判定步骤判定所述双眼视像融合是不可能的时，所述视差校正步骤校正视差，使得在其中判定所述双眼视像融合是不可能的预定区间中，所述双眼视像融合在所述立体视频中变得可能；以及，步骤：当向所述立体显示器输出所获取的立体视频时，在所述判定步骤判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正步骤在所述立体视频中校正所述视差；并且，在所述判定步骤判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频。

根据本发明的一种立体视频再现方法使得立体视频再现装置执行：读取立体视频文件并且从所述立体视频文件获取立体视频和附属信息的步骤，其中，在所述立体视频文件中记录所述立体视频和所述立体视频的所述附属信息，在所述立体视频中在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括在所述立体视频的每一个帧中在远景侧上的最大视差量中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的区间内最大视差量；获取输出目的地的立体显示器的显示大小的步骤；判定步骤，所述判定步骤基于与所述立体视频的每一个预定区间对应地获取的所述区间内最大视差量、所获取的所述立体显示器的显示大小和指示人的双眼间隔的预定值来判定当在所述立体显示器上显示所述立体视频时在每个预定区间所述双眼视像融合是否是可能的；视差校正步骤，当所述判定步骤判定所述双眼视像融合是不可能的时，所述视差校正步骤校正视差，使得在其中判定所述双眼视像融合是不可能的预定区间中，所述双眼视像融合在所述立体视频中变得可能；以及，步骤：当向所述立体显示器输出所获取的立体视频时，在所述判定步骤判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正步骤在所述立体视频中校正所述视差；并且，在所述判定步骤判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频。

{本发明的有益效果}

根据本发明，可以读取被记录为所述立体视频文件的附属信息的、所述立体视频的每一个预定区间的所述区间内最大显示大小或区间内最大视差量，并且基于这个读取的相加信息和所述立体显示器的所述显示大小来判定当在所述立体显示器上在所述对应的区间中显示所述立体视频时双眼视像融合是否是可能的。当确定所述双眼视像融合是不可能的时，因为校正所述视差使得所述双眼视像融合在所述区间的所述立体视频中变得可能以输出结果，所以有可能使用适当的视差量来显示所述立体视频，而与输出目的地的所述立体显示器的屏幕大小无关。而且，通过使用被记录为所述立体视频文件的附属信息的所述区间内最大显示大小或区间内最大视差量，可以在输出目的地的所述立体显示器上立体地显示在所述区间中的所述立体视频的情况下，容易判定所述双眼视像融合是否是可能的，并且可以减小图像处理的负荷。

附图说明

[图1]图1是图示其中将至少两个视点处的视点图像成像的状态的图。

[图2]图2是图示通常示出3D视频文件的数据结构的第一示例的图。

[图3]图3是图示成像/记录处理的流程图。

[图4]图4是图示在两个视点处的视点图像的示例的图。

[图5]图5是图示通常示出3D视频文件的数据结构的第二示例的图。

[图6]图6是图示通常示出3D视频文件的数据结构的第三示例的图。

[图7]图7是图示通常示出3D视频文件的数据结构的第四示例的图。

[图8]图8是图示其中将在四个视点处的视点图像成像的状态的图。

[图9]图9是通常示出其中记录了在四个视点处的视点图像的3D视频文件的数据结构的图。

[图10]图10是用于解释虚拟视点的图。

[图11A]图11A是图示立体成像装置的前外观的图。

[图11B]图11B是图示立体成像装置的后外观的图。

[图12]图12是图示立体成像装置的内部结构的框图。

[图13]图13是图示3D视频再现的第一实施例的流程图。

[图14]图14是用于解释视差移位的原理的图。

[图15]图15是图示右和左视点图像的视差移位的图。

[图16]图16是图示3D视频再现的第二实施例的流程图。

[图17]图17是图示3D视频再现的第三实施例的流程图。

[图18]图18是图示视差校正表格的示例的图。

[图19]图19是图示3D视频再现的第四实施例的流程图。

[图20]图20是图示3D视频再现的第五实施例的流程图。

[图21]图21是图示3D视频再现的第六实施例的流程图。

[图22]图22是图示3D视频再现的第七实施例的流程图。

[图23]图23是图示立体视频再现装置和3D显示器的整体结构的图。

[图24]图24是图示立体视频再现装置的内部结构的框图。

具体实施方式

下面，将根据附图详细描述本发明的优选实施例。

{3D视频文件的第一实施例}

说明根据第一实施例的立体视频文件（3D视频文件）。

图1是图示下述状态的图：在该状态中，通过两个成像装置101-2和101-3从相对于物体100的不同视点成像在两个视点（即，左视点和右视点）处的视点图像（或视频），并且，图2是通常示出记录利用在图1中所示的成像装置101-2和101-3中成像的左视点和右视点视频所形成的3D视频的3D视频文件的数据结构的图。

在图2中所示的3D视频文件是符合MPEG（活动图片专家组）格式的MPEG文件，并且，在左视点处的视点图像和在右视点处的视点图像以一个GOP（图片组：在MPEG压缩中，在压缩时和在再现/编辑时作为一个单元的、视频信号的几个帧的组合）为单位来交替地耦合并且形成为一个文件。

在记录每一个GOP的视点图像的区域的头部中设置头部区域，并且该头部区域记录附属信息，诸如图像大小、宽高比和帧速率。而且，在本实施例中，作为附属信息，进一步记录下面的附属信息的全部或一部分。

·GOP最大显示大小（宽度、高度，单位：mm）

·假定的可视距离（在观察立体视频时的观众和3D显示器之间的距离）（单位：mm）

·GOP最大视差量（近景）：相对于图像宽度的视差量（%）

·GOP最大视差量（远景）：相对于图像宽度的视差量（%）

·拍摄每一个视点图像的装置的会聚角、基线长度和成像单元布置（视点编号）。

使用在图3中的流程图来解释记录这样的3D视频文件的成像/记录处理。

首先，获取与左视点和右视点对应的、在一个GOP中的多个帧中的一个帧的右和左视点图像（步骤S11）。在此，通过如图1中所示的两个成像装置101-2和101-3，获取经过相对于物体100进行3D视频成像的3D视频的一个帧的右和左视点图像。在此，假定成像装置101-2具有视点编号2，并且成像装置101-3具有视点编号3。

接下来，从右和左视点图像提取多个特征点（步骤S12），并且计算在每一个特征点中的视差量（步骤S13）。在此，视差量表示在视点图像之间、在对应的特征点中的相应的视点图像的左端的距离之间的差，并且单位是像素。根据以这种方式计算的在每一个特征点中的视差量，获取关于在近景侧上的最大视差量和在远景侧上的最大视差量（步骤S14）。

图4是图示右和左视点图像的示例的图，图4的（a）部分图示了左视点图像201-2，并且图4的（b）部分图示了右视点图像201-3。

在图4的示例中，在近景侧上的最大视差量是213N，并且具有该视差量的特征点（即，最大视差量位置（近景））分别是211N和212N。而且，在远景侧上的最大视差量是213F，并且具有该视差量的特征点（即，最大视差量位置（远景））分别是211F和212F。即，在立体地观看基于这些右和左视点图像的立体图像的情况下，立体图像被观看，使得最大视差量位置（近景）最近，并且最大视差量位置（远景）最远。

在近景侧上的最大视差量213N和在远景侧上的最大视差量213F与图像宽度的比率（%）是最大视差量（近景）（%）和最大视差量（远景）（%）。

随后，判定是否在一个GOP的所有帧中完成获取最大视差量（步骤S15），并且，在未完成它的情况下（即，“在否的情况下”），返回到步骤S11以执行在步骤S11至S14中的处理，并且在完成它的情况下（即，“在是的情况下”），进行到步骤S16。

在步骤S16中，在一个GOP的所有帧中的最大视差量中的最大的最大视差量被获取为GOP最大视差量。而且，基于该GOP最大视差量，获取GOP最大显示大小。

当在远景侧上的视差量超过人的双眼间隔时，双眼视像融合在图像的位置中是不可能的，并且不能立体地观看它。因此，根据GOP最大视差量（远景）与图像宽度的比率（％），在其中视差不超过人的双眼间隔的显示大小内获取最大显示大小（即，GOP最大显示大小）。

例如，假定人的双眼间隔是50mm，并且如果GOP最大视差量（远景）与图像宽度的比率是10%，则对于双眼视觉允许的最大显示宽度是500mm。即，在具有500mm或更小的宽度的显示器的情况下，显示与GOP最大视差量（远景）对应的右和左图像，而不超过50mm的双眼间隔，并且结果，观众可以执行双眼视觉。

在此，在采用具有16:9的宽高比的显示器的情况下，最大显示高度是281.25mm。

在此，可以根据目标观众来任意地确定人的双眼间隔。例如，当仅以成人为目标时，可以设置诸如65mm的宽度值。

例如，假定人的双眼间隔是65mm，并且如果GOP最大视差量（远景）与图像宽度的比率是15%，则对于双眼视觉允许的GOP最大显示大小是大约433mm。而且，在采用具有16:9的宽高比的3D显示器的情况下，GOP最大显示大小的高度是大约244mm。

而且，取代从人的双眼间隔执行计算，预先准备记录与最大视差量对应的最大显示大小的表格，并且通过参考该表格，可以获取GOP最大显示大小。

接下来，一个GOP的左视点图像和右视点图像分别进行MPEG压缩，如图2中所示交替地耦合并且被记录为3D视频文件，并且在其中记录在每一个GOP中的视点图像的区域的第一头部区域中，例如，将在步骤S16中获取的GOP最大显示大小、GOP最大视差量（远景）（%）和GOP最大视差量（近景）（%）记录为附属信息（步骤S17）。随后，通过对于3D视频的所有GOP执行上面的处理，可以记录在图2中所示的3D视频文件。

当在3D显示器上显示如上记录的3D视频文件时，由立体视频再现装置读取该记录的3D视频文件。在该情况下，在立体视频再现装置中，通过将在3D视频文件的附属信息中记录的GOP最大显示大小和要在其上显示该3D视频文件的3D显示器的显示大小作比较，可以容易地判定双眼视觉是否是可能的。在判定双眼视觉可能的情况下，可以原样显示所记录的3D视频，并且在判定双眼视觉不可能的情况下，可能使用GOP最大显示大小和GOP最大视差量来校正在对应的GOP中的右和左视点图像的视差，并且，可以减少在立体视频再现装置中的视差校正处理。

在此，在本实施例中，虽然仅基于在远景侧上的GOP最大视差量来确定GOP最大显示大小，但是可以考虑在近景侧上的GOP最大视差量而确定它。通过考虑在近景侧上的GOP最大视差量，可以确定GOP最大显示大小，该GOP最大显示大小实现不仅在远景侧上而且在近景侧上的适当的双眼视觉。

例如，其中近景视差量等于或小于50mm的显示大小可以被设置为GOP最大显示大小。这是因为当在近景侧上的视差量增大时，观众对于双眼视觉感到疲劳，并且因此，它优选地等于或小于预定量。

而且，在本实施例中，从GOP的第一头部区域中获取的GOP最大视差量和GOP最大显示大小被记录为附属信息。但是不限于此，以及如图5中所示，它们可以被记录于在两个GOP之前（即，在一个GOP片刻之前的时间）的GOP的第一头部区域中。而且，如图6中所示，在3D视频文件的第一头部区域中一起记录从所有的GOP获取的GOP最大视差量和GOP最大显示大小。根据这一点，读取3D视频文件的立体视频再现装置可以预先检测是否调整在一个GOP中的立体视频的视差，并且可以预先计算要调整的视差量。

而且，在本实施例中，获取在一个GOP中为最大的GOP最大视差量和GOP最大显示大小。但是不限于此，并且在预先设置的预定数量的GOP（区间）的每一个中的区间内最大视差量和区间内最大显示大小可以被获取以及被记录为相对于在该区间中的3D视频的附属信息。

{3D视频文件的第二实施例}

在第二实施例中，在3D视频场景如图7中所示改变的情况下，下面的附属信息的全部或一部分被记录为场景的头部的附属信息。

·指示场景头部的标记

·场景最大显示大小（宽度、高度，单位：mm）

·假定的可视距离（在观察立体视频时的观众和3D显示器之间的距离）（单位：mm）

·场景最大视差量（近景）：相对于图像宽度的视差量（%）

·场景最大视差量（远景）：相对于图像宽度的视差量（%）

·拍摄每一个视点图像的装置的会聚角、基线长度和成像单元布置（视点编号）

·拍摄每一个视点图像的装置的会聚角、基线长度和成像单元布置（视点编号）

而且，指示放大/缩小的标记和指示模糊校正的开/关/复位的标记可以被记录为附属信息。

场景可以由从获取的3D视频检测场景改变的场景改变检测单元来改变。例如，该检测在下述情况下是可能的：指示记录时间的时间戳的时间在先前和随后的3D视频帧中彼此分离；检查先前和随后的3D视频帧的相关性，并且不存在相关性；GOP最大视差量在相邻的GOP中的改变高于预定阈值；以及，模糊校正状态改变（开-->关，关-->开，复位）。在此，场景改变检测方法不限于上面的示例，并且各种方法是可能的。

场景头部标记表示指示如图7中所示的在耦合3D视频的每一个场景的3D视频文件中的每一个场景的头部的标记，场景最大视差量是在场景中的3D视频中最大的视差量，并且，场景最大显示大小是在其中在立体显示器上显示场景时双眼视像融合是可能的的显示大小内的并且基于在场景中的场景最大视差量而获取的最大显示大小。

而且，如图7中所示，在其中耦合3D视频的每一个场景的3D视频文件中，对于每一个场景，在场景的头部处记录附属信息，诸如场景头部标记、在场景中的场景最大视差量和场景最大显示大小。在此，除了上面的信息之外，在场景头部处的附属信息中记录场景的场景长度信息。可以通过形成场景的GOP的数量来表达场景长度信息。

{3D视频文件的第三实施例}

在第一实施例中，已经使用从两个视点获取的右和左视点图像来解释示例，根据本发明的3D视频的视点的数量不限于两个视点，并且在等于或大于三个视点的多个视点处的视点图像是可能的。

图8是图示下述状态的图：四个成像装置101-1至101-4在相对于物体100的不同视点处拍摄四个视点图像。在此，假定成像装置101-1至101-4的视点编号依序是1至4。

图9是典型地示出记录通过这四个成像装置101-1至101-4拍摄的在四个视点处的视点图像的3D视频文件的数据结构的图。类似于在图2中所示的文件，该3D视频文件是MPEG文件，并且关于以一个GOP为单位的在四个视点处的视点图像，与视点编号1至4对应的视点图像（1）至（4）被依序和重复地耦合并形成为一个文件。

而且，在其中记录每一个GOP的每一个视点图像的记录区域的第一头部区域中，类似于第一实施例，记录附属信息，诸如GOP最大显示大小、GOP最大视差量、假定的可视距离与拍摄每一个视点图像的装置的会聚角、基线长度和成像单元布置（即，视点编号）。

而且，关于在视点图像（1）至（4）的每一个的头部中记录的GOP最大显示大小和GOP最大视差量等，记录在视点图像和其他视点图像之间计算的值。更具体地，关于相对于视点图像（1）的GOP最大显示大小和GOP最大视差量，基于例如如图8中所示的在左端参考视点处拍摄的视点图像（1），记录从具有最大视差量的视点图像（在该情况下为视点图像（4））计算的GOP最大视差量和从这个最大视差量获取的GOP最大显示大小与假定的可视距离。甚至关于会聚角和基线长度，记录拍摄相同的视点图像（在该情况下为视点图像（4））的装置的会聚角和基线长度。

作为例如视点图像（2）的附属信息，记录从这个视点图像（2）和在参考视点处拍摄的视点图像（1）计算的GOP最大显示大小、GOP最大视差量、假定的可视距离、会聚角、基线长度和视点编号。

作为例如视点图像（3）的附属信息，记录从这个视点图像（3）和在参考视点处拍摄的视点图像（1）计算的GOP最大显示大小、GOP最大视差量、假定的可视距离、会聚角、基线长度和视点编号。

作为例如视点图像（4）的附属信息，记录从这个视点图像（4）在参考视点处拍摄的和视点图像（1）计算的GOP最大显示大小、GOP最大视差量、假定的可视距离、会聚角、基线长度和视点编号。

因此，当在3D显示器上显示记录在等于或大于三个视点的多个视点处的视点图像的3D视频文件，由立体视频再现装置读取该3D视频文件。在该情况下，在立体视频再现装置中，通过将在3D视频文件的附属信息中记录的每一个视点图像的GOP最大显示大小与要在其上显示该3D视频文件的3D显示器的显示大小作比较，可能容易地判定双眼视觉是否是可能的。

多个视点图像的记录顺序不限于在图9中所示的顺序，并且，当在3D显示器上显示时的推荐图像（例如，两个视点图像）可以被较早地记录。例如，在推荐通过在中心的两个视点处的视点图像（2）和（3）的立体显示的情况下，可以较早地记录视点图像（2）和（3），并且随后记录视点图像（1）和（4），并且同时，在推荐通过在两端的两个视点处的视点图像（1）和（4）的立体显示的情况下，可以较早地记录视点图像（1）和（4），并且可以随后记录视点图像（2）和（3）。

{3D视频文件的第四实施例}

在第三实施例中的多个视点图像的全部不需要是实际拍摄的图像，并且可以包括与虚拟视点对应的虚拟视点图像。

例如，如图10中所示，通过两个成像装置101-1和101-4来拍摄在相对于物体100的不同视点（即，视点编号1和视点编号4）处的两个视点图像。

而且，可以在与视点编号1和4不同的视点并且不是实际上存在的虚拟视点处产生视点编号2和3的视点图像2和3。为了产生虚拟视点图像，存在内部划分多个拍摄的图像的每一个像素的方法和使用从多个拍摄的图像产生的视差图和一个拍摄的图像来产生它的方法，但是不特定限制。

在记录包括在虚拟视点处的视点图像的、在多个视点处的视点图像的3D视频文件中，作为在多个视点处的视点图像中的第一视点图像（1）的附属信息，一起记录指示在每一个视点处的视点图像是在实际视点处的视点图像还是在虚拟视点处的视点图像的信息（参见图9）。在此，不限于其中不将实际视点和虚拟视点的信息一起记录为第一视点图像（1）的附属信息的情况，并且作为视点图像（1）至（4）的每个的附属信息，可以独立地记录指示其是在实际视点处的视点图像还是在虚拟视点处的视点图像的信息。在将3D视频显示为2D视频的情况下，可以使用指示是在实际视点处的视点图像还是在虚拟视点处的视点图像的该信息。

{立体成像装置的外观}

图11A和图11B是图示根据本发明的立体成像装置的外观的图，图11A是从立体成像装置的前表面侧看到的透视图，并且图11B是后视图。

该立体成像装置（即，复眼相机）10是数字相机，它可以记录和再现2D/3D静止图像和2D/3D视频，并且如图11中所示，在具有长方形平行六面体形状的薄相机主体的上表面上设置了快门按钮11和变焦按钮12。

如图11A中所示，具有与在相机主体的水平方向上的宽度大体相同的宽度的镜头挡板13被设置在相机主体的前表面中，以便在相机主体的垂直方向上自由地移动，并且通过在由交替的长和两点线指示的位置和由实线指示的位置之间在垂直方向上移动该镜头挡板13，可以同时打开和关闭一对右和左成像光学系统14-1和14-2的前表面。在此，作为成像光学系统14-1和14-2，使用折叠光学器件的变焦镜头。而且，与通过镜头挡板13进行的镜头的前表面的打开和关闭操作合作地，可以接通或断开相机电源。

如图11B中所示，在相机主体的背面的中心部分中设置用于3D的液晶监视器16。液晶监视器16可以分别通过视差光栅将多个视差图像（即，右视点图像和左视点图像）显示为具有预定方向的定向图像。而且，作为用于3D的液晶监视器16，可以应用：使用柱状镜头的一个；或者，下述的一个，其中，通过佩戴诸如偏振眼镜和液晶快门眼镜的专用眼镜而独立地观看右视点图像和左视点图像是可能的。

在上面的液晶监视器16的右面和左面设置了各种操作开关。操作开关18A是切换开关，用于在静止图像成像和视频成像之间切换，操作开关18B是视差调整开关，用于调整在右视点图像和左视点图像之间的视差量，并且，操作开关18C是切换开关，用于在2D成像和3D成像之间切换。而且，操作开关18D是组合菜单/OK按钮和再现按钮的跷跷板键，操作开关18E是多功能箭头键，并且操作开关18F是显示/返回（DISP/BACK）键。

菜单/OK（MENU/OK）按钮是组合如下功能的操作开关：作为菜单按钮给出在液晶监视器16的屏幕上显示菜单的指令的功能；以及，作为OK按钮给出确认和执行选择内容的指令的功能。再现按钮是从成像模式切换到再现模式的按钮。箭头键是操作开关，用于输入用于上、下、右和左四个方向的指令，宏按钮、闪光灯按钮和自动定时器按钮等被分配到该四个方向。在此，在选择菜单的情况下，箭头键作为用于从菜单屏幕选择项目或给出从每一个菜单选择各种设置项目的指令的开关（即，光标移动操作单元）。而且，箭头键的左/右键作为用于在再现模式中的帧供给（前向/反向供给）的按钮。在切换液晶监视器16的显示格式、取消在菜单屏幕上的指令内容或返回到前一个操作状态时使用显示/返回键。

而且，在图11A中，附图标号“15”是立体声麦克风。

{立体成像装置的内部结构}

图12是指示上面的立体成像装置10的内部结构的框图。

如图12中所示，该立体成像装置10主要由下述部分形成：多个成像单元20-1和20-2；中央处理单元（CPU）32；操作单元34，其包括上面的快门按钮11、变焦按钮12和各种操作开关；显示控制单元36；液晶监视器16；记录控制单元38；压缩/解压缩处理单元42；数字信号处理单元44；AE（自动曝光）检测单元46；AF（自动聚焦）检测单元48；AWB（自动白平衡）检测单元50；VRAM52；RAM54；ROM56；以及，EEPROM58。在此，虽然成像单元20-1和20-2拍摄在其间具有视差的左眼图像和右眼图像的两个视差图像，但是可以有三个或更多的成像单元20。

拍摄左眼图像的成像单元20-1包括：棱镜（未示出）；使用聚焦镜头和变焦镜头21形成的成像光学系统14-1（图14）；使用光圈22和机械快门23形成的光学单元；固态成像元件（CCD）24；模拟信号处理单元25；模数转换器26；图像输入控制器27；镜头驱动单元28，其驱动上面的光学单元；光圈驱动单元29；快门控制单元30；以及，用于控制CCD24的CCD控制单元31。而且，拍摄右眼图像的成像单元20-2具有与拍摄上面的左眼图像的成像单元20-1相同的结构。省略具体结构的说明。

CPU32基于来自操作单元34的输入根据预定控制程序来执行整体相机操作的整合控制。而且，CPU32通过特征点提取来计算视差量，获取最大视差量，计算GOP最大显示大小，计算场景最大显示大小，计算GOP最大视差量，计算场景最大视差量，检测场景改变和执行视差移位并且产生虚拟视点图像，等等。

而且，ROM56存储由CPU32执行的控制程序、控制所需的各种数据、3D视频处理程序和3D视频再现程序等。EEPROM58存储用于指示在运输产品之前在调整时的调整结果的各种信息，诸如CCD24的像素缺陷信息、用于图像处理等的校正参数和在最大视差量和最大显示大小之间的对应表格。

而且，VRAM52是暂时存储在液晶监视器16上显示的显示图像数据的存储器，并且RAM54包含CPU32的计算工作区域和图像数据的暂时存储区域。

在成像光学系统中包括的聚焦镜头和变焦镜头21被镜头驱动单元28驱动，并且沿着光轴前后移动。通过控制镜头驱动单元28的驱动器，CPU32控制聚焦镜头的位置，并且执行聚焦调整使得聚焦在物体上，并且通过根据来自在操作单元34中的变焦按钮12的变焦指令而控制变焦镜头的变焦位置来改变变焦放大率。

例如，使用可变光圈来形成光圈22，并且通过光圈驱动单元29来驱动和操作光圈22。CPU32通过光圈驱动单元29来控制光圈22的光圈量（即，光圈值），并且控制向CCD24的入射光量。

机械快门23通过打开和关闭光学路径来判定在CCD24中的曝光时间，并且防止引起弄脏使得在从CCD24读取视频信号时不必要的光不入射在CCD24上。CPU32向快门控制单元30输出与对应于快门速度的曝光结束定时同步的快门关闭信号，并且控制机械快门23。

使用二维彩色CCD固态成像元件来形成CCD24。在CCD24的光接收侧上，以二维方式排列了许多光电二极管，并且在每一个光电二极管中，在预定阵列中布置滤色器。

通过具有上面的结构的光学单元在CCD光接收侧上形成的物体光学图像被这个光电二极管转换为对应于入射光量的信号电荷。基于根据CPU32的指令从CCD控制单元31给出的驱动脉冲，在每一个光电二极管中累积的信号电荷被从CCD24依序读取为与该信号电荷对应的电压信号（或图像信号）。CCD24包括电子快门功能，并且通过控制光电二极管的电荷累积时间来控制曝光时间（或快门速度）。在此，通过电子快门来控制与快门速度对应的电荷累积开始定时，并且，通过关闭机械快门23来控制曝光结束定时（即，电荷累积结束定时）。在这个实施例中，虽然CCD24被用作成像元件，但是使用诸如CMOS传感器的另一结构的成像元件是可能的。

在从CCD24读取的R、G和B的模拟信号在模拟信号处理单元25中进行相关的双采样（CDS）和放大后，它们在模数转换器26中被转换为R、G和B的数字信号。

图像输入控制器27包含预定容量的线缓冲器，并且在暂时累积在模数转换器26中进行模数转换的R、G和B的图像信号（即，CCDRAW数据）后，通过总线60将它们存储在RAM54中。

CPU32在3D成像模式中控制拍摄右视点图像的成像单元20-2以及拍摄左视点图像的成像单元20-1。

AE检测单元46基于在快门按钮11的半按时输入的视频信号来计算AE控制所需的物体亮度，并且向CPU32输出指示物体亮度（即，成像EV值）的信号。CPU32基于输入的成像EV值根据预定程序图来设置在多个成像单元20-1和20-2中的快门速度（即，曝光时间）、光圈值和成像灵敏度。

AF检测单元48积分在快门按钮11的半按时输入的AF区域的图像信号的高频分量的绝对值，并且向CPU32输出这个积分值（即，AF评估值）。CPU32将聚焦镜头从近侧向无限远侧移动，搜索其中由AF检测单元48检测的AF评估值最大的聚焦位置，并且通过向该聚焦位置移动聚焦镜头来执行对于物体（即，主物体）的聚焦调整。而且，在拍摄视频时，执行所谓的登山控制，以移动聚焦镜头使得上面的AF评估值总是具有最大值。

AWB检测单元50基于在成像时获取的R、G和B的图像信号来自动找到光源类型（现场的色温），并且从存储对于各自的光源类型预先设置的R、G和B的白平衡增益（即，白平衡校正值）的表格中读取对应的白平衡增益。

数字信号处理单元44包括：白平衡校正电路；灰度转换处理电路（例如，伽马校正电路）；同步电路，其根据信号板CCD的滤色器阵列来补偿诸如R、G和B的彩色信号的空间间隙，并且分配每一个彩色信号的位置；轮廓校正电路；以及，亮度和色差信号产生电路等，并且，数字信号处理单元44对于在RAM54中存储的R、G和B的图像信号（即，CCDRAW数据）执行图像处理。即，在数字信号处理单元44中，R、G和B的CCDRAW数据乘以在AWB检测单元50中检测的白平衡增益，进行白平衡校正，并且在随后执行诸如灰度转换处理（例如，伽马校正）的预定处理后，被转换为使用亮度信号（Y信号）和色差信号（Cr和Cb信号）形成的YC信号。在RAM54中存储由数字信号处理单元44处理的YC信号。

而且，数字信号处理单元44包括：失真校正电路，其校正在多个成像单元20-1和20-2的成像光学系统中的镜头失真校正；以及，图像提取处理电路，其通过分别从右和左视点图像提取预定提取区域的图像来校正多个成像单元20-1和20-2的成像光学系统的光轴移位。

压缩/解压缩处理单元42在存储卡40中记录时根据来自CPU32的指令来对于在RAM54中存储的YC信号执行压缩处理，并且对于在存储卡40中记录的压缩的压缩数据执行解压缩处理并且产生YC信号。

记录控制单元38将由压缩/解压缩处理单元42压缩的压缩数据记录为预定格式的图像文件（例如，将3D静止图像记录为MP文件，并且将3D视频记录为MPEG4、MPEG4-MVC、运动JPEG或H.264的视频文件），或者从存储卡40读取视频文件。

而且，当记录根据本发明的3D视频文件时，如在第一实施例至第四实施例中所述，除了诸如图像大小、长宽比和帧率的附属信息之外，记录控制单元38将在存储卡40中记录以下内容作为附属信息：GOP最大显示大小；场景最大显示大小；假定的可视距离；GOP最大视差量（近景）（%）；GOP最大视差量（远景）（%）；场景最大视差量（近景）（%）；以及，场景最大视差量（远景）（%）。

在该情况下，在拍摄3D视频时，除了如在第一实施例至第四实施例中所述建立和记录3D视频文件的情况之外，下述情况是可能的：它在存储卡40中被暂时记录为正常的3D视频文件，并且其后，从存储卡40读取3D视频文件，以建立在第一实施例至第四实施例中所述的3D视频文件，并且再一次在存储卡40中记录它。

液晶监视器16被用作图像显示单元以显示拍摄的图像，并且在各种设置时被用作GUI（图形用户界面）。而且，液晶监视器16被用作电子取景器，该电子取景器显示即时取景图像（以下称为“直通图像”）以在成像模式中确认视角。在将3D视频显示在液晶监视器16上的情况下，显示控制单元36逐个像素地交错显示在VRAM52中保存的左视点图像和右视点图像。通过在液晶监视器16中设置的视差光栅，从预定距离观察监视器的用户的右和左眼与逐个像素交错排列的右和左图像独立地具有视觉接触。通过该手段，双眼视觉是可能的。

通过如上配置的立体成像装置10，实现上面的实施例是可能的。在此，虽然在此所述的立体成像装置10包括在两个右和左视点拍摄图像的两个成像单元，但是可以配置成包括三个或更多个成像单元，并且在三个或更多个视点处拍摄视点图像。例如，如图8中所示，可以配置使得通过包括诸如四个成像装置101-1至101-4的四个成像单元，拍摄在四个视点处的视点图像。

{3D视频再现的第一实施例}

接下来，使用在图13中的流程图，对于读取如上记录的3D视频文件并且执行3D视频再现的处理给出解释。

首先，获取用于显示3D视频的输出目的地的3D显示器的输出显示大小（步骤S21）。可以从3D显示器的HDMI端子获取该输出显示大小。随后，从3D视频文件读取左视点的GOP_L和右视点的GOP_R，这些被保存在高速缓存中（步骤S22），并且向高速缓存添加左视点的GOP_L和右视点的GOP_R，直到高速缓存量达到预定的最大高速缓存量（步骤S23）。

当高速缓存量达到预定最大高速缓存量时，判定是否完成了在3D视频文件中的所有左视点的GOP_L和所有右视点的GOP_R的读取（步骤S24），并且，在其中未完成读取的情况下（在“否”的情况下），GOP最大显示大小被从在被高速缓存的左视点的GOP_L和右视点的GOP_R中的、要被输出到3D显示器的左视点的GOP_L和右视点的GOP_R的附属信息中读取，并且被暂时存储（步骤S25）。随后，将在步骤S21中获取的输出显示大小的宽度和在步骤S25中存储的GOP最大显示大小的宽度作比较（步骤S26）。

当GOP最大显示大小的宽度等于或大于输出显示大小的宽度时，即使原样显示左视点的GOP_L和右视点的GOP_R，对于双眼视觉也没有问题，并且因此，将左视点的GOP_L和右视点的GOP_R原样输出到3D显示器（步骤S27）。

相反，在输出显示大小的宽度大于GOP最大显示大小的宽度的情况下，如果显示具有GOP最大显示大小作为附属信息的左视点的GOP_L和右视点的GOP_R，则在远景侧上的最大视差位置处的视差量超过人的双眼间隔，并且不能立体地观看该部分。因此，需要校正右和左视点图像的视差量。

通过视差移位来执行视差量校正（步骤S28）。

图14是用于说明视差移位的原理的图。而且，图15的（a）部分是图示左视点图像的图，并且图15的（b）部分是图示右视点图像的图。在此，假定观众的左眼在坐标（0，D）上，并且观众的右眼在坐标（XB，D）上。在Z＝0上显示的右和左视点图像中，在左视点图像的坐标（XL，0）和在右视点图像的坐标（XR，0）上显示的物体被可视地查看为在坐标（XP，YP）中。

在该状态中，如图15（b）中所示，如果在左方向上将右视点图像仅移位XR-XR′，则物体的右视点图像的坐标变为在图10中所示的（XR′，0），并且作为结果，该物体被可视地查看为在坐标（XP′，YP′）中。

因此，通过执行视差移位，调整视差量是可能的。因此，在远景侧上的视差量超过人的双眼间隔的情况下，可以通过执行视差移位来设置在人的双眼间隔内的视差量并且适当地执行双眼视觉。

更具体地，当输出显示大小的宽度是W1，GOP最大显示大小的宽度是W2，并且GOP最大视差量是P时，在视差校正P′后的GOP最大视差量被设置为下面的等式。

{等式1}

P′={W2/W1}*P

因此，通过仅通过在下面的等式中所示的视差量（%）来对于在接近方向上的右和左视点图像之一或两者执行像素移位，可以将在一个GOP中的在用于3D视频的3D显示器上的视差设置在人的双眼间隔内。

{等式2}

视差量(%)=P-P′

而且，视差校正不限于上面的视差移位，而是可以通过视差压缩被执行。如使用图10所述，可以通过下述方式来执行视差压缩：在虚拟视点处产生具有比右和左视点图像小的视差量的图像，并且在所述虚拟视点处显示产生的图像。采用哪种方式来校正视差量可以被预先决定，或者被配置使得用户可以选择它。可以通过任何视差量调整来减小至少在远景侧上的视差。

在上面的步骤S28中进行视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S27）。

因此，可以通过下述方式来总是显示适当的3D视频：读取作为附属信息记录的GOP最大显示大小；将其与输出显示大小作比较；在GOP最大显示大小较大的情况下，在对于双眼视觉没有问题的假设下，将左视点的GOP_L和右视点的GOP_R原样输出到3D显示器；并且，在输出显示大小较大的情况下，在确定存在其中双眼视觉是不可能的区域的情况下，输出相对于左视点的GOP_L和右视点的GOP_R的所有帧进行视差校正的左视点的GOP_L和右视点的GOP_R。

与向3D显示器的输出上面的左视点的GOP_L和右视点的GOP_R并行地，通过读取和向高速缓存内添加新的左视点的GOP_L和新的右视点的GOP_R，可以通过执行上面的处理来再现3D视频。

在步骤S24中，当结束在3D视频中的全部左视点的GOP_L和全部右视点的GOP_R的读取时（“在是的情况下”），在高速缓存中的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S29），并且，结束3D视频的再现。在此，即使当在高速缓存中的左视点的GOP_L和右视点的GOP_R被输出到3D显示器时，执行在步骤S25至S28中的处理。

在这个实施例中，虽然在3D视频文件的附属信息中记录的GOP最大显示大小用于判定是否可以立体地观看在输出目的地的3D显示器上显示的每一个GOP的立体视频，但是不限于此，并且即使通过使用GOP最大视差量也可以类似地执行它。

即，基于输出目的地的3D显示器的显示大小和指示人的双眼间隔的预定值（例如，50mm）来计算能够允许的视差量。通过（人的双眼间隔）/（显示大小（%））来表达该能够允许的视差量，并且在人的双眼间隔是50mm并且显示大小（即，宽度）是1300mm的情况下，能够允许的视差量是3.85（％）。

而且，根据GOP最大显示大小（%）是否等于或小于上面的能够允许的视差量，可以判定双眼视像融合是否是可能的。

而且，作为另一种方法，可以基于GOP最大视差量和输出目的地的3D显示器的显示大小两者来计算与在3D显示器上的GOP最大视差量对应的图像移位量，并且根据该计算的图像移位量是否超过指示人的双眼间隔的预定值，确定双眼视像融合是否是可能的。

而且，在第一实施例中，虽然可以对每个GOP执行视差校正，但是不限于此，并且可以基于预先设置的每预定数量的GOP的、在预定数量的GOP中的最大显示大小和最大视差量等来执行视差校正。

{3D视频再现的第二实施例}

图16是指示3D视频再现处理的第二实施例的流程图。在此，向与在图13中图示的第一实施例共同的部分指配相同的步骤编号，并且省略它们的详细说明。

虽然第一实施例针对其中对于每一个GOP将GOP最大显示大小和GOP最大视差量记录为附属信息的3D视频文件，但是第二实施例与其不同在于：第二实施例针对其中对于每一个场景将场景最大显示大小和场景最大视差量记录为附属信息的3D视频文件，如图7中所示。

在图16中，步骤S30判定是否存在场景头部标记。当检测到场景头部标记时（“在是的情况下”），场景最大显示大小被从场景的第一头部中读取，并且被暂时存储（步骤S31）。随后，比较在步骤S21中获取的输出显示大小的宽度和在步骤S31中存储的场景最大显示大小的宽度（步骤S32）。

在场景最大显示大小的宽度等于或大于输出显示大小的宽度的情况下，因为即使显示在场景中的3D视频也对于双眼视觉没有问题，所以它被原样输出到3D显示器（步骤S27）。

相反，在输出显示大小的宽度大于场景最大显示大小的宽度的情况下（在步骤S32中的“在否的情况下”），校正在场景中的3D视频的视差，使得将在3D显示器上的在场景中的3D视频的视差设置在人的双眼间隔内。

在此，使用场景最大视差量而不是场景最大显示大小，可以判定立体地观看场景的3D视频是否是可能的。

{3D视频再现的第三实施例}

图17是图示3D视频再现处理的第三实施例的流程图。在此，向与在图13中图示的第一实施例共同的部分指配相同的步骤编号，并且省略它们的详细说明。

第一实施例针对其中每一个GOP将GOP最大显示大小和GOP最大视差量记录为附属信息的3D视频文件。相反，第三实施例与其不同在于：针对其中对于每一个GOP将GOP最大显示大小和GOP最大视差量记录为附属信息、以及对于每一个场景将场景最大显示大小和场景最大视差量记录为附属信息的3D视频文件，如图7中所示。

在图17中，在步骤S40中，GOP最大视差量被从被高速缓存的左视点的GOP_L和右视点的GOP_R的附属信息中读取，并且被暂时存储。在步骤S41中，判定是否有场景头部标记。当检测到场景头部标记时（“在是的情况下”），场景最大显示大小和场景最大视差量被从场景的第一头部中读取，并且被暂时存储（步骤S42、S43和S45）。

随后，判定在步骤S42中存储的场景长度是否比一个GOP足够长（步骤S45）。当判定它短时（“在否的情况下”），以与在第一实施例中相同的方式，每一个GOP执行视差校正（步骤S46），并且，进行视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S47）。在此，在其中在GOP中的最大显示大小等于或大于输出显示大小的情况下，它们被原样输出到3D显示器，而不执行视差校正。

同时，在步骤45中，当判定场景长度更长时（“在是的情况下”），返回到步骤S22，并且其后，通过在步骤S41和步骤S48中的处理，高速缓存左视点的GOP_L和右视点的GOP_R，直到它从场景头部起达到预定最大高速缓存量。

随后，当高速缓存量达到预定最大高速缓存量时（即，当在步骤S48中被判定为“在是的情况下”），使用下面的视差校正表格来执行相对于在场景中的3D视频的视差校正（步骤S49）。

图18是图示视差校正表格的示例的图形。在图18中图示的图形中，水平轴指示GOP最大视差量/场景最大视差量，并且垂直轴指示视差校正系数（0至1）。

在此，当假定在步骤S43中存储的场景最大显示大小与在步骤S21中获取的输出显示大小的比率（即，场景最大显示大小/输出显示大小）是X时，视差校正系数被设置为当GOP最大视差量/场景最大视差量从0接近1时从1向X改变的值。

在此，将视差校正系数乘以在场景中的每一个GOP最大视差量。执行视差校正使得在场景中的每一个GOP最大视差量被设置为上面的相乘值（即，校正的GOP最大视差量）。

例如，对具有与“GOP最大视差量/场景最大视差量＝1”对应的GOP最大视差量作为附属信息的左视点的GOP_L和右视点的GOP_R进行视差移位，以便在上面的{等式1}中所示的视差校正后提供GOP最大视差量P′（即，通过在{等式2}中图示的视差量的视差移位），并且通过该手段，可以将在3D显示器上的在GOP中的3D视频的视差设置在人的双眼间隔内。

同时，即使关于具有小于“GOP最大视差量/场景最大视差量＝1”的GOP最大视差量的左视点的GOP_L和右视点的GOP_R，确定视差校正系数，使得基于GOP最大视差量的程度来执行视差校正。

在步骤S49中，通过使用上面的视差校正表格来执行视差校正，执行视差校正，使得当在每一个GOP中的最大视差量变得更接近在场景中的最大视差量（即，场景最大视差量）时，视差量逐渐减小，而当它变得更远离在场景中的最大视差量时，视差递减量减小（或使得更接近原始）。

在上面的步骤S49中进行视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S47）。在场景最大显示大小等于或大于输出显示大小的情况下（即，在其中在3D显示器中没有问题的情况下），不执行上面的视差校正，并且，没有视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器。

通过上面的视差校正，即使在场景中在部分GOP中存在作为在3D显示器中的问题的视差，也可以防止对其他GOP视差一致地进行视差校正，抑制过度的视差，并且保证在整个场景中的立体感觉。

而且，在如上所述的3D视频再现的第一实施例至第三实施例中，可以考虑到最大视差量（近景）来执行视差移位处理。

即，在远景侧上视差量变得过度并且双眼视像融合不可能的情况下，当通过计算的所需移位量来执行视差移位时，在近景侧上的视差量因此增大。因此，将输出目的地的3D显示器的显示大小（即，宽度）和最大视差量（近景）的乘积加上必要的移位量，并且判定该另一个值是否等于或小于双眼间隔（例如，50mm）。在此，判定在近景中的视差量是50mm或更小的情况下双眼视觉是充分可能的，但是，可以充分地确定50mm的这个值。

随后，在视差量是50mm或更小的情况下，实现视差移位，并且，在3D显示器上立体地显示进行视差移位的两个视点处的视点图像。相反，在它大于50mm的情况下，存在其中除非执行视差移位否则在远景侧上双眼视觉是不可能的部分，并且因为如果执行视差移位使得在远景侧上的最大视差量变得适当则在近景侧上的适当的双眼视觉是不可能的，所以在3D显示器上执行2D显示而不是3D显示。通过向3D显示器输出在3D视频文件中记录的视点图像之一来执行该2D显示。而且，与2D显示一起，可以执行警告显示以示出未立体地显示3D视频，因为显示大小太大。

因此，通过不仅考虑到最大视差量（远景）而且考虑到最大视差量（近景）来调整视差量，可以显示适当的3D视频。

{3D视频再现的第四实施例}

接下来，使用在图19中的流程图，向下述处理给出说明：读取其中如图9中所示记录在三个或更多个视点处的视点图像的3D视频文件；并且，再现和显示它。

在图19中，首先，获取其上显示3D视频的3D显示器的显示大小（即，水平宽度）（步骤S51）。在此，假定所获取的显示器的水平宽度是600mm。而且，读取在图9中所示的用于四个视点的GOP（步骤S52）。

接下来，以视点编号的顺序从读取的GOP的头部区域的每个获取GOP最大显示大小（步骤S53）。

在此，假定GOP最大显示大小、假定的可视距离和用于四个视点的GOP的GOP最大视差量（远景）如在下面列出的表1中所示。

{表1}

在上面的表1中所示的示例中，首先，获取具有视点编号1的视点图像（1）的GOP最大显示大小500mm。

接下来，判定该获取的GOP最大显示大小是否等于或大于在步骤S51中获取的显示大小（步骤S54）。在此，因为GOP最大显示大小是500mm而显示大小是600mm，所以进行到步骤S56。

在步骤S56中，判定是否已经相对于所有的视点图像获取了GOP最大显示大小。

在此，因为还没有相对于所有的视点图像完成，所以返回到步骤S53。

在步骤S53中，将视点编号递增1，并且接着获取具有视点编号2的视点图像（2）的GOP最大显示大小1200mm。

接下来，进行到步骤S54，并且判定获取的GOP最大显示大小是否等于或大于显示大小。此时，因为GOP最大显示大小是1200mm并且大于600mm的显示大小，所以转移到步骤S55。在步骤S55中，获取当前的视点编号。在此，获取视点编号2。

因此，相对于所有的视点图像重复在步骤S53至步骤S55中的处理。通过该处理，仅获取其GOP最大显示大小等于或大于显示大小的视点图像的视点编号。在此，获取视点编号2和视点编号3。

接下来，从在步骤S55中获取的视点编号的视点图像中，选择要输出到3D显示器的两个视点处的视点图像（步骤S57）。在此，选择作为在参考视点处的图像的视点图像（1）和具有视点编号2的图像（即，视点图像（2））或具有视点编号3的图像（即，视点图像（3））。

作为选择标准，可以考虑具有最大视差量的视点图像、具有最小视差量的视点图像或最接近中心视点的视点图像等。而且，比在虚拟视点处的图像更优先地选择实际拍摄的任何视点图像。可以预先确定该标准，或者可以使用使得观众可以自由地设置它的配置。在此，假定选择了具有最大视差量的图像，并且作为结果，选择了视点图像（1）和视点图像（3）。

在3D显示器上立体地显示在步骤S57中选择的两个视点处的视点图像（步骤S58）。即，在此，基于视点图像（1）和视点图像（3）来执行3D显示。

接下来，判定是否完成了来自3D视频文件的所有GOP的读取（步骤S59）。在未完成它的情况下（“在否的情况下”），进行到步骤S52，并且重复上面的处理，并且在结束它的情况下（“在是的情况下”），结束3D视频的再现。

在此，在没有在步骤S55中获取的视点编号的情况下，即，在所有视点图像的GOP最大显示大小小于显示大小的情况下，执行2D显示。虽然也可以充分地确定选择进行2D显示的视点图像的标准，但是在实际视点和参考视点处的视点图像是优选的。

因此，可以通过下述方式来总是显示适当的3D视频：读取作为每一个视点图像的附属信息被记录的GOP最大显示大小，将其与输出目的地的3D显示器的显示大小作比较，并且选择和显示其中GOP最大显示大小较大的一对视点图像。

在此，可以基于在3D视频文件的每个视点图像的附属信息中记录的GOP最大视差量来执行这样的处理。

{3D视频再现的第五实施例}

图20是在基于GOP最大视差量来选择要进行3D再现显示的一对视点图像的情况下的流程图。在此，向与在图19中图示的流程图共同的部分指配相同的附图标号，并且省略它们的详细说明。而且，假定未在读取的3D视频文件的每一个视点图像的附属信息中记录GOP最大显示大小，并且其他附属信息与在表1中所示的文件中的相同。而且，假定输出目的地的3D显示器的水平宽度是600mm。

类似于图19的情况，获取显示大小（步骤S51），并且从在图9中所示的3D视频文件读取四个视点的GOP（步骤S52）。接下来，从读取的GOP的每一个头部区域中选择在两个视点处的（一对）视点图像（步骤S61）。因为最后选择所有视点图像的组合，所以可以充分地确定选择顺序。在此，首先，假定选择了视点图像（1）和视点图像（2）。

获取在两个视点处的这些选择的图像的GOP最大视差量（远景）（步骤S62）。在每一个视点图像的附属信息中记录的GOP最大视差量（远景）是相对于参考视点图像的视差量。因此，在选择的两个视点处的视点图像中不包括参考视点图像的情况下，需要再一次计算GOP最大视差量。

在此，因为选择的在两个视点处的视点图像之一是参考视点图像的视点图像（1），所以在视点图像（2）的附属信息中记录的GOP最大视差量（远景）是这两个视点的GOP最大视差量（远景）。

接下来，判定在步骤S51中获取的显示宽度和在步骤S62中获取的两个视点处的视点图像的GOP最大视差量（远景）的乘积是否等于或小于50mm的人的双眼间隔（步骤S63）。而且，人的双眼间隔不限于50mm，并且例如，可以使用65mm的数值。

在该乘积大于50mm的情况下，因为不可能以适当方式立体地观看在远景侧上的GOP最大视差位置，所以判定在两个视点处的视点图像的组合不是用于双眼视觉的适当组合，并且进行到步骤S65。

在此，GOP最大视差量（远景）是4%，并且它和600mm的显示宽度的乘积是24mm。因此，满足50mm或更小的条件，并且进行到步骤S64。在步骤S64中，获取在两个视点处的这些视点图像的视点编号。即，在该情况下，获取视点编号1和2的组合。

在步骤S65中，判定是否已经相对于所有组合获取了GOP最大视差量。在此，因为还么有对于所有的组合完成，所以返回到步骤S61。

在下一个步骤S61中，选择在两个视点处的（一对）不同的视点图像。在此，假定将视点图像（2）和视点图像（3）选择为在两个视点处的视点图像。

在步骤S62中，获取这两个视点的GOP最大视差量（远景）。如上所述，因为在视点图像（2）和视点图像（3）的每一个附属信息中记录的最大视差量（远景）是相对于参考视点图像的视点图像（1）的最大视差量，所以需要再一次计算在视点图像（2）和视点图像（3）的两个视点中的GOP最大视差量。

通过在各自的附属信息中记录的GOP最大视差量（远景）之间的差来计算在两个视点中的GOP最大视差量。因此，在该情况下，7%-4%=3%是在视点图像（2）和视点图像（3）的两个视点中的GOP最大视差量（远景）。

在步骤S63中，判定这个计算的两个视点处的视点图像的GOP最大视差量（远景）和显示宽度的乘积是否等于或小于50mm。

在此，GOP最大视差量（远景）是3%，并且它和600mm的显示宽度的乘积是18mm。因此，满足50mm或更小的条件，并且进行到步骤S64。在步骤S64中，获取在两个视点处的这些视点图像的视点编号，即，视点编号2和3的组合。

因此，相对于视点图像的所有组合重复在步骤S62至步骤S64中的处理。通过该处理，仅获取其中GOP最大视差量（远景）和显示大小的乘积是50mm或更小的视点图像的组合中的视点编号。在此，获取视点编号1和2、视点编号2和3、视点编号2和4与视点编号3和4的组合。

接下来，从在步骤S64中获取的视点编号的组合中来选择要输出到3D显示器的两个视点处的视点图像（步骤S57）。

作为选择标准，如上所述，可以给出优先级至：其中GOP视差量最大的组合；其中GOP视差量最小的组合；包括接近中心视点的视点图像的组合；以及，实际视点图像。可以预先确定该标准，或者可以使用使得观众可以自由地设置它的配置。在此，假定选择作为其中视差量最小的组合的视点编号2和视点编号3的组合，即，视点图像（2）和视点图像（3）。

在3D显示器上立体地显示在步骤S57中选择的两个视点处的视点图像（步骤S58）。即，在该情况下，基于视点图像（2）和视点图像（3）来执行3D显示。

接下来，判定是否完成了从3D视频文件的所有GOP的读取（步骤S59）。在未完成它的情况下（“在否的情况下”），进行到步骤S52，并且重复上面的处理，并且在完成它的情况下（即，“在是的情况下”），结束3D视频的再现。

而且，在没有在步骤S64中获取的视点图像的情况下，即，在所有组合中未满足在步骤S63中的条件的情况下，执行2D显示。而且，可以充分地确定用于选择进行2D显示的图像的标准。

因此，可以通过下述方式来总是显示适当的3D视频：读取作为每一个视点图像的附属信息被记录的GOP最大视差量（远景），计算它和输出目的地的3D显示器的显示大小的乘积，并且，选择和显示其中该乘积小于人的双眼间隔的视点图像的组合。

{3D视频再现的第六实施例}

如在第四实施例中所述，在其中基于在每一个视点图像的附属信息中记录的GOP最大显示大小而选择显示图像的情况下，可以仅通过与参考视点图像的组合来选择图像。与此相反，如在第五实施例中所述，在基于在每一个视点图像的附属信息中记录的GOP最大视差量（远景）而选择视点图像的情况下，可以对于所有的视点图像的组合进行判定，但是处理变得复杂。

因此，在第六实施例中，在附属信息中记录GOP最大显示大小和GOP最大视差量（远景）两者的情况下，使用该两个信息来选择视点图像。

图21是图示基于GOP最大显示大小和GOP最大视差量（远景）来选择视点图像的情况的流程图。在此，向与在图19和图20中图示的流程图共同的部分指配相同的附图标号，并且省略它们的详细说明。

如图21中所示，首先，类似于图19的情况，基于GOP最大显示大小来选择可以被立体显示的视点图像（步骤S53至S56）。

其后，类似于图20的情况，基于GOP最大视差量（远景）来选择可以立体显示的视点图像（步骤S61至S65）。在此，此时，不必对于与参考视点图像的组合执行处理。

其后，从在步骤S55中获取的与参考视点图像的组合和在步骤S64中获取的两个视点处的视点图像的组合选择要输出到3D显示器的两个视点处的视点图像（步骤S57）。可以以与上面相同的方式来充分地确定选择标准。

如上所述，通过选择基于GOP最大显示大小和GOP最大视差量（远景）而显示的两个视点处的视点图像，在使用从所有组合选择的适当视点图像来执行3D显示的同时缩短处理时间是可能的。

在此，仅基于在远景侧上的GOP最大视差量来选择要显示的两个视点处的视点图像，可以考虑在近景侧上的GOP最大视差量来确定它。通过考虑到在近景侧上的GOP最大视差量，可以确定不仅在远景侧而且还在近景侧上能够以适当方式立体观看的图像的组合。

例如，从在步骤S64中获取的两个视点处的视点图像的组合，可以选择其中在近景中的视差量等于或小于预定值的组合。这是因为，当在近景侧上的视差量增大时，观众对于双眼视觉感到疲劳，并且因此，它优选地等于或小于诸如50mm的值。

在3D视频文件中记录在近景侧上的GOP最大视差量的情况下，可以使用该值。而且，如使用图10所述，可以从每一个视点图像提取特征点，并且根据在近景侧上的最大视差量位置计算它。

{3D视频再现的第七实施例}

图22是图示根据第七实施例的图像再现处理的流程图。

在此，假定所读取的3D视频文件类似于在表1中的图示的文件。而且，假定显示器的水平宽度是1300mm。

类似于图19的情况，获取输出目的地的3D显示器的显示大小（步骤S51）。例如，可以从通过HDMI电缆连接的3D显示器获取显示大小。

接下来，从在图9中所示的3D视频文件读取四个视点的GOP（步骤S52），并且，从读取的GOP的每一个头部区域读取参考视点编号标记的值（步骤S71）。在本实施例中，读取参考视点编号1。

接下来，从参考视点编号1的视点图像，即，视点图像（1）的附属信息中获取GOP最大显示大小（步骤S72）。如上所述，在此记录的值是在与其中视差量最大的视点图像（1）的视点组合中的GOP最大显示大小，具体地说，它是在与视点图像（4）的组合中的GOP最大显示大小。

比较该GOP最大显示大小和在步骤S71中获取的显示大小（步骤S73）。在其中GOP最大显示大小大于该显示大小的情况下（“在是的情况下”），因为如果原样立体地显示视点图像（1）和视点图像（4）没有问题，所以在3D显示器上立体地显示在两个视点处的这些视点图像（步骤S74）。

相反，在步骤S73中的比较结果是“否”的情况下，进行到步骤S75。

在步骤S75中，获取所有读取的视点图像的视点编号。而且，从每一个视点图像的附属信息中，获取每一个视点图像的GOP最大视差量的值（步骤S76）。如在表1中所示，从视点图像（2）获取4%的GOP最大视差量，从视点图像（3）获取7%的GOP最大视差量，并且从视点图像（4）获取10%的GOP最大视差量。

接下来，计算其上执行3D显示的3D显示器中的能够允许的视差量（步骤S77）。通过下面的{等式3}来计算能够允许的视差量。在此，显示大小指示显示器的水平宽度。而且，虽然在该情况下人的双眼间隔是50mm，但是可以使用其他数值。

{等式3}

能够允许的视差量[%]=50mm÷显示大小[mm]×100

在本实施例中，因为显示大小是1300mm，所以能够允许的视差量是3.85%。

接下来，确认参考视点的布置（步骤S78）。在参考视点未在所有视点的中心周围的情况下，在该中心周围的视点位置被设置为新的参考视点（步骤S79），并且，计算相对于新的参考视点的每一个视点图像的最大视差量（步骤S80）。

在本实施例中，因为视点编号如图8中所示，所以参考视点的视点编号1不在中心周围。因此，在该情况下，将视点编号2设置为作为在中心周围的视点的新的参考视点。

计算每一个视点图像相对于与这个新的参考视点对应的视点编号2的GOP最大视差量。在表1中的3D视频文件示例中，在每一个视点图像的附属信息中描述的GOP最大视差量和在视点图像（2）的附属信息中描述的GOP最大视差量之间的差的绝对值是在新的参考视点中的GOP最大视差量。因此，每一个视点图像的GOP最大视差量如下。

视点图像(1)的GOP最大视差量=|0%-4%|=4%

视点图像(2)的GOP最大视差量=|4%-4%|=0%

视点图像(3)的GOP最大视差量=|7%-4%|=3%

视点图像(4)的GOP最大视差量=|10%-4%|=6%

在此，执行这样的处理，因为被布置得更接近中心的视点图像适合于3D显示。

在完成在步骤S80中的处理并且在步骤S78中判定参考视点在所有视点的中心周围的情况下，从这些GOP最大视差量选择具有等于或小于能够允许的视差量的最大值的视点（步骤S81）。在本实施例中，因为能够允许的视差量是3.85%或更小，所以满足这个条件的视点是视点编号3。

因此，在可以选择满足该条件的视点的情况下（步骤S82），使用参考视点图像和选择的视点图像来执行3D显示（步骤S83）。在不能选择它的情况下（在步骤S82中的“在否的情况下”），执行2D显示（步骤S84）。

例如，如果获取的显示大小是1700mm，则能够允许的视差量是2.94%，并且选择具有等于或小于能够允许的视差量的最大的最大视差量值的视点是不可能的。在该情况下，执行2D显示。

因此，因为基于能够允许的视差量而选择一对视点图像，所以以适当的方式来选择适合于双眼视觉的视点图像是可能的。

接下来，判定是否完成了从3D视频文件的所有GOP的读取（步骤S85）。在未完成它的情况下（“在否的情况下”），进行到步骤S52，并且重复上面的处理，并且在完成它的情况下（即，“在是的情况下”），结束3D视频的再现。

而且，在步骤S82中判定选择是不可能的情况下，取代执行2D显示，可以在执行用于调整到适当的视差量的视差移位或视差压缩后执行3D显示。而且，在3D视频再现的第四至第七实施例中，虽然每一个GOP执行视差校正，但是不限于此，并且可以使用场景最大显示大小和场景最大视差量来对每一个场景执行视差校正。

{立体视频再现装置}

可以通过在图11和图12中图示的立体成像装置10的3D视频再现功能来实现3D视频再现的上面的第一至第七实施例，或者可以通过没有成像单元的立体视频再现装置来实现它们。

图23是图示立体视频再现装置300和3D显示器320的整体结构的图。如图中所示，立体视频再现装置300和3D显示器320是独立地设置的装置，并且通过通信电缆310连接，使得通信是可能的。

3D显示器320是视差光栅系统或柱状透镜系统，并且每一行交替地显示从立体视频再现装置300向3D显示器320输入的左视点图像和右视点图像。

而且，3D显示器320可以以时间的方式来交替地切换左视点图像和右视点图像，并且显示它们。在该情况下，观众使用特殊的眼镜来可视地查看3D显示器320。

图24是图示立体视频再现装置300的内部结构的框图。如该图中所示，立体视频再现装置300包括CPU301、记录控制单元305、存储卡306、显示控制单元307和通信接口308。

CPU301基于控制程序来对立体视频再现装置300的整个操作执行综合控制，该控制程序例如是在诸如ROM302的计算机可读记录介质（“非临时计算机可读介质”）中记录的立体视频再现程序。

RAM303被用作CPU301的计算工作区域。RAM303被用作CPU301的计算工作区域。

记录控制单元305和显示控制单元307通过总线304连接到CPU301。记录控制单元305控制相对于存储卡306的3D视频文件数据的读取和写入。例如，存储卡306与在图12中所示的立体成像装置10的存储卡40相同，并且记录包括在立体成像装置10中拍摄的每一个视点图像的附属信息的3D视频文件。

通信接口308是连接器单元，通信电缆310连接到它，并且显示控制单元307通过这些在3D显示器320上显示3D视频。作为通信接口308和通信电缆310，可以采用HDMI标准的那些。根据HDMI标准，立体视频再现装置300可以获取通过通信电缆310连接的3D显示器320的显示大小。

在此，立体视频再现装置300可以被配置为：包括用于拍摄每一个视点图像的复眼成像单元；并且，在存储卡306中记录所拍摄的视点图像。而且，立体视频再现装置300和3D显示器320可以形成为整体装置。而且，立体视频再现程序可以被安装在个人计算机中，以便使得该个人计算机用作立体视频再现装置300。

而且，不需要说的是，本发明不限于上面的实施例，并且在不偏离本发明的精神的情况下，各种改变是可能的。

{附图标记列表}

10  立体成像装置

14-1、14-2  成像光学系统

16  液晶监视器

20-1,20-2  成像单元

21  聚焦镜头和变焦镜头

24  CCD

25  模拟信号处理单元

32  中央处理单元（CPU）

34  操作单元

40  存储卡

44  数字信号处理单元

100 物体

101-1至101-4成像装置

211N、212N  最大视差量位置（近景）

211F、212F  最大视差量位置（远景）

213N  在近景侧上的最大视差量

213F  在远景侧上的最大视差量

213F  在远景侧上的最大视差量

300   立体视频再现装置

320   3D显示器

Claims (11)

1.一种立体视频再现装置，包括：

第一获取部件，所述第一获取部件读取立体视频文件，并且从所述立体视频文件获取立体视频和附属信息，其中，在所述立体视频文件中记录所述立体视频和所述附属信息，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括区间内最大显示大小，该区间内最大显示大小是当在立体显示器上显示所述立体视频的每一个帧时双眼视像融合是可能的每一个帧的最大显示大小中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的最大显示大小；

第二获取部件，所述第二获取部件获取输出目的地的立体显示器的显示大小；

判定部件，所述判定部件将与所述立体视频的每一个预定区间对应地获取的所述区间内最大显示大小和所获取的所述立体显示器的显示大小作比较，并且基于比较结果来判定当在所述立体显示器上显示所述立体视频时在每个预定区间所述双眼视像融合是否是可能的；

视差校正部件，当所述判定部件判定所述双眼视像融合是不可能的时，所述视差校正部件校正视差，使得在其中判定双眼视像融合是不可能的预定区间中，双眼视像融合在所述立体视频中变得可能；以及，

输出部件，所述输出部件：当向所述立体显示器输出所获取的立体视频时，在所述判定部件判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正部件在所述立体视频中校正所述视差；并且，在所述判定部件判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频。

2.根据权利要求1所述的立体视频再现装置，其中：

所述立体视频文件是MPEG文件，其中，对于由多个帧形成的每一个GOP依序记录多个视点图像，并且，

所述立体视频的所述预定区间包括与等于1或2或大于2的预定数量的GOP对应的第一区间和长于每个场景区别的所述第一区间的第二区间。

3.根据权利要求2所述的立体视频再现装置，进一步包括：

计算部件，当所述判定部件基于根据所述立体视频的所述第二区间获取的区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，所述计算部件计算在所述第二区间中的所述第一区间的区间内最大显示大小或区间内最大视差量与在所述第二区间中的区间内最大显示大小或区间内最大视差量的第一比率；以及，

视差校正系数获取部件，所述视差校正系数获取部件获取视差校正系数，所述视差校正系数当所述第一比率从0接近1时从1接近在所述第二区间中的所述区间内最大显示大小与输出目的地的所述立体显示器的所述显示大小的第二比率，

其中，当所述判定部件基于根据所述立体视频的所述第二区间获取的所述区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，所述视差校正部件从所述视差校正系数获取部件获取与由所述计算部件计算的所述第一比率对应的视差校正系数，将所述视差校正系数和所述第一区间的所述区间内最大显示大小或区间内最大视差量相乘，并且基于所述相乘的结果来校正视差，使得在其中判定所述双眼视像融合是不可能的所述第二区间中，所述双眼视像融合在所述立体视频中变得可能。

4.根据权利要求3所述的立体视频再现装置，进一步包括第二判定部件，所述第二判定部件判定所述第二区间是否相对于所述第一区间足够长，

其中，当所述第二判定部件判定所述第二区间相对于所述第一区间足够长时，所述视差校正部件使用所述视差校正系数来校正所述视差，并且，当所述第二判定部件判定所述第二区间不相对于所述第一区间足够长时，基于根据在所述第二区间中的所述第一区间所获取的所述区间内最大显示大小或区间内最大视差量来校正所述视差。

5.一种立体成像装置，包括：

成像部件，所述成像部件获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；

视差量计算部件，所述视差量计算部件从所获取的立体视频的每一个帧的多个视点图像计算指示在具有公共特征的特征点之间的移位量的视差量；

最大视差量获取部件，所述最大视差量获取部件从每一个帧的每一个特征点的所计算的视差量获取在远景侧上的最大视差量；

区间内最大视差量获取部件，所述区间内最大视差量获取部件在所获取的所述远景侧上的最大视差量中获取在所述立体视频的每一个预定区间中最大的区间内最大视差量；

区间内最大显示大小获取部件，所述区间内最大显示大小获取部件基于所述立体视频的每一个预定区间的获取的所述区间内最大视差量来获取当在每个预定区间在立体显示器上显示所述立体图像时其中双眼视像融合是可能的区间内最大显示大小；

记录部件，所述记录部件产生其中记录了所述立体视频的立体视频文件，并且在记录介质中记录所述立体视频文件，其中，所述记录部件在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为附属信息；以及，

根据权利要求1所述的立体视频再现装置，

其中，所述第一获取部件从所述记录介质读取所述立体视频文件。

6.一种立体视频再现方法，所述方法使得立体视频再现装置执行：

读取立体视频文件并且从所述立体视频文件获取立体视频和附属信息的步骤，其中，在所述立体视频文件中记录所述立体视频和所述立体视频的所述附属信息，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括区间内最大显示大小，该区间内最大显示大小是当在立体显示器上显示所述立体视频的每一个帧时双眼视像融合是可能的每一个帧的最大显示大小中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的最大显示大小；

获取输出目的地的立体显示器的显示大小的步骤；

判定步骤，所述判定步骤将与所述立体视频的每一个预定区间对应地获取的所述区间内最大显示大小和所获取的所述立体显示器的显示大小作比较，并且基于比较结果来判定当在所述立体显示器上显示所述立体视频时在每个预定区间所述双眼视像融合是否是可能的；

视差校正步骤，当所述判定步骤判定所述双眼视像融合是不可能的时，所述视差校正步骤校正视差，使得在其中判定双眼视像融合是不可能的预定区间中，双眼视像融合在所述立体视频中变得可能；以及，

步骤：当向所述立体显示器输出所获取的立体视频时，在所述判定步骤判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正步骤在所述立体视频中校正所述视差；并且，在所述判定步骤判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频。

7.一种立体视频再现装置，包括：

第一获取部件，所述第一获取部件读取立体视频文件，并且从所述立体视频文件获取立体视频和附属信息，其中，在所述立体视频文件中记录所述立体视频和所述附属信息，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括区间内最大视差量，该区间内最大视差量是在所述立体视频的每一个帧中在远景侧上的最大视差量中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的最大视差量；

第二获取部件，所述第二获取部件获取输出目的地的立体显示器的显示大小；

判定部件，所述判定部件基于与所述立体视频的每一个预定区间对应地获取的所述区间内最大视差量、所获取的所述立体显示器的显示大小和指示人的双眼间隔的预定值，来判定当在所述立体显示器上显示所述立体视频时在每个预定区间双眼视像融合是否是可能的；

视差校正部件，当所述判定部件判定所述双眼视像融合是不可能的时，所述视差校正部件校正视差，使得在其中判定双眼视像融合是不可能的预定区间中，双眼视像融合在所述立体视频中变得可能；

输出部件，所述输出部件：当向所述立体显示器输出所获取的立体视频时，在所述判定部件判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正部件在所述立体视频中校正所述视差；并且，在所述判定部件判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频；其中：

所述立体视频文件是MPEG文件，其中，对于由多个帧形成的每一个GOP依序记录多个视点图像，并且，

所述立体视频的所述预定区间包括与等于1或2或大于2的预定数量的GOP对应的第一区间和长于每个场景区别的所述第一区间的第二区间；

还包括：

计算部件，当所述判定部件基于根据所述立体视频的所述第二区间获取的区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，所述计算部件计算在所述第二区间中的所述第一区间的区间内最大显示大小或区间内最大视差量与在所述第二区间中的区间内最大显示大小或区间内最大视差量的第一比率；以及，

视差校正系数获取部件，所述视差校正系数获取部件获取视差校正系数，所述视差校正系数当所述第一比率从0接近1时从1接近在所述第二区间中的所述区间内最大显示大小与输出目的地的所述立体显示器的所述显示大小的第二比率，

其中，当所述判定部件基于根据所述立体视频的所述第二区间获取的所述区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，所述视差校正部件从所述视差校正系数获取部件获取与由所述计算部件计算的所述第一比率对应的视差校正系数，将所述视差校正系数和所述第一区间的所述区间内最大显示大小或区间内最大视差量相乘，并且基于所述相乘的结果来校正视差，使得在其中判定所述双眼视像融合是不可能的所述第二区间中，所述双眼视像融合在所述立体视频中变得可能。

8.根据权利要求7所述的立体视频再现装置，进一步包括第二判定部件，所述第二判定部件判定所述第二区间是否相对于所述第一区间足够长，

其中，当所述第二判定部件判定所述第二区间相对于所述第一区间足够长时，所述视差校正部件使用所述视差校正系数来校正所述视差，并且，当所述第二判定部件判定所述第二区间不相对于所述第一区间足够长时，基于根据在所述第二区间中的所述第一区间所获取的所述区间内最大显示大小或区间内最大视差量来校正所述视差。

9.一种立体视频再现方法，所述方法使得立体视频再现装置执行：

读取立体视频文件并且从所述立体视频文件获取立体视频和附属信息的步骤，其中，在所述立体视频文件中记录所述立体视频和所述立体视频的所述附属信息，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像，并且所述附属信息包括在所述立体视频的每一个帧中在远景侧上的最大视差量中的、在所述立体视频的所述时间轴方向的连续预定区间的每一个中最大的区间内最大视差量；

获取输出目的地的立体显示器的显示大小的步骤；

判定步骤，所述判定步骤基于与所述立体视频的每一个预定区间对应地获取的所述区间内最大视差量、所获取的所述立体显示器的显示大小和指示人的双眼间隔的预定值来判定当在所述立体显示器上显示所述立体视频时在每个预定区间双眼视像融合是否是可能的；

视差校正步骤，当所述判定步骤判定所述双眼视像融合是不可能的时，所述视差校正步骤校正视差，使得在其中判定双眼视像融合是不可能的预定区间中，双眼视像融合在所述立体视频中变得可能；以及，

步骤：当向所述立体显示器输出所获取的立体视频时，在所述判定步骤判定所述双眼视像融合是不可能的情况下，向所述立体显示器输出视差被校正的立体视频，在其中判定所述双眼视像融合是不可能的预定区间中，通过所述视差校正步骤在所述立体视频中校正所述视差；并且，在所述判定步骤判定所述双眼视像融合是可能的情况下，向所述立体显示器原样输出所述获取的立体视频，其中：

所述立体视频文件是MPEG文件，其中，对于由多个帧形成的每一个GOP依序记录多个视点图像，并且，

所述立体视频的所述预定区间包括与等于1或2或大于2的预定数量的GOP对应的第一区间和长于每个场景区别的所述第一区间的第二区间。

10.根据权利要求9所述的立体视频再现方法，进一步执行：

计算步骤，当基于根据所述立体视频的所述第二区间获取的区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，该计算步骤计算在所述第二区间中的所述第一区间的区间内最大显示大小或区间内最大视差量与在所述第二区间中的区间内最大显示大小或区间内最大视差量的第一比率；以及，

获取视差校正系数的步骤，所述视差校正系数当所述第一比率从0接近1时从1接近在所述第二区间中的所述区间内最大显示大小与输出目的地的所述立体显示器的所述显示大小的第二比率，

步骤，当基于根据所述立体视频的所述第二区间获取的所述区间内最大显示大小或区间内最大视差量而判定所述双眼视像融合是不可能的时，获取与所计算的所述第一比率对应的视差校正系数，将所述视差校正系数和所述第一区间的所述区间内最大显示大小或区间内最大视差量相乘，并且基于所述相乘的结果来校正视差，使得在其中判定所述双眼视像融合是不可能的所述第二区间中，所述双眼视像融合在所述立体视频中是可能的。

11.根据权利要求10所述的立体视频再现方法，进一步执行：

判定步骤，所述判定步骤判定所述第二区间是否相对于所述第一区间足够长，以及

步骤，当判定所述第二区间相对于所述第一区间足够长时，使用所述视差校正系数来校正所述视差，并且，当判定所述第二区间不相对于所述第一区间足够长时，基于根据在所述第二区间中的所述第一区间所获取的所述区间内最大显示大小或区间内最大视差量来校正所述视差。