CN102959974A - 立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置 - Google Patents

Abstract

当不存在动画整体的视差信息及主要被摄体的视差信息而存在摄影条件信息时（100~110），摄影装置检测主要被摄体（114），根据检测出的主要被摄体的位置计算出视差（116），摄影装置计算出主要被摄体视差和主要被摄体距离的关系（118），根据该关系调整视差（120），以在摄影最短距离的摄影时也在允许范围内，以调整的视差进行再现（124），由此，在摄影时无论以怎样的视差摄影，也可保持最佳视差并再现。

Description

立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置

技术领域

本发明涉及一种立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置。

背景技术

人们知道，在显示立体图像时，通过调整右眼用图像和左眼用图像的偏移量（视差），可变更再现图像的立体感，并提出了调整视差的各种技术方案（例如日本特开2005－73012号公报、日本特开2009－135686号公报等）。

日本特开2005－73012号公报记载的技术中，通过用户输入部输入显示的立体图像的视差量调整用数据，记录到文件、存储器中，从而在生成立体图像数据时，利用该视差量调整用数据生成立体图像数据并显示。

日本特开2009－135686号公报记载的技术中，根据包括立体影像的影像内容掌握具有预定值以上的值的视差角的变化量、视差角的变化所需的变化时间、和视差角变化的变化次数，根据变化量、变化时间及变化次数计算出相当于眼睛疲劳度的评估值，以评估值在预定范围内的方式编码影像内容，记录到记录介质中。

发明内容

发明要解决的问题

但是，在日本特开2005－73012号公报、日本特开2009－135686号公报中，未考虑在动画中视差动态变化的情况，因此在保持适当的视差方面有改善的余地。

并且，在日本特开2005－73012号公报、日本特开2009－135686号公报中，未考虑视差信息未预先记录到文件等中时的视差调整，因此在进行基于未预先记录视差信息的动画信息的再现时，无法进行适当的视差调整。

本发明鉴于以上事实而发明，其目的在于在摄影时无论以怎样的视差进行摄影，也可确保最佳的视差并再现。

用于解决问题的手段

作为权利要求1的发明的立体图像再现装置具有：取得部，取得以下信息：由用于显示立体图像的右眼用图像和左眼用图像构成的动画信息；表示该动画信息摄影时的摄影最短距离的摄影最短距离信息；用于计算距离的摄影信息；以及表示在上述右眼用图像及上述左眼用图像中设定的设定视差的视差信息；计算部，从上述动画信息的各帧检测出预先确定的主要被摄体，根据检测出的上述主要被摄体，计算各帧的主要被摄体视差，进一步使用上述摄影信息和上述设定视差，计算主要被摄体视差和主要被摄体距离的关系；以及调整部，在通过上述取得部取得上述摄影最短距离信息时，根据通过上述计算部计算出的上述主要被摄体视差和主要被摄体距离的关系，调整通过上述取得部取得的上述设定视差，以使上述主要被摄体的最大视差属于在上述摄影最短距离摄影时预先确定的允许范围内。

作为权利要求2的发明的立体图像再现装置，是权利要求1所述的立体图像再现装置，上述计算部至少对包括上述主要被摄体的最初的帧进行上述主要被摄体视差的计算及主要被摄体视差和主要被摄体距离的关系的计算。

作为权利要求3的发明的立体图像再现装置，是权利要求1或权利要求2所述的立体图像再现装置，当通过上述取得部未取得上述摄影最短距离信息时，上述调整部调整上述设定视差，以使被摄体即使靠近到拍摄上述动画的摄影装置跟前，上述最大视差也在上述允许范围内。

作为权利要求4的发明的立体图像再现装置，是权利要求1~3中的任意一项所述的立体图像再现装置，上述调整部移动上述各帧的右眼用图像和左眼用图像的水平方向显示位置，以使上述最大视差在上述允许范围内的方式进行调整。

作为权利要求5的发明的立体图像再现装置的视差调整方法中，取得以下信息：由用于显示立体图像的右眼用图像和左眼用图像构成的动画信息；表示该动画信息摄影时的摄影最短距离的摄影最短距离信息；用于计算距离的摄影信息；以及表示在上述右眼用图像和上述左眼用图像中设定的设定视差的视差信息，从上述动画信息的各帧检测出预先确定的主要被摄体，根据检测出的上述主要被摄体，计算各帧的主要被摄体视差，进一步使用上述摄影信息和上述设定视差，计算主要被摄体视差和主要被摄体距离的关系，取得了上述摄影最短距离信息时，根据计算出的上述主要被摄体视差和主要被摄体距离的关系，调整取得的上述设定视差，以使在取得的上述摄影最短距离摄影时上述主要被摄体的最大视差在预先确定的允许范围内。

作为权利要求6的发明的立体图像再现装置的视差调整方法，是权利要求5所述的立体图像再现装置的视差调整方法，至少对包括上述主要被摄体的最初的帧进行上述主要被摄体及主要被摄体距离的关系的计算。

作为权利要求7的发明的立体图像再现装置的视差调整方法，是权利要求5或权利要求6所述的立体图像再现装置的视差调整方法，当未取得上述摄影最短距离信息时，调整上述设定视差，以使被摄体即使靠近到拍摄上述动画的摄影装置跟前，上述最大视差也在上述允许范围内。

作为权利要求8的发明的立体图像再现装置的视差调整方法，是权利要求5~7中的任意一项所述的立体图像再现装置的视差调整方法，上述视差的调整是，移动各帧的右眼用图像和左眼用图像的水平方向显示位置，以使上述最大视差在上述允许范围内的方式进行调整。

作为权利要求9的发明的视差调整程序，使计算机作为构成权利要求1~4的任意一项所述的立体图像再现装置的各部件作用。

作为权利要求10的发明的摄影装置，具有权利要求1~4的任意一项所述的立体图像再现装置。

发明的效果

根据本发明，根据主要被摄体计算视差，以在摄影最短距离的摄影时也使计算出的视差在预先确定的允许范围内的方式进行调整，从而具有在摄影时无论以怎样的视差进行摄影也可确保最佳的视差并再现的效果。

附图说明

图1是表示本发明的第1实施方式涉及的立体图像再现装置的概要的图。

图2是表示本发明的第1实施方式涉及的立体图像再现装置的显示装置侧的概要构成的框图。

图3是表示本发明的第1实施方式涉及的立体图像再现装置的液晶快门眼镜侧的概要构成的框图。

图4是表示在本发明的第1实施方式涉及的立体图像再现装置中适用的图像文件的格式例的图。

图5是表示脸部检测的一例的图。

图6是表示计算动画的各帧的视差的结果的一例的图。

图7A是表示对一个主要被摄体的视差按照动画的各帧表示的一例的图。

图7B是表示缩小了视差的动态范围的一例的图。

图7C是表示移动视差使最大视差在预先确定的允许范围内的一例的图。

图8是表示通过本发明的第1实施方式涉及的立体图像再现装置进行的处理的流程的一例的流程图。

图9是表示通过本发明的第2实施方式涉及的立体图像再现装置进行的处理的流程的一例的流程图。

图10是本发明的第3实施方式涉及的复眼相机的正面侧立体图。

图11是本发明的第3实施方式涉及的复眼相机的背面侧立体图。

图12是表示本发明的第3实施方式涉及的复眼相机的内部构成的概要框图。

图13是表示监视器的构成的分解立体图。

图14是表示透镜板的构成的图。

图15是用于说明对第1及第2图像G1、G2的三维处理的图。

图16是用于说明主要被摄体视差和主要被摄体距离的关系的计算方法的图。

具体实施方式

以下参照附图详细说明本发明的实施方式的一例。

（第1实施方式）

图1是表示本发明的第1实施方式涉及的立体图像再现装置10的概要的图。

本发明的第1实施方式涉及的立体图像再现装置10中，对用于显示立体图像的显示装置11上显示的三维立体影像，通过使用液晶快门眼镜12可欣赏三维立体影像。

在本实施方式中说明以下情况：立体图像再现装置10将右眼用图像和左眼用图像交互显示到显示装置11，并且在右眼用图像显示时使液晶快门眼镜12的右眼的液晶快门为透过状态、左眼用图像显示时使液晶快门眼镜12的左眼的液晶快门为透过状态，以交互驱动液晶快门的方式再现立体图像。此外，在本实施方式中，以使用液晶快门眼镜12再现三维立体影像的立体图像再现装置为一例进行说明，但不限于此。例如，也可适用使用偏光滤镜眼镜再现立体影像的装置，也可适用以不使用眼镜的方式再现立体影像的立体图像再现装置。例如，可适用日本特开2010－22067号公报、日本特开2010－34704号公报、日本特开2010－78985号公报等中记载的技术，适用再现三维立体影像的方式。

显示装置11上设置电源按钮13、再现开始按钮14、及再现停止按钮15等按钮。通过操作电源按钮13而使电源接通/断开，通过操作再现开始按钮14，开始三维立体影像的再现，通过操作再现停止按钮15，停止三维立体影像的再现。

图2是表示本发明的第1实施方式涉及的立体图像再现装置10的显示装置11一侧的概要构成的框图。

显示装置11具有同步通信部16、图像处理部23、压缩/解压缩处理部24、帧存储器25、介质控制部26、内部存储器27、三维处理部30、视差调整部17、显示控制部28、及CPU35。

同步通信部16进行用于使液晶快门眼镜12的左右的液晶快门的驱动、和显示装置11上显示的左右各图像同步的信号的通信。

图像处理部23对表示应显示的图像的图像数据实施白平衡调整、灰度校正、锐度校正、颜色校正等各种图像处理。

压缩/解压缩处理部24对通过图像处理部23进行处理的图像数据，例如以JPEG、MPEG等压缩格式进行压缩处理，做成立体视图用的图像文件，或进行解压缩再现时被压缩的图像数据的处理。

帧存储器25是对图像数据进行图像处理部23进行的处理的各种处理时使用的作业用存储器。

介质控制部26对记录介质29进行访问，进行图像文件等写入和读入的控制。

内部存储器27存储表示显示装置11中的各种设定的信息、及CPU35执行的程序等。

三维处理部30读出记录介质29等中存储的图像数据，与由同步通信部16进行的和液晶快门眼镜12进行通信所获得的同步信号同步，控制显示控制部28，以交互显示用于显示立体图像的右眼用图像、和左眼用图像。并且，三维处理部30在图像数据中未记录各帧的视差信息时，检测主要被摄体，进行计算各帧的视差的处理。

视差调整部17利用对应图像数据的帧编号而预先记录的视差信息、用于计算视差信息的信息等，进行再现时的视差调整。

在立体视图时，显示控制部28通过三维处理部30的控制，将右眼用图像和左眼用图像交互显示到显示监视器7上。

图3是表示本发明的第1实施方式涉及的立体图像再现装置10的液晶快门眼镜12一侧的概要构成的框图。

液晶快门眼镜12具有同步通信部18、液晶快门驱动部19、右眼用液晶快门20A、及左眼用液晶快门20B。

同步通信部18进行用于使左右液晶快门的驱动、和显示装置11上显示的左右各图像的同步的信号的通信。

液晶快门驱动部19与由同步通信部18进行的和显示装置11通信而获得的同步信号同步，控制右眼用液晶快门20A、和左眼用液晶快门20B的驱动。由此，右眼用图像显示到显示装置11的显示监视器7上，并且右眼用液晶快门20A变为透过状态，左眼用液晶快门20B变为遮挡状态，左眼用图像显示到显示装置20B的显示监视器7上时，左眼用液晶快门20B变为透过状态，右眼用液晶快门20A变为遮挡状态，立体图像被再现。

图4是表示在本发明的第1实施方式涉及的立体图像再现装置10中适用的图像文件的格式示例的图。

如图4所示，图像文件具有头区域。头区域由流信息及摄影信息构成。

流信息由流定义及流属性构成，作为流定义，记录流1及流2的定义。例如，流1记录3D的左图像、再现时间、数据长度/块、开头地址等，流2记录3D的右图像、再现时间、数据长度/块、开头地址等。

并且，作为流属性记录：流ID＝1、2、图像分辨率、压缩方式＝MPEG2、显示图像＝3D、帧数/块＝2等信息。

作为摄影信息记录：视点数＝2、收敛角＝1.5°、基线长度＝25mm、最小F值＝2.8、最大F值＝16、最短摄影距离＝800mm等信息。

另一方面，图像数据区域由块构成，各个块中如图4所示，分别记录流1、2的各帧图像。流1、2分别记录流ID、块内数据长度、摄影F值＝4.0、摄影距离＝3m、图像数据等信息。

在通过具有两个摄影元件的3D相机等进行动画摄影时，需要按照图像的每一帧分析两个或其以上的图像的特征点，根据特征点的偏移计算视差，因此难以记录图像整体的视差信息。并且，如果不进行画面整体的视差计算，则无法判断最大视差。

但是，当具有脸部检测功能时，如图5所示，通过检测脸部，并不难计算脸部的视差。例如，根据图5所示检测出的脸部按照动画的各帧计算视差的结果如图6所示，在图6中，检测出两个脸部，因此可计算各自的视差。

其中，脸部的检测方法有多种，立体图像再现装置10通过任意方法均可检测出脸部的区域。因此，立体图像再现装置10通过检测并比较脸部区域之间的左图像和右图像的对应点，可检测出脸部的视差。并且，立体图像再现装置10检测脸部特征点（例如眼、鼻等）并进行脸部检测时，可根据该特征点之间的偏移计算视差。

其结果是，立体图像再现装置10在一个场景中可按照动画的各帧检测脸部的视差，摄影时按照各场景记录该视差信息。立体图像再现装置10在写入图像文件时（或者一次写入后）在头区域写入和动画帧编号对应的脸部的视差（有多个时写入多个），从而在再现时通过视差调整部17利用该信息进行再现视差调整。

另一方面，显示视差从避免损害健康的角度出发有限制。一般情况下包括：负侧（比画面进深侧）的视差最大在显示画面上不超过瞳孔间距离（如考虑儿童的安全性为50mm左右）；没有剧烈的视差角变化（1度以上等）；正侧的视差（弹出量）也适当抑制等。并且，立体视图的融合范围根据人或条件而不同，过度的视差在视听上不佳。

因此，摄影时的视差在显示上收容于适当的范围是理想的，但实际上大部分情况下再现时的环境、再现对象均不确定，因此在显示上很难收容在适当的视差范围内。

因此，在本实施方式中，立体图像再现装置10在再现时由视差调整部17进行视差调整，从而使视差收容在适当范围。

如上所述，立体图像再现装置10难以逐次记录摄影画面中的最大视差，但利用作为主要被摄体的情况较多的脸部（或者也存在以电车、汽车、庞物等特定的被摄体为主要被摄体的情况）的视差信息，在再现时由视差调整部17进行视差调整。由此，可在较舒适的环境下欣赏立体图像。

接着详细说明视差调整部17的视差调整。

图7A按照动画的各帧表示动画记录的一个主要被摄体的视差。

在摄影动画内，视差以大→小→大变化，但视差调整部17进行调整，以使动画内的最大视差时的弹出量在适当范围即可。作为视差调整部17的视差调整方法，可适用：如图7B所示，缩小视差的动态范围的方法；如图7C所示，移动右眼用图像和左眼用图像的水平方向显示位置，使最大视差在预先确定的允许范围内的方法等。

其中，如果图7A所示的主要被摄体的视差信息记录在动画的头部等，则立体图像再现装置10通过读出它可进行视差调整部17的视差调整。并且，主要被摄体在摄影时被捕捉，因此除了可逐次记录视差信息、画面上的位置信息外，通过取得各帧的差也可获得视差变化的信息。并且，通过逐次记录最小及最大的视差，可获得动画整体的最大视差及最小视差等信息、及此时的画面位置信息。

即使所有数据未记录，例如如果最大视差和最小视差等被记录，则可进行视差整体的控制。但是，当各帧的视差变化较大时，具有立体视图的疲劳增大的特性，因此如图7A所示，优选记录各帧的视差信息。

该各帧的视差信息未记录到动画内时，最差的情况下，以视差的融合范围以上的视差再现图像，可能会损害健康。

因此，在本实施方式中，为防止这一点，当未记录各帧的视差信息时，三维处理部30在再现时从再现图像检测出主要被摄体，按照各帧计算各被摄体的视差信息。例如，三维处理部30检测图像数据的流1、2中的同一人物的脸部区域，取得这些脸部区域的坐标，通过求出流1、2的脸部坐标的差分，可按照各帧计算出视差量。

其中，产生问题的是逐次计算，因此有时会无法判断最大视差。当无法判断最大视差时，无法进行移动等校正，因此需要至少通过推测求出最大视差。

一般情况下，相机有固有的摄影最短距离，在比摄影最短距离近的距离下，焦点和被摄体不对应。因此，以被摄体靠近摄影最短距离之前为前提，如进行再现时的视差调整，则不会超过视差的融合范围进行再现。因此，在本实施方式中，立体图像再现装置10调整视差，以在摄影最短距离摄影时也在预先确定的允许范围内。

并且，立体图像再现装置10调整视差以在摄影最短距离摄影时也在预先确定的允许范围内时，需要计算出主要被摄体视差和主要被摄体距离的关系。因此，立体图像再现装置10根据摄影信息（收敛角、基线长度）和预先设定的设定视差计算上述关系。

在此说明主要被摄体视差和主要被摄体距离的关系的计算方法。图16是用于说明主要被摄体视差和主要被摄体距离的关系的计算方法的图。

通常情况下，复眼的摄影装置将摄影时的交叉点（左右的视点中心交叉的空间上的点）设定在距离摄影装置一定的位置上进行摄影。在平行视图法的摄影中，交叉点是无限远，在图16的例子中，交叉点是人物31的位置。此时，人物31的位置是视差零，因此该状态下作为动画整体其调整视差也是零，则再现时相对于画面位置，人物31位于该位置、树32位于内侧、椅子33位于眼前，从而被再现。

这种情况下，使收敛角（图16的两个摄影装置的视点中心线所成的角度）为0.6°、作为基线长度的收敛距离（视点间距离）为50mm时，到交叉点为止的距离为从摄像装置起算25/tan0.3°＝约

主要被摄体位于该位置，从左右图像检测出作为主要被摄体的人物，比较对于各人物的对应点时，基本变为零的情况下，人物位于4.8m的地点，并且视差为零。

其中，复眼的各摄影装置34A、34B进行30°的视角范围的摄影时，确定相对于视角4.8m时的图像信息（例如像素数为14M的摄影装置则横向像素数为4288）。其中，如相对于30°对应像素数4288来进行计算，则每1像素的视角变化约为0.007°。

其中，假设人物34即主要被摄体向眼前走来，在摄影开始时从设定的交叉点的位置向眼前移动而来。立体图像再现装置10从左右的图像检测出作为主要被摄体的人物31，比较对于各人物的对应点时，在此如向20像素内侧（交叉点侧）偏移，则各图像中的偏移平均地分配，在各图像中主要被摄体移动10像素，因此与各摄像装置朝向约0.07内侧等价。这种情况下，主要被摄体靠近至25/tan（0.3+0.07）°＝约

即，立体图像再现装置10可求出视差（此时是横向的像素数）和被摄体距离的关系。以上关系不一定是严格的，但对于视差调整是足够的。

接着说明通过上述构成的本发明的第1实施方式涉及的立体图像再现装置10进行的处理的流程。图8是表示通过本发明的第1实施方式涉及的立体图像再现装置10进行的处理的流程的一例的流程图。

首先，在步骤100中，取得动画视差相关的信息，转移到步骤102。即，通过介质控制部26的控制，将图像数据从记录介质29读出到帧存储器25，通过读取图像数据的头区域，取得视差相关的信息。

在步骤102中，通过CPU35判断是否存在动画整体的视差信息。该判断通过在步骤100中取得的与视差相关的信息（头区域）判断是否存在动画整体的视差信息，该判断为肯定时转移到步骤104，为否定时转移到步骤106。

在步骤104中，通过视差调整部17进行动画整体的最大视差在允许范围内的视差调整，并转移到步骤122。即，立体图像再现装置10从动画整体的视差信息中检测出最大视差，为使最大视差在预先确定的允许范围内，移动视差或缩小动态范围，从而调整视差。

在步骤106中，通过CPU35判断是否存在主要被摄体的视差信息。在该判断中，根据在步骤100中取得的与视差相关的信息（头区域）判断是否存在主要被摄体（例如人物脸部等）的视差信息，该判断为肯定时转移到步骤108，为否定时转移到步骤110。

在步骤108中，通过视差调整部17进行主要被摄体的最大视差在允许范围内的视差调整，并转移到步骤122。即，立体图像再现装置10从主要被摄体的视差信息中检测出最大视差，为使最大视差在预先确定的允许范围内，移动视差或缩小动态范围，从而调整视差。

在步骤110中，通过CPU35判断是否存在摄影条件相关的信息。在该判断中，根据在步骤100中取得的与视差相关的信息（头区域）判断是否存在摄影条件相关的信息，该判断为肯定时转移到步骤112，为否定时转移到步骤122。

在步骤112中，根据摄影条件检测摄影最短距离，转移到步骤114。即，立体图像再现装置10检测出头区域的摄影信息内记录的摄影最短距离。

在步骤114中，从构成视差图像的各图像检测出主要被摄体的位置，转移到步骤116。即，三维处理部30从用于再现的图像中检测出主要被摄体（例如人物脸部区域）。此外，脸部的检测方法可使用公知的技术进行检测。

在步骤116中，根据主要被摄体的位置信息，通过三维处理部30检测出视差，转移到步骤118。立体图像再现装置10例如通过求出图像数据的流1、2中的同一人物的脸部区域的坐标的差分来计算视差。

在步骤118中，计算出计算的主要被摄体视差和主要被摄体距离的关系，转移到步骤120。即，立体图像再现装置10使用摄影信息（作为图像数据的头区域的摄影信息的收敛角度、基线长度）和作为动画整体预先设定的设定视差，如上所述，计算出主要被摄体视差和主要被摄体距离的关系。此外，主要被摄体视差和主要被摄体距离的关系的计算对包括主要被摄体的最初的帧进行，对之后的帧可省略。即，立体图像再现装置10至少对含有主要被摄体的最初的帧，计算主要被摄体视差和主要被摄体距离的关系。

在步骤120中，使用摄影信息和设定视差，根据主要被摄体视差和主要被摄体距离的关系，为使最大视差在摄影最短距离摄影时也在允许范围内，通过视差调整部17调整视差，并转移到步骤124。由此推测最大视差，防止以超过视差的融合范围的方式进行再现。

另一方面，在步骤122中，通过视差调整部17进行基本不产生视差的视差调整，转移到步骤124。即，因无法获得视差相关的信息，所以调整视差以使右眼用图像和左眼用图像基本没有偏移。

并且，在步骤124中，以通过视差调整部17调整的视差进行再现，结束一系列的处理。

因此，在本实施方式中，当存在动画整体的视差信息、主要被摄体的视差信息时，立体图像再现装置10使用这些视差信息进行调整，以使最大视差在允许范围内，当不存在这些视差信息时，检测主要被摄体，根据其位置计算出视差。立体图像再现装置10进一步调整计算出的视差，使得在摄影最短距离摄影时也在允许范围内。由此，在摄影时无论以怎样的视差摄影，立体图像再现装置10均可保持最佳视差进行再现。

并且，立体图像再现装置10在预先确定的允许范围内调整视差，因此可防止以视差的融合范围以上的视差再现图像。

（第2实施方式）

接着说明本发明的第2实施方式涉及的立体图像再现装置。此外，基本构成和第1实施方式相同，因此省略构成的说明。

在本实施方式中，不存在动画整体视差信息、主要被摄体的视差信息、及摄影条件相关的信息时的处理不同。

即，在第1实施方式中，当不存在动画整体视差信息、主要被摄体的视差信息、及摄影条件相关的信息时，基本不产生视差地进行视差调整。但在本实施方式中，在根据动画的设定视差（基线长度和收敛角）求出的虚拟装置中，视差调整部17调整视差，使得即使靠近镜头前0cm，也不超过设定的最大再现视差。

图9是表示通过本发明的第2实施方式涉及的立体图像再现装置进行的处理的流程的一例的流程图。此外，对和第1实施方式相同的处理附加同样的附图标记进行说明。

首先，在步骤100中，取得与动画视差相关的信息，转移到步骤102。即，通过介质控制部26的控制而将图像数据从记录介质29读出到帧存储器25，通过读取图像数据的头区域，取得视差相关的信息。

在步骤102中，通过CPU35判断是否存在动画整体的视差信息。在该判断中，根据在步骤100中取得的与视差相关的信息（头区域），判断是否存在动画整体的视差信息，该判断为肯定时转移到步骤104，为否定时转移到步骤106。

在步骤104中，通过视差调整部17进行动画整体的最大视差在允许范围内的视差调整，并转移到步骤122。即，立体图像再现装置10从动画整体的视差信息中检测出最大视差，为使最大视差在预先确定的允许范围内，移动视差或缩小动态范围，从而调整视差。

在步骤106中，通过CPU35判断是否存在主要被摄体的视差信息。在该判断中，根据在步骤100中取得的与视差相关的信息（头区域）判断是否存在主要被摄体（例如人物脸部等）的视差信息，该判断为肯定时转移到步骤108，为否定时转移到步骤110。

在步骤108中，通过视差调整部17进行主要被摄体的最大视差在允许范围内的视差调整，并转移到步骤122。即，立体图像再现装置10从主要被摄体的视差信息中检测出最大视差，为使最大视差在预先确定的允许范围内，移动视差或缩小动态范围，从而调整视差。

在步骤110中，通过CPU35判断是否存在摄影条件相关的信息。在该判断中，根据在步骤100中取得的与视差相关的信息（头区域）判断是否存在摄影条件相关的信息，该判断为肯定时转移到步骤112，为否定时转移到步骤113。

在步骤112中，根据摄影条件检测摄影最短距离，转移到步骤114。即，立体图像再现装置10检测出头区域的摄影信息内记录的摄影最短距离。

在步骤114中，从构成视差图像的各图像检测出主要被摄体的位置，转移到步骤116。即，三维处理部30从用于再现的图像中检测出主要被摄体（例如人物脸部区域）。此外，脸部的检测方法可使用公知的技术进行检测。

在步骤116中，根据主要被摄体的位置信息，通过三维处理部30检测出视差，转移到步骤118。例如通过求出图像数据的流1、2中的同一人物的脸部区域的坐标的差分来计算视差。

在步骤118中，计算出计算的主要被摄体视差和主要被摄体距离的关系，转移到步骤120。即，立体图像再现装置10使用摄影信息（作为图像数据的头区域的摄影信息的收敛角度、基线长度）和作为动画整体预先设定的设定视差，如上所述，计算出主要被摄体视差和主要被摄体距离的关系。此外，主要被摄体视差和主要被摄体距离的关系的计算对包括主要被摄体的最初的帧进行，对之后的帧可省略。即，至少对含有主要被摄体的最初的帧计算主要被摄体视差和主要被摄体距离的关系。

在步骤120中，使用摄影信息和设定视差，根据主要被摄体视差和主要被摄体距离的关系，为使最大视差在摄影最短距离摄影时也在允许范围内，通过视差调整部17调整视差，并转移到步骤122。由此推测最大视差，防止以超过视差的融合范围的方式进行再现。

另一方面，在步骤113中，根据构成视差图像的各图像检测主要被摄体的位置，转移到步骤115。即，三维处理部30根据用于再现的图像检测出主要被摄体（例如人物脸部区域）。此外，脸部的检测方法可使用公知的技术。

在步骤115中，根据主要被摄体的位置信息由三维处理部30检测视差，并转移到步骤117。例如，立体图像再现装置10通过求出图像数据的流1、2中的同一人物的脸部区域的坐标的差分，来计算视差。

在步骤117中，通过视差调整部17调整视差，以使最大视差在镜头前0cm摄影时也在允许范围内，并转移到步骤124。

并且，在步骤124中，通过由视差调整部17调整的视差进行再现，结束一系列的处理。

因此，在本实施方式中，立体图像再现装置10相对于第1实施方式，在不存在摄影条件信息的情况下，预测最大视差（变为镜头前的视差），调整到允许范围内，因此可不造成视差控制的破绽地进行动画的再现。

（第3实施方式）

接着说明本发明的第3实施方式涉及的立体图像再现装置。

在第1、2实施方式中，说明了用于再现立体图像的专用装置，而在本实施方式中，将本发明适用于复眼相机。

图10表示本发明的第3实施方式涉及的复眼相机1的正面侧立体图，图11表示背面侧立体图。

复眼相机1的上部具有拍摄按钮2、电源按钮3及变焦杆4。复眼相机1的正面设有闪光灯5及两个摄影部21A、21B的镜头。并且，复眼相机1的背面设有进行各种显示的液晶监视器（以下简称为“监视器”）7及各种操作按钮8。

图12是表示复眼相机1的内部构成的概要框图。此外，对和第1实施方式对应的构成附加同样的附图标记进行说明。

复眼相机1具有两个摄影部21A、21B、摄影控制部22、图像处理部23、压缩/解压缩处理部24、帧处理器25、介质控制部26、内部存储器27、显示控制部28、及CPU35。此外，摄影部21A、21B配置为具有估算被摄体的收敛角，成为预先确定的基线长度。并且，收敛角及基线长度的信息存储在内部存储器27中。

摄影部21A、21B分别具有镜头、光圈、快门、摄像元件、模拟前端（AFE）及A/D转换部。镜头具有使焦点与被摄体对准的聚焦镜头、实现变焦功能的变焦镜头等多个分功能的镜头。镜头的位置根据通过摄影控制部22的AF处理部22a获得的对焦数据及操作图10和图11所示的变焦杆4时获得的变焦数据，通过镜头驱动部（省略图示）调整。光圈根据通过摄影控制部22的AE处理部22b获得的光圈值数据，通过光圈驱动部（省略图示）进行光圈半径的调整。快门是机械快门，通过快门驱动部（省略图示），对应通过AE处理部22b获得的快门速度而驱动。摄像元件具有将多个受光元件二维排列的光电面，被摄体光在该光电面上成像并被光电转换，取得模拟摄影信号。并且，在摄像元件的前面配置有R、G、B各色滤镜规则排列的彩色滤镜。AFE对从摄像元件输出的模拟摄影信号实施以下处理：去除模拟摄影信号的噪音的处理、及调节模拟摄影信号的增益的处理（以下称为“模拟处理”）。A/D转换部将通过AFE实施了模拟处理的模拟摄影信号转换为数字信号。此外，将通过摄影部21A取得的数字的图像数据所表示的图像作为第1图像G1，将通过摄影部21B取得的图像数据所表示的图像作为第2图像G2。

如上所述，摄影控制部22具有AF处理部22a及AE处理部22b。AF处理部22a在拍摄按钮2被半按操作时，从测距传感器取得测距信息，决定镜头的焦点位置，输出到摄影部21A、21B。AE处理部22b根据预览图像决定光圈值和快门速度，输出到摄影部21A、21B。

此外，作为AF处理部22a对焦点位置的检测方式，不限于使用测距信息的主动方式，也可使用利用图像的对比度检测对焦位置的被动方式。

摄影控制部22控制摄影部21A、21B，以在拍摄按钮2未被操作的状态下，将用于确认摄影范围的和第1及第2图像G1、G2的源图像相比像素数少的通过图像，以预定时间间隔（例如1/30秒间隔）依次生成。并且，摄影控制部22控制摄影部21A、21B，以在拍摄按钮2被全按操作时，为开始本摄影而生成第1及第2图像G1、G2。

以上说明是静止图像模式的情况，在本实施方式中，也可设定为动画摄影模式。在动画摄影模式中，在拍摄按钮2被按下时，开始动画摄影，按照各帧生成第1及第2图像G1、G2，在再次按下拍摄按钮2时，动画摄影停止。

图像处理部23对摄影部21A、21B取得的第1及第2图像G1、G2的数字的图像数据，实施白平衡调整、灰度校正、锐度校正、及颜色校正等图像处理。

压缩/解压缩处理部24对表示通过图像处理部23实施了处理的第1及第2图像G1、G2的源图像的图像数据，例如以JPEG、MPEG等压缩格式进行压缩处理，生成立体视图用的图像文件。此外，作为图像文件的格式，可适用图4所示的格式。

帧存储器25是对摄影部21A、21B取得的表示第1及第2图像G1、G2的图像数据，进行包括上述图像处理部23进行的处理的各种处理时使用的作业用存储器。

介质控制部26对记录介质29进行访问，进行图像文件等写入和读入的控制。

内部存储器27存储在复眼相机1中设定的各种常数、及CPU35执行的程序等。

显示控制部28在立体视图时，将帧存储器25或记录介质29中记录的立体图像GR显示到监视器7。

图13是表示监视器7的构成的分解立体图。如图6所示，监视器7层压通过LED发光的背光单元40及用于进行各种显示的液晶面板41，通过在液晶面板41的表面安装透镜板42而构成。

图14是表示透镜板42的构成的图。如图14所示，透镜板42在沿着基线的方向上并列排列多个柱面透镜43而构成。

并且，复眼相机1具有三维处理部30。三维处理部30为将第1及第2图像G1、G2立体显示到监视器7，对第1及第2图像G1、G2进行三维处理，生成立体图像GR。

图15是用于说明对第1及第2图像G1、G2的三维处理的图。如图15所示，三维处理部30将第1及第2图像G1、G2分别在相对于基线垂直的方向上剪切成板条状。三维处理部30进行三维处理，使得在透镜板42中的各柱面透镜43上，剪切成位置对应的剪切为板条状的第1及第2图像G1、G2交互配置，从而生成立体图像GR。构成立体图像GR的第1及第2图像G1、G2的图像分别对应一个柱面透镜而配置。

并且，复眼相机1具有视差调整部17。视差调整部17调整第1及第2图像G1、G2的视差。其中，视差是指第1及第2图像G1、G2双方含有的被摄体的、沿着第1及第2图像G1、G2的横向、即基线的方向上的像素位置的偏移量。通过调整视差，可使立体图像GR中含有的被摄体的立体感适当。

并且，三维处理部30可实时调整通过摄影部21A、21B获得的第1及第2图像G1、G2的视差，也可调整记录介质29中预先记录的第1及第2图像G1、G2的视差。

在如上构成的复眼相机1中，也将进行第1实施方式及第2实施方式中说明的处理（图8、9）的程序存储到内部存储器27等中，进行视差调整并再现，从而和上述各实施方式一样，在摄影时无论以怎样的视差摄影，也可保持最佳视差并再现，可防止以视差的融合范围以上的视差再现图像。

此外，在第3实施方式中，适用了不使用液晶快门眼镜12等眼镜而使用透镜板42显示立体图像的装置，但也可和第1实施方式一样，使用液晶快门眼镜12等眼镜再现立体图像。并且也可反过来对第1实施方式、第2实施方式使用透镜板42来显示立体图像。

本发明涉及的计算机可读介质存储使计算机作为以下部件作用的程序：取得部，取得由用于显示立体图像的右眼用图像和左眼用图像构成的动画信息、表示该动画信息摄影时的摄影最短距离的摄影最短距离信息、用于计算距离的摄影信息、以及表示在上述右眼用图像及上述左眼用图像中设定的设定视差的视差信息；计算部，从上述动画信息的各帧检测出预先确定的主要被摄体，根据检测出的上述主要被摄体，计算各帧的主要被摄体视差，进一步使用上述摄影信息和上述设定视差，计算主要被摄体视差和主要被摄体距离的关系；调整部，在通过上述取得部取得上述摄影最短距离信息时，根据通过上述计算部计算出的上述主要被摄体视差和主要被摄体距离的关系，调整通过上述取得部取得的上述设定视差，以使在上述摄影最短距离摄影时上述主要被摄体的最大视差在预先确定的允许范围内。

日本申请2010－150209的所有公开通过参照加入到本说明书中。

本说明书中记载的所有文献、专利申请、及技术规格，以和各个文献、专利申请、及技术规格通过参照加入而被具体且单独记载时相同的程度，通过参照加入到本说明书中。

Claims (10)

1.一种立体图像再现装置，具有：

取得部，取得以下信息：由用于显示立体图像的右眼用图像和左眼用图像构成的动画信息；表示该动画信息摄影时的摄影最短距离的摄影最短距离信息；用于计算距离的摄影信息；以及表示在上述右眼用图像及上述左眼用图像中设定的设定视差的视差信息；

计算部，从上述动画信息的各帧检测出预先确定的主要被摄体，根据检测出的上述主要被摄体，计算各帧的主要被摄体视差，进一步使用上述摄影信息和上述设定视差，计算主要被摄体视差和主要被摄体距离的关系；以及

调整部，在通过上述取得部取得上述摄影最短距离信息时，根据通过上述计算部计算出的上述主要被摄体视差和主要被摄体距离的关系，调整通过上述取得部取得的上述设定视差，以使在上述摄影最短距离摄影时上述主要被摄体的最大视差在预先确定的允许范围内。

2.根据权利要求1所述的立体图像再现装置，上述计算部至少对包括上述主要被摄体的最初的帧进行上述主要被摄体视差的计算及主要被摄体视差和主要被摄体距离的关系的计算。

3.根据权利要求1或权利要求2所述的立体图像再现装置，当通过上述取得部未取得上述摄影最短距离信息时，

上述调整部调整上述设定视差，以使被摄体即使靠近到拍摄上述动画的摄影装置跟前，上述最大视差也在上述允许范围内。

4.根据权利要求1~3中的任意一项所述的立体图像再现装置，上述调整部移动上述各帧的右眼用图像和左眼用图像的水平方向显示位置，以使上述最大视差在上述允许范围内的方式进行调整。

5.一种立体图像再现装置的视差调整方法，

取得以下信息：由用于显示立体图像的右眼用图像和左眼用图像构成的动画信息；表示该动画信息摄影时的摄影最短距离的摄影最短距离信息；用于计算距离的摄影信息；以及表示在上述右眼用图像和上述左眼用图像中设定的设定视差的视差信息，

从上述动画信息的各帧检测出预先确定的主要被摄体，根据检测出的上述主要被摄体，计算各帧的主要被摄体视差，进一步使用上述摄影信息和上述设定视差，计算主要被摄体视差和主要被摄体距离的关系，

取得了上述摄影最短距离信息时，根据计算出的上述主要被摄体视差和主要被摄体距离的关系，调整取得的上述设定视差，以使在取得的上述摄影最短距离摄影时上述主要被摄体的最大视差在预先确定的允许范围内。

6.根据权利要求5所述的立体图像再现装置的视差调整方法，至少对包括上述主要被摄体的最初的帧进行上述主要被摄体及主要被摄体距离的关系的计算。

7.根据权利要求5或权利要求6所述的立体图像再现装置的视差调整方法，当未取得上述摄影最短距离信息时，

调整上述设定视差，以使被摄体即使靠近到拍摄上述动画的摄影装置跟前，上述最大视差也在上述允许范围内。

8.根据权利要求5~7中的任意一项所述的立体图像再现装置的视差调整方法，上述视差的调整是，移动各帧的右眼用图像和左眼用图像的水平方向显示位置，以使上述最大视差在上述允许范围内的方式进行调整。

9.一种视差调整程序，使计算机作为构成权利要求1~4中的任意一项所述的立体图像再现装置的各部件作用。

10.一种摄影装置，具有权利要求1~4中的任意一项所述的立体图像再现装置。

Images