CN102959967B - 图像输出装置及方法 - Google Patents

Abstract

使与立体动画的输出条件相对应的视差调整中反映立体动画的代表视差的推移。视差调整部（63）判断是否是|基准帧的代表视差－对象帧的代表视差|<α。在是的情况下进入S5，在否的情况下进入S6。Α作为平移容许阈值，从阈值设定部（205）输入。例如α＝0.75。判断为否的情况，意味着帧之间的代表视差变化较大。在这种情况下，进入S6，进行用于将对象帧平移至与基准帧不同的输出视差的处理。

Description

图像输出装置及方法

技术领域

本发明涉及图像输出，特别地，涉及立体动画的各立体图像帧的双眼视差的调整。

背景技术

专利文献1及2中公开的对立体图像进行处理的装置，具有二维图像生成部、以及对向用户显示的立体图像的立体感进行调整的立体感调整部。在该立体图像处理装置中，如果所显示的拍摄对象达到极限视差，则立体感调整部做出响应，按照所获取的适当视差信息，由视差控制部生成视差图像，以在以后的立体显示中实现该适当视差。这时，视差控制通过按照三维数据将照相机参数设为最优而实现。另外，二维图像生成部计算满足适当视差的景深Fxy。在将景深范围设为K1至K2，将各像素的景深值设为Gxy时，该Fxy通过Fxy＝J1+(Gxy－K1)×(J2－J1)/(K2－K1)求出。此外，在Fxy非整数的情况下，进行四舍五入或使近似视差变小的处理。

专利文献1：日本特开2004－221699号公报

专利文献2：日本特开2004－221700号公报

发明内容

但是，使用视差的立体动画如果未以适当的视差量显示，则可能会引起观看者的疲劳。由于适当的视差量随着进行显示的显示器的尺寸或观看者的立体融合极限等变化，因此必须进行与该变化相对应的视差调整。

在专利文献1中，由于计算满足适当视差的景深Fxy并进行四舍五入，因此，在帧之间视差相同，而感觉不到伴随帧切换的立体感变化，反之，在帧之间过度出现较大的视差变化，则可能会造成观看者疲劳。例如，在将图14A的拍摄时的视差变化调整为图14B所示的显示视差的情况下，在相邻的帧之间视差相同而消除立体感，反之，在相邻的帧之间产生很大的视差变化，存在观看者疲劳的情况。

本发明目的在于，在与立体动画的输出条件相对应的视差调整中，反映代表立体动画帧的视差(例如，主要拍摄对象等中的代表视差)即代表视差的推移。

本发明提供一种图像输出装置，其具有：代表视差获取部，其获取构成立体动画的多个立体图像帧各自的代表视差；输出预定视差确定部，其基于代表视差获取部获取的立体图像帧各自的代表视差，确定与立体动画的输出条件相对应的立体图像帧各自的输出预定视差；输出视差调整部，其基于输出预定视差确定部确定的立体图像帧各自的输出预定视差，调整立体图像帧各自的输出视差；以及输出部，其依次输出由输出视差调整部进行输出视差调整后的立体图像帧，输出预定视差确定部基于从立体图像帧中依次确定的基准帧的代表视差，确定基准帧的输出预定视差，并且，基于紧接着基准帧之后的立体图像帧即对象帧的代表视差，确定对象帧的输出预定视差，输出视差调整部基于基准帧的代表视差和对象帧的代表视差的差，调整基准帧的输出视差和对象帧的输出视差的差。

优选立体图像帧各自的代表视差是立体图像帧的规定区域内的平均视差。

优选平均视差是脸部区域的平均视差、合焦评价值计算区域的平均视差或图像中央区域的平均视差。

优选具有输出容许视差宽度获取部，其获取所容许的视差宽度即输出视差宽度的上限及下限，作为立体动画的输出条件。

优选具有视差宽度调整部，其在由代表视差获取部获取的各立体图像帧的视差最大值及最小值规定的视差宽度不适合于输出容许视差宽度获取部获取的输出容许视差宽度的情况下，将视差宽度调整为输出容许视差宽度。

优选视差宽度调整部在代表视差获取部获取的代表视差的最大值超过输出容许视差宽度获取部获取的输出容许视差宽度的上限的情况下，对各立体图像帧的代表视差进行调整，以使得代表视差的最大值小于或等于输出容许视差宽度的上限。

优选视差宽度调整部在代表视差获取部获取的视差的最小值低于输出容许视差宽度获取部获取的输出容许视差宽度的下限的情况下，对各立体图像帧的代表视差进行调整，以使得视差最小值大于或等于输出容许视差宽度的下限。

优选从同一场景中确定基准帧和对象帧。

优选具有表格获取部，其获取用于规定与任意值的代表视差相对应的分级输出预定视差的表格，输出预定视差确定部按照代表视差获取部获取的立体图像帧各自的代表视差和表格获取部获取的表格，确定立体图像帧各自的分级输出预定视差。

优选输出视差调整部将基准帧的代表视差和对象帧的代表视差的差与规定的第1阈值进行比较，在差超过规定的第1阈值的情况下，将对象帧的输出视差向比输出预定视差确定部确定的基准帧的输出预定视差大1级的输出预定视差调整。

优选输出视差调整部将差与规定的第2阈值相比较，在差低于规定的第2阈值的情况下，将对象帧的输出视差向基准帧的输出预定视差调整。

优选输出视差调整部在差未超过规定的第1阈值且不低于规定的第2阈值的情况下，将对象帧的输出视差向对象帧的输出预定视差调整。

优选规定的第1阈值与规定的第2阈值相等。

本发明提供一种图像输出方法，其使计算机执行以下步骤：获取构成立体动画的多个立体图像帧各自的代表视差的步骤；基于所获取的立体图像帧各自的代表视差，确定与立体动画的输出条件相对应的立体图像帧各自的输出预定视差的步骤；基于确定的立体图像帧各自的输出预定视差，调整立体图像帧各自的输出视差的步骤；依次输出对输出视差进行调整后的立体图像帧的步骤；基于从立体图像帧中依次确定的基准帧的代表视差，确定基准帧的输出预定视差，且基于紧接着基准帧后的立体图像帧即对象帧的代表视差，确定对象帧的输出预定视差的步骤；以及基于基准帧的代表视差和对象帧的代表视差的差，调整基准帧的输出视差和对象帧的输出视差的差的步骤。

本发明提供一种用于计算机执行该图像输出方法的图像输出程序。

发明的效果

根据本发明，可以对应于立体图像帧之间的代表视差的差异即代表视差的推移，调整各立体图像帧之间的输出视差的差。由于可以保持接近拍摄时的代表视差的推移的状态而将各立体图像帧的输出视差调整为适当的输出视差，因此可以使立体动画的代表视差的推移接近拍摄状态并输出。

附图说明

图1是数字照相机的正面斜视图。

图2是数字照相机的背面斜视图。

图3是数字照相机的框图。

图4是发散方向的视差极限的示意图。

图5是视差调整处理的流程图。

图6是表示立体动画视差－输出预定视差变换表的一个例子的图。

图7是视差宽度调整处理的流程图。

图8是视差宽度调整的示意图。

图9是向负方向的视差平移的示意图。

图10是视差宽度调整后的视差平移的示意图。

图11是向正方向的视差平移的示意图。

图12是显示再生装置的框图。

图13是表示反映拍摄时的视差变化的输出视差的一个例子的图。

图14是表示现有的视差调整的一个例子的图。

具体实施方式

图1是表示本发明的一个实施方式的数字照相机10的外观结构的正面斜视图。图2是表示该数字照相机的一个例子的外观结构的背面斜视图。

数字照相机10具有多个摄像单元(在图1中例示两个)，可以从多个视点(在图1中例示左右两个视点)对同一个拍摄对象进行拍摄。此外，在本例中，为了说明方便，以具有两个摄像单元的情况为例进行说明，但本发明并不限定于此，具有大于或等于三个摄像单元的情况也同样适用。

本例的数字照相机10的照相机机体112形成为矩形箱状，如图1所示，在其正面设有一对拍摄光学系统11R、11L和闪光灯116。另外，在照相机机体112的上表面设有快门按钮14、电源/模式开关120、模式旋钮122等。另外，如图2所示，在照相机机体112的背面设有由液晶显示装置(LCD)等构成的监视器13、变焦按钮126、十字键128、MENU/OK按钮130、DISP按钮132、BACK按钮134等。监视器13可以内置在数字照相机10中，也可以是外部设备。

左右一对拍摄光学系统11R、11L各自包含伸缩式的变焦透镜(图3的18R、18L)而构成，如果将数字照相机10的电源接通，则它们从照相机机体112伸出。此外，对于拍摄光学系统中的变焦机构或伸缩机构，由于是公知的技术，所以此处省略其具体说明。

监视器13是将具有半圆筒状的透镜组的所谓双凸透镜配置在前面的彩色液晶屏等显示装置。该监视器13作为用于显示已拍摄的图像的图像显示部使用，并在各种设定时作为GUI使用。另外，在拍摄时作为电子取景器使用，透视显示由摄像元件捕捉的图像。此外，监视器13的立体图像的显示方式不限定于视差屏障方式。例如，也可以是立体影片方式、偏光滤镜方式、液晶快门方式等使用眼镜的立体图像显示方式。

快门按钮14由所谓的“半按”和“全按”组成的两段式开关构成。数字照相机10在静止图像拍摄时(例如，由模式旋钮122或菜单选择静止图像拍摄模式时)，如果半按该快门按钮14，则进行拍摄准备处理即AE(Automatic Exposure：自动曝光)、AF(Auto Focus：自动对焦)、AWB(Automatic White Balance：自动白平衡)各种处理，如果全按则进行图像拍摄、记录处理。另外，在立体动画拍摄时(例如，由模式旋钮122或菜单选择立体动画拍摄模式时)，如果全按该快门按钮14，则开始拍摄立体动画，如果再一次全按，则结束拍摄。此外，根据设定，也可以在将快门按钮14全按的期间内进行立体动画拍摄，而在全按松开时结束拍摄。此外，也可以设置静止图像拍摄专用的快门按钮及立体动画拍摄专用的快门按钮。

电源/模式开关120(电源开关及模式开关)作为数字照相机10的电源开关起作用，也作为数字照相机10的切换再生模式和拍摄模式的切换单元起作用。模式旋钮122用于拍摄模式设定。数字照相机10通过将该模式旋钮122设置在“2D静止图像位置”而设定为拍摄2D静止图像的2D静止图像拍摄模式，通过设置在“3D静止图像位置”而设定为拍摄3D静止图像的3D静止图像拍摄模式。此外，通过设置在“3D动画位置”而设定为拍摄3D动画的3D动画拍摄模式。

变焦按钮126用于拍摄光学系统11R、11L的变焦操作，由指示向望远侧变焦的远摄变焦按钮和指示向广角侧变焦的广角变焦按钮构成。十字键128设为可在上下左右4个方向进行按压操作，对应于各方向的按压操作，分配与照相机的设定状态相对应的功能。MENU/OK按钮130用于调出菜单画面(MENU功能)，并且，用于选择内容确定、处理执行指示等(OK功能)。DISP按钮132用于监视器13的显示内容的切换指令等的输入，BACK按钮134用于输入操作的取消等指令的输入。

图3是表示数字照相机10的要部的框图。

数字照相机10具有：右视点用摄像单元，其具有右视点用拍摄光学系统11R及摄像元件29R；以及左视点用摄像单元，其具有左视点用摄像光学系统及摄像元件29L。

2个拍摄光学系统11(11R、11L)分别具有变焦透镜18(18R、18L)、聚焦透镜19(19R、19L)、以及光圈20(20R、20L)。这些变焦透镜18、聚焦透镜19、及光圈20分别由变焦透镜控制部22(22R、22L)、聚焦透镜控制部23(23R、23L)、光圈控制部24(24R、24L)驱动。各控制部22、23、24由步进电动机构成，通过由与CPU 26连接的未图示的电动机驱动器提供的驱动脉冲控制。

在2个光学系统11(11R、11L)的背后分别配置CCD图像传感器(以下简称为“CCD”)29(29R、29L)。此外，也可以取代CCD 29，使用MOS型的图像传感器。CCD 29如公知所示，具有排列有多个光电变换元件的光电变换面，通过经由拍摄光学系统11使摄像对象光入射到该光电变换面，从而使拍摄对象成像。在CCD 29上连接由CPU 26控制的定时脉冲发生器：TG 31(31R、31L)，根据从该TG 31输入的定时信号(时钟脉冲)，确定电子快门的快门速度(即各光电变换元件的电荷蓄积时间)。

从CCD 29输出的摄像信号被输入模拟信号处理电路33(33R、33L)。模拟信号处理电路33具有相关双采样电路(CDS)、放大器(AMP)等。CDS从摄像信号生成与各像素的蓄积电荷时间相对应的R、G、B图像数据。AMP将所生成的图像数据放大。

AMP作为对CCD 29的感光度进行调节的感光度调节单元起作用。CCD 29的ISO感光度由AMP系数确定。A/D变换器36(36R、36L)将放大后的图像数据从模拟信号变换为数字信号。从A/D变换器36(36R、36L)输出的数字图像数据经由图像输入控制器38(38R、38L)，分别作为右视点图像数据、左视点图像数据而由作业用的存储器SDRAM 39暂时存储。

数字信号处理部41从SDRAM 39读取图像数据，实施灰度变换、白平衡校正、γ校正处理、YC变换处理等各种图像处理，将该图像数据再次存储在SDRAM 39中。由数字信号处理部41进行过图像处理的图像数据在由VRAM 65作为透视图像获取后，由显示控制部42变换为影像输出用的模拟信号，并显示在监视器13上。另外，随着快门按钮14全按获取的完成图像处理的图像数据，在由压缩展开处理部43以规定的压缩格式(例如JPEG格式)压缩后，经由媒体控制部15，作为记录用图像记录在存储卡16中。

操作部25是用于进行数字照相机10的各种操作的装置，由图1及图2所示的各种按钮、开关120至134构成。

CPU 26设置为，用于对数字照相机10进行集中控制。CPU 26基于存储在闪存ROM 60或ROM 61中的各种控制用的程序或设定信息、来自姿态检测传感器73或操作部25的输入信号等，对电池70、电源控制部71、时钟部72等各部分进行控制。

另外，在数字照相机10上设有进行AE(Auto Exposure)/AWB(Auto White Balance)控制的AE/AWB控制部47、进行多个立体图像帧各自的代表视差检测的视差检测部49。另外，数字照相机10具有闪光灯控制部23，其对闪光灯5的发光定时或发光量进行控制。

AE/AWB控制部47在半按快门按钮14时，对由CCD 29得到的图像(摄像图像)进行解析，基于拍摄对象的亮度信息等，计算光圈20的光圈值及CCD 29的电子快门的快门速度。并且，AE/AWB控制部47基于这些计算结果，经由光圈控制部24对光圈值进行控制，经由TG 31对快门速度进行控制。

例如，基于由两个拍摄光学系统11R、11L中的一个拍摄光学系统的CCD 29R或29L得到的摄像图像(右视点图像或左视点图像)，计算两个拍摄光学系统11R、11L的光圈值及快门速度。也可以基于由两个拍摄光学系统11R及11L得到的摄像图像(右视点图像及左视点图像)，计算各个拍摄光学系统11R、11L的光圈值及快门速度。

AF控制部45在半按快门按钮14时，进行使聚焦透镜19R、19L沿光轴方向移动而计算对比度的AF搜索控制、以及使聚焦透镜19R、19L移动至基于对比度的合焦透镜位置的合焦控制。其中，“对比度”基于由CCD 29R、29L得到的摄像图像的规定的合焦评价值计算区域内的图像信号计算。“合焦透镜位置”是聚焦透镜19R、19L至少与主要拍摄对象合焦的聚焦透镜19R、19L的位置。

例如，一边通过电动机驱动器27R或27L的驱动使两个拍摄光学系统11R、11L的聚焦透镜19R、19L中的至少一个移动，一边根据一个拍摄光学系统11R或11L的摄像图像(右视点图像或左视点图像)计算对比度。基于该对比度，分别确定两个拍摄光学系统11R、11L的聚焦透镜19R、19L的合焦透镜位置，分别驱动电动机驱动器27R及27L，使各聚焦透镜19R、19L移动至各自的合焦透镜位置。也可以利用两个拍摄光学系统11R、11L分别进行AF搜索，确定各自的合焦透镜位置。

姿态检测传感器73检测拍摄光学系统11R、11L相对于预先确定的姿态而旋转的方向及角度。

防抖控制部62通过由电动机对设置在拍摄光学系统11R、11L中的未图示的校正透镜进行驱动，从而校正由姿态检测传感器73检测到的光轴偏离，防止抖动。

CPU 26对脸部识别部64进行控制，以根据与拍摄光学系统11R、11L的拍摄对象相对应的左右图像数据进行脸部识别。脸部识别部64对应于CPU 26的控制开始脸部识别，并根据左右图像数据分别进行脸部识别。脸部识别部64进行脸部识别的结果，将包含根据左右图像数据而分别识别的脸部区域的位置信息的脸部区域信息存储在SDRAM 39中。脸部识别部64可以利用模板匹配等公知的方法，从存储在SDRAM 39中的图像识别脸部区域。此外，所谓拍摄对象的脸部区域，可以列举摄像图像中的人物或动物的脸部区域。

脸部对应判断部66判断根据右图像数据识别的脸部区域与根据左图像数据识别的脸部区域的对应关系。即，脸部对应判断部66确定根据左右图像数据分别识别的脸部区域的位置信息之间最接近的脸部区域的组。并且。脸部对应判断部66对构成该组的脸部区域之间的图像信息比对，在两者的相同性的概率超过规定阈值的情况下，判断构成该组的脸部区域之间为对应关系。

视差检测部49计算左右图像数据的规定区域间的代表视差。

例如，代表视差计算如下进行。首先，视差检测部49计算在构成组的脸部区域之间对应的特定的点(对应点)之间的位置差(对应点间距离)。并且，视差检测部49计算该组的脸部区域中包含的点的视差的平均值，将其作为该组的代表视差。视差检测部49在存在多个判断为处于对应关系的脸部区域的情况下，仅对这些脸部区域中的主要脸部区域进行代表视差计算，并将该主要脸部区域的代表视差存储在SDRAM 39中。所谓主要脸部区域是指最靠近画面中央的脸部区域、最靠近合焦评价值计算区域的脸部区域、尺寸最大的脸部区域等。

或者，视差检测部49计算左右图像中处于对应关系的规定区域，例如，图像中央区域或合焦评价值计算区域内的对应点之间的视差平均值，将其作为该组的代表视差。

处于对应关系的规定区域的位置信息和其代表视差，与左右图像数据相关联而存储在SDRAM 39中。例如，处于对应关系的脸部区域的位置信息和其代表视差作为图像数据的附带信息(数据头、标签、元信息等)而存储。在图像数据作为记录用图像压缩记录在存储卡16中时，例如，作为Exif等标签信息，将该脸部区域的位置信息和代表视差组合而记录在记录用图像的附带信息中。

显示容许视差宽度获取部204获取显示容许最小视差Dmin及显示容许最大视差Dmax，并输入视差宽度调整部202中。获取的方式是任意的，可以从操作部25输入，可以从ROM 61或立体动画数据的附带信息等输入，也可以从监视器13作为控制信息输入。

显示容许最大视差Dmax规定发散方向的视差(监视器13上的立体图像凹入的方向)的极限。如图4A例示，由于人眼看不到外侧，所以具有超过瞳距的视差的左右图像不会融合，观看者无法识别其为1幅图像，因此会引起眼睛疲劳。如果考虑儿童观看者，瞳距约为5cm，因此，与该距离相当的监视器13的像素数为显示容许最大视差Dmax。例如，如果监视器13是16:9英制尺寸的高清电视，分辨率设为1920×1080，则与监视器13的尺寸对应的显示容许最小视差Dmin如图4B所示。如果是数字照相机或移动电话的内置画面这种监视器13尺寸较小，则发散方向的视差不易成为问题，但在电视机这种显示画面尺寸很大的监视器13的情况下，发散方向的视差会成为问题。

显示容许最小视差Dmin规定过大视差(监视器13上的立体图像跑出的方向)的极限。显示容许最小视差Dmin与显示容许最大视差Dmax不同，无法由瞳距唯一地确定。例如，作为确定显示容许最小视差Dmin的输出条件，有(1)监视器13的尺寸、(2)监视器13的分辨率、(3)观看距离(从观看者到监视器13的距离)、(4)观看者个人的立体融合极限。

作为标准的例子，(2)高清电视的监视器13的分辨率为1920×1080，(3)观看距离是监视器13的画面高度的3倍。如果以这些条件为前提，则(4)通常的立体融合极限是57像素(视差角为1度左右)。阈值设定部205也可以基于用户操作或监视器13的设定信息等，将(1)至(4)的信息从外部输入。例如，用户可以经由操作部25，输入自己正在观看的监视器13的分辨率、观看距离、立体融合极限。但是，在关于(2)至(4)无特别从外部输入的情况下，阈值设定部205从ROM 61等读取上述标准例，并将其输入视差宽度调整部202。

视差宽度调整部202进行调整，以使左右图像数据的代表视差宽度处于由从显示容许最小视差Dmin至显示容许最大视差Dmax的范围构成的显示容许视差宽度范围内。

阈值设定部205对于视差调整部63设定平移容许阈值α及平移禁止阈值β。设定的方式是任意的，包括基于用户操作的方式，以及基于ROM 61的记录信息的方式等。视差调整部63按照平移容许阈值α、平移禁止阈值β、后述的立体动画视差－输出视差变换表等，调整左右图像数据的代表视差的值。

图5是表示视差调整处理的流程图。该处理通过CPU 26控制。使CPU 26执行该处理的程序记录在ROM 61等个人计算机可读取的记录介质中。该处理在将上述区域的位置信息和代表视差存储在图像数据的附带信息中之后执行。

在S1中，视差宽度调整部202进行后述的视差宽度调整处理。在视差宽度调整处理中，可以对应于需要进行代表视差的视差宽度调整和代表视差平移。

在S2中，视差调整部63将视差宽度调整处理后的立体图像帧各自的代表视差保存在SDRAM 39中。

并且，视差调整部63确定作为视差调整基准的立体图像帧即基准帧。基准帧按照立体图像的时间上的获取顺序确定。例如，视差调整部63在执行S2至S12的第n次循环时，将获取顺序为第n个的立体图像帧确定为基准帧。视差调整部63将与基准帧相对应的代表视差即基准视差保存在SDRAM 39中。

在S3中，视差调整部63确定成为视差调整对象的立体图像帧即对象帧。例如，视差调整部63在执行S2至S12的第n次循环时，将获取顺序为第n+1的立体图像帧确定为对象帧。视差调整部63将与对象帧相对应的代表视差保存在SDRAM 39中。

在S4中，视差调整部63判断是否是|基准帧的代表视差－对象帧的代表视差|<α。在是的情况下进入S5，在否的情况下进入S6。α作为平移容许阈值从阈值设定部205输入。例如α＝0.75。在判断为否的情况下，意味着立体图像帧之间的代表视差的变动较大。在这种情况下，进入S6，进行用于将对象帧平移至与基准帧不同的输出视差的处理。

在S5中，视差调整部63判断是否是|基准帧的代表视差－对象帧的代表视差|>β。在是的情况下进入S10，在否的情况下进入S8。β作为平移禁止阈值，从阈值设定部205输入。例如β＝0.25。在判断为否的情况下，意味着立体图像帧之间的代表视差的变动很小。在这种情况下，进入S8，进行用于将对象帧平移至与基准帧相同的输出视差的处理。

在S6中，视差调整部63将存储在ROM 61等中的立体动画视差－输出预定视差变换表读取至SDRAM 39。图6是表示立体动画视差－输出预定视差变换表的一个例子。该表规定与各立体图像帧的任意值的代表视差相对应的整数的输出预定视差。例如，根据该表，M至M+t的代表视差与N的输出预定视差相对应，M+t至M+2t的代表视差与N+1的输出预定视差相对应。此外，图像最小显示单位是1个像素，因此，如果以像素单位表示输出预定视差，则为整数。

视差调整部63按照存储在ROM 61等中的立体动画视差－输出预定视差变换表，确定与基准帧的代表视差相对应的输出预定视差，将所确定的输出预定视差确定为基准帧的输出预定视差。同样地，视差调整部63按照立体动画视差－输出预定视差变换表，确定与对象帧的代表视差相对应的输出预定视差，将所确定的输出预定视差确定为对象帧的输出预定视差。

视差调整部63对基准帧的输出预定视差和对象帧的输出预定视差进行比较，判断二者是否相同。在是的情况下进入S7，在否的情况下进入S10。

在S7中，视差调整部63进行调整，以将对象帧的输出视差确定为基准帧的输出预定视差+1，将对象帧的代表视差平移至该输出视差(基准帧的输出预定视差+1)。即，即使基准帧与对象帧的输出预定视差相同，在基准帧、对象帧之间的代表视差变化较大的情况下，也使二者的输出视差分离，使输出视差反映原代表视差的推移。然后，处理进入S11。

S8进行与S6相同的判断，在是的情况下进入S10，在否的情况下进入S9。

在S9中，视差调整部63进行调整，以将对象帧的输出视差确定为基准帧的输出预定视差，将对象帧的代表视差平移至该输出视差(基准帧的输出预定视差)。即，即使基准帧和对象帧的输出预定视差不同，在基准帧、对象帧之间的代表视差的推移很小的情况下，也使对象帧的输出视差与基准帧的输出预定视差相同，使输出视差反映原代表视差的推移。然后，处理进入S11。

在S10中，视差调整部63将对象帧的输出视差确定为对象帧的输出预定视差，将对象帧的视差调整为该输出视差(对象帧的输出预定视差)。从S4至S10的模式包含以下3种：(a)在S4中为是且在S5中为是；(b)在S4中为是、在S5中为否、且在S8中为是；(c)在S4中为否且在S6中为否。在(b)或(c)的情况下，基准帧、对象帧之间的原代表视差的推移的变动，直接反映在输出视差的推移的大小中。(a)是由输出预定视差进行与原代表视差的变动不大不小的中间变动相对应的对象帧的输出视差调整的方法。此外，在α＝β的情况下，理论上不会产生(a)的模式，本处理将进一步简化。例如，可以考虑设定α＝β＝0.5。

对于构成立体动画的全部立体图像帧执行S2至S10，在S11中，判断是否已执行全部立体图像帧的视差调整。在是的情况下进入S13，在否的情况下进入S12。

在S12中，视差调整部63将基准帧确定为第n+1个立体图像帧。

在S13中，视差控制部42通过以调整得到的输出视差将各立体图像帧依次显示在监视器13上而再生立体动画。此外，视差调整部63在S7、S9或S10中进行视差调整，以将初始的基准帧的输出视差平移至基准帧的输出预定视差。第2个以后的基准帧作为对象帧而进行视差调整，这是由于初始的基准帧无该视差调整。

图7是表示视差宽度调整处理的流程图。

在S101中，视差宽度调整部202尝试读取存储在SDRAM 39或存储卡16中的立体动画的各立体图像帧的左右图像数据，并且尝试读取从该立体动画的附带信息读取立体图像帧各自的代表视差。

在S102中，显示容许视差宽度获取部204将显示容许视差宽度获取至SDRAM 39中。显示容许视差宽度是指从显示容许最小视差Dmin至显示容许最大视差Dmax的范围。显示容许视差宽度的获取源包含操作部25、内置的ROM 61、外部的监视器13或电子设备等。

在S103中，视差宽度调整部202根据各立体图像帧的代表视差确定代表视差最大值pmax和代表视差最小值pmin，计算立体动画视差宽度＝pmax－pmin。并且，视差宽度调整部202判断是否是立体动画视差宽度<显示容许视差宽度。在是的情况下进入S105，在否的情况下进入S104。

在S104中，视差宽度调整部202对各立体图像帧的代表视差进行调整，以使得立体动画视差宽度处于显示容许视差宽度范围内。例如，如图8A所示，在立体动画视差宽度超过显示容许视差宽度的情况下，如图8B所示，以相同的缩减率(X－Y)/X缩减各立体图像帧的代表视差，以使得立体动画视差宽度处于显示容许视差宽度的范围内。

在S105中，视差宽度调整部202判断是否是代表视差最大值pmax>显示容许最大视差Dmax。在是的情况下进入S107，在否的情况下进入S106。

在S106中，视差宽度调整部202判断是否是代表视差最小值pmin<显示容许最小视差Dmin。在是的情况下进入S107，在否的情况下进入视差调整处理的S2。

在S107中，视差宽度调整部202对各立体图像帧的代表视差进行平移，以使得立体动画视差宽度处于显示容许视差宽度范围内。

从S103至S107的模式包含以下4种：(1)在S103中为是且在S105中为是；(2)在S103中为否且在S105中为是；(3)在S103中为是、在S105中为否、且在S106中为是；(4)在S103中为否、在S105中为否、且在S106中为是。

图9表示模式(1)即无视差宽度调整情况下的向负方向的平移。

例如，如图9A所示，虽然代表视差的最大值pmax超过显示容许最大视差Dmax，但在立体动画视差宽度低于显示容许视差宽度的情况下，如图9B所示，进行调整，使各立体图像帧的代表视差向负方向平移相同的宽度W1，使全部的立体图像帧的代表视差处于显示容许视差宽度范围。其中，W1＝pmin－Dmin。

图10表示模式(2)即无视差宽度调整的情况下的向负方向的平移。

如图10A及所述图8B所示，在视差宽度调整后的代表视差的最大值pmax超过显示容许最大视差Dmax的情况下，如图10B所示，也将各立体图像帧的代表视差向负方向平移相同的宽度W2。其中，W2＝pmin－Dmin。

图11表示模式(3)即有视差宽度调整的情况下的向正方向的平移。

或者，如图11A所示，在代表视差最小值pmin低于显示容许最小视差Dmin的情况下，如图11B所示，将各立体图像帧的代表视差向正方向平移相同的宽度W3。其中，W3＝Dmin－pmin。

模式(4)的图示省略，但在视差宽度调整后的代表视差的最小值pmin低于显示容许最小视差Dmin的情况下，也同样地将各立体图像帧的代表视差向正方向平移相同的宽度。

此外，重复进行上述视差调整处理直至检测到场景变化，如果检测到场景变化，则将基准帧及对象帧重置，然后重新开始S1。由此，在涉及不同场景的基准帧和对象帧之间进行S5、6、6、8的判断，防止不适当的视差调整。场景变化的检测由公知的方法进行。场景的变化由对焦拍摄对象变化或移位等产生。

例如，视差调整部63在不同的立体图像帧a、b间的代表视差大于或等于阈值的情况下，在该立体图像帧a、b之间检测场景变化。视差调整部63在将场景变化前的立体图像帧a设定为最后的对象帧的情况下，在S11中判定为否而进入S12。但是，在S12中，视差调整部63不是将场景变化前的立体图像帧a确定为基准帧，而是将场景刚刚变化后的立体图像帧b确定为基准帧。另外，视差调整部63使得对象帧为立体图像帧b之后的立体图像帧c。以下同样地，视差调整部63从前一个场景刚刚变化后的立体图像帧至下一个场景变化前的立体图像帧，重复进行S2至S12的循环。

另外，执行该处理所需的模块，也可以设置在除了数字照相机之外的电子设备上。例如，如图12所示，具有CPU 26、VRAM 65、SDRAM 39、闪光灯ROM 60、ROM 61、压缩展开处理部43、媒体控制部15、视差检测部49、视差调整部63、图像输入部201(例如，图像输入控制器38、媒体控制部15等)、显示容许视差宽度获取部204、阈值设定部205、图像输出部206(例如监视器13、媒体控制部15等)等进行平面或立体图像显示的模块的图像输出装置也可以执行该处理。

图像输入部201输入的立体动画不限定于从摄像单元直接输出。例如，也可以是媒体控制部15从存储卡16等媒体读取，或经由网络接收。

图像输出部206输出完成视差调整的图像的目标，不限定于显示控制部42及监视器13，图像也可以不在视差调整后即时显示。例如，媒体控制部15也可以将立体图像帧各自的调整后的代表视差即输出视差作为与各立体图像帧相对应的立体动画数据，存储在存储卡16等介质中。或者，也可以将该立体动画数据经由网络发送。

另外，是否使视差调整处理动作的模式设定或定时也是任意的。例如，拍摄模式开始时不进行视差调整处理，而从快门按钮14全按时开始进行视差调整处理。或者，在将存储卡16的立体动画数据显示在电视机等外部监视器13上时，开始进行视差调整处理。

通过上述处理，可以将各立体图像帧的代表视差调整为保持接近拍摄时的视差变化(参照图13A)的状态的适当的输出视差(参照图13B)。由此，可以使立体动画的代表视差的推移接近拍摄的状态而进行再生。

标号的说明

49：视差检测部

63：视差调整部

202：视差宽度调整部

204：显示容许视差宽度获取部

205：阈值设定部

Claims (14)

1.一种图像输出装置，其具有：

代表视差获取部，其获取构成立体动画的多个立体图像帧各自的代表视差；

输出预定视差确定部，其基于所述代表视差获取部获取的立体图像帧各自的代表视差，确定与所述立体动画的输出条件相对应的立体图像帧各自的输出预定视差；

输出视差调整部，其基于所述输出预定视差确定部确定的立体图像帧各自的输出预定视差，调整所述立体图像帧各自的输出视差；以及

输出部，其依次输出由所述输出视差调整部对输出视差进行调整后的立体图像帧，

所述输出预定视差确定部基于从所述立体图像帧中依次确定的基准帧的代表视差，确定所述基准帧的输出预定视差，并且，基于紧接着所述基准帧之后的立体图像帧即对象帧的代表视差，确定所述对象帧的输出预定视差，

所述输出视差调整部基于所述基准帧的代表视差和所述对象帧的代表视差之差，对所述基准帧的输出视差和所述对象帧的输出视差之差进行调整。

2.根据权利要求1所述的图像输出装置，其中，

所述立体图像帧各自的代表视差是所述立体图像帧的规定区域内的平均视差。

3.根据权利要求2所述的图像输出装置，其中，

所述平均视差是脸部区域的平均视差、合焦评价值计算区域的平均视差或图像中央区域的平均视差。

4.根据权利要求1或2所述的图像输出装置，其中，

具有输出容许视差宽度获取部，其获取所容许的输出视差的宽度即输出视差宽度的上限及下限，作为所述立体动画的输出条件。

5.根据权利要求4所述的图像输出装置，其中

具有视差宽度调整部，其在由所述代表视差获取部获取的各立体图像帧的视差的最大值及最小值规定的视差宽度，不适合于所述输出容许视差宽度获取部获取的输出容许视差宽度的情况下，将所述视差宽度调整为所述输出容许视差宽度。

6.根据权利要求5所述的图像输出装置，其中，

所述视差宽度调整部在所述代表视差获取部获取的代表视差的最大值超过所述输出容许视差宽度获取部获取的输出容许视差宽度的上限的情况下，对各立体图像帧的代表视差进行调整，以使得所述代表视差的最大值小于或等于所述输出容许视差宽度的上限。

7.根据权利要求5或6所述的图像输出装置，其中，

所述视差宽度调整部在所述代表视差获取部获取的视差的最小值低于所述输出容许视差宽度获取部获取的输出容许视差宽度的下限的情况下，对各立体图像帧的代表视差进行调整，以使得所述视差的最小值大于或等于所述输出容许视差宽度的下限。

8.根据权利要求1或2所述的图像输出装置，其中，

所述基准帧和所述对象帧从同一个场景中确定。

9.根据权利要求1或2所述的图像输出装置，其中，

具有表格获取部，其获取用于规定与所述代表视差相对应的分级的输出预定视差的表格，

所述输出预定视差确定部按照所述代表视差获取部获取的立体图像帧各自的代表视差和所述表格获取部获取的表格，确定所述立体图像帧各自的分级的输出预定视差。

10.根据权利要求9所述的图像输出装置，其中，

所述输出视差调整部将所述基准帧的代表视差和所述对象帧的代表视差的差与规定的第1阈值相比较，在所述的差超过所述规定的第1阈值的情况下，将所述对象帧的输出视差向比所述输出预定视差确定部确定的基准帧的输出预定视差大一级的输出预定视差调整。

11.根据权利要求10所述的图像输出装置，其中，

所述输出视差调整部将所述的差与规定的第2阈值相比较，在所述的差低于所述规定的第2阈值的情况下，将所述对象帧的输出视差向所述基准帧的输出预定视差调整。

12.根据权利要求11所述的图像输出装置，其中，

所述输出视差调整部在所述的差未超过所述规定的第1阈值且不低于所述规定的第2阈值的情况下，将所述对象帧的输出视差向所述对象帧的输出预定视差调整。

13.根据权利要求12所述的图像输出装置，其中，

所述规定的第1阈值与所述规定的第2阈值相等。

14.一种图像输出方法，其由计算机执行以下步骤：

获取构成立体动画的多个立体图像帧各自的代表视差的步骤；

基于所述获取的立体图像帧各自的代表视差，确定与所述立体动画的输出条件相对应的立体图像帧各自的输出预定视差的步骤；

基于所述确定的立体图像帧各自的输出预定视差，调整所述立体图像帧各自的输出视差的步骤；

依次输出进行所述输出视差调整后的立体图像帧的步骤；

基于从所述立体图像帧中依次确定的基准帧的代表视差，确定所述基准帧的输出预定视差，并且，基于紧接着所述基准帧之后的立体图像帧即对象帧的代表视差，确定所述对象帧的输出预定视差的步骤；以及

基于所述基准帧的代表视差和所述对象帧的代表视差之差，对所述基准帧的输出视差和所述对象帧的输出视差之差进行调整的步骤。