CN102577407A - 图像处理装置、拍摄装置及图像处理方法 - Google Patents

Abstract

本发明提供一种使缩放期间中的立体视觉跟踪容易，从而缓解眼疲劳的装置。具备：拍摄单元(14)，其获取由多个视点图像组成的立体图像；操作部(16)，其获取变焦值；电子变焦处理部(17)，其基于获取的变焦值对立体视觉图像通过图像处理进行变倍；监视器(21)，其输出变倍后的立体图像；控制部(25)，其在获取的所述变焦值变化期间，将变焦值的变化紧前或紧后的立体图像以通过电子变焦处理部(17)变倍后的立体静止图像向监视器(21)输出，在变焦值不变化期间，将通过拍摄单元(14)获取的所述立体图像以立体运动图像向监视器(21)输出。

Description

图像处理装置、拍摄装置及图像处理方法

技术领域

本发明涉及进行由多个视点图像组成的立体图像的变倍的图像处理装置、拍摄装置及图像处理方法。

背景技术

目前，进行着由多个视点图像组成的立体图像的变倍(缩放)。

专利文献1中记载了根据立体图像的电子变焦控制各视点图像(左眼图像及右眼图像)的截取位置和图像水平相位(偏移量)，使得最大视差量及最小视差量在设定范围内，(以主要固定的方式)调整立体图像的深度方向的构成。

专利文献2记载了根据变焦来对准左眼图像及右眼图像的中心的内容、及根据变焦来控制左眼图像及右眼图像的偏移量，使立体图像的深度方向可变的内容。

专利文献1：日本特开平8-317429号公报

专利文献2：日本特开2003-52058号公报

但是，专利文献1、2中，关于缩放中的图像处理，没有任何记载。

缩放中，人的立体视觉跟踪易变得困难。其结果存在视觉上有极不协调的感觉，疲劳增加的问题。

发明内容

本发明是鉴于这样的情况而作出的，其目的在于，提供能够使缩放期间中的立体视觉跟踪容易，从而缓解眼疲劳的图像处理装置、拍摄装置及图像处理方法。

为了实现所述目的，本发明提供一种图像处理装置，其特征在于，具备：图像获取单元，其获取由多个视点图像组成的立体图像；变焦值获取单元，其获取变焦值；电子变焦单元，其基于通过变焦值获取单元获取的变焦值，对通过图像获取单元获取的立体图像通过图像处理进行变倍；输出单元，其能够输出通过电子变焦单元变倍后的立体图像；控制单元，其在通过变焦值获取单元获取的变焦值变化的期间，将变焦值的变化紧前或紧后的立体图像以通过电子变焦单元变倍后的立体静止图像向输出单元输出，在变焦值不变化的期间，将通过图像获取单元获取的立体图像以立体运动图像向输出单元输出。

即，在变焦值持续变化的缩放期间中，电子变焦变化紧前或紧后的立体图像，并将其以立体静止图像输出，在缩放期间以外，以立体运动图像输出，因此能够使缩放期间中的立体视觉跟踪容易，从而缓解眼疲劳。

在本发明的一实施方式中，优选控制单元使变倍后的静止图像的显示时间比变焦值的变动期间长。

在本发明的一实施方式中，优选控制单元将通过使变焦值逐步变化而逐步变倍后的立体静止图像通过输出单元输出。

在本发明的一实施方式中，优选控制单元通过图像的淡入及淡出进行立体静止图像的切换。

在本发明的一实施方式中，优选具备：视差量计算单元，其在多个视点图像间计算各像素的视差量；视差量修正单元，其根据通过视差量计算单元计算的视差量和通过变焦值获取单元获取的变焦值，修正通过图像获取单元获取的立体图像中至少局部的像素的视差量，将通过视差量修正单元修正视差量后的立体静止图像通过输出单元输出。

在本发明的一实施方式中，优选视差量修正单元对多个视点图像进行改变与变焦值的每单位的变化量相对的视差量的变化量的修正。

在本发明的一实施方式中，优选视差量修正单元以如下方式修正视差量，即，在修正前的立体图像中若变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量减少的情况下，在修正后的立体静止图像中若变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量增加或一定。

在本发明的一实施方式中，优选视差量修正单元通过修正前的视差量乘以系数，且偏移相乘后的视差量，来修正视差量。

在本发明的一实施方式中，优选视差量修正单元以使视差量的偏移量从摄远端向广角端变大的方式修正视差量。

在本发明的一实施方式中，优选视差量修正单元以若变焦值从广角端向摄远端变化，则同一被摄体距离的被摄体的视差量非线性地增加的方式修正视差量。

在本发明的一实施方式中，优选视差量修正单元以使视差量在特定的上限值至特定的下限值的范围内的方式进行修正。

在本发明的一实施方式中，优选具备：设定信息输入单元，其接收用于决定用于修正视差量的视差量修正值的设定信息的输入；视差量修正值计算单元，其基于通过设定信息输入单元输入的设定信息计算视差量修正值。

在本发明的一实施方式中，优选设定信息是立体图像的显示尺寸。

在本发明的一实施方式中，优选具备：视差量修正值计算单元，其将变焦值设定在摄远端或广角端，基于正在对焦的像素的视差量，计算视差量的修正值。

在本发明的一实施方式中，优选设定信息包括最近被摄体的被摄体距离信息、及最远被摄体的被摄体距离信息中至少一个。

在本发明的一实施方式中，优选具备：变焦效果设定信息输入单元，其接收用于决定与变焦值的每单位的变化量相对的视差量的变化量的变焦效果设定信息的输入；视差修正值计算单元，其基于通过设定信息输入单元输入的变焦效果设定信息计算视差量修正值。

另外，本发明提供一种拍摄装置，具备图像处理装置，其特征在于，图像获取单元包括含有变焦透镜的拍摄透镜、及拍摄通过拍摄透镜成像的被摄体像的拍摄元件而构成。

另外，本发明提供一种图像处理方法，该方法使用：图像获取单元，其获取由多个视点图像组成的立体图像；变焦值获取单元，其获取变焦值；电子变焦单元，其基于通过变焦值获取单元获取的变焦值，对通过图像获取单元获取的立体图像通过图像处理进行变倍；输出单元，其输出立体图像；其特征在于，在通过变焦值获取单元获取的变焦值变化的期间，将变焦值的变化紧前或紧后的立体图像以通过电子变焦单元变倍后的立体静止图像向输出单元输出，在变焦值不变化的期间，将通过图像获取单元获取的立体图像以立体运动图像向输出单元输出。

根据本发明，能够使缩放期间中的立体视觉跟踪容易，从而缓解眼疲劳。

附图说明

图1是表示本发明涉及的拍摄装置的构成例子的方框图；

图2是表示在运动图像拍摄时实时进行的情况下的图像处理的一例的流程的流程图；

图3是表示在运动图像拍摄后进行的图像处理的一例的流程的流程图；

图4是用于说明静止图像的电子变焦的说明图；

图5是用于说明静止图像的淡入淡出显示的说明图；

图6是表示视差修正前的变焦值和视差量的对应关系的图；

图7是表示视差修正后的变焦值和视差量的对应关系的图；

图8是表示视差修正前、视差压缩后、偏移后、及视差修正后的左眼图像及右眼图像的图；

图9是表示规定变焦值、修正前视差量及修正后视差量的对应关系的表数据的一例的图；

图10是表示由表示视差修正后的图像进行的立体图像显示的形态的示意图；

图11是表示非线性地视差修正时的图像的变焦值和视差量的对应关系的图；

图12是表示监视器的显示尺寸和像素的对应关系的图；

图13是表示第二实施方式中的视差修正后的视点图像的变焦值和视差量的对应关系的图；

图14是表示第二实施方式中的图像处理的一例的流程的主要部分流程图；

图15是表示第二实施方式中的图像处理的其它例的流程的主要部分流程图；

图16是示意性表示缩放中的被摄体的立体图像的状态的示意图；

图17是表示第三实施方式中的视差修正后的视点图像的变焦值和视差量的对应关系的图；

图18是表示用户设定处理的一例的流程的流程图；

图19是表示适用于本发明的计算机装置的硬件结构的方框图。

符号说明

11L、11R…拍摄透镜；12L、12R…拍摄传感器；13…信号处理部；15…图像存储器；16…操作部；17…电子变焦处理部；18…视差量计算部；19…视差量修正值计算部；20…视差量修正部；21…监视器(显示单元)；22…记录媒体接口；23…记录媒体；25…控制部。

具体实施方式

下面，根据附图详细说明本发明的实施方式。

<第一实施方式>

图1是表示本发明的拍摄装置的结构例的方框图。

拍摄装置10包括拍摄透镜11L、11R、拍摄传感器12L、12R、信号处理部13、图像存储器15、操作部16、电子变焦处理部17、视差量计算部18、视差量修正值计算部19、视差量修正部20、监视器21、记录媒体接口22、记录媒体23、外部输出器件24、控制部25、电源部26、及蓄电池27而构成。

拍摄透镜11L、11R由使被摄体像在拍摄传感器12L、12R的受光面上成像的光学系统组成。本例的拍摄透镜11L、11R包括聚焦透镜、变焦透镜及光圈装置而构成。

拍摄传感器12L、12R分别对通过拍摄透镜11L、11R成像的被摄体像进行拍摄。拍摄传感器12L、12R由例如CCD拍摄传感器、CMOS拍摄传感器等构成。

信号处理部13对从拍摄传感器12L、12R输出的立体图像(左眼图像及右眼图像)实施AE处理、AF处理等各种信号处理。

在本例的拍摄装置10中，由拍摄透镜11L、11R、拍摄传感器12L、12R及信号处理部13构成获取由多个视点图像组成的立体图像的拍摄单元14(图像获取单元)。

图像存储器15是一帧一帧地暂时存储从信号处理部13输出的立体图像的存储器(例如RAM)。

操作部16是接收用户的输入操作的输入器件(例如按键开关)。

在本例的拍摄装置10中，由操作部16构成获取任意变化的变焦值的变焦值获取单元。

电子变焦处理部17基于通过操作部16获取的变焦值，对立体图像(左眼图像及右眼图像)通过图像处理进行变倍。

视差量计算部18在多个视点图像(左眼图像及右眼图像)间计算各像素的视差量。

视差量修正值计算部19根据通过视差量计算部18计算的视差量和通过操作部16获取的变焦值，计算用于修正立体图像(左眼图像及右眼图像)的各像素的视差量的视差量修正值。

视差量修正部20基于通过视差量修正值计算部19计算的视差量修正值，修正立体图像(左眼图像及右眼图像)的各像素的视差量。即，根据通过视差量计算部18计算的视差量和通过操作部16获取的变焦值，修正立体图像的各像素的视差量。通过该视差量的修正，改变与变焦值的每单位的变化量相对的视差量的变化量。具体而言，视差量修正部20修正视差量，使得在修正前的立体图像中若变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量减少的情况下，在修正后的立体图像中若变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量增加或一定。另外，视差量修正不特别限于在立体图像的整个区域内进行，也可以修正立体图像中的至少一部分。

监视器21、记录媒体接口22及外部输出器件24输出立体图像。

监视器21是能够以立体视觉显示立体图像的显示器件。

记录媒体接口22是外部输出器件24的一例，在存储器卡等记录媒体23中记录立体图像。

外部输出器件24例如由将立体图像通过通信输出(发送)的通信接口等构成。

控制部25控制拍摄装置10的各部。本例的控制部25在通过操作部16获取的变焦值变化的期间，将变焦值的变化紧前或紧后的立体图像的一帧通过电子变焦处理部17进行变倍，将变倍后的一帧静止图像(立体静止图像)通过外部输出器件24进行静止图像输出，在变焦值未变化的期间，将立体图像通过外部输出器件24进行运动图像输出。

另外，控制部25使变倍后的静止图像的显示时间比变焦值的变动期间长。

另外，控制部25将通过使变焦值逐步增加而逐步变倍后的立体静止图像通过监视器21等输出单元输出。

另外，控制部25通过淡入及淡出进行变倍后的多个静止图像的切换。

电源部26从蓄电池27对拍摄装置10的各部进行电源供给。

图2是表示在运动图像拍摄时实时进行的情况下的图像处理之一例的流程的流程图。本处理由控制部25按照程序执行。

判断有无操作部16进行的变焦操作(步骤S2)，在没有变焦操作的情况下，由拍摄单元14以一帧周期获取立体图像(左眼图像及右眼图像)并保存在图像存储器15中(步骤S4)，从操作部16获取变焦值(步骤S6)。变焦值在从广角端至摄远端之间任意地变化。在以后的处理中，也是一帧一帧地进行处理。

在有变焦操作的情况下，将变焦操作时(变焦值变化前)的立体图像(左眼图像及右眼图像)的一帧保存在电子变焦用存储器(步骤S8)，从操作部16获取变焦值(步骤S10)，根据获取的变焦值，对保存在图像存储器15中的立体图像通过电子变焦处理部17进行变倍(放大或缩小)(步骤S12)。电子变焦用存储器可以内置于电子变焦处理部17中，也可以将图像存储器15与实时立体图像存储器和电子变焦用存储器分开使用。

然后，通过视差量计算部18，在左眼图像和右眼图像之间进行通过立体匹配进行的对应点检测，计算像素单位的视差量Px(步骤S14)。

另外，通过视差量修正值计算部19，根据通过视差量计算部18计算的立体图像的各像素的视差量和通过操作部16获取的变焦值，计算修正立体图像的各像素的视差量的修正值(步骤S16)。

然后，通过视差量修正部20，基于修正值进行左眼图像及右眼图像的再构成(步骤S18)。在此，根据通过视差量计算部18计算的各像素的视差量和通过操作部16获取的变焦值，修正各像素的视差量。通过该视差量的修正，改变与变焦值的每单位的变化量对应的立体图像的视差量的变化量。即，改变变焦值的变化量和视差量的变化量的对应关系。具体而言，按如下方式修正视差量，即，在修正前的立体图像中若变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量减少的情况下，在修正后的立体图像中若变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量增加(或不变)。

然后，通过记录媒体接口22，将再构成的立体图像记录在记录媒体23中。也可以通过监视器21及外部输出器件24输出立体图像。

然后，判断变焦操作是否继续(步骤S22)，在变焦操作继续的情况下，回到步骤S10。

另外，判断拍摄结束还是拍摄继续(步骤S24)，在拍摄继续的情况下，回到步骤S2。

在本处理中，在获取的变焦值变化的期间，对变焦值的变化紧前或紧后的一帧立体图像(立体静止图像)通过电子变焦处理部17进行变倍，并向监视器21输出，在获取的变焦值不变化期间，将多帧立体图像(立体运动图像)向监视器21输出。

图3是表示在运动图像拍摄后进行图像处理时的图像处理之一例的流程的流程图。

步骤S32、S34分别与图2的步骤S4、S6相同。

在步骤S36中，通过记录媒体接口22，将由左眼图像及右眼图像组成的立体图像一帧一帧地记录在记录媒体23中。在此，记录媒体接口22一帧一帧地在立体图像上附加变焦值信息，记录在记录媒体23中。

在步骤S38中，判断拍摄结束还是拍摄继续，在拍摄继续的情况下，回到步骤S32及S34。

运动图像拍摄结束后，在步骤S40中，通过记录媒体接口22，从记录媒体一帧一帧地读取立体图像(左眼图像及右眼图像)及变焦值信息。

在步骤S40中，通过记录媒体接口22，从记录媒体23读取一帧立体图像和变焦值信息。

在步骤S42中，判断变焦值有无变化。

在变焦值有变化的情况下，在步骤S44中，对图像存储器15内的立体图像通过电子变焦处理部17进行变倍(放大或缩小)。

在变焦值没有变化的情况下，在步骤S46中，从记录媒体23读取下一帧立体图像(左眼图像及右眼图像)保存在图像存储器15中。

步骤S48、S50、S52、S54分别与图2的S14、S16、S18相同。

在步骤S56中，判断是否结束了所有的帧处理，没有结束全部帧时，关注下一帧，从图像存储器15读取变焦值(S58)，回到步骤S40。结束了全部帧时，结束本处理。

如图4所示，控制部25通过将变焦值变化中的期间分割成多个期间，同时不以连续变化而以逐步变化切换变焦值的变化量，来进行依次显示及记录在变焦值变化中的期间逐步变倍的多个静止图像的控制。

另外，控制部25使变倍后的多个静止图像的总计显示时间比变焦值的变动期间长。

另外，如图5所示，控制部25通过淡入及淡出，进行监视器21中的多个静止图像间的显示的切换。即，进行一边淡出显示一个静止图像，一边淡入显示另一个静止图像的控制。

图6表示视差修正前的视点图像(左眼图像，右眼图像)中的变焦值和视差量的对应关系(所说的“视差分布”)。横轴为变焦值，纵轴为视差量。即，表示与变焦值的变化相对的视差量的变化(视差分布)。

在图6中，纵轴的中心为收敛点的视差(＝0)，在本拍摄装置中，将收敛点的距离设定为2.0m。在该视差分布中，比纵轴的中心更靠上的上侧表示位于比收敛点近的距离上的被摄体的视差，比纵轴的中心更靠下的下侧表示位于比收敛点远的距离上的被摄体的视差。视差分布的上边表示被摄体距离为0.5m(MOD)时的视差变化，下边表示无限远距离时的视差变化。

在图6中，视差变成最大的条件是被摄体距离0.5m的变焦T端，将该条件的视差量设为Pmax。在该条件下，立体图像成为从监视器最突出的状态，成为立体视觉融合困难的过大视差的可能性大。另一方面，视差变成最小的条件是无限远距离的变焦W端，将该条件的视差量设为Pmin。在该条件下，立体图像成为从监视器最缩进的状态，监视器上的立体图像的错位量超过人的两眼宽度的(发散)可能性大。因此，需要通过视差修正设定视差量的上限及下限。

在图6中，被摄体距离为2m的被摄体与变焦值的变化无关，视差为零，没有视差量的变化。被摄体距离大于2m(远)的被摄体若使变焦值从W侧向T侧变化，则视差量变小。即，被摄体像变大的同时，从监视器面逐渐缩进，成为极不自然的视觉，因此增加了进行立体观察的观察者的眼疲劳。

图7表示通过视差量修正部20进行视差修正后的视点图像中的变焦值和视差量的对应关系(视差分布)。通过视差量修正部20，将最大视差量从修正前的Pmax修正为Ptn，将最小视差量从Pmin修正为Pwf，将与各变焦值对应的视差量以进入Ptn和Pwf之间的方式进行修正。另外，也可以是Ptf＝Pwf。

为将图6所示的视差分布更改(修正)为图7所示的视差分布，视差量修正值计算部19计算与视差量相乘的系数k和视差量的偏移量S。视差量修正部20通过各像素的视差量乘以系数k，将各变焦值中的视差分布宽度压缩k倍。具体而言，在修正前视差量最大值Pmax＞Ptn的情况下，以使修正后Pmax≤Ptn的方式决定k，设为0＜k＜1。另外，在修正前视差量最大值Pmax≤Ptn的情况下，也可以设为k≥1。

然后，视差量修正部20以使最大视差量Pmax成为Ptn的方式，使各像素的视差量减除S1程度地偏移。逐个变焦值地进行这样的系数乘法和偏移。

另外，视差量修正部20为了得到自然的变焦效果，变焦值越是从T端向W端变化，越是增加视差量的偏移量，其结果是，Ptf≥Pwf，Ptn＞Pwn。即，将最小视差量设为Pwf。

图8(A)表示视差修正前的T端的左眼图像90L及右眼图像90R，图8(B)表示视差压缩(系数乘法)后的T端的左眼图像中的被摄体像90L及右眼图像中的被摄体像90R。图8(C)表示偏移后的T端的左眼图像中的被摄体像90L及右眼图像中的被摄体像90R。图8(D)表示视差修正后的W端的左眼图像中的被摄体像90L及右眼图像中的被摄体像90R。另外，在图8(A)～(D)中，图示了四边形的被摄体像，但是实际上，不限定被摄体像的形状。

在图8(A)中，成为过大视差及发散视差，因此进行图8(B)所示的通过对视差量乘以系数k1进行的视差压缩及图8(C)所示的视差量偏移S1，从而变焦后的立体图像的视差量在视差界限内。

另外，乘法和减法的处理顺序可以先进行任一个。另外，若预先决定如图7那样进行修正，则如图9所示，通过预先将变焦值、修正前视差量及修正后视差量的对应关系作为表数据存储，视差修正时使用该表数据进行视差修正，能够缩短处理时间。即，也可以将图1的视差量修正值计算部19替换为图8的表数据。

图10是表示将视差修正后的立体图像通过监视器21显示时的立体图像的示意图。

在使变焦值从广角W侧向摄远T侧变化的情况下，视差量以视点位置接近被摄体的方式(或被摄体接近视点位置的方式)变化，因此改善了变焦引起的不自然。

图11是将Ptf-Pwf、Ptn-Pwn的线设为非线性的情况，越是T(摄远)端，越是使与变焦值的变化量相对的视差量的变化量增大。即，越是T端，被摄体的深度方向上的移动量越大。由此，被摄体的移动情况更接近现实。

也可以基于用户设定值决定用于视差量修正的修正值。例如，输出立体图像的监视器21(立体视觉显示器件)的尺寸(显示画面尺寸)的输入或选择通过操作部16接收。这是因为由显示画面尺寸决定视差发散的界限值。

图12表示分辨率为1920×1080点的监视器的情况的显示尺寸和像素的对应关系。

另外，也可以设置通过操作部16接收每个用户的两眼间隔的输入或选择的单元。作为立体图像的观察者，若将孩子作为对象，则两眼间隔约5cm，将监视器尺寸的5cm程度的像素数作为视差量下限值Pwf。

视差量上限值Ptn例如在将监视器的画面高度的3倍距离下的视听作为前提的情况下，设定为约57像素。该Ptn由立体视觉融合的容许范围决定，因此存在个人差异。因此，优选能够通过用户设定更改。

根据本实施方式，能够改善变焦可变时的观察者的不协调的感觉，抑制立体视觉的疲劳。优选通过针对从广角端至摄远端的变焦值的变化进行视差量修正，降低过大视差及发散状态。

<第二实施方式>

接着说明第二实施方式。在第二实施方式中，通过增大与变焦值的变化量相对的视差量的变化量，增强缩放效果，同时防止视差过大、视差发散。

图13表示第二实施方式的视差量修正部20进行视差修正后的视点图像中的变焦值和视差量的对应关系(视差分布)。

为了增强缩放，优选通过进一步增大Ptf-Pwf、Ptn-Pwn各线的倾斜，来增大与变焦值的变化量相对的视差量的变化量。即，相对于变焦值的变化量，增大被摄体的立体图像的深度方向上的移动量，能够够增强缩放效果。

该情况下，在摄远(T)侧、广角(W)侧，如图13中的虚线21、22所示，修正后的视差量超过视差量上限值Ptn，或不足视差量下限值Pwf的可能性变大。

因此，视差量修正部20以修正后的视差量在视差量上限值Ptn至视差量下限值Pwf的范围内的方式对修正量进行修正。例如，在通过操作部16获取的变焦值小于Z1，且修正前的视差量超过Ptn的情况下，将修正后的视差量固定为Ptn。另外，例如，在通过操作部16获取的变焦值大于特定的变焦值Z8，且修正前的视差量不足Pwf的情况下，将修正后的视差量固定为Pwf。

图14是表示本实施方式中的图像处理的流程的主要部分的流程图。

另外，如图2所示，与第一实施方式相同，进行步骤S2～S18。在步骤S18中，通过视差量修正部20基于修正值进行视差量的计算(一次修正)，是与图2的步骤S18相同的处理。

在步骤S19a中，判断变焦值是否不足Z1，在不足Z1的情况下，在步骤S19b中，检索超过视差量上限值Ptn的视差量的像素，将该像素的视差量均设定为Ptn。另外，在步骤S19c中，判断变焦值是否超过Z8，在超过Z8的情况下，在步骤S19d中，检索不足视差量下限值Pwf的视差量的像素，将该像素的视差量均设定为Pwf。即，在步骤S19a～S19d中，将步骤S18的修正紧后的视差地图内的视差量中不在Ptn至Pwf的范围内的视差量设定为Ptn或Pwf。

在步骤S19e中，通过视差量修正部20基于二次修正值进行左眼图像及右眼图像的再构成(二次修正)。

步骤S20以后与图2所示的步骤S20以后相同。

这样的处理如图15的流程图所示，与变焦值无关，可以在所有的变焦域中进行。即，步骤S18以后，按照图14所示的步骤S19b、S19d、S19e的顺序执行。

图16(A)、(B)、(C)示意性表示在使变焦值在摄远方向上变化时，视差量超过Ptn时的被摄体的立体图像的状态。在图16(C)中，表示视差量超过Ptn时被摄体像呈平面状。另外，图16(B)是使图21的Ptn-Pwn间的折线变得平滑的情况，随着变焦值变大，被摄体像渐渐变成平面状(即被摄体像的前端和后端的距离差渐渐压缩)。

在表示图13所示的变焦值和视差量的对应关系的图表中，Ptn-Pwn、Ptf-Pwf等同一被摄体距离的线的倾斜可以作为变焦感的增强等级，接收用户的设定输入操作，且可变。

该情况下，根据用户设定的增强等级，增强等级越大，越增大同一被摄体距离的线(Ptn-Pwn、Ptf-Pwf等)的倾斜。该倾斜越大，带符号的Ptf值越大，带符号的Pwn值越小。另外，Ptf≥Pwf、Ptn＞Pwn。

根据本实施方式，能够增强缩放效果，同时能够防止视差过大、视差发散。

<第三实施方式>

在实际的拍摄中，存在被摄体距离的范围狭窄的情况。例如，在室内拍摄中，没有无限远的被摄体，另外，在跨越栅栏或网等的拍摄中，是最近距离也比MOD(最短对焦距离)远的范围。该情况下，修正后的视差量的分布收敛于例如图17的虚线31和虚线32之间的范围。该情况下，从实际的视差分布中的最大值Pa及最小值Pb至界限值(Ptn及Pwf)有富余，因此能够将该富余部分分配给缩放效果的增强。

具体而言，以最大值Pa成为上限值Ptn，最小值Pb成为下限值Pwf的方式，调整视差修正的偏移量S1、S2即可。其结果是，在进行了视差修正后，视差分布从虚线31和虚线32之间的范围变为实线33和实线34之间的范围，表示同一被摄体距离中的变焦值和视差量的对应关系的线的倾斜变大。

在本实施方式中，通过操作部16接收用于决定用于修正视差量的视差修正值的设定信息的输入。视差量修正值计算部19基于输入的设定信息，计算视差量修正值。

设定信息是例如监视器21的显示尺寸(监视器尺寸)。

设定信息可以是例如最近被摄体的被摄体距离信息、及最远被摄体的被摄体距离信息中至少一个。

另外，也可以通过控制部25的控制，将变焦值设定在摄远端或广角端，通过视差量修正值计算部19，基于正在对焦的像素的视差量计算视差量修正值。

另外，也可以通过操作部16接收用于决定与变焦值的变化量相应的视差量的变化量的变焦效果设定信息的输入，通过视差量修正值计算部19，基于输入的变焦效果设定信息计算视差量修正值。

图18是表示用户设定处理的一例的流程的流程图。

图18中，若为用户设定模式，则首先将拍摄透镜11L、11R的变焦值(变焦位置)移动(设定)至T端(步骤S71)，以将相对于用户拍摄对象的被摄体中最近的被摄体距离的物体置入AF区域内的方式通过监视器21进行引导，通过操作部16接收图像摄取指示操作(步骤S72)。若接收到图像摄取指示，则以近距离范围优先的方式从最近距离侧寻找对焦位置(步骤S73)。即，对拍摄对象的被摄体中最近的被摄体进行对焦。然后，摄取左眼图像及右眼图像(步骤S74)，在AF区域内，检测清晰度比预设阈值高的像素(步骤S75)，计算这些像素的视差量，决定视差量最大值Pa，计算从该视差量最大值Pa至Ptn的偏移量(Ptn-Pa)(步骤S76)。

然后，将拍摄透镜11L、11R的变焦值(变焦位置)移动(设定)至W端(步骤S81)，以将相对于用户拍摄对象的被摄体中最远的被摄体距离的物体放入AF区域内的方式通过监视器21进行引导，通过操作部16接收图像摄取指示操作(步骤S82)。若接收到图像摄取指示，以远距离范围优先的方式从最远距离找出对焦位置(步骤S83)。即，对拍摄对象的被摄体中最远的被摄体进行对焦。然后，摄取左眼图像及右眼图像(步骤S84)，在AF区域内检测清晰度比预设阈值高的像素(步骤S85)，计算这些像素的视差量，决定视差量最小值Pb，计算从该视差量最小值Pb至Pwf的偏移量(Pb-Pwf)(步骤S86)。

另外，在求解视差量时，进行立体匹配，因此清晰度高的图像的匹配精度提高，视差量的精度也提高。

在上述设定方法中，在摄远端及广角端两方计算视差量的偏移量，但是，本发明不限于这样的情况，也可以在摄远端及广角端中的一个中，计算视差量的偏移量。

另外，也可以通过操作部16接收距用户的最近被摄体的被摄体距离信息(最小被摄体距离)、及最远被摄体的被摄体距离信息(最大被摄体距离)的直接输入操作(或选择输入操作)。

通过操作部16，接收用于决定与变焦值的变化量相应的视差量的变化量的变焦效果设定信息的输入，通过视差量修正值计算部19，基于输入的变焦效果设定信息计算视差量修正值。

另外，以将本发明应用于拍摄装置的情况为例进行了说明，但是，本发明不特别限于这样的情况。例如，也可以是将本发明应用于图19所示的计算机装置100。在图19中，对图1所示的构成要素附加相同符号。

图19所示的个人计算机装置100包括操作部16、立体显示部21(监视器)、记录媒体接口22、存储器102及微处理器103而构成。微处理器103具有图1的电子变焦处理部17、视差量计算部18、视差量修正值计算部19、视差量修正部20及控制部25的功能。存储器102具有图1的图像存储器15的功能。

本发明不限于在本说明书中说明的例子及附图所示的例子，当然可以在不脱离本发明的主旨的范围内，进行各种设计变更或改良。

Claims (18)

1.一种图像处理装置，其特征在于，具备：

图像获取单元，其获取由多个视点图像组成的立体图像；

变焦值获取单元，其获取变焦值；

电子变焦单元，其基于通过所述变焦值获取单元获取的所述变焦值，对通过所述图像获取单元获取的所述立体图像通过图像处理进行变倍；

输出单元，其能够输出通过所述电子变焦单元变倍后的所述立体图像；

控制单元，其在通过所述变焦值获取单元获取的所述变焦值变化的期间，将所述变焦值的变化紧前或紧后的所述立体图像以通过所述电子变焦单元变倍后的立体静止图像向所述输出单元输出，在所述变焦值不变化的期间，将通过所述图像获取单元获取的所述立体图像以立体运动图像向所述输出单元输出。

2.如权利要求1所述的图像处理装置，其特征在于，所述控制单元使变倍后的所述静止图像的显示时间比所述变焦值的变动期间长。

3.如权利要求1或2所述的图像处理装置，其特征在于，所述控制单元将通过使所述变焦值逐步变化而逐步变倍后的立体静止图像通过所述输出单元输出。

4.如权利要求3所述的图像处理装置，其特征在于，所述控制单元通过图像的淡入及淡出进行所述立体静止图像的切换。

5.如权利要求1～4中任一项所述的图像处理装置，其特征在于，具备：

视差量计算单元，其在所述多个视点图像间计算各像素的视差量；

视差量修正单元，其根据通过所述视差量计算单元计算的所述视差量和通过所述变焦值获取单元获取的所述变焦值，修正通过所述图像获取单元获取的所述立体图像中至少局部的像素的视差量，

将通过所述视差量修正单元修正视差量后的所述立体静止图像通过所述输出单元输出。

6.如权利要求1～5中任一项所述的图像处理装置，其特征在于，所述视差量修正单元对所述多个视点图像进行改变与所述变焦值的每单位的变化量相对的所述视差量的变化量的修正。

7.如权利要求6所述的图像处理装置，其特征在于，所述视差量修正单元如下修正所述视差量，即，在修正前的所述立体图像中若所述变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量减少的情况下，在修正后的所述立体静止图像中若所述变焦值从广角侧向摄远侧变化，则同一被摄体距离的被摄体的视差量增加或一定。

8.如权利要求5～7中任一项所述的图像处理装置，其特征在于，所述视差量修正单元通过修正前的所述视差量乘以系数，且偏移相乘后的所述视差量，来修正所述视差量。

9.如权利要求8所述的图像处理装置，其特征在于，所述视差量修正单元以使所述视差量的偏移量从摄远端向广角端变大的方式修正所述视差量。

10.如权利要求5～9中任一项所述的图像处理装置，其特征在于，所述视差量修正单元以若所述变焦值从广角端向摄远端变化，则同一被摄体距离的被摄体的视差量非线性地增加的方式修正所述视差量。

11.如权利要求5～10中任一项所述的图像处理装置，其特征在于，所述视差量修正单元以使所述视差量在特定的上限值至特定的下限值的范围内的方式进行修正。

12.如权利要求5～11中任一项所述的图像处理装置，其特征在于，具备：

设定信息输入单元，其接收用于决定用于修正所述视差量的视差量修正值的设定信息的输入；

视差量修正值计算单元，其基于通过所述设定信息输入单元输入的所述设定信息计算所述视差量修正值。

13.如权利要求12所述的图像处理装置，其特征在于，所述设定信息是所述立体图像的显示尺寸。

14.如权利要求5～11中任一项所述的图像处理装置，其特征在于，具备：视差量修正值计算单元，其将所述变焦值设定在摄远端或广角端，基于正在对焦的像素的视差量，计算所述视差量的修正值。

15.如权利要求12所述的图像处理装置，其特征在于，所述设定信息包括最近被摄体的被摄体距离信息、及最远被摄体的被摄体距离信息中至少一个。

16.如权利要求5～11中任一项所述的图像处理装置，其特征在于，具备：

变焦效果设定信息输入单元，其接收用于决定与所述变焦值的每单位的变化量相对的所述视差量的变化量的变焦效果设定信息的输入；

视差量修正值计算单元，其基于通过所述设定信息输入单元输入的所述变焦效果设定信息计算所述视差量修正值。

17.一种拍摄装置，具备如权利要求1～16中任一项所述的图像处理装置，其特征在于，所述图像获取单元包括含有变焦透镜的拍摄透镜、及拍摄通过所述拍摄透镜成像的被摄体像的拍摄元件而构成。

18.一种图像处理方法，该方法使用：图像获取单元，其获取由多个视点图像组成的立体图像；变焦值获取单元，其获取变焦值；电子变焦单元，其基于通过所述变焦值获取单元获取的所述变焦值，对通过所述图像获取单元获取的所述立体图像通过图像处理进行变倍；输出单元，其输出所述立体图像；其特征在于，

在通过所述变焦值获取单元获取的所述变焦值变化的期间，将所述变焦值的变化紧前或紧后的所述立体图像以通过所述电子变焦单元变倍后的立体静止图像向所述输出单元输出，在所述变焦值不变化的期间，将通过所述图像获取单元获取的所述立体图像以立体运动图像向所述输出单元输出。

Images