CN102959968A - 图像处理装置、摄像装置及图像处理方法 - Google Patents

Abstract

消除变焦期间的视觉上的不适感，以避免使观察者产生疲劳。图像处理装置具有：摄像单元（14），取得由多个视点图像构成的立体图像；操作部（16），取得变焦值；视差量计算部（18），在多个视点图像之间计算出各像素的视差量；及视差量校正部（20），对应通过视差量计算部（18）计算出的各像素的视差量和变焦值，校正立体图像的各像素的视差量。

Description

图像处理装置、摄像装置及图像处理方法

技术领域

本发明涉及一种进行由多个视点图像构成的立体图像的变倍的图像处理装置、摄像装置及图像处理方法。

背景技术

以往，进行由多个视点图像构成的立体图像的变倍（变焦）。

专利文献1中记载了：随着变焦使左眼图像及右眼图像的中心对准；以及随着变焦控制左眼图像及右眼图像的偏移量，使立体图像的进深方向可变。

专利文献2记载了以下构成：对应立体图像的电子变焦来控制各视点图像（左眼图像及右眼图像）的剪切位置和图像水平相位（偏移量），使最大视差量及大小视差量处于设定范围内，调整（主要是固定）立体图像的进深方向。

现有技术文献

专利文献

专利文献1：日本特开2003－52058号公报

专利文献2：日本特开平8－317429号公报

发明内容

发明要解决的问题

以往，在进行立体摄像时，例如以将对焦后的主被拍摄体作为各视点图像（左眼图像及右眼图像）的中心、且使该主被拍摄体的视差量最小的方式设定收敛，进行拍摄。

但是，在该状态下从广角侧向长焦侧进行变焦时，更靠近比主被拍摄体靠前的被拍摄体，产生远处的被拍摄体进一步远离的被拍摄体移动，视觉上存在极度不适感，因此会增加疲劳感。

进而会变为视差过大、视差开散等无法立体融合的图像，安全性堪忧。

专利文献1、2中对变焦过程中的图像处理都没有任何记载。

本发明鉴于这一情况而提出，其目的在于提供一种图像处理装置、摄像装置及图像处理方法，能够消除变焦期间的视觉上的不适感，以避免使观察者产生疲劳。

为实现上述目的，本发明提供一种图像处理装置，其特征在于，具有：图像取得单元，取得由多个视点图像构成的立体图像；变焦值取得单元，取得变焦值；视差量计算单元，在多个视点图像之间计算各像素的视差量；及视差量校正单元，对应通过视差量计算单元计算出的各像素的视差量和通过变焦值取得单元取得的变焦值，校正通过图像取得单元取得的立体图像中的至少一部分像素的视差量。

即，在多个视点图像之间计算各像素的视差量，对应计算出的各像素的视差量和变焦值，校正立体图像的各像素的视差量，因此可将变焦过程中的被拍摄体图像的位置移动校正为自然的移动，从而可消除视觉上的不适感，避免使观察者产生疲劳。

在本发明的一个实施方式中优选：视差量校正单元对多个视点图像进行校正，以变更视差量相对于变焦值的单位变化量的变化量。

在本发明的一个实施方式中优选：校正前的立体图像中若变焦值从广角侧向长焦侧变化则相同被拍摄体距离的被拍摄体的视差量减小时，视差量校正单元校正视差量，使得校正后的立体静止图像中若变焦值从广角侧向长焦侧变化，则相同被拍摄体距离的被拍摄体的视差量增加或保持恒定。

即，变焦值从广角侧向长焦侧变化时，相同被拍摄体距离的视差量增加或保持恒定，因此可获得强调变焦的效果。

在本发明的一个实施方式中优选：视差量校正单元通过使校正前的视差量乘以系数、且使乘以系数后的视差量偏移，来校正视差量。

在本发明的一个实施方式中优选：视差量校正单元校正视差量，以使视差量的偏移量在从长焦端到广角端的范围内变大。

在本发明的一个实施方式中优选：视差量校正单元校正视差量，以使变焦值在从广角端到长焦端的范围内变化时相同被拍摄体距离的被拍摄体的视差量呈非线性增加。

即，能够使立体图像中的被拍摄体图像的移动情况看起来显得相对于变焦操作进一步加速，因此可进一步强调变焦。

在本发明的一个实施方式中优选：视差量校正单元进行校正，以使视差量处于特定的上限值至特定的下限值的范围内。

即，可防止视差过大及视差开散，并且可增大视差量相对于变焦值的变化量的变化量的斜率，可抑制观察者眼睛疲劳的同时，强调变焦。

在本发明的一个实施方式中优选具有：设定信息输入单元，接受用于确定视差量的校正中使用的视差量校正值的设定信息的输入；和视差量校正值计算单元，根据通过设定信息输入单元输入的设定信息，计算视差量校正值。

即，通过设定信息的输入，可进行符合该设定信息的视差量校正，可最大限度地活用变焦效果。

在本发明的一个实施方式中优选：设定信息是立体图像的显示尺寸。

在本发明的一个实施方式中优选：具有视差量校正值计算单元，该视差量校正值计算单元根据将变焦值设定在长焦端或广角端而对焦的像素的视差量来计算视差量的校正值。

在本发明的一个实施方式中优选：上述设定信息包括最近被拍摄体的被拍摄体距离信息及最远被拍摄体的被拍摄体距离信息中的至少一个被拍摄体距离信息。此外，此处所称的“最近被拍摄体的被拍摄体距离”是指，以图像取得单元为基点，到与图像取得单元最近的被拍摄体的距离；“最远被拍摄体的被拍摄体距离”是指，以图像取得单元为基点，到与图像取得单元最远的被拍摄体的距离。

在本发明的一个实施方式中优选具有：变焦效果设定信息输入单元，接受用于确定视差量相对于变焦值的单位变化量的变化量的变焦效果设定信息的输入；和视差量校正值计算单元，根据通过设定信息输入单元输入的变焦效果设定信息，来计算视差量校正值。

并且，本发明提供一种具有图像处理装置的摄像装置，优选：图像取得单元包括：含有变焦镜头的摄像镜头；及对通过摄像镜头成像的被拍摄体图像进行拍摄的摄像元件；变焦值取得单元取得变焦镜头的变焦值。

并且，本发明提供一种图像处理方法，使用：取得由多个视点图像构成的立体图像的图像取得单元；取得变焦值的变焦值取得单元；及输出立体图像的输出单元；其特征在于，包括如下步骤：视差量计算步骤，在多个视点图像之间计算各像素的视差量；和视差量校正步骤，对应通过视差量计算单元计算出的各像素的视差量和通过变焦值取得单元取得的变焦值，校正通过图像取得单元取得的立体图像中的至少一部分像素的视差量。

发明效果

根据本发明，可消除变焦期间的视觉上的不适感，避免使观察者产生疲劳。

附图说明

图1是表示本发明涉及的摄像装置的构成示例的框图。

图2是表示动画拍摄时实时进行的图像处理的一例的流程的流程图。

图3是表示动画拍摄后进行的图像处理的一例的流程的流程图。

图4是用于说明静止图像的电子变焦的说明图。

图5是用于说明静止图像的渐变显示的说明图。

图6是表示视差校正前的变焦值和视差量的对应关系的图。

图7是表示视差校正后的变焦值和视差量的对应关系的图。

图8是表示视差校正前、视差压缩后、偏移后及视差校正后的左眼图像及右眼图像的图。

图9是表示规定了变焦值和校正前视差量及校正后视差量的对应关系的表格数据的一例的图。

图10是表示视差校正后的图像形成的立体图像显示的情况的示意图。

图11是表示非线性地进行视差校正后的图像的变焦值和视差量的对应关系的图。

图12是表示监视器的显示尺寸和像素的对应关系的图。

图13是表示第2实施方式中的视差校正后的视点图像的变焦值和视差量的对应关系的图。

图14是表示第2实施方式中的图像处理的一例的流程的主要部分流程图。

图15是表示第2实施方式中的图像处理的其他例子的流程的主要部分流程图。

图16是示意地表示变焦过程中的被拍摄体的立体图像的状态的示意图。

图17是表示第3实施方式中的视差校正后的视点图像的变焦值和视差量的对应关系的图。

图18是表示用户设定处理的一例的流程的流程图。

图19是表示动画拍摄时实时进行的图像处理的其他例子的流程的流程图。

图20是表示动画拍摄后进行的图像处理的其他例子的流程的流程图。

图21是表示适用了本发明的计算机装置的硬件构成的框图。

具体实施方式

以下根据附图详细说明本发明的实施方式。

（第1实施方式）

图1是表示本发明涉及的摄像装置的构成示例的框图。

摄像装置10的构成包括：摄像镜头11L、11R、摄像传感器12L、12R、信号处理部13、图像存储器15、操作部16、电子变焦处理部17、视差量计算部18、视差量校正值计算部19、视差量校正部20、监视器21、记录介质接口22、记录介质23、外部输出设备24、控制部25、电源部26及电池27。

摄像镜头11L、11R由将被拍摄体图像成像在摄像传感器12L、12R的受光面上的光学系统构成。本例中的摄像镜头11L、11R包括聚焦镜头、变焦镜头及光圈装置而成。

摄像传感器12L、12R分别对通过摄像镜头11L、11R成像的被拍摄体图像进行拍摄。摄像传感器12L、12R例如由CCD摄像传感器、CMOS摄像传感器等构成。

信号处理部13对从摄像传感器12L、12R输出的立体图像（左眼图像及右眼图像）进行AE处理、AF处理等各种信号处理。

在本例的摄像装置10中，由摄像镜头11L、11R、摄像传感器12L、12R及信号处理部13构成摄像单元14（图像取得单元），该摄像单元14取得由多个视点图像构成的立体图像。

图像传感器15是逐帧地暂时存储从信号处理部13输出的立体图像的存储器（例如RAM）。

操作部16是接受用户的输入操作的输入设备（例如按键开关）。

在本例的摄像装置10中，由操作部16构成取得任意变化的变焦值的变焦值取得单元。

电子变焦处理部17根据通过操作部16取得的变焦值，通过图像处理使立体图像（左眼图像及右眼图像）变倍。

视差量计算部18在多个视点图像（左眼图像及右眼图像）之间计算各像素的视差量。

对应通过视差量计算部18计算出的视差量和通过操作部16取得的变焦值，视差量校正值计算部19计算出用于校正立体图像（左眼图像及右眼图像）的各像素的视差量的视差量校正值。

视差量校正部20根据通过视差量校正值计算部19计算出的视差量校正值，校正立体图像（左眼图像及右眼图像）的各像素的视差量。即，对应通过视差量计算部18计算出的视差量和通过操作部16取得的变焦值，校正立体图像的各像素的视差量。通过该视差量的校正来变更视差量相对于变焦值的单位变化量的变化量。具体而言，若校正前的立体图像中变焦值从广角侧向长焦侧变化则相同被拍摄体距离的被拍摄体的视差量减小时，视差量校正部20校正视差量，使得：若校正后的立体图像中变焦值从广角侧向长焦侧变化，则相同被拍摄体距离的被拍摄体的视差量增加或保持恒定。此外，视差量校正不限于在立体图像的全部区域进行，也可以校正立体图像中的至少一部分。

监视器21、记录介质接口22及外部输出设备24输出立体图像。

监视器21是可立体显示立体图像的显示设备。

记录介质接口22是外部输出设备24的一例，在存储卡等记录介质23中记录立体图像。

外部输出设备24例如由通过通信输出（发送）立体图像的通信接口等构成。

控制部25控制摄像装置10的各部分。本例的控制部25在通过操作部16取得的变焦值发生变化的期间，使变焦值的即将变化之前或刚变化之后的1帧立体图像通过电子变焦处理部17进行变倍，使变倍后的1帧静止图像（立体静止图像）通过外部输出设备24进行静止图像输出，在变焦值未变化的期间，使立体图像通过外部输出设备24进行动画输出。

并且，控制部25使变倍后的静止图像的显示时间长于变焦值的变动期间。

并且，通过监视器21等输出单元，控制部25输出通过阶段性增加变焦值而阶段性变倍后的立体静止图像。

并且，控制部25通过渐显及渐隐进行变倍后的多个静止图像的切换。

电源部26从电池27对摄像装置10的各部分进行供电。

图2是表示拍摄动画时实时进行的图像处理的一例的流程的流程图。本处理通过控制部25根据程序来进行。

判断有无通过操作部16进行的变焦操作（步骤S2），当无变焦操作时，通过摄像单元14以1帧周期取得立体图像（左眼图像及右眼图像）并保存到图像存储器15（步骤S4），从操作部16取得变焦值（步骤S6）。变焦值从广角端到长焦端之间任意变化。之后的处理也逐帧进行。

当有变焦操作时，将变焦操作时（变焦值变化前）的1帧立体图像（左眼图像及右眼图像）保存到电子变焦用的存储器（步骤S8），从操作部16取得变焦值（步骤S10），对应所取得的变焦值，将保存在图像存储器15中的立体图像通过电子变焦处理部17进行变倍（放大或缩小）（步骤S12）。电子变焦用的存储器可内置于电子变焦处理部17，也可将图像存储器15分为实时的立体图像的存储器和电子变焦用的存储器来使用。

接着，通过视差量计算部18在左眼图像和右眼图像之间进行基于立体匹配的对应点检测，计算出像素单位的视差量Px（步骤S14）。

并且，通过视差量校正值计算部19，对应通过视差量计算部18计算出的立体图像的各像素的视差量和通过操作部16取得的变焦值，计算出校正立体图像的各像素的视差量的校正值（步骤S16）。

接着，通过视差量校正部20，根据校正值进行左眼图像及右眼图像的再构（步骤S18）。此处，对应通过视差量计算部18计算出的各像素的视差量和通过操作部16取得的变焦值，校正各像素的视差量。通过该视差量的校正来变更立体图像的视差量相对于变焦值的单位变化量的变化量。即，变更变焦值的变化量和视差量的变化量的对应关系。具体而言，校正前的立体图像中若变焦值从广角侧向长焦侧变化则相同被拍摄体距离的被拍摄体的视差量减小时，校正视差量，使得：校正后的立体图像中若变焦值从广角侧向长焦侧变化，则相同被拍摄体距离的被拍摄体的视差量增加（或不变）。

接着，通过记录介质接口22，将再构的立体图像记录到记录介质23。也可通过监视器21及外部输出设备24输出立体图像。

接着判断是否继续进行变焦操作（步骤S22），当继续进行变焦操作时，返回到步骤S10。

并且，判断是拍摄完毕还是继续拍摄（步骤S24），当继续拍摄时，返回到步骤S2。

在该处理中，在取得的变焦值发生变化的期间，将变焦值的即将变化之前或刚刚变化之后的1帧立体图像（立体静止图像）通过电子变焦处理部17进行变倍，输出到监视器21；在取得的变焦值未发生变化的期间，将多帧立体图像（立体动画图像）输出到监视器21。

图3是表示拍摄动画后进行图像处理时的图像处理的一例的流程的流程图。

步骤S32、S34分别和图2的步骤S4、S6相同。

在步骤S36中，通过记录介质接口22，将由左眼图像及右眼图像构成的立体图像逐帧地记录到记录介质23。此处，记录介质接口22逐帧地向立体图像附加变焦值信息，并记录到记录介质23。

在步骤S38中，判断是拍摄完毕还是继续拍摄，当继续拍摄时，返回到步骤S32及S34。

动画拍摄完毕后，在步骤S40中，通过记录介质接口22，从记录介质逐帧地读出立体图像（左眼图像及右眼图像）及变焦值信息。

在步骤S40中，通过记录介质接口22，从记录介质23读出1帧立体图像和变焦值信息。

在步骤S42中判断变焦值有无变化。

当变焦值变化时，在步骤S44中，通过电子变焦处理部17使图像存储器15内的立体图像进行变倍（放大或缩小）。

当变焦值没有变化时，在步骤S46中，从记录介质23读出下一帧的立体图像（左眼图像及右眼图像），并保存到图像存储器15。

步骤S48、S50、S52、S54分别和图2的S 14、S 16、S 18相同。

在步骤S56中，判断是否完成了所有帧处理，当未完成所有帧时，关注下一帧，从图像存储器15读出变焦值（S58），返回到步骤S40。当完成了所有帧处理时，结束本处理。

如图4所示，控制部25将变焦值变化过程中的期间分割为多个期间，并且将变焦值的变化量切换为阶段性的变化而非连续的变化，从而进行依次显示及记录在变焦值变化过程中的期间内阶段性变倍后的多个静止图像的控制。

并且，控制部25使变倍后的多个静止图像的总显示时间比变焦值的变动期间长。

并且，如图5所示，控制部25通过渐显及渐隐对监视器21中的多个静止图像之间的显示进行切换。即，进行以下控制：渐隐显示一个静止图像的同时，渐显显示另一个静止图像。

图6表示视差校正前的视点图像（左眼图像、右眼图像）中的变焦值和视差量的对应关系（称为“视差分布”）。横轴是变焦值，纵轴是视差量。即，表示视差量相对于变焦值的变化的变化（视差分布）。

在图6中，纵轴的中心是收敛点的视差（＝0），在该摄像装置中，将收敛点的距离设定为2.0m。在该视差分布中，纵轴中心的上侧表示距离比收敛点近的被拍摄体的视差，纵轴中心的下侧表示距离比收敛点远的被拍摄体的视差。视差分布的上边表示被拍摄体距离为0.5m（MOD）时的视差变化，下边表示无限远距离时的视差变化。

在图6中，视差变得最大的条件是被拍摄体距离为0.5m的变焦T端，将该条件下的视差量设为Pmax。在该条件下，成为立体图像从监视器最大程度地跃出的状态，成为难以进行立体视觉融合的过大视差的可能性很大。另一方面，视差变得最小的条件是无限远距离的变焦W端，将该条件下的视差量设为Pmin。在该条件下，立体图像成为处于监视器的最深处的状态，监视器上的立体图像的偏移量超过人的双眼宽度（开散）的可能性较高。因此，需要通过视差校正来设定视差量的上限及下限。

在图6中，被拍摄体距离为2m的被拍摄体不取决于变焦值的变化，视差为零，没有视差量的变化。被拍摄体距离大于（远于）2m的被拍摄体使变焦值从W侧向T侧变化时，视差量变小。即，是被拍摄体图像变大的同时、进入监视器面深处的极不自然的视觉效果，因此会增加进行立体观察的观察者的眼部疲劳。

图7表示由视差量校正部20进行视差校正后的视点图像中的变焦值和视差量的对应关系（视差分布）。通过视差量校正部20进行校正，将最大视差量从校正前的Pmax校正为Ptn，将最小视差量从Pmin校正为Pwf，将相对于各变焦值的视差量校正到Ptn和Pwf之间。此外，也可是Ptf＝Pwf。

为了将图6所示的视差分布变更（校正）为图7所示的视差分布，视差量校正值计算部19计算出与视差量相乘的系数k和视差量的偏移量S。视差量校正部20通过将各像素的视差量乘以系数k而将各变焦值中的视差分布宽度压缩为k倍。具体而言，在校正前视差量最大值Pmax>Ptn的情况下，确定k、且设为0<k<1，使得校正后Pmax≤Ptn。此外，在校正前视差量最大值Pmax≤Ptn的情况下，也可是k≥1。

接着，为使最大视差量Pmax变为Ptn，视差量校正部20将各像素的视差量减去S1并使之偏移。对应各变焦值来乘以该系数和偏移。

并且，为获得自然的变焦效果，视差量校正部20使视差量的偏移量随着变焦值从T端向W端变化而增加，作为其结果，Ptf≥Pwf、Ptn>Pwn。即，使最小视差量为Pwf。

图8A表示视差校正前的T端的左眼图像90L及右眼图像90R，图8B表示视差压缩（乘以系数）后的T端的左眼图像中的被拍摄体图像90L及右眼图像中的被拍摄体图像90R。图8C表示偏移后的T端的左眼图像中的被拍摄体图像90L及右眼图像中的被拍摄体图像90R。图8D表示视差校正后的W端的左眼图像中的被拍摄体图像90L及右眼图像中的被拍摄体图像90R。此外，图8A~图8D中，图示了四方形的被拍摄体图像，但是实际上没有限定被拍摄体的形状。

在图8A中是过大视差及开散视差，因此通过执行图8B所示的将视差量乘以系数k1而进行的视差压缩及图8C所示的视差量偏移S1，变焦后的立体图像的视差量在视差极限内。

此外，乘法运算和减法运算的处理顺序哪个在先均可。并且，如果提前确定如图7所示地进行校正，则如图9所示那样将变焦值和校正前视差量及校正后视差量的对应关系提前作为表格数据进行存储，在视差校正时通过使用该表格数据进行视差校正，可缩短处理时间。即，可将图1的视差量校正值计算部19替换为图8的表格数据。

图10是表示将视差校正后的立体图像显示在监视器21时的立体图像的示意图。

使变焦值从广角W侧向长焦T侧变化时，视差量以视点位置靠近被拍摄体的方式（或者被拍摄体靠近视点位置的方式）进行变化，因此可改善变焦造成的不自然感。

图11是使Ptf－Pwf、Ptn－Pwn的线为非线性的情况，越靠近T（长焦）端，视差量相对于变焦值的变化量的变化量越大。即，越靠近T端，被拍摄体的进深方向上的移动量越大。这样一来，被拍摄体的移动情况更接近实际情况。

可根据用户设定值来确定视差量校正中使用的校正值。例如，通过操作部16接受输出立体图像的监视器21（立体视觉显示设备）的尺寸（显示画面尺寸）的输入或选择。这是为了根据显示画面尺寸确定视差开散的极限值。

图12表示分辨率1920×1080点的监视器中的显示尺寸和像素的对应关系。

并且，也可通过操作部16设置接受各用户的双眼间隔的输入或选择的单元。作为立体图像的观察者，当以儿童为对象时，双眼间隔约为5cm，将监视器尺寸的与5cm相当的像素数设为视差量下限值Pwf。

视差量上限值Ptn例如以监视器的画面高度3倍的距离处的视听为前提时，设定为约57像素。该Ptn根据立体视觉融合的允许范围而定，因此存在个人差异。因此，优选可通过用户设定进行变更。

根据本实施方式，可改善变焦可变时观察者的不适感，抑制立体视觉的疲劳。优选通过对应变焦值的从广角端到长焦端的变化进行视差量校正，降低过大视差及开散状态。

（第2实施方式）

接着说明第2实施方式。在第2实施方式中，通过增大视差量相对于变焦值的变化量的变化量来强调变焦效果的同时，防止视差过大、视差开散。

图13表示第2实施方式的视差量校正部20进行视差校正后的视点图像中的变焦值和视差量的对应关系（视差分布）。

为强调变焦，优选进一步增大Ptf－Pwf、Ptn－Pwn的各条线的斜率，从而增大视差量相对于变焦值的变化量的变化量。即，对应变焦值的变化量，增大被拍摄体的立体图像的进深方向上的移动量，可强调变焦效果。

这种情况下，在长焦（T）侧、广角（W）侧，如图13中的虚线21、22所示，校正后的视差量超过视差量上限值Ptn或小于视差量下限值Pwf的可能性变大。

因此，视差量校正部20对校正量进行校正，以使校正后的视差量处于视差量上限值Ptn至视差量下限值Pwf的范围内。例如，通过操作部16取得的变焦值小于Z1、且校正前的视差量超过Ptn时，将校正后的视差量固定为Ptn。并且，例如通过操作部16取得的变焦值大于特定的变焦值Z8、且校正前的视差量小于Pwf时，将校正后的视差量固定为Pwf。

图14是表示本实施方式中的图像处理的流程的主要部分的流程图。

此外，如图2所示地和第1实施方式相同地进行步骤S2~S18。在步骤S 18中，虽然是通过视差量校正部20来根据校正值进行视差量的计算（一次校正），但却是和图2的步骤S 18相同的处理。

在步骤S19a中，判断变焦值是否小于Z1；当小于Z1时，在步骤S19b中，检索超过视差量上限值Ptn的视差量的像素，将该像素的视差量全部设定为Ptn。并且，在步骤S19c中，判断变焦值是否超过Z8；当超过Z8时，在步骤S19d中，检索小于视差量下限值Pwf的视差量的像素，将该像素的视差量全部设定为Pwf。即，在步骤S19a~S19d中，将步骤S18的刚校正之后的视差图内的视差量中、从Ptn至Pwf的范围脱离的视差量设定为Ptn或Pwf。

在步骤S19e中，通过视差量校正部20，根据二次校正值进行左眼图像及右眼图像的再构（二次校正）。

步骤S20之后和图2所示的步骤S20之后相同。

该处理如图15的流程图所示，与变焦值无关，可在所有变焦区域内进行。即，步骤S18之后，按照图14所示的步骤S19b、S19d、S19e的顺序执行。

图16A、图16B及图16C示意地表示使变焦值在长焦方向上变化时、视差量超过Ptn时的被拍摄体的立体图像的状态。在图16C中，当视差量超过Ptn时，被拍摄体图像显示为平面状。并且，图16B中，随着变焦值变大，被拍摄体图像逐渐变为平面状（即被拍摄体图像的前端和后端的距离差被逐渐压缩）。

在图13所示的表示变焦值和视差量的对应关系的图表中，Ptn－Pwn、Ptf－Pwf等相同被拍摄体距离的线的斜率，可作为变焦感的强调级别来接受用户的设定输入操作，并且可变。

此时，对应用户设定的强调级别，随着强调级别增大，相同被拍摄体距离的线（Ptn－Pwn、Ptf－Pwf等）的斜率增大。随着该斜率增大，带标号的Ptf的值增大，带标号的Pwn的值减小。此外，Ptf≥Pwf、Ptn>Pwn。

根据本实施方式，能够在强调变焦效果的同时，防止视差过大、视差开散。

（第3实施方式）

在实际的拍摄中，存在被拍摄体距离范围较小的情况。例如，在室内拍摄时，不存在无限远的被拍摄体，并且在越过围栏、网等的拍摄中，即使是最近距离也处于比MOD（最短对焦距离）远的范围。此时，校正后的视差量的分布处于例如图17的虚线31和虚线32之间的范围内。此时，从实际的视差分布中的最大值Pa及最小值Pb距极限值（Ptn及Pwf）存在富余量，因此可将该富余量分配到用于变焦效果的强调。

具体而言，以最大值Pa成为上限值Ptn、最小值Pb成为下限值Pwf的方式调整视差校正偏移量S1、S2即可。其结果是，视差校正后，视差分布从虚线31和虚线32之间的范围变更到实线33和实线34之间的范围，表示相同被拍摄体距离下的变焦值和视差量的对应关系的线的斜率变大。

在本实施方式中，通过操作部16接受用于确定视差量校正中使用的视差校正值的设定信息的输入。视差量校正值计算部19根据所输入的设定信息计算视差量校正值。

设定信息例如是监视器21的显示尺寸（监视器尺寸）。

设定信息例如可以是最近被拍摄体的被拍摄体距离信息及最远被拍摄体的被拍摄体距离信息中的至少一方。

并且也可是：通过控制部25的控制将变焦值设定为长焦端或广角端，通过视差量校正值计算部19根据对焦的像素的视差量计算视差量校正值。

并且也可是：通过操作部16，接受用于确定视差量相对于变焦值的变化量的变化量的变焦效果设定信息的输入；通过视差量校正值计算部19，根据所输入的变焦效果设定信息计算视差量校正值。

图18是表示用户设定处理的一例的流程的流程图。

在图18中，当变为用户设定模式时，首先将摄像镜头11L、11R的变焦值（变焦位置）移动（设定）到T端（步骤S71），对用户通过监视器21进行引导，以将作为拍摄对象的被拍摄体中被拍摄体距离最近的被拍摄体加入到AF区域内，通过操作部16接受图像读入指示操作（步骤S72）。当接受图像读入指示时，优先近距离范围，从最近距离一侧寻找对焦位置（步骤S73）。即，对焦到作为拍摄对象的被拍摄体中最近的被拍摄体。接着，读入左眼图像及右眼图像（步骤S74），在AF区域内检测锐度高于预先设定的阈值的像素（步骤S75），计算这些像素的视差量，确定视差量最大值Pa，计算从该视差量最大值Pa到Ptn的偏移量（Ptn－Pa）（步骤S76）。

接着，将摄像镜头11L、11R的变焦值（变焦位置）移动（设定）到W端（步骤S81），通过监视器21对用户进行引导，以将作为拍摄对象的被拍摄体中被拍摄体距最远离的被拍摄体加入到AF区域内，通过操作部16接受图像读入指示操作（步骤S82）。当接受图像读入指示时，优选远距离范围，从最远距离寻找对焦位置（步骤S83）。即，对焦到作为拍摄对象的被拍摄体中最远的被拍摄体。接着，读入左眼图像及右眼图像（步骤S84），在AF区域内，检测锐度高于提前设定的阈值的像素（步骤S85），计算这些像素的视差量，确定视差量最小值Pb，计算从该视差量最小值Pb到Pwf的偏移量（Pb－Pwf）（步骤S86）。

此外，求算视差量时进行立体匹配，因此锐度高的图像的匹配精度提高，视差量的精度也提高。

在上述设定方法中，在长焦端及广角端均计算出视差量的偏移量，但本发明不限于此，也可在长焦端或广角端计算出视差量的偏移量。

并且也可是：通过操作部16，从用户接受最近被拍摄体的被拍摄体距离信息（最小被拍摄体距离）及最远被拍摄体的被拍摄体距离信息（最大被拍摄体距离）的直接输入操作（或者选择输入操作）。

也可是：通过操作部16，接受用于确定视差量相对于变焦值的变化量的变化量的变焦效果设定信息的输入；通过视差量校正值计算部19，根据输入的变焦效果设定信息计算视差量校正值。

以上以在变焦过程中进行静止图像显示的情况为例进行了说明，但本发明不特别限于该情况。也可将本发明适用于在变焦过程中进行动画显示的情况。

图19是表示拍摄动画时实时进行的图像处理的一例的流程的流程图。本处理通过控制部25并根据程序来进行。此外，对和图2所示的步骤相同的步骤标以相同的标号，此处仅说明不同点。

在本例中，当通过操作部16使变焦值变化并接受指示操作时，控制部25通过省略图示的镜头驱动部来驱动摄像镜头11L、11R的变焦镜头。在图19中省略了该控制。

图19的步骤S4、S6、S14、S16、S18、S20分别是和图2的相同标号的步骤相同的处理。总之，通过视差量计算部18在多个视点图像之间计算各像素的视差量（步骤S14），通过视差量校正部20，对应各像素的视差量和变焦值来校正立体图像的各像素的视差量（步骤S18）。

图20是表示动画拍摄后进行的图像处理的一例的流程的流程图。本处理通过控制部25并根据程序来进行。此外，对和图3所示的步骤相同的步骤标以相同的标号，此处仅说明不同点。

图20的步骤S32~S40及S48~S58是和图3的相同标号的步骤相同的处理。总之，通过视差量计算部18在多个视点图像之间计算各像素的视差量（步骤S48），通过视差量校正部20，对应各像素的视差量和变焦值来校正立体图像的各像素的视差量（步骤S52）。

此外，以将本发明应用于摄像装置的情况为例进行了说明，但本发明不特别限于此。例如也可将本发明应用于图21所示的计算机装置100。在图21中，对图1所示的构成要素标注了相同的标号。

图21所示的个人计算机装置100包括：操作部16、立体显示部21（监视器）、记录介质接口22、存储器102及微处理器103。微处理器103具有图1的电子变焦处理部17、视差量计算部18、视差量校正值计算部19、视差量校正部20及控制部25的功能。存储器102具有图1的图像存储器15的功能。

本发明不限于本说明书中说明的例子或附图所图示的例子，在不脱离本发明主旨的范围内，当然可进行各种设计变更或改良。

标号说明

11L、11R 摄像镜头

12L、12R 摄像传感器

13 信号处理部

15 图像存储器

16 操作部

17 电子变焦处理部

18 视差量计算部

19 视差量校正值计算部

20 视差量校正部

21 监视器（显示单元）

22 记录介质接口

23 记录介质

25 控制部

Claims (15)

1.一种图像处理装置，其特征在于，具有：

图像取得单元，取得由多个视点图像构成的立体图像；

变焦值取得单元，取得变焦值；

视差量计算单元，在上述多个视点图像之间计算各像素的视差量；及

视差量校正单元，对应通过上述视差量计算单元计算出的各像素的上述视差量和通过上述变焦值取得单元取得的上述变焦值，校正通过上述图像取得单元取得的上述立体图像中的至少一部分像素的视差量。

2.根据权利要求1所述的图像处理装置，其特征在于，上述视差量校正单元对上述多个视点图像进行校正，以变更上述视差量相对于上述变焦值的单位变化量的变化量。

3.根据权利要求2所述的图像处理装置，其特征在于，校正前的上述立体图像中若上述变焦值从广角侧向长焦侧变化则相同被拍摄体距离的被拍摄体的视差量减小时，上述视差量校正单元校正上述视差量，使得校正后的上述立体静止图像中若上述变焦值从广角侧向长焦侧变化，则相同被拍摄体距离的被拍摄体的视差量增加或保持恒定。

4.根据权利要求1至3中任一项所述的图像处理装置，其特征在于，上述视差量校正单元通过使校正前的上述视差量乘以系数、且使乘以系数后的上述视差量偏移，来校正上述视差量。

5.根据权利要求4所述的图像处理装置，其特征在于，上述视差量校正单元校正上述视差量，以使上述视差量的偏移量在从长焦端到广角端的范围内变大。

6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，上述视差量校正单元校正上述视差量，以使上述变焦值在从广角端到长焦端的范围内变化时相同被拍摄体距离的被拍摄体的视差量呈非线性增加。

7.根据权利要求1至6中任一项所述的图像处理装置，其特征在于，上述视差量校正单元进行校正，以使上述视差量处于特定的上限值至特定的下限值的范围内。

8.根据权利要求1至7中任一项所述的图像处理装置，其特征在于，具有：

设定信息输入单元，接受用于确定上述视差量的校正中使用的视差量校正值的设定信息的输入；和

视差量校正值计算单元，根据通过上述设定信息输入单元输入的上述设定信息，计算上述视差量校正值。

9.根据权利要求8所述的图像处理装置，其特征在于，上述设定信息是上述立体图像的显示尺寸。

10.根据权利要求1至7中任一项所述的图像处理装置，其特征在于，具有视差量校正值计算单元，上述视差量校正值计算单元根据将上述变焦值设定在长焦端或广角端而对焦的像素的视差量来计算上述视差量的校正值。

11.根据权利要求8所述的图像处理装置，其特征在于，上述设定信息包括最近被拍摄体的被拍摄体距离信息及最远被拍摄体的被拍摄体距离信息中的至少一个被拍摄体距离信息。

12.根据权利要求1至11中任一项所述的图像处理装置，其特征在于，具有：

变焦效果设定信息输入单元，接受用于确定上述视差量相对于上述变焦值的单位变化量的变化量的变焦效果设定信息的输入；和

视差量校正值计算单元，根据通过上述设定信息输入单元输入的上述变焦效果设定信息，来计算上述视差量校正值。

13.根据权利要求1至12中任一项所述的图像处理装置，其特征在于，

具有通过图像处理进行电子变焦的电子变焦处理单元，

上述变焦值取得单元取得上述电子变焦的变焦值。

14.一种摄像装置，具有权利要求1至13中任一项所述的图像处理装置，其特征在于，

上述图像取得单元包括：含有变焦镜头的摄像镜头；及对通过上述摄像镜头成像的被拍摄体图像进行拍摄的摄像元件；

上述变焦值取得单元取得上述变焦镜头的变焦值。

15.一种图像处理方法，使用：取得由多个视点图像构成的立体图像的图像取得单元；取得变焦值的变焦值取得单元；及输出上述立体图像的输出单元；其特征在于，包括如下步骤：

视差量计算步骤，在上述多个视点图像之间计算各像素的视差量；和

视差量校正步骤，对应通过上述视差量计算单元计算出的各像素的上述视差量和通过上述变焦值取得单元取得的上述变焦值，校正通过上述图像取得单元取得的上述立体图像中的至少一部分像素的视差量。

Images