CN103004216B - 图像处理设备、成像设备、再现设备和图像处理方法 - Google Patents

Abstract

按照本发明的一个实施例的图像处理方法，包括：视差量计算步骤，计算构成多视点图像的多个视点图像的各个像素的视差量；和视差量校正步骤，以如下方式来校正每个所述像素的视差量：使得即使多视点图像的变焦值改变了，与被摄体距离相应的视差量之间的差也保持不变，所述校正是在通过图像处理校正多视点图像中的至少一部分像素的视差量的时候，基于多视点图像的变焦值和计算出来的各个像素的视差量而执行的。

Description

图像处理设备、成像设备、再现设备和图像处理方法

技术领域

本发明涉及一种对由多个视点图像构成的多视点图像进行变倍的图像处理设备、成像设备、再现设备和图像处理方法，并且尤其涉及一种使变焦时的立体视觉目标追踪更加容易，从而能够降低观看者的疲劳感的图像处理设备、成像设备、再现设备和图像处理方法。

背景技术

按照传统的办法，是对由多个视点图像构成的多视点图像进行倍数改变。

PTL1介绍了按照倍数变化使左眼用图像和右眼用图像各自的中心彼此重合，并且按照倍数变化控制左眼用图像和右眼用图像各自的水平偏移量。

PTL2介绍了按照被确定为落在观看者的双眼交汇区域内的左右图像各自的剪裁区域来剪裁立体图像。

<引文列表>

<专利文献>

PTL1:日本专利申请公开第2003-52058号

PTL2:日本专利申请公开第H08-317429号

发明内容

<技术问题>

传统上，在进行立体成像时，摄像是例如这样进行的：将被聚焦的主被摄体设置在视点图像（左眼用图像和右眼用图像）各自的中心，并且将会聚点设置得使主被摄体的视差量最小。

不过，在这种状态下，当从广角侧朝向远景侧进行变焦时，会发生这样的被摄体位移：主被摄体前面的被摄体变得更近，而远处的被摄体变得更远。这种被摄体位移会给观看者造成强烈的视觉不协调感，这导致观看者的疲劳程度增大。

此外，视差增大、视差发散等会造成图像无法有立体感地融合，导致对安全的担忧。

PTL1和PTL2公开了控制各个视点图像（右眼用图像和左眼用图像）的剪裁区域或水平偏移量。不过，由于多视点图像实际上包括很多远近不同的被摄体图像，因此很难仅仅通过控制剪裁区域或水平偏移量来适当调整除了主被摄体之外的被摄体的视差量。就是说，传统的技术不能校正各个像素的视差量，因此有这样的问题：没有置于图像中心的被摄体或者除了主被摄体之外的被摄体具有过大的视差量，或者看起来景深很不自然。

本发明是鉴于这些情形而做出的，并且本发明的目的是提供一种使变焦变化时的立体视觉目标跟踪更加容易，从而能够降低观看者疲劳感的图像处理设备、成像设备、再现设备和图像处理方法。

<问题的解决方案>

为了实现该目的，按照本发明的一个方面的图像处理设备包括：图像获取构件，构成为获取包括多个视点图像的多视点图像；变焦值获取构件，构成为获取由图像获取构件获得的多视点图像的变焦值；视差量计算构件，构成为计算构成所获得的多视点图像的多个视点图像之间各个像素的视差量；视差量校正构件，构成为基于由变焦值获取构件获得的变焦值和由视差量计算构件计算出来的各个像素的视差量，通过图像处理来校正所获得的多视点图像中的至少一个的各个像素的视差量，并且视差量校正构件构成为校正各个像素的视差量并且构成为以使得即使所获得变焦值变化了，与被摄体距离相应的视差量的差也保持不变的方式重构多视点图像。

按照上述方面，基于由变焦值获取构件获得的变焦值和由视差量计算构件计算出来的各个像素的视差量对多视点图像中各个像素的视差量进行校正，并且通过图像处理，以即使所获得变焦值变化了，与被摄体距离相应的视差量的差（立体图像之间的间距）也保持不变的方式，来重构多视点图像。因此，在变焦期间为观看者提供的距离感（在深度方向上所见的立体图像之间的间距）不会改变。即，不仅可以防止视差过大和视差发散，而且还可以使得变焦变化时的立体视觉目标跟踪更加容易，从而减少了观看者的疲劳感。

这里，视差量代表构成多视点图像的多个视点图像的同一被摄体的偏移量。视差量由，例如，拍摄图像或显示图像的像素数、图像的偏移量与横向大小的比率等等表示。

在本发明的另一个方面中，视差量校正构件以这样的方式校正各个像素的视差量：使得即使所获得的变焦值变化了，各被摄体的视差量保持不变。按照这一方面，由于在变焦期间在深度方向上所见的立体图像的位置（深度位置）不会发生位移，因此观看者能够仅仅看到被摄体的立体尺寸的变化。即，能够进一步降低变焦的不自然，因此能够进一步减小观看者的疲劳感。

在本发明的另一个方面中，视差量校正构件使变焦起始点和变焦终止点处的视差量相同。

在本发明的另一个方面中，视差量校正构件以这样的方式校正各个像素的视差量：使得各个被摄体的立体图像随着所获得变焦值从广角侧朝向远景侧变化而变得更加相互接近。即，当变焦值从广角侧朝向远景侧变化时，不改变被摄体距离不同的多个立体图像的深度间距，以这样的方式校正各个像素的视差量：使得各个被摄体的立体图像彼此更加接近。因此，能够增强变焦效果，而不会使得观看者感觉疲劳。

在本发明的另一个方面中，视差量校正构件以这样的方式进行校正：使得视差量从广角侧向远景侧非线性地变化。即，通过以加速的速率显示各个被摄体的立体图像的运动，能够增强变焦效果。

在本发明的另一个方面中，视差量校正构件以这样的方式校正各个像素的视差量：使得在最近距离与最远距离之间，被摄体距离不同的被摄体之间的视差量的差相对于变焦值在最近距离与最远距离之间的变化而保持不变。

在本发明的另一个方面中，视差量校正构件以这样的方式校正各个像素的视差量：使得在所获得的变焦值正在变化的变倍期间，即使所获得的变焦值改变了，与被摄体距离相应的视差量的差也保持不变，并且视差量校正构件在所获得的变焦值停止变化时的变倍终止之后改变与被摄体距离相应的视差量的差。

在本发明的另一个方面中，视差量校正构件在变倍终止之后以这样的方式校正各个像素的视差量：使得与被摄体距离相应的视差量的差越靠近远景侧越大。

在本发明的另一个方面中,视差量校正构件在变倍终止之后以步进方式改变与被摄体距离相应的视差量的差。

在本发明的另一个方面中,视差量校正构件在变倍终止之后，在与变倍基本相同的时间长度内改变与被摄体距离相应的视差量的差。

在本发明的另一个方面中，图像处理设备此外还包括存储构件，构成为存储表示未校正的视差量、变焦值和校正后的视差量之间的对应关系的校正表，并且视差量校正构件使用基于所获得的变焦值和所计算的各个像素的视差量而从校正表中获得的校正后的视差量来重构多视点图像。

在本发明的另一个方面中，存储构件存储多个校正表，这些校正表具有与变焦值的变化相应的不同的视差量校正量，并且视差量校正构件选择多个校正表中的任何一个来重构多视点图像。

在本发明的另一个方面中，图像处理设备此外还包括指令输入构件，构成为接受选择指令，按照该选择指令，从分别与多个校正表对应的多个模式中选择出任何一个的模式，并且在图像处理设备中，视差量校正构件选择与通过指令输入构件选择的模式对应的校正表。

在本发明的另一个方面中，图像处理设备此外还包括存储构件，构成为存储表示未校正的视差量、变焦值和校正后的视差量之间的对应关系的校正表，存储构件构成为存储第一校正表和第二校正表，在第一校正表中，即使变焦值改变了，与被摄体距离相应的视差量的差也保持不变，在第二校正表中，对应于变焦值的变化来改变与被摄体距离相应的视差量的差，并且在图像处理设备中，视差量校正构件在变倍期间选择第一个校正表，在变倍终止之后选择第二个校正表，并且基于所获得的变焦值和所计算出来的各个像素的视差量，使用从所选择的校正表中获取的校正后的视差量，来重构多视点图像。

在本发明的另一个方面中，图像处理设备此外还包括计算构件，构成为基于所获得的变焦值和计算出来的各个像素的视差量计算各个像素的校正后的视差量。

在本发明的另一个方面中，图像处理设备此外还包括记录构件，构成为记录视差量还没有被视差量校正构件校正的多视点图像或者视差量已经被视差量校正构件校正了的多视点图像。

在本发明的另一个方面中，图像获取构件从记录构件中获取视差量还没有进行过校正的多视点图像，并且视差量校正构件校正从记录构件中获得的多视点图像的各个像素的视差量。

在本发明的另一个方面中，图像处理设备此外还包括设置信息输入构件，构成为接受用于确定视差量校正中使用的值的设置信息的输入；和视差量校正值计算构件，构成为基于通过设置信息输入构件输入的设置信息来计算各个像素的视差量的校正值。

设置信息包括多视点图像的显示尺寸。此外，设置信息包括最近被摄体和最远被摄体中至少一个的距离信息。

在本发明的另一个方面中，图像处理设备此外还包括视差量校正值计算构件，构成为基于所聚焦的像素的视差量，利用至少在远景端和广角端之一上设置的变焦值，来计算各个像素的视差量的校正值。

在本发明的另一个方面中，图像处理设备包括：电子变焦构件，构成为通过电子变焦改变所获得的多视点图像的放大倍数；输出构件，能够输出所获得的多视点图像；和控制构件，构成为在变焦值改变的时候，通过电子变焦构件按照变焦值来改变紧接在该变焦值改变之前或之后的多视点图像的放大倍数，所述控制构件构成为通过视差量校正构件按照变焦值进行视差量校正，并且所述控制构件构成为将立体静止图像输出到输出构件，同时，当变焦值不改变时，控制构件将图像获取构件获得的多视点图像的立体运动图像输出到输出构件。

在本发明的另一个方面中，控制构件使得显示进行了变倍的立体静止图像的时间长度大于变焦值改变的时间段。

在本发明的另一个方面中，控制构件使得输出构件输出通过以步进方式改变放大倍率值而以步进方式进行了变倍的立体静止图像。

在本发明的另一个方面中，控制构件以渐现或渐隐方式进行立体静止图像的切换。

此外，按照本发明的一个方面的成像设备是包括前面介绍的图像处理设备的成像设备，其中图像获取构件包括成像透镜和成像装置，该成像装置构成为对由成像透镜形成的被摄体图像进行成像。

在按照本发明的一个方面的成像设备中，成像透镜包括变焦透镜，并且变焦值获取构件获取变焦透镜的变焦值作为多视点图像的变焦值。

此外，按照本发明的一个方面的再现设备包括前面介绍的图像处理设备和再现构件，该再现构件构成为以能够立体观看的方式再现重构的多视点图像。

此外，按照本发明的一个方面的图像处理方法是一种使用图像获取构件和变焦值获取构件的图像处理方法，图像获取构件构成为获取包括多个视点图像的多视点图像，变焦值获取构件构成为获取由图像获取构件获得的多视点图像的变焦值，并且该方法包括：视差量计算步骤，计算构成所获得的多视点图像的多个视点图像之间各个像素的视差量；和视差量校正步骤，基于多视点图像的变焦值和计算出来的各个像素的视差量，由图像处理来校正所获得的多视点图像中的至少一个的各个像素的视差量，并且以如下方式来校正各个像素的视差量和重构多视点图像：即使所获得的变焦值改变了，与被摄体距离相应的视差量的差也保持不变。

<发明的有益效果>

按照本发明，使得在变焦变化时立体视觉目标跟踪更加容易，从而能够减少观看者的疲劳感。

附图说明

图1是图解说明按照本发明的成像设备的结构实例的框图；

图2是图解说明拍摄运动图像时实时进行的图像处理实例的流程的流程图；

图3是图解说明变焦值（zoom value）与未校正的视差量之间的对应关系的示图；

图4是图解说明第一种实施方式中变焦值与校正后的视差量之间的对应关系的示图；

图5A是图解说明在第一种实施方式中在进行从广角端向远景端的变焦时视差量变化的实例的示图（广角端）；

图5B是图解说明在第一种实施方式中在进行从广角端向远景端的变焦时视差量变化的实例的示图（中间变焦位置）；

图5C是图解说明在第一种实施方式中在进行从广角端向远景端的变焦时视差量变化的实例的示图（远景端）；

图6是图解说明第二种实施方式中变焦值与校正后的视差量之间的对应关系的示图；

图7A图解说明在第二种实施方式中在进行从广角端向远景端的变焦时视差量变化的实例的示图（广角端）；

图7B图解说明在第二种实施方式中在进行从广角端向远景端的变焦时视差量变化的实例的示图（中间变焦位置）；

图7C图解说明在第二种实施方式中在进行从广角端向远景端的变焦时视差量变化的实例的示图（远景端）；

图8是图解说明第三种实施方式中变焦值与校正后的视差量之间的对应关系的示图；

图9是图解说明第四种实施方式中变焦值与校正后的视差量之间的对应关系的示图；

图10是在拍摄运动图像时实时进行的图像处理的实例的流程的流程图，其中在变焦终止之后进行进一步的校正；

图11A是图解说明未校正的多视点图像的例子的示图；

图11B是图解说明校正后的多视点图像的例子的示图；

图12是图解说明变焦值、未校正的视差量和校正后的视差量之间的对应关系的示图；

图13是图解说明显示尺寸与监视器像素之间的对应关系的示图；

图14是图解说明用户设置处理的实例的流程的流程图；

图15是图解说明拍摄运动图像时之后进行的图像处理的另一个实例的流程的流程图；

图16是图解说明拍摄运动图像时实时进行的图像处理的另一个实例的流程的流程图；

图17是图解说明拍摄运动图像之后进行图像处理时的图像处理实例的流程的流程图；

图18是用于解释说明立体静止图像的电子变焦的说明图；

图19是用于解释说明立体静止图像的渐现显示的说明图；和

图20是图解说明应用本发明的计算机装置的硬件配置的框图。

具体实施方式

在下文中，将会参照附图，详细介绍本发明的实施方式。

图1是图解说明按照本发明的成像设备的结构实例的框图。

成像设备10包括成像透镜11L、11R、图像传感器12L、12R、信号处理单元13、图像存储器15、操作单元16、电子变焦处理单元17、视差量计算单元18、视差量校正值获取单元19、视差量校正单元20、监视器21、记录介质接口22、记录介质23、外部输出装置24、控制单元25、电源单元26、电池27和设置信息存储单元28。

成像透镜11L、11R包括分别在图像传感器12L、12R的接收表面上形成图像的光学系统。这个例子的成像透镜11L、11R各自包括聚焦透镜、变焦透镜和光圈装置。

图像传感器12L、12R分别采集由成像透镜11L、11R形成的被摄体图像。图像传感器12L、12R各自由成像装置构成，比如CCD（电荷耦合器件）图像传感器或者CMOS（互补金属氧化物半导体）图像传感器。

信号处理单元13对从图像传感器12L、12R输出的多视点图像（左眼用图像和右眼用图像）进行各种信号处理，比如AE（自动曝光）处理或AF（自动焦距调整）处理。

这个例子的成像设备10中，成像透镜11L、11R、图像传感器12L、12R和信号处理单元13构成了用于获取由多个视点图像构成的多视点图像的成像单元14（图像获取构件）。

图像存储器15是用于逐帧地临时存储从信号处理单元13输出的多视点图像的存储器（例如，RAM（随机存取存储器））。

操作单元16是用于接受用户输入操作的输入装置（例如，按键开关）。

在本例的成像设备10中，操作单元16构成变焦值获取构件，用于获取由成像单元14获得的多视点图像的变焦值。

电子变焦处理单元17使用电子变焦（图像处理），从而基于由操作单元16获得的变焦值，对由成像单元14获得的多视点图像（左眼用图像和右眼用图像）进行变倍。

应当注意，本例的成像设备10包括两个变倍手段：基于成像透镜11L、11R的光学变焦和基于电子变焦处理单元17的电子变焦。因此，在光学变焦的情况下获得与成像透镜11L、11R相关的变焦值，而在电子变焦的情况下获得与电子变焦相关的变焦值。这两种变焦可以结合使用。此外，可以使用任何变焦值获取方法。

视差量计算单元18计算构成所获得的多视点图像的多个视点图像（左眼用图像和右眼用图像）之间各个像素的视差量。

这里，视差量代表构成多视点图像的多个视点图像之间同一被摄体的偏移量。视差量被表示为，例如，拍摄图像或显示图像的像素数、图像的偏移量与横向大小的比率等等。

视差量校正值获取单元19获取用于校正多个视点图像中的各个像素的视差量的值（视差量校正值）。

视差量校正值可以是表示未校正的视差量、变焦值和校正后的视差量之间的对应关系的表格（校正表）的数据。在这种情况下，视差量校正值获取单元19由例如存储着校正表的非易失性存储装置构成。

视差量校正单元20基于操作单元16获得的变焦值和由视差量计算单元18计算出来的各个像素的视差量，通过使用图像处理来重构多视点图像，以校正由成像单元14获得的各个像素的视差量。具体地说，视差量校正单元20校正多视点图像的各个像素的视差量，使得即使所获得的多视点图像变焦值发生变化，与被摄体距离相对应的视差量差异也不会发生变化。这里，与被摄体距离相对应的视差量的差异是针对被摄体距离不同的多个被摄体立体图像的视差量差异，并且对应于被摄体距离不同的多个立体图像之间的深度方向间隔（立体图像之间的间隔）。

应当注意，本发明并不局限于对多视点图像的所有像素都进行校正的情况，并且可以应用于对多视点图像的一部分的各个像素进行校正的情况。

在视差量校正值获取单元19由表格数据（校正表）构成的情况下，视差量校正单元20基于由操作单元16获得的变焦值和由视差量计算单元18计算出来的各个像素的视差量，从该校正表获得校正后的视差量，并且使用所获得的校正后的视差量重构多视点图像。各个像素的校正后的视差量可以通过计算获得，并且在这种情况下，视差量校正值获取单元19基于操作单元16获得的变焦值和由视差量计算单元18计算出来的各个像素的视差量，计算各个像素的校正后的视差量。

监视器（显示构件）21、记录介质接口22和外部输出装置24输出多视点图像。

监视器21是以可立体观看的方式再现和显示多视点图像的显示装置。

记录介质接口22是外部输出装置24的例子，并且将多视点图像记录在记录介质23上，比如记录在存储卡上。记录多视点图像包括在由视差量校正单元20校正视差量之前记录多视点图像和在由视差量校正单元20校正视差量之后记录多视点图像。

外部输出装置24由例如通过通信来输出（发送）多视点图像的通信装置所构成。

控制单元25控制成像设备10的各个部分。在操作单元16获得的变焦值连续变化时（在变倍期间），本例的控制单元25使得电子变焦处理单元17对紧接在变焦值变化之前（或之后）的多视点图像的一帧进行变倍，使得视差量校正单元20按照变焦值校正视差量，并且使得监视器21（或者外部输出装置24）以静止图像（立体感的静止图像）的形式输出经过变倍并且校正了视差量的多视点图像。此外，在操作单元16获得的变焦值不发生变化的时候（不变倍期间），本例的控制单元25使得监视器21（或外部输出装置24）以运动图像（立体感的运动图像）的形式输出多视点图像。

此外，本例的控制单元25进行这样的控制：使得显示已经经过变倍的立体静止图像的时间长度大于变焦值的变化时段。

此外，控制单元25使得输出构件，比如监视器21，输出通过以步进方式改变变焦值而以步进方式进行了变倍的立体静止图像。此外，控制单元25以渐现和渐隐的方式对多个进行了变倍的静止图像进行切换。

电源单元26从电池27向成像设备10的各个部分供电。

设置信息存储单元28存储各种设置信息。

图2是图解说明拍摄运动图像时实时进行的图像处理的流程的流程图。这一处理由控制单元25按照程序来执行。

首先，多视点图像（左眼用图像和右眼用图像）是由成像单元14以帧为周期获得的并且被存储在图像存储器15中（步骤S4）,并且由操作单元16获得与该多视点图像对应的变焦值（步骤S6）。变焦值可以在广角端（最近被摄体距离）和远景端（最远被摄体距离）之间随意改变。此后，逐帧地进行该处理。

此外，视差量计算单元18通过立体匹配来检测左眼用图像和右眼用图像之间的对应点，从而为各个像素计算视差量Px（步骤S14）。

此外，视差量校正值获取单元19基于由操作单元16获得的变焦值和由视差量计算单元18计算出来的各个像素的视差量，从该视差量校正值获取单元19中的存储装置中存储的表格数据（校正表）中获取各个像素的视差量校正值（例如，校正后的视差量）（步骤S16）。

接下来，视差量校正单元20进行图像处理，以基于视差量校正值重构多视点图像（左眼用图像和右眼用图像）（步骤S18）。即，基于所获得的变焦值和计算出来的各个像素的视差量，校正多视点图像的各个像素的视差量。以即使变焦值改变、这一视差量校正也不会造成与被摄体距离对应的视差量的差（在深度方向上的可视立体图像之间的间隔）发生变化的方式，通过由图像处理校正多视点的各个像素的视差量，来重构多视点图像。在这个例子中，视差量校正单元20这样校正各个像素的视差量：最近被摄体距离和最远被摄体距离（例如，无穷远）之间视差量的差对于变焦值变化保持不变。

接下来，记录介质接口22将重构的多视点图像记录在记录介质23上（步骤S20）。多视点图像可以由监视器21和外部输出装置24输出。

然后，判断成像完成还是继续（步骤S24），并且如果成像继续，则处理返回到步骤S4。

图3图解说明校正视差量之前变焦值与多视点图像（左眼用图像和右眼用图像）中的视差量之间的对应关系。横轴代表变焦值，纵轴代表未校正的视差量。即，表示的是未校正的视差量随着变焦值变化而变化（视差量分布）。

在图3中，视差量带有加号或减号。是加号时，绝对值越大表明被摄体的立体图像（视觉图像）在深度方向上所见的位置越近。是减号时，绝对值越大表明被摄体的立体图像（视觉图像）在深度方向上所见的位置越远。即，带符号的视差量表明被摄体立体图像在深度方向上的位置（深度位置）。本文中，被摄体的立体图像随着带符号的视差量的增大而变得更加接近观看者，而被摄体的立体图像随着带符号的视差量减小而变得离观看者更远。

在图3中，纵轴的中心是会聚点的视差（=0），并且在这一成像设备中，会聚点的距离被设置为2.0m。在这一视差分布中，纵轴中心上方的视差表示，被摄体的距离比会聚点近，而纵轴中心下方的视差表示被摄体的距离比会聚点远。视差分布的上侧代表当被摄体距离为最近被摄体距离（MOD)=0.5m时，视差量相对于变焦（zoom change）的变化，而视差分布的下侧代表当被摄体距离是最远被摄体距离（在这个例子中，是无穷远）时，视差量相对于变焦的变化。

在图3中，视差变为最大的条件是被摄体距离0.5m时的变焦T端，并且该条件下的视差量用Pmax来表示。在这个条件下，立体图像从监视器屏幕中突出的程度最大，并且很可能视差变得过大，以至于双眼视像融合困难。另一方面，视差变为最小条件是无穷远时的变焦W端，并且该条件下的视差量用Pmin来表示。在这个条件下，立体图像最大程度地从监视器屏幕向内深入，并且很可能监视器屏幕上的立体图像的偏移量超出人类的瞳间距（发散）。因此，需要通过视差量校正来为视差量设置上限和下限。

在图3中，位于2m被摄体距离上的被摄体不管变焦值如何变化都具有零视差，因此视差量不会变化。位于大于（远于）2m的被摄体距离上的被摄体随着变焦值从W侧变化到T侧，带符号视差量越来越小（绝对值越来越大）。即，在进行变焦时，会发生这样的立体图像位移：被摄体的立体图像变得越来越远，而尺寸变得越来越大，在视觉上造成强烈的不协调感，并且增加了观看立体图像的观看者的视觉疲劳。位于小于（近于）2m的被摄体距离上的被摄体随着变焦值从W侧变化到T侧，带符号视差量越来越大（而且绝对值也越来越大）。即，在进行变焦时，会发生这样的立体图像位移：被摄体的立体图像越来越近。

下文中，将会介绍针对变焦值变化的视差量校正的各种不同实施方式。

图4是解释说明第一实施方式的视差量校正的说明图，表示变焦值与校正后的视差量之间的对应关系。最大视差量被从校正之前的Pmax校正为Ptn，最小的视差量被从Pmin校正为Pwf，并且校正各个像素对应于各个变焦值的视差量，以使该视差量落在Ptn和Pwf之间。在最大宽度（极限过大视差与极限发散视差之间的差）之内，设置上下两条线（Ptn-Pwn，Ptf-Pwf）。

在本例中，最近被摄体距离的视差量与最远被摄体距离的视差量之间的差Pd（最大相对视差量）被设置为与W端和T端处相同。在本例中，Ptn=Pwn并且Ptf=Pwf。

在第一实施方式中，视差量校正单元20校正各个像素的视差量，以重构多视点图像，使得即使所获得的变焦值变化了，各个被摄体的视差量也不变（即，立体图像在深度方向上的位置不变）。在本例中，视差量校正单元20使得变焦起始点和变焦结束点的视差量相等。

图5A到图5C分别表示进行了图4中所示的第一实施方式的视差量校正之后的W（广角）端、中间变焦位置和T（远景）端上的多视点图像（左眼用图像90L，右眼用图像90R）。在图5A到5C中，附图标记96a代表远距离被摄体的立体图像，附图标记96b代表中间距离被摄体的立体图像，附图标记96c代表近距离被摄体的立体图像。附图标记Pwa、Pma和Pta代表远距离被摄体的立体图像的视差量，附图标记Pwc、Pmc和Ptc代表近距离被摄体的立体图像。中间距离被摄体的立体图像是主被摄体（例如，被聚焦的被摄体），并且其视差量被设置为零，不管变焦值如何变化。

在图5A到图5C中，Pwa=Pma=Pta，并且Pwc=Pmc=Ptc。即，各个被摄体（立体图像）的视差量被设置成不变，即使变焦值发生改变。

不过，事实上，在进行拍摄时被摄体位于最远被摄体距离或最近被摄体距离的可能性非常小，因此视差量校正单元20能够进行这样的视差量校正：使得在变焦值变化时，在拍摄时位于最远被摄体距离和最近被摄体距离之间的被摄体的立体图像在深度方向上所见的位置（深度位置）保持恒定不变，如图5A到图5C中所示。

图6是解释说明第二实施方式的视差量校正的说明图，表示变焦值与校正后的视差量之间的对应关系。第二实施方式与第一实施方式的相同之处在于：最大视差量被从Pmax校正为Ptn，最小的视差量被从Pmin校正为Pwf，并且各个像素的视差量被校正为处于Ptn和Pwf之间。此外，最大相对视差量Pd在W端和T端相同。在本例中，Ptn>Pwn，并且Ptf>Pwf。

在第二实施方式中，视差量校正单元20校正各个像素的视差量，使得各个被摄体的立体图像随着所获得的变焦值从广角侧朝向远景侧变化而变得更加相互接近（即，各个被摄体的立体图像的带符号的视差量增大）。

通过将所有被摄体的立体图像在深度方向上位移相同量，可以使被摄体距离不同的多个立体图像之间的深度间距保持不变。这使得在增强变焦感的同时立体视觉目标跟踪更加容易成为可能，并且因此能够降低疲劳感。

图7A到图7C分别表示进行了图6中所示的第二实施方式的视差量校正之后的W（广角）端、中间变焦位置和T（远景）端上的多视点图像（左眼用图像90L，右眼用图像90R）的例子。在图7A到图7C中，附图标记96a代表远距离被摄体的立体图像，附图标记96b代表中间距离被摄体的立体图像，附图标记96c代表近距离被摄体的立体图像。附图标记Pwa、Pma和Pta代表远距离被摄体的立体图像的视差量，附图标记Pwc、Pmc和Ptc代表近距离被摄体的立体图像。中间距离被摄体的立体图像是主被摄体（例如，被聚焦的被摄体），并且其视差量被设置为零，不管变焦值如何变化。

图7A中所示的W端上的多视点图像中的远距离被摄体的立体图像96a与近距离被摄体的立体图像96c之间的视差量的差、图7B中所示的中间变焦位置上的多视点图像中的远距离被摄体的立体图像96a与近距离被摄体的立体图像96c之间的视差量的差、和图7C中所示的T端上的多视点图像中的远距离被摄体的立体图像96a与近距离被摄体的立体图像96c之间的视差量的差，是彼此相同的。即，将多视点图像重构成这样：即使变焦值改变，被摄体距离不同的被摄体（96a和96b，96b和96c，96a和96c）之间的视差量的相对差异是不变的。这里，视差量是带符号的视差量，并且对应于观看者在被摄体的立体图像的深度方向上所见的位置（深度位置）。视差量的差对应于观看者所见的多个立体图像在深度方向上的间隔。

不过，事实上，进行拍摄时被摄体位于最远被摄体距离或最近被摄体距离的可能性非常小，因此视差量校正单元20能够进行这样的视差量校正：使得在变焦值变化的时候，最远被摄体距离与最近被摄体距离之间的视差量的差（立体图像之间间距的最大值）在拍摄的时候保持不变，如图7A到图7C中所示。

图8是解释说明第三实施方式的视差量校正的说明图，表示变焦值与校正后的视差量之间的对应关系。第三实施方式与第一实施方式的相同之处在于：最大视差量被从Pmax校正为Ptn，最小的视差量被从Pmin校正为Pwf，并且各个像素的视差量被校正为处于Ptn和Pwf之间。此外，最大相对视差量Pd在W端和T端相同。

在图8中所示的例子中，线Ptf-Pwf、Ptn-Pwn是非线性的，并且越朝向T端，变焦值的变化量所对应的视差量变化量越大。即，被摄体的立体图像在深度方向上的位移会朝向T端增大。

在第三实施方式中，视差量校正单元20进行校正，以从变焦值的广角端向远景端非线性地改变视差量。即，在将变焦值从广角端朝向远景端改变时，带符号的视差量非线性地变大，并且被摄体的立体图像看起来以加速的速率越来越接近观看者。这增强了变焦效果。

图9是解释说明第四实施方式的视差量校正的说明图，表示变焦值与校正后的视差量之间的对应关系。第三实施方式与第一实施方式的相同之处在于：在改变变焦值时的变倍期间，最大视差量被从Pmax校正为Ptn，最小的视差量被从Pmin校正为Pwf，并且各个像素的视差量被校正为处于Ptn和Pwf之间。此外，最大相对视差量Pd在W端和T端相同。

在第四实施方式中，视差量校正单元20校正各个像素的视差量，使得在所获得的变焦值连续变化的变倍时段（变焦期间）中，即使所获得的变焦值发生变化，与被摄体距离相应的视差量的差（立体图像之间的间距）也不会变化（不会改变各个被摄体的视差量）。然后，在变倍（变焦）终止后，即，所获得的变焦值不改变，与被摄体距离相应的视差量的差（立体图像之间的间距）按照变倍终止之后的变焦值而改变。本例的视差量校正单元20校正各个像素的视差量，使得被摄体距离不同的立体图像之间在深度方向上的间距在变焦终止之后朝向远景侧增大。此外，本例的视差量校正单元20在变倍终止之后以步进的方式改变与被摄体距离相应的视差量的差（立体图像之间的间距），并且在变焦终止之后，在基本上与变焦操作时间长度相同的时间长度内，改变与被摄体距离相应的视差量的差（立体图像之间的间距）。

例如，在图9中，当变焦值沿着箭头方向从Za变为Zb时，最大相对视差量Pd在变焦值从Za变为Zb时的变倍周期内保持不变。在变倍完成之后，以步进方式将最大相对视差量Pd变为Pa。在这个例子中，最大相对视差量是在与从Za到Zb的变倍所经过的时间（变倍时间段）基本上相同的时间长度内以步进方式从Pd变为Pa的。即，在变倍终止之后以步进方式改变不同被摄体之间的相对视差量的差。最终，将不同被摄体之间的视差量的差设置为朝向广角侧减小，并且朝向远景侧增加。

图10是图解说明在视频记录期间为了在变焦之后进行进一步校正而实时进行的图像处理的一个例子的流程的流程图。这一处理由控制单元25按照程序来执行。应当注意，与图2中所示的步骤相同的步骤用相同的附图标记标注，并且本文仅仅介绍不同点。

在本例中，在变倍时段期间，这样来校正各个像素的视差量：如果变焦值改变则不改变各个被摄体的立体图像的深度，并且在不变倍时段期间，这样来校正各个像素的视差量：被摄体距离不同的被摄体的立体图像在深度方向上的位置之间的差（视差量）朝着远景侧增大。

应当注意的是，在操作单元16改变了变焦值并且接受了所指示的操作之后，控制单元25使得透镜驱动单元（未示出）驱动成像透镜11L、11R的变焦透镜。图10忽略了对这一控制的介绍。

图10中的步骤S4、S6、S14、S18、S20和S24进行与图2中的处理一样的处理。

在本例中，在获得了变焦值（步骤S6）之后，判断变焦值是否继续改变（步骤S62）。控制在变倍时段期间前进到步骤S64并且在不变倍时段期间前进到步骤S66。

在变倍时段期间，选择与变焦值对应的校正表A（步骤S64）。即，获取与变焦值对应的校正值和计算出来的各个像素的视差量。

在不变倍时段期间，判断当前校正值是否与校正表B的校正值（设置值）相匹配（步骤S66），如果不匹配，则将当前校正值向校正表B的校正值改变（步骤S68）。

在本例的校正表A中，登记了相对于变焦值的变化并不改变与被摄体距离对应的视差量的差（立体图像之间的间距）的校正后的视差量。在本例的校正表B中，登记了相对于变焦值的变化改变了与被摄体距离对应的视差量的差（立体图像之间的间距）的校正后的视差量。在本例中，登记了这样的校正值（校正后的视差量）：其校正各个像素的视差量，使得与被摄体距离相应的视差量的差（立体图像之间的间距）朝向远景侧增大。

由视差量校正单元20执行步骤S62到S68的处理。本例中的视差量校正单元20在变倍时段期间校正各个像素的视差量并且重构多视点图像，使得即使变焦值改变，各个被摄体的立体图像的深度位置也不发生改变并且保持恒定，视差量校正单元20在变焦之后校正各个像素的视差量并且重构多视点图像，使得不同立体图像之间的间距朝向远景侧增大。即，变焦期间被摄体的立体图像的视差量并不改变，但是在变焦之后逐渐改变被摄体的立体图像的视差量。这样，变焦期间被摄体的立体图像的大小的改变和变焦之后被摄体的立体图像的深度位置的改变是在不同时期进行的。变焦之后逐渐改变视差量所用的时间长度（时段）可以与变焦的时间长度（变倍时段）相匹配（例如，成正比例）。

应当注意的是，尽管介绍的是校正表A和B是分别由图9中所示的两种视差量校正（与Pd对应的校正和与Pa对应的校正）构成的情况，但是也可以由校正表A进行图4、图6和图8中所示的视差量校正中的任何一种并且由表B进行图9中与Pa对应的校正。此外，还可以将图4、图6、图8、图9中所示的视差量校正（或者它们的任意组合）所用的所有校正表存储到存储装置中并且通过模式选择来进行校正表的切换。

此外，是以按照所获取的变焦值的状态选择校正表的情况为例（在本例中，是是否在变倍时段内进行视差量的校正）进行介绍的，但是本发明并不具体局限于这种情况。可以按照成像设备10的模式来选择校正表。

例如，操作单元16接受选择指令（模式指定），按照这个指令从多个校正表对应的多个模式中选择一个模式。在本例中，视差量校正单元20选择与通过操作单元16选择的模式对应的校正表。

图11A图解说明视差量校正之前的在T端上的多视点图像（左眼用图像90L，右眼用图像90R）中的被摄体距离不同的被摄体的立体图像92f、92m和92n。图11B图解说明视差量校正之后的在T端上的多视点图像（左眼用图像90L，右眼用图像90R）中的被摄体距离不同的被摄体的立体图像94f、94m和94n。图11A和11B示意性地示出了在监视器的显示屏幕上的被摄体的立体图像。由附图标记92f、94f指代的被摄体的立体图像是在最远被摄体距离上拍摄到的被摄体的立体图像。由附图标记92m、94m指代的被摄体的立体图像是在介于最远被摄体距离和最近被摄体距离之间的中间点上拍摄到的被摄体的立体图像。由附图标记92n、94n指代的被摄体的立体图像是在最近被摄体距离上拍摄到的被摄体的立体图像。应当注意，图11A和11B图解说明的是具有相同形状（四边形）的被摄体的立体图像，但是实际上，被摄体的立体图像的形状是没有限制的。

图11A中所示的视差量校正之前的视差量Pmin、Pmax可能是过大视差量和发散视差量，但是视差量校正之后的视差量Ptf、Ptn落入立体融合的范围之内。应当注意，忽略了W端上的多视点图像，但是，和T端的多视点图像的情况一样，视差量校正之后的视差量Pwf、Pwn落入立体融合的范围之内。

图4到9图解说明基于最远被摄体距离（例如，无穷远）上的W端视差量Pwf、T端视差量Pwf和最近被摄体距离上的W端视差量Pnf、T端视差量Pnf来确定另一个变焦位置和另一个被摄体距离上的校正后的视差量的情形。不过，本发明的范围并不具体局限于这些情况。

本发明包括通过将各个像素的视差量校正得使得在特定的状态下与被摄体距离（立体图像之间的间距）对应的视差量的差不发生变化，来重构多视点图像的任何情况。

图12中示出了校正表的例子。如图12中所示，未校正的视差量、变焦值和校正后的视差量之间的对应关系被存储为存储装置（视差量校正值获取单元19）中的校正表。视差量校正单元20在进行视差量校正的时候，基于所获得的变焦值和计算出来的各个像素的未校正的视差量，从存储装置中存储的校正表中获得各个像素的校正后的视差量。这种使用校正表的视差量校正能够减少处理时间。即，图1中的视差量校正值获取单元19可以由图12中的校正表代替。

可以基于用户的设定值来确定用于视差量校正的校正值。例如，由操作单元16接受用于输出多视点图像的监视器21（立体显示装置）的输入的或选定的尺寸。这是因为显示屏幕尺寸决定了视差量发散的极限值。

图13图解说明分辨率为1920×1080点的监视器的显示尺寸与像素之间的对应关系。

此外，可以由操作单元16为各个用户提供接受瞳间距的输入或选择的手段。如果多视点图像的观看者是儿童，则瞳间距是大约5cm，并且因此将监视器尺寸中5cm所占的像素数设置为视差量下限Pwf。

视差量上限Ptn被设置为例如大约57个像素，假设在等于监视器屏幕高度的三倍的距离上进行观看。这个Ptn取决于双眼视觉融合的容许范围并且因此是因人而异的。因此，最好Ptn可以通过用户设定而改变。

按照本实施方式，能够改善变焦时观看者的不协调感，从而能够抑制立体视觉造成的疲劳。最好，可以通过针对变焦值从广角端到远景端的变化来校正视差量，减少过大视差和发散状态。

在实际拍摄当中，被摄体距离的范围可能很窄。例如，在室内摄影中，没有被摄体在无穷远，或者在隔着栅栏、网等的摄影中，最近距离也处于远离MOD（最小聚焦距离）的范围之内。在这种情况下，实际视差分布中的最大值和最小值各自具有从极限值（Ptn和Pwf）出发的余量，因此可以分配该余量来增强变焦效果。

具体地说，可以调整视差量校正的偏移量，使得最大值变为上限值Ptn并且最小值变为下限值Pwf。结果，在视差量校正之后，使得视差量分布改变成这样：表示变焦值与相同被摄体距离上的视差量之间的对应关系的直线的斜率变大。

在这一实施方式中，操作单元16接受用于确定校正视差量用的值（视差量校正值）的设置信息的输入。视差量校正值获取单元19基于所输入的设置信息计算视差量校正值。

设置信息是，例如，监视器21的显示尺寸（监视器尺寸）。

设置信息可以是，例如，最近被摄体的被摄体距离信息和最远被摄体的被摄体距离信息中的至少一个。

此外，可以采用这样的构造：通过控制单元25的控制来设置远景端或广角端的变焦值并且由视差量校正值获取单元19基于聚焦像素的视差量来计算视差量校正值。

此外，可以采用这样的构造：由操作单元16接受用于针对变焦值变化量确定视差量变化量的变焦效果设置信息的输入，并且由视差量校正值获取单元19基于所输入的变焦效果设置信息来计算视差量校正值。

图14是图解说明用户设置处理的实例的流程的流程图。

在图14中，当选择了用户设置模式时，首先，成像透镜11L、11R的变焦值（变焦位置）被移动到（设置在）T端（步骤S71）。然后，要被拍摄的被摄体中离用户最近的被摄体由监视器21引导到落入AF区域之内，并且由操作单元16接受图像拍摄指令操作（步骤S72）。当接受了图像拍摄指令时，近距离范围被给予优先级并且从近距离侧找出聚焦位置（步骤S73）。即，对要拍摄的被摄体中最近的被摄体进行聚焦。接下来，拍摄左眼用图像和右眼用图像（步骤S74），并且在AF区域内检测锐度高于预先设置的阈值的像素(步骤S75)。然后，通过计算这些像素的视差量，确定视差量最大值Pa，并且计算从这一视差量最大值Pa到Ptn的偏移量（Ptn-Pa）（步骤S76）。

随后，将成像透镜11L、11R的变焦值（变焦位置）移动到（设置在）W端（步骤S81）。然后，要被拍摄的被摄体中离用户最远的被摄体由监视器21引导到落入AF区域之内，并且由操作单元16接受图像拍摄指令操作（步骤S82）。当接受了图像拍摄指令时，远距离范围被给予优先级并且从最远被摄体距离找到聚焦位置（步骤S83）。即，对要拍摄的被摄体中最远的被摄体进行聚焦。接下来，拍摄左眼用图像和右眼用图像（步骤S84），并且在AF区域内检测锐度高于预先设置的阈值的像素(步骤S85)。然后，通过计算这些像素的视差量，确定视差量最小值Pb，并且计算从这一视差量最小值Pb到Pwf的偏移量（Pb-Pwf）（步骤S86）。

应当注意的是，在确定视差量的时候要进行立体匹配，因此锐度较高的图像能够提高匹配精度并且因此提高了视差量精度。

在上述设置方法中，计算远景端和广角端两端的视差量的偏移量，但是本发明并不局限于这种情况，并且可以计算远景端或广角端的视差量的偏移量。

此外，可以采用这样的构造：由操作单元16接受来自用户的最近被摄体的被摄体距离信息（最小被摄体距离）和最远被摄体的被摄体距离信息（最大被摄体距离）的直接输入操作（或选择输入操作）。

可以采用这样的构造：可以由操作单元16接受用于针对变焦值变化量确定视差量变化量的变焦效果设置信息的输入，并且由视差量校正值获取单元19基于所输入的变焦效果设置信息来计算视差量校正值。

在此之前，是以在变焦期间进行静止图像显示的情况为例进行的介绍，但是本发明并不具体局限于这种情况。本发明适合于在变焦期间进行运动图像显示的情况。

图15是图解说明在运动图像拍摄之后进行的图像处理的实例的流程的流程图。这一处理由控制单元25按照程序来执行。

图15中的步骤S32、S34分别与图2中的步骤S4、S6相同。

在步骤S36，记录介质接口22将由左眼用图像和右眼用图像构成的多视点图像逐帧记录在记录介质23中。这里，记录介质接口22除了多视点图像之外，还将变焦值信息逐帧记录在记录介质23中。

在步骤S38，判断拍摄是已经完成还是还要继续，并且如果拍摄继续，则处理返回到步骤S32和S34。

在运动图像拍摄完成之后，按照步骤S40，记录介质接口22从记录介质中逐帧读出多视点图像（左眼用图像和右眼用图像）和变焦值信息。

在步骤S40，记录介质接口22从记录介质23中读出一帧的多视点图像和变焦值信息。

步骤S48、S50、S52、S54分别与图2中的步骤S14、S16、S18、S20相同。

在步骤S56，判断是否所有帧的处理都已经完成，如果没有完成所有帧的处理，则关注下一帧并且从图像存储器15中读出变焦值（步骤S58），并且处理返回到步骤S48。如果已经完成了所有帧的处理，则处理终止。

图16是图解说明在运动图像拍摄期间实时进行的图像处理的实例的流程的流程图。这一处理由控制单元25按照程序来执行。应当注意，与图2中所示的步骤相同的步骤用相同的附图标记标注，并且这里将仅仅介绍不同点。

在本例中，当操作单元16改变变焦值并且接受指令操作时，控制单元25使得透镜驱动单元（图中未示出）驱动成像透镜11L、11R的变焦透镜。图16忽略了对该控制的介绍。

首先，判断操作单元16是否进行了变焦操作（步骤S2），并且如果没有进行变焦操作，则由成像单元14以一帧为周期获取多视点图像（左眼用图像和右眼用图像）并且将其保存在图像存储器15中（步骤S4），并且从操作单元16获取多视点图像的变焦值（步骤S6）。应当注意，图16中的步骤S4、S6分别与图2中的相同附图标记标注的步骤相同。如果进行了变焦操作，则将变焦操作时间点处的一帧多视点图像（左眼用图像和右眼用图像）存储在存储器中，以进行电子变焦（步骤S8），从操作单元16获取变焦值（步骤S10），并且按照所获得变焦值，由电子变焦处理单元17改变图像存储器15中存储的多视点图像的放大倍数（比例）（步骤S12）。用于电子变焦的存储器可以包含在电子变焦处理单元17中，或者可以有选择地使用图像存储器15作为用于实时多视点图像的存储器和用于电子变焦的存储器。

图16中的步骤S14到S20与图2中的相同附图标记标注的相应步骤相同。

在步骤S22，判断变焦操作是否继续，并且如果变焦操作继续进行，则处理返回到步骤S10。此外，判断拍摄已经完成还是要继续进行（步骤S24），并且如果拍摄要继续进行，则处理返回到步骤S2。

在这一处理中，在所获得的变焦值变化的时候，由电子变焦处理单元17来改变紧接在变焦值变化之前或之后的一帧多视点图像（立体静止图像）的放大倍数并且将该多视点图像输出到监视器21。另一方面，在所获得的变焦值不变的时候，将多帧多视点图像（立体运动图像）输出到监视器21。

图17是图解说明在运动图像拍摄之后进行图像处理的情况下的图像处理的实例的流程图。

步骤S32到S40分别与图15中的步骤相同。

在步骤S42，判断是否改变了变焦值。

如果变焦值改变了，则在步骤S44，由电子变焦处理单元17改变图像存储器15中的多视点图像的放大倍数（比例）。

如果变焦值没有改变，则在步骤S46，从记录介质23中读出下一帧的多视点图像（左眼用图像和右眼用图像）并且将其存储在图像存储器15中。

步骤S48到S58与图15中的步骤相同。

在这一处理中，在所获得的变焦值变化的同时，由电子变焦处理单元17改变紧接在变焦值变化之前或之后的一帧多视点图像（立体静止图像）的放大倍数并且将该多视点图像输出到监视器21，并且在所获得的变焦值不变的时候，将多帧多视点图像（立体运动图像）输出到监视器21。

如图18中所示，控制单元25将变焦值连续变化的时间段（变倍时段）划分为多个时间段，并且如果变焦值连续变化，则控制单元25将变焦值的变化从连续变化切换为步进变化，从而针对变焦值的变化时间段（变倍时段）连续向监视器21输出和显示以步进方式进行了变倍的多个静止图像（立体静止图像），并且将这些静止图像记录在记录介质23中。

此外，控制单元25使得进行了变倍的多个静止图像的总显示时间长度大于变焦值的变化时间段（变倍时段）。例如，在图18中，"初始静止图像"、"放大1倍的静止图像"、"放大2倍的静止图像和"放大3倍的静止图像"的总显示时间长度大于"从W到T的变焦运动"的时间长度。

此外，如图19中所示，控制单元25以渐现和渐隐方式在监视器21上进行多个静止图像（立体静止图像）的显示切换。即，在以渐隐方式显示一个静止图像的时候，控制单元25以渐现方式显示另一个静止图像。

应当注意，尽管以本发明适用于成像设备的情况为例进行的介绍，但是本发明并不具体局限于这一情况。例如，本发明可以应用于图20中所示的计算机装置100。在图20中，与图1中相同的部件用相同的附图标记标注。

图20中所示的个人计算机装置100包括操作单元16、立体显示单元21（监视器）、记录介质接口22、存储器102、微处理器103和外部输入/输出IF（接口）104。微处理器103具有图1中的电子变焦处理单元17、视差量计算单元18、视差量校正值单元19、视差量校正单元20和控制单元25的各项功能。存储器102具有图1中的图像存储器15的功能。外部输入/输出IF104将来自于复眼相机（能够成像多视点图像的成像装置）的多视点图像输入到图20中的装置100，并且将视差量已经由微处理器103校正过的多视点图像输出到外部装置，比如硬盘装置或盘记录装置。

图20中所示的个人计算机装置100（图像处理设备）被用作专用于编辑多视点图像（包括视差量校正）的编辑装置，或者被用作在立体显示单元21上再现和显示多视点图像（包括进行视差量校正之后的多视点图像）的再现装置。

应当注意，尽管是以由左眼用图像和右眼用图像构成的两视点图像作为多视点图像的例子进行的介绍，但是本发明可以应用于由三个或更多个视点图像构成的多视点图像。

本发明并不局限于本文介绍的例子或图中所示的例子，并且显然，可以进行各种各样的设计更改或改造，而不会超出本发明的范围。

<附图标记列表>

11L，11R...成像透镜，12L，12R...成像传感器，13...信号处理单元，15...图像存储器，16...操作单元，17...电子变焦处理单元，18...视差量计算单元，19...视差量校正值获取单元，20...视差量校正单元，21...监视器（显示装置），22...记录介质接口，23...记录介质，25...控制单元

Claims (29)

1.一种图像处理设备，包括：

图像获取构件，构成为获取包括多个视点图像的多视点图像；

变焦值获取构件，构成为获取由所述图像获取构件获得的多视点图像的变焦值；

视差量计算构件，构成为计算构成所获得的多视点图像的多个视点图像之间各个像素的视差量；

视差量校正构件，构成为基于由所述变焦值获取构件获得的变焦值和由所述视差量计算构件计算出来的各个像素的视差量，通过图像处理校正所获得的多视点图像中的至少一个图像的各个像素的视差量，并且所述视差量校正构件构成为校正各个像素的视差量并且构成为重构多视点图像，使得即使所获得变焦值变化了，与被摄体距离相对应的视差量的差异也保持不变。

2.按照权利要求1所述的图像处理设备，其中

所述视差量校正构件这样校正各个像素的视差量：使得即使所获得的变焦值变化了，各被摄体的视差量也保持不变。

3.按照权利要求2所述的图像处理设备，其中

所述视差量校正构件使变焦起始点和变焦终止点处的视差量相同。

4.按照权利要求1所述的图像处理设备，其中

所述视差量校正构件这样校正各个像素的视差量：使得各个被摄体的立体图像随着所获得变焦值从广角侧朝向远景侧变化而变得更加接近观看者。

5.按照权利要求1到4中任何一项所述的图像处理设备，其中

所述视差量校正构件执行这样的校正：使得视差量从广角侧向远景侧非线性地变化。

6.按照权利要求1到4中任何一项所述的图像处理设备，其中

所述视差量校正构件这样校正各个像素的视差量：使得在最近距离与最远距离之间，被摄体距离不同的被摄体之间的视差量的差相对于变焦值的变化而保持不变。

7.按照权利要求1到4中任何一项所述的图像处理设备，其中

所述视差量校正构件这样校正各个像素的视差量：使得在所获得的变焦值正在变化的变倍期间，即使所获得的变焦值改变了，与被摄体距离相对应的视差量的差异也保持不变，和

所述视差量校正构件在所获得的变焦值停止变化时的变倍终止之后改变与被摄体距离相对应的视差量的差异。

8.按照权利要求7所述的图像处理设备，其中

所述视差量校正构件在变倍终止之后这样校正各个像素的视差量：使得与被摄体距离相对应的视差量的差异越靠近远景侧越大。

9.按照权利要求7所述的图像处理设备，其中

所述视差量校正构件在变倍终止之后以步进方式改变与被摄体距离相对应的视差量的差异。

10.按照权利要求7所述的图像处理设备，其中

所述视差量校正构件在变倍终止之后，在与变倍实质相同的时间长度内改变与被摄体距离相对应的视差量的差异。

11.按照权利要求1到4中任何一项所述的图像处理设备，此外还包括：

存储构件，构成为存储表示未校正的视差量、变焦值和校正后的视差量之间的对应关系的校正表，其中

所述视差量校正构件使用基于所获得的变焦值和所计算的各个像素的视差量而从校正表中获得的校正后的视差量来重构多视点图像。

12.按照权利要求11所述的图像处理设备，其中

所述存储构件存储多个校正表，这些校正表具有与变焦值的变化相应的不同的视差量校正量，和

所述视差量校正构件选择多个校正表中的任何一个来重构多视点图像。

13.按照权利要求12所述的图像处理设备，此外还包括

指令输入构件，构成为接受选择指令，按照该选择指令，从分别与多个校正表对应的多个模式中选择出一种模式，其中

所述视差量校正构件选择与通过所述指令输入构件选择的模式对应的校正表。

14.按照权利要求7所述的图像处理设备，此外还包括：

存储构件，构成为存储表示未校正的视差量、变焦值和校正后的视差量之间的对应关系的校正表，所述存储构件构成为存储第一校正表和第二校正表，在第一校正表中，即使变焦值改变了，与被摄体距离相对应的视差量的差异也保持不变，在第二校正表中，针对变焦值的变化来改变与被摄体距离相对应的视差量的差异，其中

所述视差量校正构件在变倍期间选择第一校正表，在变倍终止之后选择第二校正表，并且使用基于所获得的变焦值和所计算出来的各个像素的视差量而从所选择的校正表中获取的校正后的视差量，来重构多视点图像。

15.按照权利要求1到4中任何一项所述的图像处理设备，此外还包括：

计算构件，构成为基于所获得的变焦值和计算出来的各个像素的视差量来计算各个像素的校正后的视差量。

16.按照权利要求1到4中任何一项所述的图像处理设备，此外还包括：

记录构件，构成为记录视差量还没有被所述视差量校正构件校正的多视点图像或者视差量已经被所述视差量校正构件校正了的多视点图像。

17.按照权利要求16所述的图像处理设备，其中

所述图像获取构件从所述记录构件中获取视差量还没有进行过校正的多视点图像，并且

所述视差量校正构件校正从所述记录构件中获得的多视点图像的各个像素的视差量。

18.按照权利要求1到4中任何一项所述的图像处理设备，此外还包括：

设置信息输入构件，构成为接受用于对视差量校正中使用的值进行确定的设置信息的输入；和

视差量校正值计算构件，构成为基于通过所述设置信息输入构件输入的设置信息来计算各个像素的视差量的校正值。

19.按照权利要求18所述的图像处理设备，其中

所述设置信息包括多视点图像的显示尺寸。

20.按照权利要求18所述的图像处理设备，其中

所述设置信息包括最近被摄体和最远被摄体中至少一个的距离信息。

21.按照权利要求1到4中任何一项所述的图像处理设备，此外还包括：

视差量校正值计算构件，构成为基于所聚焦的像素的视差量，利用至少在远景端和广角端之一上设置的变焦值，来计算各个像素的视差量的校正值。

22.按照权利要求1到4中任何一项所述的图像处理设备，此外还包括：

电子变焦构件，构成为通过电子变焦改变所获得的多视点图像的放大倍数；

输出构件，其能够输出所获得的多视点图像；和

控制构件，构成为在变焦值改变的时候，通过所述电子变焦构件按照变焦值来改变紧接在该变焦值改变之前或之后的多视点图像的放大倍数，所述控制构件构成为通过所述视差量校正构件按照变焦值进行视差量校正，并且所述控制构件构成为将立体静止图像输出到所述输出构件，同时，当变焦值不改变时，所述控制构件将所述图像获取构件获得的多视点图像的立体运动图像输出到所述输出构件。

23.按照权利要求22所述的图像处理设备，其中

所述控制构件使得显示进行了变倍的立体静止图像的时间长度大于变焦值改变的时间段。

24.按照权利要求22所述的图像处理设备，其中

所述控制构件使得所述输出构件输出通过以步进方式改变放大倍率值而以步进方式进行了变倍的立体静止图像。

25.按照权利要求22所述的图像处理设备，其中

所述控制构件以渐现或渐隐方式进行立体静止图像的切换。

26.一种成像设备，包括

按照权利要求1到4中任何一项所述的图像处理设备，其中

所述图像获取构件包括成像透镜和成像装置，所述成像装置构成为对由所述成像透镜形成的被摄体图像进行成像。

27.按照权利要求26所述的成像设备，其中

所述成像透镜包括变焦透镜，和

所述变焦值获取构件获得变焦透镜的变焦值作为多视点图像的变焦值。

28.一种再现设备，包括：

按照权利要求1到4中任何一项所述的图像处理设备；和

再现构件，构成为以能够立体观看的方式再现重构的多视点图像。

29.一种使用图像获取构件和变焦值获取构件的图像处理方法，所述图像获取构件构成为获取包括多个视点图像的多视点图像，所述变焦值获取构件构成为获取由图像获取构件获得的多视点图像的变焦值，该方法包括：

视差量计算步骤，计算构成所获得的多视点图像的多个视点图像之间各个像素的视差量；和

视差量校正步骤，基于所获得的变焦值和计算出来的各个像素的视差量，通过图像处理来校正所获得的多视点图像中的至少一个图像的各个像素的视差量，并且校正各个像素的视差量并重构多视点图像，使得即使所获得变焦值变化了，与被摄体距离相对应的视差量的差异也保持不变。

Images