CN102457752B - 成像设备、图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明提供了成像设备、图像处理设备、图像处理方法和程序，其中公开的成像设备包括：多个成像单元；校正单元，其对于由多个成像单元拍摄的图像执行校正处理；以及控制单元，其计算校正单元中的校正处理所用的校正参数，其中，校正单元对于每个所拍摄的图像执行扭曲像差校正和手部振动校正，并且执行用于使得由多个成像单元拍摄的多个图像之间的特性相匹配的图像特性匹配校正处理。

Description

成像设备、图像处理设备、图像处理方法和程序

技术领域

本公开涉及成像设备、图像处理设备和图像处理方法以及程序。更具体地，本公开涉及能够校正由成像设备拍摄的图像的成像设备、图像处理设备、图像处理方法以及程序。

背景技术

近年来，诸如静态摄像机、视频摄像机、单透镜反射摄像机、内置在移动装置中的摄像机、内置在PC中的摄像机的成像设备被小型化并且它们的成本和重量也被减小了。然而，这些小型化并且重量轻的相机在诸如透镜的光学系统中具有许多限制。因此，可能容易发生例如由透镜像差所引起的图像劣化。

透镜扭曲像差(扭曲)是随着相机的变焦比率增加而容易发生的现象。透镜扭曲像差的具体示例如下：(a)桶形扭曲，所拍摄的图像向外侧像桶那样圆形歪斜，(b)枕形扭曲，图像的四个角像枕头那样拉长并伸展，以及(c)这两种扭曲类型的混合，例如，诸如透镜扭曲像差或胡子扭曲(mustachedistortion)。

可以通过改善透镜设计的精确度来在某种程度上防止扭曲像差，但是难以将其完全移除。特别地，在上述小型化、轻量化并且低成本化的相机中，实际难以使用被制造为具有高精确度的透镜。为了解决这个问题，近年来，已经发展了这样的相机，其具有通过经由图像处理执行几何变形来校正所拍摄的图像的扭曲的功能。

此外，伴随着相机的小型化和轻量化而产生的另一个问题是所拍摄的图像的稳定性由于用户手部的振动以及成像条件中的振动(在车辆中等)而劣化。用于抑制这种振动成分的技术代表性地包括通过将光引导到能够对透镜部分或图像传感器部分中的振动进行光学地消除的方向的技术(光学校正)以及通过消除与振动相对应的数据来获得进行成像之后的图像数据的技术(电子校正)。在这两种校正技术中，例如使用沿着水平和竖直方向(分别是X和Y方向)的两个轴来将振动成分划分为平移向量，并且计算每个校正量。然而，在实际中，手部的振动在许多情况下除了平移向量之外还包括旋转向量成分。因此，难以使用X和Y方向的平移校正来移除手部的这种旋转振动。

同时，因为两眼以特定间隔分离，通过该间隔，从不同方向观察物体并且空间偏移的图像聚焦在每个视网膜上，所以人类可以立体地观察物体。即，使用两眼之间的视差(parallax)来识别立体感。

用于使用成像设备来拍摄立体图像的所谓的立体相机，即，具有两个光学成像通道的相机也基于该原理。两个不同通道的图像被拍摄为立体图像的源。

因此，立体相机产生双通道图像(即，左眼图像和右眼图像)并且将其存储在存储器中。左眼和右眼图像被交替地显示在例如3D显示器上。观察者可以通过佩戴快门式眼镜并且仅用左眼或仅用右眼观看每个图像来观看立体图像。除了快门式眼镜技术之外的各种技术可以被用来显示3D图像。

虽然可以通过3D显示图像根据所拍摄的图像的视差来感受到深度感，但是立体相机对于图像的拍摄具有一些要求，以抑制观察者疲劳并实现舒适的观赏。具体地，有必要调节视差的设置或者精确地优化用于左眼图像和右眼图像的双通道光学成像系统的安装位置或方向。

因为用于立体相机的左眼图像和右眼图像的双通道光学成像系统的每个通道使用各自的透镜，所以各自产生分离的透镜扭曲像差。因此，为了移除扭曲像差，有必要对每个透镜进行独立的校正。

用于对通过现有技术的立体相机拍摄的两种类型的图像进行校正的示例性技术例如在日本未审查专利申请公报(PCT申请的翻译件)No.2008-524673。

如上所述，用于由相机拍摄的图像的图像校正处理包括透镜扭曲像差校正、手部平移振动校正和手部旋转振动校正。此外，在立体相机的情况下，根据许多其他目的，诸如双通道光学成像系统的视差校正的校正变得更加必要。

发明内容

期望提供一种能够对于由成像设备拍摄的图像执行各种其他类型的校正的成像设备、图像处理设备、图像处理方法和程序，诸如透镜扭曲像差校正、手部平移振动校正、手部旋转振动校正以及用于图像的双通道光学成像系统的视差校正。

根据本公开的第一实施例，提供了一种成像设备，包括：多个成像单元；校正单元，其对于由多个成像单元拍摄的图像执行校正处理；以及控制单元，其计算应用到校正单元中的校正处理的校正参数，其中，校正单元对于每个所拍摄的图像执行扭曲像差校正和手部振动校正，并且执行用于使得由多个成像单元拍摄的多个图像之间的特性相匹配的图像特性匹配校正处理。

在根据本公开的实施例的成像设备中，校正单元可以执行用于使得由多个成像单元拍摄的多个图像的变焦比率匹配的变焦比率校正处理，来作为图像特性匹配校正处理。

在根据本公开的实施例的成像设备中，校正单元可以执行用于使得由多个成像单元拍摄的多个图像的光轴中心匹配的光轴中心校正处理，来作为图像特性匹配校正处理。

在根据本公开的实施例的成像设备中，校正单元还可以执行用于调节由多个成像单元拍摄的多个图像的视差的视差校正处理。

在根据本公开的实施例的成像设备中，控制单元可以计算应用到校正单元中的校正处理的校正参数，并且将校正参数提供给校正单元。

在根据本公开的实施例的成像设备中，校正参数可以是应用到校正单元中的图像坐标变换的校正向量。

在根据本公开的实施例的成像设备中，校正单元可以包括：扭曲像差校正单元，其对于每个所拍摄的图像执行扭曲像差校正；手部旋转振动校正单元，其对于每个所拍摄的图像执行手部旋转振动校正；手部平移振动校正单元，其对于每个所拍摄的图像执行手部平移振动校正；变焦比率校正单元，其对作为由多个成像单元拍摄的多个图像的特性的变焦比率进行匹配；光轴中心校正单元，其对作为由多个成像单元拍摄的多个图像的特性的光轴中心进行匹配；以及视差校正单元，其执行用于调节由多个成像单元拍摄的多个图像的视差的视差校正处理。

在根据本公开的实施例的成像设备中，控制单元可以通过将应用到由校正单元执行的多个不同校正处理的校正向量相结合来计算结合校正向量，并且将结合校正向量提供给校正单元，并且通过应用结合校正向量，校正单元可以通过图像变换处理来一同执行多个不同的校正处理。

在根据本公开的实施例的成像设备中，控制单元可以计算通过将应用到扭曲像差校正处理、手部旋转振动校正处理、手部平移振动校正处理、变焦比率校正处理、光轴中心校正处理和视差校正处理中的每一者的校正向量相结合而获得的校正向量，并且将结合校正向量提供给校正单元，并且校正单元可以通过应用结合校正向量的图像变换处理来一同地执行扭曲像差校正处理、手部旋转振动校正处理、手部平移振动校正处理、变焦比率校正处理、光轴中心校正处理和视差校正处理。

在根据本公开的实施例的成像设备中，成像设备可以具有对应用到扭曲像差校正的、与成像单元相对应的扭曲像差数据进行存储的扭曲像差数据存储单元，并且控制单元可以基于从扭曲像差数据存储单元获得的数据来产生扭曲像差校正参数。

在根据本公开的实施例的成像设备中，成像设备可以具有对应用到光轴中心校正的光轴中心校正数据进行存储的光轴中心校正值存储单元，光轴中心校正用于使得作为由多个成像单元拍摄的多个图像的特性的光轴中心相匹配，并且控制单元可以基于从光轴中心校正值存储单元获得的数据来产生光轴中心校正参数。

在根据本公开的实施例的成像设备中，成像设备可以具有对应用到变焦比率校正的变焦比率校正数据进行存储的变焦比率校正值存储单元，变焦比率校正用于使得作为由多个成像单元拍摄的多个图像的特性的变焦比率相匹配，并且控制单元可以基于从变焦比率校正值存储单元获得的数据来产生变焦比率校正参数。

在根据本公开的实施例的成像设备中，成像设备可以具有对应用到视差校正的视差数据进行存储的视差数据存储单元，视差校正用于调节由多个成像单元拍摄的多个图像的视差，并且控制单元可以基于从视差数据存储单元获得的数据来产生视差校正参数。

根据本公开的第二实施例，提供了一种图像处理设备，包括：校正单元，其对于由多个成像单元拍摄的图像执行校正处理；以及控制单元，其计算应用到校正单元中的校正处理的校正参数，其中，校正单元对于每个所拍摄的图像执行扭曲像差校正和手部振动校正，并且执行用于使得由多个成像单元拍摄的多个图像之间的特性相匹配的图像特性匹配校正处理。

根据本公开的第三实施例，提供了一种在图像处理设备中执行的图像处理方法，方法包括：计算应用到校正单元中的校正处理的校正参数；以及通过应用校正参数，对于由多个成像单元拍摄的多个图像执行校正处理，其中，校正处理的执行包括对于每个所拍摄的图像执行扭曲像差校正和手部振动校正并且执行用于使得由多个成像单元拍摄的多个图像的特性相匹配的图像特性匹配校正处理。

根据本公开的第四实施例，提供了一种用于在图像处理设备中执行图像处理的程序，包括：计算应用到校正单元中的校正处理的校正参数；以及通过应用校正参数，对于由多个成像单元拍摄的多个图像执行校正处理，其中，校正处理的执行包括对于每个所拍摄的图像执行扭曲像差校正和手部振动校正并且执行用于使得由多个成像单元拍摄的多个图像的特性相匹配的图像特性匹配校正处理。

本公开的程序是例如使用用于能够执行各种程序或代码的信息处理设备、计算机或系统的存储介质来提供的程序。通过在信息处理设备、计算机或系统中的程序执行单元中执行这种程序来实现对应于程序的处理。

通过阅读基于本公开的实施例以及附图(下文中对其进行描述)的以下具体描述，本公开的进一步或其他目的、优点或特征将会变得更加清楚。此外，这里的系统指的是多种装置的逻辑集合构造，并且不一定在相同的壳体中容纳每个装置。

根据本公开的实施例，可以提供能够有效并可靠地实现用于所拍摄的图像的多个不同图像校正处理的构造。具体地，可以提供能够可靠地执行变焦比率校正、扭曲像差校正、手部平移振动校正、手部旋转振动校正、光轴中心校正和视差校正的构造。此外，可以提供能够通过一同执行这些校正处理来实现有效处理的构造。特别地，对于在两个不同视点处拍摄两种不同类型图像的立体相机所必需的变焦比率校正、光轴中心校正以及视差校正来说，可以通过对来自两个成像单元的摄像图像的至少一者进行校正来提供高质量的3D图像。此外，通过将应用到每个校正处理的校正向量结合来计算结合校正向量并且将结合校正向量应用到校正，可以实现有效并可靠的校正。

附图说明

图1A和图1B是示出了根据本公开的第一实施例的成像设备的构造示例的图。

图2A和图2B是示出了根据本公开的第二实施例的成像设备的构造示例的图。

图3A和图3B是示出了根据本公开的第三实施例的成像设备的构造示例的图。

图4A和图4B是示出了扭曲像差的图。

图5是示出了手部振动传感器的构造和安装示例的图。

图6是示出了变焦位置与手部振动传感器的增益值之间的关系的图。

图7A和图7B是示出了扭曲像差校正向量与手部平移振动校正向量的图。

图8A到图8E是示出了手部旋转振动校正向量的图。

图9A和图9B是示出了视差校正向量的图。

图10是示出了用于扭曲像差校正和手部旋转振动校正的加法向量的示例性设置的图。

图11是示出了扭曲像差校正和手部旋转振动校正的校正示例的图。

图12是示出了由根据本公开的实施例的图像处理设备执行的图像校正处理的顺序的流程图。

图13是示出了由根据本公开的实施例的图像处理设备执行的图像校正处理的顺序的流程图。

图14是示出了根据变焦或聚焦透镜位置来设置并获得校正数据的示例性处理的图。

图15是示出了作为变焦比率校正处理所用的变焦比率校正参数的示例性校正向量的图。

图16A和图16B是示出了用于产生插值向量的示例性处理和代表点的示例性设置的图。

图17是示出了作为光轴中心校正处理所用的光轴中心校正参数的校正向量的图。

图18是示出了在通过使用每个校正单元应用校正向量来执行校正处理时的示例性处理的图。

图19是示出了校正向量的示例性加法处理示例的图。

图20A到图20C是示出了校正向量的加法处理示例的图。

具体实施方式

下文中，将会参照附图描述本公开的成像设备、图像处理设备和图像处理方法以及程序。将会按照以下顺序进行描述。

1.成像设备中的构造和处理

1-1.第一实施例的构造

1-2.第二实施例的构造

1-3.第三实施例的构造

2.本公开的设备中的处理的细节

3.成像设备中的图像校正处理的顺序

3-1.各个校正处理的校正顺序

3-2.用于一同执行多个校正处理的校正的顺序

4.作为与校正目的相对应的校正参数的校正向量

4-1.(a)作为变焦比率校正处理所用的变焦比率校正参数的校正向量

4-2.(b)作为扭曲像差校正处理所用的扭曲像差校正参数的校正向量

4-3.(c)作为手部旋转振动校正处理所用的手部旋转振动校正参数的校正向量

4-4.(d)作为手部平移振动校正处理所用的手部平移振动校正参数的校正向量

4-5.(e)作为光轴中心校正处理所用的光轴中心校正参数的校正向量

4-6.(f)作为视差校正处理所用的视差校正参数的校正向量

5.结合校正向量的处理的具体示例

1.成像设备中的构造和处理

下文中，将会参照图1A和图1B描述作为根据本公开的图像处理设备的示例的成像设备的构造和处理示例。根据本公开的成像设备执行用于移除由于各种原因(诸如在光学成像系统中产生的透镜扭曲像差，或者由操作者或操作条件产生的手部振动(例如包括手部平移振动或手部旋转振动))而产生的图像质量劣化的图像校正。

特别地，在具有多个成像系统的设备中(诸如立体相机)，扭曲像差校正、手部平移振动校正、手部旋转振动校正以及用于调节每个输出图像的位置关系的视差校正等由每个成像系统最佳地执行。例如，通过在3D图像显示设备上输出经过这种校正处理而产生的图像，可以使得观察者舒适地观察高质量图像，而不感觉到疲劳或感觉到不适。

被执行为用于图像的校正处理的图像校正处理(诸如扭曲像差校正、手部平移振动校正、手部旋转振动校正以及视差校正)可以通过图像的几何变换或坐标变换来实现。因此，通过例如根据每种目的增加所实行的校正成分并执行图像校正，可以同时处理多种类型的校正并且可以实现有效的校正。

现在将会描述根据本公开的成像设备的多个实施例。实施例包括诸如扭曲像差校正、手部平移振动校正、手部旋转振动校正以及视差校正的每个校正处理被独立地执行的实施例以及这些校正处理被一同执行的实施例。

1-1.第一实施例的构造

图1A和图1B是示出了本公开的成像设备的实施例的构造图。图1A和图1B中示出的成像设备是具有用于拍摄左眼和右眼图像的双通道成像单元(即，图1A的第一成像单元111和第二成像单元121)的立体相机。

除了用于收集入射光并形成图像的透镜组112(一个或多个透镜的单元)之外，第一成像单元111包括用于对透镜组112的输出光进行成像的图像传感器113(诸如CCD或CMOS)、用于对透镜组112中的预定透镜进行驱动以读取其位置的透镜驱动单元114、存储透镜组112的扭曲像差数据的扭曲像差数据存储单元115以及安装在光学成像单元附近以检测其振动的手部振动传感器116。

第二成像单元121也具有与第一成像单元111类似的构造，并且包括透镜组122、图像传感器123、透镜驱动单元124、扭曲像差数据存储单元125和手部振动传感器126。

存储在扭曲像差数据存储单元115和125中的扭曲像差数据表示与每个成像单元的透镜组112和122相对应的扭曲像差类型。扭曲像差数据具有透镜组的固有值并且通过变焦位置等改变。因此，扭曲像差数据存储单元115和扭曲像差数据存储单元125中的每一者存储与从广角端延伸到摄远端(该范围的每个成像单元的透镜组112和122所允许的变焦范围)的数个代表变焦位置相对应的扭曲相差数据。除了多个变焦位置之外，可以存储与聚焦位置相对应的扭曲像差数据。

在每个成像单元111和121中，变焦透镜或聚焦透镜上的位置信息可以被从透镜驱动单元114或124发送到控制单元172。此外，根据透镜位置的扭曲像差数据可以被从扭曲像差数据存储单元115或125读取出并且提供给控制单元172。控制单元172基于这种输入值计算用于在所拍摄的图像中校正扭曲像差的扭曲像差校正值，并且将它们输出来作为由扭曲像差校正单元153执行的扭曲像差校正的参数。

每个成像单元111和121的手部振动传感器116和126被安装到成像单元附近并且将对应于手部振动类型的、包括振动量或振动方向的输出电信号作为手部振动数据输出到控制单元172。控制单元172基于从透镜驱动单元114和124获得的变焦透镜或聚焦透镜的位置来调节从手部振动传感器116和126输入的手部振动数据，计算手部旋转振动校正值或手部平移振动校正值，并且将这些值作为校正参数输出到用于执行手部旋转振动校正的手部旋转振动校正单元154或用于执行手部平移振动校正的手部平移振动校正单元155。

在图1A和图1B的成像构造的示例中，也就是说，第一成像单元111和第二成像单元121被分别用作为用于拍摄右眼图像的右相机和用于拍摄左眼图像的左相机，其中右眼图像和左眼图像用于3D显示。在这种配置中，成像单元111和121分别从图像传感器113和123读取输出信号，并且在使用切换复用单元141对输出信号以规则时间间隔进行切换以将其转换为预定格式的图像信号的同时，输出信号输出信号被分别输出到一组相机信号处理单元151。

对于输入到相机信号处理单元151的图像信号来说，使用附图中的变焦比率校正单元152到视差校正单元157依次执行校正处理。用于由变焦比率校正单元152到视差校正单元157执行的校正处理的参数一部分是由控制单元172计算的。控制单元172从每个成像单元111和121接收以下数据：来自透镜驱动单元114和124的变焦/聚焦位置信息；来自扭曲像差数据存储单元115和125的扭曲像差数据；来自手部振动传感器116和126的手部振动数据；来自光学系统视差数据存储单元131的视差数据；来自变焦比率校正值存储单元132的变焦比率校正数据；以及来自光轴中心校正值存储单元133的光轴中心校正数据；并且计算用来在变焦比率校正单元152和视差校正单元157中执行校正的参数。所计算的参数被提供给用于执行校正的变焦比率校正单元152和视差校正单元157。

变焦比率校正单元152到视差校正单元157通过应用从控制单元172接收的校正参数来执行每个图像校正处理。通过在变焦比率校正单元152到视差校正单元157中每一者中进行执行而获得的经校正的图像被临时地存储在图像数据存储单元171中，并且每个校正单元从图像数据存储单元171提取之前阶段的校正单元的校正结果并且执行校正。

变焦比率校正单元152到视差校正单元157通过以规则的时间间隔交替地切换由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像来执行校正处理。即，切换复用单元141通过以规则的时间间隔对由第一成像单元111拍摄的图像和右第二成像单元121拍摄的图像进行切换，来将它们输出。控制单元172响应于切换时机来计算应用于每个图像的校正的参数(例如校正向量)并且将参数提供给变焦比率校正单元152到视差校正单元157。

变焦比率校正单元152根据在成像时使用的变焦比率来执行诸如图像的放大/缩小的校正。具体地，校正处理包括用于将多个图像(包括一对由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像)的变焦比率匹配的处理，即，用于使得多个图像的特性匹配的图像特性匹配处理。

控制单元172基于从透镜驱动单元114和124输入的变焦比率信息来从变焦比率校正值存储单元132获得变焦比率校正数据，并且将它们作为校正参数提供给变焦比率校正单元152。变焦比率校正单元152通过应用输入参数来执行校正。

如图1A和图1B所示，在存在多个成像单元的情况下，即使在所拍摄的图像被设置在用户所在的变焦位置时，仍然可能在每个成像单元之间存在变焦透镜的位置或光学变焦比率的微小差异，使得所得到的多个图像可能略有不同。在使用由图1A和图1B所示的第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像来产生3D图像(立体图像)的情况下，显著地减小这种变焦比率的差异也是很重要的。

变焦比率校正值存储单元132保持用于显著地减小这种变焦比率的差异的校正值。控制单元172根据变焦透镜或聚焦透镜的条件来从变焦比率校正值存储单元132读取校正值，基于该读取值计算变焦比率校正参数并且将其提供给变焦比率校正单元152。变焦比率校正单元152根据变焦比率校正参数对于图像执行放大/缩小处理，以根据在成像时设置的变焦比率产生变焦比率校正图像。此外，变焦比率校正单元152处理由多个成像单元拍摄的单个图像或多个图像中的每一者并且调节彼此之间的变焦比率(匹配)。

扭曲像差校正单元153执行在所拍摄的图像中产生的透镜扭曲像差的校正。由控制单元172计算校正处理所用的参数。控制单元172根据从透镜驱动单元114和124获得的变焦透镜位置信息从扭曲像差数据存储单元115和125读取必要的扭曲像差数据，并且计算扭曲像差校正参数。所计算的参数被提供给扭曲像差校正单元153，并且扭曲像差校正单元153通过应用所输入的参数来执行校正。通过扭曲像差校正，每个像素的坐标被变换为能够形成没有扭曲像差的图像的坐标，使得可以基于目标的形状获得具有保真度的图像信号。

手部旋转振动校正单元154对于已经校正了扭曲像差的图像信号校正手部旋转振动。此外，手部平移振动校正单元155校正手部的上/下/左/右平移移动的振动以使得图像稳定。控制单元172计算手部振动校正所用的参数并且将该参数提供给手部旋转振动校正单元154和手部平移振动校正单元155。

控制单元172从手部振动传感器116和126读取手部旋转振动数据或手部平移振动数据，并且输入从透镜驱动单元114和124获得的变焦位置/聚焦位置。控制单元172基于这种输入值计算手部旋转振动校正和手部平移振动校正所用的参数。此外，结合第一成像单元111和第二成像单元121中的切换复用，切换地读取从透镜驱动单元114或124获得的变焦位置/聚焦位置或从手部振动传感器116和126获得的手部旋转振动数据/手部平移振动数据。

通过由手部旋转振动校正单元154和手部平移振动校正单元155执行的手部振动校正，通过手部振动混合地产生的振动被划分为手部旋转振动，以及手部上/下/左/右平移振动，并且每种类型振动被减弱或移除。在输出图像中，因为没有振动所以可以观察静止的物体，因此可以向用户提供具有稳定性的高质量图像。

光轴中心校正单元156对于从两个成像单元111和121获得的一对输出图像执行光轴中心的校正。通过使用图像显示单元159执行诸如交替的切换显示的3D图像显示处理，可以由用户将从两个成像单元111和121获得的一对输出图像观察为立体图像(3D图像)。然而，根据第一和第二成像单元111和121的光学成像系统的安装位置，在图像中存在微小的差异，因此光轴中心可以不同。光轴中心校正单元156对于从一对成像单元111和121拍摄的输出图像进行光轴中心的校正，使得可以提供最优的位置关系。具体地，光轴中心校正单元156执行使得包括由一对第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像的多个图像匹配的处理，即，图像特性匹配校正处理。

控制单元172从光轴中心校正存储单元133获得光轴中心校正数据，并将其提供给光轴中心校正单元156。光轴中心校正单元156基于校正值来执行校正。

在如图1A和图1B所示的包括多个成像单元的构造中，根据图像传感器和透镜单元的安装(组装)精确度，穿过透镜单元的光轴的中心在成像传感器上略微地偏离，以使其不与所获得的图像中心匹配。此外，所获得的多个图像的光轴中心坐标可能不彼此匹配。因为这种光轴中心在光学变焦或透镜的扭曲像差中作为基准，所以有必要执行将它们匹配的处理，即，光轴中心校正处理，其作为使得由成像单元111拍摄的图像与由成像单元121拍摄的图像之间的光学中心坐标匹配的处理。

光轴中心校正值存储单元133存储作为用于校正的光轴中心校正数据的校正值。根据变焦透镜/聚焦透镜条件，控制单元172从光轴中心校正值存储单元133读取校正值，并且计算提供给光轴中心校正单元156的校正参数，例如，用于对由一对成像单元拍摄的图像的中心进行匹配的校正向量。光轴中心校正单元156对于由多个成像单元拍摄的单个图像或多个图像中的每一者执行处理，并且执行用于将光轴中心的坐标彼此匹配的校正处理。

视差校正单元158对于从两个成像单元111和121拍摄的一对输出图像执行视差校正。视差校正单元158基于由控制单元172计算的视差校正参数执行视差校正。在使用从透镜驱动单元114和124获得的聚焦位置或变焦位置时，可以知道主要目标离成像设备的距离是多少。控制单元172计算该距离，根据两个成像单元111和121的分离间隔来从光学系统成像数据存储单元131读取视差数据，计算视差校正参数并且将其提供给视差校正单元158。视差校正单元158使用该参数执行用于校正视差扭曲的视差校正。

通过以上校正处理，用户可以舒适地观察立体图像，疲劳的感觉以及不适的感觉被抑制到最小。此外，作为由视差校正单元158执行的视差扭曲校正处理，例如可以采用在日本未审查专利申请公报No.2008-524673中公开的处理。

因此获得的3D图像(立体图像)被显示在图像显示单元159上。此外，如果必要的话，由数据压缩单元158执行压缩处理，以减小尺寸，并且所得到的3D图像被输出到图像存储介质/输入输出端子160，因此进行用于存储单元或外部输出处理的存储处理。

如图1A和图1B所示，每个校正处理单元将控制数据或设置参数发送到控制单元172或从其接收控制数据或设置参数。此外，每个校正单元从图像数据存储单元171获得校正对象图像并存储校正结果。此外，每个校正处理单元可以直接地发送/接收图像数据或者可以经由图像数据存储单元171发送/接收图像数据。

1-2.第二实施例的构造

图2A和图2B的成像设备示出了根据本公开的第二实施例的成像设备。图2A和图2B的成像设备包括两个成像单元中的每一者都各自具有校正处理单元以及其后的相机信号处理单元的构造。

即，对于来自第一成像单元111的输出信号，校正处理由相机信号处理单元151、变焦比率校正单元152、扭曲像差校正单元153、手部旋转校正单元154、手部平移振动校正单元155、光轴中心校正单元156和视差校正单元157执行。

同时，对于来自第二成像单元121的输出信号，校正处理由相机信号处理单元201、变焦比率校正单元202、扭曲像差校正单元203、手部旋转振动校正单元204、手部平移振动校正单元205、光轴中心校正单元206和视差校正单元207执行。因此，根据本实施例对于每个成像单元提供双处理通道。

例如，在每个成像单元中作为各自的数据来获得扭曲像差数据、手部旋转振动数据和手部平移振动数据等，并且它们被输入到控制单元172，使得对应每个成像单元的校正参数被计算并提供给每个处理通道的每个校正单元。因此，通过提供与每个成像单元对应的各自的信号处理通道并且并行地操作它们，可以获得速度的增加。此外，在图2A和图2B中示出的构造中，用于在校正过程中存储图像的图像数据存储单元如图所示，与第一成像单元111的输出相对应的图像数据存储单元171和与第二成像单元121的输出相对应的图像数据存储单元211具有使其各自地设置的构造。

1-3.第三实施例的构造

图3A和图3B示出了根据本公开的第三实施例的成像设备。在图3A和图3B的成像设备中，图1B的变焦比率校正单元152、扭曲像差校正单元153、手部旋转校正单元154、手部平移振动校正单元155、光轴中心校正单元156和视差校正单元157被替换为单个图像变换校正单元251。

图1B的变焦比率校正单元152、扭曲像差校正单元153、手部旋转校正单元154、手部平移振动校正单元155、光轴中心校正单元156和视差校正单元157中执行的校正处理被在图像变换校正单元251中一同处理。因为由图1A和图1B的每个校正单元执行的每种校正是一种坐标变换处理，可以通过将它们中的两种以上或者全部结合来同时对它们进行处理。通过这种同时处理，装置可以得到简化并且可以获得低的成本以及低的电力消耗。此外，通过结合多个这种校正单元，可以显著地简化朝向/来自图像数据存储单元的图像数据的通信，因此可以以增加的速度以及低的电力消耗进行处理。

在图3A和图3B的实施例中，与图1A和图1B的构造类似，手部振动传感器116和126以及扭曲像差数据存储单元115和125被各自设置在第一和第二成像单元111和121的每一者中。与图1A和图1B的构造类似，与图像信号的转换复用同步地对目的地进行切换。相反，因为在相同的成像设备中存在两个成像单元，所以手部振动的值和透镜扭曲像差的特性可以被相同地对待，并且手部振动传感器和扭曲像差数据存储单元可以被简化为每个成像单元中的共用构造单元，而不需要独立地设置它们。即，可以设置仅一个手部振动传感器以及仅一个扭曲像差数据存储单元，并且可以由多个成像单元共享信息。

2.本公开的设备中的处理的细节

之后，将会详细描述本公开的图像处理设备中执行的每个处理。首先，将会参照图4A和图4B描述扭曲像差的示例。图4A和图4B示出了具有透镜扭曲像差的图像。图4A示出了图像向外侧像桶那样圆形歪斜的桶形扭曲，并且图4B示出了图像的四个角像枕头那样拉长并伸展以产生歪斜的枕形扭曲。此外，存在两种类型的混合(例如，胡子扭曲)。根据预先存储在扭曲像差数据存储单元中的扭曲像差数据的值(参数)，参照图1到图3描述的本公开的图像处理设备的扭曲像差校正单元或图像变换校正单元能够容易地对于(a)桶形扭曲、(b)枕形扭曲或者两种类型的混合中的任意一者进行校正。

图5是示出了手部振动传感器的安装示例的图。作为用于手部振动的检测装置，存在诸如陀螺仪传感器的机械检测装置以及通过多个图像中的图像处理检测运动向量的检测装置。根据本公开，任何装置可以被用作手部振动传感器。

诸如陀螺仪传感器的机械检测装置的示例包括以如图5所示的柱形检测旋转速度的陀螺仪传感器。为了检测手部旋转振动和手部平移振动的值，有必要对于与成像单元的图像视角水平振动的手部平移振动(沿着X方向的图像移动)、成像单元竖直振动的手部平移振动(沿着Y方向的图像移动)以及关于与成像单元的光轴相平行的轴线的旋转振动相对应的三个轴，提供彼此垂直的三个手部振动传感器。此外，手部振动传感器被安装地非常接近成像单元，以获得精确的值。在两个以上成像单元的情况下，每个手部振动传感器可以对于每个成像单元安装在最优的位置，或者单个手部振动传感器可以被安装在对于成像单元之间的共用合适的位置。可以使用任意一种构造。

图6示出了与变焦透镜的位置相对应的手部振动传感器值的调节增益。如果手部振动检测装置是诸如陀螺仪传感器的机械检测装置，并且手部振动校正单元是电子式(其中图像信号被移动并裁剪)，即使具有相同的手部振动传感器值，对于图像的上/下/左/右校正量随着变焦透镜位置接近摄远位置而增加。因此，用于调节增益的查找表是必要的。在控制单元中执行该查找表的参照或手部振动值的调节。此外，手部振动校正处理例如在日本专利注册No.3279342中公开。

作为手部振动检测装置的另一个示例，存在动作向量检测装置。在该技术中，存储了以固定时间间隔拍摄并获得的多个图像，并且通过图像处理从多个这些图像中提取动作向量。通过这些处理，可以获得旋转动作向量，以及平移动作向量，此外，这种处理构造例如在日本专利注册No.4212109(PanasonicCorp.转让)以及4487811(SONYCorp.转让)中公开。

图7A示出了用于受到桶形扭曲像差的图像的校正向量的示例性设置。图像中示出的向量(箭头)是校正向量。如果在拍摄垂直地延伸经过长度和宽度的栅格形物体的图像时产生了桶形扭曲像差，在所获得的图像中延伸经过长度和宽度的直线像桶那样向外膨胀并歪斜。用于校正这种现象的向量被设置为使得图像根据离开透镜中心的距离而朝向透镜外周扩大，如图7A所示。通常，离透镜中心越远，朝向透镜外周的校正向量大小越大。

图7B是示出了用于受到手部平移振动的图像的校正向量的示例性设置。图像中示出的向量(箭头)是校正向量。图7B的示例示出了用于这种图像的校正向量的示例性设置，在该图像中，由于在获得图像的同时从右上到左下的移动而产生了手部平移振动。

通常，图像传感器使用从略微更大的图像中裁剪出的、接近中心的必要图像。然而，在成像设备由于手部振动而竖直地或水平地振动的情况下，可以通过将由图像传感器获得的整个图像移动与振动量相同的量并且裁剪必要的图像来消除振动。即，在这种处理中，使用具有相同大小和相同方向的向量来均匀地校正整个图像。

可以通过从已经参照图5描述的X轴振动传感器和Y轴振动传感器获得值、计算计算校正值并且将位置移动与这些值相同的量，来校正手部平移振动。在这种情况下，因为裁剪位置可以在图像传感器读取期间移动，所以从图像传感器读取整个图像，执行特定处理，并且之后可以移动用于在图像数据存储单元中存储图像数据的写入地址或读取地址。

图8A到图8E是示出了对于受到手部旋转振动的图像的校正向量的示例性设置的图。图像中示出的向量(箭头)是校正向量。图8A到图8E中的全部所获得的图像受到成像设备侧的手部旋转振动。因此，虽然拍摄了顺时针倾斜的图像，但是根据在图像中的哪个位置设置旋转校正的中心来改变校正向量的设置。旋转校正的中心没有必要位于实际旋转振动的中心。因为在设置校正向量时虚拟地设置旋转校正的中心，所以可以将其基本设置在图像中的任何位置。旋转校正的中心优选地不与图像显著地分离，以保持校正向量的设置值的精确度。然而，可以将其任意地设置在图像的内侧或外侧。

在图8A中，旋转校正的中心设置在图像的右下角附近(在图像的内侧或外侧)。因此，校正向量被设置为关于该点逆时针旋转。此外，校正向量的大小随着离开旋转校正的中心的距离增加而增加。

旋转校正的中心位于图8B中的图像的左下、图8C中的图像的右上、图8D中的图像的左上以及在图8E中的图像的中心附近。如图8A到图8E所示，即使在具有相同手部旋转振动的输入图像中，校正向量的大小和方向的设置根据旋转校正的中心位置的设置来改变。

图9A和图9B是示出了视差校正的示例的图。图9A示出了由第一成像单元拍摄的图像，以及由第二成像单元拍摄的图像。

图9A中由第一成像单元拍摄的图像中示出的向量(箭头)是视差校正向量。在上述图1A和图1B的实施例的处理顺序中，视差校正单元157的输入图像是受到变焦比率校正单元152到光轴中心校正单元156中的每个校正处理的图像。在此时间点处，有必要对于由第一成像单元111拍摄的图像以及由第二成像单元121拍摄的图像仅执行视差校正。由第一成像单元111拍摄的图像以及由第二成像单元121拍摄的图像彼此略微地不同。

视差校正单元157从光学系统视差数据存储单元131获得校正数据并且对于由第一成像单元111拍摄的图像以及由第二成像单元121拍摄的图像中的至少一者执行视差校正，使得包括这两个图像的立体图像具有期望的视差。通常，视差校正可以通过移动图像并按照需要执行放大/缩小处理来实现。根据成像设备具有每个目标的距离，可以应用调节视差校正数据的情况以及使用固定数据的情况中的任何一者。

例如，因为通过参照图7到图9的描述可以很清楚地看到，可以使用坐标变换处理来处理扭曲像差校正、手部平移振动校正和手部旋转振动校正以及视差校正。通过手部平移振动校正，可以借助于水平和竖直平移运动在整个窗口上均匀地产生校正向量，并且图像也可以移动。在扭曲像差校正和手部旋转振动校正中，根据图像中的位置来设置校正向量。因此，通过结合这两个校正向量，可以使用与上述图3A和图3B的图像变换校正单元251类似的单个校正单元来同时执行校正处理。

图10示出了通过将参照图7A描述的桶形扭曲像差校正所用的校正向量与在旋转中心存在于图8E中示出的图像中的情况下旋转校正处理所用的校正向量的二者结合而获得的向量的示例性设置。在图像中示出的向量(箭头)是通过将桶形扭曲像差校正与旋转校正结合而执行的校正向量。

在窗口中的每个坐标中，如果多个向量被相加来作为坐标变换，可以结合校正值。通过将用于各种校正处理的向量设置为校正向量的单个结合并且通过使用与图3B的图像变换校正单元251类似的单个校正单元应用结合校正向量来执行坐标变换处理，可以同时执行多个类型的校正处理。

虽然图10示出了用于扭曲像差校正和手部旋转振动校正的结合处理示例，包括手部平移振动校正、视差校正等的校正向量的其他向量可以被结合。通过使用这些结合校正向量的坐标变换处理，多个类型的校正处理可以被同时地执行。

图11示出了在校正之前和之后受到桶形扭曲像差和手部旋转振动的图像。在两个光学成像单元中，获得了具有桶形扭曲像差和手部旋转振动的图像，并且两个图像之间的微小差异与它们安装位置之间的差异相同。由于如图9A所示的透镜扭曲像差，所获得的两个图像都像桶那样圆形膨胀，并且关于与透镜光轴平行的轴线产生手部旋转振动。对于这些图像，通过执行桶形扭曲像差校正和手部旋转振动校正，它们返回垂直地延伸经过长度和宽度的栅格形目标(或者减轻了扭曲)。此外，还校正了双眼视差，因此在用户可以舒适地观察图像的状态下获得了最终输出图像。

3.成像设备中的图像校正处理的顺序

之后，将会描述根据本公开的成像设备中的图像校正处理的顺序。

3-1.各个校正处理的校正顺序

图12和图13是示出了在根据本公开的成像设备中的图像校正处理的处理程序的流程图。

图12示出了对应于图1A和图1B或图2A和图2B中示出的装置的处理流程。即，图12示出了具有与每个处理目的相对应的各个校正单元的装置中的图像校正处理的顺序流程。图13示出了与图3A和图3B的装置相对应的处理流程。即，图13示出了在具有一同地执行与多个校正目的相对应的多个校正处理的图像变换校正单元251的装置中的图像校正处理的顺序流程。

首先，将会参照图12的流程描述图1A和图1B或图2A和图2B的装置(即，具有与每个处理目的相对应的各个校正单元的装置)的图像校正处理的顺序。

首先，在步骤S101中使用两个成像单元的图像传感器执行曝光，并且成像光被转换为电信号并由在步骤S102中由图像传感器读取。在由图像传感器读取的图像中，由于成像单元的透镜的特性产生扭曲像差，并且在各种成像条件下产生用户手部振动或图像振动。此外，光学变焦比率可能由于成像单元的透镜单位中的变化而不会彼此精确地匹配，或者光轴中心的坐标可能由于透镜单元与图像传感器之间的安装变化而不会彼此匹配。此外，根据成像单元的安装位置的距离，从两个成像单元的图像传感器输入的两个图像具有视差。

在步骤S103中，当在图1A和图1B的构造中被以规则时间间隔在切换复用单元141中切换的同时，在两个成像单元中拍摄的两个图像信号被输出到摄像信号处理单元151。在图2A和图2B的构造的情况下，在两个成像单元中拍摄的两个图像信号被独立地输出到相应的相机信号处理单元151和201。在步骤S104中，相机信号处理单元执行用于将图像信号转换为适合于校正单元的预定格式的处理。

之后，在步骤S105中，控制单元从透镜驱动单元读取变焦透镜位置和聚焦透镜位置。

之后，在步骤S106中，控制单元根据这种所获得的值执行读取在校正处理中必要的数据的处理或者计算每个校正单元中所用的校正参数的计算的校正值。此外，按照需要执行校正值的插值处理(即，在难以从校正值存储单元直接获得校正值的情况下，从多个校正值计算必要的校正值)等。作为插值处理，例如，可以执行使用相邻校正值等的线性插值。

具体地，例如，执行以下处理。

所述处理包括：从透镜驱动单元获得变焦/聚焦位置并且计算变焦比率校正值以将其提供给变焦比率校正单元的处理；在成像期间从扭曲像差数据存储单元读取与每个透镜位置相对应的扭曲像差数据的处理，即，获得扭曲像差数据以计算扭曲像差计算单元中的扭曲像差校正处理所用的参数、从光轴中心校正值存储单元获得光轴中心校正单元中的校正所用的光轴中心校正数据以及获得视差数据以将其从光学系统视差数据存储单元提供给视差校正单元的处理；以及用于在难以直接获得校正值的情况下计算校正值的插值处理。

作为用于校正的每个校正处理(诸如由本公开的设备执行的光学变焦比率校正、透镜扭曲像差校正、光轴中心坐标校正和视差校正)中所用的数据，应用例如从图1A和图1B的每个构造单元获得的以下数据。所述数据包括：从透镜驱动单元114和124获得的变焦/聚焦位置信息；从扭曲像差数据存储单元115和125获得的扭曲像差数据；从光学系统视差数据存储单元131获得的视差数据；从变焦比率校正值存储单元132获得的变焦比率校正数据；以及从光轴中心校正值存储单元133获得的光轴中心校正数据。

扭曲像差数据存储单元115和125、光学系统视差数据存储单元131、变焦比率校正值存储单元132以及光轴中心校正值存储单元133预先存储与各个变焦透镜或聚焦透镜的位置相对应的数据。

图14是示出了这种数据被离散地存储的状态的图。在变焦透镜或聚焦透镜在可移动范围的端-端之间致动的构造中，提供了透镜位置的数个代表点(pos0到posN)，并且每个校正值被离散地存储在这些点。在附图的示例中，代表点(posX)被设置为具有相等的距离。作为与这种代表点相对应的校正值的数据被离散地存储在扭曲像差数据存储单元115和125、光学系统视差数据存储单元131、变焦比率校正值存储单元132和光轴中心校正值存储单元133中。

代表点可以被布置在相等距离处，或者可以被密集地设置在数据转换率较大的范围内。在除了代表点之外的任意透镜位置中，通过插值处理来基于相邻设置值计算校正值。例如在控制单元中执行插值值计算。

如图14所示，例如，可以从数据存储单元获得代表点1(pos1)的校正值和代表点2(pos2)的校正值。然而，在实际成像时的透镜位置是代表点1(pos1)与代表点2(pos2)之间的位置P时，获得代表点1(pos1)的校正值和代表点2(pos2)的校正值，并且基于这些校正值，通过一次插值计算与代表点1(pos1)和代表点2(pos2)之间的透镜位置相对应的校正值。此外，通过增加点的个数(诸如代表点0(pos0)和代表点3(pos3))，可以通过更高次的插值来获得校正值。

此外，从光学系统视差数据存储单元读取的视差数据是与目标距离相对应的视差数据。控制单元在从透镜驱动单元成像时获得各个透镜位置信息，基于所获得的透镜位置信息计算离开所拍摄的图像中的主要目标的距离，并且从视差数据存储单元获得用于根据距离调节双眼视差的视差数据。

返回图12的流程来继续进行描述。在步骤S106的处理终止之后，在步骤S107和S108中，从手部振动传感器获得对于包括水平、竖直和旋转方向的三个通道的手部振动传感器值，并且根据预先参照图6描述的变焦透镜位置与手部振动传感器值的调节增益之间相关数据等，基于每个透镜位置来调节所获得的手部振动传感器值，以计算用于对提供给手部旋转振动校正单元和手部平移振动校正单元的校正参数进行计算的手部振动传感器值的调节值。

首先，如参照图6描述的，即使在手部振动传感器值相同时，随着变焦透镜位置更靠近摄远侧，在竖直/水平方向上更大的手部振动出现在图像上。控制单元从含有这种值的查找表将图6的调节增益值读取到存储器中，并且将其与由手部振动传感器读取的值相乘，以调节来自手部振动传感器的输入值。

步骤S109到S114的处理是计算图1和图2的每个校正单元中的校正处理所用的校正参数的处理。该参数计算处理由控制单元执行。此外，参数计算中必要的数据可以被从控制单元提供给每个校正单元，使得可以在每个校正单元中计算参数。

在步骤S109中，变焦比率校正单元计算变焦比率校正参数。基于由控制单元根据从透镜驱动单元获得的变焦/聚焦位置信息计算的变焦比率校正值来设置变焦比率校正参数。在步骤S110中，扭曲像差校正单元计算扭曲像差校正参数。基于与在成像时从扭曲像差数据存储单元读取的每个透镜位置相对应的扭曲像差数据来计算扭曲像差校正参数。

在步骤S111中，手部旋转振动校正单元计算手部旋转振动校正参数。基于在步骤S107到S108中从手部振动传感器读取的手部旋转振动传感器的调节值(即，基于参照图6描述的手部振动传感器的调节增益与变焦透镜位置之间的关系数据等来调节的调节值)来计算手部旋转振动校正参数。

在步骤S112中，手部平移振动校正单元计算手部平移振动校正参数。基于在步骤S107到S108中从手部振动传感器读取的手部平移振动传感器的调节值(即，基于参照图6描述的手部振动传感器的调节增益与变焦透镜位置之间的关系数据等来调节的调节值)来计算手部平移振动校正参数。

在步骤S113中，光轴中心校正单元计算光轴中心校正参数。基于从光轴中心校正值存储单元读取的光轴中心校正数据来计算光轴中心校正参数。

在步骤S114中，视差校正单元计算视差校正参数。基于从光学系统视差数据存储单元读取的视差数据来计算视差校正参数。此外，如上所述，从光学系统视差数据存储单元读取的视差数据是用于基于离开所获得的图像中的主要目标的距离来调节双眼之间的视差的数据，并且是通过控制单元基于成像时的各个透镜位置信息来计算的。视差校正参数是基于由目标距离所决定的视差数据来计算的。

之后，在步骤S115到S120中，执行图1和图2的每个校正单元的校正处理。

在步骤S115与S120中，依次执行以下校正处理。在步骤S115中，变焦比率校正单元通过应用变焦比率校正参数执行变焦比率校正处理。

在步骤S116中，扭曲像差校正单元通过应用扭曲像差校正参数来执行扭曲像差校正处理。

在步骤S117中，手部旋转振动校正单元通过应用手部旋转振动校正参数来执行手部旋转振动校正。

在步骤S118中，手部平移振动校正单元通过应用手部平移振动校正参数来执行手部平移振动校正。

在步骤S119中，光轴中心校正单元通过应用光轴中心校正参数来执行光轴中心校正。

在步骤S120中，视差校正单元通过应用视差校正参数来执行视差校正。

此外，在图1A和图1B的构造的情况下，通过交替地切换由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像来执行步骤S116到S120的每个校正处理。同时，在图2A和图2B的构造的情况下，在每个校正单元中执行由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像的校正处理。

随着步骤S116到S120的每个校正处理完成，处理进行到步骤S122。在步骤S122中，通过应用基于由第一成像单元111拍摄的图像的校正图像以及基于由第二成像单元121拍摄的图像的校正图像，使用成像显示单元来执行显示3D图像的处理。可选择地，一组经校正的图像数据被压缩并记录在图像存储介质中或者从输出端子输出到外侧。

3-2.用于一同执行多个校正处理的校正的顺序

之后，将会参照图13的流程图描述与图3A和图3B的装置相对应的处理的顺序，即，在具有一同地执行对应于多个校正目的的多个校正处理的图像变换校正单元251的设备中的图像校正处理的顺序。

在步骤S201到S208的步骤中，执行了与参照图12描述的步骤S101到S108相同的处理。

首先，在步骤S201中，使用两个成像单元的图像传感器进行曝光。在步骤S202中，成像光被转换为电信号并由图像传感器读取。在步骤S203中，当在图3A和图3B的构造中被以规则时间间隔在切换复用单元141中切换的同时，由两个成像单元拍摄的两个图像信号被输出到摄像信号处理单元151。

在步骤S204中，相机信号处理单元执行将图像信号转换为适合于校正单元的预定格式的处理。之后，在步骤S205中，控制单元从透镜驱动单元读取变焦透镜位置和聚焦透镜位置。之后，在步骤S206中，根据这种所获得的值，控制单元读取在校正处理中必要的数据的处理或者计算每个校正单元中的校正参数的计算中所用的校正值。此外，如果需要的话，执行插值处理等以计算不能从校正值数据存储单元直接获得的校正值。

在步骤S206中，例如，如在图12的步骤S106的处理中描述的那样进行以下处理。所述处理包括：从透镜驱动单元获得变焦/聚焦位置并且计算变焦比率校正值以将其提供给变焦比率校正单元的处理；在成像期间从扭曲像差数据存储单元读取与每个透镜位置相对应的扭曲像差数据的处理，即，包括获得扭曲像差数据以计算扭曲像差计算单元中的扭曲像差校正处理所用的参数；从光轴中心校正值存储单元获得光轴中心校正单元中的校正所用的光轴中心校正数据；获得视差数据以将其从光学系统视差数据存储单元提供给视差校正单元的处理；以及用于在难以直接获得校正值的情况下计算校正值的插值处理。

之后，在步骤S207和S208中，从手部振动传感器读取水平、竖直和旋转方向的三个通道的手部振动传感器值。根据预先参照图6描述的变焦透镜位置与手部振动传感器值的调节增益之间相关数据等，通过基于每个透镜位置调节所获得的手部振动传感器值，以计算用于对提供给手部旋转振动校正单元和手部平移振动校正单元的校正参数进行计算的手部振动传感器值的调节值。

之后，在步骤209和S210中，执行对于图3A和图3B的构造独有的处理。在如图3A和图3B设置通过将每个成像单元结合而获得的图像变换校正单元251时，控制单元计算与各个校正目的对应的校正参数并且之后通过将所计算出的多个校正参数结合来计算单个校正参数。

即，控制单元通过将图1和图2的每个校正单元中的校正处理所用的以下校正参数结合来计算结合的校正参数。

所述校正参数包括：

(a)变焦比率校正单元中的变焦比率校正处理所用的变焦比率校正参数；

(b)扭曲像差校正单元的扭曲像差校正处理所用的扭曲像差校正参数；

(c)手部旋转振动校正单元的手部旋转振动校正处理所用的手部旋转振动校正参数；

(d)手部平移振动校正单元的手部平移振动校正处理所用的手部平移振动校正参数；

(e)光轴中心校正单元的光轴中心校正处理所用的光轴中心校正参数；以及

(f)视差校正单元的视差校正处理所用的视差校正参数。

通过将每个校正处理所用的这些校正参数结合来计算结合的校正参数。

为了结合校正参数，可以获得每个坐标变换向量的和。

即，结合校正向量＝变焦比率校正向量+扭曲像差校正向量+手部旋转振动校正向量+手部平移振动校正向量+光轴中心校正向量+视差校正向量。

图像变换校正单元251使用结合校正向量执行坐标变换处理。

此外，以每个所拍摄的图像(诸如由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像)为单位计算作为结合的参数的结合校正向量。

图3B的控制单元172通过将上述参数(a)到(f)的校正参数结合来计算结合校正参数，并且将结合校正参数提供给图像变换校正单元251。此外，控制单元172可以通过获得或计算在结合参数计算处理中必需的数据并且将该数据从控制单元提供给图像变换校正单元251来计算结合校正参数。

在步骤S211中，图像变换校正单元251通过应用结合校正参数来执行图像校正处理。在步骤S212中，图像显示单元使用通过由图像校正处理将结合校正参数应用到由第一成像单元111拍摄的图像而产生的校正图像以及通过由图像校正处理将结合校正参数应用到由第二成像单元121拍摄的图像而产生的校正图像来执行3D图像显示处理。可选择地，一组经校正的图像数据被压缩并记录在图像存储介质中或者从输出端子输出到外侧。

4.作为与校正目的相对应的校正参数的校正向量

之后，将会描述作为与校正目的相对应的校正参数的校正向量。

在图1到图3的设备中对于所获得的图像执行的校正处理包括：

(a)变焦比率校正处理；

(b)扭曲像差校正处理；

(c)手部旋转振动校正处理；

(d)手部平移振动校正处理；

(e)光轴中心校正处理；以及

(f)视差校正处理。

如上文中参照图3A和图3B描述的，这些校正处理中的任何一者可以被作为用于所获得的图像的坐标变换处理来执行。

因为校正参数应用到上述校正处理(a)到(f)，可以使用用于执行坐标变换处理的坐标变换向量。即，坐标变换向量是用于将校正之前的图像的每个像素位置变换为校正后的图像的像素位置。

在图1A和图1B或图2A和图2B的装置的构造中，作为每个校正单元中的校正参数，计算了以下各个向量，并且在每个校正单元中执行使用校正向量的坐标变换。各个向量包括：

(a)作为变焦比率校正处理所用的变焦比率校正参数的校正向量；

(b)作为扭曲像差校正处理所用的扭曲像差校正参数的校正向量；

(c)作为手部旋转振动校正处理所用的手部旋转振动校正参数的校正向量；

(d)作为手部平移振动校正处理所用的手部平移振动校正参数的校正向量；

(e)作为光轴中心校正处理所用的光轴中心校正参数的校正向量；以及

(f)作为视差校正处理所用的视差校正参数的校正向量。

下文中，将会描述上述向量(a)到(f)的每个校正处理所用的校正向量的示例。

4-1.(a)作为变焦比率校正处理所用的变焦比率校正参数的校正向量

图15示出了作为变焦比率校正处理所用的变焦比率校正参数的示例性校正向量。图中示出的向量(箭头)是校正向量。

变焦比率校正向量是与如图15中示出的那些相同的向量。例如，这样的向量被用在变焦比率校正处理中，该向量用于移动像素位置以使得在从诸如图1A的成像单元111和121的多个成像单元拍摄的多个图像之间存在微小差异的光学变焦比率相匹配。图15的向量设置是变焦比率校正向量的示例性设置，即，用于通过图像处理执行放大处理的示例性设置。通过使用变焦比率校正向量的坐标变换处理，可以在任何变焦位置使得从诸如图1A的成像单元111和121的多个成像单元拍摄的多个图像之间的光学变焦比率相匹配。此外，为了减小图像的尺寸，校正向量被设置为指向与图13的方向相反的方向，即，从外周向中心。

虽然图15仅在图像中示出了14个向量，但是它们是与图像中设置的代表点相对应的代表向量。通过使用相邻代表点的向量进行插值处理来计算与除了代表点之外的任意坐标的像素位置相对应的向量，并且基于这些向量执行坐标变换。这与使用下文中描述的校正向量的其他校正处理相类似。

将会参照图16A和图16B描述代表点的示例性设置以及用于产生插值向量的示例性处理。图16A示出了示例性栅格形状的代表点配置，其中代表点在长度和宽度上规则地布置。在除了代表点之外的任意坐标中，通过从相邻代表点的向量进行插值处理来计算向量。

图16B示出了其中在考虑到透镜扭曲像差根据图像高度(离光轴中心的距离)而改变的情况下，代表点相对于光轴同心地布置的示例性布置。在光轴附近的图像中心周围，向量较小。越靠向图像的外侧，向量的大小就越大，并且改变率也倾向于增加。因此，越靠向图像的外侧，代表点优选地越密集地布置。类似地，在除了代表点之外的任意坐标中，可以通过从相邻的向量进行插值处理或者计算离开光轴中心的距离来计算向量。

4-2.(b)作为扭曲像差校正处理所用的扭曲像差校正参数的校正向量

将会参照图7A描述作为扭曲像差校正处理所用的扭曲像差校正参数的校正向量。如上文中参照图7A描述的，图7A中示出的向量是用于具有桶形扭曲像差的图像的校正向量的示例性设置。图像中示出的向量(箭头)是校正向量。

如果当拍摄在长度和宽度上延伸的栅格形目标时产生桶形扭曲像差的话，在所拍摄的图像中延伸经过长度和宽度的直线像桶那样向外圆形膨胀和歪斜。如图7A所示，用于校正这种现象的向量被设置为使得图像在透镜外侧根据离开透镜中心(图像中心附近)的距离而扩大。通常，离透镜中心越远，校正向量的大小向透镜外侧增加得越多。

此外，如上文中参照图4A和图4B描述的，扭曲像差包括桶形扭曲、枕形扭曲以及这两种类型的混合(例如，胡子扭曲)。这种扭曲像差的形态根据成像设备的透镜构造或者成像时的透镜位置而不同。控制单元根据成像时的透镜位置从扭曲像差数据存储单元读取最佳扭曲像差数据，并且基于读取数据来设置扭曲像差校正向量。

4-3.(c)作为手部旋转振动校正处理所用的手部旋转振动校正参数的校正向量

之后，将会描述作为手部旋转振动校正处理所用的手部旋转振动校正参数的校正向量。

上文中参照图8A到图8E描述了作为手部旋转振动校正处理所用的手部旋转振动校正参数的校正向量。参照图8A到图8E描述的全部示例是在成像设备侧产生逆时针手部旋转振动的情况下的手部旋转振动校正向量的示例性设置，并且因此，拍摄了具有逆时针倾斜的图像。

如上文中参照图8A到图8E描述的，校正向量的设置根据旋转校正中心位于图像的哪个位置而改变。然而，旋转校正中心不一定是实际的旋转振动中心，并且可以是在设置校正向量时虚拟地设置的。虽然旋转校正中心优选地不与图像显著地分离以保持校正向量的设置值的精确度，但是旋转校正中心可以方便地设置在内侧或外侧中。

图8A到图8E示出了基于每个不同位置中的旋转校正中心的设置的示例性向量设置。

控制单元从手部振动传感器读取手部旋转振动传感器值，根据预先参照图6描述的变焦透镜位置与手部振动传感器值的调节增益之间相关数据等，基于每个透镜位置调节所获得的手部振动传感器值来计算手部振动传感器值的调节值，并且基于所计算的该调节值计算例如与图8A到图8E的代表点相对应的手部旋转振动校正向量。

如上文中参照图6描述的，即使在手部振动传感器值相等时，随着变焦透镜位置更加接近摄远侧，水平和竖直手部振动看起来在图像中更大。控制单元例如从预先存储在存储器中的查找表读取图6的调节增益值，并且将调节增益值乘以从手部振动传感器读取的值，以调节来自手部振动传感器的输入值。

4-4.(d)作为手部平移振动校正处理所用的手部平移振动校正参数的校正向量

之后将会描述作为手部平移振动校正处理所用的手部平移振动校正参数的校正向量。类似地，上文中参照图7B描述了手部平移振动校正向量。

图7B是示出了对于用于具有手部平移振动的图像的校正向量的示例性设置。图像中的向量(箭头)是校正向量。图7B示出了用于该图像的校正向量的示例性设置，其中在拍摄图像的同时由于从右上向坐下的移动而产生手部平移振动。

首先，如上文中参照图7B描述的，在成像设备由于手部振动而在上/下/左/右方向振动时，通过将由图像传感器拍摄的整个图像移动与振动量相同的量并且裁剪出图像来消除振动。手部平移振动校正向量对应于用于确定其开始位置的向量。在上文中参照图5描述的X轴振动传感器和Y轴振动传感器中获得表示每个移动量的值，并且基于这些值计算移动量和移动方向。基于所计算的移动方向和移动量来进行向量的设置。

4-5.(e)作为光轴中心校正处理所用的光轴中心校正参数的校正向量

之后，将会参照图17描述作为光轴中心校正处理所用的光轴中心校正参数的校正向量。

图17示出了作为光轴中心校正处理所用的光轴中心校正参数的校正向量的示例性设置。

图17中示出的光轴中心校正向量示出了其中整个图像被平移并裁剪以使得在从多个成像单元拍摄的多个图像之间略微不同的光轴中心的坐标相互匹配的示例性向量设置。通过应用该向量的坐标变换处理，可以根据变焦或聚焦透镜条件使得多个图像之间的中心坐标匹配。

4-6.(f)作为视差校正处理所用的视差校正参数的校正向量

之后，将会描述作为视差校正处理所用的视差校正参数的校正向量。

上文中参照图9A和图9B描述了视差校正向量。图9A和图9B示出了：

(a)由第一成像单元拍摄的图像；以及

(b)由第二成像单元拍摄的图像。

在由(a)第一成像单元拍摄的图像中示出的向量(箭头)是视差校正向量。例如，在图1A和图1B的构造中，由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像由于不同透镜安装位置而略微地不同。

在视差校正单元157中，有必要从光学系统视差数据存储单元131获得校正数据，使得包括两种类型的图像的立体图像具有合适的视差，并且对于由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像中的任何一者执行视差校正。校正处理所用的向量例如是图9A和图9B中示出的向量。通常，可以通过将图像平移并且执行必要的放大/缩小处理来实现视差校正。应用了以下情况中的任何一者：根据从成像设备到每个目标的距离来调节视差校正数据的情况以及使用了固定数据的情况。

如上所述，在图1A和图1B或图2A和图2B的装置构造中，每个校正单元根据每个校正目的计算作为校正参数的各个校正向量，并且在每个校正单元中使用校正向量来依次执行坐标变换。

图18示出了处理示例，其中通过将与每个校正相对应的校正向量应用到图1A和图1B或者图2A和图2B的装置构造中的每个校正单元来执行校正处理。

图18示出了当使用图1A和图1B或者图2A和图2B的装置构造依次执行以下校正处理时，校正向量和输出图像的示例。

(a)变焦比率校正处理，

(b)扭曲像差校正处理，

(c)手部旋转振动校正处理，

(d)手部平移振动校正处理

(e)光轴中心校正处理，以及

(f)视差校正处理。

在图18中，一系列图像(1a)→(1f)→(1OUT)示出了对于图1和图2的第一成像单元111的输出图像的校正处理，并且一系列图像(2a)→(2f)→(2OUT)示出了对于图1和图2的第二成像单元121的输出图像的校正处理。

每个图像中的向量(箭头)是每个校正处理所用的代表点的校正向量。

首先，对于两个成像单元(即，图1和图2的第一和第二成像单元111和121)的输出图像，通过在变焦比率校正单元中应用变焦比率校正向量来执行变焦比率校正处理。

该处理在图18的图像(1a)和(2a)中示出。图像(1a)示出了第一成像单元111的输出图像以及用于该图像的变焦比率校正向量。

图像(2a)示出了第二成像单元121的输出图像。

变焦比率校正处理是上文中参照图15等描述的处理，并且是对两个输出图像之间的变焦比率进行匹配的处理。可以通过对于图像中的任一者执行放大或缩小处理来执行变焦比率校正处理。

在图18的示例中，通过仅对于第一成像单元111的输出图像设置校正向量来执行图像变换。用于第二成像单元121的输出图形的设置是校正向量＝0。

对于图18的图像(1a)和(2a)，通过将向量应用到图像中而获得的变焦比率校正的结果分别变为(1b)和(2b)，并且之后，执行扭曲像差校正处理。

图18的图像(1b)和(2b)示出了以下处理。

(1b)用于第一成像单元111的输出图像的变焦比率校正结果图像的扭曲像差校正向量的示例性设置，以及

(2b)用于第二成像单元121的输出图像的变焦比率校正结果图像的扭曲像差校正向量的示例性设置。

此外，在该示例中，因为基本没有执行用于第二成像单元121的输出图像的变焦比率校正，所以图像(2a)和(2b)是类似的原始图像。

扭曲像差校正例如是上文中参照图7A描述的校正。例如，如图7A所示，用于具有桶形扭曲像差的图像的校正向量被设置为使得在透镜外侧的图像根据离开透镜中心(透镜中心的附近)的距离而被放大。通常，离透镜中心越远，校正向量的大小就朝向透镜外侧增加得越多。

图18的图像(1b)和(2b)的向量具有与图7A的向量相同的设置，并且示出了用于具有桶形扭曲像差的图像的示例性校正向量。

对于图18的图像(1b)和(2b)，通过应用图像中的向量来执行扭曲像差校正处理。校正的结果分别成为图像(1c)和(2c)。随着扭曲像差得到校正，弯曲部分返回到直线，使得可以产生栅格形目标。

对于作为扭曲像差校正结果的图像(1c)和(2c)，执行了以下手部旋转振动校正处理。

图18的图像(1c)和(2c)示出了以下处理：

(1c)用于通过对第一成像单元111的输出图像进行变焦比率校正和扭曲像差校正而获得的校正图像的手部旋转振动校正向量的示例性设置；以及

(2c)用于通过对第二成像单元121的输出图像进行变焦比率校正和扭曲像差校正而获得的校正图像的手部旋转振动校正向量的示例性设置。

由图18的图像(1c)和(2c)中示出的向量执行的手部旋转振动校正例如是上文中参照图8A到图8E描述的校正。图18的图像(1c)和(2c)的示例是与旋转中心被设置为如图8E中示出的图像中心的示例相对应的向量的示例性设置。如上文参照图8A到图8E描述的，校正向量的设置根据旋转校正中心被设置在图像中的哪个位置而改变。然而，旋转校正中心不一定是实际的旋转振动中心，并且可以是在设置校正向量时虚拟地设置的。向量被设置在预定位置。

对于图18的图像(1c)和(2c)，通过应用在图中示出的向量来执行手部旋转振动校正处理。其校正结果变为图像(1d)和(2d)。图像(1d)和(2d)是通过移除旋转成分而获得的图像。对于图像(1d)和(2d)，执行了以下手部平移振动校正处理。

图18的图像(1d)和(2d)示出了以下处理：

(1d)用于通过对第一成像单元111的输出图像进行变焦比率校正、扭曲像差校正和手部旋转振动校正处理而获得的校正图像的手部平移振动校正向量的示例性设置；以及

(2d)用于通过对第二成像单元121的输出图像进行变焦比率校正、扭曲像差校正和手部旋转振动校正处理而获得的校正图像的手部平移振动校正向量的示例性设置。

由图18的图像(1d)和(2d)执行的手部平移振动校正处理例如是上文中参照图7B描述的校正。图7B的示例示出了用于图像的校正向量的示例性设置，其中由于在拍摄的同时从右上到左下的移动而产生手部平移振动。图18的图像(1d)和(2d)中示出的校正向量是用于图像的校正向量的示例性设置，其中由于在拍摄的同时从右下到左上(这与图7B的示例不同)的移动而产生手部平移振动。

对于图18的图像(1d)和(2d)，通过应用在图中示出的向量来执行手部平移振动校正处理。其校正结果变为图像(1e)和(2e)，并且移除了手部平移振动成分，使得可以在时间轴方向上获得稳定的图像。对于图像(1e)和(2e)，执行了以下光轴中心校正处理。

图18的图像(1e)和(2e)示出了以下处理：

(1d)用于通过对第一成像单元111的输出图像进行变焦比率校正、扭曲像差校正、手部旋转振动校正处理和手部平移振动校正处理而获得的校正图像的光轴中心校正向量的示例性设置；以及

(2d)用于通过对第二成像单元121的输出图像进行变焦比率校正、扭曲像差校正、手部旋转振动校正处理和手部平移振动校正处理而获得的校正图像的光轴中心校正向量的示例性设置。

然而，可以仅通过对于图像中的任何一者执行校正来执行光轴中心校正。在该示例中，通过仅对于图18的第一图像(1e)设置向量来执行校正。

由图18的图像(1e)和(2e)的向量执行的光轴中心校正处理例如涉及上文中参照图17描述的校正。如上文中参照图17描述的，光轴中心校正向量这样的向量，其被设置为用于平移整个图像并且裁剪图像以使得从多个成像单元拍摄的多个图像之间的光轴中心坐标差异彼此匹配。

在图18的图像(1e)和(2e)中，通过应用图像中的向量来执行光轴中心校正处理。校正结果变为图像(1f)和(2f)，并且执行以下的视差校正处理。

图18的图像(1f)和(2f)示出了以下处理：

(1f)用于通过对第一成像单元111的输出图像进行变焦比率校正、扭曲像差校正、手部旋转振动校正处理、手部平移振动校正处理和光轴中心校正处理而获得的校正图像的视差校正向量的示例性设置；以及

(2f)用于通过对第二成像单元121的输出图像进行变焦比率校正、扭曲像差校正、手部旋转振动校正处理、手部平移振动校正处理和光轴中心校正处理而获得的校正图像的视差校正向量的示例性设置。

然而，可以仅通过对于图像中的任何一者执行校正来执行视差校正。在该示例中，通过仅对于图18的第一图像(1f)设置向量来执行校正。

由图18的图像(1f)和(2f)的向量执行的视差校正处理例如涉及上文中参照图9A和图9B描述的校正。如上文中参照图9A和图9B描述的，视差校正是用于执行视差的调节使得包括两种类型图像的立体图像具有合适的视差的校正处理。基于该向量对于由第一成像单元111拍摄的图像和由第二成像单元121拍摄的图像执行视差校正。通常，可以通过将图像平移来实现视差校正。此外，按照需要，视差校正可以被执行为伴随着放大/缩小处理的处理。

在图18的示例中，通过仅对于图18的第一图像(1f)设置平移向量来执行视差校正。

对于图18的图像(1f)和(2f)，通过应用图像中的向量来执行视差校正处理。校正结果变为图像(1OUT)和(2OUT)。这些图像被输出到能够执行3D图像显示的显示装置，使得显示3D图像。

在观察立体图像时，观察者可能难以进行观察或者受到疲劳困扰。一般来说，认为这种现象是由于两个图像的差异、尺寸差异、完全相同的图像等而产生的。在图18的校正处理之中，以下的校正处理在立体图像处理中特别重要：

(a)光学变焦比率校正；

(e)光轴中心坐标校正；以及

(f)视差校正。

因为双通道图像处理，通过执行用于将图像彼此匹配的校正处理或者用于使得两种类型的图像接近的校正处理而获得的立体图像变为能够非常容易观看的舒适图像。

此外，即使使用单眼相机的情况下，对于形成更加清楚和稳定、没有振动并具有高的逼真度的图像来说，(b)扭曲像差校正、(c)手部旋转振动校正和(d)手部平移振动校正是必要的，并且变为对于2D或3D图像的显示必不可少的校正处理。

5.结合校正向量的处理的具体示例

如上文中参照图18描述的，每个校正单元中的校正处理的全部可以通过应用向量的坐标变换处理来执行。

即，在每个校正处理中使用以下向量：

(a)作为变焦比率校正处理所用的变焦比率校正参数的校正向量；

(b)作为扭曲像差校正处理所用的扭曲像差校正参数的校正向量；

(c)作为手部旋转振动校正处理所用的手部旋转振动校正参数的校正向量；

(d)作为手部平移振动校正处理所用的手部平移振动校正参数的校正向量；

(e)作为光轴中心校正处理所用的光轴中心校正参数的校正向量；以及

(f)作为视差校正处理所用的视差校正参数的校正向量。

在图1A和图1B或者图2A或图2B的装置构造中，作为每个校正单元中的校正参数而计算以下的各个向量，并且在每个校正单元中使用校正向量来执行坐标变换。

相比较地，在图3A和图3B的装置构造中，控制单元172将每个校正处理(a)到(f)所用的校正向量结合，来计算单个的结合校正向量，并且图像变换校正单元251通过应用结合校正向量来执行处理。

通过这种处理，都可以在单个校正处理中执行上文中参照图18描述的一系列校正处理。

将上述每个校正处理(a)到(f)所用的校正向量结合来计算单个的结合校正向量的处理可以作为向量加法处理来执行。将会参照图19描述向量加法的示例。

图19示出了两个不同校正处理所用的向量加法处理，作为加法处理的示例。两个校正处理是：

(1)扭曲像差校正；以及

(2)手部旋转振动校正。

在结合校正向量的情况下，虚拟校正处理顺序被颠倒以获得设置值。例如，假设图19中示出的点C位于存储校正参数的栅格交叉的位置。

假设点C被设置为在扭曲像差校正和手部旋转振动校正之后获得的点，可以例如通过获得在校正之前的、输入图像与点C相对应的点，来执行计算结合校正向量的处理。这里，按照(2)手部旋转振动校正，点B的坐标被变换为点C。此外，按照(1)扭曲像差校正，点B的坐标被变换为点A。

即，通过结合两个不同校正处理(包括(1)扭曲像差校正和(2)手部旋转振动校正)所用的校正向量，点C的坐标对应于输入图像中的点A。在这种情况下，因为对于点B的手部旋转振动校正向量与对于点A的手部旋转振动校正向量不同，所以通过颠倒处理顺序而获得每个阶段中的向量是很重要的。

作为设置给点C的校正参数的向量变为从点A朝向点C的向量。因此，结合校正向量不是简单的向量求和，而可以通过颠倒处理顺序而在输入图像中获得原坐标(originalcoordinate)来实现。

图19示出了结合两个校正向量的(包括(1)扭曲像差校正和(2)手部旋转振动校正)示例。类似地，在用于变焦比率校正、手部平移振动校正、光轴中心校正和视差校正的校正向量被结合的情况下，也可以通过将每个校正处理的顺序颠倒以返回校正前的原坐标来计算所结合的向量。可以对于栅格中的所有交叉点计算结合向量。

与图3A和图3B类似地，如果提供了能够结合多种类型的校正处理的图像变换校正单元251，那么在考虑在每个校正处理中的坐标变换的顺序的情况下，控制单元通过按照从图18的图像(1f)和(2f)向图像(1a)和(2a)的颠倒的顺序返回到原坐标而获得对于每个代表点设置的结合校正向量。

此外，在控制单元中，在用于基于多个校正向量计算结合校正向量的处理中，可以通过将结合校正向量划分为水平和竖直向量并之后对它们进行结合来改善计算效率。

然而，在基于这种经划分的向量来执行向量结合处理的情况下，例如，有必要考虑以下内容。图20A到图20C示出了其中通过划分为水平和竖直顺序来对校正处理进行处理的构造示例。

假设栅格被如图20A所示地设置并且对于点A和C设置了校正向量。考虑用于分别从点B和D向点A和C进行坐标变换的2个Z向量。在普通的向量划分的情况下，如图20B所示，点A可以被划分为水平向量VHA′和竖直向量VVA，并且点C可以被划分为水平向量VHC′和竖直向量VVC。

然而，如参照图19描述的，对于栅格点A设置的向量是原坐标被移动到点A的向量，即，与点B的相对位置。通过使用图20B中的向量VHA′和VHC′进行插值，点A的原坐标变为点B′，这不是合适的坐标变换。因此，不使用图20B。

在这种情况下，如图20C所示，有必要获得考虑竖直校正处理的水平校正向量。如果水平向量VHA和VHC被设置为使其当在竖直方向进行插值时穿过点B，那么点B的坐标被适当地变换到点A。

因此，在控制单元通过将校正向量划分为水平和竖直向量来执行处理的情况下，通过依次在每个阶段中执行用于获得在变换之前的原坐标的处理，可以对结合校正向量进行处理。

可以通过硬件、软件或其组合来执行这里描述的一系列处理。当使用软件执行处理时，记录处理顺序的程序可以被安装在结合于专用硬件的计算机中的存储器中并被执行。例如，程序可以被预先存储在记录介质中。除了从记录介质安装到计算机中之外，可以通过诸如互联网和局域网(LAN)的网络接收程序并将其安装在诸如硬盘内的记录介质中。

这里描述的各种处理可以根据描述依次执行，或者可以根据必要性或执行处理的装置的处理能力来独立地或并行地执行。此外，这里使用的系统是包括多个装置的逻辑集合构造，并且每个装置没有必要被容纳在相同的壳体中。

本公开含的主题涉及2010年11月5日递交给日本专利局的日本优先权专利申请JP2010-248838中公开的主题，并且通过引用将其全部结合在这里。

本领域技术人员可以理解，可以根据设计需要和其他因素进行各种修改、结合、子结合和替换，只要它们在权利要求及其等价物的范围内。

Claims (14)

1.一种成像设备，包括：

多个成像单元；

校正单元，其对于由多个所述成像单元拍摄的图像执行校正处理；以及

控制单元，其计算所述校正单元中的校正处理所用的校正参数，

其中，所述校正单元对于所拍摄的图像中的每一者执行扭曲像差校正和手部振动校正，并且执行图像特性匹配校正处理，所述图像特性匹配校正处理用于使由多个所述成像单元拍摄的多个图像之间的特性相匹配，

其中，所述控制单元通过将所述校正单元执行的多个不同的校正处理所用的校正向量相结合来针对图像中的分开地设置的多个代表点的每一个计算结合校正向量，并且将所述结合校正向量提供给所述校正单元，并且

其中，所述校正单元通过应用了所述结合校正向量的图像变换处理来一同执行所述多个不同的校正处理，

其中，所述控制单元沿着与所述多个不同的校正处理的虚拟的处理顺序颠倒的顺序，计算代表点成为校正后的点的输入图像的对应点，计算从对应点到代表点的向量，作为与代表点对应的结合校正向量。

2.根据权利要求1所述的成像设备，其中，所述校正单元执行变焦比率校正处理来作为所述图像特性匹配校正处理，所述变焦比率校正处理用于使由多个所述成像单元拍摄的多个图像的变焦比率匹配。

3.根据权利要求1所述的成像设备，其中，所述校正单元执行光轴中心校正处理来作为所述图像特性匹配校正处理，所述光轴中心校正处理用于使得由多个所述成像单元拍摄的多个图像的光轴中心匹配。

4.根据权利要求1所述的成像设备，其中，所述校正单元还执行视差校正处理，所述视差校正处理用于调节由多个所述成像单元拍摄的多个图像的视差。

5.根据权利要求1所述的成像设备，其中，所述控制单元计算所述校正单元中的校正处理所用的校正参数，并且将所述校正参数提供给所述校正单元。

6.根据权利要求5所述的成像设备，其中，所述校正参数是校正单元中的图像的坐标变换所用的校正向量。

7.根据权利要求1所述的成像设备，其中，所述校正单元包括：

扭曲像差校正单元，其对于所拍摄的图像中的每一者执行扭曲像差校正；

手部旋转振动校正单元，其对于所拍摄的图像中的每一者执行手部旋转振动校正；

手部平移振动校正单元，其对于所拍摄的图像中的每一者执行手部平移振动校正；

变焦比率校正单元，其对作为由多个所述成像单元拍摄的多个图像的特性的变焦比率进行匹配；

光轴中心校正单元，其对作为由多个所述成像单元拍摄的多个图像的特性的光轴中心进行匹配；以及

视差校正单元，其执行视差校正处理，所述视差校正处理用于调节由多个所述成像单元拍摄的多个图像的视差。

8.根据权利要求1所述的成像设备，其中，所述控制单元计算通过将扭曲像差校正处理、手部旋转振动校正处理、手部平移振动校正处理、变焦比率校正处理、光轴中心校正处理和视差校正处理中的每一者所用的校正向量相结合而获得的结合校正向量，并且将所述结合校正向量提供给校正单元，并且

所述校正单元通过应用了所述结合校正向量的图像变换处理来一同地执行扭曲像差校正处理、手部旋转振动校正处理、手部平移振动校正处理、变焦比率校正处理、光轴中心校正处理和视差校正处理。

9.根据权利要求1的成像设备，其中，所述成像设备具有扭曲像差数据存储单元，该单元存储了扭曲像差校正所用的、与所述成像单元相对应的扭曲像差数据，并且

所述控制单元基于从所述扭曲像差数据存储单元获得的数据来产生扭曲像差校正参数。

10.根据权利要求1的成像设备，其中，所述成像设备具有光轴中心校正值存储单元，该单元存储了光轴中心校正所用的光轴中心校正数据，所述光轴中心校正用于使作为由多个成像单元拍摄的多个图像的特性的光轴中心相匹配，并且

所述控制单元基于从所述光轴中心校正值存储单元获得的数据来产生光轴中心校正参数。

11.根据权利要求1的成像设备，其中，所述成像设备具有变焦比率校正值存储单元，所述变焦比率校正值存储单元存储了变焦比率校正所用的变焦比率校正数据，所述变焦比率校正用于使作为由多个成像单元拍摄的多个图像的特性的变焦比率相匹配，并且

所述控制单元基于从所述变焦比率校正值存储单元获得的数据来产生变焦比率校正参数。

12.根据权利要求1的成像设备，其中，所述成像设备具有视差数据存储单元，所述视差数据存储单元存储了视差校正所用的视差数据，所述视差校正用于调节由多个成像单元拍摄的多个图像的视差，并且

所述控制单元基于从所述视差数据存储单元获得的数据来产生视差校正参数。

13.一种图像处理设备，包括：

校正单元，其对于由多个成像单元拍摄的图像执行校正处理；以及

控制单元，其计算所述校正单元中的校正处理所用的校正参数，

其中，所述校正单元对于所拍摄的每个图像执行扭曲像差校正和手部振动校正，并且执行图像特性匹配校正处理，所述图像特性匹配校正处理用于使由多个成像单元拍摄的多个图像之间的特性相匹配，

其中，所述控制单元通过将所述校正单元执行的多个不同的校正处理所用的校正向量相结合来针对图像中的分开地设置的多个代表点的每一个计算结合校正向量，并且将所述结合校正向量提供给所述校正单元，并且

其中，所述校正单元通过应用了所述结合校正向量的图像变换处理来一同多个执行所述不同的校正处理，

其中，所述控制单元沿着与所述多个不同的校正处理的虚拟的处理顺序颠倒的顺序，计算代表点成为校正后的点的输入图像的对应点，计算从对应点到代表点的向量，作为与代表点对应的结合校正向量。

14.一种在图像处理设备中执行的图像处理方法，所述方法包括：

由控制单元计算校正单元中的校正处理所用的校正参数；以及

由校正单元对由多个成像单元拍摄的多个图像执行应用了所述校正参数的所述校正处理，

其中，执行所述校正处理包括：对所拍摄的每个图像执行扭曲像差校正和手部振动校正，并且执行图像特性匹配校正处理，所述图像特性匹配校正处理用于使得多个所述成像单元拍摄的多个图像的特性相匹配，

其中，所述控制单元在计算所述校正参数的步骤中，通过将由所述校正单元执行的多个不同的校正处理所用的校正向量相结合来针对图像中的分开地设置的多个代表点的每一个计算结合校正向量，并且将所述结合校正向量提供给所述校正单元，并且

其中，所述校正单元在执行所述校正处理中，通过应用了所述结合校正向量的图像变换处理来一同执行所述多个不同的校正处理，

其中，所述控制单元沿着与所述多个不同的校正处理的虚拟的处理顺序颠倒的顺序，计算代表点成为校正后的点的输入图像的对应点，计算从对应点到代表点的向量，作为与代表点对应的结合校正向量。