CN102227746B - 立体图像处理装置、方法和立体成像设备 - Google Patents

Abstract

设备(10)包括：图像获取装置，用于获取从多个视点拍摄的同一对象的多个图像；对应点检测装置，用于选择规定图像作为基准图像、从所述多个图像之中选择除该基准图像以外的图像作为目标图像、并且从基准图像检测特征点并从目标图像检测对应点以产生特征点与对应点对，其中在同一对中的特征点和对应点的特征基本相同；参数估计装置，用于估计几何变换参数，该几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点和对应点的y坐标值基本相同，其中y方向与视点的视差方向正交；以及图像变换装置，用于基于所述参数对目标图像进行几何变换。

Description

立体图像处理装置、方法和立体成像设备

技术领域

本公开的主题涉及立体图像处理装置、立体图像处理方法、记录介质和立体成像设备。更具体地说，本公开的主题涉及对由于多个成像单元的放置姿态而造成的多个图像之间的视角差异以及放大比的差异等进行几何校正的技术。

背景技术

在一个照相机设备中包括多个成像单元的照相机(所谓的复眼照相机)能够从多个视点对同一对象进行成像。因此，复眼照相机可用于获取对象的三维信息。在影视欣赏领域，存在三维画面的欣赏介质，比如使用从各个成像单元获取并具有视差的图像制成的并且使用双凸透镜片实现的印刷品。复眼照相机用作该介质的图像输入装置。

如上所述，复眼照相机包括多个成像单元。因此，在透镜特性、每个成像单元的成像元件等中存在差异、或者当安装成像单元时基于逐个安装成像单元的放置姿态中存在差异的状况下，不能获取良好的视差图像。特别地，后一差异会大大影响到视差信息。因此，为了防止三维图像的立体效果和可视性变差，减小成像单元的放置姿态的差异是很重要的。

当通过如图12A所示的两个成像单元(左和右)对一个对象(人)SUB2成像时，难以获取理想的视差图像。理想的视差图像IMG_L和IMG_R是在照相机中的各成像单元的姿态没有差异的状况下成像的，并且在理想的视差图像IMG_L和IMG_R之间，由左成像单元成像的图像IMG_L中的对象SUB2的图像SUB2_L和由右成像单元成像的图像IMG_R中的对象SUB2的图像SUB2_R彼此朝图像IMG_L和IMG_R的水平方向偏移，该偏移是由于视差引起的，如图12B所示。在实际获取的视差图像IMG_L’和IMG_R’中，图像IMG_L’和IMG_R’中的对象SUB2的图像SUB2_L’和 SUB2_R’不仅由于视差而且还由于成像单元的姿态而发生偏移(图12C)。

在制造复眼照相机的处理中，优选的是以高定位精度来安装成像单元，以便消除上述由于各成像单元的姿态差异而造成的对象图像的偏移。然而，对精度的追求导致产量减小、操作工时增加等问题。

为了解决上述问题，传统技术中，PTL1和PTL2提出了通过对由复眼照相机拍摄的图像进行几何变换来消除成像单元之间的几何特性上的差别的方法。

在PTL1中描述的方法中，为了矫正由多个照相机的位置和姿态上的偏移导致的投影变形，将各个照相机拍摄的图像投影在相同(单一、同一)平面上，并且将各个照相机拍摄的图像矫正为该相同平面上的图像。

在PTL2中描述的方法提出对视角偏差之中由成像单元姿态和放大比中的差别所导致的偏差进行校正，视角偏差是在两个成像单元同时拍摄一个对象的图像时发生的。在PTL2中描述的方法中，检测了由各个成像单元获取的图像之间的对应点，计算几何校正参数以使得各个图像的对应点彼此相同，并使用该参数来对图像进行变换。

引用列表

专利文献

PTL1：日本专利申请公开No.7-294215

PTL2：日本专利申请公开No.2006-157432

发明内容

技术问题

然而，在PTL1中描述的方法中，执行了将各个图像强制投影到同一平面上的图像处理。因此，PTL1中描述的方法具有投影后的图像之间的视差变得不相称和有违本意的问题。

另一方面，由于在PTL2中描述的方法中，对图像进行变换以使得两个图像中的对应点彼此相同。因此PTL2中描述的方法具有这样的问题：视差图像之间由要保留的视差所引起的对象图像的偏移也被 校正了，从而丢失了关于视差的信息。

考虑到这些情况作出了本公开的主题。本公开的主题的一个目的是提供立体图像处理装置、立体图像处理方法、记录介质和立体成像设备，当消除多个图像之间由于多个成像单元(其通过几何变换来拍摄多个图像)的放置姿态、放大比等的差异而造成的视角差异时，上述装置、方法、介质和设备能够对图像进行几何变换以保留图像之间的固有的视角差异，能够获取理想的视差图像。

解决问题的方案

为了实现上述目的，关于本公开主题的第一方面的一种立体图像处理装置包括：图像获取装置，用于获取从多个视点拍摄的同一对象的多个图像；对应点检测装置，用于从获取的多个图像之中选择规定图像作为基准图像，从获取的多个图像之中选择除基准图像以外的图像作为目标图像，并且从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对，其中包括在同一对中的特征点与对应点的特征彼此基本相同；参数估计装置，用于估计几何变换参数，该几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同，其中y方向与多个视点的视差方向正交；以及图像变换装置，用于基于估计的几何变换参数来对目标图像进行几何变换。

在本公开主题的第一方面中，在如下约束条件下估计用于对目标图像进行几何变换的几何变换参数：沿与多个视点的视差方向正交的方向上的分量相对于从多个视点拍摄的同一对象的多个图像之中规定图像(基准图像)的特征点与除基准图像以外的目标图像的对应点之间的每个偏移基本为零。更具体地，第一方面的设备估计几何变换参数，该几何变换参数用于对目标图像进行几何变换以使得特征点与变换后的对应点仅仅y坐标值彼此基本相同。基于如此估计的几何变换参数进行的几何变换可以校正沿与视差方向正交的方向上的视角中的偏移，同时保留基准图像与目标图像之间视角上的固有偏移，从而能够得到理想的视差图像。

本公开主题的第二方面提供了一种根据第一方面的立体图像处 理装置，其中所述参数估计装置至少基于对应点的x和y坐标值以及特征点的y坐标值来估计几何变换参数中的至少一些参数。

本公开主题的第三方面提供了一种根据第二方面的立体图像处理装置，其中所述参数估计装置基于所述一些参数来计算由所述参数估计装置估计的所述一些参数以外的参数。

更具体地，存在可以使用对应点的x和y坐标值以及特征点的y坐标值来估计所有参数的情况，和根据用于执行几何变换的变换方程类型来估计一些参数而非所有参数的情况。然而，即使在后一种情况下，也可以基于所述一些参数来计算所述一些参数以外的参数。

本公开主题的第四方面提供了一种根据第二方面的立体图像处理装置，其中几何变换参数是投影变换参数，并且所述参数估计装置从多对特征点与对应点之中选择五对或更多对，并且基于所选每一对中的特征点与对应点的坐标值来对用于确定投影变换后的对应点的y坐标值的参数进行估计。

本公开主题的第五方面提供了一种根据第四方面的立体图像处理装置，其中所述参数估计装置基于用于确定投影变换后的对应点的y坐标值的参数来计算确定投影变换后的对应点的x坐标值所需的其它参数。

更具体地说，当通过投影变换执行几何变换时，基于五对或更多对的对应点的x和y坐标值以及特征点的y坐标值，仅可以估计投影变换参数之中的一些参数(用于至少确定投影变换后的对应点的y坐标值的参数)。然而，可以基于所估计的参数来计算除了所述一些参数以外的参数(确定投影变换后的对应点的x坐标值所需的参数)。

本公开主题的第六方面提供了一种根据第二方面的立体图像处理装置，其中所述几何变换参数是Helmert变换参数，并且所述参数估计装置从检测到的多个特征点与对应点的对中选择三对或更多对，并基于所选每一对中的特征点与对应点的坐标值来估计Helmert变换参数。

更具体地，当通过Helmert变换执行对图像的几何变换时，可以基于针对至少三对的对应点的x和y坐标值以及特征点的y坐标值 来估计所有Helmert变换参数。

关于本公开主题的第七方面的一种立体图像处理方法包括：图像获取步骤，获取从多个视点拍摄的同一对象的多个图像；对应点检测步骤，从获取的多个图像之中选择规定图像作为基准图像，从获取的多个图像之中选择除基准图像以外的图像作为目标图像，以及从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对，其中包括在同一对中的特征点与对应点的特征彼此基本相同；参数估计步骤，估计几何变换参数，该几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同，其中y方向与多个视点的视差方向正交；以及图像变换步骤，基于估计的几何变换参数来对目标图像进行几何变换。

本公开主题的第八方面提供了一种根据第七方面的立体图像处理方法，其中，在所述参数估计步骤中，至少基于对应点的x和y坐标值以及特征点的y坐标值来估计几何变换参数中的至少一些参数。

本公开主题的第九方面提供了一种根据第八方面的立体图像处理方法，其中所述参数估计步骤包括：第一步骤，从N对之中随机地选择对用于确定变换后对应点的y坐标值的几何变换参数进行估计所需的特定数量的对，其中N为所述多个对的总数量；第二步骤，基于在由第一步骤随机选择的每个对应点的坐标值的基础上估计的参数，针对N对中的每一对来计算变换后对应点的y坐标值；第三步骤，针对N对中的每一对计算由第二步骤计算的变换后对应点的y坐标值与特征点的y坐标值之间的差值；第四步骤，对通过第三步骤计算出的其差值小于预定第一阈值的特征点与对应点的对的数量进行计数；第五步骤，基于计数出的对的数量与N之间的比值来确定估计的参数的置信水平；以及迭代步骤，其重复第一至第五步骤直到确定的置信水平达到预定置信水平，或者迭代次数达到预定迭代次数。

根据本公开主题的第九方面，可以从所述N对之中确定适当的组合来作为对至少用于确定变换后对应点的y坐标值的参数进行估 计所需的特定数量的对(对于投影变换是五对，而对于Helmert变换是三对)。更具体地，从N对之中估计参数所需的特定数量的对是随机选择的。基于在所选对的每个对应点的坐标值的基础上估计的参数针对N对的每一个来计算变换后对应点的y坐标值。针对N个对中的每一个来计算所计算出的变换后对应点的y坐标值与特征点的y坐标值之间的差值。对计算出的差值小于第一阈值的特征点与对应点的对的数量进行计数。基于所计数的对的数量与N的比值来确定所估计的参数的置信水平。对包括了诸如随机选择多个对之类的处理进行重复，直到所估计参数的被确定的结果达到预定置信水平或者重复次数达到预定的重复次数。因此，可以将适当的组合确定为对至少用于确定变换后y坐标值的参数进行估计所需的特定数量的对。

本公开主题的第十方面提供了一种根据第九方面的立体图像处理方法，其中所述参数估计步骤包括：第六步骤，基于当确定的置信水平达到预定置信水平时估计的参数或者基于当置信水平在各次迭代的置信水平之中为最高时估计的参数，来针对N对中的每一对计算变换后对应点的y坐标值；第七步骤，针对N对中的每一对来计算通过第六步骤计算出的变换后对应点的y坐标值与特征点的y坐标值之间的差值；第八步骤，从N对之中仅选择通过第七步骤计算出的其差值小于预定第二阈值的特征点与对应点的对；以及第九步骤，仅使用在第八步骤中选择的特征点与对应点的对来计算多个参数。

更具体地，估计的参数具有期望的置信水平。通过该参数进行变换的变换后对应点的y坐标值和特征点的y坐标值应当本质上基本相同，并且它们的差值小于预定第二阈值。另一方面，其差值不小于第二阈值的特征点与对应点的对被认为是不适当的对并且被去除。仅仅提取其差值小于第二阈值的特征点与对应点的对。随后基于如此提取的对再次计算多个参数，从而使得参数置信水平进一步提高。

本公开主题的第十一方面提供了一种根据第十方面的立体图像处理方法，其中，在第九步骤中，所述多个参数使得通过第八步骤选择的多个对中的变换后对应点的y坐标值与特征点的y坐标值之间的差值的平方和最小化。换句话说，通过最小二乘法来估计多个最终参 数。

关于本公开主题第十二方面的一种计算机可读介质，包括使得计算机执行用于立体图像处理的过程的计算机程序，所述过程包括：获取从多个视点拍摄的同一对象的多个图像；从获取的多个图像之中选择规定图像作为基准图像，从获取的多个图像之中选择除基准图像以外的图像作为目标图像，并且从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对，其中包括在同一对中的特征点与对应点的特征彼此基本相同；估计几何变换参数，几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同，其中y方向与多个视点的视差方向正交；以及基于估计的几何变换参数来对目标图像进行几何变换。

关于本公开主题第十三方面的一种立体成像设备包括：根据第一至第五方面中任一个的立体图像处理装置；以及多个成像单元，其分别布置在沿着视差方向的多个视点处，并且从它们的视点拍摄同一对象的图像，其中所述图像获取装置分别获取由多个成像单元拍摄的多个图像。

本公开主题的上述方面可以被提供为使得比如计算机或者照相机、图像再现设备或打印机中的中处理单元(CPU)之类的设备执行上述过程的立体图像处理程序。并且，本公开主题的上述方面可以被提供为计算机可读记录介质中的用于控制所述设备的计算机程序产品。

发明有益效果

本公开主题的上述方面在如下的约束条件下估计了用于对目标图像进行几何变换的几何变换参数：该约束条件使得沿着与取决于多个视点之间的位置关系的视差方向正交的方向上的分量，关于在从所述多个视点拍摄的同一对象的多个图像之中的规定图像(基准图像)上的特征点与在所述多个图像之中除基准图像之外的图像(目标图像)上的各个对应点之间的偏移基本上约为零。因此，本公开主题的方面可以校正在沿着与视差方向正交的方向的视角中的偏差，同时保 留沿视差方向固有地出现的视角偏差。从而获得了理想的视差图像。

附图说明

图1是示出立体成像设备一个实施例的结构的框图；

图2是示出图1所示的成像单元的结构的框图；

图3是示出立体成像设备的设备主体中的多个成像单元(六个成像单元)的布置与一个对象之间的位置关系的示图；

图4A是示出由六个成像单元拍摄的理想视差图像的一个示例的示图；

图4B是示出由六个成像单元拍摄的实际视差图像的一个示例的示图；

图5是示出根据本公开主题的一个实施例的立体图像处理流程的流程图；

图6A是示出基准图像中的特征点与目标图像中的对应点之间的对应关系的示图；

图6B是示出连接特征点和对应于该特征点的对应点的矢量的示图；

图7A是示出连接特征点和对应点的矢量及其矢量分量的示图；

图7B是示出估计投影变换参数的估计方法的一个实施例的示图；

图7C是示出一个比较示例的示图；

图8是示出用于估计投影变换参数(No.1)的过程的实施例的流程图；

图9是示出用于估计投影变换参数(No.2)的过程的实施例的流程图；

图10是示出用于估计投影变换参数(No.3)的过程的实施例的流程图；

图11是示出用于对其它参数进行确定的过程的示图，这些其它参数是用于确定投影变换参数之中的投影变换后x坐标值所需的其它参数；

图12A是示出两个成像单元(左和右)的布置和一个对象的示例的框图；

图12B是示出理想视差图像的一个示例的示图；以及

图12C是示出由于成像单元的照相机姿态造成的图像之间的偏差的示图。

具体实施方式

下面将参照附图描述根据本公开主题的实施例的立体图像处理装置、立体图像处理方法、记录介质和立体成像设备。

[立体成像设备的整体构造]

图1是示出根据本公开主题的立体成像设备一个实施例的结构的框图。

如图1所示，立体成像设备10包括六个成像单元1至6。立体成像设备10通过从六个视点拍摄同一对象来获取六个图像(视差图像)，并将图像记录为以规定格式记录的图像数据。

成像单元1至6和光发射器18经由控制总线16连接到中央处理单元(CPU 12)。主存储器20、数字信号处理部分22、积分累加器24、压缩/扩展处理部分26、外部记录部分28、显示部分30、对应点检测部分32、几何变换部分34、和几何变换参数估计部分36也连接到CPU 12。CPU 12基于来自操作部分14的输入操作根据规定的控制程序来控制立体成像设备10的操作。

成像单元1至6、主存储器20、数字信号处理部分22、积分累加器24、压缩/扩展处理部分26、外部记录部分28、显示部分30、对应点检测部分32、几何变换部分34、和几何变换参数估计部分36经由数据总线38互相连接。

成像单元1至6的结构彼此相同。如图2所示，成像单元1至6的每一个均包括成像透镜40、光圈41、IR(红外)截止滤光器42、低通滤光器43、成像元件(CCD(电荷耦合器件)44)、A/D变换器45、透镜驱动器46、光圈驱动器47、和CCD驱动器48。

成像透镜40包括聚焦透镜、变焦透镜，其由透镜驱动器46驱 动并且沿其光轴前后移动。CPU 12通过控制透镜驱动器46来控制聚焦透镜的位置以将焦点调节到对象上。CPU 12通过根据来自操作部分14的变焦指令控制变焦透镜的位置来控制变焦。

光圈41例如包括可变光圈。光圈41由光圈驱动器47驱动。CPU 12经由光圈驱动器47控制光圈41的孔径的量(孔径值)，并控制入射到CCD 44的光的量。

CCD 44是二维彩色CCD固态成像元件。CCD 44包括二维地布置在CCD 44的光接收表面上的多个光电二极管，以及以规定布置放置在各个光电二极管上的滤色器(例如R(红色)、G(绿色)和B(蓝色)滤色器)。经由成像透镜40、光圈41、IR截止滤光器42和低通滤光器43而形成于CCD 44的光接收表面上的光学图像被这些光电二极管变换为对应于入射光量的信号电荷。随后，根据CPU 12的指令基于从CCD驱动器48提供的驱动脉冲来将各个光电二极管中累积的信号电荷从CCD 44连续读出为对应于信号电荷量的电压信号(R、G和B图像信号)。CCD 44配备了电子快门功能。CPU 12通过电子快门功能来控制将电荷累积到光电二极管中的电荷累积时间。即，CPU 12通过电子快门功能控制曝光时间或快门速度。尽管在该实施例中将CCD 44用作成像元件，然而可以使用具有另外构造的成像元件，比如CMOS(互补金属氧化物半导体)传感器等。

通过A/D转换器45将从CCD 44读出的图像信号转换成数字信号。随后，经由数据总线38将数字信号(图像数据)临时存储在主存储器20中。

如图3所示，以规定间隔(规定的基线长度)沿着立体成像设备10的主体11的水平方向布置成像单元1至6。将成像单元1至6布置为调节成像单元1至6的会聚角(各成像单元的光轴之间的角度)以使得各个成像单元1至6的成像透镜的光轴相交于一个点。

CPU 12使成像单元1至6彼此同步地被驱动。更具体地，CPU 12始终调节包括在成像单元1至6中的每个成像透镜40的焦点以使对同一对象聚焦。成像单元1至6总是设置为具有相同焦距(放大比)。另外，CPU 12调节光圈41使得包括在成像单元1至6中的每个CCD 44 总是得到相同的入射光量(孔径值)。

操作部分14包括用于接收用户输入的装置，比如快门按钮、电源开关、模式转盘、十字按钮、缩放按钮。快门按钮以两个级来按下，其为将快门按钮按到中途(按下一半)的所谓“半按状态”和将快门按钮完全按下的所谓“全按状态”。在图像拍摄模式下，当快门按钮被半按时，执行图像拍摄准备处理(例如自动曝光处理(AE)、自动对焦调节处理(AF)和/自动白平衡校正处理(AWB))。在图像拍摄模式下，当快门按钮被全按时，执行图像拍摄和记录处理。

光发射器18例如包括放电管(氙灯)。光发射器18在必要时发射光，例如当拍摄黑暗对象的图像或者拍摄处在背光情况下的图像时。

主存储器20用作CPU 12执行程序时的工作区，并且用作用于临时存储利用成像单元1至6进行成像所获取的数字图像信号的存储部分。

数字信号处理部分22包括白平衡调节电路、灰度级变换电路(例如伽玛校正电路)、颜色插值电路(用于通过对从相邻像素得到的颜色信号进行插值来获得与除去布置在像素上的滤色器的颜色以外的颜色相对应的颜色信号、并且得到针对每个像素位置的RGB颜色信号的处理电路)、轮廓校正电路、亮度/色差信号产生电路。数字信号处理部分22对存储在主存储器20中的R、G和B图像数据执行规定的信号处理。更具体地，R、G和B图像数据被数字信号处理部分22转换成包括亮度信号(Y信号)和色差信号(Cr和Cb信号)的YUV信号，并且受到诸如灰度变换处理(例如伽玛校正)之类的规定处理。被数字信号处理部分22处理的图像信号存储在主存储器20中。

积分累加器24基于当快门按钮半按时取得的图像信号来计算用于自动对焦调节处理的焦点估计值。而且，积分累加器24计算自动曝光处理所需的对象亮度。在自动对焦调节处理中，CPU 12查找由积分累加器24计算的焦点估计值成为局部最大值的位置。CPU 12使得对焦透镜移动到该位置，并对对象(主对象)的图像对焦。在自动曝光处理中，CPU 12基于由积分累加器24计算的对象亮度来执行用 于得到适当曝光量的曝光设置。更具体地，CPU 12设置图像拍摄感光度、孔径值和快门速度，并判断发出闪光(光发射器18)的必要性。

压缩/扩展处理部分26根据来自CPU 12的指令对输入的图像数据执行压缩处理并产生规定格式的压缩图像数据。例如，静止图像受到符合JPEG标准的压缩处理，移动图像受到符合MPEG2、MPEG4或H.264标准的压缩处理。压缩/扩展处理部分26还根据来自CPU 12的指令对输入的压缩图像数据执行扩展处理并产生解压缩图像数据。

外部记录部分28将包含了由压缩/扩展处理部分26产生的JPEG格式等图像数据的图像文件记录到诸如存储卡之类的可分离的外部记录介质中。而且，外部记录部分28从外部记录介质读取图像文件。

显示部分30例如包括彩色液晶面板。显示部分30显示已被立体成像设备10拍摄的图像，并被用作用于进行各种设置的GUI(图形用户界面)。显示部分30还被用作用户用于确认图像拍摄模式下的视角的电子取景器。显示部分30包括双凸透镜，双凸透镜包括布置在彩色液晶面板表面上的一组半柱面透镜。在用于回放基于来自多个视点的图像(视差图像)的立体图像(3D图像)的回放模式中，显示部分30显示从外部记录部分28读出的视差图像，并允许用户立体地观看图像。并且，用于在显示部分30上回放立体图像的装置的示例包括而不限于双凸透镜。例如，可以将所谓的视差屏障(parallax barrier)系统应用于显示部分30。视差屏障系统控制显示部分30交替地重复以下两种处理：用于在彩色液晶面板上显示由视差图像形成的针对用户左眼的图像、并且以背光照射面板以通过使用视差屏障使得由背光照射的光仅到达用户左眼的处理；以及用于在彩色液晶面板上显示由视差图像形成的针对用户右眼的图像、并且以背光照射面板以通过使用视差屏障使得由背光照射的光仅到达用户右眼的处理。

如图4A所示，在理想情况中，对象SUB1的图像SUB1-1至SUB1-6彼此仅分别偏移了由成像单元1至6获取的六个图像之间的视差。然而，如图4B所示，在实际情况中，除了该视差之外，对象SUB1的图像SUB1-1’至SUB1-6’还由于成像单元1至6的姿态和放大比中的 差异而彼此偏移。

通过使用对应点检测部分32、几何变换部分34和几何变换参数估计部分36对图像进行变换来校正上述关于对象的偏移。下面将参照图5所示的流程图来描述用于校正上述偏移的处理。

<立体图像处理的总流程>

图5是示出根据本公开主题的一个实施例的立体图像处理的流程的流程图。

[步骤S10]

当拍摄视差图像时，六个成像单元1至6对同一对象拍摄图像，并且记录所获取的六个图像。这里，每个图像受到上述由数字信号处理部分22进行的各种信号处理，并随后被临时存储到主存储器20中。作为替代，外部记录部分28将图像记录到外部记录介质中也是优选的。

[步骤S12]

将存储在主存储器20中的六个图像之中的规定的一个图像(在该实施例中是由成像单元3获取的图像)设置为基准图像。从主存储器20读取所设置的基准图像。尽管在该实施例中将成像单元3所获取的图像设置为基准图像，然而这并不表示任何限制。相反，六个图像之中的任一个图像都可以被设置为基准图像。

[步骤S14]

从除了基准图像以外的五个图像之中选择规定的一个图像作为目标图像。从主存储器20读取所选的目标图像。

[步骤S16]

对应点检测部分32检测多个对应点的对，所述对应点的特征关于前述设置的基准图像和所选目标图像彼此基本相同。

传统上已经提出了各种方法作为对应点检测方法。可以使用诸如块匹配方法、KLT方法(Tomasi & Kanade，1991，Detection and Tracking of Point Features)、SIFT(尺度不变特征变换，scale invariant feature transform)等作为检测方法。

在该实施例中，为简便起见，在由对应点检测部分32所检测到 的对应点的对之中从基准图像检测到的对应点被称为特征点。

[步骤S18]

几何变换参数估计部分36基于多对特征点和对应点的坐标值来估计和计算投影变换参数。后文将描述步骤S18的细节。

[步骤S20]

CPU 12确定是否成功估计了投影变换参数。当成功估计了参数时(“是”的情况)，转到步骤S22。当未成功估计参数时(“否”的情况)，跳过步骤S22并转到步骤S24。

[步骤S22]

几何变换部分34基于已经成功估计的投影变换参数对目标图像进行投影变换。投影变换后的图像被外部记录部分28记录到外部记录介质中。

[步骤S24]

CPU 12确定上述基准图像与五个目标图像中的每一个之间的上述步骤S14至S22的处理是否都已完成。当该处理没有完成时，转到步骤S14并在步骤S14中执行另一目标图像的选择。当该处理完成时，该立体图像处理完成。

<估计投影变换参数的流程>

下面将描述用于基于多对特征点和对应点来估计投影变换参数的过程。

这里，投影变换方程如下：

[表达式1]

X＝(ax+by+s)/(px+qy+1)

Y＝(cx+dy+t)/(px+qy+1)

在[表达式1]中投影变换参数表示为八个参数：a、b、s、c、d、t、p和q。(x，y)和(X，Y)分别表示投影变换之前和之后的坐标值。

在图6A中，从基准图像IMG1提取的特征点(实心点)被叠加在基准图像IMG1上。并且，从目标图像IMG2检测到的对应点(空心点)被叠加在目标图像IMG2上。

图6B示出连接了特征点和各个对应点的矢量。在图6B中，特 征点A(x1，y1)和对应点A’(x2，y2)表示某一特征点和对应点的对。

特征点A和对应点A’本质上应当具有相同的高度(即y坐标值基本上彼此相同)。然而，由于基准图像IMG1和目标图像IMG2中的对象因成像单元1至6的姿态和放大比中存在差异而发生偏移，所以特征点A和对应点A’的高度(y坐标值)彼此不相等。

因此，当估计投影变换参数时，该实施例提供了如下约束条件：连接特征点A和对应点A’的线段(以下称为“矢量”)变得基本水平(即特征点A和对应点A’的y坐标值彼此基本相等)。该约束条件基于这样一个事实，即六个成像单元1至6水平地布置在设备10的主体11上。如果垂直地布置多个成像单元，则需假设所述矢量是垂直的(即，特征点和对应点的x坐标值彼此基本相等)。换句话说，提供了沿与多个视点的视差正交的方向的坐标值彼此基本相等这一约束条件。

图7A是示出连接特征点和对应点的矢量及其矢量分量的示图。图7B是示出估计投影变换参数的估计方法的一个实施例的示图。图7C是示出比较示例的示图。

如图7A所示，连接特征点和对应点的矢量(图7A中的合成矢量V_C)可以分成多个矢量分量。矢量分量表示导致特征点与对应点之间偏移的某种因素，并且包括“视差”和“除视差以外的诸如成像单元姿态中差异之类的其它因素”。在图7A中，矢量V_P表示对应于视差的矢量分量，并且矢量V₁表示对应于除视差以外的包括成像单元1至6姿态中的偏差的因素的矢量分量。从图7A可以理解，合成矢量V_C的y分量不取决于对应于视差的矢量分量，而合成矢量V_C的y分量仅取决于除了视差以外的因素。

如图7C所示，当通过校正矢量V_A’(≈-V_C)对目标图像IMG2进行投影变换从而特征点和对应点彼此基本相同时，投影变换后的图像中的合成矢量变为零。

因此，本公开的主题基于矢量V_C的y分量估计并计算了与除视差以外的包括成像单元1至6的照相机姿态中的差异在内的因素相关 的理想投影变换参数。如图7B所示，当对目标图像IMG2进行投影变换以便通过校正矢量V_A(≈-V₁)消去与除视差以外的因素有关的矢量分量时，在投影变换后的图像中的合成矢量仅包括关于视差的矢量分量V_P。

<投影变换参数的处理流程>

图8至图10是示出用于估计投影变换参数的过程的一个实施例的流程图。

[步骤S100]

假设从基准图像IMG1提取的特征点与在目标图像IMG2中检测到并且对应于各特征点的对应点的所有对的数量为N，读取特征点的坐标(x，y)和对应点的坐标(X，Y)的N个对。同时，假设第i(1≤i≤N)对中的特征点的坐标为(xi，yi)，并且其对应点的坐标为(Xi，Yi)。

[步骤S102]

由于当对应点检测部分32所获取的特征点与对应点的对的数量N很小时不能估计处投影变换参数，因此执行了对于对的数量N的阈值处理。

更具体地，提供了关于特征点与对应点的对的数量N的阈值TH1，并且执行如下确定处理。

如果N＜TH1，则设置指示参数估计失败的标志，并且结束估计(图10中的步骤S124)。

否则，继续参数估计。

在该实施例中，为了估计投影变换参数，至少需要五对坐标值。因此，阈值TH1是至少为5的规定值。

[步骤S104]

将迭代次数“irand”和置信水平参数的最大值“n_vote_max”初始化(两者均设置为“0”)。

[步骤S106]

从N个特征点与对应点的对之中随机选择五对。可以使用随机数来执行这五对的随机选择。

[步骤S108]

基于在步骤S106中选择的五对特征点与对应点的坐标值(五个特征点的x和y坐标值以及五个对应点的y坐标值)来计算用于将五对特征点与对应点的y坐标彼此匹配的投影变换参数。

如上述方程[表达式1]所示，关于y方向的投影变换参数有五个，或者c、d、t、p和q。因此，可以通过解联立方程(其通过将五个点的坐标值代入方程[表达式1]而获得)来唯一地计算出这些参数(c、d、t、p和q)。

[步骤S110]

对所有点的对(N个对)都应用其中已经代入了上述计算出的参数(c、d、t、p和q)的投影变换方程[表达式1]，并且对满足以下条件表达式的点的对的数量“n_vote”进行计数。

[表达式2]

条件表达式1：

其中y_i′＝(cx_i+dy_i+t)/(px_i+qy_i+1)，THY1是规定的常数(阈值)。

条件表达式1用于基于根据这五对点确定的投影变换参数来确定另一对点的y坐标值是否匹配。更具体地“n_vote”的值表示在N个矢量中有多少个矢量是水平的。“n_vote”越大，则投影变换参数的置信水平越高。下文将参数“n_vote”称为置信水平参数。

[步骤S112]

将步骤S110中计算出的置信水平参数“n_vote”与置信水平参数的最大值“n_vote_max”相比较(置信水平确定处理1)。当置信水平参数n_vote大于n_vote_max(n_vote＞n_vote_max)时，转到步骤S114。当数n_vote等于或小于n_vote_max(n_vote≤n_vote_max)时，转到步骤S118。

[步骤S114]

将计算出的参数(c、d、t、p和q)临时存储为中间参数(c_tmp、d_tmp、t_tmp、p_tmp和q_tmp)，并将n_vote临时存储为最大值n_vote_max。

当估计出投影参数时，步骤S106至S118的处理如下文所述迭 代规定次数“nrand”。本实施例假设对应于最大n_vote的参数(c、d、t、p和q)具有最高置信水平。因此，通过之前的步骤S106至S120的计算(第(irand-1)次计算)而计算出的置信水平参数n_vote被存储为n_vote_max。当通过最后一次计算而计算出的置信水平参数n_vote大于之前的计算所计算出的被存储为n_vote_max的置信水平参数时，将上述参数(c_tmp、d_tmp、t_tmp、p_tmp和q_tmp)更新。

[步骤S116]

获取置信水平参数最大值n_vote_max与所有对的数量N的比值(n_vote_max/N)，并且对上述比值执行阈值处理(置信水平确定处理2)。

更具体地，基于规定阈值TH2执行以下处理。

如果n_vote_max/N＜TH2，则继续用于估计投影变换参数的处理。

否则，用于估计参数的处理的迭代结束，并且转到用于计算最终投影变换参数的步骤(图10中的步骤S126)。

上述阈值TH2可以设置为接近于“1”但小于“1”的值。

置信水平参数的最大值n_vote_max是N对点之中通过使用估计的投影变换参数来执行了投影变换以后其y坐标值基本上彼此相等的点的对的数量。因此，n_vote_max/N表示要被适当地校正的点的数量与所有点的对的数量N的比值。因此，当n_vote_max/N等于或大于TH2时，估计的投影变换参数足够可信，并且用于估计参数的处理的迭代完成。转到最终投影变换参数的计算步骤。另一方面，当n_vote_max/N小于TH2时，继续进行用于估计参数的处理的迭代。

[步骤S118]

确定迭代次数irand是否大于规定的次数nrand。当迭代次数irand小于或等于规定次数nrand时(“否”的情况)，转到步骤S120。当迭代次数irand大于规定次数nrand时(“是”的情况)，转到步骤S122。规定次数nrand取决于图像中特征点与对应点的对的数量N。规定次数nrand大约为1000至10000。

[步骤S120]

将迭代次数irand加一，并且转到步骤S106。

[步骤S122]

当迭代次数irand大于规定次数nrand时，获取在步骤S114中已经存储的置信水平参数的最大值(n_vote_max)与所有对的数量N的比值(n_vote_max/N)，并且对该比值执行阈值处理(置信水平确定处理3)。

更具体地，使用规定阈值TH3执行以下处理。

如果n_vote_max/N＜TH3，则设置指示投影变换参数估计失败的标志，并且估计的处理结束(图10中的步骤S124)。

否则，用于估计参数的处理的迭代结束，并且转到用于计算最终投影变换参数的步骤(图10中的步骤S126)。

不用说，阈值TH3小于步骤S114中的阈值TH2。

[步骤S124(图10)]

如上所述，当特征点与对应点的对的数量N小于阈值TH1时(步骤S102)，或者当估计的参数的置信水平较低(n_vote_max/N＜TH3)时，设置指示投影变换参数估计已经失败的估计失败标志，并且投影变换参数的估计结束。

[步骤S126]

将在步骤S114存储的中间参数(c_tmp、d_tmp、t_tmp、p_tmp和q_tmp)代入投影变换方程。将所有点的对(N个对)的坐标代入投影变换方程，并且仅保留满足以下条件表达式2的点的对(不满足条件表达式2的点对被排除)。

[表达式3]

条件表达式2：

其中y_i′＝(c_tmp×x_i+d_tmp×y_i+t_tmp)/(p_tmp×x_i+q_tmp×y_i+1)，THY2是预定的常数(阈值)。

因此，只有置信水平高的特征点与对应点的对能够被保留。

[步骤S128]

借助最小二乘法，仅采用满足上述条件表达式2的点对来执行 参数的最终估计。这里，假设满足条件表达式2的点的对的数量为“n”，通过最小二乘法来估计参数以使下面的表达式中的评价函数“J2”最小化。

[表达式4]

$J_1=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\{Y_i-y_i^{\&prime;}\}}^2=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\{Y_i-({\mathrm{cx}}_i+{\mathrm{dy}}_i+t)/({\mathrm{px}}_i+{\mathrm{qy}}_i+1)\}}^2$

$J_2=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\{{\mathrm{px}}_i{Y}_i+{\mathrm{qy}}_i{Y}_i+Y_i-{\mathrm{cx}}_i-{\mathrm{dy}}_i-t\}}^2$

评价函数“J2”等于评价函数“J1”。

更具体地，如以下表达式所示，令通过将评价函数J2关于每个参数(c、d、t、p和q)求偏微分而获得的五个表达式的每一个为“0”，则通过对这五个表达式组成的联立方程求解来计算出参数(c、d、t、p和q)。

[表达式5]

$\frac{\&PartialD;J}{\&PartialD;c}=-2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\mathrm{px}}_i^2{Y}_i+{\mathrm{qx}}_i{y}_i{Y}_i+x_i{Y}_i-{\mathrm{cx}}_i^2-{\mathrm{dx}}_i{y}_i-{\mathrm{tx}}_i)=0$

$\frac{\&PartialD;J}{\&PartialD;d}=-2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\mathrm{px}}_i{y}_i{Y}_i+{\mathrm{qy}}_i^2{Y}_i+y_i{Y}_i-{\mathrm{cx}}_i{y}_i-{\mathrm{dy}}_i^2-{\mathrm{ty}}_i)=0$

$\frac{\&PartialD;J}{\&PartialD;t}=-2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\mathrm{px}}_i{Y}_i+{\mathrm{qy}}_i{Y}_i+Y_i-{\mathrm{cx}}_i-{\mathrm{dy}}_i-t)=0$

$\frac{\&PartialD;J}{\&PartialD;p}=2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\mathrm{px}}_i^2{Y}_i^2+{\mathrm{qx}}_i{y}_i{Y}_i^2+x_i{Y}_i^2-{\mathrm{cx}}_i^2{Y}_i-{\mathrm{dx}}_i{y}_i{Y}_i-{\mathrm{tx}}_i{Y}_i)=0$

$\frac{\&PartialD;J}{\&PartialD;q}=2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\mathrm{px}}_i{y}_i{Y}_i^2+{\mathrm{qy}}_i^2{Y}_i^2+y_i{Y}_i^2-{\mathrm{cx}}_i{y}_i{Y}_i-{\mathrm{dy}}_i^2{Y}_i-{\mathrm{ty}}_i{Y}_i)=0$

通过解上面的联立方程计算出最终参数(c、d、t、p和q)。

[步骤S130]

接下来，确定八个投影变换参数(a、b、s、c、d、t、p和q)之中剩下的参数(a、b和s)。除了上述估计的参数(c、d、t、p和q)以外，还需要剩下的参数(a、b和s)来确定投影变换后的x坐标值。

这里，参数“s”对应于沿x方向(发生视差的方向)的偏移量。由于视差的量未知，并且不能唯一地确定“s”，因此令“s”为s＝0。

另一方面，参数“a”和“b”的计算例如被执行如下。

这里，假设如图11所示的坐标系，假设图像平面PL1布置在与原点“O”相距距离“1”处，图像平面上的每个点均被投影在投影平面PL2上。换言之，点P1被移动到点P2。

这里，假设图像平面PL1和投影平面PL2之间的角度为“θ”，并且投影平面PL2在x’轴上。还假设投影平面与z轴(对应于图像深度维度的方向)之间的交点为O’，该交点被确定为x’轴上的原点。

假设P1的x坐标值是“x”，并且P2关于x’轴的x坐标值是x’，则得到如下表达式。

[表达式6]

$x^{\&prime;}=\frac{x/\cos \mathrm{\&theta;}}{\tan \mathrm{\&theta;x}+1}$

为了使[表达式6]一般化，令投影平面PL2与x轴之间的角度为“θ_x”，并且投影平面PL2与y轴(图11中沿着垂直于纸张平面的方向的轴)之间的角度为“θ_y”，得到如下方程。

[表达式7]

$x^{\&prime;}=\frac{x/{\cos \mathrm{\&theta;}}_x}{\frac{{\tan \mathrm{\&theta;}}_x}{w}x+\frac{{\tan \mathrm{\&theta;}}_y}{h}y+1}$

$y^{\&prime;}=\frac{y/{\cos \mathrm{\&theta;}}_y}{\frac{{\tan \mathrm{\&theta;}}_x}{w}x+\frac{{\tan \mathrm{\&theta;}}_y}{h}y+1}$

在上述[表达式7]中，(x，y)表示图像平面PL1上的坐标值，而(x’，y’)表示投影平面PL2上的坐标值。参数“w”和“h”分别表示图像的宽度和高度，并关于图像的宽度和高度而被标准化。该操作对应于成像单元的光轴方向的调节。

接下来，投影到投影平面上的图像被旋转、尺寸改变和平移(平行地偏移)。该操作对应于成像单元的放大比的调节和成像单元的光轴的旋转。这里，假设旋转角度为θ_O，由于缩放导致的的尺寸改变比率为“k”，并且平移的量为(s’，t’)，则得到如下表达式。

[表达式8]

X＝kcosθ_O·x′ksinθ_O·y′+s′

Y＝ksinθ_O·x′+ksinθ_O·y′+t′

当将方程[表达式7]代入方程[表达式8]时，得到如下方程。

[表达式9]

$X=\frac{(\frac{k\cos {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_x}+\frac{s^{\&prime;}}{w}\tan {\mathrm{\&theta;}}_x)\&CenterDot;x+(-\frac{k\sin {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_y}+\frac{s^{\&prime;}}{h}{\tan \mathrm{\&theta;}}_y)\&CenterDot;y+s^{\&prime;}}{\frac{\tan {\mathrm{\&theta;}}_x}{w}x+\frac{{\tan \mathrm{\&theta;}}_y}{h}y+1}$

$Y=\frac{(\frac{k\sin {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_x}+\frac{t^{\&prime;}}{w}\tan {\mathrm{\&theta;}}_x)\&CenterDot;x+(\frac{k\cos {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_y}+\frac{t^{\&prime;}}{h}{\tan \mathrm{\&theta;}}_y)\&CenterDot;y+t^{\&prime;}}{\frac{\tan {\mathrm{\&theta;}}_x}{w}x+\frac{{\tan \mathrm{\&theta;}}_y}{h}y+1}$

通过将上述方程与投影变换方程(方程[表达式1])比较，导出如下关系。

[表达式10]

$a=\frac{k\cos {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_x}+\frac{s^{\&prime;}}{w}\tan {\mathrm{\&theta;}}_x,$ $b=\frac{k\sin {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_y}+\frac{s^{\&prime;}}{h}\tan {\mathrm{\&theta;}}_y,s=s^{\&prime;}$

$c=\frac{k\sin {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_x}+\frac{t^{\&prime;}}{w}\tan {\mathrm{\&theta;}}_x,$ $d=\frac{k\cos {\mathrm{\&theta;}}_O}{\cos {\mathrm{\&theta;}}_y}+\frac{t^{\&prime;}}{h}\tan {\mathrm{\&theta;}}_y,t=t^{\&prime;}$

$p=\frac{{\tan \mathrm{\&theta;}}_x}{w},$ $q=\frac{{\tan \mathrm{\&theta;}}_y}{h}$

由于在上面的方程[表达式10]中参数c、d、t、p和q是已知的，因此可以从这些表达式确定θ_x、θ_y、θ_O和k。而从θ_x、θ_y、θ_O和k则可以确定参数“a”和“b”，这里假设s＝s′＝0来确定“a”和“b”。

[步骤S132]

当根据上述过程完成了八个投影变换参数(a、b、s、c、d、t、p和q)的估计和计算时，设置估计成功标志，并且投影参数的估计完成。

在该实施例中，仅使用满足方程[表达式3]所示条件的点的对，并借助最小二乘法来估计最终参数。然而，并不限于此，所有中间参 数都可以用来估计最终参数。

[其它点]

根据上面的估计方法，计算了用于对特征点进行投影变换的投影变换参数。获得的投影变换参数是用于变换基准图像的参数。本质上，要计算的参数是用于变换目标图像的参数。下面将说明不直接计算用于变换目标图像的参数的原因。

一般上，当变换并输出被输入的图像时，计算的是输出图像的每个像素位置处在输入图像上的何处。这是用于避免在计算输入图像的每个像素位置处在输出图像上的何处时会产生没有数据的区域的一种典型方法。换言之，变换目标图像所需的参数可以是用于在实际情况中变换特征点的参数。

尽管在该实施例中将投影变换用作对图像进行几何变换的方法，然而还可以使用诸如Helmert变换和仿射变换之类的几何变换。在该情况下，估计方法与投影变换情况的有所不同。例如，Helmert变换被表示如下：

[表达式11]

Helmert变换：X＝ax-by+s

Y＝bx+ay+t

在采用与用于估计投影变换参数的方法相同的方式中，其可应用于将采用五对特征点与对应点来确定Y的五个参数(c、d、t、p和q)的计算改成采用三对特征点与对应点来估计参数(a、b和t)来确定方程[表达式11]中的Y。如果以最小二乘法执行最终参数的估计，则可以适当地将评价函数J改成如下等式。

[表达式12]

$J=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\{Y_i-y_i^{\&prime;}\}}^2=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\{Y_i-({\mathrm{bx}}_i+{\mathrm{ay}}_i+t)\}}^2$

在Helmert变换方程中，在用于确定X的参数中包括“a”和“b”。因此，如果估计了用于确定Y的参数，则也就估计了用于确定X的参数。参数“s”(其也是相对于X的平移分量)可以如投影变换中一样设s＝0。当应用除投影变换或Helmert变换以外的几何变换时，也 可以以类似方式来估计用于进行几何变换的参数。

本实施例的立体成像设备是包括六个成像单元的复眼照相机。本公开的主题的范围并不局限于该实施例。成像单元的数量可以等于或大于二。另外，本公开的主题的立体成像设备并不限于包括多个成像单元的复眼照相机。本公开的主题还可适用于包括不在一个主体上提供的多个单眼照相机的照相机系统。

另外，根据本发明的立体图像处理不限于由立体成像设备来执行的情况。作为替代，可以通过不具有拍摄视差图像功能的个人计算机等来执行该处理。在该情况下，可以将传统复眼照相机等拍摄的多个图像(视差图像)输入个人计算机等中，并且可以在个人计算机等上执行该处理。可以将用于获取理想视差图像的几何变换功能提供为使得个人计算机执行上述处理的程序。

本公开的主题不限于上述实施例，并且可以在不脱离本公开主题的精神的情况下做出各种修改。

参考符号列表

1-6...成像单元；

10...立体成像设备；

12...中央处理单元(CPU)；

20...主存储器；

22...数字信号处理部分；

28...外部记录部分；

30...显示部分；

32...对应点检测部分；

34...几何变换部分；以及

36...几何变换参数估计部分

Claims (12)

1.一种立体图像处理装置，包括：

图像获取装置，用于获取从多个视点拍摄的同一对象的多个图像；

对应点检测装置，用于从获取的多个图像之中选择规定图像作为基准图像，从获取的多个图像之中选择除所述基准图像以外的全部图像中的每一个作为目标图像，以及从所述基准图像检测多个特征点并从所述目标图像检测多个对应点以产生多个特征点与对应点的对，其中包括在同一对中的特征点与对应点的特征彼此基本相同，所述规定图像是所获取的多个图像中的任何一个图像；

参数估计装置，用于基于多对特征点和对应点的坐标值来估计几何变换参数，所述几何变换参数用于对所述目标图像进行几何变换以便仅保留由视差引起的视角上的偏移，在变换后的图像中的合成矢量仅包括关于视差的矢量分量，其中合成矢量是连接特征点和对应点的矢量；以及

图像变换装置，用于基于所估计的几何变换参数来对所述目标图像进行几何变换。

2.根据权利要求1的立体图像处理装置，其中所述参数估计装置至少基于所述对应点的x和y坐标值以及所述特征点的y坐标值来估计所述几何变换参数中的至少一些参数，所述一些参数为用于确定几何变换后的对应点的y坐标值的参数。

3.根据权利要求2的立体图像处理装置，其中所述参数估计装置基于所述一些参数来计算由所述参数估计装置估计的所述一些参数以外的参数，所述一些参数以外的参数为用于确定几何变换后的对应点的x坐标值所需的参数。

4.根据权利要求2的立体图像处理装置，其中

所述几何变换参数是投影变换参数，以及

所述参数估计装置从多对特征点与对应点之中选择五对或更多对，并且基于所选每一对中的特征点与对应点的坐标值来对用于确定投影变换后的对应点的y坐标值的参数进行估计。

5.根据权利要求4的立体图像处理装置，其中所述参数估计装置基于用于确定投影变换后的对应点的y坐标值的参数来计算确定投影变换后的对应点的x坐标值所需的其它参数。

6.根据权利要求2的立体图像处理装置，其中

所述几何变换参数是Helmert变换参数，并且

所述参数估计装置从检测到的多对特征点与对应点之中选择三对或更多对，并基于所选每一对中的特征点与对应点的坐标值来估计Helmert变换参数。

7.一种立体图像处理方法，包括：

图像获取步骤，获取从多个视点拍摄的同一对象的多个图像；

对应点检测步骤，从获取的多个图像之中选择规定图像作为基准图像，从获取的多个图像之中选择除基准图像以外的全部图像中的每一个作为目标图像，并且从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对，其中包括在同一对中的特征点与对应点的特征彼此基本相同，所述规定图像是所获取的多个图像中的任何一个图像；

参数估计步骤，基于多对特征点和对应点的坐标值来估计几何变换参数，所述几何变换参数用于对所述目标图像进行几何变换以便仅保留由视差引起的视角上的偏移，在变换后的图像中的合成矢量仅包括关于视差的矢量分量，其中合成矢量是连接特征点和对应点的矢量；以及

图像变换步骤，基于所估计的几何变换参数来对所述目标图像进行几何变换。

8.根据权利要求7的立体图像处理方法，其中，在所述参数估计步骤中，至少基于所述对应点的x和y坐标值以及所述特征点的y坐标值来估计所述几何变换参数中的至少一些参数，所述一些参数为用于确定几何变换后的对应点的y坐标值的参数。

9.根据权利要求8的立体图像处理方法，其中所述参数估计步骤包括：

第一步骤，从N对中随机地选择对用于确定变换后对应点的y坐标值的几何变换参数进行估计所需的特定数量的对，N为所述多个对的总数量；

第二步骤，基于在由所述第一步骤随机选择的每个对应点的坐标值的基础上估计的参数，针对所述N对中的每一对来计算变换后对应点的y坐标值；

第三步骤，针对所述N对中的每一对计算由所述第二步骤计算出的变换后对应点的y坐标值与所述特征点的y坐标值之间的差值；

第四步骤，对通过所述第三步骤计算出的差值小于预定第一阈值的特征点与对应点的对的数量进行计数，其中所述第一阈值是预定的常数并且表示所述N对中的每一对的变换后对应点的y坐标值与所述特征点的y坐标值之间是否匹配；

第五步骤，基于所计的对的数量与N之间的比值来确定估计的参数的置信水平；以及

迭代步骤，其重复第一至第五步骤直到确定的置信水平达到预定置信水平，或者迭代次数达到预定迭代次数。

10.根据权利要求9的立体图像处理方法，其中所述参数估计步骤包括：

第六步骤，基于当确定的置信水平达到预定置信水平时估计的参数或者基于当置信水平在各次迭代的置信水平之中为最高时估计的参数，来针对所述N对中的每一对计算所述变换后对应点的y坐标值；

第七步骤，针对所述N对中的每一对来计算通过所述第六步骤计算出的所述变换后对应点的y坐标值与所述特征点的y坐标值之间的差值；

第八步骤，从所述N对中仅选择通过所述第七步骤计算出的差值小于预定第二阈值的特征点与对应点的对，其中所述第二阈值是预定的常数并且表示所述N对中的每一对的所述变换后对应点的y坐标值与所述特征点的y坐标值之间是否匹配；以及

第九步骤，仅使用在所述第八步骤中选择的特征点与对应点的对来计算多个参数。

11.根据权利要求10的立体图像处理方法，其中，在所述第九步骤中，所述多个参数使得通过所述第八步骤选择的多个对中的所述变换后对应点的y坐标值与所述特征点的y坐标值之间的差值的平方和最小化。

12.一种立体成像设备，包括：

根据权利要求1的立体图像处理装置；以及

多个成像单元，其分别布置在沿着视差方向的多个视点处，并且从其视点拍摄同一对象的图像，其中

所述图像获取装置分别获取由所述多个成像单元拍摄的多个图像。