CN104471612B

CN104471612B - 图像处理装置以及图像处理方法

Info

Publication number: CN104471612B
Application number: CN201380034425.8A
Authority: CN
Inventors: 都筑俊宏
Original assignee: Olympus Corp
Current assignee: Aozhixin Digital Technology Co ltd
Priority date: 2012-06-27
Filing date: 2013-02-08
Publication date: 2017-08-04
Anticipated expiration: 2033-02-08
Also published as: US9183634B2; JP2014010495A; WO2014002521A1; US20150104097A1; JP5901447B2; CN104471612A

Abstract

图像处理装置包含：图像取得部(12)，其取得多个图像；对应点取得部(110)；第1基础矩阵估计部(120)；对极坐标导出部(130)；对极坐标确定部(140)；以及基础矩阵确定部(150)。对应点取得部(110)取得在多个所述图像之间相互对应的多个第1对应点。第1基础矩阵估计部(120)根据多个所述第1对应点计算多个第1基础矩阵。对极坐标导出部(130)计算与所述多个第1基础矩阵分别对应的多个第1对极坐标。对极坐标确定部(140)将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标。基础矩阵确定部(150)将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法。

背景技术

一般而言，公知有如下的技术，根据2张图像，估计对这些图像进行了拍摄的照相机的位置以及姿势的变化。即，在该技术中，提取多个在2张图像中被判断为共同显示着的点，并取得这些点的对应关系，确定为对应点。根据该对应点计算基础矩阵，并根据该基础矩阵估计照相机的位置以及姿势变化。例如，在日本特开2007－256029号公报中公开了在这种基础矩阵的计算中，使用RANSAC(RANdam Sample Consensus：随机抽样一致)等鲁棒估计方法。在RANSAC中，从多个对应点之中随机提取8个点，计算临时的基础矩阵。例如，以与极(Epipolar)线之间的距离为指标，对各临时的基础矩阵进行评价，从而，排除对应点的特定的错误以及包含在图像中的动态被摄体的影响。此外，在日本特开2007－256029号公报中公开了以下的技术，根据基础矩阵的计算，反复进行照相机的位置以及姿势变化的估计，从而，确定最准确的位置以及姿势变化。

发明内容

但是，在如上所述的技术中，已知有在对应点的分布接近平面的情况下，基础矩阵计算退化，基础矩阵的误差变大的情况。例如，当使用RANSAC时，可期待针对对应点的错误应对以及动态被摄体的鲁棒性的提高。但是，例如，即便使用了RANSAC，也无法期待改善针对由于对应点分布靠近平面而引起的误差的鲁棒性。

因此，本发明的目的在于提供一种确定基础矩阵的图像处理装置以及图像处理方法，其中，该基础矩阵对于对应点的错误应对和动态被摄体具有鲁棒性，且对于由于对应点的分布接近平面引起的误差也具有鲁棒性。

为了达到上述目的，根据本发明的一个方式，图像处理装置的特征在于，其具有：图像取得部，其取得多个图像；对应点取得部，其取得在多个所述图像之间相互对应的多个第1对应点；第1基础矩阵估计部，其根据多个所述第1对应点计算多个第1基础矩阵；对极坐标导出部，其针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；对极坐标确定部，其使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；以及基础矩阵确定部，其将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。

为了达到上述目的，根据本发明的一个方式，摄像装置的特征在于，其具有：摄像部，其拍摄图像；图像取得部，其取得在不同时间拍摄的多个所述图像；对应点取得部，其取得在多个所述图像中相互对应的多个第1对应点；第1基础矩阵估计部，其根据多个所述第1对应点计算多个第1基础矩阵；对极坐标导出部，其针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；对极坐标确定部，其使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；基础矩阵确定部，其将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵；以及校正部，其根据所述第2基础矩阵，校正存在于所述多个图像之间的抖动。

为了达到上述目的，根据本发明的一个方式，图像处理方法的特征在于，其具有以下步骤：取得多个图像；取得在多个所述图像之间相互对应的多个第1对应点；根据多个所述第1对应点计算多个第1基础矩阵；针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；以及将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。

为了达到上述目的，根据本发明的一个方式，一种计算机可读的记录介质，其记录使计算机执行以下步骤的图像处理程序：取得多个图像；取得在多个所述图像之间相互对应的多个第1对应点；根据多个所述第1对应点计算多个第1基础矩阵；针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；以及将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。

根据本发明，由于使用对极坐标来确定恰当的第2基础矩阵，因此，能够提供可确定基础矩阵的图像处理装置以及图像处理方法，其中，该基础矩阵对于对应点的错误应对和动态被摄体具有鲁棒性，且对于由于对应点的分布接近平面引起的误差也具有鲁棒性。

附图说明

图1是示出第1实施方式的图像处理装置的结构例的框图。

图2是示出第1实施方式的图像处理装置的处理的一例的流程图。

图3是示出第1实施方式的基础矩阵确定处理的一例的流程图。

图4是用于说明对极(Epipolar)几何的图。

图5是示出第1实施方式的基础矩阵估计处理的一例的流程图。

图6是示出第1实施方式的内点(inlier)个数计算处理的一例的流程图。

图7是示出第1实施方式的对极坐标确定部的结构例的框图。

图8是示出第1实施方式的最佳对极选择处理的一例的流程图。

图9是示出第2实施方式的对极坐标确定部的结构例的框图。

图10是示出第2实施方式的最佳对极选择处理的一例的流程图。

图11是示出第2实施方式的直方图的一例的图。

图12是示出第3实施方式的图像处理装置的结构例的框图。

图13是示出第3实施方式的图像处理装置的处理的一例的流程图。

图14是示出第4实施方式的数字照相机的结构例的框图。

具体实施方式

(第1实施方式)

参照附图来说明本发明的第1实施方式。图1示出本实施方式的图像处理装置10的结构例。如该图所示，图像处理装置10具有图像处理部100、图像取得部12、存储部14以及控制部16。该图像处理装置10针对所输入的多个图像计算并输出表示图像间关系的基础矩阵。

图像处理部100担负图像处理装置10的中心性作用，如后所述，进行与所输入的多个图像相关的基础矩阵的计算。图像取得部12从图像处理装置10的外部或存储部14取得作为处理对象的图像的数据，输入到图像处理部100。存储部14存储作为处理对象的图像数据、与各种运算相关的程序以及运算结果等。控制部16控制图像处理装置10的动作。

图像处理部100具有：对应点取得部110；基础矩阵估计部120；对极坐标导出部130；对极坐标确定部140；以及基础矩阵确定部150。对应点取得部110对于从图像取得部12输入的多个图像，提取多个包含在该图像中的共同的点，针对这些多个点，取得在图像间的对应关系。将得到该对应关系的点作为对应点输出。基础矩阵估计部120根据对应点取得部110取得的对应点，使用例如RANSAC(RANdam Sample Consensus：随机抽样一致)等鲁棒方法计算多个作为表示图像间的关系的基础矩阵的第1基础矩阵。

对极坐标导出部130根据基础矩阵估计部120计算出的各第1基础矩阵，计算与该基础矩阵对应的图像间的对极的坐标。对极坐标确定部140从对极坐标导出部130计算出的多个对极的坐标之中，选择最准确的对极。基础矩阵确定部150以与对极坐标确定部140选择出的对极对应的第1基础矩阵为最佳基础矩阵，确定第2基础矩阵。

参考图2示出的流程图，说明本实施方式的图像处理装置10的动作。在步骤S101中，图像取得部12取得作为该图像处理装置10的图像处理的对象的例如2个图像。图像取得部12可以从图像处理装置10的外部取得图像，也可以取得存储在存储部14中的图像。所取得的图像被输入到图像处理部100。

在步骤S102中，图像处理部100内的对应点取得部110进行图像间的对应点取得处理。即，对应点取得部110取得从图像取得部12输入的2个图像的相互对应的点的位置关系。该对应点取得处理可以是特征点跟踪等的基于特征匹配，也可以是块匹配等的基于区域匹配。此处，将由对应点取得部110获得了对应关系的点称作对应点。另外，通过对应点取得处理，通常可以获得数千点的对应点。

在步骤S103中，图像处理部100根据由对应点取得部110取得的对应点，进行基础矩阵确定处理。关于基础矩阵确定处理，参照图3所示的流程图进行说明。在步骤S201至步骤S204中，图像处理部100根据对极几何，反复计算规定的次数，即N次后述的基础矩阵和对极坐标。即，计算N个基础矩阵与对极坐标的组合。

此处，参考图4简单说明对极几何。以下，通过将照相机假定为针孔照相机的针孔照相机模型进行说明。考虑利用具有第1镜头主点01的第1照相机与具有第2镜头主点O2的第2照相机，拍摄空间上的静止的点P的情况。考虑通过第1照相机获得的第1图像平面I1上、以及通过第2照相机获得的第2图像平面I2上的坐标。将在第1图像平面I1上拍摄了点P的点的坐标设为坐标p1。设坐标p1的x坐标以及y坐标为画像坐标(u1，v1)。将在第2图像平面I2上拍摄了点P的点的坐标设为坐标p2。设坐标p2的x坐标以及y坐标为画像坐标(u2，v2)。

此外，将连接第1镜头主点O1与第2镜头主点O2的直线与第1图像平面I1的交点称作第1对极e1，将与第2图像平面I2的交点称作第2对极e2。此外，将包含P点、第1镜头主点O1以及第2镜头主点O2的平面与第1图像平面I1的相交线称作第1对极线L1，将包含P点、第1镜头主点O1以及第2镜头主点O2的平面与第2图像平面I2的相交线称作第2对极线L2。

对极方程式是对极几何中的基本方程式。当将对坐标p1以及坐标p2进行了齐次坐标显示的矢量设为m1以及m2时，m1以及m2表示为如下述式(1)。

【式1】

m1＝(u1，v1，1)^T

(1)

m2＝(u2，v2，1)^T

此时，O1、O2、p1与p2在空间坐标系中位于相同平面上，因此，在3×3的矩阵F中，下述式(2)的关系成立。

【式2】

上述方程式(2)称作对极方程式，矩阵F称作基础矩阵。虽然基础矩阵F存在9个成分，但是，由于标量(scale)不确定性以及基础矩阵F为正规矩阵这两点，自由度为7。例如，通过公知的8点算法，根据8点以上的对应点来解方程式(2)，从而确定基础矩阵。当基于基础矩阵F时，求出基本矩阵，根据该基本矩阵求出表示第1照相机与第2照相机的姿势以及位置之差的旋转矩阵R与平移矢量t。

返回图3继续说明。在步骤S201中，图像处理部100的基础矩阵估计部120进行基础矩阵估计处理。通过使用了例如RANSAC(RANdom Sample Consensus：随机抽样一致)的方法进行该处理。参照图5所示的流程图说明使用了RANSAC的基础矩阵估计处理。在步骤S301中，基础矩阵估计部120随机提取通过对应点取得部110的对应点取得处理取得的对应点中的多个对应点。例如，在本实施方式中，提取8个点的对应点。在步骤S302中，基础矩阵估计部120根据所提取的8个点的对应点，使用例如公知的8点算法计算上述的基础矩阵F。将此处计算出的基础矩阵称作临时基础矩阵。

在步骤S303中，基础矩阵估计部120进行内点个数计算处理。在内点个数计算处理中，考虑与2张图像相关的对极几何。针对在步骤S102中取得的各对应点，在根据在步骤S302中计算出的临时基础矩阵求出的对极线与该对应点之间的距离小于规定阈值时，将该对应点设为内点(评价较高)。在内点个数计算处理中，求出多个对应点中的作为内点的对应点的个数。

参照图6所示的流程图说明内点个数计算处理。在步骤S401中，基础矩阵估计部120将表示内点的个数的变量I设定为8。这是为了将在本实施方式中在临时基础矩阵的计算中使用的8个点的对应点作为内点进行计数。

接着，对全部的对应点进行以下的处理。在步骤S402中，基础矩阵估计部120计算根据临时基础矩阵求出的对极线与作为对象的对应点之间的距离。在步骤S403中，基础矩阵估计部120判定与在步骤S402中计算出的对极线之间的距离是否小于规定的阈值(也可以是规定的阈值以下)。在判定出距离小于阈值时，在步骤S404中，基础矩阵估计部120使表示内点的个数的变量I增加1。将对应点中的、与对极线的距离小于规定的阈值的对应点称作内点对应点。然后，处理进入到步骤S405。在步骤S403的判定中判定出距离在规定的阈值以上时，处理进入到步骤S405。

在步骤S405中，基础矩阵估计部120判定是否针对全部的对应点进行了步骤S402至步骤S404的处理。在判定出没有针对全部的对应点进行了处理时，处理返回步骤S402，对接下来的对应点进行相同的处理。在步骤S405的判定中，在判定出进行了处理时，以变量I为返回值，处理返回基础矩阵估计处理。

由此，计算全部的对应点中的、相对于临时基础矩阵为内点的对应点的个数I。此处，内点的对应点的个数越多的临时基础矩阵，越可以认为是恰当地表示与2张图像之间的关系的基础矩阵。

返回图5继续说明。在步骤S304中，基础矩阵估计部120判定是否进行了规定的次数的步骤S301至步骤S303的处理。在没有进行规定的次数时，处理返回到步骤S301。在步骤S304中判定为处理进行了规定的次数时，处理进入到步骤S305。在步骤S305中，基础矩阵估计部120将内点对应点的个数I最大的临时基础矩阵确定为第1基础矩阵。

此处，将计算根据步骤S304的判断的内点对应点的个数的临时基础矩阵的数量设为规定数量。但是，不限于此，也可以是在保持满足了规定的结束条件的状态下，针对临时基础矩阵计算内点对应点的个数。在步骤S305之后，以第1基础矩阵为返回值，处理返回基础矩阵确定处理。

返回图3继续说明。在步骤S202中，基础矩阵估计部120将通过基础矩阵估计处理获得的第1基础矩阵存储到存储部14。在步骤S203中，对极坐标导出部130进行对极坐标的计算。对极坐标的计算按照下述的步骤进行。

将基础矩阵估计部120计算出的基础矩阵F的转置矩阵设为F^T，将通过齐次系表示的第1图像的对极坐标设为e₁＝(e1x，e1y，1)^T，将通过齐次系表示的第2图像的对极坐标设为e₂＝(e2x，e2y，1)^T。此时，下述式(3)成立。

【式3】

F^Te₁＝0 (3)

Fe₂＝0

因此，通过解上述式(3)的联立方程式来求出e₁以及e₂。例如，如下述式(4)，对矩阵进行特异值分解。

【式4】

FF^T＝U₁W₁V₁ ^T (4)

F^TF=U₂W₂V₂ ^T

此处，U₁以及U₂被称作左正交矩阵，V₁以及V₂被称作右正交矩阵，W₁以及W₂被称作特异值矩阵或者对角矩阵。根据该右正交矩阵的最后一列矢量成分，通过下述式(5)求出e₁以及e₂。

【式5】

由此，在该步骤S203中计算对极的坐标。在步骤S204中，对极坐标导出部130将计算出的对极坐标与使用的基础矩阵相关联地存储在存储部14。

如上所述，重复N次基础矩阵估计部120进行的使用例如RANSAC的第1基础矩阵的计算、以及基于该第1基础矩阵的、对极坐标计算部130进行的对极坐标的导出。然后处理进入到步骤S205。在步骤S205中，对极坐标确定部140进行最佳对极选择处理。即，对极坐标确定部140采用统计性的方法，从由对极坐标导出部130计算出的N个或者2N个的对极坐标中，按照每个图像确定1个最佳的对极。此处，N个对极坐标是指与2个图像之中的一个图像的各第1基础矩阵对应的对极的坐标，2N个对极坐标是指与2个图像的双方图像的各第1基础矩阵对应的对极坐标。例如，在本实施方式中，使用中央值来确定最佳的对极。因此，如图7所示，对极坐标确定部140具有：中央值计算部142、距离计算部146、以及对极选择部148。

关于最佳对极选择处理，参照图8所示的流程图进行说明。在步骤S501中，对极坐标确定部140内的中央值计算部142反复进行从步骤S201到步骤S204的处理，从而读出存储在存储部14中的各对极的坐标，确定这些对极的坐标的中央值。

在步骤S502中，对极坐标确定部140的距离计算部146在步骤S501中，计算由中央值计算部142计算出的中央值与N个或者2N个各对极的坐标之间的距离dEpi1。此处，在使用2N个对极坐标的情况下，例如如下计算距离dEpi1。将第1图像平面I1的对极坐标的中央值设为(Epi1_X_Mid，Epi1_Y_Mid)，将第2图像平面I2的对极坐标的中央值设为(Epi2_X_Mid，Epi2_Y_Mid)。将根据第1基础矩阵确定出的第i个第1对极e1的坐标设为(Epi1_X(i)，Epi1_Y(i))，将第2对极e2的坐标设为(Epi2_X(i)，Epi2_Y(i))。此时，例如通过下述式(6)获得距离dEpi1。

【式6】

dEpi1＝(Epi1_X(i)-Epi1_X_Mid)²+(Epi1_Y(i)_Epi1_Y_Mid)² (6)

+(Epi2_X(i)-Epi2_X_Mid)²+(Epi2_Y(i)_Epi2_Y_Mid)²

在步骤S503中，对极坐标确定部140内的对极选择部148选择由距离计算部146计算出的距离dEpi1最小的对极坐标作为最佳的对极坐标。以选择出的最佳对极坐标为返回值，处理返回基础矩阵确定处理。

另外，在本实施方式中，虽然以对极坐标的中央值为基准进行了最佳对极的选择，但是，不限于中央值，也可以使用平均值等各种统计值。不过，为了抑制偏离值等的影响，优选使用中央值。

返回图3继续说明。在步骤S206中，基础矩阵确定部150从存储部14中读出与通过对极坐标确定部140的最佳对极选择处理选择出的最佳对极对应的第1基础矩阵，将该第1基础矩阵确定为最佳基础矩阵。将该最佳基础矩阵称作第2基础矩阵。之后，以第2基础矩阵为返回值，处理返回参考图2进行说明的处理。图像处理部100将所确定的第2基础矩阵作为对于所输入的图像最佳的基础矩阵进行输出。该基础矩阵也可存储在存储部14中。

由此，例如，图像取得部12作为取得多个图像的图像取得部发挥作用。例如，对应点取得部110作为取得多个所述图像之间的相互对应的多个第1对应点的对应点取得部发挥作用。例如，基础矩阵估计部120作为根据多个所述第1对应点计算多个所述第1基础矩阵的第1基础矩阵估计部发挥作用。例如，对极坐标导出部130作为针对至少一个图像，计算与所述多个第1基础矩阵的各个对应的多个第1对极坐标的对极坐标导出部发挥作用。例如，对极坐标确定部140作为使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标的对极坐标确定部发挥作用。此处，例如，最佳对极的坐标相当于第2对极坐标。例如，基础矩阵确定部150作为将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵的基础矩阵确定部发挥作用。

根据本实施方式，使用对极的坐标，从第1基础矩阵之中选择精度较高的基础矩阵，因此，能够向输入图像输出高精度的基础矩阵。其详细内容如下。可期待通过在第1基础矩阵的计算中使用例如称作RANSAC的鲁棒方法，排除通过步骤S102的对应点取得处理计算出的对应关系的错误和由于移动的被摄体引起的错误，提高鲁棒性。但是，在被摄体接近平面时，即，在被摄体的深度差较小时，无法期待通过RANSAC等获得如下的效果，即排除由于在基础矩阵的计算中产生接近退化的状态而引起的错误的效果。与此相对，根据本实施方式，使用表示取得图像的照相机的姿势的指标即对极坐标，进行通过反复运算进行的基础矩阵的最佳值的选择，从而，能够获得针对平面被摄体的鲁棒性的提高。

在本实施方式中，通过RANSAC等方法提高针对对应点的错误应对和运动被摄体的鲁棒性，通过使用对极的运算来提高针对被摄体的平面性的鲁棒性，因此，能够整体上进行可靠性非常高的基础矩阵的计算。

另外，在上述的说明中，示出了在第1基础矩阵的计算中使用RANSAC的例子。但是，不限于RANSAC，也可以使用各种的鲁棒估计方法。例如，也可以使用从M估计、最小中位数平方法(Least Median of Square；LMedS)、和PROSAC等的从RANSAC派生出的方法。本实施方式适用于利用各种方法计算出的基础矩阵，并发挥效果。

另外，在上述说明中，示出了重复进行规定的N次的基础矩阵确定处理中的步骤S201至步骤S204的例子。但是，在第1基础矩阵的误差容易变大的情况下，为了提高鲁棒性，也可以增加运算的重复次数。该运算的重复次数例如也可以根据摄像装置信息、场景判别信息、运动矢量信息以及对极坐标分布信息之中的至少任意一个来确定。根据这些信息改变重复次数，从而，能够期待运算结果的精度的提高。

此处，摄像装置信息例如是在图像的拍摄中使用的摄像光学系统的信息，例如，也可以使用焦点距离信息。即，存在以下的倾向，在使用了焦点距离长的望远光学系统的情况下，包含在被摄体中的进深相对于到被摄体的距离变小。因此，在使用了望远光学系统的情况下，成为被摄体接近平面的状态，所计算的基础矩阵的误差容易变大。因此，考虑在摄像光学系统的焦点距离较长的情况下，相对增加重复运算次数，在焦点距离较短的情况下，相对减少重复运算次数。

此外，场景判别信息例如是“风景”、“人物”等自动场景判别信息。例如，在判别出场景是“风景”的情况下，存在进深相对于到被摄体的距离变小的倾向，因此，被摄体接近平面，误差容易变大。因此，在场景是“风景”的情况等中，考虑相对增加重复运算次数。

此外，运动矢量信息例如也可以是指对应点的分布和面积、计算出的3维坐标的分布。在对应点的分布较窄的情况下，即，面积较小的情况下，或者，在3维坐标的分布接近平面的情况下，误差容易变大。因此，在这种情况下，考虑相对增加重复运算次数。

此外，对极坐标分布信息例如也可以是计算出的对极的分布信息。在对极的分布较广的情况下，判断为基础矩阵的误差较大。因此，在这种情况下，考虑相对增加重复运算次数。

(第2实施方式)

对本发明的第2实施方式进行说明。此处，说明与第1实施方式的不同点，对相同部分标注相同标号并省略其说明。在第1实施方式中，在最佳对极选择处理中，使用根据多个第1基础矩阵计算出的多个对极的中央值，选择出最佳对极。与此相对，在本实施方式中，针对对极的坐标制作2维直方图，根据该2维直方图选择最佳对极。

因此，如图9所示，本实施方式的对极坐标确定部140具有：直方图生成部144、重心位置计算部145、距离计算部146、以及对极选择部148。参照图10所示的流程图说明本实施方式的最佳对极选择处理。

在步骤S601中，对极坐标确定部140的直方图生成部144利用对极坐标导出部130的处理，针对相对于各第1基础矩阵获得的对极坐标生成2维直方图。在步骤S601中，例如，生成如图11所示的直方图。该直方图的生成例如按照以下的步骤进行。首先，针对X方向以及Y方向，计算相对于N个对极坐标的重心位置和标准偏差。接着，针对X方向以及Y方向，根据重心位置和标准偏差确定直方图的中心以及组距(bin width)。接着，针对N个对极坐标实施投票，制作2维直方图。

在步骤S602中，对极坐标确定部140的重心位置计算部145根据在步骤S601中直方图生成部144生成的直方图，计算表示众数的区域内的对极坐标的重心位置。重心的确定例如按照以下的步骤进行。首先，确定表示2维直方图的众数的区域。接着，确定表示众数的区域内的对极坐标的重心位置。另外，在重心位置的计算中，不仅包含表示众数的区域，也可包含其周边区域。

在步骤S603中，对极坐标确定部140的距离计算部146计算在步骤S602中重心位置计算部145计算出的重心位置与N个或者2N个各对极的坐标之间的距离dEpi2。例如，如下计算距离dEpi2。将第1图像的对极坐标重心设为(Epi1_X_Ave，Epi1_Y_Ave)，将第2图像的对极坐标重心设为(Epi2_X_Ave，Epi2_Y_Ave)。将根据第1基础矩阵确定出的第i个第1对极的坐标设为(Epi1_X(i)，Epi1_Y(i))，将第2对极的坐标设为(Epi2_X(i)，Epi2_Y(i))。此时，可以通过下述式(7)获得距离dEpi2。

【式7】

dEpi2＝(Epi1_X(i)-Epi1_X_Ave)²-(Epi1_Y(i)_Epi1_Y_Ave)² (7)

+(Epi2_X(i)-Epi2_X_Avd)²+(Epi2_Y(i)_Epi2_Y_Ave)²

在步骤S604中，对极坐标确定部140的对极选择部148选择在步骤S603中距离计算部146计算出的距离dEpi2最小的对极坐标作为最佳的对极坐标。以选择出的最佳对极坐标为返回值，处理返回基础矩阵确定处理。

在基础矩阵确定处理的步骤S206中，基础矩阵确定部150从存储部14中读出与最佳对极对应的第1基础矩阵，将该第1基础矩阵确定为作为最佳基础矩阵的第2基础矩阵。之后，处理返回参考图2所说明的处理。图像处理部100将所确定的第2基础矩阵作为针对所输入的图像的基础矩阵进行输出。

根据本实施方式，也能够通过使用对极坐标，获得与第1实施方式相同的效果。

(第3实施方式)

对本发明的第3实施方式进行说明。这里，说明与第1实施方式以及第2实施方式的不同点，对相同部分标注相同标号并省略其说明。第1实施方式以及第2实施方式的图像处理装置10是在输入了多个图像时，输出基础矩阵的装置。与此相对，本实施方式的图像处理装置10是在输入了多个图像时计算基础矩阵，输出与根据该基础矩阵获得的输入图像对应的3维坐标的装置。

图12示出本实施方式的图像处理装置10的结构例的概略。如该图所示，图像处理装置10的图像处理部100与第1实施方式相比，在基础矩阵确定部150的后段还具有运动估计部160以及3维坐标估计部170。运动估计部160计算对所输入的各图像进行了拍摄的照相机的位置以及姿势的差异，即，照相机的运动。3维坐标估计部170根据通过运动估计部160计算出的照相机的运动，计算所输入的图像的对应点的3维坐标。

参照图13所示的流程图说明本实施方式的图像处理。在步骤S701中，图像取得部12例如取得2张图像。在步骤S702中，对应点取得部110与第1实施方式的步骤S102相同，针对所输入的2张图像取得对应点。在步骤S703中，基础矩阵估计部120、对极坐标导出部130、对极坐标确定部140以及基础矩阵确定部150与第1实施方式的步骤S103相同，进行基础矩阵确定处理，确定基础矩阵。

在步骤S704中，运动估计部160根据利用基础矩阵确定处理计算出的基础矩阵，计算对2张输入图像进行了拍摄的照相机的位置以及姿势的差。例如，运动估计部160根据基础矩阵计算基本矩阵，并根据该基本矩阵计算旋转矩阵以及平移矢量。这些旋转矩阵以及平移矢量表示2个照相机位置之间的旋转以及平移，即，表示运动。在本实施方式中，可将该旋转以及平移作为图像处理装置10的输出，也可存储在存储部14中。

在步骤S705中，3维坐标估计部170根据计算出的2个照相机的位置关系，针对所输入的2张图像的对应点，按照公知的方法进行3维坐标的估计。将估计出的3维坐标信息作为图像处理装置10的输出。此外，该3维信息也可存储在存储部14中。

根据本实施方式，计算高精度的基础矩阵，并用其进行3维估计，从而，能够进行高精度的3维估计。

另外，即便在本实施方式中也可如第2实施方式那样采用使用直方图的方法，在该情况下也可同样发挥作用，得到相同的效果。

(第4实施方式)

说明第4实施方式。这里，说明与第1实施方式以及第2实施方式的不同点，对相同部分标注相同标号并省略其说明。本实施方式涉及具有第1实施方式或者第2实施方式的图像处理装置10的数字照相机1。图14示出本实施方式的数字照相机1的结构例。数字照相机1具有图像处理装置10和抖动校正部18。此外，数字照相机1具有：CPU20、摄像光学系统22、摄像元件24、AFE(Analog Front End：模拟前端)26、信号图像处理部28、压缩解压缩部30、RAM(Random Access Memory：随机存取存储器32)、ROM(Read Only Memory：只读存储器)34、操作部36、记录部38、显示处理部40以及显示部42.

CPU20作为控制部发挥作用，对数字照相机1的各部进行控制。摄像光学系统22包含镜头以及光圈等，将被摄体像引导至摄像元件24。摄像元件24将经由摄像光学系统22引导的被摄体像转换成电信号。AFE26进行相关双采样、模拟增益控制、A/D转换等模拟信号处理。信号图像处理部28针对从AFE26输出的数字图像信号进行颜色分解、白平衡、伽马转换等图像处理。压缩解压缩部30进行图像的压缩和解压缩等。RAM32进行各种处理以及运算所需的临时存储。ROM34存储数字照相机1的控制和运算所需的各种程序等。操作部36接受涉及来自用户对数字照相机1的操作的指示输入。记录部38例如以可拆卸的方式与数字照相机1连接，记录通过数字照相机1取得的图像。显示处理部40进行用于显示到显示部42的图像处理。显示部42例如包含液晶显示器等，显示通过显示处理部40处理后的图像。

经由摄像光学系统22入射到摄像元件24并转换成电信号的被摄体的图像信号通过AFE26以及信号图像处理部28被进行图像处理。这些被图像处理过的信号作为运动图像依次输入到图像处理装置10。图像处理装置10在所输入的运动图像的某一帧的图像与下一帧的图像之间，依次进行计算在第1实施方式中说明的基础矩阵的处理。

抖动校正部18取得图像处理装置10输出的基础矩阵，进行根据该基础矩阵去除所输入的运动图像的帧之间的抖动的处理。即，抖动校正部18根据基础矩阵计算基本矩阵。根据基础矩阵计算基本矩阵采用普遍公知的方法。抖动校正部18根据计算出的基本矩阵计算旋转矩阵以及平移矢量。此处，该旋转矩阵以及平移矢量表示取得了某一帧的图像的照相机的位置以及姿势、与取得了下一帧的图像的照相机的位置以及姿势的差。即，该旋转矩阵以及平移矢量表示取得了两帧之间的这些图像的照相机的抖动量。

抖动校正部18根据计算出的旋转矩阵以及平移矢量计算抖动校正量。即，抖动校正部18为了抵消作为旋转矩阵以及平移矢量而求出的、在帧之间产生的照相机的抖动，计算适当的图像校正量。此时，例如使用低通滤波器等，以不进行急剧的校正，而是成为平滑的校正的方式来确定校正量。抖动校正部18根据计算出的校正量进行图像转换，去除图像的抖动。从而，利用抖动校正部18生成去除了在帧之间产生的抖动的图像。去除了该抖动的图像的信号经由显示处理部40显示到显示部42。此外，去除了抖动的图像信号被记录在记录部38。

根据本实施方式，利用图像处理装置10以及抖动校正部18进行抖动的去除。因此，去除了操作数字照相机1的用户的手抖等引起的图像的抖动，且记录在记录部38中的图像和显示在显示部42的图像的质量高于由不具有图像处理装置10的照相机所取得的图像。

另外，即便在本实施方式中，也可在图像处理装置10中如第2实施方式那样进行使用了直方图的处理。在该情况下也能够相同地发挥作用，获得相同的效果。此外，也可构成为，图像处理装置10如第3实施方式那样计算3维坐标，数字照相机1输出所拍摄的被摄体的3维再构成图像。

另外，本发明不直接限定为上述实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。例如，可以适当改变处理的顺序。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，在即使从实施方式所示的全部结构要素中删除几个结构要素，也能够解决发明要解决的问题一栏中记述的问题，并且，能够得到发明的效果的情况下，删除了该结构要素的结构也可以作为发明提取出来。并且，可适当组合不同实施方式的结构要素。

Claims

1.一种图像处理装置，其具有：

图像取得部，其取得多个图像；

对应点取得部，其取得在多个所述图像之间相互对应的多个第1对应点；

第1基础矩阵估计部，其根据多个所述第1对应点计算多个第1基础矩阵；

对极坐标导出部，其针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；

对极坐标确定部，其使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；以及

基础矩阵确定部，其将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。

2.根据权利要求1所述的图像处理装置，其中，

所述对极坐标确定部具有；

中央值计算部，其计算多个所述第1对极坐标的中央值；

距离计算部，其计算所述第1对极坐标各自与所述中央值的距离；以及

对极选择部，其将多个所述第1对极坐标中的所述距离最小的所述第1对极坐标确定为所述第2对极坐标。

3.根据权利要求1所述的图像处理装置，其中，

所述对极坐标确定部具有；

直方图生成部，其对多个所述第1对极坐标的频度进行计数；

重心位置计算部，其确定所述频度高的区域的重心位置；

距离计算部，其计算所述第1对极坐标各自与所述重心位置之间的距离；以及

4.根据权利要求1～3中的任意一项所述的图像处理装置，其中，所述图像处理装置还具有：

运动估计部，其估计对多个所述图像进行了拍摄的照相机的位置以及姿势的差异；以及

3维坐标估计部，其根据所述位置以及姿势的所述差异，估计包含在所述图像中的被摄体的3维坐标。

5.根据权利要求1～3中的任意一项所述的图像处理装置，其中，

所述第1基础矩阵的个数根据摄像装置信息、场景判别信息、运动矢量信息以及对极坐标分布信息之中的至少一个来确定。

6.一种摄像装置，其具有：

摄像部，其拍摄图像；

图像取得部，其取得在不同时间拍摄的多个所述图像；

对应点取得部，其取得在多个所述图像中相互对应的多个第1对应点；

对极坐标确定部，其使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；

基础矩阵确定部，其将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵；以及

校正部，其根据所述第2基础矩阵，校正存在于所述多个图像之间的抖动。

7.一种图像处理方法，其具备以下步骤：

取得多个图像；

取得在多个所述图像之间相互对应的多个第1对应点；

根据多个所述第1对应点计算多个第1基础矩阵；

针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；

使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；以及

将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。